CN105491027B - 基于url对http连接请求进行过滤的方法和系统 - Google Patents

基于url对http连接请求进行过滤的方法和系统 Download PDF

Info

Publication number
CN105491027B
CN105491027B CN201510833431.0A CN201510833431A CN105491027B CN 105491027 B CN105491027 B CN 105491027B CN 201510833431 A CN201510833431 A CN 201510833431A CN 105491027 B CN105491027 B CN 105491027B
Authority
CN
China
Prior art keywords
url
connection request
classification
http connection
url classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510833431.0A
Other languages
English (en)
Other versions
CN105491027A (zh
Inventor
江文
苏慧
敖茂尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Vocational and Technical College
Original Assignee
Guangxi Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Vocational and Technical College filed Critical Guangxi Vocational and Technical College
Priority to CN201510833431.0A priority Critical patent/CN105491027B/zh
Publication of CN105491027A publication Critical patent/CN105491027A/zh
Application granted granted Critical
Publication of CN105491027B publication Critical patent/CN105491027B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL

Abstract

本发明公开了一种基于URL对HTTP连接请求进行过滤的方法，通过查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况以及该HTTP连接请求的Referer字段命中URL分类ID情况，来决定阻断或放行该HTTP连接请求。本发明能够保证使用者正常的上网，不会因为网页中携带的娱乐或购物类请求而禁止正常的工作学习。

Description

基于URL对HTTP连接请求进行过滤的方法和系统
技术领域
本发明涉及网页管理和控制领域。更具体地说，本发明涉及一种基于URL对HTTP连接请求进行过滤的方法和系统。
背景技术
传统的URL过滤方式是通过硬件或软件的多模匹配算法先进行本地URL模式匹配，在发现未命中本地cache的情况下发起远程URL查询。通过本地cache和远程URL查询可以命中对应的URL分类ID信息，并针对该分类ID的用户配置进行相应的动作。如企业单位禁止该公司的员工在工作时间浏览淘宝、京东等购物类网站，管理员针对该分类的URL网站在规定的时间段内进行了阻断操作。员工在浏览淘宝或京东等购物类网站时网络设备会根据客户发起的URL进行进行URL过滤并查询对应分类动作为阻断后进行拦截。
但随着web2.0的不断普及，单个网页的组成部件逐渐丰富起来。以网易邮箱举例：用户在登录网易邮箱个人主页，总计发起了100个请求。其中含有乐网购、懂生活等娱乐或购物类资源，这些资源大多数是图片或是flash资源等。
在使用传统的URL过滤技术时如按照上述配置的话，势必会阻断用户所有的娱乐、购物类网站的URL请求，但事实上最终客户并没有发起购物类行为。为之带来就是在打开网易邮箱页面进行办公操作时，页面的内容并不能完全显示，用户的体验很差。最终用户可能会认为当前网络存在一定问题，而不愿进行后续操作。
这里提到一种HTTP协议中一个头部字段，HTTP Referer。HTTP Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从哪个页面链接过来的，服务器籍此可以获得一些信息用于处理。我们可以根据HTTPReferer这个字段，做用户行为的进一步分析。进而更加明确判断客户的行为。
发明内容
本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。
本发明还有一个目的是提供一种基于URL对HTTP连接请求进行过滤的方法，通过查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况以及该HTTP连接 请求的Referer字段命中URL分类ID情况，来决定阻断或放行该HTTP连接请求。
本发明还有一个目的是提供一种基于URL对HTTP连接请求进行过滤的系统。
为了实现根据本发明的这些目的和其它优点，提供了一种基于URL对HTTP连接请求进行过滤的方法，所述HTTP连接请求带有referer，包括：
查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况，所述URL分类ID中配置的动作为阻断或放行；
若该URL字段命中URL分类ID的动作为放行，则放行该HTTP连接请求；
若该URL字段命中URL分类ID的动作为阻断，继续查询该HTTP连接请求的Referer字段命中URL分类ID情况；
若该Referer字段命中URL分类ID的动作为放行，则放行该HTTP连接请求，反之则阻断该HTTP连接请求。
优选地，所述URL分类ID包括本地缓存的URL分类ID以及远程服务器保存的URL分类ID。
优选地，在查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况时，先查询本地缓存的URL分类ID，若该URL字段没有命中本地缓存的URL分类ID，则查询远程服务器保存的URL分类ID。
优选地，在查询Referer字段命中URL分类ID的情况时，先查询本地缓存的URL分类ID，若该URL字段没有命中本地缓存的URL分类ID，则查询远程服务器保存的URL分类ID。
优选地，本地URL分类ID存在有效时间，并定期向远程服务器更新。
本发明还提供了一种基于URL对HTTP连接请求进行过滤的系统，所述HTTP连接请求带有referer字段，包括：
客户端，其能够进行HTTP连接请求；
URL分类ID库，在URL和ID之间建立了对应关系；
URL过滤系统，其配置了对于各类URL分类ID阻断或放行的动作；
第一搜索单元，提取HTTP连接请求中的URL，查询在本地URL分类库中命中的URL分类ID；
第二搜索单元，提取HTTP连接请求中的Referer，查询在本地URL分类库中命中的URL分类ID；
切换单元，其用于若该URL字段命中第一搜索单元中的URL分类ID的动作为阻断时，切换到第二搜索单元继续查询该HTTP连接请求的Referer字段命中URL分类ID的情况；
URL过滤单元，其用于根据所述ID中配置的动作放行或阻断该HTTP连接请求；
其中，所述系统包括严格模式和宽松模式，所述系统在严格模式和宽松模式之中挑选工作模式，
在严格模式下，客户端发送HTTP连接请求，第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID，若该URL字段命中URL分类ID的动作为放行，则URL过滤单元放行该HTTP连接请求；反之则阻断该HTTP连接请求；
在宽松模式下，客户端发送HTTP连接请求，第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID，若该URL字段命中URL分类ID的动作为放行，则URL过滤单元放行该HTTP连接请求；
若该URL字段命中URL分类ID的动作为阻断，通过切换单元调用第二搜索单元查询该HTTP连接请求的Referer字段命中URL分类ID情况；
若该Referer字段命中URL分类ID的动作为放行，则URL过滤单元放行该HTTP连接请求，反之则阻断该HTTP连接请求。
优选地，所述URL分类ID库包括本地的URL分类ID库以及远程URL分类ID库。
优选地，本地的URL分类ID库本地的URL分类ID库中的ID存在有效时间，并定期向远程服务器更新。
本发明至少包括以下有益效果：能够保证使用者正常的上网，不会因为网页中携带的娱乐或购物类请求而禁止正常的工作学习，由于本过滤系统具有严格和宽松两种模式，能够根据实际需求选择相应的过滤模式，十分人性化。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为使用浏览器插件进行的资源抓捕截图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得；在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
一种基于URL对HTTP连接请求进行过滤的方法，所述HTTP连接请求带有referer，包括：
查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况，所述URL分类ID中配置的动作为阻断或放行；
若该URL字段命中URL分类ID的动作为放行，则放行该HTTP连接请求；
若该URL字段命中URL分类ID的动作为阻断，继续查询该HTTP连接请求的Referer字段命中URL分类ID情况；
若该Referer字段命中URL分类ID的动作为放行，则放行该HTTP连接请求，反之则阻断该HTTP连接请求。
所述URL分类ID包括本地缓存的URL分类ID以及远程服务器保存的URL分类ID。
在查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况时，先查询本地缓存的URL分类ID，若该URL字段没有命中本地缓存的URL分类ID，则查询远程服务器保存的URL分类ID。
在查询Referer字段命中URL分类ID的情况时，先查询本地缓存的URL分类ID，若该URL字段没有命中本地缓存的URL分类ID，则查询远程服务器保存的URL分类ID。
本地URL分类ID存在有效时间，并定期向远程服务器更新。
一种基于URL对HTTP连接请求进行过滤的系统，所述HTTP连接请求带有referer字段，包括：
客户端，其能够进行HTTP连接请求；
URL分类ID库，在URL和ID之间建立了对应关系；
URL过滤系统，其配置了对于各类URL分类ID阻断或放行的动作；
第一搜索单元，提取HTTP连接请求中的URL，查询在本地URL分类库中命中的URL分类ID；
第二搜索单元，提取HTTP连接请求中的Referer，查询在本地URL分类库中命中的URL分类ID；
切换单元，其用于若该URL字段命中第一搜索单元中的URL分类ID的动作为阻断时，切换到第二搜索单元继续查询该HTTP连接请求的Referer字段命中URL分类ID的情况；
URL过滤单元，其用于根据所述ID中配置的动作放行或阻断该HTTP连接请求；
其中，所述系统包括严格模式和宽松模式，所述系统在严格模式和宽松模式之中挑选工作模式，
在严格模式下，客户端发送HTTP连接请求，第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID，若该URL字段命中URL分类ID的动作为放行，则URL过滤单元放行该HTTP连接请求；反之则阻断该HTTP连接请求；
在宽松模式下，客户端发送HTTP连接请求，第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID，若该URL字段命中URL分类ID的动作为放行，则URL过滤单元放行该HTTP连接请求；
若该URL字段命中URL分类ID的动作为阻断，通过切换单元调用第二搜索单元查询该HTTP连接请求的Referer字段命中URL分类ID情况；
若该Referer字段命中URL分类ID的动作为放行，则URL过滤单元放行该HTTP连接请求，反之则阻断该HTTP连接请求。
所述URL分类ID库包括本地的URL分类ID库以及远程URL分类ID库。
本地的URL分类ID库本地的URL分类ID库中的ID存在有效时间，并定期向远程服务器更新。
实施例1
我们将URL过滤系统设置为严格和宽松两种模式。
当系统设置为严格型模式，则当用户发起HTTP连接请求时，则只根据发起请求的URL进行本地查询或是远程查询，查询得到的分类ID。根据管理员配置的分类动作，做出阻断、放行或重定向的动作。
当系统设置为宽松型模式，则当用户发起HTTP连接请求时，除了判断自身请求的URL外，还是需要判断该请求头部的Refferer字段命中URL分类ID情况。如果该请求头部的Refferer字段命中的URL分类ID的动作为放行，而自身的URL字段命中的URL分类ID动作为阻断，则也不对该条请求发起阻断动作。因为该URL的发起者其实是来自于客户使用的正常业务或是APP发起的。其行为本身是合理的，应该允许访问。
如图1所示，这是客户登录网易邮箱主页后发起的HTTP连接请求。通过我们截取的网络报文可以看出该条请求的URL为购物类网站。如果在系统设置为严格模式时，该条用户连接请求会被阻断。而当系统设置为宽松模式时，我们提取请求头部的Referer字段发现该条连接的发起者为网易邮箱。并不是用户行为发起的购物类网站，该HTTP请求可以被进行放行动作。
系统在宽松模式下，如果客户先通过网易邮箱发起对乐网购网站的访问。用户可以打开了网购的主页。但想访问该网页的后续内容时，在点击具体内容时，此时发起链接的Referer变成了乐网购，在这种情况下因为发起者和当前的URL均为乐网购本身，命中的策略均为阻断。所以在该种情况下，并不会为网络管理人员带来任何的麻烦，因为影响工作类的购物类网站仍然还是按照管理员的配置要求进行阻断。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实施例。

Claims (4)

1.一种基于URL对HTTP连接请求进行过滤的方法，所述HTTP连接请求带有referer，其特征在于，包括：
查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况，所述URL分类ID中配置的动作为阻断或放行；
若该URL字段命中URL分类ID的动作为放行，则放行该HTTP连接请求；
若该URL字段命中URL分类ID的动作为阻断，继续查询该HTTP连接请求的Referer字段命中URL分类ID情况；
若该Referer字段命中URL分类ID的动作为放行，则放行该HTTP连接请求，反之则阻断该HTTP连接请求；
其中，所述URL分类ID包括本地缓存的URL分类ID以及远程服务器保存的URL分类ID；
在查询Referer字段命中URL分类ID的情况时，先查询本地缓存的URL分类ID，若该URL字段没有命中本地缓存的URL分类ID，则查询远程服务器保存的URL分类ID。
2.如权利要求1所述的方法，其特征在于，在查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况时，先查询本地缓存的URL分类ID，若该URL字段没有命中本地缓存的URL分类ID，则查询远程服务器保存的URL分类ID。
3.一种基于URL对HTTP连接请求进行过滤的系统，所述HTTP连接请求带有referer字段，其特征在于，包括：
客户端，其能够进行HTTP连接请求；
URL分类ID库，在URL和ID之间建立了对应关系；
URL过滤系统，其配置了对于各类URL分类ID阻断或放行的动作；
第一搜索单元，提取HTTP连接请求中的URL，查询在本地URL分类库中命中的URL分类ID；
第二搜索单元，提取HTTP连接请求中的Referer，查询在本地URL分类库中命中的URL分类ID；
切换单元，其用于若URL字段命中第一搜索单元中的URL分类ID的动作为阻断时，切换到第二搜索单元继续查询该HTTP连接请求的Referer字段命中URL分类ID的情况；
URL过滤单元，其用于根据所述ID中配置的动作放行或阻断该HTTP连接请求；
其中，所述系统包括严格模式和宽松模式，所述系统在严格模式和宽松模式之中挑选工作模式，
在严格模式下，客户端发送HTTP连接请求，第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID，若该URL字段命中URL分类ID的动作为放行，则URL过滤单元放行该HTTP连接请求；反之则阻断该HTTP连接请求；
在宽松模式下，客户端发送HTTP连接请求，第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID，若该URL字段命中URL分类ID的动作为放行，则URL过滤单元放行该HTTP连接请求；
若该URL字段命中URL分类ID的动作为阻断，通过切换单元调用第二搜索单元查询该HTTP连接请求的Referer字段命中URL分类ID情况；
若该Referer字段命中URL分类ID的动作为放行，则URL过滤单元放行该HTTP连接请求，反之则阻断该HTTP连接请求。
4.如权利要求3所述的系统，其特征在于，所述URL分类ID库包括本地的URL分类ID库以及远程URL分类ID库。
CN201510833431.0A 2015-11-25 2015-11-25 基于url对http连接请求进行过滤的方法和系统 Expired - Fee Related CN105491027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510833431.0A CN105491027B (zh) 2015-11-25 2015-11-25 基于url对http连接请求进行过滤的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510833431.0A CN105491027B (zh) 2015-11-25 2015-11-25 基于url对http连接请求进行过滤的方法和系统

Publications (2)

Publication Number Publication Date
CN105491027A CN105491027A (zh) 2016-04-13
CN105491027B true CN105491027B (zh) 2019-01-01

Family

ID=55677743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510833431.0A Expired - Fee Related CN105491027B (zh) 2015-11-25 2015-11-25 基于url对http连接请求进行过滤的方法和系统

Country Status (1)

Country Link
CN (1) CN105491027B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277373B2 (en) * 2019-07-24 2022-03-15 Lookout, Inc. Security during domain name resolution and browsing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103401850A (zh) * 2013-07-19 2013-11-20 北京星网锐捷网络技术有限公司 一种报文过滤方法及装置
CN103561036A (zh) * 2013-11-12 2014-02-05 深信服网络科技（深圳）有限公司 白名单上网环境下的请求拦截方法及装置
CN104239353A (zh) * 2013-06-20 2014-12-24 上海博达数据通信有限公司 一种web分类控制和日志审计的方法
CN104506625A (zh) * 2014-12-22 2015-04-08 国云科技股份有限公司 一种提升云数据库元数据节点可靠性的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8181246B2 (en) * 2007-06-20 2012-05-15 Imperva, Inc. System and method for preventing web frauds committed using client-scripting attacks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239353A (zh) * 2013-06-20 2014-12-24 上海博达数据通信有限公司 一种web分类控制和日志审计的方法
CN103401850A (zh) * 2013-07-19 2013-11-20 北京星网锐捷网络技术有限公司 一种报文过滤方法及装置
CN103561036A (zh) * 2013-11-12 2014-02-05 深信服网络科技（深圳）有限公司 白名单上网环境下的请求拦截方法及装置
CN104506625A (zh) * 2014-12-22 2015-04-08 国云科技股份有限公司 一种提升云数据库元数据节点可靠性的方法

Also Published As

Publication number Publication date
CN105491027A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
US20070136477A1 (en) HTTP header intermediary for enabling session-based dynamic site searches
CN103023906A (zh) 针对远程过程调用协议进行状态跟踪的方法及系统
CN102065145B (zh) 一种信息投放方法、装置和系统
CN104168316B (zh) 一种网页访问控制方法、网关
CN103761279B (zh) 一种基于关键词检索的网络爬虫调度方法及系统
US20180139224A1 (en) Collecting domain name system traffic
WO2006044820A3 (en) Rule-based routing to resources through a network
CN106550056B (zh) 一种域名解析方法及装置
CN105763561A (zh) 一种攻击防御方法和装置
CN105991634A (zh) 访问控制的方法和装置
CN103269313B (zh) 嵌入式linux家庭网关强制门户的实现方法
CN102946320A (zh) 一种分布式用户行为日志预测网络监管方法及系统
CN104679798B (zh) 网页检测方法及装置
GB2377783A (en) Controlling access by software agents to a distributed processing system
CN105491027B (zh) 基于url对http连接请求进行过滤的方法和系统
CN105938472A (zh) 一种网页访问控制方法和装置
US10992584B2 (en) Processing packet
RU2658885C1 (ru) Способ переадресации поисковых запросов от недоверенной поисковой системы к доверенной поисковой системе
EP2640035B1 (en) Hypertext transfer protocol (http) stream association method and device
CN103957252B (zh) 云储存系统的日志获取方法及其系统
CN103036895B (zh) 一种状态跟踪方法及系统
WO2006103616A1 (en) Processing requests for content pages from deep-linking visitors
CN106445968A (zh) 一种数据合并方法及装置
CN103986690B (zh) 一种处理客户端请求的方法和装置
CN110365668A (zh) 网络信息处理方法、装置、设备、介质及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190101

Termination date: 20211125

CF01 Termination of patent right due to non-payment of annual fee