CN105491027A - 基于url对http连接请求进行过滤的方法和系统 - Google Patents
基于url对http连接请求进行过滤的方法和系统 Download PDFInfo
- Publication number
- CN105491027A CN105491027A CN201510833431.0A CN201510833431A CN105491027A CN 105491027 A CN105491027 A CN 105491027A CN 201510833431 A CN201510833431 A CN 201510833431A CN 105491027 A CN105491027 A CN 105491027A
- Authority
- CN
- China
- Prior art keywords
- url
- connection request
- http connection
- classification
- hit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于URL对HTTP连接请求进行过滤的方法,通过查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况以及该HTTP连接请求的Referer字段命中URL分类ID情况,来决定阻断或放行该HTTP连接请求。本发明能够保证使用者正常的上网,不会因为网页中携带的娱乐或购物类请求而禁止正常的工作学习。
Description
技术领域
本发明涉及网页管理和控制领域。更具体地说,本发明涉及一种基于URL对HTTP连接请求进行过滤的方法和系统。
背景技术
传统的URL过滤方式是通过硬件或软件的多模匹配算法先进行本地URL模式匹配,在发现未命中本地cache的情况下发起远程URL查询。通过本地cache和远程URL查询可以命中对应的URL分类ID信息,并针对该分类ID的用户配置进行相应的动作。如企业单位禁止该公司的员工在工作时间浏览淘宝、京东等购物类网站,管理员针对该分类的URL网站在规定的时间段内进行了阻断操作。员工在浏览淘宝或京东等购物类网站时网络设备会根据客户发起的URL进行进行URL过滤并查询对应分类动作为阻断后进行拦截。
但随着web2.0的不断普及,单个网页的组成部件逐渐丰富起来。以网易邮箱举例:用户在登录网易邮箱个人主页,总计发起了100个请求。其中含有乐网购、懂生活等娱乐或购物类资源,这些资源大多数是图片或是flash资源等。
在使用传统的URL过滤技术时如按照上述配置的话,势必会阻断用户所有的娱乐、购物类网站的URL请求,但事实上最终客户并没有发起购物类行为。为之带来就是在打开网易邮箱页面进行办公操作时,页面的内容并不能完全显示,用户的体验很差。最终用户可能会认为当前网络存在一定问题,而不愿进行后续操作。
这里提到一种HTTP协议中一个头部字段,HTTPReferer。HTTPReferer是header的一部分,当浏览器向web服务器发送请求的时候,一般会带上Referer,告诉服务器我是从哪个页面链接过来的,服务器籍此可以获得一些信息用于处理。我们可以根据HTTPReferer这个字段,做用户行为的进一步分析。进而更加明确判断客户的行为。
发明内容
本发明的一个目的是解决至少上述问题,并提供至少后面将说明的优点。
本发明还有一个目的是提供一种基于URL对HTTP连接请求进行过滤的方法,通过查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况以及该HTTP连接请求的Referer字段命中URL分类ID情况,来决定阻断或放行该HTTP连接请求。
本发明还有一个目的是提供一种基于URL对HTTP连接请求进行过滤的系统。
为了实现根据本发明的这些目的和其它优点,提供了一种基于URL对HTTP连接请求进行过滤的方法,所述HTTP连接请求带有referer,包括:
查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况,所述URL分类ID中配置的动作为阻断或放行;
若该URL字段命中URL分类ID的动作为放行,则放行该HTTP连接请求;
若该URL字段命中URL分类ID的动作为阻断,继续查询该HTTP连接请求的Referer字段命中URL分类ID情况;
若该Referer字段命中URL分类ID的动作为放行,则放行该HTTP连接请求,反之则阻断该HTTP连接请求。
优选地,所述URL分类ID包括本地缓存的URL分类ID以及远程服务器保存的URL分类ID。
优选地,在查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况时,先查询本地缓存的URL分类ID,若该URL字段没有命中本地缓存的URL分类ID,则查询远程服务器保存的URL分类ID。
优选地,在查询Referer字段命中URL分类ID的情况时,先查询本地缓存的URL分类ID,若该URL字段没有命中本地缓存的URL分类ID,则查询远程服务器保存的URL分类ID。
优选地,本地URL分类ID存在有效时间,并定期向远程服务器更新。
本发明还提供了一种基于URL对HTTP连接请求进行过滤的系统,所述HTTP连接请求带有referer字段,包括:
客户端,其能够进行HTTP连接请求;
URL分类ID库,在URL和ID之间建立了对应关系;
URL过滤系统,其配置了对于各类URL分类ID阻断或放行的动作;
第一搜索单元,提取HTTP连接请求中的URL,查询在本地URL分类库中命中的URL分类ID;
第二搜索单元,提取HTTP连接请求中的Referer,查询在本地URL分类库中命中的URL分类ID;
切换单元,其用于若该URL字段命中第一搜索单元中的URL分类ID的动作为阻断时,切换到第二搜索单元继续查询该HTTP连接请求的Referer字段命中URL分类ID的情况;
URL过滤单元,其用于根据所述ID中配置的动作放行或阻断该HTTP连接请求;
其中,所述系统包括严格模式和宽松模式,所述系统在严格模式和宽松模式之中挑选工作模式,
在严格模式下,客户端发送HTTP连接请求,第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID,若该URL字段命中URL分类ID的动作为放行,则URL过滤单元放行该HTTP连接请求;反之则阻断该HTTP连接请求;
在宽松模式下,客户端发送HTTP连接请求,第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID,若该URL字段命中URL分类ID的动作为放行,则URL过滤单元放行该HTTP连接请求;
若该URL字段命中URL分类ID的动作为阻断,通过切换单元调用第二搜索单元查询该HTTP连接请求的Referer字段命中URL分类ID情况;
若该Referer字段命中URL分类ID的动作为放行,则URL过滤单元放行该HTTP连接请求,反之则阻断该HTTP连接请求。
优选地,所述URL分类ID库包括本地的URL分类ID库以及远程URL分类ID库。
优选地,本地的URL分类ID库本地的URL分类ID库中的ID存在有效时间,并定期向远程服务器更新。
本发明至少包括以下有益效果:能够保证使用者正常的上网,不会因为网页中携带的娱乐或购物类请求而禁止正常的工作学习,由于本过滤系统具有严格和宽松两种模式,能够根据实际需求选择相应的过滤模式,十分人性化。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为使用浏览器插件进行的资源抓捕截图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
需要说明的是,下述实施方案中所述实验方法,如无特殊说明,均为常规方法,所述试剂和材料,如无特殊说明,均可从商业途径获得;在本发明的描述中,术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
一种基于URL对HTTP连接请求进行过滤的方法,所述HTTP连接请求带有referer,包括:
查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况,所述URL分类ID中配置的动作为阻断或放行;
若该URL字段命中URL分类ID的动作为放行,则放行该HTTP连接请求;
若该URL字段命中URL分类ID的动作为阻断,继续查询该HTTP连接请求的Referer字段命中URL分类ID情况;
若该Referer字段命中URL分类ID的动作为放行,则放行该HTTP连接请求,反之则阻断该HTTP连接请求。
所述URL分类ID包括本地缓存的URL分类ID以及远程服务器保存的URL分类ID。
在查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况时,先查询本地缓存的URL分类ID,若该URL字段没有命中本地缓存的URL分类ID,则查询远程服务器保存的URL分类ID。
在查询Referer字段命中URL分类ID的情况时,先查询本地缓存的URL分类ID,若该URL字段没有命中本地缓存的URL分类ID,则查询远程服务器保存的URL分类ID。
本地URL分类ID存在有效时间,并定期向远程服务器更新。
一种基于URL对HTTP连接请求进行过滤的系统,所述HTTP连接请求带有referer字段,包括:
客户端,其能够进行HTTP连接请求;
URL分类ID库,在URL和ID之间建立了对应关系;
URL过滤系统,其配置了对于各类URL分类ID阻断或放行的动作;
第一搜索单元,提取HTTP连接请求中的URL,查询在本地URL分类库中命中的URL分类ID;
第二搜索单元,提取HTTP连接请求中的Referer,查询在本地URL分类库中命中的URL分类ID;
切换单元,其用于若该URL字段命中第一搜索单元中的URL分类ID的动作为阻断时,切换到第二搜索单元继续查询该HTTP连接请求的Referer字段命中URL分类ID的情况;
URL过滤单元,其用于根据所述ID中配置的动作放行或阻断该HTTP连接请求;
其中,所述系统包括严格模式和宽松模式,所述系统在严格模式和宽松模式之中挑选工作模式,
在严格模式下,客户端发送HTTP连接请求,第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID,若该URL字段命中URL分类ID的动作为放行,则URL过滤单元放行该HTTP连接请求;反之则阻断该HTTP连接请求;
在宽松模式下,客户端发送HTTP连接请求,第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID,若该URL字段命中URL分类ID的动作为放行,则URL过滤单元放行该HTTP连接请求;
若该URL字段命中URL分类ID的动作为阻断,通过切换单元调用第二搜索单元查询该HTTP连接请求的Referer字段命中URL分类ID情况;
若该Referer字段命中URL分类ID的动作为放行,则URL过滤单元放行该HTTP连接请求,反之则阻断该HTTP连接请求。
所述URL分类ID库包括本地的URL分类ID库以及远程URL分类ID库。
本地的URL分类ID库本地的URL分类ID库中的ID存在有效时间,并定期向远程服务器更新。
实施例1
我们将URL过滤系统设置为严格和宽松两种模式。
当系统设置为严格型模式,则当用户发起HTTP连接请求时,则只根据发起请求的URL进行本地查询或是远程查询,查询得到的分类ID。根据管理员配置的分类动作,做出阻断、放行或重定向的动作。
当系统设置为宽松型模式,则当用户发起HTTP连接请求时,除了判断自身请求的URL外,还是需要判断该请求头部的Refferer字段命中URL分类ID情况。如果该请求头部的Refferer字段命中的URL分类ID的动作为放行,而自身的URL字段命中的URL分类ID动作为阻断,则也不对该条请求发起阻断动作。因为该URL的发起者其实是来自于客户使用的正常业务或是APP发起的。其行为本身是合理的,应该允许访问。
如图1所示,这是客户登录网易邮箱主页后发起的HTTP连接请求。通过我们截取的网络报文可以看出该条请求的URL为购物类网站。如果在系统设置为严格模式时,该条用户连接请求会被阻断。而当系统设置为宽松模式时,我们提取请求头部的Referer字段发现该条连接的发起者为网易邮箱。并不是用户行为发起的购物类网站,该HTTP请求可以被进行放行动作。
系统在宽松模式下,如果客户先通过网易邮箱发起对乐网购网站的访问。用户可以打开了网购的主页。但想访问该网页的后续内容时,在点击具体内容时,此时发起链接的Referer变成了乐网购,在这种情况下因为发起者和当前的URL均为乐网购本身,命中的策略均为阻断。所以在该种情况下,并不会为网络管理人员带来任何的麻烦,因为影响工作类的购物类网站仍然还是按照管理员的配置要求进行阻断。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的实施例。
Claims (8)
1.一种基于URL对HTTP连接请求进行过滤的方法,所述HTTP连接请求带有referer,其特征在于,包括:
查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况,所述URL分类ID中配置的动作为阻断或放行;
若该URL字段命中URL分类ID的动作为放行,则放行该HTTP连接请求;
若该URL字段命中URL分类ID的动作为阻断,继续查询该HTTP连接请求的Referer字段命中URL分类ID情况;
若该Referer字段命中URL分类ID的动作为放行,则放行该HTTP连接请求,反之则阻断该HTTP连接请求。
2.如权利要求1所述的方法,其特征在于,所述URL分类ID包括本地缓存的URL分类ID以及远程服务器保存的URL分类ID。
3.如权利要求2所述的方法,其特征在于,在查询所述HTTP连接请求中携带的URL字段命中URL分类ID的情况时,先查询本地缓存的URL分类ID,若该URL字段没有命中本地缓存的URL分类ID,则查询远程服务器保存的URL分类ID。
4.如权利要求2所述的方法,其特征在于,在查询Referer字段命中URL分类ID的情况时,先查询本地缓存的URL分类ID,若该URL字段没有命中本地缓存的URL分类ID,则查询远程服务器保存的URL分类ID。
5.如权利要求2所述的方法,其特征在于,本地URL分类ID存在有效时间,并定期向远程服务器更新。
6.一种基于URL对HTTP连接请求进行过滤的系统,所述HTTP连接请求带有referer字段,其特征在于,包括:
客户端,其能够进行HTTP连接请求;
URL分类ID库,在URL和ID之间建立了对应关系;
URL过滤系统,其配置了对于各类URL分类ID阻断或放行的动作;
第一搜索单元,提取HTTP连接请求中的URL,查询在本地URL分类库中命中的URL分类ID;
第二搜索单元,提取HTTP连接请求中的Referer,查询在本地URL分类库中命中的URL分类ID;
切换单元,其用于若该URL字段命中第一搜索单元中的URL分类ID的动作为阻断时,切换到第二搜索单元继续查询该HTTP连接请求的Referer字段命中URL分类ID的情况;
URL过滤单元,其用于根据所述ID中配置的动作放行或阻断该HTTP连接请求;
其中,所述系统包括严格模式和宽松模式,所述系统在严格模式和宽松模式之中挑选工作模式,
在严格模式下,客户端发送HTTP连接请求,第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID,若该URL字段命中URL分类ID的动作为放行,则URL过滤单元放行该HTTP连接请求;反之则阻断该HTTP连接请求;
在宽松模式下,客户端发送HTTP连接请求,第一搜索单元从所述URL分类ID库中提取和搜索与URL字段相匹配的URL分类ID,若该URL字段命中URL分类ID的动作为放行,则URL过滤单元放行该HTTP连接请求;
若该URL字段命中URL分类ID的动作为阻断,通过切换单元调用第二搜索单元查询该HTTP连接请求的Referer字段命中URL分类ID情况;
若该Referer字段命中URL分类ID的动作为放行,则URL过滤单元放行该HTTP连接请求,反之则阻断该HTTP连接请求。
7.如权利要求6所述的系统,其特征在于,所述URL分类ID库包括本地的URL分类ID库以及远程URL分类ID库。
8.如权利要求7所述的系统,其特征在于,本地的URL分类ID库本地的URL分类ID库中的ID存在有效时间,并定期向远程服务器更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510833431.0A CN105491027B (zh) | 2015-11-25 | 2015-11-25 | 基于url对http连接请求进行过滤的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510833431.0A CN105491027B (zh) | 2015-11-25 | 2015-11-25 | 基于url对http连接请求进行过滤的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105491027A true CN105491027A (zh) | 2016-04-13 |
CN105491027B CN105491027B (zh) | 2019-01-01 |
Family
ID=55677743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510833431.0A Expired - Fee Related CN105491027B (zh) | 2015-11-25 | 2015-11-25 | 基于url对http连接请求进行过滤的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105491027B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220210114A1 (en) * | 2019-07-24 | 2022-06-30 | Lookout, Inc. | Protecting client privacy during browsing |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080320567A1 (en) * | 2007-06-20 | 2008-12-25 | Imperva, Inc. | System and method for preventing web frauds committed using client-scripting attacks |
CN103401850A (zh) * | 2013-07-19 | 2013-11-20 | 北京星网锐捷网络技术有限公司 | 一种报文过滤方法及装置 |
CN103561036A (zh) * | 2013-11-12 | 2014-02-05 | 深信服网络科技(深圳)有限公司 | 白名单上网环境下的请求拦截方法及装置 |
CN104239353A (zh) * | 2013-06-20 | 2014-12-24 | 上海博达数据通信有限公司 | 一种web分类控制和日志审计的方法 |
CN104506625A (zh) * | 2014-12-22 | 2015-04-08 | 国云科技股份有限公司 | 一种提升云数据库元数据节点可靠性的方法 |
-
2015
- 2015-11-25 CN CN201510833431.0A patent/CN105491027B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080320567A1 (en) * | 2007-06-20 | 2008-12-25 | Imperva, Inc. | System and method for preventing web frauds committed using client-scripting attacks |
US20120180129A1 (en) * | 2007-06-20 | 2012-07-12 | Amichai Shulman | System and method for preventing web frauds committed using client-scripting attacks |
CN104239353A (zh) * | 2013-06-20 | 2014-12-24 | 上海博达数据通信有限公司 | 一种web分类控制和日志审计的方法 |
CN103401850A (zh) * | 2013-07-19 | 2013-11-20 | 北京星网锐捷网络技术有限公司 | 一种报文过滤方法及装置 |
CN103561036A (zh) * | 2013-11-12 | 2014-02-05 | 深信服网络科技(深圳)有限公司 | 白名单上网环境下的请求拦截方法及装置 |
CN104506625A (zh) * | 2014-12-22 | 2015-04-08 | 国云科技股份有限公司 | 一种提升云数据库元数据节点可靠性的方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220210114A1 (en) * | 2019-07-24 | 2022-06-30 | Lookout, Inc. | Protecting client privacy during browsing |
US11570144B2 (en) * | 2019-07-24 | 2023-01-31 | Lookout, Inc. | Protecting client privacy during browsing |
Also Published As
Publication number | Publication date |
---|---|
CN105491027B (zh) | 2019-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Merzdovnik et al. | Block me if you can: A large-scale study of tracker-blocking tools | |
US11323453B2 (en) | Data processing method, device, access control system, and storage media | |
US10826872B2 (en) | Security policy for browser extensions | |
US20070136477A1 (en) | HTTP header intermediary for enabling session-based dynamic site searches | |
US9576145B2 (en) | Alternate files returned for suspicious processes in a compromised computer network | |
US8819819B1 (en) | Method and system for automatically obtaining webpage content in the presence of javascript | |
CN104394122B (zh) | 一种基于自适应代理机制的http业务防火墙 | |
US20160366176A1 (en) | High-level reputation scoring architecture | |
EP3275151B1 (en) | Collecting domain name system traffic | |
US8646038B2 (en) | Automated service for blocking malware hosts | |
US11451583B2 (en) | System and method to detect and block bot traffic | |
CN105391703B (zh) | 一种基于云的web应用防火墙系统及其安全防护方法 | |
US9609013B1 (en) | Detecting computer security threats in electronic documents based on structure | |
EP2966828B1 (de) | Verfahren zum Erkennen eines Angriffs auf eine mit einem Kommunikationsnetzwerk verbundene Arbeitsumgebung | |
CN109413050B (zh) | 一种访问速率自适应的互联网漏洞信息采集方法及系统 | |
CN104506525A (zh) | 防止恶意抓取的方法和防护装置 | |
CN104679798B (zh) | 网页检测方法及装置 | |
CN103701804A (zh) | 网络购物环境安全性检测方法及装置 | |
Howard et al. | Poisoned search results: How hackers have automated search engine poisoning attacks to distribute malware | |
CN104954384B (zh) | 一种保护Web应用安全的url拟态方法 | |
CN103888480B (zh) | 基于云监测的网络信息安全性鉴定方法及云端设备 | |
CN105991634A (zh) | 访问控制的方法和装置 | |
CN105938472A (zh) | 一种网页访问控制方法和装置 | |
CN107580052A (zh) | 自演进的网络自适应爬虫方法及系统 | |
RU2658885C1 (ru) | Способ переадресации поисковых запросов от недоверенной поисковой системы к доверенной поисковой системе |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190101 Termination date: 20211125 |