CN105938472A - 一种网页访问控制方法和装置 - Google Patents

一种网页访问控制方法和装置 Download PDF

Info

Publication number
CN105938472A
CN105938472A CN201510531757.8A CN201510531757A CN105938472A CN 105938472 A CN105938472 A CN 105938472A CN 201510531757 A CN201510531757 A CN 201510531757A CN 105938472 A CN105938472 A CN 105938472A
Authority
CN
China
Prior art keywords
url
illegal
currently stored
http response
url information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510531757.8A
Other languages
English (en)
Inventor
朱梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou DPTech Technologies Co Ltd
Original Assignee
Hangzhou DPTech Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou DPTech Technologies Co Ltd filed Critical Hangzhou DPTech Technologies Co Ltd
Priority to CN201510531757.8A priority Critical patent/CN105938472A/zh
Publication of CN105938472A publication Critical patent/CN105938472A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Abstract

本发明提供一种网页访问控制方法和装置，所述方法包括：接收客户端发送的超文本传输协议HTTP请求报文，并获取所述HTTP请求报文中包括的统一资源定位符URL；判断当前存储的非法URL信息中是否包括所述URL；若包括，阻断所述HTTP请求报文；否则，记录所述URL，并当接收到服务器发送的HTTP响应报文时，根据预先配置的关键词库搜索所述HTTP响应报文；若命中，则阻断所述HTTP响应报文，并将所述URL添加到当前存储的非法URL信息中。应用本发明实施例可以降低设备性能损耗，提高网页访问控制的效率。

Description

一种网页访问控制方法和装置
技术领域
本发明涉及网络通信技术领域，尤其涉及一种网页访问控制方法和装置。
背景技术
网页内容关键字过滤功能是针对网页访问的流量进行处理，通过预先配置非法词库(或称为关键词库)，当HTTP(HyperText Transfer Protocol，超文本传输协议)响应报文经过DPI(Deep Packet Inspection，深度包检测)设备时，运用DPI技术对HTTP响应报文进行处理，当检测到响应资源HTTP响应报文中含有关键词库中的词(或词语组合)时，阻断该HTTP响应报文，即向客户端和服务器发送reset(重置)报文，断开客户端与服务器之间的TCP(Transmission Control Protocol，传输控制协议)连接，其具体实现可以包括以下步骤：
1、DPI设备接收客户端设备发送的HTTP请求报文，并记录该HTTP请求报文中包括的URL；
2、服务器收到HTTP请求报文之后，发送HTTP响应报文，DPI设备根据预先配置的关键词库搜索该HTTP响应报文；
3、若命中，阻断该HTTP请求报文，并根据记录的URL和当前命中的关键词发送日志；否则，放通该HTTP请求报文。
然而实现发现，上述基于网页内容关键字过滤功能实现网页访问控制的方案中，针对每一次HTTP请求，均需要根据关键词库对该HTTP请求的响应报文进行搜索，设备性能的消耗过大。
发明内容
本发明提供一种网页访问控制方法和装置，以解决现有网页访问控制方案中，设备性能损耗过大的问题。
根据本发明实施例的第一方面，提供一种网页访问控制方法，包括：
接收客户端发送的超文本传输协议HTTP请求报文，并获取所述HTTP请求报文中包括的统一资源定位符URL；
判断当前存储的非法URL信息中是否包括所述URL；
若包括，阻断所述HTTP请求报文；
否则，记录所述URL，并当接收到服务器发送的HTTP响应报文时，根据预先配置的关键词库搜索所述HTTP响应报文；若命中，则阻断所述HTTP响应报文，并将所述URL添加到当前存储的非法URL信息中。
根据本发明实施例的第二方面，提供一种网页访问控制装置，包括：
接收单元，用于接收客户端发送的超文本传输协议HTTP请求报文；
获取单元，用于获取所述HTTP请求报文中包括的统一资源定位符URL；
判断单元，用于判断当前存储的非法URL信息中是否包括所述URL；
控制单元，用于当所述当前存储的非法URL信息中包括所述URL时，阻断所述HTTP请求报文；
记录单元，用于当所述当前存储的非法URL信息中不包括所述URL时，记录所述URL；
搜索单元，用于当接收到服务器发送的HTTP响应报文时，根据预先配置的关键词库搜索所述HTTP响应报文；
所述控制单元，还用于当所述搜索单元命中时，阻断所述HTTP响应报文，并将所述URL添加到当前存储的非法URL信息中。
应用本发明实施例，通过存储非法URL信息，当接收到HTTP请求时，可以先判断当前存储的非法URL信息中是否包括该URL，并当包括时，阻断该HTTP请求报文，与现有技术中需要根据预先配置的关键词库搜索HTTP响应报文的网页访问控制方案相比，降低了设备性能损耗；同时，与现有技术中需要在接收到HTTP响应报文之后，才能确定是否阻断的实现方案相比，提高了网页访问控制的效率。
附图说明
图1是本发明实施例提供的一种网页访问控制方法的流程示意图；
图2是本发明实施例提供的另一种网页访问控制方法的流程示意图；
图3是本发明实施例提供的网页访问控制装置所在设备的一种硬件结构图；
图4是本发明实施例提供的一种网页访问控制装置的结构示意图；
图5是本发明实施例提供的另一种网页访问控制装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1，为本发明实施例提供的一种网页访问控制方法的流程示意图，如图1所示，该网页访问控制方法可以包括以下步骤：
需要说明的是，步骤101～步骤105的执行主体可以是DPI设备或DPI设备中的处理器，如CPU(Control Process Unit，中央处理单元)，为便于描述，以下以执行主体为DPI设备为例进行说明。
步骤101、接收客户端发送的HTTP请求报文，并获取该HTTP请求报文中包括的URL。
本发明实施例中，上述客户端可以包括但不限于浏览器或其它具备网页访问功能的客户端；上述客户端可以运行于包括但不限于PC(PersonalComputer，个人计算机)、笔记本电脑、智能手机、平板电脑等终端，本发明实施例后续不再复述。
本发明实施例中，当用户想要进行网页访问时，用户可以通过终端上的浏览器客户端向服务器发送HTTP请求，该HTTP请求中可以包括请求访问的网页对应的URL。DPI设备接收到客户端发送的HTTP请求报文时，可以获取该HTTP请求报文中包括的URL，并根据该URL进行相应地网页访问控制。
步骤102、判断当前存储的非法URL信息中是否包括获取到的URL。若是，转至步骤103；否则，转至步骤104。
本发明实施例中，考虑到从HTTP响应报文中搜索关键词库中的词语或词语组合对设备性能消耗会比较大，若针对每一次HTTP请求，均需要根据关键词库搜索HTTP响应报文，对设备性能的消耗会过大，为了降低设备性能消耗，DPI设备中可以存储非法URL信息，该非法URL信息中可以包括DPI设备在网页访问控制过程中学习并记录的非法URL，或/和，手动配置的非法URL等。
本发明实施例中，DPI设备接收到客户端发送的HTTP请求报文，并获取到该HTTP请求中包括的URL之后，可以根据该URL查询当前存储的非法URL，以确定当前存储的非法URL中是否包括获取到的URL。
在一种实施方式中，DPI设备存储的非法URL信息可以以哈希链表的形式存储，该哈希链表中各哈希节点为非法URL的哈希值。
具体的，在该实施方式中，当DPI设备通过学习或根据配置指令确定某URL为非法URL之后，DPI设备可以计算该非法URL的哈希值，并将其作为哈希节点添加到自身存储的哈希链表中，从而，可以降低非法URL信息存储的空间占用。
但值得说明的是，DPI设备也可以以其它形式存储非法URL信息，如以表格的形式、字符串的形式等，其具体实现在此不再赘述。
步骤103、阻断该HTTP请求报文。
本发明实施例中，当DPI设备确定当前存储的非法URL信息中包括HTTP请求中包括的URL时，DPI设备可以认为当前客户端请求访问的网页中包括非法内容，从而，DPI设备可以阻断该HTTP请求报文，如分别向客户端和服务器发送reset报文，断开客户端和服务器之间的TCP连接。
进一步地，DPI设备阻断HTTP请求报文之后，还可以根据该HTTP请求中包括的URL生成告警日志，该告警日志可以包括该URL为非法URL的信息。
可选地，DPI设备在阻断HTTP请求报文之后，还可以向用户推送告警提示信息，以提示用户网页访问被阻断的原因等。
步骤104、记录获取到的URL，并当接收到服务器发送的HTTP响应消息时，根据预先配置的关键词库搜索HTTP响应消息。若命中，转至步骤105；否则，结束当前流程。
本发明实施例中，当DPI设备确定非法URL信息中不包括获取到的URL时，DPI设备可以记录该URL，且不对该HTTP请求进行阻断。服务器接收到客户端发送的HTTP请求报文之后，可以根据该HTTP请求报文中包括的URL获取对应的网页资源，并将该网页资源携带在HTTP响应报文中发送给客户端。
DPI设备接收到服务器发送的HTTP响应报文时，可以根据预先配置的关键词库搜索HTTP响应报文，以确定该HTTP响应报文中是否包括关键词库中的词语或词语组合，其中，DPI设备根据关键词库搜索HTTP响应报文的具体实现与现有网页内容关键字过滤技术中的相关实现相类似，本发明实施例在此不再赘述。
步骤105、阻断该HTTP响应报文，并将URL添加到当前存储的非法URL信息中。
本发明实施例中，当DPI设备根据预先配置的关键词库搜索HTTP响应报文命中，即HTTP响应报文中包括预先配置的关键词库中的词语或词语组合时，DPI设备可以阻断该HTTP响应报文，如发送reset报文，断开客户端与服务器之间的TCP连接；此外，DPI设备还可以将上述记录的URL添加到当前存储的非法URL信息中。
进一步地，DPI设备阻断HTTP响应报文之后，还可以根据上述记录的URL生成告警日志，该告警日志可以包括该URL为非法URL的信息，以及命中的关键词等。
可选地，DPI设备在阻断HTTP响应报文之后，还可以向用户推送告警提示信息，以提示用户网页访问被阻断的原因等。
本发明实施例中，DPI设备可以根据HTTP请求报文和HTTP响应报文的IP头/TCP头中包括的五元组信息确定HTTP请求报文与HTTP响应报文的对应关系，其具体实现在此不再赘述。
本发明实施例中，当DPI设备根据预先配置的关键词库搜索HTTP响应报文未命中，即HTTP响应报文中未包括预先配置的关键词库中的词语或词语组合时，DPI设备可以不阻断该HTTP响应报文，客户端正常访问网页。
举例来说，以DPI设备存储的非法URL信息为DPI设备在网页访问控制流程中学习得到的为例，且假设DPI设备以哈希链表的方式存储非法URL信息，则当DPI设备初始化运行时，该哈希链表为空，DPI设备接收到HTTP请求时，该哈希链表中不会包括该HTTP请求中包括的URL；此时，DPI设备可以记录该URL。当DPI设备接收到服务器响应上述HTTP请求报文返回的HTTP响应报文时，DPI设备可以根据预先配置的关键词库搜索该HTTP响应报文；若命中，则DPI设备可以阻断该HTTP响应报文，并将计算该记录的URL的哈希值，并将其添加到哈希链表中，从而，当DPI设备再接收到包括该URL的HTTP请求报文时，可以通过匹配哈希链表的方式阻断该HTTP请求报文。
可见，在图1所描述的方法流程中，通过存储非法URL信息，当接收到HTTP请求时，可以先判断当前存储的非法URL信息中是否包括该URL，并当包括时，阻断该HTTP请求报文，与现有技术中需要根据预先配置的关键词库搜索HTTP响应报文的网页访问控制方案相比，降低了设备性能损耗；同时，与现有技术中需要在接收到HTTP响应报文之后，才能确定是否阻断的实现方案相比，提高了网页访问控制的效率。
请参见图2，为本发明实施例提供的一种网页访问控制方法的流程示意图，如图2所示，该网页访问控制方法可以包括以下步骤：
需要说明的是，步骤201～步骤208的执行主体可以是DPI设备或DPI设备中的处理器，如CPU，为便于描述，以下以执行主体为DPI设备为例进行说明。
步骤201、接收客户端发送的HTTP请求报文，并获取该HTTP请求报文中包括的URL。
本发明实施例中，当用户想要进行网页访问时，用户可以通过终端上的浏览器客户端向服务器发送HTTP请求，该HTTP请求中可以包括请求访问的网页对应的URL。DPI设备接收到客户端发送的HTTP请求报文时，可以获取该HTTP请求报文中包括的URL，并根据该URL进行相应地网页访问控制。
步骤202、判断当前存储的非法URL信息中是否包括获取到的URL。若是，转至步骤203；否则，转至步骤207。
本发明实施例中，考虑到从HTTP响应报文中搜索关键词库中的词语或词语组合对设备性能消耗会比较大，若针对每一次HTTP请求，均需要根据关键词库搜索HTTP响应报文，对设备性能的消耗会过大，为了降低设备性能消耗，DPI设备中可以存储非法URL信息，该非法URL信息中可以包括DPI设备在网页访问控制过程中学习并记录的非法URL，或/和，手动配置的非法URL等。
本发明实施例中，DPI设备接收到客户端发送的HTTP请求报文，并获取到该HTTP请求中包括的URL之后，可以根据该URL查询当前存储的非法URL，以确定当前存储的非法URL中是否包括获取到的URL。
在一种实施方式中，DPI设备存储的非法URL信息可以以哈希链表的形式存储，该哈希链表中各哈希节点为非法URL的哈希值。
具体的，在该实施方式中，当DPI设备通过学习或根据配置指令确定某URL为非法URL之后，DPI设备可以计算该非法URL的哈希值，并将其作为哈希节点添加到自身存储的哈希链表中，从而，可以降低非法URL信息存储的空间占用。
但值得说明的是，DPI设备也可以以其它形式存储非法URL信息，如以表格的形式、字符串的形式等，其具体实现在此不再赘述。
步骤203、判断当前存储的非法URL信息中包括的该URL是否有效。若是，转至步骤204；否则转至步骤205。
本发明实施例中，考虑到某一URL对应的网页资源中包括的内容可能会随着时间的变化发生改变，如某一URL对应的网页资源中包括的内容可能会在特定时刻发生更新，为了提高网页访问控制的准确性，DPI设备存储的非法URL信息中还可以包括各非法URL的有效性信息，如有效时间等。
相应地，当DPI设备确定当前存储的非法URL信息中包括获取到的URL时，DPI设备可以进一步根据该非法URL信息中包括的该URL的有效性信息，判断该URL是否有效，如判断该非法URL信息中包括的该URL是否在有效时间内。
步骤204、阻断该HTTP请求报文。
本发明实施例中，当DPI设备确定当前存储的非法URL信息中包括获取到的URL，且非法URL信息中包括的该URL有效时，DPI设备可以认为当前客户端请求访问的网页中包括非法内容，从而，DPI设备可以阻断该HTTP请求报文，如分别向客户端和服务器发送reset报文，断开客户端和服务器之间的TCP连接。
进一步地，DPI设备阻断HTTP请求报文之后，还可以根据该HTTP请求中包括的URL生成告警日志，该告警日志可以包括该URL为非法URL的信息。
可选地，DPI设备在阻断HTTP请求报文之后，还可以向用户推送告警提示信息，以提示用户网页访问被阻断的原因等。
步骤205、记录获取到的URL，并当接收到服务器发送的HTTP响应报文时，根据预先配置的关键词库搜索HTTP响应报文。若命中，转至步骤206；否则，结束当前流程。
本发明实施例中，当DPI设备确定非法URL信息中包括获取到的URL，但非法URL信息中包括的该URL无效时，DPI设备可以记录该URL，且不对该HTTP请求进行阻断。服务器接收到客户端发送的HTTP请求报文之后，可以根据该HTTP请求报文中包括的URL获取对应的网页资源，并将该网页资源携带在HTTP响应报文中发送给客户端。
DPI设备接收到服务器发送的HTTP响应报文时，可以根据预先配置的关键词库搜索HTTP响应报文，以确定该HTTP响应报文中是否包括关键词库中的词语或词语组合，其中，DPI设备根据关键词库搜索HTTP响应报文的具体实现与现有网页内容关键字过滤技术中的相关实现相类似，本发明实施例在此不再赘述。
步骤206、阻断该HTTP响应报文，并将当前存储的非法URL信息中包括的该URL设置为有效。
本发明实施例中，当DPI设备根据预先配置的关键词库搜索HTTP响应报文命中，即HTTP响应报文中包括预先配置的关键词库中的词语或词语组合时，DPI设备可以阻断该HTTP响应报文，如发送reset报文，断开客户端与服务器之间的TCP连接；此外，DPI设备还可以将当前存储的非法URL信息中包括的该URL设置为有效。
进一步地，DPI设备阻断HTTP响应报文之后，还可以根据上述记录的URL生成告警日志，该告警日志可以包括该URL为非法URL的信息，以及命中的关键词等。
可选地，DPI设备在阻断HTTP响应报文之后，还可以向用户推送告警提示信息，以提示用户网页访问被阻断的原因等。
本发明实施例中，当DPI设备根据预先配置的关键词库搜索HTTP响应报文未命中，即HTTP响应报文中未包括预先配置的关键词库中的词语或词语组合时，DPI设备可以不阻断该HTTP响应报文，客户端正常访问网页。
步骤207、记录获取到的URL，并当接收到服务器发送的HTTP响应消息时，根据预先配置的关键词库搜索HTTP响应消息。若命中，转至步骤208；否则，结束当前流程。
本发明实施例中，当DPI设备确定非法URL信息中不包括获取到的URL时，DPI设备可以记录该URL，且不对该HTTP请求进行阻断。服务器接收到客户端发送的HTTP请求报文之后，可以根据该HTTP请求报文中包括的URL获取对应的网页资源，并将该网页资源携带在HTTP响应报文中发送给客户端。
DPI设备接收到服务器发送的HTTP响应报文时，可以根据预先配置的关键词库搜索HTTP响应报文，以确定该HTTP响应报文中是否包括关键词库中的词语或词语组合，其中，DPI设备根据关键词库搜索HTTP响应报文的具体实现与现有网页内容关键字过滤技术中的相关实现相类似，本发明实施例在此不再赘述。
步骤208、阻断该HTTP响应报文，并将URL添加到当前存储的非法URL信息中。
本发明实施例中，当DPI设备根据预先配置的关键词库搜索HTTP响应报文命中，即HTTP响应报文中包括预先配置的关键词库中的词语或词语组合时，DPI设备可以阻断该HTTP响应报文，如发送reset报文，断开客户端与服务器之间的TCP连接；此外，DPI设备还可以将上述记录的URL添加到当前存储的非法URL信息中。
进一步地，DPI设备阻断HTTP响应报文之后，还可以根据上述记录的URL生成告警日志，该告警日志可以包括该URL为非法URL的信息，以及命中的关键词等。
可选地，DPI设备在阻断HTTP响应报文之后，还可以向用户推送告警提示信息，以提示用户网页访问被阻断的原因等。
本发明实施例中，当DPI设备根据预先配置的关键词库搜索HTTP响应报文未命中，即HTTP响应报文中未包括预先配置的关键词库中的词语或词语组合时，DPI设备可以不阻断该HTTP响应报文，客户端正常访问网页。
进一步地，在本发明实施例中，DPI设备还可以通过一个独立的线程，定时检测自身存储的非法URL信息中各URL的有效性，并删除无效的URL。
需要注意的是，在本发明实施例中，非法URL信息中包括的URL的有效时间可以根据HTTP请求报文和/或HTTP响应报文中包括的相关信息确定，也可以根据具体应用场景手动设置，还可以自动设置为一个缺省值，其具体实现在此不再赘述。
可见，在图2所描述的方法流程中，通过在存储的非法URL信息中增加有效性信息，当非法URL信息中某URL无效时，不对包括该URL的HTTP请求报文进行阻断，避免当网页资源发生更新时的错误阻断，提高了网页访问控制的准确性。
通过以上描述可以看出，在本发明实施例中，通过存储非法URL信息，当接收到HTTP请求时，可以先判断当前存储的非法URL信息中是否包括该URL，并当包括时，阻断该HTTP请求报文，与现有技术中需要根据预先配置的关键词库搜索HTTP响应报文的网页访问控制方案相比，降低了设备性能损耗；同时，与现有技术中需要在接收到HTTP响应报文之后，才能确定是否阻断的实现方案相比，提高了网页访问控制的效率。
与前述网页访问控制方法实施例相对应，本发明还提供了网页访问控制装置的实施例。
本发明实施例中，网页访问控制装置可以应用在DPI设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明实施例提供的网页访问控制装置所在设备的一种硬件结构图，除了图3所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
请参见图4，为本发明实施例提供的一种网页访问控制装置的结构示意图，其中，所述装置可以应用于可以应用于上述方法实施例中的DPI设备，如图4所示，该网页访问控制装置可以包括：
接收单元410，用于接收客户端发送的超文本传输协议HTTP请求报文；
获取单元420，用于获取所述HTTP请求报文中包括的统一资源定位符URL；
判断单元430，用于判断当前存储的非法URL信息中是否包括所述URL；
控制单元440，用于当所述当前存储的非法URL信息中包括所述URL时，阻断所述HTTP请求报文；
记录单元450，用于当所述当前存储的非法URL信息中不包括所述URL时，记录所述URL；
搜索单元460，用于当接收到服务器发送的HTTP响应报文时，根据预先配置的关键词库搜索所述HTTP响应报文；
所述控制单元440，还用于当所述搜索单元460命中时，阻断所述HTTP响应报文，并将所述URL添加到当前存储的非法URL信息中。
在一实施例中，所述判断单元430，还可以用于当所述当前存储的非法URL信息中包括所述URL时，判断所述当前存储的非法URL信息中包括的所述URL是否有效；
相应地，所述控制单元440，可以具体用于当所述当前存储的非法URL信息中包括的所述URL有效时，阻断所述HTTP请求报文。
在一实施例中，所述记录单元450，还可以用于当所述当前存储的非法URL信息中包括的所述URL无效时，记录所述URL；
所述搜索单元460，还可以用于当所述当前存储的非法URL信息中包括的所述URL无效时，根据预先配置的关键词库搜索所述HTTP响应报文；
相应地，所述控制单元440，还可以用于当所述搜索单元命中时，阻断所述HTTP响应报文，并将所述非法URL信息中包括的所述URL设置为有效。
在一实施例中，所述非法URL信息以哈希链表的形式存储，所述哈希链表中各哈希节点为非法URL的哈希值。
请一并参见图5，为本发明实施例提供的另一种网页访问控制装置的结构示意图，该实施例在前述图4所示实施例的基础上，所述装置还可以包括：检测单元470。其中：
检测单元470，用于检测所述非法URL信息中包括的URL的有效性，并删除无效的URL。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
由上述实施例可见，通过存储非法URL信息，当接收到HTTP请求时，可以先判断当前存储的非法URL信息中是否包括该URL，并当包括时，阻断该HTTP请求报文，与现有技术中需要根据预先配置的关键词库搜索HTTP响应报文的网页访问控制方案相比，降低了设备性能损耗；同时，与现有技术中需要在接收到HTTP响应报文之后，才能确定是否阻断的实现方案相比，提高了网页访问控制的效率。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种网页访问控制方法，其特征在于，包括：
接收客户端发送的超文本传输协议HTTP请求报文，并获取所述HTTP请求报文中包括的统一资源定位符URL；
判断当前存储的非法URL信息中是否包括所述URL；
若包括，阻断所述HTTP请求报文；
否则，记录所述URL，并当接收到服务器发送的HTTP响应报文时，根据预先配置的关键词库搜索所述HTTP响应报文；若命中，则阻断所述HTTP响应报文，并将所述URL添加到当前存储的非法URL信息中。
2.根据权利要求1所述的方法，其特征在于，当所述当前存储的非法URL信息中包括所述URL时，所述阻断所述HTTP请求报文之前，还包括：
判断所述当前存储的非法URL信息中包括的所述URL是否有效；
若是，则确定执行所述阻断所述HTTP请求报文的步骤。
3.根据权利要求2所述的方法，其特征在于，所述判断所述当前存储的非法URL信息中包括的所述URL是否有效之后，还包括：
若否，记录所述URL，并当接收到服务器发送的HTTP响应报文时，根据预先配置的关键词库搜索所述HTTP响应报文；若命中，则阻断所述HTTP响应报文，并将所述非法URL信息中包括的所述URL设置为有效。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述非法URL信息以哈希链表的形式存储，所述哈希链表中各哈希节点为非法URL的哈希值。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
检测所述非法URL信息中包括的URL的有效性，并删除无效的URL。
6.一种网页访问控制装置，其特征在于，包括：
接收单元，用于接收客户端发送的超文本传输协议HTTP请求报文；
获取单元，用于获取所述HTTP请求报文中包括的统一资源定位符URL；
判断单元，用于判断当前存储的非法URL信息中是否包括所述URL；
控制单元，用于当所述当前存储的非法URL信息中包括所述URL时，阻断所述HTTP请求报文；
记录单元，用于当所述当前存储的非法URL信息中不包括所述URL时，记录所述URL；
搜索单元，用于当接收到服务器发送的HTTP响应报文时，根据预先配置的关键词库搜索所述HTTP响应报文；
所述控制单元，还用于当所述搜索单元命中时，阻断所述HTTP响应报文，并将所述URL添加到当前存储的非法URL信息中。
7.根据权利要求6所述的装置，其特征在于，
所述判断单元，还用于当所述当前存储的非法URL信息中包括所述URL时，判断所述当前存储的非法URL信息中包括的所述URL是否有效；
所述控制单元，具体用于当所述当前存储的非法URL信息中包括的所述URL有效时，阻断所述HTTP请求报文。
8.根据权利要求7所述的装置，其特征在于，
所述记录单元，还用于当所述当前存储的非法URL信息中包括的所述URL无效时，记录所述URL；
所述搜索单元，还用于当所述当前存储的非法URL信息中包括的所述URL无效时，根据预先配置的关键词库搜索所述HTTP响应报文；
所述控制单元，还用于当所述搜索单元命中时，阻断所述HTTP响应报文，并将所述非法URL信息中包括的所述URL设置为有效。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述非法URL信息以哈希链表的形式存储，所述哈希链表中各哈希节点为非法URL的哈希值。
10.根据权利要求6-8任一项所述的装置，其特征在于，所述装置还包括：
检测单元，用于检测所述非法URL信息中包括的URL的有效性，并删除无效的URL。
CN201510531757.8A 2015-08-26 2015-08-26 一种网页访问控制方法和装置 Pending CN105938472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510531757.8A CN105938472A (zh) 2015-08-26 2015-08-26 一种网页访问控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510531757.8A CN105938472A (zh) 2015-08-26 2015-08-26 一种网页访问控制方法和装置

Publications (1)

Publication Number Publication Date
CN105938472A true CN105938472A (zh) 2016-09-14

Family

ID=57152807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510531757.8A Pending CN105938472A (zh) 2015-08-26 2015-08-26 一种网页访问控制方法和装置

Country Status (1)

Country Link
CN (1) CN105938472A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154932A (zh) * 2017-04-07 2017-09-12 北京深思数盾科技股份有限公司 一种应用的访问控制方法及装置
CN108683583A (zh) * 2018-04-27 2018-10-19 北京顶象技术有限公司 一种垃圾邮件处理方法、装置及存储介质
CN109361712A (zh) * 2018-12-17 2019-02-19 北京天融信网络安全技术有限公司 一种信息处理方法及信息处理装置
CN109582833A (zh) * 2018-11-06 2019-04-05 阿里巴巴集团控股有限公司 异常文本检测方法及装置
CN111200499A (zh) * 2019-12-03 2020-05-26 云深互联(北京)科技有限公司 基于pc端企业浏览器实现的系统数据访问方法和装置
CN111541673A (zh) * 2016-12-23 2020-08-14 新东网科技有限公司 一种效率高的检测http请求安全性的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252443A (zh) * 2008-03-20 2008-08-27 华为技术有限公司 检测报文安全性的方法和装置
CN102780681A (zh) * 2011-05-11 2012-11-14 中兴通讯股份有限公司 Url过滤系统及过滤url的方法
CN102857572A (zh) * 2012-09-14 2013-01-02 北京星网锐捷网络技术有限公司 一种http访问请求处理方法、装置及网关设备
CN103401850A (zh) * 2013-07-19 2013-11-20 北京星网锐捷网络技术有限公司 一种报文过滤方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252443A (zh) * 2008-03-20 2008-08-27 华为技术有限公司 检测报文安全性的方法和装置
CN102780681A (zh) * 2011-05-11 2012-11-14 中兴通讯股份有限公司 Url过滤系统及过滤url的方法
CN102857572A (zh) * 2012-09-14 2013-01-02 北京星网锐捷网络技术有限公司 一种http访问请求处理方法、装置及网关设备
CN103401850A (zh) * 2013-07-19 2013-11-20 北京星网锐捷网络技术有限公司 一种报文过滤方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541673A (zh) * 2016-12-23 2020-08-14 新东网科技有限公司 一种效率高的检测http请求安全性的方法及系统
CN107154932A (zh) * 2017-04-07 2017-09-12 北京深思数盾科技股份有限公司 一种应用的访问控制方法及装置
CN108683583A (zh) * 2018-04-27 2018-10-19 北京顶象技术有限公司 一种垃圾邮件处理方法、装置及存储介质
CN109582833A (zh) * 2018-11-06 2019-04-05 阿里巴巴集团控股有限公司 异常文本检测方法及装置
CN109582833B (zh) * 2018-11-06 2023-09-22 创新先进技术有限公司 异常文本检测方法及装置
CN109361712A (zh) * 2018-12-17 2019-02-19 北京天融信网络安全技术有限公司 一种信息处理方法及信息处理装置
CN109361712B (zh) * 2018-12-17 2021-08-24 北京天融信网络安全技术有限公司 一种信息处理方法及信息处理装置
CN111200499A (zh) * 2019-12-03 2020-05-26 云深互联(北京)科技有限公司 基于pc端企业浏览器实现的系统数据访问方法和装置
CN111200499B (zh) * 2019-12-03 2023-04-18 苏州云至深技术有限公司 基于pc端企业浏览器实现的系统数据访问方法和装置

Similar Documents

Publication Publication Date Title
CN105938472A (zh) 一种网页访问控制方法和装置
CN104767775B (zh) 网页应用消息推送方法及系统
US20170185678A1 (en) Crawler system and method
CN106294648A (zh) 一种针对页面访问路径的处理方法及装置
CN105187396A (zh) 识别网络爬虫的方法及装置
CN106528657A (zh) 浏览器跳转至应用程序的控制方法及装置
CN102436564A (zh) 一种识别被篡改网页的方法及装置
CN104202360A (zh) 访问网页的方法、装置及路由器
CN102752288A (zh) 网络访问行为识别方法和装置
CN106961420B (zh) cookie信息的处理方法及装置
CN103023906A (zh) 针对远程过程调用协议进行状态跟踪的方法及系统
US7987243B2 (en) Method for media discovery
AU2017265064B2 (en) Access to data on a remote device
KR20180074774A (ko) 악의 웹 사이트 식별 방법, 장치 및 컴퓨터 기억매체
US20140337536A1 (en) Method and apparatus for data communication
CN105635064A (zh) Csrf攻击检测方法及装置
CN105635073A (zh) 访问控制方法、装置和网络接入设备
WO2017080393A1 (zh) 一种ip地址获取方法及装置
CN105991634A (zh) 访问控制的方法和装置
CN108062468B (zh) 一种基于图片验证码识别的网络爬虫方法
CN106911735B (zh) 数据获取方法及装置
CN103401861B (zh) 代理上网识别方法及装置
WO2019136987A1 (zh) 网络爬虫识别方法、装置、计算机设备和存储介质
CN101231655A (zh) 用于处理搜索引擎结果的方法和系统
CN107391714A (zh) 一种截图方法、截图服务器、截图服务系统及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Binjiang District and Hangzhou city in Zhejiang Province Road 310051 No. 68 in the 6 storey building

Applicant after: Hangzhou Dipu Polytron Technologies Inc

Address before: Binjiang District and Hangzhou city in Zhejiang Province Road 310051 No. 68 in the 6 storey building

Applicant before: Hangzhou Dipu Technology Co., Ltd.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication

Application publication date: 20160914

RJ01 Rejection of invention patent application after publication