CN101388768A - 检测恶意http请求的方法及装置 - Google Patents

检测恶意http请求的方法及装置 Download PDF

Info

Publication number
CN101388768A
CN101388768A CNA2008102245718A CN200810224571A CN101388768A CN 101388768 A CN101388768 A CN 101388768A CN A2008102245718 A CNA2008102245718 A CN A2008102245718A CN 200810224571 A CN200810224571 A CN 200810224571A CN 101388768 A CN101388768 A CN 101388768A
Authority
CN
China
Prior art keywords
web
network node
network
http request
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008102245718A
Other languages
English (en)
Other versions
CN101388768B (zh
Inventor
叶润国
李博
胡振宇
孙海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Venus Information Security Technology Co Ltd
Beijing Venus Information Technology Co Ltd
Original Assignee
Beijing Venus Information Security Technology Co Ltd
Beijing Venus Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Venus Information Security Technology Co Ltd, Beijing Venus Information Technology Co Ltd filed Critical Beijing Venus Information Security Technology Co Ltd
Priority to CN2008102245718A priority Critical patent/CN101388768B/zh
Publication of CN101388768A publication Critical patent/CN101388768A/zh
Application granted granted Critical
Publication of CN101388768B publication Critical patent/CN101388768B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种检测恶意HTTP请求的方法和装置,该装置包括Web访问关系网络构建单元和恶意HTTP请求检测单元,其中:所述Web访问关系网络构建单元用于为待检测Web网站构造Web访问关系网络,该Web访问关系网络体现了该Web网站固有的Web页面访问顺序;所述恶意HTTP请求检测单元用于根据所述Web访问关系网络判定发往所述Web网站的HTTP请求是否符合该Web网站固有的Web页面访问顺序,如不符合则判定该HTTP请求为恶意的HTTP请求。本发明方法和装置利用Web网站所固有的Web页面访问顺序可以对恶意HTTP请求进行有效检测。

Description

检测恶意HTTP请求的方法及装置
技术领域
本发明涉及一种检测恶意HTTP请求的装置及方法,属于计算机网络安全技术领域。
背景技术
随着互联网技术和Web技术的发展,Web不再只为互联网用户提供静态内容服务,而可以根据用户需要提供各种动态Web内容服务。由于Web服务具有易部署和易用等优点,现在很多传统客户机/服务器模式的应用都开始转变成基于Web的应用,包括那些对安全要求非常高的电子银行和电子证券等应用。
Web应用在为人们的生活和工作带来便利的同时,也带来了很多安全问题,包括网页木马、网络钓鱼、跨站脚本攻击和跨站请求伪造等攻击,这些攻击的攻击原理是:黑客通过某种方式向受害者的Web浏览器发送一段恶意的HTML代码或者脚本,这段HTML代码或者脚本将被受害者Web浏览器解释执行,Web浏览器在解释执行这段代码的过程中,将在受害者毫无知觉的情况下自动提交一些恶意的HTTP请求到指定的Web服务器,而这些恶意HTTP请求由于继承了受害者的访问权限,因而能够通过Web服务器端的访问控制,使得Web服务器会对这个恶意HTTP请求进行响应,从而达到攻击的目的。一个典型的攻击例子为:某银行网站包含一个站内查询页面,它允许用户输入需要查询的关键词然后显示站内查询结果,但这个站内查询页面存在一个安全缺陷,它并没有对用户的输入数据进行严格的检查和过滤,而是直接地显示到Web浏览器,因此,如果黑客通过这个站内查询页面提交如下一个字符串“<IMG SRC=http://www.ebank.com/transfer.asp?amount=30000&to=james>”,那么这个字符串将反射到受害者并被受害者的Web浏览器解释执行,解释执行的结果则是受害者的Web浏览器在受害者毫不知情的情形下向ebank Web服务器提交一个将3万美元转帐到james帐户的恶意HTTP请求,如果受害者此时恰好登录了ebank网站,那么这个恶意HTTP请求则可能通过ebank服务器的访问控制而被执行,从而达到黑客的攻击目的。
由于这些恶意HTTP请求中并没有包含明显的攻击特征,传统的入侵检测算法是很难检测到的,要检测这种恶意HTTP请求,则必须采取新的检测方法。
发明内容
本发明要解决的技术问题是提供一种检测恶意HTTP请求的方法的装置,以有效检测恶意HTTP请求。
为了解决上述问题,本发明提供了一种检测恶意HTTP请求的方法,该方法包括以下步骤:
(a)为待检测的Web网站构造Web访问关系网络,该访问关系网络体现了该Web网站固有的Web页面访问顺序;
(b)根据所述Web访问关系网络判定发往所述Web网站的HTTP请求是否符合该Web网站固有的Web页面访问顺序,如不符合则判定该HTTP请求为恶意的HTTP请求。
进一步地,所述该访问关系网络为包含网络节点和有向边的有向图,其中,网络节点代表该Web网站上的一个Web页面,有向边表示存在一条从起始网络节点到终止网络节点的直接Web页面访问路径。
进一步地,步骤(a)进一步包括如下步骤:
(a1)为该待检测网站的根网页创建一个网络节点,并其标记为“未考察”状态;
(a2)找到某个标记为“未考察”状态的网络节点,将其标记为“正考察”状态,并使用网络爬虫获取该网络节点所对应文件对象;
(a3)考察所获取的文件对象的文件格式是否为Web网页:如是则从该Web网页中提取所有的远程链接对象并跳转到步骤(a4);否则直接将该网络节点标记为“已考察”状态并跳转到步骤(a2);
(a4)对于从Web页面中提取的每个远程链接对象进行如下处理:首先检查Web访问关系网络中是否存在与之相对应的网络节点,如果存在则找到该网络节点,否则创建一个与该远程链接对象相对应的新的网络节点并将其状态标记为“未考察”;最后创建一条从所述“正考察”状态的网络节点到该远程链接对象所对应网络节点的有向边;
(a5)将所述“正考察”状态的网络节点的状态修正为“已考察”状态;
(a6)重复执行步骤(a2)至步骤(a5),直至Web访问关系网络中不存在“未考察”状态的网络节点为止。
进一步地,所述步骤(a)、(b)之间还包括关键节点标识步骤:将需要监控的Web页面在所述Web访问关系网络中对应的网络节点标识为关键节点;步骤(b)中,先判断所述HTTP请求中的目的页面对应的网络节点是否为关键节点,若是则进一步判断是否符合该Web网站固有的Web页面访问顺序。
进一步地,关键节点标识步骤后,步骤(b)前还包括修正步骤:为所述Web访问关系网络中的关键网络节点创建一个或多个新的父网络节点,所创建的父网络节点代表来自所述Web网站外部的Web页面,从新创建的父网络节点到关键节点的有向边代表从该外部Web网页到该关键网络节点的直接Web页面访问路径。
进一步地,关键节点标识步骤后,步骤(b)前还包括裁剪步骤:将既不是关键节点也不是某关键节点的父网络节点的网络节点从Web访问关系网络中删除。
进一步地,步骤(b)中是这样判断HTTP请求是否符合该Web网站固有的Web页面访问顺序的:(b1)从HTTP请求头部中提取Referer和URI两个协议字段值;(b2)判断该URI所指向的Web页面是否为所述Web访问关系网络中的关键节点,如果是,则执行步骤(b3),否则认为该该HTTP请求为一个未见异常HTTP请求,流程结束;(b3)检查Referer是否同时满足如下三个条件:Referer不为空;所述Web访问关系网络中存在一个与Referer所指向的Web页面对应的网络节点;Referer所对应的网络节点包含在URI所对应关键节点的父节点集合中,若Referer不同时满足以上三个条件,则认为检测到一次恶意HTTP请求。
为解决上述技术问题,本发明还提供了一种检测恶意HTTP请求的装置,该装置包括Web访问关系网络构建单元和恶意HTTP请求检测单元,其中:
所述Web访问关系网络构建单元用于为待检测Web网站构造Web访问关系网络,该Web访问关系网络体现了该Web网站固有的Web页面访问顺序;
所述恶意HTTP请求检测单元用于根据所述Web访问关系网络判定发往所述Web网站的HTTP请求是否符合该Web网站固有的Web页面访问顺序,如不符合则判定该HTTP请求为恶意的HTTP请求。
进一步地,所述该Web访问关系网络为包含网络节点和有向边的有向图,其中,网络节点代表该Web网站上的一个Web页面,有向边表示存在一条从起始网络节点到终止网络节点的直接Web页面访问路径,所述装置还包括关键节点标识单元,用于将需要监控的Web页面在所构造的Web访问关系网络中对应的网络节点标识为关键节点;所述恶意HTTP请求检测单元仅对发往关键节点的HTTP请求进行检测。
进一步地,所述Web访问关系网络构建单元还用于对构建的Web页面访问关系网络进行裁减,以将既不是关键节点也不是某关键节点的父网络节点的网络节点从Web访问关系网络中删除。
相较于现有技术,本发明方法和装置充分利用了Web网站所固有的Web页面访问顺序,通过检测提交到Web服务器的HTTP请求中携带的Web页面访问顺序信息来检查这个HTTP请求是否违反了该Web网站固有Web页面访问顺序来有效检测恶意HTTP请求。在判定某HTTP请求是否违反固有的Web访问顺序时,只需要对Web访问关系网络进行简单检索。
附图说明
图1为本发明检测恶意HTTP请求方法流程图。
图2为本发明检测恶意HTTP请求装置模块图。
图3为本发明方法中Web访问关系网络自动构建流程图。
图4为本发明方法中恶意HTTP请求检测流程图。
图5为本发明Web访问关系网络自动构建应用实例。
图6为对图5中所述Web访问关系网络进行关键节点标识后的示例。
图7为对图6中所述Web访问关系网络进行裁减的示例。
具体实施方式
本发明检测恶意HTTP请求的装置和方法的检测依据是:Web网站都具有固有的Web页面访问顺序,而恶意HTTP请求一般都会违反这种固有的Web页面访问顺序。通过检查各HTTP请求中URI字段和Referer字段中所携带的访问路径信息可以判定其是否违反了该Web应用系统的Web页面访问顺序。
本发明所述方法和装置用来检测针对特定Web应用系统的恶意HTTP请求。因此,首先需要为该检测方法和装置指定所需要检测的Web应用系统的根网页的具体网址,比如,如果要使用本发明所述方法和装置来检测针对sohu网站的恶意HTTP请求,则可以指定该sohu网站的根网页为http://www.sohu.com。
如图1所示,本发明所述检测恶意HTTP请求方法包括以下步骤:
步骤101、为待检测Web网站构造包含网络节点和有向边的Web访问关系网络,该访问关系网络体现了该Web网站固有的Web页面访问顺序;
为预定Web网站构建的Web访问关系网络为一个包含网络节点和有向边的有向图,其中,网络节点代表该Web网站上的一个Web页面,有向边表示存在一个从起始网络节点到终止网络节点的直接Web页面访问路径。
为指定Web网站构建Web访问关系网络的过程除了可以通过人工方式构造外,还可以采用网络爬虫技术实现,即由网络爬虫直接对指定Web网站进行遍历,并自动判定各Web网页之间的访问顺序,采用网页爬虫自动构建Web访问关系网络的过程将在后续进行说明。
步骤2、找到所有需要监控的Web页面,在所构造Web访问关系网络中标记相对应网络节点为关键节点;
需要监控的Web页面是指该Web应用系统中关键的并会改变Web应用系统状态的Web页面,比如,在一个网上银行Web应用系统中,所有涉及到帐户操作的Web页面都是需要监控的Web页面,因此,可以将这些Web页面所对应的网络节点标记为关键节点。
对于一些Web网站,由于某些原因,可能允许某些Web网站直接访问其Web应用系统中的某些Web页面,比如,某Web网银系统可能允许某个Web购物网站的结算中心Web页面直接访问其电子转帐Web页面。因此,可能需要修正为该Web网银系统构建的Web访问关系网络。具体的修正步骤为:
对于所述Web访问关系网络中的每个关键网络节点,如果允许外部网站Web页面直接访问该关键网络节点所对应的Web页面,则为该关键节点创建一个或多个新的父网络节点,所创建的每个父网络节点代表一个来自外部Web网站的Web页面,从新创建的父节点到关键节点的有向边代表从该外部Web网页到该关键网络节点的直接Web页面访问路径。
通常情况下,为一个Web应用系统构建的Web访问关系网络可能很大,要存储和检索一个庞大的Web访问关系网络开销非常大。由于在恶意HTTP请求检测过程只关心对关键网络节点所对应的Web页面的访问情况是否违规,因此,可以对所创建的Web访问关系网络进行裁剪,具体步骤为:对于Web访问关系网络中的每一个网络节点,如果其既不是关键节点也不是某关键节点的父节点,则将该网络节点以及与之关联的有向边从Web访问关系网络中删除。
步骤3、对收到的发往所述Web网站的每个HTTP请求,根据Web访问关系网络判定其是否符合该Web网站固有的Web页面访问顺序,如不符合则判定该HTTP请求为恶意的HTTP请求。
对收到的发往该预先指定Web网站的每个HTTP请求,从HTTP请求头部中提取Referer和URI两个协议字段值,首先判断该URI所指向的Web页面是否为所述Web访问关系网络中的关键节点,如果是,则检查Referer是否同时满足如下三个条件:A)Referer不为空;B)所述Web访问关系网络中存在一个与Referer所指向的Web页面对应的网络节点;C)Referer所对应的网络节点包含在URI所对应关键节点的父节点集合中,如果Referer不同时满足以上三个条件,则认为检测到一次恶意HTTP请求。
为了实现以上检测方法,本发明检测恶意HTTP请求的装置,如图2所示,包括Web访问关系网络构建单元、关键节点标识单元和恶意HTTP请求检测单元,其中,
所述Web访问关系网络构建单元用于为待检测Web网站构造一个Web访问关系网络,该访问关系网络体现了该Web网站固有的Web页面访问顺序,以及对构建的Web页面访问关系网络进行修正,以体现外部网站网页到待检测网站网页的访问路径;还用于对构建的Web页面访问关系网络进行裁减,以将既不是关键节点也不是某关键节点的父网络节点的网络节点从Web访问关系网络中删除。
如上所述,该访问关系网络为一个包含网络节点和有向边的有向图,其中,网络节点代表该Web网站上的一个Web页面,有向边表示存在一条从起始网络节点到终止网络节点的直接Web页面访问路径。
所述Web访问关系网络构建单元可以按照公知的有向图存储方法对Web访问关系网络进行存储和检索。
所述关键节点标识单元用于将该Web网站中所有需要监控的Web页面在所构造的Web访问关系网络中对应的网络节点标识为关键节点;
所述恶意HTTP请求检测单元用于根据所述Web访问关系网络判定发往所述Web网站的HTTP请求是否符合该Web网站固有的Web页面访问顺序,如不符合则判定该HTTP请求为恶意的HTTP请求。
如图3所示,所述发明装置中的Web访问关系网络构建单元可以采用网络爬虫自动构建Web访问关系网络,具体工作流程为:
步骤301,将Web访问关系网络清空,为该指定Web网站的根网页创建一个网络节点,并将其标记为“未考察”状态;
步骤302,从Web访问关系网络中找到某个标记为“未考察”状态的网络节点,将其标记为“正考察”状态,并使用网络爬虫获取该网络节点所对应文件对象;
步骤303,考察所获取的文件对象的文件格式是否为Web网页,如是执行步骤3032,否则执行步骤3031;
步骤3031:直接将该网络节点标记为“已考察”状态并跳转到步骤302;
步骤3032:从该Web网页中提取所有的远程链接对象并跳转到步骤304;
步骤304,处理从Web页面中提取的所有远程链接对象,并相应调整Web访问关系网络;
对于从Web页面中提取的每个远程链接对象进行如下处理:首先检查Web访问关系网络中是否存在与之相对应的网络节点,如果存在则找到该网络节点,否则创建一个与该远程链接对象相对应的新的网络节点并将其状态标记为“未考察”;最后创建一条从所述“正考察”状态的网络节点到该远程链接对象所对应网络节点的有向边;
步骤305,将所述“正考察”状态的网络节点的状态修正为“已考察”状态;
步骤306,重复执行步骤302至步骤305,直至Web访问关系网络中不存在“未考察”状态的网络节点为止。
如附图4所示,所述发明装置中的恶意HTTP请求检测单元的输入为一个完整的HTTP请求消息,其输出为“未见异常HTTP请求”或“恶意提交HTTP请求”,具体工作流程如下:
步骤401、从HTTP请求头部中提取Referer和URI两个协议字段值;
步骤402、基于URI值检索Web访问关系网络,如果没有找到所对应网络节点则判定该HTTP请求为一个未见异常HTTP请求并结束算法,否则继续执行步骤403;
步骤403、判断该网络节点是否为关键网络节点,如果不为关键网络节点则判定该HTTP请求为一个未见异常HTTP请求并结束算法,否则执行步骤404;
步骤404、检查Referer值是否为空,如果为空则判定该HTTP请求为恶意HTTP请求并结束算法,否则继续执行步骤405;
步骤405、基于Referer值检索Web访问关系网络,如果没有找到相应的网络节点,则判定该HTTP请求为恶意HTTP请求并结束算法,否则继续执行步骤406;
步骤406、检查Referer所对应的网络节点是否为该URI所对应关键节点的父节点,如果是则判定该HTTP请求为一个未见异常HTTP请求,否则判定其为一个恶意提交HTTP请求。
应用实例:
下面给出一个具体应用实例,以便此领域普通技术人员能够更好地理解本发明。
假设某Web网站根网页为http://www.test.com/,该根Web页面包含一个超级链接login.asp和三个图片对象1.jpg、2.jpg和3.jpg。其中超级链接login.asp是一个动态Web页面,完成对Web用户的认证。用户登录认证成功后,将显示actionl.asp和action2.asp两个超级链接,通过Web应用系统认证后的用户可以通过这两个超级链接完成指定的功能。
构建Web访问关系网络
下面采用基于网络爬虫的Web访问关系网络来自动构建算法来构建Web访问关系网络。构建过程如下:
(A)清空Web访问关系网络,然后为根Web页面(http://www.test.com/)构建一个网络节点501;
(B)启动网路爬虫获取本根页面内容,从HTTP响应头部中的Content-Type字段值可以判定其格式为HTML文件格式,因此,从中提取所有的远程链接对象:login.asp、1.jpg、2.jpg和3.jpg,并为这四个远程链接对象分别创建新的网络节点511、512、513和514;并创建从网络节点501分别到网络节点511、512、513和514的有向边,根Web页面网络节点501已经考察完毕;
(C)下面考察login.asp所对应的网络节点511,网络爬虫首先获取该远程对象login.asp,发现其格式为HTML页面,因此,从中提取所有的远程链接对象actionl.asp和action2.asp,并为这两个远程链接对象创建新的网络节点521和522;并创建从网络节点511分别到网络节点521和522的有向边;
(D)下面分别考察1.jpg、2.jpg和3.jpg三个远程链接对象所对应的网络节点512、513和514,发现其格式不为HTML页面,因此无需继续分析其内容;
(E)下面考察actionl.asp所对应的网络节点521,获取该网络节点所对应的文件对象发现其格式为HTML格式,于是从中提取远程链接对象,没有提取到远程链接对象,考察结束;
(F)下面考察action2.asp所对应的网络节点522,获取该网络节点所对应的文件对象发现其格式为HTML格式,于是从中提取远程链接对象,没有提取到远程链接对象,考察结束。
(G)最后,整个Web访问关系网络中不再存在“未考察”状态节点,因此,算法结束。最后构建的Web访问关系网络如图5所示。
标识关键节点:
由于actionl.asp和action2.asp是两个关键的Web页面,它能够改变Web应用系统的状态,因此有必要监测对这两个Web页面的访问情况,以防止出现伪造请求访问攻击。因此,将图5中actionl.asp和action2.asp所对应网络节点521和522标识为关键节点(图中用双线框节点表示),得到图6。
裁减Web访问关系网络:
对附图6中的Web访问关系网络进行裁减,即从Web访问关系网络中删除那些既不是关键节点也不是关键节点父节点的其它网络节点,得到图7所示的Web访问关系网络。
检测http请求示例1:
假设恶意HTTP请求检测单元接收到如下http请求:
GET/login.asp HTTP/1.1\r\n
Host:www.test.com\r\n
ser-Agent:Mozilla/5.0(xxxx)\r\n
Accept:text/html;image/jpg,*/*\r\n
Accept-Language:zh-cn,zh\r\n
Accept-Charset:gb2312,utf-8\r\n
Referer:http://www.test.com∧r\n
该HTTP请求的URI值为“/login.asp”,Referer值为“http://www.test.com/”,首先依据URI值检索图7的Web访问关系网络,发现/login.asp所对应的网络节点存在,但是它不是关键节点,因此,直接将其判定为“未见异常HTTP请求”。
测http请求示例2:
假设黑客想攻击这个网址为www.test.com的Web应用系统,它自己设立一个网站,网址为www.abc.com,在该网站根Web网页中包含了如下一行HTML代码:“<img height=0 width=0 src=`http://www.test.com/actionl.asp`>”。
若有一www.test.com的Web用户(受害者)通过该Web应用系统上的登录Web页面login.asp成功完成了用户认证,但它并不想执行/actionl.asp这个超级链接所对应的功能。但不幸的是,他在没有从www.test.com Web应用系统注销的情况下,打开了黑客网站www.abc.com,此时,其Web客户端将解释执行上面这段黑客恶意插入的HTML代码,结果是,受害者的Web客户端将向www.test.com这个Web应用系统发送一个如表2所示的HTTP请求,该HTTP请求的Cookies字段中自动携带了受害者登录www.test.com Web应用系统时所获得的授权信息。下面,分析一下恶意HTTP请求检测单元是如何检测该恶意HTTP请求的。
若恶意HTTP请求检测单元接收到如下所示的HTTP请求:
GET/actionl.asp HTTP/1.1\r\n
Host:www.test.com\r\n
User-Agent:Mozilla/5.0(xxxx)\r\n
Accept:text/html;image/jpg,*/*\r\n
Accept-Language:zh-cn,zh\r\n
Accept-Charset:gb2312,utf-8\r\n
Referer:http://www.abc.com∧r\n
Cookies:UID=12334-5444-4abcde;Name=%20james;Pin=%35%37%39\r\n
则恶意HTTP请求检测单元首先依据URI值检索图7的Web访问关系网络,发现/actionl.asp所对应的网络节点存在,并且它为关键节点,于是进一步根据Referer值“http://www.abc.com”检索图7中的Web访问关系网络,发现Web访问关系网络中并不存在对应的网络节点,因此,直接将其判定为“恶意HTTP请求”,并产生相应的报警日志。
本发明充分利用了Web网站所固有的Web页面访问顺序,通过检测提交到Web服务器的HTTP请求中携带的Web页面访问顺序信息来检查这个HTTP请求是否违反了该Web网站固有Web页面访问顺序有效检测恶意HTTP请求。本发明所述方法采用Web访问关系网络来描述Web网站各Web页面之间的访问顺序,并可以采用网页爬虫来构建整个Web访问关系网络。在判定某HTTP请求是否违反固有的Web访问顺序时,只需要对Web访问关系网络进行简单检索,此外,我们可以在不影响检测结果的前提先对整个Web访问关系网络进行精简,从而大大提高所述方法的检测效率。

Claims (10)

1、一种检测恶意HTTP请求的方法,其特征在于,该方法包括以下步骤:
(a)为待检测的Web网站构造Web访问关系网络,该访问关系网络体现了该Web网站固有的Web页面访问顺序;
(b)根据所述Web访问关系网络判定发往所述Web网站的HTTP请求是否符合该Web网站固有的Web页面访问顺序,如不符合则判定该HTTP请求为恶意的HTTP请求。
2、如权利要求1所述的方法,其特征在于:所述该访问关系网络为包含网络节点和有向边的有向图,其中,网络节点代表该Web网站上的一个Web页面,有向边表示存在一条从起始网络节点到终止网络节点的直接Web页面访问路径。
3、如权利要求1所述的方法,其特征在于:步骤(a)进一步包括如下步骤:
(a1)为该待检测网站的根网页创建一个网络节点,并其标记为“未考察”状态;
(a2)找到某个标记为“未考察”状态的网络节点,将其标记为“正考察”状态,并使用网络爬虫获取该网络节点所对应文件对象;
(a3)考察所获取的文件对象的文件格式是否为Web网页:如是则从该Web网页中提取所有的远程链接对象并跳转到步骤(a4);否则直接将该网络节点标记为“已考察”状态并跳转到步骤(a2);
(a4)对于从Web页面中提取的每个远程链接对象进行如下处理:首先检查Web访问关系网络中是否存在与之相对应的网络节点,如果存在则找到该网络节点,否则创建一个与该远程链接对象相对应的新的网络节点并将其状态标记为“未考察”;最后创建一条从所述“正考察”状态的网络节点到该远程链接对象所对应网络节点的有向边;
(a5)将所述“正考察”状态的网络节点的状态修正为“已考察”状态;
(a6)重复执行步骤(a2)至步骤(a5),直至Web访问关系网络中不存在“未考察”状态的网络节点为止。
4、如权利要求2所述的方法,其特征在于,所述步骤(a)、(b)之间还包括关键节点标识步骤:将需要监控的Web页面在所述Web访问关系网络中对应的网络节点标识为关键节点;步骤(b)中,先判断所述HTTP请求中的目的页面对应的网络节点是否为关键节点,若是则进一步判断是否符合该Web网站固有的Web页面访问顺序。
5、如权利要求4所述的方法,其特征在于:关键节点标识步骤后,步骤(b)前还包括修正步骤:为所述Web访问关系网络中的关键网络节点创建一个或多个新的父网络节点,所创建的父网络节点代表来自所述Web网站外部的Web页面,从新创建的父网络节点到关键节点的有向边代表从该外部Web网页到该关键网络节点的直接Web页面访问路径。
6、如权利要求4所述的方法,其特征在于:关键节点标识步骤后,步骤(b)前还包括裁剪步骤:将既不是关键节点也不是某关键节点的父网络节点的网络节点从Web访问关系网络中删除。
7、如权利要求1所述的方法,其特征在于:步骤(b)中是这样判断HTTP请求是否符合该Web网站固有的Web页面访问顺序的:(b1)从HTTP请求头部中提取Referer和URI两个协议字段值;(b2)判断该URI所指向的Web页面是否为所述Web访问关系网络中的关键节点,如果是,则执行步骤(b3),否则认为该该HTTP请求为一个未见异常HTTP请求,流程结束;(b3)检查Referer是否同时满足如下三个条件:Referer不为空;所述Web访问关系网络中存在一个与Referer所指向的Web页面对应的网络节点;Referer所对应的网络节点包含在URI所对应关键节点的父节点集合中,若Referer不同时满足以上三个条件,则认为检测到一次恶意HTTP请求。
8、一种检测恶意HTTP请求的装置,其特征在于,该装置包括Web访问关系网络构建单元和恶意HTTP请求检测单元,其中:
所述Web访问关系网络构建单元用于为待检测Web网站构造Web访问关系网络,该Web访问关系网络体现了该Web网站固有的Web页面访问顺序;
所述恶意HTTP请求检测单元用于根据所述Web访问关系网络判定发往所述Web网站的HTTP请求是否符合该Web网站固有的Web页面访问顺序,如不符合则判定该HTTP请求为恶意的HTTP请求。
9、如权利要求8所述的装置,其特征在于:所述该Web访问关系网络为包含网络节点和有向边的有向图,其中,网络节点代表该Web网站上的一个Web页面,有向边表示存在一条从起始网络节点到终止网络节点的直接Web页面访问路径,所述装置还包括关键节点标识单元,用于将需要监控的Web页面在所构造的Web访问关系网络中对应的网络节点标识为关键节点;所述恶意HTTP请求检测单元仅对发往关键节点的HTTP请求进行检测。
10、如权利要求9所述的装置,其特征在于:所述Web访问关系网络构建单元还用于对构建的Web页面访问关系网络进行裁减,以将既不是关键节点也不是某关键节点的父网络节点的网络节点从Web访问关系网络中删除。
CN2008102245718A 2008-10-21 2008-10-21 检测恶意http请求的方法及装置 Expired - Fee Related CN101388768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008102245718A CN101388768B (zh) 2008-10-21 2008-10-21 检测恶意http请求的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008102245718A CN101388768B (zh) 2008-10-21 2008-10-21 检测恶意http请求的方法及装置

Publications (2)

Publication Number Publication Date
CN101388768A true CN101388768A (zh) 2009-03-18
CN101388768B CN101388768B (zh) 2011-03-23

Family

ID=40477964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102245718A Expired - Fee Related CN101388768B (zh) 2008-10-21 2008-10-21 检测恶意http请求的方法及装置

Country Status (1)

Country Link
CN (1) CN101388768B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624892A (zh) * 2012-03-08 2012-08-01 北京神州数码思特奇信息技术股份有限公司 一种防止外挂客户端模拟http请求的方法
CN102711107A (zh) * 2012-05-17 2012-10-03 北京工业大学 基于关键节点的无线传感器网络入侵检测方法
CN102945263A (zh) * 2012-10-23 2013-02-27 北京百度网讯科技有限公司 一种用于确定多个访问对象之间的访问相关性信息的方法
CN103001954A (zh) * 2012-11-22 2013-03-27 深圳市共进电子股份有限公司 一种web服务器文件保护方法及系统
CN103077107A (zh) * 2012-12-31 2013-05-01 Tcl集团股份有限公司 一种数据维护方法及系统
CN103312692A (zh) * 2013-04-27 2013-09-18 深信服网络科技(深圳)有限公司 链接地址安全性检测方法及装置
CN103684823A (zh) * 2012-09-12 2014-03-26 阿里巴巴集团控股有限公司 网络日志记录方法、网络访问路径确定方法及相关装置
CN104135507A (zh) * 2014-06-30 2014-11-05 北京奇艺世纪科技有限公司 一种防盗链的方法和装置
WO2016202206A1 (zh) * 2015-06-16 2016-12-22 阿里巴巴集团控股有限公司 一种超文本传输请求的补发方法、装置及客户端
CN106528175A (zh) * 2016-11-29 2017-03-22 福州大学 面向bs架构的数据接口生成方法
CN108075924A (zh) * 2016-11-08 2018-05-25 佳能株式会社 管理系统和控制方法
CN108650274A (zh) * 2018-05-21 2018-10-12 中国科学院计算机网络信息中心 一种网络入侵检测方法及系统
CN109660502A (zh) * 2018-09-28 2019-04-19 平安科技(深圳)有限公司 异常行为的检测方法、装置、设备及存储介质
WO2020007367A1 (zh) * 2018-07-06 2020-01-09 北京白山耘科技有限公司 一种检查异常web访问的方法、装置、介质及设备
CN110704779A (zh) * 2019-09-27 2020-01-17 杭州迪普科技股份有限公司 一种网站页面访问合规性检测方法、装置及设备
CN111259296A (zh) * 2020-01-14 2020-06-09 武汉极意网络科技有限公司 一种保证Web资源请求有序性的方法及系统
CN112202784A (zh) * 2020-09-30 2021-01-08 成都新潮传媒集团有限公司 反爬虫方法、装置及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040073B (zh) * 2018-08-07 2021-04-16 北京神州绿盟信息安全科技股份有限公司 一种万维网异常行为访问的检测方法、装置、介质和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100459611C (zh) * 2004-08-06 2009-02-04 华为技术有限公司 超文本传输协议服务的安全管理方法
CN100450046C (zh) * 2006-08-30 2009-01-07 北京启明星辰信息技术有限公司 一种结合病毒检测与入侵检测的方法及系统

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624892A (zh) * 2012-03-08 2012-08-01 北京神州数码思特奇信息技术股份有限公司 一种防止外挂客户端模拟http请求的方法
CN102624892B (zh) * 2012-03-08 2016-03-16 北京思特奇信息技术股份有限公司 一种防止外挂客户端模拟http请求的方法
CN102711107B (zh) * 2012-05-17 2015-09-02 北京工业大学 基于关键节点的无线传感器网络入侵检测方法
CN102711107A (zh) * 2012-05-17 2012-10-03 北京工业大学 基于关键节点的无线传感器网络入侵检测方法
CN103684823A (zh) * 2012-09-12 2014-03-26 阿里巴巴集团控股有限公司 网络日志记录方法、网络访问路径确定方法及相关装置
CN102945263A (zh) * 2012-10-23 2013-02-27 北京百度网讯科技有限公司 一种用于确定多个访问对象之间的访问相关性信息的方法
CN102945263B (zh) * 2012-10-23 2017-05-31 北京百度网讯科技有限公司 一种用于确定多个访问对象之间的访问相关性信息的方法
CN103001954A (zh) * 2012-11-22 2013-03-27 深圳市共进电子股份有限公司 一种web服务器文件保护方法及系统
CN103077107A (zh) * 2012-12-31 2013-05-01 Tcl集团股份有限公司 一种数据维护方法及系统
CN103077107B (zh) * 2012-12-31 2016-12-28 Tcl集团股份有限公司 一种数据维护方法及系统
CN103312692A (zh) * 2013-04-27 2013-09-18 深信服网络科技(深圳)有限公司 链接地址安全性检测方法及装置
CN104135507A (zh) * 2014-06-30 2014-11-05 北京奇艺世纪科技有限公司 一种防盗链的方法和装置
CN104135507B (zh) * 2014-06-30 2018-01-16 北京奇艺世纪科技有限公司 一种防盗链的方法和装置
WO2016202206A1 (zh) * 2015-06-16 2016-12-22 阿里巴巴集团控股有限公司 一种超文本传输请求的补发方法、装置及客户端
CN106330988A (zh) * 2015-06-16 2017-01-11 阿里巴巴集团控股有限公司 一种超文本传输请求的补发方法、装置及客户端
US10862949B2 (en) 2015-06-16 2020-12-08 Advanced New Technologies Co., Ltd. Resending a hypertext transfer protocol request
CN106330988B (zh) * 2015-06-16 2020-01-03 阿里巴巴集团控股有限公司 一种超文本传输请求的补发方法、装置及客户端
US10693942B2 (en) 2015-06-16 2020-06-23 Alibaba Group Holding Limited Resending a hypertext transfer protocol request
US10530834B2 (en) 2015-06-16 2020-01-07 Alibaba Group Holding Limited Resending a hypertext transfer protocol request
CN108075924A (zh) * 2016-11-08 2018-05-25 佳能株式会社 管理系统和控制方法
CN108075924B (zh) * 2016-11-08 2021-06-22 佳能株式会社 管理系统和控制方法
US11201792B2 (en) 2016-11-08 2021-12-14 Canon Kabushiki Kaisha Management system and control method
CN106528175B (zh) * 2016-11-29 2019-09-13 福州大学 面向bs架构的数据接口生成方法
CN106528175A (zh) * 2016-11-29 2017-03-22 福州大学 面向bs架构的数据接口生成方法
CN108650274A (zh) * 2018-05-21 2018-10-12 中国科学院计算机网络信息中心 一种网络入侵检测方法及系统
WO2020007367A1 (zh) * 2018-07-06 2020-01-09 北京白山耘科技有限公司 一种检查异常web访问的方法、装置、介质及设备
CN109660502A (zh) * 2018-09-28 2019-04-19 平安科技(深圳)有限公司 异常行为的检测方法、装置、设备及存储介质
CN110704779A (zh) * 2019-09-27 2020-01-17 杭州迪普科技股份有限公司 一种网站页面访问合规性检测方法、装置及设备
CN111259296A (zh) * 2020-01-14 2020-06-09 武汉极意网络科技有限公司 一种保证Web资源请求有序性的方法及系统
CN111259296B (zh) * 2020-01-14 2023-03-10 武汉极意网络科技有限公司 一种保证Web资源请求有序性的方法及系统
CN112202784A (zh) * 2020-09-30 2021-01-08 成都新潮传媒集团有限公司 反爬虫方法、装置及存储介质
CN112202784B (zh) * 2020-09-30 2023-04-18 成都新潮传媒集团有限公司 反爬虫方法、装置及存储介质

Also Published As

Publication number Publication date
CN101388768B (zh) 2011-03-23

Similar Documents

Publication Publication Date Title
CN101388768B (zh) 检测恶意http请求的方法及装置
CN101834866B (zh) 一种cc攻击防护方法及其系统
US8286248B1 (en) System and method of web application discovery via capture and analysis of HTTP requests for external resources
US7690035B2 (en) System and method for preventing fraud of certification information, and recording medium storing program for preventing fraud of certification information
CN106101145B (zh) 一种网站漏洞检测方法及装置
US8024804B2 (en) Correlation engine for detecting network attacks and detection method
CN101370008B (zh) Sql注入web攻击的实时入侵检测系统
CN101895516B (zh) 一种跨站脚本攻击源的定位方法及装置
US20170012999A1 (en) External link processing
CN103179132B (zh) 一种检测和防御cc攻击的方法及装置
CN103001817B (zh) 一种实时检测网页跨域请求的方法和装置
US9740869B1 (en) Enforcement of document element immutability
CN105933268A (zh) 一种基于全量访问日志分析的网站后门检测方法及装置
EP2447878A1 (en) Web based remote malware detection
CN102769632A (zh) 钓鱼网站分级检测和提示的方法及系统
KR100912794B1 (ko) 실시간 웹 서버 해킹 분석 및 홈페이지 위변조 감시를 위한 웹 위협관리 시스템 및 그 방법
CN105184159A (zh) 网页篡改的识别方法和装置
CN103888490A (zh) 一种全自动的web客户端人机识别的方法
US9871826B1 (en) Sensor based rules for responding to malicious activity
CN103810268B (zh) 加载搜索结果推荐信息、网址检测的方法、装置和系统
CN101340434A (zh) 网站恶意内容检测与认证方法及系统
CN103914655A (zh) 一种检测下载文件安全性的方法及装置
US20190306186A1 (en) Upload interface identification method, identification server and system, and storage medium
CN111404937B (zh) 一种服务器漏洞的检测方法和装置
CN105635064B (zh) Csrf攻击检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110323

Termination date: 20181021

CF01 Termination of patent right due to non-payment of annual fee