CN102404281B - 一种网站扫描设备和方法 - Google Patents

一种网站扫描设备和方法 Download PDF

Info

Publication number
CN102404281B
CN102404281B CN201010278838.9A CN201010278838A CN102404281B CN 102404281 B CN102404281 B CN 102404281B CN 201010278838 A CN201010278838 A CN 201010278838A CN 102404281 B CN102404281 B CN 102404281B
Authority
CN
China
Prior art keywords
network application
link
rule
website
known network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010278838.9A
Other languages
English (en)
Other versions
CN102404281A (zh
Inventor
周大
王晓明
吕明
蒋辉
刘光绪
卢小海
李钠
卢梁
曾菁菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nsfocus Technologies Inc
Nsfocus Technologies Group Co Ltd
Original Assignee
NSFOCUS Information Technology Co Ltd
Beijing NSFocus Information Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NSFOCUS Information Technology Co Ltd, Beijing NSFocus Information Security Technology Co Ltd filed Critical NSFOCUS Information Technology Co Ltd
Priority to CN201010278838.9A priority Critical patent/CN102404281B/zh
Priority to JP2013527447A priority patent/JP5572763B2/ja
Priority to PCT/CN2011/001526 priority patent/WO2012031460A1/zh
Priority to US13/821,867 priority patent/US10491618B2/en
Publication of CN102404281A publication Critical patent/CN102404281A/zh
Application granted granted Critical
Publication of CN102404281B publication Critical patent/CN102404281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1483—Countermeasures against malicious traffic service impersonation, e.g. phishing, pharming or web spoofing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种网站扫描设备，包括策略分析装置，判断目标网站中的链接是否属于目标网站所采用的已知网络应用，如果所述链接属于已识别的网络应用，则不对上述链接进行漏洞扫描；爬虫装置，获取所述链接所指向的链接内容；网络应用识别装置，判断所述链接是否属于已知网络应用；全面扫描装置，对判断为不属于已知网络应用的链接进行全面的漏洞扫描；以及已知网络应用漏洞检测装置，针对所确定的已识别网络应用，根据已识别网络应用的已知漏洞对网站进行漏洞检测，以确定所述网站是否存在所述已识别网络应用的已知漏洞。本发明还公开了一种在该网站扫描设备中采用的网站扫描方法。

Description

一种网站扫描设备和方法
技术领域
本发明涉及计算机网络安全领域，尤其涉及对网站进行远程扫描以确定网站是否存在漏洞的网站扫描设备和方法。 
背景技术
为了判断网站是否存在诸如CGI漏洞、SQL注入漏洞、跨站脚本漏洞等各种漏洞，需要从网站外部，即远程对网站进行漏洞扫描，以确定网站是否存在这些漏洞。 
现在互联网上的大量网站基于一些已知网络(WEB)应用而构造，例如可以基于Discuz！，phpwind或者动网论坛等已知网络应用构造网站的论坛系统，以及基于WordPress等网络应用来构造网站的博客系统。这些已知的WEB应用程序已经被发现存在过一些已知的CGI漏洞，如Discuz！论坛存在过绕过全局变量防御漏洞，Discuz！论坛的manyou插件存在过SQL注入漏洞，WordPress存在过绕过口令保护漏洞等。由于已知网络应用的应用范围非常广泛，因此，针对这些网络应用的漏洞研究也非常广泛，但是对这些已知网络引用的漏洞进行修复的方法能够及时出现。因此，这些已知的网络应用程序逐步变成比较成熟的产品，除了已经在网上被公开的漏洞之外，存在其他漏洞可能性变得非常之小。 
常规的网站漏洞扫描方法是依次遍历网站上的所有页面，对每个页面都会调用爬虫程序来获取页面内容进行分析，并针对页面进行全方位的漏洞扫描。 
当使用常规的网站漏洞扫描方法对那些基于已知网络应用构造的网站进行扫描时，扫描出漏洞的可能性比较小，相反反而会为此消耗大量的时间和带宽，甚至可能会因为扫描程序的问题，而造成漏洞的误报，引起客户不必要的担忧。 
因此，需要一种新的网站扫描设备和方法，其可以考虑网站所采用的已知网络应用而减少不必要的漏洞扫描处理过程，从而节省扫描时间和所占用的网络带宽，以提高网站扫描的效率。 
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网站扫描系统和网站扫描方法。 
根据本发明的一个方面，提供了一种网站扫描设备，包括：策略分析装置，判断网站中的链接是否属于网站中的已识别的网络应用，如果所述链接属于已识别的网络应用，则不对所述链接进行漏洞扫描；爬虫装置，获取所述链接所指向的链接内容；网络应用识别装置，基于所述链接及链接内容来判断所述链接是否属于已知网络应用，并在所述链接属于已知网络应用时，将所述已知网络应用确定为所述网站中的已识别网络应用；全面扫描装置，接收被所述网络应用识别装置判断为不属于已知网络应用的链接，并对所述链接进行全面的漏洞扫描；以及已知网络应用漏洞检测装置，接收所述网络应用识别装置确定的已识别网络应用，根据所述已识别网络应用的已知漏洞对所述网站进行漏洞检测，以确定所述网站是否存在所述已识别网络应用的已知漏洞。 
可选地，在根据本发明的网站扫描设备中，网络应用识别装置包括：规则生成部件，用于根据已知网络应用的特征生成规则集合；规则匹配引擎，用于获取所述链接及链接内容，提取所述链接及链接内容的特征，根据所述链接及链接内容的特征判断所述规则集合中的规则之一是否被匹配了，将与所述匹配规则相对应的已知网络应用确定为是所述链接所属的已知网络应用。此外，已知网络应用的特征包括下列特征中的一个或者多个：特定页面及所述特定页面中的特定标识；特定页面及所述特定页面的全部内容；HTTP响应字段；以及特定链接。 
根据本发明的另一个方面，提供了一种网站扫描方法，包括步骤：由策略分析装置来判断网站中的链接是否属于网站中的已识别的网络应用；如果所述链接属于已识别的网络应用，则不对所述链接进行漏洞扫描，如果所述链接不属于已识别的网络应用，则由爬虫装置来获取所述链接指向的链接内容；由网络应用识别装置基于所述链接及链接内容来判断所述链接是否属于已知网络应用；如果所述链接属于已知网络应用，则将所述已知网络应用确定为所述网站中的已识别网络应用，并且由已知网络应用漏洞检测装置根据所述已识别网络应用的已知漏洞对所述网站进行漏洞检测，以确定所述网站是否存在所述已 识别网络应用的已知漏洞；如果所述链接不属于已知网络应用，则由全面扫描装置对所述链接进行全面的漏洞扫描。 
利用根据本发明的网站扫描设备和方法，当识别出目标网站所采用的已知网络应用时，对于所识别出的已知网络应用的相应目录下的所有页面，不需要进行扫描，而是仅仅需要检查该已知网络应用已经被公布的漏洞即可，这样可以极大地提高扫描效率。此外，对于所识别出的已知网络应用，不需要用爬虫装置进行页面内容爬取就可以直接得到该相应目录的文件结构，这也可以减少页面爬取所占用的时间的带宽。 
另外，由于根据本发明的网站扫描设备和方法可以及时更新已知网络应用新发现的漏洞和漏洞修复方式，因此，当利用根据本文明的网站扫描设备和方法识别出网站所采用的已知网络应用时，可以及时发现网站所具有的相应漏洞并提供漏洞修复建议。 
进一步，由于不再对所识别的已知网络应用的相应目录下的文件进行全面扫描，能减少因扫描方案不完善以及网络环境的复杂性而引起的对于这些目录下文件的各种漏洞的误报。 
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中： 
图1示意性地示出了根据本发明实施例的网站扫描设备100的框图； 
图2示意性地示出了网站扫描设备100中的网络应用识别装置140的框图； 
图3示意性地示出了针对Discuz！网络应用的特征实例； 
图4示意性地示出了根据本发明实施例的网络扫描方法400的流程图；以及 
图5示意性地示出了网络扫描方法400中的网络应用识别方法的流程图。 
具体实施例
下面结合附图和具体的实施方式对本发明作进一步的描述。 
图1示意性地示出了根据本发明实施例的网站扫描设备100的框图。如图1所示，网站扫描设备100包括策略分析装置110、爬虫装置120、网络应用识别装置130、全面扫描装置140和已知网络应用漏洞检测装置150。 
策略分析装置110接收目标网站中的待处理链接，并基于已识别出的、目标网站所采用的已知网络应用列表，确定该待处理链接是否属于某个已知网络应用。在对目标网站进行扫描的过程中，可以识别出目标网站所采用的已知网络应用（其数量可以是任意的，甚至没有采用任何已知网络应用），这些已知网络应用可以可选地存储在已识别网络应用存储装置180中。每种已知网络应用均具有自身特定的文件目录结构，并且这些目录结构可以与网络应用相关联地存储。通过比较待处理链接的地址和目标网站所采用的已知网络应用的文件目录结构，可以判断出待处理链接是否属于某个已知网络应用。举例而言，如果已识别出的某个网络应用具有目录结构http://www.example.com/a/，则地址为http://www.example/a/b.php的待处理链接由于处于该网络应用的目录结构之下，而被判断为属于该已识别出的网络应用。  
如果目标网站没有任何已识别出的已知网络应用或者未发现该待处理链接属于已识别出的已知网络应用，则策略分析装置110将该待处理链接发送到爬虫装置120进行进一步处理，否则，策略分析装置110停止对该待处理链接的处理，并且获取下一个待处理链接进行处理。 
爬虫装置120从策略分析装置110接收不属于已识别出的网络应用的链接，获取与该链接相对应的网络内容。爬虫装置120可以采用本领域所常用的网络爬虫等方法获取链接所对应的网络内容。当然所有可以获取链接对应的网络内容的方法都在本发明的保护范围之内。此外，爬虫装置120可以对所获取的网络内容进行分析，提取其中所包含的进一步链接，并且可以将这些链接作为下一步要处理的链接而存储到网络链接存储装置130中。网络链接存储装置130中可以存储待处理链接列表，而且策略分析装置110可以从网络链接存储装置130 中获取列表中的待处理链接进行处理。 
另外，爬虫装置120还可以进一步获取与所获取的网络内容相关的进一步网络内容。具体而言，一个网络链接所对应的网络内容如网页中可能包括了对外部js代码、css格式文件等之类的进一步引用，而这些诸如js代码或者css格式文件之类的内容可以认为是该网页相关的进一步网络内容。在判断某个链接是否属于已知网络应用时，也可能需要用到这些相关的进一步内容，因此爬虫装置120可以获取这些内容作为与待处理链接相对应的网络内容的相关联内容。 
爬虫装置120将待处理的链接以及该链接的网络内容(可选地，还包括与该网络内容相关联的内容)发送到网络应用识别装置140。网络应用识别装置140据此(可选地，可以参考其中存储了已知网络应用特征的已知网络应用特征存储装置150)判断目标网站是否采用了某个已知应用。如果目标网站采用了某个已知应用，则将有关该已知网络应用的信息发送到已知网络应用漏洞检测装置160进行进一步处理，否则将该链接及其网络内容发送到全面扫描装置170进行全面的漏洞扫描。此外，网络应用识别装置140可以将所识别出的已知网络应用及其相关信息(如URL等)存储到已识别网络应用存储装置180中，以便可以由策略分析装置110使用来判断链接是否属于已识别的已知网络应用。在下文中将会结合附图2详细描述网络应用识别装置140的特定实施例，但是应当理解，本发明不局限于该特定实施例，所有可以根据链接及其内容来判断出该链接所属的网络应用的网络应用识别装置都在本发明的保护范围之内。 
应当注意的是，在网络应用识别装置140根据待处理链接及其内容进行已知网络应用识别的过程中，可能还需要与爬虫装置120进行交互以获取进一步的链接及其内容。 
全面扫描装置170从网络应用识别装置140接收待处理链接以及可选的相对应网络内容，对该链接及其相对应网络内容进行全面的漏洞扫描，例如针对跨站脚本攻击漏洞(XSS)、SQL注入漏洞、CGI漏洞等的扫描。全面扫描装置170可以采用本领域任何漏洞扫描技术且不超出本发明的保护范围。 
已知网络应用漏洞检测装置160从网络应用识别装置140接收所识别出的已知网络应用，并根据所识别出的已知网络应用的已知漏洞来 对目标网站的该已知网络应用进行漏洞扫描，以确定该目标网站的已知网络应用是否已经针对已知漏洞进行了修复。可选地，已知网络应用的已知漏洞可以与已知网络应用特征相关联地存储在已知网络应用特征存储装置150中。 
应当注意地是，在本发明中所提及的已知网络应用并未涉及其版本，但是在实践中，已知网络应用通常具有多个版本，而且每个版本具有特定的特征和不同的已知漏洞。因此，上文所提及的已知网络应用还可以包括其版本信息，即可以将不同版本的网络应用看成是不同的网络应用。为此，可以将版本号与网络应用特征、网络应用漏洞等相关联地存储在已知网络应用特征存储装置150中。 
图2示意性地示出了根据本发明一个实施例的网站扫描设备100中的网络应用识别装置140。如图2所示，网络应用识别装置140包括规则生成部件141、规则匹配引擎143以及结果输出部件145。 
规则生成部件141根据已知网络应用的特征生成规则集147。根据本发明的一个实施例，已知网络应用的特征可以存储在已知网络应用特征存储装置150中，规则生成部件141可以从已知网络应用特征存储装置150中获取各种已知网络应用的特征并据此生成规则集147。根据本发明的一个实施例，一个已知网络应用可以至少具有如下特征之 
1、某个特定页面以及该特定页面中的特定标识，很多网络应用会在某些特定页面中嵌入特定的标识，例如Discuz！论坛网络应用中的页面index.php会包括下列特定字符串： 
<meta name＝″author″content＝″Discuz！Team and Comsenz UITeam″/> 
2、某个特定页面以及该特定页面的全部内容，很多已知网络应用包含一些固定的文件，如.css，.js，.ini等文件，因此这些文件的整体内容可以作为网络应用的识别标志。根据本发明的一个实施例，可以根据这些固定文件的整体内容的MD5值来确定网络应用。例如已知网络应用joomla版本1.5.15的固件文件/language/en-GB/en-GB.ini的MD5值为449d7bb356fcefa1343d72d203297438。 
3、HTTP响应字段：某些已知网络应用程序的响应头是其特有的，如set-cookie响应字段中的值，因此可以将该特有的响应字段作为标 识网络应用的一种方式。 
4、特定链接：某些已知网络应用中必须存在特定的网络链接(URL)，因此可以根据是否存在特定链接来标识特定网络应用。 
5、robots.txt，一些网站的robots.txt文件中会设置一些关于网站所使用的网络应用的信息，因此也可以根据该文件的内容来获得一些网络应用的信息。 
根据本发明的一个实施例，已知网络应用的特征可以XML格式存储在已知网络应用特征存储装置150中。图3示出了适用于phpnuke网络应用的XML文件，从该文件中可以看出，针对phpnuk网络应用，存在三个子规则，具体为： 
第一个子规则为在特定网络页面index.php中存在特定内容，即与<meta name＝″generator″content＝″(PHP-Nuke.*|.*http://phpnuke.org)″>以及<META NAME＝″RATING″CONTENT＝″GENERAL″>相匹配的特定内容，应当注意的是，其中″(PHP-Nuke.*|.*Http://phpnuke.org)″为利用本领域常用的正则表达式所编写的特定内容匹配项，本领域技术人员可以根据正则表达式的特征找出与之相匹配的特定内容。 
第二个子规则为在特定网络页面user.php中存在特定内容，即与<meta name＝″generator″content＝″(PHP-Nuke.*|.*http://phpnuke.org)″>相匹配的特定内容，同样该子规则中也利用了正则表达式。 
第三个子规则为存在某个特定页面themes/Freezebeta/style/style.css以及该特定页面的全部内容，其中该页面的全部内容的MD5值为415acd896960884ada364d508e7c8ae9。 
此外，还可以通过特定网络页面index.php中的“<METANAME＝″GENERATOR″CONTENT＝″PHP-Nuke[]*(？P<version>\d+\.\d+).*″>”来确定该网络应用的版本。 
应当注意的是，虽然上面给出了有关网络应用特征的一些特定示例，但是已知网络应用的特征并不局限于此，本领域技术人员可以根据本发明所给出的启示很容易想到其他的网络应用特征。 
根据本发明的一个实施例，每个网络应用具有一个或者多个网络应用特征，因此规则集147具有对应的结构，即规则集147包括与每个网络应用相对应的规则1481，1482，...148n等，而每个规则1481，1482，...148n具有一个或者多个与该网络应用的网络应用特征相对 应的子规则1491，1492，...149m等。 
规则匹配引擎143获取待处理的链接及与该链接相对应的网络内容，提取该待处理链接及链接内容中的特征，随后参考规则集147，并判断所提取的待处理链接及链接内容中的特征是否与规则集中的某个规则相匹配。当某个规则中的所有子规则都被匹配了时，则认为该规则被匹配了，并确定该链接属于与该规则相对应的网络应用，即目标网站中存在该网络应用。相反，如果确定待处理链接未与规则集117中的任何规则相匹配，则认为待处理链接不属于任何已知网络应用。随后，经由结果输出部件145输出匹配结果。 
应当注意的是，如上所述，一个已知网络应用可以具有多个子规则，而且各个子规则可能涉及不同的链接(即网络页面)，因此，在规则匹配引擎143判断所提取的待处理链接及链接内容中的特征是否与规则集中的某个规则相匹配时，爬虫装置120获取链接，规则匹配引擎143对爬虫装置120获取的链接进行子规则的匹配时，如果待处理链接与某个规则中的所有子规则全部匹配成功，则认为待处理链接属于与该规则相对应的已知网络应用。 
例如，参考图3的示例，当规则匹配引擎143中存在phpnuke的规则时，爬虫装置120获取到链接index.php及其内容时，规则匹配引擎143判断index.php是否与第一个子规则相匹配，若index.php中存在特定内容：<meta name＝″generator″content＝″(PHP-Nuke.*|.*http://phpnuke.org)″>以及<META NAME＝″RATING″CONTENT＝″GENERAL″>，则第一个子规则匹配成功。爬虫装置120获取到链接user.php及其内容时，规则匹配引擎143判断user.php及其内容是否与第二个子规则匹配，若user.php中存在特定内容：<metaname＝″generator″content＝″(PHP-Nuke.*|.*http://phpnuke.org)″>，则第二个子规则匹配成功。爬虫装置120获取到链接：themes/Freezebeta/style/style.css时，规则匹配引擎143判断是否与第三个规则相匹配，若其MD5值为415acd896960884ada364d508e7c8ae9，则第三个规则匹配成功。当然只要有一个子规则不匹配，则规则匹配引擎143确定待处理链接不属于某个已知网络应用。 
可选地，规则匹配引擎143在确定待处理链接属于已知网络应用 时，将所识别出的已知网络应用以及该已知网络应用在目标网站上的目录位置(可以根据待处理链接以及已知网络应用的目录结构而确定出)存储到到已识别网络应用存储装置180中，以便以后可以由策略分析装置110使用来判断链接是否属于已识别的已知网络应用。 
根据本发明的网站扫描设备100通过在对目标网站上的文件(即链接)进行扫描之前判断该文件是否属于已知网络应用，并且仅仅针对不属于已知网络应用的文件进行全面扫描，而针对网站所采用的已知网络应用，网站扫描设备100根据目前已知的已知网络应用的漏洞进行检查而不进行全面检查，从而减少了进行全面扫描的次数，从而大大增加了网站扫描设备100的效率。 
图4示出了根据本发明实施例的网络扫描方法400的流程图，该方法可以在如上所述的网站扫描设备100中执行。如图4所示，网络扫描方法400开始于步骤S410，其中获取待处理链接。可选地，可以事先将待处理链接存储在网络链接存储装置130的待处理链接列表中，并从待处理链接列表中获取一个待处理链接进行处理。随后，在步骤S420中，基于目标网站所采用的已知网络应用列表，判断该待处理链接是否属于某个已知网络应用。如上所述，可以通过比较待处理链接的地址和目标网站所采用的已知网络应用的文件目录结构，可以判断出待处理链接是否属于某个已知网络应用。如果待处理链接属于某个已知网络应用，则不再对该待处理链接进行处理，并且继续到步骤S430以确定待处理链接列表中是否有还要处理的待处理链接。如果待处理链接不属于目标网站所采用的已知网络应用，则方法进入步骤S450。步骤S420中的处理可以由网站扫描设备100的策略分析装置110执行。 
在步骤S450处，由爬虫装置获取与待处理链接相对应的网络内容，对所获取的网络内容进行分析，提取其中所包含的进一步链接，并且可以将这些链接作为下一步要处理的链接而添加到待处理链接列表中。此外，如上所述，在步骤S450中还可以获取与所获取的网络内容相关的进一步网络内容。 
随后，在步骤S460处，参考已知网络应用特征来对待处理的链接以及该链接的网络内容(可选地，还包括与该网络内容相关联的内容)进行分析以判断该待处理链接是否属于已知网络应用，即目标网站中是否存在该已知网络应用。在下文中将参考图5进一步描述步骤S460 中的处理。如果该待处理链接不属于任何已知网络应用，则在步骤S470处，对该待处理链接及其网络内容进行全面的漏洞扫描。如果在步骤S460处确定该待处理链接属于已知网络应用，即目标网站中存在该已知网络应用，则在步骤S480处存储所识别出的已知网络应用及其相关信息(如URL等)，以便可以在以后判断待处理链接是否属于目标网站所采用的已知网络应用时使用。 
应当注意的是，在步骤S460中分析待处理链接以判断目标网站中是否存在已知网络应用时，还可能需要由爬虫装置获取一些进一步的链接及其内容，以便于准确判断目标网站中是否存在该已知网络应用。 
随后在步骤S490中根据所识别出的已知网络应用的已知漏洞来对目标网站的该已知网络应用进行漏洞扫描，以确定该目标网站的已知网络应用是否已经针对已知漏洞进行了修复。 
随后，在步骤S430确定还有链接要处理时，在步骤S440处，从待处理链接列表中获取下一个待处理链接，并且返回到步骤S420进行重复处理。如果在步骤S430处确定没有链接要处理时，则结束方法400。 
图5示出了根据本发明一个实施例的网络扫描方法400中的步骤S460，即判断链接是否属于已知网络应用的方法的具体流程图。如图5所示，该方法始于步骤S510，其中对规则集进行初始化，即根据已知网络应用特征(根据本发明的实施例，这些已知网络应用特征可以事先以某种格式(例如XML文件格式)存储在已知网络应用特征存储装置150)来生成规则集。规则集具有如上所述的格式。可选地，可以在进行图5所示的处理之前就完成对规则集的初始化而不必每次对链接进行判断时均进行初始化处理。 
随后，在步骤S520中获取规则集中的第一个规则作为当前规则，并且在步骤S530中获取当前规则中与待处理链接及其内容相关的第一个子规则作为当前子规则。在步骤S540中判断待处理链接及其相关网络内容是否与当前子规则相匹配。上文结合图2的描述中已经给出了有关已知网络特征以及规则和子规则的具体内容，这里不再进行赘述。 
当在步骤S540处确定未匹配时，在步骤S550处确定规则集中是否还有未进行匹配的规则。如果在步骤S550处确定没有未进行匹配的规则，则在步骤S560输出待处理链接不属于已知网络应用的结果并结束该方法；相反，如果在步骤S550处确定还有未进行匹配的规则，则在 步骤S570处获取规则集中的下一个规则作为当前规则，并返回到步骤S530进行下一步处理。 
当在步骤S540处确定待处理链接及其相关网络内容与当前子规则相匹配时，则在步骤S580中确定当前规则中是否还有其他子规则。如果在步骤S580确定还有未进行匹配的子规则，则在步骤S590获取下一个子规则作为当前子规则，并返回到步骤S540进行子规则匹配。应当注意的是，如上所述，一个已知网络应用可以具有多个子规则，而且各个子规则可能涉及不同的链接，因此，在步骤S590所获取的下一个子规则可能涉及其它链接，基于此，步骤S590还包括获取与该当前子规则相关联的链接及其内容的步骤。 
相反，如果在步骤S580确定当前规则中的所有子规则均与待处理链接及其相关内容匹配时，则确定待处理链接属于与当前规则相对应的已知网络应用，并在步骤S595输出该已知网络应用。可选地，在步骤S595还可以输出该已知网络应用在目标网站上的位置(例如，相对于目标网站根目录的文件位置)，以便由上述步骤S420以后使用来确定待处理链接是否属于目标网站所采用的已知网络应用。 
应当注意的是，在本发明的网站扫描设备100的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进行重新划分或者组合，例如，可以将一些部件组合为单个部件，或者可以将一些部件进一步分解为更多的子部件。 
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网站扫描设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。 
应该注意的是上述实施例对本发明进行说明而不是对本发明进行 限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。 

Claims (16)

1.一种网站扫描设备，包括：
策略分析装置，判断网站中的链接是否属于网站中的已识别的网络应用，如果所述链接属于已识别的网络应用，则不对上述链接进行漏洞扫描；
爬虫装置，获取所述链接所指向的链接内容；
网络应用识别装置，基于所述链接及链接内容来判断所述链接是否属于已知网络应用，并在所述链接属于所述已知网络应用时，将所述已知网络应用确定为所述网站中的已识别网络应用；
全面扫描装置，接收被所述网络应用识别装置判断为不属于已知网络应用的链接，并对所述链接进行全面的漏洞扫描；以及
已知网络应用漏洞检测装置，接收所述网络应用识别装置确定的已识别网络应用，根据所述已识别网络应用的已知漏洞对所述网站进行漏洞检测，以确定所述网站是否存在所述已识别网络应用的已知漏洞。
2.如权利要求1所述的网站扫描设备，还包括：
网站链接存储装置，用于存储所述网站中的一个或者多个链接，
其中所述爬虫装置还用于对所获取的链接内容进行分析以提取所述链接内容包括的一个或者多个链接，并将所提取的一个或者多个链接放入到所述网站链接存储装置中，以及所述策略分析装置为所述网站链接存储装置中的每个链接进行判断。
3.如权利要求1所述的网站扫描设备，还包括：
已识别网络应用存储装置，用于存储所述网站中的一个或者多个已识别网络应用。
4.如权利要求1所述的网站扫描设备，还包括：
已知网络应用特征存储装置，用于存储已知网络应用的特征以及与所述已知网络应用相关联的一个或者多个已知漏洞。
5.如权利要求1-4中的任一个所述的网站扫描设备，其中所述网络应用识别装置还包括：
规则生成部件，用于根据已知网络应用的特征生成规则集合；
规则匹配引擎，用于获取所述链接及链接内容，提取所述链接及链接内容的特征，根据所述链接及链接内容的特征来判断所述规则集合中的规则之一是否被匹配了，将与所述匹配规则相对应的已知网络应用确定为是所述链接所属的已知网络应用。
6.如权利要求5所述的网站扫描设备，其中所述规则集合中的每个规则与每个已知网络应用相对应，每个规则具有一个或者多个子规则，每个子规则与相应已知网络应用的一个特征相对应，以及
其中只有某个规则中的全部子规则都被匹配时，才断定所述规则被匹配了。
7.如权利要求6所述的网站扫描设备，其中每个规则中的子规则与链接相关联，
所述规则匹配引擎在确定所述链接及链接内容的特征与某个规则的子规则相匹配时，由所述爬虫装置获取与该规则的其它子规则相关联的进一步链接及其内容，并在所述进一步链接及其内容与该规则中的其它子规则都匹配了时，才断定所述规则被匹配了。
8.如权利要求5所述的网站扫描设备，其中所述已知网络应用的特征包括下列特征中的一个或者多个：
特定页面及所述特定页面中的特定标识；
特定页面及所述特定页面的全部内容；
HTTP响应字段；以及
特定链接。
9.如权利要求1-4中的任一个所述的网站扫描设备，其中所述网络应用识别装置所识别出的已识别网络应用还包括所述已识别网络应用的版本，而且所述已知网络应用特征存储装置还与所述已知网络应用的版本相关联地存储已知网络应用的特征以及一个或者多个已知漏洞。
10.一种网站扫描方法，包括步骤：
由策略分析装置来判断网站中的链接是否属于网站中的已识别的网络应用；
如果所述链接属于已识别的网络应用，则不对所述链接进行漏洞扫描，如果所述链接不属于已识别的网络应用，则由爬虫装置来获取所述链接指向的链接内容；
由网络应用识别装置基于所述链接及链接内容来判断所述链接是否属于已知网络应用；
如果所述链接属于已知网络应用，则将所述已知网络应用确定为所述网站中的已识别网络应用，并且由已知网络应用漏洞检测装置根据所述已识别网络应用的已知漏洞对所述网站进行漏洞检测，以确定所述网站是否存在所述已识别网络应用的已知漏洞；
如果所述链接不属于已知网络应用，则由全面扫描装置对所述链接进行全面的漏洞扫描。
11.如权利要求10所述的网站扫描方法，还包括步骤：
由爬虫装置获取所述网站中的一个或者多个链接，其中所述策略分析装置为所述一个或者多个链接中的每个链接进行判断。
12.如权利要求10或者11所述的网站扫描方法，其中所述判断所述链接是否属于已知网络应用的步骤包括：
根据一个或者多个已知网络应用中的每个已知网络应用的特征生成规则集合；
提取所述链接及链接内容的特征，并判断所述链接及链接内容的特征是否与所述规则集合中的规则之一相匹配；以及
如果相匹配，则将与所述匹配规则相对应的已知网络应用确定为是所述链接所属的已知网络应用。
13.如权利要求12所述的网站扫描方法，其中所述规则集合中的每个规则与每个已知网络应用相对应，每个规则具有一个或者多个子规则，每个子规则与相应已知网络应用的一个特征相对应，以及
其中只有某个规则中的全部子规则都被匹配了时，才断定所述链接及链接内容的特征与所述规则相匹配。
14.如权利要求13所述的网站扫描方法，其中所述判断所述链接及链接内容的特征是否与所述规则集合中的规则之一相匹配的步骤还包括：
在确定一个规则中的一个或者多个子规则与所述链接及链接内容的特征相匹配以及该规则还具有与其它链接相关联的子规则时：
    获取所述其它链接及其内容；以及
    判断所述其它链接及其内容是否与所述规则中的其它子规则相匹配。
15.如权利要求12所述的网站扫描方法，其中所述已知网络应用的特征包括下列特征中的一个或者多个：
特定页面及所述特定页面中的特定标识；
特定页面及所述特定页面的全部内容；
HTTP响应字段；以及
特定链接。
16.如权利要求10或者11所述的网站扫描方法，其中所述已识别的网络应用还包括所述已识别的网络应用的版本，而且所述已知网络应用的特征以及一个或者多个已知漏洞与所述已知网络应用的版本相关联。
CN201010278838.9A 2010-09-09 2010-09-09 一种网站扫描设备和方法 Active CN102404281B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201010278838.9A CN102404281B (zh) 2010-09-09 2010-09-09 一种网站扫描设备和方法
JP2013527447A JP5572763B2 (ja) 2010-09-09 2011-09-08 ウェブサイトスキャン装置及びその方法
PCT/CN2011/001526 WO2012031460A1 (zh) 2010-09-09 2011-09-08 一种网站扫描设备和方法
US13/821,867 US10491618B2 (en) 2010-09-09 2011-09-08 Method and apparatus for website scanning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010278838.9A CN102404281B (zh) 2010-09-09 2010-09-09 一种网站扫描设备和方法

Publications (2)

Publication Number Publication Date
CN102404281A CN102404281A (zh) 2012-04-04
CN102404281B true CN102404281B (zh) 2014-08-13

Family

ID=45810091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010278838.9A Active CN102404281B (zh) 2010-09-09 2010-09-09 一种网站扫描设备和方法

Country Status (4)

Country Link
US (1) US10491618B2 (zh)
JP (1) JP5572763B2 (zh)
CN (1) CN102404281B (zh)
WO (1) WO2012031460A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102710642A (zh) * 2012-06-01 2012-10-03 北京神州绿盟信息安全科技股份有限公司 系统漏洞扫描方法及设备
US8949995B2 (en) * 2012-09-18 2015-02-03 International Business Machines Corporation Certifying server side web applications against security vulnerabilities
CN103077348B (zh) * 2012-12-28 2016-03-02 华为技术有限公司 一种Web站点漏洞扫描方法和装置
CN103902913B (zh) * 2012-12-28 2018-08-10 百度在线网络技术（北京）有限公司 一种用于对web应用进行安全处理的方法与设备
CN103065095A (zh) * 2013-01-29 2013-04-24 四川大学 一种基于指纹识别技术的web漏洞扫描方法和漏洞扫描器
CN103685237B (zh) * 2013-11-22 2018-12-18 北京奇安信科技有限公司 提高网站漏洞扫描速度的方法及装置
CN103685258B (zh) * 2013-12-06 2018-09-04 北京奇安信科技有限公司 一种快速扫描网站漏洞的方法和装置
CN103699845B (zh) * 2013-12-25 2017-05-17 北京神州绿盟信息安全科技股份有限公司 显示扫描进度的方法及装置
WO2016039642A1 (en) * 2014-09-11 2016-03-17 Pickles Samuel Geoffrey A telecommunications defence system
US9923916B1 (en) * 2015-06-17 2018-03-20 Amazon Technologies, Inc. Adaptive web application vulnerability scanner
CN107045507B (zh) * 2016-02-05 2020-08-21 北京国双科技有限公司 网页爬取方法及装置
CN107483464B (zh) * 2017-08-21 2020-10-16 北京知道未来信息技术有限公司 一种基于服务间交互来提高Web漏洞扫描器URL检出率的方法
CN108063759B (zh) * 2017-12-05 2022-08-16 西安交大捷普网络科技有限公司 Web漏洞扫描方法
CN108154034B (zh) * 2017-12-21 2020-04-07 北京知道创宇信息技术股份有限公司 基于WordPress的漏洞分析方法及装置
US11055209B2 (en) * 2017-12-21 2021-07-06 Google Llc Application analysis with flexible post-processing
GB2575006A (en) * 2018-04-04 2020-01-01 Cyberscanner Ltd Website vulnerability detection
CN109167757B (zh) * 2018-07-27 2021-05-11 平安科技（深圳）有限公司 一种web应用的漏洞检测方法、终端及计算机可读介质
CN110572399B (zh) * 2019-09-10 2022-05-20 阿波罗智联(北京)科技有限公司 漏洞检测处理方法、装置、设备及存储介质
CN112395523A (zh) * 2020-11-16 2021-02-23 杭州安恒信息技术股份有限公司 一种网站安全性分析方法、系统、设备及计算机介质
CN112906005A (zh) * 2021-02-02 2021-06-04 浙江大华技术股份有限公司 Web漏洞扫描方法、装置、系统、电子装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866817A (zh) * 2006-06-15 2006-11-22 北京华景中天信息技术有限公司 网站安全风险评估方法和系统
CN1870493A (zh) * 2006-06-15 2006-11-29 北京华景中天信息技术有限公司 网站安全漏洞扫描方法
CN101808093A (zh) * 2010-03-15 2010-08-18 北京安天电子设备有限公司 一种对web安全进行自动化检测的系统和方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2283341A (en) * 1993-10-29 1995-05-03 Sophos Plc Central virus checker for computer network.
US7475427B2 (en) * 2003-12-12 2009-01-06 International Business Machines Corporation Apparatus, methods and computer programs for identifying or managing vulnerabilities within a data processing network
US7765597B2 (en) * 2004-02-11 2010-07-27 Hewlett-Packard Development Company, L.P. Integrated crawling and auditing of web applications and web content
CN1808093A (zh) 2006-01-28 2006-07-26 重庆大学 基于磁流变技术的汽车悬架系统整车阻尼匹配试验方法及系统
US8615800B2 (en) * 2006-07-10 2013-12-24 Websense, Inc. System and method for analyzing web content
US8020206B2 (en) * 2006-07-10 2011-09-13 Websense, Inc. System and method of analyzing web content
US8656495B2 (en) * 2006-11-17 2014-02-18 Hewlett-Packard Development Company, L.P. Web application assessment based on intelligent generation of attack strings
US8239952B1 (en) * 2007-02-01 2012-08-07 Mcafee, Inc. Method and system for detection of remote file inclusion vulnerabilities
EP2258126B9 (en) * 2008-04-02 2013-06-19 Nokia Siemens Networks OY Security for a non-3gpp access to an evolved packet system
JP2009258057A (ja) * 2008-04-21 2009-11-05 Hamamatsu Photonics Kk 放射線像変換パネル
JP5070124B2 (ja) * 2008-05-16 2012-11-07 ヤフー株式会社 フィルタリング装置、およびフィルタリング方法
US9152789B2 (en) * 2008-05-28 2015-10-06 Zscaler, Inc. Systems and methods for dynamic cloud-based malware behavior analysis
US8136029B2 (en) * 2008-07-25 2012-03-13 Hewlett-Packard Development Company, L.P. Method and system for characterising a web site by sampling
US8347386B2 (en) * 2008-10-21 2013-01-01 Lookout, Inc. System and method for server-coupled malware prevention
EP2415207B1 (en) * 2009-03-31 2014-12-03 Coach Wei System and method for access management and security protection for network accessible computer services
AU2010201495B2 (en) * 2009-04-16 2012-04-12 Accenture Global Services Limited Touchpoint customization system
US8516590B1 (en) * 2009-04-25 2013-08-20 Dasient, Inc. Malicious advertisement detection and remediation
US8555391B1 (en) * 2009-04-25 2013-10-08 Dasient, Inc. Adaptive scanning
US20110219446A1 (en) * 2010-03-05 2011-09-08 Jeffrey Ichnowski Input parameter filtering for web application security
US8819637B2 (en) * 2010-06-03 2014-08-26 International Business Machines Corporation Fixing security vulnerability in a source code
US9251282B2 (en) * 2010-06-21 2016-02-02 Rapid7 LLC Systems and methods for determining compliance of references in a website
US20120017274A1 (en) * 2010-07-15 2012-01-19 Mcafee, Inc. Web scanning site map annotation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866817A (zh) * 2006-06-15 2006-11-22 北京华景中天信息技术有限公司 网站安全风险评估方法和系统
CN1870493A (zh) * 2006-06-15 2006-11-29 北京华景中天信息技术有限公司 网站安全漏洞扫描方法
CN101808093A (zh) * 2010-03-15 2010-08-18 北京安天电子设备有限公司 一种对web安全进行自动化检测的系统和方法

Also Published As

Publication number Publication date
US10491618B2 (en) 2019-11-26
WO2012031460A1 (zh) 2012-03-15
JP2013537986A (ja) 2013-10-07
CN102404281A (zh) 2012-04-04
US20130227640A1 (en) 2013-08-29
JP5572763B2 (ja) 2014-08-13

Similar Documents

Publication Publication Date Title
CN102404281B (zh) 一种网站扫描设备和方法
CN110324311B (zh) 漏洞检测的方法、装置、计算机设备和存储介质
US8365290B2 (en) Web application vulnerability scanner
CN101964025B (zh) Xss检测方法和设备
US8943588B1 (en) Detecting unauthorized websites
US10416970B2 (en) Analysis device, analysis method, and analysis program
CN103279710B (zh) Internet信息系统恶意代码的检测方法和系统
CN105721427A (zh) 一种从Web日志中挖掘攻击频繁序列模式的方法
CN103001817B (zh) 一种实时检测网页跨域请求的方法和装置
CN103150509B (zh) 一种基于虚拟执行的病毒检测系统
US9830452B2 (en) Scanning device, cloud management device, method and system for checking and killing malicious programs
CN102156832B (zh) 一种Firefox扩展的安全缺陷检测方法
US20090287641A1 (en) Method and system for crawling the world wide web
KR101902747B1 (ko) 클라이언트 측 웹 취약점 분석 방법 및 장치
CN111104579A (zh) 一种公网资产的识别方法、装置及存储介质
CN103530565A (zh) 基于web的网站程序漏洞扫描方法及扫描装置
CN104881607A (zh) 一种基于模拟浏览器行为的xss漏洞检测系统
CN104601573A (zh) 一种Android平台URL访问结果验证方法及装置
CN103294952A (zh) 一种基于页面关系检测webshell的方法及系统
KR20180074774A (ko) 악의 웹 사이트 식별 방법, 장치 및 컴퓨터 기억매체
CN103428219B (zh) 一种基于网页模板匹配的web漏洞扫描方法
CN105376217A (zh) 一种恶意跳转及恶意嵌套类不良网站的自动判定方法
Liang et al. Malicious web pages detection based on abnormal visibility recognition
KR101725404B1 (ko) 웹사이트 점검 장치 및 그 방법
CN108200191B (zh) 利用微扰法的客户端动态url相关脚本字符串检测系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NSFOCUS TECHNOLOGY CO., LTD.

Effective date: 20140619

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140619

Address after: 100089, Haidian District Road, Beijing, No. 1, green business district, block A, 10 floor

Applicant after: NSFOCUS INFORMATION TECHNOLOGY Co.,Ltd.

Applicant after: NSFOCUS TECHNOLOGIES Inc.

Address before: 100089 Beijing city Haidian District Road No. 4 North wa Yitai five storey building

Applicant before: NSFOCUS INFORMATION TECHNOLOGY Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100089 10th floor, block a, Qingdong business district, No.1 Landao Gou, Haidian District, Beijing

Patentee after: NSFOCUS Technologies Group Co.,Ltd.

Patentee after: NSFOCUS TECHNOLOGIES Inc.

Address before: 100089 10th floor, block a, Qingdong business district, No.1 Landao Gou, Haidian District, Beijing

Patentee before: NSFOCUS INFORMATION TECHNOLOGY Co.,Ltd.

Patentee before: NSFOCUS TECHNOLOGIES Inc.