CN102457500B - 一种网站扫描设备和方法 - Google Patents

一种网站扫描设备和方法 Download PDF

Info

Publication number
CN102457500B
CN102457500B CN201010522435.4A CN201010522435A CN102457500B CN 102457500 B CN102457500 B CN 102457500B CN 201010522435 A CN201010522435 A CN 201010522435A CN 102457500 B CN102457500 B CN 102457500B
Authority
CN
China
Prior art keywords
link
web page
pending
webpage
web
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010522435.4A
Other languages
English (en)
Other versions
CN102457500A (zh
Inventor
周大
王晓明
吕明
蒋辉
刘光旭
卢小海
李钠
叶兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nsfocus Technologies Group Co Ltd
Original Assignee
Beijing NSFocus Information Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing NSFocus Information Security Technology Co Ltd filed Critical Beijing NSFocus Information Security Technology Co Ltd
Priority to CN201010522435.4A priority Critical patent/CN102457500B/zh
Priority to US13/878,955 priority patent/US9215246B2/en
Priority to PCT/CN2011/001755 priority patent/WO2012051802A1/zh
Priority to JP2013534149A priority patent/JP2013541774A/ja
Publication of CN102457500A publication Critical patent/CN102457500A/zh
Application granted granted Critical
Publication of CN102457500B publication Critical patent/CN102457500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433Vulnerability analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577Assessing vulnerabilities and evaluating computer system security
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2119Authenticating web pages, e.g. with suspicious links
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1483Countermeasures against malicious traffic service impersonation, e.g. phishing, pharming or web spoofing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/16Implementing security features at a particular protocol layer
    • H04L63/168Implementing security features at a particular protocol layer above the transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于对目标网站进行安全漏洞扫描的网站扫描设备,包括:网页获取部件,获取与待处理链接相对应的网页的当前内容和/或特征;链接处理部件,其包括改变判断装置,用于基于所存储的与待处理链接相对应的网页内容和/或特征以及该待处理链接的当前网页内容和/或特征来判断待处理链接所对应的网页是否发生了改变;以及漏洞检测部件,用于对与网页发生了改变的待处理链接相对应的网页进行安全漏洞检测。本发明还公开了一种与之对应的网站扫描方法。

Description

一种网站扫描设备和方法
技术领域
本发明涉及计算机网络安全领域,尤其涉及对网站进行远程扫描以确定网站是否存在安全漏洞的网站扫描设备和方法。
背景技术
为了判断网站是否存在诸如CGI漏洞、SQL注入漏洞、跨站脚本漏洞等各种安全漏洞,需要从网站外部,即远程对网站进行安全漏洞扫描,以确定网站是否存在这些安全漏洞。
常规的网站漏洞扫描方法是依次遍历网站上的所有页面,对每个页面都会调用爬虫程序来获取页面内容进行分析以进行全方位的漏洞扫描。也就是说,现在的网页扫描都采用完整漏洞扫描方式,即使在需要对目标网站进行多次漏洞扫描时,每次扫描也都是一次完整的漏洞扫描。
对网站进行完整的漏洞扫描具有下列问题:一般网络应用中的网页数量非常之多,对每个网页进行漏洞扫描所需要发送和接收的通信数据量大,因此扫描所占用的带宽也很大;此外,由于众多的网页数量,对网站进行一次完整扫描需要较长的时间。进行安全漏洞扫描发送的请求均由网站的网络服务器进行处理,如果对网站进行完整漏洞扫描的次数过多,会增加网络服务器处理请求的压力,从而影响对网站的正常访问。
对于每个网页来说,如果网页内容没有发生变化,那么网页从不存在安全问题改变为存在安全问题的可能性很小。如果可以考虑到这一点而减少对内容没有改变的网页的安全漏洞扫描,这可以一方面减少进行漏洞扫描对网站所造成的处理压力,另一方面也可以提高漏洞扫描的效率和速度。
所希望的是提供一种可以减少进行安全漏洞扫描而造成对目标网站的处理压力并具有改进的性能的漏洞扫描设备及漏洞扫描方法。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决或者减缓上述问题的网站扫描设备和网站扫描方法。
根据本发明的一个方面,提供了一种用于对目标网站进行安全漏洞扫描的网站扫描设备,包括:网页获取部件,获取与所述目标网站中的待处理链接相对应的网页的当前网页内容和/或特征;链接处理部件,用于对所述待处理链接进行处理,其中所述链接处理部件包括改变判断装置,用于基于所存储的、与所述待处理链接相对应的网页内容和/或特征以及由所述网页获取部件所获取的当前网页内容和/或特征来判断所述待处理链接所对应的网页是否发生了改变;以及漏洞检测部件,用于对与由所述改变判断装置判断为所对应的网页发生了改变的待处理链接相对应的网页进行安全漏洞检测。
根据本发明的另一个方面,提供了一种针对目标网站的网站扫描方法,包括步骤:获取所述目标网站的待处理链接;从为所述目标网站存储的网页集合中获取与该待处理链接相对应的网页条目的先前网页内容和/或特征,并获取与该待处理链接相对应的当前网页内容和/或者特征,通过比较所述先前网页内容和/或特征与所述当前网页内容和/或者特征,来判断与所述待处理链接相对应的网页是否发生了改变;以及如果与所述待处理链接相对应的网页发生了改变,则对所述网页进行安全漏洞检测。
根据本发明的网站扫描设备和网站扫描方法充分利用了前次扫描的结果,只对在先前扫描之后发生了变化的网页再次进行安全漏洞扫描,从而提高了网站扫描设备进行网站扫描的效率和速度,并且减少了由于安全漏洞扫描而对目标网站所造成的额外服务器负载。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示意性示出了根据本发明一个实施例的网站扫描设备的框图;
图2示意性示出了根据本发明一个实施例的对目标网站进行完整扫描的方法的流程图;以及
图3示意性示出了根据本发明一个实施例的对目标网站进行增量扫描的方法的流程图。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步的描述。在对实施方式进行详细描述之前,应当指出的是,在本发明中,URL和网页链接具有相同的意思,均指示指向在某个网站上的网页的链接,用户可以通过在各种网络浏览器或者客户端应用中输入网页链接来获取该链接所指向的网页的内容。另外,网页是指网站响应于网页链接请求而提供的内容,其可以是由网站中的网络服务器动态生成的,也可以静态地驻留在网络服务器中。
图1示出了根据本发明一个实施例的网站扫描设备100的框图。如图1所示,网站扫描设备100包括待处理链接存储器110,待处理链接存储器110中存储了目标网站中要被网站扫描设备100进行处理的待处理链接集合,待处理链接集合中的每个条目为待处理链接。可选地,网站扫描设备100还包括存在漏洞网页存储器120和网页存储器130。存在漏洞网页存储器120中存储了在先前扫描中被网站扫描设备100确定为存在漏洞的网页集合。存在漏洞网页存储器120可以为每个被确定为存在漏洞的网页存储其URL(链接)以及相关联的漏洞特征(如漏洞代码,漏洞类型,漏洞严重程度等)。网页存储器130存储先前扫描所获得的、目标网站中的网页集合。可选地,网页存储器130可以为目标网站中的每个网页存储其URL、网页内容和/或网页特征。这里的网页特征包括以下内容中的至少一个:页面最后修改时间、页面有效时长、页面在服务器端生成时间、页面标识(如ETag属性)、页面结构、页面内容长度、页面访问次数等。页面特征是用于判断页面是否发生变化的重要依据,因此,本发明不局限于上面列出的各种具体特征,所有可以用于判断页面是否发生变化的各种与页面有关的特征都在本发明的保护范围之内。然而,为每个网页存储网页内容可能需要太多的存储空间,可选地,网页存储器130可以为每个网页存储网页的MD5值来代替整个网页内容。
网站扫描设备100包括网页获取部件150,其接收要进行网页获取的链接,从网络中获取与该链接相对应的网页内容和/特征。网页获取部件150可以采用本领域常用的任何技术来实现其功能,例如目前常用的各种网络爬虫技术等。
网站扫描设备100包括链接处理部件140,其从待处理链接存储器110中接收待处理链接进行处理。具体而言,链接处理部件140判断该待处理链接所对应的网页内容是否发生了改变。如果网页内容发生了改变,则将该发生改变的网页发送到漏洞检测部件160来进行漏洞检测。可选地,链接处理部件还用改变后的网页内容和特征来更新先前保存的、与该待处理链接相对应的网页内容和/或特征;根据改变后网页中所包含的指向其他网页的链接来更新待处理链接存储器110中的待处理链接集合。另外,链接处理部件140还可以参考存在漏洞网页存储器120中存储的存在漏洞网页集合来判断该链接对应的网页是否在先前被确定为存在漏洞,如果先前被确定为存在漏洞,则将该链接和/或链接对应的网页发送到漏洞检测部件160以再次进行漏洞检测。
可选地,链接处理部件140仅仅在网页内容没有发生变化时,才进行该网页是否先前被确定为存在安全漏洞的判断。另外可选地,也可以仅仅在网页先前被确定为不存在安全漏洞时,才进行网页内容是否发生改变的判断。
根据本发明的一个实施例,链接处理部件140包括改变判断装置141。改变判断装置141接收待处理链接,从网页存储器130中获取先前存储的、与该链接相对应的网页的网页内容和/或特征,如果网页存储器130中不存在与该链接相对应的网页,则该链接属于新的链接。相反,如果网页存储器130中存在先前存储的、与该链接相对应的网页,即该链接属于现有链接,则改变判断装置141利用网页获取部件150来获取与该链接相对应的网页的当前网页内容和/或特征,判断所获取的当前网页内容和/或特征与所存储的网页内容和/或特征是否相同,如果不相同,则断定与该链接对应的网页发生了改变,即该链接属于改变链接。由于新链接和改变链接所对应的网页发生了改变,有必要对发生改变的网页重新进行安全漏洞扫描,因此,改变判断装置141还将新或者改变链接发送到漏洞检测部件160以进行漏洞检测。
应当注意的是,虽然在上文中分别指出了新链接和改变链接,但是从改变判断装置141的角度来看,这两种链接都属于其所对应的网页的当前内容在以前未被扫描过的链接,因此在下文中不再对二者进行区分并且统一称为改变链接。
应当注意的是,如上所述,网页特征是用于判断网页是否发生变化的重要依据。因此,在判断现有链接所对应的网页是否发生改变时,可以不用获取网页内容,而是仅仅获取该网页的网页特征,从而节省了网络带宽。另外,在根据页面内容来判断网页是否发生改变时,如果网页存储器130中存储的是网页的MD5值,则还需要计算与所获取网页内容的MD5值,并通过比较MD5值是否相同来判断网页是否发生改变了。
漏洞检测部件160从链接处理部件140接收要进行安全漏洞扫描的链接,例如改变判断装置141所确定的新链接或者改变链接,来进行处理。可选地,漏洞检测部件160还可以从链接处理部件140接收与该链接相对应的网页的网页内容,或者,漏洞检测部件160可以自身利用网页获取部件150来获取相关的网页内容。漏洞检测部件可以利用本领域的任何安全漏洞检测技术对该网页进行漏洞检测,从而获得漏洞检测结果。可选地,该漏洞检测结果包括网页是否存在漏洞以及相关联的漏洞特征(如漏洞代码,漏洞类型,漏洞严重程度等)。漏洞检测部件160随后根据该漏洞检测结果来更新存在漏洞网页存储器120中存储的存在漏洞的网页集合。具体而言,在存在漏洞的网页集合中存在与漏洞检测部件160所处理的链接相对应的网页条目的情况下,如果新获得的漏洞检测结果指示当前扫描结果指示该网页条目仍然存在安全漏洞,则用新获得的漏洞检测结果更新集合中的相应条目;相反,如果新漏洞检测结果指示该网页条目不再存在安全漏洞,则从集合中删除相关条目。而在存在漏洞的网页集合中不存在与漏洞检测部件160所处理的链接相对应的网页条目的情况下,当新获得的漏洞检测结果指示当前扫描结果指示网页内容存在安全漏洞,则将该网页以及漏洞检测结果添加到集合中。
可选地,链接处理部件140可以包括更新装置142,更新装置142从改变判断装置141获取新或者改变链接,利用网页获取部件150获取与该链接相对应的网页内容和/或特征,并且对网页存储器130中的网页集合中的相应网页条目进行更新(如果链接为新链接,则在网页集合中添加与该链接相对应的网页条目)。此外,如果与该新或者改变链接相对应的网页中还包括到其他网页的链接,则利用这些到其他网页的链接来更新待处理链接存储器110中的待处理链接集合(即,将未存在于待处理链接集合中的链接添加到该待处理链接集合中)。
可选地,虽然上面的改变判断装置141和更新装置142中都利用网页获取部件150来获取与链接相对应的网页内容和/或特征,但是为了简化起见,可以在改变判断装置141获取了网页内容和/或特征之后,将所获取的网页内容和/或特征与链接相关联地在各个装置间传输,从而进一步改进了处理性能。
可选地,链接处理部件140还可以包括类别判断装置143,类别判断装置143接收待处理链接,从存在漏洞网页存储器120中的存在漏洞的网页集合中查找与该待处理链接相对应的网页条目,如果网页条目存在,则该待处理链接对应的网页在先前被判断为存在安全漏洞,因此在本次扫描中,仍然需要再次进行漏洞检测,即将该链接发送到漏洞检测部件160以进行进一步处理。因此,漏洞检测部件也对该链接进行安全漏洞检测。
可选地,在链接处理部件140中,仅仅将由改变判断装置141判断为对应网页内容没有改变的链接发送到类别判断装置143进行进一步判断。或者,类别判断装置143和改变判断装置141可以独立地进行处理,即同时对链接处理部件140所接收的链接进行处理。进一步可选地,可以仅仅将类别判断装置143确定为不存在安全漏洞的链接发送到改变判断装置141来进行进一步处理。所有这些方式都在本发明的保护范围之内。
网站扫描设备100每次对某个目标网站进行安全扫描时,都先利用前次扫描所获得的目标网站的网页集合来初始化待处理链接集合,即利用网页集合中每个网页的链接来构造待处理链接集合。随后,链接处理部件140对待处理链接集合中的每个待处理链接进行处理,以便完成一次对目标网站的安全漏洞扫描。
可以看出,在根据本发明的网站扫描设备中,没有对目标网站的所有网页都进行安全漏洞全面检测,而是根据上一次检测的结果,仅仅对上一次确定为存在漏洞或者从上一次检测以来发生了改变的网页进行安全漏洞检测,由此提供了网站安全扫描的效率,并且降低了对目标网站的处理压力。
因此,在利用根据本发明的网站扫描设备来对目标网站进行安全漏洞扫描时,第一次扫描的过程和以后进行的扫描过程的步骤有所不同。图2示意性示出了根据本发明一个实施例的对目标网站进行完整扫描的方法的流程图。该方法始于步骤S210,其中从待处理链接集合(如,待处理链接存储器110中的待处理链接集合)中获取一个链接作为当前的待处理链接,这可以由链接处理部件140进行。在本方法第一次执行时,在待处理链接集合中可能仅仅只有一个待处理链接。随后,在步骤S 220中,获取与该待处理链接相对应的网页的网页内容和/或特征,以及该网页中所包含的到其他网页的链接。这可以由链接处理部件140经由网页获取部件150来进行,并且可以采用本领域各种网页获取技术,如网络爬虫技术来进行。随后,在步骤S230中,将所获取的网页内容和/或特征添加到网页存储器130的网页集合中,并且将到其它网页的链接添加到待处理链接集合中,这可以由链接处理部件140,尤其是其中的更新装置142来进行。随后,在步骤S240中,对与该待处理链接相对应的网页内容进行安全漏洞扫描,以获得漏洞检测结果。该漏洞检测结果包括网页是否存在漏洞以及相关联的漏洞特征(如漏洞代码,漏洞类型,漏洞严重程度等)。步骤S240可以采用各种对网页内容进行安全检测的方法来进行,并且所有这些方法都在本发明的保护范围之内。如果漏洞检测结果指示网页存在漏洞,则在步骤S250中,将存在漏洞的网页及其相关联的漏洞特征添加到漏洞网页存储器120的存在漏洞的网页集合中。步骤S240和S250可以由漏洞检测部件160来进行。
随后在步骤S260中,判断在待处理链接集合中是否还存在要处理的待处理链接,如果有,则在步骤S270中获取待处理链接集合中的下一个待处理链接作为当前的待处理链接,并返回到步骤S220进行处理。否则,则结束该完整扫描方法。
如上所述,在利用完整扫描方法对目标网站进行完整扫描之后,可以获得目标网站的网页集合,该网页集合还可以为每个网页存储URL、网页内容和/或网页特征。另外,还获得了目标网站的存在漏洞的网页集合,其中可以为每个存在漏洞的网页存储其URL以及相关联的漏洞特征(如漏洞代码,漏洞类型,漏洞严重程度等)等。在后续的漏洞扫描基于这两个集合来进行。
图3示意性示出了根据本发明一个实施例的对目标网站进行增量扫描的方法300的流程图。方法300适于在对目标网站进行初始完整扫描之后进行的扫描。如图3所示,方法300始于步骤S310,其中进行初始化,由于需要对目标网站中的每个网页都进行扫描,因此初始化包括利用先前为目标网站存储的网页集合来创建待处理链接集合。当然,初始化还可以包括其它的操作,例如加载目标网站的具体特征,如目标网站所使用的网络应用以及目标网站所使用的服务器类型等。
随后,在步骤S320中,从待处理链接集合中获取一个链接作为当前的待处理链接,这可以由链接处理部件140进行。
接着,在步骤S330中,判断与该待处理链接相对应的网页是否与原先被扫描的网页相同,即该网页为从上次扫描以来新出现的网页、内容发生了改变的网页还是和原来相同的网页。这可以由链接处理部件140中的改变判断装置141来进行。具体处理细节和上面参考改变判断装置141给出有关新链接和/或改变链接的处理类似,这里不再进行赘述。
可选地,如果在步骤S330中判断待处理链接为新链接或者改变链接,则在步骤S350中,对网页集合中的相应网页条目进行更新(如果链接为新链接,则在网页集合中添加与该链接相对应的网页条目),此外如果与该新或者改变链接相对应的网页中还包括到其他网页的链接,则利用这些到其他网页的链接来更新待处理链接集合(即,将未存在于待处理链接集合中的链接添加到该待处理链接集合中),这可以由更新装置142来进行。在对网页集合和待处理链接集合进行更新之后,由步骤S360对该待处理链接进行安全漏洞检测。
如果在步骤S330中判断待处理链接对应的网页未发生改变,则在步骤S340中,判断该待处理链接对应的网页是否在上次扫描中被确定为存在漏洞,即判断存在漏洞的网页集合中是否存在与该待处理链接相对应的网页条目,这可以由类别判断装置143进行。
如果在步骤S340中判断待处理链接对应的网页在上次扫描中被确定为存在漏洞,则在步骤S360中对该待处理链接进行安全漏洞检测。
步骤S360可以由漏洞检测部件160进行,以便利用本领域的任何安全漏洞检测技术对该网页进行漏洞检测以获得漏洞检测结果,并根据该漏洞检测结果来更新存在漏洞的网页集合。这部分的具体内容与上面参考漏洞检测部件160所述的相似,这里不再进行赘述。
在对该待处理链接进行上述处理之后,在步骤S370中,判断在待处理链接集合中是否还存在要处理的待处理链接,如果有,则在步骤S380中获取待处理链接集合中的下一个待处理链接作为当前的待处理链接,并返回到步骤S330进行处理。否则,则结束该增量扫描方法。
根据本发明的扫描方法,可以在对目标网站进行第一次完整扫描之后,基于第一次完整扫描的结果在后续进行增量扫描,其中仅仅对在上次扫描之后内容发生改变的网页或新网页进行完整扫描,以及仅仅对先前被断定为存在漏洞的网页再次进行完整扫描。因此,不再对内容未发生改变的正常页面再次进行扫描,从而提高了漏洞扫描的性能和速度。
应当注意的是,在本发明的网站扫描设备100的各个部件中,根据其要实现的功能而对其中的部件进行了逻辑划分,但是,本发明不受限于此,可以根据需要对各个部件进行重新划分或者组合,例如,可以将一些部件组合为单个部件,或者可以将一些部件进一步分解为更多的子部件。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网站扫描设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (13)

1.一种用于对目标网站进行安全漏洞扫描的网站扫描设备,包括:
网页获取部件,获取与所述目标网站中的待处理链接相对应的网页的当前网页内容和/或特征;
存在漏洞网页存储器,用于存储先前被确定为存在漏洞的网页集合,所述网页集合中的每个网页条目包括网页链接及相关联的漏洞特征;
链接处理部件,用于对所述待处理链接进行处理,其中所述链接处理部件包括改变判断装置,用于基于所存储的、与所述待处理链接相对应的网页内容和/或特征以及由所述网页获取部件所获取的当前网页内容和/或特征来判断所述待处理链接所对应的网页是否发生了改变,并且链接处理部件还包括类别判断装置,用于基于所述存在漏洞的网页集合来判断所述待处理链接是否在先前被确定为存在安全漏洞;
以及漏洞检测部件,用于对与由所述改变判断装置判断为所对应的网页发生了改变的待处理链接相对应的网页和对与由所述类别判断装置判断为先前被确定为存在安全漏洞的待处理链接相对应的网页进行安全漏洞检测。
2.如权利要求1所述的网站扫描设备,还包括网页存储器,存储所述目标网站的网页集合,所述网页集合中的每个网页条目包括网页链接、网页内容和/或网页特征,
其中所述改变判断装置从所述网页存储器获取所存储的、与所述待处理链接相对应的网页内容和/或特征。
3.如权利要求2所述的网站扫描设备,其中所述链接处理部件还包括:
更新装置,接收由所述改变判断装置判断为所对应的网页发生了改变的待处理链接,利用所述当前网页内容和/或特征来更新所述网页集合中与所述待处理链接对应的网页条目。
4.如权利要求3所述的网站扫描设备,还包括待处理链接存储器,用于存储所述目标网站中中的待处理链接集合,
所述更新装置还根据与所接收的待处理链接相对应的网页中指向其他网页的链接来更新所述待处理链接集合,以及
所述链接处理部件从所述待处理链接存储器中获取所述待处理链接进行处理。
5.如权利要求1所述的网站扫描设备,其中所述漏洞检测部件还根据进行安全漏洞检测的检测结果来更新所述存在漏洞的网页集合。
6.如权利要求5所述的网站扫描设备,其中所述类别判断装置从所述改变判断装置接收被判断为所对应的网页未发生改变的待处理链接进行处理。
7.如权利要求1-6中任一个所述的网站扫描设备,其中所述网页特征包括以下中的至少一个:页面最后修改时间、页面有效时长、页面在服务器端生成时间、页面标识、页面结构、页面内容长度以及页面访问次数。
8.一种针对目标网站的网站扫描方法,包括步骤:
获取所述目标网站的待处理链接;
从为所述目标网站存储的网页集合中获取与该待处理链接相对应的网页条目的先前网页内容和/或特征,并获取与该待处理链接相对应的当前网页内容和/或者特征,通过比较所述先前网页内容和/或特征与所述当前网页内容和/或者特征,来判断与所述待处理链接相对应的网页是否发生了改变;
基于存在漏洞的网页集合来判断所述待处理链接是否在先前被确定为存在安全漏洞,其中所述存在漏洞的网页集合的每个网页条目包括网页链接及相关联的漏洞特征,以及
如果与所述待处理链接相对应的网页发生了改变,或者先前被确定为存在安全漏洞,则对所述网页进行安全漏洞检测。
9.如权利要求8所述的网站扫描方法,还包括步骤:
如果与所述待处理链接相对应的网页发生了改变,利用所述当前网页内容和/或特征来更新所述网页集合中的相应网页条目。
10.如权利要求8所述的网站扫描方法,还包括步骤:
如果与所述待处理链接相对应的网页发生了改变,利用与所接收的待处理链接相对应的网页中指向其他网页的链接来更新其中存储了所述待处理链接的待处理链接集合。
11.如权利要求8所述的网站扫描方法,还包括步骤:
根据进行安全漏洞检测的检测结果来更新所述存在漏洞的网页集合。
12.如权利要求8所述的网站扫描方法,其中所述判断所述待处理链接是否在先前被确定为存在安全漏洞的步骤仅对由所述判断与所述待处理链接相对应的网页是否发生了改变的步骤判断为网页发生了改变的待处理链接进行判断。
13.如权利要求8-12中任一个所述的网站扫描方法,其中所述网页特征包括以下中的至少一个:页面最后修改时间、页面有效时长、页面在服务器端生成时间、页面标识、页面结构、页面内容长度以及页面访问次数。
CN201010522435.4A 2010-10-22 2010-10-22 一种网站扫描设备和方法 Active CN102457500B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201010522435.4A CN102457500B (zh) 2010-10-22 2010-10-22 一种网站扫描设备和方法
US13/878,955 US9215246B2 (en) 2010-10-22 2011-10-21 Website scanning device and method
PCT/CN2011/001755 WO2012051802A1 (zh) 2010-10-22 2011-10-21 一种网站扫描设备和方法
JP2013534149A JP2013541774A (ja) 2010-10-22 2011-10-21 ウェブサイトスキャンデバイスおよびウェブサイトスキャン方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010522435.4A CN102457500B (zh) 2010-10-22 2010-10-22 一种网站扫描设备和方法

Publications (2)

Publication Number Publication Date
CN102457500A CN102457500A (zh) 2012-05-16
CN102457500B true CN102457500B (zh) 2015-01-07

Family

ID=45974641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010522435.4A Active CN102457500B (zh) 2010-10-22 2010-10-22 一种网站扫描设备和方法

Country Status (4)

Country Link
US (1) US9215246B2 (zh)
JP (1) JP2013541774A (zh)
CN (1) CN102457500B (zh)
WO (1) WO2012051802A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102739663A (zh) * 2012-06-18 2012-10-17 奇智软件(北京)有限公司 网页检测方法与扫描引擎
CN103001946B (zh) * 2012-10-31 2016-01-06 北京奇虎科技有限公司 网站安全检测方法和设备
CN103856467B (zh) * 2012-12-06 2018-12-14 百度在线网络技术(北京)有限公司 一种实现安全扫描的方法及分布式系统
US9742791B2 (en) * 2012-12-18 2017-08-22 Tinfoil Security, Inc. Site independent methods for deriving contextually tailored security vulnerability corrections for hardening solution stacks
CN103279475B (zh) * 2013-04-11 2016-08-03 广东电网公司信息中心 一种web应用系统内容变更的检测方法及系统
CN104216904B (zh) * 2013-06-03 2018-09-04 腾讯科技(深圳)有限公司 监控网站模板变化的方法及装置
CN104468459B (zh) * 2013-09-12 2018-10-02 深圳市腾讯计算机系统有限公司 一种漏洞检测方法及装置
CN103685258B (zh) * 2013-12-06 2018-09-04 北京奇安信科技有限公司 一种快速扫描网站漏洞的方法和装置
US9369482B2 (en) * 2013-12-12 2016-06-14 Tinfoil Security, Inc. Site independent system for deriving contextually tailored security vulnerability corrections for hardening solution stacks
CN103888465B (zh) * 2014-03-28 2017-07-18 新浪网技术(中国)有限公司 一种网页劫持检测方法及装置
CN105279437B (zh) * 2014-06-20 2018-12-04 北京奇安信科技有限公司 一种网站扫描控制方法和装置
US11838851B1 (en) 2014-07-15 2023-12-05 F5, Inc. Methods for managing L7 traffic classification and devices thereof
CN104951700B (zh) * 2014-10-11 2018-11-06 腾讯科技(深圳)有限公司 网页漏洞检测方法和装置
CN104378389B (zh) * 2014-12-12 2016-09-28 北京奇虎科技有限公司 网站安全检测方法与装置
CN104363251B (zh) * 2014-12-12 2016-09-28 北京奇虎科技有限公司 网站安全检测方法与装置
CN104363253B (zh) * 2014-12-12 2016-10-26 北京奇虎科技有限公司 网站安全检测方法与装置
US11895138B1 (en) * 2015-02-02 2024-02-06 F5, Inc. Methods for improving web scanner accuracy and devices thereof
RU2622870C2 (ru) * 2015-11-17 2017-06-20 Общество с ограниченной ответственностью "САЙТСЕКЬЮР" Система и способ оценки опасности веб-сайтов
WO2017131626A1 (en) * 2016-01-26 2017-08-03 Aruba Networks, Inc. Malware detection
EP3408783B1 (en) * 2016-01-27 2020-07-29 Hewlett-Packard Enterprise Development LP Preventing malware downloads
CN105938533B (zh) * 2016-03-03 2019-01-22 杭州迪普科技股份有限公司 一种系统漏洞的扫描方法和扫描装置
WO2017193027A1 (en) * 2016-05-06 2017-11-09 Sitelock, Llc Security weakness and infiltration detection and repair in obfuscated website content
US9652618B1 (en) * 2016-06-10 2017-05-16 Optum, Inc. Systems and apparatuses for architecture assessment and policy enforcement
US9940467B2 (en) 2016-06-10 2018-04-10 Optum, Inc. Systems and apparatuses for architecture assessment and policy enforcement
US10581893B2 (en) * 2016-12-06 2020-03-03 Brigham Young University (Byu) Modeling of attacks on cyber-physical systems
CN108810025A (zh) * 2018-07-19 2018-11-13 平安科技(深圳)有限公司 一种暗网的安全性评估方法、服务器及计算机可读介质
CN109167757B (zh) * 2018-07-27 2021-05-11 平安科技(深圳)有限公司 一种web应用的漏洞检测方法、终端及计算机可读介质
CN109450844B (zh) * 2018-09-18 2022-05-10 华为云计算技术有限公司 触发漏洞检测的方法及装置
US11017119B2 (en) * 2018-12-14 2021-05-25 Synergex Group Methods, systems, and media for detecting alteration of a web page
CN110120898B (zh) * 2019-04-23 2021-03-23 杭州安恒信息技术股份有限公司 远程网页资源变更监测及有害性检测识别方法
US11677774B2 (en) * 2020-01-06 2023-06-13 Tenable, Inc. Interactive web application scanning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582887A (zh) * 2009-05-20 2009-11-18 成都市华为赛门铁克科技有限公司 安全防护方法、网关设备及安全防护系统
CN101626368A (zh) * 2008-07-11 2010-01-13 中联绿盟信息技术(北京)有限公司 一种防止网页被篡改的设备、方法和系统
CN101656710A (zh) * 2008-08-21 2010-02-24 中联绿盟信息技术(北京)有限公司 主动审计系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7007169B2 (en) * 2001-04-04 2006-02-28 International Business Machines Corporation Method and apparatus for protecting a web server against vandals attacks without restricting legitimate access
JP4052007B2 (ja) * 2002-05-17 2008-02-27 日本電気株式会社 Webサイト安全度認証システム、方法及びプログラム
JP2007065810A (ja) * 2005-08-30 2007-03-15 Hitachi Ltd セキュリティ検査システム
JP4881718B2 (ja) * 2006-12-27 2012-02-22 Kddi株式会社 ウェブページの改竄検知装置、プログラム、および記録媒体
JP2008171101A (ja) 2007-01-10 2008-07-24 Hitachi Electronics Service Co Ltd ポリシー改善システム
US9521161B2 (en) * 2007-01-16 2016-12-13 International Business Machines Corporation Method and apparatus for detecting computer fraud
US7958555B1 (en) * 2007-09-28 2011-06-07 Trend Micro Incorporated Protecting computer users from online frauds

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626368A (zh) * 2008-07-11 2010-01-13 中联绿盟信息技术(北京)有限公司 一种防止网页被篡改的设备、方法和系统
CN101656710A (zh) * 2008-08-21 2010-02-24 中联绿盟信息技术(北京)有限公司 主动审计系统及方法
CN101582887A (zh) * 2009-05-20 2009-11-18 成都市华为赛门铁克科技有限公司 安全防护方法、网关设备及安全防护系统

Also Published As

Publication number Publication date
JP2013541774A (ja) 2013-11-14
US20130276126A1 (en) 2013-10-17
WO2012051802A1 (zh) 2012-04-26
CN102457500A (zh) 2012-05-16
US9215246B2 (en) 2015-12-15

Similar Documents

Publication Publication Date Title
CN102457500B (zh) 一种网站扫描设备和方法
CN102930211B (zh) 一种多核浏览器中拦截恶意网址的方法和多核浏览器
CN101673326B (zh) 基于程序执行特征的网页木马检测方法
US8365290B2 (en) Web application vulnerability scanner
CN102833258B (zh) 网址访问方法及系统
CN102982121B (zh) 一种文件扫描方法、文件扫描装置及文件检测系统
CN102916937B (zh) 一种拦截网页攻击的方法、装置和客户端设备
CN103617395A (zh) 一种基于云安全拦截广告程序的方法、装置和系统
US20150128272A1 (en) System and method for finding phishing website
CN101964026A (zh) 网页挂马检测方法和系统
CN101964025A (zh) Xss检测方法和设备
US9154522B2 (en) Network security identification method, security detection server, and client and system therefor
CN103634306A (zh) 网络数据的安全检测方法和安全检测服务器
CN103092832A (zh) 网址风险检测的处理方法及装置
CN103001947A (zh) 一种程序处理方法和系统
CN105430002A (zh) 漏洞检测方法及装置
CN104881607A (zh) 一种基于模拟浏览器行为的xss漏洞检测系统
CN103036896B (zh) 用于检测恶意链接的方法及系统
CN105550596A (zh) 一种访问处理方法和装置
CN112016096B (zh) 一种xss漏洞的审计方法、装置
CN105260421A (zh) 网页加载方法及装置
CN103116609B (zh) 实现浏览器中页面加载的服务器、客户端、系统和方法
CN103259790A (zh) 网络安全的防护方法及装置
CN103077349A (zh) 一种浏览器侧提示访问安全信息的方法及装置
CN104537022A (zh) 浏览器信息分享的方法、浏览器客户端和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100089 Beijing city Haidian District Road No. 4 North wa Yitai five storey building

Patentee after: NSFOCUS Technologies Group Co.,Ltd.

Address before: 100089 Beijing city Haidian District Road No. 4 North wa Yitai five storey building

Patentee before: NSFOCUS INFORMATION TECHNOLOGY Co.,Ltd.