CN108063759B - Web漏洞扫描方法 - Google Patents

Web漏洞扫描方法 Download PDF

Info

Publication number
CN108063759B
CN108063759B CN201711268074.3A CN201711268074A CN108063759B CN 108063759 B CN108063759 B CN 108063759B CN 201711268074 A CN201711268074 A CN 201711268074A CN 108063759 B CN108063759 B CN 108063759B
Authority
CN
China
Prior art keywords
url
website
scanned
scanning
vulnerability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711268074.3A
Other languages
English (en)
Other versions
CN108063759A (zh
Inventor
陈晓兵
何建锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Jiaotong University Jump Network Technology Co ltd
Original Assignee
Xi'an Jiaotong University Jump Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Jiaotong University Jump Network Technology Co ltd filed Critical Xi'an Jiaotong University Jump Network Technology Co ltd
Priority to CN201711268074.3A priority Critical patent/CN108063759B/zh
Publication of CN108063759A publication Critical patent/CN108063759A/zh
Application granted granted Critical
Publication of CN108063759B publication Critical patent/CN108063759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Virology (AREA)
  • Power Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明属于网络安全技术领域，具体涉及web漏洞扫描方法，包括爬取待扫描网站的URL存入待扫描队列，对待扫描队列中的URL进行web指纹识别得到该网站的指纹信息，调用与该网站指纹信息相对应的扫描工具对待检测网站进行扫描，其中针对周期性扫描任务，通过计算当前页面的MD5值和上次记录的MD5值是否相同，判断该页面是否发生改变，若未更改则不需要再次扫描，可以节约大量时间，同时在对待扫描任务进行扫描前，先对该通过web指纹识别得到URL对应的指纹信息，调用该指纹信息对应的插件对该页面进行扫描，避免了调用所有插件对每个任务进行扫描，节约了大量扫描时间。

Description

Web漏洞扫描方法
技术领域
本发明属于网络安全技术领域，具体涉及web漏洞扫描方法。
背景技术
目前，随着互联网的发展，网页程序或者网站中不可避免的出现漏洞的问题，黑客经常会利用网络漏洞窃取企业秘密信息以及互联网用户的私人信息等，给互联网的信息安全造成威胁。
现有技术中的web漏洞扫描方法，基本都是利用扫描工具或者硬件扫描设备对爬取的漏洞进行扫描，其中漏洞扫描工具包括了各种常见类型的漏洞插件，然而漏扫系统为提高网站漏洞识别率减少误报和漏报一般系统会有大量的漏洞识别插件和复杂的分析机制，对于大型网站(页面文件超过10000 以上的网站)处理速度过低一般从扫描到分析结束会花费几小时甚至几天时间。这样对每个漏洞扫描都需要调用所有的漏洞扫描工具进行全面扫描，导致漏洞扫描需要大量时间，在保证漏洞扫描结果正确前提下，提高扫描速度是一个亟待解决的问题。
发明内容
为了解决现有技术中web漏洞扫描效率慢，花费时间过长的技术问题，本发明提供一种web漏洞扫描方法，具体通过以下技术方案予以实现：
web漏洞扫描方法，具体包括，爬取待扫描网站的URL存入待扫描队列，对待扫描队列中的每个URL进行web指纹识别得到该网站的指纹信息，调用与该网站指纹信息相对应的扫描工具对该网站进行漏洞扫描。
其中，指纹信息包括操作系统类型、使用的web服务器、数据库类型和 web应用的脚本语言。
其中，在爬取待扫描网站的URL之前还包括，获取并存储漏洞检测终端提供的漏洞扫描工具，所述的漏洞扫描工具是针对特定网站漏洞所编写的可扩展扫描工具，确定所述漏洞检测终端提供的漏洞扫描工具所适用的指纹信息。
其中，爬取待扫描网站的URL存入待扫描队列具体还包括，爬取待扫描网站的URL时采用多线程爬取，并且对爬取到的URL进行去重操作后存入待扫描队列。
其中，当对待扫描队列中的URL中进行web指纹识别，若未得到该网站的指纹信息时，调用漏洞检测终端提供的所有的扫描工具对该网站进行漏洞扫描，得到扫描结果。
其中，在对待扫描队列中的URL进行web指纹识别之前还包括，依次判断该URL是否是周期性待扫描任务、该URL对应的网站和上次相比是否更改，若该URL是周期性任务且URL对应的网站和上次相比未更改，则得出和上次扫描相同的扫描结果，否则对该URL进行web指纹识别得到该网站的指纹信息，调用与该网站指纹信息相对应的扫描工具对所述的待检测网站进行扫描。
其中，所述的判断该URL对应的网站和上次相比是否更改具体为：每次扫描时记录当前URL对应的网站的MD5值，当再次扫描该URL对应的网站时，判断该URL对应的网站的MD5值和上次扫描时记录的MD5值是否相同，若相同，则该URL对应的网站未更改，若不相同，则该URL对应的网站发生更改。
以上技术方案与现有技术相比具有以下技术效果：
本发明提供的web漏洞扫描方法，对待扫描网站的URL进行web指纹识别得到该网站的指纹信息后，调用相应的漏洞扫描工具进行扫描，提高了扫描效率；另一方面对于周期性扫描任务，若对应的网站没有更改则直接根据上次扫描得到扫描结果，同时在爬取待扫描网站的URL时采用多线程爬取后并进行去重操作，避免重复扫描，节约了大量时间。
附图说明
图1是本发明的方法流程图；
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
web漏洞扫描方法，如图1，爬取待扫描网站的URL存入待扫描队列，对待扫描队列中的URL进行web指纹识别得到该网站的指纹信息，调用与该网站指纹信息相对应的扫描工具对所述的待检测网站进行扫描，其中指纹信息包括操作系统类型、使用的web服务器、数据库类型和web应用的脚本语言。通过识别对不同的网站指纹信息调用不同类型的插件进行扫描，节约大量的扫描时间，提高了漏洞扫描效率。
其中，在爬取待扫描网站的URL之前还包括，获取并存储漏洞检测终端提供的漏洞扫描工具，所述的漏洞扫描工具是针对特定网站漏洞所编写的可扩展扫描工具，确定所述漏洞检测终端提供的漏洞扫描工具所适用的指纹信息，以供后续步骤识别出的网站的指纹信息后调用对应的插件进行分析。
其中，爬取待扫描网站的URL存入待扫描队列具体还包括，爬取待扫描网站的URL时采用多线程爬取，提高爬取的速度，并且进一步对爬取到的 URL进行去重操作后存入待扫描队列，避免相同的URL重复性扫描，节约漏洞扫描时间。
其中，当对待扫描队列中的URL中进行web指纹识别未得到该网站的指纹信息时，调用漏洞检测终端提供的所有的扫描工具对该网站漏洞进行扫描，得到扫描结果。
其中，因为漏洞扫描都是周期性进行的，每次在对待扫描队列中的URL 进行web指纹识别之前还包括，依次判断该URL是否是周期性待扫描任务、该URL对应的网站和上次相比是否更改，若该URL是周期性任务且URL对应的网站和上次相比未更改，则得出和上次扫描相同的扫描结果，避免重复扫描，可以节约大量时间；否则对该URL进行web指纹识别得到该网站的指纹信息，调用与该网站指纹信息相对应的扫描工具对所述的待检测网站进行扫描。
其中，判断该URL对应的网站和上次相比是否更改具体为：每次扫描时记录当前URL对应的网站的MD5值，当再次扫描该URL对应的网站时，判断该URL对应的网站的MD5值和上次扫描时记录的MD5值是否相同，若相同，则该URL对应的网站未更改，若不相同，则该URL对应的网站发生更改。
本发明提供的web漏洞扫描方法，针对周期性扫描任务，通过计算当前页面的MD5值和上次记录的MD5值是否相同，判断该页面是否发生改变，若未更改则不需要再次扫描，可以节约大量时间，同时在对待扫描任务进行扫描前，先对该通过web指纹识别得到URL对应的网站的指纹信息，调用该指纹信息对应的插件对该页面进行扫描，避免了调用所有插件对每个任务进行扫描，节约了大量扫描时间。

Claims (4)

1.web漏洞扫描方法，其特征在于，
获取并存储漏洞检测终端提供的漏洞扫描工具，所述的漏洞扫描工具是针对特定网站漏洞所编写的可扩展扫描工具，确定所述漏洞检测终端提供的漏洞扫描工具所适用的指纹信 息；所述的指纹信息包括操作系统类型、使用的 web服务器、数据库类型和web应用的脚本语言；
爬取待扫描网站的URL存入待扫描队列；
依次判断该URL是否是周期性待扫描任务、该URL对应的网站和上次相比是否更改，若该URL是周期性任务且URL对应的网站和上次相比未更改，则得出和上次扫描相同的扫描结果；否则对待扫描队列中的每个URL进行web指纹识别得到该网站的指纹信息，调用与该网站指纹信息相对应的扫描工具对该网站进行漏洞扫描。
2.如权利要求1所述的方法，其特征在于，所述的爬取待扫描网站的URL存入待扫描队列具体还包括，爬取待扫描网站的URL时采用多线程爬取，并且对爬取到的URL进行去重操作后存入待扫描队列。
3.如权利要求1所述的方法，其特征在于，当对待扫描队列中的URL进行web指纹识别，若未得到该网站的指纹信息时，调用漏洞检测终端提供的所有的扫描工具对该网 站进行漏洞扫描，得到扫描结果。
4.如权利要求1所述的方法，其特征在于，所述的判断该URL对应的网站和上次相比是否更改具体为：每次扫描时记录当前URL对应的网站的MD5值，当再次扫描该URL对应的网站时，判断该URL对应的网站的MD5值和上次扫描时记录的MD5值是否相同，若相同，则该URL对应的网站未更改，若不相同，则该URL对应的网站发生更改。
CN201711268074.3A 2017-12-05 2017-12-05 Web漏洞扫描方法 Active CN108063759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711268074.3A CN108063759B (zh) 2017-12-05 2017-12-05 Web漏洞扫描方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711268074.3A CN108063759B (zh) 2017-12-05 2017-12-05 Web漏洞扫描方法

Publications (2)

Publication Number Publication Date
CN108063759A CN108063759A (zh) 2018-05-22
CN108063759B true CN108063759B (zh) 2022-08-16

Family

ID=62136093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711268074.3A Active CN108063759B (zh) 2017-12-05 2017-12-05 Web漏洞扫描方法

Country Status (1)

Country Link
CN (1) CN108063759B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165505A (zh) * 2018-06-29 2019-01-08 重庆小雨点小额贷款有限公司 一种数据的安全扫描方法、装置及安全扫描服务器
CN108810025A (zh) * 2018-07-19 2018-11-13 平安科技（深圳）有限公司 一种暗网的安全性评估方法、服务器及计算机可读介质
CN109167757B (zh) * 2018-07-27 2021-05-11 平安科技（深圳）有限公司 一种web应用的漏洞检测方法、终端及计算机可读介质
CN108848115B (zh) * 2018-09-03 2021-03-16 杭州安恒信息技术股份有限公司 一种网站扫描的方法、装置、设备及计算机可读存储介质
CN109656634A (zh) * 2018-11-29 2019-04-19 西安四叶草信息技术有限公司 插件调用方法及设备
CN109766697A (zh) * 2018-12-29 2019-05-17 武汉烽火技术服务有限公司 应用于Linux系统的漏洞扫描方法、存储介质、设备及系统
CN110324311B (zh) * 2019-05-21 2022-05-17 平安科技（深圳）有限公司 漏洞检测的方法、装置、计算机设备和存储介质
CN110879891A (zh) * 2019-08-14 2020-03-13 奇安信科技集团股份有限公司 基于web指纹信息的漏洞探测方法及装置
CN110941788A (zh) * 2019-12-17 2020-03-31 山西云时代技术有限公司 边缘计算的云环境分布式Web页面提取分析系统和方法
CN112565298B (zh) * 2020-12-25 2023-05-02 北京知道创宇信息技术股份有限公司 漏洞扫描方法、装置和电子设备
CN113949564B (zh) * 2021-10-15 2022-10-14 天津大学 一种基于资源加载树的网站指纹识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404281A (zh) * 2010-09-09 2012-04-04 北京神州绿盟信息安全科技股份有限公司 一种网站扫描设备和方法
CN102779252A (zh) * 2012-06-29 2012-11-14 北京神州绿盟信息安全科技股份有限公司 漏洞扫描器及其插件调度方法
CN103065095A (zh) * 2013-01-29 2013-04-24 四川大学 一种基于指纹识别技术的web漏洞扫描方法和漏洞扫描器
CN103632100A (zh) * 2013-11-08 2014-03-12 北京奇虎科技有限公司 一种网站漏洞检测方法及装置
CN103685258A (zh) * 2013-12-06 2014-03-26 北京奇虎科技有限公司 一种快速扫描网站漏洞的方法和装置
CN103678571A (zh) * 2013-12-09 2014-03-26 中国科学院深圳先进技术研究院 应用于单台多核处理器主机的多线程网络爬虫执行方法
CN105871845A (zh) * 2016-03-31 2016-08-17 深圳市深信服电子科技有限公司 Web漏洞扫描行为的检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363251B (zh) * 2014-12-12 2016-09-28 北京奇虎科技有限公司 网站安全检测方法与装置
CN106302515B (zh) * 2016-09-08 2019-09-06 杭州迪普科技股份有限公司 一种网站安全防护的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404281A (zh) * 2010-09-09 2012-04-04 北京神州绿盟信息安全科技股份有限公司 一种网站扫描设备和方法
CN102779252A (zh) * 2012-06-29 2012-11-14 北京神州绿盟信息安全科技股份有限公司 漏洞扫描器及其插件调度方法
CN103065095A (zh) * 2013-01-29 2013-04-24 四川大学 一种基于指纹识别技术的web漏洞扫描方法和漏洞扫描器
CN103632100A (zh) * 2013-11-08 2014-03-12 北京奇虎科技有限公司 一种网站漏洞检测方法及装置
CN103685258A (zh) * 2013-12-06 2014-03-26 北京奇虎科技有限公司 一种快速扫描网站漏洞的方法和装置
CN103678571A (zh) * 2013-12-09 2014-03-26 中国科学院深圳先进技术研究院 应用于单台多核处理器主机的多线程网络爬虫执行方法
CN105871845A (zh) * 2016-03-31 2016-08-17 深圳市深信服电子科技有限公司 Web漏洞扫描行为的检测方法及装置

Also Published As

Publication number Publication date
CN108063759A (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
CN108063759B (zh) Web漏洞扫描方法
CN110324311B (zh) 漏洞检测的方法、装置、计算机设备和存储介质
CN107241296B (zh) 一种Webshell的检测方法及装置
CN110099059B (zh) 一种域名识别方法、装置及存储介质
CN109657431B (zh) 用于识别用户身份的方法
CN109918907B (zh) Linux平台进程内存恶意代码取证方法、控制器及介质
CN107851156B (zh) 分析方法、分析装置和记录介质
US7913233B2 (en) Performance analyzer
CN110113315B (zh) 一种业务数据的处理方法及设备
WO2019169760A1 (zh) 测试用例范围确定方法、装置及存储介质
CN109190368B (zh) 一种sql注入检测装置及sql注入检测方法
CN105743877A (zh) 一种网络安全威胁情报处理方法及系统
CN111049786A (zh) 一种网络攻击的检测方法、装置、设备及存储介质
CN111049783A (zh) 一种网络攻击的检测方法、装置、设备及存储介质
CN107508832A (zh) 一种设备指纹识别方法及系统
CN110784486A (zh) 一种工业漏洞扫描方法和系统
CN111158926B (zh) 业务请求分析方法、装置及设备
US8549309B1 (en) Asymmetric content fingerprinting with adaptive window sizing
CN114244564A (zh) 攻击防御方法、装置、设备及可读存储介质
US10417422B2 (en) Method and apparatus for detecting application
CN113709147B (zh) 网络安全事件的响应方法、装置及设备
CN111209213A (zh) 应用程序运行时的异常检测方法及系统、设备及存储介质
CN108650123B (zh) 故障信息记录方法、装置、设备和存储介质
CN110691090B (zh) 网站检测方法、装置、设备及存储介质
CN112966264A (zh) Xss攻击检测方法、装置、设备及机器可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant