CN105791273A - web漏洞扫描系统 - Google Patents

web漏洞扫描系统 Download PDF

Info

Publication number
CN105791273A
CN105791273A CN201610100996.2A CN201610100996A CN105791273A CN 105791273 A CN105791273 A CN 105791273A CN 201610100996 A CN201610100996 A CN 201610100996A CN 105791273 A CN105791273 A CN 105791273A
Authority
CN
China
Prior art keywords
flow
scanning
module
scanning system
web
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610100996.2A
Other languages
English (en)
Inventor
章锦成
李天爽
凌云
陈莹
朱伟元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Shanghai Ctrip Business Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip Business Co Ltd filed Critical Shanghai Ctrip Business Co Ltd
Priority to CN201610100996.2A priority Critical patent/CN105791273A/zh
Publication of CN105791273A publication Critical patent/CN105791273A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/20—Support for services
    • H04L49/208—Port mirroring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种web漏洞扫描系统，包括：流量获取模块，用于通过交换机的流量镜像端口获取用户访问web系统的流量；流量存储模块，用于将所述流量存储至第一消息队列；扫描模块，用于根据扫描规则对流量进行扫描；漏洞信息存储模块，用于存储所述扫描模块扫描出的漏洞信息。本发明通过交换机旁路的方式获取流量，解决了传统web漏洞扫描器的爬虫效率低下的问题，并且可以加载有效的用户cookie，模拟用户的真实请求，同时本发明分布式的扫描机制提高了扫描系统的弹性，并且本发明将扫描逻辑提升到规则层面，提高了扫描系统的灵活性。

Description

web漏洞扫描系统
技术领域
本发明涉及一种web漏洞扫描系统，特别是涉及一种基于流量重放的分布式web漏洞扫描系统。
背景技术
现有技术中已经有几款非常成熟的web(网页)漏洞扫描产品，例如AcunetixWebVulnerScanner，IBMWatchFireAppScan，W3AF等，其中AcunetixWebVulnerScanner和IBMWatchFireAppScan都是非常成熟的商业扫描软件，W3AF是开源社区非常流行的开源扫描项目，这几款产品很难满足目前大型web系统的漏洞扫描需求，主要原因在于：
1、这些扫描器都是通过爬虫的方式去获取web系统的url(统一资源定位符)列表，爬虫方式无法获取到系统中的孤岛页面(此页面在其他的页面中没有链接)和JavaScript(一种直译式脚本语言)渲染出来的页面。此外，web系统中经常会使用伪静态技术，伪静态技术生成出来的页面虽然在前台显示地址都各不相同，但实际上后台页面都是一样的，爬虫无法识别伪静态，导致同一后台页面被重复扫描会大大降低扫描效率；
2、无法获取到用户的cookie(储存在用户本地终端上的数据)，不能有效地模拟用户的真实请求，无法有效地发现需要身份识别的漏洞；
3、上述几个商业扫描器不支持分布式部署，受服务器性能限制，扫描大型的web系统效率非常低；
4、不支持自定义的漏洞检测方法，对于新出来的0day漏洞(在系统上知晓并发布相关补丁前就被掌握或者公开的漏洞)过于依赖软件升级。
发明内容
本发明要解决的技术问题是为了克服现有技术中商业扫描软件难以满足目前大型web系统的漏洞扫描需求的缺陷，提供一种web漏洞扫描系统。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供了一种web漏洞扫描系统，其特点在于，包括：
流量获取模块，用于通过交换机的流量镜像端口获取用户访问web系统的流量；
流量存储模块，用于将所述流量存储至第一消息队列；
扫描模块，用于根据扫描规则对流量进行扫描；
漏洞信息存储模块，用于存储所述扫描模块扫描出的漏洞信息。
较佳地，所述web漏洞扫描系统还包括：
去重模块，用于判断所述流量在所述第一消息队列中是否为首次出现，若是，则将所述流量发送至第二消息队列，若否，则丢弃所述流量；
所述扫描模块用于对所述第二消息队列中的流量进行扫描。
较佳地，所述web漏洞扫描系统还包括：
规则配置模块，用于配置所述扫描规则。
较佳地，所述扫描模块用于开启多线程模式对所述第二消息队列中的流量进行并行扫描。
较佳地，所述流量获取模块用于根据黑白名单获取所述流量。
本发明的积极进步效果在于：本发明通过交换机旁路的方式获取流量，解决了传统web漏洞扫描器的爬虫效率低下的问题，并且可以加载有效的用户cookie，模拟用户的真实请求，同时本发明分布式的扫描机制提高了扫描系统的弹性，并且本发明将扫描逻辑提升到规则层面，提高了扫描系统的灵活性。
附图说明
图1为本发明的较佳实施例的web漏洞扫描系统的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
如图1所示，本发明的web漏洞扫描系统包括流量获取模块1、流量存储模块2、扫描模块3、漏洞信息存储模块4、去重模块5以及规则配置模块6。
其中，所述流量获取模块1用于通过交换机的流量镜像端口获取用户访问web系统的流量，从而实现通过交换机旁路的方式获取web系统的url列表，解决了现有技术的扫描器通过爬虫获取web系统的url列表效率低下的问题；具体地，在本发明中，所述流量获取模块1可以基于预设的黑白名单来获取所述流量，利用预设的黑白名单，则可以明确web系统流量的具体范围，并且用户通过预先配置黑白名单，从而可以实现根据实际情况获取需要的web系统的流量。
所述流量存储模块2用于将获取的所述流量存储至第一消息队列，所述去重模块5则会对所述第一消息队列中的流量进行去重处理，具体地，所述去重模块5会判断所述流量在所述第一消息队列中是否为首次出现，若是，则将所述流量发送至第二消息队列进行存储，若否，则丢弃所述流量，从而就实现了对第一消息队列中的流量的去重，本发明中具体可以通过HULK定制的去重规则对流量进行去重和二次筛选。
所述扫描模块3会对根据扫描规则所述第二消息队列中的流量(即去重后的流量)进行扫描，具体地，所述扫描模块3在加载完扫描规则后，可开启多线程模式对所述第二消息队列中的流量进行并行扫描，从而扫描出相应的漏洞信息，本发明中扫描模块通过消息队列读取扫描任务，实现了分布式的漏洞扫描，不再受单台服务器的性能限制，本发明中可根据消息队列的具体情况，智能增加或减少扫描模块以提高扫描效率。
所述漏洞信息存储模块4则用于存储所述扫描模块3扫描出的漏洞信息，具体可存储于MySQL数据库中。
所述规则配置模块6则可以对所述扫描规则进行配置，具体地，用户可以通过所述规则配置模块6查询当前扫描出的漏洞记录、漏洞分布图、扫描规则的命中情况等，进而可以对扫描规则进行实时配置和更新。
具体地，所述规则配置模块6可以根据http协议(超文本传输协议)实现一套细颗粒度的规则引擎，具体的扫描逻辑可以通过规则体现，例如SQL(结构化查询语言)注入的检测会在用户的请求参数或者cookie中插入SQL语句，xss(跨站脚本攻击)检测会在请求参数中植入JavaScript代码等等。加载扫描规则时会将规则中的逻辑转成程序代码，通过更新扫描规则便可实现新的漏洞扫描，不需要再像传统扫描器一样依赖软件版本升级，另外也可以自定义一些符合特定系统特性的扫描规则，本发明通过细颗粒度的扫描规则引擎，可以实时地定制扫描策略，发现新的0day漏洞，提高漏洞扫描的时效性。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (5)

1.一种web漏洞扫描系统，其特征在于，包括：
流量获取模块，用于通过交换机的流量镜像端口获取用户访问web系统的流量；
流量存储模块，用于将所述流量存储至第一消息队列；
扫描模块，用于根据扫描规则对流量进行扫描；
漏洞信息存储模块，用于存储所述扫描模块扫描出的漏洞信息。
2.如权利要求1所述的web漏洞扫描系统，其特征在于，所述web漏洞扫描系统还包括：
去重模块，用于判断所述流量在所述第一消息队列中是否为首次出现，若是，则将所述流量发送至第二消息队列，若否，则丢弃所述流量；
所述扫描模块用于对所述第二消息队列中的流量进行扫描。
3.如权利要求1所述的web漏洞扫描系统，其特征在于，所述web漏洞扫描系统还包括：
规则配置模块，用于配置所述扫描规则。
4.如权利要求2所述的web漏洞扫描系统，其特征在于，所述扫描模块用于开启多线程模式对所述第二消息队列中的流量进行并行扫描。
5.如权利要求1所述的web漏洞扫描系统，其特征在于，所述流量获取模块用于根据黑白名单获取所述流量。
CN201610100996.2A 2016-02-24 2016-02-24 web漏洞扫描系统 Pending CN105791273A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610100996.2A CN105791273A (zh) 2016-02-24 2016-02-24 web漏洞扫描系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610100996.2A CN105791273A (zh) 2016-02-24 2016-02-24 web漏洞扫描系统

Publications (1)

Publication Number Publication Date
CN105791273A true CN105791273A (zh) 2016-07-20

Family

ID=56402358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610100996.2A Pending CN105791273A (zh) 2016-02-24 2016-02-24 web漏洞扫描系统

Country Status (1)

Country Link
CN (1) CN105791273A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026871A (zh) * 2017-05-15 2017-08-08 安徽大学 一种基于云计算的Web漏洞扫描方法
CN108268775A (zh) * 2018-01-09 2018-07-10 北京知道创宇信息技术有限公司 一种Web漏洞检测方法、装置、电子设备及存储介质
CN108875368A (zh) * 2017-05-10 2018-11-23 北京金山云网络技术有限公司 一种安全检测方法、装置及系统
CN109510731A (zh) * 2017-09-15 2019-03-22 顺丰科技有限公司 多维度收集url链接及参数的方法、系统及设备
CN110401634A (zh) * 2019-06-24 2019-11-01 北京墨云科技有限公司 一种Web应用漏洞检测规则引擎实现方法及终端
CN110691067A (zh) * 2018-07-06 2020-01-14 国际商业机器公司 用于分析网络中非平稳数据的双端口镜像系统
CN111935149A (zh) * 2020-08-11 2020-11-13 北京天融信网络安全技术有限公司 一种漏洞检测方法及系统
CN112632559A (zh) * 2020-12-24 2021-04-09 北京天融信网络安全技术有限公司 漏洞自动验证方法、装置、设备及存储介质
CN114428962A (zh) * 2022-01-28 2022-05-03 北京灰度科技有限公司 漏洞风险优先级处置方法和装置
CN114726607A (zh) * 2022-03-30 2022-07-08 深圳市迈腾电子有限公司 一种基于交换机监视网络数据的网络安全监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996845B1 (en) * 2000-11-28 2006-02-07 S.P.I. Dynamics Incorporated Internet security analysis system and process
CN103152227A (zh) * 2013-03-26 2013-06-12 北京启明星辰信息技术股份有限公司 一种应对网络威胁与攻击的一体化实时检测系统及方法
CN104038488A (zh) * 2014-06-05 2014-09-10 深信服网络科技（深圳）有限公司 系统网络安全的防护方法及装置
CN104270372A (zh) * 2014-10-11 2015-01-07 国家电网公司 一种参数自适应的网络安全态势量化评估方法
CN105141604A (zh) * 2015-08-19 2015-12-09 国家电网公司 一种基于可信业务流的网络安全威胁检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996845B1 (en) * 2000-11-28 2006-02-07 S.P.I. Dynamics Incorporated Internet security analysis system and process
CN103152227A (zh) * 2013-03-26 2013-06-12 北京启明星辰信息技术股份有限公司 一种应对网络威胁与攻击的一体化实时检测系统及方法
CN104038488A (zh) * 2014-06-05 2014-09-10 深信服网络科技（深圳）有限公司 系统网络安全的防护方法及装置
CN104270372A (zh) * 2014-10-11 2015-01-07 国家电网公司 一种参数自适应的网络安全态势量化评估方法
CN105141604A (zh) * 2015-08-19 2015-12-09 国家电网公司 一种基于可信业务流的网络安全威胁检测方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875368A (zh) * 2017-05-10 2018-11-23 北京金山云网络技术有限公司 一种安全检测方法、装置及系统
CN107026871A (zh) * 2017-05-15 2017-08-08 安徽大学 一种基于云计算的Web漏洞扫描方法
CN107026871B (zh) * 2017-05-15 2020-08-25 安徽大学 一种基于云计算的Web漏洞扫描方法
CN109510731A (zh) * 2017-09-15 2019-03-22 顺丰科技有限公司 多维度收集url链接及参数的方法、系统及设备
CN108268775A (zh) * 2018-01-09 2018-07-10 北京知道创宇信息技术有限公司 一种Web漏洞检测方法、装置、电子设备及存储介质
CN110691067A (zh) * 2018-07-06 2020-01-14 国际商业机器公司 用于分析网络中非平稳数据的双端口镜像系统
CN110401634A (zh) * 2019-06-24 2019-11-01 北京墨云科技有限公司 一种Web应用漏洞检测规则引擎实现方法及终端
CN111935149A (zh) * 2020-08-11 2020-11-13 北京天融信网络安全技术有限公司 一种漏洞检测方法及系统
CN111935149B (zh) * 2020-08-11 2023-04-07 北京天融信网络安全技术有限公司 一种漏洞检测方法及系统
CN112632559A (zh) * 2020-12-24 2021-04-09 北京天融信网络安全技术有限公司 漏洞自动验证方法、装置、设备及存储介质
CN114428962A (zh) * 2022-01-28 2022-05-03 北京灰度科技有限公司 漏洞风险优先级处置方法和装置
CN114428962B (zh) * 2022-01-28 2023-03-31 北京灰度科技有限公司 漏洞风险优先级处置方法和装置
CN114726607A (zh) * 2022-03-30 2022-07-08 深圳市迈腾电子有限公司 一种基于交换机监视网络数据的网络安全监测系统
CN114726607B (zh) * 2022-03-30 2024-04-09 深圳市迈腾电子有限公司 一种基于交换机监视网络数据的网络安全监测系统

Similar Documents

Publication Publication Date Title
CN105791273A (zh) web漏洞扫描系统
US9306968B2 (en) Systems and methods for risk rating and pro-actively detecting malicious online ads
US11949698B1 (en) Dynamically remote tuning of a malware content detection system
US9268937B1 (en) Mitigating malware
US9298919B1 (en) Scanning ad content for malware with varying frequencies
US20190317934A1 (en) Trustless Stateless Incentivized Remote Node Network Using Minimal Verification Clients
US20150135256A1 (en) Disambiguating conflicting content filter rules
CN104182685B (zh) 一种用于java web应用的xss防御方法及组件
CN104021017B (zh) 启动项的处理方法和装置
US20110072514A1 (en) Scan Engine Manager with Updates
CN103116722A (zh) 一种通知栏消息的处理方法、装置和系统
JP2013541774A (ja) ウェブサイトスキャンデバイスおよびウェブサイトスキャン方法
CN103617395A (zh) 一种基于云安全拦截广告程序的方法、装置和系统
CN105429955A (zh) 一种远程漏洞的检测方法
CN106230837A (zh) 一种支持动态扩充的web漏洞扫描方法和扫描器
CN103136478A (zh) 一种终端应用的安全管理方法及系统
CN103617392A (zh) 对智能终端的外接存储设备的安全扫描方法及其装置
CN106302515B (zh) 一种网站安全防护的方法和装置
CN109361692B (zh) 基于识别资产类型及自发现漏洞的web防护方法
CN103401863A (zh) 一种基于云安全的网络数据流分析方法和装置
CN113904852A (zh) 蜜罐动态部署方法、装置、电子设备和可读存储介质
CN103647844B (zh) 一种内网中程序升级的方法及装置
US20200410016A1 (en) Triggered scanning based on network available data change
CN104158812A (zh) 一种终端应用的安全控制方法及系统
CN102148831A (zh) 一种终端应用的安全控制方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160720