CN112003864B - 一种基于全流量的网站安全检测系统和方法 - Google Patents

Abstract

本发明公开了一种基于全流量的网站安全检测系统和方法，能够更全面的覆盖快速迭代的WEB项目的安全测试，及时发现系统新增漏洞，提升WEB系统的安全性。其技术方案为：本发明的系统和方法以互联网公司在WEB开发过程中经常遇到的安全检测漏洞覆盖率不足的问题为出发点，通过将主动扫描和被动扫描两个纬度相结合进行安全扫描，覆盖网站的主动流量和被动流量，以便及时发现系统新增漏洞，提升WEB系统的安全性。

Description

一种基于全流量的网站安全检测系统和方法

技术领域

本发明涉及信息安全领域，具体涉及一种基于全流量的网站安全检测系统和方法。

背景技术

现有的WEB漏洞扫描系统主要分为两类，一种是主动扫描，一种是被动扫描。

主动扫描的系统，其主要工作流程是：添加扫描任务->出发扫描->生成扫描报告。其主要原理为：首先通过WEB爬虫，对种子URL进行爬取操作，在新爬取的页面中获新的URL，再一层层的进行爬取，最后，获取网站所有的URL，经过去重保存所有URL，最后，针对处理后的URL发起主动漏洞扫描。主动扫描系统的缺点在于：获取的URL不全，需要交互才能触发的URL是WEB爬虫很难爬取到的，此外，WEB爬虫对于孤岛页面、测试页面、以及特殊操作的POST请求等也获取不到。另一方面，主动扫描任务如果过于频繁，则会导致过多的无效重复扫描，如果频率过低则不能及时覆盖漏洞。

被动扫描的系统，其主要工作流程是：系统通过代理方式接受流量->系统转发被动流量->系统对被动流量进行漏洞扫描。其主要原理为：通过代理获取的流量包含全部的HTTP包信息，针对获取到的流量进行安全扫描。被动扫描系统的缺点在于：被动接受的流量也存在不能全部覆盖所有的URL，只能抓取到被动流量的URL。

因此，常见的漏洞扫描基本是针对目标，进行全部的漏洞证明程序的验证，增加了无效扫描，扫描周期长，增加了系统负担。

互联网公司的软件开发过程通常具有如下的特点。

1)软件项目多，版本迭代快；

2)安全测试跟不上软件上线的速度，项目存在漏洞即上线；

3)软件开发的新功能很难完全同步到安全测试部门，导致信息不对称，容易安全测试没有针对性，效率低下；

4)测试环境安全状态容易疏忽，成为黑客攻击的切入点。

综上，现有的WEB漏洞扫描系统已经不能适应互联网公司的软件开发安全测试的需要，目前业界亟待一种针对目前互联网公司存在安全测试痛点而开发的新的安全检测系统和方法。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于全流量的网站安全检测系统和方法，能够更全面的覆盖快速迭代的WEB项目的安全测试，及时发现系统新增漏洞，提升WEB系统的安全性。

本发明的技术方案为：本发明揭示了一种基于全流量的网站安全检测系统，系统包括：应用安全防护模块、被动流量分析模块、主动扫描管理模块、以及漏洞扫描器，其中：

应用安全防护模块，用于保证测试环境的安全性；

被动流量分析模块，用于针对应用安全防护模块清洗过的流量进行加工处理，触发漏洞扫描器进行针对性URL的漏洞扫描，收集被动流量数据供主动扫描管理模块使用；

主动扫描管理模块，用于管理主动扫描，包括获得发起主动扫描的时间点并向漏洞扫描器发起主动扫描任务；

漏洞扫描器，用于实现所有漏洞扫描任务，包括被动流量分析模块分析出的针对性URL的漏洞扫描，以及主动扫描管理模块下发的主动扫描任务以实现全站主动扫描。

根据本发明的基于全流量的网站安全检测系统的一实施例，应用安全防护模块接收外部的测试流量和攻击流量，应用安全防护模块传输数据至被动流量分析模块，被动流量分析模块传输数据至主动扫描管理模块，被动流量分析模块和主动扫描管理模块分别传输数据至漏洞扫描器，应用安全防护模块和漏洞扫描器将数据传输至外部的测试服务器。

根据本发明的基于全流量的网站安全检测系统的一实施例，应用安全防护模块进一步配置为：通过对被动流量的清洗，清洗掉恶意的被动流量，留下正常来自测试人员的流量，以防止测试环境遭受外部攻击；同时将清洗后的正常来自测试人员的流量转发给被动流量分析模块。

根据本发明的基于全流量的网站安全检测系统的一实施例，被动流量分析模块进一步配置为：被动流量分析模块抓取被动流量并去重后存储，分析出新增的URL，存入URL资产库，同时加入到被动流量扫描队列；保留被动流量登陆态的包括cookie、post请求参数在内的细节，用于进行重放，或修改请求包进行进一步的安全测试。

根据本发明的基于全流量的网站安全检测系统的一实施例，主动扫描管理模块进一步配置为：通过对被动流量数据中的URL的分析，判断是否满足某一设定的条件以判定是否由测试人员针对性的测试新的功能，在满足所设定的条件的情况下生成针对性的主动扫描任务并发送给漏洞扫描器，以保证主动扫描的时效性。

根据本发明的基于全流量的网站安全检测系统的一实施例，漏洞扫描器进一步配置为：通过对测试资产的指纹识别分析出测试资产的服务类型并对测试资产打上标签，其中服务类型包括测试资产的编程语言，开发框架类别；再发起包括爬取URL、去重在内的处理；其中，漏洞扫描器对所有的扫描规则进行分类，使得测试资产的不同服务类型对应使用不同的扫描插件。

本发明还揭示了一种基于全流量的网站安全检测方法，检测方法是在如上所述的基于全流量的网站安全检测系统上实施的，方法包括：

应用安全防护模块通过对被动流量的清洗，去除恶意的被动流量，留下正常来自测试人员的流量并转发给被动流量分析模块；

被动流量分析模块针对应用安全防护模块清洗过的流量进行加工处理，触发漏洞扫描器进行针对性URL的漏洞扫描，收集被动流量数据供主动扫描管理模块使用；

主动扫描管理模块获得发起主动扫描的时间点并向漏洞扫描器发起主动扫描任务；

漏洞扫描器实现所有漏洞扫描任务，包括被动流量分析模块分析出的针对性URL的漏洞扫描，以及主动扫描管理模块下发的主动扫描任务以实现全站主动扫描。

根据本发明的基于全流量的网站安全检测方法的一实施例，在被动流量分析模块的处理步骤中，进一步包括：被动流量分析模块抓取被动流量并去重后存储，分析出新增的URL，存入URL资产库，同时加入到被动流量扫描队列；保留被动流量登陆态的包括cookie、post请求参数在内的细节，用于进行重放，或修改请求包进行进一步的安全测试。

根据本发明的基于全流量的网站安全检测方法的一实施例，在主动扫描管理模块的处理步骤中，进一步包括：主动扫描管理模块通过对被动流量数据中的URL的分析，判断是否满足某一设定的条件以判定是否由测试人员针对性的测试新的功能，在满足所设定的条件的情况下生成针对性的主动扫描任务并发送给漏洞扫描器，以保证主动扫描的时效性。

根据本发明的基于全流量的网站安全检测方法的一实施例，在漏洞扫描器的处理步骤中，进一步包括：漏洞扫描器通过对测试资产的指纹识别分析出测试资产的服务类型并对测试资产打上标签，其中服务类型包括测试资产的编程语言，开发框架类别；再发起包括爬取URL、去重在内的处理；其中，漏洞扫描器对所有的扫描规则进行分类，使得测试资产的不同服务类型对应使用不同的扫描插件。

本发明对比现有技术有如下的有益效果：本发明的系统和方法以互联网公司在WEB开发过程中经常遇到的安全检测漏洞覆盖率不足的问题为出发点，通过将主动扫描和被动扫描两个纬度相结合进行安全扫描，覆盖网站的主动流量和被动流量，以便及时发现系统新增漏洞，提升WEB系统的安全性。

进一步的，本发明系统的有益效果分列如下：

1)提高了漏洞覆盖率：通过主动扫描与被动扫描相结合的方式提升安全检测漏洞的覆盖率。

2)提高了安全检测效率：降低安全测试人员与开发人员的沟通成本，主动发现新增的功能，使得测试更有针对性，提升了安全检测的效率。

3)保证了测试环境的安全：测试环境是漏洞最先暴露的地方，发现漏洞的同时又保证测试环境的安全，不让漏洞被不该发现的人发现。

4)使得漏洞扫描更为高效：通过对测试系统的指纹识别以及扫描插件的分类，提升扫描效率，减少不必要的扫描。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的基于全流量的网站安全检测系统的一实施例的原理图。

图2示出了本发明的基于全流量的网站安全检测方法的一实施例的流程图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图1示出了本发明的基于全流量的网站安全检测系统的一实施例的原理。请参见图1，本实施例的基于全流量的网站安全检测系统包括：应用安全防护模块1、被动流量分析模块2、主动扫描管理模块3、以及漏洞扫描器4。

这四个模块之间的数据传输关系为：应用安全防护模块1接收外部的测试流量和攻击流量，应用安全防护模块1传输数据至被动流量分析模块2，被动流量分析模块2传输数据至主动扫描管理模块3，被动流量分析模块2和主动扫描管理模块3分别传输数据至漏洞扫描器4，应用安全防护模块1和漏洞扫描器4将数据传输至外部的测试服务器。

本实施例的系统所基于的全流量是指WEB系统中的主动流量和被动流量的总和，其中，主动流量是针对测试服务器发起的主动扫描流量，被动流量是指来自外部的访问流量，被动流量包含：测试工程师、研发工程师的测试流量，黑客的恶意攻击，漏洞扫描流量，及其它访问测试系统的所有外部流量。

以下对每个模块的功能进行说明。

应用安全防护模块1用于保证测试环境的安全性。

应用安全防护模块1对测试环境的安全保障处理包括：通过对被动流量的清洗，清洗掉恶意的被动流量，留下正常来自测试人员的流量，以防止测试环境遭受外部攻击(这种外部攻击容易获取测试环境的漏洞，进而威胁到正式环境)。同时应用安全防护模块1将清洗后的正常来自测试人员的流量转发给被动流量分析模块2，提高了系统效率，不需要分析恶意的被动流量。

被动流量分析模块2用于针对应用安全防护模块1清洗过的流量进行加工处理，同时触发漏洞扫描器4进行针对性URL的漏洞扫描，同时收集被动流量数据供主动扫描管理模块3使用。

被动流量分析模块2的具体处理过程为：被动流量分析模块2抓取被动流量并去重后存储，分析出新增的URL，存入URL资产库，同时将新增的URL加入到被动流量扫描队列；保留被动流量登陆态的cookie、post请求参数等细节，用于进行重放，或修改请求包进行进一步安全测试。

主动扫描管理模块3用于管理主动扫描，包括获得发起主动扫描的时间点并向漏洞扫描器4发起主动扫描任务。

主动扫描管理模块3的具体处理过程为：通过对被动流量数据中的URL的分析，判断是否满足某一设定的条件以判定是否由测试人员针对性的测试了某些新功能(例如，新增URL比例达到一定阈值，或URL流量增大超过一定阈值)。在满足所设定的条件的情况下生成针对性的主动扫描任务并发送给漏洞扫描器4，以保证主动扫描的时效性。

漏洞扫描器4用于实现所有漏洞扫描任务，包括被动流量分析模块2分析出的针对性URL的漏洞扫描，以及主动扫描管理模块3下发的主动扫描任务以实现全站主动扫描。

漏洞扫描器4的具体处理过程为：首先通过对测试资产所使用的技术进行自动化分析的指纹识别，如：使用什么语言，框架，版本，中间件，服务类型等，给测试资产打上标签。然后再发起常规的爬取URL、去重等处理。漏洞扫描器4对所有的扫描规则进行分类，使得不同编程语言、不同开发框架，对应使用不同的扫描插件，通过对扫描规则的分类，使用不同的扫描插件进行有针对性的、高效的漏洞扫描。

图2示出了本发明的基于全流量的网站安全检测方法的一实施例的流程。请参见图2，本实施例的网站安全检测方法是在如上述的基于全流量的网站安全检测系统的实施例上实施的，本实施例的方法的实施步骤如下。

步骤1：应用安全防护模块通过对被动流量的清洗，去除恶意的被动流量，留下正常来自测试人员的流量并转发给被动流量分析模块。

步骤2：被动流量分析模块针对应用安全防护模块清洗过的流量进行加工处理，触发漏洞扫描器进行针对性URL的漏洞扫描，收集被动流量数据供主动扫描管理模块使用。

被动流量分析模块抓取被动流量并去重后存储，分析出新增的URL，存入URL资产库，同时加入到被动流量扫描队列；保留被动流量登陆态的包括cookie、post请求参数在内的细节，用于进行重放，或修改请求包进行进一步的安全测试。

步骤3：主动扫描管理模块获得发起主动扫描的时间点并向漏洞扫描器发起主动扫描任务。

主动扫描管理模块通过对被动流量数据中的URL的分析，判断是否满足某一设定的条件以判定是否由测试人员针对性的测试新的功能，在满足所设定的条件的情况下生成针对性的主动扫描任务并发送给漏洞扫描器，以保证主动扫描的时效性。

步骤4：漏洞扫描器实现所有漏洞扫描任务，包括被动流量分析模块分析出的针对性URL的漏洞扫描，以及主动扫描管理模块下发的主动扫描任务以实现全站主动扫描。

漏洞扫描器通过对测试资产的指纹识别分析出测试资产的服务类型并对测试资产打上标签，其中服务类型包括测试资产的编程语言，开发框架类别；再发起包括爬取URL、去重在内的处理；其中，漏洞扫描器对所有的扫描规则进行分类，使得测试资产的不同服务类型对应使用不同的扫描插件。

测试服务器基于漏洞扫描器的指示，进行安全测试操作。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (3)

1.一种基于全流量的网站安全检测系统，其特征在于，包括：应用安全防护模块、被动流量分析模块、主动扫描管理模块、以及漏洞扫描器，其中：

应用安全防护模块，用于保证测试环境的安全性；

被动流量分析模块，用于针对应用安全防护模块清洗过的流量进行加工处理，触发漏洞扫描器进行针对性URL的漏洞扫描，收集被动流量数据供主动扫描管理模块使用；

主动扫描管理模块，用于管理主动扫描，包括获得发起主动扫描的时间点并向漏洞扫描器发起主动扫描任务；

漏洞扫描器，用于实现所有漏洞扫描任务，包括被动流量分析模块分析出的针对性URL的漏洞扫描，以及主动扫描管理模块下发的主动扫描任务以实现全站主动扫描；

其中应用安全防护模块进一步配置为：通过对被动流量的清洗，清洗掉恶意的被动流量，留下正常来自测试人员的流量，以防止测试环境遭受外部攻击，其中外部攻击会获取到测试环境的漏洞进而威胁到正式环境；同时将清洗后的正常来自测试人员的流量转发给被动流量分析模块，以便无需分析恶意的被动流量；

其中，漏洞扫描器进一步配置为：通过对测试资产的指纹识别分析出测试资产的服务类型并对测试资产打上标签，其中服务类型包括测试资产的编程语言，开发框架类别；再发起包括爬取URL、去重在内的处理；其中，漏洞扫描器对所有的扫描规则进行分类，使得测试资产的不同服务类型对应使用不同的扫描插件，其中通过对测试资产的指纹识别以及扫描插件的分类以减少不必要的扫描；

其中，被动流量分析模块进一步配置为：被动流量分析模块抓取被动流量并去重后存储，分析出新增的URL，存入URL资产库，同时加入到被动流量扫描队列；保留被动流量登陆态的包括cookie、post请求参数在内的细节，用于进行重放，或修改请求包进行进一步的安全测试；

主动扫描管理模块进一步配置为：通过对被动流量数据中的URL的分析，判断是否满足某一设定的条件以判定是否由测试人员针对性的测试新的功能，在满足所设定的条件的情况下生成针对性的主动扫描任务并发送给漏洞扫描器，以保证主动扫描的时效性。

2.根据权利要求1所述的基于全流量的网站安全检测系统，其特征在于，应用安全防护模块接收外部的测试流量和攻击流量，应用安全防护模块传输数据至被动流量分析模块，被动流量分析模块传输数据至主动扫描管理模块，被动流量分析模块和主动扫描管理模块分别传输数据至漏洞扫描器，应用安全防护模块和漏洞扫描器将数据传输至外部的测试服务器。

3.一种基于全流量的网站安全检测方法，其特征在于，检测方法是在如权利要求1至2中任一项所述的基于全流量的网站安全检测系统上实施的，方法包括：

应用安全防护模块通过对被动流量的清洗，去除恶意的被动流量，留下正常来自测试人员的流量并转发给被动流量分析模块；

被动流量分析模块针对应用安全防护模块清洗过的流量进行加工处理，触发漏洞扫描器进行针对性URL的漏洞扫描，收集被动流量数据供主动扫描管理模块使用；

主动扫描管理模块获得发起主动扫描的时间点并向漏洞扫描器发起主动扫描任务；

漏洞扫描器实现所有漏洞扫描任务，包括被动流量分析模块分析出的针对性URL的漏洞扫描，以及主动扫描管理模块下发的主动扫描任务以实现全站主动扫描；

其中在漏洞扫描器的处理步骤中，进一步包括：漏洞扫描器通过对测试资产的指纹识别分析出测试资产的服务类型并对测试资产打上标签，其中服务类型包括测试资产的编程语言，开发框架类别；再发起包括爬取URL、去重在内的处理；其中，漏洞扫描器对所有的扫描规则进行分类，使得测试资产的不同服务类型对应使用不同的扫描插件；

其中在被动流量分析模块的处理步骤中，进一步包括：被动流量分析模块抓取被动流量并去重后存储，分析出新增的URL，存入URL资产库，同时加入到被动流量扫描队列；保留被动流量登陆态的包括cookie、post请求参数在内的细节，用于进行重放，或修改请求包进行进一步的安全测试；

在主动扫描管理模块的处理步骤中，进一步包括：主动扫描管理模块通过对被动流量数据中的URL的分析，判断是否满足某一设定的条件以判定是否由测试人员针对性的测试新的功能，在满足所设定的条件的情况下生成针对性的主动扫描任务并发送给漏洞扫描器，以保证主动扫描的时效性。

Images