CN107959662A - 网站安全检测的方法和系统 - Google Patents

Abstract

本发明公开了一种网站安全检测的方法和系统，涉及信息安全领域。该方法包括：通过用户提供的初始请求URL获取URL队列，该URL队列包括目标网站的待检测URL；将该待检测URL按照负载均衡策略分配给多个扫描引擎；所述多个扫描引擎对待检测URL执行扫描，获得扫描结果；以及整合扫描结果，生成风险评估报告。本发明可以使得对URL的获取与扫描分离，降低了二者的耦合度。此外，还可以使得整个安全检测过程更加简单明了，检测效率大大提高，而且有效的解决了单节点失效的问题。

Description

网站安全检测的方法和系统

技术领域

本发明涉及信息安全领域，特别涉及一种网站安全检测的方法和系统。

背景技术

传统的网站安全检测方法一般是基于单机实现的，导致整个检测系统的运行速度较慢，性能相对较低。而且单机情况下会存在单点失效导致整个系统崩溃的风险。

网站安全检测方法是基于爬虫技术实现的，但是传统的解决方案是一边通过爬虫技术提取网站页面的URL(Uniform Resource Locator，统一资源定位符)，一边检测网站的安全性。例如，在提取第一级URL后，对该第一级URL进行检测；在该检测过程中，当出现第二级URL时，立即对该第二级URL进行检测；然后在该检测过程中，又出现第三级URL时，又立即对该第三级URL进行检测。因此提取URL过程与安全检测的过程一直如此循环下去，使得URL收集模块和安全检测模块不能分离，导致其模块间耦合度过高，系统相对复杂，因此不利于系统的扩展和维护。

发明内容

本发明需要解决的一个技术问题是：提供一种网站安全检测的方法。

根据本发明的第一方面，提供了一种网站安全检测的方法，包括：通过用户提供的初始请求URL获取所需的URL队列，所述所需的URL队列包括目标网站的待检测URL；将所述待检测URL按照负载均衡策略分配给多个扫描引擎；所述多个扫描引擎对所述待检测URL执行扫描，获得扫描结果；以及整合所述扫描结果，生成风险评估报告。

在一个实施例中，通过用户提供的初始请求URL获取URL队列的步骤包括：获取用户提供的初始请求URL；对所述初始请求URL进行解析，获取对应页面；对所述页面的内容进行解析，获取所述页面内的URL；利用链接消重策略对获取的URL进行消重处理；以及在消重处理后，如果出现新的URL，则将所述新的URL放入初始URL队列中，再对所述新的URL进行解析，直到对URL的遍历解析过程结束，获取所需的URL队列。

在一个实施例中，其中，在进行解析的过程中，当满足停止条件时，确定为对URL的遍历解析过程结束；其中，所述停止条件包括下述条件中的至少一个：达到限制扫描链接的总个数、达到爬虫追溯的目录层次深度或无新的URL出现。

在一个实施例中，将所述待检测URL按照负载均衡策略分配给多个扫描引擎的步骤包括：定时获取所述多个扫描引擎中的每个扫描引擎的资源使用情况以获得每个扫描引擎的负载率；以及根据所述每个扫描引擎的负载率动态地将所述待检测URL分配到所述多个扫描引擎上。

在一个实施例中，其中，所述多个扫描引擎中的每个扫描引擎分别对其所分配得到的待检测URL执行扫描。

本发明提供了一种网站安全检测的方法。上述检测方法可以使得对URL的获取与扫描分离，降低了二者的耦合度。此外，该方法还实现了多引擎协同处理，可以避免某个扫描节点任务过重的现象，不仅可以提高检测的效率，还可以有效的解决单点失效的问题。

根据本发明的第二方面，提供了一种网站安全检测的系统，包括：URL获取模块，用于通过用户提供的初始请求URL获取所需的URL队列，所述所需的URL队列包括目标网站的待检测URL；调度节点，用于将所述待检测URL按照负载均衡策略分配给多个扫描引擎，以及在收到扫描结果后，整合所述扫描结果，生成风险评估报告；多个扫描引擎，用于对所述待检测URL执行扫描，获得扫描结果，并将所述扫描结果反馈给所述调度节点。

在一个实施例中，所述URL获取模块用于获取用户提供的初始请求URL；对所述初始请求URL进行解析，获取对应页面；对所述页面的内容进行解析，获取所述页面内的URL；利用链接消重策略对获取的URL进行消重处理；以及在消重处理后，如果出现新的URL，则将所述新的URL放入初始URL队列中，再对所述新的URL进行解析，直到对URL的遍历解析过程结束，获取所需的URL队列。

在一个实施例中，其中，所述URL获取模块在进行解析的过程中，当满足停止条件时，确定为对URL的遍历解析过程结束；其中，所述停止条件包括下述条件中的至少一个：达到限制扫描链接的总个数、达到爬虫追溯的目录层次深度或无新的URL出现。

在一个实施例中，所述调度节点用于定时获取所述多个扫描引擎中的每个扫描引擎的资源使用情况以获得每个扫描引擎的负载率，以及根据所述每个扫描引擎的负载率动态地将所述待检测URL分配到所述多个扫描引擎上。

在一个实施例中，其中，所述多个扫描引擎中的每个扫描引擎分别对其所分配得到的待检测URL执行扫描。

本发明提供了一种网站安全检测的系统。上述检测系统可以使得URL获取模块与扫描模块(即多个扫描引擎)分离，降低了二者的耦合度。此外，该系统还实现了多引擎协同处理，可以避免某个扫描节点任务过重的现象，不仅可以提高检测的效率，还可以有效的解决单点失效的问题。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1是示出根据本发明一个实施例的网站安全检测的方法的流程图。

图2是示出根据本发明另一个实施例的网站安全检测的方法的流程图。

图3是示意性地示出根据本发明一个实施例的网站安全检测的系统的结构图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1是示出根据本发明一个实施例的网站安全检测的方法的流程图。

在步骤S11，通过用户提供的初始请求URL获取所需的URL队列，该所需的URL队列包括目标网站的待检测URL。例如可以利用爬虫系统通过用户提供的初始请求URL获取整个URL队列，该整个URL队列例如可以包括目标网站的所有待检测URL。

在一个实施例中，该步骤S11可以包括：获取用户提供的初始请求URL。可选地，该步骤S11还可以包括：对该初始请求URL进行解析，获取对应页面。可选地，该步骤S11还可以包括：对页面的内容进行解析，获取该页面内的URL(例如下一级的URL链接)。可选地，该步骤S11还可以包括：利用链接消重策略对获取的URL进行消重处理。可选地，该步骤S11还可以包括：在消重处理后，如果出现新的URL，则将该新的URL放入初始URL队列中，再对该新的URL进行解析，直到对URL的遍历解析过程结束，获取所需的URL队列。

需要说明的是，在对URL进行解析的过程中，有时可能会出现相同的URL，所以需要进行消重处理。还需要说明的是，这里“新的URL”是相对已经存在的URL队列中的URL而言。例如，最初的URL队列中包含初始请求URL，在对获取的URL进行消重处理后，如果存在不同于该初始请求URL的URL，则可以认为该URL即为新的URL。

在一个实施例中，在进行解析的过程(例如对页面解析或者对URL解析)中，当满足停止条件时，确定为对URL的遍历解析过程结束。在一个实施例中，该停止条件可以包括下述条件中的至少一个：(1)达到限制扫描链接的总个数、(2)达到爬虫追溯的目录层次深度或(3)无新的URL出现。这里，当无新的URL出现时，确定为遍历完目标网站的所有URL。

在步骤S12，将待检测URL按照负载均衡策略分配给多个扫描引擎。

在一个实施例中，该步骤S12可以包括：定时获取多个扫描引擎中的每个扫描引擎的资源使用情况以获得每个扫描引擎的负载率。这里，扫描引擎的负载率即为扫描引擎的资源消耗情况。可选地，该步骤S12还可以包括：根据每个扫描引擎的负载率动态地将待检测URL分配到多个扫描引擎上。在该实施例中，例如可以定时获取引擎资源池中各个扫描引擎的CPU、内存和/或硬盘等资源的使用情况，从而获得各个扫描引擎的负载率，然后根据各个扫描引擎的负载率动态分配扫描任务，将URL合理分配到各个扫描引擎上，避免某个扫描节点任务过重的现象。利用引擎资源池不仅可以提高检测的效率，还可以有效的解决单点失效的问题。

在步骤S13，该多个扫描引擎对待检测URL执行扫描，获得扫描结果。例如，所述多个扫描引擎中的每个扫描引擎分别对其所分配得到的待检测URL执行扫描。即各个扫描引擎分别扫描分配到其上的待检测URL，从而实现多引擎协同处理。扫描引擎在对待检测URL扫描的过程中，可以采用已知的扫描技术(例如漏洞扫描)，这里不再详细描述。

在步骤S14，整合扫描结果，生成风险评估报告。在一个实施例中，在生成风险评估报告之后，输出该风险评估报告。

在上述实施例中，该网站安全检测方法是一种分布式的网站安全检测方法。该方法是在得到所有待检测的URL之后，根据引擎资源池中各个引擎的利用情况，将原子URL动态的分配给多个扫描引擎来执行扫描任务，获得扫描结果，然后整合目标站点所有URL的扫描结果，生成风险评估报告。上述方法可以使得对URL的获取与扫描分离，降低了二者的耦合度。此外，上述方法还可以使得整个安全检测过程更加简单明了，检测效率可以大大提高，而且有效的解决了单节点失效的问题。

在本发明的实施例中，在引擎资源池中采用了多个扫描引擎，从而使得引擎资源池实现了多异构网络部署。在获取了所有的原子URL之后，引擎资源池中的各个扫描引擎只需要执行扫描任务，这对底层引擎的匹配度要求相对较低。所以本发明的实施例可以实现在引擎资源池中接入不同厂家不同型号的引擎设备。

图2是示出根据本发明另一个实施例的网站安全检测的方法的流程图。

在步骤S201，获取用户提供的初始请求URL。

在步骤S202，对URL进行解析，获取对应页面。

在步骤S203，对页面的内容进行解析，获取该页面内的URL(也即URL链接)。在另一个实施例中，在对页面的内容进行解析的过程中，还可以获取其他的特定数据，例如文字、图像信息等。

在步骤S204，利用链接消重策略对获取的URL进行消重处理。

在步骤S205，判断是否出现新的URL。如果是，则过程进入步骤S206，否则过程进入步骤S207。

在步骤S206，将新的URL放入初始URL队列中。

在步骤S207，判断是否满足停止条件。即判断是否达到限制扫描链接的总个数，或者是否达到爬虫追溯的目录层次深度，或者是否没有新的URL出现。如果满足这些条件中任一个条件，即可确定为满足停止条件，对URL的遍历解析过程结束。若满足停止条件，则过程进入步骤S208，否则过程返回步骤S202，即继续对URL遍历解析。

在步骤S208，获取所需的URL队列。至此完成了获取URL队列的阶段。例如该URL队列可以包括目标网站的所有待检测URL。

在步骤S209，将待检测URL按照负载均衡策略分配给多个扫描引擎。例如，根据各个扫描引擎负载率的不同，按照负载均衡策略将URL队列中的URL动态地分配到引擎资源池中的各个扫描引擎上。

在步骤S210，该多个扫描引擎对待检测URL执行扫描，获得扫描结果。即各个扫描引擎分别对所分配得到的URL进行扫描，获得扫描结果。

在步骤S211，整合扫描结果，生成并输出风险评估报告。

在该实施例中，上述检测方法可以使得对URL的获取与扫描完全分离，降低了二者的耦合度。此外，上述检测方法还实现了多引擎协同处理，可以避免某个扫描节点任务过重的现象，不仅可以提高检测的效率，还可以有效的解决单点失效的问题。

图3是示意性地示出根据本发明一个实施例的网站安全检测的系统的结构图。如图3所示，该系统可以包括：URL获取模块31、调度节点32和多个扫描引擎(例如扫描引擎41、42和43)。为了说明的目的，图3中还示出了目标网站51和52。

URL获取模块31可以用于通过用户提供的初始请求URL获取所需的URL队列，该所需的URL队列可以包括目标网站(例如目标网站51或52)的待检测URL。例如，该URL获取模块可以采用中心节点一次性完成对URL队列的获取操作。

调度节点32可以用于将待检测URL按照负载均衡策略分配给多个扫描引擎(例如扫描引擎41、42和43)。例如可以采用一个调度节点对URL进行总体调度，以实现分布式处理的负载均衡。该调度节点32还用于在收到扫描结果后，整合扫描结果，生成风险评估报告。在另一个实施例中，该调度节点32还用于输出该风险评估报告。

多个扫描引擎可以用于对待检测URL执行扫描，获得扫描结果，并将该扫描结果反馈给调度节点32。例如，该多个扫描引擎中的每个扫描引擎分别对其所分配得到的待检测URL执行扫描。

在该实施例中，上述系统可以使得URL获取模块与扫描引擎(作为扫描模块)分离，降低了二者的耦合度。此外，该系统还实现了多引擎协同处理，可以避免某个扫描节点任务过重的现象，不仅可以提高检测的效率，还可以有效的解决单点失效的问题。

在一个实施例中，该URL获取模块31可以用于获取用户提供的初始请求URL。可选地，该URL获取模块31还可以用于对该初始请求URL进行解析，获取对应页面。可选地，该URL获取模块31还可以用于对页面的内容进行解析，获取该页面内的URL。可选地，该URL获取模块31还可以用于利用链接消重策略对获取的URL进行消重处理。可选地，该URL获取模块31还可以用于在消重处理后，如果出现新的URL，则将该新的URL放入初始URL队列中，再对该新的URL进行解析，直到对URL的遍历解析过程结束，获取所需的URL队列。

在一个实施例中，该URL获取模块31在进行解析的过程中，当满足停止条件时，确定为对URL的遍历解析过程结束。例如，该停止条件可以包括下述条件中的至少一个：(1)达到限制扫描链接的总个数、(2)达到爬虫追溯的目录层次深度或(3)无新的URL出现。

在一个实施例中，调度节点32可以用于定时获取多个扫描引擎中的每个扫描引擎的资源使用情况以获得每个扫描引擎的负载率。可选地，该调度节点32还可以用于根据每个扫描引擎的负载率动态地将待检测URL分配到所述多个扫描引擎上。

本发明可以使得URL获取模块与扫描模块完全分离，降低了二者的耦合度。此外，本发明还实现了多引擎协同处理，可以避免某个扫描节点任务过重的现象，不仅可以提高检测的效率，还可以有效的解决单点失效的问题。再者，本发明对底层引擎的匹配度要求相对也比较低。

至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种网站安全检测的方法，其特征在于，包括：

通过用户提供的初始请求统一资源定位符URL获取所需的URL队列，所述所需的URL队列包括目标网站的待检测URL；

将所述待检测URL按照负载均衡策略分配给多个扫描引擎；

所述多个扫描引擎对所述待检测URL执行扫描，获得扫描结果；以及

整合所述扫描结果，生成风险评估报告。

2.根据权利要求1所述的方法，其特征在于，通过用户提供的初始请求URL获取URL队列的步骤包括：

获取用户提供的初始请求URL；

对所述初始请求URL进行解析，获取对应页面；

对所述页面的内容进行解析，获取所述页面内的URL；

利用链接消重策略对获取的URL进行消重处理；以及

在消重处理后，如果出现新的URL，则将所述新的URL放入初始URL队列中，再对所述新的URL进行解析，直到对URL的遍历解析过程结束，获取所需的URL队列。

3.根据权利要求2所述的方法，其特征在于，

其中，在进行解析的过程中，当满足停止条件时，确定为对URL的遍历解析过程结束；

其中，所述停止条件包括下述条件中的至少一个：

达到限制扫描链接的总个数、达到爬虫追溯的目录层次深度或无新的URL出现。

4.根据权利要求1所述的方法，其特征在于，将所述待检测URL按照负载均衡策略分配给多个扫描引擎的步骤包括：

定时获取所述多个扫描引擎中的每个扫描引擎的资源使用情况以获得每个扫描引擎的负载率；以及

根据所述每个扫描引擎的负载率动态地将所述待检测URL分配到所述多个扫描引擎上。

5.根据权利要求1所述的方法，其特征在于，

其中，所述多个扫描引擎中的每个扫描引擎分别对其所分配得到的待检测URL执行扫描。

6.一种网站安全检测的系统，其特征在于，包括：

URL获取模块，用于通过用户提供的初始请求URL获取所需的URL队列，所述所需的URL队列包括目标网站的待检测URL；

调度节点，用于将所述待检测URL按照负载均衡策略分配给多个扫描引擎，以及在收到扫描结果后，整合所述扫描结果，生成风险评估报告；

多个扫描引擎，用于对所述待检测URL执行扫描，获得扫描结果，并将所述扫描结果反馈给所述调度节点。

7.根据权利要求6所述的系统，其特征在于，

所述URL获取模块用于获取用户提供的初始请求URL；对所述初始请求URL进行解析，获取对应页面；对所述页面的内容进行解析，获取所述页面内的URL；利用链接消重策略对获取的URL进行消重处理；以及在消重处理后，如果出现新的URL，则将所述新的URL放入初始URL队列中，再对所述新的URL进行解析，直到对URL的遍历解析过程结束，获取所需的URL队列。

8.根据权利要求7所述的系统，其特征在于，

其中，所述URL获取模块在进行解析的过程中，当满足停止条件时，确定为对URL的遍历解析过程结束；

其中，所述停止条件包括下述条件中的至少一个：

达到限制扫描链接的总个数、达到爬虫追溯的目录层次深度或无新的URL出现。

9.根据权利要求6所述的系统，其特征在于，

所述调度节点用于定时获取所述多个扫描引擎中的每个扫描引擎的资源使用情况以获得每个扫描引擎的负载率，以及根据所述每个扫描引擎的负载率动态地将所述待检测URL分配到所述多个扫描引擎上。

10.根据权利要求6所述的系统，其特征在于，

其中，所述多个扫描引擎中的每个扫描引擎分别对其所分配得到的待检测URL执行扫描。