CN107483464B

CN107483464B - 一种基于服务间交互来提高Web漏洞扫描器URL检出率的方法

Info

Publication number: CN107483464B
Application number: CN201710763076.3A
Authority: CN
Inventors: 郑堃
Original assignee: Beijing Know Future Information Technology Co ltd
Current assignee: Beijing Know Future Information Technology Co ltd
Priority date: 2017-08-21
Filing date: 2017-08-30
Publication date: 2020-10-16
Anticipated expiration: 2037-08-30
Also published as: CN107483464A

Abstract

本发明提供一种基于服务间交互提高Web漏洞扫描器URL检出率的方法，其步骤包括：1)确定扫描的目标是否可用；2)若所述目标可用，则爬虫服务爬取所述目标中的URL；3)Web应用识别服务根据所述URL对所述目标进行Web应用识别，并根据识别的不同Web应用进一步发现URL；4)Web漏洞检测服务根据步骤2)中所述URL和步骤3)中所述Web应用识别结果对所述目标进行Web漏洞检测，并根据检测的Web漏洞进一步发现URL；5)URL缓存服务接收步骤3)和步骤4)得到的URL，并将该URL输入所述爬虫服务，继续爬取URL。

Description

一种基于服务间交互来提高Web漏洞扫描器URL检出率的方法

技术领域

本发明涉及计算机漏洞检测领域，尤其涉及一种基于服务间交互提高Web漏洞扫描器 URL检出率的方法。

背景技术

Web漏洞扫描器是指专门用于扫描Web漏洞的漏洞扫描器，其扫描的目标一般是Web 网站或Web系统。

Web漏洞扫描器性能的好坏与在Web漏洞扫描器场景中的URL检出率的高低有关。换言之，Web漏洞扫描器要解决的一个重要问题是如何在更多的未被发现的URL中检测出更多的潜在的Web漏洞，如何提高URL检出率。

现有的Web漏洞扫描器一般的工作流程是偏线性的，如图1所示，其工作流程为：

1、确定扫描的目标可用。

2、爬虫进行URL爬取。

3、根据URL爬取结果对目标进行Web应用识别。

4、根据URL爬取结果和Web应用识别结果对目标进行Web漏洞检测。

5、最后输出Web漏洞检测报告。

其中，2、3、4这3个步骤对于如何发现更多的Web漏洞至关重要。但现有的Web漏洞扫描器在这3个阶段的每个阶段发现的有价值的信息不会再回馈给其它阶段。

如果Web漏洞扫描器按上述线性步骤执行，即使发现更重要信息，也不会回退执行以发现更多可能的信息。比如：在扫描到一个Web漏洞后，通过利用该Web漏洞即使能发现更多的URL。在这种场景下，现有技术就无法进一步针对这些URL进行Web漏洞检测。

除此之外，Web漏洞扫描器对同一个目标进行扫描，会有重复的步骤执行，耗费更多的检测时间。比如：扫描的目标URL变化频率不高，多次进行爬虫URL爬取的结果都一样。在这种场景下，现有技术还是会继续按线性进行扫描，因此有些步骤耗费的时间就显得没有必要，尤其是扫描的目标URL数量非常巨大的情况下。

综上所述，提供一种能够发现更多的Web漏洞且能够提高检测效率的Web漏洞扫描器 URL检出率的方法是急需解决的问题。

发明内容

本发明的目的是提供一种基于服务间交互提高Web漏洞扫描器URL检出率的方法，该方法不仅能够发现更多的Web漏洞，而且还能够提高检测效率。

为达上述目的，本发明所采用的技术方案为：

一种基于服务间交互提高Web漏洞扫描器URL检出率的方法，其步骤包括：

1)确定扫描的目标是否可用；

2)若所述目标可用，则爬虫服务爬取所述目标中的URL；

3)Web应用识别服务根据所述URL对所述目标进行Web应用识别，并根据识别的不同 Web应用进一步发现URL；

4)Web漏洞检测服务根据步骤2)中所述URL和步骤3)中所述Web应用识别结果对所述目标进行Web漏洞检测，并根据检测的Web漏洞进一步发现URL；

5)URL缓存服务接收步骤3)和步骤4)得到的URL，并将该URL输入所述爬虫服务，继续爬取URL。

进一步地，所述确定扫描的目标是否可用是指，判定Web网站或Web系统是否存在或存活。

进一步地，步骤2)中所述URL还作为URL缓存服务缓存的URL的原始依据。

进一步地，所述爬虫服务还用于解析URL页面，并分析该URL页面的URL以更新URL基本信息，并将所述更新的URL基本信息在URL缓存服务做标记。

进一步地，所述根据识别的不同Web应用进一步发现URL是指，将识别的Web应用与Web应用指纹库进行匹配，得到可能的Web应用，并根据可能的Web应用进一步发现URL；所述可能的Web应用例如是识别WordPress的该Blog类型的Web应用，其存在包含“wp-includes”的URL。

进一步地，根据所述可能的Web应用更新Web应用信息，并将所述更新的Web应用信息在URL缓存服务做标记。

进一步地，所述根据检测的Web漏洞进一步发现URL是指，将检测的Web漏洞与Web漏洞库中的Web漏洞检测规则进行匹配，得到潜在的Web漏洞，并根据潜在的Web漏洞进一步发现URL。

进一步地，根据所述潜在的Web漏洞更新Web漏洞信息，并将所述更新的Web漏洞信息在URL缓存服务做标记。

进一步地，所述URL缓存服务通过记录时间戳、URL基本信息、Web应用信息、Web 漏洞信息，同爬虫服务、Web应用识别服务、Web漏洞检测服务进行交互协作；

所述时间戳为通过改动URL上一次更新的时间，以便更新缓存，确保数据可信；

所述URL基本信息包括URL、响应头部信息、响应体信息等基本信息；

所述Web应用信息包括Web应用的名称、版本、类别等基本信息；

所述Web漏洞信息包括Web漏洞所在的URL和位置，以及Web漏洞的类别、风险值、详情、解决方案等基本信息。

进一步地，所述URL缓存服务对接收的URL进行标记，在输入所述爬虫服务前对URL做去重处理，去除已经爬取过的URL，该标记包括但不限于URL来源、是否被三个核心服务处理过、缓存有效时间；其中所述三个核心服务是指爬虫服务、Web应用识别服务和Web 漏洞检测服务。

进一步地，根据步骤4)检测的Web漏洞输出Web漏洞检测报告，该报告内容包括扫描的目标信息、检测评估的风险值、扫描耗费的时间、发现的漏洞数量、Web应用详情及Web漏洞详情。

相对于现有技术，本发明的有益效果为：

1、本发明能够发现更多的Web漏洞。综合利用Web应用识别服务和Web漏洞检测服务来发现更多的URL，以提高Web漏洞扫描器URL检出率，从而能够发现更多的Web漏洞。

2、本发明能够提高检测效率。基于URL缓存服务，在特定需要下可以抛开Web漏洞扫描器的线性工作流程，跳过大量爬虫爬取相同目标的URL的过程，直接基于现有缓存的URL 基本信息，直接进行特定的Web漏洞检测(例如除了Struts2漏洞，识别Cookie中会带有“org.apache.struts”特征)，从而节省检测时间，提高检测效率。同时还可以基于Web应用识别服务，在特定需要下(例如在当天出了个严重的Web漏洞公告，更新漏洞库后，直接利用缓存数据，初步确定这个Web漏洞的影响范围)可以抛开Web漏洞扫描器的线性工作流程，跳过大量针对相同URL的Web应用识别过程，直接基于现有缓存的Web应用信息，直接进行特定的Web漏洞检测，从而节省检测时间，提高检测效率。

3、本发明通过爬虫服务、Web应用识别服务、Web漏洞检测服务、URL缓存服务等四个服务的交互协作，以发现更多爬虫服务不能发现的URL，从而提高Web漏洞扫描器URL 检出率，进一步提高Web漏洞扫描器的检测效率。

附图说明

图1为现有的Web漏洞扫描器工作流程图。

图2为本发明提供的Web漏洞扫描器工作流程图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

本发明对现有的线性工作流程进一步完善，以发现更多的Web漏洞，提高检测效率，其核心构思为：爬虫服务、Web应用识别服务、Web漏洞检测服务、URL缓存服务之间的交互与协作。

所述爬虫服务能够随时发现尽可能多的URL。本发明中，所述爬虫服务爬取的URL需要提供给URL缓存服务以作为缓存的URL的原始依据。

所述Web应用识别服务能够随时发现尽可能多的Web应用。本发明中，所述Web应用识别服务额外的任务是根据不同的Web应用发现特定Web应用中的URL，并通过URL缓存服务来提供给爬虫服务作为额外输入。所述Web应用泛指在Web服务中涉及的插件、应用、框架、语言等软件。所述Web服务包含的内容有第三方内容(如广告统计)、Web前端框架 (如jQuery)、Web应用(如BBS)、Web服务端语言(如PHP)、Web容器(如Nginx)、数据库存储(如MySQL)、操作系统(如Linux)。诸如此类，在Web服务中会提供的各种软件或服务。

所述Web漏洞检测服务能够随时发现尽可能多的Web漏洞。本发明中，所述Web漏洞检测服务额外的任务是利用Web漏洞来发现平时正常爬虫发现不了的URL，并通过URL缓存服务来提供给爬虫服务作为额外输入。

所述URL缓存服务是本发明中的关键服务，其通过记录时间戳、URL基本信息、Web应用信息、Web漏洞信息等各种标记信息，同上述三个服务进行交互一起协作，以发现尽可能多的URL。

所述四个服务一起协作和完成互相间的信息交互，以达到发现更多URL的目的，从而提高Web漏洞扫描器URL检出率这个指标，在此基础上发现更多的在这些URL上的Web漏洞。

本发明提供一种基于服务间交互来提高Web漏洞扫描器URL检出率的方法，请参考图2，其步骤包括：

1)确定扫描的目标是否可用。即判断目标(Web网站或Web系统)是否存在或存活。

2)若可用，则采用本发明提供的服务间交互来发现更多的URL，以进行Web应用识别及Web漏洞检测。

爬虫服务、Web应用识别服务、Web漏洞检测服务都可以发现更多可用的URL，并且都将发现的URL提供给URL缓存服务，以通过URL缓存服务实现所述三个核心服务间的交互，即通过URL缓存服务实现爬虫服务、Web应用识别服务、Web漏洞检测服务之间的交互。

所述爬虫服务用于爬取Web网站或Web系统的URL，解析URL页面，并分析出URL 后，更新URL基本信息，并在URL缓存服务做标记。所述爬虫服务实质上是一种用于自动浏览Web的网络机器人程序。

所述Web应用识别服务用于识别Web应用，跟Web应用指纹库进行匹配，获得可能的Web应用，给Web漏洞检测服务提供依据。也可以进一步发现可能的URL，并在URL缓存服务做标记。Web应用识别服务实质上是一种用于自动检测、标识Web应用的计算机后台程序。

所述Web漏洞检测服务用于检测Web漏洞，跟Web漏洞库和Web漏洞检测规则进行匹配，获得潜在的Web漏洞。也可以进一步发现可能的URL，并在URL缓存服务做标记。所述Web漏洞检测服务实质上是一种用于自动发现Web漏洞的计算机后台程序。

所述URL缓存服务用于维护URL缓存，以及记录时间戳、URL基本信息、Web应用信息、Web漏洞信息等各种标记信息。其中需要明确的URL缓存的标记包括URL来源、是否被三个核心服务处理过、缓存有效时间等。所述URL缓存服务实质上是一种用于缓存Web 网站或Web系统URL地址的计算机后台程序。

3)报告输出。最后检测进行到一定阶段，即检测URL数量到达一定数量，得到Web漏洞信息、Web应用信息、URL基本信息等对报告有价值的信息。由于基于服务，所以其中的最新结果检测报告会随着URL缓存的完善和服务的完善不断更新完善，以输出更完善的报告。

下面举一具体实施例来解释说明本发明。

本实施例扫描的目标是：http://www.example.com。后续描述以这个网站作为说明，网站中的URL或Web应用或漏洞实际不存在。

爬虫服务中的目标存活模块会检测该网站目前网络是否可达，如果不可达，就结束本次检测。现在检测发现目标可达，爬虫服务继续工作，在目标的入口页面，即： http://www.example.com，发现了100个URL。

URL为：

http://www.example.com/wp-admin

http://www.example.com/page/1

http://www.example.com/page/20

http://www.example.com/post/1

http://www.example.com/post/99

这些URL清单提供给URL缓存服务，缓存服务会通过标记“被爬取”来维持URL唯一，避免爬虫服务重复爬取相同的URL，同时爬虫服务继续发现更多的新的URL。

Web应用识别服务从URL缓存服务获取没有标记“被Web应用识别”的URL清单，根据URL特征，发现包含wp-admin的是WordPress这个Blog类型的Web应用，知道是WordPress 这个Web应用后可以知道可能还存在http://www.example.com/wp-config等URL，但爬虫服务一般发现不了，然后把这些URL清单提供给URL缓存服务，爬虫服务可以持续得URL缓存服务获取更多的URL。

Web漏洞检测服务从URL缓存服务获取没有标记“被Web漏洞检测”和有标记“被Web应用识别”的URL清单，进行漏洞检测，发现http://www.example.com/includes/upload存在 Web漏洞，通过这个Web漏洞发现装的是Nginx这个Web容器，把这个信息提供给URL缓存服务，供Web应用识别服务和爬虫服务使用。

URL缓存服务在这里作为数据交换的中心，不但记录了各种标记：“被爬取”、“被Web 应用识别”、“被Web漏洞检测”，而且记录了URL的基本信息，如：URL、响应头部信息、响应体信息、Web应用信息、Web漏洞信息等。

整个检测会有结束条件，这里的结束条件是检测完1000个URL就结束，最后这些服务就把报表需要的数据最终存放到数据库或文件，最后报表呈现在Web界面或导出的报告文件，一般报告会包括：扫描目标http://www.example.com、检测评估的风险值、扫描耗费时间、发现了多少个漏洞等摘要信息、Web应用详情、Web漏洞详情等信息

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims

1.一种基于服务间交互提高Web漏洞扫描器URL检出率的方法，其步骤包括：

1)确定扫描的目标是否可用；

2)若所述目标可用，则爬虫服务爬取所述目标中的URL；

3)Web应用识别服务根据所述URL对所述目标进行Web应用识别，并根据识别的不同Web应用进一步发现URL；

5)URL缓存服务接收步骤3)和步骤4)得到的URL，并将该URL输入所述爬虫服务，继续爬取URL；所述URL缓存服务对接收的URL进行标记，在输入所述爬虫服务前对URL做去重处理，去除已经爬取过的URL，该标记包括URL来源、缓存有效时间以及是否被爬虫服务、Web应用识别服务和Web漏洞检测服务处理过。

2.根据权利要求1所述的方法，其特征在于，步骤2)中所述URL还作为URL缓存服务缓存的URL的原始依据。

3.根据权利要求1所述的方法，其特征在于，所述爬虫服务还用于解析URL页面，并分析该URL页面的URL以更新URL基本信息，并将所述更新的URL基本信息在URL缓存服务做标记。

4.根据权利要求1所述的方法，其特征在于，所述根据识别的不同Web应用进一步发现URL是指，将识别的Web应用与Web应用指纹库进行匹配，得到可能的Web应用，并根据可能的Web应用进一步发现URL。

5.根据权利要求4所述的方法，其特征在于，根据所述可能的Web应用更新Web应用信息，并将所述更新的Web应用信息在URL缓存服务做标记。

6.根据权利要求1所述的方法，其特征在于，所述根据检测的Web漏洞进一步发现URL是指，将检测的Web漏洞与Web漏洞库中的Web漏洞检测规则进行匹配，得到潜在的Web漏洞，并根据潜在的Web漏洞进一步发现URL。

7.根据权利要求6所述的方法，其特征在于，根据所述潜在的Web漏洞更新Web漏洞信息，并将所述更新的Web漏洞信息在URL缓存服务做标记。

8.根据权利要求1所述的方法，其特征在于，所述URL缓存服务通过记录时间戳、URL基本信息、Web应用信息、Web漏洞信息，同爬虫服务、Web应用识别服务、Web漏洞检测服务进行交互协作。

9.根据权利要求1所述的方法，其特征在于，根据步骤4)检测的Web漏洞输出Web漏洞检测报告，该报告内容包括扫描的目标信息、检测评估的风险值、扫描耗费的时间、发现的漏洞数量、Web应用详情及Web漏洞详情。