CN109981653A - 一种web漏洞扫描方法 - Google Patents

Abstract

本发明涉及互联网信息完全技术领域，具体涉及一种web漏洞扫描方法，其解决了现有的web漏洞扫描方法存在的扫描接口不全，效率低下的问题包括以下步骤：获取漏洞扫描任务，漏洞扫描任务包含待扫描网站所包含的目标接口信息；确定每个目标接口信息对应的目标网页；对每个目标网页进行web漏洞扫描。本发明通过采用非主动爬虫即采用捕获用户的扫描请求并发送到后端进行安全检测。能够根据用户的请求使用代理进行接口的配置对网站进行全面的安全检测，不会出现接口遗漏的情况，使漏洞检测更加的严谨可靠。

Description

一种web漏洞扫描方法

技术领域

本发明属于互联网信息安全技术领域，具体涉及一种web漏洞扫描方法。

背景技术

Web应用漏洞扫描技术是保障web应用安全的重要技术之一，其核心思想是站在黑客的角度向web站点发送精心构造的检测请求，根据其响应信息判断目标站点是否存在特定漏洞，web应用漏洞扫描致力于在应用层上保证web应用的安全和防火墙、入侵检测系统等网络层防护措施一起，对一个web应用的运行环境形成全方位的安全防护。伴随着web应用在技术和规模上的快速发展,web应用漏洞扫描技术从最初的人工检测方式，发展到基于管理员的主机检测方式，直到现在的基于网络的检测方式。

Web应用漏洞扫描技术已相对成熟，相关的商业产品也层出不穷，由于当前的web应用呈现分布式集群的特点，目前市面上大多数的传统自动化安全扫描采用的都是爬虫和单机扫描的方式，而由于爬虫技术自身的局限性爬取到的接口会出现遗漏的情况漏洞扫描技术本身是单机应用，不能应对大批量漏洞扫描任务，会出现爬取接口不全，扫描效率低下的问题。

发明内容

为了解决现有技术存在的遗漏扫描接口、扫描效率低下的问题，本发明提供了一种web漏洞扫描方法，其具有接口检测全面、扫描效率更高等特点。

本发明的目的是提供一种更加先进的漏洞扫描方法，对接口进行更加全面高效的扫描。

根据本发明的具体实施方式的一种web漏洞扫描方法，包括：

获取漏洞扫描任务，所述漏洞扫描任务包含待扫描网站所包含的目标接口信息；

确定每个所述目标接口信息对应的目标网页；

对每个所述目标网页进行web漏洞扫描。

进一步地，所述对每个所述目标网页进行web漏洞扫描为：将所述目标网页分配给不同的扫描端进行web漏洞扫描，所述扫描端用于对分配的所述目标网页进行web漏洞扫描。

进一步地，所述不同的扫描端采用分布式集群方式部署。

进一步地，所述获取漏洞扫描任务为：通过预设代理服务器获取漏洞扫描任务。

进一步地，所述获取漏洞扫描任务包括：

捕获用户发起的网络访问请求，所述网络访问请求包含待扫描网页标识信息；

根据所述网络访问请求获取漏洞扫描任务。

进一步地，在所述获取漏洞扫描任务之前，还包括：

根据用户请求配置所述预设代理服务器；

在用户首次发起的所述网络访问请求时，向用户发送授权认证通知，以使所述代理服务器获得用户的授权。

进一步地，所述web漏洞扫描方法还包括：

若未获取到用户的成功授权，则持续向用户发送所述授权认证通知。

进一步地，所述将所述目标网页分配给不同的扫描端进行web漏洞扫描，所述扫描端用于对分配的所述目标网页进行web漏洞扫描之前，所述方法还包括：

将每个所述目标网页的接口信息存入消息队列；

所述将所述目标网页分配给不同的扫描端进行web漏洞扫描，所述扫描端用于对分配的所述目标网页进行web漏洞扫描为：

所述不同的扫描端从所述消息队列获取目标网页接口信息进行web漏洞扫描。

进一步地，所述将每个所述目标网页的接口信息存入消息队列前，还包括：

对所述待扫描目标接口信息的合法性进行检测，并将检测合法的所述待扫描目标接口信息存入所述消息队列。

进一步地，所述web漏洞扫描方法还包括：在扫描完成后通过邮件和/或短信的形式将扫描结果发送给用户。

本发明的有益效果为：通过采用非主动爬虫即采用捕获用户的扫描请求并发送到后端进行安全检测。能够根据用户的请求使用代理进行接口的配置对网站进行全面的安全检测，不会出现接口遗漏的情况，使漏洞检测更加的严谨可靠。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例提供的web漏洞扫描方法的流程图；

图2是根据另一示例性实施例提供的web漏洞扫描方法的流程图；

图3是根据又一示例性实施例提供的web漏洞扫描方法的流程图；

图4是根据再一示例性实施例提供的web漏洞扫描方法的流程图；

图5是根据一示例性实施例提供的web漏洞扫描方法的具体实施结构图；

图6是根据一示例性实施例提供的web漏洞扫描方法的另一具体实施结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

参照图1所示，本发明的实施例提供了一种web漏洞扫描方法，包括以下步骤：

101、获取漏洞扫描任务，漏洞扫描任务包含待扫描网站所包含的目标接口信息；

102、确定每个目标接口信息对应的目标网页；

103、对每个目标网页进行web漏洞扫描。

在本发明的一具体实施例中，测试人员通过建立包括指定待扫描网站的目标接口的扫描任务，以此也就确定了每个目标接口信息所对应的网页，根据接口提供的网址信息就可对相应的网页进行扫描，这样就可避免利用爬虫爬取接口时可能会出现的遗漏接口的情况，保证对每个测试人员要扫描的接口都能进行扫描，使扫描更加的全面可靠。

在本发明实施例提供另一种web漏洞扫描方法包括以下步骤：

201、获取漏洞扫描任务，漏洞扫描任务包含待扫描网站所包含的目标接口信息；

202、确定每个目标接口信息对应的目标网页；

203、将目标网页分配给不同的扫描端进行web漏洞扫描，扫描端用于对分配的目标网页进行web漏洞扫描；不同的扫描端采用分布式集群方式部署。

作为上述实施例的可行的实现方式，通过采用分布式部署多台扫描端，可以实现集群执行的效果，扫描端可采用自有拓展的的插件形式来构成漏洞检测脚本，部署的多个扫描端可以同时对不同的网页进行扫描，可以大大地提高扫描速度。采用分布式部署方案可以部署多个扫描端。扫描端从queue中消费到流量之后进行单url多poc的检测方式。可根据情况增加扫描端，极大的提高扫描效率。

为进一步优化该技术方案，本发明实施例提供又一种web漏洞扫描方法包括以下步骤：

301、在用户首次发起的网络访问请求时，向用户发送授权认证通知，以使代理服务器获得用户的授权；

302、若未获取到用户的成功授权，则持续向用户发送授权认证通知；

303、在获得用户的授权后，捕获用户发起的网络访问请求，网络访问请求包含待扫描网页标识信息，根据网络访问请求通过预设代理服务器获取漏洞扫描任务；

304、确定每个目标接口信息对应的目标网页；

305、对每个目标网页进行web漏洞扫描。

作为一种可行的实现方式，采用openresty框架开发代理服务器，这样不仅可以抓取http开头的网页接口，而且还可以抓取到websocket协议，使代理服务器具有更全面的接口检测范围；在基础代理的功能上加入用户的权限授权，可保证用户的安全和控制使用的人群，防止滥用。

在本发明实施例提供再一种web漏洞扫描方法包括以下步骤：

401、在用户首次发起的网络访问请求时，向用户发送授权认证通知，以使代理服务器获得用户的授权；

402、若未获取到用户的成功授权，则持续向用户发送授权认证通知；

403、在获得用户的授权后，捕获用户发起的网络访问请求，网络访问请求包含待扫描网页标识信息，根据网络访问请求通过预设代理服务器获取漏洞扫描任务，漏洞扫描任务包含待扫描网站所包含的目标接口信息；

404、将每个目标网页的接口信息存入消息队列；

405、不同的扫描端从消息队列获取目标网页接口信息进行web漏洞扫描；

406、描完成后通过邮件和/或短信的形式将扫描结果发送给用户。

作为上述实施例可行的实现方式，消息队列采用kafka系统进行开发，代理服务器将抓取的用户的漏洞扫描任务中的接口信息进行传输保存到消息队列，保存后的数据用于扫描端进行网页安全检测。

在本发明的一些具体实施例中，用户在认证成功建立漏洞扫描任务后，可在代理服务器中配置相应的抓取规则，抓取指定网站的接口，对重要的接口优选进行扫描，例如用户非常多，访问量非常大的购物网站可保证重要用户的接口安全。

在本发明的另一些具体实施例中，将抓取的接口封装后通过API接口发送到消息队列，会对接口的合法性进行检测，通过后才会传入消息队列等待扫描端进行扫描。

需要说明的是，用户在创建一个新的漏洞扫描任务后，需要提前配置好网络代理，这样检测方就可获得相应的接口信息，便于扫描的快速进行。

本发明提供的web漏洞扫描方法，代理服务器通过捕获用户正常的请求，采用非主动爬虫(被动模式)，采用代理捕获用户请求接口并发送到部署在分布式集群的机器上(上面提到的分布式部署)的扫描端进行漏洞扫描。用户在毫无感知的情况下可以对网站进行漏洞扫描，可对网站进行全面的安全检测，并且极大的提高扫描效率。

参照图2所示为本发明提供的web漏洞扫描方法的具体架构图，在一具体的实施例中，客户端获取用户的访问请求以及新建的漏洞扫描任务，并对代理服务器进行相应的网络配置后，代理服务器根据用户建立扫描任务抓取相应的网络接口，并通过API接口传输到消息队列进行存储，多个扫描端分别对消息队列中的网络接口进行漏洞扫描，在扫描完成后将扫描结果通过邮件服务器或相应的短信网关向用户发送包含扫描结果的通知信息，与此同时数据库可对扫描结果进行存储，便于后台检测人员进行查看。

作为上述实施例的实现方式，参照图3所示，用户通过浏览器设置代理之后，访问需要进行安全测试的网站或应用，若是第一次使用的时候需要进行授权的认证，在认证成功后才可以登录平台进行漏洞扫描任务的配置，代理服务器在接收到平台新建任务后会进行相应的任务配置包括：设置抓取正则、确定任务的名称、要发送的邮箱，在配置成功后显示通知信息，并根据设置的正则抓取指定的网页的接口发送到消息队列，消息队列会对接口进行是否属于测试网段、去除静态文件、匹配并去重、是否合法的判断和整理后，将网络接口进行存储，漏洞检测引擎(扫描端)会对消息队列中的接口进行消费(扫描)，扫描完成后以邮件或短信的形式发送给用户。

需要说明的是，通过部署多台扫描端可以实现集群执行效果。这样能大大提高扫描速度，通用类的漏洞(大型CVE、服务弱口令等)检测往往不需要太久的时间，可以直接放入到一个消息队列中。整个扫描引擎是采用POC插件形式，在后续漏洞检测拓展方面比较灵活。等待任务扫描完成之后，扫描端会发送一封邮件和一条短信通知使用用户。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种web漏洞扫描方法，其特征在于，包括：

获取漏洞扫描任务，所述漏洞扫描任务包含待扫描网站所包含的目标接口信息；

确定每个所述目标接口信息对应的目标网页；

对每个所述目标网页进行web漏洞扫描。

2.根据权利要求1所述的方法，其特征在于，所述对每个所述目标网页进行web漏洞扫描为：将所述目标网页分配给不同的扫描端进行web漏洞扫描，所述扫描端用于对分配的所述目标网页进行web漏洞扫描。

3.根据权利要求2所述的方法，其特征在于，所述不同的扫描端采用分布式集群方式部署。

4.根据权利要求2所述的方法，其特征在于，所述获取漏洞扫描任务为：通过预设代理服务器获取漏洞扫描任务。

5.根据权利要求4所述的方法，其特征在于，所述获取漏洞扫描任务包括：

捕获用户发起的网络访问请求，所述网络访问请求包含待扫描网页标识信息；

根据所述网络访问请求获取漏洞扫描任务。

6.根据权利要求5所述的方法，其特征在于，在所述获取漏洞扫描任务之前，还包括：

根据用户请求配置所述预设代理服务器；

在用户首次发起的所述网络访问请求时，向用户发送授权认证通知，以使所述代理服务器获得用户的授权。

7.根据权利要求6所述的方法，其特征在于，还包括：

若未获取到用户的成功授权，则持续向用户发送所述授权认证通知。

8.根据权利要求6所述的方法，其特征在于，所述将所述目标网页分配给不同的扫描端进行web漏洞扫描，所述扫描端用于对分配的所述目标网页进行web漏洞扫描之前，所述方法还包括：

将每个所述目标网页的接口信息存入消息队列；

所述将所述目标网页分配给不同的扫描端进行web漏洞扫描，所述扫描端用于对分配的所述目标网页进行web漏洞扫描为：

所述不同的扫描端从所述消息队列获取目标网页接口信息进行web漏洞扫描。

9.根据权利要求8所述的方法，其特征在于，所述将每个所述目标网页的接口信息存入消息队列前，还包括：

对所述待扫描目标接口信息的合法性进行检测，并将检测合法的所述待扫描目标接口信息存入所述消息队列。

10.根据权利要求1至9任一项所述的方法，其特征在于，还包括：在扫描完成后通过邮件和/或短信的形式将扫描结果发送给用户。