CN111654549A - 一种基于功能测试的自动化安全测试方法 - Google Patents

Abstract

本发明公开了一种基于功能测试的自动化安全测试方法，该方法包括：通过代理服务器捕获用户的网络请求数据；通过安全测试服务器将代理服务器捕获的网络请求进行过滤，只保留用户对目标网站的访问请求；对目标网站的所有请求进行重要性分；对不同重要性等级的请求分配该等级对应的测试项；针对测试项对目标网站的请求进行相应的安全测试；本发明对用户的网络访问进行代理，在此基础上对用户的访问请求数据进行捕获，然后对捕获到的用户请求进行安全分析，在安全分析的过程中通过心跳机制保证会话的连续性；本发明通过自动化的构建网站地图，扩大安全测试的覆盖范围，帮助安全测试人员更好地掌控被测项目的安全情况。

Description

一种基于功能测试的自动化安全测试方法

技术领域

本发明提供了一种基于功能测试的自动化安全测试方法，涉及网络流量抓取、流量清洗、对过滤后的流量进行安全测试的核心技术及算法。

背景技术

随着移动互联网的快速发展，推动了网站的爆发式增长，同时因网站漏洞引起的安全问题也日益增长。由于传统的手工安全测试往往需要投入大量的人力资源，而且通常不能覆盖所有的测试点，而自动化安全测试可以很好地解决上述的两个问题，因此很多自动化安全测试工具如zap、burpsuite等等应运而生。这些自动化测试工具实现的思路是：通过爬虫工具自动化爬取目标网站的网站地图，记录网站中存在的请求/响应内容，然后在此基础上通过模拟攻击或者安全分析的方法发现网站可能存在的安全漏洞。上述过程存在的一个显著问题是，通过爬虫工具爬取到的网站地图是不完整的，比如很多的网站需要登录，有权限控制，在这种情况下使用爬虫工具爬取到的网站地图是很有限的，这会导致自动化安全测试的结果也不够全面。基于此，本发明提供了一种获取网站地图的全新思路，那就是在功能测试人员进行手工测试的时候对网络流量进行捕获，基于此来构建网站地图，由于功能测试人员在进行测试的时候，会保证覆盖每个功能点，因此基于手工测试进行网站地图的构建会确保网站地图构建的完整性。在完整的网站地图构建完成的基础上，对网站地图进行过滤，保留能反映网站安全漏洞的关键请求信息。为了实现安全测试速度与准确性的平衡，本发明在对网站地图进行安全分析的时候，按照网站地图中请求的重要程度来相应地分配测试资源，有的放矢地开展自动化安全测试。

发明内容

本发明的目的在于针对现有的基于网站地图的自动化安全测试不能覆盖足够的测试面的不足，提供一种基于功能测试的自动化安全测试方法，提高自动化安全测试的覆盖面。

本发明的目的是通过以下技术方案来实现的：一种基于功能测试的自动化安全测试方法，该方法包括以下步骤：

(1)请求捕获：通过代理服务器捕获用户的网络请求数据；

(2)请求过滤：通过安全测试服务器将代理服务器捕获的网络请求进行过滤，只保留用户对目标网站的访问请求；

(3)重要性计算：对目标网站的所有请求进行重要性分级；

(4)对不同重要性等级的请求分配该等级对应的测试项；

(5)针对测试项对目标网站的请求进行相应的安全测试，并通过心跳机制来保持测试过程中会话的连续性；汇总所有请求的测试结果，完成对目标网站的自动化安全测试。

进一步地，使用多节点动态部署的方法部署代理服务器，并给用户浏览器设置服务器代理，浏览器发出的请求均经代理服务器进行转发；在代理服务器上监听发送/接收的请求信息，就可以捕获到用户实际发送/接收的请求。

进一步地，多节点动态部署代理服务器的方法具体为：中央调度器接收到申请代理服务器的请求后，在所有节点中选择空闲服务器数量最多的节点作为工作节点；在该工作节点上，用total表示节点中部署的服务器总数，available表示节点中空闲的代理服务器数量，min表示节点中空闲服务器的最小数量阈值，需要使用代理服务器时，从空闲服务器中选择一个使用，服务器的状态由空闲变为占用，available值减1，如果available小于min，新开启一个服务器，total加1，available加1，当用户结束代理，回收该用户占用的代理服务器资源，available加1。

进一步地，所述步骤(2)中，使用正则表达式过滤掉多余的请求，具体的过滤原则为：过滤非目标网站的域名或IP地址，去除静态资源。

进一步地，设置不同重要性等级对应的测试项，并保存在安全测试服务器的数据库中，以供执行测试时调用。

进一步地，所述步骤(3)中重要性计算具体为：计算各个因素的因素值，然后乘以各自的权重并进行累加，最终计算出请求的重要性importance；所述因素包括频率frequency、方法method、请求体类型qtype、请求头敏感信息qheader、响应体类型rtype和响应头敏感信息rheader。

进一步地，重要性importance计算方式如下：

importance＝frequency*0.3+method*0.1+qtype*0.15+qheader*0.15+rtype*0.15+rheader*0.15

其中，frequency＝该请求出现的次数/总请求次数；method包括delete、put、post、get，因素值依次递减；qtype包括json、key-value对、multipart、xml，因素值分别取1、0.9、0.9、0.8，其他请求体类型取0.7；qheader中包含敏感信息字段的个数为2时因素值取1，为1时因素值取0.5；rtype包括json、html、xml，因素值分别取1、0.9、0.8，其他响应体类型取0.7；rheader中包含敏感信息字段的个数为3时因素值取1，为2时因素值取0.75，为1时因素值取0.5。

进一步地，所述步骤(4)中，重要性等级分为三级，分别为high、middle、low，三个等级的切分节点使得三种类型的测试项占比尽可能接近1:1:1；对于high等级开展专项测试，包括如下测试项：存储式跨站脚本测试、SQL注入测试、命令注入测试、代码注入测试、LDAP注入测试、HTTP参数污染测试、传输安全测试、恶意文件上传测试、跨站请求伪造测试、绕过授权测试、目录遍历测试、默认凭据测试、基础测试；对于middle等级开展通用测试，包括如下测试项：传输安全测试、恶意文件上传测试、跨站请求伪造测试、绕过授权测试、目录遍历测试、默认凭据测试、基础测试；对于low等级仅开展基础测试。

进一步地，所述步骤(5)中，通过心跳机制每隔1分钟向目标网站发送带COOKIE的PING请求来保持请求活性。

进一步地，所述步骤(3)中重要性计算具体为：将过滤后保留下来的目标网站的请求形成网站地图，统计网站地图中不同的url对应的请求次数，按照不同url对应的请求次数在网站地图中总请求数的占比，对目标网站的所有url进行重要性分级，具体为：建立一个空的字典Dict，设置网站地图中总请求数sum为0，遍历捕获到的请求，每遍历一次sum加1，获取请求头中的url字段信息，命名为cur_url，在字典中查询是否存在着key为cur_url的键值对，如果存在，cur_url对应的value加1；如果不存在，cur_url对应的value设为1；遍历完成后，就可以得到包含相同url访问次数的字典Dict；对于每一个请求，获得请求头中的url字段信息，然后在字典Dict中查询该url对应的value值，即访问该url的请求次数，计算该url对应的请求次数在网站地图中总请求数sum的占比，再根据占比确定该url对应的重要性等级。

本发明的有益效果如下：本发明提出的基于功能测试的自动化安全测试方法，对用户的网络访问进行代理，在此基础上对用户的访问请求数据进行捕获，然后对捕获到的用户请求进行安全分析，在安全分析的过程中通过心跳机制保证会话的连续性；本发明通过自动化的构建网站地图，扩大安全测试的覆盖范围，帮助安全测试人员更好地掌控被测项目的安全情况。

附图说明

图1是捕获用户请求的过程示意图；

图2是多节点动态部署的多节点分布示意图；

图3是在工作节点上进行服务器动态部署的过程示意图；

图4是根据请求的重要性开展不同的测试任务的过程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

本发明提出的一种基于功能测试的自动化安全测试方法，对用户的网络访问进行代理，在此基础上对用户的访问请求数据进行捕获，然后对捕获到的用户请求进行安全分析，在安全分析的过程中通过心跳机制保证会话的连续性。具体包括以下步骤：

(1)请求捕获：如图1，采用网络代理的方式来捕获用户的网络请求数据，然后把捕获到的网络请求进行过滤，只保留目标网站的请求。具体如下：

(1.1)网络代理：通过给用户浏览器设置服务器代理，浏览器发出的请求都经代理服务器进行转发，因此如果某个代理服务器需要对多个用户浏览器进行代理的时候，代理服务器上的网络负载是非常高的，有可能会造成较大的网络延迟，影响用户的使用体验，因此为了保证用户流畅的网络访问体验，同时尽可能减少所需要的服务器资源，我们需要对服务器资源进行合理的分配，也就是通过多节点动态部署的方法来分配服务器资源，其中，多节点动态部署代理服务器的方法具体为：

多节点如图2所示，整个系统由多个节点构成，节点的数量可以根据实际需求自行选择，节点的调度由中央调度器来完成，中央调度器完成的工作是，接收到申请代理服务器的请求后，在所有节点中选择空闲服务器数量最多的节点作为工作节点，然后在该工作节点上进行进一步的处理。

选定工作节点后，在该节点上进行服务器的动态部署，如图3所示，其中所述的动态部署策略为：

用total表示节点中部署的服务器总数，available表示节点中空闲的代理服务器数量，min表示每个节点中空闲服务器的最小数量阈值。total的初始值根据根据系统使用的人数多少来确定，available的初始值与total的初始值相同。在此例中total和available的初始值设为5，min设为3。

需要使用代理服务器时，从空闲服务器中选择一个使用，服务器的状态由空闲变为占用，available值减1，如果available小于min，新开启一个服务器，total加1，available加1。

当用户结束代理，回收该用户占用的代理服务器资源，available加1。

通过上述步骤，可以确定给某个用户分配的代理服务器信息，将服务器信息返回给用户之后，用户可以据此为自己的浏览器设置代理，然后用户所有的网络请求都会通过代理服务器进行转发。

(1.2)请求捕获：在代理服务器上监听发送/接收的请求信息，就可以捕获到用户实际发送/接收的请求。

(1.3)请求过滤：将上述在代理服务器上捕获的请求发送到安全测试服务器上，在安全测试服务器上对捕获到的用户请求进行进一步的处理。代理服务器和安全测试服务器相互配合。由于通过代理访问的形式，会捕获到用户浏览器发送/接收的所有请求行为，因此我们在上一步骤中捕获的请求不止有访问目标网站的请求，还有访问其他网站的请求，所以我们要对捕获到的请求进行过滤，只保留用户对目标网站的访问请求。在这里使用正则表达式过滤掉多余的请求，具体的过滤原则为：过滤非目标网站的域名或IP地址，去除静态资源如图片、层叠样式表、js脚本等。

(2)确定请求测试项：对请求进行重要程度评估，并依据重要程度确定针对该请求的测试项。具体如下：

(2.1)重要性计算：计算下表第一列中列出的各个因素值，然后乘以各自的权重并进行累加，最终计算出请求的重要性importance。其中，对应的权重值是对请求进行综合分析考量得到的结果。

因素	权重
		频率frequency	0.3
方法method	0.1
		请求体类型qtype	0.15
请求头敏感信息qheader	0.15
		响应体类型rtype	0.15
响应头敏感信息rheader(server)	0.15

也就是说：

importance＝frequency*0.3+method*0.1+qtype*0.15+qheader*0.15+rtype*0.15+rheader*0.15。

具体地，各个因素值的计算方法分别为：

frequency：

frequency＝该请求出现的次数/总请求次数。

method：

这里我们考虑四种常见的请求方法，get、post、put、delete。通常来说，delete请求涉及到对资源的删除，put请求涉及到对资源的新增或修改，post涉及到对大量数据的处理，get涉及到对少量数据的处理，因此这四种请求对应的影响程度是依次递减的，因此这四种方法对应的因素值是逐渐减小的，具体见下表：

方法	因素值
		delete	1
put	0.9
		post	0.8
get	0.7
		其他	0.6

qtype：

请求体类型是指请求参数的编码方式，常见的编码方式有json、key-value对、multipart、xml，具体对应的因素值如下表所示：

请求体类型	因素值
		json	1
key-value对	0.9
		multipart	0.9
xml	0.8
		其他	0.7

qheader：

请求头中包含的敏感信息是指cookie、authorize字段，因为这两个字段涉及到用户的身份，如果请求头中包含这两个字段，说明该请求比较重要。具体对应的因素值如下表所示：

包含敏感信息字段的个数	因素值
		2	1
1	0.5
		0	0

rtype：

响应体类型是指响应数据的编码方式，常见的编码方式有json、html、xml，具体对应的因素值如下表所示：

rheader：

响应头敏感信息是指server、x-powered-by、access-control-allow-origin字段，因为这些字段会泄露服务器的相关信息。具体对应的因素值如下表所示：

包含敏感信息字段的个数	因素值
		3	1
2	0.75
		1	0.5
0	0

(2.2)确定测试项：在上一步骤计算出请求的重要性之后，根据下面重要性范围-测试项的对应表，确定对该请求应该开展哪些测试项，需要说明的是，节点0.6和0.3的选择是由于本发明希望三种类型的测试项占据的比例尽量为1:1:1，因此通过500个测试请求样本的分析，我们发现重要性的0.3和0.6两个节点可以将所有的测试请求分为3部分数量基本相等的请求，因此选择了这两个节点。实际操作中可以按照实际的需求灵活选择节点值。

(3)安全分析：如图4，根据上一步骤中确定的每个请求的测试项，通过心跳机制来保持请求活性，开始对请求进行安全分析。具体如下：

(3.1)心跳机制：会话在长时间没有操作的情况会被网站后台强制清除，通过心跳机制每隔1分钟发送带COOKIE的PING请求来保持请求活性。

(3.2)安全分析：按照上一步骤确定的测试项，对请求进行安全性分析，最终汇总所有请求的分析结果，得到对目标网站的安全测试结果。

此外，本实施例还给出一种仅根据frequency对请求进行重要程度评估的实现方式，但不限于此：

将过滤后保留下来的目标网站的请求形成网站地图；统计网站地图中不同的url对应的请求次数，按照不同url对应的请求次数在网站地图中总请求数的占比，对目标网站的所有url进行重要性分级；

统计网站地图中不同的url对应的请求次数的方法为：建立一个空的字典Dict，设置网站地图中总请求数sum为0，遍历捕获到的请求，每遍历一次sum加1，获取请求头中的url字段信息，命名为cur_url，在字典中查询是否存在着key为cur_url的键值对，如果存在，cur_url对应的value加1；如果不存在，cur_url对应的value设为1；遍历完成后，就可以得到包含相同url访问次数的字典Dict；

对于每一个请求，获得请求头中的url字段信息，然后在字典Dict中查询该url对应的value值，即访问该url的请求次数，计算该url对应的请求次数在网站地图中总请求数sum的占比，再根据占比确定该url对应的重要性等级；

相应地，frequency越高则重要性越高，按frequency值将重要性分为high(例如50<＝frequency)、middle(例如20<＝frequency<50)、low(例如frequency<20)，分别对应重要性范围-测试项对应表中的importance＞0.6、0.3＜importance＜0.6、importance＜0.3的测试项。

以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种基于功能测试的自动化安全测试方法，其特征在于，该方法包括以下步骤：

(1)请求捕获：通过代理服务器捕获用户的网络请求数据；

(2)请求过滤：通过安全测试服务器将代理服务器捕获的网络请求进行过滤，只保留用户对目标网站的访问请求；

(3)重要性计算：对目标网站的所有请求进行重要性分级；

(4)对不同重要性等级的请求分配该等级对应的测试项；

(5)针对测试项对目标网站的请求进行相应的安全测试，并通过心跳机制来保持测试过程中会话的连续性；汇总所有请求的测试结果，完成对目标网站的自动化安全测试。

2.根据权利要求1所述的一种基于功能测试的自动化安全测试方法，其特征在于，使用多节点动态部署的方法部署代理服务器，并给用户浏览器设置服务器代理，浏览器发出的请求均经代理服务器进行转发；在代理服务器上监听发送/接收的请求信息，就可以捕获到用户实际发送/接收的请求。

3.根据权利要求2所述的一种基于功能测试的自动化安全测试方法，其特征在于，多节点动态部署代理服务器的方法具体为：中央调度器接收到申请代理服务器的请求后，在所有节点中选择空闲服务器数量最多的节点作为工作节点；在该工作节点上，用total表示节点中部署的服务器总数，available表示节点中空闲的代理服务器数量，min表示节点中空闲服务器的最小数量阈值，需要使用代理服务器时，从空闲服务器中选择一个使用，服务器的状态由空闲变为占用，available值减1，如果available小于min，新开启一个服务器，total加1，available加1，当用户结束代理，回收该用户占用的代理服务器资源，available加1。

4.根据权利要求1所述的一种基于功能测试的自动化安全测试方法，其特征在于，所述步骤(2)中，使用正则表达式过滤掉多余的请求，具体的过滤原则为：过滤非目标网站的域名或IP地址，去除静态资源。

5.根据权利要求1所述的一种基于功能测试的自动化安全测试方法，其特征在于，设置不同重要性等级对应的测试项，并保存在安全测试服务器的数据库中，以供执行测试时调用。

6.根据权利要求1所述的一种基于功能测试的自动化安全测试方法，其特征在于，所述步骤(3)中重要性计算具体为：计算各个因素的因素值，然后乘以各自的权重并进行累加，最终计算出请求的重要性importance；所述因素包括频率frequency、方法method、请求体类型qtype、请求头敏感信息qheader、响应体类型rtype和响应头敏感信息rheader。

7.根据权利要求6所述的一种基于功能测试的自动化安全测试方法，其特征在于，重要性importance计算方式如下：

importance＝frequency*0.3+method*0.1+qtype*0.15+qheader*0.15+rtype*0.15+rheader*0.15

其中，frequency＝该请求出现的次数/总请求次数；method包括delete、put、post、get，因素值依次递减；qtype包括json、key-value对、multipart、xml，因素值分别取1、0.9、0.9、0.8，其他请求体类型取0.7；qheader中包含敏感信息字段的个数为2时因素值取1，为1时因素值取0.5；rtype包括json、html、xml，因素值分别取1、0.9、0.8，其他响应体类型取0.7；rheader中包含敏感信息字段的个数为3时因素值取1，为2时因素值取0.75，为1时因素值取0.5。

8.根据权利要求1所述的一种基于功能测试的自动化安全测试方法，其特征在于，所述步骤(4)中，重要性等级分为三级，分别为high、middle、low，三个等级的切分节点使得三种类型的测试项占比尽可能接近1:1:1；对于high等级开展专项测试，包括如下测试项：存储式跨站脚本测试、SQL注入测试、命令注入测试、代码注入测试、LDAP注入测试、HTTP参数污染测试、传输安全测试、恶意文件上传测试、跨站请求伪造测试、绕过授权测试、目录遍历测试、默认凭据测试、基础测试；对于middle等级开展通用测试，包括如下测试项：传输安全测试、恶意文件上传测试、跨站请求伪造测试、绕过授权测试、目录遍历测试、默认凭据测试、基础测试；对于low等级仅开展基础测试。

9.据权利要求1所述的一种基于功能测试的自动化安全测试方法，其特征在于，所述步骤(5)中，通过心跳机制每隔1分钟向目标网站发送带COOKIE的PING请求来保持请求活性。

10.根据权利要求1所述的一种基于功能测试的自动化安全测试方法，其特征在于，所述步骤(3)中重要性计算具体为：将过滤后保留下来的目标网站的请求形成网站地图，统计网站地图中不同的url对应的请求次数，按照不同url对应的请求次数在网站地图中总请求数的占比，对目标网站的所有url进行重要性分级，具体为：建立一个空的字典Dict，设置网站地图中总请求数sum为0，遍历捕获到的请求，每遍历一次sum加1，获取请求头中的url字段信息，命名为cur_url，在字典中查询是否存在着key为cur_url的键值对，如果存在，cur_url对应的value加1；如果不存在，cur_url对应的value设为1；遍历完成后，就可以得到包含相同url访问次数的字典Dict；对于每一个请求，获得请求头中的url字段信息，然后在字典Dict中查询该url对应的value值，即访问该url的请求次数，计算该url对应的请求次数在网站地图中总请求数sum的占比，再根据占比确定该url对应的重要性等级。

Images