CN108470003A - 模糊测试方法、装置和系统 - Google Patents

Abstract

本发明公开了一种模糊测试方法，包括：将测试用例发送给待测目标；获取与所述待测目标对所述测试用例的响应相关的响应信息；获取包括所述测试用例与所述响应信息的关系的关系数据；基于所述关系数据，通过修改所述测试用例得到新的测试用例。本发明的优点在于，通过分析测试用例对待测目标造成的影响，得到反映该影响的关系数据，基于关系数据来生成新的测试用例，提高了测试用例和质量和模糊测试的效率。

Description

模糊测试方法、装置和系统

技术领域

本发明涉及软件安全测试领域，具体涉及一种用于模糊测试方法和装置，以及对应的计算机可读存储介质和计算机系统。

背景技术

软件测试（Software Testing）是指，在规定的条件下对程序进行操作以发现程序错误，并对其是否能满足设计要求进行评估的过程。每一个新的软件总可能有完全不符合所有已知模式的新型安全性缺陷出现，在软件安全测试时，运用一组好的原则来避免不安全的软件上市、避免不安全软件受攻击，就显得十分重要。

软件安全性测试包括程序、网络、数据库安全性测试，根据系统安全指标不同测试策略也不同。

程序安全的测试要考虑问题包括：明确区分系统中不同用户权限，系统中会不会出现用户冲突，系统会不会因用户的权限的改变造成混乱，用户登陆密码是否是可见、可复制，是否可以通过绝对途径登陆系统(拷贝用户登陆后的链接直接进入系统)，用户推出系统后是否删除了所有鉴权标记，是否可以使用后退键而不通过输入口令进入系统，等。网络安全的测试要考虑问题包括：测试采取的防护措施是否正确装配好，有关系统的补丁是否打上，模拟非授权攻击看防护系统是否坚固，采用成熟的网络漏洞检查工具检查系统相关漏洞，采用各种木马检查工具检查系统木马情况，采用各种防外挂工具检查系统各组程序的客外挂漏洞。数据库安全要考虑的问题包括，系统数据是否机密，系统数据的完整性、可管理性、独立性，系统数据可备份和恢复能力等。

模糊测试是一种被广泛使用的软件安全性测试技术，用于发现软件(例如应用程序、协议实现体等)中的隐患，其基本原理是：向待测目标（例如运行有相关软件的服务器、PC等）发送大量的无效输入或错误输入，使得待测目标以非预期的方式运行，从而发现故障。例如，向待测目标发送无效输入，导致待测目标出现内存冲突、程序崩溃、资源用尽等状况。

在模糊测试（Fuzz Testing）中，需要生成和使用大量的测试用例（即无效输入或错误输入），而衡量模糊测试的效果好坏的重要指标之一，就是模糊输入（即测试用例）的数量和质量。测试用例既不能是有效数据，也不能是完全无效的数据，因为完全无效的数据会在很短的时间内使得待测目标发现错误并抛弃该测试用例，不会引发待测目标出错。因此，模糊测试中较优的测试用例是那些与有效数据区别最小但是又足以让待测目标出错的测试用例。

已有的两种测试用例的构造方法为：

1、基于变异的构造方式，即，对预先获知的有效输入数据（正常数据报文）进行变异运算，生成无效的或不期望的数据报文作为测试报文，该测试报文即测试用例。所述变异运算例如可以是将有效的短字符串替换为长字符串，或者将有效的数据包长度值替换为一个相当大或相当小的无效的数值。

2、基于生成的构建方式，即，预先获知待测目标所能处理的文件格式或网络协议的具体描述，基于这些描述中的语法、语义、同步信息等，在有效文件格式或网络协议中随机插入错误节点，从而生成测试报文，例如，在消息格式中增加字段，减少字段，或在特定位置插入错误字段等。

上述现有技术存在以下缺陷：基于变异的构造方式由于没有得到可用信息（例如有效文件格式和协议格式）的引导，不可能覆盖所有可能引起故障的情况；基于生成的构建方式虽然得到了可用信息（例如文件格式和协议格式）的引导，但是，随机化的处理方式（例如随机插入错误节点）容易生成一些等价或类似的测试用例，难以快速地使待测目标以非预期方式运行，从而不能及时地发现待测目标的故障。

已有的解决上述问题的方案参见公开号为CN103136098A的中国发明专利申请，该发明采用的方案是：将多个测试用例输入给一个待测目标，获取与所述待测目标对每一个测试用例的响应相关的响应信息，根据所获取的响应信息，对所述多个测试用例进行分类，分析每一个分类中的一个或多个测试用例的共同特征，基于所述共同特征，生成包含所述共同特征的一个或多个新测试用例。

上述方案引入了反馈机制，后续的测试用例在借鉴先前测试用例的测试效果的基础上生成，在生成后续的测试用例时，可以有选择地生成那些能够更有效地导致待测目标出错的测试用例，从而能够较为迅速地发现那些更易引发故障的测试用例，提高了测试效率。

然而，上述方案仅仅根据待测目标对测试用例的响应信息来对测试用例进行简单的分类，通过分析每个类别中的测试用例的共同特征来生成测试用例，测试用例的质量不高。

发明内容

有鉴于此，本发明提供一种模糊测试方法和装置，以及对应的计算机可读存储介质和计算机系统，通过分析测试用例对待测目标造成的影响，基于该影响来生成新的测试用例，大大提高了测试用例的质量和模糊测试的效率。

为了达到上述技术目的，第一方面，本发明提供以下技术方案：

一种模糊测试方法，包括：

将测试用例发送给待测目标；

获取与所述待测目标对所述测试用例的响应相关的响应信息；

获取包括所述测试用例与所述响应信息的关系的关系数据；

基于所述关系数据，通过修改所述测试用例得到新的测试用例。

优选地，所述关系数据包括所述测试用例的多个特征对所述响应造成的影响。

优选地，所述多个特征包括多个字段。

优选地，所述响应信息包括响应内容或响应行为。

优选地，所述响应行为包括待测目标作出所述响应的时间，或作出所述响应时的系统资源占用率。

优选地，利用神经网络获取所述关系数据，即，将所述测试用例和相应的响应信息发送给神经网络，神经网络输出所述关系数据。

优选地，在得到新的测试用例后，如果达到预定停止条件，则停止测试；否则，将所述新的测试用例发送给待测目标，继续对所述待测目标进行测试。

第二方面，本发明提供一种模糊测试装置，包括：

发送模块，用于将测试用例发送给待测目标；

响应采集模块，用于获取与所述待测目标对所述测试用例的响应相关的响应信息；

响应分析模块，用于获取包括所述测试用例与所述响应信息的关系的关系数据；

生成模块，用于基于所述关系数据，通过修改所述测试用例得到新的测试用例。

第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现前述的方法。

本发明的有益效果在于：通过分析测试用例对待测目标造成的影响，得到反映该影响的关系数据，基于关系数据来生成新的测试用例，随着测试用例数量的增多，测试用例的质量也在不断提高，从而大大提高了测试用例的整体质量和模糊测试的效率。

附图说明

下面将参照附图详细描述本发明的示例性实施例，使本领域技术人员更清楚本发明的特征和优点，附图中：

图1示出模糊测试系统的基本结构示意图；

图2示出实施例一中的模糊测试方法的流程图；

图3示出实施例二中的模糊测试装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更为清楚，以下参照附图和实施例，对本发明作进一步的详细说明。

本发明的目的在于：通过生成高质量的测试用例，对软件进行模糊性测试。

图1示出了模糊测试系统的基本结构示意图。其中，测试设备可以是各类测试仪，其用于生成测试用例，并将测试用例发送给待测目标。本发明中的“待测目标”，指的是通过运行待测软件来实现相应功能的软件或硬件实体，例如，用于运行网络协议的协议交互实体，文件处理实体，用于运行软件的各类电子设备等。待测目标接收到测试用例后，根据测试用例进行相应的处理，作出相应的响应并生成响应信息。监测设备截获或抓取该响应信息，发送给分析设备。监测设备可以是已有的数据采集设备，例如，当待测目标是协议交互实体时，监测设备内置有协议分析器，通过协议分析器获取响应信息。

分析设备从测试设备接收测试用例，从监测设备接收响应信息，分析测试用例对待测目标造成的影响，生成包括该影响的关系数据，将关系数据发送给测试设备。测试设备基于该关系数据，通过修改测试用例生成新的测试用例，并将新的测试用例发送给待测目标，进行下一轮测试。

实施例一

基于上述模糊测试系统，本实施例提供一种模糊测试方法，其流程如图2所示。以下仅以待测目标为协议交互实体为例对本发明的方案进行解释和说明，对于其他类型的待测目标，测试过程是类似的，并且都在本发明的保护范围之内。

步骤1，将测试用例发送给待测目标。

在对软件进行模糊测试之前，需要生成初始测试用例，具体可以通过前述的基于变异的构造方式来生成，或者基于生成的构造方式来生成。如果基于变异的构造方式来生成，可以通过预先设置的变异算法对软件的正常输入进行变异，例如，当待测目标的输入是具有一定格式和一定长度的字符串时，可以随机修改字符串的长度和格式，生成随机字符串发送给待测目标；如果基于生成的构造方式来生成，可以根据预先获知的、待测目标所能处理的文件格式或网络协议的具体描述，基于这些描述中的语法、语义、同步信息，生成初始测试用例。例如，根据待测目标的协议报文格式，在该报文中增加字段、减少字段、或在特定位置插入错误字段等。

在生成初始测试用例后，将该测试用例发送给待测目标，待测目标接收到初始测试用例作为输入值，根据测试用例的值进行相应的处理，作出相应响应并输出响应信息。响应信息具体可以是响应内容，例如，待测目标的基本功能是分析输入字符串中各字符所占比例，那么响应内容就是各字符的比例数据；响应信息也可以是具体的响应行为，例如，为了作出响应，待测目标占用了多少系统资源，例如CPU、内存、显存的占用率等。

步骤2，获取与所述待测目标对所述测试用例的响应相关的响应信息。

该步骤通过抓取待测目标的输出来实现。例如，如果待测目标是协议交互实体（例如运行相关网络协议的PC），那么可以通过协议分析器来抓取并记录待测目标的输出信息。

步骤3，获取包括所述测试用例与所述响应信息的关系的关系数据。

在获取响应信息之后，通过对测试用例和响应信息进行分析，得到二者的关系，并作为关系数据保存。具体可以通过神经网络来进行分析。

神经网络（Artificial Neural Networks，简写为ANNs）是一种模仿动物神经网络行为特征进行分布式并行信息处理的算法数学模型。神经网络在正式开始运行之前，要先进行样本集学习。神经网络的样本集学习是这样一个过程：把学习集（Learning Set）中的每个样本输入到神经网络中，并告知神经网络应当输出什么值，按照一定的规则（学习算法）调整网络各层的权值矩阵。在学习集中的样本被学习完毕后，神经网络会总结出自己的“想法”，这个“想法”具体是什么，是一个黑盒，外界无从得知；接着，可以利用测试集（Testing Set）来测试神经网络，如果测试通过（比如80%或90%的正确率），那么神经网络就构建成功了。

例如，如果神经网络要识别字母“A”和“B”，告知神经网络：输入为“A”时，输出是“1”，输入“B”时，输出是“0”。具体学习过程是：给神经网络的各连接权值赋予(0，1)区间内的随机值，将与“A”对应的多个图象模式陆续输入给神经网络，神经网络将输入加权求和、与门限比较、再进行非线性运算，得到神经网络的输出。在此情况下，神经网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。此时，如果输出为“1”(结果正确)，则使连接权值增大，以便使神经网络再次遇到当前图像模式时，能够作出正确的判断。

对于本实施例而言，学习集和测试集由测试用例、与其对应的响应信息以及测试用例和响应信息的关系数据组成，先将学习集中的测试用例、响应信息输入神经网络，告知神经网络要输出的正确结果（即测试用例和响应信息的关系）是什么。学习结束后利用测试集（Testing Set）来测试神经网络，如果测试通过，则神经网络构建成功。此时，就可以利用神经网络来分析测试用例对响应信息的影响了。

具体实现过程中，可以提取测试用例的多个特征，例如，当测试用例为测试报文时，利用协议分析器对报文进行解析，得到报文的各个字段，通过分析每个字段在取不同值时响应信息的变化，进而分析各个字段的不同取值对待测目标造成的影响，并生成反映这种影响的关系数据，将关系数据发送给测试设备。神经网络可以判断测试报文中的每个字段的影响程度，以及同一字段的不同取值的影响程度，为它们赋予不同的影响因子，并将该影响因子保存到关系数据中。

步骤4，基于所述关系数据，通过修改所述测试用例得到新的测试用例。

在生成后续使用的新的测试用例后，如果已经达到预定停止条件，例如测试时间达到上限、测试用例的数量达到上限等，则停止测试；否则，将新的测试用例发送给待测目标，对待测目标进行下一轮的测试。

与现有技术相比，本发明也采用了反馈方式来生成测试用例，但是引入了神经网络来分析测试用例对待测目标造成的影响，并基于这些影响生成新的测试用例，随着生成的测试用例不断增多，测试用例的质量也不断提高，大大提高了软件模糊测试的效率。

实施例二

本实施例提供一种与上述方法相对应的模糊测试装置，如图3所示，包括：

发送模块，用于将测试用例发送给待测目标；

响应采集模块，用于获取与所述待测目标对所述测试用例的响应相关的响应信息；

响应分析模块，用于获取包括所述测试用例与所述响应信息的关系的关系数据；

生成模块，用于基于所述关系数据，通过修改所述测试用例得到新的测试用例。

本实施例中，具体的实现细节参见实施例一。其中，发送模块和生成模块可以设置在测试设备中，例如测试仪内部；响应采集模块可以设置在监测设备内部；响应分析模块可以设置在分析设备内部。

实施例三

本实施例提供一种模糊测试系统，如图1所示，包括：

测试设备，用于将测试用例发送给待测目标；

监测设备，用于获取与所述待测目标对所述测试用例的响应相关的响应信息；

分析设备，用于获取包括所述测试用例与所述响应信息的关系的关系数据，并将所述关系数据发送给所述测试设备，所述测试设备基于所述关系数据，通过修改所述测试用例得到新的测试用例。

实施例四

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现实施例一中的方法。

实施例五

本实施例提供一种计算机系统，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现实施例一中的方法。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (10)

1.一种模糊测试方法，包括：

将测试用例发送给待测目标；

获取与所述待测目标对所述测试用例的响应相关的响应信息；

获取包括所述测试用例与所述响应信息的关系的关系数据；

基于所述关系数据，通过修改所述测试用例得到新的测试用例。

2.根据权利要求1所述的模糊测试方法，其特征在于，所述关系数据包括所述测试用例的多个特征对所述响应造成的影响。

3.根据权利要求2所述的测试方法，其特征在于，所述多个特征包括多个字段。

4.根据权利要求1所述的模糊测试方法，其特征在于，所述响应信息包括响应内容或响应行为。

5.根据权利要求4所述的模糊测试方法，其特征在于，所述响应行为包括待测目标作出所述响应的时间，或作出所述响应时的系统资源占用率。

6.根据权利要求2所述的测试方法，其特征在于：

利用神经网络获取所述关系数据，即，将所述测试用例和相应的响应信息发送给神经网络，神经网络输出所述关系数据。

7.根据权利要求1所述的测试方法，其特征在于，在得到新的测试用例后，如果达到预定停止条件，则停止测试；否则，将所述新的测试用例发送给待测目标，继续对所述待测目标进行测试。

8.一种模糊测试装置，包括：

发送模块，用于将测试用例发送给待测目标；

响应采集模块，用于获取与所述待测目标对所述测试用例的响应相关的响应信息；

响应分析模块，用于获取包括所述测试用例与所述响应信息的关系的关系数据；

生成模块，用于基于所述关系数据，通过修改所述测试用例得到新的测试用例。

9.一种模糊测试系统，包括：

测试设备，用于将测试用例发送给待测目标；

监测设备，用于获取与所述待测目标对所述测试用例的响应相关的响应信息；

分析设备，用于获取包括所述测试用例与所述响应信息的关系的关系数据，并将所述关系数据发送给所述测试设备，所述测试设备基于所述关系数据，通过修改所述测试用例得到新的测试用例。

10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1-7其中之一所述的方法。