CN113326194A - 一种基于变异报文随机排序的模糊测试方法、装置和存储介质 - Google Patents

Abstract

本发明一种基于变异报文随机排序的模糊测试方法、装置和存储介质，测试方法包括如下步骤：将测试用例库中的用例应用于测试对象进行模糊测试，并针对该模糊测试用例进行实时抓包获取测试报文，并基于特定输入的可测试性将测试报文集合最小划分为多个子测试，将获取到的基准次序的多个子测试根据随机排序算法进行排序，重新启动测试对象后，将随机排序的测试报文进行回放，测试后再次记录对应的故障数量以及故障对应的测试报文。本发明只依赖于变异报文排序以及流量回放的操作，可支持现有的网络协议模糊测试框架，如Kitty、Sulley、Peach等，跨框架能力比较强；本发明克服了传统模糊测试用例的报文次序固定的不足，可以较大的提升模糊测试的质量，增大发现未知故障的概率。

Description

一种基于变异报文随机排序的模糊测试方法、装置和存储 介质

技术领域

本发明涉及信息安全的技术领域，具体涉及一种基于变异报文随机排序的模糊测试方法、装置和存储介质。

背景技术

近些年来，随着工控系统面临的安全威胁逐年增加，如何有效确保工控设备自身安全性，是摆在企业工控安全运营者面前的现实挑战。当前对工控设备或工控协议的未知故障的检测主要是基于模糊测试技术，而模糊测试用例的质量以及覆盖率则直接关于未知故障检测的成效。

目前模糊测试用例生成的报文虽然可以覆盖各种字段的变异，但是每一个用例只能以固定的顺序发送测试报文，无法改变发包顺序，而实际工控领域中往往存在一些故障需要多个异常报文按照不同时序进行攻击才能触发。

发明内容

本发明提供一种基于变异报文随机排序的模糊测试方法、装置和存储介质，解决了模糊测试用例的报文时序固定导致覆盖率低的问题，可以提高发现故障的概率。

测试用例库中的选择一个或多个测试用例作为测试对象并进行模糊测试，针对该测试用例进行实时抓包并获取测试报文，并基于特定输入的可测试性将测试报文集合最小划分为i个子测试，i个子测试的当前顺序作为基准次序，测试后需记录所测试对象的故障数量以及故障对应的测试报文；

根据随机排序算法对获取的基准次序的子测试进行排序，重新启动测试对象后，使用随机排序的测试报文进行测试，测试后再次记录对应的故障数量以及故障对应的测试报文；其中，判断该测试用例的某些变异报文是否能够与其他测试报文共同地导致测试对象发生故障，需要采用如下步骤：

(a)重启测试对象；

(b)使用随机排序函数对报文进行排序和流量重放；

循环执行以上步骤(a)和(b)),直到第N次测试对象发生故障；

执行上述步骤一轮或者多轮，其中N和i均为大于1的自然数。

优选地，经过第M轮随机排序后，触发测试对象故障的报文字节串集合是否是第一次执行时故障对应变异包的子集，当第M轮排序后，触发测试对象故障的报文字节串集合是第一次执行时故障对应变异包的子集的情况下，则不予处理，继续排序进行下一次测试；若产生故障的变异报文在第N次执行时引发故障，但是前N-1次均没有引发测试对象的故障，则判断出该变异报文在特定的报文按照特定的次序发送才会触发测试对象的故障，其中M为自然数。

优选地，其包括如下步骤：

S1：变异包随机排序；

S2：模糊测试。

优选地，其中步骤S1包括如下步骤：

S11：测试用例库中选择一个或多个测试用例应用于测试对象，其中，第一次执行的子测试变异包的次序作为基准次序，后续所有的随机排序均以此为基础，通过监视器进行故障定位，记录第一次执行时所触发故障的测试报文的字节串，存到字节串数组中，字节串数组为B1；

S12：实时抓取测试报文并按照每个子测试分别保存为P1、P2...Pi，同时自动根据文件名称生成数组[P1,P2,P3,..Pi]；

S13：调用内置的随机算法函数对数组[P1,P2,P3,..Pi]进行排序。

优选地，骤S12中，通过tcpdump软件实时抓取测试报文。

优选地，步骤S2包括如下步骤：

S21：将排序的变异报文按照一定速率进行重放；

S22：调用监视器，通过向测试对象按照固定频率发送正常请求报文，测试对象在规定的时间内没有响应则认为产生故障；每产生一次故障后，暂停重放，提取该故障产生时前一个变异报文的字节串信息,调用电源控制模块实现测试对象的先断电再上电操作，待测试对象重启完成后继续从下一个报文重放；流量重放完成后，将所有故障对应的字符串信息存为数组Bi；

S23：将字节串数组Bi与第一次基准次序执行时记录的字节串数组B1进行比较，若

则第i次排序后的模糊测试没有产生新的故障，继续循环进行下一次排序并回到步骤S21；否则，认为第i次排序后的模糊测试产生了新的故障，将其记录到测试结果中，并将字节串数组Bi更新到B1中，即B1＝B1∪Bi并进行步骤S24；

S24：生成测试结果，具体方法为：自动生成测试结果，其中测试结果包括故障类型、故障对应的测试报文信息。

优选地，步骤S22的请求报文为ARP请求、ICMP请求、TCP SYN请求或者协议相关特定心跳请求报文。

本发明还提供一种基于变异报文随机排序的模糊测试的装置，包括：

报文收集模块，用于实时获取每一次测试用例执行的报文数据并进行存储；

监视器，用于实时监视不同次序的变异报文应用于测试对象的测试效果；

电源控制模块，通过控制测试对象的供电实现被测对象的重启，其用于当测试对象出现故障时，重新启动测试对象使其恢复成正常默认状态，以便下一次模糊测试；

自动排序模块，通过内置的随机排序算法实现对测试报文的排序。

本发明还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述基于变异报文随机排序的模糊测试方法。

本发明通过改变变异报文发送次序以及流量回放的操作，可支持现有的网络协议模糊测试框架，如Kitty、Sulley、Peach等，跨框架能力比较强；本发明克服了传统模糊测试用例的报文次序固定的不足，可以较大的提升模糊测试的质量，增大发现未知故障的概率，具有良好的应用价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明实施例的基于变异报文随机排序的模糊测试方法的流程图；

图2为本发明实施例的基于变异报文随机排序的模糊测试方法的步骤S1的流程图；

图3为本发明实施例的基于变异报文随机排序的模糊测试方法的步骤S2的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明实施例提供一种基于变异报文随机排序的模糊测试方法，对测试用例库进行测试，包括如下步骤：

测试用例库中的选择一个或多个测试用例作为测试对象并进行模糊测试，并针对该测试用例进行实时抓包并获取测试报文，并基于特定输入的可测试性将测试报文集合最小划分为i个子测试，i个子测试的当前顺序作为基准次序，测试后需记录所测试对象的故障数量以及故障对应的测试报文；

根据随机排序算法对获取的基准次序的子测试进行排序，重新启动测试对象后，使用随机排序的测试报文进行测试，测试后再次记录对应的故障数量以及故障对应的测试报文；其中，判断该测试用例的某些变异报文是否能够与其他测试报文共同地导致测试对象发生故障，需要采用如下步骤：

(a)重启测试对象；

(b)使用随机排序函数对报文进行排序和流量重放；

循环执行以上步骤(a)和(b)),直到第N次测试对象发生故障；

执行上述步骤一轮或者多轮，其中N和i均为自然数。

进一步判断，经过第M(M为自然数)轮随机排序后，触发测试对象故障的报文字节串集合是否是第一次执行时故障对应变异包的子集，当第M(M为自然数)轮排序后，触发测试对象故障的报文字节串集合是第一次执行时故障对应变异包的子集的情况下，则不予处理，继续排序进行下一次测试；若产生故障的变异报文在第N次执行时引发故障，但是前N-1次均没有引发测试对象的故障，则判断出该变异报文在特定的报文按照特定的次序发送才会触发测试对象的故障。此时系统会将该测试报文对应的字节串更新到数组中，作为后续下一次随机排序进行模糊测试效果的参考基线。

进一步的，在所述方法中，所引用的测试对象故障的报文均为最后一个子测试。即使实际测试过程中，很可能是多个子测试按次序发送引发的故障，为了后续测试效果的对比效率，这里本发明采取引发故障的最后一个报文来进行比较。

其中，测试对象为真实设备或通信软件。

进行模糊测试的测试用例可能由多个报文构成，这些测试报文集合的最小划分被称为该测试用例的子测试。子测试的目的是为了探测被测对象对某一个特定输入的异常反应，需要注意的是，一个子测试可能包括一个测试报文，也可能包括多个测试报文。

在向测试对象应用测试用例后，通过向测试对象按照固定频率发送正常请求报文，比如ARP请求、ICMP请求、TCP SYN请求或者协议相关特定心跳请求报文等，测试对象在规定的时间内没有响应则认为产生故障。

本发明实施例还提供一种基于变异报文随机排序的模糊测试的装置，包括：

报文收集模块，用于实时获取每一次测试用例执行的报文数据并进行存储；

监视器，用于实时监视不同次序的变异报文应用于测试对象的测试效果；具体地，对于测试效果的评价：可通过一个或多个维度来评估测试效果，一个或多个维度至少包括以下各项之一：变异报文随机排序后的攻击产生的故障数量，测试对象的响应的最大超时时间；

电源控制模块，通过控制测试对象的供电实现被测对象的重启，其用于当测试对象出现故障时，重新启动测试对象使其恢复成正常默认状态，以便下一次模糊测试；

自动排序模块，通过内置的随机排序算法实现对测试报文的排序。

本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行基于变异报文随机排序的模糊测试方法。

针对本发明基于变异报文随机排序的模糊测试方法，如图1所示，其包括如下步骤：

S1：变异包随机排序；

S2：模糊测试。

如图2所示，其中步骤S1包括如下步骤：

S11：执行模糊测试用例，具体方法为：测试用例库中选择一个或多个测试用例应用于测试对象，其中，第一次执行的子测试变异包的次序作为基准次序，后续所有的随机排序均以此为基础，通过监视器进行故障定位，记录第一次执行时所触发故障的测试报文的字节串，存到数组B1中；

S12：抓取测试报文，具体方法为：通过tcpdump(抓包软件)实时抓取测试报文并按照每个子测试分别保存为P1、P2...Pi，同时自动根据文件名称生成数组[P1,P2,P3,..Pi]；

S13：利用随机排序算法改变测试包的次序，具体方法为：通过调用内置的随机算法函数对数组[P1,P2,P3,..Pi]进行排序。

如图3所示，步骤S2包括如下步骤：

S21：流量重放，具体方法为：将排序的变异报文按照一定速率W进行重放，为减少报文速率对所述测试对象的影响，这里规定每次流量重放的速率均为W。

S22：故障定位，提取对应异常包字节串，具体方法为：调用监视器，通过向测试对象按照固定频率发送正常请求报文，比如ARP请求、ICMP请求、TCP SYN请求或者协议相关特定心跳请求报文等，测试对象在规定的时间内没有响应则认为产生故障；每产生一次故障后，暂停重放，提取该故障产生时前一个变异报文的字节串信息,调用电源控制模块实现测试对象的先断电再上电操作，待测试对象重启完成后继续从下一个报文重放；流量重放完成后，将所有故障对应的字符串信息存为数组Bi。

S23：判断字节串是否属于第一次记录字符串数组B1的子集，具体方法为：将字节串数组Bi(i＞1)与第一次基准次序执行时记录的字节串数组B1进行比较，若

则第i次排序后的模糊测试没有产生新的故障，继续循环进行下一次排序并回到步骤S21；否则，系统将认为第i次排序后的模糊测试产生了新的故障，将其记录到测试结果中，并将字节串数组Bi更新到B1中，即B1＝B1∪Bi，并进行步骤S24。

S24：生成测试结果，具体方法为：自动生成测试结果，其中测试结果包括故障类型、故障对应的测试报文信息，例如在指定的测试用例执行过程中，第N个子测试触发了所述测试对象的故障，将第1至N个子测试的字节串均记录下来。

本发明通过改变变异报文发送次序以及流量回放的操作，可支持现有的网络协议模糊测试框架，如Kitty、Sulley、Peach等，跨框架能力比较强；本发明克服了传统模糊测试用例的报文次序固定的不足，可以较大的提升模糊测试的质量，增大发现未知故障的概率，具有良好的应用价值。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于变异报文随机排序的模糊测试方法，对测试用例库进行测试，其特征在于，包括如下步骤：

测试用例库中的选择一个或多个测试用例作为测试对象并进行模糊测试，针对该测试用例进行实时抓包并获取测试报文，并基于特定输入的可测试性将测试报文集合最小划分为i个子测试，i个子测试的当前顺序作为基准次序，测试后需记录所测试对象的故障数量以及故障对应的测试报文；

根据随机排序算法对获取的基准次序的子测试进行排序，重新启动测试对象后，使用随机排序的测试报文进行测试，测试后再次记录对应的故障数量以及故障对应的测试报文；其中，判断该测试用例的某些变异报文是否能够与其他测试报文共同地导致测试对象发生故障，需要采用如下步骤：

(a)重启测试对象；

(b)使用随机排序函数对报文进行排序和流量重放；

循环执行以上步骤(a)和(b)),直到第N次测试对象发生故障；

执行上述步骤一轮或者多轮，其中N和i均为大于1的自然数。

2.根据权利要求1所述基于变异报文随机排序的模糊测试方法，其特征在于，经过第M轮随机排序后，触发测试对象故障的报文字节串集合是否是第一次执行时故障对应变异包的子集，当第M轮排序后，触发测试对象故障的报文字节串集合是第一次执行时故障对应变异包的子集的情况下，则不予处理，继续排序进行下一次测试；若产生故障的变异报文在第N次执行时引发故障，但是前N-1次均没有引发测试对象的故障，则判断出该变异报文在特定的报文按照特定的次序发送才会触发测试对象的故障，其中M为自然数。

3.根据权利要求1所述基于变异报文随机排序的模糊测试方法，其特征在于，其包括如下步骤：

S1：变异包随机排序；

S2：模糊测试。

4.根据权利要求3所述基于变异报文随机排序的模糊测试方法，其特征在于，其中步骤S1包括如下步骤：

S11：测试用例库中选择一个或多个测试用例应用于测试对象，其中，第一次执行的子测试变异包的次序作为基准次序，后续所有的随机排序均以此为基础，通过监视器进行故障定位，记录第一次执行时所触发故障的测试报文的字节串，存到字节串数组中，字节串数组为B1；

S12：实时抓取测试报文并按照每个子测试分别保存为P1、P2...Pi，同时自动根据文件名称生成数组[P1,P2,P3,..Pi]；

S13：调用内置的随机算法函数对数组[P1,P2,P3,..Pi]进行排序。

5.根据权利要求4所述基于变异报文随机排序的模糊测试方法，其特征在于，步骤S12中，通过tcpdump软件实时抓取测试报文。

6.根据权利要求4所述基于变异报文随机排序的模糊测试方法，其特征在于，步骤S2包括如下步骤：

S21：将排序的变异报文按照一定速率进行重放；

S22：调用监视器，通过向测试对象按照固定频率发送正常请求报文，测试对象在规定的时间内没有响应则认为产生故障；每产生一次故障后，暂停重放，提取该故障产生时前一个变异报文的字节串信息,调用电源控制模块实现测试对象的先断电再上电操作，待测试对象重启完成后继续从下一个报文重放；流量重放完成后，将所有故障对应的字符串信息存为数组Bi；

S23：将字节串数组Bi与第一次基准次序执行时记录的字节串数组B1进行比较，若

则第i次排序后的模糊测试没有产生新的故障，继续循环进行下一次排序并回到步骤S21；否则，认为第i次排序后的模糊测试产生了新的故障，将其记录到测试结果中，并将字节串数组Bi更新到B1中，即B1＝B1∪Bi并进行步骤S24；

S24：生成测试结果，具体方法为：自动生成测试结果，其中测试结果包括故障类型、故障对应的测试报文信息。

7.根据权利要求6所述基于变异报文随机排序的模糊测试方法，其特征在于，步骤S22的请求报文为ARP请求、ICMP请求、TCP SYN请求或者协议相关特定心跳请求报文。

8.一种基于变异报文随机排序的模糊测试的装置，用于权利要求1至7所述的基于变异报文随机排序的模糊测试方法，其特征在于，包括：

报文收集模块，用于实时获取每一次测试用例执行的报文数据并进行存储；

监视器，用于实时监视不同次序的变异报文应用于测试对象的测试效果；

电源控制模块，通过控制测试对象的供电实现被测对象的重启，其用于当测试对象出现故障时，重新启动测试对象使其恢复成正常默认状态，以便下一次模糊测试；

自动排序模块，通过内置的随机排序算法实现对测试报文的排序。

9.一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行权利要求1至7所述的基于变异报文随机排序的模糊测试方法。

Images