CN108647520B

CN108647520B - 一种基于脆弱性学习的智能模糊测试方法与系统

Info

Publication number: CN108647520B
Application number: CN201810464884.4A
Authority: CN
Inventors: 纪守领; 李宇薇; 陈建海; 吕晨阳
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2018-05-15
Filing date: 2018-05-15
Publication date: 2020-05-29
Anticipated expiration: 2038-05-15
Also published as: CN108647520A

Abstract

本发明公开了一种基于脆弱性学习的智能模糊测试方法与系统，智能模糊测试系统包括：数据预处理模块，将待测二进制程序进行逆向分析得到其控制流图，对所述控制流图中的每个基本块进行特征提取，得到每个基本块的特征向量；漏洞预测模块，根据待测二进制程序的控制流图预测该程序中每个函数存在漏洞的概率；漏洞导向模糊测试模块，对待测二进制程序进行测试，结合某一输入的执行路径、执行路径中函数存在漏洞的概率以及执行结果，计算该输入的适应度分数；以高适应度分数的输入作为种子进行遗传变异生成下一代输入，对待测二进制程序进行循环测试，直至测试结束。本发明的智能模糊测试系统能够更高效地挖掘二进制程序中的漏洞。

Description

一种基于脆弱性学习的智能模糊测试方法与系统

技术领域

本发明涉及模糊测试应用领域，尤其涉及一种基于脆弱性学习的智能模糊测试方法与系统。

背景技术

模糊测试是一种软件测试技术，通过向被测程序中输入大量非预期输入，并监视程序执行过程中是否出现异常，如崩溃，断言等，从而发现程序中是否存在漏洞的方法。相比如其他漏洞挖掘方法，模糊测试具有简单、误报率低、扩展性好等特点，并广泛应用于实际的漏洞挖掘领域中。根据对被测应用程序已知信息的不同，模糊测试工具可以分为白盒、黑盒和灰盒模糊测试。白盒模糊测试主要针对源码已知的应用程序；黑盒模糊测试主要针对二进制应用程序；灰盒模糊测试主要针对反编译后的二进制应用程序。根据输入的生成策略不同，模糊测试工具可以分为基于定向和基于覆盖率的模糊测试工具。基于定向的模糊测试工具目标是产生能到达特定程序位置的输入；基于覆盖率的模糊测试工具的目标是产生覆盖程序更多位置的输入。

目前主流的模糊测试工具有AFL和Driller等，AFL是一种基于遗传算法的模糊测试测试工具，主要根据测试用例是否发现新的基本块、执行的时间和测试用例本身的大小等信息对测试用例进行评分，并选择评分较高的测试用例进行变异产生新的测试用例。AFL的目标是通过遗传算法选择出能够实现更高覆盖率的输入。AFL的缺陷在于只是盲目地追求覆盖率，而忽略了模糊测试的本质在于挖掘漏洞。另一种模糊测试工具Driller将符号执行技术与AFL相结合，当模糊测试工具在一段时间内无法发现新的基本块时，则启动符号执行模块对当前的程序分支进行求解，求出可以进入新分支的输入，将输入交给AFL，并在此基础上进行变异以产生新的输入。Driller的问题在于符号执行的复杂性，尤其对于实际中的应用程序，由于约束表达式的复杂性，符号执行往往无法求出满足该表达式的解。比如，对于126个DARPA CGC二进制程序的测试中，AFL在其中的41个二进制程序的测试中卡住，而Driller的符号执行引擎只能对其中的13个二进制程序产生有效的输入。因此，结合符号执行的模糊测试在实际的应用中仍面临很大困境。

模糊测试的缺陷在于盲目性和低效率，而这种盲目和低效主要源于对被测应用程序的未知。目前的模糊测试工具主要以覆盖率为导向，希望能够尽可能测试到程序的所有部分，这种方法将程序中所有的部分都视为同等，并且目前模糊测试工具很难达到较高的覆盖率，因此模糊测试工具需要更多地关注更可能有漏洞的部分，从而提高模糊测试的挖掘漏洞的效率。

发明内容

针对目前模糊测试工具缺少对应用程序本身进行漏洞分析导致的盲目性和低效率的现状，本发明提供了一种基于脆弱性学习的智能模糊测试系统，能够更高效地实现程序漏洞的挖掘。

本发明提供了如下技术方案：

一种基于脆弱性学习的智能模糊测试系统，包括：

数据预处理模块，将待测二进制程序进行逆向分析得到其控制流图，对所述控制流图中的每个基本块进行特征提取，得到每个基本块的特征向量；

漏洞预测模块，根据待测二进制程序的控制流图预测该程序中每个函数存在漏洞的概率；

漏洞导向模糊测试模块，对待测二进制程序进行测试，结合某一输入的执行路径、执行路径中函数存在漏洞的概率以及执行结果，计算该输入的适应度分数；以高适应度分数的输入作为种子进行遗传变异生成下一代输入，对待测二进制程序进行循环测试，直至测试结束。

程序的脆弱性是指由于设计或者运行环境的缺陷，导致程序可能存在可被利用的漏洞的性质。

计算机应用程序中存在很多种类的漏洞，目前主流的漏洞类型有缓冲区溢出漏洞、整型溢出漏洞和释放后使用漏洞等。这些漏洞主要是由一些不安全的操作造成的，这些不安全操作包括调用不安全的库函数、循环赋值操作、没有进行缓冲区边界检查、对释放后的内存地址进行访问操作等。因此，应用程序中存在此类不安全操作的部分的脆弱性更高，需要在测试时被更多地关注。

本发明的智能模糊测试系统，首先采用漏洞预测模型预测其更可能出现漏洞的部分，再基于对二进制程序的漏洞预测结果和不同输入测试用例的执行结果，采用遗传算法生成更倾向于到达有该二进制程序中漏洞概率高的部分的输入。因此，本发明的智能模糊测试系统能够更高效地挖掘二进制程序中的漏洞。

本发明中的漏洞预测模块主要关注二进制程序，原因在于很多情况下无法获取被测程序的源代码。由于源码实现方式、编译环境、优化选项等因素的不同，导致类似不安全操作的代码有着不同的二进制形式，而这些形式难以使用固定的规则进行描述，采用传统的静态分析方法会产生大量的漏报和误报现象。

所述的漏洞预测模块具有漏洞预测模型。漏洞预测模块的核心是漏洞预测模型，漏洞预测模型是有监督的神经网络模型。

优选的，所述的漏洞预测模型包括图嵌入网络和Softmax层。

进一步优选的，漏洞预测模型的形式化表示如下：

所述的漏洞预测模型以二进制函数的控制流图G＝<V，E>为输入，其中V表示该控制流图中所有基本块的集合，E表示该控制流图中所有的边的集合；

图嵌入网络根据控制流图中某一基本块的特征向量和网络拓扑信息，计算该基本块的嵌入向量，计算公式为

其中，μ_v为基本块v的d维嵌入向量，

为非线性函数，x_v为c维特征向量，N(v)为基本块v的邻居基本块集合，μ_j为N(v)中基本块j的嵌入向量；

每个基本块的嵌入向量需要被迭代计算T次，初始的嵌入向量设置为0，嵌入向量的每次计算公式为

其中，W₁为d×c维参数矩阵，t为当前迭代次数，σ是一个k层的全连接神经网络，神经网络σ的参数为集合P＝{P₁，P₂，...，P_k}，设ReLU(x)＝max{0，x}是一个线性矫正单元，则神经网络σ可表示为σ(x)＝P₁ReLU(P₂...ReLU(P_k(x)))；

二进制函数的控制流图的图嵌入向量为所有迭代T次后的基本块嵌入向量之和，

其中，μ_G为控制流图的图嵌入向量，W₂为d×d维参数矩阵；

将图嵌入向量μ_G转化成一个二维向量Z＝{z₀，z₁}，Z＝W₃μ_G；其中，W₃为2×d维参数矩阵；

最后，所述的神经网络模型中的Softmax层将向量Z＝{z₀，z₁}映射为向量Q＝{p，1-p}，其中p∈[0，1]；Q＝Softmax(Z)。

优选的，所述的

为tanh非线性函数或sigmoid非线性函数。

采用训练集对漏洞预测模型进行训练时，整个模型的参数W₁，W₂，W₃，...，P₁，P₂，...，P_k可以通过对下面的公式求得。

其中H为交叉熵损失函数，训练至交叉熵损失函数收敛后，模型训练完毕。

本发明还公开了基于智能模糊测试系统进行智能模糊测试方法，包括以下步骤：

(1)构建基于神经网络的漏洞预测模型并进行训练；

(2)对待测二进制程序进行预处理，采用训练好的漏洞预测模型预测待测二进制程序中每个函数存在漏洞的概率p，并根据函数存在漏洞的概率p计算该函数中所有基本块的静态漏洞分数S，计算公式为：

S＝a×p+b

其中，a、b为常系数；

(3)根据待测二进制程序的输入类型，选择初始化测试例；采用初始化测试例分别对待测二进制程序进行模糊测试，记录每个初始化测试例执行路径中的所有基本块，将执行路径中所有基本块的静态漏洞分数S相加得到该初始化测试例的适应度分数；

(4)选择适应度分数排名前N％的初始化测试例作为父种子，基于遗传变异算法产生子测试例，采用子测试例分别对待测二进制程序进行模糊测试；

(5)循环执行步骤(4)直至达到模糊测试结束条件。

优选的，步骤(1)中，对漏洞预测模型进行训练的训练集构建方法为：

(i)收集大量二进制程序，标记二进制程序中的每个函数是否存在漏洞；

(ii)将标记后的二进制程序进行逆向分析得到其控制流图；

(iii)对每个二进制程序控制流图中的每个基本块进行特征提取，得到每个基本块的特征向量；

(iv)将每个函数以该函数所包含的所有基本块的特征向量集合表示，作为训练样本构建训练集。

步骤(2)中，对待测二进制程序进行预处理的方法为：

(a)将待测二进制程序进行逆向分析得到其控制流图；

(b)对待测二进制程序控制流图中的每个基本块进行特征提取，得到每个基本块的特征向量。

步骤(iii)和步骤(b)中，特征向量的提取可以采用编写IDA Pro插件的方式实现，其中IDA Pro是一款著名的逆向分析软件。

步骤(2)中，常系数a和b需要通过实验来决定具体数值的大小。

优选的，步骤(3)中，在模糊测试过程中，采用二进制动态插桩技术记录测试例执行路径中的所有基本块。

步骤(4)中，可根据具体需要选择N的具体数值。

步骤(5)中，模糊测试的结束条件可以设置为：模糊测试执行一定的时间(如100小时)。

与现有技术相比，本发明的有益效果为：

附图说明

图1为智能模糊测试系统的架构示意图；

图2为漏洞预测模块的架构示意图；

图3为训练数据的预处理流程示意图；

图4为智能模糊测试方法的流程示意图；

图5为模糊测试模块的工作流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明基于脆弱性学习的智能模糊测试系统包括数据预处理模块、基于神经网络的漏洞预测模块和漏洞导向的模糊测试模块，核心在于漏洞预测模块和模糊测试模块。

本发明中的漏洞预测模块主要关注二进制程序，原因在于很多情况下无法获取被测程序的源代码。由于源码实现方式、编译环境、优化选项等因素的不同，导致类似不安全操作的代码有着不同的二进制形式，而这些形式难以使用固定的规则进行描述，采用传统的静态分析方法会产生大量的漏报和误报现象。近几年，人工智能技术如机器学习和深度学习等取得了突飞猛进的发展，不仅成功应用在语音识别、图像识别等领域，在信息安全和程序分析等领域也出现了一些成功的应用。因此，本发明提出基于神经网络的二进制程序漏洞预测模型。

如图2所示，漏洞预测模型的核心架构是一个有监督的神经网络模型，可以采用深度学习框架，如Pytorch、TensorFlow等模型框架。下面从模型架构和模式的训练与使用等方面对漏洞预测模型进行介绍。

漏洞预测模型以二进制函数的控制流图G＝<V，E>为输入，其中V表示该控制流图中所有基本块的集合，E表示该控制流图中所有边的集合；

对于该控制流图的某个基本块v，其特征向量为x_v，x_v为c维向量，其中每一维表示该基本块在对应特征下的值；

假设N(v)表示基本块v的邻居基本块集合，对于每个基本块，图嵌入网络会根据其特征向量x_v和网络的拓扑信息计算一个d维嵌入向量μ_v，计算公式为：

其中

是一个非线性函数，可以取tanh或sigmoid等非线性函数；

每个基本块的嵌入向量需要被迭代计算T次，初始的嵌入向量设置为0，嵌入向量的每次计算公式如下：

其中W₁为d×c维参数矩阵，t为当前迭代次数，σ是一个k层的全连接神经网络，神经网络σ的参数为集合P＝{P₁，P₂，...，P_k}，设ReLU(x)＝max{0，x}是一个线性矫正单元，则神经网络σ可表示为：

σ(x)＝P₁ReLU(P₂...ReLU(P_k(x)))；

二进制函数的控制流图G＝<V，E>对应的嵌入向量μ_G为所有迭代T次后的基本块嵌入向量之和；

其中W₂为d×d维参数矩阵；

接下来将图嵌入向量μ_G转化成一个二维向量Z＝{z₀，z₁}；

Z＝W₃μ_G

其中W₃为2×d维参数矩阵；

最后，所述的神经网络模型中的Softmax层将向量Z＝{z₀，z₁}映射为向量Q＝{p，1-p}，其中p∈[0，1]；

Q＝Softmax(Z)。

在训练模型时，训练数据为二进制函数的控制流图G，并且该控制流图被标记为l，l＝0表示该二进制函数中至少包含一个漏洞，l＝1表示该二进制函数中没有漏洞。

训练数据的来源可以是来自一些公开的漏洞代码网站如CVE(http：//cve.mitre.org/)、NIST(https：//nvd.nist.gov/)等，也可以是来自其他的开源网站如github(https：//github.com/)等。

如图3所示，获取这些漏洞代码后，需要将其编译成二进制形式，并且准确标记其中每个函数是否存在漏洞。将二进制程序逆向得到其控制流图，并对基本块提取特征，将控制流图转化为有属性的控制流图。其中基本块的特征可以为表1中的一些特征，也可以是其他相关特征。特征向量的提取可以采用编写IDA Pro插件的方式实现，其中IDA Pro是一款著名的逆向分析软件。

表1基本块的特征类型与示例

特征类型	示例
		指令相关	CALL指令的个数、RET指令的个数等
操作数相关	内存操作数的个数、寄存器操作数的个数等
		库函数相关	调用strcpy的个数等

训练数据的总数为m，那么整个模型的参数W₁，W₂，W₃，...，P₁，P₂，...，P_k可以通过对下面的公式求得。

其中H为交叉熵损失函数。

训练至交叉熵损失函数收敛后，模型训练完毕。

如图4和图5所示，对于一个未知脆弱性的二进制程序，首先需要经过上述过程的数据编码格式转化成数值向量，然后漏洞预测模型会输出二进制程序中所有函数存在漏洞的概率p，保存在文件中。然后基于漏洞预测结果，编写IDA Pro插件对二进制中的基本块进行静态漏洞分数评估，并将基本块的静态漏洞分数保存在文件中。

模糊测试的过程是一个循环执行二进制程序的过程，首先需要根据二进制程序提供一些初始的输入测试用例。

与传统的覆盖率导向的模糊测试技术不同，本发明提出了以漏洞导向的模糊测试技术。覆盖率导向的模糊测试是指优先选择发现新路径的测试用例作为种子，漏洞导向的模糊测试是指优先选择到达漏洞概率高路径的测试用例作为种子。因此，漏洞导向的模糊测试会更多地关注可能存在漏洞的路径，从而更高效地挖掘二进制程序中的漏洞。

本发明的以漏洞导向的模糊测试技术，在执行二进制程序的过程中使用动态插桩工具Intel Pin记录程序执行过程中的覆盖率等执行状态信息。对于每一个执行完毕后的测试用例，根据其执行状态信息对其进行适应度评分，其适应度分数为该测试用例执行路径中所有基本块的静态漏洞分数之和，基本块的静态漏洞分数的计算公式为：。

S＝a×p+b

其中a，b为常系数，需要通过实验来决定具体数值的大小。

选择适应度分数排名前N％的测试用例作为父种子，并基于父种子进行遗传变异，部分变异方法见表2，产生新的子测试用例，对待测二进制程序进行循环测试，并按照上述方法记录执行状态、生成新的测试用例并执行，直到满足模糊测试的终止条件。

表2部分变异方法

变异方法	示例
		位翻转	0→1
字节翻转	0x11\0x12→0x12\0x11
		替换部分字节为特殊值	0xa3→0xff
截取两个测试用例的部分片段并拼接	aaaabbbb，ccccdddd→aaaadddd
		删除某个字节	0x11\0x12→0x11

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种基于脆弱性学习的智能模糊测试系统，其特征在于，包括：

漏洞预测模块，具有漏洞预测模型；所述漏洞预测模型是有监督的神经网络模型，所述漏洞预测模型以待测二进制程序的控制流图为输入，根据控制流图中每个基本块的特征向量和网络拓扑计算每个基本块的嵌入向量，将所有基本块的嵌入向量分别迭代计算多次后求和得到控制流图的图嵌入向量，再将图嵌入向量转化成二维向量，输出该待测二进制程序中每个函数存在漏洞的概率；

漏洞导向模糊测试模块，对待测二进制程序进行测试，结合某一输入的执行路径、执行路径中函数存在漏洞的概率以及执行结果，计算该输入的适应度分数；以高适应度分数的输入作为种子进行遗传变异生成下一代输入，对待测二进制程序进行循环测试，执行至预设时长后结束。

2.根据权利要求1所述的智能模糊测试系统，其特征在于，所述的漏洞预测模型包括图嵌入网络和Softmax层。

3.一种基于脆弱性学习的智能模糊测试方法，其特征在于，包括以下步骤：

(1)构建基于神经网络的漏洞预测模型并进行训练；所述漏洞预测模型是有监督的神经网络模型，所述漏洞预测模型以待测二进制程序的控制流图为输入，根据控制流图中每个基本块的特征向量和网络拓扑计算每个基本块的嵌入向量，将所有基本块的嵌入向量分别迭代计算多次后求和得到控制流图的图嵌入向量，再将图嵌入向量转化成二维向量，输出该待测二进制程序中每个函数存在漏洞的概率；

S=a×p+b

其中，a、b为常系数；

(5)循环执行步骤(4)至预设时长后结束。

4.根据权利要求3所述的智能模糊测试方法，其特征在于，步骤(1)中，对漏洞预测模型进行训练的训练集构建方法为：

(ⅰ)收集大量二进制程序，标记二进制程序中的每个函数是否存在漏洞；

(ⅱ)将标记后的二进制程序进行逆向分析得到其控制流图；

(ⅲ)对每个二进制程序的控制流图中的每个基本块进行特征提取，得到每个基本块的特征向量；

(ⅳ)将每个函数以该函数所包含的所有基本块的特征向量集合表示，作为训练样本构建训练集。

5.根据权利要求3所述的智能模糊测试方法，其特征在于，步骤(2)中，对待测二进制程序进行预处理的方法为：

(a)将待测二进制程序进行逆向分析得到其控制流图；

(b)对待测二进制程序的控制流图中的每个基本块进行特征提取，得到每个基本块的特征向量。

6.根据权利要求3所述的智能模糊测试方法，其特征在于，步骤(3)中，在模糊测试过程中，采用二进制动态插桩技术记录测试例执行路径中的所有基本块。