CN113742204A - 一种基于模糊测试的深度学习算子测试工具 - Google Patents

Abstract

一种基于模糊测试的深度学习算子测试工具，通过训练集分析、随机数据补充、中间数据获取等多种方式得到一批测试数据作为种子，转化为可用测试用例并初始化模糊测试的语料集。然后根据具体的待测算子获取可用的变异方法并制定用例扩增策略。接着按照扩增策略，抽取语料集中的元素，生成大批新测试用例，并作为待测算子接口的输入。最后采用差分测试的方法评估用例的对应输出结果，分析是否发现待测算子的运算过程或运算结果存在异常。

Description

一种基于模糊测试的深度学习算子测试工具

技术领域

本发明属于软件工程和机器学习领域，尤其是针对机器学习框架可靠性的软件测试方法在软件工程领域的应用，用于检测深度学习算子接口运算的合理性。

背景技术

在过去的数年里，随着人们对神经网络研究的不断深入，深度神经网络模型在医疗诊断、自动驾驶、智能合约、智慧法院等领域展现了广阔的前景。因此为开发者与使用者提供便于使用且功能强大的深度学习框架，引起了许多组织的兴趣。Caffe、Tensorflow与Pytorch都是目前使用广泛的深度学习框架。尽管丰富可选的深度学习框架使得用户可以根据具体需求和框架特点选择最适合的辅助工具，不同框架的实现方式差异造成相同结构的深度学习模型，其泛化误差和性能表现存在一定差异。

神经网络算子是一个神经网络模型的基本组成单元。常见的神经网络算子包括Convolution、Pooling、ReLU、Softmax、Sigmoid、Dense、Dropout等，这些算子的内部逻辑和运算复杂性各不相同。只有当算子接口的功能满足要求，整个神经网络框架才能为用户提供良好的服务。

然而，众所周知的是，直接针对算子接口功能的测试比较困难。首先，神经网络算子接口在功能上与传统软件存在差异，神经网络算子执行过程中的逻辑判断与分支较少，数值运算比重较大。其次，算子接口测试用例缺少测试oracle，难以评估执行结果的合理性与准确性；同时，由于不同硬件平台对算子接口内部数值运算优化方式和不同框架对硬件平台的支持存在差异，算子接口的运算结果也随之改变。最后，由于算子接口的输入空间较大，且算子接口的数量较多，测试任务需要数量庞大的测试用例。

目前已有一批针对深度学习模型的测试工具，这些工具采用了不同的测试数据扩增方案和测试结果评估方案。典型的测试数据扩增方式包括随机噪声、二进制变化、尺度变化(如截断、旋转、放缩)等，也包括一些包含特定语义的方式，如在自动驾驶过程中改变环境因素或改变道路状况。同时，用例评估方式以是否发现模型错误为主，也有一些研究致力于提出适用于神经网络模型的覆盖值表征方式，如神经元覆盖等。但是，目前尚未有针对神经网络算子接口这一更小单元的测试工具与系统化的测试方法。因此我们提出了一种基于模糊测试的深度学习算子测试工具，采用已有数据扩增方式产生算子测试用例，并采用差分测试思想对算子的输出结果进行评估，从而检测算子接口运算的准确性。

发明内容

本发明要解决的问题是：如何测试神经网络算子接口的功能，从而完善深度学习框架的可靠性，推动人工智能领域发展。

本发明的技术方案为：一种基于模糊测试的深度学习算子测试工具，包括以下步骤：

1)获取已有测试数据作为种子，生成初始测试用例，从而初始化模糊测试语料集，主要通过以下几个详细步骤：

1.1)确定种子数据来源，包括常用训练数据集，随机生成的用例数据，以及执行与该算子相关的神经网络模型的过程中，收集到的中间数据。

1.2)根据获取到的种子数据，对种子数据进行类型转化，生成一批初始测试用例Samples。

1.3)利用2)中获取到的初始测试用例Samples，初始化模糊测试过程中用于保存所有已有测试用例的语料集Corpus。

2)利用语料集中的已有测试用例，根据待测算子和相应的测试用例扩增策略，生成新的测试用例，主要包括以下几个详细步骤：

2.1)获取记录测试工具支持的算子类型与具体算子接口的算子表，并确定待测算子的类型class_i，其中i∈[1，n]，n表示算子表中支持的算子类型个数。根据类型在算子表中获取不同框架下的对应算子接口集合Operators＝{operators_j|1≤j≤k}，其中k表示框架个数。

2.2)获取所有对当前待测算子接口集合Operators可用的变异方法列表List，List＝{mutationFunction₁，mutationFunction₂，...，mutationFunction_m}。目前工具自带了一部分变异方法实现，包括基于二进制的数值变化，基于多维矩阵尺度的变化(旋转、放缩、截断)等。用户也可以利用工具的可扩展性增加自定义的变异方法。

2.3)制定变异策略Strategy。变异策略Strategy＝(FunctionList，FunctionExecution)，即从变异方法列表中选择使用的变异方法集合FunctionList，与变异方法执行顺序与参数设定方式FunctionExecution两个部分。目前我们在工具中提供了两种策略，一种是随机选择一批变异方法，并以随机顺序执行。另一种采用MCMC方法选择变异方法，并采用能量函数制定每次变异生成的新用例个数。其中，能量函数规定的新生成用例个数与选用的变异方法，从语料集中抽取的待变异测试用例的属性(如添加时间等)相关。MCMC方法计算所有可选变异方法的成功率，即生成可发现待测接口功能问题的测试用例的成功概率，表示为：

其中success(po)表示该变异方法的成功次数，selected(po)表示该变异方法的总调用次数。然后，扰动方法的成功率，可以通过二项分布估计当前扰动方法每次选中的成功概率：

Sr(X＝k)＝(1-p)^k-1p

接着采用Metropolis-Hasting算法随机选择扰动方法，并通过Metropolis选择原则接受或拒绝扰动方法。Metropolis选择原则接受扰动方法的概率表示为：

其中，p为m1选中的成功概率。以此动态维护转移概率A，经过多次迭代可以使整个马尔可夫链的概率收敛，最后获得扰动方法的转移概率常量。最后根据获得的转移概率常量，可以指导扰动方法的选择过程。

2.4)根据变异策略调用具体变异方法接口，生成新测试用例。

3)获取新生成的测试用例并根据不同框架下的具体算子接口进行适配，从而保证用例在不同具体框架和算子实现下具有等价性。执行完成后收集执行结果，以及是否出现执行异常。执行结果集合表示为Outputs＝{output_i|1≤i≤k}，其中k表示不同框架下待测算子个数。

4)使用基于差分测试的评估方法分析待测算子的运算过程或运算结果是否存在异常。由于输出结果为Tensor张量，差分测试方法首先计算多个输出结果中任意两个输出结果的最大欧氏距离，平均欧式距离与均方欧式距离。然后通过比较多组距离结果Distance＝(distance_max，distance_mean，distance_norm)，如果某一框架下的算子与其他算子都产生较大差异，且其他算子间的差异较小，可以判断该算子的实现存在缺陷。

本发明的特点在于：1、针对神经网络框架中的算子接口这一构成神经网络模型的单元组件进行测试；2、在测试过程中引入模糊测试思想，避免了针对算子接口内部实现的代码分析，提高了测试效率；3、使用差分测试技术，通过对比不同框架下具体算子接口的输出值，解决了测试用例缺乏oracle的问题；4、本发明极大程度上保证了工具的可扩展性，使用者可以在测试流程中增加自定义的部分，包括变异方法、变异策略、评估策略等。

本发明的有益效果是：作为一种基于模糊测试的深度学习算子测试工具，可以大批量地扩增算子接口可用的测试用例，并有效发现算子接口中隐含的功能缺陷。

附图说明

图1为本发明整体流程图。

图2为算子列表

图3为对应算子接口的执行过程

具体实施方式

本发明中涉及的几项关键技术是深度学习、深度学习算子，基于待测算子的深度学习框架Caffe、Pytorch、Tensorflow，用于对输出结果进行处理的Numpy库等具体技术来实现。

1、Caffe

本发明中，利用了Caffe提供的深度学习算子进行差分测试。Caffe是由伯克利人工智能研究小组和伯克利视觉和学习中心开发的，功能丰富的深度学习框架。Caffe提供了Python和Matlab相关接口，支持多种类型的深度学习架构，面向图像分类和图像分割，还支持CNN、RCNN、LSTM和全连接神经网络设计。Caffe支持基于GPU和CPU的加速计算内核库，如NVIDIACUDNN。

2、深度学习算子

本发明中，利用了PyTorch提供的深度学习算子进行差分测试。PyTorch是由Facebook的人工智能研究团队开发的开源Python机器学习框架，其底层是由C++实现的Torch，提供了丰富的神经网络构建和数据处理方式。PyTorch具有类似于NumPy的张量计算，可使用GPU加速，同时支持自动微分的深度神经网络构建，可以极大提高神经网络训练和执行效率。

3、Tensorflow

本发明中，Tensorflow提供了用于差分测试的深度学习算子。TensorFlow由谷歌人工智能团队开发和维护的深度学习框架，提供不同量级和不同硬件平台的支持，包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud等。Tensorflow易于部署，提供了各类服务器、PC终端和网页的支持，同时支持并优化了在GPU和TPU上的高性能数值计算，在业界被广泛应用于训练和部署神经网络系统。

4、Nunpy库

在本发明中，Numpy主要用于保证输入等价性的输入数据转化，以及输出数据的比较分析。Nunpy库是Python自带的数值计算方法库，提供了支持大型矩阵存储和处理的ndarray类型，以及丰富高效的矩阵运算函数。

下面用一个具体的示例来说明本方法的步骤，并展示结果。

实验环境为：Windows 10，运行内存16GB，显卡为GeForce GTX 1080

本发明的整体流程如图1所示，具体实施步骤如下：

1)设定测试接口为conv，目前可选的包括conv、pooling、relu、Sigmoid、tanh。SampleFunction为uniform_sample_function。变异策略为MCMC，目前可选的还有Random，Type等。精度阈值为1e-8，评估策略为差分测试，用例生成上限个数为10000个；

2)提供算子表，见图2，根据算子表可得到Caffe、Tensorflow与PyTorch中实现卷积算子功能的具体算子接口的名称；

3)将已有测试数据放入″corpus″文件夹中，并设定读取路径为″.\\corpus″：；

4)工具根据抽样方法自动执行抽样过程，并将抽取出的测试用例作为变异模块的输入；

5)变异模块根据设定的具体策略(即MCMC)，生成大批新测试用例，并作为多个具体算子接口的输入；

6)利用Numpy库转化测试用例类型，使其对每个算子接口等价。接着执行测试用例，获取测试结果，并使用Numpy库将输出结果转化为相同的数据类型，该过程见图3。

7)利用Numpy库分析输出结果，计算输出多维矩阵间对应元素的最大距离、平均距离和距离标准差，如果数值大于设定精度阈值则进行记录。对比Caffe/Tensorflow，Caffe/Pytorch和Tensorflow/Pytorch的运行结果，分析是否有具体算子接口存在功能缺陷。

Claims (5)

1.一种基于模糊测试的深度学习算子测试工具，其特征是获取已有测试用例作为种子，初始化模糊测试语料集。然后根据具体算子确定用例扩增策略，利用语料集中的元素生成大量新的可用测试用例并进行接口适配，最后采用差分测试的方法评估用例是否发现待测算子的运算过程或运算结果存在异常。

2.根据权利要求1所描述的一种基于模糊测试的深度学习算子测试工具，其特征是获取已有测试用例作为种子，从而初始化模糊测试语料集。语料集用于在模糊测试的迭代过程中保留所有已有的测试用例。主要通过以下几个步骤进行用例收集：

1)确定种子数据来源，包括常用训练数据集，随机生成的用例数据，以及执行与该算子相关的神经网络模型的过程中，收集到的中间数据。

2)对种子数据进行类型转化，把获取到的初始数据转化为语料集中保存的元素类型。

3)将转化后的数据作为初始测试用例，初始化语料集。

3.根据权利要求1所描述的一种基于模糊测试的深度学习算子测试工具，其特征是在用例扩增模块，根据待测算子和相应的测试用例扩增策略，生成新的测试用例，包括：

1)获取记录测试工具支持的算子类型与具体算子接口的算子表，并确定待测算子的类型class_i，其中i∈[1，n]，n表示算子表中支持的算子类型个数。根据类型在算子表中获取不同框架下的对应算子接口集合Operators＝{operators_j]1≤j≤k}，其中k表示框架的个数。

2)获取所有对当前待测算子接口集合Operators可用的变异方法列表List，List＝{mutationFunction₁，mutationFunction₂，...，mutationFunction_m}。

3)制定变异策略Strategy。变异策略Strategy包含两个部分，即从变异方法列表中选择使用的变异方法集合FunctionList，与变异方法执行顺序与参数设定方式FunctionExecution。

4)根据变异策略调用具体变异方法接口，生成新测试用例。

4.根据权利要求1所描述的一种基于模糊测试的深度学习算子测试工具，其特征是获取新生成的测试用例并根据不同框架下的具体算子接口进行适配，从而保证用例在不同具体框架和算子实现下具有等价性。执行完成后收集执行结果，以及是否出现执行异常。

5.根据权利要求1所描述的一种基于模糊测试的深度学习算子测试工具，其特征是使用基于差分测试的评估方法分析待测算子的运算过程或运算结果是否存在异常。由于输出结果为Tensor张量，差分测试方法计算多个输出结果中任意两个输出结果的最大欧氏距离，平均欧式距离与均方欧式距离。通过比较多组距离结果Distance＝(distance_max，distance_mean，distance_norm)，可以推断是否存在有缺陷的算子实现。

Images