CN114048817A - 一种基于变异策略的深度学习输入集优先级测试方法 - Google Patents

Abstract

本发明公开了一种基于变异策略的深度学习输入集优先级测试方法，本发明方法采集原始图像数据集与测试输入数据集，并预训练深度学习模型，通过对原始样本的变异或对原始模型的变异，通过变异样本对于原始模型的预测输出置信度或原始样本对于变异模型的预测输出置信度，计算优先级值来实现对输入样本集合的优先级从小到大排序。本发明方法具有良好的适用性，能够有效的对测试级进行优先排序，能在短时间内筛选出最可能导致模型出现潜在错误的样本。

Description

一种基于变异策略的深度学习输入集优先级测试方法

技术领域

本发明属于人工智能中深度学习算法与深度学习测试领域，具体涉及一种基于变异策略的深度学习输入集优先级测试方法。

背景技术

我们正在进入深度学习时代，深度学习因具有媲美甚至超过人类性能的能力，使得它在许多领域被广泛应用。深度学习的著名应用包括图像分类、自动驾驶、语音识别、游戏等等。尽管在定义明确的任务中，深度学习已经具有不俗的表现，但在可靠性和质量方面仍然存在许多问题。当深度学习应用于安全性至关重要领域时，这些问题的出现可能会对生命财产造成不可估量的重大损失，比如谷歌和特斯拉的自动驾驶汽车造成的事故。

测试被认为是软件质量保证的常见实践。然而，基于DNN的软件的测试与传统软件有很大不同，因为传统软件依赖程序员手动构建业务逻辑，而DNN是基于数据驱动的编程范式构建的。因此，充分的测试数据，以及oracle信息，对于检测基于DNN的软件的错误行为至关重要。不幸的是，与传统软件的测试技术一样，DNN测试也面临着一个问题，即oracle的自动测试通常不可用。例如，在ImageNet中标记数据需要花费167个国家的49，000多名工人大约9年的时间，ImageNet是最大的视觉识别数据集之一，包含20，000多个类别的数百万张图像。

关于DNN测试的大多数工作集中于提出各种度量标准来衡量测试输入的充分性，例如基于神经元激活的覆盖率指标等；或设计各种方法来生成测试输入，例如基于指标指导的变异测试。然而，除此之外，DNN测试领域还有另一个关键挑战——为检查DNN预测的正确性。然而，手动标记测试输入的标签的成本非常高，这可能会在很大程度上影响DNN测试的效率，甚至影响DNN开发的整个过程。具体地说，标签成本问题的原因有三：1)测试集是大规模的；2)标注的主要方式是人工分析，往往需要多人对一个测试输入进行标注，以确保标注的正确性；3)标签通常需要特定领域的知识，这使得使用专业人员进行标签的成本更高。根据现有研究，这一挑战在实践中甚至更麻烦，但目前很少有人致力于解决这一问题。

针对上述问题，直观的做法是对测试输入进行优先级排序，以便能够更早地标记那些更有可能被测试中的DNN错误预测的测试输入。这样，可以在有限的时间内识别出更多的错误预测的测试输入，同时更早地识别错误预测的测试输入有助于更早地进行DNN调试过程，这可以大大提高DNN测试的效率，缩短DNN开发周期。有鉴于此，本发明提出了一种基于变异策略的深度学习输入集优先级测试方法及其装置，旨在对大规模模型输入集进行优先级排序，实现在有限的时间内检测更多可能产生错误预测的输入，从而构建更安全鲁棒的深度学习模型。

发明内容

针对现有技术不足，本发明提出了一种基于变异策略的深度学习输入集优先级测试方法。

为实现上述发明目的，本发明的技术方案为：一种基于变异策略的深度学习输入集优先级测试方法，包括以下步骤：

(1)利用收集模块采集原始图像数据集与测试输入数据集，并进行整理分类；

(2)利用预训练模块根据步骤(1)获取的图像数据集预训练深度学习模型；

(3)通过变异策略模块对输入的图像数据集进行变异构建输入级编译策略或对步骤(2)预训练后的深度学习模型进行变异构建模型级变异策略；

(4)通过优先级值计算模块计算深度学习模型的置信度输出，并根据变异策略计算对于输入图像数据集的优先级值；

(5)通过排序模块根据优先级值的大小，实现对图像数据集从小到大的优先级排序。

进一步地，所述步骤(1)具体包括以下子步骤：

(1.1)将MNIST数据集、CIFAR-10数据集和ImageNet数据集作为原始图像数据集，保存为X，并分类得到每张图像相应的类标Y；

(1.2)利用FGSM攻击、DeepFool攻击和JSMA攻击方法处理原始图像数据集，得到测试输入数据集X_t。

进一步地，所述步骤(2)具体包括以下子步骤：

(2.1)通过one-hot编码将图像数据集中每个样本的标签转化为一维向量其格式，并计算其交叉熵：

其中，y_i是样本i的标签，y′_i是样本i的预测值，H_i是样本i的交叉熵。

(2.2)使用LeNet-5模型对MNIST数据集进行训练，使用ResNet50模型对CIFAR-10数据集进行训练，使用MobileNetV1模型对ImageNet数据集进行训练，使得交叉熵损失函数值最小来对深度学习模型添加权重，直至训练完成；所述交叉熵损失函数为：

其中，n_total为训练样本总数。

进一步地，所述步骤(2.1)中优选采用小批量梯度下降的方法进行训练。

进一步地，所述步骤(3)中利用像素高斯模糊策略或像素重置法对输入的图像数据集进行变异构建输入级变异策略；

所述像素高斯模糊策略具体为：根据高斯分布向输入的图像数据集x像素添加噪声noise，形成变异的图像数据集x_m；

x_m＝x+noise,noise～N(μ,δ²)

其中，μ默认设置成0，δ默认设置成0.8；

所述像素重置法具体为：对输入图像数据集x选定区域的像素进行置零操作：

value(location(x))＝0

其中，location(·)表示选取指定位置，value(·)表示像素值操作；

得到最终构建成新的变异图像数据集x_mutaion＝{x_m0,x_m1,...,x_mz}，其中x_m0表示原始图像数据集，z表示变异的次数。

进一步地，所述步骤(3)中利用权重重分配法或神经元逆激活法对步骤(2)预训练后的深度学习模型进行变异构建模型级变异策略；

所述权重重分配法具体为：通过对预训练模型的权重进行再分配，变异成新的深度学习网络模型；

weighs_l’＝Shuffling(weights_l)

其中，0<l<L,L表示模型的总层数，weighs_l表示预训练模型l层的初始权重，weighs_l’表示变异后l层的变异权重，Shuffling(·)表示随机洗牌；

所述神经元逆激活法具体为：在将神经元的输出值传递给激活函数之前，通过改变神经元输出值的符号来反转神经元的激活状态；设N＝{n₁,n₂,...}为深度学习模型的一组神经元，设φ_l(x,n)表示一个功能函数，该函数代表在给定输入x时，第l层神经元n所得到的神经元输出值。那么神经元逆激活定义为：

φ_l’(x,n)＝-φ_l(x,n)

其中，φ_l’(·)表示变异后的神经元输出；

最终通过模型变异得到变异深度学习网络模型集f_mutation＝{f_m0(·),f_m1(·),...,f_mk(·)}；其中，f_m0(·)表示原始模型，k表示总共变异的次数。

进一步地，所述步骤(4)具体包括以下子步骤：

(4.1)计算变异样本对于原始模型的预测输出置信度或原始样本对于变异模型的预测输出置信度：给定一个输入样本x∈X_t，则深度学习模型的关于样本的输出置信度可以表示为：

其中，D表示分类任务总类别数；

(4.2)根据变异策略计算对于输入图像数据集的优先级值；

对于输入级变异策略：由输入样本x，可以获得变异样本集x_mutaion＝{x_m0,x_m1,...,x_mz}，那么优先级函数θ(x)为：

对于模型级变异策略：由原始分类模型f(·)，可以获得变异模型集f_mutation＝{f_m0(·),f_m1(·),...,f_mk(·)}；那么优先级函数θ(x)为：

其中，

表示mj变异模型的置信度输出平方和。

进一步地，所述步骤(5)具体为：

对于属于测试输入数据集X_t集合中所有样本，根据选定的变异策略计算优先级值计算，最终获得集合

优先级排序则定义为：

X^*＝{x,Rank(ψ)}

其中，Rank(·)表示对集合的从小到大排序，最终实现对于图像数据集的从小到大排序，得到从小到大排序后的集合X^*。

本发明的技术构思为：通过对原始样本的变异或对原始模型的变异，通过模型对于变异样本的预测输出置信度或原始样本对于变异模型的预测输出置信度，计算优先级值来实现对输入样本集合的优先级从小到大排序。

本发明的有益效果主要表现在：对于现有的手动对于测试输入定标的方法，本发明提出了的一种基于变异策略的深度学习输入集优先级测试方法，在用于分类真实分类数据集MNIST、CIFAR-10和ImageNet的LeNet-5、ResNet50和MobileNetV1等深度学习模型上，本发明方法具有良好的适用性，能有效的实现100％区分由FGSM、DeepFool和JSMA对抗攻击生成的对抗样本。并且与对抗样本的真实的扰动大小标签相比，本发明方法在各个数据集上均能实现接受者操作特征曲线(Receiver Operating Characteristic Curve,ROC)的面积达到0.95以上(面积最大值为1，且值越接近于1表明区分度越好)，有效地对输入测试集进行优先级排序。除此之外，本发明方法的响应速度为秒级，并且比现有排序方法的响应速度更短，从而在最短时间内筛选出最可能导致模型出现潜在错误的样本。

附图说明

图1是本发明的实施例中提供的基于变异策略的深度学习输入集优先级测试系统的结构示意图；

图2是本发明的实施例中基于变异策略的深度学习输入集优先级测试方法框图。

具体实施方式

下面结合附图对本发明作进一步描述。

本发明提供了一种基于变异策略的深度学习输入集优先级测试系统，请参考图1，所述系统包括：

收集模块，用于原始图像数据集与不同类型的测试输入数据集进行整理分类；

预训练模块，根据获得的原始图像，预训练深度学习模型；

构建变异策略模块，基于改变某部分元素的理念，通过变异输入样本和变异模型，构成输入级编译策略和模型级变异策略。

计算优先级值计算模块，通过深度学习模型置信度输出，并根据变异策略实现对于输入样本的优先级值的计算。优先级值越小，则说明该样本需要进行更优先的进行测试。

排序模块，通过对优先级值的排序，实现对测试集从小到大的优先级排序。越靠前的样本越容易触发潜在错误，因此也需要更优先的测试。

本发明实施例提供了一种基于基于变异策略的深度学习输入集优先级测试方法，请参考图2，包括以下步骤：

S1、利用收集模块采集原始图像数据集与测试输入数据集，并进行整理分类，具体包括：

S11、收集常用于图像分类的MNIST数据集、CIFAR-10数据集和ImageNet数据集并保存为X以及每张图像相应的类标Y；

S12、收集不同类型的测试输入数据集。收集用于MNIST、CIFAR-10和ImageNet原有的测试数据集。此外，还将采用三种广泛的对抗性输入生成方法，包括：FGSM攻击(利用深层神经网络的设计的高维线性，计算对抗扰动)，DeepFool攻击(通过最小扰动推动决策边界偏移进行攻击)，JSMA攻击(通过计算输入的显著图改变几个像素的值产生扰动，而不是整张图)。尽可能保证攻击后的图像尽可能隐蔽，但攻击具有高攻击成功率。将两者数据集混合，形成测试输入数据集X_t。

S2、训练深度学习模型f(·)，具体包括：

S21、将原始图像数据集按预设比例划分为训练集和测试集，通过one-hot编码将图片数据集中每个样本的标签转化为一维向量其格式，，并计算其交叉熵；如[0,0,1,0,0,0]表示的样本的标签为6个类别中的第3个；所述交叉熵表达式如下：

其中y_i是样本i的标签，y′_i是样本i的预测值，H_i是样本i的交叉熵。

S22、使用LeNet-5模型对MNIST数据集进行训练，使用ResNet50模型对CIFAR-10数据集进行训练，使用MobileNetV1模型对ImageNet数据集进行训练，通过采用小批量梯度下降的训练方法进行训练(批量设置为128)，使得交叉熵损失函数值最小来对模型添加权重，直至训练完成。所述交叉熵损失函数为：

S3、通过变异策略模块对输入的图像数据集进行变异构建输入级编译策略或对步骤(2)预训练后的深度学习模型进行变异构建模型级变异策略；具体包括：

尽管测试输入的不同领域有不同的变异规则，但它们在设计输入变异策略方面有着相同的高层理念——改变一小部分基本元素。对于深度学习的变异策略，具体从输入级和模型级进行变异：

利用像素高斯模糊策略或像素重置构建输入级变异策略，具体操作包括：

所述像素高斯模糊策略具体为：根据高斯分布向输入样本x像素添加噪声noise，形成变异样本x_m。

x_m＝x+noise,noise～N(μ,δ²)

其中，μ默认设置成0，δ默认设置成0.8。

所述像素重置法具体为：对输入图像x选定区域的像素进行置零操作。

value(location(x))＝0

其中，location(·)表示选取指定位置，value(·)表示像素值操作。为了保证图像仍具有一定的可识别能力，我们设定选取的区域位置不超过5×5个像素点。

最终构建成新的变异样本集x_mutaion＝{x_m0,x_m1,...,x_mz}，其中x_m0表示原始样本，z表示变异的次数。

利用权重重分配法或神经元逆激活法构建模型级变异策略，具体操作包括：

所述权重重分配法具体为：通过对预训练模型的权重进行再分配，变异成新的模型。

weighs_l’＝Shuffling(weights_l)

其中，0<l<L,L表示模型的总层数，weighs_l表示预训练模型l层的初始权重，weighs_l’表示变异后l层的变异权重，Shuffling(·)表示随机洗牌。

所述神经元逆激活具体为：在将神经元的输出值传递给激活函数之前，通过改变神经元输出值的符号来反转神经元的激活状态。设N＝{n₁,n₂,...}为深度学习模型的一组神经元，设φ_l(x,n)表示一个功能函数，该函数代表在给定输入x时，第l层神经元n所得到的神经元输出值。那么神经元逆激活定义为：

φ_l’(x,n)＝-φ_l(x,n)

其中，φ_l’(·)表示变异后的神经元输出。

最终通过模型变异得到变异模型集f_mutation＝{f_m0(·),f_m1(·),...,f_mk(·)}。其中，f_m0(·)表示原始模型，k表示总共变异的次数。所有模型的变异的分类准确率相较于原模型的分类准确率不低于5％。

S4、通过优先级值计算模块计算深度学习模型的置信度输出，并根据变异策略计算对于输入图像数据集的优先级值；具体包括：

S41、计算变异样本对于原始模型的预测输出置信度或原始样本对于变异模型的预测输出置信度。

一般意义而言，对于任意输入样本x∈X_t，考虑使用模型输出置信度作为优先级评价指标。给定一个输入x∈X_t，则模型的关于x的输出置信度可以表示为

其中D表示分类任务总类别数。

(4.2)根据变异策略计算对于输入图像数据集的优先级值；具体为：

本发明实施例使用θ(x)来衡量输入样本x的优先级。

但由于变异策略的不同，对于样本优先级的指标计算也略有差异。

对于输入级变异：由输入x，可以获得变异样本集x_mutaion＝{x_m0,x_m1,...,x_mz}，那么进一步θ(x)变化为：

对于模型级变异：由原始分类模型f(·)，可以获得变异模型集f_mutation＝{f_m0(·),f_m1(·),...,f_mk(·)}。那么进一步θ(x)变化为：

其中，

表示mj变异模型的置信度输出平方和。

其中，θ(x)值越小，表明该样本越容易触发模型错误，因此也越需要进行优先测试。

S5、优先级排序，过程如下：

对于属于测试输入数据集X_t集合中所有样本，根据选定的变异策略计算优先级值计算，最终获得集合

优先级排序则定义为：

X^*＝{x,Rank(ψ)}

其中，Rank(·)表示对集合的从小到大排序，最终实现对于测试集X_t的从小到大排序，得到从小到大排序后的集合X^*。

综上所述，对于现有的手动对于测试输入定标的方法，本发明提出的一种基于变异策略的深度学习输入集优先级测试方法，在用于分类真实分类数据集MNIST、CIFAR-10和ImageNet的LeNet-5、ResNet50和MobileNetV1等深度学习模型上，本发明方法具有良好的适用性，能有效的实现100％区分由FGSM、DeepFool和JSMA对抗攻击生成的对抗样本。并且与对抗样本的真实的扰动大小标签相比，本发明方法在各个数据集上均能实现接受者操作特征曲线(Receiver Operating Characteristic Curve,ROC)的面积达到0.95以上(面积最大值为1，且值越接近于1表明区分度越好)，有效地对输入测试集进行优先级排序。除此之外，本发明方法的响应速度为秒级，并且比现有排序方法的响应速度更短，如表1所示。从而在最短时间内筛选出最可能导致模型出现潜在错误的样本。

表1：本发明优先级测试的响应速度

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (8)

1.一种基于变异策略的深度学习输入集优先级测试方法，其特征在于，包括以下步骤：

(1)利用收集模块采集原始图像数据集与测试输入数据集，并进行整理分类；

(2)利用预训练模块根据步骤(1)获取的图像数据集预训练深度学习模型；

(3)通过变异策略模块对输入的图像数据集进行变异构建输入级编译策略或对步骤(2)预训练后的深度学习模型进行变异构建模型级变异策略；

(4)通过优先级值计算模块计算深度学习模型的置信度输出，并根据变异策略计算对于输入图像数据集的优先级值；

(5)通过排序模块根据优先级值的大小，实现对图像数据集从小到大的优先级排序。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)具体包括以下子步骤：

(1.1)将MNIST数据集、CIFAR-10数据集和ImageNet数据集作为原始图像数据集，保存为X，并分类得到每张图像相应的类标Y；

(1.2)利用FGSM攻击、DeepFool攻击和JSMA攻击方法处理原始图像数据集，得到测试输入数据集X_t。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)具体包括以下子步骤：

(2.1)通过one-hot编码将图像数据集中每个样本的标签转化为一维向量其格式，并计算其交叉熵：

其中，y_i是样本i的标签，y′_i是样本i的预测值，H_i是样本i的交叉熵。

(2.2)使用LeNet-5模型对MNIST数据集进行训练，使用ResNet50模型对CIFAR-10数据集进行训练，使用MobileNetV1模型对ImageNet数据集进行训练，使得交叉熵损失函数值最小来对深度学习模型添加权重，直至训练完成；所述交叉熵损失函数为：

其中，n_total为训练样本总数。

4.根据权利要求3所述的方法，其特征在于，所述步骤(2.1)中优选采用小批量梯度下降的方法进行训练。

5.根据权利要求1所述的方法，其特征在于，所述步骤(3)中利用像素高斯模糊策略或像素重置法对输入的图像数据集进行变异构建输入级变异策略；

所述像素高斯模糊策略具体为：根据高斯分布向输入的图像数据集x像素添加噪声noise，形成变异的图像数据集x_m；

x_m＝x+noise,noise～N(μ,δ²)

其中，μ默认设置成0，δ默认设置成0.8；

所述像素重置法具体为：对输入图像数据集x选定区域的像素进行置零操作：

value(location(x))＝0

其中，location(·)表示选取指定位置，value(·)表示像素值操作；

得到最终构建成新的变异图像数据集x_mutaion＝{x_m0,x_m1,...,x_mz}，其中x_m0表示原始图像数据集，z表示变异的次数。

6.根据权利要求1所述的方法，其特征在于，所述步骤(3)中利用权重重分配法或神经元逆激活法对步骤(2)预训练后的深度学习模型进行变异构建模型级变异策略；

所述权重重分配法具体为：通过对预训练模型的权重进行再分配，变异成新的深度学习网络模型；

weighs_l’＝Shuffling(weights_l)

其中，0<l<L,L表示模型的总层数，weighs_l表示预训练模型l层的初始权重，weighs_l’表示变异后l层的变异权重，Shuffling(·)表示随机洗牌；

所述神经元逆激活法具体为：在将神经元的输出值传递给激活函数之前，通过改变神经元输出值的符号来反转神经元的激活状态；设N＝{n₁,n₂,...}为深度学习模型的一组神经元，设φ_l(x,n)表示一个功能函数，该函数代表在给定输入x时，第l层神经元n所得到的神经元输出值。那么神经元逆激活定义为：

φ_l’(x,n)＝-φ_l(x,n)

其中，φ_l’(·)表示变异后的神经元输出；

最终通过模型变异得到变异深度学习网络模型集f_mutation＝{f_m0(·),f_m1(·),...,f_mk(·)}；其中，f_m0(·)表示原始模型，k表示总共变异的次数。

7.根据权利要求1所述的方法，其特征在于，所述步骤(4)具体包括以下子步骤：

(4.1)计算变异样本对于原始模型的预测输出置信度或原始样本对于变异模型的预测输出置信度：给定一个输入样本x∈X_t，则深度学习模型的关于样本的输出置信度可以表示为：

其中，D表示分类任务总类别数；

(4.2)根据变异策略计算对于输入图像数据集的优先级值；

对于输入级变异策略：由输入样本x，可以获得变异样本集x_mutaion＝{x_m0,x_m1,...,x_mz}，那么优先级函数θ(x)为：

对于模型级变异策略：由原始分类模型f(·)，可以获得变异模型集f_mutation＝{f_m0(·),f_m1(·),...,f_mk(·)}；那么优先级函数θ(x)为：

其中，

表示mj变异模型的置信度输出平方和。

8.根据权利要求1所述的方法，其特征在于，所述步骤(5)具体为：

对于属于测试输入数据集X_t集合中所有样本，根据选定的变异策略计算优先级值计算，最终获得集合

优先级排序则定义为：

X^*＝{x,Rank(ψ)}

其中，Rank(·)表示对集合的从小到大排序，最终实现对于图像数据集的从小到大排序，得到从小到大排序后的集合X^*。

Images