CN111428818B - 基于神经通路激活状态的深度学习模型测试方法与装置 - Google Patents

Abstract

本发明公开了一种基于神经通路激活状态的深度学习测试样本的生成方法及装置，方法包括以下步骤：1)获取图数据集与深度学习模型；2)预训练深度学习模型并获得神经通路激活状态特征矩阵；3)构建样本批次；4)变异操作；5)生成测试样本，其中包括计算变异样本与神经通路激活状态特征矩阵的距离，保持神经通路激活状态一致的情况下，根据梯度上升最大化修改测试样本与原始样本的距离并最终生成数据集与相应深度学习模型的测试集。该方法可以根据深度学习模型内部神经元与神经元、层与层之间的联系，有针对性地生成测试样本。

Description

基于神经通路激活状态的深度学习模型测试方法与装置

技术领域

本发明涉及深度学习安全领域，尤其涉及一种基于神经通路激活状态的深度学习模型测试方法与装置。

背景技术

随着过去十年数据的爆炸性增长，深度学习经历了前所未有的飞跃，在许多领域已经表现出媲美甚至超过人类水平的性能。深度学习算法作为人工智能领域的研究热点和主流发展方向，与传统机器学习算法相比，具有两个显著的优点。首先，深度学习算法可以随着数据规模的增加不断提高其性能，而传统的机器学习算法很难利用海量数据来不断提高其性能。其次，深度学习算法减少了为每个问题设计特征提取器的工作量，而传统的机器学习算法需要手工提取特征。因此，深度学习系统正成为许多新型工业应用(包括许多对安全至关重要的场景，例如自动驾驶)的关键驱动力。

但是，由于现实世界的深度学习系统输入空间较大，训练过程中无法涵盖所有可能发生的情况，处于某些极端情况下的深度学习系统可能会导致灾难性的后果，自动驾驶汽车的碰撞事故就是缺乏训练极端情况的经典案例。有鉴于此，深度学习系统在实际应用中必须针对极端情况进行系统地测试，进而理想地检测和修复任何潜在的缺陷和不良行为。

传统测试深度学习系统方法，是收集并手动标记尽可能多的真实测试数据，这项工作需要花费大量的时间成本和人力资源，同时也无法覆盖所有可能极端案例。

自动测试深度学习的方式分为白盒测试和黑盒测试。黑盒测试使用仿真来生成综合测试数据，使添加最小扰动的合成图像能够巧妙地蒙蔽DL(深度学习)系统，从而寻找到模型潜在的缺陷。这类方法从原始数据集角度出发，通过不断地尝试、迭代生成图片使模型分类错误。不断试错的方式固然能够发现DL系统中部分潜在的极端情况，但始终没有考虑模型内部的细节，在执行过程中会产生大量无意义的图片，增加系统的额外开销。白盒测试采用神经元覆盖率作为导向生成测试样本，这是一个静态测试过程。这类方式认为激活覆盖率越高，缺陷检测的机会就越大，生成的测试集覆盖的极端情况就越多。值得注意的是，神经元覆盖率是一个全局的概念，在数据集生成过程中所有神经元激活评估相同的阈值。但是，在实际情况下，不同神经元的输出统计分布非常不同。在不考虑神经元功能分布差异的情况下，对所有神经元使用相同的阈值将大大降低准确性。此外，最新的实验结果表明，神经元覆盖率并不能检测到中毒攻击的样本。由于上述局限，基于神经元覆盖率的测试方式无法详尽的搜索整个深度学习系统的输入空间。

发明内容

本发明提供了一种基于神经通路激活状态的深度学习测试样本的生成方法，该方法可以根据深度学习模型内部神经元与神经元、层与层之间的联系，有针对性地生成测试样本。

具体技术方案如下：

一种基于神经通路激活状态的深度学习测试样本的生成方法，包括以下步骤：

(1)获取图像数据集和深度学习模型；采用图像数据集对深度学习模型进行预训练；将图像数据集中的测试样本按类输入至预训练后的深度学习模型中，获得每类测试样本的神经通路激活状态的特征矩阵M；

(2)从图像数据集的剩余类中随机选取一类，构建该类的批处理池，该类的特征矩阵M用于生成准测试样本；将图像数据集放入批处理池中；

(3)从批处理池中随机选取若干个测试样本作为种子样本；对种子样本进行变异得到变异样本；对变异样本进行功率调整，确定变异样本下次进行变异的概率；

(4)将功率调整后的变异样本输入至预训练后的深度学习模型中，若预测输出与对应种子样本的原始类标一致，则舍弃该变异样本，对应的种子样本重新放入批处理池中；否则进行下一步；

(5)生成准测试样本，赋予准测试样本批次优先级别，将准测试样本放入批处理池中；

(6)循环执行步骤(3)-(5)，直至达到预设条件，则该批处理池中的样本组成该类的测试集；

(7)循环执行步骤(2)-(6)，直至生成所有类的测试集；所有类的测试集组成基于神经通路激活状态的深度学习测试样本集。

本发明中，所述的图像数据集为MNIST数据集、ImageNet数据集或CIFAR-10数据集；所述的深度学习模型为LeNet、VGG19或AlexNet。

步骤(1)中，获得每类测试样本的神经通路激活状态的特征矩阵M，包括以下步骤：

(i)构建n×m的矩阵，n为神经层个数，m为所有神经层中最大神经元个数；若某一神经层中神经元个数小于最大神经元个数m，则在矩阵中的相应位置上补0；

(ii)将测试样本输入深度学习模型中，前向传播，获得每个神经层中每个神经元的激活值；

(iii)根据每个神经元的激活值对对应神经层的激活函数求导，判断该神经元的激活状态；若神经元激活，则将矩阵中该神经元的对应位置置1，否则置0，获得每个测试样本的神经通路状态矩阵；

(iv)对该类所有测试样本的神经通路状态矩阵取公共集合，即得该类测试样本的神经通路激活状态的特征矩阵M。

步骤(3)中，对种子样本进行变异包括改变图像的像素值、改变图像的类标和/改变图像的尺度。

改变图像的像素值包括改变图像对比度、图像亮度、图像模糊和/或图像噪点；改变图像的尺度包括图像平移、图像缩放、图像剪切和/或图像翻转。

为确保图片有意义，在循环迭代中，图像的尺度只能改变一次，图像的像素值可多次改变。

改变图像的像素值时需满足：

其中，I表示原始图像；I’表示改变像素值后的图像；L₀表示已更改像素的最大数量；L_∞表示像素更改的最大值；size(I)是图像中0＜I的像素数量；0＜α，β＜1。

若改变图像的像素值后，得到的图像不满足上式，则改变后的图像超过像素最高值255，表明变异图像无意义，则将其丢弃。

功率调整决定不同种子样本的变异机会。步骤(3)中，对变异样本进行功率调整，包括：将变异样本的潜在突变作为变异样本下一次变异的概率；所述的潜在突变为：β×255×size(I)-sum(abs(I-I′₀))，其中β×255×size(I)表示原始样本可改变的最大值，sum(abs(I-I′₀))表示变异样本已经改变的值。

步骤(5)中，生成准测试样本包括以下步骤：

(5-1)优化损失函数，计算损失函数值及梯度；

所述的损失函数为：

其中.

为深度学习模型的损失函数，x为变异样本，y_i为第i类实际输出，y_i′为第i类标签，N为所有变异样本的数量，0＜λ＜1。

计算所有样本的均方误差作为系统损失函数，λ参数用于平衡测试种子在深度学习模型中的损失函数与最小化矩阵距离。

loss₂＝f_n(x)＝Min(Dist(m，M))，dist(m，M)表示对变异样本与选定类的特征矩阵M求欧氏距离；

所述的梯度为：

(5-2)根据梯度上升最大化修改变异样本：

x＝x+s*grad：

其中，x′为修改后的变异样本，x为修改前的变异样本，grad为梯度，s为迭代步长。

loss₁为测试样本在深度学习模型中的损失函数；loss₂以最小化生成样本的神经通路激活状态矩阵与选定类的特征矩阵M之间的差距，保持激活神经通路相同且欧式距离最小。

生成的准测试样本满足以下条件：

准测试样本的神经通路激活状态矩阵m与选定类的特征矩阵M之间的欧式距离小于设定阈值；

准测试样本的预测输出与选定类的类标相同；

准测试样本的预测输出与对应的种子样本的原始类标不同。

步骤(5)中，赋予准测试样本批次优先级别的方法为：根据样本已循环处理的次数概率作为该样本被下一次批次处理的概率；样本已循环处理的次数概率的计算公式为：

其中B是批次，f(B)表示批次B被变异处理的次数，p_min是最小概率，0＜p_min＜1，γ为正整数。参数γ和p_min的值可由人为调整，优选的，γ为10。

步骤(6)中，所述的预设条件为：该类批处理池中，所有样本被变异处理的次数均大于或等于N。这里N可认为设定，N优选为大于或等于100。

本发明还提供了一种基于神经通路激活状态的深度学习测试样本的生成装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序；

所述计算机存储器中存有图像数据集和深度学习模型，所述计算机处理器执行所述计算机程序时实现上述的深度学习测试样本的生成方法。

与现有技术相比，本发明的有益效果为：

本发明的基于神经通路激活状态的深度学习测试样本的生成方法，可以根据深度学习模型内部神经元与神经元、层与层之间的联系，有针对性地生成测试样本，该方法具有良好的适用性，生成的测试样本覆盖率较大。

附图说明

图1为实施例中深度学习测试样本的生成方法的流程示意图；

图2为实施例中深度学习测试样本的生成系统的架构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本实施例提供了一种基于神经通路激活状态的深度学习测试样本的生成方法，如图1所示，包括以下步骤：

1)获取数据集与深度学习模型，具体包括：

1.1)收集图像数据集，获取MNIST数据集、ImageNet数据集和CIFAR-10数据集并保存；

1.2)收集深度学习模型，获取LeNet、VGG19和AlexNet深度学习模型并保存；

2)预处理，具体包括：

2.1)选取步骤1.1)中收集的某个数据集和步骤1.2)中收集的某个深度学习模型，并将数据集输入深度学习模型中对模型进行训练；

为获得更全的测试集样本，我们针对原始数据集的每一类，逐类进行迭代操作。即每次选取原始数据集的一类观察神经通路，获得神经通路激活状态特征矩阵，通过原始测试集的变异模拟该类神经通路激活状态。

2.2)获取神经通络激活状态矩阵；

将神经网络的前向传播过程表示为f：R^D→R^C，其中D表示输入的维度，C表示输出的维度。对于L层网络结构，以输入的某个神经元为起始节点，每层中间运算层的某个神经元为中间节点，最后输出的某个神经元为末节点，节点间串联构成一条有向无环图，这就是主要研究的第L-1级神经通路，称为最长神经通路，定义为集合P_L-1＝{p_L-1(1，·，...，·)}。对集合中所有神经通路的计算构成了神经网络的前向传播过程，并且决定了最后的输出结果。可以将整个模型表示为：f(x)＝w·x+b，其中w表示权重矢量矩阵，w的任意子集都对应神经网络中的某一神经通路，x表示输入矢量矩阵，b表示偏置。

选取一类样本输入后每层神经元的激活值排列成一组神经通路激活状态矩阵(若每层神经元个数不同，则选取最多神经元个数构建矩阵，在矩阵相应位置上补0)，进而我们获取这类样本的神经通路激活状态特征矩阵M：

即，将单张样本种子x₁输入深度学习模型中，每层神经元输出将由其权重W与x₁点乘、求和，所得的值再经过激活函数得到神经元激活值，再传播到下层神经层进行类似操作。我们对该样本输入后每层激活函数求导，若神经元激活，则求导结果为1，否则为0。由于每层神经元个数不同，因此矩阵构建为[神经层个数×最大神经元个数]，若神经层上神经元个数小于最大神经元个数，则在相应位置上补0，由此得到该样本的神经通路状态矩阵，对该类所有测试样本的神经通路状态矩阵取公共集合，即得到神经通路激活状态特征矩阵M。

3)获取测试样本批次，从步骤2.1)中选取的数据集的测试集中随机选取样本作为测试种子样本，由于一个DNN模型一次可以快速预测多个种子，形成一个批次；

4)生成测试样本，具体操作包括：

4.1)变异操作，对步骤3)中构建的批次图像改变其像素值(图像对比度、图像亮度、图像模糊和图像噪点)、图像的类标(类标互换)和图像的尺度(图像平移、图像缩放、图像剪切和图像翻转)。为确保图片有意义，在循环迭代中，图像的尺度只能改变一次，图像的像素值可以多次改变。我们使用L₀和L_∞来对像素值的改变进行约束。假设通过像素变换将图片I改变成为了I’，那么如果I’有意义，则需要满足：

其中0＜α，β＜1，L₀表示已更改像素的最大数量，L_∞表示像素更改的最大值，size(I)是图像中0＜I的像素数量。若种子不满足上述表达式，说明种子超过像素最高值255，表明变异种子无意义，则将其丢弃。

4.2)功率调整，决定不同种子的变异机会，具体操作如下：

通过有限次尝试来更改一张图片，假设变异操作图片I改变成为了I₀’，我们将潜在突变定义为β×255×size(I)-sum(abs(I-I′₀))，其中β×255×size(I)表示图像可改变的最大值，sum(abs(I-I′₀))表示图像I₀’已经改变的值。

4.3)检测模型是否正确识别测试样本

将步骤4.2)中的功率调整批次输入选定的深度学习模型中，将深度学习模型分类的结果与样本的原始类别对比，结果一致表明批次变异失败，则将这个批次的种子重新放入批处理池中等待循环，结果不一致则进行下面的步骤；

5)生成测试样本，具体操作包括：

5.1)计算损失函数值及梯度

损失函数包含两部分，一部分为测试样本在深度学习模型中的损失函数：

其中y_i为第i类实际输出，y_i’为第i类标签，N表示所有样本的数量，我们计算所有样本的均方误差作为系统损失函数。

另一部分以最小化生成样本与神经通路激活状态矩阵之间的差距，保持激活神经通路相同且欧式距离最小。在步骤2.2)中，我们已经找到了该类的特征矩阵M，知道该类样本激活的神经通路状态，我们将变异生成的图片的神经通路激活状态矩阵m与特征矩阵M求欧式距离，欧式距离小于阈值且变异样本的预测输出与该类类标相同，与原始类标不同，这样的样本将予以保留，添加到批处理池种。损失函数为：

loss₂＝f_n(x)＝Min(dist(m，M))

其中dist(m，M)表示对变异样本与特征矩阵求欧氏距离。

最终转化为优化问题，损失函数：

λ参数用于平衡测试种子在深度学习模型中的损失函数与最小化矩阵距离(0＜λ＜1)，x表示单张变异样本。

梯度：

5.2)根据梯度上升最大化修改测试样本，修改后的测试样本x＝x+s*grad，其中s为迭代步长；

5.3)批次优先顺序选择，批次优先级决定下一步应选择哪个批次，具体操作如下：

我们采用根据已经循环处理的次数概率选择批次。特别地，概率由以下公式计算：

其中B是批次，f(B)表示批次B被变异处理了多少次，且p_min＞0是最小概率，0＜p_min＜1，参数γ控制批次处理的次数，默认取10且为正整数，参数γ和p_min的值可由人为调整。

5.4)基于同一类样本的神经通路状态矩阵进行循环迭代，若批次池中的f(B)批次均迭代到N次(次数N可人为决定，无说明默认100次)，则随机选取下一类样本的特征矩阵。

6)对于同一个数据集，循环上述3)4)5)，最终批处理池中将获得基于神经通路激活状态的测试集。

本实施例还提供了一种基于神经通路激活状态的深度学习测试样本的生成装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序；

所述计算机存储器中存有图像数据集和深度学习模型，所述计算机处理器执行所述计算机程序时实现上述的深度学习测试样本的生成方法。

本实施例还提供了一种基于神经通路激活状态的深度学习测试样本的生成系统，如图2所示，包括获取模块、预处理模块、构建样本批次模块、变异模块和测试样本生成模块。

获取模块主要分为两个获取单元，第一获取单元获取数据集，第二获取单元获取深度学习模型，具体包括：

第一获取单元，收集图像数据集，获取MNIST数据集，ImageNet数据集和CIFAR-10数据集并保存；

第二获取单元，收集深度学习模型，获取LeNet、VGG19和AlexNet深度学习模型并保存。

预处理模块，根据上述方法选取第一获取单元中收集的某个数据集和第二获取单元中收集的某个深度学习模型，并将数据集输入深度学习模型中对模型进行训练，获得该数据集中每类样本的神经通路激活特征矩阵。

构建样本批次模块，根据上述方法从预处理模块中预训练后的数据集中，随机选取若干样本作为种子样本，构建成一个批次的种子样本，将数据集中的样本分为若干个批次。

变异模块，根据上述方法分批次对数据集中样本进行变异操作、功率调整并检查变异是否合理。

测试样本生成模块，按照上述方法，根据变异合理的测试样本生成最终的测试样本。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于神经通路激活状态的深度学习测试样本的生成方法，其特征在于，包括以下步骤：

(1)获取图像数据集和深度学习模型；采用图像数据集对深度学习模型进行预训练；将图像数据集中的测试样本按类输入至预训练后的深度学习模型中，获得每类测试样本的神经通路激活状态的特征矩阵M；

(2)从图像数据集的剩余类中随机选取一类，构建该类的批处理池，该类的特征矩阵M用于生成准测试样本；将图像数据集放入批处理池中；

(3)从批处理池中随机选取若干个测试样本作为种子样本；对种子样本进行变异得到变异样本；对变异样本进行功率调整，确定变异样本下次进行变异的概率；

(4)将功率调整后的变异样本输入至预训练后的深度学习模型中，若预测输出与对应种子样本的原始类标一致，则舍弃该变异样本，对应的种子样本重新放入批处理池中；否则进行下一步；

(5)生成准测试样本，赋予准测试样本批次优先级别，将准测试样本放入批处理池中；生成准测试样本包括以下步骤：

(5-1)优化损失函数，计算损失函数值及梯度；

所述的损失函数为：

其中：

为深度学习模型的损失函数，x为变异样本，y_i为第i类实际输出，y_i’为第i类标签，N为所有变异样本的数量，0<λ<1；

loss₂＝f_n(x)＝Min(dist(m,M))，dist(m,M)表示对变异样本与选定类的特征矩阵M求欧氏距离；

所述的梯度为：

(5-2)根据梯度上升最大化修改变异样本：

x’＝x+s*grad；

其中，xˊ为修改后的变异样本，x为修改前的变异样本，grad为梯度，s为迭代步长；

生成的准测试样本满足以下条件：

准测试样本的神经通路激活状态矩阵m与选定类的特征矩阵M之间的欧式距离小于设定阈值；

准测试样本的预测输出与选定类的类标相同；

准测试样本的预测输出与对应的种子样本的原始类标不同；

(6)循环执行步骤(3)-(5)，直至达到预设条件，则该批处理池中的样本组成该类的测试集；

(7)循环执行步骤(2)-(6)，直至生成所有类的测试集；所有类的测试集组成基于神经通路激活状态的深度学习测试样本集。

2.根据权利要求1所述的基于神经通路激活状态的深度学习测试样本的生成方法，其特征在于，步骤(1)中，获得每类测试样本的神经通路激活状态的特征矩阵M，包括以下步骤：

(ⅰ)构建n×m的矩阵，n为神经层个数，m为所有神经层中最大神经元个数；若某一神经层中神经元个数小于最大神经元个数m，则在矩阵中的相应位置上补0；

(ⅱ)将测试样本输入深度学习模型中，前向传播，获得每个神经层中每个神经元的激活值；

(ⅲ)根据每个神经元的激活值对对应神经层的激活函数求导，判断该神经元的激活状态；若神经元激活，则将矩阵中该神经元的对应位置置1，否则置0，获得每个测试样本的神经通路状态矩阵；

(ⅳ)对该类所有测试样本的神经通路状态矩阵取公共集合，即得该类测试样本的神经通路激活状态的特征矩阵M。

3.根据权利要求1所述的基于神经通路激活状态的深度学习测试样本的生成方法，其特征在于，步骤(3)中，对种子样本进行变异包括改变图像的像素值、改变图像的类标和/改变图像的尺度。

4.根据权利要求3所述的基于神经通路激活状态的深度学习测试样本的生成方法，其特征在于，改变图像的像素值包括改变图像对比度、图像亮度、图像模糊和/或图像噪点；改变图像的尺度包括图像平移、图像缩放、图像剪切和/或图像翻转。

5.根据权利要求3或4所述的基于神经通路激活状态的深度学习测试样本的生成方法，其特征在于，改变图像的像素值时需满足：

其中，I表示原始图像；I’表示改变像素值后的图像；L₀表示已更改像素的最大数量；L_∞表示像素更改的最大值；size(I)是图像中0<I的像素数量；0<α,β<1。

6.根据权利要求1所述的基于神经通路激活状态的深度学习测试样本的生成方法，其特征在于，步骤(3)中，对变异样本进行功率调整，包括：将变异样本的潜在突变作为变异样本下一次变异的概率；所述的潜在突变为：β×255×size(I)-sum(abs(I-I'₀))，其中：0<β<1；I表示原始图像；I₀’为原始图像经变异操作获得的变异样本；size(I)是原始图像中0<I的像素数量；β×255×size(I)表示原始样本可改变的最大值，sum(abs(I-I'₀))表示变异样本已经改变的值。

7.根据权利要求1所述的基于神经通路激活状态的深度学习测试样本的生成方法，其特征在于，赋予准测试样本批次优先级别的方法为：根据样本已循环处理的次数概率作为该样本被下一次批次处理的概率；样本已循环处理的次数概率的计算公式为：

其中B是批次，f(B)表示批次B被变异处理的次数，p_min是最小概率，0<p_min<1，γ为正整数。

8.一种基于神经通路激活状态的深度学习测试样本的生成装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中存有图像数据集和深度学习模型，所述计算机处理器执行所述计算机程序时实现如权利要求1～7任一项所述的深度学习测试样本的生成方法。

Images