CN112364885A - 一种基于深度神经网络模型可解释性的对抗样本防御方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络模型可解释性的对抗样本防御方法。构建深度神经网络模型；对于每幅原始图像，通过投影梯度下降法生成原始图像对应的对抗样本图像，构成一组图像对；将图像对作为深度神经网络模型的输入，计算深度神经网络模型最后卷积层的特征图权重分布和激活图进一步训练；对于待测对象样本，输入到模型中进行预测分类，输出真实样本或者对抗样本的分类结果，对抗样本进行排除，实现对抗样本防御。本发明将模型可解释技术与深度神经网络模型图像分类模型的鲁棒性结合起来，使训练后的图像分类网络能够更好的抵御对抗样本。

Description

一种基于深度神经网络模型可解释性的对抗样本防御方法

技术领域

本发明涉及了一种深度学习领域提高模型鲁棒性的方法，尤其是涉及一种基于深度神经网络模型可解释性的对抗样本防御方法。

背景技术

深度神经网络模型在计算机视觉、语音识别、自然语言处理等领域表现出了优异的性能。尽管深度神经网络模型在图像分类领域取得了巨大成功，但人们发现它们很容易受到对抗样本的影响，即在一幅真实的图像中加入视觉上不易察觉的对抗干扰导致模型预测出现错误。这一漏洞不仅使深度神经网络模型在自动驾驶和人脸识别等关键应用领域带来了安全风险，而且也提出了探究这些黑盒模型如何工作的研究课题，即深度神经网络模型的可解释性。深度神经网络模型的可解释性对人工智能的发展具有重要意义，尤其是在对抗样本脆弱性的现实情况下。一个不能对其预测提供令人信服解释的模型是不能被信任的，特别是在医学、法律、军事等高风险决策领域，如果没有解释，可能会出现意想不到的错误，导致严重的后果。

提高深度神经网络模型鲁棒性的方法有多种分类，这些方法大致可分为对抗训练、输入转换、梯度掩码和对抗样本检测。输入转换是在样本输入到模型进行判定之前，先对样本进行去噪，剔除其中扰动的信息。但输入转换同时也会影响对真实样本的预测结果，降低真实样本的预测准确率。梯度掩码通过隐藏模型的原始梯度，能够防御基于梯度方法产生的对抗样本，但对其他方法的对抗样本几乎没有抵御效果。对抗样本检测只是能够发现输入样本中的对抗样本，但无法进行防御。当前对于对抗样本预测准确率最高的方法是对抗训练，然而对抗训练后的模型精度也不足够高。探究深度神经网络模型可解释性最直接的思路是利用特征可视化技术，获得对于预测起正向作用的图像区域，特别是可视化深度神经网络模型中间层的特征表示。因此本发明希望从可解释性的角度，利用可解释可视化方法得到重要特征以及与预测相关的像素点，约束真实样本和对抗样本在特征域和像素域之间的差异，进一步提高模型对于对抗样本的防御性能。

发明内容

为了克服深度神经网络模型易受对抗样本的影响，解决当前提高模型鲁棒性的方法性能不足、无法对所有方法产生的对抗样本都能有效防御的技术问题，本发明提供了一种基于深度神经网络模型可解释性的对抗样本防御方法。本发明得到的模型能够使真实样本和对抗样本的激活图可视化解释效果接近，并且具有更好的鲁棒性。

本发明是通过以下技术方案来实现的：

步骤1)构建一个用于图像分类的深度神经网络模型f；

步骤2)对于每幅原始图像x，通过投影梯度下降法生成原始图像x对应的对抗样本图像x′，将原始图像x和自身对应的对抗样本图像x′构成一组图像对(x，x′)；

步骤3)将步骤2)获得的图像对作为深度神经网络模型f的输入，计算深度神经网络模型f最后卷积层的特征图权重分布和激活图，进一步训练得到最终的深度神经网络模型f；

步骤4)对于待测对象样本，输入到步骤3)获得的模型中进行正确的预测分类，输出真实样本或者对抗样本的分类结果，对抗样本进行排除，实现对抗样本防御。

所述步骤2)具体为：

将原始图像x的输入到模型参数初始化的深度神经网络模型f中获得预测标签f(x)，通过约束输入的原始图像x的预测标签f(x)与已知的真实标签c之间的距离迭代地在原始图像中增加扰动，并保持扰动量始终在设定的阈值范围内，使扰动不容易被察觉，经过多次扰动迭代后得到对抗样本图像x′，计算过程如下式所示：

x_t＝x

其中，S表示最大扰动量，Π表示裁剪过程，保证对图像x的扰动量始终处于阈值范围内，α表示每次修改的步长，

表示计算梯度，

表示原始图像x的梯度，sign表示符号函数，J表示交叉熵损失函数；x_t+1表示第t+1次扰动迭代后的原始图像x，并取决于前一次扰动迭代后的原始图像x_t；

为扰动。

所述步骤3)具体为：

3.1)将步骤2)得到的图像对(x，x′)同时输入到深度神经网络模型f进行前向传递，分别获得原始图像特征图A和对抗样本图像特征图A′；

3.2)针对原始图像x和自身对应的对抗样本图像x′的类别标签，分别建立一组权重向量ω^f(x)和ω^f(x′)，权重向量的计算过程如下式所示：

其中，f表示深度神经网络模型，f(x)为原始图像的预测标签，f(x′)为对抗样本图像的预测标签，ω^f(x)和ω^f(x′)分别对应图像类别标签为原始图像的预测标签f(x)和对抗样本图像的预测标签f(x′)的权重向量；A_i，j和A′_i，j分别对应原始图像特征图和对抗样本图像特征图在(i，j)坐标位置处的像素值，i、j分别为特征图中像素点的横纵坐标位置，y为预测向量，Z表示特征图上像素点的总数；

3.3)计算原始图像与对抗样本图像的权重向量之间中的权重分布的距离，并选取前n个距离最大对应在特征图中的通道作为重要通道：

d[0，…，n]∈rank(|ω^f(x)-ω^f(x′)|)

其中，rank表示排序操作，||竖线表示取绝对值的操作，d[0，…，n]表示获得前n个距离最大的通道；

3.4)分别对原始图像特征图A和对抗样本图像特征图A′加权求和线性修正后，获得原始图像激活图M和对抗样本图像激活图M′，激活图的计算如下所示：

其中，

和

分别表示权重向量ω^f(x)和ω^f(x)中的第k个权重分量，A^k和A′^k分别表示原始图像特征图A和对抗样本图像特征图A′中的第k个通道分量，特征图的每一个通道分量与权重向量的一个权重值相对应；∑表示求和操作，ReLU表示取正值的线性修正操作；

在卷积神经网络中特征图是三维的，如某一层特征图尺寸为7*7*512，说明该特征图通道数量为512，每一个通道分量都为7*7大小。在上述权重向量的计算中，两个求和符号最终也是将一个三维向量转化成一个一维向量。

3.5)约束原始图像x和自身对应的对抗样本图像x′的重要通道间的特征距离和激活图距离，处理获得总约束项L，如下式所示：

L＝L_adv(x，x′，c，θ)+αL_CFS+βL_AMS

L_adv(x，x′，y，θ)＝-J(f(x)，c)-J(f(x′)，c)

L_AMS＝‖M-M′‖_F

其中，L表示总约束项；α和β为训练时的第一、第二超参数，根据不同模型而设置的平衡数字量级的调节参数；L_adv(x，x′，y，θ)表示对抗训练损失约束项，J表示交叉熵损失函数；L_CFS表示通道特征约束项，n表示重要通道的数量；L_AMS表示激活图距离约束，‖‖_F两竖线F表示Frobenius范数，θ表示模型参数；

由于重要通道对应的特征对预测结果的作用最大，而对抗样本改变了这些特征值导致模型预测错误，激活图对应的是对于预测最重要的像素点，因此，通道特征约束和激活图距离约束的目的是减小真实样本与对抗样本在特征域和像素域之间的差异，从而提高模型鲁棒性。

3.6)最后对总约束项L利用自适应矩估计优化器(Adam)对权重向量进行迭代优化，更新深度神经网络模型f的模型参数。

所述的深度神经网络模型f为ResNet50网络。

本发明的有益效果是：

本发明使训练后的网络具有更好的鲁棒性，避免对抗样本对深度神经网络模型进行分类和预测时的影响。在防御对抗样本的性能方面，本发明的防御效果在不降低真实样本预测准确率的情况下能够达到最优，并且对于任意方法产生的对抗样本都有效。在特征可视化激活图解释方面，本发明得到的模型能够使真实样本和对抗样本的可视化解释效果接近。

附图说明

图1为本发明所提出的方法的结构图，通过图中所示的约束条件经过训练得到最终的模型，其中原始图像和对抗样本图像经过的模型是相同的网络架构，并共享相同的参数。

图2为本发明与其他方法在原始图像和对抗样本图像测试准确率上的结果对比。

图3为本发明获得的模型与标准模型在真实样本图像和对抗样本图像上的激活图结果对比。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

按照本发明方法完整实施的实施例从ImageNet数据集中选取10类作为目标数据集，并以深度神经网络模型ResNet50作为目标模型，进行说明。详细步骤如下：

1)构造ImageNet10数据集，从ImageNet1000类的图片中挑选出10类，并选取10000幅图像用于训练，1000幅图像用于测试。

2)加载PyTorch中提供的ResNet50模型，将ImageNet10训练集中的图像以及通过投影梯度下降法生成的对抗样本图像共同输入到模型中。投影梯度下降法中攻击迭代次数设置为7，每一次迭代过程最大扰动量设置为0.03137，每次修改的步长设置为0.007843。

3)如图1所示，图像对前向传递的过程中，取出最后一层卷积层的特征图，例如ResNet50选取卷积层“layer4.2.conv3”的输出，并根据预测类别f(x)和f(x′)计算一组权重分布。

4)根据权重大小进行排序并取出前100个通道作为重要通道(ResNet50模型最后一层卷积层共有2048个通道，根据实验证明，前100个通道对预测最为重要)。

5)通过权重向量对特征图加权求和，得到一组激活图M和M′。

6)分别计算真实样本与对抗样本重要通道间的特征图距离以及激活图距离，即通道特征约束L_CFS和激活图距离约束L_AMS。

7)将对抗训练中用到的分类损失中加入上述两个约束，构成总的损失函数L，利用自适应矩估计(Adam)优化器对模型参数进行迭代优化。

8)依据经验设定训练次数为100，设置初始学习率为0.01，训练40次后设置学习率为0.001、超参数α和β分别设置为1^e-4和1^e-2。全部训练结束后得到最终的模型。

图2为本发明与其他方法的对比结果，本方法在各类对抗样本图像上的测试准确率均有提高，在原始图像上的测试准确率虽然低于标准模型，但相较于其他防御方法性能更好。

图3为本发明获得的模型与标准模型在原始图像和对抗样本图像上的激活图对比结果，可以发现标准模型两者的激活图差异很大，而本发明能够使两者可视化解释效果接近，从可解释性的角度证明了本发明能够正确有效的预测对抗样本图像。

由此可见，本发明将模型可解释技术与深度神经网络模型图像分类模型的鲁棒性结合起来，使训练后的图像分类网络能够更好的抵御对抗样本。

Claims (4)

1.一种基于深度神经网络模型可解释性的对抗样本防御方法，其特征在于：该方法的以下步骤：

步骤1)构建一个用于图像分类的深度神经网络模型f；

步骤2)对于每幅原始图像x，通过投影梯度下降法生成原始图像x对应的对抗样本图像x′，将原始图像x和自身对应的对抗样本图像x′构成一组图像对(x，x′)；

步骤3)将步骤2)获得的图像对作为深度神经网络模型f的输入，计算深度神经网络模型f最后卷积层的特征图权重分布和激活图，进一步训练得到最终的深度神经网络模型f；

步骤4)对于待测对象样本，输入到步骤3)获得的模型中进行正确的预测分类，输出真实样本或者对抗样本的分类结果，对抗样本进行排除，实现对抗样本防御。

2.根据权利要求1所述的一种基于深度神经网络模型可解释性的对抗样本防御方法，其特征在于：所述步骤2)具体为：

将原始图像x的输入到模型参数初始化的深度神经网络模型f中获得预测标签f(x)，通过约束输入的原始图像x的预测标签f(x)与真实标签c之间的距离迭代地在原始图像中增加扰动，并保持扰动量始终在设定的阈值范围内，使扰动不容易被察觉，经过多次扰动迭代后得到对抗样本图像x′，计算过程如下式所示：

x_t＝x

其中，S表示最大扰动量，∏表示裁剪过程，保证对图像x的扰动量始终处于阈值范围内，α表示每次修改的步长，

表示原始图像x的梯度，sign表示符号函数，J表示交叉熵损失函数；x_t+1表示第t+1次扰动迭代后的原始图像x，并取决于前一次扰动迭代后的原始图像x_t。

3.根据权利要求1所述的一种基于深度神经网络模型可解释性的对抗样本防御方法，其特征在于：所述步骤3)具体为：

3.1)将步骤2)得到的图像对(x，x′)同时输入到深度神经网络模型f进行前向传递，分别获得原始图像特征图A和对抗样本图像特征图A′；

3.2)针对原始图像x和自身对应的对抗样本图像x′的类别标签，分别建立一组权重向量ω^f(x)和ω^f(x′)，权重向量的计算过程如下式所示：

其中，f表示深度神经网络模型，f(x)为原始图像的预测标签，f(x′)为对抗样本图像的预测标签，ω^f(x)和ω^f(x′)分别对应图像类别标签为原始图像的预测标签f(x)和对抗样本图像的预测标签f(x′)的权重向量；A_i，j和A′_i，j分别对应原始图像特征图和对抗样本图像特征图在(i，j)坐标位置处的像素值，i、j分别为特征图中像素点的横纵坐标位置，y为预测向量，Z表示特征图上像素点的总数；

3.3)计算原始图像与对抗样本图像的权重向量之间中的权重分布的距离，并选取前n个距离最大对应在特征图中的通道作为重要通道：

d[0，…，n]∈rank(|ω^f(x)-ω^f(x′)|)

其中，rank表示排序操作，||竖线表示取绝对值的操作，d[0，…，n]表示获得前n个距离最大的通道；

3.4)分别对原始图像特征图A和对抗样本图像特征图A′加权求和线性修正后，获得原始图像激活图M和对抗样本图像激活图M′，激活图的计算如下所示：

其中，

和

分别表示权重向量ω^f(x)和ω^f(x)中的第k个权重分量，A^k和A′^k分别表示原始图像特征图A和对抗样本图像特征图A′中的第k个通道分量；∑表示求和操作，ReLU表示取正值的线性修正操作；

3.5)约束原始图像x和自身对应的对抗样本图像x′的重要通道间的特征距离和激活图距离，处理获得总约束项L，如下式所示：

L＝L_adv(x，x′，c，θ)+αL_CFS+βL_AMS

L_adv(x，x′，y，θ)＝-J(f(x)，c)-J(f(x′)，c)

L_AMS＝‖M-M′‖_F

其中，L表示总约束项；α和β为训练时的第一、第二超参数，根据不同模型而设置的平衡数字量级的调节参数；L_adv(x，x′，y，θ)表示对抗训练损失约束项，J表示交叉熵损失函数；L_CFS表示通道特征约束项，n表示重要通道的数量；L_AMS表示激活图距离约束，‖ ‖_F两竖线F表示Frobenius范数，θ表示模型参数；

3.6)最后对总约束项L利用自适应矩估计优化器对权重向量进行迭代优化，更新深度神经网络模型f的模型参数。

4.根据权利要求1所述的一种基于深度神经网络模型可解释性的对抗样本防御方法，其特征在于：所述的深度神经网络模型f为ResNet50网络。

Images