CN115481716A - 一种基于深度网络前景激活特征转移的物理世界对抗攻击方法 - Google Patents

Abstract

本发明公开了一种基于深度网络前景激活特征转移的物理世界对抗攻击方法，属于计算机人工智能安全领域，既可以兼顾对抗扰动的伪装，又可以使得对抗样本具有高攻击成功率以及高迁移性。本发明借鉴AdvCAM，使用神经风格迁移方法将对抗扰动伪装在物理世界中常见的场景中，通过在制造对抗样本的过程中对自然环境进行模拟，提高样本的鲁棒性，通过减少前景区域中激活图的面积可以显著增加对抗样本的攻击成功率，本发明提出了一种FAT损失函数，使用对抗扰动强制将输入图像的激活区域从图片中的前景上转移到背景上去，从而提高产生的对抗样本的攻击成功率；采用简单又有效的MRE方法，每次迭代随机加载一个模型进入显存，急剧减少显存的最大需求量。

Description

一种基于深度网络前景激活特征转移的物理世界对抗攻击 方法

技术领域

本发明属于计算机人工智能安全领域，具体涉及一种基于深度网络前景激活特征转移的物理世界对抗攻击方法。

背景技术

随着深度学习以及人工智能的快速发展，深度学习技术已经广泛应用到各个领域中，例如物体检测、图像分类、图像分割、自然语言处理，甚至是一些对系统安全性要求很高的领域中，例如语音识别、人脸识别、指纹识别以及自动驾驶等。然而深度神经网络很容易受到对抗样本的威胁，通过在输入图像上故意添加一些精心设计的细微的对抗扰动，尽管和原图像差别并不是很大，但是DNN会以高置信度输出一个错误的标签。

根据对抗样本的应用场景，对抗攻击的方法可以分为数字世界对抗攻击和物理世界对抗攻击。数字世界对抗攻击是指直接将对抗扰动添加在图片上，对抗样本不需要经过“打印-重拍摄”应用在现实空间中；物理世界对抗攻击是指在现实物理环境中对已经部署的DNN系统进行攻击，其攻击手段一般都是现实中可以操作的；他们的主要区别是否需要经过真实自然环境的干扰，对抗扰动是否在物理世界上是可实现的。由于数字世界对抗攻击方法的噪声大小是人眼不容易分辨的，而且在打印对抗扰动的时候存在打印色差，难以精确的打印，所以数字世界中的对抗样本难以进行物理世界中的部署。物理世界对抗攻击中除了需要考虑对抗扰动大小的问题之外，还面临着以下几个障碍:1)物理世界中存在各种自然因素的干扰，比如光照、旋转角度、相机拍摄的距离、角度以及随机的相机噪声等，这些因素会导致对抗样本失效；2)实施物理世界中对抗攻击，所需要的对抗扰动很大，人眼非常容易分辨出来，但是对噪声进行伪装之后的对抗扰动会面临着攻击成功率下降的问题；3)在物理世界应用中，同一个对抗样本可能需要攻击多个模型；提高物理世界对抗样本的在不同模型之间的迁移性也是一个需要解决的问题，目前存在的方法有：

数字世界中对抗攻击方法:

数字世界对抗攻击方法一般使用Lp范数来确保生成的对抗扰动不会太大。首个对抗攻击方法是由Szegedy等提出的L-BFGS，它将对抗样本生成的问题描述成为一个优化问题，使用线性搜索方法加盒约束来寻找问题最优解。

Goodfellow等人提出了快速梯度符号法(Fast gradient signmethod，FGSM)，该方法认为使用神经网络的线性空间产生的对抗样本已经足够了，使用网络梯度方向快速生成对抗样本。Kurakin等提出了基本迭代法(Basic Iterative Method，BIM)，这种方法是FGSM方法的一种多步迭代版本，通过使用迭代的手段，针对一个模型的攻击强度更强，但是却降低了样本的迁移性。Madry等提出了投影梯度下降法(Project Gradient Descent，PGD)，同样也是FGSM的一种多步迭代的版本，和BIM相比多了一步随机噪声随机初始化，比BIM拥有更好的效果。

Moosavi-Dezfooli等提出了DeepFool方法，根据模型的分类超平面，使用无目标攻击方法找到可以攻击成功的最小噪声。除了上面基于梯度的攻击方法，Carlini和Wagner等提出了基于优化的攻击方法CW攻击，这种方法同时拥有高攻击成功率以及相对于FGSM和PGD低的对抗扰动。除此之外，还有一系列基于对抗生成的攻击方法，AdvGAN，ADVGAN++，这类方法利用了GAN天生的生成图片的特性，用来生成对抗扰动，在半白盒和黑盒攻击中都取得了很好的效果。但是由于数字世界对抗攻击方法的噪声大小是人眼不容易分辨的，而且在打印对抗扰动的时候存在打印色差，难以精确的打印，所以数字世界中的对抗样本难以进行物理世界中的部署。

物理世界对抗攻击方法：

Kurakin等首次提出并证明物理世界对抗攻击的存在，并且通过实验验证尽管在复杂的真实世界场景中，深度神经网络也很容易受到对抗样本的影响。然而，Athaly等的研究工作发现由于真实物理世界中存在的各种自然因素的影响，例如光照、视角变换、距离变换、相机噪声、打印机色差以及其他的自然因素，导致实现物理世界对抗攻击非常困难。为了让对抗样本可以不受这些自然变化因素的影响，Athalye等提出了EOT算法，可以让对抗样本对一些自然因素的变化产生鲁棒性，但是由于其对抗扰动设置的还是很小，所以在真实物理环境中不能使用。

在更加复杂的环境中使用对抗样本的时候发现小对抗扰动不容易被摄像机捕获到，因此加大对抗扰动的大小非常有必要。在不限制对抗扰动大小的情况下，Sharif等通过将对抗扰动添加到眼镜框上，人只需要带上这个眼镜框，就可以实现攻击人脸识别模型。Xu等通过将对抗扰动添加到T恤上，人通过穿上对抗T恤，就可以在行人目标检测系统中实现隐身。Brown等提出了一种简单有效的物理世界攻击方式，对抗性补丁(AdvPatch)将产生的补丁贴在物体的旁边或者物体上面，可以实现灵活的攻击各种模型。Eykholt等通过使用对抗性的贴纸和涂鸦，实现了物理世界上对交通标志识别网络的攻击，其产生的视觉对抗扰动可以在各种不同的条件实现稳健的性能，该攻击验证威胁了自动驾驶汽车的安全性。但是这些方法增加了对抗扰动的大小，人眼非常容易分辨出这些对抗样本。为了解决对抗扰动明显的问题，Duan等提出了Adversarial camouflage(AdvCam)方法，该方法创造性的将神经风格迁移引入到对抗攻击中，将显眼的对抗扰动灵活的隐藏在自然界可能出现的一些合理的自然现象中，例如生锈、下雪等场景，实现了物理世界对抗扰动的伪装，但是经过伪装的对抗扰动可能会出现攻击成功率下降的问题，而且这种方法产生对抗样本的迁移性很差，虽然可以使用集成学习(Ensemble)方法增加样本迁移性，但是其需要大量的GPU显存，但是在GPU内存有限的情况下，这种方法就不能使用。

发明内容

本发明提供了一种基于深度网络前景激活特征转移的物理世界对抗攻击方法，既可以兼顾对抗扰动的伪装，又可以使得对抗样本具有高攻击成功率以及高迁移性。

为实现以上目的，本发明采用以下技术方案：

一种基于深度网络前景激活特征转移的物理世界对抗攻击方法，包括以下步骤：

步骤1：首先给定目标样本图像x，其真实标签是y、前景mask，目标风格图像x^s；

步骤2：初始化对抗样本x′_ori＝x；

步骤3：将图像输入到物理世界环境模拟器，在制造对抗样本的过程中加入随机变化，将对抗样本x′_ori输入物理世界环境模拟器之后，得到新的对抗样本x′；

步骤4：随机选取目标模型，每次迭代在模型池中随机选取一个模型，在这次迭代中只针对这个选定的模型进行攻击，这样每次迭代GPU显存中就只存在一个模型；

步骤5：计算输入图像的各种特征矩阵，以及其对应的各种损失函数；

步骤6：根据最终计算的loss，计算loss相对于对抗样本图像x′_ori的梯度，反向传播更新x′_ori；

步骤7：达到给定的迭代次数结束，保存每次迭代的样本x′_ori，选择最优的。

以上所述步骤中，步骤5具体包括以下步骤：

步骤5.1：计算x′的FAT损失，首先计算出输入对抗样本x′在目标网络中输出的Grad-Cam可视化激活图，将其进行灰度处理，然后再根据提前生成的mask灰度图，计算二者之间的距离，得到最后的FAT损失；

步骤5.2：计算对抗样本x′的风格损失，在物理世界对抗攻击中，所需要的对抗扰动很容易被人发现，所以需要对其进行伪装，本发明使用了神经风格迁移的方法将对抗扰动伪装在给定的风格中；首先计算出给定目标风格图像在网络中各层的特征图，然后计算出对抗样本x′在目标网络中各层的特征图，最终两个特征图计算二范数距离即可，最小化风格损失的过程就是将对抗扰动的风格向目标风格拉近的过程；

步骤5.3：计算内容损失：在上面的风格损失中，将对抗扰动进行了伪装，但是仅仅有风格损失的时候，产生的对抗样本内容信息会丢失，所以需要使用内容损失来保留原图中的内容信息，衡量对抗样本x′_ori和原始样本x之间的相似性；

步骤5.4：计算平滑损失：根据摄像机的成像原理，自然界中拍摄的图像，一般都是平滑且有一致性的小补丁组成，并且图像颜色在小补丁之内逐渐变化，所以在物理世界对抗攻击中加上这个损失，通过减小对抗样本中相邻像素之间的变化幅度，会在一定程度上提高对抗本的在物理世界上的鲁棒性；

步骤5.5：计算对抗损失：这里使用了对抗攻击方法中常用的交叉熵损失，可以使用有目标攻击和无目标攻击两种形式。

有益效果：本发明提供了一种基于深度网络前景激活特征转移的物理世界对抗攻击方法，和现有的物理世界对抗攻击技术相比，本发明具有以下优点：

(1)本发明提出了一种基于前景激活特征转移的攻击方法，提出了FAT损失，相比于其他的物理世界对抗攻击方法，在保证对抗扰动具有高度伪装性的同时，具有跟高的攻击成功率；

(2)本发明提出了一种新颖的增加对抗样本迁移性的方法MRE，相比于Ensemble方法本方法对显存的需求更小，即可以在内存有限的情况下，增加对抗样本的迁移性；

(3)为了实现灵活的噪声伪装，本发明借鉴Adversarial camouflage(AdvCAM)，使用神经风格迁移方法将对抗扰动伪装在物理世界中常见的场景中；

(4)为了减少对抗样本受到自然环境变化的影响，本发明通过在制造对抗样本的过程中对自然环境进行模拟，提高样本的鲁棒性；

(5)通过减少前景区域中激活图的面积可以显著增加对抗样本的攻击成功率；本发明认为虽然前景物体上面存在有可以误导深度神经网络的对抗扰动，但是如果热力图的激活区域仍然集中在前景物体上面，就有几率让神经网络识别成功；

(6)为了在噪声伪装的同时提高对抗样本的攻击成功率，本发明提出了一种FAT损失函数，本发明的FAT损失，使用对抗扰动强制将输入图像的激活区域从图片中的前景上转移到背景上去，从而提高产生的对抗样本的攻击成功率；

(7)为了提高对抗样本的迁移性，本发明采用了Ensemble方法，然而该方法需要同时载入多个模型，所需GPU显存成倍的增加，针对这个问题本发明提出了一个简单又有效的Memory Reduction Ensemble(MRE)方法，每次迭代随机加载一个模型进入显存，急剧减少显存的最大需求量。

附图说明

图1为本法明实施例中FAT-MRE方法的整体流程图；

图2为本发明实施例中MRE方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明：

如图1所示，一种基于深度网络前景激活特征转移的物理世界对抗攻击方法，包括以下步骤：

步骤1：首先给定目标样本图像x，其真实标签是y，以及其前景mask，给定目标风格图像x^s；

步骤2：初始化对抗样本x′_ori＝x；

步骤3：采用了EOT(Expectation Over Transformation)算法来模拟物理世界中的各种变化，并选择了一些在物理世界中可能遇到的环境变化分布T、光照变化、视角变化、相机噪声、物体旋转、物体缩放以及随机背景，经过物理世界模拟器之后，新的对抗样本变成：

x′＝E_t～T[bg+t(x′_ori)]

其中，bg代表的是随机选取的背景，T表示物理世界中可能出现的环境变化分布，t表示从环境变化分布T分布中选取的一个样本，E表示求期望值；

步骤4：随机选取目标模型，这一步是本发明提出的MRE方法的核心步骤，每次迭代在模型池中随机选取一个模型加载进入GPU显存，在该次迭代结束之后，先随机选取下次迭代使用的目标模型，如果选取的模型和当前模型一致，则继续下次迭代，否则将模型从显存中卸载，然后重新加载下一次迭代的模型；

步骤5：计算输入图像的各种特征矩阵，以及其对应的各种损失函数；

步骤5.1：计算x′的FAT损失

Grad-CAM可以将网络的“注意力”用热力图的方式展现出来，x′的Grad-CAM热力图的计算方法如下:

其中

其中y^c代表样本x′为被网络F分为第c类的置信度，A表示特征图，A^k表示第k个通道的特征图，

表示第k个通道的特征图上的(i,j)位置上的值，Z为一个常数，代表激活图中的像素数量，所以本发明的FAT损失如下所示：

其中Mask(x′)表示对抗样本x′中前景物体的掩膜，

表示对mask取反操作，最终得到FAT损失；

步骤5.2：计算对抗样本x′的风格损失，这是首先给定目标风格图片，并提取出各个网络层的特征图，将对抗样本输入网络，同样也提取出网络各个层的特征，然后将两组特征图计算对应的二范数距离，具体步骤如下公式所示。

其中F代表特征提取网络，

代表的是F网络的一系列风格特征层提取出来的Gram矩阵，S_l代表用来提取图片风格特征的网络层的集合，因为不同的卷积层会有不同的风格特征，此处使用了网络中的所有卷积层作为风格特征提取网络；

步骤5.3：计算内容损失：内容损失的作用主要是为了保留原图中的内容信息，避免内容信息被对抗扰动破坏，也可以作为衡量对抗样本和原图相似性的量化指标：

其中，F是特征提取网络，F_l代表一系列用于提取图片内容特征的网络层，C_l是用于提取内容特征的一系列网络层，在本文的工作中使用目标网络的深层网络特征作为内容特征，不用要求固定选取哪几层的特征；

步骤5.4：计算平滑损失，平滑损失指代的是对抗样本相邻像素之间的跨度的大小：

其中，x_i,j代表图像中的(i,j)位置的像素，x′_i,j代表对抗样本图像中(i,j)位置的像素点；

步骤5.5：计算对抗损失，如果使用的是无目标攻击方法，对抗损失的计算如下公式所示：

L_attack＝log(p_y(x'))

如果使用的是要有目标攻击方法，使用如下对抗损失：

其中，p_y表示对抗样本x′经过网络F后得到的预测类别的置信度，

表示的是目标攻击类别的置信度，无目标攻击的目标是最小化原图像x所对应的类别的概率，目标攻击是在最小化原图真实类别置信度的同时增大目标类别的置信度；步骤6：根据最终计算的loss，使用Adam优化器计算loss相对于图像x′_ori的梯度，反向传播更新x′_ori；具体是使用了Adam优化器，计算最终得到的loss关于输入图像x’的梯度，然后反向更新；对于神经网络的训练来说，都是使用Adam优化器更新网络的参数，从而使得模型效果达到最佳。对于对抗攻击来说，更新的是输入图像，得到对抗样本。

步骤7：达到给定的迭代次数结束，一般选择2000次迭代，保存每次迭代的样本，选择最优的；最优指代的是，在迭代过程中攻击成功率达到最大且稳定，并且内容损失在迭代过程中达到最小。

通过以下实验验证以上方法的有效性：评估指标为对抗样本的内容损失(相当于扰动的大小和对模型的攻击成功率：

攻击成功率-对抗样本针对模型的攻击效果

内容损失-在物理世界中的对抗扰动不同于数字世界中的对抗扰动，不能使用L2损失进行衡量，所以本发明使用内容损失来当作衡量对抗样本和原样本之间的相似性。

本实验选择使用Vgg19和Vgg16两个网络模型作为目标模型，在物理世界中进行了实验，在物理世界的实验中，首先将制造出来的对抗样本打印出来，然后使用手机相机在多个不同的背景，不同的视角，不同的距离进行视频录制，然后对视频在相同的帧间隔下进行采样，最后每一个样本采样得到500-600张图像，作为测试集测试攻击成功率。

选取了两个迭代次数相同的并且内容损失也大致相似的对抗样本。在本次实验中，分别选取了迭代次数在1250和1850的两对样本，然后使用这两个样本在真实物理世界中使用手机相机进行视频录制，总共选取了10个不同的场景作为背景，有室内场景、室外场景；每个场景下拍摄了不同相机视角、不同光照情况的视频，在每个视频中隔相同的帧数取图像，测试两个对抗样本的攻击成功率。

表1上述实验攻击成功率-对抗样本针对模型的攻击效果数据

样本名称	Vgg19-Top1	Vgg19-Top5	Vgg16-Top1	Vgg16-Top5	内容损失
						1850(FAT-MRE)	0.9943	0.9563	0.9847	0.8992	1543352
1850(AdvCam)	0.9831	0.8536	0.7767	0.4146	1543720
						1250(FAT-MRE)	0.9761	0.9034	0.9647	0.8992	1557983
1250(AdvCam)	0.9012	0.5696	0.6322	0.3511	1560239

通过上述实验结果可以看出，本发明FAT-MRE的方法在物理世界中相比AdvCam有更好的样本迁移性，并且有更高的攻击成功率，Top5攻击成功率高出更多。

以上仅是本发明的优选实施例，将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是对本领域的普通技术人员来说，在不脱离本发明构思的前提下，做出的若干变形和改进都属于本发明的保护范围。

Claims (9)

1.一种基于深度网络前景激活特征转移的物理世界对抗攻击方法，其特征在于，包括以下步骤：

步骤1：给定目标样本图像x，其真实标签是y，前景mask，给定目标风格图像x^s；

步骤2：初始化对抗样本x′_ori＝x；

步骤3：模拟物理世界中的各种变化，经过物理世界模拟器之后，产生新的对抗样本x′；

步骤4：随机选取目标模型F；

步骤5：计算输入图像的各种特征矩阵，以及其对应的各种损失函数；

步骤6：根据最终计算的loss，使用Adam优化器计算loss相对于图像x′_ori的梯度，反向传播更新x′_ori；

步骤7：达到给定的迭代次数结束，保存每次迭代的样本，选择最优的。

2.根据权利要求1所述的基于深度网络前景激活特征转移的物理世界对抗攻击方法，其特征在于，步骤3中采用EOT算法来模拟物理世界中的各种变化。

3.根据权利要求1或2所述的基于深度网络前景激活特征转移的物理世界对抗攻击方法，其特征在于，步骤3中所述变化为环境变化分布T、光照变化、视角变化、相机噪声、物体旋转、物体缩放以及随机背景。

4.根据权利要求3所述的基于深度网络前景激活特征转移的物理世界对抗攻击方法，其特征在于，步骤3中所述新的对抗样本为：

x′＝E_t～T[bg+t(x′_ori)]

其中，bg代表的是随机选取的背景，T表示物理世界中可能出现的环境变化分布，t表示从环境变化分布T分布中选取的一个样本，E表示求期望值。

5.根据权利要求1所述的基于深度网络前景激活特征转移的物理世界对抗攻击方法，其特征在于，步骤4随机选取目标模型的方法为：每次迭代在模型池中随机选取一个模型加载进入GPU显存，在该次迭代结束之后，先随机选取下次迭代使用的目标模型，如果选取的模型和当前模型一致，则继续下次迭代，否则将模型从显存中卸载，然后重新加载下一次迭代的模型。

6.根据权利要求1所述的基于深度网络前景激活特征转移的物理世界对抗攻击方法，其特征在于，步骤5具体包括以下步骤：

步骤5.1：计算x′的FAT损失：

其中Mask(x′)表示对抗样本x′中前景物体的掩膜，

表示对mask取反操作，

为x′的Grad-CAM热力图；

步骤5.2：计算对抗样本x′的风格损失：首先给定目标风格图片，并提取出各个网络层的特征图，将对抗样本输入网络，同样也提取出网络各个层的特征，然后将两组特征图计算对应的二范数距离，具体步骤如下公式所示：

其中F代表特征提取网络，F_l代表一个用于提取图片内容特征的网络层，

代表的是F网络的一系列风格特征层提取出来的Gram矩阵，S_l代表用来提取图片风格特征的网络层的集合，因为不同的卷积层会有不同的风格特征，此处使用了网络中的所有卷积层作为风格特征提取网络；

步骤5.3：计算内容损失：

其中，F是特征提取网络，F_l代表一个用于提取图片内容特征的网络层，C_l是用于提取内容特征的一系列网络层的标号；

步骤5.4：计算平滑损失：

其中，x_i,j代表图像中的(i,j)位置的像素，x′_i,j代表对抗样本图像中(i,j)位置的像素点；

步骤5.5：计算对抗损失：

使用的是无目标攻击方法，对抗损失的计算如下公式所示：

L_attack＝log(p_y(x'))

使用的是要有目标攻击方法，使用如下对抗损失：

其中，p_y表示对抗样本x′经过网络F后得到的预测类别的置信度，

表示的是目标攻击类别的置信度，无目标攻击的目标是最小化原图像x所对应的类别的概率，目标攻击是在最小化原图真实类别置信度的同时增大目标类别的置信度。

7.根据权利要求6所述的基于深度网络前景激活特征转移的物理世界对抗攻击方法，其特征在于，步骤5.1中x′的Grad-CAM热力图的计算方法如下:

其中

其中y^c代表样本x为被F分为第c类的置信度，A表示特征图，A^k表示第k个通道的特征图，

表示第k个通道的特征图上的(i,j)位置上的值，Z为一个常数，代表激活图中的像素数量。

8.根据权利要求6所述的基于深度网络前景激活特征转移的物理世界对抗攻击方法，其特征在于，步骤5.3工作中使用目标网络的深层网络特征作为内容特征。

9.根据权利要求1所述的基于深度网络前景激活特征转移的物理世界对抗攻击方法，其特征在于，步骤7中所述迭代次数为2000次。

Images