CN115829875A

CN115829875A - 一种面向无遮挡物理攻击的对抗补丁生成方法及装置

Info

Publication number: CN115829875A
Application number: CN202211612346.8A
Authority: CN
Inventors: 梅少辉; 廉家伟; 马明阳
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2022-12-15
Filing date: 2022-12-15
Publication date: 2023-03-21

Abstract

本发明公开了一种面向无遮挡物理攻击的对抗补丁生成方法及装置，获取被保护目标物图像，并基于被保护目标无图像生成对抗补丁；分割对抗补丁的背景区域；对背景区域进行图像增强处理；将图像增强处理后的对抗补丁与训练样本图像进行融合，生成对抗样本图像；利用代理模型对对抗样本图像进行目标识别，并根据目标识别结果更新背景区域的像素参数值；本发明利用对被保护目标物生成的对抗补丁的背景区域进行图像增强处理，可以将对抗补丁放置于目标物轮廓外，有效避免对抗补丁对目标物的遮挡，避免引人注意。

Description

一种面向无遮挡物理攻击的对抗补丁生成方法及装置

技术领域

本发明属于对抗攻击技术领域，尤其涉及一种面向无遮挡物理攻击的对抗补丁生成方法及装置。

背景技术

对抗补丁是将设计好的图像添加到待识别的图像中，以通过具有对抗补丁的图像干扰基于DNNs的智能识别系统，使其对图像的目标识别结果出现误差，降低其目标识别准确度。目前，对抗补丁已广泛应用于人脸识别、目标检测、图像检索以及遥感探测等各个领域的对抗攻击任务中。

已有的对抗补丁生成方法是通过将对抗噪声集中在补丁区域内，以便于攻击效力的物理-数字转化。尽管基于对抗补丁的物理攻击技术取得了一定成效，但其也存在一些严重的弊端，当前物理攻击方法生成的对抗补丁使用方式不够灵活，大部分需要将对抗补丁涂贴在目标物表面发挥作用，这就导致了目标物表面会被对抗补丁遮挡，容易让人察觉到异常。

发明内容

本发明的目的是提供一种面向无遮挡物理攻击的对抗补丁生成方法及装置，以避免对抗补丁对目标物造成遮挡。

本发明采用以下技术方案：一种面向无遮挡物理攻击的对抗补丁生成方法，包括以下步骤：

获取被保护目标物图像，并基于被保护目标无图像生成对抗补丁；

分割对抗补丁的背景区域；

对背景区域进行图像增强处理；

将图像增强处理后的对抗补丁与训练样本图像进行融合，生成对抗样本图像；

利用代理模型对对抗样本图像进行目标识别，并根据目标识别结果更新背景区域的像素参数值。

进一步地，将图像增强处理后的对抗补丁与训练样本图像进行融合包括：

将对抗补丁放置于训练样本图像中的目标框之外。

进一步地，将对抗补丁放置于训练样本图像中的目标框之外的具体方法为：

其中，

对抗补丁中心点在训练样本图像中的坐标，(x₁,y₁)为训练样本图像中目标物标注框的一个顶点的坐标值，(x₂,y₂)为与顶点(x₁,y₁)对角的顶点的坐标值，r_d为对抗补丁和目标框之间的距离系数。

进一步地，将图像增强处理后的对抗补丁与训练样本图像进行融合还包括：

根据面积系数和训练样本图像中的目标框的面积，确定对抗补丁的大小。

进一步地，确定对抗补丁的大小包括：

当对抗补丁为正方形时，通过

确定对抗补丁的大小，其中，

为对抗补丁的宽度，

为对抗补丁的高度，w_t为目标框的宽度，h_t为目标框的高度，r_s为对抗补丁和目标框之间的面积系数。

进一步地，分割对抗补丁的背景区域包括：

利用显著性检测方法生成对抗补丁的显著性区域灰度图；

将显著性区域灰度图二值化为被保护目标物的目标物掩膜；

对目标物掩膜进行取反操作，得到背景区域的背景掩膜；

根据背景掩膜确定背景区域。

进一步地，根据目标识别结果更新背景区域的像素参数值包括：

基于置信度损失和平滑约束损失更新背景区域的像素参数值。

进一步地，置信度损失计算方法为：

其中，L_obj为代理模型的预测结果中所有被保护目标物的置信度分数均值，P_i(obj)为第i个目标物的置信度分数，n为置信度分数的数量。

进一步地，平滑约束损失计算方法为：

其中，L_tv为平滑约束损失，

为对抗补丁中第m+1行第n列的像素参数值，

为对抗补丁中第m行第n列的像素参数值，

为对抗补丁中第m行第n+1列的像素参数值。

本发明的另一种技术方案：一种面向无遮挡物理攻击的对抗补丁生成装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种面向无遮挡物理攻击的对抗补丁生成方法。

本发明的有益效果是：本发明利用对被保护目标物生成的对抗补丁的背景区域进行图像增强处理，可以将对抗补丁放置于目标物轮廓外，有效避免对抗补丁对目标物的遮挡，避免引人注意。

附图说明

图1为本发明实施例一种面向无遮挡物理攻击的对抗补丁生成方法的流程示意图；

图2为本发明实施例中对抗补丁生成过程示意图；

图3为本发明实施例中添加对抗补丁的训练样本图像示意图；

图4为本发明实施例一种面向无遮挡物理攻击的对抗补丁生成装置的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

随着深度神经网络(DNNs)技术的迅猛发展，基于DNNs的智能识别系统在识别精度和效率上均表现出优异的性能。然而，相关研究表明DNNs在面对精心设计的对抗样本时，表现出了极大地敏感性和脆弱性，即通过向干净样本中添加微小的对抗噪声，即可令其做出完全不同的错误预测结果，这种安全隐患对于某些至关重要的应用场景(如空中侦察，精确制导等)，可能会造成严重后果。

在真实场景中，基于DNNs的智能识别系统通过光学传感器直接扫描物体来获取图像信息。因此，最新的相关研究提出了使用对抗补丁(将对抗噪声集中在补丁区域内，便于攻击效力的物理-数字转化)进行攻击的策略。通过将精心设计的对抗补丁涂贴到基于DNNs的智能识别系统视野内的任何位置，导致DNNs输出错误的识别结果。

但是，现有的物理攻击算法主要是针对地面上的智能检测识别系统，但对于小目标问题(如遥感探测)，相应的对抗补丁也越小，从而其导致攻击效力急剧下降。最重要的是，目前的物理攻击方法在真实世界中的攻击表现差强人意，尽管增大对抗补丁的大小能够一定程度上改善攻击效果，但是由于目标的固有尺寸以及遮挡因素的影响，该方式在实际应用中也非常受限。

综上所述，本发明致力于实现如下目标：在真实物理场景下，充分利用被保护对象(即目标物)的轮廓信息，并结合被害模型的知识，以生成具有强劲攻击效力的对抗补丁，在使用过程中不受被保护目标大小影响，能够在无遮挡的条件下使指定的被保护对象躲避智能检测系统的识别。

本发明公开了一种面向无遮挡物理攻击的对抗补丁生成方法，如图1和图2所示，包括以下步骤：获取被保护目标物图像，并基于被保护目标无图像生成对抗补丁；分割对抗补丁的背景区域；对背景区域进行图像增强处理；将图像增强处理后的对抗补丁与训练样本图像进行融合，生成对抗样本图像；利用代理模型对对抗样本图像进行目标识别，并根据目标识别结果更新背景区域的像素参数值。

本发明利用对被保护目标物生成的对抗补丁的背景区域进行图像增强处理，可以将对抗补丁放置于目标物轮廓外，有效避免对抗补丁对目标物的遮挡，避免引人注意。

本发明方法具体说明如下：

步骤1：基于对抗补丁的对抗攻击问题建模。

在遥感探测任务中，给定一张遥感图像的干净样本图像x，对抗攻击的目的就是通过向干净样本图像上添加精心设计的对抗扰动，以生成对抗样本图像x^*，从而使智能遥感探测系统无法检测出对抗样本图像x^*中指定的个别或者所有目标对象。具体的说，对抗样本图像的数学模型可定义如下：

其中，⊙为哈达玛积，p^*为对抗补丁(即对抗扰动)，

为对抗补丁的掩码矩阵，它用来约束对抗补丁的大小、形状和位置等参数，其中对抗补丁所在区域的值为1，其余位置值为0。

目前的物理攻击方法都是优化整个对抗补丁上所有的像素值，然后将补丁涂贴在目标物上发挥作用。相比之下，本发明提出在对抗补丁优化过程中预留出被保护目标物的放置区域，从而生成能够有效匹配被保护目标形状的对抗补丁。

步骤2：目标物的训练数据集收集和被害模型(即对抗补丁要共计的模型)训练。

本发明所提方法对于白盒场景(指的是被害模型结构和参数是已知的)和黑盒场景(被害模型结构和参数未知)下的对抗攻击皆可使用。

步骤2.1、目标物的训练数据集收集。根据物理对抗攻击需求收集目标物的训练数据集(按需手动收集或使用公开数据集皆可)，并使用labelImage、labelme或rectlabel标注工具对每个遥感探测数据图像中的感兴趣目标的类别及其位置进行标注。

步骤2.2、被害模型训练。在黑盒物理攻击场景下，被害模型信息未知。所以，先训练一个代理模型，代理模型应尽可能的与智能遥感探测系统的分类模型有相似的预测结果，从而，可以使用代理模型代替分类模型进行训练，并生成对抗补丁(白盒场景下，可跳过此步骤)。

具体的，在黑盒场景下，虽然不清楚智能遥感探测系统的分类模型具体是哪一种，但是，由于对抗补丁具有一定的泛化能力，所以，可以选择主流的分类模型作为代理模型即可。

另外，为了进一步提高对抗补丁的攻击效率，也可以选择多种分类模型作为代理模型，并生成多个对抗补丁，并在对抗样本图像中选择效果最好的即可，以进一步增加对抗样本图像的攻击效果。

步骤3：对抗补丁设计。

基于现有的研究工作可以看出：

1)对抗补丁越大，攻击效果越好；

2)对抗补丁距离被保护目标越近，攻击效果越好。

基于以上观察，本发明致力于实现如下目标：在真实物理场景下，如何充分利用被保护对象的轮廓信息，并结合被害模型的知识，以生成具有强劲攻击效力的对抗补丁，在使用过程中不受被保护目标大小影响，能够在无遮挡的条件下使指定的被保护对象躲避智能检测系统的识别。

为达到上述目的，代理模型的权重和偏差应该在训练过程中固定，反之，迭代更新的是对抗补丁上的像素值，这意味着要“训练”一个具有攻击效力的对抗补丁而不是一个模型。

步骤3.1：对抗补丁初始化。

首先获取包含目标物的图像，当然也可以是包含目标物等比缩放后的模型(如飞机、汽车模型等)的图像。优选的，图像的背景选择为深色背景，再对该图像进行裁剪，得到预定尺寸的图像(如150*150像素)，作为初始的对抗补丁，并记录该对抗补丁的初始参数值p⁰。初始参数值可以有多种形式，对于灰度图像可以将像素灰度值作为初始参数值，RGB图像可以将RGB参数值作为初始参数值。

步骤3.2：无遮挡设计。

利用显著性检测方法生成初始对抗补丁的显著性区域灰度图s；将显著性区域灰度图s二值化为被保护目标物的目标物掩膜M_ac；对目标物掩膜M_ac进行取反操作，得到背景区域的背景掩膜M_bg，根据背景掩膜确定背景区域。即得：

M_bg＝1-M_ac (2)

分别利用目标物掩膜M_ac和背景掩膜M_bg提取初始对抗补丁中的被保护目标区域t和更新(即上一次迭代更新)过后的对抗补丁p^*的背景区域b，并叠加更新为新的对抗补丁p^aa(即实现每次只更新对抗补丁上被保护目标区域以外的背景区域的像素参数值)：

其中，

为训练过程中第i个Epoch中第j次迭代优化后的对抗补丁。其中，Epoch表述训练流程，这里的训练流程进行距离说明，例如有100个图像，每次随机抽5个图像进行训练，抽取20次为一个训练流程。

步骤3.3：对抗补丁物理适应增强。

为了使生成的对抗补丁能够实现在真实的物理场景中欺骗智能检测模型，需要考虑物理世界中的动态变化因素(如动态视角、自然噪声、目标尺度以及光照变化等)的影响，从而在训练对抗补丁的过程中施加相应的增强处理操作(如添加噪声、自适应尺度变换、随机旋转和光照调节等)。上述物理增强通过函数PT打包实现。

步骤3.4：对抗补丁放置。

接下来要将对抗补丁p^aa以合适的大小和位置放在干净样本图像上，以生成对抗样本图像。通常，对抗补丁在实际应用时的位置和训练时的位置应该保持一致。因此，首先尝试将对抗补丁的中间镂空形状套在被保护目标物上。然而，事与愿违，被保护目标物的轮廓会被误识别为真实目标。

因此，本发明提出了一种新的对抗补丁训练策略，将对抗补丁放置于训练样本图像中的目标框之外，再生成对抗样本图像进行训练，充分利用检测到的所有被保护目标物(包括补丁上和补丁外的被保护目标)来优化对抗补丁，使得生成的对抗补丁在实际应用场景中对位于补丁内外的被保护目标均具有隐藏效果。

具体的，将对抗补丁以适当的大小和距离放在每一个被保护目标物外。关于对抗补丁的大小，根据面积系数和训练样本图像中的目标框的面积，确定对抗补丁的大小，使得对抗补丁的面积和目标框(含有目标对象)的面积保持适当的比例r_s，使得对抗补丁能够随着目标框的大小自适应调整。

对抗补丁的坐标

和大小

可根据图像中目标物的标注信息计算y＝(x₁,y₁,x₂,y₂,class)，具体方法如下：

其中，(x₁,y₁)为训练样本图像中目标物标注框的一个顶点的坐标值，(x₂,y₂)为与顶点(x₁,y₁)对角的顶点的坐标值，class为目标物的类别，

为对抗补丁的中心点坐标值，

为对抗补丁的宽度，

为对抗补丁的高度，w_t为目标框的宽度，h_t为目标框的高度，r_s为对抗补丁和目标框之间的面积系数，r_d为对抗补丁和目标框之间的距离系数。

接下来，根据

把PT(p^aa)以适当的大小放置在适当的位置，该函数定义为PA：

其中，P^aa为放置好的对抗补丁，

为P^aa对应的掩码。

最后，对抗样本图像的数学模型定义由公式(1)转化为：

接下来，将对抗样本图像作为代理模型的输入，并得到代理模型的输出，即该对抗样本图像的预测结果。

步骤5：计算损失。

损失函数由被保护目标物的置信度损失L_obj和平滑约束损失L_tv两部分组成，即基于置信度损失和平滑约束损失更新背景区域的像素参数值。其中，L_obj为代理模型的预测结果中所有被保护目标物的置信度分数均值，定义为：

其中，P_i(obj)为第i个目标物的置信度分数，n为置信度分数的数量，也是目标物的数量。

使用对抗补丁的目的就是使得指定目标物能够躲避检测，所以被保护目标物的置信度损失L_obj的作用就是在对抗补丁优化过程中降低目标物的置信度分数。

由于在真实世界中，对抗补丁上相邻像素值之间的差异很难被图像采集装置捕获，因此通过对对抗补丁施加平滑约束，使其尽可能形成的光滑图案，减少在物理-数字转化过程中攻击效力的损失：

其中，

为对抗补丁中第m+1行第n列的像素参数值，

为对抗补丁中第m行第n列的像素参数值，

为对抗补丁中第m行第n+1列的像素参数值。

最后，总的目标损失定义为：

L＝L_obj+α·L_tv (11)

其中，α为两部分损失之间的平衡系数。

步骤6：对抗补丁更新。

计算得到目标损失后进行反向传播，更新对抗补丁上的像素参数值，得到最终的对抗补丁。

如图3所示，为采用本发明方法生成的对抗样本图像示意图，图中左侧部分为添加了对抗补丁的图像，可见对抗补丁均位于飞机轮廓外部，右侧为未添加对抗补丁的示意图。由该图可知，未添加对抗补丁的目标物基本完全被检测出。

在本发明中，为了进一步验证本发明方法的有益效果，进行了验证实施例。具体的，如表1所示，是验证过程中所使用的仿真验证数据集的基本信息表，通过这些仿真数据来实验证明本发明的有效性和准确性。

表1验证过程中所使用的数据集的基本信息

数据集	类别数	数据量	目标数	图像尺寸	公开年份
						RSOD	4	976	6950	～1000	2017
DOTA	15	2806	188282	800-4000	2018

其中，本实验选取飞机为被保护目标物，在真实物理世界中采用1:400的缩比实验验证本发明的有效性和优越性，表中RSOD的图像尺寸表示尺寸均在100左右。

实验中为充分验证本发明的有效性和泛化性，选取20中主流目标检测器作为被害模型，并记录所有目标检测器对于18个飞机(即选取的18个目标物)的平均置信度(阈值设为0.2，低于0.2则认为没有检测到该目标物)来验证物理攻击效果，并与其他两个主流物理攻击方法进行对比，实验结果如表2所示。

在表2中，每种方法的对角线上的数据为白盒攻击的实验数据，其余为黑盒攻击的实验数据。Thys et al.表示仅采用只采用目标置信度损失时目标分类器的分类精度，而且这里的目标置信度损失只选用目标置信度的最大值。APPA(on)表示将对抗补丁放在目标物上的攻击方法，APPA(out)表示将对抗补丁放在目标物之外的共计方法，A3表示本发明方法。表中左数第二列表示训练对抗补丁所使用的代理模型，上数第一行表示被害模型。

表2

由该表可知，1)本发明所提方法能够致盲相当一部分主流目标检测器，其他方法几乎不存在这种情况；2)本发明所提方法生成的对抗补丁在不同的主流目标检测器之间具有较好的攻击迁移性，即使对于一些其他攻击方法难以实施攻击的较为鲁棒的目标检测器，如不同版本的YOLOv5；3)相比之下，YOLOv5仍然是最难实施攻击的目标检测器，而本发明所提方法能够轻易致盲各种不同版本的YOLOv5，并且所生成的对抗补丁还具有较强的攻击迁移性；4)YOLOv2仍然是最容易攻击的目标检测器，然而其似乎能够一定程度上免疫位于被保护目标的对抗补丁的攻击。

总之，表2中本发明所提出方法的物理攻击结果区域(A3对应的区域)明显比其他区域颜色更深，这表明本发明所提出的方法在白盒和黑盒场景下都可以实现出色的攻击性能，且攻击效果远超其他主流方法。

综上可知，本发明通过利用被保护对象轮廓信息制作掩膜，用于在对抗补丁的优化过程中只优化被保护对象区域以外的像素参数值，使得对抗补丁无需遮挡被保护目标物即可成功实施攻击；通过在对抗补丁上预留出保护目标物放置区域，且能够与目标物形状进行匹配，有效实现了在无遮挡前提下增大了对抗补丁的尺寸，极大提升了对抗补丁的攻击效力；此外将对抗补丁置于目标物外进行训练，充分利用检测到的所有被保护目标来优化对抗补丁，使得生成的对抗补丁在实际引用场景中对位于补丁内外的被保护目标物均具有隐藏效果。

本发明还公开了一种面向无遮挡物理攻击的对抗补丁生成装置，如图3所示，包括存储器210、处理器220以及存储在存储器210中并可在处理器220上运行的计算机程序230，处理器220执行计算机程序230时实现上述的一种面向无遮挡物理攻击的对抗补丁生成方法。

上述的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解，该装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置的具体内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。