CN115083001B - 基于图像敏感位置定位的对抗补丁生成方法与装置 - Google Patents

Abstract

本发明公开了一种基于图像敏感位置定位的对抗补丁生成方法与装置。该方法包括如下步骤：获取原始图像，将原始图像作为视觉转换器模型的输入样本图像；其中，视觉转换器模型包括奇异值分析模块和全局注意力优化模块；奇异值分析模块将输入样本图像分割为互不重叠的图像块，并对互不重叠的图像块进行奇异值分析，根据奇异值生成重建图像；计算重建图像的局部敏感性，根据局部敏感性选择重建图像中敏感性最强的图像块作为初始对抗补丁，根据初始对抗补丁生成对抗样本图像；将对抗样本图像和原始图像输入到全局注意力优化模块，获得原始图像的最终对抗补丁。利用本发明，可以提高对抗样本图像的攻击性能。

Description

基于图像敏感位置定位的对抗补丁生成方法与装置

技术领域

本发明涉及一种基于图像敏感位置定位的对抗补丁生成方法，同时也涉及相应的对抗补丁生成装置，属于图像数据处理技术领域。

背景技术

目前，由于现有的视觉转换器(Transformer)模型在输入时，需要直接将图像转化为一系列的不重叠图像块(Patch)，对抗补丁攻击方法选择图像中的一部分区域进行无限制的攻击，因此可以直接利用视觉转换器模型划分的图像块进行对抗补丁攻击。主流的基于卷积神经网络的对抗攻击方法利用了视觉转换器模型内部的梯度等信息进行攻击区域的选择和攻击内容的优化，忽略了图像内质特征，因此对视觉转换器模型的攻击效果并不十分理想。

在专利号为ZL 202010724039.3的中国发明专利中，公开了一种对抗补丁生成方法及装置。在该方法中，首先准备攻击者的第一人脸图片和其上设置的初始对抗补丁，并标记初始对抗补丁在第一人脸图片上的设置区域，然后，获取不同背景的攻击者的人脸图片集，包括第一人脸图片和若干第二人脸图片；根据第一人脸图片到第二人脸图片的图片变换方式，矫正初始对抗补丁在第二人脸图片上的设置位置，然后利用叠加了初始对抗补丁的人脸图像集，对初始补丁进行迭代优化获取目标对抗补丁。该目标对抗补丁降低了对抗补丁与背景的相关性，增加对抗补丁与人脸信息特征的相关性，提升对抗补丁的鲁棒性。

另外，在专利号为ZL 202010725497.9的中国发明专利中，公开了一种生成人脸对抗补丁的方法和装置。在该方法中，首先获取初始对抗补丁，然后获取不包含攻击者人脸图像的人脸图像集。接着，分别利用人脸图像集中的各张人脸图像，对初始对抗补丁进行第一轮优化，得到第一对抗补丁；其中第一轮优化使得，叠加有补丁的各张人脸图像与目标人脸图像之间的相似度增加。接着，在第一对抗补丁的基础上，对补丁进行第二轮优化，使得叠加补丁的攻击者图像与目标人脸图像之间的相似度增加，并且与攻击者自身图像之间的相似度降低。

发明内容

本发明所要解决的首要技术问题在于提供一种基于图像敏感位置定位的对抗补丁生成方法。

本发明所要解决的另一技术问题在于提供一种基于图像敏感位置定位的对抗补丁生成装置。

为了实现上述目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种基于图像敏感位置定位的对抗补丁生成方法，包括如下步骤：

获取原始图像，将所述原始图像作为视觉转换器模型的输入样本图像；其中，所述视觉转换器模型包括奇异值分析模块和全局注意力优化模块；

所述奇异值分析模块将所述输入样本图像分割为互不重叠的图像块，并对所述互不重叠的图像块进行奇异值分析，根据所述奇异值生成重建图像；

计算所述重建图像的局部敏感性，根据所述局部敏感性选择所述重建图像中敏感性最强的图像块作为初始对抗补丁，根据所述初始对抗补丁生成对抗样本图像；将所述对抗样本图像和所述原始图像输入到所述全局注意力优化模块，获得所述原始图像的最终对抗补丁。

其中较优地，所述奇异值分析模块使用不同数量的奇异值进行图像低秩近似，得到与输入样本图像相似的重建图像。

其中较优地，所述重建图像的局部敏感性采用图像结构相似性算法计算获得。

其中较优地，采用所述图像结构相似性算法，计算输入样本图像与使用前r个奇异值进行图像低秩近似得到的重建图像之间的图像结构相似性，其中r为正整数。

其中较优地，从预定的奇异值开始，不断增加奇异值数量进行图像低秩近似，得到一系列重建图像；当重建图像与输入样本图像的相似度达到给定阈值时，中止重建过程。

其中较优地，所述给定阈值为0.85～1之间。

其中较优地，所述全局注意力优化模块中，根据全局注意力损失和对抗补丁的分类损失来获得对抗扰动的更新值；根据所述对抗扰动的更新值确定是否继续重新选择初始对抗补丁。

其中较优地，所述全局注意力损失

通过如下公式计算：

其中，视觉转换器模型在第k层计算得到的注意力矩阵为Ak，

和

分别为输入样本图像和对抗样本图像的注意力矩阵，SSIM表示图像结构相似性算法。

其中较优地，所述对抗补丁的分类损失

通过如下公式计算：

其中，x为输入样本图像，δ为对抗扰动，y为输入样本图像的真实类别，

为视觉转换器模型。

根据本发明实施例的第二方面，提供一种基于图像敏感位置定位的对抗补丁生成装置，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：

获取原始图像，将所述原始图像作为视觉转换器模型的输入样本图像；其中，所述视觉转换器模型包括奇异值分析模块和全局注意力优化模块；

所述奇异值分析模块将所述输入样本图像分割为互不重叠的图像块，并对所述互不重叠的图像块进行奇异值分析，根据所述奇异值生成重建图像；

计算所述重建图像的局部敏感性，根据所述局部敏感性选择所述重建图像中敏感性最强的图像块作为初始对抗补丁，根据所述初始对抗补丁生成对抗样本图像；将所述对抗样本图像和所述原始图像输入到所述全局注意力优化模块，获得所述原始图像的最终对抗补丁。

与现有技术相比较，本发明所提供的基于图像敏感位置定位的对抗补丁生成方法及其装置通过计算图像的局部敏感性，选择局部敏感性最大的区域进行对抗补丁攻击。攻击区域的确定仅与图像自身信息相关，不依赖于某一具体模型；而且，基于全局注意力优化模块实现的全局注意力机制优化对抗补丁，获得攻击效果更好的对抗补丁，从而提高对抗样本图像的攻击性能，破坏被攻击的视觉神经网络模型在识图时的准确性。

附图说明

图1为本发明实施例中，基于图像敏感位置定位的对抗补丁生成方法的工作原理图；

图2为本发明实施例中，基于图像敏感位置定位的对抗补丁生成方法的流程图；

图3为本发明实施例中，使用不同数量的奇异值进行图像低秩近似的结果示意图；

图4为本发明实施例中，使用不同数量的奇异值的重建图像与输入样本图像的相似度趋势图；

图5为本发明实施例中，使用不同的阈值得到的重建图像与攻击区域选择结果的示意图；

图6为本发明实施例中，某购物网站根据输入样本图像与对抗样本图像进行识图的结果示意图；

图7为本发明实施例中，基于图像敏感位置定位的对抗补丁生成装置的示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

本发明首先提供一种基于图像敏感位置定位的对抗补丁生成方法。参见图1所示的工作原理图，对于图像分类任务进行对抗补丁的攻击，可以分为3步：S1为定位攻击区域，S2为优化对抗补丁，S3为对抗样本图像攻击。其中，F表示视觉转换器(Transformer)模型，输入样本图像为

其对应的标签为y∈U＝1，...，K，其中H、W、C分别代表图像的高度、宽度和通道数，K代表图像分类任务中的类别数量。视觉转换器模型将输入样本图像的图像划分为大小为P×P的互不重叠的图像块(Patch)，即X＝{X₁，X₂，......，X_N}，其中N＝H×W/P²为视觉转换器模型划分的互不重叠的图像块的总数量，Xp代表其中的第p个图像块，其中p为正整数。

假设，该视觉转换器模型可以将输入样本图像正确分类即F(X)＝y，对抗补丁攻击即是对输入样本图像生成有针对性的对抗扰动δ，使得该视觉转换器模型输出错误分类即

利用

运算符计算如下公式(1)：

其中，M为一个0-1的掩码矩阵，用于表示对抗补丁区域，

表示矩阵对应位置相乘。

如图2所示，本发明实施例提供的基于图像敏感位置定位的对抗补丁生成方法，至少包括如下步骤：

P1，获取原始图像，将所述原始图像作为视觉转换器模型的输入样本图像；其中，所述视觉转换器模型包括奇异值分析模块和全局注意力优化模块。

在本发明的一个实施例中，可以利用光学相机采集N张不同物体图像或者从网络图片中选择N张图像，组成原始样本数据集X；从原始样本数据集X中随机选择一张图像作为输入样本图像，其中N为正整数。

P2，所述奇异值分析模块将所述输入样本图像分割为互不重叠的图像块，并对所述互不重叠的图像块进行奇异值分析，根据所述奇异值生成重建图像；在奇异值分析模块中，可以采用奇异值分解(Singular Value Decomposition，简写为SVD)算法。奇异值分解算法是机器学习领域的常用算法，用于将图像分解为一组线性独立的分量之和。在本发明的一个实施例中，具体实施步骤如下：假设矩阵X为一个m×n大小的矩阵，经过奇异值分解得到了一个m×n矩阵U、一个n×n矩阵V和一个m×n矩阵S。矩阵S的主对角线上的元素被称为奇异值，每个奇异值都在矩阵U和V有对应的左奇异值向量和右奇异值向量。假设S矩阵中有k个非零元素，则这k个元素就是矩阵X的奇异值，矩阵X可以使用这k个奇异值与其对应奇异向量相乘的加和表示。具体参见如下公式(2)：

在奇异值矩阵中，对角线上的奇异值从上到下数值逐渐减小，可以根据前r个奇异值与其对应的奇异向量进行低秩近似来描述矩阵X，其中r为正整数。具体参见如下公式(3)：

奇异值对应着矩阵自身所含的信息，而且奇异值的数值越大，该信息对于矩阵越重要，因此矩阵中的关键信息会被优先描述。

参见图3可以看出，随着奇异值数量的增加，利用奇异值低秩近似得到的重建图像的内容逐渐丰富，与输入样本图像越来越相似。在此基础上，奇异值分析模块采用奇异值低秩近似的算法生成重建图像，即，使用不同数量的奇异值进行图像低秩近似，可以得到与输入样本图像越来越相似的重建图像。

P3，计算重建图像的局部敏感性，根据所述局部敏感性选择所述重建图像中敏感性最强的图像块作为初始对抗补丁，根据所述初始对抗补丁生成对抗样本图像。

在本发明的一个实施例中，利用“图像的局部敏感性”的度量方法来评价图像中的局部区域的敏感性。具体说明如下：在计算图像的局部敏感性时，本发明采用图像结构相似性(Structural Similarity，简写为SSIM)算法，计算输入样本图像X与使用前r个奇异值进行图像低秩近似得到的重建图像Y^r之间的图像结构相似性。

SSIM算法的具体计算过程参见如下公式(4)：

其中，μ，σ分别代表矩阵均值和方差，σ_xy为两个矩阵的协方差，c₁、c₂为固定的常数。

使用不同数量的奇异值得到的重建图像Y^r与输入样本图像X的SSIM相似度趋势变化如图4所示。从图4中可以看出，随着奇异值数量的增加，重建图像与输入样本图像的相似度增大，而且增长幅度逐渐减小。当输入样本图像X与重建图像Y^r足够相似，可以认为r个奇异值之后的奇异值对于输入样本图像内容的贡献较小。从预定的奇异值开始，不断增加奇异值数量进行图像低秩近似，得到一系列重建图像Y^r。当重建图像Y^r与输入样本图像X的相似度达到给定的阈值(该阈值一般设置在0.85～1之间)时，中止重建过程。

使用该重建图像Y^r进行局部敏感性的计算，参见如下公式(5)：

其中，Y¹为使用最大的奇异值重建得到的低秩近似图像，对应输入样本图像的低频分量信息，Y^r为用前r个奇异值重建得到的重建图像，包含输入样本图像的中高频等细节信息。

和

表示两幅图像对应区域的局部图像。计算两个局部图像之间的距离

距离数值越大代表局部图像内部的信息量变化越大，其局部敏感性越强。

在本发明的一个实施例中，视觉转换器模型将输入样本图像划分为大小为P×P的互不重叠的图像块，因此利用视觉转换器模型已经划分好的图像块，根据如下公式(6)计算每个图像块的局部敏感性，选择其中局部敏感性最强的图像块所在位置进行对抗补丁攻击。

使用不同的阈值得到的重建图像及选择的攻击区域如图5所示。其中，通过遍历计算得到的局部敏感性最强的图像块位置如图中方框所示，下一步将在此位置进行对抗补丁攻击，即此位置的图像块为初步确定的对抗补丁。

为了使对抗补丁的攻击效果更好，在本发明的一个实施例中引入全局注意力优化模块优化上述的对抗补丁，使其攻击效果更好。

P4，将对抗样本图像和原始图像输入到全局注意力优化模块，获得所述原始图像的最终对抗补丁。

现有的视觉转换器模型具有自注意力机制(详细说明，可以参见如下链接：https://www,cnblogs.com/tectal/p/10796881.html)，可以使其关注到图像的全局特征。针对视觉转换器模型的这一特点，可以利用全局注意力优化模块实现的全局注意力机制优化对抗补丁，使得该对抗补丁与原始图像中相应的区域差异更大。具体的实施步骤如下：

假设该视觉转换器模型在第k层计算得到的注意力矩阵为A_k，是一个N×N大小的矩阵，全局注意力损失

的定义如下公式(7)：

其中，

和

分别为输入样本图像和对抗样本图像的注意力矩阵。计算两个矩阵之间的图像结构相似性(SSIM)损失，使其尽量小以达到扰乱全局注意力的目的。

另一方面，对抗补丁的分类损失

采用如下公式(8)计算：

其中，x为输入样本图像，6为对抗扰动，y为输入样本图像的真实类别，

为视觉转换器模型。

由此可以看出，全局注意力优化模块采用前述的图像结构相似性(SSIM)算法计算全局注意力损失

进一步地，对抗补丁的生成过程中，需要根据最终的分类损失

和全局注意力损失

来更新扰动。即，根据全局注意力损失和对抗补丁的分类损失来获得对抗扰动的更新值；根据所述对抗扰动的更新值确定是否继续重新选择初始对抗补丁。

具体地说，假设初始生成的随机噪音(对抗扰动)为δ，放置在上一步计算得到的对抗补丁位置，则对抗扰动δ的优化可以表示如下公式(9)：

其中，t代表迭代次数，α代表每次迭代中像素更新的幅值，clip(·)为剪裁函数。

在上述步骤中，通过更新迭代对抗扰动，筛选出最优的对抗样本图像，进而确定攻击效果最好的对抗补丁，使得在对被攻击的视觉神经网络模型输入对抗样本图像的情况下更加容易产生错误输出。

图6为本发明的一个实施例中，某购物网站根据输入样本图像与对抗样本图像进行识图的结果示意图。如图6所示，在某购物网站上根据输入样本图像进行识图，可以得到识图的结果是铅笔；但是同样根据在图像敏感位置加入上述对抗补丁后生成的对抗样本图像进行识图，得到识图的结果为美工刀。由此可见，利用本发明所生成的对抗补丁可以显著提高对抗样本图像的攻击性能，造成被攻击的视觉神经网络模型产生错误的输出。

在上述基于图像敏感位置定位的对抗补丁生成方法的基础上，本发明还提供一种基于图像敏感位置定位的对抗补丁生成装置。如图7所示，该对抗补丁生成装置包括一个或多个处理器21和存储器22。其中，存储器22与处理器21耦接，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例中基于图像敏感位置定位的对抗补丁生成方法。

其中，处理器21用于控制该基于图像敏感位置定位的对抗补丁生成装置的整体操作，以完成上述基于图像敏感位置定位的对抗补丁生成方法的全部或部分步骤。该处理器21可以是中央处理器(CPU)、图形处理器(GPU)、现场可编程逻辑门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理(DSP)芯片等。存储器22用于存储各种类型的数据以支持在该基于图像敏感位置定位的对抗补丁生成装置的操作，这些数据例如可以包括用于在该基于图像敏感位置定位的对抗补丁生成装置上操作的任何应用程序或方法的指令，以及应用程序相关的数据。

该存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器等。

在一个示例性实施例中，基于图像敏感位置定位的对抗补丁生成装置具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现，用于执行上述的基于图像敏感位置定位的对抗补丁生成方法，并达到如上述方法一致的技术效果。一种典型的实施例为计算机。具体地说，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

在另一个示例性实施例中，本发明还提供一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任意一个实施例中的基于图像敏感位置定位的对抗补丁生成方法的步骤。例如，该计算机可读存储介质可以为包括程序指令的存储器，上述程序指令可由基于图像敏感位置定位的对抗补丁生成装置的处理器执行以完成上述的基于图像敏感位置定位的对抗补丁生成方法，并达到如上述方法一致的技术效果。

与现有技术相比较，本发明所提供的基于图像敏感位置定位的对抗补丁生成方法及其装置通过计算图像的局部敏感性，选择局部敏感性最大的区域进行对抗补丁攻击。攻击区域的确定仅与图像自身信息相关，不依赖于某一具体模型；而且，基于全局注意力优化模块实现的全局注意力机制优化对抗补丁，获得攻击效果更好的对抗补丁，从而提高对抗样本图像的攻击性能，破坏被攻击的视觉神经网络模型在识图时的准确性。

上面对本发明所提供的基于图像敏感位置定位的对抗补丁生成方法与装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (4)

1.一种基于图像敏感位置定位的对抗补丁生成方法，其特征在于包括如下步骤：

获取原始图像，将所述原始图像作为视觉转换器模型的输入样本图像；其中，所述视觉转换器模型包括奇异值分析模块和全局注意力优化模块；

所述奇异值分析模块将所述输入样本图像分割为互不重叠的图像块，并对所述互不重叠的图像块进行奇异值分析，根据所述奇异值生成重建图像；

计算所述重建图像的局部敏感性，根据所述局部敏感性选择所述重建图像中敏感性最强的图像块作为初始对抗补丁，根据所述初始对抗补丁生成对抗样本图像；

其中，采用图像结构相似性算法，计算输入样本图像x与使用前r个奇异值进行图像低秩近似得到的重建图像Y^r之间的图像结构相似性，r为正整数，相应公式如下：

上式中，SSIM表示图像结构相似性算法，μ，σ分别代表矩阵均值和方差，σ_xy为两个矩阵的协方差，c₁、c₂为固定的常数；

从预定的奇异值开始，不断增加奇异值数量进行图像低秩近似，得到一系列重建图像Y^r；当重建图像Y^r与输入样本图像x的相似度达到给定的阈值时，中止重建过程；

使用该重建图像Y^r进行局部敏感性的计算，相应公式如下：

上式中，Y¹为使用最大的奇异值重建得到的低秩近似图像，对应输入样本图像的低频分量信息，Y^r为用前r个奇异值重建得到的重建图像，包含输入样本图像的中高频等细节信息；

和

表示两幅图像对应区域的局部图像，

表示两个局部图像之间的距离；

将所述对抗样本图像和所述原始图像输入到所述全局注意力优化模块，获得所述原始图像的最终对抗补丁；其中，全局注意力损失

的相应公式如下：

上式中，A_k为所述视觉转换器模型在第k层计算得到的注意力矩阵，是一个N×N大小的矩阵；

和

分别为输入样本图像和对抗样本图像的注意力矩阵；

对抗补丁的分类损失

的相应公式如下：

其中，δ为对抗扰动，y为输入样本图像的真实类别，

为所述视觉转换器模型；根据全局注意力损失

和分类损失

获得对抗扰动的更新值；根据所述对抗扰动的更新值确定是否继续重新选择初始对抗补丁；其中，对抗扰动δ的优化通过如下公式表示：

其中，t代表迭代次数，α代表每次迭代中像素更新的幅值，clip(·)为剪裁函数；通过更新迭代对抗扰动，筛选出最优的对抗样本图像，作为所述最终对抗补丁。

2.如权利要求1所述基于图像敏感位置定位的对抗补丁生成方法，其特征在于：所述奇异值分析模块使用不同数量的奇异值进行图像低秩近似，得到与输入样本图像相似的重建图像。

3.如权利要求1所述基于图像敏感位置定位的对抗补丁生成方法，其特征在于：所述给定阈值为0.85～1之间。

4.一种基于图像敏感位置定位的对抗补丁生成装置，其特征在于包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行权利要求1～3中任意一项所述的对抗补丁生成方法。

Images