CN116109521B - 局部对抗性攻击启发式防御方法和装置 - Google Patents

Abstract

本发明涉及一种使用梯度优化的局部对抗性攻击启发式防御方法和装置，包括：对原图进行处理，获得梯度图；筛选所述梯度图中的噪声区域，对所述噪声区域进行抑制，形成防御补丁；对所述原图进行梯度增强，形成梯度增强图；将所述防御补丁投影到所述梯度增强图，形成防御处理图。本发明能够对高频噪音进行抑制，防止因深度神经网络被高频噪音吸引而做出错误判断，实现抑制对抗补丁。同时，还因将原图进行了梯度增强，提升了原图的轮廓纹理，方便分类器进行识别，提升图像识别的准确率。

Description

局部对抗性攻击启发式防御方法和装置

技术领域

本发明涉及基于深度神经网络的图像防御领域，具体涉及一种局部对抗性攻击启发式防御方法和装置。

背景技术

近年来，对于图像处理领域，随着深度神经网络的不断发展，深度学习在图像数据集上精准地建立了复杂的函数模型，并且已逐渐进入实际应用阶段，在许多领域取得了显著的成就，如在人脸识别、图像分割、自动驾驶等领域。

然而现有大量的实验研究表明，在原始输入样本中引入微小的、难以察觉的变化，会导致深度神经网络以高置信度做出错误分类。现有技术中图像攻击的手段不断进化，现阶段为了减少外部因素对攻击的干扰，通常采用通过大量修改几个少量像素来生成对抗性补丁，对抗性攻击给现有的深度学习系统带来了巨大的挑战，提高给定深度学习网络的鲁棒性已成为近年来的一个热门话题。在图像攻击防御方面，在深度学习网络中引入了启发式防御的方式，在启发式防御中，数字水印和局部梯度平滑(Local Gradients Smoothing，下文简称LGS)可以大约提升20-30%的防御精度，在LGS算法中，通过抑制高频噪声使得分类器F不会受到对抗补丁的影响，从而保证分类器F准确识别出输入图像x的真实类别y。LGS通过筛选和抑制局部高频噪声，有效地消除了对抗性补丁对分类器的干扰，已经成为局部对抗性攻击的经典防御方法。

然而，在LGS算法的实验中，所有的对抗性补丁都是随机放置在图像的边缘区域，这样补丁就不能掩盖原目标位置。由于实际应用中对抗补丁的位置是随机的，因此很有可能会遮挡住目标物体的一些重要特征，此时在面对原始输入样本时，LGS算法很容易导致原始目标的细节丢失，最终分类器很难有效地识别原始目标。

发明内容

本发明旨在至少解决现有技术中存在的面对重要特征被遮挡的原始输入样本时LGS算法原始目标识别率低的技术问题。为此，本发明提出一种使用梯度优化的局部对抗性攻击启发式防御方法和装置，实现在抑制对抗攻击的同时，提升深度神经网络分类的准确率。

根据本发明实施例的一种使用梯度优化的局部对抗性攻击启发式防御方法，其特征在于：

对原图进行处理，获得梯度图；

筛选所述梯度图中的噪声区域，对所述噪声区域进行抑制，形成防御补丁；

对所述原图进行梯度增强，形成梯度增强图；

将所述防御补丁投影到所述梯度增强图，形成防御处理图。

优选的，对原图进行处理，具体包括计算原图的一阶梯度；

所述使用梯度优化的局部对抗性攻击启发式防御方法还包括：

判断一阶梯度图中对比度是否大于第一预设阈值，若是则修改梯度阶数为n，n>1，计算原图的n阶梯度。

所述对所述噪声区域进行抑制，包括：

通过低通滤波器将标记噪声区域的图像进行高频噪声梯度抑制，使得噪声的频率减弱，从而进行噪声抑制获得防御补丁。

优选的，所述筛选所述梯度图中的噪声区域，对所述噪声区域进行抑制，形成防御补丁，包括：

将经过低通滤波器处理后的一阶梯度图像划分为k个相同大小的重叠块，根据噪声阈值筛选出噪声区域，对噪声区域进行梯度抑制；

优选的，所述梯度抑制具体为：利用噪音区域乘平滑系数得到抑制梯度后，用所述噪音区域减去所述抑制梯度。

根据所述梯度图中的噪声区域的面积属性和位置属性，计算噪声阈值调整系数，根据噪声阈值调整系数和初始噪声阈值的乘积计算噪声阈值。

优选的，根据噪声阈值筛选出噪声区域，包括：

将单个重叠块每一列的行向量与梯度图点积之间的比值与噪声阈值进行对比，若比值大于噪声阈值，则记为噪声区域，若比值小于噪声阈值，则记为非噪声区域。对所述原图进行梯度增强具体为，获得原图在任意一点的梯度，将梯度乘以梯度增强系数得到增强梯度，并通过所述原图叠加所述增强梯度，实现对原图的梯度增强。

优选的，对所述原图进行梯度增强，形成梯度增强图，具体包括：

将原图看作为一个二维函数f(x，y)，图像中任意一点（x，y）分别向x和y方向上求导，求得灰度变化率：

，

其中，g_x和g_y分别表示了图像在点(x，y)处x和y两个方向上的梯度。

优选的，所述形成防御处理图后，还包括原图为被攻击的图像，将获得的防御处理图送入图像分类器进行分类，识别原图对应的图像中的目标对象。

本发明还提供一种使用梯度优化的局部对抗性攻击启发式防御装置，包括：

变换模块，用于对原图进行处理，获得梯度图；

抑制模块，用于筛选所述梯度图中的噪声区域，对所述噪声区域进行抑制，形成防御补丁；

增强模块，用于对所述原图进行梯度增强，形成梯度增强图；

防御模块，用于将所述防御补丁投影到所述梯度增强图，形成防御处理图。

本发明提供的一种使用梯度优化的局部对抗性攻击启发式防御方法和装置，原图中包括目标对象和噪音两方面信息，利用滤波器对噪声进行过滤，有效过滤了噪声，提高了对噪声的抑制能力；另一方面，利用梯度增强对目标对象的轮廓信息进行处理，使得原始样本的梯度细节和纹理特征被进一步突出，实现在抑制对抗补丁的同时，提升图像识别的准确率。相较于现有技术中启发式防御存在的问题，本发明综合利用了图像梯度的处理方法，分别进行梯度增强和梯度抑制两种梯度处理手段，基于低通滤波器和梯度增强的保证，无论补丁位置在何处，本发明提供的方法都能够在抑制局部对抗噪声的同时，增强原始对象的轮廓，将局部对抗性噪声和防御算法对原图的影响降到最低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种传统数字攻击示意图；

图2为本发明实施例提供的一种对抗补丁攻击示意图；

图3为本发明实施例提供的一种LaVAN攻击示意图；

图4为本发明实施例提供的一种LGS高频噪声抑制实例示意图；

图5为本发明实施例提供的一种使用梯度优化的局部对抗性攻击启发式防御方法流程示意图；

图6为本发明实施例提供的一种引入中值滤波器前后的对比图；

图7为本发明实施例提供的一种图像梯度增强对比图；

图8为本发明实施例提供的一种使用梯度优化的局部对抗性攻击启发式防御算法前后对比图；

图9为本发明实施例提供的一种各算法面对对抗补丁防御实验对比结果图；

图10为本发明实施例提供的一种对抗补丁防御结果展示图；

图11为本发明实施例提供的一种各算法面对LaVAN防御实验对比结果图；

图12为本发明实施例提供的一种LaVAN防御结果展示图。

具体实施方式

此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。

此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式，本发明的范围由权利要求书所界定。

随着深度神经网络的发展，针对深度神经网络的对抗攻击也在不断增强，现有技术的对抗性攻击一般分为传统对抗攻击与局部对抗攻击。传统攻击中通常采用基于梯度上升的算法，如FGSM、I-GSM和DI2-FG，如图1所示，此类算法使损失函数最大化，从而达到攻击目标。但是，人为输入的微小扰动极易受到多种因素的影响，如环境、灯光、拍摄设备和角度等。

为了使攻击算法更有效地工作，现有技术提出了局部对抗攻击，以减少外部因素的干扰，图2给出了对抗补丁在ImageNet2012数据集上的攻击实例，图2中的(a)和图2中的(b)分别显示了图像的原始类别和被攻击后展示的目标类别，局部对抗攻击通过大量修改几个少量像素来生成对抗性补丁。这类算法可以在现实场景中任意应用，例如攻击者可以用设计好的眼镜遮住脸，以欺骗人脸识别系统；在自动驾驶应用中，攻击者可以在交通标志上面添加带有矩形或圆形图案的噪声补丁，以造成错误分类。如图3所示，对抗补丁LaVAN提供一种可见但位置受限的扰动，并且不会掩盖主要目标特征，修改图像2%的像素，形成一个可以攻击最先进的Inceptionv3网络的补丁，且该补丁可以迁移。

现有技术中，防御局部对抗攻击的方法一般为数字水印防御，通过盲和非盲两种防御策略进行防御。其中，非盲防御时，防御者需要提前知道对抗补丁的位置，然而在实际应用过程中，局部对抗性攻击的位置通常是随机放置的，一旦防御者知道对抗补丁的位置，攻击威胁会立即解除。盲防御的图像修复过程，实验假设更符合实际的情况，防御者仅仅已知噪声图像，并不知道对抗补丁出现的位置。防御者通过注意力机制，首先使用显著图找到高频噪声的位置，然后在送入分类器进行分类前，对噪声区域进行进一步的处理以达到抑制噪声的作用。

数字水印的优势在于算法可以使用显著图有效地找到对抗补丁的位置，但这同时也是防御的缺陷，因为在纯净实例中，显著图会大概率给出原始对象的位置，纯净图像在处理后会大大降低分类器识别性能。在防御者对盲防御性能的报告中，在400张随机选择的图像上使用VGG19进行测试，对比原始样本上，处理后的图片识别的准确率下降12%，使得数字水印在实际应用中很难保证分类器进行分类的准确率。

对抗补丁攻击实质是引入了局部的高频噪声，该高频噪声将会被模型优先关注，从而使得分类器输出目标类别。由于数字水印(DW) 在纯净的图像上准确率大幅度下降，为此Muzammal Naseer等人提出一种全新的防御机制——局部梯度平滑算法（LGS），如图4所示，该算法可以概括为将缩放的归一化梯度图经过处理后重新映射到原图像上，对高频区域进行抑制。Muzammal Naseer等人在使用Inception v3模型进行测试实验时，面对约为图像4%的对抗补丁攻击时的防御准确率为67.49%，纯净图像在使用传统LGS算法处理后识别准确率下降5.59%，相比较数字水印稍有改善但仍有待提高。

在LGS算法的实验中，所有的对抗性补丁都是随机放置在图像的边缘区域，这样补丁就不能掩盖原目标位置。由于实际应用中对抗补丁的位置是随机的，因此很有可能会遮挡住目标物体的一些重要特征，此时在面对原始输入样本时，LGS算法很容易导致原始目标的细节丢失，最终分类器很难有效地识别原始目标。

针对上述问题，如图5所示，本实施例提供一种使用梯度优化的局部对抗性攻击启发式防御方法，包括：对原图进行处理，获得梯度图；筛选所述梯度图中的噪声区域，对所述噪声区域进行抑制，形成防御补丁；对所述原图进行梯度增强，形成梯度增强图；将所述防御补丁投影到所述梯度增强图，形成防御处理图。

在一些可选的实施例中，基于索贝尔算子计算所述原图的梯度图。索贝尔算子能够获得图像的一阶梯度，对图像进行边缘检测并获得图像轮廓。具体地，索贝尔算子为离散性差分算子，用来计算图像亮度函数的梯度的近似值。

对原图进行处理，获得梯度图后还包括：基于梯度图中各个像素的梯度值，获得原图的轮廓图。优选的，对原图进行处理，具体包括计算原图的一阶梯度，但不以为限，根据实际情况可以选择计算二阶梯度或者三阶梯度等高阶梯度值。计算原图中各个像素的梯度值以获得梯度图，梯度图相较于原图，图像内的边界更为清晰，为后续筛选噪声区域提供条件，可以理解的是，所述使用梯度优化的局部对抗性攻击启发式防御方法还包括：判断一阶梯度图中对比度是否大于第一预设阈值，若是则修改梯度阶数为n，n>1，计算原图的n阶梯度。当噪声区域与一阶梯度图的区别不明显，可以选择计算更高阶的梯度图。

如图6所示，所述筛选所述梯度图中的噪声区域，对所述噪声区域进行抑制，形成防御补丁，具体包括筛选梯度图中各个像素，根据噪声阈值标记大于所述噪声阈值的像素位置，以定位梯度图中的噪声区域。标记大于所述噪声阈值的像素位置可以为将大于所述噪声阈值的像素位置标记为1，将小于所述噪声阈值的像素位置标记为0。找到噪声区域，通过将筛选到可能为噪声区域的位置标记，并将不是噪声区域的位置设置为零实现，也即在不改变图像尺寸的情况下，获得一张标记了噪声区域的图像，且图像中非噪声区域为空白。所述对所述噪声区域进行抑制，包括通过低通滤波器将标记噪声区域的图像进行高频噪声梯度抑制，使得噪声的频率减弱，从而进行噪声抑制获得防御补丁。在现实环境中，不同的设备在不同的环境下采集的图像容易受到虚化、噪声污染等影响，导致深度神经网络对不同设备采集的同一物品的图像的分类存在差异。为了减少因不同设备导致的图像噪声对分类的影响，采用低通滤波器替代对不同设备采集的图像的归一化操作。低通滤波器能够在平滑图像高频区域的同时，更好地保护图像的低频区域，可以有效缓解筛选高频噪声造成的结果偏差问题。被攻击图像中包含目标对象和噪声两个信息，本发明提供的方法首先基于低通滤波器筛选出被攻击图像中的噪声信息，以便对齐进行加强和处理。

由于具有低通特性的滤波器有很多，为了更好地配合后续的梯度增强，即保护图像本身的信息，突出噪声的信息，本发明选择了非线性中值滤波器进行图像处理。非线性中值滤波器在某些特殊情况下可以同时起到去除噪声和保护图像边缘的作用，对原始图像的边缘影响较小，缓解筛选高频噪声造成的结果偏差的效果更好。

本发明提供的使用梯度优化的局部对抗性攻击启发式防御方法，将经过低通滤波器处理后的一阶梯度图像划分为k个相同大小(

)的重叠块，根据噪声阈值(γ)筛选出噪声区域，对噪声区域进行梯度抑制，所述梯度抑制具体为：利用噪音区域乘平滑系数得到抑制梯度后，用所述噪音区域减去所述抑制梯度：/>

，从而对标记噪声区域的图像进行梯度抑制，其中，λ为平滑系数，G_h,w为h行w列的噪声区域，计算获得的/>

为防御补丁。作为一种优选的实施例，根据所述梯度图中的噪声区域的面积属性和位置属性，计算噪声阈值调整系数，根据噪声阈值调整系数和初始噪声阈值的乘积计算噪声阈值。其中，噪声调整系数为梯度图中噪声区域的面积与第一预设面积的比值乘以噪声区域中心点距离原图中目标图像中心点的距离值的倒数。本发明提供的使用梯度优化的局部对抗性攻击启发式防御方法，能够根据不同原图的被攻击状态，选择合适的阈值能够使得噪声抑制效果明显，并且识别精确率上升。作为一种优选的实施例，基于预训练模型识别噪声区域的噪声类型，根据噪声类型匹配原图对应的平滑系数以控制抑制程度的大小。在实际应用中，根据不同的高频噪声选择不同的平滑系数。在一些实施例中，噪声区域的筛选通过：将单个重叠块每一列的行向量与梯度图点积之间的比值与噪声阈值进行对比，若比值大于噪声阈值，则记为噪声区域，若比值小于噪声阈值，则记为非噪声区域。

其中，噪声阈值控制选取的噪声区域的准确程度，对于同一张原图来说，噪声阈值越高，选取出的噪声区域越大，对高频噪声的抑制就更为完全；同样的，噪声阈值越低，选取出的噪声区域越小，在将防御补丁投影回梯度增强图时，对梯度增强图的覆盖越少，显示的原图细节增多，提升了分类器的准确率。由此可见，根据不同原图的状态，选择合适的阈值能够使得噪声抑制效果明显，并且识别精确率上升。

传统LGS算法在获得图像一阶梯度后，为保证后续准确寻找高频噪声位置，将图像整体的一阶梯度图做了归一化处理。在现实环境中，不同的设备在不同的环境下采集的图像很容易受到虚化、噪声污染等影响，为了减少图像噪声对分类的影响，本发明使用低通滤波器来代替现有技术中的归一化操作，在平滑图像高频区域的同时，更好地保护了图像的低频区域，可以有效缓解筛选高频噪声造成的结果偏差问题。

对所述原图进行梯度增强具体为，获得原图在任意一点的梯度，所述梯度乘以梯度增强系数得到增强梯度，并通过所述原图叠加所述增强梯度，实现对原图的梯度增强，作为一种优选的实施例，与噪声阈值相类似，根据所述梯度图中的目标区域的被攻击属性，计算梯度增强系数，根据原图中噪声区域与原图中目标对象区域重叠比例与噪声区域中心点距离原图中目标图像中心点的距离值的倒数之间的乘积作为第一调节系数，利用第一调节系数乘以原始梯度增强系数获得梯度增强系数。梯度增强系数控制增强程度的大小，在实际应用中，根据目标对象不同的被攻击状态选择不同的梯度增强系数，提高了对目标对象信息的保护力度，进而提高了目标对象的识别准确度。作为本发明提供的方法的另一方面，利用梯度增强对目标对象的轮廓信息进行处理，使得原始样本的梯度细节和纹理特征被进一步突出，结合形成防御补丁的步骤，实现在抑制对抗补丁的同时，提升图像识别的准确率。

如图7所示，对所述原图进行梯度增强，形成梯度增强图，具体包括：将原图看作为一个二维函数f(x，y)，分别向二维函数f(x，y)求f(x，y)对x的微分以及f(x，y)对y的微分，也即为图像中任意一点（x，y）分别向x和y方向上求导，求得灰度变化率：

，

其中，δ为像素增量，x、y分别为x方向和y方向上的位置信息，由于图像是按照像素进行离散的，图像的f(x，y)为一个非连续的二维函数，所以δ无法无限小，对于未归一化的原图，其最小的δ为1像素，因此灰度变化率的计算公式如下(δ=1)：

，

其中g_x和g_y分别表示了图像在点(x，y)处x和y两个方向上的梯度，也即图像在点(x，y)处x和y两个方向上的梯度等价于两个相邻像素的差值。为了简化计算量，本发明采用分别对g_x和g_y取绝对值并加权来获得图像点(x,y)的近似梯度值：

，其中，θ为梯度增强系数，用于控制梯度增强大小程度，最终实现梯度增强。

本发明在原始图像中使用梯度增强，即在Φ(x)映射前首先对输入图像x进行梯度增强，提高原始对象的轮廓纹理等重要特征，使得深度神经网络对原始对象的注意力更为集中，进而提高分类器的识别准确率。

所述将所述防御补丁投影到所述梯度增强图，形成防御处理图，因防御补丁与梯度增强图的尺寸一致，也即在防御补丁投影至梯度增强图后，防御补丁中被抑制后的噪声覆盖在梯度增强图中的高频噪声上，对高频噪声进行抑制，同时，因防御补丁中非噪声区域标记为零，映射后不改变梯度增强图的轮廓纹理。

进一步的，所述形成防御处理图后，还包括原图为被攻击的图像，将获得的防御处理图送入图像分类器进行分类，识别原图对应的图像中的目标对象。此时因防御处理图中不含有高频噪声，不会使得深度神经网络不会被高频噪声吸引而做出错误分类，提高了图像识别的准确度。

本发明通过一种使用梯度优化的局部对抗性攻击启发式防御方法（简称LAAGO）实现在抑制对抗补丁的同时，将缩放筛选噪声区域的梯度图经过处理后映射到经过梯度增强的原图像上，对原图中高频噪声区域进行抑制，实现在抑制对抗补丁的同时，提升图像识别的准确率。

具体地，对原图进行处理获得梯度图，通过计算原图的梯度值，获得原图的轮廓图；筛选梯度图找到噪声区域，也即在不改变图像尺寸的情况下，筛选获得一张标记了噪声区域的图像，且图像中非噪声区域为空白。通过将标记噪声区域的图像进行梯度抑制，使得噪声的频率减弱，也即噪声得到抑制获得防御补丁；对原图进行梯度增强能够使得原图的轮廓增强，使得深度神经网络将注意力集中在原始物体的轮廓纹理特征上，提升分类器的分类精确度。将防御补丁投影到增强后的梯度增强图，因防御补丁与梯度增强图的尺寸一致，也即在防御补丁投影至梯度增强图后，防御补丁中被抑制后的噪声覆盖在梯度增强图中的高频噪声上，对高频噪声进行抑制，同时，因防御补丁中非噪声区域标记为零，映射后不改变梯度增强图的轮廓纹理。再将获得的防御处理图送入分类器进行分类，此时因防御处理图中不含有高频噪声，不会使得深度神经网络不会被高频噪声吸引而做出错误分类，如图8所示。因此，本发明不仅对高频噪音进行抑制，防止因深度神经网络被高频噪音吸引而做出错误判断，实现抑制对抗补丁，同时，还因将原图进行了梯度增强，提升了原图的轮廓纹理，方便分类器进行识别，提升图像识别的准确率。本发明使用LAAGO方法处理带有局部噪声的对抗样本时，对抗补丁的位置没有做明确的限定，补丁有很大概率会遮挡一部分原始对象的显著细节，本发明综合利用了图像梯度的处理方法，分别进行梯度增强和梯度抑制两种梯度处理手段，基于低通滤波器和梯度增强的保证，无论补丁位置在何处，本发明提供的方法都能够在抑制局部对抗噪声的同时，增强原始对象的轮廓，将局部对抗性噪声和防御算法对原图的影响降到最低。

本发明实施例还提供一种使用梯度优化的局部对抗性攻击启发式防御装置，包括：变换模块，用于对原图进行处理，获得梯度图；抑制模块，用于筛选所述梯度图中的噪声区域，对所述噪声区域进行抑制，形成防御补丁；增强模块，用于对所述原图进行梯度增强，形成梯度增强图；防御模块，用于将所述防御补丁投影到所述梯度增强图，形成防御处理图。

为了对比本发明与传统防御方式的防御效果，本发明的实施例提供了一种对比实验。

具体地，本申请沿用了传统防御算法中的Inception v3模型进行对抗补丁相关的攻击防御测试。与传统防御算法相同地，本申请中所有的攻击全部在白盒设置下进行。在本申请实验中数据集选取ImageNet 2012，该数据集中图像共有5万张，传统防御算法中选取了1000张对抗样本作为实验数据集，且传统防御算法为了避免补丁遮盖图像中的显著细节，补丁全部选择放置在图像边缘区域，这显然是不符合实际应用的，本申请为了数据更加精确，对抗补丁在图像区域内完全随机放置，并对每幅图像进行了多次迭代优化。使得对抗补丁攻击成功率达到99%以上，并选取了包括2000张优化迭代后的敌对数据集，保证该数据集在面对对抗补丁的攻击目标类别时至少存在96%以上的成功率，阈值的参数通过在0~1.2区间平均步长，进行30次实验后，选取最佳的阈值。

具体来说，本发明的实验（简称LAAGO）与传统的局部梯度平滑（LGS）算法、JPEG压缩、图像总方差最小化（TVM）、高斯滤波（GF）、中值滤波（MF）以及数字水印（DW）进行比较。所有的实验均在在i7-10700k八核CPU，主频为4.20GHz和32GB内存的Windows电脑上进行。

本此实验使用400×400大小的图像作为Inception v3模型输入，对抗补丁（简称Adversarial Patch）大小设定为为70×70(约占3%的图像)、80×80(约占4%的图像)、120×120(约占10%的图像)进行验证提出的方法，各类算法的处理结果和显示在图9与图10中。

研究表明，深度学习在识别物体中更关注于物体纹理特征，因此为了进一步阐述对抗补丁的攻击特性，本实验采用梯度平滑算法。筛选出高频噪声后，在局部高频噪声区域使用梯度平滑算法，梯度平滑算法消除了对抗补丁的相关纹理信息。但通过实验结果如图10可知防御没有达到预期效果。这是由于对抗补丁虽然已经失效，但相比较原图像，高频噪声依旧干扰模型做出正确判断，显然仅仅消除补丁纹理细节是不够的，所以正如本申请使用梯度优化的局部对抗性攻击启发式防御算法，局部对抗性噪声的防御需要直接抑制异常的高频噪声的同时提高原始对象的梯度强度。

本申请同时使用了JPEG压缩、TVM去噪等方法进行对比实验，实验证明该类传统的防御方法对补丁攻击的作用较小。结果表明，这些传统的防御方法对修补攻击的效果较差。数字水印等启发式防御比传统的防御方法更有效，但它们在处理干净的例子时掩盖了一些细节信息，导致在没有攻击的情况下识别效果不佳。实验结果证明了使用梯度优化的局部对抗性攻击启发式防御算法比其他防御方法的优势。局部梯度平滑算法将干净例子的识别精度从78.24%降低到72.65%，降低了5.59%，但使用梯度优化的局部对抗性攻击启发式防御算法只损失了0.3%的精度。

同样的，还进行了对LaVAN补丁攻击算法的防御实验，LaVAN已被证明能够在图像的任何位置进行攻击，并且其补丁尺寸远小于对抗性补丁。使用梯度优化的局部对抗性攻击启发式防御算法的防御准确性同样适用于此类攻击。实验使用大小为299×299的图像作为Inception v3模型的输入，并用42×42大小的LaVAN补丁（约占2%图像）进行实验。在实验中，LaVAN补丁被固定在（210，210）的位置。实验结果显示在图11和图12中。

如图11所示，由于LaVAN攻击中没有广泛的高频噪声所以传统的去噪算法，如JPEG压缩和MF会对LaVAN有一定的平滑作用，但依然存在局限性。使用梯度优化的局部对抗性攻击启发式防御的不同之处在于，算法不仅在噪声区域内进行梯度抑制，而且还通过梯度增强突出目标特征。与LGS和DW相比，使用梯度优化的局部对抗性攻击启发式防御在过滤局部对抗性斑块方面的优势体现在图12中。使用梯度优化的局部对抗性攻击启发式防御有效地保护了原始目标的特征，提高了分类精度。因此，面对伪装性更强的LaVAN攻击，使用梯度优化的局部对抗性攻击启发式防御仍然表现出良好的防御性能，防御效果达到72.10%。

在本申请中，通过研究梯度域中的攻击特性来改进对局部对抗性攻击的防御。传统的启发式算法往往对原始图像有很大的影响，而且在实际应用中实现起来也很有难度。本申请中，首先使用低通滤波器对图像的高频区域进行平滑处理，确保其不受外部环境、光线或设备的影响，从而减少筛选高频噪声可能造成的误差。其次，使用梯度优化的局部对抗性攻击启发式防御算法增强了原始物体的梯度纹理细节，提高了深度神经网络对原始物体的关注度；因此，分类器的分类精度和算法鲁棒性得到了有效提高。未来的工作将着重于提高使用梯度优化的局部对抗性攻击启发式防御算法在搜索高频噪声时的准确性，并动态调整不同尺寸图像的筛选阈值、平滑系数和增强系数，以便在实际应用中实现端到端的防御。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种使用梯度优化的局部对抗性攻击启发式防御方法，其特征在于：

对原图进行处理，获得梯度图；

筛选所述梯度图中的噪声区域，对所述噪声区域进行抑制，形成防御补丁；通过低通滤波器将标记噪声区域的图像进行高频噪声梯度抑制，将经过低通滤波器处理后的梯度图像划分为k个相同大小的重叠块，根据噪声阈值筛选出噪声区域，对噪声区域进行高频噪声梯度抑制；

所述高频噪声梯度抑制具体为：利用噪音区域乘平滑系数得到抑制梯度后，用所述噪音区域减去所述抑制梯度；

根据所述梯度图中的噪声区域的面积属性和位置属性，计算噪声阈值调整系数，根据噪声阈值调整系数和初始噪声阈值的乘积计算噪声阈值；

对所述原图进行梯度增强，形成梯度增强图；获得原图在任意一点的梯度，将梯度乘以梯度增强系数得到增强梯度，并通过所述原图叠加所述增强梯度，实现对原图的梯度增强；

将所述防御补丁投影到所述梯度增强图，形成防御处理图。

2.根据权利要求1所述的一种使用梯度优化的局部对抗性攻击启发式防御方法，其特征在于，对原图进行处理，具体包括计算原图的一阶梯度；

所述使用梯度优化的局部对抗性攻击启发式防御方法还包括：

判断一阶梯度图中对比度是否大于第一预设阈值，若是则修改梯度阶数为n，n>1，计算原图的n阶梯度。

3.根据权利要求1所述的一种使用梯度优化的局部对抗性攻击启发式防御方法，其特征在于，根据噪声阈值筛选出噪声区域，包括：

将单个重叠块每一列的行向量与梯度图点积之间的比值与噪声阈值进行对比，若比值大于噪声阈值，则记为噪声区域，若比值小于噪声阈值，则记为非噪声区域。

4.根据权利要求1所述的一种使用梯度优化的局部对抗性攻击启发式防御方法，其特征在于，对所述原图进行梯度增强，形成梯度增强图，具体包括：

将原图看作为一个二维函数f(x，y)，图像中任意一点（x，y）分别向x和y方向上求导，求得灰度变化率：

，

其中，g_x和g_y分别表示了图像在点(x，y)处x和y两个方向上的梯度。

5.根据权利要求1所述的一种使用梯度优化的局部对抗性攻击启发式防御方法，其特征在于，所述形成防御处理图后，还包括原图为被攻击的图像，将获得的防御处理图送入图像分类器进行分类，识别原图对应的图像中的目标对象。

6.一种使用梯度优化的局部对抗性攻击启发式防御装置，包括：

变换模块，用于对原图进行处理，获得梯度图；

抑制模块，用于筛选所述梯度图中的噪声区域，对所述噪声区域进行抑制，形成防御补丁；

通过低通滤波器将标记噪声区域的图像进行高频噪声梯度抑制，将经过低通滤波器处理后的梯度图像划分为k个相同大小的重叠块，根据噪声阈值筛选出噪声区域，对噪声区域进行高频噪声梯度抑制；

所述高频噪声梯度抑制具体为：利用噪音区域乘平滑系数得到抑制梯度后，用所述噪音区域减去所述抑制梯度；

根据所述梯度图中的噪声区域的面积属性和位置属性，计算噪声阈值调整系数，根据噪声阈值调整系数和初始噪声阈值的乘积计算噪声阈值；

增强模块，用于对所述原图进行梯度增强，形成梯度增强图；获得原图在任意一点的梯度，将梯度乘以梯度增强系数得到增强梯度，并通过所述原图叠加所述增强梯度，实现对原图的梯度增强；

防御模块，用于将所述防御补丁投影到所述梯度增强图，形成防御处理图。

Images