CN113240028A - 一种基于类激活图的对抗样本块攻击检测方法 - Google Patents

Abstract

本发明公开了一种基于类激活图的对抗样本块攻击检测方法，该方法先通过获取图像分类器的输出结果，以拥有最高置信度的类别作为目标类别来计算模型的类激活图，针对对抗样本块对输出结果的占比大的本质特征，基于类激活图结果，使用局部质心算法确定图像所属类别对应的图像中最重要的区域中心，从而确定对抗样本块的位置，最后根据图像所属类别对应的图像中最重要的区域的局部梯度均值进行阈值判断，实现对对抗样本块的准确检测。与现有的检测或防护方法相比，本发明无需对深度卷积神经网络进行任何结构上的改变，适用于大多数基于深度学习的图像分类器模型，该检测算法的时间开销小，具有轻量性和通用性的优点。

Description

一种基于类激活图的对抗样本块攻击检测方法

技术领域

本发明属于人工智能安全领域，涉及图像分类、对抗样本攻击和异常检测。本发明可应用于人工智能安全领域中的计算机视觉领域。

背景技术

人工智能系统作为一种具有学习能力的高效系统，已经应用于多种重要领域，来解决一些特征复杂难以分析的任务，因此人工智能安全成为了一个非常重要的课题，对图像分类系统的对抗样本块攻击检测也十分关键。在计算机视觉领域中，图像分类器是最基本的一种模型，其结构被广泛应用于其他更加复杂的视觉识别任务中，因此图像分类器的安全对以此为基础的模型也存在深刻影响。在多种对抗攻击中，对抗样本块攻击是最具有实际可行性的一种攻击，因此对对抗样本块攻击的检测有很大的现实意义。在多种检测攻击的方法中，无需改动模型结构的附加检测算法因其通用性而被广泛研究。而现有的检测方法中大多缺乏对于对抗样本块的准确定位，使得其需要在全局范围内进行检测，缺少方向性，计算开销大。

发明内容

为解决图像分类系统中的对抗样本块攻击检测的安全性问题，本发明提出了一种新的对抗样本块攻击检测方法，以解决上述问题，达到检测对抗样本块攻击的目的，达到保证安全性的同时也能最大限度地保证模型的计算速度不受影响，做到用户友好，算法简单，并可广泛地应用于实际图像分类系统中。

本发明的目的是通过以下技术方案实现的：

一种基于类激活图的对抗样本块攻击检测方法，包括以下步骤：

步骤1：使用深度卷积神经网络作为图像分类器，识别输入图像，得到该图像所属类别；

步骤2：根据步骤1得到的图像所属类别，计算并生成对应的类激活图；

步骤3：基于类激活图的结果，使用局部质心算法确定图像所属类别对应的图像中最重要的区域中心，从而确定对抗样本块的位置；所述类激活图为关于指定分类结果的权重图，所述局部质心算法为在权重最大的紧邻区域计算质心；

步骤4：对步骤3得到的图像所属类别对应的图像中最重要的区域计算局部梯度的均值，并进行阈值判断，检测出对抗样本块时阻止图像分类器的输出。

上述技术方案中，进一步地，所述的图像分类器包括特征提取器和特征分类器；所述的步骤1具体为：

步骤1.1：图像分类器接收来自摄像头或者其他以文件格式保存的图像，特征提取器提取图像的高阶特征并进行保存；

步骤1.2：特征分类器根据步骤1.1得到的高阶特征进行分类，比较每个类别对应的置信度，选取置信度最高的一类作为分类器的分类结果。

进一步地，步骤2包括以下子步骤：

步骤2.1：将步骤1.2的分类结果作为生成类激活图的目标类别，从所述目标类别对应的置信度结果开始进行反向传播至特征提取器提取的高阶特征；

步骤2.2：通过全局平均池化层计算高阶特征中各通道的权重值，计算所有通道的加权和，即可得到类激活图。

进一步地，所述的步骤3包括以下子步骤：

步骤3.1：使用类激活图原始尺寸下的结果，将输入图像粗略地划分为多个互不重合的子区域；

步骤3.2：选择权重值最高的子区域作为初步粗定位的结果；

步骤3.3：选择粗定位区域以及与其紧邻的所有区域，使用各区域权重求取精确的目标类别对应的图像中最重要的区域中心。

进一步地，所述的步骤4包括以下子步骤：

步骤4.1：以设定尺寸对步骤3中确定的图像所属类别对应的图像中最重要的区域中心进行采样；

步骤4.2：依据采样图像的像素值变化计算局部梯度值的大小，求取采样区域的局部梯度的均值；

步骤4.3：依据设定阈值来判断采样到的图像区域中是否存在对抗样本块：若采样图像的局部梯度均值大于设定阈值则此图像已经遭受对抗样本块攻击，若采样图像的局部梯度均值小于设定阈值则此图像属于正常识别样本；所述的设定阈值是依据正常图像的局部梯度均值的分布设定；

步骤4.4：图像分类器根据检测结果改变其识别分类结果：若检测到对抗样本块则需要阻止图像分类器输出，若未检测到则图像分类器输出识别结果。

本发明的有益效果是：

1、使用本对抗样本块检测方法，无需改变图像分类器的模型结构，且面向绝大多数以卷积层作为特征提取器与以全连接层作为特征分类器的卷积神经网络结构具有通用性；

2、本检测方法关注到了对抗样本块的本质特征(对抗样本块对输出结果的占比大，计算类激活图可以找到对抗样本块的位置)，拥有在分类器中准确定位对抗样本块的能力，为后续的对于对抗样本块的鉴别手段提供了有效的引导，显著降低了检测过程中的虚警概率；

3、采用此方法扩大了类激活图的应用领域，区别于原方法用于识别效果可视化的使用目的，本检测方法中用于定位对抗样本块中心坐标，无需进行上采样。

4、本方法通过先定位后鉴别，将全局检测转化为局部检测，简化了鉴别对抗样本块的方法，方法简单且额外开销小，有效提高了图像分类系统的安全性。

附图说明

图1是本发明实施例的正常图像样本进入模型识别示意图；

图2是本发明实施例的恶意对抗样本块进入模型识别示意图；

图3是本发明实施例的类激活图的原理及流程示意图；

图4是本发明实施例的类激活图的原始输出与可视化对比图；

图5是本发明实施例的局部质心算法的原理示意图；

图6是本发明实施例的对抗样本块的局部梯度示意图；

图7是本发明实施例的流程框图。

具体实施方式

为了便于本领域普通技术人员理解和实施此发明，下面结合附图及实施例对本发明作进一步的详细阐述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供了一种基于类激活图的对抗样本块攻击检测方法。该方法是一种利用类激活图作为恶意样本块定位手段的对抗样本块检测方法，利用对抗样本块色彩变化剧烈的性质，计算定位区域的局部梯度均值大小并以此作为判定正常样本与对抗样本的检测方法。

本发明巧妙利用对抗样本块可以用类激活图定位的特点，降低了对抗样本块检测的技术难度，避免了模型结构修改的局限性，在降低检测成本的同时提升了模型的安全性。

本实施例以“一次正常样本的分类识别过程或攻击者在图像中嵌入对抗样本块的攻击与检测过程”对本发明进行详细分析和仔细说明。

如图7所示，本发明提供一种基于类激活图定位特性的对抗样本块检测方法，包括以下步骤：

步骤1：系统接收到图像分类指令，接收从摄像头或者以其他文件格式传来的图像。直接送入卷积神经网络模型(图像分类器)进行识别，获得当前图像的预测结果。如果输入的是正常样本，那么模型将会正常识别；如果图像上已经嵌入对抗样本块，那么模型将会识别出对抗样本块所指定的类别。

此处无论图像是否被对抗攻击都直接使用卷积神经网络进行识别，因此正常样本的识别过程请见图1，嵌入对抗样本块后的对抗样本的识别过程请见图2。

步骤2：根据步骤1的识别结果，计算对应的类激活图，类激活图只定位该目标类别的位置，对于正确识别的干净样本将定位到图中有关物体的关键特征处，对于嵌入对抗样本块的对抗样本将定位到所嵌入的对抗样本块的位置。类激活图效果与工作流程分别详见图3。在图3中，有两类物体，若将狗作为类激活图的指定类别，则会定位到图中狗的位置，反之，以猫作为类激活图的指定类别，则会定位到图中猫的位置。

类激活图的生成可以认为等价于最后卷积层的输出激活图关于指定目标的重要性程度加权和，其中同一层的激活输出由同一个卷积核产生，代表了不同位置的同一种高阶特征，因而只需要求出每一层特征对目标类别的权重，图中的各层权重可以用以下的公式来表示：

其中，c代表图像类别，A^k代表模型第k层的输出特征图，i和j分别代表输出特征图上的横纵坐标，y代表模型逻辑层的输出结果，Z代表单层激活图中神经元总数，对反向传播到某一层输出特征图上的梯度进行了全局平均，获得了每层输出特征图对于该类别的权重α。

需要使用ReLU函数来处理特征激活图的加权和，这是因为只对那些与关注的类别正相关的特征感兴趣，这一过程可以用下列公式表示：

其中，c代表图像类别，A^k代表模型第k层的输出特征图，α代表输出特征图对于该类别，ReLU代表线性整流函数，L代表类激活图结果。

在类激活图用于可视化效果时常需要将原始的类激活图输出上采样到图像同样尺寸，上采样前后的示意图详见图4，其中左图为上采样前的类激活图，下图为上采样后的可视化结果。而在本发明中可以直接使用原始的类激活图输出结果。

步骤3：在选取最高权重值的区域作为首选区域后，在其紧邻区域求取局部质心位置，其中将象征重要程度的权重值作为质量，且将各区域设为一个质量集中于中心的质点，从而求取精确的目标类别对应的图像中最重要的区域中心，这一过程详见图5，其中接近白色的区域说明重要程度高的区域，红框框出的区域代表首选区域。

在此步骤中，对类别重要性区域中心进行精确定位时，用到了坐标系下的质心公式，下面给出质心公式：

其中，(x_c,y_c)代表所估计的中心坐标，(x_i,j,y_i,j)代表第i行j列区域的中心坐标，L_i,j代表第i行j列区域的权重值，A代表最大权重值区域的所有紧邻区域的集合。

根据这一计算出的中心坐标，以指定尺寸截取原始图像中的位置对应的部分作为采样图像。本领域技术人员可根据需要确定该指定尺寸的具体取值。

步骤4：针对采样到的区域，计算局部梯度均值大小，将其与设定阈值比较，确定是否存在对抗样本块。图像局部梯度反应了图像中像素变化的剧烈程度，可以由下面的公式来表示：

其中，X代表图像本身，a、b分别代表从图像左上角开始的横向坐标和纵向坐标，

代表该坐标处的局部梯度大小。

对抗样本块由于被训练为需要尽可能多地包含指定类别的关键特征，因而其像素变化剧烈，其局部梯度分布整体较高，所以其均值也远高于正常样本。在此步骤中，对抗样本块计算得到的局部梯度分布图，详见图6。在图6中，左图的左上方嵌入了一个对抗样本块，可看到其中许多紧邻像素间跳变严重，缺少平缓的变化过渡，右图是其局部梯度分布图，越接近白色说明梯度越大，可以看到对抗样本块处因存在大量色彩跳变，所以其局部梯度均值较大。而正常样本则不存在这样大且频繁的跳变或仅在物体边缘存在大的跳变，因而局部梯度均值较小。根据这个明显的特征可以很有效地将正常图像局部与对抗样本块区分开，以达到检测对抗样本攻击的目的。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以作出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应该以所附权利要求为准。

Claims (5)

1.一种基于类激活图的对抗样本块攻击检测方法，其特征在于，包括以下步骤：

步骤1：图像分类器接收一张可能被嵌入对抗样本块的输入图像进行识别分类，得到该图像所属类别；

步骤2：根据步骤1得到的图像所属类别，计算并生成对应的类激活图；

步骤3：基于类激活图的结果，使用局部质心算法确定图像所属类别对应的图像中最重要的区域中心，从而确定对抗样本块的位置；所述类激活图为关于指定分类结果的权重图，所述局部质心算法为在权重最大的紧邻区域计算质心；

步骤4：对步骤3得到的图像所属类别对应的图像中最重要的区域计算局部梯度的均值，并进行阈值判断，检测出对抗样本块时阻止图像分类器的输出。

2.根据专利要求1所述的一种基于类激活图的对抗样本块攻击检测方法，其特征在于，所述的图像分类器包括特征提取器和特征分类器；所述的步骤1具体为：

步骤1.1：图像分类器接收来自摄像头或者其他以文件格式保存的图像，特征提取器提取图像的高阶特征并进行保存；

步骤1.2：特征分类器根据步骤1.1得到的高阶特征进行分类，比较每个类别对应的置信度，选取置信度最高的一类作为分类器的分类结果。

3.根据专利要求2所述的一种基于类激活图的对抗样本块攻击检测方法，其特征在于，步骤2包括以下子步骤：

步骤2.1：将步骤1.2的分类结果作为生成类激活图的目标类别，从所述目标类别对应的置信度结果开始进行反向传播至特征提取器提取的高阶特征；

步骤2.2：通过全局平均池化层计算高阶特征中各通道的权重值，计算所有通道的加权和，即可得到类激活图。

4.根据专利要求1所述的一种基于类激活图的对抗样本块攻击检测方法，其特征在于，所述的步骤3包括以下子步骤：

步骤3.1：将输入图像划分为多个互不重合的子区域；

步骤3.2：选择权重值最高的子区域作为初步粗定位的结果；

步骤3.3：选择粗定位区域以及与其紧邻的所有区域，使用各区域权重求取精确的目标类别对应的图像中最重要的区域中心。

5.根据专利要求1所述的一种基于类激活图的对抗样本块攻击检测方法，其特征在于，所述的步骤4包括以下子步骤：

步骤4.1：以设定尺寸对步骤3中确定的图像所属类别对应的图像中最重要的区域中心进行采样；

步骤4.2：依据采样图像的像素值变化计算局部梯度值的大小，求取采样区域的局部梯度的均值；

步骤4.3：依据设定阈值来判断采样到的图像区域中是否存在对抗样本块：若采样图像的局部梯度均值大于设定阈值则此图像已经遭受对抗样本块攻击，若采样图像的局部梯度均值小于设定阈值则此图像属于正常识别样本；所述的设定阈值是依据正常图像的局部梯度均值的分布设定；

步骤4.4：图像分类器根据检测结果改变其识别分类结果：若检测到对抗样本块则需要阻止图像分类器输出，若未检测到则图像分类器输出识别结果。

Images