CN111898731A - 基于偏见的通用对抗补丁生成方法和装置 - Google Patents

Abstract

本发明公开了一种基于偏见的通用对抗补丁生成方法，同时公开了相应的通用对抗补丁生成装置。本发明基于模型的感知偏见理念，在难样本基础上生成各先验补丁；难样本为目标模型未有效识别的样本；基于模型的语义偏见理念，针对目标模型生成各类原型；根据各先验补丁和各类原型，通过目标模型，生成通用对抗补丁。本发明利用深度神经网络模型的感知偏见和语义偏见生成更具攻击力的通用对抗补丁，有效提高对抗样本的攻击性和通用性，框架结构简单，可随意插拔，并能提升其他类似的对抗补丁生成方法的效果，具有较高的应用价值。

Description

基于偏见的通用对抗补丁生成方法和装置

技术领域

本发明涉及一种基于偏见的通用对抗补丁生成方法，同时涉及一种基于偏见的通用对抗补丁生成装置，属于机器学习技术领域。

背景技术

近年来，深度学习技术在计算机视觉、语音识别和自然语言处理等领域中具有出色的表现，神经网络模型大放异彩。然而，深度神经网络已经被证明容易受到对抗样本的影响，这些相对而言比较细小的干扰却能够在很大程度上影响深度神经网络的准确性和可靠性，因此，深度学习技术应用受到质疑。在某些已经广泛应用深度学习技术的领域中，如自动驾驶、人脸识别、自动零售等，对抗样本造成的影响巨大，甚至可能导致巨额财产损失和重大人员伤亡。出于深度神经网络应用的可靠性和安全性考量，研究提升模型鲁棒性、可解释性刻不容缓，对抗样本技术能够有效的帮助理解神经网络模型，判断网络模型的实际可用性，研究对抗样本技术能为深度学习技术的安全可靠发展提供助力。

对抗补丁作为一种局部补丁式的对抗噪音，由于其易携带性和易攻击性，得到了很大的关注。防御基于对抗补丁的攻击是各种深度学习技术落地所面临的更大的挑战。研究基于补丁的对抗样本，提高基于补丁的对抗样本的攻击能力，能够以一种拮抗的形式反向促进深度学习技术的进步，推动深度学习技术应用更加可靠、更加安全、更加可信赖。

发明内容

本发明所要解决的首要技术问题在于提供一种基于偏见的通用对抗补丁生成方法。

本发明所要解决的另一技术问题在于提供一种基于偏见的通用对抗补丁生成装置。

为实现上述目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种基于偏见的通用对抗补丁生成方法，包括如下步骤：

基于模型的感知偏见理念，在难样本基础上生成各先验补丁；所述难样本为目标模型未有效识别的样本；

基于模型的语义偏见理念，针对目标模型生成各类原型；

根据各先验补丁和各类原型，通过目标模型，生成通用对抗补丁。

其中较优地，所述基于模型的感知偏见理念，在难样本基础上生成各先验补丁，包括如下步骤：

在原始数据集中找到难样本，构建难样本数据集；

根据目标模型识别难样本的结果，利用感知损失函数优化各难样本，得到融合样本；

利用感知模块在每个融合样本中找到对应先验补丁。

其中较优地，所述感知损失函数为：

上式中，λ用于平衡两项损失函数项的比例，

为风格损失函数，

为全局不确定度损失函数；

所述风格损失函数为：

上式中，

是第k个难样本，x^*是融合样本，G是神经网络某一特定层所提取特征的Gram矩阵，E表示期望；

所述融合样本的初始化值为任意一个难样本；

所述Gram矩阵表达式为：

上式中，

代表目标模型在特定层特定位置的某一特定滤波器的激活值；

所述全局不确定度损失函数为：

上式中,y^h，i为模型将融合样本x^*分为第i类的置信度。

其中较优地，所述利用感知模块在每个融合样本中找到对应先验补丁，包括如下步骤：

将各融合样本输入至感知模块；

感知模块计算当前融合样本上每个位置上像素的权重；所述位置根据先验补丁预设大小确定；

感知模块输出权重最大的像素为先验补丁。

其中较优地，所述先验补丁的表达式为：

上式中，

表示感知模块，x^*为融合样本，F表示目标模型；

所述权重的计算公式为：

上式中，a_ij表示特定位置(i,j)上像素的权重，

表示第k个特征图的(i,j)位置的像素值，w代表总的特征途数目，y^h为神经网络对于难样本x^h的分类。

其中较优地，所述生成各类原型的计算公式为：

上式中，C代表类总数，margin代表控制类间距的阈值，S_t(I)代表类别t的logits值；

所述logits值由目标模型的分类层计算得出。

其中较优地，所述根据各先验补丁和各类原型，通过目标模型，生成通用对抗补丁，包括如下步骤：

初始化对抗补丁为先验补丁；

利用转换模块将对抗补丁进行随机形态转换；

将转换后的对抗补丁与对应类原型结合生成对应对抗样本，并输入至目标模型进行训练；

针对训练输出结果，依据对抗攻击损失函数，判定对抗补丁满足预设阈值后，输出生成通用对抗补丁。

其中较优地，所述对抗攻击损失函数为：

上式中，δ^adv表示对抗补丁，P(·)为目标模型对于输入的预测值，I′表示对抗样本，E表示期望。

其中较优地，所述随机形态转换，包括但不限于：旋转、仿射和扭曲。

根据本发明实施例的第二方面，提供一种基于偏见的通用对抗补丁生成装置，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：

基于模型的感知偏见理念，在难样本基础上生成各先验补丁；所述难样本为目标模型未有效识别的样本；

基于模型的语义偏见理念，针对目标模型生成各类原型；

根据各先验补丁和各类原型，通过目标模型，生成通用对抗补丁。

在本发明中，利用深度神经网络模型的感知偏见和语义偏见生成更具攻击力的通用对抗补丁，有效提高对抗样本的攻击性和通用性，框架结构简单，可随意插拔，并能提升其他类似的对抗补丁生成方法的效果，具有较高的应用价值。

附图说明

图1为本发明提供的通用对抗补丁生成方法的流程简图；

图2为本发明提供的通用对抗补丁生成装置的结构示例图

图3为本发明提供的通用对抗补丁生成方法的详细流程图；

图4为本发明实施例在零售场景中的应用示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

深度学习技术以深度神经网络为代表，包含多层网络结构，非线性的描述输入数据的的特征，但是神经网络已经被证明对于图像有一些固有的“偏见”。深度神经网络的偏见包括：语义偏见和感知偏见。

深度神经网络的语义偏见，指的是深度神经网络对每个类都有特定的偏好，会关注不同类的特定特征。例如，深度神经网络对“狗”这一类的偏见就是，识别有牙、毛耳朵等；对“车”类，识别有四个轮子等。

深度神经网络的感知偏见，指的是神经网络对“纹理”比对“形状”更加敏感，在做预测时更加依赖“纹理”。而人类确相反，人类的感知更加偏向“形状”。例如，对于人类，无论桌子是铁质的还是木质的，人类都能识别是“桌子”；而对于神经网络，将木质结构做的非常奇怪的情况下，也有可能识别出它是“桌子”。

对抗样本是指在数据中添加细微干扰形成输入样本，导致模型以较高的置信度给出错误的输出结果。对抗样本的攻击性提升有助于帮助研究者理解深度神经网络，有利于提高深度神经网络模型应用的安全性。而利用模型的感知偏见，可以帮助对抗样本具备更强的攻击性，同时，利用具有丰富语义信息的类原型帮助训练，可以使得对抗样本的通用性大大提升，有效的使对抗样本的作用更好的发挥出来。

对抗补丁是一个训练出来的局部补丁，它被用于和干净样本结合以欺骗目标模型，导致其做出错误的预测。

给定一个干净样本x，其对应的真实标签为y，则对抗样本x’由以下的表达式给出：

x′＝(1-M)⊙x+M⊙δ

其中⊙为点乘操作；则模型对对此对抗样本的预测结果为：

y’＝F(x’)

其中限制条件为y′≠y。

显然，如果对抗补丁具备更强的攻击性和通用性，那么对于基于补丁的对抗样本而言，其同样会具备更强的攻击性和通用性。因此，为了增强对抗补丁的攻击性和通用性，考虑深度神经网络的特点，在先验能够提升训练效果这一事实的前提下，本发明实施例利用深度神经网络模型的感知偏见先生成一个更具攻击性和通用性的先验补丁，基于此先验补丁进行对抗补丁的优化。

如图1所示，本发明实施例提供的基于偏见的通用对抗补丁生成方法，包括如下步骤：

101、基于模型的感知偏见理念，在难样本基础上生成各先验补丁；所述难样本为目标模型未有效识别的样本；

具体地说：

1011、在原始数据集

中找到难样本，构建难样本数据集；

针对给定的原始数据集

和目标模型F，筛选不能被目标模型F有效识别的数据组成难样本数据集；其中对于样本x而言，其正确标签为y，则难样本集合

中，有y′＝F(x′_δ)且y′≠y。

1012、根据目标模型识别难样本的结果，利用感知损失函数优化各难样本，得到融合样本；

所述融合样本x^*，具体的生成办法是，通过目标模型F的识别结果，利用感知损失函数不断优化样本，迫使生成的融合样本尽可能多的包含更多其他难样本的感知信息。

损失函数包含两个部分，其中之一是风格损失

另一个是全局不确定度损失

所述感知损失函数为：

式(1)中，λ用于平衡两项损失函数项的比例，

为风格损失函数，

为全局不确定度损失函数；

所述风格损失函数为：

式(2)中，

是第k个难样本，x^*是融合样本，G是神经网络某一特定层所提取特征的Gram矩阵，E表示期望；其中，融合样本x^*的初始化可以使任意一个难样本；

所述融合样本的初始化值为任意一个难样本；

所述Gram矩阵表达式为：

式(3)中，

代表目标模型在特定层特定位置的某一特定滤波器的激活值；

所述全局不确定度损失函数为：

式(4)中,y^h，i为模型将融合样本x^*分为第i类的置信度。

1013、利用感知模块在每个融合样本中找到对应先验补丁；

具体地说：

10131、将各融合样本输入至感知模块；

挑选先验补丁的方法是利用本发明实施例提出的感知模块，感知模块以得到的融合样本为输入，根据设置的先验补丁大小输出先验补丁。

所述先验补丁的表达式为：

式(5)中，

表示感知模块，x^*为融合样本，F表示目标模型。

10132、感知模块计算当前融合样本上每个位置上像素的权重；所述位置根据先验补丁预设大小确定；

上述感知模块

通过计算具体的每个位置的像素的权重，根据先验补丁的大小要求，在融合样本中确定权重最大的补丁块的位置，并获取对应位置的融合样本作为先验补丁。

所述权重的计算公式为：

式(6)中，a_ij表示特定位置(i,j)上像素的权重，

表示第k个特征图的(i,j)位置的像素值，w代表总的特征途数目，y^h为神经网络对于难样本x^h的分类。

10133、感知模块输出权重最大的像素为先验补丁。

102、基于模型的语义偏见理念，针对目标模型生成各类原型；

各类原型组成类原型集合I＝{I₁，I₂，...I_n}；

所述生成各类原型的计算公式为：

式(7)中，C代表类总数，margin代表控制类间距的阈值，S_t(I)代表类别t的logits值；

所述logits值由目标模型的分类层计算得出。

在本发明实施例中，根据语义偏见理念，得到类原型集合。类原型包含了某个特定类别的大量代表性语义特征，是该类别的一种“原型”和“代表”，例如深度神经网络对于“狗”的语义偏见包括“毛耳朵”，那么构建的原型样本就是包含了大量“毛耳朵”相关语义特征的图片。

103、根据各先验补丁和各类原型，通过目标模型，生成通用对抗补丁；

具体地说：

1031、初始化对抗补丁为先验补丁；

1032、利用转换模块将对抗补丁进行随机形态转换；

所述随机形态转换，包括但不限于：旋转、仿射和扭曲。

使用转换模块对对抗补丁进行随机形态转换，其中所转换的形态包括对物理世界常见的因为观测产生的图像形态如旋转、仿射、扭曲等，以提高在现实世界中由于此类原因产生的误差的鲁棒性。

1033、将转换后的对抗补丁与对应类原型结合生成对应对抗样本，并输入至目标模型进行训练；

1034、针对训练输出结果，依据对抗攻击损失函数，判定对抗补丁满足预设阈值后，输出生成通用对抗补丁。

所述对抗攻击损失函数为：

式(8)中，δ^adv表示对抗补丁，P(·)为目标模型对于输入的预测值，I′表示对抗样本，E表示期望。

进一步地，本发明还提供一种基于偏见的通用对抗补丁生成装置，如图2所示，包括处理器22和存储器21，还可以根据实际需要进一步包括通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口。其中，存储器、通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口均与该处理器22连接。前已述及，节点设备中的存储器21可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器等，处理器可以是中央处理器(CPU)、图形处理器(GPU)、现场可编程逻辑门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理(DSP)芯片等。其它通信组件、传感器组件、电源组件、多媒体组件等均可以采用现有智能手机中的通用部件实现，在此就不具体说明了。

另一方面，在基于偏见的通用对抗补丁生成装置中，所述处理器22读取所述存储器21中的计算机程序，用于执行以下操作：

基于模型的感知偏见理念，在难样本基础上生成各先验补丁；所述难样本为目标模型未有效识别的样本；

基于模型的语义偏见理念，针对目标模型生成各类原型；

根据各先验补丁和各类原型，通过目标模型，生成通用对抗补丁。

在本发明实施例中，利用深度神经网络模型的感知偏见和语义偏见生成对不可知类有效的通用对抗补丁。在基于感知偏见的先验对抗补丁生成方面，本发明实施例充分利用具有较强的模型不确定性的难样本，采用度量风格相似度的方法产生融合的难样本，并利用感知模块从中提取出一个先验对抗补丁。

这个对抗补丁先验具有更接近于决策边界的性质，在此基础上对补丁进行优化，能够较大的提升对抗补丁的攻击能力和通用性。为了缓解通用攻击训练中对大量数据的严重依赖，进一步利用了语义偏见，类原型被引入并通过使用这种包含丰富语义信息的图像来帮助训练，以实现对抗补丁攻击性和通用性的提升。

如图3所示，本发明实施例提供的基于偏见的通用对抗补丁生成方法，具体包括如下步骤：

Step1、基于模型的感知偏见理念，构建难样本集合

构建由多个难样本融合而成的融合样本x^*，在融合样本中挑选指定大小的先验补丁δ^*；

Step2、利用语义偏见理念，构建类原型集合I＝{I₁，I₂，...I_n}；

Step3、将类原型集合作为训练集，将先验补丁作为对抗补丁优化的初始化值，在目标模型上进行优化。

在优化过程中，使用转换模块对物理世界常见的因为观测产生的图像形态变化进行模拟；

Step4、达到设定阈值后，输出通用对抗补丁δ^adv。

训练流程如表1所示：

表1基于偏见的通用对抗补丁生成方法

如图4所示，在零售场景的应用实例中，包括四个阶段：

第一阶段：根据零售数据集RPC筛选出来的难样本进行样本融合，在此基础上得到先验对抗补丁；

第二阶段：根据目标模型训练出若干张不同的类原型组成类原型数据集；

第三阶段：利用转换模块和类原型数据集进行迭代式的训练；

第四阶段：最终将训练得到的对抗补丁粘贴或者放置在待检测物体上，以达到在零售场景误导识别设备的目的。

基于此，该通用对抗补丁生成方法同样可以应用于人脸识别、自动驾驶场景的攻击应用。

本发明实施例提供的通用对抗补丁生成方法能够充分利用深度神经网络模型固有的偏见：感知偏见和语义偏见，有效地提升了对抗补丁的攻击性和通用性，并能有效地攻击常见的识别模型和算法，在训练过程中有特殊的优势，对数据集的依赖较小，对不可见类型同样保有一定的攻击性，是一种可以广泛应用的攻击技术。

上面对本发明所提供的基于偏见的通用对抗补丁生成方法和装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (10)

1.一种基于偏见的通用对抗补丁生成方法，其特征在于包括如下步骤：

基于模型的感知偏见理念，在难样本基础上生成各先验补丁；所述难样本为目标模型未有效识别的样本；

基于模型的语义偏见理念，针对目标模型生成各类原型；

根据各先验补丁和各类原型，通过目标模型，生成通用对抗补丁。

2.如权利要求1所述的基于偏见的通用对抗补丁生成方法，其特征在于，所述基于模型的感知偏见理念，在难样本基础上生成各先验补丁，包括如下步骤：

在原始数据集中找到难样本，构建难样本数据集；

根据目标模型识别难样本的结果，利用感知损失函数优化各难样本，得到融合样本；

利用感知模块在每个融合样本中找到对应先验补丁。

3.如权利要求2所述的基于偏见的通用对抗补丁生成方法，其特征在于，所述感知损失函数为：

式中，λ用于平衡两项损失函数项的比例，

为风格损失函数，

为全局不确定度损失函数；

所述风格损失函数为：

式中，

是第k个难样本，x^*是融合样本，G是神经网络某一特定层所提取特征的Gram矩阵，E表示期望；

所述融合样本的初始化值为任意一个难样本；

所述Gram矩阵表达式为：

式中，

代表目标模型在特定层特定位置的某一特定滤波器的激活值；

所述全局不确定度损失函数为：

式中,y^h，i为模型将融合样本x^*分为第i类的置信度。

4.如权利要求2所述的基于偏见的通用对抗补丁生成方法，其特征在于，所述利用感知模块在每个融合样本中找到对应先验补丁，包括如下步骤：

将各融合样本输入至感知模块；

感知模块计算当前融合样本上每个位置上像素的权重；所述位置根据先验补丁预设大小确定；

感知模块输出权重最大的像素为先验补丁。

5.如权利要求4所述的基于偏见的通用对抗补丁生成方法，其特征在于，所述先验补丁的表达式为：

式中，

表示感知模块，x^*为融合样本，F表示目标模型；

所述权重的计算公式为：

式中，a_ij表示特定位置(i,j)上像素的权重，

表示第k个特征图的(i,j)位置的像素值，ω代表总的特征途数目，y^h为神经网络对于难样本x^h的分类。

6.如权利要求1所述的基于偏见的通用对抗补丁生成方法，其特征在于，所述生成各类原型的计算公式为：

式中，C代表类总数，margin代表控制类间距的阈值，S_t(I)代表类别t的logits值；

所述logits值由目标模型的分类层计算得出。

7.如权利要求1所述的基于偏见的通用对抗补丁生成方法，其特征在于，所述根据各先验补丁和各类原型，通过目标模型，生成通用对抗补丁，包括如下步骤：

初始化对抗补丁为先验补丁；

利用转换模块将对抗补丁进行随机形态转换；

将转换后的对抗补丁与对应类原型结合生成对应对抗样本，并输入至目标模型进行训练；

针对训练输出结果，依据对抗攻击损失函数，判定对抗补丁满足预设阈值后，输出生成通用对抗补丁。

8.如权利要求7所述的基于偏见的通用对抗补丁生成方法，其特征在于，所述对抗攻击损失函数为：

式中，δ^adv表示对抗补丁，P(·)为目标模型对于输入的预测值，I′表示对抗样本，E表示期望。

9.如权利要求7所述的基于偏见的通用对抗补丁生成方法，其特征在于，所述随机形态转换包括但不限于：旋转、仿射和扭曲。

10.一种基于偏见的通用对抗补丁生成装置，其特征在于包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：

基于模型的感知偏见理念，在难样本基础上生成各先验补丁；所述难样本为目标模型未有效识别的样本；

基于模型的语义偏见理念，针对目标模型生成各类原型；

根据各先验补丁和各类原型，通过目标模型，生成通用对抗补丁。

Images