CN112949822B - 一种基于双重注意力机制的低感知性对抗样本构成方法 - Google Patents

一种基于双重注意力机制的低感知性对抗样本构成方法 Download PDF

Info

Publication number
CN112949822B
CN112949822B CN202110142693.8A CN202110142693A CN112949822B CN 112949822 B CN112949822 B CN 112949822B CN 202110142693 A CN202110142693 A CN 202110142693A CN 112949822 B CN112949822 B CN 112949822B
Authority
CN
China
Prior art keywords
representing
stage
loss
original image
disturbance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110142693.8A
Other languages
English (en)
Other versions
CN112949822A (zh
Inventor
曹铁勇
王杨
邓小桐
张雄伟
杨吉斌
郑云飞
方正
申海霞
李莉
孙蒙
赵斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN202110142693.8A priority Critical patent/CN112949822B/zh
Publication of CN112949822A publication Critical patent/CN112949822A/zh
Application granted granted Critical
Publication of CN112949822B publication Critical patent/CN112949822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于双重注意力机制的低感知性对抗样本构成方法，所述方法包括：获取原始图像的特征图；基于原始图像的特征图，计算原始图像特征图与原始图像特征图添加通用对抗扰动后生成的第一阶段对抗样本间的感知损失、判别损失和对抗损失，优化预设的提取网络，得到关键干扰区域；基于关键干扰区域，计算原始图像特征图与原始图像特征图添加对抗扰动后生成的第二阶段对抗样本间的判别损失和对抗损失，优化预设的生成网络；通过优化后的提取网络和生成网络向原始图像添加对抗扰动，生成低感知性对抗样本。本发明能够生成不为人眼视觉所感知的对抗样本，所生成对抗样本的对抗性能与现有方法近似，并具有更低的感知性。

Description

一种基于双重注意力机制的低感知性对抗样本构成方法
技术领域
本发明涉及一种基于双重注意力机制的低感知性对抗样本构成方法，属于图像信号处理技术领域。
背景技术
卷积神经网络(Convolutional Neural Networks,CNN)在图像分类、目标检测、语义分割等诸多领域取得了显著的成果。与此同时，对抗样本的概念也孕育而生。对抗样本(adversarial example)是指在原数据集中通过人工添加对抗扰动所形成的样本，这类样本会导致训练好的深度模型以高置信度给出与原样本不同的输出结果。对抗扰动是对抗样本生成过程中的关键因素。一般而言，对抗扰动的核心能力是使模型产生错误的输出；在此基础上，扰动应尽量不影响原始图像,甚至让人眼视觉也难以感知。
基于以上分析，对抗样本的攻击成功率和视觉不可感知性是评价其性能的两个重要指标。对抗样本的攻击成功率是指添加扰动后对抗样本被深度模型误判的概率。对抗样本的视觉不可感知性是指在原始图像上增加的对抗扰动能够不为人眼视觉所感知的能力。
对抗样本生成算法研究对视觉不可感知性的客观评价标准较为一致，即：对于RGB三通道图像，像素的值变化越小越好，一般以像素变化值小于8(RGB共256级)作为界限。在生成对抗样本时，使用最大值约束将扰动幅度限定在±8/255以内.但单纯按照上述标准设计的算法，在主观评定上不一定取得很好效果。现有方法在视觉不可感知性上还存在着一定的改进空间：(1)在图像全局增加扰动,并存在扰动纹理突出的现象；(2)没有考虑生成扰动对全局结构的影响，破坏了图像的整体结构；(3)扰动分布不合理，生成扰动跨越前后背景。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于双重注意力机制的低感知性对抗样本构成方法，能够生成不为人眼视觉所感知的对抗样本。为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于双重注意力机制的低感知性对抗样本构成方法，所述方法包括如下步骤：
获取原始图像的特征图；
基于原始图像的特征图，计算原图像特征图与原图像特征图添加通用对抗扰动后生成的第一阶段对抗样本间的感知损失、判别损失和对抗损失，优化预设的提取网络，得到关键干扰区域；
基于关键干扰区域，计算原图像特征图与原图像特征图添加对抗扰动后生成的第二阶段对抗样本间的判别损失和对抗损失，优化预设的生成网络；
通过优化后的提取网络和生成网络向原始图像添加对抗扰动，生成低感知性对抗样本。
结合第一方面，进一步地，所述预设的提取网络包括：卷积层、标准化层、ReLU激活层、反卷积层、最大池化层和注意力模块。
结合第一方面，进一步地，所述得到关键干扰区域，包括如下步骤：
将原始图像的特征图输入1组卷积-标准化-ReLU激活层，将特征图分为两路，一路依次输入2组卷积-标准化-ReLU激活层、1个注意力模块和1组反卷积-标准化-ReLU激活层，另一路输入1组最大池化-卷积-标准化-ReLU激活层；两路输出的特征图在通道维度上拼接，输入2组反卷积-标准化-ReLU激活层后，输入门机制，筛选得到关键干扰区域。
结合第一方面，进一步地，所述门机制包括：
输入卷积处理过的尺度为H×W×C的特征图，将特征图平面内像素的值归一化，图内每一像素点均与参数τ点乘；若点乘后的值大于预设的阈值，则在输出的特征图的相应位置的值为1，则输出的特征图尺度为H×W×1，否则为0。
结合第一方面，优选地，参数τ的取值为[0.36,0.34,0.30]，预设的阈值为0.7。
结合第一方面，进一步地，所述预设的生成网络为沙漏型结构，包括：用于提取原图像的全局信息的编码器、用于处理编码器提取到的全局信息并输出原始图像的特征表示的中间层、以及用于将中间层得到的原图像特征表示解码并生成针对该特征的对抗扰动的解码器。
结合第一方面，优选地，所述编码器包括6个卷积-标准化-ReLU激活层；中间层处理编码器提取到的全局信息，输出原始图像的特征表示，编码器包含4个残差卷积-标准化-ReLU激活层；解码器将中间层得到的原图像特征表示解码，生成针对该特征的对抗扰动，解码器包含3个像素渲染-卷积-标准化-ReLU激活层、1个卷积-标准化-ReLU激活层和1个自注意力模块。
结合第一方面，进一步地，计算原始图像特征图与原始图像特征图添加通用对抗扰动后生成的第一阶段对抗样本间的感知损失、判别损失和对抗损失，优化预设的提取网络，包括：
基于注意力网络损失函数，优化预设的提取网络，所述注意力网络损失函数为：
L1＝α1Ladv1+β1LD1+γ1Lp (1)
公式(1)中，α1表示第一阶段对抗损失的权重，α1∈[2,8]，Ladv1表示第一阶段对抗损失，通过以下公式计算得到：
公式(2)中，Ex表示原始图像特征图x的集合，T表示被攻击的深度模型，模型的输入为第一阶段对抗样本，输出为向量与经过one-hot编码所得的分类标签向量t长度相同，lt表示交叉熵损失函数，ρ1表示第一阶段受到的扰动，Pmax表示扰动幅度的上限；
公式(1)中，β1表示第一阶段判别损失的权重，β1∈[7,13]，LD1表示第一阶段判别损失，通过以下公式计算得到：
公式(3)中，Ex表示原始图像特征图x的集合，D(·)表示判别网络对输入特征图的输出结果，ρ1表示第一阶段受到的扰动，F表示经过门机制得到的特征图，F与PG间使用元素级乘法
公式(1)中，γ1表示第一阶段感知损失的权重，γ1∈[0.5,1.5]，Lp表示感知损失，通过以下公式计算得到：
公式(4)中，表示预设的提取网络，C、H、W表示原始图像特征图x与第一阶段对抗样本(x+ρ1)经过预设的提取网络后的通道数、高度、宽度。
结合第一方面，进一步地，计算原始图像特征图与原始图像特征图添加对抗扰动后生成的第二阶段对抗样本间的判别损失和对抗损失，优化预设的生成网络，包括：
基于第二阶段损失函数，优化预设的生成网络，所述第二阶段损失函数为：
L2(x,a)＝α2Ladv2+β2LD2+γ2||ρ2||2 (5)
L2(x，a)＝α2Ladv2+β2LD2+y2||ρ2||2
公式(5)中，γ2表示第二阶段最小平方损失的权重，γ2∈[0.5,1.5]，α2表示第二阶段对抗损失的权重，α2∈[2,8]，Ladv2表示第二阶段对抗损失，通过以下公式计算得到：
公式(6)中，Ex表示原始图像特征图x的集合，T表示被攻击的深度模型，模型的输入为第一阶段对抗样本，输出为向量与经过one-hot编码所得的分类标签向量t长度相同，lt表示交叉熵损失函数，ρ2表示第二阶段受到的扰动，P2表示生成网络生成的第二阶段扰动，Pmax表示扰动幅度的上限，F表示经过门机制得到的特征图，F与P2间使用元素级乘法
公式(5)中，β2表示第二阶段判别损失的权重，β2∈[0.5,1.5]，LD2表示第二阶段判别损失，通过以下公式计算得到：
LD2＝ExlogD(x)+Exlog(1-D(x+ρ2)) (7)
公式(7)中，Ex表示原始图像特征图x的集合，D(·)表示判别网络对输入特征图的输出结果，ρ2表示第二阶段受到的扰动。
第二方面，本发明提供了一种基于双重注意力机制的低感知性对抗样本构成系统，包括：
获取模块：用于获取原始图像的特征图；
提取网络优化模块：用于基于原始图像的特征图，计算原图像特征图与原图像特征图添加通用对抗扰动后生成的第一阶段对抗样本间的感知损失、判别损失和对抗损失，优化预设的提取网络，得到关键干扰区域；
生成网络优化模块：基于关键干扰区域，计算原图像特征图与原图像特征图添加对抗扰动后生成的第二阶段对抗样本间的判别损失和对抗损失，优化预设的生成网络；
对抗样本生成模块：用于通过优化后的提取网络和生成网络向原始图像添加对抗扰动，生成低感知性对抗样本。
第三方面，本发明提供了一种基于双重注意力机制的低感知性对抗样本构成装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行第一方面所述方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
与现有技术相比，本发明实施例所提供的一种基于双重注意力机制的低感知性对抗样本构成方法所达到的有益效果包括：
本发明基于原始图像的特征图，计算原图像特征图与原图像特征图添加通用对抗扰动后生成的第一阶段对抗样本间的感知损失、判别损失和对抗损失，优化预设的提取网络，得到关键干扰区域，提取的关键干扰区域对扰动结果影响较大，符合原始图像的全剧结构，能够有效降低视觉感知性；
基于关键干扰区域，计算原图像特征图与原图像特征图添加对抗扰动后生成的第二阶段对抗样本间的判别损失和对抗损失，优化预设的生成网络，能够使生成的扰动分布均匀、密集，具有良好的扰动效果；
通过优化后的提取网络和生成网络向原始图像添加对抗扰动，生成低感知性对抗样本，所生成的对抗样本的对抗性能与现有方法近似，并具有更低的感知性。
附图说明
图1是本发明实施例一提供的一种基于双重注意力机制的低感知性对抗样本构成方法的流程图；
图2是本发明实施例一提供的一种基于双重注意力机制的低感知性对抗样本构成方法中预设的提取网络的与其内部的注意力模块的结构图；
图3是本发明实施例一提供的一种基于双重注意力机制的低感知性对抗样本构成方法中预设的生成网络的结构图；
图4是本发明实施例一提供的一种基于双重注意力机制的低感知性对抗样本构成方法中预设的生成网络中自注意力模块的结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，本发明实施例提供了一种基于双重注意力机制的低感知性对抗样本构成方法，包括：
获取原始图像的特征图；
基于原始图像的特征图，计算原图像特征图与原图像特征图添加通用对抗扰动后生成的第一阶段对抗样本间的感知损失、判别损失和对抗损失，优化预设的提取网络，得到关键干扰区域；
基于关键干扰区域，计算原图像特征图与原图像特征图添加对抗扰动后生成的第二阶段对抗样本间的判别损失和对抗损失，优化预设的生成网络；
通过优化后的提取网络和生成网络向原始图像添加对抗扰动，生成低感知性对抗样本。
具体步骤如下：
步骤1：基于原始图像的特征图，使用预设的提取网络提取能显著影响深度模型输出结果的关键干扰区域，生成包含图像关键干扰区域的通用特征图，使用感知网络计算原始图像的特征图与通用特征图的感知损失。
具体地，如图2所示，预设的提取网络包括：卷积层、标准化层、ReLU激活层、反卷积层、最大池化层和注意力模块。
预设的提取网络提取关键干扰区域包括如下步骤：将原始图像的特征图输入1组卷积-标准化-ReLU激活层，将特征图分为两路，一路依次输入2组卷积-标准化-ReLU激活层、1个注意力模块和1组反卷积-标准化-ReLU激活层，另一路输入1组最大池化-卷积-标准化-ReLU激活层；两路输出的特征图在通道维度上拼接，输入2组反卷积-标准化-ReLU激活层后，输入门机制，筛选得到关键干扰区域。
其中注意力模块中，包含2路操作路线。在第1路中，输入特征图依次经过平均池化、2个全连接层后与得到1维张量，张量与输入特征图相乘得到在空间域内进行注意力增强的特征图；第2路中，输入特征图依次经过1个卷积层、2个空洞卷积层和1个卷积层后，得到2维张量，2维张量与输入特征图相乘得到在通道域内进行注意力增强的特征图。2路得到的特征图相加，得到最后的输出。
其中门机制包括如下筛选步骤：输入卷积处理过的尺度为H×W×C的特征图，将特征图平面内像素的值归一化，图内每一像素点均与参数τ点乘；若点乘后的值大于预设的阈值，则在输出的特征图的相应位置的值为1，否则为0；则输出的特征图尺度为H×W×1。
具体地，参数τ的取值为[0.36,0.34,0.30]，预设的阈值为0.7。
感知损失为通用特征图与原始图像的特征图在经过感知网络第二层激活函数后所得特征图间的最小二乘损失，通过以下公式计算：
公式(1)中，表示预设的提取网络，C、H、W表示原始图像特征图x与通用特征图a经过预设的提取网络后的通道数、高度、宽度。
步骤2：在原始图像特征图上的关键干扰区域添加通用扰动，生成第一阶段对抗样本。
步骤3：第一阶段对抗样本送入判别网络，计算第一阶段判别损失。
第一阶段判别损失，通过以下公式计算得到：
公式(2)中，Ex表示原始图像特征图x的集合，D(·)表示判别网络对输入特征图的输出结果，ρ1表示第一阶段受到的扰动，F表示经过门机制得到的特征图，F与PG间使用元素级乘法
步骤4：第一阶段对抗样本送入对抗网络，计算第一阶段对抗损失。
第一阶段对抗损失，通过以下公式计算得到：
公式(3)中，Ex表示原始图像特征图x的集合，T表示被攻击的深度模型，模型的输入为第一阶段对抗样本，输出为向量与经过one-hot编码所得的分类标签向量t长度相同，lt表示交叉熵损失函数，ρ1表示第一阶段受到的扰动，Pmax表示扰动幅度的上限。
步骤5：基于计算得到的感知损失、判别损失和对抗损失，优化预设的提取网络。
利用基于注意力网络损失函数，优化预设的提取网络，所述注意力网络损失函数为：
L1＝α1Ladv1+β1LD1+γ1Lp (4)
公式(4)中，α1表示第一阶段对抗损失的权重，α1∈[2,8]；β1表示第一阶段判别损失的权重，β1∈[7,13]；γ1表示第一阶段感知损失的权重，γ1∈[0.5,1.5]。
步骤5：将原始图像原始图像的特征图输入优化过的预设提取网络，得到关键干扰区域。
步骤6：使用预设的生成网络，在原始图像特征图上的关键干扰区域添加对抗扰动，生成第二阶段对抗样本。
具体地，如图3所示，预设的生成网络为沙漏型结构，包括：用于提取原图像的全局信息的编码器、用于处理编码器提取到的全局信息并输出原始图像的特征表示的中间层、以及用于将中间层得到的原图像特征表示解码并生成针对该特征的对抗扰动的解码器。
其中，编码器包括6个卷积-标准化-ReLU激活层；中间层处理编码器提取到的全局信息，输出原始图像的特征表示，编码器包含4个残差卷积-标准化-ReLU激活层；解码器将中间层得到的原图像特征表示解码，生成针对该特征的对抗扰动，解码器包含3个像素渲染-卷积-标准化-ReLU激活层、1个卷积-标准化-ReLU激活层和1个自注意力模块。
步骤7：第二阶段对抗样本送入判别网络，计算第二阶段判别损失。
LD2表示第二阶段判别损失，通过以下公式计算得到：
LD2＝Exlog D(x)+Exlog(1-D(x+ρ2)) (5)
公式(5)中，Ex表示原始图像特征图x的集合，D(·)表示判别网络对输入特征图的输出结果，ρ2表示第二阶段受到的扰动。
步骤8：第二阶段对抗样本送入对抗网络，计算第二阶段对抗损失。
Ladv2表示第二阶段对抗损失，通过以下公式计算得到：
公式(6)中，Ex表示原始图像特征图x的集合，T表示被攻击的深度模型，模型的输入为第一阶段对抗样本，输出为向量与经过one-hot编码所得的分类标签向量t长度相同，lt表示交叉熵损失函数，ρ2表示第二阶段受到的扰动，P2表示生成网络生成的第二阶段扰动，Pmax表示扰动幅度的上限，F表示经过门机制得到的特征图，F与P2间使用元素级乘法
步骤9：基于计算得到的判别损失和对抗损失，优化预设的生成网络。
利用基于第二阶段损失函数，优化预设的提取网络，所述注意力网络损失函数L2为：
L2(x,a)＝α2Ladv2+β2LD2+γ2||ρ2||2 (7)
公式(7)中，γ2表示第二阶段最小平方损失的权重，γ2∈[0.5,1.5]；α2表示第二阶段对抗损失的权重，α2∈[2,8]；β2表示第二阶段判别损失的权重，β2∈[0.5,1.5]。
步骤10：通过优化后的提取网络和生成网络向原始图像添加对抗扰动，生成低感知性对抗样本。
实施例二：
本实施例将本发明提供的一种基于双重注意力机制的低感知性对抗样本构成方法与7种典型对抗样本方法在3个图像分类数据集上进行比较。
其中，对比方法包括包含白盒与黑盒算法，白盒算法为FGSM、BIM、DeepFool、JSMA与PerC-C&W；黑盒算法为OnePixel与AdvGAN。引入白盒算法进行对比的目的是比较不同算法间视觉感知性的差异。FGSM、BIM为白盒算法中应用较为广泛的一种算法，DeepFool寻找最短决策边界距离生成对抗样本，扰动幅度较小，所以其视觉感知性可以作为白盒算法的一个基准。PerC-C&W通过CIELCH长度计算对抗样本与原图像在样本空间的距离，在视觉感知性上较C&W方法具有一定的优势。
本实施例中，本发明提供的一种基于双重注意力机制的低感知性对抗样本构成方法使用Adam优化器，判别损失学习率为0.005，对抗损失学习率为0.01，采用异步优化策略，即判别网络每5轮进行1次优化、生成网络每轮进行优化。两个阶段的迭代轮数均为100轮。
评估数据集为CIFAR-10、Tiny-ImageNet以及随机抽取的ImageNet数据集图像。CIFAR-10数据集共10种类别，包含50000张训练图像和10000张测试图像，分辨率为32×32。Tiny-ImageNet数据集共200种类别，包含100000张训练图像和10000张测试图像，分辨率为64×64。随机选取ImageNet数据集共10种类别，包含1000张图像，分辨率裁剪为224×224。对抗模型为3种广泛使用的图像分类模型：VGG13、ResNet18和DenseNet121。实验硬件平台为GeForce Nvidia RTX 2080Ti，软件平台为Ubuntu 19.10、Pytorch 1.6。
在客观指标的评价上，使用ASR评价算法的对抗性能，通过比较对抗扰动前后图像的MSE和SSIM衡量不同算法生成对抗样本的客观视觉感知性。MSE衡量对抗扰动的强度，SSIM从结构化信息角度评价对抗扰动对图像的影响。ASR与SSIM数值越接近于1越好，MSE数值越小越好。FGSM的扰动步长ε＝0.05，其余对比算法参数为开源代码的默认参数。对比算法均设置最大迭代轮数。
攻击效果对比结果如下：表1为不同方法在CIFAR-10数据集上的ASR比较。
表2为不同方法在Tiny-ImageNet数据集上的ASR比较。
方法 FGSM BIM DeepFool JSMA OnePixel PerC-C&W AdvGAN 本文方法
ASR 99.74 99.78 99.80 99.76 96.40 97.65 99.51 99.38
由表1和表2能够得到，本文方法的攻击成功率与当前方法近似，维持在同一水平。
视觉感知对比结果如下：表3为不同方法的MSE比较。
FGSM BIM DeepFool JSMA OnePixel PerC-C&W AdvGAN 本文方法
CIFAR-10 116.70 98.41 90.72 458.19 187.33 139.13 87.66/110.64 45.24/64.04
Tiny-ImageNet 77.87 65.12 4.80 353.54 223.52 83.12 86.51 23.55
表4为不同方法的SSIM比较。
FGSM BIM DeepFool JSMA OnePixel PerC-C&W AdvGAN 本文方法
CIFAR-10 0.870 0.892 0.964 0.848 0.903 0.819 0.896 0.972
Tiny-ImageNet 0.876 0.909 0.984 0.893 0.912 0.706 0.864 0.985
由表3和表4能够得到，在低、中分辨率数据集上对视觉感知性的客观评价指标进行比较，本文方法所生成的对抗样本的视觉感知性更低，超过了其它绝大多数方法。
综上所述，采用本方法所生成的对抗样本的对抗性能与现有方法近似，并具有更低的感知性。
实施例三：
本发明实施例提供一种基于双重注意力机制的低感知性对抗样本构成系统，包括：
获取模块：用于获取原始图像的特征图；
提取网络优化模块：用于基于原始图像的特征图，计算原图像特征图与原图像特征图添加通用对抗扰动后生成的第一阶段对抗样本间的感知损失、判别损失和对抗损失，优化预设的提取网络，得到关键干扰区域；
生成网络优化模块：基于关键干扰区域，计算原图像特征图与原图像特征图添加对抗扰动后生成的第二阶段对抗样本间的判别损失和对抗损失，优化预设的生成网络；
对抗样本生成模块：用于通过优化后的提取网络和生成网络向原始图像添加对抗扰动，生成低感知性对抗样本。
实施例四：
本发明实施例提供一种基于双重注意力机制的低感知性对抗样本构成装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。
实施例五：
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种低感知性对抗样本构成方法，其特征在于，所述方法包括如下步骤：
获取原始图像的特征图；
基于原始图像的特征图，计算原始图像特征图与原始图像特征图添加通用对抗扰动后生成的第一阶段对抗样本间的感知损失、判别损失和对抗损失，优化预设的提取网络，得到关键干扰区域；其中优化预设的提取网络，包括：
基于注意力网络损失函数，优化预设的提取网络，所述注意力网络损失函数为：
L1＝α1Ladv1+β1LD1+γ1Lp (1)
公式(1)中，α1表示第一阶段对抗损失的权重，α1∈[2,8]，Ladv1表示第一阶段对抗损失，通过以下公式计算得到：
Ladv1＝Exlt(T(x+ρ1),t)
ρ1∈[-PMax,PMax] (2)
公式(2)中，Ex表示原始图像特征图x的集合，T表示被攻击的深度模型，模型的输入为第一阶段对抗样本，输出为向量与经过one-hot编码所得的分类标签向量t长度相同，lt表示交叉熵损失函数，ρ1表示第一阶段受到的扰动，Pmax表示扰动幅度的上限；
公式(1)中，β1表示第一阶段判别损失的权重，β1∈[7,13]，LD1表示第一阶段判别损失，通过以下公式计算得到：
LD1＝Ex log D(x)+Ex log(1-D(x+ρ1))
公式(3)中，Ex表示原始图像特征图x的集合，D(·)表示判别网络对输入特征图的输出结果，ρ1表示第一阶段受到的扰动，F表示经过门机制得到的特征图，F与PG间使用元素级乘法
公式(1)中，γ1表示第一阶段感知损失的权重，γ1∈[0.5,1.5]，Lp表示感知损失，通过以下公式计算得到：
公式(4)中，表示预设的提取网络，C、H、W表示原始图像特征图x与第一阶段对抗样本(x+ρ1)经过预设的提取网络后的通道数、高度、宽度；
其中，所述得到关键干扰区域，包括如下步骤：将原始图像的特征图输入1组卷积-标准化-ReLU激活层，将特征图分为两路，一路依次输入2组卷积-标准化-ReLU激活层、1个注意力模块和1组反卷积-标准化-ReLU激活层，另一路输入1组最大池化-卷积-标准化-ReLU激活层；两路输出的特征图在通道维度上拼接，输入2组反卷积-标准化-ReLU激活层后，输入门机制，筛选得到关键干扰区域；
所述门机制包括：输入卷积处理过的尺度为H×W×C的特征图，将特征图平面内像素的值归一化，图内每一像素点均与参数τ点乘；若点乘后的值大于预设的阈值，则在输出的特征图的相应位置的值为1，则输出的特征图尺度为H×W×1，否则为0；
基于关键干扰区域，计算原始图像特征图与原始图像特征图添加对抗扰动后生成的第二阶段对抗样本间的判别损失和对抗损失，优化预设的生成网络，包括：
基于第二阶段损失函数，优化预设的生成网络，所述第二阶段损失函数为：
L2(x,a)＝α2Ladv2+β2LD2+γ2||ρ2||2 (5)
公式(5)中，γ2表示第二阶段最小平方损失的权重，γ2∈[0.5,1.5]，α2表示第二阶段对抗损失的权重，α2∈[2,8]，Ladv2表示第二阶段对抗损失，通过以下公式计算得到：
Ladv2＝Exlt(T(x+ρ2),t)
ρ2∈[-PMax,PMax] (6)
公式(6)中，Ex表示原始图像特征图x的集合，T表示被攻击的深度模型，模型的输入为第一阶段对抗样本，输出为向量与经过one-hot编码所得的分类标签向量t长度相同，lt表示交叉熵损失函数，ρ2表示第二阶段受到的扰动，P2表示生成网络生成的第二阶段扰动，Pmax表示扰动幅度的上限，F表示经过门机制得到的特征图，F与P2间使用元素级乘法
公式(5)中，β2表示第二阶段判别损失的权重，β2∈[0.5,1.5]，LD2表示第二阶段判别损失，通过以下公式计算得到：
LD2＝Exlog D(x)+Exlog(1-D(x+ρ2)) (7)
公式(7)中，Ex表示原始图像特征图x的集合，D(·)表示判别网络对输入特征图的输出结果，ρ2表示第二阶段受到的扰动；
通过优化后的提取网络和生成网络向原始图像添加对抗扰动，生成低感知性对抗样本。
2.根据权利要求1所述的低感知性对抗样本构成方法，其特征在于，所述预设的提取网络包括：卷积层、标准化层、ReLU激活层、反卷积层、最大池化层和注意力模块。
3.根据权利要求1所述的低感知性对抗样本构成方法，其特征在于，所述预设的生成网络为沙漏型结构，包括：用于提取原始图像的全局信息的编码器、用于处理编码器提取到的全局信息并输出原始图像的特征表示的中间层、以及用于将中间层得到的原始图像特征表示解码并生成针对该特征的对抗扰动的解码器。
4.一种低感知性对抗样本构成系统，其特征在于，包括：
获取模块：用于获取原始图像的特征图；
提取网络优化模块：用于基于原始图像的特征图，计算原始图像特征图与原始图像特征图添加通用对抗扰动后生成的第一阶段对抗样本间的感知损失、判别损失和对抗损失，优化预设的提取网络，得到关键干扰区域；其中优化预设的提取网络，包括：
基于注意力网络损失函数，优化预设的提取网络，所述注意力网络损失函数为：
L1＝α1Ladv1+β1LD1+γ1Lp (1)
公式(1)中，α1表示第一阶段对抗损失的权重，α1∈[2,8]，Ladv1表示第一阶段对抗损失，通过以下公式计算得到：
Ladv1＝Exlt(T(x+ρ1),t)
ρ1∈[-PMax,PMax] (2)
公式(2)中，Ex表示原始图像特征图x的集合，T表示被攻击的深度模型，模型的输入为第一阶段对抗样本，输出为向量与经过one-hot编码所得的分类标签向量t长度相同，lt表示交叉熵损失函数，ρ1表示第一阶段受到的扰动，Pmax表示扰动幅度的上限；
公式(1)中，β1表示第一阶段判别损失的权重，β1∈[7,13]，LD1表示第一阶段判别损失，通过以下公式计算得到：
LD1＝ExlogD(x)+Exlog(1-D(x+ρ1))
公式(3)中，Ex表示原始图像特征图x的集合，D(·)表示判别网络对输入特征图的输出结果，ρ1表示第一阶段受到的扰动，F表示经过门机制得到的特征图，F与PG间使用元素级乘法
公式(1)中，γ1表示第一阶段感知损失的权重，γ1∈[0.5,1.5]，Lp表示感知损失，通过以下公式计算得到：
公式(4)中，表示预设的提取网络，C、H、W表示原始图像特征图x与第一阶段对抗样本(x+ρ1)经过预设的提取网络后的通道数、高度、宽度；
其中，所述得到关键干扰区域，包括如下步骤：将原始图像的特征图输入1组卷积-标准化-ReLU激活层，将特征图分为两路，一路依次输入2组卷积-标准化-ReLU激活层、1个注意力模块和1组反卷积-标准化-ReLU激活层，另一路输入1组最大池化-卷积-标准化-ReLU激活层；两路输出的特征图在通道维度上拼接，输入2组反卷积-标准化-ReLU激活层后，输入门机制，筛选得到关键干扰区域；
所述门机制包括：输入卷积处理过的尺度为H×W×C的特征图，将特征图平面内像素的值归一化，图内每一像素点均与参数τ点乘；若点乘后的值大于预设的阈值，则在输出的特征图的相应位置的值为1，则输出的特征图尺度为H×W×1，否则为0；
生成网络优化模块：基于关键干扰区域，计算原始图像特征图与原始图像特征图添加对抗扰动后生成的第二阶段对抗样本间的判别损失和对抗损失，优化预设的生成网络，包括：
基于第二阶段损失函数，优化预设的生成网络，所述第二阶段损失函数为：
L2(x,a)＝α2Ladv2+β2LD2+γ2||ρ2||2 (5)
公式(5)中，γ2表示第二阶段最小平方损失的权重，γ2∈[0.5,1.5]，α2表示第二阶段对抗损失的权重，α2∈[2,8]，Ladv2表示第二阶段对抗损失，通过以下公式计算得到：
Ladv2＝Exlt(T(x+ρ2),t)
ρ2∈[-PMax,PMax] (6)
公式(6)中，Ex表示原始图像特征图x的集合，T表示被攻击的深度模型，模型的输入为第一阶段对抗样本，输出为向量与经过one-hot编码所得的分类标签向量t长度相同，lt表示交叉熵损失函数，ρ2表示第二阶段受到的扰动，P2表示生成网络生成的第二阶段扰动，Pmax表示扰动幅度的上限，F表示经过门机制得到的特征图，F与P2间使用元素级乘法
公式(5)中，β2表示第二阶段判别损失的权重，β2∈[0.5,1.5]，LD2表示第二阶段判别损失，通过以下公式计算得到：
LD2＝Exlog D(x)+Exlog(1-D(x+ρ2)) (7)
公式(7)中，Ex表示原始图像特征图x的集合，D(·)表示判别网络对输入特征图的输出结果，ρ2表示第二阶段受到的扰动；
对抗样本生成模块：用于通过优化后的提取网络和生成网络向原始图像添加对抗扰动，生成低感知性对抗样本。
5.一种低感知性对抗样本构成装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行权利要求1～3任一项所述方法的步骤。
6.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～3任一项所述方法的步骤。
CN202110142693.8A 2021-02-02 2021-02-02 一种基于双重注意力机制的低感知性对抗样本构成方法 Active CN112949822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110142693.8A CN112949822B (zh) 2021-02-02 2021-02-02 一种基于双重注意力机制的低感知性对抗样本构成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110142693.8A CN112949822B (zh) 2021-02-02 2021-02-02 一种基于双重注意力机制的低感知性对抗样本构成方法

Publications (2)

Publication Number Publication Date
CN112949822A CN112949822A (zh) 2021-06-11
CN112949822B true CN112949822B (zh) 2023-08-04

Family

ID=76241543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110142693.8A Active CN112949822B (zh) 2021-02-02 2021-02-02 一种基于双重注意力机制的低感知性对抗样本构成方法

Country Status (1)

Country Link
CN (1) CN112949822B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469965A (zh) * 2021-06-25 2021-10-01 中国人民解放军陆军工程大学 一种利用掩模限制扰动噪声的对抗样本生成方法
CN113344935B (zh) * 2021-06-30 2023-02-03 山东建筑大学 基于多尺度难度感知的图像分割方法及系统
CN113627597B (zh) * 2021-08-12 2023-10-13 上海大学 一种基于通用扰动的对抗样本生成方法及系统
CN113760358B (zh) * 2021-08-30 2023-08-01 河北大学 一种面向源代码分类模型的对抗样本生成方法
CN113765716B (zh) * 2021-09-06 2024-03-29 浙江工业大学 一种基于梯度对抗的网络流量防测绘方法
CN114078201B (zh) * 2021-11-23 2023-04-07 中国人民解放军国防科技大学 多目标类别对抗样本生成方法及相关设备
CN115115905B (zh) * 2022-06-13 2023-06-27 苏州大学 基于生成模型的高可迁移性图像对抗样本生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160217A (zh) * 2019-12-25 2020-05-15 中山大学 一种行人重识别系统对抗样本生成方法及系统
CN111368908A (zh) * 2020-03-03 2020-07-03 广州大学 一种基于深度学习的hrrp无目标对抗样本生成方法
CN111738374A (zh) * 2020-08-28 2020-10-02 北京智源人工智能研究院 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN111881935A (zh) * 2020-06-19 2020-11-03 北京邮电大学 一种基于内容感知gan的对抗样本生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563283B (zh) * 2017-07-26 2023-01-06 百度在线网络技术（北京）有限公司 生成攻击样本的方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160217A (zh) * 2019-12-25 2020-05-15 中山大学 一种行人重识别系统对抗样本生成方法及系统
CN111368908A (zh) * 2020-03-03 2020-07-03 广州大学 一种基于深度学习的hrrp无目标对抗样本生成方法
CN111881935A (zh) * 2020-06-19 2020-11-03 北京邮电大学 一种基于内容感知gan的对抗样本生成方法
CN111738374A (zh) * 2020-08-28 2020-10-02 北京智源人工智能研究院 多样本对抗扰动生成方法、装置、存储介质和计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Adversarial symmetric GANs: Bridging adversarial samples and adversarial networks;Faqiang Liu等;《Neural Networks》;148-156 *
融合感知损失的生成式对抗超分辨率算法;杨娟等;《中国图象图形学报》;1270-1282 *

Also Published As

Publication number Publication date
CN112949822A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112949822B (zh) 一种基于双重注意力机制的低感知性对抗样本构成方法
Gu et al. A new reduced-reference image quality assessment using structural degradation model
CN108171663B (zh) 基于特征图最近邻替换的卷积神经网络的图像填充系统
CN115222630A (zh) 图像生成方法、图像去噪模型的训练方法和设备
CN109685097B (zh) 一种基于gan的图像检测方法及装置
CN111696046A (zh) 一种基于生成式对抗网络的水印去除方法和装置
Bhateja et al. Fast SSIM index for color images employing reduced-reference evaluation
CN111160110A (zh) 基于人脸特征和声纹特征识别主播的方法及装置
CN111260620A (zh) 图像异常检测方法、装置和电子设备
CN112991278A (zh) RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统
CN113569756A (zh) 异常行为检测与定位方法、系统、终端设备及可读存储介质
CN108960326B (zh) 一种基于深度学习框架的点云快速分割方法及其系统
CN113269104A (zh) 群体异常行为识别方法、系统、存储介质及设备
KR102486493B1 (ko) 학습 이미지 데이터의 프라이버시 보존 위한 dcc 변환 방법 및 장치
CN116258867A (zh) 一种基于关键区域低感知性扰动的对抗样本生成方法
CN113487506A (zh) 基于注意力去噪的对抗样本防御方法、装置和系统
CN115393760A (zh) Deepfake合成视频检测方法、系统及设备
CN113160081A (zh) 一种基于感知去模糊的深度人脸图像修复方法
CN111080727B (zh) 彩色图像重构方法及装置、图像分类方法及装置
Cho et al. Performance study on block-based image steganalysis
Koshkina J-UNIWARD Steganoanalysis
CN113343964B (zh) 一种平衡的水下声学图像目标检测方法
CN117237358B (zh) 一种基于度量学习的立体图像质量评价方法
CN112734678B (zh) 基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法
US20210233222A1 (en) Computer implemented method and device for anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant