CN114332623A - 一种利用空间变换生成对抗样本的方法和系统 - Google Patents

一种利用空间变换生成对抗样本的方法和系统 Download PDF

Info

Publication number
CN114332623A
CN114332623A CN202111667958.2A CN202111667958A CN114332623A CN 114332623 A CN114332623 A CN 114332623A CN 202111667958 A CN202111667958 A CN 202111667958A CN 114332623 A CN114332623 A CN 114332623A
Authority
CN
China
Prior art keywords
original image
image
sample
label
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111667958.2A
Other languages
English (en)
Inventor
凌捷
王卓
罗玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202111667958.2A priority Critical patent/CN114332623A/zh
Publication of CN114332623A publication Critical patent/CN114332623A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种利用空间变换生成对抗样本的方法和系统，涉及机器学习的技术领域，所述方法包括：获得原始图像和其真实标签，对原始图像依次进行特征提取、上采样、点乘操作，获得原始图像的多个部分区域图像；对原始图像和部分区域图像进行标签预测，计算部分区域图像对应的特征图的置信分数；将置信分数作为权重与特征图进行线性加权求和，计算最终得分；根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本；根据原始图像的真实标签和生成的对抗样本设置总损失函数，对空间变换的参数进行更新，输出生成的所有对抗样本。本发明利用一张原始图像生成大量高质量的对抗样本，计算耗时短，节约了计算成本。

Description

一种利用空间变换生成对抗样本的方法和系统
技术领域
本发明涉及机器学习的技术领域，更具体地，涉及一种利用空间变换生成对抗样本的方法和系统。
背景技术
对抗样本是指在输入的原始数据中添加肉眼难以察觉的扰动所形成的的样本，能够导致机器学习模型以高置信度产生一个错误的输出。在计算机视觉领域中，决定图像外观有两个重要因素：(1)亮度和质量所决定的图像像素点的值；(2)几何图形，即像素点的位置。在以往的方法中，主要通过改变像素点的值来生成对抗样本。如利用模型的梯度信息进行攻击生成对抗样本的方法，最为经典的是IanGoodfellow提出的快速梯度符号法(FastGradient Sign Method，FGSM)该方法利用损失函数梯度信息，通过提升目标模型的分类损失进行攻击；基于FGSM发展出了基于迭代的快速梯度符号法(Iterative Fast GradientSign Method，I-FGSM)，该方法通过多次迭代进行对抗样本生成，提升了白盒条件下的对抗样本攻击性能；基于动量迭代的快速梯度符号法(Momentum Iterative Fast GradientSign Method，MI-FGSM)在I-FGSM的基础上，将动量法引入到迭代过程，提升了迭代过程的稳定性。另外,对抗变换网络(Adversarial Transformation Networks，ATN)利用生成式神经网络而非通过迭代的方式，通过提升模型分类损失进行攻击，优点在于可以同时针对多个目标模型进行攻击，生成对抗样本的速度较快；还有利用模型的中间层特征信息进行攻击生成对抗样本的方法，如Sabour提出深度表征攻击法(Deep Represention Attack，DRA)；因为在神经网络模型中，不同层的特征信息对模型预测结果影响程度不同，DAR方法利用这一特点，以破坏目标模型中间层特征信息为目标进行攻击；利用优化算法对目标模型进行攻击生成对抗样本的方法，主要为Carlini等提出的C&W方法，该方法通过定义优化函数对原样本进行多次调整生成对抗样本，优点在于能够在扰动很小的情况下对目标模型进行有效攻击，缺点在于优化过程的计算量较大，对抗样本生成速度慢。
现有技术公开了一种基于生成机制的高分辨率对抗样本的合成方法，涉及深度学习计算机视觉领域，包括：首先使用数据增强技术对高分辨率的数据集进行预处理，来获得复杂的数据分布以减少生成对抗网络在训练时出现过拟合现象；接着使用特征提取模型来提取输入的深层特征；然后结合主成分分析(PCA)和基于核函数的主成分分析(KPCA)方法，在保持原始输入96％以上的特征的同时将输入映射到噪声矢量；最后将上述特征和噪声矢量作为生成对抗网络生成器的输入进行训练，进而合成具有高分辨率的对抗样本。该方法需要对数据集进行预处理获得复杂的数据分布，计算量大，计算耗时长；将特征和噪声矢量作为生成对抗网络生成器的输入进行训练，加入噪声会使生成的对抗样本不贴合原始样本，真实度差。
发明内容
本发明为克服上述现有技术生成对抗样本时，计算量巨大且无法保证生成的对抗样本的质量的缺陷，提供一种利用空间变换生成对抗样本的方法和系统，能够生成大量高质量的对抗样本。
为解决上述技术问题，本发明的技术方案如下：
本发明提供一种利用空间变换生成对抗样本的方法，包括：
S1：获得原始图像和其真实标签；
S2：对原始图像进行特征提取，获得特征图；
S3：对特征图的每个通道进行上采样，获得多张掩模图；
S4：利用多张掩码图分别点乘原始图像，获得原始图像的多个部分区域图像；
S5：对原始图像和部分区域图像进行标签预测，并根据预测标签计算部分区域图像对应的特征图的置信分数；
S6：将置信分数作为权重与特征图进行线性加权求和，计算最终得分；
S7：根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本；
S8：根据原始图像的真实标签和生成的对抗样本设置总损失函数，对空间变换的参数进行更新，输出生成的所有对抗样本。
本发明首先获取一张原始图像，依次通过特征提取、上采样、点乘操作后，获得原始图像的多个部分区域图像；之后计算出部分区域图对应的特征图的置信分数，并将置信分数作为权重与特征图融合，获得最终得分，利用置信分数作为权重，摆脱了梯度信息的限制，适应性更高；最终得分最大的部分区域图像代表着原始图像中重要程度最高的区域；利用原始图像中重要程度最高的部分区域图像进行空间变化生成对抗样本，减少了计算量，缩短了计算时间；并且空间变换时只针对原始图像的部分区域，剩余区域保持不变，而空间变换值只改变像素点的空间位置，不改变像素点的值，使生成的对抗样本更真实，更贴近原始图像；最后设置总损失函数更新空间变换的参数，确保生成对抗样本时的攻击有效性的同时降低攻击干扰量，保证生成的所有对抗样本与原始图像的差异较小。
优选地，所述步骤S2中，利用预训练的卷积神经网络对原始图像进行特征提取。
优选地，所述步骤S3中，对特征图进行上采样后，还需对上采样结果进行归一化处理，获得多张掩模图。
优选地，所述步骤S5中，利用深度神经网络对原始图像和部分区域图像进行标签预测。将深度神经网络记为Y＝F(*)，输入原始图像即可输出预测标签。
优选地，所述步骤S5中，根据预测标签计算部分区域图像对应的特征图的置信分数的具体方法为：
Figure BDA0003448819490000031
Figure BDA0003448819490000032
式中，
Figure BDA0003448819490000033
表示
Figure BDA0003448819490000034
对应的部分区域图像的置信分数
Figure BDA0003448819490000035
表示深度神经网络中卷积层l对应的激活层A提取出的第k个通道特征图，F(*)表示标签预测，X表示原始图像，○表示哈达玛积，Up(*)上采样操作，s(*)归一化处理，
Figure BDA0003448819490000036
表示
Figure BDA0003448819490000037
对应的掩码图。
部分区域图像和原始图像输入深度神经网络，获得相应的预测标签；部分区域图像预测标签与原始图像预测标签的差值代表了相应特征图的重要性，可以使图像区域更加聚焦，并减少噪音。
上述步骤均在Score-CAM生成器中完成，将原始图像输入到预训练的Score-CAM生成器中，向前传播图像，来获得标签的置信分数。Score-CAM沿用了CAM的主要思路，和以往的一系列CAM方法相比，主要的差别在于获取线性权重的方式。初代CAM使用训练后全连接层上的模型权重，Grad-CAM和Grad-CAM++均采用对应特征图上的局部梯度，而在Score-CAM中摆脱了对于梯度的依赖，使用特征图的置信分数来衡量线性权重。
优选地，所述步骤S6中，将置信分数作为权重与特征图进行线性加权求和，计算最终得分的具体方法为：
Figure BDA0003448819490000041
Figure BDA0003448819490000042
式中，
Figure BDA0003448819490000043
表示最终得分，ReLU(*)表示激活函数，
Figure BDA0003448819490000044
表示类别c第k个通道的权重。
优选地，所述步骤S7中，根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本的具体方法为：
设置位移场
Figure BDA0003448819490000045
定义fi＝(△ui,△vi)是位移场中的第i个像素点；将最终得分最大的部分区域图像记为(idxx,idxy)，在(idxx,idxy)中应用该位移场；
定义对抗样本Xadv中的像素点位于对抗网格Gadv中，
Figure BDA0003448819490000046
表示对抗样本Xadv中第i个像素的坐标；
Figure BDA0003448819490000047
表示对抗样本Xadv中第i个像素的值；同理，定义Xi＝X(ui,vi)是原始图像X表中第i个像素的值，则对抗样本Xadv中第i个像素的值的计算公式为：
Figure BDA0003448819490000048
对于对抗样本Xadv扰动区域中的像素点，存在限制：
Figure BDA0003448819490000049
式中，Hf表示位移场f的高度，Wf表示位移场f的宽度；
对原始图像中的扰动区域进行空间变换，fi＝(△ui,△vi)；对于原始图像中的非扰动区域，设定fi＝(△ui,△vi)＝(0,0)；
由于扰动区域的坐标无法确定为整数，将对抗网格Gadv使用双线性内插值法计算出对抗样本Xadv中第i个像素的值，即：
Figure BDA00034488194900000410
式中，Gn∈N(Gi)表示对抗样本Xadv中第i个像素的四个相邻的像素点的索引；n＝{1,2,3,4}，即上左、上右、下左、下右四个像素点的索引，(un,vn)表示四个相邻的像素点的坐标，xn表示与该对抗样本对应的原始图像的像素点的值。
上述空间变换操作在空间变换网络中完成。
优选地，所述步骤S8中，根据生成的对抗样本和原始图像的真实标签设置总损失函数的具体方法为：
总损失函数包括对抗损失函数和流损失函数；
对抗损失函数用于最大化生成的对抗样本被误分类的可能，分为目标攻击和非目标攻击；对于目标攻击，目标标签定义为t，为确保攻击为t，则对抗损失函数为：
Figure BDA0003448819490000051
式中，Xadv表示对抗样，K表示平衡系数；
对于非目标攻击，仅需使目标标签异于真实标签，则对抗损失函数为：
Figure BDA0003448819490000052
式中，l表示真实标签；
流损失函数用于约束生成的对抗样本和原始图像的差异，即：
Figure BDA0003448819490000053
式中，fj表示位移场中的第j个像素点，fn∈N(fj)表示fj的四个相邻像素点,n＝{1,2,3,4},|*|2表示L2范数；
流损失函数对扰动的大小进行限制，通过计算两个相邻像素点的空间距离之和获得；
则总损失函数为：
Figure BDA0003448819490000054
式中，f*表示总损失函数，α表示经验平衡参数。
优选地，当总损失函数f*取得最小值时，对空间变换层参数更新过程结束，获得所有对抗样本并输出。
本发明还提供了一种利用空间变换生成对抗样本的系统，包括：
图像获取模块，用于获得原始图像和其真实标签；
特征提取模块，用于对原始图像进行特征提取，获得特征图；
上采样模块，用于对特征图的每个通道进行上采样，获得多张掩模图；
点乘模块，利用多张掩码图分别点乘原始图像，获得原始图像的多个部分区域图像；
置信分数计算模块，用于对原始图像和部分区域图像进行标签预测，并根据预测标签计算部分区域图像对应的特征图的置信分数；
最终得分计算模块，用于将置信分数作为权重与特征图进行线性加权求和，计算最终得分；
空间变换模块，根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本；
损失函数设置模块，根据原始图像的真实标签和生成的对抗样本设置总损失函数，对空间变换的参数进行更新，输出生成的所有对抗样本。
与现有技术相比，本发明技术方案的有益效果是：
本发明获取一张原始图像，提取原始图像的特征图，之后对特征图每个通道进行上采样，获得多张掩模图；利用掩模图分别点乘原始图像，获得多个部分区域图像；对部分区域图像和原始图像进行标签预测，计算出对应特征图的置信分数，置信分数越大，表示特征图越重要；将置信分数作为权重与特征图融合，获得最终得分，最终得分最大的部分区域图像即为原始图像中重要程度最高的区域；利用原始图像的部分区域图像进行空间变化生成对抗样本，而不是整张原始图像，减少了计算量，缩短了计算时间；并且空间变换只针对原始图像的部分区域，剩余区域保持不变，生成的对抗样本更贴近原始图像；而空间变换值只改变像素点的空间位置，不改变像素点的值，同样使生成的对抗样本更真实，更贴近原始图像；最后设置总损失函数更新空间变换的参数，确保生成对抗样本时的攻击有效性的同时降低攻击干扰量，保证生成的所有对抗样本与原始图像的差异较小。本发明利用一张原始图像生成大量高质量的对抗样本，计算耗时短，节约了计算成本。
附图说明
图1为实施例1所述的一种利用空间变换生成对抗样本的方法的流程图。
图2为实施例2所述的预训练Score-CAM生成器中的工作流程图。
图3为实施例3所述的一种利用空间变换生成对抗样本的系统的结构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种利用空间变换生成对抗样本的方法，如图1所示，包括：
S1：获得原始图像和其真实标签；
S2：对原始图像进行特征提取，获得特征图；
S3：对特征图的每个通道进行上采样，获得多张掩模图；
S4：利用多张掩码图分别点乘原始图像，获得原始图像的多个部分区域图像；
S5：对原始图像和部分区域图像进行标签预测，并根据预测标签计算部分区域图像对应的特征图的置信分数；
S6：将置信分数作为权重与特征图进行线性加权求和，计算最终得分；
S7：根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本；
S8：根据原始图像的真实标签和生成的对抗样本设置总损失函数，对空间变换的参数进行更新，输出生成的所有对抗样本。
在具体实施过程中，本发明获取一张原始图像，提取原始图像的特征图，之后对特征图每个通道进行上采样，获得多张掩模图；利用掩模图分别点乘原始图像，获得多个部分区域图像；对部分区域图像和原始图像进行标签预测，计算出对应特征图的置信分数，置信分数越大，表示特征图越重要；将置信分数作为权重与特征图融合，获得最终得分，最终得分最大的部分区域图像即为原始图像中重要程度最高的区域；利用原始图像的部分区域图像进行空间变化生成对抗样本，而不是整张原始图像，减少了计算量，缩短了计算时间；与以往添加随机噪音和改变像素值的方法不同，空间变换是只针对原始图像的部分区域，剩余区域保持不变，生成的对抗样本更贴近原始图像；而空间变换只改变像素点的空间位置，不改变像素点的值，同样使生成的对抗样本更真实，更贴近原始图像；最后设置总损失函数更新空间变换的参数，确保生成对抗样本时的攻击有效性的同时降低攻击干扰量，保证生成的所有对抗样本与原始图像的差异较小。本发明利用一张原始图像高效地生成大量高质量的对抗样本，节约了计算成本。
实施例2
本实施例提供一种利用空间变换生成对抗样本的方法，包括：
S1：获得原始图像和其真实标签；
S2：利用预训练的卷积神经网络对原始图像进行特征提取，获得特征图；
S3：对特征图的每个通道进行上采样，再对上采样结果进行归一化处理，获得多张掩模图；
S4：利用多张掩码图分别点乘原始图像，获得原始图像的多个部分区域图像；
S5：利用深度神经网络对原始图像和部分区域图像进行标签预测，并根据预测标签计算部分区域图像对应的特征图的置信分数；
深度神经网络记为Y＝F(*)，具体方法为：
Figure BDA0003448819490000081
Figure BDA0003448819490000082
式中，
Figure BDA0003448819490000083
表示
Figure BDA0003448819490000084
对应的部分区域图像的置信分数
Figure BDA0003448819490000085
表示深度神经网络中卷积层l对应的激活层A提取出的第k个通道特征图，F(*)表示标签预测，X表示原始图像，○表示哈达玛积，Up(*)上采样操作，s(*)归一化处理，
Figure BDA0003448819490000086
表示
Figure BDA0003448819490000087
对应的掩码图。
部分区域图像和原始图像输入深度神经网络，获得相应的预测标签；部分区域图像预测标签与原始图像预测标签的差值代表了相应特征图的重要性，可以使图像区域更加聚焦，并减少噪音。
如图2所示，以上步骤均在预训练的Score-CAM生成器中完成，将原始图像输入到预训练的Score-CAM生成器中，向前传播图像，来获得标签的置信分数。Score-CAM沿用了CAM的主要思路，和以往的一系列CAM方法相比，主要的差别在于获取线性权重的方式。初代CAM使用训练后全连接层上的模型权重，Grad-CAM和Grad-CAM++均采用对应特征图上的局部梯度，而在Score-CAM中摆脱了对于梯度的依赖，使用特征图的置信分数来衡量线性权重。
S6：将置信分数作为权重与特征图进行线性加权求和，计算最终得分，具体为：
Figure BDA0003448819490000088
Figure BDA0003448819490000089
式中，
Figure BDA00034488194900000810
表示最终得分，ReLU(*)表示激活函数，
Figure BDA00034488194900000811
表示类别c第k个通道的权重。
S7：根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本；
将最终得分最大的部分区域图像和原始图像输入空间变换网络，设置位移场
Figure BDA0003448819490000091
定义fi＝(△ui,△vi)是位移场中的第i个像素点；将最终得分最大的部分区域图像记为(idxx,idxy)，在(idxx,idxy)中应用该位移场；
定义对抗样本Xadv中的像素点位于对抗网格Gadv中，
Figure BDA0003448819490000092
表示对抗样本Xadv中第i个像素的坐标；
Figure BDA0003448819490000093
表示对抗样本Xadv中第i个像素的值；同理，定义Xi＝X(ui,vi)是原始图像X表中第i个像素的值，则对抗样本Xadv中第i个像素的值的计算公式为：
Figure BDA0003448819490000094
对于对抗样本Xadv扰动区域中的像素点，存在限制：
Figure BDA0003448819490000095
式中，Hf表示位移场f的高度，Wf表示位移场f的宽度；
对原始图像中的扰动区域进行空间变换，fi＝(△ui,△vi)；对于原始图像中的非扰动区域，设定fi＝(△ui,△vi)＝(0,0)；
由于扰动区域的坐标无法确定为整数，将对抗网格Gadv使用双线性内插值法计算出对抗样本Xadv中第i个像素的值，即：
Figure BDA0003448819490000096
式中，Gn∈N(Gi)表示对抗样本Xadv中第i个像素的四个相邻的像素点的索引；n＝{1,2,3,4}，即上左、上右、下左、下右四个像素点的索引，(un,vn)表示四个相邻的像素点的坐标，xn表示与该对抗样本对应的原始图像的像素点的值。
S8：根根据原始图像的真实标签和生成的对抗样本设置总损失函数，对空间变换的参数进行更新，输出生成的所有对抗样本。总损失函数包括对抗损失函数和流损失函数；
对抗损失函数用于最大化生成的对抗样本被误分类的可能，分为目标攻击和非目标攻击；对于目标攻击，目标标签定义为t，为确保攻击为t，则对抗损失函数为：
Figure BDA0003448819490000097
式中，Xadv表示对抗样，K表示平衡系数；
对于非目标攻击，仅需使目标标签异于真实标签，则对抗损失函数为：
Figure BDA0003448819490000101
式中，l表示真实标签；
流损失函数用于约束生成的对抗样本和原始图像的差异，即：
Figure BDA0003448819490000102
式中，fj表示位移场中的第j个像素点，fn∈N(fj)表示fj的四个相邻像素点,＝{1,2,3,4},|*|2表示L2范数；
流损失函数对扰动的大小进行限制，通过计算两个相邻像素点的空间距离之和获得；
则总损失函数为：
Figure BDA0003448819490000103
式中，f*表示总损失函数，α表示经验平衡参数。
当总损失函数f*取得最小值时，对空间变换层参数更新过程结束，获得所有对抗样本并输出。
实施例3
本实施例提供了一种利用空间变换生成对抗样本的系统，如图3所示，包括：
图像获取模块，用于获得原始图像和其真实标签；
特征提取模块，用于对原始图像进行特征提取，获得特征图；
上采样模块，用于对特征图的每个通道进行上采样，获得多张掩模图；
点乘模块，利用多张掩码图分别点乘原始图像，获得原始图像的多个部分区域图像；
置信分数计算模块，用于对原始图像和部分区域图像进行标签预测，并根据预测标签计算部分区域图像对应的特征图的置信分数；
最终得分计算模块，用于将置信分数作为权重与特征图进行线性加权求和，计算最终得分；
空间变换模块，根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本；
损失函数设置模块，根据原始图像的真实标签和生成的对抗样本设置总损失函数，对空间变换的参数进行更新，输出生成的所有对抗样本。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种利用空间变换生成对抗样本的方法，其特征在于，包括：
S1：获得原始图像和其真实标签；
S2：对原始图像进行特征提取，获得特征图；
S3：对特征图的每个通道进行上采样，获得多张掩模图；
S4：利用多张掩码图分别点乘原始图像，获得原始图像的多个部分区域图像；
S5：对原始图像和部分区域图像进行标签预测，并根据预测标签计算部分区域图像对应的特征图的置信分数；
S6：将置信分数作为权重与特征图进行线性加权求和，计算最终得分；
S7：根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本；
S8：根据原始图像的真实标签和生成的对抗样本设置总损失函数，对空间变换的参数进行更新，输出生成的所有对抗样本。
2.根据权利要求1所述的利用空间变换生成对抗样本的方法，其特征在于，所述步骤S2中，利用预训练的卷积神经网络对原始图像进行特征提取。
3.根据权利要求2所述的利用空间变换生成对抗样本的方法，其特征在于，所述步骤S3中，对特征图进行上采样后，还需对上采样结果进行归一化处理，获得多张掩模图。
4.根据权利要求1所述的利用空间变换生成对抗样本的方法，其特征在于，所述步骤S5中，利用深度神经网络对原始图像和部分区域图像进行标签预测。
5.根据权利要求4所述的利用空间变换生成对抗样本的方法，其特征在于，所述步骤S5中，根据预测标签计算部分区域图像对应的特征图的置信分数的具体方法为：
Figure FDA0003448819480000011
Figure FDA0003448819480000012
式中，
Figure FDA0003448819480000013
表示
Figure FDA0003448819480000014
对应的部分区域图像的置信分数
Figure FDA0003448819480000015
表示深度神经网络中卷积层l对应的激活层A提取出的第k个通道特征图，F(*)表示标签预测，X表示原始图像，
Figure FDA0003448819480000016
表示哈达玛积，Up(*)上采样操作，s(*)归一化处理，
Figure FDA0003448819480000017
表示
Figure FDA0003448819480000018
对应的掩码图。
6.根据权利要求5所述的利用空间变换生成对抗样本的方法，其特征在于，所述步骤S6中，将置信分数作为权重与特征图进行线性加权求和，计算最终得分的具体方法为：
Figure FDA0003448819480000021
Figure FDA0003448819480000022
式中，
Figure FDA0003448819480000023
表示最终得分，ReLU(*)表示激活函数，
Figure FDA0003448819480000024
表示类别c第k个通道的权重。
7.根据权利要求6所述的利用空间变换生成对抗样本的方法，其特征在于，所述步骤S7中，根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本的具体方法为：
设置位移场
Figure FDA0003448819480000025
定义fi＝(Δui，Δvi)是位移场中的第i个像素点；将最终得分最大的部分区域图像记为(idxx，idxy)，在(idxx，idxy)中应用该位移场；
定义对抗样本Xadv中的像素点位于对抗网格Gadv中，
Figure FDA0003448819480000026
表示对抗样本Xadv中第i个像素的坐标；
Figure FDA0003448819480000027
表示对抗样本Xadv中第i个像素的值；同理，定义Xi＝X(ui，vi)是原始图像X表中第i个像素的值，则对抗样本Xadv中第i个像素的值的计算公式为：
Figure FDA0003448819480000028
对于对抗样本Xadv扰动区域中的像素点，存在限制：
Figure FDA0003448819480000029
式中，Hf表示位移场f的高度，Wf表示位移场f的宽度；
对原始图像中的扰动区域进行空间变换，fi＝(Δui，Δvi)；对于原始图像中的非扰动区域，设定fi＝(Δui，Δvi)＝(0，0)；
由于扰动区域的坐标无法确定为整数，将对抗网格Gadv使用双线性内插值法计算出对抗样本Xadv中第i个像素的值，即：
Figure FDA00034488194800000210
式中，Gn∈N(Gi)表示对抗样本Xadv中第i个像素的四个相邻的像素点的索引；n＝{1，2，3，4}，即上左、上右、下左、下右四个像素点的索引，(un，vn)表示四个相邻的像素点的坐标，xn表示与该对抗样本对应的原始图像的像素点的值。
8.根据权利要求7所述的利用空间变换生成对抗样本的方法，其特征在于，所述步骤S8中，根据生成的对抗样本和原始图像的真实标签设置总损失函数的具体方法为：
总损失函数包括对抗损失函数和流损失函数；
对抗损失函数用于最大化生成的对抗样本被误分类的可能，分为目标攻击和非目标攻击；对于目标攻击，目标标签定义为t，为确保攻击为t，则对抗损失函数为：
Figure FDA0003448819480000031
式中，Xadv表示对抗样，K表示平衡系数；
对于非目标攻击，仅需使目标标签异于真实标签，则对抗损失函数为：
Figure FDA0003448819480000032
式中，l表示真实标签；
流损失函数用于约束生成的对抗样本和原始图像的差异，即：
Figure FDA0003448819480000033
式中，fj表示位移场中的第j个像素点，fn∈N(fj)表示fj的四个相邻像素点，n＝{1，2，3，4}，|*|2表示L2范数；
则总损失函数为：
Figure FDA0003448819480000034
式中，f*表示总损失函数，α表示经验平衡参数。
9.根据权利要求8所述的利用空间变换生成对抗样本的方法，其特征在于，当总损失函数f*取得最小值时，对空间变换层参数更新过程结束，获得所有对抗样本并输出。
10.一种利用空间变换生成对抗样本的系统，其特征在于，包括：
图像获取模块，用于获得原始图像和其真实标签；
特征提取模块，用于对原始图像进行特征提取，获得特征图；
上采样模块，用于对特征图的每个通道进行上采样，获得多张掩模图；
点乘模块，利用多张掩码图分别点乘原始图像，获得原始图像的多个部分区域图像；
置信分数计算模块，用于对原始图像和部分区域图像进行标签预测，并根据预测标签计算部分区域图像对应的特征图的置信分数；
最终得分计算模块，用于将置信分数作为权重与特征图进行线性加权求和，计算最终得分；
空间变换模块，根据最终得分最大的部分区域图像和原始图像进行空间变换，生成对抗样本；
损失函数设置模块，根据原始图像的真实标签和生成的对抗样本设置总损失函数，对空间变换的参数进行更新，输出生成的所有对抗样本。
CN202111667958.2A 2021-12-30 2021-12-30 一种利用空间变换生成对抗样本的方法和系统 Pending CN114332623A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111667958.2A CN114332623A (zh) 2021-12-30 2021-12-30 一种利用空间变换生成对抗样本的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111667958.2A CN114332623A (zh) 2021-12-30 2021-12-30 一种利用空间变换生成对抗样本的方法和系统

Publications (1)

Publication Number Publication Date
CN114332623A true CN114332623A (zh) 2022-04-12

Family

ID=81020925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111667958.2A Pending CN114332623A (zh) 2021-12-30 2021-12-30 一种利用空间变换生成对抗样本的方法和系统

Country Status (1)

Country Link
CN (1) CN114332623A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818958A (zh) * 2022-05-10 2022-07-29 马上消费金融股份有限公司 对抗样本的生成、模型训练、图像识别方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818958A (zh) * 2022-05-10 2022-07-29 马上消费金融股份有限公司 对抗样本的生成、模型训练、图像识别方法和装置
CN114818958B (zh) * 2022-05-10 2023-07-18 马上消费金融股份有限公司 对抗样本的生成、模型训练、图像识别方法和装置

Similar Documents

Publication Publication Date Title
Zhu et al. Data Augmentation using Conditional Generative Adversarial Networks for Leaf Counting in Arabidopsis Plants.
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN112418074B (zh) 一种基于自注意力的耦合姿态人脸识别方法
Cheng et al. Perturbation-seeking generative adversarial networks: A defense framework for remote sensing image scene classification
CN110263912A (zh) 一种基于多目标关联深度推理的图像问答方法
CN112347888B (zh) 基于双向特征迭代融合的遥感图像场景分类方法
CN112784782B (zh) 一种基于多视角双注意网络的三维物体识别方法
CN109671070A (zh) 一种基于特征加权和特征相关性融合的目标检测方法
CN111754637B (zh) 一种样本相似度抑制的大尺度三维人脸合成系统
CN112528928A (zh) 一种基于自注意力深度网络的商品识别方法
CN111739037B (zh) 一种针对室内场景rgb-d图像的语义分割方法
CN114581560A (zh) 基于注意力机制的多尺度神经网络红外图像彩色化方法
Alipour-Fard et al. Structure aware generative adversarial networks for hyperspectral image classification
CN114332623A (zh) 一种利用空间变换生成对抗样本的方法和系统
Fan et al. A novel sonar target detection and classification algorithm
CN114399630A (zh) 基于信念攻击和显著区域扰动限制的对抗样本生成方法
Li et al. IST-TransNet: Infrared small target detection based on transformer network
CN115205986B (zh) 一种基于知识蒸馏与transformer的假视频检测方法
Fan et al. BFNet: Brain-like Feedback Network for Object Detection under Severe Weather
CN115222998A (zh) 一种图像分类方法
CN111739168B (zh) 一种样本相似度抑制的大尺度三维人脸合成方法
CN114863132A (zh) 图像空域信息的建模与捕捉方法、系统、设备及存储介质
CN113344814A (zh) 一种基于生成机制的高分辨率对抗样本的合成方法
CN112395964A (zh) 一种基于深度学习的能见度估计方法
Ma et al. Har enhanced weakly-supervised semantic segmentation coupled with adversarial learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination