CN113344814A - 一种基于生成机制的高分辨率对抗样本的合成方法 - Google Patents

一种基于生成机制的高分辨率对抗样本的合成方法 Download PDF

Info

Publication number
CN113344814A
CN113344814A CN202110621340.6A CN202110621340A CN113344814A CN 113344814 A CN113344814 A CN 113344814A CN 202110621340 A CN202110621340 A CN 202110621340A CN 113344814 A CN113344814 A CN 113344814A
Authority
CN
China
Prior art keywords
loss
input
picture
resolution
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110621340.6A
Other languages
English (en)
Inventor
李志伟
方贤进
杨高明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202110621340.6A priority Critical patent/CN113344814A/zh
Publication of CN113344814A publication Critical patent/CN113344814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及深度学习计算机视觉领域，具体的是一种基于生成机制的高分辨率对抗样本的合成方法，包括以下步骤：首先使用数据增强技术对高分辨率的数据集进行预处理，来获得复杂的数据分布以减少生成对抗网络在训练时出现过拟合现象；接着使用特征提取模型来提取输入的深层特征；然后结合主成分分析(PCA)和基于核函数的主成分分析(KPCA)方法，在保持原始输入96％以上的特征的同时将输入映射到噪声矢量；最后将上述特征和噪声矢量作为生成对抗网络生成器的输入进行训练，进而合成具有高分辨率的对抗样本。本发明实现了在高分辨率图像上产生更自然的扰动；提升了在复杂深度学习模型上的攻击成功率；合成了具有较好迁移性的强语义关联对抗样本。

Description

一种基于生成机制的高分辨率对抗样本的合成方法
技术领域
本发明涉及深度学习计算机视觉领域，具体的是一种基于生成机制的高分辨率对抗样本的合成方法。
背景技术
深度神经网络的最新成就使得计算机视觉、语音识别、自然语言处理、和Web挖掘等领域取得了重大突破。然而Szegedy等人提出对抗样本的概念，通过在原始良性输入图片的像素上添加人类难以感知的微小扰动，可以诱导深度学习模型将输入示例错误分类为其他类别，从而导致性能显著降低。Nguyen等人提出，深度学习模型可以高置信度地对人类无法识别的某些实例进行分类，这意味着深度学习模型非常脆弱。随着对抗样本这一概念的提出，围绕生成对抗样本的算法开始大量涌现，并且出现了各种各样的流派。这种现象对于深度学习的攻击和防御方面都具有重大的实际意义。其中攻击策略可分为以下几类：
1、基于敏感度分析，对抗攻击使用敏感度分析(一种用于确定每个输入特征对输出的贡献的算法)来发现敏感特征并对其进行干扰。在这一类别中具有代表性的算法，例如FGSM，JSMA和PGD。通常，这些攻击比基于优化的攻击要快也更直接，因此，它们更适合被整合到深度学习模型的训练过程中并提高其鲁棒性；
2、基于优化，攻击者使用优化算法来搜索解决方案，替代形式或约束。一些有代表性的算法是L-BFGS，DeepFool，C&W等。尽管基于灵敏度分析的攻击更为普遍，但这些都需要对受攻击系统有全面的了解。与基于灵敏度分析的方法相比，基于优化的攻击在黑盒方案中使用更多；
3、基于生成机制，使用生成模型学习对抗扰动的概率分布，并将其用于采样新的对抗样本。一个有代表性的生成模型是生成对抗网络(GAN)，它不同于上面基于优化和基于敏感性分析的方法。一旦生成器学习了输入示例的分布，就可以在短时间内产生大量的对抗扰动。一些典型的算法是AdvGAN，Natural GAN，Rob-GAN等。
值得注意的是，由于数据量大，所需的计算资源高，之前基于生成机制算法合成对抗样本是使用小型和简单的数据集(例如MNIST，CIFAR-10和Tiny-ImageNet(64像素))进行训练的。这导致生成的对抗样本可视化效果不佳。此外通过增加迭代次数或调整相关的超参数，会使得训练模型在小规模数据集上出现过拟合。这会导致生成的对抗样本在白盒攻击下会表现出良好的性能，但当对抗样本被转移到其他模型进行测试时，性能表现就会较差。因此一种基于生成机制的高分辨率对抗样本的合成方法来解决上述问题，并且通过高分辨率对抗样本来发现深度学习模型中的盲点来提升整个模型的鲁棒性尤其重要。
发明内容
为解决上述背景技术中提到的不足，本发明的目的在于提供一种基于生成机制的高分辨率对抗样本的合成方法。
本发明的目的可以通过以下技术方案实现：
一种基于生成机制的高分辨率对抗样本的合成方法，所述合成方法包括以下步骤：
步骤1、选取大规模高分辨率数据集，并且对选取的数据集X进行图片增强，生成增强数据X′；
步骤2、使用VGG19作为特征提取函数Fx()对输入x′(x′∈X′)进行特征提取；
步骤3、使用主成分分析(PCA)的线性降维方法将x′映射到相应的噪声矢量z；
步骤4、使用基于核函数的主成分分析(KPCA)的非线性降维方法将x′映射到相应的噪声矢量z；
步骤5、将x′的深层特征Fx(x′)和噪声矢量z(结合成串联矢量)作为生成对抗网络生成器G的输入进行训练，并生成针对输入的特定对抗扰动δx′＝G(z|Fx(x′))；
步骤6、将增强数据集中的输入x′与相应的对抗扰动δx′进行叠加，合成对抗样本x*＝x′+δx′；
步骤7、计算生成对抗网络训练过程的损失LGAN；欺骗目标模型Ft()的损失Ladv；量级限制后的扰动损失Lpert。
进一步地，所述步骤1针对数据集使用图片数据增强，分别从图片的内在属性、图片的表现形式、图片的形状三个方面进行，具体步骤如下：
步骤1.1、
色度转化：图片的每个像素值在(-3，3)范围内随机相加，饱和度转化：图片的每个像素值在(0.95，1.05)范围内随机相乘，亮度转化：图片的每个像素值在(0.95，1.05)范围内随机相乘；
步骤1.2、
镜面翻转：将图片的左右顺序交换，图像旋转：将图片沿着顺时针方向在(-15，15)角度范围内旋转；
步骤1.3、
随机填充：将图片边缘区域的像素值随机使用空白来替代。
进一步地，所述步骤2使用预训练VGG19作为特征提取函数Fx()，预训练模型在验证对抗样本在不同模型间的迁移性时减少训练开销，16个卷积层和3个全连接层提取更多的输入特征且提升整个方法的泛化性能；通过对输入x’进行降维映射，组合图片的不同属性得到新的属性，改变原始的特征空间。
进一步地，所述步骤3使用主成分分析(PCA)的线性降维方法将x’映射到相应的噪声矢量z；PCA在输入x’所在的坐标系下，变化数据点的方差沿新的坐标轴得到最大化，利用输入集X′统计性质的特征空间变换，在无损或较少损失输入的情况下将图片特征映射为z。
进一步地，所述步骤4使用基于核函数的主成分分析(KPCA)的非线性降维方法将x′映射到相应的噪声矢量z；KPCA采用非线性映射把将输入集X′由数据空间映射到特征空间，增强了非线性数据的处理能力，在无损或较少损失输入的情况下将图片特征映射为z。
进一步地，所述步骤6将增强数据集中的输入x′与相应的对抗扰动δx′进行叠加，合成对抗样本x*＝x′+δx′；设置输入x′的融合比例为100％，对抗扰动δx′的融合比例为15％，防饱和参数为-10。
进一步地，所述步骤7的具体步骤如下：
步骤7.1、
GAN损失LGAN：方法使用均方误差(MSE)损失来检测预测标签与真实标签之间的偏差；将生成对抗网络(GAN)训练分为训练鉴别器D和训练生成器G两个过程；对于鉴别器D，最大化区分输入实例是原始图像还是生成图像的概率，在训练过程应使原始图像的损失最小化，生成图像的损失最大化；在优化损失函数时，将错误的样本标签设置为“0”，真正的样本标签设置为“1”；对于生成器，和成的对抗样本要尽可能欺骗判别器，最小化其损失函数；
步骤7.2、
对抗损失Ladv：方法使用的目标模型Ft()为预训练ResNet152结构，使用MSE计算目标模型的预测类别不同于x′真实类别的损失；
步骤7.3、
扰动损失Lpere：扰动的大小对于使输出类似于原始图像至关重要，方法使用L2范数和L∞范数结合的技巧来限制生成扰动的量级。
本发明的有益效果：
1、本发明可以实现在大规模数据集上生成扰动，从而合成高分辨率对抗样本，较之前基于生成机制的方法相比，在提升攻击成功率的同时能够降低合成单个对抗样本的时间；
2、本发明合成的高分辨率对抗样本与原始输入间有强语义关联性，且在图像可视化效果和迁移性方面表现良好；
3、本发明为今后使用GAN合成高分辨率对抗样本应用到黑盒攻击上奠定基础，也为今后研究人员在大规模数据集上合成对抗样本的方式提供选择。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明合成方法的步骤流程框图；
图2是本发明合成方法的训练框架示意图；
图3是本发明提出的数据集进行数据增强的流程图；
图4是本发明提出的目标函数损失训练流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种基于生成机制的高分辨率对抗样本的合成方法，包括以下步骤：
步骤1、选取大规模高分辨率数据集，并且对选取的数据集X进行图片增强，生成增强数据X′；
步骤1针对数据集使用图片数据增强，分别从图片的内在属性、图片的表现形式、图片的形状三个方面进行，具体步骤如下：
步骤1.1、色度转化：图片的每个像素值在(-3，3)范围内随机相加，饱和度转化：图片的每个像素值在(0.95，1.05)范围内随机相乘，亮度转化：图片的每个像素值在(0.95，1.05)范围内随机相乘；
步骤1.2、镜面翻转：将图片的左右顺序交换，图像旋转：将图片沿着顺时针方向在(-15，15)角度范围内旋转；
步骤1.3、随机填充：将图片边缘区域的像素值随机使用空白来替代。
步骤2、使用VGG19作为特征提取函数Fx()对输入x′(x′∈X′)进行特征提取；
步骤2使用预训练VGG19作为特征提取函数Fx()，预训练模型在验证对抗样本在不同模型间的迁移性时可以减少训练开销，16个卷积层和3个全连接层可以提取更多的输入特征且提升整个方法的泛化性能；通过对输入x′进行降维映射，组合图片的不同属性得到新的属性，改变原始的特征空间。
步骤3、使用主成分分析(PCA)的线性降维方法将x′映射到相应的噪声矢量z；
步骤3使用主成分分析(PCA)的线性降维方法将x′映射到相应的噪声矢量z；PCA在输入x′所在的坐标系下，变化数据点的方差沿新的坐标轴得到最大化，利用输入集X′统计性质的特征空间变换，在无损或较少损失输入的情况下将图片特征映射为z。
步骤4、使用基于核函数的主成分分析(KPCA)的非线性降维方法将x′映射到相应的噪声矢量z；
步骤4使用基于核函数的主成分分析(KPCA)的非线性降维方法将x′映射到相应的噪声矢量z；KPCA采用非线性映射把将输入集X′由数据空间映射到特征空间，增强了非线性数据的处理能力，在无损或较少损失输入的情况下将图片特征映射为z。
步骤5、将x′的深层特征Fx(x′)和噪声矢量z(结合成串联矢量)作为生成对抗网络生成器G的输入进行训练，并生成针对输入的特定对抗扰动δx′＝G(z|Fx(x′))；
步骤6、将增强数据集中的输入x′与相应的对抗扰动δx′进行叠加，合成对抗样本x*＝x′+δx′；
步骤6将增强数据集中的输入x′与相应的对抗扰动δx′进行叠加，合成对抗样本x*＝x′+δx′；设置输入x′的融合比例为100％，对抗扰动δx′的融合比例为15％，防饱和参数为-10。
步骤7、计算生成对抗网络训练过程的损失LGAN；欺骗目标模型Ft()的损失Ladv；量级限制后的扰动损失Lpert，具体步骤如下：
步骤7.1、GAN损失LGAN：方法使用均方误差(MSE)损失来检测预测标签与真实标签之间的偏差；将生成对抗网络(GAN)训练分为训练鉴别器D和训练生成器G两个过程；对于鉴别器D，最大化区分输入实例是原始图像还是生成图像的概率，在训练过程应使原始图像的损失最小化，生成图像的损失最大化；在优化损失函数时，将错误的样本标签设置为“0”，真正的样本标签设置为“1”；对于生成器，和成的对抗样本要尽可能欺骗判别器，最小化其损失函数；
步骤7.2、对抗损失Ladv：方法使用的目标模型Ft()为预训练ResNet152结构，使用MSE计算目标模型的预测类别不同于x′真实类别的损失；
步骤7.3、扰动损失Lpert：扰动的大小对于使输出类似于原始图像至关重要，方法使用L2范数和L∞范数结合的技巧来限制生成扰动的量级。
在本实施例中，对于给定的分类器f，它可以将x∈X分类成真实标签ytrue＝fθ(x)；对抗攻击的目的是训练模型以生成对抗样本x*＝x+δx，这些对抗样本会被f标识为其他标签ypred，其中δx是微小且人为察觉的扰动添加到原始图像。
在本实施例中，δx＝G(z|x)，其中G是生成器。要优化的目标如下：
fθ(x+δx)＝ypred≠ytrue (1)
s.t.
Figure BDA0003100033510000081
在公式(1)中，使得对抗样本x*尽可能与x相似，并且∈是允许的最大||·||p扰动量级。最常用的是L0，L2和L∞距离，每个距离都有重要的数学定义。其中L0表示原始图像和对抗样本之间像素点不同的个数，L2表示测量原始图像与对抗样本之间的标准欧几里得距离，L∞表示对抗性示例中不可感知的扰动的最大值。本发明通过研究对抗样本可以发现深度学习模型中的盲点，从而提升整个模型的鲁棒性。
图1表示基于生成机制的高分辨率对抗样本合成方法的步骤流程图，图2表示基于生成机制的高分辨率对抗样本合成方法的训练框架，包括数据增强技术，降维映射方法，特征提取函数，目标模型，生成器G和判别器D。实施例的实验环境为：CPU：Xeon Gold 6139，RAM：96GRAM，GPU：Tesla V100 16G，PyTorch框架。整个框架的训练过程分为以下步骤：
T1、数据预处理，本发明使用数据集ImageNet，LSUN和CIFAR-10，防止模型过拟合的有效方法是数据增强，如图3所示，分别从图片的内在属性、图片的表现形式、图片的形状三个方面进行，色度转化：图片的每个像素值在(-3，3)范围内随机相加，饱和度转化：图片的每个像素值在(0.95，1.05)范围内随机相乘，亮度转化：图片的每个像素值在(0.95，1.05)范围内随机相乘；镜面翻转：将图片的左右顺序交换，图像旋转：将图片沿着顺时针方向在(-15，15)角度范围内旋转；随机填充：将图片边缘区域的像素值随机使用空白来替代。通过图像数据增强，来获得更复杂的数据分布。本发明基于生成机制来合成对抗样本，复杂的数据分布优点是可以使模型更健壮，并具有良好的泛化性能。
T2、网络结构的训练，本发明基于生成机制合成高分辨率对抗样本的方法网络结构如图2所示。由特征提取函数Fx，生成器G，鉴别器D和目标函数Ft组成。给定原始输入集X，通过G生成对抗性扰动δx′，将该扰动限制在一定数量级上。而后扰动与x′拼接以合成对抗样本x*。合成的高分辨率对抗样本可能欺骗判别器D，在无目标攻击中被目标函数Ft误分类。在训练阶段，在得到数据增强后的数据集后，使用VGG19作为特征提取函数来对输入x′进行特征提取，无需遵循编码器-解码器基础结构，减少了训练和推理开销。在生成对抗扰动前，使用PCA的线性降维方法和KPCA的非线性降维方法将x′映射到相应的噪声矢量z，生成与原始输入具有强语义相关性和更自然的对抗图像。G将x′的特征F(x′)和噪声矢量z(作为串联矢量)进行训练生成对抗扰动δx′。在PyTorch框架下使用OpenCV工具库下的AddWeighted(src1，double alpha，src2，double beta，double gamma)函数；设置src1为输入x′，doublealpha为1.00，src2为对抗扰动δx′，double beta为0.15，融合比例为15％，double gamma为-10，合成相应的高分辨率对抗样本为x*＝x′+δx′。
T3、损失函数的训练，本发明基于生成机制合成高分辨率对抗样本方法的损失训练过程如图4所示；训练数据增强损失：经增强数据后得到的图像的分布有些与原始图像不同。计算变换后的图像和原始图像的分布在模型上的交叉熵作为数据增强损失。交叉熵损失描述的是两个概率分布之间的距离；当原始图像与数据增强后图像分布间的交叉熵在训练过程中达到收敛，使用增强后的图像来生成对抗扰动。
这个过程可分为两个主要步骤：
(1)、计算两个分布在特征提取上的交叉熵损失模型；
(2)、计算目标模型的损失。
当整个训练过程达到收敛时，通过损失函数的变化来确定训练过程相关参数；在CIFAR-10上，优化器选择Adam，学习率设为0.001，批大小为300，训练epoch为60，学习衰减的epoch为30，损失函数对应的权重α和β分别为0.1，0.05；在ImageNet上，优化器选择Adam，学习率设为0.001，批大小为128，训练epoch为50，学习衰减的epoch为35，损失函数对应的权重α和β分别为0.1，0.02；在LSUN上，优化器选择Adam，学习率设为0.001，批大小为64，训练epoch为40，学习衰减的epoch为30，损失函数对应的权重α和β分别为0.25，0.05；
训练GAN损失，本发明使用均方误差(MSE)损失来检测预测标签与真实标签之间的偏差。将GAN训练分为两个过程：训练鉴别器D和训练生成器G；对于鉴别器D，期望D最大化区分输入实例是原始图像还是生成图像的概率。因此训练过程应使原始图像的损失最小化，生成图像的损失最大化。在优化损失函数时，将合成样本标签设置为“0”，将原始样本标签设置为“1”。因此训练判别器D以最大化下式：
LD_fake＝Ez[(D(G(z|Fx(x′))+x′)-0)2] (3)
并最小化：
LD_real＝Ex′[(D(x′)-1)2] (4)
对于生成器G生成的样本尽可能欺骗判别器，在训练G时，将其损失函数最小化：
LG＝Ez[D((G(z|Fx(x′))+x′)-1)2] (5)
GAN的总损失如下：
LGAN＝LD_real-LD_fake+LG (6)
训练对抗损失，在无目标攻击中，欺骗目标模型Ft的损失为：
Ladv＝Ex′，z[Ft(G(z|Fx(x′))+x′，l′] (7)
其中l’是不同于x′的真实标签l的任何类别。
训练扰动损失，扰动的大小对于使输出类似于原始图像至关重要。在等式(2)中，Lp用于测量x′与x*之间的距离(或相似度)，p的通常选择为[0，2，∞]。L0表示原始图像和对抗样本之间像素点不同的个数，L2测量原始图像与对抗样本之间的标准欧几里得距离，L∞表示对抗性示例中不可感知的扰动的最大值。本发明将L2和L∞结合在一起，生成更好感知质量的图片。扰动损失如下：
Lpert＝λ1*Ex′[||x*-x′||2]+λ2*Ex′[||x*-x′||∞] (8)
s.t.λ1+λ2＝1 (9)
综上，本发明方法的目标是最小化以下目标函数：
L＝LGAN+α*Ladv+β*Lpert (10)
其中α和β是相应损失函数对应的权重。
T4、结构参数确定，本发明基于生成机制合成高分辨率对抗样本方法使用pix2pix的训练方式。对于特征提取模型，使用预训练的VGG19，对于目标模型，使用ResNet152。这里选择的模型具有两个特征：更深的模型深度和预训练。更深的模型可以提取更多的输入特征，并提高整个网络的泛化性能。预训练模型在验证对抗样本在不同模型之间的迁移性时可以减少训练开销。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (7)

1.一种基于生成机制的高分辨率对抗样本的合成方法，其特征在于，所述合成方法包括以下步骤：
步骤1、选取大规模高分辨率数据集，并且对选取的数据集X进行图片增强，生成增强数据X′；
步骤2、使用VGG19作为特征提取函数Fx()对输入x′(x′∈X′)进行特征提取；
步骤3、使用主成分分析(PCA)的线性降维方法将x′映射到相应的噪声矢量z；
步骤4、使用基于核函数的主成分分析(KPCA)的非线性降维方法将x’映射到相应的噪声矢量z；
步骤5、将x’的深层特征Fx(x′)和噪声矢量z(结合成串联矢量)作为生成对抗网络生成器G的输入进行训练，并生成针对输入的特定对抗扰动δx′＝G(z|Fx(x′))；
步骤6、将增强数据集中的输入x′与相应的对抗扰动δx′进行叠加，合成对抗样本x*＝x′+δx′；
步骤7、计算生成对抗网络训练过程的损失LGAN；欺骗目标模型Ft()的损失Ladv；量级限制后的扰动损失Lpert。
2.根据权利要求1所述的一种基于生成机制的高分辨率对抗样本的合成方法，其特征在于，所述步骤1针对数据集使用图片数据增强，分别从图片的内在属性、图片的表现形式、图片的形状三个方面进行，具体步骤如下：
步骤1.1、
色度转化：图片的每个像素值在(-3，3)范围内随机相加，饱和度转化：图片的每个像素值在(0.95，1.05)范围内随机相乘，亮度转化：图片的每个像素值在(0.95，1.05)范围内随机相乘；
步骤1.2、
镜面翻转：将图片的左右顺序交换，图像旋转：将图片沿着顺时针方向在(-15，15)角度范围内旋转；
步骤1.3、
随机填充：将图片边缘区域的像素值随机使用空白来替代。
3.根据权利要求1所述的一种基于生成机制的高分辨率对抗样本的合成方法，其特征在于，所述步骤2使用预训练VGG19作为特征提取函数Fx()，预训练模型在验证对抗样本在不同模型间的迁移性时减少训练开销，16个卷积层和3个全连接层提取更多的输入特征且提升整个方法的泛化性能；通过对输入x’进行降维映射，组合图片的不同属性得到新的属性，改变原始的特征空间。
4.根据权利要求1所述的一种基于生成机制的高分辨率对抗样本的合成方法，其特征在于，所述步骤3使用主成分分析(PCA)的线性降维方法将x’映射到相应的噪声矢量z；PCA在输入x’所在的坐标系下，变化数据点的方差沿新的坐标轴得到最大化，利用输入集X′统计性质的特征空间变换，在无损或较少损失输入的情况下将图片特征映射为z。
5.根据权利要求1所述的一种基于生成机制的高分辨率对抗样本的合成方法，其特征在于，所述步骤4使用基于核函数的主成分分析(KPCA)的非线性降维方法将x′映射到相应的噪声矢量z；KPCA采用非线性映射把将输入集X′由数据空间映射到特征空间，增强了非线性数据的处理能力，在无损或较少损失输入的情况下将图片特征映射为z。
6.根据权利要求1所述的一种基于生成机制的高分辨率对抗样本的合成方法，其特征在于，所述步骤6将增强数据集中的输入x′与相应的对抗扰动δx′进行叠加，合成对抗样本x*＝x′+δx′；设置输入x′的融合比例为100％，对抗扰动δx′的融合比例为15％，防饱和参数为-10。
7.根据权利要求1所述的一种基于生成机制的高分辨率对抗样本的合成方法，其特征在于，所述步骤7的具体步骤如下：
步骤7.1、
GAN损失LGAN：方法使用均方误差(MSE)损失来检测预测标签与真实标签之间的偏差；将生成对抗网络(GAN)训练分为训练鉴别器D和训练生成器G两个过程；对于鉴别器D，最大化区分输入实例是原始图像还是生成图像的概率，在训练过程应使原始图像的损失最小化，生成图像的损失最大化；在优化损失函数时，将错误的样本标签设置为“0”，真正的样本标签设置为“1”；对于生成器，和成的对抗样本要尽可能欺骗判别器，最小化其损失函数；
步骤7.2、
对抗损失Ladv：方法使用的目标模型Ft()为预训练ResNet152结构，使用MSE计算目标模型的预测类别不同于x′真实类别的损失；
步骤7.3、
扰动损失Lpert：扰动的大小对于使输出类似于原始图像至关重要，方法使用L2范数和L∞范数结合的技巧来限制生成扰动的量级。
CN202110621340.6A 2021-06-03 2021-06-03 一种基于生成机制的高分辨率对抗样本的合成方法 Pending CN113344814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110621340.6A CN113344814A (zh) 2021-06-03 2021-06-03 一种基于生成机制的高分辨率对抗样本的合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110621340.6A CN113344814A (zh) 2021-06-03 2021-06-03 一种基于生成机制的高分辨率对抗样本的合成方法

Publications (1)

Publication Number Publication Date
CN113344814A true CN113344814A (zh) 2021-09-03

Family

ID=77473442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110621340.6A Pending CN113344814A (zh) 2021-06-03 2021-06-03 一种基于生成机制的高分辨率对抗样本的合成方法

Country Status (1)

Country Link
CN (1) CN113344814A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439377A (zh) * 2022-11-08 2022-12-06 电子科技大学 一种增强对抗图像样本迁移性攻击的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881935A (zh) * 2020-06-19 2020-11-03 北京邮电大学 一种基于内容感知gan的对抗样本生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881935A (zh) * 2020-06-19 2020-11-03 北京邮电大学 一种基于内容感知gan的对抗样本生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANJIN FANG等: "A novel approach to generating high-resolution adversarial examples", 《APPLIED INTELLIGENCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439377A (zh) * 2022-11-08 2022-12-06 电子科技大学 一种增强对抗图像样本迁移性攻击的方法
CN115439377B (zh) * 2022-11-08 2023-03-24 电子科技大学 一种增强对抗图像样本迁移性攻击的方法

Similar Documents

Publication Publication Date Title
Liu et al. Recent advances of image steganography with generative adversarial networks
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
CN111598805A (zh) 一种基于vae-gan的对抗样本防御方法及系统
CN106295694B (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
Zhang et al. Defense against adversarial attacks by reconstructing images
CN112884856B (zh) 基于谱归一化层级式生成对抗网络的文本生成图像方法
Fang et al. Triple-GAN: Progressive face aging with triple translation loss
Zheng et al. Attention-based spatial-temporal multi-scale network for face anti-spoofing
CN113128271A (zh) 脸部图像的伪造检测
CN112883874B (zh) 针对深度人脸篡改的主动防御方法
CN111445548A (zh) 一种基于非配对图像的多视角人脸图像生成方法
Zhao et al. Disentangled representation learning and residual GAN for age-invariant face verification
Gao et al. Complementary, heterogeneous and adversarial networks for image-to-image translation
CN115222998A (zh) 一种图像分类方法
CN113435264A (zh) 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置
Yang et al. Adaptive convolution local and global learning for class-level joint representation of facial recognition with a single sample per data subject
CN115797747A (zh) 基于模型权重变异和置信度距离的对抗样本检测方法
Di et al. Multimodal face synthesis from visual attributes
Liu et al. Unstoppable Attack: Label-Only Model Inversion via Conditional Diffusion Model
Gou et al. Hierarchical locality-aware deep dictionary learning for classification
CN113344814A (zh) 一种基于生成机制的高分辨率对抗样本的合成方法
Fathallah et al. Stabilizing and improving training of generative adversarial networks through identity blocks and modified loss function
Li et al. Defending deepfakes by saliency-aware attack
CN113222002A (zh) 一种基于生成式鉴别性对比优化的零样本分类方法
Qamar et al. Survey on generative adversarial behavior in artificial neural tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210903

RJ01 Rejection of invention patent application after publication