CN113537467A - 一种基于wgan-gp的对抗扰动图像生成方法 - Google Patents

一种基于wgan-gp的对抗扰动图像生成方法 Download PDF

Info

Publication number
CN113537467A
CN113537467A CN202110799668.7A CN202110799668A CN113537467A CN 113537467 A CN113537467 A CN 113537467A CN 202110799668 A CN202110799668 A CN 202110799668A CN 113537467 A CN113537467 A CN 113537467A
Authority
CN
China
Prior art keywords
image
disturbance
target
wgan
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110799668.7A
Other languages
English (en)
Other versions
CN113537467B (zh
Inventor
蒋凌云
吴梦雪
季一木
孙静
田鹏浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110799668.7A priority Critical patent/CN113537467B/zh
Publication of CN113537467A publication Critical patent/CN113537467A/zh
Application granted granted Critical
Publication of CN113537467B publication Critical patent/CN113537467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明是一种基于WGAN‑GP的对抗扰动图像生成方法。该方法包括如下步骤：利用特征提取器从目标网络模型中获取其中一个卷积层的特征向量，并将其作为先验信息；生成器将原始图像的特征向量和噪声向量作为级联向量输入到生成器后生成对抗扰动图像；判别器判断生成器生成的对抗扰动图像的类别是否符合训练集中的类别描述信息；目标神经网络模型利用误判损失函数来指导生成器生成的对抗扰动图像的类别更接近目标标签的类别。本发明提升了生成对抗扰动图像的隐蔽性和图像质量，利用目标网络模型的特征提取器，使GAN网络生成器从学习原始图像的特征转换为学习目标特征，以减少训练开销和提高对抗成功率。

Description

一种基于WGAN-GP的对抗扰动图像生成方法
技术领域
本发明属于计算机图形处理技术和人工智能技术领域，具体的说是涉及一种基于WGAN-GP的对抗扰动图像生成方法。
背景技术
随着深度学习领域的不断发展以及计算机性能的快速提高，计算机视觉领域的发展取得了巨大的成功，而在计算机视觉领域中，卷积神经网络更是其主要的代表技术之一，并且已经在图像识别、定位、视频跟踪和视频分割等领域得到了广泛的应用。
虽然研究者已经提出多种应用于数字世界的对抗方法，但多数对抗方法都属于白盒对抗方法，如FGSM对抗方法和C&W对抗方法。而白盒对抗方法有一个严重的弊端：研究者需要在已知训练数据集的前提下，拥有访问网络模型的架构、参数的权限才可进行对抗操作。因此，近几年研究者又提出了多种基于半白盒环境下的对抗方法，其中Xiao等人提出的AdvGAN对抗方法是经典的半白盒对抗方法之一。AdvGAN实现半白盒对抗的原理是，在AdvGAN中的前馈网络训练完成后，可为任何输入的对抗目标产生对应的对抗扰动图像，而不需要再访问模型本身，从而实现半白盒对抗效果。然而，在AdvGAN网络中，采用了LSGAN来训练生成器和判别器，而LSGAN的缺陷在于它并没有解决当判别器足够优秀时生成器发生梯度弥散的问题，并且相较于WGAN-GP生成的图像质量较差。其次，AdvGAN未能利用目标网络模型中卷积层提供的特征信息作为先验信息，而该先验信息最近被Sinha等人证明更容易受到对抗扰动的影响。
发明内容
为了达到上述目，本发明提供了一种基于WGAN-GP的对抗扰动图像生成方法，该方法基于一种半白盒环境下的对抗方法，通过前馈网络训练完成后，可为任何输入的对抗目标产生对应的对抗扰动图像，而不需要再访问模型本身，从而实现半白盒对抗效果。包括如下步骤：利用特征提取器从目标网络模型中获取其中一个卷积层的特征向量，并将其作为先验信息；生成器将原始图像的特征向量和噪声向量作为级联向量输入到生成器后生成对抗扰动图像；判别器判断生成器生成的对抗扰动图像的类别是否符合训练集中的类别描述信息；目标神经网络模型利用误判损失函数来指导生成器生成的对抗扰动图像的类别更接近目标标签的类别。
具体包括如下步骤：
步骤1：参数初始化：设置训练步长n、噪声分布T和训练集P；
步骤2：小批量采样噪声分布和数据集样本：从噪声分布T中取m个噪声扰动{z1，z2，...，zm}进行小批量采样，从训练集P中取m个原始图像{x1，x2，...，xm}进行小批量采样；
步骤3：提取原始图像特征向量：利用目标网络模型M的特征提取器f来提取每个原始图像的特征向量，并获取m张原始图像中的特征向量{f(x1)，f(x2)，...，f(xm)}，使GAN网络生成器从学习原始图像的特征转换为学习目标特征，以减少训练开销和提高对抗成功率；
步骤4：训练判别网络：在目标损失函数LWGAN-GP基础上，通过提升随机梯度来训练判别器；
步骤5：小批量采样噪声分布：从噪声分布T中再取m个噪声扰动{z1，z2，...，zm}进行小批量采样；
步骤6：训练生成网络：结合目标损失函数LWGAN-GP、误判损失函数Ladv和约束对抗扰动生成幅度损失函数Lnorm，通过降低随机梯度来训练生成器；
步骤7：迭代步数：根据设置的迭代步数，反复的进行步骤2-步骤6的步骤直至到达终止条件，最终获取到一个可为任何输入的对抗目标产生对应的对抗扰动图像，而不需要再访问模型本身的前馈网络。
本发明的有益效果是：本发明中提出的方法实现了半白盒对抗效果；利用WGAN-GP目标损失函数以解决GAN在训练时生成器存在梯度弥散的问题，且提升了生成对抗扰动图像的隐蔽性和图像质量；利用目标网络模型的特征提取器，使GAN网络生成器从学习原始图像的特征转换为学习目标特征，以减少训练开销和提高对抗成功率。
附图说明
图1是基于WGAN-GP的对抗扰动图像生成方法架构图。
图2是生成对抗扰动图像算法伪代码。
图3是生成对抗扰动图像流程图。
具体实施方式
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
本发明是一种基于WGAN-GP的对抗扰动图像生成方法，利用特征提取器从目标网络模型中获取其中一个卷积层的特征向量，并将其作为先验信息；生成器将原始图像的特征向量和噪声向量作为级联向量输入到生成器后生成对抗扰动图像；判别器判断生成器生成的对抗扰动图像的类别是否符合训练集中的类别描述信息；目标神经网络模型利用误判损失函数来指导生成器生成的对抗扰动图像的类别更接近目标标签的类别。
对原始损失函数进行改进，包括如下两点：
(1)训练阶段中，其采用了WGAN-GP目标损失函数LWGAN-GP
由于传统的基于GAN的对抗扰动图像生成方法存在训练时生成器存在梯度弥散和生成的图像质量较差的问题，因此我们采用了WGAN-GP目标损失函数LWGAN-GP来替代原始的目标损失函数。LWGAN-GP目标损失函数主要采用了梯度惩罚方法来取代权重剪枝方法。其原理是，通过在原WGAN目标损失函数基础上添加一个梯度惩罚约束函数，来强制判别器网络满足一阶利普希茨函数约束，即判别器的梯度值尽可能不大于一个设置的常数值，从而解决训练时生成器存在梯度弥散问题。
(2)在训练生成器阶段中，利用了目标网络模型的特征提取器
本发明基于目前经典的LeNet与ResNet目标网络模型和MNIST手写字数据集与CIFAR10彩色图像数据集来进行对抗测试。我们在训练生成器过程中，利用了目标网络模型的特征提取器来获取卷积层提供的特征信息，并将其作为先验信息。引入了该特征提取器使GAN网络生成器从学习原始图像的特征转换为学习目标特征，以减少训练开销和提高对抗成功率。
本方法具体的执行过程如下：
步骤1：参数初始化
设置训练步长n、噪声分布T和训练集P。
步骤2：采样噪声分布和数据集样本
从噪声分布T中取m个噪声扰动{z1，z2，...，zm}进行小批量采样，从训练集P中取m个原始图像{x1，x2，...，xm}进行小批量采样；
步骤3：提取原始图像特征向量
在训练生成器过程中，利用特征提取器从目标网络模型中获取其中一个卷积层的特征向量，并将其作为先验信息，特征向量计算的表达式为：
fextract(x)＝fl(fl-1(...(f2(f1(x；W1,b1)；W2,b2)))...；Wl,bl) (1)。
步骤4：训练判别器
GAN在训练过程中，GAN通过最大化目标损失函数的方式来提高判别器的误判概率，因此在目标损失函数LWGAN-GP基础上，通过提升随机梯度来训练判别器。
目标损失函数LWGAN-GP计算的表达式为：
Figure BDA0003164185090000051
式(2)中，D(x)表示判别器判断x类别标签是否属于训练集P中的类别信息，E表示期望值表达式。
步骤5：小批量采样噪声分布：从噪声分布T中再取m个噪声扰动{z1，z2，...，zm}进行小批量采样；
步骤6：训练生成器
GAN在训练过程中，GAN通过最小化的方式来减少原始图像和生成图像之间的距离，因此在目标损失函数LWGAN-GP基础上，通过降低随机梯度来训练生成器。而本方法针对的对抗样本生成策略，因此还引入了误判损失函数Ladv和约束对抗扰动生成幅度损失函数Lnorm来进一步提高GAN网络中生成器的对抗性能。
为了使目标网络模型M对生成的对抗扰动图像G(t|f(x))产生误分类的效果，本章方法采用误判损失函数Ladv来实现。
所述误判损失函数Ladv的计算表达式为：
Figure BDA0003164185090000052
式(3)中，lM表示用于训练原始模型的交叉熵损失函数，c表示目标类别；
在有指向目标对抗中，Ladv使用最小化对抗扰动图像G(t|f(x))属于其他类别c的softmax概率方法，达到目标网络模型M误分类的目的；
在无指向目标对抗中，Ladv使用最大化对抗扰动图像G(t|f(x))的概率与真实值(Ground Truth)概率之间的距离方法，达到目标网络模型M检测失效的目的。
本方法通过最小化对抗扰动图像G(t|f(x))和原始图像x之间的L2损失函数来约束对抗扰动的生成幅度，所述约束对抗扰动生成幅度损失函数Lnorm的计算表达式为：
Lnorm＝Ex||x-G(t|f(x))||2 (4)。
步骤7：设置训练迭代步数、生成对抗样本：本发明设置的迭代步数为2000步，反复的进行步骤2-步骤6的步骤直至到达终止条件，从而获取到一个训练好的前馈网络。将要对抗的数据集输入至训练好的前馈网络，可为任何输入的对抗目标产生对应的对抗扰动图像，而不需要再访问模型本身，从而实现半白盒对抗效果。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (5)

1.一种基于WGAN-GP的对抗扰动图像生成方法，其特征在于：所述生成方法包括如下步骤：
步骤1：参数初始化：设置训练步长n、噪声分布T和训练集P；
步骤2：采样噪声分布和数据集样本：从噪声分布T中取m个噪声扰动{z1，z2，...，zm}进行小批量采样，从训练集P中取m个原始图像{x1，x2，...，xm}进行小批量采样；
步骤3：提取原始图像特征向量：利用目标网络模型M的特征提取器f来提取每个原始图像的特征向量，并获取m张原始图像中的特征向量{f(x1)，f(x2)，...，f(xm)}，使GAN网络生成器从学习原始图像的特征转换为学习目标特征；
步骤4：训练判别网络：在目标损失函数LWGAN-GP基础上，通过提升随机梯度来训练判别器；
步骤5：小批量采样噪声分布：从噪声分布T中再取m个噪声扰动{z1，z2，...，zm}进行小批量采样；
步骤6：训练生成网络：结合目标损失函数LWGAN-GP、误判损失函数Ladv和约束对抗扰动生成幅度损失函数Lnorm，通过降低随机梯度来训练生成器；
步骤7：迭代步数：根据设置的迭代步数，反复的进行步骤2-步骤6的步骤直至到达终止条件，最终获取到一个可为任何输入的对抗目标产生对应的对抗扰动图像，而不需要再访问模型本身的前馈网络。
2.根据权利要求1所述一种基于WGAN-GP的对抗扰动图像生成方法，其特征在于：目标损失函数LWGAN-GP计算的表达式为：
Figure FDA0003164185080000011
式(2)中，D(x)表示判别器判断x类别标签是否属于训练集P中的类别信息，E表示期望值表达式。
3.根据权利要求1所述一种基于WGAN-GP的对抗扰动图像生成方法，其特征在于：所述误判损失函数Ladv的计算表达式为：
Figure FDA0003164185080000021
式(3)中，lM表示用于训练原始模型的交叉熵损失函数，c表示目标类别；
在有指向目标对抗中，Ladv使用最小化对抗扰动图像G(t|f(x))属于其他类别c的softmax概率方法，达到目标网络模型M误分类的目的；
在无指向目标对抗中，Ladv使用最大化对抗扰动图像G(t|f(x))的概率与真实值概率之间的距离方法，达到目标网络模型M检测失效的目的。
4.根据权利要求1所述一种基于WGAN-GP的对抗扰动图像生成方法，其特征在于：所述约束对抗扰动生成幅度损失函数Lnorm的计算表达式为：
Lnorm＝Ex||x-G(t|f(x))||2 (4)。
5.根据权利要求1所述一种基于WGAN-GP的对抗扰动图像生成方法，其特征在于：所述步骤3中所述图像特征向量的表达式为：
fextract(x)＝fl(fl-1(...(f2(f1(x；W1,b1)；W2,b2)))...；Wl,bl) (1)。
CN202110799668.7A 2021-07-15 2021-07-15 一种基于wgan-gp的对抗扰动图像生成方法 Active CN113537467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110799668.7A CN113537467B (zh) 2021-07-15 2021-07-15 一种基于wgan-gp的对抗扰动图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110799668.7A CN113537467B (zh) 2021-07-15 2021-07-15 一种基于wgan-gp的对抗扰动图像生成方法

Publications (2)

Publication Number Publication Date
CN113537467A true CN113537467A (zh) 2021-10-22
CN113537467B CN113537467B (zh) 2023-08-18

Family

ID=78099405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110799668.7A Active CN113537467B (zh) 2021-07-15 2021-07-15 一种基于wgan-gp的对抗扰动图像生成方法

Country Status (1)

Country Link
CN (1) CN113537467B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019128A (zh) * 2022-06-02 2022-09-06 电子科技大学 图像生成模型训练方法、图像生成方法及相关装置
CN117115453A (zh) * 2023-10-20 2023-11-24 光轮智能(北京)科技有限公司 目标图像生成方法、装置及计算机可读存储介质
CN117409008A (zh) * 2023-12-15 2024-01-16 华东交通大学 一种设备图像生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816044A (zh) * 2019-02-11 2019-05-28 中南大学 一种基于wgan-gp和过采样的不平衡学习方法
CN111881935A (zh) * 2020-06-19 2020-11-03 北京邮电大学 一种基于内容感知gan的对抗样本生成方法
US20210012188A1 (en) * 2019-07-09 2021-01-14 Baidu Usa Llc Systems and methods for defense against adversarial attacks using feature scattering-based adversarial training
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112946600A (zh) * 2021-03-17 2021-06-11 西安电子科技大学 基于wgan-gp的雷达hrrp数据库构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816044A (zh) * 2019-02-11 2019-05-28 中南大学 一种基于wgan-gp和过采样的不平衡学习方法
US20210012188A1 (en) * 2019-07-09 2021-01-14 Baidu Usa Llc Systems and methods for defense against adversarial attacks using feature scattering-based adversarial training
CN111881935A (zh) * 2020-06-19 2020-11-03 北京邮电大学 一种基于内容感知gan的对抗样本生成方法
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112946600A (zh) * 2021-03-17 2021-06-11 西安电子科技大学 基于wgan-gp的雷达hrrp数据库构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘恒;吴德鑫;徐剑;: "基于生成式对抗网络的通用性对抗扰动生成方法", 信息网络安全, no. 05 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019128A (zh) * 2022-06-02 2022-09-06 电子科技大学 图像生成模型训练方法、图像生成方法及相关装置
CN117115453A (zh) * 2023-10-20 2023-11-24 光轮智能(北京)科技有限公司 目标图像生成方法、装置及计算机可读存储介质
CN117115453B (zh) * 2023-10-20 2024-02-02 光轮智能(北京)科技有限公司 目标图像生成方法、装置及计算机可读存储介质
CN117409008A (zh) * 2023-12-15 2024-01-16 华东交通大学 一种设备图像生成方法

Also Published As

Publication number Publication date
CN113537467B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN113537467A (zh) 一种基于wgan-gp的对抗扰动图像生成方法
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
CN112446423B (zh) 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法
CN112990097A (zh) 一种基于对抗消除的人脸表情识别方法
CN113222072A (zh) 基于K-means聚类和GAN的肺部X光图像分类方法
CN113361566A (zh) 用对抗性学习和判别性学习来迁移生成式对抗网络的方法
CN112329832B (zh) 一种基于深度卷积生成对抗网络的无源定位目标轨迹数据增强方法及系统
CN110942472A (zh) 一种基于特征融合与自适应分块的核相关滤波跟踪方法
CN115659254A (zh) 一种双模态特征融合的配电网电能质量扰动分析方法
CN115047423A (zh) 基于对比学习无监督预训练-微调式的雷达目标识别方法
CN116486172A (zh) 基于语义表征的无监督域适应图像分类方法
CN116977730A (zh) 一种基于迁移学习的无监督低质量图像分类方法
CN116452862A (zh) 基于领域泛化学习的图像分类方法
CN111967358A (zh) 一种基于注意力机制的神经网络步态识别方法
CN112597979B (zh) 一种实时更新余弦夹角损失函数参数的人脸识别方法
CN114547102A (zh) 基于梯度驱动数据生成的模型窃取攻击方法
CN113421185A (zh) 一种基于StyleGAN的移动端人脸年龄编辑方法
CN113033079A (zh) 一种基于不平衡修正卷积神经网络的化学故障诊断方法
CN117011508A (zh) 一种基于视觉变换和特征鲁棒的对抗训练方法
Du et al. Local aggregative attack on SAR image classification models
Zhang et al. MetaDiff: Meta-Learning with Conditional Diffusion for Few-Shot Learning
Liu et al. Facial expression recognition approach based on least squares support vector machine with improved particle swarm optimization algorithm
CN111797732B (zh) 一种对采样不敏感的视频动作识别对抗攻击方法
Tang et al. Data augmentation for signal modulation classification using generative adverse network
Lin et al. Features fusion based automatic modulation classification using convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant