CN108322349A - 基于对抗式生成网络的深度学习对抗性攻击防御方法 - Google Patents

Abstract

一种基于对抗式生成网络的深度学习对抗性攻击防御方法，包括以下步骤：1)基于生成对抗网络在学习样本分布中表现出来的高性能，设计了通过生成对抗网络生成对抗样本的方法，在增加了目标模型网络集合TM_i后，基于G网络的样本生成变成了一个多目标的优化问题；对于AG‑GAN模型的训练主要是对生成网络G和判别网络D的参数训练，分为三个模块；2)利用AG‑GAN生成的对抗样本训练被攻击的深度学习模型，从而提高其防御不同种对抗样本的能力。本发明一种基于对抗式生成网络的深度学习对抗性攻击防御方法，有效提高其安全性。

Description

基于对抗式生成网络的深度学习对抗性攻击防御方法

技术领域

本发明属于人工智能领域的机器学习方法的安全领域，针对目前机器学习中深度学习方法存在对抗样本攻击的威胁，提出了一种基于对抗式生成网络的深度学习对抗性攻击防御方法，有效提高其安全性。

背景技术

深度神经网络模型凭借其良好的学习性能，在现实世界中得到广泛应用，包括计算机视觉、自然语言处理、生物信息分析等。特别是计算机视觉领域，在ILSVRC、Kaggle等赛事的推动下，深度神经网络表现出相比于其它机器学习方法更为先进的性能。Graves等人设计了一个新型深度学习系统，Differentiable Neural Computer(DNC)，将外围知识引入深度学习。等人提出一种新型的神经网络结构，将图作为深度学习的输入，与DNC结合实现了GCN模型。Hinton等人提出Capsule新概念，改进了传统CNN模型，提升了模型的结构多样性和防御能力。Chung等人提出边缘AI(Edge AI)利用有性生殖，合成更多样、紧凑的神经网络。此外，深度学习的开源框架和GPU的硬件性能提升更进一步推广了深度学习的应用。

然而，在深度学习算法得到广泛应用的同时，其存在的安全隐患也不容忽视。一直以来，基于机器学习的应用中就存在对抗样本攻击的威胁。Szegedy等人率先发现尽管进行图像分类的现代深度神经网络具有很高的精度，却也很容易受到图像中细小扰动的敌对攻击。这种细小扰动对人类视觉系统来说几乎不可察觉的，却能导致神经网络分类器完全输出具有高置信度的错误分类。而且，相同的图像扰动可能具有同时愚弄多个基于深度学习的计算机视觉系统的能力。此外，Moosavi-Dezfooli等人还发现，存在“通用扰动”能够作用于多张图像来愚弄某个深度神经网络分类器。Athalye等人的研究证明了3D打印的真实世界的物体也能够欺骗深度神经网络分类器。此外，除了分类与识别之前的攻击也在后续的研究中被不断发现，包括对自动编码器的对抗攻击，循环神经网络的对抗序列输入，对深度增强学习的对抗攻击，语义分割和目标检测的对抗攻击。

虽然目前已经有研究关注对抗性攻击对深度学习应用的影响与安全隐患，对其防御方法的研究仍然迫在眉睫。如果不能很好的防御对抗性攻击，那么基于人脸识别的支付应用就会没有安全保证，账户登录可以通过生成相应的人脸对抗样本来冒充；自动驾驶技术的推广也会存在重大安全隐患，人眼无法区别的一个路标标志对抗样本会让自动驾驶车辆产生完全错误的识别结果。

发明内容

为了克服已有技术无法解决面向深度学习的对抗样本攻击、安全性较低的不足，本发明一种基于对抗式生成网络的深度学习对抗性攻击防御方法，有效提高其安全性。

本发明解决其技术问题所采用的技术方案是：

一种基于对抗式生成网络的深度学习对抗性攻击防御方法，所述方法包括以下步骤：

1)基于生成对抗网络在学习样本分布中表现出来的高性能，设计了通过生成对抗网络生成对抗样本的方法，过程如下：

1.1)AG表示用于生成对抗样本的生成网络，称为攻击者，AG的输入是正常样本x^nor，输出是扰动ρ；D表示判别网络，其本质是一个编码器和解码器，输入包括正常样本x^nor和叠加了AG生成的扰动的对抗样本x^adv，输出的y^nor'和y^avd'分别对应输入x^nor和x^adv的重构结果，TM_i表示将被攻击的目标模型集合，i∈{1,2,...,n}，其原始功能是对正常样本和对抗样本进行期望分类，输出为l_i和类标；bus表示挂载目标模型的模型总线；在增加了目标模型网络集合TM_i后，基于G网络的样本生成变成了一个多目标的优化问题；

AG-GAN模型中对抗样本x^adv的生成表示为：

式(1)中，ω_D表示判别器D在训练过程中对生成的对抗样本的区分能力；ω_i表示对抗样本对每个目标模型TM_i攻击能力的期望强度；Loss_D(·,·)和Loss_TMi(·,·)分别表示判别网络和目标模型的损失函数；

对于AG-GAN模型的训练主要是对生成网络G和判别网络D的参数训练，分为三个模块。

1.2)模块一固定生成网络G的参数训练判别网络D的参数，将G的输出x^adv和正常样本x^nor作为D的输入，D网络的参数优化目标表示为：

式(2)中，l_Dx和l_DGz分别表示D网络对输入数据x^nor和对x^adv＝G(z)的期望输出类标，当实际的预测类标越接近期望的输出，目标函数的值越小，下同；同时，根据扰动ρ的要求，通过设置ω_D的值改变D网络对于对抗样本x^adv的预测能力；

1.3)模块二固定判别网络D的参数训练生成网络G的参数，将噪声z或者正常样本x^nor作为G网络的输入，x^adv＝G(z)表示输出的对抗样本，G网络的参数优化目标表示为：

1.4)模块三将待攻击的目标模型TM_i挂载到bus总线，通过TM_i的输出结果训练生成网络G的参数，G网络的参数优化目标表示为：

式(4)中，通过设置总线上的ω_i值调整生成的对抗样本攻击各个目标模型的泛化能力强弱；

1.5)最后，将网络G和网络D的三个训练优化模块进行整合，得到AG-GAN模型最终的目标函数：

通过以上分析可知，影响最后对抗样本生成效果的因素主要包括训练权重ω_D，ω_i，具体形式表现为各个模型间交替训练次数的比例；此外总线上挂载的目标模型的类型和数量也会直接或者间接影响对抗样本的生成，其中目标模型的类型包括模型所实现的任务类型、模型的结构和模型的参数训练方式；

2)利用AG-GAN生成的对抗样本训练被攻击的深度学习模型，从而提高其防御不同种对抗样本的能力。

本发明的方法，通过自动生成多样性的攻击样本保证其能覆盖绝大多数的对抗性攻击；随后利用生成的对抗样本训练深度学习模型，从而提高其对多种对抗性样本的防御能力。最终本专利在图像识别的多个领域展开应用，验证其方法的有效性。

本发明的有益效果主要表现在：有效解决面向深度学习的对抗样本攻击、安全性较高。

附图说明

图1是基于生成对抗网络的AG-GAN模型图。

图2是AG-GAN训练过程损失函数趋势图。

图3是生成对应图像的对抗样本，其中，(a)是原图，(b)是统一模型生成的扰动图像，(c)是统一模型生产的对抗攻击样本图像。

图4是针对人脸识别系统的对抗样本生成结果图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于对抗式生成网络的深度学习对抗性攻击防御方法，包括以下步骤：

1)针对传统攻击对单张图片操作的低效性，AG-GAN模型训练得到的是攻击生成器网络，拥有批量生产能力，基于多过程的博弈训练平衡对抗样本生成器生成的对抗样本在攻击能力和转移能力之间的矛盾，提高攻击的泛化性。

通过对现有的ρ-loss模型和ρ-iter模型分析可知，目前的攻击研究主要集中在Ι^att类攻击，同时对于每一个正常样本x^nor，生成其对抗样本x^adv存在形式单一、泛化能力弱等问题；为此，基于生成对抗网络在学习样本分布中表现出来的高性能，设计了通过生成对抗网络生成对抗样本的方法(AG-GAN)，过程如下：

1.1)基于生成对抗网络的AG-GAN模型图如图1所示。AG表示用于生成对抗样本的生成网络，称为攻击者，AG的输入是正常样本x^nor，输出是扰动ρ；D表示判别网络，其本质是一个编码器和解码器，输入包括正常样本x^nor和叠加了AG生成的扰动的对抗样本x^adv，输出的y^nor'和y^avd'分别对应输入x^nor和x^adv的重构结果，TM_i(i∈{1,2,...,n})表示将被攻击的目标模型集合，其原始功能是对正常样本和对抗样本进行期望分类，输出为l_i和类标；bus表示挂载目标模型的模型总线。在增加了目标模型网络集合TM_i后，基于G网络的样本生成变成了一个多目标的优化问题。

AG-GAN模型中对抗样本x^adv的生成可以表示为：

式(6)中ω_D表示判别器D在训练过程中对生成的对抗样本的区分能力；ω_i表示对抗样本对每个目标模型TM_i攻击能力的期望强度；Loss_D(·,·)和Loss_TMi(·,·)分别表示判别网络和目标模型的损失函数；

对于AG-GAN模型的训练主要是对生成网络G和判别网络D的参数训练，可以分为三个模块。

1.2)模块一固定生成网络G的参数训练判别网络D的参数，将G的输出x^adv和正常样本x^nor作为D的输入，D网络的参数优化目标可以表示为：

式(2)中，l_Dx和l_DGz分别表示D网络对输入数据x^nor和对x^adv＝G(z)的期望输出类标，当实际的预测类标越接近期望的输出，目标函数的值越小，下同。同时，根据扰动ρ的要求，通过设置ω_D的值改变D网络对于对抗样本x^adv的预测能力。

1.3)模块二固定判别网络D的参数训练生成网络G的参数，将噪声z或者正常样本x^nor作为G网络的输入，x^adv＝G(z)表示输出的对抗样本，G网络的参数优化目标可以表示为：

1.4)模块三将待攻击的目标模型TM_i挂载到bus总线，通过TM_i的输出结果训练生成网络G的参数，G网络的参数优化目标可以表示为：

式(4)中，可以通过设置总线上的ω_i值调整生成的对抗样本攻击各个目标模型的泛化能力强弱。

1.5)最后，将网络G和网络D的三个训练优化模块进行整合，得到AG-GAN模型最终的目标函数：

通过以上分析可知，影响最后对抗样本生成效果的因素主要包括训练权重ω_D，ω_i，具体形式可以表现为各个模型间交替训练次数的比例。此外总线上挂载的目标模型的类型和数量也会直接或者间接影响对抗样本的生成，其中目标模型的类型包括模型所实现的任务类型、模型的结构、模型的参数训练方式等；

2)利用AG-GAN生成的对抗样本训练被攻击的深度学习模型，从而提高其防御不同种对抗样本的能力。

利用AG-GAN对深度学习模型进行训练，分析模型的loss函数训练过程中逐渐下降，如图2所示，验证了AG-GAN生成的对抗样本对深度学习模型防御能力的提高，在识别多样性样本时保证了有效的识别准确率。

实例：将本发明的对抗攻击统一模型生成方法应用于图像，生成对应图像的对抗样本。如图3所示。(a)是原图，(b)是统一模型生成的扰动图像，(c)是统一模型生产的对抗攻击样本图像。

将其应用于人脸图像的攻击，如图4所示，(a)是原图，(b)是统一模型生成的扰动图像，(c)是统一模型生产的对抗攻击样本图像。

将本实施例的方法应用于攻击四个网络模型：AlexNet，Inception-v3，Inception-v4和Resnet-v2-101模型，并统计其攻击成功率与其他的攻击方法对比，表1为不同攻击算法针对不同比例的模型组合的攻击结果(％)

w1:w2:w3:w4	1:0:0:0	0:1:0:0	0:0:1:0	0:0:0:1	1:1:1:2
						FGSM	72.32	61.03	55.34	50.23	40.31
FGM	79.33	70.41	69.17	58.14	49.81
						I-FGSM	88.90	74.37	69.47	58.44	52.69
MI-FGSM	93.04	78.71	77.88	65.05	53.35
						AG-GAN	98.4	86.3	77.23	70.54	57.33

表1

表1中的w1,w2,w3,w4分别表示防御集成模型中AlexNet，Inception-v3，Inception-v4和Resnet-v2-101所占的权重比例，以“1:0:0:0”为例，表示该防御模型仅由AlexNet组成。

本实施例提出的多模型协同防御方法可以对FGSM，FGM和I-FGSM的绝大多数攻击实现有效防御；对于MI-FGSM和AG-GAN模型产生的攻击大部分攻击实现有效防御，其检测率如表2所示，表2为多模型协同防御结果(％)

表2。

Claims (1)

1.一种基于对抗式生成网络的深度学习对抗性攻击防御方法，其特征在于，所述方法包括以下步骤：

1)基于生成对抗网络在学习样本分布中表现出来的高性能，设计了通过生成对抗网络生成对抗样本的方法，过程如下：

1.1)AG表示用于生成对抗样本的生成网络，称为攻击者，AG的输入是正常样本x^nor，输出是扰动ρ；D表示判别网络，其本质是一个编码器和解码器，输入包括正常样本x^nor和叠加了AG生成的扰动的对抗样本x^adv，输出的y^nor'和y^avd'分别对应输入x^nor和x^adv的重构结果，TM_i表示将被攻击的目标模型集合，i∈{1,2,...,n}，其原始功能是对正常样本和对抗样本进行期望分类，输出为l_i和类标；bus表示挂载目标模型的模型总线；在增加了目标模型网络集合TM_i后，基于G网络的样本生成变成了一个多目标的优化问题；

AG-GAN模型中对抗样本x^adv的生成表示为：

式(1)中，ω_D表示判别器D在训练过程中对生成的对抗样本的区分能力；ω_i表示对抗样本对每个目标模型TM_i攻击能力的期望强度；Loss_D(·,·)和分别表示判别网络和目标模型的损失函数；

对于AG-GAN模型的训练主要是对生成网络G和判别网络D的参数训练，分为三个模块。

1.2)模块一固定生成网络G的参数训练判别网络D的参数，将G的输出x^adv和正常样本x^nor作为D的输入，D网络的参数优化目标表示为：

式(2)中，l_Dx和l_DGz分别表示D网络对输入数据x^nor和对x^adv＝G(z)的期望输出类标，当实际的预测类标越接近期望的输出，目标函数的值越小，下同；同时，根据扰动ρ的要求，通过设置ω_D的值改变D网络对于对抗样本x^adv的预测能力；

1.3)模块二固定判别网络D的参数训练生成网络G的参数，将噪声z或者正常样本x^nor作为G网络的输入，x^adv＝G(z)表示输出的对抗样本，G网络的参数优化目标表示为：

1.4)模块三将待攻击的目标模型TM_i挂载到bus总线，通过TM_i的输出结果训练生成网络G的参数，G网络的参数优化目标表示为：

式(4)中，通过设置总线上的ω_i值调整生成的对抗样本攻击各个目标模型的泛化能力强弱；

1.5)最后，将网络G和网络D的三个训练优化模块进行整合，得到AG-GAN模型最终的目标函数：

通过以上分析可知，影响最后对抗样本生成效果的因素主要包括训练权重ω_D，ω_i，具体形式表现为各个模型间交替训练次数的比例；此外总线上挂载的目标模型的类型和数量也会直接或者间接影响对抗样本的生成，其中目标模型的类型包括模型所实现的任务类型、模型的结构和模型的参数训练方式；

2)利用AG-GAN生成的对抗样本训练被攻击的深度学习模型，从而提高其防御不同种对抗样本的能力。