CN110910328B - 一种基于对抗性样本分类等级的防御方法 - Google Patents

Abstract

本发明公开了一种基于对抗性样本分类等级的防御方法，包括以下步骤：S1、生成对抗性样本，选择不同范数和不同攻击强度的对抗性攻击方法产生对抗性样本；S2、将满足防御效果的防御方法添加到防御方法备选库中；S3、从防御方法备选库中选择部分防御方法，将对抗性样本输入到选择的防御方法中，采用防御成功率、时间成本和模型精度变化三种指标来对防御效果进行量化，根据量化指标得到最优防御方法集合；S4、选择防御方法。本发明根据对抗性样本的具体分类和攻击强度，选择最适合的防御方法，具有通用性。并且使用了除防御成功率外的新的量化指标：模型精度变化和时间成本，使得防御效果的判定更具体和精确。

Description

一种基于对抗性样本分类等级的防御方法

技术领域

本发明涉及一种基于对抗性样本分类等级的防御方法。

背景技术

对抗性样本最早由Christian Szegedy和Ian Goodfellow等人提出，通过对原始数据进行微小调整就可以让机器学习算法输出错误结果，在图像识别，自然语言处理和语音识别等方面都能达到很高的欺骗率。这一类微小调整不易被察觉，并对AI系统具有很强的危害性，对抗性样本的防御尤为重要。对抗性样本防御的基本问题是：在不影响系统功能的情况下，即不影响模型的分类结果，并确保精度没有明显下降，有效的降低对抗性样本的影响。因此需要解决的问题是：在保证模型精度的条件下，如何保证模型不受到对抗性样本的影响？如何量化防御方法的防御效果？面对不同分类和不同攻击强度的对抗性攻击，如何确保防御率不会出现大的波动？

传统的对抗防御方法分为主动防御和被动防御，主动防御在对手生成对手示例之前，使深度神经网络更加健壮，被动防御在建立深度神经网络后防御对抗示例。主动防御的基本思想是修改模型以使其健壮，对模型的修改可以分为修改模型参数和修改模型结构。模型参数主要通过对抗训练进行修改。对抗训练是一种正则化方法，可以通过学习对抗特征和更新模型参数来提高模型的健壮性。典型的对抗训练方法是朴素对抗训练(NAT)，集合对抗训练(EAT)，基于PGD的对抗训练(PAT)。网络蒸馏(DD)是一种典型的防御方法，它通过平滑网络梯度来修改模型结构并使模型对对抗示例不敏感。因为被动防御无法修改模型，因此被动防御的机制是输入转换，通过对输入数据采取某种措施，使得对抗性样本失效，最常见的被动防御方法大多基于输入变换，如输入梯度正则化(IGR)，集合输入变换(EIT)，随机变换(RT)，像素防御(PD)和温度计编码(TE)作为被动防御方法。

对于防御性方法的防御效果的体现，传统的量化指标为防御成功率，即对抗性样本在采取防御措施和未采取防御措施的模型中精度的差值。防御成功率很好的体现了防御方法对对抗性样本的防御效果，但没有体现出防御方法对模型的影响，同时也没有考虑在不同应用场景下，对某些指标(实时性等)的要求。

传统的对抗性防御方法不具有普适性，没有一种对抗防御方法能够防御所有的对抗性攻击。由于对抗性样本本身的特点，在生成对抗性样本的过程中，对抗性样本就依赖于某一类模型，或者针对模型的某一方面的缺陷。因此，不同的对抗性攻击，体现的是不同的模型缺陷，需要不同的对抗防御方法。传统的对抗性防御方法中，有集成防御方法，例如集合对抗训练。这些集成防御方法能够很好的防御大多数对抗性攻击方法，这是因为像集合对抗训练这一类防御方法，是通过学习对抗性样本的对抗特征来提高模型的鲁棒性。当训练数据集中不包含某一类对抗性攻击方法时，该防御方法就不具备防御效果。就算在理想情况下，集合防御方法能够考虑到目前已知的所有对抗性攻击方法，但当出现新的对抗性攻击方法时，由于没有学习到这种新的对抗性特征，该防御方法也不奏效。传统的对抗防御方法关注的是某一类对抗性样本或者模型的某一种缺陷，缺乏对对抗性样本有宏观的分类，没有基于这种宏观的分类采取不同的防御措施，因此不具备通用性和适应性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种根据对抗性样本的具体分类和攻击强度，选择最适合的防御方法，具有通用性；并且使用了除防御成功率外的新的量化指标：模型精度变化和时间成本，使得防御效果的判定更具体和精确的基于对抗性样本分类等级的防御方法。

本发明的目的是通过以下技术方案来实现的：一种基于对抗性样本分类等级的防御方法，包括以下步骤：

S1、生成对抗性样本，选择不同范数和不同攻击强度的对抗性攻击方法产生对抗性样本；

S2、对输入数据的预处理(如压缩，滤波等)和修改模型(如蒸馏、重训练和添加子网等)，使得对对抗性样本具有防御性，将满足防御效果的防御方法添加到防御方法备选库中；

S3、从防御方法备选库中选择部分防御方法，将对抗性样本输入到选择的防御方法中，采用防御成功率、时间成本和模型精度变化三种指标来对防御效果进行量化，根据量化指标得到最优防御方法集合；

S4、选择防御方法，通过衡量量化指标，选择针对某一具体分类的对抗性样本的最适合防御方法：对于实时系统中，时间成本的优先级高；对于安全重要系统中，防御成功率和模型精度变化优先级高。

进一步地，所述步骤S1包括以下子步骤：

S11、定义对抗性样本生成过程中的损失函数，选择不同的优化方法来优化损失函数，求得对抗性样本，并将对抗性样本输入模型验证其是否具有欺骗性，剔除不具有欺骗性的对抗性样本；

S12、选择不同的限制条件，约束每次生成的对抗性样本不易被察觉，并确定对抗性攻击的分类；

S13、调节对抗性攻击的参数，参考攻击成功率和置信度，确定对抗性攻击的攻击强度；并生成不同攻击强度的对抗性样本；

S14、按照不同分类和攻击强度存储对抗性样本。

进一步地，所述步骤S2包括以下子步骤：

S21、输入对抗性样本；

S22、对输入数据的预处理和修改模型，以实现不同的防御策略；

S23、计算防御成功率、时间成本和模型精度变化作为防御效果的量化指标；

S24、根据量化指标判断该防御方法是否满足防御效果：在安全性系统中，判断该防御方法是否满足防御成功率和模型精度变化标准；在实时系统中，判断该防御方法是否满足时间成本；若满足则将该防御方法添加到防御方法备选库中；若不满足则返回步骤S22。

进一步地，所述步骤S3包括以下子步骤：

S31、从防御方法备选库中选择以下防御方法：主动防御中的朴素对抗训练NAT、集合对抗训练EAT、基于PGD的对抗训练PAT和网络蒸馏DD，以及被动防御中的输入梯度正则化，集合输入变换、随机变换、像素防御和温度计编码；

S32、将步骤S1生成的对抗性样本输入S31选择的防御方法中，并计算每种防御方法的防御成功率、时间成本和模型精度作为量化指标；

S33、根据量化治疗选择针对每一类对抗性样本的最优防御方法集合。

本发明的有益效果是：本发明的防御方法与传统防御方法不同，其针对的是对抗性样本的统一特征，根据对抗性样本的具体分类和攻击强度，选择最适合的防御方法，具有通用性。同时新的对抗性攻击，由于遵循对抗性样本的生成过程，同样也能被很好的防御。并且使用了除防御成功率外的新的量化指标：模型精度变化和时间成本，使得防御效果的判定更具体和精确。

附图说明

图1为本发明的基于对抗性样本分类等级的防御方法的流程图；

图2为本发明的对抗性样本生成的流程图；

图3为本发明的得到防御方法备选库的流程图；

图4为本发明的得到最优防御方法集合的流程图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

如图1所示，本发明的一种基于对抗性样本分类等级的防御方法，包括以下步骤：

S1、生成对抗性样本，选择不同范数和不同攻击强度的对抗性攻击方法产生对抗性样本；如图2所示，具体包括以下子步骤：

S11、定义对抗性样本生成过程中的损失函数L(x′)，选择不同的优化方法来优化损失函数，求得对抗性样本，并将对抗性样本输入模型验证其是否具有欺骗性，剔除不具有欺骗性的对抗性样本；

对抗性样本生成方法为：

x^*＝argmind_{(x*，x′)≤ε}L(x′)

S12、选择不同的限制条件，约束每次生成的对抗性样本不易被察觉，并确定对抗性攻击的分类；常用的限制条件为L-0范数，L-2范数和L-∞范数，其计算如下：

L_∞：||x||_∞＝max(|x₁|，|x₂|...|x_n|)

L₀：||x||₀＝Count(x_i≠0)

不同的对抗攻击方法，以及新的对抗攻击方法，因为要使得对抗性样本不易被察觉，因此都要通过范数来约束对数据的修改值。因此，对这三类范数攻击的不同攻击强度的防御可以体现出对对抗性样本防御的通用性。

S13、调节对抗性攻击的参数，参考攻击成功率和置信度，确定对抗性攻击的攻击强度；并生成不同攻击强度的对抗性样本；

S14、按照不同分类和攻击强度存储对抗性样本。

S2、对输入数据的预处理(如压缩，滤波等)和修改模型(如蒸馏、重训练和添加子网等)，使得对对抗性样本具有防御性，将满足防御效果的防御方法添加到防御方法备选库中；如图3所示，本步骤具体包括以下子步骤：

S21、输入对抗性样本；

S22、对输入数据的预处理和修改模型，以实现不同的防御策略；

S23、计算防御成功率、时间成本和模型精度变化作为防御效果的量化指标；

S24、根据量化指标判断该防御方法是否满足防御效果：在安全性系统中，判断该防御方法是否满足防御成功率和模型精度变化标准；在实时系统中，判断该防御方法是否满足时间成本；若满足则将该防御方法添加到防御方法备选库中；若不满足则返回步骤S22。

S3、从防御方法备选库中选择部分防御方法，将对抗性样本输入到选择的防御方法中，采用防御成功率、时间成本和模型精度变化三种指标来对防御效果进行量化，根据量化指标得到最优防御方法集合；如图4所示，具体包括以下子步骤：

S31、从防御方法备选库中选择以下防御方法：主动防御中的朴素对抗训练NAT、集合对抗训练EAT、基于PGD的对抗训练PAT和网络蒸馏DD，以及被动防御中的输入梯度正则化IGR，集合输入变换EIT、随机变换RT、像素防御PD和温度计编码TE；

对抗训练的基本思想是将对抗性样本注入训练集中，并在训练的每个步骤中不断生成新的对抗性样本。对抗训练使用如下损失函数，该函数允许独立控制每批对抗性样本的数量：

其中L(x|y)是具有真实类y的单个示例X的损失；m是小批量生产中训练示例的总数；k是小批量中的对抗性示例的数量，而λ是控制损失中对抗性示例的相对权重的参数,CLEAN是原始样本数据集，ADV是对抗性样本数据集，

为对应原始样本的对抗性样本。对于FGSM(快速梯度符号法)，对抗训练的损失函数定义如下：

其中x为样本，y为样本的标签，θ为模型参数，α为调整对抗训练过程中对抗性样本的比例。J()表示损失函数，

为对应的对抗性样本生成过程，

是对损失函数J()作梯度下降。对抗训练仍然容易受到黑盒攻击的影响，集合对抗训练通过从其他模型传递来的扰动来增强训练数据以防御黑盒攻击。

网络蒸馏最初旨在通过将知识从大型网络转移到小型网络来减小深度神经网络的大小,从而防御对抗性样本。将一个大模型产生的类的概率用作训练小模型的输入。概率提取了从大模型中获得的知识。Softmax通常用于归一化模型的最后一层并产生分类的概率，大模型的softmax输出，以及小模型的输入，可以描述为：

其中T是控制知识蒸馏水平的温度参数，z_i为最后一个隐藏层产生的输出的向量。

输入梯度正则化通过最小化网络的能量，并通过相对于输入特征来改变能量的变化率，来训练神经网络。其训练过程如下：

其中λ是指定惩罚强度的超参数，

给出预测y和标签

之间的交叉熵的总和。

集合输入变化对输入数据采取多种数据处理，对图像进行三种简单处理：图像裁剪-重新缩放，位深度缩小以及JPEG压缩和解压缩。因为对抗性扰动往往较小且局部化，因此经过集合输入变化重建的图像不包含对抗性扰动。基于随机变换的对抗防御方法，通过在分类网络的开头添加了一个随机调整大小层和一个随机填充层。不需要重新训练或微调，就能实现良好的防御效果。第一随机层是随机大小调整层，将原始图像的大小调整为W×H×3，将新图像调整为随机大小为W′×H′×3第二随机层是随机填充层，其以随机方式在调整大小的图像周围填充零。像素防御这通过将恶意扰动的图像移回训练数据中看到的分布来净化恶意扰动的图像。然后，经过纯化的图像将通过未修改的分类器运行，从而使方法对分类器和攻击方法均不可知。温度计编码器通过对标准神经网络架构进行简单修改来提升模型的鲁棒性。温度计编码器在不丢失相对距离信息的情况下离散化输入图像x，温度计编码向量定义如下：

其中l为第几步攻击，然后针对一个像素逐个定义离散函数：

f_therm(x)_i＝τ(b(x_i))。

其中b(x)为量化函数。

S32、将步骤S1生成的对抗性样本输入S31选择的防御方法中，并计算每种防御方法的防御成功率、时间成本和模型精度作为量化指标；

防御成功率计算如下：

DSR＝Acc(M^D，AE)-Acc(M，AE)

其中，M为原始模型，M^D为防御模型，AE为对抗性样本，Acc()函数为模型的精确度函数。

时间成本指从输入到神经网络的输出耗费的时间。

模型精度变化计算模型在经过防御措施后，模型精度的变化，具体计算如下：

MAV＝ACC(M^D，OE)-Acc(M，OE)

其中，M为原始模型，M^D为防御模型，OE为原始样本。

S33、根据量化治疗选择针对每一类对抗性样本的最优防御方法集合。

S4、选择防御方法，通过衡量量化指标，选择针对某一具体分类的对抗性样本的最适合防御方法：对于实时系统中，时间成本的优先级高；对于安全重要系统中，防御成功率和模型精度变化优先级高。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种基于对抗性样本分类等级的防御方法，其特征在于，包括以下步骤：

S1、生成对抗性样本，选择不同范数和不同攻击强度的对抗性攻击方法产生对抗性样本；

S2、对输入数据的预处理和修改模型，使得对对抗性样本具有防御性，将满足防御效果的防御方法添加到防御方法备选库中；

S3、从防御方法备选库中选择部分防御方法，将对抗性样本输入到选择的防御方法中，采用防御成功率、时间成本和模型精度变化三种指标来对防御效果进行量化，根据量化指标得到最优防御方法集合；包括以下子步骤：

S31、从防御方法备选库中选择以下防御方法：主动防御中的朴素对抗训练NAT、集合对抗训练EAT、基于PGD的对抗训练PAT和网络蒸馏DD，以及被动防御中的输入梯度正则化，集合输入变换、随机变换、像素防御和温度计编码；

集合输入变换对输入数据采取多种数据处理，对图像进行三种简单处理：图像裁剪-重新缩放，位深度缩小以及JPEG压缩和解压缩；经过集合输入变换重建的图像不包含对抗性扰动；

随机变换的对抗防御方法在分类网络的开头添加一个随机调整大小层和一个随机填充层；第一随机层是随机大小调整层，将原始图像的大小调整为W×H×3，将新图像调整为随机大小为W′×H′×3；第二随机层是随机填充层，其以随机方式在调整大小的图像周围填充零；

像素防御通过将恶意扰动的图像移回训练数据中看到的分布来净化恶意扰动的图像；然后，经过纯化的图像将通过未修改的分类器运行；

S32、将步骤S1生成的对抗性样本输入S31选择的防御方法中，并计算每种防御方法的防御成功率、时间成本和模型精度作为量化指标；

S33、根据量化指标 选择针对每一类对抗性样本的最优防御方法集合；

S4、选择防御方法，通过衡量量化指标，选择针对某一具体分类的对抗性样本的最适合防御方法：对于实时系统中，时间成本的优先级高；对于安全重要系统中，防御成功率和模型精度变化优先级高。

2.根据权利要求1所述的一种基于对抗性样本分类等级的防御方法，其特征在于，所述步骤S1包括以下子步骤：

S11、定义对抗性样本生成过程中的损失函数，选择不同的优化方法来优化损失函数，求得对抗性样本，并剔除不具有欺骗性的对抗性样本；

S12、选择不同的限制条件，约束每次生成的对抗性样本不易被察觉，并确定对抗性攻击的分类；

S13、调节对抗性攻击的参数，参考攻击成功率和置信度，确定对抗性攻击的攻击强度；并生成不同攻击强度的对抗性样本；

S14、按照不同分类和攻击强度存储对抗性样本。

3.根据权利要求1所述的一种基于对抗性样本分类等级的防御方法，其特征在于，所述步骤S2包括以下子步骤：

S21、输入对抗性样本；

S22、对输入数据的预处理和修改模型，以实现不同的防御策略；

S23、计算防御成功率、时间成本和模型精度变化作为防御效果的量化指标；

S24、根据量化指标判断该防御方法是否满足防御效果：在安全性系统中，判断该防御方法是否满足防御成功率和模型精度变化标准；在实时系统中，判断该防御方法是否满足时间成本；若满足则将该防御方法添加到防御方法备选库中；若不满足则返回步骤S22。

Images