CN112861759A - 一种对抗样本生成方法及装置 - Google Patents

Abstract

本公开涉及对抗样本生成方法及装置，包括：获取样本图像集合和样本图像集合中每张样本图像对应的目标条件；其中，目标条件包括：目标类别或图像特征；针对样本图像集合中的当前样本图像，将当前样本图像对应的目标条件输入至预设的映射网络，得到目标隐变量；以及，基于目标隐变量和预先训练好的生成模型，生成当前样本图像对应的对抗样本。本公开能够同时生成多个满足目标条件的对抗样本，进一步的，数量较多的对抗样本能够保证黑盒场景下的迁移攻击性能和计算效率。

Description

一种对抗样本生成方法及装置

技术领域

本公开涉及人工智能技术领域，尤其涉及一种对抗样本生成方法及装置。

背景技术

对抗样本是指攻击者在正常图像上加上经过算法设计过的微小扰动后所得到的图像。对抗样本能使深度学习模型发生误识别。

目前，基于迁移性的有目标黑盒迁移攻击方法可以分为：实例相关的对抗攻击和实例无关的对抗攻击。具体来说，实例相关的攻击方法通过迭代地执行梯度更新来制造对抗样本；实例无关的攻击方法则基于无标签数据集去学习通用的对抗性噪声。然而，实例相关的对抗攻击存在对数据点的过拟合问题，很容易导致黑盒迁移性能变差。实例无关的对抗攻击单个生成模型只能生成指向一个目标类别的对抗样本；也就是说，需要为每个目标类别单独学习一个模型。如果需要攻击较多目标(例如数百个类别)，就需要训练数百个模型。这限制了的实例无关的攻击方法的实际效率。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种对抗样本生成方法及装置。

本公开提供了一种对抗样本生成方法，包括：

获取样本图像集合和所述样本图像集合中每张样本图像对应的目标条件；其中，所述目标条件包括：目标类别或图像特征；

针对所述样本图像集合中的当前样本图像，将所述当前样本图像对应的目标条件输入至预设的映射网络，得到目标隐变量；

以及，基于所述目标隐变量和预先训练好的生成模型，生成所述当前样本图像对应的对抗样本。

可选的，所述方法还包括：

获取训练图像和所述训练图像对应的第一条件；其中，所述训练图像是从训练图像集合中随机采样的一张图像；

通过将所述第一条件输入至所述映射网络，生成第一隐变量；

基于所述第一隐变量和待更新的生成模型，得到所述训练图像对应的生成式图像；

识别所述生成式图像对应的第二条件；

通过最小化所述第一条件和所述第二条件之间的损失函数，对所述待更新的生成模型进行更新，以最终得到所述生成模型。

可选的，所述基于所述第一隐变量和待更新的生成模型，得到所述训练图像对应的生成式图像，包括：

根据如下表达式得到所述生成式图像：

其中，所述

为所述生成式图像，

为所述待更新的生成模型，w_i为第一隐变量，

为所述训练图像，∈为约束条件下的最大值，tanh为激活函数。

可选的，所述第一条件包括所述训练图像的图像类别，所述第二条件包括所述生成式图像的图像类别；所述第一条件和所述第二条件之间的损失函数为：

其中，

表示数学期望，

为所述生成式图像，

为所述第二条件，c为所述第一条件。

表示所述训练图像x_s属于训练图像集合

表示所述第一条件c属于训练图像集合对应的条件集合

可选的，所述第一条件包括所述训练图像的图像特征，所述第二条件包括所述生成式图像的图像特征，所述第一条件和所述第二条件之间的损失函数为：

其中，

f(x^r)为所述第一条件，f(x^adv)为所述第二条件，x^r为所述训练图像，x^adv为所述生成式图像，

为指示函数，δ为阈值。

本公开还提供了一种对抗样本生成装置，包括：

集合获取模块，用于获取样本图像集合和所述样本图像集合中每张样本图像对应的目标条件；其中，所述目标条件包括：目标类别或图像特征；

映射模块，用于针对所述样本图像集合中的当前样本图像，将所述当前样本图像对应的目标条件输入至预设的映射网络，得到目标隐变量；

生成模块，用于基于所述目标隐变量和预先训练好的生成模型，生成所述当前样本图像对应的对抗样本。

可选的，所述装置还包括模型获取模块；所述模型获取模块用于：

获取训练图像和所述训练图像对应的第一条件；其中，所述训练图像是从训练图像集合中随机采样的一张图像；

通过将所述第一条件输入至所述映射网络，生成第一隐变量；

基于所述第一隐变量和待更新的生成模型，得到所述训练图像对应的生成式图像；

识别所述生成式图像对应的第二条件；

通过最小化所述第一条件和所述第二条件之间的损失函数，对所述待更新的生成模型进行更新，以最终得到所述生成模型。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供的对抗样本生成方法及装置，包括：获取样本图像集合和样本图像集合中每张样本图像对应的目标条件；针对样本图像集合中的当前样本图像，将当前样本图像对应的目标条件输入至预设的映射网络，得到目标隐变量；以及，基于目标隐变量和预先训练好的生成模型，生成当前样本图像对应的对抗样本。在本实施例中，基于目标条件和生成模型最终生成样本图像对应的对抗样本，不但无需计算梯度或修改参数；而且更重要的是，在生成对抗样本的过程中，通过以样本图像集合对应的多个图像类别或图像特征作为目标条件，能够同时生成多个满足目标条件的对抗样本，即本实施例能够同时生成多个类别或特征的对抗样本；进一步的，数量较多的对抗样本能够保证黑盒场景下的迁移攻击性能和计算效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种对抗样本生成方法的流程图；

图2为本公开实施例提供的一种网络模型的结构示意图；

图3为本公开实施例提供的攻击对比结果示意图；

图4为本公开实施例提供的对抗样本的对比示意图；

图5为本公开实施例提供的黑盒伪装攻击的迁移成功率示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

实施例一：

参照图1所示的对抗样本生成方法的流程图，本实施例提供的对抗样本生成方法包括如下步骤：

步骤S102，获取样本图像集合和对抗样本生成方法样本图像集合中每张样本图像对应的目标条件；其中，对抗样本生成方法目标条件包括：目标类别或图像特征。

其中，样本图像集合诸如为待分类图像的集合、人脸图像的集合等。本实施例可以将识别图像的类别或提取图像的特征作为对抗样本的生成条件，也即样本图像对应的目标条件可以包括：目标类别或图像特征。

针对对抗样本生成方法样本图像集合中的当前样本图像，执行如下步骤S104和步骤S106。

步骤S104，将对抗样本生成方法当前样本图像对应的目标条件输入至预设的映射网络，得到目标隐变量。其中，映射网络可以为多层感知机(Muti－Layer Perception，MLP)。以目标条件为目标类别为例，本实施例具体可以前传目标类别进入映射网络，通过映射网络输出目标隐变量，目标隐变量为隐变量空间中的隐变量。

步骤S106，基于对抗样本生成方法目标隐变量和预先训练好的生成模型，生成对抗样本生成方法当前样本图像对应的对抗样本。生成模型(可表示为

)用于生成图像，诸如可以为StyleGAN或者StyleGAN2生成器；由于生成模型为预先训练好的机器学习模型，由此生成的对抗样本在语义信息、鲁棒性等方面具有较好的效果，能够表现出与目标条件(如类别)强相关的语义信息。

在本实施例中，可以首先将目标隐变量输入至预先训练好的生成式模型，生成第一图像；然后提取第一图像中的区域图像，并将提取到的区域图像作为对抗补丁；最后将对抗补丁添加至当前样本图像上，得到当前样本图像对应的对抗样本。参照上述方式，可以得到样本图像集合中每张图像对应的对抗样本，进而得到样本图像集合对应的对抗样本集合。

本公开实施例提供的对抗样本生成方法，包括：获取样本图像集合和样本图像集合中每张样本图像对应的目标条件；针对样本图像集合中的当前样本图像，将当前样本图像对应的目标条件输入至预设的映射网络，得到目标隐变量；以及，基于目标隐变量和预先训练好的生成模型，生成当前样本图像对应的对抗样本。在本实施例中，基于目标条件和生成模型最终生成样本图像对应的对抗样本，不但无需计算梯度或修改参数；而且更重要的是，在生成对抗样本的过程中，通过以样本图像集合对应的多个图像类别或图像特征作为目标条件，能够同时生成多个满足目标条件的对抗样本，即本实施例能够同时生成多个类别或特征的对抗样本；进一步的，数量较多的对抗样本能够保证黑盒场景下的迁移攻击性能和计算效率。

此外，基于迁移攻击的黑盒攻击，即攻击者利用本地的生成模型作为白盒替代模型，来构造对抗样本，进而在实际应用中，利用该对抗样本攻击未知的黑盒模型，能够提升攻击成功率和降低攻击成本。

为了便于理解，本实施例提供一种生成模型的迭代更新方法，包括如下五个步骤：

步骤1，获取训练图像和对抗样本生成方法训练图像对应的第一条件；其中，对抗样本生成方法训练图像是从训练图像集合中随机采样的一张图像。

在本实施例中，训练图像集合为无标签的集合，可以表示为

第一条件为图像类别或图像特征，其中，各张训练图像对应的图像类别可以表示为c，训练图像集合对应的图像类别可以表示为C。

步骤2，通过将对抗样本生成方法第一条件输入至对抗样本生成方法映射网络，生成第一隐变量。

步骤3，基于对抗样本生成方法第一隐变量和待更新的生成模型，得到对抗样本生成方法训练图像对应的生成式图像。

在本实施例中，待更新的生成模型(表示为

)的目标是生成一个对抗噪声。待更新的生成模型

的输出被映射至特定范围的l_∞范数之内，用以制作微小的噪声。基于该待更新的生成模型和上述第一隐变量，得到训练图像对应的生成式图像的具体方式可参照如下表达式(1)：

其中，对抗样本生成方法

为对抗样本生成方法生成式图像，

为对抗样本生成方法待更新的生成模型，w_i为第一隐变量，

为训练图像，tanh为激活函数，∈为约束条件下的最大值，该约束条件为：

步骤4，识别对抗样本生成方法生成式图像对应的第二条件。

以第一条件为训练图像的图像类别为例，相应地，第二条件为生成式图像的图像类别。在本实施例中，可以通过分类模型(表示为

)识别对抗样本生成方法生成式图像的图像类别；其中，分类模型的输入为图像，输入为图像对应的K类的概率向量。

步骤5，通过最小化对抗样本生成方法第一条件和对抗样本生成方法第二条件之间的损失函数，对对抗样本生成方法待更新的生成模型进行更新，以最终得到对抗样本生成方法生成模型。

在条件为图像类别或图像特征的不同情况下，第一条件和对抗样本生成方法第二条件之间的损失函数也不相同。

在一种实现方式中，第一条件包括对抗样本生成方法训练图像的图像类别，对抗样本生成方法第二条件包括对抗样本生成方法生成式图像的图像类别；基于此，对抗样本生成方法第一条件和对抗样本生成方法第二条件之间的损失函数为如下公式(2)所示：

其中，

表示数学期望，

为对抗样本生成方法生成式图像，

为对抗样本生成方法第二条件，也即为生成式图像的图像类别，c为对抗样本生成方法第一条件，也即为训练图像的图像类别。

表示对抗样本生成方法训练图像x_s属于训练图像集合

表示对抗样本生成方法第一条件c属于训练图像集合对应的条件集合

在本实现方式中，可以通过最小化公式(2)所示的损失函数去获取最终的生成模型。

在上述基于类别的生成模型的训练实施例中，在训练过程中通过以多个图像类别为条件，在训练完毕后，可以利用训练好的生成模型同时生成多种类别的对抗样本，即该生成模型具备同时制造多个类别的对抗样本的能力。在实际应用中，当处理大量类别(例如ImageNet中的1000类别)时，具有条件的对抗样本的有效性可能会受到单个生成模型的表征能力的限制。因此，在训练了可行数量(例如10-20个)模型之后便可以攻击1000类别的任意目标，实现了更好的有效性和延展性。作为比较，现有实现方式中，相关的攻击方法实行多目标攻击时需要训练与类别数相同数量的模型。可见，本实施例有效减少了生成模型的数量。

除了图像分类任务外，本实施例也适用于人脸识别任务；例如，在人脸识别中“伪装”攻击场景中，将一张攻击者的人脸图片x^adv“伪装”为另一个受害者的人脸图片x^r。基于人脸识别任务，在此提供损失函数的另一种实现方式，具体的：

对抗样本生成方法第一条件包括对抗样本生成方法训练图像的图像特征，对抗样本生成方法第二条件包括对抗样本生成方法生成式图像的图像特征，对抗样本生成方法第一条件和对抗样本生成方法第二条件之间的损失函数如下公式(3)所示：

其中，

f(x^r)为对抗样本生成方法第一条件，也即为训练图像x^r经预训练人脸识别模型输出的高维人脸语义特征；f(x^adv)为对抗样本生成方法第二条件，也即为生成式图像x^adv经上述人脸识别模型输出的高维人脸语义特征；

为指示函数，δ为阈值。

可以理解的是，参照上述公式(1)，本实施例中的生成式图像也是经由待更新的生成模型

生成的，从而，上述公式(3)所示的目标函数可以转换为如下公式(4)所示：

其中，

对应于身份c的受害者图片x^r。

在本实现方式中，可以通过最小化公式(4)所示的损失函数去获取最终的生成模型。

综上，上述实施例中，主要基于目标条件和生成模型最终生成样本图像对应的对抗样本，不但无需计算梯度或修改参数；而且更重要的是，在生成对抗样本的过程中，通过以样本图像集合对应的多个图像类别或图像特征作为目标条件，能够同时生成多个满足目标条件的对抗样本，即本实施例具有同时生成多个类别或特征的对抗样本；进一步的，数量较多的对抗样本能够保证黑盒场景下的迁移攻击性能和计算效率。

接下来，本实施例以目标条件为图像类别为例，对上述提供的对抗样本生成方法做进一步的描述。

参照图2所示的网络模型，其包括生成模型和分类模型；生成模型包括多个残差块。生成模型将来自映射网络的条件编码和图像编码集成到一个隐藏的编码中；在整个过程中只有生成模型进行优化训练，用以探测分类模型的目标类别的决策边界。

在具体实验中，以ImageNet NeurIPS作为验证集，无论是自然训练还是对抗训练下，攻击对比结果如图3所示，诸如CD-AP等方式要求训练多个模型获取结果，然而，通过本实施例的方式只需要训练一个生成模型即可。

以高架桥作为目标类别，图4展示了在无穷范数16的约束下，通过MIM生成的对抗样本以及通过本实施例生成的对抗样本。其中，图3给出的每张图像对应的预测标签和目标类别的概率(如：火烈鸟：75.98％)，是通过黑盒模型DensseNet-201测试得到的。通过图4可以看出，通过本实施例得到的对抗样本对应的预测标签为高架桥，且目标类别的概率为97.07％，显然比通过MIM生成的对抗样本对应的“鹈鹕：19.55％”具有更高的准确率。

除了图像的分类任务外，本公开实施例还可以应用于人脸识别领域，通过人脸识别的攻击实验去验证泛化性能，目的是将一张攻击者的人脸图片“伪装”为另一个受害者的人脸图片。在实际实验中，制定两个测试协议：协议I为单目标攻击，从数据集中选取1张受害者人脸以及1000张攻击者人脸构造出1000对攻击组合；而协议II为多目标攻击，从数据集选出5张受害者人脸以及1000张攻击者人脸构造出5000对攻击组合。图5展示了该实验下的完整的攻击结果，可以看出攻击的迁移成功率明显高于MIM等现有方式。

因此，本公开实施例不仅适用于图像分类任务，在人脸识别任务中也取得了良好的效果。

实施例二：

本实施例提供一种对抗样本生成装置，用于实现上述实施例中的对抗样本生成方法。该装置包括：

集合获取模块，用于获取样本图像集合和对抗样本生成方法样本图像集合中每张样本图像对应的目标条件；其中，对抗样本生成方法目标条件包括：目标类别或图像特征；

映射模块，用于针对对抗样本生成方法样本图像集合中的当前样本图像，将对抗样本生成方法当前样本图像对应的目标条件输入至预设的映射网络，得到目标隐变量；

生成模块，用于基于对抗样本生成方法目标隐变量和预先训练好的生成模型，生成对抗样本生成方法当前样本图像对应的对抗样本。

在一种实施例中，对抗样本生成方法装置还包括模型获取模块；对抗样本生成方法模型获取模块用于：

获取训练图像和对抗样本生成方法训练图像对应的第一条件；其中，对抗样本生成方法训练图像是从训练图像集合中随机采样的一张图像；

通过将对抗样本生成方法第一条件输入至对抗样本生成方法映射网络，生成第一隐变量；

基于对抗样本生成方法第一隐变量和待更新的生成模型，得到对抗样本生成方法训练图像对应的生成式图像；

识别对抗样本生成方法生成式图像对应的第二条件；

通过最小化对抗样本生成方法第一条件和对抗样本生成方法第二条件之间的损失函数，对对抗样本生成方法待更新的生成模型进行更新，以最终得到对抗样本生成方法生成模型。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例二相同，为简要描述，本实施例部分未提及之处，可参考前述方法实施例一中相应内容。

基于前述实施例，本实施例给出了一种电子设备，其包括：处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行上述对抗样本生成方法。

进一步，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述对抗样本生成方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种对抗样本生成方法，其特征在于，包括：

获取样本图像集合和所述样本图像集合中每张样本图像对应的目标条件；其中，所述目标条件包括：目标类别或图像特征；

针对所述样本图像集合中的当前样本图像，将所述当前样本图像对应的目标条件输入至预设的映射网络，得到目标隐变量；

以及，基于所述目标隐变量和预先训练好的生成模型，生成所述当前样本图像对应的对抗样本。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练图像和所述训练图像对应的第一条件；其中，所述训练图像是从训练图像集合中随机采样的一张图像；

通过将所述第一条件输入至所述映射网络，生成第一隐变量；

基于所述第一隐变量和待更新的生成模型，得到所述训练图像对应的生成式图像；

识别所述生成式图像对应的第二条件；

通过最小化所述第一条件和所述第二条件之间的损失函数，对所述待更新的生成模型进行更新，以最终得到所述生成模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一隐变量和待更新的生成模型，得到所述训练图像对应的生成式图像，包括：

根据如下表达式得到所述生成式图像：

其中，所述

为所述生成式图像，

为所述待更新的生成模型，w_i为第一隐变量，

为所述训练图像，∈为约束条件下的最大值，tanh为激活函数。

4.根据权利要求2所述的方法，其特征在于，所述第一条件包括所述训练图像的图像类别，所述第二条件包括所述生成式图像的图像类别；所述第一条件和所述第二条件之间的损失函数为：

其中，

表示数学期望，

为所述生成式图像，

为所述第二条件，c为所述第一条件。

表示所述训练图像x_s属于训练图像集合

表示所述第一条件c属于训练图像集合对应的条件集合

5.根据权利要求2所述的方法，其特征在于，所述第一条件包括所述训练图像的图像特征，所述第二条件包括所述生成式图像的图像特征，所述第一条件和所述第二条件之间的损失函数为：

其中，

f(x^r)为所述第一条件，f(x^adv)为所述第二条件，x^r为所述训练图像，x^adv为所述生成式图像，

为指示函数，δ为阈值。

6.一种对抗样本生成装置，其特征在于，包括：

集合获取模块，用于获取样本图像集合和所述样本图像集合中每张样本图像对应的目标条件；其中，所述目标条件包括：目标类别或图像特征；

映射模块，用于针对所述样本图像集合中的当前样本图像，将所述当前样本图像对应的目标条件输入至预设的映射网络，得到目标隐变量；

生成模块，用于基于所述目标隐变量和预先训练好的生成模型，生成所述当前样本图像对应的对抗样本。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括模型获取模块；所述模型获取模块用于：

获取训练图像和所述训练图像对应的第一条件；其中，所述训练图像是从训练图像集合中随机采样的一张图像；

通过将所述第一条件输入至所述映射网络，生成第一隐变量；

基于所述第一隐变量和待更新的生成模型，得到所述训练图像对应的生成式图像；

识别所述生成式图像对应的第二条件；

通过最小化所述第一条件和所述第二条件之间的损失函数，对所述待更新的生成模型进行更新，以最终得到所述生成模型。

Images