CN111797975A - 一种基于微生物遗传算法的黑盒对抗样本生成方法 - Google Patents

Abstract

本发明涉及一种基于微生物遗传算法的黑盒对抗样本生成方法，属于人工智能安全技术领域。本发明主要是解决在黑盒情况下，成功攻击神经网络模型生成对抗样本所需查询次数过多的问题，该方法结合黑盒攻击中的两种典型方法：迁移攻击和基于输出的攻击，并使用简单的微生物遗传算法解决离散化问题。

Description

一种基于微生物遗传算法的黑盒对抗样本生成方法

技术领域

本发明属于人工智能安全技术领域，具体涉及一种基于微生物遗传算法的黑盒对抗样本生成方法。

背景技术

深度学习在图像分类、语音识别、机器翻译、人脸识别和目标检测等方面都取得了重大进展。然而，深度学习很容易被对抗样本所愚弄。对抗样本是通过在正常输入中添加一些人类无法察觉的干扰而生成的，例如我们输入一张猫的图片，在正常情况下，图像分类模型将会将其分为猫这个类别，但是如果我们在这张图片上添加一些精心构造的噪音，图像分类模型很可能将其分为别的类别。自对抗样本发现以来，许多关键领域都出现了严重的安全问题。在人脸识别方面，通过构造对抗样本，可能使得人脸识别模型出错。在自动驾驶领域，通过构造对抗样本，可能使得原本为停车的路标识别为限速，从而引发交通事故。因此，对抗性攻击和防御已经成为机器学习领域中最热门的研究课题之一。为了找出神经网络模型的弱点，人们做了许多努力来研究如何生成对抗样本(对抗样本的攻击方法)，设计新的和强大的对抗样本的生成方法是理解对抗样本和构建更健壮的模型的关键。

一般来说，根据攻击者对目标模型的了解，对抗样本的攻击可分为白盒攻击和黑盒攻击。在白盒攻击下，攻击者完全了解目标模型的知识，如模型权重、训练数据、输出。因此很容易进行攻击，并且可以获得较高的成功率。然而，在实际情况中，白盒攻击基本不可能实现。现有的商用系统，如谷歌云视觉系统、百度云图像分类系统，接收一个输入(一张图片、一段文字等)，然后输出结果，我们把这个过程称为一次查询。我们不知道模型的参数和训练数据等信息，我们只能获取给定输入的输出，这种情况被称为黑盒。在更符合实际的黑盒情况下，攻击者只能获得模型的推理结果，即模型损失值、标签或概率。

黑盒情形下的主要攻击方法有两种：基于迁移的攻击和基于输出的攻击。基于迁移的黑盒攻击非常有效，但成功率较低。相反，基于输出的黑盒攻击可以获得较高的成功率，但查询效率较低。现有的方法在黑盒情况下，需要很多次查询才能成功生成对抗样本，这使得生成对抗样本需要很长的时间。

发明内容

本发明主要是解决在黑盒情况下，成功攻击神经网络模型生成对抗样本所需查询次数过多的问题，提出一种基于微生物遗传算法的黑盒对抗样本生成方法。该方法结合黑盒攻击中的两种典型方法：迁移攻击和基于输出的攻击，并使用简单的微生物遗传算法解决离散化问题。

本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于微生物遗传算法的黑盒对抗样本生成方法，包括如下步骤：

步骤1，加载需要产生对抗样本的正常图像x；

步骤2，使用迁移攻击产生正常图像x的候选对抗样本；

步骤3，用迁移攻击产生的候选对抗样本初始化微生物遗传算法的种群；

步骤4，对种群进行选择、交叉、变异、更新操作，最后判断种群中是否存在对抗样本，如果存在，则结束；如果不存在，重复选择、交叉、变异、更新操作，直到生成最终的对抗样本；判断种群中是否存在对抗样本的具体实现方式如下，

在无目标攻击下，根据式1判断种群中是否存在对抗样本，在指定类别攻击下，根据式2判断是否存在对抗样本；

其中N为种群个数，δ_j为种群中的个体，y^true为x的真实标签，t为指定的类别标签，L为本地模型的损失函数，argmax表示L中最大值的索引，i表示对于L的每个索引。

进一步的，步骤2中使用基于动量的基本迭代法MI-FGSM产生候选对抗样本，具体实现方式如下，

使用x和y^true分别表示步骤1中加载的正常的图像和对应的真实标签，使用L(x，y^true)表示本地模型的损失函数，使用x′表示x的候选对抗样本，基于动量的基本迭代法Mi-FGSM得到候选对抗样本x′，其计算公式如下式：

其中g_t是在第t次迭代的累计梯度，μ是g_t的衰减因子，α为步长，sign(g)函数返回g的正负号，

表示将x′裁剪到x的ε周围，即x-ε≤x′≤x+ε。

进一步的，步骤3中初始化种群中每个个体δ_j，j＝{1，2，...，N}：的表达式如下，

其中x′_j是由迁移攻击产生的候选对抗样本，其中∈是所允许的攻击的强度。

进一步的，步骤4中选择操作是通过随机选择两个双亲，然后通过比较它们的适应度，得到一个赢家和一个输家，赢家具有更大的适合度，用于后续的交叉和变异操作；其中适应度函数在无目标攻击下为L(x+δ，y^true)，在指定目标攻击下为L(x+δ，t)，其中L表示本地模型的损失函数，x为加载的正常图像，δ为种群中的一个个体，y^true为x的真实标签，t为指定目标攻击下的类别。

进一步的，步骤4交叉操作的具体实现方式如下，

选择操作中得到一个赢家和输家，然后根据交叉率从赢家和输家中复制基因得到一个新的个体：

δ_child＝δ_winner*MASK_cr+δ_losser*(1-MASK_cr) (式6)

其中：

其中MASK_cr和种群中的个体具有相同的维度，rand(0，1)表示从(0，1)之间使用均匀分布产生一个随机数，cr表示交叉概率，δ_losser，δ_winner分别表示选择算子选出的输家和赢家。

进一步的，步骤4中变异操作的具体实现方式如下，

变异时采用二进制变异，如公式8，

δ’_child＝-δ_child*MASK_mr+δ_child*(1-MASK_mr) (式8)

其中

其中MASK_mr和种群中的个体具有相同的维度，rand(0，1)表示从(0，1之间使用均匀分布产生一个随机数，mr表示变异概率，δ_child表示由交叉算子产生的新的个体。

与现有技术相比，本发明能够减少生成对抗样本时对目标模型的查询次数，从而减少生成对抗样本的时间。我们在两个图像分类数据集CIFAR-10和ImageNet上的实验表明，本发明在无目标攻击下，在ImageNet的未防御的模型上，可以取得100％的成功率，并且查询次数小于200。在指定目标攻击下，当待攻击模型为VGG19分类器时，本发明可以取得99.79％的攻击成功率，平均只需要1680次查询，所需查询次数远远少于现有技术。

附图说明

图1是本发明的流程图。

图2是本发明所使用的微生物遗传算法中的交叉算子(a)和变异算子(b)示意图。

具体实施方式

为了使本发明技术更容易理解掌握，下面以具体实施结合附图与实例对本发明作进一步说明：

本发明提供一种基于微生物遗传算法的黑盒对抗样本生成方法，包括如下步骤：

步骤1，加载需要产生对抗样本的图像数据；

步骤2，使用迁移攻击产生候选对抗样本；

一个模型生成的对抗样本可能会使得另一个模型出错。对本地模型的白盒攻击所产生的对抗样本可以用来攻击未知模型，称之为基于迁移的攻击。本发明使用基于动量的基本迭代法MI-FGSM作为迁移攻击的方法，具体实现如下：

使用x和y^true分别表示步骤1中加载的正常图像和对应的真实标签，使用L(x，y^true)表示本地模型的损失函数，使用x′表示x的候选对抗样本。我们将正常图像x输入本地模型，使用动量的基本迭代法得到候选对抗样本x′。MI-FGSM攻击所使用的方法如下式：

其中g_t是在第t次迭代的累计梯度，μ是g_t的衰减因子，α为步长，sign(g)函数返回g的正负号，

表示将x′裁剪到x的ε周围，即x-ε≤x′≤x+ε。

考虑一个训练好的深度神经网络模型，x∈[0，1]^dim(x)是模型的输入，其真实标签为y。我们使用F(x)_i表示模型输出的第i个维度。作为一个攻击者，目标是找到一个输入x_adv，我们称其为对抗样本。它能改变模型的预测结果并且与x的距离小于一个固定的阈值∈，如下式:

其中∈是所允许的攻击的强度，|| ||_p为L_p范式，在本发明中只考虑L_∞范式。

当生成的对抗样本只要不被模型分类为正确类别，我们就认为生成对抗样本成功了，被称为无目标攻击。有时我们希望对抗样本能够被模型分类为特定的类别t，这被称为指定目标攻击,如下式:

生成对抗样本可以通过解决连续优化问题，也可以通过解决离散优化问题。

连续优化问题如下式:

x_adv＝arg max_x′L(x′，y)，s.t.||x′-x||_∞≤∈ (式5)

其中L(x′，y)为损失函数，通常为交叉熵损失函数。其中∈是所允许的攻击的强度，||*||_p为L_p范式。

离散优化问题如下式：

x_adv＝arg max_x，L(x′，y)，s.t.||x′-x||_∞∈{∈，-∈} (式6)

其中L(x′，y)为损失函数，通常为交叉熵损失函数。其中∈是所允许的攻击的强度，||*||_p为L_p范式。

步骤3，用迁移攻击产生的候选对抗样本初始化微生物遗传算法的种群；

初始种群是微生物遗传算法收敛的关键，如果初始种群与最优解相似，算法将很快收敛。之前的一些使用遗传算法的论文采用随机初始种群，而本发明使用基于迁移的攻击生成的候选对抗样本来初始化种群中每个个体δ_j，j＝{1，2，...，N}，N一般设为5：

其中x′_j是由迁移攻击产生的对抗样本，其中∈是所允许的攻击的强度。

步骤4，重复微生物遗传算法中的选择、交叉、变异、更新种群，直到产生对抗样本；

我们可以通过生成对抗样本难度来评估一个模型是否安全，若是一个模型能很轻易的生成对抗样本(查询次数少)，那它是不安全的，使用不安全的模型会出现一些安全问题。生成的对抗样本可以使得模型出错，如在自动驾驶领域，使用神经网络模型识别路标，通过构造对抗样本可以使得模型将停止的路标识别为限速的路标，从而引起交通事故。

步骤4.1，选择。选择用于决定哪个个体可以将自己的基因信息传递给下一代。与传统的遗传算法通过适应度按比例选择来选择双亲的不同，微生物遗传随机选择两个双亲，然后通过比较它们的适应度，得到一个赢家(更大的适合度)和一个输家，用于后续的交叉和变异操作。遗传算法不断朝着种群适应度大的方向进化，因此本发明中适应度函数在无目标攻击下为L(x+δ，y^true)，在指定目标攻击下为L(x+δ，t)，其中x为加载的正常图像，δ为种群中的一个个体，y^true为x的真实标签，t为指定目标攻击下的类别。

步骤4.2，交叉。交叉使得种群中具有较高适应度的个体将它们的遗传信息传递给下一代。微生物算法通过选择，得到一个赢家和输家，然后根据交叉率从赢家和输家中复制基因得到一个新的个体：

δ_child＝δ_winner*MASK_cr+δ_losser*(1-MASK_cr) (式8)

其中：

其中MASK_cr和种群中的个体具有相同的维度，rand(0，1)表示从(0，1)之间使用均匀分布产生一个随机数，cr表示交叉概率(根据需要设定，cr一般设为0.7)，δ_losser，δ_winner分别表示选择算子选出的输家和赢家。

步骤4.3，变异。变异算子的基本内容是对群体中的个体的某些基因上的基因值作变动。依据个体编码表示方法的不同，可以采用实值变异或者二进制变异。遗传算法引入变异的目的有两个：一是使遗传算法具有局部的随机搜索能力。当遗传算法通过交叉算子已接近最优解邻域时，利用变异算子的这种局部随机搜索能力可以加速向最优解收敛。显然，此种情况下的变异概率应取较小值，否则接近最优解的个体会因变异而遭到破坏。二是使遗传算法可维持群体多样性，以防止出现未成熟收敛现象。此时变异概率应取较大值。微生物遗传算法的变异与遗传算法的一致，本发明中采用二进制编码，因此在变异时采用二进制变异，如：

δ’_child＝-δ_child*MASK_mr+δ_child*(1-MASK_mr) (式10)

其中

其中MASK_mr和种群中的个体具有相同的维度，rand(0，1)表示从(0，1)之间使用均匀分布产生一个随机数，mr表示变异概率(根据需要设定，mr一般设置为0.001)，δ_child表示由交叉算子产生的新的个体。

步骤4.4，更新种群。种群的更新使得整个种群不断朝着最优解迭代，微生物遗传算法使用变异后的个体替换选择算子选出的输家，保持赢家不变。

步骤4.5,判断种群中是否存在对抗样本，在无目标攻击下，根据式12判断种群中是否存在对抗样本，在指定类别攻击下，根据式13判断是否存在对抗样本。若存在，则结束，否则继续步骤4.1到4.4直到生成对抗样本。

其中N为种群个数，δ_j为种群中的个体，y^true为x的真实标签，t为指定的类别标签，L为本地模型损失函数，argmax表示L中最大值的索引，比如说L()输出(0.1,0.2,0.3,0.5)，argmaxL()就输出3(索引值从0开始)，这里的i表示对于L的每个索引。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于微生物遗传算法的黑盒对抗样本生成方法，其特征在于，包括如下步骤：

步骤1，加载需要产生对抗样本的正常图像x；

步骤2，使用迁移攻击产生正常图像x的候选对抗样本；

步骤3，用迁移攻击产生的候选对抗样本初始化微生物遗传算法的种群；

步骤4，对种群进行选择、交叉、变异、更新操作，最后判断种群中是否存在对抗样本，如果存在，则结束；如果不存在，重复选择、交叉、变异、更新操作，直到生成最终的对抗样本；判断种群中是否存在对抗样本的具体实现方式如下，

在无目标攻击下，根据式1判断种群中是否存在对抗样本，在指定类别攻击下，根据式2判断是否存在对抗样本；

其中N为种群个数，δ_j为种群中的个体，y^true为x的真实标签，t为指定的类别标签，L为本地模型的损失函数。

2.如权利要求1所述的一种基于微生物遗传算法的黑盒对抗样本生成方法，其特征在于：步骤2中使用基于动量的基本迭代法MI-FGSM产生候选对抗样本，具体实现方式如下，

使用x和y^true分别表示步骤1中加载的正常的图像和对应的真实标签，使用L(x，y^true)表示本地模型的损失函数，使用x′表示x的候选对抗样本，基于动量的基本迭代法Mi-FGSM得到候选对抗样本x′，其计算公式如下式：

其中g_t是在第t次迭代的累计梯度，μ是g_t的衰减因子，α为步长，sign(g)函数返回g的正负号，

表示将x′裁剪到x的ε周围，即x-ε≤x′≤x+ε。

3.如权利要求1所述的一种基于微生物遗传算法的黑盒对抗样本生成方法，其特征在于：步骤3中初始化种群中每个个体δ_j，j＝{1，2，...，N}：的表达式如下，

其中x′_j是由迁移攻击产生的候选对抗样本，其中∈是所允许的攻击的强度。

4.如权利要求1所述的一种基于微生物遗传算法的黑盒对抗样本生成方法，其特征在于：步骤4中选择操作是通过随机选择两个双亲，然后通过比较它们的适应度函数值，得到一个赢家和一个输家，赢家具有更大的适应度函数值，用于后续的交叉和变异操作；其中适应度函数在无目标攻击下为L(x+δ，y^true)，在指定目标攻击下为L(x+δ，t)，其中L表示本地模型的损失函数，x为加载的正常图像，δ为种群中的一个个体，y^true为x的真实标签，t为指定目标攻击下的类别。

5.如权利要求4所述的一种基于微生物遗传算法的黑盒对抗样本生成方法，其特征在于：步骤4交叉操作的具体实现方式如下，

选择操作中得到一个赢家和输家，然后根据交叉率从赢家和输家中复制基因得到一个新的个体：

δ_child＝δ_winner*MASK_cr+δ_losser*(1-MASK_cr) (式6)

其中：

其中MASK_cr和种群中的个体具有相同的维度，rand(0，1)表示从(0，1)之间使用均匀分布产生一个随机数，cr表示交叉概率，δ_losser，δ_winner分别表示选择操作选出的输家和赢家。

6.如权利要求5所述的一种基于微生物遗传算法的黑盒对抗样本生成方法，其特征在于：步骤4中变异操作的具体实现方式如下，

变异时采用二进制变异，如，

δ’_child＝-δ_child*MASK_mr+δ_child*(1-MASK_mr) (式8)

其中

其中MASK_mr和种群中的个体具有相同的维度，rand(0，1)表示从(0，1)之间使用均匀分布产生一个随机数，mr表示变异概率，δ_child表示由交叉操作产生的新的个体。

Images