CN111104982B - 一种标签无关的跨任务对抗样本生成方法 - Google Patents

Abstract

本发明公开了一种标签无关的跨任务对抗样本生成方法，包括如下步骤：步骤1，构建替代模型：获取纯净样本集的标签集，并利用纯净样本集和标签集训练得到目标模型的替代模型；步骤2，生成对抗样本：将纯净样本集输入替代模型中，获取纯净样本集中每个样本在替代模型中的特征表示，并利用特征表示通过计算标准差计算得到每个样本的对抗损失，再利用对抗损失通过计算梯度更新每个样本，对纯净样本集中的每个样本在重复执行步骤2若干次后得到纯净样本集的对抗样本集。通过本发明的标签无关的跨任务对抗样本生成方法，生成的对抗样本具有可转移性、高对抗性、任务无关性。

Description

一种标签无关的跨任务对抗样本生成方法

技术领域

本发明涉及机器学习技术领域，尤其是一种标签无关的跨任务对抗样本生成方法。

背景技术

近年来，深度神经网络被证明容易受到对抗样本的攻击，即具有微小、不可察觉的噪声的样本可以导致网络输出错误结果，这逐渐引起了大量研究者们的关注。已有研究证明，对抗样本具有可转移性。目前，研究者们已经对对抗样本在不同模型间的可转移性进行了大量的研究，然而，对对抗样本在不同任务间的可转移性的研究却还处于起步阶段。

目前，基于计算机视觉(Computer Vision,CV)的检测机制已经在安全关键的应用中广泛部署，如：内容审查和使用面部生物识别技术进行身份验证；并且，通过云服务提供商提供的API，可随时访问这些服务，如：Google Cloud Vision。为了克服单个领域中的深度学习方法的不足、更好地防御规避攻击，在现实世界中的CV系统中，通常集成了多种不同的检测机制，例如：一些不法分子将带有促销信息的URL嵌入到带有色情内容的图片中，以进行非法的在线宣传或网络钓鱼，结合了光学字符识别(Optical CharacterRecognition,OCR)和基于图像的显式内容检测机制的检测系统则能够很好的将包含可疑URL或色情内容的图像过滤出来。同样，为了更好地防御欺骗性照片的攻击，已有的大多数人脸识别系统通常包含活体检测机制，有时甚至包含目标检测等其他算法，在这些情况下，攻击者制作的对抗样本则需要具备同时绕过人脸识别算法、活体检测算法、目标检测算法等机制的检测的能力。

对抗样本在不同任务间的可转移性为现实世界中攻击者能够同时规避集成在一起的多个不同的检测或防御机制提供了支撑。为了规避具有不确定机制的检测系统，攻击者们逐渐开始研究在计算机视觉任务之间可转移的对抗样本的生成方法，一些研究者们提出了提高可转移性的对抗技术。然而，这些方法大多是针对图像分类任务而设计的，并且依赖于特定于任务的损失函数(如交叉熵损失)，虽然这些方法生成的对抗样本可以在一定程度上转移到其他计算机视觉任务上，但攻击的有效性却受到了很大程度上的限制。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种标签无关的跨任务对抗样本生成方法。

本发明采用的技术方案如下：

一种标签无关的跨任务对抗样本生成方法，包括如下步骤：

步骤1，构建替代模型：获取纯净样本集的标签集，并利用纯净样本集和标签集训练得到目标模型的替代模型；

步骤2，生成对抗样本：将纯净样本集输入替代模型中，获取纯净样本集中每个样本在替代模型中的特征表示，并利用特征表示通过计算标准差计算得到每个样本的对抗损失，再利用对抗损失通过计算梯度更新每个样本，对纯净样本集中的每个样本在重复执行步骤2若干次后得到纯净样本集的对抗样本集。

进一步，步骤1的方法包括如下子步骤：

步骤1.1，纯净样本集为

其中，x_i为一个样本，且1≤i≤n，n为样本总数；

步骤1.2，将纯净样本集X输入到目标模型中，从而获得目标模型对纯净样本集X的标签集

其中，y_i为一个样本标签，且1≤i≤n；

步骤1.3，将X和Y配对，形成数据集

步骤1.4，将数据集S作为训练数据集，训练得到目标模型的替代模型。

进一步，步骤2的方法包括如下子步骤：

步骤2.1，将纯净样本集X作为输入，输入到替代模型F中；

步骤2.2，对纯净样本集X中的一个样本x_i，获取该样本经过替代模型F的第k层网络后的特征表示：

其中，

是第m个特征值,M_k是第k层网络上特征的总数量，

为向下取整符；

由此得到样本x_i经过前k层网络后，每层网络的特征表示的列表：

步骤2.3，计算q_k(x_i)的标准差为：

其中，

是特征表示q_k(x_i)中所有特征值的平均值；

步骤2.4，根据步骤2.3，分别计算步骤2.2中得到的列表Q(x_i)中的每个元素q_k(x_i)的标准差，得到标准差列表：

步骤2.5计算得到样本x_i的对抗损失：

其中，

步骤2.6根据步骤2.5得到的

得到

关于样本x_i的梯度

步骤2.7用梯度

更新样本x_i，即：

其中，

是学习率；

步骤2.8，对步骤2.7中更新得到的x_i进行下述计算：

x_i＝clip(x_i,x-ε,x+ε)

其中，ε是一个足够小的正数，clip(·)将x_i的特征值约束在[x-ε,x+ε]范围内；

步骤2.9，对纯净样本集X中的每个样本x_i，分别执行步骤2.2-2.8；

步骤2.10，重复执行步骤2.9W次，得到纯净样本集X的对抗样本集：

其中，x′_i是x_i的对抗样本，且1≤i≤n，n为样本总数。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

通过本发明的标签无关的跨任务对抗样本生成方法，生成的对抗样本具有可转移性、高对抗性、任务无关性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的标签无关的跨任务对抗样本生成方法的流程框图。

图2为利用本发明生成的对抗样本攻击多任务目标模型的流程框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种标签无关的跨任务对抗样本生成方法，包括如下步骤：

步骤1，构建替代模型：获取纯净样本集的标签集，并利用纯净样本集和标签集训练得到目标模型的替代模型；

步骤2，生成对抗样本：将纯净样本集输入替代模型中，获取纯净样本集中每个样本在替代模型中的特征表示，并利用特征表示通过计算标准差计算得到每个样本的对抗损失，再利用对抗损失通过计算梯度更新每个样本，对纯净样本集中的每个样本在重复执行步骤2若干次后得到纯净样本集的对抗样本集。

以下结合实施例对本发明的特征和性能作进一步的详细描述。在本实施例中，假设，目标模型K中集成了3个子任务，分别是T₁、T₂、T₃，但这些任务对攻击者是不可知的。当一个样本x输入模型后，三个任务分别对样本进行检测，并分别给出检测结果r₁、r₂、r₃，然后，目标模型K对r₁、r₂、r₃进行整合计算，如通过投票方式等，最终输出检测标签y，如图2所示，其中，输出标签y是可访问的。

所述标签无关的跨任务对抗样本生成方法，具体过程如下：

步骤1，构建替代模型：

步骤1.1，纯净样本集为

其中，x_i为一个样本，且1≤i≤n，n为样本总数；

步骤1.2，将纯净样本集X输入到目标模型中，从而获得目标模型对纯净样本集X的标签集

其中，y_i为一个样本标签，且1≤i≤n；

步骤1.3，将X和Y配对，形成数据集

步骤1.4，将数据集S作为训练数据集，训练得到目标模型K的替代模型F。替代模型F是一个具有与目标模型K功能相似、网络总层数相同的深度神经网络模型。

步骤2生成对抗样本：

步骤2.1，将纯净样本集X作为输入，输入到替代模型F中；

步骤2.2，对纯净样本集X中的一个样本x_i，获取该样本经过替代模型F的第k层网络后的特征表示：

其中，

是第m个特征值,M_k是第k层网络上特征的总数量，

为向下取整符；

由此得到样本x_i经过前k层网络后，每层网络的特征表示的列表：

步骤2.3，计算q_k(x_i)的标准差为：

其中，

是特征表示q_k(x_i)中所有特征值的平均值；

步骤2.4，根据步骤2.3，分别计算步骤2.2中得到的列表Q(x_i)中的每个元素q_k(x_i)的标准差，得到标准差列表：

步骤2.5计算得到样本x_i的对抗损失：

其中，

步骤2.6根据步骤2.5得到的

得到

关于样本x_i的梯度

步骤2.7用梯度

更新样本x_i，即：

其中，

是学习率；

步骤2.8，对步骤2.7中更新得到的x_i进行下述计算：

x_i＝clip(x_i,x-ε,x+ε)

其中，ε是一个足够小的正数，clip(·)将x_i的特征值约束在[x-ε,x+ε]范围内；

步骤2.9，对纯净样本集X中的每个样本x_i，分别执行步骤2.2-2.8；

步骤2.10，重复执行步骤2.9W次，得到纯净样本集X的对抗样本集：

其中，x′_i是x_i的对抗样本，且1≤i≤n，n为样本总数。

步骤3，攻击目标模型

通过步骤1-2生成纯净样本集X中纯净样本x的对抗样本x′，将对抗样本x′输入到目标模型K中，目标模型K中的子任务T₁、T₂、T₃分别对x′进行检，然后，目标模型K通过对T₁、T₂、T₃的检测结果进行整合，得到目标模型K对对抗样本x′的最终检测结果y′，并且，y′≠y，这样，攻击者攻击目标模型K成功。

通过上述内容可知，本发明具有的有益效果如下：

1、可转移性，本发明针对替代模型生成的对抗样本，可以用来攻击目标模型

2、高对抗性，本发明通过同时在多层特征表示上的计算得到对抗损失，再更新样本，这样得到的对抗样本能更成功地攻击目标模型；

3、任务无关，本发明在生成对抗样本的过程中不需要使用标签，而标签是和具体任务相关的，所以是任务无关的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种标签无关的跨任务对抗样本生成方法，其特征在于，包括如下步骤：

步骤1，构建替代模型：获取纯净样本集的标签集，所述纯净样本集中的样本为图像样本，并利用纯净样本集和标签集训练得到目标模型的替代模型；

步骤2，生成对抗样本：将纯净样本集输入替代模型中，获取纯净样本集中每个样本在替代模型中的特征表示，并利用特征表示通过计算标准差计算得到每个样本的对抗损失，再利用对抗损失通过计算梯度更新每个样本，对纯净样本集中的每个样本在重复执行步骤2若干次后得到纯净样本集的对抗样本集，所述对抗样本集应用于计算机视觉任务；步骤2的方法包括如下子步骤：

步骤2.1，将纯净样本集X作为输入，输入到替代模型F中；

步骤2.2，对纯净样本集X中的一个样本x_i，获取该样本经过替代模型F的第k层网络后的特征表示：

其中，

是第m个特征值,M_k是第k层网络上特征的总数量，

为向下取整符；

由此得到样本x_i经过前k层网络后，每层网络的特征表示的列表：

步骤2.3，计算q_k(x_i)的标准差为：

其中，

是特征表示q_k(x_i)中所有特征值的平均值；

步骤2.4，根据步骤2.3，分别计算步骤2.2中得到的列表Q(x_i)中的每个元素q_k(x_i)的标准差，得到标准差列表：

步骤2.5计算得到样本x_i的对抗损失：

其中，

步骤2.6根据步骤2.5得到的

得到

关于样本x_i的梯度

步骤2.7用梯度

更新样本x_i，即：

其中，

是学习率；

步骤2.8，对步骤2.7中更新得到的x_i进行下述计算：

x_i＝clip(x_i,x-ε,x+ε)

其中，ε是一个足够小的正数，clip(·)将x_i的特征值约束在[x-ε,x+ε]范围内；

步骤2.9，对纯净样本集X中的每个样本x_i，分别执行步骤2.2-2.8；

步骤2.10，重复执行步骤2.9W次，得到纯净样本集X的对抗样本集：

其中，x′_i是x_i的对抗样本，且1≤i≤n，n为样本总数。

2.根据权利要求1所述的标签无关的跨任务对抗样本生成方法，其特征在于，步骤1的方法包括如下子步骤：

步骤1.1，纯净样本集为

其中，x_i为一个样本，且1≤i≤n，n为样本总数；

步骤1.2，将纯净样本集X输入到目标模型中，从而获得目标模型对纯净样本集X的标签集

其中，y_i为一个样本标签，且1≤i≤n；

步骤1.3，将X和Y配对，形成数据集

步骤1.4，将数据集S作为训练数据集，训练得到目标模型的替代模型F。

Images