CN112199543A - 一种基于图像检索模型的对抗样本生成方法 - Google Patents

Abstract

本发明属于深度学习中的图像检索模型技术领域，具体涉及一种基于图像检索模型的对抗样本生成方法。本发明首先基于深度图像特征构建图像检索模型，然后通过破坏序列近邻关系生成对抗扰动，降低图像检索性能，最后以集成的方式生成通用对抗扰动，提高对抗样本的迁移性。本发明通过使用图像检索模型提取到的特征向量，将图像特征之间的余弦相似度作为衡量匹配程度的得分，按降序排列显示检索到的参考图像，实现图像检索功能。本发明通过集成多个模型生成通用对抗扰动，生成具有更高迁移性的对抗样本。本发明提出的对抗样本生成方法能够生成使图像检索性能明显下降的对抗样本，并且提高了对抗样本迁移性。

Description

一种基于图像检索模型的对抗样本生成方法

技术领域

本发明属于深度学习中的图像检索模型技术领域，具体涉及一种基于图像检索模型的对抗样本生成方法。

背景技术

随着深度学习在现实场景下的实际部署，人们开始关注人工智能系统的安全性问题。有研究发现，深度神经网络容易受到微小扰动的干扰，即在纯净样本上添加不易被人眼察觉的扰动后，模型会以高置信度给出错误的判断，从而对于受到干扰的样本产生错误的输出，这种样本称为对抗样本。

当前关于对抗样本的研究，大部分工作仍集中于图像分类的攻击，对于图像检索的对抗样本生成算法研究相对有限，并且由于图像分类与图像检索任务在数据标注格式、目标、输入尺度、输出和优化方法等方面的不同，适用于图像分类的对抗样本生成方法无法直接应用于图像检索。

当今现有的基于图像检索的对抗样本生成方法主要是通用对抗扰动方法。通用对抗扰动可以直接迁移至其他模型上，且生成对抗样本也能取得一定的攻击效果，但迁移攻击的效果仍不够好，针对对抗样本迁移性的提升仍是需要进一步研究的工作。而本发明提出的基于集成的方法可以在使图像检索性能明显下降的基础上提高通用对抗样本的迁移性。

发明内容

本发明的目的在于提供一种基于图像检索模型的对抗样本生成方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：使用retrieval-SfM-120k作为训练数据集，将retrieval-SfM数据集的图像组织成元组形式(q,m(q),N(q))输入网络；其中，q表示查询样本；m(q)表示一个匹配查询样本的正样本；N(q)表示一组不匹配查询样本的负样本；由这些元组构成训练网络的图像对，共有|N(q)|+1对图像对；根据数据集的ground truth文件，已经标定了查询样本的集合，以及每个查询样本对应的正样本，通过读取ground truth文件即可确定每个元组的q与m(q)；负样本需要在查询样本所属簇之外的其他簇中单独计算选取，选取与查询样本具有最高相似度的非配对图像；

步骤2：使用构建的6个图像检索模型AlexNet-MAC、AlexNet-GeM、VGG16-MAC、VGG16-GeM、ResNet50-MAC、ResNet50-GeM在retrieval-SfM-120k数据集进行训练；每个训练元组、由1个查询样本、1个正样本和5个负样本组成，构成6个图像对；样本输入进神经网络前，对尺寸进行缩放，使尺寸小于362×362；设置对比损失函数为：

对于AlexNet，τ＝0.7；对于VGG16，τ＝0.75；对于ResNet50，τ＝0.85；

步骤3：使用在ImageNet数据集上获得的均值和方差对图像进行归一化处理，均值与标准差都有三个数值，分别对应图像的三个通道；由于预训练的CNN模型已具备优秀的特征提取能力，因此损失函数将会很快收敛，训练周期设置为20，批次大小为5；基于VGG16和ResNet50的图像检索模型采用Adam优化器进行优化，设置初始学习率为l₀＝10^-6，并对学习率进行指数衰减，对第i个epoch衰减参数为exp(-0.1i)，参数衰减设置为5×10^-4；基于AlexNet的图像检索模型采用SGD优化器进行优化，初始学习率设置为l₀＝10^-3，动量为0.9，其他参数与VGG16和ResNet50保持一致；

步骤4：使用retrieval-SfM-30k数据集的验证集在图像检索模型上生成通用对抗扰动；采用特征聚类预处理方法对retrieval-SfM-120k的验证集中图像进行聚类，保存512个聚类中心，在每个训练周期与查询图像计算相似度来选取最近与最远图像，构成破坏图像特征之间的成对关系；将检索模型设置为评估模式，使用检索模型进行测试，只起到提取特征向量的作用；训练周期设置为100，并使用早停法在训练过程进行检查；当超过5个训练周期没有取得更好的攻击效果后，训练过程提前结束；批次大小设置为1，即每次传入1张查询图像提取特征向量，与512个聚类中心进行余弦相似度的计算；优化器采用带有动量的SGD，由公式

进行优化，动量参数momentum设置为0.9，限制扰动大小的参数ε设置为10；由于读取图像数据后进行了归一化，表示图像的张量的每一个元素[0,1]范围；在优化扰动时，令ε＝ε/255，在归一化条件下限制扰动的大小；初始学习率与该参数有关，设置为ε/10，并采取与训练图像检索模型相同的指数衰减方案调整学习率。

本发明的有益效果在于：

本发明首先基于深度图像特征构建图像检索模型，然后通过破坏序列近邻关系生成对抗扰动，降低图像检索性能，最后以集成的方式生成通用对抗扰动，提高对抗样本的迁移性。本发明通过使用图像检索模型提取到的特征向量，将图像特征之间的余弦相似度作为衡量匹配程度的得分，按降序排列显示检索到的参考图像，实现图像检索功能。在生成通用对抗扰动时，本发明采用基于优化的方法去生成一个广义的扰动噪声，该扰动噪声对任何输入图像都具有通用性。本发明通过集成多个模型生成通用对抗扰动，生成具有更高迁移性的对抗样本。本发明提出的对抗样本生成方法能够生成使图像检索性能明显下降的对抗样本，并且提高了对抗样本迁移性。

附图说明

图1是基于深度图像特征的图像检索模型示意图。

图2是基于图像检索的对抗样本生成扰动示意图。

图3是针对图像检索的通用对抗扰动生成过程mDR曲线图。

图4是单一模型与集成方法生成通用对抗扰动对比图。

图5是对抗样本攻击前后的部分检索结果可视化展示图。

图6是对比损失函数计算示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明的目的是基于深度学习技术生成针对图像检索任务的对抗样本算法，并提高了通用扰动的迁移性。本发明通过集成多个模型生成通用对抗扰动，生成具有更高迁移性的对抗样本。经实验验证，本发明提出的对抗样本生成方法能够生成使图像检索性能明显下降的对抗样本，并且提高了对抗样本迁移性。

本发明首先基于深度图像特征构建图像检索模型，然后通过破坏序列近邻关系生成对抗扰动，降低图像检索性能，最后以集成的方式生成通用对抗扰动，提高对抗样本的迁移性。

在构建图像检索模型时，本发明基于预训练的卷积神经网络进行微调，将其修改为全卷积网络结构，结合特殊的特征池化层构建图像特征描述子，构成图像检索模型，得到表示能力优秀的紧凑图像特征表示，如图1所示。本发明通过使用图像检索模型提取到的特征向量，将图像特征之间的余弦相似度作为衡量匹配程度的得分，按降序排列显示检索到的参考图像，实现图像检索功能。

在生成通用对抗扰动时，本发明采用基于优化的方法去生成一个广义的扰动噪声，生成扰动的示意图如图2所示。该扰动噪声对任何输入图像都具有通用性，即添加至任何纯净样本生成的对抗样本都能够有效干扰图像检索的性能。本发明通过使用对抗样本的特征向量进行检索，以Learning-to-Rank方法中的成对近邻关系破坏特征向量的相似性，优化扰动使图像检索模型无法有效提取对图像特征，导致检索性能下降。

在提升对抗样本迁移性时，本发明采用基于集成的方法对对抗样本生成方法做进一步改进，集成若干个模型生成一个通用扰动，攻击留出的黑盒模型，提升扰动对其他模型的迁移能力。

步骤1.设置训练数据集。使用retrieval-SfM-120k作为训练数据集，将retrieval-SfM数据集的图像组织成元组形式(q,m(q),N(q))输入网络，其中q表示查询样本，m(q)表示一个匹配查询样本的正样本，N(q)表示一组不匹配查询样本的负样本，由这些元组构成训练网络的图像对，共有|N(q)|+1对图像对。根据数据集的ground truth文件，已经标定了查询样本的集合，以及每个查询样本对应的正样本，通过读取ground truth文件即可确定每个元组的q与m(q)。负样本需要在查询样本所属簇之外的其他簇中单独计算选取。选取过程遵循难样本(hard example)原则，选取与查询样本具有最高相似度的非配对图像。

步骤2.使用构建的6个图像检索模型AlexNet-MAC、AlexNet-GeM、VGG16-MAC、VGG16-GeM、ResNet50-MAC、ResNet50-GeM在retrieval-SfM-120k数据集进行训练。具体设置为：每个训练元组中由1个查询样本、1个正样本和5个负样本组成，构成6个图像对。样本输入进神经网络前，对尺寸进行缩放，使尺寸小于362×362。对于AlexNet，设置对比损失函数

的参数τ＝0.7，对于VGG16，τ＝0.75，对于ResNet50，τ＝0.85。对比损失函数的计算过程如图6所示。

步骤3.使用在ImageNet数据集上获得的均值和方差对图像进行归一化处理。均值mean＝[0.485,0.456,0.406]，标准差std＝[0.229,0.224,0.225]，均值与标准差都有三个数值，分别对应图像的三个通道。而且由于预训练的CNN模型已具备优秀的特征提取能力，因此损失函数将会很快收敛，训练周期(epoch)设置为20，批次大小(batch size)为5，基于VGG16和ResNet50的图像检索模型采用Adam优化器进行优化，设置初始学习率为l₀＝10^-6，并对学习率进行指数衰减，对第i个epoch衰减参数为exp(-0.1i)，参数衰减设置为5×10^-4；基于AlexNet的图像检索模型采用SGD优化器进行优化，初始学习率设置为l₀＝10^-3，动量为0.9，其他参数与VGG16和ResNet50保持一致。

步骤4.使用retrieval-SfM-30k数据集的验证集在图像检索模型上生成通用对抗扰动。共有6403张图像，其中有1691张查询图像。首先采用特征聚类预处理方法对retrieval-SfM-120k的验证集6403张图像进行聚类，保存512个聚类中心，在每个训练周期与查询图像计算相似度来选取最近与最远图像，构成破坏图像特征之间的成对关系。

检索模型设置为评估(eval)模式，相当于使用检索模型进行测试，只起到提取特征向量的作用。训练周期设置为100，并使用早停法(early stopping)在训练过程进行检查，当超过5个训练周期没有取得更好的攻击效果后，训练过程提前结束；批次大小设置为1，即每次传入1张查询图像提取特征向量，与512个聚类中心进行余弦相似度的计算；优化器采用带有动量的SGD，由公式

进行优化，动量参数momentum设置为0.9，限制扰动大小的参数ε设置为10。由于读取图像数据后进行了归一化，表示图像的张量的每一个元素[0,1]范围，因此，在优化扰动时，令ε＝ε/255，在归一化条件下限制扰动的大小；初始学习率与该参数有关，设置为ε/10，约等于0.00392157，并采取与训练图像检索模型相同的指数衰减方案调整学习率。

与现有技术相比，本发明的有益效果是：

1.本发明提出的对抗样本方法是基于图像检索任务的。

当前关于对抗样本的研究，大部分工作仍集中于图像分类的攻击，对于图像检索的对抗样本生成算法研究相对有限，并且由于图像分类与图像检索任务在数据标注格式、目标、输入尺度、输出和优化方法等方面的不同，适用于图像分类的对抗样本生成方法无法直接应用于图像检索。本发明首先构造了高精度的图像检索模型，然后通过添加扰动降低图像检索的性能。

本发明构建的图像检索模型在Oxford5k和ROxford5k数据集的测试结果如表1所示，在Paris6k和RParis6k数据集的测试结果如表2所示，其中A-MAC、A-GeM、V-MAC、V-GeM、R-MAC、R-GeM分别为6个图像检索模型的缩写，E、M、H为ROxford5k和RParis6k数据集上的三种难度的评估模式。

表1图像检索模型Oxford5k/ROxford5k检索性能

表2图像检索模型Paris6k/RParis6k检索性能

测试结果直观地反映了图像检索模型的特征提取能力，通过余弦相似度进行检索，6个模型在4个数据集上都取得了优秀的检索性能，包括mAP和mP@10。其中，基于AlexNet的图像检索模型性能相比基于VGG16和ResNet的图像检索模型较低，这是因为其所采用的AlexNet前置网络结构相对后者较为简单，卷积神经网络结构提取图像特征的能力相对较弱导致的；在E(Easy)条件下，6个检索模型在ROxford5k和RParis6k数据集上都取得了较高的mAP，随难度增大，mAP有所下降，属于正常现象。

2.本发明提出的对抗样本生成算法明显的降低了图像检索模型的性能。

对于图像检索问题，需要使用检索序列的mAP来衡量检索性能受到的影响。因此，针对图像检索mAP以及mP@10指标的变化，使用平均下降率(mean Dropping Rate,mDR)作为评估攻击效果的指标。该指标通过计算检索性能的降低比例来衡量攻击的性能，数值越大，攻击的效果越好。

通过破坏成对近邻关系生成针对图像检索的通用对抗扰动，生成扰动过程中的测试mDR变化曲线如图3所示。可以观察到，随着迭代次数增加，扰动的攻击效果也逐渐提高。由于采用了早停法，当超过5个训练周期没有取得更高mDR时，训练过程提前终止，选择当前最佳扰动噪声作为生成的结果，由图3可以发现，除了ResNet50-GeM外，在其他模型上生成通用对抗扰动时都触发了提前终止的情况。6个模型的最佳扰动噪声点在图像中用“bestnoise”标出，其中ResNet50-GeM模型完成了100次迭代。

除了通过破坏成对近邻关系生成针对图像检索的通用对抗扰动外，本发明还使用了另外两种噪声进行实验，第一种噪声为简单的高斯噪声(Gaussian noise)，第二种噪声是在以聚类中心ID作为伪标签(pseudo-label)构建的分类器上生成的。

表3和表4展示了正常检索和使用高斯噪声、分类攻击生成的扰动、破坏近邻关系的算法1生成的扰动进行攻击后的检索结果。表中O代表正常检索的初始结果(originalresults)，G代表使用高斯噪声进行攻击的检索性能，C(classifier)代表使用分类攻击方法生成的扰动攻击后的检索性能，P代表使用破坏成对(pair-wise)关系生成扰动进行攻击的检索性能。

表3 Oxford5k/ROxford5k对抗样本攻击效果

表4 Paris6k/RParis6k对抗样本攻击效果

计算使用随机噪声、分类攻击扰动和破坏成对近邻关系的扰动攻击的mDR，结果如表5所示。

表5对抗样本攻击mDR

对图像添加的高斯噪声的大小被限制在与通用对抗扰动相同的[-ε，ε]区间。显然，对6个提取不同深度图像特征的图像检索模型，高斯噪声并没有影响到图像检索模型的性能，模型的mAP下降极其微小，甚至部分结果出现了微小的上升。使用分类攻击方法生成的扰动，能够对图像检索模型产生较弱的攻击效果，取得的mDR相对较低，仅在VGG16-MAC模型上取得了最高的mDR，在其他模型上的攻击效果远低于针对检索生成的扰动。针对图像检索破坏成对近邻关系生成的扰动使模型检索性能明显下降，mDR都达到了45％以上，特别是在ResNet50-GeM模型上mDR高达66.67％，这表明图像检索系统提取图像特征的能力受到了严重的干扰。以上数据表明，破坏成对近邻关系的通用对抗扰动生成算法能对图像检索产生强大的攻击。

3.本发明使用集成方法提高了对抗样本的迁移性。

①直接迁移

通过破坏成对近邻关系，在6个模型上生成扰动的直接迁移攻击效果如表6所示，评估指标为mDR。表中每一行数据为在该行首模型上生成的通用对抗扰动迁移至每一列模型进行对抗攻击取得的mDR。

表6直接迁移攻击效果

②集成方法迁移

在使用集成方法生成的扰动执行迁移攻击时，由于相同前置网络的图像检索模型提取图像特征的能力相近，迁移攻击时效果较好，因此每次选择1类前置网络结构的模型作为留出模型(如AlexNet-MAC和AlexNet-GeM)，即黑盒迁移攻击的目标，集成另外4个具有不同前置网络结构的模型生成通用对抗扰动，结果如表7所示。

表7集成方法迁移攻击效果

表中“-”表示集成时留出使用该前置网络结构的模型，使用另外4个模型进行集成，比如“-AlexNet”表示使用VGG16-MAC、VGG16-GeM、ResNet50-MAC、ResNet50-GeM进行集成，AlexNet-MAC和AlexNet-GeM为迁移攻击的目标。

留出AlexNet进行集成时，扰动对另外4个模型的攻击mDR相比使用其中单一模型生成扰动的攻击效果降低，而迁移至AlexNet检索模型上进行攻击时，与表6中不同前置网络的模型迁移效果比较，迁移至AlexNet-MAC取得了最高的攻击mDR，为27.16％，而迁移至AlexNet-GeM时仅高于使用VGG16-MAC和ResNet50-MAC进行迁移攻击的效果；留出VGG16进行集成生成的扰动，在VGG16-MAC的迁移效果高于所有单一模型直接迁移的效果，在VGG16-GeM上仅低于ResNet50-GeM直接迁移的效果；留出ResNet50进行集成的扰动，迁移至ResNet50的两个检索模型上均取得最高mDR，但提升有限。

总体来看，集成方法生成的扰动在相比单一模型的白盒攻击性能有所降低的情况下，仍能取得黑盒迁移攻击性能的提升，证明了集成方法能够有效提高对抗样本的迁移性。而且，表6和表7的攻击结果表明ResNet50-GeM检索模型既具有最优秀的检索性能，在该模型上生成的扰动在多数情况下也能取得最高的迁移性能，而集成方法生成的扰动尽管不能确保取得最高迁移效果，但相比多数单一模型的迁移性能有所提升。

4.攻击效果可视化验证

图4将在使用单一模型和使用集成方法生成的通用对抗扰动可视化。第一、二行图像分别为使用MAC和GeM特征池化方法的模型生成的通用对抗扰动，第三行为使用集成方法生成的扰动。前两行使用单一模型生成的扰动由横向观察，不同前置网络的模型生成的扰动差异明显，由纵向观察，前置网络相同而特征池化不同的模型生成的扰动比较相似。显然，相同前置网络结构的模型非常相似，提取的特征向量差异并不大，因此在相同前置网络的模型上生成的对抗样本具有接近的攻击效果，这与表6呈现的攻击效果一致。

图5展示了AlexNet-GeM、VGG16-GeM、ResNet50-GeM检索模型在ROxford5k和RParis6k数据集上正常检索和使用对抗样本检索的检索结果。图中红色竖线将两个数据集分开，每个数据及均选择一个样本作为样例，两个数据集的第一列均为查询图像。奇数行是使用纯净样本的检索结果，偶数行是使用在相应检索模型上使用对抗样本进行检索的结果。

本发明构建了高精度的图像检索模型，通过生成对抗样本明显降低了图像检索的性能，并以集成的形式提高了对抗样本的迁移性，最后对攻击效果进行了可视化展示。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于图像检索模型的对抗样本生成方法，其特征在于，包括以下步骤：

步骤1：使用retrieval-SfM-120k作为训练数据集，将retrieval-SfM数据集的图像组织成元组形式(q,m(q),N(q))输入网络；其中，q表示查询样本；m(q)表示一个匹配查询样本的正样本；N(q)表示一组不匹配查询样本的负样本；由这些元组构成训练网络的图像对，共有|N(q)|+1对图像对；根据数据集的ground truth文件，已经标定了查询样本的集合，以及每个查询样本对应的正样本，通过读取ground truth文件即可确定每个元组的q与m(q)；负样本需要在查询样本所属簇之外的其他簇中单独计算选取，选取与查询样本具有最高相似度的非配对图像；

步骤2：使用构建的6个图像检索模型AlexNet-MAC、AlexNet-GeM、VGG16-MAC、VGG16-GeM、ResNet50-MAC、ResNet50-GeM在retrieval-SfM-120k数据集进行训练；每个训练元组、由1个查询样本、1个正样本和5个负样本组成，构成6个图像对；样本输入进神经网络前，对尺寸进行缩放，使尺寸小于362×362；设置对比损失函数为：

对于AlexNet，τ＝0.7；对于VGG16，τ＝0.75；对于ResNet50，τ＝0.85；

步骤3：使用在ImageNet数据集上获得的均值和方差对图像进行归一化处理，均值与标准差都有三个数值，分别对应图像的三个通道；由于预训练的CNN模型已具备优秀的特征提取能力，因此损失函数将会很快收敛，训练周期设置为20，批次大小为5；基于VGG16和ResNet50的图像检索模型采用Adam优化器进行优化，设置初始学习率为l₀＝10^-6，并对学习率进行指数衰减，对第i个epoch衰减参数为exp(-0.1i)，参数衰减设置为5×10^-4；基于AlexNet的图像检索模型采用SGD优化器进行优化，初始学习率设置为l₀＝10^-3，动量为0.9，其他参数与VGG16和ResNet50保持一致；

步骤4：使用retrieval-SfM-30k数据集的验证集在图像检索模型上生成通用对抗扰动；采用特征聚类预处理方法对retrieval-SfM-120k的验证集中图像进行聚类，保存512个聚类中心，在每个训练周期与查询图像计算相似度来选取最近与最远图像，构成破坏图像特征之间的成对关系；将检索模型设置为评估模式，使用检索模型进行测试，只起到提取特征向量的作用；训练周期设置为100，并使用早停法在训练过程进行检查；当超过5个训练周期没有取得更好的攻击效果后，训练过程提前结束；批次大小设置为1，即每次传入1张查询图像提取特征向量，与512个聚类中心进行余弦相似度的计算；优化器采用带有动量的SGD，由公式

进行优化，动量参数momentum设置为0.9，限制扰动大小的参数ε设置为10；由于读取图像数据后进行了归一化，表示图像的张量的每一个元素[0,1]范围；在优化扰动时，令ε＝ε/255，在归一化条件下限制扰动的大小；初始学习率与该参数有关，设置为ε/10，并采取与训练图像检索模型相同的指数衰减方案调整学习率。

Images