CN113627597B - 一种基于通用扰动的对抗样本生成方法及系统 - Google Patents

Abstract

本发明提供一种基于通用扰动的对抗样本生成方法及系统，属于机器学习领域，对抗样本生成方法包括：获取训练样本集；随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；ViT模型包括多个相同的单元，每个单元均包括多个注意力算子；根据训练样本集及ViT模型的各注意力算子，对初始扰动图像进行迭代优化，得到最佳通用扰动图像；将最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。在不影响视觉效果的前提下将正常的训练样本转化为对抗样本，采用最终的对抗样本对ViT模型进行训练，可以提高模型的抗干扰能力和鲁棒性。

Description

一种基于通用扰动的对抗样本生成方法及系统

技术领域

本发明涉及机器学习领域，特别是涉及一种基于通用扰动的对抗样本生成方法及系统。

背景技术

随着深度学习技术的成熟，基于神经网络构建的模型被广泛应用于各种分类任务中，例如用于对图像进行分类、对文本进行分类、对语音进行分类等。卷积神经网络具有局部感知和权重共享的特性，在计算机视觉中发挥着重要的作用。但是近年来，大量研究发现它们非常容易受到对抗性噪声的影响：在输入中嵌入人类难以察觉的干扰很容易误导模型的决策。在实际应用中，为了使模型对包含扰动的对象进行正确的决策，就需要模型具有较强的抗干扰能力。对抗学习是目前提高模型抗干扰性能的最有效的防御方法。它的主要思路是将原始训练样本转化为对抗样本重新输入到网络模型中进行训练，以此提高网络模型的鲁棒性。然而由于对抗学习需要在训练网络的同时，不断迭代生成所需的对抗样本，训练效率低下，难以应用到大型数据集中。目前，如何提高模型对抗训练效率成为深度模型防御领域最亟需解决的问题之一。

Transformers作为一种基于自注意机制的序列转导模型在自然语言处理(NLP)中取得了巨大的成功。最近的研究试图探索基于注意力机制的Transformers来解决各种计算机视觉任务。Transformers在图像分类、目标检测、语义分割、图像超分辨率重建等视觉领域得到很大的突破。其中，在大型数据集下，ViTs(Vision Transformer)在图像分类任务上的性能已被验证优于最先进的卷积神经网络。然而近期研究发现，ViTs仍然容易受到对抗性噪声的影响，从而产生错误的预测结果。由于ViTs模型在训练阶段要求数据规模庞大，为每一个训练样本生成对应的对抗样本需要很高的时间代价，所以很难有效部署有效的对抗训练。因此有必要探索在ViTs模型中的对抗样本的生成方法。

发明内容

本发明的目的是提供一种基于通用扰动的对抗样本生成方法及系统，可提高对抗样本的生成效率，进而提高训练模型的抗干扰能力。

为实现上述目的，本发明提供了如下方案：

一种基于通用扰动的对抗样本生成方法，应用于ViT模型的训练，所述基于通用扰动的对抗样本生成方法包括：

获取训练样本集；所述训练样本集中包括多张样本图像；

随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；所述ViT模型包括多个相同的单元，每个单元均包括多个注意力算子；

根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像；

将所述最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。

可选地，所述根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像，具体包括：

针对第n次迭代，将第n-1次优化后的扰动图像线性加在第n张样本图像中，得到第n张对抗图像，1≤n≤N，N为样本图像的数量；第0次优化后的扰动图像为初始扰动图像；

根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵；

根据第n张对抗图像及ViT模型，确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵；

根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵，确定优化目标；

根据所述优化目标，对第n-1次优化后的扰动图像进行优化，得到第n次优化后的扰动图像；

当迭代次数大于或等于样本图像的数量或优化目标收敛时，将当前扰动图像作为最佳通用扰动图像。

可选地，所述根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵，具体包括：

根据第n张样本图像及ViT模型，得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵；

根据各单元中各注意力算子的自注意权重矩阵，确定各单元的平均注意力权重矩阵；

根据前l-1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵，得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。

可选地，根据以下公式，得到第l个单元的平均注意力权重矩阵：

其中，为第l个单元的平均注意力权重矩阵，M为第l个单元中注意力算子的个数，/>为第l个单元中第m个算子的自注意权重矩阵，L为单元的数量。

可选地，根据以下公式，得到第n张样本图像在第l个单元中第m个注意力算子的第一继承式注意力权重矩阵：

其中，x为样本图像，为第n张样本图像x_n在第l个单元中第m个算子的第一继承式注意力权重矩阵，/>为第i个单元的平均注意力权重矩阵，/>为第l个单元中第m个注意力算子的自注意权重矩阵，α是一个常数项。

可选地，所述根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵，确定优化目标，具体包括：

计算第n张样本图像在各单元中各注意力算子中的的第一继承式注意力权重矩阵与第n张初始对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的余弦距离；

根据余弦距离，确定优化目标。

可选地，根据以下公式，确定第n张样本图像x_n与第n张对抗图像x_n+δ_n-1的优化目标：

其中，为第n张样本图像x_n与第n张对抗图像x_n+δ_n-1的优化目标，L为ViT模型中单元的个数，M为各单元中自注意算子的个数，x_n为第n张样本图像，δ_n-1为第n次优化后的扰动图像，x_n+δ_n-1为第n张对抗图像，/>为第n张对抗图像在第l个单元中第m个注意力算子中的第二继承式注意力权重矩阵，/>为第n张样本图像在第l个单元中第m个注意力算子中的的第一继承式注意力权重矩阵，/>为/>与/>的余弦距离。

可选地，所述根据所述优化目标，对第n-1次优化后的扰动图像进行优化，得到第n次优化后的扰动图像，具体包括：

采用Adam优化器对第n-1次优化后的扰动图像进行反向传播优化，得到第n次优化后的扰动图像。

可选地，所述基于通用扰动的对抗样本生成方法还包括：

针对第n次迭代优化，判断第n-1次优化后的扰动图像的像素值是否大于最大约束值；

若第n-1次优化后的扰动图像的像素值大于最大约束值，则将第n-1次优化后的扰动图像的像素值赋值为最大约束值，继续进行迭代优化。

为实现上述目的，本发明还提供了如下方案：

一种基于通用扰动的对抗样本生成系统，所述基于通用扰动的对抗样本生成系统包括：

样本获取单元，用于获取训练样本集；所述训练样本集中包括多张样本图像；

扰动初始化单元，用于随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；所述ViT模型包括多个相同的单元，每个单元均包括多个注意力算子；

最佳通用扰动确定单元，与所述样本获取单元及所述扰动初始化单元连接，用于根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动；

终极对抗图像生成单元，与所述最佳通用扰动确定单元连接，用于将所述最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。

根据本发明提供的具体实施例，本发明公开了以下技术效果：通过分别获取样本图像及对抗图像在各注意力算子中的继承式注意力权重矩阵，根据继承式注意力权重矩阵，来优化扰动图像，得到最佳通用扰动，再将最佳通用扰动线性加在训练样本中，得到最终的对抗样本，提高了对抗样本的生成效率，并且在不影响视觉效果的前提下将正常的训练样本转化为对抗样本，再采用最终的对抗样本对ViT模型进行训练，进而可以提高模型的抗干扰能力和鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于通用扰动的对抗样本生成方法的流程图；

图2为通用扰动优化方法的框图；

图3为正常训练样本和对抗样本在ViT-B-16模型中的效果图；

图4为不同ViT结构中的最佳通用扰动的对比图；

图5为本发明基于通用扰动的对抗样本生成系统的模块结构示意图。

符号说明：

样本获取单元-1，扰动初始化单元-2，最佳通用扰动确定单元-3，终极对抗图像生成单元-4。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是针对ViT(Vision Transformer)这类需要依靠大型数据集训练的分类器，提供一种基于通用扰动的对抗样本生成方法及系统，通过分别获取样本图像及对抗图像在各注意力算子中的继承式注意力权重矩阵，根据继承式注意力权重矩阵，来优化扰动图像，得到最佳通用扰动，再将最佳通用扰动线性加在训练样本中，得到最终的对抗样本，提高了对抗样本的生成效率，并且在不影响视觉效果的前提下将正常的训练样本转化为对抗样本，再采用最终的对抗样本对ViT模型进行训练，进而可以提高模型的抗干扰能力和鲁棒性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1和图2所示，本发明基于通用扰动的对抗样本生成方法包括：

S1：获取训练样本集；所述训练样本集中包括多张样本图像。在本实施例中，从ImageNet数据集(1000类，每类1300张图片)中随机选择10000张图片作为训练样本集，再额外随机选择1000张图片用于训练阶段的验证集。ImageNet测试集(50000张各类图片)作为评估扰动图像在未知图像上生成对抗样本的泛化性能。训练样本集，验证集与测试集图片均无重合。

S2：随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；所述ViT模型是进行预训练后得到的模型；所述ViT模型包括多个相同的单元，每个单元均包括多个注意力算子。ViT模型是由多个相同单元级联组成，每一个单元中都并行存在多个注意力算子。优选地，在l_∞≤0.04的视觉约束条件下随机初始化一个与ViT模型的输出图像相同尺寸的初始扰动图像。

S3：根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像。

S4：将所述最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。所述终极对抗图像作为新的对抗样本，用于对其他ViT模型训练。

具体地，S3具体包括：

S31：针对第n次迭代，将第n-1次优化后的扰动图像线性加在第n张样本图像中，得到第n张对抗图像，1≤n≤N，N为样本图像的数量；第0次优化后的扰动图像为初始扰动图像。

S32：根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵。

S33：根据第n张对抗图像及ViT模型，确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵。

S34：根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵，确定优化目标。

S35：根据所述优化目标，对第n-1次优化后的扰动图像进行迭代优化，得到第n次优化后的扰动图像。

S36：当迭代次数大于或等于样本图像的数量或优化目标收敛时，将当前扰动图像作为最佳通用扰动图像。

进一步地，S32具体包括：

S321：根据第n张样本图像及ViT模型，得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵。

S322：根据各单元中各注意力算子的自注意权重矩阵，确定各单元的平均注意力权重矩阵。

由于自注意权重矩阵只能反映当前单元的输入与输出之间的映射关系，所以需要构建每一个注意力算子与输入之间的映射关系。因此，将每一个单元中的各注意力算子输出的自注意权重矩阵进行平均，来代表该单元的平均注意力权重矩阵。

具体地，根据以下公式，得到第l个单元的平均注意力权重矩阵：

其中，为第l个单元的平均注意力权重矩阵，M为第l个单元中注意力算子的个数，/>为第l个单元中第m个算子的自注意权重矩阵，L为单元的数量。

S323：根据前l-1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵，得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。

具体地，根据以下公式，得到第n张样本图像在第l个单元中第m个注意力算子的第一继承式注意力权重矩阵：

其中，x为样本图像，为第n张样本图像x_n在第l个单元中第m个算子的第一继承式注意力权重矩阵，/>为第i个单元的平均注意力权重矩阵，/>为第l个单元中第m个注意力算子的自注意权重矩阵，α是一个常数项，用于防止矩阵的权值衰减，本实施例中将α设为1。

在本实施例中，所述自注意权重矩阵的计算方法包括：

将输入图像划分成若干个图像块，将所有图像块组合成一个序列：

E_pos∈R^(N+1)×D；

其中，z₀为序列，x_class用于输出端的分类预测，N为图像块的数量，p为图像块的大小，C为通道式，为第N个图像块，/>E表示线性转换，E_pos用于记录每一个图像块在原始图像中的位置信息。

例如p＝16时，N＝(224*224)/(16*16)＝196，将每一个图像块转化到特定的维度P²·C→D。D表示序列中每一个向量的维度，一般D＝256，通过矩阵E将原先维度进行了一次降维P²·C→D。

所述自注意权重矩阵的公式为：

[q,k,v]＝z[W_q,W_k,W_v]

A∈R^(N+1)×(N+1)；

O(z)＝Av；

其中W_q,W_k,W_v均为模型内部的转换矩阵，z∈R^(N+1)×D为当前的输入序列，O(z)∈R^{(N +1)×D}为注意力算子的输出特征，T表示矩阵的转置，q、k、v为自注意权重矩阵的元素，D_h表示序列中每一个向量的维度。D_h<＝D，第二次在将序列z₀转化为q，k，v向量时，将D降维到D_h可以减少计算量。

在本实施例中，第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的计算方法与第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵的计算方法相同。

更进一步地，S34具体包括：

S341：计算第n张样本图像在各单元中各注意力算子中的的第一继承式注意力权重矩阵与第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的余弦距离。在本实施例中，先将第一继承式注意力权重矩阵和第二继承式注意力权重矩阵均展平为一维向量，再计算余弦距离。

S342：根据余弦距离，确定优化目标。

具体地，根据以下公式，确定第n张样本图像x_n与第n张对抗图像x_n+δ_n-1的优化目标：

其中，为第n张样本图像x_n与第n张对抗图像x_n+δ_n-1的优化目标，L为ViT模型中单元的个数，M为各单元中自注意算子的个数，x_n为第n张样本图像，δ_n-1为第n次优化后的扰动图像，x_n+δ_n-1为第n张对抗图像，/>为第n张对抗图像在第l个单元中第m个注意力算子中的第二继承式注意力权重矩阵，/>为第n张样本图像在第l个单元中第m个注意力算子中的的第一继承式注意力权重矩阵，/>为/>与/>的余弦距离。

余弦距离的计算公式为：

可选地，S35具体包括：

采用Adam优化器对所述扰动图像进行反向传播迭代优化。

在本实施例中，采用Adam优化器对第n-1次优化后的扰动图像进行反向传播，得到第n次优化后的扰动图像。Adam优化器是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。

Adam优化器的主要参数包括：

α：同样也称为学习率或步长因子，它控制了权重的更新比率(如0.001)。较大的值(如0.3)在学习率更新前会有更快的初始学习，而较小的值(如1.0E-5)会令训练收敛到更好的性能。本实施例中使用α＝0.1对扰动进行优化。

β₁：一阶矩估计的指数衰减率。本实施例中设为β₁＝0.9。

β₂：二阶矩估计的指数衰减率。本实施例设为β₂＝0.999。

ε：该参数是非常小的数，为了防止在实现中除以零。本实施例设ε＝10^-8。

为了提高对抗样本的生成速度，所述基于通用扰动的对抗样本生成方法还包括：

针对第n次迭代优化，判断第n-1次优化后的扰动图像的像素值是否大于最大约束值。在本实施例中，所述最大约束值为0.04。

若第n-1次优化后的扰动图像的像素值大于最大约束值，则将第n-1次优化后的扰动图像的像素值赋值为最大约束值，继续进行迭代优化。

由于多次迭代，扰动图像有可能快速达到饱和(大部分像素点的值会达到最大约束值0.04，因此所述基于通用扰动的对抗样本生成方法还包括：

检测扰动图像的饱和度。饱和度为扰动图像中饱和的像素点个数占全部像素点的比重。

当饱和度大于0.7时，对扰动图像进行取半操作，继续迭代优化。

转化性能验证：在多次迭代的优化过程，为了找到最佳泛化能力的通用扰动，本发明基于通用扰动的对抗样本生成方法还包括：

每经过n轮迭代后，n>10，使用验证集验证当前扰动图像对未知图片的对抗样本转化率。在本实施例中，n＝20。所述验证集为1000张非训练图片。

判断所述转化率与当前最高转化率的大小，若所述转化率小于或等于当前最高转化率时，继续进行优化；若所述转化率大于当前最高转化率时，保存扰动，并将当前最高转化率更新为转化率，继续优化。

当最高转化率经过10次验证后仍然不变时，停止训练。

在本实施例中，转化率的计算方法包括：

获取多张外部图像；所述外部图像与扰动训练所用图像完全独立。

将扰动图像线性加在多张外部图像上，得到x张扰动图像；

采用当前ViT模型识别所述扰动图像，存在y张图像可以被当前ViT模型错误识别，则转化率p为：p＝y/b*100。其中，p为转化率，y为被当前ViT模型错误识别的扰动图像的数量，b为总扰动图像的数量。

转化率越高，说明扰动效果越好，生成对抗样本的效率越高。

在本实施例中，选择ViT系列中的ViT-B_16，ViT-B_32，ViT-L_16，ViT-L_32四种目标模型进行测试。四种网络均是在ImageNet-21K中进行预训练而后，经过ImageNet数据集微调得到的1000分类模型。

输出图像的尺寸为224*224*3，分别代表图像的长，宽，RGB三通道数，像素值从[0,255]归一化到[0,1]区间内。

四种目标模型中的16和32表示模型中输入图像转化为序列块的大小，B和L表示模型的复杂度。B型号包含12个单元，L型号包含24个单元。

以下为验证本发明基于通用扰动的对抗样本生成方法得到的最佳通用扰动在ViT模型中的泛化效果：

将生成的最佳通用扰动线性加在50000张未知图像(验证集)中计算成功转化为对抗样本的图片所占比重。如表1所示，Random为不进行优化，随机生成的扰动。UAP以及GD-UAP是两种针对卷积神经网络的通用扰动生成方法，在本实验中将这两种方法引用到ViTs机构中用于扰动的优化。如表1所示，本发明基于通用扰动的对抗样本生成方法在ViTs模型中具有最高的对抗样本转化率。如图3所示，由于本发明通过继承式注意力权重矩阵来优化扰动，可以在不影响视觉效果的前提下将正常的训练样本转化为对抗样本，并可以明显揭示当前ViT训练得到的注意力机制的不足，通过对这类对抗样本的训练，可以很大程度的提高模型的鲁棒性。

表1

以下为验证本发明基于通用扰动的对抗样本生成方法得到的最佳通用扰动在ViT模型中的视觉效果：

如图4所示，不同结构的最佳通用扰动存在很大的差异，但是均具有分块的纹理特征，这符合ViT将输入图像分为块序列进行特征整合的基本过程。同样的，可以看到最佳通用扰动在将训练样本转化为对抗样本的过程中，不会产生明显的视觉差异，可以很好的模拟在现实应用过程中，模型可能需要检测具有微小扰动的目标图片，从而在模型训练阶段提高模型对该类型图片的抗干扰能力。

如图5所示，本发明基于通用扰动的对抗样本生成系统包括：样本获取单元1、扰动初始化单元2、最佳通用扰动确定单元3及终极对抗图像生成单元4。

其中，所述样本获取单元1用于获取训练样本集；所述训练样本集中包括多张样本图像。

所述扰动初始化单元2用于随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；所述ViT模型包括多个相同的单元，每个单元均包括多个注意力算子。

所述最佳通用扰动确定单元3与所述样本获取单元1及所述扰动初始化单元2连接，所述最佳通用扰动确定单元3用于根据所述优化目标，对所述初始扰动图像进行迭代优化，得到最佳通用扰动。

所述终极对抗图像生成单元4与所述最佳通用扰动确定单元3连接，所述终极对抗图像生成单元4用于将所述最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。

具体地，所述最佳通用扰动确定单元3包括：初始对抗图像生成模块、第一继承式注意力权重矩阵确定模块、第二继承式注意力权重矩阵确定模块、优化目标确定模块、优化模块及最佳通用扰动确定模块。

其中，所述对抗图像生成模块分别与所述样本获取单元1及所述扰动初始化单元2连接，所述初始对抗图像生成模块用于针对第n次迭代，将第n-1次优化后的扰动图像线性加在第n张样本图像中，得到第n张对抗图像，1≤n≤N，N为样本图像的数量；第0次优化后的扰动图像为初始扰动图像。

所述第一继承式注意力权重矩阵确定模块分别与所述样本获取单元及所述对抗图像生成模块连接，所述第一继承式注意力权重矩阵确定模块用于根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵。

所述第二继承式注意力权重矩阵确定模块与所述对抗图像生成模块连接，所述第二继承式注意力权重矩阵确定模块用于根据第n张对抗图像及ViT模型，确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵。

所述优化目标确定模块分别与所述第一继承式注意力权重矩阵确定模块及所述第二继承式注意力权重矩阵确定模块连接，所述优化目标确定模块用于根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵，确定优化目标。

所述优化模块分别与所述优化目标确定模块及所述对抗图像生成模块连接，所述优化模块用于根据所述优化目标，对第n-1次优化后的扰动图像进行优化，得到第n次优化后的扰动图像；

所述最佳通用扰动确定模块与所述优化目标确定模块连接，所述最佳通用扰动确定模块用于当迭代次数大于或等于样本图像的数量或优化目标收敛时，将当前扰动图像作为最佳通用扰动图像。

进一步地，所述第一继承式注意力权重矩阵确定模块包括：自注意权重矩阵确定子模块、平均注意力权重矩阵确定子模块及继承式注意力权重矩阵确定子模块。

其中，所述自注意权重矩阵确定子模块分别与所述样本获取单元及所述对抗图像生成模块连接，所述自注意权重矩阵确定子模块用于根据第n张样本图像及ViT模型，得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵。

所述平均注意力权重矩阵确定子模块与所述自注意权重矩阵确定子模块连接，所述平均注意力权重矩阵确定子模块用于根据各单元中各注意力算子的自注意权重矩阵，确定各单元的平均注意力权重矩阵。

所述继承式注意力权重矩阵确定子模块与所述平均注意力权重矩阵确定子模块连接，所述继承式注意力权重矩阵确定子模块用于根据前l-1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵，得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。

相对于现有技术，本发明基于通用扰动的对抗样本生成系统与上述基于通用扰动的对抗样本生成方法的有益效果相同，在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于通用扰动的对抗样本生成方法，应用于ViT模型的训练，其特征在于，所述基于通用扰动的对抗样本生成方法包括：

获取训练样本集；所述训练样本集中包括多张样本图像；

随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；所述ViT模型包括多个相同的单元，每个单元均包括多个注意力算子；

根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像，具体包括：

针对第n次迭代，将第n-1次优化后的扰动图像线性加在第n张样本图像中，得到第n张对抗图像，1≤n≤N，N为样本图像的数量；第0次优化后的扰动图像为初始扰动图像；

根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵；

根据第n张对抗图像及ViT模型，确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵；

根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵，确定优化目标，具体包括：计算第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵与第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的余弦距离；根据余弦距离，确定优化目标；根据以下公式，确定第n张样本图像x_n与第n张对抗图像x_n+δ_n-1的优化目标：

其中，L为第n张样本图像x_n与第n张对抗图像x_n+δ_n-1的优化目标，L为ViT模型中单元的个数，M为各单元中自注意算子的个数，x_n为第n张样本图像，δ_n-1为第n次优化后的扰动图像，x_n+δ_n-1为第n张对抗图像，为第n张对抗图像在第l个单元中第m个注意力算子中的第二继承式注意力权重矩阵，/>为第n张样本图像在第l个单元中第m个注意力算子中的第一继承式注意力权重矩阵，/>为与/>的余弦距离；

根据所述优化目标，对第n-1次优化后的扰动图像进行优化，得到第n次优化后的扰动图像；

当迭代次数大于或等于样本图像的数量或优化目标收敛时，将当前扰动图像作为最佳通用扰动图像；

将所述最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。

2.根据权利要求1所述的基于通用扰动的对抗样本生成方法，其特征在于，所述根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵，具体包括：

根据第n张样本图像及ViT模型，得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵；

根据各单元中各注意力算子的自注意权重矩阵，确定各单元的平均注意力权重矩阵；

根据前l-1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵，得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。

3.根据权利要求2所述的基于通用扰动的对抗样本生成方法，其特征在于，根据以下公式，得到第l个单元的平均注意力权重矩阵：

其中，为第l个单元的平均注意力权重矩阵，M为第l个单元中注意力算子的个数，为第l个单元中第m个算子的自注意权重矩阵，L为单元的数量。

4.根据权利要求2所述的基于通用扰动的对抗样本生成方法，其特征在于，根据以下公式，得到第n张样本图像在第l个单元中第m个注意力算子的第一继承式注意力权重矩阵：

其中，x为样本图像，为第n张样本图像x_n在第l个单元中第m个算子的第一继承式注意力权重矩阵，/>为第i个单元的平均注意力权重矩阵，/>为第l个单元中第m个注意力算子的自注意权重矩阵，α是一个常数项。

5.根据权利要求1所述的基于通用扰动的对抗样本生成方法，其特征在于，所述根据所述优化目标，对第n-1次优化后的扰动图像进行优化，得到第n次优化后的扰动图像，具体包括：

采用Adam优化器对第n-1次优化后的扰动图像进行反向传播优化，得到第n次优化后的扰动图像。

6.根据权利要求1所述的基于通用扰动的对抗样本生成方法，其特征在于，所述基于通用扰动的对抗样本生成方法还包括：

针对第n次迭代优化，判断第n-1次优化后的扰动图像的像素值是否大于最大约束值；

若第n-1次优化后的扰动图像的像素值大于最大约束值，则将第n-1次优化后的扰动图像的像素值赋值为最大约束值，继续进行迭代优化。

7.一种基于通用扰动的对抗样本生成系统，其特征在于，所述基于通用扰动的对抗样本生成系统包括：

样本获取单元，用于获取训练样本集；所述训练样本集中包括多张样本图像；

扰动初始化单元，用于随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；所述ViT模型包括多个相同的单元，每个单元均包括多个注意力算子；

最佳通用扰动确定单元，与所述样本获取单元及所述扰动初始化单元连接，用于根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动；

所述最佳通用扰动确定单元包括：初始对抗图像生成模块、第一继承式注意力权重矩阵确定模块、第二继承式注意力权重矩阵确定模块、优化目标确定模块、优化模块及最佳通用扰动确定模块；

所述初始对抗图像生成模块分别与所述样本获取单元及所述扰动初始化单元连接，所述初始对抗图像生成模块用于针对第n次迭代，将第n-1次优化后的扰动图像线性加在第n张样本图像中，得到第n张对抗图像，1≤n≤N，N为样本图像的数量；第0次优化后的扰动图像为初始扰动图像；

所述第一继承式注意力权重矩阵确定模块分别与所述样本获取单元及所述初始对抗图像生成模块连接，所述第一继承式注意力权重矩阵确定模块用于根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵；

所述第二继承式注意力权重矩阵确定模块与所述初始对抗图像生成模块连接，所述第二继承式注意力权重矩阵确定模块用于根据第n张对抗图像及ViT模型，确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵；

所述优化目标确定模块分别与所述第一继承式注意力权重矩阵确定模块及所述第二继承式注意力权重矩阵确定模块连接，所述优化目标确定模块用于根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵，确定优化目标，具体包括：计算第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵与第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的余弦距离；根据余弦距离，确定优化目标；根据以下公式，确定第n张样本图像x_n与第n张对抗图像x_n+δ_n-1的优化目标：

其中，L为第n张样本图像x_n与第n张对抗图像x_n+δ_n-1的优化目标，L为ViT模型中单元的个数，M为各单元中自注意算子的个数，x_n为第n张样本图像，δ_n-1为第n次优化后的扰动图像，x_n+δ_n-1为第n张对抗图像，为第n张对抗图像在第l个单元中第m个注意力算子中的第二继承式注意力权重矩阵，/>为第n张样本图像在第l个单元中第m个注意力算子中的第一继承式注意力权重矩阵，/>为与/>的余弦距离；

所述优化模块分别与所述优化目标确定模块及所述初始对抗图像生成模块连接，所述优化模块用于根据所述优化目标，对第n-1次优化后的扰动图像进行优化，得到第n次优化后的扰动图像；

所述最佳通用扰动确定模块与所述优化目标确定模块连接，所述最佳通用扰动确定模块用于当迭代次数大于或等于样本图像的数量或优化目标收敛时，将当前扰动图像作为最佳通用扰动图像；

终极对抗图像生成单元，与所述最佳通用扰动确定单元连接，用于将所述最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。