CN113627597A - 一种基于通用扰动的对抗样本生成方法及系统 - Google Patents
一种基于通用扰动的对抗样本生成方法及系统 Download PDFInfo
- Publication number
- CN113627597A CN113627597A CN202110922756.1A CN202110922756A CN113627597A CN 113627597 A CN113627597 A CN 113627597A CN 202110922756 A CN202110922756 A CN 202110922756A CN 113627597 A CN113627597 A CN 113627597A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- attention
- disturbance
- weight matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims description 113
- 230000003042 antagnostic effect Effects 0.000 claims description 15
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 8
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000012795 verification Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于通用扰动的对抗样本生成方法及系统,属于机器学习领域,对抗样本生成方法包括:获取训练样本集;随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像;ViT模型包括多个相同的单元,每个单元均包括多个注意力算子;根据训练样本集及ViT模型的各注意力算子,对初始扰动图像进行迭代优化,得到最佳通用扰动图像;将最佳通用扰动线性加在待训练样本集中的样本图像中,得到对应的终极对抗图像。在不影响视觉效果的前提下将正常的训练样本转化为对抗样本,采用最终的对抗样本对ViT模型进行训练,可以提高模型的抗干扰能力和鲁棒性。
Description
技术领域
本发明涉及机器学习领域,特别是涉及一种基于通用扰动的对抗样本生成方法及系统。
背景技术
随着深度学习技术的成熟,基于神经网络构建的模型被广泛应用于各种分类任务中,例如用于对图像进行分类、对文本进行分类、对语音进行分类等。卷积神经网络具有局部感知和权重共享的特性,在计算机视觉中发挥着重要的作用。但是近年来,大量研究发现它们非常容易受到对抗性噪声的影响:在输入中嵌入人类难以察觉的干扰很容易误导模型的决策。在实际应用中,为了使模型对包含扰动的对象进行正确的决策,就需要模型具有较强的抗干扰能力。对抗学习是目前提高模型抗干扰性能的最有效的防御方法。它的主要思路是将原始训练样本转化为对抗样本重新输入到网络模型中进行训练,以此提高网络模型的鲁棒性。然而由于对抗学习需要在训练网络的同时,不断迭代生成所需的对抗样本,训练效率低下,难以应用到大型数据集中。目前,如何提高模型对抗训练效率成为深度模型防御领域最亟需解决的问题之一。
Transformers作为一种基于自注意机制的序列转导模型在自然语言处理(NLP)中取得了巨大的成功。最近的研究试图探索基于注意力机制的Transformers来解决各种计算机视觉任务。Transformers在图像分类、目标检测、语义分割、图像超分辨率重建等视觉领域得到很大的突破。其中,在大型数据集下,ViTs(Vision Transformer)在图像分类任务上的性能已被验证优于最先进的卷积神经网络。然而近期研究发现,ViTs仍然容易受到对抗性噪声的影响,从而产生错误的预测结果。由于ViTs模型在训练阶段要求数据规模庞大,为每一个训练样本生成对应的对抗样本需要很高的时间代价,所以很难有效部署有效的对抗训练。因此有必要探索在ViTs模型中的对抗样本的生成方法。
发明内容
本发明的目的是提供一种基于通用扰动的对抗样本生成方法及系统,可提高对抗样本的生成效率,进而提高训练模型的抗干扰能力。
为实现上述目的,本发明提供了如下方案:
一种基于通用扰动的对抗样本生成方法,应用于ViT模型的训练,所述基于通用扰动的对抗样本生成方法包括:
获取训练样本集;所述训练样本集中包括多张样本图像;
随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像;所述ViT模型包括多个相同的单元,每个单元均包括多个注意力算子;
根据所述训练样本集及所述ViT模型的各注意力算子,对所述初始扰动图像进行迭代优化,得到最佳通用扰动图像;
将所述最佳通用扰动线性加在待训练样本集中的样本图像中,得到对应的终极对抗图像。
可选地,所述根据所述训练样本集及所述ViT模型的各注意力算子,对所述初始扰动图像进行迭代优化,得到最佳通用扰动图像,具体包括:
针对第n次迭代,将第n-1次优化后的扰动图像线性加在第n张样本图像中,得到第n张对抗图像,1≤n≤N,N为样本图像的数量;第0次优化后的扰动图像为初始扰动图像;
根据第n张样本图像及ViT模型,确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵;
根据第n张对抗图像及ViT模型,确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵;
根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵,确定优化目标;
根据所述优化目标,对第n-1次优化后的扰动图像进行优化,得到第n次优化后的扰动图像;
当迭代次数大于或等于样本图像的数量或优化目标收敛时,将当前扰动图像作为最佳通用扰动图像。
可选地,所述根据第n张样本图像及ViT模型,确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵,具体包括:
根据第n张样本图像及ViT模型,得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵;
根据各单元中各注意力算子的自注意权重矩阵,确定各单元的平均注意力权重矩阵;
根据前l-1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵,得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。
可选地,根据以下公式,得到第l个单元的平均注意力权重矩阵:
可选地,根据以下公式,得到第n张样本图像在第l个单元中第m个注意力算子的第一继承式注意力权重矩阵:
可选地,所述根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵,确定优化目标,具体包括:
计算第n张样本图像在各单元中各注意力算子中的的第一继承式注意力权重矩阵与第n张初始对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的余弦距离;
根据余弦距离,确定优化目标。
可选地,根据以下公式,确定第n张样本图像xn与第n张对抗图像xn+δn-1的优化目标:
其中,为第n张样本图像xn与第n张对抗图像xn+δn-1的优化目标,L为ViT模型中单元的个数,M为各单元中自注意算子的个数,xn为第n张样本图像,δn-1为第n次优化后的扰动图像,xn+δn-1为第n张对抗图像,为第n张对抗图像在第l个单元中第m个注意力算子中的第二继承式注意力权重矩阵,为第n张样本图像在第l个单元中第m个注意力算子中的的第一继承式注意力权重矩阵,为与的余弦距离。
可选地,所述根据所述优化目标,对第n-1次优化后的扰动图像进行优化,得到第n次优化后的扰动图像,具体包括:
采用Adam优化器对第n-1次优化后的扰动图像进行反向传播优化,得到第n次优化后的扰动图像。
可选地,所述基于通用扰动的对抗样本生成方法还包括:
针对第n次迭代优化,判断第n-1次优化后的扰动图像的像素值是否大于最大约束值;
若第n-1次优化后的扰动图像的像素值大于最大约束值,则将第n-1次优化后的扰动图像的像素值赋值为最大约束值,继续进行迭代优化。
为实现上述目的,本发明还提供了如下方案:
一种基于通用扰动的对抗样本生成系统,所述基于通用扰动的对抗样本生成系统包括:
样本获取单元,用于获取训练样本集;所述训练样本集中包括多张样本图像;
扰动初始化单元,用于随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像;所述ViT模型包括多个相同的单元,每个单元均包括多个注意力算子;
最佳通用扰动确定单元,与所述样本获取单元及所述扰动初始化单元连接,用于根据所述训练样本集及所述ViT模型的各注意力算子,对所述初始扰动图像进行迭代优化,得到最佳通用扰动;
终极对抗图像生成单元,与所述最佳通用扰动确定单元连接,用于将所述最佳通用扰动线性加在待训练样本集中的样本图像中,得到对应的终极对抗图像。
根据本发明提供的具体实施例,本发明公开了以下技术效果:通过分别获取样本图像及对抗图像在各注意力算子中的继承式注意力权重矩阵,根据继承式注意力权重矩阵,来优化扰动图像,得到最佳通用扰动,再将最佳通用扰动线性加在训练样本中,得到最终的对抗样本,提高了对抗样本的生成效率,并且在不影响视觉效果的前提下将正常的训练样本转化为对抗样本,再采用最终的对抗样本对ViT模型进行训练,进而可以提高模型的抗干扰能力和鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于通用扰动的对抗样本生成方法的流程图;
图2为通用扰动优化方法的框图;
图3为正常训练样本和对抗样本在ViT-B-16模型中的效果图;
图4为不同ViT结构中的最佳通用扰动的对比图;
图5为本发明基于通用扰动的对抗样本生成系统的模块结构示意图。
符号说明:
样本获取单元-1,扰动初始化单元-2,最佳通用扰动确定单元-3,终极对抗图像生成单元-4。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是针对ViT(Vision Transformer)这类需要依靠大型数据集训练的分类器,提供一种基于通用扰动的对抗样本生成方法及系统,通过分别获取样本图像及对抗图像在各注意力算子中的继承式注意力权重矩阵,根据继承式注意力权重矩阵,来优化扰动图像,得到最佳通用扰动,再将最佳通用扰动线性加在训练样本中,得到最终的对抗样本,提高了对抗样本的生成效率,并且在不影响视觉效果的前提下将正常的训练样本转化为对抗样本,再采用最终的对抗样本对ViT模型进行训练,进而可以提高模型的抗干扰能力和鲁棒性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和图2所示,本发明基于通用扰动的对抗样本生成方法包括:
S1:获取训练样本集;所述训练样本集中包括多张样本图像。在本实施例中,从ImageNet数据集(1000类,每类1300张图片)中随机选择10000张图片作为训练样本集,再额外随机选择1000张图片用于训练阶段的验证集。ImageNet测试集(50000张各类图片)作为评估扰动图像在未知图像上生成对抗样本的泛化性能。训练样本集,验证集与测试集图片均无重合。
S2:随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像;所述ViT模型是进行预训练后得到的模型;所述ViT模型包括多个相同的单元,每个单元均包括多个注意力算子。ViT模型是由多个相同单元级联组成,每一个单元中都并行存在多个注意力算子。优选地,在l∞≤0.04的视觉约束条件下随机初始化一个与ViT模型的输出图像相同尺寸的初始扰动图像。
S3:根据所述训练样本集及所述ViT模型的各注意力算子,对所述初始扰动图像进行迭代优化,得到最佳通用扰动图像。
S4:将所述最佳通用扰动线性加在待训练样本集中的样本图像中,得到对应的终极对抗图像。所述终极对抗图像作为新的对抗样本,用于对其他ViT模型训练。
具体地,S3具体包括:
S31:针对第n次迭代,将第n-1次优化后的扰动图像线性加在第n张样本图像中,得到第n张对抗图像,1≤n≤N,N为样本图像的数量;第0次优化后的扰动图像为初始扰动图像。
S32:根据第n张样本图像及ViT模型,确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵。
S33:根据第n张对抗图像及ViT模型,确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵。
S34:根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵,确定优化目标。
S35:根据所述优化目标,对第n-1次优化后的扰动图像进行迭代优化,得到第n次优化后的扰动图像。
S36:当迭代次数大于或等于样本图像的数量或优化目标收敛时,将当前扰动图像作为最佳通用扰动图像。
进一步地,S32具体包括:
S321:根据第n张样本图像及ViT模型,得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵。
S322:根据各单元中各注意力算子的自注意权重矩阵,确定各单元的平均注意力权重矩阵。
由于自注意权重矩阵只能反映当前单元的输入与输出之间的映射关系,所以需要构建每一个注意力算子与输入之间的映射关系。因此,将每一个单元中的各注意力算子输出的自注意权重矩阵进行平均,来代表该单元的平均注意力权重矩阵。
具体地,根据以下公式,得到第l个单元的平均注意力权重矩阵:
S323:根据前l-1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵,得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。
具体地,根据以下公式,得到第n张样本图像在第l个单元中第m个注意力算子的第一继承式注意力权重矩阵:
其中,x为样本图像,为第n张样本图像xn在第l个单元中第m个算子的第一继承式注意力权重矩阵,为第i个单元的平均注意力权重矩阵,为第l个单元中第m个注意力算子的自注意权重矩阵,α是一个常数项,用于防止矩阵的权值衰减,本实施例中将α设为1。
在本实施例中,所述自注意权重矩阵的计算方法包括:
将输入图像划分成若干个图像块,将所有图像块组合成一个序列:
例如p=16时,N=(224*224)/(16*16)=196,将每一个图像块转化到特定的维度P2·C→D。D表示序列中每一个向量的维度,一般D=256,通过矩阵E将原先维度进行了一次降维P2·C→D。
所述自注意权重矩阵的公式为:
O(z)=Av;
其中Wq,Wk,Wv均为模型内部的转换矩阵,z∈R(N+1)×D为当前的输入序列,O(z)∈R(N +1)×D为注意力算子的输出特征,T表示矩阵的转置,q、k、v为自注意权重矩阵的元素,Dh表示序列中每一个向量的维度。Dh<=D,第二次在将序列z0转化为q,k,v向量时,将D降维到Dh可以减少计算量。
在本实施例中,第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的计算方法与第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵的计算方法相同。
更进一步地,S34具体包括:
S341:计算第n张样本图像在各单元中各注意力算子中的的第一继承式注意力权重矩阵与第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的余弦距离。在本实施例中,先将第一继承式注意力权重矩阵和第二继承式注意力权重矩阵均展平为一维向量,再计算余弦距离。
S342:根据余弦距离,确定优化目标。
具体地,根据以下公式,确定第n张样本图像xn与第n张对抗图像xn+δn-1的优化目标:
其中,为第n张样本图像xn与第n张对抗图像xn+δn-1的优化目标,L为ViT模型中单元的个数,M为各单元中自注意算子的个数,xn为第n张样本图像,δn-1为第n次优化后的扰动图像,xn+δn-1为第n张对抗图像,为第n张对抗图像在第l个单元中第m个注意力算子中的第二继承式注意力权重矩阵,为第n张样本图像在第l个单元中第m个注意力算子中的的第一继承式注意力权重矩阵,为与的余弦距离。
余弦距离的计算公式为:
可选地,S35具体包括:
采用Adam优化器对所述扰动图像进行反向传播迭代优化。
在本实施例中,采用Adam优化器对第n-1次优化后的扰动图像进行反向传播,得到第n次优化后的扰动图像。Adam优化器是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重。
Adam优化器的主要参数包括:
α:同样也称为学习率或步长因子,它控制了权重的更新比率(如0.001)。较大的值(如0.3)在学习率更新前会有更快的初始学习,而较小的值(如1.0E-5)会令训练收敛到更好的性能。本实施例中使用α=0.1对扰动进行优化。
β1:一阶矩估计的指数衰减率。本实施例中设为β1=0.9。
β2:二阶矩估计的指数衰减率。本实施例设为β2=0.999。
ε:该参数是非常小的数,为了防止在实现中除以零。本实施例设ε=10-8。
为了提高对抗样本的生成速度,所述基于通用扰动的对抗样本生成方法还包括:
针对第n次迭代优化,判断第n-1次优化后的扰动图像的像素值是否大于最大约束值。在本实施例中,所述最大约束值为0.04。
若第n-1次优化后的扰动图像的像素值大于最大约束值,则将第n-1次优化后的扰动图像的像素值赋值为最大约束值,继续进行迭代优化。
由于多次迭代,扰动图像有可能快速达到饱和(大部分像素点的值会达到最大约束值0.04,因此所述基于通用扰动的对抗样本生成方法还包括:
检测扰动图像的饱和度。饱和度为扰动图像中饱和的像素点个数占全部像素点的比重。
当饱和度大于0.7时,对扰动图像进行取半操作,继续迭代优化。
转化性能验证:在多次迭代的优化过程,为了找到最佳泛化能力的通用扰动,本发明基于通用扰动的对抗样本生成方法还包括:
每经过n轮迭代后,n>10,使用验证集验证当前扰动图像对未知图片的对抗样本转化率。在本实施例中,n=20。所述验证集为1000张非训练图片。
判断所述转化率与当前最高转化率的大小,若所述转化率小于或等于当前最高转化率时,继续进行优化;若所述转化率大于当前最高转化率时,保存扰动,并将当前最高转化率更新为转化率,继续优化。
当最高转化率经过10次验证后仍然不变时,停止训练。
在本实施例中,转化率的计算方法包括:
获取多张外部图像;所述外部图像与扰动训练所用图像完全独立。
将扰动图像线性加在多张外部图像上,得到x张扰动图像;
采用当前ViT模型识别所述扰动图像,存在y张图像可以被当前ViT模型错误识别,则转化率p为:p=y/b*100。其中,p为转化率,y为被当前ViT模型错误识别的扰动图像的数量,b为总扰动图像的数量。
转化率越高,说明扰动效果越好,生成对抗样本的效率越高。
在本实施例中,选择ViT系列中的ViT-B_16,ViT-B_32,ViT-L_16,ViT-L_32四种目标模型进行测试。四种网络均是在ImageNet-21K中进行预训练而后,经过ImageNet数据集微调得到的1000分类模型。
输出图像的尺寸为224*224*3,分别代表图像的长,宽,RGB三通道数,像素值从[0,255]归一化到[0,1]区间内。
四种目标模型中的16和32表示模型中输入图像转化为序列块的大小,B和L表示模型的复杂度。B型号包含12个单元,L型号包含24个单元。
以下为验证本发明基于通用扰动的对抗样本生成方法得到的最佳通用扰动在ViT模型中的泛化效果:
将生成的最佳通用扰动线性加在50000张未知图像(验证集)中计算成功转化为对抗样本的图片所占比重。如表1所示,Random为不进行优化,随机生成的扰动。UAP以及GD-UAP是两种针对卷积神经网络的通用扰动生成方法,在本实验中将这两种方法引用到ViTs机构中用于扰动的优化。如表1所示,本发明基于通用扰动的对抗样本生成方法在ViTs模型中具有最高的对抗样本转化率。如图3所示,由于本发明通过继承式注意力权重矩阵来优化扰动,可以在不影响视觉效果的前提下将正常的训练样本转化为对抗样本,并可以明显揭示当前ViT训练得到的注意力机制的不足,通过对这类对抗样本的训练,可以很大程度的提高模型的鲁棒性。
表1
以下为验证本发明基于通用扰动的对抗样本生成方法得到的最佳通用扰动在ViT模型中的视觉效果:
如图4所示,不同结构的最佳通用扰动存在很大的差异,但是均具有分块的纹理特征,这符合ViT将输入图像分为块序列进行特征整合的基本过程。同样的,可以看到最佳通用扰动在将训练样本转化为对抗样本的过程中,不会产生明显的视觉差异,可以很好的模拟在现实应用过程中,模型可能需要检测具有微小扰动的目标图片,从而在模型训练阶段提高模型对该类型图片的抗干扰能力。
如图5所示,本发明基于通用扰动的对抗样本生成系统包括:样本获取单元1、扰动初始化单元2、最佳通用扰动确定单元3及终极对抗图像生成单元4。
其中,所述样本获取单元1用于获取训练样本集;所述训练样本集中包括多张样本图像。
所述扰动初始化单元2用于随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像;所述ViT模型包括多个相同的单元,每个单元均包括多个注意力算子。
所述最佳通用扰动确定单元3与所述样本获取单元1及所述扰动初始化单元2连接,所述最佳通用扰动确定单元3用于根据所述优化目标,对所述初始扰动图像进行迭代优化,得到最佳通用扰动。
所述终极对抗图像生成单元4与所述最佳通用扰动确定单元3连接,所述终极对抗图像生成单元4用于将所述最佳通用扰动线性加在待训练样本集中的样本图像中,得到对应的终极对抗图像。
具体地,所述最佳通用扰动确定单元3包括:初始对抗图像生成模块、第一继承式注意力权重矩阵确定模块、第二继承式注意力权重矩阵确定模块、优化目标确定模块、优化模块及最佳通用扰动确定模块。
其中,所述对抗图像生成模块分别与所述样本获取单元1及所述扰动初始化单元2连接,所述初始对抗图像生成模块用于针对第n次迭代,将第n-1次优化后的扰动图像线性加在第n张样本图像中,得到第n张对抗图像,1≤n≤N,N为样本图像的数量;第0次优化后的扰动图像为初始扰动图像。
所述第一继承式注意力权重矩阵确定模块分别与所述样本获取单元及所述对抗图像生成模块连接,所述第一继承式注意力权重矩阵确定模块用于根据第n张样本图像及ViT模型,确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵。
所述第二继承式注意力权重矩阵确定模块与所述对抗图像生成模块连接,所述第二继承式注意力权重矩阵确定模块用于根据第n张对抗图像及ViT模型,确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵。
所述优化目标确定模块分别与所述第一继承式注意力权重矩阵确定模块及所述第二继承式注意力权重矩阵确定模块连接,所述优化目标确定模块用于根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵,确定优化目标。
所述优化模块分别与所述优化目标确定模块及所述对抗图像生成模块连接,所述优化模块用于根据所述优化目标,对第n-1次优化后的扰动图像进行优化,得到第n次优化后的扰动图像;
所述最佳通用扰动确定模块与所述优化目标确定模块连接,所述最佳通用扰动确定模块用于当迭代次数大于或等于样本图像的数量或优化目标收敛时,将当前扰动图像作为最佳通用扰动图像。
进一步地,所述第一继承式注意力权重矩阵确定模块包括:自注意权重矩阵确定子模块、平均注意力权重矩阵确定子模块及继承式注意力权重矩阵确定子模块。
其中,所述自注意权重矩阵确定子模块分别与所述样本获取单元及所述对抗图像生成模块连接,所述自注意权重矩阵确定子模块用于根据第n张样本图像及ViT模型,得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵。
所述平均注意力权重矩阵确定子模块与所述自注意权重矩阵确定子模块连接,所述平均注意力权重矩阵确定子模块用于根据各单元中各注意力算子的自注意权重矩阵,确定各单元的平均注意力权重矩阵。
所述继承式注意力权重矩阵确定子模块与所述平均注意力权重矩阵确定子模块连接,所述继承式注意力权重矩阵确定子模块用于根据前l-1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵,得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。
相对于现有技术,本发明基于通用扰动的对抗样本生成系统与上述基于通用扰动的对抗样本生成方法的有益效果相同,在此不再赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于通用扰动的对抗样本生成方法,应用于ViT模型的训练,其特征在于,所述基于通用扰动的对抗样本生成方法包括:
获取训练样本集;所述训练样本集中包括多张样本图像;
随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像;所述ViT模型包括多个相同的单元,每个单元均包括多个注意力算子;
根据所述训练样本集及所述ViT模型的各注意力算子,对所述初始扰动图像进行迭代优化,得到最佳通用扰动图像;
将所述最佳通用扰动线性加在待训练样本集中的样本图像中,得到对应的终极对抗图像。
2.根据权利要求1所述的基于通用扰动的对抗样本生成方法,其特征在于,所述根据所述训练样本集及所述ViT模型的各注意力算子,对所述初始扰动图像进行迭代优化,得到最佳通用扰动图像,具体包括:
针对第n次迭代,将第n-1次优化后的扰动图像线性加在第n张样本图像中,得到第n张对抗图像,1≤n≤N,N为样本图像的数量;第0次优化后的扰动图像为初始扰动图像;
根据第n张样本图像及ViT模型,确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵;
根据第n张对抗图像及ViT模型,确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵;
根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵,确定优化目标;
根据所述优化目标,对第n-1次优化后的扰动图像进行优化,得到第n次优化后的扰动图像;
当迭代次数大于或等于样本图像的数量或优化目标收敛时,将当前扰动图像作为最佳通用扰动图像。
3.根据权利要求2所述的基于通用扰动的对抗样本生成方法,其特征在于,所述根据第n张样本图像及ViT模型,确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵,具体包括:
根据第n张样本图像及ViT模型,得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵;
根据各单元中各注意力算子的自注意权重矩阵,确定各单元的平均注意力权重矩阵;
根据前l-1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵,得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。
6.根据权利要求2所述的基于通用扰动的对抗样本生成方法,其特征在于,所述根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵,确定优化目标,具体包括:
计算第n张样本图像在各单元中各注意力算子中的的第一继承式注意力权重矩阵与第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的余弦距离;
根据余弦距离,确定优化目标。
8.根据权利要求2所述的基于通用扰动的对抗样本生成方法,其特征在于,所述根据所述优化目标,对第n-1次优化后的扰动图像进行优化,得到第n次优化后的扰动图像,具体包括:
采用Adam优化器对第n-1次优化后的扰动图像进行反向传播优化,得到第n次优化后的扰动图像。
9.根据权利要求1所述的基于通用扰动的对抗样本生成方法,其特征在于,所述基于通用扰动的对抗样本生成方法还包括:
针对第n次迭代优化,判断第n-1次优化后的扰动图像的像素值是否大于最大约束值;
若第n-1次优化后的扰动图像的像素值大于最大约束值,则将第n-1次优化后的扰动图像的像素值赋值为最大约束值,继续进行迭代优化。
10.一种基于通用扰动的对抗样本生成系统,其特征在于,所述基于通用扰动的对抗样本生成系统包括:
样本获取单元,用于获取训练样本集;所述训练样本集中包括多张样本图像;
扰动初始化单元,用于随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像;所述ViT模型包括多个相同的单元,每个单元均包括多个注意力算子;
最佳通用扰动确定单元,与所述样本获取单元及所述扰动初始化单元连接,用于根据所述训练样本集及所述ViT模型的各注意力算子,对所述初始扰动图像进行迭代优化,得到最佳通用扰动;
终极对抗图像生成单元,与所述最佳通用扰动确定单元连接,用于将所述最佳通用扰动线性加在待训练样本集中的样本图像中,得到对应的终极对抗图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110922756.1A CN113627597B (zh) | 2021-08-12 | 2021-08-12 | 一种基于通用扰动的对抗样本生成方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110922756.1A CN113627597B (zh) | 2021-08-12 | 2021-08-12 | 一种基于通用扰动的对抗样本生成方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113627597A true CN113627597A (zh) | 2021-11-09 |
CN113627597B CN113627597B (zh) | 2023-10-13 |
Family
ID=78384753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110922756.1A Active CN113627597B (zh) | 2021-08-12 | 2021-08-12 | 一种基于通用扰动的对抗样本生成方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627597B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114444579A (zh) * | 2021-12-31 | 2022-05-06 | 北京瑞莱智慧科技有限公司 | 通用扰动获取方法、装置、存储介质及计算机设备 |
CN114943641A (zh) * | 2022-07-26 | 2022-08-26 | 北京航空航天大学 | 基于模型共享结构的对抗纹理图像生成方法和装置 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030117652A1 (en) * | 1999-09-17 | 2003-06-26 | Paul Lapstun | Rotationally symmetric tags |
WO2014085486A2 (en) * | 2012-11-30 | 2014-06-05 | Waters Technologies Corporation | Methods and apparatus for the analysis of vitamin d metabolites |
CN106611601A (zh) * | 2017-01-23 | 2017-05-03 | 天津大学 | 一种基于dwt‑svd和粒子群优化的音频水印方法 |
CN109196559A (zh) * | 2016-05-28 | 2019-01-11 | 微软技术许可有限责任公司 | 动态体素化点云的运动补偿压缩 |
CN109272031A (zh) * | 2018-09-05 | 2019-01-25 | 宽凳(北京)科技有限公司 | 一种训练样本生成方法及装置、设备、介质 |
KR20190046099A (ko) * | 2017-10-25 | 2019-05-07 | 서울대학교산학협력단 | 심층 신경망 기반의 정보 처리 장치 및 방법 |
CN111242166A (zh) * | 2019-12-30 | 2020-06-05 | 南京航空航天大学 | 一种通用对抗扰动生成方法 |
US20200265271A1 (en) * | 2019-02-15 | 2020-08-20 | Baidu Usa Llc | Systems and methods for joint adversarial training by incorporating both spatial and pixel attacks |
CN111738374A (zh) * | 2020-08-28 | 2020-10-02 | 北京智源人工智能研究院 | 多样本对抗扰动生成方法、装置、存储介质和计算设备 |
CN111797732A (zh) * | 2020-06-22 | 2020-10-20 | 电子科技大学 | 一种对采样不敏感的视频动作识别对抗攻击方法 |
CN112215251A (zh) * | 2019-07-09 | 2021-01-12 | 百度(美国)有限责任公司 | 用于使用基于特征分散的对抗训练来防御对抗攻击的系统和方法 |
CN112907589A (zh) * | 2021-04-02 | 2021-06-04 | 联通(上海)产业互联网有限公司 | 一种检测异常并且分割图像中异常区域的深度学习算法 |
CN112949822A (zh) * | 2021-02-02 | 2021-06-11 | 中国人民解放军陆军工程大学 | 一种基于双重注意力机制的低感知性对抗样本构成方法 |
DE102019219923A1 (de) * | 2019-12-17 | 2021-06-17 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen |
CN113096131A (zh) * | 2021-06-09 | 2021-07-09 | 紫东信息科技(苏州)有限公司 | 基于vit网络的胃镜图片多标签分类系统 |
CN113177616A (zh) * | 2021-06-29 | 2021-07-27 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、设备及存储介质 |
-
2021
- 2021-08-12 CN CN202110922756.1A patent/CN113627597B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030117652A1 (en) * | 1999-09-17 | 2003-06-26 | Paul Lapstun | Rotationally symmetric tags |
WO2014085486A2 (en) * | 2012-11-30 | 2014-06-05 | Waters Technologies Corporation | Methods and apparatus for the analysis of vitamin d metabolites |
CN109196559A (zh) * | 2016-05-28 | 2019-01-11 | 微软技术许可有限责任公司 | 动态体素化点云的运动补偿压缩 |
CN106611601A (zh) * | 2017-01-23 | 2017-05-03 | 天津大学 | 一种基于dwt‑svd和粒子群优化的音频水印方法 |
KR20190046099A (ko) * | 2017-10-25 | 2019-05-07 | 서울대학교산학협력단 | 심층 신경망 기반의 정보 처리 장치 및 방법 |
CN109272031A (zh) * | 2018-09-05 | 2019-01-25 | 宽凳(北京)科技有限公司 | 一种训练样本生成方法及装置、设备、介质 |
US20200265271A1 (en) * | 2019-02-15 | 2020-08-20 | Baidu Usa Llc | Systems and methods for joint adversarial training by incorporating both spatial and pixel attacks |
CN112215251A (zh) * | 2019-07-09 | 2021-01-12 | 百度(美国)有限责任公司 | 用于使用基于特征分散的对抗训练来防御对抗攻击的系统和方法 |
DE102019219923A1 (de) * | 2019-12-17 | 2021-06-17 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen |
CN111242166A (zh) * | 2019-12-30 | 2020-06-05 | 南京航空航天大学 | 一种通用对抗扰动生成方法 |
CN111797732A (zh) * | 2020-06-22 | 2020-10-20 | 电子科技大学 | 一种对采样不敏感的视频动作识别对抗攻击方法 |
CN111738374A (zh) * | 2020-08-28 | 2020-10-02 | 北京智源人工智能研究院 | 多样本对抗扰动生成方法、装置、存储介质和计算设备 |
CN112949822A (zh) * | 2021-02-02 | 2021-06-11 | 中国人民解放军陆军工程大学 | 一种基于双重注意力机制的低感知性对抗样本构成方法 |
CN112907589A (zh) * | 2021-04-02 | 2021-06-04 | 联通(上海)产业互联网有限公司 | 一种检测异常并且分割图像中异常区域的深度学习算法 |
CN113096131A (zh) * | 2021-06-09 | 2021-07-09 | 紫东信息科技(苏州)有限公司 | 基于vit网络的胃镜图片多标签分类系统 |
CN113177616A (zh) * | 2021-06-29 | 2021-07-27 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
李祥坤,杨争峰,曾霞,刘志明: "《一种面向图像识别的神经网络 通用扰动生成算法》", 《系统科学与数学》, vol. 39, no. 12, pages 1945 - 1962 * |
韦健杰, 吕东辉, 陆小锋, 孙广玲: "《基于快速特征欺骗的通用扰动生成改进方法》", 《应用科学学报》, vol. 38, no. 6, pages 987 - 994 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114444579A (zh) * | 2021-12-31 | 2022-05-06 | 北京瑞莱智慧科技有限公司 | 通用扰动获取方法、装置、存储介质及计算机设备 |
CN114943641A (zh) * | 2022-07-26 | 2022-08-26 | 北京航空航天大学 | 基于模型共享结构的对抗纹理图像生成方法和装置 |
CN114943641B (zh) * | 2022-07-26 | 2022-10-28 | 北京航空航天大学 | 基于模型共享结构的对抗纹理图像生成方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113627597B (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110059878B (zh) | 基于cnn lstm光伏发电功率预测模型及其构建方法 | |
CN106570464B (zh) | 一种快速处理人脸遮挡的人脸识别方法及装置 | |
CN110909926A (zh) | 基于tcn-lstm的太阳能光伏发电预测方法 | |
CN113674140B (zh) | 一种物理对抗样本生成方法及系统 | |
CN109635763B (zh) | 一种人群密度估计方法 | |
CN113989100B (zh) | 一种基于样式生成对抗网络的红外纹理样本扩充方法 | |
CN113627597A (zh) | 一种基于通用扰动的对抗样本生成方法及系统 | |
CN110728629A (zh) | 一种用于对抗攻击的图像集增强方法 | |
CN111931801B (zh) | 一种基于路径多样性与一致性的动态路由网络学习方法 | |
CN113688869A (zh) | 一种基于生成对抗网络的光伏数据缺失重构方法 | |
CN109949200B (zh) | 基于滤波器子集选择和cnn的隐写分析框架构建方法 | |
CN112017255A (zh) | 一种根据食谱生成食物图像的方法 | |
CN116030302A (zh) | 基于表征数据增强和损失再平衡的长尾图像识别方法 | |
CN117439069A (zh) | 一种基于神经网络的电量预测方法 | |
CN114708479B (zh) | 一种基于图结构和特征的自适应防御方法 | |
CN111222583B (zh) | 一种基于对抗训练与关键路径提取的图像隐写分析方法 | |
CN113283577A (zh) | 一种基于元学习和生成对抗网络的工业平行数据生成方法 | |
CN115659254A (zh) | 一种双模态特征融合的配电网电能质量扰动分析方法 | |
CN115564983A (zh) | 目标检测方法、装置、电子设备、存储介质及其应用 | |
CN115496144A (zh) | 配电网运行场景确定方法、装置、计算机设备和存储介质 | |
CN116258504B (zh) | 银行客户关系管理系统及其方法 | |
CN115984667A (zh) | 一种基于Fisher信息的对抗训练泛化能力提升方法 | |
CN115100599A (zh) | 基于掩码transformer的半监督人群场景异常检测方法 | |
CN115331081A (zh) | 图像目标检测方法与装置 | |
CN115239967A (zh) | 一种基于Trans-CSN生成对抗网络的图像生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |