CN116188874A - 一种图像对抗样本生成方法及系统 - Google Patents

一种图像对抗样本生成方法及系统 Download PDF

Info

Publication number
CN116188874A
CN116188874A CN202310258685.9A CN202310258685A CN116188874A CN 116188874 A CN116188874 A CN 116188874A CN 202310258685 A CN202310258685 A CN 202310258685A CN 116188874 A CN116188874 A CN 116188874A
Authority
CN
China
Prior art keywords
original image
image
gradient information
disturbance
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310258685.9A
Other languages
English (en)
Inventor
王世海
邱伟国
施腾飞
安东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202310258685.9A priority Critical patent/CN116188874A/zh
Publication of CN116188874A publication Critical patent/CN116188874A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及一种图像对抗样本生成方法及系统，属于图像处理技术领域，解决了现有技术中VIT模型生成的对抗样本的迁移攻击成功率不高的问题。该方法包括：获取原始图像，将原始图像输入VIT模型；对原始图像执行以下迭代操作：对原始图像进行掩码处理，得到输入样本；基于VIT模型的自注意力机制，获取输入样本的梯度信息；根据梯度信息，计算出梯度阈值，并根据梯度阈值，生成扰动缩放掩码；根据扰动缩放掩码，更新梯度信息；根据更新后的梯度信息，更新扰动值，并将扰动值加入到原始图像中更新原始图像，对更新后的原始图像进行下一次迭代操作，直至迭代结束；最终更新后的原始图像，即为原始图像的对抗样本。实现了对抗样本迁移攻击成功率的提高。

Description

一种图像对抗样本生成方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像对抗样本生成方法及系统。
背景技术
随着深度学习技术的广泛应用，越来越多的研究者开始担心其安全性、可靠性。由于深度学习的参数数量巨大，其工作原理变得不可解释，不可捉摸，虽然在任务的准确性上，模型的效率有了巨大的提高，但是在安全性的保障上却捉襟见肘。
对图片增加人眼无法察觉的扰动就可以使深度学习模型失效，其添加了扰动的图片则称为对抗样本。对抗样本的出现，一方面证明了深度学习模型存在着安全性的缺陷，另一方面也促进了深度学习模型安全性的发展。因此，对抗样本的攻击性研究是促成深度学习模型安全性提升不可或缺的一步，越是强力的对抗样本，越能指导设计出安全的深度学习模型。
现有生成对抗样本的方法中攻击的本地对象主要针对CNN模型，而且对攻击的本地模型和被攻击的黑盒模型相关性依赖比较大，直接应用在结构迥异的VIT模型(VisionTransformer)上迁移成功率大大下降。另外，现有只针对模型结构、梯度回传方式、梯度信息的获取上做优化，未利用梯度信息，迁移成功率难以显著提高。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种图像对抗样本生成方法及系统，用以解决现有VIT模型生成的对抗样本的迁移攻击成功率不高的问题。
一方面，本发明实施例提供了一种图像对抗样本生成方法，包括以下步骤：
获取原始图像，将原始图像输入VIT模型；
对原始图像执行以下迭代操作：对原始图像进行掩码处理，得到输入样本；基于VIT模型的自注意力机制，获取输入样本的梯度信息；根据梯度信息，计算出梯度阈值，并根据梯度阈值，生成扰动缩放掩码；根据扰动缩放掩码，更新梯度信息；根据更新后的梯度信息，更新扰动值，并将扰动值加入到原始图像中更新原始图像，对更新后的原始图像进行下一次迭代操作，直至迭代结束；最终更新后的原始图像，即为原始图像的对抗样本。
基于上述方法的进一步改进，对原始图像进行掩码处理，得到输入样本，包括：
根据原始图像的尺寸和VIT模型中设置的每个图像块的长度，划分原始图像，得到图像块集合；根据预置数量，随机选取图像块，将其掩码设置为1，剩余图像块的掩码设置为0，对图像块进行掩码运算后，得到的图像块集合作为输入样本。
基于上述方法的进一步改进，基于VIT模型的自注意力机制，获取输入样本的梯度信息，包括：
在前向传播中，根据自注意力机制中的查询向量、键向量和值向量的权重，得到输入样本对应的输出结果；
在反向传播中，忽略自注意力机制中的查询向量和键向量，通过求导，得到输出结果对输入样本的梯度信息。
基于上述方法的进一步改进，通过以下公式求导，得到输出结果对输入样本的梯度信息：
Figure BDA0004130427420000031
其中，gk为第k次迭代操作中的梯度信息，包括输入图像上每个像素点的梯度信息，x'k为第k次迭代操作中的输入样本x对应的输出结果，V为自注意力机制中值向量的权重，A为自注意力权重，
Figure BDA0004130427420000032
表示对角线元素值为1的单位矩阵，(·)T表示矩阵转置，/>
Figure BDA0004130427420000033
表示克罗内克的乘积。
基于上述方法的进一步改进，根据梯度信息，计算出梯度阈值，包括：
根据所有像素点的梯度信息的和，及梯度信息中非零梯度信息的数量，计算出非零梯度信息的均值，作为梯度阈值。
基于上述方法的进一步改进，根据梯度阈值，通过以下公式生成扰动缩放掩码：
Figure BDA0004130427420000034
其中，
Figure BDA0004130427420000035
为第k次迭代操作中输入样本上像素点(i,j)的扰动缩放掩码，a0为预置的扰动向量缩放系数，inc为动态增长步长，/>
Figure BDA0004130427420000036
为第k次迭代操作的梯度阈值；/>
Figure BDA0004130427420000037
为第k次迭代操作中输入样本上像素点(i,j)的梯度信息。
基于上述方法的进一步改进，动态增长步长根据最大扰动值的平方除以迭代操作的总次数而得到。
基于上述方法的进一步改进，根据扰动缩放掩码，通过以下公式更新梯度信息：
Figure BDA0004130427420000041
其中，g'k为第k次迭代操作中更新后的梯度信息，μ为预置的动量迭代系数，gk为第k次迭代操作中的梯度信息，||·||1为1范数。
基于上述方法的进一步改进，根据更新后的梯度信息，通过以下公式更新扰动值：
δk+1＝clip∈(δk+α·sign(g'k))
其中，δk+1为更新后的扰动值，δk为当前第k次迭代操作中的扰动值，α为单次扰动更新步长，sign(·)为符号函数，clip∈(·)为裁剪函数，表示将扰动值裁剪至[-∈，∈]范围。
另一方面，本发明实施例提供了一种图像对抗样本生成系统，包括：
图像采集模块，用于获取原始图像，将原始图像输入VIT模型；
对抗样本生成模块，用于对原始图像执行以下迭代操作：对原始图像进行掩码处理，得到输入样本；基于VIT模型的自注意力机制，获取输入样本的梯度信息；根据梯度信息，计算出梯度阈值，并根据梯度阈值，生成扰动缩放掩码；根据扰动缩放掩码，更新梯度信息；根据更新后的梯度信息，更新扰动值，并将扰动值加入到原始图像中更新原始图像，对更新后的原始图像进行下一次迭代操作，直至迭代结束；最终更新后的原始图像，即为原始图像的对抗样本。
与现有技术相比，本发明至少可实现如下有益效果之一：通过随机对图像进行掩码处理，增加输入样本的多样性，避免过拟合；并引入双动态机制，通过动态的注意力机制，筛选出样本图片中重要性高的点位，再通过动量机制进行有效的缩放攻击，在最大化保留原始图像特征的基础上，加强了对空间梯度信息和时间梯度信息的利用，提高了VIT场景下的迁移攻击成功率。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例1中一种图像对抗样本生成方法流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
本发明的一个具体实施例，公开了一种图像对抗样本生成方法，如图1所示，包括以下步骤：
S11：获取原始图像，将原始图像输入VIT模型。
需要说明的是，原始图像x∈X＝[0,1]m×n×w由m×n个像素位置的w通道组成，原始图像可以采用ImageNet中的ILSVRC数据集(ImageNet Large-Scale Visual RecognitionChallenge)，该数据集共有1000个分类，每个图片的尺寸大小为299×299像素，3色彩通道。
VIT模型包括三个模块：Embedding层、Transformer编码层和MLP Head层。其中，Embedding层用于将三维图像转换为二维矩阵，Transformer编码层由多个编码块重复堆叠组成，每个编码块包括多头自注意力机制模块、跳跃连接(Add)和层规范化(Norm)三部分；MLP Head层用于从Transformer编码层的输出中提取出分类信息得到分类结果。
需要说明的是，如果原始图像与VIT模型的输入图像的尺寸不一致，调整原始图像。示例性地，原始图像尺寸299×299×3(分别代表图像的长、宽和RGB三通道数)，而VIT模型中的ViT-B/16模型所需的图像尺寸是224×224×3，则将原始图像调整为224×224×3后输入VIT模型中。
需要说明的是，获取的原始图像可以进一步地划分为训练集和测试集，其中训练集用于对VIT模型进行训练，测试集用于对VIT模型进行性能测试，以防止VIT模型对训练集的过拟合以及欠训练。对训练集和测试集的使用属于常规用法，本实施例不再分别阐述。
S12：对原始图像执行以下迭代操作：对原始图像进行掩码处理，得到输入样本；基于VIT模型的自注意力机制，获取输入样本的梯度信息；根据梯度信息，计算出梯度阈值，并根据梯度阈值，生成扰动缩放掩码；根据扰动缩放掩码，更新梯度信息；根据更新后的梯度信息，更新扰动值，并将扰动值加入到原始图像中更新原始图像，对更新后的原始图像进行下一次迭代操作，直至迭代结束；最终更新后的原始图像，即为原始图像的对抗样本。
需要说明的是，本步骤通过步骤S120-S125，迭代更新扰动值，得到对抗样本。
S120：初始化参数，包括：设置扰动δ初始值为0，最大扰动值∈，图像掩码处理中选取的图像块数量，扰动向量缩放系数a0，动量迭代系数μ，当前迭代操作的次数k，迭代操作的总次数K，即最大迭代次数，通常设置为10的倍数。
S121：对原始图像进行掩码处理，得到输入样本。
现有技术中VIT模型会先将传入的原始图像划分为一个个的图像块，本实施例为了增加样本的输入多样性，提升对抗样本的迁移性，对原始图像进行掩码处理后再作为输入样本输入至Embedding层，包括：
根据原始图像的尺寸和VIT模型中设置的每个图像块的长度，划分原始图像，得到图像块集合；根据预置数量，随机选取图像块，将其掩码设置为1，剩余图像块的掩码设置为0，对图像块进行掩码运算后，得到的图像块集合作为输入样本。
S122：基于VIT模型的自注意力机制，获取输入样本的梯度信息。
需要说明的是，在Embedding层对输入样本增加类别token和位置编码信息，转换为向量后传入Transformer编码层，在Transformer编码层通过多头自注意力机制提取丰富的图像块特征。其中，多头自注意力机制即将多个单头自注意力机制模块的输出结果合并而得到。
值得注意的是，生成对抗样本的优化目标是在无穷范数的约束下，最大化模型的损失函数，使输出的分类结果错误。通常通过梯度下降算法减小损失函数。本实施例通过改进梯度传播方式计算出梯度信息，并充分利用梯度信息，从中筛选出分类时所关注的区域，在这些区域上增加和放大扰动，从而提升对抗样本的攻击效果。
具体来说，在每个单头自注意力机制模块的前向传播中，根据自注意力机制中的查询向量、键向量和值向量的权重，计算得到的输出结果是将输入样本乘以值向量的权重之后再乘以自注意力权重而得到，用以下公式表示：
x'k＝A(xkV) 公式(1)
Figure BDA0004130427420000081
其中，x'k为第k次迭代操作中的输入样本xk对应的输出结果，
Figure BDA0004130427420000082
是自注意力权重，/>
Figure BDA0004130427420000083
分别为自注意力机制中查询向量、键向量和值向量的权重，N为输入样本中图像块的数量，Dh为自注意力头的维度，D为每个图像块特征的维度，(·)T表示矩阵转置，softmax(·)表示归一化函数。
进一步地，在每个单头自注意力机制模块的反向传播中，忽略自注意力机制中的查询向量和键向量，通过以下公式求导，得到输出结果对输入样本的梯度信息：
Figure BDA0004130427420000084
其中，gk为第k次迭代操作中的梯度信息，包括输入图像上每个像素点的梯度信息，
Figure BDA0004130427420000085
表示对角线元素值为1的单位矩阵，/>
Figure BDA0004130427420000086
表示克罗内克的乘积。
需要说明的是，反向传播中忽略自注意力机制中的查询向量和键向量，是为了关注输入样本自身的反向传播，而不是来自于自注意力机制所代表的特征的反向传播。这使得输入样本的反向传播梯度有了较为强大的通用性，可以较好的屏蔽掉VIT模型自身结构设置所带来的影响，从而提高样本的迁移攻击成功率。
S123：根据梯度信息，计算出梯度阈值，并根据梯度阈值，生成扰动缩放掩码。
在获取到梯度信息后，根据梯度阈值选取大于梯度阈值的区域作为分类关注的区域。具体来说，根据所有像素点的梯度信息的和，及梯度信息中非零梯度信息的数量，计算出非零梯度信息的均值，作为梯度阈值，公式表示如下：
Figure BDA0004130427420000091
其中，
Figure BDA0004130427420000092
为第k次迭代操作的梯度阈值，/>
Figure BDA0004130427420000093
为第k次迭代操作中输入样本上像素点(i,j)的梯度信息，/>
Figure BDA0004130427420000094
Figure BDA0004130427420000095
为布尔函数，表示当/>
Figure BDA0004130427420000096
不为0，函数值为1，当/>
Figure BDA0004130427420000097
为0，函数值为0。
对大于梯度阈值的元素位置，在每次迭代中增加扰动，对小于等于梯度阈值的元素位置，缩小扰动，通过以下公式生成扰动缩放掩码：
Figure BDA0004130427420000098
其中，
Figure BDA0004130427420000099
为第k次迭代操作中输入样本上像素点(i,j)的扰动缩放掩码，a0为预置的扰动向量缩放系数，inc为动态增长步长，根据最大扰动值的平方除以迭代操作的总次数而得到。
S124：根据扰动缩放掩码，更新梯度信息；根据更新后的梯度信息，更新扰动值，并将扰动值加入到原始图像中更新原始图像。
进一步地，基于动量机制，根据扰动缩放掩码，通过以下公式更新梯度信息：
Figure BDA00041304274200000910
其中，g'k为第k次迭代操作中更新后的梯度信息，μ为预置的动量迭代系数，gk为第k次迭代操作中的梯度信息，||·||1为1范数。
进一步地，根据更新后的梯度信息，更新扰动值，包括：将更新后的梯度信息转换为固定步长的扰动单位方向向量，与当前迭代中的扰动值相加并约束在无穷范数的扰动上下限中，得到下一次迭代操作中的扰动值，公式表示如下：
δk+1＝clip∈(δk+α·sign(g'k)) 公式(7)
其中，δk+1为更新后的扰动值，δk为当前第k次迭代操作中的扰动值，α为单次扰动更新步长，根据最大扰动值除以迭代操作的总次数而得到；sign(·)为符号函数：当g'k大于0时，符号函数值为1；当g'k等于0时，符号函数值为0；当g'k小于0时，符号函数值为-1；clip∈(·)为裁剪函数，表示将扰动值裁剪至[-∈，∈]范围。
将更新后的扰动值δk+1按像素点位置对应加入到原始图像的像素值中，对原始图像更新。
S125：递增迭代次数k，如果未达到最大迭代次数K，则返回步骤S121，对更新后的原始图像进行下一次迭代操作，否则，迭代结束，最终更新后的原始图像，即为原始图像的对抗样本。
具体实施时，将攻击本地VIT模型(白盒模型)生成的对抗样本，分别输入至被攻击的VIT模型和CNN模型(黑盒模型)，通过计算黑盒模型分类的成功率来验证迁移攻击的效果。考虑到往往需要用攻击一个白盒模型的生成样本攻击多个黑盒模型，因此，成功率包括攻击一个黑盒模型的单成功率ASR(Attack Success Rate)和攻击多个黑盒模型的平均成功率AASR(Average Attack Success Rate)，公式如下所示：
Figure BDA0004130427420000101
Figure BDA0004130427420000102
其中，ASR表示在样本总量为H的数据集上，在原样本xr添加扰动δ后分类器的最终判定类别f(xr+δ)和原始类别y不同的数量与样本总量H的比率；AASR表示当白盒模型生成的样本攻击了M个黑盒模型之后的平均成功率。
本实施例在攻击本地VIT模型生成对抗样本时，设置无穷范数下的最大扰动值∈为16，损失函数为交叉熵损失函数，迭代操作的总次数为10，则单次扰动更新步长α为1.6，动态增长步长inc为2.56。图像块的长度为16，则224×224的图像被划分为196块。选择的VIT模型包括：ViT-B/16，DeiT-B，TNT-S，LeViT-256，PiT-B，CaiT-S-24，ConViT-B和Visformer-S。
在VIT场景下，即攻击的本地白盒模型和被攻击的黑盒模型均是VIT模型时，采用本实施例方法得到的攻击成功率ASR和AASR如表1所示。
表1 VIT场景下的成功率结果表
Figure BDA0004130427420000111
由表1可以看出，表格对角线上是白盒模型和黑盒模型为同一个模型时，攻击成功率全部超过95％，在不考虑这种理想情况下，计算的AASR平均也达到63.71％。
在相同的VIT场景参数设置下，将本实施例的方法和其它算法进行对比，结果如表2所示。
表2 VIT场景下的各算法对比结果表
Figure BDA0004130427420000112
Figure BDA0004130427420000121
从表2的结果可以看出，在白盒模型和黑盒模型均为VIT模型的场景下，本实施例的方法比表中其他黑盒攻击算法的平均成功率AASR高。
在CNN场景下，即攻击的本地白盒模型是VIT模型，而被攻击的黑盒模型是CNN模型时，采用本实施例方法得到的攻击成功率ASR和AASR如表3所示。其中，Inc-v3，Inc-v4，IncRes-V2和ResNet-V2是原始CNN模型，未经对抗样本训练过。
表3CNN场景下的成功率结果表
Figure BDA0004130427420000122
从表3的结果可以看出，在CNN模型场景下本实施例的AASR平均达到了44.45％，由此可见，在本地白盒模型是VIT模型的情况下生成的对抗样本，在迁移攻击CNN模型时，也能取得较好的效果。
在相同的CNN场景参数设置下，将本实施例的方法和其它算法进行对比，结果如表4所示。
表4CNN场景下的各算法对比结果表
Figure BDA0004130427420000123
Figure BDA0004130427420000131
从表4的结果可以看出，本实施例的方法在CNN模型场景下，与其它算法相比，也具有一定的优势。
与现有技术相比，本实施例提供的一种图像对抗样本生成方法，通过随机对图像进行掩码处理，增加输入样本的多样性，避免过拟合；并引入双动态机制，通过动态的注意力机制，筛选出样本图片中重要性高的点位，再通过动量机制进行有效的缩放攻击，在最大化保留原始图像特征的基础上，加强了对空间梯度信息和时间梯度信息的利用，提高了VIT场景下的迁移攻击成功率。
实施例2
本发明的另一个实施例，公开了一种图像对抗样本生成系统，从而实现实施例1中的图像对抗样本生成方法。各模块的具体实现方式参照实施例1中的相应描述。该系统包括：
图像采集模块，用于获取原始图像，将原始图像输入VIT模型；
对抗样本生成模块，用于对原始图像执行以下迭代操作：对原始图像进行掩码处理，得到输入样本；基于VIT模型的自注意力机制，获取输入样本的梯度信息；根据梯度信息，计算出梯度阈值，并根据梯度阈值，生成扰动缩放掩码；根据扰动缩放掩码，更新梯度信息；根据更新后的梯度信息，更新扰动值，并将扰动值加入到原始图像中更新原始图像，对更新后的原始图像进行下一次迭代操作，直至迭代结束；最终更新后的原始图像，即为原始图像的对抗样本。
由于本实施例图像对抗样本生成系统与前述图像对抗样本生成方法相关之处可相互借鉴，此处为重复描述，故这里不再赘述。由于本系统实施例与上述方法实施例原理相同，所以本系统实施例也具有上述方法实施例相应的技术效果。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像对抗样本生成方法，其特征在于，包括以下步骤：
获取原始图像，将原始图像输入VIT模型；
对原始图像执行以下迭代操作：对原始图像进行掩码处理，得到输入样本；基于VIT模型的自注意力机制，获取输入样本的梯度信息；根据梯度信息，计算出梯度阈值，并根据梯度阈值，生成扰动缩放掩码；根据扰动缩放掩码，更新梯度信息；根据更新后的梯度信息，更新扰动值，并将扰动值加入到原始图像中更新原始图像，对更新后的原始图像进行下一次迭代操作，直至迭代结束；最终更新后的原始图像，即为原始图像的对抗样本。
2.根据权利要求1所述的图像对抗样本生成方法，其特征在于，所述对原始图像进行掩码处理，得到输入样本，包括：
根据原始图像的尺寸和VIT模型中设置的每个图像块的长度，划分原始图像，得到图像块集合；根据预置数量，随机选取图像块，将其掩码设置为1，剩余图像块的掩码设置为0，对图像块进行掩码运算后，得到的图像块集合作为输入样本。
3.根据权利要求1所述的图像对抗样本生成方法，其特征在于，所述基于VIT模型的自注意力机制，获取输入样本的梯度信息，包括：
在前向传播中，根据自注意力机制中的查询向量、键向量和值向量的权重，得到输入样本对应的输出结果；
在反向传播中，忽略自注意力机制中的查询向量和键向量，通过求导，得到输出结果对输入样本的梯度信息。
4.根据权利要求3所述的图像对抗样本生成方法，其特征在于，通过以下公式求导，得到输出结果对输入样本的梯度信息：
Figure FDA0004130427350000011
其中，gk为第k次迭代操作中的梯度信息，包括输入图像上每个像素点的梯度信息，x'k为第k次迭代操作中的输入样本x对应的输出结果，V为自注意力机制中值向量的权重，A为自注意力权重，
Figure FDA0004130427350000027
表示对角线元素值为1的单位矩阵，(·)T表示矩阵转置，/>
Figure FDA0004130427350000021
表示克罗内克的乘积。
5.根据权利要求4所述的图像对抗样本生成方法，其特征在于，所述根据梯度信息，计算出梯度阈值，包括：
根据所有像素点的梯度信息的和，及梯度信息中非零梯度信息的数量，计算出非零梯度信息的均值，作为梯度阈值。
6.根据权利要求5所述的图像对抗样本生成方法，其特征在于，所述根据梯度阈值，通过以下公式生成扰动缩放掩码：
Figure FDA0004130427350000022
其中，
Figure FDA0004130427350000023
为第k次迭代操作中输入样本上像素点(i,j)的扰动缩放掩码，a0为预置的扰动向量缩放系数，inc为动态增长步长，/>
Figure FDA0004130427350000024
为第k次迭代操作的梯度阈值；/>
Figure FDA0004130427350000025
为第k次迭代操作中输入样本上像素点(i,j)的梯度信息。
7.根据权利要求6所述的图像对抗样本生成方法，其特征在于，所述动态增长步长根据最大扰动值的平方除以迭代操作的总次数而得到。
8.根据权利要求6所述的图像对抗样本生成方法，其特征在于，所述根据扰动缩放掩码，通过以下公式更新梯度信息：
Figure FDA0004130427350000026
其中，g'k为第k次迭代操作中更新后的梯度信息，μ为预置的动量迭代系数，gk为第k次迭代操作中的梯度信息，||g||1为1范数。
9.根据权利要求8所述的图像对抗样本生成方法，其特征在于，所述根据更新后的梯度信息，通过以下公式更新扰动值：
δk+1＝clip∈(δk+α·sign(g'k))
其中，δk+1为更新后的扰动值，δk为当前第k次迭代操作中的扰动值，α为单次扰动更新步长，sign(·)为符号函数，clip∈(·)为裁剪函数，表示将扰动值裁剪至[-∈，∈]范围。
10.一种图像对抗样本生成系统，其特征在于，包括：
图像采集模块，用于获取原始图像，将原始图像输入VIT模型；
对抗样本生成模块，用于对原始图像执行以下迭代操作：对原始图像进行掩码处理，得到输入样本；基于VIT模型的自注意力机制，获取输入样本的梯度信息；根据梯度信息，计算出梯度阈值，并根据梯度阈值，生成扰动缩放掩码；根据扰动缩放掩码，更新梯度信息；根据更新后的梯度信息，更新扰动值，并将扰动值加入到原始图像中更新原始图像，对更新后的原始图像进行下一次迭代操作，直至迭代结束；最终更新后的原始图像，即为原始图像的对抗样本。
CN202310258685.9A 2023-03-16 2023-03-16 一种图像对抗样本生成方法及系统 Pending CN116188874A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310258685.9A CN116188874A (zh) 2023-03-16 2023-03-16 一种图像对抗样本生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310258685.9A CN116188874A (zh) 2023-03-16 2023-03-16 一种图像对抗样本生成方法及系统

Publications (1)

Publication Number Publication Date
CN116188874A true CN116188874A (zh) 2023-05-30

Family

ID=86432817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310258685.9A Pending CN116188874A (zh) 2023-03-16 2023-03-16 一种图像对抗样本生成方法及系统

Country Status (1)

Country Link
CN (1) CN116188874A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151171A (zh) * 2023-09-01 2023-12-01 软安科技有限公司 一种基于监督算法的脉冲神经网络对抗性攻击方法及系统
CN117274228A (zh) * 2023-10-24 2023-12-22 脉得智能科技(无锡)有限公司 一种基于深度学习血吸虫肝病超声图像风险分级系统
CN118246516A (zh) * 2024-04-01 2024-06-25 兰州理工大学 一种基于dqn的局部像素扰动黑盒攻击方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151171A (zh) * 2023-09-01 2023-12-01 软安科技有限公司 一种基于监督算法的脉冲神经网络对抗性攻击方法及系统
CN117274228A (zh) * 2023-10-24 2023-12-22 脉得智能科技(无锡)有限公司 一种基于深度学习血吸虫肝病超声图像风险分级系统
CN118246516A (zh) * 2024-04-01 2024-06-25 兰州理工大学 一种基于dqn的局部像素扰动黑盒攻击方法

Similar Documents

Publication Publication Date Title
CN116188874A (zh) 一种图像对抗样本生成方法及系统
CN111461307B (zh) 一种基于生成对抗网络的通用扰动生成方法
CN113674140B (zh) 一种物理对抗样本生成方法及系统
CN111639692A (zh) 一种基于注意力机制的阴影检测方法
CN112507617B (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
CN111681154B (zh) 一种基于生成对抗网络的彩色图像隐写失真函数设计方法
CN111898645A (zh) 基于注意力机制的可迁移的对抗样本攻击方法
CN111709435A (zh) 一种基于离散小波变换的对抗样本生成方法
CN112287973A (zh) 基于截尾奇异值和像素插值的数字图像对抗样本防御方法
CN105787867A (zh) 基于神经网络算法的处理视频图像的方法和装置
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
CN113935396A (zh) 基于流形理论的对抗样本攻击方法及相关装置
CN116503692A (zh) 基于稀疏扰动群的对抗样本生成方法及系统
CN117173024A (zh) 一种基于整体注意力的矿井图像超分辨率重建系统及方法
JP2019197445A (ja) 画像認識装置、画像認識方法、およびプログラム
CN117313107A (zh) 一种基于生成对抗网络的可迁移对抗攻击方法
WO2020230777A1 (ja) 機械学習モデルのトレーニング方法、データ生成装置、および、学習済みの機械学習モデル
CN116863379A (zh) 基于时空自注意力单步扰动的视频预测防御方法
CN117131520A (zh) 基于动态掩膜和生成恢复的两阶段图像隐私保护方法与系统
CN116824232A (zh) 一种数据填充式的深度神经网络图像分类模型对抗训练方法
CN113379593B (zh) 一种图像生成方法、系统及相关设备
CN114900586A (zh) 一种基于dcgan的信息隐写方法及装置
CN114445889A (zh) 基于双重注意力机制的轻量级人脸老化方法
CN113077525A (zh) 一种基于频域对比学习的图像分类方法
Luo et al. Content-adaptive adversarial embedding for image steganography using deep reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination