CN114943641A - 基于模型共享结构的对抗纹理图像生成方法和装置 - Google Patents

基于模型共享结构的对抗纹理图像生成方法和装置 Download PDF

Info

Publication number
CN114943641A
CN114943641A CN202210886768.8A CN202210886768A CN114943641A CN 114943641 A CN114943641 A CN 114943641A CN 202210886768 A CN202210886768 A CN 202210886768A CN 114943641 A CN114943641 A CN 114943641A
Authority
CN
China
Prior art keywords
image
image block
attention
pixel
zero
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210886768.8A
Other languages
English (en)
Other versions
CN114943641B (zh
Inventor
刘祥龙
王雨轩
王嘉凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210886768.8A priority Critical patent/CN114943641B/zh
Publication of CN114943641A publication Critical patent/CN114943641A/zh
Application granted granted Critical
Publication of CN114943641B publication Critical patent/CN114943641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于模型共享结构的对抗纹理图像生成方法和装置。该方法包括如下步骤：将输入的原始样本图像转化为图像块序列，图像块序列输入到视觉转换器模型，进行自注意力机制运算，得到图像块序列之间的注意力不确定性权重；根据注意力不确定性权重，确定各图像块的扰动像素分配数量；将原始样本图像中的非零像素块的像素值置零，根据像素值置零前后的变化计算非零像素块对应的嵌入敏感度；根据扰动像素分配数量和嵌入敏感度生成对抗纹理图像。该方法所生成的对抗纹理图像是基于各种视觉转换器模型的共享结构，具有优越的跨模型迁移性。

Description

基于模型共享结构的对抗纹理图像生成方法和装置
技术领域
本发明涉及一种基于模型共享结构的对抗纹理图像生成方法，同时也涉及相应的对抗纹理图像生成装置，属于图像数据处理技术领域。
背景技术
目前，深度神经网络在图像分类、计算机视觉、图像检测、文本处理、自然语言处理等领域获得了广泛的应用。但随着深度神经网络的广泛应用，其缺点也逐渐暴露，其中一个主要的缺点就是深度神经网络模型容易受到对抗样本的攻击，在原始样本上添加十分微小的扰动就可以让深度神经网络模型产生误判。
随着研究工作的深入，针对深度神经网络模型的对抗攻击模式已经逐渐被系统化。根据攻击者对深度神经网络模型的了解程度，可以分为黑盒攻击、白盒攻击与灰盒攻击。其中，黑盒攻击是指在不了解深度神经网络模型的任何参数与结构的情况下进行的对抗攻击，白盒攻击是指了解深度神经网络模型的全部属性，灰盒攻击则是介于两者之间的情况，即了解深度神经网络模型的部分参数与结构。根据对抗样本实现的误分类结果，可以分为无目标攻击、目标攻击。其中，无目标攻击的对抗样本只需实现误分类，目标攻击不仅需要实现误分类，还需要让对抗样本被误分类为攻击者预设的目标类别。例如，攻击者可以通过佩戴精心设计的眼镜冒充其它人员，从而骗过人脸识别系统；攻击者还可以在车牌或者路牌上贴上一些很小的贴纸，造成错误识别，从而骗过车牌识别系统或者自动驾驶车辆的路牌识别系统。由此可见，对抗攻击会严重地破坏深度神经网络模型的性能，从而威胁IT系统的安全性，甚至威胁到人们的生命财产安全。因此，深入研究深度神经网络模型中存在的漏洞并进行防御是十分必要的。
在申请号为202210254872.5的中国专利申请中，公开了一种对抗图像的生成方法。该生成方法的具体实现方案为：为第一图像添加随机扰动，得到初始对抗图像；以及以最小化初始对抗图像属于目标类别的第一概率与初始对抗图像不属于目标类别的第二概率之间的差异为目标，调整初始对抗图像，得到针对第一图像的第一对抗图像。在申请号为202011229166.2的中国专利申请中，也公开了一种共享权重的双区域生成对抗网络及其图像生成方法。该生成对抗网络包括无伪影区域处理模块和有伪影区域处理模块，其中，无伪影区域处理模块包含第一特征生成器、第一特征解析器和第一鉴别器；有伪影区域处理模块包含第二特征生成器、伪影生成器、重建解析器、第二特征解析器和第二鉴别器。该技术方案通过多次反复使用相同的生成器和解析器进行训练，可以提高生成器和解析器的图像特征的共享性，并且使用两个区域对模型进行训练既可以进行有监督又可以进行无监督训练。
发明内容
本发明所要解决的首要技术问题在于提供一种基于模型共享结构的对抗纹理图像生成方法。
本发明所要解决的另一技术问题在于提供一种基于模型共享结构的对抗纹理图像生成装置。
为了实现上述目的，本发明采用下述的技术方案：
根据本发明实施例的第一方面，提供一种基于模型共享结构的对抗纹理图像生成方法，包括如下步骤：
将输入的原始样本图像转化为图像块序列，所述图像块序列输入到视觉转换器模型，进行自注意力机制运算，得到所述图像块序列之间的注意力不确定性权重；
根据所述注意力不确定性权重，确定各图像块的扰动像素分配数量；
将所述原始样本图像中的非零像素块的像素值置零，根据像素值置零前后的变化计算所述非零像素块对应的嵌入敏感度；
根据所述扰动像素分配数量和所述嵌入敏感度生成对抗纹理图像。
其中较优地，该生成方法还包括如下步骤：
所述对抗纹理图像作为对抗样本输入视觉转换器模型，获得经过对抗训练后的所述视觉转换器模型。
根据本发明实施例的第二方面，提供一种基于模型共享结构的对抗纹理图像生成装置，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：
将输入的原始样本图像转化为图像块序列，所述图像块序列输入到视觉转换器模型，进行自注意力机制运算，得到所述图像块序列之间的注意力不确定性权重；
根据所述注意力不确定性权重，确定各图像块的扰动像素分配数量；
将所述原始样本图像中的非零像素块的像素值置零，根据像素值置零前后的变化计算所述非零像素块对应的嵌入敏感度；
根据所述扰动像素分配数量和所述嵌入敏感度生成对抗纹理图像。
与现有技术相比较，本发明所提供的对抗纹理图像生成方法及装置基于视觉转换器模型共享结构、攻击模型中的图像块嵌入过程和自注意力机制计算，可以生成兼备攻击性和跨模型迁移性的对抗纹理图像（即对抗样本）。该方法所生成的对抗纹理图像是基于各种视觉转换器模型的共享结构，具有优越的跨模型迁移性。利用该对抗纹理图像对视觉转换器模型进行黑盒攻击后，相应的深度神经网络模型会产生错误输出，借此可以对该深度神经网络模型进行优化训练，有效提升IT系统的安全性能。
附图说明
图1为本发明实施例中，基于视觉转换器模型共享结构的对抗纹理图像生成方法的工作原理图；
图2为本发明实施例中，基于视觉转换器模型共享结构的对抗纹理图像生成方法的流程示意图；
图3为本发明实施例中，自注意力机制计算过程的示意图；
图4为本发明实施例中，视觉转换器模型中的图像块嵌入过程的示意图；
图5为本发明实施例中，某购物网站根据输入样本图像与对抗纹理图像进行识图的结果示意图；
图6为本发明实施例中，基于视觉转换器模型共享结构的对抗纹理图像生成装置的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
本发明首先提供一种基于视觉转换器模型共享结构（简称为模型共享结构，下同） 的对抗纹理图像生成方法。参见图1所示的工作原理图，针对图像分类任务进行对抗样本 （在本发明实施例中，具体为对抗纹理图像）的攻击，可以分为3步：S1为扰动像素粗分配，S2 为扰动像素精定位，S3为对抗样本攻击。其中，F表示视觉转换器（Transformer）模型，输入 样本为
Figure 624925DEST_PATH_IMAGE001
，其对应的标签为
Figure 349298DEST_PATH_IMAGE002
，其中H、W、C分别代表图像的高 度、宽度和通道数，K代表图像分类任务中的类别数量。视觉转换器模型将输入样本图像划 分为大小为
Figure 553009DEST_PATH_IMAGE003
的互不重叠的图像块（Patch），即
Figure 210386DEST_PATH_IMAGE004
，其中
Figure 441516DEST_PATH_IMAGE005
为视觉转换器模型划分的互不重叠的图像块的总数量，Xp代表其中的第p 个图像块，其中p为正整数。
假设，该视觉转换器模型可以将输入样本正确分类即
Figure 935077DEST_PATH_IMAGE006
，对抗样本攻击即 是对输入样本生成有针对性的对抗扰动
Figure 660587DEST_PATH_IMAGE007
，使得该视觉转换器模型输出错误分类即
Figure 421739DEST_PATH_IMAGE008
。利用
Figure 574502DEST_PATH_IMAGE009
运算符计算如下公式（1）：
Figure 289780DEST_PATH_IMAGE010
（1）
其中，M为一个0-1的掩码矩阵，用于表示对抗补丁区域，
Figure 802670DEST_PATH_IMAGE011
表示矩阵对应位置相 乘。
如图2所示，本发明实施例提供的模型共享结构的对抗纹理图像生成方法，至少包括如下步骤：
P1，将输入的原始样本图像转化为图像块序列，所述图像块序列输入到视觉转换器模型，进行自注意力机制运算，得到所述图像块序列之间的注意力不确定性权重。
在本发明的一个实施例中，可以利用光学相机采集N张不同物体图像或者从网络图片中选择N张图像，组成原始样本数据集X；再从原始样本数据集X中随机选择一张图像作为输入样本图像，其中N为正整数。
上述自注意力机制计算过程如图3所示：输入的原始样本图像首先被划分为互不 重叠的图像块，将其转化为一个图像块序列
Figure 965798DEST_PATH_IMAGE012
，经过图像块嵌入过 程之后，以图像块为单位进行自注意力机制的运算。对于经过图像块嵌入过程后的嵌入向 量
Figure 509037DEST_PATH_IMAGE013
，在其初始位置加入一个可学习的分类头（CLS Token）用于分类预 测，与其他图像块嵌入向量一起送入到视觉转换器模型中的多头自注意力层中，即所述视 觉转换器模型采用多头自注意力机制。
参见图3所示，对于每一个注意力头，都存在Q（query，查询）、K（key，键）、V（value，值）三个矩阵，其中a是QKV三个矩阵进行计算得到的一个中间值，b是对a和QKV进行计算得到的中间值，根据下列的自注意力关系矩阵得到图像块序列的关系矩阵，通过如下公式（2）计算不同位置之间的注意力关系：
Figure 210145DEST_PATH_IMAGE014
（2）
其中，
Figure 277458DEST_PATH_IMAGE015
为经过自注意力机制计算得到的自注意力关系矩阵，softmax是归一化指 数函数，Q和K分别代表每一层的Query（查询）矩阵和Key（键）矩阵，T为转置操作。
P2，根据所述注意力不确定性权重，确定各图像块的扰动像素分配数量；
由于自注意力机制的计算会直接影响深度神经网络模型的分类预测结果，因此在本发明实施例中采用基于自注意力机制的扰动像素分配方法，通过计算图像块之间的注意力关系来定位关键区域，以改进视觉转换器模型中的自注意力机制。对于越关键的区域分配越多的扰动像素，实现扰动像素的粗定位。
对于视觉转换器模型，定义其输入图像的图像块关系矩阵C如下：
Figure 780246DEST_PATH_IMAGE016
（3）
其中，
Figure 274813DEST_PATH_IMAGE015
为经过自注意力机制的计算得到的自注意力关系矩阵，
Figure 728797DEST_PATH_IMAGE017
代表第b个图 像块与其他图像块之间的自注意力关系。R为图像块与分类头之间的自注意力关系矩阵，
Figure 350533DEST_PATH_IMAGE018
代表第b个图像块与模型分类预测之间的相关性，
Figure 957095DEST_PATH_IMAGE019
代表矩阵的Hadamard积。
假设，视觉转换器模型中的注意力层包含h个注意力头，
Figure 871830DEST_PATH_IMAGE020
计算多头自注意力 的平均值。最终得到的图像块关系矩阵C，综合考虑了图像块之间的注意力关系和其对分类 结果的贡献程度。该图像块关系矩阵C是一个非对称矩阵，
Figure 563843DEST_PATH_IMAGE021
表示图像块p对图像块q的注 意力，其中注意力的数值越大，两个图像块之间的相关性越强。因此本发明实施例中引入了 熵的概念来计算图像块之间的注意力不确定性权重。对于每一个图像块p，注意力不确定性 权重
Figure 520428DEST_PATH_IMAGE022
由如下公式（4）得到，：
Figure 184759DEST_PATH_IMAGE023
(4)
由于计算出的注意力不确定性权重
Figure 535975DEST_PATH_IMAGE024
可以很好地代表图像块之间的注意力关系 的不确定性，因此可以根据注意力不确定性权重
Figure 212155DEST_PATH_IMAGE025
进行扰动像素分配来改进视觉转换器 模型中的自注意力机制。对于每一个图像块p，假设图像的扰动像素总数为m，则图像块p被 分配的扰动像素分配数量
Figure 424962DEST_PATH_IMAGE026
为：
Figure 989804DEST_PATH_IMAGE027
（5）
其中，
Figure 262654DEST_PATH_IMAGE003
为每一个图像块的大小，
Figure 414412DEST_PATH_IMAGE028
为向下取整函数。需要说明的是， 计算扰动像素分配数量
Figure 430909DEST_PATH_IMAGE029
后剩余的像素被随机分配到随机的图像块中。
在上述步骤P2中，采用基于自注意力机制的扰动像素分配方法对扰动像素进行了粗定位，接下来进一步搜索确定每一个图像块内部的扰动像素位置。
P3，将所述原始样本图像中的非零像素块的像素值置零，根据像素值置零前后的变化计算所述非零像素块对应的嵌入敏感度。
在本发明的一个实施例中，视觉转换器模型中的图像块嵌入过程如图4所示。其 中，视觉转换器模型在其所有层中使用固定大小的隐向量（latent vector），假设其维度标 识为embedd_dim。图像块嵌入过程具体包含一个全连接层，将每一个图像块转换为固定维 度的向量。视觉转换器模型划分得到的图像块序列
Figure 319100DEST_PATH_IMAGE030
， 经过图像块嵌入过程后得到的嵌入向量为
Figure 779162DEST_PATH_IMAGE031
。 嵌入向量与分类头相加后进行位置嵌入操作，然后送入视觉转换器模型进行后续的自注意 力计算和分类预测，因此嵌入向量的结果对于自注意力计算有着重要的影响。
由于图4所示的图像块嵌入过程会直接影响自注意力计算与模型分类预测，因此在本发明实施例中针对图像嵌入的扰动像素定位，引入了嵌入敏感度的概念。基于嵌入敏感度，找到每个图像块内对图像块嵌入过程影响最大的像素作为攻击位置进行扰动，从而进一步提高对抗样本的攻击性和跨模型迁移性。
在本发明的一个实施例中，图像块嵌入过程中的嵌入敏感度定义如下公式（6）：
Figure 933063DEST_PATH_IMAGE032
（6）
其中，对于输入图像中的一个非零像素（i，j），
Figure 205781DEST_PATH_IMAGE033
为该像素所在的图像块，
Figure 495948DEST_PATH_IMAGE034
将该位置的像素值置零，
Figure 126912DEST_PATH_IMAGE035
表示嵌入操作。通过计算将该位置的像素值置 零前后嵌入向量的变化，得到该像素对应的嵌入敏感度。
P4，根据所述扰动像素分配数量和所述嵌入敏感度生成对抗纹理图像。
假设图像块p被分配的扰动像素分配数量为
Figure 486218DEST_PATH_IMAGE029
，遍历图像块中所有的非零像素， 根据如下公式(7)确定扰动像素的位置：
Figure 110098DEST_PATH_IMAGE036
(7)
其中，
Figure 51509DEST_PATH_IMAGE037
选择图像块内嵌入敏感度最高的
Figure 525478DEST_PATH_IMAGE029
个像素并返回对应位置，
Figure 637659DEST_PATH_IMAGE038
将输入的扰动像素位置转换为一个
Figure 534071DEST_PATH_IMAGE039
的0-1掩码矩阵。根据扰动像素分配数 量和嵌入敏感度，可以最终得到输入图像的扰动像素的掩码矩阵：
Figure 549563DEST_PATH_IMAGE040
(8)
其中，
Figure 506017DEST_PATH_IMAGE041
将N个大小为
Figure 574336DEST_PATH_IMAGE039
图像块的掩码矩阵相连，输出为一个大小为
Figure 290751DEST_PATH_IMAGE042
的掩码矩阵。根据此掩码矩阵生成扰动像素的精准位置，进而生成兼备攻击性和跨 模型迁移性的对抗纹理图像（即对抗样本）。该对抗纹理图像作为对抗样本输入视觉转换器 模型，可以获得经过对抗训练后的所述视觉转换器模型。
从上述说明可以看出，本发明所提供的对抗纹理图像生成方法采用综合各种视觉转换器模型的共享结构特点和共性，采用基于自注意力机制的扰动像素分配及针对像素嵌入的扰动像素定位。其中，攻击区域的确定不依赖于某一具体模型，而且基于以像素点为基本单位进行对抗扰动，通过寻找更好的扰动像素位置，提高了对抗纹理图像（即对抗样本）的攻击性能。利用本发明，可以生成兼备攻击性和跨模型迁移性的对抗纹理图像。
图5为本发明的一个实施例中，某购物网站根据输入样本图像与对抗纹理图像进行识图的结果示意图。如图5所示，在某购物网站上根据输入样本图像进行识图，可以得到识图结果是柠檬。但是，采用本发明所述方法生成的对抗纹理图像之后，相应的识图结果却是香皂。由此可见，利用该对抗纹理图像对视觉转换器模型进行黑盒攻击后，相应的深度神经网络模型会产生错误输出，借此可以对该深度神经网络模型进行优化训练，有效提升IT系统的安全性能。
此外，表1中展示了4种对比方法（AdvP、PatchFool、Sparse PatchFool和TransferAdv）与本发明所提供的对抗纹理图像生成方法在DeiT-T模型下分别开展黑盒攻击（B）、白盒攻击（T）与灰盒攻击（S）的实验结果对比情况。
表 1
Figure 410016DEST_PATH_IMAGE043
其中，最后一行为本发明所提供的对抗纹理图像生成方法在攻击不同模型时的攻击效果。从表1中可以看出，本发明所提供的对抗纹理图像生成方法在白盒攻击上的攻击效果超越了Sparse PatchFool，高达99.72%。同时在黑盒攻击上的表现卓越，平均黑盒攻击成功率为25.70%，高于作为对比方法的TransferAdv的平均黑盒攻击成功率22.65%。因此，本发明所提供的对抗纹理图像生成方法生成的对抗纹理图像（即对抗样本）在保持强攻击性的同时，也具有优越的跨模型迁移性。
在上述基于视觉转换器模型共享结构的对抗纹理图像生成方法的基础上，本发明还提供一种基于视觉转换器模型共享结构的对抗纹理图像生成装置。如图6所示，该对抗纹理图像生成装置包括一个或多个处理器21和存储器22。其中，存储器22与处理器21耦接，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现上述实施例中基于视觉转换器模型共享结构的对抗纹理图像生成方法。
其中，处理器21用于控制该基于视觉转换器模型共享结构的对抗纹理图像生成装置的整体操作，以完成上述基于视觉转换器模型共享结构的对抗纹理图像生成方法的全部或部分步骤。该处理器21可以是中央处理器（CPU）、图形处理器（GPU）、现场可编程逻辑门阵列（FPGA）、专用集成电路（ASIC）、数字信号处理（DSP）芯片等。存储器22用于存储各种类型的数据以支持在该基于视觉转换器模型共享结构的对抗纹理图像生成方法的操作，这些数据例如可以包括用于在该基于视觉转换器模型共享结构的对抗纹理图像生成装置上操作的任何应用程序或方法的指令，以及应用程序相关的数据。
该存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（SRAM）、电可擦除可编程只读存储器（EEPROM）、可擦除可编程只读存储器（EPROM）、可编程只读存储器（PROM）、只读存储器（ROM）、磁存储器、快闪存储器等。
在一个示例性实施例中，基于视觉转换器模型共享结构的对抗纹理图像生成装置具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现，用于执行上述基于视觉转换器模型共享结构的对抗纹理图像生成方法，并达到如上述方法一致的技术效果。一种典型的实施例为计算机。具体地说，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、公安卡口检查设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在另一个示例性实施例中，本发明还提供一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任意一个实施例中的基于视觉转换器模型共享结构的对抗纹理图像生成方法的步骤。例如，该计算机可读存储介质可以为包括程序指令的存储器，上述程序指令可由基于视觉转换器模型共享结构的对抗纹理图像生成装置的处理器执行以完成上述基于视觉转换器模型共享结构的对抗纹理图像生成方法，并达到如上述方法一致的技术效果。
与现有技术相比较，本发明所提供的对抗纹理图像生成方法及装置基于视觉转换器模型共享结构、攻击模型中的图像块嵌入过程和自注意力机制计算，可以生成兼备攻击性和跨模型迁移性的对抗纹理图像（即对抗样本）。该方法所生成的对抗纹理图像是基于各种视觉转换器模型的共享结构，具有优越的跨模型迁移性。利用该对抗纹理图像对视觉转换器模型进行黑盒攻击后，相应的深度神经网络模型会产生错误输出，借此可以对该深度神经网络模型进行优化训练，有效提升IT系统的安全性能。
上面对本发明所提供的基于模型共享结构的对抗纹理图像生成方法和装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (10)

1.一种基于模型共享结构的对抗纹理图像生成方法，其特征在于包括如下步骤：
将输入的原始样本图像转化为图像块序列，所述图像块序列输入到视觉转换器模型，进行自注意力机制运算，得到所述图像块序列之间的注意力不确定性权重；
根据所述注意力不确定性权重，确定各图像块的扰动像素分配数量；
将所述原始样本图像中的非零像素块的像素值置零，根据像素值置零前后的变化计算所述非零像素块对应的嵌入敏感度；
根据所述扰动像素分配数量和所述嵌入敏感度生成对抗纹理图像。
2.如权利要求1所述的对抗纹理图像生成方法，其特征在于所述自注意力机制运算包括如下步骤：
对于所述图像块序列
Figure 251743DEST_PATH_IMAGE001
，经过图像块嵌入过程之后形 成嵌入向量
Figure 10621DEST_PATH_IMAGE002
，在初始位置加入可学习的分类头用于分类预测， 与其他图像块嵌入向量一起送入到视觉转换器模型中的多头自注意力层中。
3.如权利要求2所述的对抗纹理图像生成方法，其特征在于通过如下公式计算不同位置之间的注意力关系：
Figure 671671DEST_PATH_IMAGE003
其中，
Figure 97974DEST_PATH_IMAGE004
为经过自注意力机制计算得到的自注意力关系矩阵，softmax是归一化指 数函数，Q和K分别代表每一层的Query矩阵和Key矩阵，T为转置操作。
4.如权利要求1所述的对抗纹理图像生成方法，其特征在于所述图像块序列之间的注意力不确定性权重，通过如下公式计算：
Figure 68335DEST_PATH_IMAGE005
其中，
Figure 19235DEST_PATH_IMAGE006
是所述图像块序列中的每一个图像块p的注意力不确定性权重，
Figure 202086DEST_PATH_IMAGE007
矩阵是 一个非对称矩阵，
Figure 951736DEST_PATH_IMAGE008
表示所述图像块p对图像块q的注意力。
5.如权利要求4所述的对抗纹理图像生成方法，其特征在于：
对于每一个图像块p，假设图像的扰动像素总数为m，则图像块p被分配的扰动像素分配 数量
Figure 855450DEST_PATH_IMAGE009
为：
Figure 57761DEST_PATH_IMAGE010
其中，
Figure 326194DEST_PATH_IMAGE011
为每一个图像块的大小，
Figure 946662DEST_PATH_IMAGE012
为向下取整函数。
6.如权利要求5所述的对抗纹理图像生成方法，其特征在于：
计算扰动像素分配数量
Figure 39252DEST_PATH_IMAGE013
后，剩余的像素被随机分配到随机的图像块中。
7.如权利要求1所述的对抗纹理图像生成方法，其特征在于所述嵌入敏感度，通过如下公式计算：
Figure 495903DEST_PATH_IMAGE014
其中，对于输入图像中的一个非零像素（i,j），
Figure 332141DEST_PATH_IMAGE015
为该非零像素（i,j）的嵌入敏 感度，
Figure 557848DEST_PATH_IMAGE016
为该像素所在的图像块，
Figure 821339DEST_PATH_IMAGE017
将该位置的像素值置零，
Figure 765287DEST_PATH_IMAGE018
表示嵌入操作。
8.如权利要求1所述的对抗纹理图像生成方法，其特征在于通过如下公式确定扰动像素的位置：
Figure 405216DEST_PATH_IMAGE019
其中，
Figure 485429DEST_PATH_IMAGE020
为图像块p被分配的扰动像素分配数量，
Figure 654243DEST_PATH_IMAGE021
表示选择图像块内 嵌入敏感度最高的
Figure 85486DEST_PATH_IMAGE022
个像素并返回对应位置，
Figure 263527DEST_PATH_IMAGE023
表示将输入的扰动像素位 置转换为一个
Figure 717687DEST_PATH_IMAGE024
的0-1掩码矩阵。
9.如权利要求1所述的对抗纹理图像生成方法，其特征在于还包括：
所述对抗纹理图像作为对抗样本输入视觉转换器模型，获得经过对抗训练后的所述视觉转换器模型。
10.一种基于模型共享结构的对抗纹理图像生成装置，其特征在于包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：
将输入的原始样本图像转化为图像块序列，所述图像块序列输入到视觉转换器模型，进行自注意力机制运算，得到所述图像块序列之间的注意力不确定性权重；
根据所述注意力不确定性权重，确定各图像块的扰动像素分配数量；
将所述原始样本图像中的非零像素块的像素值置零，根据像素值置零前后的变化计算所述非零像素块对应的嵌入敏感度；
根据所述扰动像素分配数量和所述嵌入敏感度生成对抗纹理图像。
CN202210886768.8A 2022-07-26 2022-07-26 基于模型共享结构的对抗纹理图像生成方法和装置 Active CN114943641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210886768.8A CN114943641B (zh) 2022-07-26 2022-07-26 基于模型共享结构的对抗纹理图像生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210886768.8A CN114943641B (zh) 2022-07-26 2022-07-26 基于模型共享结构的对抗纹理图像生成方法和装置

Publications (2)

Publication Number Publication Date
CN114943641A true CN114943641A (zh) 2022-08-26
CN114943641B CN114943641B (zh) 2022-10-28

Family

ID=82910516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210886768.8A Active CN114943641B (zh) 2022-07-26 2022-07-26 基于模型共享结构的对抗纹理图像生成方法和装置

Country Status (1)

Country Link
CN (1) CN114943641B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948658A (zh) * 2019-02-25 2019-06-28 浙江工业大学 面向特征图注意力机制的对抗攻击防御方法及应用
US20200272726A1 (en) * 2019-02-25 2020-08-27 Advanced Micro Devices, Inc. Method and apparatus for generating artificial intelligence resistant verification images
WO2021026805A1 (zh) * 2019-08-14 2021-02-18 东莞理工学院 对抗样本检测方法、装置、计算设备及计算机存储介质
CN112949678A (zh) * 2021-01-14 2021-06-11 西安交通大学 深度学习模型对抗样本生成方法、系统、设备及存储介质
CN113255738A (zh) * 2021-05-06 2021-08-13 武汉象点科技有限公司 一种基于自注意力生成对抗网络的异常图像检测方法
CN113627597A (zh) * 2021-08-12 2021-11-09 上海大学 一种基于通用扰动的对抗样本生成方法及系统
CN113822328A (zh) * 2021-08-05 2021-12-21 厦门市美亚柏科信息股份有限公司 防御对抗样本攻击的图像分类方法、终端设备及存储介质
CN114297730A (zh) * 2021-12-31 2022-04-08 北京瑞莱智慧科技有限公司 对抗图像生成方法、装置及存储介质
CN114332569A (zh) * 2022-03-17 2022-04-12 南京理工大学 基于注意力机制的低扰动对抗攻击方法
CN114565513A (zh) * 2022-03-15 2022-05-31 北京百度网讯科技有限公司 对抗图像的生成方法、装置、电子设备和存储介质
CN114693973A (zh) * 2022-03-31 2022-07-01 山东大学 一种基于Transformer模型的黑盒对抗样本生成方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948658A (zh) * 2019-02-25 2019-06-28 浙江工业大学 面向特征图注意力机制的对抗攻击防御方法及应用
US20200272726A1 (en) * 2019-02-25 2020-08-27 Advanced Micro Devices, Inc. Method and apparatus for generating artificial intelligence resistant verification images
WO2021026805A1 (zh) * 2019-08-14 2021-02-18 东莞理工学院 对抗样本检测方法、装置、计算设备及计算机存储介质
CN112949678A (zh) * 2021-01-14 2021-06-11 西安交通大学 深度学习模型对抗样本生成方法、系统、设备及存储介质
CN113255738A (zh) * 2021-05-06 2021-08-13 武汉象点科技有限公司 一种基于自注意力生成对抗网络的异常图像检测方法
CN113822328A (zh) * 2021-08-05 2021-12-21 厦门市美亚柏科信息股份有限公司 防御对抗样本攻击的图像分类方法、终端设备及存储介质
CN113627597A (zh) * 2021-08-12 2021-11-09 上海大学 一种基于通用扰动的对抗样本生成方法及系统
CN114297730A (zh) * 2021-12-31 2022-04-08 北京瑞莱智慧科技有限公司 对抗图像生成方法、装置及存储介质
CN114565513A (zh) * 2022-03-15 2022-05-31 北京百度网讯科技有限公司 对抗图像的生成方法、装置、电子设备和存储介质
CN114332569A (zh) * 2022-03-17 2022-04-12 南京理工大学 基于注意力机制的低扰动对抗攻击方法
CN114693973A (zh) * 2022-03-31 2022-07-01 山东大学 一种基于Transformer模型的黑盒对抗样本生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAKAI WANG ET AL.: "Universal Adversarial Patch Attack for Automatic Checkout Using Perceptual and Attentional Bias", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
张帆等: "人脸识别反欺诈研究进展", 《软件学报》 *
潘文雯等: "对抗样本生成技术综述", 《软件学报》 *

Also Published As

Publication number Publication date
CN114943641B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
Wei et al. Heuristic black-box adversarial attacks on video recognition models
Khodabandeh et al. A robust learning approach to domain adaptive object detection
US11816843B2 (en) Camouflaged object segmentation method with distraction mining
CN107704877B (zh) 一种基于深度学习的图像隐私感知方法
Tian et al. A dual neural network for object detection in UAV images
CN110765860B (zh) 摔倒判定方法、装置、计算机设备及存储介质
EP3853764A1 (en) Training neural networks for vehicle re-identification
CN110110689B (zh) 一种行人重识别方法
US20210150182A1 (en) Cloud detection from satellite imagery
CN110866287A (zh) 一种基于权重谱生成对抗样本的点攻击方法
CN110826056B (zh) 一种基于注意力卷积自编码器的推荐系统攻击检测方法
Zheng et al. Open set adversarial examples
Song et al. Generative adversarial examples
Demir et al. Clustering-based extraction of border training patterns for accurate SVM classification of hyperspectral images
CN111046957B (zh) 一种模型盗用的检测、模型的训练方法和装置
CN114078201A (zh) 多目标类别对抗样本生成方法及相关设备
CN110097120B (zh) 网络流量数据分类方法、设备及计算机存储介质
Ilina et al. Robustness study of a deep convolutional neural network for vehicle detection in aerial imagery
CN114332982A (zh) 一种人脸识别模型攻击防御方法、装置、设备及存储介质
CN114120401A (zh) 一种基于跨域特征对齐网络的人脸反欺诈方法
CN114943641B (zh) 基于模型共享结构的对抗纹理图像生成方法和装置
Hagn et al. Increasing pedestrian detection performance through weighting of detection impairing factors
Sen et al. Adversarial Attacks on Image Classification Models: Analysis and Defense
Guerbai et al. Techniques for Selecting the Optimal Parameters of One-Class Support Vector Machine Classifier for Reduced Samples
Kaur et al. Improved Facial Biometric Authentication Using MobileNetV2

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant