CN116109534A - 对抗补丁生成方法、电子设备及计算机可读存储介质 - Google Patents
对抗补丁生成方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116109534A CN116109534A CN202211742754.5A CN202211742754A CN116109534A CN 116109534 A CN116109534 A CN 116109534A CN 202211742754 A CN202211742754 A CN 202211742754A CN 116109534 A CN116109534 A CN 116109534A
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- acquiring
- patch
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000009792 diffusion process Methods 0.000 claims abstract description 101
- 239000013598 vector Substances 0.000 claims description 84
- 230000006870 function Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 24
- 238000012549 training Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种对抗补丁生成方法、电子设备及计算机可读存储介质。该方法包括：获取原始图像补丁区域的加噪图像与目标图像；基于加噪图像与目标图像获取第一梯度；基于加噪图像获取对抗图像，并基于对抗图像获取第二梯度；基于加噪图像获取对抗图像，并基于对抗图像获取第二梯度；基于所述第一梯度、所述第二梯度及所述加噪图像利用扩散模型获取对抗补丁图像。通过上述方式，本申请利用第一梯度和第二梯度引导扩散模式获取对抗补丁图像可以让对抗补丁图像的图像质量变高，与真实世界的图像比较接近，且包含目标的信息，使得在后续的对抗人脸中，对识别模型有很高的攻击性。
Description
技术领域
本申请涉及对抗攻击技术领域，具体涉及一种对抗补丁生成方法、电子设备及计算机可读存储介质。
背景技术
以往图像生成领域中，生成对抗网络(GAN)一直占有主导地位，其生成的图像具有较好的真实性，可与现实中原始图像相比拟。其结构主要由生成器和判别器构成，生成器生成图像，判别器用来监督生成图像与原始图像是否相似。然而这一类的方法有其显著的缺点，如生成的对抗图像多样性不高，只能生成训练集中已有的相似样本。此外，生成对抗网络的训练是一个复杂且困难的过程，生成器与判别器之间的对抗其平衡性无法很好衡量，需要在训练过程中不断地调整与迭代才能训练出一个较为理想的模型。其他一些图像生成方法也是类似的结构，如变分自编码器(VAE)，通过编码器生成具有约束的隐空间分布，在通过解码器将采样的隐向量生成对抗图像，然而这类方法生成的对抗图像质量较差，精确度不高，与真实世界的原始图像有较大的差距。
发明内容
本申请提出了一种对抗补丁生成方法、电子设备及计算机可读存储介质，以提高生成的对抗补丁图像的攻击性。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种对抗补丁生成方法，该方法包括：获取原始图像补丁区域的加噪图像与目标图像；基于加噪图像与目标图像获取第一梯度；基于加噪图像获取对抗图像，并基于对抗图像获取第二梯度；基于第一梯度、第二梯度及加噪图像利用扩散模型获取对抗补丁图像。
其中，基于第一梯度、第二梯度及加噪图像利用扩散模型获取对抗补丁图像的步骤，包括：基于加噪图像获取第一嵌入向量；获取扩散模型的扩散时间步的时间嵌入向量；利用第一梯度及第二梯度作为引导条件，基于第一嵌入向量及时间嵌入向量利用扩散模型预测获取原始图像补丁区域的未加噪图像；对未加噪图像进行采样获取对抗补丁图像。
其中，基于加噪图像获取第一嵌入向量的步骤，包括：利用第一编码器对加噪图像进行处理以获取第一嵌入向量。
其中，加噪图像中的噪声为标准的高斯分布噪声，利用第一梯度及第二梯度作为引导条件，基于第一嵌入向量及时间嵌入向量利用扩散模型预测获取原始图像补丁区域的未加噪图像的步骤，包括：获取扩散模型预测噪声的第一扰动均值及第一扰动方差；基于第一扰动均值、第一扰动方差、第一梯度及第二梯度获取引导后扩散模型预测噪声；基于第一嵌入向量、时间嵌入向量及引导后扩散模型预测噪声获取未加噪图像。
其中，基于第一扰动均值、第一扰动方差、第一梯度及第二梯度获取引导后扩散模型预测噪声的步骤，包括：基于第一梯度、第二梯度、第一扰动方差及第一扰动均值获取扩散模型预测噪声的第二扰动均值；利用网络预测模型获取引导后扩散模型预测噪声的第二扰动方差；基于第二扰动均值及第二扰动方差获取引导后扩散模型预测噪声。
其中，基于加噪图像与目标图像获取第一梯度的步骤，包括：将原始图像补丁区域的加噪图像输入至第一编码器，以获取第一嵌入向量；将目标图像输入至第二编码器，以获取第二嵌入向量；基于第一嵌入向量及第二嵌入向量获取第一梯度。
其中，基于第一嵌入向量及第二嵌入向量获取第一梯度的步骤，包括：获取第一引导尺度因子；利用梯度函数计算第一嵌入向量及第二嵌入向量的点积的第三梯度；基于第三梯度及第一引导尺度因子计算第一梯度。
其中，基于对抗图像获取第二梯度的步骤，包括：获取第一引导尺度因子及第二引导尺度因子；将对抗图像输入至目标识别模型中，以获取目标的交叉熵；利用梯度函数基于目标的交叉熵计算第四梯度；基于第一引导尺度因子、第二引导尺度因子及第四梯度获取第二梯度。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种电子设备，该电子设备包括处理器及与处理器连接的存储器，存储器中存储有程序数据，处理器执行存储器存储的程序数据，以执行实现上述任一项的对抗补丁生成方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，其内部存储有程序指令，程序指令被执行以实现上述任一项的对抗补丁生成方法。
本申请的有益效果是：区别于现有技术的情况，本申请的对抗补丁生成方法通过原始图像补丁区域的加噪图像与目标图像获取第一梯度；通过对抗图像获取第二梯度，并且在利用扩散模式生成对抗补丁图像时利用第一梯度及第二梯度进行引导，使生成的对抗补丁图像尽可能地包含目标的信息，使对抗补丁图像对识别模型具有较高的攻击性。其次，在保留原始图像的图像特征的条件下，通过第一梯度及第二梯度引导来生成具有目标特征的对抗补丁图像，这样的对抗补丁图像具有较好的泛化和迁移性，对于黑盒识别模型也有较好的攻击效果。
附图说明
图1是本申请对抗补丁生成方法一实施例的流程示意图；
图2是人脸原始图像一实施例的示意图；
图3是本申请ef-clip模型一实施例的训练示意图；
图4是图1中步骤S104一具体实施例方式的流程示意图；
图5是图4中步骤S203一具体实施例的流程示意图；
图6是图5中步骤S302一具体实施例的流程示意图；
图7是图6中步骤S401一具体实施例的流程示意图；
图8是图1中步骤S102一具体实施例的流程示意图；
图9是图8中步骤S603一具体实施方式的流程示意图；
图10是图1中步骤S103一具体实施例的流程示意图；
图11是本申请生成对抗补丁图像一实施例的示意图；
图12是本申请电子设备一实施例的结构示意图；
图13是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以往图像生成领域中，生成对抗网络(GAN)一直占有主导地位，其生成的图像具有较好的真实性，可与现实中原始图像相比拟。其结构主要由生成器和判别器构成，生成器生成图像，判别器用来监督生成图像与原始图像是否相似。然而这一类的方法有其显著的缺点，如生成的对抗图像多样性不高，只能生成训练集中已有的相似样本。此外，生成对抗网络的训练是一个复杂且困难的过程，生成器与判别器之间的对抗其平衡性无法很好衡量，需要在训练过程中不断地调整与迭代才能训练出一个较为理想的模型。其他一些图像生成方法也是类似的结构，如变分自编码器(VAE)，通过编码器生成具有约束的隐空间分布，在通过解码器将采样的隐向量生成对抗图像，然而这类方法生成的对抗图像质量较差，精确度不高，与真实世界的原始图像有较大的差距。
在介绍本申请的方案之前，需要首先介绍在本申请中应用的扩散模型。
扩散一词来源于热力学，是受非平衡热力学的启发。它们定义一个扩散步骤的马尔可夫链，逐渐向数据添加随机噪声，然后学习逆扩散过程，从噪声中构建所需的数据样本。与VAE或流动模型不同，扩散模型是用固定的程序学习的，而且隐变量具有高维度(与原始数据相同)。扩散模型的正向过程就是对图像不断添加噪声，最后图像分布会近似一个高斯噪声。而扩散模型的反向，就是对图像去噪的过程，一步步将噪声还原成图像。
在本申请中，以人脸图像的对抗补丁图像的生成为例，来介绍本申请的对抗补丁生成方法。
在人脸的对抗攻击中，基于物理补丁的攻击方式也可以划分为一种图像生成。其主要是将人脸图像的某块区域进行替换，从而让人脸识别模型错误地识别成其他目标。这对于人脸安全领域是十分重要的一个方向。以往的生成补丁图像的方式大多数是基于一个生成器，先初始化一个带有噪声分布的补丁图像输入，在通过多个监督损失来反向传播梯度，从而更新这个噪声输入，最后将生成的补丁图像粘贴到人脸图像上，形成对抗图像。
一般来说，生成的对抗补丁图像，需要尽可能与原始图像的补丁区域相一致，即肉眼无法很好区分，但是可以欺骗识别模型识别成目标人。但现有技术中，上述方法生成的对抗图像质量较差，精确度不高，与真实世界的原始图像有较大的差距，其次为了生成的对抗图像质量较高，也需要对每个对抗图像单独进行监督训练，训练成本较大。且生成的对抗补丁图像由多个损失函数进行约束，不具有多样性。另外其训练过程往往需要一个识别模型作为优化目标，所以训练结果可能在该识别模型下表现较好，但是无法很好迁移到其他识别模型上。
因此，为了解决上述问题，本申请首先提出了一种对抗补丁生成方法，请参阅图1，图1是本申请对抗补丁生成方法一实施例的流程示意图。如图1所示，本实施例的对抗补丁生成方法的具体包括步骤S101至步骤S104：
步骤S101：获取原始图像补丁区域的加噪图像与目标图像。
以人脸对抗补丁图像的生成为例，在本实施例中，电子设备需要首先获取人脸原始图像补丁区域的加噪图像及识别模型中要识别的人脸的目标图像，识别模型中的人脸的目标图像可以以任意方式获取，在此不作限制。
获取原始图像补丁区域的加噪图像需要获取原始图像补丁区域的未加噪图像。在本实施例中，人脸的原始图像补丁区域可以为人脸的额头区域、眼睛区域，鼻子区域或嘴巴区域等，但不限制于此，本实施例的人脸的原始图像补丁区域可以为任意的人脸区域，其补丁的形状和位置均可进行设置。其中，人脸原始图像的补丁区域的大小一般限定不超过人脸的原始图像占比的10％～20％左右。
请参阅图2，图2是人脸原始图像一实施例的示意图。如图2所示，本实施例可以在人脸原始图像的额头区域获取补丁区域的未加噪图像，此外，在本实施例中，可以将获取的人脸的原始图像的补丁区域的未加噪图像进行加噪处理，以获取原始图像补丁区域的加噪图像。
步骤S102：基于加噪图像与目标图像获取第一梯度。
在获取原始图像补丁区域的加噪图像和识别模型的目标图像后，分别将输入至本实施例训练好的一个ef-clip模型中，在本实施例中，该模型由第一编码器和第二编码器组成。
在输入加噪图像与目标图像之前，本实施例首先要对ef-clip模型进行训练，其训练工作方法如下所示：
请参阅图3，图3是本申请ef-clip模型一实施例的训练示意图。如图3所示，在本实施例中，ef-clip模型可以采用对比学习方法进行训练，其中，第一编码器与第二编码器的结构没有严格的限制，可以是现有技术常见的图像编码模型，如transform或U-net等网络。假设在一个批次的训练中，将原始图像补丁区域的加噪图像输入到第一编码器得到第一嵌入向量e，将目标图像输入到第二编码器中得到第二嵌入向量f。最终得到模型的输出:(e1,f1)(e2,f2)…(en,fn)，设(ei,fi)是一对正样本(ei是第一嵌入向量，fi是第二嵌入向量)，他们的标签为1，ei与fj,j≠i是负样本，标签为0。同理，(fi,ei)构成一对正样本，fi与ei≠j构成负样本。在本实施例中可以使用交叉熵作为损失函数，损失函数如公式(1)所示：
其中，
为最小化损失函数的输出值；n是一个批次的样本对数量，log(.)是对数函数，
与
是样本的相似度概率分布函数，具体来说，在本实施例中通过softmax函数计算ei与fj的相似度概率分布，具体如公式(2)至公式(3)所示：
在上述计算过程中，可以将第一嵌入向量e及第二嵌入向量f进行归一化，使其模长等于1。
在本实施例中通过上述的最小化损失函数
训练ef-clip模型，训练完成后的ef-clip模型输出的第一嵌入向量e与第二嵌入向量f在特征空间中就具备有相近的表征。
在生成对抗补丁图像的过程中，电子设备即可以将原始图像补丁区域的加噪图像输入至训练好的ef-clip模型中的第一编码器，以获取第一嵌入向量，将目标图像输入至训练好的ef-clip模型中第二编码器个获取第二嵌入向量，并计算两者之间的点积，最后再基于点积、预设的梯度函数及第一引导尺度因子来获取第一梯度。其具体的计算方式如下文所述。
步骤S103：基于加噪图像获取对抗图像，并基于对抗图像获取第二梯度。
在本实施例中，首先要介绍一下对抗补丁的攻击的含义，对抗补丁的攻击是指将人脸的原始图像的某些区域像素进行替换，得到对抗图像，该对抗图像仅在补丁区域与原始图像不一样，但是目标识别模型却错误地将其识别成了其他人，或识别成我们想要攻击的某个目标人物。如图2所示，图2是一个在人脸额头区域生成补丁的例子。
在本实施例中，为了获取第二梯度，要将原始图像补丁区域的加噪图像补丁至原始图像的对应位置，以获取对抗图像，再将对抗样本输入至目标识别模型中，目标识别模式输出目标的交叉熵，最后再基于目标的交叉熵、第一引导尺度因子及第二引导尺度因子便可以获取第二梯度。
步骤S104：基于第一梯度、第二梯度及加噪图像利用扩散模型获取对抗补丁图像。
基于前文所述，本实施例的目标是得到一个对抗补丁图像，能够在替换掉原始图像的某些区域后，来误导目标识别模型的结果。
为了使得到的对抗补丁图像包括目标图像的信息，更具备对目标识别模型的攻击性，本实施例首先利用第一梯度及第二梯度作为引导条件利用扩散模型获取原始图像补丁区域的未加噪图像，最后再经过对原始图像补丁区域的未加噪图像采样处理，从而获取带有目标图像信息的对抗补丁图像。
区别于现有技术的情况，本申请的对抗补丁生成方法通过原始图像补丁区域的加噪图像与目标图像获取第一梯度；通过对抗图像获取第二梯度，并且在利用扩散模式生成对抗补丁图像时利用第一梯度及第二梯度进行引导，使生成的对抗补丁图像尽可能地包含目标的信息，使对抗补丁图像对识别模型具有较高的攻击性。其次，在保留原始图像的图像特征的条件下，通过第一梯度及第二梯度引导来生成具有目标特征的对抗补丁图像，这样的对抗补丁图像具有较好的泛化和迁移性，对于黑盒识别模型也有较好的攻击效果。
可选地，获取对抗补丁图像的方法如图4所示，请参阅图4，图4是图1中步骤S104一具体实施例方式的流程示意图。本实施例可以通过如图4所示的方法实现步骤S104，具体包括步骤S201至步骤S204：
步骤S201：基于加噪图像获取第一嵌入向量。
基于上述实施例，在本实施例中电子设备利用第一编码器对加噪图像进行处理以获取第一嵌入向量，即将原始图像的补丁区域的加噪图像输入至训练好的ef-clip模型中的第一编码器。
步骤S202：获取扩散模型的扩散时间步的时间嵌入向量。
在本实施例中扩散模型为扩散生成模型，在利用扩散模型之前，首先简单介绍一下扩散模型的工作原理。
扩散模型的正向过程就是对图像不断添加噪声，最后图像分布会近似一个高斯噪声。而扩散模型的反向过程就是对图像去噪的过程，一步步将噪声还原成图像。
首先介绍扩散模型的正向过程，假设有一张原始未加噪图像x0，该图像可以当作是从一个q分布中采样得到的，接着可以通过不断添加方差βt为高斯噪声，从而得到一系列潜在的马尔科夫链样本，其中每一步的表达式如公式(4)所示：
其中，βt为一个0到1的等比序列，初始时刻β0＝0表示为原始图像，在第t步时候，βt＝1。此时图像xt则为从一个标准高斯噪声
中采样的加噪图像。实际上扩散过程即为一个原始图像变为标准高斯分布的过程。加噪和高斯采样等价，即加噪就是改变高斯采样的均值中心点。在训练本实施例的扩散模型时，本实施例可采用公式(5)获取加噪图像作为训练集，无需利用公式(4)逐步迭代获取加噪图像，公式(5)如下所示：
其中，αt＝1-βt，
为一个标准的高斯分布噪声。
扩散模型的去噪过程则与上述的正向过程相反，可以从一张随机采用的高斯噪声图片中逐步去噪得到原始图像。其去噪过程的表达式如公式(6)及公式(7)所示：
其中，t∈[1,2,…,T]，当t等于0时，z＝0，否则
为一个标准的高斯分布，σt为方差。
扩散模型的去噪过程则是需要用扩散模型预测加入的高斯噪声，得到原始的无噪声的图像。公式(7)表示，利用扩散模型算出原始第n步的未加噪图像，实质上只要算出均值μ和方差，再做一个采样得到原始图像。而为了算出均值，则需要预测出噪声，反推出原始图像的均值中心，其中经过发明人的大量试验发现，原始图像中的方差可以由网络预测获取也可以取常数。
在本实施例中，本实施例采用的扩散模型则是输入原始图像补丁区域的加噪图像，将其减去模型预测的噪声，从而获取对抗补丁图像，在此过程中，扩散模型需要输入扩散时间步的时间嵌入向量以知晓输入至扩散模型中的原始图像补丁区域的加噪图像处于随机采样的第几步。
在本实施例中，需要提前对扩散模型进行训练，在训练过程中，获取随机采样第t步的加噪图像(该图像可以由原始图像经由公式(5)获取)，再将随机采样第t步的加噪图像以及步数t输入至扩散模型，扩散模型预测噪声∈，扩散模型训练目标是为预测噪声与实际加入噪声的误差越小越好。采样的过程即为将随机采样第t步的加噪图像减去模型预测的噪声，不断把噪声去掉以恢复出原始的图像的过程。
其中，扩散模型的优化目标如公式(8)所示：
上述公式(8)中，xt为由公式(5)得到的噪声样本，∈θ是扩散模型，
是真实噪声，也符合标准的高斯分布，公式(8)表示模型预测噪声要与真实添加的噪声尽可能地接近
步骤S203：利用第一梯度及第二梯度作为引导条件，基于第一嵌入向量及时间嵌入向量利用扩散模型预测获取原始图像补丁区域的未加噪图像。
在本实施例中，为了使生成的对抗补丁图像带有目标图像的特征信息，需要利用第一梯度及第二梯度作为引导条件，扩散模型基于第一嵌入向量及时间嵌入向量利用扩散模型预测获取原始图像补丁区域的未加噪图像。
步骤S204：对未加噪图像进行采样获取对抗补丁图像。
当扩散模型获取处于第t步采样的原始图像补丁区域的未加噪图像，再基于公式(7)计算获取上一时间步的第t-1步原始图像补丁区域的未加噪图像，如此反复计算直至t＝0，则可以获取对抗补丁图像。
可选地，请参阅图5，图5是图4中步骤S203一具体实施例的流程示意图。其中，加噪图像中的噪声可以设置为标准的高斯分布噪声。本实施例可以通过如图5所示的方法实现步骤S203，具体包括步骤S301至步骤S303：
步骤S301：获取扩散模型预测噪声的第一扰动均值及第一扰动方差。
本实施例模型采用条件引导的扩散模型，假设t时刻的原始图像补丁区域的未加噪图像为xt，此时在计算对抗补丁图像之前，本申请需要获扩散模型的预测噪声的第一扰动均值μθ(xt,t)及第一扰动方差∑θ(xt,t)。
步骤S302：基于第一扰动均值、第一扰动方差、第一梯度及第二梯度获取引导后扩散模型预测噪声。
此外，本申请为了使生成的对抗补丁图像具有目标图像的特征信息，还需要分别利用前文所述的第一梯度及第二梯度引导，计算出引导后扩散模型预测噪声。因引导后的扩散模型预测噪声也复合高斯分布，即分别计算出引导后的扩散模型预测噪声的第二扰动均值及第二扰动方差。
步骤S303：基于第一嵌入向量、时间嵌入向量及引导后扩散模型预测噪声获取未加噪图像。
在本实施例中可以基于原始补丁区域的加噪图像的第一嵌入向量及输入至扩散模型的时间嵌入向量，利用扩散模型减去引导后的扩散模型预测噪声以获取原始图像补丁区域未加噪的图像。
可选地，请参阅图6，图6是图5中步骤S302一具体实施例的流程示意图。获取引导后扩散模型预测噪声的步骤如图6所示，本实施例可以通过如图6所示的方法实现步骤S302，具体包括步骤S401至步骤S403：
步骤S401：基于第一梯度、第二梯度、第一扰动方差及第一扰动均值获取扩散模型预测噪声的第二扰动均值。
在本实施例中，将基于ef-clip模型获取的第一梯度及目标识别模式获取的第二梯度及扩散模型预测噪声的第一扰动方差及第一扰动均值计算获取引导后扩散模型预测噪声的第二扰动均值，其计算方式具体如下所示。
具体地，请参阅图7，图7是图6中步骤S401一具体实施例的流程示意图。计算扩散模型预测噪声的第二扰动均值的方法如图7所示，本实施例可以通过如图7所示的方法实现步骤S401，具体包括步骤S501至步骤S502：
步骤S501：计算第一梯度及第二梯度的第一和值，并计算第一和值与第一扰动方差的积值。
电子设备首先计算第一梯度f1及第二梯度f2的第一和值(f1+f2)，再计算第一和值(f1+f2)与第一扰动方差的积值∑θ(xt,t)(f1+f2)。
步骤S502：计算积值与第一扰动均值的第二和值以获取引导后扩散模型预测噪声的第二扰动均值。
最终电子设备再计算积值∑θ(xt,t)(f1+f2)与第一扰动均值μθ(xt,t)的第二和值，将第二和值作为引导条件后扩散模型预测噪声的第二扰动均值
基于前文所述，本实施例可以基于公式(9)预测获取扩散模型预测噪声的第二扰动均值，其公式(9)如所示：
其中，
表示为引导后扩散模型预测噪声的第二扰动均值，μθ(xt,t)表示为扩散模型预测噪声的第一扰动均值，∑θ(xt,t)表示为扩散模型预测噪声的第一扰动方差，f1表示为第一梯度，f2表示为第二梯度。
步骤S402：利用网络预测模型获取引导后扩散模型预测噪声的第二扰动方差。
在本实施例中，电子设备可以采用网络预测模型获取引导后扩散模型预测噪声的第二扰动方差，在其他实施例中，经过本发明人的大量测试试验，引导后扩散模型预测噪声的第二扰动方差也可以取常数。
步骤S403：基于第二扰动均值及第二扰动方差获取引导后扩散模型预测噪声。
在原始图像补丁区域的加噪图像复合高斯分布，因此扩散模型预测的引导后扩散模型的预测噪声也复合高斯分布，在获取引导后扩散模型预测噪声时，基于上述步骤分别获取第二扰动均值及第二扰动方差，即可获取引导后扩散模型的预测噪声。
可选地，获取第一梯度的方法如图8所示，请参阅图8，图8是图1中步骤S102一具体实施例的流程示意图。本实施例可以通过如图8所示的方法实现步骤S102，具体包括步骤S601至步骤S603：
步骤S601：将原始图像补丁区域的加噪图像输入至第一编码器，以获取第一嵌入向量。
电子设备在获取第一梯度f1时，首先要利用前文中ef-clip模型中的第一编码器，将原始图像补丁区域的加噪图像输入至第一编码器，以获取第一嵌入向量e(xt)。
步骤S602：将目标图像输入至第二编码器，以获取第二嵌入向量。
电子设备将要利用前文中ef-clip模型中的第二编码器，将目标图像输入至第二码器，以获取第一嵌入向量f(c)。
步骤S603：基于第一嵌入向量及第二嵌入向量获取第一梯度。
最终，在计算第一梯度时，要利用第一嵌入向量e(xt)及第二嵌入向量f(c)获取第一梯度f1。其计算方式如下所示。
可选地，基于第一嵌入向量及第二嵌入向量获取第一梯度的方法如图9所示，请参阅图9，图9是图8中步骤S603一具体实施方式的流程示意图。本实施例可以通过如图9所示的方法实现步骤S603，具体包括步骤S701至步骤S703：
步骤S701：获取第一引导尺度因子。
电子设备在计算第一梯度f1时需要获取第一引导尺度因子s，其中，第一引导尺度因子s是用来控制引导强度的，s的数值越大，精确度越高。其中，s的数值可以基于实际情况设置，在此不作赘述。
步骤S702：利用梯度函数计算第一嵌入向量及第二嵌入向量的点积的第三梯度。
电子设备首先要计算第一嵌入向量e(xt)及第二嵌入向量f(c)的点积e(xt)·(c)，再利用梯度函数计算第一嵌入向量及第二嵌入向量的点积的第三梯度
步骤S703：基于第三梯度及第一引导尺度因子计算第一梯度。
最终电子设备可以基于公式(10)基于第三梯度及第一引导尺度因子计算第一梯度f1，公式(10)如下所示：
可选地，获取第二梯度的方法如图10所示，请参阅图10，图10是图1中步骤S103一具体实施例的流程示意图。本实施例可以通过如图10所示的方法实现步骤S103，具体包括步骤S801至步骤S804：
步骤S801：获取第一引导尺度因子及第二引导尺度因子。
电子设备在计算第二梯度f2时需要获取第一引导尺度因子s及第二引导因子m，其中，第一引导尺度因子s及第二引导因子m是用来控制引导强度的，s和m的数值越大，精确度越高。其中，s和m的数值可以基于实际情况设置，在此不作赘述。
步骤S802：将对抗图像输入至目标识别模型中，以获取目标的交叉熵。
电子设备将对抗图像输入至前文实施例中的目标识别模型，其中，对抗图像由原始图像补丁区域加噪图像补丁至原始图像相应位置得到。将对抗图像输入至目标识别模型中，既可以获取对抗图像的目标的交叉熵
步骤S803：利用梯度函数基于目标的交叉熵计算第四梯度。
电子设备在获取目标的交叉熵
可以利用与前文相同的梯度函数就散第四梯度，即第四梯度为
步骤S804：基于第一引导尺度因子、第二引导尺度因子及第四梯度获取第二梯度。
最终电子设备可以基于公式(11)基于第四梯度、第一引导尺度因子及第二引导尺度因子计算第二梯度f2，公式(11)如下所示：
在一应用场景中，请参阅图11，图11是本申请生成对抗补丁图像一实施例的示意图。如图11所示，原始图像补丁区域的加噪图像通过ef-clip模型的第一编码器编码生成第一嵌入向量，目标图像通过ef-clip模型的第一编码器编码生成第二嵌入向量，第一嵌入向量与第二嵌入向量计算出点积，原始图像补丁区域的加噪图像的第一嵌入向量、扩散时间步的时间嵌入向量输入至扩散模型中进行降噪处理。其中时间嵌入向量可以是线性编码的或者采用余弦编码，如现有技术中transform模型当中的位置编码方法。扩散模型的结构可以是现有最先进的网络结构，如典型的U-net网络或者transform模型。除此之外，生成的第一嵌入向量与第二嵌入向量在计算点积，利用点积可以计算第一梯度；原始图像补丁区域的加噪图像补丁成对抗图像后，也送入目标识别模型计算目标人脸的交叉熵来求第二梯度，最后再利用第一梯度及第二梯度作为引导条件，采样出当前时间步的噪声，以此得到上一时间步的原始图像补丁区域未加噪图像。最终再利用公式(7)进行采样直到t＝0步，即可获取对抗补丁图像。
区别于现有技术，本申请的对抗补丁生成方法通过原始图像补丁区域的加噪图像与目标图像获取第一梯度；通过对抗图像获取第二梯度，并且在利用扩散模式生成对抗补丁图像时利用第一梯度及第二梯度进行引导，使生成的对抗补丁图像尽可能地包含目标的信息，使对抗补丁图像对识别模型具有较高的攻击性。其次，在保留原始图像的图像特征的条件下，通过第一梯度及第二梯度引导来生成具有目标特征的对抗补丁图像，这样的对抗补丁图像具有较好的泛化和迁移性，对于黑盒识别模型也有较好的攻击效果。本申请同时引入将目标识别模型的交叉熵信息作为扩散模型的引导条件，将对抗补丁图像生成方向引导到实际任务的目标中，进一步增加了对抗补丁图像攻破目标识别模型的成功率。
其次，传统的对抗攻击方法，是将输入作为可训练参数进行优化的，因此针对每个样本的攻击目标都要单独训练模型优化。但本申请使用的扩散模型作为图像生成模型，该方法是从分布中，在目标引导下生成的，使得采样可求导。因此对于不同对抗补丁图像和不同的攻击目标，无需要重新训练的生成器，只需要更改输入和优化目标即可，从而减少了训练成本。
可选地，本申请进一步提出一种电子设备，请参阅图12，图12是本申请电子设备一实施例的结构示意图，该电子设备200包括处理器201及与处理器201连接的存储器202。
处理器201还可以称为CPU(Central Processing Unit，中央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器202用于存储处理器201运行所需的程序数据。
处理器201还用于执行存储器202存储的程序数据以实现上述任一项的对抗补丁生成方法。
可选地，本申请进一步提出一种计算机可读存储介质。请参阅图13，图13是本申请计算机可读存储介质一实施例的结构示意图。
本申请实施例的计算机可读存储介质300内部存储有程序指令310，程序指令310被执行以实现上述任一项的对抗补丁生成方法。
其中，程序指令310可以形成程序文件以软件产品的形式存储在上述存储介质中，以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
本实施例计算机可读存储介质300可以是但不局限于U盘、SD卡、PD光驱、移动硬盘、大容量软驱、闪存、多媒体记忆卡、服务器等。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述各方法实施例中的步骤。
另外，上述功能如果以软件功能的形式实现并作为独立产品销售或使用时，可存储在一个移动终端可读取存储介质中，即，本申请还提供一种存储有程序数据的存储装置，所述程序数据能够被执行以实现上述实施例的方法，该存储装置可以为如U盘、光盘、服务器等。也就是说，本申请可以以软件产品的形式体现出来，其包括若干指令用以使得一台智能终端执行各个实施例所述方法的全部或部分步骤。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的机构、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(可以是个人计算机，服务器，网络设备或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种对抗补丁生成方法，其特征在于，包括：
获取原始图像补丁区域的加噪图像与目标图像；
基于所述加噪图像与所述目标图像获取第一梯度；
基于所述加噪图像获取对抗图像，并基于所述对抗图像获取第二梯度；
基于所述第一梯度、所述第二梯度及所述加噪图像利用扩散模型获取对抗补丁图像。
2.根据权利要求1所述的对抗补丁生成方法，其特征在于，所述基于所述第一梯度、所述第二梯度及所述加噪图像利用扩散模型获取对抗补丁图像的步骤，包括：
基于所述加噪图像获取第一嵌入向量；
获取所述扩散模型的扩散时间步的时间嵌入向量；
利用所述第一梯度及所述第二梯度作为引导条件，基于所述第一嵌入向量及所述时间嵌入向量利用所述扩散模型预测获取所述原始图像补丁区域的未加噪图像；
对所述未加噪图像进行采样获取所述对抗补丁图像。
3.根据权利要求2所述的对抗补丁生成方法，其特征在于，所述基于所述加噪图像获取第一嵌入向量的步骤，包括：
利用第一编码器对所述加噪图像进行处理以获取所述第一嵌入向量。
4.根据权利要求2所述的对抗补丁生成方法，其特征在于，所述加噪图像中的噪声为标准的高斯分布噪声，所述利用所述第一梯度及所述第二梯度作为引导条件，基于所述第一嵌入向量及所述时间嵌入向量利用所述扩散模型预测获取所述原始图像补丁区域的未加噪图像的步骤，包括：
获取所述扩散模型预测噪声的第一扰动均值及第一扰动方差；
基于所述第一扰动均值、所述第一扰动方差、所述第一梯度及所述第二梯度获取引导后所述扩散模型预测噪声；
基于所述第一嵌入向量、所述时间嵌入向量及所述引导后所述扩散模型预测噪声获取所述未加噪图像。
5.根据权利要求4所述的对抗补丁生成方法，其特征在于，所述基于所述第一扰动均值、所述第一扰动方差、所述第一梯度及所述第二梯度获取引导后所述扩散模型预测噪声的步骤，包括：
基于所述第一梯度、所述第二梯度、所述第一扰动方差及所述第一扰动均值获取所述扩散模型预测噪声的第二扰动均值；
利用网络预测模型获取引导后所述扩散模型预测噪声的第二扰动方差；
基于所述第二扰动均值及所述第二扰动方差获取引导后所述扩散模型预测噪声。
6.根据权利要求5所述的对抗补丁生成方法，其特征在于，所述基于所述加噪图像与所述目标图像获取第一梯度的步骤，包括：
将所述原始图像补丁区域的加噪图像输入至第一编码器，以获取第一嵌入向量；
将所述目标图像输入至第二编码器，以获取第二嵌入向量；
基于所述第一嵌入向量及第二嵌入向量获取所述第一梯度。
7.根据权利要求6所述的对抗补丁生成方法，其特征在于，所述基于所述第一嵌入向量及第二嵌入向量获取所述第一梯度的步骤，包括：
获取第一引导尺度因子；
利用梯度函数计算所述第一嵌入向量及所述第二嵌入向量的点积的第三梯度；
基于所述第三梯度及所述第一引导尺度因子计算所述第一梯度。
8.根据权利要求5所述的对抗补丁生成方法，其特征在于，所述基于所述对抗图像获取第二梯度的步骤，包括：
获取第一引导尺度因子及第二引导尺度因子；
将所述对抗图像输入至目标识别模型中，以获取目标的交叉熵；
利用梯度函数基于所述目标的交叉熵计算第四梯度；
基于所述第一引导尺度因子、所述第二引导尺度因子及所述第四梯度获取所述第二梯度。
9.一种电子设备，其特征在于，所述电子设备包括处理器以及与所述处理器连接的存储器，其中，所述存储器中存储有程序数据，所述处理器执行所述存储器存储的所述程序数据，以执行实现权利要求1-8任一项所述的对抗补丁生成方法。
10.一种计算机可读存储介质，其特征在于，其内部存储有程序指令，所述程序指令被执行以实现权利要求1-8任一项所述的对抗补丁生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211742754.5A CN116109534A (zh) | 2022-12-30 | 2022-12-30 | 对抗补丁生成方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211742754.5A CN116109534A (zh) | 2022-12-30 | 2022-12-30 | 对抗补丁生成方法、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116109534A true CN116109534A (zh) | 2023-05-12 |
Family
ID=86266850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211742754.5A Pending CN116109534A (zh) | 2022-12-30 | 2022-12-30 | 对抗补丁生成方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109534A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116631043A (zh) * | 2023-07-25 | 2023-08-22 | 南京信息工程大学 | 自然对抗补丁生成方法、目标检测模型的训练方法及装置 |
| CN118096583A (zh) * | 2024-04-28 | 2024-05-28 | 武汉纺织大学 | 一种基于补丁的去噪扩散模型的高光去除方法 |
-
2022
- 2022-12-30 CN CN202211742754.5A patent/CN116109534A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116631043A (zh) * | 2023-07-25 | 2023-08-22 | 南京信息工程大学 | 自然对抗补丁生成方法、目标检测模型的训练方法及装置 |
| CN116631043B (zh) * | 2023-07-25 | 2023-09-22 | 南京信息工程大学 | 自然对抗补丁生成方法、目标检测模型的训练方法及装置 |
| CN118096583A (zh) * | 2024-04-28 | 2024-05-28 | 武汉纺织大学 | 一种基于补丁的去噪扩散模型的高光去除方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lai et al. | Self-supervised learning for video correspondence flow | |
| Xu et al. | LCANet: End-to-end lipreading with cascaded attention-CTC | |
| CN116109534A (zh) | 对抗补丁生成方法、电子设备及计算机可读存储介质 | |
| CN112507990A (zh) | 视频时空特征学习、抽取方法、装置、设备及存储介质 | |
| CN109685087B9 (zh) | 信息处理方法和装置以及信息检测方法 | |
| US11177823B2 (en) | Data compression by local entropy encoding | |
| CN110427899B (zh) | 基于人脸分割的视频预测方法及装置、介质、电子设备 | |
| WO2023051140A1 (zh) | 用于图像特征表示生成的方法、设备、装置和介质 | |
| CN115063875B (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
| CN114549840B (zh) | 语义分割模型的训练方法和语义分割方法、装置 | |
| CN111950692B (zh) | 用于改进的通用化的基于汉明距离的稳健输出编码 | |
| CN114494784A (zh) | 深度学习模型的训练方法、图像处理方法和对象识别方法 | |
| CN116844217B (zh) | 用于生成人脸数据的图像处理系统及方法 | |
| CN110929564A (zh) | 基于对抗网络的指纹模型生成方法以及相关装置 | |
| US20230021551A1 (en) | Using training images and scaled training images to train an image segmentation model | |
| US20230106141A1 (en) | Dimensionality reduction model and method for training same | |
| US20230351558A1 (en) | Generating an inpainted image from a masked image using a patch-based encoder | |
| CN113011531A (zh) | 分类模型训练方法、装置、终端设备及存储介质 | |
| CN114358249A (zh) | 目标识别模型训练、目标识别方法及装置 | |
| CN114359592A (zh) | 模型训练及图像处理方法、装置、设备、存储介质 | |
| Surono et al. | New approach to image segmentation: u-net convolutional network for multiresolution CT image lung segmentation | |
| Ma et al. | Denoised labels for financial time series data via self-supervised learning | |
| CN113761845A (zh) | 一种文本生成方法、装置、存储介质及电子设备 | |
| Davoudi et al. | Ancient document layout analysis: Autoencoders meet sparse coding | |
| CN117315758A (zh) | 面部表情的检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |