CN115100421A - 一种基于图像频域分解重构的对抗样本生成方法 - Google Patents

Abstract

本发明公开了一种基于图像频域分解重构的对抗样本生成方法，包括以下步骤：输入原始干净图像样本P_clean，利用离散余弦变换将该图像拆分为低频部分

高频部分

从数据集中选取图像，构建待融合的低频、高频图像集合；基于图像间的相似度，将干净样本的高频部分与高频图像集合中的所有图像进行融合；将干净样本的低频部分与低频图像集合中的所有图像进行融合与拼接；通过神经网络的梯度反向传播，利用低频融合图像集合与拼接图像集合对干净样本的低频部分施加扰动，生成对抗样本的低频部分；对获得的对抗样本的低频部分进行低通滤波，并和高频图像集合进行图像重构，构造对抗样本。本发明提出了对图像分解后的低频、高频两个部分分别采取基于图像增强的梯度回传、基于相似度融合等方法，增强了生成的对抗样本的攻击成功率和迁移率，降低了人眼对扰动噪声的感知效果，同时能提升对抗样本对神经网络模型的攻击效果。

Description

一种基于图像频域分解重构的对抗样本生成方法

技术领域

本发明属于深度学习图像对抗攻击领域，具体涉及一种基于图像频域分解重构的对抗样本生成方法。

背景技术

在计算机视觉领域，深度神经网络在图像分类、目标识别等任务场景表现出优异的性能。然而，研究表明，在输入图像中添加人类难以察觉的扰动，会使得神经网络模型被误导，做出错误的决策，这些添加了扰动噪声的图像被称为对抗样本。目前，对抗攻击方法可分为两大类：获取目标模型结构、参数等完备信息的白盒攻击以及仅能获取模型输入输出信息的黑盒攻击。黑盒攻击可以在不了解目标模型的情况下产生对抗样本，更适用于现实场景，是目前的研究热点。

相关领域的学者基于深度学习的全过程提出了诸多对抗攻击方法，其中基于梯度的攻击方法最为普遍：利用神经网络的梯度反向传播，逐步改变样本的像素值，通过最大化网络损失，使得神经网络决策错误。此类方法能达到较高的白盒攻击成功率，而且能与动量、输入变换等方法相结合，提升生成对抗样本的迁移性。基于查询的攻击方法利用查询到的神经网络输出概率向量或硬标签估计梯度，通过向神经网络大量输入图像以优化扰动噪声，推动对抗样本向网络模型的决策边界靠近直至越过正确决策空间，生成的对抗样本能达到很高的攻击成功率。

虽然目前的对抗攻击方法层出不穷，但总体来看仍存在以下缺陷：(1)生成的对抗样本过拟合于原网络模型，难以对其他网络模型产生较高的攻击成功率，即迁移率差；(2)产生的扰动噪声在低频区间的幅度偏大，生成的对抗样本易被人眼感知；(3)对抗样本没有对干净样本的纹理细节区域产生针对性的扰动，难以对网络模型产生攻击效果。

发明内容

针对上述技术问题，本发明提供一种基于图像频域分解重构的对抗样本生成方法，该方法基于人类视觉系统和网络模型对不同频率扰动噪声的感知差异，对图像的低频和高频成分分别采取梯度反向传播和相似度融合的方法，增强了对抗样本的迁移性，提升了对抗样本对防御网络的攻击效果，并降低了扰动噪声的大小。

本发明采用的技术方法是：一种基于图像频域分解重构的对抗样本生成方法，其特征在于：包括以下步骤：

步骤一、输入原始干净图像样本P_clean，利用离散余弦变换将该图像拆分为低频部分

和高频部分

步骤101、对干净图像样本P_clean进行离散余弦变换，获取图像的幅度频谱F_clean；

步骤102、将幅度频谱F_clean左上角

区域内元素保留，其余区域元素置0，得到图像的低频幅度频谱

步骤103、将幅度频谱F_clean左上角

区域内元素置0，其余区域元素保留，得到图像的高频幅度频谱

步骤104、分别对

进行逆离散余弦变换，得到图像的低频部分

和高频部分

步骤二、从数据集中选取图像，构建待融合的低频、高频图像集合：

步骤201、从干净图像P_clean所在类别以外的其他所有类别中，分别选取r张图像，组成图像集合{P_adv-1,P_adv-2,...,P_adv-n}；

步骤202、对图像集合{P_adv-1,P_adv-2,...,P_adv-n}内的所有图像进行步骤一相同的操作，构建待融合的低频图像集合

高频图像集合

步骤三、基于图像间的相似度，将干净样本的高频部分与高频图像集合中的所有图像进行融合：

步骤301、利用感知哈希算法，计算干净样本的高频部分

与待融合的高频图像集合

中每张图像的相似度{s₁,s₂,...,s_n}；

步骤302、选取高频融合比例α_H∈[0,1]，基于图像间的相似度，将干净样本的高频部分

分别与高频图像集合

中的所有图像进行融合：

获得高频融合图像集合

步骤四、将干净样本的低频部分与低频图像集合中的所有图像分别进行融合与拼接：

步骤401、选取低频融合比例α_L∈[0,1]，将干净样本的低频部分

分别与低频图像集合

中的所有图像进行融合：

获得低频融合图像集合

步骤402、从图像集合

中随机选取m-1张图像，同时设置m个与图像尺寸(H,W,C)相同的掩膜M₁、M₁…M_m:

将干净样本的低频部分

与选取的m-1张图像进行拼接，获得低频拼接图像

步骤403、重复n次步骤402，获得低频拼接图像集合

步骤五、通过神经网络的梯度反向传播，利用低频融合图像集合与拼接图像集合对干净样本的低频部分施加扰动，生成对抗样本的低频部分：

步骤501、从低频融合图像集合、拼接图像集合中分别选取n₁、n₂张图像，并将该n₁+n₂张图像分别输入到预测模式的神经网络f，设置f的损失函数为交叉熵损失，得到f关于输入图像

的损失

依据该损失获得f关于输入图像

的损失梯度：

步骤502、依据神经网络的损失获取聚合动量梯度

其中λ_i为神经网络对每张输入图像的损失梯度分配的权重，满足：

步骤503、选取迭代动量β∈[0,1]，利用聚合动量梯度

更新g_t+1：

步骤504、设定扰动幅度上限ξ₁与最大迭代次数T，计算每次迭代对抗样本的变化量

更新对抗样本的低频部分

步骤505、利用扰动幅度上限ξ₁对

的像素值进行扰动限制：

步骤506、迭代步骤501-505，直到最大迭代次数T，获得对抗样本的低频部分

步骤六、对获得的对抗样本的低频部分进行低通滤波，并和高频图像集合进行图像重构，构造对抗样本：

步骤601、利用离散余弦变换获取对抗样本低频部分的幅度频谱

将

左上角

区域内元素保留，其余区域元素置0，得到低频幅度频谱

步骤602、对低频幅度频谱

进行逆离散余弦变换，获得低通滤波后的低频对抗样本

限制对抗噪声仅存在于低频部分；

步骤602、从高频融合图像集合中随机选取一张图像替换干净样本的高频部分，并与

进行图像重构：

步骤603、设定对抗样本的扰动幅度上限ξ₂，对重构图像的像素值进行扰动幅度限制，构造对抗样本：

本发明与现有技术相比，主要具有如下的优点：

第一，本发明提出了基于图像频域分解重构的对抗样本生成方法，通过利用离散余弦变换将图像分解为低频、高频两个部分，并分别对这两个部分采取基于图像增强的梯度回传、基于相似度融合等方法，增强了生成的对抗样本的攻击成功率，降低了人眼对扰动噪声的感知效果；

第二，本发明将图像融合以及图像拼接等图像增强方法与基于动量的梯度回传方法相结合，提升了低频区间扰动的迁移性，对图像高频部分对应的边缘纹理区域的扰动，使得生成的对抗样本能够对黑盒网络模型产生明显的攻击效果。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

如图1所示，以公开的ILSVRC2012图像数据集为例，说明本发明的合理性与有效性，包含具体步骤如下：

步骤一、输入原始干净图像样本P_clean，利用离散余弦变换将该图像拆分为低频部分

和高频部分

步骤101、对干净图像样本P_clean进行离散余弦变换，获取图像的幅度频谱F_clean；

步骤102、将幅度频谱F_clean左上角

区域内元素保留，其余区域元素置0，得到图像的低频幅度频谱

步骤103、将幅度频谱F_clean左上角

区域内元素置0，其余区域元素保留，得到图像的高频幅度频谱

步骤104、分别对

进行逆离散余弦变换，得到图像的低频部分

和高频部分

步骤二、从数据集中选取图像，构建待融合的低频、高频图像集合：

步骤201、从干净图像P_clean所在类别以外的其他999个类别中，分别选取1张图像，组成图像集合{P_adv-1,P_adv-2,...,P_adv-999}；

步骤202、对图像集合{P_adv-1,P_adv-2,...,P_adv-999}内的所有图像进行步骤一相同的操作，构建待融合的低频图像集合

高频图像集合

步骤三、基于图像间的相似度，将干净样本的高频部分与高频图像集合中的所有图像进行融合：

步骤301、利用感知哈希算法，计算干净样本的高频部分

与待融合的高频图像集合

中每张图像的相似度{s₁,s₂,...,s₉₉₉}；

步骤302、选取高频融合比例α_H＝0，基于图像间的相似度，将干净样本的高频部分

分别与高频图像集合

中的所有图像进行融合：

获得高频融合图像集合

步骤四、将干净样本的低频部分与低频图像集合中的所有图像分别进行融合与拼接：

步骤401、选取低频融合比例α_L＝0.2，将干净样本的低频部分

分别与低频图像集合

中的所有图像进行融合：

获得低频融合图像集合

步骤402、从图像集合

中随机选取3张图像，同时设置4个与图像尺寸(H,W,C)相同的掩膜M₁、M₁…M₄:

将干净样本的低频部分

与选取的3张图像进行拼接，获得低频拼接图像

步骤403、重复10次步骤402，获得低频拼接图像集合

步骤五、通过神经网络的梯度反向传播，利用低频融合图像集合与拼接图像集合对干净样本的低频部分施加扰动，生成对抗样本的低频部分：

步骤501、从低频融合图像集合、拼接图像集合中分别选取2张、1张图像，并将该3张图像分别输入到预测模式的神经网络f，设置f的损失函数为交叉熵损失，得到f关于输入图像

的损失

依据该损失获得f关于输入图像

的损失梯度：

步骤502、依据神经网络的损失获取聚合动量梯度

其中λ_i为神经网络对每张输入图像的损失梯度分配的权重，满足：

步骤503、选取迭代动量β＝1.0，利用聚合动量梯度

更新g_t+1：

步骤504、设定扰动幅度上限ξ₁＝16与最大迭代次数T＝10，计算每次迭代对抗样本的变化量

更新对抗样本的低频部分

步骤505、利用扰动幅度上限ξ₁＝16对

的像素值进行扰动限制：

步骤506、迭代步骤501-505，直到最大迭代次数T＝10，获得对抗样本的低频部分

步骤六、对获得的对抗样本的低频部分进行低通滤波，并和高频图像集合进行图像重构，构造对抗样本：

步骤601、利用离散余弦变换获取对抗样本低频部分的幅度频谱

将

左上角

区域内元素保留，其余区域元素置0，得到低频幅度频谱

步骤602、对低频幅度频谱

进行逆离散余弦变换，获得低通滤波后的低频对抗样本

限制对抗噪声仅存在于低频部分；

步骤602、从高频融合图像集合中随机选取一张图像替换干净样本的高频部分，并与

进行图像重构：

步骤603、设定对抗样本的扰动幅度上限ξ₂＝30，对重构图像的像素值进行扰动幅度限制，构造对抗样本：

以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (1)

1.一种基于图像频域分解重构的对抗样本生成方法，其特征在于：包括以下步骤：

步骤一、输入原始干净图像样本P_clean，利用离散余弦变换将该图像拆分为低频部分

和高频部分

步骤101、对干净图像样本P_clean进行离散余弦变换，获取图像的幅度频谱F_clean；

步骤102、将幅度频谱F_clean左上角

区域内元素保留，其余区域元素置0，得到图像的低频幅度频谱

步骤103、将幅度频谱F_clean左上角

区域内元素置0，其余区域元素保留，得到图像的高频幅度频谱

步骤104、分别对

进行逆离散余弦变换，得到图像的低频部分

和高频部分

步骤二、从数据集中选取图像，构建待融合的低频、高频图像集合：

步骤201、从干净图像P_clean所在类别以外的其他所有类别中，分别选取r张图像，组成图像集合{P_adv-1,P_adv-2,...,P_adv-n}；

步骤202、对图像集合{P_adv-1,P_adv-2,...,P_adv-n}内的所有图像进行步骤一相同的操作，构建待融合的低频图像集合

高频图像集合

步骤三、基于图像间的相似度，将干净样本的高频部分与高频图像集合中的所有图像进行融合：

步骤301、利用感知哈希算法，计算干净样本的高频部分

与待融合的高频图像集合

中每张图像的相似度{s₁,s₂,...,s_n}；

步骤302、选取高频融合比例α_H∈[0,1]，基于图像间的相似度，将干净样本的高频部分

分别与高频图像集合

中的所有图像进行融合：

获得高频融合图像集合

步骤四、将干净样本的低频部分与低频图像集合中的所有图像分别进行融合与拼接：

步骤401、选取低频融合比例α_L∈[0,1]，将干净样本的低频部分

分别与低频图像集合

中的所有图像进行融合：

获得低频融合图像集合

步骤402、从图像集合

中随机选取m-1张图像，同时设置m个与图像尺寸(H,W,C)相同的掩膜M₁、M₁…M_m:

将干净样本的低频部分

与选取的m-1张图像进行拼接，获得低频拼接图像

步骤403、重复n次步骤402，获得低频拼接图像集合

步骤五、通过神经网络的梯度反向传播，利用低频融合图像集合与拼接图像集合对干净样本的低频部分施加扰动，生成对抗样本的低频部分：

步骤501、从低频融合图像集合、拼接图像集合中分别选取n₁、n₂张图像，并将该n₁+n₂张图像分别输入到预测模式的神经网络f，设置f的损失函数为交叉熵损失，得到f关于输入图像

的损失

依据该损失获得f关于输入图像

的损失梯度：

步骤502、依据神经网络的损失获取聚合动量梯度

其中λ_i为神经网络对每张输入图像的损失梯度分配的权重，满足：

步骤503、选取迭代动量β∈[0,1]，利用聚合动量梯度

更新g_t+1：

步骤504、设定扰动幅度上限ξ₁与最大迭代次数T，计算每次迭代对抗样本的变化量

更新对抗样本的低频部分

步骤505、利用扰动幅度上限ξ₁对

的像素值进行扰动限制：

步骤506、迭代步骤501-505，直到最大迭代次数T，获得对抗样本的低频部分

步骤六、对获得的对抗样本的低频部分进行低通滤波，并和高频图像集合进行图像重构，构造对抗样本：

步骤601、利用离散余弦变换获取对抗样本低频部分的幅度频谱

将

左上角

区域内元素保留，其余区域元素置0，得到低频幅度频谱

步骤602、对低频幅度频谱

进行逆离散余弦变换，获得低通滤波后的低频对抗样本

限制对抗噪声仅存在于低频部分；

步骤602、从高频融合图像集合中随机选取一张图像替换干净样本的高频部分，并与

进行图像重构：

步骤603、设定对抗样本的扰动幅度上限ξ₂，对重构图像的像素值进行扰动幅度限制，构造对抗样本：

Images