CN115019097A - 基于图像预处理的对抗样本防御方法 - Google Patents

基于图像预处理的对抗样本防御方法 Download PDF

Info

Publication number
CN115019097A
CN115019097A CN202210643314.8A CN202210643314A CN115019097A CN 115019097 A CN115019097 A CN 115019097A CN 202210643314 A CN202210643314 A CN 202210643314A CN 115019097 A CN115019097 A CN 115019097A
Authority
CN
China
Prior art keywords
image
defense
agd
module
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210643314.8A
Other languages
English (en)
Inventor
陈梦轩
邵俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202210643314.8A priority Critical patent/CN115019097A/zh
Publication of CN115019097A publication Critical patent/CN115019097A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明属于人工智能安全技术领域，公开了一种基于图像预处理的对抗样本防御方法，包括步骤1：构建防御模型AGD；所述防御模型AGD共有17层网络，由三大模块构成，其中，前12层网络为扩张卷积模块，中间四层网络为特征增强模块，最后一层网络为注意力模块；步骤2：构建图像重建模型；基于超分辨率设计图像重建模型，对AGD防御模型处理后的样本进行重建；步骤3：构建防御框架SR‑AGD；结合AGD防御模型和图像重建模型的特点，构建防御框架SR‑AGD。本发明提出的基于图像预处理的防御技术SR‑AGD有效解决了已有类似防御方法中存在的对抗扰动去除不完全、影响正常样本分类等缺陷，起到了良好的防御对抗攻击的效果。

Description

基于图像预处理的对抗样本防御方法
技术领域
本发明属于人工智能安全技术领域，尤其涉及一种基于图像预处理的对抗样本防御方法。
背景技术
随着对抗样本研究的深入，研究者们针对不断涌现的对抗攻击，提出了许多防御方法。虽然这些防御方法在一定程度上起到了防御作用，但仍存在许多问题。例如，梯度遮蔽方法无法防御无需模型梯度信息的对抗攻击；对抗训练防御方法训练成本高、模型的准确性与鲁棒性难以权衡、自适应性差等等。而图像预处理作为一种高效的防御手段，不但防御效果好，而且具备兼容性，能与其他类型的防御方法结合来进一步提高模型的防御能力。因此，我们从图像预处理的角度入手，通过去除对抗样本上的对抗扰动，来使对抗样本重新被分类正确。
而在已有的类似防御方法中，目前也存在一些问题。例如，利用滤波器去除对抗扰动时，只能去除少部分的扰动；在像素上去除对抗扰动时，存在残余扰动放大现象；HGD防御方法虽具备更好的防御效果，但对抗扰动去除效果仍有待提升。由此可见，对抗扰动与图像上的自然噪声有所不同，更难提取与去除。
发明内容
本发明目的在于提供一种基于图像预处理的对抗样本防御方法,以解决上述的技术问题。
为了提高防御效果，增强去除对抗扰动的能力，本发明基于注意力机制以及超分辨率的防御技术SR-AGD：利用注意力机制的特性提出防御模型AGD，增强模型对对抗扰动的特征提取能力，提高对抗扰动去除效果；利用超分辨率提出图像重建模型，对经AGD模型处理后的图像进行重建，重构图像细节信息与结构。具体技术方案如下：
一种基于图像预处理的对抗样本防御方法，包括如下步骤：
步骤1：构建防御模型AGD；所述防御模型AGD共有17层网络，由三大模块构成，其中，前12层网络为扩张卷积模块，中间四层网络为特征增强模块，最后一层网络为注意力模块；
步骤2：构建图像重建模型；基于超分辨率设计图像重建模型，对AGD防御模型处理后的样本进行重建，减轻AGD对正常样本产生的影响；
步骤3：构建防御框架SR-AGD；结合AGD防御模型和图像重建模型的特点，构建防御框架SR-AGD，实现对对抗攻击的防御效果。
进一步地，所述步骤1在扩张卷积模块中，通过将第2层、第5层、第9层以及第12层的卷积层由普通卷积改为扩张卷积，达到增大感受野来映射图像中更多的上下文信息，从而有助于获取到更多的对抗扰动特征，公式(1)对扩张卷积模块的过程进行了表示，其中x*代表输入的对抗样本，fDC代表扩张卷积模块实现的作用，ODC代表扩张卷积模块的输出，
ODC＝fDC(x*)。 (1)
进一步地，所述步骤1在特征增强模块中，将输入的对抗样本特征与第16层网络所输出的特征进行融合，公式(2)对特征增强模块的过程进行了表示，其中x*代表输入的对抗样本，ODC代表扩张卷积模块的输出，fFE代表特征增强模块实现的作用，OFE代表扩张卷积模块的输出，
OFE＝fFE(x*，ODC)。 (2)
进一步地，所述步骤1在最后一层网络上加入了CBAM注意力模块来进行注意力机制的实现；CBAM注意力机制主要包括两部分，分别为通道注意力和空间注意力，注意力模块利用通道与空间这两个维度，对AGD防御模型中的中间特征图分别采用两个独立的注意力机制来得到权重系数，公式(3)表示了注意力模块的处理过程，其中OFE代表特征增强模块的输出，也是注意力模块的输入，fAB代表注意力模块实现的作用，
Figure BDA0003684947890000031
代表注意力模块的输出，即对抗扰动信息的残差图像，
Figure BDA0003684947890000032
进一步地，所述步骤1在AGD防御模型损失函数的设计中，将扰动去除前后图像在目标模型高层网络中输出结果之间的差异作为损失函数，如公式(4)所示，其中，
Figure BDA0003684947890000033
代表经AGD处理去除了对抗扰动的图像，x代表原始图像，Fl代表目标模型中第l层网络的输出结果，||·||代表L1范数，
Figure BDA0003684947890000034
进一步地，所述步骤2的图像重建模型由三个模块组成，分别是特征提取模块、多尺度特征融合模块以及亚像素重建模块。
进一步地，所述步骤2在特征提取模块，对AGD处理后的图像进行初始特征的提取，作为后续模块的输入，利用了一个1×1的卷积提取AGD防御模型处理后图像的初始特征，该过程用公式(5)表示，
Figure BDA0003684947890000035
其中，
Figure BDA0003684947890000036
代表输入的低分辨率图像，即AGD防御模型处理后得到的图像，FE代表卷积核大小为1×1的卷积层对
Figure BDA0003684947890000037
特征的提取过程，OE代表提取初始特征后得到的特征图。
进一步地，所述步骤2在多尺度特征融合模块，采用多个大小不同的卷积核对初始特征进行卷积操作，以提取不同维度的特征信息，并利用特征级联实现对多尺度特征的融合，提高模型获取到的图像特征的丰富度，多尺度特征融合模块增加了网络的宽度，能够提取到不同维度的特征信息，并使这些特征信息得到充分利用，该过程可用公式(6)表示，
OM＝FM(OE)，(6)
其中，OE代表特征提取模块提取的初始特征，FM代表多尺度特征融合模块的作用，OM代表经过多尺度特征融合后得到的新特征信息，在多尺度特征融合模块，包含三种不同尺度的卷积核，卷积核的大小分别为3×3、5×5和7×7，使用不同尺寸的卷积核，获取输入图像不同区域大小的特征信息，来提高特征的丰富度，同时，利用残差融合的方式，避免特征信息在网络传递中的丢失，保证每层网络提取到的特征信息都能被充分利用，此外，将不同尺度卷积核所提取的多个特征进行级联融合后，采用一个大小为1×1的卷积进行降维处理。
进一步地，所述步骤2的亚像素重建模块，在亚像素重建前，将多尺度特征融合模块所得到的高级特征与低分辨率图像中的低级特征进行残差融合，之后，亚像素重建模块对融合后的特征进行亚像素卷积操作，重建高分辨率图像，该模块可用公式(7)表示，其中x′代表经图像重建模型重建后的图像，
x′＝FS(OE，OM)， (7)
在图像重建模型的训练过程中，采用像素级的均方误差MSE来作为损失函数，将AGD防御模型处理后的样本输入到图像重建模型中，输出的重建后图像需与原始图像尽可能相似，因此，图像重建模型的训练目标就是最小化重建后样本与原始图像之间的差异，损失函数可用公式(8)表示，
Figure BDA0003684947890000041
其中，
Figure BDA0003684947890000042
代表参数集，
Figure BDA0003684947890000043
代表图像重建模型的输出，||·||代表L2范数，在训练过程中，使用随机梯度下降法来优化损失函数。
进一步地，所述步骤3将对抗样本直接输入到SR-AGD防御框架中，首先利用AGD防御模型去除对抗样本中的对抗扰动，得到处理后的样本，然后将其送入图像重建模型进行处理，在图像重建模型的重建过程中，进一步去除了残余的对抗扰动，最终实现对对抗攻击的防御效果。
本发明的基于图像预处理的对抗样本防御方法具有以下优点：本发明提出的基于图像预处理的防御技术SR-AGD有效解决了已有类似防御方法中存在的对抗扰动去除不完全、影响正常样本分类等缺陷，起到了良好的防御对抗攻击的效果。
附图说明
图1为本发明的防御模型AGD的网络结构图；
图2为本发明的图像重建模型的网络结构示意图；
图3为本发明的SR-AGD防御框架的防御流程图。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于图像预处理的对抗样本防御方法做进一步详细的描述。
本发明提出的基于图像预处理的防御方法SR-AGD(Super-ResolutionAttention-Guided Denoiser)有效解决了已有类似防御方法中存在的对抗扰动去除不完全、影响正常样本分类等缺陷，起到了良好的防御对抗攻击的效果。SR-AGD主要由两部分组成，分别为基于注意力的防御模型AGD和基于超分辨率的图像重建模型。下面将分别介绍这两部分的技术细节。
一、构建防御模型AGD
防御模型AGD(Attention-Guided Denoiser)共有17层网络，由三大模块构成。其中，前12层网络为扩张卷积模块，中间四层网络为特征增强模块，最后一层网络为注意力模块。模型结构如图1所示。
在扩张卷积模块中，主要通过将第2层、第5层、第9层以及第12层的卷积层由普通卷积改为扩张卷积，达到增大感受野来映射图像中更多的上下文信息，从而有助于获取到更多的对抗扰动特征。公式(1)对扩张卷积模块的过程进行了表示，其中x*代表输入的对抗样本，fDC代表扩张卷积模块实现的作用，ODC代表扩张卷积模块的输出。
ODC＝fDC(x*)。 (1)
在特征增强模块中，通过将输入的对抗样本特征与第16层网络所输出的特征进行融合，解决了随着网络层数的增加，深层网络受浅层网络特征的影响逐渐减弱的问题。由此一来，既充分利用了全局特征和局部特征，又与扩张卷积模块形成互补，提高了防御模型去除对抗扰动的能力。公式(2)对特征增强模块的过程进行了表示，其中x*代表输入的对抗样本，ODC代表扩张卷积模块的输出，fFE代表特征增强模块实现的作用，OFE代表扩张卷积模块的输出。
OFE＝fFE(x*，ODC)。 (2)
由于对抗样本上的对抗扰动是人为精心设计的，因此为了提高模型从复杂背景中提取对抗扰动的能力，在模型中引入了注意力机制。由于CBAM注意力模块能够任意加入神经网络模型中，和模型共同进行训练，因此我们在最后一层网络上加入了该模块来进行注意力机制的实现。CBAM注意力机制主要包括两部分，分别为通道注意力和空间注意力。注意力模块利用通道与空间这两个维度，对AGD防御模型中的中间特征图分别采用两个独立的注意力机制来得到权重系数，从而实现了对特征图进行自适应性的特征细化。同时，在不增加过多计算量的情况下，显著提升了AGD防御模型的表现性能。公式(3)表示了注意力模块的处理过程，其中OFE代表特征增强模块的输出，也是注意力模块的输入，fAB代表注意力模块实现的作用，
Figure BDA0003684947890000061
代表注意力模块的输出，即对抗扰动信息的残差图像。
Figure BDA0003684947890000062
由扩张卷积模块、特征增强模块以及注意力模块三大模块构成的防御模型AGD，充分利用了扩张卷积和注意力机制的特点，对对抗样本中的对抗扰动进行了更细致化处理，更丰富地提取到了对抗扰动特征信息，有助于对抗扰动的去除，有效提升了对对抗攻击的防御能力。
在AGD防御模型损失函数的设计中，将扰动去除前后图像在目标模型高层网络中输出结果之间的差异作为损失函数，如公式(4)所示。其中，
Figure BDA0003684947890000071
代表经AGD处理去除了对抗扰动的图像，x代表原始图像，Fl代表目标模型中第l层网络的输出结果，||·||代表L1范数。
Figure BDA0003684947890000072
二、构建图像重建模型
AGD防御模型虽达到了一定防御效果，但仍存在一个问题。正常的能被目标模型分类正确的图像经AGD处理后反而误导模型分类错误。而从视觉效果上看，图像的质量降低了。这说明，AGD在处理正常样本时，存在的破环正常图像结构、降低模型分类准确率问题。因此，由于超分辨率图像重建技术在图像重建任务上表现出的优异性能，我们基于超分辨率设计了图像重建模型，对AGD防御模型处理后的样本进行重建，减轻AGD对正常样本产生的影响。
与此同时，图像重建模型在对AGD防御模型处理后的对抗样本进行重建时，实现了进一步去除残余对抗扰动的作用。
图像重建模型主要由三个模块组成，分别是特征提取模块、多尺度特征融合模块以及亚像素重建模块。模型结构如图2所示。
(1)特征提取模块，对AGD处理后的图像进行初始特征的提取，作为后续模块的输入。主要利用了一个1×1的卷积提取AGD防御模型处理后图像的初始特征，该过程用公式(5)表示。
Figure BDA0003684947890000081
其中，
Figure BDA0003684947890000082
代表输入的低分辨率图像，即AGD防御模型处理后得到的图像，FE代表卷积核大小为1×1的卷积层对
Figure BDA0003684947890000083
特征的提取过程，OE代表提取初始特征后得到的特征图。
(2)多尺度特征融合模块
在多尺度特征融合模块，采用多个大小不同的卷积核对初始特征进行卷积操作，以提取不同维度的特征信息，并利用特征级联实现了对多尺度特征的融合，提高模型获取到的图像特征的丰富度。多尺度特征融合模块增加了网络的宽度，能够提取到不同维度的特征信息，并使这些特征信息得到充分利用，该过程可用公式(6)表示。
OM＝FM(OE)， (6)
其中，OE代表特征提取模块提取的初始特征，FM代表多尺度特征融合模块的作用，OM代表经过多尺度特征融合后得到的新特征信息。在多尺度特征融合模块，包含三种不同尺度的卷积核，卷积核的大小分别为3×3、5×5和7×7。使用不同尺寸的卷积核，可以获取输入图像不同区域大小的特征信息，来提高特征的丰富度。同时，利用残差融合的方式，避免了特征信息在网络传递中的丢失，保证了每层网络提取到的特征信息都能被充分利用。此外，为避免特征图数量过多，增大模型训练难度，将不同尺度卷积核所提取的多个特征进行级联融合后，采用一个大小为1×1的卷积进行降维处理。
(3)亚像素重建模块，由于低分辨率图像中所含的大量信息也可用于图像的超分辨率重建，因此在亚像素重建前，将多尺度特征融合模块所得到的高级特征与低分辨率图像中的低级特征进行残差融合，以提高图像重建的质量。之后，亚像素重建模块对融合后的特征进行亚像素卷积操作，重建高分辨率图像。该模块可用公式(7)表示，其中x′代表经图像重建模型重建后的图像。
x′＝FS(OE，OM)。 (7)
在图像重建模型的训练过程中，采用了像素级的均方误差MSE来作为损失函数。将AGD防御模型处理后的样本输入到图像重建模型中，输出的重建后图像需与原始图像尽可能相似。因此，图像重建模型的训练目标就是最小化重建后样本与原始图像之间的差异，损失函数可用公式(8)表示。
Figure BDA0003684947890000091
其中，
Figure BDA0003684947890000092
代表参数集，
Figure BDA0003684947890000093
代表图像重建模型的输出，||·||代表L2范数。在训练过程中，使用随机梯度下降法来优化损失函数。
三、构建防御框架SR-AGD
我们结合了AGD防御模型和图像重建模型的特点，构建了SR-AGD防御框架，其对对抗攻击的防御流程如图3所示。将对抗样本直接输入到SR-AGD防御框架中，首先利用AGD防御模型去除对抗样本中的对抗扰动，得到处理后的样本，然后将其送入图像重建模型进行处理。在图像重建模型的重建过程中，进一步去除了残余的对抗扰动，最终实现了对对抗攻击的防御效果。
而对于正常样本来说，输入到SR-AGD防御框架后，图像的结构细节首先会被AGD防御模型破坏，故将其再输入到图像重建模型中，对损失的图像细节和边缘信息进行重建，从而有效缓解AGD防御模型对正常样本的影响。SR-AGD防御框架通过AGD防御模型和图像重建模型的联合处理，既成功抵御了对抗攻击，又减轻了对正常样本造成的影响。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (10)

1.一种基于图像预处理的对抗样本防御方法，其特征在于，包括如下步骤：
步骤1：构建防御模型AGD；所述防御模型AGD共有17层网络，由三大模块构成，其中，前12层网络为扩张卷积模块，中间四层网络为特征增强模块，最后一层网络为注意力模块；
步骤2：构建图像重建模型；基于超分辨率设计图像重建模型，对AGD防御模型处理后的样本进行重建，减轻AGD对正常样本产生的影响；
步骤3：构建防御框架SR-AGD；结合AGD防御模型和图像重建模型的特点，构建防御框架SR-AGD，实现对对抗攻击的防御效果。
2.根据权利要求1所述的基于图像预处理的对抗样本防御方法，其特征在于，所述步骤1在扩张卷积模块中，通过将第2层、第5层、第9层以及第12层的卷积层由普通卷积改为扩张卷积，达到增大感受野来映射图像中更多的上下文信息，从而有助于获取到更多的对抗扰动特征，公式(1)对扩张卷积模块的过程进行了表示，其中x*代表输入的对抗样本，fDC代表扩张卷积模块实现的作用，ODC代表扩张卷积模块的输出，
ODC＝fDC(x*)。 (1)
3.根据权利要求1所述的基于图像预处理的对抗样本防御方法，其特征在于，所述步骤1在特征增强模块中，将输入的对抗样本特征与第16层网络所输出的特征进行融合，公式(2)对特征增强模块的过程进行了表示，其中x*代表输入的对抗样本，ODC代表扩张卷积模块的输出，fFE代表特征增强模块实现的作用，OFE代表扩张卷积模块的输出，
OFE＝fFE(x*，ODC)。 (2)
4.根据权利要求1所述的基于图像预处理的对抗样本防御方法，其特征在于，所述步骤1在最后一层网络上加入了CBAM注意力模块来进行注意力机制的实现；CBAM注意力机制主要包括两部分，分别为通道注意力和空间注意力，注意力模块利用通道与空间这两个维度，对AGD防御模型中的中间特征图分别采用两个独立的注意力机制来得到权重系数，公式(3)表示了注意力模块的处理过程，其中OFE代表特征增强模块的输出，也是注意力模块的输入，fAB代表注意力模块实现的作用，
Figure FDA0003684947880000021
代表注意力模块的输出，即对抗扰动信息的残差图像，
Figure FDA0003684947880000022
5.根据权利要求1所述的基于图像预处理的对抗样本防御方法，其特征在于，所述步骤1在AGD防御模型损失函数的设计中，将扰动去除前后图像在目标模型高层网络中输出结果之间的差异作为损失函数，如公式(4)所示，其中，
Figure FDA0003684947880000026
代表经AGD处理去除了对抗扰动的图像，x代表原始图像，Fl代表目标模型中第l层网络的输出结果，||·||代表L1范数，
Figure FDA0003684947880000023
6.根据权利要求1所述的基于图像预处理的对抗样本防御方法，其特征在于，所述步骤2的图像重建模型由三个模块组成，分别是特征提取模块、多尺度特征融合模块以及亚像素重建模块。
7.根据权利要求6所述的基于图像预处理的对抗样本防御方法，其特征在于，所述步骤2在特征提取模块，对AGD处理后的图像进行初始特征的提取，作为后续模块的输入，利用了一个1×1的卷积提取AGD防御模型处理后图像的初始特征，该过程用公式(5)表示，
Figure FDA0003684947880000024
其中，
Figure FDA0003684947880000025
代表输入的低分辨率图像，即AGD防御模型处理后得到的图像，FE代表卷积核大小为1×1的卷积层对
Figure FDA0003684947880000027
特征的提取过程，OE代表提取初始特征后得到的特征图。
8.根据权利要求6所述的基于图像预处理的对抗样本防御方法，其特征在于，所述步骤2在多尺度特征融合模块，采用多个大小不同的卷积核对初始特征进行卷积操作，以提取不同维度的特征信息，并利用特征级联实现对多尺度特征的融合，提高模型获取到的图像特征的丰富度，多尺度特征融合模块增加了网络的宽度，能够提取到不同维度的特征信息，并使这些特征信息得到充分利用，该过程可用公式(6)表示，
OM＝FM(OE)， (6)
其中，OE代表特征提取模块提取的初始特征，FM代表多尺度特征融合模块的作用，OM代表经过多尺度特征融合后得到的新特征信息，在多尺度特征融合模块，包含三种不同尺度的卷积核，卷积核的大小分别为3×3、5×5和7×7，使用不同尺寸的卷积核，获取输入图像不同区域大小的特征信息，来提高特征的丰富度，同时，利用残差融合的方式，避免特征信息在网络传递中的丢失，保证每层网络提取到的特征信息都能被充分利用，此外，将不同尺度卷积核所提取的多个特征进行级联融合后，采用一个大小为1×1的卷积进行降维处理。
9.根据权利要求6所述的基于图像预处理的对抗样本防御方法，其特征在于，所述步骤2的亚像素重建模块，在亚像素重建前，将多尺度特征融合模块所得到的高级特征与低分辨率图像中的低级特征进行残差融合，之后，亚像素重建模块对融合后的特征进行亚像素卷积操作，重建高分辨率图像，该模块可用公式(7)表示，其中x′代表经图像重建模型重建后的图像，
x′＝FS(OE，OM)， (7)
在图像重建模型的训练过程中，采用像素级的均方误差MSE来作为损失函数，将AGD防御模型处理后的样本输入到图像重建模型中，输出的重建后图像需与原始图像尽可能相似，因此，图像重建模型的训练目标就是最小化重建后样本与原始图像之间的差异，损失函数可用公式(8)表示，
Figure FDA0003684947880000041
其中，
Figure FDA0003684947880000042
代表参数集，
Figure FDA0003684947880000043
代表图像重建模型的输出，||·||代表L2范数，在训练过程中，使用随机梯度下降法来优化损失函数。
10.根据权利要求1所述的基于图像预处理的对抗样本防御方法，其特征在于，所述步骤3将对抗样本直接输入到SR-AGD防御框架中，首先利用AGD防御模型去除对抗样本中的对抗扰动，得到处理后的样本，然后将其送入图像重建模型进行处理，在图像重建模型的重建过程中，进一步去除了残余的对抗扰动，最终实现对对抗攻击的防御效果。
CN202210643314.8A 2022-06-09 2022-06-09 基于图像预处理的对抗样本防御方法 Pending CN115019097A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210643314.8A CN115019097A (zh) 2022-06-09 2022-06-09 基于图像预处理的对抗样本防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210643314.8A CN115019097A (zh) 2022-06-09 2022-06-09 基于图像预处理的对抗样本防御方法

Publications (1)

Publication Number Publication Date
CN115019097A true CN115019097A (zh) 2022-09-06

Family

ID=83073599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210643314.8A Pending CN115019097A (zh) 2022-06-09 2022-06-09 基于图像预处理的对抗样本防御方法

Country Status (1)

Country Link
CN (1) CN115019097A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205608A (zh) * 2022-09-15 2022-10-18 杭州涿溪脑与智能研究所 基于压缩感知的自适应图像对抗样本检测与防御方法
CN115880537A (zh) * 2023-02-16 2023-03-31 江西财经大学 对抗样本图像质量评价方法及系统
CN116702876A (zh) * 2023-04-27 2023-09-05 贵州大学 一种基于预处理的图像对抗防御方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205608A (zh) * 2022-09-15 2022-10-18 杭州涿溪脑与智能研究所 基于压缩感知的自适应图像对抗样本检测与防御方法
CN115205608B (zh) * 2022-09-15 2022-12-09 杭州涿溪脑与智能研究所 基于压缩感知的自适应图像对抗样本检测与防御方法
CN115880537A (zh) * 2023-02-16 2023-03-31 江西财经大学 对抗样本图像质量评价方法及系统
CN115880537B (zh) * 2023-02-16 2023-05-09 江西财经大学 对抗样本图像质量评价方法及系统
CN116702876A (zh) * 2023-04-27 2023-09-05 贵州大学 一种基于预处理的图像对抗防御方法
CN116702876B (zh) * 2023-04-27 2024-04-12 贵州大学 一种基于预处理的图像对抗防御方法

Similar Documents

Publication Publication Date Title
CN115019097A (zh) 基于图像预处理的对抗样本防御方法
Bayar et al. Augmented convolutional feature maps for robust cnn-based camera model identification
CN110458750B (zh) 一种基于对偶学习的无监督图像风格迁移方法
CN108647775B (zh) 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN112184554B (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN111047522B (zh) 一种基于边缘生成的图像修复方法
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN109523482B (zh) 一种基于深度神经网络的对含纹理退化图像的复原方法
CN103077505A (zh) 基于字典学习和结构聚类的图像超分辨率重建方法
CN116051408B (zh) 一种基于残差自编码的图像深度去噪方法
CN109377459A (zh) 一种生成式对抗网络的超分辨率去模糊方法
CN109272452A (zh) 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN113436076A (zh) 逐步融合特征的图像超分辨率重建方法及电子设备
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN111127354A (zh) 一种基于多尺度字典学习的单图像去雨方法
CN113379618B (zh) 基于残差密集连接和特征融合的光学遥感图像去云方法
CN106447609A (zh) 一种基于深度卷积神经网络的图像超分辨方法
CN113935919A (zh) 一种基于gan网络的图像修复算法
CN112927137A (zh) 一种用于获取盲超分辨率图像的方法、设备及存储介质
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN111260585A (zh) 基于类凸集投影算法的图像恢复方法
CN107133915A (zh) 一种基于学习的图像超分辨率重构方法
CN110390312A (zh) 基于卷积神经网络的染色体自动分类方法和分类器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination