CN116702876B - 一种基于预处理的图像对抗防御方法 - Google Patents
一种基于预处理的图像对抗防御方法 Download PDFInfo
- Publication number
- CN116702876B CN116702876B CN202310472410.5A CN202310472410A CN116702876B CN 116702876 B CN116702876 B CN 116702876B CN 202310472410 A CN202310472410 A CN 202310472410A CN 116702876 B CN116702876 B CN 116702876B
- Authority
- CN
- China
- Prior art keywords
- defense
- network model
- robustness
- image
- preprocessing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000007123 defense Effects 0.000 title claims abstract description 46
- 238000007781 pre-processing Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 11
- 102100031620 Cysteine and glycine-rich protein 3 Human genes 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000003321 amplification Effects 0.000 abstract description 6
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 9
- 102100034239 Emerin Human genes 0.000 description 7
- 235000009499 Vanilla fragrans Nutrition 0.000 description 6
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 244000290333 Vanilla fragrans Species 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 244000263375 Vanilla tahitensis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008260 defense mechanism Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于预处理的图像对抗防御方法包括，利用卷积神经网络和视觉变换器的特性，构建鲁棒性防御网络模型；将所述鲁棒性防御网络模型分为三个部分，即鲁棒性防御网络模型；通过对鲁棒性防御网络模型进行训练，实现所述鲁棒性防御网络模型中自然样本和重建实例的分类高精度；本发明构建的鲁棒性防御网络模型能够保护预测网络免受各种对抗攻击；通过在ChannelProcessing处理过程中对CSA进行改进，使得网络收敛速度加快，形成更完善的注意机制；并利用应用像素空间中的MSE度量解决了图像去噪问题；提出正则化损失函数解决了误差放大效应，提高了模型的鲁棒性和防御性能。
Description
技术领域
本发明涉及深度学习对抗领域，尤其涉及一种基于预处理的图像对抗防御方法。
背景技术
深度神经网络(DNN)已在各领域广泛使用并取得非凡的成就，如图像分类、语音识别、自然语言处理和自动驾驶等。研究发现当在输入图像中加入精心制作的微小噪声(对抗扰动)时，会导致分类网络做出严重地错误预测。此外，DNN的脆弱性威胁着许多具有关键决策的深度学习应用，甚至对抗扰动已经借助物理对象成功地放置在现实场景中而构成严重的安全威胁。同时，这些挑战促使研究人员提出各种保护DNN免受对抗攻击的防御措施。
由对抗性攻击产生的轻微噪音叫做对抗扰动，它被添加到自然样本中产生对抗样本。人类视觉系统的可感知极限使得难以区分自然样本和对抗样本变，因为两者在肉眼看来都很相似。此外，对抗性样本也会导致预训练的分类网络盲目地进行错误分类。以上显示了强大的防御机制的迫切需求，以确保DNN网络在现实世界应用中的可靠性和安全性。近年来，研究人员专注于设计针对对抗性攻击的防御方法，主要是通过训练CNN的鲁棒性来实现。对抗训练(Adversarial training，AT)及其变体代表了一种流行的方法，通过用对抗样本参与训练模型来实现鲁棒性。然而，AT的一个主要缺点是，它需要对预测网络进行复杂而耗时的再训练，这改变了初始模型的原始参数信息。另一个行之有效的措施是基于预处理的方法，它主要通过修改输入图像以减少对抗性扰动，提供了一个更有效的选择，避免了重复训练并保持预测网络的独立性。
去噪是一种基于预处理的对抗性防御方法，用来抵御对抗攻击的一种直观方式。然而，标准的去噪网络不能消除所有的对抗性扰动。而且，剩下的一些扰动会随着预测网络的深度被放大到很大的幅度(误差放大效应)，并导致严重的错误预测。
随着对抗性攻击的不断发展，上述防御方法已经不能稳健地抵御它们。标准的卷积神经网络(CNN)不能保证防御系统有足够的鲁棒性，而传统的去噪器会受到错误放大效应的影响。故，需要提出一种能够增加鲁棒性且不受误差放大效应影响的方法。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。因此，本发明提供了一种基于预处理的图像对抗防御方法，用来解决实际问题中，传统方法不能保证防御系统具有足够的鲁棒性，传统去噪器容易受到扰动干扰导致误差放大不能消除对抗性扰动的问题。
为解决上述技术问题，本发明提供如下技术方案：
本发明提供了一种基于预处理的图像对抗防御方法，包括：
利用卷积神经网络和视觉变换器的特性，构建鲁棒性防御网络模型；
将所述鲁棒性防御网络模型分为三个部分，即鲁棒性防御网络模型；
通过对鲁棒性防御网络模型进行训练，实现所述鲁棒性防御网络模型中自然样本和重建实例的分类高精度。
作为本发明所述的基于预处理的图像对抗防御方法的一种优选方案，其中：所述利用卷积神经网络和视觉变换器的特性，包括：
卷积神经网络中的图像去噪和视觉变换器中的鲁棒性。
作为本发明所述的基于预处理的图像对抗防御方法的一种优选方案，其中：所述卷积网络中的去噪，包括：
应用像素空间中的MSE度量解决图像去噪问题，公式表示如下：
其中，d表示一个量化因子，表示通过鲁棒性防御网络模型重建后的样本，x表示自然样本，/>是期望因子，/>代表输入图像的分部。
作为本发明所述的基于预处理的图像对抗防御方法的一种优选方案，其中：将所述鲁棒性防御网络模型分为三个部分，包括：
低级特征提取部分，通过CNN进行操作，由卷积层、归一化和RELU激活函数组成；
深度特征提取部分，通过ViT进行操作，将输入图像划分为网格状的斑块，每个斑块使用线性投影编码为一个固定长度的向量；产生的补丁嵌入被串联起来，形成一连串的标记，送入转化器块，并使用通道自我注意机制来模拟补丁和MLPs之间的相互作用，以标记混合和通道处理；
其中，深度特征提取部分中包括了，Token Mixing处理过程和ChannelProcessing处理过程；
图像重构部分，在ViT操作之后，使用CNN操作块进行特征融合来重建自然样本。
作为本发明所述的基于预处理的图像对抗防御方法的一种优选方案，其中：低级特征提取部分，包括：
CNN操作使用了三个3×3的卷积操作块来提取浅层特征，这些操作块的输入大小从H×W×C到H×W×E；
其中，H表示图片高度，W表示图片宽度，C表示图片通道数，E表示嵌入维度。
作为本发明所述的基于预处理的图像对抗防御方法的一种优选方案，其中：TokenMixing处理过程，包括：
对输入的标记嵌入张量i＝1,...,n,通过应用参数WQ、WK和WV的线性变换进行转换；生成键K＝WKX、查询Q＝WQX和值V＝WVX张量；利用自我关注机制计算关注矩阵，并将令牌聚合起来，计算公式如下所示：
其中，ST表示聚合的特征，Softmax()表示Softmax操作，d表示一个量化因子，WL为一个线性转换。
作为本发明所述的基于预处理的图像对抗防御方法的一种优选方案，其中：Channel Processing处理过程，包括：
在ViT中，通过令牌混合的输出作为MLP处理过程的输入；
其中，包含两个Linear层和一个GELU层。
作为本发明所述的基于预处理的图像对抗防御方法的一种优选方案，其中：Channel Processing处理过程中的CSA进行改进，包括：
计算由Softmax锐化的通道的平均值，以获得CSA中的WK'值；
通过Linear操作计算W'Q，以适应高效通道关注机制的关注权重分布的大小；
使用Tanh函数规范注意力权重，通过与MLP操作的输出值WV'相乘来实现通道自我注意机制，公式表示如下：
其中，W'Q(S)＝Linear(S)，W'K(S)＝Softmax(σ(S))，W'V(S)＝MLP(S)，σ表示通道平均操作。
作为本发明所述的基于预处理的图像对抗防御方法的一种优选方案，其中：
通过对鲁棒性防御网络模型进行训练，实现所述鲁棒性防御网络模型中自然样本和重建实例的分类高精度，包括：
通过正则化损失函数强制执行自然样本和重建实例；
损失函数定义为与FN(x)之差的L1-norm；并在得到L1-norm之前裁剪/>得到准确的正则化损失函数/>计算公式如下：
其中，Lall表示整体损失函数，α是控制损失分量的正参数。
作为本发明所述的基于预处理的图像对抗防御方法的一种优选方案，其中：强制执行自然样本和重建实例，包括：
保证重构样本的最大logit值不小于自然样本的最大logit值，即重构样本的最大logit值与第二大logit值保持更远的距离。
与现有技术相比，发明有益效果为：本发明通过构建鲁棒性防御网络模型，可以保护预测网络免受各种对抗攻击；在此基础上，对CSA处理过程进行改进，使得注意机制更加完善有效；利用应用像素空间中的MSE度量解决了图像去噪问题；通过提出的正则化损失函数实现了高精度分类；为构建的鲁棒性防御网络模型提供了更好的防御性能和鲁棒性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例所述的基于预处理的图像对抗防御方法的CIFAR-10数据集示意图；
图2为本发明一个实施例所述的基于预处理的图像对抗防御方法的鲁棒性防御网络模型(CTNet)的总体架构图；
图3为本发明一个实施例所述的基于预处理的图像对抗防御方法的CSA架构示意图；
图4为本发明一个实施例所述的基于预处理的图像对抗防御方法的正则化损失函数结构示意图；
图5为本发明一个实施例所述的基于预处理的图像对抗防御方法的在数据集MNIST、SVHN和CIFAR-10上CTNet对防御各种攻击的直观说明图；
图6为本发明一个实施例所述的基于预处理的图像对抗防御方法的正则化损失函数训练下的攻击防御算法对比图；
图7为本发明一个实施例所述的基于预处理的图像对抗防御方法的原始MNIST测试数据集、对应的PGDN生成的对抗样本和对应的重构样本的特征聚类结果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1至图5，为本发明第一个实施例，该实施例提供了一种基于预处理的图像对抗防御方法，包括：
S1、将本发明构建的鲁棒性防御网络模型，分为三部分；参考图2；
低级特征提取部分，通过CNN进行操作，由卷积层、归一化和RELU激活函数组成；
进一步的，CNN操作具体为，使用三个3×3的卷积操作块来提取浅层特征，这些操作块的输入大小从H×W×C到H×W×E；
深度特征提取部分，通过ViT进行操作，将输入图像划分为网格状的斑块，每个斑块使用线性投影编码为一个固定长度的向量；产生的补丁嵌入被串联起来，形成一连串的标记，送入转化器块，并使用通道自我注意机制来模拟补丁和MLPs之间的相互作用，以标记混合和通道处理；
应当说明的是，在ViT的后处理阶段，token格式通过补丁解嵌被转换为H×W×E；
S2、深度特征提取部分划分为Token Mixing处理过程和Channel Processing处理过程；
进一步的，Token Mixing处理过程具体如下：
对输入的标记嵌入张量i＝1,...,n,通过应用参数WQ、WK和WV的线性变换进行转换；生成键K＝WKX、查询Q＝WQX和值V＝WVX张量；利用自我关注机制计算关注矩阵，并将令牌聚合起来，计算公式如下所示：
其中，ST表示聚合的特征，Softmax()表示Softmax操作，d表示一个量化因子，WL为一个线性转换；
更进一步的，Channel Processing处理过程具体如下：
在ViT中，通过令牌混合的输出作为MLP处理过程的输入；
其中，包含两个Linear层和一个GELU层；
更进一步的，对Channel Processing处理过程中的CSA进行改进，步骤如下：
计算由Softmax锐化的通道的平均值，以获得CSA中的WK'值；
通过Linear操作计算W'Q，以适应高效通道关注机制的关注权重分布的大小；
使用Tanh函数规范注意力权重，通过与MLP操作的输出值WV'相乘来实现通道自我注意机制，公式表示如下：
其中，W'Q(S)＝Linear(S)，W'K(S)＝Softmax(σ(S))，W'V(S)＝MLP(S)，σ表示通道平均操作；CSA的架构如图3所示；
应当说明的是，CSA的引入有效地提高了CTNet在防御对抗性攻击方面的鲁棒性；
应当说明的是，通过不使用softmax操作来锐化权重，保留了WQ'的原型特征，使得在CSA中能够更好的量化；
应当说明的是，通过Tanh操作取代了传统的Sigmoid函数，这种改进允许根据通道与标记特征的相关性进行自适应的重新加权，而不是强迫只选择最重要或正相关的特征；此外，Tanh函数保证了无偏的零均值输出，从而使网络收敛速度加快；
S3、在生成与自然实例非常相似的图像时，使用应用像素空间中的MSE度量解决图像去噪问题，公式表示如下：
其中，d表示一个量化因子，表示通过鲁棒性防御网络模型重建后的样本，x表示自然样本，/>是期望因子，/>代表输入图像的分部；通过本发明方法，重建样本的Grad-CAMs与自然样本非常相似，这意味着重建实例可以被正确分类，并且误差放大效应被有效消除；参考图1(自然样本x、对抗样本x'、纯去噪样本xd和本文方法生成的样本/>)和图5(x'表示对抗样本，xd是x'由CTNet转换后的重建样本，x'cam是对抗样本x'的Grad-CAM，/>为重建样本xd的Grad-CAM)；
S4、通过对鲁棒性防御网络模型进行训练，实现鲁棒性防御网络模型中自然样本和重建实例的分类高精度，步骤如下：
进一步的，利用正则化损失函数来强制执行自然和重建例子相对于它们的地面真实标签的预测水平的稳定性；
参考图4；表示完整的分类模型，包括softmax函数；FN(.)表示为除softmax外的最后一层全连接输出；n＝[1,2,...,N]表示一真实标签y的对应位置；被称为非标签位置输出的最大值；/>表示标签位置的输出与非标签位置输出的最大值的差；
进一步的，通过正则化损失函数强制执行自然样本和重建实例；
损失函数定义为与FN(x)之差的L1-norm；并在得到L1-norm之前裁剪/>得到准确的正则化损失函数/>计算公式如下：
其中，Lall表示整体损失函数，α是控制损失分量的正参数；
应当说明的是，有两个重要的优点；首先，它确保重构实例的最高logit值等于或大于原始实例的最高logit值，表明分类准确；其次，它在重构示例的最高logit值和第二高logit值之间保持较大的余量，使其更加稳健。
实施例2
参照图6和图7，为本发明第二个实施例，该实施例提供了一种基于预处理的图像对抗防御方法，包括：
对实验模型中涉及到的参数进行设置；
设图像分类器为θ为模型参数且/>表示将输入图像映射到其分类结果，/>意味着将图像限制在一定范围内，C是图像通道数，H和W分别表示图像的宽度和高度；N是分类模型输出种类的数量；/>x→y,/>表示干净样本，y表示与x相对应的one-hot编码；对抗攻击通过如下公式近似求解，表示为：
其中，表示为对抗样本x'输入到分类器/>的输出与ground-truth中y的softmax交叉熵损失(SCE)，d(x,x')≤∈表示将x'与x的差距限制在一定范围内以控制对抗扰动，一般用lp范数表示；最大化损失使得生成的x'满足即对抗样本导致模型分类错误；δ＝x'-x表示对抗扰动；
本实施例使用了三个著名的基准数据集进行实验测试，分别是MNIST、CIFAR-10和SVHN；
这三个数据集都是10个分类；MNIST手写数据集是一个28×28的单通道灰度图像，包含60000个训练实例和10000个测试实例；CIFAR-10和SVHN是三通道RGB彩色图像数据集；每个图像大小为32×32×3，前者封装了50,000个训练实例和10,000个测试实例，后者包含73,257个训练图像和26032个测试图像；
应当说明的是，用于评估本文所涉及的防御方法的对抗样本是由最先进的攻击方法产生的，可分为两大类：基于像素约束的攻击，包括了无目标L∞范数PGD(PGDN)攻击、有目标L∞范数PGD(PGDT)攻击、无目标L2范数CW(CWN)攻击、无目标DDN(DDNN)攻击、无目标AA(AAN)攻击；基于空间约束攻击，即无目标STA(STAN)攻击、有目标STA(STAT)攻击、无目标FWA(FWAN)攻击；PGDN∈'中∈'表示为扰动预算，MNIST设置为0.4，CIFAR-10设置为0.05；
进一步的，在三种数据集MNIST、CIFAR-10和SVHN上使用三种不同的目标分类模型评估CTNet性能；MNIST：分类MNIST使用的是advertorch box中提供使用预训练的LeNet-5架构；CIFAR-10：在CIFAR-10上使用ResNet-110(ResNet)体系结构、Wide-ResNet(WRN)体系结构和VGG-19(VGG)体系结构进行分类任务；WRN的深度和宽度系数设置为28和20；ResNet-110作为训练模型，WRN和VGG-19作为迁移测试目标模型；SVHN：使用VGG-19体系架构训练SVHN；训练上述分类器时使用SGD优化器，初始学习率为0.1，动量为0.9，weight decay＝5e-4，每100step学习率乘以0.2；
进一步的，为了验证CTNet抵御对抗性攻击的能力，我们实现了两个额外的比较模型；第一个是Vanilla模型，同样由CNNs和ViTs组成，使用传统的ViTs架构，除了通道处理阶段的MLP操作外，没有添加任何注意力机制；第二种是Vanilla+ECA模型，我们在token处理阶段引入了efficient channel self-attention(ECA)模块；为了实验的可行性和公平性，Vanilla和Vanilla+ECA的模型参数设置与CTNet相同；
通过上述实验之前的准备工作，得到实验结果；如表1所示；
表1 MNIST和CIF AR-10上像素约束攻击生成的对抗样本的分类正确率
PGDN和DDNN被选为可见攻击方法，以构建对抗性例子作为CIFAR-10和SVHN数据集的训练；其他攻击被认为是不可见的攻击方法，以评估防御模型的泛化能力；自然实例的Grad-CAM可以同时重建，这样重建的实例可以有效地防御可见攻击PGDN、DDNN和不可见攻击(AAN，STAN，FWAN)；同时，如表1所示；与之前最先进的结果相比，CTNet获得了最好的鲁棒性；在MNIST数据集上，CTNet在防御各种攻击方面获得了综合较高的性能，特别是对更多的扰动攻击，在PGDN∈'和AAN∈'攻击中分别获得了15.07％和26.20％的提升；同时，在CIFAR-10数据集上对PGNN和AAN攻击的防御性能分别提高了32.86％和31.67％；
除像素约束外，一些攻击主要通过空间变换和物理修改产生对抗性实例；这些操作严重损害了图像质量，并且不受L1或L2-norm的约束，使得对抗性实例具有高度的鲁棒性；参考表2；
表2 MNIST和CIF AR-10上空间约束攻击生成的对抗样本的分类正确率
通过表2中对MNIST和CIFAR-10进行的实验表明，CTNet在防御空间受限的攻击方面更为有效；其中，Vanilla、Vanilla+ECA和CTNet防御STAN、STAT、FWAN和FWAN∈'的平均保护成功率分别提高了15.38％、15.76％，最高为15.94％；以上证明了所提出的防御方法在空间受限攻击中的突出综合性能；
同时，为了拓展本文所提方法的普适性，在SVHN数据集上进行的更多测试实验，参考表3和图6(DnCNN、Generator和CTNet均使用训练的柱状图，纵轴代表防御准确率，横轴是攻击方法)；除了在防御FWAN攻击，CTNet具有更好的鲁棒性和泛化性；特别地，在防御可见攻击DDNN和PGNN攻击上比最先进的方法上提升了11.06％和11.01％；防御不可见攻击时也具有较高准确率；有效防御三种数据集上生成的各种对抗样本证明了本文提出的方法的科学性与鲁棒性；
表3 SVHN上对抗攻击生成的对抗样本的分类正确率
为直观地感受到原始样本、对抗样本和重建样本的分类结果，对MNIST测试集图像使用聚类，聚类使具有相同标签的图像往往彼此接近；图7展示了原始MNIST测试数据集、对应的PGDN生成的对抗样本和对应的重构样本的特征聚类结果；重构样本的特征聚类不仅表现出了和干净样本特征聚类相似的结果，甚至每一种类别都更好地聚集在一起；说明经由CTNet转换的对抗样本，能够保持比自然样本还要高的分类精度。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.一种基于预处理的图像对抗防御方法，其特征在于，包括：
利用卷积神经网络和视觉变换器的特性，构建鲁棒性防御网络模型；
将所述鲁棒性防御网络模型分为三个部分，包括：
低级特征提取部分，通过CNN进行操作，由卷积层、归一化和RELU激活函数组成；
深度特征提取部分，通过ViT进行操作，将输入图像划分为网格状的斑块，每个斑块使用线性投影编码为一个固定长度的向量；产生的补丁嵌入被串联起来，形成一连串的标记，送入转化器块，并使用通道自我注意机制来模拟补丁和MLPs之间的相互作用，以标记混合和通道处理；
其中，深度特征提取部分中包括了，Token Mixing处理过程和Channel Processing处理过程；
图像重构部分，在ViT操作之后，使用CNN操作块进行特征融合来重建自然样本；
低级特征提取部分，包括：
CNN操作使用了三个3×3的卷积操作块来提取浅层特征，这些操作块的输入大小从H×W×C到H×W×E；
其中，H表示图片高度，W表示图片宽度，C表示图片通道数，E表示嵌入维度；
Token Mixing处理过程，包括：
对输入的标记嵌入张量通过应用参数WQ、WK和WV的线性变换进行转换；生成键K＝WKX、查询Q＝WQX和值V＝WVX张量；利用自我关注机制计算关注矩阵，并将令牌聚合起来，计算公式如下所示：
其中，ST表示聚合的特征，Softmax()表示Softmax操作，d表示一个量化因子，WL为一个线性转换；
Channel Processing处理过程，包括：
在ViT中，通过令牌混合的输出作为MLP处理过程的输入；
其中，包含两个Linear层和一个GELU层；
在Channel Processing处理过程中的CSA进行改进，包括：
计算由Softmax锐化的通道的平均值，以获得CSA中的WK'值；
通过Linear操作计算W'Q，以适应高效通道关注机制的关注权重分布的大小；
使用Tanh函数规范注意力权重，通过与MLP操作的输出值WV'相乘来实现通道自我注意机制，公式表示如下：
其中，W'Q(S)＝Linear(S)，W'K(S)＝Softmax(σ(S))，W'V(S)＝MLP(S)，σ表示通道平均操作；
通过对鲁棒性防御网络模型进行训练，实现所述鲁棒性防御网络模型中自然样本和重建实例的分类高精度，包括：
通过正则化损失函数强制执行自然样本和重建实例；
损失函数定义为与FN(x)之差的L1-norm；并在得到L1-norm之前裁剪/>得到准确的正则化损失函数/>计算公式如下：
其中，Lall表示整体损失函数，α是控制损失分量的正参数；
强制执行自然样本和重建实例，包括：
保证重构样本的最大logit值不小于自然样本的最大logit值，即重构样本的最大logit值与第二大logit值保持更远的距离。
2.如权利要求1所述的基于预处理的图像对抗防御方法，其特征在于，所述利用卷积神经网络和视觉变换器的特性，包括：
卷积神经网络中的图像去噪和视觉变换器中的鲁棒性。
3.如权利要求2所述的基于预处理的图像对抗防御方法，其特征在于，所述卷积神经网络中的图像去噪，包括：
应用像素空间中的MSE度量解决图像去噪问题，公式表示如下：
其中，d表示一个量化因子，表示通过鲁棒性防御网络模型重建后的样本，x表示自然样本，/>是期望因子，/>代表输入图像的分部。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310472410.5A CN116702876B (zh) | 2023-04-27 | 2023-04-27 | 一种基于预处理的图像对抗防御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310472410.5A CN116702876B (zh) | 2023-04-27 | 2023-04-27 | 一种基于预处理的图像对抗防御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116702876A CN116702876A (zh) | 2023-09-05 |
| CN116702876B true CN116702876B (zh) | 2024-04-12 |
Family
ID=87836362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310472410.5A Active CN116702876B (zh) | 2023-04-27 | 2023-04-27 | 一种基于预处理的图像对抗防御方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116702876B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734659A (zh) * | 2018-05-17 | 2018-11-02 | 华中科技大学 | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 |
| CN113283599A (zh) * | 2021-06-11 | 2021-08-20 | 浙江工业大学 | 基于神经元激活率的对抗攻击防御方法 |
| CN113298710A (zh) * | 2021-05-10 | 2021-08-24 | 天津大学 | 基于外部注意力机制的光学相干层析超分辨率成像方法 |
| CN113935899A (zh) * | 2021-09-06 | 2022-01-14 | 杭州志创科技有限公司 | 一种基于语义信息和梯度监督的船牌图像超分辨方法 |
| CN114037843A (zh) * | 2021-11-10 | 2022-02-11 | 南宁桂电电子科技研究院有限公司 | 一种基于改进生成对抗网络的提高水下图像分辨率方法 |
| CN115019097A (zh) * | 2022-06-09 | 2022-09-06 | 浙江工商大学 | 基于图像预处理的对抗样本防御方法 |
| CN115294399A (zh) * | 2022-08-18 | 2022-11-04 | 中国人民解放军国防科技大学 | 一种防御对抗攻击的图像分类方法、装置和计算机设备 |
| CN115565034A (zh) * | 2022-11-08 | 2023-01-03 | 西安电子科技大学 | 基于双流增强网络的红外小目标检测方法 |
| KR20230013778A (ko) * | 2021-07-20 | 2023-01-27 | 창원대학교 산학협력단 | 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019009448A1 (ko) * | 2017-07-06 | 2019-01-10 | 삼성전자 주식회사 | 영상을 부호화 또는 복호화하는 방법 및 장치 |
| CN114830168A (zh) * | 2020-11-16 | 2022-07-29 | 京东方科技集团股份有限公司 | 图像重建方法、电子设备和计算机可读存储介质 |
| CN113554089B (zh) * | 2021-07-22 | 2023-04-18 | 西安电子科技大学 | 一种图像分类对抗样本防御方法、系统及数据处理终端 |
-
2023
- 2023-04-27 CN CN202310472410.5A patent/CN116702876B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734659A (zh) * | 2018-05-17 | 2018-11-02 | 华中科技大学 | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 |
| CN113298710A (zh) * | 2021-05-10 | 2021-08-24 | 天津大学 | 基于外部注意力机制的光学相干层析超分辨率成像方法 |
| CN113283599A (zh) * | 2021-06-11 | 2021-08-20 | 浙江工业大学 | 基于神经元激活率的对抗攻击防御方法 |
| KR20230013778A (ko) * | 2021-07-20 | 2023-01-27 | 창원대학교 산학협력단 | 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템 |
| CN113935899A (zh) * | 2021-09-06 | 2022-01-14 | 杭州志创科技有限公司 | 一种基于语义信息和梯度监督的船牌图像超分辨方法 |
| CN114037843A (zh) * | 2021-11-10 | 2022-02-11 | 南宁桂电电子科技研究院有限公司 | 一种基于改进生成对抗网络的提高水下图像分辨率方法 |
| CN115019097A (zh) * | 2022-06-09 | 2022-09-06 | 浙江工商大学 | 基于图像预处理的对抗样本防御方法 |
| CN115294399A (zh) * | 2022-08-18 | 2022-11-04 | 中国人民解放军国防科技大学 | 一种防御对抗攻击的图像分类方法、装置和计算机设备 |
| CN115565034A (zh) * | 2022-11-08 | 2023-01-03 | 西安电子科技大学 | 基于双流增强网络的红外小目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| "Learning Latent Low-Rank and Sparse Embedding for Robust Image Feature Extraction";Zhenwen Ren 等;《IEEE Transactions on Image Processing》;20190909;第29卷;全文 * |
| "深度学习中的对抗性样本的生成与防御";张焓韡;《中国博士学位论文全文数据库 (信息科技辑)》;20220415;全文 * |
| 深度学习在基于单幅图像的物体三维重建中的应用;陈加;张玉麒;宋鹏;魏艳涛;王煜;;自动化学报;20181128(第04期);全文 * |
| 边缘增强深层网络的图像超分辨率重建;谢珍珠;吴从中;詹曙;;中国图象图形学报;20180116(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116702876A (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991299B (zh) | 一种物理域上针对人脸识别系统的对抗样本生成方法 | |
| CN110263912B (zh) | 一种基于多目标关联深度推理的图像问答方法 | |
| Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
| CN108520202B (zh) | 基于变分球面投影的对抗鲁棒性图像特征提取方法 | |
| CN111598805A (zh) | 一种基于vae-gan的对抗样本防御方法及系统 | |
| CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
| CN110378208B (zh) | 一种基于深度残差网络的行为识别方法 | |
| CN112287973A (zh) | 基于截尾奇异值和像素插值的数字图像对抗样本防御方法 | |
| Zhang et al. | Defense against adversarial attacks by reconstructing images | |
| Peng et al. | A robust coverless steganography based on generative adversarial networks and gradient descent approximation | |
| CN108664911A (zh) | 一种基于图像稀疏表示的鲁棒人脸识别方法 | |
| He et al. | A visual residual perception optimized network for blind image quality assessment | |
| CN111832650A (zh) | 基于生成对抗网络局部聚合编码半监督的图像分类方法 | |
| CN115936958A (zh) | 一种基于对抗学习的数据隐私保护方法 | |
| Zheng et al. | Extracting non-negative basis images using pixel dispersion penalty | |
| Zhu et al. | LIGAA: Generative adversarial attack method based on low-frequency information | |
| Zhou et al. | MSFlow: Multiscale Flow-Based Framework for Unsupervised Anomaly Detection | |
| CN116702876B (zh) | 一种基于预处理的图像对抗防御方法 | |
| CN116977694A (zh) | 一种基于不变特征提取的高光谱对抗样本防御方法 | |
| Hui et al. | Image generation method of bird text based on improved StackGAN | |
| CN114842242A (zh) | 一种基于生成模型的鲁棒对抗样本生成方法 | |
| CN111539263B (zh) | 一种基于聚合对抗网络的视频人脸识别方法 | |
| CN114463646A (zh) | 一种基于多头自注意力卷积神经网络的遥感场景分类方法 | |
| CN107491739B (zh) | 一种联合平滑矩阵多变量椭圆分布的鲁棒人脸识别方法 | |
| CN113344814A (zh) | 一种基于生成机制的高分辨率对抗样本的合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |