CN116977694A - 一种基于不变特征提取的高光谱对抗样本防御方法 - Google Patents
一种基于不变特征提取的高光谱对抗样本防御方法 Download PDFInfo
- Publication number
- CN116977694A CN116977694A CN202310327825.3A CN202310327825A CN116977694A CN 116977694 A CN116977694 A CN 116977694A CN 202310327825 A CN202310327825 A CN 202310327825A CN 116977694 A CN116977694 A CN 116977694A
- Authority
- CN
- China
- Prior art keywords
- network
- sample
- samples
- model
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000007123 defense Effects 0.000 title claims abstract description 63
- 238000000605 extraction Methods 0.000 title claims description 30
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000013145 classification model Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 101000805921 Strongylocentrotus purpuratus Upstream stimulatory factor Proteins 0.000 claims description 14
- 101000671634 Xenopus borealis Upstream stimulatory factor 1 Proteins 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000003094 perturbing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 241001466077 Salina Species 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000004821 distillation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 102100040121 Allograft inflammatory factor 1 Human genes 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101000890626 Homo sapiens Allograft inflammatory factor 1 Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于不变特征的高光谱图像对抗防御方法，包括如下：步骤一、构建样本集合；步骤二、预训练深度卷积神经网络分类模型；步骤三、搭建对抗防御模型；步骤四、构造对抗防御模型的损失函数；步骤五、迭代训练对抗防御模型；步骤六、测试训练好的对抗防御模型。采用该对抗防御方法实现了增强卷积神经网络的鲁棒性和提高高光谱分类模型对对抗攻击的分类精度。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于不变特征提取的高光谱对抗样本防御方法。
背景技术
深度神经网络在图像分类任务中取得了突出的成就，但已被发现非常容易受到对抗样本的攻击，使分类模型错分。对抗样本是在一个干净的原始样本上添加一个人类肉眼难以察觉的扰动，导致深度神经分类网络以较高置信度产生不正确的预测类标签。
许多研究表明，除了自然图像领域的深度神经网络受到对抗样本的威胁，遥感领域中也发现了深度神经网络对于对抗样本的脆弱性。随着大量高光谱遥感卫星的成功发射，高光谱遥感影像的数据量进一步呈现出爆炸性式增长的趋势。而面对如此海量的高光谱遥感数据，由于高光谱图像具有冗余的光谱和纹理信息，且存在光谱数量多的特点，这使得扰动信息更容易隐藏，允许的扰动范围也更大。因此，高光谱图像的分类网络相比自然图像的更容易受到攻击。
近年来，有研究表明，对抗样本会造成深度神经网络分类性能急剧下降。为了提高深度神经网络模型的鲁棒性，现有的对抗防御方法可分为四类：一是对抗性检测，是输入图像在被发送到分类器之前检测是该图像是合法图像或对抗样本，将检测出的对抗样本进行扰动去除或其它处理操作后，再重新送入分类器；二是梯度掩蔽，通过训练一个具有小梯度的模型，使得模型对输入空间上小的变化具有鲁棒性，其中典型的梯度掩蔽方法是对抗性训练和防御蒸馏。对抗训练主要目的是通过在包含干净和对抗图像的数据集上训练，增强模型鲁棒性。但缺点是对抗训练生成的模型与使用的攻击算法具有强耦合性，即使用对抗训练对模型进行再训练后无法产生一个通用模型。防御蒸馏是一种主动性防御，在学习蒸馏中，复杂模型所获得的知识在使用确定的数据集进行训练后，被转移到更简单的模型上；三是预处理技术，主要强调对抗性防御的预处理技术，是将对抗样本在分类前转化为合法样本，例如通过对输入图像采取特征压缩或图像转换方法；四是改变目标模型以削弱攻击能力，如构建分类器集合，是由两个或多个分类模型组成的对抗措施，每个模型在对给定输入图像进行分类时，都会相互补偿其他模型最终可能存在的弱点。
目前典型的预处理方法是通过生成对抗网络来重构输入图像，但由于高光谱图像中训练样本有限，导致生成对抗网络中可能存在训练不稳定，则分类精度低；另一方面，现有的防御方法大多对特定类型的攻击防御效果好，但是对未知类型的攻击防御效果差。因此，设计一种高光谱图像鲁棒性的防御方法来抵御未知类型的对抗攻击仍然是一个具有挑战性的问题。
发明内容
本发明的目的是提供一种基于不变特征的高光谱图像对抗防御方法，实现了增强卷积神经网络的鲁棒性和提高高光谱分类模型对对抗攻击的分类精度。
本发明采用以下技术方案：一种基于不变特征提取的高光谱对抗样本防御方法，该方法包括如下：
步骤一、构建样本集合：
对高光谱图像的样本集中的每个类别随机选取多个样本组成初始训练样本集合，其余样本组成测试样本集合；
步骤二、预训练深度卷积神经网络分类模型：
步骤三、搭建对抗防御模型：
对抗防御模型由扰动解耦网络和重建网络组成，且扰动解耦网络的输出作为重建网络的输入；
步骤四、构造对抗防御模型的损失函数：
对抗防御模型的损失函数为：L＝Lpixel+βLattention+γLAIAF+κLHSIC (F)；
其中：β、γ和κ是调节参数，α和β的值均设为0.01，k值是0.0001；
Lpixel为像素引导的重建网络损失；Lattention为注意力引导的重建网络损失；LAIAF为不变特征的相似性损失；LHSIC为共同特征和特定扰动特征之间的独立性；
步骤五、迭代训练对抗防御模型：
用两种不同类型的对抗攻击方法攻击步骤一中的初始训练样本集合，得到对抗样本，形成新的训练样本集合；将新的训练样本集合中的对抗样本同时输入到步骤三中的扰动解耦网络，被分解为攻击不变特征xAIAF和特定扰动特征xSPF两部分，将得到的攻击不变特征xAIAF输入到重建网络的解码网络，生成和对抗防御模型输入大小相同的重构样本，迭代训练对抗防御模型，直到达到设定的迭代次数，得到训练好的对抗防御模型；
步骤六、测试训练好的对抗防御模型：
将经对抗攻击产生的对抗样本测试集合输入步骤五中训练好的对抗防御模型，生成重构样本；将重构样本输入到步骤二中得到的预训练后的深度卷积神经网络分类模型，前向计算，得到测试样本集合中每一个样本的预测分类结果。
进一步地，该扰动解耦网络包括一个不变特征提取分支和两个特定扰动提取分支，且三个提取分支具有相同的卷积神经网络结构；
进一步地，该重建网络包括解码网络和鉴别器网络，解码网络是扰动解耦网络子分支的反卷积结构，鉴别器网络由四个卷积层和两个全连接层组成。
进一步地，在步骤五中，扰动解耦网络的三个子分支的工作过程如下：一个不变特征提取分支通过参数共享策略学习两种不同类型的对抗样本输入空间中的攻击不变特征，两个特定扰动提取分支通过学习两种不同类型的对抗样本输入空间中独立于攻击不变特征的特定扰动特征。
进一步地，构造扰动解耦网络的损失函数：利用相似性度量损失实现不变特征的相似性损失LAIAF，相似性度量损失采用均方误差，如公式(A)所示：
评估共同特征和特定扰动特征之间的独立性，如公式(B)所示：
LHSIC＝(HSIC(FSPF1，FAIF1）+HSIC（FSPF2，FAIAF2))/2 (B)；
像素引导的重建网络损失，如公式(C)所示：
鉴别器损失函数如公式(D)所示：
注意力引导的重建网络损失如公式(E)所示：
其中：FAIAF1和FAIAF2指两种不同类型的对抗样本输入经过不变特征提取分支后的输出，FAIAF1 T和FT AIAF2是其对应的转置向量；
HSIC(FSPF1,FAIAF1)＝(n-1)-2tr(RKSPF1RKAIAF1)，KSPF1是革兰氏矩阵，和R＝I-(1/n)eeT，e表示一个全为1的列向量，KAIAF1、KAIAF2、KSPF2与KSPF1具有相似的表示；
x′Re是经过重建网络后的重构样本，x是干净样本，为初始训练样本集合中的样本；式(C)中的第一项是均方根误差约束；第二项是鉴别器约束，D(·)是带有二值分类器的鉴别器；
h是注意力提取函数，其中yc为目标模型输出概率中真类的概率；Ak为第k个特征映射，选择Ak作为预训练好的深度卷积神经网络分类模型的最后一个卷积层特征；g是一个全局平均池化函数。
进一步地，该高光谱图像的样本集由以下所得：对原始高光谱图像利用PCA主成分分析将其维度降低，以降维后的高光谱图像中的每个有标签像素为中心，划定空间窗，将每个空间窗内所有的像素组成一个数据立方体，所有的数据立方体组成高光谱图像的样本集。
进一步地，该在步骤一中，数据集中的每个类别随机选取900个样本组成初始训练样本集合，其余样本组成测试样本集合，类别样本数不够900个样本的选取该类别总数的50％作为初始训练样本集合；对于休斯顿2018数据集，每个类别随机选取400个样本组成初始训练样本集合，其余样本组成测试样本集合，类别样本数不够400个样本的选取该类别总数的50％。
本发明的有益效果是：1.通过扰动解耦网络来分解对抗样本中的不变特征和扰动特征，进而消除对抗样本中的扰动信息，设计了一种注意力引导的优化策略，以减少扰动引起的注意力转移，进一步提高重构样本的分类精度。2.从对抗样本中提取不变特征以抵御已知类型和未知类型的攻击，增强卷积神经网络的鲁棒性和提高高光谱分类模型对对抗攻击的分类精度。
附图说明
图1为一种基于不变特征的高光谱图像对抗防御方法的流程框图；
图2为实施例中使用的数据集及其真实地物分类图，其中：
2a为PaviaU数据集；2b为休斯敦2018数据集；2c为Salinas数据集；
图3为采用不同的攻击方法在本发明中的防御方法上的PaviaU数据集防御精度图，其中：
3a为FGSM攻击；3b为PGD攻击；3c为C&W攻击；3d为本发明方法防御后的FGSM攻击；3e为本发明方法防御后的PGD攻击；3f为本发明方法防御后的C&W攻击；3g为真实地物分类图；3h为目标模型分类图；
图4为采用不同的攻击方法在本发明中的防御方法上的休斯敦2018数据集防御精度图，其中：
4a为FGSM攻击；4b为PGD攻击；4c为C&W攻击；4d为本发明方法防御后的FGSM攻击；4e为本发明方法防御后的PGD攻击；4f为本发明方法防御后的C&W攻击；4g为真实地物分类图；4h为目标模型分类图；
图5是采用不同的攻击方法在本发明中的防御方法上的Salinas数据集防御精度图，其中：
5a为FGSM攻击；5b为PGD攻击；5c为C&W攻击；5d为本发明方法防御后的FGSM攻击；5e为本发明方法防御后的PGD攻击；5f为本发明方法防御后的C&W攻击；5g为真实地物分类图；5h为目标模型分类图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于不变特征提取的高光谱对抗样本防御方法，可用于到卫生事业、气象监测、城市规划以及防灾减灾等，包括如下步骤：
步骤一、构建样本集合：
对原始高光谱图像利用PCA主成分分析将其维度降为3。以降维后的高光谱图像中的每个有标签像素为中心，划定一个26×26个像素大小的空间窗；将每个空间窗内所有的像素组成一个数据立方体；将所有的数据立方体组成高光谱图像的样本集；对样本集中的每个类别随机选取多个样本组成初始训练样本集合，其余样本组成测试样本集合。
每个类别随机选取900个样本组成初始训练样本集合，其余样本组成测试样本集合，类别样本数不够900个样本的选取该类别总数的50％作为训练样本集合；休斯顿2018数据集每个类别随机选取400个样本组成初始训练样本集合，其余样本组成测试样本集合，类别样本数不够400个样本的选取该类别总数的50％。
步骤二、预训练深度卷积神经网络分类模型：
深度卷积神经网络分类模型由三个卷积层和一个全连接层组成，根据输入的数据的大小来确定各层的参数，其中第一个卷积层大小为3×3×32，第二个为3×3×64，第三个为3×3×128，第一层和第二层卷积后都采用2×2的最大池化操作，每次滑动的步长为1，边界填充为1，每一层卷积采用ReLU激活函数，并且都进行归一化操作，批大小设定为128，损失函数采用交叉熵损失，其中学习率设定为0.005，总迭代次数设定为300。
步骤三、搭建对抗防御模型：
所述对抗防御模型由扰动解耦网络和重建网络组成，且扰动解耦网络的输出作为所述重建网络的输入；
扰动解耦网络的输出xAIAF作为重建网络的输入，重建网络的输入和输出大小相同。通过引入像素级的损失约束和注意力指导的损失约束去除扰动，恢复高光谱图像。重建网络分为像素级引导下的重建和注意力引导下的重建，像素级引导下的重建包括解码网络的和鉴别器网络，注意力指导下的重建利用Grad-CAM纠正对抗样本中注意力转移的问题，在注意力图上约束干净样本和重建样本的相似性。解码网络是编码网络的反卷积结构，
其中，扰动解耦网络包括一个不变特征提取分支和两个特定扰动提取分支，这三个分支具有相同的卷积神经网络结构，包括四个二维卷积层和一个全连接层，卷积核大小k＝3*3，步长s＝1，填充p＝1。重建网络包括解码网络和鉴别器网络，解码网络是扰动解耦网络子分支的反卷积结构，鉴别器网络由4个卷积层和两个全连接层组成，第一个卷积层参数是卷积核大小k＝4*4，步长s＝2填充p＝2，第二个卷积层参数是卷积核大小k＝2*2，步长s＝2填充p＝1，第三、四个卷积层参数是卷积核大小k＝4*4，步长s＝2，填充p＝1。
构造对抗防御模型的损失函数：
对抗防御模型的损失函数为：L＝Lpixel+βLattention+γLAIAF+κLHSIC (F)；
其中：β、γ和κ是调节参数，α和β的值均设为0.01，k值是0.0001；
Lpixel为像素引导的重建网络损失；Lattention为注意力引导的重建网络损失；LAIAF为不变特征的相似性损失；LHSIC为共同特征和特定扰动特征之间的独立性；
为了获得不同类型的对抗样本之间的共同特征AIAF，广义特征AIAF经过对CNN不变特征提取分支的输出矩阵求平均得到。随着网络训练次数的增加，FAIAF1和FAIAF2的特性趋于相同，得到的AIAF具有更强的去噪能力。构造所述扰动解耦网络的损失函数：利用相似性度量损失实现不变特征的相似性损失LAIAF，相似性度量损失采用均方误差，如公式(A)所示：
其中：FAIAF1和FAIAF2指两种不同类型的对抗样本输入经过不变特征提取分支后的输出，FAIAF1 T和FT AIAF2是其对应的转置向量；
为进一步消除输入的对抗样本的扰动，两个特定扰动提取分支通过加入独立性损失进行扰动解耦，为了保证这两个分支能够捕获不同的特征信息，利用HSIC(希尔伯特-施密特独立性准则，一种独立性检验准则)用来评估共同特征和特定扰动特征之间的独立性，如公式(B)所示：
LHSIC＝(HSIC(FSPF1，FAIAF1）+HSIC（FSPF2，FAIAF2））/2 (B)；
其中，HSIC(FSPF1,FAIAF1)＝(n-1)-2tr(RKSPF1RKAIAF1)，KSPF1是革兰氏矩阵，和R＝I-(1/n)eeT，e表示一个全为1的列向量，KAIAF1、KAIAF2、KSPF2与KSPF1具有相似的表示；
像素引导的重建网络损失，如公式(C)所示：
其中：x′Re是经过重建网络后的重构样本，x是干净样本，为初始训练样本集合中的样本；方程(C)中的第一项是均方根误差(MSE)约束，消除对抗输入中的主要扰动信息，以恢复原始图像；第二项是鉴别器约束，D(·)是带有二值分类器的鉴别器，旨在鼓励鉴别器区分重构样本作为“真”样本。
鉴别器损失函数如公式(D)所示：
注意力引导的重建网络损失如公式(E)所示：
其中，h是注意力提取函数，其中yc为目标模型输出概率中真类的概率；Ak为第k个特征映射，本发明选择Ak作为预训练好的深度卷积神经网络分类模型的最后一个卷积层特征；g是一个全局平均池化函数。
步骤五、迭代训练对抗防御模型：
分别用FGSM和PGD两种不同类型的对抗攻击方法攻击所述步骤一中的初始训练样本集合，得到对抗样本，形成新的训练样本集合；将所述新的训练样本集合中的对抗样本同时输入到所述步骤三中的扰动解耦网络，被分解为攻击不变特征xAIAF和特定扰动特征xSPF两部分，将得到的攻击不变特征xAIAF输入到所述重建网络的解码网络，生成和对抗防御模型输入大小相同的重构样本，迭代训练对抗防御模型，直到达到设定的迭代次数，得到训练好的对抗防御模型；具体为：首先前向计算扰动解耦网络损失LAIAF和LHSIC，接着前向计算重建网络损失Lpixel、LAttention，迭代训练整个防御网络，直到达到预先设定的迭代次数，模型收敛，停止训练。
步骤六、测试训练好的对抗防御模型：
将经对抗攻击产生的对抗样本测试集合输入所述步骤五中训练好的对抗防御模型，生成重构样本；将所述重构样本输入到所述步骤二中得到的预训练后的深度卷积神经网络分类模型，前向计算，得到测试样本集合中每一个样本的预测分类结果，完成分类。
进行如下的仿真实验进一步说明本发明的效果：仿真的硬件条件为：windows XP，SPI，CPU Pentium(R)4，基本频率为2.4GHZ；软件平台为：MatlabR2016a，pytorch；
仿真选用的图片来源是Pavia University的高光谱图像数据集、休斯敦2018图像数据集以及Salinas高光谱数据集，其中Pavia University图像数据集包含9类地物，如图2中2a所示，休斯敦2018数据集包含20类地物，如图2中2b所示，Salinas数据集包含16类地物，如图2中2b所示。
仿真1，用本发明和其他三种方法对图2所示的三个数据集分别进行分类仿真，结果如图3，其中：
图3中3a到3c是FGSM、PGD、C&W三种攻击方法在Pavia University图像数据集上的分类效果图，3d到3f分别是本发明所提出的防御方法对上述攻击方法的防御效果图；
图4中的4a到4c是FGSM、PGD、C&W三种攻击方法在休斯顿2018图像数据集上的分类效果图，4d到4f分别是本发明所提出的防御方法对上述攻击方法的防御效果图；
图5中的5a到5c是FGSM、PGD、C&W三种攻击方法在Salinas图像数据集上的分类效果图，5d到5f分别是本发明所提出的防御方法对上述攻击方法的防御效果图；
从图3到图5，三种对抗样本的攻击分类图，与最真实标签分类图对比，几乎所有的对抗样本都被深度神经网络分类模型错分。然而，本发明所提出的防御方法对上述攻击方法的防御效果图与真实标签分类图对比，几乎所有的地物类别都被正确分类。由防御前后的结果图对比可见，本发明的防御方法作为一种预处理模型，在不改变目标模型参数的情况下，高光谱分类模型的精度得到大幅度提升。表2是本发明的防御方法与其他三种防御方法的对比实验中，无表示没有防御策略去抵御对抗攻击，FGSM、C&W、PGD产生的对抗样本分类精度都几乎接近0，表明对抗样本对深度神经网络分类模型构成了强烈的威胁。在使用FGSM和PGD作为已知攻击，C&W作为未知攻击产生对抗样本的实验中，本发明提出的防御方法在PaviaU和休斯顿2018数据集上，对FGSM产生的对抗样本防御精度为0.9517和0.7194，与其他三种防御方法相比达到了最优或次优防御精度。本发明提出的防御方法对C&W产生的对抗样本防御精度分别在三个数据集上提高了32.41％、29.10％、22.55％，显示了本发明在抵御未知类型攻击时的防御精度得到显著提高。
表1卷积神经网络的参数
表2本发明方法与现有的方法分类结果的数值对比
其中：现有的方法包括对抗训练(AT)、APE和ARN方法。
以上实验结果表明：与现有的技术相比，本发明基于高光谱图像对抗防御方面，能够增强深度神经网络的鲁棒性，提高高光谱分类模型针对已知和未知类型的攻击的防御精度。
Claims (7)
1.一种基于不变特征提取的高光谱对抗样本防御方法，其特征在于，该方法包括如下：
步骤一、构建样本集合：
对高光谱图像的样本集中的每个类别随机选取多个样本组成初始训练样本集合，其余样本组成测试样本集合；
步骤二、预训练深度卷积神经网络分类模型：
步骤三、搭建对抗防御模型：
所述对抗防御模型由扰动解耦网络和重建网络组成，且扰动解耦网络的输出作为所述重建网络的输入；
步骤四、构造对抗防御模型的损失函数：
对抗防御模型的损失函数为：L＝Lpixel+βLattention+γLAIAF+κLHSIC (F)；
其中：β、γ和κ是调节参数，α和β的值均设为0.01，k值是0.0001；
Lpixel为像素引导的重建网络损失；Lattention为注意力引导的重建网络损失；LAIAF为不变特征的相似性损失；LHSIC为共同特征和特定扰动特征之间的独立性；
步骤五、迭代训练对抗防御模型：
用两种不同类型的对抗攻击方法攻击所述步骤一中的初始训练样本集合，得到对抗样本，形成新的训练样本集合；将所述新的训练样本集合中的对抗样本同时输入到所述步骤三中的扰动解耦网络，被分解为攻击不变特征xAIAF和特定扰动特征xSPF两部分，将得到的攻击不变特征xAIAF输入到所述重建网络的解码网络，生成和对抗防御模型输入大小相同的重构样本，迭代训练对抗防御模型，直到达到设定的迭代次数，得到训练好的对抗防御模型；
步骤六、测试训练好的对抗防御模型：
将经对抗攻击产生的对抗样本测试集合输入所述步骤五中训练好的对抗防御模型，生成重构样本；将所述重构样本输入到所述步骤二中得到的预训练后的深度卷积神经网络分类模型，前向计算，得到测试样本集合中每一个样本的预测分类结果。
2.如权利要求1所述的一种基于不变特征提取的高光谱对抗样本防御方法，其特征在于，所述扰动解耦网络包括一个不变特征提取分支和两个特定扰动提取分支，且三个所述提取分支具有相同的卷积神经网络结构。
3.如权利要求1或2所述的一种基于不变特征提取的高光谱对抗样本防御方法，其特征在于，所述重建网络包括解码网络和鉴别器网络，所述解码网络是扰动解耦网络子分支的反卷积结构，所述鉴别器网络由四个卷积层和两个全连接层组成。
4.如权利要求3所述的一种基于不变特征提取的高光谱对抗样本防御方法，其特征在于，在所述步骤五中，所述扰动解耦网络的三个子分支的工作过程如下：一个不变特征提取分支通过参数共享策略学习两种不同类型的对抗样本输入空间中的攻击不变特征，两个特定扰动提取分支通过学习两种不同类型的对抗样本输入空间中独立于攻击不变特征的特定扰动特征。
5.如权利要求4所述的一种基于不变特征提取的高光谱对抗样本防御方法，其特征在于，构造所述扰动解耦网络的损失函数：利用相似性度量损失实现不变特征的相似性损失LAIAF，相似性度量损失采用均方误差，如公式(A)所示：
评估共同特征和特定扰动特征之间的独立性，如公式(B)所示：
像素引导的重建网络损失，如公式(C)所示：
鉴别器损失函数如公式(D)所示：
注意力引导的重建网络损失如公式(E)所示：
其中：FAIAF1和FAIAF2指两种不同类型的对抗样本输入经过不变特征提取分支后的输出，FAIAF1 T和FT AIAF2是其对应的转置向量；
HSIC(FSPF1,FAIAF1)＝(n-1)-2tr(RKSPF1RKAIAF1)，KSPF1是革兰氏矩阵，和R＝I-(1/n)eeT，e表示一个全为1的列向量，KAIAF1、KAIAF2、KSPF2与KSPF1具有相似的表示；
x′Re是经过重建网络后的重构样本，x是干净样本，为初始训练样本集合中的样本；式(C)中的第一项是均方根误差约束；第二项是鉴别器约束，D(·)是带有二值分类器的鉴别器；
h是注意力提取函数，其中yc为目标模型输出概率中真类的概率；Ak为第k个特征映射，选择Ak作为预训练好的深度卷积神经网络分类模型的最后一个卷积层特征；g是一个全局平均池化函数。
6.如权利要求5所述的一种基于不变特征提取的高光谱对抗样本防御方法，其特征在于，所述高光谱图像的样本集由以下所得：对原始高光谱图像利用PCA主成分分析将其维度降低，以降维后的高光谱图像中的每个有标签像素为中心，划定空间窗，将每个空间窗内所有的像素组成一个数据立方体，所有的数据立方体组成高光谱图像的样本集。
7.如权利要求6所述的一种基于不变特征提取的高光谱对抗样本防御方法，其特征在于，在所述步骤一中，数据集中的每个类别随机选取900个样本组成初始训练样本集合，其余样本组成测试样本集合，类别样本数不够900个样本的选取该类别总数的50％作为初始训练样本集合；对于休斯顿2018数据集，每个类别随机选取400个样本组成初始训练样本集合，其余样本组成测试样本集合，类别样本数不够400个样本的选取该类别总数的50％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310327825.3A CN116977694A (zh) | 2023-03-30 | 2023-03-30 | 一种基于不变特征提取的高光谱对抗样本防御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310327825.3A CN116977694A (zh) | 2023-03-30 | 2023-03-30 | 一种基于不变特征提取的高光谱对抗样本防御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116977694A true CN116977694A (zh) | 2023-10-31 |
Family
ID=88482083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310327825.3A Pending CN116977694A (zh) | 2023-03-30 | 2023-03-30 | 一种基于不变特征提取的高光谱对抗样本防御方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977694A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117240689A (zh) * | 2023-11-10 | 2023-12-15 | 北京航空航天大学杭州创新研究院 | 一种基于深度对比学习的节点受攻击复杂网络自重建方法 |
-
2023
- 2023-03-30 CN CN202310327825.3A patent/CN116977694A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117240689A (zh) * | 2023-11-10 | 2023-12-15 | 北京航空航天大学杭州创新研究院 | 一种基于深度对比学习的节点受攻击复杂网络自重建方法 |
| CN117240689B (zh) * | 2023-11-10 | 2024-02-06 | 北京航空航天大学杭州创新研究院 | 一种基于深度对比学习的节点受攻击复杂网络自重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
| Gong et al. | A low-rank tensor dictionary learning method for hyperspectral image denoising | |
| CN109711426B (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| CN108121975B (zh) | 一种联合原始数据和生成数据的人脸识别方法 | |
| CN111699494A (zh) | 使用通过主成分分析和重复频谱聚类进行训练的卷积神经网络的对象识别 | |
| Qian et al. | Feature learning for steganalysis using convolutional neural networks | |
| CN109389166A (zh) | 基于局部结构保存的深度迁移嵌入聚类机器学习方法 | |
| CN112288011A (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
| CN113379618B (zh) | 基于残差密集连接和特征融合的光学遥感图像去云方法 | |
| CN113627543B (zh) | 一种对抗攻击检测方法 | |
| CN116977694A (zh) | 一种基于不变特征提取的高光谱对抗样本防御方法 | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN113869234B (zh) | 人脸表情识别方法、装置、设备及存储介质 | |
| CN113139618B (zh) | 一种基于集成防御的鲁棒性增强的分类方法及装置 | |
| CN114882278A (zh) | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 | |
| Zhu et al. | LIGAA: Generative adversarial attack method based on low-frequency information | |
| CN117523333A (zh) | 一种基于注意力机制的地表覆盖分类方法 | |
| CN115937567B (zh) | 一种基于小波散射网络和ViT的图像分类方法 | |
| CN116543250A (zh) | 一种基于类注意力传输的模型压缩方法 | |
| Jiang et al. | A 3D lightweight Siamese network for hyperspectral image classification with limited samples | |
| CN111797732B (zh) | 一种对采样不敏感的视频动作识别对抗攻击方法 | |
| El-Khamy et al. | MLRS-CNN-DWTPL: A new enhanced multi-label remote sensing scene classification using deep neural networks with wavelet pooling layers | |
| CN113283520A (zh) | 面向成员推理攻击的基于特征增强的深度模型隐私保护方法和装置 | |
| Doughan et al. | Logic-based neural network for image compression applications | |
| CN111461259A (zh) | 基于红黑形态小波池化网络的图像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |