CN113807400B - 一种基于对抗攻击的高光谱图像分类方法、系统和设备 - Google Patents
一种基于对抗攻击的高光谱图像分类方法、系统和设备 Download PDFInfo
- Publication number
- CN113807400B CN113807400B CN202110943760.6A CN202110943760A CN113807400B CN 113807400 B CN113807400 B CN 113807400B CN 202110943760 A CN202110943760 A CN 202110943760A CN 113807400 B CN113807400 B CN 113807400B
- Authority
- CN
- China
- Prior art keywords
- sample
- classification
- training
- hyperspectral image
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 239000000523 sample Substances 0.000 claims description 171
- 238000012549 training Methods 0.000 claims description 86
- 238000013527 convolutional neural network Methods 0.000 claims description 52
- 239000013074 reference sample Substances 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000002265 prevention Effects 0.000 abstract description 3
- 238000012271 agricultural production Methods 0.000 abstract description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 abstract description 2
- 239000011707 mineral Substances 0.000 abstract description 2
- 102100032202 Cornulin Human genes 0.000 description 7
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 7
- 238000004088 simulation Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明公开了一种基于对抗攻击的高光谱图像分类方法、系统和设备，属于图像处理技术领域，采用对抗攻击的方法生成了分类边界的分类样本，克服了已有技术中生成的样本难以描述分类边界样本的特性，导致分类边界样本分类精度没有明显提升的问题，从而有效提高了分类器的分类精度。即本发明拟生成分类边界的对抗样本，能够提升深度神经网络对于边界样本的分类能力。采用迭代更新的方案，可以根据实时分类情况不断细化分类边界，得到更为精确地分类边界。本发明方法可用于气象监测、大气环境监测、土地利用、城市规划、水文检测，农业生产，军事目标检测、矿物勘探以及防灾减灾。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于对抗攻击的高光谱图像分类方法、系统和设备。
背景技术
高光谱图像是由搭载高光谱成像仪的航天航空飞行器获取到的三维立体图像，具有“图谱合一”的特点，与自然图像相比，第一，它能达到纳米级别的分辨率，第二，它是一个能够充分反映地物目标光谱特征的数据立方体，包含着丰富的空间信息和光谱信息。高光谱图像分类的目标是依据样本特征为图像中的每个像元赋予类别标签。但由于高光谱图像的光谱分辨率高，光谱数量多，并且高光谱数据的标签采集比较困难，人工标注成本高，样本的缺乏增加了高光谱图像的分类难度。
目前，对于高光谱图像的分类任务，一种是采用传统的方法，例如利用光谱特征和数据的统计特征的分类方法，包括常用的K近邻算法以及支持向量机(SVM)。但是，传统的方法一方面是没有考虑到高光谱图像丰富的空间信息，导致特征提取不够完整；另一方面是大多数方法于手工特征，需要人工判别和标注，会花费比较多的人力和时间。另一种方法是一些深度学习模型，如深度信念网络(DBN)和栈式自编码器(SAE)，以及在高光谱图像分类使用最多的深度学习模型卷积神经网络(CNN)。对于高光谱图像这种高维数据，能够有效拟合高光谱图像分类标签与高光谱图像数据特征之间的非线性关系，可以更好的提高分类精度。然而利用深度学习模型训练时需要大量的标记样本，而高光谱图像的小样本特性往往制约着深度学习模型在高光谱图像分类上的应用。
因此，通过生成样本增加训练样本个数可以有效缓解有限的标记样本带来的问题。在实际的分类问题中，大多数样本属于干净样本，较容易被正确分类，而最容易被错分的样本大多位于分类边界，这些样本能否被正确分类是制约分类效果提高的主要原因。已有技术生成的样本与干净样本的分布相似，因此生成的样本难以有效提高高光谱图像中位于边界的样本的分类精度。
对抗攻击的概念是由Szegedy等人提出的，他们发现，在干净样本中加入一个小的扰动可以导致分类器分类错误。近年来，针对对抗样本的生成提出了很多优化算法，比如基于梯度优化损失函数的快速梯度符号法(Fast Gradient Sign Method，FGSM)，迭代快速梯度符号法(Itersative FGSM，I-FGSM)，基于优化目标函数的C&W算法、DeepFool算法，基于GAN的PS-GAN算法。然而，对于高光谱图像而言，有限的标记样本、高的光谱维数都使得对抗样本的生成更具有挑战性。但是高光谱图像中普遍存在“同谱异物”现象，对抗样本普遍存在，因此，以生成的对抗样本来提升深度神经网络的性能迫在眉睫。
因此，针对高光谱图像如何生成高质量的对抗样本，亟需发展一种技术能够进一步提高分类模型的分类精度。
发明内容
本发明的目的在于克服上述现有技术中，有限的标记样本、高的光谱维数使得难以高效生成对抗样本，导致高光谱图像分类精度较低的缺点，提供一种基于对抗攻击的高光谱图像分类方法、系统和设备。
为了达到上述目的，本发明采用以下技术方案予以实现：
一种基于对抗攻击的高光谱图像分类方法，包括如下步骤：
步骤1)获取原始高光谱图像，对原始高光谱图像分类后得到若干个样本，对样本进行分类，每一类样本分为两组，分别为训练样本集合和测试样本集合；
步骤2)基于训练样本集合对深度卷积神经网络进行预训练；
步骤3)基于预训练之后的深度卷积神经网络进行计算，得到基准样本和目标攻击类；
步骤4)设计目标攻击损失函数，通过迭代训练给基准样本添加扰动对目标类进行攻击，生成目标攻击类的对抗样本；
将对抗样本加入训练样本集合中进行迭代更新，迭代更新完成后得到训练好的深度卷积神经网；
步骤5)将测试样本集合中的样本输入到训练好的深度卷积神经网络中，计算得到测试样本集合中每一个样本的预测分类结果，完成分类。
优选地，步骤1)中，样本的获取过程为：
获取原始高光图像，对获取的原始高光图像进行主成分分析的光谱降维，得到降维后的高光谱图像；
对降维后的高光谱图像逐像素进行图像分块，得到若干个样本。
优选地，光谱降维时，光谱维数设为10。
优选地，步骤3)的具体操作为：
分别对训练样本集合中的每一个样本，通过预训练的深度神经网络进行前向计算，得到该样本在每一类上的输出概率得分，进而选择基准样本和目标攻击类。
优选地，步骤4)中，迭代更新的具体操作为：
选取固定的迭代间隔；
重新选择基准样本和目标攻击类；
重新生成目标攻击类的对抗样本，并将生成的对抗样本加入到训练样本集合中，用更新的训练样本集合中的样本再次训练深度卷积神经网络。
优选地，步骤4)中，对抗样本的生成过程为：
步骤41)设计目标攻击损失函数为
losst(x)＝fb(x)-ft(x) (1)
其中，fb(x)和ft(x)分别为样本x在基准样本所在类和目标攻击类的概率得分；
步骤42)通过迭代训练和最小优化的对抗攻击损失函数生成对抗样本，迭代训练时的迭代更新公式为
其中，xi和xi+1分别表示第i次和第i+1次的样本；x1为基准样本；(xi)表示对抗攻击损失函数对样本xi的梯度值；η为学习率，取值为0.2；ε为控制参数，取值为1e-4。
优选地，步骤4)中，迭代更新完成的终止点为：
losst(xi)＞0并且losst(xi+1)＜0；
同时，达到预先设定的生成对抗样本的最大迭代次数。
一种基于对抗攻击的高光谱图像分类系统，包括：
图像信息获取模块，用于获取原始高光谱图像；
样本模块，与图像信息获取模块相交互，用于对原始高光谱图像进行分类，得到若干个样本，对样本进行分类，每一类样本分为两组，分别为训练样本集合和测试样本集合；
预训练模块，与样本模块相交互，基于训练样本集合对深度卷积神经网络进行预训练；
深度卷积神经网络计算模块，与预训练模块相交互，基于预训练之后的深度卷积神经网络进行计算，得到基准样本和目标攻击类；
迭代更新模块，与深度卷积神经网络计算模块相交互，用于建立目标攻击损失函数，通过迭代训练给基准样本添加扰动对目标类进行攻击，生成目标攻击类的对抗样本，之后将对抗样本加入训练样本集合中进行迭代更新；
分类模块，用于将测试样本集合中的样本输入到训练好的深度卷积神经网络中，计算得到测试样本集合中每一个样本的预测分类结果，完成分类。
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述高光谱图像分类方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明公开了一种基于对抗攻击的高光谱图像分类方法，采用对抗攻击的方法生成了分类边界的分类样本，克服了已有技术中生成的样本难以描述分类边界样本的特性，导致分类边界样本分类精度没有明显提升的问题，从而有效提高了分类器的分类精度。即本发明拟生成分类边界的对抗样本，能够提升深度神经网络对于边界样本的分类能力。采用迭代更新的方案，可以根据实时分类情况不断细化分类边界，得到更为精确地分类边界。本发明方法可用于气象监测、大气环境监测、土地利用、城市规划、水文检测，农业生产，军事目标检测、矿物勘探以及防灾减灾。
进一步地，对获取的原始高光图像进行主成分分析的光谱降维，目的是降低计算的复杂度。
进一步地，对训练样本集合中的每一个样本，通过预训练的深度神经网络进行前向计算，得到该样本在每一类上的输出概率得分，进而选择基准样本和目标攻击类。目的是为了选择出与基准样本具有最高混淆的样本作为目标样本，从而提高网络对于易混淆样本的分类能力。采用该方法选择基准样本和目标攻击类的方法较为简单，易于实施。
进一步地，设计对抗损失函数的目的是为了寻找到具有最小扰动的对抗样本。选择迭代更新的原因是为了让深度神经网络能够根据实时的训练情况选择新的基准样本和目标攻击类，以生成更加可靠的对抗样本来提高网络分类边界的准确性。
本发明还公开了一种基于对抗攻击的高光谱图像分类系统，包括六个模块，分别为：图像信息获取模块，用于获取原始高光谱图像；样本模块，与图像信息获取模块相交互，用于对原始高光谱图像进行分类，得到若干个样本，对样本进行分类，每一类样本分为两组，分别为训练样本集合和测试样本集合；预训练模块，与样本模块相交互，基于训练样本集合对深度卷积神经网络进行预训练；深度卷积神经网络计算模块，与预训练模块相交互，基于预训练之后的深度卷积神经网络进行计算，得到基准样本和目标攻击类；迭代更新模块，与深度卷积神经网络计算模块相交互，用于建立目标攻击损失函数，通过迭代训练给基准样本添加扰动对目标类进行攻击，生成目标攻击类的对抗样本，之后将对抗样本加入训练样本集合中进行迭代更新；分类模块，用于将测试样本集合中的样本输入到训练好的深度卷积神经网络中，计算得到测试样本集合中每一个样本的预测分类结果，完成分类。本发明系统能够提升深度神经网络对于边界样本的分类能力，且实用性较强。
附图说明
图1是本发明的一种基于对抗攻击的高光谱图像的分类方法的研究流程框图；
图2是本发明实验使用的PaviaU数据集；
图3是本发明实验使用的休斯敦2013数据集；
图4是PaviaU数据集上不同方法的分类图，其中(a)为CRNN方法，(b)为3D-GAN方法，(c)为CNN方法，图4(d)为本发明方法。
图5是休斯敦2013数据集不同分类方法的分类图，其中，(a)为CRNN方法，(b)为3D-GAN方法，(c)为CNN方法，(d)为本发明方法。
具体实施方式
下面结合附图对本发明做进一步详细描述：
实施例1
一种基于对抗攻击的高光谱图像分类方法，包括如下步骤：
步骤1)获取原始高光谱图像，对原始高光谱图像分类后得到若干个样本，对样本进行分类，每一类样本分为两组，分别为训练样本集合和测试样本集合；
步骤2)基于训练样本集合对深度卷积神经网络进行预训练；
步骤3)基于预训练之后的深度卷积神经网络进行计算，得到基准样本和目标攻击类；
步骤4)设计目标攻击损失函数，通过迭代训练给基准样本添加扰动对目标类进行攻击，生成目标攻击类的对抗样本；
将对抗样本加入训练样本集合中进行迭代更新，迭代更新完成后得到训练好的深度卷积神经网；
步骤5)将测试样本集合中的样本输入到训练好的深度卷积神经网络中，计算得到测试样本集合中每一个样本的预测分类结果，完成分类。
实施例2
一种基于对抗攻击的高光谱图像分类方法，包括如下步骤：
步骤1)对原始高光谱图像采用主成分分析法进行光谱降维；
步骤2)对降维后的高光谱图像逐像素进行图像分块，得到样本；
步骤3)每个类随机选取一定数量的样本组成初始训练样本集合，其余样本组成测试样本集合；
步骤4)根据训练样本集合对深度卷积神经网络进行预训练；
步骤5)将训练样本集合中的每一个样本输入到预训练的深度神经网络中进行前向计算，输出该样本在每一类上的概率分布，以此选择基准样本和目标攻击类；
步骤6)设计攻击损失函数，并通过迭代训练给基准样本添加扰动对目标类进行攻击，生成目标攻击类的对抗样本，并将生成的对抗样本加入训练样本集合中；
步骤7)迭代更新分类：
7a)选取固定的迭代间隔；
7b)重复步骤5)重新选择基准样本和目标攻击类；
7c)重复步骤6)重新生成目标攻击类的对抗样本，并将生成的对抗样本加入到训练集中；
7e)再次训练深度卷积神经网络；
步骤8)将测试样本集合中的样本输入到训练好的深度卷积神经网络中，前向计算，得到测试样本集合中每一个样本的预测分类结果，完成分类。
实施例3
参照图1，一种基于对抗攻击的高光谱图像分类方法，实现步骤如下：
步骤1，对原始高光谱图像进行主成分分析的降维操作。主成分分析的光谱维数设置为10。
步骤2，构造样本。
对降维后的图像上的每一个像素点，分别对每一维，选取22×22大小的窗口，得到该像素在该维上的空间信息，并将所有维数上的空间信息组成一个三维的样本图像块，得到该像素的样本。
步骤3，构造训练样本集合和测试样本集合。
分别对每一类，随机选取50个样本，组成训练样本集合，其余样本，组成测试样本集合。
步骤4，预训练深度卷积神经网络。
深度卷积神经网络由三个卷积层和一个全连接层组成，其中第一个卷积层大小为3×3×32，第二个为3×3×64，第三个为3×3×128，第一层和第二层卷积后都采用2×2的最大池化操作，每次滑动的步长为1，边界填充为1，每一层卷积采用ReLU激活函数，并且都进行归一化操作，批大小设定为64，损失函数采用交叉熵损失，其中学习率设定为0.005，总迭代次数设定为5000。
步骤5，选取基准样本和目标攻击类。
分别对训练样本集合中的每一个样本，通过预训练的深度神经网络进行前向计算，得到该样本在每一类上的输出概率得分，以此选择基准样本和目标攻击类，假定训练样本是x，输出概率得分是P＝[p1，p2，...，pn]T，pn表示输出的第n类的概率得分，并按照如下原则选择基准样本：
1)样本x应该是被正确分类；
2)对满足原则1)的每一个训练样本，将其概率最高和概率次高的两个概率得分相减，得到每一个样本的绝对差值s＝|s1-s2|，其中s1和s2分别表示概率最高和概率次高的概率得分。将所有样本的绝对差值从低到高排序，选择前m个样本为基准样本。并且s2在输出概率得分的位置作为该基准样本对应的目标攻击类的类别，以此找到每一个基准样本对应的目标攻击类。
步骤6，使用迭代的方式生成对抗样本。
6a)设计对抗攻击损失函数，如公式(1)所示：
losst(x)＝fb(x)-ft(x) (1)
其中fb(x)和ft(x)分别为样本x在基准样本所在类和目标攻击类的概率得分。
6b)然后通过迭代训练和最小优化的对抗攻击损失函数进行生成对抗样本，其中迭代更新公式如公式(2)所示：
其中xi和xi+1分别表示第i次和第i+1次的样本，x1为基准样本，表示对抗攻击损失函数对样本xi的梯度值，η为学习率，取值为0.2，ε为控制参数，取值为1e-4，以控制对抗样本可以被有效错分为目标攻击类。
6c)执行步骤6b)，对样本进行更新，直到满足以下两个条件之一时，迭代停止：(1)losst(xi)＞0并且losst(xi+1)＜0；(2)达到生成对抗样本的最大迭代次数，本发明设定的最大迭代次数为10。达到迭代停止条件时，将生成的对抗样本再次输入到深度卷积神经网络中，如果对抗样本的分类类别和目标攻击类别一致，则将该对抗样本添加到训练样本集合中，再次用更新的训练样本集合继续训练步骤4)搭建的深度卷积神经网络。
步骤7，迭代更新分类。
选取固定的迭代间隔为500，即当训练卷积神经网络的迭代次数到达500的倍数，同时添加的对抗样本总数少于预先设定的个数的时候，重复执行步骤5)和步骤6)。
步骤8，将测试样本集合中的样本输入到训练好的深度卷积神经网络中，前向计算，得到测试样本集合中每一个样本的预测分类结果，完成分类。
实施例4
一种基于对抗攻击的高光谱图像分类方法，通过仿真实验进一步说明：
1)仿真条件
本发明的仿真的硬件条件为：windows XP，SPI，CPU Pentium(R)4，基本频率为2.4GHZ；软件平台为：MatlabR2016a，pytorch；
仿真选用的图片来源是Pavia University的高分辨率遥感图像数据集和休斯敦2013图像数据集，如图5所示，其中Pavia University图像数据集包含9类地物，如图2所示，休斯敦2013数据集包含15类地物，如图3所示。
仿真内容及结果
仿真1，用本发明和所述的三种技术对图2和图3所示的两个数据集分别进行分类仿真，结果如图4和图5，其中，图4的(a)到(d)分别是CRNN，3D-GAN，CNN以及本发明技术在Pavia University图像数据集上的分类效果图；图5的(a)到(d)分别是CRNN，3D-GAN，CNN以及本发明技术在休斯敦2013图像数据集上的分类效果图。
从图4-图5的分类结果图可见，本发明的分类方法精度和分类效果更好。表1是本发明方法与现有技术CRNN、3D-GAN、CNN在Pavia University数据集上分类结果的数值比对。表2是本发明方法与现有技术CRNN、3D-GAN、CNN在休斯敦2013数据集上分类结果的数值比对。
表1和表2显示了本发明的分类方法与其他三种分类方法在数值方面的指标值，也显示本发明得到的分类精度更好，显然本方法处理高光谱图像分类任务中，具有很好的表现。
表1本发明与现有技术在Pavia University图像数据集上的分类精度对比结果
| 类别 | CRNN | 3D-GAN | CNN | 本发明技术 |
| 1 | 0.9518 | 0.9384 | 0.9216 | 0.9649 |
| 2 | 0.9242 | 0.9670 | 0.9633 | 0.9878 |
| 3 | 0.9097 | 0.9480 | 0.9497 | 0.9893 |
| 4 | 0.9615 | 0.9295 | 0.9834 | 0.9741 |
| 5 | 0.9915 | 0.9968 | 1.0000 | 0.9992 |
| 6 | 0.9849 | 0.9980 | 0.9956 | 0.9930 |
| 7 | 0.9828 | 0.9854 | 0.9938 | 0.9641 |
| 8 | 0.9526 | 0.9179 | 0.9604 | 0.9623 |
| 9 | 0.9732 | 0.9658 | 0.9810 | 0.9822 |
| OA | 0.9449 | 0.9598 | 0.9636 | 0.9813 |
| AA | 0.9592 | 0.9607 | 0.9721 | 0.9796 |
| Kappa | 0.9278 | 0.9467 | 0.9520 | 0.9751 |
表2本发明与现有技术在休斯敦2013图像数据集上的分类精度对比结果
以上实验结果表明：与现有的技术相比，本发明针对高光谱图像分类，生成边界对抗样本以提高分类器对高光谱图像的分类精度有很好的表现。
实施例5
一种基于对抗攻击的高光谱图像分类系统，包括：
图像信息获取模块，用于获取原始高光谱图像；
样本模块，与图像信息获取模块相交互，用于对原始高光谱图像进行分类，得到若干个样本，对样本进行分类，每一类样本分为两组，分别为训练样本集合和测试样本集合；
预训练模块，与样本模块相交互，基于训练样本集合对深度卷积神经网络进行预训练；
深度卷积神经网络计算模块，与预训练模块相交互，基于预训练之后的深度卷积神经网络进行计算，得到基准样本和目标攻击类；
迭代更新模块，与深度卷积神经网络计算模块相交互，用于建立目标攻击损失函数，通过迭代训练给基准样本添加扰动对目标类进行攻击，生成目标攻击类的对抗样本，之后将对抗样本加入训练样本集合中进行迭代更新；
分类模块，用于将测试样本集合中的样本输入到训练好的深度卷积神经网络中，计算得到测试样本集合中每一个样本的预测分类结果，完成分类。
实施例6
本实施例提供一种电子终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明方法的步骤。处理器可能是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
综上所述，本发明公开了一种基于对抗攻击的高光谱图像分类方法，主要解决现有技术针对高光谱图像中分类边界的样本分类精度低的问题。其实现步骤为：1)对原始高光谱图像进行主成分分析进行光谱降维；2)通过对降维后的高光谱图像逐像素进行图像分块，得到样本；3)构建训练样本集合和测试样本集合；4)预训练深度神经网络；5)选取基准样本和目标攻击类；6)使用迭代的方式生成对抗样本；7)迭代更新分类，输出分类结果。本发明能够有效提高有限训练样本情况下的分类精度，可用于到气象监测、环境监测、城市规划以及防灾减灾。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (5)
1.一种基于对抗攻击的高光谱图像分类方法，其特征在于，包括如下步骤：
步骤1）获取原始高光谱图像，对原始高光谱图像分类后得到若干个样本，对样本进行分类，每一类样本分为两组，分别为训练样本集合和测试样本集合；
步骤2）基于训练样本集合对深度卷积神经网络进行预训练；
步骤3）基于预训练之后的深度卷积神经网络进行计算，得到基准样本和目标攻击类；
步骤4）设计目标攻击损失函数，通过迭代训练给基准样本添加扰动对目标类进行攻击，生成目标攻击类的对抗样本；
将对抗样本加入训练样本集合中进行迭代更新，迭代更新完成后得到训练好的深度卷积神经网；
步骤5）将测试样本集合中的样本输入到训练好的深度卷积神经网络中，计算得到测试样本集合中每一个样本的预测分类结果，完成分类；
步骤3）的具体操作为：
分别对训练样本集合中的每一个样本，通过预训练的深度神经网络进行前向计算，得到该样本在每一类上的输出概率得分，进而选择基准样本和目标攻击类；
步骤4）中，迭代更新的具体操作为：
选取固定的迭代间隔；
重新选择基准样本和目标攻击类；
重新生成目标攻击类的对抗样本，并将生成的对抗样本加入到训练样本集合中，用更新的训练样本集合中的样本再次训练深度卷积神经网络；
步骤4）中，对抗样本的生成过程为：
步骤41）设计目标攻击损失函数为
（1）
其中，和/>分别为样本x在基准样本所在类和目标攻击类的概率得分；
步骤42） 通过迭代训练和最小优化的对抗攻击损失函数生成对抗样本，迭代训练时的迭代更新公式为
（2）
其中，和/>分别表示第/>次和第/>次的样本；/>为基准样本；/>表示对抗攻击损失函数对样本/>的梯度值；/>为学习率，取值为0.2；/>为控制参数，取值为1e-4；
步骤4）中，迭代更新完成的终止点为：
并且/>；
同时，达到预先设定的生成对抗样本的最大迭代次数。
2.根据权利要求1所述的基于对抗攻击的高光谱图像分类方法，其特征在于，步骤1）中，样本的获取过程为：
获取原始高光图像，对获取的原始高光图像进行主成分分析的光谱降维，得到降维后的高光谱图像；
对降维后的高光谱图像逐像素进行图像分块，得到若干个样本。
3.根据权利要求2所述的基于对抗攻击的高光谱图像分类方法，其特征在于，光谱降维时，光谱维数设为10。
4.基于权利要求1-3任意一项所述高光谱图像分类方法的一种基于对抗攻击的高光谱图像分类系统，其特征在于，包括：
图像信息获取模块，用于获取原始高光谱图像；
样本模块，与图像信息获取模块相交互，用于对原始高光谱图像进行分类，得到若干个样本，对样本进行分类，每一类样本分为两组，分别为训练样本集合和测试样本集合；
预训练模块，与样本模块相交互，基于训练样本集合对深度卷积神经网络进行预训练；
深度卷积神经网络计算模块，与预训练模块相交互，基于预训练之后的深度卷积神经网络进行计算，得到基准样本和目标攻击类；
迭代更新模块，与深度卷积神经网络计算模块相交互，用于建立目标攻击损失函数，通过迭代训练给基准样本添加扰动对目标类进行攻击，生成目标攻击类的对抗样本，之后将对抗样本加入训练样本集合中进行迭代更新；
分类模块，用于将测试样本集合中的样本输入到训练好的深度卷积神经网络中，计算得到测试样本集合中每一个样本的预测分类结果，完成分类。
5.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述高光谱图像分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110943760.6A CN113807400B (zh) | 2021-08-17 | 2021-08-17 | 一种基于对抗攻击的高光谱图像分类方法、系统和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110943760.6A CN113807400B (zh) | 2021-08-17 | 2021-08-17 | 一种基于对抗攻击的高光谱图像分类方法、系统和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113807400A CN113807400A (zh) | 2021-12-17 |
| CN113807400B true CN113807400B (zh) | 2024-03-29 |
Family
ID=78893711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110943760.6A Active CN113807400B (zh) | 2021-08-17 | 2021-08-17 | 一种基于对抗攻击的高光谱图像分类方法、系统和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807400B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948663A (zh) * | 2019-02-27 | 2019-06-28 | 天津大学 | 一种基于模型抽取的步长自适应的对抗攻击方法 |
| CN110851835A (zh) * | 2019-09-23 | 2020-02-28 | 平安科技（深圳）有限公司 | 图像模型检测方法、装置、电子设备及存储介质 |
| CN110929785A (zh) * | 2019-11-21 | 2020-03-27 | 中国科学院深圳先进技术研究院 | 数据分类方法、装置、终端设备及可读存储介质 |
| CN110930347A (zh) * | 2018-09-04 | 2020-03-27 | 京东方科技集团股份有限公司 | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 |
| CN111709318A (zh) * | 2020-05-28 | 2020-09-25 | 西安理工大学 | 一种基于生成对抗网络的高分辨率遥感图像分类方法 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102304661B1 (ko) * | 2019-12-24 | 2021-09-23 | 동서대학교 산학협력단 | 견고한 적대적 방어를 위한 공격 기술에 독립적인 적대적 훈련 방법 |
-
2021
- 2021-08-17 CN CN202110943760.6A patent/CN113807400B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930347A (zh) * | 2018-09-04 | 2020-03-27 | 京东方科技集团股份有限公司 | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 |
| CN109948663A (zh) * | 2019-02-27 | 2019-06-28 | 天津大学 | 一种基于模型抽取的步长自适应的对抗攻击方法 |
| CN110851835A (zh) * | 2019-09-23 | 2020-02-28 | 平安科技（深圳）有限公司 | 图像模型检测方法、装置、电子设备及存储介质 |
| CN110929785A (zh) * | 2019-11-21 | 2020-03-27 | 中国科学院深圳先进技术研究院 | 数据分类方法、装置、终端设备及可读存储介质 |
| CN111709318A (zh) * | 2020-05-28 | 2020-09-25 | 西安理工大学 | 一种基于生成对抗网络的高分辨率遥感图像分类方法 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向高光谱影像分类的生成式对抗网络;张鹏强;刘冰;余旭初;谭熊;杨帆;周增华;;测绘通报;20200325(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113807400A (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027575B (zh) | 一种自注意对抗学习的半监督语义分割方法 | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN109919108B (zh) | 基于深度哈希辅助网络的遥感图像快速目标检测方法 | |
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| CN109584337B (zh) | 一种基于条件胶囊生成对抗网络的图像生成方法 | |
| Hu et al. | Deep convolutional neural networks for hyperspectral image classification | |
| CN109766835B (zh) | 基于多参数优化生成对抗网络的sar目标识别方法 | |
| CN112633350B (zh) | 一种基于图卷积的多尺度点云分类实现方法 | |
| CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| US10976429B1 (en) | System and method for synthetic aperture radar target recognition utilizing spiking neuromorphic networks | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| CN111028327A (zh) | 一种三维点云的处理方法、装置及设备 | |
| CN113705641B (zh) | 基于富上下文网络的高光谱图像分类方法 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| CN109753996B (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
| CN115410088B (zh) | 一种基于虚拟分类器的高光谱图像领域自适应方法 | |
| CN116503399B (zh) | 基于yolo-afps的绝缘子污闪检测方法 | |
| Tripathi et al. | Real time object detection using CNN | |
| CN110163206B (zh) | 车牌识别方法、系统、存储介质和装置 | |
| Pratiwi et al. | Early detection of deforestation through satellite land geospatial images based on CNN architecture | |
| CN108496174B (zh) | 用于面部识别的方法和系统 | |
| CN113516019B (zh) | 高光谱图像解混方法、装置及电子设备 | |
| Hamouda et al. | Modified convolutional neural network based on adaptive patch extraction for hyperspectral image classification | |
| CN113807400B (zh) | 一种基于对抗攻击的高光谱图像分类方法、系统和设备 | |
| Ganebnykh et al. | Metric classifier using multilevel network of templates |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |