CN113705526A - 一种高光谱遥感影像分类方法 - Google Patents
一种高光谱遥感影像分类方法 Download PDFInfo
- Publication number
- CN113705526A CN113705526A CN202111041936.5A CN202111041936A CN113705526A CN 113705526 A CN113705526 A CN 113705526A CN 202111041936 A CN202111041936 A CN 202111041936A CN 113705526 A CN113705526 A CN 113705526A
- Authority
- CN
- China
- Prior art keywords
- scale
- attention
- network
- remote sensing
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 73
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 238000001228 spectrum Methods 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 231100000716 Acceptable daily intake Toxicity 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 abstract 1
- 241000488988 Monotropa Species 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000003595 spectral effect Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 241001466077 Salina Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000012733 comparative method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 2
- 235000011613 Pinus brutia Nutrition 0.000 description 2
- 241000018646 Pinus brutia Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 240000004658 Medicago sativa Species 0.000 description 1
- 235000017587 Medicago sativa ssp. sativa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种高光谱遥感影像分类方法,与现有技术相比克服了有限样本量下高光谱遥感影像特征提取不充分及分类精度不理想的问题。本发明包括以下步骤:高光谱遥感影像的获取和预处理;生成对抗网络的构建和训练;扩充训练样本的获得;构建多尺度残差注意力网络;多尺度残差注意力网络的训练;待分类高光谱遥感影像的获取;高光谱遥感影像分类结果的获得。本发明在训练样本不足的情况下,也能得到较理想的高光谱遥感影像分类结果。
Description
技术领域
本发明涉及高光谱遥感影像技术领域,具体来说是一种高光谱遥感影像分类方法。
背景技术
高光谱遥感作为对地观测的一种重要手段,能够获取精细的地物属性信息,在最近几年中得到了足够多的关注度。由于卫星传感器技术的迅速发展,捕获了大量的高光谱遥感影像,这些图像拥有丰富的光谱信息和空间信息,这为高光谱遥感技术的应用带来了新的机遇。高光谱分类旨在根据一些标记的像素样本训练分类器,然后预测图像中其他像素样本对应的标签,以获得图像中不同对象的空间分布。然而,在高光谱图像分类过程中,有限的训练样本和空谱信息提取不充分给HSI分类带来了巨大挑战。
高光谱遥感影像拥有数百条光谱波段,在各相邻波段之间,存在大量冗余数据,这对研究人员计算机硬件要求是一项挑战,并且也给分类结果带来了消极的影响。针对这一问题,在高光谱影像数据输入分类器之前可以对高光谱数据进行特征提取,以减少高光谱遥感数据的维数,减轻计算机硬件负荷,提升运算效率,同时保留高光谱遥感影像大部分特征。常用的降维方法有PCA、LDA、LLE等,这些方法从原始高光谱遥感影像中提取能代表原始数据的信息,并实现降维。为了解决高光谱分类问题,研究人员采用KNN、ELM、SVM等传统的分类器,结合特征选择方法,实现高光谱分类。Li提出了一种基于光谱空间核的高光谱图像分类方法(SSF-SVM),利用中值滤波(Area Median Filtering,AMF)提取空间特征,与光谱特征联合输入SVM分类器中,提升了分类精度,但在训练样本量较少的情况下,表现不佳。Gu介绍了一种空谱特征与集成极限学习机相结合的分类方法,通过组合的新特征来训练多个分类器,提高了模型的泛化性能,虽然结合了HSI的空间信息和光谱信息,却没充分挖掘图像的深层特征。分类精度的高低主要依赖于特征选择和特征提取的好坏,而在有限样本下,传统的特征提取方法往往很难达到期望的分类结果。
近年来,深度学习理论凭借其强大的自动学习能力,在自然语言处理和图像分类等领域取得了优异的成果。与传统机器学习方法相比,深度学习理论不需要人工设计特征,能够实现端到端学习。CNN模型能够处理二维图像数据,在特征提取上具有独特优势,通常使用非线性激活函数,提取图像的非线性特征,自然引起了人们的关注。Hu首次将CNN用于HSI分类领域,但只使用了一维的卷积核,仅仅关注了HSI的光谱特征。Makantasis通过PCA对HSI进行光谱去冗余,然后将降维后的HSI数据输入2DCNN中进行分类,提取空谱特征。Chen提出了一种基于DBN的高光谱分类方法,融合了空谱特征,提高了分类精度。研究表明,相比于2DCNN,三维的卷积核更加适用于HSI分类。Li提出了一种基于3DCNN的空谱特征提取新框架,使用原始HSI数据作为输入,有效地提取了深度光谱空间组合特征。Zhang等人利用了网络结构中的不同尺度信息,并利用三维密集连接结构对不同层次的特征进行聚合,提出了一种用于HSI分类的多尺度密集网络(MSDN),提高了精度稳定性。Zhong等人借鉴ResNet,提出了一种空谱残差网络SSRN,分别提取HSI的空间特征和光谱特征,但网络设计冗余。Wang等人为了减少训练时间和提高精度,提出了一种端到端快速密集谱空间卷积(FDSSC)框架用于HSI分类,采用了不同的卷积核提取多尺度空谱特征,展示了在不同感受野上提取有效特征的优势。另外,Swalpa等人设计了一种三维二维结合的混合神经网络(HybridSN),与单独使用3DCNN相比,混合神经网络降低了模型的复杂性,并通过实验验证了混合卷积网络在高光谱分类的潜力。Feng等人从网络优化的角度设计了一个11层的CNN模型R-HybridSN(Residual-HybridSN),在很少的训练数据下,更好地学习了深度层次空间光谱特征。
尽管基于卷积神经网络的方法在高光谱图像分类领域获得了很好的效果,但是在网络模型训练过程中,卷积层输出的特征图对分类的贡献度并不相同,特征图之间也存在相关性。因此,为了有区别地处理不同的特征图,聚焦更有用的特征,采用注意力机制对特征映射进行细化。Hu等人构建了SENet(Squeeze-and-Excitation),在ILSVRC 2017分类比赛中取得了惊人的成绩。Fang等人引入了光谱注意力机制,提出了一种端到端的三维密集网络MSDN-SA,提高了训练模型的分类性能。Woo等人提出Convolutional Block AttentionModule(CBAM),分别从通道维和空间维提取了更加精细的信息。Sun等人设计了一种光谱空间注意网络(SSAN),通过引入注意模块来抑制干扰像素的影响,得到了很好的分类结果。
训练样本的数量作为影响CNN模型性能的关键因素之一,而从高分辨率图像中收集大量的训练样本是一项具有挑战性的工作。因此针对HSI中标记样本严重缺失的问题,数据扩充是一种有效方法。随机翻转、裁剪和添加噪声是典型的数据增强技术,但通常对分类起到的积极效果较小。最近,生成模型由于能够生成高质量的样本,缓解过拟合问题,受到了研究人员广泛的关注。Goodfellow等人提出的一种通过对抗过程估计生成模型的新框架GANs(Generative Adversarial Networks,GANs),采用对抗的方式训练网络,生成能估测样本潜在分布的新数据样本,其提供了一种不需要标注训练数据就能学习深度表征的方式,实验证明了该框架的潜力。近年来,GAN已被广泛用于对象检测、图像翻译等多种应用领域。
那么如何在高光谱有限训练样本下,充分提取高光谱影像的空谱特征,以实现高光谱遥感影像的高效率、高质量分类已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中难以针对高光谱遥感影像进行分类的缺陷,提供一种高光谱遥感影像分类方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种高光谱遥感影像分类方法,包括以下步骤:
11)高光谱遥感影像的获取和预处理:获取高光谱遥感影像作为待训练的高光谱影像,并进行预处理;
12)生成对抗网络的构建和训练:对生成对抗网络进行构建设定,然后将预处理后的高光谱遥感影像输入生成对抗网络中进行训练,得到训练后的生成对抗网络;
13)扩充训练样本的获得:利用训练后的生成对抗网络生成新的待训练高光谱影像,并对新的高光谱影像和预处理后的高光谱影像进行主成分分析降维后合并,得到样本扩充后的待训练高光谱影像;
14)构建多尺度残差注意力网络:以3D多尺度残差注意力模块与2D多尺度残差注意力模块为基础,建立具有多尺度特征提取能力的多尺度残差注意力网络;
15)多尺度残差注意力网络的训练:将样本扩充后的待训练高光谱影像输入多尺度残差注意力网络进行训练,得到训练后的多尺度残差注意力网络;
16)待分类高光谱遥感影像的获取:获取待分类的高光谱遥感影像并进行预处理;
17)高光谱遥感影像分类结果的获得:将预处理后的待分类高光谱遥感影像输入训练后的多尺度残差注意力网络,得到高光谱遥感影像分类结果。
所述高光谱遥感影像的获取和预处理包括以下步骤:
21)从高光谱遥感影像的每类地物中按比例选取样本S和标签L,作为待训练的高光谱遥感影像样本,该样本数据为三维数据,尺寸大小为(w,w,c),标签尺寸大小为(w,w),其中w、c分别表示高光谱影像的窗口大小、波段数;
22)将待训练的高光谱遥感影像样本S转化为二维数据,尺寸大小为(w×w,c),此时每一行代表一个训练样本、每一列代表不同波段,标签L同样转变为w×w行的一维向量;然后通过标准归一化操作,将训练样本数据转换为符合均值为0,标准差为1的标准正态分布数据,其归一化公式如下:
所述生成对抗网络的构建和训练包括以下步骤:
31)利用生成器G和判别器D构建生成对抗网络,其中G和D分别设置了四层全连接网络,每层节点数为512、批大小为256、学习率为5e-5,并使用LeakyReLU作为非线性激活函数,利用交叉熵损失函数分别计算生成器G和判别器D的误差,并采用RMSprop优化算法来对G和D进行优化;
32)将尺寸为(256,n)的初始噪声信号z输入到生成器中,得到经生成器生成尺寸为(256,c)的合成样本,其中n和c分别代表服从标准正态分布的噪声量和波段数,n设置为100,生成器G的优化目标公式表示如下:
其中,G(z)为生成器生成的假样本,D代表判别器输出的概率值,log表示对数运算,E为加权平均,pz(z)代表随机噪声z的分布,TG为生成器的目标函数;
33)将待训练的真实高光谱遥感影像和新生成的合成样本输入判别器D中,得到输入数据被判别为真实数据的概率,判别器D的优化目标公式表示如下:
其中,x为输入的真实训练样本,pdata(x)为真是样本的分布,TD为判别器的目标函数;
34)将待训练的高光谱数据及地物标签输入到生成对抗网络后,先固定G的参数不变,对D进行有监督分类,以致于使D更好的判断真假样本;其次,固定D的参数不变,对G进行训练,按D判断的损失来对G的参数将信息更新;不断重复上述过程,直至迭代10000次,得到训练好的生成对抗网络。
所述构建多尺度残差注意力网络包括以下步骤:
41)搭建3D卷积神经网络模型,并创建3D多尺度特征提取模块,其中,3D多尺度特征提取模块包含三个分支,每个分支上分别设置大小为3×3×3、3×3×5、3×3×7的卷积核,通道数均为k,然后串联所有尺度下的输出特征映射图;最后,再使用1×1×1的卷积核进行特征融合操作,得到3D融合特征;
将通道注意力模块引入3D多尺度特征提取模块中创建3D多尺度注意力模块,根据不同通道的重要性程度,重新分配通道维度的权重信息,实现对提升网络性能的通道特征进行加强,其中,通道注意力模块计算过程如下:
其中,CAF代表通道注意力图,F3D表示3D输入特征图,δ与δ′分别表示sigmoid和relu激活函数,SN代表共享网络,其包含二层3D卷积层和一层relu激活层,W0与W1为共享网络的权重,和分别表示3D全局平均池化和3D全局最大池化处理后的特征描述符;
将生成的通道注意力图CAF与原3D输入特征图相乘,对各个通道赋予不同的权重,实现对各通道重要性的修正,用数学公式表示为:
42)搭建2D卷积神经网络模型,并创建2D多尺度注意力模块,其中,2D多尺度特征提取模块包含三个分支,每个分支上分别设置大小为3×3、5×5、7×7的卷积核,通道数均为2k,然后串联所有尺度下的输出特征映射图;最后,再使用1×1的卷积核进行特征融合操作,得到2D融合特征;
将空间注意力模块引入2D多尺度特征提取模块中创建2D多尺度注意力模块,实现在空间维度上对显著性区域信息进行加强,其中,空间注意力模块计算过程如下:
将空间注意力图SAF与原2D输入特征图相乘,得到空间细化后的特征图,用数学公式表示为:
43)将残差连接引入3D多尺度注意力模块与2D多尺度注意力模块,创建3D多尺度注意力残差模块与2D多尺度注意力残差模块,以缓解梯度消失的现象,残差连接的计算公式如下:
Xl=H(Xl-1)+H*(Xl-1),l∈N+,
其中,Xl-1和Xl分别代表第l层的输入和输出,H与H*代表隐藏层,H*由平均池化层和Conv3D-BN-ReLU层组成;
44)设定多尺度残差注意力网络由3D多尺度注意力残差模块与2D多尺度注意力残差模块构成;
首先,采用卷积核大小为a×a×a,通道数为k的3D卷积对输入数据(w×w×d)进行空谱特征提取,得到特征数据尺寸为(w×w×d,k),其中w,w,d分别代表输入的高光谱遥感数据宽度、高度和光谱维度,随后将得到的特征数据输入到3D多尺度注意力残差模块中进行更深层次的学习,得到尺寸为(w×w×d1,k)的输出数据;
然后,采用卷积核大小为a1×a1×a1,通道数为2k的3D卷积对3D多尺度注意力残差模块的输出数据进行特征提取,得到输出尺寸为(w×w×d2,2k)的特征图,并使用Reshape操作,将特征图尺寸转换为(w×w,2k×d2);
其次,将经过Reshape操作后的特征图输入到2D多尺度注意力残差模块中进行进一步的学习;
最后,经过二层Dense网络,并使用Softmax函数得到分类结果,得到构建好的多尺度残差注意力网络。
所述多尺度残差注意力网络的训练包括以下步骤:
51)将降维后的待训练扩充高光谱影像作为多尺度残差注意力网络的训练数据集,其每个样本大小为(w,w,d)的3D立方体;
52)将3D立方体样本经过卷积核为1×1×1,通道数为k的Conv3D-BN-ReLU层,使训练样本的尺寸变为(w×w×d,k);然后通过3D多尺度特征提取模块,提取不同尺度下的空谱特征,得到融合特征,其大小为(w×w×d1,k);
53)在3D多尺度特征提取模块后设立通道注意力模块,对于输入的融合特征图得到经通道注意力模块修正后的输出特征图然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接;最后经过卷积核为3×3×3,通道数为2k,步长为(2,2,1)的Conv3D-BN-ReLU层,得到尺寸为(w×w×d2,2k)输出的特征图;
54)将得到的输出特征图进行Reshape操作,尺寸转变为(w×w,2k×d2);然后通过2D多尺度特征提取模块,提取不同尺度下的空谱特征得到融合特征,其大小为(w1×w1,2k);
55)在2D多尺度特征提取模块后设立空间注意力模块,对于输入的融合特征图得到经通道注意力模块修正后的输出特征图然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接;最后经过卷积核为3×3,通道数为2k的Conv3D-BN-ReLU层,得到尺寸为(w1×w1,2k)输出的特征图;
56)将得到的输出特征图进行Flatten展开操作,尺寸大小转变为(1×(w1×w1×2k));然后经过二层Dense网络,并且每层Dense网络连接Dropout层;最后通过带有Softmax函数的全连接层得到分类结果;
57)利用反向传播机制对网络参数进行更新,使用分类交叉熵损失函数并且使用Adam优化网络模型,损失函数表达式如下:
其中,∑为求和操作,log为取对数操作,Loss(Y,Y′)表示为预测值与真实值间的误差损失,Yi={y1,y2,...,ym}代表真实标签向量,Yi′={y′1,y′1,...,y′m}表示预测标签向量,m为样本数,n为高光谱影像地物类别数;
58)将扩充后的待训练数据集输入到多尺度注意力残差网络中进行训练,提取用于高光谱遥感影像分类的多尺度上下文信息,并且在通道维及空间维上对不同特征分配不同的权重,自动地选择性学习高光谱图像中的特征,得到训练后的多尺度注意力残差网络。
有益效果
本发明的一种高光谱遥感影像分类方法,与现有技术相比在有限样本条件下能够充分提取高光谱影像的空谱特征,且获得理想的分类结果。
本发明基于注意力机制建立了多尺度残差注意力网络(MSRA),提取用于高光谱遥感影像分类的多尺度上下文信息;在3D-2D混合网络的基础上,构建了两种多尺度特征提取模块,提取高级空谱特征;结合残差连接方式及注意力机制,建立了通道及空间残差注意力模块,在通道维及空间维上对不同特征分配不同的权重,选择性学习高光谱图像中的特征。
此外,针对高光谱影像在少量带标签训练样本下分类精度较低的问题,本发明采用GANs(Generative Adversarial Networks)生成可分性更高的合成样本,从而达到扩充数据集的目的,一定程度上提高了模型的分类性能及泛化能力。
通过验证,本发明提出的结合MSRA与GANs增强样本策略分类方法(MSRA-G)的分类性能,在Indian Pines、Pavia University、Salinas Valley三组高光谱数据集上进行了试验,实验结果表明,本发明所提出的MSRA-G分类方法优于对比分类模型,即使在训练样本明显不足的情况下,也能得到较理想的高光谱遥感影像分类结果。
附图说明
图1为本发明的方法顺序图;
图2为Indian Pines高光谱数据集伪彩色图像与真实地物分布图;
图3为Pavia University高光谱数据集伪彩色图像与真实地物分布图;
图4为Salinas Valley高光谱数据集伪彩色图像与真实地物分布图;
图5为本发明所述分类方法MSRA-G在不同维数d下对分类精度的影响图;
图6为本发明所述方法MSRA-G在不同窗口大小w下对分类精度的影响图;
图7为本发明所述方法MSRA-G在不同学习率lr下对分类精度的影响图;
图8为本发明方法与对比方法对Indian Pines数据集的分类结果图;
图9为本发明方法与对比方法对Pavia University数据集的分类结果图;
图10为本发明方法与对比方法对Salinas Valley数据集的分类结果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种高光谱遥感影像分类方法,包括以下步骤:
第一步,高光谱遥感影像的获取和预处理:获取高光谱遥感影像作为待训练的高光谱影像,并进行预处理。其具体步骤如下:
(1)从高光谱遥感影像的每类地物中按比例选取样本S和标签L,作为待训练的高光谱遥感影像样本,该样本数据为三维数据,尺寸大小为(w,w,c),标签尺寸大小为(w,w),其中w、c分别表示高光谱影像的窗口大小、波段数;
(2)将待训练的高光谱遥感影像样本S转化为二维数据,尺寸大小为(w×w,c),此时每一行代表一个训练样本、每一列代表不同波段,标签L同样转变为w×w行的一维向量;然后通过标准归一化操作,将训练样本数据转换为符合均值为0,标准差为1的标准正态分布数据,其归一化公式如下:
第二步,生成对抗网络的构建和训练:对生成对抗网络进行构建设定,然后将预处理后的高光谱遥感影像输入生成对抗网络中进行训练,得到训练后的生成对抗网络。其具体步骤如下:
(1)利用生成器G和判别器D构建生成对抗网络,其中G和D分别设置了四层全连接网络,每层节点数为512、批大小为256、学习率为5e-5,并使用LeakyReLU作为非线性激活函数,利用交叉熵损失函数分别计算生成器G和判别器D的误差,并采用RMSprop优化算法来对G和D进行优化。
(2)将尺寸为(256,n)的初始噪声信号z输入到生成器中,得到经生成器生成尺寸为(256,c)的合成样本,其中n和c分别代表服从标准正态分布的噪声量和波段数,n设置为100,生成器G的优化目标公式表示如下:
其中,G(z)为生成器生成的假样本,D代表判别器输出的概率值,log表示对数运算,E为加权平均,pz(z)代表随机噪声z的分布,TG为生成器的目标函数。
(3)将待训练的真实高光谱遥感影像和新生成的合成样本输入判别器D中,得到输入数据被判别为真实数据的概率,判别器D的优化目标公式表示如下:
其中,x为输入的真实训练样本,pdata(x)为真是样本的分布,TD为判别器的目标函数。
(4)将待训练的高光谱数据及地物标签输入到生成对抗网络后,先固定G的参数不变,对D进行有监督分类,以致于使D更好的判断真假样本;其次,固定D的参数不变,对G进行训练,按D判断的损失来对G的参数将信息更新;不断重复上述过程,直至迭代10000次,得到训练好的生成对抗网络。
第三步,扩充训练样本的获得。
利用训练后的生成对抗网络生成新的待训练高光谱影像,并对新的高光谱影像和预处理后的高光谱影像进行主成分分析降维后合并,得到样本扩充后的待训练高光谱影像。其具体步骤如下:
(1)将尺寸大小为(w,w,c)的待训练高光谱遥感影像进行Reshape操作,转化为二维待训练样本数据,尺寸大小为(w×w,c),其中,w和c分别代表窗口大小与原始高光谱数据的波段数。
(2)将每个待训练样本轮流输入训练后的生成对抗网络中,并且将尺寸大小为(256,100)的随机初始噪声输入训练后的生成对抗网络中,对于每个尺寸为(1,c)的待训练样本,经过训练后的生成对抗网络将随机初始噪声转化为新的合成样本,合成样本的尺寸大小为(1,c),并且合成样本的数据分布符合输入的待训练样本数据的分布。最终,得到全部新的合成样本,其尺寸大小为(w×w,c),经过Reshape操作,得到尺寸大小为(w,w,c)新的高光谱影像。
(3)利用主成分分析法对新的高光谱影像和预处理后的高光谱影像进行主成分分析降维,降维后的高光谱影像尺寸大小均为(w,w,d),其中,d为经过主成分分析法降维后的维数,得到降维后的新的高光谱影像X1与预处理后的高光谱影像。
(4)将降维后的高光谱影像X1与X2进行联合操作,得到样本扩充后的待训练高光谱影像,其尺寸大小为[X1;X2],随后输入MSRA网络中训练分类模型。
第四步,构建多尺度残差注意力网络。以3D多尺度残差注意力模块与2D多尺度残差注意力模块为基础,建立具有多尺度特征提取能力的多尺度残差注意力网络。
高光谱遥感影像包含丰富的空间信息和光谱信息,但用于训练数据有限,导致分类模型分类性能较弱。但对于卷积神经网络来说,网络中的任何一个参数都可能对生成的特征图产生影响。对于不同分辨率、不同地物分布特点的高光谱遥感影像,不同尺度、不同抽象级别的特征都可能对分类结果有着重要影响,而单一固定的卷积核尺度学到的特征通常是特定的,不利于特征的学习。
因此,在有限训练样本下充分提取不同尺度的高光谱影像中空谱信息就显得至关重要。本发明采用3D卷积及2D卷积,建立了3D多尺度模块与2D多尺度模块,分别在3D和2D上设置3×3×3、5×5×5、7×7×7和3×3、5×5、7×7多尺度卷积核来获取输入影像的不同尺度特征。通过使用3D多尺度模块与2D多尺度模块分别着重提取高光谱影像中不同尺度的空谱特征和空间特征,并且使用1×1×1与1×1的卷积核对不同尺度特征进行特征融合,增强了网络的信息流,缓解了有限样本下特征提取不充分的问题。
与此同时,为了取得良好的分类效果,网络必须具有提取深度层次抽象特征的能力,但由于网络结构的加深,容易产生梯度消失的现象,产生网络退化问题。因此,解决网络退化的问题,本发明引入残差连接使较高层次中的梯度快速传播回较低层次,从而建立3D多尺度残差注意力模块与2D多尺度残差注意力模块,加深网络的同时,能够同时不断连续提取更多更深层次具有区别性的空谱特征,提高分类精度。
此外,本发明针对深层神经网络的计算效率、训练时间、准确率和简化超参数调优难度等问题上,充分考虑了各参数对分类精度的影响,并且采用BN和Dropout防止过拟合现象的发生,减少了训练参数量,使得分类模型更快收敛。其具体步骤如下:
(1)搭建3D卷积神经网络模型,并创建3D多尺度特征提取模块。根据不同通道的重要性程度赋予不同权重,抑制不重要的通道信息。3D多尺度特征提取模块包含三个分支,每个分支上分别设置大小为3×3×3、3×3×5、3×3×7的卷积核,通道数均为k,然后串联所有尺度下的输出特征映射图;最后,再使用1×1×1的卷积核进行特征融合操作,得到3D融合特征;
将通道注意力模块引入3D多尺度特征提取模块中创建3D多尺度注意力模块,根据不同通道的重要性程度,重新分配通道维度的权重信息,实现对提升网络性能的通道特征进行加强,其中,通道注意力模块计算过程如下:
其中,CAF代表通道注意力图,F3D表示3D输入特征图,δ与δ′分别表示sigmoid和relu激活函数,SN代表共享网络,其包含二层3D卷积层和一层relu激活层,W0与W1为共享网络的权重,和分别表示3D全局平均池化和3D全局最大池化处理后的特征描述符;
将生成的通道注意力图CAF与原3D输入特征图相乘,对各个通道赋予不同的权重,实现对各通道重要性的修正,用数学公式表示为:
(2)搭建2D卷积神经网络模型,并创建2D多尺度注意力模块,其中,2D多尺度特征提取模块包含三个分支,每个分支上分别设置大小为3×3、5×5、7×7的卷积核,通道数均为2k,然后串联所有尺度下的输出特征映射图。最后,再使用1×1的卷积核进行特征融合操作,得到2D融合特征;
将空间注意力模块引入2D多尺度特征提取模块中创建2D多尺度注意力模块,实现在空间维度上对显著性区域信息进行加强,其中,空间注意力模块计算过程如下:
将空间注意力图SAF与原2D输入特征图相乘,得到空间细化后的特征图,用数学公式表示为:
(3)将残差连接引入3D多尺度注意力模块与2D多尺度注意力模块,创建3D多尺度注意力残差模块与2D多尺度注意力残差模块,以缓解梯度消失的现象,残差连接的计算公式如下:
Xl=H(Xl-1)+H*(Xl-1),l∈N+,
其中,Xl-1和Xl分别代表第l层的输入和输出,H与H*代表隐藏层,H*由平均池化层和Conv3D-BN-ReLU层组成。
(4)设定多尺度残差注意力网络由3D多尺度注意力残差模块与2D多尺度注意力残差模块构成;
首先,采用卷积核大小为a×a×a,通道数为k的3D卷积对输入数据(w×w×d)进行空谱特征提取,得到特征数据尺寸为(w×w×d,k),其中w,w,d分别代表输入的高光谱遥感数据宽度、高度和光谱维度,随后将得到的特征数据输入到3D多尺度注意力残差模块中进行更深层次的学习,得到尺寸为(w×w×d1,k)的输出数据;
然后,采用卷积核大小为a1×a1×a1,通道数为2k的3D卷积对3D多尺度注意力残差模块的输出数据进行特征提取,得到输出尺寸为(w×w×d2,2k)的特征图,并使用Reshape操作,将特征图尺寸转换为(w×w,2k×d2);
其次,将经过Reshape操作后的特征图输入到2D多尺度注意力残差模块中进行进一步的学习;
最后,经过二层Dense网络,并使用Softmax函数得到分类结果,得到构建好的多尺度残差注意力网络。
第五步,多尺度残差注意力网络的训练:将样本扩充后的待训练高光谱影像输入多尺度残差注意力网络进行训练,得到训练后的多尺度残差注意力网络。
训练样本的数量是影响卷积神经网络模型性能的关键因素之一,影响着分类模型的分类结果,而从高光谱影像中收集大量的带标签训练样本是一项具有挑战性的工作。
因此,针对高光谱影像在少量带标签训练样本下分类精度较低的问题,本发明采用GANs生成高质量的合成样本,从而达到扩充训练数据集的目的,使用扩充数据集训练多尺度残差注意力网络,一定程度上提高了模型的分类性能及泛化能力。其具体步骤如下:
(1)将降维后的待训练扩充高光谱影像作为多尺度残差注意力网络的训练数据集,其每个样本大小为(w,w,d)的3D立方体。
(2)将3D立方体样本经过卷积核为1×1×1,通道数为k的Conv3D-BN-ReLU层,使训练样本的尺寸变为(w×w×d,k);然后通过3D多尺度特征提取模块,提取不同尺度下的空谱特征,得到融合特征,其大小为(w×w×d1,k)。
(3)在3D多尺度特征提取模块后设立通道注意力模块,对于输入的融合特征图得到经通道注意力模块修正后的输出特征图然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接;最后经过卷积核为3×3×3,通道数为2k,步长为(2,2,1)的Conv3D-BN-ReLU层,得到尺寸为(w×w×d2,2k)输出的特征图。
(4)将得到的输出特征图进行Reshape操作,尺寸转变为(w×w,2k×d2);然后通过2D多尺度特征提取模块,提取不同尺度下的空谱特征得到融合特征,其大小为(w1×w1,2k)。
(5)在2D多尺度特征提取模块后设立空间注意力模块,对于输入的融合特征图得到经通道注意力模块修正后的输出特征图然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接;最后经过卷积核为3×3,通道数为2k的Conv3D-BN-ReLU层,得到尺寸为(w1×w1,2k)输出的特征图。
(6)将得到的输出特征图进行Flatten展开操作,尺寸大小转变为(1×(w1×w1×2k));然后经过二层Dense网络,并且每层Dense网络连接Dropout层;最后通过带有Softmax函数的全连接层得到分类结果。
(7)利用反向传播机制对网络参数进行更新,使用分类交叉熵损失函数并且使用Adam优化网络模型,损失函数表达式如下:
其中,∑为求和操作,log为取对数操作,Loss(Y,Y′)表示为预测值与真实值间的误差损失,Yi={y1,y2,...,ym}代表真实标签向量,Yi′={y′1,y′1,...,y′m}表示预测标签向量,m为样本数,n为高光谱影像地物类别数。
(8)将扩充后的待训练数据集输入到多尺度注意力残差网络中进行训练,提取用于高光谱遥感影像分类的多尺度上下文信息,并且在通道维及空间维上对不同特征分配不同的权重,自动地选择性学习高光谱图像中的特征,得到训练后的多尺度注意力残差网络。选择性学习高光谱图像中的特征,很好的克服了在有限样本下分类精度不高的问题。
第六步,待分类高光谱遥感影像的获取:获取待分类的高光谱遥感影像并进行预处理。
第七步,高光谱遥感影像分类结果的获得:将预处理后的待分类高光谱遥感影像输入训练后的多尺度残差注意力网络,得到高光谱遥感影像分类结果。
下面结合仿真实验对本发明的效果做进一步的说明:
1.仿真实验条件:
本发明实验的计算机硬件环境为Intel Corei5-7300HQ,CPU 2.50GHz,GPU采用GTX1050Ti,RAM 8GB,软件环境为Windows10(64)位操作系统,编译环境为Spyder,深度学习框架选用Pytorch。后续所有的训练和测试实验都基于该平台。
为了验证所提出的用于HSI分类的MSRA-G方法的有效性,使用了三个公开并且广泛使用的HSI数据集:Indian Pines(IP),University of Pavia(UP),Salinas Valley(SV)。三组数据集的详细信息如表1所示,假彩色影像及地物真实值分别如图2、图3和图4所示。
表1不同数据集的详细信息表
另外,本文采用基于混淆矩阵的总体精度(Overall Accuracy,OA)、平均精度(Average Accuracy,AA)和Kappa系数作为评价指标。
2.仿真实验内容及结果分析:
实施例一:
为了验证本发明所提出方法中不同参数设置对分类精度的影响,将重点分析MSRA-G方法影响模型分类效果的几个因素,主要有降维维数d、输入样本窗口大小w、学习率大小lr。批量大小统一为64,迭代200次,并且使用10次实验分类精度的平均值作为实验结果。
图5为本发明所示所述分类方法MSRA-G在不同维数d下对分类精度的影响。从图5可以观察到,不同的降维维d使OA表现不同,基本上呈现先增后减的趋势。对于IP数据集,当d为14时,OA达到最高值,随后OA值基本稳定。而UP和SA数据集在d为12时,达到最好的分类效果,继续增加维数d,OA值上下波动,但波动不大。因此,为了在分类精度和计算成本之间取得平衡,对于IP、UP和SV数据集,d分别取14、12、12。
图6为本发明所示所述分类方法MSRA-G在不同窗口大小w下对分类精度的影响。从图6可以看出,随着w的增大,OA值开始增长的很快,三个数据集均增长1%左右。当w达到17时,UP数据集拥有最高的OA值,随后精度开始降低。对于IP和SV数据集,当w达到21时,OA值达到最高。考虑以上情况,UP数据集选择w大小为17的数据块训练网络,IP和SV的w大小选择21的输入块。
图7为本发明所示所述分类方法MSRA-G在不同学习率lr下对分类精度的影响。从图7可以观察到,随着学习率的减小,三组数据集的OA值整体呈现先增加后减少的趋势。当学习率lr为0.001时,三组数据集的OA值均达到最大OA值,并且分类精度更加稳定。
实施例二:为了进一步验证本文算法的性能,本实施例使用IP、UP、SV三种数据集进行验证,分别从每类地物中随机选取5%、1%、0.5%作为训练样本集,其余作为测试样本集。并且使用REF-SVM、3D-CNN、MSDN、HybridSN、SSRN和R-HybridSN六种高光谱图像分类方法作为对比实验对象,分类结果取十次实验结果的均值,并记录下标准差,从而验证MSRA-G方法的分类性能。
表2不同的分类方法在IP数据集上的分类精度对比表
对图2所示的IP高光谱图像进行分类,本发明提出的MSRA-G分类方法使用使用GANs生成合成样本,达到了扩充数据集的目的。然后使用扩充样本输入MSRA网络中进行分类,其中,维数d为14,lr设为0.001,w设为21×21。不同的分类方法在IP数据集上的分类精度如表2所示,分类结果图如图8所示。由表2可以看出,对于IP数据集,本文提出的MSRA-G分类方法具有最高的OA、AA和Kappa,分别达到97.35%、95.81%和97.00%。由于类样本数量不平衡,比如Alfalfa和Grass-pasture-mowed样本量很少,传统的REF-SVM的分类精度不太理想,而基于深度学习的3D-CNN方法一定程度上提高了分类精度,显示出处理小样本数据的分类优势,本文方法将这两种地物的分类精度提升至92%以上。本文提出的MSRA-G采用GANs网络扩充训练数据集,缓解了数据不平衡问题,同时采用多尺度残差注意力模块充分提取空谱特征,在8种地物分类上达到最高精度,与R-HybridSN相比,OA、AA和Kappa分别提高了0.92%、2.79%和1.96%,并且分类结果更加稳定。由图8可以看出,MSRA-G方法错误分类像素更少,整体表现最好。
表3不同的分类方法在UP数据集上的分类精度对比表
对图3所示的UP高光谱图像进行分类,本发明提出的MSRA-G分类方法设置d为12,w设为17×17,lr设为0.001。不同的分类方法在UP数据集上的分类精度如表3所示,分类结果图如图9所示。由表3可以看出,对于UP数据集,本发明提出的MSRA-G方法分类性能更好,OA,AA和Kappa,分别达到98.72%、97.89%和98.30%。本发明提出的MSRA-G方法在5种类的分类准确性达到最高,且所有类别的准确度至少为95%以上。虽然不能在每一类中达到最好,但在只有13个训练样本的Bitumen(7)类上,也能表现得更好,其他方法则在这类上分类表现欠佳。对于Gravel(3)和Self-Blocking Bricks(8)类,其它方法的的精度不足94%,甚至更低,但MSRA-G方法可以达到95%以上的精度。与R-HybridSN相比,所提出的MSRA-G方法在OA、AA和Kappa方面的表现仍然更好。同时从图9可以看出,在同一类像素中,噪声像素更少,空间连续性更强。
表4不同的分类方法在SV数据集上的分类精度对比表
对图4所示的SV高光谱图像进行分类,本发明提出的MSRA-G分类方法设置d为12,w设为21×21,lr设为0.001。不同的分类方法在SV数据集上的分类精度如表4所示,分类结果图如图10所示。由表4可以看出,对于SV数据集,本发明提出的MSRA-G分类方法具有最好的性能,OA、AA和Kappa分别达到98.72%、98.94%和98.58%。另外,本发明提出的MSRA-G模型在所有类别中都表现良好,尤其在其中9个种类上达到最高精度。与HybridSN方法相比,MSRA-G在三种分类指标上均有不同程度的提升,OA、AA和Kappa分别提升了1.48%、1.84%和1.42%。同时从图10可以看出,MSRA-G的分类图更加平滑,整体表现更好。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (5)
1.一种高光谱遥感影像分类方法,其特征在于,包括以下步骤:
11)高光谱遥感影像的获取和预处理:获取高光谱遥感影像作为待训练的高光谱影像,并进行预处理;
12)生成对抗网络的构建和训练:对生成对抗网络进行构建设定,然后将预处理后的高光谱遥感影像输入生成对抗网络中进行训练,得到训练后的生成对抗网络;
13)扩充训练样本的获得:利用训练后的生成对抗网络生成新的待训练高光谱影像,并对新的高光谱影像和预处理后的高光谱影像进行主成分分析降维后合并,得到样本扩充后的待训练高光谱影像;
14)构建多尺度残差注意力网络:以3D多尺度残差注意力模块与2D多尺度残差注意力模块为基础,建立具有多尺度特征提取能力的多尺度残差注意力网络;
15)多尺度残差注意力网络的训练:将样本扩充后的待训练高光谱影像输入多尺度残差注意力网络进行训练,得到训练后的多尺度残差注意力网络;
16)待分类高光谱遥感影像的获取:获取待分类的高光谱遥感影像并进行预处理;
17)高光谱遥感影像分类结果的获得:将预处理后的待分类高光谱遥感影像输入训练后的多尺度残差注意力网络,得到高光谱遥感影像分类结果。
2.根据权利要求1所述的一种高光谱遥感影像分类方法,其特征在于,所述高光谱遥感影像的获取和预处理包括以下步骤:
21)从高光谱遥感影像的每类地物中按比例选取样本S和标签L,作为待训练的高光谱遥感影像样本,该样本数据为三维数据,尺寸大小为(w,w,c),标签尺寸大小为(w,w),其中w、c分别表示高光谱影像的窗口大小、波段数;
22)将待训练的高光谱遥感影像样本S转化为二维数据,尺寸大小为(w×w,c),此时每一行代表一个训练样本、每一列代表不同波段,标签L同样转变为w×w行的一维向量;然后通过标准归一化操作,将训练样本数据转换为符合均值为0,标准差为1的标准正态分布数据,其归一化公式如下:
3.根据权利要求1所述的一种高光谱遥感影像分类方法,其特征在于,所述生成对抗网络的构建和训练包括以下步骤:
31)利用生成器G和判别器D构建生成对抗网络,其中G和D分别设置了四层全连接网络,每层节点数为512、批大小为256、学习率为5e-5,并使用LeakyReLU作为非线性激活函数,利用交叉熵损失函数分别计算生成器G和判别器D的误差,并采用RMSprop优化算法来对G和D进行优化;
32)将尺寸为(256,n)的初始噪声信号z输入到生成器中,得到经生成器生成尺寸为(256,c)的合成样本,其中n和c分别代表服从标准正态分布的噪声量和波段数,n设置为100,生成器G的优化目标公式表示如下:
其中,G(z)为生成器生成的假样本,D代表判别器输出的概率值,log表示对数运算,E为加权平均,pz(z)代表随机噪声z的分布,TG为生成器的目标函数;
33)将待训练的真实高光谱遥感影像和新生成的合成样本输入判别器D中,得到输入数据被判别为真实数据的概率,判别器D的优化目标公式表示如下:
其中,x为输入的真实训练样本,pdata(x)为真是样本的分布,TD为判别器的目标函数;
34)将待训练的高光谱数据及地物标签输入到生成对抗网络后,先固定G的参数不变,对D进行有监督分类,以致于使D更好的判断真假样本;其次,固定D的参数不变,对G进行训练,按D判断的损失来对G的参数将信息更新;不断重复上述过程,直至迭代10000次,得到训练好的生成对抗网络。
4.根据权利要求1所述的一种高光谱遥感影像分类方法,其特征在于,所述构建多尺度残差注意力网络包括以下步骤:
41)搭建3D卷积神经网络模型,并创建3D多尺度特征提取模块,其中,3D多尺度特征提取模块包含三个分支,每个分支上分别设置大小为3×3×3、3×3×5、3×3×7的卷积核,通道数均为k,然后串联所有尺度下的输出特征映射图;最后,再使用1×1×1的卷积核进行特征融合操作,得到3D融合特征;
将通道注意力模块引入3D多尺度特征提取模块中创建3D多尺度注意力模块,根据不同通道的重要性程度,重新分配通道维度的权重信息,实现对提升网络性能的通道特征进行加强,其中,通道注意力模块计算过程如下:
其中,CAF代表通道注意力图,F3D表示3D输入特征图,δ与δ′分别表示sigmoid和relu激活函数,SN代表共享网络,其包含二层3D卷积层和一层relu激活层,W0与W1为共享网络的权重,和分别表示3D全局平均池化和3D全局最大池化处理后的特征描述符;
将生成的通道注意力图CAF与原3D输入特征图相乘,对各个通道赋予不同的权重,实现对各通道重要性的修正,用数学公式表示为:
42)搭建2D卷积神经网络模型,并创建2D多尺度注意力模块,其中,2D多尺度特征提取模块包含三个分支,每个分支上分别设置大小为3×3、5×5、7×7的卷积核,通道数均为2k,然后串联所有尺度下的输出特征映射图;最后,再使用1×1的卷积核进行特征融合操作,得到2D融合特征;
将空间注意力模块引入2D多尺度特征提取模块中创建2D多尺度注意力模块,实现在空间维度上对显著性区域信息进行加强,其中,空间注意力模块计算过程如下:
将空间注意力图SAF与原2D输入特征图相乘,得到空间细化后的特征图,用数学公式表示为:
43)将残差连接引入3D多尺度注意力模块与2D多尺度注意力模块,创建3D多尺度注意力残差模块与2D多尺度注意力残差模块,以缓解梯度消失的现象,残差连接的计算公式如下:
Xl=H(Xl-1)+H*(Xl-1),l∈N+,
其中,Xl-1和Xl分别代表第l层的输入和输出,H与H*代表隐藏层,H*由平均池化层和Conv3D-BN-ReLU层组成;
44)设定多尺度残差注意力网络由3D多尺度注意力残差模块与2D多尺度注意力残差模块构成;
首先,采用卷积核大小为a×a×a,通道数为k的3D卷积对输入数据(w×w×d)进行空谱特征提取,得到特征数据尺寸为(w×w×d,k),其中w,w,d分别代表输入的高光谱遥感数据宽度、高度和光谱维度,随后将得到的特征数据输入到3D多尺度注意力残差模块中进行更深层次的学习,得到尺寸为(w×w×d1,k)的输出数据;
然后,采用卷积核大小为a1×a1×a1,通道数为2k的3D卷积对3D多尺度注意力残差模块的输出数据进行特征提取,得到输出尺寸为(w×w×d2,2k)的特征图,并使用Reshape操作,将特征图尺寸转换为(w×w,2k×d2);
其次,将经过Reshape操作后的特征图输入到2D多尺度注意力残差模块中进行进一步的学习;
最后,经过二层Dense网络,并使用Softmax函数得到分类结果,得到构建好的多尺度残差注意力网络。
5.根据权利要求1所述的一种高光谱遥感影像分类方法,其特征在于,所述多尺度残差注意力网络的训练包括以下步骤:
51)将降维后的待训练扩充高光谱影像作为多尺度残差注意力网络的训练数据集,其每个样本大小为(w,w,d)的3D立方体;
52)将3D立方体样本经过卷积核为1×1×1,通道数为k的Conv3D-BN-ReLU层,使训练样本的尺寸变为(w×w×d,k);然后通过3D多尺度特征提取模块,提取不同尺度下的空谱特征,得到融合特征,其大小为(w×w×d1,k);
53)在3D多尺度特征提取模块后设立通道注意力模块,对于输入的融合特征图得到经通道注意力模块修正后的输出特征图然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接;最后经过卷积核为3×3×3,通道数为2k,步长为(2,2,1)的Conv3D-BN-ReLU层,得到尺寸为(w×w×d2,2k)输出的特征图;
54)将得到的输出特征图进行Reshape操作,尺寸转变为(w×w,2k×d2);然后通过2D多尺度特征提取模块,提取不同尺度下的空谱特征得到融合特征,其大小为(w1×w1,2k);
55)在2D多尺度特征提取模块后设立空间注意力模块,对于输入的融合特征图得到经通道注意力模块修正后的输出特征图然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接;最后经过卷积核为3×3,通道数为2k的Conv3D-BN-ReLU层,得到尺寸为(w1×w1,2k)输出的特征图;
56)将得到的输出特征图进行Flatten展开操作,尺寸大小转变为(1×(w1×w1×2k));然后经过二层Dense网络,并且每层Dense网络连接Dropout层;最后通过带有Softmax函数的全连接层得到分类结果;
57)利用反向传播机制对网络参数进行更新,使用分类交叉熵损失函数并且使用Adam优化网络模型,损失函数表达式如下:
其中,∑为求和操作,log为取对数操作,Loss(Y,Y′)表示为预测值与真实值间的误差损失,Yi={y1,y2,...,ym}代表真实标签向量,Yi′={y′1,y′1,...,y′m}表示预测标签向量,m为样本数,n为高光谱影像地物类别数;
58)将扩充后的待训练数据集输入到多尺度注意力残差网络中进行训练,提取用于高光谱遥感影像分类的多尺度上下文信息,并且在通道维及空间维上对不同特征分配不同的权重,自动地选择性学习高光谱图像中的特征,得到训练后的多尺度注意力残差网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111041936.5A CN113705526B (zh) | 2021-09-07 | 2021-09-07 | 一种高光谱遥感影像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111041936.5A CN113705526B (zh) | 2021-09-07 | 2021-09-07 | 一种高光谱遥感影像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113705526A true CN113705526A (zh) | 2021-11-26 |
CN113705526B CN113705526B (zh) | 2022-03-04 |
Family
ID=78660738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111041936.5A Active CN113705526B (zh) | 2021-09-07 | 2021-09-07 | 一种高光谱遥感影像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113705526B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092832A (zh) * | 2022-01-20 | 2022-02-25 | 武汉大学 | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 |
CN114565858A (zh) * | 2022-02-25 | 2022-05-31 | 辽宁师范大学 | 基于地理空间感知低秩重建网络的多光谱影像变化检测方法 |
CN114663779A (zh) * | 2022-03-25 | 2022-06-24 | 辽宁师范大学 | 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法 |
CN114821164A (zh) * | 2022-04-13 | 2022-07-29 | 北京工业大学 | 基于孪生网络的高光谱图像分类方法 |
CN114998725A (zh) * | 2022-05-17 | 2022-09-02 | 北京理工大学 | 基于自适应空谱注意力核生成网络的高光谱图像分类方法 |
CN115754107A (zh) * | 2022-11-08 | 2023-03-07 | 福建省龙德新能源有限公司 | 用于六氟磷酸锂制备的自动化采样分析系统及其方法 |
CN115965953A (zh) * | 2023-01-04 | 2023-04-14 | 哈尔滨工业大学 | 基于高光谱成像与深度学习的粮种品种分类方法 |
CN115984635A (zh) * | 2023-03-21 | 2023-04-18 | 自然资源部第一海洋研究所 | 多源遥感数据分类模型训练方法、分类方法和电子设备 |
CN116188774A (zh) * | 2022-12-13 | 2023-05-30 | 湖南大学 | 高光谱图像实例分割方法及建筑实例分割方法 |
CN116503669A (zh) * | 2023-05-22 | 2023-07-28 | 齐鲁工业大学(山东省科学院) | 轻量化层间多尺度密集网络的高光谱遥感图像分类方法 |
CN116563639A (zh) * | 2023-05-24 | 2023-08-08 | 齐鲁工业大学(山东省科学院) | 一种轻量化多尺度密集网络高光谱遥感图像分类方法 |
CN116630700A (zh) * | 2023-05-22 | 2023-08-22 | 齐鲁工业大学(山东省科学院) | 基于引入通道-空间注意力机制的遥感图像分类方法 |
CN117292274A (zh) * | 2023-11-22 | 2023-12-26 | 成都信息工程大学 | 基于深度语义字典零次学习的高光谱湿地图像分类方法 |
CN117893816A (zh) * | 2024-01-18 | 2024-04-16 | 安徽大学 | 一种分层次残差光谱空间卷积网络的高光谱图像分类方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934282A (zh) * | 2019-03-08 | 2019-06-25 | 哈尔滨工程大学 | 一种基于sagan样本扩充和辅助信息的sar目标分类方法 |
CN111008652A (zh) * | 2019-11-15 | 2020-04-14 | 河海大学 | 一种基于gan的高光谱遥感影像分类方法 |
CN111353463A (zh) * | 2020-03-12 | 2020-06-30 | 北京工业大学 | 基于随机深度残差网络的高光谱图像分类方法 |
CN111428762A (zh) * | 2020-03-12 | 2020-07-17 | 武汉大学 | 联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法 |
CN111428678A (zh) * | 2020-04-02 | 2020-07-17 | 山东卓元数据技术有限公司 | 一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法 |
CN112287978A (zh) * | 2020-10-07 | 2021-01-29 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
CN112836773A (zh) * | 2021-04-08 | 2021-05-25 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
US20210215818A1 (en) * | 2020-01-14 | 2021-07-15 | Raytheon Company | Generative adversarial network-based target identification |
-
2021
- 2021-09-07 CN CN202111041936.5A patent/CN113705526B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934282A (zh) * | 2019-03-08 | 2019-06-25 | 哈尔滨工程大学 | 一种基于sagan样本扩充和辅助信息的sar目标分类方法 |
CN111008652A (zh) * | 2019-11-15 | 2020-04-14 | 河海大学 | 一种基于gan的高光谱遥感影像分类方法 |
US20210215818A1 (en) * | 2020-01-14 | 2021-07-15 | Raytheon Company | Generative adversarial network-based target identification |
CN111353463A (zh) * | 2020-03-12 | 2020-06-30 | 北京工业大学 | 基于随机深度残差网络的高光谱图像分类方法 |
CN111428762A (zh) * | 2020-03-12 | 2020-07-17 | 武汉大学 | 联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法 |
CN111428678A (zh) * | 2020-04-02 | 2020-07-17 | 山东卓元数据技术有限公司 | 一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法 |
CN112287978A (zh) * | 2020-10-07 | 2021-01-29 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
CN112836773A (zh) * | 2021-04-08 | 2021-05-25 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
Non-Patent Citations (2)
Title |
---|
LAILA B.等: "Generative Adversarial Networks for Cross-Scene Classification in Remote Sensing Images", 《IGARSS 2018 - 2018 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 * |
余帅 等: "含多级通道注意力机制的CGAN遥感图像建筑物分割", 《中国图象图形学报》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092832A (zh) * | 2022-01-20 | 2022-02-25 | 武汉大学 | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 |
CN114092832B (zh) * | 2022-01-20 | 2022-04-15 | 武汉大学 | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 |
CN114565858A (zh) * | 2022-02-25 | 2022-05-31 | 辽宁师范大学 | 基于地理空间感知低秩重建网络的多光谱影像变化检测方法 |
CN114565858B (zh) * | 2022-02-25 | 2024-04-05 | 辽宁师范大学 | 基于地理空间感知低秩重建网络的多光谱影像变化检测方法 |
CN114663779A (zh) * | 2022-03-25 | 2022-06-24 | 辽宁师范大学 | 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法 |
CN114821164A (zh) * | 2022-04-13 | 2022-07-29 | 北京工业大学 | 基于孪生网络的高光谱图像分类方法 |
CN114821164B (zh) * | 2022-04-13 | 2024-06-14 | 北京工业大学 | 基于孪生网络的高光谱图像分类方法 |
CN114998725A (zh) * | 2022-05-17 | 2022-09-02 | 北京理工大学 | 基于自适应空谱注意力核生成网络的高光谱图像分类方法 |
CN115754107A (zh) * | 2022-11-08 | 2023-03-07 | 福建省龙德新能源有限公司 | 用于六氟磷酸锂制备的自动化采样分析系统及其方法 |
CN116188774A (zh) * | 2022-12-13 | 2023-05-30 | 湖南大学 | 高光谱图像实例分割方法及建筑实例分割方法 |
CN116188774B (zh) * | 2022-12-13 | 2024-03-22 | 湖南大学 | 高光谱图像实例分割方法及建筑实例分割方法 |
CN115965953A (zh) * | 2023-01-04 | 2023-04-14 | 哈尔滨工业大学 | 基于高光谱成像与深度学习的粮种品种分类方法 |
CN115965953B (zh) * | 2023-01-04 | 2023-08-22 | 哈尔滨工业大学 | 基于高光谱成像与深度学习的粮种品种分类方法 |
CN115984635A (zh) * | 2023-03-21 | 2023-04-18 | 自然资源部第一海洋研究所 | 多源遥感数据分类模型训练方法、分类方法和电子设备 |
CN116503669A (zh) * | 2023-05-22 | 2023-07-28 | 齐鲁工业大学(山东省科学院) | 轻量化层间多尺度密集网络的高光谱遥感图像分类方法 |
CN116630700A (zh) * | 2023-05-22 | 2023-08-22 | 齐鲁工业大学(山东省科学院) | 基于引入通道-空间注意力机制的遥感图像分类方法 |
CN116563639A (zh) * | 2023-05-24 | 2023-08-08 | 齐鲁工业大学(山东省科学院) | 一种轻量化多尺度密集网络高光谱遥感图像分类方法 |
CN117292274B (zh) * | 2023-11-22 | 2024-01-30 | 成都信息工程大学 | 基于深度语义字典零次学习的高光谱湿地图像分类方法 |
CN117292274A (zh) * | 2023-11-22 | 2023-12-26 | 成都信息工程大学 | 基于深度语义字典零次学习的高光谱湿地图像分类方法 |
CN117893816A (zh) * | 2024-01-18 | 2024-04-16 | 安徽大学 | 一种分层次残差光谱空间卷积网络的高光谱图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113705526B (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113705526B (zh) | 一种高光谱遥感影像分类方法 | |
CN113011499B (zh) | 一种基于双注意力机制的高光谱遥感图像分类方法 | |
CN109948693B (zh) | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 | |
CN111259930B (zh) | 自适应注意力指导机制的一般性目标检测方法 | |
CN112784881B (zh) | 网络异常流量检测方法、模型及系统 | |
CN111353463B (zh) | 基于随机深度残差网络的高光谱图像分类方法 | |
CN110414377B (zh) | 一种基于尺度注意力网络的遥感图像场景分类方法 | |
CN111242071B (zh) | 一种基于锚框的注意力遥感图像目标检测方法 | |
CN111914728B (zh) | 高光谱遥感影像半监督分类方法、装置及存储介质 | |
CN104732244B (zh) | 基于小波变换、多策略pso和svm集成的遥感图像分类方法 | |
CN103366189B (zh) | 一种高光谱遥感图像的智能化分类方法 | |
CN115564996A (zh) | 一种基于注意力联合网络的高光谱遥感图像分类方法 | |
Ge et al. | Adaptive hash attention and lower triangular network for hyperspectral image classification | |
CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
CN107423705A (zh) | 基于多层概率统计模型的sar图像目标识别方法 | |
CN110689044A (zh) | 一种结合目标间关系的目标检测方法及系统 | |
CN116012722A (zh) | 一种遥感影像场景分类方法 | |
CN113344077A (zh) | 一种基于卷积胶囊网络结构的抗噪茄科病害识别方法 | |
CN112560824B (zh) | 一种基于多特征自适应融合的人脸表情识别方法 | |
CN113869454A (zh) | 一种基于快速嵌入式谱分析的高光谱图像稀疏特征选择方法 | |
CN114373092A (zh) | 一种基于拼图排列学习的渐进式训练细粒度视觉分类方法 | |
Zhang et al. | A review of small target detection based on deep learning | |
CN115830401A (zh) | 一种小样本图像分类方法 | |
CN114120050A (zh) | 地表生态数据提取方法及装置、设备和存储介质 | |
CN113723482A (zh) | 基于多示例孪生网络的高光谱目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |