CN112580480A - 一种高光谱遥感影像分类方法及装置 - Google Patents
一种高光谱遥感影像分类方法及装置 Download PDFInfo
- Publication number
- CN112580480A CN112580480A CN202011466272.2A CN202011466272A CN112580480A CN 112580480 A CN112580480 A CN 112580480A CN 202011466272 A CN202011466272 A CN 202011466272A CN 112580480 A CN112580480 A CN 112580480A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- hyperspectral remote
- attention
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003595 spectral effect Effects 0.000 claims abstract description 26
- 238000001228 spectrum Methods 0.000 claims abstract description 15
- 230000009467 reduction Effects 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 18
- 238000000513 principal component analysis Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 19
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 8
- 235000011613 Pinus brutia Nutrition 0.000 description 8
- 241000018646 Pinus brutia Species 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 241001466077 Salina Species 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 241000488988 Monotropa Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000507627 Salana Species 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种高光谱遥感影像分类方法及装置。本发明提供的方法包括以下步骤：首先使用一个卷积层获取丰富的浅层特征；然后经过双通道注意力依次在光谱和空间上学习注意力权重为高光谱遥感影像赋注意力权重，放大有用的信息，抑制无用的信息，使得数据区分度更大；最后经过赋权的3D数据块作为稠密残差网络的输入提取光谱‑空间特征进行分类。注意力模块充分考虑了高光谱遥感影像的特点，依次学习光谱注意力和空间注意力并依次为高光谱遥感影像赋注意力权重，因此有利于后续稠密残差网络提取具有区分度的光谱‑空间特征。
Description
技术领域
本发明涉及高光谱遥感影像处理技术，特别是涉及一种高光谱遥感影像分类方法及装置。
背景技术
由成像光谱仪捕获的高光谱遥感影像，每个像素点都具有上百个波段，地物获得了“身份标签”一样的具有某种特征的连续光谱曲线，根据光谱曲线的特征差异我们可以对高光谱遥感影像实现像素级别的分类。高光谱遥感影像分类在生态科学、地质科学、矿物学、水文科学、精准农业、及军事应用等领域上有着广泛的应用，具有研究的理论意义与应用价值，高光谱遥感影像分类大多是基于机器学习的，例如K-means聚类、期望值最大化(EM)、支持向量机(SVM)等等。随着理论和技术的发展，深度学习逐渐被应用到遥感领域，高光谱分类技术也取得了极大的突破。传统的高光谱遥感影像分类方法大多只是利用了一维光谱信息，仍然无法有效利用高光谱遥感影像的丰富信息，技术研究到了瓶颈阶段。
在最近的研究中，卷积神经网络、深度置信网络、堆栈自编码网络、循环神经网络等深度网络模型已经广泛应用于高光谱遥感影像分类领域。人类视觉系统能够快速检测场景中的显著区域，模拟这一人类感官提出了注意力机制。目前注意力机制已经广泛应用于计算机视觉，例如识别、检测、分割、追踪等任务。深度学习与注意力机制的结合大多是使用掩码分支来实现注意力的，它通过学习需要关注的区域，突出关键特征，弱化相对无用的特征。Chen等人发表的论文“Deep Feature Extraction and Classification ofHyperspectral Images Based on Convolutional Neural Networks”(IEEETransactions on Geoence&Remote Sensing,2016,54(10):6232-6251)提出了1D-CNN与2D-CNN分别提取光谱特征和空间特征分类；Roy等人发表的论文“HybridSN:Exploring 3-D–2-D CNN Feature Hierarchy for Hyperspectral Image Classification”(IEEEGeoscience and Remote Sensing Letters,2020,17(2):277-281)提出了一种2D-CNN与3D-CNN联合的分类方法HybridSN；Song等人发表的论文“Hyperspectral ImageClassification With Deep Feature Fusion Network”(IEEE Transactions onGeoscience and Remote Sensing,2018:1-12)提出了一种多层特征融合的分类方法DFFN；Zhong等人发表的论文“Spectral–Spatial Residual Network for Hyperspectral ImageClassification:A3-D Deep Learning Framework”(IEEE Transactions on Geoscienceand Remote Sensing,2017,56(2):847–858)提出一种基于残差网络的3D-CNN分类方法SSRN；Zhu等人发表的论文“Residual Spectral-Spatial Attention Network forHyperspectral Image Classification”(IEEE Transactions on Geoscience andRemote Sensing,2020)和Sun等人发表的论文“Spectral–Spatial Attention Networkfor Hyperspectral Image Classification”(IEEE Transactions on Geoscience andRemote Sensing,2020,58(5):3232-3245)基于注意力机制分别提出了RSSAN和SSAN。与传统的特征提取方法相比，基于深度学习的模型能够主动学习深层次特征，模型的泛化能力更强。
然而，随着深度学习模型深度加深，退化问题和梯度消失或爆炸问题却难以避免。在使用深度网络提取深度特征分类时，出现精度下降问题。
发明内容
本发明目的是提供一种高光谱遥感影像分类方法及装置，能够解决现有技术中存在的加深网络深度致使“精度下降”的技术问题。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种高光谱遥感影像分类方法，包括以下步骤：
步骤S1：输入原始高光谱遥感影像A∈RH×W×B，其中，H表示高光谱遥感影像的高，W表示高光谱遥感影像的宽，B表示高光谱遥感影像的原始波段数目，RH×W×B表示大小为H×W×B的实数集，并将所述原始高光谱遥感影像进行归一化处理，得到归一化高光谱遥感影像；
步骤S2：通过主成分分析方法(PCA)对所述归一化高光谱遥感影像进行降维处理得到降维后高光谱遥感影像数据A*∈RH×W×N，其中，N表示降维后高光谱遥感影像的波段数目，RH×W×N表示大小为H×W×N的实数集；
步骤S3：对所述降维后高光谱遥感影像数据以分类像素点为中心选取带空间信息的3D数据块P∈RS×S×N作为输入，S为空间尺寸大小，经过卷积层得到具有浅层特征的高光谱遥感影像，RS×S×N表示大小为S×S×N的实数集；
步骤S4：对所述浅层特征经注意力模块学习光谱注意力权重Se和空间注意力权重Sa，并依次对所述初步处理高光谱遥感影像数据赋权，获得赋权后的高光谱遥感影像；
步骤S5：将所述赋权后的高光谱遥感影像通过稠密残差网络提取光谱-空间特征；
步骤S6：将所述光谱-空间特征降维，获得降维后的光谱-空间特征；
步骤S7：对所述降维后的光谱-空间特征进行分类，获得分类假彩色图和分类精度。
进一步的，所述步骤S4中，对所述浅层特征经注意力模块依次学习光谱注意力权重Se和空间注意力权重Sa，并依次对所述初步处理高光谱遥感影像数据赋权，获得赋权后的高光谱遥感影像的方法具体如下步骤：首先将所述步骤S3得到的具有浅层特征的高光谱遥感影像通过光谱注意力模块学习光谱注意力权重Se∈R1×1×N，并为其赋权，获得初步赋权高光谱遥感影像；其中，光谱注意力模块的卷积层数为三层，光谱注意力的学习过程如下：
u1＝GAP(P) (1)
u2＝CONVs(P) (2)
Se＝σ(u1+u2) (3)
GAP(·)表示全局平均池化函数(Global Average Pooling)，CONVs(·)表示多层卷积操作，σ(·)表示Sigmoid函数；
将得到的初步赋权高光谱遥感影像经空间注意力模块学习空间注意力权重Sa∈RS ×S×1，再次赋权，获得赋权后的高光谱遥感影像；其中，空间注意力模块的卷积层数为两层，空间注意力的学习过程如下：
v1＝MAXP(Q) (4)
v2＝CONV(Q) (5)
u1＝CONV(v1；v2) (6)
u2＝CONV(u1) (7)
Sa＝σ(u2) (8)
MXAP(·)表示全局最大池化函数(Global Max Pooling)，CONV(·)表示卷积操作，σ(·)表示Sigmoid函数。
进一步的，所述步骤S3中采用的卷积核大小为3×3×3。
进一步的，所述步骤S5中的稠密残差网络包括多个稠密卷积块，所述稠密卷积块可以根据硬件设备条件以任意个数嵌入所述稠密残差网络。
进一步的，所述步骤S5中稠密残差网络包括至少三个稠密卷积块构成，相邻的每两个DCB形成残差连接；其中，所述稠密卷积块包括三层分别采用3×3×1、1×1×3和3×3×3卷积核的卷积层；第i-1层的输出特征图与第i层的输出特征图融合作为第i+1层的输入特征图，每一层的输出特征影响其后两层，i为卷积层编号。
进一步的，所述步骤S6采用的卷积核大小为1×1×1。
进一步的，所述步骤S7中，采用两层全连接层和Softmax层构成的分类器对光谱-空间特征进行分类。
进一步的，所述卷积层(CONV)都采用批量归一化函数(BN)与ReLU函数。
第二方面，本发明提供了一种高光谱遥感影像分类装置，所述装置包括：
归一化模块：输入原始高光谱遥感影像A∈RH×W×B，其中，H表示高光谱遥感影像的高，W表示高光谱遥感影像的宽，B表示高光谱遥感影像的原始波段数目，RH×W×B表示大小为H×W×B的实数集，并将所述原始高光谱遥感影像进行归一化处理，得到归一化高光谱遥感影像；
降维模块：用于通过主成分分析方法(PCA)对所述归一化高光谱遥感影像进行降维处理得到降维后高光谱遥感影像数据A*∈RH×W×N，其中，N表示降维后高光谱遥感影像的波段数目；
浅层特征提取模块：用于对所述降维后高光谱遥感影像数据以分类像素点为中心选取带空间信息的3D数据块P∈RS×S×N作为输入，S为空间尺寸大小，经过卷积层提取得到具有浅层特征的高光谱遥感影像；
注意力模块：用于对所述浅层特征经注意力模块学习光谱注意力权重Se和空间注意力权重Sa，并依次对所述初步处理高光谱遥感影像数据赋权，获得赋权后的高光谱遥感影像；
稠密残差网络模块：用于将所述赋权后的高光谱遥感影像通过稠密残差网络提取光谱-空间特征；
特征降维模块：用于将所述光谱-空间特征降维，获得降维后的光谱-空间特征；
分类模块：用于对所述降维后的光谱-空间特征进行分类，获得分类假彩色图和分类精度。
第三方面，本发明提供一种高光谱遥感影像分类装置，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明公开了一种基于注意力和稠密残差网络(ADRN)的高光谱遥感影像分类方法，首先使用一个卷积层获取丰富的浅层特征；然后经过双通道注意力依次在光谱和空间上学习注意力权重为高光谱遥感影像赋注意力权重，放大有用的信息，抑制无用的信息，使得数据区分度更大；最后经过赋权的3D数据块作为稠密残差网络的输入提取光谱-空间特征进行分类；注意力模块充分考虑了高光谱遥感影像的特点，依次学习光谱注意力和空间注意力并依次为高光谱遥感影像赋注意力权重，因此有利于后续稠密残差网络提取具有区分度的光谱-空间特征；在稠密残差网络中，稠密连接使得特征图复用，提高通道利用率，减少信息损失；残差连接使得网络可以根据硬件条件以任意深度提取抽象的特征，缓解梯度消失或梯度爆炸和退化问题，使得加深网络深度仍然可以得到更好的精度。
附图说明
图1为本发明具体实施方式中方法的流程图；
图2为本发明具体实施方式中光谱注意力模块的结构示意图；
图3为本发明具体实施方式中空间注意力模块的结构示意图
图4为本发明具体实施方式中稠密卷积块(DCB)的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
本实施例公开了一种高光谱遥感影像分类方法，该方法是基于注意力和稠密残差网络(ADRN)的高光谱遥感影像分类方法，如图1所示，包括以下步骤：
步骤S1：输入原始高光谱遥感影像A∈RH×W×B，其中，H表示高光谱遥感影像的高，W表示高光谱遥感影像的宽，B表示高光谱遥感影像的原始波段数目，RH×W×B表示大小为H×W×B的实数集，并将所述原始高光谱遥感影像进行归一化处理，得到归一化高光谱遥感影像；
步骤S2：通过主成分分析方法(PCA)对所述归一化高光谱遥感影像进行降维处理得到降维后高光谱遥感影像数据A*∈RH×W×N，其中，N表示降维后高光谱遥感影像的波段数目；
步骤S3：对所述降维后高光谱遥感影像数据以分类像素点为中心选取带空间信息的3D数据块P∈RS×S×N作为输入，其中，N表示降维后高光谱遥感影像的波段数目，S为空间尺寸大小，经过卷积层提取得到具有浅层特征的高光谱遥感影像；
步骤S4：对步骤S3得到的浅层特征经注意力模块学习光谱注意力权重Se和空间注意力权重Sa，并依次对具有浅层特征的高光谱遥感影像赋权，具体如下：
步骤S4.1：首先步骤S3得到的具有浅层特征的高光谱遥感影像经过光谱注意力单元学习光谱注意力权重Se∈R1×1×N，并为其赋权；其中，光谱注意力模块的卷积层数为三层，光谱注意力的学习过程如下：
u1＝GAP(P) (1)
u2＝CONVs(P) (2)
Se＝σ(u1+u2) (3)
GAP(·)表示全局平均池化函数(Global Average Pooling)，CONVs(·)表示多层卷积操作，σ(·)表示Sigmoid函数。
步骤S4.2：将步骤S4.1得到的高光谱遥感影像经空间注意力模块学习空间注意力权重Sa∈RS×S×1，再次赋权；其中，空间注意力模块的卷积层数为两层，空间注意力的学习过程如下：
v1＝MAXP(Q) (4)
v2＝CONV(Q) (5)
u1＝CONV(v1；v2) (6)
u2＝CONV(u1) (7)
Sa＝σ(u2) (8)
MXAP(·)表示全局最大池化函数(Global Max Pooling)，CONV(·)表示卷积操作，σ(·)表示Sigmoid函数。
步骤S5：将步骤S4得到的高光谱遥感影像经稠密残差网络(DRN)提取光谱-空间特征；
步骤S6：将步骤S5所得的光谱-空间特征降维，获得降维后的光谱-空间特征；
步骤S7：对步骤S6得到的光谱-空间特征进行分类。
所述步骤S3采用的卷积核大小为3×3×3。
所述步骤S4中注意力模块由光谱注意力单元和空间注意力单元构成，步骤S3得到的高光谱遥感影像依次学习注意力权重和赋权。
所述步骤S5中稠密残差网络(DRN)由数个稠密卷积块(DCB)构成，第i-2个DCB的输出特征图与第i个DCB的输出特征图相加形成残差连接。其中，DCB由三层分别采用3×3×1、1×1×3和3×3×3卷积核的卷积层构成；第i-1层的输出特征图与第i层的输出特征图融合作为第i+1层的输入特征图，每一层的输出特征影响其后两层。
所述步骤S5中稠密卷积块(DCB)是构成稠密残差网络(DRN)的基本模块，它可以根据硬件设备条件以任意个数嵌入网络。
所述步骤S6采用的卷积核大小为1×1×1。
所述步骤S7中，采用两层全连接层和Softmax层构成的分类器对光谱-空间特征进行分类。
所述步骤中卷积层(CONV)皆采用批量归一化函数(BN)与ReLU函数。
为验证本方法，采用Indian Pines、University of Pavia和Salinas Valley三种高光谱数据进行训练和测试，分别选取40、26、40个波段，即通过主成分分析方法(PCA)对所述归一化高光谱遥感影像进行降维处理得到降维后高光谱遥感影像数据A*∈RH×W×N，其中，降维后高光谱遥感影像的波段数目N分别为40、26和40。实验中稠密残差网络(DRN)由5个稠密卷积块(DCB)构成；实验的评估参数分别是整体精度(OA)、平均类别精度(AA)、卡帕系数Kappa(κ)。
Indian Pines成像于1992年，由美国机载可视红外光谱仪(AVIRIS)成像，是最早用于高光谱分类测试的遥感影像，该影像将地表覆盖物分为16类，用于农业研究。IndianPines高光谱遥感影像剔除20个噪声波段后共有200个波段可用于研究，空间大小为145×145，空间分辨率为20m，较容易产生混合像元，光谱范围为0.4～2.5μm。表1列出了该影像的地物类别情况。
表1 Indian Pines高光谱数据地物类别情况
University of Pavia高光谱遥感影像成像于2003年，成像区域为意大利的帕维亚城，采用的设备是德国的机载反射光学光谱成像仪，共有115个波段。该影像将地表覆盖物分为9类，剔除12个噪声波段后共有103个波段可用于研究，空间大小为610×340，空间分辨率为1.3m，光谱范围为0.43～0.86μm。表2列出了该影像的地物类别情况。
表2 University of Pavia高光谱数据地物类别情况
Salinas高光谱遥感影像同样采用美国机载可视红外光谱仪(AVIRIS)成像，共有224个波段，成像区域位于美国加利福尼亚州的Salinas山谷。该影像将地表覆盖物分为16类，剔除20个噪声波段后共有204个波段可用于研究，空间大小为512×127，空间分辨率为3.7m。表3列出了该影像的地物类别情况。
表3 Salinas高光谱数据地物类别情况
为了评估本发明提出的分类方法的性能，表4、表5和表6分别是本发明提出的方法(ADRN)训练和测试数据集Indian Pines、University of Pavia和Salinas Valley的实验结果与一些研究者们提出的方法的比较。
表4 Indian Pines分类与其它方法的对比情况
表5 University of Pavia分类与其它方法的对比情况
表6 Salinas Valley分类与其它方法的对比情况
与1D-CNN、2D-CNN相比：1D-CNN仅提取光谱特征分类，2D-CNN仅提取空间信息分类，而3D-CNN则利用三维卷积核同时提取光谱特征和空间特征，获得更凝练、更抽象的分类特征。1D-CNN依靠光谱特征分类相对于传统的机器学习方法有很大的提升，但与2D-CNN相比，由于波段之间的强相关性和光谱特征单一，限制提高分类精度。2D-CNN使用27×27大小的邻域，与1D-CNN相比，只需少量的训练样本就可以获得较高的分类准确率，尤其是对于Indian Pines来说。本文提出的ADRN利用3D-CNN提取光谱-空间特征，通过残差结构可以训练深度网络，获得更抽象的特征，使分类特征更易于区分。如表4、表5、表6所示，ADRN与1D-CNN和2D-CNN相比，OA、AA和Kappa系数有了很大的提高。
与HybridSN相比：ADRN用很少的空间邻域信息，就能在Indian Pines和University of Pavia数据集上进行的实验得到了比HybridSN更高的精度。但是，如果ADRN使用较大空间尺寸的输入(例如，s＝11)，ADRN在这三个数据集上的分类精度均高于HybridSN。进一步说明空间信息对高光谱遥感影像分类是非常重要的，它可以丰富分类特征，突破分类瓶颈。
与DFFN、SSRN相比：对于Indian Pines、University of Pavia和Salinas Valley三个数据集，DFFN模型分别使用了25、31、25层卷积，而本文实验中ADRN仅用了16层卷积。与DFFN、SSRN相比，ADRN在Indian Pines和University of Pavia数据集获得了更高的精度。同样地，ADRN使用较大空间尺寸的输入也能获得高分类准确率。观察各类别分类正确率，我们发现在Indian Pines数据集上，ADRN各类别分类正确率均高于95％，而DFFN第16类分类正确率仅87.47％，DFFN各类别分类正确率偏差为3.09％，ADRN各类别分类正确率为1.73％。观察三个数据集上分类结果的偏差，我们发现ADRN有更低的偏差，说明较DFFN和SSRN，ADRN的预测能力更加稳定。
与RSSAN、SSAN相比：RSSAN、SSAN网络中均多次使用了注意力模块，而ADRN仅用一次注意力模块，由表4、5和6可以看出ADRN模型表现更好。
总之，与1D-CNN、2D-CNN、HybridSN、DFFN、SSRN、RSSAN、SSAN相比，ADRN具有更强的表现力，具体表现在OA、AA和Kappa系数上。观察各类分类精度和评估参数的偏差，我们发现，较其他方法ADRN的偏差普遍较低，模型稳健性较强。
实施例二：
本实施例提供一种高光谱遥感影像分类装置，所述装置包括：
归一化模块：输入原始高光谱遥感影像A∈RH×W×B，其中，H表示高光谱遥感影像的高，W表示高光谱遥感影像的宽，B表示高光谱遥感影像的原始波段数目，RH×W×B表示大小为H×W×B的实数集，并将所述原始高光谱遥感影像进行归一化处理，得到归一化高光谱遥感影像；
降维模块：用于通过主成分分析方法(PCA)对所述归一化高光谱遥感影像进行降维处理得到降维后高光谱遥感影像数据A*∈RH×W×N，其中，N表示降维后高光谱遥感影像的波段数目；
浅层特征提取模块：用于对所述降维后高光谱遥感影像数据以分类像素点为中心选取带空间信息的3D数据块P∈RS×S×N作为输入，S为空间尺寸大小，经过卷积层提取得到具有浅层特征的高光谱遥感影像；
注意力模块：用于对所述浅层特征经注意力模块学习光谱注意力权重Se和空间注意力权重Sa，并依次对所述初步处理高光谱遥感影像数据赋权，获得赋权后的高光谱遥感影像；
稠密残差网络模块：用于将所述赋权后的高光谱遥感影像通过稠密残差网络提取光谱-空间特征；
特征降维模块：用于将所述光谱-空间特征降维，获得降维后的光谱-空间特征；
分类模块：用于对所述降维后的光谱-空间特征进行分类，获得分类假彩色图和分类精度。
实施例三：
本发明实施例还提供了一种高光谱遥感影像分类装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
步骤S1：输入原始高光谱遥感影像A∈RH×W×B，其中，H表示高光谱遥感影像的高，W表示高光谱遥感影像的宽，B表示高光谱遥感影像的原始波段数目，RH×W×B表示大小为H×W×B的实数集，并将所述原始高光谱遥感影像进行归一化处理，得到归一化高光谱遥感影像；
步骤S2：通过主成分分析方法(PCA)对所述归一化高光谱遥感影像进行降维处理得到降维后高光谱遥感影像数据A*∈RH×W×N，其中，N表示降维后高光谱遥感影像的波段数目；
步骤S3：对所述降维后高光谱遥感影像数据以分类像素点为中心选取带空间信息的3D数据块P∈RS×S×N作为输入，其中，N表示降维后高光谱遥感影像的波段数目，S为空间尺寸大小，经过卷积层提取得到具有浅层特征的高光谱遥感影像；
步骤S4：对所述浅层特征经注意力模块学习光谱注意力权重Se和空间注意力权重Sa，并依次对具有浅层特征的高光谱遥感影像数据赋权，获得赋权后的高光谱遥感影像；
步骤S5：将所述赋权后的高光谱遥感影像通过稠密残差网络提取光谱-空间特征；
步骤S6：将所述光谱-空间特征降维，获得降维后的光谱-空间特征；
步骤S7：对所述降维后的光谱-空间特征进行分类，获得分类假彩色图和分类精度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种高光谱遥感影像分类方法，其特征在于：包括以下步骤：
步骤S1：输入原始高光谱遥感影像A∈RH×W×B，其中，H表示高光谱遥感影像的高，W表示高光谱遥感影像的宽，B表示高光谱遥感影像的原始波段数目，RH×W×B表示大小为H×W×B的实数集，并将所述原始高光谱遥感影像进行归一化处理，得到归一化高光谱遥感影像；
步骤S2：通过主成分分析方法(PCA)对所述归一化高光谱遥感影像高光谱遥感影像进行降维处理得到降维后高光谱遥感影像数据A*∈RH×W×N，其中，N表示降维后高光谱遥感影像的波段数目，RH×W×N表示大小为H×W×N的实数集；
步骤S3：对所述降维后高光谱遥感影像数据以分类像素点为中心选取带空间信息的3D数据块P∈RS×S×N作为输入，经过卷积层提取得到具有浅层特征的高光谱遥感影像，其中，N表示降维后高光谱遥感影像的波段数目，S为空间尺寸大小，RS×S×N表示大小为S×S×N的实数集；
步骤S4：对所述浅层特征经注意力模块学习光谱注意力权重Se和空间注意力权重Sa，并依次对具有浅层特征的高光谱遥感影像数据赋权，获得赋权后的高光谱遥感影像；
步骤S5：将所述赋权后的高光谱遥感影像通过稠密残差网络提取光谱-空间特征；
步骤S6：将所述光谱-空间特征降维，获得降维后的光谱-空间特征；
步骤S7：对所述降维后的光谱-空间特征进行分类，获得分类假彩色图和分类精度。
2.根据权利要求1所述的高光谱遥感影像分类方法，其特征在于：所述步骤S4中，对所述浅层特征经注意力模块学习光谱注意力权重Se和空间注意力权重Sa，并依次对所述初步处理高光谱遥感影像数据赋权，获得赋权后的高光谱遥感影像的方法具体如下步骤：
首先将所述步骤S3得到的具有浅层特征的高光谱遥感影像通过光谱注意力模块学习光谱注意力权重Se∈R1×1×N，并为其赋权，获得初步赋权高光谱遥感影像；其中，光谱注意力模块的卷积层数为三层，光谱注意力的学习过程如下：
u1＝GAP(P) (1)
u2＝CONVs(P) (2)
Se＝σ(u1+u2) (3)
GAP(·)表示全局平均池化函数(Global Average Pooling)，CONVs(·)表示多层卷积操作，σ(·)表示Sigmoid函数；Se为光谱注意力权重，其中，P∈RS×S×N为光谱注意力模块的输入，u1为全局平均池化后的特征图，u2为三层卷积后的特征图。
将得到的初步赋权高光谱遥感影像经空间注意力模块学习空间注意力权重Sa∈RS×S×1，再次赋权，获得赋权后的高光谱遥感影像；其中，空间注意力模块的卷积层数为两层，空间注意力的学习过程如下：
v1＝MAXP(Q) (4)
v2＝CONV(Q) (5)
u1＝CONV(v1；v2) (6)
u2＝CONV(u1) (7)
Sa＝σ(u2) (8)
MAXP(·)表示全局最大池化函数(Global Max Pooling)，CONV(·)表示卷积操作，σ(·)表示Sigmoid函数，Sa为空间注意力权重，Q∈RS×S×N为空间注意力模块的输入，v1为全局最大池化后的特征图，v2为一层卷积后的特征图，其中v1与v2在光谱维拼接为一个特征图。
3.根据权利要求1所述的高光谱遥感影像分类方法，其特征在于：所述步骤S3中采用的卷积核大小为3×3×3。
4.根据权利要求1所述的高光谱遥感影像分类方法，其特征在于：所述步骤S5中的稠密残差网络包括多个稠密卷积块，所述稠密卷积块可以根据硬件设备条件以任意个数嵌入所述稠密残差网络。
5.根据权利要求4所述的高光谱遥感影像分类方法，其特征在于：所述步骤S5中稠密残差网络包括至少三个稠密卷积块构成，相邻的每两个DCB形成残差连接；其中，所述稠密卷积块包括三层分别采用3×3×1、1×1×3和3×3×3卷积核的卷积层；每一层的输出特征影响其后两层。
6.根据权利要求1所述的高光谱遥感影像分类方法，其特征在于：所述步骤S6采用的卷积核大小为1×1×1。
7.根据权利要求1所述的高光谱遥感影像分类方法，其特征在于：所述步骤S7中，采用两层全连接层和Softmax层构成的分类器对光谱-空间特征进行分类。
8.根据权利要求1所述的高光谱遥感影像分类方法，其特征在于：所述卷积层(CONV)都采用批量归一化函数(BN)与ReLU函数。
9.一种高光谱遥感影像分类装置，其特征在于，所述装置包括：
归一化模块：输入原始高光谱遥感影像A∈RH×W×B，其中，H表示高光谱遥感影像的高，W表示高光谱遥感影像的宽，B表示高光谱遥感影像的原始波段数目，RH×W×B表示大小为H×W×B的实数集，并将所述原始高光谱遥感影像进行归一化处理，得到归一化高光谱遥感影像；
降维模块：用于通过主成分分析方法(PCA)对所述归一化高光谱遥感影像进行降维处理得到降维后高光谱遥感影像数据A*∈RH×W×N，其中，N表示降维后高光谱遥感影像的波段数目；
浅层特征提取模块：用于对所述降维后高光谱遥感影像数据以分类像素点为中心选取带空间信息的3D数据块P∈RS×S×N作为输入，S为空间尺寸大小，经过卷积层提取得到具有浅层特征的高光谱遥感影像；
注意力模块：用于对所述浅层特征经注意力模块学习光谱注意力权重Se和空间注意力权重Sa，并依次对所述初步处理高光谱遥感影像数据赋权，获得赋权后的高光谱遥感影像；
稠密残差网络模块：用于将所述赋权后的高光谱遥感影像通过稠密残差网络提取光谱-空间特征；
特征降维模块：用于将所述光谱-空间特征降维，获得降维后的光谱-空间特征；
分类模块：用于对所述降维后的光谱-空间特征进行分类，获得分类假彩色图和分类精度。
10.一种高光谱遥感影像分类装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011466272.2A CN112580480B (zh) | 2020-12-14 | 2020-12-14 | 一种高光谱遥感影像分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011466272.2A CN112580480B (zh) | 2020-12-14 | 2020-12-14 | 一种高光谱遥感影像分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580480A true CN112580480A (zh) | 2021-03-30 |
| CN112580480B CN112580480B (zh) | 2024-03-26 |
Family
ID=75134778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011466272.2A Active CN112580480B (zh) | 2020-12-14 | 2020-12-14 | 一种高光谱遥感影像分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580480B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836773A (zh) * | 2021-04-08 | 2021-05-25 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
| CN113111834A (zh) * | 2021-04-23 | 2021-07-13 | 大连海事大学 | 一种基于注意力的全局局部光谱权重的波段选择方法 |
| CN113284102A (zh) * | 2021-05-14 | 2021-08-20 | 国网新源张家口风光储示范电站有限公司 | 一种基于无人机的风机叶片损伤智能检测方法及装置 |
| CN113920323A (zh) * | 2021-11-18 | 2022-01-11 | 西安电子科技大学 | 基于语义图注意力网络的不同混乱度高光谱图像分类方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268195A1 (en) * | 2016-01-27 | 2018-09-20 | Shenzhen University | Gabor cube feature selection-based classification method and system for hyperspectral remote sensing images |
| CN110210313A (zh) * | 2019-05-06 | 2019-09-06 | 河海大学 | 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 |
| CN110569884A (zh) * | 2019-08-16 | 2019-12-13 | 河海大学 | 基于深度学习和形态学的高光谱遥感影像分类方法 |
| CN111274869A (zh) * | 2020-01-07 | 2020-06-12 | 中国地质大学（武汉） | 基于并行注意力机制残差网进行高光谱图像分类的方法 |
| CN111914907A (zh) * | 2020-07-13 | 2020-11-10 | 河海大学 | 一种基于深度学习空谱联合网络的高光谱图像分类方法 |
-
2020
- 2020-12-14 CN CN202011466272.2A patent/CN112580480B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268195A1 (en) * | 2016-01-27 | 2018-09-20 | Shenzhen University | Gabor cube feature selection-based classification method and system for hyperspectral remote sensing images |
| CN110210313A (zh) * | 2019-05-06 | 2019-09-06 | 河海大学 | 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 |
| CN110569884A (zh) * | 2019-08-16 | 2019-12-13 | 河海大学 | 基于深度学习和形态学的高光谱遥感影像分类方法 |
| CN111274869A (zh) * | 2020-01-07 | 2020-06-12 | 中国地质大学（武汉） | 基于并行注意力机制残差网进行高光谱图像分类的方法 |
| CN111914907A (zh) * | 2020-07-13 | 2020-11-10 | 河海大学 | 一种基于深度学习空谱联合网络的高光谱图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 魏祥坡 等: "利用残差通道注意力网络的高光谱图像分类", 测绘科学技术学报, 30 April 2019 (2019-04-30) * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836773A (zh) * | 2021-04-08 | 2021-05-25 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
| CN112836773B (zh) * | 2021-04-08 | 2022-09-02 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
| CN113111834A (zh) * | 2021-04-23 | 2021-07-13 | 大连海事大学 | 一种基于注意力的全局局部光谱权重的波段选择方法 |
| CN113111834B (zh) * | 2021-04-23 | 2024-04-05 | 大连海事大学 | 一种基于注意力的全局局部光谱权重的波段选择方法 |
| CN113284102A (zh) * | 2021-05-14 | 2021-08-20 | 国网新源张家口风光储示范电站有限公司 | 一种基于无人机的风机叶片损伤智能检测方法及装置 |
| CN113284102B (zh) * | 2021-05-14 | 2022-11-01 | 国网新源张家口风光储示范电站有限公司 | 一种基于无人机的风机叶片损伤智能检测方法及装置 |
| CN113920323A (zh) * | 2021-11-18 | 2022-01-11 | 西安电子科技大学 | 基于语义图注意力网络的不同混乱度高光谱图像分类方法 |
| CN113920323B (zh) * | 2021-11-18 | 2023-04-07 | 西安电子科技大学 | 基于语义图注意力网络的不同混乱度高光谱图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580480B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
| Li et al. | Deep multilayer fusion dense network for hyperspectral image classification | |
| CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| Tokuda et al. | Computer generated images vs. digital photographs: A synergetic feature and classifier combination approach | |
| Khan et al. | SD-Net: Understanding overcrowded scenes in real-time via an efficient dilated convolutional neural network | |
| Rao et al. | Multi-semantic CRF-based attention model for image forgery detection and localization | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| Faria et al. | Fusion of time series representations for plant recognition in phenology studies | |
| CN113361495A (zh) | 人脸图像相似度的计算方法、装置、设备及存储介质 | |
| Nguyen et al. | Satellite image classification using convolutional learning | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| Gan et al. | Class-oriented weighted kernel sparse representation with region-level kernel for hyperspectral imagery classification | |
| Larabi et al. | High-resolution optical remote sensing imagery change detection through deep transfer learning | |
| Devi et al. | Feature extraction and object detection using fast-convolutional neural network for remote sensing satellite image | |
| CN115240072A (zh) | 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法 | |
| CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
| Wang et al. | MashFormer: A novel multiscale aware hybrid detector for remote sensing object detection | |
| CN117115675A (zh) | 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质 | |
| CN113343953B (zh) | 一种用于遥感场景识别的fgr-am方法和系统 | |
| Menaka et al. | Classification of multispectral satellite images using sparse SVM classifier | |
| Fan et al. | Attention-modulated triplet network for face sketch recognition | |
| Kumar et al. | ResUNet: an automated deep learning model for image splicing localization | |
| Liu et al. | Weather recognition of street scene based on sparse deep neural networks | |
| Lin et al. | DBN-based classification of spatial-spectral hyperspectral data | |
| Dixit et al. | Logo based document image retrieval using singular value decomposition features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |