CN111914907A - 一种基于深度学习空谱联合网络的高光谱图像分类方法 - Google Patents
一种基于深度学习空谱联合网络的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN111914907A CN111914907A CN202010667743.XA CN202010667743A CN111914907A CN 111914907 A CN111914907 A CN 111914907A CN 202010667743 A CN202010667743 A CN 202010667743A CN 111914907 A CN111914907 A CN 111914907A
- Authority
- CN
- China
- Prior art keywords
- network
- spectral
- layer
- input
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000001228 spectrum Methods 0.000 title claims abstract description 25
- 230000003595 spectral effect Effects 0.000 claims abstract description 66
- 238000011176 pooling Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims 4
- 239000011800 void material Substances 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 7
- 230000007787 long-term memory Effects 0.000 abstract description 3
- 230000006403 short-term memory Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 3
- 235000011613 Pinus brutia Nutrition 0.000 description 3
- 241000018646 Pinus brutia Species 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习空谱联合网络的高光谱图像分类方法，首先，对原始高光谱图像进行数据划分，而后利用少量标签数据训练基于深度学习空谱联合网络，输入的高光谱原始图像将会被带有注意力机制的双向长短时记忆模型和1D空洞卷积神经网络同时做光谱维特征提取处理，得到最终的光谱特征图；输入图像经过数据归一化处理，而后进行PCA降维，提取输入特征，并将输入特征送入多尺度多层次滤波器卷积网络中提取空间特征，再经由全局平均池化层处理，得到最终的空间特征图；最后结合已训练好的网络参数进行分类。本发明将光谱维特征与空间特征分开处理，能获得更为丰富有效的光谱特征图及更为丰富的特征表达，分类精度得到进一步提升。
Description
技术领域
本发明属于遥感图像处理领域，具体涉及一种基于深度学习空谱联合网络的高光谱图像分类方法。
背景技术
高光谱遥感图像可以从上百条连续的光谱波段中提取地物信息，这使得其拥有强大的对地目标区分能力。在过去的几十年里，高光谱图像在军事目标探测、海洋监测、灾害防治等方面均发挥了重要作用。但高光谱图像的识别与分类始终是高光谱图像分析的一个关键问题，它对高光谱遥感技术的推进与发展起着非常重要的作用，因此，研究高效实用的HIS分类方法，对充分挖掘高光谱遥感技术的应用潜力具有重要意义。
迄今为止，研究者已经提出非常多的方法将高光谱图像的像元划分为特定的土地覆盖类。在早期的分类方法中，诸如k临近分类器和支持向量机等光谱分类器被广泛使用。为了更好的应对高光谱图像复杂的空间分布和光谱分布，诸如马尔可夫随机场等光谱空间分类方法被提出。但是这些方法大多属于浅层模型，这种模型中的非线性变换层数不足以表示高光谱图像复杂的空间和光谱特征，泛化能力较弱。同时，由于其往往基于手工特征，高度依赖个人经验。
为了克服这些缺点，深度学习被引入高光谱分类中，它可以自动的从原始输入数据中由低到高的学习层次特征，进而充分挖掘高光谱图像中更具代表性的显著特征。这种端到端的学习策略极大的促进了高光谱图像分类算法的性能，如Mou等人提出一种基于跳跃结构的深度网络分别处理空间特征与光谱特征，而Zhang等人则利用残差网络，连续的对光谱特征和空间特征进行学习。但前者做了波段选择，这导致特征大量丢失，且光谱维中的上下文连续信息也会被破坏，而后者则无法完整的提取整条光谱信息，且二者均仅采用了卷积神经网络提取特征，该网络对局部相关特征提取有着突出优势，但无法提取完整特征信息。如何利用深度学习算法提取出更丰富高效的空谱判别特征，仍有很大的研究空间。
发明内容
发明目的：为了解决上述问题，本发明提供一种基于深度学习空谱联合网络的高光谱图像分类方法，将光谱维特征与空间特征分开处理，能获得更为丰富有效的光谱特征图及更为丰富的特征表达，分类精度得到进一步提升。
技术方案：本发明所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，包括如下步骤：
(1)对原始高光谱图像进行数据划分，划分为训练集和测试集；
(2)利用训练集数据训练深度学习空谱联合网络；所述深度学习空谱联合网络由带有注意力机制的双向长短时记忆网络、1D空洞卷积神经网络和多层次多尺度滤波器卷积网络三个网络共同构成；所述带有注意力机制的双向长短时记忆网络和1D空洞卷积神经网络同时对输入的训练集数据以单个像素点为向量，做光谱维特征提取处理，并将提取到的特征图拼接在一起，得到最终的光谱特征图；所述多层次多尺度滤波器卷积网络负责处理输入训练数据空间域上的特征信息，在对输入训练集数据进行归一化处理后在作PCA降维，并以待分类像元和以待分类像元为中心的一定邻域范围内的特征块作为输入特征，将此输入特征送入多层次多尺度滤波器卷积网络中提取空间特征，经由全局平均池化层处理，得到最终的空间特征图；
(3)将光谱特征图和空间特征图进行拼接，并交由全连接融合所有特征至1维，再传递给softmax函数进行分类。
进一步地，所述训练集和测试集的比例为1:9。
进一步地，步骤(2)所述经注意力机制的双向长短时记忆网络提取光谱特征图的过程如下：
以原始高光谱输入图像单个像素点为单位，将其分解为一组光谱序列，并建立Bi-LSTM模型；向Bi-LSTM模型中逐个输入光谱序列，分别学习输入数据的正反向连续特征信息；将正反向判别特征进行融合，得到输出光谱波段特征；利用tanh激活函数重新排列Bi-LSTM，得到新隐藏层状态，利用Softmax函数，计算每个光谱波段相应的权值，将权值与输出光谱波段特征进行计算，得到最终的输出样本。
进一步地，步骤(2)所述经1D空洞卷积神经网络提取光谱特征图的过程如下：
利用滤波器长度为3，空洞率为2的空洞卷积模型，在光谱维数据中做特征提取，其步长为1，每次提取特征间均间隔一个空洞，2次选取后所提取特征共计为6个波段单元；所提取到的特征图由全连接层(FC)映射到样本标记空间。
5、根据权利要求1所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，步骤(2)所述多尺度多层次滤波器卷积网络提取空间特征图过程如下：
对划分后的高光谱图像输入数据采用最大最小归一化；采用PCA算法降维，提取包含信息量最多的前三个波段；对经过PCA降维后的输入数据提取以待分类像元为中心的26邻域像素和待分类像元，共计27个像素向量，作为输入特征，并统计出标记样本的总个数；构建多层次多尺度滤波器结构和多层次多尺度滤波器卷积网络；所述多层次多尺度滤波器结构包含三个空洞卷积层，拼接层和一个平均池化层，每个空洞卷积均配置了批量归一化层与ReLU激活函数；输入空谱特征进入结构后，首先会分别传递给第一空洞卷积层和第二空洞卷积层，而后继续通过第一BN层，第二BN层与第一ReLU函数，第二ReLU函数；第三空洞卷积层负责提取第一ReLU函数传递来的特征图，提取后的数据信息将依次通过第三BN层和第三ReLU函数，最后，将第一、二、三ReLU函数激活后的特征图拼接在一起，传递给平均池化层；所述多层次多尺度滤波器卷积网络：特征经过多个多层次多尺度滤波器结构和一个全局池化层构成，输出最终空间特征图谱。
有益效果：与现有技术相比，本发明的有益效果：1、本发明分别从正反向学习连续光谱特征，并通过对每个像素点的光谱维数据分配对应权重的权值，使得光谱特征表达可以做到对关键特征的强化，冗余特征的抑制，占比“有大有小”，区分度更高，且更符合高光谱图像光谱维“有峰有谷”连续曲线的物理特征；2、本发明利用了非相邻位置的光谱维特征间的关系，更进一步丰富了光谱维判别特征；3、本发明从多层次多尺度提取空间特征信息，使得判别特征更加细致，从而提升高光谱图像最终分类精度。
附图说明
图1为本发明的流程图；
图2为带有注意力机制(attention)的Bi-LTSM结构图；
图3为1D空洞卷积网络结构图；
图4为基于多尺度多层次滤波器卷积网络结构图；
图5为基于深度学习空谱联合网络的高光谱图像分类方法结构图；
图6为Indian Pines数据集真实地物图与各类样本总数统计图；
图7为Indian Pines分类结果图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本发明公开了一种基于深度学习空谱联合网络的高光谱图像分类方法。首先，对原始高光谱图像进行数据划分，而后利用少量标签数据训练基于深度学习空谱联合网络，最后结合已训练好的网络参数进行分类。在深度学习空谱联合网络中，输入数据首先会传送给光谱特征提取模块和空间特征提取模块，在光谱特征提取模块中，输入的高光谱原始图像将会被带有注意力机制的双向长短时记忆模型(Bi-LSTM)和1D空洞卷积神经网络同时做光谱维特征提取处理，二者所提取的特征图将会被拼接至一起，得到最终的光谱特征图；在空间特征提取模块中，输入图像首先会经过数据归一化处理，而后进行PCA降维，其次选择待分类像元和以待分类像元为中心的一定邻域范围内的特征块作为输入特征，此输入特征将会被送入一个多尺度多层次滤波器卷积网络中提取空间特征，再然后经由全局平均池化层处理，得到最终的空间特征图。将最终的光谱特征图和空间特征图拼接，并交由全连接(FC)融合所有特征至1维，再传递给softmax函数进行分类。具体步骤如下：
步骤1：对原始高光谱图像进行数据划分，划分为训练集和测试集。
从原始高光谱图像中随机划分出少量标签数据作为训练集，剩余标签数据作为测试集，训练集和测试集的比例可以设置为1:9。
步骤2：利用训练集数据训练深度学习空谱联合网络，其结构如图5所示；深度学习空谱联合网络由带有注意力机制的双向长短时记忆网络(Bi-LSTM)、1D空洞卷积神经网络和多层次多尺度滤波器卷积网络三个网络共同构成；带有注意力机制的双向长短时记忆网络和1D空洞卷积神经网络同时对输入的训练集数据以单个像素点为向量，做光谱维特征提取处理，并将提取到的特征图拼接在一起，得到最终的光谱特征图；多层次多尺度滤波器卷积网络负责处理输入训练数据空间域上的特征信息，在对输入训练集数据进行归一化处理后在作PCA降维，并以待分类像元和以待分类像元为中心的一定邻域范围内的特征块作为输入特征，将此输入特征送入多层次多尺度滤波器卷积网络中提取空间特征，经由全局平均池化层处理，得到最终的空间特征图。
带有注意力机制的双向长短时记忆模型(Bi-LSTM)，其结构如图2所示，提取光谱特征图的过程如下：
(1)以高光谱原始输入图像单个像素点为单位，将其分解为一组光谱序列，并以此建立一个Bi-LSTM模型。
(2)向Bi-LSTM模型中逐个输入步骤(1)中的光谱序列，分别学习输入数据的正反向连续特征信息。其中，正向隐藏层状态如公式(1)所示，反向隐藏层状态如公式(2)所示
其中
代表隐藏层状态，
表示前一步隐含状态，
是后一步隐含状态，
和
表示当前输入，xt为光谱波段。
(3)将正反向判别特征进行融合，得到输出光谱波段特征：
(4)利用tanh激活函数重新排列Bi-LSTM，得到新隐藏层状态eit：
eit＝tanh(wigt+bi) (4)
式中，wi为权重矩阵，bi为相应偏置。
(5)利用Softmax函数，计算每个光谱波段相应的权值αit，具.
αit＝softmax(vieit) (5)
式中vi为权重矩阵。
(6)将步骤(5)中计算出来的权值与步骤3中的输出光谱波段特征进行计算，得到最终的输出样本yt：
yt＝u[gt，αit] (6)
1D空洞卷积模型，其结构如图3所示，提取光谱特征图的过程如下：
(1)首先利用滤波器长度为3，空洞率为2的空洞卷积模型，在光谱维数据中做特征提取，其步长为1，每次提取特征间均间隔一个空洞，2次选取后所提取特征共计为6个波段单元。所提取到的特征图将由全连接层(FC)映射到样本标记空间。
(2)将步骤(1)中所提取的特征图与Bi-LSTM网络中所提取的特征图拼接(concatenation)，并利用全连接(FC)层再次融合所有的光谱信息，得到最终的光谱特征图。
多尺度多层次滤波器卷积网络，其结构如图4所示，提取空间特征图步骤如下：
(1)对划分后的高光谱图像输入数据采用最大最小归一化：
其中，xij为原始高光谱图像输入数据，xmax和xmin分别为原始高光谱图像输入数据中的最大值和最小值。
(2)采用PCA算法降维，提取包含信息量最多的前三个波段。
(3)提取输入特征，对经过PCA降维后的输入数据提取以待分类像元为中心的26邻域像素和待分类像元，共计27个像素向量，作为输入特征，并统计出标记样本的总个数。
(4)构建多层次多尺度滤波器结构和多层次多尺度滤波器卷积网络：
多层次多尺度滤波器结构：多层次多尺度滤波器结构包含三个空洞卷积，拼接层和一个平均池化层，每个空洞卷积均配置了批量归一化层(BN层)与ReLU激活函数。输入空谱特征进入结构后，首先会分别传递给第一空洞卷积层和第二空洞卷积层，而后继续通过第一BN层，第二BN层与第一ReLU函数，第二ReLU函数。第三空洞卷积层负责提取第一ReLU函数传递来的特征图，提取后的数据信息将依次通过第三BN层和第三ReLU函数，最后，将第一、二、三ReLU函数激活后的特征图拼接在一起，传递给平均池化层。以上所述结构参数具体设置如下，第一空洞卷积层卷积核设置为32,3*3，空洞率为1，感受野为3，第二空洞卷积层卷积核设置为32,3*3，空洞率为2，感受野为5，第三空洞卷积层卷积核设置为32,3*3，空洞率为2，感受野为7，平均池化层尺寸为2*2。
多层次多尺度滤波器卷积网络：特征经过多个多层次多尺度滤波器结构和一个全局池化层构成，输出最终空间特征图谱。
步骤3：将光谱特征图和空间特征图进行拼接，并交由全连接融合所有特征至1维，再传递给softmax函数进行分类。
基于训练完的深度学习空谱联合网络及分类模块，对目标高光谱图像进行类别预测，得到分类结果图。分类模块由一个全连接(FC)层和一个softmax分类函数构成，将最终空间特征图和光谱特征图相拼接，并利用全连接(FC)融合所有特征信息，得到最后光谱空间特征，并传递给softmax函数进行目标分类。其中，softmax函数单元数量为相应类别总数。
在本实施例中，利用少量标签数据训练基于深度学习空谱联合网络，其特征如下，将随机划分2％以上的训练数据输入到深度学习空谱联合网络中，Bi-LSTM的time_step设置为3，滤波器个数为64。在多尺度多层次滤波器卷积网络中，采取mini-batch训练法，每次训练样本数设置为32。将训练过程遍历整个训练集一次称为一轮训练，整个训练过程共计200轮，利用梯度下降算法对网络参数进行训练，学习率设置为0.01。
为了说明基于多尺度多层次滤波器卷积网络的高光谱图像分类方法的有效性，设计参数实验来进行验证。验证结果均基于python语言与keras深度学习框架下，随机选取10％的训练样本实施的。高光谱遥感影像依然采用由AVIRIS传感器获取的在印第安纳州西北部的印第安松树试验场上空收集的，它在空间域上是由145X145像素构成，而在光谱域上则是由224个光谱反射率波段组成，其波长范围在0.4到2.45μm之间。这幅图像中，可用的地面真相为16个类。在本文的实验中，我们去掉20个吸水带，最终图像大小为145X145X200。用16种不同比例的灰度色彩标记出IndianPines图像的16类地物类别，并列举出各类别的名称与样本数量，具体展示如图6所示。图7展示了利用高光谱图像整体数据在深度学习空谱联合网络中的分类结果，可以看出其拥有良好的分类效果。
Claims (5)
1.一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，包括以下步骤：
(1)对原始高光谱图像进行数据划分，划分为训练集和测试集；
(2)利用训练集数据训练深度学习空谱联合网络；所述深度学习空谱联合网络由带有注意力机制的双向长短时记忆网络、1D空洞卷积神经网络和多层次多尺度滤波器卷积网络三个网络共同构成；所述带有注意力机制的双向长短时记忆网络和1D空洞卷积神经网络同时对输入的训练集数据以单个像素点为向量，做光谱维特征提取处理，并将提取到的特征图拼接在一起，得到最终的光谱特征图；所述多层次多尺度滤波器卷积网络负责处理输入训练数据空间域上的特征信息，在对输入训练集数据进行归一化处理后在作PCA降维，并以待分类像元和以待分类像元为中心的一定邻域范围内的特征块作为输入特征，将此输入特征送入多层次多尺度滤波器卷积网络中提取空间特征，经由全局平均池化层处理，得到最终的空间特征图；
(3)将光谱特征图和空间特征图进行拼接，并交由全连接融合所有特征至1维，再传递给softmax函数进行分类。
2.根据权利要求1所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，所述训练集和测试集的比例为1:9。
3.根据权利要求1所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，步骤(2)所述经注意力机制的双向长短时记忆网络提取光谱特征图的过程如下：
以原始高光谱输入图像单个像素点为单位，将其分解为一组光谱序列，并建立Bi-LSTM模型；向Bi-LSTM模型中逐个输入光谱序列，分别学习输入数据的正反向连续特征信息；将正反向判别特征进行融合，得到输出光谱波段特征；利用tanh激活函数重新排列Bi-LSTM，得到新隐藏层状态，利用Softmax函数，计算每个光谱波段相应的权值，将权值与输出光谱波段特征进行计算，得到最终的输出样本。
4.根据权利要求1所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，步骤(2)所述经1D空洞卷积神经网络提取光谱特征图的过程如下：
利用滤波器长度为3，空洞率为2的空洞卷积模型，在光谱维数据中做特征提取，其步长为1，每次提取特征间均间隔一个空洞，2次选取后所提取特征共计为6个波段单元；所提取到的特征图由全连接层(FC)映射到样本标记空间。
5.根据权利要求1所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，步骤(2)所述多尺度多层次滤波器卷积网络提取空间特征图过程如下：
对划分后的高光谱图像输入数据采用最大最小归一化；采用PCA算法降维，提取包含信息量最多的前三个波段；对经过PCA降维后的输入数据提取以待分类像元为中心的26邻域像素和待分类像元，共计27个像素向量，作为输入特征，并统计出标记样本的总个数；构建多层次多尺度滤波器结构和多层次多尺度滤波器卷积网络；所述多层次多尺度滤波器结构包含三个空洞卷积层，拼接层和一个平均池化层，每个空洞卷积均配置了批量归一化层与ReLU激活函数；输入空谱特征进入结构后，首先会分别传递给第一空洞卷积层和第二空洞卷积层，而后继续通过第一BN层，第二BN层与第一ReLU函数，第二ReLU函数；第三空洞卷积层负责提取第一ReLU函数传递来的特征图，提取后的数据信息将依次通过第三BN层和第三ReLU函数，最后，将第一、二、三ReLU函数激活后的特征图拼接在一起，传递给平均池化层；所述多层次多尺度滤波器卷积网络：特征经过多个多层次多尺度滤波器结构和一个全局池化层构成，输出最终空间特征图谱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667743.XA CN111914907B (zh) | 2020-07-13 | 2020-07-13 | 一种基于深度学习空谱联合网络的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667743.XA CN111914907B (zh) | 2020-07-13 | 2020-07-13 | 一种基于深度学习空谱联合网络的高光谱图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111914907A true CN111914907A (zh) | 2020-11-10 |
| CN111914907B CN111914907B (zh) | 2022-07-29 |
Family
ID=73226848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010667743.XA Active CN111914907B (zh) | 2020-07-13 | 2020-07-13 | 一种基于深度学习空谱联合网络的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914907B (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580480A (zh) * | 2020-12-14 | 2021-03-30 | 河海大学 | 一种高光谱遥感影像分类方法及装置 |
| CN112699756A (zh) * | 2020-12-24 | 2021-04-23 | 中国农业科学院农业信息研究所 | 一种基于高光谱图像的茶叶原产地识别方法和系统 |
| CN112733659A (zh) * | 2020-12-30 | 2021-04-30 | 华东师范大学 | 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法 |
| CN112801187A (zh) * | 2021-01-29 | 2021-05-14 | 广东省科学院智能制造研究所 | 基于注意力机制与集成学习的高光谱数据分析方法和系统 |
| CN112818794A (zh) * | 2021-01-25 | 2021-05-18 | 哈尔滨工业大学 | 基于递进式空谱联合深度网络的高光谱遥感图像生成方法 |
| CN112836773A (zh) * | 2021-04-08 | 2021-05-25 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
| CN112966598A (zh) * | 2021-03-04 | 2021-06-15 | 河南大学 | 一种双路径小卷积网络的高光谱图像分类方法 |
| CN112986210A (zh) * | 2021-02-10 | 2021-06-18 | 四川大学 | 一种尺度自适应的微生物拉曼光谱检测方法及系统 |
| CN113052216A (zh) * | 2021-03-15 | 2021-06-29 | 中国石油大学(华东) | 基于双路图u-net卷积网络的溢油高光谱图像检测方法 |
| CN113420795A (zh) * | 2021-06-07 | 2021-09-21 | 核工业北京地质研究院 | 一种基于空洞卷积神经网络的矿物光谱分类方法 |
| CN113806547A (zh) * | 2021-10-15 | 2021-12-17 | 南京大学 | 一种基于图模型的深度学习多标签文本分类方法 |
| CN113822209A (zh) * | 2021-09-27 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 高光谱图像识别方法、装置、电子设备及可读存储介质 |
| CN113822207A (zh) * | 2021-09-27 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 高光谱遥感图像识别方法、装置、电子设备及存储介质 |
| CN113901826A (zh) * | 2021-12-08 | 2022-01-07 | 中国电子科技集团公司第二十八研究所 | 基于串行混合模型的军事新闻实体识别方法 |
| CN113989679A (zh) * | 2021-11-30 | 2022-01-28 | 深圳大学 | 高光谱图像特征处理方法、分类方法、装置、系统及存储介质 |
| CN114048810A (zh) * | 2021-11-10 | 2022-02-15 | 东华大学 | 一种基于多层次特征提取网络的高光谱图像分类方法 |
| CN114187479A (zh) * | 2021-12-28 | 2022-03-15 | 河南大学 | 一种基于空谱特征联合的高光谱图像分类方法 |
| CN114528918A (zh) * | 2022-01-14 | 2022-05-24 | 重庆邮电大学 | 一种基于二维卷积和lstm的高光谱图像分类方法及系统 |
| CN114742985A (zh) * | 2022-03-17 | 2022-07-12 | 苏州大学 | 一种高光谱特征提取方法、装置及存储介质 |
| CN114842264A (zh) * | 2022-05-17 | 2022-08-02 | 北京理工大学 | 一种基于多尺度空谱特征联合学习的高光谱图像分类方法 |
| CN114863296A (zh) * | 2022-04-07 | 2022-08-05 | 中国农业科学院农业信息研究所 | 一种松材线虫病危害木的识别与定位的方法及系统 |
| CN114926694A (zh) * | 2022-06-08 | 2022-08-19 | 云南大学 | 高光谱图像分类方法、装置、电子设备及存储介质 |
| CN114972903A (zh) * | 2022-04-14 | 2022-08-30 | 北京工业大学 | 高光谱图像分类方法、装置、电子设备及存储介质 |
| CN114998725A (zh) * | 2022-05-17 | 2022-09-02 | 北京理工大学 | 基于自适应空谱注意力核生成网络的高光谱图像分类方法 |
| WO2023019698A1 (zh) * | 2021-08-16 | 2023-02-23 | 武汉大学 | 基于富上下文网络的高光谱图像分类方法 |
| CN115965953A (zh) * | 2023-01-04 | 2023-04-14 | 哈尔滨工业大学 | 基于高光谱成像与深度学习的粮种品种分类方法 |
| WO2023125456A1 (zh) * | 2021-12-28 | 2023-07-06 | 苏州大学 | 基于多层次变分自动编码器的高光谱图像特征提取方法 |
| CN116561590A (zh) * | 2023-07-10 | 2023-08-08 | 之江实验室 | 基于深度学习的微纳光纤负载大小和位置预测方法及装置 |
| CN117095235A (zh) * | 2023-09-05 | 2023-11-21 | 西安石油大学 | 一种自适应选择光谱-空间核网络用于高光谱图像分类方法 |
| CN117372789A (zh) * | 2023-12-07 | 2024-01-09 | 北京观微科技有限公司 | 图像分类方法及图像分类装置 |
| CN118587482A (zh) * | 2024-05-22 | 2024-09-03 | 大连民族大学 | 一种基于深度学习的空谱联合高光谱图像分类方法 |
| CN119107550A (zh) * | 2024-08-16 | 2024-12-10 | 中国自然资源航空物探遥感中心 | 一种基于航空高光谱遥感的成矿环境分析方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032846A1 (en) * | 2016-08-01 | 2018-02-01 | Nvidia Corporation | Fusing multilayer and multimodal deep neural networks for video classification |
| CN109784347A (zh) * | 2018-12-17 | 2019-05-21 | 西北工业大学 | 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 |
-
2020
- 2020-07-13 CN CN202010667743.XA patent/CN111914907B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032846A1 (en) * | 2016-08-01 | 2018-02-01 | Nvidia Corporation | Fusing multilayer and multimodal deep neural networks for video classification |
| CN109784347A (zh) * | 2018-12-17 | 2019-05-21 | 西北工业大学 | 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 |
Cited By (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580480A (zh) * | 2020-12-14 | 2021-03-30 | 河海大学 | 一种高光谱遥感影像分类方法及装置 |
| CN112580480B (zh) * | 2020-12-14 | 2024-03-26 | 河海大学 | 一种高光谱遥感影像分类方法及装置 |
| CN112699756A (zh) * | 2020-12-24 | 2021-04-23 | 中国农业科学院农业信息研究所 | 一种基于高光谱图像的茶叶原产地识别方法和系统 |
| CN112699756B (zh) * | 2020-12-24 | 2023-08-25 | 中国农业科学院农业信息研究所 | 一种基于高光谱图像的茶叶原产地识别方法和系统 |
| CN112733659A (zh) * | 2020-12-30 | 2021-04-30 | 华东师范大学 | 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法 |
| CN112818794A (zh) * | 2021-01-25 | 2021-05-18 | 哈尔滨工业大学 | 基于递进式空谱联合深度网络的高光谱遥感图像生成方法 |
| CN112818794B (zh) * | 2021-01-25 | 2022-03-04 | 哈尔滨工业大学 | 基于递进式空谱联合深度网络的高光谱遥感图像生成方法 |
| CN112801187A (zh) * | 2021-01-29 | 2021-05-14 | 广东省科学院智能制造研究所 | 基于注意力机制与集成学习的高光谱数据分析方法和系统 |
| CN112801187B (zh) * | 2021-01-29 | 2023-01-31 | 广东省科学院智能制造研究所 | 基于注意力机制与集成学习的高光谱数据分析方法和系统 |
| CN112986210A (zh) * | 2021-02-10 | 2021-06-18 | 四川大学 | 一种尺度自适应的微生物拉曼光谱检测方法及系统 |
| CN112966598A (zh) * | 2021-03-04 | 2021-06-15 | 河南大学 | 一种双路径小卷积网络的高光谱图像分类方法 |
| CN112966598B (zh) * | 2021-03-04 | 2022-08-30 | 河南大学 | 一种双路径小卷积网络的高光谱图像分类方法 |
| CN113052216B (zh) * | 2021-03-15 | 2022-04-22 | 中国石油大学(华东) | 基于双路图u-net卷积网络的溢油高光谱图像检测方法 |
| CN113052216A (zh) * | 2021-03-15 | 2021-06-29 | 中国石油大学(华东) | 基于双路图u-net卷积网络的溢油高光谱图像检测方法 |
| CN112836773A (zh) * | 2021-04-08 | 2021-05-25 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
| CN112836773B (zh) * | 2021-04-08 | 2022-09-02 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
| CN113420795A (zh) * | 2021-06-07 | 2021-09-21 | 核工业北京地质研究院 | 一种基于空洞卷积神经网络的矿物光谱分类方法 |
| CN113420795B (zh) * | 2021-06-07 | 2024-04-26 | 核工业北京地质研究院 | 一种基于空洞卷积神经网络的矿物光谱分类方法 |
| US11941865B2 (en) | 2021-08-16 | 2024-03-26 | Wuhan University | Hyperspectral image classification method based on context-rich networks |
| WO2023019698A1 (zh) * | 2021-08-16 | 2023-02-23 | 武汉大学 | 基于富上下文网络的高光谱图像分类方法 |
| CN113822209A (zh) * | 2021-09-27 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 高光谱图像识别方法、装置、电子设备及可读存储介质 |
| CN113822209B (zh) * | 2021-09-27 | 2023-11-14 | 海南长光卫星信息技术有限公司 | 高光谱图像识别方法、装置、电子设备及可读存储介质 |
| CN113822207B (zh) * | 2021-09-27 | 2024-02-02 | 海南长光卫星信息技术有限公司 | 高光谱遥感图像识别方法、装置、电子设备及存储介质 |
| CN113822207A (zh) * | 2021-09-27 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 高光谱遥感图像识别方法、装置、电子设备及存储介质 |
| CN113806547B (zh) * | 2021-10-15 | 2023-08-11 | 南京大学 | 一种基于图模型的深度学习多标签文本分类方法 |
| CN113806547A (zh) * | 2021-10-15 | 2021-12-17 | 南京大学 | 一种基于图模型的深度学习多标签文本分类方法 |
| CN114048810A (zh) * | 2021-11-10 | 2022-02-15 | 东华大学 | 一种基于多层次特征提取网络的高光谱图像分类方法 |
| CN113989679A (zh) * | 2021-11-30 | 2022-01-28 | 深圳大学 | 高光谱图像特征处理方法、分类方法、装置、系统及存储介质 |
| CN113989679B (zh) * | 2021-11-30 | 2025-05-30 | 深圳大学 | 高光谱图像特征处理方法、分类方法、装置、系统及存储介质 |
| CN113901826A (zh) * | 2021-12-08 | 2022-01-07 | 中国电子科技集团公司第二十八研究所 | 基于串行混合模型的军事新闻实体识别方法 |
| CN114187479A (zh) * | 2021-12-28 | 2022-03-15 | 河南大学 | 一种基于空谱特征联合的高光谱图像分类方法 |
| WO2023125456A1 (zh) * | 2021-12-28 | 2023-07-06 | 苏州大学 | 基于多层次变分自动编码器的高光谱图像特征提取方法 |
| CN116416441A (zh) * | 2021-12-28 | 2023-07-11 | 苏州大学 | 基于多层次变分自动编码器的高光谱图像特征提取方法 |
| CN114528918B (zh) * | 2022-01-14 | 2024-09-24 | 重庆邮电大学 | 一种基于二维卷积和lstm的高光谱图像分类方法及系统 |
| CN114528918A (zh) * | 2022-01-14 | 2022-05-24 | 重庆邮电大学 | 一种基于二维卷积和lstm的高光谱图像分类方法及系统 |
| CN114742985B (zh) * | 2022-03-17 | 2025-03-04 | 苏州大学 | 一种高光谱特征提取方法、装置及存储介质 |
| CN114742985A (zh) * | 2022-03-17 | 2022-07-12 | 苏州大学 | 一种高光谱特征提取方法、装置及存储介质 |
| WO2023173884A1 (zh) * | 2022-03-17 | 2023-09-21 | 苏州大学 | 一种高光谱特征提取方法、装置及存储介质 |
| CN114863296A (zh) * | 2022-04-07 | 2022-08-05 | 中国农业科学院农业信息研究所 | 一种松材线虫病危害木的识别与定位的方法及系统 |
| CN114972903B (zh) * | 2022-04-14 | 2024-07-16 | 北京工业大学 | 高光谱图像分类方法、装置、电子设备及存储介质 |
| CN114972903A (zh) * | 2022-04-14 | 2022-08-30 | 北京工业大学 | 高光谱图像分类方法、装置、电子设备及存储介质 |
| CN114842264A (zh) * | 2022-05-17 | 2022-08-02 | 北京理工大学 | 一种基于多尺度空谱特征联合学习的高光谱图像分类方法 |
| CN114998725B (zh) * | 2022-05-17 | 2024-07-19 | 北京理工大学 | 基于自适应空谱注意力核生成网络的高光谱图像分类方法 |
| CN114998725A (zh) * | 2022-05-17 | 2022-09-02 | 北京理工大学 | 基于自适应空谱注意力核生成网络的高光谱图像分类方法 |
| CN114926694A (zh) * | 2022-06-08 | 2022-08-19 | 云南大学 | 高光谱图像分类方法、装置、电子设备及存储介质 |
| CN115965953B (zh) * | 2023-01-04 | 2023-08-22 | 哈尔滨工业大学 | 基于高光谱成像与深度学习的粮种品种分类方法 |
| CN115965953A (zh) * | 2023-01-04 | 2023-04-14 | 哈尔滨工业大学 | 基于高光谱成像与深度学习的粮种品种分类方法 |
| CN116561590B (zh) * | 2023-07-10 | 2023-10-03 | 之江实验室 | 基于深度学习的微纳光纤负载大小和位置预测方法及装置 |
| CN116561590A (zh) * | 2023-07-10 | 2023-08-08 | 之江实验室 | 基于深度学习的微纳光纤负载大小和位置预测方法及装置 |
| CN117095235A (zh) * | 2023-09-05 | 2023-11-21 | 西安石油大学 | 一种自适应选择光谱-空间核网络用于高光谱图像分类方法 |
| CN117372789B (zh) * | 2023-12-07 | 2024-03-08 | 北京观微科技有限公司 | 图像分类方法及图像分类装置 |
| CN117372789A (zh) * | 2023-12-07 | 2024-01-09 | 北京观微科技有限公司 | 图像分类方法及图像分类装置 |
| CN118587482A (zh) * | 2024-05-22 | 2024-09-03 | 大连民族大学 | 一种基于深度学习的空谱联合高光谱图像分类方法 |
| CN119107550A (zh) * | 2024-08-16 | 2024-12-10 | 中国自然资源航空物探遥感中心 | 一种基于航空高光谱遥感的成矿环境分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111914907B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914907B (zh) | 一种基于深度学习空谱联合网络的高光谱图像分类方法 | |
| Mei et al. | Hyperspectral image classification using group-aware hierarchical transformer | |
| Jiang et al. | Recognition of rice leaf diseases and wheat leaf diseases based on multi-task deep transfer learning | |
| Liu et al. | Scene classification via triplet networks | |
| CN113469236A (zh) | 一种自我标签学习的深度聚类图像识别系统及方法 | |
| Lu et al. | Bidirectional adaptive feature fusion for remote sensing scene classification | |
| Shi et al. | Image manipulation detection and localization based on the dual-domain convolutional neural networks | |
| CN108090447A (zh) | 双分支深层结构下的高光谱图像分类方法及装置 | |
| CN107316013A (zh) | 基于nsct变换和dcnn的高光谱图像分类方法 | |
| CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
| CN107133622A (zh) | 一种单词的分割方法和装置 | |
| CN109344891A (zh) | 一种基于深度神经网络的高光谱遥感数据分类方法 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN115512162A (zh) | 基于注意力孪生网络与多模态融合特征的地物分类方法 | |
| Zhan et al. | Semi-supervised classification of hyperspectral data based on generative adversarial networks and neighborhood majority voting | |
| CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN111080678A (zh) | 一种基于深度学习的多时相sar图像变化检测方法 | |
| Chen et al. | DRSNet: Novel architecture for small patch and low-resolution remote sensing image scene classification | |
| CN117058558A (zh) | 基于证据融合多层深度卷积网络的遥感图像场景分类方法 | |
| CN116012653A (zh) | 一种注意力残差单元神经网络高光谱图像分类方法及系统 | |
| CN116385832A (zh) | 双模态生物特征识别网络模型训练方法 | |
| CN117541571A (zh) | 一种基于多尺度监督对比学习的图像篡改检测与定位方法 | |
| Mathulaprangsan et al. | Rice disease recognition using effective deep neural networks | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN114972857B (zh) | 双分支源与目标定位复制移动检测网络系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |