CN111914907B - 一种基于深度学习空谱联合网络的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于深度学习空谱联合网络的高光谱图像分类方法，首先，对原始高光谱图像进行数据划分，而后利用少量标签数据训练基于深度学习空谱联合网络，输入的高光谱原始图像将会被带有注意力机制的双向长短时记忆模型和1D空洞卷积神经网络同时做光谱维特征提取处理，得到最终的光谱特征图；输入图像经过数据归一化处理，而后进行PCA降维，提取输入特征，并将输入特征送入多尺度多层次滤波器卷积网络中提取空间特征，再经由全局平均池化层处理，得到最终的空间特征图；最后结合已训练好的网络参数进行分类。本发明将光谱维特征与空间特征分开处理，能获得更为丰富有效的光谱特征图及更为丰富的特征表达，分类精度得到进一步提升。

Description

一种基于深度学习空谱联合网络的高光谱图像分类方法

技术领域

本发明属于遥感图像处理领域，具体涉及一种基于深度学习空谱联合网络的高光谱图像分类方法。

背景技术

高光谱遥感图像可以从上百条连续的光谱波段中提取地物信息，这使得其拥有强大的对地目标区分能力。在过去的几十年里，高光谱图像在军事目标探测、海洋监测、灾害防治等方面均发挥了重要作用。但高光谱图像的识别与分类始终是高光谱图像分析的一个关键问题，它对高光谱遥感技术的推进与发展起着非常重要的作用，因此，研究高效实用的HIS分类方法，对充分挖掘高光谱遥感技术的应用潜力具有重要意义。

迄今为止，研究者已经提出非常多的方法将高光谱图像的像元划分为特定的土地覆盖类。在早期的分类方法中，诸如k临近分类器和支持向量机等光谱分类器被广泛使用。为了更好的应对高光谱图像复杂的空间分布和光谱分布，诸如马尔可夫随机场等光谱空间分类方法被提出。但是这些方法大多属于浅层模型，这种模型中的非线性变换层数不足以表示高光谱图像复杂的空间和光谱特征，泛化能力较弱。同时，由于其往往基于手工特征，高度依赖个人经验。

为了克服这些缺点，深度学习被引入高光谱分类中，它可以自动的从原始输入数据中由低到高的学习层次特征，进而充分挖掘高光谱图像中更具代表性的显著特征。这种端到端的学习策略极大的促进了高光谱图像分类算法的性能，如 Mou等人提出一种基于跳跃结构的深度网络分别处理空间特征与光谱特征，而 Zhang等人则利用残差网络，连续的对光谱特征和空间特征进行学习。但前者做了波段选择，这导致特征大量丢失，且光谱维中的上下文连续信息也会被破坏，而后者则无法完整的提取整条光谱信息，且二者均仅采用了卷积神经网络提取特征，该网络对局部相关特征提取有着突出优势，但无法提取完整特征信息。如何利用深度学习算法提取出更丰富高效的空谱判别特征，仍有很大的研究空间。

发明内容

发明目的：为了解决上述问题，本发明提供一种基于深度学习空谱联合网络的高光谱图像分类方法，将光谱维特征与空间特征分开处理，能获得更为丰富有效的光谱特征图及更为丰富的特征表达，分类精度得到进一步提升。

技术方案：本发明所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，包括如下步骤：

(1)对原始高光谱图像进行数据划分，划分为训练集和测试集；

(2)利用训练集数据训练深度学习空谱联合网络；所述深度学习空谱联合网络由带有注意力机制的双向长短时记忆网络、1D空洞卷积神经网络和多层次多尺度滤波器卷积网络三个网络共同构成；所述带有注意力机制的双向长短时记忆网络和1D空洞卷积神经网络同时对输入的训练集数据以单个像素点为向量，做光谱维特征提取处理，并将提取到的特征图拼接在一起，得到最终的光谱特征图；所述多层次多尺度滤波器卷积网络负责处理输入训练数据空间域上的特征信息，在对输入训练集数据进行归一化处理后在作PCA降维，并以待分类像元和以待分类像元为中心的一定邻域范围内的特征块作为输入特征，将此输入特征送入多层次多尺度滤波器卷积网络中提取空间特征，经由全局平均池化层处理，得到最终的空间特征图；

(3)将光谱特征图和空间特征图进行拼接，并交由全连接融合所有特征至 1维，再传递给softmax函数进行分类。

进一步地，所述训练集和测试集的比例为1:9。

进一步地，步骤(2)所述经注意力机制的双向长短时记忆网络提取光谱特征图的过程如下：

以原始高光谱输入图像单个像素点为单位，将其分解为一组光谱序列，并建立Bi-LSTM模型；向Bi-LSTM模型中逐个输入光谱序列，分别学习输入数据的正反向连续特征信息；将正反向判别特征进行融合，得到输出光谱波段特征；利用tanh激活函数重新排列Bi-LSTM，得到新隐藏层状态，利用Softmax函数，计算每个光谱波段相应的权值，将权值与输出光谱波段特征进行计算，得到最终的输出样本。

进一步地，步骤(2)所述经1D空洞卷积神经网络提取光谱特征图的过程如下：

利用滤波器长度为3，空洞率为2的空洞卷积模型，在光谱维数据中做特征提取，其步长为1，每次提取特征间均间隔一个空洞，2次选取后所提取特征共计为6个波段单元；所提取到的特征图由全连接层(FC)映射到样本标记空间。

进一步地，步骤(2)所述多尺度多层次滤波器卷积网络提取空间特征图过程如下：

对划分后的高光谱图像输入数据采用最大最小归一化；采用PCA算法降维，提取包含信息量最多的前三个波段；对经过PCA降维后的输入数据提取以待分类像元为中心的26邻域像素和待分类像元，共计27个像素向量，作为输入特征，并统计出标记样本的总个数；构建多层次多尺度滤波器结构和多层次多尺度滤波器卷积网络；所述多层次多尺度滤波器结构包含三个空洞卷积层，拼接层和一个平均池化层，每个空洞卷积均配置了批量归一化层与ReLU激活函数；输入空谱特征进入结构后，首先会分别传递给第一空洞卷积层和第二空洞卷积层，而后继续通过第一BN层，第二BN层与第一ReLU函数，第二ReLU函数；第三空洞卷积层负责提取第一ReLU函数传递来的特征图，提取后的数据信息将依次通过第三BN层和第三ReLU函数，最后，将第一、二、三ReLU函数激活后的特征图拼接在一起，传递给平均池化层；所述多层次多尺度滤波器卷积网络：特征经过多个多层次多尺度滤波器结构和一个全局池化层构成，输出最终空间特征图谱。

有益效果：与现有技术相比，本发明的有益效果：1、本发明分别从正反向学习连续光谱特征，并通过对每个像素点的光谱维数据分配对应权重的权值，使得光谱特征表达可以做到对关键特征的强化，冗余特征的抑制，占比“有大有小”，区分度更高，且更符合高光谱图像光谱维“有峰有谷”连续曲线的物理特征；2、本发明利用了非相邻位置的光谱维特征间的关系，更进一步丰富了光谱维判别特征；3、本发明从多层次多尺度提取空间特征信息，使得判别特征更加细致，从而提升高光谱图像最终分类精度。

附图说明

图1为本发明的流程图；

图2为带有注意力机制(attention)的Bi-LTSM结构图；

图3为1D空洞卷积网络结构图；

图4为基于多尺度多层次滤波器卷积网络结构图；

图5为基于深度学习空谱联合网络的高光谱图像分类方法结构图；

图6为Indian Pines数据集真实地物图与各类样本总数统计图；

图7为Indian Pines分类结果图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明公开了一种基于深度学习空谱联合网络的高光谱图像分类方法。首先，对原始高光谱图像进行数据划分，而后利用少量标签数据训练基于深度学习空谱联合网络，最后结合已训练好的网络参数进行分类。在深度学习空谱联合网络中，输入数据首先会传送给光谱特征提取模块和空间特征提取模块，在光谱特征提取模块中，输入的高光谱原始图像将会被带有注意力机制的双向长短时记忆模型(Bi-LSTM)和1D空洞卷积神经网络同时做光谱维特征提取处理，二者所提取的特征图将会被拼接至一起，得到最终的光谱特征图；在空间特征提取模块中，输入图像首先会经过数据归一化处理，而后进行PCA降维，其次选择待分类像元和以待分类像元为中心的一定邻域范围内的特征块作为输入特征，此输入特征将会被送入一个多尺度多层次滤波器卷积网络中提取空间特征，再然后经由全局平均池化层处理，得到最终的空间特征图。将最终的光谱特征图和空间特征图拼接，并交由全连接(FC)融合所有特征至1维，再传递给 softmax函数进行分类。具体步骤如下：

步骤1：对原始高光谱图像进行数据划分，划分为训练集和测试集。

从原始高光谱图像中随机划分出少量标签数据作为训练集，剩余标签数据作为测试集，训练集和测试集的比例可以设置为1:9。

步骤2：利用训练集数据训练深度学习空谱联合网络，其结构如图5所示；深度学习空谱联合网络由带有注意力机制的双向长短时记忆网络(Bi-LSTM)、 1D空洞卷积神经网络和多层次多尺度滤波器卷积网络三个网络共同构成；带有注意力机制的双向长短时记忆网络和1D空洞卷积神经网络同时对输入的训练集数据以单个像素点为向量，做光谱维特征提取处理，并将提取到的特征图拼接在一起，得到最终的光谱特征图；多层次多尺度滤波器卷积网络负责处理输入训练数据空间域上的特征信息，在对输入训练集数据进行归一化处理后在作PCA降维，并以待分类像元和以待分类像元为中心的一定邻域范围内的特征块作为输入特征，将此输入特征送入多层次多尺度滤波器卷积网络中提取空间特征，经由全局平均池化层处理，得到最终的空间特征图。

带有注意力机制的双向长短时记忆模型(Bi-LSTM)，其结构如图2所示，提取光谱特征图的过程如下：

(1)以高光谱原始输入图像单个像素点为单位，将其分解为一组光谱序列，并以此建立一个Bi-LSTM模型。

(2)向Bi-LSTM模型中逐个输入步骤(1)中的光谱序列，分别学习输入数据的正反向连续特征信息。其中，正向隐藏层状态如公式(1)所示，反向隐藏层状态如公式(2)所示

其中

代表隐藏层状态，

表示前一步隐含状态，

是后一步隐含状态，

和

表示当前输入，x_t为光谱波段。

(3)将正反向判别特征进行融合，得到输出光谱波段特征：

(4)利用tanh激活函数重新排列Bi-LSTM，得到新隐藏层状态e_it：

e_it＝tanh(w_ig_t+b_i) (4)

式中，w_i为权重矩阵，b_i为相应偏置。

(5)利用Softmax函数，计算每个光谱波段相应的权值α_it，具.

α_it＝softmax(v_ie_it) (5)

式中v_i为权重矩阵。

(6)将步骤(5)中计算出来的权值与步骤3中的输出光谱波段特征进行计算，得到最终的输出样本y_t：

y_t＝u[g_t，α_it] (6)

1D空洞卷积模型，其结构如图3所示，提取光谱特征图的过程如下：

(1)首先利用滤波器长度为3，空洞率为2的空洞卷积模型，在光谱维数据中做特征提取，其步长为1，每次提取特征间均间隔一个空洞，2次选取后所提取特征共计为6个波段单元。所提取到的特征图将由全连接层(FC)映射到样本标记空间。

(2)将步骤(1)中所提取的特征图与Bi-LSTM网络中所提取的特征图拼接(concatenation)，并利用全连接(FC)层再次融合所有的光谱信息，得到最终的光谱特征图。

多尺度多层次滤波器卷积网络，其结构如图4所示，提取空间特征图步骤如下：

(1)对划分后的高光谱图像输入数据采用最大最小归一化：

其中，x_ij为原始高光谱图像输入数据，x_max和x_min分别为原始高光谱图像输入数据中的最大值和最小值。

(2)采用PCA算法降维，提取包含信息量最多的前三个波段。

(3)提取输入特征，对经过PCA降维后的输入数据提取以待分类像元为中心的26邻域像素和待分类像元，共计27个像素向量，作为输入特征，并统计出标记样本的总个数。

(4)构建多层次多尺度滤波器结构和多层次多尺度滤波器卷积网络：

多层次多尺度滤波器结构：多层次多尺度滤波器结构包含三个空洞卷积，拼接层和一个平均池化层，每个空洞卷积均配置了批量归一化层(BN层)与ReLU 激活函数。输入空谱特征进入结构后，首先会分别传递给第一空洞卷积层和第二空洞卷积层，而后继续通过第一BN层，第二BN层与第一ReLU函数，第二 ReLU函数。第三空洞卷积层负责提取第一ReLU函数传递来的特征图，提取后的数据信息将依次通过第三BN层和第三ReLU函数，最后，将第一、二、三 ReLU函数激活后的特征图拼接在一起，传递给平均池化层。以上所述结构参数具体设置如下，第一空洞卷积层卷积核设置为32,3*3，空洞率为1，感受野为3，第二空洞卷积层卷积核设置为32,3*3，空洞率为2，感受野为5，第三空洞卷积层卷积核设置为32,3*3，空洞率为2，感受野为7，平均池化层尺寸为2*2。

多层次多尺度滤波器卷积网络：特征经过多个多层次多尺度滤波器结构和一个全局池化层构成，输出最终空间特征图谱。

步骤3：将光谱特征图和空间特征图进行拼接，并交由全连接融合所有特征至1维，再传递给softmax函数进行分类。

基于训练完的深度学习空谱联合网络及分类模块，对目标高光谱图像进行类别预测，得到分类结果图。分类模块由一个全连接(FC)层和一个softmax分类函数构成，将最终空间特征图和光谱特征图相拼接，并利用全连接(FC)融合所有特征信息，得到最后光谱空间特征，并传递给softmax函数进行目标分类。其中，softmax函数单元数量为相应类别总数。

在本实施例中，利用少量标签数据训练基于深度学习空谱联合网络，其特征如下，将随机划分2％以上的训练数据输入到深度学习空谱联合网络中，Bi-LSTM 的time_step设置为3，滤波器个数为64。在多尺度多层次滤波器卷积网络中，采取mini-batch训练法，每次训练样本数设置为32。将训练过程遍历整个训练集一次称为一轮训练，整个训练过程共计200轮，利用梯度下降算法对网络参数进行训练，学习率设置为0.01。

为了说明基于多尺度多层次滤波器卷积网络的高光谱图像分类方法的有效性，设计参数实验来进行验证。验证结果均基于python语言与keras深度学习框架下，随机选取10％的训练样本实施的。高光谱遥感影像依然采用由AVIRIS 传感器获取的在印第安纳州西北部的印第安松树试验场上空收集的，它在空间域上是由145X145像素构成，而在光谱域上则是由224个光谱反射率波段组成，其波长范围在0.4到2.45μm之间。这幅图像中，可用的地面真相为16个类。在本文的实验中，我们去掉20个吸水带，最终图像大小为145X145X200。用16 种不同比例的灰度色彩标记出IndianPines图像的16类地物类别，并列举出各类别的名称与样本数量，具体展示如图6所示。图7展示了利用高光谱图像整体数据在深度学习空谱联合网络中的分类结果，可以看出其拥有良好的分类效果。

Claims (5)

1.一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，包括以下步骤：

(1)对原始高光谱图像进行数据划分，划分为训练集和测试集；

(2)利用训练集数据训练深度学习空谱联合网络；所述深度学习空谱联合网络由带有注意力机制的双向长短时记忆网络、1D空洞卷积神经网络和多层次多尺度滤波器卷积网络三个网络共同构成；所述带有注意力机制的双向长短时记忆网络和1D空洞卷积神经网络同时对输入的训练集数据以单个像素点为向量，做光谱维特征提取处理，并将提取到的特征图拼接在一起，得到最终的光谱特征图；所述多层次多尺度滤波器卷积网络负责处理输入训练数据空间域上的特征信息，在对输入训练集数据进行归一化处理后在作PCA降维，并以待分类像元和以待分类像元为中心的一定邻域范围内的特征块作为输入特征，将此输入特征送入多层次多尺度滤波器卷积网络中提取空间特征，经由全局平均池化层处理，得到最终的空间特征图；

(3)将光谱特征图和空间特征图进行拼接，并交由全连接融合所有特征至1维，再传递给softmax函数进行分类。

2.根据权利要求1所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，所述训练集和测试集的比例为1:9。

3.根据权利要求1所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，步骤(2)所述带有注意力机制的双向长短时记忆网络提取光谱特征图的过程如下：

以原始高光谱输入图像单个像素点为单位，将其分解为一组光谱序列，并建立Bi-LSTM模型；向Bi-LSTM模型中逐个输入光谱序列，分别学习输入数据的正反向连续特征信息；将正反向判别特征进行融合，得到输出光谱波段特征；利用tanh激活函数重新排列Bi-LSTM，得到新隐藏层状态，利用Softmax函数，计算每个光谱波段相应的权值，将权值与输出光谱波段特征进行计算，得到最终的输出样本。

4.根据权利要求1所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，步骤(2)所述经1D空洞卷积神经网络提取光谱特征图的过程如下：

利用滤波器长度为3，空洞率为2的空洞卷积模型，在光谱维数据中做特征提取，其步长为1，每次提取特征间均间隔一个空洞，2次选取后所提取特征共计为6个波段单元；所提取到的特征图由全连接层(FC)映射到样本标记空间。

5.根据权利要求1所述的一种基于深度学习空谱联合网络的高光谱图像分类方法，其特征在于，步骤(2)所述多尺度多层次滤波器卷积网络提取空间特征图过程如下：

对划分后的高光谱图像输入数据采用最大最小归一化；采用PCA算法降维，提取包含信息量最多的前三个波段；对经过PCA降维后的输入数据提取以待分类像元为中心的26邻域像素和待分类像元，共计27个像素向量，作为输入特征，并统计出标记样本的总个数；构建多层次多尺度滤波器结构和多层次多尺度滤波器卷积网络；所述多层次多尺度滤波器结构包含三个空洞卷积层，拼接层和一个平均池化层，每个空洞卷积均配置了批量归一化层与ReLU激活函数；输入空谱特征进入结构后，首先会分别传递给第一空洞卷积层和第二空洞卷积层，而后继续通过第一BN层，第二BN层与第一ReLU函数，第二ReLU函数；第三空洞卷积层负责提取第一ReLU函数传递来的特征图，提取后的数据信息将依次通过第三BN层和第三ReLU函数，最后，将第一、二、三ReLU函数激活后的特征图拼接在一起，传递给平均池化层；所述多层次多尺度滤波器卷积网络：特征经过多个多层次多尺度滤波器结构和一个全局池化层构成，输出最终空间特征图谱。

Images