CN110598594A - 基于空谱自适应双向长短时记忆模型的高光谱分类方法 - Google Patents

Abstract

本发明公开了一种基于空谱自适应双向长短时记忆模型的高光谱分类方法，建立包含光谱特征提取与空间特征提取两个分支的网络，并进行融合，实现空谱特征联合分类，其特征在于：在光谱特征学习分支中，针对高光谱图像波段间的相关性，提出了基于波段分组的双向长短时记忆网络模型，该模型包括正向长短时记忆网络与反向长短时记忆网络；在进行空谱特征融合时，对应的权重因子在网络训练过程中进行自适应的学习；在利用随机批梯度下降算法最小化网络的损失函数之后，对待分类高光谱图像生成测试样本，输入到网络中，得到地物分类结果。本发明在进行特征提取时，不仅利用了高光谱序列的前文信息，也能同时利用后文信息，满足高精度地物目标识别的需求。

Description

基于空谱自适应双向长短时记忆模型的高光谱分类方法

技术领域

本发明属于计算机图像处理技术领域，涉及一种图像分类方法，具体涉及一种基于空谱自适应双向长短时记忆模型的高光谱遥感图像分类方法。

背景技术

高光谱遥感通过结合光谱技术与成像技术，可以同时获得空间维度与光谱维度上连续的遥感观测数据。与自然图像相比，高光谱遥感图像光谱分辨率更高，波段数更多，能够反映更加丰富的地物波谱特性。因此，利用高光谱图像进行地物目标的分类与识别，是实现对地观测的重要途径之一。目前，高光谱图像分类任务存在以下挑战：

1)高光谱图像同时具有丰富的光谱信息和空间信息，现有方法(如文献[1])通常将光谱特征提取与空间特征提取分开进行，使得两种特征没有得到有效的融合。同时，不同遥感场景类型下，空间特征与光谱特征对地物识别的影响权重往往不同。而现有方法(如文献[2])在分类过程中，通常对空间特征与光谱特征进行简单叠加，未能充分考虑二者的权重关系。

2)高光谱图像中相邻的波段往往具有较高的相关性，现有方法在进行光谱特征提取时，将光谱向量作为一个整体进行处理，忽略了波段间的相关性。例如，文献[3]提出了一种基于光谱滤波的高光谱图像分类方法，但其在滤波过程中，并未考虑高光谱图像波段间存在的相关性，而是将整个光谱向量视作一个完整的特征向量进行处理，未能深入挖掘波段间的相关性。文献[2]提出了一种基于长短时记忆模型的光谱特征提取机制，但该方法在建模过程中，仅考虑了波长从短到长的波段相关性，未能综合考虑正反两个方向的光谱特征表达。

因此，本领域需要一种空谱自适应的高光谱遥感图像分类方法，更好的实现空谱特征的有效融合，从而满足高精度地物目标识别的需求。

参考文献：

[1]苗荣慧,黄锋华,杨华,等.基于空谱一体化的农田高光谱图像分类[J].江苏农业学报,2018,34(4):818-824.DOI:10.3969/j.issn.1000-4440.2018.04.015.

[2]Y.Xu,L.Zhang,B.Du,and F.Zhang,“Spectral-spatial unified networksfor hyperspectral image classification,”IEEE Transactions on Geoscience andRemote Sensing,vol.56,no.10,pp.5893–5909,2018.

[3]张巨萍,高光来,苏向东.融合光谱滤波的高光谱图像分类深度网络[J].计算机科学与探索,2018,12(11):1806-1814.DOI:10.3778/j.issn.1673-9418.1709013.

发明内容

为了解决上述技术问题，本发明提供了一种基于空谱自适应双向长短时记忆模型的高光谱遥感图像分类方法。

本发明提供一种基于空谱自适应双向长短时记忆模型的高光谱分类方法，建立包含光谱特征提取与空间特征提取两个分支的网络，并将两个分支的特征进行融合，实现空谱特征联合分类，在光谱特征学习分支中，针对高光谱图像波段间的相关性，提出了基于波段分组的双向长短时记忆网络模型，该模型包括一个正向长短时记忆网络与一个反向长短时记忆网络；在进行空谱特征融合时，记空间特征向量和光谱特征向量分别为h_spatial和h_spectral，λ_spatial和λ_spectral为对应的权重因子，融合的空谱特征h_joint表示为，

h_joint＝λ_spatialh_spatial+λ_spectralh_spectral

式中，λ_spatial和λ_spectral在网络训练过程中进行自适应的学习；

在利用随机批梯度下降算法最小化网络的损失函数之后，对待分类高光谱图像生成测试样本，输入到网络中，得到地物分类结果。

而且，采用以下步骤实现，

步骤1，将高光谱图像中的每一个像素对应的光谱向量分成多个分组；

步骤2，对原始高光谱图像进行PCA降维；

步骤3，对降维后的高光谱图像中的每一个像素，以该像素为中心提取影像块；

步骤4，初始化网络中的参数，满足均值为0方差为0.1的高斯分布；

步骤5，将基于步骤1生成的光谱训练样本输入到网络的光谱特征提取分支；

步骤6，将基于步骤2和步骤3生成的空间训练样本输入到网络的空间特征提取分支；

步骤7，进行空谱特征融合；

步骤8，利用随机批梯度下降算法，最小化网络的损失函数；

步骤9，对待分类高光谱图像，采用步骤1、步骤2和步骤3生成测试样本，输入到网络中，完成分类任务。

而且，所述双向长短时记忆网络模型，输入数据为步骤1产生的多个分组序列数据，输出为全连接结构的光谱特征，

t时刻正向长短时记忆网络中的门限函数及胞体计算方式如下：

正向输入门i_f ^(t)＝σ(W_fix^(t)+U_fih_f ^(t-1)+b_fi)

正向遗忘门f_f ^(t)＝σ(W_ffx^(t)+U_ffh_f ^(t-1)+b_ff)

正向输出门o_f ^(t)＝σ(W_fox^(t)+U_foh_f ^(t-1)+b_fo)

正向胞体c_f ^(t)＝i_f ^(t)·g(W_fcx^(t)+U_fch_f ^(t-1)+b_fc)+f_f ^(t)·c_f ^(t-1)

正向长短时记忆网络的输出h_f ^(t)＝o_f ^(t)·g(c_f ^(t))

其中，c_f ^(t-1)为t-1时刻的正向胞体，h_f ^(t-1)为t-1时刻正向长短时记忆网络的输出，x^(t)为t时刻读入的新词，用于生成新记忆；

t时刻反向长短时记忆网络中的门限函数及胞体计算方式如下，

反向输入门i_b ^(t)＝σ(W_bix^(t)+U_bih_b ^(t+1)+b_bi)

反向遗忘门f_b ^(t)＝σ(W_bfx^(t)+U_bfh_b ^(t+1)+b_bf)

反向输出门o_b ^(t)＝σ(W_box^(t)+U_boh_b ^(t+1)+b_bo)

反向胞体c_b ^(t)＝i_b ^(t)·g(W_bcx^(t)+U_bch_b ^(t+1)+b_bc)+f_b ^(t)·c_b ^(t+1)

反向长短时记忆网络的输出h_b ^(t)＝o_b ^(t)·g(c_b ^(t))

其中，c_b ^(t+1)为t+1时刻的反向胞体，h_b ^(t+1)为t+1时刻反向长短时记忆网络的输出，x^(t)为t时刻读入的新词，用于生成新记忆；

最终双向长短时记忆模型的输出为h^(t)＝h_f ^(t)+h_b ^(t)

上述公式中，σ()为Sigmoid函数，g()为双曲正切函数，W_fi、W_ff、W_fo、W_fc、W_bi、W_bf、W_bo、W_bc与U_fi、U_ff、U_fo、U_fc、U_bi、U_bf、U_bo、U_bc为相关权重矩阵，b_fi、b_ff、b_fo、b_fc、b_bi、b_bf、b_bo、b_bc为相关偏置向量，·表示点积运算。

而且，网络的损失函数为，

其中，m为训练样本个数，y_i为样本i对应的真实类别，代表样本i空谱联合分类的预测类别。

本发明的有益效果为：

(1)本发明提出了一种新颖的自适应空谱特征权重学习机制，将空间权重与光谱权重视作两个可学习的参数，使网络可以根据不同数据集的特点，自适应的学习不同遥感场景下的空谱特征融合权重；

(2)本发明充分考虑高光谱遥感影像相邻波段间的相关性，提出了基于波段分组的双向长短时记忆模型用于层次化光谱特征提取，从而综合考虑了波长范围由短到长及由长到短两个方向上，相邻波段间的光谱特性。相比于只考虑正向光谱特性的现有方法，本发明在进行特征提取时，不仅利用了高光谱序列的前文信息(即短波范围特征)，也能同时利用后文信息(即长波范围特征)，真正实现了基于上下文关系的光谱特征提取。

因此，本发明技术方案能够更好的实现空谱特征的有效融合，实现更高精度地物目标识别。

附图说明

图1为本发明实施例提出的基于双向长短时记忆模型进行光谱特征学习的网络结构示意图。

图2为本发明实施例采用的基于多尺度卷积神经网络进行空间特征学习的网络结构示意图。

图3为本发明实施例的自适应空谱特征权重学习机制结构示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供的方法建立包含光谱特征提取与空间特征提取两个分支的网络，并将两个分支的特征进行自适应融合，实现空谱特征联合分类。在光谱特征提取分支中，考虑到高光谱图像波段间的相关性，提出了基于波段分组的双向长短时记忆网络模型；在空间特征提取分支中，采用多尺度的卷积神经网络模型。方法综合考虑了光谱特征提取、空间特征提取与分类器训练，通过共享统一的目标函数，使得空谱特征得到更好的融合，从而更好的满足高精度地物目标识别的需求。

本发明实施例提供的一种基于空谱自适应双向长短时记忆模型的高光谱遥感图像分类方法，包括以下步骤：

步骤1：将高光谱图像中的每一个像素对应的光谱向量分成τ个分组；

请见图1，高光谱图像中的每个像素对应的原始光谱向量被分成τ个分组。

作为优选，步骤1中所述的光谱向量分组，其具体实现过程包括以下子步骤：

步骤1.1：给定波段分组的目标组数τ。具体实施时，可预设τ的取值，建议取值范围为2～10；

步骤1.2：记z＝[z₁,z₂,…,z_n]为原始高光谱图像中某像素的光谱向量，其中z_i为第i个波段的反射率，n为总的波段数。计算每一组份序列长度为m＝floor(n/τ)，其中floor()表示向下取整函数；

步骤1.3：以τ为间隔，对原始光谱向量进行分组操作。记x＝[x⁽¹⁾,x⁽²⁾,…,x^(τ)]为分组后的序列，其中每一个分组的生成方式可表示为：

x⁽¹⁾＝[z₁,z₂,…z_m]

x⁽²⁾＝[z_m+1,z_m+2,…z_2m]

…

x⁽ⁱ⁾＝[z_(i-1)m+1,z_(i-1)m+2,…z_im]

…

x^(τ)＝[z_(τ-1)m+1,z_(τ-1)m+2,…z_τm]

图1中，波段分组标号t＝1，2，…τ。

步骤2：对原始高光谱图像进行PCA降维(主成分分析，Principal ComponentAnalysis，PCA)，保留前p个主成分；

具体实施时，本领域技术人员可预先设定p的取值。请见图2，原始高光谱图像经过PCA降维后，维度降至p维。

作为优选，步骤2中所述的PCA降维，其具体实现过程包括以下子步骤：

步骤2.1：记高光谱图像为其中m为图像中的像素总数，n为光谱特征总数，表示实数域。计算图像X的协方差矩阵C；

步骤2.2：对协方差矩阵C进行奇异值分解，得到矩阵C的特征值与对应的特征向量；

步骤2.3：对特征值按数值大小进行降序排序，特征向量按特征值的顺序也依次进行排序；

步骤2.4：取步骤2.3排序后的前p个特征向量u₁,u₂,…u_p组成矩阵

步骤2.5：计算降维后的图像Z＝XU。

步骤3：对降维后的高光谱图像中的每一个像素，以该像素为中心，提取大小为w×w×p的影像块，即邻域块；具体实施时，可预设w的取值，建议取值范围为8～20；

请见图2，对降维后的高光谱图像中的每一个像素进行邻域块的提取操作。

步骤4：初始化网络中的参数；

具体实施时，可以根据需要预先初始化神经网络中的所有可训练的参数。优选地，初始化所有卷积层与全连接层中的权重矩阵和偏置向量参数，使其满足均值为0方差为0.1的高斯分布。

步骤5：将基于步骤1生成的光谱训练样本输入到网络的光谱特征提取分支；

请见图1，网络的光谱分支为一个双向长短时记忆模型，具体包括一个正向长短时记忆网络与一个反向长短时记忆网络。其输入数据为步骤1产生的τ个分组序列数据，输出为全连接结构的光谱特征。图中，Sigmoid函数的表达式为σ(x)＝1/(1+exp(-x))。

t时刻正向长短时记忆网络中的门限函数及胞体(Cell)计算方式如下：

正向输入门i_f ^(t)＝σ(W_fix^(t)+U_fih_f ^(t-1)+b_fi)

正向遗忘门f_f ^(t)＝σ(W_ffx^(t)+U_ffh_f ^(t-1)+b_ff)

正向输出门o_f ^(t)＝σ(W_fox^(t)+U_foh_f ^(t-1)+b_fo)

正向胞体c_f ^(t)＝i_f ^(t)·g(W_fcx^(t)+U_fch_f ^(t-1)+b_fc)+f_f ^(t)·c_f ^(t-1)

正向长短时记忆网络的输出h_f ^(t)＝o_f ^(t)·g(c_f ^(t))

其中，c_f ^(t-1)为t-1时刻的正向胞体，h_f ^(t-1)为t-1时刻正向长短时记忆网络的输出，x^(t)为t时刻读入的新词，用于生成新记忆。

t时刻反向长短时记忆网络中的门限函数及胞体计算方式如下：

反向输入门i_b ^(t)＝σ(W_bix^(t)+U_bih_b ^(t+1)+b_bi)

反向遗忘门f_b ^(t)＝σ(W_bfx^(t)+U_bfh_b ^(t+1)+b_bf)

反向输出门o_b ^(t)＝σ(W_box^(t)+U_boh_b ^(t+1)+b_bo)

反向胞体c_b ^(t)＝i_b ^(t)·g(W_bcx^(t)+U_bch_b ^(t+1)+b_bc)+f_b ^(t)·c_b ^(t+1)

反向长短时记忆网络的输出h_b ^(t)＝o_b ^(t)·g(c_b ^(t))

其中，c_b ^(t+1)为t+1时刻的反向胞体，h_b ^(t+1)为t+1时刻反向长短时记忆网络的输出，x^(t)为t时刻读入的新词，用于生成新记忆。

最终双向长短时记忆模型的输出为h^(t)＝h_f ^(t)+h_b ^(t)

上述公式中，g(x)＝tanh(x)＝(e^x-e^-x)/(e^x+e^-x)为双曲正切函数，W(包括W_fi、W_ff、W_fo、W_fc、W_bi、W_bf、W_bo、W_bc)与U(包括U_fi、U_ff、U_fo、U_fc、U_bi、U_bf、U_bo、U_bc)为相关权重矩阵，b(包括b_fi、b_ff、b_fo、b_fc、b_bi、b_bf、b_bo、b_bc)为相关偏置向量，·表示点积运算。

步骤6：将基于步骤2、3生成的空间训练样本输入到网络的空间特征提取分支；

请见图2，网络的空间分支为包含三个卷积层、三个池化层及四个全连接层的卷积神经网络，其输入数据为步骤2、3产生的影像块，输出为多尺度空间特征。具体而言，卷积层1、池化层1、卷积层2、池化层2、卷积层3和池化层3依次连接，网络中的三个池化层分别添加一个节点数为128的全连接层进行空间特征学习，以保证特征的维度一致。记hⁱ＝σ(Wⁱxⁱ+bⁱ),i＝1,2,3为第i个池化层对应的全连接层特征，其中xⁱ表示第i个池化层拉直后的特征向量，Wⁱ，bⁱ分别为对应的权重矩阵与偏置向量，σ()为Sigmoid函数。随后采用一个全连接层，以逐点相加的方式，将三个全连接层的特征进行融合，得到多尺度空间特征

步骤7：进行空谱特征融合。请见图3。记空间特征向量和光谱特征向量分别为h_spatial和h_spectral，λ_spatial和λ_spectral为对应的权重因子。则融合的空谱特征h_joint可表示为：

h_joint＝λ_spatialh_spatial+λ_spectralh_spectral

式中，λ_spatial和λ_spectral为可训练的网络参数，在网络训练过程中可进行自适应的学习。λ_spatial和λ_spectral取值范围为1～2，在步骤4中也可以对λ_spatial和λ_spectral预先进行随机初始化。

步骤8：利用随机批梯度下降算法，最小化网络的损失函数。网络的损失函数为：

其中，m为训练样本个数，y_i为样本i对应的真实类别，代表样本i空谱联合分类的预测类别。

步骤9：对待分类高光谱图像，采用步骤1、2、3生成测试样本，输入到网络中，完成分类任务。

以上是本发明涉及的高光谱图像分类方法的实现步骤。整个网络综合考虑了光谱特征提取、空间特征提取与分类器训练，通过共享统一的目标函数，使得空谱特征得到更好的融合。具体实施时，可采用软件方式实现流程的自动运行。运行流程的装置也应当在本发明的保护范围内。

由于数据采集设备的差异，采集到的高光谱图像像素值往往差别很大，可能影响图像分类效果。为了避免这一问题，在进行步骤1前，应对高光谱图像数据进行标准化处理，使所有像素值处于0-1的范围之内。这一步将作为本发明涉及的预处理步骤。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于空谱自适应双向长短时记忆模型的高光谱分类方法，建立包含光谱特征提取与空间特征提取两个分支的网络，并将两个分支的特征进行融合，实现空谱特征联合分类，其特征在于：在光谱特征学习分支中，针对高光谱图像波段间的相关性，提出了基于波段分组的双向长短时记忆网络模型，该模型包括一个正向长短时记忆网络与一个反向长短时记忆网络；在进行空谱特征融合时，记空间特征向量和光谱特征向量分别为h_spatial和h_spectral，λ_spatial和λ_spectral为对应的权重因子，融合的空谱特征h_joint表示为，

h_joint＝λ_spatialh_spatial+λ_spectralh_spectral

式中，λ_spatial和λ_spectral在网络训练过程中进行自适应的学习；

在利用随机批梯度下降算法最小化网络的损失函数之后，对待分类高光谱图像生成测试样本，输入到网络中，得到地物分类结果。

2.根据权利要求1所述基于空谱自适应双向长短时记忆模型的高光谱分类方法，其特征在于：采用以下步骤实现，

步骤1，将高光谱图像中的每一个像素对应的光谱向量分成多个分组；

步骤2，对原始高光谱图像进行PCA降维；

步骤3，对降维后的高光谱图像中的每一个像素，以该像素为中心提取影像块；

步骤4，初始化网络中的参数，满足均值为0方差为0.1的高斯分布；

步骤5，将基于步骤1生成的光谱训练样本输入到网络的光谱特征提取分支；

步骤6，将基于步骤2和步骤3生成的空间训练样本输入到网络的空间特征提取分支；

步骤7，进行空谱特征融合；

步骤8，利用随机批梯度下降算法，最小化网络的损失函数；

步骤9，对待分类高光谱图像，采用步骤1、步骤2和步骤3生成测试样本，输入到网络中，完成分类任务。

3.根据权利要求2所述基于空谱自适应双向长短时记忆模型的高光谱分类方法，其特征在于：所述双向长短时记忆网络模型，输入数据为步骤1产生的多个分组序列数据，输出为全连接结构的光谱特征，

t时刻正向长短时记忆网络中的门限函数及胞体计算方式如下：

正向输入门i_f ^(t)＝σ(W_fix^(t)+U_fih_f ^(t-1)+b_fi)

正向遗忘门f_f ^(t)＝σ(W_ffx^(t)+U_ffh_f ^(t-1)+b_ff)

正向输出门o_f ^(t)＝σ(W_fox^(t)+U_foh_f ^(t-1)+b_fo)

正向胞体c_f ^(t)＝i_f ^(t)·g(W_fcx^(t)+U_fch_f ^(t-1)+b_fc)+f_f ^(t)·c_f ^(t-1)

正向长短时记忆网络的输出h_f ^(t)＝o_f ^(t)·g(c_f ^(t))

其中，c_f ^(t-1)为t-1时刻的正向胞体，h_f ^(t-1)为t-1时刻正向长短时记忆网络的输出，x^(t)为t时刻读入的新词，用于生成新记忆；

t时刻反向长短时记忆网络中的门限函数及胞体计算方式如下，

反向输入门i_b ^(t)＝σ(W_bix^(t)+U_bih_b ^(t+1)+b_bi)

反向遗忘门f_b ^(t)＝σ(W_bfx^(t)+U_bfh_b ^(t+1)+b_bf)

反向输出门o_b ^(t)＝σ(W_box^(t)+U_boh_b ^(t+1)+b_bo)

反向胞体c_b ^(t)＝i_b ^(t)·g(W_bcx^(t)+U_bch_b ^(t+1)+b_bc)+f_b ^(t)·c_b ^(t+1)

反向长短时记忆网络的输出h_b ^(t)＝o_b ^(t)·g(c_b ^(t))

其中，c_b ^(t+1)为t+1时刻的反向胞体，h_b ^(t+1)为t+1时刻反向长短时记忆网络的输出，x^(t)为t时刻读入的新词，用于生成新记忆；

最终双向长短时记忆模型的输出为h^(t)＝h_f ^(t)+h_b ^(t)

上述公式中，σ()为Sigmoid函数，g()为双曲正切函数，W_fi、W_ff、W_fo、W_fc、W_bi、W_bf、W_bo、W_bc与U_fi、U_ff、U_fo、U_fc、U_bi、U_bf、U_bo、U_bc为相关权重矩阵，b_fi、b_ff、b_fo、b_fc、b_bi、b_bf、b_bo、b_bc为相关偏置向量，·表示点积运算。

4.根据权利要求1或2或3所述基于空谱自适应双向长短时记忆模型的高光谱分类方法，其特征在于：网络的损失函数为，

其中，m为训练样本个数，y_i为样本i对应的真实类别，代表样本i空谱联合分类的预测类别。