CN111860654B - 一种基于循环神经网络的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了基于循环神经网络的高光谱图像分类方法，包括以下步骤：使用主成分分析方法将三维的高光谱图像数据作进行降维处理，获取二维主成分图像；获取二维主成分图像的纹理特征和形态特征，将两个特征叠加在一起得到融合特征图像和其特征矩阵，获取融合特征图像中每个像素的非邻域像素特征，作为训练样本；利用训练样本的非邻域像素特征对循环神经网络进行参数训练，得到训练好的高光谱图像分类模型，利用训练好的高光谱图像分类模型对高光谱图像进行分类。本发明整合了高光谱图像纹理特征和形态学特征，引入非邻域像素特征的思想并同时使用循环神经网络的记忆功能完成高光谱图像分类任务，提升分类结果的可靠性。

Description

一种基于循环神经网络的高光谱图像分类方法

技术领域

本发明涉及高光谱图像分类领域，具体涉及一种基于循环神经网络的高光谱图像分类方法。

背景技术

随着高光谱遥感领域的快速发展以及成像设备的更新换代，高光谱遥感技术的应用场景变得越来越广阔，同时高光谱遥感图像的分辨率和成像波段也在不断增加。这些变化也使得在高光谱图像分类的整个过程中的困难和挑战与日俱增。高光谱图像分类实质上就是用一定算法对图像中的光谱和空间信息进行特征提取和学习，并使用合理的分类策略，赋予图像中的像素点一个确定的类别标签。

随着深度学习框架的兴起和不断发展，研究者就把深度学习框架与传统的高光谱图像分类方法相结合并取得了令人满意的分类效果，比如在文献1(PAL M,FOODY GM.Feature Selection for Classification of Hyperspectral Data by SVM[J].Geoscience&Remote Sensing IEEE Transactions on,2010,48(5):2297-2307)提出将支持向量机模型(Support Vector Machine,SVM)运用到高光谱图像分类中来，文献2(CHENY,JIANG H,LI C,et al.Deep Feature Extraction and Classification ofHyperspectral Images Based on Convolutional Neural Networks[J].IEEETransactions on Geoscience&Remote Sensing,2016,54(10):1-20)将卷积神经网络模型(Convolutional Neural Network,CNN)模型用到高光谱图像分类领域。CNN可以分为有监督或者无监督的，对于有监督的CNN网络如果进行大规模的参数训练极其容易出现过拟合现象，从而对分类结果造成影响。文献3(黄鸿，郑新磊.加权空-谱与最近邻分类器相结合的高光谱图像分类[J].光学精密工程，2016，24(4)：873-881)提出了一种基于加权空-谱距离(Weighted Spatial-Spectral Distance，WSSD)的相似性度量算法，该方法利用像素的空间近邻对其进行重构，更进一步描述中心像素与近邻空间像素的信息，从而实现提高分类的精度的目标。此算法在对中心像素进行重构的过程存在引入异类地物的风险，对最终的分类结果产生影响，不能确保分类结果的可靠性。

以上高光谱图像分类算法都没有考虑到非邻域像素的相关性对分类结果的影响，从而导致分类的正确率得不到保证。

发明内容

本发明的目的是提供一种基于循环神经网络的高光谱图像分类方法，整合了高光谱图像纹理特征和形态学特征，引入非邻域像素特征的思想并同时使用循环神经网络的学习和记忆功能完成高光谱图像分类任务，提升分类结果的可靠性。

本发明采用的技术方案为：

一种基于循环神经网络的高光谱图像分类方法，包括如下步骤：

步骤1，输入原始三维高光谱图像数据，使用主成分分析方法将三维的高光谱图像数据进行降维处理，获取二维主成分图像；

步骤2，采用Gabor滤波变换获取二维主成分图像的纹理特征X_t，采用梯度直方图的方法获取二维主成分图像的形态特征X_s；纹理特征设为形态特征设为R为实数集，_K1表示高光谱图像的长度，_K2表示高光谱图像的宽度，l_t是纹理特征向量的长度，l_x是形态特征向量的长度；

步骤3，将步骤2中得到的形态特征X_s和纹理特征X_t使用多特征融合Stacking集成算法叠加在一起得到融合特征图像，并获取融合特征图像的特征矩阵X，它是将纹理特征和形态特征融合，其中l＝l_t+l_s表示特征矩阵的向量长度；

步骤4，获取融合特征图像中每个像素的非邻域像素特征，作为训练样本；对融合特征图像中的任一像素c，利用K最近邻算法在特征矩阵X中寻找相近的N个非邻域像素，并提取每一个非邻域像素的邻域像素特征；同时获取像素c的领域像素特征；N个非邻域像素的邻域像素特征和像素c的领域像素特征共同组成像素c的非邻域像素特征。

步骤5，利用训练样本的非邻域像素特征对循环神经网络进行参数训练，得到训练好的高光谱图像分类模型。

步骤6，利用训练好的高光谱图像分类模型对高光谱图像进行分类。

具体的，所述的步骤2中，Gabor滤波变换的核函数如公式(1)所示，

其中，x”＝x'cosθ+y'sinθ，y”＝-x'sinθ+y'cosθ，x'代表像素在二维主成分图像中的横坐标，y'代表像素在二维主成分图像中的纵坐标，f表示正弦平面波的频率，θ表示正弦平面波的旋转角度，φ是Gabor滤波变换的相位，σ表示高斯函数的半径，γ表示高斯函数方向角。

除此之外，所述的Gabor滤波变换中所用到的Gabor滤波器的数目为多个，任意一个Gabor滤波器与其它Gabor滤波器的频率f和旋转角度θ均不相同。

具体的，采用梯度直方图的方法获取二维主成分图像的形态特征X_s包括以下步骤：

利用公式(2)获取二维主成分图像中每个像素的方向θ(x,y)，利用公式(3)获取每个像素的幅度大小M(x,y)；

其中G_x水平方向的梯度值，G_y表示在垂直方向的梯度值，x代表像素在二维主成分图像中的横坐标，y代表像素在二维主成分图像中的纵坐标；

获取像素的方向θ(x,y)和幅度大小M(x,y)之后，将二维主成分图像分成若干个大小为S×S的重叠块，将每个块划分为若干个大小为Q×Q的单元；根据每个单元中像素的梯度大小，计算权重并投票，然后将这些投票集合到方向容器中，最后从每个单元中提取形态特征X_s。

此外，获取像素c的领域像素特征具体如下：

设定像素c作为中心像素，在像素c的邻域内都有m个像素，设定m个像素分别为c¹、c²…cⁱ…c^m，则利用欧几里德距离公式分别获取像素c¹、c²…cⁱ…c^m与像素c的之间的距离，根据与像素c之间的距离对m个像素进行排序，获取像素c的领域像素特征。

本发明对融合特征图像中的每个像素，利用K最近邻算法在特征矩阵X中寻找最相近的N个非邻域像素，并提取每一个非邻域像素的邻域像素特征；获取像素c的领域像素特征；然后N个非邻域像素的邻域像素特征和像素c的领域像素特征共同组成像素c的非邻域像素特征，在使用传统的纹理特征和形态特征的基础上，使用非邻域像素特征的思想，能用于分类的非邻域像素特征包含更多的信息量，从而提升高光谱图像分类的准确率。

附图说明

图1为本发明的方法流程图；

具体实施方式

如图1所示，本发明包括.一种基于循环神经网络的高光谱图像分类方法，包括如下步骤：

步骤1，输入原始三维高光谱图像数据，使用主成分分析方法将三维的高光谱图像数据作进行降维处理，获取二维主成分图像；

步骤2，采用Gabor滤波变换获取二维主成分图像的纹理特征X_t，采用梯度直方图的方法获取二维主成分图像的形态特征X_s；纹理特征形态特征/>R为实数集，K₁表示高光谱图像的长度，K₂表示高光谱图像的宽度，l_t是纹理特征向量的长度，l_x是形态特征向量的长度；

Gabor滤波变换的核函数如公式(1)所示，

其中，x”＝x'cosθ+y'sinθ，y”＝-x'sinθ+y'cosθ，x'代表像素在二维主成分图像中的横坐标，y'代表像素在二维主成分图像中的纵坐标，f表示正弦平面波的频率，θ表示正弦平面波的旋转角度，φ是Gabor滤波变换的相位，σ表示高斯函数的半径，γ表示高斯函数方向角。

采用梯度直方图的方法获取二维主成分图像的形态特征X_s包括以下步骤：

利用公式(2)获取二维主成分图像中每个像素的方向θ(x,y)，利用公式(3)获取每个像素的幅度大小M(x,y)；

其中G_x水平方向的梯度值，G_y表示在垂直方向的梯度值，x代表像素在二维主成分图像中的横坐标，y代表像素在二维主成分图像中的纵坐标；

获取像素的方向θ(x,y)和幅度大小M(x,y)之后，将二维主成分图像分成若干个大小为S×S的重叠块，将每个块划分为若干个大小为Q×Q的单元；根据每个单元中像素的梯度大小，计算权重并投票，然后将这些投票集合到方向容器中，最后从每个单元中提取形态特征X_s。

除此之外，所述的Gabor滤波变换中的Gabor滤波器的数目为多个，任意一个Gabor滤波器与其它Gabor滤波器的均不相同。不同频率f和旋转角度θ的Gabor滤波器通过卷积形成。多个Gabor滤波器构成Gabor滤波器组，从而提取出尽可能多的提取出高光谱图像中蕴含的纹理特征。

步骤3，将步骤2中得到的形态特征X_s和纹理特征X_t使用多特征融合Stacking集成算法叠加在一起得到更具有代表性的融合特征图像，并获取融合特征图像的特征矩阵X，它是将纹理特征和形态特征融合，其中l＝l_t+l_s表示特征矩阵的向量长度。

步骤4，获取融合特征图像中每个像素的非邻域像素特征，作为训练样本；对融合特征图像中的任一像素c，利用K最近邻算法在特征矩阵X中寻找最相近的N个非邻域像素，并提取每一个非邻域像素的邻域像素特征；获取像素c的领域像素特征；N个非邻域像素的邻域像素特征和像素c的领域像素特征通过多特征融合Stacking集成算法整合，共同组成像素c的非邻域像素特征。

获取像素c的领域像素特征具体如下：

设定像素c作为中心像素，在像素c的邻域内都有m个像素，设定m个像素分别为c¹、c²…cⁱ…c^m，则利用欧几里德距离公式分别获取像素c¹、c²…cⁱ…c^m与像素c的之间的距离，根据与像素c之间的距离对m个像素进行排序，获取像素c的领域像素特征。

步骤5，利用训练样本的非邻域像素特征对循环神经网络进行参数训练，得到训练好的高光谱图像分类模型。

步骤6，利用训练好的高光谱图像分类模型对高光谱图像进行分类。

根据邻域像素的同质性，在循环神经网络进行参数训练和测试数据时，利用每个像素的邻域w×w来获取邻域像素的信息，w表示邻域窗口的大小。

循环神经网络能够通过当前隐藏状态来处理顺序的输入信息，每个步骤的开始取决于前一步骤的开始。对于任意时间t处的隐藏层状态Z_t，使用Z_t作为存储器，它捕获在所有先前时间步骤中进行的操作的信息。

为了解决同一个邻域内不同像素对分类结果的影响，构造出邻域像素特征，有效地利用了邻域像素之间的关系。像素c的邻域内都有m个像素，根据m个像素的重要性对它们进行排序，最重要像素被设置为第一次输入向量，最不重要像素被设置为最后一次输入向量。根据循环神经网络的学习功能，最重要的像素带来的有利影响就会增加，从而增加了高光谱图像分类模型分类的精确性。

其实某个像素的重要性程度，是该像素和要分类的给定像素(即在矩形区域的中心像素)之间的相似度。则利用欧几里德距离公式求取邻域内像素与中心像素的之间的距离，距离中心像素越远的像素，重要性越低，距离中心像素越近的像素，重要性越高。

循环神经网络模型擅长处理排序后的数据。依据循环神经网络模型的特性，关于要分类的样本的记忆随着隐层到隐层的传播，能够一直保留且能持续影响整个输入序列。对于所有邻域之内的像素，它离中心像素的距离越远，重要性程度越低，它作为输入向量的时间就越晚，从而达到了对分类起到积极作用的像素对分类结果的影响越大的效果，增加高光谱图像分类模型分类的精确性。

除了邻域像素之间的关系影响分类结果，未处于该邻域内的像素也会对最终的分类结果造成影响。因为，在整个图像中，肯定存在部分像素与关注的像素很相似，但是它们离得较远，并不在同一邻域。因此非邻域像素的所携带的有用信息也很重要，关系到分类结果的准确性。因此，本发明对融合特征图像中的每个像素，利用K最近邻算法在特征矩阵X中寻找最相近的N个非邻域像素，并提取每一个非邻域像素的邻域像素特征；获取像素c的领域像素特征；然后N个非邻域像素的邻域像素特征和像素c的领域像素特征共同组成像素c的非邻域像素特征，在使用传统的纹理特征和形态特征的基础上，使用非邻域像素特征的思想，能用于分类的非邻域像素特征包含更多的信息量，从而提升高光谱图像分类的准确率。

以下通过实验验证本发明效果：

采用公开的Pavia University高光谱图像数据集进行实验。该数据集的大小为610×340×115，共有115个不同的波段。它的空间分辨率达1.3m，包括房屋、道路和树木等9类不同的地物。本实验选取每个数据集10％的样本作为训练集，Pavia University数据集真实地物类别、训练和测试样本数量选取如表1如示，邻域像素的窗口大小w＝10，N设置为3。

表1 Pavia University数据集的真实地物类别、训练和测试样本数量

总体精度(OA)、平均精度(AA)和Kappa系数是使用最普遍的高光谱图像分类的客观定量评价指标。本发明方法与文献1和文献2方法得到的OA、AA及Kappa值对比结果如表2所示。

表2本发明方法与现有分类方法得到的总体OA、AA和Kappa系数值对比结果

	文献1	文献2	本发明
				OA	90.90％	99.58％	99.77％
AA	88.83％	99.66％	99.70％
				Kappa	0.88	0.994	0.997

由表(2)可知，文献1、文献2和本发明方法的OA值依次为90.90％、99.58％、99.77％，文献1、文献2和本发明方法的AA值依次为83.83％、99.66％、99.70％，文献1、2和本发明方法的Kappa值依次为0.88、0.994、0.997。本发明方法比当前对比方法中最好的算法(文献2)在OA、AA及Kapaa值上分别提高0.19％、0.04％和0.003。

Claims (4)

1.一种基于循环神经网络的高光谱图像分类方法，其中包括了如下步骤：

步骤1，输入原始三维高光谱图像数据，使用主成分分析方法将三维的高光谱图像数据作进行降维处理，获取二维主成分图像；

步骤2，采用Gabor滤波变换获取二维主成分图像的纹理特征X_t，采用梯度直方图的方法获取二维主成分图像的形态特征X_s；纹理特征形态特征/>R为实数集，K₁表示高光谱图像的长度，K₂表示高光谱图像的宽度，l_t是纹理特征向量的长度，l_x是形态特征向量的长度；

步骤3，将步骤2中得到的形态特征X_s和纹理特征X_t使用多特征融合Stacking集成算法叠加在一起得到融合特征图像，并获取融合特征图像的特征矩阵X，它是将纹理特征和形态特征融合，其中l＝l_t+l_s表示特征矩阵的向量长度；

步骤4，获取融合特征图像中每个像素的非邻域像素特征，作为训练样本；对融合特征图像中的任一像素c，利用K最近邻算法在特征矩阵X中寻找最相近的N个非邻域像素，并提取每一个非邻域像素的邻域像素特征；获取像素c的领域像素特征；N个非邻域像素的邻域像素特征和像素c的领域像素特征共同组成像素c的非邻域像素特征；

获取像素c的领域像素特征具体如下：

设定像素c作为中心像素，在像素c的邻域内都有m个像素，设定m个像素分别为c¹、c²…cⁱ…c^m，则利用欧几里德距离公式分别获取像素c¹、c²…cⁱ…c^m与像素c的之间的距离，根据与像素c之间的距离对m个像素进行排序，获取像素c的领域像素特征；

步骤5，利用训练样本的非邻域像素特征对循环神经网络进行参数训练，得到训练好的高光谱图像分类模型；

步骤6，利用训练好的高光谱图像分类模型对高光谱图像进行分类。

2.根据权利要求1所述基于循环神经网络的高光谱图像分类方法，其特征在于：

所述的步骤2中，Gabor滤波变换的核函数如公式(1)所示，

其中，x”＝x'cosθ+y'sinθ，y”＝-x'sinθ+y'cosθ，x'代表像素在二维主成分图像中的横坐标，y'代表像素在二维主成分图像中的纵坐标，f表示正弦平面波的频率，θ表示正弦平面波的旋转角度，φ是Gabor滤波变换的相位，σ表示高斯函数的半径，γ表示高斯函数方向角。

3.根据权利要求2所述的基于循环神经网络的高光谱图像分类方法，其特征在于：

所述的Gabor滤波变换中的Gabor滤波器的数目为多个，任意一个Gabor滤波器与其它Gabor滤波器的频率f和旋转角度θ均不相同。

4.根据权利要求1所述的基于循环神经网络的高光谱图像分类方法，其特征在于：

采用梯度直方图的方法获取二维主成分图像的形态特征X_s包括以下步骤：

利用公式(2)获取二维主成分图像中每个像素的方向θ(x,y)，利用公式(3)获取每个像素的幅度大小M(x,y)；

其中G_x水平方向的梯度值，G_y表示在垂直方向的梯度值，x代表像素在二维主成分图像中的横坐标，y代表像素在二维主成分图像中的纵坐标；

获取像素的方向θ(x,y)和幅度大小M(x,y)之后，将二维主成分图像分成若干个大小为S×S的重叠块，将每个块划分为若干个大小为Q×Q的单元；根据每个单元中像素的梯度大小，计算权重并投票，然后将这些投票集合到方向容器中，最后从每个单元中提取形态特征X_s。