CN107657271A - 基于长短时记忆网络的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于长短时记忆网络的高光谱图像分类方法，克服了现有技术中只利用高光谱图像的光谱信息、不能有效利用高光谱图像邻域信息进行分类的缺点。本发明实现的步骤是：(1)输入高光谱图像；(2)高光谱图像降维；(3)对主成分灰度图进行形态学滤波；(4)确定训练样本集和测试样本集；(5)构建局部空间序列特正；(6)训练长短时记忆网络；(7)对高光谱图像进行分类；(8)输出分类图像。本发明具有充分利用高光谱图像的空间上下文关系使得分类效果更精确的优点，可用于高光谱图像的分类。

Description

基于长短时记忆网络的高光谱图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及高光谱图像分类技术领域中的一种基于长短时记忆网络的高光谱图像分类方法。本发明可用于对高光谱图像进行地物分类。

背景技术

深度学习模型通过分层的方式对低层特征进行高度抽象，从而得到特征更好的表示方法。目前已有学者将栈式自编码网络SAE，深度置信网络DBN，卷积神经网络CNN和递归神经网络RNN深度学习模型引入到高光谱图像分类中来。

Yushi Chen等人在其发表的论文“Deep Feature Extraction andClassification of Hyperspectral Images Based on Convolutional NeuralNetworks”(IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING，2016年)中提出了一种基于卷积神经网络的高光谱特征提取方法。该方法的步骤是：首先，将高光谱数据进行PCA降维；其次，选取矩形窗口中的像素连接成以特征向量作为局部空间特征，再与原始光谱特征连接起来；最后，作为低层特征输入构建好的卷积神经网络网络CNN模型。该方法虽然较传统分类方法提高了分类精度，但是仍然存在的不足之处是，在局部空间特征提取时，简单地选取邻域的所有像素而不加处理，其中与中心像素差异较大的像素严重影响了分类精度。

西安电子科技大学在其申请的专利文献“基于递归神经网络的高光谱图像分类方法”(专利申请号：201710014713.7，公开号：106815601A)中提出了一种基于递归神经网络RNN的高光谱分类方法。该方法的步骤是：首先，提取高光谱图像的空间纹理特征和稀疏表示特征；其次，将二者堆叠组合成低层特征,并在低层特征上提取样本局部空间序列特征；最后，作为低层特征输入构建好的递归神经网络RNN模型。该方法虽然在一定程度上提高了分类精度，但是仍然存在的不足之处是，递归神经网络RNN模型本身存在的长时依赖问题会在一定程度上影响分类精度。

发明内容

本发明的目的在于克服上述现有技术的不足，提出了一种基于长短时记忆网络的高光谱图像分类方法，本发明以构建纯净度更高分类效果更好的低层特征，同时加强对局部空间内像素之间相关性的探索，并将低层特征抽象为判别性更高的高层语义特征，从而更充分地利用高光谱图像的特性和空间上下文关系，提高分类精度。

为实现上述目的，本发明的具体步骤如下：

(1)输入高光谱图像：

输入一幅待分类的高光谱图像，将高光谱图像中的每一个像素设定为一个样本，每个样本用一个特征向量表示；

(2)对高光谱图像进行降维：

对输入的高光谱图像进行主成分分析PCA降维处理，获得高光谱图像的主成分灰度图；

(3)对主成分灰度图进行形态学滤波：

(3a)从高光谱图像主成分灰度图中提取前5个主成分灰度图；

(3b)使用5个形态学滤波器，依次对每个主成分灰度图进行形态学的开运算，得到主成分灰度图共25个滤波后图像；

(3c)使用5个形态学滤波器，依次对每个主成分灰度图进行形态学的闭运算，得到主成分灰度图共25个滤波后图像；

(3d)将开运算得到的滤波后图像和闭运算得到的滤波后图像相加，将得到50个滤波后图像堆叠成特征向量长度为50的形态学特征矩阵；

(4)确定训练样本集与测试样本集：

从高光谱图像的每类地物中，依次随机选取10％的样本，作为高光谱图像的训练样本集，并记录训练样本集的坐标位置，将剩余90％的样本，作为高光谱图像的测试样本集；

(5)构建局部空间序列特征：

(5a)在高光谱图像的形态学特征矩阵中，以每个样本为中心样本组成一个矩形窗口；

(5b)利用欧氏距离公式，计算每个矩形窗口内每个样本与矩形窗口中心样本间的相似性；

(5c)在每个矩形窗口中，将所有样本的相似性从大到小排列，组成每个中心样本的局部空间序列特征矩阵；

(6)训练长短时记忆网络：

(6a)以每个矩形窗口中像素个数为时间步长，形态学特征向量长度为输入层和隐层节点个数，构建长短时记忆网络模型；

(6b)将训练样本的局部空间序列特征矩阵和与其对应的类别标签，输入长短时记忆网络，迭代训练模型的参数，得到训练好的长短时记忆网络模型；

(7)对高光谱图像进行分类：

将每个测试样本的局部空间序列特征矩阵，输入到训练好的长短时记忆网络模型中，得到分类的高光谱图像；

(8)输出分类后的高光谱图像。

本发明与现有的技术相比具有以下优点：

第一，本发明在构建局部空间序列特征时，在高光谱图像的形态学特征矩阵中，以每个样本为中心样本组成一个矩形窗口，利用欧氏距离公式，计算每个矩形窗口内每个样本与矩形窗口中心样本间的相似性，在每个矩形窗口中，将所有样本的相似性从大到小排列，组成每个中心样本的局部空间序列特征矩阵，克服了现有技术简单地选取邻域的所有像素而不加处理，其中与中心像素差异较大的像素严重影响分类精度的缺点，使得本发明具有更充分地利用高光谱图像的特性，提高分类精度的优点。

第二，本发明采用长短时记忆网络模型，以每个矩形窗口中像素个数为时间步长，形态学特征向量长度为输入层和隐层节点个数，构建长短时记忆网络模型，将训练样本的局部空间序列特征矩阵和与其对应的类别标签，输入长短时记忆网络，迭代训练模型的参数，得到训练好的长短时记忆网络模型，克服了现有技术采用递归神经网络时存在的长时依赖性的缺点，使得本发明具有更充分地利用高光谱图像的空间上下文关系，提高了分类正确率的优点。

附图说明

图1是本发明的流程图；

图2是本发明长短时记忆网络模型示意图；

图3是本发明的仿真图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，本发明的实现步骤如下。

步骤1，输入高光谱图像。

输入一幅待分类的高光谱图像，将高光谱图像中的每一个像素设定为一个样本，每个样本用一个特征向量表示。

步骤2，高光谱图像降维。

对输入的高光谱图像进行主成分分析PCA降维处理，获得高光谱图像的主成分灰度图。

步骤3，对主成分灰度图进行形态学滤波。

从高光谱图像主成分灰度图中提取前5个主成分灰度图。

使用5个形态学滤波器，依次对每个主成分灰度图进行形态学的开运算，得到主成分灰度图共25个滤波后图像。

使用5个形态学滤波器，依次对每个主成分灰度图进行形态学的闭运算，得到主成分灰度图共25个滤波后图像。

将开运算得到的滤波后图像和闭运算得到的滤波后图像相加，将得到50个滤波后图像堆叠成特征向量长度为50的形态学特征矩阵。

步骤4，确定训练样本集与测试样本集。

从高光谱图像的每类地物中，依次随机选取10％的样本，作为高光谱图像的训练样本集，并记录训练样本集的坐标位置，将剩余90％的样本，作为高光谱图像的测试样本集。

步骤5，构建局部空间序列特征。

在高光谱图像的形态学特征矩阵中，以每个样本为中心样本组成一个矩形窗口。

利用欧氏距离公式，计算每个矩形窗口内每个样本与矩形窗口中心样本间的相似性。

在每个矩形窗口中，将所有样本的相似性从大到小排列，组成每个中心样本的局部空间序列特征矩阵。

步骤6，训练长短时记忆网络。

以每个矩形窗口中像素个数为时间步长，形态学特征向量长度为输入层和隐层节点个数，构建如图2所示的长短时记忆网络模型，图2中的U、V、W表示不同的权值，S表示不同时刻的状态，x表示不同时刻的输入，o表示不同时刻的输出，展开为不同时刻的输入x_t-1、x_t，不同时刻的状态s_t-1、s_t，不同时刻的输出o_t-1、o_t。

将训练样本的局部空间序列特征矩阵和与其对应的类别标签，输入长短时记忆网络，迭代训练模型的参数，得到训练好的长短时记忆网络模型。

构建时间步长为T＝w×w、输入层和隐层节点个数均为50的长短时记忆网络模型，其中，为正方形窗口的边长。

将训练样本的局部空间序列特征中的每一个形态学特征向量，输入长短时记忆网络每一个对应的时间步长，采用反向传播方法迭代训练长短时记忆网络模型的参数，得到训练好的长短时记忆网络模型。

步骤7，对高光谱图像进行分类。

将每个测试样本的局部空间序列特征矩阵，输入到训练好的长短时记忆网络模型中，得到分类的高光谱图像。

步骤8，输出分类后的高光谱图像。

下面结合附图3的仿真图对本发明的效果做进一步说明。

图3是采用本发明与现有技术的方法，对Indian Pines图像进行分类的结果对比图。其中，图3(a)是本发明仿真实验中使用的高光谱图像Indian Pines的真实地物分布图。图3(b)是本发明仿真实验中采用现有技术的支撑向量机SVM方法对高光谱图像IndianPines进行分类的结果图。图3(c)是本发明仿真实验中采用本发明的方法对高光谱图像Indian Pines进行分类的结果图。

1、仿真实验条件:

本发明仿真实验采用图3(a)中的待分类图像，该图像于1992年6月由美国宇航局NASA喷气推进实验室的空载可见光/红外成像光谱仪AVIRIS在印第安纳西北部获取，图像大小为145×145，共220个波段，去除噪声以及大气和水域吸收的波段还有200个波段，共16类地物，分别为Alfalfa，其样本个数为46，Corn-notill，其样本个数为1428，Corn-mintill，其样本个数为830，Corn，其样本个数为237，Grass-pasture，其样本个数为483，Grass-trees，其样本个数为730个，Oats，其样本个数为20个，Soybean-notill，其样本个数为972个，Soybean-mintill其样本个数为2455个，Soybean-clean，其样本个数为593个，Wheat其样本个数为205个Grass-pasture-mowed，其样本个数为28个，Hay-windrowed，其样本个数为478个，Buildings-Grass-Trees-Drives，其样本个数为386个，Stone-Steal-Towers，其样本个数为93个，Woods，其样本个数为1265个，如表1所示。

仿真实验在CPU为Intel Core i5-4210、主频2.90GHz，内存为8G的Windows10系统上用Python进行。

表1 Indian Pines图像中的16类数据一览表

类别	类别名称	样本个数	类别	类别名称	样本个数
						1	Alfalfa	46	9	Oats	20
2	Corn-notill	1428	10	Soybean-notill	972
						3	Corn-mintill	830	11	Soybean-mintill	2455
4	Corn	237	12	Soybean-clean	593
						5	Grass-pasture	483	13	Wheat	205
6	Grass-trees	730	14	Woods	1265
						7	Grass-pasture-mowed	28	15	Buildings-Grass-Trees-Drives	386
8	Hay-windrowed	478	16	Stone-Steal-Towers	93

2.本实验采用的仿真参数：

以上仿真实验统一选择10％作为训练样本，剩下的90％作为测试样本，SVM惩罚因子设置为491；本发明中，PCA变换保留前5个主成分，形态学滤波器的结构元素选择盘形，半径选择{1,3,5,7,9}5种大小共5个滤波器，时间节点个数T设置为9。

3.仿真内容及结果分析：

本发明采用的现有技术对比分类方法分别如下：

Melgani等人在其发表论文“Classification of hyperspectral remotesensing images with support vector machines,IEEE Trans.Geosci.Remote Sens.,vol.42,no.8,pp.1778–1790,Aug.2004”中提出的高光谱图像分类方法，简称支撑向量机SVM分类方法。

在仿真实验中，采用以下三个现有指标来评价本发明方法的性能：

第一个评价指标是总精度(OA)，表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好。

第二个评价指标是平均精度(AA)，表示每一类分类精度的平均值，值越大，说明分类效果越好。

第三个评价指标是卡方系数(Kappa)，表示混淆矩阵中不同的权值，值越大，说明分类效果越好。

3.仿真结果分析：

图3(a)是本发明仿真实验中使用的高光谱图像Indian Pines的真实地物分布图。图3(b)是采用现有技术的支撑向量机SVM方法对高光谱图像Indian Pines进行分类的结果图，图3(c)是采用本发明的方法对高光谱图像Indian Pines进行分类的结果图。图3中，以16种颜色分别代表16种地物。从图3(b)中可以看出，各颜色块中存在很多不同颜色的孤立的点，而图3(c)中的各颜色块中几乎没有不同颜色的孤立的点，说明采用本发明的方法对高光谱图像Indian Pines进行分类的错分样本更少，分类准确率更高。

采用本发明的方法与现有技术各进行10次仿真实验，将得到仿真实验的10组分类结果图和分类准确率，将10组仿真实验的分类准确率取平均值，作为最终的分类正确率，如表2所示的各方法分类结果的定量分析一览表。表2中包括SVM、本发明方法、OA、AA和Kappa，其中，SVM表示采用支撑向量机SVM方法对高光谱图像Indian Pines进行分类的结果，本发明方法表示本发明方法对高光谱图像Indian Pines进行分类的结果，OA表示总体的分类正确率，AA表示每类的平均正确率，Kappa表示卡方系数。

表2 各方法分类结果的定量分析一览表

方法类型	OA(％)	AA(％)	Kappa
				SVM	81.24	74.06	0.79
本发明方法	97.58	96.84	0.97

从表2可见，OA表示总体的分类正确率，AA表示每类的平均正确率，Kappa表示卡方系数，采用本发明方法的OA、AA和Kappa均比采用支持向量机SVM的OA、AA和Kappa高。由此可见，本发明由于包含了局部空间序列信息，相比于只用单像素信息的SVM方法，分类正确率明显要更高，而且本发明又使用长短时记忆网络模型将低层特征抽取为更具表示性高层语义特征，可以获得更高的分类正确率。

综上所述，本发明将高光谱图像的形态学征作为低层特征，并在局部空间特征的基础上提取了局部空间序列特征，并利用深度学习框架中的长短时记忆网络模型对高光谱图像进行分类，既提高了低层特征的纯净度和判别性，又探索了高光谱图像的局部空间内各像素样本之间的相似度信息，提高了重要像素的作用，减少了无用像素的影响，同时将长短时记忆网络的时序特性与高光谱图像局部空间序列信息结合起来，可以有效整合高光谱图像局部空间的上下文关系，将低层特征抽象提取为高层语义特征，充分利用了高光谱的特性，得到较高的识别率，与现有的方法相比具有明显的优势。

Claims (2)

1.一种基于长短时记忆网络的高光谱图像分类方法，其特征在于，包括步骤如下：

(1)输入高光谱图像：

输入一幅待分类的高光谱图像，将高光谱图像中的每一个像素设定为一个样本，每个样本用一个特征向量表示；

(2)对高光谱图像进行降维：

对输入的高光谱图像进行主成分分析PCA降维处理，获得高光谱图像的主成分灰度图；

(3)对主成分灰度图进行形态学滤波：

(3a)从高光谱图像主成分灰度图中提取前5个主成分灰度图；

(3b)使用5个形态学滤波器，依次对每个主成分灰度图进行形态学的开运算，得到主成分灰度图共25个滤波后图像；

(3c)使用5个形态学滤波器，依次对每个主成分灰度图进行形态学的闭运算，得到主成分灰度图共25个滤波后图像；

(3d)将开运算得到的滤波后图像和闭运算得到的滤波后图像相加，将得到50个滤波后图像堆叠成特征向量长度为50的形态学特征矩阵；

(4)确定训练样本集与测试样本集：

从高光谱图像的每类地物中，依次随机选取10％的样本，作为高光谱图像的训练样本集，并记录训练样本集的坐标位置，将剩余90％的样本，作为高光谱图像的测试样本集；

(5)构建局部空间序列特征：

(5a)在高光谱图像的形态学特征矩阵中，以每个样本为中心样本组成一个矩形窗口；

(5b)利用欧氏距离公式，计算每个矩形窗口内每个样本与矩形窗口中心样本间的相似性；

(5c)在每个矩形窗口中，将所有样本的相似性从大到小排列，组成每个中心样本的局部空间序列特征矩阵；

(6)训练长短时记忆网络：

(6a)以每个矩形窗口中像素个数为时间步长，形态学特征向量长度为输入层和隐层节点个数，构建长短时记忆网络模型；

(6b)将训练样本的局部空间序列特征矩阵和与其对应的类别标签，输入长短时记忆网络，迭代训练模型的参数，得到训练好的长短时记忆网络模型；

(7)对高光谱图像进行分类：

将每个测试样本的局部空间序列特征矩阵，输入到训练好的长短时记忆网络模型中，得到分类的高光谱图像；

(8)输出分类后的高光谱图像。

2.根据权利要求1所述的基于长短时记忆网络的高光谱图像分类方法，其特征在于，步骤(6b)中所述的将训练样本的局部空间序列特征矩阵和与其对应的类别标签，输入长短时记忆网络，迭代训练模型的参数，具体步骤如下：

第一步，构建时间步长为T、输入层和隐层节点个数均为50的长短时记忆网络模型，其中T＝w×w，w为正方形窗口的边长；

第二步，将训练样本的局部空间序列特征中的每一个形态学特征向量，输入长短时记忆网络每一个对应的时间步长，采用反向传播方法迭代训练长短时记忆网络模型的参数，得到训练好的长短时记忆网络模型。