CN107798348A - 基于邻域信息深度学习的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于邻域信息深度学习的高光谱数据分类方法，包括如下步骤：对高光谱图像数据，随机划分训练集与测试集；以每一像素点n×n邻域内训练集样本的类归属与n×n邻域内所有样本的前l个主成分得分，作为每一样本的空间信息；将训练集每一样本的光谱信息与空间信息共同放入卷积神经网络，进行模型训练；将测试集每一样本的光谱信息与空间信息共同放入模型，进行分类结果预测。本发明将每一像素点在图片中n×n邻域的训练集类归属与邻域内所有样本的主成分分布作为空间信息，并采用二维卷积神经网络对此邻域图像进行进一步的空间特征提取，再与光谱维信息进行融合，可显著提升分类精度，在高光谱数据分类领域具有良好的应用前景。

Description

基于邻域信息深度学习的高光谱图像分类方法

技术领域

本发明涉及高光谱图像处理技术领域，具体涉及一种基于邻域信息深度学习的高光谱数据分类方法。

背景技术

高光谱遥感数据，同步获取光谱信息与空间信息，形成三维数据块，在地表目标探测、农林养殖指导、矿产开发与探测等多个领域具有广泛的应用前景。传统的高光谱图像分类一般是利用光谱维的信息对像素点进行分类，常用的方法包括：支持向量机(SVM)、K近邻算法(K-NN)，神经网络(ANN)、决策树 (DT)与随机森林(RF)等。

前期的分类方法主要是针对光谱信息的分类。然而，这一类分类方法，没有利用高光谱数据中的空间信息，导致分类的区域连续性较差，即产生某一像素点与邻域像素点不同的现象。目前，不少研究者提出利用邻域信息来提升高光谱数据分类精度，例如发明专利“基于光谱与邻域信息字典学习的高光谱图像”(申请公布号：CN 103886342 A)、发明专利“一种高光谱图像光谱域与空间域联合分类方法”(申请公布号：CN 104933410 A)，以及利用三维卷积神经网络学习高光谱的空间纹理信息。然而，这些方法，多涉及复杂的高光谱图像分割策略，光谱滤波、分类投票策略，分类结果受认为参数设置影响较大、算法设计复杂，因此如何有效利用高光谱空间邻域信息，有待于进一步的研究与提升。

发明内容

有鉴于此，为了解决现有技术中的上述问题，本发明提出一种基于邻域信息深度学习的高光谱数据分类方法，将每一像素点邻域的类归属与主成分分布作为空间信息，输入卷积神经网络进行空间特征提取，再进一步与光谱维特征进行信息融合后进行分类，充分利用了空间信息与光谱信息，可显著提升分类精度。

本发明通过以下技术手段解决上述问题：

一种基于邻域信息深度学习的高光谱数据分类方法，包括如下步骤：

S1、对高光谱图像数据，随机划分训练集与测试集；

S2、提取空间信息：以每一像素点n×n邻域内训练集样本的类归属与n×n 邻域内所有样本的l维主成分得分，作为每一样本的空间信息，空间信息维度为 n×n×(l+1)，记为S；

S3、将训练集每一样本的光谱信息S’与空间信息S共同放入卷积神经网络，进行模型训练；

S4、将测试集每一样本的光谱信息S’与空间信息S共同放入模型，进行分类结果预测。

进一步地，步骤S2中n×n邻域内空间信息的提取步骤为：

A、提取邻域类归属信息，信号维度为n×n；

B、提取邻域的前l个主成分得分信息,信号维度为n×n×l；

C、合并邻域类归属信息与邻域主成分分布信息，得到n×n×(l+1)维的样本空间信息。

进一步地，步骤A中提取邻域类归属信息的具体步骤为：

A1、将高光谱图像分类真值表gt-1中的测试集真值置零,置零后的真值表记作gt-2；

A2、对真值表补零：对高光谱图像分类真值表gt-2四周区域补零，补零宽度为n/2+1，补零后真值表记作gt-3；

n取奇数，使得样本位于邻域信息的中心位置；

A3、假设某一样本在高光谱图中的空间坐标为(i,j),则对真值表gt-3分割如下区域，作为该样本的类归属空间信息：

A4、对每一样本邻域信息的中间位置，即样本所在位置的类归属置零。

进一步地，步骤B中提取邻域主成分得分信息的具体步骤为：

B1、提取主成分：利用主成分分析得到每个样本的前l个主成分得分，得到主成分图PC_l；

B2、主成分图补零：对主成分图PC_l四周区域补零，补零宽度为n/2+1，补零后真值表记作PC_l-2；

B3、假设某一样本在高光谱图中的空间坐标为(i,j)，则对l维主成分得分图 PC_l-2分割如下区域，作为样本的主成分分布空间信息：

得到的主成分分布信息维度为n×n×l。

进一步地，S3中的卷积神经网络的具体结构与步骤如下：

D1、光谱特征提取层：将光谱维信息S’放入一维卷积层进行特征提取，提取后的光谱特征记为F_s’，经过卷积与池化操作，光谱特征的长度记为k，信号维度为m；

D2、空间特征提取层：将空间维信息S放入二维卷积层进行特征提取，并通过全连接层将特征长度拉升到k，得到的特征记为F_s；

D3、融合层：以级联方式融合光谱维特征F_s’与空间维特征F_s，得到的空谱联合信息记为F_ss’，信号长度为k，信号维度为m+1；

D4、空谱特征提取层：将空谱联合信息F_ss’放入一维卷积神经网络进行联合特征提取，空谱联合特征记为F_out；

D5、全连接层：空谱特征提取层的输出进入全连接层；

D6、输出层：全连接层的输出进入输出层，预测分类结果。

与现有技术相比，本发明的有益效果如下：

本发明将像每一样本点周围n×n邻域内的训练集的类归属与邻域所有样本的主成分分布作为空间信息，并采用二维神经网络对空间信息进行进一步的特征提取，并将空间特征与光谱特征在神经网络中进行融合。该方法可对每一样本的邻域信息进行学习，从而有效消除高光谱分类中的“麻点”效应，提升区域分类的连续性，从而有效提高分类精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于邻域信息深度学习的高光谱数据分类方法流程图；

图2是本发明中卷积神经网络结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明基于邻域信息深度学习的高光谱数据分类方法的流程图，该方法包括以下步骤：

S1、对高光谱图像数据，随机划分训练集与测试集；

S2、提取空间信息：以每一像素点n×n邻域内训练集样本的类归属与n×n 邻域内所有样本的l维主成分得分，作为每一样本的空间信息，空间信息维度为 n×n×(l+1)，记为S；

S3、将训练集每一样本的光谱信息S’与空间信息S共同放入卷积神经网络，进行模型训练；

S4、将测试集每一样本的光谱信息S’与空间信息S共同放入模型，进行分类结果预测。

其中步骤S2中每一样本n×n邻域内空间信息的提取步骤为：

A、提取邻域类归属信息，信号维度为n×n；

B、提取邻域的前l个主成分得分信息,信号维度为n×n×l；

C、合并邻域类归属信息与邻域主成分分布信息，得到n×n×(l+1)维的样本空间信息。

其中，步骤A中提取邻域类归属信息的具体步骤为：

A1、将高光谱图像分类真值表gt-1中的测试集真值置零，置零后的真值表记作gt-2；

A2、对真值表补零：对高光谱图像分类真值表gt-2四周区域补零，补零宽度为n/2+1(向上取整),补零后真值表记作gt-3；

n取奇数，使得样本位于邻域信息的中心位置；

A3、假设某一样本在高光谱图中的空间坐标为(i,j),则对真值表gt-3分割如下区域，作为该样本的类归属空间信息：

A4、对每一样本邻域信息的中间位置，即样本所在位置的类归属置零。

步骤B中提取邻域主成分得分信息的具体步骤为：

B1、提取主成分：利用主成分分析(PCA)得到每个样本的前l个主成分得分，得到主成分图PC_l；

B2、主成分图补零：对主成分图PC_l四周区域补零，补零宽度为n/2+1(向上取整),补零后真值表记作PC_l-2；

B3、假设某一样本在高光谱图中的空间坐标为(i,j)，则对l维主成分得分图 PC_l-2分割如下区域，作为样本的主成分分布空间信息：

得到的主成分分布信息维度为n×n×l。

图2是基于邻域信息深度学习的高光谱数据分类方法中的卷积神经网络结构示意图，其中S3中的卷积神经网络的具体结构与步骤如下：

D1、光谱特征提取层：将光谱维信息S’放入一维卷积层进行特征提取，提取后的光谱特征记为F_s’，经过卷积与池化操作，光谱特征的长度记为k，信号维度为m；

D2、空间特征提取层：将空间维信息S放入二维卷积层进行特征提取，并通过全连接层将特征长度拉升到k，得到的特征记为F_s；

D3、融合层：以级联方式融合光谱维特征F_s’与空间维特征F_s，得到的空谱联合信息记为F_ss’，信号长度为k，信号维度为m+1；

D4、空谱特征提取层：将空谱联合信息F_ss’放入一维卷积神经网络进行联合特征提取，空谱联合特征记为F_out；

D5、全连接层：空谱特征提取层的输出进入全连接层；

D6、输出层：全连接层的输出进入输出层，预测分类结果。

现结合一个具体的实施方式对本发明的方法进行进一步的说明。

本实施例采用Indian pines和Salinas高光谱数据集，利用本发明所述方法进行分类。在整体高光谱图像中随机划分训练集与测试集。其中，Indian pines 数据集训练集样本个数共1815个，测试集样本共8434个，具体划分见表2。 Salinas数据集训练集样本个数共7100个，测试集样本共47029个，具体划分见表3。在此实施例中，将每一像素点的7×7邻域内的训练集类归属表及邻域所有样本前3个主成分得分分布作为该像素点的空间信息。

本实施例中采用的卷积神经网络结构为：

B1、光谱信息特征提取层，输入信息为光谱信息：

1)c1:一维卷积层，卷积核大小为：3×1×4，非线性激励函数为relu；

2)p1:一维池化层，池化窗口大小为2，步长为2；

B2、空间特征提取层，输入信息为空间信息：

1)c2:二维卷积层，卷积核大小为：3×3×16，非线性激励函数为relu；

2)p2:二维池化层，池化窗口大小为2×2，步长为2×2；

3)c3:二维卷积层，卷积核大小为：3×3×16，非线性激励函数为relu；

4)p3:二维池化层，池化窗口大小为2×2，步长为2×2；

5)全连接层f1，节点数保持与光谱信息输出长度相同,对于Indian pines 数据集，节点数为100,对于Salinas数据集，节点数为102；

B3、融合层：以级联方式光谱特征提取层与空间特征提取层的输出，信号融合后，信号通道数为5，对于Indian pines数据集，信号长度100,对于Salinas 数据集，信号长度为102；

B4、空谱特征提取层：

1)c4:一维卷积层，卷积核大小为：3×1×16，非线性激励函数为relu；

2)p4:一维池化层，池化窗口大小为2，步长为2；

3)c5:一维卷积层，卷积核大小为：4×1×16，非线性激励函数为relu；

4)p5:一维池化层，池化窗口大小为2，步长为2；

5)c6:一维卷积层，卷积核大小为：4×1×16，非线性激励函数为relu；

B5、全连接层：空谱特征提取层的输出进入全连接层f2，层数为1，节点数为128,非线性激励函数为tanh；

B6、输出层：全连接层的输出进入输出层，预测分类结果,输出层节点数为16，非线性激励函数为softmax。

分别将训练集样本放入上述卷积神经网络进行训练，学习率设置为0.005，训练循环次数设置为500次。训练结束后，将测试集放入模型进行预测。采用以下几个指标评价模型：

1)子类正确率：指测试集每个子类的分类正确率；

2)平均正确率(AA)：指测试集各分类平均的分类正确率；

3)总体正确率(OA)：指测试集所有样本平均的分类正确率

同时，采用支持向量机方法(SVM)作为比对方法。该方法将光谱维信息作为样本输入信息。同样采用以上三个评价指标进行预测能力评价。SVM方法与发明所述方法得到的分类结果对比见表1与表2。

表1、Indian pines数据集采用传统神经网络分类方法与本发明所述方法得到的分类结果对比

类别	训练集个数	测试集个数	SVM	本发明方法
					Alfalfa	30	16	93.75％	93.75％
Cron-notill	150	1278	56.26％	94.37％
					Corn-mintill	150	680	70.00％	97.06％
Corn	100	137	91.97％	98.54％
					Grass-pasture	150	333	94.59％	96.70％
Grass-trees	150	580	96.72％	99.48％
					Grass-pasture-mowed	20	8	87.50％	87.5％
Hay-windrowed	150	328	98.48％	100％
					Oats	15	5	80.00％	100％
Soybean-notill	150	822	71.53％	90.63％
					Soybean-mintill	150	2305	85.58％	96.83％
Soybean-clean	150	443	95.71％	98.65％
					Wheat	100	105	99.05％	99.05％
Woods	150	1115	73.18％	99.91％
					Buildings-Grass-Trees-Drives	150	236	72.88％	98.31％
Stone-steel-towers	50	43	95.35％	97.67％
					平均正确率(AA)			78.93％	96.78％
总体正确率(OA)			85.16％	96.76％

表2、Salinas数据集采用SVM方法与本发明所述方法得到的分类结果对比

由分类结果对比可知，本发明所述方法对于Indian pines数据集的总体正确率为96.76％，相比SVM分类方法提升了11.6％，各类平均正确率为96.78％，相比SVM分类方法也提升了17.8％，子类的正确率最高提升了27％。对于Salinas 数据集，本发明所述方法总体分类正确率为97.10％，比SVM分类方法提升了 8.5％，各类平均正确率为96.53％，相比SVM分类方法提升了2.7％，子类的正确率最高提升了37.7％。

本发明将每一像素点在图片中n×n邻域的训练集类归属与主成分分布作为空间信息，并将此邻域图像在二维卷积神经网络中进行进一步的空间特征提取，再与光谱维信息进行融合，联合进行分类预测。该方法充分学习样本邻域信息，可有效提高分类的区域连续性，提升分类精度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于邻域信息深度学习的高光谱数据分类方法，其特征在于，包括如下步骤：

S1、对高光谱图像数据，随机划分训练集与测试集；

S2、提取空间信息：以每一像素点n×n邻域内训练集样本的类归属与n×n邻域内所有样本的l维主成分得分，作为每一样本的空间信息，空间信息维度为n×n×(l+1)，记为S；

S3、将训练集每一样本的光谱信息S’与空间信息S共同放入卷积神经网络，进行模型训练；

S4、将测试集每一样本的光谱信息S’与空间信息S共同放入模型，进行分类结果预测。

2.根据权利要求1所述的基于邻域信息深度学习的高光谱数据分类方法，其特征在于，步骤S2中n×n邻域内空间信息的提取步骤为：

A、提取邻域类归属信息，信号维度为n×n；

B、提取邻域的前l个主成分得分信息,信号维度为n×n×l；

C、合并邻域类归属信息与邻域主成分分布信息，得到n×n×(l+1)维的样本空间信息。

3.根据权利要求2所述的基于邻域信息深度学习的高光谱数据分类方法，其特征在于，步骤A中提取邻域类归属信息的具体步骤为：

A1、将高光谱图像分类真值表gt-1中的测试集真值置零,置零后的真值表记作gt-2；

A2、对真值表补零：对高光谱图像分类真值表gt-2四周区域补零，补零宽度为n/2+1，补零后真值表记作gt-3；

n取奇数，使得样本位于邻域信息的中心位置；

A3、假设某一样本在高光谱图中的空间坐标为(i,j),则对真值表gt-3分割如下区域，作为该样本的类归属空间信息：

A4、对每一样本邻域信息的中间位置，即样本所在位置的类归属置零。

4.根据权利要求2所述的基于邻域信息深度学习的高光谱数据分类方法，其特征在于，步骤B中提取邻域主成分得分信息的具体步骤为：

B1、提取主成分：利用主成分分析得到每个样本的前l个主成分得分，得到主成分图PC_l；

B2、主成分图补零：对主成分图PC_l四周区域补零，补零宽度为n/2+1，补零后真值表记作PC_l-2；

B3、假设某一样本在高光谱图中的空间坐标为(i,j)，则对l维主成分得分图PC_l-2分割如下区域，作为样本的主成分分布空间信息：

得到的主成分分布信息维度为n×n×l。

5.根据权利要求1所述的基于邻域信息深度学习的高光谱数据分类方法，其特征在于，S3中的卷积神经网络的具体结构与步骤如下：

D1、光谱特征提取层：将光谱维信息S’放入一维卷积层进行特征提取，提取后的光谱特征记为F_s’，经过卷积与池化操作，光谱特征的长度记为k，信号维度为m；

D2、空间特征提取层：将空间维信息S放入二维卷积层进行特征提取，并通过全连接层将特征长度拉升到k，得到的特征记为F_s；

D3、融合层：以级联方式融合光谱维特征F_s’与空间维特征F_s，得到的空谱联合信息记为F_ss’，信号长度为k，信号维度为m+1；

D4、空谱特征提取层：将空谱联合信息F_ss’放入一维卷积神经网络进行联合特征提取，空谱联合特征记为F_out；

D5、全连接层：空谱特征提取层的输出进入全连接层；

D6、输出层：全连接层的输出进入输出层，预测分类结果。