CN111062403B - 基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法 - Google Patents

Abstract

基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法，属于遥感数据特征提取技术领域。为了解决现有的基于深度学习方法需要大量标记的训练样本学习模型的参数，存在针对高光谱遥感数据标记训练样本稀少的情况光谱特征提取效果差的问题。本发明所述方法利用D个一维滤波器对归一化数据进行卷积操作，在特征通道方向分成g组；每组利用多个一维滤波器进行一维卷积操作，将每组卷积结果在特征通道方向上堆栈在一起；进行全局和局部相关性并进行加权，洗牌，然后进行一维卷积操作，提取光谱特征；进而确定高光谱遥感数据深度光谱特征提取模型，训练高光谱遥感数据深度光谱特征提取模型。本发明用于高光谱遥感数据深度光谱特征的提取。

Description

基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提 取方法

技术领域

本发明涉及高光谱遥感数据深度光谱特征提取方法，属于遥感数据特征提取技术领域。

背景技术

随着成像技术和光谱技术的发展，高光谱遥感技术是地球探测领域近三十年来最重大的技术突破之一，是当前遥感领域最前沿的技术和国际遥感学科研究的热点。丰富的光谱信息和高的光谱分辨率使得使其已成为国防、农业和海洋等领域极具价值和强有力的技术手段。在实际的应用中，高光谱遥感数据的处理和信息提取的准确性至关重要，随着机器学习的技术发展，很多数据可以通过机器学习来完成，而利用机器学习来处理高光谱遥感数据时，处理效果的优劣取决于机器学习提取到的特征优劣，高光谱遥感数据由于超高的维度、复杂的非线性特性和稀少标记的训练样本，为基于机器学习的光谱特征提取方法提出了极大的挑战。

随着近年来深度学习的发展，一些基于深度学习的光谱特征提取模型被提出，如自动编码器、递归神经网络和卷积神经网络等。虽然以上模型都能较好的提取光谱特征，但需要大量标记的训练样本学习模型的参数。而由于高光谱遥感数据标记训练样本稀少，利用现有的深度学习模型来进行高光谱遥感数据的光谱特征提取往往不能得到很好的效果(维数灾难)，一旦提取不到有效的高光谱遥感数据特征，则对高光谱遥感数据后续处理或者基于高光谱遥感数据进行的处理都取得不到准确或者良好的效果，所以研究轻量级参数的深度光谱特征提取方法是亟需解决的难题。

发明内容

本发明是为了解决现有的基于深度学习方法需要大量标记的训练样本学习模型的参数，存在针对高光谱遥感数据标记训练样本稀少的情况光谱特征提取效果差的问题。提出了基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法。

一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法，包括以下步骤：

W1、针对高光谱遥感数据的每个光谱波段进行归一化处理；

W2、利用D个一维滤波器对数据进行卷积操作，生成多个高光谱特征矩阵；

W3、针对多个高光谱特征矩阵，在特征通道方向将D个分成g组；每组利用多个一维滤波器进行一维卷积操作，提取光谱特征，最后将每组卷积结果在特征通道方向上堆栈在一起；

W4、针对W3提取的光谱特征，通过自学习提取光谱特征的全局和局部相关性并进行加权；

W5、对W4得到的特征矩阵(D,N)进行洗牌操作；

W6、每组利用多个一维滤波器进行一维卷积操作，提取光谱特征；

W7、步骤W3至W6操作构成一个一维成对组卷积，利用若干个一维成对组卷积串联组成的串联成对组卷积进行高光谱遥感数据深度光谱特征提取。

进一步地，W4的具体过程包括以下步骤：

一个样本的输入特征矩阵表示为(D,N)，并将加权操作分为局部光谱特征加权操作和全局光谱特征加权操作；

对于全局光谱特征加权，利用一维全局平均池化操作对输入特征矩阵在光谱维度方向上进行池化，得到特征向量(1,N)，利用含N个单元的带有sigmoid激活函数的全连接层自学习全局的相关性(1,N)；

对于局部光谱特征加权，先利用转置函数将输入特征矩阵转换成(N,D)，然后利用一维全局平均池化操作在光谱维度方向上进行池化，得到特征向量(1,D)，然后利用含D个单元的带有sigmoid激活函数的全连接层自学习局部相关性(1,D)，将自学习到的局部相关性转置还原成(D,1)，即得到自学习到的局部相关性(D,1)；

将输入特征矩阵与自学习全局的相关性(1,N)和自学习到的局部相关性(D,1)进行点乘操作，得到经过加权的特征矩阵(D,N)。

进一步地，W5的具体过程包括以下步骤：

一个样本的输入特征矩阵为(D,N)，N是特征向量的个数，D是每个特征向量的维度；首先将N个输入特征向量分成g组，表示为

然后利用reshape函数转换成

再利用转置函数将其变换成

最后利用reshape函数拼接成

进一步地，W7所述高光谱遥感数据深度光谱特征提取模型中，一维成对组卷积中的一个或多个一维成对组卷积操作之后需要进行最大池化操作；或者，W7所述高光谱遥感数据深度光谱特征提取模型中，一维成对组卷积操作之后不进行最大池化操作。

有益效果：

本发明可以极大地增加特征提取网络的深度且不增加参数的数量，能够针对高光谱遥感数据进行有效的特征提取。尤其是当标记的训练样本较少时，本发明也可以很好地提取高光谱遥感数据深度光谱特征。

附图说明

图1为一维常规卷积光谱特征提取和一维组卷积光谱特征提取对比示意图；其中图1(a)是一维常规卷积光谱特征提取示意图，图1(b)是一维组卷积光谱特征提取示意图；

图2为全局和局部光谱特征加权操作框图；

图3为洗牌操作示意图；

图4为一维成对组卷积光谱特征提取框图；

图5为高光谱遥感数据深度光谱特征提取总体框架图；

图6为特征提取过程示意图；

图7为基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法流程图。

具体实施方式

具体实施方式一：

在说明本实施方式之前，需要说明以下问题，以帮助更好理解本发明内容：

(1)高光谱遥感数据具有复杂的非线性，需要更深的网络学习，即网络的深度与非线性学习能力呈现正相关；

(2)更深的网络意味着需要更多的学习参数，即网络的深度与网络的学习参数呈现正相关；

(3)更多的学习参数需要更多标记的训练样本，即学习参数与标记的训练样本呈现正相关；

(4)高光谱遥感数据具有复杂的非线性且标记的训练样本匮乏，而深度的网络可以学习高光谱遥感数据的复杂非线性特性，但同时需要大量的学习参数学习高光谱数据的非线性，稀少的训练样本会使深度的学习网络造成过拟合现象，进而降低特征提取的能力，所以研究更深的网络且需要更少的学习参数是极具挑战。

本实施方式所述的基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法，包括以下步骤：

步骤一、如图6所示，训练过程如下：

S1、针对高光谱遥感数据的每个光谱波段进行归一化处理，并从已标记样本中随机选择训练样本；

S2、利用D个(比如64，128等)一维滤波器对数据进行卷积操作，生成多个高光谱特征矩阵；

利用D个一维滤波器，一个目的是从多角度提取特征，保证特征的多样性和完备性；另一目的是生成的多个高光谱特征矩阵，为S3的一维组卷积提供条件，如果是1，分不了组；

S3、针对多个(D个)高光谱特征矩阵(分类光谱轴方向和特征通道方向)，在特征通道方向将D个等分成g组；每组利用多个(比如16)一维滤波器进行一维卷积操作，提取光谱特征，最后将每组卷积结果在特征通道方向上堆栈在一起；

如果D不被g整除，保证前g-1组等分，最后一组视情况而定；比如D＝19、g＝4，前三组每组5个特征矩阵，最后一组4个；如果D＝17、g＝4，前三组4个特征矩阵，最后一组5个。

S3的过程称为一维组卷积，一维组卷积操作能够减少所需的标记训练样本，从而使得本发明可以在高光谱遥感数据具有复杂的非线性且标记的训练样本匮乏的条件下取得良好的效果。

一维常规卷积光谱特征提取和一维组卷积光谱特征提取对比如图1所示。

图1(a)是一维常规卷积光谱特征提取示意图，其由N'个输入特征向量构成输入特征矩阵，每个输入特征向量的维度是D'。通过N个尺寸为k的一维卷积操作，生成N个输出特征向量构成输出特征矩阵，每个输出特征向量的维度是D＝D'-k+1，所需的学习参数数量是P_1D＝k×N'×N＝kNN'(参数数量＝一维卷积尺寸*输入特征向量数*输出特征向量数，为了方便比对参数数量的影响，此处仅对权重数量进行表示，省略数量较少的偏差对参数数量的影响)。

本发明采用的是一维组卷积进行卷积，图1(b)是一维组卷积光谱特征提取示意图，假设其与图1(a)具有相同的输入特征向量个数N'和维度D'和相同的输出特征向量个数N和维度D；一维组卷积是将N'个输入特征向量等分为g组，g∈(1,min(N,N'))，每组含有

个维度为D'的特征向量，各组单独进行一维常规卷积，每组通过

个尺寸为k的一维卷积操作，每组生成

个输出特征向量，g组一共生成N个输出特征向量，所需的学习参数数量是

对比一维常规卷积和一维组卷积，在相同输入特征矩阵和输出特征矩阵的条件下，本发明采用一维组卷积可减少g倍的学习参数，从而减少对标记训练样本的需求。直观地，对比图1(a)和(b)，(b)具有更少的连线(稀疏)，意味着更少的学习参数。

S4、针对S3提取的光谱特征，通过自学习提取光谱特征的全局和局部相关性并进行加权；

全局和局部特征加权操作目的：根据自行学习到特征信息的全局和局部相关性对特征进行加权，从而强化有用的特征且弱化无用的特征，从而提高特征提取的效率。

全局和局部特征加权操作框图如2所示。具体过程：假设一个样本的输入特征矩阵表示为(D,N)，并将加权操作分为局部光谱特征加权操作和全局光谱特征加权操作；

对于全局光谱特征加权，利用一维全局平均池化操作对输入特征矩阵在光谱维度方向上进行池化，得到特征向量(1,N)，利用含N个单元的带有sigmoid激活函数的全连接层自学习全局的相关性(1,N)；将自学习全局的相关性进行后续的点乘操作，即实现在光谱特征方向上全局加权。

对于局部光谱特征加权，先利用转置函数(permute或transpose)将输入特征矩阵转换成(N,D)，然后利用一维全局平均池化操作在光谱维度方向上进行池化，得到特征向量(1,D)，然后利用含D个单元的带有sigmoid激活函数的全连接层自学习局部相关性(1,D)，将自学习到的局部相关性转置还原成(D,1)，即得到自学习到的局部相关性(D,1)；将自学习到的局部相关性(D,1)进行后续的点乘操作，即实现在光谱特征方向上逐个波段加权，即局部加权。

将输入特征矩阵与自学习全局的相关性(1,N)和自学习到的局部相关性(D,1)进行点乘操作，得到经过加权的特征矩阵(D,N)。

S5、对S4得到的特征矩阵(D,N)进行洗牌操作；

洗牌操作的目的为了建立各组之间的相关性(如果各组之间单独一维常规卷积，只能提取组内(局部)光谱特征，洗牌操作可以使得输入各组之间建立相关性)，以提高光谱特征提取能力。

具体过程：一个样本的输入特征矩阵为(D,N)，N是特征向量的个数，D是每个特征向量的维度。首先将N个输入特征向量等分成g组(可以是g，也可以其他值；因为前面组卷积就是分为g组，现在对分组进行洗牌，保证洗牌后新的每个组来自洗牌前各组，一般设置成g)，可表示为

然后利用reshape函数转换成

再利用转置函数(permute或transpose)将其变换成

最后利用reshape函数拼接成

由此过程可知，洗牌操作仅仅是打乱各特征向量在维度方向上的顺序，没有改变特征矩阵的维度。一个训练样本的洗牌操作示意图如3所示，不同的颜色(图3中体现为不同灰度)代表不同特征向量。由图3可知，洗牌后的每组特征矩阵中的特征向量来至于洗牌前各组的特征向量，从而通过洗牌操作建立各组之间的相关性，进而提高光谱特征提取能力。

S6、每组利用多个一维滤波器进行一维常规卷积操作，提取光谱特征；

S6中的多个一维滤波器和S3中的多个一维滤波器可理解为每组进行一维常规卷积操作，只是一维常规卷积含有多个一维滤波器。S3和S6每组进行一维卷积操作(多个一维滤波器)，区别是输入输出可能不同。比如，S3的输入是12个通道，g＝4，每组输入就是3个通道，多个一维滤波器控制的是每组输出个数，可以是3，也可以是其它值；如果是3，则每组输出3个通道，4组输出12个通道。假设S3输出通道数是12，洗牌操作之后，此时g＝3，每组就是4个通道，分别来自于S3的四个组。S6的多个一维滤波器控制其输出个数，如果是4，则输出也是12。综上所述，S3、S6都是每组进行一维卷积操作，整体表示一维组卷积操作，都是利用了组卷积的概念。而区别是输入输出个数可能不同，可以通过设置一维滤波器个数进行控制。一维滤波器的参数(权重和偏差)是自学习的得到的，所以一维滤波器参数一般来说也是不同的，且输入输出特征矩阵的具体值也是不同的。此外，S3、S6功能也是不同的，S3每组提取的是局部光谱特征，经过洗牌操作后，S6提取的全局光谱特征，即每组输入都是来自S3各组输出。

S7、步骤S3至S6的一维组卷积、相关性加权、洗牌、一维组卷积操作构成一个一维成对组卷积，将若干个一维成对组卷积串联组成串联成对组卷积；

将S2的卷积操作和串联成对组卷积整体作为高光谱遥感数据深度光谱特征提取模型；利用训练样本训练高光谱遥感数据深度光谱特征提取模型；训练过程实际要结合实际目标完成，利用分类器和损失函数等实现训练过程。基于训练过程能够确定高光谱遥感数据深度光谱特征提取模型的参数(包括S2的卷积操作和串联成对组卷积的参数)。

每个一维成对组卷积之后，或者，一个或多个一维成对组卷积操作之后，可以加上最大池化操作(最大池化操作就是相邻元素取最大值，比如[0.9，0.4，0.6，0.5]，经过尺寸为2的最大池化层，步长为2，不填充，则输出为[0.9，0.6])，以加快减小光谱的维度而无需学习参数，参阅表2。当然每个一维成对组卷积之后也可以不加最大池化操作。

一维成对组卷积的设计思想是利用组卷积能大量减少网络学习参数的优点，非常适合训练样本稀少的高光谱遥感数据。

一维成对组卷积如图4所示，具体过程：对输入特征矩阵进行一维组卷积操作(如图1(b)所示)，其输出利用全局和局部特征加权操作(图2)和洗牌操作(图3)分别进行特征加权和建立各组特征之间的相关性，然后再进行一维组卷积操作，此时的卷积操作融入了各组的相关性，进而能提高特征提取的能力。实现在较少学习参数的情况下，保持较高的光谱特征提取能力。一维成对组卷积的学习参数数量为

例如：如果N’＝N＝12，g＝3，每组是4个特征通道，洗牌后，变成了4组，每组变成3特征通道，所以第二个卷积组数变成了4，即N/g；如果直接采用成对使用一维卷积(记为一维成对常规卷积)的参数数量是

高光谱遥感数据深度光谱特征提取总体框架图如图5所示。技术路线是串联多个一维成对组卷积操作，随着成对组卷积数量的增加，特征提取的水平从低、中到高。设计组卷积数量的原则是综合考虑已有标记训练样本的数量、高光谱遥感数据非线性复杂程度以及一维成对组卷积的组数共同决定，实现样本和模型参数之间的平衡，同时就有较深的网络保证特征提取的能力。与一维成对常规卷积相比，在相同的输入特征矩阵和输出特征矩阵的条件下，一维成对组卷积所需的参数学习参数是一维成对常规卷积的

倍，如果一维成对组卷积学习参数满足均值定理(基本不等式)，则所需的学习参数数量为

满足N'＝g²，如果N'＝N，则学习参数减少g倍。因此，在相同学习参数的条件下，一个成对组卷积网络深度是一个成对城规卷积深度g倍，更深的深度(g倍)所以能提取更深的光谱特征。实际情况不一定取g倍的深度，很可能少一些，这样就用更少的参数，此时也是更深的深度，取得最佳效果。

步骤二、高光谱遥感数据深度光谱特征提取过程：

针对高光谱遥感数据的每个光谱波段进行归一化处理；然后利用高光谱遥感数据深度光谱特征提取模型进行高光谱遥感数据深度光谱特征提取。

基于一维组卷积神经网络的高光谱遥感数据的深度光谱特征提取方法流程图如图6和图7所示。数据准备和深度光谱特征提取之间含有多个一维常规滤波器对数据进行卷积生成光谱特征矩阵，因为一维成对组卷积的输入条件是多个输入特征向量，即N'≥2。所以不能直接将输入的光谱向量(只含有1个特征向量)直接作为输入。

本发明提出一维组卷积的概念，应用一维组卷积的概念提出了一维成对组卷积的光谱特征提取方法。主要是将若干个一维成对组卷积串联，串联的个数用户可自定义，选择原则是根据所需的特征提取能力匹配所含有的标记训练样本。采用一维成对组卷积操作的目的是减少模型的学习参数，进而减少所需的标记训练样本。每个一维成对组卷积包含两个连续组卷积操作，中间通过加权操作和洗牌操作分别强化有用特征和建立各组卷积的相关性，以提高光谱特征提取能力。一维组卷积操作是将输入特征矩阵分成若干组特征矩阵，然后每组特征矩阵各自单独进行一维卷积操作，生成相同特征尺寸的输出特征矩阵，然后拼接成总输出特征矩阵。

实施例

以Indian Pines高光谱遥感数据集为例，在保证其他条件完成相同的情况下，通过分类的总体精度，对比一维成对常规卷积和一维成对组卷积的特征提取效果。一般来说，特征提取越好，分类精度越高。在Keras的框架下，网络模型超参数设置如下：每层卷积核尺寸都为13，数量都取25个，训练最大迭代次数都为1000，批量大小(一次训练所选取的样本数)都为64，都利用mini-batch Adadelta优化器。训练样本都是从Indian Pines数据集(220个光谱波段)里选择常用的8大类(Corn-notill，Corn-mintill，Grass-pasture，Hay-windrowed，Soybean-notill，Soybean-mintill，Soybean-clean，Woods)，每类随机选择50个(从中选择10％作为验证集)，剩下的标记样本作为测试集，以十次测试集总体精度的平均值为结果。对于初始学习率，在范围为[15,9,3,1,0.3]中，通过验证集的精度选出一维常规卷积最佳初始化学习率为1，一维成对组卷积最佳学习率9。训练过程中使用提前终止训练函数(earlystopping)和学习率自动减少函数(reducelronplateau)以加快训练过程。

实例涉及三个方面的验证：

1)一维成对常规卷积和组卷积随层数对比(表1)；

2)一维成对常规卷积和组卷积加入最大池化操作随层数对比(表2)；

3)一维成对常规卷积和组卷积随每类样本数对比(表3)。

表1一维成对常规卷积和组卷积总体精度随层数的对比

总体精度随着层数增加先增加后减少，主要原因是模型在层数较小时欠拟合，所以精度低，当层数过大时过拟合，所以精度减少。

一维成对组卷积最佳精度比一维成对常规卷积最佳精度高，且表中所有层，一维成对组卷积总体精度比对应层的一维成对常规卷积都高，验证了一维成对组卷积的有效性。

表2含最大池化操作一维成对常规卷积和组卷积总体精度随层数的对比

加入最大池化层操作可以得出相似结论，即总体精度随着层数增加先增加后减少，且一维成对组卷积的最佳精度比一维成对常规卷积的最佳精度要高，并在很大范围内(2-7)都更高。另外，使用最大池化操作比没有使用最大池化操作的精度更高，主要因为是最大池化操作可以快速减少尺寸而不需要学习参数。

表3一维成对常规卷积和组卷积总体精度随每类训练样本数的对比

总体精度随着每类训练样本增加而增加，主要原因是更多的训练样本能更好的拟合模型。

在训练增加的情况下，一维成对组卷积一直比一维成对常规卷积总体精度高，验证了一维成对组卷积对样本的鲁棒性。

Claims (4)

1.基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法，其特征在于，包括以下步骤：

W1、针对高光谱遥感数据的每个光谱波段进行归一化处理；

W2、利用D个一维滤波器对数据进行卷积操作，生成多个高光谱特征矩阵；

W3、针对多个高光谱特征矩阵，在特征通道方向将D个分成g组；每组利用多个一维滤波器进行一维卷积操作，提取光谱特征，最后将每组卷积结果在特征通道方向上堆栈在一起；

W4、针对W3提取的光谱特征，通过自学习提取光谱特征的全局和局部相关性并进行加权；具体过程包括以下步骤：

一个样本的输入特征矩阵表示为(D,N)，并将加权操作分为局部光谱特征加权操作和全局光谱特征加权操作；

对于全局光谱特征加权，利用一维全局平均池化操作对输入特征矩阵在光谱维度方向上进行池化，得到特征向量(1,N)，利用含N个单元的带有sigmoid激活函数的全连接层自学习全局的相关性(1,N)；

对于局部光谱特征加权，先利用转置函数将输入特征矩阵转换成(N,D)，然后利用一维全局平均池化操作在光谱维度方向上进行池化，得到特征向量(1,D)，然后利用含D个单元的带有sigmoid激活函数的全连接层自学习局部相关性(1,D)，将自学习到的局部相关性转置还原成(D,1)，即得到自学习到的局部相关性(D,1)；

将输入特征矩阵与自学习全局的相关性(1,N)和自学习到的局部相关性(D,1)进行点乘操作，得到经过加权的特征矩阵(D,N)；

W5、对W4得到的特征矩阵(D,N)进行洗牌操作；具体过程包括以下步骤：

一个样本的输入特征矩阵为(D,N)，N是特征向量的个数，D是每个特征向量的维度；首先将N个输入特征向量分成g组，表示为

然后利用reshape函数转换成

再利用转置函数将其变换成

最后利用reshape函数拼接成

W6、每组利用多个一维滤波器进行一维卷积操作，提取光谱特征；

W7、步骤W3至W6操作构成一个一维成对组卷积，利用若干个一维成对组卷积串联组成的串联成对组卷积进行高光谱遥感数据深度光谱特征提取。

2.根据权利要求1所述的基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法，所述的转置函数为permute或transpose。

3.根据权利要求1所述的基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法，其特征在于，W7所述高光谱遥感数据深度光谱特征提取模型中，一维成对组卷积中的一个或多个一维成对组卷积操作之后需要进行最大池化操作。

4.根据权利要求1所述的基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法，其特征在于，W7所述高光谱遥感数据深度光谱特征提取模型中，一维成对组卷积操作之后不进行最大池化操作。

Images