CN112836666A - 一种高光谱图像分类识别方法 - Google Patents

Abstract

本发明公开了一种高光谱图像分类识别方法，属于高光谱遥感图像处理技术领域，首先对原始高光谱遥感影像进行预处理，有效保留包含信息最多的光谱波段，其次通过三维卷积网络和注意力机制对图像不同侧重点的特征分三阶段提取，具体来说特征分为光谱特征，空间特征和空谱特征三类，同时通过循环神经网络提取多尺度特征并保留特征间的联系，最后进行分类。

Description

一种高光谱图像分类识别方法

技术领域

本发明属于高光谱遥感图像处理技术领域，具体涉及一种高光谱图像分类识别方法。

背景技术

遥感(Remote Sensing)是一门利用电磁波原理来获取远方信号并使之成像，能够遥远地感受感知远方事物的技术，是一门新兴科学。随着计算机技术及光学技术的提高，遥感技术也得到了迅速的发展。近年来，各式各样的遥感卫星不断成功发射，推动了遥感数据获取技术朝着三高(高空间分辨率、高光谱分辨率和高时间分辨率)和三多(多平台、多传感器、多角度)方向发展。

高光谱遥感具有光谱分辨率高的特点，它通过在不同空间平台上搭载高光谱传感器，从而可以在电磁波谱的可见光、近红外、中红外和热红外波段范围内，以连续的光谱波段对地表区域同时成像，波段数目可达到数十以致数百个，并获得地物连续的光谱信息，从而实现了地物空间、辐射和光谱信息的同步获取。与常规遥感相比，主要区别在于高光谱遥感是窄波段成像，且除了二维的空间信息外，还增加了一维光谱信息，使得遥感技术的应用领域得到了拓展。

但是高光谱图像光谱波段范围广，拥有丰富的空间信息和光谱信息的同时，也带来了数据冗余和维数灾难等问题。分类是获取遥感信息的方法之一。同类目标在遥感图像中具有相同或相似的光谱和空间特征，根据不同目标类别间的特征差异可以实现分类。高光谱图像中丰富的光谱信息为目标分类提供有力的依据的同时，也为高光谱图像的分类引入了一些困难。高光谱图像的高维特性、波段间高度相关性、“同物异谱”和“异物同谱”现象、训练样本较少等使得高光谱图像分类面临巨大挑战。

近些年基于深度学习的图像分类方法受到普遍的关注。其中的深度卷积神经网络利用逐层结构叠加的特性，来自动提取物体的特征。而注意力机制大多用于优化提取的特征，根据不同特征的重要程度分配权重，解决标记样本少，光谱维度高，难以处理的问题。这些方法在高光谱图像分类的任务中已经取得了不错的成果，但仍然存在一些问题。首先，目前的分类方法大多是对卷积网络的简单堆叠，而较少针对提取信息的不同对模型结构做调整，实验证明调整后的模型分类精度更高。其次由于卷积核的感受野是局部的，要经过累积很多层之后才能把整个图像不同部分的区域关联起来。因此，高层和低层的特征图相差较大而又各有优势，因此将多尺度特征融合起来能提升分类精度，常用的方法是将多尺度的多个特征图简单相加或合并，但这样的操作并没有考虑到几个特征图之间和特征图内数据间的联系，而循环神经网络能更好的解决这个问题。

发明内容

发明目的：为了提高高光谱遥感图像分类精度，本发明提供了一种高光谱分类方法，是一种基于三维卷积网络和注意力机制并通过循环神经网络提取多尺度特征的高光谱遥感影像分类方法。

技术方案：为了实现上述目的，本发明是通过如下的技术方案来实现：

一种高光谱图像分类识别方法，包括如下步骤：

1)对原始高光谱遥感影像进行预处理；

2)通过三维卷积网络和注意力机制对图像分三阶段提取不同侧重点的特征，分别为光谱特征，空间特征和空谱特征；通过循环神经网络提取多尺度特征并保留特征间的联系，最后进行分类。

进一步地，所述的步骤1)中，通过PCA对输入的图片数据进行降维。

进一步地，所述的步骤2)中具体为：由三维卷积提取图像特征，根据卷积核大小的不同将其区分为三个部分先后进行提取光谱信息，提取空间信息和提取空谱信息的操作。

进一步地，每个所述的部分中，在卷积模块之后，使用注意力机制来优化网络结构；所述的注意力机制分为空间注意力和通道注意力，通道注意力机制对同一个特征图的不同通道进行选择优化，获取重校订的通道信息，空间注意力机制则是对同一个特征图的所有空间位置重新分配权重，然后通过激活函数得到非线性的重新校订的上下文信息；最后，通过循环神经网络中的GRU单元，进行跨层特征融合，将三个部分的输出特征融合起来，使之兼具低层图像特征的细节信息和高层图像特征的意义信息，同时获取上下文信息。

进一步地，所述的步骤2)中具体为：对于三维卷积网络和注意力机制的提取特征做出区分，针对性的分为三个部分提取，以及用循环神经网络将这三部分联系起来，三个部分分别如下：

第一部分提取光谱信息，卷积核为1×1×3形式，配合通道注意力机制提取特征；

第二部分提取空间信息，卷积核为3×3×1形式，配合空间注意力机制提取特征；

第三部分提取空谱信息，卷积核为3×3×3形式，最后加上通道注意力机制与空间注意力机制。

进一步地，所述的通道注意力机制中，通道注意力层的结构具体为：

将H×W×C格式的输入特征分别进行一个空间维度上的全局平均池化和全局最大池化得到两个1×1×C格式的输出，接着再将它们分别送入一个两层的全连接神经网络，第一层神经元个数为C/r，用Relu函数激活，第二层神经元个数C，使得全连接层输出与输入大小相同；这个两层的全连接神经网络是共享的；

然后，再将得到的两个特征相加后经过一个Sigmoid激活函数得到权重系数Mc；

最后，拿权重系数和原来的输入特征相乘得到缩放后的新特征。

进一步地，所述的空间注意力机制中，空间注意力层的结构具体为：

给定一个H×W×C的输入特征图，先分别进行一个通道维度的平均池化和最大池化得到两个H×W×1的通道描述，并将这两个描述在通道维拼接在一起；

然后，输入到一个7×7的二维卷积层提取特征并使通道维大小重新变为1，再经过Sigmoid函数激活，得到权重系数Ms；

最后，拿权重系数和输入特征图相乘即可得到缩放后的新特征；

在此之后，将三个部分提取的特征图用1维卷积进行进一步特征提取，再用concat函数进行合并，然后输入到GRU单元中，之后将输出结果馈入另一神经网络调整大小使之与第三部分的卷积及注意力层提取结果格式相同，将二者相加，再展开成一维数据，输入到3层全连接层，每两层之间由RELU激活函数相连接，逐步缩小输出数据大小到16单元，最终由softmax层输出分类结果。

进一步地，所述的步骤2)中具体为：

通道特征提取：一个三维卷积层，一个批标准化层加上一个Relu激活函数层是一个卷积模块，数据经过两个卷积核为1×1×3大小的三维通道卷积模块处理后输入通道注意力模块，输出数据格式大小与输入相同；

空间特征提取：输出1经过两个卷积核为3×3×1大小的三维空间卷积模块处理后输入空间注意力模块，处理后为输出2，输出数据格式大小不变；

空谱特征提取：输出2经过两个卷积核为3×3×3大小的三维空谱卷积模块处理后输入通道注意力模块，再输入空间注意力模块，处理后为输出3，输出数据格式大小不变；

多尺度特征提取：输出1，输出2和输出3经过卷积核大小为7的一维卷积层进一步提取特征，由Relu函数激活后展开成一维数据，用concat函数将三者拼接为一个二维数据，然后输入循环神经网络GRU函数，最后再输入全连接网络将数据大小调整到与输出3相同，此时为输出4。

有益效果：与现有技术相比，本发明首先对原始高光谱遥感影像进行预处理，保留包含信息最多的光谱波段，减少后期计算量，其次通过三维卷积网络和注意力机制对图像不同侧重点的特征分三阶段提取，具体来说特征分为光谱特征，空间特征和空谱特征三类，有效提取出空间及光谱特征，同时通过注意力机制关注重点部分，然后通过循环神经网络提取多尺度特征并保留特征间的联系，进一步提升结果精度，最后进行分类。

附图说明

图1为本发明实施例的方法流程图；

图2为卷积模块结构图；

图3为通道注意力模块结构图；

图4为空间注意力模块结构图；

图5为数据集拍摄图像；

图6为本发明处理结果图像。

具体实施例方式

下面结合附图和具体实施方式来详细说明本发明：为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

一种高光谱遥感影像分类方法，包括如下步骤：

1)首先对原始高光谱遥感影像进行预处理，有效保留最重要的特征；

2)然后主要通过三维卷积网络和注意力机制对图像分三阶段提取不同侧重点的特征，分别为光谱特征，空间特征和空谱特征；

3)同时通过循环神经网络提取多尺度特征并保留特征间的联系，最后进行分类。

完整方法流程图如图1所示，输入为如图5所示的遥感图像，首先通过主成分分析法(PCA)对输入的图片数据进行降维，减少噪声和不重要特征，有效保留最重要的特征来初步处理因高光谱图像包含空间维及光谱维上的大量信息而光谱维数过大的问题。其次，由三维卷积提取图像特征，根据卷积核大小的不同将其区分为三个部分先后进行提取光谱信息，提取空间信息，提取空谱信息的操作。每个部分中，在卷积模块之后，使用注意力机制来优化网络结构。注意力机制使网络更加有侧重的学习，以此提高网络的学习能力。再次，通过循环神经网络中的GRU单元，进行跨层特征融合，将三个部分的输出特征融合起来，使之兼具低层图像特征的细节信息和高层图像特征的意义信息，同时获取上下文信息，有效改善模型的学习能力并提高分类性能。最后经由多个全连接层和softmax分类输出如图6所示的分类结果图。

在完整流程图中，卷积模块的具体结构如图2所示，包括一个三维卷积层，一个批标准化层和一个Relu激活函数层。针对提取信息特征不同，卷积模块中三维卷积的卷积核大小也做出变化。第一部分主要提取光谱信息，卷积核为1×1×3形式，配合通道注意力机制提取特征。第二部分提取空间信息，卷积核为3×3×1形式，配合空间注意力机制提取特征。第三部分提取空谱信息，卷积核为3×3×3形式，最后加上通道与空间注意力机制。

其中，通道注意力机制对同一个特征图的不同通道进行选择优化，获取重校订的通道信息，具体结构如图3所示，先将H×W×C格式的输入特征分别进行一个空间维度上的全局平均池化和全局最大池化得到两个1×1×C格式的输出，接着再将它们分别送入一个两层的全连接神经网络，第一层神经元个数为C/r，用Relu函数激活，第二层神经元个数C，使得全连接层输出与输入大小相同。这个两层的全连接神经网络是共享的。然后，再将得到的两个特征相加后经过一个Sigmoid激活函数得到权重系数Mc。最后，拿权重系数和原来的输入特征相乘即可得到缩放后的新特征。

空间注意力机制则是对同一个特征图的所有空间位置重新分配权重，然后通过Sigmoid函数来激活得到非线性的重新校订的上下文信息。其具体结构如图4所示，与通道注意力相似，给定一个H×W×C的输入特征图，先分别进行一个通道维度的平均池化和最大池化得到两个H×W×1的通道描述，并将这两个描述在通道维拼接在一起。然后，输入到一个7×7的二维卷积层提取特征并使通道维大小重新变为1，再经过Sigmoid函数激活，得到权重系数Ms。最后，拿权重系数和输入特征图相乘即可得到缩放后的新特征。

在此之后，将三个部分提取的特征图用1维卷积进行进一步特征提取，再用concat函数进行合并，然后输入到GRU单元中，之后将输出结果馈入另一神经网络调整大小使之与第三部分的卷积及注意力层提取结果格式相同，将二者相加，再展开成一维数据，输入到3层全连接层，每两层之间由Relu激活函数相连接，逐步缩小输出数据大小到16单元，最终由softmax层输出分类结果。

如图1所示，具体包括如下步骤：

步骤1：数据预处理。输入为图5所示的遥感图像，通过PCA对输入的图片数据进行降维，减少噪声和不重要特征，有效保留最重要的特征。然后将图片分割成大小为23×23×25的数据块。

步骤2：通道特征提取。如图2所示，一个三维卷积层，一个批标准化层(BatchNormalization)再加上一个Relu激活函数层是一个卷积模块，数据经过两个卷积核为1×1×3大小的三维通道卷积模块处理后输入如图3所示的通道注意力模块，处理后为输出1，输出数据格式大小与输入相同。

步骤3：空间特征提取。输出1经过两个卷积核为3×3×1大小的三维空间卷积模块处理后输入如图4所示的空间注意力模块，处理后为输出2，输出数据格式大小不变。

步骤4：空谱特征提取。输出2经过两个卷积核为3×3×3大小的三维空谱卷积模块处理后输入通道注意力模块，再输入空间注意力模块，处理后为输出3，输出数据格式大小不变。

步骤5：多尺度特征提取。输出1，输出2和输出3经过卷积核大小为7的一维卷积层进一步提取特征，由Relu函数激活后展开成一维数据，用concat函数将三者拼接为一个二维数据，第二维大小为3。然后输入循环神经网络GRU函数，GRU单元个数为3。最后再输入全连接网络将数据大小调整到与输出3相同，此时为输出4

步骤6：合并与分类。将输出3和输出4相加合并，随后展平成一维数据输入3个全连接层，激活函数是Relu，3个全连接层输出大小分别为256，128和16。每两个全连接层之间添加一个Dropout层，参数为0.4。最后经过Softmax层进行分类。对不同物体所在位置用不同颜色标注以进行区分，输出如图6所示的分类后图像。

仿真实验结果分析

1.实验图像

通过仿真实验对算法的性能进行分析和评价。采用由机载可视红外成像光谱仪(AVIRIS)于1992年对美国印第安纳州一块印度松树进行成像，然后截取尺寸为145×145的大小进行标注作为高光谱图像分类测试用途。AVIRIS成像光谱仪成像波长范围为0.4-2.5μm，是在连续的220个波段对地物连续成像的，但是由于第104-108，第150-163和第220个波段不能被水反射，因此，我们一般使用的是剔除了这20个波段后剩下的200个波段作为研究的对象。该光谱成像仪所成的图像的空间分辨率约为20m。

2.实验内容

为了验证模型的有效性，设计3组对比实验来进行验证，通过平均分类精度AA(Average Accuracy)、总体分类精度OA(OverAll Accuracy)和Kappa系数对分类结果进行评价，所有实验均在相同的子空间划分下进行。具体实验内容如表1所示。

表1对比实验

实验组别	实验内容
		A组	包含注意力机制与三维卷积的模型与同结构只有三维卷积的方法
B组	针对提取图像特征不同区分为3部分与不区分的情况
		C组	加入GRU单元的完整模型和只包含卷积网络与注意力机制的模型

首先将包含注意力机制与三维卷积的模型与同结构只有三维卷积的方法做对比，可以看到Kappa、OA和AA值分别提升了2.26％、1.97％和14.91％，由此可以看出，通过采用注意力机制赋予特征不同的权重，优化了特征图，进行特征选择，对最终的分类结果起到了促进作用，并且对分类精度在不同地物目标上差别较大的问题有很大改善。具体结果如表2所示。

表2A组包含注意力机制与三维卷积的模型与同结构只有三维卷积的方法对比实验

	加入注意力	单卷积模块
			Test loss	11.60	22.18
Test accuracy	97.74	95.77
			Kappa accuracy	97.42	95.16
Overall accuracy	97.74	95.77
			Average accuracy	96.16	81.25

其次，将把针对提取图像特征不同区分为3部分与不区分的情况做对比，Kappa、OA和AA值分别提升了3.24％、2.25％和1.34％，可以得知，区分不同结构的注意力并放置在相应的特征提取模块，有助于针对不同维度的特征来赋予空间权重和通道权重，得到更好的结果。具体结果如表3所示。

表3B组针对提取图像特征不同区分为3部分与不区分的情况对比实验

	区分	不区分
			Kappa accuracy	97.42	94.17
Overall accuracy	97.74	95.49
			Average accuracy	96.16	94.85

最后，将加入了循环神经网络GRU单元的完整模型结构和只包含卷积网络与注意力机制的模型做对比，输出结果的Kappa、OA和AA值分别提升了0.38％、0.34％和0.52％，以及十次训练中各个分类精度指标的标准差略有减小，结果精度更加稳定。可见循环神经网络确实提取出不同尺度各自包含的独特特征，并加以融合使得分类更加精确。具体结果如表4所示。

表4C组加入GRU单元的完整模型和只包含卷积网络与注意力机制的对比实验

3.实验结果分析

训练过程百分之10为训练样本，其余百分之90为测试样本。优化方法选择AdamOptimizer，学习率为0.001，迭代次数epochs大小为50。最后分类精度结果10次平均约为百分之98.03。

表1具体实验结果

Claims (8)

1.一种高光谱图像分类识别方法，其特征在于，包括如下步骤：

1)对原始高光谱遥感影像进行预处理；

2)通过三维卷积网络和注意力机制对图像分三阶段提取不同侧重点的特征，分别为光谱特征，空间特征和空谱特征；通过循环神经网络提取多尺度特征并保留特征间的联系，最后进行分类。

2.根据权利要求1所述的一种高光谱图像分类识别方法，其特征在于，所述的步骤1)中，通过PCA对输入的图片数据进行降维。

3.根据权利要求1所述的一种高光谱图像分类识别方法，其特征在于，所述的步骤2)中具体为：由三维卷积提取图像特征，根据卷积核大小的不同将其区分为三个部分先后进行提取光谱信息，提取空间信息和提取空谱信息的操作。

4.根据权利要求3所述的一种高光谱图像分类识别方法，其特征在于，每个所述的部分中，在卷积结构之后，使用注意力机制来优化网络结构；所述的注意力机制分为通道注意力机制和空间注意力机制；其中通道注意力机制对同一个特征图的不同通道进行选择优化，获取重校订的通道信息，空间注意力机制则是对同一个特征图的所有空间位置重新分配权重，然后通过激活函数得到非线性的重新校订的上下文信息；最后，通过循环神经网络中的GRU单元，进行跨层特征融合，将三个部分的输出特征融合起来，使之兼具低层图像特征的细节信息和高层图像特征的意义信息，同时获取上下文信息。

5.根据权利要求3所述的一种高光谱图像分类识别方法，其特征在于，所述的步骤2)中具体为：对于三维卷积网络和注意力机制的提取特征做出区分，针对性的分为三个部分提取，以及用循环神经网络将这三部分联系起来，三个部分分别如下：

第一部分提取光谱信息，卷积核为1×1×3形式，配合通道注意力机制提取特征；

第二部分提取空间信息，卷积核为3×3×1形式，配合空间注意力机制提取特征；

第三部分提取空谱信息，卷积核为3×3×3形式，最后加上通道注意力机制与空间注意力机制。

6.根据权利要求4所述的一种高光谱图像分类识别方法，其特征在于，所述的通道注意力机制中，通道注意力层的结构具体为：

将H×W×C格式的输入特征分别进行一个空间维度上的全局平均池化和全局最大池化得到两个1×1×C格式的输出，接着再将它们分别送入一个两层的全连接神经网络，第一层神经元个数为C/r，用Relu函数激活，第二层神经元个数C，使得全连接层输出与输入大小相同；这个两层的全连接神经网络是共享的；

然后，再将得到的两个特征相加后经过一个Sigmoid激活函数得到权重系数Mc；

最后，拿权重系数和原来的输入特征相乘得到缩放后的新特征。

7.根据权利要求4所述的一种高光谱图像分类识别方法，其特征在于，所述的空间注意力机制中，空间注意力层的结构具体为：

给定一个H×W×C的输入特征图，先分别进行一个通道维度的平均池化和最大池化得到两个H×W×1的通道描述，并将这两个描述在通道维拼接在一起；

然后，输入到一个7×7的二维卷积层提取特征并使通道维大小重新变为1，再经过Sigmoid函数激活，得到权重系数Ms；

最后，拿权重系数和输入特征图相乘得到缩放后的新特征；

在此之后，将三个部分提取的特征图用1维卷积进行进一步特征提取，再用concat函数进行合并，然后输入到GRU单元中，之后将输出结果馈入另一神经网络调整大小使之与第三部分的卷积及注意力层提取结果格式相同，将二者相加，再展开成一维数据，输入到3层全连接层，每两层之间由RELU激活函数相连接，逐步缩小输出数据大小到16单元，最终由softmax层输出分类结果。

8.根据权利要求1所述的一种高光谱图像分类识别方法，其特征在于，所述的步骤2)中具体为：

通道特征提取：一个三维卷积层，一个批标准化层加上一个Relu激活函数层是一个卷积模块，数据经过两个卷积核为1×1×3大小的三维通道卷积模块处理后输入通道注意力模块，输出数据格式大小与输入相同；

空间特征提取：输出1经过两个卷积核为3×3×1大小的三维空间卷积模块处理后输入空间注意力模块，处理后为输出2，输出数据格式大小不变；

空谱特征提取：输出2经过两个卷积核为3×3×3大小的三维空谱卷积模块处理后输入通道注意力模块，再输入空间注意力模块，处理后为输出3，输出数据格式大小不变；

多尺度特征提取：输出1，输出2和输出3经过卷积核大小为7的一维卷积层进一步提取特征，由Relu函数激活后展开成一维数据，用concat函数将三者拼接为一个二维数据，然后输入循环神经网络GRU函数，最后再输入全连接网络将数据大小调整到与输出3相同，此时为输出4。

Images