CN109784347B - 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 - Google Patents

Abstract

本发明涉及一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法，通过使用稠密连接机制构建多尺度稠密卷积神经网络，稠密链接机制能够有效的缓解梯度消失问题，加强了特征传播，鼓励特征复用以及极大地减少了参数数量，降低了网络训练过程中对训练样本的需求；此外网络并结合谱注意力机制，对谱方向的特征利用更加有效。本发明实现了小样本条件下，高光谱图像深度特征的自主提取，高精度的分类。本发明与现有的基于深度学习的高光谱图像分类方法相比，样本需求量更小，精度更高。

Description

基于多尺度稠密卷积神经网络和谱注意力机制的图像分类 方法

技术领域

本发明涉及一种基于多尺度稠密卷积神经网络和谱注意力机制的小样本高光谱图像分类方法，属图像处理领域。

背景技术

高光谱遥感图像光谱分辨率高、成像波段多、信息量大，在遥感应用领域得到广泛应用。高光谱图像分类技术是高光谱图像处理技术中十分重要的内容，主要包含特征提取及分类两部分，其中从原高光谱图像中提取的分类特征对后续的分类精度影响巨大：分类特征的鲁棒性强，能够大幅提高分类精度；相反，鲁棒性较差的分类特征则会明显降低分类效果。

近几年，深度学习在特征提取方面成绩显著，为提高高光谱图像分类精度，各种深度模型被引入到高光谱图像的分类中来，并在谱特征的基础上，引入空间特征，利用深度学习模型，自主提取高光谱图像的空谱特征，有效的提高了高光谱图像分类精度。

然而，现有的利用深度模型提取高光谱图像空谱特征的方法十分复杂，往往需要先对原高光谱图像进行谱空间上的压缩降维，再对降维后的数据提取空间特征与谱特征相结合得到空谱特征。降维处理计算量大，且损失了一定的谱信息，影响精度。此外，现有的利用深度模型提取高光谱图像空谱特征的方法需要大量训练样本进行训练网络，而实际对采集到的高光谱图像进行标记十分困难,实地勘测需要大量的人力物力,并且需要耗费大量的时间。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，针对高光谱图像分类问题，结合深度学习相关技术，本发明提出一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法。

技术方案

一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法，其特征在于步骤如下：

步骤1：数据预处理

对待处理的高光谱图像数据进行最大最小归一化，归一化公式如下：

其中x_ijs表示高光谱图像中的一个像元，i、j分别表示该像元位于高光谱图像中的坐标位置，s表示高光谱图像的谱段，

为归一化后的一个像元，x_··smax、x_··smin分别表示三维高光谱图像在s谱段的最大值和最小值；

步骤2：数据分割

统计待处理的高光谱图像中，各个类别标注样本的个数，然后按照比例，从每个类别中，抽取5个标注的样本作为训练数据，剩余的部分作为测试数据；具体做法如下，对于一个尺寸为M×N×D的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，D表示数据的波段数；抽取样本时，以待处理像素为中心，抽取S×S×D的数据块作为中心像素的样本数据，S表示邻域大小；

步骤3：构建网络模型

首先深度网络使用稠密连接机制用于导出网络中的多级特征，使用三维扩张卷积，可以使用多尺度特征图生成光谱空间特征；此外，在每层网络中增加谱注意力机制策略；所述的稠密连接机制：第l层的输出是由前面所有层x₀,...,x_l-1的特征图连接组成的，表示为x_l＝F({x₀,...,x_l-1})，F(·)表示非线性变换；对于本网络结构使用的多尺度三维扩张卷积，第i层的第j个通道的三维扩张卷积的扩张值设置为s_ij＝((iw+j)mod 10)+1，w表示每层卷积层的卷积个数；所述的谱注意力机制：数据块U大小为S×S×D，从谱的方向上数据块U可以表示为F_spectral，经过谱注意力机制生成的向量为g，大小为1×1×D，得到F_sacle为加入谱注意力机制后的向量，最后生成为U’，大小为S×S×D；将谱注意力机制加入到多尺度稠密网络中，右侧网络结构为注意力机制网络结构图，在三维扩张卷积操作之后但在连接操作之前作为权重加入；

步骤4：训练网络模型

将训练数据批量的输入到构建好的深度网络中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛；训练过程中，每次随机不重复的从训练集里抽取10-20样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数；训练过程便利整个训练集一次为一轮训练；

步骤5：生成预测结果

基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到预测结果图。

步骤2中的S取13。

步骤3中的w取8。

步骤4中的整个训练过程进行100轮，前60轮学习率设为0.01，最后40轮，学习率衰减到0.001；整个训练过程中，动量项设为0.9。

有益效果

本发明提出的一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法，通过使用稠密连接机制构建多尺度稠密卷积神经网络，稠密链接机制能够有效的缓解梯度消失问题，加强了特征传播，鼓励特征复用以及极大地减少了参数数量，降低了网络训练过程中对训练样本的需求；此外网络并结合谱注意力机制，对谱方向的特征利用更加有效。本发明实现了小样本条件下，高光谱图像深度特征的自主提取，高精度的分类。本发明与现有的基于深度学习的高光谱图像分类方法相比，样本需求量更小，精度更高。

附图说明

图1：基于多尺度稠密卷积神经网络和谱注意力机制的小样本高光谱图像分类方法流程图

图2：稠密连接示意图

图3：谱注意力机制示意图

图4：谱注意力机制加入到多尺度稠密网络中的示意图

图5：网络整体结构图示意图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明的技术方案是基于多尺度稠密卷积神经网络和谱注意力机制的小样本高光谱图像分类方法。本技术方案的具体措施如下：

步骤1：数据预处理。待处理的高光谱图像数据进行最大最小归一化。

步骤2：数据分割。统计待处理的高光谱图像中，各个类别标注样本的个数，然后按照比例，从每个类别中，抽取5个标注的样本作为训练数据，剩余的部分作为测试数据。

步骤3：构建网络模型。构建基于多尺度稠密卷积神经网络和谱注意力机制的深度网络模型。

步骤4：训练网络模型。将训练数据批量的输入到构建好的深度网络中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛。在测试数据上评估网络精度。

步骤5：生成预测结果。基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到预测结果图。

具体步骤如下：

步骤1：数据预处理。对待处理的高光谱图像数据进行最大最小归一化，归一化公式如下：

其中x_ijs表示高光谱图像中的一个像元，i、j分别表示该像元位于高光谱图像中的坐标位置，s表示高光谱图像的谱段，现有的高光谱图像一般包含100-240个谱段，

为归一化后的一个像元，x_··smax、x_··smin分别表示三维高光谱图像在s谱段的最大值和最小值；

步骤2：数据分割。统计待处理的高光谱图像中，各个类别标注样本的个数，然后按照比例，从每个类别中，抽取5个标注的样本作为训练数据，剩余的部分作为测试数据。具体做法如下，对于一个尺寸为M×N×D的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，D表示数据的波段数。抽取样本时，以待处理像素为中心，抽取S×S×D的数据块作为中心像素的样本数据，S表示邻域大小，一般取13；

步骤3：构建网络模型。首先深度网络使用稠密连接机制用于导出网络中的多级特征，使用三维扩张卷积，可以使用多尺度特征图生成光谱空间特征。此外，在每层网络中增加谱注意力机制策略。其中，稠密连接机制如图2所示，第l层的输出是由前面所有层x₀,...,x_l-1的特征图连接组成的，可以表示为x_l＝F({x₀,...,x_l-1})，F(·)表示非线性变换。对于本网络结构使用的多尺度三维扩张卷积，第i层的第j个通道的三维扩张卷积的扩张值设置为s_ij＝((iw+j)mod 10)+1，w表示每层卷积层的卷积个数，一般取8。谱注意力机制如图3所示，数据块U大小为S×S×D，从谱的方向上数据块U可以表示为F_spectral，经过谱注意力机制生成的向量为g，大小为1×1×D，得到F_sacle为加入谱注意力机制后的向量，最后生成为U’，大小为S×S×D。将谱注意力机制加入到多尺度稠密网络中的示意图如图4所示，右侧网络结构为注意力机制网络结构图，在三维扩张卷积操作之后但在连接操作之前作为权重加入；

步骤4：训练网络模型。将训练数据批量的输入到构建好的深度网络中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛。训练过程中，每次随机不重复的从训练集里抽取10-20样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数。训练过程便利整个训练集一次为一轮训练。整个训练过程进行100轮，前60轮学习率设为0.01，最后40轮，学习率衰减到0.001。整个训练过程中，动量项设为0.9；

步骤5：生成预测结果。基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到预测结果图。

Claims (4)

1.一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法，其特征在于步骤如下：

步骤1：数据预处理

对待处理的高光谱图像数据进行最大最小归一化，归一化公式如下：

其中x_ijs表示高光谱图像中的一个像元，i、j分别表示该像元位于高光谱图像中的坐标位置，s表示高光谱图像的谱段，

为归一化后的一个像元，x_..smax、x_..smin分别表示三维高光谱图像在s谱段的最大值和最小值；

步骤2：数据分割

统计待处理的高光谱图像中，各个类别标注样本的个数，然后按照比例，从每个类别中，抽取5个标注的样本作为训练数据，剩余的部分作为测试数据；具体做法如下，对于一个尺寸为M×N×D的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，D表示数据的波段数；抽取样本时，以待处理像素为中心，抽取S×S×D的数据块作为中心像素的样本数据，S表示邻域大小；

步骤3：构建网络模型

首先深度网络使用稠密连接机制用于导出网络中的多级特征，使用三维扩张卷积，可以使用多尺度特征图生成光谱空间特征；此外，在每层网络中增加谱注意力机制策略；所述的稠密连接机制：第l层的输出是由前面所有层x₀,...,x_l-1的特征图连接组成的，表示为x_l＝F({x₀,...,x_l-1})，F(·)表示非线性变换；对于本网络结构使用的多尺度三维扩张卷积，第a层的第b个通道的三维扩张卷积的扩张值设置为s_ab＝((aw+b)mod 10)+1，ω表示每层卷积层的卷积个数；所述的谱注意力机制：数据块U大小为S×S×D，从谱的方向上数据块U可以表示为F_spectral，经过谱注意力机制生成的向量为g，大小为1×1×D，得到F_sacle为加入谱注意力机制后的向量，最后生成为U’，大小为S×S×D；将谱注意力机制加入到多尺度稠密网络中，右侧网络结构为注意力机制网络结构图，在三维扩张卷积操作之后但在连接操作之前作为权重加入；

步骤4：训练网络模型

将训练数据批量的输入到构建好的深度网络中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛；训练过程中，每次随机不重复的从训练集里抽取10-20样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数；训练过程便利整个训练集一次为一轮训练；

步骤5：生成预测结果

基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到预测结果图。

2.根据权利要求1所述的一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法，其特征在于步骤2中的S取13。

3.根据权利要求1所述的一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法，其特征在于步骤3中的ω取8。

4.根据权利要求1所述的一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法，其特征在于步骤4中的整个训练过程进行100轮，前60轮学习率设为0.01，最后40轮，学习率衰减到0.001；整个训练过程中，动量项设为0.9。

Images