CN111274869B - 基于并行注意力机制残差网进行高光谱图像分类的方法 - Google Patents

Abstract

本发明公开了一种基于并行注意力机制残差网进行高光谱图像分类的方法，首先构建残差块，所述残差块嵌入两条并行的注意分支网络支路，所述两条并行的注意分支网络支路分别在应用光谱注意力机制及空间注意力机制后，对输入数据的空间特征信息和光谱特征信息进行识别学习；其次，利用构建的若干个依次连接的残差块构成的高光谱图像分类网络，对输入的训练数据集进行训练；其中，所述高光谱图像分类网络还包括依次连接的3D平均池化层和全连接层，所述3D平均池化层连接到与其相邻的残差块，用于对当前残差块输出的数据进行空间维度的调整，来降低整个网络的计算开销；最后，将特征信息输入到高光谱图像分类网络地全连接层中，得到图像分类结果。

Description

基于并行注意力机制残差网进行高光谱图像分类的方法

技术领域

本发明涉及遥感图像分类领域，更具体地说，涉及一种基于并行注意力机制的残差网进行高光谱图像分类方法。

背景技术

高光谱图像分类技术是上世纪80年代发展起来的一种新兴的遥感技术，高光谱遥感利用很多窄的电磁波段从感兴趣的物体中获取图像数据，一般它是在电磁波谱的可见光、近红外、中红外和热红外波段范围内，设置了几十甚至几百个连续波段，其光谱分辨率可高达纳米数量级。

现有的高光谱遥感图像分类方法大多基于两种处理方式：

(1)对光谱维度进行降维处理，将单个样本所对应的光谱向量输入到分类器进行分类；

(2)取待分类像素点的邻域信息，将邻域信息与光谱向量结合并输入到分类器进行分类，这种综合利用空谱特征信息的方法一般称其为“空谱结合”分类方法。

近年来，基于深度学习的方法在高光谱图像分类中取得了很大进展。但是与普通图像不同，高光谱图像数据的内在复杂性仍然限制了许多常见卷积神经网络CNN(Convolutional Neural Networks)模型的性能。

因此，为了进一步提取具有鉴别性的空谱特征，在进行网络架构设计时变得越来越复杂。例如，三维卷积神经网络3D-CNN(3D Convolutional Neural 25 Networks)通常具有大量的可训练参数，这也增加了高光谱图像分类过程的计算复杂度；其主要原因是多数现有的深度学习网络不能针对性的弱化高光谱图像数据中冗余的特征信息，致使有用的特征信息无法充分利用。而且高光谱图像分类中已有的残差网络往往一味的依赖残差连接的加入靠线性堆叠更多的网络层来对空谱信息学习处理，这些网络对高光谱的空谱特征信息处理时虽然是分别处理，但整体是线性的前后结合而成，造成光谱或空间特征学习时已经一部分特征信息丢失。

所以在有限的网络层中高效的学习重要的空谱特征，来提高分类精度、减少训练集所需样本、并且保证模型训练时间是一项充满挑战的任务。

发明内容

本发明要解决的技术问题在于，针对现有技术的未解决网络繁杂的问题，不能针对性的弱化高光谱图像数据中冗余特征信息，致使有用的特征信息无法充分利用的缺陷，提供一种基于并行注意力机制的残差网进行高光谱图像分类方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于并行注意力机制残差网进行高光谱图像分类的方法，包括以下步骤：

S1、构建残差块，所述残差块嵌入两条并行的注意分支网络支路，对输入的数据，进行空间特征信息和光谱特征信息的识别；所述两条并行的注意分支网络支路分为第一网络支路和第二网络支路，所述第一网络支路应用光谱注意力机制，所述第二网络支路应用空间注意力机制；

S2、利用步骤S1构建的残差块来构建高光谱图像分类网络，所述高光谱图像分类网络包括若干个依次连接的残差块；其中，排列在第一位的残差块，其输入的数据包括高光谱图像数据集；所述高光谱图像分类网络还包括依次连接在所述若干个依次连接的残差块之后的3D平均池化层和全连接层，所述平均池化层用于对当前残差块输出的数据进行空间维度的调整，降低整个网络的计算开销；所述全连接层用于处理经空间维度调整后的特征向量，得到输入样本类别；

S3、将高光谱原始3D立方体数据输入到步骤S2构建好的高光谱图像分类网络中，得到图像分类结果。

本发明所述的一种基于并行注意力机制残差网进行高光谱图像分类的方法，首先，针对高光谱特性提出来的并行注意力机制；其次，基于并行注意力机制，进行残差块的改进；最后，基于改进后的残差块构成的并行注意力残差网架构，进行图像分类。

实施本发明公开的一种基于并行注意力机制残差网进行高光谱图像分类的方法，具有以下有益效果：

1、首先针对高光谱图像数据自身的特点，本发明首次针对性的设计了符合一般高光谱图像数据构造的并行注意力机制，通过两个并行的分支同步的学习光谱特征信息和空间特征信息，尽可能的使网络学习辨别性强的空谱特征。

2、本发明将并行注意力机制与残差网构造特性结合，重新设计了残差块的构造；

3、本发明通过在多组标准数据集的多次实验下表明，本发明的网络具有训练集需求少和分类精度高的特点。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明公开的一种基于并行注意力机制残差网进行图像分类的方法流程图；

图2是整体实施流程图；

图3是本发明提出的嵌入并行注意力机制的残差块网络结构图；

图4是本发明提出的本发明提出的总体网络架构图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参考图1，其为本发明公开的一种基于并行注意力机制残差网进行图像分类的方法流程图，具体包括以下步骤：

S1、构建残差块，所述残差块嵌入两条并行的注意分支网络支路，所述两条并行的注意分支网络支路分别在应用光谱注意力机制及空间注意力机制后，对输入数据的光谱特征信息和空间特征信息进行识别学习；其中：

步骤S1中构建残差块的步骤包括：

S11、训练残差块网络，获取训练数据集：

本发明中，在训练残差块网络时，对于输入的训练数据要求是包括高光谱图像的原始3D立方体数据块，在不经过任何降维处理，而直接使用原始数据，既保护了原始数据间的结构关系，又简化了网络处理流程。

本实施例中，输入的样本数据要以原始数据立方体的形式输入网络，以像元p为例，以像元p为中心沿着上、下、左、右方向各延伸4个像元单位后，以像元p为中心组成一个9×9的空间平面，再将所述空间平面中相应的光谱波段数全部取出后，进一步构成一个大小为d×d×B的立方体，所述原始数据立方体即为本实施例中要输入到网络的原始数据，其中，参数d表示当前构建的空间平面尺寸，所述尺寸包括平面的长和宽，本实施例中d取值为9，即取平面的长和宽为9；参数B代表输入数据的波段数，所述波段数因数据集的不同而有所区别。

在输入立方体原始数据到上述构建的残差块网络中，进行网络训练时，以中心像元p所属的类别为整体所属的类别；本实施例中将空间平面的大小设置为：9×9×B的原始立方体，让残差块网络既可以充分学习识别中心像元p与周围像元的空间特征信息，又可以充分利用整体的光谱波段特征信息。

S12、将获取到的原始数据输入到两条并行的注意分支网络支路中，进行特征识别学习；其中，第一网络支路采用光谱注意力机制，其针对高光谱图像数据的光谱波段，进行光谱特征信息的识别学习；第二网络支路采用空间注意力机制，对输入的高光谱图像数据空间信息进行识别学习；具体的：

本步骤中，在原始立方体数据块输入到注意分支网络支路后，通过当前构建的残差块网络的并行注意分支进行特征学习，请参考图3，图3所示的即为嵌入并行注意力机制后的残差块网络结构；本实施例在对传统的残差块网络进行改进后，可以有效的对输入数据的特征信息进行利用；

在输入的立方体原始数据到残差块网络时，可参考图3，首先，要经过两条并行的注意分支网络支路，如图3所示的残差块网络结构，沿其从上到下的顺序，依次为嵌入光谱注意力机制和空间注意力机制网络支路；其中，所述嵌入光谱注意力机制网络支路，是针对输入数据的光谱波段进行识别学习，尽可能对识别可辨别性强的光谱特征信息；所述嵌入空间注意力机制网络支路，是针对输入数据空间信息进行识别学习，尽可能多的对重要的空间信息学习，弱化无用信息；其中，两条注意力机制学习过程是独立的运行，但是时间上是同步进行；具体的：

在嵌入光谱注意力机制网络支路中，所述原始立方体数据块在输入到当前网络支路时，通过3D平均池化层来对空间纬度降维使空间尺寸减半，保证后续光谱特征的高效学习，而本实施例中使用到的3D平均池化层的平均池化窗口大小为5×5×1，步幅为(1，1，1)。

在依据上述步骤对输入数据的空间尺寸做减半处理后，得到图3中所示的标记为①的数据信息，此时①的尺寸为5×5×B(B代表输入数据的波段数)，接着，通过3D卷积层和归一化层对当前输出的光谱波段信息进行学习后，得到图3中的②，此时②的尺寸为

本实施例中，所述3D卷积层由24个尺寸大小为1×1×2的3D卷积核组成，每个3D卷积核步幅为(1，1，2)，在应用3D卷积核后，有助于捕获更为全面的波段信息；当前，通过步幅(1，1，2)的3D卷积核，针对波段维度进行步进卷积后，对波段信息进行下采样，有效的将数据波段维数减半。当前之所以这样处理，主要是由于高光谱自身的波段冗余性，加之本发明的残差块网络特点，随着特征学习的进行，残差块网络后半部分的特征是由前面层习得到的加权特征图，所以有效的进行波段降维，通过更小规模的数据可以使的有价值的信息被识别捕获到。

最后再通过一个平均池化窗口大小为5×5×1，步幅为(1，1，1)的3D平均池化层进行空间纬度降维，得到图3中所示的标记为③的数据信息，此时③的尺寸为

当前，针对卷积计算后的特征信息，将所述特征信息经过非线性激活函数softmax处理，其中，softmax函数的输出可视为一组条件概率，本实施例中，通过选择softmax函数来加强有用的特征信息的识别，且抑制不重要的特征信息。

本实施例下，应用光谱注意力机制网络支路，进行光谱特征信息识别学习，其用公式表示如式(1)：

F_spectral＝σ(AvgPool(f₁(AvgPool(F)))) (1)；

其中，σ代表softmax非线性激活函数，AvgPool代表平均池化层，f₁(·)代表对“·”进行卷积层计算，F代表输入到网络的数据；

与此同时，应用空间注意力机制网络支路，针对输入的原始立方体数据块，通过3D卷积层和归一化层，对光谱波段信息进行学习，得到图3中标记为④的数据信息，此时④的尺寸为9×9×1，3D卷积层由24个尺寸大小为1×1×B的3D卷积核，步幅为(1，1，1)；利用3D卷积层在波段维上进行降维处理，使得接下来的特征学习仅集中在空间信息。

接着上一处理步骤，通过包含24个尺寸大小为5×5×1，步幅为(1，1，1)的3D卷积核，来对输入数据得空间信息特征进行学习，得到图3中标记为得数据信息，此时的尺寸为9×9×1。

应用空间注意力机制网络支路，进行空间特征信息识别学习的过程，其用公式表示如式(2)：

F_spatial＝σ(f₃(f₂(F))) (2)；

其中，参数σ代表softmax非线性激活函数，f₂，f₃代表卷积层计算，F代表原始立方体数据块。

S13、将两个并行注意分支网络的输出，通过逐元素相乘融合在一起，形成与原始输入数据空间大小相同，且波段减半的概率分布立方体F_att；具体的：

将两个并行注意分支网络的输出通过逐元素相乘融合在一起，形成与原始立方体数据块空间大小相同，波段减半的概率分布立方体⑥，如式子(3)所示：

S14、对原始输入数据进行线性卷积变换，将其变换后的数据波段与F_att的波段进行统一；其中，在进行波段统一后，将F_att与线性变换后的原始输入数据通过逐元素相乘的方式进行融合，得到特征融合数据；具体的：

得到概率分布立方体后，需要把概率分布数据与原始立方体数据块融合，由于此时概率分布立方体相对原始立方体数据块空间大小相同，波段减半，所以需要对原始立方体数据块，通过不加激活函数的卷积层来对立方体数据进行线性卷积变换，将其变换后的数据波段与F_att的波段进行统一。

S15、加入残差连接，将所述特征融合数据与经过线性卷积变换后的原始输入数据进行逐元素相加，得到嵌入并行注意力机制的残差块；具体的：

为了使特征信息得到充分利用，请参考图3，本实施例中，接着上一步骤再加入残差连接，将概率分布数据与经过线性卷积变换后的原始输入数据进行逐元素相乘；当前得到的结果再与经过线性卷积变换后的原始输入数据进行逐元素相加，最终得到尺寸大小为的

残差块，如式(4)所示：

其中，F_out代表残差块的输出，f₀代表线性卷积变换。

S2、利用步骤S1构建的残差块，构建包括若干个依次连接的残差块的高光谱图像分类网络，本实施例中采用3个残差块，对输入的训练集信息特征训练；

所述高光谱图像分类网络还包括依次连接的3D平均池化层和全连接层，所述3D平均池化层还连接到与其相邻的残差块，用于对当前残差块输出的数据进行空间维度的调整，来降低整个网络的计算开销；具体的：

本实施例中利用三个残差块构成的网络，对训练集进行训练，当前的网络结果请参考图4。

以上介绍了并行注意力机制对于高光谱图像数据的工作原理与步骤以及改进后的残差块对高光谱图像数据的计算步骤。

改进后的残差块最为本发明网络中主要基本单元，总体网络如图4所示，当前构建的高光谱图像分类网络下，共由三个这样的残差块、一个3D平均池化层和一个全连接层依次连接构成；而，该网络下的每个残差块的运作机理相同，输出的数据块相对于输入的数据块空间大小相同，波段数减半。例如本发明的网络三个残差块的输出数据块尺寸大小分别为

这样保证了网络对特征信息高效学习的同时，均衡了训练网络所需的时间开销；当前排序为第三的残差块，将输出数据输入到一个平均池化窗口大小为5×5×1，步幅为(1，1，1)的3D平均池化层，来对特征信息的空间纬度做降维减半处理，当前的降维处理可以有效的减小全连接层的计算开销；

最后，将处理得到的特征向量数据经过包含有64个神经元的全连接层和softmax函数后，得到预测的输入样本类别。

S3、将待分类的高光谱图像(特征信息)输入到步骤S2训练好的高光谱图像分类网络中，得到图像分类结果；而本实施例为了保证图像分类精度，在进行最终的图像分类前，通过构建测试集对当前训练好的高光谱图像分类网络进行检验，具体的，本实施例中，将测试集样本以和训练集输入到分类网络时相同的块大小格式，输入到训练好的分类网络模型中实现分类计算。

还需要在进一步说明的是：本实施例中提到的高光谱遥感图像，具体指的是通过高光谱仪获取，光谱分辨率一般都在10-2λ数量级的范围内，光谱波段数可达几十个甚至几百个的图像。

还需要在进一步说明的是：高光谱遥感图像可以将目标的空间信息和光谱信息相结合，类似于一个三维立方体，自上而下对应多个波段，每个波段所采集的平面信息，一般称其为空间信息；每个波段中同一位置的像素点所组成的向量，一般称其为光谱信息。

还需要在进一步说明的是：本实施例中提到的注意力机制，具体指的是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。根据具体任务目标，通过对关注的方向和加权模型进行调整，强化有用的特征信息，并使不符合注意力模型的内容弱化，让深度神经网络学到图像数据中需要关注的区域。

还需要在进一步说明的是：本实施例中提到的残差网，具体指的是相对于常规卷积神经网络引入了跳跃连接也就是直接映射部分，由若干残差块组成，残差块分成两部分直接映射部分和残差部分，残差部分一般主要由两个或者三个卷积操作构成。直接映射部分用于把网络前端层的输出特征信息隔层跳跃传给后端层重新处理，这样也缓解了在深度神经网络中增加深度带来的梯度消失问题。

请参考图2，其为整体实施流程图，结合前述的图像分类的方法，整体实施流程具体可分为以下几项步骤：

首先，将高光谱原始3D立方体数据块输入到待测网络下；

其次，嵌入并行注意力机制的残差块；

其次，利用3个残差块构成改进的残差网；

其次，将当前构建的残差网依次连接到一个3D平均池化层和一个全连接层；

其次，将所需分类的图像数据输入到当前构建的图像分类网络下，得到分类结果；

其次，依据分类结果对网络分类精度做进一步判断，在分类精度不满足预设条件时，则进行网络训练，直到得到一个分类精度较高的网络，用于后续步骤；

最后，利用测试集进行网络评估。

本发明公开的一种基于并行注意力机制残差网进行高光谱图像分类的方法，针对高光谱图像数据自身的特点，本发明首次针对性的设计了符合一般高光谱图像数据构造的并行注意力机制，通过两个并行的分支同步的学习光谱特征信息和空间特征信息，尽可能的使网络学习辨别性强的空谱特征；再将并行注意力机制与残差网构造特性结合，重新设计了残差块的构造；其有效的提高的图像分类精度，适合长远的推广及应用。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (7)

1.一种基于并行注意力机制残差网进行高光谱图像分类的方法，其特征在于，包括以下步骤：

S1、构建残差块，所述残差块嵌入两条并行的注意分支网络支路，对输入的数据，进行空间特征信息和光谱特征信息的识别；所述两条并行的注意分支网络支路分为第一网络支路和第二网络支路，所述第一网络支路应用光谱注意力机制，所述第二网络支路应用空间注意力机制；

S11、获取数据集；

S12、将获取到的数据集输入到注意分支网络支路中，并经进行特征学习；其中，第一网络支路采用光谱注意力机制，针对输入数据的光谱波段，进行光谱特征信息识别学习；第二网络支路采用空间注意力机制，针对输入数据的空间信息，进行空间特征信息的识别学习；

S13、将两个注意分支网络支路的输出，通过逐元素相乘融合在一起，形成与原始输入数据空间大小相同，波段减半的概率分布立方体F_att；

S14、对原始输入数据进行线性卷积变换，将其变换后的数据波段与F_att的波段进行统一；在进行波段统一后，将F_att与线性变换后的原始输入数据通过逐元素相乘的方式进行融合，得到特征融合数据；

S15、加入残差连接，将所述特征融合数据与经过线性卷积变换后的原始输入数据进行逐元素相加，得到嵌入并行注意力机制的残差块；

S2、利用步骤S1构建的残差块来构建高光谱图像分类网络，所述高光谱图像分类网络包括若干个依次连接的残差块；其中，排列在第一位的残差块，其输入的数据包括高光谱图像数据集；所述高光谱图像分类网络还包括依次连接在所述若干个依次连接的残差块之后的3D平均池化层和全连接层，所述3D平均池化层用于对当前残差块输出的数据进行空间维度的调整，降低整个网络的计算开销；所述全连接层用于处理经空间维度调整后的特征向量，得到输入样本类别；

S3、将高光谱原始3D立方体数据输入到步骤S2构建好的高光谱图像分类网络中，得到图像分类结果。

2.根据权利要求1所述的高光谱图像分类的方法，其特征在于，步骤S12中，基于光谱注意力机制的处理过程，用数据公式表示为

F_spectral＝σ(AvgPool(f₁(AvgPool(F))))；

其中，σ代表softmax非线性激活函数，AvgPool代表平均池化层，f₁(·)代表对“·”进行卷积层计算，F代表输入到网络的数据；

基于空间注意力机制的处理过程，用数学公式表示为：

F_spatial＝σ(f₃(f₂(F)))；

σ代表softmax非线性激活函数，f₂，f₃代表卷积层计算，F代表输入到网络的数据。

3.根据权利要求1所述的高光谱图像分类的方法，其特征在于，步骤S12中，所述获取到的数据以原始数据的立方体形式，输入到注意分支网络支路，进行特征学习；其中：

以像元p为中心，沿上、下、左、右四个方向各延伸m个像元单位，组成一个(2m+1)×(2m+1)的空间平面；

将所述空间平面中的光谱波段数全部取出，构成一个大小为d×d×B的立方体，其中，d表示空间3D立方体的空间尺寸长和宽，B代表高光谱图像数据的波段数。

4.根据权利要求3所述的高光谱图像分类的方法，其特征在于，在将原始数据以立方体形式输入到高光谱图像分类网络时，以中心像元p所属的类别作为样本所属的类别；通过学习识别中心像元p与其周围像元的空间特征信息，并利用整体的光谱波段特征信息，进行光谱特征信息的识别学习。

5.根据权利要求1所述的高光谱图像分类的方法，其特征在于，步骤S15中，加入残差连接，将F_att与原始输入数据f₀(F)通过逐元素相乘进行融合，并将得到的特征融合数据与f₀(F)进行逐元素相加，其数学表达式为：

其中，F_out代表残差块的输出，f₀代表线性卷积变换；在经过上述处理操作后，得到嵌入并行注意力机制的残差块；“A⊕B”表示将参数A和B进行逐元素相加；表示将参数A和B进行逐元素相乘。

6.根据权利要求1所述的高光谱图像分类的方法，其特征在于，步骤S2中，每个残差块的运作机理相同，其中，每个残差块输出的数据块相对于输入的数据块，其空间大小相同，波段数减半，保证了网络对特征信息学习的同时，均衡了训练网络所需的时间开销；

最后，将3D平均池化层输出的特征向量，经过一个包含有χ个神经元的全连接层和softmax函数后，得到预测的输入样本类别。

7.根据权利要求1所述的高光谱图像分类的方法，其特征在于，在进行最终的图像分类前，输入测试数据集对高光谱图像分类网络的分类精度进行检验，其中，将测试集样本以和在进行网络训练时的训练数据集输入到网络时，相同的块大小格式输入到高光谱图像分类网络模型中，进行分类计算。

Images