CN112668421A - 一种基于注意力机制的无人机高光谱农作物快速分类方法 - Google Patents

Abstract

本发明针对无人机高光谱影像，公开了一种基于注意力机制的无人机高光谱农作物快速分类方法，主要包括：使用光谱注意力模块提取通道间的上下文信息；使用尺度注意力模块提取多尺度上下文信息；使用空间注意力模块中融合低层细节特征和高级语义特征；设计边界约束的损失函数进一步增加农作物特征的区分性。本发明能够适用于海量高维非线性数据结构的双高影像农作物精细分类，极大改善了双高影像农作物分类结果中错分孤立区域现象，是一种快速精确的农作物精细分类方法，可满足无人机载高光谱影像农作物精细分类制图的需求。

Description

一种基于注意力机制的无人机高光谱农作物快速分类方法

技术领域

本发明属于遥感图像处理技术领域，特别涉及一种基于空谱多尺度注意力机制和边界约束损失函数的深度学习农作物快速精准识别方法

背景技术

无人机搭载的高光谱系统可以获取具有高空间分辨率的高光谱图像(本专利中简称为“双高”影像)。由于低运行成本，高灵活性和实时数据采集的能力，无人机载高光谱数据已成为农业遥感监测的重要数据源。然而，无人机载双高影像针对多类农作物精细分类时仍面临以下挑战。一方面，在双高影像农作物精细分类中，不同农作物之间光谱信息相似，类间差异小；另一方面，随着双高影像空间分辨率的提升，地物的空间异质性逐渐增大，进而加剧地物光谱的变异性，使得同类农作物的类内方差增大。此外，双高影像由于超高的光谱分辨率和空间分辨率使得数据量海量高维，需要一种快速实时的数据处理方法。

当前的高光谱农作物分类方法有基于统计分析的光谱信息分类、空谱特征融合分类，基于数据驱动的深度学习分类方法。基于统计分析的方法只能学习到浅层特征，并且依赖专家知识的手工特征设计，难以适用于海量高维非线性数据结构的双高影像。基于深度学习的分类方法主要以取空间块的方式为主，以标记像素为中心选取邻域的三维空间块作为网络的输入，这种策略只能利用局部空谱信息，在双高影像农作物分类结果中会造成大量错分的孤立区域，并且推理速度慢，计算效率低。

发明内容

本发明针对无人机高光谱影像，提出一种基于注意力机制网络的农作物快速分类方法，具有以下三个显著特点。一是设计全卷积神经网络框架实现全局空谱信息融合，推理速度快，相比于采用空间块作为输入的深度学习方法推理速度可提升百倍以上；其二，设计光谱-空间注意力模块引入通道维、空间维上下文信息，同时设计尺度注意力模块自适应的选取多尺度上下文信息，实现全局多尺度上下文空谱信息融合。其三，针对农作物光谱信息相似，类间差异小的问题，设计边界约束的损失函数，增加类别特征之间的区分性。

本发明提供基于注意力机制网络的无人机载高光谱影像农作物快速分类方法，具体实现步骤如下：

步骤1，对输入影像进行镜像填充；

步骤2，对镜像填充影像进行通道降维；

步骤3，构建用于农作物分类的网络模型，包括以下子步骤；

步骤3.1，使用光谱注意力模块提取通道间的上下文信息，获得低层细节特征；

步骤3.2，使用尺度注意力模块提取多尺度上下文信息，获得高级语义特征；

步骤3.3，使用空间注意力模块中融合低层细节特征和高级语义特征；

步骤3.4，将空间注意力模块最终输出的特征图输入边界约束的损失函数中，输出loss值；

步骤3.5，反向传播loss值更新网络模型参数；

步骤4，将待分类的双高影像输入到网络模型，输出预测分类结果，实现农作物的精细分类识别。

进一步的，所述步骤2的实现方式如下，

将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。

进一步的，所述步骤3的实现方式如下，

步骤3.1.1，设步骤2中通道降维后得到特征图F，将特征图F输入第一个光谱注意力模块中，提取通道维上下文信息特征，光谱注意力模输出特征图Fspectral₁，公式如下：

Fspectral₁＝Conv3×3_stride＝2(σ(MLP(AvgPool(F))+MLP(MaxPool(F))×F)

上式中，F表示输入的特征图，Fspectral为光谱注意力模块输出的特征图；σ(·)表示sigmoid激活函数，输出每个通道的重要性的权重；MLP(·)是一个2层的神经网络，并且上式中2个MLP共享权重；AvgPool(·)与MaxPool(·)分别表示在空间维进行平均池化和最大池化操作，其输出是一维向量；Conv3×3_stride＝2是一个步长为2的3×3的卷积，其目的是增大卷积感受野，便于提取高层语义特征提取；

步骤3.1.2，将步骤3.1.1输出的特征图Fspectral₁输入到第二个光谱注意力模块中，第二个光谱注意力模块特征提取方式与步骤3.1.1相同；通过k个串联的光谱注意力模块依次输出Fspectral₁,Fspectral₂,…,Fspectral_k。

进一步的，步骤3.2的实现方式如下，

尺度注意力模块用于实现自适应的选择多尺度的上下文信息，其输入为最后一个光谱注意力模块输出的特征图Fspectral_k，其具体包括5部分；

步骤3.2.1，使用四个不同空洞率r₁,r₂,r₃,r₄的3×3卷积算子对输入特征图Fspectral_k进行特征不同尺度的上下文信息感知，分别输出四个不同尺度上下文特征图Fscale_r1,

其中，r₁,r₂,r₃,r₄根据地物真实分布确定不同的值；

步骤3.2.2，将3.2.1输出的不同尺度的上下文特征图进行逐像素加和，输出多尺度特征图Fscale_sum，公式如下：

步骤3.2.3，将3.2.2输出的聚合特征Fscale_sum进行空间全局池化来感知全局信息，生成通道维的统计信息，随后连接一个全连接层自适应的选择上下文特征，公式如下：

F_cs＝FC(AvgPool(Fscale_sum))

上式中，AvgPool(·)为全局池化，FC表示全连接层，采用ReLU激活函数；

步骤3.2.4，通过Softmax应用在步骤3.2.3输出的F_cs通道维上计算不同尺度上下文信息的权重，具体

其中a_r1,a_r2,a_r3,a_r4∈R^C×1分别是多尺度上下文特征Fscale_r1,

的权重，A_r1,A_r2,A_r3,A_r4∈R^C×d是维度转换矩阵，其中C是Fscale_sum通道维度，d是F_cs的通道维度；由上式可以得出，对于任意一个通道i的权重，具有如下关系：

a_r1[i]+a_r2[i]+a_r3[i]+a_r4[i]＝1

步骤3.2.5，将3.2.4计算的不同尺度的特征权重a_r1,a_r2,a_r3,a_r4分别对特征图Fscale_r1,

进行加权，然后对加权后的特征进行相加聚合，进而实现多尺度信息的自适应选择，公式表示如下：

Fscale[i]＝a_r1[i]·Fscale_r1+a_r2[i]·Fscale_r2+a_r3[i]·Fscale_r3+a_r4[i]·Fscale_r4。

进一步的，步骤3.3的实现方式如下，

步骤3.3.1，将低层细节特征Fspectral_k与高级语义特征Fscale级联后输入到空间注意力模块中，实现对不同类别的地物具有不同的注意力权重，进一步在保持细节的同时增加类别之间的区分性，空间注意力模块公式如下：

F_connect＝[Fspectral_k,Fscale]

上式中，

表示卷积核为3×3、扩张率为3的空洞卷积；AvgPool_channel(F_connect)和MaxPool_channel(F_connect)表示在通道维进行平均池化和最大池化，其输出的特征图是1个通道的特征图；[·]表示在通道维连接2个特征图的操作；σ(·)表示sigmoid激活函数，输出空间像素的每个权重；

步骤3.3.2，对于输出的空间注意力融合特征Fspatial_k，通过一个3×3的卷积进行特征细化，然后使用2倍双线性插值进行上采样，公式如下：

Fspatial_up_k＝F_interpolate(Conv_3×3(Fspatial_k))

上式中F_interpolate表示2倍上采样的双线性插值；

步骤3.3.3，对Fspatial_up_k和Fspectral_k-1经过步骤3.3.1和3.3.2生成Fspatial_up_k-1，依次经过k个空间注意力模块，最终对Fspatial_up₂和Fspectral₁经过步骤3.3.1和3.3.2，生成最终的特征图

进一步的，所述步骤3.4的实现方式如下，

步骤3.4.1，首先构建一个Softmax分类器，其公式如下所示：

其中N是像素个数,n是类别个数，x_i是特征图

的标记像素的一维向量，

是类别y_i的权重向量，可以用1×1的卷积替代，b是偏置；

步骤,3.4.2，将权重W和特征x_i归一化，使其二范数为1，然后将偏置b设为0，将3.4.1中的损失函数修改为：

其中θ_j为特征向量x_i和

之间的余弦夹角；

步骤3.4.3，对余弦值cosθ_j乘以增益系数s，然后对x_i和

之间的余弦夹角θ_j添加边界约束m，将步骤3.4.2中的损失函数修改为：

最终输出预测的分类结果

与真实标注Y的loss值。

本发明方法具有以下显著效果：(1)全卷积神经网络框架实现全局空谱信息融合，推理速度快，相比于采用空间块作为输入的深度学习方法推理速度可提升百倍以上；(2)，设计光谱-空间注意力模块引入通道维、空间维上下文信息，同时设计尺度注意力模块自适应的选取多尺度上下文信息，实现全局多尺度上下文空谱信息融合，有效改善分类结果中的孤立错分区域；(3)设计边界约束的损失函数，增加类别特征之间的区分性，农作物精细分类精度更高。

附图说明

图1是本发明实施例1的步骤1中所输入的无人机双高影像。

图2是本发明实施例1的步骤3中光谱注意力模块网络结构图。

图3是本发明实施例1的步骤4中尺度注意力模块网络结构图。

图4是本发明实施例1的步骤5中空间注意力模块网络结构图。

图5是本发明实施例1的步骤8中所输出农作物精细分类结果。

图6为本发明实施例1的整体流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例1：

如图1所示，本发明提供的一种基于空谱多尺度注意力机制与边界约束的无人机高光谱农作物快速分类方法，包括以下步骤：

步骤1，输入一幅待分类影像WHU-Hi-HongHu，如图1所示，将其空间尺寸镜像填充为8的倍数。

步骤2，对镜像填充影像进行通道降维，本步骤进一步包括：

将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。

步骤3，使用光谱注意力模块提取通道间的上下文信息，如图2所示，本步骤进一步包括：

步骤3.1，将特征图F输入第一个光谱注意力模块中，提取通道维上下文信息特征，光谱注意力模输出特征图Fspectral₁，公式如下：

Fspectral₁＝Conv3×3_stride＝2(σ(MLP(AvgPool(F))+MLP(MaxPool(F))×F)

上式中，F表示输入的特征图，Fspectral为光谱注意力模块输出的特征图；σ(·)表示sigmoid激活函数，输出每个通道的重要性的权重；MLP(·)是一个2层的神经网络，并且上式中左右2个MLP共享权重；AvgPool(·)与MaxPool(·)分别表示在空间维进行平均池化和最大池化操作，其输出是一维向量。Conv3×3_stride＝2是一个步长为2的3×3的卷积，其目的是增大卷积感受野，便于提取高层语义特征提取。

步骤3.2，将步骤3.1输出的特征图Fspectral₁输入到第二个光谱注意力模块中，第二个光谱注意力模块特征提取方式与步骤3.1相同。类似通过k个串联的光谱注意力模块依次输出Fspectral₁,Fspectral₂,…,Fspectral_k。

步骤4，使用尺度注意力模块提取多尺度上下文信息，如图3所示，本步骤进一步包括：

尺度注意力模块可以实现自适应的选择多尺度的上下文信息，其输入为最后一个光谱注意力模块输出的特征图Fspectral_k，其具体包括5部分。

步骤4.1，使用四个不同空洞率r₁,r₂,r₃,r₄的3×3卷积算子对输入特征图Fspectral进行特征不同尺度的上下文信息感知，分别输出四个不同尺度上下文特征图Fscale_r1,

其中，r₁,r₂,r₃,r₄经验取值为3,6,9,12，可根据地物真实分布确定不同的值。

步骤4.2，将4.1输出的不同尺度的上下文特征图进行逐像素加和，输出多尺度特征图Fscale_sum，公式如下：

步骤4.3，将4.2输出的聚合特征Fscale_sum进行空间全局池化来感知全局信息，生成通道维的统计信息，随后连接一个全连接层自适应的选择上下文特征，公式如下：

F_cs＝FC(AvgPool(Fscale_sum))

上式中，AvgPool(·)为全局池化,FC表示全连接层，采用ReLU激活函数。

步骤4.4，通过Softmax应用在4.3输出的F_cs通道维上计算不同尺度上下文信息的权重，具体

其中a_r1,a_r2,a_r3,a_r4∈R^C×1分别是多尺度上下文特征Fscale_r1,

的权重，A_r1,A_r2,A_r3,A_r4∈R^C×d是维度转换矩阵，其中C是Fscale_sum通道维度，d是F_cs的通道维度。由上式可以得出，对于任意一个通道i的权重，具有如下关系：

a_r1[i]+a_r2[i]+a_r3[i]+a_r4[i]＝1

步骤4.5，将4.4计算的不同尺度的特征权重a_r1,a_r2,a_r3,a_r4分别对特征图Fscale_r1,

进行加权，然后对加权后的特征进行相加聚合，进而实现多尺度信息的自适应选择，公式表示如下：

Fscale[i]＝a_r1[i]·Fscale_r1+a_r2[i]·Fscale_r2+a_r3[i]·Fscale_r3+a_r4[i]·Fscale_r4

步骤5，使用空间注意力模块中融合低层细节特征和高级语义特征，如图4所示，本步骤进一步包括：

步骤5.1，将Fspectral_k与Fscale级联后输入到空间注意力模块中，实现对不同类别的地物具有不同的注意力权重，进一步在保持细节的同时增加类别之间的区分性。空间注意力模块公式如下：

F_connect＝[Fspectral_k,Fscale]

上式中，

表示卷积核为3×3、扩张率为3的空洞卷积；AvgPool_channel(F_connect)和MaxPool_channel(F_connect)表示在通道维进行平均池化和最大池化，其输出的特征图是1个通道的特征图；[·]表示在通道维连接2个特征图的操作；σ(·)表示sigmoid激活函数，输出空间像素的每个权重。

步骤5.2，对于输出的空间注意力融合特征Fspatial_k，通过一个3×3的卷积进行特征细化，然后使用2倍双线性插值进行上采样，公式如下：

Fspatial_up_k＝F_interpolate(Conv_3×3(Fspatial_k))

上式中F_interpolate表示2倍上采样的双线性插值。

步骤5.3，对Fspatial_up_k和Fspectral_k-1经过步骤5.1和5.2生成Fspatial_up_k-1，依次经过k个空间注意力模块，最终对Fspatial_up₂和Fspectral₁经过步骤5.1和5.2成最终的特征图

步骤6，将空间注意力模块最终输出的特征图

输入边界约束的损失函数中，输出loss值，本步骤进一步包括：

6.1，首先构建一个Softmax分类器，其公式如下所示：

其中N是像素个数,n是类别个数，x_i是特征图

的标记像素的一维向量，

是类别y_i的权重向量，可以用1×1的卷积替代，b是偏置。

6.2，将权重W和特征x_i归一化，使其二范数为1，然后将偏置b设为0，将6.1中的损失函数修改为：

其中θ_j为特征向量x_i和

之间的余弦夹角，

6.3，对余弦值cosθ_j乘以增益系数s，然后对x_i和

之间的余弦夹角θ_j添加边界约束m，将6.2中的损失函数修改为：

本专利中根据经验将s和m分别设置为15和0.5弧度，最终输出预测的分类结果

与真实标注Y的loss值。

步骤7，反向传播loss值更新网络模型参数，本步骤进一步包括：

将loss值进行反向传播，通过基于适应性矩估计算法对S2到S6步骤中的网络参数进行更新，最终得到优化后的网络模型f_network(·)。

步骤8，将待分类的双高影像X₁,X₂,…X_n输入到网络模型f_network(·)，输出预测分类结果Y₁,Y₂,…Y_n,实现农作物的精细分类识别，识别结果如图5所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于注意力机制的无人机高光谱农作物快速分类方法，其特征在于，包括如下步骤：

步骤1，对输入影像进行镜像填充；

步骤2，对镜像填充影像进行通道降维；

步骤3，构建用于农作物分类的网络模型，包括以下子步骤；

步骤3.1，使用光谱注意力模块提取通道间的上下文信息，获得低层细节特征；

步骤3.2，使用尺度注意力模块提取多尺度上下文信息，获得高级语义特征；

步骤3.3，使用空间注意力模块中融合低层细节特征和高级语义特征；

步骤3.4，将空间注意力模块最终输出的特征图输入边界约束的损失函数中，输出loss值；

步骤3.5，反向传播loss值更新网络模型参数；

步骤4，将待分类的双高影像输入到网络模型，输出预测分类结果，实现农作物的精细分类识别。

2.如权利要求1所述的一种基于注意力机制的无人机高光谱农作物快速分类方法，其特征在于：所述步骤2的实现方式如下，

将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。

3.如权利要求1所述的一种基于注意力机制的无人机高光谱农作物快速分类方法，其特征在于：所述步骤3的实现方式如下，

步骤3.1.1，设步骤2中通道降维后得到特征图F，将特征图F输入第一个光谱注意力模块中，提取通道维上下文信息特征，光谱注意力模输出特征图Fspectral₁，公式如下：

Fspectral₁＝Conv3×3_stride＝2(σ(MLP(AvgPool(F))+MLP(MaxPool(F))×F)

上式中，F表示输入的特征图，Fspectral为光谱注意力模块输出的特征图；σ(·)表示sigmoid激活函数，输出每个通道的重要性的权重；MLP(·)是一个2层的神经网络，并且上式中2个MLP共享权重；AvgPool(·)与MaxPool(·)分别表示在空间维进行平均池化和最大池化操作，其输出是一维向量；Conv3×3_stride＝2是一个步长为2的3×3的卷积，其目的是增大卷积感受野，便于提取高层语义特征提取；

步骤3.1.2，将步骤3.1.1输出的特征图Fspectral₁输入到第二个光谱注意力模块中，第二个光谱注意力模块特征提取方式与步骤3.1.1相同；通过k个串联的光谱注意力模块依次输出Fspectral₁,Fspectral₂,…,Fspectral_k。

4.如权利要求1所述的一种基于注意力机制的无人机高光谱农作物快速分类方法，其特征在于：步骤3.2的实现方式如下，

尺度注意力模块用于实现自适应的选择多尺度的上下文信息，其输入为最后一个光谱注意力模块输出的特征图Fspectral_k，其具体包括5部分；

步骤3.2.1，使用四个不同空洞率r₁,r₂,r₃,r₄的3×3卷积算子对输入特征图Fspectral_k进行特征不同尺度的上下文信息感知，分别输出四个不同尺度上下文特征图

其中，r₁,r₂,r₃,r₄根据地物真实分布确定不同的值；

步骤3.2.2，将3.2.1输出的不同尺度的上下文特征图进行逐像素加和，输出多尺度特征图Fscale_sum，公式如下：

步骤3.2.3，将3.2.2输出的聚合特征Fscale_sum进行空间全局池化来感知全局信息，生成通道维的统计信息，随后连接一个全连接层自适应的选择上下文特征，公式如下：

F_cs＝FC(AvgPool(Fscale_sum))

上式中，AvgPool(·)为全局池化，FC表示全连接层，采用ReLU激活函数；

步骤3.2.4，通过Softmax应用在步骤3.2.3输出的F_cs通道维上计算不同尺度上下文信息的权重，具体

其中a_r1,a_r2,a_r3,a_r4∈R^C×1分别是多尺度上下文特征

的权重，A_r1,A_r2,A_r3,A_r4∈R^C×d是维度转换矩阵，其中C是Fscale_sum通道维度，d是F_cs的通道维度；由上式可以得出，对于任意一个通道i的权重，具有如下关系：

a_r1[i]+a_r2[i]+a_r3[i]+a_r4[i]＝1

步骤3.2.5，将3.2.4计算的不同尺度的特征权重a_r1,a_r2,a_r3,a_r4分别对特征图

进行加权，然后对加权后的特征进行相加聚合，进而实现多尺度信息的自适应选择，公式表示如下：

Fscale[i]＝a_r1[i]·Fscale_r1+a_r2[i]·Fscale_r2+a_r3[i]·Fscale_r3+a_r4[i]·Fscale_r4。

5.如权利要求1所述的一种基于注意力机制的无人机高光谱农作物快速分类方法，其特征在于：步骤3.3的实现方式如下，

步骤3.3.1，将低层细节特征Fspectral_k与高级语义特征Fscale级联后输入到空间注意力模块中，实现对不同类别的地物具有不同的注意力权重，进一步在保持细节的同时增加类别之间的区分性，空间注意力模块公式如下：

F_connect＝[Fspectral_k,Fscale]

上式中，

表示卷积核为3×3、扩张率为3的空洞卷积；AvgPool_channel(F_connect)和MaxPool_channel(F_connect)表示在通道维进行平均池化和最大池化，其输出的特征图是1个通道的特征图；[·]表示在通道维连接2个特征图的操作；σ(·)表示sigmoid激活函数，输出空间像素的每个权重；

步骤3.3.2，对于输出的空间注意力融合特征Fspatial_k，通过一个3×3的卷积进行特征细化，然后使用2倍双线性插值进行上采样，公式如下：

Fspatial_up_k＝F_interpolate(Conv_3×3(Fspatial_k))

上式中F_interpolate表示2倍上采样的双线性插值；

步骤3.3.3，对Fspatial_up_k和Fspectral_k-1经过步骤3.3.1和3.3.2生成Fspatial_up_k-1，依次经过k个空间注意力模块，最终对Fspatial_up₂和Fspectral₁经过步骤3.3.1和3.3.2，生成最终的特征图

6.如权利要求1所述的一种基于注意力机制的无人机高光谱农作物快速分类方法，其特征在于：所述步骤3.4的实现方式如下，

步骤3.4.1，首先构建一个Softmax分类器，其公式如下所示：

其中N是像素个数，n是类别个数，x_i是空间注意力模块最终输出的特征图

的标记像素的一维向量，

是类别y_i的权重向量，可以用1×1的卷积替代，b是偏置；

步骤,3.4.2，将权重W和特征x_i归一化，使其二范数为1，然后将偏置b设为0，将3.4.1中的损失函数修改为：

其中θ_j为特征向量x_i和

之间的余弦夹角；

步骤3.4.3，对余弦值cosθ_j乘以增益系数s，然后对x_i和

之间的余弦夹角θ_j添加边界约束m，将3.4.2中的损失函数修改为：

最终输出预测的分类结果

与真实标注Y的loss值。

Images