CN113989296A - 基于改进U-net网络的无人机麦田遥感图像分割方法 - Google Patents

Abstract

本发明提出基于改进U‑net网络的无人机麦田遥感图像分割方法，通过加入注意力模块的方式加强目标特征学习，同时通过改进损失函数的方法对权重进行重分配，从而解决遥感图像中目标背景类别分布不均的问题；最后，结合形状先验信息对分割结果进行进一步修正。本发明利用采集的无人机麦田数据集进行训练和模型验证，试验结果表明，分割准确率和平均交并比分别达93.31％和73.91％，较好解决了田埂分割遮挡和缺失等问题。

Description

基于改进U-net网络的无人机麦田遥感图像分割方法

技术领域

本发明属于农业遥感图像分割领域，尤其是一种基于改进U-net网络的无人机麦田遥感图像分割方法。

背景技术

小麦是世界三大主要粮食作物之一，同时也是我国第二大粮食作物。作为世界最大的小麦生产国，小麦在我国国民经济发展中占据了重要地位。如何准确并快速地对小麦进行估产，对于保障粮食安全和相关产业地发展都具有巨大现实意义。传统的作物估产工作需要投入大量的人力物力，还会造成一定程度上的田间破坏以及人为计算误差，因此寻求一种高效、准确且无损的估产方法是十分必要的。为了更好地进行小麦估产，首要解决的就是麦田图像的分割问题。

近年来，随着遥感和图像处理技术的快速发展，基于遥感图像进行小麦估产成为研究热点。随着精准农业不断发展，通过大尺度卫星遥感图像对农作物进行田块级估产，精度不能满足需求，而最新的无人机遥感技术，为田块级、高精度小麦估产带来了希望。尽管深度学习技术在农业领域已有较多研究和应用，但其效果仍有很大局限性。由于大田小麦环境复杂，实际小麦遥感图像存在道路遮挡缺失以及边界不清晰等问题，同时网络对于图像特征信息也缺少合理的分配学习。

发明内容

鉴于以上问题，本发明提出一种基于改进U-net网络的无人机麦田遥感图像分割方法，充分利用田埂信息，合理分配特征的学习权重，从而提高田埂和麦田的分割精度，为后期的小麦估产工作提供理论基础和技术保障。

技术方案：

实现本发明目的的技术解决方案为：

一种基于改进U-net网络的无人机麦田遥感图像分割，包括以下步骤：

步骤1：以U-net为基础，融合多信息注意力模块，改善卷积在局部感受野上对特征图的无差别信息处理，加强对麦田和田埂相似特征差异的学习，达到分割精确化的目的；

步骤2：定义一个关注区域结构的混合损失函数，处理麦田图像中田埂与麦田的占比不均衡问题；

步骤3：利用形状先验信息，结合阈值、矩形结构参数及区域连通等思想，动态调节田埂拟合形状，整体上实现矩形内外部的最佳匹配，对缺失或断裂的田埂进行较好的补全。

综合以上所述方法，利用U-net网络对数据集进行初步处理，通过注意力模块加强学习，定义新的损失函数，并辅以形状先验还原增强麦田图像的分割精度。

1、本发明在步骤1中提出融合多信息复合式注意力机制，具体为：

提出一种融合空间和通道信息的复合式注意力机制(MIAM)。多信息注意力模块包括基于非局部(Non-Local)思想的空间注意力模块，和基于压缩和激发(Squeeze-and-Excitation Networks，SENet)思想的通道注意力模块。

通道注意力模块通过计算各通道的重要性并以此进行权重分配，实现对有意义特征的关注。首先通过池化层得到聚合空间信息的特征F，再经过一个三层神经网络捕获通道注意力并逐元素求和得到最终输出特征。该模块计算公式如下所示:

M_c＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

其中，M_c表示获得通道注意力的新特征，σ表示sigmoid函数计算，MLP为特征的共享网络，AvgPool(F)表示平均池化特征，MaxPool(F)表示最大池化特征。

为了在局部特征上建立丰富的上下文关系，本发明设计了位置空间注意力模块。首先，对特征A生成三个新的特征映射{B，C，D}∈R^C×N，之后通过计算B、C二者的关系矩阵得当前空间注意力S∈R^N×N，之后，基于所得S和特征D计算新的空间注意力图T∈R^C×N，并与初始特征A融合求得最终特征E。其计算公式如下所示:

其中，i和j为特征图中某像素点位置，N表示输出总数，α表示尺度系数，初始为0，在训练过程中逐步学习分配到更大权重。

2、本发明在步骤2中分割网络损失函数模块的方法，具体为：

为处理麦田图像中田埂与麦田的占比不均所致的分割不佳问题，本发明定义了一个关注区域结构的复合损失函数，从正负样本分类难易程度差异、独立于场景的结构相似性特征、以及评估指标三方面重新进行权衡分配，相关公式如式所示。

其中，N表示输出总数，η_i是每个损耗的权重，

及

分别表示第i个的焦点损失(Focal Loss)、结构相似损失(Structural SiMilarityLoss，SsimLoss)及Tversky 系数损失(TverskyLoss)。

3、本发明在步骤3中基于形状先验信息的田埂补全方法，具体为：

从形状先验知识入手，并结合阈值、矩形结构参数及区域连通思想，动态调节道路拟合形状，整体上实现矩形内外部的最佳匹配。

步骤3中提出的结合阈值和形状先验的待补全田埂的初步拟合方法，其计算公式为：

其中，sum_pixel表示每个小ROI内田埂像素占比，col_pIxel表示纵向田埂在每个小ROI内的占比(用于排除横向道路带来的干扰)，T₁和T₂分别表示成为待补全田埂ROI所需满足的条件阈值，i的取值由步长step和前一个ROI位置共同决定。

为了更好地拟合田埂现实情况，本发明基于上式进一步提出动态道路拟合算法，其公式如下所示。

其中，Road_area为通过动态拟合后所得的最终待补全田埂区域，即新ROI，w′为依据区域连通算法拟合的新道路宽，Half_L为ROI的半高，pcenier_k为ROI中点p_center的x坐标，θ为新待补全田埂ROI与原ROI的夹角。

综上，利用滑窗捕获初始ROI，再结合种子结点进行最佳田埂形状的拟合，直到图像中所有道路均处理完成。具体的操作步骤如下：

S3-1、利用尺寸为20×512的先验矩形模板遍历网络分割结果图像，对待补全田埂ROI (RegionofInterest，ROI)进行初步选取，得到遴选的待补全田埂集合；

S3-2、对S3-1中遴选的待补全田埂集合进行筛选，得到待补全田埂ROI集合；

S3-3、取S3-2中待补全田埂ROI集合中某一ROI的中线中点p_cenier为种子节点；

S3-4、均分当前ROI为上下两部分，取二者中sum_pixel较大者并以p_cenier为初始种子，利用区域连通算法得其宽度w′，并对当前ROI进行动态拟合得到新的待补全田埂ROI；

S3-5、对S3-4中新ROI进行填充；

S3-6、重复S3-3-S3-5，直至ROI集合中所有元素均被处理完成。

本发明的有益效果

1.本发明的分割网络较U-net以及附加CBAM、CA和DA后的U-net有明显提高，其准确率达到93.31％。同时，相较其他需每层加入注意力模块的网络来说，本发明所提出的注意力模块能够通过仅在编码器深几层添加，就能得到高于原始精度的结果，这也是本发明方法的优势所在。

2.本发明所使用的损失函数分割精度较BCEWithLogitsLoss及Focal Loss、DiceLoss和 Tversky Loss均有明显提高，其准确率达到93.12％。

3.加入融合先验知识的区域处理算法，可以突破神经网络学习瓶颈，有效提高无人机麦田遥感图像分割精度。实验证明，本发明对实验麦田遥感图像的语义分割像素准确率达到 93.3％，交并比达到73.9％，召回率达到89％，相似度系数达到82.7％，并辅以形态学后续处理的方法，其效果能够满足相关领域的需求。

附图说明

图1为本发明中多信息注意力模块示意图

图2为本发明中田埂ROI匹配流程图

图3为问题田埂分割结果示意图

图4为对图3中问题田埂处理后的结果图

图5为实施例训练过程中loss值变化

图6为对比例中不同Attention模块局部分割图

图7为对比例中不同损失函数麦田遥感图像分割示意图

图8为实施例中麦田遥感图像分割结果图

图9为对比例中优化后的麦田遥感图像分割结果图

图10为对比例中无人机麦田遥感图像分割结果图

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

基于改进U-net网络的无人机麦田遥感图像分割方法，主要包括三个阶段：(1)改进 U-net网络，融合多信息注意力模块，如图1所示，包含两个模块，一个是基于全局的non-local思想的空间注意力模块，另一个是基于SENet思想的通道注意力模块；(2)定义新复合损失函数；(3)基于形状先验信息，动态调节田埂拟合形状，整体上实现矩形内外部的最佳匹配，补全田埂，田埂ROI匹配流程图如图2所示，具体流程详见技术方案，此处不再赘述。

参考以上基于形状先验信息的田埂补全方法，能够对缺失或断裂的田埂进行较好的补全。图3展示了部分存在问题的田埂分割结果，图4展示了对以上问题田埂形态处理后的结果。

具体实验平台为Ubuntu 18.04LTS操作系统，运行内存16G，使用加速A100-SXM4显卡，算法采用Python3.7和Pytorch深度学习框架实现。

具体模型训练与试验参数为：卷积层选用Kaiming均匀分布初始化方法，并固定初始权值。模型学习率(learning rate)设置为0.001，训练轮数(epoch)45次，迭代次数(iteration)共计111510次，分类批尺寸(batch_size)设置为3，使用Adam优化模型，训练损失为0.006，训练耗时0.83h。训练损失和准确度变化曲线如图5所示。

对于注意力模块分割试验结果比较具体如下：

以431幅带标注图像作为训练集，340幅作为测试集，取测试集结果均值。表1为各注意力算法分割精度对比结果。由表1可知，本发明的分割网络较U-net以及附加CBAM、 CA和DA后的U-net有明显提高，其准确率达到93.31％。同时，相较其他方法需每层加入注意力模块，本发明所提出的注意力模块，仅在编码器添加几层，就能取得较好的效果。

表1附加不同注意力模块的网络分割结果

Table 1 Network Segmentation Results for Different Attention Modules

图6展示了麦田图像在U-net、U-net_CBAM、U-net_CA、U-net_DA以及U-net_MIAM五个模型上的局部分割结果，加入了CBAM、CA、DA和MIAM注意力模块后较好地解决了较多道路缺失和断裂的问题，其中，加入本发明所设计的多信息注意力模块(Multi- informationAttention Module，MIAM)所得的效果最佳。

对于损失函数模块分割试验结果比较具体如下：

表2为以同样方式对不同损失函数分割精度对比结果。由表可知，本发明所使用的损失函数分割精度较BCEWithLogitsLoss及Focal Loss、Dice Loss和Tversky Loss均有明显提高，其准确率达到93.12％。尽管在召回率方面稍有欠缺，但整体指标评估上其效果是可观的。

表2不同损失函数的网络分割结果

图7展示了麦田遥感图像在BCEWithLogitsLoss、Dice Loss和Tversky Loss以及RsLoss5个损失函数上的局部分割结果，可以看出其他几种损失函数均出现不同程度的缺失，而本发明所提出的RsLoss损失函数能够较好地解决包括缺失断裂及其他错误分割等问题。

对于形状先验分割试验结果比较具体如下：

利用本发明提出的基于形状先验的区域处理方法，对以上分割结果进行优化。将本发明所提出的语义分割算法及形状先验补全方案应用于采集的数据集上，得到如图8所示的分割结果对比图，其中分别包含原始图像、标签图像、经过本文分割网络的结果图和经过形态学优化后的结果图(图8a～图8d)。

为更好地评估本文模型，本文选取了金字塔场景解析网络(Pyramid SceneParsing Network，PSPNet)、深层卷积解码器SegNet、U-net三个经典分割模型同本文模型进行比较和评估。实验证明，本文所提出的模型准确率达95.1％，较PSPNet、SegNet和U-net均有较大程度提升，详细的对比结果如表3所示。对比表中前三者，尽管PSPNet拥有强大的捕获上下文信息能力，但是在处理本文的麦田遥感图像方面其效果却逊色于另外二者；SegNet和U-net的结果相近，但在遥感图像的细节和边缘信息处理上，U-net仍优于SegNet。本文也通过加入多信息注意力模块(MIAM)、区域结构损失函数以及形状先验的形态学算法的方式，在U-net的结果之上进行了优化，部分结果如图9所示。由以上实验结果可知，本文方案在复杂的大田背景下，对于识别高度相似的田埂特征、解决田埂区域占比少、田埂遮挡等问题均具有较强鲁棒性，也体现出模型在训练期间提取到了有用且丰富的特征信息，进而证明本文模型对田埂提取的有效性。

表3各网络模型分割性能对比

综合以上所述方法，对所有数据集进行处理，并自动拼接所得结果，从而还原原始无人机麦田遥感图像的分割结果，如图10所示。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。

申请中未具体展开内容均为现有技术。

Claims (10)

1.一种基于改进U-net网络的无人机麦田遥感图像分割方法，其特征在于它包括：

步骤1：以U-net为基础，融合多信息注意力模块，改善卷积在局部感受野上对特征图的无差别信息处理，加强对麦田和田埂相似特征差异的学习，达到分割精确化的目的；

步骤2：定义一个关注区域结构的混合损失函数，处理麦田图像中田埂与麦田的占比不均衡问题；

步骤3：利用形状先验信息，并结合阈值和矩形结构参数信息，以区域连通算法为指导对分割结果进一步修正。

2.根据权利要求1所述的方法，其特征在于步骤1中，多信息注意力模块包括空间注意力模块，和通道注意力模块；输入特征首先经过通道注意力模块，得到在通道维度上具有更强指向性和注意力信息的新特征；再将新特征输入空间注意力计算模块，最终得到融合空间和通道注意力信息的复合新特征。

3.根据权利要求2所述的方法，其特征在于通道注意力模块通过计算各通道的重要性并以此进行权重分配，得到融合通道注意力信息的新特征；其计算公式如下：

M_c＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

式中，M_c表示获得通道注意力的新特征，σ表示sigmoid函数计算，MLP为特征的共享网络，AvgPool(F)表示平均池化特征，MaxPool(F)表示最大池化特征。

4.根据权利要求2所述的方法，其特征在于通过空间注意力模块捕获潜在信息，实现局部特征的丰富的上下文关系建立；计算公式如下：

式中，i和j为特征图中某像素点位置，N表示输出总数，A_j为融合通道注意力模块输出的新特征，特征A生成的三个新特征映射记做{B，C，D}∈R^C×N；α表示尺度系数。

5.根据权利要求1所述的方法，其特征在于步骤2中，提出基于区域结构的混合损失函数L_Rs为：

式中，N表示输出总数，η_i是每个损耗的权重，

及

分别表示第i个的焦点损失Focal Loss、结构相似损失SsimLoss和Tversky系数损失TverskyLoss。

6.根据权利要求1所述的方法，其特征在于步骤3中，修正步骤具体包括：

S3-1、利用尺寸为20×512的先验矩形模板遍历网络分割结果图像，对待补全田埂ROI进行初步选取，得到遴选的待补全田埂集合；

S3-2、对S3-1中遴选的待补全田埂集合进行筛选，得到待补全田埂ROI集合；

S3-3、取S3-2中待补全田埂ROI集合中某一ROI的中线中点p_center为种子节点；

S3-4、均分当前ROI为上下两部分，取二者中sum_p,xel较大者并以p_center为初始种子，利用区域连通算法得其宽度w′，并对当前ROI进行动态拟合得到新的待补全田埂ROI；

S3-5、对S3-4中新ROI进行填充；

S3-6、重复S3-3-S3-5，直至ROI集合中所有元素均被处理完成。

7.根据权利要求6所述的方法，其特征在于S3-2中，筛选公式为：

式中，sum_p,xel表示每个ROI内田埂像素占比，col_pixel表示纵向田埂在每个ROI内的占比，T₁和T₂分别表示成为待补全田埂ROI所需满足的条件阈值；i的取值由步长step和前一个ROI位置共同决定。

8.根据权利要求7所述的方法，其特征在于T₁＝1500，T₂＝100。

9.根据权利要求7所述的方法，其特征在于i＝ROI_before+7*step。

10.根据权利要求6所述的方法，其特征在于S3-4中，重新拟合的公式为：

式中，Road_area表示通过动态拟合后所得的最终待补全田埂区域，即新ROI，w′为依据像素拟合的新田埂宽，Half_L为ROI的半高，

为ROI中点p_center的x坐标，θ为新的待补全田埂ROI与原ROI的夹角。

Images