CN113435282A - 基于深度学习的无人机影像麦穗识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的无人机影像麦穗识别方法，通过将无人机测试影像输入至麦穗识别模型识别出麦穗信息，所述识别模型的构建包括：S1、数据采集步骤；S2、数据处理步骤；S3、构建适用于无人机影像麦穗识别网络，对所述无人机影像数据进行训练，得到麦穗识别模型；S4、利用训练好的麦穗识别模型对无人机影像中的待检测麦穗进行识别，融合麦穗识别模型的检测框，得到识别结果；其特征在于S3构建多尺度网络特征架构，通过多尺度检测层提取麦穗特征，增强网络对小尺寸麦穗特征的提取能力；基于交并比计算检测层的置信度损失权重，提高小尺寸麦穗特征对网络的贡献。本发明提出的方案具有检测小尺寸密集麦穗影像的优点，很好解决了麦穗识别的技术困境。

Description

基于深度学习的无人机影像麦穗识别方法

技术领域

本发明涉及智慧农业和信息化农业领域，具体是一种基于深度学习的无人机影像麦穗识别方法。

背景技术

小麦是全球重要的粮食作物，全球年度产量约为7.3亿吨，是世界粮食安全的基础。利用遥感手段监测小麦生长过程并预测产量成为优化生产管理，保障产量的重要手段。其中，麦穗作为小麦籽粒生长的器官，与最终产量密切相关，监测及分析小麦麦穗是评估预测小麦产量的重要内容。区别于卫星遥感和地面遥感的成本限制及观测尺度的局限，无人机具有低空云下飞行能力和高效作业等优势，通过搭载可见光、多光谱和热红外等相机，能简单、迅速、大范围地获取田间高空间分辨率影像，成功地实现规模麦穗监测。

基于无人机影像的麦穗监测主要是采用对象检测的方法获取影像中麦穗的数量与几何形态。现有检测方法主要分为两类：基于具体特征的方法和基于抽象特征的方法。基于具体特征的方法通过人工选取颜色、几何和纹理等特征，并采用贝叶斯、支持向量机和随机森林方法对特征进行分类，实现小麦的识别。这种方法特征设计复杂、迁移性弱，手工设计繁琐，无法较好地适用于田间小麦分布密集和遮挡严重的场景。随着计算机计算能力的进步及大量标记图像可用性的提升，计算机视觉领域中基于卷积神经网络的深度学习得到显著的发展。基于抽象特征的方法通过广泛的抽象特征实现小麦的识别和分割。这些抽象特征由卷积神经网络提取，无需人工干预，其检测性能也超越了传统方法。但无人机影像中麦穗尺寸较小，分布密集，遮挡严重且个体的形态差异较大，加剧了模型识别难度。这些问题导致目前从无人机影像中检测小尺寸麦穗的精度不高，达不到预测、评估产量的目的。

例如，公开号为CN109740721A的中国专利文献公开了一种麦穗计数方法及装置。该专利拍摄获取麦田环境下的图像，通过样本标签图像和对应的标签训练图像识别模型；将测试图像输入至图像识别模型输出标签，如果标签为麦穗图像，则基于非极大抑制算法确定图像的麦穗数量。

该方案存在缺陷：

(1)该方案基于地面平台拍摄麦穗田间影像，相比基于无人机平台拍摄的影像，麦穗尺寸较大，缺少针对小尺寸麦穗的检测方法，不能发挥无人机监测麦穗的优势。

(2)该方案对单张中麦穗数量较少的麦穗田间影像适用性较好，而在分布密集场景下的麦穗识别能力有待进一步提升。

发明内容

本发明的目的是解决现有的无人机影像麦穗尺寸小、分布密集和遮挡导致的检测精度差、效率低等问题，提出一个基于深度学习的无人机影像麦穗识别方法。

为解决上述无人机麦穗识别所面临的问题，本发明的技术方案如下：

一种基于深度学习的无人机影像麦穗识别方法，通过将无人机测试影像输入至麦穗识别模型识别出麦穗信息，所述识别模型的构建包括：

S1、数据采集步骤；

S2、数据处理步骤；

S3、构建适用于无人机影像麦穗识别网络，对所述无人机影像数据进行训练，得到麦穗识别模型；S3构建多尺度网络特征架构，通过输出多尺度检测层提取麦穗特征，基于交并比计算网络中检测层的置信度损失权重，从而增强网络对小尺寸麦穗的检测能力，实现多尺度无人机影像的麦穗检测。

所述S1数据采集步骤具体为：无人机在7米、10米和15米的高度拍摄获取小麦成熟期的无人机影像数据。

所述S2数据处理中具体包括：

S2-1、图像旋转；

S2-2、图像翻转；

S2-3、亮度平衡；

S2-4、采用目标检测标记工具LabelImg对无人机影像内的所有麦穗进行注释生成麦穗边界框，得到注释文件；

S2-5、将无人机影像和相应的注释文件组成数据集；

S2-6、将数据集随机分为训练集与测试集，测试集不参与识别网络训练。

所述S3识别网络构建具体包括：

S3-1、基于BottleNeckCSP、PANet、Focus和SPP等模块，构建初始YOLOv5网络，通过添加新的微尺度检测层，提取麦穗多尺度特征，构建4种尺度的检测层，输入训练集并输出相应的多尺度特征图；

S3-2、每个尺度的特征图生成数量固定、尺寸不一的锚框，将锚框映射至输入影像后进行分类及边框回归，得到麦穗预测框；

S3-3、根据麦穗预测框和麦穗边界框构建含置信度损失权重λ的损失函数LOSS；

S3-4、基于交并比计算所述损失函数LOSS中每个检测层的置信度损失权重λ；

S3-5、构建多个输入不同分辨率影像的麦穗识别网络，设置相应的网络参数进行训练，直至LOSS收敛，获得多个识别模型；

S3-6、融合每个识别模型的麦穗预测框，构造融合框作为最终识别结果。

所述S3-2中，通过麦穗边界框和锚框的距离量度计算和聚类锚框尺寸；对每个检测层设置3种锚框尺寸类别，共计15个锚框；麦穗边界框和锚框的距离量度用以下公式定义：

d(truth,bbox)＝1-IOU_gb(truth,bbox)

其中，truth代表麦穗边界框，bbox代表锚框，IOU_gb表示锚框和麦穗边界框的交并比。

所述S3-3中，损失函数LOSS使用定位损失、分类损失和置信度损失计算麦穗识别网络的误差，计算公式如下：

LOSS＝Error_corrd+Error_cls+λError_confi

式中，定位损失函数Error_corrd计算麦穗预测框的定位误差；置信度损失Error_confi计算麦穗预测框的位置误差；分类损失Error_cls计算检测麦穗预测框的类别误差，λ表示置信度损失权重。

所述S3-4中，统计每个检测层中与麦穗边界框交并比最大的麦穗预测框数量，从而计算得到该检测层的置信度损失权重λ：

式中，

代表检测层中具有最大交并比IOU_pt的麦穗预测框数量与麦穗预测框总数量的比值；N为4，代表网络的检测层数目；α为设置的常数0.1。

具体的，麦穗边界框和麦穗预测框的交并比IOU_pt计算公式为：

式中，predicted代表麦穗预测框，truth代表麦穗边界框。

所述S3-5中，将影像重采样为150×150、300×300、450×450和600×600四组分辨率影像，分别输入麦穗识别网络进行训练，得到相应的麦穗识别模型，并输出不同识别模型的麦穗检测结果；针对输入图像的分辨率设置相应的初始学习率和批处理值；采用随机梯度下降SGD方法优化训练过程中的学习率，权重衰减值设置为1e-4，动量设置为0.9，不同影像分辨率的初始批处理值、学习率设置如下表：

表1识别网络超参数设置

所述S3-6中，融合每个识别模型的麦穗预测框并输出最终识别结果，包括以下步骤：

i测试图像输入多个麦穗识别模型，每个模型检测并输出包含边框坐标及置信度的麦穗预测框；

ii选择负责同一个麦穗边界框的所有预测麦穗框，将预测麦穗框的置信度C_i作为权重，计算预测麦穗框顶点坐标(Xa_i,Ya_i)，(Xb_i,Yb_i)的加权平均值，得到融合框的顶点坐标(Xa,Ya)，(Xb,Yb)；计算所有预测麦穗框置信度C_i的平均值作为融合框的置信度C；

构建融合框并计算该融合框的坐标和置信度，计算公式为：

式中，(Xa,Ya),(Xb,Yb,C)分别为融合框的左上角顶点、右下角顶点坐标；(Xa_i,Ya_i),(Xb_i,Yb_i)为参与计算的预测麦穗框左上角顶点、右下角顶点坐标，C_i为相应的置信度；N为参与计算的麦穗边界框数量；

iii使用融合框作为使用识别方法检测麦穗的最终结果。

本发明的有益效果

现有的技术方案受田间环境、麦穗形态和遮挡的影响，对无人机影像中小尺寸麦穗的识别精度较低，且对麦穗密集分布场景的适用性较差。受此影响，无人机影像麦穗的识应用较少，难以拓展。而本发明提出的方案具有检测小尺寸密集麦穗影像的优点，很好解决了麦穗识别的技术困境，为无人机影像中小尺寸麦穗的识别应用提供技术参考。

本申请首先通过数据处理，筛选高质量影像和增加训练样本，提高卷积神经网络的泛化能力；其次，通过添加微尺度检测层，采用k均值聚类设置先验锚框和基于交并比改进检测层置信度损失，增强了网络对小尺寸麦穗的特征提取能力，提高小尺寸麦穗的识别精度；最后，通过训练多分辨率影像并基于置信度权重融合不同麦穗识别模型的检测框，提高了麦穗处在遮挡条件下的识别精度。

附图说明

图1为本申请的技术框图

图2为图像处理实例示意图

图3为图像增强实例示意图

图4为网络构建步骤中检测网络结构图

图5为基于置信度权重的检测框融合示意图

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

本发明构建了一种基于深度学习的无人机影像麦穗识别方法，技术方案如图1所示。主要包括数据采集、数据处理、无人机影像麦穗识别网络构建及训练、麦穗检测框生成及融合，具体步骤为：

S1.数据采集

S11、实施例中采用大疆

经纬M210无人机搭载

ZENMUSE X4S相机，分别于7米、10米和15米高度拍摄获取小麦成熟期的无人机影像数据集，影像分辨率为5472×3648像素。为减少数据处理时间、突出小麦特征和避免损失图像信息，图像被分割为150×150分辨率的图片(如图2中a部分)。

S2.数据处理

S21、由于机拍摄麦穗影像的过程中会受不稳定因素的影响，部分影像较为模糊，严重影响人工标注的精度(如图2中b部分)。本发明通过拉普拉斯变换去除模糊影像，增强数据的质量。

S22、本发明选择图像旋转、图像翻转、亮度平衡作为数据增强方法(如图3)。通过数据增强后，然后将样本图像照8：2的比例分为训练集和测试集。图3中，(a)部分为原图，(b)部分进行了旋转90°操作，(c)部分进行了旋转180°操作，(d)部分进行了旋转270°操作，(e)部分进行了垂直翻转，(f)部分进行了水平翻转，(g)和(h)部分进行了亮度平衡。

S23、本发明采用目标检测标记工具LabelImg对无人机影像内的所有麦穗进行人工注释，生成麦穗边界框(如图2中c部分)，得到注释文件。

S3.无人机影像麦穗识别网络构建及训练

YOLOv5深度学习网络框架于2020年被提出并成功应用于多个领域的目标识别任务。本发明在初始YOLOv5结构的基础上进行创新，通过构建无人机影像麦穗识别网络，从而适合于具有分布密集、麦穗尺寸小等特征的无人机影像麦穗识别任务。这里优选地，所述无人机影像麦穗识别网络按如下步骤构建，然后训练得到无人机影像麦穗识别模型。

S31、初始YOLOv5网络建立

S32、本发明在初始YOLOv5网络基础上，结合CSP瓶颈层模块和卷积模块，添加微尺度检测层以提取小尺寸麦穗特征。通过构建4种尺度的检测层，输入训练集并输出相应的多尺度特征图，生成尺度覆盖范围更广、更细致的检测网络结构(图4)，从而更加精确地检测小尺寸麦穗；

S33、每个尺度的特征图都会生成数量固定、具有先验尺寸的锚框，将锚框映射至输入影像后进行分类及边框回归，得到麦穗预测框；本发明基于k均值聚类算法设置锚框尺寸，加快网络的检测精度和训练速度，具体设置步骤如下：

使用k均值聚类算法，以人工标注的麦穗边界框和锚框的距离量度聚类锚框尺寸；对每个检测层设置5种锚框尺寸，共计20个锚框；麦穗边界框和锚框的距离量度用以下公式定义：

d(truth,bbox)＝1-IOU_gb(truth,bbox)

其中，truth代表麦穗边界框，bbox代表锚框，IOU_gb表示锚框和麦穗边界框的交并比。

S34、本发明使用定位损失、分类损失和置信度损失评价无人机影像麦穗识别网络的误差LOSS，并基于交并比改进检测层置信度损失Error_confi；

其中，网络误差LOSS用以下公式表示：

LOSS＝Error_corrd+Error_cls+λError_confi

式中，定位损失Error_corrd计算麦穗预测框的定位误差，包括边界框的坐标误差和宽高误差；置信度损失Error_confi计算麦穗预测框的位置误差；分类损失Error_cls计算检测麦穗预测框的类别误差，λ表示置信度损失权重。本发明提出基于交并比的检测层置信度损失权重。对于每个检测层，统计检测到的正样本数量和与麦穗真实框交并比最大的正样本数量，计算两者的比值得到检测层的置信度损失权重λ。损失函数LOSS中的置信度损失权重λ通过下式获取：

式中，

代表检测层中具有最大交并比IOU_pt的麦穗预测框数量与麦穗预测框总数量的比值；N为4，代表网络的检测层数目；α为设置的常数0.1。

交并比计算公式如下所示：

式中，predicted代表麦穗预测框，truth代表麦穗边界框。

S35、本发明将训练集影像重采样为150×150、300×300、450×450和600×600分辨率，分别输入麦穗识别网络进行训练，直至LOSS收敛，得到相应的麦穗识别模型。针对分辨率设置相应的初始学习率和批处理值；采用随机梯度下降SGD方法优化训练过程中的学习率，权重衰减值设置为1e-4，动量设置为0.9，不同影像分辨率的初始批处理值、学习率设置如下表：

表1识别网络超参数设置

S4.麦穗检测框生成及融合

S41、本发明将麦穗测试影像输入至训练好的麦穗识别模型，每个模型输出麦穗的位置、类别和置信度，以图片和文本的形式可视化和存储每个网络的检测结果。

S42、本发明使用麦穗检测框的置信度构造融合框作为识别的结果，其融合示意图如图5所示。选择负责同一个麦穗边界框的所有检测框，基于检测框的置信度权重构建融合框，作为麦穗识别的结果。

其中，融合框的构建包括以下步骤：

i测试图像输入多个麦穗识别模型，每个模型检测并输出包含边框坐标及置信度的麦穗预测框；

ii选择负责同一个麦穗边界框的所有麦穗检测框，将麦穗检测框的置信度C_i作为权重，计算麦穗检测框顶点坐标(Xa_i,Ya_i)，(Xb_i,Yb_i)的加权平均值，得到融合框的顶点坐标(Xa,Ya)，(Xb,Yb)；计算所有麦穗检测框置信度C_i的平均值作为融合框的置信度C，计算公式如下：

式中，(Xa,Ya),(Xb,Yb)分别为融合框的左上角顶点、右下角顶点坐标；C为融合框的置信度。(Xa_i,Ya_i),(Xb_i,Yb_i)为参与计算的麦穗检测框左上角顶点、右下角顶点坐标，C_i为相应的置信度；N为参与计算的麦穗边界框数量；

iii使用融合框作为使用识别方法检测麦穗的最终结果。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于深度学习的无人机影像麦穗识别方法，通过将无人机测试影像输入至麦穗识别模型识别出麦穗信息，所述识别模型的构建包括：

S1、数据采集步骤；

S2、数据处理步骤；

S3、构建适用于无人机影像麦穗识别网络，对所述无人机影像数据进行训练，得到麦穗识别模型；其特征在于S3构建多尺度网络特征架构，通过输出多尺度检测层提取麦穗特征，基于交并比计算网络中检测层的置信度损失权重，从而增强网络对小尺寸麦穗的检测能力，实现多尺度无人机影像的麦穗检测。

2.根据权利要求1所述的方法，其特征在于所述S1数据采集步骤具体为：无人机在7米、10米和15米的高度拍摄获取小麦成熟期的无人机影像数据。

3.根据权利要求1所述的方法，其特征在于所述S2数据处理中具体包括：

S2-1、图像旋转；

S2-2、图像翻转；

S2-3、亮度平衡；

S2-4、采用目标检测标记工具LabelImg对无人机影像内的所有麦穗进行注释生成麦穗边界框，得到注释文件；

S2-5、将无人机影像和相应的注释文件组成数据集；

S2-6、将数据集随机分为训练集与测试集，测试集不参与识别网络训练。

4.根据权利要求1所述的方法，其特征在于所述S3识别网络构建具体包括：

S3-1、构建初始YOLOv5网络，通过添加新的微尺度检测层，提取麦穗多尺度特征；构建4种尺度的检测层，输入训练集并输出相应的多尺度特征图；

S3-2、每个尺度的特征图生成数量固定、尺寸不一的锚框，将锚框映射至输入影像后进行分类及边框回归，得到麦穗预测框；

S3-3、根据麦穗预测框和麦穗边界框构建含置信度损失权重λ的损失函数LOSS；

S3-4、基于交并比计算所述损失函数LOSS中每个检测层的置信度损失权重λ；

S3-5、构建多个输入不同分辨率影像的麦穗识别网络，设置相应的网络参数进行训练，直至LOSS收敛，获得多个识别模型；

S3-6、融合每个识别模型的麦穗预测框，构造融合框作为最终识别结果。

5.根据权利要求4所述的方法，其特征在于所述S3-2中，通过麦穗边界框和锚框的距离量度计算和聚类锚框尺寸；对每个检测层设置3种锚框尺寸类别，共计15个锚框；麦穗边界框和锚框的距离量度用以下公式定义：

d(truth,bbox)＝1-IOU_gb(truth,bbox)

其中，truth代表麦穗边界框，bbox代表锚框，IOU_gb表示锚框和麦穗边界框的交并比。

6.根据权利要求4所述的方法，其特征在于所述S3-3中，损失函数LOSS使用定位损失、分类损失和置信度损失计算麦穗识别网络的误差，计算公式如下：

LOSS＝Error_corrd+Error_cls+λError_confi

式中，定位损失函数Error_corrd计算麦穗预测框的定位误差；置信度损失Error_confi计算麦穗预测框的位置误差；分类损失Error_cls计算检测麦穗预测框的类别误差，λ表示置信度损失权重。

7.根据权利要求4所述的方法，其特征在于所述S3-4中，统计每个检测层中与麦穗边界框交并比最大的麦穗预测框数量，从而计算得到该检测层的置信度损失权重λ：

式中，

代表检测层中具有最大交并比IOU_pt的麦穗预测框数量与麦穗预测框总数量的比值；N为4，代表网络的检测层数目；α为设置的常数0.1。

8.根据权利要求7所述的方法，其特征在于麦穗边界框和麦穗预测框的交并比IOU_pt计算公式为：

式中，predicted代表麦穗预测框，truth代表麦穗边界框。

9.根据权利要求4所述的方法，其特征在于所述S3-5中，将影像重采样为150×150、300×300、450×450和600×600四组分辨率影像，分别输入麦穗识别网络进行训练，得到相应的麦穗识别模型，并输出不同识别模型的麦穗检测结果；针对输入图像的分辨率设置相应的初始学习率和批处理值；采用随机梯度下降SGD方法优化训练过程中的学习率，权重衰减值设置为1e-4，动量设置为0.9，不同影像分辨率的初始批处理值、学习率设置如下表：

表1 识别网络超参数设置

10.根据权利要求4所述的方法，其特征在于所述S3-6中，融合每个识别模型的麦穗预测框并输出最终识别结果，包括以下步骤：

i测试图像输入多个麦穗识别模型，每个模型检测并输出包含边框坐标及置信度的麦穗预测框；

ii选择负责同一个麦穗边界框的所有预测麦穗框，将预测麦穗框的置信度C_i作为权重，计算预测麦穗框顶点坐标(Xa_i,Ya_i)，(Xb_i,Yb_i)的加权平均值，得到融合框的顶点坐标(Xa,Ya)，(Xb,Yb)；计算所有预测麦穗框置信度C_i的平均值作为融合框的置信度C；

构建融合框并计算该融合框的坐标和置信度，计算公式为：

式中，(Xa,Ya),(Xb,Yb,C)分别为融合框的左上角顶点、右下角顶点坐标；(Xa_i,Ya_i),(Xb_i,Yb_i)为参与计算的预测麦穗框左上角顶点、右下角顶点坐标，C_i为相应的置信度；N为参与计算的麦穗边界框数量；

iii使用融合框作为使用识别方法检测麦穗的最终结果。

Images