CN112069985B - 基于深度学习的高分辨率大田图像稻穗检测与计数方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的高分辨率大田图像稻穗检测与计数方法。首先将采集好的待检测高分辨率大田图像有重叠地裁剪为若干张适当大小的子图；接着通过深度目标检测网络对原图对应的所有子图进行稻穗检测，将子图稻穗预测框映射到原始高分辨率大田图像中后，对原图中各子图重叠区域的预测框进行处理，计算量化存在重叠的两个预测框之间的重叠程度和重叠方式，去除掉重复预测框，最后统计去除重复框后原图中预测框的数目，所得结果即为穗数。本发明对采集图像的环境，如光照强度、作物生长状态不做具体限定，鲁棒性好；且对目标检测网络模型、图像尺寸不做具体限定，针对高分辨率大田图像的目标检测具有更好的普适性。

Description

基于深度学习的高分辨率大田图像稻穗检测与计数方法

技术领域

本发明属于农业自动化领域，具体涉及大田稻穗的检测与计数，尤其涉及一种基于深度学习的高分辨率大田图像的稻穗目标检测方法。

背景技术

水稻是我国重要的粮食作物，稻米是我国重要的主食之一。水稻的稳产高产是农业生产中关注的焦点。基于生长期水稻的图像进行产量、生长状态的估测，可以作为农业活动以及政府及时制定农业政策的重要依据。对高分辨率图像中水稻稻穗的精准目标检测与计数，能够为水稻长势监测、产量估测提供支持条件。

当前在田间禾本科作物的穗计数方面，一些研究者采用了分割-计数两步法的策略。Zhou et al.通过SLIC算法产生候选区域子图，由双SVM分割模型对候选区域进行分类，分割麦穗，进而统计麦穗数；Fernandez-Gallego et al.通过傅里叶滤波及二维离散傅里叶变换将麦穗分割出来并计数；Sadeghi-Tehran et al.则融合SLIC和卷积神经网络实现麦穗分割；公开号为CN105427275A的发明专利提出了一种大田环境麦穗计数方法，通过对图像二值化后细化提取麦穗骨架图像，将麦穗骨架数目及拐点数量之和作为麦穗数量；公开号为CN108492296A的发明专利提出了一种基于超像素分割的小麦麦穗智能计数方法；公开号为CN111259925A的发明专利提出了一种基于K均值聚类和宽度突变算法的田间麦穗计数方法；公开号为CN109145848A的发明专利提出了一种麦穗计数方法，通过对图像颜色空间转换、分割、二值化、滤波过滤的处理来统计麦穗数量。上述方法都存在鲁棒性较差，检测准确性易受光照强度、生长状态、生长环境影响，且处理速率较慢的缺陷。公开号为CN110766690A的发明专利提出了一种基于深度学习点监督思想的麦穗检测和计数方法，该方法采用基于点监督的语义分割网络模型得到麦穗的斑块，通过分水岭划分法或有线分割法来确定对象的边界。

在稻穗检测方面，Guo et al.通过滑动窗口获取子图，提取子图SIFT特征并由词袋模型进行编码后，通过SVM判断子图内是否含有稻穗。Desai et al.则通过滑动窗口提取子图后由卷积神经网络识别其是否有穗。滑动窗口提取子图后识别稻穗的方法中滑动窗口的大小及步长对检测结果的影响非常大，需要依赖经验进行调整，无法自动选取。另外，该方法中对每个包含稻穗的子图标注一个框，然后对标注框计数得到穗数，因此适用于子图中仅包含1个稻穗即稻穗密集程度不大的情况。基于深度学习的目标检测技术可以实现端对端的检测，为穗数测量提供了新的思路。Hasan et al.和Madec et al.使用RCNN检测麦穗。Qiu et al.则通过Mask RCNN实现麦穗检测。受计算机内存限制，基于深度学习的检测方法其输入多为切割后的子图，鲜有对高分辨率大田图像的整体检测。

发明内容

(一)要解决的技术问题

水稻种植密集，稻穗与叶片之间遮挡程度大、稻穗形态不一、分布稠密，这些特点使得稻穗检测非常困难。传统的基于机器学习的算法存在鲁棒性较差，检测准确性易受光照强度、生长状态、生长环境影响，且处理速率较慢的缺陷。基于深度学习的方法因网络结构特点以及计算机内存限制，主要局限于低分辨率图像(如416*416)，无法直接处理高分辨率大田图像。处理高分辨率大图一般有两种方法：(1)将大图切割为子图，然而若直接将检测结果合并，则可能对目标重复检测，或只检测到目标的一部分，使精度大大降低；(2)直接将高分辨率大图压缩为低分辨率小图。同一时间点不同品种及同一品种不同分蘖上的稻穗尺寸有较大差别，刚抽出的稻穗尺寸非常小，若直接将大图压缩为小图，则难以准确检测小目标。

(二)技术方案

本发明为了解决其技术问题所采用的技术方案，提供了一种基于深度学习的高分辨率大田图像稻穗检测与计数方法，该方法的总体技术流程见图1。

一种基于深度学习的高分辨率大田图像稻穗检测与计数方法，其特征在于，包括：

步骤A，将采集好的待检测高分辨率大田图像有重叠地裁剪为若干张适当大小的子图；

步骤B，基于深度目标检测网络对原始高分辨率大田图像对应的所有子图进行稻穗检测，得到子图稻穗预测框；

步骤C，将原始高分辨率大田图像中对应的所有子图中的稻穗预测框映射到原图中；

步骤D，对原图中各子图重叠区域的预测框进行处理，计算量化存在重叠的两个预测框之间的重叠程度和重叠方式，去除重复预测框；

步骤E，在去除了重复预测框之后的原图中，统计预测框的数目，所得结果即为穗数。

更具体地，步骤A中图像采集方法不特殊限定，可为人工摄像或无人机进行采集。对于采集的环境，如光照强度不做要求，对原始图像分辨率、拍摄距离不做要求，重叠尺寸根据图像中较大目标的平均尺寸确定，保证绝大部分目标在至少一张子图中完整保留，子图尺寸根据重叠尺寸、所选目标检测网络结构以及计算机内存决定；

更具体地，步骤B中用于检测子图中稻穗的深度目标检测网络，其离线训练方法见图2，具体包括5个步骤：

(1)采集不同品种抽穗期水稻大田高分辨率图像若干张；

(2)利用图像标注软件对采集的图像中的稻穗进行标注；

(3)利用列表切片的方式，将原图有重叠地裁剪为适当大小的子图，重叠尺寸根据图像中较大目标的平均尺寸确定，保证绝大部分目标在至少一张子图中完整保留，子图尺寸根据重叠尺寸、所选目标检测网络结构以及计算机内存决定，裁剪原图后再将原图的标签文件裁剪为与子图一一对应的子标签；

(4)利用图像标注软件对子标签文件进行人工检查，提高标签质量；

(5)将用于训练的子图和对应的标签文件输入目标检测网络，训练目标检测网络，得到用于检测子图中稻穗的深度目标检测网络；

更具体地，步骤B中用于检测子图中稻穗的深度目标检测网络，其具体网络结构、损失函数的计算公式以及训练样本数量，本发明不做具体限定，但充足的训练集样本图片可以保证模型预测的稳定性、准确性，且防止过拟合问题。因此本发明中训练集子图样本数量一般为1000以上。

更具体地，步骤D中去除重复预测框的方法见图3，主要包括4个步骤：

(1)提取一张原图对应的所有子图的预测框的坐标信息；

(2)遍历所有预测框，筛选出两两子图之间存在重叠的预测框；

(3)根据坐标信息，判定重叠的预测框，方法见图4，具体操作为，按照裁剪顺序，从左至右、从上到下，遍历每一张子图的预测框；遍历每张子图时，内部遍历该子图左上、正上、右上和左侧子图的预测框，没有的则跳过；单向判断该子图的预测框是否与相邻子图上预测框满足图4所示16种重叠方式的任意一种，如果满足一种，则认为两个预测框存在重叠；

(4)对于重叠的两个预测框，计算量化两者的重叠程度和重叠方式，并去除图5所示的重复预测框(情况2)，而保留图5所示的情况1中两个目标稻穗距离很近导致预测框重复度较高的情况，为实现这一目标，提出图6所示重复框筛选处理方法，具体操作为，首先提取两个重叠框的坐标信息，计算两者的面积以及交集面积；接着，比较两个框的面积大小，并计算iob值及bou值

iob＝交集面积/小框面积 (1)

bou＝大框面积/并集面积 (2)

若iob＞iob阈值且bou＞bou阈值，则删除面积小的预测框，否则不做处理。

上述基于深度学习的高分辨率大田图像稻穗检测与计数方法，不仅适用于稻穗的目标检测，也适用于小麦、玉米等田间禾本科作物穗的目标检测。

(三)有益效果

本发明提供了一种基于深度学习的高分辨率大田图像稻穗检测与计数方法，本发明提出的方法与传统机器学习方法相比，对采集图像的环境，如光照强度、作物品种不做具体限定，鲁棒性更好，处理速度更快。

与普通的深度学习方法相比，本发明提出的方法能够在保证精度的情况下，在深度目标检测网络外部实现子图预测结果的融合与重复预测框的去除，因此对具体目标检测网络模型、图像尺寸不做具体限定，针对高分辨率大田图像的稻穗检测具有更好的普适性。该方法对于水稻生长状态的监测以及产量的估测等相关领域研究具有重要科学意义及潜在应用价值。

附图说明

图1为本发明的总体技术方案图。

图2为本发明深度目标检测网络的离线训练方法流程图。

图3为本发明将子图预测结果映射到原图并去除重复预测框的技术流程图。

图4为本发明中判断预测框是否重叠的技术方案图。

图5为本发明中对重叠框两种具体重叠方式的样例图。

图6为本发明中对重叠框的筛选处理的技术流程图。

图7为具体实施方式中对6000*4000图像裁剪的具体效果图，其中斜线区域为重复区域。

图8为具体实施方式中对6000*4000图像检测效果样例图。

具体实施方式

现详细说明本发明的一种示例性实施方式，该详细说明不应认为是本发明的限制，而应理解为是对本发明的某些方面特点进行更详细的描述。应理解本发明中所述的术语仅仅是为描述特别的实施方式，而非是本发明的限制。对于本发明中的参数数值范围，应理解为具体公开了该范围的上限和下限以及它们的中间值。

除非另有说明，否则本文使用的所有技术和术语具有本发明所述领域的常规技术人员通常理解的相同含义。虽然本发明只描述了一个具体示例实施方式，但在本发明的实施或测试中也可使用与本文所述类似或等同的方法和材料。

本发明为了解决其技术问题所采用的技术方案，提供了一种基于深度学习的高分辨率大田图像稻穗检测与计数方法，该方法的总体技术流程见图1。

一种基于深度学习的高分辨率大田图像稻穗检测与计数方法，其特征在于，包括：

步骤A，将待检测高分辨率大田图像(分辨率为6000*4000)有重叠地裁剪为40张子图；

步骤B，基于深度目标检测网络Yolo v3对原始高分辨率大田图像对应的所有子图进行稻穗检测，得到子图稻穗预测框；

步骤C，将原始高分辨率大田图像中对应的40张子图中的稻穗预测框映射到原图中；

步骤D，对原图中各子图重叠区域的预测框进行处理，计算量化存在重叠的两个预测框之间的重叠程度和重叠方式，去除重复预测框；

步骤E，在去除了重复预测框之后的原图中，统计预测框的数目，所得结果即为穗数。

更具体地，步骤A中，通过统计得到所采集的图像中较大稻穗的平均尺寸约为300像素，因此裁剪重叠尺寸设置为300。由于YOLOv3对输入图像尺寸要求是32的倍数且不是64的倍数，且本专利目标在于不对输入图像进行压缩处理以防止小目标漏检，再考虑到计算机内存限制，因此将子图大小设置为1056*1056。

更具体地，步骤B中用于检测子图中稻穗的深度目标检测网络，未使用常规非极大抑制(nms)算法，而是使用更适用于目标重复度大的soft-nms算法，以提高检测的精度。其中，预测框得分衰减函数使用高斯函数作为权重函数，如式(3)所示：

其中S_i为当前预测框得分；M为得分最高的预测框；b_i为当前预测框；iou为两个预测框的交并比；σ为可调节的参数，影响得分衰减梯度。在本示例中σ＝0.8时检测效果最好。

深度目标检测网络的离线训练方法见图2，具体包括5个步骤：

(1)选取形态差异大的32个水稻品种，于抽穗期采集水稻大田高分辨率图像32张，分辨率均为6000*4000；

(2)利用图像标注软件labelimg对采集的图像中的稻穗进行标注，名称均设为“panicle”；

(3)利用列表切片的方式，将原图有重叠地裁剪为1056*1056的子图，重叠尺寸为300，一张原图可裁为40张子图，裁剪效果见图7，再将原图的标签文件裁剪为与子图一一对应的子标签；

(4)利用图像标注软件对子标签文件进行人工检查，提高标签质量；

(5)将训练集32张原图对应的1280张子图以及子图对应的标签文件输入YOLOv3网络进行训练，得到用于检测子图中稻穗的深度目标检测网络；其中，用c-均值聚类法将训练样本的标注框聚为9类，以此作为9个锚框(anchor box)的尺寸。

更具体地，步骤D中去除重复预测框的方法包括4个步骤：

(1)提取一张原图对应的40个子图的预测框的坐标信息；

(2)遍历所有预测框，筛选出两两子图之间存在重叠的预测框；

(3)根据坐标信息，判定重叠的预测框，具体操作为，按照裁剪顺序，从左至右、从上到下，遍历每一张子图的预测框；遍历每张子图时，内部遍历该子图左上、正上、右上和左侧子图的预测框，没有的则跳过；单向判断该子图的预测框是否与相邻子图上预测框满足图4所示16种重叠方式的任意一种，如果满足一种，则认为两个预测框存在重叠；

(4)对于重叠的两个预测框，计算量化两者的重叠程度和重叠方式，并去除重复预测框，具体操作为，首先提取两个重叠框的坐标信息，计算两者的面积以及交集面积；接着，比较两个框的面积大小，并计算iob值及bou值

iob＝交集面积/小框面积 (4)

bou＝大框面积/并集面积 (5)

若iob＞iob阈值且bou＞bou阈值，则删除面积小的预测框，否则不做处理。在本示例中，iob阈值设为0.4，bou阈值设为0.8。

图8显示了对6000*4000图像检测效果样例图，从图中可以看出，检测效果较好对于很小的稻穗目标，本方法也能很好的提取到。

尽管本发明已经参考示例性实施方案进行了描述，但应理解本发明中所描述的示例性实施方案仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的示例性实施方案作各种修改、补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于深度学习的高分辨率大田图像稻穗检测与计数方法，其特征在于，包括：

步骤A，将采集好的待检测高分辨率大田图像有重叠地裁剪为若干张适当大小的子图；

步骤B，基于深度目标检测网络对原始高分辨率大田图像对应的所有子图进行稻穗检测，得到子图稻穗预测框；

步骤C，将原始高分辨率大田图像中对应的所有子图中的稻穗预测框映射到原图中；

步骤D，对原图中各子图重叠区域的预测框进行处理，计算量化存在重叠的两个预测框之间的重叠程度和重叠方式，去除重复预测框；

步骤E，在去除了重复预测框之后的原图中，统计预测框的数目，所得结果即为穗数；

其中，所述步骤B中用于检测子图中稻穗的深度目标检测网络，其离线训练方法包括5个步骤：

(1)采集不同品种抽穗期水稻大田高分辨率图像若干张；

(2)利用图像标注软件对采集的图像中的稻穗进行标注；

(3)利用列表切片的方式，将原图有重叠地裁剪为适当大小的子图，重叠尺寸根据图像中较大目标的平均尺寸确定，保证绝大部分目标在至少一张子图中完整保留，子图尺寸根据重叠尺寸、所选目标检测网络结构以及计算机内存决定，裁剪原图后再将原图的标签文件裁剪为与子图一一对应的子标签；

(4)利用图像标注软件对子标签文件进行人工检查，提高标签质量；

(5)将用于训练的子图和对应的标签文件输入目标检测网络，训练目标检测网络，得到用于检测子图中稻穗的深度目标检测网络。

2.根据权利要求1所述的基于深度学习的高分辨率大田图像稻穗检测与计数方法，其特征在于，所述步骤B用到的深度目标检测网络，使用soft-nms算法取代常规nms算法以提高检测精度。

3.根据权利要求1所述的基于深度学习的高分辨率大田图像稻穗检测与计数方法，其特征在于，所述步骤D中去除重复预测框的方法包括4个步骤：

(1)提取一张原图对应的所有子图的预测框的坐标信息；

(2)遍历所有预测框，筛选出两两子图之间存在重叠的预测框；

(3)根据坐标信息，判定重叠的预测框，具体操作为，按照裁剪顺序，从左至右、从上到下，遍历每一张子图的预测框；遍历每张子图时，内部遍历该子图左上、正上、右上和左侧子图的预测框，没有的则跳过；单向判断该子图的预测框是否与相邻子图上预测框存在重叠；

(4)对于重叠的两个预测框，计算量化两者的重叠程度和重叠方式，并去除重复预测框，具体操作为，首先提取两个重叠框的坐标信息，计算两者的面积以及交集面积；接着，比较两个框的面积大小，并计算iob值及bou值

iob＝交集面积/小框面积 (1)

bou＝大框面积/并集面积 (2)

若iob＞iob阈值且bou＞bou阈值，则删除面积小的预测框，否则不做处理。