CN114022771A - 一种基于深度学习的玉米苗期田间分布信息统计方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的玉米苗期田间分布信息统计方法，属于目标检测和深度学习技术领域。一种基于深度学习的玉米苗期田间分布信息统计方法，包括以下步骤：控制无人机按播种路径飞行；通过无人机拍摄获取玉米苗期图像，对图像中的整株玉米和玉米株心进行标注、训练得到权重文件；将权重文件加载到深度学习算法里得到目标检测网络，结合无人机相机标定结果进行整株玉米和玉米株心检测并计算株数、株距、行距等数据。本发明的方法可以统计作物的数量和作物间的距离，从而可以得到作物的密度、播种质量等信息；本发明解决了现有作物信息统计效率低的问题，同时深度学习算法具有较高的检测速度和检测精度，大大提升了统计效率。

Description

一种基于深度学习的玉米苗期田间分布信息统计方法

本发明属于目标检测和深度学习技术领域，具体为一种基于深度学习的玉米苗期田间分布信息统计方法。

背景技术

作物的株距和作物的株数可以反映作物的种植情况，是影响作物产量的重要因素。目前，对于播种后作物的株距和组作物的株数测量没有一个很好的方法，大多局限于人工测量或者近似计算，前者由于费时费力从而测量的规模有限、测量的效率低，后者则精度低，也无法做到很好的统计效果。

近年来，随着深度学习在计算机视觉领域的飞速发展，目标检测作为计算机视觉领域的研究热点也从基于手工特征的传统算法转向了基于深度神经网络的检测技术，深度学习系列算法使用卷积神经网络直接预测不同目标的类别与位置，目前最新的深度学习算法速度快，有非常轻量级的模型大小，同时准确度也高，实现了精度与速度的双提升。

为解决以上存在的问题，进一步提高测量效率以及测量的精度，对作物的产量提供更好的技术支持，本发明提供了一种基于深度学习的玉米苗期田间分布信息统计方法。

发明内容

本发明的目的在于提供一种基于深度学习的玉米苗期田间分布信息统计方法，以解决上述背景技术中提出的问题：

现有的测量方法测量效率低或者测量的精度低的问题。

为了实现上述目的，本发明采用了如下技术方案：

一种基于深度学习的玉米苗期田间分布信息统计方法，所述方法步骤如下：

S1、进行航拍无人机相机标定；

S2、基于北斗定位装置提取玉米播种机播种时各播种行的经纬度坐标信息，制作KML文件；

S3、将KML文件作为航拍无人机的飞行规划路径导入航拍无人机控制软件中，控制无人机沿玉米播种时的路径飞行并录制玉米苗期俯拍视频影像；

S4、将获取的部分视频影像间隔相同帧数提取出多张图片数据，分别以整株玉米和玉米株心为检测目标制作训练集和测试集；

S5、利用深度学习算法对训练集数据进行训练并判断训练结果；

S6、将训练好的权重文件加载到深度学习算法中进行所有拍摄视频的整株玉米和玉米株心检测；

S7、结合相机标定结果得到深度学习算法的玉米苗期植株检测结果，输出株数、株距、行距等数据；

S8、基于输出数据构建单株玉米在田块中的二维坐标，计算玉米苗密度、各行一致性变异系数等参数。

优选地，所述S2中提到的制作KML文件，具体包括以下步骤：

A1、将玉米播种机播种作业时的行驶轨迹经纬度数据提取出来，根据播种作业边界剔除转弯、掉头等无效轨迹数据；

A2、将处理后的经纬度数据按照播种作业行的相邻顺序，按照首尾相接的顺序把数据存储到Excel文件中；

A3、利用KML制作软件将Excel中存储的经纬度数据转换为可供航拍无人机控制软件调用的KML格式文件。

优选地，所述S3中提到的控制无人机沿玉米播种时的路径飞行并录制玉米苗期俯拍视频影像，具体包括以下步骤：

B1、将制作完成的KML文件导入航拍无人机控制软件中，设置航拍无人机飞行航向沿播种路径方向，设置航拍无人机拍摄方向始终沿无人机飞行方向；

B2、设置航拍无人机飞行速度、飞行高度及相机俯拍角度参数，使航拍无人机相机镜头正对地表，相机取景框能够完全覆盖玉米播种机单趟作业的所有玉米播种行，飞行速度设置要求满足拍摄清晰视频画面。

B3、启动航拍无人机沿KML规划轨迹飞行并录制视频，若工作过程中需要更换航拍无人机电池，更换之后沿上一断点位置继续飞行采集，直到完成整块田的视频采集工作。

优选地，所述S4中提到的将获取的部分视频影像间隔相同帧数提取出多张图片数据，分别以整株玉米和玉米株心为检测目标制作训练集和测试集，具体包括以下步骤：

C1、选取田块不同区域拍摄的视频，对所选取的视频按照间隔相同帧数提取出多张图片，按照8:2分为训练集和测试集；

C2、用LabelImg软件对训练集中每张图片上的整株玉米和玉米株心分别进行标注，生成.txt文件，文件包含：类别、标注物体横坐标中心、标注物体纵坐标中心坐标、宽度、高度；

C3、使用图像增强方法对训练集进行裁剪、翻转、镜像等操作扩充训练集数据。

优选地，所述S5中提到的利用深度学习算法对训练集数据进行训练并判断训练结果，具体包括以下步骤：

D1、将训练集数据放入深度学习算法中训练，得到训练的权重文件和训练过程中各参数的变化曲线；

D2、观察结果曲线是否符合训练的规律，训练精度是否达到要求；

D3、将权重文件放入深度学习算法中对测试集数据进行检测，观察检测情况；

D4、如果不合格则重新制作和扩充训练集后再进行D1～D3的操作直到权重文件合格为止。

优选地，所述S7中提到的结合相机标定结果得到深度学习算法的玉米苗期植株检测结果，具体包括以下步骤：

E1、通过相机标定获取相机内、外参和畸变参数；

E2、对所述S6中检测到的整株玉米和玉米株心数量进行统计和判断计算：若同一区域只检测到整株玉米而未检测到玉米株心，记录检测到1株玉米；若一同区域只检测到玉米株心而未检测到整株玉米，记录检测到1株玉米；若同一区域同时检测到玉米株心和整株玉米，判断玉米株心检测框中点坐标是否在整株玉米检测框内，若在检测框内则记录检测到1株玉米，否则记录检测到2株玉米，最终统计出精确的玉米植株数量；

E3、根据E2中的统计信息，同时计算出玉米植株的坐标位置，若同一区域只检测到整株玉米而未检测到玉米株心，记录整株玉米检测框的中心点坐标；若一同区域只检测到玉米株心而未检测到整株玉米，记录玉米株心检测框的中心点坐标；若同一区域同时检测到玉米株心和整株玉米，判断玉米株心检测框中心点坐标是否在整株玉米检测框内，若在检测框内则记录玉米株心检测框的中心点坐标，否则同时记录整株玉米检测框中心点坐标和玉米株心检测框中心点坐标，最后通过变换得到玉米行距、株距信息。

与现有技术相比，本发明提供了一种基于深度学习的玉米苗期田间分布信息统计方法，具备以下有益效果：

(1)本发明使用无人机采集数据，对图片和视频的质量有较好的保证，同时也减少了人力劳动，对于大规模的统计和分析有一个好的技术支撑，提高数据采集的效率，解决了人工采集方法在数据采集效率上较低的问题，减少资源的消耗，为高速发展的经济做出贡献。

(2)本发明能够自动检测和识别作物，为了实现无人机的快速检测识别，选用了深度学习算法，技术方案使用深度学习框架实现，易于用户的扩展和应用，通过对深度学习算法进行改进使其可以测量作物的株距和作物的株数，通过此方法对于作物的产量有一个更好的技术保障，也可以减轻科研工作这的工作负担，对作物的各项特征的统计提供了更加便捷的技术方案，大大提高了工作效率，同时本发明具备较高的准确率和实时性。

附图说明

图1为本发明提出的一种基于深度学习的玉米苗期田间分布信息统计方法的流程示意图；

图2为本发明提出的一种基于深度学习的玉米苗期田间分布信息统计方法的提取播种路径的轨迹图；

图3为本发明提出的一种基于深度学习的玉米苗期田间分布信息统计方法的无人机采集图像和视频的方法图；

图4为本发明提出的一种基于深度学习的玉米苗期田间分布信息统计方法的采集的作物图和标注文件；

图5为本发明提出的一种基于深度学习的玉米苗期田间分布信息统计方法的深度学习算法对玉米的训练结果图；

图6为本发明提出的一种基于深度学习的玉米苗期田间分布信息统计方法的深度学习算法检测整株玉米和玉米株心的效果图。

图7为本发明提出的一种基于深度学习的玉米苗期田间分布信息统计方法的深度学习算法检测计数效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。

实施例1：

请参阅图1，一种基于深度学习的玉米苗期田间分布信息统计方法，方法步骤如下：

S1、进行航拍无人机相机标定；

S2、基于北斗定位装置提取玉米播种机播种时各播种行的经纬度坐标信息，制作KML文件；

S2中提到的制作KML文件，具体包括以下步骤：

A1、将玉米播种机播种作业时的行驶轨迹经纬度数据提取出来，根据播种作业边界剔除转弯、掉头等无效轨迹数据；

A2、将处理后的经纬度数据按照播种作业行的相邻顺序，按照首尾相接的顺序把数据存储到Excel文件中；

A3、利用KML制作软件将Excel中存储的经纬度数据转换为可供航拍无人机控制软件调用的KML格式文件；

S3、将KML文件作为航拍无人机的飞行规划路径导入航拍无人机控制软件中，控制无人机沿玉米播种时的路径飞行并录制玉米苗期俯拍视频影像；

S3中提到的控制无人机沿玉米播种时的路径飞行并录制玉米苗期俯拍视频影像，具体包括以下步骤：

B1、将制作完成的KML文件导入航拍无人机控制软件中，设置航拍无人机飞行航向沿播种路径方向，设置航拍无人机拍摄方向始终沿无人机飞行方向；

B2、设置航拍无人机飞行速度、飞行高度及相机俯拍角度参数，使航拍无人机相机镜头正对地表，相机取景框能够完全覆盖玉米播种机单趟作业的所有玉米播种行，飞行速度设置要求满足拍摄清晰视频画面。

B3、启动航拍无人机沿KML规划轨迹飞行并录制视频，若工作过程中需要更换航拍无人机电池，更换之后沿上一断点位置继续飞行采集，直到完成整块田的视频采集工作；

S4、将获取的部分视频影像间隔相同帧数提取出多张图片数据，分别以整株玉米和玉米株心为检测目标制作训练集和测试集；

S4中提到的将获取的部分视频影像间隔相同帧数提取出多张图片数据，分别以整株玉米和玉米株心为检测目标制作训练集和测试集，具体包括以下步骤：

C1、选取田块不同区域拍摄的视频，对所选取的视频按照间隔相同帧数提取出多张图片，按照8:2分为训练集和测试集；

C2、用LabelImg软件对训练集中每张图片上的整株玉米和玉米株心分别进行标注，生成.txt文件，文件包含：类别、标注物体横坐标中心、标注物体纵坐标中心坐标、宽度、高度；

C3、使用图像增强方法对训练集进行裁剪、翻转、镜像等操作扩充训练集数据；

S5、利用深度学习算法对训练集数据进行训练并判断训练结果；

S5中提到的利用深度学习算法对训练集数据进行训练并判断训练结果，具体包括以下步骤：

D1、将训练集数据放入深度学习算法中训练，得到训练的权重文件和训练过程中各参数的变化曲线；

D2、观察结果曲线是否符合训练的规律，训练精度是否达到要求；

D3、将权重文件放入深度学习算法中对测试集数据进行检测，观察检测情况；

D4、如果不合格则重新制作和扩充训练集后再进行D1～D3的操作直到权重文件合格为止。

S6、将训练好的权重文件加载到深度学习算法中进行所有拍摄视频的整株玉米和玉米株心检测；

S7、结合相机标定结果得到深度学习算法的玉米苗期植株检测结果，输出株数、株距、行距等数据；

S7中提到的结合相机标定结果得到深度学习算法的玉米苗期植株检测结果，具体包括以下步骤：

E1、通过相机标定获取相机内、外参和畸变参数；

E2、对S6中检测到的整株玉米和玉米株心数量进行统计和判断计算：若同一区域只检测到整株玉米而未检测到玉米株心，记录检测到1株玉米；若一同区域只检测到玉米株心而未检测到整株玉米，记录检测到1株玉米；若同一区域同时检测到玉米株心和整株玉米，判断玉米株心检测框中点坐标是否在整株玉米检测框内，若在检测框内则记录检测到1株玉米，否则记录检测到2株玉米，最终统计出精确的玉米植株数量；

E3、根据E2中的统计信息，同时计算出玉米植株的坐标位置，若同一区域只检测到整株玉米而未检测到玉米株心，记录整株玉米检测框的中心点坐标；若一同区域只检测到玉米株心而未检测到整株玉米，记录玉米株心检测框的中心点坐标；若同一区域同时检测到玉米株心和整株玉米，判断玉米株心检测框中心点坐标是否在整株玉米检测框内，若在检测框内则记录玉米株心检测框的中心点坐标，否则同时记录整株玉米检测框中心点坐标和玉米株心检测框中心点坐标，最后通过变换得到玉米行距、株距信息；

S8、基于输出数据构建单株玉米在田块中的二维坐标，计算玉米苗密度、各行一致性变异系数等参数。

本发明使用无人机采集数据，对图片和视频的质量有较好的保证，同时也减少了人力劳动，对于大规模的统计和分析有一个好的技术支撑，提高数据采集的效率，解决了人工采集方法在数据采集效率上较低的问题，减少资源的消耗，为高速发展的经济做出贡献；除此之外，本发明能够自动检测和识别作物，为了实现无人机的快速检测识别，选用了深度学习算法，技术方案使用深度学习框架实现，易于用户的扩展和应用，通过对深度学习算法进行改进使其可以测量作物的株距和作物的株数，通过此方法对于作物的产量有一个更好的技术保障，也可以减轻科研工作这的工作负担，对作物的各项特征的统计提供了更加便捷的技术方案，大大提高了工作效率，同时本发明具备较高的准确率和实时性。

实施例2：

请参阅图2-6，基于实施例1但有所不同之处在于，

图2为提取播种路径的轨迹图，请参阅图2，图2中每一条线段均为播种时播种机的行驶轨迹。图3为无人机采集图像和视频的方法图，请参阅图3，由于播种时播种机工作时可以播种四行玉米，所以无人机飞行时也使其刚好可以拍摄到四行玉米；图中的黑色直线是玉米所处的行，无人机所处位置为图中五角星的位置，无人机离地面的高度1.5米，无人机携带的摄像头正向下拍摄玉米，无人机的飞行速度为匀速1m/s，当拍摄为四行时则，从左到右所处位置为第二行与第三行中间，无人机沿播种路径飞行，并采集图像和视频，当无人机到达行的尽头时，沿着图中黑色曲线的箭头方向换到下一组数据采集行，再重复上述的操作，直到数据采集完毕为止。

图4为深度学习算法对玉米的训练结果图，请参阅图4，图中所示为采集的玉米作物图和使用Labelimg标注得到.txt文件，图中可以清楚的看到图片中有十六株玉米，与之相对应得标注文件中也有十六行玉米的信息，标注文件第一列代表的是物体的类别，因为这里只有一个玉米所以物体的类别都是一样的，其后所代表的分别是标注物体横坐标中心、标注物体纵坐标中心坐标、宽度、高度信息。

图5为深度学习算法对玉米的训练结果图，请参阅图5，图中所示的为YOLO v5算法训练的结果，YOLO v5算法是基于Pytorch框架实现的，其具有轻量化、实时检测速度快等优点，同时精度也有所提升。图示300为迭代次数；Box为损失函数均值，越小方框越准；Objectness则为目标检测的损失均值，越小越准确；Precision是找对的正类与所有找的正类的比值，只有精度是不能衡量好坏成度的；Recall为召回率是找对的正类比上所有本应该找对的正类的比；训练结果主要观察精度和召回率波动情况如果波动不是很大则训练效果较好。训练结束后在权重文件夹中保存了best.pt和last.pt两个权重文件，训练exp文件夹中保存了可视化的训练结果result.png和result.txt等文件。

图6为深度学习算法检测整株玉米和玉米株心的效果图，请参阅图6，图中可以看到同一株玉米，有些只检测到整株玉米，有些只检测到玉米株心，而多数同时检测到整株玉米和玉米株心，由于整株玉米检测框中心点与玉米株心所处位置差异较大，在同时检测到玉米株心与整株玉米的情况下，选择玉米株心标记框的中心点作为玉米植株的定位位置具有更高的精度，当只检测到整株玉米的时候，才将整株玉米标记框的中心点作为玉米植株的定位位置，以此来较大限度提高玉米植株的定位位置精度。为玉米株距、行距计算提供准确数据。

图7为深度学习算法检测计数效果图，请参阅图7，图中所示的YOLO v5与Deepsort结合算法，YOLO v5是目标检测算法，Deeps ort主要是卡尔曼滤波和匈牙利匹配算法，将这两个算法结合实现作物信息统计，针对无人机获取的待检测图像，采用上述的算法对图像进行检测，图中矩形框就是识别的玉米位置，左上角的count1、cou nt2、count3、count4分别对应各行的玉米，后面的数值为检测到的玉米的数量，当无人机往前飞行时即图中的玉米往下移动，玉米框的中心点碰到图中间的横条时，就会计数。每个玉米框的左上角都会有一个唯一的ID值，以避免重复计数，统计所框玉米的中心点坐标，撞线计数的同时计算其与下一株玉米中心点之间的距离，然后结合相机标定结果通过坐标变换输出当前玉米与下一玉米的距离，即玉米的株距。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的玉米苗期田间分布信息统计方法，其特征在于，所述方法步骤如下：

S1、进行航拍无人机相机标定；

S2、基于北斗定位装置提取玉米播种机播种时各播种行的经纬度坐标信息，制作KML文件；

S3、将KML文件作为航拍无人机的飞行规划路径导入航拍无人机控制软件中，控制无人机沿玉米播种时的路径飞行并录制玉米苗期俯拍视频影像；

S4、将获取的部分视频影像间隔相同帧数提取出多张图片数据，分别以整株玉米和玉米株心为检测目标制作训练集和测试集；

S5、利用深度学习算法对训练集数据进行训练并判断训练结果；

S6、将训练好的权重文件加载到深度学习算法中进行所有拍摄视频的整株玉米和玉米株心检测；

S7、结合相机标定结果得到深度学习算法的玉米苗期植株检测结果，输出株数、株距、行距等数据；

S8、基于输出数据构建单株玉米在田块中的二维坐标，计算玉米苗密度、各行一致性变异系数等参数。

2.根据权利要求1所述一种基于深度学习的玉米苗期田间分布信息统计方法，其特征在于，所述S2中提到的制作KML文件，具体包括以下步骤：

A1、将玉米播种机播种作业时的行驶轨迹经纬度数据提取出来，根据播种作业边界剔除转弯、掉头等无效轨迹数据；

A2、将处理后的经纬度数据按照播种作业行的相邻顺序，按照首尾相接的顺序把数据存储到Excel文件中；

A3、利用KML制作软件将Excel中存储的经纬度数据转换为可供航拍无人机控制软件调用的KML格式文件。

3.根据权利要求1所述一种基于深度学习的玉米苗期田间分布信息统计方法，其特征在于，所述S3中提到的控制无人机沿玉米播种时的路径飞行并录制玉米苗期俯拍视频影像，具体包括以下步骤：

B1、将制作完成的KML文件导入航拍无人机控制软件中，设置航拍无人机飞行航向沿播种路径方向，设置航拍无人机拍摄方向始终沿无人机飞行方向；

B2、设置航拍无人机飞行速度、飞行高度及相机俯拍角度参数，使航拍无人机相机镜头正对地表，相机取景框能够完全覆盖玉米播种机单趟作业的所有玉米播种行，飞行速度设置要求满足拍摄清晰视频画面。

B3、启动航拍无人机沿KML规划轨迹飞行并录制视频，若工作过程中需要更换航拍无人机电池，更换之后沿上一断点位置继续飞行采集，直到完成整块田的视频采集工作。

4.根据权利要求1所述一种基于深度学习的玉米苗期田间分布信息统计方法，其特征在于，所述S4中提到的将获取的部分视频影像间隔相同帧数提取出多张图片数据，分别以整株玉米和玉米株心为检测目标制作训练集和测试集，具体包括以下步骤：

C1、选取田块不同区域拍摄的视频，对所选取的视频按照间隔相同帧数提取出多张图片，按照8:2分为训练集和测试集；

C2、用LabelImg软件对训练集中每张图片上的整株玉米和玉米株心分别进行标注，生成.txt文件，文件包含：类别、标注物体横坐标中心、标注物体纵坐标中心坐标、宽度、高度；

C3、使用图像增强方法对训练集进行裁剪、翻转、镜像等操作扩充训练集数据。

5.根据权利要求1所述一种基于深度学习的玉米苗期田间分布信息统计方法，其特征在于，所述S5中提到的利用深度学习算法对训练集数据进行训练并判断训练结果，具体包括以下步骤：

D1、将训练集数据放入深度学习算法中训练，得到训练的权重文件和训练过程中各参数的变化曲线；

D2、观察结果曲线是否符合训练的规律，训练精度是否达到要求；

D3、将权重文件放入深度学习算法中对测试集数据进行检测，观察检测情况；

D4、如果不合格则重新制作和扩充训练集后再进行D1～D3的操作直到权重文件合格为止。

6.根据权利要求1所述一种基于深度学习的玉米苗期田间分布信息统计方法，其特征在于，所述S7中提到的结合相机标定结果得到深度学习算法的玉米苗期植株检测结果，具体包括以下步骤：

E1、通过相机标定获取相机内、外参和畸变参数；

E2、对所述S6中检测到的整株玉米和玉米株心数量进行统计和判断计算：若同一区域只检测到整株玉米而未检测到玉米株心，记录检测到1株玉米；若一同区域只检测到玉米株心而未检测到整株玉米，记录检测到1株玉米；若同一区域同时检测到玉米株心和整株玉米，判断玉米株心检测框中点坐标是否在整株玉米检测框内，若在检测框内则记录检测到1株玉米，否则记录检测到2株玉米，最终统计出精确的玉米植株数量；

E3、根据E2中的统计信息，同时计算出玉米植株的坐标位置，若同一区域只检测到整株玉米而未检测到玉米株心，记录整株玉米检测框的中心点坐标；若一同区域只检测到玉米株心而未检测到整株玉米，记录玉米株心检测框的中心点坐标；若同一区域同时检测到玉米株心和整株玉米，判断玉米株心检测框中心点坐标是否在整株玉米检测框内，若在检测框内则记录玉米株心检测框的中心点坐标，否则同时记录整株玉米检测框中心点坐标和玉米株心检测框中心点坐标，最后通过变换得到玉米行距、株距信息。

Images