CN114612899A - 基于改进YOLOv3的麦苗行中心线检测方法 - Google Patents

基于改进YOLOv3的麦苗行中心线检测方法 Download PDF

Info

Publication number
CN114612899A
CN114612899A CN202210261479.9A CN202210261479A CN114612899A CN 114612899 A CN114612899 A CN 114612899A CN 202210261479 A CN202210261479 A CN 202210261479A CN 114612899 A CN114612899 A CN 114612899A
Authority
CN
China
Prior art keywords
wheat
line
wheat seedling
point
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210261479.9A
Other languages
English (en)
Inventor
林海波
卢元栋
修玉峰
杨发展
丁荣诚
邵晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202210261479.9A priority Critical patent/CN114612899A/zh
Publication of CN114612899A publication Critical patent/CN114612899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于改进YOLOv3的麦苗行中心线检测方法，该基于改进YOLOv3的麦苗行中心线检测方法包括：步骤1，利用改进YOLOv3目标检测模型检测麦苗行；步骤2，利用定义的灰度阈值提取检测框中的麦苗特征点；步骤3，利用圆形扫描窗口提取麦苗行中心点；步骤4，利用最小二乘法分别对各列麦苗中心点进行拟合，提取各列麦苗中心线。该基于改进YOLOv3的麦苗行中心线检测方法不受杂草、阴影及光照变化的影响，同时也适应于存在一定偏航角的麦苗图像。因此该基于改进YOLOv3的麦苗行中心线检测方法适应性更广、更稳定，为麦田智能农机视觉导航提供技术参考。

Description

基于改进YOLOv3的麦苗行中心线检测方法
技术领域
本发明涉及智能农机视觉导航技术领域，特别是涉及到一种基于改进YOLOv3的麦苗行中心线检测方法。
背景技术
小麦作为世界主要粮食作物之一，其产量的稳定与增加对世界粮食的安全及人民生活水平的保障都具有重要意义。有研究表明，在早期麦苗行间采取断根、施肥、除草等措施可提高小麦的产量。然而，以往的田间作业主要依靠人工或自动化水平低的机械来完成，该种方式劳动强度大、效率低且成本高。作为精细农业的重要组成部分，智能农机视觉导航技术越来越受关注，其已应用于作物的播种、除草、收获等环节。然而，麦田中麦苗形态随时间变化、杂草、阴影、光照变化等复杂情况对麦苗行中心线的提取有一定的影响，麦苗行中心线的准确与稳定提取可为麦田农机自主导航与作业提供参考依据。为此我们发明了一种新的基于改进YOLOv3的麦苗行中心线检测方法。
发明内容
本发明的目的是提供一种为早期麦田智能农机视觉导航提供技术参考的基于改进YOLOv3的麦苗行中心线检测方法。
本发明的目的可通过如下技术措施来实现：基于改进YOLOv3的麦苗行中心线检测方法，该基于改进YOLOv3的麦苗行中心线检测方法包括：
步骤1，利用改进YOLOv3目标检测模型检测麦苗行；
步骤2，利用定义的灰度阈值提取检测框中的麦苗特征点；
步骤3，利用圆形扫描窗口提取麦苗行中心点；
步骤4，利用最小二乘法分别对各列麦苗中心点进行拟合，提取各列麦苗中心线；
在步骤1中，用于模型训练的麦苗图像应该拍摄于小麦越冬期和返青期两个时间段；相机摄像头距离地面100-150cm；相机光轴与水平线夹角为30°-60°；拍摄的偏航角为0°-30°；沿麦苗行不同的方向进行拍摄；采用多种分辨率进行拍摄；拍摄的图像应该包含多种情况，包括杂草、阴影、不同光照等。
在步骤1中，对采集的图像进行扩充，包括改变亮度、旋转、镜像、添加噪声等方式；通过上述操作，建立麦苗图像数据库。
在步骤1中，YOLOv3模型输出的包围框被改进，由原来的横向包围框改为可旋转的包围框。旋转包围框的标注参数表示为(x，y，w，h，α)，其中，(x，y)表示框的中心点坐标，w、h分别表示在旋转前框的宽度与高度，α表示包围框围绕中心点(x，y)顺时针方向旋转的角度，其单位为弧度，其取值范围为[0，π)。
在步骤1中，基于标注信息，利用K-means算法分别对包围框的大小及旋转角度进行聚类，包围框的大小被划分为9个聚类中心点，包围框的旋转角度参数被划分为6个聚类中心点。
在步骤1中，模型的损失函数需要做一些改变，去掉损失函数中与多分类预测有关的部分，同时，利用smooth L1函数表示角度预测的损失，具体公式如下：
Loss＝Lα+Lx，y+Lw，h+Lconf
Figure BDA0003550284550000021
Figure BDA0003550284550000022
Figure BDA0003550284550000023
Figure BDA0003550284550000024
Figure BDA0003550284550000031
其中，S2代表输出的特征图的尺寸(S＝13，26，52)。B代表特征图中每个网格的候选包围框数量(B＝3×6)。
Figure BDA0003550284550000032
代表第i个格中第j个候选包围框是否负责目标检测，若负责，
Figure BDA0003550284550000033
否则为0。
Figure BDA0003550284550000034
与其情况相反。
Figure BDA0003550284550000035
Figure BDA0003550284550000036
分别代表第i个格中第j个候选包围框的预测旋转角度与真实旋转角度。λcoord，λnoobj分别用于平衡包围框与置信度的训练损失。
Figure BDA0003550284550000037
Figure BDA0003550284550000038
分别代表第i个格中第j个候选包围框中心点的预测坐标与真实坐标。
Figure BDA0003550284550000039
Figure BDA00035502845500000310
分别代表第i个格中第j个候选包围框尺寸的预测值。
Figure BDA00035502845500000311
分别代表第i个格中第j个候选包围框尺寸的真实值。
Figure BDA00035502845500000312
分别代表第i个格中第j个候选包围框中对目标的预测置信度与真实置信度。
在步骤2中，模型仅输出高度大于
Figure BDA00035502845500000313
的包围框；图像通过HLS颜色空间中H通道被转换至灰度图像，麦苗特征点的提取方法如下：
Figure BDA00035502845500000314
其中，greyi，j为图像在点(i，j)处的灰度值。T为灰度阈值，该值与麦苗生长阶段有关。若Pi，j＝1，则表示点(i，j)为麦苗特征点。
在步骤3中，定义了一个圆形扫描窗口，它从包围框上边缘中点沿直线扫描至包围框下边缘中点。在扫描过程中，计算窗口内部特征点的均值点，并将其作为麦苗行中心点。
在步骤3中，根据模型输出的旋转包围框的中心点(x，y)及框的宽度w和高度h等参数计算包围框在未旋转前的四个顶点的位置坐标，其分别为左上方顶点
Figure BDA00035502845500000315
右上方顶点
Figure BDA00035502845500000316
右下方顶点
Figure BDA00035502845500000317
Figure BDA00035502845500000318
左下方顶点
Figure BDA00035502845500000319
然后，再根据旋转角度α计算包围框旋转后的四个顶点坐标
Figure BDA0003550284550000041
其计算方法如下：
Figure BDA0003550284550000042
Figure BDA0003550284550000043
其中(xi，yi)为未旋转前的顶点坐标，
Figure BDA0003550284550000044
为旋转后的顶点坐标，i＝1，2，3，4。
在步骤3中，圆形窗口移动的起点和终点分别为旋转边界框的上边缘和下边缘的中心点，并且沿着两点的连接的直线移动。移动的起点与终点与旋转角度α有关。当
Figure BDA0003550284550000045
时，起点为
Figure BDA0003550284550000046
与
Figure BDA0003550284550000047
的中点，终点为
Figure BDA0003550284550000048
与
Figure BDA0003550284550000049
的中点。当
Figure BDA00035502845500000410
时，起点为
Figure BDA00035502845500000411
与
Figure BDA00035502845500000412
的中点，终点为
Figure BDA00035502845500000413
与
Figure BDA00035502845500000414
的中点。根据起点与终点，移动的路径方程可以被求出。当α＝0，路径方程为X＝x。当0＜α＜π时，路径方程为Y＝k*X+b，其中
Figure BDA00035502845500000415
Figure BDA00035502845500000416
在步骤3中，圆形窗口以
Figure BDA00035502845500000417
为半径，其圆心从起点开始，沿着被选择的路径扫描。每移动到一个新位置，分别计算圆形窗口内的所有的点的横坐标与纵坐标的平均值，并将其作为麦苗行中心点。
在步骤4中，利用最小二乘法对麦苗行中心点进行拟合。
在步骤4中，采用角度与距离的综合方法来评估麦苗行中心线的提取效果，计算方法如下：
Figure BDA00035502845500000418
Figure BDA00035502845500000419
Figure BDA00035502845500000420
Figure BDA00035502845500000421
其中，θ表示提取的麦苗行中心线与准确的麦苗行中心线角度误差，d1表示提取的麦苗行中心线与图像上边缘的交点到准确的麦苗行中心线的距离，d2表示提取的麦苗行中心线与图像下边缘的交点到准确的麦苗行中心线的距离，
Figure BDA0003550284550000051
表示提取的麦苗行中心线与准确的麦苗行中心线在距离上的误差，k1表示直线提取的麦苗行中心线的斜率，k2、b2分别表示准确的麦苗行中心线的斜率与截距。
本发明中的基于改进YOLOv3的麦苗行中心线检测方法，具体步骤如下：利用改进YOLOv3目标检测模型检测麦苗行；利用定义的灰度阈值提取检测框中的麦苗特征点；利用圆形扫描窗口提取麦苗行中心点；利用最小二乘法分别对各列麦苗中心点进行拟合，提取各列麦苗中心线。该基于改进YOLOv3的麦苗行中心线检测方法适应性更广、更稳定。
附图说明
图1为本发明的基于改进YOLOv3的麦苗行中心线检测方法的一具体实施例的流程图；
图2为本发明的一具体实施例中的改进的YOLOv3模型中旋转包围框的标注参数示意图；
图3为本发明的一具体实施例中的改进的YOLOv3模型检测麦苗行的结果图；
图4为本发明的一具体实施例中的特征点提取过程示意图；
图5为本发明的一具体实施例中的特征点提取的结果图；
图6为本发明的一具体实施例中的中心点提取过程示意图；
图7为本发明的一具体实施例中的中心点提取的结果图；
图8为本发明的一具体实施例中的麦苗行中心线评估方法示意图；
图9为本发明的一具体实施例中利用基于改进YOLOv3的麦苗行中心线检测方法提取不同生长时间的麦苗行中心线的效果图；
图10为本发明的一具体实施例中利用基于改进YOLOv3的麦苗行中心线检测方法提取不同环境下的麦苗行中心线的效果图；
图11为本发明的一具体实施例中利用基于改进YOLOv3的麦苗行中心线检测方法提取不同旋转角度的麦苗行中心线的效果图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作和/或它们的组合。
如图1所示，图1为本发明的基于改进YOLOv3的麦苗行中心线检测方法的流程图。该基于改进YOLOv3的麦苗行中心线检测方法包括：
(1)利用改进YOLOv3目标检测模型检测麦苗行；
(2)利用定义的灰度阈值提取检测框中的麦苗特征点；
(3)利用圆形扫描窗口提取麦苗行中心点；
(4)利用最小二乘法分别对各列麦苗中心点进行拟合，提取各列麦苗中心线。
以下为应用本发明的几个具体实施例。
实施例1
在应用本发明的一具体实施例1中，该基于改进YOLOv3的麦苗行中心线检测方法包括：
步骤1，用于模型训练的麦苗图像应该拍摄于小麦越冬期和返青期两个时间段；相机摄像头距离地面100-150cm；相机光轴与水平线夹角为30°-60°；拍摄的偏航角为0°-30°；沿麦苗行不同的方向进行拍摄；采用多种分辨率进行拍摄；拍摄的图像应该包含多种情况，包括杂草、阴影、不同光照等。对采集的图像进行扩充，包括改变亮度、旋转、镜像、添加噪声等方式；通过上述操作，建立麦苗图像数据库。YOLOv3模型输出的包围框被改进，由原来的横向包围框改为可旋转的包围框。旋转包围框的标注参数表示为(x，y，w，h，α)，如图2所示，图中，(x，y)表示框的中心点坐标，w、h分别表示在旋转前框的宽度与高度，α表示包围框围绕中心点(x，y)顺时针方向旋转的角度，其单位为弧度，其取值范围为[0，π)。基于标注信息，利用K-means算法分别对包围框的大小及旋转角度进行聚类，包围框的大小被划分为9个聚类中心点，包围框的旋转角度参数被划分为6个聚类中心点。模型的损失函数需要做一些改变，去掉损失函数中与多分类预测有关的部分，同时，利用smooth L1函数表示角度预测的损失，具体公式如下：
Loss＝Lα+Lx，y+Lw，h+Lconf
Figure BDA0003550284550000071
Figure BDA0003550284550000072
Figure BDA0003550284550000073
Figure BDA0003550284550000074
Figure BDA0003550284550000075
其中，S2代表输出的特征图的尺寸(S＝13，26，52)。B代表特征图中每个网格的候选包围框数量(B＝3×6)。
Figure BDA0003550284550000076
代表第i个格中第j个候选包围框是否负责目标检测，若负责，
Figure BDA0003550284550000077
否则为0。
Figure BDA0003550284550000078
与其情况相反。
Figure BDA0003550284550000079
Figure BDA00035502845500000710
分别代表第i个格中第j个候选包围框的预测旋转角度与真实旋转角度。λcoord，λnoobj分别用于平衡包围框与置信度的训练损失。
Figure BDA00035502845500000711
Figure BDA00035502845500000712
分别代表第i个格中第j个候选包围框中心点的预测坐标与真实坐标。
Figure BDA00035502845500000713
分别代表第i个格中第j个候选包围框尺寸的预测值。
Figure BDA00035502845500000714
分别代表第i个格中第j个候选包围框尺寸的真实值。
Figure BDA00035502845500000715
分别代表第i个格中第j个候选包围框中对目标的预测置信度与真实置信度。
图3为麦苗行检测的结果图，由图可以看到输出的包围框对麦苗行的定位较准确。
步骤2，模型仅输出高度大于
Figure BDA0003550284550000081
的包围框；如图4所示，图像通过HLS颜色空间中H通道被转换至灰度图像，麦苗特征点的提取方法如下：
Figure BDA0003550284550000082
其中，greyi，j为图像在点(i，j)处的灰度值。T为灰度阈值，该值与麦苗生长阶段有关。若Pi，j＝1，则表示点(i，j)为麦苗特征点。
图5为特征点提取的结果图，由图可以看出，麦苗叶片的轮廓点大体被提取。
步骤3，如图6所示，定义了一个圆形扫描窗口，它从包围框上边缘中点沿直线扫描至包围框下边缘中点。在扫描过程中，计算窗口内部特征点(实心点)的均值点，并将其作为麦苗行中心点(空心点)。根据模型输出的旋转包围框的中心点(x，y)及框的宽度w和高度h等参数计算包围框在未旋转前的四个顶点的位置坐标，其分别为左上方顶点
Figure BDA0003550284550000083
右上方顶点
Figure BDA0003550284550000084
右下方顶点
Figure BDA0003550284550000085
左下方顶点
Figure BDA0003550284550000086
Figure BDA0003550284550000087
然后，再根据旋转角度α计算包围框旋转后的四个顶点坐标
Figure BDA00035502845500000825
Figure BDA0003550284550000088
其计算方法如下：
Figure BDA0003550284550000089
Figure BDA00035502845500000810
其中(xi，yi)为未旋转前的顶点坐标，
Figure BDA00035502845500000811
为旋转后的顶点坐标，i＝1，2，3，4。圆形窗口移动的起点和终点分别为旋转边界框的上边缘和下边缘的中心点，并且沿着两点的连接的直线移动。移动的起点与终点与旋转角度α有关。当
Figure BDA00035502845500000812
时，起点为
Figure BDA00035502845500000813
与
Figure BDA00035502845500000814
的中点，终点为
Figure BDA00035502845500000815
与
Figure BDA00035502845500000816
的中点。当
Figure BDA00035502845500000817
时，起点为
Figure BDA00035502845500000818
与
Figure BDA00035502845500000819
的中点，终点为
Figure BDA00035502845500000820
与
Figure BDA00035502845500000821
的中点。根据起点与终点，移动的路径方程可以被求出。当α＝0，路径方程为X＝x。当0＜α＜π时，路径方程为Y＝k*X+b，其中
Figure BDA00035502845500000822
Figure BDA00035502845500000823
圆形窗口以
Figure BDA00035502845500000824
为半径，其圆心从起点开始，沿着被选择的路径扫描。每移动到一个新位置，分别计算圆形窗口内的所有的点的横坐标与纵坐标的平均值，并将其作为麦苗行中心点。图7为在图5的基础上提取的麦苗行中心点。
步骤4，利用最小二乘法对麦苗行中心点进行拟合。采用角度与距离的综合方法来评估麦苗行中心线的提取效果，计算方法如下：
Figure BDA0003550284550000091
Figure BDA0003550284550000092
Figure BDA0003550284550000093
Figure BDA0003550284550000094
其中，θ表示提取的麦苗行中心线与准确的麦苗行中心线角度误差，d1表示提取的麦苗行中心线与图像上边缘的交点到准确的麦苗行中心线的距离，d2表示提取的麦苗行中心线与图像下边缘的交点到准确的麦苗行中心线的距离，
Figure BDA0003550284550000095
表示提取的麦苗行中心线与准确的麦苗行中心线在距离上的误差，k1表示直线提取的麦苗行中心线的斜率，k2、b2分别表示准确的麦苗行中心线的斜率与截距。如图8所示，Line1(虚线)表示提取的麦苗行中心线，Line2(实线)表示准确的麦苗行中心线，θ代表两条线的夹角，A、B分别代表两条直线与图像上边缘的交点，C、D分别代表两条直线与图像下边缘的交点，d1表示点A到直线Line2的距离，d2表示点C到直线Line1的距离。
通过对测试集中200张麦苗图像进行测试并统计，平均角度误差为0.82°，平均距离误差为12.16像素。
实施例2：
在应用本发明的具体实施例2中，分别从2021.02.25，2021.03.11，2021.03.25，2021.04.07的四个时间点拍摄的麦苗图片中选取麦苗图像，利用基于改进YOLOv3的麦苗行中心线检测方法进行测试，如图9所示，从图中可以看出，第1个时间点中的麦苗经过冬天后刚开始生长，麦苗行的轮廓清晰。改进的YOLOV3模型可以准确地检测麦苗行的位置，提取的麦苗行中心线较准确。随着麦苗的生长，麦苗行越来越宽，部分相邻两行麦苗的叶片已经交叉在一起，但模型仍能检测出麦苗行大致位置，提取的麦苗行中心线在一定程度上可以代表相应行的麦苗。
实施例3：
在应用本发明的具体实施例3中，为验证基于改进YOLOv3的麦苗行中心线检测方法对麦田环境的适应性，分别从图像集中选取存在杂草、阴影、强光、暗光的图像进行测试。从图10中可以看出，麦苗行的检测及中心线的提取并没有受到影响。因此，基于改进YOLOv3的麦苗行中心线检测方法对杂草、阴影及光线变化具有一定的抗干扰性。
实施例4：
在应用本发明的具体实施例4中，验证拍摄过程中的偏航角对基于改进YOLOv3的麦苗行中心线检测方法的影响。现实中，农机在田地里作业时由于地面不平、机械振动及作物行可能存在的直线误差等原因不可避免地会导致采集图像过程中存在一定偏航角。所以，一种稳定的作物行中心线提取方法应该同样适应于相机偏航角不为0时采集的图像。这里用图像集中旋转不同角度的图像模拟存在一定偏航角的图像。图11为图像旋转10°、20°、30°时麦苗行中心线提取的效果，从图中可以看出，图像的旋转对于麦苗行线的提取并没有太大的影响。由此看来，基于改进YOLOv3的麦苗行中心线检测方法对于存在偏航角的麦苗图像具有一定的适应性。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域技术人员来说，其依然可以对前述实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (10)

1.基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，该基于改进YOLOv3的麦苗行中心线检测方法包括：
步骤1，利用改进YOLOv3目标检测模型检测麦苗行；
步骤2，利用定义的灰度阈值提取检测框中的麦苗特征点；
步骤3，利用圆形扫描窗口提取麦苗行中心点；
步骤4，利用最小二乘法分别对各列麦苗中心点进行拟合，提取各列麦苗中心线；
2.根据权利要求1所述的基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，在步骤1中，用于模型训练的麦苗图像应该拍摄于小麦越冬期和返青期两个时间段；相机摄像头距离地面100-150cm；相机光轴与水平线夹角为30°-60°；拍摄的偏航角为0°-30°；沿麦苗行不同的方向进行拍摄；采用多种分辨率进行拍摄；
优选地，在步骤1中，对采集的图像进行扩充，建立麦苗图像数据库。
3.根据权利要求1所述的基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，在步骤1中，YOLOv3模型输出的包围框被改进，由原来的横向包围框改为可旋转的包围框，旋转包围框的标注参数表示为(x，y，w，h，α)，其中，(x，y)表示框的中心点坐标，w、h分别表示在旋转前框的宽度与高度，α表示包围框围绕中心点(x，y)顺时针方向旋转的角度，其单位为弧度，其取值范围为[0，π)。
4.根据权利要求1所述的基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，在步骤1中，基于标注信息，利用K-means算法分别对包围框的大小及旋转角度进行聚类，包围框的大小被划分为9个聚类中心点，包围框的旋转角度参数被划分为6个聚类中心点。
5.根据权利要求1所述的基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，在步骤1中，模型的损失函数需要做一些改变，去掉损失函数中与多分类预测有关的部分，同时，利用smooth L1函数表示角度预测的损失，具体公式如下：
Loss＝Lα+Lx，y+Lw，h+Lconf
Figure FDA0003550284540000021
Figure FDA0003550284540000022
Figure FDA0003550284540000023
Figure FDA0003550284540000024
Figure FDA0003550284540000025
其中，S2代表输出的特征图的尺寸(S＝13，26，52)；B代表特征图中每个网格的候选包围框数量(B＝3×6)；
Figure FDA0003550284540000026
代表第i个格中第j个候选包围框是否负责目标检测，若负责，
Figure FDA0003550284540000027
否则为0，
Figure FDA0003550284540000028
与其情况相反；
Figure FDA0003550284540000029
Figure FDA00035502845400000210
分别代表第i个格中第j个候选包围框的预测旋转角度与真实旋转角度；λcoord，λnoobj分别用于平衡包围框与置信度的训练损失；
Figure FDA00035502845400000211
Figure FDA00035502845400000212
分别代表第i个格中第j个候选包围框中心点的预测坐标与真实坐标；
Figure FDA00035502845400000213
分别代表第i个格中第j个候选包围框尺寸的预测值；
Figure FDA00035502845400000214
分别代表第i个格中第j个候选包围框尺寸的真实值；
Figure FDA00035502845400000215
分别代表第i个格中第j个候选包围框中对目标的预测置信度与真实置信度。
6.根据权利要求1所述的基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，在步骤2中，模型仅输出高度大于
Figure FDA00035502845400000216
的包围框；图像通过HLS颜色空间中H通道被转换至灰度图像，麦苗特征点的提取方法如下：
Figure FDA00035502845400000217
其中，greyi，j为图像在点(i，j)处的灰度值，T为灰度阈值，该值与麦苗生长阶段有关；若Pi，j＝1，则表示点(i，j)为麦苗特征点。
7.根据权利要求1所述的基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，在步骤3中，定义了一个圆形扫描窗口，它从包围框上边缘中点沿直线扫描至包围框下边缘中点；在扫描过程中，计算窗口内部特征点的均值点，并将其作为麦苗行中心点。
8.根据权利要求7所述的基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，在步骤3中，根据模型输出的旋转包围框的中心点(x，y)及框的宽度w和高度h等参数计算包围框在未旋转前的四个顶点的位置坐标，其分别为左上方顶点
Figure FDA0003550284540000031
右上方顶点
Figure FDA0003550284540000032
右下方顶点
Figure FDA0003550284540000033
左下方顶点
Figure FDA0003550284540000034
然后，再根据旋转角度α计算包围框旋转后的四个顶点坐标
Figure FDA0003550284540000035
其计算方法如下：
Figure FDA0003550284540000036
Figure FDA0003550284540000037
其中(xi，yi)为未旋转前的顶点坐标，
Figure FDA0003550284540000038
为旋转后的顶点坐标，i＝1，2，3，4；
优选地，在步骤3中，圆形窗口移动的起点和终点分别为旋转边界框的上边缘和下边缘的中心点，并且沿着两点的连接的直线移动；移动的起点与终点与旋转角度α有关；当
Figure FDA0003550284540000039
时，起点为
Figure FDA00035502845400000310
与
Figure FDA00035502845400000311
的中点，终点为
Figure FDA00035502845400000312
与
Figure FDA00035502845400000313
的中点；当
Figure FDA00035502845400000314
时，起点为
Figure FDA00035502845400000315
与
Figure FDA00035502845400000316
的中点，终点为
Figure FDA00035502845400000317
与
Figure FDA00035502845400000318
的中点；根据起点与终点，移动的路径方程被求出；当α＝0，路径方程为X＝x；当0＜α＜π时，路径方程为Y＝k*X+b，其中
Figure FDA00035502845400000319
Figure FDA00035502845400000320
进一步优选地，在步骤3中，圆形窗口以
Figure FDA00035502845400000321
为半径，其圆心从起点开始，沿着被选择的路径扫描；每移动到一个新位置，分别计算圆形窗口内的所有的点的横坐标与纵坐标的平均值，并将其作为麦苗行中心点；
9.根据权利要求1所述的基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，在步骤4中，利用最小二乘法对麦苗行中心点进行拟合。
10.根据权利要求9所述的基于改进YOLOv3的麦苗行中心线检测方法，其特征在于，在步骤4中，采用角度与距离的综合方法来评估麦苗行中心线的提取效果，计算方法如下：
Figure FDA0003550284540000041
Figure FDA0003550284540000042
Figure FDA0003550284540000043
Figure FDA0003550284540000044
其中，θ表示提取的麦苗行中心线与准确的麦苗行中心线角度误差，d1表示提取的麦苗行中心线与图像上边缘的交点到准确的麦苗行中心线的距离，d2表示提取的麦苗行中心线与图像下边缘的交点到准确的麦苗行中心线的距离，
Figure FDA0003550284540000045
表示提取的麦苗行中心线与准确的麦苗行中心线在距离上的误差，k1表示直线提取的麦苗行中心线的斜率，k2、b2分别表示准确的麦苗行中心线的斜率与截距。
CN202210261479.9A 2022-03-16 2022-03-16 基于改进YOLOv3的麦苗行中心线检测方法 Pending CN114612899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210261479.9A CN114612899A (zh) 2022-03-16 2022-03-16 基于改进YOLOv3的麦苗行中心线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210261479.9A CN114612899A (zh) 2022-03-16 2022-03-16 基于改进YOLOv3的麦苗行中心线检测方法

Publications (1)

Publication Number Publication Date
CN114612899A true CN114612899A (zh) 2022-06-10

Family

ID=81863761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210261479.9A Pending CN114612899A (zh) 2022-03-16 2022-03-16 基于改进YOLOv3的麦苗行中心线检测方法

Country Status (1)

Country Link
CN (1) CN114612899A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782455A (zh) * 2022-06-27 2022-07-22 中国科学院合肥物质科学研究院 一种用于农机嵌入式设备的棉花行中心线图像提取方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782455A (zh) * 2022-06-27 2022-07-22 中国科学院合肥物质科学研究院 一种用于农机嵌入式设备的棉花行中心线图像提取方法

Similar Documents

Publication Publication Date Title
Li et al. Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots
Tian et al. Machine vision identification of tomato seedlings for automated weed control
CN109146948B (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及系统
CN109886155B (zh) 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN109740483A (zh) 一种基于深层神经网络的水稻生长期检测方法
CN112418188A (zh) 基于无人机视觉的农作物生长全程数字化评估方法
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
CN108133471B (zh) 一种基于人工蜂群算法的机器人导航路径提取方法及装置
CN114067206B (zh) 一种基于深度图像的球形果实识别定位方法
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
CN111967441A (zh) 一种基于深度学习的农作物病害分析方法
CN112069985A (zh) 基于深度学习的高分辨率大田图像稻穗检测与计数方法
CN114842337A (zh) 基于深度学习与多维信息融合聚类的果实采摘点识别方法
CN114119574A (zh) 一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法
CN114612899A (zh) 基于改进YOLOv3的麦苗行中心线检测方法
CN116977960A (zh) 一种基于实例分割的水稻秧苗行检测方法
Loresco et al. Segmentation of lettuce plants using super pixels and thresholding methods in smart farm hydroponics setup
CN117152544B (zh) 采茶方法、设备、存储介质及装置
Zhong et al. Identification and depth localization of clustered pod pepper based on improved Faster R-CNN
Li et al. A novel approach for the 3D localization of branch picking points based on deep learning applied to longan harvesting UAVs
CN109166127A (zh) 一种可穿戴式植物表型感知系统
CN116138036B (zh) 一种用于名优茶嫩芽采摘的二次定位方法
CN117456358A (zh) 一种基于YOLOv5神经网络的植物病虫害检测方法
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination