CN112146646A - 一种作物封垄后田间导航线的检测方法 - Google Patents

一种作物封垄后田间导航线的检测方法 Download PDF

Info

Publication number
CN112146646A
CN112146646A CN202010922400.3A CN202010922400A CN112146646A CN 112146646 A CN112146646 A CN 112146646A CN 202010922400 A CN202010922400 A CN 202010922400A CN 112146646 A CN112146646 A CN 112146646A
Authority
CN
China
Prior art keywords
row
crop
initial
image
ridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010922400.3A
Other languages
English (en)
Other versions
CN112146646B (zh
Inventor
饶秀勤
林洋洋
张延宁
张小敏
应义斌
杨海涛
姜海益
朱逸航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010922400.3A priority Critical patent/CN112146646B/zh
Priority to PCT/CN2020/115253 priority patent/WO2022047830A1/zh
Priority to US17/780,029 priority patent/US11676376B2/en
Publication of CN112146646A publication Critical patent/CN112146646A/zh
Application granted granted Critical
Publication of CN112146646B publication Critical patent/CN112146646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种作物封垄后田间导航线的检测方法。方法包括以下步骤：获取田间作物图像，对田间作物图像依次进行图像颜色空间变换、图像二值化、纵向积分、邻域设定、区域积分计算得到作物行图像，对作物行图像进行初始中间垄、左边垄和右边垄检测，获得初始中间垄、左边垄和右边垄中心线，利用左(右)边垄中心线和初始中间垄中心线之间的1区域建立左(右)边作物行中心线，再利用左边作物行中心线和右边作物行中心线之间的0区域建立中间垄中心线模型，即为田间作业机具的导航线。本发明利用田间作物图像区域积分的差异性来提取导航信息，实现了封闭作物行间的检测。

Description

一种作物封垄后田间导航线的检测方法
技术领域
本发明涉及了一种农机田间自动导航的方法，具体是涉及了一种作物封垄后田间导航线的检测方法。
背景技术
智能农机田间自动作业需要导航控制，卫星定位系统作为通用的导航技术，适宜行走路径确定的情形，而田间由于作物种类的变化、作物生长情况等因素，田间先遣路径难以保持稳定，需要根据实际情况进行调整，因此，对田间作物进行识别，为智能作业机械提供导航信息，应显得尤其重要。
为实现田间导航信息获取，学者们进行了大量的研究。
Hough变换法：Jiang等(2016)采用过绿2G-R-B特征与Otsu阈值分割法相结合，运用移动窗口法来提取代表作物行的特征点，对Hough变换提取的候选直线，基于消隐点和K-means聚类法进行处理后得到真实的作物行(Jiang G，Wang X，Wang Z，et al.Wheat rowsdetection at the early growth stage based on Hough transform and vanishingpoint[J].Computers&Electronics in Agriculture，2016，123:211-223)。
模板匹配法：Hague等(2001)用带通滤波器匹配小麦行，能够有效解决图像阴影问题。带通滤波器的作用一是阻断部分高频信号以减弱诸如杂草和作物行内部结构细节等虚假特征的影响，二是阻断部分低频信号抑制光照变化的影响。但此方法对于不同自然条件的适应性还有待进一步提高(Hague T，Tillett N D.A bandpass filter-based approachto crop row location and tracking[J].Mechatronics，2001，11(1):1-12)。张方明(2006)提出了梯形模型定位作物行的算法，基于图像的行扫描线的灰度特征，构造表现作物特征的灰度曲线模型，并运用小波分析方法提取趋势曲线，构成目标特征的从粗定位到精确定位的快速算法。这种基于小波分解的由粗到精策略能够保证图像处理算法的实时性，检测可靠，运算速度快，但是当车辆偏移道路较大时，若某一行移出视野范围，将导致匹配的失败(张方明.田间路径识别算法和基于立体视觉的车辆自动导航方法研究[D].浙江大学，2006)。
线性回归法：Montalvo等(2012)提出了“OLR(Otsu and linear regression)法”，即使用最小二乘法进行作物行检测(Montalvo M，Pajares G，Guerrero J M，etal.Automatic detection of crop rows in maize fields with high weeds pressure[J].Expert Systems with Applications An International Journal，2012，39(15):11889-11897)。García-Santillán等(2017)提出了DBMR(Detection based on micro-ROIs)方法，基于多个感兴趣区，将Hough变换和最小二乘法结合了起来，利用Hough变换定位出每条作物行的起点，再把ROI分割成多个水平条，利用micro-ROI依次提取出候选点，最后使用最小二乘法拟合得到作物行直线(García-Santillán，Iván D，Montalvo，Martín，Guerrero，JoséM，et al.Automatic detection of curved and straight crop rowsfrom images in maize fields[J].Biosystems Engineering，2017，156:61-79)。
上述方法多以作物间距较大为基础进行导航信息提取，而玉米、棉花、甘蔗等作物在生长后期，相邻两行作物的枝、叶互相搭连，即封闭作物行间(封行或封垄)，这些方法不再适用。
发明内容
为了解决背景技术中的需求和问题，本发明提出了利用区域积分差异性提取导航信息的方法，实现了封闭作物行间的检测。
本发明的技术方案如下：
方法包括如下步骤：
1)作物图像获取：采用摄像机获取田间作物图像，记为原始图像S1；
所述摄像机的光轴沿田间垄的方向拍摄。
2)图像颜色空间变换：将原始图像S1转换到HSI颜色空间，得到HSI图像S2；
3)图像二值化：将HSI图像S2中的色调分量值H在0.2与0.583之间的像素点的像素值设置为1，其余像素点的像素值设置为0，得到二值图像S3；
4)纵向积分：将二值图像S3复制为纵向积分图S4，在纵向积分图S4上对每一列进行遍历，每列中从第2行的像素点开始向下遍历每个像素点，遍历时将与其上一行像素点的像素值相加，并将结果覆盖当前像素点的像素值，从而得到纵向积分图S4；
5)邻域设定：设置当前像素点的邻域，邻域为原始图像S1的图像宽度的1/48，采用一个3行的二维矩阵R表示邻域，二维矩阵R中的一列代表了邻域中一列，二维矩阵R中第1行的各个元素代表邻域中各列相对于当前像素点的列偏移量，第2行的各个元素代表邻域中各列起始行的横坐标偏移量，第3行的各个元素代表邻域中各列结束行的横坐标偏移量；
6)区域积分计算：建立一个大小与纵向积分图S4相同的空白图像作为区域积分图S5，在纵向积分图S4上遍历各个像素点，遍历每个像素点按照以下方式处理：遍历时，当前像素点坐标记为(x,y)，并设定一个累加器C，将累加器C的初始值设为0；在二维矩阵R遍历每一列，遍历二维矩阵R时，当前第j列的第1行至第3行元素为R1j、R2j、R3j，用纵向积分图S4上坐标为(x+R3j，y+R1j)像素点的像素值减上坐标为x+R3j-1，y+R1j)像素点的像素值获得差值，将差值累加入累加器C中，对二维矩阵R遍历完成后，将累加器C中的值作为得到当前像素点的区域积分值M，并将区域积分值M赋值于区域积分图S5中与当前像素点坐标位置相同的像素点；对纵向积分图S4各个像素点进行遍历完成后得到区域积分图S5；
7)作物行检测：在区域积分图S5遍历每一行，计算每一行中所有像素点的区域积分值M的平均值，将区域积分值M大于平均值的像素点设置为1，其余像素点设置为0，得到作物行图像S6；
8)进行初始中间垄、左边垄和右边垄检测；
8.1)将作物行图像S6划分成N个与作物行图像S6等宽、高度均为作物行图像S6高度1/N的作物行子图S7；
8.2)取其中第i个作物行子图S7，计算第i个作物行子图S7的纵向投影向量S8；
8.3)初始中间垄左边界检测：建立一个初始中间垄启始检测模板ML0，初始中间垄启始检测模板ML0为一个长度为原始图像S1宽度的1/6、前半部分为1且后半部分为-1的向量，用初始中间垄启始检测模板ML0对纵向投影向量S8进行卷积，取卷积值最大的点所在位置的列号为第i个作物行子图S7的初始中间垄左边界p0L0i；
8.4)初始中间垄右边界检测：建立一个初始中间垄终止检测模板MR0，初始中间垄终止检测模板MR0为一个长度为原始图像S1宽度的1/6、前半部分为-1且后半部分为1的向量，用初始中间垄终止检测模板MR0对纵向投影向量S8进行卷积，取卷积值最大的点所在位置的列号为第i个作物行子图S7的初始中间垄右边界p0R0i；
8.5)采用以下公式计算第i个作物行子图S7的初始中间垄中心p0M0i：p0M0i＝(p0L0i+p0R0i)/2；
8.6)初始左行左边界检测：建立一个初始左行启始检测模板MR1，初始左行启始检测模板MR1为一个长度为初始中间垄终止检测模板MR0长度的1/2、前半部分为-1且后半部分为1的向量，用初始左行启始检测模板MR1对纵向投影向量S8在初始中间垄左边界p0L0i左侧的数据进行卷积，取卷积值最大的点所在位置的列号为该第i个作物行子图S7的初始左行左边界CL0i；
8.7)初始右行右边界检测：建立一个初始右行终止检测模板ML1，初始右行终止检测模板ML1为一个长度为初始中间垄启始检测模板ML0长度的1/2、前半部分为1且后半部分为-1的向量，用初始右行终止检测模板ML1对纵向投影向量S8在初始中间垄右边界p0R0i右侧的数据进行卷积，取卷积值最大的点所在位置的列号为该第i个作物行子图S7的初始右行右边界CR0i；
8.8)左边垄中心点估算：采用以下公式计算第i个作物行子图S7的初始左行水平中心列CLM0i：CLM0i＝(CL0i+p0L0i)/2；再采用以下公式计算第i个作物行子图S7的左边垄中心点所在列pLM0i：pLM0i＝2*CLM0i–p0M0i；
8.9)右边垄中心点估算：采用以下公式计算第i个作物行子图S7的初始右行水平中心列CRM0i：CRM0i＝(CR0i+p0R0i)/2；再采用以下公式计算第i个作物行子图S7的右边垄中心点所在列pRM0i：pRM0i＝2*CRM0i–p0M0i；
8.10)作物行子图S7纵坐标计算：将作物行子图S7中心点位置在作物行图像S6上的纵坐标作为作物行子图S7的纵坐标S7yi；
8.11)初始中间垄、左边垄和右边垄中心线确定；
重复上述步骤8.2)～8.11)，对作物行图像S6的N个作物行子图S7进行依次遍历，每个作物行子图S7得到一个初始中间垄中心p0M0i、一个初始左行水平中心列CLM0i、一个初始右行水平中心列CRM0i和一个作物行子图S7的纵坐标S7yi，从而所有N个作物行子图S7的结果组成得到一组初始中间垄中心集合p0M0、初始左行水平中心列集合CLM0、初始右行水平中心列集合CRM0和作物行子图S7的纵坐标集合S7y；
以作物行子图S7的纵坐标S7yi为自变量，分别以初始中间垄中心p0M0i、初始左行水平中心列CLM0i、初始右行水平中心列CRM0i为因变量，分别建立初始中间垄中心p0M0i、初始左行水平中心列CLM0i、初始右行水平中心列CRM0i分别和作物行子图S7的纵坐标S7yi之间的一元回归模型pM、pL和pR。一元回归模型pM、pL和pR实际为一条拟合直线。
9)左边作物行和右边作物行检测：
9.1)建立一个空白的右边作物行点集SCR和一个空白的左边作物行点集SCL；
9.2)在作物行图像S6上取第k行作为行图像S9，将行图像S9的纵坐标作为自变量代入一元回归模型pM、pL和pR，得到当前行图像S9上的作物中间垄中心列p0M1k、作物左边垄水平中心列CLM1k和作物左边垄水平中心列CRM1k；
9.3)建立一个空白的左边作物行点集SCL，在当前行图像S9上，将作物中间垄中心列p0M1k、作物左边垄水平中心列CLM1k之间像素值为1的像素点对应于作物行图像S6的坐标加入到左边作物行点集SCL中；
9.4)建立一个空白的右边作物行点集SCR，在当前行图像S9上，将作物中间垄中心列p0M1k、作物左边垄水平中心列CRM1k之间像素值为1的像素点对应于作物行图像S6的坐标加入到右边作物行点集SCR中；
9.5)重复上述步骤9.2)～9.4)，对作物行图像S6的每一行进行遍历，得到完整的左边作物行点集SCL和右边作物行点集SCR；
9.6)以左边作物行点集SCL中像素点的纵坐标为自变量，以横坐标作为因变量，对左边作物行点集SCL建立一元回归模型，得到左边作物行中心线模型CL；
9.7)以右边作物行点集SCR中像素点的纵坐标为自变量，以横坐标作为因变量，对右边作物行点集SCR建立一元回归模型，得到右边作物行中心线模型CR。
左边作物行中心线模型CL和右边作物行中心线模型CR实际为一条拟合直线。
10)中间垄检测；
10.1)建立一个空白的中间垄点集Spath；
10.2)在作物行图像S6上取第q行作为行图像S10，将行图像S10的纵坐标作为自变量代入左边作物行中心线模型CL和右边作物行中心线模型CR，得到当前行图像S10上的左行中心点CL1q和右行中心点CR1q；
10.3)在当前行图像S10上，将左行中心点CL1q和右行中心点CR1q之间像素值为0的像素点对应于作物行图像S6的坐标加入到中间垄点集SPath中；
10.4)重复上述步骤10.2)～10.3)，对作物行图像S6的各个行图像S10进行遍历，得到完整的中间垄点集Spath；
10.5)以中间垄点集SPath中像素点的纵坐标为自变量，以横坐标作为应变量，对中间垄点集SPath建立一元回归模型，得到中间垄中心线模型pPath，中间垄中心线模型pPath实际所在的直线即为田间作业机具的导航线。
本发明的有益效果：
本发明利用作物区域积分的差异性获得初始作物行，通过建立回归模型初始垄为确定左、右作物行，再利用左、右作物行建立中间垄中心线模型，克服了以往方法无法应用于封垄作物导航信息提取的缺陷，实现了封闭作物行间的导航信息获取，提高了田间作业机械的适应性。
附图说明
图1是实施例的原始图像S1示意图；
图2是实施例的HSI图像S2示意图；
图3是实施例的二值图像S3示意图；
图4是实施例的纵向积分图S4示意图；
图5是实施例的邻域示意图；
图6是实施例的作物行图像S6示意图；
图7是实施例的初始中间垄启始检测模板ML示意图；
图8是实施例的初始中间垄终止检测模板MR示意图；
图9是实施例的左边垄中心线、初始中间垄中心线和右边垄中心线示意图；
图10是实施例的左边作物行中心线、中间垄中心线和右边作物行中心线示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
本发明包括如下步骤：
1)作物图像获取：采用摄像机获取田间作物图像，记为原始图像S1，如图1所示；
摄像机的光轴沿田间垄的方向拍摄。
2)图像颜色空间变换：将原始图像S1转换到HSI颜色空间，得到HSI图像S2，如图2所示；
3)图像二值化：将HSI图像S2中的色调分量值H在0.2与0.583之间的像素点的像素值设置为1，其余像素点的像素值设置为0，得到二值图像S3，如图3所示；
4)纵向积分：
将二值图像S3复制为纵向积分图S4，在纵向积分图S4上对每一列进行遍历，每列中从第2行的像素点开始向下遍历每个像素点，遍历时将与其上一行像素点的像素值相加，并将结果覆盖当前像素点的像素值，从而得到纵向积分图S4，如图4所示；
5)邻域设定：
设置当前像素点的邻域，邻域为原始图像S1的图像宽度的1/48，如图5所示，采用一个3行的二维矩阵R表示邻域，二维矩阵R中的一列代表了邻域中一列，二维矩阵R中第1行的各个元素代表邻域中各列相对于当前像素点的列偏移量，第2行的各个元素代表邻域中各列起始行的横坐标偏移量，第3行的各个元素代表邻域中各列结束行的横坐标偏移量；
6)区域积分计算：
建立一个大小与纵向积分图S4相同的空白图像作为区域积分图S5，在纵向积分图S4上遍历各个像素点，遍历每个像素点按照以下方式处理：遍历时，当前像素点坐标记为(x,y)，并设定一个累加器C，将累加器C的初始值设为0；在二维矩阵R遍历每一列，遍历二维矩阵R时，当前第j列的第1行至第3行元素为R1j、R2j、R3j，用纵向积分图S4上坐标为(x+R3j，y+R1j)像素点的像素值减上坐标为x+R3j-1，y+R1j)像素点的像素值获得差值，将差值累加入累加器C中，对二维矩阵R遍历完成后，将累加器C中的值作为得到当前像素点的区域积分值M，并将区域积分值M赋值于区域积分图S5中与当前像素点坐标位置相同的像素点；
对纵向积分图S4各个像素点进行遍历完成后得到区域积分图S5，如图5所示；
7)作物行检测：在区域积分图S5遍历每一行，计算每一行中所有像素点的区域积分值M的平均值，将区域积分值M大于平均值的像素点设置为1，其余像素点设置为0，得到作物行图像S6，如图6所示；
8)进行初始中间垄、左边垄和右边垄检测；
8)具体为：
8.1)将作物行图像S6划分成N个与作物行图像S6等宽、高度均为作物行图像S6高度1/N的作物行子图S7；
8.2)取其中第i个作物行子图S7，计算第i个作物行子图S7的纵向投影向量S8；
8.3)初始中间垄左边界检测：建立一个初始中间垄启始检测模板ML0，初始中间垄启始检测模板ML0为一个长度为原始图像S1宽度的1/6、前半部分为1且后半部分为-1的向量，如图7所示，用初始中间垄启始检测模板ML0对纵向投影向量S8进行卷积，取卷积值最大的点所在位置的列号为第i个作物行子图S7的初始中间垄左边界p0L0i；
8.4)初始中间垄右边界检测：建立一个初始中间垄终止检测模板MR0，初始中间垄终止检测模板MR0为一个长度为原始图像S1宽度的1/6、前半部分为-1且后半部分为1的向量，如图8所示，用初始中间垄终止检测模板MR0对纵向投影向量S8进行卷积，取卷积值最大的点所在位置的列号为第i个作物行子图S7的初始中间垄右边界p0R0i；
8.5)采用以下公式计算第i个作物行子图S7的初始中间垄中心p0M0i：p0M0i＝(p0L0i+p0R0i)/2；
8.6)初始左行左边界检测：建立一个初始左行启始检测模板MR1，初始左行启始检测模板MR1为一个长度为初始中间垄终止检测模板MR0长度的1/2、前半部分为-1且后半部分为1的向量，用初始左行启始检测模板MR1对纵向投影向量S8在初始中间垄左边界p0L0i左侧的数据进行卷积，取卷积值最大的点所在位置的列号为该第i个作物行子图S7的初始左行左边界CL0i；
8.7)初始右行右边界检测：建立一个初始右行终止检测模板ML1，初始右行终止检测模板ML1为一个长度为初始中间垄启始检测模板ML0长度的1/2、前半部分为1且后半部分为-1的向量，用初始右行终止检测模板ML1对纵向投影向量S8在初始中间垄右边界p0R0i右侧的数据进行卷积，取卷积值最大的点所在位置的列号为该第i个作物行子图S7的初始右行右边界CR0i；
8.8)左边垄中心点估算：采用以下公式计算第i个作物行子图S7的初始左行水平中心列CLM0i：CLM0i＝(CL0i+p0L0i)/2；再采用以下公式计算第i个作物行子图S7的左边垄中心点所在列pLM0i：pLM0i＝2*CLM0i–p0M0i；
8.9)右边垄中心点估算：采用以下公式计算第i个作物行子图S7的初始右行水平中心列CRM0i：CRM0i＝(CR0i+p0R0i)/2；再采用以下公式计算第i个作物行子图S7的右边垄中心点所在列pRM0i：pRM0i＝2*CRM0i–p0M0i；
8.10)作物行子图S7纵坐标计算：将作物行子图S7中心点位置在作物行图像S6上的纵坐标作为作物行子图S7的纵坐标S7yi；
8.11)初始中间垄、左边垄和右边垄中心线确定；
重复上述步骤8.2)～8.11)，对作物行图像S6的N个作物行子图S7进行依次遍历，每个作物行子图S7得到一个初始中间垄中心p0M0i、一个初始左行水平中心列CLM0i、一个初始右行水平中心列CRM0i和一个作物行子图S7的纵坐标S7yi，从而所有N个作物行子图S7的结果组成得到一组初始中间垄中心集合p0M0、初始左行水平中心列集合CLM0、初始右行水平中心列集合CRM0和作物行子图S7的纵坐标集合S7y；
如图9所示，以作物行子图S7的纵坐标S7yi为自变量，分别以初始中间垄中心p0M0i、初始左行水平中心列CLM0i、初始右行水平中心列CRM0i为因变量，分别建立初始中间垄中心p0M0i、初始左行水平中心列CLM0i、初始右行水平中心列CRM0i分别和作物行子图S7的纵坐标S7yi之间的一元回归模型pM、pL和pR。一元回归模型pM、pL和pR实际为一条拟合直线。
如图9所示，图中从右至右的3条直线分别pM、pL和pR。
9)左边作物行和右边作物行检测：
具体为：
9.1)建立一个空白的右边作物行点集SCR和一个空白的左边作物行点集SCL；
9.2)在作物行图像S6上取第k行作为行图像S9，将行图像S9的纵坐标作为自变量代入一元回归模型pM、pL和pR，得到当前行图像S9上的作物中间垄中心列p0M1k、作物左边垄水平中心列CLM1k和作物左边垄水平中心列CRM1k；
9.3)建立一个空白的左边作物行点集SCL，在当前行图像S9上，将作物中间垄中心列p0M1k、作物左边垄水平中心列CLM1k之间像素值为1的像素点对应于作物行图像S6的坐标加入到左边作物行点集SCL中；
9.4)建立一个空白的右边作物行点集SCR，在当前行图像S9上，将作物中间垄中心列p0M1k、作物左边垄水平中心列CRM1k之间像素值为1的像素点对应于作物行图像S6的坐标加入到右边作物行点集SCR中；
9.5)重复上述步骤9.2)～9.4)，对作物行图像S6的每一行进行遍历，得到完整的左边作物行点集SCL和右边作物行点集SCR；
9.6)以左边作物行点集SCL中像素点的纵坐标为自变量，以横坐标作为因变量，对左边作物行点集SCL建立一元回归模型，得到左边作物行中心线模型CL；
9.7)以右边作物行点集SCR中像素点的纵坐标为自变量，以横坐标作为因变量，对右边作物行点集SCR建立一元回归模型，得到右边作物行中心线模型CR。
左边作物行中心线模型CL和右边作物行中心线模型CR实际为一条拟合直线。
10)中间垄检测；
具体为：
10.1)建立一个空白的中间垄点集Spath；
10.2)在作物行图像S6上取第q行作为行图像S10，将行图像S10的纵坐标作为自变量代入左边作物行中心线模型CL和右边作物行中心线模型CR，得到当前行图像S10上的左行中心点CL1q和右行中心点CR1q；
10.3)在当前行图像S10上，将左行中心点CL1q和右行中心点CR1q之间像素值为0的像素点对应于作物行图像S6的坐标加入到中间垄点集SPath中；
10.4)重复上述步骤10.2)～10.3)，对作物行图像S6的各个行图像S10进行遍历，得到完整的中间垄点集Spath；
10.5)以中间垄点集SPath中像素点的纵坐标为自变量，以横坐标作为应变量，对中间垄点集SPath建立一元回归模型，得到中间垄中心线模型pPath，中间垄中心线模型pPath实际所在的直线即为田间作业机具的导航线。如图10所示，图中从右至右的3条直线分别是左边作物行中心线模型CL、中间垄中心线模型pPath和右边作物行中心线模型CR。

Claims (6)

1.一种作物封垄后田间导航线的检测方法，其特征在于：方法包括如下步骤：
1)作物图像获取：采用摄像机获取田间作物图像，记为原始图像S1；
2)图像颜色空间变换：将原始图像S1转换到HSI颜色空间，得到HSI图像S2；
3)图像二值化，得到二值图像S3：
4)将二值图像S3处理纵向积分，得到纵向积分图S4：
5)进行邻域设定：
设置当前像素点的邻域，邻域为原始图像S1的图像宽度的1/48，采用一个3行的二维矩阵R表示邻域，二维矩阵R中的一列代表了邻域中一列，二维矩阵R中第1行的各个元素代表邻域中各列相对于当前像素点的列偏移量，第2行的各个元素代表邻域中各列起始行的横坐标偏移量，第3行的各个元素代表邻域中各列结束行的横坐标偏移量；
6)区域积分计算：
建立一个大小与纵向积分图S4相同的空白图像作为区域积分图S5，在纵向积分图S4上遍历各个像素点，遍历每个像素点按照以下方式处理：遍历时，当前像素点坐标记为(x,y)，并设定一个累加器C，将累加器C的初始值设为0；在二维矩阵R遍历每一列，遍历二维矩阵R时，当前第j列的第1行至第3行元素为R1j、R2j、R3j，用纵向积分图S4上坐标为(x+R3j，y+R1j)像素点的像素值减上坐标为(x+R3j-1，y+R1j)像素点的像素值获得差值，将差值累加入累加器C中，对二维矩阵R遍历完成后，将累加器C中的值作为得到当前像素点的区域积分值M，并将区域积分值M赋值于区域积分图S5中与当前像素点坐标位置相同的像素点；对纵向积分图S4各个像素点进行遍历完成后得到区域积分图S5；
7)作物行检测：在区域积分图S5遍历每一行，计算每一行中所有像素点的区域积分值M的平均值，将区域积分值M大于平均值的像素点设置为1，其余像素点设置为0，得到作物行图像S6；
8)进行初始中间垄、左边垄和右边垄检测；
9)左边作物行和右边作物行检测：
10)中间垄检测。
2.根据权利要求1所述的一种作物封垄后田间导航线的检测方法，其特征在于：所述3)具体为：将HSI图像S2中的色调分量值H在0.2与0.583之间的像素点的像素值设置为1，其余像素点的像素值设置为0，得到二值图像S3。
3.根据权利要求1所述的一种作物封垄后田间导航线的检测方法，其特征在于：所述4)具体为：将二值图像S3复制为纵向积分图S4，在纵向积分图S4上对每一列进行遍历，每列中从第2行的像素点开始向下遍历每个像素点，遍历时将与其上一行像素点的像素值相加，并将结果覆盖当前像素点的像素值，从而得到纵向积分图S4。
4.根据权利要求1所述的一种作物封垄后田间导航线的检测方法，其特征在于：所述8)具体为：
8.1)将作物行图像S6划分成N个与作物行图像S6等宽、高度均为作物行图像S6高度1/N的作物行子图S7；
8.2)取其中第i个作物行子图S7，计算第i个作物行子图S7的纵向投影向量S8；
8.3)初始中间垄左边界检测：建立一个初始中间垄启始检测模板ML0，初始中间垄启始检测模板ML0为一个长度为原始图像S1宽度的1/6、前半部分为1且后半部分为-1的向量，用初始中间垄启始检测模板ML0对纵向投影向量S8进行卷积，取卷积值最大的点所在位置的列号为第i个作物行子图S7的初始中间垄左边界p0L0i；
8.4)初始中间垄右边界检测：建立一个初始中间垄终止检测模板MR0，初始中间垄终止检测模板MR0为一个长度为原始图像S1宽度的1/6、前半部分为-1且后半部分为1的向量，用初始中间垄终止检测模板MR0对纵向投影向量S8进行卷积，取卷积值最大的点所在位置的列号为第i个作物行子图S7的初始中间垄右边界p0R0i；
8.5)采用以下公式计算第i个作物行子图S7的初始中间垄中心p0M0i：p0M0i＝(p0L0i+p0R0i)/2；
8.6)初始左行左边界检测：建立一个初始左行启始检测模板MR1，初始左行启始检测模板MR1为一个长度为初始中间垄终止检测模板MR0长度的1/2、前半部分为-1且后半部分为1的向量，用初始左行启始检测模板MR1对纵向投影向量S8在初始中间垄左边界p0L0i左侧的数据进行卷积，取卷积值最大的点所在位置的列号为第i个作物行子图S7的初始左行左边界CL0i；
8.7)初始右行右边界检测：建立一个初始右行终止检测模板ML1，初始右行终止检测模板ML1为一个长度为初始中间垄启始检测模板ML0长度的1/2、前半部分为1且后半部分为-1的向量，用初始右行终止检测模板ML1对纵向投影向量S8在初始中间垄右边界p0R0i右侧的数据进行卷积，取卷积值最大的点所在位置的列号为第i个作物行子图S7的初始右行右边界CR0i；
8.8)左边垄中心点估算：采用以下公式计算第i个作物行子图S7的初始左行水平中心列CLM0i：CLM0i＝(CL0i+p0L0i)/2；再采用以下公式计算第i个作物行子图S7的左边垄中心点所在列pLM0i：pLM0i＝2×CLM0i–p0M0i；
8.9)右边垄中心点估算：采用以下公式计算第i个作物行子图S7的初始右行水平中心列CRM0i：CRM0i＝(CR0i+p0R0i)/2；再采用以下公式计算第i个作物行子图S7的右边垄中心点所在列pRM0i：pRM0i＝2×CRM0i–p0M0i；
8.10)作物行子图S7纵坐标计算：将作物行子图S7中心点位置在作物行图像S6上的纵坐标作为作物行子图S7的纵坐标S7yi；
8.11)初始中间垄、左边垄和右边垄中心线确定；
重复上述步骤8.2)～8.11)，对作物行图像S6的N个作物行子图S7进行依次遍历，每个作物行子图S7得到一个初始中间垄中心p0M0i、一个初始左行水平中心列CLM0i、一个初始右行水平中心列CRM0i和一个作物行子图S7的纵坐标S7yi，从而所有N个作物行子图S7的结果组成得到一组初始中间垄中心集合p0M0、初始左行水平中心列集合CLM0、初始右行水平中心列集合CRM0和作物行子图S7的纵坐标集合S7y；
以作物行子图S7的纵坐标S7yi为自变量，分别以初始中间垄中心p0M0i、初始左行水平中心列CLM0i、初始右行水平中心列CRM0i为因变量，分别建立初始中间垄中心p0M0i、初始左行水平中心列CLM0i、初始右行水平中心列CRM0i分别和作物行子图S7的纵坐标S7yi之间的一元回归模型pM、pL和pR。
5.根据权利要求1所述的一种作物封垄后田间导航线的检测方法，其特征在于：所述9)具体为：
9.1)建立一个空白的右边作物行点集SCR和一个空白的左边作物行点集SCL；
9.2)在作物行图像S6上取第k行作为行图像S9，将行图像S9的纵坐标作为自变量代入一元回归模型pM、pL和pR，得到当前行图像S9上的作物中间垄中心列p0M1k、作物左边垄水平中心列CLM1k和作物右边垄水平中心列CRM1k；
9.3)在当前行图像S9上，将作物中间垄中心列p0M1k、作物左边垄水平中心列CLM1k之间像素值为1的像素点对应于作物行图像S6的坐标加入到左边作物行点集SCL中；
9.4)在当前行图像S9上，将作物中间垄中心列p0M1k、作物右边垄水平中心列CRM1k之间像素值为1的像素点对应于作物行图像S6的坐标加入到右边作物行点集SCR中；
9.5)重复上述步骤9.2)～9.4)，对作物行图像S6的每一行进行遍历，得到完整的左边作物行点集SCL和右边作物行点集SCR；
9.6)以左边作物行点集SCL中像素点的纵坐标为自变量，以横坐标作为因变量，对左边作物行点集SCL建立一元回归模型，得到左边作物行中心线模型CL；
9.7)以右边作物行点集SCR中像素点的纵坐标为自变量，以横坐标作为因变量，对右边作物行点集SCR建立一元回归模型，得到右边作物行中心线模型CR。
6.根据权利要求1所述的一种作物封垄后田间导航线的检测方法，其特征在于：所述10)具体为：
10.1)建立一个空白的中间垄点集Spath；
10.2)在作物行图像S6上取第q行作为行图像S10，将行图像S10的纵坐标作为自变量代入左边作物行中心线模型CL和右边作物行中心线模型CR，得到当前行图像S10上的左行中心点CL1q和右行中心点CR1q；
10.3)在当前行图像S10上，将左行中心点CL1q和右行中心点CR1q之间像素值为0的像素点对应于作物行图像S6的坐标加入到中间垄点集SPath中；
10.4)重复上述步骤10.2)～10.3)，对作物行图像S6的各个行图像S10进行遍历，得到完整的中间垄点集Spath；
10.5)以中间垄点集SPath中像素点的纵坐标为自变量，以横坐标作为应变量，对中间垄点集SPath建立一元回归模型，得到中间垄中心线模型pPath，中间垄中心线模型pPath实际所在的直线即为田间作业机具的导航线。
CN202010922400.3A 2020-09-04 2020-09-04 一种作物封垄后田间导航线的检测方法 Active CN112146646B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010922400.3A CN112146646B (zh) 2020-09-04 2020-09-04 一种作物封垄后田间导航线的检测方法
PCT/CN2020/115253 WO2022047830A1 (zh) 2020-09-04 2020-09-15 一种作物封垄后田间导航线的检测方法
US17/780,029 US11676376B2 (en) 2020-09-04 2020-09-15 Method for detecting field navigation line after ridge sealing of crops

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010922400.3A CN112146646B (zh) 2020-09-04 2020-09-04 一种作物封垄后田间导航线的检测方法

Publications (2)

Publication Number Publication Date
CN112146646A true CN112146646A (zh) 2020-12-29
CN112146646B CN112146646B (zh) 2022-07-15

Family

ID=73890773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010922400.3A Active CN112146646B (zh) 2020-09-04 2020-09-04 一种作物封垄后田间导航线的检测方法

Country Status (3)

Country Link
US (1) US11676376B2 (zh)
CN (1) CN112146646B (zh)
WO (1) WO2022047830A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113376614A (zh) * 2021-06-10 2021-09-10 浙江大学 一种基于激光雷达点云的田间苗带导航线检测方法
CN113450402A (zh) * 2021-07-16 2021-09-28 天津理工大学 用于蔬菜大棚巡检机器人的导航中心线提取方法
CN113963255A (zh) * 2021-09-08 2022-01-21 江苏大学 一种基于田垄颜色特征的垄上作业机械导航线识别方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630650B (zh) * 2023-07-20 2023-09-29 武汉理工大学 一种田垄宽度识别方法及用于田垄的无人车装置
CN117274566B (zh) * 2023-09-25 2024-04-26 北京工业大学 一种基于深度学习和株间杂草分布状况的实时除草方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2175237A1 (en) * 2008-10-13 2010-04-14 Honeywell International System and methods for image-based navigation using line features matching
CN103488991A (zh) * 2013-09-30 2014-01-01 中国农业大学 一种用于作物田除草机具的导航线提取方法
CN103914836A (zh) * 2014-03-24 2014-07-09 郑州轻工业学院 基于机器视觉的农田机械导航线提取算法
CN104616014A (zh) * 2014-12-15 2015-05-13 广西科技大学 基于形态学操作的田间曲线导航线提取方法
CN104866820A (zh) * 2015-04-29 2015-08-26 中国农业大学 一种基于遗传算法的农机导航线提取方法及装置
CN110243372A (zh) * 2019-06-18 2019-09-17 北京中科原动力科技有限公司 基于机器视觉的智能农机导航系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999757B (zh) * 2012-11-12 2015-08-12 中国农业大学 导航线提取方法
CN103186773B (zh) 2013-02-06 2016-05-25 内蒙古大学 一种基于一维Hough变换和专家系统的早期苗田垄线识别算法
CN104567872B (zh) 2014-12-08 2018-09-18 中国农业大学 一种农机具导航线的提取方法及系统
US10013608B2 (en) 2015-07-17 2018-07-03 Tata Consultancy Services Limited Method and system for facilitating real time detection of linear infrastructural objects by aerial imagery
US10664702B2 (en) * 2016-12-30 2020-05-26 International Business Machines Corporation Method and system for crop recognition and boundary delineation
CN108710840B (zh) 2018-05-10 2022-03-18 江苏大学 一种农田喷药机器人视觉导航路径识别方法
EP4145978A4 (en) * 2020-05-27 2024-05-29 R-Go Robotics Ltd SYSTEM AND METHOD FOR IMPROVED BOUNDARY DETECTION FOR A ROBOTIC MOWING SYSTEM
US20220350991A1 (en) * 2021-04-30 2022-11-03 Deere & Company Vision guidance system using dynamic edge detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2175237A1 (en) * 2008-10-13 2010-04-14 Honeywell International System and methods for image-based navigation using line features matching
CN103488991A (zh) * 2013-09-30 2014-01-01 中国农业大学 一种用于作物田除草机具的导航线提取方法
CN103914836A (zh) * 2014-03-24 2014-07-09 郑州轻工业学院 基于机器视觉的农田机械导航线提取算法
CN104616014A (zh) * 2014-12-15 2015-05-13 广西科技大学 基于形态学操作的田间曲线导航线提取方法
CN104866820A (zh) * 2015-04-29 2015-08-26 中国农业大学 一种基于遗传算法的农机导航线提取方法及装置
CN110243372A (zh) * 2019-06-18 2019-09-17 北京中科原动力科技有限公司 基于机器视觉的智能农机导航系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI SHAN ET AL.: "A New Automatic Real-Time Crop Row Recognition Based on SoC-FPGA", 《IEEE ACCESS》 *
杨洋等: "玉米行间导航线实时提取", 《农业工程学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113376614A (zh) * 2021-06-10 2021-09-10 浙江大学 一种基于激光雷达点云的田间苗带导航线检测方法
CN113376614B (zh) * 2021-06-10 2022-07-15 浙江大学 一种基于激光雷达点云的田间苗带导航线检测方法
CN113450402A (zh) * 2021-07-16 2021-09-28 天津理工大学 用于蔬菜大棚巡检机器人的导航中心线提取方法
CN113963255A (zh) * 2021-09-08 2022-01-21 江苏大学 一种基于田垄颜色特征的垄上作业机械导航线识别方法
CN113963255B (zh) * 2021-09-08 2024-03-19 江苏大学 一种基于田垄颜色特征的垄上作业机械导航线识别方法

Also Published As

Publication number Publication date
WO2022047830A1 (zh) 2022-03-10
CN112146646B (zh) 2022-07-15
US20230005260A1 (en) 2023-01-05
US11676376B2 (en) 2023-06-13

Similar Documents

Publication Publication Date Title
CN112146646B (zh) 一种作物封垄后田间导航线的检测方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
García-Santillán et al. Curved and straight crop row detection by accumulation of green pixels from images in maize fields
Hu et al. Automatic detection of single ripe tomato on plant combining faster R-CNN and intuitionistic fuzzy set
Vidović et al. Crop row detection by global energy minimization
Montalvo et al. Automatic detection of crop rows in maize fields with high weeds pressure
Zhang et al. Geometric constrained joint lane segmentation and lane boundary detection
Kluge Extracting road curvature and orientation from image edge points without perceptual grouping into features
Meng et al. Development of agricultural implement system based on machine vision and fuzzy control
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及系统
CN110415208B (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN111784597B (zh) 一种植保机器人自主导航路径检测方法及服务器、存储介质
Wang et al. Window zooming–based localization algorithm of fruit and vegetable for harvesting robot
CN112395984B (zh) 一种用于无人驾驶农业机械的苗列导航线检测方法
Zhang et al. An adaptive vision navigation algorithm in agricultural IoT system for smart agricultural robots
CN108647664B (zh) 一种基于环视图像的车道线检测方法
CN113450402B (zh) 用于蔬菜大棚巡检机器人的导航中心线提取方法
Zhou et al. Autonomous detection of crop rows based on adaptive multi-ROI in maize fields
CN114067206B (zh) 一种基于深度图像的球形果实识别定位方法
CN114820474A (zh) 一种基于三维信息的列车车轮缺陷检测方法
CN117409339A (zh) 一种用于空地协同的无人机作物状态视觉识别方法
CN114842337A (zh) 基于深度学习与多维信息融合聚类的果实采摘点识别方法
CN111563457A (zh) 一种无人驾驶汽车的道路场景分割方法
Li et al. Image processing for crop/weed discrimination in fields with high weed pressure
CN114782455B (zh) 一种用于农机嵌入式设备的棉花行中心线图像提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant