CN110414384A - 智能稻麦收获机导航线跟踪方法 - Google Patents

智能稻麦收获机导航线跟踪方法 Download PDF

Info

Publication number
CN110414384A
CN110414384A CN201910624723.1A CN201910624723A CN110414384A CN 110414384 A CN110414384 A CN 110414384A CN 201910624723 A CN201910624723 A CN 201910624723A CN 110414384 A CN110414384 A CN 110414384A
Authority
CN
China
Prior art keywords
rice
image
angle point
eye view
leading line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910624723.1A
Other languages
English (en)
Other versions
CN110414384B (zh
Inventor
王立辉
杨雨
秦成帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910624723.1A priority Critical patent/CN110414384B/zh
Publication of CN110414384A publication Critical patent/CN110414384A/zh
Application granted granted Critical
Publication of CN110414384B publication Critical patent/CN110414384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种智能稻麦收获机导航线跟踪方法，包括步骤：1、在稻麦收获机顶部安装相机并对相机进行标定，实时获取收获机前方原始稻麦图像序列；2、将原始稻麦图像转换为稻麦图像鸟瞰图；3、采用图像分割方法在稻麦图像鸟瞰图中分割出已收割区域和未收割区域；4、确定当前时刻图像金字塔光流跟踪起始角点集合；5、根据跟踪起始角点集合，采用光流运动估计，获取当前时刻收割边界角点集合并计算导航线参数；6、跳转转到步骤2，继续跟踪下一时刻的导航线参数。该方法解决了传统智能稻麦收获机导航线视觉提取方法所存在处理速度慢、可靠性差和精度低的问题。

Description

智能稻麦收获机导航线跟踪方法
技术领域
本发明属于农业机械自动化技术领域，具体涉及一种收获机导航线跟踪方法。
背景技术
“精准农业”是现代农业发展的方向，准确获取农作物收割导航路径线日趋重要，导航路径线在线检测逐渐成为农业机械自动化领域的一个研究热点。利用导航路径线不仅能够为稻麦收获机的自动驾驶系统进行路径规划，也可以为稻麦收获机的测产系统提供收获机的收割幅度。稻麦收获机自动导航在大大提高农业机械的作业性能和效率的同时，不仅可以把劳动者从重复单调的劳动中解放出来，也可以大幅度提高农田作业精准度和工作效率，还能保护作业人员的安全。稻麦收获机作业过程中的导航路径线实时检测对于农业机械自动化的发展具有重要意义。
近年来，基于机器视觉的农业机械作业导航路径线检测方法获得了很大的发展，但仍有很多不足之处：采用归一化2G-R-B作为特征因子分割绿色植物分量，实现背景分离，获取导航路径，但不能适用于稻麦等非绿色作物；通过改进Hough变换来检测导航路径，提高了识别算法的鲁棒性，但无法满足实时性的要求；对经过暗原色灰度变换后的图像采用形态学与最大类间方差法进行分割滤波，再利用最小二乘法对感兴趣区域的定位点进行拟合得到路径线，能够快速提取导航线，但易受噪声干扰。立体匹配双目相机获取的两整幅图像，获取作物行的3D坐标，对作物行中心线进行余弦函数模型的拟合，难以适应复杂的农田环境。采用特征提取算法对经过预处理后的双目图像进行特征提取，RANSAC算法消除误匹配点，只能在农机低速运行下进行导航路径检测。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供了一种智能稻麦收获机导航线跟踪方法，该方法解决了传统智能稻麦收获机导航线视觉提取方法所存在处理速度慢、可靠性差和精度低的问题。
技术方案：本发明采用如下技术方案：
智能稻麦收获机导航线跟踪方法，包括以下步骤：
(1)在稻麦收获机顶部安装相机并对相机进行标定获取内外参数矩阵K、R和t，相机实时获取收获机前方原始稻麦图像序列；在当前时刻n，根据相机拍摄的原始稻麦图像Picorg(n)获取稻麦图像鸟瞰图Picair(n)；
(2)稻麦图像鸟瞰图中图像坐标系的原点在图像的左上角，向右为横轴正向，向下为纵轴正向，收获机沿纵轴负向前进；调整相机视角使稻麦图像鸟瞰图能够覆盖稻麦收获机左侧分禾器，且稻麦收获机左侧分禾器位于稻麦图像鸟瞰图左下方；获取实际稻麦区域尺寸与稻麦图像鸟瞰图像素平面坐标系中稻麦区域尺寸之间的尺度因子A；获取稻麦收获机左侧分禾器在稻麦图像鸟瞰图中的像素坐标Urair(iO,jO)；
在稻麦收获机左侧分禾器处安装超声波测距仪，测量从左侧分禾器到未收割边界的距离disur2b，根据尺度因子A计算disur2b在稻麦图像鸟瞰图中的像素尺寸p；稻麦图像鸟瞰图中，将横向坐标范围为[i+p-Fu,i+p+Fu]、纵向范围为[j-Fv,j]的矩形区域作为鸟瞰目标区域Aregion；Fu和Fv为预设的目标区域尺寸阈值；
(3)采用图像分割方法在稻麦图像鸟瞰图Picair(n)中分割出已收割区域和未收割区域，得到收割边界L(n)；
(4)如果n＝0，对分割后的稻麦图像进行收割边界角点检测，用检测得到的角点构成0时刻跟踪角点集P(n)；跳转到步骤(6)；所述角点位于已收割区域和未收割区域的边界；
如果n≠0，确定n时刻图像金字塔光流跟踪起始角点集合P0(n)；
(5)根据跟踪起始角点集合P0(n)，采用光流运动估计，获取n时刻收割边界角点集合P(n)，计算n时刻导航线参数；
(6)令n＝n+1，跳转到步骤(1)，继续跟踪下一时刻的导航线参数。
所述步骤(1)中，稻麦图像鸟瞰图Picair(n)的像素坐标(i,j)与原始稻麦图像Picorg(n)的像素坐标(u,v)的变换关系为：
其中系数b33＝1，T1为图像线性变换矩阵，T2为图像透视变换矩阵，T3为图像平移矩阵，且所述矩阵T1、T2、T3通过相机标定获取的内外参数矩阵K、R和t获得。
所述步骤(3)中先对稻麦图像鸟瞰图Picair(n)进行预处理，再进行分割；所述预处理包括：反色、直方图均衡、中值滤波和图像增强。
所述步骤(3)中对稻麦图像鸟瞰图Picair(n)采用区域生长的方法分割出已收割区域和未收割区域，具体包括步骤：
(3.1)获取稻麦图像鸟瞰图Picair(n)预处理后图像G的灰度级L，并将灰度值映射到[0，L-1]范围；利用Otsu算法计算得到图像G的最佳分割阈值T：
式中T为最佳分割阈值；w0为背景比例；u0为背景均值；w1为前景比例；u1为前景均值；为整幅图像G的灰度均值；
(3.2)采用最佳分割阈值T对图像G进行二值化处理，E(i,j)为二值化图像E在(i,j)处的灰度值：
G(i,j)为图像G在(i,j)处的灰度值；
(3.3)利用3×3大小结构元素对二值图像E进行开运算处理，再进行闭运算处理得到图像R；
在鸟瞰目标区域Aregion的右半边未收割稻麦图像区域进行初始种子点选择，对图像R进行区域生长，分割出已收割区域和未收割区域。
所述步骤(4)中当n≠0时，确定n时刻图像金字塔光流跟踪起始角点包括步骤：
(4.1)当n-1时刻的跟踪角点集P(n-1)中角点数量Hn-1≥H1时，n时刻图像金字塔光流跟踪起始角点集合P0(n)＝P(n-1)；H1为预设的角点数量下限阈值；
(4.2)当n-1时刻的跟踪角点集P(n-1)中角点数量Hn-1满足H0≤Hn-1≤H1，对n时刻分割后的稻麦图像进行收割边界角点检测，检测得到的角点加入到n-1时刻的跟踪角点集P(n-1)中，如果P(n-1)中角点数量Hn-1≥H1，P0(n)＝P(n-1)；如果P(n-1)中角点数量Hn-1<H1，执行步骤(4.3)；H0为小于H1的预设阈值；
(4.3)据导航线在极坐标系中夹角θ∈[5π/12,7π/12]，改进概率Hough检测收割边界，沿收割边界L(n)纵坐标方向等间距选取N个边界点，清空P(n-1)，将选取的N个边界点存储到P(n-1)中，P0(n)＝P(n-1)；N>H1。
所述步骤(5)包括步骤：
(5.1)将跟踪起始角点集合P0(n)中的点按照横坐标的值升序排列，得到排序后的点集P0{p1,…,pk,pk+1,…,pk+m,pk+m+1,…,pk+m+k}，去除前k个和后个噪声点，其中k为预设的角点数量阈值，满足：更新点集得到P0{pk+1,…,pk+m}；
(5.2)利用金字塔光流运动估计跟踪点集P0{pk+1,…,pk+m}，得到当前时刻n的跟踪角点集合P(n)；
(5.3)去除跟踪角点集合P(n)中与点集P0(n)中坐标相同的点，并去除P(n)中横坐标值最小的前K个点，更新当前时刻n的跟踪角点集合P(n)；
(5.4)将P(n)中的点分为P1和P2两个子集，分别对P1和P2中的坐标求平均，得到两个平均坐标点和得到导航线LM坐标方程：
导航线与收获机左侧分禾器所在直线位移偏差dP为：
其中Urair(iO,jO)为收获机左侧分禾器固定端点在鸟瞰图中的像素坐标值为；
收获机导航线LM位移偏差dW为：
dW＝A·dp
收获机的角度偏差ω为：
有益效果：与现有技术相比，本发明公开的智能稻麦收获机导航线跟踪方法具有以下优点：1、避免了颜色空间单帧分割方法可靠性差且耗时长的问题；2、结合上一时刻跟踪角点集来确定当前时刻跟踪起始角点，避免了导航线跟踪易丢失的问题，能够实时可靠准确的进行智能稻麦收获机导航线的提取，为农作物产量实时监测和收获机的自导驾驶提供重要数据，对智能稻麦收获机的发展起到了积极作用。
附图说明
图1为本发明所公开方法的流程图；
图2为本发明中目标区域图像像素坐标系图；
图3为本发明中智能稻麦收获机运行状态图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施案例做说明。
如图1所示，本发明公开了一种智能稻麦收获机导航线跟踪方法，包括以下步骤：
步骤1、在稻麦收获机顶部安装相机，在收获机前方放置棋盘格并调整不同位姿，采用张氏标定法对相机进行标定以获取其内外参数矩阵K、R和t；相机实时获取收获机前方原始稻麦图像序列，在当前时刻n，根据相机拍摄的原始稻麦图像Picorg(n)获取稻麦图像鸟瞰图Picair(n)；
稻麦图像鸟瞰图Picair(n)的像素坐标(i,j)与原始稻麦图像Picorg(n)的像素坐标(u,v)的变换关系为：
其中系数b33＝1，为图像线性变换矩阵，为图像透视变换矩阵，T3＝[b31b32]为图像平移矩阵，矩阵T1、T2、T3通过相机标定获取的内外参数矩阵K、R和t获得，本发明中采用OpenCV中的warpPerspective()函数求得。
步骤2、稻麦图像鸟瞰图中图像坐标系的原点在图像的左上角，向右为横轴正向，向下为纵轴正向，收获机沿纵轴负向前进；调整相机视角使稻麦图像鸟瞰图能够覆盖稻麦收获机左侧分禾器，且稻麦收获机左侧分禾器位于稻麦图像鸟瞰图左下方；获取实际稻麦区域尺寸与稻麦图像鸟瞰图像素平面坐标系中稻麦区域尺寸之间的尺度因子A；获取稻麦收获机左侧分禾器在稻麦图像鸟瞰图中的像素坐标Urair(iO,jO)；
在稻麦收获机左侧分禾器处安装超声波测距仪，测量从左侧分禾器到未收割边界的距离disur2b，根据尺度因子A计算disur2b在稻麦图像鸟瞰图中的像素尺寸p；稻麦图像鸟瞰图中，将横向坐标范围为[i+p-Fu,i+p+Fu]、纵向范围为[j-Fv,j]的矩形区域作为鸟瞰目标区域Aregion；Fu和Fv为预设的目标区域尺寸阈值。
如图2所示，为稻麦图像鸟瞰图中目标区域的示意图，图中Ur是稻麦收获机左侧分禾器上超声波测距仪的位置点，超声波测距仪向右侧发出超声波，遇到未收割稻麦B后发射回来，从而测量从Ur到B的距离。由于稻麦的摇摆、仪器的误差等原因，测得的距离往往有偏差，图2中，点B是未收割区域与已收割区域边界的点，由于偏差的存在，测距仪测量的disur2b为从Ur到B'的距离，通过设置合理的Fu值，可以使目标区域仍然能够覆盖实际的边界，如图中虚线所围成的2Fu×Fv矩阵。通过后续基于视频处理的步骤，将未收割区域与已收割区域精确分割。
步骤3、采用图像分割方法在稻麦图像鸟瞰图Picair(n)中分割出已收割区域和未收割区域；
为提供图像分割的精确度，先对稻麦图像鸟瞰图Picair(n)进行预处理，再进行分割；所述预处理包括：反色、直方图均衡、中值滤波和图像增强。
反色处理为：遍历鸟瞰目标区域Aregion图像中每一个像素(i,j)，其RGB三通道反色后的值J(i,j)为：
其中I(i,j)表示像素(i,j)处反色前的RGB三通道值，S为预设的灰度值增量，S的设置提高了反色后的图像亮度。
中值滤波为：对于鸟瞰目标区域Aregion图像I中的任意位置点(i,j)，以点(i,j)为中心，宽高均为奇数W的邻域，对邻域中的像素点的灰度值进行排序，然后取中值当作处理后图像的位置点(i,j)处的灰度值，其中W的取值尽量接近Fv的五分之一。
本发明中图像增强采用Gamma变换，具体为：
对目标区域图像Aregion进行Gamma变换：
其中，Vin，Vout分别为稻麦图像Gamma变换前和Gamma变换后的像素点灰度值，本实施例中常数B取值为1，γ依据稻麦图像实际特点取确定值为2。
经过上述预处理，稻麦图像鸟瞰图Picair(n)转换为图像G，采用区域生长的方法分割出已收割区域和未收割区域，具体包括步骤：
(3.1)获取稻麦图像鸟瞰图Picair(n)预处理后图像G的灰度级L，并将灰度值映射到[0，L-1]范围；利用Otsu算法计算得到图像G的最佳分割阈值T：
式中T为最佳分割阈值；w0为背景比例；u0为背景均值；w1为前景比例；u1为前景均值；为整幅图像G的灰度均值；
(3.2)采用最佳分割阈值T对图像G进行二值化处理，E(i,j)为二值化图像E在(i,j)处的灰度值：
G(i,j)为图像G在(i,j)处的灰度值；
(3.3)利用3×3大小结构元素对二值图像E进行开运算处理，再进行闭运算处理得到图像R；
在鸟瞰目标区域Aregion的右半边未收割稻麦图像进行初始种子点选择，对图像R进行区域生长，分割出已收割区域和未收割区域；
步骤4、如果n＝0，对分割后的稻麦图像进行收割边界角点检测，用检测得到的角点构成0时刻跟踪角点集P(n)；跳转到步骤6；所述角点位于已收割区域和未收割区域的边界；本发明中，采用Shi-Tomasi角点检测法在初始0时刻进行收割边界角点检测，来构成P(0)
如果n≠0，确定n时刻图像金字塔光流跟踪起始角点集合P0(n)，包括步骤：
(4.1)当n-1时刻的跟踪角点集P(n-1)中角点数量Hn-1≥H1时，n时刻图像金字塔光流跟踪起始角点集合P0(n)＝P(n-1)；H1为预设的角点数量下限阈值；
(4.2)当n-1时刻的跟踪角点集P(n-1)中角点数量Hn-1满足H0≤Hn-1≤H1，对n时刻分割后的稻麦图像进行收割边界角点检测，检测得到的角点加入到n-1时刻的跟踪角点集P(n-1)中，如果P(n-1)中角点数量Hn-1≥H1，P0(n)＝P(n-1)；如果P(n-1)中角点数量Hn-1<H1，执行步骤(4.3)；H0为小于H1的预设阈值；本步骤中，同样采用Shi-Tomasi角点检测法对n时刻分割后的稻麦图像进行收割边界角点检测。
(4.3)限定导航线与分割后的稻麦图像横坐标轴的夹角θ的范围为θ∈[5π/12,7π/12]，采用概率Hough直线检测算法检测分割后的稻麦图像的收割边界L(n)，沿收割边界L(n)纵坐标方向等间距选取N个边界点，清空P(n-1)，将选取的N个边界点存储到P(n-1)中，P0(n)＝P(n-1)；N>H1。
步骤5、根据跟踪起始角点集合P0(n)，采用光流运动估计，获取n时刻收割边界角点集合P(n)，计算n时刻导航线参数；包括步骤：
(5.1)将跟踪起始角点集合P0(n)中的点按照横坐标的值升序排列，得到排序后的点集P0{p1,…,pk,pk+1,…,pk+m,pk+m+1,…,pk+m+k}，去除前k个和后k个噪声点，其中k为预设的角点数量阈值，满足：更新点集得到P0{pk+1,…,pk+m}；
(5.2)利用金字塔光流运动估计跟踪点集P0{pk+1,…,pk+m}，得到当前时刻n的跟踪角点集合P(n)；本发明中，设置金字塔光流运动估计跟踪算法的搜索窗口大小为21×21，金字塔层数为4。
(5.3)去除跟踪角点集合P(n)中与点集P0(n)中坐标相同的点，并去除P(n)中横坐标值最小的前k个点，更新当前时刻n的跟踪角点集合P(n)；
(5.4)将P(n)中的点按照纵坐标值升序排列，将纵坐标小的前个点组成子集P1，剩余的点组成子集P2，分别对P1和P2中的坐标求平均，得到两个平均坐标点和得到导航线LM坐标方程：
导航线LM与收获机左侧分禾器所在直线LS位移偏差dP为：
其中Urair(iO,jO)为收获机左侧分禾器固定端点在鸟瞰图中的像素坐标值为；
根据步骤1中获取的实际稻麦区域尺寸与原始稻麦图像像素平面坐标系中稻麦区域尺寸之间的尺度因子A，得到收获机导航线LM实际位移偏差dW为：
dW＝A·dp
图3中，智能收获机左侧分禾器所在直线LS与收割导航线LM的夹角ω为收获机的角度偏差：
步骤6、令n＝n+1，跳转到步骤(1)，继续跟踪下一时刻的导航线参数。
在实际使用中，相机实时采集收获机前方原始稻麦视频，即原始稻麦图像序列。根据视频的帧率计算出相邻帧之间的时间差。根据导航线跟踪的精确度要求，可以选择对连续帧进行处理；也可以对视频帧进行采样来选取原始稻麦图像，以减少运算量。

Claims (6)

1.智能稻麦收获机导航线跟踪方法，其特征在于，包括以下步骤：
(1)在稻麦收获机顶部安装相机并对相机进行标定获取内外参数矩阵K、R和t，相机实时获取收获机前方原始稻麦图像序列；在当前时刻n，根据相机拍摄的原始稻麦图像Picorg(n)获取稻麦图像鸟瞰图Picair(n)；
(2)稻麦图像鸟瞰图中图像坐标系的原点在图像的左上角，向右为横轴正向，向下为纵轴正向，收获机沿纵轴负向前进；调整相机视角使稻麦图像鸟瞰图能够覆盖稻麦收获机左侧分禾器，且稻麦收获机左侧分禾器位于稻麦图像鸟瞰图左下方；获取实际稻麦区域尺寸与稻麦图像鸟瞰图像素平面坐标系中稻麦区域尺寸之间的尺度因子A；获取稻麦收获机左侧分禾器在稻麦图像鸟瞰图中的像素坐标Urair(iO,jO)；
在稻麦收获机左侧分禾器处安装超声波测距仪，测量从左侧分禾器到未收割边界的距离disur2b，根据尺度因子A计算disur2b在稻麦图像鸟瞰图中的像素尺寸p；稻麦图像鸟瞰图中，将横向坐标范围为[i+p-Fu,i+p+Fu]、纵向范围为[j-Fv,j]的矩形区域作为鸟瞰目标区域Aregion；Fu和Fv为预设的目标区域尺寸阈值；
(3)采用图像分割方法在稻麦图像鸟瞰图Picair(n)中分割出已收割区域和未收割区域；
(4)如果n＝0，对分割后的稻麦图像进行收割边界角点检测，用检测得到的角点构成0时刻跟踪角点集P(n)；跳转到步骤(6)；所述角点位于已收割区域和未收割区域的边界；
如果n≠0，确定n时刻图像金字塔光流跟踪起始角点集合P0(n)；
(5)根据跟踪起始角点集合P0(n)，采用光流运动估计，获取n时刻收割边界角点集合P(n)，计算n时刻导航线参数；
(6)令n＝n+1，跳转到步骤(1)，继续跟踪下一时刻的导航线参数。
2.根据权利要求1所述的智能稻麦收获机导航线跟踪方法，其特征在于，所述步骤(1)中，稻麦图像鸟瞰图Picair(n)的像素坐标(i,j)与原始稻麦图像Picorg(n)的像素坐标(u,v)的变换关系为：
其中系数b33＝1，T1为2×2的图像线性变换矩阵，T2为2×1的图像透视变换矩阵，T3为1×2的图像平移矩阵，且所述矩阵T1、T2、T3通过相机标定获取的内外参数矩阵K、R和t获得。
3.根据权利要求1所述的智能稻麦收获机导航线跟踪方法，其特征在于，所述步骤(3)中先对稻麦图像鸟瞰图Picair(n)进行预处理，再进行分割；所述预处理包括：反色、直方图均衡、中值滤波和图像增强。
4.根据权利要求3所述的智能稻麦收获机导航线跟踪方法，其特征在于，所述步骤(3)中对稻麦图像鸟瞰图Picair(n)采用区域生长的方法分割出已收割区域和未收割区域，具体包括步骤：
(3.1)获取稻麦图像鸟瞰图Picair(n)预处理后图像G的灰度级L，并将灰度值映射到[0，L-1]范围；利用Otsu算法计算得到图像G的最佳分割阈值T：
式中T为最佳分割阈值；w0为背景比例；u0为背景均值；w1为前景比例；u1为前景均值；为整幅图像G的灰度均值；
(3.2)采用最佳分割阈值T对图像G进行二值化处理，E(i,j)为二值化图像E在(i,j)处的灰度值：
G(i,j)为图像G在(i,j)处的灰度值；
(3.3)利用3×3大小结构元素对二值图像E进行开运算处理，再进行闭运算处理得到图像R；
在鸟瞰目标区域Aregion的右半边未收割稻麦图像区域进行初始种子点选择，对图像R进行区域生长，分割出已收割区域和未收割区域。
5.根据权利要求1所述的智能稻麦收获机导航线跟踪方法，其特征在于，所述步骤(4)中当n≠0时，确定n时刻图像金字塔光流跟踪起始角点包括步骤：
(4.1)当n-1时刻的跟踪角点集P(n-1)中角点数量Hn-1≥H1时，n时刻图像金字塔光流跟踪起始角点集合P0(n)＝P(n-1)；H1为预设的角点数量下限阈值；
(4.2)当n-1时刻的跟踪角点集P(n-1)中角点数量Hn-1满足H0≤Hn-1≤H1，对n时刻分割后的稻麦图像进行收割边界角点检测，检测得到的角点加入到n-1时刻的跟踪角点集P(n-1)中，如果P(n-1)中角点数量Hn-1≥H1，P0(n)＝P(n-1)；如果P(n-1)中角点数量Hn-1<H1，执行步骤(4.3)；H0为小于H1的预设阈值；
(4.3)据导航线在极坐标系中夹角θ∈[5π/12,7π/12]，改进概率Hough检测收割边界限定导航线与分割后的稻麦图像横坐标轴的夹角θ的范围为θ∈[5π/12,7π/12]，采用概率Hough直线检测算法检测分割后的稻麦图像的收割边界L(n)，沿收割边界L(n)纵坐标方向等间距选取N个边界点，清空P(n-1)，将选取的N个边界点存储到P(n-1)中，P0(n)＝P(n-1)；N>H1。
6.根据权利要求1所述的智能稻麦收获机导航线跟踪方法，其特征在于，所述步骤(5)包括步骤：
(5.1)将跟踪起始角点集合P0(n)中的点按照横坐标的值升序排列，得到排序后的点集P0{p1,…,pk,pk+1,…,pk+m,pk+m+1,…,pk+m+k}，去除前k个和后k个噪声点，其中k为预设的角点数量阈值，满足：更新点集得到P0{pk+1,…,pk+m}；
(5.2)利用金字塔光流运动估计跟踪点集P0{pk+1,…,pk+m}，得到当前时刻n的跟踪角点集合P(n)；
(5.3)去除跟踪角点集合P(n)中与点集P0(n)中坐标相同的点，并去除P(n)中横坐标值最小的前k个点，更新当前时刻n的跟踪角点集合P(n)；
(5.4)将P(n)中的点按照纵坐标值升序排列，将纵坐标小的前个点组成子集P1，剩余的点组成子集P2，分别对P1和P2中的坐标求平均，得到两个平均坐标点和如图3所示，得到导航线LM坐标方程：
；
导航线与收获机左侧分禾器所在直线位移偏差dP为：
其中Urair(iO,jO)为收获机左侧分禾器固定端点在鸟瞰图中的像素坐标值为；
收获机导航线LM位移偏差dW为：
dW＝A·dp
收获机的角度偏差ω为：
CN201910624723.1A 2019-07-11 2019-07-11 智能稻麦收获机导航线跟踪方法 Active CN110414384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910624723.1A CN110414384B (zh) 2019-07-11 2019-07-11 智能稻麦收获机导航线跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910624723.1A CN110414384B (zh) 2019-07-11 2019-07-11 智能稻麦收获机导航线跟踪方法

Publications (2)

Publication Number Publication Date
CN110414384A true CN110414384A (zh) 2019-11-05
CN110414384B CN110414384B (zh) 2021-07-27

Family

ID=68361029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910624723.1A Active CN110414384B (zh) 2019-07-11 2019-07-11 智能稻麦收获机导航线跟踪方法

Country Status (1)

Country Link
CN (1) CN110414384B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763451A (zh) * 2021-09-23 2021-12-07 重庆邮电大学 一种智能车双目视觉深度测量的递阶搜索方法
CN116228849A (zh) * 2023-05-08 2023-06-06 深圳市思傲拓科技有限公司 构建机器外部图像的导航用建图方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840579A (zh) * 2010-01-28 2010-09-22 浙江大学 一种利用视频分割与粒子滤波实现多目标跟踪方法
US20150094900A1 (en) * 2013-09-30 2015-04-02 Crown Equipment Limited Industrial vehicles with overhead light based localization
WO2016105609A1 (en) * 2014-12-22 2016-06-30 Irobot Corporation Robotic mowing of separated lawn areas
CN108710840A (zh) * 2018-05-10 2018-10-26 江苏大学 一种农田喷药机器人视觉导航路径识别方法
CN109215071A (zh) * 2018-10-08 2019-01-15 东南大学 基于视觉的智能稻麦收割机割幅测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840579A (zh) * 2010-01-28 2010-09-22 浙江大学 一种利用视频分割与粒子滤波实现多目标跟踪方法
US20150094900A1 (en) * 2013-09-30 2015-04-02 Crown Equipment Limited Industrial vehicles with overhead light based localization
WO2016105609A1 (en) * 2014-12-22 2016-06-30 Irobot Corporation Robotic mowing of separated lawn areas
CN108710840A (zh) * 2018-05-10 2018-10-26 江苏大学 一种农田喷药机器人视觉导航路径识别方法
CN109215071A (zh) * 2018-10-08 2019-01-15 东南大学 基于视觉的智能稻麦收割机割幅测量方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763451A (zh) * 2021-09-23 2021-12-07 重庆邮电大学 一种智能车双目视觉深度测量的递阶搜索方法
CN113763451B (zh) * 2021-09-23 2024-01-02 重庆邮电大学 一种智能车双目视觉深度测量的递阶搜索方法
CN116228849A (zh) * 2023-05-08 2023-06-06 深圳市思傲拓科技有限公司 构建机器外部图像的导航用建图方法
CN116228849B (zh) * 2023-05-08 2023-07-25 深圳市思傲拓科技有限公司 构建机器外部图像的导航用建图方法

Also Published As

Publication number Publication date
CN110414384B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN109215071B (zh) 基于视觉的智能稻麦收割机割幅测量方法
CN112056087B (zh) 一种小型切段式履带甘蔗收获机感应系统及控制方法
CN110414384A (zh) 智能稻麦收获机导航线跟踪方法
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
CN105761259B (zh) 一种基于显微图像的小麦叶片气孔密度测量方法
Nan et al. Crop positioning for robotic intra-row weeding based on machine vision
He et al. Visual detection of rice rows based on Bayesian decision theory and robust regression least squares method
Luo et al. Stereo-vision-based multi-crop harvesting edge detection for precise automatic steering of combine harvester
CN111798433B (zh) 基于无人机遥感的高原山区成熟火龙果实识别与计数方法
English et al. Learning crop models for vision-based guidance of agricultural robots
CN112734083A (zh) 一种基于机器视觉的水稻收割机路径规划控制系统
Van Evert et al. A mobile field robot with vision-based detection of volunteer potato plants in a corn crop
Xie et al. Multi-feature detection of in-field grain lodging for adaptive low-loss control of combine harvesters
Hu et al. Extraction method for centerlines of crop row based on improved lightweight yolov4
CN115451965B (zh) 基于双目视觉的插秧机插植系统相对航向信息检测方法
CN115280960B (zh) 一种基于田间视觉slam的联合收获机转向控制方法
CN110781865A (zh) 一种农作物生长控制系统
Kaur et al. Automatic crop furrow detection for precision agriculture
CN112907624B (zh) 一种基于多波段信息融合的目标定位、跟踪方法及系统
CN114299144A (zh) 一种基于机器视觉的水稻精准定位方法
CN113639643B (zh) 基于rgb-d深度相机的作物苗期高度检测方法
Chen et al. Measurement of the distance from grain divider to harvesting boundary based on dynamic regions of interest
CN111179303A (zh) 基于粒子滤波的谷物收获机器人视觉导航方法及其应用
Liu et al. Method for Detecting Obstacles of Riceplanter Based on Machine Vision
US20230230202A1 (en) Agricultural mapping and related systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant