CN116820085A - 一种马铃薯收获机自动导航装置及其方法 - Google Patents

Abstract

本发明公开了一种马铃薯收获机自动导航装置及其方法，包括依次连接的视觉摄像头、图像采集模块、图像处理与路径提取模块、偏移量分析判断模块、转向控制模块以及执行机构，图像采集模块采集马铃薯作物边缘线图像；图像处理与路径提取模块对马铃薯作物边缘线图像进行预处理，提取马铃薯作物边缘线作为导航路径；偏移量分析判断模块将导航路径与收获机当前的行进姿态方向进行对比，获得偏移量与设定的偏移阈值比较，判断收获机是否偏离了作业路径；转向控制模块接收偏移信息，当产生偏移时，通过执行机构控制收获机进行姿态调整。本发明能够有效地实现马铃薯收获机在田间自动作业时的路径检测及姿态调整，提高作业准确率。

Description

一种马铃薯收获机自动导航装置及其方法

技术领域

本发明涉及农业收获机械自动控制技术领域，特别是涉及一种马铃薯收获机自动导航装置及其方法。

背景技术

农业机械现代化和智能化成为实现农业现代化的一个重要推手。而农业机械自动导航作为其中一项关键技术，近年来得到了较大发展，主要包括卫星导航、机器视觉、激光和雷达等方式。卫星导航需要预先规划好路径，不能实时生成，且农田作业环境复杂，在确定导航基准线方面有一定误差。机器视觉可实时的提取出作物行的特征信息，导航定位精度高，但是受光线、杂草等影响较大。

机器视觉导航在水稻、小麦、玉米收获等方面研究较多，而马铃薯作为中国五大主食之一，也是仅次于小麦和玉米的全球第三大重要粮食作物，在马铃薯收获方面研究却较少，不利于马铃薯收获机械智能化的发展。因此，本发明提出了一种针对马铃薯收获的自动导航方法。

申请号202210798209.1；公开号CN 115280960 A；公开了一种基于田间视觉SLAM的联合收获机转向控制方法；工控机基于双目相机采集的图像，根据导航基准线将田间图像划分为已收割区域和未收割区域，前端视觉里程计对田间割茬丛和作物信息分析进行针对性的特征提取，估算出联合收获机的位姿，该专利没有采取图像预处理措施识别导航路径并去除收割作物茎叶对导航路径的干扰，容易导致导航路线出现偏差。

因此，现有技术的缺陷是，缺少一种马铃薯收获机自动导航装置及其方法；能够有效地实现马铃薯收获机在田间自动作业时的路径检测及姿态调整，提高作业准确率。

发明内容

有鉴于现有技术的至少一个缺陷，本发明的目的是提供一种马铃薯收获机自动导航装置，能够有效地实现马铃薯收获机在田间自动作业时的路径检测及姿态调整，提高作业准确率。

为了达到上述目的，本发明采用如下技术方案：一种马铃薯收获机自动导航装置，包括依次连接的视觉摄像头、图像采集模块、图像处理与路径提取模块、偏移量分析判断模块、转向控制模块以及执行机构，图像采集模块经视觉摄像头采集马铃薯作物边缘线图像；图像处理与路径提取模块对马铃薯作物边缘线图像进行预处理，提取马铃薯作物边缘线路径作为收获机的导航路径；偏移量分析判断模块将导航路径与收获机当前的行进姿态方向进行对比，获得收获机的偏移角度和偏移距离作为偏移量与设定的偏移阈值比较形成偏移信息，判断收获机是否偏离了作业路径；转向控制模块用于接收偏移信息，当产生偏移时，通过执行机构控制收获机进行姿态调整。

转向控制模块控制执行机构完成收获机行进方向和位置的调整；马铃薯作物边缘线图像即收获区与未收获区分界线图像。

图像采集模块还连接有田端检测模块，田端检测模块获取马铃薯作物边缘线图像检测收获机是否到达田端；田端检测模块与转向控制模块相连接，如果收获机到达田端，转向控制模块经执行机构控制收获机掉头。

一种马铃薯收获机自动导航装置的导航方法，包括如下步骤：

步骤A：导航装置的图像采集模块经视觉摄像头采集马铃薯作物边缘图像；

步骤B：导航装置的图像处理与路径提取模块对马铃薯作物边缘线图像进行预处理，提取马铃薯作物边缘线路径作为收获机的导航路径；

步骤C：导航装置的偏移量分析判断模块将导航路径与收获机当前的行进姿态方向进行对比，获得收获机的偏移角度和偏移距离作为偏移量与设定的偏移阈值比较形成偏移信息；

步骤D：导航装置的偏移距离和偏移角度是否超过阈值；如果否，转步骤F；如果是，转步骤E；

步骤E导航装置的转向控制模块用于接收偏移信息，当产生偏移时，通过执行机构控制收获机进行姿态调整；

步骤F：转向控制模块通过执行机构控制收获机继续前进。

还包括如下步骤：

步骤G：图像采集模块经视觉摄像头采集马铃薯作物边缘线图像；

步骤H：田端检测模块判断收获机是否到达田端；

步骤I：转向控制模块获取田端检测模块的判断信息，如果未到达田端，转步骤A：否则，转向控制模块经执行机构控制收获机掉头；转步骤A。

马铃薯作物边缘线图像预处理包括依次进行的改进超绿灰度化，Otsu二值化处理，形态学处理，中值滤波处理，感兴趣区域提取。

步骤B进一步包括：图像处理与路径提取模块针对刚开始作业的第一帧图像，进行全局处理，确定已收获区与未收获区的分界线的感兴趣区域，马铃薯作物边缘线即收获区与未收获区分界线；非第一帧图像仅针对感兴趣区域进行处理，且将前一帧检测出的导航路径作为后一帧的参考线，去除掉离参考线的距离大于距离阈值的特征点，进而排除残余马铃薯茎叶的干扰。

对于第一帧图像进行全局处理包括：

步骤B01：水平条划分；

将去噪、滤波后的二值图像沿图像纵坐标方向平均划分成n个水平条，第i个水平条纵向区间范围为

[y_si,y_ei]＝[(i-1)w_s,iw_s]

式中，y_si,y_ei为第i个水平条沿图像纵坐标方向的起始、终止像素位置，i为整数，i∈[1，n]；其中，单个水平条的宽度为w_s＝y_size/n；y_size为二值图像的图像纵坐标上下限差值；

步骤B02：特征点提取；

从上往下依次处理各个水平条，针对每个水平条，求取其垂直累计像素值分布曲线，记录该曲线上每列白色像素点数s(j)，并求出该曲线的平均像素数s_avg；若左侧已收获，则找到曲线上升方向的波峰与波谷差值最大的波谷点位置，若右侧已收获，则找到曲线下降方向的波峰波谷差值最大的波谷点的位置；

将波峰和波谷差值最大的点作为特征点s(j)，存入特征点集Q；

步骤B03：导航基准线拟合；

对提取出的特征点采用最小二乘法进行拟合，获取已收获区与未收获区的分界线作为导航基准线，并计算出该导航基准线方程y＝kx+b，同时记录导航基准线起点坐标x_e；

对于非第一帧图像仅针对感兴趣区域进行处理包括：

非第一帧图像仅在感兴趣区域内进行检测；特征点提取方法与第一帧图像相同；将前一帧的导航线作为参考线，通过参考线与特征点的位置关系，设置合理的距离阈值，对特征点进行筛选，去除掉离参考线的距离大于距离阈值的特征点；

由第一帧图像已经得出参考线方程为y＝kx+b，k为参考线方程的斜率，b为参考线方程的常数；逐点计算特征点与参考线的距离d_i及距离平均值设置距离阈值Δc，当时，第i点将被移除特征点集，从而获得最终的分界线特征点集，具体流程如下：

步骤B11：统计特征点集Q中的特征点总数m，计算特征点集中每个点到参考线的距离和平均值c；

步骤B12：设定距离阈值Δc，逐点扫描所有特征点，当时，则将该点从特征点集Q中移除，反之不作处理，直到所有点扫描结束；

步骤B13：对提取出的特征点用最小二乘法进行拟合得到导航基准线，并记录当前导航基准线起点横坐标x_s。

步骤C进一步包括：行进路线修正；

路线修正需要考虑两个要素；即作业机械的偏离距离L和偏离角度θ；计算当前导航基准线的斜率，通过斜率计算确定导航基准线与设定的机器中心线之间的偏移角度和偏移方向；

θ＝90°-arctan|k|

L＝|x_e-x_s|×cosθ

若k＞0，偏移方向向右；反之，偏移方向向左；

设定角度偏离阈值a及距离偏离阈值L_h；步骤D包括：当θ＞a或当L＞L_h时，偏移量分析判断模块发送信号给转向控制模块，转向控制模块控制相应的执行机构进行调整。

田端检测模块通过判断马铃薯作物边缘线图像的R分量的跳变来检测田端；R分量指马铃薯作物边缘线图像的土壤颜色分量；

具体检测方法如下：针对图像感兴趣区域中的已收获区域，在该区域内对R分量进行水平像素值累计，并将累计值计入数组F，求出数组F的方差D_F，若大于阈值T，表明出现跳变特征，则认为田端出现；并记录下跳变点的纵坐标值，计算此时田端离马铃薯收获机的距离，当距离小于设定值时，表示到达田端。

显著效果:本发明提供了一种马铃薯收获机自动导航装置及其方法，能够有效地实现马铃薯收获机在田间自动作业时的路径检测及姿态调整，提高作业准确率。

附图说明

图1为视觉摄像头安装示意图；

图2为图1的左视图；

图3为本发明的模块结构图；

图4为本发明的导航方法流程图；

图5为马铃薯收获机作业示意图；

图6为马铃薯收获机偏移量偏差示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图1-图6所示，本发明涉及一种机器视觉的马铃薯收获自动导航装置及方法，装置包括图像采集模块、图像处理与路径提取模块、偏移量分析判断模块、田端检测模块、转向控制模块；其中，图像采集模块与图像处理与路径提取模块连接；图像处理与路径提取模块与偏移量分析判断模块连接；偏移量分析判断模块与转向控制模块连接，转向控制模块控制执行机构完成收获机2行进方向和位置的调整。本发明能够有效地实现马铃薯收获机在田间自动作业时的路径检测及姿态调整，提高作业效率。

如图1所示，在收获机2的车体上固定设置有安装杆，在安装杆上固定设置有视觉摄像头2。视觉摄像头2与图像采集模块相连接。

1、图像采集模块：用于采集马铃薯作物边缘线图像(收获区与未收获区界线)以及田端图像。

2、图像处理与路径提取模块用于对采集到的图像进行预处理，并提取收获区与未收获区的分界线作为马铃薯收获机的导航路径。

3、偏移量分析判断模块将检测到的马铃薯收获机的导航路径信息与马铃薯收获机自身当前的行进姿态方向进行对比，获得作业机械的偏移角度和偏移距离，通过偏移量与设定的偏移阈值比较，判断作业机械是否偏离了作业路径。

4、转向控制模块用于接收偏移量分析判断模块的偏移信息，当产生偏移时，通过执行机构控制收获机2进行姿态调整。

5、田端检测模块用于检测作业机械是否到达田端。如果到达田端，则通过执行机构控制收获机2进行掉头。

6、马铃薯垄行图像预处理：改进超绿灰度化(ExG)，Otsu二值化处理，形态学处理，中值滤波处理，感兴趣区域提取。

7、导航路径检测：

本方法将马铃薯已收获区与未收获区的分界线作为导航基准，因未收获区为绿色，已收获区多数为土壤的颜色，可将分界线近似视为一条直线。但是在收获过程中，也可能存在收获后的残余马铃薯茎叶对分界线形成干扰。因此，为提高算法处理速度及准确度，针对刚开始作业的第一帧图像，进行全局处理，确定已收获区与未收获区的分界线的感兴趣区域，非第一帧图像仅针对感兴趣区域进行处理，且将前一帧检测出的导航线作为后一帧的参考线，去除掉离参考线距离较远的特征点，进而排除残余马铃薯茎叶的干扰。

(1)对于第一帧图像：

①水平条划分

将去噪、滤波后的二值图像沿图像纵坐标方向平均划分成n个水平条，第i个水平条纵向区间范围为

[y_si,y_ei]＝[(i-1)w_s,iw_s]

式中，y_si,y_ei为第i个水平条沿图像纵坐标方向的起始、终止像素位置，i为整数，i∈[1，n]。其中，单个水平条的宽度为w_s＝y_size/n。n≥2。

②特征点提取

从上往下依次处理各个水平条，针对每个水平条，求取其垂直累计像素值分布曲线，记录该曲线上每列白色像素点数s(j)，并求出该曲线的平均像素数s_avg。若左侧已收获，则找到曲线上升方向的波峰与波谷差值最大的波谷点位置，若右侧已收获，则找到曲线下降方向的波峰波谷差值最大的波谷点的位置。

以右侧已收获为例。根据s(j)与s_avg的关系，确定下降点位，即s(j-1)＞s_avg＞s(j+1)的点，若存在多个下降点，则分别找出各下降点前后的波峰和波谷所对应的点，将波峰和波谷差值最大的点作为特征点s(j)，存入特征点数组Q。

③导航基准线拟合

对提取出的特征点采用最小二乘法进行拟合，获取已收获区与未收获区的分界线作为导航基准线，并计算出该导航基准线方程y＝kx+b，同时记录导航基准线起点坐标x_e。

(2)对于非第一帧图像：

非第一帧图像仅在感兴趣区域内进行检测。特征点提取方法与第一帧图像相同。将前一帧的导航线作为参考线，通过参考线与特征点的位置关系，设置合理的距离阈值，对特征点进行筛选，去除掉不在阈值范围内的特征点。

由第一帧图像已经得出参考线方程为y＝kx+b，逐点计算特征点与参考线的距离d_i及距离平均值设置距离阈值Δc，当/>时，第i点将被移除特征点集，从而获得最终的分界线特征点集，具体流程如下：

①统计特征点集Q中的特征点总数m，计算特征点集中每个点到参考线的距离和平均值c。

②设定距离阈值Δc，逐点扫描所有特征点，当时，则将该点从特征点集Q中移除，反之不作处理，直到所有点扫描结束。

③对提取出的特征点用最小二乘法进行拟合得到导航基准线，并记录当前导航基准线起点横坐标x_s。

8、行进路线修正

如图6所示，收获机械即指收获机1，收获机械的路线修正需要考虑两个要素。即作业机械的偏离距离L和偏离角度θ。计算当前导航基准线的斜率，通过斜率计算确定导航基准线与设定的机器中心线之间的偏移角度和偏移方向。

θ＝90°-arctan|k|

L＝|x_e-x_s|×cosθ

若k＞0，偏移方向向右；反之，偏移方向向左。

设定角度偏离阈值a及距离偏离阈值L_h。当θ＞a或当L＞L_h时，偏移量分析判断模块发送信号给转向控制模块，转向控制模块控制相应的执行机构进行调整。

9、田端检测方法

田端为马铃薯收获机行进方向上的终止边界，因此需在马铃薯收获机作业过程中对田端进行检测。由于靠近分界线的已收获区为被翻出的土壤，R分量大，而田端区域杂草丛生，R分量小，故可通过判断R分量的跳变来检测田端。具体检测方法如下：R分量指已收获区图像的土壤颜色分量。

针对图像感兴趣区域中的已收获区域，在该区域内对R分量进行水平像素值累计，并将累计值计入数组F，求出数组F的方差D_F，若大于阈值T，表明出现跳变特征，则认为田端出现。并记录下跳变点的纵坐标值，计算此时田端离马铃薯收获机的距离，当距离小于设定值时，表示到达田端。

最后，需要注意的是：以上列举的仅是本发明的具体实施例子，当然本领域的技术人员可以对本发明进行改动和变型，倘若这些修改和变型属于本发明权利要求及其等同技术的范围之内，均应认为是本发明的保护范围。

Claims (9)

1.一种马铃薯收获机自动导航装置，其特征在于，包括依次连接的视觉摄像头(2)、图像采集模块、图像处理与路径提取模块、偏移量分析判断模块、转向控制模块以及执行机构，图像采集模块经视觉摄像头(2)采集马铃薯作物边缘线图像；图像处理与路径提取模块对马铃薯作物边缘线图像进行预处理，提取马铃薯作物边缘线路径作为收获机(1)的导航路径；偏移量分析判断模块将导航路径与收获机(1)当前的行进姿态方向进行对比，获得收获机(1)的偏移角度和偏移距离作为偏移量与设定的偏移阈值比较形成偏移信息，判断收获机(1)是否偏离了作业路径；转向控制模块用于接收偏移信息，当产生偏移时，通过执行机构控制收获机(1)进行姿态调整。

2.根据权利要求1所述的一种马铃薯收获机自动导航装置，其特征在于：图像采集模块还连接有田端检测模块，田端检测模块获取马铃薯作物边缘线图像检测收获机(1)是否到达田端；田端检测模块与转向控制模块相连接，如果收获机(1)到达田端，转向控制模块经执行机构控制收获机(1)掉头。

3.根据权利要求1所述的一种马铃薯收获机自动导航装置的导航方法，其特征在于：包括如下步骤：

步骤A：图像采集模块经视觉摄像头(2)采集马铃薯作物边缘图像；

步骤B：图像处理与路径提取模块对马铃薯作物边缘线图像进行预处理，提取马铃薯作物边缘线路径作为收获机(1)的导航路径；

步骤C：偏移量分析判断模块将导航路径与收获机(1)当前的行进姿态方向进行对比，获得收获机(1)的偏移角度和偏移距离作为偏移量与设定的偏移阈值比较形成偏移信息；

步骤D：偏移距离和偏移角度是否超过阈值；如果否，转步骤F；如果是，转步骤E；

步骤E：转向控制模块用于接收偏移信息，当产生偏移时，通过执行机构控制收获机(1)进行姿态调整；

步骤F：转向控制模块通过执行机构控制收获机(1)继续前进。

4.根据权利要求3所述的一种马铃薯收获机自动导航装置的导航方法，其特征在于：还包括如下步骤：

步骤G：图像采集模块经视觉摄像头(2)采集马铃薯作物边缘线图像；

步骤H：田端检测模块判断收获机(1)是否到达田端；

步骤I：转向控制模块获取田端检测模块的判断信息，如果未到达田端，转步骤A：否则，转向控制模块经执行机构控制收获机(1)掉头；转步骤A。

5.根据权利要求3所述的一种马铃薯收获机自动导航装置的导航方法，其特征在于：马铃薯作物边缘线图像预处理包括依次进行的改进超绿灰度化，Otsu二值化处理，形态学处理，中值滤波处理，感兴趣区域提取。

6.根据权利要求3所述的一种马铃薯收获机自动导航装置的导航方法，其特征在于：步骤B进一步包括：图像处理与路径提取模块针对刚开始作业的第一帧图像，进行全局处理，确定已收获区与未收获区的分界线的感兴趣区域，马铃薯作物边缘线即收获区与未收获区分界线；非第一帧图像仅针对感兴趣区域进行处理，且将前一帧检测出的导航路径作为后一帧的参考线，去除掉离参考线的距离大于距离阈值的特征点，进而排除残余马铃薯茎叶的干扰。

7.根据权利要求6所述的一种马铃薯收获机自动导航装置的导航方法，其特征在于：对于第一帧图像进行全局处理包括：

步骤B01：水平条划分；

将去噪、滤波后的二值图像沿图像纵坐标方向平均划分成n个水平条，第i个水平条纵向区间范围为

[y_si,y_ei]＝[(i-1)w_s,iw_s]；

式中，y_si,y_ei为第i个水平条沿图像纵坐标方向的起始、终止像素位置，i为整数，i∈[1，n]；其中，单个水平条的宽度为w_s＝y_size/n；y_size为二值图像的图像纵坐标上下限差值；

步骤B02：特征点提取；

从上往下依次处理各个水平条，针对每个水平条，求取其垂直累计像素值分布曲线，记录该曲线上每列白色像素点数s(j)，并求出该曲线的平均像素数s_avg；若左侧已收获，则找到曲线上升方向的波峰与波谷差值最大的波谷点位置，若右侧已收获，则找到曲线下降方向的波峰波谷差值最大的波谷点的位置；

将波峰和波谷差值最大的波谷点作为特征点s(j)，存入特征点集Q；

步骤B03：导航基准线拟合；

对提取出的特征点采用最小二乘法进行拟合，获取已收获区与未收获区的分界线作为导航基准线，并计算出该导航基准线方程y＝kx+b，同时记录导航基准线起点坐标x_e；

对于非第一帧图像仅针对感兴趣区域进行处理包括：

非第一帧图像仅在感兴趣区域内进行检测；特征点提取方法与第一帧图像相同；将前一帧的导航线作为参考线，通过参考线与特征点的位置关系，设置合理的距离阈值，对特征点进行筛选，去除掉离参考线的距离大于距离阈值的特征点；

由第一帧图像已经得出参考线方程为y＝kx+b，逐点计算特征点与参考线的距离d_i及距离平均值设置距离阈值Δc，当/>时，第i点将被移除特征点集，从而获得最终的分界线特征点集，具体流程如下：

步骤B11：统计特征点集Q中的特征点总数m，计算特征点集中每个点到参考线的距离和平均值c；

步骤B12：设定距离阈值Δc，逐点扫描所有特征点，当时，则将该点从特征点集Q中移除，反之不作处理，直到所有点扫描结束；

步骤B13：对提取出的特征点用最小二乘法进行拟合得到导航基准线，并记录当前导航基准线起点横坐标x_s。

8.根据权利要求3所述的一种马铃薯收获机自动导航装置的导航方法，其特征在于：步骤C进一步包括：行进路线修正；

路线修正需要考虑两个要素；即作业机械的偏离距离L和偏离角度θ；计算当前导航基准线的斜率，通过斜率计算确定导航基准线与设定的机器中心线之间的偏移角度和偏移方向；

θ＝90°-arctan|k|；

L＝|x_e-x_s|×cosθ；

k为参考线方程y＝kx+b的斜率；x_e为导航基准线起点坐标；x_s为当前导航基准线起点横坐标；

若k＞0，偏移方向向右；反之，偏移方向向左；

设定角度偏离阈值a及距离偏离阈值L_h；步骤D包括：当θ＞a或当L＞L_h时，偏移量分析判断模块发送信号给转向控制模块，转向控制模块控制相应的执行机构进行调整。

9.根据权利要求4所述的一种马铃薯收获机自动导航装置的导航方法，其特征在于：田端检测模块通过判断马铃薯作物边缘线图像的R分量的跳变来检测田端；R分量指马铃薯作物边缘线图像的土壤颜色分量；

具体检测方法如下：针对图像感兴趣区域中的已收获区域，在该区域内对R分量进行水平像素值累计，并将累计值计入数组F，求出数组F的方差D_F，若大于阈值T，表明出现跳变特征，则认为田端出现；并记录下跳变点的纵坐标值，计算此时田端离马铃薯收获机的距离，当距离小于设定值时，表示到达田端。