CN109885063A - 一种融合视觉和激光传感器的施药机器人农田路径规划方法 - Google Patents

Abstract

本文公开一种融合视觉和激光传感器的施药机器人农田路径规划方法。具体为：首先获取农田边界线及作物行信息，利用最小二乘法拟合农田边界线；再根据施药机作业方向喷幅、最小转弯半径等信息，利用栅格法划分工作区域，融合施药机器人往返施药量和耗油量，药液余量和燃油余量等信息，估算出农药和燃油补给点位置；最后利用视觉传感器采集田间图像，提取农田中心路径，将路径信息进行坐标转换更新全局路径并计算出导航控制参数；同时利用激光传感器实时扫描、获取障碍物位置信息以判断机器人的避障方式，若需转向避障，采用人工势场法规划避障路线，进一步更新全局路线。

Description

一种融合视觉和激光传感器的施药机器人农田路径规划方法

技术领域

本发明主要涉及路径规划方法，具体涉及的是一种融合视觉和激光传感器的施药机器人农田路径规划方法。

背景技术

随着精细农业的发展，我国在播种、施药、施肥和收获等方面的农业装备的自动化、机械化已经达到较高水平，作业效率得到显著提高；但依然需要人工驾驶作业，特别是针对大型农田，长时间作业易导致驾驶员疲劳驾驶，造成作业效率降低、作物损坏、施药人员中毒等现象发生。自主导航技术的目的是取代人员驾驶，减轻作业人员工作强度，提高工作效率，因此在精细农业的技术体系中占据着重要地位。路径规划技术是实现喷药机器人自主作业的前提，对机器人实现自主导航起到关键作用。路径规划包括全局路径规划和局部路径规划，如何准确合理规划出导航路径，已成为国内外机构的热点和重点。

在智能农业装备的自主导航中，全局规划和局部规划是首要解决的问题。文献《多架次作业植保无人机最小能耗航迹规划算法研究》(徐博，陈立平，谭或等.农业机械学报，2015，46(11)：36-42)选择全覆盖路径规划方法中的往复遍历法作为无人机的基本作业方式，采用栅格地图构建法得到无人机的作业线路后，从总能耗和作业效率等约束条件出发，合理分配各架次的载药和喷药量，并进一步研究了自主植保无人机的航线规划算法，使返航线路得到了较优的规划；但由于环境因素和GPS定位误差的影响，出现航迹偏差，而且没有考虑农田电线杆等障碍物的避障问题。文献《自动导航拖拉机田间作业路径规划与应用试验》(王建波，赵玉芹，朱晨辉等.农机化研究，2017(2)：242-245)分析拖拉机田间作业的全区域覆盖路径规划方法，提出使用全排列算法对拖拉机行驶路径进行寻优，根据转弯路径确定的拖拉机所占空间，将农田划分为直线作业区域和地头转弯区域。对于前者，以转弯次数最少确定直线路径的农田中的相对方向；对于后者，以转弯路径耗时最短确定对直线路径的遍历顺序及相应的转弯方式，提高了路径规划放大的可操作性，但未考虑局部避障转弯方式。文献《水田除草机器人视觉导航路径与参数获取方法研究》(黄小刚.华南理工大学，2012)提出了一种水田除草机器人秧苗识别算法，该方法采用K-means算法对秧苗特征进行分析，利用窗口统计法提取出秧苗的特征点并进行聚类分析，通过Hough变换法拟合出导航中心线，并通过坐标变换计算出偏角和横向偏差分别是1.1°、4.1mm，基本满足局部路径规划的要求。

发明内容

本发明针对以上问题，提出一种融合视觉和激光传感器的施药机器人农田路径规划方法。首先获取农田边界线及作物行信息，利用最小二乘法拟合农田边界线；再根据施药机作业方向喷幅、最小转弯半径等信息，利用栅格法划分工作区域，融合施药机器人往返施药量和耗油量，药液余量和燃油余量等信息，估算出农药和燃油补给点位置；最后利用视觉传感器采集田间图像，提取农田中心路径，将路径信息进行坐标转换更新全局路径并计算出导航控制参数；同时利用激光传感器实时扫描、获取障碍物位置信息以判断机器人的避障方式，若需转向避障，采用人工势场法规划避障路线，进一步更新全局路径线。

本发明的目的是：针对目前大部分植保无人机都是基于遥控的，并没有实现真正的无人驾驶，而且人工遥控作业的效果并不理想；现有的农田路径规划方法主要是全覆盖路径规划方法，通过GPS坐标采集系统指导农机导航，但没有考虑无人机续航、避障以及规划的路径与实际农田路径偏移等情况，提出相应解决方案，从而为植保无人机规划出最小偏差的导航路径，并实现实时纠偏、避障、定点农药或燃油补给等功能，进一步提高植保无人机作业效率。

发明的技术方案为：一种融合视觉和激光传感器的施药机器人农田路径规划方法，包括以下步骤：

步骤1：在农田目标作业区域采用人工测量法获取农田高精度边界线及作物行位置信息；

步骤2：提取农田边界位置信息，利用最小二乘法将边界线拟合成直线；依据施药机器人喷幅宽度将作业区域栅格化；

步骤3：依据作业方向的农田长度和宽度，融合施药机器人往返一趟的施药量、药液剩余量、耗电量、电池容量和转弯半径等信息，规划施药机器人全局路径线并估算出农药和燃油补给点位置；

步骤4：利用单目摄像机实时采集农田图像，通过预处理、高斯模糊去噪、图像分割等操作提取农田路径，运用改进的并行细化算法提取导航路径，将路径信息进行坐标转换后，更新全局路径并计算出导航控制参数；

步骤5：利用激光传感器实时扫描并获取稻田中的障碍物位置信息，提取施药机器人单侧喷杆长度以内的障碍物位置信息，根据障碍物与施药机器人作业方向的垂线距离L，选择避障方式；

步骤6：若步骤5中所述的障碍物与施药机器人作业方向垂线距离(d为施药机器人车宽)，施药机器人结合最小转弯半径，采用人工势场法规划避障路径，目标点设定为步骤5所述垂线与作业方向的交点且沿行驶方向5m处；

步骤7：若步骤5中所述的障碍物与施药机器人作业方向垂线距离L的范围为(d为施药机器人车宽，m为施药机喷幅)，施药机器人回收喷杆避障，其中d为施药机的车宽，m为施药机喷幅；

步骤8：依据步骤6获取的避障路径线信息，更新步骤4中所述的全局路径线。

进一步，所述步骤2中农田边界拟合以及区域栅格化过程为：获取人工手持GPS绕农田边界一周的所有坐标信息，运用最小二乘法分别将农田四条边界拟合成直线，并计算拟合好的边界距离长度，依据施药机器人作业喷幅、作物行方向以及农田出入口将作业区域栅格化。

进一步，所述步骤3的具体过程为：

步骤3.1：施药机器人全局路径线确定方法为：通过步骤2计算出的农田长度a和宽度b，通过分析施药机前后轮均差速转向模型计算最小转弯半径R，规划施药机器人全局路线。

进一步所述步骤3.1中最小转弯半径R的计算公式为：

其中：L-前后轮轴距

a-α角对应的轮距

b-β角对应的轮距

α-车底盘前半部分理想Ackermann-Jeantand转向模型的转向角

β-车底盘后半部分理想Ackermann-Jeantand转向模型的转向角。

步骤3.2：施药机器人农药和燃油补给点位置确定方法为：计算无人施药机作业距离为a时的施药量和耗油量V_Q2，实时读取无人机药箱和油箱剩余量信息，当无人机药箱或油箱的剩余量小于或2V_Q2时，设定为农药补给点P或燃油补给点位置Q；

进一步，所述步骤4的具体过程为：

步骤4.1：利用单目摄像机实时采集田间图像，将图像转换成HSI颜色空间，并进行高斯模糊处理，再对S通道图像进行阈值分割处理，提取农田路径特征；

步骤4.2：对分割后的图像进行形态学处理，通过设定区域面积、宽度等阈值特征提取中间路径区域；

步骤4.3：对中间路径区域进行凸包处理，去除区域边缘突出点，填充路径区域，运用改进的并行细化算法提取中心线，将中心线信息进行坐标转换更新全局路线；

进一步，所述步骤5中避障方式选择方法为：根据障碍物位置O(S，θ)，计算障碍物与施药机器人作业方向垂线距离L的计算公式为：L＝S·sinθ，其中，S为障碍物与施药机器人的直线距离，θ为施药机器人作业方向与障碍物的夹角。当时，表明障碍物在施药机的正前方，选择转弯避障方式；当时，选择收杆避障方式。

进一步，所述步骤6中人工势场法步骤具体过程为：

步骤6.1：建立数学模型，初始化人工势场法公式所有参数，包括：引力增益系数k_a、斥力增益系数k_r、障碍物影响范围ρ₀、机器人的速度v、机器人起点W、障碍物位置O、机器人目标点W_g。

步骤6.2：计算机器人所受的合力大小以及合力和水平方向的夹角γ。

步骤6.3：计算机器人下一步运动到的位置，计算公式为：

X_i+1＝X_i+vcosγ

Y_i+1＝Y_i+vsinγ

步骤6.4：机器人移动至(X_i+1，Y_i+1)，机器人每运行一步后，步数i＝i+1，机器人的位置由(X_i，Y_i)变成了(X_i+1，Y_i+1)。

步骤6.5：当机器人到达目标点位置所在的范围内时，视为避障路径规划成功，则判定机器人到达目标点，当机器人未到达目标点所在范围内时，则返回步骤6.2继续运动。

进一步，所述步骤7中确定收杆目标的方法为：根据θ的范围，具体判断左喷杆回收或右喷杆回收或左、右喷杆同时回收。

本方案的优点是：

1)与现有的农田路径规划方法相比，本发明融合施药机器人单程施药量、单程耗电量、药液剩余量、燃油余量和转弯半径等信息，规划施药机器人全局路径线，并估算农药和燃油补给点位置，防止施药机器人在田间作业过程中出现农药缺乏或因动力不足导致停止作业现象发生。

2)融合视觉导航和激光传感器避障实现局部路径规划并实时更新全局路径规划线，提高施药机器人导航精度。

3)采用机器视觉方法提取农田中间路径区域，使用改进的并行细化算法提取中心路径线，将路径信息进行坐标变换更新全局路径规划线，并转换成导航控制参数，满足在GPS信号偏差较大或丢失情况下，矫正施药机器人行走方向，提高了系统的鲁棒性。

4)利用激光传感器实时扫描并获取稻田中的障碍物位置信息，提取施药机器人单侧喷杆长度以内的障碍物位置信息，根据障碍物与施药机器人作业方向的垂线距离L，选择避障方式，给定障碍物斥力影响范围，通过收杆避障方式减少不必要的避障路径规划，提高作业效率。

附图说明

图1为本发明路径规划流程图。

图2为基于机器视觉的路径识别流程图。

图3为施药机器人与障碍物的位置关系图。

图4为施药机前后轮均差速转向模型。

具体实施方式

如图1所示，一种融合视觉和激光传感器的施药机器人农田路径规划方法，具体步骤为：

步骤1：在农田目标作业区域采用人工测量法获取农田高精度边界线及作物行位置信息；

步骤2：提取农田边界位置信息，利用最小二乘法将边界线拟合成直线；依据施药机器人喷幅宽度将作业区域栅格化；所述步骤2中农田边界拟合以及区域栅格化过程为：获取人工手持GPS绕农田边界一周的所有坐标信息，运用最小二乘法分别将农田四条边界拟合成直线，并计算拟合好的边界距离长度，依据施药机器人作业喷幅、作物行方向以及农田出入口将作业区域栅格化。

步骤3：依据作业方向的农田长度和宽度，融合施药机器人往返一趟的施药量、药液剩余量、耗电量、电池容量和转弯半径等信息，规划施药机器人全局路径线并估算出农药和燃油补给点位置；所述步骤3的具体过程为：

步骤3.1：施药机器人全局路径线确定方法为：通过步骤2计算出的农田长度a和宽度b，通过分析施药机前后轮均差速转向模型计算最小转弯半径R，规划施药机器人全局路线。

图4为施药机前后轮均差速转向模型。其中：L表示前后轮轴距，a表示α角对应的轮距，b表示β角对应的轮距，α表示车底盘前半部分理想Ackermann-Jeantand转向模型的转向角，β表示车底盘后半部分理想Ackermann-Jeantand转向模型的转向角，V₁、V₂、V₃和V₄分别代表四个轮子的角速度。

进一步所述步骤3.1中最小转弯半径R的计算公式为：

其中：L-前后轮轴距

a-α角对应的轮距

b-β角对应的轮距

α-车底盘前半部分理想Ackermann-Jeantand转向模型的转向角

β-车底盘后半部分理想Ackermann-Jeantand转向模型的转向角。

步骤3.2：施药机器人农药和燃油补给点位置确定方法为：计算无人施药机作业距离为a时的施药量和耗油量V_Q2，实时读取无人机药箱和油箱剩余量信息，当无人机药箱或油箱的剩余量小于或2V_Q2时，设定为农药补给点P或燃油补给点位置Q；

步骤4：利用单目摄像机实时采集农田图像，通过预处理、高斯模糊去噪、图像分割等操作提取农田路径，运用改进的并行细化算法提取导航路径，将路径信息进行坐标转换后，更新全局路径并计算出导航控制参数；(如图2所示)

所述步骤4的具体过程为：(具体过程如：申请号为201810441889.5的发明专利″一种农田喷药机器人视觉导航路径识别方法″)

步骤4.1：利用单目摄像机实时采集田间图像，通过使用Halcon封装好的trans_from_rgb算子将原始图像从RGB颜色空间转换成HSI颜色空间；为了解决农田窄长路径中作物交叉遮挡问题，确定sigma值后，通过gen_gauss_filter算子对HSI图像进行高斯模糊处理，再依据S通道图像中农田路径灰度特征，进行阈值分割处理，提取农田路径；

步骤4.2：对分割后的图像进行形态学处理，设定区域面积、宽度等阈值特征提取中间路径区域；

步骤4.3：运用Halcon里的shape_trans算子，选择‘convex’特征因子对中间路径区域进行凸包处理，有效去除区域边缘突出点并填充路径区域，运用改进的并行细化算法提取中心线，根据摄像机参数标定后，将中心线信息进行坐标转换更新全局路线。改进的并行细化算法分以下三步迭代进行处理：

1)标记满足条件的黑色像素点P；第一步算法公式：

3≤B(P)≤6

X_R(P)＝2

P₁×P₃×P₅＝0

P₁×P₃×P₇＝0

P的非零的邻数：B(p)＝p₁+p₂+…+P₈

P的交叉数：其中p₉＝p₁

2)判断P点是否为线的两端。如果点P满足公式(8)，则表示点P不是端点，进行步骤3；否则保留点P，返回步骤1，进行下一个P点的判断。

3)删除P点。如果被标记的点P满足算法要求时，点P将直接被删除；第三步算法公式：

P₁×P₅×P₇＝0

P₃×P₅×P₇＝0

步骤5：利用激光传感器实时扫描并获取稻田中的障碍物位置信息，提取施药机器人单侧喷杆长度以内的障碍物位置信息，根据障碍物与施药机器人作业方向的垂线距离L，选择避障方式；

所述步骤5中避障方式选择方法为：根据障碍物位置O(S，θ)，计算障碍物与施药机器人作业方向垂线距离L的计算公式为：L＝S·sinθ，其中，S为障碍物与施药机器人的直线距离，θ为施药机器人作业方向与障碍物的夹角。当时，表明障碍物在施药机的正前方，选择转弯避障方式；当时，选择收杆避障方式。

图3为施药机器人与障碍物的位置关系图。其中：A点表示施药机器人中心位置，O点表示障碍物位置，点B表示点O到施药机器人行驶方向最短距离的交点，S表示障碍物与施药机器人的距离，θ表示障碍物与施药机器人运动方向的夹角，m表示CD的长度，即施药机喷幅。

步骤6：若步骤5中所述的障碍物与施药机器人作业方向垂线距离(d为施药机器人车宽)，施药机器人结合最小转弯半径，采用人工势场法规划避障路径，目标点设定为步骤5所述垂线与作业方向的交点且沿行驶方向5m处；

所述步骤6中人工势场法具体过程为：

步骤6.1：建立数学模型，初始化人工势场法公式所有参数，包括：引力增益系数k_a、斥力增益系数k_r、障碍物影响范围ρ₀、机器人的速度v、机器人起点W、障碍物位置O、机器人目标点W_g。

步骤6.2：计算机器人所受的合力大小以及合力和水平方向的夹角γ。

步骤6.3：计算机器人下一步运动到的位置，计算公式为：

X_i+1＝X_i+vcosγ

Y_i+1＝Y_i+vsinγ

步骤6.4：机器人移动至(X_i+1，Y_i+1)，机器人每运行一步后，步数i＝i+1，机器人的位置由(X_i，Y_i)变成了(X_i+1，Y_i+1)。

步骤6.5：当机器人到达目标点位置所在的范围内时，视为避障路径规划成功，则判定机器人到达目标点，当机器人未到达目标点所在范围内时，则返回步骤6.2继续运动。

步骤7：若步骤5中所述的障碍物与施药机器人作业方向垂线距离L的范围为(d为施药机器人车宽，m为施药机喷幅)，施药机器人回收喷杆避障，其中d为施药机的车宽，m为施药机喷幅；

所述步骤7中确定收杆的方法为：根据θ的范围，具体判断左喷杆回收或右喷杆回收或左、右喷杆同时回收。

步骤8：依据步骤6获取的避障路径线信息，更新步骤4中所述的全局路径线。

Claims (7)

1.一种融合视觉和激光传感器的施药机器人农田路径规划方法，其特征在于，具体步骤为：

步骤1：在农田目标作业区域采用人工测量法获取农田高精度边界线及作物行位置信息；

步骤2：提取农田边界位置信息，利用最小二乘法将边界线拟合成直线；依据施药机器人喷幅宽度将作业区域栅格化；

步骤3：依据作业方向农田的长和宽，融合施药机器人往返一趟的施药量、药液剩余量、耗电量、电池容量和转弯半径等信息，规划施药机器人全局路径线并估算出农药和燃油补给点位置；

步骤4：利用单目摄像机实时采集农田图像，通过预处理、高斯模糊去噪、图像分割等操作提取农田路径，运用改进的并行细化算法提取导航路径，将路径信息进行坐标转换更新全局路径并计算出导航控制参数；

步骤5：利用激光传感器实时扫描并获取稻田中的障碍物位置信息，提取施药机器人单侧喷杆长度以内的障碍物位置信息(角度为θ，距离为S)，根据障碍物与施药机器人作业方向的垂线距离L，选择避障方式；

步骤6：若步骤5中所述的障碍物与施药机器人作业方向垂线距离L≤d/2(d为施药机器人车身宽度)，施药机器人结合最小转弯半径，采用人工势场法规划避障路径，目标点设定为施药机器人行驶方向所在的全局规划线和农田边界的交点；

步骤7：若步骤5中所述的障碍物与施药机器人作业方向垂线距离L的范围为(d为施药机器人车宽，m为施药机喷幅)，施药机器人回收喷杆避障，依据步骤5所述障碍物角度θ范围，确定回收左侧喷杆或回收右侧喷杆；

步骤8：依据步骤6获取的避障路径线信息，更新步骤4中所述的全局路径线。

2.根据权利要求1所述的一种融合视觉和激光传感器的施药机器人农田路径规划方法，其特征在于，所述步骤2中提取农田边界位置信息，利用最小二乘法将边界线拟合成直线；依据施药机器人喷幅宽度将作业区域栅格化。

3.根据权利要求1所述的一种融合视觉和激光传感器的施药机器人农田路径规划方法，其特征在于，所述步骤3的具体过程为：

步骤3.1：施药机器人全局路径线确定方法为：通过步骤2计算出的农田长度a和宽度b，通过分析施药机前后轮均差速转向模型计算最小转弯半径R，规划施药机器人全局路线。最小转弯半径R的计算公式为：

α＝β

其中：L—前后轮轴距；a—α角对应的轮距；b—β角对应的轮距；α—车底盘前半部分理想Ackermann-Jeantand转向模型的转向角；β—车底盘后半部分理想Ackermann-Jeantand转向模型的转向角。

步骤3.2：施药机器人农药和燃油补给点位置确定方法为：计算无人施药机作业距离为a时的施药量Vp₁和耗油量V_Q2，实时读取无人机药箱和油箱剩余量信息，当无人机药箱或油箱的剩余量小于2Vp₁或2V_Q2时，设定为农药补给点P或燃油补给点位置Q。

4.根据权利要求1所述的一种融合视觉和激光传感器的施药机器人农田路径规划方法，其特征在于，所述步骤4的具体过程为：

步骤4.1：利用单目摄像机实时采集田间图像，将图像转换成HSI颜色空间，并进行高斯模糊处理，再对S通道图像进行阈值分割处理，提取农田路径特征；

步骤4.2：对分割后的图像进行形态学处理，通过设定区域面积、宽度等阈值特征提取中间路径区域；

步骤4.3：对中间路径区域进行凸包处理，去除区域边缘突出点，填充路径区域，运用改进的并行细化算法提取中心线，将中心线信息进行坐标转换更新全局路线；

5.根据权利要求1所述的一种融合视觉和激光传感器的施药机器人农田路径规划方法，其特征在于，步骤5中避障方式选择方法为：根据障碍物位置O(S,θ)，计算障碍物与施药机器人作业方向垂线距离L的计算公式为：L＝S·sinθ，其中，S为障碍物与施药机器人的直线距离，θ为施药机器人作业方向与障碍物的夹角，当时，表明障碍物在施药机的正前方，选择转弯避障方式；当时，选择收杆避障方式。

6.根据权利要求1所述的一种融合视觉和激光传感器的施药机器人农田路径规划方法，其特征在于，所述步骤6中人工势场法具体过程为：

步骤6.1：建立数学模型，初始化人工势场法公式所有参数，包括：引力增益系数k_a、斥力增益系数k_r、障碍物影响范围ρ₀、机器人的速度v、机器人起点W、障碍物位置O、机器人目标点W_g；

步骤6.2：计算机器人所受的合力大小以及合力和水平方向的夹角γ；

步骤6.3：计算机器人下一步运动到的位置，计算公式为：

X_i+1＝X_i+vcosγ

Y_i+1＝Y_i+vsinγ

步骤6.4：机器人移动至(X_i+1,Y_i+1)，机器人每运行一步后，步数i＝i+1，机器人的位置由(X_i,Y_i)变成了(X_i+1,Y_i+1)。

步骤6.5：当机器人到达目标点位置所在的范围内时，视为避障路径规划成功，则判定机器人到达目标点，当机器人未到达目标点所在范围内时，则返回步骤6.2继续运动。

7.根据权利要求1所述的一种融合视觉和激光传感器的施药机器人农田路径规划方法，其特征在于，所述步骤7中确定收杆的方法为：根据θ的范围，具体判断左喷杆回收或右喷杆回收或左、右喷杆同时回收。