CN110243372B - 基于机器视觉的智能农机导航系统及方法 - Google Patents

Abstract

本发明一种基于机器视觉的智能农机导航系统，包括：图像传感模块，获取导航路径上的农田图像；图像处理模块，对所述农田图像进行预处理，从所述农田图像中提取苗线和导航线，并计算农机与所述导航线的横向偏差值与航向角偏差值，并对计算结果进行可靠性判断；农机路径规划模块，根据所述导航线进行田间作业路径规划；以及农机转向系统，根据所述田间作业路径规划计算所述农机正确的方向盘转角并对所述农机的方向盘进行转向控制。本发明可以复杂农田环境中能够快速、准确地检测出导航线，且能够对检测结果进行校验和处理。

Description

基于机器视觉的智能农机导航系统及方法

技术领域

本发明涉及智能农机自主运动导航及控制的领域，具体的说，是涉及一种基于机器视觉的智能农机导航系统及方法。

背景技术

智能农机导航大多基于GPS系统，然而单纯依靠GPS导航存在难以获取农田场景下苗垄相对位置导致农机辗轧、作物破坏等问题发生；基于机器视觉的方案可有效解决此问题，然而当前方法往往基于人工选取特征，存在不同场景下特征门限需不断调整、图像数据处理效率低下等缺点；且当前方法大多没有检测结果的校验机制，若连续几帧检测出错容易导致导航精度严重下降，从而导致农田被破坏，农业作业难以达到理想效果。

发明内容

为了克服现有的技术的不足,本发明提供一种在复杂农田环境中能够快速、准确地检测出导航线，且能够对检测结果进行校验和处理的基于机器视觉的智能农机导航系统及其方法。

本发明技术方案如下所述：

一种基于机器视觉的智能农机导航系统，包括：图像传感模块，获取导航路径上的农田图像；图像处理模块，对所述农田图像进行预处理，从所述农田图像中提取苗线和导航线，并计算农机与所述导航线的横向偏差值和航向角偏差值，并对计算结果进行可靠性判断；农机路径规划模块，根据所述导航线进行田间作业路径规划；以及农机转向系统，根据所述田间作业路径规划计算所述农机正确的方向盘转角并对所述农机的方向盘进行转向控制。

优选的，所述农田图像包括农田作物和背景，所述农田作物为以垄为单位种植的任一作物或植被，所述作物或植被为单垄或者多垄分布。

优选的，所述图像处理模块包括：图像预处理模块，用于对所述农田图像进行噪声消除、所述农田作物特征增强以及所述农田作物与所述背景二值化分割；扫描线定义模块，定义出所述农田图像中感兴趣区域内一组与所述图像传感模块的镜面垂直且相互平行的扫描线；密度计算模块，设置所述扫描线的宽度，形成以所述扫描线为中心线的扫描区域，对每一所述扫描区域内的特征点密度进行快速计算；根据每一所述扫描区域的所述特征点密度，形成特征点密度曲线，计算出距离所述特征点密度曲线每一个上升沿和下降沿中点最近的所述扫描线，并选取所述特征点密度最高的一条或一条以上作为苗线；导航与校验模块，将所述苗线作为所述农机的导航线，并根据所述导航线对应的所述特征点密度、所述横向偏差值以及所述航向角偏差值判断导航结果的可靠性。

进一步的，所述田间作业路径规划是根据所述农机与所述导航线的相对位置，通过规划算法确定时序的、包含多个路径点的车辆运动轨迹。

进一步的，所述农机转向系统通过所述农机的位置与所述路径点的偏差输出正确的方向盘转角，并控制转向执行机构完成转向，使所述横向偏差值和所述向角偏差值减少。

进一步的，所述背景是指非所述农田作物的其他任一目标像素。

进一步的，所述扫描区域的宽度根据所述农田作物的不同、所述苗线间距的不同、所述扫描线间距不同调整，每一所述扫描区域相互不重叠且最大程度的覆盖所述感兴趣区域。

进一步的，所述导航与校验模块判断以所述导航线为中心线的矩形区域内的所述特征点密度是否达到预定的门限，如没有达到所述预定的门限，判断识别结果无效；所述导航与校验模块判断所述导航线与所述特征点密度次高的苗线之间的所述特征点密度差值是否大于了预定的门限，如大于了预定的门限，则说明检测出的所述导航线与所述特征点密度次高的苗线之间距离相差较大，判断识别结果无效；所述导航与校验模块判断所述导航线与所述特征点密度次高的苗线之间的间距是否大于了预设的门限，如大于了预设的门限，则说明检测出的所述导航线与所述特征点密度次高的苗线之间距离较远，判断识别结果无效；所述导航与校验模块判断所述横向偏差值是否大于预设的门限，如大于了预设的门限，则说明检测出的所述导航线不是最优选择，判断识别结果无效；以及所述导航与校验模块判断所述航向角偏差值是否大于预设的门限，如大于了预设的门限，则说明检测出的所述导航线不是最优选择，判断识别结果无效。

优选的，所述转向执行机构包括电控液压转向系统、电驱齿轮齿条传动机构以及阿克曼转向系统。

一种基于机器视觉的智能农机导航方法，包括：通过图像传感模块，获取导航路径上的农田图像；通过图像处理模块，对所述农田图像进行预处理，从所述农田图像中提取苗线和导航线，并计算农机与所述导航线的横向偏差值和航向角偏差值，并对计算结果进行可靠性判断；通过农机路径规划模块，根据所述导航线进行田间作业路径规划；以及通过农机转向系统，根据所述田间作业路径规划计算所述农机正确的方向盘转角并对所述农机的方向盘进行转向控制。

本发明通过扫描线对农田场景进行绿植或作物密度统计，进而确定苗线及智能农机的导航线，然后通过苗线上的密度及由导航线计算出的横向偏差值和航向角偏差值来判断当前视觉导航结果的有效性；通过设置扫描线密集程度的方式控制苗线的识别速度，使其满足农机导航实时性要求，同时，通过后续的校验机制保障了苗线和导航线识别结果有效性，可有效提高智能农机导航精度及稳定性，为其他精准农业作业如施肥、除草等提供有力支撑。

附图说明

图1为本发明一实施例的基于机器视觉的智能农机导航系统的结构框图；

图2为本发明一实施例的图像传感模块的坐标系、农机、感兴趣区域以及扫描线的位置关系说明图；

图3为本发明一实施例的图像传感模块获取的农田图像；

图4为图3中农田图像的二值化分割后的效果图；

图5为本发明一实施例的扫描线在图像中与苗带位置关系示意图；

图6为本发明一实施例的扫描线与苗线即农机航向与导航线之间存在一定航向角时扫描线的搜索空间示意图；

图7为本发明一实施例的不同横摆角的扫描线对应的特征点密度、横向偏差值与航向角偏差值之间关系变化曲线图。

具体实施方式

下面结合附图以及实施方式对本发明进行进一步的描述：

如图1-7所示，一种基于机器视觉的智能农机导航系统，一种基于机器视觉的智能农机导航系统，包括：图像传感模块10，获取导航路径上的农田图像；图像处理模块20，对农田图像进行预处理，从农田图像中提取苗线和导航线，并计算农机与所述导航线的横向偏差值和航向角偏差值，并对计算结果进行可靠性判断；农机路径规划模块30，根据导航线进行田间作业路径规划；以及农机转向系统40，根据田间作业路径规划计算农机正确的方向盘转角并对农机的方向盘进行转向控制。

优选的，本发明所使用的农机可以为加装或不加装载具的、轮式或履带式农用拖拉机、农用联合收割机。

优选的，农田图像包括农田作物和背景，农田作物为以垄为单位种植的任一作物或植被(如玉米、大豆、棉花等)，作物或植被为单垄或者多垄分布，农田作物可处在其任意生长时期。进一步的农田图像可以是单帧图像，也可以是视频。

优选的，图像传感模块10可以是但不仅限于单目相机、双目相机、立体3D相机、红外相机等能够获取农田图像的视觉传感设备，其中双目相机由于安装处理灵活、价格便宜，即可处理图片又能获取深度信息，为本发明首选。图像传感模块10一般安装在农机前配重上方，镜头光轴方向与车头朝向一致；或安装在农机车顶车辆中轴线上，无横摆角，镜头向下倾斜。

优选的，图像处理模块10包括：图像预处理模块21，用于对农田图像进行噪声消除、农田作物特征增强以及农田作物与背景二值化分割；扫描线定义模块22，定义出农田图像中感兴趣区域220内一组与图像传感模块10的镜面垂直且相互平行的扫描线50；密度计算模块23，设置扫描线50的宽度，形成以扫描线50为中心线的扫描区域，对每一扫描区域内的特征点密度进行快速计算；根据每一扫描区域的特征点密度，形成特征点密度曲线，计算出距离特征点密度曲线每一个上升沿和下降沿中点最近的扫描线50，并选取特征点密度最高的一条或一条以上作为苗线；导航与校验模块24，将苗线作为农机的导航线，并根据导航线对应的特征点密度、横向偏差值以及航向角偏差值判断导航结果的可靠性。

进一步的，田间作业路径规划是根据农机与导航线的相对位置，通过规划算法确定时序的、包含多个路径点的车辆运动轨迹，路径点在满足智能农机动力学或运动学约束的前提下可使农机不断缩小航向角偏差值和横向偏差值。规划算法是指一切可以生成满足车辆运动学和动力学约束的、由多个路径点组成平滑农机运动轨迹的算法，一般包括Dijkstra规划算法、快速随机搜索树、A*算法等。优选的，采用conformal lattice规划方法对农机行进轨迹进行规划。假定农机以小于30km/h的速度匀速前进，若要求农机以变化速度行驶，则在规划时需要同时考虑规划出合理的速度变化曲线。

进一步的，农机转向系统通过农机的位置与路径点的偏差输出正确的方向盘转角，并控制转向执行机构完成转向，使横向偏差值和航向角偏差值减少，从而使得农机不断跟随导航线行进。

进一步的，转向执行机构包括电控液压转向系统、电驱齿轮齿条传动机构、阿克曼转向系统或其他转向系统等。根据对农机改造的不同，也可包括电控四轮独立转向系统。优选的，采用电控液压转向系统转向执行系统对需求的方向盘转角进行闭环跟随控制。

进一步的，噪声消除过程的噪声包括因农机颠簸、光照变化以及物体阴影造成的图像干扰。

进一步的，作物特征增强的方法是作用于任何突出的苗带60，提高苗带60识别速度和准确度的方法，主要包括图像的绿化处理、超绿指数(excess green index，ExG)及其变体指标表征、形态学处理，根据选取的处理流程不同，也包括基于深度卷积神经网络输出便于聚类的嵌入向量(Embedding Vector)等操作。

进一步的，背景是指非农田作物的其他任一目标像素，可包含地面、泥土、非农田作物的其他绿色植被、天空、建筑、车辆及其他可能目标。

进一步的，农田作物与背景二值化分割是指将农田作物与背景编码为不同数值从而在同一图像坐标系中进行区分，通常将农田作物编码为1，背景编码为0。分割方法包含传统图像超绿指数的阈值分割方法、将遗传算法和粒子群算法等加入进行辅助分割方法和基于深度卷积神经网络的图像语义分割方法等。

进一步的，扫描线50上的特征点密度通常是指二值分割后属于苗带60的像素在扫描区域内的累计个数，但也可代指属于苗带60的像素在扫描区域内RGB单一通道或多通道组合形式的数值之和、HSV单一通道或多通道组合形式的数值之和等。

进一步的，可以通过设置不同的扫描线50间距来提高苗带60识别结果的精度。间距小则特征点密度曲线的分辨率高，但计算负担增加；间距大则特征点密度曲线的分辨率低，需要插值估算两条扫描线50中间区域的特征点密度，但会显著减小计算负担，提高识别效率，因此，可用户根据实际情况设置最佳的间距，提高苗带60识别结果的精度。

进一步的，扫描区域内的宽度根据农田作物不同、苗线间距不同、扫描线50间距不同需要有所调整，调整的原则是使得每一扫描区域相互不重叠且尽可能覆盖全部的图像区域。

进一步的，上升沿和下降沿可依据特征点密度曲线的斜率来获得，也可依次将特征点密度超过上升密度门限和低于下降门限的坐标作为上升沿和下降沿坐标。

进一步的，导航与校验模块24判断以导航线为中心线的矩形区域内的特征点密度是否达到预定的门限，如没有达到预定的门限，判断识别结果无效；导航与校验模块24判断导航线与特征点密度次高的苗线之间的特征点密度差值是否大于了预定的门限，如大于了预定的门限，则说明检测出的导航线与特征点密度次高的苗线之间距离相差较大，判断识别结果无效；导航与校验模块24判断导航线与特征点密度次高的苗线之间的间距是否大于了预设的门限，如大于了预设的门限，则说明检测出的所述导航线与所述特征点密度次高的苗线之间距离较远，判断识别结果无效；导航与校验模块24判断横向偏差值是否大于预设的门限，如大于了预设的门限，则说明检测出的导航线不是最优选择，判断识别结果无效；以及导航与校验模块24判断航向角偏差值是否大于预设的门限，如大于了预设的门限，则说明检测出的导航线不是最优选择，判断识别结果无效。

一种基于机器视觉的智能农机导航方法，其步骤包括：

步骤S1：通过图像传感模块10，获取导航路径上的农田图像。

步骤S2：通过图像处理模块20，对农田图像进行预处理，从农田图像中提取苗线和导航线，并计算农机与导航线的横向偏差值和航向角偏差值，并对计算结果进行可靠性判断。

步骤S3：通过农机路径规划模块30，根据所述导航线进行田间作业路径规划。

步骤S4：通过农机转向系统40，根据田间作业路径规划计算农机正确的方向盘转角并对农机的方向盘进行转向控制。

如图2所示，以图像传感模块10的光心为原点，图像传感模块10坐标系x轴朝右，y轴与相机平面垂直与车头朝向一致，z轴垂直地面朝上，横摆角yaw为相机绕z轴的转动角度。扫描线50定义在感兴趣区域220内，为一组与农机朝向及y轴平行的直线，直线之间间距固定且可以随着感兴趣区域220大小的变化而重新定义。优选的，感兴趣区域220前后边沿分别设定为y_min和y_max，左右边沿分别为x_min和x_max，因此扫描线50个数N为|x_max-x_min|/d-1。假定感兴趣区域220完全位于地面即同一平面内，即可完全确定出每条扫描线50的起始坐标，从而定义出每一条扫描线50。

如图3、图4所示，图像预处理模块21对获取的，农田图像进行二值分割，分割方法可以使用基于颜色、纹理等特征的传统方法，也可使用基于深度学习的语义分割方法。优选的，本发明采用RGB颜色空间的超绿颜色特征因子对图像进行分割的方法。由于R、G、B三个颜色通道互相之间高度相关，也受图像亮度影响，因此需要对其进行归一化处理，即r＝R/(R+B+G)，g＝G/(R+B+G)，b＝B/(R+B+G)。根据归一化处理后的r,g,b特征，计算超绿颜色特征因子如下：

超绿颜色特征因子ExG为：

通过超绿颜色特征因子的计算可以将RGB三通道表征的农田图像转化为由ExG表征的单通道灰度图像，然后根据灰度阈值可以将农田图像中的绿色作物和背景做二值化分割。使用f(x,y)表示在图像坐标系下(x,y)坐标处的ExG值，t为用于分割的灰度阈值，i,j分别为1,0，即图像的二值化表征，则：

分割后的二值图像g(x,y)如图4所示，数字化表示为：

如图5所示，为一组平行的扫描线50投影到农田图像中的位置，对每一以扫描线50为中心的扫描区域对苗带60的密度特征进行统计，若扫描线50较好地穿过苗带60，则苗带60特征点密度值大；若扫描线50穿过杂草等背景像素即非苗带区域70，则特征点密度值小。

随着农机的运动，车头朝向可能不能完全与苗带保持平行，即存在一定的航向角偏差，如图6所示。在航向角偏差下，一组y轴平行的扫描线可能无法得到理想的苗带特征点密度变化曲线用于判断苗带60和导航线位置，其苗带60特征点密度变化曲线如图7中

曲线所示，无明显变化用于判断准确的苗带60位置。因此需要对扫描线50绕z轴旋转，即设定不同横摆角yaw进行苗带60特征点密度计算。优选的，选择搜索空间为

到

设定一定的搜索步长，使得扫描线50从

变化到

扫描线50为一组平行直线，但为了更清晰说明，在图6中只对靠近中间苗带60的一条线不同横摆角yaw下的状态进行展示。

如图6所示，当横摆角yaw变化到

时扫描线50几乎完全穿过苗带60，此时其他两个苗带60也被平行的扫描线50同时穿过，形成图7中下的特征点密度变化曲线。在该曲线中，随着横向偏差值X的变化，扫面线50上的特征点密度D呈现较为明显的高低变化趋势。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

上面结合附图对本发明专利进行了示例性的描述，显然本发明专利的实现并不受上述方式的限制，只要采用了本发明专利的方法构思和技术方案进行的各种改进，或未经改进将本发明专利的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (7)

1.一种基于机器视觉的智能农机导航系统，其特征在于，包括：

图像传感模块，获取导航路径上的农田图像；

图像处理模块，对所述农田图像进行预处理，从所述农田图像中提取苗线和导航线，并计算农机与所述导航线的横向偏差值与航向角偏差值，并对计算结果进行可靠性判断；

农机路径规划模块，根据所述导航线进行田间作业路径规划；以及

农机转向系统，根据所述田间作业路径规划计算所述农机正确的方向盘转角并对所述农机的方向盘进行转向控制；

所述农田图像包括农田作物和背景，所述农田作物为以垄为单位种植的任一作物或植被，所述作物或植被为单垄或者多垄分布；

所述图像处理模块包括：

图像预处理模块，用于对所述农田图像进行噪声消除、所述农田作物特征增强以及所述农田作物与所述背景二值化分割；

扫描线定义模块，定义出所述农田图像中感兴趣区域内一组与所述图像传感模块的镜面垂直且相互平行的扫描线；

密度计算模块，设置所述扫描线的宽度，形成以所述扫描线为中心线的扫描区域，对每一所述扫描区域内的特征点密度进行快速计算；根据每一所述扫描区域的所述特征点密度，形成特征点密度曲线，计算出距离所述特征点密度曲线每一个上升沿和下降沿中点最近的所述扫描线，并选取所述特征点密度最高的一条或一条以上作为苗线；以及

导航与校验模块，将所述苗线作为所述农机的导航线，并根据所述导航线对应的所述特征点密度、所述横向偏差值以及所述航向角偏差值判断导航结果的可靠性；

所述导航与校验模块判断以所述导航线为中心线的矩形区域内的所述特征点密度是否达到预定的门限，如没有达到所述预定的门限，判断识别结果无效；

所述导航与校验模块判断所述导航线与所述特征点密度次高的苗线之间的所述特征点密度差值是否大于了预定的门限，如大于了预定的门限，则说明检测出的所述导航线与所述特征点密度次高的苗线之间距离相差较大，判断识别结果无效；

所述导航与校验模块判断所述导航线与所述特征点密度次高的苗线之间的间距是否大于了预设的门限，如大于了预设的门限，则说明检测出的所述导航线与所述特征点密度次高的苗线之间距离较远，判断识别结果无效；

所述导航与校验模块判断所述横向偏差值是否大于预设的门限，如大于了预设的门限，则说明检测出的所述导航线不是最优选择，判断识别结果无效；以及

所述导航与校验模块判断所述航向角偏差值是否大于预设的门限，如大于了预设的门限，则说明检测出的所述导航线不是最优选择，判断识别结果无效。

2.根据权利要求1所述的基于机器视觉的智能农机导航系统，其特征在于，所述田间作业路径规划是根据所述农机与所述导航线的相对位置，通过规划算法确定时序的、包含多个路径点的车辆运动轨迹。

3.根据权利要求2所述的基于机器视觉的智能农机导航系统，其特征在于，所述农机转向系统通过所述农机的位置与所述路径点的偏差值输出正确的方向盘转角，并控制转向执行机构完成转向，使所述横向偏差值和所述航向角偏差值减少。

4.根据权利要求1所述的基于机器视觉的智能农机导航系统，其特征在于，所述背景是指非所述农田作物的其他任一目标像素。

5.根据权利要求1所述的基于机器视觉的智能农机导航系统，其特征在于，所述扫描区域的宽度根据所述农田作物的不同、所述苗线间距的不同、所述扫描线间距不同调整，每一所述扫描区域相互不重叠且最大程度的覆盖所述感兴趣区域。

6.根据权利要求3所述的基于机器视觉的智能农机导航系统，其特征在于，所述转向执行机构包括电控液压转向系统、电驱齿轮齿条传动机构以及阿克曼转向系统。

7.一种基于机器视觉的智能农机导航方法，其特征在于，包括：

通过图像传感模块，获取导航路径上的农田图像；

通过图像处理模块，对所述农田图像进行预处理，从所述农田图像中提取苗线和导航线，并计算农机与所述导航线的横向偏差值和航向角偏差值，并对计算结果进行可靠性判断；

通过农机路径规划模块，根据所述导航线进行田间作业路径规划；以及

通过农机转向系统，根据所述田间作业路径规划计算所述农机正确的方向盘转角并对所述农机的方向盘进行转向控制；

所述农田图像包括农田作物和背景，所述农田作物为以垄为单位种植的任一作物或植被，所述作物或植被为单垄或者多垄分布；

所述图像处理模块包括：

图像预处理模块，用于对所述农田图像进行噪声消除、所述农田作物特征增强以及所述农田作物与所述背景二值化分割；

扫描线定义模块，定义出所述农田图像中感兴趣区域内一组与所述图像传感模块的镜面垂直且相互平行的扫描线；

密度计算模块，设置所述扫描线的宽度，形成以所述扫描线为中心线的扫描区域，对每一所述扫描区域内的特征点密度进行快速计算；根据每一所述扫描区域的所述特征点密度，形成特征点密度曲线，计算出距离所述特征点密度曲线每一个上升沿和下降沿中点最近的所述扫描线，并选取所述特征点密度最高的一条或一条以上作为苗线；以及

导航与校验模块，将所述苗线作为所述农机的导航线，并根据所述导航线对应的所述特征点密度、所述横向偏差值以及所述航向角偏差值判断导航结果的可靠性；

所述导航与校验模块判断以所述导航线为中心线的矩形区域内的所述特征点密度是否达到预定的门限，如没有达到所述预定的门限，判断识别结果无效；

所述导航与校验模块判断所述导航线与所述特征点密度次高的苗线之间的所述特征点密度差值是否大于了预定的门限，如大于了预定的门限，则说明检测出的所述导航线与所述特征点密度次高的苗线之间距离相差较大，判断识别结果无效；

所述导航与校验模块判断所述导航线与所述特征点密度次高的苗线之间的间距是否大于了预设的门限，如大于了预设的门限，则说明检测出的所述导航线与所述特征点密度次高的苗线之间距离较远，判断识别结果无效；

所述导航与校验模块判断所述横向偏差值是否大于预设的门限，如大于了预设的门限，则说明检测出的所述导航线不是最优选择，判断识别结果无效；以及

所述导航与校验模块判断所述航向角偏差值是否大于预设的门限，如大于了预设的门限，则说明检测出的所述导航线不是最优选择，判断识别结果无效。

Images