CN106338989B - 一种田间机器人双目视觉导航方法及系统 - Google Patents

Abstract

本发明公开了一种田间机器人双目视觉导航方法及系统，在图像中部定义基线，在基线上利用扇形扫描获取密度曲线，设计扇形扫描密度模型和垄线间角度约束关系搜索其他垄线，并采用逻辑回归识别最邻近垄线以获取垄间距参数，获得作物垄的高程图，添加高度限制，将增强高程图与二值图像进行融合生成作物垄置信密度图，将垄线提取算法应用到该作物垄置信密度图上提取导航参数。本发明采用增强高程图弥补特征点稀疏的缺陷，增加高度信息的权重，滤出不符合指定高度的干扰信息，采用置信密度图概念，融合增强高程图和二值图像的信息，采用扇形扫描法检测参考垄线，双峰法检测相邻垄线，并结合logistic理论提高了垄线检测的准确度。

Description

一种田间机器人双目视觉导航方法及系统

技术领域

本发明属于机器人视觉领域，尤其涉及一种田间机器人双目视觉导航方法及系统。

背景技术

传统农业大多劳动强度大，对劳动经验有较强的依赖性，智能农业机械导航系统将是解决此问题的有效方法之一。基于双目视觉的导航系统因价格低廉，信息丰富等优点受到越来越多的关注。

国内外对视觉导航的二维导航研究较多，研究成果也较为丰富，田间三维导航研究相对较少。而现有算法的研究大都在田垄生长情况理想条件下比较适用。但自然环境下，田间背景信息复杂，光照条件多变，有时会出现一些田垄结构不规则的情况，例如，田垄间距不相等，杂草密度过高，出现断垄缺垄现象，此时现有算法的实用性和稳定性将会受到挑战。而三维视觉导航相对于二维视觉导航系统增加了一维信息，这对于更准确地去除噪声，提取垄线，获取田垄结构信息是有益的。

发明内容

本发明实施例的目的在于提供一种田间机器人双目视觉导航方法及系统，旨在解决现有田间视觉导航方法在田垄结构不规则的情况下，导航不够稳定、鲁棒性低的问题。

本发明是这样实现的，一种田间机器人双目视觉导航方法包括：

步骤一、利用特征提取算法获得特征点，依据不同特征点特性选取不同的特征点描述子、分析不同约束条件对匹配结果的影响；

步骤二、依据田间机器人导航系统特点选用垄线识别的边界约束条件，将彩色图像转换为二值图像，在图像中部定义基线，在基线上利用扇形扫描获取密度曲线，同时确定作物垄的密度、获取参考垄线宽度和角度参数；

步骤三、设计扇形扫描密度模型和垄线间角度约束关系搜索其他垄线，并采用逻辑回归识别最邻近垄线以获取垄间距参数；

步骤四、利用目标作物视差及坐标系转换关系获得作物垄的高程图，然后添加高度限制以减小噪声影响；同时对高度特征进行扩充以增强其对邻域的影响，从而获取增强的高程图；

步骤五、将增强高程图与二值图像进行融合生成作物垄置信密度图，将垄线提取算法应用到该作物垄置信密度图上提取导航参数。

进一步，立体匹配采用相似测度法，采用最近距离比次近距离，并设定阈值，假设左图像的特征点A与右图像多个特征点进行匹配，排序后得到右图像中特征点B和特征点C为最近距离和次近距离，A与B的距离设为d1为最近距离(无量纲)，A与C的距离设为d2为次近距离，为判断A是否与B匹配成功，设定的判定标准为d1和d2需满足下式，其中ε是设定的阈值，0≤ε≤1：

选择综合左右坐标约束、局部极线约束、唯一性约束三种约束条件。

进一步，所述田间机器人双目视觉导航方法在图像中的一条水平线上利用扇形扫描的方法寻找垄线，在图像中定义一条设置在图像中部的基准线BL，这条线平行于水平面，穿过图像，所有的垄线都与该基准线相交，在这条基准线上利用扇形扫描寻找垄线，检测的垄线利用下式表达:

{S(x₀,y_BL，θ)|y_BL＝tan(θ)×x₀+b，θ∈[π/4，3π/4]，x₀∈[1，width]，y_BL∈[1，height]

其中x₀是垄线与基准线BL交点在基准线BL上的坐标，θ是垄线与基准线BL之间的夹角，width，height分别是图像的宽度和高度。

进一步，对于基准线BL上的任一点，通过Sector-scan方法扫描的区域为一个扇形，该扇形区域的边界为两条直线，定义这些直线的密度为公式为：

其中V_i是扫描线上的第i个点值，To是扫描线上所有像素数，对于基准线BL上一点，取该点所在扇形区域内密度最大的那条扫描线的密度为当前点的密度，对于基准线BL上的每一点，做同样的扇形扫描，并选出全局的最大密度，得到整幅图像的密度曲线，选择密度最大的那条直线作为第一条垄线，称为参考线。

进一步，最近垄线的搜索过程依次为：寻找参考线的左边界，寻找参考线的右边界，获取垄线的宽度，寻找最近垄线；

寻找最近垄线的方法为：

当前位置的密度为扇形区域扫描线最大密度，逐像素移动，直到最大密度值在一段时间内不再更新为止，搜索即停止，所述一段时间表示经过最大密度值向左再搜索wi/2的距离，则第二条垄线位于最后的最大密度所在位置，宽度wi定义为左边界和右边界之间在基准线BL上的距离；

除参考线外还将检测四条候选垄线，如果参考线在图像的右边部分，搜索过程将在参考垄线的左边进行，如果参考线位于图像左边，搜索过程将向右进行，下一个最大密度处将被视为第二条垄线的位置，搜索出第三、第四、第五条垄线；

采用logistic方法进行过滤，从四条候选垄线中选择一条相邻垄线。

进一步，构建一个特征向量X＝[x₀ x₁ x₂ x₃ x₄]^T，添加项x₀＝1,相关的权重向量为训练该模型获得合适的φ，使得φ^TX对于真正的第二条垄线，其值尽可能的小，而非第二条垄线φ^TX，其值尽可能的大。

进一步，将特征点变换为特征块，对于右图像对应的高程图上的值，将该值扩展到该位置周围的区域，以特征点为中心(Ru，Rv，Yw)定义一个矩形区域，矩形的宽为w，高为h，在该矩形区域内的所有值都设置为Yw，若有效特征点较稠密，采用连线法来增强效果。

进一步，获得高程图后，将密度图与高程图结合起来，让密度图和高程图利用下式做加权和运算：

I＝w*I₁+I₂；

其中I₁为二值图像，I₂为高程图，I为获得置信密度图。

一种田间机器人双目视觉导航系统，包括主处理器及与该主处理器连接的双目摄像系统、人机交互平台、运动控制系统；

双目摄像系统负责实时采集田间里的田垄信息，传送给主处理器进行处理；

主处理器将采集到的双目视屏图像通过人机交互平台进行显示；

用户通过人机交互平台向主处理器发送命令；

用户通过人机交互平台向主处理器发送自动导航命令，主处理器接收到命令后将通过双目摄像机获取实时图像，进行处理，获得导航参数，通过人机交互系统显示，并向运动控制系统发送导航命令，控制智能车沿导航路线行走，直到用户再次发送命令，停止导航任务。

本发明选择综合左右坐标约束、局部极线约束、唯一性约束三种约束条件，采用增强高程图弥补特征点稀疏的缺陷，增加高度信息的权重，滤出不符合指定高度的干扰信息，采用置信密度图概念，融合增强高程图和二值图像的信息，采用扇形扫描法检测参考垄线，双峰法检测相邻垄线，并结合logistic理论提高垄线检测的准确度。本发明采用五组不同作物和背景图像进行实验，结果表明该方法在非规则垄及复杂背景下仍可取得较好的效果，第一条垄线和第二条垄线的正确率分别为97.7％和94.7％。利用目标作物视差及坐标系转换关系获得作物垄的高程图，然后添加高度限制以减小噪声影响；同时对高度特征进行扩充以增强其对邻域的影响，从而获取增强的高程图。最后将增强高程图与二值图像进行融合生成作物垄置信密度图。将垄线提取算法应用到该图上提取导航参数。为提高双目视觉导航系统算法的实时性，设计聚合操作和查找表方法，垄线检测时间约为0.34s，标准差为0.004s。在实验室条件下进行算法验证，机器人偏离轨道最大误差为10cm。

附图说明

图1是本发明实施例提供的田间机器人双目视觉导航方法流程图；

图2是本发明实施例提供的端点查找表；

图3是本发明实施例提供的采样原理图；

图4是本发明实施例提供的采样图；

图5是本发明实施例提供的优化前后时间对比图；

图6是本发明实施例提供的导航模型参数图；

图7是本发明实施例提供的轨道轨迹对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

本发明是这样实现的，如图1所示，一种田间机器人双目视觉导航方法，包括：

S101、利用特征提取算法获得特征点，依据不同特征点特性选取不同的特征点描述子、分析不同约束条件对匹配结果的影响；

S102、依据田间机器人导航系统特点选用垄线识别的边界约束条件，将彩色图像转换为二值图像，在图像中部定义基线，在基线上利用扇形扫描获取密度曲线，同时确定作物垄的密度、获取参考垄线宽度和角度参数；

S103、设计扇形扫描密度模型和垄线间角度约束关系搜索其他垄线，并采用逻辑回归识别最邻近垄线以获取垄间距参数；

S104、利用目标作物视差及坐标系转换关系获得作物垄的高程图，然后添加高度限制以减小噪声影响；同时对高度特征进行扩充以增强其对邻域的影响，从而获取增强的高程图；

S105、将增强高程图与二值图像进行融合生成作物垄置信密度图，将垄线提取算法应用到该作物垄置信密度图上提取导航参数。

当图像的宽和高一定时，对于BL上固定的位置，固定的角度，扫描线与图像边缘相交的坐标也是固定的。在计算扫描线密度时，需要计算扫面线的上下端点坐标。提前将这些坐标计算出来，那么就会节省很多在扫描得到密度曲线时重复计算所消耗的时间。因是提前计算好，将其值存到一个二维表格里，这样使用时只需查表即可，而不需要重新计算。这将大大节省时间。图2表示端点查找表。

a表示扇形扫描角度的范围，即最大角度与最小角度差的绝对值。Wi表示采样后的图像的宽度。angle和pos分别表示在二维表的纵向和横向移动的指针。当需要确定角度为i,位置为j的扫描线与图像上部相交的位置时，就将angle和pos指针分别移动到i和j位置，那么i行和j列相交的单元所存储的值即是当前扫描线与图像上部的交点。下部的端点与上部类似。

图3黑色矩形代表图像，中间水平线L1代表基准线BL,O点为基准线BL的左端点。通过点O的两条交叉线L2和L3为在O点进行扇形扫描时的边界。两条边界的角度差为Wa,通过O点的线L4为在O点进行扫描时的某一扫描线。Tt1为扫描线与上边界的交点，Tb1为扫描线与下边界的交点。虚线为图像上下边界的辅助延长线。M1为扫描线L4上的任一点。为通过点O的扫描线L4建立一个二维表。表的行代表角度，表的列表示图像的高度。二维表保存M1的横坐标。如图4所示。

其中Wa表示扇形扫描是角度的范围，即最大角度与最小角度的差的绝对值。Hi表示采样后的图像的高度。angle和height分别表示在二维表的纵向和横向移动的指针。当需要确定扫描线角度为i,纵坐标为j的地方横坐标时，将angle和height指针分别移动到i和j位置，那么i行和j列相交的单元所存储的值就是当前扫描线角度为i,高度为j的像素的横坐标。对于与BL相交于位置pos的地方扫描线都能在O点对应一条角度相同的扫描线L5，而在该扫描线上的任一点M,也同样会在O点对应的扫描线上寻找到相同位置的对应点M1，M和M1的纵坐标相同，横坐标相差pos。因此只需做一次读表操作和一次加操作便可得到BL上任意位置的像素的横坐标。大大减少了时间消耗。

实验采集了100幅图像，首先获取每幅图像的置信密度图，然后再利用设计的优化策略在每幅图像上检测一条垄线。图5显示了该100条垄线使用优化策略前后的时间消耗情况，优化前的时间平均时间1.421s，标准差为0.123s；优化后的时间，平均时间为0.335s，标准差为0.004s。显然经过查找表加速后可明显降低时间消耗。

智能车控制策略

因实验硬件条件所限，bumblebee2(型号BB2-03S2C-60)双目摄像系统的水平视角为43度。而在本实施例硬件平台条件下，因水平视角较小，视野中只能出现一条垄线，故本实施例只验证一条垄线的情况。即垄线从这能车底部穿过。实验中控制智能车的参数为截距d和偏航角θ。如图6所示。

设矩形为摄像机所拍摄图像，O为图像中心点，l为垄线，建立坐标系。设l与x轴的交点为M。则d为M点的横坐标，θ为l与y轴正方向的夹角。当l的斜率k>0时，为正；当k<0时，为负。为简化实验，利用右摄像机检测的垄线做导航。实验中车的状态分为两种情况，直行状态和转向状态，而转向状态又根据条件不同，分为左转，左转直行，右转，右转直行四种，下面分别阐述。

1、直行状态

如果提取到的垄线参数满足下式。此时，智能车前进方向与导航线基本一致，因而，智能车将进入直行状态。

2、转向状态

(d＜-d_t)∩(θ＜-θ_t)

若满足上式，则左转，此时d和θ同时偏离阈值，这种情况经常发生在紧急左转弯处，此时需停下来进行左转弯。

(d＞d_t)∩(θ＞θ_t)

若满足上式，则右转，此时d和θ同时偏离阈值，这种情况经常发生在紧急右转弯处，此时需停下来进行右转弯。

(d＜-d_t)∩(-θ_t＜θ＜0)

若满足上式，则前行并左转，此时d偏离阈值，这种情况经常发生在直线轨道或者较大的左弯道处，此时因是直道或弯道的曲率较小，前行不会碾压轨道，直行并左转即可修正到轨道上。

(d>d_t)∩(0＜θ＜θ_t)

若满足上式，则前行并右转。此时d偏离阈值，这种情况经常发生在直线轨道或者较大的右弯道处，此时因是直道或弯道的曲率较小，前行不会碾压轨道，直行并右转即可修正到轨道上。

直线和弧形轨道实验结果

采用扇形扫描确定第一条垄线，双峰法寻找第二条候选垄线，logistic确定第二条垄线等过程，因提取特征点和匹配较耗时，另外因智能车车轮间的距离较小，为保证智能车在行走时不碾压轨道，在偏离轨道时及时调整，避免冲出轨道，实验中设定较小的速度(1.7cm/s-3.4cm/s)以保证智能车在偏离轨道时及时发现并修正姿态。图7为直线和弧形预设轨道与智能车行走轨迹的对比图，箭头为智能车行驶的方向。由图可知，智能车与预设的轨道并无较大差异，智能车可沿着轨道安全行走且较稳定。实验中偏离轨道的最大垂直距离约为10cm，经常发生在刚进入轨道时，原因为刚进入轨道的初始状态，智能车车身已经偏离轨道，所以智能车需要进行调整后才安全行走。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种田间机器人双目视觉导航方法，其特征在于，所述田间机器人双目视觉导航方法利用特征提取算法获得特征点，依据不同特征点特性选取不同的特征点描述子、分析不同约束条件对匹配结果的影响，并依据田间机器人导航系统特点提出垄线识别的边界约束条件；将彩色图像转换为二值图像，在图像中部定义基线，在基线上利用扇形扫描获取密度曲线，同时确定作物垄的密度、获取参考垄线宽度和角度参数；设计扇形扫描密度模型和垄线间角度约束关系搜索其他垄线，并采用逻辑回归识别最邻近垄线以获取垄间距参数；

利用目标作物视差及坐标系转换关系获得作物垄的高程图，然后添加高度限制以减小噪声影响；同时对高度特征进行扩充以增强其对邻域的影响，从而获取增强的高程图；

将增强高程图与二值图像进行融合生成作物垄置信密度图，将垄线提取算法应用到该作物垄置信密度图上提取导航参数；

所述田间机器人双目视觉导航方法在图像中的一条水平线上利用扇形扫描的方法寻找垄线，在图像中定义一条设置在图像中部的基准线BL，这条线平行于水平面，穿过图像，所有的垄线都与该基准线相交，在这条基准线上利用扇形扫描寻找垄线，检测的垄线利用下式表达:

{S(x₀，y_BL，θ)|y_BL＝tan(θ)×x₀+b，θ∈[π/4，3π/4]，x₀∈[1，width]，y_BL∈[1，height]

其中x₀是垄线与基准线BL交点在基准线BL上的坐标，θ是垄线与基准线BL之间的夹角，width，height分别是图像的宽度和高度；

对于基准线BL上的任一点，通过Sector-scan方法扫描的区域为一个扇形，该扇形区域的边界为两条直线，定义直线的密度为公式为：

其中V_i是扫描线上的第i个点值，To是扫描线上所有像素数，对于基准线BL上一点，取该点所在扇形区域内密度最大的那条扫描线的密度为当前点的密度，对于基准线BL上的每一点，做同样的扇形扫描，并选出全局的最大密度，得到整幅图像的密度曲线，选择密度最大的那条直线作为第一条垄线，称为参考线。

2.如权利要求1所述的田间机器人双目视觉导航方法，其特征在于，立体匹配采用相似测度法，采用最近距离比次近距离，并设定阈值，左图像的特征点A与右图像多个特征点进行匹配，排序后得到右图像中特征点B和特征点C为最近距离和次近距离，A与B的距离设为d1为最近距离，A与C的距离设为d2为次近距离，为判断A是否与B匹配成功，设定的判定标准为d1和d2需满足下式，其中ε是设定的阈值，0≤ε≤1：

选择综合左右坐标约束、局部极线约束、唯一性约束三种约束条件。

3.如权利要求1所述田间机器人双目视觉导航方法，其特征在于，最近垄线的搜索过程依次为：寻找参考线的左边界，寻找参考线的右边界，获取垄线的宽度，寻找最近垄线；

寻找最近垄线的方法为：

当前位置的密度为扇形区域扫描线最大密度，逐像素移动，直到最大密度值在一段时间内不再更新为止，搜索即停止，所述一段时间表示经过最大密度值向左再搜索wi/2的距离，则第二条垄线位于最后的最大密度所在位置，宽度wi定义为左边界和右边界之间在基准线BL上的距离；

除参考线外还将检测四条候选垄线，如果参考线在图像的右边部分，搜索过程将在参考垄线的左边进行，如果参考线位于图像左边，搜索过程将向右进行，下一个最大密度处将被视为第二条垄线的位置，搜索出第三、第四、第五条垄线；

采用logistic方法进行过滤，从四条候选垄线中选择一条相邻垄线。

4.如权利要求1所述田间机器人双目视觉导航方法，其特征在于，构建一个特征向量X＝[x₀ x₁ x₂ x₃ x₄]^T添加项x₀＝1,相关的权重向量为训练该模型获得合适的φ，使得φ_TX对于真正的第二条垄线，其值尽可能的小，而非第二条垄线φ_TX，其值尽可能的大。

5.如权利要求1所述田间机器人双目视觉导航方法，其特征在于，将特征点变换为特征块，对于右图像对应的高程图上的值，将该值扩展到该位置周围的区域，以特征点为中心(Ru，Rv，Yw)定义一个矩形区域，矩形的宽为w，高为h，在该矩形区域内的所有值都设置为Yw，若有效特征点较稠密，采用连线法来增强效果。

6.如权利要求1所述田间机器人双目视觉导航方法，其特征在于，获得高程图后，将密度图与高程图结合起来，让密度图和高程图利用下式做加权和运算：

I＝w*I₁+I₂；

其中I₁为二值图像，I₂为高程图，I为获得置信密度图。

7.一种采用权利要求l所述田间机器人双目视觉导航方法的田间机器人双目视觉导航系统，其特征在于，所述田间机器人双目视觉导航系统包括主处理器及与该主处理器连接的双目摄像系统、人机交互平台、运动控制系统；

双目摄像系统，用于实时采集田间里的田垄信息，传送给主处理器进行处理；

主处理器，用于将采集到的双目视屏图像通过人机交互平台进行显示；

用户通过人机交互平台向主处理器发送命令；

用户通过人机交互平台向主处理器发送自动导航命令，主处理器接收到命令后将通过双目摄像机获取实时图像，进行处理，获得导航参数，通过人机交互系统显示，并向运动控制系统发送导航命令，控制智能车沿导航路线行走，直到用户再次发送命令，停止导航任务。