发明内容
本发明提供了一种成本低、效率高、智能的农业车辆视觉导航系统及其导航方法。
实现本发明目的之一的农用车辆视觉导航系统,包括:视觉导航平台模块,与所述视觉导航平台模块相连的导航路径检测模块、转向控制模块和安全预警模块;所述导航路径检测模块,用于实时采集、处理、分析图像,获得导航路径参数;所述转向控制模块,用于获得农用车辆作业速度与转向轮转角状态,根据导航路径参数实现指定角度的转向;所述安全预警模块,用于检测周围环境信息,进行分析对比并报警。
所述导航路径检测模块,包括用于分析曲率大小的曲率分析模块、用于识别作业与未作业边界的小曲率路径检测模块和大曲率路径检测模块。
所述转向控制模块,包括电控液压转向装置,小曲率路径的跟踪模块,大曲率路径跟踪模块和传感器中位标定模块,所述液压转向装置中增加了一个步进电机控制的闭式液压转向器,分别与原转向液压缸和原液压转向器相连。
所述安全预警模块,包括田头线检测模块,障碍物检测模块和报警装置。
所述视觉导航平台模块软件系统,包括参数实时显示模块,视频图像与GPS定位显示模块,实时航向指示模块,动画示意模块,导航状态控制模块,转向调试模块和GPS设置模块。
实现本发明目的之二的农用车辆视觉导航方法,包括导航路径检测方法、转向控制方法和安全预警方法;所述导航路径检测方法包括相机安装方式、小曲率路径检测和大曲率路径检测;所述转向控制方法包括电控液压转向改装、小曲率路径跟踪、大曲率路径跟踪和传感器中位标定;所述安全预警方法包括田头线检测和障碍物检测。
所述小曲率路径检测,利用旋转投影算法和导航路径参数直方图融合算法,通过角度枚举对图像ROI实施旋转变换,由旋转后图像的列均值与枚举角度构成旋转投影矩阵,对其行向量实施差分运算得到差分旋转投影矩阵,由差分旋转投影矩阵的极值可确定图像导航路径,即航向偏差与航位偏差,进而可以求得世界坐标系下的导航路径参数,在此过程中,实施线性压缩,旋转角度先粗分再细分的二步法。
所述大曲率路径检测是,采用双切线大曲率路径转弯半径估计算法,具体步骤如下:
(1)确定初始旋转中心点,即图像的旋转变换所围绕的确定点,通过下述公示确定:
其中(u,v)是原图像坐标,(u0,v0)是旋转中心坐标,初始旋转中心点决定着第一条切线的位置,设定u0=width/2,v0=3*height/4,且取图像ROI为(0,height/2,width,height),以缩小曲线路径检测范围,其中width为图像的宽带,height为图像的高度,单位均为像素数;
(2)实施旋转投影算法,求取曲线的第一条近似切线l1,其表征参数为图像u轴截距cc1及与图像v轴夹角αc1,其中枚举角度取Δα=1°,线性压缩比β=0.25,旋转α从-45°到45°;
(3)确定第二个旋转中心点,求取曲线的第二条近似切线,在相机一定视野中,曲线具有连续性,第二旋转中心点应该依赖于第一条切线位置,为此,沿l1直线上在高度方向上height/4处确定为第二旋转中心,即u0=l1|y=height/4,v0=height/4,且取图像ROI为(u0-width/4,0,u0+width/4,height/2),旋转投影算法仍取所述步骤(2)中相同的参数,得到第二条近似切线l2,其表征参数为图像u轴截距cc2及与图像v轴夹角αc2。
(4)求取大曲率路径转弯半径,根据地面直线与图像直线的转换关系:
其中c
c为图像坐标下直线在u轴的截距,k
c=tanα
c,c、k为地面坐标下直线截距与正切,f
x,f
y,φ为相机的内外参数,通过标定可以获得,通过上述公式将切线l
1、l
2转换为地面坐标系下的直线方程,进而可以获得其对应的α
1、α
2及α=α
1-α
2,大曲率路径的高度d通过图像坐标系中的两旋转中心点以及相机的视场确定,可以求出跟踪地面大曲率路径,在航位偏差为0的前提下,转向轮转向的角度
所述液压转向改造,是在现有液压转向器的基础上增加一个闭式液压转向器,采用两个转向器同时控制转向油缸;所述相机安装,是将相机安装在农用车辆前进方向的侧面,高于所述农用车辆的顶部,并与水平面成一俯角。
所述传感器中位标定,包括如下步骤:
(1)装上角度传感器,后轮处于中位附近时,调整角度传感器,让其输出在传感器中间电压左右;
(2)操作人员启动农用车辆,沿固定直线以一定速度行驶,行驶时间不少于30s;
(3)在启动运行5s左右基本稳定后,以3000Hz的采样率采集20s的中位电压;
(4)计算60000个中位电压的平均值以及均方差,当均方差低于0.08V时判定此次标定有效,否则重复操作。
所述障碍物检测,首先通过图像颜色进行分割并二值化,获得潜在障碍物的位置及区域;再通过双目匹配、超声波进一步确认障碍物的存在与否。
本发明的农用车辆视觉导航系统及其导航方法,对田间播种机械、耕作机械以及收获机械的作业与未作业边界进行识别并获得导航路径,由此获得航向偏差与航位偏差,通过转向控制系统对农业行走进行自动转向,以达到辅助驾驶的目的,提高作业精度、作业效率,减轻驾驶员劳动强度,节能降耗,提升智能化水平等。
具体实施方式
如图1所示,本发明的农用车辆视觉导航系统,包括:视觉导航平台模块,与所述视觉导航平台模块相连的导航路径检测模块、转向控制模块和安全预警模块;所述导航路径检测模块,用于实时采集、处理、分析图像,获得导航路径参数;所述转向控制模块,用于获得农用车辆作业速度与转向轮转角状态,根据导航路径参数实现指定角度的转向;所述安全预警模块,用于检测周围环境信息,进行分析对比并报警。
所述导航路径检测模块,包括用于分析曲率大小的曲率分析模块、用于识别作业与未作业边界的小曲率路径检测模块和大曲率路径检测模块。所述转向控制模块,包括液压转向装置,小曲率路径的跟踪模块,大曲率路径跟踪模块和传感器中位标定模块。
如图2所示,所述液压转向装置中增加了一个步进电机控制的闭式液压转向器,分别与原转向液压缸和原液压转向器相连。所述安全预警模块,包括田头线检测模块,障碍物检测模块和报警装置。所述视觉导航平台模块软件系统,包括参数实时显示模块,视频图像与GPS定位显示模块,实时航向指示模块,动画示意模块,导航状态控制模块,转向调试模块和GPS设置模块。
本发明的农用车辆视觉导航方法,包括导航路径检测方法、转向控制方法和安全预警方法;所述导航路径检测方法包括相机安装方式、小曲率路径检测和大曲率路径检测;所述转向控制方法包括电控液压转向改装、小曲率路径跟踪、大曲率路径跟踪和传感器中位标定;所述安全预警方法包括田头线检测和障碍物检测。
所述小曲率路径检测,利用旋转投影算法和导航路径参数直方图融合算法,通过角度枚举对图像ROI实施旋转变换,由旋转后图像的列均值与枚举角度构成旋转投影矩阵,对其行向量实施差分运算得到差分旋转投影矩阵,由差分旋转投影矩阵的极值可确定图像导航路径,即航向偏差与航位偏差,进而可以求得世界坐标系下的导航路径参数。同理可以对田头线进行检测。
为了提高算法的实时性,提出设定合理的ROI、实施线性压缩、旋转角度先粗分再细分的二步法以及充分利用前帧信息4种处理方法,使处理一帧用时6ms左右。通过对不同条件下成熟小麦图像测试表明,该算法识别导航路径准确率达到95%。
为了提高旋转投影算法的鲁棒性,提出了一种导航路径参数直方图融合算法,其核心思路是:①利用多次检测结果建立频次直方图,控制周期内检测得到的结果出现频次最高的最可能成为最终结果。②依据导航路径参数的变化连续性原理对结果进行约束,即本周期内检测得到的结果必须与上周期检测结果相差不大。通过此思路算法,获得的导航路径参数可信度更高,抗干扰性更强。通过提出的直方图融合算法能够更进一步提高导航路径识别精度,为导航控制提高了坚实的基础。
所述大曲率路径检测是,采用双切线大曲率路径转弯半径估计算法,具体步骤如下:
(1)确定初始旋转中心点,即图像的旋转变换所围绕的确定点,通过下述公示确定:
其中(u,v)是原图像坐标,(u0,v0)是旋转中心坐标,初始旋转中心点决定着第一条切线的位置,设定u0=width/2,v0=3*height/4,且取图像ROI为(0,height/2,width,height),以缩小曲线路径检测范围,其中width为图像的宽带,height为图像的高度,单位均为像素数;
(2)实施旋转投影算法,求取曲线的第一条近似切线l1,其表征参数为图像u轴截距cc1及与图像v轴夹角αc1,其中枚举角度取Δα=1°,线性压缩此β=0.25,旋转α从-45°到45°;
(3)确定第二个旋转中心点,求取曲线的第二条近似切线,在相机一定视野中,曲线具有连续性,第二旋转中心点应该依赖于第一条切线位置,为此,沿l1直线上在高度方向上height/4处确定为第二旋转中心,即u0=l1|y=height/4,v0=height/4,且取图像ROI为(u0-width/4,0,u0+width/4,height/2),旋转投影算法仍取所述步骤(2)中相同的参数,得到第二条近似切线l2,其表征参数为图像u轴截距cc2及与图像v轴夹角αc2。
(4)求取大曲率路径转弯半径,根据地面直线与图像直线的转换关系:
其中c
c为图像坐标下直线在u轴的截距,k
c=tanα
c,c、k为地面坐标下直线截距与正切,f
x,f
y,φ为相机的内外参数,通过标定可以获得,通过上述公式将切线l
1、l
2转换为地面坐标系下的直线方程,进而可以获得其对应的α
1、α
2及α=α
1-α
2,大曲率路径的高度d通过图像坐标系中的两旋转中心点以及相机的视场确定,可以求出跟踪地面大曲率路径,在航位偏差为0的前提下,转向轮转向的角度
路面与麦田试验结果表明:双切线转弯半径估计算法能够有效地检测曲线路径转弯半径;在正常小麦收获速度挡位下,联合收获机能够跟踪转弯半径大于10m的曲线路径,路面曲线跟踪误差最大值为0.19m,田间曲线边界跟踪过程中割幅变化范围最大为0.29m。
如图2所示,所述电控液压转向改装,是在现有液压转向器的基础上增加一个步进电机控制的闭式液压转向器3,通过增加的油管1,2,4与原有的液压转向器和转向油缸相连,采用两个转向器同时控制转向油缸。为了驾驶操作安全,实现人工驾驶与视觉导航控制系统自动驾驶,切换自如,互不干涉,同时为了消除液压油路切换过程中产生的强烈冲击,在不改变原有液压系统工作性能的基础上,液压系统设计中增加一个闭式液压转向器,使得两个液压转向器控制同一转向液压缸。
所述相机安装方式,是将相机安装在农用车辆前进方向的侧面,高于所述农用车辆的顶部,并与水平面成一俯角。相机安装的位置和俯视角度,直接影响采集到的图像的式样、图像处理算法以及联合收获机行走的控制方法等,因此相机的安装位置和俯视角度非常重要。相机距离行走目标越近,采集图像的效果越好,自动控制的精度也越高,但为了使控制系统具有预见性,相机需要有一定的预瞄距离,因此,本研究采用从行走目标的上方采集图像的方案,在农用车辆前方安装相机,相机安装的高度和俯视角度,通过试验进行确定,最后确定为φ=30°,h=3.1m,OP1=3.4m,P1P3=11.5m,。
所述传感器中位标定,包括如下步骤:
(1)装上角度传感器,后轮处于中位附近时,调整角度传感器,让其输出在传感器中间电压左右;
(2)操作人员启动农用车辆,沿固定直线以一定速度行驶,行驶时间不少于30s;
(3)在启动运行5s左右基本稳定后,以3000Hz的采样率采集20s的中位电压;
(4)计算60000个中位电压的平均值以及均方差,当均方差低于0.08V时判定此次标定有效,否则重复操作。
标定结果对自动转向系统具有重要的意义:首先,中位电压的精确程度直接决定了控制量的极性,也就是转向的方向性问题;其次,通过沿直线行驶得到的后轮中位电压屏蔽了车辆转向后轮本身的制造工艺问题,提高了自动转向系统的准确性。
所述障碍物检测,首先通过图像颜色进行分割并二值化,获得潜在障碍物的位置及区域;再通过双目匹配、超声波进一步确认障碍物的存在与否。
障碍物检测中提出了一种采用图像颜色H、I、S分量识别障碍物与双目匹配、三维超声波测障相结合的田间障碍物检测方法。利用H、S颜色分量对单目图像实施固定阈值分割并二值化,获得潜在障碍物的位置及区域。
双目匹配采用尺度空间不变(SIFT)算法获取潜在障碍物区域特征,采用近似最近邻分类算法(ANN)进行快速特征匹配,获得潜在障碍物的世界坐标,由此进一步确认障碍物以及与车之间的距离。提出了提高算法效率的措施,分析了图像压缩比与运行时间、SIFT特征数以及匹配数之间的关系。试验得出,在有障碍物的情况下,检测时间不超过200ms。
三维超声波测障是基于单片机设计,在农用车辆的前进方向、左右两侧各安装一套超声波传感器发射装置。当碰到障碍物的时候,超声波回被障碍物阻挡而立刻返回,一段时间过后超声波接收器会接收到回波,同时停止计时,计时器记录下这一段时间为t。根据空气中的声速可以计算出发射点距障碍物的距离s。
本发明的农用车辆视觉导航的控制方法如下:
如图3示,双闭环智能控制器的结构方式。大闭环由视觉检测系统和车速检测反馈以及智能控制器构成,智能控制器可以根据路径的状态采用直线路径还是曲线路径控制算法,得到对应的控制量。小闭环以后轮转角测量作为单位负反馈构成,确保控制量适时完全执行。
结构中,反馈环节检测参数有航位偏差D、航向偏差θ(直线路径参数)、曲线路径转弯半径R、直线与曲线的判决因子δ、行车速度v以及转向轮当前转角α0,这些参数作为智能控制器的输入,控制量为转向轮转角。
直线路径与曲线路径通过判决因子δ判定。根据旋转投影算法原理,直线路径与曲线路径差异体现在差分旋转投影矩阵极值δ的大小上,这主要是直线路径经旋转后在图像列均值上具有集中突变的特点,差分旋转投影矩阵极值较大,而曲线路径不管旋转到什么位置,曲线路径很难被集中到某一列或几列,列均值较分散,差分旋转投影矩阵极值较小,直线路径所对应的极值为曲线的2-6倍。通过设定合适的阈值δ0(本系统取15),当差分旋转投影矩阵极值δ>δ0时,给出航向偏差θ;当δ≤δ0时,认为是曲线路径,采用转弯半径估计算法,得到转弯半径R,给出航向偏差θ以及转弯半径R。智能控制器根据判决因子δ的大小确定采用直线路径控制算法还是曲线路径控制算法,直线路径控制算法采用模糊PD控制方法,曲线路径控制算法采用分段式控制方式。阈值δ0的选取不可能绝对分开直线路径与曲线路径,但δ0可以取大点,以增加直线路径误判为曲线路径的机会,减少曲线路径误判为直线路径的机会。
上面所述的实施例仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神前提下,本领域普通工程技术人员对本发明技术方案做出的各种变形和改进,均应落入本发明的权利要求书确定的保护范围内。