CN108669046A - 融合视觉导航与北斗定位的植保无人车及控制方法 - Google Patents

Abstract

本发明属于智能农业装备技术领域，特别是涉及一种融合视觉导航与北斗定位的植保无人车及控制方法，该植保无人车包括车体、设置在车体内部的整车控制器、分别安装在车体前后的两个摄像头、安装在车体顶部的北斗定位模块、安装在车体两侧的液压撑起机构、行走轮和电源；所述行走轮的支架上方设置有转向机构，底部设置有驱动机构；所述整车控制器的输入端与摄像头、北斗定位模块连接，输出端与液压撑起机构、转向机构和驱动机构连接，所述电源为整车供电。本发明以田间视觉导航及视觉判断横移苗列数为主和地头一般北斗定位为辅，融合视觉导航的近距离精密检测和北斗定位的远距离预测优势，实现植保喷药的高精度无人化作业，实用性较高。

Description

融合视觉导航与北斗定位的植保无人车及控制方法

技术领域

本发明属于智能农业装备技术领域，特别是涉及一种融合视觉导航与北斗定位的植保无人车及控制方法。

背景技术

植保施药是农业生产的重要一环，目前我国还是以人工背负式施药和拖拉机悬挂式施药为主，目前植保无人机施药也在逐渐推广应用。背负式施药的工作效率低，劳动强度大，而且施药人员容易吸入农药伤害身体。拖拉机悬挂式施药，与背负式施药相比，虽然施药效率高、节省劳动力，但是驾驶员还会接触和吸入药液，不能避免农药对人体的伤害。无人机施药可以有效减少施药人员吸入药液的危险，能对拖拉机不好进入的丘陵地带进行施药，但是由于其续航能力较低、带药量较少，而且遥控操作也需要一定的技术，不太适合平原大面地块的施药作业。

精密GNSS农田导航系统(定位精度5cm)已经开始推广使用，主要用于耕作、播种等没有农作物的农田作业；但是由于精密GNSS价格较高不能大面积推广使用，而价格便宜、定位精度10m左右的一般GNSS不能单独用于农田作业导航；目前，我国的民用GNSS定位导航处于GPS和北斗混用的状态，不久的将来，北斗会完全取代GPS。视觉导航已经开发出了样机，实测导航线跟随精度2cm，高于精密GNSS的定位精度，可以用于包括有农作物的植保等所有农田作业。目前的精密GNSS农田导航和视觉农田导航，还都只是作业过程的行走导航，在地头还需要人工驾驶掉头。针对现有拖拉机进行地头自动回转的研究也不少，但是由于其复杂性，还没有切实可行的解决方案。

发明内容

针对现有技术中存在的缺陷，本发明提供一种融合视觉导航与北斗定位的植保无人车及控制方法，以田间视觉导航及视觉判断横移苗列数为主和地头一般北斗定位为辅，融合视觉导航的近距离精密检测和北斗定位的远距离预测优势，实现植保喷药的高精度无人化作业，实用性较高。

为了实现上述目的，本发明采用以下技术方案：

本发明提供一种融合视觉导航与北斗定位的植保无人车，包括车体、设置在车体内部的整车控制器、分别安装在车体前后的两个摄像头、安装在车体顶部的北斗定位模块、安装在车体两侧的液压撑起机构、行走轮和电源；所述行走轮的支架上方设置有转向机构，底部设置有驱动机构；所述整车控制器的输入端与摄像头、北斗定位模块连接，输出端与液压撑起机构、转向机构和驱动机构连接，所述电源为整车供电。

进一步地，还包括安装在行走轮上的角度传感器，所述角度传感器与整车控制器的输入端连接。

优选地，所述液压撑起机构采用液压千斤顶。

进一步地，所述转向机构包括步进电机和与步进电机连接的蜗轮蜗杆机构，用于驱动行走轮的旋转和定位行走轮的方向；所述驱动机构包括伺服电机，伺服电机通过皮带或者齿轮传动驱动行走轮行走。

进一步地，还包括遥控器，所述遥控器通过无线网络与整车控制器控制连接。

本发明还提供一种融合视觉导航与北斗定位的植保无人车的控制方法，包含以下步骤：

步骤1，通过北斗定位系统测量两边地头的位置坐标，并输入车载北斗定位模块；

步骤2，驾驶员将植保无人车驾驶到田地里，做好准备工作后下车，然后通过遥控器启动植保无人车；

步骤3，视觉导航系统仿生驾驶员控制方向盘，使植保无人车仿形作物列自动行驶作业；

步骤4，定时读取北斗定位坐标，并计算到地头的距离，通过北斗定位系统确认植保无人车距离地头小于等于预设距离时，控制无人车降速，并启动视觉检测地头位置程序；

步骤5，在正常拍摄和处理导航目标线的同时，定时判断图像上是否有地头，确定有地头后，控制植保无人车停止在地头位置；

步骤6，行走轮向未作业地方转动90度后横向移动，同时摄像头拍摄并判断通过的苗列数，移动到达设定的苗列数后停车；

步骤7，行走轮再同向转动90度，实现掉头行走；

以上步骤3至步骤7循环往复，直到完成全部作业或者遥控停车为止。

进一步地，所述步骤3中植保无人车仿形作物列的具体实现过程为：(1)在竖直方向设定图像中心三分之一宽度为处理窗口；(2)通过2G-R-B将彩色图像二值化；(3)逐行扫描图像，通过分析像素值的大小，找到苗列中心线上的像素位置；(4)将各个扫描线上苗列中心位置取平均，作为已知点，然后用过已知点Hough变换回归出苗列的中心线。

进一步地，所述步骤3中视觉导航系统仿生驾驶员控制方向盘的控制方法为：利用上述图像检测出的苗列中心线的偏移参数和角度传感器的旋转角度计算出方向盘的旋转量，控制步进电机旋转方向盘，在方向盘转动过程中，实时检测苗列中心线和角度传感器的数据变化，调整步进电机的旋转方向和转动量；根据行驶方向，导航系统自动切换使用前后两个摄像头。

进一步地，所述步骤5中判断图像上是否有地头的检测与定位方法为：在图像上方1/3高度范围设置地头处理窗口，检测完作物列中心线参数后，在地头处理窗口检测地头的有无；田地里的颜色纹理与地头以外不同，采用颜色纹理分析判断地头的有无；如果有地头，从下一帧图像开始将地头处理窗口扩大到整个图像；在检测到地头以后，开始准备制动，当图像中没有作物时，结合摄像机标定参数，计算出植保无人车到地头的距离，控制植保无人车在地头停车。

进一步地，所述步骤6中横向移动过程中苗列数的计数方法为：对采集的图像进行纵向2G-R-B结果累加，获得绿色分量强调的累加分布图，通过检测其峰值和谷值，获得图像上的作物列和作物间的位置，通过分析处理移动过程中的序列图像，获得经过的作物列数。

与现有技术相比，本发明具有以下优点：

1、本发明以田间视觉导航为主和地头一般北斗定位为辅，融合视觉导航的近距离精密检测和北斗定位的远距离预测优势，实现植保喷药的高精度无人化作业，性价比高。

2、与目前流行的植保车和植保无人机相比，本发明的植保无人车具有以下性能优势：作业过程不需要人参与，自动化程度高，减少了人工成本，提高了工作效率；不存在续航能力和载药量的缺点；能够有效避免漏喷和重喷现象。

3、仿生驾驶员的眼睛，同一个摄像头在不同作业阶段，分别用于导航、地头判断、地头精准定位和横移作物列计数；仿形作物列自动行驶，可以避免行走轮压苗；以行走轮的旋转，代替传统的车体旋转，不需要复杂的转向和档位控制；在地头，不需要回转空间，减少压苗现象。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种融合视觉导航与北斗定位的植保无人车的结构示意图；

图2是转向机构和驱动机构的结构示意图；

图3是本发明实施例一种融合视觉导航与北斗定位的植保无人车的控制方法流程图；

图4是仿形作物列中心线的图像检测流程图；

图5是地头图像检测及精确定位的流程图；

图6是横向移动过程中苗列数的计数方法流程图；

图7是植保无人车工作流程图。

图中序号所代表的含义是：1.车体，2.摄像头，3.北斗定位模块，4.液压千斤顶，5.角度传感器，6.行走轮，7.步进电机，8.蜗轮，9.蜗杆，10.支架，11.伺服电机，12.皮带，13.皮带轮，14.苗列。

具体实施方式

实施例一，如图1所示，一种融合视觉导航与北斗定位的植保无人车，包括车体1、设置在车体1内部的整车控制器、分别安装在车体1前后的两个摄像头2、安装在车体1顶部的北斗定位模块3、安装在车体1两侧的液压撑起机构、行走轮6、安装在行走轮6上的角度传感器5和电源；优选地，所述液压撑起机构采用液压千斤顶4；所述行走轮6的支架10上方设置有转向机构，底部设置有驱动机构；所述整车控制器的输入端与摄像头2、北斗定位模块3和角度传感器5连接，输出端与液压撑起机构、转向机构和驱动机构连接，所述电源为整车供电。

其中，两个摄像头2用于不同行驶方向的导航、地头的检测、地头精准定位和横移作物列计数；所述角度传感器5用于提供行走轮6的角度参数；所述北斗定位模块3用于定时获取车体1离地头的距离；所述液压撑起机构用于依次撑起车体1两侧，并90度旋转行走轮6；所述电源采用电瓶或者柴油发动机为整车供电。

在本实施例中，如图2所示，所述转向机构包括步进电机7和与步进电机7连接的蜗轮蜗杆机构，步进电机7带动蜗杆9在水平方向转动，蜗杆9带动蜗轮8转动，蜗轮8带动行走轮6在竖直方向转动，所述转向机构用于驱动行走轮6的旋转并精确定位行走轮6的方向，每个行走轮6通过一个步进电机7驱动，作为一个行走单元，能够在任何方向不受限制地行走；所述驱动机构包括伺服电机11，伺服电机11通过皮带或者齿轮传动驱动行走轮6行走，本实施例采用皮带传动机构，皮带传动机构包括皮带12和皮带轮13。

除了上述结构，植保无人车还包括遥控器，所述遥控器通过无线网络与整车控制器控制连接，该遥控器采用两千米以上的超远距离无线遥控器，来实现遥控启动和停车。

如图7所示，植保无人车的动作过程如下：

视觉导航作业，北斗定位到地头距离小于20m时减速，地头精定位后停车，左侧液压千斤顶4顶起行走轮6，左侧2个行走轮90度旋转，左侧液压千斤顶4放下行走轮6，右侧液压千斤顶4顶起行走轮6，右侧2个行走轮90度旋转，右侧液压千斤顶4放下行走轮6，车体横向移动后停车，左侧液压千斤顶4顶起行走轮6，左侧2个行走轮90度旋转，左侧液压千斤顶4放下行走轮6，右侧液压千斤顶4顶起行走轮6，右侧2个行走轮90度旋转，右侧液压千斤顶4放下行走轮6，重新开始视觉导航作业。作业过程中，如果出现特殊情况，可以随时通过遥控停车。

如图3所示，本实施例还提供一种融合视觉导航与北斗定位的植保无人车的控制方法，该方法包含以下步骤：

步骤S301，通过北斗定位系统测量两边地头的位置坐标，并输入车载北斗定位模块；

步骤S302，驾驶员将植保无人车驾驶到田地里，做好准备工作后下车，然后通过遥控器启动植保无人车；

步骤S303，视觉导航系统仿生驾驶员控制方向盘，使植保无人车仿形作物列自动行驶作业；

步骤S304，定时读取北斗定位坐标，并计算到地头的距离，通过北斗定位系统确认植保无人车距离地头小于等于预设距离(比如预设距离是20m，误差是10m)时，控制无人车降速，并启动视觉检测地头位置程序；

步骤S305，在正常拍摄和处理导航目标线的同时，定时判断图像上是否有地头，确定有地头后，控制植保无人车停止在地头位置；

步骤S306，4个行走轮向未作业地方转动90度后横向移动，同时摄像头拍摄并判断通过的苗列数，移动到达设定的苗列数后停车；

步骤S307，4个行走轮再同向转动90度，实现掉头行走；

以上步骤S303至步骤S307循环往复，直到完成全部作业或者遥控停车为止。

在本实施例中，如图4所示，步骤S303中植保无人车仿形作物列的具体实现过程为：

可以通过设定适当的相机拍摄距离，实现对苗列线的仿形跟踪检测。相机的架设高度设为1.2m、俯视角度设为45°，这样镜头中心线与地面交点距离为1.2m。采用60°角镜头，这样相机的最近和最远拍摄距离分别为0.32m(1.2*tan15°)和4.48m(1.2*tan75°)，实际拍摄距离为4.48-0.32＝4.16m。也就是说，每次拍摄约为4m长苗列，将其作为直线回归，实现对弯曲苗列线的仿形跟踪检测。

仿形作物列中心线的图像检测算法为：(1)在竖直方向设定图像中心三分之一宽度为处理窗口，保证目标苗列线是处理区域中的最长线；(2)通过2G-R-B将彩色图像二值化，这样可以消除光线影响的同时强调苗列像素；(3)逐行扫描图像，通过分析像素值的大小，找到苗列中心线上的像素位置；(4)将各个扫描线上苗列中心位置取平均，作为已知点，然后用过已知点Hough变换回归出苗列的中心线。检测算法需要能够适应作物从小苗到大苗的不同生长阶段。小苗和大苗环境的图像差异性很大。例如，对于水稻田，小苗环境的水很多、苗很小，随着水稻的生长，水越来越少，苗越来越茂密，直到完全看不见水。本检测算法的关键技术是能够适应这样不断变化的植保作业环境，能够适应于所有农作物的不同生长阶段。

在本实施例中，步骤S303中视觉导航系统仿生驾驶员控制方向盘的控制方法为：

利用上述图像检测出的苗列中心线的偏移参数和角度传感器的旋转角度计算出方向盘的旋转量，控制步进电机旋转方向盘，在方向盘转动过程中，实时检测苗列中心线和角度传感器的数据变化，调整步进电机的旋转方向和转动量。由于本发明植保无人车在地头只转动车轮不转动车身，因此需要在车体前后分别安装一套视觉导航系统。两套视觉导航系统分别需要一台摄像机和一个角度传感器，可以共用一台控制器，根据行驶方向自动切换使用。

在本实施例中，如图5所示，步骤S304和步骤S305的实现过程如下：

在开始作业后，每秒钟获取一次北斗定位数据，并结合预存的地头位置数据，计算车辆到地头的距离，在计算获得车辆到地头的距离小于20m时，停止获取北斗定位数据，车辆开始降速，此后摄像机图像在用于导航的同时，对拍摄的每帧图像都要判断有没有地头。如果判断有地头，计算到地头的距离，并控制车辆在地头停车。设定车辆到地头距离小于20m时开始图像检测地头位置，即可以保证在北斗定位10m误差内车辆不会跑出地外，又有至少10m长的车辆降速空间。

判断图像上是否有地头的检测与定位方法为：在图像上方1/3高度范围设置地头处理窗口，检测完作物列中心线参数后，在地头处理窗口检测地头的有无；田地里的颜色纹理与地头以外不同，采用颜色纹理分析判断地头的有无；如果有地头，从下一帧图像开始将地头处理窗口扩大到整个图像；在检测到地头以后，开始准备制动，当图像中没有作物时，结合摄像机标定参数，计算出植保无人车到地头的距离，控制植保无人车在地头停车，然后执行后续动作。

在本实施例中，如图6所示，所述步骤S306中横向移动过程中苗列数的计数方法为：

当植保无人车在地头停车和4轮旋转90度后，开始启动横移。在横移前，处理器自动切换控制相反方向相机进行图像采集和作物列计数处理。人在边走边数苗列数时，一般是观察过了几个苗列间隙，模仿人数苗列的方法，对采集的图像，进行纵向2G-R-B结果累加，获得绿色分量强调的累加分布图，通过检测其峰值和谷值，获得图像上的作物列和作物间的位置。通过分析处理移动过程中的序列图像，获得经过的作物列数。当其经过的作物列数达到设定数值时停车，再90度同向旋转4个行走轮，然后重新开始行驶作业。

对于人眼能看出苗列间隔的农田，本方案在理论上是可行的。对于人眼都看不出来苗列间隙的农田，植保无人车也无法下地作业，不在考虑之列。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来讲是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽范围。

Claims (10)

1.一种融合视觉导航与北斗定位的植保无人车，包括车体和设置在车体内部的整车控制器，其特征在于，还包括分别安装在车体前后的两个摄像头、安装在车体顶部的北斗定位模块、安装在车体两侧的液压撑起机构、行走轮和电源；所述行走轮的支架上方设置有转向机构，底部设置有驱动机构；所述整车控制器的输入端与摄像头、北斗定位模块连接，输出端与液压撑起机构、转向机构和驱动机构连接，所述电源为整车供电。

2.根据权利要求1所述的融合视觉导航与北斗定位的植保无人车，其特征在于，还包括安装在行走轮上的角度传感器，所述角度传感器与整车控制器的输入端连接。

3.根据权利要求1所述的融合视觉导航与北斗定位的植保无人车，其特征在于，所述液压撑起机构采用液压千斤顶。

4.根据权利要求1所述的融合视觉导航与北斗定位的植保无人车，其特征在于，所述转向机构包括步进电机和与步进电机连接的蜗轮蜗杆机构，用于驱动行走轮的旋转和定位行走轮的方向；所述驱动机构包括伺服电机，伺服电机通过皮带或者齿轮传动驱动行走轮行走。

5.根据权利要求1所述的融合视觉导航与北斗定位的植保无人车，其特征在于，还包括遥控器，所述遥控器通过无线网络与整车控制器控制连接。

6.一种利用权利要求1至5任一项所述的融合视觉导航与北斗定位的植保无人车实现的控制方法，其特征在于，包含以下步骤：

步骤1，通过北斗定位系统测量两边地头的位置坐标，并输入车载北斗定位模块；

步骤2，驾驶员将植保无人车驾驶到田地里，做好准备工作后下车，然后通过遥控器启动植保无人车；

步骤3，视觉导航系统仿生驾驶员控制方向盘，使植保无人车仿形作物列自动行驶作业；

步骤4，定时读取北斗定位坐标，并计算到地头的距离，通过北斗定位系统确认植保无人车距离地头小于等于预设距离时，控制无人车降速，并启动视觉检测地头位置程序；

步骤5，在正常拍摄和处理导航目标线的同时，定时判断图像上是否有地头，确定有地头后，控制植保无人车停止在地头位置；

步骤6，行走轮向未作业地方转动90度后横向移动，同时摄像头拍摄并判断通过的苗列数，移动到达设定的苗列数后停车；

步骤7，行走轮再同向转动90度，实现掉头行走；

以上步骤3至步骤7循环往复，直到完成全部作业或者遥控停车为止。

7.根据权利要求6所述的融合视觉导航与北斗定位的植保无人车的控制方法，其特征在于，所述步骤3中植保无人车仿形作物列的具体实现过程为：（1）在竖直方向设定图像中心三分之一宽度为处理窗口；（2）通过2G-R-B将彩色图像二值化；（3）逐行扫描图像，通过分析像素值的大小，找到苗列中心线上的像素位置；（4）将各个扫描线上苗列中心位置取平均，作为已知点，然后用过已知点Hough变换回归出苗列的中心线。

8.根据权利要求7所述的融合视觉导航与北斗定位的植保无人车的控制方法，其特征在于，所述步骤3中视觉导航系统仿生驾驶员控制方向盘的控制方法为：利用上述图像检测出的苗列中心线的偏移参数和角度传感器的旋转角度计算出方向盘的旋转量，控制步进电机旋转方向盘，在方向盘转动过程中，实时检测苗列中心线和角度传感器的数据变化，调整步进电机的旋转方向和转动量；根据行驶方向，导航系统自动切换使用前后两个摄像头。

9.根据权利要求6所述的融合视觉导航与北斗定位的植保无人车的控制方法，其特征在于，所述步骤5中判断图像上是否有地头的检测与定位方法为：在图像上方1/3高度范围设置地头处理窗口，检测完作物列中心线参数后，在地头处理窗口检测地头的有无；田地里的颜色纹理与地头以外不同，采用颜色纹理分析判断地头的有无；如果有地头，从下一帧图像开始将地头处理窗口扩大到整个图像；在检测到地头以后，开始准备制动，当图像中没有作物时，结合摄像机标定参数，计算出植保无人车到地头的距离，控制植保无人车在地头停车。

10.根据权利要求6所述的融合视觉导航与北斗定位的植保无人车的控制方法，其特征在于，所述步骤6中横向移动过程中苗列数的计数方法为：对采集的图像进行纵向2G-R-B结果累加，获得绿色分量强调的累加分布图，通过检测其峰值和谷值，获得图像上的作物列和作物间的位置，通过分析处理移动过程中的序列图像，获得经过的作物列数。