CN104898656A - 一种基于立体视觉的农田多机器人跟随耕地系统及方法 - Google Patents

Abstract

一种基于立体视觉的农田多机器人跟随耕地系统及方法，包括触屏操纵杆式控制端、立体视觉识别定位系统、无线通信系统、一台领航耕地机器人及若干跟随耕地机器人。所述的触屏操纵杆式控制端，用于遥控领航机器人并控制跟随机器人作业状态和跟随模式转换。所述的立体视觉识别定位系统，包括多对双目摄像头、身份识别标志柱和图像处理模块，对障碍物进行识别定位和自身相对于其他机器人的定位。所述的领航耕地机器人和跟随耕地机器人，搭载立体视觉识别定位系统、机器人控制模块和无线通信模块，由遥控领航机器人领航，跟随机器人形成编队进行耕地作业，提高效率，在农忙时的耕地作业中具有重要意义，且适用范围较广。

Description

一种基于立体视觉的农田多机器人跟随耕地系统及方法

技术领域

本发明属于多机器人领域，涉及一种农田多机器人跟随系统及方法，尤其涉及一种基于立体视觉的农田多机器人跟随耕地系统及方法。

背景技术

随着科学技术的迅猛发展，机器人技术日新月异。在机器人技术中，机器视觉占有举足轻重的位置，它充当着机器人眼睛的作用，特别是立体视觉，包含信息量大，运用广泛。利用立体视觉为机器人进行导航，可以降低成本，提高工作效率。国内外，农田作业机器人的发展也较为迅速，自动化智能化的机器人作业，提高了工作效率，也可以把人们从繁重的劳动中解放出来。在农忙时，如果多台机器人同时工作，能更大化的发挥机器人的作用。而在多机器人同时作业时，机器人之间的协调定位成为技术难题。在田间使用超声波定位干扰大，各机器人之间容易互相干扰，造成大量的信息冗杂，不利于农田机器人作业。使用GPS定位精度高，但价格高，成本较大。

发明内容

针对上述的问题，本发明的目的在于提供一种基于立体视觉的农田多机器人跟随耕地系统及方法，利用多对双目摄像头的多视角立体视觉技术为机器人进行定位，使农田多机器人协调作业。

本发明所述的一种基于立体视觉的农田多机器人跟随耕地系统及方法，包括触屏操纵杆式控制端、立体视觉识别定位系统、无线通信系统、一台领航耕地机器人及若干跟随耕地机器人。其中：

所述的触屏操纵杆式控制端，用于遥控领航机器人并控制跟随机器人的耕地机作业状态和跟随模式的转换，包括触屏显示模块、操纵杆模块、中央处理器、无线通信模块，内置电池，所述的触屏显示模块用于显示机器人状态信息、机器人摄像头图像及输入人工控制信息，所述的操纵杆模块用于操控领航耕地机器人的开停及转向，所述的中央处理器用于处理机器人的状态信息并生成机器人运行的控制信息，所述的无线通信模块用于接收耕地机器人传来的状态信息和控制信息并发送由所述的中央处理器发出的控制信息给耕地机器人。

所述的立体视觉识别定位系统，包括领航耕地机器人视觉系统和跟随耕地机器人视觉系统，所述的领航耕地机器人视觉系统包括四对双目摄像头、身份识别标志柱和图像处理模块，对障碍物进行识别；所述的跟随耕地机器人视觉系统包括三对双目摄像头、身份识别标志柱和图像处理模块，对被跟随机器人(领航耕地机器人或者其他跟随耕地机器人)的识别与跟踪且对跟随机器人相对于被跟随机器人进行定位。

所述的领航耕地机器人，由所述的触屏操纵杆式控制端控制，搭载所述的领航耕地机器人视觉系统、机器人控制模块和无线通信模块，进行耕地机器人编队的领航并同时进行耕地作业；所述的跟随耕地机器人，搭载所述的跟随耕地机器人视觉系统、机器人控制模块和无线通信模块，有三种自动跟随模式：左跟随作业模式、右跟随作业模式和跟随行进模式，所述的左跟随作业模式是跟随左侧机器人形成编队进行耕地作业的跟随模式，所述的右跟随作业模式是跟随右侧机器人形成编队进行耕地作业的跟随模式，所述的跟随行进模式是在道路行走时和田块中转弯时的跟随模式，三种模式由所述的触屏操纵杆式系统控制切换；所述的无线通信系统由各个耕地机器人搭载的无线通信模块和所述的触屏操纵杆式控制端的无线通信模块组成，交换状态信息和控制信息；

所述的状态信息包括：领航机器人的速度、车轮转角，跟随机器人的相对位置、速度、车轮转角，视觉系统所识别出障碍物位置，耕地机作业状态信息；所述的控制信息包括：速度控制信息，转角控制信息，前进后退控制信息，紧急停机控制信息，耕地机升降控制信息，耕地深度信息。

与现有方法相比，本发明具有以下优点：

1)多对双目摄像头的使用提高环境识别敏感度，对障碍物信息、道路信息的提取更全面，提高机器人运行的安全性。

2)多台机器人进行耕地作业，提高效率，在农忙时的耕地作业中具有重要意义。

3)触屏操纵杆式控制端的使用，便于人机交互，两种模式的运行，扩大适用范围，适于不同形状的地块和地形。

4)跟随耕地机器人的三种模式运行，在作业时和道路行走时的区分，提高机器人的灵活性。

附图说明

图1是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的触屏操纵杆式控制端示意图；

图2是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的领航耕地机器人俯视图；

图3是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的领航耕地机器人左视图；

图4是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的跟随耕地机器人俯视图；

图5是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的跟随耕地机器人左视图；

图6是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的左跟随作业模式示意图；

图7是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的跟随行进模式示意图；

图8是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的右跟随作业模式示意图；

图9是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的识别被跟随机器人方法流程图；

图10是本发明一种基于立体视觉的农田多机器人跟随耕地系统及方法的无线通信系统结构图；

图中，1.触屏操纵杆式控制端，2.触屏操纵杆式控制端开关，3.领航耕地机器人，4.耕地作业机，5.跟随耕地机器人，6.前方双目摄像头，7.左侧双目摄像头，8.右侧双目摄像头，9.后方双目摄像头，10.身份识别标志柱，11.标志柱支架，12.机器人控制集成箱，13.触屏显示模块，14.耕地机作业开关，15.机器人急停按钮，16.操纵杆模块，17.机器人姿态保持开关。

具体实施方式

下面结合附图对本发明作进一步说明。

图1所示为触屏操纵杆式控制端，即人机交互平台，用于遥控领航机器人并控制跟随机器人的耕地机作业状态和跟随模式的转换。包括触屏显示模块13、操纵杆模块16、中央处理器、无线通信模块，内置电池。触屏显示模块用于显示机器人状态信息、机器人摄像头图像及输入人工控制信息。操纵杆模块有前后左右四个操纵方向，当遥控领航机器人时，操纵杆用于操控机器人的前进、倒退及转向，操纵杆置中时，机器人停止运行并待机。中央处理器用于处理机器人的状态信息及控制信息并生成机器人运行的控制信息。无线通信模块用于接收耕地机器人传来的状态信息及控制信息并发送由中央处理器发出的控制信息给耕地机器人。图1中：2为触屏操纵杆式控制端开关，用于启动和关闭控制端电源；14为耕地作业开关，开关开启后所有耕地机器入的耕地作业机开始运转，在触屏显示模块上输入耕地深度，作业机下降并进行耕地，开关关闭后，作业机上升离开地面后停止运转；15为机器人急停按钮，遇到紧急情况时，按下该按钮，停止所有运行中的机器人；17为机器人姿态保持开关，开关开启时可松开操纵杆，领航机器人的运行姿态保持，关闭时转为操纵杆操纵领航机器人。

图2所示为领航耕地机器人3的俯视图和领航耕地机器人视觉系统中四对双目摄像头的安装方式，4为耕地机器人所拖拉的耕地作业机，6为前方双目摄像头，7为左侧双目摄像头，8为右侧双目摄像头，9为后方双目摄像头，10为身份识别标志柱，12为机器人控制集成箱，集成箱中集成图像处理模块、机器人控制模块和无线通信模块。6、7、8、9拍摄的图像经由图像处理模块处理，完成领航耕地机器人周围障碍物识别。控制模块将机器人状态信息传给无线通信模块，由无线通信模块将状态信息传出给各个机器人和触屏操纵杆式控制端共享。无线通信模块接收其他机器人发出的状态信息和由控制端发来的控制信息。在遥控领航机器人时，立体视觉系统将前方拍摄图像压缩后通过无线通信系统实时传给控制端，用户可观看领航机器人前方图像，便于观察遥控。如有障碍物，视觉系统生成状态信息，通过无线通信系统传给控制端，控制端警示用户，触屏显示模块上显示障碍物图像与障碍物位置信息。

图3所示的身份识别标志柱10，安装在支架11上，并高于摄像头位置。

图4所示为跟随耕地机器人5的俯视图和跟随耕地机器人视觉系统中三对双目摄像头的安装方式，6为前方双目摄像头，7为左侧双目摄像头，8为右侧双目摄像头，10为身份识别标志柱，12为机器人控制集成箱，集成箱中装载图像处理模块、机器人控制模块和无线通信模块。6、7、8拍摄的图像由图像处理模块处理，通过对被跟随机器人标志柱的识别，完成跟随耕地机器人相对于被跟随机器人的定位，生成预处理信息(机器人相对于被跟随机器人的位置信息)。预处理信息经过控制模块的处理，最后生成机器人的状态信息，状态信息通过控制模块处理生成控制信息，控制机器人行驶。状态信息同时由无线通信模块发出给各个机器人和控制端共享。无线通信模块接收其他机器人发出的状态信息和由控制端发来的控制信息。跟随耕地机器人有三种运行模式：图6为左跟随作业模式，图7为跟随行进模式，图8为右跟随作业模式。如图所示，左跟随作业模式是跟随左侧机器人形成编队进行耕地作业的跟随模式，跟随行进模式是在道路行走时和田块中转弯时的跟随模式，右跟随作业模式是跟随右侧机器人形成编队进行耕地作业的跟随模式，三种模式由触屏操纵杆式控制端切换。图10所示为无线通信系统由各个耕地机器人搭载的无线通信模块和所述的触屏操纵杆式控制端的无线通信模块组成，交换状态信息和控制信息。

身份识别标志柱的设置方法、识别被跟随机器人的方法如下：

身份识别标志柱的设置方法包括：

(1)标志柱从上到下分割出三个区域，第一个区域和第三个区域各占标志柱的四分之一，第二个区域占标志柱的二分之一，用于涂装三种不同颜色；

(2)领航机器人的标志柱涂装颜色顺序从上到下为黄、红、蓝；

(3)跟随机器人的标志柱涂装颜色顺序，第一跟随机器人为黄、白、黄，第二跟随机器人为黑、白、黑，第三跟随机器人为黑、白、黄，超过三个以上的跟随机器人，颜色设置方法是：第二区域为白色，第一区域和第三区域由黑、黄、红、蓝任意一种或两种颜色组合。

识别被跟随机器人的方法如图9所示：

(1)确定被跟随机器人的身份识别标志柱的颜色组合和顺序，用控制端通过无线通信系统颜色和组合顺序信息预先设置在跟随机器人的控制模块中；

(2)利用立体视觉识别定位系统通过身份识别标志柱识别被跟随机器人，方法如下：

a.通过YUV颜色空间分割出红色或者白色(标志柱第二区域的颜色)色块，标记形状为长方形的色块(若干个)并编号，记录各色块上边缘和下边缘位置；

b.从上边缘往上取4×4图像块，从下边缘往下取4×4图像块对各个标记色块进行检测，匹配被跟随机器人的颜色组合和顺序，最后确定被跟随机器人的标志柱；

c.通过被确定的标志柱，计算跟随机器人和被跟随机器人的相对位置；

(3)跟随机器人从无线通信系统中获取被跟随机器人的状态信息；

(4)机器人控制模块根据状态信息与相对位置构建卡尔曼滤波器，生成跟随机器人的控制信息，机器人根据将要执行的跟随模式行驶到相对于被跟随机器人的指定位置，例如机器人将要执行跟随行进模式，在找到被跟随机器人后，自动调整位置，使被跟随机器人处于前方视野中的指定位置，再进行跟随模式的运行；

(5)左跟随作业模式是将被跟随机器人锁定在左侧视野中，即使用左侧双目摄像头进行目标识别与跟踪，不进行其他摄像头拍摄图像的处理，提高图像的实时处理速率；右跟随作业模式使用右侧双目摄像头；跟随行进模式使用前方双目摄像头；跟随模式转换时，左、右、前的摄像头全开，进行步骤(2)到(4)。

根据上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更与修改。本项发明的技术性范围并不局限于说明书上的内容，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于立体视觉的农田多机器人跟随耕地系统及方法，包括触屏操纵杆式控制端、立体视觉识别定位系统、无线通信系统、一台领航耕地机器人及若干跟随耕地机器人，利用多对双目摄像头的多视角立体视觉技术为机器人进行定位，使农田多机器人协调作业，其中：

所述的触屏操纵杆式控制端，用于耕地多机器人编队的控制，包括触屏显示模块、操纵杆模块、中央处理器、无线通信模块、内置电池，所述的触屏显示模块用于显示机器人状态信息、机器人摄像头图像及输入人工控制信息、田地信息，所述的操纵杆模块用于操控领航耕地机器人的开停及转向，所述的中央处理器用于处理机器人的状态信息和控制信息并生成机器人运行的控制信息，所述的无线通信模块用于接收耕地机器人传来的状态信息和控制信息并发送由所述的中央处理器发出的控制信息给耕地机器人；

所述的立体视觉识别定位系统，包括领航耕地机器人视觉系统和跟随耕地机器人视觉系统，所述的领航耕地机器人视觉系统包括四对双目摄像头、身份识别标志柱和图像处理模块，对障碍物进行识别，所述的跟随耕地机器人视觉系统包括三对双目摄像头、身份识别标志柱和图像处理模块，对被跟随机器人(领航耕地机器人或者其他跟随耕地机器人)的识别与跟踪且对跟随机器人相对于被跟随机器人进行定位；

所述的领航耕地机器人，由所述的触屏操纵杆式控制端控制，搭载所述的领航耕地机器人视觉系统、机器人控制模块和无线通信模块，进行耕地机器人编队的领航并同时进行耕地作业；所述的跟随耕地机器人，搭载所述的跟随耕地机器人视觉系统、机器人控制模块和无线通信模块，有三种自动跟随模式：左跟随作业模式、右跟随作业模式和跟随行进模式，所述的左跟随作业模式是跟随左侧机器人形成编队进行耕地作业的跟随模式，所述的右跟随作业模式是跟随右侧机器人形成编队进行耕地作业的跟随模式，所述的跟随行进模式是在道路行走时和田块中转弯时的跟随模式，三种模式由所述的触屏操纵杆式系统控制切换；所述的无线通信系统由各个耕地机器人搭载的无线通信模块和所述的触屏操纵杆式控制端的无线通信模块组成，交换状态信息和控制信息；

所述的状态信息包括：领航机器人和跟随机器人的相对位置、速度、车轮转角，视觉系统所识别出障碍物位置，耕地机作业状态信息；所述的控制信息包括：速度控制信息，转角控制信息，前进后退控制信息，紧急停机控制信息，耕地深度信息，耕地机升降控制信息。

2.权利要求1中所述的立体视觉识别定位系统，包括领航耕地机器人视觉系统四对双目摄像头的安装方式、跟随耕地机器人视觉系统三对双目摄像头的安装方式、身份识别标志柱的设置方法、识别被跟随机器人的方法；

所述的身份识别标志柱的设置方法包括：

(1)标志柱从上到下分割出三个区域，第一个区域和第三个区域各占标志柱的四分之一，第二个区域占标志柱的二分之一，用于涂装三种不同颜色；

(2)领航机器人的标志柱涂装颜色顺序从上到下为黄、红、蓝；

(3)跟随机器人的标志柱涂装颜色顺序，第一跟随机器人为黄、白、黄，第二跟随机器人为黑、白、黑，第三跟随机器人为黑、白、黄，超过三个以上的跟随机器人，颜色设置方法是：第二区域为白色，第一区域和第三区域由黑、黄、红、蓝任意一种或两种颜色组合；

所述的识别被跟随机器人的方法如下：

(1)确定被跟随机器人的身份识别标志柱的颜色组合和顺序，利用控制端预先设置在跟随机器人的控制模块中；

(2)利用立体视觉识别定位系统通过身份识别标志柱识别被跟随机器人，方法如下：

a.通过YUV颜色空间分割出红色或者白色(标志柱第二区域的颜色)色块，标记形状为长方形的色块(若干个)并编号，记录各色块上边缘和下边缘位置；

b.从上边缘往上取4×4图像块，从下边缘往下取4×4图像块对各个标记色块进行检测，匹配被跟随机器人的颜色组合和顺序，最后确定被跟随机器人的标志柱；

c.通过被确定的标志柱，计算跟随机器人和被跟随机器人的相对位置；

(3)跟随机器人从无线通信系统中获取被跟随机器人的状态信息；

(4)机器人控制模块根据状态信息与相对位置构建卡尔曼滤波器，生成跟随机器人的控制信息，机器人根据将要执行的跟随模式行驶到相对于被跟随机器人的指定位置；

(5)左跟随作业模式是将被跟随机器人锁定在左侧视野中，即使用左侧双目摄像头进行目标识别与跟踪，不进行其他摄像头拍摄图像的处理，提高图像的实时处理速率；右跟随作业模式使用右侧双目摄像头；跟随行进模式使用前方双目摄像头；跟随模式转换时，左、右、前的摄像头全启动，进行步骤(2)到(4)。