CN109782771B - 一种果园移动机器人及地头转向方法 - Google Patents

Abstract

一种果园移动机器人的地头转向方法，包括以下步骤：步骤1，Faster R‑cnn神经网络进行树干识别；步骤2，通过识别树干判断果树行末位置；步骤3，到达行末后，通过双目相机确定转向半径d；步骤4，控制器控制车轮转动开始转向，比较实际转向半径和确定转向半径d，适时调整机器人转向位姿；步骤5，当电子罗盘测量的转向角度达到180°时，完成地头转向。

Description

一种果园移动机器人及地头转向方法

技术领域

本发明属于机器人转向技术领域，特别涉及一种果园移动机器人及地头转向方法。

背景技术

目前果园正朝着自动化、信息化、智能化方向发展，以降低劳动强度、节省劳动力，提高劳动效率，实现对果园的精细作业。可以自动完成巡检、剪枝、喷药、采摘等作业的果园机器人不断进入各类果园，果园机器人要完成作业需要一系列基础功能，比如果园机器人自主导航技术等。而目前果园机器人自主导航技术的研究重点多在某一果树行内的定位与导航，对行末定位和地头转向的研究不足。

目前对果园行末定位和地头转向的方法较少。行末定位方法主要利用激光雷达、GPS等传感器，利用激光雷达的方法是在行末端设置反光胶带，果园机器人上的激光雷达探测到行末端的反光胶带，从而标定为行末；利用GPS的方法是对果园机器人进行全局定位，果园机器人上的GPS传感器定位到果园行末即表示机器人到达行末。地头转向的策略主要有以直代曲、直角转弯、隔行转弯等策略，以直代曲方法将转向的圆弧模型分为多个点获得多条线段，依次行走线段实现地头转向；直角转弯的方法转弯时驶出地头后作90°直角转弯，向前行驶一定距离后再作90°直角转弯驶向新的果树行；隔行转弯的策略指的是跨过邻近行直接驶入邻近行的下一行。

对于行末定位，利用激光雷达通过行末设置反光胶带的方法需要在每个果树行末设置反光胶带，耗时耗力、成本高；果园环境中枝叶茂密，GPS信号会受遮挡，定位不准确。对于地头转向，以直代曲的方法每次变换角度到达走新的直线时没有参照物，会使得误差累计；直角转弯的方法不能保证第一次旋转前车身刚好与果树行平行，第一次转向后行走的直线段若与果树行垂直线角度偏差过大不利于第二次旋转车身后顺利进入新的果树行；隔行转弯的策略适合地头长度比较短同时车身比较大的环境，无法成功驶入邻近的果树行只能跨过邻近行驶入邻近行的下一行。

发明内容

本发明的目的在于提供一种果园移动机器人及地头转向方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种果园移动机器人，包括车身、车轮、控制器、双目相机和电子罗盘；车轮设置在车身的底部，控制器设置在车身上，且控制器控制车轮转动；车身顶部的两端均设置有双目相机和电子罗盘；双目相机和电子罗盘均连接到控制器。

一种果园移动机器人的地头转向方法，包括以下步骤：

步骤1，Faster R-cnn神经网络进行树干识别；

步骤2，通过识别树干判断果树行末位置；

步骤3，到达行末后，通过双目相机确定转向半径d；

步骤4，控制器控制车轮转动开始转向，比较实际转向半径和确定转向半径d，适时调整机器人转向位姿；

步骤5，当电子罗盘测量的转向角度达到180°时，完成地头转向。

进一步的，步骤1所述的Faster R-cnn网络前端利用一个16层的卷积神经网络提取特征，产生特征图后，在特征图上寻找可能包含目标树干的区域，把可能包含目标树干的区域留下来，进行感兴趣区域池化操作后再次确定是否包含树干，并对圈住树干的方框做方框坐标回归，使其更接近真实树干。

进一步的，步骤2中，包括以下步骤：

1)使机器人沿果树所在行移动，在没到达行末位置的时候，每识别到一颗树，在行走过程中会有新的树进入机器视觉的视野内从而被识别到；

2)当机器人到行末位置后，最后一颗树干即将消失在双目相机视野中时还没有新的树干进入视野，判断最后被检测到的树干即为行末树干，停止机器人行走。

进一步的，步骤3中，机器人到达行末位置后，机器人一侧的双目相机打开，利用双目相机测量机器人与树干之间的距离；机器人到达行末位置后测量行末树干相对于机器人x方向上的距离d，依此距离作为转向半径，行末树干为圆心的半圆即为期望转向路径。

进一步的，步骤4中，开始转向后，实时测量机器人与行末树干的距离d’，并通过电子罗盘记录转向累计偏移角，果园机器人依据径向偏差d-d’为导航控制量，实时动态地调整机器人位姿，定义一个阈值h，如果d-d’>h，则通过控制左右轮速度增大转弯半径，如果d-d’<h，则通过控制左右轮速度减小转弯半径。

与现有技术相比，本发明有以下技术效果：

(1)Faster R-cnn深度神经网络树干识别技术准确率高，速度快。

(2)行末定位技术只需识别定位到行末树干，不需要额外添加标志物、定位准确、速度快、稳定性好。

(3)地头转向技术利用双目立体视觉和电子罗盘实时调整机器人位姿，准确率高、稳定性好、灵活性强。

附图说明

图1为本发明流程图；

图2为本发明Faster R-cnn流程图；

图3为行末定位示意图；

图4为行末定位流程图；

图5为期望转向路径示意图；

图6为地头转向示意图；

图7为地头转向示意图；

图8为地头转向完成示意图；

图9为地头转向流程图；

图10为本发明机器人结构示意图；

其中：1-电子罗盘，2-双目相机，3-控制器，4-车身，5-车轮。

具体实施方式

以下结合附图对本发明进一步说明：

请参阅图1至图10，一种果园移动机器人，包括车身4、车轮5、控制器3、双目相机2和电子罗盘1；车轮5设置在车身4的底部，控制器3设置在车身4上，且控制器3控制车轮5转动；车身4顶部的两端均设置有双目相机2和电子罗盘1；双目相机2和电子罗盘1均连接到控制器3。

基于权利要求1所述的一种果园移动机器人，包括以下步骤：

步骤1，Faster R-cnn神经网络进行树干识别；

步骤2，通过识别树干判断果树行末位置；

步骤3，到达行末后，通过双目相机确定转向半径d；

步骤4，控制器控制车轮转动开始转向，比较实际转向半径和确定转向半径d，适时调整机器人转向位姿；

步骤5，当电子罗盘测量的转向角度达到180°时，完成地头转向。

步骤1所述的Faster R-cnn网络前端利用一个16层的卷积神经网络提取特征，产生特征图后，在特征图上寻找可能包含目标树干的区域，把可能包含目标树干的区域留下来，进行感兴趣区域池化操作后再次确定是否包含树干，并对圈住树干的方框做方框坐标回归，使其更接近真实树干。

步骤2中，包括以下步骤：

1)使机器人沿果树所在行移动，在没到达行末位置的时候，每识别到一颗树，在行走过程中会有新的树进入机器视觉的视野内从而被识别到；

2)当机器人到行末位置后，最后一颗树干即将消失在双目相机视野中时还没有新的树干进入视野，判断最后被检测到的树干即为行末树干，停止机器人行走。

步骤3中，机器人到达行末位置后，机器人一侧的双目相机打开，利用双目相机测量机器人与树干之间的距离；机器人到达行末位置后测量行末树干相对于机器人x方向上的距离d，依此距离作为转向半径，行末树干为圆心的半圆即为期望转向路径。

步骤4中，开始转向后，实时测量机器人与行末树干的距离d’，并通过电子罗盘记录转向累计偏移角，果园机器人依据径向偏差d-d’为导航控制量，实时动态地调整机器人位姿，定义一个阈值h，如果d-d’>h，则通过控制左右轮速度增大转弯半径，如果d-d’<h，则通过控制左右轮速度减小转弯半径。

Faster R-cnn神经网络进行树干识别。因为即要观测到是否有树干，又要检测出树干与机器人的相对位置，要求有高准确率和较高实时性，所以本发明开启一侧的双目测距平台的左单目摄像头，利用Faster R-cnn神经网络进行树干检测。Faster R-cnn网络前端利用一个16层的卷积神经网络提取特征，产生特征图后，在特征图上寻找可能包含目标树干的区域，把可能包含目标树干的区域留下来，进行感兴趣区域池化操作后再次确定是否包含树干，并对圈住树干的方框做方框坐标回归，使其更接近真实树干。Faster R-Cnn流程图如图2所示。

果园机器人行末位置判定方法。机器人在没到达行末位置的时候，每识别到一颗树，在行走过程中会有新的树进入机器视觉的视野内从而被识别到，而到达行末位置时，机器人往前走一定范围不会有新的树进入机器视觉视野。以机器人左转为例如图3所示。

图3中虚线表示机器人侧面摄像头的视野，所有的圆圈和矩形都表示树干，圆圈表示目前被识别到的树干，矩形表示目前没被识别到的树干，树干组成果树行，机器人从下往上走。可以看到当机器人未到达行末位置时，每识别到一颗树干在这颗树干还没消失在视野里时会有新的树干被识别到，如图中状态1和状态2所示；但当机器人到行末位置后，最后一颗树干几乎快消失在视野中时还没有新的树干进入视野，如图中状态3所示，这时候可以判断最后被检测到的树干即为行末树干。行末定位流程图如图4所示。

确定行末转向半径方法。到达行末位置后，机器人一侧的双目相机打开，利用双目测量机器人与树干之间的距离。机器人到达行末位置后测量行末树干相对于机器人x方向上的距离d，依此距离作为半径，行末树干为圆心的半圆即为期望路径。如图5所示，图中以d为半径，行末树干为圆心的红色半圆即为果园机器人地头转向期望半径。

果园机器人地头转向策略。实时测量机器人与行末树干的距离d’，并通过电子罗盘记录转向累计偏移角，果园机器人依据径向偏差d-d’为导航控制量，实时动态地调整机器人位姿，定义一个阈值h，如果d-d’>h，则通过控制左右轮速度增大转弯半径，如果d-d’<h，则通过控制左右轮速度减小转弯半径。

图6为机器人地头转向到某一位置的示意图，假设此时测量的机器人与行末果树距离d’-d>h，则应该减小转弯半径继续行走，如图7所示：图7中蓝色圆弧线段表示机器人实际走的路径，之后过程以此类推。当电子罗盘测量的转向角度达到180°时，完成地头转向。完成地头转向的示意图如图8所示，图8中机器人成功驶入下一行，蓝色线段表示果园机器人实际走过的所有路径。

地头转向流程图如图9。

Claims (1)

1.一种果园移动机器人的地头转向方法，其特征在于，一种果园移动机器人，包括车身(4)、车轮(5)、控制器(3)、双目相机(2)和电子罗盘(1)；车轮(5)设置在车身(4)的底部，控制器(3)设置在车身(4)上，且控制器(3)控制车轮(5)转动；车身(4)顶部的两端均设置有双目相机(2)和电子罗盘(1)；双目相机(2)和电子罗盘(1)均连接到控制器(3)，包括以下步骤：

步骤1，Faster R-cnn神经网络进行树干识别；

步骤2，通过识别树干判断果树行末位置；

步骤3，到达行末后，通过双目相机确定转向半径d；

步骤4，控制器控制车轮转动开始转向，比较实际转向半径和确定转向半径d，适时调整机器人转向位姿；

步骤5，当电子罗盘测量的转向角度达到180°时，完成地头转向；

步骤1所述的Faster R-cnn网络前端利用一个16层的卷积神经网络提取特征，产生特征图后，在特征图上寻找可能包含目标树干的区域，把可能包含目标树干的区域留下来，进行感兴趣区域池化操作后再次确定是否包含树干，并对圈住树干的方框做方框坐标回归，使方框位置更接近真实树干的位置；

步骤2中，包括以下步骤：

1)使机器人沿果树所在行移动，在没到达行末位置的时候，每识别到一颗树，在行走过程中会有新的树进入机器视觉的视野内从而被识别到；

2)当机器人到行末位置后，最后一颗树干即将消失在双目相机视野中时还没有新的树干进入视野，判断最后被检测到的树干即为行末树干，停止机器人行走；

步骤3中，机器人到达行末位置后，机器人一侧的双目相机打开，利用双目相机测量机器人与树干之间的距离；机器人到达行末位置后测量行末树干相对于机器人x方向上的距离d，依此距离作为转向半径，行末树干为圆心的半圆即为期望转向路径；

步骤4中，开始转向后，实时测量机器人与行末树干的距离d’，并通过电子罗盘记录转向累计偏移角，果园机器人依据径向偏差d-d’为导航控制量，实时动态地调整机器人位姿，定义一个阈值h，如果d-d’>h，则通过控制左右轮速度增大转弯半径，如果d-d’<h，则通过控制左右轮速度减小转弯半径。

Images