CN111673755A - 一种基于视觉伺服的采摘机器人控制系统及控制方法 - Google Patents

Abstract

本发明涉及一种基于视觉伺服的采摘机器人控制系统及控制方法，其特征在于，包括主控制器，以及分别与所述主控制器连接的底盘控制模块、视觉模块、导航定位模块、机械臂控制模块和机械爪控制模块；所述视觉模块包括单目视觉模块和双目视觉模块，所述双目视觉模块为采摘机器人提供全局视野以确定采摘停靠点并辅助所述导航定位模块工作，所述单目视觉模块为采摘机器人提供采摘停靠点周围采摘作业空间内被采摘果实的位置。本发明能够减少视觉测量精度和机械臂定位精度对采摘作业成功率的影响，可以同时兼顾采摘速度和效率。

Description

一种基于视觉伺服的采摘机器人控制系统及控制方法

技术领域

本发明属于农业机器人控制技术领域，具体涉及一种基于视觉伺服的采摘机器人控制系统及控制方法。

背景技术

随着科技的发展，农业机械智能化程度不断提高，使用机器人代替人工已经成为现代农业发展的趋势。选择性果实收获是最耗时费力的农业作业环节之一，近40年来，人类一直试图采用机器人从事这一工作。但由于作业环境复杂，作业对象的物理参数非结构化，有几项关键因素影响选择性果实收获机器人的作业效果，其中之一是目标果实识别定位单元和采摘执行部件的精准协同作业，也就是手眼协同作业系统。

传统的手眼协调作业系统中，主要包括“eye to hand”和“eye in hand”两种方式。然而，基于“eye to hand”的手眼协调作业系统中，机械臂运动会导致目标物体遮蔽，当环境改变或相机移动时需要重新标定相机，视觉系统和机械系统的精度也会影响到作业成功率、作业精度和成本。在“eye in hand”的手眼协调作业系统的视野小，需要不断调用摄像头图像的处理结果，反馈控制机械臂，机器人易抖动，影响系统的控制稳定性和采摘速度。

发明内容

为了同时兼顾自动化采摘过程中的作业精度和作业速度，达到快速高效采摘果蔬的效果，本发明设计了一种基于视觉伺服的采摘机器人控制系统及控制方法。

为了实现上述目的，本发明一方面采用了以下方案：

一种基于视觉伺服的采摘机器人控制系统，包括主控制器，以及分别与所述主控制器连接的底盘控制模块、视觉模块、导航定位模块、机械臂控制模块和机械爪控制模块；所述视觉模块包括单目视觉模块和双目视觉模块，所述双目视觉模块为采摘机器人提供全局视野以确定采摘停靠点并辅助所述导航定位模块工作，所述单目视觉模块为采摘机器人提供采摘停靠点周围采摘作业空间内被采摘果实的位置。

进一步，所述双目视觉模块包含双目相机和双目视觉处理器，所述双目视觉处理器与所述主控制器连接并对所述双目相机传回的图像进行处理。

进一步，所述单目视觉模块包括单目相机和单目视觉处理器，所述单目视觉处理器与所述主控制器连接并对所述单目相机传回的图像进行处理。

进一步，所述双目视觉处理器和所述单目视觉处理器采用同一个视觉处理器，所述视觉处理器为工控机。

进一步，所述双目相机安装在机械臂的基座正前方，所述单目相机安装在所述机械臂的末端机械爪的中心位置。

进一步，还包括光电开关，所述光电开关安装在所述末端机械爪的中心位置且与所述主控制器连接。

进一步，所述底盘控制模块包括底盘电机控制器和轮毂电机，所述底盘电机控制器和轮毂电机各有两个且一一对应；所述轮毂电机配置有相应的光电编码器。

进一步，所述机械臂控制模块包括腰部电机、肩部电机、肘部电机以及对应的电机控制器和霍尔传感器，所述霍尔传感器与所述主控制器相连以获取相应电机的位置信息。

进一步，所述机械爪控制模块包括舵机控制器及腕部舵机和手爪舵机，以控制所述机械臂腕部关节的运动及末端机械爪的开合。

另一方面，本发明还公开了一种基于视觉伺服的采摘机器人控制方法，包括以下步骤：

步骤一，采摘机器人进入采摘起始点，双目视觉模块开始判别全局视野中的果实成熟度并获得成熟果实的坐标值，并结合机械臂允许的作业范围确定机械臂的采摘作业空间进而确定第一个采摘停靠点；

步骤二，在导航定位系统的指引下，主控制器控制底盘控制模块从而控制采摘机器人移动到采摘停靠点，然后标定出采摘作业空间内四角处采摘机器人能够采摘的最远成熟果实的采摘坐标；

步骤三，根据采摘作业空间内四角处采摘机器人能够采摘的最远成熟果实的采摘坐标，主控制器控制机械臂依次到达四处采摘坐标附近，并在单目视觉模块指引下，主控制器控制采摘机器人的机械臂控制模块和机械爪控制模块开始采摘作业，直到该采摘作业空间内的成熟果实采摘结束；同时，双目视觉模块又开始判别全局视野中的果实成熟度，确定下一个采摘作业空间进而确定下一个采摘停靠点；

步骤四，重复上述步骤二至步骤三，周而复始，直到采摘作业完成。

进一步，采摘停靠点的确定步骤包括：

首先，取双目视觉模块的双目相机的两镜头对称中心为所述双目相机的坐标系原点，取机械臂的基座底部中心为所述机械臂的坐标系原点；

其次，由双目视觉模块检测得到视野内的成熟果实坐标，并根据所述双目相机的坐标系和所述机械臂的的坐标系的关系，确定成熟果实相对于所述机械臂的坐标系的x，y，z轴坐标；

然后，取采摘机器人左右两侧离采摘机器人最近的两个果实的x轴坐标，并选择二者的最小值记为采摘作业空间在x轴方向上的坐标起始点，该x轴方向上的坐标起始点与所述机械臂的采摘作业空间长度的一半相加，即可获得采摘停靠点的x轴坐标；该x轴方向上的坐标起始点与所述机械臂的采摘作业空间长度相加记为采摘作业空间在x轴方向上的坐标终点，也是采摘机器人的下一个采摘作业空间在x轴方向上的坐标起始点，以此类推确定下一个采摘停靠点的x轴坐标；x轴方向指前后方向，y轴方向指左右方向，z轴方向指上下方向，默认采摘机器人在y轴方向的坐标始终保持不变，所述机械臂的采摘作业空间长度是所述机械臂在前后方向上允许的作业范围的尺寸。

进一步，单目视觉模块中的单目相机位于机械臂的末端机械爪中心；将单目相机拍摄的原始图像传给单目视觉处理器，单目视觉处理器对原始图像进行预处理后选择最大连通域作为目标果实图像，并将目标果实图像中心与原始图像平面中心的横向偏差、纵向偏差以及面积偏差传送给主控制器；主控制器利用偏差计算出机械臂各关节的角速度并传送给机械臂的各关节电机控制器，从而控制机械臂运动以带动末端机械爪靠近目标果实；末端机械爪不断逼近果实的过程中，末端机械爪中心的光电开关感应到目标果实时，即末端机械爪与果实的距离到达预设阈值时，主控制器接收光电开关发送的信号并发送指令给机械爪控制模块，继而控制末端机械爪合拢完成果实采摘。

该基于视觉伺服的采摘机器人控制系统及控制方法具有以下有益效果：

（1）本发明中，双目相机和机械臂各自独立安装，可在较大视野内获得果实图像信息。

（2）本发明中，单目相机安装在末端机械爪中心，利用基于图像的视觉伺服策略实现目标果实的跟踪和抓取，能够减少机械臂定位精度对采摘作业成功率的影响，同时较小的果实移位也不影响抓取工作。

（3）本发明中，采用双目视觉模块获取标定果实坐标，继而控制机械臂到达果实附近，然后利用单目视觉伺服完成区域内后续采摘作业，保证采摘速度的同时，提高了采摘效率。

附图说明

图1：本发明实施方式中基于视觉伺服的采摘机器人控制系统的结构示意图；

图2：本发明实施方式中采摘机器人的工作示意图；

图3：本发明实施方式中采摘机器人的适用场景图；

图4：本发明实施方式中基于视觉伺服的采摘机器人控制系统的工作流程图；

图5：本发明实施方式中采摘机器人的作业位置确定原理图；

图6：本发明实施方式中单目相机的视觉伺服流程图。

附图标记说明：

1—主控制器；2—底盘控制模块；21—底盘电机控制器；22—轮毂电机；23—光电编码器；3—视觉模块；31—工控机；32—单目相机；33—双目相机；4—机械臂控制模块；5—机械爪控制模块；51—舵机控制器；52—手爪舵机；53—腕部舵机；6—光电开关；7—机械臂；8—末端机械爪；9—果实；10—采摘停靠点；11—机器人巡航路径；12—种植垄；13—垄间过道；14—采摘作业空间；15—激光雷达；16—陀螺仪。

具体实施方式

下面结合附图，对本发明做进一步说明：

图1至图6示出了本发明一种基于视觉伺服的采摘机器人控制系统及控制方法的具体实施方式。图1是本实施方式中基于视觉伺服的采摘机器人控制系统的结构示意图；图2是本实施方式中采摘机器人的工作示意图；图3是本实施方式中采摘机器人的适用场景图；图4是本实施方式中基于视觉伺服的采摘机器人控制系统的工作流程图；图5是本实施方式中采摘机器人的作业位置确定原理图；图6是本实施方式中单目相机的视觉伺服流程图。

如图1所示，本实施方式中的基于视觉伺服的采摘机器人控制系统，包括主控制器1，以及分别与主控制器1连接的底盘控制模块2、视觉模块3、导航定位模块、机械臂控制模块4和机械爪控制模块5；视觉模块3包括单目视觉模块和双目视觉模块，所述双目视觉模块为采摘机器人提供全局视野以确定采摘停靠点10并辅助所述导航定位模块工作，所述单目视觉模块为采摘机器人提供采摘停靠点10周围采摘作业空间内被采摘果实的位置。

优选地，所述双目视觉模块包含双目相机33和双目视觉处理器，所述双目视觉处理器与主控制器1连接并对双目相机33传回的图像进行处理，如图1所示。

优选地，所述单目视觉模块包括单目相机32和单目视觉处理器，所述单目视觉处理器与主控制器1连接并对单目相机32传回的图像进行处理，如图1所示。

优选地，所述双目视觉处理器和所述单目视觉处理器采用同一个视觉处理器，所述视觉处理器为工控机31，如图1所示。

优选地，双目相机33安装在机械臂7的基座正前方，单目相机32安装在机械臂7的末端机械爪8的中心位置，如图2所示。

所述导航定位模块包括激光雷达15和陀螺仪16，激光雷达15和陀螺仪16分别与所述双目视觉处理器连接，如图1所示。

优选地，还包括光电开关6，光电开关6安装在末端机械爪8的中心位置且与主控制器1连接。

优选地，底盘控制模块2包括底盘电机控制器21和轮毂电机22，底盘电机控制器21和轮毂电机22各有两个且一一对应；轮毂电机22配置有相应的光电编码器23，如图1所示。

优选地，机械臂控制模块4包括腰部电机、肩部电机、肘部电机以及对应的电机控制器和霍尔传感器，所述霍尔传感器与主控制器1相连以获取相应电机的位置信息，如图1所示。

优选地，机械爪控制模块5包括舵机控制器51及腕部舵机53和手爪舵机52，以控制机械臂腕部关节的运动及末端机械爪8的开合，如图1所示。本实施例中，手爪舵机52有三个，末端机械爪8是三爪机械手。

本实施方式中的基于视觉伺服的采摘机器人控制方法，包括以下步骤：

步骤一，采摘机器人进入采摘起始点，双目视觉模块开始判别全局视野中的果实成熟度并获得成熟果实的坐标值，并结合机械臂7允许的作业范围确定机械臂7的第一个采摘作业空间14进而确定第一个采摘停靠点10；

步骤二，在导航定位系统的指引下，主控制器1控制底盘控制模块2从而控制采摘机器人移动到采摘停靠点10，然后标定出采摘作业空间14内四角处采摘机器人能够采摘的最远成熟果实的采摘坐标；

步骤三，根据采摘作业空间14内四角处采摘机器人能够采摘的最远成熟果实的采摘坐标，主控制器1控制机械臂7依次到达四处采摘坐标附近，并在单目视觉模块指引下，主控制器1控制采摘机器人的机械臂控制模块4和机械爪控制模块5开始采摘作业，直到该采摘作业空间内的成熟果实采摘结束；同时，双目视觉模块又开始判别全局视野中的果实成熟度，确定下一个采摘作业空间进而确定下一个采摘停靠点；

步骤四，重复上述步骤二至步骤三，周而复始，直到采摘作业完成。如图2、图3、图4和图6所示。

优选地，采摘停靠点10的确定步骤包括：

首先，取双目视觉模块的双目相机33的两镜头对称中心为双目相机33的坐标系原点，取机械臂7的基座底部中心为机械臂7的坐标系原点；

其次，由双目视觉模块检测得到视野内的成熟果实坐标，并根据双目相机33的坐标系和机械臂7的坐标系的关系，确定成熟果实相对于机械臂7的坐标系的x，y，z轴坐标；

然后，取采摘机器人左右两侧离采摘机器人最近的两个果实的x轴坐标，并选择二者的最小值记为采摘作业空间14在x轴方向上的坐标起始点，该x轴方向上的坐标起始点与机械臂作业空间14长度的一半相加，即可获得采摘停靠点10的x轴坐标；该x轴方向上的坐标起始点与机械臂的采摘作业空间14的长度相加记为采摘作业空间14在x轴方向上的坐标终点，也是采摘机器人的下一个采摘作业空间14在x轴方向上的坐标起始点，以此类推确定下一个采摘停靠点10的x轴坐标；x轴方向指前后方向，y轴方向指左右方向，z轴方向指上下方向，默认采摘机器人在y轴方向的坐标始终保持不变，机械臂的采摘作业空间14的长度是机械臂7在前后方向上允许的作业范围的尺寸。

优选地，单目视觉模块中的单目相机32位于机械臂7的末端机械爪8中心；将单目相机32拍摄的原始图像传给单目视觉处理器，单目视觉处理器对原始图像进行滤波等预处理后选择最大连通域作为目标果实图像，并将目标果实图像中心与原始图像平面中心的横向偏差、纵向偏差以及面积偏差传送给主控制器1；主控制器1利用偏差计算出机械臂7各关节的角速度并传送给机械臂7的各关节电机控制器，从而控制机械臂7运动以带动末端机械爪8靠近目标果实；末端机械爪8不断逼近果实的过程中，末端机械爪8中心的光电开关6感应到目标果实时，即末端机械爪8与果实的距离到达预设阈值时，主控制器1接收光电开关6发送的信号并发送指令给机械爪控制模块5，继而控制末端机械爪8合拢完成果实采摘，如图6和图2所示。

具体地，与该控制系统配对的导航定位模块，结合底盘电机控制模块2、工控机31、双目相机33，可以一边作业，一边构建温室二维环境地图，其原理是机器人根据自动采摘的巡航任务，初步规划行走作业区域范围，然后机器人在行走中，采集编码器数据，结合陀螺仪16检测数据，和原始的规划行走轨迹，经过航迹推演获得里程信息，结合激光雷达15扫描数据和Gmapping算法建立二维环境地图，采用A*算法规划巡航路径，使用自适应蒙特卡罗方法(AMCL)估计机器人位置和姿态，并依据ROS中navigation工具包拓展A*算法的应用，通过设置目标点来实现特定作业路径巡航。

具体地，如图2和图3所示，图3是本实施例中采摘机器人的工作场地，其中标明了机器人巡航路径11、种植垄12、垄间过道13；采摘机器人在未进入垄间过道13前的起始点停留时，双目相机33开始判别全局视野中的果实9成熟度，并标定成熟果实在当前坐标下的作业距离；然后，结合机械臂7作业空间，确定可采摘成熟果实的作业范围，然后在机器人导航定位系统的指引下，控制机器人移动到计算好的采摘停靠点10，机械臂7在单目相机32指引下开始采摘作业，在机械臂7作业过程中，双目相机33又开始判别全局视野中的果实成熟度，并标定成熟果实距离，周而复始，进行自动化采摘作业。

如图3和图4所示，机器人按照预定作业轨迹行进，停止在垄间过道13的起始点，双目相机33开始判别全局视野中的果实成熟度，并标定成熟果实在当前坐标下的作业距离，根据机械臂7的作业空间，分析得到可采摘成熟果实的作业范围，规划机器人下一个采摘停靠点的坐标，标定到达该采摘停靠点时，机器人能够采摘的最远果实为A、B、C、D，获取四个标定果实的采摘坐标。

本实施例中，机器人在导航定位系统的指引下，停留在采摘停靠点10，驱动机械臂7的末端到达果实A附近，调用单目相机32，伺服控制机械臂7运动到果实A的采摘作业位姿，开始对机器人前进方向右侧的成熟果实进行采摘作业，当末端机械爪8与目标果实9的的距离符合采摘要求时，完成单次采摘作业，然后，继续通过单目视觉伺服采摘其余成熟果实；当机械臂末端运动到果实B附近时，机器人右侧的成熟果实采摘作业完毕，机械臂末端运动到果实D附近，对机器人左侧的成熟果实开始采摘作业，当机械臂末端运动到果实C附近时，机器人左侧的成熟果实采摘作业完毕。

本实施例中，当机器人附近区域的成熟果实全部摘取完毕后，机器人调用双目相机33继续判别全局视野中的果实成熟度，并标定成熟果实的作业距离，并前往下一个采摘停靠点10，重复上述步骤，继续采摘后续区域的成熟果实；当前垄间过道13采摘作业完毕后，机器人按照预定作业轨迹继续前行，转到下一个垄间过道，继续进行采摘作业。

图5是本实施方式中视觉伺服采摘机器人采摘停靠点的确定原理图，取双目相机33的两镜头对称中心为双目相机坐标系原点，机械臂7的基座底部中心为其坐标系原点，由双目视觉模块检测得到视野内的成熟果实相对于双目相机坐标系的坐标，并根据双目相机33与机械臂基座的位置关系，可以确定成熟果实相对于机械臂基座的x，y，z轴坐标。

本实施例中，在机器人右侧采摘作业区域，选取x轴方向距离双目视觉系统最小的成熟果实，标定为果实A，在机器人左侧的采摘作业区域，标定x轴方向距离双目视觉系统最小的成熟果实为果实D。

本实施例中，机器人在垄道中间行驶，默认机器人在y轴方向的坐标始终保持不变，根据果实A、果实D到机械臂基座的x轴距离，计算二者的最小值，记为采摘作业空间14在x轴方向上的坐标起始点，x轴方向上的坐标起始点与采摘作业空间14长度的一半相加，即可获得采摘停靠点10的x轴坐标，x轴方向上的坐标起始点与采摘作业空间14长度相加，即可获得机器人采摘作业终点的x轴坐标；根据果实的z轴距离，筛选出符合采摘作业果实的空间高度，然后按照果实在机器人左、右两侧的分布情况，分别存储筛选成熟果实的坐标值。

本实施例中，在右侧的采摘作业空间14内，选取x轴方向距离双目视觉系统最远的果实，标定为果实B，在左侧的采摘作业空间14内，选取x轴方向距离双目视觉系统最远的果实，标定为果实C。根据果实B、果实C到机械臂基座的x轴距离，计算二者的最小值，作为下一个采摘作业空间14在x轴方向上的坐标起始点，以此类推确定下一个采摘停靠点10的x轴坐标。

如图6所示，图6是本实施方式中单目视觉伺服流程图，位于末端机械爪8中心的单目相机32拍摄一张原始图像，并将该原始图像传给工控机31，工控机31对图像进行滤波等预处理后，选择最大连通域，作为目标果实图像，将目标果实图像中心与原始图像平面中心的横向偏差、纵向偏差以及面积偏差传送给主控制器1，然后主控制器1利用其内部嵌入的手眼协调程序计算出的机械臂7各关节的角速度，并传送给机械臂7的各关节电机控制器，从而控制机械臂7运动，以带动末端机械爪8靠近目标果实；末端机械爪8不断逼近果实的过程中，又使得单目相机32中的图像改变，从而形成一个控制上的闭环；当末端机械爪8中心的光电开关6感应到目标果实时，即末端机械爪8与果实的距离到达预设阈值时，主控制器1接收光电开关6发送的信号并发送指令给机械爪控制模块5，继而控制末端机械爪8合拢完成果实采摘。

本实施例中，末端机械爪8中心安装有方形光电开关6，预先调定其距离阈值，当末端机械爪8与目标果实9距离足够近，触发光电开关6，末端机械爪8合拢完成采摘作业。

本发明中，双目相机和机械臂各自独立安装，可在较大视野内获得果实图像信息。

本发明中，单目相机安装在末端机械爪中心，利用基于图像的视觉伺服策略实现目标果实的跟踪和抓取，能够减少机械臂定位精度对采摘作业成功率的影响，同时较小的果实移位也不影响抓取工作。

本发明中，采用双目视觉模块获取标定果实坐标，继而控制机械臂到达果实附近，然后利用单目视觉伺服完成区域内后续采摘作业，保证采摘速度的同时，提高了采摘效率。

本发明能够减少视觉测量精度和机械臂定位精度对采摘作业成功率的影响，同时较小的果实移位也不影响抓取工作，可以同时兼顾采摘速度和效率。

上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (10)

1.一种基于视觉伺服的采摘机器人控制系统，其特征在于，包括主控制器，以及分别与所述主控制器连接的底盘控制模块、视觉模块、导航定位模块、机械臂控制模块和机械爪控制模块；所述视觉模块包括单目视觉模块和双目视觉模块，所述双目视觉模块为采摘机器人提供全局视野以确定采摘停靠点并辅助所述导航定位模块工作，所述单目视觉模块为采摘机器人提供采摘停靠点周围采摘作业空间内被采摘果实的位置。

2.根据权利要求1所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述双目视觉模块包含双目相机和双目视觉处理器，所述双目视觉处理器与所述主控制器连接并对所述双目相机传回的图像进行处理；所述单目视觉模块包括单目相机和单目视觉处理器，所述单目视觉处理器与所述主控制器连接并对所述单目相机传回的图像进行处理；所述双目相机安装在机械臂的基座正前方，所述单目相机安装在所述机械臂的末端机械爪的中心位置。

3.根据权利要求2所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述双目视觉处理器和所述单目视觉处理器采用同一个视觉处理器，所述视觉处理器为工控机。

4.根据权利要求1、2或3所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述导航定位模块包括激光雷达和陀螺仪，所述激光雷达和所述陀螺仪分别与所述双目视觉模块的双目视觉处理器连接。

5.根据权利要求1至4任一所述的基于视觉伺服的采摘机器人控制系统，其特征在于，还包括光电开关，所述光电开关安装在所述末端机械爪的中心位置且与所述主控制器连接。

6.根据权利要求1至5任一所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述底盘控制模块包括底盘电机控制器和轮毂电机，所述底盘电机控制器和轮毂电机各有两个且一一对应；所述轮毂电机配置有相应的光电编码器。

7.根据权利要求1至6任一所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述机械臂控制模块包括腰部电机、肩部电机、肘部电机以及对应的电机控制器和霍尔传感器，所述霍尔传感器与所述主控制器相连以获取相应电机的位置信息；所述机械爪控制模块包括舵机控制器及腕部舵机和手爪舵机，以控制所述机械臂腕部关节的运动及末端机械爪的开合。

8.一种基于视觉伺服的采摘机器人控制方法，其特征在于，包括以下步骤：

步骤一，采摘机器人进入采摘起始点，双目视觉模块开始判别全局视野中的果实成熟度并获得成熟果实的坐标值，同时结合机械臂允许的作业范围确定机械臂的第一个采摘作业空间进而确定第一个采摘停靠点；

步骤二，在导航定位系统的指引下，主控制器控制底盘控制模块从而控制采摘机器人移动到采摘停靠点，然后标定出采摘作业空间内四角处采摘机器人能够采摘的最远成熟果实的采摘坐标；

步骤三，根据采摘作业空间内四角处采摘机器人能够采摘的最远成熟果实的采摘坐标，主控制器控制机械臂依次到达四处采摘坐标附近，并在单目视觉模块指引下，主控制器控制采摘机器人的机械臂控制模块和机械爪控制模块开始采摘作业，直到该采摘作业空间内的成熟果实采摘结束；同时，双目视觉模块又开始判别全局视野中的果实成熟度，确定下一个采摘作业空间进而确定下一个采摘停靠点；

步骤四，重复上述步骤二至步骤三，周而复始，直到采摘作业完成。

9.根据权利要求8所述的基于视觉伺服的采摘机器人控制方法，其特征在于，采摘停靠点的确定步骤包括：

首先，取双目视觉模块的双目相机的两镜头对称中心为所述双目相机的坐标系原点，取机械臂的基座底部中心为所述机械臂的坐标系原点；

其次，由双目视觉模块检测得到视野内的成熟果实坐标，并根据所述双目相机的坐标系和所述机械臂的的坐标系的关系，确定成熟果实相对于所述机械臂的坐标系的x，y，z轴坐标；

然后，取采摘机器人左右两侧离采摘机器人最近的两个果实的x轴坐标，并选择二者的最小值记为采摘作业空间在x轴方向上的坐标起始点，该x轴方向上的坐标起始点与所述机械臂的采摘作业空间长度的一半相加，即可获得采摘停靠点的x轴坐标；该x轴方向上的坐标起始点与所述机械臂的采摘作业空间长度相加记为采摘作业空间在x轴方向上的坐标终点，也是采摘机器人的下一个采摘作业空间在x轴方向上的坐标起始点，以此类推确定下一个采摘停靠点的x轴坐标；x轴方向指前后方向，y轴方向指左右方向，z轴方向指上下方向，默认采摘机器人在y轴方向的坐标始终保持不变，所述机械臂的采摘作业空间长度是所述机械臂在前后方向上允许的作业范围的尺寸。

10.根据权利要求8或9所述的基于视觉伺服的采摘机器人控制方法，其特征在于，单目视觉模块中的单目相机位于机械臂的末端机械爪中心；将单目相机拍摄的原始图像传给单目视觉处理器，单目视觉处理器对原始图像进行预处理后选择最大连通域作为目标果实图像，并将目标果实图像中心与原始图像平面中心的横向偏差、纵向偏差以及面积偏差传送给主控制器；主控制器利用偏差计算出机械臂各关节的角速度并传送给机械臂的各关节电机控制器，从而控制机械臂运动以带动末端机械爪靠近目标果实；末端机械爪不断逼近目标果实的过程中，末端机械爪中心的光电开关感应到目标果实时，即末端机械爪与果实的距离到达预设阈值时，主控制器接收光电开关发送的信号并发送指令给机械爪控制模块，继而控制末端机械爪合拢完成果实采摘。

Images