CN114679963B - 一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法 - Google Patents

Abstract

本发明涉及一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法，包括采摘机架、采摘装置、移动底盘装置以及视觉感知装置，采摘装置包括六自由度机械臂和末端执行器，机械臂驱动末端的末端执行器进行果实采摘，移动底盘装置包括升降机构和转向驱动机构，控制采摘装置的高度和采摘机架行走方向，视觉感知装置包括深度相机和RGB摄像头，用于果实目标检测和采摘点定位。控制系统包括串口通信的嵌入式人工智能控制器和下位机控制模块，用于视觉感知装置与采摘装置和移动底盘装置的联动控制。采摘方法包括包括目标感知‑接近‑剪持‑放果。本发明采用“一采一放”的自动采摘方式，以实现草莓采摘机器人的高度自动化，其结构简单，工作效率高。

Description

一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法

技术领域

本发明涉及农业收获机械技术领域，具体涉及一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法。

背景技术

目前我国农业发展迅速，往自动化、智能化方向发展。针对地里的农作物，现已有着许多农业机械，辅助农民进行农作物的播种、种植、收获等等。而针对较为脆弱娇嫩的水果，目前大多还是采用的人工集中采摘，即在果实的收获期采用大量工人进行手工采摘收获和运输。因此，针对各类果实的采摘收获，多所大学、研究所和多家公司都曾研究设计过果实采摘机器人，来帮助果农快速采摘收获果实，减少人工成本，降低工人劳作强度。同时，高温大棚已经成为了水果蔬菜种植业的主流种植方法，尤其是草莓的种植。大棚使草莓的生长环境更加可控可调，更利于草莓的种植生长。在草莓的收获时节到来时，往往需要在短时间内将成熟的草莓及时采摘下来，并加以良好的储存。而一个大棚往往种植有很多亩草莓，并且农户同时拥有许多个大棚。因此收获时节的采摘工作量是比较大的。但是高温大棚中的湿度和温度较高，超过人体较为适应的温度和湿度，因此人们无法做到连续工作很长时间。而在高温大棚中，草莓是高速生长的，如果劳动力不足导致无法及时采摘，由于大棚内的高温高湿度，会使果实很容易烂掉，造成不必要的损失。所以通常采摘时，需要许多工人共同劳作，并且由于草莓植株高度较低，工人们都需要弯着腰、背着筐、忍受着不舒适的环境采摘成熟草莓果实很长时间。

目前，草莓采摘机器人在功能性上有一定程度的发展，但距离实际使用还有一定的差距，因此本项目设计了一种高度自动化，结构简单，工作效率高的草莓采摘机器人。

发明内容

本发明的目的是提供一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法，以解决现有技术中草莓采摘机器人结构复杂，效率低的问题。

为实现上述目的，本发明采取以下技术方案：

一种跨垄双臂协作草莓收获机器人，其特征在于，所述跨垄双臂协作草莓收获机器人包括：

采摘机架，所述采摘机架为跨垄的箱型框架结构，其内形成有供草莓果柄能够通过的采摘区域，在采摘机架上搭载有中央控制柜；

采摘装置，包括多自由度的机械臂和末端执行器，在所述采摘区域的两侧分别设置一个所述机械臂，所述机械臂滑动安装在采摘机架的顶架壁上，且所述机械臂的末端伸置于采摘区域内，所述末端执行器安装在所述机械臂的末端上；

移动底盘装置，包括升降机构和转向驱动机构，在所述采摘机架四个边角处的侧架壁上分别安装一组升降机构，所述转向驱动机构包括安装在升降机构上的行走轮；

视觉感知装置，包括安装在所述机械臂上的深度相机，以及搭载在所述末端执行器上的RGB摄像头；

其中，所述视觉感知装置的信号输出端接入中央控制柜的信号输入端，所述采摘装置和移动底盘装置的信号输入端接入中央控制柜的信号输出端。

进一步地，所述机械臂为六自由度结构，包括第一模组、第二模组以及第三模组；

所述第一模组包括第一关节横梁、第一关节电机、第一丝杆、第一滑块以及第一连接件，所述第一关节横梁固接在所述采摘机架顶架壁的底面，且所述第一关节横梁与该顶架壁平行设置，所述第一丝杆平行所述第一关节横梁设置，且第一丝杆转动连接在所述第一关节横梁上，所述第一滑块螺纹连接在所述第一丝杆上，所述第一关节电机安装在所述第一关节横梁上，且所述第一关节电机的输出端与所述第一丝杆的端部连接，所述第一连接件用于连接所述第一滑块和第二模组；

所述第二模组包括第二关节立柱、第二关节电机以及第三关节电机，所述第二关节立柱竖直设置在所述第一关节横梁的下方，且所述第二关节立柱的顶端通过第二关节轴与所述第一连接件转动连接，所述第二关节电机和第三关节电机沿自上向下的方向布置在第二关节立柱的内部，所述第二关节电机的顶输出端通过直齿轮传动组与第二关节轴传动连接，所述第三关节电机的底输出端通过锥齿轮传动组与第三模组传动连接；

所述第三模组包括第三关节立柱、第四关节电机、第二丝杆、第二滑块以及第二连接件，所述第三关节立柱设置在所述第二关节立柱的一侧，所述第二丝杆平行所述第三关节立柱设置，且第二丝杆转动连接在所述第三关节立柱上，所述第二滑块螺纹连接在所述第二丝杆上，所述第四关节电机安装在所述第三关节立柱上，且所述第四关节电机的输出端与所述第二丝杆的端部通过直齿轮传动组传动连接，所述第二连接件用于连接所述第二滑块和第二模组，且所述第二连接件与所述第三关节电机的底输出端通过锥齿轮传动组传动连接；

所述末端执行器转动连接在所述第三关节立柱的末端。

所述第三关节立柱内还设有第五关节电机和第三连接件，所述第五关节电机设置在第三关节立柱的末端，且第三关节电机的末端输出端上固接有第一转轮，并在第三关节立柱的末端转动连接有转向与第一转轮垂直的第二转轮，所述第三连接件的顶端与第二转轮通过第五关节轴固接，且第三连接件的末端与末端执行器连接。

进一步地，所述第三连接件的末端固接有关节电机支架，所述关节电机支架上安装有第六关节电机，所述末端执行器与第六关节电机的输出端之间通过直齿轮传动组传动连接。

进一步地，所述末端执行器包括末端支架、末端电机、空间凸轮、左指尖臂以及右指尖臂，所述左指尖臂和所述右指尖臂呈相对设置，且所述左指尖臂和右指尖臂分别通过滑块滑动安装在末端支架上，所述空间凸轮设置在左指尖臂和右指尖臂中部的下方，并通过凸轮中轴转动连接末端支架上，所述空间凸轮包括两个并排设置且共凸轮中轴的单轮，所述单轮由两个半轮拼合构成闭环的圆轮结构，且半轮的轮表面宽度由一端向另一端逐渐变小，使其中一个半轮宽度大的一端与另一个半轮宽度小的一端对接，在半轮的外侧轮壁上开设有滑槽，并在左指尖臂或右指尖臂靠近对应侧单轮的底部固接有滑动连接在滑槽内的滑动凸点，所述末端电机安装在末端支架上，且末端电机的输出轴与凸轮中轴平行设置，在所述末端电机的输出轴上固接有末端传动直齿轮，并在所述空间凸轮上固接有与末端传动直齿轮啮合的凸轮旋转齿轮，其中，在所述左指尖臂和所述右指尖臂的末端分别形成有指尖部，且所述右指尖臂的指尖部上安装有刀片。

进一步地，所述左指尖臂的指尖部内侧安装有激光发射器，所述右指尖臂的指尖部内侧安装有激光接收传感器，其中，所述RGB摄像头搭载在所述末端支架的底部，且所述RGB摄像头的信号输出端接入中央控制柜的信号输入端。

进一步地，所述升降机构包括移动足杆、固定足杆以及伸缩端电机，所述固定足杆于所述采摘机架的外侧固定在所述采摘机架的侧架壁上，且所述固定足杆与该侧架壁平行设置，在固定足杆内设有伸缩端丝杠，所述伸缩端丝杠平行固定足杆设置，且伸缩端丝杠的两端分别转动连接于固定足杆的两端，所述伸缩端电机安装在固定足杆的顶端，且伸缩端电机的输出端与伸缩端丝杆的顶端连接，在所述伸缩端丝杆上滑动连接有伸缩端滑块，并在移动足杆的顶端固定有移动足连接件，所述移动足连接件与伸缩端滑块固接。

进一步地，所述转向驱动机构还包括轮支架、第一转向直齿轮、第二转向直齿轮、转向电机、第一驱动伞齿轮、第二驱动伞齿轮以及驱动电机，所述轮支架呈开口朝下的C型结构，所述行走轮通过横向的驱动轴转动连接在所述轮支架内，在所述轮支架的顶部转动连接有转向轴，且转向轴的顶端转动连接于所述移动足杆的底端，所述第一转向直齿轮固接在转向轴上，所述转向电机通过电机支架固定在轮支架上，且所述第二转向直齿轮固接在转向电机的输出端，并与第一转向直齿轮啮合，所述第一驱动伞齿轮连接在驱动轴的一端，所述驱动电机通过电机支架固定在轮支架上，且所述第二驱动伞齿轮固接在驱动电机的输出端，并与第一驱动伞齿轮传动啮合，其中，所述第一转向直齿轮上安装有磁性元件，并在轮支架上于第一转向直齿轮的下方固接有磁性传感器。

基于上述的一种跨垄双臂协作草莓收获机器人，本发明提供一种控制系统，包括嵌入式人工智能控制器和下位机控制模块，所述嵌入式人工智能控制器和下位机控制模块通过串口通讯协议信号连接；

嵌入式人工智能控制器通过串口通讯协议分别与深度相机和RGB摄像头信号连接，用于实时获取视觉感知装置视野中的目标果实的三维空间坐标，并将果实目标和采摘点的三维坐标传输到下位机控制模块中；

所述下位机控制模块通过CAN通讯协议分别与采摘装置和移动底盘装置信号连接，用于将目标果实的三维坐标信息分配至采摘装置的机械臂中，调整机械臂姿态并完成目标果实采摘，并根据视觉感知装置回传的环境信息，控制移动底盘装置的移动方向。

基于上述的一种控制系统，本发明提供一种采摘方法，包括如下步骤：

S1、启动采摘机器人，由下位机控制模块控制采摘装置的机械臂执行初始化程序，并驱动机械臂的各个关节电机反向运动直至边界零点，最终停在初始化默认位置，启动视觉感知装置，由深度相机和RGB摄像头实时接收视频图像；

S2、运行果实目标搜索子线程，由下位机控制模块根据视觉感知装置回传的环境信息，控制移动底盘装置在垄间自主移动，同时控制机械臂在横向的量程中左右移动，搜索视野中的成熟草莓果实，当视觉感知装置发现果实目标，则移动底盘装置停驻，启动目标瞄准子线程；

S3、视觉感知装置发现果实目标后，首先执行目标果实簇的采摘优先级决策，随后将获目标果实三维坐标信息转换为世界坐标，并传输至下位机控制模块，下位机控制模块根据当前机械臂的世界坐标和作业位置，采用位姿解算得出机械臂各关节电机的运动量，并当RGB摄像头视野中的目标质心像素点位置与深度相机中心点重合时，暂停瞄准子线程；

S4、根据果实目标深度距离，下位机控制模块控制机械臂驱动末端执行器不断运动接近果实目标，当末端执行器的指尖部运动至指定三维坐标处，且指尖部的激光接收传感器信号被触发时，控制机械臂立即暂停前伸运动，并瞬时闭合指尖剪持果柄；

S5、由RGB摄像头再次确认已成功剪持目标果实后，控制末端执行器收回，并控制机械臂的各关节电机按照“放果”操作的既定运动量转动，将草莓果实运送至收纳筐上方，末端执行器的指尖部开合落果，待放果后，控制机械臂驱动末端执行器返回至初始位置；

S6、由RGB摄像头确认当前视野中无法找到成熟果实后，控制移动底盘装置继续前进到下一个采摘区域内，重复步骤S2-S5。

本发明由于采取以上技术方案，具有如下有益效果：

通过设置由采摘机架、采摘装置、移动底盘装置以及视觉感知装置构成的跨垄双臂协作草莓收获机器人，基于控制系统，控制机器人自主运行，采用“一采一放”的采摘方式，包括“目标感知-接近-剪持-放果”的具体流程，由六自由度的机械臂和末端执行器联动，能够顺利采摘距离地面一定区域内的草莓果实，并在末端执行器剪持果柄后，机械臂将按照规划好的路径往返运动放果，从而实现草莓采摘机器人的高度自动化，其结构简单，工作效率高。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：

图1是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的整体结构示意图；

图2是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的采摘装置和移动底盘装置的装配结构示意图；

图3是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的机械臂的结构示意图；

图4是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的第二模组内部结构示意图；

图5是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的末端执行器与第三模组的关节连接结构示意图；

图6是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的末端执行器的结构示意图；

图7是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的空间凸轮的结构示意图；

图8是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的升降机构的结构示意图；

图9是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的转向驱动机构的结构示意图；

图10是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的控制系统的结构示意框图；

图11是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的采摘方法的步骤框图；

图12是本发明实施例提供的一种跨垄双臂协作草莓收获机器人的采摘方法的流程示意框图。

附图中各标记表示如下：

1、采摘机架；11、中央控制柜；2、采摘装置；21、机械臂；211、第一模组；2111、第一关节横梁；2112、第一关节电机；2113、第一丝杆；2114、第一滑块；2115、第一连接件；212、第二模组；2121、第二关节立柱；2122、第三关节电机；213、第三模组；2131、第三关节立柱；2132、第四关节电机；2133、第二丝杆；2134、第二滑块；2135、第二连接件；214、第五关节电机；215、第三连接件；216、第一转轮；217、第二转轮；218、第六关节电机；2181、传动齿轮组；22、末端执行器；221、末端支架；222、末端电机；223、空间凸轮；2231、半轮；2232、滑槽；2233、滑动凸点；224、左指尖臂；225、右指尖臂；226、末端传动直齿轮；227、凸轮旋转齿轮；228、刀片；3、移动底盘装置；31、升降机构；311、移动足杆；312、固定足杆；313、伸缩端电机；314、伸缩端丝杠；315、伸缩端滑块；316、移动足连接件；32、转向驱动机构；321、行走轮；322、轮支架；323、第一转向直齿轮；324、第二转向直齿轮；325、转向电机；326、第一驱动伞齿轮；327、第二驱动伞齿轮；328、驱动电机；4、视觉感知装置；41、深度相机；42、RGB摄像头；5、嵌入式人工智能控制器；6、下位机控制模块。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

由于现有技术中草莓采摘机器人结构复杂，效率低的问题。本发明通过设置由采摘机架、采摘装置、移动底盘装置以及视觉感知装置，基于控制系统，控制机器人自主运行，采用“一采一放”的采摘方式，包括“目标感知-接近-剪持-放果”的具体流程，由六自由度的机械臂和末端执行器联动，能够顺利采摘距离地面一定区域内的草莓果实，并在末端执行器剪持果柄后，机械臂将按照规划好的路径往返运动放果，以实现草莓采摘机器人的高度自动化。

下面通过实施例对本发明的方案进行详细说明。

实施例

如图1和图2所示，本发明提供一种跨垄双臂协作草莓收获机器人，包括采摘机架1、采摘装置2、移动底盘装置3以及视觉感知装置4，具体设置如下：

采摘机架1为跨垄的箱型框架结构，其内形成有供草莓果柄能够通过的采摘区域，在采摘机架1上搭载有中央控制柜11。

采摘装置2包括多自由度的机械臂21和末端执行器22，在采摘区域的两侧分别设置一个机械臂21，机械臂21滑动安装在采摘机架1的顶架壁上，且机械臂21的末端伸置于采摘区域内。末端执行器22安装在机械臂21的末端上。

移动底盘装置3包括升降机构31和转向驱动机构32。在采摘机架1四个边角处的侧架壁上分别安装一组升降机构31，转向驱动机构32包括安装在升降机构31上的行走轮321。

视觉感知装置4包括安装在机械臂21上的深度相机41(参考图10)，以及搭载在末端执行器22上的RGB摄像头42。

其中，视觉感知装置4的信号输出端接入中央控制柜11的信号输入端，采摘装置2和移动底盘装置3的信号输入端接入中央控制柜11的信号输出端。

进一步地，结合图2和如图3所示，机械臂21为六自由度结构，包括第一模组211、第二模组212以及第三模组213。

具体地，第一模组211包括第一关节横梁2111、第一关节电机2112、第一丝杆2113、第一滑块2114以及第一连接件2115。第一关节横梁2111固接在采摘机架1顶架壁的底面，且第一关节横梁2111与该顶架壁平行设置。第一丝杆2113平行第一关节横梁2111设置，且第一丝杆2113转动连接在第一关节横梁2111上，第一滑块2114螺纹连接在第一丝杆2113上。第一关节电机2112安装在第一关节横梁2111上，且第一关节电机2112的输出端与第一丝杆2113的端部连接，第一连接件2115用于连接第一滑块2114和第二模组212。其中，第一连接件2115呈开口朝上，且半包覆于第一关节横梁2111上的C型板结构。

第二模组212包括第二关节立柱2121、第二关节电机(图中未示出)以及第三关节电机2122。第二关节立柱2121竖直设置在第一关节横梁2111的下方，且第二关节立柱2121的顶端通过第二关节轴与第一连接件2115转动连接。第二关节电机和第三关节电机2122沿自上向下的方向布置在第二关节立柱2121的内部，且第二关节电机的顶输出端通过直齿轮传动组与第二关节轴传动连接，第三关节电机2122的底输出端通过锥齿轮传动组与第三模组213传动连接。其中，该位置的直齿轮传动组包括设置在第二关节电机输出端的齿轮和设置在第二关节轴上的齿轮，且该位置的两个齿轮在水平向呈啮合设置。

第三模组213包括第三关节立柱2131、第四关节电机2132、第二丝杆2133、第二滑块2134以及第二连接件2135。第三关节立柱2131设置在第二关节立柱2121的一侧。第二丝杆2133平行第三关节立柱2131设置(参考图4)，且第二丝杆2133转动连接在第三关节立柱2131内，即第二丝杆2133的顶端转动连接在第三关节立柱2131的内顶端，且第二丝杆2133的底端转动连接在第三关节立柱2131的内底端。第二滑块2134螺纹连接在第二丝杆2133上，第四关节电机2132安装在第三关节立柱2131的内顶部，且第四关节电机2132的输出端与第二丝杆2133的顶端通过直齿轮传动组传动连接。优选的，该位置的直齿轮传动组包括设置在第四关节电机2132输出端的齿轮和设置在第二丝杆2133顶端的齿轮，且该位置的两个齿轮在水平向呈啮合结构设置。第二连接件2135用于连接第二滑块2134和第二模组212，且第二连接件2135与第三关节电机2122的底输出端通过锥齿轮传动组传动连接。其中，第二连接件2135呈开口朝向第二滑块2134，且半包覆于第二丝杆2133上的C型板结构。由于第三关节电机2122为竖直设置，且第三关节电机2122的输出端竖直朝下，在第二连接件2135靠近第三关节电机2122的板面上形成有垂直于第三关节电机2122的基杆，该位置的锥齿轮传动组包括设置在基杆的上锥齿轮和设置在第三关节电机2122输出端上的锥齿轮，且该位置的两个锥齿轮呈垂直方向的啮合结构设置。末端执行器22转动连接在第三关节立柱2131的末端。

进一步地，第三关节立柱2131内还设有第五关节电机214和第三连接件215。第五关节电机214设置在第三关节立柱2131的末端，且第五关节电机214的末端输出端上固接有第一转轮216，并在第三关节立柱2131的末端转动连接有转向与第一转轮216垂直的第二转轮217。第三连接件215的顶端与第二转轮217通过第五关节轴固接，且第三连接件215的末端与末端执行器22连接。

进一步地，结合图5所示，在第三连接件215的末端固接有关节电机支架，关节电机支架上安装有第六关节电机218，且末端执行器22与第六关节电机218的输出端之间通过传动齿轮组2181传动连接。该位置的传动齿轮组2181包括设置在第六关节电机218输出端的齿轮和设置在末端执行器22上的齿轮，且该位置的两个齿轮在水平向呈啮合结构设置。

本发明针对草莓垄作栽培环境和成熟果实悬挂式的挂果特点，采用六自由度可重构“P-R-R-P-R-R”型机械臂21，主要由两种杆件组成，包含两个平移关节和四个旋转关节。第一模组211负责整个机械臂21沿着机器人行走方向左右平移，用于垄间行走过程中搜索目标果实以及实施采摘作业时左右平移瞄准果实目标；第二模组213内的第二关节电机负责机械臂21的整体旋转，当完成一颗果实的采摘后，通过第二关节电机的旋转动作控制末端执行器22回转向后放置果实；第三关节电机2122负责第二关节立柱2121和第三关节立柱2131的连接以及相对角度的旋转，能够调整末端执行器22的前伸高度；第四关节电机2132机通过杆件带动末端执行器22实现前、后伸缩平动，完成采摘时的前伸抓取动作；第五关节电机214为末端执行器22腕部摆动关节，负责配合视觉感知装置4上下摆动进行目标果实搜索；第六关节电机218为末端执行器22腕部的旋转调整关节，用于调整末端执行器22的前伸姿态，从而采摘不同倾斜程度的果实目标。其中，机械臂21的每个关节均由行星减速直流电机驱动，并设有关节碰撞开关，机器人实施采摘作业时，下位机控制系统获取到目标果实的世界坐标后，将通过机械臂21运动学分析计算出各个关节的运动量，最后通过CAN指令控制各个关节电机进行工作。

如上所述，结合图6所示，末端执行器22包括末端支架221、末端电机222、空间凸轮223、左指尖臂224以及右指尖臂225。左指尖臂224和右指尖臂225呈相对设置，且左指尖臂224和右指尖臂225分别通过滑块滑动安装在末端支架221上。空间凸轮223设置在左指尖臂224和右指尖臂225中部的下方，且空间凸轮223通过凸轮中轴转动连接末端支架221上，使凸轮中轴与左指尖臂224或右指尖臂225的滑动方向平行。其中，空间凸轮223由两个共凸轮中轴的单轮2231并排组成(参考图7)，而单轮2231是由两个半轮拼合构成闭环的圆轮结构，半轮为轮表面宽度由一端向另一端逐渐变小，且其中一个半轮宽度大的一端与另一个半轮宽度小的一端对接。基于该单轮2231的结构，在半轮的外侧轮壁上开设有滑槽2232，并在左指尖臂224或右指尖臂225靠近该单轮2231的底部设置有滑动连接在对应侧滑槽2232内的滑动凸点2233，使左指尖臂224和右指尖臂225分别与两个单轮2231连接。末端电机222安装在末端支架221上，且末端电机222的输出轴与凸轮中轴平行设置。在末端电机222的输出轴上固接有末端传动直齿轮226，并在空间凸轮223上固接有与末端传动直齿轮226啮合的凸轮旋转齿轮227。通过末端传动直齿轮226和凸轮旋转齿轮227的啮合关系，由末端电机222带动空间凸轮223转动，从而基于空间凸轮223与左指尖臂224和右指尖臂225的连接结构，带动左指尖臂224和右指尖臂225做相对方向的运动，即左指尖臂224和右指尖臂225闭合或张开。同时，利用单轮2231上半轮的轮表面宽度由一端向另一端逐渐变小的结构，使单轮2231转动时，半轮表面宽度较宽的一端形成转动限位，从而对左指尖臂224和右指尖臂225相对运行的距离构成限位。

其中，在左指尖臂224和右指尖臂225的末端分别形成有指尖部，且在右指尖臂225的指尖部上安装有刀片228，且刀片228的刀刃在左指尖臂224和右指尖臂225闭合时，位于左指尖臂224的上方，从而利用刀片228的设置，当左指尖臂224和右指尖臂225闭合时，能够快速对左指尖臂224和右指尖臂225之间的果柄进行剪断。该末端执行器22的结构是根据垄作草莓的生长状态和分布特点，设计的剪持式无损采摘执行器，其指尖部开闭最大距离为15mm，可夹断直径2mm以内的草莓果柄。

一种优选的实施方式为：在左指尖臂224的指尖部内侧安装有激光发射器，并在右指尖臂225的指尖部内侧安装有激光接收传感器，利用该位置的激光发射器和激光接收传感器构成一对激光对射传感器，通过一侧实时发射激光，另一侧负责实时接收，当果柄进入指尖部中间区域时，将会遮挡住对射的激光信号，触发“指尖闭合”信号发送给下位机控制系统，从而驱动末端电机222瞬间完成指尖闭合动作，以快速剪断果柄。

优选的，RGB摄像头42搭载在末端支架221的底部，RGB摄像头42的信号输出端接入中央控制柜11的信号输入端。该RGB摄像头42的分辨率优选为：640×480。通过RGB摄像头42的搭载，采集末端执行器22不断接近目标果实的近景图影信息，从而在末端执行器22的近景状态下进行果实目标检测和采摘点定位。

进一步地，结合图2和图8所示，升降机构31包括移动足杆311、固定足杆312以及伸缩端电机313。固定足杆312于采摘机架1的外侧固定在采摘机架1的侧架壁上，且固定足杆312与该侧架壁平行设置。在固定足杆312内设有伸缩端丝杠314，伸缩端丝杠314平行固定足杆312设置，且伸缩端丝杠314的两端分别转动连接于固定足杆312的两端。伸缩端电机313安装在固定足杆312的顶端，且伸缩端电机313的输出端与伸缩端丝杆314的顶端连接。在伸缩端丝杆314上滑动连接有伸缩端滑块315，并在移动足杆311的顶端固定有移动足连接件316，移动足连接件316与伸缩端滑块315固接，且移动足连接件316呈开口朝向伸缩端滑块315，并半包覆于移动足杆311上的C型板状结构。

升降机构31由一个伸缩端电机313作为动力，驱动伸缩端丝杠314旋转，从而带动伸缩端滑块315做直线运动。固定足杆312同采摘机架1固连，移动足杆311由60*60的铝型材构成，其顶端通过移动足连接件316与固定足杆312固连，跟随伸缩端滑块315沿固定足杆312上的导轨做直线运动，其末端与转向驱动机构32固连，从而带动转向驱动机构32做伸缩运动。

优选的，移动足连接件316和伸缩端滑块315间通过螺栓紧固，移动足连接件316同移动足杆311间通过螺栓进行贯穿，以保证连接处可承受机身重量。其固定足杆312的行程为210mm，丝杠导程为10mm，通过联轴器与电机轴进行连接。

如上所述，结合图2和图9所示，转向驱动机构32还包括轮支架322、第一转向直齿轮323、第二转向直齿轮324、转向电机325、第一驱动伞齿轮326、第二驱动伞齿轮327以及驱动电机328。轮支架322呈开口朝下的C型结构，行走轮311通过横向的驱动轴转动连接在轮支架322内。在轮支架322的顶部转动连接有转向轴，且转向轴的顶端转动连接于移动足杆311的底端。第一转向直齿轮323固接在转向轴上，转向电机325通过电机支架固定在轮支架322上，且第二转向直齿轮324固接在转向电机325的输出端，并与第一转向直齿轮323啮合。第一驱动伞齿轮326连接在驱动轴的一端，驱动电机328通过电机支架固定在轮支架322上，且第二驱动伞齿轮327固接在驱动电机328的输出端，并与第一驱动伞齿轮326传动啮合。

为实现转向关节的位置标定，在轮支架322上于第一转向直齿轮323的下方固接有磁性传感器3221，并在第一转向直齿轮323上安装有磁性元件，当传感器接触磁性元件时便触发响应指令。磁性传感器同轮支架322固连，随旋转关节转动，磁性元件安装在第一转向直齿轮323上，安装位置为与磁性传感器相对的平面，并保证磁性传感器旋转至磁性元件下方时，两者保持适宜距离。

如上所述，转向驱动机构32由两个电机作为动力，一个电机通过伞齿轮副驱动行走轮321旋转，另一个电机通过直齿轮副驱动转向关节旋转。其中，两个电机的电源及信号线以及磁性传感器的信号线，线束较多，为方便走线，将转向轴和移动足杆311均设为设计为中空结构，使线束通过转向轴内部进入移动足杆311内部，实现模块的内部走线。另外，第一转向直齿轮323的直径较大，为此采用拓扑结构设计，在保证强度的基础上减轻质量。优选的，直齿轮副中，第二转向直齿轮324的齿数为50，第一转向直齿轮323的齿数为120；伞齿轮副中，第二驱动伞齿轮327的齿数为15，第一驱动伞齿轮326的齿数为30。

优选的，第二转向直齿轮324和第二驱动伞齿轮327通过平键同电机配合以传递扭矩，并通过顶丝限制齿轮轴向位移；轮轴同样通过平键与第一驱动伞齿轮326和行走轮321的法兰盘配合以传递扭矩，通过顶丝限制行走轮321和齿轮的轴线位移。第一转向直齿轮323和转向轴通过螺栓与移动足杆311端部固连，转向轴和轮支架322间通过两深沟球轴承连接以实现旋转运动，第一转向直齿轮323和轮支架322间装有推力轴承，以保证旋转关节受压力时的正常运动。转向轴底端通过卡簧限制轮支架322的轴向位移。

进一步地，在移动底盘装置3上于采摘装置2的下方还设有收纳盒，并在收纳盒内的底部平铺有一层柔性海绵，以起到较好的碰撞缓冲效果。

通过设置由采摘机架1、采摘装置2、移动底盘装置3以及视觉感知装置4构成的跨垄双臂协作草莓收获机器人，基于控制系统，控制机器人自主运行，采用“一采一放”的采摘方式，包括“目标感知-接近-剪持-放果”的具体流程，由六自由度的机械臂21和末端执行器22联动，能够顺利采摘距离地面一定区域内的草莓果实，并在末端执行器22剪持果柄后，机械臂21将按照规划好的路径往返运动放果，从而实现草莓采摘机器人的高度自动化，其结构简单，工作效率高。

基于上述的一种跨垄双臂协作草莓收获机器人，本发明提供一种控制系统，如图10所示，包括嵌入式人工智能控制器5和下位机控制模块6，嵌入式人工智能控制器5和下位机控制模块6通过串口通讯协议信号连接；

嵌入式人工智能控制器5通过串口通讯协议分别与深度相机41和RGB摄像头42信号连接，用于实时获取视觉感知装置4视野中的目标果实的三维空间坐标，并将果实目标和采摘点的三维坐标传输到下位机控制模块中；

下位机控制模块6通过CAN通讯协议分别与采摘装置2和移动底盘装置3信号连接，用于将目标果实的三维坐标信息分配至采摘装置2的机械臂21中，调整机械臂21姿态并完成目标果实采摘，并根据视觉感知装置4回传的环境信息，控制移动底盘装置3的移动方向。

其中，盖控制系统主要由型号为InterD435i的深度相机41和具有“手眼”视觉系统(基于RGB-D摄像头的实时手指跟踪与手势识别)的RGB摄像头42，以及型号为NvidiaJettsonTX的2嵌入式控制开发板(嵌入式人工智能控制器5)组成。其视觉感知系统软件集成在TX2控制板中，采用基于深度学习的果实目标检测模型和深度相机41的三维点云模块实现远、景中草莓果实目标的识别与定位，并结合“手眼”近景视觉系统进行果实采摘点的识别与定位，从而完成采摘机器人在高动态自然环境下的目标视觉感知。InterD435i的深度相机41安装于机械臂21的第三关节电机2122处，负责在远景中获取目标果实的三维空间坐标并通过串口通讯模块传输到下位机控制模块6。

其中，通过现有查阅可知NvidiaJetsonTX2嵌入式开发板一般配备了NvidiaPascalTMGPU和256个CUDA计算核心单元，能够为深度学习复杂计算提供优良的运算加速服务。因此通过TX2控制系统调用深度相机41的RGB摄像头42实时采集二维彩色图像，通过红外线传感器搭配双目摄像头组获取深度图像，将二维彩色图像输入到果实检测模型中进行目标识别和定位，并将计算出的目标果实二维坐标(X，Y)映射到三维点云深度图中，从而获取果实目标的三维空间坐标(X，Y，Z)。当末端执行器22不断接近草莓果实时，通过“手眼”视觉系统中的RGB摄像头42进行果实采摘点的识别和定位。整个采摘过程中，目标果实和采摘点的三维空间坐标均通过串口通讯传输到下位机控制模块6中。

如上所述，下位机控制模块6采用的是NvidiaNANO嵌入式开发板，主要负责控制六自由度机械臂21路径规划与运动、末端执行器22采摘动作以及移动底盘装置3自动导航等子任务。需要了解的是，控制系统软件是在NANO控制器的Ubuntu16.04操作系统环境下，基于QT编程平台采用C++语言进行多线程并行计算编程，从而基于QT编程开发平台设置采摘机器人多线程并行计算控制系统的架构。

其中，视觉感知装置4与下位机控制模块6之间通过串口通讯，通讯系统同样采用C++编程语言编写。移动底盘装置3自主导航模块采用的是“视觉摄像头+距离传感器”的解决方案，能够识别垄沟走向，实时调整移动底盘装置3的四轮偏移方向，控制移动底盘装置3实现跨垄行走、自动转弯、掉头等功能。

通讯控制模块的通讯协议中，除了嵌入式人工智能控制器5和下位机控制模块6之间采用的是串口通讯协议之外，下位机控制模块6与机械臂21的各关节电机、移动底盘装置3的电机之间均采用的是CAN通讯协议。优选的，本发明的采摘机器人机载总电源供电电压为+24V，而视觉感知装置4供电电压为+19V，下位机控制模块6供电电压为+5V，因此需要使用两种电压转换器(+24转+19V，+24V转+5V)将机载电压降压后，再为两个控制系统供电。

基于上述的一种控制系统，本发明提供一种采摘方法，如图11所示，包括如下步骤：

S1、系统初始化：启动采摘机器人，由下位机控制模块控制采摘装置2的机械臂21执行初始化程序，并驱动机械臂21的各个关节电机反向运动直至边界零点，最终停在初始化默认位置，启动视觉感知装置4，由深度相机41和RGB摄像头42实时接收视频图像；

S2、搜索果实目标：运行果实目标搜索子线程，由下位机控制模6块根据视觉感知装置4回传的环境信息，控制移动底盘装置3在垄间自主移动，同时控制机械臂21在横向的量程中左右移动，搜索视野中的成熟草莓果实，当视觉感知装置4发现果实目标，则移动底盘装置3停驻，启动目标瞄准子线程；

S3、瞄准果实目标：视觉感知装置4发现果实目标后，首先执行目标果实簇的采摘优先级决策，随后将获目标果实三维坐标信息转换为世界坐标，并传输至下位机控制模块6，下位机控制模块6根据当前机械臂21的世界坐标和作业位置，采用位姿解算得出机械臂21各关节电机的运动量，并当RGB摄像头42视野中的目标质心像素点位置与深度相机中心点重合时，暂停瞄准子线程；

S4、前伸抓取目标：根据果实目标深度距离，下位机控制模块6控制机械臂21驱动末端执行器22不断运动接近果实目标，当末端执行器22的指尖部运动至指定三维坐标处，且指尖部的激光接收传感器信号被触发时，控制机械臂21立即暂停前伸运动，并瞬时闭合指尖剪持果柄；

S5、返回放果：由RGB摄像头42再次确认已成功剪持目标果实后，控制末端执行器22收回，并控制机械臂21的各关节电机按照“放果”操作的既定运动量转动，将草莓果实运送至收纳筐上方，末端执行器22的指尖部开合落果，待放果后，控制机械臂21驱动末端执行器22返回至初始位置；

S6、由RGB摄像头42确认当前视野中无法找到成熟果实后，控制移动底盘装置3继续前进到下一个采摘区域内，重复步骤S2-S5。

如上所述，其采摘流程如图12所示，在采摘作业过程中，两套采摘机构分别面向地垄的两侧同时进行采摘。单个机械臂21通过深度相机41在远景中搜索成熟草莓果实，一旦发现目标果实则控制底盘暂停移动，视觉感知装置4将目标果实的三维空间坐标发送给下位机控制模块6。下位机接收到目标果实三维坐标后，先判断果实簇采摘优先级，随后规划出机械臂21运动路径。下位机控制机械臂21驱动末端执行器22不断接近目标果实，并结合“手眼”视觉系统在近景中进行果实采摘点识别和定位。当末端执行器22的爪尖到达采摘点的三维空间位置且爪尖的对射激光传感器感应到触发信号时，爪尖立即闭合剪持果柄。此时，“手眼”视觉系统需要判断爪尖夹持下方有无草莓果实，若有，则控制机械臂21沿着固定的“放果”运动路径将草莓果实放入收纳盒中；反之则张开爪尖再执行一次剪持操作直至剪持成功。机器人采摘作业中，如遇到目标果实所处三维空间位置超出机械臂21关节运动量程时，可以通过控制移动底盘装置3移动固定距离后重新计算目标果实位置。如果移动底盘装置3移动后仍无法抵达目标位置，则判定放弃采摘该果实目标，重新转向下一个草莓果实。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种跨垄双臂协作草莓收获机器人，其特征在于，所述跨垄双臂协作草莓收获机器人包括：

采摘机架，所述采摘机架为跨垄的箱型框架结构，其内形成有供草莓果柄能够通过的采摘区域，在采摘机架上搭载有中央控制柜；

采摘装置，包括多自由度的机械臂和末端执行器，在所述采摘区域的两侧分别设置一个所述机械臂，所述机械臂滑动安装在采摘机架的顶架壁上，且所述机械臂的末端伸置于采摘区域内，所述末端执行器安装在所述机械臂的末端上；

所述末端执行器包括末端支架、末端电机、左指尖臂以及右指尖臂，所述左指尖臂和所述右指尖臂呈相对设置，且所述左指尖臂和右指尖臂分别通过滑块滑动安装在末端支架上，所述末端电机安装在末端支架上，并分别与所述左指尖臂和所述右指尖臂构成控制联动，在所述左指尖臂和所述右指尖臂的末端分别形成有指尖部，且所述右指尖臂的指尖部上安装有刀片；

所述末端执行器还包括空间凸轮，所述空间凸轮设置在左指尖臂和右指尖臂中部的下方，并通过凸轮中轴转动连接末端支架上，所述空间凸轮包括两个并排设置且共凸轮中轴的单轮，所述单轮由两个半轮拼合构成闭环的圆轮结构，且半轮的轮表面宽度由一端向另一端逐渐变小，使其中一个半轮宽度大的一端与另一个半轮宽度小的一端对接，在半轮的外侧轮壁上开设有滑槽，并在左指尖臂或右指尖臂靠近对应侧单轮的底部固接有滑动连接在滑槽内的滑动凸点，所述末端电机安装在末端支架上，且末端电机的输出轴与凸轮中轴平行设置，在所述末端电机的输出轴上固接有末端传动直齿轮，并在所述空间凸轮上固接有与末端传动直齿轮啮合的凸轮旋转齿轮；

移动底盘装置，包括升降机构和转向驱动机构，在所述采摘机架四个边角处的侧架壁上分别安装一组升降机构，所述转向驱动机构包括安装在升降机构上的行走轮；

视觉感知装置，包括安装在所述机械臂上的深度相机，以及搭载在所述末端执行器上的RGB摄像头；

其中，所述视觉感知装置的信号输出端接入中央控制柜的信号输入端，所述采摘装置和移动底盘装置的信号输入端接入中央控制柜的信号输出端。

2.根据权利要求1所述的一种跨垄双臂协作草莓收获机器人，其特征在于：所述机械臂为六自由度结构，包括第一模组、第二模组以及第三模组；

所述第一模组包括第一关节横梁、第一关节电机、第一丝杆、第一滑块以及第一连接件，所述第一关节横梁固接在所述采摘机架顶架壁的底面，且所述第一关节横梁与该顶架壁平行设置，所述第一丝杆平行所述第一关节横梁设置，且第一丝杆转动连接在所述第一关节横梁上，所述第一滑块螺纹连接在所述第一丝杆上，所述第一关节电机安装在所述第一关节横梁上，且所述第一关节电机的输出端与所述第一丝杆的端部连接，所述第一连接件用于连接所述第一滑块和第二模组；

所述第二模组包括第二关节立柱、第二关节电机以及第三关节电机，所述第二关节立柱竖直设置在所述第一关节横梁的下方，且所述第二关节立柱的顶端通过第二关节轴与所述第一连接件转动连接，所述第二关节电机和第三关节电机沿自上向下的方向布置在第二关节立柱的内部，所述第二关节电机的顶输出端通过直齿轮传动组与第二关节轴传动连接，所述第三关节电机的底输出端通过锥齿轮传动组与第三模组传动连接；

所述第三模组包括第三关节立柱、第四关节电机、第二丝杆、第二滑块以及第二连接件，所述第三关节立柱设置在所述第二关节立柱的一侧，所述第二丝杆平行所述第三关节立柱设置，且第二丝杆转动连接在所述第三关节立柱上，所述第二滑块螺纹连接在所述第二丝杆上，所述第四关节电机安装在所述第三关节立柱上，且所述第四关节电机的输出端与所述第二丝杆的端部通过直齿轮传动组传动连接，所述第二连接件用于连接所述第二滑块和第二模组，且所述第二连接件与所述第三关节电机的底输出端通过锥齿轮传动组传动连接；

所述末端执行器转动连接在所述第三关节立柱的末端。

3.根据权利要求2所述的一种跨垄双臂协作草莓收获机器人，其特征在于：所述第三关节立柱内还设有第五关节电机和第三连接件，所述第五关节电机设置在第三关节立柱的末端，且第三关节电机的末端输出端上固接有第一转轮，并在第三关节立柱的末端转动连接有转向与第一转轮垂直的第二转轮，所述第三连接件的顶端与第二转轮通过第五关节轴固接，且第三连接件的末端与末端执行器连接。

4.根据权利要求3所述的一种跨垄双臂协作草莓收获机器人，其特征在于：所述第三连接件的末端固接有关节电机支架，所述关节电机支架上安装有第六关节电机，所述末端执行器与第六关节电机的输出端之间通过传动齿轮组传动连接。

5.根据权利要求1所述的一种跨垄双臂协作草莓收获机器人，其特征在于：所述左指尖臂的指尖部内侧安装有激光发射器，所述右指尖臂的指尖部内侧安装有激光接收传感器，其中，所述RGB摄像头搭载在所述末端支架的底部，且所述RGB摄像头的信号输出端接入中央控制柜的信号输入端。

6.根据权利要求1所述的一种跨垄双臂协作草莓收获机器人，其特征在于：所述升降机构包括移动足杆、固定足杆以及伸缩端电机，所述固定足杆于所述采摘机架的外侧固定在所述采摘机架的侧架壁上，且所述固定足杆与该侧架壁平行设置，在固定足杆内设有伸缩端丝杠，所述伸缩端丝杠平行固定足杆设置，且伸缩端丝杠的两端分别转动连接于固定足杆的两端，所述伸缩端电机安装在固定足杆的顶端，且伸缩端电机的输出端与伸缩端丝杆的顶端连接，在所述伸缩端丝杆上滑动连接有伸缩端滑块，并在移动足杆的顶端固定有移动足连接件，所述移动足连接件与伸缩端滑块固接。

7.根据权利要求6所述的一种跨垄双臂协作草莓收获机器人，其特征在于：所述转向驱动机构还包括轮支架、第一转向直齿轮、第二转向直齿轮、转向电机、第一驱动伞齿轮、第二驱动伞齿轮以及驱动电机，所述轮支架呈开口朝下的C型结构，所述行走轮通过横向的驱动轴转动连接在所述轮支架内，在所述轮支架的顶部转动连接有转向轴，且转向轴的顶端转动连接于所述移动足杆的底端，所述第一转向直齿轮固接在转向轴上，所述转向电机通过电机支架固定在轮支架上，且所述第二转向直齿轮固接在转向电机的输出端，并与第一转向直齿轮啮合，所述第一驱动伞齿轮连接在驱动轴的一端，所述驱动电机通过电机支架固定在轮支架上，且所述第二驱动伞齿轮固接在驱动电机的输出端，并与第一驱动伞齿轮传动啮合，其中，所述第一转向直齿轮上安装有磁性元件，并在轮支架上于第一转向直齿轮的下方固接有磁性传感器。

8.一种控制系统，采用权利要求1-7任意一项所述的一种跨垄双臂协作草莓收获机器人，其特征在于，所述控制系统包括嵌入式人工智能控制器和下位机控制模块，所述嵌入式人工智能控制器和下位机控制模块通过串口通讯协议信号连接；

嵌入式人工智能控制器通过串口通讯协议分别与深度相机和RGB摄像头信号连接，用于实时获取视觉感知装置视野中的目标果实的三维空间坐标，并将果实目标和采摘点的三维坐标传输到下位机控制模块中；

所述下位机控制模块通过CAN通讯协议分别与采摘装置和移动底盘装置信号连接，用于将目标果实的三维坐标信息分配至采摘装置的机械臂中，调整机械臂姿态并完成目标果实采摘，并根据视觉感知装置回传的环境信息，控制移动底盘装置的移动方向。

9.一种采摘方法，采用权利要求8所述的一种控制系统，其特征在于，所述采摘方法包括如下步骤：

S1、启动采摘机器人，由下位机控制模块控制采摘装置的机械臂执行初始化程序，并驱动机械臂的各个关节电机反向运动直至边界零点，最终停在初始化默认位置，启动视觉感知装置，由深度相机和RGB摄像头实时接收视频图像；

S2、运行果实目标搜索子线程，由下位机控制模块根据视觉感知装置回传的环境信息，控制移动底盘装置在垄间自主移动，同时控制机械臂在横向的量程中左右移动，搜索视野中的成熟草莓果实，当视觉感知装置发现果实目标，则移动底盘装置停驻，启动目标瞄准子线程；

S3、视觉感知装置发现果实目标后，首先执行目标果实簇的采摘优先级决策，随后将获目标果实三维坐标信息转换为世界坐标，并传输至下位机控制模块，下位机控制模块根据当前机械臂的世界坐标和作业位置，采用位姿解算得出机械臂各关节电机的运动量，并当RGB摄像头视野中的目标质心像素点位置与深度相机中心点重合时，暂停瞄准子线程；

S4、根据果实目标深度距离，下位机控制模块控制机械臂驱动末端执行器不断运动接近果实目标，当末端执行器的指尖部运动至指定三维坐标处，且指尖部的激光接收传感器信号被触发时，控制机械臂立即暂停前伸运动，并瞬时闭合指尖剪持果柄；

S5、由RGB摄像头再次确认已成功剪持目标果实后，控制末端执行器收回，并控制机械臂的各关节电机按照“放果”操作的既定运动量转动，将草莓果实运送至收纳筐上方，末端执行器的指尖部开合落果，待放果后，控制机械臂驱动末端执行器返回至初始位置；

S6、由RGB摄像头确认当前视野中无法找到成熟果实后，控制移动底盘装置继续前进到下一个采摘区域内，重复步骤S2-S5。

Images