CN106105566B - 智能柑橘采摘机器人及柑橘采摘方法 - Google Patents

Abstract

一种智能柑橘采摘机器人及柑橘采摘方法，机器人包括行走机构、机械臂、工作台、回收装置、控制系统和电源系统，机械臂、控制系统和电源系统安装在工作台上，机械臂前端设有末端执行器和视觉系统，视觉系统与控制系统数据连接,控制系统通过机械臂驱动单元控制机械臂的动作，控制系统通过行走驱动单元控制行走机构的动作，电源系统为控制系统和行走机构提供工作电源；机械臂包括依次活动连接的第一臂、第二臂、第三臂、第四臂、第五臂和第六臂；柑橘采摘方法包括：启动行走机构，使机器人接近果树、寻找柑橘、抓取柑橘、采摘柑橘、调整夹持力、回收柑橘。本发明采摘效率高、采摘质量高、智能化程度高、实用性强，易于推广使用。

Description

智能柑橘采摘机器人及柑橘采摘方法

技术领域

本发明涉及一种农业机器人技术领域，尤其是一种智能柑橘采摘机器人及柑橘采摘方法。

背景技术

随着高科技的迅速发展，机器人技术已广泛地应用于各个领域，机器人应用于农业生产中，特别是设施农业生产过程，是农业向自动化和智能化发展的重要标志，当前国外农业机器人发展迅速，美国、欧洲和亚洲等许多国家对蔬菜和水果机器人系统的研究开发得到了初步应用，在果蔬生产作业中，收获采摘方面的应用约占整个作业量的33%～ 50%，由于采摘作业的复杂性，在采摘方面应用的自动化程度仍然很低。

目前我国在农业机器人的研究方面还处于起步阶段，目前尚未见有成熟的技术；公开号为CN102124866A、名称为 “一种轮式移动水果采摘机器人及水果采摘方法”的发明专利，其以行走装置为载体将水果采摘机械臂、执行机构、视觉控制系统、驱动装置融合在一起作为实验研究并开发出样机，在技术方面有一定的代表性，但其技术方案仍然存在如下不足之处：

1．机械臂：

该类型机器人所采用的关节型机械臂，虽然具有工作范围大，所占空间小，动作灵活的优点，但是臂与臂之间的只能通过关节转动，而不能相对伸缩和绕中轴转动，由于采摘机器人机械臂要深入到树丛中摘取果实，摘取后只能通过机械臂的回缩运动，让末端执行器把采摘的果实送回到水果接收蓝里，特别像柑橘采摘，其枝叶茂盛，每摘取一个就绕回来，机械臂的运动路径长，空行程增大，每一个运动过程将花费很多时间，必然影响回收效率；

2．末端执行器：

末端执行器直接决定了智能采摘机器人能否有效进行作业，该机器人采用德国SCHUNK公司制造的末端执行器，这种型号的末端执行器附带有力传感器，滑觉传感器等，精度非常高，在工业作业中不失为非常好的设备，但是其采用夹持手指来夹持水果，然后模仿手向上抬的动作将水果摘下，存在的问题一是利用夹持手指进行水果采摘速度慢，效率低，二是由于水果的生长朝向不固定，果树上有枝叶等障碍物，用夹持手指采摘容易因受力不均、导致摘取失败，三是由于果实与果梗的连接比较牢固，且树枝有一定的柔韧性，特别是柑橘，果实与果梗之间距离较短，果梗比较结实，加之在一个枝头上会有多个柑橘，采用模仿手向上抬的动作强行拉拽的方式，不仅会加大机械运动距离而且效果不好，甚至可能会拉断树枝，导致果树受伤。

发明内容

本发明要解决的技术问题是：为解决现有技术问题而提供一种采摘效率高、采摘质量高、智能化程度高及劳动强度低的智能柑橘采摘机器人及柑橘采摘方法。

解决上述技术问题的技术方案是：一种智能柑橘采摘机器人，包括行走机构、机械臂、工作台、回收装置、控制系统和电源系统，机械臂安装在工作台上，机械臂前端设有末端执行器和视觉系统，所述视觉系统与控制系统数据连接,所述控制系统通过机械臂驱动单元控制机械臂的动作，所述控制系统通过行走驱动单元控制行走机构的动作，所述电源系统为控制系统和行走机构提供工作电源；

所述的机械臂包括依次活动连接的第一臂、第二臂、第三臂、第四臂、第五臂和第六臂：所述第一臂通过第一关节与工作台转动连接，从而使整个机械臂可绕第一关节的中轴线作水平转动，所述第二臂通过第二关节与第一臂转动连接，第三臂通过第三关节与第二臂转动连接，第四臂通过第四关节与第三臂转动连接，第五臂通过第五关节与第四臂连接，第六臂通过伸缩转动机构与第五臂连接，第六臂前端连接末端执行器，从而使第六臂和末端执行器可相对第五臂伸缩并绕其中轴线转动；

所述伸缩转动机构包括伸缩筒、旋转筒、丝杆、环形螺母、斜齿轮传动副、步进电机Ⅰ和步进电机Ⅱ，所述伸缩筒滑动套装在第五臂的内腔，所述丝杆安装在第五臂内腔并与步进电机Ⅰ传动连接，安装在伸缩筒后端外圆周的环形滑槽内的环形螺母与丝杆传动连接；

所述旋转筒通过轴承或滑槽安装在伸缩筒前端，旋转筒的后端面连接斜齿轮传动副的伞齿Ⅱ、并与安装在伸缩筒内腔的斜齿轮传动副的伞齿Ⅰ及步进电机Ⅱ传动连接，旋转筒前端连接第六臂。

其进一步的技术方案是：所述末端执行器包括两个对称布置的柔性手臂，柔性手臂与设在第五臂内的气缸传动连接，控制系统通过压力阀和气缸控制柔性手臂的动作，柔性手臂上设有与控制系统电连接的力度传感器和感觉神经传感器。

更进一步：所述的回收装置包括柔性收集袋和回收箱，所述柔性收集袋为一猫耳式的漏洞状装置，其上开口大于下开口，袋身外部设有引导线，柔性收集袋上开口连接在末端执行器的下方，其下开口由引导线引导到回收箱内。

所述视觉系统安装在第五臂前端，所述视觉系统采用双目或三目摄像机，摄像机通过数据传输线与控制系统电连接。所述行走机构采用履带式行驶机构。

所述工作台由支持箱体支承，所述工作台和支持箱体用硬木制成。

其另一技术方案是：一种柑橘采摘方法，该方法是利用智能柑橘采摘机器人进行柑橘采摘的方法，包括以下步骤：

S1：启动行走机构，使机器人接近果树；

S2：寻找柑橘：

驱动机械臂伸进果树，采摘视觉系统搜索待采摘柑橘，并把目标位置信号发送到控制系统；

S3：抓取柑橘：

控制系统收到采摘视觉系统发来的信号后，控制机械臂将末端执行器接近目标，并控制设在第五臂内的伸缩转动机构和气缸动作，使末端执行器的柔性手臂伸出并夹持柑橘；

S4：力度传感器和感觉神经传感器检测柔性手臂与果实之间的夹持力，并将信息回传到控制系统，按照预先输入的实验给出的柑橘所能承受的力阈值，调整和控制柔性手臂的夹持力；

S5：采摘柑橘：

控制系统控制设在第五臂内的伸缩转动机构使柔性手臂转动，通过扭转使柑橘与果梗分离；

S6：回收柑橘：

末端执行器收缩到柔性收集袋的上开口，控制系统控制设在第五臂内的气缸动作使柔性手臂张开，柑橘落入柔性收集袋内，并缓慢地滑落到果实回收箱内。

进一步：上述步骤S2中，采摘视觉系统搜索待采摘柑橘，并把目标位置信号发送到控制系统的步骤包括如下过程：

S21：采集成像：

利用双目或三目摄像机的光学镜头获取两个或多个不同视点，将柑橘果实轮廓成像到像机传感器靶面上；

S22：光电转换：

将步骤S21中的光学信号转变为电信号；

S23：电数转换：

将步骤S22中的电信号传输到图像采集卡内转变成计算机可以处理的数字图像信息；

S24：滤波去噪：

采用中值滤波平滑对步骤S23中的图像信息进行滤波去噪处理；

S25：灰度处理：

对步骤S24中的图像信息进行灰度处理，提取果实的外部轮廓；

S26：把目标位置信号发送到控制系统。

由于采用上述结构，与现有技术相比，本发明之智能柑橘采摘机器人及柑橘采摘方法具有以下有益效果：

1．采摘效率高：

本发明机械臂的第六臂通过伸缩转动机构与第五臂连接，末端执行器连接在第六臂前端，这不仅有利于增大机械臂水平运动的距离，方便采摘更高更远的柑橘，而且由于末端执行器可以随第六臂进行旋转和伸缩，当寻找到目标时可伸进树丛，夹持住果子后通过旋转运动使柑橘与果梗分离，然后退回到末端执行器下方的柔性收集袋，使柑橘落在柔性收集袋里，从而缩短机器人的空行程，大大提高工作效率；

2．采摘质量高：

由于本发明的采摘视觉系统采用双目或三目摄像机，可在复杂的柑橘树丛中，利用光学镜头将柑橘的空间位置信息、包括柑橘果实轮廓成像到像机传感器靶面上，通过光电转换把光学信号转变为电信号，再把相应的电信号传输到图像采集卡内转变成计算机可以处理的数字图像信息，数据采集速度迅速，获取柑橘的数字信号准确，当视觉寻找得到的信息发回到控制系统后，可控制机械臂和末端执行器稳、准、快地抓取到柑橘；

在采摘过程中末端执行器采用柔性手臂采摘柑橘，柔性手臂安装了类似于人手的感觉神经传感器和力度传感器，能够模仿果农的双手进行抓取柑橘，动作灵活，抓取信息发回到控制系统，由控制系统通过力度传感器信息判断抓取力度，调整合适力度后，通过末端执行器旋转把柑橘与果梗进行分离，既避免了由于抓取果实时受力不均而导致损坏果实，又避免了由于强行拉拽果实导致树枝拉断，极大提高了采摘质量；

3．智能化程度高：

由于本发明的操控模式采用智能控制系统实现，控制系统设置启动采摘视觉系统、寻找柑橘、抓取采摘柑橘、柑橘收集等步骤，每个步骤执行完毕可以把信号反馈给控制系统，控制系统进行运算后自动执行下一步的运行，期间不需要人为干预，操控模式简单，智能化程度高；

4．本发明同样适用于其他圆形果实比如脐橙、苹果等的采摘，实用性强；

5．本发明之行走机构采用履带式行驶机构，不仅更方便在复杂的田园道路上行走，而且平稳性好；工作台和支持箱体用硬木制成，可大大减轻整体结构的重量。

附图说明

图1：本发明之智能柑橘采摘机器人结构示意图；

图2：本发明之智能柑橘采摘机器人机械臂的结构示意图；

图3：本发明之智能柑橘采摘机器人控制原理框图；

图4：本发明之机械臂伸缩旋转机构结构示意图；

图5：本发明之智能柑橘采摘机器人（柑橘采摘）工作流程图。

图中：

00—控制系统，1—行走机构，11—行走驱动单元， 2—支持箱体，3—工作台，4—电源系统，5—机械臂驱动单元，6—回收箱，7—机械臂，701—第一关节，71—第一臂，702—第二关节，72—第二臂，703—第三关节，73—第三臂，704—第四关节，74—第四臂，705—第五关节，75—第五臂，706—伸缩转动机构，7061—步进电机Ⅰ，7062—丝杆，7063—环形螺母，7064—步进电机Ⅱ，7065—伞齿Ⅰ，7066—伞齿Ⅱ，7067—旋转筒，7068—轴承，7069—伸缩筒，76—第六臂，8—末端执行器，80—气缸，81—力度传感器，82—感觉神经传感器，9-视觉系统，10-柔性收集袋。

具体实施方式

实施例一

一种智能柑橘采摘机器人，包括行走机构1、机械臂7、工作台3、回收装置、控制系统00和电源系统4，所述机械臂、控制系统00和电源系统4安装在工作台上，机械臂前端设有末端执行器8和视觉系统9，所述视觉系统与控制系统数据连接,所述控制系统通过机械臂驱动单元5控制机械臂的动作，所述控制系统通过行走驱动单元11控制行走机构的动作，所述电源系统为控制系统和行走机构提供工作电源；

所述的机械臂7包括依次活动连接的第一臂71、第二臂72、第三臂73、第四臂74、第五臂75和第六臂76：所述第一臂通过第一关节701与工作台转动连接，从而使整个机械臂可绕第一关节的中轴线作水平转动，所述第二臂通过第二关节702与第一臂转动连接，第三臂通过第三关节703与第二臂转动连接，第四臂通过第四关节704与第三臂转动连接，第五臂通过第五关节705与第四臂连接，第六臂通过伸缩转动机构706与第五臂连接，第六臂前端连接末端执行器8，从而使第六臂和末端执行器可相对第五臂伸缩并绕其中轴线转动；

所述伸缩转动机构706包括伸缩筒7069、旋转筒7067、丝杆7062、环形螺母7063、斜齿轮传动副、步进电机Ⅰ7061和步进电机Ⅱ7064，所述伸缩筒滑动套装在第五臂的内腔，所述丝杆安装在第五臂内腔并与步进电机Ⅰ传动连接，安装在伸缩筒后端外圆周的环形滑槽内的环形螺母与丝杆传动连接；控制系统通过控制步进电机Ⅰ带动丝杆转动，丝杆带动环形螺母推动伸缩筒前后伸缩运动；

所述旋转筒通过轴承7068或滑槽安装在伸缩筒前端，旋转筒的后端面连接斜齿轮传动副的伞齿Ⅱ7066、并与安装在伸缩筒内腔的斜齿轮传动副的伞齿Ⅰ7065及步进电机Ⅱ7064传动连接，旋转筒前端连接第六臂；控制系统通过控制步进电机Ⅱ带动伞齿Ⅰ转动，伞齿Ⅰ带动伞齿Ⅱ转动从而带动旋转筒转动。

所述末端执行器8包括两个对称布置的柔性手臂，柔性手臂与设在第五臂内的气缸80传动连接，控制系统通过压力阀和气缸控制柔性手臂的动作，柔性手臂上设有与控制系统电连接的力度传感器81和感觉神经传感器82。

所述的回收装置包括柔性收集袋10和回收箱6，所述柔性收集袋10为一猫耳式的漏洞状装置，其上开口大于下开口，袋身外部设有引导线，柔性收集袋上开口连接在末端执行器的下方，其下开口由引导线引导到工作台前的回收箱内。

所述视觉系统安装在第五臂前端，所述视觉系统采用双目或三目摄像机，摄像机通过数据传输线与控制系统电连接；所述行走机构采用履带式行驶机构；所述工作台由支持箱体2支承，所述工作台和支持箱体用硬木制成。

实施例二

一种柑橘采摘方法，该方法是利用实施例一之智能柑橘采摘机器人进行柑橘采摘的方法，包括以下步骤：

S1：启动行走机构，使机器人接近果树；

S2：寻找柑橘：

驱动机械臂伸进果树，采摘视觉系统搜索待采摘柑橘，并把目标位置信号发送到控制系统；

S3：抓取柑橘：

控制系统收到采摘视觉系统发来的信号后，控制机械臂将末端执行器8接近目标，并控制设在第五臂内的伸缩转动机构和气缸动作，使末端执行器8的柔性手臂伸出并夹持柑橘；

S4：力度传感器和感觉神经传感器检测柔性手臂与果实之间的夹持力，并将信息回传到控制系统，控制系统按照预先输入的实验给出的柑橘所能承受的力阈值，调整和控制柔性手臂的夹持力；

S5：采摘柑橘：

控制系统控制设在第五臂内的伸缩转动机构使柔性手臂转动，通过扭转使柑橘与果梗分离；

S6：回收柑橘：

末端执行器8收缩到柔性收集袋10的上开口，控制系统控制设在第五臂内的气缸动作使柔性手臂张开，柑橘落入柔性收集袋10内，并缓慢地滑落到果实回收箱内。

在上述步骤S2中，采摘视觉系统搜索待采摘柑橘，并把目标位置信号发送到控制系统的步骤包括如下过程：

S21：采集成像：

利用双目或三目摄像机的光学镜头获取两个或多个不同视点，将柑橘果实轮廓成像到像机传感器靶面上；

S22：光电转换：

将步骤S21中的光学信号转变为电信号；

S23：电数转换：

将步骤S22中的电信号传输到图像采集卡内转变成计算机可以处理的数字图像信息；

S24：滤波去噪：

采用中值滤波平滑对步骤S23中的图像信息进行滤波去噪处理；

S25：灰度处理：

对步骤S24中的图像信息进行灰度处理，提取果实的外部轮廓；

S26：把目标位置信号发送到控制系统。

上述实施例中，所述机械臂每臂之间可以根据需要采用所述伸缩转动机构连接其中的任何两臂。

Claims (7)

1.一种智能柑橘采摘机器人，包括行走机构（1）、机械臂（7）、工作台（3）、回收装置、控制系统（00）和电源系统（4），机械臂安装在工作台上，机械臂前端设有末端执行器（8）和视觉系统（9），所述视觉系统与控制系统数据连接,所述控制系统通过机械臂驱动单元（5）控制机械臂的动作，所述控制系统通过行走驱动单元（11）控制行走机构的动作，所述电源系统为控制系统和行走机构提供工作电源；其特征在于：

所述的机械臂（7）包括依次活动连接的第一臂（71）、第二臂（72）、第三臂（73）、第四臂（74）、第五臂（75）和第六臂（76）：所述第一臂通过第一关节（701）与工作台转动连接，从而使整个机械臂可绕第一关节的中轴线作水平转动，所述第二臂通过第二关节（702）与第一臂转动连接，第三臂通过第三关节（703）与第二臂转动连接，第四臂通过第四关节（704）与第三臂转动连接，第五臂通过第五关节（705）与第四臂连接，第六臂通过伸缩转动机构（706）与第五臂连接、第六臂前端连接末端执行器（8），从而使第六臂和末端执行器可相对第五臂伸缩并绕其中轴线转动；

所述伸缩转动机构（706）包括伸缩筒（7069）、旋转筒（7067）、丝杆（7062）、环形螺母（7063）、斜齿轮传动副、步进电机Ⅰ（7061）和步进电机Ⅱ（7064），所述伸缩筒滑动套装在第五臂的内腔，所述丝杆安装在第五臂内腔并与步进电机Ⅰ传动连接，安装在伸缩筒后端外圆周的环形滑槽内的环形螺母与丝杆传动连接；

所述旋转筒通过轴承（7068）或滑槽安装在伸缩筒前端，旋转筒的后端面连接斜齿轮传动副的伞齿Ⅱ（7066）、并与安装在伸缩筒内腔的斜齿轮传动副的伞齿Ⅰ（7065）及步进电机Ⅱ（7064）传动连接，旋转筒前端连接第六臂；

所述末端执行器（8）包括两个对称布置的柔性手臂，柔性手臂与设在第五臂内的气缸（80）传动连接，控制系统通过压力阀和气缸控制柔性手臂的动作，柔性手臂上设有与控制系统电连接的力度传感器（81）和感觉神经传感器（82）。

2.根据权利要求1所述的智能柑橘采摘机器人，其特征在于：所述的回收装置包括柔性收集袋（10）和回收箱（6），所述柔性收集袋（10）为一猫耳式的漏洞状装置，其上开口大于下开口，袋身外部设有引导线，柔性收集袋上开口连接在末端执行器的下方，其下开口由引导线引导到回收箱内。

3.根据权利要求2所述的智能柑橘采摘机器人，其特征在于：所述视觉系统安装在第五臂前端，所述视觉系统采用双目或三目摄像机，摄像机通过数据传输线与控制系统电连接。

4.根据权利要求3所述的智能柑橘采摘机器人，其特征在于：所述行走机构采用履带式行驶机构。

5.根据权利要求4所述的智能柑橘采摘机器人，其特征在于：所述工作台由支持箱体（2）支承，所述工作台和支持箱体用硬木制成。

6.一种柑橘采摘方法，其特征在于：该方法是利用权利要求5所述的智能柑橘采摘机器人进行柑橘采摘的方法，包括以下步骤：

S1：启动行走机构，使机器人接近果树；

S2：寻找柑橘：

驱动机械臂伸进果树，采摘视觉系统搜索待采摘柑橘，并把目标位置信号发送到控制系统；

S3：抓取柑橘：

控制系统收到采摘视觉系统发来的信号后，控制机械臂将末端执行器（8）接近目标，并控制设在第五臂内的伸缩转动机构和气缸动作，使末端执行器（8）的柔性手臂伸出并夹持柑橘；

S4：力度传感器和感觉神经传感器检测柔性手臂与果实之间的夹持力，并将信息回传到控制系统，按照预先输入的实验给出的柑橘所能承受的力阈值，调整和控制柔性手臂的夹持力；

S5：采摘柑橘：

控制系统控制设在第五臂内的伸缩转动机构使柔性手臂转动，通过扭转使柑橘与果梗分离；

S6：回收柑橘：

末端执行器（8）收缩到柔性收集袋（10）的上开口，控制系统控制设在第五臂内的气缸动作使柔性手臂张开，柑橘落入柔性收集袋（10）内，并缓慢地滑落到果实回收箱内。

7.根据权利要求6所述的柑橘采摘方法，其特征在于：所述步骤S2中，采摘视觉系统搜索待采摘柑橘，并把目标位置信号发送到控制系统的步骤包括如下过程：

S21：采集成像：

利用双目或三目摄像机的光学镜头获取两个或多个不同视点，将柑橘果实轮廓成像到像机传感器靶面上；

S22：光电转换：

将步骤S21中的光学信号转变为电信号；

S23：电数转换：

将步骤S22中的电信号传输到图像采集卡内转变成计算机可以处理的数字图像信息；

S24：滤波去噪：

采用中值滤波平滑对步骤S23中的图像信息进行滤波去噪处理；

S25：灰度处理：

对步骤S24中的图像信息进行灰度处理，提取果实的外部轮廓；

S26：把目标位置信号发送到控制系统。