CN108811766B - 一种人机交互式温室果蔬采收机器人系统及其采收方法 - Google Patents

一种人机交互式温室果蔬采收机器人系统及其采收方法 Download PDF

Info

Publication number
CN108811766B
CN108811766B CN201810735152.4A CN201810735152A CN108811766B CN 108811766 B CN108811766 B CN 108811766B CN 201810735152 A CN201810735152 A CN 201810735152A CN 108811766 B CN108811766 B CN 108811766B
Authority
CN
China
Prior art keywords
fruit
vegetable
vegetables
manipulator
fruits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810735152.4A
Other languages
English (en)
Other versions
CN108811766A (zh
Inventor
吕继东
诸燕平
戎海龙
何可人
徐守坤
邹凌
马正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou University
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN201810735152.4A priority Critical patent/CN108811766B/zh
Publication of CN108811766A publication Critical patent/CN108811766A/zh
Application granted granted Critical
Publication of CN108811766B publication Critical patent/CN108811766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30Robotic devices for individually picking crops

Abstract

本发明公开一种人机交互式温室果蔬采收机器人系统及其采收方法。该系统中:图像采集装置用于导航和果蔬图像的获取;机械手装置用于根据人机交互结果采收目标果蔬;机器人移动平台用于温室环境下的人为控制运动;果蔬输送装置负责果蔬采收后的传输;主控设备基于计算机集成了导航、采摘交互、设置及其他软硬件模块,对整个系统进行控制。图像采集装置包括导航图像和果蔬图像采集;机械手装置包括两个5自由度机械臂本体及相应的末端执行器、伺服驱动器、执行电机等;机器人移动平台包括履带轮、电源、动力控制设备。本发明基于人眼对果蔬的识别定位实现人机交互式的果蔬目标采收,而无果蔬颜色、形状大小和昼夜工作时间的限制。

Description

一种人机交互式温室果蔬采收机器人系统及其采收方法
技术领域
本发明涉及智能农业机器人技术领域,特别是涉及果蔬采收机器人系统及作业流程。
背景技术
在果蔬种植生产的过程中,采收作业是其重要环节,其作业质量的好坏直接关系到果蔬的储存、加工和销售,从而最终影响市场价格和经济效益。目前基本是手工作业,劳动强度大、消耗时间长;采用机械化采收不仅能减轻人们的劳动强度、节省人工成本、提高作业效率,而且能提高果蔬的经济效益,因此,研究开发果蔬采收机器人实现果蔬的机械化采收有着重要的实用价值和意义。相比野外果蔬采收机器人,温室果蔬采收机器人除了果蔬的精确识别定位以及采收路径规划由于非结构化环境以及现有技术的限制,还未能很好地解决外,工作空间也相对有限,对其平台架构的研究设计更为不易。
发明内容
本发明的目的是:提供一种人机交互式温室果蔬采收机器人,通过人机交互确定采收目标果蔬及顺序,去除掉现有研究中还不能媲美人工的果蔬目标自动识别定位以及采收路径规划环节,由此可以采收不同颜色、不同形状大小的果蔬,工作时间也可以大大延长。
为了达到上述目的,本发明的技术方案如下:
一种人机交互式温室果蔬采收机器人系统,该系统包括:
导航图像采集装置:用于系统工作时移动全景导航图像的实时获取;
果蔬图像采集装置:用于系统工作时果蔬图像的获取;
机械手装置:用于根据人机交互结果获取的采收目标位置信息进行抓取分离;
机器人移动平台:用于在温室环境下的控制运动;
果蔬输送装置:用于负责果蔬采收后的传输;
主控设备:基于计算机集成了导航界面、采摘交互界面、设置界面及其他各个软硬件模块,用于对整个系统进行控制。
其中所述导航图像采集装置由360度全景影像机组构成,后经图像拼接后在人机交互界面上显示以此用于系统的远程指示移动。
其中所述果蔬图像采集装置包括两套单目彩色摄像机;考虑到系统平台大小受温室采收空间限制,而又要不遮挡图像采集,摄像机分别安置于两机械手末端执行器上,与主控设备上的相应接口相连,实现两路图像采集。
其中所述机械手装置包括2个5自由度机械臂,分别置于移动平台的轮侧对角位置;两机械臂为直角坐标系和关节式混合执行机构;机械手放置所采收果蔬,其旋转方向相逆,以免碰撞。机械臂的第一个自由度为横移自由度,用于机械手沿着导轨横轴移动;第二个自由度为旋转自由度,用来旋转移动后3个自由度机械臂;第三个自由度为升降自由度,起纵向抬升机械手的作用;第四个自由度为旋转自由度,用于调节后自由度机械臂的下俯或上仰角度以便于采收低矮或高架果蔬;第五个自由度为直动自由度,连接末端执行器直动采收目标果蔬;机械手各个自由度采用磁性元件作为限位传感器,以保护设备安全;末端执行器夹具加装内含压力传感器的柔性衬垫,最大限度避免果蔬损伤。机械手各自由度伺服驱动器基于现场总线组网后与主控计算机连接进行通信控制;末端执行器则通过串口与主控计算机连接实现通信控制;机械手其他各个限位、压力传感器通过开关量数据采集卡与主控计算机PCI相连。
其中所述机械手末端执行器夹持中心加装有反射型激光测距仪,用于目标果蔬深度信息的获取。
其中所述机器人移动平台包括履带轮式车体、电源、动力控制设备;电源用于提供系统能量;动力控制设备用于驱动所述履带轮式车体,收拣果蔬输送带的运转。
其中所述果蔬输送装置由两段传送带组成,一段水平固定于移动平台中间,两机械臂置于两侧对角;另一段紧接第一段传送带,接头端可旋转,工作时旋转近地,接力传送果蔬于地面,不工作时向上回转收起。
其中所述主控设备包括人机交互触摸屏,与主控计算机可无线远程通信,在果蔬采摘前通过导航界面指引平台移动;果蔬采摘时显示要采集的果蔬图像,通过触摸笔手动点取要采收的目标果蔬,上半面目标果蔬由轮侧左方机械手采收,下半面目标果蔬由轮侧右方机械手采收;除此之外触摸屏还用于平台各功能的手动测试以及图像坐标系和机械手坐标系的映射校准;界面的切换通过屏幕虚拟按钮来完成。
人机交互式温室果蔬采收机器人采收流程,包括以下步骤:
步骤1:首先系统启动后,在人机交互屏上选择导航界面,工作人员基于导航图像无线远程指引平台进入种植园果蔬夹道内,两边轮侧机械手分别正向面向果蔬,启动平台中间的果蔬传送带。
步骤2:基于自下而上采收准则调整好机械手的位置,并在人机交互屏设置界面上完成图像坐标系和机械手坐标系的映射校准;切换果蔬采摘交互界面,果蔬图像显示在屏幕上。
步骤3:工作人员通过触摸笔点击交互界面果蔬图像上要采收的果蔬目标,主控计算机同时自动记录目标果实的二维图像坐标和上下半面的点击顺序。
步骤4:系统通过坐标转换换算为机器坐标控制各个机械手调整横移、升降机械臂对准目标果蔬,在此过程中,直动关节以低速向前推进。
步骤:5:系统启动各个机械手末端执行器夹持中心的激光测距仪,获取将要进行采收的果蔬深度信息,随后直动关节以高速行进至所测深度距离后,末端执行器夹持目标果蔬。
步骤6:直动关节回程,旋转机械手至输送带,打开末端执行器,目标果蔬经输送带传送至地面,等待工作人员拣拾。
步骤7:在上一果蔬落入输送带的同时,机械手回转而后根据步骤2记录的人机交互采收记录信息,重复执行步骤4-步骤6。
步骤8:当采集图像上要采收的果蔬目标全部采收后,采集下一帧图像同时基于机械手各机械臂位置自动完成图像坐标系和机械手坐标系的映射校准,重复执行步骤3-步骤7;
步骤9:当该区域果蔬都采集完后,工作人员在人机交互屏上选择导航界面,指引平台移动至下一合适位置,重复执行步骤2-步骤8。
本发明的有益效果为:能够实现人工交互果蔬采收目标确定下的自动采收,其特点在于多臂共同采收多类果蔬,采收果蔬无损快速收拣,比人工采收能够提高作业效率,减轻劳动强度,降低作业成本,提升经济效益。
附图说明
图1为人机交互式温室果蔬采收机器人系统结构后视图;
图中:1、人机交互屏;2、天线;3、激光测距仪;4、末端执行器;5、旋转方向;6、履带轮;7、主控计算机;8、果蔬输送带;9、动力控制设备;10、360度全景影像机组(部分);11、横移自由度;12、旋转自由度1;13、升降自由度;14、果蔬图像采集摄像头;15、直动自由度;16、旋转自由度2。
图2为人机交互式温室果蔬采收机器人控制结构框图。
具体实施方式
下面结合附图对本发明的实施方式做进一步的描述。
如图1所示,系统启动后,在人机交互屏1上选择导航界面,工作人员基于10所采集导航图像无线远程指引平台在动力控制设备9驱动下进入种植园果蔬夹道内,两边履带轮6侧机械手分别正向面向果蔬,启动平台中间的果蔬传送带8。通过16基于自下而上采收准则调整好机械手的位置,并在人机交互屏1设置界面上完成图像坐标系和机械手坐标系的映射校准;切换果蔬采摘交互界面,果蔬图像采集摄像头14所采集果蔬图像显示在屏幕上。
工作人员通过触摸笔点击交互界面果蔬图像上要采收的果蔬目标,主控计算机7同时自动记录目标果实的二维图像坐标和上下半面的点击顺序。系统通过坐标转换换算为机器坐标控制各个机械手调整横移机械臂11、升降机械臂13对准目标果蔬,在此过程中,直动关节15以低速向前推进。系统启动机械手末端执行器4夹持中心的激光测距仪3,获取将要进行采收的果蔬深度信息,随后直动关节15以高速行进至所测深度距离后,末端执行器4夹持目标果蔬。直动关节15回程,通过12旋转机械手至输送带8,打开末端执行器4,目标果蔬经输送带传送至地面,等待工作人员拣拾。在上一果蔬落入输送带8的同时,机械手回转而后根据记录的人机交互采收记录信息,进行下一果蔬的采收。
当采集图像上要采收的果蔬目标全部采收后,采集下一帧图像同时基于机械手各机械臂位置自动完成图像坐标系和机械手坐标系的映射校准,而后对该图像中的果蔬进行采收。当该区域果蔬都采集完后,工作人员在人机交互屏1上选择导航界面,指引平台移动至下一合适位置,对该区域的果蔬进行采收。
如图2所示,本发明的人机交互式温室果蔬采收机器人中机械手各自由度伺服驱动器基于现场总线组网后与主控计算机连接进行通信控制;末端执行器则通过串口与主控计算机连接实现通信控制;机械手其他各个限位、压力传感器通过开关量数据采集卡与主控计算机PCI相连,果蔬图像采集也通过图像采集卡与主控计算机PCI相连,而360度全景导航影像与主控计算机间以USB相连。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种人机交互式温室果蔬采收机器人系统,其特征在于,所述系统包括导航图像采集装置、果蔬图像采集装置、机械手装置、机器人移动平台、果蔬输送装置、主控设备:
所述导航图像采集装置:用于系统工作时移动全景导航图像的实时获取;
所述果蔬图像采集装置:用于系统工作时果蔬图像的获取;
所述机械手装置:用于根据人机交互结果获取的采收目标位置信息进行抓取分离;
所述机器人移动平台:用于在温室环境下的控制运动;
所述果蔬输送装置:用于负责果蔬采收后的传输;
所述主控设备:基于计算机集成了导航界面、采摘交互界面和设置界面,用于对整个系统进行控制;
所述导航图像采集装置由360度全景影像机组构成,后经图像拼接后在人机交互屏上显示以此用于系统的远程指示移动;
所述机械手装置包括2个5自由度机械臂且分别置于移动平台的轮侧对角位置;所述果蔬图像采集装置包括两套单目彩色摄像机;考虑到系统平台大小受温室采收空间限制,而又要不遮挡图像采集,摄像机分别安置于2个机械手装置的末端执行器上,与主控设备上的相应接口相连,实现两路图像采集;
所述机械手装置的末端执行器的夹持中心加装有反射型激光测距仪,用于目标果蔬深度信息的获取;
所述主控设备包括人机交互触摸屏,与主控计算机可无线远程通信,在果蔬采摘前通过导航界面指引平台移动;果蔬采摘时显示要采集的果蔬图像,通过触摸笔手动点取要采收的目标果蔬,上半面目标果蔬由轮侧左方机械手采收,下半面目标果蔬由轮侧右方机械手采收;除此之外触摸屏还用于平台各功能的手动测试以及图像坐标系和机械手坐标系的映射校准;界面的切换通过屏幕虚拟按钮来完成。
2.如权利要求1所述的人机交互式温室果蔬采收机器人系统,其特征在于,2个所述的5自由度机械臂,两机械臂为直角坐标系和关节式混合执行机构;机械手放置所采收果蔬,其旋转方向相逆,避免相撞。
3.如权利要求1所述的人机交互式温室果蔬采收机器人系统,其特征在于,机械臂的第一个自由度为横移自由度,用于机械手沿着导轨横轴移动;第二个自由度为旋转自由度,用来旋转移动后3个自由度机械臂;第三个自由度为升降自由度,起纵向抬升机械手的作用;第四个自由度为旋转自由度,用于调节后自由度机械臂的下俯或上仰角度以便于采收低矮或高架果蔬;第五个自由度为直动自由度,连接末端执行器直动采收目标果蔬;机械手各个自由度采用磁性元件作为限位传感器,以保护设备安全;末端执行器夹具加装内含压力传感器的柔性衬垫,最大限度避免果蔬损伤;机械手各自由度伺服驱动器基于现场总线组网后与主控计算机连接进行通信控制;末端执行器则通过串口与主控计算机连接实现通信控制;机械手其他各个限位、压力传感器通过开关量数据采集卡与主控计算机PCI相连。
4.如权利要求1所述的人机交互式温室果蔬采收机器人系统,其特征在于,所述机器人移动平台包括履带轮式车体、电源、动力控制设备;电源用于提供系统能量;动力控制设备用于驱动所述履带轮式车体,收拣果蔬输送带的运转。
5.如权利要求1所述的人机交互式温室果蔬采收机器人系统,其特征在于,所述果蔬输送装置由两段传送带组成,一段水平固定于移动平台中间,两机械臂置于两侧对角;另一段紧接第一段传送带,接头端可旋转,工作时旋转近地,接力传送果蔬于地面,不工作时向上回转收起。
6.一种人机交互式温室果蔬采收机器人系统的果蔬采收方法,其特征在于:基于如权利要求1至5中任一项所述的人机交互式温室果蔬采收机器人系统进行,包括以下步骤:
步骤1:首先系统启动后,在人机交互屏上选择导航界面,工作人员基于导航图像无线远程指引平台进入种植园果蔬夹道内,两边轮侧机械手装置分别正向面向果蔬,启动平台中间的果蔬传送带;
步骤2:基于自下而上采收准则调整好机械手装置的位置,并在人机交互屏设置界面上完成图像坐标系和机械手坐标系的映射校准;切换果蔬采摘交互界面,果蔬图像显示在屏幕上;
步骤3:工作人员通过触摸笔点击交互界面果蔬图像上要采收的果蔬目标,主控计算机同时自动记录目标果实的二维图像坐标和上下半面的点击顺序;
步骤4:系统通过坐标转换换算为机器坐标控制各个机械手装置调整横移、升降机械臂对准目标果蔬,在此过程中,直动关节以低速向前推进;
步骤:5:系统启动各个机械手装置的末端执行器夹持中心的激光测距仪,获取将要进行采收的果蔬深度信息,随后直动关节以高速行进至所测深度距离后,末端执行器夹持目标果蔬;
步骤6:直动关节回程,旋转机械手至输送带,打开末端执行器,目标果蔬经输送带传送至地面,等待工作人员拣拾;
步骤7:在上一果蔬落入输送带的同时,机械手装置回转而后根据步骤2记录的人机交互采收记录信息,重复执行步骤4-步骤6;
步骤8:当采集图像上要采收的果蔬目标全部采收后,采集下一帧图像同时基于机械手装置各机械臂位置自动完成图像坐标系和机械手坐标系的映射校准,重复执行步骤3-步骤7;
步骤9:当区域内果蔬都采集完后,工作人员在人机交互屏上选择导航界面,指引平台移动至下一合适位置,重复执行步骤2-步骤8。
CN201810735152.4A 2018-07-06 2018-07-06 一种人机交互式温室果蔬采收机器人系统及其采收方法 Active CN108811766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810735152.4A CN108811766B (zh) 2018-07-06 2018-07-06 一种人机交互式温室果蔬采收机器人系统及其采收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810735152.4A CN108811766B (zh) 2018-07-06 2018-07-06 一种人机交互式温室果蔬采收机器人系统及其采收方法

Publications (2)

Publication Number Publication Date
CN108811766A CN108811766A (zh) 2018-11-16
CN108811766B true CN108811766B (zh) 2021-10-01

Family

ID=64136176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810735152.4A Active CN108811766B (zh) 2018-07-06 2018-07-06 一种人机交互式温室果蔬采收机器人系统及其采收方法

Country Status (1)

Country Link
CN (1) CN108811766B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479520B (zh) * 2018-12-25 2022-02-11 南京工程学院 一种果蔬采摘机器人双边遥操作控制方法
JP2023500785A (ja) * 2019-10-10 2023-01-11 ザ ステイト オブ イスラエル,ミニストゥリー オブ アグリカルチャー アンド ルーラル デベロップメント アグリカルチャル リサーチ オーガニゼーション 統合されたレーザーと視覚により非構造的かつ多ノイズの環境において農業上の物体を検知するための、人間-ロボットによる誘導システム
CN111008886A (zh) * 2019-11-29 2020-04-14 吉林农业大学 一种全程可视的个性化采摘及溯源销售的方法
CN111837631A (zh) * 2020-08-03 2020-10-30 广西师范大学 一种农业水果便捷式采摘器
CN113924861A (zh) * 2021-11-05 2022-01-14 广东省农业科学院蔬菜研究所 一种用于温室大棚栽培蔬菜的自动采收系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006013593A1 (en) * 2004-08-06 2006-02-09 Valente Pali Precompressi Srl Automated fruit and vegetables picker
US20060150602A1 (en) * 2005-01-07 2006-07-13 Stimmann Eric M Method and apparatus for remotely assisted harvester
CN101356877B (zh) * 2008-09-19 2012-06-20 中国农业大学 一种温室环境下黄瓜采摘机器人系统及采摘方法
US20110047951A1 (en) * 2009-08-25 2011-03-03 Francis Wilson Moore Fruit tree pruner and harvesting machine
CN102165880A (zh) * 2011-01-19 2011-08-31 南京农业大学 一种自主导航的履带式移动水果采摘机器人及水果采摘方法
CN103503639B (zh) * 2013-09-30 2016-01-27 常州大学 一种双臂果蔬采收机器人系统及其果蔬采收方法
CN103716399B (zh) * 2013-12-30 2016-08-17 上海交通大学 基于无线网络的远程交互果实采摘协同异步控制系统及方法
CN103999635B (zh) * 2014-05-21 2016-01-06 浙江工业大学 基于机器视觉的智能化自动切割式采茶机及工作方法
CN105706637A (zh) * 2016-03-10 2016-06-29 西北农林科技大学 一种可自主导航的履带式多机械臂苹果采摘机器人
CN108093868A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种基于嵌入式智能控制及双目机器视觉的采摘系统
CN107409634A (zh) * 2017-08-23 2017-12-01 西北农林科技大学 一种基于gps导航自走式果园自动采摘平台

Also Published As

Publication number Publication date
CN108811766A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108811766B (zh) 一种人机交互式温室果蔬采收机器人系统及其采收方法
CN103503639B (zh) 一种双臂果蔬采收机器人系统及其果蔬采收方法
De-An et al. Design and control of an apple harvesting robot
Zhao et al. Dual-arm robot design and testing for harvesting tomato in greenhouse
CN107486834B (zh) 温室作物生长巡检机器人
CN109392462A (zh) 采摘黄花菜的机器人及方法
CN105746092A (zh) 一种新型履带式苹果采摘机器人
CN109197160B (zh) 一种番石榴采摘机器人及其实现方法
CN111602518A (zh) 全自动垄作式草莓采摘机器人及使用方法
CN114679963B (zh) 一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法
CN112567976A (zh) 一种可旋转式多自由度果蔬采摘收集装置
CN106973631A (zh) 一种自动化采摘系统
CN211745437U (zh) 一种高架果蔬智能采摘机器人
CN109729829B (zh) 一种基于双目识别的智能山楂采摘机器人
CN108718704B (zh) 一种人机交互式野外果蔬采收机器人系统及其采收方法
Hu et al. Simplified 4-DOF manipulator for rapid robotic apple harvesting
CN111684924A (zh) 一种基于树莓派的草莓采摘机器人
CN216058333U (zh) 一种智能移动水果采摘机器人
CN114830915B (zh) 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法
CN113812262B (zh) 一种基于机器视觉的油茶果采摘机器人
CN205408632U (zh) 一种新型履带式苹果采摘机器人
CN206686630U (zh) 一种自动化采摘系统
CN105766221A (zh) 一种新型多采摘臂果实采摘机器人
CN116257081A (zh) 无人机与地面无人车协同去雄作业系统
CN110431999B (zh) 一种龙门式果实自动采收机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181116

Assignee: Shandong Hongde Yuheng Information Technology Co.,Ltd.

Assignor: CHANGZHOU University

Contract record no.: X2023980051060

Denomination of invention: A human-machine interactive greenhouse fruit and vegetable harvesting robot system and its harvesting method

Granted publication date: 20211001

License type: Common License

Record date: 20231209