CN106954426A - 一种基于近景深度传感器的机器人实时逼近定位采摘方法 - Google Patents

一种基于近景深度传感器的机器人实时逼近定位采摘方法 Download PDF

Info

Publication number
CN106954426A
CN106954426A CN201710178280.9A CN201710178280A CN106954426A CN 106954426 A CN106954426 A CN 106954426A CN 201710178280 A CN201710178280 A CN 201710178280A CN 106954426 A CN106954426 A CN 106954426A
Authority
CN
China
Prior art keywords
close shot
subregion
depth transducer
fruit
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710178280.9A
Other languages
English (en)
Other versions
CN106954426B (zh
Inventor
刘继展
周尧
胡春华
袁妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201710178280.9A priority Critical patent/CN106954426B/zh
Publication of CN106954426A publication Critical patent/CN106954426A/zh
Application granted granted Critical
Publication of CN106954426B publication Critical patent/CN106954426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D91/00—Methods for harvesting agricultural products
    • A01D91/02—Products growing in the soil

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于近景深度传感器的机器人实时逼近定位采摘方法，涉及农业机器人领域。本发明由远及近完成采摘的连续动作分为树冠搜索、子区域定位、子区域趋近、单果识别定位和果实摘取5个区间，机械臂始终连续运动；在由近景深度传感器获得冠层方位并引导机械臂向冠层迫近的同时将冠层划分为多个子区域，按顺序切换为向子区域迫近；当近景深度传感器到达近景识别定位深度阈值时进行子区域内各果实的近景识别定位，切换为向果实迫近并完成摘取。本发明运动执行的多个环节间歇性流程为视觉系统与机械系统的连续并行流程，将远景轮廓导引和分区域近景识别定位结合，实现远近景的快速连续逐次迫近，大大提高了机器人采摘作业的实时性和精度。

Description

一种基于近景深度传感器的机器人实时逼近定位采摘方法
技术领域
本发明涉及农业机器人领域，特别涉及一种基于近景深度传感器的机器人实时逼近定位采摘方法。
背景技术
目前机器人采摘作业过程中常用的手眼协调方法具有明显不足：
（1）通常由视觉系统先完成对果实的识别和定位，进而引导机械臂和末端执行器趋近被定位的目标果实并完成摘取。远景视觉系统在较远位置实施探测，造成视场范围内对象信息过多，处理过程过于复杂，且定位精度受到影响；视觉系统的识别定位和机械系统的运动执行分别顺序间歇进行，存在“果实识别—果实定位—坐标信息传递—机械臂运动规划—机械臂逼近—末端执行器摘取”的复杂环节，作业效率受到严重影响。
（2）部分由固定于机器人本体的远景相机和安装于末端执行器内的近景相机结合，实现对目标果实的识别定位和引导机械手完成采摘作业。通常先由远景相机探测植株方位并引导机械手伸展靠近植株，进而利用安装于末端执行器内的相机进行近景的识别定位。其过程不仅存在远、近景相机的匹配问题，并需由远景相机、机械手和近景相机的多环节间歇性动作来实现。同时，需要利用机械手携带近景相机相对目标对象的横向运动来实现获取目标对象的空间位置，定位过程繁琐耗时，更无法保证作业效率。
发明内容
本发明的目的在于提供一种基于近景深度传感器的机器人实时逼近定位采摘方法，实现采摘机器人作业中的实时连续定位采摘作业。
为了解决以上技术问题，本发明采用的具体技术方案如下：
一种基于近景深度传感器的机器人实时逼近定位采摘方法，其特征在于：采摘机器人的机械臂（2）、末端执行器（1）和近景深度传感器（3）从距离植株的冠层（4）较远位置开始趋近果实（6）并完成采摘的连续动作行程分为树冠搜索区间（S1）、子区域定位区间（S2）、子区域趋近动作区间(S3)、单果识别定位区间（S4）、果实摘取动作区间（S5）。
一种基于近景深度传感器的机器人实时逼近定位采摘方法，其特征在于包括以下步骤：
步骤一，树冠搜索区间（S1）：采摘机器人的机械臂（2）腕部转动使近景深度传感器（3）获得整个冠层（4）的深度信息并由深度信息确定冠层（4）的整个轮廓的相对方位；
步骤二，子区域定位区间（S2）：此时机械臂（2）开始带动末端执行器（1）和近景深度传感器（3）向整个冠层（4）的方位迫近，在机械臂（2）运动的同时，采摘机器人的控制系统根据近景识别的需要，利用近景深度传感器（3）获得的整个冠层（4）的深度信息将冠层4划分为多个子区域5并确定实施采摘的子区域5的顺序；
步骤三，子区域趋近动作区间（S3）：在趋近动作切换深度阈值[D1]位置，根据首先实施采摘作业的子区域（5）的方位，机械臂（2）带动末端执行器（1）和近景深度传感器（3）切换动作向首先实施采摘作业的子区域（5）迫近；
步骤四，单果识别定位区间（S4）：当近景深度传感器（3）到达近景识别定位深度阈值[D2]位置，机械臂（2）带动末端执行器（1）和近景深度传感器（3）继续向首先实施采摘作业的子区域（5）迫近的同时，近景深度传感器（3）对首先实施采摘作业的子区域（5）进行各果实（6）的近景识别定位，并确定进行果实（6）的摘取顺序；
步骤五，果实摘取动作区间（S5）：在摘取动作切换阈值[D3]位置，根据首先实施摘取作业的果实（6）空间位置，机械臂（2）带动末端执行器（1）和近景深度传感器（3）切换动作向首先实施摘取作业的果实（6）迫近并到达后完成摘取；
步骤六，机械臂（2）继续带动末端执行器（1）和近景深度传感器（3）按果实（6）的摘取顺序完成对首先实施采摘作业的子区域（5）内其它果实（6）的摘取；
步骤七，机械臂（2）继续带动末端执行器（1）和近景深度传感器（3）根据子区域定位区间（S2）中确定的实施采摘的子区域（5）的顺序和各子区域（5）方位，将末端执行器（1）和近景深度传感器（3）定位于下一子区域（5）的定位深度阈值[D2]处，并重复步骤五、步骤六，完成对该子区域（5）内果实（6）的识别定位和摘取；
步骤八，重复步骤七，直至该植株冠层（4）内的果实（6）采摘完成。
所述近景深度传感器为RealSense等能够在冠层附近时获得冠层轮廓、并在人工采摘的视觉距离范围内对果实进行识别定位的深度传感器。
本发明具有有益效果。本发明通过变机器人采摘中视觉系统的识别定位和机械系统的运动执行的多个环节间歇性流程为视觉系统与机械系统的连续并行流程，从而能够将远景轮廓导引和分区域近景识别定位结合，实现远近景的快速连续逐次迫近，大大提高了机器人采摘作业的实时性和精度。
附图说明
图1为本发明基于近景深度传感器的机器人实时逼近定位采摘过程示意图。
图2为本发明冠层的子区域划分示意图。
图3为本发明实时连续逼近的近景深度传感器与机械臂并行时序示意图。
图中：1.末端执行器，2.机械臂，3.近景深度传感器，4.树冠，5.子区域，6.果实，[D1].趋近动作切换深度阈值，[D2].近景识别定位深度阈值，[D3].摘取动作切换深度阈值，D1.树冠搜索区间, S2.子区域定位区间，S3.子区域趋近动作区间，S4.单果识别定位区间，S5.果实摘取动作区间。
具体实施方式
如图1所示，近景深度传感器3安装在机械臂2的腕部。采摘机器人作业时，采摘机器人的底盘行驶到植株附近并停止前进，采摘机器人开始对该植株的采摘作业。采摘机器人的机械臂2、末端执行器1和近景深度传感器3从距离植株的冠层4较远位置开始趋近果实6并完成采摘的连续动作行程分为树冠搜索区间S1、子区域定位区间S2、子区域趋近动作区间S3、单果识别定位区间S4、果实摘取动作区间S5。如图1和图3所示，由远及近完成采摘的过程如下：
（1）树冠搜索区间S1：采摘机器人的机械臂2腕部转动使近景深度传感器3获得整个冠层4的深度信息并由深度信息确定冠层4的整个轮廓的相对方位；
（2）子区域定位区间S2：此时机械臂2开始带动末端执行器1和近景深度传感器3向整个冠层4的方位迫近，在机械臂2运动的同时，采摘机器人的控制系统根据近景识别的需要，利用近景深度传感器3获得的整个冠层4的深度信息将冠层4划分为多个子区域5并确定实施采摘的子区域5的顺序，如图2所示；
（3）子区域趋近动作区间S3：在趋近动作切换深度阈值[D1]位置，根据首先实施采摘作业的子区域5的方位，机械臂2带动末端执行器1和近景深度传感器3切换动作向首先实施采摘作业的子区域5迫近；
（4）单果识别定位区间S4：当近景深度传感器3到达近景识别定位深度阈值[D2]位置，机械臂2带动末端执行器1和近景深度传感器3继续向首先实施采摘作业的子区域5迫近的同时，近景深度传感器3对首先实施采摘作业的子区域5进行各果实6的近景识别定位，并确定进行果实6的摘取顺序；
（5）果实摘取动作区间S5：在摘取动作切换阈值[D3]位置，根据首先实施摘取作业的果实6空间位置，机械臂2带动末端执行器1和近景深度传感器3切换动作向首先实施摘取作业的果实6迫近并到达后完成摘取；
（6）机械臂2继续带动末端执行器1和近景深度传感器3按果实6的摘取顺序完成对首先实施采摘作业的子区域5内其它果实6的摘取；
（7）机械臂2继续带动末端执行器1和近景深度传感器3根据子区域定位区间S2中确定的实施采摘的子区域5的顺序和各子区域5方位，将末端执行器1和近景深度传感器3定位于下一子区域5的定位深度阈值[D2]处，并重复步骤（5）、（6），完成对该子区域5内果实6的识别定位和摘取；
（8）重复步骤（7），直至该植株冠层4内的果实6采摘完成。

Claims (3)

1.一种基于近景深度传感器的机器人实时逼近定位采摘方法，其特征在于：采摘机器人的机械臂（2）、末端执行器（1）和近景深度传感器（3）从距离植株的冠层（4）较远位置开始趋近果实（6）并完成采摘的连续动作行程，具体包括以下步骤：
步骤一，树冠搜索区间（S1）：采摘机器人的机械臂（2）腕部转动使近景深度传感器（3）获得整个冠层（4）的深度信息并由深度信息确定冠层（4）的整个轮廓的相对方位；
步骤二，子区域定位区间（S2）：此时机械臂（2）开始带动末端执行器（1）和近景深度传感器（3）向整个冠层（4）的方位迫近，在机械臂（2）运动的同时，采摘机器人的控制系统根据近景识别的需要，利用近景深度传感器（3）获得的整个冠层（4）的深度信息将冠层4划分为多个子区域5并确定实施采摘的子区域5的顺序；
步骤三，子区域趋近动作区间（S3）：在趋近动作切换深度阈值[D1]位置，根据首先实施采摘作业的子区域（5）的方位，机械臂（2）带动末端执行器（1）和近景深度传感器（3）切换动作向首先实施采摘作业的子区域（5）迫近；
步骤四，单果识别定位区间（S4）：当近景深度传感器（3）到达近景识别定位深度阈值[D2]位置，机械臂（2）带动末端执行器（1）和近景深度传感器（3）继续向首先实施采摘作业的子区域（5）迫近的同时，近景深度传感器（3）对首先实施采摘作业的子区域（5）进行各果实（6）的近景识别定位，并确定进行果实（6）的摘取顺序；
步骤五，果实摘取动作区间（S5）：在摘取动作切换阈值[D3]位置，根据首先实施摘取作业的果实（6）空间位置，机械臂（2）带动末端执行器（1）和近景深度传感器（3）切换动作向首先实施摘取作业的果实（6）迫近并到达后完成摘取；
步骤六，机械臂（2）继续带动末端执行器（1）和近景深度传感器（3）按果实（6）的摘取顺序完成对首先实施采摘作业的子区域（5）内其它果实（6）的摘取；
步骤七，机械臂（2）继续带动末端执行器（1）和近景深度传感器（3）根据子区域定位区间（S2）中确定的实施采摘的子区域（5）的顺序和各子区域（5）方位，将末端执行器（1）和近景深度传感器（3）定位于下一子区域（5）的定位深度阈值[D2]处，并重复步骤五、步骤六，完成对子区域（5）内果实（6）的识别定位和摘取；
步骤八，重复步骤七，直至该植株冠层（4）内的果实（6）采摘完成。
2.根据权利要求1所述的一种基于近景深度传感器的机器人实时逼近定位采摘方法，其特征在于：所述近景深度传感器为能够在冠层附近时获得冠层轮廓、并在人工采摘的视觉距离范围内对果实进行识别定位的深度传感器。
3.根据权利要求1所述的一种基于近景深度传感器的机器人实时逼近定位采摘方法，其特征在于：所述近景深度传感器为RealSense传感器。
CN201710178280.9A 2017-03-23 2017-03-23 一种基于近景深度传感器的机器人实时逼近定位采摘方法 Active CN106954426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710178280.9A CN106954426B (zh) 2017-03-23 2017-03-23 一种基于近景深度传感器的机器人实时逼近定位采摘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710178280.9A CN106954426B (zh) 2017-03-23 2017-03-23 一种基于近景深度传感器的机器人实时逼近定位采摘方法

Publications (2)

Publication Number Publication Date
CN106954426A true CN106954426A (zh) 2017-07-18
CN106954426B CN106954426B (zh) 2019-01-18

Family

ID=59471885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710178280.9A Active CN106954426B (zh) 2017-03-23 2017-03-23 一种基于近景深度传感器的机器人实时逼近定位采摘方法

Country Status (1)

Country Link
CN (1) CN106954426B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764076A (zh) * 2018-05-15 2018-11-06 西北农林科技大学 一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法
CN109634277A (zh) * 2018-12-14 2019-04-16 江苏大学 一种谷物收割机无人驾驶作业系统与作业方法
CN110249793A (zh) * 2019-05-09 2019-09-20 江苏大学 一种棚架葡萄收获的机器人末端-深度相机配置方法与伺服控制方法
CN111052940A (zh) * 2019-12-29 2020-04-24 大国重器自动化设备(山东)股份有限公司 水果采摘机器人采摘方法
CN117765085A (zh) * 2024-02-22 2024-03-26 华南农业大学 一种茶芽叶采摘远近交替定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN103503639A (zh) * 2013-09-30 2014-01-15 常州大学 一种双臂果蔬采收机器人系统及其果蔬采收方法
US9205562B1 (en) * 2014-08-29 2015-12-08 Google Inc. Integration of depth points into a height map
CN106426186A (zh) * 2016-12-14 2017-02-22 国网江苏省电力公司常州供电公司 一种基于多传感器信息融合的带电作业机器人自主作业方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN103503639A (zh) * 2013-09-30 2014-01-15 常州大学 一种双臂果蔬采收机器人系统及其果蔬采收方法
US9205562B1 (en) * 2014-08-29 2015-12-08 Google Inc. Integration of depth points into a height map
CN106426186A (zh) * 2016-12-14 2017-02-22 国网江苏省电力公司常州供电公司 一种基于多传感器信息融合的带电作业机器人自主作业方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764076A (zh) * 2018-05-15 2018-11-06 西北农林科技大学 一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法
CN109634277A (zh) * 2018-12-14 2019-04-16 江苏大学 一种谷物收割机无人驾驶作业系统与作业方法
CN109634277B (zh) * 2018-12-14 2021-10-08 江苏大学 一种谷物收割机无人驾驶作业系统与作业方法
CN110249793A (zh) * 2019-05-09 2019-09-20 江苏大学 一种棚架葡萄收获的机器人末端-深度相机配置方法与伺服控制方法
CN110249793B (zh) * 2019-05-09 2021-06-18 江苏大学 一种棚架葡萄收获的机器人末端-深度相机配置方法与伺服控制方法
CN111052940A (zh) * 2019-12-29 2020-04-24 大国重器自动化设备(山东)股份有限公司 水果采摘机器人采摘方法
CN117765085A (zh) * 2024-02-22 2024-03-26 华南农业大学 一种茶芽叶采摘远近交替定位方法

Also Published As

Publication number Publication date
CN106954426B (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN106954426A (zh) 一种基于近景深度传感器的机器人实时逼近定位采摘方法
Ling et al. Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision
Jun et al. Towards an efficient tomato harvesting robot: 3d perception, manipulation, and end-effector
Hohimer et al. Design and field evaluation of a robotic apple harvesting system with a 3D-printed soft-robotic end-effector
US11304374B2 (en) Selective automated blossom thinning
Muscato et al. A prototype of an orange picking robot: past history, the new robot and experimental results
US9554512B2 (en) Robotic systems, methods, and end-effectors for harvesting produce
WO2023056670A1 (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
EP2268123B1 (en) Method and device for the removal of a leaf from a crop
TW201707884A (zh) 遠端操作機器人系統
WO2011065035A1 (ja) ロボットの教示データを作成する方法およびロボット教示システム
CN103749094A (zh) 一种猕猴桃果实采摘机器人及采摘方法
EP3203828A1 (en) Automated harvesting apparatus
CN108848889A (zh) 一种基于图像识别的叶菜收获机械装置及其控制方法
CN111673755A (zh) 一种基于视觉伺服的采摘机器人控制系统及控制方法
CN109272553A (zh) 用于棉花顶心摘除的定位方法、控制器及摘除装置
CN109571490A (zh) 一种下棋机器人系统及其视觉识别控制方法
Ji et al. Research on key technology of truss tomato harvesting robot in greenhouse
KR20170011503A (ko) 파프리카 수확 시스템
Qiu et al. Tendon-Driven Soft Robotic Gripper with Integrated Ripeness Sensing for Blackberry Harvesting
Campbell et al. An integrated actuation-perception framework for robotic leaf retrieval: detection, localization, and cutting
CN105123126B (zh) 一种球状果实摘取机器人末端执行器
CN116897717A (zh) 一种番茄打叶机器人末端执行器以及打叶方法
CN107962616A (zh) 一种基于plc控制系统的胚芽鞘切割系统及方法
CN108633458B (zh) 一种基于手眼协调的枸杞采摘方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant