CN111418349B - 一种水果采摘智能机器人及其实现水果采摘的方法 - Google Patents

一种水果采摘智能机器人及其实现水果采摘的方法 Download PDF

Info

Publication number
CN111418349B
CN111418349B CN202010194685.3A CN202010194685A CN111418349B CN 111418349 B CN111418349 B CN 111418349B CN 202010194685 A CN202010194685 A CN 202010194685A CN 111418349 B CN111418349 B CN 111418349B
Authority
CN
China
Prior art keywords
fruit
ripe
fruits
robot
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010194685.3A
Other languages
English (en)
Other versions
CN111418349A (zh
Inventor
刘彧菲
闫瑾
刘永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Heman Robot Automation Co ltd
Original Assignee
Nanjing Heman Robot Automation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Heman Robot Automation Co ltd filed Critical Nanjing Heman Robot Automation Co ltd
Priority to CN202010194685.3A priority Critical patent/CN111418349B/zh
Publication of CN111418349A publication Critical patent/CN111418349A/zh
Application granted granted Critical
Publication of CN111418349B publication Critical patent/CN111418349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications

Abstract

本发明公开了一种水果采摘智能机器人及其实现水果采摘的方法。所述机器人包括：无人机、机器人手臂、剪切机构、视觉相机、机器学习单元、视觉定位控制单元以及成熟水果识别单元；所述机器人手臂倒置在无人机下方，剪切机构设置在机器人手臂末端，所述视觉相机设置在无人机下方。机器学习单元和视觉定位控制单元、成熟水果识别单元均设置在上位机中。本发明基于无人机和机器人手臂平台，结合成熟水果识别单元以及视觉定位控制单元实现了水果采摘机器人的三维空间移动和定位。

Description

一种水果采摘智能机器人及其实现水果采摘的方法
技术领域
本发明属于人工智能领域，具体为一种水果采摘智能机器人及其实现水果采摘的方法。
背景技术
随着机器人技术的成熟、成本的降低和推广应用，机器人已逐步进入到农业领域，并将促进现代化农业向着工业化生产、无人化和智能化的方向发展，果蔬的采摘具有季节性强、劳动强度大、环境以及作业要求高等特点，在农业生产中迫切需要机器人化作业。我国的果蔬产业发展较为突出，但农业劳动力却较少，而果蔬的采摘仍主要依靠大量的人力，不仅人工成本高而且采摘效率低；对于一些较高的果树，人工采摘较为困难，而且人工采摘还有因作业环境复杂而不小心跌倒摔伤的风险；因此研究和开发果蔬采摘机械装置对于解放劳动力、提高劳动生产效率、降低劳动成本，保证新鲜水果蔬菜品质以及满足作物生长的实时性要求等方面都有着重要意义。
采用机械采摘一方面是采摘的工作范围问题，水果分布在水平及高低三维空间，有的水果接近地面的，也有的在果树上，另一方面是对于一些易破碎的水果蔬菜，存在很大的局限性，采摘过程中极易造成机械损伤，严重影响水果的品质。所以目前的采摘机器人存在的问题：1.由于树枝和树叶的遮挡，无法准确快速的锁定采摘目标；2.采摘机器人通常采用机械手直接将水果从果梗上拉下，不能保留果梗，不利于水果保鲜且容易造成水果损伤；3.没有一个适合大范围工作(地面水果或果树)的统一采摘平台。
发明内容
本发明的目的在于提供了一种水果采摘智能机器人。
实现本发明目的的技术解决方案为：一种水果采摘智能机器人，包括：无人机、机器人手臂、剪切机构、视觉相机、机器学习单元、视觉定位控制单元以及成熟水果识别单元；所述机器人手臂倒置在无人机下方，剪切机构设置在机器人手臂末端，所述视觉相机设置在无人机下方，所述成熟水果识别单元用于根据采集的图像信息判断水果是否成熟，并发出水果成熟信号；
所述机器学习单元响应于水果成熟信号，采用基于深度学习的语义分割算法从成熟水果图像中分割和标注果实及其对应的果梗；
所述视觉定位控制单元用于控制无人机定位到成熟水果附近并根据机器学习单元标注的果梗信息控制机械手臂携带剪切机构定位到成熟水果的果梗位置进行剪切。
优选地，所述机器人手臂2具有3到6个自由度。
优选地，所述机器学习单元采用基于深度学习的语义分割算法从成熟水果图像中分割和标注果实及其对应的果梗，具体步骤如下：
输入一张相机获取的原始彩色图像；
使用深度卷积神经网络提取图像特征；
使用区域候选网络提取候选框，获得感兴趣区域；
在有感兴趣区域的特征图上使用区域对齐的方法获取7*7大小的特征图；
将特征图输入水果检测分支检测果实位置以及果实种类，所述水果检测分支为两个全连接层；
将特征图输入水果语义分割分支，通过卷积层与反卷积层获取果实与果梗的像素级掩码，分割果实及其对应的果梗并进行标注。
优选地，所述成熟水果识别单元根据采集的图像信息判断水果是否成熟的方法为：
获得水果区域的颜色空间RGB数值，计算均值和方差，若均值和方差在设定的区域范围，则判断该水果成熟，否则，该水果不成熟。
优选地，所述无人机为旋翼机。
本发明还提供了一种水果采摘智能机器人实现水果采摘的方法，具体步骤为：
无人机遍历果园，同时，视觉相机采集图像，成熟水果识别单元根据捕捉的图像识别成熟水果，并发出成熟水果信号；
响应于成熟水果识别单元识别的成熟水果信号，无人机通过视觉定位控制单元定位到待采摘水果上方；
视觉相机采集成熟水果图像；
机器学习单元采用基于深度学习的语义分割算法获取果实及果梗的位置；
视觉定位控制单元执行基于视觉的伺服控制控制机械手臂携带剪切机构定位到采摘水果的果梗位置，剪切机构剪切果梗。
本发明与现有技术相比，其显著优点为：
1)本发明基于无人机和机器人手臂平台，结合成熟水果识别单元以及视觉定位控制单元实现水果采摘机器人的三维空间移动和定位，具备了在果园等农业三维空间快速移动及三维空间作业的能力；
2)本发明进一步采用语义分割方法分割并标注果实及其对应的果梗，实现了基于分割的果实和果梗的自主水果采摘。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为水果采摘智能机器人组成示意图。
图2为水果采摘智能机器人的工作过程。
图3为本发明机器学习单元基于深度学习的语义分割算法流程图。
图4为水果采摘智能机器人实现水果采摘的方法的流程图。
具体实施方式
如图1所示，一种水果采摘智能机器人，包括：无人机1、机器人手臂2、剪切机构3、视觉相机4、机器学习单元5、视觉定位控制单元6以及成熟水果识别单元7；所述机器人手臂2倒置安装在无人机1下方，剪切机构3安装在机器人手臂2末端，视觉相机4安装在无人机1下方，机器学习单元5和视觉定位控制单元6、成熟水果识别单元7均设置在上位机中；无人机1、机器人手臂2、剪切机构3以及视觉相机4等通过信号线与上位机7连接。其中：
所述成熟水果识别单元7用于根据采集的图像信息判断水果是否成熟，并发出水果成熟信号；
所述机器学习单元5响应于水果成熟信号，采用基于深度学习的语义分割算法从成熟水果图像中分割和标注果实及其对应的果梗；
所述视觉定位控制单元6用于控制无人机定位到成熟水果附近并根据机器学习单元5标注的果梗信息控制机械手臂2携带剪切机构3定位到成熟水果的果梗位置进行剪切，完成剪切果梗任务；
进一步的实施例中，所述无人机1为旋翼机，在某些实施例中，采用四旋翼无人机。
进一步的实施例中，所述机器人手臂2是一种具有3到6个自由度的轻便型手臂，在某些实施例中，采用3自由度机器人手臂。
进一步的实施例中，所述上位机采用低功耗微型计算机，本实施例选择NUC为例。
如图3所示，进一步的实施例中，所述机器学习单元5采用基于深度学习的语义分割算法，实现从图像中分割和标注果实及其对应的果梗，具体步骤如下：
输入一张相机获取的原始彩色图像；
使用深度卷积神经网络提取图像特征，本实施例选择VGG为例；
使用区域候选网络提取候选框，获得感兴趣区域；
在有感兴趣区域的特征图上使用区域对齐的方法获取7*7大小的特征图；
将特征图输入水果检测分支检测果实位置以及果实种类，所述水果检测分支为两个全连接层，此时，果实与果梗视为一体；
将特征图输入水果语义分割分支，通过卷积层与反卷积层获取果实与果梗的像素级掩码，分割果实及其对应的果梗并进行标注，果实与果梗为相互独立的目标。
进一步的实施例中，所述成熟水果识别单元7根据采集的图像信息判断水果是否成熟的方法为：
首先获得水果区域的颜色空间RGB数值，计算均值和方差，若均值和方差在设定的区域范围，则判断该水果成熟，否则，该水果不成熟。
如图2所示，水果采摘智能机器人的工作过程是：
1)三维空间遍历果园。无人机携带机器人手臂和剪切机构在果园三维空间运动，遍历果园；同时，视觉相机捕捉图像，成熟水果识别单元根据捕捉的图像识别成熟水果，并发出成熟水果信号。
2)响应于上位机识别的成熟水果信号，无人机通过视觉定位控制单元定位到成熟水果附近(上方)；
3)识别定位待采摘水果的果实和果梗。机器学习单元采用基于深度学习的语义分割算法，实现从成熟图像中分割和标注果实及其对应的果梗。
5)机械手采摘水果。基于视觉定位控制单元控制机械手臂携带剪切机构定位到采摘水果的果梗位置，剪切机构剪切果梗，完成水果采摘。
6)重复上述步骤，完成果园水果的采摘。
如图4所示，一种水果采摘智能机器人实现水果采摘的方法，具体步骤为：
无人机遍历果园，同时，视觉相机4采集图像，成熟水果识别单元根据捕捉的图像识别成熟水果，并发出成熟水果信号；
响应于成熟水果识别单元识别的成熟水果信号，无人机通过视觉定位控制单元定位到待采摘水果上方；
视觉相机4采集成熟水果图像；
机器学习单元5采用基于深度学习的语义分割算法获取果实及果梗的位置；
视觉定位控制单元6执行基于视觉的伺服控制，使剪切机构定位到果梗的位置，并控制剪切机构3执行剪切操作，完成果实的采摘。
机器学习单元5采用基于深度学习的语义分割算法获取果实及果梗的位置的具体方法为：
使用深度卷积神经网络提取图像特征，本实施例选择VGG为例；
使用区域候选网络提取候选框，获得感兴趣区域；
在有感兴趣区域的特征图上使用区域对齐的方法获取7*7大小的特征图；
将特征图输入水果检测分支检测果实位置以及果实种类，所述水果检测分支为两个全连接层，此时，果实与果梗视为一体；
将特征图输入水果语义分割分支，通过卷积层与反卷积层获取果实与果梗的像素级掩码，分割果实及其对应的果梗并进行标注，果实与果梗为相互独立的目标。
本发明对视觉相机采集的图像识别定位水果的果实和果梗，通过无人机携带机器人手臂和剪切机构，基于视觉定位控制技术实现对采摘果实对应的果梗精准剪切，完成果实的采摘，本发明解决了基于分割的果实和果梗的自主水果采摘问题，而且提供了一种基于无人机和机器人手臂的水果采摘机器人方案，解决了在果园等农业三维空间快速移动及三维空间作业的问题。

Claims (5)

1.一种水果采摘智能机器人，其特征在于，包括：无人机（1）、机器人手臂（2）、剪切机构（3）、视觉相机（4）、机器学习单元（5）、视觉定位控制单元（6）以及成熟水果识别单元（7）；所述机器人手臂（2）倒置在无人机（1）下方，剪切机构（3）设置在机器人手臂（2）末端，所述视觉相机（4）设置在无人机（1）下方，所述成熟水果识别单元（7）用于根据采集的图像信息判断水果是否成熟，并发出水果成熟信号；
所述机器学习单元（5）响应于水果成熟信号，采用基于深度学习的语义分割算法从成熟水果图像中分割和标注果实及其对应的果梗；
所述视觉定位控制单元（6）用于控制无人机定位到成熟水果附近并根据机器学习单元（5）标注的果梗信息控制机械手臂（2）携带剪切机构（3）定位到成熟水果的果梗位置进行剪切；
所述机器学习单元（5）采用基于深度学习的语义分割算法从成熟水果图像中分割和标注果实及其对应的果梗，具体步骤如下：
输入一张相机获取的原始彩色图像；
使用深度卷积神经网络提取图像特征；
使用区域候选网络提取候选框，获得感兴趣区域；
在有感兴趣区域的特征图上使用区域对齐的方法获取7*7大小的特征图；
将特征图输入水果检测分支检测果实位置以及果实种类，所述水果检测分支为两个全连接层；
将特征图输入水果语义分割分支，通过卷积层与反卷积层获取果实与果梗的像素级掩码，分割果实及其对应的果梗并进行标注。
2.根据权利要求1所述的水果采摘智能机器人，其特征在于，所述机器人手臂2具有3到6个自由度。
3.根据权利要求1所述的水果采摘智能机器人，其特征在于，所述成熟水果识别单元（7）根据采集的图像信息判断水果是否成熟的方法为：
获得水果区域的颜色空间RGB数值，计算均值和方差，若均值和方差在设定的区域范围，则判断该水果成熟，否则，该水果不成熟。
4.根据权利要求1所述的水果采摘智能机器人，其特征在于，所述无人机（1）为旋翼机。
5.基于权利要求1~4任一所述的水果采摘智能机器人实现水果采摘的方法，其特征在于，具体步骤为：
无人机遍历果园，同时，视觉相机采集图像，成熟水果识别单元根据捕捉的图像识别成熟水果，并发出成熟水果信号；
响应于成熟水果识别单元识别的成熟水果信号，无人机通过视觉定位控制单元定位到待采摘水果上方；
视觉相机采集成熟水果图像；
机器学习单元采用基于深度学习的语义分割算法获取果实及果梗的位置；
视觉定位控制单元执行基于视觉的伺服控制控制机械手臂携带剪切机构定位到采摘水果的果梗位置，剪切机构剪切果梗。
CN202010194685.3A 2020-03-19 2020-03-19 一种水果采摘智能机器人及其实现水果采摘的方法 Active CN111418349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010194685.3A CN111418349B (zh) 2020-03-19 2020-03-19 一种水果采摘智能机器人及其实现水果采摘的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010194685.3A CN111418349B (zh) 2020-03-19 2020-03-19 一种水果采摘智能机器人及其实现水果采摘的方法

Publications (2)

Publication Number Publication Date
CN111418349A CN111418349A (zh) 2020-07-17
CN111418349B true CN111418349B (zh) 2022-05-27

Family

ID=71546560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010194685.3A Active CN111418349B (zh) 2020-03-19 2020-03-19 一种水果采摘智能机器人及其实现水果采摘的方法

Country Status (1)

Country Link
CN (1) CN111418349B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112544235B (zh) * 2020-12-04 2022-07-12 江苏省农业科学院 一种智能水果采摘机器人
CN113485448A (zh) * 2021-08-16 2021-10-08 浙江大学 一种园林用自主修剪型无人机及其控制方法
CN113822748A (zh) * 2021-11-19 2021-12-21 季华实验室 一种水果采摘方法、装置、电子设备及存储介质
WO2023108578A1 (zh) * 2021-12-17 2023-06-22 赛真达国际有限公司 一种野外自主作业的专家型飞行机器人系统
CN114581705A (zh) * 2022-03-02 2022-06-03 福州大学 基于YOLOv4模型和卷积神经网络的水果成熟检测方法和系统
CN114916318B (zh) * 2022-05-30 2023-05-02 华南农业大学 一种搭载在无人机上的水果自动采收装置及其控制方法
CN115104432A (zh) * 2022-07-08 2022-09-27 中山大学 无人机和机械车协同的采摘机器人系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101458534B1 (ko) * 2014-07-16 2014-11-05 (주)테크맥스텔레콤 잣채취용 덕트형 무인비행체
CN109640620B (zh) * 2016-08-18 2022-08-12 泰维空中机器人技术有限公司 用于种植园农业任务管理和数据收集的系统和方法
CN207083510U (zh) * 2017-06-13 2018-03-13 重庆市鸿琦无花果开发有限公司 一种采摘无花果的无人机装置
CN107182442A (zh) * 2017-06-24 2017-09-22 匡致宇 采摘无人机
CN107593113A (zh) * 2017-09-21 2018-01-19 昆明理工大学 一种基于机器视觉的智能水果采摘机器人
CN108830181A (zh) * 2018-05-28 2018-11-16 芜湖通农生态农业有限公司 一种基于无人机的瓜蒌果实识别系统
CN108633482A (zh) * 2018-07-06 2018-10-12 华南理工大学 一种水果采摘飞行器
CN109168632B (zh) * 2018-10-11 2021-10-12 合肥中科多米科技有限公司 一种基于无人机以及tof成像技术的智能茄科蔬菜采摘系统
CN109220226A (zh) * 2018-10-31 2019-01-18 哈尔滨理工大学 果实自动识别分类及采摘的果园智能化系统
CN109863874B (zh) * 2019-01-30 2021-12-14 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
CN110754219A (zh) * 2019-11-08 2020-02-07 仲恺农业工程学院 一种视觉定位的仿生蛇嘴采摘机构、无人机采收装置及其采收方法

Also Published As

Publication number Publication date
CN111418349A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111418349B (zh) 一种水果采摘智能机器人及其实现水果采摘的方法
Tang et al. Recognition and localization methods for vision-based fruit picking robots: A review
Sarig Robotics of fruit harvesting: A state-of-the-art review
Foglia et al. Agricultural robot for radicchio harvesting
Edan et al. Robotic melon harvesting
Wang et al. Review of smart robots for fruit and vegetable picking in agriculture
Montoya-Cavero et al. Vision systems for harvesting robots: Produce detection and localization
CN108064560A (zh) 基于Kinect景深相机的水果自动采摘系统及方法
Majeed et al. Development and performance evaluation of a machine vision system and an integrated prototype for automated green shoot thinning in vineyards
Rahul et al. Image processing based automatic plant disease detection and stem cutting robot
Miao et al. Efficient tomato harvesting robot based on image processing and deep learning
Zhou et al. Intelligent robots for fruit harvesting: Recent developments and future challenges
Anh et al. Developing robotic system for harvesting pineapples
CN115316129A (zh) 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
WO2023231408A1 (zh) 一种搭载在无人机上的水果自动采收装置及其控制方法
Almendral et al. Autonomous fruit harvester with machine vision
Chatzimichali et al. Design of an advanced prototype robot for white asparagus harvesting
Fernando et al. Ai based greenhouse farming support system with robotic monitoring
WO2022091092A1 (en) System and method for indoor crop management
Tarrío et al. A harvesting robot for small fruit in bunches based on 3-D stereoscopic vision
Campbell et al. An integrated actuation-perception framework for robotic leaf retrieval: detection, localization, and cutting
CN115937314B (zh) 一种油茶果生长姿态检测方法
Yang et al. Vision based fruit recognition and positioning technology for harvesting robots
Feng et al. Design and test of harvesting robot for table-top cultivated strawberry
Fujinaga Cutting point detection for strawberry fruit harvesting and truss pruning by agricultural robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant