CN111165176A - 一种茶叶人工智能采摘机器人 - Google Patents

一种茶叶人工智能采摘机器人 Download PDF

Info

Publication number
CN111165176A
CN111165176A CN202010203669.6A CN202010203669A CN111165176A CN 111165176 A CN111165176 A CN 111165176A CN 202010203669 A CN202010203669 A CN 202010203669A CN 111165176 A CN111165176 A CN 111165176A
Authority
CN
China
Prior art keywords
tea
picking
robot
artificial intelligence
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010203669.6A
Other languages
English (en)
Inventor
韩仲志
李娟�
邓立苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Dagu Agricultural Information Co ltd
Qingdao Qingnong Intelligent Technology Research Institute Co ltd
Qingdao Agricultural University
Original Assignee
Qingdao Dagu Agricultural Information Co ltd
Qingdao Qingnong Intelligent Technology Research Institute Co ltd
Qingdao Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Dagu Agricultural Information Co ltd, Qingdao Qingnong Intelligent Technology Research Institute Co ltd, Qingdao Agricultural University filed Critical Qingdao Dagu Agricultural Information Co ltd
Priority to CN202010203669.6A priority Critical patent/CN111165176A/zh
Publication of CN111165176A publication Critical patent/CN111165176A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/04Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of tea
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/10Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/14Programme-controlled manipulators characterised by positioning means for manipulator elements fluid
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种茶叶人工智能采摘机器人,由茶叶图像采集装置、5G图像传输模块,云端决策平台,控制电路、智能采茶机器手、茶叶回收装置、自走式作业平台等组成。通过图像传感器进行茶叶冠层图像的实时采集,然后通过5G基站快速将冠层图像上行传输到云端,在云端通过YoLo深度学习的图像处理方法进行嫩芽、新梢采摘点的目标定位,并输出决策信号,决策信号通过5G下行反馈至执行控制电路,带动机器手、末端执行器阵列实现茶叶采摘,茶叶回收装置通过负压吸附方式将茶叶吸附到收集箱内,完成采摘过程。本发明结合5G云端决策和迁移学习,通过二维蜘蛛手结构实现了茶叶嫩芽新梢的实时采摘,具有巨大应用价值。

Description

一种茶叶人工智能采摘机器人
技术领域
本发明公开了一种茶叶人工智能采摘机器人,具体地说,涉及一种结合深度学习和5G云端决策,通过二维蜘蛛手结构实现的茶叶人工智能采摘机器人装置。
背景技术
茶叶是我国特色农产品,茶叶采摘一直以传统纯手工作业为主。传统修剪式的采茶机采摘破碎率高、茶叶品相差,无法满足名优特性能指标。随着农村劳动力不足,茶园收获季节出现劳动力短缺、用工荒等现象较为严重。目前,现有国产或进口的采茶机均无法对全芽、一芽一叶、一芽两叶等进行采摘,因而采茶已成为制约茶产业生产和可持续发展的最大制约因素。
针对上述缺陷,近年来随着深度学习、5G技术及云存储与云计算的发展,使得人工智能茶叶采摘机器人研制成为可能,本发明结合5G云端决策和迁移学习,通过二维蜘蛛手结构实现了茶叶采摘的自动化装置。
发明内容
针对上述问题的不足,本发明的目的主要是开发一种能够进行一芽一叶、一芽两叶等进行分级采摘的茶叶人工智能采摘机器人装置。
上述目的通过如下技术方案实现:
该装置包括深度相机成像系统、5G传输与云端存储模块、深度学习算法模块、二维蜘蛛手采集装置组成;采集过程分为两个阶段,机器人调试阶段、机器人工作阶段。其中深度相机安装在二维蜘蛛手采集装置的前端,5G传输模块同时和深度相机、二维蜘蛛手采集控制装置相连。
其中:(1)深度相机成像系统是由两个相机组成的双目视觉系统组成,深度相机同时可以提供茶叶的图像信息和位置信息,特别的深度相机可选择Kinect 或Stereo相机,为保持环境的稳定性,可将相机及采集的茶叶放置在可移动的暗箱内并增加辅助光源。
(2)5G传输与云端存储模块,由5G传输模块与云端存储器组成;其中5G传输模块与相机模块相连,相机在线拍摄的照片和茶叶三维位置信息可通过5G传输模块高速上传到云端存储器,云端决策系统决策的信号也可以通过5G传输模块高速传送给二维蜘蛛手控制模块,进而控制蜘蛛手运动,从而将鲜茶物料通过采摘头采摘下来并通过负压吸附的方式将茶叶收集到采集箱内。
(3)深度学习算法,其核心是通过深度学习算法对茶叶冠层图像进行处理、定位并识别嫩芽新梢位置,该算法可选择Fast R-CNN、Faster R-CNN、YoLo V1、YoLo V2、YoLo V3其中一种来训练深度学习网络,选择的算法不同识别准确率略有不同,优选的选择FasterR-CNN和YoLo V3模型。
(4)二维蜘蛛手采集装置,包括两个可伸缩控制的气缸,有一个横梁的机架、机器人履带前进机构、采摘头、负压吸附装置及收集箱组成。其中两个可伸缩控制气缸可根据控制信号控制伸缩的长度,气缸上端通过铰链在横梁的两端,下端铰链在一起并安装有采摘头,组成一个可伸缩变形的三角形,可带动采摘头根据茶叶嫩芽的位置变换左右位置和高度;所述的采摘头为一个能夹断嫩芽的夹子,当定位好嫩芽后将茶叶嫩芽夹断,并通过负压吸附装置将嫩芽吸附到收集箱内,特别的,二维蜘蛛手采集装置可根据苗圃的宽度设置2组或多组。
(5)采集过程分为两个阶段,其中机器人调试阶段,人工控制机器人沿着茶叶苗圃方向前进拍摄照片,拍摄的照片经5G传输模块上传到云端,然后对采集的照片,对需要采摘的嫩芽进行人工标记,将人工标记好的图片送入深度学习网络进行训练,采用迁移学习的方法得到训练好的深度学习网络决策模型;其中机器人工作阶段,机器人沿着茶叶苗圃方向前进并拍摄待采摘茶叶苗圃的照片,拍摄的照片经5G传输模块上传到云端,然后使用深度学习决策模型对采集的照片进行检测,将嫩芽定位和识别出来,并将定位和识别信号通过5G传输给二维蜘蛛手控制装置,控制装置控制二维蜘蛛手两个气缸伸缩定位到嫩芽位置,并控制采摘头将嫩芽采摘下来。二维蜘蛛手的横向与纵向运动,结合机器人履带前进装置配合可将不同位置的嫩芽依次采摘下来。
本发明的效果是:本发明专利技术实现鲜茶叶的自动化智能化过程,能够一芽一叶、一芽二叶等进行分级采摘,提高了采摘的精细化、能够代替大量人工,具有巨大的经济效益。另外通过5G机传输和深度学习,云存储和云计算、人工智能,科技含量高,提高农产品的附加值,具有显著的社会效益。
附图说明
图1是本发明茶叶人工智能采摘机器人总体示意图。
图2是采摘过程的两个阶段示意图。
具体实施方式
以下结合附图描述本装置和方法的具体实施方式。
实施例1,
参考图1所示,本发茶叶人工智能采摘机器人总体示意图,该装置包括深度相机成像系统、5G传输与云端存储模块、深度学习算法模块、二维蜘蛛手采集装置组成;
参考图2所示,分选过程分为两个阶段,采集过程分为两个阶段,机器人调试阶段、机器人工作阶段。其中机器人调试阶段,人工控制机器人沿着茶叶苗圃方向前进拍摄照片,拍摄的照片经5G传输模块上传到云端,然后对采集的照片,对需要采摘的嫩芽进行人工标记,将人工标记好的图片送入深度学习网络进行训练,采用迁移学习的方法得到训练好的深度学习网络决策模型;其中机器人工作阶段,机器人沿着茶叶苗圃方向前进并拍摄待采摘茶叶苗圃的照片,拍摄的照片经5G传输模块上传到云端,然后使用深度学习决策模型对采集的照片进行检测,将嫩芽定位和识别出来,并将定位和识别信号通过5G传输给二维蜘蛛手控制装置,控制装置控制二维蜘蛛手两个气缸伸缩定位到嫩芽位置,并控制采摘头将嫩芽采摘下来;二维蜘蛛手的横向与纵向运动,结合机器人履带前进装置配合可将不同位置的嫩芽依次采摘下来。
本发明不仅能够对鲜茶叶进行采摘,还可以应用于广泛应用冠层成长型的花朵采摘等作物采摘中,甚至能够稍加改变的应用到田间修剪、田间除草、定点施肥等领域,对其他物体的采摘,只要不违背本发明的基本思想,同样适用于本发明的保护范围,本发明的保护范围由权利要求限定。

Claims (7)

1.一种茶叶人工智能采摘机器人,其特征是:包括深度相机成像系统、5G传输与云端存储模块、深度学习算法模块、二维蜘蛛手采集装置组成;采集过程分为两个阶段,机器人调试阶段、机器人工作阶段,其中深度相机安装在二维蜘蛛手采集装置的前端,5G传输模块同时和深度相机、二维蜘蛛手采集控制装置相连。
2.根据权利要求1所述的一种茶叶人工智能采摘机器人,其特征在于:所述的深度相机成像系统是由两个相机组成的双目视觉系统组成,深度相机同时可以提供茶叶的图像信息和位置信息,特别的深度相机可选择Kinect或Stereo相机,为保持环境的稳定性,可将相机及采集的茶叶放置在可移动的暗箱内并增加辅助光源。
3.根据权利要求1所述的一种茶叶人工智能采摘机器人,其特征在于:所述的5G传输与云端存储模块,由5G传输模块与云端存储器组成;其中5G传输模块与相机模块相连,相机在线拍摄的照片和茶叶三维位置信息可通过5G传输模块高速上传到云端存储器,云端决策系统决策的信号也可以通过5G传输模块高速传送给二维蜘蛛手控制模块,进而控制蜘蛛手运动,从而将鲜茶物料通过采摘头采摘下来,并通过负压吸附的方式将茶叶收集到采集箱内。
4.根据权利要求1所述的一种茶叶人工智能采摘机器人,其特征在于:所述的深度学习算法,核心是通过深度学习算法对茶叶冠层图像进行处理、定位并识别嫩芽新梢位置,该算法可选择Fast R-CNN、Faster R-CNN、YoLo V1、YoLo V2、YoLo V3其中一种来训练深度学习网络,选择的算法不同识别准确率略有不同,优选的算法为Faster R-CNN和YoLo V3模型。
5.根据权利要求1所述的一种茶叶人工智能采摘机器人,其特征在于:所述的二维蜘蛛手采集装置,包括两个可伸缩控制的气缸,有一个横梁的机架、机器人履带前进机构、采摘头、负压吸附装置及收集箱组成;其中两个可伸缩控制气缸可根据控制信号控制伸缩的长度,气缸上端通过铰链在横梁的两端,下端铰链在一起并安装有采摘头,组成一个可伸缩变形的三角形,可带动采摘头根据茶叶嫩芽的位置变换左右位置和高度;所述的采摘头为一个能夹断嫩芽的夹子,当定位好嫩芽后将茶叶嫩芽夹断,并通过负压吸附装置将嫩芽吸附到收集箱内,特别的,二维蜘蛛手采集装置可根据苗圃的宽度设置2组或多组。
6.根据权利要求1所述的一种茶叶人工智能采摘机器人,其特征在于:所述的采集过程分为两个阶段,其中机器人调试阶段,人工控制机器人沿着茶叶苗圃方向前进拍摄照片,拍摄的照片经5G传输模块上传到云端,然后对采集的照片,对需要采摘的嫩芽进行人工标记,将人工标记好的图片送入深度学习网络进行训练,采用迁移学习的方法得到训练好的深度学习网络决策模型。
7.根据权利要求1所述的一种茶叶人工智能采摘机器人,其特征在于:所述的采集过程分为两个阶段,其中机器人工作阶段,机器人沿着茶叶苗圃方向前进并拍摄待采摘茶叶苗圃的照片,拍摄的照片经5G传输模块上传到云端,然后使用深度学习决策模型对采集的照片进行检测,将嫩芽定位和识别出来,并将定位和识别信号通过5G传输给二维蜘蛛手控制装置,控制装置控制二维蜘蛛手两个气缸伸缩定位到嫩芽位置,并控制采摘头将嫩芽采摘下来,二维蜘蛛手的横向与纵向运动,结合机器人履带前进装置的配合可将不同位置的嫩芽依次采摘下来。
CN202010203669.6A 2020-03-20 2020-03-20 一种茶叶人工智能采摘机器人 Pending CN111165176A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010203669.6A CN111165176A (zh) 2020-03-20 2020-03-20 一种茶叶人工智能采摘机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010203669.6A CN111165176A (zh) 2020-03-20 2020-03-20 一种茶叶人工智能采摘机器人

Publications (1)

Publication Number Publication Date
CN111165176A true CN111165176A (zh) 2020-05-19

Family

ID=70647814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010203669.6A Pending CN111165176A (zh) 2020-03-20 2020-03-20 一种茶叶人工智能采摘机器人

Country Status (1)

Country Link
CN (1) CN111165176A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052736A (zh) * 2020-08-06 2020-12-08 浙江理工大学 一种基于云计算平台的田间茶叶嫩梢检测方法
CN112131982A (zh) * 2020-09-10 2020-12-25 安徽农业大学 一种基于卷积神经网络的茶树嫩芽识别方法
CN112189447A (zh) * 2020-11-03 2021-01-08 杭州市农业科学研究院 一种四角定位茶芽梢的智能采茶机及其工作方法
CN112616442A (zh) * 2020-12-30 2021-04-09 浙江理工大学 一种基于负压引导的双翅型茶叶采摘机器人
CN112718548A (zh) * 2020-12-10 2021-04-30 青岛农业大学 一种深度学习通用型农产品智能分选机
CN113099847A (zh) * 2021-05-25 2021-07-13 广东技术师范大学 一种基于果实三维参数预测模型的果实采摘方法
CN114568126A (zh) * 2022-03-17 2022-06-03 南京信息工程大学 一种基于机器视觉的采茶机器人及工作方法
CN116276956A (zh) * 2022-12-01 2023-06-23 北京科技大学 定制化药物制备的机器人操作技能模仿学习方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654468A (zh) * 2015-12-21 2016-06-08 中国石油大学(华东) 一种基于深度学习和图像边缘信息的茶叶嫩芽检测方法
CN105993387A (zh) * 2016-08-03 2016-10-12 扬州市邗江德昌塑料厂 一种智能采茶机器人及其采茶方法
CN109948444A (zh) * 2019-02-19 2019-06-28 重庆理工大学 基于cnn的果实与障碍物的同步识别方法、系统与机器人
CN109997516A (zh) * 2019-05-14 2019-07-12 厦门金镒号茶文化有限公司 一种智能采茶机器人及应用其采茶的方法
CN216532680U (zh) * 2020-03-20 2022-05-17 青岛农业大学 一种茶叶人工智能采摘机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654468A (zh) * 2015-12-21 2016-06-08 中国石油大学(华东) 一种基于深度学习和图像边缘信息的茶叶嫩芽检测方法
CN105993387A (zh) * 2016-08-03 2016-10-12 扬州市邗江德昌塑料厂 一种智能采茶机器人及其采茶方法
CN109948444A (zh) * 2019-02-19 2019-06-28 重庆理工大学 基于cnn的果实与障碍物的同步识别方法、系统与机器人
CN109997516A (zh) * 2019-05-14 2019-07-12 厦门金镒号茶文化有限公司 一种智能采茶机器人及应用其采茶的方法
CN216532680U (zh) * 2020-03-20 2022-05-17 青岛农业大学 一种茶叶人工智能采摘机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗浩伦等: "基于VGG16 网络的茶叶嫩芽自动检测研究", 农业与技术, 15 January 2020 (2020-01-15), pages 15 - 17 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052736A (zh) * 2020-08-06 2020-12-08 浙江理工大学 一种基于云计算平台的田间茶叶嫩梢检测方法
CN112131982A (zh) * 2020-09-10 2020-12-25 安徽农业大学 一种基于卷积神经网络的茶树嫩芽识别方法
CN112189447A (zh) * 2020-11-03 2021-01-08 杭州市农业科学研究院 一种四角定位茶芽梢的智能采茶机及其工作方法
CN112189447B (zh) * 2020-11-03 2023-06-13 杭州市农业科学研究院 一种四角定位茶芽梢的智能采茶机及其工作方法
CN112718548A (zh) * 2020-12-10 2021-04-30 青岛农业大学 一种深度学习通用型农产品智能分选机
CN112616442A (zh) * 2020-12-30 2021-04-09 浙江理工大学 一种基于负压引导的双翅型茶叶采摘机器人
CN113099847A (zh) * 2021-05-25 2021-07-13 广东技术师范大学 一种基于果实三维参数预测模型的果实采摘方法
CN114568126A (zh) * 2022-03-17 2022-06-03 南京信息工程大学 一种基于机器视觉的采茶机器人及工作方法
CN116276956A (zh) * 2022-12-01 2023-06-23 北京科技大学 定制化药物制备的机器人操作技能模仿学习方法及装置
CN116276956B (zh) * 2022-12-01 2023-12-08 北京科技大学 定制化药物制备的机器人操作技能模仿学习方法及装置

Similar Documents

Publication Publication Date Title
CN111165176A (zh) 一种茶叶人工智能采摘机器人
CN101356877B (zh) 一种温室环境下黄瓜采摘机器人系统及采摘方法
Kitamura et al. Recognition and cutting system of sweet pepper for picking robot in greenhouse horticulture
CN111428712B (zh) 基于人工智能识别的名优茶采摘机及采摘机用识别方法
Hayashi et al. Robotic harvesting system for eggplants
CN202818996U (zh) 葡萄树剪枝机器人系统
CN103752531B (zh) 一种基于机器视觉的烟叶分拣机
CN109729829B (zh) 一种基于双目识别的智能山楂采摘机器人
CN105165255B (zh) 一种基于计算机视觉技术的智能采棉机系统
CN113330915B (zh) 双目视觉识别的自适应棉花收获方法及智能机械收获装置
CN211745437U (zh) 一种高架果蔬智能采摘机器人
CN216532680U (zh) 一种茶叶人工智能采摘机器人
CN111758397A (zh) 一种基于视觉识别的花椒智能采摘装置
Ji et al. Research on key technology of truss tomato harvesting robot in greenhouse
CN114830915B (zh) 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法
CN115316129B (zh) 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
CN102696411A (zh) 基于机器视觉的葡萄冬剪作业装置
CN109964675A (zh) 葡萄树剪枝机器人装置
CN107436340A (zh) 一种植物根冠一体化监测系统及方法
Li et al. Design and experiment of intelligent sorting and transplanting system for healthy vegetable seedlings
CN108718704B (zh) 一种人机交互式野外果蔬采收机器人系统及其采收方法
CN205161109U (zh) 一种大棚蔬菜育苗移栽机自动供料系统
CN208449603U (zh) 一种基于机械手的选矿摇床自动巡检执行装置
CN207269304U (zh) 一种绿色智能除草机器人
CN108323325A (zh) 一种模仿人手型的草莓采摘机器及采摘方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination