CN109548489A - 一种基于yolo视觉的苹果采摘机器人 - Google Patents

一种基于yolo视觉的苹果采摘机器人 Download PDF

Info

Publication number
CN109548489A
CN109548489A CN201811608913.6A CN201811608913A CN109548489A CN 109548489 A CN109548489 A CN 109548489A CN 201811608913 A CN201811608913 A CN 201811608913A CN 109548489 A CN109548489 A CN 109548489A
Authority
CN
China
Prior art keywords
arm
pedestal
large arm
vision
yolo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811608913.6A
Other languages
English (en)
Inventor
智鹏飞
徐同庆
陈伟
王伟然
宦键
刘俊杰
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haian Zhipeng Automation Technology Co Ltd
Original Assignee
Haian Zhipeng Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haian Zhipeng Automation Technology Co Ltd filed Critical Haian Zhipeng Automation Technology Co Ltd
Priority to CN201811608913.6A priority Critical patent/CN109548489A/zh
Publication of CN109548489A publication Critical patent/CN109548489A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30Robotic devices for individually picking crops
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Robotics (AREA)
  • Environmental Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于yolo视觉的苹果采摘机器人,包括一移动可变形履带底盘;一五轴可伸缩关节机械臂,在机械臂上安装有机械抓手;一视觉识别和深度学习控制系统,包括安装在机械抓手中心位置的摄像头,安装在行走底盘上的嵌入式微处理器及MIniPC控制系统,还包括图像处理装置、数据存储装置、深度学习卡及CPU处理器。本发明的优点在于:本发明的机器人结构简单、自动化得度高,适用性广、移植性强,能广泛适用于果蔬的采摘和回收,具有广阔的前景。

Description

一种基于yolo视觉的苹果采摘机器人
技术领域
本发明涉及一种农业自动化机械装备,特别涉及一种基于yolo视觉的苹果采摘机器人。
背景技术
中国是一个农业生产和农产品消费的大国,农业发展的问题是我国社会经济发展的根本问题。农业是国民经济生产中的基础产业,支持和保障人民的日常活动及社会经济的发展。
近年来,随着计算机硬件技术和先进自动化控制的告诉发展、高新现代化科技农业的应用和推广,农业机器人已经慢慢进入到农业生产领域中,并将促进现代农业向着装备机械化、生产智能化的方向发展。
国内苹果采摘基本上还是纯手工完成。进入21世纪,我国人口面临老龄化问题,劳动力不仅成本提高,而且还会产生各种意外问题。同时,苹果采摘质量也会影响到果蔬的储存、加工和销售。
由于苹果采摘作业环境比较的复杂,苹果在树上呈无规律分布,果园中果树生长具有随机性,苹果的采摘自动化程度仍然很低,难以进行精确定位。苹果采摘机器人是可以通过计算机自动化编程来完成采摘等相关作业任务,同时具有感知能力的自动化机械收获系统。因此,发展机械化收获技术,研究开发果蔬采摘机器人,具有重要的意义。
发明内容
本发明要解决的技术问题是提供一种识别准确率和稳定性高的基于yolo视觉的苹果采摘机器人。
为解决上述技术问题,本发明的技术方案为:一种基于yolo视觉的苹果采摘机器人,其创新点在于:包括
一移动可变形履带底盘,包括一行走底盘,在行走底盘的两侧安装有叶子板,在叶子板的底端安装有数组并列分布的承重轮组,所述承重轮组的上端还设置有数个托带轮,在承重轮组的两侧分别安装有辅助轮、主动轮;
一五轴可伸缩关节机械臂,包括一安装在行走底盘上方的机械臂安装板,在机械臂安装板的上方设置有一底座,所述底座由一升降机构驱动进行上下升降,在底座的上端铰接有一大臂,且大臂由一旋转机构带动进行转动,所述大臂的顶端铰接有一小臂,在小臂的顶端连接有一顶板,且顶板由一回转机构带动进行转动,所述顶板上安装有机械抓手;
一视觉识别和深度学习控制系统,包括安装在机械抓手中心位置的摄像头,安装在行走底盘上的嵌入式微处理器及MIniPC控制系统,还包括图像处理装置、数据存储装置、深度学习卡及CPU处理器。
进一步的,每组承重轮组由四个呈矩形状分布的承重轮共同组成,且四个承重轮通过一工字形安装座连接一起。
进一步的,所述升降机构包括一位于机械臂安装板与底座之间的叉形升降台,叉形升降台的底端固定在机械臂安装板上,顶端与底座相固定,所述叉形升降台由伺服电机驱动并带动底座进行上下升降。
进一步的,所述底座与大臂之间的连接为:底座与大臂之间通过一大臂关节相连,且大臂关节与底座之间固定相连,与大臂之间铰接而成,所述大臂由大臂摆动电机驱动沿着大臂与大臂关节之间的铰接点进行上下摆动。
进一步的,所述旋转机构为:在大臂与底座之间安装有一回转台,该回转台由一回转电机驱动进行转动,并带动大臂进行旋转。
进一步的,所述大臂与小臂之间的连接为:大臂与小臂之间通过一小臂关节相连,且小臂关节与大臂之间铰接而成,与小臂之间固定相连,所述小臂由小臂摆动电机驱动沿着大臂与小臂关节之间的铰接点进行上下摆动。
进一步的,所述回转机构为:在顶板与小臂之间安装有一转动关节,所述转动关节与顶板之间固定相连,并由一回转电机驱动进行转动。
本发明的优点在于:本发明利用深度学习视觉系统进行苹果检测,通过在移动可变形履带底盘上加装一个五轴可伸缩关节机械臂,机械抓手安装摄像头,并通过图像处理装置的配合,能够自动检测苹果的颜色、大小、形状,然后对获取的图像进行自动处理、检测与识别,在识别检测的过程中不断通过深度学习算法进行优化,以便提高识别率,将改变目前采摘果蔬环节全部依靠人工的现状,大大提高其生产自动化水平,推进农业科技现代化。
本发明的机器人结构简单、自动化得度高,适用性广、移植性强,能广泛适用于果蔬的采摘和回收,具有广阔的前景。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明的基于yolo视觉的苹果采摘机器人的示意图。
图2为本发明的移动可变形履带底盘的示意图。
具体实施方式
下面的实施例可以使本专业的技术人员更全面地理解本发明,但并不因此将本发明限制在所述的实施例范围之中。
如图1、图2所示的一种基于yolo视觉的苹果采摘机器人,包括
一移动可变形履带底盘1,包括一行走底盘21,在行走底盘21的两侧安装有叶子板27,在叶子板27的底端安装有数组并列分布的承重轮组,所述承重轮组的上端还设置有数个托带轮25,托带轮25通过托带轮支架固定在行走底盘21上,在承重轮组的两侧分别安装有辅助轮21、主动轮23,其中主动轮23由电机驱动进行转动。
每组承重轮组由四个呈矩形状分布的承重轮22共同组成,且四个承重轮22通过一工字形安装座连接一起。
一五轴可伸缩关节机械臂,包括一安装在行走底盘21上方的机械臂安装板3,在机械臂安装板3的上方设置有一底座6,底座6由一升降机构驱动进行上下升降,升降机构包括一位于机械臂安装板3与底座6之间的叉形升降台4,叉形升降台4的底端固定在机械臂安装板3上,叉形升降台4的顶端与底座6相固定,叉形升降台4由伺服电机5驱动并带动底座6进行上下升降。
在底座6的上端铰接有一大臂9,且大臂9由一旋转机构带动进行转动,底座6与大臂9之间的连接为:底座6与大臂9之间通过一大臂关节8相连,且大臂关节8与底座6之间固定相连,大臂关节8与大臂9之间铰接而成,大臂9由大臂摆动电机驱动沿着9大臂与大臂关节8之间的铰接点进行上下摆动。
旋转机构为:在大臂9与底座6之间安装有一回转台7,回转台7的上端与大臂9之间固定连接,该回转台7由一回转电机驱动进行转动,并带动大臂9进行旋转。
在大臂9的顶端铰接有一小臂11,大臂9与小臂11之间的连接为:大臂9与小臂11之间通过一小臂关节10相连,且小臂关节10与大臂9之间铰接而成,小臂关节10与小臂11之间固定相连,小臂11由小臂摆动电机驱动沿着大臂9与小臂关节10之间的铰接点进行上下摆动。
在小臂11的顶端连接有一顶板13,且顶板13由一回转机构带动进行转动,在顶板13上安装有机械抓手。在本实施例中,机械抓手采用三抓机械抓手。
回转机构为:在顶板13与小臂11之间安装有一转动关节12,转动关节12与顶板13之间固定相连,并由一回转电机驱动进行转动,从而带动顶板13进行转动。
一视觉识别和深度学习控制系统,包括安装在机械抓手中心位置的摄像头,安装在行走底盘21上的嵌入式微处理器及MIniPC控制系统,还包括图像处理装置、数据存储装置、深度学习卡及CPU处理器。
深度信息计算:
目标的判定是自动进行的,每个被判定的目标都进被单独处理,而目标过多时,区分工作选取Hough变换来完成单目标:
以目标的投影为基础来求解每个像素点,进而求平均值,即为目标中心点,以此为基础来求解目标半径。
中心点:
半径
多目标:
目标过多时,区分工作选取Hough变换来完成,同时用蓝圈来区分,中心点用红心代替。
实际使用的摄像机,因为制造工艺的限制,主点(光轴与感光平面交点)不能保证在成像设备的正中心位置,所以引入两个参数cx和cy表示真实主点与理想主点的偏移1]。因为像素点在一个普通摄像机上不能保证是正方形,所以使用两个不同的焦距fr和fy。假设左成像平面上的点为g=[X1,Y1,1],目标物体点Q=[x,y,z,1],引入参数s(比例因子)和单应性矩阵H,其定义为:q=sHe,其中H由两个矩阵表示:H=MW。
式子为摄像机内参数矩阵,表述了现实世界点Q在外参数矩阵基础上,是如何经过摄像机的镜头,并通过针孔成像和电子转化成为像素点的过程。
式为摄像机外参数矩阵,表述了现实世界点Q(世界坐标)经过怎样的旋转平移,然后落到另一个现实世界(摄像机坐标系)上的过程。
考虑到透镜畸变,假设qp(xp,yp)为校正后的点,qd(xd,yd)为畸变后的点,则有
其中:上式构成一个5×1的矩阵,该矩阵就是摄像机的畸变矩阵,表述了现实世界点Q为什么没有落在理论计算该落在的位置,为何产生一定偏移和变形的原因。
标定就是为得到摄像机的上述参数,本发明采用张正友标定法,该标定法具有较好的精度和鲁棒性。开源计算机视觉库OpenCV,实现了计算机视觉相关的许多算法。OpenCV由Intel公司发起并开发,采用C/C++语言编程,它开源、轻量级、高效,实现了图像处理和计算机视觉方面的很多通用算法,已经广泛应用于对实时性要求较高的计算机视觉和模式识别系统的开发。本发明参考邹字华1理的研究,在Microsoft VS2010开发环境下开发了基于OpenCV的软件。软件能够实现摄像机单双目标定、图像矫正、立体匹配和视差运算,从而计算出被测物体的深度信息。
本发明利用深度学习视觉系统进行苹果检测,通过在移动可变形履带底盘上加装一个五轴可伸缩关节机械臂,机械抓手安装摄像头,并通过图像处理装置的配合,能够自动检测苹果的颜色、大小、形状,然后对获取的图像进行自动处理、检测与识别,在识别检测的过程中不断通过深度学习算法进行优化,以便提高识别率,将改变目前采摘果蔬环节全部依靠人工的现状,大大提高其生产自动化水平,推进农业科技现代化。
本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于yolo视觉的苹果采摘机器人,其特征在于:包括
一移动可变形履带底盘,包括一行走底盘,在行走底盘的两侧安装有叶子板,在叶子板的底端安装有数组并列分布的承重轮组,所述承重轮组的上端还设置有数个托带轮,在承重轮组的两侧分别安装有辅助轮、主动轮;
一五轴可伸缩关节机械臂,包括一安装在行走底盘上方的机械臂安装板,在机械臂安装板的上方设置有一底座,所述底座由一升降机构驱动进行上下升降,在底座的上端铰接有一大臂,且大臂由一旋转机构带动进行转动,所述大臂的顶端铰接有一小臂,在小臂的顶端连接有一顶板,且顶板由一回转机构带动进行转动,所述顶板上安装有机械抓手;
一视觉识别和深度学习控制系统,包括安装在机械抓手中心位置的摄像头,安装在行走底盘上的嵌入式微处理器及MIniPC控制系统,还包括图像处理装置、数据存储装置、深度学习卡及CPU处理器。
2.根据权利要求1所述的基于yolo视觉的苹果采摘机器人,其特征在于:每组承重轮组由四个呈矩形状分布的承重轮共同组成,且四个承重轮通过一工字形安装座连接一起。
3.根据权利要求1所述的基于yolo视觉的苹果采摘机器人,其特征在于:所述升降机构包括一位于机械臂安装板与底座之间的叉形升降台,叉形升降台的底端固定在机械臂安装板上,顶端与底座相固定,所述叉形升降台由伺服电机驱动并带动底座进行上下升降。
4.根据权利要求1所述的基于yolo视觉的苹果采摘机器人,其特征在于:所述底座与大臂之间的连接为:底座与大臂之间通过一大臂关节相连,且大臂关节与底座之间固定相连,与大臂之间铰接而成,所述大臂由大臂摆动电机驱动沿着大臂与大臂关节之间的铰接点进行上下摆动。
5.根据权利要求1所述的基于yolo视觉的苹果采摘机器人,其特征在于:所述旋转机构为:在大臂与底座之间安装有一回转台,该回转台由一回转电机驱动进行转动,并带动大臂进行旋转。
6.根据权利要求1所述的基于yolo视觉的苹果采摘机器人,其特征在于:所述大臂与小臂之间的连接为:大臂与小臂之间通过一小臂关节相连,且小臂关节与大臂之间铰接而成,与小臂之间固定相连,所述小臂由小臂摆动电机驱动沿着大臂与小臂关节之间的铰接点进行上下摆动。
7.根据权利要求1所述的基于yolo视觉的苹果采摘机器人,其特征在于:所述回转机构为:在顶板与小臂之间安装有一转动关节,所述转动关节与顶板之间固定相连,并由一回转电机驱动进行转动。
CN201811608913.6A 2018-12-27 2018-12-27 一种基于yolo视觉的苹果采摘机器人 Pending CN109548489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811608913.6A CN109548489A (zh) 2018-12-27 2018-12-27 一种基于yolo视觉的苹果采摘机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811608913.6A CN109548489A (zh) 2018-12-27 2018-12-27 一种基于yolo视觉的苹果采摘机器人

Publications (1)

Publication Number Publication Date
CN109548489A true CN109548489A (zh) 2019-04-02

Family

ID=65871509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811608913.6A Pending CN109548489A (zh) 2018-12-27 2018-12-27 一种基于yolo视觉的苹果采摘机器人

Country Status (1)

Country Link
CN (1) CN109548489A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278777A (zh) * 2019-07-26 2019-09-27 郑州永丰生物肥业有限公司 一种机器人学习采摘油茶果的方法
CN110421581A (zh) * 2019-08-09 2019-11-08 南京芊玥机器人科技有限公司 一种基于曲线拟合的主动减震机器人
CN111478946A (zh) * 2020-03-18 2020-07-31 仲恺农业工程学院 一种基于大数据的柑橘果园综合监测系统及其预警方法
CN111937591A (zh) * 2020-08-27 2020-11-17 上海大学 多自由度果蔬采摘机器人
CN112005726A (zh) * 2020-09-07 2020-12-01 郑州轻工业大学 一种智能化果蔬采摘装置及采摘方法
CN113812334A (zh) * 2021-09-16 2021-12-21 葛承暄 一种农业生产领域人工智能机器人装置
CN114056920A (zh) * 2021-09-30 2022-02-18 江西省通讯终端产业技术研究院有限公司 一种基于机器视觉的叠片机及其片料校准方法和控制方法
CN115316131A (zh) * 2022-08-29 2022-11-11 安徽工业大学 一种多自由度水果采摘机器人及采摘水果方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105706637A (zh) * 2016-03-10 2016-06-29 西北农林科技大学 一种可自主导航的履带式多机械臂苹果采摘机器人
CN108053449A (zh) * 2017-12-25 2018-05-18 北京工业大学 双目视觉系统的三维重建方法、装置及双目视觉系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105706637A (zh) * 2016-03-10 2016-06-29 西北农林科技大学 一种可自主导航的履带式多机械臂苹果采摘机器人
CN108053449A (zh) * 2017-12-25 2018-05-18 北京工业大学 双目视觉系统的三维重建方法、装置及双目视觉系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278777A (zh) * 2019-07-26 2019-09-27 郑州永丰生物肥业有限公司 一种机器人学习采摘油茶果的方法
CN110421581A (zh) * 2019-08-09 2019-11-08 南京芊玥机器人科技有限公司 一种基于曲线拟合的主动减震机器人
CN110421581B (zh) * 2019-08-09 2022-06-14 南京芊玥机器人科技有限公司 一种基于曲线拟合的主动减震机器人主动减震方法
CN111478946A (zh) * 2020-03-18 2020-07-31 仲恺农业工程学院 一种基于大数据的柑橘果园综合监测系统及其预警方法
CN111478946B (zh) * 2020-03-18 2023-04-25 仲恺农业工程学院 一种基于大数据的柑橘果园综合监测系统及其预警方法
CN111937591A (zh) * 2020-08-27 2020-11-17 上海大学 多自由度果蔬采摘机器人
CN112005726A (zh) * 2020-09-07 2020-12-01 郑州轻工业大学 一种智能化果蔬采摘装置及采摘方法
CN113812334A (zh) * 2021-09-16 2021-12-21 葛承暄 一种农业生产领域人工智能机器人装置
CN114056920A (zh) * 2021-09-30 2022-02-18 江西省通讯终端产业技术研究院有限公司 一种基于机器视觉的叠片机及其片料校准方法和控制方法
CN115316131A (zh) * 2022-08-29 2022-11-11 安徽工业大学 一种多自由度水果采摘机器人及采摘水果方法

Similar Documents

Publication Publication Date Title
CN109548489A (zh) 一种基于yolo视觉的苹果采摘机器人
CN107590835B (zh) 一种核环境下机械臂工具快换视觉定位系统与定位方法
CN109389161A (zh) 基于深度学习的垃圾识别进化学习方法、装置、系统及介质
CN107590837A (zh) 一种视觉定位智能精密装配机器人及其摄像机视觉标定方法
CN104574389A (zh) 基于彩色机器视觉的电池片色差分选控制方法
CN105528789A (zh) 机器人视觉定位方法和装置、视觉标定方法和装置
CN110570422B (zh) 一种基于矩阵分析的胶囊缺陷视觉检测方法
CN103063137A (zh) 一种基于机器视觉的药瓶测量系统及其测量方法
CN109821763A (zh) 一种基于机器视觉的水果分拣系统及其图像识别方法
CN113643280A (zh) 一种基于计算机视觉的板材分拣系统及方法
CN109903323A (zh) 用于透明物体识别的训练方法、装置、存储介质及终端
CN108480239A (zh) 基于立体视觉的工件快速分拣方法及装置
Roggiolani et al. Hierarchical approach for joint semantic, plant instance, and leaf instance segmentation in the agricultural domain
CN116429082A (zh) 一种基于st-orb特征提取的视觉slam方法
CN110287865A (zh) 基于视觉伺服的医学载玻片码放校正方法、控制器及系统
Jia et al. Real-time color-based sorting robotic arm system
CN110853080A (zh) 一种田间果实尺寸的测量方法
CN105091800B (zh) 圆柱状电容类异型电子元器件整脚检测系统及方法
Xu et al. Industrial robot base assembly based on improved Hough transform of circle detection algorithm
CN117428777A (zh) 一种拆袋机器人的手眼标定方法
He et al. Research Status and Development Trend of Key Technologies for Pineapple Harvesting Equipment: A Review
JP3684799B2 (ja) 移動体の停止位置ズレ量検出装置
CN106413280B (zh) 贴片机喂料器元件位置自动矫正装置及自动矫正方法
CN113099870B (zh) 自适应疏花机及疏花方法
Chen et al. Measurement of the distance from grain divider to harvesting boundary based on dynamic regions of interest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190402

RJ01 Rejection of invention patent application after publication