CN109392462A - 采摘黄花菜的机器人及方法 - Google Patents
采摘黄花菜的机器人及方法 Download PDFInfo
- Publication number
- CN109392462A CN109392462A CN201811550954.4A CN201811550954A CN109392462A CN 109392462 A CN109392462 A CN 109392462A CN 201811550954 A CN201811550954 A CN 201811550954A CN 109392462 A CN109392462 A CN 109392462A
- Authority
- CN
- China
- Prior art keywords
- picking
- day lily
- robot
- joint
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000756137 Hemerocallis Species 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 28
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 49
- 210000000323 shoulder joint Anatomy 0.000 claims description 29
- 210000002310 elbow joint Anatomy 0.000 claims description 24
- 210000003857 wrist joint Anatomy 0.000 claims description 23
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 17
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 16
- 239000000741 silica gel Substances 0.000 claims description 13
- 229910002027 silica gel Inorganic materials 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 6
- 239000012636 effector Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 claims description 2
- 238000013461 design Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 235000012055 fruits and vegetables Nutrition 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 240000008067 Cucumis sativus Species 0.000 description 2
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 235000007516 Chrysanthemum Nutrition 0.000 description 1
- 244000189548 Chrysanthemum x morifolium Species 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 206010054949 Metaplasia Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000015689 metaplastic ossification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Manipulator (AREA)
Abstract
本发明采摘黄花菜的机器人及方法,采用导航行走系统进行机器人的导航定位、采用果实采摘系统进行黄花菜的机械采摘、采用目标识别与定位系统进行采摘作业中的精确识别与定位、采用果实收集装置对采摘后的黄花菜进行及时收集、采用电源及动力控制设备对各个系统进行智能控制,通过机械电气的结合,结合黄花菜的生长特点和采摘要求进行高效采摘,实现机器人代替人工劳作方式。方法控制黄花菜采摘机器人的采摘路径;再得到特征点的三维坐标,反馈给电源及动力控制设备,确保整个采摘作业的可行性和精确度;最后完成黄花菜的采摘作业,进行及时收集,提高黄花菜采集的效率,能有效减少经手的次数,提高采摘黄花菜的品质。
Description
技术领域
本发明涉及机械自动化技术领域,具体为采摘黄花菜的机器人及方法。
背景技术
黄花菜品质好、味道美、营养高,种植规模大、产量高,在农业产业结构中占有重要地位,是农民的主要经济收入之一,是农民致富的希望产业。并且随着黄花菜具有防老年痴呆的作用的发现,中老年食用的人群增加,所以黄花菜的种植规模在以后会越来越大。但由于目前黄花菜采摘完全依靠人工进行,劳动强度大、效率低,随着农村劳动力逐渐向二、三产业及城镇转移,农村劳动力将越来越紧缺,黄花菜种植面积的逐年增加和规模化生产的发展,对黄花菜采摘机械化生产的要求越来越强烈;同时,由于采摘的黄花菜具有鲜嫩的特点,所以为了保持良好的品质转手次数越少越好,使其采摘完就能包装。黄花菜机械化采摘有效解决了黄花菜采摘人员受露水浸湿伤害身体的问题,显著改善了黄花菜采摘人员的劳动条件,减轻了劳动强度,经济效益和社会效益明显。
目前来讲,虽然采摘机器人有了较大的发展和进步,但仍然存在以下几方面的问题。
1、定位和识别能力较差。在采摘过程中环境相对较复杂,叶子与果实容易重复在一起,造成识别困难。而且天气具有不稳定性,同时还有噪音等干扰信息,降低了识别和定位的准确度。对黄花菜的识别和定位需要进一步的研究。
2、采摘效率不高。各国以研发的各类采摘机器人的采摘效率,都没有人工效率高。例如农业大学张铁中教授研制的草莓采摘速度为6枚/min;韩国的苹果自动采摘机器人,摘取一枚苹果平均需要15s;荷兰IMAG研发的黄瓜采摘机器人摘一根黄瓜需要45s。因为需要控制系统还要图像处理等,效率不高。要使果蔬采摘机器人真正应用于实际生产,就必须要提高作业效率以及作业准确度。
3、果实收集效果不佳。果实采摘完要进行收集,各种采摘机器人只注重采摘过程,反而忽视了果实的收集过程,因此采摘机器人还需要增加果实的自动收集,使采摘机器人更具有智能化。
4、成本较高。果蔬采摘机器人系统和结构更加复杂,而且使用周期短,平常基本不用。维护,使用,制造成本都要高于工业机器人。
5、通用性差。一种采摘机器人只是针对某一特定植物完成单一的任务,各类机器人之间几乎没有通用性。
为了突破限制果蔬采摘机器人的发展因素,就必须解决以上的问题,这样才能加速果蔬采摘机器人的发展,尽快实现商品化。
发明内容
针对现有技术中存在的问题,本发明提供一种采摘效率高,定位识别准,能够结合黄花菜的生长特点和采摘要求进行采摘,并对采摘的果实进行自动收集的采摘黄花菜的机器人及方法。
本发明是通过以下技术方案来实现:
采摘黄花菜的机器人,包括导航行走系统、果实采摘系统、目标识别与定位系统、果实收集装置和电源及动力控制设备;
所述的导航行走系统包括小车、设置在小车底部的车轮和安装在车轮上的驱动系统,以及安装在小车前进方向端部的激光导航系统和图像采集卡;
所述的果实采摘系统包括安装在小车上的基座和安装在基座上的机械手;所述的机械手包括机械臂和安装在机械臂末端的末端执行器;所述的末端执行器包括机械手指,安装在机械手指上的压力传感器、硅胶衬垫和刀片,以及与机械手指连接的手指驱动电机;
所述的目标识别与定位系统包括设置在机械臂末端的双目相机;
所述的果实收集装置包括果实收集箱、夹持装置和传输带;所述的果实收集箱通过夹持装置安装在小车的底部;所述的传输带一端与果实收集箱的入口连接,另一端安装在机械臂上;
所述的驱动系统、机械臂、手指驱动电机、激光导航系统和传输带的电器控制输出端均与电源及动力控制设备的输入端连接。
优选的,所述的机械臂包括依次连接的肩关节、肘关节、腕关节和转接装置;所述的肩关节的一端转动连接在基座上,另一端与肘关节的一端转动连接;肘关节的另一端转动连接在腕关节的一端,腕关节的末端通过转接装置设置有机械手指;所述的肩关节、肘关节和腕关节均设置有驱动电机。
进一步,所述的传输带由圆柱形的硬管和柔性管组成,其与水平方向呈45度夹角;所述的硬管固定在机械臂的肩关节上,其长度与肩关节相等;所述的柔性管的上端与硬管连接,末端位于果实收集箱的入口出。
优选的,所述的机械手指包括对称咬合设置的单指Ⅰ和单指Ⅱ;单指Ⅰ的端部平面上设置有硅胶衬垫,上端安装有压力传感器,下端底部垂直于单指Ⅰ设置有刀片;单指Ⅱ的端部平面上设置有硅胶衬垫,上端安装有压力传感器,下端内部垂直于单指Ⅱ设置有刀片;单指Ⅰ上刀片的宽度宽于单指Ⅱ上刀片的宽度,且单指Ⅰ和单指Ⅱ闭合时两个刀片相互咬合;单指Ⅰ和单指Ⅱ闭合时,两个硅胶衬垫的上端形成黄花菜茎秆的夹持缝隙。
优选的,所述的双目相机包括工业摄像机和镜头;所述的工业摄像机和镜头安装在腕关节的末端。
优选的,所述的激光导航系统包括主控制器、激光传感器、激光传感器采集模块和激光传感器信号处理模块;所述的主控制器的输出端与电源及动力控制设备的输入端连接;所述的激光传感器采集模块、激光传感器信号处理模块和激光传感器与主控制器连接;所述的激光传感器设置在小车的每个车轮上。
优选的,所述的驱动系统包括分别设置在小车两个前轮的转向电机和分别设置在小车两个后轮的行走电机。
采摘黄花菜的方法,采用上述任意一项装置,包括如下步骤:
a.启动:黄花菜采摘机器人启动,小车根据导航行走系统从收集地行走到采摘区;
b.识别与定位:双目摄像机基于双目立体视觉定位原理,经过图像采集、与图像数据库中的样本进行比对,目标特征点的提取、摄像机标定、图像处理、立体匹配和三维重建;得到图像对匹配点之间的视差,得到特征点的三维坐标,反馈给电源及动力控制设备;
c.采摘:上位机通过CAN总线给控制器发送指令,控制机械臂中肩关节、肘关节、腕关节和转接装置的运动,驱动机械臂的电机进行位置调整,当双目摄像机定位到目标之后,启动机械手指的手指驱动电机,机械手指通过电机驱动固定目标完成剪切采摘,机械手指通过向后转动将采摘好的黄花菜通过传输带放入果实收集箱,黄花菜完成一次采摘;机械手指停止工作,完成单个黄花菜的采摘;返回步骤b,继续采摘黄花菜;
d.收集:当黄花菜采摘机器人上的果实收集箱的重量超过5Kg时,果实收集箱重量大于夹持装置的承受力,从夹持装置滑落到地面完成黄花菜收集过程。
进一步,所述的步骤b中,将工业摄像机采集的图像中与数据库中的图像进行比对,再对图像进行图像滤波,提高图像质量及减小噪声;再将滤波后的图像进行分割,利用定位算法求解出目标三维位置;将求解出的目标与预设值进行对比,满足则进行位置识别。
再进一步,基座和肩关节之间通过腰部旋转关节连接,腰部旋转关节在水平面上以-180°~180°角度范围旋转;所述的肩关节与水平方向呈45度夹角,其竖直工作面的旋转角度范围为-20°~130°;所述的肘关节在工作面的旋转角度范围为-110°~110°;所述的腕关节在工作面的旋转角度范围为-150°~150°;腕关节的工作面与肘关节工作面垂直。
与现有技术相比,本发明具有以下有益的技术效果:
本发明通过对黄花菜采摘机器人需要实现的功能进行了解,设计出黄花菜采摘机器人的理论模型,针对机器人所要实现的功能,对其软件控制进行初步设定和理论分析,针对在采摘过程中可能出现的问题,在硬件设计方面进行研究并设计了采摘黄花菜的机器人,采用导航行走系统进行机器人的导航定位、采用果实采摘系统进行黄花菜的机械采摘、采用目标识别与定位系统进行采摘作业中的精确识别与定位、采用果实收集装置对采摘后的黄花菜进行及时收集、采用电源及动力控制设备对各个系统进行智能控制,通过机械电气的结合,并结合黄花菜的生长特点和采摘要求进行高效采摘,实现了机器人代替人工劳作方式,解放了生产力,而且该黄花菜采摘机器人可以适用于不同品种的作业采摘作业,适用范围广。
本发明采用依次转动连接的肩关节、肘关节和腕关节组成机械臂的方式,能有效保证采摘作业是的灵活可靠性;同时,在腕关节的末端通过转接装置设置有机械手指,根据黄花菜采摘特点设计的机械手指在固定目标的同时完成采摘,保证采摘时不易损坏黄花菜植株、果实形状和较少破损率的采摘果实,能对需要采摘的黄花菜进行精确摘取,提高采摘成功率;而且通过驱动电机控制肩关节、肘关节和腕关节,为机械臂进行采摘作业时提供充足的动力。
本发明通过在收集装置中采用传输带对采摘的黄花菜进行收集,提高了工作效率,同时柔性管道的设置避免造成机械臂在转动过程中的不便,进一步的提高了整体工作效率,提高黄花菜采集的效率,而且能有效减少经手的次数,从而提高了采摘黄花菜的品质,同时也完成了收集的功能。
本发明采用机械手指作为采摘头,该采摘头的特殊设计是关键模块,其综合考虑了黄花菜及仿照人工采摘的特点。机械手指可以分为对称咬合设置的单指Ⅰ和单指Ⅱ,上端内部设有硅胶衬垫,下端内部连接有刀片,其中单指Ⅰ的刀片垂直于机械手指的底部,且这一端手指宽度要比另一端刀片大小的厚度稍宽,单指Ⅱ的刀片垂直于机械手指内部,且闭合时可以相互咬合,闭合时设有硅胶衬垫的上端保留的缝隙为黄花菜茎秆直径的平均值,在对目标固定的同时实现黄花菜的采摘,同时机械手指安装压力传感器,实时监测夹持力的大小,对手指的抓取力度进行控制,既能够实现采摘又不会对黄花菜进行损坏,且采摘效果良好,保证了采摘黄花菜的品质。
本发明通过采用双目相机作为目标识别与定位系统,保证了机器人能够对目标果实实现定位及自动采摘的可实施性,不仅能判断目标果实位置,还能反馈给控制系统进行启动机械手指的电机,实现可自动控制的连续实现,避免了机械手指的空转,节约了能源和实现自动化;在机械手指旁边设计双目相机,通过相机的视觉传感器,实时采集采摘机器人的采摘过程;通过建立图像数据库,对不同品种的成熟黄花菜进行样本采集,设立预设值,双目相机采集的图像通过与数据库中的图像进行比对,可以迅速识别目标,保证采摘机器人的正常采摘和正确的工作。
本发明采用的激光导航系统包括主控制器激光传感器采集模块和激光传感器信号处理模块,通过激光传感器模块得到机器人当前位置相对于导航线的位置,再通过主控制器对小车进行控制,调整其转向角度和行驶速度,保证机器人作业过程中按照预定路径行驶。
本发明通过采用两轮驱动两轮转向的行走系统,并结合激光导航针对黄花菜采摘作业过程中采摘和行走交替进行,使得机器人行走系统具有较长的续航时间以及行走底盘在运动中的位置、方向及速度、加速度都是可控的,保证了机器人的正常采摘过程,两后轮直接设置在转轴上的行走电机能够直接驱动提供动力,两前轮通过前轮支架上设置的转向电机实现转向,从而形成两轮驱动两轮转向的行走系统,不仅可以减少电量损耗,提高机器人的续航能力,而且能适应农田作业环境。系统抗干扰能力强,采摘效率高。
本发明采摘黄花菜的方法,首先通过采用导航行走系统来控制黄花菜采摘机器人的采摘路径,保证定位准确可靠性;再通过双目摄像机对符合目标特征点的信息进行提取、摄像机标定、图像处理、立体匹配和三维重建得到图像对匹配点之间的视差,得到特征点的三维坐标,反馈给电源及动力控制设备,确保了整个采摘作业的可行性和精确度;最后通过机械臂和机械手指的高度配合作业完成黄花菜的采摘作业,并将其通过收集装置进行及时收集,提高黄花菜采集的效率,而且能有效减少经手的次数,从而提高了采摘黄花菜的品质。
附图说明
图1为本发明的结构示意图。
图2为本发明的机械手指结构示意图。
图3为本发明的传输带结构示意图。
图4为本发明的小车局部结构示意图。
图5为本发明中双目视觉控制流程图。
图6为本发明的采摘控制流程图。
图中:小车1、电源及动力控制设备2、激光传感器3、转向电机4、行走电机5、基座6、肩关节7、肘关节8、机械手指9、硅胶衬垫9-1、刀片9-2、腕关节10、双目摄像机11、工业摄像机11-1、镜头11-2、图像采集卡12、激光导航系统13、主控制器13-1、激光传感器采集模块13-2、传感器信号处理模块13-3、传输带14、硬管14-1、柔性管14-2、果实收集箱15、压力传感器16、手指驱动电机17、转接装置18、夹持装置19、硬管20和柔性管21。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明,所述是对本发明的解释而不是限定。
实施例1
本发明采摘黄花菜的机器人,如图1所示,包括小车1;小车1一端上设置有电源及动力控制设备2,另一端设置激光导航系统13,其上部还设置有机械臂。机械臂包括依次连接的基座6、肩关节7、肘关节8、腕关节10,基座6设有电机、肩关节7设有电机,肘关节8设有电机,腕关节10设有电机,基座6上端和肩关节7连接,肩关节7上端和肘关节8连接,肘关节8上端和腕关节10连接,腕关节10连接通过转接装置18与双目摄像机11和机械手指9连接,双目摄像机11由两个工业摄像机11-1及镜头11-2组成;基座电机驱动基座旋转关节旋转,肩关节电机驱动肩关节7旋转,肘关节电机驱动肘关节8旋转,及腕关节电机驱动腕关节10旋转;机械手指9通过手指驱动电机17控制机械手指9完成固定和采摘动作。机械手指9内设置有压力传感器16并在机械手指9上端内部设有硅胶衬垫9-1,下端内部设有刀片9-2;传送带14位于肩关节7上,传送带14末端设有果实收集箱15,果实收集箱15由倒三角夹持装置19固定;激光导航系统13通过激光传感器模块13-2得到机器人当前位置相对于导航线的位置,再通过主控制器13-1对小车1进行控制,调整其转向角度和行驶速度,保证机器人作业过程中按照预定路径行驶。
如图2所示,本发明中机械手指9考虑了仿照人工采摘黄花菜的特点,设计的机械手指9较宽,它可以分为对称咬合设置的单指Ⅰ和单指Ⅱ两个部分,且上端内部设有硅胶衬垫9-1,下端内部连接有刀片9-2,其中单指Ⅰ的刀片垂直于机械手指的底部,且这一端手指宽度要比另一端刀片大小的厚度稍宽,单指Ⅱ的刀片垂直于机械手指内部,且闭合时可以相互咬合,闭合时设有硅胶衬垫的上端保留的缝隙为黄花菜茎秆直径的平均值,通过手指驱动电机驱动机械手指9对目标固定的同时实现黄花菜的采摘,同时机械手指9内设置有压力传感器16,既能够掌握采摘力度又不会对黄花菜进行损坏,且采摘效果良好。
如图3所示,本发明中在收集装置中采用了传输带14,传输带14是由硬管20和柔性管21组成,且管道尺寸于成熟黄花菜标准尺寸,提高了采摘黄花菜的效率,同时柔性管21的设置避免了机械臂在转动过程中的不便,对采摘完的黄花菜进行及时的收集,避免了黄花菜的损伤,提高了黄花菜的品质。
如图4所示,针对黄花菜采摘环境、黄花菜作物种植差异及采摘作业要求,研制了两轮驱动两轮转向行走小车1,两后轮直接设置在转轴上的行走电机5能够直接驱动提供动力,两前轮通过前轮支架上设置的转向电机4实现转向,从而形成两轮驱动两轮转向的行走系统,采用前轮转向与后轮驱动的控制方式,减少电量的消耗,提升了机器人的续航能力,还能适应黄花菜的农田环境及采摘的行进方式。
在实际应用中,当采摘成熟黄花菜时,通过双目摄像机11对图像的采集与数据库中的图像、预设值进行比对,判断是否为采摘目标,再利用双目立体视觉进行目标的定位提取果实信息,为机械手指9采摘路径提供位置参数,定位采摘目标。此时机械手指9所在位置即为黄花菜采摘地,手指驱动电机17进行工作,机械手指9开始固定并实现黄花菜采摘,采摘的黄花菜通过腕关节10向后转动一定角度,通过电机驱动使机械手指9松开,将黄花菜由传输带14传送进入果实收集箱15。同时采用两轮驱动的导航行走系统适应农田作业环境及采摘行进速度,采用激光导航系统13控制实现自动导航控制系统,实现采摘机器人向智能化方向发展。当果实收集箱15的承重量达到5Kg时,倒三角的夹持装置19的承受力小于果实收集箱15的重力而滑落。
如图5所示,机器人运作时,黄花菜采摘机器人在采摘过程中,主要双目立体视觉来进行定位识别采摘:双目摄像机11与机械手指9采用eye-in-hand方式连接。该系统的工作原理是:(一)通过摄像头采集图像信息;(二)将采集的图像与预先建立的图像数据库中的图像进行比对;(三)比对后的图像经图像采集卡将采集到的模拟信号转化为离散的数字信号与计算机通信;(四)通过对摄像机的标定实现摄像机像素点与空间物体位置之间的联系;(五)经图像处理软件对图像进行处理;(六)将目标果实的尺寸与样本的预设值进行对照识别;(七)获取目标果实的位置信息;(八)映射为机器人关节控制器的控制信号(如速度或关节角位移增量),把控制信号中央控制器传送到各关节;(九)伺服驱动器驱动采摘机器人各关节做相应地运动,以此实现机器人的采摘功能。
如图6所示,为机器人整体采摘控制流程图,首先由驱动系统和激光导航系统13共同组成机器人移动平台,通过对机器人的启动,采摘机器人开始前行;视觉系统采集现场图像,判断是否有采摘目标;如否,则机器人继续前进;判断为成熟黄花菜,则发信号给机器人移动平台,主要是主控制器13-1进行工作,然后采用双目摄像机11的双目立体视觉工作进行目标识别定位,反馈给控制系统并启动机械臂的相关电机,进行位置调整,启动机械手指9的驱动电机进行工作,机械手指9进行对黄花菜固定和采摘,直到停车位置黄花菜采摘完毕;若否,则继续进行双目识别;若采摘完毕,则根据导航是否到达终点,若是,则结束本次采摘,完成一次采摘过程;若否,机器人移动平台继续向前进行。
实施例2
采摘黄花菜的方法,包括如下步骤:
a.启动:黄花菜采摘机器人启动,小车1根据导航行走系统从收集地行走到采摘区;
b.识别与定位:双目摄像机11基于双目立体视觉定位原理,经过图像采集、与图像数据库中的样本进行比对,目标特征点的提取、摄像机标定、图像处理、立体匹配和三维重建;得到图像对匹配点之间的视差,得到特征点的三维坐标,反馈给电源及动力控制设备2;
c.采摘:上位机通过CAN总线给控制器发送指令,控制机械臂中肩关节7、肘关节8、腕关节10和转接装置18的运动,驱动机械臂的电机进行位置调整,当双目摄像机11定位到目标之后,启动机械手指9的手指驱动电机17,机械手指9通过电机驱动固定目标完成剪切采摘,机械手指9通过向后转动将采摘好的黄花菜通过传输带14放入果实收集箱15,黄花菜完成一次采摘;机械手指9停止工作,完成单个黄花菜的采摘;返回步骤b,继续采摘黄花菜;
d.收集:当黄花菜采摘机器人上的果实收集箱15的重量超过5Kg时,果实收集箱15重量大于夹持装置19的承受力,从夹持装置19滑落到地面完成黄花菜收集过程。
其中,步骤b中,将工业摄像机11-1采集的图像中与数据库中的图像进行比对,再对图像进行图像滤波,提高图像质量及减小噪声;再将滤波后的图像进行分割,利用定位算法求解出目标三维位置;将求解出的目标与预设值进行对比,满足则进行位置识别。
其中,基座6和肩关节7之间通过腰部旋转关节连接,腰部旋转关节在水平面上以-180°~180°角度范围旋转;所述的肩关节7与水平方向呈45度夹角,其竖直工作面的旋转角度范围为-20°~130°;所述的肘关节8在工作面的旋转角度范围为-110°~110°;所述的腕关节10在工作面的旋转角度范围为-150°~150°;腕关节10的工作面与肘关节8工作面垂直。
Claims (10)
1.采摘黄花菜的机器人,其特征在于:包括导航行走系统、果实采摘系统、目标识别与定位系统、果实收集装置和电源及动力控制设备(2);
所述的导航行走系统包括小车(1)、设置在小车(1)底部的车轮和安装在车轮上的驱动系统,以及安装在小车(1)前进方向端部的激光导航系统(13)和图像采集卡(12);
所述的果实采摘系统包括安装在小车(1)上的基座(6)和安装在基座(6)上的机械手;所述的机械手包括机械臂和安装在机械臂末端的末端执行器;所述的末端执行器包括机械手指(9),安装在机械手指(9)上的压力传感器(16)、硅胶衬垫(9-1)和刀片(9-2),以及与机械手指(9)连接的手指驱动电机(17);
所述的目标识别与定位系统包括设置在机械臂末端的双目相机(11);
所述的果实收集装置包括果实收集箱(15)、夹持装置(19)和传输带(14);所述的果实收集箱(15)通过夹持装置(19)安装在小车(1)的底部;所述的传输带(14)一端与果实收集箱(15)的入口连接,另一端安装在机械臂上;
所述的驱动系统、机械臂、手指驱动电机(17)、激光导航系统(13)和传输带(14)的电器控制输出端均与电源及动力控制设备(2)的输入端连接。
2.根据权利要求1所述的采摘黄花菜的机器人,其特征在于:所述的机械臂包括依次连接的肩关节(7)、肘关节(8)、腕关节(10)和转接装置(18);所述的肩关节(7)的一端转动连接在基座(6)上,另一端与肘关节(8)的一端转动连接;肘关节(8)的另一端转动连接在腕关节(10)的一端,腕关节(10)的末端通过转接装置(18)设置有机械手指(9);所述的肩关节(7)、肘关节(8)和腕关节(10)均设置有驱动电机。
3.根据权利要求2所述的采摘黄花菜的机器人,其特征在于:所述的传输带(14)由圆柱形的硬管(14-1)和柔性管(14-2)组成,其与水平方向呈45度夹角;所述的硬管(14-1)固定在机械臂的肩关节(7)上,其长度与肩关节(7)相等;所述的柔性管(14-2)的上端与硬管(14-1)连接,末端位于果实收集箱(15)的入口出。
4.根据权利要求1所述的采摘黄花菜的机器人,其特征在于:所述的机械手指(9)包括对称咬合设置的单指Ⅰ和单指Ⅱ;单指Ⅰ的端部平面上设置有硅胶衬垫(9-1),上端安装有压力传感器(16),下端底部垂直于单指Ⅰ设置有刀片(9-2);单指Ⅱ的端部平面上设置有硅胶衬垫(9-1),上端安装有压力传感器(16),下端内部垂直于单指Ⅱ设置有刀片(9-2);单指Ⅰ上刀片的宽度宽于单指Ⅱ上刀片的宽度,且单指Ⅰ和单指Ⅱ闭合时两个刀片相互咬合;单指Ⅰ和单指Ⅱ闭合时,两个硅胶衬垫(9-1)的上端形成黄花菜茎秆的夹持缝隙。
5.根据权利要求1所述的采摘黄花菜的机器人,其特征在于:所述的双目相机(11)包括工业摄像机(11-1)和镜头(11-2);所述的工业摄像机(11-1)和镜头(11-2)安装在腕关节(10)的末端。
6.根据权利要求1所述的采摘黄花菜的机器人,其特征在于:所述的激光导航系统(13)包括主控制器(13-1)、激光传感器(3)、激光传感器采集模块(13-2)和激光传感器信号处理模块(13-3);所述的主控制器(13-1)的输出端与电源及动力控制设备(2)的输入端连接;所述的激光传感器采集模块(13-2)、激光传感器信号处理模块(13-3)和激光传感器(3)与主控制器(13-1)连接;所述的激光传感器(3)设置在小车(1)的每个车轮上。
7.根据权利要求1所述的采摘黄花菜的机器人,其特征在于:所述的驱动系统包括分别设置在小车(1)两个前轮的转向电机(4)和分别设置在小车(1)两个后轮的行走电机(5)。
8.采摘黄花菜的方法,其特征在于:采用如权利要求1-7所述的任意一项装置,包括如下步骤:
a.启动:黄花菜采摘机器人启动,小车(1)根据导航行走系统从收集地行走到采摘区;
b.识别与定位:双目摄像机(11)基于双目立体视觉定位原理,经过图像采集、与图像数据库中的样本进行比对,目标特征点的提取、摄像机标定、图像处理、立体匹配和三维重建;得到图像对匹配点之间的视差,得到特征点的三维坐标,反馈给电源及动力控制设备(2);
c.采摘:上位机通过CAN总线给控制器发送指令,控制机械臂中肩关节(7)、肘关节(8)、腕关节(10)和转接装置(18)的运动,驱动机械臂的电机进行位置调整,当双目摄像机(11)定位到目标之后,启动机械手指(9)的手指驱动电机(17),机械手指(9)通过电机驱动固定目标完成剪切采摘,机械手指(9)通过向后转动将采摘好的黄花菜通过传输带(14)放入果实收集箱(15),黄花菜完成一次采摘;机械手指(9)停止工作,完成单个黄花菜的采摘;返回步骤b,继续采摘黄花菜;
d.收集:当黄花菜采摘机器人上的果实收集箱(15)的重量超过5Kg时,果实收集箱(15)重量大于夹持装置(19)的承受力,从夹持装置(19)滑落到地面完成黄花菜收集过程。
9.根据权利要求8所述的采摘黄花菜的方法,其特征在于:所述的步骤b中,将工业摄像机(11-1)采集的图像中与数据库中的图像进行比对,再对图像进行图像滤波,提高图像质量及减小噪声;再将滤波后的图像进行分割,利用定位算法求解出目标三维位置;将求解出的目标与预设值进行对比,满足则进行位置识别。
10.根据权利要求8所述的采摘黄花菜的方法,其特征在于:基座(6)和肩关节(7)之间通过腰部旋转关节连接,腰部旋转关节在水平面上以-180°~180°角度范围旋转;所述的肩关节(7)与水平方向呈45度夹角,其竖直工作面的旋转角度范围为-20°~130°;所述的肘关节(8)在工作面的旋转角度范围为-110°~110°;所述的腕关节(10)在工作面的旋转角度范围为-150°~150°;腕关节(10)的工作面与肘关节(8)工作面垂直。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811550954.4A CN109392462B (zh) | 2018-12-18 | 2018-12-18 | 采摘黄花菜的机器人及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811550954.4A CN109392462B (zh) | 2018-12-18 | 2018-12-18 | 采摘黄花菜的机器人及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109392462A true CN109392462A (zh) | 2019-03-01 |
CN109392462B CN109392462B (zh) | 2023-11-17 |
Family
ID=65460038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811550954.4A Active CN109392462B (zh) | 2018-12-18 | 2018-12-18 | 采摘黄花菜的机器人及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109392462B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110063140A (zh) * | 2019-05-28 | 2019-07-30 | 唐山学院 | 一种高纺锤树型苹果树的振动采摘收获装置 |
CN110352704A (zh) * | 2019-08-15 | 2019-10-22 | 成秀东 | 一种智能化机械收获装置的使用方法 |
CN111328539A (zh) * | 2020-04-08 | 2020-06-26 | 上海电机学院 | 一种自走式黄花菜采摘机 |
CN112166824A (zh) * | 2020-10-15 | 2021-01-05 | 四川农业大学 | 一种基于直角坐标式机械臂的水果采摘机器人 |
CN112677132A (zh) * | 2020-12-22 | 2021-04-20 | 关文婷 | 一种农田农作物药物自动检测机器人 |
CN113021378A (zh) * | 2021-04-02 | 2021-06-25 | 一度智能科技(深圳)有限公司 | 一种智慧农业用采摘机器人控制系统及方法 |
CN113196946A (zh) * | 2021-06-22 | 2021-08-03 | 华南农业大学 | 一种自走式智能果蔬采摘收集机器人及其实现方法 |
CN113228938A (zh) * | 2021-05-31 | 2021-08-10 | 广东若铂智能机器人有限公司 | 采摘机器人slam激光视觉导航方法 |
CN113484063A (zh) * | 2021-07-08 | 2021-10-08 | 河南农业大学 | 一种玉米叶片取样装置 |
CN113508685A (zh) * | 2021-04-19 | 2021-10-19 | 北京化工大学 | 一种万寿菊采摘移动机器人 |
CN113906902A (zh) * | 2021-09-23 | 2022-01-11 | 台州知通科技有限公司 | 茶叶采集机及茶叶采集方法 |
CN114830916A (zh) * | 2022-05-10 | 2022-08-02 | 南京农业大学 | 垄上自主行走包络式金丝皇菊无损采摘机器人及采摘方法 |
CN115254747A (zh) * | 2022-08-04 | 2022-11-01 | 宁夏农林科学院农业经济与信息技术研究所(宁夏农业科技图书馆) | 基于双目视觉检测的黄花菜采摘机器人 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030145571A1 (en) * | 2002-02-05 | 2003-08-07 | Norbert Diekhans | Agricultural machine with a guidance system |
CN103448061A (zh) * | 2013-08-07 | 2013-12-18 | 西北农林科技大学 | 一种猕猴桃果实采摘末端执行器 |
CN103503639A (zh) * | 2013-09-30 | 2014-01-15 | 常州大学 | 一种双臂果蔬采收机器人系统及其果蔬采收方法 |
CN204697535U (zh) * | 2015-03-17 | 2015-10-14 | 江西科技学院 | 一种苹果采摘机 |
DE102015111682A1 (de) * | 2015-07-17 | 2017-02-02 | Klaus Spies | Vollautomatisches Pflücksystem sowie Verfahren zum Betreiben des Pflücksystems |
CN107139182A (zh) * | 2017-06-05 | 2017-09-08 | 重庆理工大学 | 一种柑橘采摘机器人系统及其控制方法 |
CN208079863U (zh) * | 2018-03-29 | 2018-11-13 | 南京师范大学 | 一种模仿人手型的草莓采摘机器 |
-
2018
- 2018-12-18 CN CN201811550954.4A patent/CN109392462B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030145571A1 (en) * | 2002-02-05 | 2003-08-07 | Norbert Diekhans | Agricultural machine with a guidance system |
CN103448061A (zh) * | 2013-08-07 | 2013-12-18 | 西北农林科技大学 | 一种猕猴桃果实采摘末端执行器 |
CN103503639A (zh) * | 2013-09-30 | 2014-01-15 | 常州大学 | 一种双臂果蔬采收机器人系统及其果蔬采收方法 |
CN204697535U (zh) * | 2015-03-17 | 2015-10-14 | 江西科技学院 | 一种苹果采摘机 |
DE102015111682A1 (de) * | 2015-07-17 | 2017-02-02 | Klaus Spies | Vollautomatisches Pflücksystem sowie Verfahren zum Betreiben des Pflücksystems |
CN107139182A (zh) * | 2017-06-05 | 2017-09-08 | 重庆理工大学 | 一种柑橘采摘机器人系统及其控制方法 |
CN208079863U (zh) * | 2018-03-29 | 2018-11-13 | 南京师范大学 | 一种模仿人手型的草莓采摘机器 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110063140A (zh) * | 2019-05-28 | 2019-07-30 | 唐山学院 | 一种高纺锤树型苹果树的振动采摘收获装置 |
CN110352704A (zh) * | 2019-08-15 | 2019-10-22 | 成秀东 | 一种智能化机械收获装置的使用方法 |
CN111328539A (zh) * | 2020-04-08 | 2020-06-26 | 上海电机学院 | 一种自走式黄花菜采摘机 |
CN112166824A (zh) * | 2020-10-15 | 2021-01-05 | 四川农业大学 | 一种基于直角坐标式机械臂的水果采摘机器人 |
CN112677132A (zh) * | 2020-12-22 | 2021-04-20 | 关文婷 | 一种农田农作物药物自动检测机器人 |
CN112677132B (zh) * | 2020-12-22 | 2022-05-10 | 山东韵丰环保科技有限公司 | 一种农田农作物药物自动检测机器人 |
CN113021378A (zh) * | 2021-04-02 | 2021-06-25 | 一度智能科技(深圳)有限公司 | 一种智慧农业用采摘机器人控制系统及方法 |
CN113508685A (zh) * | 2021-04-19 | 2021-10-19 | 北京化工大学 | 一种万寿菊采摘移动机器人 |
CN113228938A (zh) * | 2021-05-31 | 2021-08-10 | 广东若铂智能机器人有限公司 | 采摘机器人slam激光视觉导航方法 |
CN113196946A (zh) * | 2021-06-22 | 2021-08-03 | 华南农业大学 | 一种自走式智能果蔬采摘收集机器人及其实现方法 |
CN113484063A (zh) * | 2021-07-08 | 2021-10-08 | 河南农业大学 | 一种玉米叶片取样装置 |
CN113906902A (zh) * | 2021-09-23 | 2022-01-11 | 台州知通科技有限公司 | 茶叶采集机及茶叶采集方法 |
CN114830916A (zh) * | 2022-05-10 | 2022-08-02 | 南京农业大学 | 垄上自主行走包络式金丝皇菊无损采摘机器人及采摘方法 |
CN114830916B (zh) * | 2022-05-10 | 2023-09-15 | 南京农业大学 | 垄上自主行走包络式金丝皇菊无损采摘机器人及采摘方法 |
CN115254747A (zh) * | 2022-08-04 | 2022-11-01 | 宁夏农林科学院农业经济与信息技术研究所(宁夏农业科技图书馆) | 基于双目视觉检测的黄花菜采摘机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN109392462B (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109392462A (zh) | 采摘黄花菜的机器人及方法 | |
Zhao et al. | Dual-arm robot design and testing for harvesting tomato in greenhouse | |
CN202085493U (zh) | 番茄采摘机器人系统 | |
CN108811766B (zh) | 一种人机交互式温室果蔬采收机器人系统及其采收方法 | |
CN109699301B (zh) | 一种智能柑橘采摘机及柑橘采摘方法 | |
KR100784830B1 (ko) | 벤치 재배형 딸기 수확 로봇 시스템 | |
CN111955164B (zh) | 红花花丝咬合式并联采摘机器人 | |
CN109197160B (zh) | 一种番石榴采摘机器人及其实现方法 | |
CN211745437U (zh) | 一种高架果蔬智能采摘机器人 | |
CN112567976A (zh) | 一种可旋转式多自由度果蔬采摘收集装置 | |
CN109526441A (zh) | 一种打顶机 | |
CN114679963B (zh) | 一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法 | |
CN203775715U (zh) | 一种果实采摘装置 | |
CN109202848A (zh) | 基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法 | |
Hu et al. | Simplified 4-DOF manipulator for rapid robotic apple harvesting | |
CN107439143A (zh) | 一种温室串番茄采收机及采收方法 | |
CN111758397A (zh) | 一种基于视觉识别的花椒智能采摘装置 | |
CN115316129B (zh) | 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 | |
CN114080905A (zh) | 基于数字双胞胎的采摘方法及云采摘机器人系统 | |
CN113812262B (zh) | 一种基于机器视觉的油茶果采摘机器人 | |
Ji et al. | Research on key technology of truss tomato harvesting robot in greenhouse | |
CN108718704B (zh) | 一种人机交互式野外果蔬采收机器人系统及其采收方法 | |
CN108718680A (zh) | 一种玫瑰花采摘装置 | |
CN106233937A (zh) | 一种阵列可伸缩式机械臂猕猴桃果实采摘机器人 | |
CN206686630U (zh) | 一种自动化采摘系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |