CN115119613B - 一种基于机器视觉的绿芦笋采收机器人及采收方法 - Google Patents

一种基于机器视觉的绿芦笋采收机器人及采收方法 Download PDF

Info

Publication number
CN115119613B
CN115119613B CN202210909730.8A CN202210909730A CN115119613B CN 115119613 B CN115119613 B CN 115119613B CN 202210909730 A CN202210909730 A CN 202210909730A CN 115119613 B CN115119613 B CN 115119613B
Authority
CN
China
Prior art keywords
green asparagus
asparagus
harvesting
mechanical arm
green
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210909730.8A
Other languages
English (en)
Other versions
CN115119613A (zh
Inventor
汪小旵
李为民
施印炎
武尧
王得志
王延鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN202210909730.8A priority Critical patent/CN115119613B/zh
Publication of CN115119613A publication Critical patent/CN115119613A/zh
Application granted granted Critical
Publication of CN115119613B publication Critical patent/CN115119613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D45/00Harvesting of standing crops
    • A01D45/007Harvesting of standing crops of asparagus
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于机器视觉的绿芦笋采收机器人及采收方法,包括行走装置、末端执行器、视觉模块、导航模块、供电系统和控制系统。控制系统基于导航模块控制行走装置带动采收机器人整体沿垄沟行走,根据导航模块以及视觉模块传递的数据分析识别到绿芦笋后,控制机械臂对末端执行器进行空间位置与空间位姿的控制;末端执行器分为夹持剪切以及位移补偿两部分,用于对成熟绿芦笋进行夹持剪切操作以及切割点二次定位操作。本发明采用智能控制,实现了绿芦笋的自动检测、成熟度判别、定位、夹持剪切和收集存放等一体化作业,还可以实现24小时作业,大大提高了采收效率,促进了绿芦笋产业的发展。

Description

一种基于机器视觉的绿芦笋采收机器人及采收方法
技术领域
本发明属于农业机器人技术领域,尤其涉及一种基于机器视觉的绿芦笋采收机器人及采收方法。
背景技术
我国的芦笋种植面积逐年增加,但是芦笋采收大都依靠人工方式,在采收旺季,芦笋生长速度极快,一天可以生长10~15cm,当达到20cm时便可以进行采收,因而1~2天便需要进行一次采收作业,工人采收芦笋需要一直进行弯腰、起身、弯腰的重复性劳动,长时间的劳作会极大地损害工人的身体健康,并且这种采收方式的采收效率也较为低下,严重制约了芦笋产业的稳定持续发展,因而,以机械化收获代替人工采收作业,是降低成本、提高产品竞争力的最佳途径。
目前的农业采收机械主要以果品采摘为主,芦笋采摘机械较少,而且现有的芦笋采摘机械也几乎全部是针对白芦笋采收进行研制的。现有技术(CN111066471A)公开了一种智能芦笋收获机,通过图像识别技术分辨芦笋和杂草,由超声波装置确定芦笋高度,根据芦笋高度信息判断成熟度,然后由处理器下发切割命令,气缸驱动切割刀完成芦笋切割,但是这种切割方式较为粗糙,没有进一步对切割点位进行定位计算,不能实现精准低损采收。
因此,本发明设计了一种基于机器视觉的绿芦笋采收机器人,以高效、低损、精准的机械化收获代替繁重的人工采收,提高了绿芦笋收获作业的工作效率,减轻了劳动强度。
发明内容
针对现有技术中存在的不足,本发明提供了一种基于机器视觉的绿芦笋采收机器人及采收方法,解决了传统的依靠人工采收绿芦笋费时费力的难题,提高了采收效率、降低了采收损伤率、提高了产品质量。
本发明通过以下技术手段实现上述技术目的。
一种基于机器视觉的绿芦笋采收机器人,包括行走装置,行走装置上安装有机械臂、芦笋收集装置、供电系统、控制箱,机械臂末端安装有末端执行器,机械臂上还安装有视觉模块,控制箱外部安装有导航模块;控制箱内安装有控制系统,行走装置、机械臂、末端执行器、视觉模块、导航模块、供电系统均与控制系统信号连接。
进一步地,所述末端执行器通过平面连接板以及平面内六角螺栓组固定在机械臂的第六转动轴法兰盘上,包括夹持剪切单元和位移补偿单元;
夹持剪切单元包括安装在末端主板上的舵机,舵机转动轴上通过螺栓以及啮合齿轮安装有一字舵机臂,一字舵机臂两端分别安装有第一传动弧杆和第二传动弧杆,第一传动弧杆和第二传动弧杆的另一端分别固定有第一夹持手指、第二夹持手指,且第一夹持手指以及第二夹持手指端部的滑道均与末端主板外侧滑轨契合;第一夹持手指以及第二夹持手指相对的一侧分别粘贴有第一夹持海绵、第二夹持海绵,第一夹持手指以及第二夹持手指的底部分别固定有第一切割刀片、第二切割刀片。
进一步地,所述位移补偿单元包括安装在末端主板上的第二末端外壳内部的超声波传感器,且超声波发射器与超声波接收器分别嵌入第二末端外壳前侧的安装孔中;
位移补偿单元还包括固定于平面连接板下方的第一末端外壳,第一末端外壳内安装有丝杆直线模组、丝杆步进电机,且丝杆步进电机通过联轴器与丝杆直线模组配合连接;丝杆直线模组上的丝杆滑台通过螺栓组连接有第一L形连接板,第一L形连接板另一端伸出至第一末端外壳外,且通过螺栓组与第二L形连接板连接,第二L形连接板通过螺栓组固定于末端主板上。
进一步地,所述机械臂为六轴机械臂,机械臂的第一转动轴上安装有相机固定板,视觉模块安装在相机固定板上;视觉模块包括RGBD相机。
进一步地,所述相机固定板上设置有四组不同高度的相机安装孔;视觉模块还包括安装在相机固定板上的补光灯。
进一步地,所述第二夹持手指与第二夹持海绵之间安装有压力薄膜传感器,末端主板上的第二末端外壳内安装有压力薄膜传感器PCB板。
进一步地,所述控制系统包括工控机、电源开关、丝杆步进电机驱动器、Arduino控制板、底盘电机驱动器、机械臂控制柜、伺服电机驱动器以及相应的控制电路;供电系统包括锂电池、电压转换模块以及相应的供电电路。
进一步地,所述行走装置包括履带底盘,履带底盘包括固定于底盘机架上的一组驱动轮、两组支重轮、一组导向轮,驱动轮、支重轮、导向轮均与履带内表面啮合;底盘机架内部安装有一组伺服电机和一组电机减速器,伺服电机的输出轴与对应的电机减速器的输入孔相配合,电机减速器通过传动轴与对应的驱动轮连接;底盘机架上方安装有底盘盖板,底盘盖板上安装有芦笋收集装置、机械臂、控制箱。
进一步地,所述芦笋收集装置包括芦笋收集框和收集框放置架,收集框放置架一端安装在底盘盖板上,另一端伸出至底盘盖板前端且放置有芦笋收集框。
一种利用上述基于机器视觉的绿芦笋采收机器人的绿芦笋采收方法,包括如下步骤:
步骤1:首先利用导航模块获取绿芦笋种植温室空间信息并传递至控制系统,在控制系统的控制下,由行走装置带动绿芦笋采收机器人到达垄沟正前方,控制机械臂转动直至相机固定板与前进方向垂直,即机械臂处于0°方位;然后,视觉模块获取绿芦笋采收机器人前方图像信息并传递至控制系统进行分析处理,控制系统融合导航模块以及视觉模块传递的数据,对垄沟两边垄进行实时识别,通过PID控制算法控制绿芦笋采收机器人始终行走在垄沟中间;
步骤2:行走过程中,当控制系统根据导航模块以及视觉模块传递的数据分析识别到绿芦笋后,控制绿芦笋采收机器人停止运动,进行一侧绿芦笋的采摘,控制机械臂转动,直至视觉模块平行于一侧边垄,然后基于深度学习实时实例分割算法Yolactedge对绿芦笋进行识别分割,对分割后的绿芦笋进行长度测量,据此判断绿芦笋是否成熟;针对成熟绿芦笋,确定其采收切割点位置,将切割点坐标转换为世界坐标系下的坐标,并且对绿芦笋的空间位姿进行计算;
步骤3:控制系统计算出成熟绿芦笋在世界坐标系下的坐标以及空间位姿数据后,控制机械臂带动末端执行器先到达采收过度点位置,然后以对应的空间姿态到达成熟绿芦笋切割点处;接着,超声波传感器测量其与绿芦笋之间的距离并反馈至控制系统进行计算分析,当距离大于预设的阈值时控制丝杆直线模组向着靠近绿芦笋的方向移动,否则控制丝杆直线模组向着远离绿芦笋的方向移动,使得绿芦笋始终位于第一夹持手指以及第二夹持手指之间,此时二次定位完成;
步骤4:控制系统控制舵机转动,舵机带动一字舵机臂转动,一字舵机臂带动第一夹持手指以及第二夹持手指相互靠近,利用第一切割刀片以及第二切割刀片切割绿芦笋;
步骤5:绿芦笋被切断后,机械臂首先带动末端执行器回到采收过度点位置,然后继续带动末端执行器运动至芦笋收集装置上方,并将采收完的绿芦笋从竖直姿态变换为水平姿态,接着控制舵机转动,使得末端执行器松开绿芦笋,绿芦笋落入芦笋收集装置内,完成一根成熟绿芦笋的采收操作;
步骤6:机械臂继续带动末端执行器回到采收过度点位置,然后重复上述步骤3、4、5,对该处其他成熟绿芦笋进行采收;
步骤7:采收完一处的成熟绿芦笋后,绿芦笋采收机器人继续向前移动,对该侧边垄其余位置处的成熟绿芦笋进行采收,当到达垄尾时,机械臂转动,直至视觉模块平行于另一侧边垄,绿芦笋采收机器人向后移动,重复上述步骤2、3、4、5、6,对另一侧边垄的成熟绿芦笋进行采收。
本发明具有如下有益效果;
本发明设计了能够用于绿芦笋选择性采收的机器人,实现了绿芦笋的自动检测、成熟度判别、定位、夹持剪切和收集存放等一体化作业,自动化程度高,能够提高采收效率,促进绿芦笋产业的发展。
本发明所设计的末端执行器能够通过超声波传感器配合丝杆直线模组进行二次定位,使得定位更为精准,采收成功率可以提高15%左右;末端执行器的夹持手指与夹持海绵中放置有压力薄膜传感器,能够在夹持过程中避免超出绿芦笋的最大压缩力,采收过程中的采收损伤率可以减低20%左右。
本发明设计了适用于垄间绿芦笋采收的相机固定板,采用“眼在肩上”的视觉模块安装策略,相机固定板上设置有不同高度的相机安装孔,可使机器人适应于不同的垄高进行工作;视觉模块可随机械臂进行±180°运动,实现了“一机三用”,相机不仅可以用于行走控制,还可以用于机器人在不需要掉头的情况下进行垄两边绿芦笋的采收;并且视觉模块中添加有补光灯,便于机器人24小时工作。
附图说明
图1为本发明所述绿芦笋采收机器人结构示意图;
图2为本发明所述绿芦笋采收机器人右视图;
图3为本发明所述绿芦笋采收机器人履带底盘内部结构俯视图;
图4为本发明所述末端执行器轴测图;
图5为本发明所述末端执行器底部结构示意图;
图6为本发明所述末端执行器剖面图;
图7为本发明所述压力薄膜传感器布置示意图;
图8为本发明所述控制箱内部结构正视图;
图9为本发明所述控制箱内部结构俯视图;
图10为本发明所述绿芦笋采收机器人控制原理框架图。
图中:1-机械臂;2-末端执行器;201-第一末端外壳;202-丝杆直线模组;203-第一L形连接板;204-第二L形连接板;205-末端主板;206-第一夹持手指;207-第一夹持海绵;208-第二夹持海绵;209-第二夹持手指;210-超声波传感器;211-第二末端外壳;212-平面连接板;213-第一传动弧杆;214-第二切割刀片;215-第一切割刀片;216-第二传动弧杆;217-一字舵机臂;218-舵机;219-压力薄膜传感器PCB板;220-丝杆滑台;221-丝杆步进电机;222-压力薄膜传感器;3-芦笋收集装置;301-芦笋收集框;302-收集框放置架;401-第一履带;402-底盘盖板;403-第一驱动轮;404-第一支重轮;405-第二支重轮;406-第一导向轮;407-第一挡泥板;408-底盘机架;409-第二履带;410-第二挡泥板;411-第二导向轮;412-第三支重轮;413-第四支重轮;414-第二驱动轮;415-第一电机减速器;416-第一伺服电机;417-锂电池;418-第二伺服电机;419-第二电机减速器;5-控制箱;501-工控机;502-电源开关;503-丝杆步进电机驱动器;504-电压转换模块;505-Arduino控制板;506-控制箱体;507-底盘电机驱动器;508-机械臂控制柜;6-激光雷达;701-相机;702-补光灯;801-第一相机固定板;802-第二相机固定板。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明,但本发明的保护范围并不限于此。
在本发明的描述中,需要理解的是,术语“安装”、“连接”、“固定”等应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体的连接,可以是直接相连,也可以是通过中间媒介间接相连,还可以是两个元件内部的连通;术语“前”、“后”、“左”、“右”、“内”、“外”的使用均是基于附图所示的描述,不是特指具体的方位,因此不能理解为对本发明的限制;术语“第一”、“第二”、“第三”等的使用均是为了便于区分各名称相同的部件,不能理解为对本发明的限制;对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
如图1所示,本发明所述的基于机器视觉的绿芦笋采收机器人,包括行走装置、机械臂1、芦笋收集装置3、末端执行器2、视觉模块、导航模块、供电系统、控制箱5。
如图1至3所示,行走装置包括履带底盘,履带底盘包括第一履带401、底盘盖板402、第一驱动轮403、第一支重轮404、第二支重轮405、第一导向轮406、第一挡泥板407、底盘机架408、第二履带409、第二挡泥板410、第二导向轮411、第三支重轮412、第四支重轮413、第二驱动轮414、第一电机减速器415、第一伺服电机416、第二伺服电机418、第二电机减速器419。
如图1至3所示,第一驱动轮403和第二驱动轮414通过轴、轴承、轴承座、轴承座固定法兰、轴承盖和螺栓组固定于底盘机架408左右两侧后端位置处;第一支重轮404、第二支重轮405、第一导向轮406、第二导向轮411、第三支重轮412、第四支重轮413均通过轴和螺栓安装在底盘机架408左右两侧的其余位置处;第一驱动轮403、第一支重轮404、第二支重轮405、第一导向轮406均与第一履带401内表面啮合;第二导向轮411、第三支重轮412、第四支重轮413、第二驱动轮414均与第二履带409内表面啮合。第一伺服电机416、第二伺服电机418、第一电机减速器415、第二电机减速器419均安装在底盘机架408内部;第一伺服电机416的输出轴与第一电机减速器415的输入孔相配合,第一电机减速器415通过传动轴与第一驱动轮403连接;第二伺服电机418的输出轴与第二电机减速器419的输入孔相配合,第二电机减速器419通过传动轴与第二驱动轮414连接。
如图1至3所示,底盘盖板402通过螺栓组安装在底盘机架408上方,底盘盖板402上安装有芦笋收集装置3、机械臂1、控制箱5;其中,芦笋收集装置3通过螺栓组安装在底盘盖板402前端,机械臂1通过螺栓组安装在底盘盖板402前部,控制箱5通过螺栓组安装在底盘盖板402后部。
如图1、2所示,芦笋收集装置3包括芦笋收集框301和收集框放置架302,收集框放置架302一端通过螺栓组固定安装在底盘盖板402上,另一端伸出至底盘盖板402前端且放置有芦笋收集框301。导航模块安装在控制箱5顶部,导航模块安包括激光雷达6。如图8、9所示,控制箱5内设置有控制系统,包括工控机501、电源开关502、丝杆步进电机驱动器503、Arduino控制板505、控制箱体506、底盘电机驱动器507、机械臂控制柜508、伺服电机驱动器以及相应的控制电路。第一挡泥板407与第二挡泥板410的前半部分均通过螺栓组固定于收集框放置架302左右两侧,后半部分均通过螺栓组固定于控制箱5底部两侧。
如图1、2所示,机械臂1为六轴机械臂,相机固定板安装于机械臂1的第一转动轴上,可随机械臂1做±180°的转向运动,其中,机械臂1的运动由相应的伺服电机驱动。相机固定板包括主体部分均呈弧形结构的第一相机固定板801和第二相机固定板802,第一相机固定板801和第二相机固定板802的主体部分包裹机械臂1的第一转动轴且通过螺栓拼接组合,第二相机固定板802的平板部分安装有视觉模块;视觉模块包括相机701,相机701通过螺栓固定于第二相机固定板802上。
如图1所示,末端执行器2通过平面连接板212以及平面内六角螺栓组固定在机械臂1的第六转动轴法兰盘上;末端执行器2包括夹持剪切单元和位移补偿单元。如图4至7所示,夹持剪切单元包括末端主板205、第一夹持手指206、第一夹持海绵207、第二夹持海绵208、第二夹持手指209、第二末端外壳211、第二传动弧杆216、第二切割刀片214、第一切割刀片215、第一传动弧杆213、一字舵机臂217、舵机218、压力薄膜传感器PCB板219、压力薄膜传感器222。舵机218通过螺栓组固定在末端主板205上,一字舵机臂217通过螺栓以及啮合齿轮固定在舵机218转动轴上,第一传动弧杆213以及第二传动弧杆216的一端均通过螺栓分别固定于一字舵机臂217两侧;第一传动弧杆213以及第二传动弧杆216的另一端均通过螺栓分别固定有第一夹持手指206、第二夹持手指209;第一夹持手指206以及第二夹持手指209端部的滑道均与末端主板205外侧滑轨契合,使得实际采摘过程中第一夹持手指206以及第二夹持手指209能够沿着滑轨相互滑动靠近,带动相应的刀片切割绿芦笋。第一夹持手指206以及第二夹持手指209相对的一侧分别通过双面胶粘贴有第一夹持海绵207、第二夹持海绵208,第一夹持海绵207、第二夹持海绵208均为软体海绵;第一夹持手指206以及第二夹持手指209的底部均通过螺栓组分别固定有第一切割刀片215、第二切割刀片214;第二夹持手指209与第二夹持海绵208之间安装有压力薄膜传感器222,压力薄膜传感器PCB板219安装在末端主板205上的第二末端外壳211内。
如图4至6所示,位移补偿单元包括第一末端外壳201、丝杆直线模组202、丝杆步进电机221、超声波传感器210。超声波传感器210安装在第二末端外壳211内,且超声波发射器与超声波接收器分别嵌入第二末端外壳211前侧的安装孔中。第一末端外壳201通过螺栓组固定于平面连接板212下方,丝杆直线模组202、丝杆步进电机221均安装于第一末端外壳201内;丝杆直线模组202、丝杆步进电机221均通过螺栓组与平面连接板212固定,且丝杆步进电机221通过联轴器与丝杆直线模组202配合连接;丝杆直线模组202上的丝杆滑台220通过螺栓组连接有第一L形连接板203,第一L形连接板203另一端伸出至第一末端外壳201外,且通过螺栓组与第二L形连接板204连接,第二L形连接板204通过螺栓组固定于末端主板205上。在丝杆步进电机221的驱动下,丝杆滑台220能够间接带动夹持剪切单元做直线运动。所述丝杆直线模组202的有效行程为50mm,其配合超声波传感器210用于实现成熟绿芦笋二次定位与位移补偿操作。
供电系统包括安装在底盘机架408内部的锂电池417、安装在控制箱5中的电压转换模块504以及相应的供电电路。锂电池417为48V直流电源;电压转换模块504包括电压逆变器和直流电压转换器。
如图1、2所示,优选地,所述第二相机固定板802的平板部分设置有四组不同高度的相机安装孔,便于调整视觉模块中相机701的安装高度;所述相机701为RGBD相机,能够获得成像范围内的RGB图像和深度距离信息;所述第二相机固定板802上还通过卡扣安装有补光灯702,补光灯702的使用使得视觉模块在夜间也能采集信息;所述第一相机固定板801和第二相机固定板802的材料均为高韧性树脂。
优选地,所述第一末端外壳201、第二末端外壳211的材料均为尼龙;所述第一L形连接板203、第二L形连接板204、末端主板205、第一夹持手指206、第二夹持手指209、平面连接板212、第一传动弧杆213、第二传动弧杆216、一字舵机臂217的材料均为铝合金;所述第一切割刀片215、第二切割刀片214的材料均为Cr12Mov。
所述控制系统基于ROS(Robot Operating System)操作系统,使用其话题机制,通过注册机械臂控制节点、末端执行器节点、图像处理节点、导航节点和底盘控制节点实现各模块之间的信息通讯。
利用上述基于机器视觉的绿芦笋采收机器人进行绿芦笋采收的方法,包括如下步骤:
步骤1:在绿芦笋采收前,利用激光雷达6获取绿芦笋种植温室空间信息并传递至控制系统,在控制系统的控制下,由行走装置带动绿芦笋采收机器人到达垄沟正前方,控制机械臂1转动直至相机固定板与前进方向垂直(即机械臂1处于0°方位);然后,相机701获取绿芦笋采收机器人前方图像信息并传递至控制系统进行分析处理,控制系统融合激光雷达6以及相机701传递的数据,对垄沟两边垄进行实时识别,通过PID控制算法控制绿芦笋采收机器人始终行走在垄沟中间;
步骤2:行走过程中,当控制系统根据激光雷达6以及相机701传递的数据分析识别到绿芦笋后,控制绿芦笋采收机器人停止运动,首先进行右侧绿芦笋的采摘,控制机械臂1转动,直至相机701平行于右边垄,然后基于深度学习实时实例分割算法Yolactedge对绿芦笋进行识别分割,利用相机701的深度信息对分割后的绿芦笋进行长度的测量,若绿芦笋长度大于20cm则判断其为成熟绿芦笋,否则为未成熟的绿芦笋;针对成熟绿芦笋,确定其距地面2~5cm处为采收切割点,然后将切割点坐标从相机坐标系下通过旋转矩阵和平移矩阵转换为世界坐标系下的坐标,并且对绿芦笋的空间位姿进行计算;
当成像范围内有多根成熟绿芦笋时,控制系统使用路径规划算法计算最佳采收路径;
步骤3:控制系统计算出成熟绿芦笋在世界坐标系下的坐标以及空间位姿数据后,控制机械臂1带动末端执行器2先到达采收过度点位置,然后以对应的空间姿态到达成熟绿芦笋切割点处;接着,超声波传感器210测量其与绿芦笋之间的距离并反馈至控制系统,控制系统进行计算分析,当距离大于预设的阈值时,控制丝杆直线模组202正向移动(即向着靠近绿芦笋的方向移动),当距离小于预设的阈值时,控制丝杆直线模组202反向移动(即向着远离绿芦笋的方向移动),使得绿芦笋始终位于第一夹持手指206以及第二夹持手指209之间,此时二次定位完成;
步骤4:二次定位完成后,控制系统控制舵机218转动,舵机218带动一字舵机臂217转动,一字舵机臂217带动第一夹持手指206以及第二夹持手指209相互靠近,第一夹持海绵207以及第二夹持海绵208最先接触绿芦笋,之后第一切割刀片215以及第二切割刀片214相互靠近切割绿芦笋;切割过程中,压力薄膜传感器222实时监测压力值并反馈至控制系统,当压力值达到设定阈值时,控制舵机218停止,不再挤压绿芦笋;
步骤5:绿芦笋被切断后,即夹持剪切单元完成夹持剪切操作后,机械臂1首先带动末端执行器2回到采收过度点位置,然后继续带动末端执行器2运动至芦笋收集框301上方,并将采收完的绿芦笋从竖直姿态变换为水平姿态,接着控制舵机218转动,使得末端执行器2松开绿芦笋,绿芦笋落入芦笋收集框301内,完成一根成熟绿芦笋的采收操作;
步骤6:机械臂1继续带动末端执行器2回到采收过度点位置,然后重复上述步骤3、4、5,对该处其他成熟绿芦笋进行采收;
步骤7:采收完一处的成熟绿芦笋后,绿芦笋采收机器人继续向前移动,对垄右边其余位置处的成熟绿芦笋进行采收,当到达垄尾时,机械臂1转动,直至相机701平行于左边垄,绿芦笋采收机器人向后移动,重复上述步骤2、3、4、5、6,进行左侧成熟绿芦笋的采收工作。
所述实施例为本发明的优选的实施方式,但本发明并不限于上述实施方式,在不背离本发明的实质内容的情况下,本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (5)

1.一种利用基于机器视觉的绿芦笋采收机器人的绿芦笋采收方法,其特征在于,基于机器视觉的绿芦笋采收机器人包括行走装置,行走装置上安装有机械臂(1)、芦笋收集装置(3)、供电系统、控制箱(5),机械臂(1)末端安装有末端执行器(2),机械臂(1)上还安装有视觉模块,控制箱(5)外部安装有导航模块;控制箱(5)内安装有控制系统,行走装置、机械臂(1)、末端执行器(2)、视觉模块、导航模块、供电系统均与控制系统信号连接;
所述末端执行器(2)通过平面连接板(212)以及平面内六角螺栓组固定在机械臂(1)的第六转动轴法兰盘上,包括夹持剪切单元和位移补偿单元;
夹持剪切单元包括安装在末端主板(205)上的舵机(218),舵机(218)转动轴上通过螺栓以及啮合齿轮安装有一字舵机臂(217),一字舵机臂(217)两端分别安装有第一传动弧杆(213)和第二传动弧杆(216),第一传动弧杆(213)和第二传动弧杆(216)的另一端分别固定有第一夹持手指(206)、第二夹持手指(209),且第一夹持手指(206)以及第二夹持手指(209)端部的滑道均与末端主板(205)外侧滑轨契合;第一夹持手指(206)以及第二夹持手指(209)相对的一侧分别粘贴有第一夹持海绵(207)、第二夹持海绵(208),第一夹持手指(206)以及第二夹持手指(209)的底部分别固定有第一切割刀片(215)、第二切割刀片(214);
所述位移补偿单元包括安装在末端主板(205)上的第二末端外壳(211)内部的超声波传感器(210),且超声波发射器与超声波接收器分别嵌入第二末端外壳(211)前侧的安装孔中;
位移补偿单元还包括固定于平面连接板(212)下方的第一末端外壳(201),第一末端外壳(201)内安装有丝杆直线模组(202)、丝杆步进电机(221),且丝杆步进电机(221)通过联轴器与丝杆直线模组(202)配合连接;丝杆直线模组(202)上的丝杆滑台(220)通过螺栓组连接有第一L形连接板(203),第一L形连接板(203)另一端伸出至第一末端外壳(201)外,且通过螺栓组与第二L形连接板(204)连接,第二L形连接板(204)通过螺栓组固定于末端主板(205)上;
所述第二夹持手指(209)与第二夹持海绵(208)之间安装有压力薄膜传感器(222),末端主板(205)上的第二末端外壳(211)内安装有压力薄膜传感器PCB板(219);
所述机械臂(1)为六轴机械臂,机械臂(1)的第一转动轴上安装有相机固定板,视觉模块安装在相机固定板上;视觉模块包括RGBD相机;
绿芦笋采收方法包括如下过程:
步骤1:首先利用导航模块获取绿芦笋种植温室空间信息并传递至控制系统,在控制系统的控制下,由行走装置带动绿芦笋采收机器人到达垄沟正前方,控制机械臂(1)转动直至相机固定板与前进方向垂直,即机械臂(1)处于0°方位;然后,视觉模块获取绿芦笋采收机器人前方图像信息并传递至控制系统进行分析处理,控制系统融合导航模块以及视觉模块传递的数据,对垄沟两边垄进行实时识别,通过PID控制算法控制绿芦笋采收机器人始终行走在垄沟中间;
步骤2:行走过程中,当控制系统根据导航模块以及视觉模块传递的数据分析识别到绿芦笋后,控制绿芦笋采收机器人停止运动,进行一侧绿芦笋的采摘:控制机械臂(1)转动,直至视觉模块平行于一侧边垄,然后基于深度学习实时实例分割算法Yolactedge对绿芦笋进行识别分割,对分割后的绿芦笋进行长度测量,据此判断绿芦笋是否成熟;针对成熟绿芦笋,确定其采收切割点位置,将切割点坐标转换为世界坐标系下的坐标,并且对绿芦笋的空间位姿进行计算;
步骤3:控制系统计算出成熟绿芦笋在世界坐标系下的坐标以及空间位姿数据后,控制机械臂(1)带动末端执行器(2)先到达采收过度点位置,然后以对应的空间姿态到达成熟绿芦笋切割点处;接着,超声波传感器(210)测量其与绿芦笋之间的距离并反馈至控制系统进行计算分析,距离大于预设的阈值时控制丝杆直线模组(202)向着靠近绿芦笋的方向移动,否则控制丝杆直线模组(202)向着远离绿芦笋的方向移动,使得绿芦笋始终位于第一夹持手指(206)以及第二夹持手指(209)之间,此时二次定位完成;
步骤4:控制系统控制舵机(218)转动,舵机(218)带动一字舵机臂(217)转动,一字舵机臂(217)带动第一夹持手指(206)以及第二夹持手指(209)相互靠近,利用第一切割刀片(215)以及第二切割刀片(214)切割绿芦笋;
步骤5:绿芦笋被切断后,机械臂(1)首先带动末端执行器(2)回到采收过度点位置,然后继续带动末端执行器(2)运动至芦笋收集装置(3)上方,并将采收完的绿芦笋从竖直姿态变换为水平姿态,接着控制舵机(218)转动,使得末端执行器(2)松开绿芦笋,绿芦笋落入芦笋收集装置(3)内,完成一根成熟绿芦笋的采收操作;
步骤6:机械臂(1)继续带动末端执行器(2)回到采收过度点位置,然后重复上述步骤3、4、5,对该处其他成熟绿芦笋进行采收;
步骤7:采收完一处的成熟绿芦笋后,绿芦笋采收机器人继续向前移动,对该侧边垄其余位置处的成熟绿芦笋进行采收,当到达垄尾时,机械臂(1)转动,直至视觉模块平行于另一侧边垄,绿芦笋采收机器人向后移动,重复上述步骤2、3、4、5、6,对另一侧边垄的成熟绿芦笋进行采收。
2.根据权利要求1所述的绿芦笋采收方法,其特征在于,所述相机固定板上设置有四组不同高度的相机安装孔;视觉模块还包括安装在相机固定板上的补光灯(702)。
3.根据权利要求1所述的绿芦笋采收方法,其特征在于,所述控制系统包括工控机(501)、电源开关(502)、丝杆步进电机驱动器(503)、Arduino控制板(505)、底盘电机驱动器(507)、机械臂控制柜(508)、伺服电机驱动器以及相应的控制电路;供电系统包括锂电池(417)、电压转换模块(504)以及相应的供电电路。
4.根据权利要求1所述的绿芦笋采收方法,其特征在于,所述行走装置包括履带底盘,履带底盘包括固定于底盘机架(408)上的一组驱动轮、两组支重轮、一组导向轮,驱动轮、支重轮、导向轮均与履带内表面啮合;底盘机架(408)内部安装有一组伺服电机和一组电机减速器,伺服电机的输出轴与对应的电机减速器的输入孔相配合,电机减速器通过传动轴与对应的驱动轮连接;底盘机架(408)上方安装有底盘盖板(402),底盘盖板(402)上安装有芦笋收集装置(3)、机械臂(1)、控制箱(5)。
5.根据权利要求1所述的绿芦笋采收方法,其特征在于,所述芦笋收集装置(3)包括芦笋收集框(301)和收集框放置架(302),收集框放置架(302)一端安装在底盘盖板(402)上,另一端伸出至底盘盖板(402)前端且放置有芦笋收集框(301);所述导航模块包括激光雷达(6)。
CN202210909730.8A 2022-07-29 2022-07-29 一种基于机器视觉的绿芦笋采收机器人及采收方法 Active CN115119613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210909730.8A CN115119613B (zh) 2022-07-29 2022-07-29 一种基于机器视觉的绿芦笋采收机器人及采收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210909730.8A CN115119613B (zh) 2022-07-29 2022-07-29 一种基于机器视觉的绿芦笋采收机器人及采收方法

Publications (2)

Publication Number Publication Date
CN115119613A CN115119613A (zh) 2022-09-30
CN115119613B true CN115119613B (zh) 2023-07-21

Family

ID=83385151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210909730.8A Active CN115119613B (zh) 2022-07-29 2022-07-29 一种基于机器视觉的绿芦笋采收机器人及采收方法

Country Status (1)

Country Link
CN (1) CN115119613B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116138036B (zh) * 2023-03-24 2024-04-02 仲恺农业工程学院 一种用于名优茶嫩芽采摘的二次定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN107439143A (zh) * 2017-09-11 2017-12-08 中国农业大学 一种温室串番茄采收机及采收方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5023259B2 (ja) * 2007-11-30 2012-09-12 長崎県 アスパラガス切断可否自動判定装置
CN207399895U (zh) * 2017-11-15 2018-05-25 滁州学院 基于机器视觉的垄作栽培式草莓采摘机器人
CN110352702A (zh) * 2019-07-31 2019-10-22 江苏大学 一种菠萝采收机器人系统及实现方法
CN111066471A (zh) * 2019-11-06 2020-04-28 山东理工大学 一种智能芦笋收获机
CN111673755B (zh) * 2020-06-24 2023-02-03 西北农林科技大学 一种基于视觉伺服的采摘机器人控制系统及控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN107439143A (zh) * 2017-09-11 2017-12-08 中国农业大学 一种温室串番茄采收机及采收方法

Also Published As

Publication number Publication date
CN115119613A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN202077380U (zh) 一种gps导航割草机器人
CN102124866B (zh) 一种轮式移动水果采摘机器人及水果采摘方法
CN205408633U (zh) 一种可自主导航的履带式多机械臂苹果采摘机器人
CN204585197U (zh) 可自动避障作业机器人
CN115119613B (zh) 一种基于机器视觉的绿芦笋采收机器人及采收方法
CN202085493U (zh) 番茄采摘机器人系统
CN105706637A (zh) 一种可自主导航的履带式多机械臂苹果采摘机器人
CN205336853U (zh) 一种智能避障割草机器人
CN211745437U (zh) 一种高架果蔬智能采摘机器人
CN108811766B (zh) 一种人机交互式温室果蔬采收机器人系统及其采收方法
CN110614622A (zh) 一种智能果实采摘机器人及其实现方法
CN215991989U (zh) 一种带悬臂的葡萄采摘机器人
CN112428268A (zh) 基于机器视觉的车载机械臂式水果拾取装箱系统及方法
CN205408632U (zh) 一种新型履带式苹果采摘机器人
CN113994814A (zh) 一种智能果蔬采摘机器人
CN114793633B (zh) 一种适用于多层高架种植农艺的多工况温室草莓精准采摘机器人及采摘方法
CN210841314U (zh) 一种新型自动前胡除草机
CN112772144A (zh) 一种筒状末端苹果采摘机器手爪及使用方法
CN116985090A (zh) 智能垃圾分拣机器人
CN114830916B (zh) 垄上自主行走包络式金丝皇菊无损采摘机器人及采摘方法
CN116257081A (zh) 无人机与地面无人车协同去雄作业系统
CN220422495U (zh) 一种地垄草莓采摘装置
CN220799160U (zh) 一种温室大棚轨道采摘机器人
CN219124821U (zh) 一种采摘与收集一体的菠萝采摘机器人
CN217509437U (zh) 一种自走式芒果采收车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant