CN110832991B - 一种基于图像识别的采摘机 - Google Patents

一种基于图像识别的采摘机 Download PDF

Info

Publication number
CN110832991B
CN110832991B CN201911016394.9A CN201911016394A CN110832991B CN 110832991 B CN110832991 B CN 110832991B CN 201911016394 A CN201911016394 A CN 201911016394A CN 110832991 B CN110832991 B CN 110832991B
Authority
CN
China
Prior art keywords
picking
plate
silica gel
clamping jaw
fixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911016394.9A
Other languages
English (en)
Other versions
CN110832991A (zh
Inventor
温泉河
招乾民
范绍锐
欧阳少鑫
杨宇涵
庄端东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201911016394.9A priority Critical patent/CN110832991B/zh
Publication of CN110832991A publication Critical patent/CN110832991A/zh
Application granted granted Critical
Publication of CN110832991B publication Critical patent/CN110832991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30Robotic devices for individually picking crops
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于图像识别的采摘机,采摘机包括主体框架、控制系统、传感器、行走装置、升降装置、传送收集装置、机械手和采摘装置;所述主体框架包括第一支撑板和第二支撑板,所述第一支撑板固定设置在所述行走装置上面,所述第二支撑板设置在所述升降装置的顶部;所述传感器包括图像传感器;所述采摘装置包括硅胶夹爪;所述传感器、行走装置、升降装置、传送收集装置、机械手和采摘装置均与所述控制系统连接。本发明的采摘机上增设了升降装置,能够控制采摘机的采摘高度,适用于不同高度的蔬菜采摘,实用性高;另外,本发明通过硅胶夹爪来夹取蔬菜,能够减少对蔬菜的损坏,保障采摘质量,可广泛应用于农业设备技术领域。

Description

一种基于图像识别的采摘机
技术领域
本发明涉及农业设备技术领域,尤其是一种基于图像识别的采摘机。
背景技术
中国是农业大国,同时也是农产品生产、消费大国,每年种植和收获的蔬菜、水果数量非常巨大。但是蔬菜的采摘往往依靠大量的人工,不仅成本高,而且效率低。随着科技的进步,农产品采摘机应运而生。
但是传统的采摘机往往采用的是刚性的夹爪,很容易造成对蔬菜的损坏,采摘质量不可靠。另一方面,传统的采摘机的无法灵活调整采摘高度,不适用于不同高度蔬菜的采摘,实用性不高。
发明内容
有鉴于此,本发明实施例提供一种采摘质量可靠且实用性高的,基于图像识别的采摘机。
第一方面,本发明实施例提供了一种基于图像识别的采摘机,包括主体框架、控制系统、传感器、行走装置、升降装置、传送收集装置、机械手和采摘装置;
所述主体框架包括第一支撑板和第二支撑板,所述第一支撑板固定设置在所述行走装置上面,所述第二支撑板设置在所述升降装置的顶部;
所述传感器包括图像传感器;
所述采摘装置包括硅胶夹爪;
所述传感器、行走装置、升降装置、传送收集装置、机械手和采摘装置均与所述控制系统连接。
进一步,所述行走装置为一组或多组,其中每组行走装置均包括车轮、承重轴、连接块、支撑块、支撑柱、减震弹簧、轴承、同步带、齿轮轴、减速齿轮和第一步进电机;所述轴承设置于所述承重轴上;所述车轮安装在所述轴承的外侧;所述连接块共两块,分别设置在所述承重轴两端,所述连接块均通过螺纹和螺栓连接至承重轴,所述支撑柱设有若干条,并设置在所述连接块的上面且与所述第一支撑板非固定连接,所述支撑块设置在所述支撑柱之间,所述减震弹簧套设于所述支撑柱上,所述同步带连接所述车轮和所述齿轮轴,所述齿轮轴连接所述减速齿轮,所述减速齿轮连接所述第一步进电机,所述第一步进电机固定于所述第一支撑板下。
进一步,所述升降装置包括液压缸固定块、液压缸、液压缸伸缩杆和升降板;所述液压缸固定块固定于所述第一支撑板上;所述液压缸固定于所述液压缸固定块上;所述液压缸伸缩杆连接所述液压缸的输出轴;所述升降板固定在所述液压缸伸缩杆末端,并与所述第二支撑板连接。
进一步,所述传送收集装置包括收集箱、固定板、第一滚珠丝杠、第一固定座、第一滑块、第二步进电机、第一舵机、第一电磁锁、第一临时收集盒、第二临时收集盒、第二滚珠丝杠、第二固定座、第二滑块、第三步进电机和第二电磁锁;所述收集箱放置于所述第一支撑板的限位槽内;所述固定板固定于所述第一支撑板上;所述第一滚珠丝杠通过所述第一固定座固定于所述固定板上;所述第一固定座共两个,分别固定于所述固定板两端;所述第一滑块安装于所述第一滚珠丝杠上;所述第一舵机安装在所述第一滑块上;所述第一电磁锁与所述第一舵机的输出轴相连;所述第一临时收集盒和所述第二临时收集盒均可以被所述第一电磁锁或所述第二电磁锁吸附和解除吸附,所述第二步进电机通过联轴器与所述第一滚珠丝杠相连,并驱动所述第一滑块在所述第一滚珠丝杠上往复运动,所述第二步进电机固定于所述固定板上;所述第二滚珠丝杠通过所述第二固定座固定于所述第二支撑板上;所述第二固定座共两个,分别安装于所述第二滚珠丝杠两端;所述第二滑块安装于所述第二滚珠丝杠上;所述第二电磁锁安装于所述第二滑块上;所述第三步进电机通过联轴器与所述第二滚珠丝杠的一端相连;并驱动所述第二滚珠丝杠转动,从而带动所述第二滑块在所述第二滚珠丝杠上往复运动。
进一步,所述机械手包括基座、第一伺服电机、第一关节、第二伺服电机、第二关节、第三伺服电机、第三关节、气缸、气缸伸缩杆和第二舵机;所述基座固定安装于所述第二支撑板的一侧;所述第一伺服电机竖直固定在所述基座内部的凹槽内;所述第一关节的下部与所述第一伺服电机的输出轴相连;所述第一伺服电机转动可以带动所述第一关节绕竖直轴转动,所述第二伺服电机为双轴输出电机;所述第二伺服电机的输出轴与所述第一关节固定连接在一起;所述第二伺服电机转动时带动所述第二关节运动,所述第三伺服电机主体固定安装于所述第三关节上;所述第三伺服电机的输出轴固定于所述第二关节上;所述第三关节上还固定了所述气缸;所述气缸的输出轴连接所述气缸伸缩杆;所述气缸伸缩杆的末端还固定安装了所述第二舵机;所述第二舵机的输出轴与所述采摘装置的连接板相连。
进一步,所述采摘装置包括连接板、采摘板、第一导向板、第二导向板、第一硅胶夹爪、第二硅胶夹爪、第一形状记忆合金丝、第二形状记忆合金丝、滑槽、剪具和第三舵机,所述连接板与所述采摘板相连,所述第一导向板、所述第二导向板、所述第一硅胶夹爪、所述第二硅胶夹爪、所述滑槽、所述剪具和所述第三舵机均设置在所述采摘板上,所述第一形状记忆合金丝共两组,分别设置在所述第一硅胶夹爪和所述第二硅胶夹爪内部的一侧的空心柱内,所述第二形状记忆合金丝共两组,分别设置在所述第一硅胶夹爪和所述第二硅胶夹爪内部的另一侧的空心柱内,所述第一硅胶夹爪和所述第二硅胶夹爪均设置有保护帽,以防止通电时漏电,所述滑槽设置在所述采摘板最外端,所述剪具设置在所述滑槽内并可在滑槽内围绕旋转轴进行一定角度的旋转,所述第三舵机输出轴与所述剪具的旋转轴连接并驱动所述剪具在所述滑槽内旋转一定的角度,目的是用于剪断蔬菜的果柄,所述采摘板内部是一个凹槽,所述第一导向板和所述第二导向板分居凹槽顶部两侧,并朝凹槽底部延伸,起到引导蔬菜或者果实向采摘板中部滑落的作用,降低了对图像识别算法位置识别精度的要求。
进一步,所述控制系统包括控制器、存储器、驱动器和外围电路;
所述传感器包括激光雷达、第一图像传感器、第二图像传感器、矩阵压力传感器、第一限位开关、第二限位开关、第三限位开关和第四限位开关,所述激光雷达设置于所述第一支撑板的前端,所述第一图像传感器设置于所述第二支撑板上,所述第二图像传感器设置于采摘装置里面的采摘板上,所述矩阵压力传感器设置于采摘装置里面的采摘板上的第一硅胶夹爪和第二硅胶夹爪之间,所述第一限位开关安装在传送收集装置的固定板上,所述第二限位开关、所述第三限位开关、所述第四限位开关均安装于所述第二支撑板上。
进一步,所述第一硅胶夹爪和第二硅胶夹爪之间设有防滑垫。
上述本发明实施例中的一个或多个技术方案具有如下优点:本发明的采摘机上增设了升降装置,能够控制采摘机的采摘高度,适用于不同高度的蔬菜采摘,实用性高;另外,本发明通过硅胶夹爪来夹取蔬菜,能够减少对蔬菜的损坏,保障采摘质量。
附图说明
图1为本发明的采摘机的等轴测结构示意图;
图2为本发明的采摘机的主视示意图;
图3为本发明的采摘机的侧视示意图;
图4为本发明的采摘机的局部示意图;
图5为本发明的采摘机的行走装置的等轴测示意图;
图6为本发明的采摘机的硅胶夹爪的示意图;
图7为本发明的采摘机的采摘装置的示意图;
图8为本发明的采摘机的控制方法流程图;
图9为本发明的机械臂数学模型图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本实施例以采摘秋葵为例,详细说明本发明的采摘机及其控制方法的具体内容:
其中,图1-图7中的附图标记含义如下:101代表第一支撑板 ;102代表第二支撑板;201代表控制器系统;301代表车轮;302代表承重轴;303代表连接块;304代表支撑块;305代表支撑柱;306代表减震弹簧;307代表轴承;308代表同步带;309代表齿轮轴;310代表减速齿轮; 311代表第一步进电机;401代表液压缸固定块;402代表液压缸;403代表液压缸伸缩杆;404代表升降板;501代表收集箱;502代表固定板;503代表第一滚珠丝杠;504代表第一固定座;505代表第一滑块;506代表第二步进电机;507代表第一舵机;508代表第一电磁锁;509代表第一临时收集盒;510代表第二临时收集盒;511代表第二滚珠丝杠;512代表第二固定座;513代表第二滑块;514代表第三步进电机;515代表第二电磁锁;601代表基座;602代表第一伺服电机;603代表第一关节;604代表第二伺服电机;605代表第二关节; 606代表第三伺服电机; 607代表第三关节;608代表小型气缸;609代表气缸伸缩杆;610代表第二舵机;701代表连接板;702代表采摘板;703代表第一导向板;704代表第二导向板;705代表第一硅胶夹爪;706代表第二硅胶夹爪; 707代表第一形状记忆合金丝;708代表第二形状记忆合金丝;709代表滑槽; 710代表剪具;711代表第三舵机;801代表激光雷达;802代表第一图像传感器; 803代表第二图像传感器;804代表矩阵压力传感器;805代表第一限位开关; 806代表第二限位开关;807代表第三限位开关;808代表第四限位开关。
具体的,参照图1至图7,本实施例的主体框架包括第一支撑板101和第二支撑板102,第一支撑板101固定设置在行走装置上面,第二支撑板102设置在升降装置的顶部;
控制系统201包括控制器、存储器、驱动器和外围电路,其中控制器主要用于控制行走装置运动,控制传送收集装置和机械手、采摘装置等正常运转和读取、分析各个传感器传递的信息,存储器主要用于存放图片数据、激光雷达801获取的数据和程序代码等,驱动器用于驱动各种电机、舵机和传感器;
优选地,控制器可以选用树莓派3代B+开发板;
传感器包括激光雷达801、第一图像传感器802、第二图像传感器803、矩阵压力传感器804、第一限位开关805、第二限位开关806、第三限位开关807和第四限位开关808,其中激光雷达801用于获取采摘机四周的环境、障碍物等的距离、移动速度等信息,进而为采摘机进行路径规划,第一图像传感器802用于获取秋葵图像信息,并交由控制系统201进行秋葵成熟度和位置信息提取和分析,第二图像传感器803用于获取秋葵果柄的位置并辅助判断秋葵果实是否已经被第一硅胶夹爪705和第二硅胶夹爪706夹取,矩阵压力传感器804用于判断秋葵果实是否已经处于采摘板702的中央部位,便于夹取操作,第一限位开关805安装于固定板502靠近收集箱501顶部的位置,用于限制第一滑块505的位置,以便第一临时收集盒509能够传送到收集箱501顶部处,第二限位开关806用于限制第一滑块505的位置,以便第一临时收集盒509能够刚好被传送到第二支撑板102的上表面,第三限位开关807和第四限位开关808用于限制第二支撑板102上停放的第一临时收集盒509或第二临时收集盒510的放置位置;
具体地,激光雷达801设置于第一支撑板101的前端,第一图像传感器802设置于第二支撑板102上,第二图像传感器803设置于采摘装置里面的采摘板702上,矩阵压力传感器804设置于采摘装置的采摘板702上的第一硅胶夹爪705和第二硅胶夹爪706之间,第一限位开关805安装在传送收集装置的固定板502上,第二限位开关806、第三限位开关807、第四限位开关808均安装于第二支撑板102上;
优选地,激光雷达801的参数可以选用采样频率每秒8000次,扫描角度360度,测量半径12米;第一图像传感器802可以选用工业级双目摄像头,第二图像传感器803可以选用普通小型摄像头;矩阵压力传感器804可以选用薄膜压力力敏传感器;
行走装置共四组,每组均包括车轮301、承重轴302、连接块303、支撑块304、支撑柱305、减震弹簧306、轴承307、同步带308、齿轮轴309、减速齿轮310和第一步进电机311,其中第一步进电机311用于驱动减速齿轮310转动,从而带动同步带308运动,最终使车轮301转动,轴承307用于减少承重轴302和车轮301之间的摩擦,以使车轮301在转动时承重轴302及承重轴302上的物体不跟着转动,减速齿轮310包括一个小齿轮和一个大齿轮,小齿轮和大齿轮相互咬合,小齿轮连接第一步进电机311的输出轴,大齿轮连接齿轮轴309,从而减小传动比,减慢同步带308的转动速度,减震弹簧306起到缓冲的作用;
具体地,轴承307设置于承重轴302上,车轮301安装在轴承307的外侧,连接块303共两块,分别设置在承重轴302两端并与承重轴302通过螺纹、螺栓连接,支撑柱305设有若干条,并设置在连接块303的上面且与第一支撑板101非固定连接,支撑块304设置在支撑柱305之间,减震弹簧306套设于支撑柱305上,同步带308连接车轮301和齿轮轴309,齿轮轴309连接减速齿轮310,减速齿轮310连接第一步进电机311,第一步进电机311固定于第一支撑板101下;
升降装置包括液压缸固定块401、液压缸402、液压缸伸缩杆403和升降板404,其中液压缸固定块401用于固定液压缸402,液压缸402用于推动液压伸缩杆403伸缩运动,升降板404随液压伸缩杆403的运动而上下移动;
具体地,液压缸固定块401固定于第一支撑板101上,液压缸402固定于液压缸固定块401上,液压缸伸缩杆403连接液压缸402的输出轴,升降板404固定在液压缸伸缩杆403末端,并与第二支撑板102连接;
传送收集装置包括收集箱501、固定板502、第一滚珠丝杠503、第一固定座504、第一滑块505、第二步进电机506、第一舵机507、第一电磁锁508、第一临时收集盒509、第二临时收集盒510、第二滚珠丝杠511、第二固定座512、第二滑块513、第三步进电机514和第二电磁锁515,其中收集箱501用于收集、存放采摘下来的秋葵果实,固定板502用于固定第一固定座504和第二步进电机506,第二步进电机506用于驱动第一滚珠丝杠503转动以带动第一滑块505做往复运动,第一滑块505用于安装固定并带动第一舵机507、第一电磁锁508和第一临时收集盒509在第一滚珠丝杠503上运动,第一舵机507用于驱动第一电磁锁508和第一临时收集盒509转动,以便第一临时收集盒509上收集的秋葵果实可以落入收集箱501中,第一电磁锁508和第二电磁锁515用于吸附和解吸附第一临时收集盒508或第二临时收集盒509,以便第一临时收集盒508或第二临时收集盒509能够从第一滑块505或第二滑块513上脱落和吸起,使得第一临时收集盒509和第二临时收集盒510能够被传动,第一电磁锁508或第二电磁锁515通电时具有强力吸附作用,能够吸附第一临时收集盒509或第二临时收集盒510,断电时失去吸附作用;
具体地,收集箱501放置于第一支撑板101的限位槽内,固定板502固定于第一支撑板101上,第一滚珠丝杠503通过第一固定座504固定于固定板502上,第一固定座504共两个,分别固定于固定板502两端,第一滑块505安装于第一滚珠丝杠503上,第一舵机507安装在第一滑块505上,第一电磁锁508与第一舵机507的输出轴相连,第一临时收集盒509和第二临时收集盒510均可以被第一电磁锁508或第二电磁锁515吸附和解除吸附,第二步进电机506通过联轴器与第一滚珠丝杠503相连,并驱动第一滑块505在第一滚珠丝杠503上往复运动,第二步进电机506固定于固定板502上,第二滚珠丝杠511通过第二固定座512固定于第二支撑板102上,第二固定座512共两个,分别安装于第二滚珠丝杠511两端,第二滑块513安装于第二滚珠丝杠511上,第二电磁锁515安装于第二滑块513上,第三步进电机514通过联轴器与第二滚珠丝杠511的一端相连,并驱动第二滚珠丝杠511转动,从而带动第二滑块513在第二滚珠丝杠511上往复运动;
优选地,第一临时收集盒509和第二临时收集盒510选用可以被强磁吸附的合金材料;
机械手包括基座601、第一伺服电机602、第一关节603、第二伺服电机604、第二关节605、第三伺服电机606、第三关节607、小型气缸608、气缸伸缩杆609和第二舵机610;
具体地,基座601固定安装于第二支撑板102的一侧,第一伺服电机602竖直固定在基座601内部的凹槽内,第一关节603的下部与第一伺服电机602的输出轴相连,第一伺服电机602转动可以带动第一关节603绕竖直轴转动,第二伺服电机604是双轴输出电机,第二伺服电机604的输出轴与第一关节603固定连接在一起,第二伺服电机604转动时带动第二关节605运动,第三伺服电机606主体固定安装于第三关节607上,第三伺服电机606的输出轴固定于第二关节605上,第三关节607上还固定了小型气缸608,小型气缸608的输出轴连接气缸伸缩杆609,气缸伸缩杆609的末端还固定安装了第二舵机610,第二舵机610的输出轴与采摘装置的连接板701相连;
采摘装置包括连接板701、采摘板702、第一导向板703、第二导向板704、第一硅胶夹爪705、第二硅胶夹爪706、第一形状记忆合金丝707、第二形状记忆合金丝708、滑槽709、剪具710和第三舵机711,其中连接板701用于与机械手连接,采摘板702用于安装、固定采摘装置上的其它组件,第一导向板703和第二导向板704用于引导秋葵果实滑向采摘板702中部,以便更好地夹取,第一硅胶夹爪705和第二硅胶夹爪706配合以实现秋葵的柔性夹取,第一形状记忆合金丝707和第二形状记忆合金丝708通电时收缩至压缩状态,断电冷却时伸长恢复至拉伸状态,具有形状记忆的功能,在夹取秋葵前第一硅胶夹爪705和第二硅胶夹爪706里面的第一形状记忆合金丝707均通电收缩,第二形状记忆合金丝708均不通电,从而使第一硅胶夹爪705和第二硅胶夹爪706分别向两边的采摘板702壁面两侧弯曲,最终使得第一硅胶夹爪705和第二硅胶夹爪706呈“张开”状,以便让秋葵果实进入两个夹爪之间的部位,进行夹取时,第一硅胶夹爪705和第二硅胶夹爪706中的第二形状记忆合金丝708均通电收缩,第一形状记忆合金丝707均不通电,从而使第一硅胶夹爪705和第二硅胶夹爪706均朝采摘板702中部弯曲,呈“闭合”状,以夹住秋葵果实,最大限度地保护了秋葵果实;
具体地,连接板701与采摘板702相连,第一导向板703、第二导向板704、第一硅胶夹爪705、第二硅胶夹爪706、滑槽709、剪具710和第三舵机711均设置在采摘板702上,第一形状记忆合金丝707共两组,分别设置在第一硅胶夹爪705和第二硅胶夹爪706内部的一侧的空心柱内,第二形状记忆合金丝708共两组,分别设置在第一硅胶夹爪705和第二硅胶夹爪706内部的另一侧的空心柱内,第一硅胶夹爪705和第二硅胶夹爪706均设置有保护帽,以防止通电时漏电,滑槽709设置在采摘板702最外端,剪具710设置在滑槽709内并可在滑槽709内围绕旋转轴进行一定角度的旋转,第三舵机711输出轴与剪具710的旋转轴连接并驱动剪具710在滑槽709内旋转一定的角度,目的是用于剪断秋葵的果柄,采摘板702内部是一个凹槽,第一导向板703和第二导向板704分居凹槽顶部两侧,并朝凹槽底部延伸,起到引导秋葵果实向采摘板中部滑落的作用,降低了对图像识别算法位置识别精度的要求;
优选地,第一硅胶夹爪705和第二硅胶夹爪706由柔性硅胶材料制成,且为了防止秋葵果实滑落,还可以在两个硅胶夹爪内侧夹取位置设置防滑垫。
以下结合附图8详细说明一种基于图像识别的秋葵采摘机的工作流程:
首先,工作人员将本方案采摘机放置于起始位置,通电后,进行设备初始化。
然后,位于采摘机前端的激光雷达801开始扫描环境并交由控制系统201进行路径规划,路径规划完毕后,采摘机通过行走装置行进至第一个采摘位点,此时第一图像传感器802获取秋葵图像并交给控制系统201处理,控制系统201使用图像识别算法获得秋葵的位置坐标信息并存储于存储器中,然后进行图像分割,保证每张图像只包含一个秋葵果实图像,再调用预先用本方案提供的步骤得到的机器学习秋葵成熟度分类模型,判断分割图像中秋葵果实是否已成熟,如果未成熟则舍弃并调用分类模型进行下一张图像的判断,如果判断为已成熟,则调节升降装置和机械手使采摘装置中的采摘板702到达当前识别的图像中的秋葵果实的位置,再调用第二图像传感器803识别秋葵果柄位置,微调采摘板702的位置,微调完成后,读取矩阵压力传感器804的压力分布值,判断秋葵果实处于采摘板702的位置,位置合适后,由控制系统201发出命令,调用由第一形状记忆合金丝707和第二形状记忆合金丝708驱动的第一硅胶夹爪705和第二硅胶夹爪706配合完成夹取秋葵果实的任务,具体驱动过程如下:
第一形状记忆合金丝707和第二形状记忆合金丝708通电时收缩至压缩状态,断电冷却时伸长恢复至拉伸状态,具有形状记忆的功能,在夹取秋葵前第一硅胶夹爪705和第二硅胶夹爪706里面的第一形状记忆合金丝707均通电收缩,第二形状记忆合金丝708均不通电,从而使第一硅胶夹爪705和第二硅胶夹爪706分别向两边的采摘板702壁面两侧弯曲,最终使得第一硅胶夹爪705和第二硅胶夹爪706呈“张开”状,以便让秋葵果实进入两个夹爪之间的部位,进行夹取时,第一硅胶夹爪705和第二硅胶夹爪706中的第二形状记忆合金丝708均通电收缩,第一形状记忆合金丝707均不通电,从而使第一硅胶夹爪705和第二硅胶夹爪706均朝采摘板702中部弯曲,呈“闭合”状,以夹住秋葵果实;
夹取操作完成后,调用第二图像传感器803和矩阵压力传感器804分析夹取的结果,如果夹取不成功,则重新微调采摘板702位置进行再次夹取,如果夹取成功,则调用剪具710对果柄进行剪断,再由机械手带动采摘装置把夹取的秋葵放置到第二支撑板102上的第二临时收集盒510中,待第二临时收集盒510装到一定数量后,调用第三步进电机514驱动第二滑块513到第二临时收集盒510处,对第二电磁锁515通电以吸附第二临时收集盒510并将其传送到第四限位开关808处解除吸附,再通过同样的方式把第一临时收集盒509传送到第二支撑板102上并放置到第三限位开关807处,之后利用第一电磁锁508把第二临时收集盒510吸附并传送到收集箱501处,通过第一舵机507将第二临时收集盒510中的秋葵果实放入收集箱501中,后续传送流程以此类推。
最后根据路径规划和图像识别结果判断是否全部采摘完毕,如果没有采摘完毕则继续以上采摘步骤,如果已经全部采摘完毕则结束。
具体地,控制机械臂到达秋葵果实所在位置,需要通过图像识别算法获取秋葵果实在如附图9所示的世界坐标系中的坐标(x0,y0,z0),再通过机械臂各个关节的转动使机械臂的末端D(x,y,z)趋近于(x0,y0,z0)从而实现秋葵果实的抓取。
本实施例提供以下计算机械臂各个关节旋转参数与机械臂末端D坐标(x,y,z)关系的具体过程:
如附图9所示,为方便计算,将本方案的机械臂抽象、简化为折线段OABCD,具体来说,基座601和第一关节603抽象为线段OA,第二关节605抽象为线段AB,第三关节607、小型气缸608、气缸伸缩杆609和连接板701抽象为线段BC,采摘装置抽象为线段CD,其中点D表示采摘板702凹槽中央位置。
下面依据附图9对机械臂进行运动学正解分析,即计算第一伺服电机602、第二伺服电机604、第三伺服电机606和第二舵机610的旋转参数
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
与机械臂末端点D的世界坐标(x,y,z)的映射关系。
考虑到实际采摘工作中第二舵机旋转的幅度θ4很小而且线段CD的长度也比较小,故在计算时忽略第二舵机的旋转,即
Figure DEST_PATH_IMAGE006
=0。
设线段OA、AB、BC、CD的长度分别为l 1l 2l 3l 4;以OA方向为z轴正方向建立空间直角坐标系O-xyz。设A(0,0, l 1)、C(x1,y1,z1)和D(x,y,z),连接AC,作AE平行于x轴并交CE于E,延长CE到C’,使EC’=AO,作C’F垂直于y轴,垂足为F,作C’G垂直于x轴,垂足为G,连接OC’,作DD’平行于CC’并交OC’于D’。
设∠GOC’=θ1(0<
Figure DEST_PATH_IMAGE008
<2π),∠OAB=θ2(0<
Figure DEST_PATH_IMAGE010
<π),∠ABC=θ3(0<
Figure DEST_PATH_IMAGE012
<π),∠BCD=π/2。
由于不论第一伺服电机602旋转参数θ1为何值,点A、B、C均在同一个平面上,因此线段AB、线段BC等效于线段AC。在△ABC中,根据余弦定理可得:
Figure DEST_PATH_IMAGE014
(1)
Figure DEST_PATH_IMAGE016
(2)
由几何关系得
Figure DEST_PATH_IMAGE018
(3)
Figure DEST_PATH_IMAGE020
(4)
Figure DEST_PATH_IMAGE022
(5)
Figure DEST_PATH_IMAGE024
(6)
Figure DEST_PATH_IMAGE026
(7)
Figure DEST_PATH_IMAGE028
(8)
综合(1)~(8)式和上述假设可得到点C的坐标为
Figure DEST_PATH_IMAGE030
(9)
Figure DEST_PATH_IMAGE032
(10)
Figure DEST_PATH_IMAGE034
(11)
由几何关系得
Figure DEST_PATH_IMAGE036
(12)
Figure DEST_PATH_IMAGE038
(13)
Figure DEST_PATH_IMAGE040
(14)
联合(12)~(14)式可得
Figure DEST_PATH_IMAGE042
(15)
由几何关系得
Figure DEST_PATH_IMAGE044
(16)
易得
Figure DEST_PATH_IMAGE046
(17)
Figure DEST_PATH_IMAGE048
(18)
Figure DEST_PATH_IMAGE050
(19)
因此
Figure DEST_PATH_IMAGE052
(20)
Figure DEST_PATH_IMAGE054
(21)
Figure DEST_PATH_IMAGE056
(22)
上述计算过程最终计算得到第一伺服电机602、第二伺服电机604、第三伺服电机606和第二舵机610的旋转参数
Figure DEST_PATH_IMAGE008A
Figure DEST_PATH_IMAGE010A
Figure DEST_PATH_IMAGE012A
Figure DEST_PATH_IMAGE006A
与机械臂末端点D的世界坐标(x,y,z)的映射关系,进而实现对机械臂的运动控制。
本实施例的基于图像识别的秋葵采摘机,包括主体框架、控制系统、传感器、行走装置、升降装置、传送收集装置、机械手和采摘装置,传感器、行走装置、升降装置、传送收集装置、机械手和采摘装置均与控制系统电连接,采摘装置内的第一硅胶夹爪和第二硅胶夹爪是由第一形状记忆合金丝和第二形状记忆合金丝驱动的柔性夹爪,能够最大限度的保护秋葵果实,提高采摘质量,降低采摘工人的劳动强度;升降装置和机械手能够调节采摘装置的位置和高度,使得采摘机能够适应不同高度和位置的秋葵的采摘。
综上所述,本发明的采摘装置夹爪的材料是柔性材料,并且通过形状记忆合金进行驱动,最大限度地保护蔬菜,例如秋葵,避免了传统刚性夹爪对夹取对象的破坏;升降装置和机械臂的灵活调度可以使采摘机适应在不同高度的蔬菜的采摘。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
应当理解的是,本发明中采用术语“第一”、“第二”等来描述各种信息,但这些信息不应限于这些术语,这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,“第一”信息也可以被称为“第二”信息,类似的,“第二”信息也可以被称为“第一”信息。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种基于图像识别的采摘机,其特征在于:包括主体框架、控制系统、传感器、行走装置、升降装置、传送收集装置、机械手和采摘装置;
所述主体框架包括第一支撑板和第二支撑板,所述第一支撑板固定设置在所述行走装置上面,所述第二支撑板设置在所述升降装置的顶部;
所述传感器包括图像传感器;
所述采摘装置包括硅胶夹爪、连接板、采摘板、第一导向板、第二导向板、第一形状记忆合金丝、第二形状记忆合金丝、滑槽、剪具和第三舵机,所述硅胶夹爪包括第一硅胶夹爪、第二硅胶夹爪,所述连接板与所述采摘板相连,所述第一导向板、所述第二导向板、所述第一硅胶夹爪、所述第二硅胶夹爪、所述滑槽、所述剪具和所述第三舵机均设置在所述采摘板上,所述第一形状记忆合金丝共两组,分别设置在所述第一硅胶夹爪和所述第二硅胶夹爪内部的一侧的空心柱内,所述第二形状记忆合金丝共两组,分别设置在所述第一硅胶夹爪和所述第二硅胶夹爪内部的另一侧的空心柱内,所述第一硅胶夹爪和所述第二硅胶夹爪均设置有保护帽,所述滑槽设置在所述采摘板最外端,所述剪具设置在所述滑槽内,所述第三舵机输出轴与所述剪具的旋转轴连接,所述采摘板内部是一个凹槽,所述第一导向板和所述第二导向板分居凹槽顶部两侧,并朝凹槽底部延伸;
所述传感器、行走装置、升降装置、传送收集装置、机械手和采摘装置均与所述控制系统连接。
2.根据权利要求1所述的一种基于图像识别的采摘机,其特征在于:所述行走装置为一组或多组,其中每组行走装置均包括车轮、承重轴、连接块、支撑块、支撑柱、减震弹簧、轴承、同步带、齿轮轴、减速齿轮和第一步进电机;所述轴承设置于所述承重轴上;所述车轮安装在所述轴承的外侧;所述连接块共两块,分别设置在所述承重轴两端,所述连接块均通过螺纹和螺栓连接至承重轴,所述支撑柱设有若干条,并设置在所述连接块的上面且与所述第一支撑板非固定连接,所述支撑块设置在所述支撑柱之间,所述减震弹簧套设于所述支撑柱上,所述同步带连接所述车轮和所述齿轮轴,所述齿轮轴连接所述减速齿轮,所述减速齿轮连接所述第一步进电机,所述第一步进电机固定于所述第一支撑板下。
3.根据权利要求1所述的一种基于图像识别的采摘机,其特征在于:所述升降装置包括液压缸固定块、液压缸、液压缸伸缩杆和升降板;所述液压缸固定块固定于所述第一支撑板上;所述液压缸固定于所述液压缸固定块上;所述液压缸伸缩杆连接所述液压缸的输出轴;所述升降板固定在所述液压缸伸缩杆末端,并与所述第二支撑板连接。
4.根据权利要求1所述的一种基于图像识别的采摘机,其特征在于:所述传送收集装置包括收集箱、固定板、第一滚珠丝杠、第一固定座、第一滑块、第二步进电机、第一舵机、第一电磁锁、第一临时收集盒、第二临时收集盒、第二滚珠丝杠、第二固定座、第二滑块、第三步进电机和第二电磁锁;所述收集箱放置于所述第一支撑板的限位槽内;所述固定板固定于所述第一支撑板上;所述第一滚珠丝杠通过所述第一固定座固定于所述固定板上;所述第一固定座共两个,分别固定于所述固定板两端;所述第一滑块安装于所述第一滚珠丝杠上;所述第一舵机安装在所述第一滑块上;所述第一电磁锁与所述第一舵机的输出轴相连;所述第二步进电机通过联轴器与所述第一滚珠丝杠相连,所述第二步进电机固定于所述固定板上;所述第二滚珠丝杠通过所述第二固定座固定于所述第二支撑板上;所述第二固定座共两个,分别安装于所述第二滚珠丝杠两端;所述第二滑块安装于所述第二滚珠丝杠上;所述第二电磁锁安装于所述第二滑块上;所述第三步进电机通过联轴器与所述第二滚珠丝杠的一端相连。
5.根据权利要求1所述的一种基于图像识别的采摘机,其特征在于:所述机械手包括基座、第一伺服电机、第一关节、第二伺服电机、第二关节、第三伺服电机、第三关节、气缸、气缸伸缩杆和第二舵机;所述基座固定安装于所述第二支撑板的一侧;所述第一伺服电机竖直固定在所述基座内部的凹槽内;所述第一关节的下部与所述第一伺服电机的输出轴相连;所述第二伺服电机为双轴输出电机;所述第二伺服电机的输出轴与所述第一关节固定连接在一起;所述第三伺服电机主体固定安装于所述第三关节上;所述第三伺服电机的输出轴固定于所述第二关节上;所述第三关节上还固定了所述气缸;所述气缸的输出轴连接所述气缸伸缩杆;所述气缸伸缩杆的末端还固定安装了所述第二舵机;所述第二舵机的输出轴与所述采摘装置的连接板相连。
6.根据权利要求1所述的一种基于图像识别的采摘机,其特征在于:
所述控制系统包括控制器、存储器、驱动器和外围电路;
所述传感器包括激光雷达、第一图像传感器、第二图像传感器、矩阵压力传感器、第一限位开关、第二限位开关、第三限位开关和第四限位开关,所述激光雷达设置于所述第一支撑板的前端,所述第一图像传感器设置于所述第二支撑板上,所述第二图像传感器设置于采摘装置里面的采摘板上,所述矩阵压力传感器设置于采摘装置里面的采摘板上的第一硅胶夹爪和第二硅胶夹爪之间,所述第一限位开关安装在传送收集装置的固定板上,所述第二限位开关、所述第三限位开关、所述第四限位开关均安装于所述第二支撑板上。
7.根据权利要求1所述的一种基于图像识别的采摘机,其特征在于:所述第一硅胶夹爪和第二硅胶夹爪之间设有防滑垫。
CN201911016394.9A 2019-10-24 2019-10-24 一种基于图像识别的采摘机 Active CN110832991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911016394.9A CN110832991B (zh) 2019-10-24 2019-10-24 一种基于图像识别的采摘机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911016394.9A CN110832991B (zh) 2019-10-24 2019-10-24 一种基于图像识别的采摘机

Publications (2)

Publication Number Publication Date
CN110832991A CN110832991A (zh) 2020-02-25
CN110832991B true CN110832991B (zh) 2021-07-13

Family

ID=69575498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911016394.9A Active CN110832991B (zh) 2019-10-24 2019-10-24 一种基于图像识别的采摘机

Country Status (1)

Country Link
CN (1) CN110832991B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111328554B (zh) * 2020-03-30 2021-05-25 皖西学院 一种草莓自动采摘机器人
FR3110812B1 (fr) * 2020-06-02 2023-01-06 Exel Ind Procédé automatisé de sélection et de récolte de fruits et équipement mécanique mettant en œuvre le procédé
JP7229976B2 (ja) * 2020-09-14 2023-02-28 ヤマハ発動機株式会社 移動式収穫装置、及び収穫ユニット
CN114342659B (zh) * 2020-10-13 2023-01-24 北京中农绿源智慧农业有限公司 一种基于图像识别的果蔬采摘装置
CN112243698B (zh) 2020-10-22 2021-08-13 安徽农业大学 一种基于多传感器融合技术的核桃自动化采摘及收集方法
CN112640664A (zh) * 2020-12-30 2021-04-13 新疆农业大学 一种基于视觉控制的红花拉拔采收试验台
CN113348871B (zh) * 2021-04-13 2023-05-02 陕西顶端果业科技有限公司 可升降式旋转摘锭平台
CN113519272B (zh) * 2021-08-17 2022-05-24 华南农业大学 基于视觉识别的仿生蜈蚣爪结构小果实采摘机器人
CN114830915B (zh) * 2022-04-13 2023-09-26 华南农业大学 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法
CN115211312A (zh) * 2022-06-27 2022-10-21 中国农业科学院都市农业研究所 一种用于集装箱式农场种植的综合管控系统
CN115250748A (zh) * 2022-08-12 2022-11-01 陈军明 一种自动采摘车

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801488A (zh) * 2017-09-29 2018-03-16 浙江理工大学 一种水果采摘器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2709229B1 (fr) * 1993-08-23 1995-10-13 Kellner Francois Ustensile de cueillette de fruits et légumes.
ES2141025B1 (es) * 1994-09-27 2001-02-16 Barber Manuel Cusine "maquina para desprender y recoger frutos arboles.
CN102577754B (zh) * 2012-03-02 2014-07-16 绍兴文理学院 自动香榧采摘机
CN203736123U (zh) * 2014-02-26 2014-07-30 科沃斯机器人科技(苏州)有限公司 自移动装置
CN108064553A (zh) * 2016-11-11 2018-05-25 衣隽玮 一种多功能高处林果收割装置
CN109769479B (zh) * 2019-03-25 2021-06-04 河南工学院 一种防止水果损坏的智能采摘机器人
CN110268861B (zh) * 2019-07-31 2023-12-19 吕梁学院 一种花椒采集设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801488A (zh) * 2017-09-29 2018-03-16 浙江理工大学 一种水果采摘器

Also Published As

Publication number Publication date
CN110832991A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110832991B (zh) 一种基于图像识别的采摘机
CN106363618A (zh) 一种采摘机械手
CN106335042B (zh) 一种携带托举式机械手的仓储拣货机器人及其使用方法
CN103029132B (zh) 一种用于球状果实自动采摘器的末端执行机构及采摘方法
CN109792888B (zh) 双臂苹果采摘梯形分级收集机器人及其采摘分级作业方法
CN208708184U (zh) 自动分拣苹果采摘机器人
CN106514690A (zh) 一种机器人端拾器
CN110192472B (zh) 双臂苹果采摘圆形分级收集机器人
CN103749094A (zh) 一种猕猴桃果实采摘机器人及采摘方法
CN109496563A (zh) 一种水果采摘机器人
CN106313014B (zh) 一种携带卡紧式机械手的仓储拣货机器人及其使用方法
CN103252790A (zh) 西瓜采摘机械手的控制系统
CN106112977A (zh) 一种曲面类工件柔顺打磨串并联型机器人工艺平台
CN206536499U (zh) 一种机器人手抓
CN109845491B (zh) 利用双臂苹果采摘圆形分级收集机器人的采摘分级方法
CN205734904U (zh) 一种箱体抓取机械手
CN112567976A (zh) 一种可旋转式多自由度果蔬采摘收集装置
CN109392460A (zh) 全自动龙门式草莓采摘机及其采摘方法
CN106476044A (zh) 一种用于快递包裹分拣的机械臂
CN112428268A (zh) 基于机器视觉的车载机械臂式水果拾取装箱系统及方法
CN107378987A (zh) 一种可调节自由度的六连杆机械臂装置
CN111247963A (zh) 一种香蕉智能采收系统
CN113119139A (zh) 基于六自由度机械臂的果蔬采摘机
CN111201895A (zh) 一种采摘机器人
CN111328554B (zh) 一种草莓自动采摘机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant