CN110063157B - 一种矮化密植枣树修剪、环割机器人 - Google Patents

一种矮化密植枣树修剪、环割机器人 Download PDF

Info

Publication number
CN110063157B
CN110063157B CN201910362313.4A CN201910362313A CN110063157B CN 110063157 B CN110063157 B CN 110063157B CN 201910362313 A CN201910362313 A CN 201910362313A CN 110063157 B CN110063157 B CN 110063157B
Authority
CN
China
Prior art keywords
jujube
pruning
frame
jujube tree
girdling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910362313.4A
Other languages
English (en)
Other versions
CN110063157A (zh
Inventor
蒋焕煜
马保建
王栋
陈词
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910362313.4A priority Critical patent/CN110063157B/zh
Publication of CN110063157A publication Critical patent/CN110063157A/zh
Application granted granted Critical
Publication of CN110063157B publication Critical patent/CN110063157B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G3/00Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G3/00Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
    • A01G3/08Other tools for pruning, branching or delimbing standing trees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种矮化密植枣树修剪、环割机器人平台,包括移动车架系统、修剪系统、环割系统;移动车架系统包括门型车架、辊筒、六自由度机械臂、第一圆盘锯、工控机、激光雷达等;修剪系统包括支撑杆、第二圆盘锯、支撑架、第一气压缸;环割系统包括由第一外圆轨道、第二外圆轨道一端铰接形成的完整圆形轨道、第二气压缸、第一连杆、第二连杆和第三连杆等,本发明通过对矮化密植枣树树冠骨架三维信息的获取,结合自动化修剪的人工智能系统,准确定位枣树树冠骨架剪枝点和环割的位置,实现矮化密植枣树树冠自动化修剪、环割作业,可提高枣树树冠修剪、环割质量以及人工的劳动效率,降低用工成本和修剪、环割时的劳动强度。

Description

一种矮化密植枣树修剪、环割机器人
技术领域
本发明属于智能机器人领域,涉及一种矮化密植枣树修剪、环割机器人,特别是涉及一种基于ROS系统的矮化密植枣树修剪、环割机器人。
背景技术
红枣是我国广泛种植的特色林果,而枣树的春季修剪是一项非常繁重的工作,通过对枣树二次枝数量和长度的控制,促使养分集中到挂果的枝干部位,在枣树挂果前期,需要对枣树距地面30cm左右处对主干进行环割,以切断在枣树挂果期间营养向下输送,保证营养主要留给枣树的花蕾,提高枣树的坐果率。然而,目前枣树春季修剪以及枣树挂果前期的环割主要还是依靠人工进行,劳动强度大,修剪、环割作业效率低,且有修剪、环割技能的人十分短缺,导致用工成本很高,为提高枣树树冠修剪、环割质量,降低用工成本和修剪、环割时的劳动强度,开发一套基于ROS系统的矮化密植枣树修剪、环割机器人是非常有价值的。ROS(Robot Operating System)系统是一个编写机器人软件的优秀和灵活的框架,包括了程序之间的话题消息的传递、驱动程序的管理、硬件功能的抽象描述等,并且集成了大量的通信协议和开源库,可以极大缩短矮化密植枣树修剪、环割机器人系统平台的开发周期。
发明内容
针对现有技术中存在的上述问题,本发明提供一种矮化密植枣树修剪、环割机器人,基于一种三维重建与机器人技术结合的方法,实现矮化密植枣树自动化修剪、环割的目的。
本发明采用的技术方案如下:
本发明的一种矮化密植枣树修剪、环割机器人,包括移动车架系统、修剪系统、环割系统;
移动车架系统包括门型车架及均安装于门型车架上的辊筒、六自由度机械臂、第一圆盘锯、工控机、激光雷达;辊筒一端通过连接轴与门型车架相连接,在辊筒上连接有若干拨杆,连接轴由电机驱动可带动辊筒转动;六自由度机械臂一端与门型车架连接,另一端安装有RGB-D深度相机,工控机用于控制激光雷达、六自由度机械臂及RGB-D深度相机;
修剪系统安装于六自由度机械臂上,包括支撑杆、第二圆盘锯、支撑架、第一气压缸;第一气压缸与六自由度机械臂相连,支撑杆与第一气压缸相连接;支撑架一端与第一气压缸可伸缩端相连,另一端与第二圆盘锯转动相连;
环割系统通过支撑轴安装于六自由度机械臂上,包括由第一外圆轨道、第二外圆轨道一端铰接形成的完整圆形轨道、第二气压缸、第一连杆、第二连杆和第三连杆,在第一外圆轨道、第二外圆轨道内圈均设有齿轮,形成完整的圆形内齿轮,第三连杆一端与第二电机连接,另一端与第一外圆轨道连接,第二电机固连在支撑轴上,支撑轴末端与第二外圆轨道固连,圆形轨道上安装有滑块,第二气压缸与滑块固连,在第二气压缸上安装有第一电机和齿轮,齿轮由第一电机驱动并与内齿轮啮合,在第二气压缸可伸缩端安装有两根推杆,两推杆分别与第一连杆、第二连杆铰连,第一连杆与第二连杆铰接形成剪刀状,在第一连杆末端固定有压力传感器,在第二连杆末端安装有环割刀片。
上述技术方案中,进一步的,在门型车架上还安装有太阳能板和蓄电池,此外门型车架上还设有LED灯为RGB-D深度相机提供光源环境,太阳能板与蓄电池相连,蓄电池给LED灯供电;门型车架底部还设置有车轮。
进一步的,所述的工控机内部安装有Ubuntu16.04操作系统,在其操作系统上装有Kinetic版本的ROS系统。
更进一步的,所述的RGB-D深度相机,采用KinectV2相机,其对枣树进行三维重建的方法如下:
1)RGB-D深度相机正面采集枣树的第一帧信息,包括枣树的彩色图,枣树的深度图像,枣树的点云图像;
2)RGB-D深度相机旋转45度再采集枣树的第二帧信息,也包括枣树的彩色图像,枣树的深度图像,枣树的点云图像;
3)通过调用Kinetic版本ROS系统内部的Opencv3.1库中的ORB算法对枣树的两帧彩色图进行暴力匹配,得到两帧彩色图像的特征点匹配;
4)通过得到的匹配特征点,根据第一帧枣树的深度图像和第二帧彩色图像,由Opencv3.1库中的函数SolvePnP计算出KinectV2相机旋转45度后的旋转向量R和平移向量t即相机位姿;
5)根据第二帧枣树的点云图像,通过RGB-D深度相机旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下,然后对两帧的点云图进行合成,最终得到枣树的三维重建。
更进一步的,该机器人基于pytorch深度学习框架,搭建CNN神经网络用于识别枣树剪枝点,具体方法为:
1)通过FPN+ResNet提取枣树的特征图,再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测,最后对每个候选框进行识别与坐标回归;
2)用RGB-D深度相机采集枣树不同视角、不同尺度的数百张照片,并进行人工标注,框选出每个图片中枣树的剪枝点;所述的人工标注具体为:设图片中枣树的二次枝直径为D,当枣树的二次枝直径在8mm<D≤10mm范围内,需保留七到八个挂果点,若挂果点多于八个则框选出第九个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝直径在5mm<D≤8mm范围内,需保留五到六个挂果点,若挂果点多于六个则框选出第七个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝的直径在3mm≤D≤5mm范围内,需保留四到五个挂果点,若挂果点多于五个则框选出第六个挂果点为剪枝点,否则不框选;当图片中枣树的二次枝的直径在0mm≤D<3mm范围内,无需保留挂果点,框选二次枝与主杆的连接处作为剪枝点位置;
3)将标注后的数据输入Faster R-CNN,进行多批次训练,得到训练后的网络模型;
4)将待识别的枣树图片输入训练后的网络模型进行检测,确定枣树的剪枝点位置。
本发明的有益效果:
本发明通过对矮化密植枣树树冠骨架三维信息的获取,结合自动化修剪的人工智能系统,准确定位枣树树冠骨架剪枝点和环割的位置,实现矮化密植枣树树冠自动化修剪、环割作业,提高枣树树冠修剪、环割质量以及人工的劳动效率,降低用工成本和修剪、环割时的劳动强度。
附图说明
图1是本发明的枣树修剪、环割机器人整体结构示意图;
图2是本发明的枣树修剪系统的结构示意图;
图3是本发明的枣树环割系统结构示意图;
图4是本发明的枣树环割系统末端结构示意图;
图5是本发明的枣吊清除机构结构图;
图6是本发明的第一连杆的结构图;
图7是本发明的第二连杆的结构图;
图8是本发明的环割刀片的结构图;
图9是本发明的环割过程示意图;
图10是本发明的第一外圆轨道和第二外圆轨道连接示意图;
图11是本发明的枣树修剪、环割机器人的总体控制架构图;
图12是本实例的六自由度机械臂的控制流程图;
图13是本发明的枣树修剪、环割作业流程图;
图中:1-车轮、2-门型车架、3-拨杆、4-辊筒、5-连接轴、6-六自由度UR3机械臂、7-LED灯、8-太阳能板、9-工控机、10-激光雷达、11-RGB-D深度相机、12-气压泵、13-蓄电池、14-第一圆盘锯、15-移动车架系统、16-第一外圆轨道、17-第二外圆轨道、18-内齿轮、19-滑块、20-第一电机、21-第二气压缸、22-推杆、23-第一连杆、24-连接孔(1)、25-支撑轴、26-第二连杆、27-环割刀片、28-压力传感器、29-连接孔(2)、30-第三连杆、31-第二电机、32-环割系统、33-支撑杆、34-第二圆盘锯、35-支撑架、36-第一气压缸、37-修剪系统、38-齿轮。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明:
参阅图1、图2、图3、图4、图5、图6、图7、图8、图9、图10,为实现本发明的一种具体实施例,仅为对本发明具体实现方式的说明解释,并非对本发明技术方案的限定。
一种基于ROS系统的矮化密植枣树修剪、环割机器人,包括移动车架系统15、修剪系统37、环割系统32;
移动车架系统15包括车轮1、门型车架2、拨杆3、辊筒4、连接轴5、六自由度UR3机械臂6、LED灯7、太阳能板8、工控机9、激光雷达10、RGB-D深度相机11、气压泵12、蓄电池13、第一圆盘锯14;拨杆3与辊筒4相连接,辊筒4一端通过连接轴5与门型车架2相连接,通过电机(图中未画出)带动连接轴5转动,使拨杆3与辊筒4敲打枣树,完成枣吊清除的目的;RGB-D深度相机11固定在六自由度UR3机械臂6上端,用于采集枣树的三维信息,六自由度UR3机械臂6通过底座与门型车架2相连接;第一圆盘锯14与门型车架2相连接,修剪枣树过长的二次树枝;太阳能板8与蓄电池13相连接,通过太阳光的照射,白天持续充电为系统提供电能,蓄电池13另一端与LED灯7相连接,保证了RGB-D深度相机11对枣树信息采集的光源环境;所述的工控机9内部安装有Ubuntu16.04操作系统,在其操作系统上装有Kinetic版本的ROS系统,其控制着激光雷达10、六自由度UR3机械臂6、RGB-D深度相机11。
修剪系统37包括支撑杆33、第二圆盘锯34、支撑架35、第一气压缸36;支撑杆33与第一气压缸36相连接,其为枣树树枝修剪提供支撑作用;支撑架35一端与第二圆盘锯34相转动连接,另一端则与第一气压缸36的可伸缩端相连接;当对枣树修剪时,第一气压缸36推动支撑架35上的第二圆盘锯34到达修剪位置,启动第二圆盘锯34完成对枣树的二次枝修剪作业。第二圆盘锯34在对枣树进行修剪时,支撑杆33对枣树树枝起支撑作用,实现有支撑切割。
环割系统32包括第一外圆轨道16、第二外圆轨道17、内齿轮18、滑块19、第一电机20、第二气压缸21、推杆22、第一连杆23、连接孔(1)24、支撑轴25、第二连杆26、环割刀片27、压力传感器28、连接孔(2)29、第三连杆30、第二电机31、齿轮38;所述的第一外圆轨道16与第二外圆轨道17通过连接孔(1)24铰接,在第一外圆轨道16、第二外圆轨道17内圈均设有齿轮,形成完整的圆形的内齿轮18,第三连杆30一端与第二电机31固定,另一端通过销轴与固定在第一外圆轨道16上的连接孔(2)29连接在一起,第二电机31驱动第三连杆30转动,第三连杆30带动第一外圆轨道16运动,第二电机31固连在支撑轴25上,支撑轴25末端与第二外圆轨道17固连。所述的滑块19安装于由第一外圆轨道16和第二外圆轨道17拼接成的圆形轨道内,且滑块19与第二气压缸21相连接;在第二气压缸21上安装有第一电机20和齿轮38,齿轮38由第一电机20驱动并与内齿轮18啮合,在第二气压缸21可伸缩端安装有两根推杆22,所述的两推杆22与分别与第一连杆23和第二连杆26相铰接;第一连杆23与第二连杆26铰接形成剪刀状,第一连杆23与压力传感器28相连接;第二连杆26与环割刀片27相连接;当对枣树进行环割时,六自由度UR3机械臂6带动环割系统32靠近枣树的主干,使得环割系统32距离地面30cm左右,此时第二电机31驱动第三连杆30转动40度,使第一外圆轨道16与第二外圆轨道17打开,让枣树到达第一外圆轨道16与第二外圆轨道17所形成封闭轨道的中心位置,第二电机31驱动第三连杆30转动负40度,使第一外圆轨道16与第二外圆轨道17合拢,同时第二气压缸21推动推杆22移动,推杆22推动第一连杆23上的压力传感器28和第二连杆26上的环割刀片27把枣树主干压紧到预设的压力值,此时,第一电机20驱动齿轮38在内齿轮18上做圆周运动,实现枣树自动环割的目的。
本实例中的RGB-D深度相机11可采用KinectV2相机,其对枣树三维重建的方法为:
1)RGB-D深度相机11正面采集枣树的第一帧信息,包括枣树的彩色图,枣树的深度图像,枣树的点云图像。
2)RGB-D深度相机11旋转45度再采集枣树的第二帧信息,也包括枣树的彩色图像,枣树的深度图像,枣树的点云图像。
3)通过调用Kinetic版本ROS系统内部的Opencv3.1库中的ORB算法对枣树的两帧彩色图进行暴力匹配,得到两帧彩色图像的特征点匹配。
4)通过得到的匹配特征点,根据第一帧枣树的深度图像和第二帧彩色图像,由Opencv3.1库中的函数SolvePnP计算出KinectV2相机旋转45度后的旋转向量R和平移向量t即相机位姿。
5)根据第二帧枣树的点云图像,通过RGB-D深度相机11旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下,然后对两帧的点云图进行合成,最终得到枣树的三维重建。
在对枣树进行三维重建后还需确定枣树的修剪位置,本实例采用基于pytorch深度学习框架,搭建用于枣树剪枝点识别的CNN神经网络,具体方法为:
1)通过FPN+ResNet提取枣树的特征图,再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测,最后对每个候选框进行识别与坐标回归。
2)用RGB-D深度相机11采集枣树不同视角、不同尺度的数百张照片,并进行人工标注,框选出每个图片中枣树的剪枝点。具体如下:设图片中枣树的二次枝直径为D,当枣树的二次枝直径在8mm<D≤10mm范围内,需保留七到八个挂果点,若挂果点多于八个则框选出第九个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝直径在5mm<D≤8mm范围内,需保留五到六个挂果点,若挂果点多于六个则框选出第七个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝的直径在3mm≤D≤5mm范围内,需保留四到五个挂果点,若挂果点多于五个则框选出第六个挂果点为剪枝点,否则不框选;当图片中枣树的二次枝的直径在0mm≤D<3mm范围内,无需保留挂果点,框选二次枝与主杆的连接处作为剪枝点位置。
3)将标注后的数据输入Faster R-CNN,进行多批次训练,得到训练后的网络模型。
4)将待识别的枣树图片输入训练后的网络模型进行检测,确定枣树的剪枝点位置。
上述过程中,六自由度机械臂6可通过ROS系统内部的MOVEIT功能包对其关节空间进行规划,避障规划以及剪枝点、环割点的位置确定。
激光雷达10可通过ROS系统内部的Gmapping功能包对其进行控制,以确定矮化密植枣树修剪、环割机器人的自主导航的路径。
本发明的机器人的具体工作过程如下:
1)枣树三维重建和剪枝点确定过程:
为获取枣树树冠骨架精确的三维模型,RGB-D深度相机11正面采集枣树的第一帧信息,包括枣树的彩色图,枣树的深度图像,枣树的点云图像,然后RGB-D深度相机11旋转45度再采集枣树的第二帧信息,也包括枣树的彩色图像,枣树的深度图像,枣树的点云图像,通过调用Kinetic版本ROS系统内部的Opencv3.1库中的ORB算法对枣树的两帧彩色图进行暴力匹配,得到两帧彩色图像的特征点匹配,通过得到的匹配特征点,根据第一帧枣树的深度图像和第二帧彩色图像,由Opencv3.1库中的函数SolvePnP计算出RGB-D深度相机11旋转45度后的旋转向量R和平移向量t即相机位姿,根据第二帧枣树的点云图像,通过RGB-D深度相机11旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下,然后对两帧的点云图进行合成,最终得到枣树的三维重建模型。
为确定枣树的修剪位置,基于pytorch深度学习框架搭建用于枣树剪枝点识别的CNN神经网络,具体方法为:1)通过FPN+ResNet提取枣树的特征图,再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测,最后对每个候选框进行识别与坐标回归;2)用RGB-D深度相机11采集枣树不同视角、不同尺度的数百张照片,并进行人工标注,框选出每个图片中枣树的剪枝点;3)将标注后的数据输入Faster R-CNN,进行多批次训练,得到训练后的网络模型;4)将待识别的图片输入训练后的网络模型检测,确定枣树的剪枝点位置。
2)矮化密植枣树修剪、环割机器人移动过程:
当枣树修剪、环割机器人将要移动时,激光雷达10向工控机9实时传送点云信息,工控机9内部的ROS系统调用其Gmapping功能包,处理这些点云信息,对枣树周围环境进行建图,并定位自己在地图中的位置,驱动移动车架系统15向前移动,在移动车架系统15向前移动时,电机(图中未画)驱动门型车架2上的左右两排第一圆盘锯14对枣树两侧的树枝进行粗修剪,减掉一些生长过长的枣树二次枝条,同时电机(图中未画)带动连接轴5转动,使拨杆3与辊筒4敲打枣树,并且拨杆3与辊筒4均采用尼龙棒,在敲打的过程中对枣树的损伤很小,通过枣树上的振动力的传递,使枣吊掉落,为后面六自由度UR3机械臂6的修剪做准备。
3)枣树修剪过程:
当对枣树修剪时,六自由度UR3机械臂6带动修剪系统37靠近枣树的修剪位置,第一气压缸36推动连接在支撑架35上的第二圆盘锯34向前运动到达修剪位置,在支撑杆33对枣树二次枝的支撑下,完成对枣树的二次枝修剪作业。
4)枣树环割过程:
当对枣树进行环割时,六自由度UR3机械臂6带动环割系统32靠近枣树的主干,使得环割系统32距离地面30cm左右,此时第二电机31驱动第三连杆30转动40度,使第一外圆轨道16与第二外圆轨道17打开,使枣树到达第一外圆轨道16与第二外圆轨道17所形成封闭轨道的中心位置,第二电机31驱动第三连杆30转动负40度,使第一外圆轨道16与第二外圆轨道17合拢,同时第二气压缸21推动推杆22移动,推杆22推动第一连杆23上的压力传感器28和第二连杆26上的环割刀片27把枣树主干压紧到预设的压力值,此时,第一电机20驱动齿轮38在内齿轮18上做圆周运动,实现枣树自动环割的目的。
上述实施例是对本发明的说明,不是对本发明的限定,任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (6)

1.一种矮化密植枣树修剪、环割机器人,其特征在于:包括移动车架系统(15)、修剪系统(37)、环割系统(32);
移动车架系统(15)包括门型车架(2)及均安装于门型车架上的辊筒(4)、六自由度机械臂(6)、第一圆盘锯(14)、工控机(9)、激光雷达(10);辊筒(4)一端通过连接轴(5)与门型车架(2)相连接,在辊筒(4)上连接有若干拨杆(3),连接轴(5)由电机驱动可带动辊筒(4)转动;六自由度机械臂(6)一端与门型车架(2)连接,另一端安装有RGB-D深度相机(11),工控机(9)用于控制激光雷达(10)、六自由度机械臂(6)及RGB-D深度相机(11);
修剪系统(37)安装于六自由度机械臂(6)上,包括支撑杆(33)、第二圆盘锯(34)、支撑架(35)、第一气压缸(36);第一气压缸(36)与六自由度机械臂(6)相连,支撑杆(33)与第一气压缸(36)相连接;支撑架(35)一端与第一气压缸(36)可伸缩端相连,另一端与第二圆盘锯(34)转动相连;
环割系统(32)通过支撑轴(25)安装于六自由度机械臂(6)上,包括由第一外圆轨道(16)、第二外圆轨道(17)一端铰接形成的完整圆形轨道、第二气压缸(21)、第一连杆(23)、第二连杆(26)和第三连杆(30),在第一外圆轨道(16)、第二外圆轨道(17)内圈均设有齿轮,形成完整的圆形内齿轮(18),第三连杆(30)一端与第二电机(31)连接,另一端与第一外圆轨道(16)连接,第二电机(31)固连在支撑轴(25)上,支撑轴(25)末端与第二外圆轨道(17)固连,圆形轨道上安装滑块(19),第二气压缸(21)与滑块(19)固连,在第二气压缸(21)上安装有第一电机(20)和齿轮(38),齿轮(38)由第一电机(20)驱动并与内齿轮(18)啮合,在第二气压缸(21)可伸缩端安装有两根推杆(22),两推杆(22)分别与第一连杆(23)、第二连杆(26)铰接,第一连杆(23)与第二连杆(26)铰接形成剪刀状,在第一连杆(23)末端固定有压力传感器(28),在第二连杆(26)末端安装有环割刀片(27)。
2.根据权利要求1所述的矮化密植枣树修剪、环割机器人,其特征在于:在门型车架(2)上还安装有太阳能板(8)和蓄电池(13),此外门型车架上还设有LED灯(7)为RGB-D深度相机(11)提供光源环境,太阳能板(8)与蓄电池(13)相连,蓄电池(13)给LED灯(7)供电;门型车架(2)底部还设置有车轮(1)。
3.根据权利要求1所述的矮化密植枣树修剪、环割机器人,其特征在于:所述的工控机(9)内部安装有Ubuntu16.04操作系统,在其操作系统上装有Kinetic版本的ROS系统。
4.根据权利要求3所述的矮化密植枣树修剪、环割机器人,其特征在于:所述的RGB-D深度相机(11),采用KinectV2相机,其对枣树进行三维重建的方法如下:
1)RGB-D深度相机(11)正面采集枣树的第一帧信息,包括枣树的彩色图,枣树的深度图像,枣树的点云图像;
2)RGB-D深度相机(11)旋转45度再采集枣树的第二帧信息,也包括枣树的彩色图像,枣树的深度图像,枣树的点云图像;
3)通过调用Kinetic版本ROS系统内部的Opencv3.1库中的ORB算法对枣树的两帧彩色图进行暴力匹配,得到两帧彩色图像的特征点匹配;
4)通过得到的匹配特征点,根据第一帧枣树的深度图像和第二帧彩色图像,由Opencv3.1库中的函数SolvePnP计算出KinectV2相机旋转45度后的旋转向量R和平移向量t即相机位姿;
5)根据第二帧枣树的点云图像,通过RGB-D深度相机(11)旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下,然后对两帧的点云图进行合成,最终得到枣树的三维重建。
5.根据权利要求3所述的矮化密植枣树修剪、环割机器人,其特征在于:该机器人基于pytorch深度学习框架,搭建CNN神经网络用于识别枣树剪枝点,具体方法为:
1)通过FPN+ResNet提取枣树的特征图,再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测,最后对每个候选框进行识别与坐标回归;
2)用RGB-D深度相机(11)采集枣树不同视角、不同尺度的数百张照片,并进行人工标注,设图片中枣树的二次枝直径为D,当枣树的二次枝直径在8mm<D≤10mm范围内,需保留七到八个挂果点,若挂果点多于八个则框选出第九个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝直径在5mm<D≤8mm范围内,需保留五到六个挂果点,若挂果点多于六个则框选出第七个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝的直径在3mm≤D≤5mm范围内,需保留四到五个挂果点,若挂果点多于五个则框选出第六个挂果点为剪枝点,否则不框选;当图片中枣树的二次枝的直径在0mm≤D<3mm范围内,无需保留挂果点,框选二次枝与主杆的连接处作为剪枝点位置;
3)将标注后的数据输入Faster R-CNN,进行多批次训练,得到训练后的网络模型;
4)将待识别的枣树图片输入训练后的网络模型进行检测,确定枣树的剪枝点位置。
6.根据权利要求1所述的矮化密植枣树修剪、环割机器人,其特征在于:所述的拨杆(3)与辊筒(4)均采用尼龙棒。
CN201910362313.4A 2019-04-30 2019-04-30 一种矮化密植枣树修剪、环割机器人 Expired - Fee Related CN110063157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910362313.4A CN110063157B (zh) 2019-04-30 2019-04-30 一种矮化密植枣树修剪、环割机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910362313.4A CN110063157B (zh) 2019-04-30 2019-04-30 一种矮化密植枣树修剪、环割机器人

Publications (2)

Publication Number Publication Date
CN110063157A CN110063157A (zh) 2019-07-30
CN110063157B true CN110063157B (zh) 2020-11-20

Family

ID=67369907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910362313.4A Expired - Fee Related CN110063157B (zh) 2019-04-30 2019-04-30 一种矮化密植枣树修剪、环割机器人

Country Status (1)

Country Link
CN (1) CN110063157B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110731189A (zh) * 2019-10-28 2020-01-31 湖北文理学院 远程果树修剪系统
JP7322851B2 (ja) * 2020-10-06 2023-08-08 トヨタ自動車株式会社 架線利用システムおよび空中移動装置
CN114303702B (zh) * 2021-12-24 2023-01-03 天邑昊建筑装饰工程有限公司 新型绿色环保建筑幕墙及其施工方法
CN114600654A (zh) * 2022-01-24 2022-06-10 浙江机电职业技术学院 用于苗木盆景的自动修剪方法、修剪设备和自动修剪系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4063359A (en) * 1977-01-12 1977-12-20 Luscombe Arthur J Vehicle mounted boom apparatus
JPH11127686A (ja) * 1997-10-28 1999-05-18 Takashi Kodera 街路樹剪定車両及び、街路樹剪定装置
CN102823445A (zh) * 2012-09-22 2012-12-19 长安大学 一种车载式矮化密植枣树修剪机
CN105538287A (zh) * 2016-03-09 2016-05-04 重庆交通大学 绿化修剪用机器人
CN107211748A (zh) * 2017-07-18 2017-09-29 吴海锋 一种园林植物弧面造型修剪机器人
CN206895293U (zh) * 2017-05-24 2018-01-19 石河子大学 一种红枣修剪机
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人(合肥)国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7854108B2 (en) * 2003-12-12 2010-12-21 Vision Robotics Corporation Agricultural robot system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4063359A (en) * 1977-01-12 1977-12-20 Luscombe Arthur J Vehicle mounted boom apparatus
JPH11127686A (ja) * 1997-10-28 1999-05-18 Takashi Kodera 街路樹剪定車両及び、街路樹剪定装置
CN102823445A (zh) * 2012-09-22 2012-12-19 长安大学 一种车载式矮化密植枣树修剪机
CN105538287A (zh) * 2016-03-09 2016-05-04 重庆交通大学 绿化修剪用机器人
CN206895293U (zh) * 2017-05-24 2018-01-19 石河子大学 一种红枣修剪机
CN107211748A (zh) * 2017-07-18 2017-09-29 吴海锋 一种园林植物弧面造型修剪机器人
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人(合肥)国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Also Published As

Publication number Publication date
CN110063157A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110063157B (zh) 一种矮化密植枣树修剪、环割机器人
Sarig Robotics of fruit harvesting: A state-of-the-art review
CN105794502B (zh) 一种全自动树枝修剪机器人及修剪方法
CN111428712B (zh) 基于人工智能识别的名优茶采摘机及采摘机用识别方法
CN108633482A (zh) 一种水果采摘飞行器
CN208708184U (zh) 自动分拣苹果采摘机器人
CN209527208U (zh) 一种草莓采摘机器
CN211745437U (zh) 一种高架果蔬智能采摘机器人
CN106856823A (zh) 具有成熟度检测及计数功能的采摘机器人
CN112005726B (zh) 一种智能化果蔬采摘装置及采摘方法
CN204498792U (zh) 一种基于双目视觉的苹果成熟度自动检测及采摘机器人
CN104584779A (zh) 一种基于双目视觉的苹果成熟度自动检测及采摘机器人
CN109247153A (zh) 一种基于物联网的沃柑树枝修剪智能机器人
CN108811766B (zh) 一种人机交互式温室果蔬采收机器人系统及其采收方法
CN102696411B (zh) 基于机器视觉的葡萄冬剪作业装置
CN216058333U (zh) 一种智能移动水果采摘机器人
CN111684924A (zh) 一种基于树莓派的草莓采摘机器人
CN109964675A (zh) 葡萄树剪枝机器人装置
CN108323325B (zh) 一种模仿人手型的草莓采摘机器及采摘方法
CN108718704B (zh) 一种人机交互式野外果蔬采收机器人系统及其采收方法
CN113812334A (zh) 一种农业生产领域人工智能机器人装置
CN202819064U (zh) 基于机器视觉的葡萄冬剪作业装置
CN110679317B (zh) 一种葡萄冬季剪枝车
CN110679316B (zh) 一种适用于t型栽培模式的葡萄冬季剪枝系统
Hu et al. Design and experiment of a new citrus harvesting robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201120

Termination date: 20210430