CN110063157B - 一种矮化密植枣树修剪、环割机器人 - Google Patents
一种矮化密植枣树修剪、环割机器人 Download PDFInfo
- Publication number
- CN110063157B CN110063157B CN201910362313.4A CN201910362313A CN110063157B CN 110063157 B CN110063157 B CN 110063157B CN 201910362313 A CN201910362313 A CN 201910362313A CN 110063157 B CN110063157 B CN 110063157B
- Authority
- CN
- China
- Prior art keywords
- jujube
- pruning
- frame
- jujube tree
- girdling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 244000126002 Ziziphus vulgaris Species 0.000 title claims abstract description 169
- 235000008529 Ziziphus vulgaris Nutrition 0.000 title claims abstract description 169
- 238000013138 pruning Methods 0.000 title claims abstract description 77
- 238000009966 trimming Methods 0.000 claims abstract description 7
- 235000013399 edible fruits Nutrition 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 239000004677 Nylon Substances 0.000 claims description 2
- 229920001778 nylon Polymers 0.000 claims description 2
- 241001247821 Ziziphus Species 0.000 description 4
- 235000015097 nutrients Nutrition 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 244000141353 Prunus domestica Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G3/00—Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G3/00—Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
- A01G3/08—Other tools for pruning, branching or delimbing standing trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Forests & Forestry (AREA)
- Environmental Sciences (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种矮化密植枣树修剪、环割机器人平台,包括移动车架系统、修剪系统、环割系统;移动车架系统包括门型车架、辊筒、六自由度机械臂、第一圆盘锯、工控机、激光雷达等;修剪系统包括支撑杆、第二圆盘锯、支撑架、第一气压缸;环割系统包括由第一外圆轨道、第二外圆轨道一端铰接形成的完整圆形轨道、第二气压缸、第一连杆、第二连杆和第三连杆等,本发明通过对矮化密植枣树树冠骨架三维信息的获取,结合自动化修剪的人工智能系统,准确定位枣树树冠骨架剪枝点和环割的位置,实现矮化密植枣树树冠自动化修剪、环割作业,可提高枣树树冠修剪、环割质量以及人工的劳动效率,降低用工成本和修剪、环割时的劳动强度。
Description
技术领域
本发明属于智能机器人领域,涉及一种矮化密植枣树修剪、环割机器人,特别是涉及一种基于ROS系统的矮化密植枣树修剪、环割机器人。
背景技术
红枣是我国广泛种植的特色林果,而枣树的春季修剪是一项非常繁重的工作,通过对枣树二次枝数量和长度的控制,促使养分集中到挂果的枝干部位,在枣树挂果前期,需要对枣树距地面30cm左右处对主干进行环割,以切断在枣树挂果期间营养向下输送,保证营养主要留给枣树的花蕾,提高枣树的坐果率。然而,目前枣树春季修剪以及枣树挂果前期的环割主要还是依靠人工进行,劳动强度大,修剪、环割作业效率低,且有修剪、环割技能的人十分短缺,导致用工成本很高,为提高枣树树冠修剪、环割质量,降低用工成本和修剪、环割时的劳动强度,开发一套基于ROS系统的矮化密植枣树修剪、环割机器人是非常有价值的。ROS(Robot Operating System)系统是一个编写机器人软件的优秀和灵活的框架,包括了程序之间的话题消息的传递、驱动程序的管理、硬件功能的抽象描述等,并且集成了大量的通信协议和开源库,可以极大缩短矮化密植枣树修剪、环割机器人系统平台的开发周期。
发明内容
针对现有技术中存在的上述问题,本发明提供一种矮化密植枣树修剪、环割机器人,基于一种三维重建与机器人技术结合的方法,实现矮化密植枣树自动化修剪、环割的目的。
本发明采用的技术方案如下:
本发明的一种矮化密植枣树修剪、环割机器人,包括移动车架系统、修剪系统、环割系统;
移动车架系统包括门型车架及均安装于门型车架上的辊筒、六自由度机械臂、第一圆盘锯、工控机、激光雷达;辊筒一端通过连接轴与门型车架相连接,在辊筒上连接有若干拨杆,连接轴由电机驱动可带动辊筒转动;六自由度机械臂一端与门型车架连接,另一端安装有RGB-D深度相机,工控机用于控制激光雷达、六自由度机械臂及RGB-D深度相机;
修剪系统安装于六自由度机械臂上,包括支撑杆、第二圆盘锯、支撑架、第一气压缸;第一气压缸与六自由度机械臂相连,支撑杆与第一气压缸相连接;支撑架一端与第一气压缸可伸缩端相连,另一端与第二圆盘锯转动相连;
环割系统通过支撑轴安装于六自由度机械臂上,包括由第一外圆轨道、第二外圆轨道一端铰接形成的完整圆形轨道、第二气压缸、第一连杆、第二连杆和第三连杆,在第一外圆轨道、第二外圆轨道内圈均设有齿轮,形成完整的圆形内齿轮,第三连杆一端与第二电机连接,另一端与第一外圆轨道连接,第二电机固连在支撑轴上,支撑轴末端与第二外圆轨道固连,圆形轨道上安装有滑块,第二气压缸与滑块固连,在第二气压缸上安装有第一电机和齿轮,齿轮由第一电机驱动并与内齿轮啮合,在第二气压缸可伸缩端安装有两根推杆,两推杆分别与第一连杆、第二连杆铰连,第一连杆与第二连杆铰接形成剪刀状,在第一连杆末端固定有压力传感器,在第二连杆末端安装有环割刀片。
上述技术方案中,进一步的,在门型车架上还安装有太阳能板和蓄电池,此外门型车架上还设有LED灯为RGB-D深度相机提供光源环境,太阳能板与蓄电池相连,蓄电池给LED灯供电;门型车架底部还设置有车轮。
进一步的,所述的工控机内部安装有Ubuntu16.04操作系统,在其操作系统上装有Kinetic版本的ROS系统。
更进一步的,所述的RGB-D深度相机,采用KinectV2相机,其对枣树进行三维重建的方法如下:
1)RGB-D深度相机正面采集枣树的第一帧信息,包括枣树的彩色图,枣树的深度图像,枣树的点云图像;
2)RGB-D深度相机旋转45度再采集枣树的第二帧信息,也包括枣树的彩色图像,枣树的深度图像,枣树的点云图像;
3)通过调用Kinetic版本ROS系统内部的Opencv3.1库中的ORB算法对枣树的两帧彩色图进行暴力匹配,得到两帧彩色图像的特征点匹配;
4)通过得到的匹配特征点,根据第一帧枣树的深度图像和第二帧彩色图像,由Opencv3.1库中的函数SolvePnP计算出KinectV2相机旋转45度后的旋转向量R和平移向量t即相机位姿;
5)根据第二帧枣树的点云图像,通过RGB-D深度相机旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下,然后对两帧的点云图进行合成,最终得到枣树的三维重建。
更进一步的,该机器人基于pytorch深度学习框架,搭建CNN神经网络用于识别枣树剪枝点,具体方法为:
1)通过FPN+ResNet提取枣树的特征图,再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测,最后对每个候选框进行识别与坐标回归;
2)用RGB-D深度相机采集枣树不同视角、不同尺度的数百张照片,并进行人工标注,框选出每个图片中枣树的剪枝点;所述的人工标注具体为:设图片中枣树的二次枝直径为D,当枣树的二次枝直径在8mm<D≤10mm范围内,需保留七到八个挂果点,若挂果点多于八个则框选出第九个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝直径在5mm<D≤8mm范围内,需保留五到六个挂果点,若挂果点多于六个则框选出第七个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝的直径在3mm≤D≤5mm范围内,需保留四到五个挂果点,若挂果点多于五个则框选出第六个挂果点为剪枝点,否则不框选;当图片中枣树的二次枝的直径在0mm≤D<3mm范围内,无需保留挂果点,框选二次枝与主杆的连接处作为剪枝点位置;
3)将标注后的数据输入Faster R-CNN,进行多批次训练,得到训练后的网络模型;
4)将待识别的枣树图片输入训练后的网络模型进行检测,确定枣树的剪枝点位置。
本发明的有益效果:
本发明通过对矮化密植枣树树冠骨架三维信息的获取,结合自动化修剪的人工智能系统,准确定位枣树树冠骨架剪枝点和环割的位置,实现矮化密植枣树树冠自动化修剪、环割作业,提高枣树树冠修剪、环割质量以及人工的劳动效率,降低用工成本和修剪、环割时的劳动强度。
附图说明
图1是本发明的枣树修剪、环割机器人整体结构示意图;
图2是本发明的枣树修剪系统的结构示意图;
图3是本发明的枣树环割系统结构示意图;
图4是本发明的枣树环割系统末端结构示意图;
图5是本发明的枣吊清除机构结构图;
图6是本发明的第一连杆的结构图;
图7是本发明的第二连杆的结构图;
图8是本发明的环割刀片的结构图;
图9是本发明的环割过程示意图;
图10是本发明的第一外圆轨道和第二外圆轨道连接示意图;
图11是本发明的枣树修剪、环割机器人的总体控制架构图;
图12是本实例的六自由度机械臂的控制流程图;
图13是本发明的枣树修剪、环割作业流程图;
图中:1-车轮、2-门型车架、3-拨杆、4-辊筒、5-连接轴、6-六自由度UR3机械臂、7-LED灯、8-太阳能板、9-工控机、10-激光雷达、11-RGB-D深度相机、12-气压泵、13-蓄电池、14-第一圆盘锯、15-移动车架系统、16-第一外圆轨道、17-第二外圆轨道、18-内齿轮、19-滑块、20-第一电机、21-第二气压缸、22-推杆、23-第一连杆、24-连接孔(1)、25-支撑轴、26-第二连杆、27-环割刀片、28-压力传感器、29-连接孔(2)、30-第三连杆、31-第二电机、32-环割系统、33-支撑杆、34-第二圆盘锯、35-支撑架、36-第一气压缸、37-修剪系统、38-齿轮。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明:
参阅图1、图2、图3、图4、图5、图6、图7、图8、图9、图10,为实现本发明的一种具体实施例,仅为对本发明具体实现方式的说明解释,并非对本发明技术方案的限定。
一种基于ROS系统的矮化密植枣树修剪、环割机器人,包括移动车架系统15、修剪系统37、环割系统32;
移动车架系统15包括车轮1、门型车架2、拨杆3、辊筒4、连接轴5、六自由度UR3机械臂6、LED灯7、太阳能板8、工控机9、激光雷达10、RGB-D深度相机11、气压泵12、蓄电池13、第一圆盘锯14;拨杆3与辊筒4相连接,辊筒4一端通过连接轴5与门型车架2相连接,通过电机(图中未画出)带动连接轴5转动,使拨杆3与辊筒4敲打枣树,完成枣吊清除的目的;RGB-D深度相机11固定在六自由度UR3机械臂6上端,用于采集枣树的三维信息,六自由度UR3机械臂6通过底座与门型车架2相连接;第一圆盘锯14与门型车架2相连接,修剪枣树过长的二次树枝;太阳能板8与蓄电池13相连接,通过太阳光的照射,白天持续充电为系统提供电能,蓄电池13另一端与LED灯7相连接,保证了RGB-D深度相机11对枣树信息采集的光源环境;所述的工控机9内部安装有Ubuntu16.04操作系统,在其操作系统上装有Kinetic版本的ROS系统,其控制着激光雷达10、六自由度UR3机械臂6、RGB-D深度相机11。
修剪系统37包括支撑杆33、第二圆盘锯34、支撑架35、第一气压缸36;支撑杆33与第一气压缸36相连接,其为枣树树枝修剪提供支撑作用;支撑架35一端与第二圆盘锯34相转动连接,另一端则与第一气压缸36的可伸缩端相连接;当对枣树修剪时,第一气压缸36推动支撑架35上的第二圆盘锯34到达修剪位置,启动第二圆盘锯34完成对枣树的二次枝修剪作业。第二圆盘锯34在对枣树进行修剪时,支撑杆33对枣树树枝起支撑作用,实现有支撑切割。
环割系统32包括第一外圆轨道16、第二外圆轨道17、内齿轮18、滑块19、第一电机20、第二气压缸21、推杆22、第一连杆23、连接孔(1)24、支撑轴25、第二连杆26、环割刀片27、压力传感器28、连接孔(2)29、第三连杆30、第二电机31、齿轮38;所述的第一外圆轨道16与第二外圆轨道17通过连接孔(1)24铰接,在第一外圆轨道16、第二外圆轨道17内圈均设有齿轮,形成完整的圆形的内齿轮18,第三连杆30一端与第二电机31固定,另一端通过销轴与固定在第一外圆轨道16上的连接孔(2)29连接在一起,第二电机31驱动第三连杆30转动,第三连杆30带动第一外圆轨道16运动,第二电机31固连在支撑轴25上,支撑轴25末端与第二外圆轨道17固连。所述的滑块19安装于由第一外圆轨道16和第二外圆轨道17拼接成的圆形轨道内,且滑块19与第二气压缸21相连接;在第二气压缸21上安装有第一电机20和齿轮38,齿轮38由第一电机20驱动并与内齿轮18啮合,在第二气压缸21可伸缩端安装有两根推杆22,所述的两推杆22与分别与第一连杆23和第二连杆26相铰接;第一连杆23与第二连杆26铰接形成剪刀状,第一连杆23与压力传感器28相连接;第二连杆26与环割刀片27相连接;当对枣树进行环割时,六自由度UR3机械臂6带动环割系统32靠近枣树的主干,使得环割系统32距离地面30cm左右,此时第二电机31驱动第三连杆30转动40度,使第一外圆轨道16与第二外圆轨道17打开,让枣树到达第一外圆轨道16与第二外圆轨道17所形成封闭轨道的中心位置,第二电机31驱动第三连杆30转动负40度,使第一外圆轨道16与第二外圆轨道17合拢,同时第二气压缸21推动推杆22移动,推杆22推动第一连杆23上的压力传感器28和第二连杆26上的环割刀片27把枣树主干压紧到预设的压力值,此时,第一电机20驱动齿轮38在内齿轮18上做圆周运动,实现枣树自动环割的目的。
本实例中的RGB-D深度相机11可采用KinectV2相机,其对枣树三维重建的方法为:
1)RGB-D深度相机11正面采集枣树的第一帧信息,包括枣树的彩色图,枣树的深度图像,枣树的点云图像。
2)RGB-D深度相机11旋转45度再采集枣树的第二帧信息,也包括枣树的彩色图像,枣树的深度图像,枣树的点云图像。
3)通过调用Kinetic版本ROS系统内部的Opencv3.1库中的ORB算法对枣树的两帧彩色图进行暴力匹配,得到两帧彩色图像的特征点匹配。
4)通过得到的匹配特征点,根据第一帧枣树的深度图像和第二帧彩色图像,由Opencv3.1库中的函数SolvePnP计算出KinectV2相机旋转45度后的旋转向量R和平移向量t即相机位姿。
5)根据第二帧枣树的点云图像,通过RGB-D深度相机11旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下,然后对两帧的点云图进行合成,最终得到枣树的三维重建。
在对枣树进行三维重建后还需确定枣树的修剪位置,本实例采用基于pytorch深度学习框架,搭建用于枣树剪枝点识别的CNN神经网络,具体方法为:
1)通过FPN+ResNet提取枣树的特征图,再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测,最后对每个候选框进行识别与坐标回归。
2)用RGB-D深度相机11采集枣树不同视角、不同尺度的数百张照片,并进行人工标注,框选出每个图片中枣树的剪枝点。具体如下:设图片中枣树的二次枝直径为D,当枣树的二次枝直径在8mm<D≤10mm范围内,需保留七到八个挂果点,若挂果点多于八个则框选出第九个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝直径在5mm<D≤8mm范围内,需保留五到六个挂果点,若挂果点多于六个则框选出第七个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝的直径在3mm≤D≤5mm范围内,需保留四到五个挂果点,若挂果点多于五个则框选出第六个挂果点为剪枝点,否则不框选;当图片中枣树的二次枝的直径在0mm≤D<3mm范围内,无需保留挂果点,框选二次枝与主杆的连接处作为剪枝点位置。
3)将标注后的数据输入Faster R-CNN,进行多批次训练,得到训练后的网络模型。
4)将待识别的枣树图片输入训练后的网络模型进行检测,确定枣树的剪枝点位置。
上述过程中,六自由度机械臂6可通过ROS系统内部的MOVEIT功能包对其关节空间进行规划,避障规划以及剪枝点、环割点的位置确定。
激光雷达10可通过ROS系统内部的Gmapping功能包对其进行控制,以确定矮化密植枣树修剪、环割机器人的自主导航的路径。
本发明的机器人的具体工作过程如下:
1)枣树三维重建和剪枝点确定过程:
为获取枣树树冠骨架精确的三维模型,RGB-D深度相机11正面采集枣树的第一帧信息,包括枣树的彩色图,枣树的深度图像,枣树的点云图像,然后RGB-D深度相机11旋转45度再采集枣树的第二帧信息,也包括枣树的彩色图像,枣树的深度图像,枣树的点云图像,通过调用Kinetic版本ROS系统内部的Opencv3.1库中的ORB算法对枣树的两帧彩色图进行暴力匹配,得到两帧彩色图像的特征点匹配,通过得到的匹配特征点,根据第一帧枣树的深度图像和第二帧彩色图像,由Opencv3.1库中的函数SolvePnP计算出RGB-D深度相机11旋转45度后的旋转向量R和平移向量t即相机位姿,根据第二帧枣树的点云图像,通过RGB-D深度相机11旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下,然后对两帧的点云图进行合成,最终得到枣树的三维重建模型。
为确定枣树的修剪位置,基于pytorch深度学习框架搭建用于枣树剪枝点识别的CNN神经网络,具体方法为:1)通过FPN+ResNet提取枣树的特征图,再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测,最后对每个候选框进行识别与坐标回归;2)用RGB-D深度相机11采集枣树不同视角、不同尺度的数百张照片,并进行人工标注,框选出每个图片中枣树的剪枝点;3)将标注后的数据输入Faster R-CNN,进行多批次训练,得到训练后的网络模型;4)将待识别的图片输入训练后的网络模型检测,确定枣树的剪枝点位置。
2)矮化密植枣树修剪、环割机器人移动过程:
当枣树修剪、环割机器人将要移动时,激光雷达10向工控机9实时传送点云信息,工控机9内部的ROS系统调用其Gmapping功能包,处理这些点云信息,对枣树周围环境进行建图,并定位自己在地图中的位置,驱动移动车架系统15向前移动,在移动车架系统15向前移动时,电机(图中未画)驱动门型车架2上的左右两排第一圆盘锯14对枣树两侧的树枝进行粗修剪,减掉一些生长过长的枣树二次枝条,同时电机(图中未画)带动连接轴5转动,使拨杆3与辊筒4敲打枣树,并且拨杆3与辊筒4均采用尼龙棒,在敲打的过程中对枣树的损伤很小,通过枣树上的振动力的传递,使枣吊掉落,为后面六自由度UR3机械臂6的修剪做准备。
3)枣树修剪过程:
当对枣树修剪时,六自由度UR3机械臂6带动修剪系统37靠近枣树的修剪位置,第一气压缸36推动连接在支撑架35上的第二圆盘锯34向前运动到达修剪位置,在支撑杆33对枣树二次枝的支撑下,完成对枣树的二次枝修剪作业。
4)枣树环割过程:
当对枣树进行环割时,六自由度UR3机械臂6带动环割系统32靠近枣树的主干,使得环割系统32距离地面30cm左右,此时第二电机31驱动第三连杆30转动40度,使第一外圆轨道16与第二外圆轨道17打开,使枣树到达第一外圆轨道16与第二外圆轨道17所形成封闭轨道的中心位置,第二电机31驱动第三连杆30转动负40度,使第一外圆轨道16与第二外圆轨道17合拢,同时第二气压缸21推动推杆22移动,推杆22推动第一连杆23上的压力传感器28和第二连杆26上的环割刀片27把枣树主干压紧到预设的压力值,此时,第一电机20驱动齿轮38在内齿轮18上做圆周运动,实现枣树自动环割的目的。
上述实施例是对本发明的说明,不是对本发明的限定,任何对本发明简单变换后的方案均属于本发明的保护范围。
Claims (6)
1.一种矮化密植枣树修剪、环割机器人,其特征在于:包括移动车架系统(15)、修剪系统(37)、环割系统(32);
移动车架系统(15)包括门型车架(2)及均安装于门型车架上的辊筒(4)、六自由度机械臂(6)、第一圆盘锯(14)、工控机(9)、激光雷达(10);辊筒(4)一端通过连接轴(5)与门型车架(2)相连接,在辊筒(4)上连接有若干拨杆(3),连接轴(5)由电机驱动可带动辊筒(4)转动;六自由度机械臂(6)一端与门型车架(2)连接,另一端安装有RGB-D深度相机(11),工控机(9)用于控制激光雷达(10)、六自由度机械臂(6)及RGB-D深度相机(11);
修剪系统(37)安装于六自由度机械臂(6)上,包括支撑杆(33)、第二圆盘锯(34)、支撑架(35)、第一气压缸(36);第一气压缸(36)与六自由度机械臂(6)相连,支撑杆(33)与第一气压缸(36)相连接;支撑架(35)一端与第一气压缸(36)可伸缩端相连,另一端与第二圆盘锯(34)转动相连;
环割系统(32)通过支撑轴(25)安装于六自由度机械臂(6)上,包括由第一外圆轨道(16)、第二外圆轨道(17)一端铰接形成的完整圆形轨道、第二气压缸(21)、第一连杆(23)、第二连杆(26)和第三连杆(30),在第一外圆轨道(16)、第二外圆轨道(17)内圈均设有齿轮,形成完整的圆形内齿轮(18),第三连杆(30)一端与第二电机(31)连接,另一端与第一外圆轨道(16)连接,第二电机(31)固连在支撑轴(25)上,支撑轴(25)末端与第二外圆轨道(17)固连,圆形轨道上安装滑块(19),第二气压缸(21)与滑块(19)固连,在第二气压缸(21)上安装有第一电机(20)和齿轮(38),齿轮(38)由第一电机(20)驱动并与内齿轮(18)啮合,在第二气压缸(21)可伸缩端安装有两根推杆(22),两推杆(22)分别与第一连杆(23)、第二连杆(26)铰接,第一连杆(23)与第二连杆(26)铰接形成剪刀状,在第一连杆(23)末端固定有压力传感器(28),在第二连杆(26)末端安装有环割刀片(27)。
2.根据权利要求1所述的矮化密植枣树修剪、环割机器人,其特征在于:在门型车架(2)上还安装有太阳能板(8)和蓄电池(13),此外门型车架上还设有LED灯(7)为RGB-D深度相机(11)提供光源环境,太阳能板(8)与蓄电池(13)相连,蓄电池(13)给LED灯(7)供电;门型车架(2)底部还设置有车轮(1)。
3.根据权利要求1所述的矮化密植枣树修剪、环割机器人,其特征在于:所述的工控机(9)内部安装有Ubuntu16.04操作系统,在其操作系统上装有Kinetic版本的ROS系统。
4.根据权利要求3所述的矮化密植枣树修剪、环割机器人,其特征在于:所述的RGB-D深度相机(11),采用KinectV2相机,其对枣树进行三维重建的方法如下:
1)RGB-D深度相机(11)正面采集枣树的第一帧信息,包括枣树的彩色图,枣树的深度图像,枣树的点云图像;
2)RGB-D深度相机(11)旋转45度再采集枣树的第二帧信息,也包括枣树的彩色图像,枣树的深度图像,枣树的点云图像;
3)通过调用Kinetic版本ROS系统内部的Opencv3.1库中的ORB算法对枣树的两帧彩色图进行暴力匹配,得到两帧彩色图像的特征点匹配;
4)通过得到的匹配特征点,根据第一帧枣树的深度图像和第二帧彩色图像,由Opencv3.1库中的函数SolvePnP计算出KinectV2相机旋转45度后的旋转向量R和平移向量t即相机位姿;
5)根据第二帧枣树的点云图像,通过RGB-D深度相机(11)旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下,然后对两帧的点云图进行合成,最终得到枣树的三维重建。
5.根据权利要求3所述的矮化密植枣树修剪、环割机器人,其特征在于:该机器人基于pytorch深度学习框架,搭建CNN神经网络用于识别枣树剪枝点,具体方法为:
1)通过FPN+ResNet提取枣树的特征图,再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测,最后对每个候选框进行识别与坐标回归;
2)用RGB-D深度相机(11)采集枣树不同视角、不同尺度的数百张照片,并进行人工标注,设图片中枣树的二次枝直径为D,当枣树的二次枝直径在8mm<D≤10mm范围内,需保留七到八个挂果点,若挂果点多于八个则框选出第九个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝直径在5mm<D≤8mm范围内,需保留五到六个挂果点,若挂果点多于六个则框选出第七个挂果点为剪枝点位置,否则不框选;当图片中枣树的二次枝的直径在3mm≤D≤5mm范围内,需保留四到五个挂果点,若挂果点多于五个则框选出第六个挂果点为剪枝点,否则不框选;当图片中枣树的二次枝的直径在0mm≤D<3mm范围内,无需保留挂果点,框选二次枝与主杆的连接处作为剪枝点位置;
3)将标注后的数据输入Faster R-CNN,进行多批次训练,得到训练后的网络模型;
4)将待识别的枣树图片输入训练后的网络模型进行检测,确定枣树的剪枝点位置。
6.根据权利要求1所述的矮化密植枣树修剪、环割机器人,其特征在于:所述的拨杆(3)与辊筒(4)均采用尼龙棒。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910362313.4A CN110063157B (zh) | 2019-04-30 | 2019-04-30 | 一种矮化密植枣树修剪、环割机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910362313.4A CN110063157B (zh) | 2019-04-30 | 2019-04-30 | 一种矮化密植枣树修剪、环割机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110063157A CN110063157A (zh) | 2019-07-30 |
CN110063157B true CN110063157B (zh) | 2020-11-20 |
Family
ID=67369907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910362313.4A Expired - Fee Related CN110063157B (zh) | 2019-04-30 | 2019-04-30 | 一种矮化密植枣树修剪、环割机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110063157B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110731189A (zh) * | 2019-10-28 | 2020-01-31 | 湖北文理学院 | 远程果树修剪系统 |
JP7322851B2 (ja) * | 2020-10-06 | 2023-08-08 | トヨタ自動車株式会社 | 架線利用システムおよび空中移動装置 |
CN114303702B (zh) * | 2021-12-24 | 2023-01-03 | 天邑昊建筑装饰工程有限公司 | 新型绿色环保建筑幕墙及其施工方法 |
CN114600654A (zh) * | 2022-01-24 | 2022-06-10 | 浙江机电职业技术学院 | 用于苗木盆景的自动修剪方法、修剪设备和自动修剪系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4063359A (en) * | 1977-01-12 | 1977-12-20 | Luscombe Arthur J | Vehicle mounted boom apparatus |
JPH11127686A (ja) * | 1997-10-28 | 1999-05-18 | Takashi Kodera | 街路樹剪定車両及び、街路樹剪定装置 |
CN102823445A (zh) * | 2012-09-22 | 2012-12-19 | 长安大学 | 一种车载式矮化密植枣树修剪机 |
CN105538287A (zh) * | 2016-03-09 | 2016-05-04 | 重庆交通大学 | 绿化修剪用机器人 |
CN107211748A (zh) * | 2017-07-18 | 2017-09-29 | 吴海锋 | 一种园林植物弧面造型修剪机器人 |
CN206895293U (zh) * | 2017-05-24 | 2018-01-19 | 石河子大学 | 一种红枣修剪机 |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7854108B2 (en) * | 2003-12-12 | 2010-12-21 | Vision Robotics Corporation | Agricultural robot system and method |
-
2019
- 2019-04-30 CN CN201910362313.4A patent/CN110063157B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4063359A (en) * | 1977-01-12 | 1977-12-20 | Luscombe Arthur J | Vehicle mounted boom apparatus |
JPH11127686A (ja) * | 1997-10-28 | 1999-05-18 | Takashi Kodera | 街路樹剪定車両及び、街路樹剪定装置 |
CN102823445A (zh) * | 2012-09-22 | 2012-12-19 | 长安大学 | 一种车载式矮化密植枣树修剪机 |
CN105538287A (zh) * | 2016-03-09 | 2016-05-04 | 重庆交通大学 | 绿化修剪用机器人 |
CN206895293U (zh) * | 2017-05-24 | 2018-01-19 | 石河子大学 | 一种红枣修剪机 |
CN107211748A (zh) * | 2017-07-18 | 2017-09-29 | 吴海锋 | 一种园林植物弧面造型修剪机器人 |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110063157A (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110063157B (zh) | 一种矮化密植枣树修剪、环割机器人 | |
Sarig | Robotics of fruit harvesting: A state-of-the-art review | |
CN105794502B (zh) | 一种全自动树枝修剪机器人及修剪方法 | |
CN111428712B (zh) | 基于人工智能识别的名优茶采摘机及采摘机用识别方法 | |
CN108633482A (zh) | 一种水果采摘飞行器 | |
CN208708184U (zh) | 自动分拣苹果采摘机器人 | |
CN209527208U (zh) | 一种草莓采摘机器 | |
CN211745437U (zh) | 一种高架果蔬智能采摘机器人 | |
CN106856823A (zh) | 具有成熟度检测及计数功能的采摘机器人 | |
CN112005726B (zh) | 一种智能化果蔬采摘装置及采摘方法 | |
CN204498792U (zh) | 一种基于双目视觉的苹果成熟度自动检测及采摘机器人 | |
CN104584779A (zh) | 一种基于双目视觉的苹果成熟度自动检测及采摘机器人 | |
CN109247153A (zh) | 一种基于物联网的沃柑树枝修剪智能机器人 | |
CN108811766B (zh) | 一种人机交互式温室果蔬采收机器人系统及其采收方法 | |
CN102696411B (zh) | 基于机器视觉的葡萄冬剪作业装置 | |
CN216058333U (zh) | 一种智能移动水果采摘机器人 | |
CN111684924A (zh) | 一种基于树莓派的草莓采摘机器人 | |
CN109964675A (zh) | 葡萄树剪枝机器人装置 | |
CN108323325B (zh) | 一种模仿人手型的草莓采摘机器及采摘方法 | |
CN108718704B (zh) | 一种人机交互式野外果蔬采收机器人系统及其采收方法 | |
CN113812334A (zh) | 一种农业生产领域人工智能机器人装置 | |
CN202819064U (zh) | 基于机器视觉的葡萄冬剪作业装置 | |
CN110679317B (zh) | 一种葡萄冬季剪枝车 | |
CN110679316B (zh) | 一种适用于t型栽培模式的葡萄冬季剪枝系统 | |
Hu et al. | Design and experiment of a new citrus harvesting robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201120 Termination date: 20210430 |