CN117678440A - 基于三维点云的自动对靶调节姿态修剪系统及其修剪方法 - Google Patents
基于三维点云的自动对靶调节姿态修剪系统及其修剪方法 Download PDFInfo
- Publication number
- CN117678440A CN117678440A CN202311804959.6A CN202311804959A CN117678440A CN 117678440 A CN117678440 A CN 117678440A CN 202311804959 A CN202311804959 A CN 202311804959A CN 117678440 A CN117678440 A CN 117678440A
- Authority
- CN
- China
- Prior art keywords
- trimming
- pruning
- point cloud
- target
- tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009966 trimming Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013138 pruning Methods 0.000 claims abstract description 108
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims description 25
- 235000013399 edible fruits Nutrition 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 12
- 238000010008 shearing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000009418 agronomic effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 abstract 3
- 241000196324 Embryophyta Species 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 2
- 235000015097 nutrients Nutrition 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 241001629511 Litchi Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Operation Control Of Excavators (AREA)
Abstract
本发明公开了一种基于三维点云的自动对靶调节姿态修剪系统及其修剪方法,包括:修剪装备,用于对目标树木进行修剪;信息采集装置,用于获取目标树木和周围环境的点云信息以及修剪装备位姿信息,并传输给数据处理单元;数据处理单元,用于对信息采集装置传输过来的信息进行处理,获得目标树木修剪部位的三维坐标和修剪角度以及修剪装备的位置和姿态信息,并传输给控制单元;控制单元,根据数据处理单元传输过来的信息,控制修剪装备进行精准修剪。本发明能够根据探测到的树木点云构建出树木的冠幅、株高、行距等参数,计算树木目标修剪部位,从而实现根据树木冠层参数改变修剪姿态,精准修剪的目的,减轻修剪过程中的工作量,提高修剪效率。
Description
技术领域
本发明涉及农业机械的技术领域,尤其是指一种基于三维点云的自动对靶调节姿态修剪系统及其修剪方法。
背景技术
在果树种植及管理环节中,整形修剪环节不可或缺,通过合理剪除果树营养器官的一部分,既可以调节果树营养化物质和激素的分配与运输、积累与消化;又可以训练树形、调整结果区域,从而降低采收、施药等管理环节成本。目前传统修剪主要采用手动修剪机、背负式修剪机、气动修剪机、电动修剪机等进行作业,这类修剪机械对修剪人员技术要求高、修剪效率较低,常以人工背负助力源的方式提高作业效率;近些年,国内研究人员研究了拖拉机悬挂往复式、回转式、圆盘锯式等末端执行修剪刀具进行作业的机械化作业,该方法适用于规范化树木园,对种植规划与作业地形环境要求较高,智能化程度亟待提高,而本发明系统能够根据探测到的树木点云构建出树木的冠幅、株高等参数,计算树木目标修剪部位,从而实现根据树木冠层参数改变修剪姿态,精准修剪。
发明内容
本发明的目的在于克服现有技术的不足,提出了一种基于三维点云的自动对靶调节姿态修剪系统及其修剪方法,能够根据探测到的树木点云构建出树木的冠幅、株高、行距等参数,计算树木目标修剪部位,从而实现根据树木冠层参数改变修剪姿态,精准修剪的目的,减轻修剪过程中的工作量,提高修剪效率。
为实现上述目的,本发明所提供的技术方案为:基于三维点云的自动对靶调节姿态修剪系统,包括:
修剪装备,用于对目标树木进行修剪;
信息采集装置,用于获取目标树木和周围环境的点云信息以及修剪装备位姿信息,并传输给数据处理单元;
数据处理单元,用于对信息采集装置传输过来的信息进行处理,获得目标树木修剪部位的三维坐标和修剪角度以及修剪装备的位置和姿态信息,并传输给控制单元;
控制单元,根据数据处理单元传输过来的信息,控制修剪装备进行精准修剪。
进一步,所述修剪装备包括履带底盘和安装在该履带底盘顶部底座上的修剪作业机构,其中,所述履带底盘用于承载与移动修剪作业机构,所述修剪作业机构包括修剪机械臂及装于该修剪机械臂末端的刀盘,用于对树木进行切割,所述修剪作业机构通过液压缸或电动推杆驱动。
进一步,所述修剪机械臂由两节机械臂连接而成,分别为第一机械臂和第二机械臂。
进一步,所述信息采集装置包括点云获取装置和修剪装备位姿获取装置;
所述点云获取装置采用深度相机和/或激光雷达,用于获取目标树木和周围环境的点云信息;
所述修剪装备位姿获取装置采用拉绳传感器、角度传感器、旋转编码器和IMU姿态传感器;所述拉绳传感器用于采集液压缸或电动推杆的伸出距离;所述角度传感器用于采集机械臂和刀盘角度变化;所述旋转编码器用于采集履带底盘行驶距离和行驶速度;所述IMU姿态传感器用于测量履带底盘的姿态。
进一步,所述数据处理单元包括点云处理单元,所述点云处理单元具体执行以下操作:
从点云获取装置获取的信息中提取树木表面的点云数据,对点云数据进行降采样、去噪和平滑处理,将多个视角的点云数据进行配准,得到完整的树木点云数据,对完整的树木点云数据进行分割,得到单个树木的点云数据,从单个树木的点云数据中提取冠幅、株高、行距和体积参数,计算目标修剪部位的中心三维坐标以及修剪角度,具体实现为:在PCL库中利用passthrough算法设定阈值滤除目标远程噪声点云和RANSAC算法滤除地面点云,使用RadiusOutlierRemoval算法筛除离群点云,得到树木群信息,然后以目标集合的聚类误差平方和最小为优化目标,结合最小最大距离法,通过K-Means聚类将处理后的树木点云数据划分为K个簇,每个簇为一棵树木的三维点云;以激光雷达或深度相机初始点为原点建立三维坐标系,利用PassThrough filter滤波算法分别提取树干和树冠部分点云,并投影至垂直XOY平面,采用RANSAC算法拟合圆,以树冠拟合圆的直径为树冠直径,以树干拟合圆的圆心为树木位置,为使得果树具备更好的光照条件,需将果树的高度和直径控制在行距的预设倍数,行距的计算方法参照如下:分别将相邻两条果树行的果树树干的投影圆中心拟合为直线,以两条直线之间的间距为果树行距,以行距的预设倍数为约束,在果树的三维点云中,将不满足这一约束的树冠层定义为修剪对象,在三维点云中滤除,将滤除后的树冠层点云投影至与修剪装备前进方向垂直的平面,设定线段长度拟合线段,将该线段的中心位置(x,y,z)及倾角θ定为刀盘切割部位及角度,即目标修剪部位的中心三维坐标以及修剪角度。
进一步,所述数据处理单元还包括修剪装备位姿构建单元,其包括:
底盘位姿计算模块,采用卡尔曼滤波算法融合旋转编码器信息和IMU姿态传感器信息,构建底盘行驶里程计;
修剪机械臂位姿计算模块,用于融合角度传感器信息和拉绳传感器信息,构建修剪作业机构的位姿信息;
进一步,所述控制单元包括:
路径规划模块,用于根据目标修剪部位的中心三维坐标以及修剪角度,规划履带底盘和修剪作业机构的移动路径和姿态调节策略;
运动控制模块,用于向履带底盘和修剪作业机构发送移动指令和姿态调节指令,并接收反馈信息;
修剪控制模块,用于向刀盘发送启停指令,并接收反馈信息。
进一步,所述的基于三维点云的自动对靶调节姿态修剪系统,还包括控制柜,所述控制柜上设置有触控屏,用于系统操作,所述数据处理单元和控制单元布置于控制柜中,所述点云获取装置布置于控制柜上方,并位于修剪装备正前方。
本发明也提供了上述基于三维点云的自动对靶调节姿态修剪系统的修剪方法,包括单一修剪模式和差异化对靶修剪模式,若选择单一修剪模式,则执行步骤S1;若选择差异化对靶修剪模式,则执行步骤S2-S7;
S1、在单一修剪模式下,开启修剪装备位姿获取装置,获取当前修剪装备的三维姿态并显示于触摸屏,通过触摸屏多次拖动选择修剪装备的各个机械臂和刀盘的角度,确定为修剪姿态,设置完成后,将设定姿态的第一机械臂、第二机械臂及刀盘的转动角度(θ1,θ2,θ3)信息反馈至控制单元,调节修剪装备姿态至目标姿态,驱动履带底盘进行修剪,该修剪模式的效果适用于多株统一的整形修剪场景;
S2、在差异化对靶修剪模式下,触摸屏上设有差异化对靶修剪按钮,点击此按钮,便能开启差异化对靶修剪;启动修剪装备的履带底盘运动,开启点云获取装置,启动数据处理单元,对目标树木进行扫描,获取目标树木和周围环境的三维点云数据;
S3、对三维点云数据进行降采样、去噪和平滑处理,再将多个视角的三维点云数据进行配准,得到完整的树木点云数据,对完整的树木点云数据进行分割,得到单个树木的点云数据,提取树木的冠幅、株高、行距和体积参数,根据农艺要求计算目标修剪部位,并计算所有目标部位的三维坐标以及修剪角度;
S4、根据目标修剪部位的三维坐标以及修剪角度,从部位高到低规划履带底盘路径和修剪作业机构的姿态调节策略;
S5、获取修剪装备当前的状态,根据目标修剪部位的修剪路径规划,控制履带底盘移动到正确的位置,并调节修剪机械臂的位置姿态,使其与目标修剪部位对准;
S6、启动刀盘,履带底盘运动,对目标修剪部位进行整形修剪处理;
S7、重复步骤S4-S6,直到完成所有树木的修剪。
进一步,在步骤S5中,在底座、各机械臂前端及刀盘前端和中心固结坐标系,通过坐标系之间的变换矩阵,如式(1)所示,实现根据当前第一机械臂、第二机械臂及刀盘的转动角度(θ1,θ2,θ3),求解出末端刀盘中心坐标系在现实中的位置;
式中,i为杆的编号,取值为0至3,杆0为底座,杆1为第一机械臂,杆2为第二机械臂,杆3为刀盘,为杆i坐标系{i}相对于杆i-1坐标系{i-1}的变换矩阵,/>为杆i-1坐标系的xi-1轴旋转矩阵,αi-1为从杆i-1坐标系的zi-1轴到杆i坐标系的zi轴绕杆i-1坐标系的xi-1轴的旋转角度;/>为杆i-1坐标系的xi-1轴移动矩阵,ai-1为移动距离,即为连杆i-1的长度;/>为zi轴旋转矩阵,θi为从杆i-1坐标系的xi-1轴到杆i坐标系的xi轴绕杆i坐标系的zi轴的旋转角度,即为θi为连杆i与连杆i-1之间的夹角;/>为杆i坐标系的zi轴移动矩阵,di为移动距离,即为连杆i相对于连杆i-1的偏距;
将目标切割点的位置通过坐标转换为刀盘坐标系的坐标点,通过逆运动学求解第一机械臂、第二机械臂及刀盘的运动角度,建立逆运动学几何求解模型,逆向运动学解析目的在于给定末端杆件的三维坐标及转动角度,反求出所有杆件的各自转动角度,具体求解过程如下:根据目标修剪部位的三维坐标变换为刀盘中心坐标系在底座坐标系x、z轴的位置同时结合刀盘姿态角度θT,根据公式(2)将坐标转换为刀盘前端坐标系在底座坐标系x、z轴的坐标/>
式中,tx、tz为刀盘前端坐标系与刀盘中心坐标系初始位置x、z方向上的差值;
根据第一机械臂坐标系、第二机械臂坐标系、刀盘前端坐标原点所构成的三角形关系,根据式(3)、(4)、(5)解出第一机械臂转动角度θ1以及第二机械臂的转动角度θ2,最后,根据给出的刀盘姿态角度θT与θ1、θ2的差值,能得到刀盘的转动角度θ3;
式中,L为第一机械臂坐标系与刀盘前端坐标系的距离;d0为第一机械臂坐标系与底座坐标系的距离;∠1为L与x轴的夹角;∠2为L与第一机械臂夹角;∠3为第二机械臂与第一机械臂夹角;a1为第一机械臂长度;a2为第二机械臂长度。
本发明与现有技术相比,具有如下优点与有益效果:
本发明能够根据探测到的树木点云构建出树木的冠幅、株高等参数,结合修剪需求,计算树木目标修剪部位,从而实现根据树木冠层参数改变修剪姿态,精准修剪的目的,减轻修剪过程中的工作量,提高修剪效率。本发明不仅能够适用于多株统一的整形修剪场景,还能根据果树的差异化进行对靶精准修剪,具有实际应用价值,值得推广。
附图说明
图1为修剪装备的结构示意图。
图2为修剪装备的修剪示意图。
图3为单一修剪和差异化对靶修剪模式的场景示意图;图中,(a)为单一修剪模式,(b)为差异化对靶修剪模式。
图4为逆运动学几何求解模型示意图。
其中:1为履带底盘;2为液压缸;3为发动机;4为第一机械臂;5为第二机械臂;6为马达;7为刀盘;8为激光雷达;9为深度相机;10为触控屏;11为控制柜;12为底座。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
本实施例公开了一种基于三维点云的自动对靶调节姿态修剪系统,包括:
修剪装备,用于对目标树木进行修剪;
信息采集装置,用于获取目标树木和周围环境的点云信息以及修剪装备位姿信息,并传输给数据处理单元;
数据处理单元,用于对信息采集装置传输过来的信息进行处理,获得目标树木修剪部位的三维坐标和修剪角度以及修剪装备的位置和姿态信息,并传输给控制单元;
控制单元,根据数据处理单元传输过来的信息,控制修剪装备进行精准修剪;
控制柜11,所述控制柜11上设置有触控屏10,用于系统操作,见图1所示,所述数据处理单元和控制单元布置于控制柜中。
具体地,见图1所示,所述修剪装备包括履带底盘1和安装在该履带底盘顶部底座12上的修剪作业机构,其中,所述履带底盘1由发动机3驱动,用于承载与移动修剪作业机构,所述修剪作业机构包括修剪机械臂及由马达6驱动旋转的刀盘7,用于对树木进行切割,所述修剪机械臂由两节机械臂连接而成,分别为第一机械臂4和第二机械臂5,刀盘7安装于第二机械臂5的末端,所述修剪作业机构可通过液压缸或电动推杆驱动,而在本实施例具体是采用液压缸2驱动。
具体地,所述信息采集装置包括点云获取装置和修剪装备位姿获取装置;
见图1所示,所述点云获取装置采用深度相机9和/或激光雷达8,而在本实施例具体是同时采用深度相机9和激光雷达8,布置于控制柜11上方,并位于修剪装备正前方,用于获取目标树木和周围环境的点云信息;
所述修剪装备位姿获取装置采用拉绳传感器、角度传感器、旋转编码器和IMU姿态传感器;所述拉绳传感器用于采集液压缸或电动推杆的伸出距离,而在本实施例具体是布置于液压缸缸筒和活塞杆两端,用于采集液压缸2的伸出距离;所述角度传感器布置于第一机械臂4、第二机械臂5和刀盘7上,与其贴合,用于采集第一机械臂4、第二机械臂5和刀盘7角度变化;所述旋转编码器布置于履带底盘1的驱动轮上,用于采集履带底盘1行驶距离和行驶速度;所述IMU姿态传感器布置于履带底盘1上方,用于测量履带底盘1的姿态。
具体地,所述数据处理单元包括点云处理单元,所述点云处理单元具体执行以下操作:
从深度相机9和激光雷达8获取的深度信息和距离信息中提取树木表面的点云数据,对点云数据进行降采样、去噪和平滑处理,将多个视角的点云数据进行配准,得到完整的树木点云数据,对完整的树木点云数据进行分割,得到单个树木的点云数据,从单个树木的点云数据中提取冠幅、株高、行距和体积等参数,计算目标修剪部位的中心三维坐标以及修剪角度,具体实现为:在PCL库中利用passthrough算法设定阈值滤除目标远程噪声点云和RANSAC算法滤除地面点云,使用RadiusOutlierRemoval算法筛除离群点云,得到树木群信息,然后以目标集合的聚类误差平方和最小为优化目标,结合最小最大距离法,通过K-Means聚类将处理后的树木点云数据划分为K个簇,每个簇为一棵树木的三维点云;以激光雷达或深度相机初始点为原点建立三维坐标系,利用PassThrough filter滤波算法分别提取树干和树冠部分点云,并投影至垂直XOY平面,采用RANSAC算法拟合圆,以树冠拟合圆的直径为树冠直径,以树干拟合圆的圆心为树木位置,修剪策略以荔枝树修剪农艺要求为例,为使得果树具备更好的光照条件,需将果树的高度和直径控制在行距的0.7倍,行距的计算方法参照如下:分别将相邻两条果树行的果树树干的投影圆中心拟合为直线,以两条直线之间的间距为果树行距,以行距的0.7倍为约束,在果树的三维点云中,将不满足这一约束的树冠层定义为修剪对象,在三维点云中滤除,将滤除后的树冠层点云投影至与修剪装备前进方向垂直的平面,设定线段长度拟合线段,将该线段的中心位置(x,y,z)及倾角θ定为刀盘切割部位及角度,即目标修剪部位的中心三维坐标以及修剪角度。
具体地,所述数据处理单元还包括修剪装备位姿构建单元,其包括:
底盘位姿计算模块,采用卡尔曼滤波算法融合旋转编码器信息和IMU姿态传感器信息,构建底盘行驶里程计;
修剪机械臂位姿计算模块,用于融合角度传感器信息和拉绳传感器信息,构建修剪作业机构的位姿信息;
具体地,所述控制单元包括:
路径规划模块,用于根据目标修剪部位的中心三维坐标以及修剪角度,规划履带底盘和修剪作业机构的移动路径和姿态调节策略;
运动控制模块,用于向履带底盘和修剪作业机构发送移动指令和姿态调节指令,并接收反馈信息;
修剪控制模块,用于向刀盘发送启停指令,并接收反馈信息。
见图2和图3所示,本实施例上述基于三维点云的自动对靶调节姿态修剪系统的修剪方法,包括单一修剪模式和差异化对靶修剪模式,若选择单一修剪模式,则执行步骤S1;若选择差异化对靶修剪模式,则执行步骤S2-S7;
S1、在单一修剪模式下,开启修剪装备位姿获取装置,获取当前修剪装备的三维姿态并显示于触摸屏,通过触摸屏多次拖动选择修剪装备的各个机械臂和刀盘的角度,确定为修剪姿态,设置完成后,将设定姿态的第一机械臂、第二机械臂及刀盘的转动角度(θ1,θ2,θ3)信息反馈至控制单元,调节修剪装备姿态至目标姿态,驱动履带底盘进行修剪,该修剪模式的效果适用于多株统一的整形修剪场景;
S2、在差异化对靶修剪模式下,触摸屏上设有差异化对靶修剪按钮,点击此按钮,便能开启差异化对靶修剪;启动修剪装备的履带底盘运动,开启点云获取装置,启动数据处理单元,对目标树木进行扫描,获取目标树木和周围环境的三维点云数据;
S3、对三维点云数据进行降采样、去噪和平滑处理,再将多个视角的三维点云数据进行配准,得到完整的树木点云数据,对完整的树木点云数据进行分割,得到单个树木的点云数据,提取树木的冠幅、株高、行距和体积参数,根据农艺要求计算目标修剪部位,并计算所有目标部位的三维坐标以及修剪角度;
S4、根据目标修剪部位的三维坐标以及修剪角度,从部位高到低规划履带底盘路径和修剪作业机构的姿态调节策略;
S5、获取修剪装备当前的状态,根据目标修剪部位的修剪路径规划,控制履带底盘移动到正确的位置,并调节修剪机械臂的位置姿态,使其与目标修剪部位对准;
S6、启动刀盘,履带底盘运动,对目标修剪部位进行整形修剪处理;
S7、重复步骤S4-S6,直到完成所有树木的修剪。
具体地,在步骤S5中,在底座、各机械臂前端及刀盘中心固结坐标系,通过坐标系之间的变换矩阵,如式(1)所示,实现根据当前第一机械臂、第二机械臂及刀盘的转动角度(θ1,θ2,θ3),求解出末端刀盘中心坐标系在现实中的位置;
式中,i为杆的编号,取值为0至3,杆0为底座,杆1为第一机械臂,杆2为第二机械臂,杆3为刀盘,为杆i坐标系{i}相对于杆i-1坐标系{i-1}的变换矩阵,/>为杆i-1坐标系的xi-1轴旋转矩阵,αi-1为从杆i-1坐标系的zi-1轴到杆i坐标系的zi轴绕杆i-1坐标系的xi-1轴的旋转角度;/>为杆i-1坐标系的xi-1轴移动矩阵,ai-1为移动距离,即为连杆i-1的长度;/>为zi轴旋转矩阵,θi为从杆i-1坐标系的xi-1轴到杆i坐标系的xi轴绕杆i坐标系的zi轴的旋转角度,即为θi为连杆i与连杆i-1之间的夹角;/>为杆i坐标系的zi轴移动矩阵,di为移动距离,即为连杆i相对于连杆i-1的偏距;
将目标切割点的位置通过坐标转换为刀盘坐标系的坐标点,通过逆运动学求解第一机械臂、第二机械臂及刀盘的运动角度;实现过程见图4所示,建立逆运动学几何求解模型,逆向运动学解析目的在于给定末端杆件的三维坐标及转动角度,反求出所有杆件的各自转动角度,具体求解过程如下:根据目标修剪部位的三维坐标变换为刀盘中心坐标系在底座坐标系x、z轴的位置同时结合刀盘姿态角度θT,根据公式(2)将坐标转换为刀盘前端坐标系在底座坐标系x、z轴的坐标/>
式中,tx、tz为刀盘前端坐标系与刀盘中心坐标系初始位置x、z方向上的差值;
根据第一机械臂坐标系(为图中Frame1)、第二机械臂坐标系(为图中Frame2)、刀盘前端坐标(为图中Frame3)原点所构成的三角形关系,根据式(3)、(4)、(5)解出第一机械臂转动角度θ1以及第二机械臂的转动角度θ2,最后,根据给出的刀盘姿态角度θT与θ1、θ2的差值,能得到刀盘的转动角度θ3;
式中,L为第一机械臂坐标系与刀盘前端坐标系的距离;d0为第一机械臂坐标系与底座坐标系的距离;∠1为L与x轴的夹角;∠2为L与第一机械臂夹角;∠3为第二机械臂与第一机械臂夹角;a1为第一机械臂长度;a2为第二机械臂长度。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.基于三维点云的自动对靶调节姿态修剪系统,其特征在于,包括:
修剪装备,用于对目标树木进行修剪;
信息采集装置,用于获取目标树木和周围环境的点云信息以及修剪装备位姿信息,并传输给数据处理单元;
数据处理单元,用于对信息采集装置传输过来的信息进行处理,获得目标树木修剪部位的三维坐标和修剪角度以及修剪装备的位置和姿态信息,并传输给控制单元;
控制单元,根据数据处理单元传输过来的信息,控制修剪装备进行精准修剪。
2.根据权利要求1所述的基于三维点云的自动对靶调节姿态修剪系统,其特征在于,所述修剪装备包括履带底盘和安装在该履带底盘顶部底座上的修剪作业机构,其中,所述履带底盘用于承载与移动修剪作业机构,所述修剪作业机构包括修剪机械臂及装于该修剪机械臂末端的刀盘,用于对树木进行切割,所述修剪作业机构通过液压缸或电动推杆驱动。
3.根据权利要求2所述的基于三维点云的自动对靶调节姿态修剪系统,其特征在于,所述修剪机械臂由两节机械臂连接而成,分别为第一机械臂和第二机械臂。
4.根据权利要求3所述的基于三维点云的自动对靶调节姿态修剪系统,其特征在于,所述信息采集装置包括点云获取装置和修剪装备位姿获取装置;
所述点云获取装置采用深度相机和/或激光雷达,用于获取目标树木和周围环境的点云信息;
所述修剪装备位姿获取装置采用拉绳传感器、角度传感器、旋转编码器和IMU姿态传感器;所述拉绳传感器用于采集液压缸或电动推杆的伸出距离;所述角度传感器用于采集机械臂和刀盘角度变化;所述旋转编码器用于采集履带底盘行驶距离和行驶速度;所述IMU姿态传感器用于测量履带底盘的姿态。
5.根据权利要求4所述的基于三维点云的自动对靶调节姿态修剪系统,其特征在于,所述数据处理单元包括点云处理单元,所述点云处理单元具体执行以下操作:
从点云获取装置获取的信息中提取树木表面的点云数据,对点云数据进行降采样、去噪和平滑处理,将多个视角的点云数据进行配准,得到完整的树木点云数据,对完整的树木点云数据进行分割,得到单个树木的点云数据,从单个树木的点云数据中提取冠幅、株高、行距和体积参数,计算目标修剪部位的中心三维坐标以及修剪角度,具体实现为:在PCL库中利用passthrough算法设定阈值滤除目标远程噪声点云和RANSAC算法滤除地面点云,使用RadiusOutlierRemoval算法筛除离群点云,得到树木群信息,然后以目标集合的聚类误差平方和最小为优化目标,结合最小最大距离法,通过K-Means聚类将处理后的树木点云数据划分为K个簇,每个簇为一棵树木的三维点云;以激光雷达或深度相机初始点为原点建立三维坐标系,利用PassThrough filter滤波算法分别提取树干和树冠部分点云,并投影至垂直XOY平面,采用RANSAC算法拟合圆,以树冠拟合圆的直径为树冠直径,以树干拟合圆的圆心为树木位置,为使得果树具备更好的光照条件,需将果树的高度和直径控制在行距的预设倍数,行距的计算方法参照如下:分别将相邻两条果树行的果树树干的投影圆中心拟合为直线,以两条直线之间的间距为果树行距,以行距的预设倍数为约束,在果树的三维点云中,将不满足这一约束的树冠层定义为修剪对象,在三维点云中滤除,将滤除后的树冠层点云投影至与修剪装备前进方向垂直的平面,设定线段长度拟合线段,将该线段的中心位置(x,y,z)及倾角θ定为刀盘切割部位及角度,即目标修剪部位的中心三维坐标以及修剪角度。
6.根据权利要求5所述的基于三维点云的自动对靶调节姿态修剪系统,其特征在于,所述数据处理单元还包括修剪装备位姿构建单元,其包括:
底盘位姿计算模块,采用卡尔曼滤波算法融合旋转编码器信息和IMU姿态传感器信息,构建底盘行驶里程计;
修剪机械臂位姿计算模块,用于融合角度传感器信息和拉绳传感器信息,构建修剪作业机构的位姿信息。
7.根据权利要求6所述的基于三维点云的自动对靶调节姿态修剪系统,其特征在于,所述控制单元包括:
路径规划模块,用于根据目标修剪部位的中心三维坐标以及修剪角度,规划履带底盘和修剪作业机构的移动路径和姿态调节策略;
运动控制模块,用于向履带底盘和修剪作业机构发送移动指令和姿态调节指令,并接收反馈信息;
修剪控制模块,用于向刀盘发送启停指令,并接收反馈信息。
8.根据权利要求7所述的基于三维点云的自动对靶调节姿态修剪系统,其特征在于,还包括控制柜,所述控制柜上设置有触控屏,用于系统操作,所述数据处理单元和控制单元布置于控制柜中,所述点云获取装置布置于控制柜上方,并位于修剪装备正前方。
9.根据权利要求1-8任意一项所述的基于三维点云的自动对靶调节姿态修剪系统的修剪方法,其特征在于,包括单一修剪模式和差异化对靶修剪模式,若选择单一修剪模式,则执行步骤S1;若选择差异化对靶修剪模式,则执行步骤S2-S7;
S1、在单一修剪模式下,开启修剪装备位姿获取装置,获取当前修剪装备的三维姿态并显示于触摸屏,通过触摸屏多次拖动选择修剪装备的各个机械臂和刀盘的角度,确定为修剪姿态,设置完成后,将设定姿态的第一机械臂、第二机械臂及刀盘的转动角度(θ1,θ2,θ3)信息反馈至控制单元,调节修剪装备姿态至目标姿态,驱动履带底盘进行修剪,该修剪模式的效果适用于多株统一的整形修剪场景;
S2、在差异化对靶修剪模式下,触摸屏上设有差异化对靶修剪按钮,点击此按钮,便能开启差异化对靶修剪;启动修剪装备的履带底盘运动,开启点云获取装置,启动数据处理单元,对目标树木进行扫描,获取目标树木和周围环境的三维点云数据;
S3、对三维点云数据进行降采样、去噪和平滑处理,再将多个视角的三维点云数据进行配准,得到完整的树木点云数据,对完整的树木点云数据进行分割,得到单个树木的点云数据,提取树木的冠幅、株高、行距和体积参数,根据农艺要求计算目标修剪部位,并计算所有目标部位的三维坐标以及修剪角度;
S4、根据目标修剪部位的三维坐标以及修剪角度,从部位高到低规划履带底盘路径和修剪作业机构的姿态调节策略;
S5、获取修剪装备当前的状态,根据目标修剪部位的修剪路径规划,控制履带底盘移动到正确的位置,并调节修剪机械臂的位置姿态,使其与目标修剪部位对准;
S6、启动刀盘,履带底盘运动,对目标修剪部位进行整形修剪处理;
S7、重复步骤S4-S6,直到完成所有树木的修剪。
10.根据权利要求9所述的基于三维点云的自动对靶调节姿态修剪系统的修剪方法,其特征在于,在步骤S5中,在底座、各机械臂前端及刀盘前端和中心固结坐标系,通过坐标系之间的变换矩阵,如式(1)所示,实现根据当前第一机械臂、第二机械臂及刀盘的转动角度(θ1,θ2,θ3),求解出末端刀盘中心坐标系在现实中的位置;
式中,i为杆的编号,取值为0至3,杆0为底座,杆1为第一机械臂,杆2为第二机械臂,杆3为刀盘,为杆i坐标系{i}相对于杆i-1坐标系{i-1}的变换矩阵,/>为杆i-1坐标系的xi-1轴旋转矩阵,αi-1为从杆i-1坐标系的zi-1轴到杆i坐标系的zi轴绕杆i-1坐标系的xi-1轴的旋转角度;/>为杆i-1坐标系的xi-1轴移动矩阵,ai-1为移动距离,即为连杆i-1的长度;/>为zi轴旋转矩阵,θi为从杆i-1坐标系的xi-1轴到杆i坐标系的xi轴绕杆i坐标系的zi轴的旋转角度,即为θi为连杆i与连杆i-1之间的夹角;/>为杆i坐标系的zi轴移动矩阵,di为移动距离,即为连杆i相对于连杆i-1的偏距;
将目标切割点的位置通过坐标转换为刀盘坐标系的坐标点,通过逆运动学求解第一机械臂、第二机械臂及刀盘的运动角度,建立逆运动学几何求解模型,逆向运动学解析目的在于给定末端杆件的三维坐标及转动角度,反求出所有杆件的各自转动角度,具体求解过程如下:根据目标修剪部位的三维坐标变换为刀盘中心坐标系在底座坐标系x、z轴的位置同时结合刀盘姿态角度θT,根据公式(2)将坐标转换为刀盘前端坐标系在底座坐标系x、z轴的坐标/>
式中,tx、tz为刀盘前端坐标系与刀盘中心坐标系初始位置x、z方向上的差值;
根据第一机械臂坐标系、第二机械臂坐标系、刀盘前端坐标原点所构成的三角形关系,根据式(3)、(4)、(5)解出第一机械臂转动角度θ1以及第二机械臂的转动角度θ2,最后,根据给出的刀盘姿态角度θT与θ1、θ2的差值,能得到刀盘的转动角度θ3;
式中,L为第一机械臂坐标系与刀盘前端坐标系的距离;d0为第一机械臂坐标系与底座坐标系的距离;∠1为L与x轴的夹角;∠2为L与第一机械臂夹角;∠3为第二机械臂与第一机械臂夹角;a1为第一机械臂长度;a2为第二机械臂长度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311804959.6A CN117678440A (zh) | 2023-12-26 | 2023-12-26 | 基于三维点云的自动对靶调节姿态修剪系统及其修剪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311804959.6A CN117678440A (zh) | 2023-12-26 | 2023-12-26 | 基于三维点云的自动对靶调节姿态修剪系统及其修剪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117678440A true CN117678440A (zh) | 2024-03-12 |
Family
ID=90137046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311804959.6A Pending CN117678440A (zh) | 2023-12-26 | 2023-12-26 | 基于三维点云的自动对靶调节姿态修剪系统及其修剪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117678440A (zh) |
-
2023
- 2023-12-26 CN CN202311804959.6A patent/CN117678440A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11751558B2 (en) | Autonomous agricultural treatment system using map based targeting of agricultural objects | |
Xie et al. | Actuators and sensors for application in agricultural robots: A review | |
CN109392462A (zh) | 采摘黄花菜的机器人及方法 | |
US11694434B2 (en) | Precision agricultural treatment based on growth stage in real time | |
EP3907469A1 (en) | Automatic driving system for grain processing, and automatic driving method and path planning method therefor | |
CN114080905B (zh) | 基于数字双胞胎的采摘方法及云采摘机器人系统 | |
CN114260895A (zh) | 一种采摘机器人机械臂抓取避障方向确定的方法及其系统 | |
Hu et al. | Simplified 4-DOF manipulator for rapid robotic apple harvesting | |
CN105259832A (zh) | 一种基于多目立体视觉的智能采棉机控制系统 | |
CN113207675A (zh) | 一种气流振动式设施作物自动授粉装置及方法 | |
CA3125700C (en) | Automatic driving system for grain processing, automatic driving method and automatic identification method | |
Kaljaca et al. | Automated boxwood topiary trimming with a robotic arm and integrated stereo vision | |
CN117678440A (zh) | 基于三维点云的自动对靶调节姿态修剪系统及其修剪方法 | |
Peebles et al. | Robotic Harvesting of Asparagus using Machine Learning and Time-of-Flight Imaging–Overview of Development and Field Trials | |
Huang et al. | Development of an automatic control system for a hydraulic pruning robot | |
Xue et al. | An agricultural robot for multipurpose operations in a greenhouse | |
US20220117211A1 (en) | Autonomous agricultural observation and precision treatment system | |
Shamshiri et al. | An overview of visual servoing for robotic manipulators in digital agriculture | |
Hutsol et al. | Robotic technologies in horticulture: analysis and implementation prospects | |
Zeng et al. | A review of the research progress of pruning robots | |
Xu et al. | Geometric positioning and color recognition of greenhouse electric work robot based on visual processing | |
Zhao et al. | Rapid development methodology of agricultural robot navigation system working in GNSS-denied environment | |
CN109885117A (zh) | 一种无人化自动农业耕种系统 | |
CN212876777U (zh) | 一种花椒自动采摘装置 | |
CN116034732B (zh) | 一种串番茄模糊采摘方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |