CN110378901B - 一种基于深度相机的球形花木中心测量与修剪控制方法 - Google Patents

Abstract

本发明公开了园林机械领域内的一种基于深度相机的球形花木中心测量与修剪控制方法，通过安装于修剪刀头侧面的深度相机获取球形花木的表面深度图像，并对球形花木表面深度图像进行滤波与形态学处理，获取球形花木的中心，根据求取的球形花木中心控制花木修剪机构对球形花木进行修剪，本发明利用深度相机获取球形花木的中心，并控制修剪机带动修剪刀头对球形花木进行自动修剪，不需要操作工人花费大量精力将修剪刀头精确对到球形花木的修剪位置，大大节省球形花木的修剪时间，提高球形花木的修剪一致性和稳定性，可用于灌木修剪中。

Description

一种基于深度相机的球形花木中心测量与修剪控制方法

技术领域

本发明涉及一种修剪方法，特别涉及一种球形花木中心测量与修剪控制方法。

背景技术

传统的花木修剪都是人工修剪，近些年有研究学者开始探索自动花木修剪机构，并实现了部分自动化，但是针对高速公路上球形花木的自动修剪机构，尤其是球形花木的中心自动定位和自动修剪还存在很多难题需要解决。由于花木修剪工人在高速公路上作业非常危险，而且对球形花木的修剪效率低，一种自动的球形花木自动修剪机构非常有意义。

随着主动式的深度相机的发展(TOF、结构光等)，利用单个深度相机获取目标物表面的深度信息已成为可能。

发明内容

本发明的目的是提供一种基于深度相机的球形花木中心测量与修剪控制方法，可更加精确高效地对球形花木进行修剪，大量节省人力与时间，稳定高效，精确度高，实用性强。

本发明的目的是这样实现的：一种基于深度相机的球形花木中心测量与修剪控制方法，包括离线和在线两个过程：

离线过程：

步骤S1：深度相机标定，使用标定板对深度图像的像素长度f_x,f_y和测量深度H关系进行线性标定，获取深度图像的像素长度；

步骤S2：将深度相机移动到待修剪球形花木上方，测量花木中心在深度相机坐标系中的深度H₀；

步骤S3：通过调整旋转大臂和水平移动滑台来调整修剪刀头位置，使其对准花木中心，然后调整竖直移动滑台使修剪刀头下降到合适的修剪位置，记竖直移动滑台下降高度为h₀，作为示教下降高度；

在线过程：

步骤S4：移动整个修剪平台，使得待修剪的花木大致位于深度相机的视野范围内；

步骤S5：深度相机获取球形花木的深度图像，并根据所获取的球形花木深度图像计算球形花木的中心坐标；

步骤S6：通过深度相机所测量的球形花木中心点坐标(Δx，Δy)和球形花木在深度相机中的深度信息H，计算运动执行机构的调整参数，即，旋转大臂的旋转角度θ，水平移动滑台的移动距离d，竖直移动滑台的移动距离h：

h＝(H-H₀)+h₀

其中，X为深度相机中心点距离旋转大臂主轴水平x向距离，Y为深度相机中心点距离转大臂旋转轴中心点水平y向距离，x向与y向分别为深度相机的相机坐标系x轴与y轴方向。

作为本发明的进一步限定，步骤1)具体为：使用标定板对深度图像的像素长度f_x,f_y和测量深度H关系进行线性标定，获取深度图像的像素长度：

f_x＝l_x×H

f_y＝l_y×H

其中，l_x,l_y为定值，H为像素的深度，f_x,f_y为H深度处像素的长度。

作为本发明的进一步限定，步骤S5)根据深度图像求取球形花木中心坐标的算法如下：

5-1)将深度图转换为灰度图；

5-2)使用测量深度对应的灰度阈值对转换后的灰度图像进行阈值分割，获取球形花木的表面信息；

5-3)对所分割的球形花木表面区域进行填充、闭运算和连通区域运算等图像形态学处理，然后选择面积最大的连通区域作为球形花木表面区域；

5-4)对球形花木表面区域进行最小外接圆拟合获取球形花木在图像中的中心坐标(u,v)，并转换为相机坐标系中的距离：

Δx＝f_x×(u-Width/2)

Δy＝f_y×(v-Height/2)

Width与Height分别为深度图像的宽度和高度；

5-5)在最小外接圆的范围内，自最低测量深度对应的灰度开始以灰度1为步长，循环对该范围内的深度图像进行阈值分割并计算分割区域面积，直到达到最小外接圆面积的1/10为止，记下此时的分割阈值，即深度信息H。

与现有技术相比，本发明的有益效果在于，本发明采用深度相机获取球形花木表面的深度图像，并对球形花木表面深度图像进行滤波与形态学处理，获取球形花木的中心，然后通过相机模型和与修剪机的几何关系，计算出实际需要旋转的角度与平移距离，从而控制修剪刀头对花木进行精确地修剪；本发明相对于人工修剪，大量节省了人力与时间，稳定高效，精确度高，实用性强。

附图说明

图1为本发明中修剪装置结构示意图。

图2为本发明中定位几何关系图。

图3为本发明一球形花木中心测量实例图。

具体实施方式

下面结合具体实施例对本发明做进一步说明。

如图1所示的一种基于深度相机的球形花木中心测量与修剪控制装置，主要由一个大臂10以及安装于其末端的深度相机8、水平移动滑台7、竖直移动滑台6和修剪刀头9构成，其中，大臂10及其末端组成的竖直移动滑台6、水平移动滑台7具有三个自由度，能够带动修剪刀头9对任意中心高度的花木进行修剪；深度相机8安装于大臂末端，用于测量待修剪花木的形态中心，并获取表面深度信息，不跟随竖直移动滑台6、水平移动滑台7一起移动，大臂10末端的竖直移动滑台6与水平移动滑台7进行组合，水平移动滑台7带动竖直移动滑台6以及下方安装的修剪刀头9一起移动；当修剪刀头9的旋转中心未精确定位到待修剪花木中心的正上方时，修剪刀头9及竖直滑台6始终处于最上限高度处；大臂转轴11、水平移动滑台7、竖直移动滑台6分别通过各自电机连接线3、4与电控柜和工控机1相连，电控柜和工控机1与大臂10经旋转电机连接线2；深度相机8通过深度相机连接线5与电控柜和工控机1相连；本发明采用深度相机8对球形花木进行图像采集，同时获得花木表面图像的深度信息，随后对深度信息图像进行滤波与形态学处理，从而获得精确的球形花木的中心位置；接着利用相机模型与特定的几何关系，计算出实际需求的旋转角度和位移距离，从而由电控柜和工控机1发出信号，精确地引导修剪刀头9移动到花木的中心上方位置；到位后，根据离线时存储的示教下降高度以及当前在线检测到的球形花木中心高度的大小关系，计算出此时应当下降的高度，下降完毕后，工控机1发出信号，修剪刀头9开始旋转进行修剪。

如图3所示的一种基于深度相机的球形花木中心测量与修剪控制方法，包括如下步骤进行，参阅图3：

1.离线标定与示教：

深度相机像素长度标定和修剪高度示教，像素长度f_x,f_y和测量深度H(1000mm-3000mm范围)关系线性标定结果为f_x＝0.0021×H，f_y＝0.0023×H，示教花木中心高度测量为H₀＝1825mm，竖直滑台示教下降高度为h₀＝372mm

2.在线测量与控制：

已知机械大臂10的水平方向距离相机固定处Y＝3800mm、相机支架长度约为X＝500mm，所测量球形花木中心坐标为(Δx＝35，Δy＝52)所求执行机构运动参数为：

旋转角度：

平移距离：

测得其中心高度为H＝1904，则根据所示教竖直滑台下降高度h₀，得此时竖直滑台应下降高度为：

h＝(H-H₀)+h₀＝451

3.通过计算获得的旋转角度以及平移距离，工控机发送电信号给电机等驱动装置，首先旋转大臂7.91°，然后水平滑台前进89.1mm，最后竖直滑台下降451mm，使得修剪刀头的转轴自动准确地定位在球形花木中心的正上方。

4.下降到位后，PLC向刀头发送信号，进行旋转修剪两圈操作。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (1)

1.一种基于深度相机的球形花木中心测量与修剪控制方法，其特征在于，包括离线和在线两个过程：

离线过程：

步骤S1：深度相机标定，使用标定板对深度图像的像素长度f_x,f_y和测量深度H关系进行线性标定，获取深度图像的像素长度，具体为：使用标定板对深度图像的像素长度f_x,f_y和测量深度H关系进行线性标定，获取深度图像的像素长度：

f_x＝l_x×H

f_y＝l_y×H

其中，l_x,l_y为定值，H为像素的深度，f_x,f_y为H深度处像素的长度；

步骤S2：将深度相机移动到待修剪球形花木上方，测量花木中心在深度相机坐标系中的深度H₀；

步骤S3：通过调整旋转大臂和水平移动滑台来调整修剪刀头位置，使其对准花木中心，然后调整竖直移动滑台使修剪刀头下降到合适的修剪位置，记竖直移动滑台下降高度为h₀，作为示教下降高度；

在线过程：

步骤S4：移动整个修剪平台，使得待修剪的花木大致位于深度相机的视野范围内；

步骤S5：深度相机获取球形花木的深度图像，并根据所获取的球形花木深度图像计算球形花木的中心坐标，根据深度图像求取球形花木中心坐标的算法如下：

5-1)将深度图转换为灰度图；

5-2)使用测量深度对应的灰度阈值对转换后的灰度图像进行阈值分割，获取球形花木的表面信息；

5-3)对所分割的球形花木表面区域进行填充、闭运算和连通区域运算等图像形态学处理，然后选择面积最大的连通区域作为球形花木表面区域；

5-4)对球形花木表面区域进行最小外接圆拟合获取球形花木在图像中的中心坐标(u,v)，并转换为相机坐标系中的距离：

Δx＝f_x×(u-Width/2)

Δy＝f_y×(v-Height/2)

Width与Height分别为深度图像的宽度和高度；

5-5)在最小外接圆的范围内，自最低测量深度对应的灰度开始以灰度1为步长，循环对该范围内的深度图像进行阈值分割并计算分割区域面积，直到达到最小外接圆面积的1/10为止，记下此时的分割阈值，即深度信息H；

步骤S6：通过深度相机所测量的球形花木中心点坐标(Δx，Δy)和球形花木在深度相机中的深度信息H，计算运动执行机构的调整参数，即，旋转大臂的旋转角度θ，水平移动滑台的移动距离d，竖直移动滑台的移动距离h：

h＝(H-H₀)+h₀

其中，X为深度相机中心点距离旋转大臂主轴水平x向距离，Y为深度相机中心点距离转大臂旋转轴中心点水平y向距离，x向与y向分别为深度相机的相机坐标系x轴与y轴方向。