CN101807247B - 果蔬采摘点微调定位方法 - Google Patents

Abstract

本发明公开了一种果蔬采摘点微调定位方法，其包括步骤：利用采摘机器人采集果蔬抓取区域近景位置信息，获得第一次定位数据；根据所述第一次定位数据，控制采摘末端执行器运动到空间某一点；摄像机采集当前图像，并对采集到的图像进行处理得到采摘点图像坐标；将上述采摘点图像坐标转化为采摘点空间三维坐标；根据采摘点空间三维坐标，采摘机械臂控制器控制采摘末端执行器由当前位置运动至该空间三维坐标对应的位置，完成采摘点定位。本发明通过二次精确定位，微调校正机械臂末端运动误差，使得机器人目标定位系统形成闭环，从而精确定位采摘分割点，准确切割采摘黄瓜果实，提高采摘机器人工作可靠性。

Description

果蔬采摘点微调定位方法

技术领域

本发明涉及农业机器人领域，特别是涉及一种果蔬采摘点微调定位方法。

背景技术

近年来，国内外在现代农业技术领域中对果蔬采摘机器人的研究成为热点，但是真正达到代替人类完成采摘任务还有相当大的差距。最重要的问题有两方面：一是采摘机器人工作在非结构环境中，由于受自然光照、生物多样性等不稳定因素影响，目标与背景成多元信息叠加，果实与茎叶颜色的相近性，都成为果实特征信息提取的难点；二是采摘对象空间位置随机分布且个体差异较大，对采摘机器人末端执行器的定位精度要求很高。这些问题成为农业机器人发展中技术上的瓶颈。能够在复杂非结构环境下，准确提取收获目标采摘点是影响农业采摘机器人产业化推广的关键技术之一。

目前国内外采摘机器人采摘目标定位，大部分采用一次远景定位方式，采摘抓取误差较大。近几年采用近景二次精确定位的方式提高采摘精度的方法已经开始被研究，荷兰E.J.VAN等人在采摘机器人末端安装视觉传感器进行目标近景定位，但是其三维重建算法比较复杂、耗时，不能满足机器人实时性要求。因此通过简单快速的末端微调定位方法，提高采摘机器人精度具有重要意义。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是提供一种用于果蔬采摘机器人末端闭环定位方法，以精确定位果蔬采摘切割点，实现机械臂采摘过程中的二次微调精确定位，提高采摘机器人作业可靠性。

(二)技术方案

为解决上述技术问题，提供一种依照本发明实施方式的果蔬采摘点微调定位方法，其包括步骤：

S1，利用采摘机器人采集果蔬抓取区域近景三维位置信息，获得第一次定位数据；

S2，根据所述第一次定位数据，采摘机械臂控制器控制采摘末端执行器运动到所述第一次定位数据所限定的空间某一点，该点使得摄像机能正对果蔬上端区域拍摄到采摘点全景清晰图像；

S3，采摘机械臂控制器触发摄像机采集当前图像，并对采集到的图像进行处理得到采摘点图像坐标；所述对采集到的图像进行处理得到采摘点图像坐标具体包括：

S3-1，将当前彩色图像G通道由Sobel算子进行边缘检测，将灰度突变较大点处R、G、B值分别置为0；

S3-2，将步骤S3-1所得彩色图像由RGB空间向HSV空间转化；

S3-3，根据背景和果蔬在HSV空间中H、S通道色彩差异，去除部分噪声干扰；

S3-4，通过面积、矩形度判断提取黄瓜目标区域，取其中心线最上端边界像素为采摘分割点，从而确定其以像素为单位的图像坐标(μ，v)；

S4，将上述采摘点图像坐标转化为采摘点空间三维坐标；具体包括：

S4-1，通过下式将采摘点图像坐标转化为摄像机坐标系下的坐标值：

$\left\{\begin{array}{c}x=l_{x0}\mathrm{\μ}-l_{x1}\\ y=l_{y0}\mathrm{\ν}-l_{y1}\\ z=d\end{array}\right.$

其中d为采摘点当前位置距摄像机坐标系x-y平面的物理距离，l_x0、l_x1、l_y0、l_y1为摄像机内部参数，通过摄像机标定唯一确定，(x，y，z)为采摘点在摄像机坐标系下的坐标值；

S4-2，通过下式将采摘点摄像机坐标系下的坐标值转化为空间三维坐标，

$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

其中(x，y，z)为采摘点在摄像机坐标系下的坐标值，(X_w、Y_w、Z_w)为采摘点空间三维坐标，R、t分别为摄像机坐标系向空间三维坐标系变换的旋转矩阵和平移向量；

S5，根据采摘点空间三维坐标，采摘机械臂控制器控制采摘末端执行器由当前位置运动至该空间三维坐标对应的位置，完成采摘点定位。

(三)有益效果

本发明通过二次精确定位，微调校正机械臂末端运动误差，使得机器人目标定位系统形成闭环，从而精确定位采摘分割点，准确切割采摘果实，提高采摘机器人工作可靠性。

附图说明

图1是依据本发明实施方式的果蔬采摘点微调定位装置示意图；

图2是依据本发明实施方式的果蔬采摘点微调定位方法中的摄像机坐标系、空间三维坐标系和图像坐标系。

其中，1：摄像机；2：切刀；3：手爪。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示采摘机器人二次微调定位装置，采用彩色微型CCD摄像机1采集黄瓜抓取区域近景位置信息，将其安装于机械臂末端切刀2及手爪3正上方。如图2所示由摄像机光心O与x、y、z轴组成摄像机坐标系，由X_w、Y_w、Z_w轴组成空间三维坐标系，μ、v轴组成图像坐标系。

在采摘过程中，根据采摘机器人第一次定位数据，采摘机械臂控制器使得采摘末端执行器向目标点运动到空间某一点，该点使得摄像机能相距固定距离正对黄瓜上端区域进行拍摄。此时在摄像机坐标系下，采摘目标黄瓜距离摄像机光心x-y面距离约为d，即分割点z向坐标值约为d，采摘机械臂控制器触发摄像机开始采集当前一帧图像，通过目标提取算法，最后确定采摘点图像坐标位置。

目标提取算法需要针对温室复杂光线环境下采摘目标色彩特征，提取果实与果柄分割点。具体步骤为：

1)将当前帧彩色图像G通道由Sobel算子进行边缘检测，将灰度突变较大点处R、G、B值分别置为0；

2)将1)所得彩色图像由RGB空间向HSV空间转化；

3)通过地面、天空、叶片、黄瓜等在HSV空间中H、S通道色彩差异，去除部分噪声干扰；

4)通过面积、矩形度判断提取黄瓜目标区域，取其中心线最上端边界像素为采摘分割点，从而确定其以像素为单位的图像坐标。

由于采摘机械臂工作于空间三维坐标系，以物理长度为运动单位，因而根据摄像头采集图像采摘分割点位置微调机械臂末端空间坐标，需要将所得分割点图像坐标向空间三维坐标转化。

通过摄像机针孔成像原理可得，当采摘点当前位置距摄像机坐标系x-y平面物理距离为常数，即z＝d时，得

$\left\{\begin{array}{c}x=l_{x0}\mathrm{\μ}-l_{x1}\\ y=l_{y0}\mathrm{\ν}-l_{y1}\\ z=d\end{array}\right.$

其中l_x0、l_x1、l_y0、l_y1为摄像机内部参数，可以通过摄像机标定可以唯一确定；(x，y，z)为分割点在摄像机坐标系下坐标值；则可以根据分割点图像坐标(μ，v)得到(x，y，z)，实现图像坐标与摄像机坐标变换。

机械臂采摘过程中，各关节转角可由关节编码器测量得到，末端执行器在空间三维坐标系位置姿态已知，因为摄像机与采摘机械臂末端固定连接，所以摄像机坐标与世界坐标系转化参数矩阵已知。其中R、t分别为摄像机坐标系向空间三维坐标系变换的旋转矩阵和平移向量。

$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

因此可得X_w、Y_w、Z_w分割点空间三维坐标，据此位置信息，机械臂控制器第二次对机械臂末端运动进行规划，由当前位置向(X_w、Y_w、Z_w)点运动，使得末端切刀能够采摘分割点处准确切割果柄，完成采摘，从而校正系统总体误差，使得抓取分割更加准确。

由以上实施例可以看出，本发明实施例针对温室非结构环境下，基于近景彩色图像黄瓜采摘分割点提取识别方法，通过一种坐标转化方法计算分割点在世界坐标下三维坐标值，从而求解采摘末端沿果实轴向位移微调补偿，并将位移补偿向采摘机械臂控制器反馈，控制机械臂末端执行器的微调运动，实现采摘过程的二次精确微调定位。本发明采摘分割点提取方法实现了温室复杂光环境下的目标提取；具有很强的通用性，容易移植到其他设备；空间三维坐标求解算法简单、容易实现；硬件成本低廉。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (1)

1.一种果蔬采摘点微调定位方法，其特征在于，所述定位方法包括步骤：

S1，利用采摘机器人采集果蔬抓取区域近景三维位置信息，获得第一次定位数据；

S2，根据所述第一次定位数据，采摘机械臂控制器控制采摘末端执行器运动到所述第一次定位数据所限定的空间某一点，该点使得摄像机能正对果蔬上端区域拍摄到采摘点全景清晰图像；

S3，采摘机械臂控制器触发摄像机采集当前图像，并对采集到的图像进行处理得到采摘点图像坐标；所述对采集到的图像进行处理得到采摘点图像坐标具体包括：

S3-1，将当前彩色图像G通道由Sobel算子进行边缘检测，将灰度突变较大点处R、G、B值分别置为0；

S3-2，将步骤S3-1所得彩色图像由RGB空间向HSV空间转化；

S3-3，根据背景和果蔬在HSV空间中H、S通道色彩差异，去除部分噪声干扰；

S3-4，通过面积、矩形度判断提取黄瓜目标区域，取其中心线最上端边界像素为采摘分割点，从而确定其以像素为单位的图像坐标(μ，v)；

S4，将上述采摘点图像坐标转化为采摘点空间三维坐标；具体包括：

S4-1，通过下式将采摘点图像坐标转化为摄像机坐标系下的坐标值：

$\left\{\begin{array}{c}x=l_{x0}\mathrm{\μ}-l_{x1}\\ y=l_{y0}\mathrm{\ν}-l_{y1}\\ z=d\end{array}\right.$

其中d为采摘点当前位置距摄像机坐标系x-y平面的物理距离，l_x0、l_x1、l_y0、l_y1为摄像机内部参数，通过摄像机标定唯一确定，(x，y，z)为采摘点在摄像机坐标系下的坐标值；

S4-2，通过下式将采摘点摄像机坐标系下的坐标值转化为空间三维坐标，

$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

其中(x，y，z)为采摘点在摄像机坐标系下的坐标值，(X_w、Y_w、Z_w)为采摘点空间三维坐标，R、t分别为摄像机坐标系向空间三维坐标系变换的旋转矩阵和平移向量；

S5，根据采摘点空间三维坐标，采摘机械臂控制器控制采摘末端执行器由当前位置运动至该空间三维坐标对应位置，完成定位。

Images