CN103198477A

CN103198477A - 一种苹果套袋机器人视觉定位方法

Info

Publication number: CN103198477A
Application number: CN2013100959663A
Authority: CN
Inventors: 高宏伟; 李斌; 刘哲; 洪坤; 于洋
Original assignee: Shenyang Ligong University
Current assignee: Shenyang Ligong University
Priority date: 2013-03-25
Filing date: 2013-03-25
Publication date: 2013-07-10
Anticipated expiration: 2033-03-25
Also published as: CN103198477B

Abstract

本发明涉及一种机器人的视觉定位方法，更具体地，涉及基于机器视觉的苹果套袋机器人视觉定位系统及方法。该方法可以对苹果幼果进行准确的图像处理与分析，通过算法快速的对苹果幼果进行准确定位，确定幼果的精确位置，引导机械臂完成套袋工作。本发明的方法组成有硬件和软件两个部分，其中的硬件包括图像采集装置、存储装置、处理器、控制器；软件部分包括图像处理程序与定位程序。本发明的方法是由ROI提取、灰度化、图像增强、图像分割、相机标定、图像极线校正、图像的特征提取和匹配以及图像的三维重建来实现的。

Description

一种苹果套袋机器人视觉定位方法

技术领域

本发明涉及一种机器人的视觉定位系统，更具体地，涉及基于机器视觉的苹果套袋机器人精准定位系统的组成及其实现方法。

背景技术

随着我国整体农业科技水平和高技术产业的高速发展，人工智能和机器视觉等新型技术在农业机械中的应用研究得到了高度重视。由于当今劳动资源的逐步短缺，国家十分重视农业机器人的研究，而机器人视觉的研究是农业机器人研究的一个重要内容之一，所以设计一种视觉精准定位系统引导机器人工作成为了一项非常紧迫的任务。

国内也有一部分人针对此问题进行了研究并取得了一定的成果，目前研制的视觉定位系统绝大多数是对前景颜色和背景颜色具有较大差异的图像进行处理实现定位的，而这样的视觉定位系统局限性很强，结构复杂，鲁棒性低。当环境改变，图像的前景和背景颜色差异较小时就很难进行准确的定位。而在现实环境中，天气的变化，光照的变化等多方面的不利条件的影响总是存在的，相比以上方法的不足，设计一种能克服已有系统的不足之处以及能适应环境变化的视觉定位系统显得尤为重要，尤其是针对那些前后背景差异较小的情况下能进行精准定位的系统。

发明内容

本发明的目的是提供一种苹果套袋机器人视觉定位方法，提高了工作效率、减少操作工人，降低生产成本。

采用的技术方案是：

一种苹果套袋机器人视觉定位方法，由硬件和软件两部分组成。硬件部分包括苹果幼果图像采集装置、存储装置、处理器和控制器。处理器可选用微机或单板机。

苹果幼果图像采集装置用来在远景处对果树及苹果幼果进行图像采集，需要模拟人类的眼睛，因此选用二台工业CCD摄像机（双目摄像机），并装设在苹果套袋机器人的设定位置上，二台工业CCD摄像机将采集到的图像信息输送到存储装置。

存储装置用来存储苹果幼果图像采集装置采集的图像，还用来存储图像处理程序的处理结果及系统运行的实时数据记录等。

所述软件部分包括图像处理程序和定位程序。

所述的软件部分中图像处理程序是用来对从存储装置中读取的图像进行预处理的。

所述的软件部分中定位程序是用来对预处理后的图像提取目标并进行精准定位的。

本发明的一种基于机器视觉的苹果套袋机器人视觉定位方法，包括如下步骤：

1）用工业CCD双目摄像机对苹果树及苹果幼果进行采集，得到整体图像后，将左目和右目采集到的图像分别存储在存储装置中，并从存储装置中读取出这两幅图像；

2）对读取的左目和右目两幅图像分别进行预处理，提取出感兴趣的部分（ROI），判断图像中是否有苹果幼果，如果没有就调整摄像头的位置，返回步骤1），如果有将其分割提取出来后进入步骤3）；

3）对相机进行标定后对目标体匹配，以及去除误匹配，匹配成功，则进入步骤4），否则进入2）；

4）对匹配好的目标体进行三维重建，最后确定目标体在图像中的位置以及获取准确的三维坐标；

5）将获取的位置与坐标信息传输给处理器，处理器再将处理后的数据传输给机械臂控制系统，并求取运动学逆解，从而引导机械臂完成套袋动作。

进一步，所述步骤2）具体包括如下几个步骤：

21）对图像进行预处理并提取出ROI；

22）判断是否有苹果幼果并分割；

进一步，所述步骤3）具体包括如下几个步骤：

31）对双目摄像机进行标定；

32）对两幅图像进行极线校正；

33）特征提取与匹配；

进一步，所述步骤4）具体包括如下：

41）对目标体进行三维重建；

42）获取目标体位置与三维坐标；

进一步，所述步骤21）具体包括如下几个步骤：

211）对图像进行灰度处理；

212）对图像进行增强处理；

213）对图像进行二值化处理；

214）对图像进行形态学运算；

进一步，所述步骤22）具体为：

本发明中判断是否有苹果幼果是基于圆形度概念进行的，所谓的圆形度就是用于特征的提取与描述，其计算公式的描述为：

（1）

其中

代表的是圆形度，代表面积，

代表周长。

当

的数值为1的时候，代表的是圆，开始的时候设置一个阈值，由于苹果为近似圆形的，而树叶及树干不是圆形的，所以，设置的阈值，当连通的区域的圆形度小于设定的阈值

，则认定为是背景，设定为白色；当连通的区域的圆形度大于设定的阈值

，则认定为是前景，也就是感兴趣的部分，即苹果幼果果实，设定为黑色，这样，感兴趣的区域就从图像中分割出来。

进一步，所述步骤31）具体为：

本发明中的对摄像机进行标定采用的方法是Tsai两步标定方法，这种标定方法可以达到较高的标定与测量精度。该算法分为两步进行：

第一步：基于图像点坐标只有径向畸变误差，通过建立和求解超定线性方程组，先计算出外部参数；

第二步，考虑畸变因素，利用一个三变量的优化搜索算法求解非线性方程组，以确定其他参数。

具体算法如下：

设是三维世界坐标系中点

的三维坐标，

是

在相机坐标系中的三维坐标；相机坐标系原点定义在点；

是图像坐标系，其中心在点（光轴与图像平面的交点）；以长度单位表示的图像坐标系原点在图像中心；是在理想针孔相机模型下以长度单位表示的

点的图像坐标；以像素表示的图像坐标系原点在左上角，轴向右，

轴向下，

是以像素表示的图像坐标；

、

分别平行于

和

轴；

是由透镜畸变引起的偏离

的实际图像坐标。

假定光心的图像坐标

已经求出，设

（2）

则有

（3）

1、确定外部参数：

（1）、采用多于7个标定点，根据最小二乘法，按照式（4）计算中间变量

：

（4）

(2)、求解外部参数

。设

，则有

（5）

（3）、确定

的符号。利用任意一个远离图像中心的特征点的图像坐标

和世界坐标

做验证，即假设

>0，求出

，以及

和

，如果

和

同号，

和

同号，则

为正，否则为负。

（4）、由式（6）确定：

（6）

（5）、计算

和

，具体为：

2、非线性变换计算内部参数：

（1）、忽略镜头畸变，计算

和

的粗略值（设）对于n个标定点，可以采用最小二乘法求解

和

的粗略值；

（2）、计算精确的

。利用上面计算得到的

和作为初始值（最小二乘法），取

的初始值为0，则有

（7）

对式（7）做非线性优化，求解出

。优化函数为

，即个方程的残差平方和。

进一步，所述步骤32）具体为：

本发明所用到的极线校正方法是基于基础矩阵的校正算法，它是将一对二维射影变换作用于图像对，使其对极线匹配且与图像的扫描线相重合，该算法仅利用了图像对的基础矩阵，而不需要知道相机的投影矩阵。

进一步，所述步骤33）具体为：

本发明所用到的特征提取和匹配的方法是基于Gensus变换的匹配算法，该算法的变换原则为以窗口中心元素的灰度值为阈值，将窗口中的其他元素与之相比，若其他元素的值比中心元素的值大，则将该元素设为0，否则将该元素设为1。基于Gensus变换的匹配算法的步骤如下：

（1）、读取两幅校正后的图像，分别将像素灰度值存入两个动态数组中，令总循环变量i=0；

（2）、以存储左图像像素灰度值数组的第i个元素为基准（保证以该点为中心的模板内的像素都在图像内部）进行窗口内部的秩变换，在算法设定的搜索空间内（一般为视差的变化范围）在右图像中通过计算海明距离搜索候选匹配点，并记录距离最小的点；

（3）、以刚才记录的右图像中最大分数值的点为基准进行窗口内部的秩变换，反过来在左图像中进行海明距离最小的候选匹配点的搜索并记录，判断该点与步骤（2）的左图像的基准点是否相同，相同则认为匹配正确并保存匹配点对。令i=i+1，判断i是否达到存储左图像像素灰度值数组的上限，达到了则转步骤（4），否则转步骤（2）；

（4）、绘制视差图；

进一步，所述步骤41）具体为：

本发明所用到的三维重建方法是最小二乘法，在匹配后得到物体表面点后，三维物体的形状位置就是唯一确定的，即：

K为4x3的已知向量和U为4x1已知向量，m即为点的三维坐标向量。

进一步，所述步骤212）具体为：

本发明中使用到的图像增强算法是中值滤波。中值滤波本质上是一种统计排序滤波器，它对于原图像中某点（i,j）为中心的邻域内的所有像素的统计排序中值作为（i，j）点的响应。由于中值滤波对于某些类型的随机噪声具有非常理想的降噪能力，特别是在消除椒盐噪声方面，所以在本发明中利用中值滤波去除图像干扰噪声。

进一步，所述步骤214）具体为：

本发明中使用到的形态学运算为闭运算，不仅使轮廓变得光滑，还能弥合狭窄的间隙，填充小的孔洞。

本视觉定位系统及定位方法，通过安装在套袋机器人上的工业CCD双目摄像头，实时地采集苹果果树及果实的图像，经过对采集到的图像进行图像处理判断是否有苹果幼果，如果图像中没有苹果幼果，则继续调整摄像头，如果图像中有苹果幼果，通过一系列算法将苹果幼果提取出来，并进行定位，最后将数据传输给系统，指导机械臂进行套袋操作。本发明是基于机器视觉的双目摄像头的苹果套袋机器人视觉定位系统的设计及其实现方法，其硬件组成及相应算法简单，易于实现，能适应环境变化，在苹果果实非常小的情况下能实现套袋功能并且能在背景与前景之间差异小的情况下实现精准定位等优点，最为适合在农业上普及应用，提高了农业的机械化水平。

附图说明

图1是苹果套袋机器人视觉定位系统的结构图。

图2是苹果套袋机器人视觉定位系统的图像处理算法实现的方法的流程图。

图中标号1为果树及苹果幼果，2为图像采集装置，3为存储装置，4为图像处理程序，5为定位程序，6为处理器，7为控制器，8为通信装置，9为机械臂控制装置

具体实施方式

以下将结合附图，对本发明的优选实施例进行详细的描述。

各种装置的连接方式参见图1，本优选实施例的基于机器视觉的苹果套袋机器人视觉定位方法，由于需要模拟人类的眼睛，即双目摄像头，而且需要较高的摄像机的配置要求，一般的摄像装置不能满足要求，所以需要一种双目摄像装置2，在本发明中选取的是工业CCD双目摄像头，将其安装在套袋机器人上，用于采集苹果果树及苹果幼果的图像，并将其采集到的图像存储到存储装置3中。处理器6中的图像处理程序4从存储装置3中读取左目和右目摄像机拍摄的两幅图像进行图像处理并将处理后把数据传递给定位程序5处理最后传给控制器7中以指导机器臂完成套袋工作。

软件算法及工艺流程实现方法的具体步骤见图2：

（1）分别用左目和右目摄相机采集苹果果树及苹果幼果的图像；

（2）对采集到的图像进行预处理，判断图像中有没有苹果幼果，若没有返回步骤1调整摄像机的位置并继续采集图像，有则进入步骤3；

（3）将采集到的彩色图像转化成灰度图像，然后使用中值滤波对灰度图像进行图像增强；

（4）对增强后的图像进行图像分割，本发明中所采用的分割的方法是基于圆形度的阈值分割法，圆形度是用于特征的提取与描述，其计算公式的描述为：

（1）

其中e代表的是圆形度，s代表面积，l代表周长。

当e的数值为1的时候，代表的是圆，开始的时候设置一个阈值，由于苹果为近似圆形的，而树叶及树干不是圆形的，所以，设置e的阈值，当连通的区域的圆形度小于设定的阈值，则认定为是背景，设定为白色；当连通的区域的圆形度大于设定的阈值，则认定为是前景，也就是感兴趣的部分，即苹果幼果果实，设定为黑色，这样，感兴趣的区域就从图像中分离出来，完成了图像分割过程。

（5）对分割后的图像使用数学形态学中的开运算进行处理使轮廓变得光滑，还能弥合狭窄的间隙，填充小的孔洞。。

（6）相机标定，标定为后续的三维重建提供了必要的基础，标定精度的高低将直接影响到三维重建的精度和效果。本发明中采用的是Tsai两步法对相机进行标定。该算法分为两步进行，第一步，基于图像点坐标只有径向畸变误差，通过建立和求解超定线性方程组，先计算出外部参数；第二步，考虑畸变因素，利用一个三变量的优化搜索算法求解非线性方程组，以确定其他参数。

（7）标定完毕之后，对图像进行极线的校正，它是匹配的重要预备步骤，它是指对两幅图像分别进行一次平面射影变换，使两幅图像的对应极线在同一条水平线上，而对极点被映射到无穷远处，这样可以使两幅图像只存在水平方向上的视差，匹配问题则从二维降到一维，从而提高了匹配的速度，在实际应用中，必须通过极线校正才能满足理想的平行双目视觉系统成像特点，本发明中采用了基于基础矩阵的校正算法。

（8）对图像校正完成以后，就开始对左目和右目的两幅图像进行特征点的匹配，本发明采用的匹配方法是基于Gensus变换的匹配算法，该算法的变换原则为以窗口中心元素的灰度值为阈值，将窗口中的其他元素与之相比，若其他元素的值比中心元素的值大，则将该元素设为0，否则将该元素设为1。基于Gensus变换的匹配算法的步骤如下：

（一）、读取两幅校正后的图像，分别将像素灰度值存入两个动态数组中，令总循环变量i=0。

（二）、以存储左图像像素灰度值数组的第i个元素为基准（保证以该点为中心的模板内的像素都在图像内部）进行窗口内部的秩变换，在算法设定的搜索空间内（一般为视差的变化范围）在右图像中通过计算海明距离搜索候选匹配点，并记录距离最小的点。

（三）、以刚才记录的右图像中最大分数值的点为基准进行窗口内部的秩变换，反过来在左图像中进行海明距离最小的候选匹配点的搜索并记录，判断该点与步骤（2）的左图像的基准点是否相同，相同则认为匹配正确并保存匹配点对。令i=i+1，判断i是否达到存储左图像像素灰度值数组的上限，达到了则转步骤（四），否则转步骤（二）。

（四）、绘制视差图。

（9）通过前面的图像处理，最后对苹果幼果进行三维的重建，本发明中采用的三维重建方法是运用了最小二乘法,其表达式为：

（2）

确定出苹果在图像中的位置，并把数据传输给系统，将数据传递给控制器以指导机械臂完成套袋工作。

Claims

1.一种苹果套袋机器人视觉定位方法，采用本方法完成苹果套袋视觉定位，包括硬件和软件两部分；

硬件部分包括苹果幼果图像采集装置、存储装置、处理器和控制器；苹果幼果图像采集装置为工业CCD双目摄像机，装设在苹果套袋机器人的设定位置上；

软件部分包括图像处理程序和定位程序，图像处理程序包括ROI提取，灰度化，图像增强和图像分割；定位程序包括摄像机标定，极线校正，特征提取与匹配和三维重建；图像处理程序用于将从存储装置中读取的图像进行预处理，定位程序用来对预处理后的图像提取目标并进行精确定位；其特征在于苹果套袋机器人视觉定位包括下述步骤：

2）对读取的左目和右目两幅图像分别进行预处理，提取出感兴趣的部分ROI，判断图像中是否有苹果幼果，如果没有就调整摄像头的位置，返回步骤1），如果有则将其分割提取出来后进入步骤3）；

5）将获取的位置与坐标信息传输给处理器，处理器再将处理后的数据传输给机械臂控制系统，并求取运动学逆解，从而引导机械臂完成套袋动作；

进一步，所述步骤2）具体包括如下几个步骤：

21）对图像进行预处理并提取出ROI；

22）判断是否有苹果幼果并分割；

进一步，所述步骤3）具体包括如下几个步骤：

31）对双目摄像机进行标定；

32）对两幅图像进行极线校正；

33）特征提取与匹配；

进一步，所述步骤4）具体包括如下：

41）对目标体进行三维重建；

42）获取目标体位置与三维坐标；

进一步，所述步骤21）具体包括如下几个步骤：

211）对图像进行灰度处理；

212）对图像进行增强处理；

213）对图像进行二值化处理；

214）对图像进行形态学运算；

进一步，所述步骤22）具体为：

判断是否有苹果幼果是基于圆形度概念进行的，所谓的圆形度就是用于特征的提取与描述，其计算公式的描述为：

其中

代表的是圆形度，

代表面积，

代表周长；

当的数值为1的时候，代表的是圆，开始的时候设置一个阈值，由于苹果为近似圆形的，而树叶及树干不是圆形的，所以，设置

的阈值，当连通的区域的圆形度小于设定的阈值

，则认定为是背景，设定为白色；当连通的区域的圆形度大于设定的阈值，则认定为是前景，也就是感兴趣的部分，即苹果幼果果实，设定为黑色，这样，感兴趣的区域就从图像中分离出来，完成了图像分割过程；

进一步，所述步骤31）具体为：

摄像机进行标定采用的方法是Tsai两步标定方法，该算法分为两步进行：

第二步，考虑畸变因素，利用一个三变量的优化搜索算法求解非线性方程组，以确定其他参数；

进一步，所述步骤33）具体为：

本发明所用到的特征提取和匹配的方法是基于Gensus变换的匹配算法，该算法的变换原则为以窗口中心元素的灰度值为阈值，将窗口中的其他元素与之相比，若其他元素的值比中心元素的值大，则将该元素设为0，否则将该元素设为1；基于Gensus变换的匹配算法的步骤如下：

（2）、以存储左图像像素灰度值数组的第i个元素为基准进行窗口内部的秩变换，在算法设定的搜索空间内在右图像中通过计算海明距离搜索候选匹配点，并记录距离最小的点；

（3）、以记录的右图像中最大分数值的点为基准进行窗口内部的秩变换，反过来在左图像中进行海明距离最小的候选匹配点的搜索并记录，判断该点与步骤（2）的左图像的基准点是否相同，相同则认为匹配正确并保存匹配点对；令i=i+1，判断i是否达到存储左图像像素灰度值数组的上限，达到了则转步骤（4），否则转步骤（2）。

2.根据权利要求1所述的一种苹果套袋机器人视觉定位方法，其特征在于所述的三维重建方法是运用了最小二乘法，其表达公式为：

(2)

K为4x3的已知向量，U为4x1已知向量，m即为点的三维坐标向量。