CN103112015A - 一种适用于工业机器人的操作物位置姿态识别方法 - Google Patents

Abstract

本发明涉及一种适用于工业机器人的操作物位置姿态识别方法，该方法可以应用于基于位置的视觉伺服系统中，实时为系统提供操作物的位置和姿态信息，方法运算时间短，精度高，能适应室内室外等不同光照条件，为工业机器人在非结构化环境内的使用提供技术支撑。其步骤如下：步骤1，初始化操作，将左右相机和操作物初始进行标定，然后利用左右相机获取图像数据；步骤2，利用图像采集过程中前后两帧图像的对运动的操作物进行跟踪；步骤3，通过卡尔曼滤波平滑前后两帧图像中操作物跟踪窗口的变化；步骤4，采用图像数据降维方式，从而降低数据处理的维数；步骤5，计算操作物的立体位置和姿态，并将数据反馈给机器人伺服控制系统实现伺服控制。

Description

一种适用于工业机器人的操作物位置姿态识别方法

技术领域

本发明涉及一种适用于工业机器人的操作物位置姿态识别方法，属于工业机器人领域。

背景技术

目前，工业机器人主要应用于结构化环境中，采用试教再现方式完成相应的功能，即首先由人工导引机器人末端执行器使机器人完成预期的动作，机器人将该动作序列进行存储，然后机器人凭记忆不断重复该动作，完成作业功能。为使机器人能够胜任复杂的非结构化环境中的工作，不但要有更好的控制系统，还需要更多地感知环境的变化。其中机器人视觉以其信息量大、信息完整成为最重要的机器人感知功能，因此机器人视觉伺服系统应运而生。

视觉伺服系统按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统；按照摄像机放置位置的不同，可以分为手眼系统和固定摄像机系统；按照系统反馈控制量的不同，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统。目前，国内外对该领域的相应研究相对较少，且主要集中在基于图像的单目手眼系统，其中主要研究成果包括：

国家知识产权局2011年10月15日公开的专利号为201020685635.7的“基于视觉伺服的移动机器人精确定位云台系统”发明中公开了一种基于视觉伺服的移动机器人精确定位云台系统，该发明为典型的基于图像的视觉伺服系统，发明通过单目相机获取图像，通过相应的算法提取图像特征，并与模板图像比较，实现伺服功能。

国家知识产权局2005年3月30公告的专利号为CN200410067328.1的“焊接机器人伺服双目视觉传感器”发明中公开了一种应用于焊接机器人的双目视觉传感器，该发明为典型的基于位置的视觉伺服系统，发明采用双目视觉算法实现操作物的三维信息的获取，将该位置信息反馈机器人系统实现伺服功能。

上述研究都取得了一定程度上的有益效果，但仍存在如下问题：

“基于视觉伺服的移动机器人精确定位云台系统”中由于采用单目相机，只能获取操作物的二维信息，无法获取深度信息，控制精度不高。

“焊接机器人伺服双目视觉传感器”中由于双目算法的复杂度较高，算法运算时间长，无法实现机器人系统的实时控制。

发明内容

本发明的目的在于解决上述问题，提供一种适用于工业机器人的操作物位置姿态识别方法，该方法可以应用于基于位置的视觉伺服系统中，采用双目立体相机，通过立体视觉算法、目标跟踪算法、卡尔曼滤波算法，实时为系统提供操作物的位置和姿态信息，方法运算时间短，精度高，能适应室内室外等不同光照条件，为工业机器人在非结构化环境内的使用提供技术支撑。

为实现上述目的，本发明采用如下技术方案：

一种适用于工业机器人的操作物位置姿态识别方法，步骤如下：

步骤1，初始化操作，将左右相机和操作物初始进行标定，然后利用左右相机获取图像数据；

步骤2，利用图像采集过程中前后两帧图像的对运动的操作物进行跟踪；

步骤3，通过卡尔曼滤波平滑前后两帧图像中操作物跟踪窗口的变化；

步骤4，采用图像数据降维方式，将双目相机采集的整幅图像的立体视觉数据即位置和姿态数据限定在步骤3的跟踪窗内进行处理，从而降低数据处理的维数；

步骤5，计算操作物的立体位置和姿态，并将数据反馈给机器人伺服控制系统实现伺服控制。

所述步骤1中，左右相机图像采集频率应大于每秒8帧；

所述左右相机的标定包括左右相机的内参标定和左右相机相对位置的标定，其中左右相机内参的畸变校正；左右相机相对位置标定为确定左右相机的相对位置；

所述操作物初始位置标定为人工在左相机采集到的图像中对操作物初始位置进行标定。

所述步骤2中，跟踪过程为：

2-1）在前一帧图像中初始化操作物跟踪窗；

2-2）计算跟踪窗内图像的颜色概率分布；

2-3）运用均值漂移算法，获得图像中操作物新的大小和位置；

2-4）在后一帧视频图像中用2-3)中的值重新初始化跟踪窗的大小和位置，再跳转到2-2)继续进行。

所述跟踪窗为图像中的包含操作物的矩形区域，初始位置由步骤1中所述操作物初始位置标定操作来确定。

所述颜色概率分布为所述均值漂移算法的输入数据，其主要实现过程如下：

1）首先将图像从RGB空间转换到HSV空间；

2）然后对其中的H分量作统计直方图，直方图数据代表了不同H分量值在图像中出现的概率；

3）将图像中每个像素的值用其H分量出现的概率替换，就得到了颜色概率分布。

所述均值漂移算法是一种密度函数梯度估计的非参数方法，该算法通过迭代寻优找到概率分布的极值来定位目标，其实现过程如下：

a在图像颜色概率分布中选取跟踪窗；

b计算跟踪窗内图像零阶距M₀₀、一阶距M₁₀，M₀₁和跟踪窗质心，其中I(x,y)为图像方程，x为图像横坐标，y为图像纵坐标，(x_c,y_c)为跟踪窗质心；

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y),$ $M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y),$ $M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y),$

x_c＝M₁₀/M₀₀,y_c＝M₀₁/M₀₀

c调整跟踪窗大小，调整后宽度为长度为1.2s；

d移动跟踪窗的中心到质心，如果移动距离大于预设的固定阈值，则重复b、c和d，直到跟踪窗的中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到某一最大值，停止计算。

所述步骤5中，计算操作物位置和姿态的过程为：

5-1）图像校正；

5-2）位差图获取；

5-3）三维点云获取；

5-4）操作物位置姿态获取。

所述步骤5-1）中，图像校正是通过步骤1中获取的左右相机的内参和左右相机的相对位置关系，对左右相机获取的图像进行畸变校正和双目校正，其中畸变校正用于消除相机自身存在的畸变，而双目校正的就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，在所述步骤2中只需在该行进行一维搜索即可匹配到对应点。

所述步骤5-2）位差图获取是在所述步骤5-1）所得的校正后的左右图像中的相同行中进行匹配点搜索；匹配点搜索是在规定匹配窗口内采用平方和距离方法搜索相应的匹配点，其原理公式如下，其中g1为左图像方程；g2为右图像方程；g1(r,c)为左图像在坐标(r,c)位置的灰度值；g2(r,c)为右图像在坐标(r,c)位置的灰度值；规定匹配窗口宽度为2m+1，高度为2n+1，m和n取3,5,7,9,11；d为位差，即左右图像中匹配点的像素距离，其取值范围为0到图像宽度；s为位差函数；s(r,c,d)为左图像中在坐标(r,c)位置不同位差d情况下的值；

$s(r,c,d)=\underset{x=-m}{\overset{m}{\mathrm{\Σ}}}\underset{y=-n}{\overset{n}{\mathrm{\Σ}}}|g1(r+x,c+y)-g2(r+x,c+y+d)|$

位差函数s取得最小值时的位差d即为在坐标(r，c)下的位差，遍历整幅图像即可得到位差图。所述步骤5-3）三维点云获取是通过左右相机的内参和位差图，获取图像中各点三维坐标信息进行计算；所述操作物位置姿态获取即通过三维点云信息获取操作物的位置和姿态，其中位置通过计算三维点云的重心得到，位置使用三维点云中与重心距离最远的点与重心间的矢量表示为操作物的位姿。

本发明的有益效果包括：

1、本发明采用采用双目立体相机可以实现操作物的三维坐标信息的获取，三维信息的获取将极高控制算法的智能型，提高伺服控制精度。

2、本发明采用移动目标跟踪算法，对大数据量的图像信息进行降维处理，减轻了立体视觉算法的负担，提高算法处理速度，保证算法的实时性应用。

3、本发明采用卡尔曼滤波平滑前后两帧图像中操作物跟踪窗口的变化，消除操作物跟踪过程中出现的误跟踪的情况，提高跟踪的准确性。

附图说明

图1是一种适用于工业机器人的操作物位置姿态识别方法流程图；

图2是操作物跟踪算法流程图；

图3是立体视觉算法流程是图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

参考图1，一种适用于工业机器人的操作物位置姿态识别方法，其包括五个步骤：初始化操作、操作物跟踪、卡尔曼滤波、图像数据降维、立体视觉获取位置姿态。

步骤1：初始化操作

初始化操作主要包括：图像数据的采集、双目相机的标定、操作物初始位置标定。

所述图像数据采集为分别实时采集左右相机的图像，为保证方法的实时性，其采集频率应大于每秒8帧。

所述双目相机的标定包括左右相机的内参标定和左右相机相对位置的标定，其中左右相机内参的标定主要用于消除相机本身存在的畸变，提高算法精度；左右相机相对位置标定主要确定左右相机的相对位置，为后续立体视觉算法提供基础。

所述操作物初始位置标定为人工在左相机采集到的图像中对操作物初始位置进行标定。

步骤2：操作物跟踪

参考图2，所述操作物跟踪是利用图像采集过程中的前后两帧图像的相关信息实现运动操作物的跟踪，其过程如下：

（1）在前一帧图像中初始化操作物跟踪窗

（2）计算跟踪窗内图像的颜色概率分布

（3）运用均值漂移算法，获得图像中操作物新的大小和位置。

（4）在后一帧视频图像中用(3)中的值重新初始化跟踪窗的大小和位置，再跳转到(2)继续进行。

所述操作物跟踪窗即为图像中的包含操作物的矩形区域，初始位置由所述步骤1中所述操作物初始位置标定操作来确定。

所述颜色概率分布为所述均值漂移算法的输入数据，其主要实现过程如下所示：

1）首先将图像从RGB空间转换到HSV空间；

2）然后对其中的H分量作统计直方图，直方图数据代表了不同H分量值在图像中出现的概率；

3）将图像中每个像素的值用其H分量出现的概率替换，就得到了颜色概率分布。

所述均值漂移算法是一种密度函数梯度估计的非参数方法，该算法通过迭代寻优找到概率分布的极值来定位目标。其实现过程如下所示：

1）在图像颜色概率分布中选取跟踪窗

2）计算跟踪窗内图像零阶距M₀₀、一阶距M₁₀，M₀₁和跟踪窗质心，其中I(x,y)为图像方程，x为图像横坐标，y为图像纵坐标，(x_c,y_c)为跟踪窗质心，x_c,y_c分别为跟踪窗质心坐标的横坐标和纵坐标；

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y),$ $M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y),$ $M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y),$

x_c＝M₁₀/M₀₀,y_c＝M₀₁/M₀₀

3）调整跟踪窗大小，调整后宽度为

长度为1.2s；

4）移动跟踪窗的中心到质心，如果移动距离大于预设的固定阈值，则重复2)、3)和4)，直到跟踪窗的中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到某一最大值，停止计算。

步骤3：卡尔曼滤波

所述卡尔曼滤波是一种高效率的递归滤波器，它能够从一系列的不完全及包含噪声的测量中，估计动态系统的状态，其具体实现方式可参考1960年Transactions of the ASME-Journal of Basic Engineering中发表的《A New Approach to Linear Filtering andPrediction Problems》。

通过卡尔曼滤波可以平滑前后两帧图像中操作物跟踪窗口的变化，消除所述步骤2操作物跟踪过程中出现的误跟踪的情况，提高跟踪的准确性。

步骤4：图像数据降维

对双目相机采集的整幅图像做立体视觉算法，算法运算量大，运算时间长，无法达到实时处理的效果。

所述图像数据降维是将处理数据限制在所述步骤3得到的跟踪窗内，降低数据处理的维数，提高运算速度，使其满足实时处理的要求。

步骤5：立体视觉获取位置姿态

参考图3，所述立体视觉获取位置姿态是通过立体视觉算法对步骤4得到的降维图像数据进行处理，得到操作物的位置和姿态，将此数据反馈给机器人伺服控制系统实现伺服控制。

其主要实现过程如下所示：

（1）图像校正

（2）位差图获取

（3）三维点云获取

（4）操作物位置姿态获取

所述图像校正是通过步骤1中获取的左右相机的内参和左右相机的相对位置关系，对左右相机获取的图像进行畸变校正和双目校正，其中畸变校正用于消除相机自身存在的畸变，而双目校正的作用就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，在所述步骤2中只需在该行进行一维搜索即可匹配到对应点。

所述位差图获取是在所述步骤1所得的校正后的左右图像中的相同行中进行匹配点搜索。

所述匹配点搜索算法是在规定匹配窗口内采用平方和距离方法搜索相应的匹配点，其原理公式如下，其中g1为左图像方程；g2为右图像方程；g1(r,c)为左图像在坐标(r,c)位置的灰度值；g2(r,c)为右图像在坐标(r,c)位置的灰度值；规定匹配窗口宽度为2m+1，高度为2n+1，m和n可取3,5,7,9,11；d为位差，即左右图像中匹配点的像素距离，其取值范围为0到图像宽度；s为位差函数；s(r,c,d)为左图像中在坐标(r,c)位置不同位差d情况下的值。

$s(r,c,d)=\underset{x=-m}{\overset{m}{\mathrm{\Σ}}}\underset{y=-n}{\overset{n}{\mathrm{\Σ}}}|g1(r+x,c+y)-g2(r+x,c+y+d)|$

位差函数s取得最小值时的位差d即为在坐标(r，c)下的位差，遍历整幅图像即可得到位差图。

所述三维点云获取是通过左右相机的内参和位差图，获取图像中各点三维坐标信息，其具体原理可参考2009年7月光子学报发表的《基于双目立体视觉实现物体三维测量的研究》。

所述操作物位置姿态获取即通过三维点云信息获取操作物的位置和姿态，其中位置通过计算三维点云的重心得到，位置使用三维点云中与重心距离最远的点与重心间的矢量表示为操作物的位姿。

Claims (10)

1.一种适用于工业机器人的操作物位置姿态识别方法，其特征是，步骤如下：

步骤1，初始化操作，将左右相机和操作物初始进行标定，然后利用左右相机获取图像数据；

步骤2，利用图像采集过程中前后两帧图像的对运动的操作物进行跟踪；

步骤3，通过卡尔曼滤波平滑前后两帧图像中操作物跟踪窗口的变化；

步骤4，采用图像数据降维方式，将双目相机采集的整幅图像的立体视觉数据即位置和姿态数据限定在步骤3的跟踪窗内进行处理，从而降低数据处理的维数；

步骤5，计算操作物的立体位置和姿态，并将数据反馈给机器人伺服控制系统实现伺服控制。

2.如权利要求1所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤1中，左右相机图像采集频率应大于每秒8帧；

所述左右相机的标定包括左右相机的内参标定和左右相机相对位置的标定，其中左右相机内参的畸变校正；左右相机相对位置标定为确定左右相机的相对位置；

所述操作物初始位置标定为人工在左相机采集到的图像中对操作物初始位置进行标定。

3.如权利要求1所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤2中，跟踪过程为：

2-1）在前一帧图像中初始化操作物跟踪窗；

2-2）计算跟踪窗内图像的颜色概率分布；

2-3）运用均值漂移算法，获得图像中操作物新的大小和位置；

2-4）在后一帧视频图像中用2-3)中的值重新初始化跟踪窗的大小和位置，再跳转到2-2)继续进行。

4.如权利要求3所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述跟踪窗为图像中的包含操作物的矩形区域，初始位置由步骤1中所述操作物初始位置标定操作来确定。

5.如权利要求3所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述颜色概率分布为所述均值漂移算法的输入数据，其主要实现过程如下：

1）首先将图像从RGB空间转换到HSV空间；

2）然后对其中的H分量作统计直方图，直方图数据代表了不同H分量值在图像中出现的概率；

3）将图像中每个像素的值用其H分量出现的概率替换，就得到了颜色概率分布。

6.如权利要求3所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述均值漂移算法是一种密度函数梯度估计的非参数方法，该算法通过迭代寻优找到概率分布的极值来定位目标，其实现过程如下：

a在图像颜色概率分布中选取跟踪窗；

b计算跟踪窗内图像零阶距M₀₀、一阶距M₁₀，M₀₁和跟踪窗质心，其中I(x,y)为图像方程，x为图像横坐标，y为图像纵坐标，(x_c,y_c)为跟踪窗质心；

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y),$ $M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y),$ $M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y),$

x_c＝M₁₀/M₀₀,y_c＝M₀₁/M₀₀

c调整跟踪窗大小，调整后宽度为长度为1.2s；

d移动跟踪窗的中心到质心，如果移动距离大于预设的固定阈值，则重复b、c和d，直到跟踪窗的中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到某一最大值，停止计算。

7.如权利要求1所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤5中，计算操作物位置和姿态的过程为：

5-1）图像校正；

5-2）位差图获取；

5-3）三维点云获取；

5-4）操作物位置姿态获取。

8.如权利要求7所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤5-1）中，图像校正是通过步骤1中获取的左右相机的内参和左右相机的相对位置关系，对左右相机获取的图像进行畸变校正和双目校正，其中畸变校正用于消除相机自身存在的畸变，而双目校正的就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，在所述步骤2中只需在该行进行一维搜索即可匹配到对应点。

9.如权利要求7所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤5-2）位差图获取是在所述步骤5-1）所得的校正后的左右图像中的相同行中进行匹配点搜索；匹配点搜索是在规定匹配窗口内采用平方和距离方法搜索相应的匹配点，其原理公式如下，其中g1为左图像方程；g2为右图像方程；g1(r,c)为左图像在坐标(r,c)位置的灰度值；g2(r,c)为右图像在坐标(r,c)位置的灰度值；规定匹配窗口宽度为2m+1，高度为2n+1，m和n取3,5,7,9,11；d为位差，即左右图像中匹配点的像素距离，其取值范围为0到图像宽度；s为位差函数；s(r,c,d)为左图像中在坐标(r,c)位置不同位差d情况下的值；

$s(r,c,d)=\underset{x=-m}{\overset{m}{\mathrm{\Σ}}}\underset{y=-n}{\overset{n}{\mathrm{\Σ}}}|g1(r+x,c+y)-g2(r+x,c+y+d)|$

位差函数s取得最小值时的位差d即为在坐标(r，c)下的位差，遍历整幅图像即可得到位差图。

10.如权利要求7所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤5-3）三维点云获取是通过左右相机的内参和位差图，获取图像中各点三维坐标信息进行计算；所述操作物位置姿态获取即通过三维点云信息获取操作物的位置和姿态，其中位置通过计算三维点云的重心得到，位置使用三维点云中与重心距离最远的点与重心间的矢量表示为操作物的位姿。

Images