CN105021124B

CN105021124B - 一种基于深度图的平面零件三维位置和法向量计算方法

Info

Publication number: CN105021124B
Application number: CN201510183903.2A
Authority: CN
Inventors: 邹湘军; 林桂潮; 刘念; 李博; 莫玉达; 罗陆锋; 陈明猷
Original assignee: South China Agricultural University
Current assignee: South China Agricultural University
Priority date: 2015-04-16
Filing date: 2015-04-16
Publication date: 2018-02-16
Anticipated expiration: 2035-04-16
Also published as: CN105021124A

Abstract

本发明公开了一种基于深度图的平面零件三维位置和法向量计算方法，是使用形状匹配识别零件，再使用双目立体视觉系统获得零件所在感兴趣区域的稠密深度图；对稠密深度图进行非均匀采样和统计分析以移除离群点；再使用鲁棒的随机样本一致性算法拟合稠密深度图中的平面；根据平面方程来计算零件的三维位置和法向量，并给出了摄像机坐标系和世界坐标系的转换方法。本发明通用性强、定位精度高、稳定性好、适用于平面类零件。

Description

一种基于深度图的平面零件三维位置和法向量计算方法

技术领域

本发明涉及视觉工业机器人零件三维定位领域，特别涉及一种基于深度图的平面零件三维位置和法向量计算方法。

背景技术

视觉工业机器人常用于焊接、码垛、装配、加工、检测、物流搬运和喷涂等领域，应用过程中都需要对零件进行识别和三维定位。零件三维定位是视觉工业机器人准确进行抓取和装配等作业的一个重要前提，三维定位精度直接影响到生产制造质量。在工业非结构化环境中，零件位姿各不相同，并且零件常受到非线性光照变化、杂乱背景和遮挡等因素干扰，使传统的基于稀疏特征点的三维定位方法不能得到稳定、精确的定位结果。另外，国内外在相关方面进行了大量的研究，现有视觉三维定位系统主要是根据具体零件的形状和大小进行针对性开发，通用性和鲁棒性不强，使得视觉三维定位软件的推广受到限制。基于此，在不提高硬件成本的前提下，使用鲁棒和精确的零件三维定位方法非常重要。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种通用性强、定位精度高、稳定性好、适用于平面类零件的基于深度图的平面零件三维位置和法向量计算方法。

双目立体视觉系统是通过对左右图像进行立体匹配以获得稠密深度图，并根据三角测量原理将深度图转换为三维数据，因此，利用稠密深度图可以精确计算零件的三维位置和法向量。因为许多零件具有平面特征，其三维位姿可以用三维位置和法向量表示，所以本发明针对平面类零件，使用双目立体视觉系统获得零件稠密深度图，并提出一种鲁棒的零件三维位置和法向量计算方法。

本发明的目的通过下述技术方案实现：

一种基于深度图的平面零件三维位置和法向量计算方法，包括下述步骤：

(1)识别和获得深度图：使用双目立体视觉系统获取工业场景中的图像，包括左图像和右图像，然后使用形状匹配算法来识别左图像中的零件；再使用双目立体视觉系统计算零件所在感兴趣区域的稠密深度图；

(2)移除离群点：将稠密深度图转换为三维点云，对点云进行非均匀采样以移除杂乱背景，再进行鲁棒的统计分析以移除点云中的反光离群点；

(3)平面拟合：利用移除离群点后的点云，使用随机样本一致性算法拟合平面，得到平面方程；

(4)计算三维位置和法向量：利用上述平面方程，计算零件的三维位置和法向量；再采用坐标转换方法，将三维位置和法向量从摄像机坐标系转换到世界坐标系上，完成零件的三维定位。

步骤(1)中，所述使用形状匹配算法来识别左图像中的零件，其识别步骤是：首先，创建零件的模板图像，同时假定左图像中存在位姿各异的零件；其次，在左图像中移动模板，计算模板图像与左图像的匹配区域的相似度，如果零件的方向与模板不同，还需要创建多个角度的模板；第三，如果相似度大于给定阈值，则意味着找到该模板的一个实例；最后，使用双目视觉系统来计算该实例的稠密深度图。

所述相似度是指模板图像与左图像的匹配区域的方向向量的夹角的余弦值的和的平均值，具体表示为：假定模板图像表示为T，其中任意点(x,y)灰度值表示为T(x,y)，使用有限差分算子求模板图像的偏导数(T_x(x,y),T_y(x,y))，它构成了模板图像的方向向量，方向向量的角度θ_T(x,y)＝tan^-1(T_y(x,y),T_x(x,y))；同样地，将左图像表示为I，其中任意点(x,y)灰度值表示为I(x,y)，求左图像的偏导数(I_x(x,y),I_y(x,y))，它构成了左图像的方向向量，方向向量的角度θ_I(x,y)＝tan^-1(I_y(x,y),I_x(x,y))；形状匹配的相似度表示为：

式(1)中：n是模板图像像素点的数量，s(r,c)是左图像I上任一点(r,c)的得分。

步骤(2)中，因金属零件表面反光、杂乱背景、遮挡和立体视觉系统算法误差等因素影响，稠密深度图中存在大量离群点，为抑制这些离群点，采用以下方法依次移除：

(2-1)假定零件的稠密深度图大小为M_t*N_t，令z(i,j)为稠密深度图在第i行和第j列处的深度值(0≤i<M_t-1,0≤j<N_t-1)，将深度图像转化为三维点云Ω＝{(i,j,z(i,j))|i＝0...M_t,j＝0...N_t}；

(2-2)移除杂乱离群点：确定点云最优的外接球体半径R，将球体以外的深度数据视为杂乱离群点而移除；

所述点云最优的外接球体半径R用下述鲁棒的方法来估计：

(2-2-1)计算点云中心点：其中z是点云所有深度值的集合z＝{z_i∈p_i(x_i,y_i,z_i)|p_i∈Ω}；

(2-2-2)计算所有点云数据到中心点的距离的集合：d＝{||p_i-p|||p_i∈Ω}；

(2-2-3)球体半径R＝1.5median{d}，其中常数1.5是为了使R称为球体半径的无偏估计。

(2-3)移除反光离群点：由反光干扰带来的离群点是偏离大部分数据的大离群点，体现为它们的深度值与平面深度值不连续，所以，可以采用点云的均值和标准偏差来分析数据是否超出了正态分布的某个区间值来移除离群点；但是，大离群点会使传统方法计算的均值和标准偏差不能够反映数据真实的分布，导致正常数据被误检测为离群点，因此也可以采用中值代替均值，由中值绝对偏差的中值代替标准偏差:

m＝median{z}

式中：m指中值，s指中值绝对偏差的中值；

如果点云数据满足下式关系，它将被视为离群点：

式(3)中：k可取值为2.5或3.0。

步骤(3)中，由于步骤(2)得到的点云数据中不仅存在一个显著的平面，还存在少量离群点(例如遮挡离群点)，这些离群点会影响传统的最小二乘法或者特征值法的平面拟合精度，因此使用随机样本一致性方法拟合平面；具体步骤如下：

(3-1)利用式(4)将点云数据转换到摄像机坐标系上：

式(4)中：(X_c,Y_c,Z_c)是点云在摄像机坐标系上的三维坐标，(x_c,y_c)是零件中心点在左图像中的像素位置，f是摄像机焦距，T_x是左右摄像机的基线距离，这三个参数可通过对立体视觉系统进行立体标定来确定；

(3-2)然后使用随机样本一致性算法拟合点云数据中的平面：

(3-2-1)从点云中随机选择3个样本点以构成子集S，使用该子集直接解算平面方程z＝ax+by+c，得到方程的解p；

(3-2-2)使用该平面方程对点云进行划分，将平面误差d_i＝|z_i-ax_i-by_i-c|小于某个阈值的点并入子集S，表示为S*,集合S*被称为集合S的一致集；

(3-2-3)如果集合num(S*)>t(t是内点的最小数量)，那么利用它重新估计平面方程的参数p*，并计算平面误差；

(3-2-4)重复以上过程k次，记下平面误差最小的参数作为平面方程的参数p*。

迭代次数k可用以下方法计算：

式中：z是算法得到正确的平面的概率，w是点云中包含离群点的比例。例如假设z＝95％，w＝40％，那么可算出k＝12。也就是说重复迭代12次后，得到正确的平面的概率为95％。

(3-3)输出平面方程的参数p*。

步骤(4)中，根据步骤(3)的平面方程，得到零件的三维位置和法向量，具体方法如下：

(4-1)计算平面上三个不共线的点Pc0、Pc1和Pc2，其中：规定Pc0是零件的三维位置，也就是平面中心点位置；

(4-2)将世界坐标系固定于平面标定板上，使用摄像机单目标定来计算平面标定板与左摄像机坐标系的旋转矩阵R和平移矩阵T；

(4-3)使用式(6)计算这三个点在世界坐标系上的三维坐标Pw0、Pw1和Pw2：

P_w＝R^-1(P_c-T) (6)

(4-4)零件的三维位置是Pw0，零件的法向量可用式(7)计算：

v＝(P_w0-P_w1)×(P_w0-P_w2) (7)

本发明与现有技术相比具有如下优点和效果：

(1)采用计算效率高的形状匹配算法来识别零件，在非线性光照、杂乱和遮挡等因素影响下具备鲁棒性和实时性；

(2)采用零件的稠密深度图来计算零件的三维位置和法向量，算法有很好的稳定性和精度。

(3)通过对稠密深度图进行非均匀采样和标准差分析，抑制深度图中的离群点；进而使用鲁棒的随即样本一致性算法拟合点云数据，得到正确的平面方程；最后，根据平面方程提出了一种新颖的三维位置和法向量计算方法啊，并且给出了简易的坐标转换方法。

附图说明

图1基于深度图的零件三维位置和法向量计算方法的流程图

图2形状匹配算法识别零件示意图

图3立体视觉系统获得零件深度图示意图

图4非均匀采样示意图

图5移除反光离群点示意图

图6随机样本一致性算法拟合平面结果示意图

图7计算三维位置和法向量示意图

具体实施方式

下面结合实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1所示，是本发明基于深度图的零件三维位置和法向量计算方法的流程图。首先，使用双目立体视觉系统获取左右图片；接着，使用形状匹配算法识别左图像中的零件，并且计算零件的稠密深度图；然后，使用非均匀采样技术和统计分析方法来移除稠密深度图中的离群数据；第四，使用随机抽样一致性算法拟合稠密深度图中的平面；最后，根据平面方程来计算零件的三维位置和法向量，并且进行坐标转换。

具体步骤如下：

步骤一：创建大小为140像素*140像素的模板图像，获取大小为1280像素*960像素的左、右图像，使用形状匹配算法识别左图像中零件，如图2所示，图中共有5个零件被识别，分别用序号NO.1-5表示。接着，使用双目立体视觉系统来计算零件的深度图，如图3所示，图中左下方区域表示NO.1区域对应的稠密深度图，右下方区域是稠密深度图的放大图。

步骤二：为了抑制零件表面反光和杂乱背景离群点，通过计算点云的最优外接圆半径R来移除圆外的数据，即杂乱背景，如图4所示；接着，分析反光离群点的分布规律，使用点云数据的中值m、中值绝对偏差的中值s来移除反光离群点，如图5所示。本实施例中，R＝60.1像素，中值m＝136.25像素，中值绝对偏差的中值s＝1.03像素。

步骤三：给定最小内点数量t、离群点比例w和平面拟合正确率z，使用随机样本一致性算法拟合平面，如图6所示。本实施例中，t＝3500，w＝0.5,z＝0.95。

步骤四：计算平面上三个不共线的点P_c0,P_c1和P_c2，规定P_c0是零件的中心点三维位置，也就是平面方程的中心点；将这三个点从摄像机坐标系转换到世界坐标系上，得到P_w0，P_w1和P_w2，其中P_w0就是零件在世界坐标系上的三维位置，零件的法向量可由式(7)来计算，如图7所示。

Claims

1.一种基于深度图的平面零件三维位置和法向量计算方法，其特征在于包括下述步骤：

2.根据权利要求1所述的基于深度图的平面零件三维位置和法向量计算方法，其特征在于：步骤(1)中，所述使用形状匹配算法来识别左图像中的零件，其识别步骤是：首先，创建零件的模板图像，同时假定左图像中存在位姿各异的零件；其次，在左图像中移动模板，计算模板图像与左图像的匹配区域的相似度，如果零件的方向与模板不同，还需要创建多个角度的模板；第三，如果相似度大于给定阈值，则意味着找到该模板的一个实例；最后，使用双目视觉系统来计算该实例的稠密深度图。

3.根据权利要求2所述的基于深度图的平面零件三维位置和法向量计算方法，其特征在于：所述相似度是指模板图像与左图像的匹配区域的方向向量的夹角的余弦值的和的平均值，具体表示为：假定模板图像表示为T，其中任意点(x,y)灰度值表示为T(x,y)，使用有限差分算子求模板图像的偏导数(T_x(x,y),T_y(x,y))，它构成了模板图像的方向向量，方向向量的角度θ_T(x,y)＝tan^-1(T_y(x,y),T_x(x,y))；同样地，将左图像表示为I，其中任意点(x,y)灰度值表示为I(x,y)，求左图像的偏导数(I_x(x,y),I_y(x,y))，它构成了左图像的方向向量，方向向量的角度θ_I(x,y)＝tan^-1(I_y(x,y),I_x(x,y))；形状匹配的相似度表示为：

<mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munder> <mo>&Sigma;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&Element;</mo> <mi>T</mi> </mrow> </munder> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>&theta;</mi> <mi>T</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>-</mo> <msub> <mi>&theta;</mi> <mi>I</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>+</mo> <mi>r</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>c</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

4.根据权利要求1所述的基于深度图的平面零件三维位置和法向量计算方法，其特征在于：步骤(2)中，所述移除离群点是采用以下方法依次移除：

(2-3)移除反光离群点：由反光干扰带来的离群点是偏离大部分数据的大离群点，体现为它们的深度值与平面深度值不连续，所以，能够采用点云的均值和标准偏差来分析数据是否超出了正态分布的某个区间值来移除离群点；但是，大离群点会使传统方法计算的均值和标准偏差不能够反映数据真实的分布，导致正常数据被误检测为离群点，因此也能够采用中值代替均值，由中值绝对偏差的中值代替标准偏差：

m＝median{z}

式中：m指中值，s指中值绝对偏差的中值；

如果点云数据满足下式关系，它将被视为离群点：

式(3)中：k可取值为2.5或3.0。

5.根据权利要求4所述的基于深度图的平面零件三维位置和法向量计算方法，其特征在于：所述点云最优的外接球体半径R用下述鲁棒的方法来估计：

(2-2-2)计算点云数据到中心点的距离的几何：d＝{||p_i-p|||p_i∈Ω}；

6.根据权利要求1所述的基于深度图的平面零件三维位置和法向量计算方法，其特征在于：步骤(3)中，所述平面拟合的具体步骤如下：

(3-1)利用式(4)将点云数据转换到摄像机坐标系上：

式(4)中：(x_c,y_c)是零件中心点在左图像中的像素位置，f是摄像机焦距，T_x是左右摄像机的基线距离，这三个参数可通过对立体视觉系统进行立体标定来确定；

(3-2)然后使用随机样本一致性算法拟合点云数据中的平面；

(3-3)最后，输出平面方程的参数p*。

7.根据权利要求6所述的基于深度图的平面零件三维位置和法向量计算方法，其特征在于：所述使用随机样本一致性算法拟合点云数据中的平面，具体步骤如下：

(3-2-1)从点云中随机选择3个样本点以构成子集S，使用该子集直接解算平面方程z＝ax+by+c，得到方程的解p，

(3-2-2)使用该平面方程对点云进行划分，将平面误差d_i＝|z_i-ax_i-by_i-c|小于某个阈值的点并入子集S，表示为S*,集合S*被称为集合S的一致集，

(3-2-3)如果集合num(S*)>t，t是内点的最小数量，那么利用它重新估计平面方程的参数p*，并计算平面误差，

(3-2-4)重复以上过程k次，记下平面误差最小的参数作为平面方程的参数p*，

迭代次数k可用以下方法计算：

式中：z是算法得到正确的平面的概率，w是点云中包含离群点的比例。

8.根据权利要求1所述的基于深度图的平面零件三维位置和法向量计算方法，其特征在于：步骤(4)中，所述计算三维位置和法向量的具体方法如下：

(4-2)将世界坐标系固定于平面标定板上，使用单目标定计算平面标定板与左摄像机坐标系的旋转矩阵R和平移矩阵T；

P_w＝R^-1(P_c-T) (6)

(4-4)零件的三维位置是Pw0，零件的法向量可用式(7)计算：

v＝(P_w0-P_w1)×(P_w0-P_w2) (7)。