CN106815585A - 一种复杂动态环境孔特征的高精视觉定位方法 - Google Patents

Abstract

本发明公开了一种复杂动态环境孔特征的高精视觉定位方法。先通过对孔特征边缘的拟合获取椭圆在图像坐标系下的参数，然后根据以摄像头焦点为原点建立坐标系并求出以原点为顶点，椭圆为准线的椭圆锥面方程，利用锥面与过焦点的球面的交线为圆的特性，获得孔特征的法向量，再将原坐标系进行旋转，使Z轴与平面法向量平行，通过在新坐标系下截线为圆的特性，计算出圆心位置，通过反变换求出在原坐标系孔特征圆心位置及其孔特征的位姿。本发明方法实现了获得孔特征的位置和姿态，解决了常用特征点检测与匹配算法难以对对称特征匹配的问题，具有高精度的定位效果。

Description

一种复杂动态环境孔特征的高精视觉定位方法

技术领域

本发明涉及视觉定位方法类，尤其涉及了一种复杂动态环境孔特征的高精视觉定位方法。

背景技术

在复杂动态环境下的的孔特征识别技术广泛应用于大型零件的装配过程中。然而目前大多数方法通过激光定位，成本高昂并且需要人工操作。随着CCD相机的普及，基于视觉图像处理的定位技术正在逐步取代激光定位，然而对于含有孔特征这样特征点少且对称的零件常规的特征点识别与匹配的方法难以实现对孔特征的定位，因此研究如何根据孔特征的性质对零件进行定位具有重要的研究意义。

常用的图像特征识别方法包括SIFT、ORB、FAST、HOG等，它们通过定义不同的特征描述子提取图像中异于其他点的像素，并将其标记为特征点，但这些方法仍具有以下不足：

1、对光照敏感，在不同光照条件下难以完成准确的特征映射。

2、以颜色、角点、纹理为主要的特征区分方式，对于对称的、黑白的、低纹理的物体识别能力较差。

发明内容

为了解决背景技术中存在的问题，本发明公开了一种复杂动态环境孔特征的高精视觉定位方法。

本发明应用于眼在手上的机械臂轴孔装配，先通过对孔特征边缘的拟合获取椭圆在图像坐标系下的参数，然后根据以摄像头焦点为原点建立坐标系并求出以原点为顶点，椭圆为准线的椭圆锥面方程，利用锥面与过焦点的球面的交线为圆的特性，获得孔特征的法向量，再将原坐标系进行旋转，使Z轴与平面法向量平行，通过在新坐标系下截线为圆的特性，计算出圆心坐标，并通过反变换求出在原坐标系孔特征圆心的坐标，及其孔特征的位姿。

为了实现上述目的，本发明采用技术方案步骤如下：

第一步，通过摄像头采集带有孔特征的图像，将图像进行二值化处理及边缘检测，获得孔特征轮廓，利用椭圆对孔特征轮廓进行拟合，得到图像坐标系下孔特征轮廓对应的椭圆参数方程；

第二步，以摄像头焦点O为原点，以焦距方向为Z轴正方向，以图像水平和竖直方向分别为x和y轴正方向，建立直角坐标系xyz；

第三步，以xyz坐标系原点为圆锥面的顶点，以椭圆参数方程为圆锥面的准线，构建获得椭圆锥面方程；

第四步，将椭圆锥面方程用二次型矩阵表示，并计算椭圆锥面方程二次型矩阵的特征值，由特征值获得交平面方程；

第五步，通过因式分解将交平面方程的二次型矩阵形式X^T(C-λ₂I)X＝0分解为两个平面方程，获得两个平面方程各自对应的平面法向量，作为孔特征可能的位姿方向；

第六步，计算因式分解得到的平面法向量与坐标系Z轴正方向单位向量的夹角，并转换为旋转矩阵；

第七步，通过旋转矩阵将直角坐标系xyz进行旋转获得新坐标系x′y′z′，并计算获得新坐标系下的椭圆锥面方程，然后计算在新坐标系下x′y′z′孔特征的圆心位置，再通过旋转矩阵求得孔特征在直角坐标系xyz下的初步圆心位置；

第八步，将摄像头移动距离，重复上述第一步到第七步的步骤，得到第二次拍摄图像处理后获得的孔特征在直角坐标系xyz下的初步圆心位置，再确定正确的孔特征圆心及其位姿。

所述第一步中的椭圆参数方程表示为：

ax²+bxy+cy²+dx+ey+f＝0

其中，a,b,c,d,e,f分别为椭圆的第一、第二、第三、第四、第五、第六参数，满足4ac-b²>0，x，y分别表示孔特征轮廓在图像坐标系下的水平和竖直坐标，x，y为变量，单位为像素。

所述第三步中的椭圆锥面方程表示为：

其中，f_c为摄像头焦距，f为椭圆的第六参数。

所述第四步，椭圆锥面方程转化为以下公式的二次型矩阵形式，获得特征值λ₁、λ₂和λ₃：

X^TCX＝0

其中，C表示二次型矩阵，λ₁、λ₂和λ₃分别表示二次型矩阵C的第一、第二、第三特征值，三个特征值满足λ₁≥λ₂≥λ₃；

因为椭圆锥面方程所代表的椭圆锥面与球面的交线为圆，所述球面是以摄像机焦点O为球心的球面，然后获得采用以下公式的交平面方程表示的椭圆锥面与球面之间的交线平面，并取λ＝λ₂代入交平面方程：

其中，λ表示交平面方程的特征值，λ＝λ₂。

交平面方程的二次型矩阵形式表示为X^T(C-λ₂I)X＝0，由于上述公式表示平面，因此二次型矩阵的行列式为零，此时λ＝λ₁，λ＝λ₂或λ＝λ₃。因为当λ＝λ₂时交平面方程过原点，所以取λ＝λ₂。

所述的第五步中，由交平面方程的二次型矩阵形式表示为X^T(C-λ₂I)X＝0，X表示椭圆锥面方程变量，将X^T(C-λ₂I)X＝0通过因式分解得到的两个平面方程表示为，两个平面方程作为椭圆锥面与球面之间可能的交平面：

其中，l₁,m₁,n₁表示第一平面方程的三个系数，l₂,m₂,n₂表示第二平面方程的三个系数，从而获得第一平面法向量N₁(l₁,m₁,n₁)和第二平面法向量N₂(l₂,m₂,n₂)。

所述第六步具体步骤如下：

第一步，采用以下公式求出两个平面法向量的夹角：

其中，N表示平面法向量，平面法向量N为第一平面法向量N₁或第二平面法向量N₂，为沿z轴正方向的单位向量Z_r(0,0,1)与平面法向量N的夹角，Z_r表示沿z轴正方向的单位向量；

第二步，采用以下公式求出两个平面法向量旋转的转轴u(u_x,u_y,u_z)：

u＝N×Z_r

其中，u_x,u_y,u_z分别表示转轴u沿x、y、z轴的分量；

然后将夹角和转轴u代入以下公式获得旋转矩阵R_c：

所述第七步获得新坐标系x′y′z′后具体步骤如下：

先采用以下公式计算获得新坐标系x′y′z′下的椭圆锥面方程，并以二次型矩阵形式表示：

C′＝R_c ^-TCR_c ^-1

其中，C′为新坐标系下椭圆锥面方程的二次型矩阵；

接着采用以下公式计算获得新坐标系下孔特征圆心位置p’的坐标为：

然后通过旋转矩阵将坐标反变换计算获得孔特征在原直角坐标系下的初步圆心位置p的坐标：

p＝R_cp′

其中，R_c表示旋转矩阵。

所述的孔特征圆心坐标求解原理如下：

第一步，采用以下公式计算获得新坐标系x′y′z′下的椭圆锥面方程，并以二次型矩阵形式表示：

C′＝R_c ^-TCR_c ^-1

其中，C′为新坐标系下椭圆锥面方程的二次型矩阵；

第二步，采用以下公式构建新坐标系x′y′z′下在z′轴方向上的z′₀＝q截面处的椭圆方程：

X′^TC″X′＝0

其中，X′表示椭圆方程变量，q为新坐标系x′y′z′的z′轴方向上的截距，q为待求量；

第三步，计算新坐标系下孔特征圆心位置x₀′,y₀′：

根据圆的参数方程可以表示为：

X′^TE′X′＝0

其中，x₀′,y₀′为圆心位置在新坐标系下的坐标，E′表示圆参数方程的二次型形式，r为孔特征半径，r已知；

且C”表示的椭圆锥面方程与E’表示的圆参数方程为同一个圆，因此对应系数成比例，所以可以求出在新坐标系下孔特征圆心位置p’的坐标为：

第四步，通过旋转矩阵进行坐标的反变换计算获得原直角坐标系下孔特征初步圆心位置p的坐标为：

p＝R_cp′

其中，R_c表示旋转矩阵。

所述的第八步具体步骤如下：首先将摄像头向不平行于z轴的任意方向移动距离T，确保孔特征仍然位于摄像头视野范围内；重复上述步骤进行图像处理并获得移动摄像头后的孔特征的初步圆心位置；将移动摄像头后的孔特征的初步圆心位置和移动摄像头后的孔特征的初步圆心位置进行比较，取其中两次初步圆心位置中重复的圆心点作为最终正确的孔特征圆心，并以该圆心对应的平面法向量作为孔特征的位姿方向。

所述的确定正确的孔特征位姿步骤如下：

上述第一次图像处理步骤后获得孔特征的初步圆心位置p包括两个圆心点p₁和p₂，因此将摄像头向不平行于z轴的任意方向移动距离T(x₁，y₁，z₁)，然后重复上述步骤进行图像处理并获得移动摄像头后的孔特征的初步圆心位置初步圆心位置包括两个圆心点和将圆心点p₁和p₂与圆心点和进行比较，若其中的p₁和坐标相同或者p₂和坐标相同，则认为圆心点p₁或者圆心点p₂为正确的孔特征的圆心坐标。

本发明的有益效果是：

本发明方法通过对孔特征边缘的识别，以椭圆的形式表达了孔特征的特性，实现了通过椭圆参数特征值分解的方法求取摄像机相对位姿，进而获得孔特征的位置和姿态，解决了常用特征点检测与匹配算法难以对对称特征匹配的问题，具有高精度的定位效果，误差达到小于1mm。

附图说明

图1是本发明方法的流程图。

图2是本发明方法原理示意图。

图3是坐标转换示意图。

图4是本实施例摄像头拍摄的孔零件原始图片。

图5是实施例边缘提取后的图像。

图6是实施例获取的椭圆。

具体实施方式

以下结合附图和实例对本发明作进一步的详细描述，图中涉及信息为本发明在注塑装备设计中的实际应用数据。

如图1所示，本发明实施例如下：

本发明实施例中的摄像头的图像平面、椭圆锥面方程所代表的椭圆锥面、椭圆参数方程所代表的椭圆、孔特征圆心及其位姿代表的平面的相互关系如图2所示。

第一步，通过摄像头采集带有孔特征的图像，如图4所示，目标为直径为45mm的孔特征，摄像头焦距f_c＝1400。

将图像进行二值化处理及边缘检测，获得孔特征轮廓，利用椭圆对孔特征轮廓进行拟合，如图5所示，得到图像坐标系下孔特征轮廓对应的椭圆参数方程如图6所示：

6901.31x²-2181.3xy+5864.23y²+2618830x-836548y+217006000＝0

第二步，以摄像头光心为原点，以焦距方向为Z轴正方向，以图像水平和竖直方向分别为x和y轴正方向，建立直角坐标系xyz。

第三步，以xyz坐标系原点为圆锥面的顶点，以椭圆参数方程为圆锥面的准线，构建获得椭圆锥面方程。

第四步，椭圆锥面方程转化为以下公式的二次型矩阵形式，获得特征值λ₁＝7709.35,λ₂＝5186.29,λ₃＝-19.64。

并取λ＝λ₂代入交平面方程获得表示的椭圆锥面与球面之间的交线平面。

第五步，将椭圆锥面方程的主对角线上元素减λ₂并通过因式分解将交平面方程的二次型矩阵形式X^T(C-λ₂I)X＝0分解为两个平面方程：

获得两个平面方程各自对应的平面法向量，第一平面法向量N₁(1,0.54,1,26)和第二平面法向量N₂(1,-0.73,2.35)，作为孔特征可能的位姿方向。

第六步，计算因式分解得到的平面法向量与坐标系Z轴正方向单位向量的夹角，并转换为旋转矩阵；具体是计算向量N₁(1,0.54,1,26)，N₂(1,-0.73,2.35)分别与Z轴单位向量(0,0,1)之间旋转角与旋转矩阵构建旋转方程为：

第七步，通过旋转矩阵将直角坐标系xyz进行旋转获得新坐标系x′y′z′，并计算获得新坐标系下的椭圆锥面方程为：

然后计算在新坐标系下x′y′z′孔特征的圆心位置，再通过旋转矩阵求得孔特征在直角坐标系xyz下的初步圆心位置，分别为p₁(-46.88,9.26,362.67)，p₂(-47.98,9.93,362.51)。

第八步，将摄像头向不平行于z轴的任意方向移动距离T(10,10,5)，确保孔特征仍然位于摄像头视野范围内；重复上述步骤进行图像处理并获得移动摄像头后的孔特征的初步圆心位置；将移动摄像头后的孔特征的初步圆心位置和移动摄像头后的孔特征的初步圆心位置进行比较，取其中两次初步圆心位置中重复的圆心点作为最终正确的孔特征圆心，实施例确定唯一解为初步圆心位置p₂(-47.98,9.93,362.51)，对应的姿态为N₂(1,-0.73,2.35)。实施例与实际摄像机与孔特征的相对位置p(-48,10,362)，x，y，z项误差小于1mm。

由此可见，本发明实现了孔特征的位置和姿态的高精度定位，并且能够针对包含其他工件特征的图像从中提取孔特征并定位，具有其突出显著的技术效果。

Claims (8)

1.一种复杂动态环境孔特征的高精视觉定位方法，其特征在于该方法步骤如下：

第一步，通过摄像头采集带有孔特征的图像，将图像进行二值化处理及边缘检测，获得孔特征轮廓，利用椭圆对孔特征轮廓进行拟合，得到图像坐标系下孔特征轮廓对应的椭圆参数方程；

第二步，以摄像头光心为原点，以焦距方向为Z轴正方向，以图像水平和竖直方向分别为x和y轴正方向，建立直角坐标系xyz；

第三步，以xyz坐标系原点为圆锥面的顶点，以椭圆参数方程为圆锥面的准线，构建获得椭圆锥面方程；

第四步，将椭圆锥面方程用二次型矩阵表示，并计算椭圆锥面方程二次型矩阵的特征值，由特征值获得交平面方程；

第五步，通过因式分解将交平面方程的二次型矩阵形式X^T(C-λ₂I)X＝0分解为两个平面方程，获得两个平面方程各自对应的平面法向量，作为孔特征可能的位姿方向；

第六步，计算因式分解得到的平面法向量与坐标系Z轴正方向单位向量的夹角，并转换为旋转矩阵；

第七步，通过旋转矩阵将直角坐标系xyz进行旋转获得新坐标系x′y′z′，并计算获得新坐标系下的椭圆锥面方程，然后计算在新坐标系下x′y′z′孔特征的圆心位置，再通过旋转矩阵求得孔特征在直角坐标系xyz下的初步圆心位置；

第八步，将摄像头移动距离，重复上述第一步到第七步的步骤，得到第二次拍摄图像处理后获得的孔特征在直角坐标系xyz下的初步圆心位置，再确定正确的孔特征圆心及其位姿。

2.根据权利要求1所述的一种开放场景下孔特征的视觉定位方法，其特征在于：所述第一步中的椭圆参数方程表示为：

ax²+bxy+cy²+dx+ey+f＝0

其中，a,b,c,d,e,f分别为椭圆的第一、第二、第三、第四、第五、第六参数，满足4ac-b²>0，x，y分别表示孔特征轮廓在图像坐标系下的水平和竖直坐标，x，y为变量，单位为像素。

3.根据权利要求1所述的一种开放场景下孔特征的视觉定位方法，其特征在于：所述第三步中的椭圆锥面方程表示为：

${\mathrm{ax}}^2+{\mathrm{cy}}^2+\frac{f}{{f_c}^2}{z}^2+bxy+\frac{d}{f_c}xz+\frac{e}{f_c}yz=0$

其中，f_c为摄像头焦距，f为椭圆的第六参数。

4.根据权利要求1所述的一种开放场景下孔特征的视觉定位方法，其特征在于：所述第四步，椭圆锥面方程转化为以下公式的二次型矩阵形式，获得特征值λ₁、λ₂和λ₃：

X^TCX＝0

$C=\left[\begin{array}{ccc}a& b/2& d/2\\ b/2& c& e/2\\ d/2& e/2& f\end{array}\right],X={\[xyz\]}^T$

其中，C表示二次型矩阵，λ₁、λ₂和λ₃分别表示二次型矩阵C的第一、第二、第三特征值，三个特征值满足λ₁≥λ₂≥λ₃；

然后获得采用以下公式的交平面方程表示的椭圆锥面与球面之间的交线平面，并取λ＝λ₂代入交平面方程：

${\mathrm{ax}}^2+{\mathrm{cy}}^2+\frac{f}{{f_c}^2}{z}^2+bxy+\frac{d}{f_c}xz+\frac{e}{f_c}yz-\mathrm{\λ}(x^2+y^2+z^2)=0$

其中，λ表示交平面方程的特征值，λ＝λ₂。

5.根据权利要求1所述的一种开放场景下孔特征的视觉定位方法，其特征在于：所述的第五步中，由交平面方程的二次型矩阵形式表示为X^T(C-λ₂I)X＝0，X表示椭圆锥面方程变量，将X^T(C-λ₂I)X＝0通过因式分解得到的两个平面方程表示为：

$\left\{\begin{array}{c}{l}_{1}x+m_{1}y+n_{1}z=0\\ l_{2}x+m_{2}y+n_{2}z=0\end{array}\right.$

其中，l₁,m₁,n₁表示第一平面方程的三个系数，l₂,m₂,n₂表示第二平面方程的三个系数，从而获得第一平面法向量N₁(l₁,m₁,n₁)和第二平面法向量N₂(l₂,m₂,n₂)。

6.根据权利要求1所述的一种开放场景下孔特征的视觉定位方法，其特征在于：所述第六步具体步骤如下：

第一步，采用以下公式求出两个平面法向量的夹角：

其中，N表示平面法向量，平面法向量N为第一平面法向量N₁或第二平面法向量N₂，为沿z轴正方向的单位向量Z_r(0,0,1)与平面法向量N的夹角，Z_r表示沿z轴正方向的单位向量；

第二步，采用以下公式求出两个平面法向量旋转的转轴u(u_x,u_y,u_z)：

u＝N×Z_r

其中，u_x,u_y,u_z分别表示转轴u沿x、y、z轴的分量；

然后将夹角和转轴u代入以下公式获得旋转矩阵R_c：

7.根据权利要求1所述的一种开放场景下孔特征的视觉定位方法，其特征在于：所述第七步获得新坐标系x′y′z′后具体步骤如下：

先采用以下公式计算获得新坐标系x′y′z′下的椭圆锥面方程，并以二次型矩阵形式表示：

C′＝R_c ^-TCR_c ^-1

$C^{\′}=\left[\begin{array}{ccc}{c}_{11}& c_{12}& c_{13}\\ c_{12}& c_{22}& c_{23}\\ c_{13}& c_{23}& c_{33}\end{array}\right]$

其中，C′为新坐标系下椭圆锥面方程的二次型矩阵；

接着采用以下公式计算获得新坐标系下孔特征圆心位置p’的坐标为：

$\left\{\begin{array}{c}{x_0}^{\′}=-\frac{c_{13}{z_0}^{\′}}{c_{11}}\\ {y_0}^{\′}=-\frac{c_{23}{z_0}^{\′}}{c_{11}}\\ {z_0}^{\′}=\frac{c_{11}r}{\sqrt{c_{13}^2+c_{23}^2-c_{11}{c}_{33}}}\end{array}\right.$

然后通过旋转矩阵将坐标反变换计算获得孔特征在原直角坐标系下的初步圆心位置p的坐标：

p＝R_cp′

其中，R_c表示旋转矩阵。

8.根据权利要求1所述的一种开放场景下孔特征的视觉定位方法，其特征在于：所述的第八步具体步骤如下：首先将摄像头向不平行于z轴的任意方向移动距离T，确保孔特征仍然位于摄像头视野范围内；重复上述步骤进行图像处理并获得移动摄像头后的孔特征的初步圆心位置；将移动摄像头后的孔特征的初步圆心位置和移动摄像头后的孔特征的初步圆心位置进行比较，取其中两次初步圆心位置中重复的圆心点作为最终正确的孔特征圆心，并以该圆心对应的平面法向量作为孔特征的位姿方向。