CN103308000A - 基于双目视觉的曲线物体测量方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的曲线物体测量方法，包括：获得待测曲线物体的左、右图像；标定所述左、右摄像机；计算图像匹配所需的极性约束条件；将所述右图像中待测曲线物体的边缘点在左图像中进行匹配，得到边缘匹配点对；将边缘匹配点对进行三角重构，获得待测曲线物体边缘点在所述左摄像机坐标系中的三维坐标集；根据所述三维坐标集计算所述右图像中待测曲线物体边缘点的平面方程解析式的最优解以及边缘点到待测曲线所在平面的距离，如果该距离大于阈值，进行非线性最优化，计算边缘解析式，得到待侧曲线物体的尺寸参数。本发明方法测量过程中不需要使用标定板，操作简单，且测量精度高，能够满足实际应用要求。

Description

基于双目视觉的曲线物体测量方法

技术领域

本发明涉及具有曲线形状物体的尺寸测量，具体地指一种基于双目视觉的曲线物体测量方法。

背景技术

随着精密制造业的高速发展，目前的测量手段存在着测量精度不高、测量过程复杂、需要人工重复操作等缺点。相反，基于机器视觉的图像测量技术得到了人们大量关注，图像测量技术具有非接触、测量精确和人工干预少等优点。图像测量的方法具有的高分辨率、高灵敏度、光谱响应宽、动态范围大等特性是传统测量仪器所无法比拟的，因此图像测量用于零部件的尺寸精密测量。

图像测量的方法包括单目测量、双目测量以及多目测量。其中，单目测量不仅需要重新放置标定板，而且需要标定板与测量平面的位置参数关系，测量繁琐且误差大；多目测量的算法复杂度高，且图像匹配复杂；因此，双目测量技术得到了广泛关注，双目测量的核心技术包括摄像机标定、图像匹配和三维重构。

在实际的应用需求中，利用双摄像机对具有曲线形状的零部件（如圆形、圆锥等）的尺寸参数的测量是一个亟待解决的问题。但是，在使用图像测量时，由于曲线形状的零部件边缘点距离间隔小而且特征信息相似性大，所以图像匹配点对的寻找是该类零部件尺寸测量的一大难题。另外，无法直接通过图像处理方法找到焦点特征点的位置，所以曲线形状边缘的焦点三维坐标位置的确定是图像测量的另一难题。

发明内容

本发明的目的在于克服上述现有技术的不足而提供一种基于双目视觉的曲线物体测量方法，用于测量具有曲线形状物体的尺寸。

实现本发明目的采用的技术方案是：一种基于双目视觉的曲线物体测量方法，其特征在于，包括以下步骤：

（1）双目视觉测量系统的左、右摄像机分别获得待测曲线物体的左、右图像；

（2）标定所述左、右摄像机，获得左、右摄像机的内部参数和外部参数；

（3）计算图像匹配所需的极性约束条件；

（4）将所述右图像中待测曲线物体的边缘点在左图像中进行匹配，得到边缘匹配点对；

（5）通过三角重构法将所述边缘匹配点对进行三角重构，获得待测曲线物体边缘点在所述左摄像机坐标系中的三维坐标集；

（6）根据所述三维坐标集计算所述右图像中待测曲线物体边缘点的平面方程解析式的最优解以及边缘点到待测曲线所在平面的距离D，如果所述距离D小于阈值H，则删除图像误匹配点；如果所述距离D大于阈值H，进行非线性最优化，计算边缘解析式，得到待侧曲线物体的尺寸参数。

在上述技术方案中，步骤（3）中的极性约束条件为：

若左图像平面上一点P_L为右图像上一点P_r的匹配点，则P_L在P_r的外极线上，满足下式

F_⊥P_L＝0

式中，F_⊥＝l_pror*l_orol，l_pror为右图像上的点P_r到右摄像机光心O_r直线的平行向量，l_orol为左摄像机光心O_l和右摄像机光心O_r的平行向量。

本发明采用的极线约束条件能够有效地进行图像匹配，采用LM非线性最优化算法能够快速的去除误匹配点和计算出边缘的解析式方程得到零部件的尺寸参数。相对现有双目测量技术，本发明方法测量过程中不需要使用标定板，操作简单，且采用本方法测量曲线物体的精度高，能够满足实际应用要求。

附图说明

图1为本发明基于双目视觉的曲线物体测量方法的流程图；

图2为双目立体结构示意图；

图3a为左图像边缘提取结构示意图；

图3b为右图像边缘提取结构示意图；

图4a为三维重构得到的原始点集；

图4b为图3a进行删选后的点集；

图5为待测圆形物体拟合效果图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

本发明基于双目视觉的曲线物体测量方法用于测量具有曲线形状物体的尺寸，本实施例以待测曲线物体为圆形物体进行详细说明。

本发明测量方法具体包括以下步骤：

步骤S101、双目视觉测量系统的左、右摄像机分别获得待测曲线物体的左、右图像。

步骤S102、对上述双目视觉测量系统的左、右摄像机进行标定，得到左、右摄像机的内部参数和外部参数。

其中，左、右摄像机标定的内部参数包括：摄像机CCD芯片上相邻像素点的物理距离d_x、d_y，摄像机主距f，摄像机畸变参数k_1,k_2,p_1,p_2，摄像机光学中心在图像上的投影点坐标(u₀,v₀)。

左、右摄像机标定的外部参数包括：旋转矩阵R＝R(α,β,γ)和平移向量T＝(t_x,t_y,t_z)^T，其中，旋转矩阵R(α,β,γ)由右摄像机坐标系z轴绕左摄像机坐标系z轴旋转角度γ，右摄像机y轴绕左摄像机y轴旋转角度β，右摄像机x轴绕左摄像机x轴旋转角度α确定；平移向量T＝(t_x,t_y,t_z)^T由右摄像机坐标系原点在左摄像机坐标系中的坐标(t_x,t_y,t_z)^T确定。R和T中的参数决定了摄像机坐标系与世界坐标系之间的相对位置关系。

摄像机标定系统中包含四个坐标系，它们分别为：世界坐标系o_w,x_w,y_w,z_w、摄像机坐标系o_c,x_c,y_c,z_c、图像坐标系oxy和计算机图像坐标系uv，各坐标系之间能够相互转换。

从世界坐标系到摄像机坐标系的变换属于刚性变换，由平移和旋转组成。因此，在世界坐标系中点P_w＝(x_w,y_w,z_w)^T在摄像机坐标系中的坐标为P_c＝(x_c,y_c,z_c)^T，它们之间的关系为P_c＝RP_w+T。

标定之后得到在世界坐标系中左右两摄像机的旋转矩阵为R_l和R_r，平移矩阵T_l和T_r，则右摄像机相对于左摄像机的旋转矩阵为

和平移矩阵为 $T_{r21}=T_1-R_1{R}_r^{-1}{T}_r:$

双目标定得到摄像机的内部参数和外部参数，其中外部参数包括左右摄像机之间的相对位置关系。

以上标定方法和对各参数的标定均为现有技术，此处不再赘述。

步骤S103、计算图像匹配所需的极性约束条件。

在进行图像匹配之前，通过规定一些约束条件不仅可以减少运算量，也可以用来缩小待选匹配点的范围，减少歧义。本发明所使用的约束条件是含有标定信息的极线约束条件。如图2所示，在双目立体结构图中，点p_l、o_l和o_r三点所确定的平面被称为外极平面，外极平面与像平面的相交的直线称为外极线。对于左图像任意一点P_l，它所对应的空间点P_w必然在o_lp_l直线上，该直线与点o_r构成的外极平面与右像平面构相交而成的外极线称为p_l的外极线。容易看出，p_l在右图像中的匹配点p_r必然在p_l的外极线上，这就是外极线约束。

本发明使用的含有标定信息的极线约束条件为：

对于左图像平面上一点P_L[u_l,v_l,f_l]，u_l,v_l是该点计算机图像坐标系uv中的坐标，f_l为左摄像机主距。若P_L[u_l,v_l,f_l]为右图像上一点P_r的匹配点，则P_L在P_r的外极线上，满足下式的约束条件：

F_⊥P_L＝F_⊥[u_l,v_l,f_l]=0

式中，F_⊥为右图像中一点p_r及左、右摄像机光心o_l、o_r构成的外极平面的法向量，且有：

F_⊥＝l_pror*l_orol

式中，l_pror为P_r到光心O_r直线的平行向量，l_orol为光心O_l和O_r的平行向量，且l_pror＝RP_r＝R[u_r,v_r,f_r]，l_orol＝T。

步骤S104：对所述右图像中待测曲线物体的边缘点在左图像中进行匹配，获得图像匹配点对。

图像匹配方法包括区域匹配、特征匹配和相位匹配，区域匹配是根据图像子区域的灰度信息进行相似性度量和匹配；特征匹配基于特征属性定义相似性，特征属性包括边缘、线段的走向、线段的长度等；相位匹配是根据带通信号之间的相关度来进行匹配的。

本实施例以基于特征的匹配方法进行图像匹配，首先利用Canny边缘提取算法提取左、右两图像中待测量对象的边缘和获取边缘点的方向，提取边缘如图3a和图3b所示。因为外极线与圆形边缘可能相交于1个点或2个点，所以对于任意右图像边缘点P_r在左边图像边缘点集中寻找使F_⊥P_L绝对值最小的两个点，作为待选匹配点P₁和P2。然后提取P₁和P2的边缘方向角度，选取与P_r边缘方向角度最接近的点作为P_r的匹配点，所有右图像中待测曲线物体的边缘点在左图像中的匹配点形成匹配点对。

步骤S105：将所得图像匹配点对，根据三角法重构原理获得待测曲线物体在左摄像机坐标系中的坐标集，如图4a所示。

步骤S106：计算测量圆平面方程解析式的最优解，以及边缘点到圆平面P的距离D，所述最优解即为圆形曲线的解析式。

对于坐标集中的所有坐标，并不能准确满足如式（1）和式（3）所述的3D圆的参数方程条件，每一个边缘点到圆心的距离并不准确等于半径r，所有的边缘点并不准确的位于同一平面内。因此，本实施例根据Levenberg-Marquardt最小均方优化算法（LM算法）进行三维空间圆拟合，获取圆形测量对象的半径参数。

计算测量圆平面P的解析式和删除误匹配点，圆平面P的解析式如式（1）表述，利用LM算法求得使式（2）达到最小的值时的d、e、f、g的参数值。d、e、f、g是圆平面p的方程参数，(x_i,y_i,z_i)是匹配点的三维坐标。

P:d*x+e*y+f*z+g＝0          （1）

$J_1=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(d*x_i+e*y_i+f*z_i+g)}^2---\left(2\right)$

将坐标集所有的坐标点代入LM算法，求得圆平面P方程的初始参数；

步骤S107：判断边缘点到圆平面P的距离D是否小于阈值λ，λ是任意设置的阈值，可以根据实验情况设定。

步骤S109：将到圆平面P的距离大于λ的坐标点去除出坐标集，如图4b所示。

步骤S108：若坐标集中的样本点到圆平面P的距离都小于λ，则进行非线性最优化，计算边缘解析式，得到待侧曲线物体的尺寸参数。即：

计算圆的半径参数，圆的方程可以由式（3）表示，(a,b,c)^T表示圆心的三维坐标，r表示半径长度。利用LM算法求得使式（4）达到最小值时圆方程参数a、b、c和r的值，即得到待测试曲线物体（圆形物体）的尺寸。参数a、b、c的初始值可以设为经步骤S106删选后的点集的三维坐标平均值。图5所示即为边缘圆拟合效果图

(x_i-a)²+(y_i-b)²+(z_i-c)²-r²＝0          （3）

$J_2=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{({(x_i-a)}^2+{(y_i-b)}^2+{(z_i-c)}^2-r^2)}^2---\left(4\right)$

本发明提出了含标定信息的极线约束条件。双目标定可以确定两个相机坐标系之间的位置关系，根据双目相机立体结构，计算出含有相机实际位置参数的极线约束条件，用于图像匹配点的寻找。该约束条件可以有效的缩小图像匹配点的寻找范围，减小匹配算法的复杂度。

利用Levenberg-Marquardt非线性优化算法（LM算法）计算圆锥边缘所在平面的解析式方程，利用三维点到圆锥平面的距离大于规定阈值，则去除误匹配点。若有三维点被去除，则重新计算平面方程和去除误匹配点，迭代这一过程。若无三维点被去除，则得到圆锥平面方程。再利用LM算法求得平面内的圆锥曲线方程，得出焦点的三维坐标，进而得到圆锥零部件的尺寸参数。

Claims (5)

1.一种基于双目视觉的曲线物体测量方法，其特征在于，包括以下步骤：

（1）双目视觉测量系统的左、右摄像机分别获得待测曲线物体的左、右图像；

（2）标定所述左、右摄像机，获得左、右摄像机的内部参数和外部参数；

（3）计算图像匹配所需的极性约束条件；

（4）将所述右图像中待测曲线物体的边缘点在左图像中进行匹配，得到边缘匹配点对；

（5）通过三角重构法将所述边缘匹配点对进行三角重构，获得待测曲线物体边缘点在所述左摄像机坐标系中的三维坐标集；

（6）根据所述三维坐标集计算所述右图像中待测曲线物体边缘点的平面方程解析式的最优解以及边缘点到待测曲线所在平面的距离D，如果所述距离D小于阈值H，则删除图像误匹配点；如果所述距离D大于阈值H，进行非线性最优化，计算边缘解析式，得到待侧曲线物体的尺寸参数。

2.根据权利要求要求1所述基于双目视觉的曲线物体测量方法，其特征在于，步骤（3）中的极性约束条件为：

若左图像平面上一点P_L为右图像上一点P_r的匹配点，则P_L在P_r的外极线上，满足下式

F_⊥P_L＝0

式中，F_⊥＝l_pror*l_orol，l_pror为右图像上的点P_r到右摄像机光心O_r直线的平行向量，l_orol为左摄像机光心O_l和右摄像机光心O_r的平行向量。

3.根据权利要求要求2所述基于双目视觉的曲线物体测量方法，其特征在于：

l_pr r＝RP_r＝R[u_r,v_r,f_r]，P_r[u_r,v_r,f_r]为右图像平面上一点，u_r,v_r是该点计算机图像坐标系uv中的坐标，f_r右左摄像机主距。

4.根据权利要求要求1或2或3所述基于双目视觉的曲线物体测量方法，其特征在于，步骤（4）具体包括：

首先利用Canny边缘提取算法提取左右两幅图像中待测曲线物体的边缘和获取边缘点的方向，对于右图像边缘点P_r在左边图像边缘点集中寻找使F_⊥P_L绝对值最小的两个点，作为待选匹配点P₁和P₂；

然后提取P₁和P₂的边缘方向角度，选取与P_r边缘方向角度最接近的点作为P_r的匹配点。

5.根据权利要求要求1所述基于双目视觉的曲线物体测量方法，其特征在于，步骤（6）具体包括：

根据Levenberg-Marquardt非线性优化算法计算待测曲线物体边缘所在平面的解析式方程，利用三维点到待测曲线物体平面的距离大于阈值，则去除误匹配点。若有三维点被去除，则重新计算平面方程和去除误匹配点，迭代这一过程；若无三维点被去除，则得到圆锥平面方程。再利用LM算法求得平面内的圆锥曲线方程，得出焦点的三维坐标，进而得到圆锥零部件的尺寸参数。

Images