CN104123726B - 基于消隐点的大锻件测量系统标定方法 - Google Patents

Abstract

本发明基于消隐点的大锻件测量系统标定方法属于图像处理和计算机视觉检测领域，特别涉及大型锻件尺寸测量系统中摄像机内、外参数的现场标定方法。该标定方法首先在不同焦距下拍摄标定模板的7幅图像，通过对应点连线交于一点求得摄像机主点坐标，其次在测量所需的焦距下拍摄标定模板的3个不同方位的图像，然后对模板图像进行直线提取，并利用所得直线求取3组对应正交消隐点，即可求得摄像机内参数，最后标定双目视觉测量系统的外参数。这种方法标定过程简便，标定时间短，精度高，能以较少的图像精确实现锻造现场双目视觉测量系统摄像机的标定。

Description

基于消隐点的大锻件测量系统标定方法

技术领域

本发明属于图像处理和计算机视觉检测领域，特别涉及大型锻件尺寸测量系统中摄像机内、外参数的现场标定方法。

背景技术

计算机视觉处理的基本任务之一是根据二维图像信息恢复物体的三维几何信息。要实现利用图像点求取相应的空间物体表面点的任务，需要确定摄像机成像几何模型，该几何模型的参数称为摄像机参数。摄像机标定过程是建立摄像机所拍摄场景中物体上特征点的图像坐标与物体上特征点世界坐标的关系。测量系统中需标定的摄像机参数分为内参数和外参数，其中内参数为摄像机的主点坐标以及尺度因子，外参数为两摄像机间的旋转矩阵和平移矢量。标定时，由场景中已知特征点的图像坐标和世界坐标即可求解摄像机的内外参数。摄像机标定是构建测量系统地一项关键技术，标定结果对系统的测量准确度及效果有至关重要的作用。

传统的摄像机和双目视觉传感器标定方法通常依赖于精密加工的2D或3D辅助标定物。Tsai提出的基于径向约束的两步法能够获得较为精确的标定结果，张正友提出的基于棋盘格靶标标定方法同样可以获得较高的精度。但是对于大视场下的摄像机标定而言，由于传统标定方法所占有视场较小，导致特征点提取误差大；同时传统标定方法所使用的2D或3D靶标造价昂贵且维护困难，标定过程复杂，标定时间长，因此不适合无法应用辅助标定物的场合、大场景测量以及在线标定的情况。而基于主动视觉系统的摄像机标定方法，虽然不需要制造高精度的辅助标定物，但是由于主动视觉标定方法对于运动的正交性有着非常严格的要求，因此这种标定方法需要高精度的运动平台。但是这种高精度运动平台容易受到周围环境的影响而使其自身的正交性受到影响，同时这种方法同样存在标定过程复杂、标定时间长以及高精度运动平台的造价昂贵等问题。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，针对在锻造现场传统标定方法复杂且不能实时标定，以及主动视觉的标定方法所需的高精度运动平台受环境影响大等问题，发明一种基于消隐点的双目视觉测量系统摄像机标定方法。该方法是利用变焦距的方法计算出像机的主点坐标，利用标定模板特征点计算图像的正交消隐点，并基于消隐点计算像机的尺度因子，最后，以基本矩阵和本质矩阵得出双目测量系统的外参数。这种方法标定过程简便，标定时间短，精度高。

本发明采用的技术方案是一种基于消隐点的摄像机标定方法，其特征是，首先在不同焦距下拍摄标定模板的7幅图像，通过对应点连线交于一点求得摄像机主点坐标，其次在测量所需的焦距下拍摄标定模板的3个不同方位的图像，然后对模板图像进行直线提取，之后利用所得直线求取3组对应正交消隐点，即可求得摄像机内参数，最后，同时标定双目视觉测量系统的外参数，具体步骤如下：

摄像机标定实际上是要求出内参数矩阵K，两摄像机间的旋转和平移矩阵R和t。通用的摄像机模型可表示为：

其中，(X_w,Y_w,Z_w,1)^T为在世界坐标系下空间点的齐次坐标，(x,y,1)^T为空间点在图像坐标系下的对应像点坐标，f_x，f_y为摄像机尺度因子，(u₀,v₀)为像机的主点坐标，即主点坐标，z为比例因子。

步骤1：图像采集

首先，采集变焦距图像。在待测目标的同一侧布置两台摄像机，分别为左像机1和右像机2，构成双目视觉测量系统。标定左摄像机1时，调整标定模板3的位置，保证标定模板在不同拍摄焦距时，均在摄像机视场内，在最大焦距下，对摄像机合焦。标定模板静止，逐渐减小摄像机焦距，在不同焦距下拍摄七幅模板图像。使用同样的方法采集右摄像机2的七张图像。其次，采集正交消隐点图像。将双目测量系统中的左、右摄像机合理放置，调整摄像机的视场，使左、右摄像机有足够的公共视场区，在后续标定中，摄像机焦距以及两摄像机间方位不再发生变化。在测量所需的摄像机焦距下拍摄标定模板3张不同角度的图像，且保证不在同一平面上。

步骤2：求取摄像机主点坐标

改变焦距时，摄像机视场呈现比例扩缩现象，因此在不同焦距拍摄的图像中，特征点连线的交点即为主点。计算摄像机主点坐标，拍摄的七张图片中，将不同图像上标定模板相同特征点对应的7个像点采用线性回归的方法拟合成n条直线，第i条直线的拟合方程为：

l_i:a_iu+b_iv+c_i＝0,(i＝1,2…n) (2)

以到像点连线距离平方和最小为目标函数S，其中，

计算主点坐标(u₀,v₀)，分别求出左、右摄像机的主点坐标(u_l0,v_l0)和(u_r0,v_r0)。

步骤3：求取摄像机尺度因子

根据步骤1获得求取正交消隐点标定模板的3幅图像，求出3组图像的正交消隐点，计算摄像机的尺度因子f_x和f_y，具体过程如下：

(a)根据步骤2拍摄得到标定模板的四个不同方位的图像，分别求出左摄像机的3组正交消隐点对P_i(u_Pi,v_Pi),Q_i(u_Qi,v_Qi),i＝1,2,3；

(b)将3组正交消隐点对分别代入线性方程：

(u_Pi+u_Qi-u_Pj-u_Qj)·x+(u_Pju_Qj-u_Piu_Qi)·z+(v_Pi+v_Qi-v_Pj-v_Qj)·y (4)

＝(v_piv_Qi-v_Pjv_Qj)(i≠j)

其中，i≠j表示不同的摄像机参数调整模板图像，(u_Pi,v_Pi)、(u_Qi,v_Qi)(u_Pj,v_Pj)和(u_Qj,v_Qj)分别为第i幅、第j幅图像的正交消隐点对，联立方程求解出未知参数x，y，z，再由：

利用非线性最小二乘方法迭代求解非线性方程组(2)获得尺度因子，即f_y,f_x；其中，(u₀,v₀)为左摄像机1的主点坐标，f_y,f_x为摄像机等效焦距，由此可得左摄像机1内参数矩阵K_L：

采用相同的步骤(a)和(b)，可得到右摄像机2的尺度因子，由步骤3中的主点坐标构成右摄像机2的内参数矩阵K_R。

步骤4：求取摄像机的外参数

在两台摄像机的公共视场区摆放两次标定模板，并拍摄图像，进行摄像机间外部参数的标定；具体如下：

(a)求取基本矩阵F，根据对应像点的齐次坐标获得线性方程：

[uu′,vu′,u′,uv′,vv′,v′,u,v,1]f＝0 (7)

其中，(u,v),(u′,v′)为左右摄像机图像中对应的像点坐标，

f＝[f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,f₃₃]^T为9维列向量,f_ij为基本矩阵F的第i行、第j列上的元素。提取所采集的两幅图像中n(n≥8)组对应点构成对应点矩阵A

其中，(u_i,v_i),(u′_i,v′_i)为两幅图像中对应点坐标。利用Af＝0，即可求得基本矩阵F；

(b)根据步骤4中得出的左右摄像机的内参数矩阵K_L,K_R，由E＝K_R ^TFK_L，即可得到本质矩阵E；

(c)本质矩阵由双目立体视觉的内外参数决定，根据E＝[t]_XR，其中[t]_X为平移矢量t的反对称矩阵，R为旋转矩阵，由(b)中得到的本质矩阵E即可计算出旋转矩阵R和平移矢量t，得到左右摄像机的外参数。

(d)计算摄像机的比例因子，采用长度为L的高精度标尺作为长度基准，使用上述双目测量系统对其进行拍摄并重建出三维长度l，则摄像机的比例因子采用步骤1～4，即可计算双目视觉测量系统的内外参数，完成系统的标定过程。

本发明的有益效果是利用变焦距的方法简便快捷地计算出像机的主点坐标，利用标定模板特征点计算图像的正交消隐点，并基于消隐点计算像机的尺度因子，最后以基本矩阵和本质矩阵得出双目测量系统的外参数，本发明是一种简单易实现的标定方法，特别适用于快速准确实现锻造现场的标定。

附图说明

图1为双目测量系统自标定的示意图。图中，1为左摄像机，2为右摄像机，3为标定模板。

图2为变焦距求主点的原理图。1、2、3、4、5、6、7分别为不同焦距采集的图像，l₁,l₂,l₃,l₄分别为对应点连接成的4条直线，(u₀,v₀)为主点坐标。

图3为一组正交消隐点对的示意图。P、Q为正交消隐点。

具体实施方式

下面结合附图和技术方案进一步详细说明本发明的具体实施方式。具体步骤如下：步骤1：图像采集

在待测目标的同一侧布置两台摄像机，分别为左摄像机1和右摄像机2，构成双目视觉测量系统，在测量范围为5m×5m的实验现场进行标定，标定模板3到摄像机的距离约为4m，如附图1所示。

首先，采集变焦距图像。采集左摄像机1的标定图像，首先调整标定模板3的位置，在最大焦距下，对摄像机合焦，采集清晰的图像特征。标定模板3保持静止，调整左摄像机1的变焦环，分别在摄像机焦距为24μm、26μm、28μm、30μm、32μm、35μm、40μm下拍摄七幅图像。使用同样的方法采集右摄像机2的七张图像。其次，采集正交消隐点图像。调整摄像机的视场，使左右摄像机有足够的公共视场区以放置标定模板，在后续标定中，摄像机固定。采集求取正交消隐点的图像，将摄像机的焦距调整为拍摄焦距35μm，拍摄标定模板四张图像，图像中标定模板有较大的位姿调整，同时在不同方位的在四张图像中尽量使标定模板布满整个公共视场。

步骤2：求取摄像机主点坐标

改变焦距时，摄像机视场呈现比例扩缩现象，在不同焦距拍摄的图像中，特征点连线的交点即为主点。计算摄像机主点坐标，拍摄的七张图片中，将不同图像上标定模板相同特征点对应的7个像点采用线性回归的方法拟合成4条直线，见图2。根据前面的公式(2)可以得到第i条直线的拟合方程为：

l_i:a_iu+b_iv+c_i＝0,(i＝1,2…4)

根据公式(3)可以得到以像点连线距离平方和最小为目标函数S，

计算主点坐标(u₀,v₀)，分别求出左、右摄像机的主点坐标。

步骤3：求取摄像机尺度因子

根据步骤2获得的标定模板的4幅图像，求出正交消隐点，计算摄像机的尺度因子f_x和f_y，具体过程如下：

(a)根据步骤2拍摄得到标定模板的四个不同方位的图像，分别求出左摄像机1的4组正交消隐点对P_i(u_Pi,v_Pi),Q_i(u_Qi,v_Qi),i＝1,2,3,4；见图3。

(b)将4组正交消隐点对分别代入线性方程(4)：

(u_Pi+u_Qi-u_Pj-u_Qj)·x+(u_Pju_Qj-u_Piu_Qi)·z+(v_Pi+v_Qi-v_Pj-v_Qj)·y＝(v_piv_Qi-v_Pjv_Qj)(i≠j)

其中，i,j表示不同的摄像机参数调整模板图像，(u_Pi,v_Pi)、(u_Qi,v_Qi)(u_Pj,v_Pj)和(u_Qj,v_Qj)分别为第i幅、第j幅图像的正交消隐点对，联立方程求解出未知参数x，y，z，再由前面的公式(5)

利用非线性最小二乘方法迭代求解非线性方程组(2)获得尺度因子，即f_y,f_x；其中，(u₀,v₀)为左侧摄像机的主点坐标，f_y,f_x为摄像机等效焦距。由此可得左摄像1机内参数矩阵K_L(6)：

采用相同的步骤(a)和(b)，可得到右摄像机2的尺度因子，由步骤3中的主点坐标构成右摄像机2的内参数矩阵K_R。

步骤4：求取摄像机的外参数

在两台摄像机的公共视场区摆放两次标定模板，并拍摄图像，进行摄像机间外部参数的标定；具体如下：

(a)求取基本矩阵F，根据对应像点的齐次坐标和线性方程(7)获得：[uu′,vu′,u′,uv′,vv′,v′,u,v,1]f＝0

其中，(u,v),(u′,v′)为左、右摄像机图像中对应的像点坐标，

f＝[f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,f₃₃]^T为9维列向量,f_ij为基本矩阵F的第i行、第j列上的元素。取拍摄的两幅图像的若干对应点构成对应点矩阵A，即公式(8)，采用归一化算法，可获取基本矩阵F；

(b)根据步骤4中得出的左右摄像机的内参数矩阵K_L,K_R，由E＝K_R ^TFK_L，得出本质矩阵E；

(c)本质矩阵由双目立体视觉的内外参数决定，根据E＝[t]_XR，其中[t]_X为平移矢量t的反对称矩阵，R为旋转矩阵，能够计算出旋转矩阵R和平移矢量t，得到左右摄像机的外参数。

(d)计算摄像机的比例因子，采用长度为L的高精度标尺作为长度基准，使用上述双目测量系统对其进行拍摄并重建出三维长度l，则摄像机的比例因子

采用步骤1～4，即可计算双目视觉测量系统的内外参数，完成系统的标定过程。

本发明基于消隐点的大锻件测量系统标定方法，采用主动视觉的标定方法，利用正交消隐点的性质，以较少的图像精确实现锻造现场双目视觉测量系统摄像机的标定。

Claims (1)

1.一种基于消隐点的大锻件测量系统标定方法，其特征是，首先在不同焦距下拍摄标定模板的7幅图像，通过对应点连线交于一点求得摄像机主点坐标，其次在测量所需的焦距下拍摄标定模板的3个不同方位的图像，然后对模板图像进行直线提取，之后利用所得直线求取3组对应正交消隐点，即可求得摄像机内参数，最后，同时标定双目视觉测量系统的外参数，具体步骤如下：

步骤1：图像采集

首先，采集变焦距图像；在待测目标的同一侧布置两台摄像机，分别为左摄像机(1)和右摄像机(2)，构成双目视觉测量系统；标定左摄像机(1)时，调整标定模板(3)的位置，保证标定模板(3)在不同拍摄焦距时，均在摄像机视场内，在最大焦距下，对摄像机合焦；标定模板(3)静止，逐渐减小摄像机焦距，在不同焦距下拍摄七幅模板图像；使用同样的方法采集右摄像机(2)的七张图像；通用的摄像机模型可表示为：

$z\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(1\right)$

其中，(X_w,Y_w,Z_w,1)^T为在世界坐标系下空间点的齐次坐标，(x,y,1)^T为空间点在图像坐标系下的对应像点坐标，f_x，f_y为摄像机尺度因子，(u₀,v₀)为像机的主点坐标，z为比例因子，R和t分别为两摄像机件的旋转矩阵和平移矩阵；

其次，采集正交消隐点图像；将双目测量系统中的左、右摄像机合理放置，调整摄像机的视场，使左、右摄像机有足够的公共视场区，在后续标定中，摄像机焦距以及两摄像机间方位不再发生变化；在测量所需的摄像机焦距下拍摄3张标定模板不同角度的图像，且保证不在同一平面上；

步骤2：求取摄像机主点坐标

改变焦距时，摄像机视场呈现比例扩缩现象，因此在不同焦距拍摄的图像中，特征点连线的交点即为主点；计算摄像机主点坐标，拍摄的七张图片中，将不同图像上标定模板相同特征点对应的7个像点采用线性回归的方法拟合成n条直线，第k条直线的拟合方程为：

l_k:a_ku+b_kv+c_k＝0,(k＝1,2…n) (2)

以到像点连线距离平方和最小为目标函数S，其中

$S=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\frac{\left|a_k{u}_0+b_k{v}_0+c_k\right|}{\sqrt{{a_k}^2+{b_k}^2}}---\left(3\right)$

计算主点坐标(u₀,v₀)，分别求出左、右摄像机的主点坐标(u_l0,v_l0)和(u_r0,v_r0)；

步骤3：求取摄像机尺度因子

根据步骤1获得求取正交消隐点标定模板的3幅图像，求出3组图像的正交消隐点，计算摄像机的尺度因子f_x和f_y，具体过程如下：

a)根据步骤1拍摄得到标定模板的四个不同方位的图像，分别求出左摄像机的3组正交消隐点对P_i(u_Pi,v_Pi),Q_i(u_Qi,v_Qi),i＝1,2,3；

b)将3组正交消隐点对分别代入线性方程：

$\begin{array}{c}(u_{Pi}+u_{Qi}-u_{Pj}-u_{Qj})\·x+(u_{Pj}{u}_{Qj}-u_{Pi}{u}_{Qi})\·z+(v_{Pi}+v_{Qi}-v_{Pj}-v_{Qj})\·y\\ =(v_{pi}{v}_{Qi}-v_{Pj}{v}_{Qj}),(i\≠j)\end{array}---\left(4\right)$

其中，i≠j表示不同的摄像机参数调整模板图像，(u_Pi,v_Pi)、(u_Qi,v_Qi)、(u_Pj,v_Pj)和(u_Qj,v_Qj)分别为第i幅、第j幅图像的正交消隐点对，联立方程求解出未知参数x，y，z，再由：

$\left\{\begin{array}{c}{f}_y=\sqrt{z}\·f_x\\ f_x=\sqrt{(u_{Pi}-u_{l0})(u_{l0}-u_{Qi})+\frac{{f_x}^2}{{f_y}^2}(u_{Pi}-v_{l0})(v_{l0}-u_{Qi})}\end{array}\right.---\left(5\right)$

利用非线性最小二乘方法迭代求解非线性方程组(5)获得尺度因子，即f_y,f_x；其中，(u_l0,v_l0)为左摄像机1的主点坐标，f_y,f_x为摄像机等效焦距，由此可得左摄像机内参数矩阵K_L：

$K_L=\left[\begin{array}{ccc}{f}_x& 0& u_{l0}\\ 0& f_y& v_{l0}\\ 0& 0& 1\end{array}\right]---\left(6\right)$

采用步骤3的相同步骤a)和b)，得到右摄像机(2)的尺度因子，由步骤2中的主点坐标构成右摄像机(2)的内参数矩阵K_R；

步骤4：求取摄像机的外参数

在两台摄像机的公共视场区摆放两次标定模板，并拍摄图像，进行摄像机间外部参数的标定；具体如下：

a)求取基本矩阵f，根据对应像点的齐次坐标获得线性方程：

[uu′,vu′,u′,uv′,vv′,v′,u,v,1]f＝0 (7)

其中，(u,v),(u′,v′)为左右摄像机图像中对应的像点坐标，f＝[f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,f₃₃]^T为9维列向量，f_ij为基本矩阵f的第i行、第j列上的元素；提取采集的两幅图像中m组对应点构成对应点矩阵A

$A=\left[\begin{array}{ccccccccc}{u}_1{u}_1^{\′}& v_1{u}_1^{\′}& u_1^{\′}& u_1{v}_1^{\′}& v_1{v}_1^{\′}& v_1^{\′}& u_1& v_1& 1\\ .& .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .& .\\ u_m{u}_m^{\′}& v_m{u}_m^{\′}& u_m^{\′}& u_m{v}_m^{\′}& v_m{v}_m^{\′}& v_m^{\′}& u_m& v_m& 1\end{array}\right]---\left(8\right)$

其中，m≥8，(u_m,v_m),(u′_m,v′_m)为两幅图像中对应点坐标；利用Af＝0，即可求得基本矩阵f；

b)根据步骤3中得出的左右摄像机的内参数矩阵K_L,K_R，由E＝K_R ^TfK_L，即可得到本质矩阵E；

c)本质矩阵由双目立体视觉的内外参数决定，根据E＝[t]_XR，其中[t]_X为平移矢量t的反对称矩阵，R为旋转矩阵，由b)中得到的本质矩阵E即可计算出旋转矩阵R和平移矢量t，得到左右摄像机的外参数；

d)计算摄像机的比例因子，采用长度为L的高精度标尺作为长度基准，使用上述双目测量系统对其进行拍摄，并重建出三维长度l，则摄像机的比例因子

采用步骤1～4，即可计算双目视觉测量系统的内外参数，完成系统的标定过程。