CN106981083A - 双目立体视觉系统摄像机参数的分步标定方法 - Google Patents

Abstract

本发明双目立体视觉系统摄像机参数的分步标定方法属于图像处理和计算机视觉检测领域，涉及大型锻件尺寸测量系统中摄像机内、外参数的分步标定方法。该标定方法，首先在实验室中离线标定相机的内参数矩阵，通过高精度电控平台带动相机做两组相互独立三正交运动，利用FOE点的性质列出线性方程唯一求解出相机的内参数；在锻造实验现场通过8‑点法求解两幅图像之间基础矩阵，进而分解本质矩阵的方法，实现相机外参数的实时在线标定；最后利用图像信息重建高精度三维标尺的长度，实现相机比例因子的求解。这种方法标定过程简便，标定时间短，精度高，能以较少的图像精确实现锻造现场双目视觉测量系统相机的标定。

Description

双目立体视觉系统摄像机参数的分步标定方法

技术领域

本发明属于计算机视觉检测领域，特别涉及一种双目立体视觉系统摄像机内外参数的分步标定方法。

背景技术

双目立体视觉是根据双目摄像机同时拍摄的两张图片的二维图像信息得到物体的几何三维信息。从二维图像信息恢复物体三维信息依赖于双目视觉系统的模型，最重要的是需要确定摄像机的成像几何模型，该几何模型的参数称为摄像机参数。摄像机参数包括内参数与外参数，其中内参数是与摄像机几何和光学特性有关的参数，只依赖于摄像机自身的制造特点；外参数为摄像机坐标系相对于建立好的世界坐标系的旋转和平移关系量。摄像机标定过程就是确定内、外参数的过程，标定方法的精度直接影响到计算机视觉检测的精度。因此，如何对摄像机进行快速、简捷、精准的标定具有重大的意义。

传统的摄像机和双目视觉传感器标定方法通常依赖于精密加工的2D或3D辅助标定物。Tsai提出的“A versatile camera calibration technique for high-accuracy 3Dvision metrology using off-the-shelf TV cameras and lenses”(IEEE Journal OfRobotics and Automation,1987,3(4)：323-344)基于径向约束的两步法能够获得较为精确的标定结果，张正友提出的“A Flexible New Technique For Camera Calibration”(IEEE Transactions on Pattern Analysis&Machine Intelligence，2000,22(11):1330-1334)基于棋盘格靶标标定方法同样可以获得较高的精度。但是对于大视场下的摄像机标定而言，由于传统标定方法所占有视场较小，导致特征点提取误差大；同时传统标定方法所使用的2D或3D靶标造价昂贵并且维护困难，标定过程复杂，标定时间长，因此不适合无法应用辅助标定物的场合、大场景测量以及在线标定的情况。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，针对在锻造现场传统标定方法严格依赖于高精度辅助标定无，且标定方法复杂、实时性差的问题，提出了双目立体视觉系统摄像机内参数离线标定、外参数实时在线标定的分步标定方法。这种方法标定过程简便，标定时间短，精度高；能以较少的图像精确实现锻造现场双目视觉测量系统相机的标定。

本发明采用的技术方案是双目立体视觉系统摄像机参数的分步标定方法，该方法首先在实验室中离线标定摄像机的内参数矩阵，通过高精度电控平台带动摄像机做两组相互独立三正交运动，利用FOE点的性质列出线性方程，可以唯一求解出摄像机的内参数；在实验现场通过8-点法求解两幅图像之间基础矩阵，进而分解本质矩阵的方法，实现摄像机外参数的实时在线标定。具体步骤如下：

步骤1：摄像机内参数矩阵K的标定

摄像机标定通常采用经典的小孔成像模型，该模型的表达式如下：

其中，(X_w,Y_w,Z_w,1)^T为空间点在世界坐标系中的齐次坐标，(u,v,1)^T为对应的像素点在图像坐标系中的齐次坐标，f_u为摄像机横向尺度因子，f_v为摄像机纵向尺度因子，(u₀,v₀)为主点坐标，s为比例因子，K为摄像机内部参数矩阵，[R|t]为摄像机的外部参数矩阵，R为旋转矩阵，t为平移向量。

利用高精度的位移电控平台控制摄像机作一组三正交运动(两两正交的三次平移运动)，根据图像对应点计算对应的3个FOE(Focus of Expansion)点，记做F₁,F₂,F₃。设FOE的图像坐标为(u_i,v_i)，i＝1,2,3。则向量与摄像机的平移向量平行。由FOE点的性质，可以得到以下3个有关f_u,f_v,u₀,v₀的约束方程：

将式(2)减去式(3)和(4)，并令x＝u₀，可以得到关于x,y,z的二个线性约束方程：

(u₁-u₃)x+(v₁-v₃)y-v₂(v₁-v₃)z＝u₂(u₁-u₃) (5)

(u₂-u₃)x+(v₂-v₃)y-v₁(v₂-v₃)z＝u₁(u₂-u₃) (6)

显然，通过式(5)，(6)不能唯一确定x,y,z，需要再作一次三正交运动。从二组形如式(5)，(6)的约束方程中线性唯一求解出x,y,z，进而求得摄像机的内参数f_u,f_v,u₀,v₀。

步骤2：摄像机外参数矩阵[R|t]的标定

令左摄像机光学中心位于世界坐标系O-XYZ原点，且无旋转。左摄像机图像坐标系O_l-u_lv_l，有效焦距为f_l；右摄像机的坐标系为O_r-X_rY_rZ_r，右图像坐标系为O_r-u_rv_r，有效焦距为f_r。

(a)求取基本矩阵，在双目视觉系统的公共视场内摆放棋盘格标定模板，拍摄后得到两张标定板图像；选取棋盘格上的至少8个的任意特征点，找出其在两幅图像中的对应点对。(u_il,v_il)，(u_ir,v_ir)为两幅图像中对应点坐标，利用8组点对的像素坐标利用8组点对的像素坐标，求解以下方程组:

其中，

然后对A的奇异值分解为A＝UDV^T，则问题(7)的解是V的最后一个列向量，即f＝v₉，有此可构造出两幅图像之间的基础矩阵F。

(b)根据步骤1中得出的左右摄像机的内参数矩阵K_L,K_R，由E＝K_L ^TFK_R，即可得到本质矩阵E。

(c)本质矩阵由双目立体视觉的内外参数共同决定，根据E＝[t]_XR，其中[t]_X为平移矢量t的反对称矩阵，R为旋转矩阵，由步骤(b)中得到的本质矩阵E即可计算出旋转矩阵R和平移矢量t，从而得到左右摄像机的外参数。

步骤3：摄像机比例因子s的求解

左摄像机坐标系O-XYZ与右摄像机坐标系O_r-X_rY_rZ_r之间的相互位置关系可以用步骤2得到的[R|t]矩阵表示成如下形式：

其中，

两个摄像机视场中的三维坐标可以表示成：

由(11)式可以看出，已知左右摄像机的焦距和空间点在2个摄像机中图像坐标，带入旋转矩阵R和平移矢量t的值，就可以求出空间点的三维空间坐标值。

用已经标定出内外参数的双目视觉测量系统去拍摄长度为L的高精度标尺，利用式(11)求得该标尺在空间中的三维坐标值，从而重建出其三维长度为l，则摄像机的比例因子

采用步骤1～3，即可计算双目视觉测量系统的内外参数，完成系统的标定过程。

本发明的有益效果是利用主动视觉的方法在实验室中离线标定摄像机的内参数；在锻造现场利用该双目系统拍摄到的图像之间的基础矩阵，实时对摄像机的外参数进行标定。本发明是一种简单易实现的标定方法，特别适用于锻造现场快速准确的标定需求。

附图说明

图1为本发明的装置结构示意图。图中：1平台；2左摄像机电控平台；3右摄像机电控平台；4左摄像机；5右摄像机；6二维棋盘格标定板。

图2为基于主动视觉的摄像机内参数标定原理示意图。1、2为摄像机平移前后拍摄到的前、后图像，3为空间中物点P，O₁，O₂分别为摄像机平移前后的前、后光心，空间点P在前图像1中的前投影点为p₁，在后图像2中的后投影点为p₂，p′₂为后投影点p₂在前图像1中的对应点，点e称作FOE点，也是极点。的方向即为摄像机平移的方向。

具体实施方式

下面结合附图和技术方案详细说明本发明的实施。

图1为本发明的装置结构示意图，本实施例中采用的双目视觉摄像机型号为：SVCam-svs11002，分辨率为4008×2672；高精度的电控平台采用Physik Instrumente(PI)，位移精度达到0.1μm；高精度标准尺的长度为2001.464mm。在测量范围为3m×2.5m的实验现场进行标定，棋盘格标定板到摄像机的距离约为5m。

该方法首先在实验室中离线标定摄像机的内参数矩阵，通过高精度电控平台带动摄像机做两组相互独立三正交运动，利用FOE点的性质列出线性方程，可以唯一求解出摄像机的内参数；在实验现场通过8-点法求解两幅图像之间基础矩阵，进而分解本质矩阵的方法，实现摄像机外参数的实时在线标定。具体步骤如下：

步骤1：摄像机内参数矩阵K的标定

利用PI位移电控平台控制摄像机作一组三正交运动，两两正交的三次平移运动，根据图像对应点计算对应的3个FOE点，记做F₁,F₂,F₃。设FOE点的图像坐标为(u_i,v_i)，i＝1,2,3。则向量与摄像机的平移向量平行，如图2所示。由FOE点的性质，可以得到有关f_u,f_v,u₀,v₀的三个约束方程公式(2)、(3)、(4)，

将公式(2)减去式公式(3)和公式(4)，并令x＝u₀， 可以得到关于x,y,z的二个线性约束方程(5)、(6)，显然，通过式(5)，(6)不能唯一确定x,y,z，需要再作一次三正交运动。从二组形如式(5)，(6)的约束方程中线性唯一求解出x,y,z，进而求得摄像机的内参数f_u,f_v,u₀,v₀。

步骤2：摄像机外参数矩阵[R|t]的标定

令左摄像机光学中心位于世界坐标系O-XYZ原点，且无旋转。左摄像机图像坐标系O_l-u_lv_l，有效焦距为f_l；右摄像机的坐标系为O_r-X_rY_rZ_r，右图像坐标系为O_r-u_rv_r，有效焦距为f_r。

(a)求取基本矩阵，在双目视觉系统的公共视场内摆放棋盘格标定模板，拍摄后得到两张标定板图像；选取棋盘格上的至少8个的任意特征点，找出其在两幅图像中的对应点对。(u_il,v_il)，(u_ir,v_ir)为两幅图像中对应点坐标，利用8组点对的像素坐标利用8组点对的像素坐标，求解以下方程组:

其中，

然后对A的奇异值分解为A＝UDV^T，则问题(7)的解是V的最后一个列向量，即f＝v₉，有此可构造出两幅图像之间的基础矩阵F。

(b)根据步骤1中得出的左右摄像机的内参数矩阵K_L,K_R，由E＝K_L ^TFK_R，即可得到本质矩阵E。

(c)本质矩阵由双目立体视觉的内外参数共同决定，根据E＝[t]_XR，其中[t]_X为平移矢量t的反对称矩阵，R为旋转矩阵，由步骤(b)中得到的本质矩阵E即可计算出旋转矩阵R和平移矢量t，从而得到左右摄像机的外参数。

步骤3：摄像机比例因子s的求解

左摄像机坐标系O-XYZ与右摄像机坐标系O_r-X_rY_rZ_r之间的相互位置关系可以用步骤2得到的[R|t]矩阵表示成如下形式：

其中，

两个摄像机视场中的三维坐标可以表示成：

由(11)式可以看出，已知左右摄像机的焦距和空间点在2个摄像机中图像坐标，带入旋转矩阵R和平移矢量t的值，就可以求出空间点的三维空间坐标值。

用已经标定出内外参数的双目视觉测量系统去拍摄长度为L的高精度标尺，利用式(11)求得该标尺在空间中的三维坐标值，从而重建出其三维长度为l＝2004.1mm，则摄像机的比例因子

采用步骤1～3，即可计算双目视觉测量系统摄像机的内外参数，从而完成系统的标定过程。

Claims (1)

1.一种双目立体视觉系统摄像机参数的分步标定方法，其特征是，该方法首先采用主动视觉的方法对摄像机的内参数进行标定；其次迭代极小化重投影像点与理想像点偏差来对摄像机的外参数进行优化；最后重建长度精确已知的高精度标尺求取摄像机比例因子，方法的具体步骤如下：

步骤1：摄像机内参数矩阵K的标定

摄像机标定通常采用经典的小孔成像模型，该模型的表达式如下：

其中，(X_w,Y_w,Z_w,1)^T为空间点在世界坐标系中的齐次坐标，(u,v,1)^T为对应的像素点在图像坐标系中的齐次坐标，f_u为摄像机横向尺度因子，f_v为摄像机纵向尺度因子，(u₀,v₀)为主点坐标，s为比例因子，K为摄像机内部参数矩阵，[R|t]为摄像机的外部参数矩阵，R为旋转矩阵，t为平移向量；

利用高精度的位移电控平台控制摄像机作一组三正交运动，两两正交的三次平移运动，根据图像对应点计算对应的3个FOE点，记做F₁,F₂,F₃，设FOE点的图像坐标为(u_i,v_i)，i＝1,2,3，则向量与摄像机的平移向量T＝(T_x,T_y,T_z)^T平行，由FOE点的性质，得到以下3个有关f_u,f_v,u₀,v₀的约束方程：

$\left(\frac{u_1-u_0}{f_u},\frac{v_1-v_0}{f_v},1\right)\·{\left(\frac{u_2-u_0}{f_u},\frac{v_2-v_0}{f_v},1\right)}^T=0---\left(2\right)$

$\left(\frac{u_1-u_0}{f_u},\frac{v_1-v_0}{f_v},1\right)\·{\left(\frac{u_3-u_0}{f_u},\frac{v_3-v_0}{f_v},1\right)}^T=0---\left(3\right)$

$(\frac{u_2-u_0}{f_u},\frac{v_2-v_0}{f_v},1)\·{(\frac{u_3-u_0}{f_u},\frac{v_3-v_0}{f_v},1)}^T=0---\left(4\right)$

将式(2)减去式(3)和(4)，并令x＝u₀，得到关于x,y,z的二个线性约束方程：

(u₁-u₃)x+(v₁-v₃)y-v₂(v₁-v₃)z＝u₂(u₁-u₃) (5)

(u₂-u₃)x+(v₂-v₃)y-v₁(v₂-v₃)z＝u₁(u₂-u₃) (6)

显然，通过式(5)，(6)不能唯一确定x,y,z，需要再作一次三正交运动，从二组形如式(5)，(6)的约束方程中线性唯一求解出x,y,z，进而求得摄像机的内参数f_u,f_v,u₀,v₀；

步骤2：摄像机外参数矩阵[R|t]的标定

令左摄像机光学中心位于世界坐标系O-XYZ原点，且无旋转，左摄像机图像坐标系O_l-u_lv_l，有效焦距为f_l；右摄像机的坐标系为O_r-X_rY_rZ_r，右图像坐标系为O_r-u_rv_r，有效焦距为f_r；

(a)求取基本矩阵，在双目视觉系统的公共视场内摆放棋盘格标定模板，拍摄后得到两张标定板图像；选取棋盘格上的至少8个的任意特征点，找出其在两幅图像中的对应点对，(u_il,v_il)，(u_ir,v_ir)为两幅图像中对应点坐标，利用8组点对的像素坐标利用8组点对的像素坐标，求解以下方程组：

$\left\{\begin{array}{c}\min \left|\right|Af\left|\right|\\ subjectto\left|\right|f\left|\right|=1\end{array}\right.---\left(7\right)$

其中，

然后对A的奇异值分解为A＝UDV^T，则问题(7)的解是V的最后一个列向量，即f＝v₉，有此可构造出两幅图像之间的基础矩阵F；

(b)根据步骤1中得出的左右摄像机的内参数矩阵K_L,K_R，由E＝K_L ^TFK_R，即可得到本质矩阵E；

(c)本质矩阵由双目立体视觉的内外参数共同决定，根据E＝[t]_XR，其中[t]_X为平移矢量t的反对称矩阵，R为旋转矩阵，由步骤(b)中得到的本质矩阵E即可计算出旋转矩阵R和平移矢量t，从而得到左右摄像机的外参数；

步骤3：摄像机比例因子s的求解

左摄像机坐标系O-XYZ与右摄像机坐标系O_r-X_rY_rZ_r之间的相互位置关系可以用步骤2得到的[R|t]矩阵表示成：

其中，两个摄像机视场中的三维坐标表示成：

$\left\{\begin{array}{c}X={\mathrm{Zu}}_l/f_l\\ Y={\mathrm{Zv}}_l/f_l\\ Z=\frac{f_l(f_r{t}_x-u_r{t}_z)}{u_r(r_7{u}_1+r_8{v}_1+f_l{r}_9)-f_r(r_1{u}_1+r_2{v}_1+f_l{r}_3)}\\ =\frac{f_l(f_r{t}_y-v_r{t}_z)}{v_r(r_7{u}_1+r_8{v}_1+f_l{r}_9)-f_r(r_4{u}_1+r_5{v}_1+f_l{r}_6)}\end{array}\right.---\left(11\right)$

由(11)式看出，已知左右摄像机的焦距和空间点在2个摄像机中图像坐标，带入旋转矩阵R和平移矢量t的值，就求出空间点的三维空间坐标值，用已经标定出内外参数的双目视觉测量系统去拍摄长度为L的高精度标尺，利用式(11)求得该标尺在空间中的三维坐标值，从而重建出其三维长度为l，则摄像机的比例因子

采用上述步骤1～3，计算双目视觉测量系统摄像机的内外参数，完成系统的标定过程。