CN102968794B - 小型二维靶大视场双目立体视觉系统结构参数在位标定法 - Google Patents

Abstract

小型二维靶大视场双目立体视觉系统结构参数在位标定法，属于光学测量和机械工程技术领域。其标定方法如下：首先将小尺寸二维标定靶置于测量场景中的不同位置，获取标定靶的图像；其次根据离线已标定的左右摄像机内参数，分别计算对应不同摆放位置的标定靶相对左右摄像机的外参数，进而计算立体视觉系统的结构参数；最后建立目标函数对立体视觉系统结构参数进行非线性优化。小尺寸二维标定靶，有效地解决使用大尺寸高精度标定靶的成本高，运输保管困难，使用维护不便等问题，能够适应复杂环境下的立体视觉系统结构参数的在位标定。

Description

小型二维靶大视场双目立体视觉系统结构参数在位标定法

技术领域：

本发明涉及一种大视场双目立体视觉系统结构参数标定方法，特别是一种使用小型二维标定靶对大视场双目立体视觉结构参数进行在位标定的方法。属于光学测量和机械工程技术领域。

背景技术：

传统双目立体视觉系统参数的标定是将左右摄像机内参数及系统结构参数同时进行标定。随着测量场景的不断增大，这一传统的方法也延续到了大视场双目立体视觉测量系统的标定中。

大视场双目立体视觉系统参数的标定，通常采用大尺寸二维标定靶或大尺寸三维标定靶。然而大尺寸二维和三维标定靶加工精度难以保证，且操作使用不便。为进一步提高标定靶的制造精度及操作使用便捷性，Xiao Zhenzhong等在文献“Across-target-based accurate calibration method of binocular stereo systems withlarge-scale field-of-view.Measurement 2010;43:747-754.”中提出了大尺寸交叉靶对大视场双目立体视觉系统参数进行标定，由于只需关注标定靶上特征点间的相对位置，而无需精确确定特征点的绝对坐标，因此降低了标定靶的制造难度，保证了其加工精度，同时相对大尺寸二维、三维标定靶，一定程度上交叉标定靶提高了标定的灵活性。

由于大尺寸二维、三维标定靶及大尺寸交叉标定靶在理想情况下，可以满足大视场双目立体视觉系统参数的标定需要，但对于检测环境较为复杂的生产现场在位标定，受制于测量空间的限制，上述大尺寸标定靶均有一定的使用局限性。为提高大视场双目立体视觉系统参数在复杂现场在位标定的灵活性，Sun Junhua等在文献“A calibration method for stereo vision sensor with large FOV based on 1Dtargets.Optics and Lasers in Engineering 2011;(49):1245-1250.”中提出了基于一维标定靶的双目立体视觉系统参数标定方法。一维标定靶相对于上述大尺寸标定靶，提高了标定的灵活性，能够适应较为复杂的现场标定。但是，一维标定靶由于其上标定特征点少，单次摆放提供的有效约束条件较少，常需要多次摆放，导致其标定效率不高。此外，一维标定靶对其上两特征点间的距离精度要求较高，当特征点间距较大时，也限制了其实际应用。

发明内容：

为克服现有技术的不足和缺陷，同时考虑在位标定的重要性，如其可以有效解决测量系统使用过程中，标定参数，特别是结构参数，因受工作环境，如温度、震动等的影响而产生变化，导致测量精度降低等问题。本发明根据双目立体视觉系统参数标定的特点，即摄像机内参数不随两像机间的位置变化而改变，通过将摄像机内参数和系统结构参数分开单独标定，在离线下精确标定左右摄像机内参数，在位标定左右摄像机间的位置关系，即立体视觉系统结构参数，进而提出了一种小型二维靶大视场双目立体视觉系统结构参数在位标定法。立体视觉系统结构参数标定对标定靶的大小形状并无严格要求，只要标定靶满足其上有三个已知的不共线的特征点，即可完成大视场双目立体视觉系统结构参数在位标定。其具体步骤如下：

1）制作小尺寸二维标定靶。小尺寸二维标定靶采用Ipad的液晶屏，标定图样为圆斑阵列，并将此标定图样显示在Ipad液晶屏幕上。取圆斑中心作为标定靶上特征点。

2）在测量场景中摆放标定靶。将小尺寸二维标定靶置于大视场双目立体视觉系统的测量场景中，并将其固定。

3）获取测量系统标定所需图像。左摄像机和右摄像机分别采集标定靶图片。

4）计算标定靶至左右摄像机的外参数。利用已在离线下完成标定的摄像机内参数矩阵A，和给定标定靶上特征点的空间坐标M_w及其对应的成像面投影坐标m，计算摄像机相对于标定靶的外参数和其中表示标定靶坐标系至摄像机坐标系的旋转矩阵，表示标定靶坐标系至摄像机坐标系的平移向量。计算公式如下：

$\mathrm{sm}=A(R_c^w{M}_w+T_c^w)$

式中，s投影比例因子。

因此，当给定的足够数量（至少三个非共线）标定靶上特征点的空间坐标及其对应的成像面投影坐标，便可根据上述公式，分别计算标定靶在i次摆放位置下，左右摄像机相对于标定靶的外参数(R_l，i，T_l，i)和(R_r，i,T_r，i)。

5）计算立体视觉系统的结构参数。立体视觉结构参数与左右摄像机的外参数间存在如下关系：

$R_i=R_{r,i}{R}_{l,i}^T$

T_i=T_r，i-R_iT_l，i

因此，根据上述关系，即可计算出第i次摆放标定靶对应的立体视觉系统结构参数。

6）计算立体视觉系统结构参数的初始值。虽然理论上，标定靶摆放一次即可完成系统结构参数的标定，但考虑到噪声的影响，每次摆放标定靶所计算出的立体视觉系统结构参数均有些轻微差别，为减少噪声对标定结构参数的影响，需将标定靶在测量空间中多次摆放。当摆放次数少于设定的总摆放次数n时，重复步骤1）~4），当摆放次数达到设定的总摆放次数n时，可通过如下关系式，求取立体视觉系统结构参数的初始值：

R₀=median{R_i},i＝1...n

T₀=median{T_i},i＝1...n

7）立体视觉系统结构参数的非线性优化。

利用标定靶上特征点对左右摄像机的重投影误差最小，可建立如下目标函数：

$\min \underset{i}{\mathrm{\Σ}}[\underset{j}{\mathrm{\Σ}}{\left|\right|m_{l,i,j}-{\hat{m}}_{l,i,j}(R_{l,i},T_{l,i})\left|\right|}^2+\underset{j}{\mathrm{\Σ}}{\left|\right|m_{r,i,j}-{\hat{m}}_{r,i,j}(R_{r,i},T_{r,i})\left|\right|}^2]$

式中，m_l，i,j和m_r，i,j分别为在第i次摆放位置，标定靶上第j个特征点对应的左右摄像机成像面上的实际投影点，为左摄像机成像面上对应于m_l，i，j的计算重投影点，为右摄像机成像面上对应于m_r，i,j的计算重投影点。

若R和T分别表示立体视觉系统结构参数的最终优化解，则有

R_r，i=RR_l，i

T_r，i=T+RT_l，i

所以上述目标函数可表示为：

$\min \underset{i}{\mathrm{\Σ}}[\underset{j}{\mathrm{\Σ}}{\left|\right|m_{l,i,j}-{\hat{m}}_{l,i,j}(R_{l,i},T_{l,i})\left|\right|}^2+\underset{j}{\mathrm{\Σ}}{\left|\right|m_{r,i,j}-{\hat{m}}_{r,i,j}(R_{l,i},T_{l,i},R,T)\left|\right|}^2]$

此外，根据对极几何我们又可以得到如下目标函数

$\min \underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left|{\stackrel{\‾}{m}}_{l,i,j}F{\stackrel{\‾}{m}}_{r,i,j}\right|=\min \underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left|{\stackrel{\‾}{m}}_{l,i,j}{A}_r^{-T}{\mathrm{RSA}}_l^{-1}{\stackrel{\‾}{m}}_{r,i,j}\right|$

式中，和分别是左右摄像机成像面上矫正的匹配点，F为基础矩阵,S为向量T的反对称矩阵，其表示为：

$S=\left[\begin{array}{ccc}0& -T_z& T_y\\ T_z& 0& -T_x\\ -T_y& T_x& 0\end{array}\right]$

因此，最终的目标函数可表示如下：

$\min (\mathrm{\α}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{(\left|\right|m_{l,i,j}-{\hat{m}}_{l,i,j}(R_{l,i},T_{l,i})\left|\right|}^2+{\left|\right|m_{r,i,j}-{\hat{m}}_{r,i,j}(R_{l,i},T_{l,i},R,T)\left|\right|}^2)+\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}|{\stackrel{\‾}{m}}_{l,i,j}{A}_r^{-T}{\mathrm{RSA}}_l^{-1}{\stackrel{\‾}{m}}_{r,i,j}\left|\right)$

式中，α和β为权重系数。对上式采用Levenberg-Marquardt非线性优化方法，即可完成最终的立体视觉系统结构参数优化标定。

有益效果：

本发明通过离线下精确标定摄像机内参数，在位标定采用具有加工精度高，操作使用灵活的小尺寸二维标定靶，从而提高了标定效率、标定精度和在复杂环境下的标定适应能力，避免了采用大尺寸标定靶在大视场双目立体视觉系统标定时的使用维护不便、标定精度低、难以适应复杂现场在位标定等问题，同时也改善了一维标定靶标定效率不高的缺点，因此具有重要的工程实用价值。

附图说明：

图1为本发明双目立体视觉系统结构参数在位标定法的流程框图

图2为本发明采用二维平面标定板的标定图案示意图

图3为本发明大视场双目立体视觉的结构参数标定示意图

图中为左摄像机坐标系，为右摄像机坐标系，o_l-u_lv_l为左摄像机图像坐标系，o_r-u_rv_r为右摄像机图像坐标系，为第i次摆放位置的标定靶坐标系。(R_l，i,T_l，i)为第i次摆放位置的标定靶至左摄像机的外参数，其中R_l，i表示标定靶坐标系至左摄像机坐标系的旋转矩阵，T_l，i表示标定靶坐标系至左摄像机坐标系的平移向量；(R_r，i,T_r，i)为第i次摆放位置的标定靶至右摄像机的外参数，其中R_r，i表示标定靶坐标系至右摄像机坐标系的旋转矩阵，T_r，i表示标定靶坐标系至右摄像机坐标系的平移向量；(R_i,T_i)为第i次摆放位置的左摄像机至右摄像机的转换关系矩阵，即系统结构参数，其中R_i表示左摄像机坐标系至右摄像机坐标系的旋转矩阵，T_i表示左摄像机坐标系至右摄像机坐标系的平移向量。

具体实施方式：

下面结合附图对本发明的具体实施做进一步描述。

如图1、图2、图3所示，本发明标定方法的具体实施步骤如下：

1）制作小尺寸二维标定靶。小尺寸二维标定靶采用9.7英寸Ipad的液晶屏，其屏幕尺寸为196mm×147mm，标定图样为圆斑阵列，排列形式为2行3列，并将此标定图样显示在Ipad液晶屏幕上，其中圆斑半径占100像素(约为20mm)，长宽方向间距占300像素(约为60mm)。取圆斑中心作为标定靶上特征点。

2）在测量场景中摆放标定靶。将小尺寸二维标定靶置于大视场双目立体视觉系统的测量场景中，并将其固定，其测量场景大于1500mm×1000mm。

3）获取测量系统标定所需图像。左摄像机和右摄像机分别采集标定靶图片。

4）计算标定靶至左右摄像机的外参数。由于需要预先获得摄像机内参数，故可采用传统的基于张正友的平板标定法在离线下标定摄像机内参数。利用摄像机内参数矩阵A和给定标定靶上特征点的空间坐标M_w及其对应的成像面投影坐标m，计算摄像机相对于标定靶的外参数和其中表示标定靶坐标系至摄像机坐标系的旋转矩阵，表示标定靶坐标系至摄像机坐标系的平移向量。计算公式如下：

$\mathrm{sm}=A(R_c^w{M}_w+T_c^w)$

式中，s投影比例因子。

因此，当标定靶上给定6个特征点的空间坐标及其对应的成像面投影坐标，便可分别计算标定靶在i次摆放位置下，左右摄像机相对于标定靶的外参数(R_l，i,T_l，i)和(R_r，i,T_r，i)。

5）计算立体视觉系统的结构参数。立体视觉系统结构参数与左右摄像机的外参数间存在如下关系：

$R_i=R_{r,i}{R}_{l,i}^T$

T_i=T_r，i-R_iT_l，i

因此，根据上述关系，即可计算出第i次摆放标定靶对应的立体视觉系统结构参数。

6）计算立体视觉系统结构参数的初始值。虽然理论上，标定靶摆放一次即可完成系统结构参数的标定，但考虑到噪声的影响，每次摆放标定靶所计算出的立体视觉系统结构参数均有些轻微差别，为减少噪声对标定结构参数的影响，需将标定靶在测量空间中多次摆放。一般标定靶在测量场景中的总摆放次数n≥5次，即在测量场景的中心及四个方位角各摆放一次。当摆放次数少于设定的总摆放次数n时，重复步骤1）~4），当摆放次数达到设定的总摆放次数n时，可通过如下关系式，求取立体视觉系统结构参数的初始值：

R₀=median{R_i},i＝1...n

T₀=median{T_i},i＝1...n

7）立体视觉系统结构参数的非线性优化。

利用标定靶上特征点对左右摄像机的重投影误差最小，可建立如下目标函数：

$\min \underset{i}{\mathrm{\Σ}}[\underset{j}{\mathrm{\Σ}}{\left|\right|m_{l,i,j}-{\hat{m}}_{l,i,j}(R_{l,i},T_{l,i})\left|\right|}^2+\underset{j}{\mathrm{\Σ}}{\left|\right|m_{r,i,j}-{\hat{m}}_{r,i,j}(R_{r,i},T_{r,i})\left|\right|}^2]$

式中，m_l，i,j和m_r，i，j分别为在第i次摆放位置，标定靶上第j个特征点对应的左右摄像机成像面上的实际投影点，为左摄像机成像面上对应于m_l，i,j的计算重投影点，为右摄像机成像面上对应于m_r，i,j的计算重投影点。

若R和T分别表示立体视觉系统结构参数的最终优化解，则有

R_r，i=RR_l,i

T_r，i=T+RT_l，i

所以上述目标函数可表示为：

$\min \underset{i}{\mathrm{\Σ}}[\underset{j}{\mathrm{\Σ}}{\left|\right|m_{l,i,j}-{\hat{m}}_{l,i,j}(R_{l,i},T_{l,i})\left|\right|}^2+\underset{j}{\mathrm{\Σ}}{\left|\right|m_{r,i,j}-{\hat{m}}_{r,i,j}(R_{l,i},T_{l,i},R,T)\left|\right|}^2]$

此外，根据对极几何我们又可以得到如下目标函数

$\min \underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left|{\stackrel{\‾}{m}}_{l,i,j}F{\stackrel{\‾}{m}}_{r,i,j}\right|=\min \underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left|{\stackrel{\‾}{m}}_{l,i,j}{A}_r^{-T}{\mathrm{RSA}}_l^{-1}{\stackrel{\‾}{m}}_{r,i,j}\right|$

式中，和分别是左右摄像机成像面上矫正的匹配点，F为基础矩阵,S为向量T的反对称矩阵，其表示为：

$S=\left[\begin{array}{ccc}0& -T_z& T_y\\ T_z& 0& -T_x\\ -T_y& T_x& 0\end{array}\right]$

因此，最终的目标函数可表示如下：

$\min (\mathrm{\α}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{(\left|\right|m_{l,i,j}-{\hat{m}}_{l,i,j}(R_{l,i},T_{l,i})\left|\right|}^2+{\left|\right|m_{r,i,j}-{\hat{m}}_{r,i,j}(R_{l,i},T_{l,i},R,T)\left|\right|}^2)+\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}|{\stackrel{\‾}{m}}_{l,i,j}{A}_r^{-T}{\mathrm{RSA}}_l^{-1}{\stackrel{\‾}{m}}_{r,i,j}\left|\right)$

式中，α和β为权重系数，一般取两者比值β/α为0.1。对上式采用Levenberg-Marquardt非线性优化方法，即可完成最终的立体视觉系统结构参数优化标定。

Claims (6)

1.一种小型二维靶大视场双目立体视觉系统结构参数在位标定法，其特征在于该标定方法包括如下步骤：

1)制作小尺寸二维标定靶，小尺寸二维标定靶采用Ipad的液晶屏，标定图样为圆斑阵列，并将此标定图样显示在Ipad液晶屏幕上，取圆斑中心作为标定靶上特征点；

2)在测量场景中摆放标定靶，将小尺寸二维标定靶置于大视场双目立体视觉系统的测量场景中，并将其固定；

3)获取测量系统标定所需图像，左摄像机和右摄像机分别采集标定靶图片；

4)计算标定靶至左右摄像机的外参数，利用已在离线下完成标定的摄像机内参数矩阵A，和给定标定靶上特征点的空间坐标M_w及其对应的成像面投影坐标m，计算摄像机相对于标定靶的外参数和其中表示标定靶坐标系至摄像机坐标系的旋转矩阵，表示标定靶坐标系至摄像机坐标系的平移向量，计算公式如下：

$\mathrm{sm}=A(R_c^w{M}_w+T_c^w)$

式中，s投影比例因子，因此，当至少三个非共线标定靶上特征点的空间坐标及其对应的成像面投影坐标，便可分别计算标定靶在i次摆放位置下，左右摄像机相对于标定靶的外参数(R_l，i，T_l，i)和(R_r，i，T_r，i)；

5)计算立体视觉系统的结构参数，立体视觉结构参数与左右摄像机的外参数间存在如下关系：

$R_i=R_{r,i}=R_{l,i}^T$

T_i＝T_r，i-R_iT_l，i

因此，根据上述关系，即可计算出第i次摆放标定靶对应的立体视觉系统结构参数；

6)计算立体视觉系统结构参数的初始值，为减少噪声对标定结构参数的影响，需将标定靶在测量空间中多次摆放，当摆放次数少于设定的总摆放次数n时，重复步骤1)～4)，当摆放次数达到设定的总摆放次数n时，可通过如下关系式，求取立体视觉系统结构参数的初始值：

R₀＝median{R_i}，i＝1...n

T₀＝median{T_i}，i＝1...n

7)立体视觉系统结构参数的非线性优化，利用标定靶上特征点对左右摄像机的重投影误差最小，可建立如下目标函数：

$\min \underset{i}{\mathrm{\Σ}}[\underset{j}{\mathrm{\Σ}}{\left|\right|m_{l,i,j}-{\hat{m}}_{l,i,j}(R_{l,i},T_{l,i})\left|\right|}^2+\underset{j}{\mathrm{\Σ}}{\left|\right|m_{r,i,j}-{\hat{m}}_{r,i,j}(R_{r,i},T_{r,i})\left|\right|}^2]$

式中，m_l，i，j和m_r，i，j分别为在第i次摆放位置，标定靶上第j个特征点对应的左右摄像机成像面上的实际投影点，为左摄像机成像面上对应于m_l，i，j的计算重投影点，为右摄像机成像面上对应于m_r，i，j的计算重投影点，若R和T分别表示立体视觉系统结构参数的最终优化解，则有：

R_r，i＝RR_l，i

T_r，i＝T+RT_l，i

所以上述目标函数可表示为

$\min \underset{i}{\mathrm{\Σ}}[\underset{j}{\mathrm{\Σ}}{\left|\right|m_{l,i,j}-{\hat{m}}_{l,i,j}(R_{l,i},T_{l,i})\left|\right|}^2+\underset{j}{\mathrm{\Σ}}{\left|\right|m_{r,i,j}-{\hat{m}}_{r,i,j}(R_{l,i},T_{l,i},R,T)\left|\right|}^2]$

此外，根据对极几何我们又可以得到如下目标函数

$\min \underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left|{\stackrel{\‾}{m}}_{l,i,j}F{\stackrel{\‾}{m}}_{r,i,j}\right|=\min \underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left|{\stackrel{\‾}{m}}_{l,i,j}{A}_r^{-T}{\mathrm{RSA}}_l^{-1}{\stackrel{\‾}{m}}_{r,i,j}\right|$

式中，和分别是左右摄像机成像面上矫正的对应点，F为基础矩阵，S为向量T的反对称矩阵，其表示为

$S=\left[\begin{array}{ccc}0& -T_z& T_y\\ T_z& 0& -T_x\\ -T_y& T_x& 0\end{array}\right]$

因此，最终的目标函数可表示如下

$\min (\mathrm{\α}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}({\left|\right|m_{l,i,j}-{\hat{m}}_{l,i,j}(R_{l,i},T_{l,i})\left|\right|}^2+{\left|\right|m_{r,i,j}-{\hat{m}}_{r,i,j}(R_{l,i},T_{l,i},R,T)\left|\right|}^2)+\mathrm{\β}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}|{\stackrel{\‾}{m}}_{l,i,j}{A}_r^{-T}{\mathrm{RSA}}_l^{-1}{\stackrel{\‾}{m}}_{r,i,j}\left|\right)$

式中，α和β为权重系数，对上式采用Levenberg-Marquardt非线性优化方法，即可完成最终的立体视觉系统结构参数优化标定。

2.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法，其特征是所述的步骤1)中，所采用的Ipad液晶屏尺寸为9.7英寸，其长宽为196mm×147mm，所采用的标定图样为圆斑阵列，排列形式为2行3列，当标定图样在液晶屏上显示时，圆斑半径占100像素，沿标定靶的长宽方向相邻圆斑中心间距为300像素。

3.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法，其特征是所述的步骤2)中，大视场测量场景大于1500mm×1000mm。

4.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法，其特征是所述的步骤4)中，摄像机内参数矩阵A的标定是采用传统的基于张正友的平板标定法。

5.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法，其特征是所述的步骤6)中，为使标定数据更加准确，标定靶在测量场景中的总摆放次数n≥5次。

6.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法，其特征是所述的步骤7)中，权重系数α和β的比值β/α为0.1。