CN101286235A - 一种基于柔性立体靶标的摄像机标定方法 - Google Patents

Abstract

本发明公开一种基于柔性立体靶标的摄像机标定方法，该方法包括：组合柔性立体靶标，并建立柔性立体靶标坐标系；放置摄像机在至少两个不同的位置拍摄柔性立体靶标图像，并求解每个位置下各子平面靶标坐标系与图像平面坐标系之间的单应矩阵；由获取的单应矩阵，求解摄像机的内部参数和外部参数；根据子靶标之间位置关系不变性，通过非线性优化方法得出摄像机内外部参数的最优解。本发明提出的标定方法不需要用到大面积的平面靶标，只需要若干个小面积的平面靶标即可完成大视场摄像机的准确标定。

Description

一种基于柔性立体靶标的摄像机标定方法

技术领域

本发明涉及摄像机标定技术，具体涉及一种基于柔性立体靶标的摄像机标定方法。

背景技术

摄像机模型反映的是物体空间和图像平面的映射关系，而摄像机标定即确定反映摄像机几何特性和光学特性的内部参数与外部参数。其中，内部参数为摄像机固有参数，不会因为摄像机位置变化等原因而改变；而外参数反映的是摄像机坐标系与世界坐标系的位置关系，会因为摄像机位置变化等原因而发生变化。对于以摄像机为主要测量设备的视觉测量系统来说，摄像机标定结果直接影响着视觉测量系统的精度。

目前，人们主要依靠形状与尺寸已知的靶标对摄像机进行标定，例如：TSAIR Y.在文章“A versatile camera calibration technique for high-accuracy 3D machinevision metrology using off-the-shelf tv cameras and lenses.IEEE Journal ofRobotics and Automation，1987，3(4)：323-344”中提出的基于三维立体靶标的Tsai方法，又叫RAC两步法，该方法利用三维立体靶标分别求取外部参数和内部参数。虽然标定结果精度较高，但是，三维立体靶标存在自身遮挡，不太容易获得高质量的靶标图像，而且三维立体靶标加工难度较大、加工费用较高。

ZHANG Z Y.在文章“A flexible new technique for camera calibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中提出的基于二维平面靶标的摄像机标定方法，摄像机与平面靶标都可以自由移动，不需要知道运动参数。虽然标定过程灵活、二维靶标加工容易、可以获得高质量的靶标图像、标定精度较高，但是，由于二维靶标的靶标面积不宜过大，所以该方法在二维靶标相对视场较小时标定结果欠佳。

ZHANG Z Y.在文章“Camera calibration with one-dimensional objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(7)：892-899”中提出的基于一维靶标的摄像机标定方法，虽然一维靶标加工容易、标定精度较高，但在标定过程中需要将一维靶标的一端固定，再转动时很难保证固定端绝对固定，所以会影响标定精度。

WU F C，HU Z Y，ZHU H J.在文章“Camera calibration with movingone-dimensional objects[J].Pattern Recognition，2005，38(5)：755-765”中提出的基于平面运动一维靶标的标定方法，虽然不需要将一维靶标一端固定，但在标定过程中需要运动平台的支持。

还有王亮等在文章“基于一维标定物的多摄像机标定[J].自动化学报，2007，33(3)：225-231”中提出的基于一维靶标的多摄像机标定方法虽然不需要辅助设备的支持，但是，由于采用一维靶标对单一摄像机进行标定时，解方程的自由度不够，而一维靶标同时对多个摄像机进行标定时，能够满足解方程的自由度要求，所以，该方法需要同时对多个摄像机进行标定，应用范围较小。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于柔性立体靶标的摄像机标定方法，不需要辅助设备的支持，且标定精度较高、标定范围较大。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于柔性立体靶标的摄像机标定方法，该方法包括：

a、组合柔性立体靶标，并建立柔性立体靶标坐标系；

b、放置摄像机在至少两个不同的位置拍摄柔性立体靶标图像，获取每个位置下所有靶标特征点在对应图像坐标系下的坐标，求解各子平面靶标坐标系与图像平面坐标系之间的单应矩阵；

c、根据步骤b获取的单应矩阵，求解摄像机的内部参数和外部参数。

所述步骤c之后进一步包括：对步骤c求得的内部参数和外部参数进行非线性优化。

步骤a所述组合柔性立体靶标为：根据摄像机的视场范围，将各个靶标摆放在摄像机视场区域的周边。

步骤a所述建立柔性立体靶标坐标系为：以柔性立体靶标中任一子靶标坐标系作为柔性立体靶标坐标系。

步骤b所述拍摄的柔性立体靶标图像包括所有子平面靶标的靶标特征点。

所述非线性优化为：以重投影误差为最小的目标函数，采用Levenberg-Marquardt非线性优化方法进行非线性优化。

本发明提出的基于柔性立体靶标的摄像机标定方法，根据摄像机的视场范围，在摄像机视场区域的周边摆放多个平面靶标，组成柔性立体靶标，通过变换摄像机的位置拍摄不同角度的靶标图像，从而对摄像机进行标定。对于大视场的摄像机，本发明提出的标定方法只需通过若干个小面积的平面靶标即可进行标定，不需要用到大面积的平面靶标，所以，靶标加工容易，且标定精度较高。而且，本发明提出的标定方法，可以只对一个摄像机进行标定，所以，应用范围较大。

附图说明

图1为本发明基于柔性立体靶标的摄像机标定方法流程图；

图2为本实施例柔性立体靶标坐标系示意图；

图3为实施例中柔性立体靶标示意图；

图4为实施例中摄像机拍摄的柔性立体靶标图像。

具体实施方式

本发明的基本思想是：根据摄像机的视场范围，在摄像机视场区域的周边摆放多个平面靶标，组成柔性立体靶标，通过变换摄像机的位置，拍摄不同角度的靶标图像，从而对摄像机进行标定。

下面结合具体实施例及附图对本发明作进一步详细说明。

图1为本发明基于柔性立体靶标的摄像机标定方法流程图，如图1所示，本发明基于柔性立体靶标的摄像机标定方法包括以下步骤：

步骤11：组合柔性立体靶标，并建立柔性立体靶标坐标系。

这里，柔性立体靶标由至少两个平面靶标组成，其中，所谓柔性就是灵活，即指可以根据摄像机视场区域灵活摆放子平面靶标；所谓立体是相对平面而言，即指组成柔性立体靶标的子平面靶标可以不在同一个平面上。

组合柔性立体靶标时，根据摄像机的视场范围，尽量将各个靶标摆放在摄像机视场区域的周边，这样就可以形成比较大的靶标区域，从而提高标定精度。这里，以柔性立体靶标中任一子靶标坐标系作为柔性立体靶标坐标系，图2为本实施例柔性立体靶标坐标系示意图。如图2所示，如果柔性立体靶标由平面靶标1～平面靶标4组成，四个子平面靶标的靶标坐标系分别为O₁X₁Y₁Z₁、O₂X₂Y₂Z₂、O₃X₃Y₃Z₃、O₄X₄Y₄Z₄，则可以任意一子靶标坐标系作为柔性立体靶标坐标系，如以O₁X₁Y₁Z₁作为柔性立体靶标坐标系。

步骤12：用摄像机拍摄柔性立体靶标图像，并提取所拍摄靶标图像中所有靶标特征点在图像平面坐标系下的坐标。

这里，摄像机拍摄的柔性立体靶标图像需要包括所有子平面靶标的靶标特征点。

步骤13：根据步骤12获取的靶标特征点坐标，求解各子平面靶标坐标系与图像平面坐标系之间的单应矩阵H。

单应矩阵H的求解方法在ZHANG Z Y的文章“A flexible new technique forcamera calibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334”中有详细描述。

步骤14：变换摄像机的位置至少一次，并求每个位置下各子平面靶标坐标系与图像平面坐标系之间的单应矩阵，即重复执行步骤12～步骤13至少一次。

步骤15：根据步骤13～步骤14获取的单应矩阵，求解摄像机的内部参数和外部参数。

由旋转矩阵的正交性分解单应矩阵H，构成一个包含摄像机内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数。具体求解方法在ZHANG Z Y的文章“A flexible new technique forcamera calibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334”中有详细描述。

这里，外部参数为摄像机坐标系与各子平面靶标坐标系之间的关系。

摄像机内部参数矩阵A可表示为：

$A=\left[\begin{array}{ccc}{a}_x& \mathrm{\α}& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]$

其中，a_x，a_y分别为图像平面坐标系两坐标轴的尺度因子，α是两坐标轴的不垂直因子，(u₀，v₀)为摄像机主点坐标。

步骤16：求解各个子平面靶标坐标系与柔性立体靶标坐标系之间的旋转矩阵和平移向量。

这里，以步骤15获取的摄像机外部参数，即摄像机坐标系与子平面靶标坐标系之间的关系，以摄像机坐标系为中介，便可求出各子平面靶标坐标系与柔性立体靶标坐标系之间的旋转矩阵R_i和平移向量T_i，变换关系如下：

$\left\{\begin{array}{c}{R}_i={\left(R_c^T\right)}^{-1}{R}_c^i\\ T_i={\left(R_c^T\right)}^{-1}(T_c^i-T_c^T)\end{array}\right.---\left(1\right)$

其中，R_c ^T，T_c ^T为柔性立体靶标坐标系与摄像机坐标系之间的旋转矩阵及平移向量，R_c ⁱ，T_c ⁱ为第i个子平面靶标坐标系与摄像机坐标系之间的旋转矩阵及平移向量。

步骤17：对步骤15获取的内部参数和外部参数进行非线性优化。

假设噪声服从零均值的高斯分布且独立分布，为了得到在最大似然准则下摄像机内部参数和外部参数的最优解，需要建立以重投影误差为最小目标函数：

$F\left(a\right)=\min \left(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{t}{\mathrm{\Σ}}}d{({\tilde{p}}_{\mathrm{ij}},{\tilde{p}}_{\mathrm{Tij}})}^2\right)---\left(2\right)$

其中， $a=[A,k_1,k_2,R_1,T_1\·\·\·R_i,T_i\·\·\·R_{m-1},T_{m-1},R_c^{T1},T_c^{T1}\·\·\·R_c^{\mathrm{Tj}},T_c^{\mathrm{Tj}}\·\·\·R_c^{\mathrm{Tn}},T_c^{\mathrm{Tn}}],$ 其中，A为摄像机内部参数矩阵，k₁，k₂为径向畸变系数，R_i，T_i(i＝1...m-1)为各子平面靶标坐标系与柔性立体靶标坐标系之间的旋转矩阵和平移向量；R_c ^Tj，T_c ^Tj为柔性立体靶标坐标系与摄像机坐标系之间的旋转矩阵与平移向量；n为柔性立体靶标在摄像机前摆放位置的次数；t为柔性立体靶标中特征点总个数；

为第j个摆放位置处，靶标特征点在图像平面坐标系下的齐次坐标；

为第j个摆放位置处，靶标特征点转换为柔性立体靶标坐标系下的坐标p_Ti后，在图像平面坐标系下的带有镜头畸变的重投影图像齐次坐标。

这里，如果p_i为子靶标特征点P在子靶标坐标下的三维坐标， ${\tilde{p}}_{\mathrm{Tu}}={[u_{\mathrm{Tu}},v_{\mathrm{Tu}},1]}^T$ 为P转换为柔性立体靶标系下坐标p_Ti后，在摄像机图像坐标下的重投影理想图像齐次坐标， ${\tilde{p}}_{\mathrm{Ti}}={[u_{\mathrm{Ti}},v_{\mathrm{Ti}},1]}^T$ 为相应的带有镜头畸变的重投影图像齐次坐标，则以上参数具体变关系换如公式(3)：

$\mathrm{\ρ}{\tilde{p}}_{\mathrm{Tu}}=A\left[\begin{array}{cc}{R}_c^T& T_c^T\end{array}\right]p_{\mathrm{Ti}}---\left(3\right)$

$=A\left[\begin{array}{cc}{R}_c^T& T_c^T\end{array}\right]\left[\begin{array}{cc}{R}_i& T_i\end{array}\right]p_i$

其中，A为摄像机内部参数，ρ为任意非零常数。

具体

与

的变换关系在ZHANG Z Y的文章“A flexible new technique forcamera calibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334”中有详细描述。

结合步骤16获取的各个子平面靶标坐标系与柔性立体靶标坐标系之间的旋转矩阵和平移向量，根据公式(3)便可求出

再根据畸变校正方法得到

最后，采用Levenberg-Marquardt非线性优化方法对公式(2)所示的目标函数进行非线性优化，既可得到摄像机内部参数和外部参数在最大似然准则下的最优解。

具体地，如果视觉传感器的摄像机为镜头为50毫米的Canon 5D数码摄像机，其图像分辨率为4369象素×2912象素，摄像机视场范围为1100mm×900mm，工作距离为1800mm。那么，根据步骤11所述的方法组合柔性立体靶标，图3为实施例中柔性立体靶标示意图，如图3所示，柔性立体靶标包括四个子平面靶标，子平面靶标间横向距离为700mm，纵向距离为150mm，并且每个子平面靶标有100个靶标特征点，特征点间距为10.3mm。

然后，根据步骤12所述的方法拍摄柔性立体靶标图像，如图4所示。

由于摄像机标定过程中外部参数数据量庞大，且一般摄像机标定主要是为了标定内部参数，所以，下面仅给出内部参数的标定值。

根据步骤13～步骤15所述的方法计算得到摄像机的内部参数如表一所示：

ax	ax	ax	v0	α	k1	k2
							6637.4592	6642.0950	2224.3705	1450.9779	-0.00006	-0.1287	0.3696

表一

根据步骤16所述的方法分别求得子平面靶标2～子平面靶标4坐标系与柔性立体靶标坐标系之间的旋转矩阵和平移向量为：

$R_1=\left[\begin{array}{ccc}0.8110& -0.0514& 0.5826\\ 0.0658& 0.9978& -0.0035\\ -0.5812& 0.0412& 0.8126\end{array}\right]$ $T_1=\left[\begin{array}{c}540.5810\\ 15.2104\\ -163.2989\end{array}\right]$

$R_2=\left[\begin{array}{ccc}0.9999& -0.0103& 0.0022\\ 0.0102& 0.9984& 0.0540\\ -0.0028& -0.0539& 0.9985\end{array}\right]$ $T_2=\left[\begin{array}{c}-0.1039\\ 158.9763\\ 3.3501\end{array}\right]$

$R_3=\left[\begin{array}{ccc}0.8132& -0.0764& 0.5769\\ 0.0638& 0.9970& 0.0420\\ -0.5784& 0.0026& 0.8157\end{array}\right]$ $T_3=\left[\begin{array}{c}534.17821\\ 174.6649\\ -154.0392\end{array}\right]$

最后，根据步骤17所述的方法，对摄像机内部参数进行非线性优化，得到结果如表二所示：

	ax	ay	u0	v0	α	k1	k2
								标定结果	6710.6774	6710.7480	2216.7849	1447.5375	-0.00003	-0.2445	0.4225

不确定度

2.2353

2.2734

1.24832

1.2761

0.00002

0.00345

0.24151

表二

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (6)

1、一种基于柔性立体靶标的摄像机标定方法，其特征在于，该方法包括：

a、组合柔性立体靶标，并建立柔性立体靶标坐标系；

b、放置摄像机在至少两个不同的位置拍摄柔性立体靶标图像，获取每个位置下所有靶标特征点在对应图像坐标系下的坐标，求解各子平面靶标坐标系与图像平面坐标系之间的单应矩阵；

c、根据步骤b获取的单应矩阵，求解摄像机的内部参数和外部参数。

2、根据权利要求1所述的方法，其特征在于，所述步骤c之后进一步包括：对步骤c求得的内部参数和外部参数进行非线性优化。

3、根据权利要求1所述的方法，其特征在于，步骤a所述组合柔性立体靶标为：根据摄像机的视场范围，将各个靶标摆放在摄像机视场区域的周边。

4、根据权利要求1所述的方法，其特征在于，步骤a所述建立柔性立体靶标坐标系为：以柔性立体靶标中任一子靶标坐标系作为柔性立体靶标坐标系。

5、根据权利要求1所述的方法，其特征在于，步骤b所述拍摄的柔性立体靶标图像包括所有子平面靶标的靶标特征点。

6、根据权利要求2所述的方法，其特征在于，所述非线性优化为：以重投影误差为最小的目标函数，采用Levenberg-Marquardt非线性优化方法进行非线性优化。

Images