CN101261738A - 一种基于双一维靶标的摄像机标定方法 - Google Patents

Abstract

本发明公开一种基于双一维靶标的摄像机标定方法，该方法包括以下步骤：设置两个随意放置的一维靶标；摄像机从不同角度拍摄靶标图像，分别建立摄像机在不同拍摄位置下的摄像机坐标系、图像平面坐标系，并建立世界坐标系；分别对拍摄的靶标图像进行畸变校正后，求解摄像机内部参数和外部参数。采用本发明的标定方法，以两个一维靶标作为标定物，在摄像机的视场区域任意放置两个一维靶标后，从不同角度拍摄靶标图像，对每幅靶标图像只需提取三个或三个以上特征点即可进行摄像机内外参数标定，无需辅助设备、操作简单，且能提高摄像机标定精度、扩大摄像机标定范围。

Description

一种基于双一维靶标的摄像机标定方法

技术领域

本发明涉及计算机视觉技术，具体涉及一种基于双一维靶标的摄像机标定方法。

背景技术

摄像机标定是计算机视觉以及摄影测量学中的一个重要而关键的问题，所谓摄像机标定就是指确定摄像机图像像素与对应场景点之间的位置关系，具体为：根据摄像机模型，由已知特征点的图像坐标和世界坐标求解摄像机模型的内部参数和外部参数。

早期R.Y.Tsai在文章“An efficient and accurate camera calibration techniquefor 3D machine vision，Proc.of IEEE Conference of Computer Vision and PatternRecognition，pp364-374，1986”中提出了基于结构已知的三维标定物的摄像机标定方法，采用该标定方法虽然能够得到比较高的标定精度，但是三维标定物在制作上难度较大，所以该方法在工程中的应用受到限制。

Z.Zhang在“A flexible new technique for camera calibration，IEEE Trans.onPattern Analysis and Machine Intelligence，22(11)：pp1330-1334，2000”中提出了基于平面靶标的摄像机标定方法，该方法通过拍摄平面靶标在两个以上不同位置的图像，在不需要知道平面靶标与摄像机之间相对运动参数的情况下便可以进行摄像机标定，但是采用该标定方法进行摄像机标定时，标定精度在很大程度上依赖于平面靶标的精度，而摄像机标定一般又要求靶标在视场中占有尽量大的面积，当测量范围比较大时，大尺度、高精度的平面靶标制作比较困难，且精度很难保障，从而会导致标定精度降低。

由于一维标定物具有构造简单、易于加工、不存在自身遮挡等特点，并且在大视场测量应用中，加工一个大尺寸的一维靶标要比加工一个同等尺度的二维平面靶标或三维靶标要容易得多。所以，基于一维靶标的摄像机标定方法逐渐成为人们关注的热点。

Z.Zhang在“Camera calibration with one-dimensional objects，IEEETransactions on Pattern Analysis and Machine Intelligence，2004，VOL.26，NO.7，892～899”中提出了一种基于一维靶标的摄像机标定方法，采用该标定方法进行摄像机标定时，需要固定一维靶标的一端，拍摄多幅一维靶标任意转动的图片进行标定，然而这一点在工程上难以精确地得以实现，操作繁琐且会影响标定精度。吴福朝等在“Camera calibration with moving one-dimensional objects.Pattern Recognition，2005，38(5)，755～765”中提出了一种基于平面运动的一维靶标标定方法，但其中平面运动的实现依赖于运动平台的支持，即采用该标定方法进行摄像机标定需要辅助设备。王亮等在“基于一维标定物的多摄像机标定，自动化学报，第33卷，第3期，2007，225～231”中提出了一种利用做任意刚体运动的一维靶标进行摄像机标定的标定方法，但该标定方法只适用于标定多摄像机，而不能标定单摄像机。

可以看出，现有技术中，基于一维靶标的摄像机标定方法虽然在大视场测量的摄像机标定中具有许多优势，但仍存在标定精度较低、操作繁琐、需要辅助设备、标定范围有限等不足。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于双一维靶标的摄像机标定方法，能够提高标定精度、扩大标定范围、无需辅助设备，且操作简单。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于双一维靶标的摄像机标定方法，该方法包括：

a、设置两个随意放置的一维靶标；

b、摄像机从不同角度拍摄靶标图像，分别建立摄像机在不同拍摄位置下的摄像机坐标系、图像平面坐标系，并建立世界坐标系；

c、分别对拍摄的靶标图像进行畸变校正后，求解摄像机内部参数和外部参数。

步骤c之后，该方法进一步包含：对摄像机内部参数和外部参数进行非线性优化得到摄像机内部参数和外部参数的最优解。

步骤b所述拍摄的靶标图像至少包含两个一维靶标，且每个一维靶标至少包含三个共线的特征点。

步骤b所述建立世界坐标系为：以摄像机第一个拍摄位置的摄像机坐标系作为世界坐标系。

步骤c所述求解摄像机内部参数为：分别求取每幅靶标图像畸变校正后两个一维靶标特征点所在直线的消影点的坐标；根据两个一维靶标在空间上夹角不变，结合所得到的消影点的坐标求解摄像机内部参数。

步骤c所述求解摄像机外部参数为：

c1、任选一幅靶标图像，利用一维靶标特征点所在直线的消影点的坐标、畸变校正后靶标图像中两端点特征点的坐标以及两端点特征点间的空间距离，求得一维靶标两端点特征点在摄像机坐标系下的坐标；

c2、获取两个一维靶标端点特征点在世界坐标系下的坐标；

c3、根据同名坐标统一法求得摄像机拍摄步骤c1所述靶标图像时所处位置下，世界坐标系到摄像机坐标系的变换矩阵，作为摄像机在该位置时的外部参数。

所述对摄像机内外部参数进行非线性优化为：建立以摄像机内部参数、外部参数以及两个一维靶标相对位置为参数的目标函数；以步骤c求得的摄像机内部参数和外部参数为初值，优化得到摄像机内部参数和外部参数的最优解。

本发明提供的基于双一维靶标的摄像机标定方法，以两个一维靶标作为标定物，在摄像机的视场区域任意放置两个一维靶标，从不同角度拍摄靶标图像，对每幅靶标图像只需提取三个或三个以上特征点便可进行摄像机内外参数标定，无需辅助设备、操作简单，且提高了标定精度、扩大了标定范围。

附图说明

图1为本发明基于双一维靶标的摄像机标定方法流程图；

图2为一维靶标结构示意图；

图3为本发明标定原理示意图；

图4、图5、图6分别为摄像机拍摄的三幅靶标图像。

具体实施方式

本发明的基本思想是：以两个一维靶标作为标定物，在摄像机的视场区域任意放置两个一维靶标，从不同角度拍摄靶标图像，对每幅靶标图像只需提取三个或三个以上特征点进行摄像机内外参数标定。

下面结合具体实施例及附图对本发明作进一步详细说明。

图1为本发明基于双一维靶标的摄像机标定方法流程图，如图1所示，本发明基于双一维靶标的摄像机标定方法包括以下步骤：

步骤11：设置两个随意放置的一维靶标。

这里，所述一维靶标即标志点共线的直线型靶标，图2为一维靶标结构示意图，如图2所示，其上设置有3～10个圆点标记，圆点直径为3～20mm，精度为0.001～0.01mm，圆点中心为特征点，各个特征点共线。

步骤12：摄像机从不同角度拍摄靶标图像，分别建立摄像机在不同拍摄位置下的摄像机坐标系、图像平面坐标系，并建立世界坐标系。

这里，摄像机拍摄的靶标图像需要包含两个一维靶标，且每个一维靶标至少包含三个共线的特征点。

图3为本发明标定原理示意图，如图3所示，根据摄像机的摆放位置建立摄像机坐标系O_c-x_cy_cz_c及摄像机的图像平面坐标系O-UV。

建立世界坐标系时，可以以摄像机在任一拍摄位置下的坐标系为世界坐标系，不失一般性，本发明取摄像机在第一个拍摄位置下的摄像机坐标系作为世界坐标系。

步骤13：分别对拍摄的靶标图像进行畸变校正，并求取畸变校正后每幅靶标图像中两个一维靶标特征点所在直线的消影点的坐标。

对靶标图像进行畸变校正时，需要提取每幅靶标图像中一维靶标特征点在图像坐标系下的坐标，在本实施例中，靶标上的特征点为圆点。根据透视投影变换，圆在摄像机像平面上所成的像近似为椭圆。所以，本实施例中通过对边缘点进行椭圆拟合的方法来确定椭圆中心，即可提取靶标图像上的特征点。具体提取方法在魏振忠博士的论文“基于机器视觉的在线柔性三坐标测量系统研究，北京航空航天大学博士研究生学位论文”中有详细描述，这里不再赘述。

对靶标图像进行畸变校正为现有技术，摄像机的畸变模型如下所示：

$\left\{\begin{array}{c}u=(u_u-u_0)(1+k_1{r_u}^2+k_2{r_u}^4)\\ v=(v_u-v_0)(1+k_1{r_u}^2+k_2{r_u}^4)\\ {r_u}^2=({u_u}^2+{v_u}^2)\end{array}\right.---\left(1\right)$

其中，(u，v)为(u_u，v_u)经过畸变后的实际图像坐标，(u₀，v₀)为摄像机主点坐标，k₁、k₂为摄像机径向畸变系数。进行畸变校正时，可以先建立基于图像中共线特征点直线度的目标函数，然后通过非线性优化求解最优的畸变系数。具体的畸变校正方法在Moumen Ahmed的文章“Nonmetric Calibration of Camera LensDistortion：Differential Methods and Robust Estimation，IEEE Transactions onPattern Analysis and Machine Intelligence，2005，VOL.14，NO.8，1215～1230”中有详细描述。

利用一维靶标上彼此距离已知的三个或三个以上特征点可以求得空间直线在图像中的消影点的坐标，具体求取方法可采用R.Harley所著的“R.Harley，A.Zisserman，A Multiple View Geometry in Computer Vision.Cambridge：CambridgeUniversity Press，2000”中所提供的方法。

步骤14：根据两个一维靶标在空间夹角不变，结合步骤13所得到的消影点的坐标求解摄像机内部参数。

摄像机内部参数矩阵可表示为：

$K=\left[\begin{array}{ccc}{f}_x& \mathrm{\α}& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

其中，f_x，f_y分别为图像平面坐标系U轴和V轴的尺度因子，α是U轴和V轴的不垂直因子。

由于f_x≈f_y，α≈0，u₀≈0.5N_u，v₀≈0.5N_v，其中N_u、N_v分别为图像在U轴和V轴方向的像素数。设f_x≈f_y＝f，将坐标系原点平移到主点，内部参数矩阵可简化为：

$\tilde{K}=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]---\left(3\right)$

又由于，如果两个一维靶标在图像中的消影点在图像坐标系下的齐次坐标分别为v₁＝(x₁，y₁，1)^T和v₂＝(x₂，y₂，1)^T，两个一维靶标特征点所在直线在空间的夹角为θ，则有：

$\cos \mathrm{\θ}=\frac{v_1^T\mathrm{\ω}{v}_2}{\sqrt{\left(v_1^T\mathrm{\ω}{v}_1\right)\left(v_2^T\mathrm{\ω}{v}_2\right)}}---\left(4\right)$

其中，ω＝(KK^T)^-1。

将坐标系原点平移到主点后，公式(4)变为：

$\cos \mathrm{\θ}=\frac{{\tilde{v}}_1^T\widetilde{\mathrm{\ω}}{\tilde{v}}_2}{\sqrt{\left({\tilde{v}}_1^T\widetilde{\mathrm{\ω}}{\tilde{v}}_1\right)\left({\tilde{v}}_2^T\widetilde{\mathrm{\ω}}{\tilde{v}}_2\right)}}---\left(5\right)$

其中， $\widetilde{\mathrm{\ω}}={\left(\tilde{K}{\tilde{K}}^T\right)}^{-1},$ ${\tilde{v}}_1={(x_1-u_0,y_1-v_0,1)}^T,$ ${\tilde{v}}_2={(x_2-u_0,y_2-v_0,1)}^T$ 分别为两个一维靶标的消影点在平移后坐标系下的齐次坐标。

设第m幅图像和第n幅图像中，两个一维靶标的消影点分别为

和

则根据两个一维靶标在空间夹角不变有：

$\frac{{({\tilde{v}}_{m,1}^T\widetilde{\mathrm{\ω}}{\tilde{v}}_{m,2})}^2}{\left({\tilde{v}}_{m,1}^T\widetilde{\mathrm{\ω}}{\tilde{v}}_{m,1}\right)\left({\tilde{v}}_{m,2}^T\widetilde{\mathrm{\ω}}{\tilde{v}}_{m,2}\right)}=\frac{{\left({\tilde{v}}_{n,1}^T\widetilde{\mathrm{\ω}}{\tilde{v}}_{n,2}\right)}^2}{\left({\tilde{v}}_{n,1}^T\widetilde{\mathrm{\ω}}{\tilde{v}}_{n,1}\right)\left({\tilde{v}}_{n,2}^T\widetilde{\mathrm{\ω}}{\tilde{v}}_{n,2}\right)}---\left(6\right)$

根据公式(3)以及 $\widetilde{\mathrm{\ω}}={\left(\tilde{K}{\tilde{K}}^T\right)}^{-1},$ 可将公式(6)写为关于

的一元三次方程，解此方程，取正根，即可求得f。

然后，建立关于内部参数矩阵K中所有参数f_x，f_y，α，u₀，v₀的目标函数如下：

$\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|{\cos \mathrm{\θ}}_m-\mathrm{\μ}\left(\cos \mathrm{\θ}\right)\left|\right|}^2=\min ---\left(7\right)$

其中， ${\cos \mathrm{\θ}}_m=\frac{v_{m,1}^T\mathrm{\ω}{V}_{m,2}}{\sqrt{\left(v_{m,1}^T\mathrm{\ω}{v}_{m,1}\right)\left(v_{m,2}^T\mathrm{\ω}{v}_{m,2}\right)}},$ $\mathrm{\μ}\left(\cos \mathrm{\θ}\right)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\cos \mathrm{\θ}}_i,$ m＝1，2，...，M，M为拍摄的靶标图像幅数。

再将f_x＝f，f_y＝f，α＝0，u₀＝0.5N_u，v₀＝0.5N_v作为初值，对五个变量采用Levenberg-Marquardt非线性优化算法进行优化，便可获得摄像机内部参数矩阵K。

步骤15：根据步骤13所述消影点的坐标、畸变校正后靶标图像中两端点特征点的坐标以及两端点特征点间的空间距离，求解摄像机外部参数。

对于任意一幅靶标图像中的任意一个一维靶标，都有方程组(8)成立：

$\left\{\begin{array}{c}{s}_1{p}_1=K{P}_1\\ s_2{p}_2=K{P}_2\\ \left|\right|P_1-P_2\left|\right|=L\\ (p_1-p_2)\×v=0\end{array}\right.---\left(8\right)$

其中，P₁＝(x_c1，y_c1，z_c1，1)^T、P₂＝(x_c2，y_c2，z_c2，1)^T为一维靶标两端点特征点在摄像机坐标系O_c-x_cy_cz_c下的三维坐标，p₁＝(u₁，v₁，1)^T、p₂＝(u₂，v₂，1)^T为一维靶标两个端点特征点的图像坐标，v＝(x，y，1)^T为一维靶标特征点所在直线的消影点的坐标，L为一维靶标两端点特征点间的空间距离，s₁、s₂均为不等于零的常数。

这里，任选一幅靶标图像，利用一维靶标特征点所在直线的消影点的坐标、畸变校正后靶标图像中两端点特征点的坐标以及两端点特征点间的空间距离，通过求解方程组(8)，得到一维靶标两端点特征点在摄像机坐标系O_c-x_cy_cz_c下的三维坐标P₁和P₂。

根据方程组(8)求得两个靶标所有特征点在摄像机处于不同位置的局部测量坐标系下的坐标。然后根据同名坐标统一法求得摄像机拍摄靶标图像时所处位置下，世界坐标系到摄像机坐标系的变换矩阵，即摄像机在该位置时的外部参数。具体求取方法在张广军编著的《机器视觉》(ISBN：7-03-014717-0)第186页至第187页有详细描述。

步骤16：对摄像机内部参数和外部参数进行非线性优化，得到摄像机内部参数和外部参数的最优解。

这里，以步骤14所得的摄像机内部参数及步骤15所得的摄像机外部参数为初值，以两个靶标上所有特征点在图像平面上的投影误差的平方和为目标函数对各参数进行非线性优化。

首先，建立以摄像机内部参数、外部参数以及两个一维靶标相对位置为参数的目标函数：

其中，m表示第m幅图像，r表示第r个靶标，j表示靶标上第j个特征点，

为通过摄像机模型求出的图像坐标，x_m，r，j为实际图像坐标。P_1，r，1表示第r个靶标上第一个端点在世界坐标系下的位置，θ_r为第r个靶标在世界坐标系下在xy平面内的投影与x轴所成的夹角，

为第r个靶标在世界坐标系下与xy平面所成的夹角。

然后，将步骤14和步骤15求得的摄像机内外参数作为初值，利用Levenberg-Marquardt优化方法求解此非线性优化问题，即可得到摄像机内部参数和外部参数的最优解。

如果被标定的摄像机为Cannon EOS-5D数码相机，镜头采用50mm F/4镜头，CMOS传感器分辨率为4368×2912。工作距离为200mm，测量范围为200mm×160mm。在两个一维靶标上分别取六个特征点，特征点间隔为12.728mm。摄像机从不同角度拍摄了共三幅靶标图像分别如图4、图5、图6所示，根据步骤13所述的方法，得到靶标图像中特征点坐标数据见表1：

表1

按步骤13所述方法利用图4所示靶标图像得到的数据求得畸变系数k₁＝0.55，k₂＝-3.93。

按步骤13～步骤14所述方法求得摄像机内部参数矩阵如下：

$K=\left[\begin{array}{ccc}6131.02& 0& 2187.86\\ 0& 6111.01& 1469.64\\ 0& 0& 1\end{array}\right]$

按步骤15所述方法求得各幅图像对应的摄像机外部参数如下：

图4所示靶标图像对应的摄像机外部参数为：

$R_1=\left[\begin{array}{ccc}0.638& 0.684& 0.351\\ 0.684& -0.714& 0.146\\ 0.351& 0.147& -0.924\end{array}\right],$ $T_1=\left[\begin{array}{c}135.35\\ -81.36\\ 625.81\end{array}\right]$

图5所示靶标图像对应的摄像机外部参数为：

$R_2=\left[\begin{array}{ccc}0.723& 0.669& -0.173\\ 0.688& -0.721& 0.082\\ -0.070& -0179& -0.981\end{array}\right],$ $T_2=\left[\begin{array}{c}121.67\\ -107.93\\ 654.70\end{array}\right]$

图6所示靶标图像对应的摄像机外部参数为：

$R_3=\left[\begin{array}{ccc}0.590& 0.791& -0.161\\ 0.686& -0.596& -0.417\\ -0.426& 0.136& -0.895\end{array}\right],$ $T_3=\left[\begin{array}{c}131.32\\ -84.15\\ 672.25\end{array}\right]$

最后，按步骤16所述的方法对摄像机的内外参数进行优化，得到最优解见表2：

表2

计算特征点通过摄像机模型投影所得图像坐标与实际图像坐标的均方根误差为0.263像素。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

1、一种基于双一维靶标的摄像机标定方法，其特征在于，该方法包括：

a、设置两个随意放置的一维靶标；

b、摄像机从不同角度拍摄靶标图像，分别建立摄像机在不同拍摄位置下的摄像机坐标系、图像平面坐标系，并建立世界坐标系；

c、分别对拍摄的靶标图像进行畸变校正后，求解摄像机内部参数和外部参数。

2、根据权利要求1所述的方法，其特征在于，步骤c之后，该方法进一步包含：对摄像机内部参数和外部参数进行非线性优化得到摄像机内部参数和外部参数的最优解。

3、根据权利要求1所述的方法，其特征在于，步骤b所述拍摄的靶标图像至少包含两个一维靶标，且每个一维靶标至少包含三个共线的特征点。

4、根据权利要求1所述的方法，其特征在于，步骤b所述建立世界坐标系为：以摄像机第一个拍摄位置的摄像机坐标系作为世界坐标系。

5、根据权利要求1所述的方法，其特征在于，步骤c所述求解摄像机内部参数为：分别求取每幅靶标图像畸变校正后两个一维靶标特征点所在直线的消影点的坐标；根据两个一维靶标在空间上夹角不变，结合所得到的消影点的坐标求解摄像机内部参数。

6、根据权利要求1或5所述的方法，其特征在于，步骤c所述求解摄像机外部参数为：

c1、任选一幅靶标图像，利用一维靶标特征点所在直线的消影点的坐标、畸变校正后靶标图像中两端点特征点的坐标以及两端点特征点间的空间距离，求得一维靶标两端点特征点在摄像机坐标系下的坐标；

c2、获取两个一维靶标端点特征点在世界坐标系下的坐标；

c3、根据同名坐标统一法求得摄像机拍摄步骤c1所述靶标图像时所处位置下，世界坐标系到摄像机坐标系的变换矩阵，作为摄像机在该位置时的外部参数。

7、根据权利要求2所述的方法，其特征在于，所述对摄像机内外部参数进行非线性优化为：建立以摄像机内部参数、外部参数以及两个一维靶标相对位置为参数的目标函数；以步骤c求得的摄像机内部参数和外部参数为初值，优化得到摄像机内部参数和外部参数的最优解。

Images