CN1801953A - 仅用一幅平面标定物图像的摄像机标定方法 - Google Patents

Abstract

本发明涉及一种仅用一幅平面标定物图像的摄像机标定方法，在平面物体上设置两组已知间距的正交平行直线作为标定物，沿摄像机光轴与平面标定物倾斜的方向拍摄一幅图像，使图像上两组平行线大致在图像的纵横两个方向；提取图像中平行线的交点并对平行线进行直线拟合，从每组平行线的拟合直线中找出残差最小的一条，以两条最小残差拟合直线的交点为主点初值，根据残差与畸变系数的关系求出畸变系数的初值；以所有拟合直线的残差之和为目标函数，利用最优化方法对主点和畸变系数进行优化；利用畸变模型去除图像畸变，求出各交点的无畸变图像坐标；利用交点的无畸变图像坐标及其在平面标定物上的世界坐标，通过线性变换求出摄像机全部参数，完成标定。

Description

仅用一幅平面标定物图像的摄像机标定方法

技术领域

本发明涉及一种仅用一幅平面标定物图像的摄像机标定方法，可应用于计算机视觉和近距摄影测量中的摄像机标定，也可用于图像的几何校正。属于先进制造与自动化领域。

背景技术

摄像机标定一直是摄影测量和计算机视觉中的重要问题，目前，已有多种摄像机标定方法。早期的摄像机标定方法采用三维立体标定物，由于三维标定物在制作上的困难，目前已逐渐被平面标定物所取代。随着数字摄像机技术的发展，目前采用四个内参数的摄像机模型足以满足计算机视觉中的一般应用。标定一个四参数的摄像机模型，采用平面标定物的现有技术需要至少拍摄标定物的二幅图像(Z.Zhang，A Flexible New Technique for Camera Calibration，IEEE Trans.Pattern Analysis and Machine Intelligence，22(11)：1330-1334，2000.)，一般都要拍摄多幅图像。这种方法主要包括初值估计和全部参数的同时优化两个步骤。首先，不考虑镜头畸变，假设畸变系数的初值为零，从所拍摄的多幅图像中通过线性最小二乘法求出摄像机四个内参数的初值；然后，利用非线性最优化算法，以投影误差之和为目标函数同时对摄像机的四个内参数和镜头畸变系数进行最小化寻优，求出它们的最优值，完成摄像机标定。这种方法的不足之处在于：(1)由于畸变系数与摄像机的内参数互相耦合，对它们同时寻优可能得出局部最优解；(2)由于标定结果是多幅图像共同作用的结果，难以确定其中一幅图像对标定结果的影响，为了得到较好的标定结果，往往需要拍摄较多的图像，效率低。因此，人们希望有一种标定方法，一方面能够解除畸变系数与摄像机内参数之间的相互耦合，以避免由于这样的耦合而产生的局部最优解；另一方面能够用一幅图像来进行摄像机标定，这样，不仅可以提高标定效率，而且可以确定平面标定物所处的位置和姿态对标定结果的影响。

发明内容

本发明目的在于针对现有技术的不足，提出一种仅用一幅平面标定物图像的摄像机标定方法，以解除畸变系数与摄像机内参数之间的耦合，简化标定过程，提高标定效率，并可确定平面标定物所处的位置和姿态对标定结果的影响。

为实现这一目的，本发明的技术方案：在平面物体上设置两组已知间距的正交平行直线作为标定物；沿摄像机光轴与平面标定物倾斜的方向拍摄一幅图像，使图像上的两组平行线大致在图像的纵横两个方向；提取图像中平行线的交点并对平行线进行直线拟合，从每组平行线的拟合直线中找出残差最小的一条，以两条最小残差拟合直线的交点为主点的初值，根据残差与畸变系数的关系求出畸变系数的初值；以所有拟合直线的残差之和为目标函数，利用最优化方法对主点和畸变系数进行优化；利用畸变模型去除图像畸变，求出各交点的无畸变图像坐标；利用交点的无畸变图像坐标及其在平面标定物上的世界坐标，通过直接线性变换求出摄像机的主距和外部参数，完成摄像机标定。

本发明的摄像机标定方法包括以下几个步骤：

1.设定平面标定物：在一个平面物体上设置两组平行直线作为平面标定物，这两组平行直线互相垂直，且每组中各平行线之间距离已知，从而构成边长已知的平面方格图形作为平面标定物。优选的平面标定物为边长相等的平面方格图形。

2.拍摄平面标定物图像：用需要标定的摄像机拍摄平面标定物的一幅图像，拍摄时摄像机光轴相对平面标定物倾斜一个角度，摄像机光轴与平面标定物法线的夹角优选在15°至35°之间，并绕光轴旋转摄像机，使平面标定物图像上两组平行线大致在图像的纵横两个方向；

3.估计主点和畸变系数：提取平面标定物图像上各平行线交点在所摄图像中的坐标，从位于同一条直线上的各个交点用最小二乘法拟合出一条直线，从而形成纵横两组拟合直线；然后，从纵向拟合直线中找出拟合残差最小的一条，从横向拟合直线中找出拟合残差最小的一条，并求出这两条直线的交点，以该交点坐标作为摄像机主点的初值；再根据纵横两组拟合直线的残差与畸变系数的关系，求出畸变系数的初值。

4.对主点和畸变系数进行优化：以图像中所有拟合直线的残差之和为目标函数，利用最优化方法对摄像机主点和畸变系数进行最小化寻优，求出摄像机主点和畸变系数的最优值。寻优方法可采用本领域所知的任何方法，例如梯度下降法。

5.去除图像的畸变：利用摄像机主点和径向畸变系数的最优值，根据摄像机镜头的畸变模型去除图像的畸变，求出各交点的无畸变图像坐标。

6.求摄像机的主距和外部参数：利用上一步所求交点的无畸变图像坐标及与其对应的平面标定物上的世界坐标，通过直接线性变换方法求出摄像机的主距和外部参数，完成摄像机标定。

与现有技术相比，本发明的方法首先利用畸变的特性求出畸变系数和摄像机主点，去除摄像机镜头畸变，解除了畸变系数与摄像机主距之间的耦合，避免了由于畸变系数与摄像机主距的耦合而引起的局部最小值。另外，本发明的方法只需要拍摄平面标定物的一幅图像，不仅简化了标定过程，提高了标定效率，而且可通过这种方法考察平面标定物的不同姿态和位置对标定结果的影响，找出能准确而可靠地得出标定结果的姿态和位置的范围，提高标定精度。

附图说明

图1为本发明实施例所采用的一个平面标定物的图像。

图2为标定时所拍摄的图1所示平面标定物的一幅图像。

图3为视场中的空间点到图像平面上的像点的成像过程示意图。

图4为从图2所示图像中提取的方格交点及从中拟合的纵横两组直线。

图5为图像平面上的直线由于镜头畸变而成为曲线的示意图。

图6为图4所示纵横两组拟合直线的拟合残差变化示意图。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图和实施例作进一步的详细描述。

本发明的摄像机标定方法包括以下步骤：

1.设定平面标定物：在一个平面物体上设置两组平行直线作为平面标定物，这两组平行直线互相垂直，且每组中各平行线之间距离已知，从而构成边长已知的平面方格图形。方格图形的边长根据不同摄像机镜头的标称焦距而变化，标称焦距越小，方格图形的边长越大，反之亦然，使得在拍摄该平面标定物的图像时，摄像机与标定物之间的距离在实际应用时的工作范围内。优选的平面标定物为边长相等的平面方格图形，如图1所示。图1为本发明所用的一个平面标定物的实施方案示意图，在该方格图像上建立坐标系X_WO_WY_W，该坐标系称为世界坐标系。如果方格的边长为a，则各方格交点的世界坐标可表示为Pw_ij(ia，ja，0)，其中i和j为自然数，即Xw_ij＝ia，Yw_ij＝ja，Zw_ij＝0。

2.拍摄平面标定物图像：用需要标定的摄像机拍摄平面标定物的一幅图像，拍摄时摄像机光轴与平面标定物法线的夹角在15°至35°之间，并绕光轴旋转摄像机，使平面标定物图像上两组平行线大致在图像的纵横两个方向，如图2所示。图2为标定时所拍摄的图1所示平面标定物的一幅图像。标定物上一个方格交点P_W成像到摄像机图像平面上的过程可用图3表示。首先，交点P_W在世界坐标系中的坐标(Xw，Yw，Zw)通过坐标旋转和平移转换为摄像机坐标系X_cY_cZ_c中的坐标，具体可表示为：

$\left[\begin{array}{c}\mathrm{Xc}\\ \mathrm{Yc}\\ \mathrm{Zc}\end{array}\right]=R\left[\begin{array}{c}\mathrm{Xw}\\ \mathrm{Yw}\\ \mathrm{Zw}\end{array}\right]+T---\left(1\right)$

式中，R为旋转矩阵，T为平移向量，它们称为摄像机的外部参数。设旋转矩阵R的3个列向量分别为r₁，r₂，r₃，由于方格上的交点位于一个平面上，可让Zw＝0，因此(1)式简化为：

$\left[\begin{array}{c}\mathrm{Xc}\\ \mathrm{Yc}\\ \mathrm{Zc}\end{array}\right]=\left[\begin{array}{ccc}{r}_1& r_2& T\end{array}\right]\left[\begin{array}{c}\mathrm{Xw}\\ \mathrm{Yw}\\ 1\end{array}\right]---\left(2\right)$

然后，摄像机坐标系X_cY_cZ_c中的点(Xc，Yc，Zc)按理想的针孔摄像机模型成像到摄像机的图像平面上，得到理想的图像点P(U，V)，该过程可表示为：

$\left[\begin{array}{c}U\\ V\\ 1\end{array}\right]=\frac{1}{\mathrm{Zc}}\left[\begin{array}{ccc}\mathrm{\α}& 0& 0\\ 0& \mathrm{\β}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}\mathrm{Xc}\\ \mathrm{Yc}\\ \mathrm{Zc}\end{array}\right]---\left(3\right)$

式中，α，β分别为摄像机在U，V方向的透视投影比例因子，称为摄像机的主距。将(2)代入(3)可得：

$s\left[\begin{array}{c}U\\ V\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\α}& 0& 0\\ 0& \mathrm{\β}& \\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& T\end{array}\right]\left[\begin{array}{c}\mathrm{Xw}\\ \mathrm{Yw}\\ 1\end{array}\right]=A\·\mathrm{Rt}\·\left[\begin{array}{c}\mathrm{Xw}\\ \mathrm{Yw}\\ 1\end{array}\right]=H\left[\begin{array}{c}\mathrm{Xw}\\ \mathrm{Yw}\\ 1\end{array}\right]---\left(4\right)$

式中，s为比例因子，H＝A·Rt称为单映性矩阵，

$A=\left[\begin{array}{ccc}\mathrm{\α}& 0& 0\\ 0& \mathrm{\β}& 0\\ 0& 0& 1\end{array}\right]---\left(5\right)$

              Rt＝[r₁ r₂ T]                             (6)

由于摄像机镜头的畸变，理想图像点P偏移至实际图像点P_d。摄像机镜头的畸变可分为径向畸变、离心畸变和薄棱镜畸变，其中径向畸变是主要部分。在一般的计算机视觉应用中，考虑一阶径向畸变已能满足要求，本发明实施例中仅以一阶径向畸变进行说明，因此，实际图像点与理想图像点在图像坐标系UOV中的坐标之间关系可表示为：

$\left[\begin{array}{c}{U}_d\\ V_d\end{array}\right]=(1+k_1{r}^2)\left[\begin{array}{c}U\\ V\end{array}\right]---\left(7\right)$

或 $\left[\begin{array}{c}U\\ V\end{array}\right]=\frac{1}{1+k_1{r}^2}\left[\begin{array}{c}{U}_d\\ V_d\end{array}\right]---\left(8\right)$

式中，r²＝U²+V²，k₁为一阶径向畸变系数。实际从图像上得到的是实际图像点P_d的象素坐标(u_d，v_d)，图像坐标与象素坐标之间的关系为：

$\left[\begin{array}{c}{u}_d\\ v_d\end{array}\right]=\left[\begin{array}{c}{U}_d\\ V_d\end{array}\right]+\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]---\left(9\right)$

式中，(u₀，v₀)为图像畸变中心的象素坐标。图像畸变中心一般与摄像机的透视投影中心重合，该中心点称为摄像机的主点。摄像机的主点坐标(u₀，v₀)和主距α，β称为摄像机的内部参数。

3.估计主点和畸变系数：首先，提取图像中各方格交点的坐标(u_ij，v_ij)，其中i为直线的编号，j为直线上交点的编号，提取交点的方法可采用本领域所知的任何交点提取方法，优选采用Harris交点提取方法；然后，从位于同一条直线上的交点坐标用最小二乘法拟合出一条直线，从而形成纵横两组直线，如图4所示，设纵向拟合直线的条数为l，横向拟合直线的条数为m。图5为表示图像平面上的一条无畸变时的直线L由于镜头畸变而成为曲线L_d的示意图。畸变前的直线L可表示为：

                       V＝a·U+b                                (10)

其中a和b为常数。将(8)式代入(10)式，则畸变后的曲线L_d可表示为：

                   V_d＝a·U_d+b+k₁·b·r²                   (11)

从畸变中心O作直线L的垂线OS交曲线L_d于Q点。过Q点作直线L的平行线L’，则L’可表示为：

                   V_d＝a·U_d+b+k₁·b·d²                   (12)

其中d为从主点到直线L的距离。设从曲线L_d上一点A(U_d，V_d)到直线L’的距离为D，则D可表示为：

                   D＝k₁·d(d²-r²)                          (13)

如果理想直线L上有n个点A_j(U_j，V_j)，j＝1，2，...，n，畸变后它们在图像上的实际位置为A_dj(U_dj，V_dj)，这些畸变后的实际图像点到直线L’的距离之和为：

$\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{D}_j=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{k}_1\·d(d^2-{r_j}^2)---\left(14\right)$

由(14)式可以看出，当一阶畸变系数k₁一定时，该距离之和正比于畸变中心到直线L的距离d。特别地，如果直线L经过畸变中心，则该距离之和理论上为0。但由于噪声，该距离之和不会为0，只会在该位置取得最小值。由于该距离之和等价于这些点与由它们拟合出的直线的残差Re_j之和，因此，如果从纵向拟合直线中找出拟合残差最小的一条，记为l₀，同样，从横向拟合直线中找出拟合残差最小的一条，记为m₀，则直线l₀与直线m₀的交点 可作为主点的估计值。图6为图4所示纵横两组拟合直线的拟合残差变化示意图，横坐标为拟合直线编号，纵向拟合直线从左到右为1，2，...，l，横向拟合直线从上到下为1，2，...，m。利用得到的主点估计值

由(14)式可得所有交点到其对应的拟合直线的距离之和为：

$\underset{i=1}{\overset{l+m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{D}_{\mathrm{ij}}=k_1\underset{i=1}{\overset{l+m}{\mathrm{\Σ}}}{d}_i\underset{j=1}{\overset{n}{\mathrm{\Σ}}}({d_i}^2-{r_{\mathrm{ij}}}^2)---\left(15\right)$

考虑到该距离之和等价于这些点与由它们拟合出的直线的残差Re_ij之和，从(15)式可得一阶径向畸变系数k₁的初始估计值。

${\hat{k}}_1=\frac{\underset{i=1}{\overset{l+m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{Re}}_{\mathrm{ij}}}{\underset{i=1}{\overset{l+m}{\mathrm{\Σ}}}{d}_i\underset{j=1}{\overset{n}{\mathrm{\Σ}}}({d_i}^2-{r_{\mathrm{ij}}}^2)}---\left(16\right)$

4.对主点和畸变系数进行优化：设纵向两条相邻拟合直线之间的距离为Δu，而横向两条相邻拟合直线之间的距离为Δv，以图像中所有拟合直线的残差之和为目标函数，在 至

区域内利用最优化方法对摄像机主点和畸变系数进行最小化寻优。寻优方法可采用本领域所知的任何方法，例如梯度下降法。

5.去除图像的畸变：利用上一步所得摄像机主点和畸变系数的最优值，由(9)式可得：

$\left[\begin{array}{c}{U}_d\\ V_d\end{array}\right]=\left[\begin{array}{c}{u}_d\\ v_d\end{array}\right]-\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]---\left(17\right)$

由(7)式可得：

$r_d^2=r^2(1+k_1{r}^2)---\left(18\right)$

式中， ${r_d}^2={U_d}^2+{V_d}^2,$ 在已知k₁和r_d后可求出r，再由(8)式求出各交点的无畸变图像坐标：

$\left[\begin{array}{c}U\\ V\end{array}\right]=\frac{1}{1+k_1{r}^2}\left[\begin{array}{c}{U}_d\\ V_d\end{array}\right]---\left(19\right)$

6.求摄像机的主距和外部参数：利用一个方格上4个交点的无畸变图像坐标(U，V)和它们对应的世界坐标(X_w，Y_w)可求出(4)式中的单映性矩阵H在比例因子λ下的解，即：

               λ(h₁ h₂ h₃)＝A·(r₁ r₂ T)              (20)

其中h₁，h₂，h₃是H的列向量。在一幅平面标定物图像中有很多方格的交点，可用线性最小二乘法求出H在比例因子λ下的解。求出H后，可按下式求r₁和r₂。

                        r₁＝λA^-1h₁                       (21)

                        r₂＝λA^-1h₂                       (22)

由于r1和r2是旋转矩阵R的列向量，所以

${\left|\right|r_1\left|\right|}^2{=r_1^T{r}_1=\mathrm{\λ}}^2{h}_1^T{A}^{-T}{A}^{-1}{h}_1=1---\left(23\right)$

${\left|\right|r_2\left|\right|}^2=r_2^T{r}_2={\mathrm{\λ}}^2{h}_2^T{A}^{-T}{A}^{-1}{h}_2=1---\left(24\right)$

$r_1\·r_2=r_1^T{r}_2={\mathrm{\λ}}^2{h}_1^T{A}^{-T}{A}^{-1}{h}_2=0---\left(25\right)$

由(5)式可得：

$A^{-1}=A^{-T}=\left[\begin{array}{ccc}\frac{1}{\mathrm{\α}}& 0& 0\\ 0& \frac{1}{\mathrm{\β}}& 0\\ 0& 0& 1\end{array}\right]---\left(26\right)$

所以

$A^{-T}{A}^{-1}=\left[\begin{array}{ccc}\frac{1}{{\mathrm{\α}}^2}& 0& 0\\ 0& \frac{1}{{\mathrm{\β}}^2}& 0\\ 0& 0& 1\end{array}\right]---\left(26\right)$

将(27)式代入(23)、(24)和(25)式，所得3个方程中共有3个未知数λ、α和β，由于3个方程互相独立，且λ、α和β都是正数，因此可求得唯一解。求出λ、α和β后，可按(21)和(22)式求r₁和r₂，并按下面的公式求r₃和

T：                         r₃＝r₁×r₂                        (28)

                            T＝λA^-1h₃                          (29)

至此，得到摄像机的全部内参数(u₀，v₀，α，β)、畸变系数k₁，以及外部参数R和T，完成了摄像机的标定。

Claims (1)

1.一种仅用一幅平面标定物图像的摄像机标定方法，其特征在于包括如下具体步骤：

1)设定平面标定物：在一个平面物体上设置两组平行直线作为平面标定物，这两组平行直线互相垂直，且每组中各平行线之间距离已知，从而构成边长已知的平面方格图形作为平面标定物，优选的平面标定物为边长相等的平面方格图形；

2)拍摄平面标定物图像：用需要标定的摄像机拍摄平面标定物的一幅图像，拍摄时摄像机光轴相对平面标定物倾斜一个角度，摄像机光轴与平面标定物法线的夹角在15°至35°之间，并绕光轴旋转摄像机，使平面标定物图像上两组平行线大致在图像的纵横两个方向；

3)估计主点和畸变系数：提取平面标定物图像上各平行线交点在所摄图像中的坐标，从位于同一条直线上的各个交点用最小二乘法拟合出一条直线，从而形成纵横两组拟合直线；然后，从纵向拟合直线中找出拟合残差最小的一条，从横向拟合直线中找出拟合残差最小的一条，并求出这两条直线的交点，以该交点坐标作为摄像机主点的初值；再根据纵横两组拟合直线的残差与畸变系数的关系，求出畸变系数的初值；

4)对主点和畸变系数进行优化：以图像中所有拟合直线的残差之和为目标函数，利用最优化方法对摄像机主点和畸变系数进行最小化寻优，求出摄像机主点和畸变系数的最优值；

5)去除图像的畸变：利用摄像机主点和畸变系数的最优值，根据摄像机镜头的畸变模型去除图像的畸变，求出各交点的无畸变图像坐标；

6)求摄像机的主距和外部参数：利用上一步所求交点的无畸变图像坐标及与其对应的平面标定物上的世界坐标，通过直接线性变换方法求出摄像机的主距和外部参数，完成摄像机标定。

Images