CN100481966C - 基于平面单应矩阵特征线的摄像机标定方法 - Google Patents

Abstract

本发明涉及一种基于平面单应矩阵特征线的摄像机标定方法，拍摄一个已知尺寸的平面方格图形相对于摄像机在不同姿态的多幅图像后，提取每幅图像中各方格角点的图像坐标，根据方格角点图像坐标与其世界坐标之间的对应关系，求出平面单应矩阵，再根据平面单应矩阵，得到一条表征摄像机主点轨迹的特征线；根据特征线斜率的正负将特征线分为两组，求两组特征线的交点，将交点的中心坐标作为摄像机主点的初值；根据平面单应矩阵与摄像机主点和主距之间的关系，求出摄像机主距的初值，完成摄像机的线性标定；以特征线交点的方差为目标函数，采用最优化方法对线性估计的初值进行优化并求出摄像机镜头畸变系数，完成摄像机的全标定。

Description

基于平面单应矩阵特征线的摄像机标定方法

技术领域

本发明涉及一种基于平面单应矩阵特征线的摄像机标定方法，适用于计算机视觉和近距摄影测量中的摄像机标定，也可用于图像的几何校正。属于先进制造与自动化领域。

背景技术

摄像机标定一直是摄影测量和计算机视觉中的重要问题，目前，已有多种摄像机标定方法。早期的摄像机标定方法采用三维立体标定物，由于三维标定物在制作上的困难，目前已逐渐被平面标定物所取代。随着数字摄像机技术的发展，目前采用主点和主距表示的四个内参数摄像机模型足以满足计算机视觉中的一般应用。现有采用平面标定物标定摄像机模型中四个内参数的标定方法一般包括两个步骤，线性初值估计和非线性参数优化(Z.Zhang，A Flexible NewTechnique for Camera Calibration，IEEE Trans.Pattern Analysi sandMachine Intelligence，22(11)：1330-1334，2000.)。其中，在线性初值估计阶段要采用Cholesky分解。由于图像中的噪声和摄像机镜头畸变，导致矩阵有时不满足Cholesky分解的条件，不能进行Cholesky分解。另外，现有线性初值估计方法的物理意义不明确。因此，本领域需要一种不采用Cholesky分解的线性初值估计方法，并期望这种方法具有明确的物理意义。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于平面单应矩阵特征线的摄像机标定方法，在线性初值估计时不需进行Cholesky分解，表征摄像机主点轨迹的特征线具有明确的物理意义。

为实现这一目的，本发明的技术方案为：拍摄一个已知尺寸的平面方格图形相对于摄像机在不同姿态的多幅图像后，提取每幅图像中各方格角点的图像坐标，对每幅图像，根据提取的方格角点图像坐标与其世界坐标之间的对应关系，求出一个平面单应矩阵，再根据每个平面单应矩阵，画出一条表征摄像机主点轨迹的特征线；根据特征线斜率的正负将特征线分为两组，求两组特征线的交点，将特征线交点的中心坐标作为摄像机主点的初值；根据平面单应矩阵与摄像机主点和主距之间的关系，求出摄像机主距的初值，完成摄像机的线性标定。再进一步以特征线交点的方差为目标函数，采用最优化方法对线性估计的初值进行优化并求出摄像机镜头畸变系数，完成摄像机的全标定。利用全标定所得的镜头畸变系数、主点和主距的最优值，可对图像进行几何校正。

本发明的摄像机标定方法包括以下步骤：

1、制作一个已知尺寸的平面方格图形，在平面方格图形上建立一个世界坐标系，用待标定的摄像机从不同的方位拍摄该平面方格图形，得到该平面方格图形相对于摄像机不同姿态的多幅图像。

2、提取上述每幅图像中各方格的角点，求出所提取各方格角点在象素坐标系中的图像坐标。

3、对每幅图像，根据所提取各方格角点的图像坐标与其世界坐标之间的对应关系，求出一个平面单应矩阵。

4、根据每个平面单应矩阵，画出一条关于象素坐标变量的特征线，这条特征线是满足平面单应矩阵的摄像机主点的轨迹。

5、根据特征线斜率的正负将特征线分为两组，斜率为正的一组和斜率为负的一组，求斜率为正一组中每条特征线与斜率为负一组中每条特征线的交点。

6、求特征线交点的中心坐标，以该中心坐标作为摄像机主点的初值；根据平面单应矩阵与摄像机主点和主距之间的关系，求出摄像机的主距的初值；完成摄像机的线性标定。

本发明的方法在完成摄像机的线性标定后，可以进一步进行摄像机的全标定，具体为：以0为摄像机镜头畸变系数的初值，以线性标定的结果为摄像机主点和主距的初值，以特征线交点的方差为目标函数，采用最优化方法对摄像机镜头畸变系数、主点和主距进行优化，得出摄像机镜头畸变系数、主点和主距的最优值，完成摄像机的全标定。

在完成摄像机的全标定后，可利用摄像机全标定所得的镜头畸变系数、主点和主距的最优值，对图像进行几何校正。

与现有技术相比，本发明的方法不需要进行Cholesky分解，因此不存在由于图像中的噪声和摄像机镜头畸变导致现有技术中Cholesky分解有时不能进行的问题。另外，本发明中的特征线具有明确的物理意义，它表示满足一个给定平面单应矩阵的摄像机主点的轨迹。也就是说，满足一个给定平面单应矩阵的所有摄像机，它们的主点都位于同一条特征线上。

附图说明

图1为本发明一个实施例中所拍摄的多幅图像。

图2为从图1中一幅图像提取的方格角点。

图3为从图1中每幅图像画出的特征线。

图4为图3中的特征线经过参数优化后的结果。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图和实施例作进一步的详细描述。

本发明的摄像机标定方法包括以下步骤：

1.拍摄图像：在一个刚性平面上制作一个已知尺寸的平面方格图形，用待标定的摄像机从多个不同的方位拍摄该平面方格图形，得到该平面方格图形相对于摄像机不同姿态的多幅图像。图1为一个实施例中所拍摄平面方格图形的多幅图像。在平面方格图形上建立坐标系XOY，该坐标系称为世界坐标系。如果每个方格的边长为a，则各方格角点的世界坐标可表示为P_ij(ia，ja，0)，其中i和j为自然数，即X_ij＝ia，Y_ij＝ja，Z_ij＝0。

2.提取角点：可采用本领域所知的任何角点提取方法提取每幅图像中各方格的角点，优选采用Harris角点提取方法。图2为从图1中一幅图像提取的方格角点，设所提取各角点在象素坐标系中的图像坐标为I_ij(u_ij，v_ij)。

3.求平面单应矩阵：将每个角点的世界坐标(X_ij，Y_ij)和图像坐标(u_ij，v_ij)代入(1)式，可求出平面单应矩阵H，这是本领域的技术人员所熟知的。其中平面单应矩阵H可由(2)式表示。

$s\left[\begin{array}{c}{u}_{\mathrm{ij}}\\ v_{\mathrm{ij}}\\ 1\end{array}\right]=H\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ 1\end{array}\right]---\left(1\right)$

$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right]---\left(2\right)$

4.画特征线：对于每个平面单应矩阵H，可由(3)式画出一条关于象素坐标变量u和v的直线。这条直线是满足平面单应矩阵H的摄像机主点的轨迹，它表示了平面单应矩阵H的一个重要特征，在本文中将该直线称为特征线。

v＝Eu+F                   (3)

式中：

$E=k^2\frac{h_{11}{h}_{32}-h_{31}{h}_{12}}{h_{31}{h}_{22}-h_{21}{h}_{32}}---\left(4\right)$

$F=\frac{h_{21}{h}_{31}+h_{22}{h}_{32}}{h_{31}^2+h_{32}^2}-\frac{h_{11}{h}_{31}+h_{12}{h}_{32}}{h_{31}^2+h_{32}^2}E---\left(5\right)$

k为象素单元的长宽比。可以证明，对于由四个内参数表示的针孔摄像机模型，无论k取何值，所有特征线都相交于摄像机的主点。所以，k可取0.5至1之间的任何值，优选取1。图3为根据图1中每幅图像对应的平面单应矩阵画出的特征线。

5.求特征线交点：根据特征线斜率的正负将特征线分为两组，斜率为正的一组和斜率为负的一组，并求斜率为正一组中每条特征线与斜率为负一组中每一条特征线的交点。求两条直线交点的方法是人们所熟知的。如果斜率为正一组中有m条特征线，而斜率为负一组中有n条特征线，则可求出m×n个交点。在图3所示的实施例中，共有12条特征线，其中斜率为正的6条以实线表示，斜率为负的6条以虚线表示。求出斜率为正一组中每一条特征线与斜率为负一组中每一条特征线的交点共36个，以小方框表示。

6.求主点的初值：求上述m×n个特征线交点的中心坐标，以该中心坐标作为摄像机主点的初始估计值，表示为(u₀，v₀)。求一个点集中心的方法是本领域技术人员所熟知的。在图3所示的实施例中，36个交点的中心以星号表示。

然后求主距的初值：求出主点的初值(u₀，v₀)后，按以下公式可求出摄像机主距α和β的初值，完成摄像机的线性标定。

$a=h_{11}{h}_{12}-u_0(h_{31}{h}_{12}+h_{11}{h}_{32})+u_0^2{h}_{31}{h}_{32}---\left(6\right)$

$b=h_{21}{h}_{22}-u_0(h_{31}{h}_{22}+h_{21}{h}_{32})+v_0^2{h}_{31}{h}_{32}---\left(7\right)$

c＝(h₁₁-u₀h₃₁)²-(h₁₂-u₀h₃₂)²                   (8)

d＝(h₂₁-v₀h₃₁)²-(h₂₂-v₀h₃₂)²                   (9)

$\mathrm{\α}=\sqrt{\frac{\mathrm{bc}-\mathrm{ad}}{b(h_{32}^2-h_{31}^2)+d\left(h_{31}{h}_{32}\right)}}---\left(10\right)$

$\mathrm{\β}=\sqrt{\frac{\mathrm{bc}-\mathrm{ad}}{a(h_{32}^2-h_{31}^2)+c\left(h_{31}{h}_{32}\right)}}---\left(11\right)$

参数优化：理论上，对于由四个内参数表示的针孔摄像机模型，所有特征线都相交于摄像机的主点。实际上，由于摄像机镜头畸变和图像中噪声的影响，特征线并不相交于一点，而是散布在一个区域，如图3所示。因此，上述线性标定的结果只是一个近似的估计值，要得到更接近真值的标定结果，还需要对上述线性标定中得到的初值进行优化。优化过程开始时，设镜头的畸变系数为0。下面以仅考虑镜头一阶径向畸变系数k₁的实施例进行说明。

首先用(12)和(13)式对各角点的图像坐标进行几何畸变校正，

$U_{\mathrm{ij}}=\frac{u_{\mathrm{ij}}-u_0}{1+k_1[{\left(\frac{u_{\mathrm{ij}}-u_0}{\mathrm{\α}}\right)}^2+{\left(\frac{v_{\mathrm{ij}}-v_0}{\mathrm{\β}}\right)}^2]}+u_0---\left(12\right)$

$V_{\mathrm{ij}}=\frac{v_{\mathrm{ij}}-v_0}{1+k_1[{\left(\frac{u_{\mathrm{ij}}-u_0}{\mathrm{\α}}\right)}^2+{\left(\frac{v_{\mathrm{ij}}-v_0}{\mathrm{\β}}\right)}^2]}+v_0---\left(13\right)$

式中(U_ij，V_ij)为校正后的角点图像坐标。然后用(U_ij，V_ij)代替(u_ij，v_ij)，如步骤3所述求出校正后的平面单应矩阵。如步骤4、5和6所述，求出校正后摄像机的主点和主距。以步骤5中所求两组特征线交点的方差为目标函数，通过使该目标函数取最小值对镜头畸变系数k₁与摄像机的主点和主距进行优化，最后得到镜头畸变系数k₁与摄像机的主点和主距的最优值，完成摄像机的全标定。使目标函数取最小值的任何最优化方法都适用于本发明。图4为图3中的特征线经过参数优化后的结果。

求出摄像机主点、主距和镜头畸变系数后，可用这些参数对图像进行几何校正。因此，本发明的方法也可用于图像几何畸变的校正。

本发明的方法不需要进行Cholesky分解。如果用欧拉角表示世界坐标系与像素坐标系之间的关系，那么可以证明由(4)和(5)式表示的特征线斜率和截距可进一步表示为：

$E=-k\frac{\sin \mathrm{\θ}}{\tan \mathrm{\ψ}}---\left(14\right)$

$F={\mathrm{ku}}_0\frac{\sin \mathrm{\θ}}{\tan \mathrm{\ψ}}+v_0---\left(15\right)$

式中，θ为世界坐标系相对于像素坐标系的俯仰角，ψ为世界坐标系相对于像素坐标系的偏航角。由(14)和(15)式可以看出，特征线与世界坐标系相对于像素坐标系的滚转角以及世界坐标系相对于像素坐标系的平移向量无关。因此，在拍摄标定图像时，有意识地控制俯仰角θ和偏航角ψ，使特征线斜率的绝对值不至于很大，那么本发明的方法总是可以进行的。

另外，本发明中的特征线具有明确的物理意义，它表示满足一个给定平面单应矩阵的摄像机主点的轨迹。也就是说，满足一个给定平面单应矩阵的所有摄像机，它们的主点都位于同一条特征线上。所以，由在同一摄像机参数下拍摄的多幅平面方格图像所求出的平面单应矩阵画出的特征线必然相交于该摄像机的主点。

Claims (3)

1、一种基于平面单应矩阵特征线的摄像机标定方法，其特征在于包括如下具体步骤：

1)制作一个已知尺寸的平面方格图形，在平面方格图形上建立一个世界坐标系，用待标定的摄像机从不同的方位拍摄该平面方格图形，得到该平面方格图形相对于摄像机不同姿态的多幅图像；

2)提取上述每幅图像中各方格的角点，求出所提取各方格角点在象素坐标系中的图像坐标；

3)对每幅图像，根据所提取各方格角点的图像坐标与其世界坐标之间的对应关系，求出一个平面单应矩阵；

4)根据每个平面单应矩阵，画出一条关于象素坐标变量的特征线，这条特征线是满足平面单应矩阵的摄像机主点的轨迹；

5)根据特征线斜率的正负将特征线分为两组，斜率为正的一组和斜率为负的一组，求斜率为正一组中每条特征线与斜率为负一组中每条特征线的交点；

6)求特征线交点的中心坐标，以该中心坐标作为摄像机主点的初值；根据平面单应矩阵与摄像机主点和主距之间的关系，求出摄像机的主距的初值；完成摄像机的线性标定。

2、根据权利要求1的基于平面单应矩阵特征线的摄像机标定方法，其特征在于在完成摄像机的线性标定后，以0为摄像机镜头畸变系数的初值，以线性标定的结果为摄像机主点和主距的初值，以特征线交点的方差为目标函数，采用最优化方法对摄像机镜头畸变系数、主点和主距进行优化，得出摄像机镜头畸变系数、主点和主距的最优值，完成摄像机的全标定。

3、根据权利要求2的基于平面单应矩阵特征线的摄像机标定方法，其特征在于在完成摄像机的全标定后，利用摄像机全标定所得的镜头畸变系数、主点和主距的最优值，对图像进行几何校正。

Images