CN101980292A - 一种基于正八边形模板的车载摄像机内参数的标定方法 - Google Patents

Abstract

本发明公开了一种摄像机内参数的标定方法，它涉及到计算机视觉领域，尤其是利用车载摄像机测距对摄像机进行标定的场合。本发明采用的技术方案是：采用正八边形平面模板作为标定模板。用摄像机至少从三个不同的方位拍摄模板，至少可以得到三幅模板的图像。采用可以精确到亚像素级别的角点检测方法获取单幅模板图像中九个特征点的坐标值，求取四条对角线方向上的四个消失点的坐标，进而求取两个圆环点的坐标。由至少三幅不同方位模板的图像，得到至少六个圆环点坐标，从而得到摄像机内参数矩阵，进而得到摄像机的内参数。本发明采用单幅正八边形模板对摄像机内参数进行自标定，是一种非常实用的标定方法。

Description

一种基于正八边形模板的车载摄像机内参数的标定方法

技术领域：

本发明涉及计算机视觉领域，尤其是利用车载摄像机测距对摄像机进行标定的场合。

背景技术：

将计算机视觉和图像处理技术应用到车辆驾驶辅助系统中可以有效地为车辆行驶提供安全保障。在计算机视觉中，利用视觉信息感知环境，由二维投影图像确定目标在三维世界中的位置，摄像机标定是必不可少的步骤。所谓摄像机的标定就是通过实验获得摄像机成像几何模型参数的过程。摄像机内参数就是反映摄像机内部几何特性和光学特性的参数。

基于三维标定物的传统摄像机标定方法采用了摄影测量学中的技术，摄像机获取标定物的图像后，通过复杂的数学计算即可得到摄像机的参数。传统的摄像机标定方法有很多，比较经典的有直接线性变换方法，Tsai的两步法以及Zhang的方法。这些算法的共同点是需要放置已知三维坐标的标定参照物。这些传统算法比较繁琐，运算速度慢，对初值选择敏感，稳定性差等固有的缺陷。车载摄像头测距系统所处的场合有时候并不适合放置精确的标定参照物。而车载视觉系统要求具有自主性、精确性、高效性、灵活性。

本发明采用正八边形模板实现摄像机内参数的标定。无需知道标定模板的尺寸和标定模板相对于本车的运动方向和运动速度，使得系统自助性强，灵活性好；模板比较简单，特征点明显，噪声干扰小，采集图像次数少，使得系统运算速度快，提出了在Harris角点检测的基础上可以精确到亚像素级别的角点检测方法，使得系统精确性好。

发明内容：

本发明的目的在于提供一种车载摄像机内部参数标定方法，使摄像机标定满足车辆视觉系统的要求，即在使摄像机内参数标定过程简捷，方便灵活的前提下提高标定系统的速度和精确性。

为了实现上述目的，本发明采用的技术方案，包括下列步骤：

一种基于正八边形模板的车载摄像机内参数的标定方法，摄像机标定说到底就是确定世界坐标系到计算机图像坐标系的变换矩阵，此变换过程和变换关系即中心投影关系表达形式如下：

$\mathrm{\λ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_u& s& u_o& 0\\ 0& f_v& v_o& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中λ为比例因子， $K=\left[\begin{array}{cccc}{f}_u& s& u_o& 0\\ 0& f_v& v_o& 0\\ 0& 0& 1& 0\end{array}\right]$ 为摄像机的内部参数矩阵，其中R是3×3的矩阵表示世界坐标系与摄像机坐标系之间的旋转关系，t是三维的向量表示世界坐标系与摄像机坐标系之间的平移关系；fu，fv为摄像机在u，v方向的等效焦距；u₀，v₀为计算机图像坐标系中的中心坐标也叫主点；s为摄像机镜头的畸变因子；所谓摄像机的内参数的标定就是求取摄像机内部参数矩阵K；其特征在于，包括以下步骤：

1.制作正八边形模板；它的八个顶点记为A、B、C、D、E、F、G、H，中心记为O点；其中AB，CD，EF，GH分别是正八边形的四条对角线，O点为正八边形的中心；

2.用摄像机至少从三个不同的方位拍摄位于三维空间中的模板，至少可以得到三幅不同方位平面模板的图像；

标定模板的图像之一上面的点A’，B’，C’，D’，E’，F’，G’，H’，O’分别为正八边形模板上面点A，B，C，D，E，F，G，H，O的像点；

3.采用Harris角点检测的方法提取模板图像的九个特征点的坐标；根据Harris角点检测的原理可知检测到的正八边形模板的图像上八个顶点以及中心点即为正八边形模板图像的9个特征点，其坐标：(u_A’，v_A’)，(u_B’，v_B’)，(u_C’，v_C’)，(u_D’，v_D’)，(u_E’，v_E’)，(u_F’，v_F’)，(u_G’，v_G’)，(u_H’，v_H’)，(u_O’，v_O’)；

根据Forstner算子原理，提出了在Harris角点检测的基础上可以精确到亚像素级别的角点检测方法；对用Harris角点检测方法检测到的角点坐标(u_A’，v_A’)，(u_B’，v_B’)，(u_C’，v_C’)，(u_D’，v_D’)，(u_E’，v_E’)，(u_F’，v_F’)，(u_G’，v_G’)，(u_H’，v_H’)，(u_O’，v_O’)进行进一步坐标细化；假设(x₁，y₁)为其中一个用Harris算法检测到的角点坐标；令 $p=\mathrm{\Σ}{I}_{x_1}^2$ $q=\mathrm{\Σ}{I}_{x1}{I}_{y1}$ $l=\mathrm{\Σ}{I}_{y_1}^2$ s＝pl-q² $m=\mathrm{\Σ}(x_1{I}_{x_1}^2+y_1{I}_{x_1}{I}_{y_1})$ $n=\mathrm{\Σ}(x_1{I}_{x_1}{I}_{y_1}+y_1{I}_{y_1}^2)$

利用上述公式进一步细化角点坐标：x’＝(lm-qn)/s  y’＝(pn-qm)/s，即(x’，y’)为(x₁，y₁)细化后的角点坐标；要求对模板图像中九个特征点的坐标都要根据本步骤所提出的算法进行细化；把细化后九个角点的坐标分别记为(u_A”，v_A”)，(u_B”，v_B”)，(u_C”，v_C”)，(u_D”，v_D”)，(u_E”，v_E”)，(u_F”，v_F”)，(u_G”，v_G”)，(u_H”，v_H”)，(u_O”，v_O”)；

4.求取模板图像四个对角线方向上的消失点；设P₁，P₂，P₃，P₄分别为A’B’，C’D’，E’F’，G’H’方向上的消失点；所谓消失点是指在射影几何中两平行直线交于无穷远处一点，该点在图像平面的投影点称为消失点；由高等几何摄影理论可知，存在已知的如下关系式：

$\left\{\begin{array}{c}(A^{\′}{B}^{\′},O^{\′}{P}_1)=-1\\ (C^{\′}{D}^{\′},O^{\′}{P}_2)=-1\\ (E^{\′}{F}^{\′},O^{\′}{P}_3)=-1\\ (G^{\′}{H}^{\′},O^{\′}{P}_4)=-1\end{array}\right.---\left(2\right)$

步骤3已经提取出正八边形模板九个特征点的坐标，根据上面方程组(2)求解出消失点P₁、P₂、P₃、P₄的坐标

如下所示：

$u_{P_1}=\frac{u_{o^{\′\′}}(u_{A^{\′\′}}+u_{B^{\′\′}})-{2u}_{A^{\′\′}}{u}_{B^{\′\′}}}{{2u}_{o^{\′\′}}-u_{A^{\′\′}}-u_{B^{\′\′}}}$ $v_{P_1}=\frac{v_{o^{\′\′}}(v_{A^{\′\′}}+v_{B^{\′\′}})-{2v}_{A^{\′\′}}{v}_{B^{\′\′}}}{{2v}_{o^{\′\′}}-v_{A^{\′\′}}-v_{B^{\′\′}}}$

$u_{P_2}=\frac{u_{o^{\′\′}}(u_{C^{\′\′}}+u_{D^{\′\′}})-{2u}_{C^{\′\′}}{u}_{D^{\′\′}}}{{2u}_{o^{\′\′}}-u_{C^{\′\′}}-u_{D^{\′\′}}}$ $v_{P_2}=\frac{v_{o^{\′\′}}(v_{C^{\′\′}}+v_{D^{\′\′}})-{2v}_{C^{\′\′}}{v}_{D^{\′\′}}}{{2v}_{o^{\′\′}}-v_{C^{\′\′}}-v_{D^{\′\′}}}$

$u_{P_3}=\frac{u_{o^{\′\′}}(u_{E^{\′\′}}+u_{F^{\′\′}})-{2u}_{E^{\′\′}}{u}_{F^{\′\′}}}{{2u}_{o^{\′\′}}-u_{E^{\′\′}}-u_{F^{\′\′}}}$ $v_{P_3}=\frac{v_{o^{\′\′}}(v_{E^{\′\′}}+v_{F^{\′\′}})-{2v}_{E^{\′\′}}{v}_{F^{\′\′}}}{{2v}_{o^{\′\′}}-v_{E^{\′\′}}-v_{F^{\′\′}}}$

$u_{P_4}=\frac{u_{o^{\′\′}}(u_{G^{\′\′}}+u_{H^{\′\′}})-{2u}_{G^{\′\′}}{u}_{H^{\′\′}}}{{2u}_{o^{\′\′}}-u_{G^{\′\′}}-u_{H^{\′\′}}}$ $v_{P_4}=\frac{v_{o^{\′\′}}(v_{G^{\′\′}}+v_{H^{\′\′}})-{2v}_{G^{\′\′}}{v}_{H^{\′\′}}}{{2v}_{o^{\′\′}}-v_{G^{\′\′}}-v_{H^{\′\′}}}$

5.求取两个圆环点的坐标；所谓圆环点圆周与消失线的交点；由高等几何中拉盖尔定理的推论，可知P₁、P₄与两个圆环点像点V₁，V_n调和共轭，P₂、P₃与两个圆环点像点V₁，V_n也调和共轭，可得如下关系式：

$\left\{\begin{array}{c}(P_1{P}_4,V_l{V}_n)=-1\\ (P_2{P}_3,V_l{V}_n)=-1\end{array}\right.---\left(3\right)$

把P₁、P₂、P₃、P₄的坐标

代入上式即可求圆环点的像点V₁，V_n的坐标；因为两个圆环点是一对共轭点，由圆环点的性质可知两个圆环点的像点V₁，V_n也是一对共轭点；设V₁，V_n可能的坐标分别是：

$V_l^1={(x_1^{*}+x_2^{*}i,y_1^{*}+y_2^{*}i,1)}^T,$ $V_n^1={(x_1^{*}-x_2^{*}i,y_1^{*}-y_2^{*}i,1)}^T$

$V_l^2={(x_1^{*}-x_2^{*}i,y_1^{*}+y_2^{*}i,1)}^T,$ $V_n^2={(x_1^{*}+x_2^{*}i,y_1^{*}-y_2^{*}i,1)}^T$

其中i表示虚部的单位，

$x_1^{*}=\frac{u_{p_1}{u}_{p_2}-u_{p_3}{u}_{p_4}}{u_{p_1}+u_{p_2}-u_{p_3}-u_{p_4}}$ $y_1^{*}=\frac{v_{p_1}{v}_{p_2}-v_{p_3}{v}_{p_4}}{v_{p_1}+v_{p_2}-v_{p_3}-v_{p_4}}$

$x_2^{*}=\sqrt{\frac{(u_{p_1}-u_{p_3})(u_{p_3}-u_{p_2})(u_{p_1}-u_{p_4})(u_{p_2}-u_{p_4})}{u_{p_1}+u_{p_2}-u_{p_3}-u_{p_4}}}$

$y_2^{*}=\sqrt{\frac{(v_{p_1}-v_{p_3})(v_{p_3}-v_{p_2})(v_{p_1}-v_{p_4})(v_{p_2}-v_{p_4})}{v_{p_1}+v_{p_2}-v_{p_3}-v_{p_4}}}$

若 $\left|\begin{array}{ccc}{u}_{p_1}& v_{p_1}& 1\\ u_{p_2}& v_{p_2}& 1\\ x_2^{*}& y_2^{*}& 0\end{array}\right|=0,$ 则V₁ ¹，V_n ¹是两个圆环点的像点即 $V_l=V_l^1,$ $V_n=V_n^1,$ 否则V_l ²，V_n ²是两个圆环点的像点即 $V_l=V_l^2,$ $V_n=V_n^2;$

6.求解摄像机的内部参数；由圆环点的性质可知，两个圆环点是一对共轭点，则两个圆环点的像点V₁，V_n也是一对共轭点，且两个圆环点的像点在绝对二次曲线C上；

C为对称矩阵，令 $C=\left[\begin{array}{ccc}{c}_{11}& c_{12}& c_{13}\\ c_{12}& c_{22}& c_{23}\\ c_{13}& c_{23}& c_{33}\end{array}\right];$ 把V₁，V_n表示为 $V_l={(V_{l1},V_{l2},1)}^T,$ $V_n={(V_{n1},V_{n2},1)}^T,$

由步骤5可得，当 $\left|\begin{array}{ccc}{u}_{p_1}& v_{p_1}& 1\\ u_{p_2}& v_{p_2}& 1\\ x_2^{*}& y_2^{*}& 0\end{array}\right|=0,$ $V_l=V_l^1,$ $V_n=V_n^1$ 时，

则有 $V_{l1}=x_1^{*}+x_2^{*}i,$ $V_{l2}=y_1^{*}+y_2^{*}i,$ $V_{n1}=x_1^{*}-x_2^{*}i,$ $V_{n2}=y_1^{*}-y_2^{*}i;$

否则，当 $\left|\begin{array}{ccc}{u}_{p_1}& v_{p_1}& 1\\ u_{p_2}& v_{p_2}& 1\\ x_2^{*}& y_2^{*}& 0\end{array}\right.\≠0,$ $V_l=V_l^2,$ $V_n=V_n^2$ 时，则有 $V_{l1}=x_1^{*}-x_2^{*}i,$ $V_{l2}=y_1^{*}+y_2^{*}i,$

$V_{n1}=x_1^{*}+x_2^{*}i,$ $V_{l2}=y_1^{*}-y_2^{*}i;$ 令A＝[V_l1·V_l2，2V_l1·V_l2，2V_l1，V_l1·V_l2，2V_l2，1]，

C_6×1＝[C₁₁，C₁₂，C₁₃，C₂₂，C₂₃，C₃₃]

可得： $\left[\begin{array}{c}\mathrm{Re}\left(A\right)\\ \mathrm{Im}\left(A\right)\end{array}\right]C_{6\×1}=0---\left(4\right)$

其中：Re(A)，Im(A)分别表示求矩阵A的实部和虚部；

利用摄像机在至少三个不同的方位获得至少三幅模板图像，可以确定至少3组方程式(4)，利用最小二乘法即可求解矩阵C；矩阵C求出后根据已知的摄像机内参数矩阵和摄像机内参数的关系求解摄像机的摄像机内部参数矩阵K，其关系如下：

$\left\{\begin{array}{c}{v}_o=(c_{12}{c}_{13}-c_{11}{c}_{23})/(c_{11}{c}_{22}-c_{12}^2)\\ \mathrm{\λ}=c_{33}-[c_{13}^2+v_o(c_{12}{c}_{13}-c_{11}{c}_{23})]/c_{11}\\ f_u=\sqrt{\mathrm{\λ}/c_{11}}\\ s=-c_{12}{f_u}^2{f}_v/\mathrm{\λ}\\ f_v=\sqrt{\mathrm{\λ}{c}_{11}/(c_{11}{c}_{22}-c_{12}^2)}\\ u_0={\mathrm{sv}}_0/f_v-c_{13}{f_u}^2/\mathrm{\λ}\end{array}\right.---\left(5\right)$

本发明采用单幅正八边形模板对摄像机内参数进行自标定，而且对关键的角点提取采用了在Harris角点检测的基础上可以精确到亚像素级别的角点检测方法。该方法减少了摄像机的运动次数，过程简单，避免了椭圆和直线的拟合，同时兼顾了精度和时效性，是一种非常实用的标定方法。

附图说明：

图1为图像坐标系、成像平面坐标系、摄像机坐标系与世界坐标系的关系示意图；

图2为正八边形模板示意图；

图3为正八边形模板像的示意图；

图4模板图像扫描方向示意图；

图5为本发明车载摄像机内参数自标定的流程图。

具体实施方式：

下面结合附图和实施例进一步说明本发明。

图1是计算机图像坐标系(u，v)、成像平面坐标系(x，y)、摄像机坐标系(Xc，Yc，Zc)与世界坐标系(Xw，Yw，Zw)的示意图。计算机图像坐标系(u，v)：每幅数字图像在计算机内以数组形式存储，数组的每一个元素(像素)的值就是图像点的亮度。原点位于图像平面的左上角，每一像素的坐标(u，v)分别表示该像素在数组中的列数和行数。成像平面坐标系：原点位于摄像机光轴与图像平面的交点，x，y轴分别平行于u，v轴，是以物理单位(如毫米)来表示的。摄像机坐标系：其中原点为摄像机的光心，Xc轴和Yc轴分别与成像平面坐标系的x轴和y轴平行，Zc轴与摄像机的光轴重合。世界坐标系：表示空间点的三维世界坐标。

在计算机视觉中，由二维投影图像确定目标在三维世界中的位置，即利用视觉信息感知环境，摄像机标定是必不可少的步骤。摄像机标定说到底就是确定世界坐标系到计算机图像坐标系的变换矩阵，此变换过程是根据上述四个坐标系之间的关系来求得的，此变换过程和变换关系是已知的，最终的变换关系即中心投影关系表达形式如下：

$\mathrm{\λ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_u& s& u_o& 0\\ 0& f_v& v_o& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中λ为比例因子， $K=\left[\begin{array}{cccc}{f}_u& s& u_o& 0\\ 0& f_v& v_o& 0\\ 0& 0& 1& 0\end{array}\right]$ 为摄像机的内部参数矩阵，其中R是3×3的矩阵表示世界坐标系与摄像机坐标系之间的旋转关系，t是三维的向量表示世界坐标系与摄像机坐标系之间的平移关系。fu，fv为摄像机在u，v方向的等效焦距。u0，v0为计算机图像坐标系中的中心坐标也叫主点。s为摄像机镜头的畸变因子。所谓摄像机的内参数的标定就是求取摄像机内参数矩阵K。本发明利用正八边形模板求取摄像机内参数，分为以下几个步骤进行：

1.制作正八边形模板。本发明所用的正八边形标定模板如图2，该模板是用激光打印机打印出正八边形模板，优选的标定模板是正八边形面积占整个模板面积的75％-80％。把它平铺在一个平整平面上，以方便移动而且不会变形。它的八个顶点记为A、B、C、D、E、F、G、H，中心记为O点。其中AB，CD，EF，GH分别是正八边形的四条对角线，O点为正八边形的中心。由平面正八边形的性质可知AB⊥EF，CD⊥GH，且点O是四条对角线的中点。

2.用摄像机至少从三个不同的方位拍摄位于三维空间中的模板，本实例拍摄时优选第一幅角点A位于正上方且模板平面和摄像机成像平面不垂直，第二第三幅是第一幅按顺时针和逆时针各旋转15°得到，如此至少可以得到三幅不同方位平面模板的图像。标定模板的图像其中之一如图3所示，其上面的点A’，B’，C’，D’，E’，F’，G’，H’，O’分别为标定模板图2上面点A，B，C，D，E，F，G，H，O的像点。

3.提取模板图像的九个特征点的坐标。根据本模板的特点即在白纸上少量线条构成，适合采用Harris角点检测的方法。提取特征点坐标的步骤可以表示如下：

(1)我们首先对步骤2中得到的正八边形模板图像利用计算机按行扫描，即扫瞄完第一行再扫描第二行，以此方式进行直至扫描完整幅图像。如图4所示，我们把沿着行的方向定位x_p方向，而沿着列的方向定为y_p方向。取模板图像任一个像素的图像坐标值记为(x_p，y_p)，原点为左上方那个像素的坐标，记为(0，0)，然后按照像素所在的行和列数确定其坐标值，例如位于第一行第2列的图素的计算机图像坐标为(0，1)，位于第三行第2列的图素的计算机图像坐标为(2，1)；

(2)计算每个模板图像中每个像素沿x_p，y_p方向的灰度梯度分别记为Ix_p，Iy_p；(3)根据每个像素的灰度梯度Ix_p，Iy_p和已知的Harris角点检测原理，计算出每个像素的对应于原图相应点的兴趣值Ra。其算法已知如下所示：

$M=\left[\begin{array}{cc}\mathrm{\Σ}{I}_{x_p}^2& \mathrm{\Σ}{I}_{x_p}{I}_{y_p}\\ \mathrm{\Σ}{I}_{x_p}{I}_{y_p}& \mathrm{\Σ}{I}_{y_p}^2\end{array}\right]$

R＝Det(M)-k·trace(M)²

式中：Ix_p，Iy_p分别为图像沿x_p，y_p方向的灰度梯度；Det为矩阵的行列式；trace为矩阵的迹；Ra为每个像素的对应于原图相应点的兴趣值；k为常数，经验值通常设为0.04。当Ra值大于给定阀值时便为角点，阈值根据角点实际情况设定，通常要多设几次来比较哪个值更适合作为检测本模板的角点的阈值。粗略判断的标准为：比较检测到的角点数目与模板上角点数目是否一致；根据模板上角点的位置关系判断检测到的角点是否正确。阈值设置合适时即检测到的角点数目为本模板特征点的数目9时，根据Harris角点检测的原理可知检测到的9个角点的坐标即为本正八边形模板9个特征点的坐标。

(4)本发明根据Forstner算子原理，提出了在Harris角点检测的基础上可以精确到亚像素级别的角点检测方法。此时只对步骤(3)中检测到的角点坐标进行进一步坐标细化，例如，假设(x₁，y₁)为其中一个用Harris算法检测到的角点坐标。令

$p=\mathrm{\Σ}{I}_{x_1}^2$ $q=\mathrm{\Σ}{I}_{x1}{I}_{y1}$ $l=\mathrm{\Σ}{I}_{y_1}^2$ s＝pl-q² $m=\mathrm{\Σ}(x_1{I}_{x_1}^2+y_1{I}_{x_1}{I}_{y_1})$ $n=\mathrm{\Σ}(x_1{I}_{x_1}{I}_{y_1}+y_1{I}_{y_1}^2)$

利用上述公式进一步细化角点坐标：x’＝(1m-qn)/s  y’＝(pn-qm)/s，即(x’，y’)为(x₁，y₁)细化后的角点坐标。要求对模板图像中九个特征点的坐标都要根据本步骤所提出的算法进行细化。把细化后九个角点的坐标分别记为(u_A’，v_A’)，(u_B’，v_B’)，(u_C’，v_C’)，(u_D’，v_D’)，(u_E’，v_E’)，(u_F’，v_F’)，(u_G’，v_G’)，(u_H’，v_H’)，(u_O’，v_O’)。

虽然Harris角点检测方法可以检测到本正八边形的角点，但是其只能精确到像素级别，为了提高使角点检测精度可以进一步提高，本发明提出了在Harris角点检测的基础上可以精确到亚像素级别的角点检测方法，实验表明改进后角点坐标可以提高2-5个像素，这对于提高标定精度，影响车载系统对于物体定位和测距的精确性起着关键的作用。

4.求取模板图像四个对角线方向上的消失点。设P₁，P₂，P₃，P₄分别为A’B’，C’D’，E’F’，G’H’方向上的消失点。所谓消失点是指在射影几何中两平行直线交于无穷远处一点，该点在图像平面的投影点称为消失点。由高等几何摄影理论可知，一条线段被它的中点和这直线上无穷远点调和分离。即存在已知的如下关系式：

$\left\{\begin{array}{c}(A^{\′}{B}^{\′},O^{\′}{P}_1)=-1\\ (C^{\′}{D}^{\′},O^{\′}{P}_2)=-1\\ (E^{\′}{F}^{\′},O^{\′}{P}_3)=-1\\ (G^{\′}{H}^{\′},O^{\′}{P}_4)=-1\end{array}\right.---\left(2\right)$

步骤3已经提取出正八边形模板九个特征点的坐标，根据上面方程组(2)可以求解出消失点P₁、P₂、P₃、P₄的坐标

如下所示：

$u_{P_1}=\frac{u_{o^{\′}}(u_{A^{\′}}+u_{B^{\′}})-{2u}_{A^{\′}}{u}_{B^{\′}}}{{2u}_o-u_{A^{\′}}-u_{B^{\′}}}$ $v_{P_1}=\frac{v_{o^{\′}}(v_{A^{\′}}+v_{B^{\′}})-{2v}_{A^{\′}}{v}_{B^{\′}}}{2v_o-v_{A^{\′}}-v_{B^{\′}}}$

$u_{P_2}=\frac{u_{o^{\′}}(u_{C^{\′}}+u_{D^{\′}})-{2u}_{C^{\′}}{u}_{D^{\′}}}{{2u}_o-u_{C^{\′}}-u_{D^{\′}}}$ $v_{P_2}=\frac{v_{o^{\′}}(v_{C^{\′}}+v_{D^{\′}})-{2v}_{C^{\′}}{v}_{D^{\′}}}{{2v}_o-v_{C^{\′}}-v_{D^{\′}}}$

$u_{P_3}=\frac{u_{o^{\′}}(u_{E^{\′}}+u_{F^{\′}})-{2u}_{E^{\′}}{u}_{F^{\′}}}{{2u}_o-u_{E^{\′}}-u_{F^{\′}}}$ $v_{P_3}=\frac{v_{o^{\′}}(v_{E^{\′}}+v_{F^{\′}})-{2v}_{E^{\′}}{v}_{F^{\′}}}{{2v}_o-v_{E^{\′}}-v_{F^{\′}}}$

$u_{P_4}=\frac{u_{o^{\′}}(u_{G^{\′}}+u_{H^{\′}})-{2u}_{G^{\′}}{u}_{H^{\′}}}{{2u}_o-u_{G^{\′}}-u_{H^{\′}}}$ $v_{P_4}=\frac{v_{o^{\′}}(v_{G^{\′}}+v_{H^{\′}})-{2v}_{G^{\′}}{v}_{H^{\′}}}{{2v}_o-v_{G^{\′}}-v_{H^{\′}}}$

5.求取两个圆环点的坐标。所谓圆环点圆周与消失线的交点。由高等几何中拉盖尔定理的推论，即两条直线垂直的充分必要条件是这两直线上的无穷远点与两圆环点的像点调和共轭。可知P₁、P₄与两个圆环点像点V₁，V_n调和共轭，P₂、P₃与两个圆环点像点V₁，V_n也调和共轭。由上述分析可得如下关系式：

$\left\{\begin{array}{c}(P_1{P}_4,V_l{V}_n)=-1\\ (P_2{P}_3,V_l{V}_n)=-1\end{array}\right.---\left(3\right)$

把P₁、P₂、P₃、P₄的坐标

带入上式即可求圆环点的像点V₁，V_n的坐标。因为两个圆环点是一对共轭点，由圆环点的性质可知两个圆环点的像点V₁，V_n也是一对共轭点。设V₁，V_n可能的坐标分别是：

$V_l^1={(x_1^{*}+x_2^{*}i,y_1^{*}+y_2^{*}i,1)}^T,$ $V_n^1={(x_1^{*}-x_2^{*}i,y_1^{*}-y_2^{*}i,1)}^T$

$V_l^2={(x_1^{*}-x_2^{*}i,y_1^{*}+y_2^{*}i,1)}^T,$ $V_n^2={(x_1^{*}+x_2^{*}i,y_1^{*}-y_2^{*}i,1)}^T$

其中i表示虚部的单位，

$x_1^{*}=\frac{u_{p_1}{u}_{p_2}-u_{p_3}{u}_{p_4}}{u_{p_1}+u_{p_2}-u_{p_3}-u_{p_4}}$ $y_1^{*}=\frac{v_{p_1}{v}_{p_2}-v_{p_3}{v}_{p_4}}{v_{p_1}+v_{p_2}-v_{p_3}-v_{p_4}}$

$x_2^{*}=\sqrt{\frac{(u_{p_1}-u_{p_3})(u_{p_3}-u_{p_2})(u_{p_1}-u_{p_4})(u_{p_2}-u_{p_4})}{u_{p_1}+u_{p_2}-u_{p_3}-u_{p_4}}}$

$y_2^{*}=\sqrt{\frac{(v_{p_1}-v_{p_3})(v_{p_3}-v_{p_2})(v_{p_1}-v_{p_4})(v_{p_2}-v_{p_4})}{v_{p_1}+v_{p_2}-v_{p_3}-v_{p_4}}}$

若 $\left|\begin{array}{ccc}{u}_{p_1}& v_{p_1}& 1\\ u_{p_2}& v_{p_2}& 1\\ x_2^{*}& y_2^{*}& 0\end{array}\right|=0,$ 则V₁ ¹，V_n ¹是两个圆环点的像点即 $V_l=V_l^1,$ $V_n=V_n^1,$ 否则V_l ²，V_n ²是两个圆环点的像点即 $V_l=V_l^2,V_n=V_n^2.$

6.求解摄像机的内部参数。由圆环点的性质可知，两个圆环点是一对共轭点，则两个圆环点的像点V₁，V_n也是一对共轭点，且两个圆环点的像点在绝对二次曲线C上。

已知C为对称矩阵，令 $C=\left[\begin{array}{ccc}{c}_{11}& c_{12}& c_{13}\\ c_{12}& c_{22}& c_{23}\\ c_{13}& c_{23}& c_{33}\end{array}\right].$ 把V₁，V_n表示为V₁＝(V_l1，V_l2，1)^T，V_n＝(V_n1，V_n2，1)^T，由步骤5分析，可得，当 $\left|\begin{array}{ccc}{u}_{p_1}& v_{p_1}& 1\\ u_{p_2}& v_{p_2}& 1\\ x_2^{*}& y_2^{*}& 0\end{array}\right|=0,$ $V_l=V_l^1,$ $V_n=V_n^1$ 时，

则有 $V_{l1}=x_1^{*}+x_2^{*}i,$ $V_{l2}=y_1^{*}+y_2^{*}i,$ $V_{n1}=x_1^{*}-x_2^{*}i,$ $V_{n2}=y_1^{*}-y_2^{*}i;$

否则，当 $\left|\begin{array}{ccc}{u}_{p_1}& v_{p_1}& 1\\ u_{p_2}& v_{p_2}& 1\\ x_2^{*}& y_2^{*}& 0\end{array}\right.\≠0,$ $V_l=V_l^2,$ $V_n=V_n^2$ 时，则有 $V_{l1}=x_1^{*}-x_2^{*}i,$ $V_{l2}=y_1^{*}+y_2^{*}i,$

$V_{n1}=x_1^{*}+x_2^{*}i,$ $V_{l2}=y_1^{*}-y_2^{*}i.$ 令A＝[V_l1·V_l2，2V_l1·V_l2，2V_l1，V_l1·V_l2，2V_l2，1]，C_6×1＝[C₁₁，C₁₂，C₁₃，C₂₂，C₂₃，C₃₃]

可得： $\left[\begin{array}{c}\mathrm{Re}\left(A\right)\\ \mathrm{Im}\left(A\right)\end{array}\right]C_{6\×1}=0---\left(4\right)$

其中：Re(A)，Im(A)分别表示求矩阵A的实部和虚部。

利用摄像机在至少三个不同的方位获得至少三幅模板图像，可以确定至少3组方程式(4)，利用最小二乘法即可求解矩阵C。矩阵C求出后就可以根据已知的摄像机内参数矩阵和摄像机内参数的关系求解摄像机的内部参数，其关系如下：

$\left\{\begin{array}{c}{v}_o=(c_{12}{c}_{13}-c_{11}{c}_{23})/(c_{11}{c}_{22}-c_{12}^2)\\ \mathrm{\λ}=c_{33}-[c_{13}^2+v_o(c_{12}{c}_{13}-c_{11}{c}_{23})]/c_{11}\\ f_u=\sqrt{\mathrm{\λ}/c_{11}}\\ s=-c_{12}{f_u}^2{f}_v/\mathrm{\λ}\\ f_v=\sqrt{\mathrm{\λ}{c}_{11}/(c_{11}{c}_{22}-c_{12}^2)}\\ u_0={\mathrm{sv}}_0/f_v-c_{13}{f_u}^2/\mathrm{\λ}\end{array}\right.---\left(5\right)$

本发明采用单幅正八边形模板对摄像机内参数进行自标定，而且对关键的角点提取采用了在Harris角点检测的基础上可以精确到亚像素级别的角点检测方法。该方法减少了摄像机的运动次数，过程简单，避免了椭圆和直线的拟合，同时兼顾了精度和时效性，是一种非常实用的标定方法。

Claims (1)

1.一种基于正八边形模板的车载摄像机内参数的标定方法，摄像机标定说到底就是确定世界坐标系到计算机图像坐标系的变换矩阵，此变换过程和变换关系即中心投影关系表达形式如下：

其中λ为比例因子，

为摄像机的内部参数矩阵，其中R是3×3的矩阵表示世界坐标系与摄像机坐标系之间的旋转关系，t是三维的向量表示世界坐标系与摄像机坐标系之间的平移关系；fu，fv为摄像机在u，v方向的等效焦距；u₀，v₀为计算机图像坐标系中的中心坐标也叫主点；s为摄像机镜头的畸变因子；所谓摄像机的内参数的标定就是求取摄像机内部参数矩阵K；

其特征在于，包括以下步骤：

1).制作正八边形模板；它的八个顶点记为A、B、C、D、E、F、G、H，中心记为O点；其中AB，CD，EF，GH分别是正八边形的四条对角线，O点为正八边形的中心；

2).用摄像机至少从三个不同的方位拍摄位于三维空间中的模板，至少可以得到三幅不同方位平面模板的图像；

标定模板的图像之一上面的点A’，B’，C’，D’，E’，F’，G’，H’，O’分别为正八边形模板上面点A，B，C，D，E，F，G，H，O的像点；

3).采用Hartis角点检测的方法提取模板图像的九个特征点的坐标；根据Harris角点检测的原理可知检测到的正八边形模板上八个顶点以及中心即为正八边形模板9个特征点的坐标；(u_A’，V_A’)，(u_B’，v_B’)，(u_C’，v_C’)，(u_D’，v_D’)，(u_L’，v_E’)，(u_F’，v_F’)，(u_G’，v_G’)，(u_H’，v_H’)，(u_O’，v_O’)；

根据Forstner算子原理，提出了在Harris角点检测的基础上可以精确到亚像素级别的角点检测方法；对用Hartis角点检测方法检到的角点坐标(u_A’，v_A’)，(u_B’，V_B’)，(u_C’，v_C’)，(u_D’，v_D’)，(u_E’，v_E’)，(u_F’，v_F’)，(u_G’，v_G’)， (u_H’，v_H’)，(u_O’，v_O’)进行进一步坐标细化；

假设(x₁，y₁)为其中一个用Harris算法检测到的角点坐标；令 

s＝pl-q²

利用上述公式进一步细化角点坐标：x’＝(lm-qn)/s    y’＝(pn-qm)/s，即(x’，y’)为(x₁，y₁)细化后的角点坐标；要求对模板图像中九个特征点的坐标都要根据本步骤所提出的算法进行细化；把细化后九个角点的坐标分别记为(u_A”，v_A”)，(u_B”，v_B”)，(u_C”，v_C”)，(u_D”，v_D”)，(u_E”，v_E”)，(u_F”，v_F”)，(u_G”，v_G”)，(u_H”，v_H”)，(u_O”，v_O”)；

4).求取模板图像四个对角线方向上的消失点；设P₁，P₂，P₃，P₄分别为A’B’，C’D’，E’F’，G’H’方向上的消失点；所谓消失点是指在射影几何中两平行直线交于无穷远处一点，该点在图像平面的投影点称为消失点；由高等几何摄影理论可知，存在已知的如下关系式：

步骤3已经提取出正八边形模板九个特征点的坐标，根据上面方程组(2)求解出消失点P₁、P₂、P₃、P₄的坐标 

如下所示：

5).求取两个圆环点的坐标；所谓圆环点圆周与消失线的交点；由高等几何中拉盖尔定理的推论，可知P₁、P₄与两个圆环点像点V_l，V_n调和共轭，P₂、 P₃与两个圆环点像点V_l，V_n也调和共轭，可得如下关系式：

把P₁、P₂、P₃、P₄的坐标 

代入上式即可求圆环点的像点V₁，V_n的坐标；因为两个圆环点是一对共轭点，由圆环点的性质可知两个圆环点的像点V_l，V_n也是一对共轭点；设V_l，V_n可能的坐标分别是：

其中i表示虚部的单位，

若

则V_l ¹，V_n ¹是两个圆环点的像点即

否则V_l ²，V_n ²是两个圆环点的像点即

6).求解摄像机的内部参数；由圆环点的性质可知，两个圆环点是一对共轭点，则两个圆环点的像点V_l，V_n也是一对共轭点，且两个圆环点的像点在绝对二次曲线C上；

C为对称矩阵，令

把V_l，V_n表示为V₁＝(V_l1，V_l2，1)^T，V_n＝(V_n1，V_n2，1)^T，

由步骤5)可得，当

时，则有

否则，当

时，则有

令A＝[V_l1·V_l2，2V_l1·V_l2，2V_l1，V_l1·V_l2，2V_l2，1]，

C_6×1＝[C₁₁，C₁₂，C₁₃，C₂₂，C₂₃，C₃₃]

可得：

其中：Re(A)，Im(A)分别表示求矩阵A的实部和虚部；

利用摄像机在至少三个不同的方位获得至少三幅模板图像，确定至少3组方程式(4)，利用最小二乘法即可求解矩阵C；矩阵C求出后根据已知的摄像机内参数矩阵和摄像机内参数的关系求解摄像机的摄像机内部参数矩阵K，其关系如下：

Images