CN103440639B - 基于正三角形模板的摄像机内参数标定方法 - Google Patents

Abstract

一种基于正三角形模板的摄像机内参数标定方法。该方法所采用的正三角形模板由3块大小相同颜色一致的小正三角形板，通过角与角对接，拼接成一个大正三角形模板；小正三角形板的边长可为任意尺寸。摄像机内参数标定方法如下：(1)摄像机至少拍摄3幅不同方位的模板图像；(2)提取每幅模板图像上6个角点的亚像素级图像坐标；(3)若未知模板尺寸，利用透视几何理论和正三角形模板的特点，计算消失点和圆环点的图像坐标，标定出摄像机内参数；(4)若已知模板尺寸和特征点世界坐标，可用多种方法标定摄像机内参数。本发明所采用的正三角形模板适用于工业现场，使用方法简单，而且算法能保证足够的标定精度。

Description

基于正三角形模板的摄像机内参数标定方法

技术领域

本发明涉及一种正三角形模板以及基于该种模板的摄像机内参数标定方法，属于计算机视觉测量领域，用于建立摄像机图像像素位置与场景点位置之间的关系。

背景技术

机器视觉领域中要从二维图像获取三维空间信息，摄像机标定(确定摄像机内参数)是前提条件。这方面已经做了很多研究工作。按照采用的标定模板的维数，摄像机标定分为立体靶标标定、平面靶标标定、一维标定物标定和自标定。这些标定方法各有优缺点，其中以平面靶标标定方法对标定模板的要求较低，且标定效果较好。

现有的平面靶标标定方法，如张正友提出的一个具有精确定位点阵的平面模板，孟晓桥等人提出的采用由圆和通过圆心的若干条直线所构成的平面模板，这些模板在工业现场不易获得，因而不太适用。吴福朝等提出的基于空间平面上两个非平行矩形实现摄像机内参数标定，需要通过直线拟法合求矩形的角点坐标，这种方法求得的角点坐标有一些误差，因而摄像机标定的精度受到影响。

发明内容

本发明提出一种正三角形模板以及基于该种模板的摄像机内参数标定方法，该模板由3个同样大小的小正三角形拼接而成。根据三角形的稳定性原理，3个小正三角形能够稳定地拼接出一个大正三角形，因而保证了标定模板的稳定性。摄像机从至少3个不同角度拍摄模板图像，利用平面几何的知识，易知大正三角形中点和线的关系，再利用射影几何中平行线相交和调和共轭等知识求取消失点。根据拉盖尔定理的推论，求取圆环点图像坐标，从而线性求解出所有摄像机内参数。由于这种方法所采用的平面模板在工业现场易于制作，也易于获得，而且可以采用经典成熟的方法较为精确地求取图像中角点坐标，从而能保证足够的摄像机内参数标定精度。

本发明所采用的正三角形平面模板，无论其尺寸是否已知，均可以实现摄像机内参数的标定。

在未知正三角形平面模板的尺寸和世界坐标的情况下，利用正三角形平面模板标定摄像机内参数的方法和步骤如下：

(1)摄像机至少拍摄3幅不同方位的模板图像；

(2)采用Harris算法提取每幅模板图像上6个角点的像素级图像坐标，并进行亚像素级求精，得到6个角点的亚像素级图像坐标；

(3)按照透视几何理论，两条平行直线相交于无穷远点，无穷远点在像平面上的投影称为直线的消失点，可以采用如下两种方法求消失点的图像坐标：

(3-1)根据消失点的定义，求两条平行直线在图像平面上的交点；

(3-2)线段被它的中点和这条直线上的无穷远点所调和分割，并且这种调和分割具有射影不变性；

(4)正三角形平面模板中存在3对平行线、3条已知中点的线段，并可用直线相交的方法，求出另外6条线段的中点，因而可以求出9个消失点；

(5)将多个消失点拟合成一条消失线；

(6)平面内任何一个圆通过无穷远直线上两个固定的共轭虚点I和J，这两点称为平面内的圆环点，可以采用如下方法求圆环点的图像坐标：

(6-1)根据拉盖尔定理的推论：当两条直线与无穷远直线的交点关于两个圆环点I、J调和共轭时，这两条直线一定互相垂直；

(6-2)正三角形平面模板中存在3对正交直线(顶点与对边中点的连线与对边垂直)，求出它们与消失线的6个交点(消失点)坐标，选其中4个消失点即可求出两个圆环点的图像坐标；

(7)圆环点是绝对二次曲线上的点，满足绝对二次曲线方程，利用从不同方位拍摄的3幅以上图像，就可以得到3组以上方程，从而求解出绝对二次曲线参数矩阵，再进行乔里斯基(Cholesky)分解可求得摄像机内参数矩阵的逆矩阵，再求逆即可确定摄像机内参数矩阵。

在已知正三角形平面模板的尺寸和世界坐标的情况下，利用正三角形平面模板标定摄像机内参数的方法和步骤如下：

(1)摄像机采集至少3幅不同方位拍摄的模板图像；

(2)确定正三角形平面模板角点(特征点)的世界坐标；

(3)采用Harris算法提取每幅模板图像上6个角点的像素级图像坐标，并进行亚像素级求精，得到6个角点的亚像素级图像坐标；

(4)利用常用的平面靶标摄像机标定算法(如Z.Zhang，“A Flexible NewTechnique for Camera Calibration”IEEE Trans.Pattern Analysis and MachineIntelligence，vol.22，no.11，pp.1330-1334，Nov.2000.)，确定图像和模板上的点的匹配关系，计算出图像和模板之间的单应性(Homography)矩阵，并利用该单应性矩阵线性解出摄像机内参数。

附图说明

图1基于正三角形模板的摄像机内参数标定流程图

图2正三角形平面模板示意图

图3求垂线与中位线交点示意图

具体实施方式

基于正三角形模板的摄像机内参数标定算法的流程图见附图1，所采用的正三角形平面模板示意图见附图2，下面对本发明结合附图进一步详细说明。

1.未知正三角形平面模板的尺寸和世界坐标的情况

(1)摄像机内参数采用五参数模型

模板平面上的三维点记为M＝[x，y，z]^T，其图像平面图上的二维点记为m＝[u，v]^T，相应的齐次坐标为与空间点M与图像点m之间的射影关系为

其中，s为非零尺度因子，旋转矩阵R与平移向量t称为摄像机外部参数矩阵，A称为摄像机内部参数矩阵。A定义为

$A=\left[\begin{array}{ccc}{f}_x& f_s& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

其中，fx、fy分别为u轴和v轴的尺度因子，fs是u轴和v轴的不垂直因子，(u₀，v₀)为主点坐标。

(2)拍摄平面模板图像并求角点亚像素坐标

如附图1所示，在一个平面上用3个正三角形拼接出一个大正三角形平面模板，并摆放在易于摄像机拍摄的位置。摄像机从至少3个不同方位拍摄的附图1所示的正三角形平面模板图像，然后采用Harris方法求像素级角点坐标，并用灰度梯度、二次多项式逼近等方法对角点坐标进行亚像素级求精，提取每幅平面模板图像上6个角点的亚像素级图像坐标。

(3)求消失点和消失线

按照透视几何理论，两条平行直线相交于无穷远点，无穷远点在像平面上的投影称为直线的消失点。根据消失点定义求取消失点的方法如下：设两平行直线L₁、L₂在图像中的方向分别为：d₁＝(a₁，b₁，c₁)^T，d₂＝(a₂，b₂，c₂)^T。

消失点的图像坐标为：

$u=\frac{b_1*c_2-b_2*c_1}{a_1\text{*}{b}_2-a_2*b_1},v=\frac{-(a_1*c_2-a_2*c_1)}{a_1*b_2-a_2*b_1}---\left(3\right)$

附图1所示的正三角形平面模板中存在着3组平行线：ac//de，cf//bd，fa//eb，可以求出3个消失点的坐标。

另一种求取消失点的方法如下：线段AB被它的中点C和这条直线上的无穷远点D_∞所调和分割，即A、B、C、D_∞4点交比为-1，并且这种调和分割具有射影不变性。

即

$(\mathrm{AB},{\mathrm{CD}}_{\∞})=\frac{\mathrm{AC}}{\mathrm{BC}}/\frac{{\mathrm{AD}}_{\∞}}{{\mathrm{BD}}_{\∞}}=-1---\left(4\right)$

在附图2中，点b、d、e分别为线段ac、fa、cf的中点，因而，也可以求出3个消失点的坐标(与3组平行线求出的消失点坐标相同)。还可以通过bd与ae的交点g(既是bd的中点，又是ae的中点)，eb与cd的交点h(既是eb的中点，又是cd的中点)，de与bf的交点i(既是de的中点，又是bf的中点)，求出更多消失点的坐标。

利用以上两种方法，共可求出9个消失点的坐标，从而拟合出消失线的方程。

(4)求圆环点

在附图2所示的正三角形中，存在3组相互垂直的直线：ac⊥fb，cf⊥ae，fa⊥cd。利用其中两组垂线的消失点坐标，就可以求出圆环点坐标。

不失一般性，我们选择ac⊥fb，cf⊥ae这两组正交直线，它们对应的消失点分别为pl和p2、p3和p4。点b是ac的中点，点e是cf的中点，de与fb的交点i是fb是中点，ae与bd的交点g是ae是中点，从而，利用式(4)可以列出如下等式：

$\begin{array}{ccc}(a& c,b& p1)=-1\\ (f& b,i& p2)=-1\\ (c& f,e& p3)=-1\\ (a& e,g& p4)=-1\end{array}---\left(5\right)$

解得4个消失点的图像坐标分别为：pl(upl，vpl)和p2(up2，vp2)、p3(up3，vp3)和p4(up4，vp4)。

圆环点I，J为一对共轭点，则其对应的图像点为CI，CJ也为共轭点，设其图像坐标为：

C_I＝(u₁+iu₂，v₁+iv₂，1)^T，C_J＝(u₁-iu₂，v₁-iv₂，1)^T。

根据拉盖尔定理的推论，由射影变换下交比的不变性有：

(p₁p₂，C_IC_J)＝-1 (6)

(p₃p₄，C_IC_J)＝-1 (7)

即

$(p_1{p}_2,C_I{C}_J)=\frac{u_1+{\mathrm{iu}}_2-u_{p1}}{u_1+{\mathrm{iu}}_2-u_{p2}}:\frac{u_1-{\mathrm{iu}}_2-u_{p1}}{u_1-{\mathrm{iu}}_2-u_{p2}}=\frac{v_1+{\mathrm{iv}}_2-v_{p1}}{v_1+{\mathrm{iv}}_2-v_{p2}}:\frac{v_1-{\mathrm{iv}}_2-v_{p1}}{v_1-{\mathrm{iv}}_2-v_{p2}}=-1---\left(8\right)$

$(p_3{p}_4,C_I{C}_J)=\frac{u_1+{\mathrm{iu}}_2-u_{p3}}{u_1+{\mathrm{iu}}_2-u_{p4}}:\frac{u_1-{\mathrm{iu}}_2-u_{p3}}{u_1-{\mathrm{iu}}_2-u_{p4}}=\frac{v_1+{\mathrm{iv}}_2-u_{p3}}{v_1+{\mathrm{iv}}_2-v_{p4}}:\frac{v_1-{\mathrm{iv}}_2-v_{p3}}{v_1-{\mathrm{iv}}_2-v_{p4}}=-1---\left(9\right)$

从而有

u₁ ²+u₂ ²-u₁(u_p1+u_p2)+u_p1u_p2＝0 (10)

u₁ ²+u₂ ²-u₁(u_p3+u_p4)+u_p3u_p4＝0 (11)

v₁ ²+v₂ ²-v₁(v_p1+v_p2)+v_p1v_p2＝0 (12)

v₁ ²+v₂ ²-v₁(v_p3+v_p4)+v_p3v_p4＝0 (13)

求解上述方程组，可得到C_I，C_J的如下两组可能的解：

$C_I^1=(u_1^{*}+{\mathrm{iu}}_2^{*},v_1^{*}+{\mathrm{iv}}_2^{*},1{)}^T---\left(14\right)$

$C_J^1=(u_1^{*}-{\mathrm{iu}}_2^{*},v_1^{*}-{\mathrm{iv}}_2^{*},1{)}^T---\left(15\right)$

$C_I^2=(u_1^{*}-{\mathrm{iu}}_2^{*},v_1^{*}+{\mathrm{iv}}_2^{*},1{)}^T---\left(16\right)$

$C_J^2=(u_1^{*}+{\mathrm{iu}}_2^{*},v_1^{*}-{\mathrm{iv}}_2^{*},1{)}^T---\left(17\right)$

其中：

$u_1^{*}=\frac{u_{p1}{u}_{p2}-u_{p3}{u}_{p4}}{u_{p1}+u_{p2}-u_{p3}-u_{p4}}$

$v_1^{*}=\frac{v_{p1}{v}_{p2}-v_{p3}{v}_{p4}}{v_{p1}+v_{p2}-v_{p3}-v_{p4}}$

$u_2^{*}=\sqrt{\frac{(u_{p1}-u_{p3})(u_{p3}-u_{p2})(u_{p1}-u_{p4})(u_{p2}-u_{p4})}{(u_{p1}+u_{p2}-u_{p3}-u_{p4}{)}^2}}$

$v_2^{*}=\sqrt{\frac{(v_{p1}-v_{p3})(v_{p3}-v_{p2})(v_{p1}-v_{p4})(v_{p2}-v_{p4})}{(v_{p1}+v_{p2}-v_{p3}-v_{p4}{)}^2}}$

在这两组解中，只有一组是合理的。

令 $\mathrm{\Δ}=\left[\begin{array}{ccc}{u}_{p1}& v_{p1}& 1\\ u_{p2}& v_{p2}& 1\\ u_2^{*}& v_2^{*}& 0\end{array}\right]$

若Δ＝0，则是两个圆环点对应的图像点的解，否则是两个圆环点对应的图像点的解。

(5)通过圆环点求摄像机内参数

在三维射影空间中，所有无穷远点构成了无穷远平面.在无穷远平面上，满足方程的点构成了绝对二次曲线ω，则由式(1)，有对应的图像点满足：

${\tilde{m}}^T{A}^{-T}{A}^{-1}\tilde{m}=0---\left(18\right)$

圆环点I，J的坐标也满足方程因此I，J是绝对二次曲线ω上的点.设C_I、C_J为I，J对应的图像点，则有：

$C_I^T{A}^{-T}{A}^{-1}{C}_I=0---\left(19\right)$

$C_J^T{A}^{-T}{A}^{-1}{C}_J=0---\left(20\right)$

在射影变换下，C_I、C_J互为共轭。因此，上述两式是等价的。根据复数的性质，可得如下两个约束：

$\mathrm{Re}\left(C_I^T{A}^{-T}{A}^{-1}{C}_I\right)=0,\mathrm{Im}\left(C_I^T{A}^{-T}{A}^{-1}{C}_I\right)=0---\left(21\right)$

其中Re，Im分别求复数的实部与虚部。

由于 $K=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}{k}_{11}& k_{12}& k_{13}\\ k_{12}& k_{22}& k_{23}\\ k_{13}& k_{23}& k_{33}\end{array}\right]$ 为3*3的实对称矩阵，包含6个未知数。

因此只需要在不同方位拍摄3幅图像，就可以得到3组方程，从而线性求解出A^-TA^-1，再进行乔里斯基(Cholesky)分解可求得A^-1，再求逆即可确定摄像机内参数矩阵A，即式(2)中的5个参数：u轴和v轴的尺度因子fx、fy，u轴和v轴的不垂直因子fs，主点坐标(u₀，v₀)。

2.已知正三角形平面模板的尺寸和世界坐标的情况

(1)摄像机内参数采用五参数模型

具体说明同前。

(2)拍摄平面模板图像并求角点亚像素坐标

具体说明同前。

(3)确定每次拍摄时正三角形平面模板上角点(特征点)的世界坐标；

(4)利用常用的平面靶标摄像机标定算法(如Z.Zhang，“A Flexible NewTechnique for Camera Calibration”IEEE Trans.Pattern Analysis and MachineIntelligence，vol.22，no.11，pp.1330-1334，Nov.2000.)，确定图像和模板上的点的匹配关系，计算出图像和模板之间的单应性(Homography)矩阵，并利用该单应性矩阵线性解出摄像机内参数。

Claims (2)

1.一种基于正三角形模板的摄像机内参数标定方法，其特征是：

(1-1)正三角形模板由3个大小相同颜色一致的小正三角形通过角与角相对拼接而成；

(1-2)小正三角形的边长为任意尺寸；

(1-3)摄像机至少拍摄3幅不同方位的模板图像；

(1-4)提取每幅模板图像上6个角点的像素级坐标，并进行亚像素级求精；

(1-5)在未知正三角形模板的尺寸以及世界坐标的情况下，利用透视几何理论，根据正三角形模板中的平行直线以及带中点的线段可以计算消失点的图像坐标，从而拟合出消失线，所述带中点的线段为正三角形模板的三条边；利用正三角形模板中的3对正交直线计算圆环点的图像坐标；根据求得的圆环点计算绝对二次曲线参数矩阵，从而标定出摄像机内参数。

2.根据权利要求1所述的一种基于正三角形模板的摄像机内参数标定方法，在未知正三角形平面模板的尺寸和世界坐标的情况下，利用(1-4)提取模板图像上亚像素级的角点坐标，利用(1-5)标定摄像机内参数，其方法和步骤如下：

(2-1)按照透视几何理论，两条平行直线相交于无穷远点，无穷远点在像平面上的投影称为直线的消失点，采用如下两种方法求消失点的图像坐标：

(2-1-1)根据消失点的定义，求两条平行直线在图像平面上的交点；

(2-1-2)线段被它的中点和线段所在直线上的无穷远点所调和分割，并且这种调和分割具有射影不变性；根据已知的线段端点和中点的图像坐标以及调和分割交比为-1可以计算出无穷远点即消失点的图像坐标；

(2-2)正三角形平面模板中存在3对平行直线、3条已知中点的线段，并用直线相交的方法，求出另外6条线段的中点，因而可以求出9个消失点；

(2-3)将9个消失点拟合成一条消失线；

(2-4)平面内任何一个圆通过无穷远直线上两个固定的共轭虚点I和J，这两点称为平面内的圆环点，采用如下两种方法求圆环点的图像坐标；

(2-4-1)根据拉盖尔定理的推论：当两条直线与无穷远直线的交点关于两个圆环点I、J调和共轭时，这两条直线一定互相垂直；

(2-4-2)正三角形平面模板中存在3对正交直线，求出它们与消失线的6个交点坐标，任选其中4个消失点即可求出两个圆环点的图像坐标；由直线交点确定消失点可以确保消失点一定在消失线上；

(2-5)圆环点是绝对二次曲线上的点，满足绝对二次曲线方程，利用步骤(1-3)拍摄的3幅以上图像，就可以得到3组以上方程，从而求解出绝对二次曲线参数矩阵，再进行乔里斯基(Cholesky)分解可求得摄像机内参数矩阵的逆矩阵，再求逆即可确定摄像机内参数矩阵。