CN101414380A - 全景相机的单图标定方法 - Google Patents

Abstract

本发明公开了一种全景相机的单图标定方法。该方法的步骤是：拍摄一张有多条直线的模板图像，这些直线经过全景相机投影，在图像平面成二次曲线像；引入等价二次投影模型，得到空间直线在图像上所对应的二次曲线的解析模型，计算线簇中每条直线在图像上对应的二次曲线的数学表达式；根据图像的边界和线簇的表达式初始化二次投影模型中对应的全景相机内参和线簇在图像上的交点；根据线簇的表达式和垂直约束优化全景相机内参。本发明提出的垂直约束可以精确地表达各种单视点全景相机的投影特性；提出的单图标定算法，兼顾了计算精度、抗噪性、计算时间和人工交互的工作量，可以快捷有效地标定出全景相机的内参，可用于各种单视点全景相机的内参标定。

Description

全景相机的单图标定方法

技术领域

本发明涉及获取全景相机内参的方法，具体来说，是一种引入了线簇约束的标定方法。

背景技术

全景相机是一种特殊的视觉成像系统，水平方向的360度全景视野弥补了传统透视相机在视场上的不足，在安防、视频会议和机器人导航方面都是广泛的应用前景。全景相机由透视相机和反射面构成，因此又被称为折反射相机(catadioptic camera)。总体来说，分为满足单视点约束的全景相机和不满足单视点约束的全景相机。前者的优点在于，所有的光线都必须通过一个点，即所谓的单视点约束，正如传统的透视相机一样，这一特性使得前者容易被建模；而后者仅在光学上实现了成像的可能，目前尚无解析的数学模型能够描述。

众所周知，在将相机应用到一定的领域之前，比如三维重建或者机器人导航等等，必须要了解相机本身的性质。因此，准确标定相机的参数成了首要问题。近年来，许多国内外的学者在这方面做出了不懈的努力，提出了若干种模型用于描述相机的性质，以便标定，如(1)二次反射模型：三维空间中的点首先中心投影到单位球面上，然后从北极点和球心之间的某点透视投影到与光轴垂直的平面上。所有满足单视点约束的折反射相机，都能用这个球面模型等效，这是一个精确描述的模型。(2)等畸变圆锥模型：图像像素在三维空间中对应的点只与它相对失真中心的径向距离有关，因此可以用一系列的圆锥模拟全景相机的成像过程，这一点体现了微分的思想。(3)反射面近似模型：它不要求折反射系统的具体镜面类型，将三维光线与图像像素之间的对应关系用某个幂次的泰勒级数近似，全向相机的标定只需求解这个多项式的系数即可获得内参。

基于以上的模型，提出了不同的标定方法。比如基于二次反射模型，利用直线和圆的性质的标定方法，这类方法把直线和圆作为单独的个体考量，严重依赖二次曲线拟合的精度，而且需要检测图像中所有可能的二次曲线，计算量大，抗噪声的性能比较差；基于等畸变圆锥模型的凸优化方法，这类方法把非线性优化转化给凸优化过程，理论上可以找到一个最优解，但实际上由于图像噪声等因素的影响以及全景相机的成像模型本身不是一个严格的凸函数，因此这类方法的实现复杂而且效果不佳；基于反射面近似模型的泰勒级数展开方法，虽然简单直观，但是操作繁琐，需要的图像数量大，增加了使用者的工作量，本身对于镜面的拟合精度又受到图像分辨率和图像噪声的影响。基于以上的考虑，本发明提出了单图标定方法。

发明内容

本发明基于二次投影模型，吸收了10年国内外学者在曲线拟合、透视几何和全景相机建模方面的研究成果，建立了一套完整的全景相机标定算法框架。

本发明采用的技术方案的步骤包括：

(1)拍摄一张有多条直线的模板图像，直线经过全景相机投影，在图像平面成二次曲线像；

(2)计算所有二次曲线的数学表达式：引入等价二次投影模型，得到直线在图像上的对应二次曲线的解析模型，计算线簇中每条直线在图像上对应的二次曲线的数学表达式；

(3)初始化相机参数：根据图像的边界和线簇的表达式初始化二次投影模型中对应的全景相机内参和线簇在图像上的交点；

(4)非线性优化：根据线簇的表达式和垂直约束优化全景相机内参。

手动选择位于同一条二次曲线上6个以上的图像点，即可求取二次曲线的数学表达式。

利用球面坐标(2个参数)代替直角坐标(3个参数)参数化线簇的交点，减少了表示一个空间点需要的参数数量，同时引入了垂直约束，然后利用奇异值分解的方法，线性地求取线簇的交点，克服了二次曲线估计不准确带来的误差。

将一组直线作为一个整体，并提出一个适用于平行线的约束，并把它推广到非平行线的情况，使之更加实用。

只需要计算相机的内参，而不需要计算相机的外参，使单幅图标定成为可能。

本发明具有的有益效果是：

1.本发明提出线簇约束是基于精确描述的模型，可以精确地表达各种单视点全景相机的性质

2.本发明提出的单图标定算法，兼顾计算精度、抗噪性、计算时间和操作者的工作量，可以快捷有效地标定出全景相机的内参。

附图说明

图1是本发明方法的流程图。

图2是二次投影模型图。

图3是于二次投影模型的线簇约束图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。

图1给出了全景相机单图标定方法的技术流程。

(1)计算所有二次曲线的表达式：引入等价二次投影模型，得到直线在图像上的对应二次曲线的解析模型，计算线簇中每条直线在图像上对应的二次曲线的数学表达式；

(2)初始化相机参数：根据图像的边界和线簇的表达式初始化二次投影模型中对应的全景相机内参和线簇在图像上的交点；

(3)非线性优化：根据线簇的表达式和垂直约束优化全景相机内参。

如图2所示，本发明中采用的是二次投影模型。世界坐标中的点X＝(X Y Z 1)^T，首先被投影到单位球体的表面成为 $x_s={\left(\begin{array}{cccc}\frac{X}{r}& \frac{Y}{r}& \frac{Z}{r}& 1\end{array}\right)}^T,$ 其中 $r=\sqrt{X^2+Y^2+Z^2}.$ 然后以OC为投影中心再根据投影矩阵 $P=\left(\begin{array}{cccc}{f}_e& 0& 0& 0\\ 0& f_e& 0& 0\\ 0& 0& 1& l\end{array}\right)$ 将Xs投影到x＝(x y 1)^T，其中l＝|OO_C|、f_e＝|O_CO_P|。之后，再经由一次仿射变换 $K=\left(\begin{array}{ccc}r& s& u_0\\ 0& 1& v_0\\ 0& 0& 1\end{array}\right),$ 将x投影到图像平面。

关于二次投影模型的更多细节可以参考文献1：C.Geyer and K.Daniilidis，“An Unifying Theory for Central Panoramic Systems and Pratical Implications，”Proc.European Conf.Computer Vision，pp.445-461，2000.

从以上模型中不难发现，二次模型的相机内参包括图像中心O_P(u₀，v₀)、焦距f_e、比率r、斜率s和一个额外的参数l。这些都是需要标定的参数。

如图1所示，在步骤101中，根据文献1所述，多数情况下，直线对应的全景图像上的二次曲线ax²+2bxy+cy²+2dx+2ey+f＝0是椭圆或者圆，因此本发明中采用了一种针对椭圆的拟合方法，引入了椭圆约束后，对于加噪图像有非常好的拟合效果。

关于椭圆拟合方法的更多细节可以参考文献2：A.Fitzgibbon，M.Pilu，and R.Fisher，“Direct Least Square Fitting of Ellipses，”IEEE Trans.Pattern Analysis andMachine Intelligence，vol.21，no.5，pp.476-480，May 1999.

如图1所示，在步骤102中，二次投影模型中球体的中轴和图像的光轴重合，因此可以利用反射镜面在图像上的边界，对相机的内参做初始化： $r=\sqrt{-\frac{{b\′}^2}{{a\′}^2}+\frac{c\′}{a\′}},$ $s=-\frac{b\′}{a\′},$ $u_0=\frac{b\′e\′-c\′d\′}{a\′c\′-{b\′}^2},$ $v_0=\frac{b\′d\′-a\′e\′}{a\′c\′-{b\′}^2},$ $f_e=\sqrt{-\frac{f_i(b_i{f}_i-d_i{e}_i)}{d_i(b_i{d}_i-a_i{e}_i)}},$ 其中a′、b′、c′、d′、e′和f′表示图像边界的二次曲线对应的参数，而a_i、b_i、c_i、d_i、e_i、f_i则表示空间直线对应二次曲线的参数。根据图像上二次曲线的表达式 $C=\left(\begin{array}{ccc}(l^2-1)n_x^2+l^2{n}_z^2& (l^2-1)n_x{n}_y& -f_e{n}_z{n}_x\\ (l^2-1)n_x{n}_y& (l^2-1)n_y^2+l^2{n}_z^2& -f_e{n}_z{n}_y\\ -f_e{n}_z{n}_x& -f_e{n}_z{n}_y& -f_e^2{n}_z^2\end{array}\right),$ 可以求出每个二次曲线在单位球上对应大圆的法向量 $\stackrel{\→}{n}=(n_x,n_y,n_z).$

空间中每一条直线在单位球上对应的是一个大圆，所有交于一点的大圆必然共直径，因此也会交于另一点。所以，任何在空间上交于一点的线簇，必然在全景图像上交于另一点，而平行线是其中的一个特例，因为它们交于无穷远点。在得到所有二次曲线对应单位球上大圆的法向量之后，采用线性的方法 ${({\stackrel{\→}{n}}_1,{\stackrel{\→}{n}}_2\·\·\·{\stackrel{\→}{n}}_i)}^T{(s_x,s_y,s_z)}^T=0,$ 可以求得线簇交点在单位球上的坐标s＝(s_x，s_y，s_z)。再经由上述的投影过程得到图像上的交点坐标可表示为 $S\′={(\frac{f_e{s}_x}{s_z\±l}r+\frac{f_e{s}_y}{s_z\±l}s+u_0,\frac{f_e{s}_y}{s_z\±l}+v_0,1)}^T.$

每一条直线被投影到单位球上成为一个大圆，每一个大圆从O_C为中心投影过程对应了一个圆锥。所有的这些大圆又交于共同的两点，因此所有的这些圆锥具有两条共同的母线

。如图3所示，一组线簇具有如下垂直约束：

共母线圆锥中的任何一个圆锥曲线在交点处的法向量垂直于它们的公共母线。

即 ${\stackrel{\→}{n}}_i\·\stackrel{\→}{g}{=\left(\begin{array}{c}{s}_x\\ s_y\\ s_z+l\end{array}\right)}^T\left(\begin{array}{ccc}{\mathrm{af}}_e^2& {\mathrm{bf}}_e^2& {\mathrm{df}}_e\\ {\mathrm{bf}}_e^2& {\mathrm{cf}}_e^2& {\mathrm{ef}}_e\\ {\mathrm{df}}_e& {\mathrm{ef}}_e& f\end{array}\right)\left(\begin{array}{c}{s}_x\\ s_y\\ s_z+l\end{array}\right)=0$

这一约束对所有平行线或者相交于一点的线簇都成立，而且将整个线簇作为一个整体，因此传统的标定板成为一个很好的选择，也使得手工选点成为可能。

如图1所示，在步骤103中，可以采用Levenberg-Marquardt等经典的非线性优化算法进行迭代计算，最终比较鲁棒地求出相机的内参。

Claims (5)

1.一种关于全景相机的单图标定方法，其特征在于，该方法的步骤包括：

(1)拍摄一张有多条直线的模板图像，直线经过全景相机投影，在图像平面成二次曲线像；

(2)计算所有二次曲线的数学表达式：引入等价二次投影模型，得到直线在图像上的对应二次曲线的解析模型，计算线簇中每条直线在图像上对应的二次曲线的数学表达式；

(3)初始化相机参数：根据图像的边界和线簇的表达式初始化二次投影模型中对应的全景相机内参和线簇在图像上的交点；

(4)非线性优化：根据线簇的表达式和垂直约束优化全景相机内参。

2.根据权利要求1所述的一种全景相机单图标定方法，其特征在于，手动选择位于同一条二次曲线上6个以上的图像点，即可求取二次曲线的数学表达式。

3.根据权利要求1所述的一种全景相机单图标定方法，其特征在于，利用球面坐标代替直角坐标参数化线簇的交点，减少了表示一个空间点需要的参数数量，同时引入了垂直约束，然后利用奇异值分解的方法，线性地求取线簇的交点，克服了二次曲线估计不准确带来的误差。

4.根据权利要求1所述的一种全景相机单图标定方法，其特征在于，将一组直线作为一个整体，并提出一个适用于平行线的约束，并把它推广到非平行线的情况，使之更加实用。

5.根据权利要求1所述的一种全景相机单图标定方法，其特征在于，只需要计算相机的内参，而不需要计算相机的外参，使单幅图标定成为可能。

Images