CN107657645B - 利用直线及圆的共轭直径的性质标定拋物折反射摄像机 - Google Patents

Abstract

本发明是利用利用直线及圆的共轭直径的性质标定拋物折反射摄像机的方法。首先，分别从3幅图像中提取靶标图像边缘点和其中一幅图像的镜面轮廓投影的边缘点，使用最小二乘法拟合获得镜面轮廓投影。在线像上取一个点，并求出对拓像点。像点关于线像的切线和对拓像点关于线像的切线的交点为一个消失点。在线像上取互异的两个点，获得两个消失点，两个消失点确定一条消失线。消失点关于线像的极线与消失线的交点与该消失点为一组正交消失点，三幅图像提供六组正交消失点。最后，利用正交消失点对绝对二次曲线像的约束求解摄像机内参数。

Description

利用直线及圆的共轭直径的性质标定拋物折反射摄像机

技术领域

本发明属于计算机视觉领域，涉及一种利用空间中一条直线及圆的共轭直径的性质标定拋物折反射摄像机的方法。

背景技术

计算机视觉的中心任务就是对图像进行理解，而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息，而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系，它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程，需要建立摄像机的几何成像模型，几何模型的参数称为摄像机参数，摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性，外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法，都旨在建立二维图像与摄像机内参数之间的约束关系，特别是线性约束关系，这是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

抛物折反射摄像机由一个抛物镜面和一个正交摄像机组成，它的成像视野大，是全景视觉领域研究的热点之一。文献“Catadioptric self-calibration”，(Kang S.B.,Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,vol.1,pp.201-207,2000.)提出了一种折反射摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“Geometric properties of centralcatadioptric line images and their application in calibration”,(Barreto J.P.,Araujo H.,IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.27,no.8,pp.1327-1333,2005)研究了中心折反射摄像机下直线的像的几何性质，并将这些性质应用于中心折反射摄像机的标定。文献“A new linear algorithm forcalibrating central catadioptric cameras”,(Wu F.,Duan F.,Hu Z.et al.,PatternRecognition,vol.41,no.10,pp.3166-3172,2008)介绍了对拓点和对拓像点的定义，导出了空间中的一个点在视球上的投影和它的折反射图像点之间的关系，使用这个关系建立了中心折反射摄像机内参数的线性约束，通过此线性约束即可获得中心折反射摄像机内参数。文献“Calibration of central catadioptric cameras using a DLT-likeapproach”,(Puig L.,Bastanlar Y.,Sturm P.,et al.,International Journal ofComputer Vision,vol.93,no.1,pp.101-114,2011)提出了一种基于三维控制点的标定方法，通过使用Veronese映射对三维点和其图像点的坐标进行了扩展，在扩展坐标的基础上基于DLT(直接线性变换)——相似方法实现了中心折反射摄像机的标定，但是这类方法需要已知三维点的位置，并且容易从图像中提取其图像点。

直线在空间中是很常见的，无需知道标定的直线和摄像机的位置关系，只利用线像标定摄像机。文献“Catadioptric camera calibration using geometricinvariants”，(Ying X.,Hu Z.,IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.26,no.10,pp.1260-1271,2004)首次提出了利用球或者直线标定中心折反射摄像机。在非退化情况下一条直线的投影二次曲线提供三个不变量。但是该文献提出的标定方法是非线性的，计算的复杂度较高。文献“Geometric properties of centralcatadioptric line images and their application in calibration”，(Barreto J.,Araujo H.,IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.27,no.8,pp.1327-1333,2005)研究了直线在中心折反射摄像机下的几何性质，根据射影不变性应用这些性质标定摄像机内参数，三条及其以上的直线就可完成摄像机内参数的标定。文献“Identical projective geometric properties of central catadioptricline images and sphere images with applications to calibration”，(Ying X.,ZhaH.,International Journal of Computer Vision,vol.78,no.1,pp.89-105,2008)介绍了修正绝对二次曲线的像(MIAC)在中心折反射摄像机标定中的作用。他们通过研究球或直线在中心折反射摄像机下的像与MIAC的几何与代数关系提出了两种线性标定算法。它们得出的结论对于对偶形式也是成立的。但是这篇文献中的理论和标定方法对于抛物折反射摄像机的情况是退化的。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的利用靶标求解抛物折反射摄像机内参数的方法，该靶标由空间中一条直线构成。在求解抛物折反射摄像机内参数的过程中，需使用抛物折反射摄像机拍摄靶标的3幅图像线性求解出抛物折反射摄像机的5个内参数。本发明采用如下技术方案：

用抛物折反射摄像机从不同的位置拍摄3幅含有一条直线的图像。本发明是利用空间中一条直线作为靶标用于求解抛物折反射摄像机内参数的方法。首先，分别从3幅图像中提取靶标图像边缘点和其中一幅图像的镜面轮廓投影的边缘点，使用最小二乘法拟合获得镜面轮廓投影和线像方程。在线像上取一个点，并求出对拓像点。像点关于线像的切线和对拓像点关于线像的切线的交点为一个消失点。在线像上取互异的两个点，获得两个消失点，两个消失点确定一条消失线。消失点关于线像的极线与消失线的交点与该消失点为一组正交消失点，三幅图像提供六组正交消失点。最后，利用正交消失点对绝对二次曲线像的约束求解摄像机内参数。具体的步骤包括：拟合出镜面轮廓投影方程及靶标投影方程，对拓像点的获取，确定正交消失点，求解抛物折反射摄像机内参数。

1.拟合镜面轮廓投影方程及靶标投影方程

利用Matlab程序中的Edge函数提取镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和线像的方程。

2.对拓像点的获取

空间中的直线Q，在拋物折反射摄像机的单位球模型下的投影分为两步。第一步，直线Q投影是以O为中心的单位视球上的大圆S_n(n＝1,2,3表示拍摄的三幅图像)，单位视球直径的两个端点互为对拓。第二步，以单位视球表面上的一点O_c为投影中心，这里O_c可看作一个摄像机的光心，将大圆S_n投影为抛物折反射图像平面上的二次曲线C_n。抛物折反射图像平面与直线O_cO垂直。对应于单位视球直径的一个端点，该端点在抛物折反射图像平面不可见称为对拓像点，单位视球直径的这个端点称为对拓点。令以O_c为光心的摄像机的内参数矩阵为

其中r_c是纵横比，f_c是有效焦距，s是倾斜因子，[u₀ v₀ 1]^T是摄像机主点p的齐次坐标矩阵形式，其中r_c,f_c,s,u₀,v₀为折反射摄像机的5个内参数。利用Matlab中的Edge函数提取第一幅图像中的镜面轮廓投影边缘点和3幅图像靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用C₀表示第1幅图像镜面轮廓投影曲线的系数矩阵，C_n分别表示第n幅图像中的线像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。通过C₀可获得摄像机内参数矩阵K_c的一个初始矩阵值

从而得到绝对二次曲线的像ω的初始值

这里:

其中

是纵横比的初始值，

是有效焦距的初始值，

是倾斜因子的初始值，

是摄像机主点的初始齐次坐标矩阵表示，记

取C_n上的一点m₊，则与它相对应的对拓像点m_-可由关系式

确定，m₊，m_-用齐次坐标矩阵表示。

3.确定正交消失点

在直线Q的投影大圆S₁上任取两个点A₁₊,A₂₊，用A_1-,A_2-分别表示A₁₊,A₂₊关于单位视球的中心O对称的点，即对拓点。L₁₊,L₂₊为A₁₊,A₂₊关于投影圆S₁的切线，L_1-,L_2-为A_1-,A_2-关于S₁的切线。根据对拓点的定义，L₁₊//L_1-，L₂₊//L_2-，{L₁₊,L_1-}具有相同的无穷远点，{L₂₊,L_2-}具有相同的无穷远点，这里用

表示L₁₊,L_1-上的无穷远点，用

表示L₂₊,L_2-上的无穷远点。点

所在的直线为无穷远直线

点

关于小圆S₁的极线记为H_i，根据根据圆的共轭直径的性质，H_i⊥L_i+，直线H_i与无穷远直线的交点为

所以无穷远点

为一组正交方向上无穷远点。

用C₁表示线像，a_i+,a_i-,(i＝1,2)分别表示A_i+,A_i-的像，则{a_i+,a_i-}为一对对拓像点。记过点a_i+关于二次曲线C₁的切线为l_i+，过点a_i-关于二次曲线C₁的切线为l_i-，则根据射影变换的性质，直线l_i±为直线L_i±的像，于是可通过直线l_i+,l_i-确定大圆S₁所在平面的消失点d_i(

的像)。消失点d₁和d₂所在的直线为大圆S₁所在平面的消失线l₁(

的像)；消失点d_i关于线像C₁的极线为h_i(H_i的像)，极线h_i与消失线l₁的交点为d'_i(

的像)，{d_i,d'_i}为一组正交消失点。

4.求解抛物折反射摄像机内参数

由正交消失点d_i,d'_i对绝对二次曲线的像ω的线性约束d_i ^Tωd'_i＝0获得ω。用最小二乘法优化求解d_i ^Tωd'_i＝0。最后，对ω进行Cholesky分解再求逆便得到内参数矩阵K_c，即获得摄像机5个内参数。

本发明优点：

(1)该靶标制作简单，只需空间中任意一条直线。

(2)对该靶标的物理尺度没有要求，无需知道直线在世界坐标系中的位置。

附图说明

图1是用于求解抛物折反射摄像机内参数的靶标在单位视球上的示意图。

图2是靶标在抛物折反射图像平面上的投影。

具体实施方式

本发明提供了一种利用靶标求解抛物折反射摄像机内参数的方法，靶标是由空间中的一条直线构成，如图1。用此靶标完成抛物折反射摄像机内参数的求解需要经过以下步骤：从折反射图像中提取镜面轮廓投影边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和线像投影。在线像上取互异两个点，并求得对拓像点，由对拓像点的定义及圆的共轭直径的性质，由上述两组对拓像点获得两组正交消失点。从3个不同的方位对直线拍摄图片，得到六组正交消失点。利用正交消失点对绝对二次曲线像的约束求解摄像机内参数。利用本发明中的方法对实验的拋物折反射摄像机进行标定，具体步骤如下：

1.拟合镜面轮廓投影方程及靶标投影方程

利用Matlab程序中的Edge函数提取镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和线像的方程。

2.对拓像点的获取

空间中的直线Q(如图1)，在拋物折反射摄像机的单位球模型下的投影分为两步。第一步，将直线Q投影为以O中心的单位视球上的大圆S_n，(n＝1,2,3)，如图1所示(n＝1为例)。第二步，通过摄像机的光心O_c将大圆S_n投影为抛物折反射图像平面上的二次曲线C_n，如图1所示(n＝1为例)。利用Matlab中的Edge函数分别提取3幅图像中的靶标图像边缘点和第1幅图像的镜面轮廓投影的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程，这里用C₀表示第1幅图像镜面轮廓投影曲线的系数矩阵，C_n表示第n幅图像中的线像的系数矩阵。通过C₀可获得摄像机内参数矩阵K_c的一个初始矩阵值

具体如公式(1)：

这里，C₀(p,q)(p＝1,2；q＝1,2,3)表示矩阵C₀的第p行第q列元素，

φ为摄像机视场角的一半，ρ为抛物面镜轮廓投影椭圆C₀的长半轴长。在获得

的基础上可得到ω的初始值

如公式(2)：

任取C₁上的一点m₊，则与它相对应的对拓像点m_-可由关系式(3)确定：

3.确定正交消失点

在直线Q的投影大圆S₁上任取两个点A₁₊,A₂₊，用A_1-,A_2-分别表示A₁₊,A₂₊关于单位视球的中心O对称的点，即对拓点。L₁₊,L₂₊为A₁₊,A₂₊关于投影圆S₁的切线，L_1-,L_2-为A_1-,A_2-关于S₁的切线，下标+表示可见，下标-表示不可见。根据对拓点的定义，L₁₊//L_1-，L₂₊//L_2-，{L₁₊,L_1-}具有相同的无穷远点，{L₂₊,L_2-}具有相同的无穷远点，这里用

表示L₁₊,L_1-上的无穷远点，用

表示L₂₊,L_2-上的无穷远点。点

所在的直线为无穷远直线

无穷远点

关于大圆S₁的极线为H_i，极线H_i与无穷远直线

的交点为

根据圆的共轭直径的性质，

为一组正交方向上无穷远点。

如图2所示，在像平面上，用C₁表示S₁的像，用a_i+,a_i-,(i＝1,2)分别表示A_i+,A_i-的像，则{a_i+,a_i-}为一对对拓像点。记过点a_i±关于二次曲线C₁的切线为l_i±，设a_i±的齐次坐标矩阵为[u_ai± v_ai± 1]^T，直线l_i±的齐次线坐标矩阵为[u_li± v_li± 1]^T,则：

λ_li+[u_li+ v_li+ 1]^T＝C₁.[u_ai+ v_ai+ 1]^T， (4)

λ_li-[u_li- v_li- 1]^T＝C₁.[u_ai- v_ai- 1]^T， (5)

其中λ_li±是非零常数因子，下标±表示+和-的简写，+表示可见到，-表示不可见到，即对拓含义。则根据射影变换的性质，直线l_i±为直线L_i±的像，于是可通过直线{l_i+,l_i-}确定大圆S₁所在平面上的消失点d_i，设d_i齐次坐标矩阵为[u_di v_di 1]^T，通过联立l_i+和l_i-的方程可得d_i的坐标：

λ_di[u_di v_di 1]^T＝[u_li+ v_li+ 1]^T×[u_li- v_li- 1]^T， (6)

其中λ_di是非零常数因子，×表示向量积。通过大圆S₁所在平面上的两个消失点d₁和d₂可确定该平面的消失线l₁。设l₁的齐次线坐标矩阵为[u_l1 v_l1 1]^T，则

λ_l1[u_l1 v_l1 1]^T＝[u_d1+ v_d1+ 1]^T×[u_d2 v_d2 1]^T (7)

其中λ_l1是非零常数因子，过点d_i关于二次曲线C₁的极线为h_i(H_i的像)，设h_i的齐次线坐标矩阵为[u_hi v_hi 1]^T,则：

λ_hi[u_hi v_hi 1]^T＝C₁.[u_di v_di 1]^T， (8)

其中λ_hi是非零常数因子，通过联立l₁和h_i的方程可得d'_i的坐标，设d'_i的齐次线坐标矩阵为[u'_di v'_di 1]^T,则：

λ'_di[u'_di v'_di 1]^T＝[u_l1+ v_l1+ 1]^T×[u_hi v_hi 1]^T， (9)

其中λ'_di是非零常数因子{d_i,d'_i}为一组正交消失点。对于大圆S₂,S₃所在平面上的正交消失点{d₃,d'₃},{d₄,d'₄}和{d₅,d'₅},{d₆,d'₆}可用类似的方法获得。

4.求解抛物折反射摄像机内参数

由正交消失点对绝对二次曲线的像的线性约束有：

可用最小二乘法优化求解(10)获得ω，最后对

进行Cholesky分解得

再求逆便得到内参数矩阵K_c，即获得摄像机5个内参数。

实施例

本发明提出了一种利用一条直线作为靶标线性确定抛物折反射摄像机内参数的方法。本发明采用的实验模板结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中直线的抛物折反射摄像机标定采用的实验模板是空间中的一条直线，如图1所示，直线记为Q。利用本发明中的方法对用于实验的抛物折反射摄像机进行标定，具体步骤如下：

1.拟合图像边界及靶标曲线方程

本发明采用的图像大小为1800×1700。用抛物折反射摄像机拍摄靶标的3幅实验图像，读入图像，利用Matlab中的Edge函数提取第1幅图像镜面轮廓投影边缘点和3幅图像靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和线像的方程。第1幅图像镜面轮廓投影方程的系数矩阵为C₀，3幅线像的方程的系数矩阵分别为C_n(n＝1,2,3)，结果如下：

2.圆环点像的获取

将(11)代入(1)和(2)可得

其系数矩阵结果如下：

在线像C₁上任取两个点a₁₊,a₂₊，齐次坐标矩阵为：

a₁₊＝[920.116122921662 1.184.747996166640 1]^T, (16)

a₂₊＝[528.427167885316 1281.298678396819 1]^T, (17)

根据对拓像点的性质将(15-17)代入(3)，可获得对拓像点a_1-,a_2-，结果如下：

a_1-＝[782.5930219474333 71.4711335143115 1]^T， (18)

a_2-＝[1178.572512900550 502.212953902005 1]^T, (19)

将(16,12)(17,12)分别代入(4)可得过点a_i+关于二次曲线C₁的切线l_i+的齐次线坐标矩阵，结果如下：

l₁₊＝[-0.000367964384361 -0.000558287534082 1]^T； (20)

l₂₊＝[0.000082801606318 -0.000814606801616 1]^T。 (21)

将(18,12)(19,12)代入(5)可得过点a_i-关于二次曲线C₁的切线l_i-的齐次线坐标矩阵，结果如下：

l_1-＝[-0.001742434137629 0.005087603616016 1]^T； (22)

l_2-＝[-0.000954389791992 0.000248535157176 1]^T。 (23)

将(20,22)、(21,23)分别代入(6)可得消失点d_i，其齐次坐标点矩阵结果如下：

d₁＝[1984.610280577156 483.145482291265 1]^T； (24)

d₂＝[1404.649828147048 1370.363296588492 1]^T。 (25)

将(24，25)代入(7)可确定大圆S₁所在平面上的消失线l₁，其齐次线坐标矩阵结果如下：

l₁＝[-0.000434700403156 -0.000284156876049 1]^T。 (26)

将(24,12)、(25,12)分别代入(8)可得消失线h_i，结果如下：

h₁＝[-0.001292383403257 0.000159648133565 1]^T； (27)

h₂＝[-0.000625912215342 -0.000522322384301 1]^T。 (28)

将(26-28)代入(9)可得消失点d'_i，结果如下：

d'₁＝[1016.412357471610 1964.285173015846 1]^T； (29)

d'₂＝[4841.107612494100 -3886.696131477450 1]^T。 (30)

在线像C₂上任取两个点b_i+，齐次坐标矩阵为：

b₁₊＝[1018.828372191938 728.436130718552 1]^T， (31)

b₂₊＝[873.9467402408636 476.5627606767870 1]^T， (32)

可用类似方法(3-9,13,15，31,32)获得两组正交消失点d₃,d₄,d'₃,d'₄，结果如下：

d₃＝[17005.62834366223 2606.646452046178 1]^T， (33)

d₄＝[1312.480166441740 1000.566901794298 1]^T， (34)

d'₃＝[1204.261911552940 552.705813149476 1]^T， (35)

d'₄＝[852.1435737192022 -904.5354099331679 1]^T， (36)

在线像C₃上任取两个点c_i+，齐次坐标矩阵为：

c₁₊＝[857.9860337449281 913.8628432522387 1]^T, (37)

c₂₊＝[779.3017476252139 867.5525731951913 1]^T； (38)

可用类似方法(3)(4)(5)(6)(7)(8)(9),(14),(15)，(37),(38)获得两组正交消失点d₅,d₆,d'₅,d'₆，结果如下：

d₅＝[-17199.04916781895 -9218.87729013083 1]^T， (39)

d₆＝[2131.812154047414 1701.532857728048 1]^T， (40)

d'₅＝[835.3877253488683 969.1554301854211 1]^T， (41)

d'₆＝[670.0406306036262 875.7473786087212 1]^T， (42)

4.求解抛物折反射摄像机内参数

将编号为(24、25、29、30、33-36、39-42)数据代入(10)得到ω中元素的线性方程组，使用最小二乘法求解该线性方程组得到ω的系数矩阵。结果如下：

最后，对(43)中的ω进行Cholesky分解再求逆便可获得K_c，结果如下：

其中纵横比r_c＝K_c(1,1)/K_c(2,2)(K_c(1,1)表示矩阵K_c的第1行第1列的元素，K_c(2,2)表示矩阵K_c的第2行第2列的元素)，故抛物折反射摄像机的5个内参数分别为：r_c＝0.980392156863111，f_c＝510.0000000001302，s＝0.3000000000939，u₀＝879.9999999998953，v₀＝860.0000000001266。

Claims (1)

1.一种利用直线及圆的共轭直径的性质标定拋物折反射摄像机的方法，其特征在于由空间中的一条直线作为靶标；所述方法的具体步骤包括：首先，用抛物折反射摄像机从不同的位置拍摄3幅含直线的图像，提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和直线的图像；在线像上取一个点，并求出对拓像点，像点和对拓像点关于线像的切线的交点为一个消失点；在线像上取互异的两个点，获得两个消失点，两个消失点确定一条消失线；根据圆的共轭直径的性质，消失点关于线像的极线与消失线的交点与该消失点为一组正交消失点，三幅图像提供六组正交消失点；最后，利用正交消失点对绝对二次曲线像的约束求解摄像机内参数；

(1)确定正交消失点

在直线Q的投影大圆S₁上任取两个点A₁₊,A₂₊，用A_1-,A_2-分别表示A₁₊,A₂₊关于单位视球的中心O对称的点，即对拓点；L₁₊,L₂₊为A₁₊,A₂₊关于投影圆S₁的切线，L_1-,L_2-为A_1-,A_2-关于S₁的切线，下标+表示见到，下标-表示不见到；根据对拓点的定义，L₁₊//L_1-，L₂₊//L_2-，于是{L₁₊,L_1-}具有相同的无穷远点，{L₂₊,L_2-}具有相同的无穷远点，这里用

表示L₁₊,L_1-上的无穷远点，用

表示L₂₊,L_2-上的无穷远点；点

所在的直线为无穷远直线

点

i＝1,2关于小圆S₁的极线记为H_i，根据根据圆的共轭直径的性质，H_i⊥L_i+，直线H_i与无穷远直线的交点为

所以无穷远点

为一组正交方向上无穷远点；

用C₁表示大圆S₁的像；用a_i+,a_i-,(i＝1,2)分别表示A_i+,A_i-的像，则{a_i+,a_i-}为一对对拓像点；记过点a_i+(i＝1,2)关于二次曲线C₁的切线为l_i+，过点a_i-关于二次曲线C₁的切线为l_i-，则根据射影变换的性质，直线l_i±为直线L_i±的像，于是通过直线l_i+,l_i-确定大圆S₁所在平面的消失点d_i，即

的像，下标±表示+和-的简写，+表示见到，-表示不见到；消失点d₁和d₂所在的直线为大圆S₁所在平面的消失线l₁，即

的像；消失点d_i关于线像C₁的极线为h_i，即H_i的像，极线h_i与消失线l₁的交点为d'_i，即

的像，{d_i,d'_i}为一组正交消失点。

Images