CN109191528A - 利用球像与圆环点极线的性质标定针孔摄像机的方法 - Google Patents

Abstract

本发明涉及一种利用球像与圆环点极线的性质标定针孔摄像机的方法。由空间中的球作为靶标，用于求解针孔摄像机内参数的方法，其特征在于仅利用球元素。首先，分别从3幅图像中提取靶标图像边缘点的像素坐标，使用最小二乘法拟合获得球像方程。在获得球像方程的基础上，求解球像的渐近线。因为球像的渐近线就是圆环点的像关于球像的极线，从而确定圆环点的像，三幅图像提供三组圆环点的像。最后，利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数。具体的步骤包括：拟合靶标投影方程，估计球像的渐近线，确定圆环点的像，求解针孔摄像机的内参数。

Description

利用球像与圆环点极线的性质标定针孔摄像机的方法

技术领域

本发明属于计算机视觉领域，涉及一种利用空间中球的像与圆环点极线的性质求解针孔摄像机内参数的方法。

背景技术

计算机视觉的中心任务就是对图像进行理解，而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息，而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系，它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程，需要建立摄像机的几何成像模型，几何模型的参数称为摄像机参数，摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性，外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法，都旨在建立二维图像与摄像机内参数之间的约束关系，特别是线性约束关系，这是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

针孔摄像机成像模型简单，几何原理清晰，不需要一些特殊的镜面，在视觉领域中有重要的应用。文献“An algorithm for self-calibration from several views”，(R.Hartley,In Proc.IEEE Conference on Computer Vision and PatternRecognition,pages 908–912,June 1994.)提出了一种针孔摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“Camera calibration by a singleimage of balls:From conics to the absolute conic”，(Teramoto H.and Xu G.,InProc.of 5th ACCV,2002,pp.499–506.)研究了在针孔摄像机下球像和绝对二次曲线的关系，通过最小化重投影误差非线性的标定内参数。而该方法需要一个好的初始化步骤，不然在最小化过程时会得到一个局部最小值。文献“Camera Calibration from Images ofSpheres”,(Hui Zhang and Kwan-Yee K.,IEEE Transactions on Pattern Analysis&Machine Intelligence.2007,29(3):499-502.)研究了球像的对偶和绝对二次曲线的像的关系，并将该关系应用于摄像机的标定。文献“Interpreting Sphere Images Using theDouble-Contact Theorem”,(X.Ying,H.Zha,Springer Berlin Heidelberg,2006,3851(91):724-733.)介绍了双接触原理，利用双接触原理可以确定三个球像与绝对二次曲线的像的关系，使用这个关系建立了针孔摄像机内参数的线性约束，通过此线性约束即可获得针孔摄像机的内参数。

球作为一种常见的几何体，其最重要的优点在于无自身遮挡，从任何一个方向看空间中一个球的封闭轮廓线是一个圆，并且它的投影轮廓线可全部提取。由于球具的视觉几何特性，因此利用球进行摄像机标定已成为近年来的一个研究方向。文献“Cameracalibration:a quick and easy way to determine the scale factor”,(M.A.Penna,IEEE Trans on Pattern Analysis and Machine Intelligence,vol.13,no.12,pp.1240-1245,Dec.1991.)首次提出了利用球像计算，通过在像平面上最小二乘拟合球像估计纵横比，但该方法的误差较大，不能得到精确解。文献“Camera calibration using spheres:Asemi-definite programming approach”，(Agrawal M.and Davis L.S.,In Proc.of IEEEInternational Conf.on Computer Vision,2003,pp.782–789.)研究了球图像的对偶形式与绝对二次曲线投影的对偶之间的代数关系，通过半正定规划算法确定摄像机内参数，但该方法计算复杂，且在边界拟合或椭圆提取不够好的情况下，该方法存在退化的情况。文献“Camera calibration from spheres images”，(Daucher D.,Dhome M.,in Proc.ECCV,1994,pp.449–454.)提出了一种非线性的估计摄像机的内参数的方法，且该方法需要经过多个步骤，首先，利用椭圆的两个主要轴的交点确定主点和纵横比，接下来，根据椭圆的系数方程确定焦距。然而，该方法会造成误差累计且只能估计部分摄像机内参数。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的利用靶标求解针孔摄像机内参数的方法，该靶标由空间中的一个球构成。在求解针孔摄像机内参数的过程中，需使用针孔摄像机拍摄靶标的3幅图像便可线性求解出抛物折反射摄像机的5个内参数。

本发明采用如下技术方案：

本发明是由空间中的球作为靶标，用于求解针孔摄像机内参数的方法，其特征在于仅利用球元素。首先，分别从3幅图像中提取靶标图像边缘点的像素坐标，使用最小二乘法拟合获得球像方程。在获得球像方程的基础上，求解球像的渐近线。因为球像的渐近线就是圆环点的像关于球像的极线，从而确定圆环点的像，三幅图像提供三组圆环点的像。最后，利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数。具体的步骤包括：拟合靶标投影方程，估计球像的渐近线，确定圆环点的像，求解针孔摄像机的内参数。

1.拟合靶标投影方程

利用Matlab程序中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得球像的方程。

2.估计球像的渐近线

空间中的球Q在针孔摄像机下的成像过程等价于平面π与球Q相截所形成的投影圆C₁的成像过程，即在成像平面π′上的球像c与投影圆C₁所成的像射影等价。若令以O_c为光心的摄像机的内参数矩阵为其中r_c是纵横比，f_c是有效焦距，s是倾斜因子，[u₀ v₀ 1]^T是摄像机主点o的齐次坐标矩阵形式，其中r_c,f_c,u₀,v₀,s为摄像机的5个内参数。利用Matlab中的Edge函数提取3幅图像靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用c_n表示第n(n＝1,2,3)幅图像中的球像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。

根据圆环点的定义，投影圆C₁与该平面π上的无穷远直线L_1∞的交点是圆环点I₁,J₁，用L_I1,L_J1分别表示圆环点I₁,J₁关于投影圆C₁的极线。由配极原则可知，L_I1,L_J1相交于投影圆C₁的圆心O₁。根据渐近线的定义，L_I1,L_J1也是投影圆C₁的渐近线。

在像平面π′上，若用c₁表示投影圆C₁的像，m_I1,m_J1分别表示I₁,J₁的像，而影消线l_1∞是平面π上的无穷远直线L_1∞的像。l_I1,l_J1分别是m_I1,m_J1关于球像c₁的极线，且相交于圆心O₁的像o₁，则根据渐近线的定义可知，l_I1,l_J1也是球像c₁的渐近线。因为渐近线l_I1,l_J1是两条自共轭直径，则渐近线l_I1,l_J1的系数k₁ ⁺,k₁ ^-可由方程a₁₁+2a₁₂k₁+a₂₂k₁ ²＝0的两个根确定，a₁₁表示系数矩阵c₁的第1行第1列，a₁₂表示系数矩阵c₁的第1行第2列，a₂₂表示系数矩阵c₁的第2行第2列。从而可以确定两条渐近线l_I1,l_J1分别为：

(a₁₁x₁+a₁₂x₂+a₁₂x₃)+k₁ ⁺(a₂₁x₁+a₂₂x₂+a₂₃x₃)＝0，

(a₁₁x₁+a₁₂x₂+a₁₂x₃)+k₁ ^-(a₂₁x₁+a₂₂x₂+a₂₃x₃)＝0。

3.确定圆环点的像

已知球像c₁上的渐近线l_I1,l_J1，又因为渐近线l_I1,l_J1是圆环点的像m_I1,m_J1关于球像c₁的极线，则圆环点的像m_I1,m_J1分别由关系式m_I1＝c₁ ^-1l_I1,m_J1＝c₁ ^-1l_J1确定。

4.求解针孔摄像机的内参数

由圆环点的像m_Ii,m_Ji(i＝1,2,3)对绝对二次曲线的像ω的线性约束获得ω，即：其中Re,Im分别表示复数的实部和虚部。最后，根据对ω进行Cholesky分解再求逆便得到内参数矩阵K_c，即获得摄像机5个内参数。

本发明优点：

(1)该靶标制作简单，只需任意找一个球。

(2)对该靶标的物理尺度没有要求，无需知道球心在世界坐标系下的坐标。

(3)该靶标的图像边界点几乎可以全部提取，这样可以提高曲线拟合的精确度，从而提高标定精度。

附图说明

图1是用于求解针孔摄像机内参数的靶标示意图。

具体实施方式

本发明提供了一种利用靶标求解针孔摄像机内参数的方法，该靶标是由空间中的球构成的，如图1。用此靶标完成针孔摄像机内参数的求解需要经过以下步骤：从图像中提取靶标图像边缘点，使用最小二乘法拟合获得球像。根据球像的渐近线性质获得球像的渐近线的系数，从而估计球像的渐近线。在获得球像渐近线的基础上，根据球像渐近线是圆环点的像关于球像的极线，从而确定该平面上圆环点的像。利用圆环点的像对摄像机内参数的约束求解摄像机内参数。具体的步骤包括：拟合靶标投影方程，估计球像的渐近线，确定圆环点的像，求解针孔摄像机的内参数。利用本发明中的方法对针孔摄像机进行标定，具体步骤如下：

1.拟合靶标投影方程

利用Matlab程序中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得球像的方程。

2.估计球像的渐近线

以摄像机中心O_c建立摄像机坐标系O_c-x_cy_cz_c，成像面与光轴z_c轴垂直，成像平面上的坐标轴分别与x_c,y_c轴平行。空间中球Q(如图1)，在针孔摄像机的投影中，等价于平面π与球Q相截所形成的投影圆C₁的成像过程，即在成像平面π′上的球像c₁与投影圆C₁所成的像射影等价，如图1所示。用Matlab中的Edge函数提取不同位置3幅图像中的靶标图像边缘点的像素坐标，通过最小二乘法拟合得到对应的二次曲线方程，这里用c_n表示第n(n＝1,2,3)幅图像中的球像的系数矩阵，图1中，n＝1为例。根据圆环点的定义，投影圆C₁与该平面π上的无穷远直线L_1∞的交点是圆环点I₁,J₁，用L_I1,L_J1分别表示圆环点I₁,J₁关于投影圆C₁的极线。由配极原则可知，L_I1,L_J1相交于投影圆C₁的圆心O₁。根据渐近线的定义，L_I1,L_J1也是投影圆C₁的渐近线。

如图1所示，在成像平面π′上，若用c₁表示投影圆C₁的像，m_I1,m_J1分别表示I₁,J₁的像，而影消线l_1∞是平面π上无穷远直线L_1∞的像，l_I1,l_J1分别是m_I1,m_J1关于球像c₁的极线，且相交于圆心O₁的像o₁。根据渐近线的定义，l_I1,l_J1也是球像c₁的渐近线。设球像的系数矩阵为m_I1,m_J1的齐次坐标矩阵分别为[a+bi c+di 0]^T，[a-bi c-di 0]^T，其中a,b,c,d是系数，i表示复数，则l_I1,l_J1的齐次线坐标分别为：

l_I1＝[a₁₁(a+bi)+a₁₂(c+di)a₁₂(a+bi)+a₂₂(c+di)a₁₃(a+bi)+a₂₃(c+di)]^T， (1)

l_J1＝[a₁₁(a-bi)+a₁₂(c-di)a₁₂(a-bi)+a₂₂(c-di)a₁₃(a-bi)+a₂₃(c-di)]^T。 (2)

因为a+bi≠0,a-bi≠0，则l_I1,l_J1的齐次线坐标可以简化为：

l_I1＝[a₁₁+k₁ ⁺a₁₂a₁₂+k₁ ⁺a₂₂a₁₃+k₁ ⁺a₂₃]^T， (3)

l_J1＝[a₁₁+k₁ ^-a₁₂a₁₂+k₁ ^-a₂₂a₁₃+k₁ ^-a₂₃]^T。 (4)

因为渐近线l_I1,l_J1是两条自共轭直径，则渐近线l_I1,l_J1的系数k₁ ⁺,k₁ ^-可由方程a₁₁+2a₁₂k₁+a₂₂k₁ ²＝0的两个根确定，a₁₁表示系数矩阵c₁的第1行第1列，a₁₂表示系数矩阵c₁的第1行第2列，a₂₂表示系数矩阵c₁的第2行第2列。由(5)，(6)可知l_I1,l_J1与影消线l_1∞的交点分别为n_I1＝[a₁₂+a₂₂k₁ ⁺-(a₁₁+a₁₂k₁ ⁺)0]^T，n_J1＝[a₁₂+a₂₂k₁ ^--(a₁₁+a₁₂k₁ ^-)0]^T。因为l_I1,l_J1是两条直径，则根据共轭直径的定义可知，n_I1,n_J1关于球像c₁的极线分别是l_I1,l_J1的共轭直径，则的齐次线坐标分别表示为：

因为a₁₂+a₂₂k₁ ⁺≠0,a₁₂+a₂₂k₁ ^-≠0，则的齐次线坐标可以简化为：

其中即有：

因为渐近线l_I,l_J是两条自共轭直径，则由式(9)，(10)可知即有：

a₁₁+2a₁₂k₁ ⁺+a₂₂k₁ ⁺²＝0， (11)

a₁₁+2a₁₂k₁ ^-+a₂₂k₁ ^-2＝0。 (12)

联立(11)，(12)可得方程：

a₁₁+2a₁₂k₁+a₂₂k₁ ²＝0。 (13)

通过求解方程(13)可以得到未知数k₁的2个解，分别是k₁ ⁺,k₁ ^-，再分别带入(3)，(4)即可估计球像的渐近线l_I1,l_J1。对于其他两幅球像c₂,c₃的渐近线l_I2,l_J2，l_I3,l_J3可用类似的方法获得。

3.确定圆环点的像

已知球像c₁的渐近线l_I1,l_J1，且l_I1,l_J1又是圆环点的像m_I1,m_J1关于球像c₁的极线，则可得两个方程，一个是：

m_I1＝c₁ ^-1·l_I1， (14)

另一个是：

m_J1＝c₁ ^-1·l_J1， (15)

理论上，方程(14)得到的解是[a+bi c+di 1]^T，方程(15)得到的解为[a-bi c-di1]^T。但是由于噪声的影响，它们不能得到理想的解。若记方程(14)的解为[a₁+b₁i c₁+d₁i 1]^T，方程(15)的解为[a₂-b₂i c₂-d₂i 1]^T。取方程(14)和方程(15)解的系数平均值作为圆环点的像m_I1,m_J1的系数，则有：

于是我们可以得到投影圆C₁所在平面π上的圆环点的像m_I1,m_J1。对于球像c₂,c₃上的圆环点的像m_I2,m_J2，m_I3,m_J3可用类似的方法获得。

4.求解摄像机的内参数

3幅球像c₁,c₂,c₃可以估计3组圆环点的像分别是m_I1,m_J1,m_I2,m_J2,m_I3,m_J3。其次，由圆环点的像对绝对二次曲线的像ω的线性约束有

其中Re,Im分别表示复数的实部和虚部。因为可通过SVD方法求解方程组(17)获得ω。最后，对ω进行Cholesky分解再求逆便可获得K_c，即获得了针孔摄像机的内参数。

实施例

本发明提出了一种利用空间的球作为靶标线性确定针孔摄像机内参数的方法。本发明采用的实验模板结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中球的针孔摄像机标定采用的实验模板是空间中的球，如图1所示，球记为Q。利用本发明中的方法对用于实验的针孔摄像机进行标定，具体步骤如下：

1.拟合图像边界及靶标曲线方程

本发明采用的图像大小为1038×1048。用针孔摄像机拍摄靶标的3幅实验图像，读入图像，利用Matlab中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得球像的方程。3幅球像的方程的系数矩阵分别为c_n(n＝1,2,3)，结果如下：

2.估计球像的渐近线

将(18)带入(13)可以得到球像c₁的渐近线l_I1,l_J1的系数k₁ ⁺,k₁ ^-：

k₁ ⁺＝-0.07353532143822101+0.7669829746466186i， (21)

k₁ ^-＝-0.07353532143822101-0.7669829746466186i。 (22)

将(21)(22)带入(3)(4)，从而可以估计球像c₁的渐近线l_I1,l_J1的齐次线坐标矩阵为：

l_I1＝[0.0000038702964-0.0000014424204i 0.0000028469205i 0.00041932875+0.0019575667i]^T， (23)

l_J1＝[0.0000038702964+0.0000014424204i -0.0000028469205i0.00041932875-0.0019575667i]^T。 (24)

将(19)带入(13)可以得到球像c₂的渐近线l_I2,l_J2的系数k₂ ⁺,k₂ ^-:

k₂ ⁺＝-0.4876500727694882+1.291764190363304i， (25)

k₂ ^-＝-0.4876500727694882-1.291764190363304i。 (26)

将(25)(26)带入(3)(4)，从而可以估计球像c₂的渐近线l_I2,l_J2的齐次线坐标矩阵为：

l_I2＝[0.0000015565207+0.00000058759751i 0.0000012049573i 0.0012029916+0.00036200215i]^T， (27)

l_J2＝[0.0000015565207-0.00000058759751i -0.0000012049573i -0.0012029916-0.00036200215i]^T。 (28)

将(20)带入(13)可以得到球像c₃的渐近线l_I3,l_J3的系数k₃ ⁺,k₃ ^-:

k₃ ⁺＝0.2846795742960301+1.423487135065687i， (29)

k₃ ^-＝0.2846795742960301-1.423487135065687i。 (30)

将(29)(30)带入(3)(4)，从而可以估计球像c₃的渐近线l_I3,l_J3的齐次线坐标矩阵为：

l_I3＝[0.000000011406605+0.000000079789525i 0.000000081403311i0.00013517672-0.000036705528i]^T， (31)

l_J3＝[0.000000011406605-0.000000079789525i -0.000000081403311i -0.00013517672+0.000036705528i]^T。 (32)

3.确定圆环点的像

因为球像c₁的渐近线l_I1,l_J1也是球像c₁上的圆环点的像m_I1,m_J1关于球像c₁的极线，则将(23)，(24)分别带入(14),(15)，(16)可以得到圆环点的像：

m_I1＝[527.695121938606-166.795442108540i 192.991976386631-891.70785902448i 1]^T, (33)

m_J1＝[527.695121938606+166.795442108540i 192.991976386631+891.70785902448i 1]^T。 (34)

对于球像c₂,c₃上的圆环点的像m_I2,m_J2,m_I3,m_J3可用类似的方法获得。结果如下：

m_I2＝[204.853787994142-906.039211522098i 753.188315416263-245.983227004822i 1]^T， (35)

m_J2＝[204.853787994142+906.039211522098i 753.188315416263+245.983227004822i 1]^T； (36)

m_I3＝[1180.870793297831-149.599974144766i 119.1176854394908-1287.910095699294i 1]^T， (37)

m_J3＝[1180.870793297831+149.599974144766i 119.1176854394908+1287.910095699294i 1]^T。 (38)

4.求解针孔摄像机的内参数

将(33-38)代入(17)得到ω中元素的线性方程组，使用SVD分解求解该线性方程组得到ω的系数矩阵。结果如下：

最后，对(39)中的ω进行Cholesky分解再求逆便可获得K_c，结果如下：

其中纵横比r_c＝K_c(1，1)/K_c(2,2)(K_c(1,1)表示矩阵K_c的第1行第1列的元素，K_c(2,2)表示矩阵K_c的第2行第2列的元素)，故抛物折反射摄像机的5个内参数分别为：r_c＝0.909090909090834，f_c＝880.0000000000440，s＝0.400000000004925，u₀＝320.0000000000169，v₀＝240.0000000000478。

Claims (1)

1.一种利用球像与圆环点极线的性质标定针孔摄像机的方法，其特征在于由空间中的球作为靶标；所述方法的具体步骤包括：首先，分别从3幅图像中提取靶标图像边缘点的像素坐标，使用最小二乘法拟合获得球像方程；在获得球像方程的基础上，求解球像的渐近线；因为球像的渐近线就是圆环点的像关于球像的极线，从而确定圆环点的像，三幅图像提供三组圆环点的像；最后，利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数；具体的步骤包括：拟合靶标投影方程，估计球像的渐近线，确定圆环点的像，求解针孔摄像机的内参数；

(1)估计球像的渐近线

空间中的球Q在针孔摄像机下的成像过程等价于平面π与球Q相截所形成的投影圆C₁的成像过程，即在成像平面π′上的球像c与投影圆C₁所成的像射影等价；若令以O_c为光心的摄像机的内参数矩阵为其中r_c是纵横比，f_c是有效焦距，s是倾斜因子，[u₀ v₀ 1]^T是摄像机主点o的齐次坐标矩阵形式，其中r_c,f_c,u₀,v₀,s为摄像机的5个内参数；利用Matlab中的Edge函数提取3幅图像靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程；这里用c_n表示第n，其中n＝1,2,3，幅图像中的球像的系数矩阵；本文为了简化表述，用相同字母表示曲线和它的系数矩阵；

根据圆环点的定义，投影圆C₁与该平面π上的无穷远直线L_1∞的交点是圆环点I₁,J₁，用L_I1,L_J1分别表示圆环点I₁,J₁关于投影圆C₁的极线；由配极原则知，L_I1,L_J1相交于投影圆C₁的圆心O₁；根据渐近线的定义，L_I1,L_J1也是投影圆C₁的渐近线；

在像平面π′上，若用c₁表示投影圆C₁的像，m_I1,m_J1分别表示I₁,J₁的像，而影消线l_1∞是平面π上的无穷远直线L_1∞的像；l_I1,l_J1分别是m_I1,m_J1关于球像c₁的极线，且相交于圆心O₁的像o₁，则根据渐近线的定义知，l_I1,l_J1也是球像c₁的渐近线；因为渐近线l_I1,l_J1是两条自共轭直径，则渐近线l_I1,l_J1的系数k₁ ⁺,k₁ ^-由方程a₁₁+2a₁₂k₁+a₂₂k₁ ²＝0的两个根确定，a₁₁表示系数矩阵c₁的第1行第1列，a₁₂表示系数矩阵c₁的第1行第2列，a₂₂表示系数矩阵c₁的第2行第2列；从而以确定两条渐近线l_I1,l_J1分别为：

(a₁₁x₁+a₁₂x₂+a₁₂x₃)+k₁ ⁺(a₂₁x₁+a₂₂x₂+a₂₃x₃)＝0，

(a₁₁x₁+a₁₂x₂+a₁₂x₃)+k₁ ^-(a₂₁x₁+a₂₂x₂+a₂₃x₃)＝0；

(2)确定圆环点的像

已知球像c₁上的渐近线l_I1,l_J1，又因为渐近线l_I1,l_J1是圆环点的像m_I1,m_J1关于球像c₁的极线，则圆环点的像m_I1,m_J1分别由关系式m_I1＝c₁ ^-1l_I1,m_J1＝c₁ ^-1l_J1确定。