CN109035344A - 利用空间中球像及帕斯卡定理标定针孔摄像机的方法 - Google Patents

Abstract

本发明是利用空间中球像及帕斯卡定理标定针孔摄像机的方法。首先，分别从3幅图像中提取靶标图像边缘点，使用最小二乘法拟合获得球像方程。在获得球像方程的基础上，在球像上任取三个点，根据帕斯卡定理及其推论获得关于圆环点的像的非线性方程，同时圆环点的像也位于球像上，从而联立方程获得关于圆环点的像的非线性方程组。然后，利用牛顿迭代法求解方程组从而获得圆环点的像，三幅图像提供三组圆环点的像。最后，利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数。具体的步骤包括：拟合靶标投影方程，得到关于圆环点的像的方程组，确定圆环点的像，求解针孔摄像机内参数。

Description

利用空间中球像及帕斯卡定理标定针孔摄像机的方法

技术领域

本发明属于计算机视觉领域，涉及一种利用空间中球像及帕斯卡定理求解针孔摄像机内参数的方法。

背景技术

计算机视觉的中心任务就是对图像进行理解，而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息，而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系，它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程，需要建立摄像机的几何成像模型，几何模型的参数称为摄像机参数，摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性，外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法，都旨在建立二维图像与摄像机内参数之间的约束关系，特别是线性约束关系，这是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

针孔摄像机成像模型简单，制作方便，不需要一些特殊的镜面，是全景视觉领域研究的热点之一。文献“An algorithm for self-calibration from several views”，(R.Hartley.,In Proc.IEEE Conference on Computer Vision and PatternRecognition,pages 908–912,June 1994.)提出了一种针孔摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“A new easy camera calibrationtechnique based on circular points”，(X.Meng,Z.Hu,Pattern Recognition,2003,36(5):1155-1164.)提出在针孔摄像机下以一个圆以及过圆心的若干支线作为标定模板，该方法的优点是可以线性求解得到影消点，但是不能直接得到圆环点的像，并且还会有多余的直线，从而产生更大的误差。“Camera calibration from the quasi-affineinvariance of two parallel circles”，(Y.Wu,H.Zhu,Z.Hu,et al.，Computer Vision-ECCV 2004.Springer Berlin Heidelberg,2004:190-202.)提出了利用平行圆的类仿射不变性标定针孔摄像机，求解两个圆的交点进而得到圆环点的像，进而求解内参数。但是在获得圆环点的像时，需要分析不同的情况判断。

球作为一种常见的几何体，其最重要的优点在于从任何一个方向看空间中一个球的封闭轮廓线总是一个圆，并且无需知道标定的球和摄像机的位置关系，只利用球像就可标定摄像机。“Camera Calibration from Images of Spheres”,(H.Zhang,K.Kwan-Yee,IEEE Transactions on Pattern Analysis&Machine Intelligence.2007,29(3):499-502.)研究了球像的对偶和绝对二次曲线的像的关系，并将此关系应用于摄像机的标定。文献“Camera Calibration Based on the Common Self-polar Triangle of SphereImages”，(H.Huang,H.Zhang,Y.Cheung,Computer Vision--ACCV 2014，pp:19-29.)提出了定位两个球像之间的公共自极三角形，从而得到圆环点的像，进而求得内参数。文献“Interpreting Sphere Images Using the Double-Contact Theorem”,(X.Ying,H.Zha,Springer Berlin Heidelberg,2006,3851(91):724-733.)介绍了双接触原理，利用双接触原理可以确定三个球像与绝对二次曲线的像的关系，使用这个关系建立了关于内参数的线性约束，通过此线性约束即可获得内参数。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的用于求解针孔摄像机内参数的靶标，该靶标由空间中的一个球构成。在求解针孔摄像机内参数的过程中，需使用针孔摄像机拍摄靶标的3幅图像便可线性求解出针孔摄像机的5个内参数。

本发明采用如下技术方案：

用针孔摄像机从不同的位置拍摄3幅含有一个球的图像。本发明是利用空间中一个球作为靶标用于求解针孔摄像机内参数的方法。首先，分别从3幅图像中提取靶标图像边缘点，使用最小二乘法拟合获得球像方程。在获得球像方程的基础上，在球像上任取三个点，根据帕斯卡定理及其推论获得关于圆环点的像的非线性方程，同时圆环点的像也位于球像上，从而联立方程获得关于圆环点的像的非线性方程组。然后，利用牛顿迭代法求解方程组从而获得圆环点的像，三幅图像提供三组圆环点的像。最后，利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数。具体的步骤包括：拟合靶标投影方程，得到关于圆环点的像的方程组，确定圆环点的像，求解针孔摄像机内参数。

1.拟合靶标投影方程

利用Matlab程序中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得靶标投影方程。

2.得到关于圆环点的像的方程组

空间中的球Q在针孔摄像机下的成像过程等价于过摄像机光心为顶点的射线锥与球Q表面相切的成像过程，其中与球Q相切形成圆C₁，即包含其所在的平面为π与球Q相截，并且在像平面π′上的球像c与投影圆C₁所成的像是射影等价。若令以O_c为光心的摄像机的内参数矩阵为其中r_c是纵横比，f_c是有效焦距，s是倾斜因子，[u₀ v₀ 1]^T是摄像机主点o₁的齐次坐标矩阵形式，其中r_c,f_c,u₀,v₀,s为摄像机的5个内参数。根据3幅靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用c_n分别表示第n(n＝1,2,3)幅图像中的球像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。

根据圆环点的定义，投影圆C₁与该平面π上的无穷远直线L_1∞的交点是圆环点I₁,J₁，即圆环点I₁,J₁也是投影圆C₁上的点。对于任意一个内接于非退化的二阶曲线的简单六点形，它的三对对边的交点在一条直线上，这条直线称为帕斯卡线。则取圆环点中的一个和其它五个点组成的简单六点形内接于投影圆C₁也满足帕斯卡定理。将四点形看成六点形中有两对相邻顶点重合的情形，由投影圆上任意三个点与圆环点的其中的一个组成的简单四点形，一对对边的交点与另一对对边中每一条与其对顶点的切线的交点，三点共线。

在像平面π′上，若用c₁表示投影圆C₁的像，m_I1,m_J1分别表示I₁,J₁的像，而影消线l_1∞是平面π上的无穷远直线L_1∞的像。在c₁上任取三个点m_A1,m_B1,m_C1，点m_L1为m_A1和m_I1所成直线和与m_B1和m_C1所成直线的交点，点m_M1为m_A1和m_B1所成直线与m_C1的极线的交点，点m_N1为m_B1的极线与m_C1和m_I1所成直线的交点。因为m_L1,m_M1,m_N1三点共线，所以有det(m_L1,m_M1,m_N1)＝0，其中det(.)表示行列式。又m_I1在c₁上，故有m_I1 ^Tc₁m_I1＝0。从而得到关于圆环点的像m_I1,m_J1的方程组。

3.确定圆环点的像

利用牛顿迭代法求解关于圆环点的像的非线性方程组，从而得到圆环点的像。

4.求解针孔摄像机内参数

由圆环点的像m_Ii,m_Ji(i＝1,2,3)对绝对二次曲线的像ω的线性约束获得ω，即：其中Re,Im分别表示复数的实部和虚部。

最后，根据对ω进行Cholesky分解再求逆便得到内参数矩阵K_c，即获得摄像机5个内参数。

本发明优点：

(1)该靶标制作简单，只需任意找一个球。

(2)对该靶标的物理尺度没有要求，无需知道球心在世界坐标系下的坐标。

(3)该靶标的图像边界点几乎可以全部提取，提高曲线拟合的精确度，从而提高标定精度。

附图说明

图1是用于求解针孔摄像机内参数的靶标示意图。

图2是靶标在图像平面上的投影。

具体实施方式

本发明提供了一种用于求解针孔摄像机内参数的靶标，它是由空间中的球构成的，如图1。用此新型靶标完成针孔摄像机内参数的求解需要经过以下步骤：从图像中提取靶标图像边缘点，使用最小二乘法拟合获得球像方程。在球像上任取三个点，根据帕斯卡定理及其推论得到两个关于圆环点的像的方程。又由圆环点的像位于球像上得到另外两个方程，联立方程组利用牛顿迭代法求解圆环点的像。从3个不同的方位拍摄球的图片，得到三组圆环点的像。利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数。利用本发明中的方法对实验的针孔摄像机进行标定，具体步骤如下：

1.拟合靶标投影方程

利用Matlab程序中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得靶标投影方程。

2.得到关于圆环点的像的方程组

空间中的球Q(如图1)在针孔摄像机下的成像过程等价于过摄像机中心O_c为顶点的射线锥与球Q表面相切的成像过程，其中与球Q相切形成圆C₁，即包含其所在的平面为π与球相截形成，并且在像平面π′上的球像c与投影圆C₁所成的像是射影等价。如图1所示，其中光轴与z_c轴重合，x_c,y_c轴分别与成像平面的水平和垂直的两个轴平行建立坐标系O_c-x_cy_cz_c。用Matlab中的Edge函数提取3幅图像中的靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程，这里用c_n表示第n(n＝1,2,3)幅图像中的球像的系数矩阵。

根据圆环点的定义，投影圆C₁与该平面π上的无穷远直线L_1∞的交点是圆环点I₁,J₁。对于任意一个内接于非退化的二阶曲线的简单六点形，它的三对对边的交点在一条直线上，这条直线称为帕斯卡线。则由圆环点I₁,J₁中一个I₁或J₁和圆上其他五个点组成的简单六点形内接于投影圆C₁也满足帕斯卡定理。或将四点形看成六点形中有两对相邻顶点重合的情形，由投影圆上任意三个点与圆环点I₁,J₁中的一个I₁或J₁组成的简单四点形，一对对边的交点与另一对对边中每一条与其对顶点的切线的交点，三点共线。

如图1所示，设m_I1,m_J1的齐次坐标分别为[a₁+b₁i d₁+e₁i 1]^T，[a₁-b₁i d₁-e₁i 1]^T。c₁上任取三个点为m_A1,m_B1,m_C1(图2)，点m_L1为m_A1和m_I1所成直线和与m_B1和m_C1所成直线的交点，点m_M1为m_A1和m_B1所成直线与m_C1的极线的交点，点m_N1为m_B1的极线与m_C1和m_I1所成直线的交点，见图2。则有

(m_A1×m_I1)×(m_B1×m_C1)＝m_L1， (1)

(m_A1×m_B1)×(c₁·m_C1)＝m_M1， (2)

(c₁·m_B1)×(m_C1×m_I1)＝m_N1。 (3)

因为m_L1,m_M1,m_N1三点共线，由(1)、(2)和(3)式有

det(m_L1,m_M1,m_N1)＝0， (4)

det(.)表示行列式。又圆环点的像m_I1一定在二次曲线c₁上，因此有

m_I1 ^Tc₁m_I1＝0。 (5)

又m_I1是复点，则有

对于其他两幅球像c₂,c₃的关于圆环点的像的方程组可用类似的方法获得。

3.确定圆环点的像

方程组(6)是以a₁,b₁,d₁,e₁为未知数的非线性方程组，利用牛顿迭代法求解方程组(6)，解得a₁,b₁,d₁,e₁的值，从而得到圆环点的像。对于球像c₂,c₃上的圆环点的像m_I2,m_J2，m_I3,m_J3可用类似的方法获得。

4.求解针孔摄像机内参数

由圆环点的像对绝对二次曲线的像的线性约束有：

可用最小二乘法优化求解(7)获得ω，最后对进行Cholesky分解得再求逆便得到内参数矩阵K_c，即获得摄像机5个内参数。

实施例

本发明提出了一种利用空间的球作为靶标线性确定针孔摄像机内参数的方法。本发明采用的实验模板结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中球的针孔摄像机标定采用的实验模板是空间中的球，如图1所示，球记为Q。利用本发明中的方法对用于实验的针孔摄像机进行标定，具体步骤如下：

1.拟合图像边界及靶标曲线方程

本发明采用的图像大小为1038×1048。用针孔摄像机拍摄靶标的3幅实验图像，读入图像，利用Matlab中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得球像的方程。3幅球像的方程的系数矩阵分别为c_n(n＝1,2,3)，结果如下：

2.圆环点像的获取

设圆环点的像m_I1＝[a₁+b₁i d₁+e₁i 1]^T，任意在球像c₁上取三个点分别为：

m_A1＝[648.5108229913434 732.2360997048024 1]^T， (11)

m_B1＝[651.6842715267857 732.1701299520124 1]^T， (12)

m_C1＝[636.1816917528590 727.8628777608943 1]^T。 (13)

对于球像c₂,c₃上也任取三个点分别为m_A2,m_B2,m_C2和m_A3,m_B3,m_C3，结果如下：

m_A2＝[613.6230100480184 665.2829874445308 1]^T， (14)

m_B2＝[609.5777393651177 701.4401699070334 1]^T， (15)

m_C2＝[597.1566602224018 688.3718578539200 1]^T； (16)

m_A3＝[636.4231793237425 715.4209885107536 1]^T， (17)

m_B3＝[672.1727960994292 788.8306484587146 1]^T， (18)

m_C3＝[642.0287602310584 767.6155913218715 1]^T； (19)

将(8)、(11)、(12)和(13)代入(1)、(2)和(3)可得m_L1,m_M1,m_N1，结果如下，“*”表示乘积：

对于球像c₂,c₃上的m_L2,m_N2,m_M2和m_L3,m_N3,m_M3可用类似的方法得到，结果如下：

将(20)、(21)和(22)代入(4)，可获得关于a₁,b₁,c₁,d₁的方程，分离实部和虚部可获得两个方程。将(8)带入(5)分离实部和虚部也可获得两个方程。联立以上四个方程，利用牛顿迭代法求解该方程组可得圆环点的像，结果如下：

对于球像c₂,c₃上的圆环点的像m_I2,m_J2，m_I3,m_J3可用以上类似的方法获得，结果如下：

4.求解针孔摄像机内参数

将(29)、(31)和(33)代入(7)得到ω中元素的线性方程组，使用SVD分解求解该线性方程组得到ω的系数矩阵。结果如下：

最后，根据对(35)中的ω进行Cholesky分解再求逆便可获得K_c，结果如下：

其中纵横比r_c＝K_c(1，1)/K_c(2,2)(K_c(1,1)表示矩阵K_c的第1行第1列的元素，K_c(2,2)表示矩阵K_c的第2行第2列的元素)，故针孔摄像机的5个内参数分别为：r_c＝0.8333333328620786，f_c＝600.0000000505424，s＝0.0000000469922，u₀＝400.0000001070224，v₀＝299.99999997527。

Claims (1)

1.一种利用空间中球像及帕斯卡定理标定针孔摄像机的方法，其特征在于由空间中的单个球作为靶标；所述方法的具体步骤包括：首先，分别从3幅图像中提取靶标图像边缘点的像素坐标，使用最小二乘法拟合获得球像方程；在获得球像方程的基础上，在球像上任取三个点，根据帕斯卡定理及其推论获得关于圆环点的像的非线性方程，同时圆环点的像也位于球像上，从而联立方程获得关于圆环点的像的非线性方程组；然后，利用牛顿迭代法求解方程组从而获得圆环点的像，三幅图像提供三组圆环点的像；最后，利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数；

(1)得到关于圆环点的像的方程组

空间中的球Q在针孔摄像机下的成像过程等价于过摄像机光心为顶点的射线锥与球Q表面相切的成像过程，其中与球Q相切形成圆C₁，即包含其所在的平面为π与球Q相截，并且在像平面π′上的球像c与投影圆C₁所成的像是射影等价；若令以O_c为光心的摄像机的内参数矩阵为其中r_c是纵横比，f_c是有效焦距，s是倾斜因子，[u₀ v₀ 1]^T是摄像机主点o₁的齐次坐标矩阵形式，其中r_c,f_c,u₀,v₀,s为摄像机的5个内参数；根据3幅靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程；这里用c_n分别表示第n(n＝1,2,3)幅图像中的球像的系数矩阵；本文为了简化表述，用相同字母表示曲线和它的系数矩阵；

根据圆环点的定义，投影圆C₁与该平面π上的无穷远直线L_1∞的交点是圆环点I₁,J₁，即圆环点I₁,J₁也是投影圆C₁上的点；对于任意一个内接于非退化的二阶曲线的简单六点形，它的三对对边的交点在一条直线上，这条直线称为帕斯卡线；则取圆环点中的一个和其它五个点组成的简单六点形内接于投影圆C₁也满足帕斯卡定理；将四点形看成六点形中有两对相邻顶点重合的情形，由投影圆上任意三个点与圆环点的其中的一个组成的简单四点形，一对对边的交点与另一对对边中每一条与其对顶点的切线的交点，三点共线；

在像平面π′上，若用c₁表示投影圆C₁的像，m_I1,m_J1分别表示I₁,J₁的像，而影消线l_1∞是平面π上的无穷远直线L_1∞的像；在c₁上任取三个点m_A1,m_B1,m_C1，点m_L1为m_A1和m_I1所成直线和与m_B1和m_C1所成直线的交点，点m_M1为m_A1和m_B1所成直线与m_C1的极线的交点，点m_N1为m_B1的极线与m_C1和m_I1所成直线的交点；因为m_L1,m_M1,m_N1三点共线，所以有det(m_L1,m_M1,m_N1)＝0，其中det(.)表示行列式；又m_I1在c₁上，故有m_I1 ^Tc₁m_I1＝0；从而得到关于圆环点的像m_I1,m_J1的方程组；

(2)确定圆环点的像

利用牛顿迭代法求解关于圆环点的像的非线性方程组，从而得到圆环点的像。