CN113345033B - 一种中心折反射摄像机内参数标定方法及系统 - Google Patents

Abstract

本发明涉及一种中心折反射摄像机内参数标定方法及系统，方法包括：获取不同位置拍摄三幅含有靶标的图像；从三幅图像中分别提取靶标图像边缘点，并采用最小二乘法拟合获得靶标方程；根据靶标方程确定消失线；将消失线上的消失点与镜面轮廓的像相交，获得各图像对应的圆环点的像；根据三幅图像对应的三对圆环点的像与绝对二次曲线的像的关系得到绝对二次曲线的像；对二次曲线的像进行分解及求逆获得内参数矩阵；根据内参数矩阵求解中心折反射摄像机的内参数。本发明公开的方案无需已知镜面参数，只需两个球作为靶标就可以标定中心折反射摄像机的内参数，不仅求解简单，还能够全部提取该靶标的图像边界点，进而提高标定精度。

Description

一种中心折反射摄像机内参数标定方法及系统

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种中心折反射摄像机内参数标定方法及系统。

背景技术

计算机视觉应用于工业、医学、交通、物流等各个方面，而摄像机标定是计算机视觉实现的重要一步。二维图像上的像点是由摄像机的内参数和外参数共同决定的，其中内参数是由摄像机本身决定，外参数是摄像机与世界中物体的相对位置。摄像机标定就是通过建立模型进行计算得到摄像机的参数。摄像机标定是从2D图像到3D重构的桥梁，摄像机标定的精度又是计算机获得准确的外部信息的关键之处。为了扩大成像视野，将传统摄像机与镜面相组合起来，这就是通常所说的折反射摄像机。根据折反射摄像机是否具有固定的单一有效视点将其分为中心和非中心两类。中心折反射摄像机不但具有大的视野角，而且通过它获得的图像容易转化为透视图像，因此有着广泛的应用。

在摄像机标定中，以球作为标定物较为常见。球的几何特征明显，且球像易提取，故球作为标定物在摄像机标定中应用比较广泛。文献“Catadioptric camera calibrationusing geometric invariants”，(X.Ying,Z.Hu，IEEE Transactions on PatternAnalysis and Machine Intelligence，2004,13(12):1260-1271.)分析了摄像机内参数与球像和线像之间的关系，根据直线和球提供的不变量进行标定。但是该方法是非线性的，在优化过程中对内参数初始值的精确性要求很高。

文献“A new linear algorithm for Calibrating central catadioptriccameras”，(F.Wu,F.Duan,Z.Hu,et al，Pattern Recognition,2008,41(10):3166-3172.)提出在中心折反射摄像机下点与其对拓点以及成像后像点与对拓像点的关系进行标定，但需要已知镜面参数。

文献“A calibration method for paracatadioptric camera from sphereimages”，(H.Duan,Y.Wu，Pattern Recognition Letters,2012,33(6):677-684.)利用它们的平行性质求解得到两个圆的四个共轭虚交点，通过拟仿射不变性得到圆环点的像，进而得到内参数，但是需要已知镜面参数才可以利用对拓的性质。

球在单位视球上形成一对对拓小圆，文献“Paracatadioptric cameracalibration using sphere images and common self-polartriangles”，(Y.Zhao,X.Yu,Optical Review,2019,26(1):1–12)提出利用球像的公共自极三角形获得消失点进而获得消失线，求解出圆环点的像，但是需要求解球在单位视球上形成的小圆所在的平面法向量，增加了计算的复杂度且要用到对拓的性质。

文献“Intrinsic parameter determination of a paracatadioptric cameraby the intersection of two sphere projections”，(Y.Zhao,Y.Wang,OpticalSocietyof American Optics Image Science&Vision,2015,32(11):2201-2209.)利用相交双球进行标定，根据对拓像点的性质，可得到球像交点与对拓球像交点互为对拓像点，四个像点获得一组正交消失点。但是相交的双球部分因为遮挡导致球像在像平面上不能被完全提取，影响标定的精确性。

摄像机光心与球在单位视球上形成的小圆形成一个斜圆锥，文献“Identicalprojective geometric properties of central catadioptric line images andsphere images with applications to calibration”，(X.Ying,H.Zha,InternationalJournal of Computer Vision78(2008):89-105.)根据斜圆锥及其成像的关系推导得到修正的绝对二次曲线的像，进而利用双接触定理线性地求解内参数，该方法在椭球面镜和双曲面镜下是适用的，但在抛物面镜下是退化的，运算较复杂且需要已知镜面参数。

发明内容

本发明的目的是提供一种中心折反射摄像机内参数标定方法及系统，以提高标定精度。

为实现上述目的，本发明提供了一种中心折反射摄像机内参数标定方法，所述方法包括：

利用中心折反射摄像机从不同位置拍摄三幅含有靶标的图像；由空间中两个球构成靶标；

从三幅图像中分别提取靶标图像边缘点，并采用最小二乘法拟合获得靶标方程；

根据所述靶标方程确定消失线；

将所述消失线上的消失点与镜面轮廓的像相交，获得各图像对应的圆环点的像；

根据极点极线和共轭直径的关系得到各图像对应的两组正交消失点；

根据三幅图像对应的三对圆环点的像或六组正交消失点与绝对二次曲线的像的关系得到绝对二次曲线的像ω；

根据

对二次曲线的像ω进行Cholesky分解及求逆，获得中心折反射摄像机的内参数矩阵K_c；

根据中心折反射摄像机的内参数矩阵K_c求解中心折反射摄像机的内参数。

可选地，所述根据所述靶标方程确定消失线，具体包括：

由所述靶标方程对(c₀,c₁)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的一个消失点v_1∞；

由所述靶标方程对(c₀,c₂)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的另外一个消失点v_2∞；其中，c₀为正圆锥Q₀的投影像，c₁,c₂分别为斜圆锥Q₁,Q₂的投影像；

根据消失点v_1∞和消失点v_2∞确定消失线。

可选地，所述根据三幅图像对应的三对圆环点的像或六组正交消失点与绝对二次曲线的像的关系得到绝对二次曲线的像ω，具体包括：

采用SVD分解三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系，得到绝对二次曲线的像ω；

采用SVD分解三幅图像对应的六组正交消失点与绝对二次曲线的像的关系，得到绝对二次曲线的像ω。

可选地，所述三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系的具体公式为：

其中，m₁₊为圆环点的像，Re、Im分别表示实部和虚部。

可选地，所述三幅图像对应的六组正交消失点与绝对二次曲线的像的关系的具体公式为：

v_i∞ ^Tωv′_i∞＝0

其中，消失点v′_i∞与消失点v_i∞构成一组正交消失点。

可选地，所述根据消失点v_1∞和消失点v_2∞确定消失线，具体公式为：

λ_ll_1∞＝v_1∞×v_2∞

其中，λ_l表示关于消失线l_1∞的非零比例因子，×表示叉积。

本发明还提供一种中心折反射摄像机内参数标定系统，所述系统包括：

拍摄模块，用于利用中心折反射摄像机从不同位置拍摄三幅含有靶标的图像；由空间中两个球构成靶标；

提取模块，用于从三幅图像中分别提取靶标图像边缘点，并采用最小二乘法拟合获得靶标方程；

消失线确定模块，用于根据所述靶标方程确定消失线；

第一确定模块，用于将所述消失线上的消失点与镜面轮廓的像相交，获得各图像对应的圆环点的像；

正交消失点确定模块，用于根据极点极线和共轭直径的关系得到各图像对应的两组正交消失点；

第二确定模块，用于根据三幅图像对应的三对圆环点的像或六组正交消失点与绝对二次曲线的像的关系得到绝对二次曲线的像ω；

内参数矩阵确定模块，用于根据

对二次曲线的像ω进行Cholesky分解及求逆，获得中心折反射摄像机的内参数矩阵K_c；

内参数确定模块，用于根据中心折反射摄像机的内参数矩阵K_c求解中心折反射摄像机的内参数。

可选地，所述消失线确定模块，具体包括：

第一消失点确定单元，用于由所述靶标方程对(c₀,c₁)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的一个消失点v_1∞；

第二消失点确定单元，用于由所述靶标方程对(c₀,c₂)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的另外一个消失点v_2∞；其中，c₀为正圆锥Q₀的投影像，c₁,c₂分别为斜圆锥Q₁,Q₂的投影像；

消失线确定单元，用于根据消失点v_1∞和消失点v_2∞确定消失线。

可选地，所述第二确定模块，具体包括：

第一分解单元，用于采用SVD分解三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系，得到绝对二次曲线的像ω；

第二分解单元，用于采用SVD分解三幅图像对应的六组正交消失点与绝对二次曲线的像的关系，得到绝对二次曲线的像ω。

可选地，所述三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系的具体公式为：

其中，m₁₊为圆环点的像，Re、Im分别表示实部和虚部。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开一种中心折反射摄像机内参数标定方法及系统，具有以下优点：(1)、该靶标制作简单，只需两个球。(2)、对该靶标的物理尺度没有要求，无需知道球在世界坐标系下的坐标。(3)、该靶标的图像边界点几乎可以全部提取，提高曲线拟合的精确度，从而提高标定精度。(4)、无需已知镜面参数。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明用于求解中心折反射摄像机内参数的靶标在单位视球上的示意图；

图2为本发明靶标在中心折反射图像平面上的投影示意图；

图3为本发明中心折反射摄像机内参数标定方法流程图；

图4为本发明中心折反射摄像机内参数标定系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种中心折反射摄像机内参数标定方法及系统，以提高标定精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

如图3所示，本发明公开一种中心折反射摄像机内参数标定方法，所述方法包括：

步骤S1：利用中心折反射摄像机从不同位置拍摄三幅含有靶标的图像；由空间中两个球构成靶标。

步骤S2：从三幅图像中分别提取靶标图像边缘点，并采用最小二乘法拟合获得靶标方程。

步骤S3：根据所述靶标方程确定消失线。

步骤S4：将所述消失线上的消失点与镜面轮廓的像相交，获得各图像对应的圆环点的像。

步骤S5：根据极点极线和共轭直径的关系得到各图像对应的两组正交消失点。

步骤S6：根据三幅图像对应的三对圆环点的像或六组正交消失点与绝对二次曲线的像的关系得到绝对二次曲线的像ω。

步骤S7：根据

对二次曲线的像ω进行Cholesky分解及求逆，获得中心折反射摄像机的内参数矩阵K_c。

步骤S8：根据中心折反射摄像机的内参数矩阵K_c求解中心折反射摄像机的内参数。

下面对各个步骤进行详细论述：

步骤S2：从三幅图像中分别提取靶标图像边缘点，并采用最小二乘法拟合获得靶标方程；具体的，本发明利用Matlab中的Edge函数提取每幅图像中的靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程(即靶标方程)。

步骤S3：根据所述靶标方程确定消失线。具体的，步骤S31：由所述靶标方程对(c₀,c₁)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的一个消失点v_1∞。由于符号较多，这里以第一幅图像为例。用c₀表示第一幅图像中镜面轮廓的系数矩阵，c₁表示第一幅图像中球S₁的像的系数矩阵，c₂表示第一幅图像中球S₂的像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。

步骤S32：由所述靶标方程对(c₀,c₂)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的另外一个消失点v_2∞。其中，斜圆锥Q₁,Q₂的投影像分别为c₁,c₂，正圆锥Q₀的投影像为c₀。

如图1，球S₁上一点A在中心折反射摄像机下的投影可以分为如下两步：

第一步，以单位视球球心O为投影中心点A在O-x_wy_wz_w坐标系下投影到单位视球上形成点

第二步：以摄像机光心O_c为投影中心，将点A_w投影到像平面π上得到像点a。因此像点a可表示为：

λ_aa＝K[R t]A_w (1)；

其中，R和t分别表示摄像机坐标系与世界坐标系之间的变换关系的旋转矩阵和平移向量，其中λ_a为点A_w投影到像平面的非零比例因子。

设小圆C₁所在支撑平面π₁的单位法向量是[m_x m_y m_z]^T，单位视球球心O到平面π₁的距离为d_m，则在世界坐标系中平面π₁可以被表示为：

m_xX_w+m_yY_w+m_zZ_w+d_m＝0 (2)；

类似的，空间球S₂在单位视球上形成小圆C₂，在像平面上形成球像c₂。设小圆C₂所在支撑平面π₂的单位法向量是[n_x n_y n_z]^T，则在世界坐标系中平面π₂可以被表示为：

n_xX_w+n_yY_w+n_zZ_w+d_n＝0 (3)；

其中，d_n表示单位视球球心O到平面π₂的距离。小圆C₁由单位视球和平面π₁相交得到，设小圆上一点A_w在O-x_wy_wz_w下的齐次坐标为A_w＝[X_w Y_w Z_w 1]^T，则点A_w满足：

如前所述，O-x_wy_wz_w和O_c-x_cy_cz_c之间的旋转矩阵R＝I，其中I为三阶单位阵，平移向量t＝[0 0 ξ]^T，其中ξ为镜面参数，将点A_w在O_c-x_cy_cz_c下的齐次坐标表示为A_c＝[X_c Y_c Z_c1]^T，点A_c的非齐次坐标为

则有：

其中，λ_c表示点A_c从世界坐标系转化到摄像机坐标系下的零比例因子，通过(4)式、(5)式可得小圆C₁和摄像机光心O_c形成的斜锥Q₁在O_c-x_cy_cz_c下可表示为：

类似的，小圆C₂和摄像机光心O_c形成的斜锥Q₂在O_c-x_cy_cz_c下可表示为：

令Q₁中的[m_x m_y m_z]^T＝[0 0 1]^T，d_m＝0，则可得到镜面轮廓C₀与摄像机光心O_c形成的正锥的表达式：

点A_c的非齐次坐标为

则有：

其中，

为：

类似的，

为：

正圆锥Q₀和斜圆锥Q₁的广义特征值分解满足：

Q₀x₁＝λQ₁x₁ (13)；

其中，λ表示(Q₀,Q₁)的广义特征向量，将(6)式，(8)式代入(13)式可得(Q₀,Q₁)的一个广义特征值λ₁＝1/(ξm_z-d_m)²，λ₁对应于广义特征向量V_1∞＝x₁＝[-m_y/m_x 1 0]^T，因为平面π₀和平面π₁的单位法向量分别是[0 0 1]^T和[m_x m_y m_z]^T，则点V_1∞既是平面π₀也是平面π₁上的无穷远点，很容易知点V_1∞是平面π₀和平面π₁的交线方向上的无穷远点。同理，矩阵对(Q₀,Q₂)的一个广义特征向量是平面π₀和平面π₂的交线上的无穷远点V_2∞＝[-n_y/n_x 1 0]^T。

由(1)式知：

其中，

表示点A在摄像机坐标系下的非齐次坐标，λ_a′表示点

投影到像平面的非零比例因子，0＝[0 0 0]^T，将(8)式代入(14)式得：

从(15)式可以得到球S₁的像(即斜锥Q₁的像)为：

其中，λ_c1表示斜锥Q₁投影到像平面的非零比例因子。同理，若球S₂的像(即斜锥Q₂的像)为c₂，镜面轮廓C₀的像(即正锥Q₀的像)为c₀，则有：

其中，λ_c2表示斜锥Q₂投影到像平面的非零比例因子，λ_c0为正锥Q₀投影到像平面的非零比例因子。考虑矩阵对(c₀,c₁)的广义特征向量，其实就等价于矩阵c₁ ^-1c₀的特征向量，由(16)式，(18)式可知：

其中，∝表示相差一个比例因子。

对于矩阵

若存在一个映射从

到

则矩阵

的特征值不变。由(19)式知，二次曲线对(c₀,c₁)和圆锥对(Q₀,Q₁)由矩阵K所关联，即

其中，K表示非奇异矩阵。根据上述讨论可知，正圆锥Q₀和斜圆锥Q₁的广义特征分解是射影不变量。由于圆锥对(Q₀,Q₁)的一个广义特征向量是镜面轮廓C₀所在平面π₀上的无穷远点V_1∞，即矩阵

的一个特征向量是V_1∞。根据射影不变性，则矩阵c₁ ^-1c₀的一个特征向量是无穷远点V_1∞的像v_1∞，v_1∞为平面π₀上的消失点。同理的，二次曲线对(c₀,c₂)的一个广义特征向量是平面π₀上的另一个消失点v_2∞，v_2∞是无穷远点V_2∞的像点。

步骤S33：根据消失点v_1∞和消失点v_2∞确定消失线。

如图2，在像平面上，斜圆锥Q₁,Q₂的投影像分别为c₁,c₂，正圆锥Q₀的投影像为c₀，由前所述，二次曲线对(c₀,c₁)，(c₀,c₂)的一个广义特征向量分别是平面π₀上的消失点v_1∞和v_2∞，消失点v_1∞和v_2∞所对应的广义特征值，其对应的退化二次曲线是由两条实直线组成的，且退化二次曲线的直线对的类型是由奇异矩阵的绝对符号所确定的，若绝对符号≤1，则其对应的退化二次曲线是由实直线组成的，由绝对符号可以确定平面π₀上的消失点v_1∞和v_2∞。

消失线l_1∞可确定：

λ_ll_1∞＝v_1∞×v_2∞ (20)；

其中，λ_l表示关于消失线l_1∞的非零比例因子，×表示叉积。根据射影不变性知，消失线l_1∞是无穷远点V_1∞和V_2∞形成的无穷远直线的投影。

步骤S4：将所述消失线上的消失点与镜面轮廓的像相交，获得各图像对应的圆环点的像；具体的：

圆环点的像m₁₊，m_1-位于c₀上，因此有：

其中，[u v 1]^T为表示图像平面上圆环点的像m₁₊，m_1-的齐次坐标，l_1∞表示消失线，c₀表示正圆锥Q₀的投影像，通过求解(21)式可以得到圆环点的像m₁₊，m_1-。

步骤S5：根据极点极线和共轭直径的关系得到各图像对应的两组正交消失点；将所述靶标方程的一直径与无穷远直线交点的极线称为所述共轭直径；具体的：

C₀的圆心的像(即为主点)p与消失线l_1∞关于c₀具有极点极线关系，如图2所示，即：

λ_ol_1∞＝c₀·p (22)；

其中，λ_o表示关于消失线l_1∞的非零比例因子，·表示点积。如图1所示，由C₀的圆心的像p与消失点v_i∞(i＝1,2)所确定的直线是镜面轮廓圆C₀的直径的像l_i，即：

λ_lil_i＝p×v_i∞ (23)；

其中，λ_li表示关于直径的像l_i的非零比例因子。因为l_i的共轭直径的像l_i′是消失点v_i∞关于镜面轮廓的像c₀的极线，则有：

λ_li′l_i′＝c₀·v_i∞ (24)；

其中，λ_li′表示l_i的共轭直径的像l_i′的非零比例因子。圆的直径与共轭直径是正交的，则它们与平面π₀上的无穷远直线L_1∞的交点是一组正交方向上的无穷远点。根据射影不变性，则消失点v_i∞和消失点v′_i∞是一组正交消失点。v′_i∞表示为：

v′_i∞＝l_1∞×l′_i (25)；

其中，v′_i∞表示与消失点v_i∞构成一组正交消失点的消失点，l_i′表示共轭直径的像，l_1∞表示消失线。

步骤S6：根据三幅图像对应的三对圆环点的像或六组正交消失点与绝对二次曲线的像的关系得到绝对二次曲线的像ω，具体包括：

步骤S61：采用SVD分解三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系，得到绝对二次曲线的像ω。

因为圆环点的像m₁₊，m_1-在绝对二次曲线的像上。故有：

其中，m₁₊，m_1-是一对共轭复点，所以式(26)只提供两个关于ω的线性约束方程：

其中，Re、Im分别表示实部和虚部。三幅图像提供三对圆环点的像，SVD分解(27)式求解得到ω。

步骤S62：采用SVD分解三幅图像对应的六组正交消失点与绝对二次曲线的像的关系，得到绝对二次曲线的像ω。

因为正交消失点与绝对二次曲线的像具有如下关系：

v_i∞ ^Tωv′_i∞＝0 (28)。

三幅图像提供六对正交消失点，SVD分解(28)式求解得到ω。

步骤S7：根据

对二次曲线的像ω进行Cholesky分解及求逆，获得中心折反射摄像机的内参数矩阵K_c；具体的，对

进行Cholesky分解得

再求逆便得到内参数矩阵K_c。

步骤S8：根据中心折反射摄像机的内参数矩阵K_c求解中心折反射摄像机的内参数；具体的，根据

求解中心折反射摄像机的内参数r_c,f_c,u₀,v₀,s，其中，r_c表示纵横比，f_c表示有效焦距，s表示倾斜因子，[u₀ v₀ 1]^T表示摄像机主点p的齐次坐标矩阵形式，u₀表示相对于成像平面的横坐标，v₀表示相对于成像平面的纵坐标。

实施例2

如图4所示，本发明公开一种中心折反射摄像机内参数标定系统，所述系统包括：

拍摄模块401，用于利用中心折反射摄像机从不同位置拍摄三幅含有靶标的图像；由空间中两个球构成靶标。

提取模块402，用于从三幅图像中分别提取靶标图像边缘点，并采用最小二乘法拟合获得靶标方程。

消失线确定模块403，用于根据所述靶标方程确定消失线。

第一确定模块404，用于将所述消失线上的消失点与镜面轮廓的像相交，获得各图像对应的圆环点的像。

正交消失点确定模块405，用于根据极点极线和共轭直径的关系得到各图像对应的两组正交消失点。

第二确定模块406，用于根据三幅图像对应的三对圆环点的像或六组正交消失点与绝对二次曲线的像的关系得到绝对二次曲线的像ω。

内参数矩阵确定模块407，用于根据

对二次曲线的像ω进行Cholesky分解及求逆，获得中心折反射摄像机的内参数矩阵K_c。

内参数确定模块408，用于根据中心折反射摄像机的内参数矩阵K_c求解中心折反射摄像机的内参数。

作为一种可选的实施方式，本发明所述消失线确定模块403，具体包括：

第一消失点确定单元，用于由所述靶标方程对(c₀,c₁)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的一个消失点v_1∞。

第二消失点确定单元，用于由所述靶标方程对(c₀,c₂)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的另外一个消失点v_2∞；其中，c₀为正圆锥Q₀的投影像，c₁,c₂分别为斜圆锥Q₁,Q₂的投影像。

消失线确定单元，用于根据消失点v_1∞和消失点v_2∞确定消失线。

作为一种可选的实施方式，本发明所述第二确定模块406，具体包括：

第一分解单元，用于采用SVD分解三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系，得到绝对二次曲线的像ω。

第二分解单元，用于采用SVD分解三幅图像对应的六组正交消失点与绝对二次曲线的像的关系，得到绝对二次曲线的像ω。

与实施例1相同的推导过程以及公式，在此不再一一赘述。

实施例3

根据正锥与斜锥间的投影性质标定中心折反射摄像机采用的实验模板是空间中的两个球。利用本发明中的方法对中心折反射摄像机进行标定，具体步骤如下：

1.拟合图像边界及靶标曲线方程：

本发明利用中心折反射摄像机拍摄靶标的3幅图像，读入图像。利用Matlab中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得球像的方程(即靶标方程)。这里用c_n0(n＝1,2,3)表示第n幅图像中镜面轮廓的像的系数矩阵，c_n1(n＝1,2,3)表示第n幅图像中第第一个球像的系数矩阵，c_n3(n＝1,2,3)表示第n幅图像中第二个球像的系数矩阵，结果如下：

2.得到消失点

由(29)、(30)、(31)式可得v_11∞,v_12∞，v_n1∞,v_n2∞(n＝1,2,3)表示第n幅图像中的两个消失点的齐次坐标矩阵：

v_11∞＝[-20.7392867567260 280.6305342023679 1]^T (38)；

v_12∞＝[488.5738398025968 491.2555755924159 1]^T (39)；

同理，另外两幅图像中的消失点为：

v_21∞＝[137.0255803286568 240.4844481146550 1]^T (40)；

v_22∞＝[459.4043080003709 752.8266331626387 1]^T (41)；

v_31∞＝[262.2944120567678 -156.6527394095932 1]^T (42)；

v_32∞＝[592.7996224150729 323.2020643805299 1]^T (43)；

3.得到消失线

根据(38)、(39)式可以得第一幅图像中的消失线，l_n∞(n＝1,2,3)表示第n幅图像中的消失线的齐次线坐标矩阵：

l_1∞＝[0.001430425741444 -0.003458389538863 1]^T (44)；

同理，可以得到另外两幅图像的对应的消失线，它们的齐次线坐标矩阵表示：

l_2∞＝[0.070070840955304 -0.044087747284337 1]^T (45)；

l_3∞＝[-0.002701432549309 0.001860940550530 1]^T (46)；

4.获得圆环点的像或正交消失点

根据(29)、(44)式可以得到圆环点的像m₁₊,m_1-，m_n+,m_n-(n＝1,2,3)表示第n幅图像中圆环点的像：

同理，可以得到另外两幅图像的对应的圆环点的像，它们的齐次坐标矩阵为：

根据(44)式求l_1∞的共轭直径并与l_1∞相交即可得到v′_11∞,v′_12∞，v′_n1∞,v′_n2∞(n＝1,2,3)表示第n幅图像中与v_n1∞,v_n2∞(n＝1,2,3)正交的消失点，齐次坐标矩阵为：

v′₁′_1∞＝[2297.043259257030 1239.232816052253 1]^T (53)；

v′_12∞＝[-2344.435764938636 -680.530993076935 1]^T (54)；

同理，另外两幅图像中对应的正交消失点为：

v′_21∞＝[3.833128768959926 6.114863492396411 1]^T (55)；

v′_22∞＝[-6.192895741540597 -9.615855621384492 1]^T (56)；

v′_31∞＝[1.711969674356159 1.947816441908617 1]^T (57)；

v′_32∞＝[-1.340623189421774 -2.483477034743299 1]^T (58)；

5.确定绝对二次曲线的像

对于圆环点的像，将(47)、(48)、(49)、(50)、(51)、(52)式联立可得关于ω的线性方程组，将方程组SVD分解，可解得ω的系数矩阵，结果如下：

对于正交消失点，将(53)、(54)、(55)、(56)、(57)、(58)式联立可得关于ω的线性方程组，将方程组SVD分解，可解得ω的系数矩阵，结果如下：

6.求解中心折反射摄像机内参数

根据

对(59)式中的ω进行Cholesky分解再求逆便可获得K_c，结果如下：

其中，纵横比r_c＝K_c(1，1)/K_c(2,2)(K_c(1,1)表示矩阵K_c的第1行第1列的元素，K_c(2,2)表示矩阵K_c的第2行第2列的元素)，故中心折反射摄像机的5个内参数分别为：r_c＝0.909090592768869，f_u＝799.9997420161630，s＝0.3000006457219，u₀＝319.9997524873057，v₀＝239.9999814439529。

对(60)式中的ω进行Cholesky分解再求逆便可获得K_c，结果如下：

其中，纵横比r_c＝K_c(1，1)/K_c(2,2)(K_c(1,1)表示矩阵K_c的第1行第1列的元素，K_c(2,2)表示矩阵K_c的第2行第2列的元素)，故中心折反射摄像机的5个内参数分别为：r_c＝0.909090909090897，f_u＝799.9999999999902，s＝0.3000000000104，u₀＝319.9999999999951，v₀＝2.400000000000060。

本发明公开一种中心折反射摄像机内参数标定方法及系统，具有以下优点：(1)、该靶标制作简单，只需两个球。(2)、对该靶标的物理尺度没有要求，无需知道球在世界坐标系下的坐标。(3)、该靶标的图像边界点几乎可以全部提取，提高曲线拟合的精确度，从而提高标定精度。(4)、无需已知镜面参数。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种中心折反射摄像机内参数标定方法，其特征在于，所述方法包括：

利用中心折反射摄像机从不同位置拍摄三幅含有靶标的图像；由空间中两个球构成靶标；

从三幅图像中分别提取靶标图像边缘点，并采用最小二乘法拟合获得靶标方程；

根据所述靶标方程确定消失线；

将所述消失线上的消失点与镜面轮廓的像相交，获得各图像对应的圆环点的像；

根据极点极线和共轭直径的关系得到各图像对应的两组正交消失点；

根据三幅图像对应的三对圆环点的像或六组正交消失点与绝对二次曲线的像的关系得到绝对二次曲线的像ω；

根据

对二次曲线的像ω进行Cholesky分解及求逆，获得中心折反射摄像机的内参数矩阵K_c；

根据中心折反射摄像机的内参数矩阵K_c求解中心折反射摄像机的内参数。

2.根据权利要求1所述的中心折反射摄像机内参数标定方法，其特征在于，所述根据所述靶标方程确定消失线，具体包括：

由所述靶标方程对(c₀,c₁)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的一个消失点v_1∞；

由所述靶标方程对(c₀,c₂)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的另外一个消失点v_2∞；其中，c₀为正圆锥Q₀的投影像，c₁,c₂分别为斜圆锥Q₁,Q₂的投影像；

根据消失点v_1∞和消失点v_2∞确定消失线。

3.根据权利要求1所述的中心折反射摄像机内参数标定方法，其特征在于，所述根据三幅图像对应的三对圆环点的像或六组正交消失点与绝对二次曲线的像的关系得到绝对二次曲线的像ω，具体包括：

采用SVD分解三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系，得到绝对二次曲线的像ω；

采用SVD分解三幅图像对应的六组正交消失点与绝对二次曲线的像的关系，得到绝对二次曲线的像ω。

4.根据权利要求3所述的中心折反射摄像机内参数标定方法，其特征在于，所述三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系的具体公式为：

其中，m₁₊为圆环点的像，Re、Im分别表示实部和虚部。

5.根据权利要求2所述的中心折反射摄像机内参数标定方法，其特征在于，所述三幅图像对应的六组正交消失点与绝对二次曲线的像的关系的具体公式为：

v_i∞ ^Tωv′_i∞＝0

其中，消失点v′_i∞与消失点v_i∞构成一组正交消失点。

6.根据权利要求2所述的中心折反射摄像机内参数标定方法，其特征在于，所述根据消失点v_1∞和消失点v_2∞确定消失线，具体公式为：

λ_ll_1∞＝v_1∞×v_2∞

其中，λ_l表示关于消失线l_1∞的非零比例因子，×表示叉积。

7.一种中心折反射摄像机内参数标定系统，其特征在于，所述系统包括：

拍摄模块，用于利用中心折反射摄像机从不同位置拍摄三幅含有靶标的图像；由空间中两个球构成靶标；

提取模块，用于从三幅图像中分别提取靶标图像边缘点，并采用最小二乘法拟合获得靶标方程；

消失线确定模块，用于根据所述靶标方程确定消失线；

第一确定模块，用于将所述消失线上的消失点与镜面轮廓的像相交，获得各图像对应的圆环点的像；

正交消失点确定模块，用于根据极点极线和共轭直径的关系得到各图像对应的两组正交消失点；

第二确定模块，用于根据三幅图像对应的三对圆环点的像或六组正交消失点与绝对二次曲线的像的关系得到绝对二次曲线的像ω；

内参数矩阵确定模块，用于根据

对二次曲线的像ω进行Cholesky分解及求逆，获得中心折反射摄像机的内参数矩阵K_c；

内参数确定模块，用于根据中心折反射摄像机的内参数矩阵K_c求解中心折反射摄像机的内参数。

8.根据权利要求7所述的中心折反射摄像机内参数标定系统，其特征在于，所述消失线确定模块，具体包括：

第一消失点确定单元，用于由所述靶标方程对(c₀,c₁)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的一个消失点v_1∞；

第二消失点确定单元，用于由所述靶标方程对(c₀,c₂)的广义特征值及广义特征向量分解，得到镜面轮廓C₀所在平面π₀在像上的另外一个消失点v_2∞；其中，c₀为正圆锥Q₀的投影像，c₁,c₂分别为斜圆锥Q₁,Q₂的投影像；

消失线确定单元，用于根据消失点v_1∞和消失点v_2∞确定消失线。

9.根据权利要求7所述的中心折反射摄像机内参数标定系统，其特征在于，所述第二确定模块，具体包括：

第一分解单元，用于采用SVD分解三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系，得到绝对二次曲线的像ω；

第二分解单元，用于采用SVD分解三幅图像对应的六组正交消失点与绝对二次曲线的像的关系，得到绝对二次曲线的像ω。

10.根据权利要求9所述的中心折反射摄像机内参数标定系统，其特征在于，所述三幅图像对应的三对圆环点的像与绝对二次曲线的像的约束关系的具体公式为：

其中，m₁₊为圆环点的像，Re、Im分别表示实部和虚部。

Images