CN103020946A - 基于三正交方向消失点的摄像机自标定方法 - Google Patents

Abstract

本发明涉及一种基于三正交方向消失点的摄像机自标定方法。在三正交方向消失点的基础上，推导了三正交方向消失点与摄像机矩阵以及内参数矩阵之间的联系。针对5参数摄像机模型，提出了一种基于三正交方向消失点的摄像机标定算法。求解三正交方向消失点坐标，根据消失点与摄像机矩阵的联系求解比例因子，建立关于摄像机内参数的约束方程，线性求解摄像机5个内参数。本发明只需两幅视图即可实现摄像机内参数的全部求解。利用本发明中的标定方法可以实现全自动标定，减少了标定过程中由测量引起的误差。

Description

基于三正交方向消失点的摄像机自标定方法

技术领域

本发明属于计算机视觉研究领域，是一种基于三正交方向消失的摄像机内参数自标定方法，利用场景中三条相互正交直线方向上的消失点，构成关于绝对二次曲线图像的约束，通过求解约束方程最终实现摄像机内参数自标定。

背景技术

计算机视觉的基本任务之一，就是从摄像机获得的二维图像信息出发恢复物体在三维空间中的几何信息，从而识别和重建三维空间中物体的几何形状。在此过程中必须确定空间物体点的三维几何位置与其图像中的对应点之间的相互关系，而这种关系又由摄像机成像的几何模型决定的，这些几何模型的参数就是摄像机参数。在大多数条件下，这些参数都是通过实验得到的，这就是摄像机标定。随着摄像机标定技术的发展，人们开始将一些几何约束(如正交性，共面性)加入到摄像机标定中。对于许多人造物体，通常可以获得三个正交方向的消失点。消失点在摄像机标定中具有重要的作用从而被广泛使用。目前已经有许多方法可以从图像中自动检测出消失点。Caprile and Torre“Using vanishing points for camera calibration”(Int.J.Comput.Vision，1990，4(2))提出了一种基于消失点的摄像机内参数标定算法。随后，出现了许多利用消失点进行摄像机内参数标定的方法，比如文献“Creating architectural models fromimages”(Liebowitz，Criminisi，Zisserman，In：Proc.Eurogaphcs，Milan.Italy.，1990，pp.30-50)，文献“What can we learn about the scene structure from three orthogonal vanishing points in images”(Wang Guanghui，Tsui，H.T.，Pattern Recognition Lett.，2009，192-202)。然而，这些算法中大多数都是假设摄像机内参数为3参数模型(CCD为正方形像素且无畸变或已知主点)。对于普通摄像机而言，假设无畸变是可以接受的。但是CCD为正方形像素往往难以保证的。WangGuanghui，Tsui，H.T.，“Camera calibration and 3D reconstruction from a single view based onscene constraints“(Image Vision Comput.，2005，23(3))在假设摄像机内参数为4参数模型(无畸变)的基础上，利用三正交方向上的消失点并且加入场景约束从而实现摄像机标定。

发明内容

本发明利用三正交方向上的消失点，提出了一种针对5参数摄像机模型的标定方法，建立了消失点、摄像机矩阵以及内参数矩阵之间的联系，利用此联系，仅需两幅视图即可实现摄像机内参数5参数的标定。本发明的技术解决方案：

一种基于三正交方向消失的摄像机自标定方法，其特征在于：在固定的摄像机内参数下，拍摄两幅包含三正交直线的场景(通常采用立方体)，其中一个视角垂直于立方体的某个平面，另一个视角可以为任意角度，即可实现摄像机自标定。具体步骤包括：求解三正交方向消失点，求解三正交消失点坐标与摄像机矩阵前三列之间的比例因子，求解绝对二次曲线的像ω^*，求解摄像机内参数矩阵K。

(1)求解三正交方向消失点的坐标

设三条相互垂直直线及其与其平行的直线L₁，L′₁，L₂，L′₂和L₃，L′₃在第二副图像上的像l₁，l′₁，l₂，l′₂和l₃，l′₃。利用射影不变性，有

$\left\{\begin{array}{c}{p}_1=l_1\×l_1^{\′}\\ p_2=l_2\×l_2^{\′}\\ p_3=l_3\×l_3^{\′}\end{array}\right.,$

其中p₁，p₂，p₃即为三正交方向消失点坐标。

(2)求解三正交消失点坐标与摄像机矩阵前三列之间的比例因子

首先通过两幅视图之间特征点的对应关系确定出摄像机相对运动参数[R T]，设R₃₁，R₃₂，R₃₃为R第三行的三个元素。摄像机矩阵为P＝K[R T]，其中K为摄像机内参数矩阵。

令

H＝KR，

同时

H＝[R₃₁p₁ R₃₃p₃ R₃₂p₂]。

(3)求解对偶绝对二次曲线的像ω^*

对偶绝对二次曲线的像

ω^*＝HH^T＝KRR^TK^T＝KK^T。

(4)求解摄像机内参数矩阵K

当对ω^*进行Cholesky分解，并将最后一个元素进行归一化处理得到摄像机内参数矩阵K。

本发明的优点：

(1)本发明主要适用于包含三正交直线的场景，场景容易实现。

(2)本发明只需两幅图像就可以实现针对5参数摄像机模型的标定，无需对摄像机模型做简化假设。

附图说明

图1是空间中的一个虚拟立方体。

图2是虚拟立方体在摄像机第一视角下的图像。

图3是虚拟立方体在摄像机第二视角下的图像。

具体实施方式

下面是对本发明作进一步的详细说明。提出了一种基于三正交方向消失的摄像机自标定方法，其特征在于：在固定的摄像机参数下，拍摄两幅包含三正交直线的场景(通常采用立方体)，其中一个视角垂直于立方体的某个平面，另一个视角可以为任意角度，即可实现摄像机自标定。具体步骤包括：求解三正交方向消失点，求解三正交消失点坐标与摄像机矩阵前三列之间的比例因子，求解绝对二次曲线的像ω^*，求解摄像机内参数矩阵K。

(1)求解三正交方向消失点的坐标

设三条相互垂直直线及其与其平行的直线L₁，L′₁，L₂，L′₂和L₃，L′₃在第二副图像上的像l₁，l′₁，l₂，l′₂和l₃，l′₃。利用射影不变性，有

$\left\{\begin{array}{c}{p}_1=l_1\×l_1^{\′}\\ p_2=l_2\×l_2^{\′}\\ p_3=l_3\×l_3^{\′}\end{array}\right.,$

其中p₁，p₂，p₃即为三正交方向消失点坐标。

(2)求解三正交消失点坐标与摄像机矩阵前三列之间的比例因子

首先通过两幅视图之间特征点的对应关系确定出摄像机相对运动参数[R T]，其中特征点对至少为8对。设R₃₁，R₃₂，R₃₃为R第三行的三个元素。摄像机矩阵为P＝K[R T]，其中K为摄像机内参数矩阵。

令

H＝KR，

同时，有

H＝[R₃₁p₁ R₃₃p₃ R₃₂p₂]，

其中R₃₁，R₃₃，R₃₂为所需要的比例因子。

(3)求解对偶绝对二次曲线的像ω^*

ω^*＝HH^T＝KRR^TK^T＝KK^T。

(4)求解摄像机内参数矩阵K

当对ω^*进行Cholesky分解，并将最后一个元素进行归一化处理得到摄像机内参数矩阵K。

实施例

本发明提出了一种基于三正交方向消失的摄像机自标定方法，利用场景中三条相互正交直线方向上的消失点，构成关于绝对二次曲线图像的约束，通过求解约束方程最终实现摄像机自标定。

下面以一实例对本发明的实施方案做出更为详细的描述：

(1)求解三正交方向消失点的坐标

如图1是三维空间中三个边长(Xaxis，Yaxis，Zaxis)为4000像素的一个立方体。假设以立方体的某个顶点为世界坐标系的原点，以两两正交的三条边为世界坐标系的坐标轴。图2，图3为图1中立方体在两个不同视角下的像。图2记为第一视角，图3记为第二视角。提取图2、图3中立方体可视面的各顶点，计算三正交方向上的消影点。

设三条相互垂直直线及其与其平行的直线L₁，L′₁，L₂，L′₂和L₃，L′₃在第二副图像上的像l₁，l′₁，l₂，l′₂和l₃，l′₃。利用射影不变性，有

$\left\{\begin{array}{c}{p}_1=l_1\×l_1^{\′}\\ p_2=l_2\×l_2^{\′}\\ p_3=l_3\×l_3^{\′}\end{array}\right.,$

其中p₁，p₂，p₃即为三正交方向消失点坐标。

X轴消失点：P₁＝[-2664.100089 649.999962 1]′；

Y轴消失点：P₂＝[1954.567764 -683.334628 1]′；

Z轴消失点：P₃＝[1955.101093 4650.000050 1]′。

若假设以第一视角的摄像机坐标系为世界坐标系，则此时世界坐标系的坐标轴X，Y，Z对应的消失点分别为P₁，P₃，P₂。

(2)求解三正交消失点坐标与摄像机矩阵前三列之间的比例因子

首先通过两幅视图之间特征点的对应关系确定出摄像机相对运动参数[R T]，设R₃₁，R₃₂，R₃₃为R第三行的三个元素。摄像机矩阵为P＝K[R T]，其中K为摄像机内参数矩阵。令H＝KR，同时H＝[R₃₁p₁ R₃₃p₃ R₃₂p₂]。

两个视角的摄像机参数分别如下：

$K_1=\left[\begin{array}{ccc}2000& 0.2& 800\\ 0& 2000& 650\\ 0& 0& 1\end{array}\right],$ $R_1=\left[\begin{array}{ccc}-1& 0& 0\\ 0& 0& 1\\ 0& -1& 0\end{array}\right],$ T₁＝[2000 -3000 -5000]′；

$K_2=\left[\begin{array}{ccc}2000& 0.2& 800\\ 0& 2000& 650\\ 0& 0& 1\end{array}\right],$ $R_2=\left[\begin{array}{ccc}-0.866025& -0.433012& 0.250000\\ 0& 0.500000& 0.866025\\ 0.500000& -0.750000& 0.433012\end{array}\right],$ T₂＝[1000 -7000 -10000]′，

其中下标1，2分别对应第一和第二视角。由R1知，第一视角的摄像机坐标系和世界坐标系的坐标轴平行。由R₁，R₂可得，第二视角相对于第一视角的旋转矩阵为：

$R=\left[\begin{array}{ccc}0.866025& 0.250000& 0.433012\\ 0& 0.866025& -0.500000\\ -0.500000& 0.433012& 0.750000\end{array}\right],$

R可通过图像特征点的对应求解得到，在这里假设为已知。故

$H=\left[\begin{array}{ccc}{R}_{31}*P_1& P_{32}*P_3& R_{33}*P_2\end{array}\right]=\left[\begin{array}{ccc}1332.05& 1465.93& 846.582\\ -325.00& -512.501& 2013.51\\ -0.5000& 0.75000& 0.433012\end{array}\right],$

其中H为以第一个摄像机坐标系为世界坐标系时，第二个视角摄像机矩阵的前三列即H＝KR。此外R_ij(i，j＝1，2，3)为R的第i行，j列对应的元素。

(3)求解对偶绝对二次曲线的像ω^*

对偶绝对二次曲线的像ω^*＝HH^T＝KRR^TK^T＝KK^T，

${\mathrm{HH}}^T={\mathrm{KRR}}^{T}K={\mathrm{KK}}^T=\left[\begin{array}{ccc}4640000& 520394& 800\\ 520394& 4422490& 649.996\\ 800& 649.996& 0.99999\end{array}\right],$

(4)求解摄像机内参数矩阵K

当对ω^*进行Cholesky分解，并将最后一个元素进行归一化处理得到摄像机内参数矩阵K。最后得到实验结果

$K=\left[\begin{array}{ccc}2000& 0.1986& 800\\ 0& 200& 649.996\\ 0& 0& 1\end{array}\right].$

Claims (1)

1.一种基于三正交方向消失的摄像机自标定方法，其特征在于：在固定的摄像机参数下，拍摄两幅包含三正交直线的场景(通常采用立方体)，其中一个视角垂直于立方体的某个平面，另一个视角可以为任意角度，即可实现摄像机自标定，具体步骤包括：求解三正交方向消失点，求解三正交消失点坐标与摄像机矩阵前三列之间的比例因子，求解绝对二次曲线的像ω^*，求解摄像机内参数矩阵K；

(1)求解三正交方向消失点的坐标

设三条相互垂直直线及其与其平行的直线L₁，L′₁，L₂，L′₂和L₃，L′₃在第二副图像上的像l₁，l′₁，l₂，l′₂和l₃，l′₃，利用射影不变性，有

$\left\{\begin{array}{c}{p}_1=l_1\×l_1^{\′}\\ p_2=l_2\×l_2^{\′}\\ p_3=l_3\×l_3^{\′}\end{array}\right.,$

其中p₁，p₂，p₃即为三正交方向消失点坐标；

(2)求解三正交消失点坐标与摄像机矩阵前三列之间的比例因子

首先通过两幅视图之间特征点的对应关系确定出摄像机相对运动参数矩阵[R T]，设R₃₁，R₃₂，R₃₃为R第三行的三个元素，摄像机矩阵为P＝K[R T]，其中K为摄像机内参数矩阵，令

H＝KR，

同时

H＝[R₃₁p₁ R₃₃p₃ R₃₂p₂]；

(3)求解对偶绝对二次曲线的像ω^*

对偶绝对二次曲线的像由下式获得

ω^*＝HH^T＝KRR^TK^T＝KK^T；

(4)求解摄像机内参数矩阵K

当对ω^*进行Cholesky分解，并将最后一个元素进行归一化处理得到摄像机内参数矩阵K。

Images