CN101763632B - 摄像机标定的方法和装置 - Google Patents

Abstract

本发明公开了一种摄像机标定的方法和装置，属于图像处理和计算机视觉领域。方法包括：对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到所述图像中对应于同一个三维空间点的SIFT特征点的象素坐标；根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，选择标定参考图像和有效图像；根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，建立所述标定参考图像与所述有效图像之间的变换关系；根据所述变换关系，计算所述摄像机的内参，完成所述摄像机的标定。装置包括：特征点处理模块、选择模块、建立模块和计算模块。在不依赖于标定参照物的情况下，在线、实时标定摄像机内参，求解快速，结果稳定准确。

Description

摄像机标定的方法和装置

技术领域

本发明涉及图像处理和计算机视觉领域，特别涉及一种摄像机标定的方法和装置。

背景技术

摄像机几何模型参数的获取过程被称为摄像机标定，它是图像处理和计算机视觉领域里从二维图像提取三维空间信息必不可少的步骤，被广泛应用于三维重建、导航、视觉监控等领域。摄像机标定在一定的摄像机模型下，经过对图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的参数。

现有技术中，传统的使用标定参照物的方法获得了较广泛的应用，其中典型的有Tsai的两步法。这些传统的方法由于在拍摄和标定过程中一直需要使用标定参照物，因而给拍摄操作及标定方法的使用带来了很大的不方便，因为标定参照物的使用和位置调整将导致在线任务的中断。

在实现本发明的过程中，发明人发现上述现有技术至少具有以下缺点：

需要通过标定块或标定模版等参照物得到高精度的已知场景结构信息，过程复杂；而且在很多实际应用场合中无法使用标定参照物，限制较多。

发明内容

为了在不依赖于标定参照物的情况下，在线地、实时地标定摄像机内部参数，并且快速、简单地求解参数，本发明实施例提供了一种摄像机标定的方法和装置。所述技术方案如下：

一种摄像机标定的方法，包括：

对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到所述图像中对应于同一个三维空间点的SIFT特征点的象素坐标，所述图像为所述摄像机围绕光心旋转拍摄得到的同一场景的至少两幅图像；

根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，选择标定参考图像和有效图像；

根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，建立所述标定参考图像与所述有效图像之间的变换关系；

根据所述变换关系，计算所述摄像机的内部参数，完成所述摄像机的标定；

其中，所述根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，选择标定参考图像和有效图像，包括：

选择所述图像中的一幅作为参考图像，根据对应于同一个三维空间点的SIFT特征点的象素坐标，使用位姿估计算法计算除所述参考图像外的其他图像相对于所述参考图像之间的相关旋转方位，所述旋转方位为三个坐标轴向的旋转角度；

选择在三个坐标轴向的旋转角度中，有至少一个坐标轴向的旋转角度满足预先设定的角度的其他图像为候选有效图像；

选择拥有所述候选有效图像的数量最多的参考图像为标定参考图像；

选择所述标定参考图像和所述标定参考图像的候选有效图像为标定的有效图像。

一种摄像机标定的装置，包括：

特征点处理模块，用于对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到所述图像中对应于同一个三维空间点的SIFT特征点的象素坐标，所述图像为所述摄像机围绕光心旋转拍摄得到的同一场景的至少两幅图像；

选择模块，用于根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，选择标定参考图像和有效图像；

建立模块，用于根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，建立所述参考图像与所述有效图像之间的变换关系；

计算模块，用于根据所述建立模块中建立的所述变换关系，计算所述摄像机的内部参数，完成所述摄像机的标定；

其中，所述选择模块包括：

计算单元，用于选择所述图像中的一幅作为参考图像，根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，计算除所述参考图像外的其他图像相对于所述参考图像之间的相关旋转方位，所述旋转方位为三个坐标轴向的旋转角度；

选择单元，用于选择在三个坐标轴向的旋转角度中，有至少一个坐标轴向的旋转角度满足预先设定的角度的其他图像为候选有效图像；

所述选择单元还用于选择拥有所述候选有效图像的数量最多的参考图像为标定参考图像；

所述选择单元还用于选择所述标定参考图像和所述标定参考图像的候选有效图像为标定的有效图像；

其中，所述计算单元包括：

选择子单元，用于选择所述图像中的一幅作为参考图像；

计算子单元，用于根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，使用位姿估计算法计算除所述参考图像外的其他图像相对于所述参考图像之间的相关旋转方位。

本发明实施例提供的技术方案的有益效果是：

根据摄像机围绕光心做旋转运动拍摄的图像，进行SIFT特征点的提取和匹配，选择出标定参考图像和有效图像，并根据选择出的标定参考图像和有效图像计算将标定参考图像与每一幅其它有效图像之间的变换关系，根据所求出的变换关系，求解出摄像机的内参矩阵，在不依赖于标定参照物的情况下，在线地、实时地标定摄像机内部参数，并且求解过程快速，求解结果稳定、准确。

附图说明

图1是本发明实施例一提供的一种摄像机标定的方法流程图；

图2是本发明实施例二提供的一种摄像机标定的方法流程图；

图3a至图3e是本发明实施例二提供的摄像机围绕光心旋转拍摄的一个场景的5幅图像；

图4a至图4c是本发明实施例二提供的摄像机围绕光心旋转拍摄的另一个场景的3幅图像；

图5是本发明实施例三提供的一种摄像机标定的装置结构示意图；

图6是本发明实施例四提供的一种摄像机标定的装置结构示意图；

图7是本发明实施例五提供的一种摄像机标定的装置结构示意图；

图8是本发明实施例六提供的一种摄像机标定的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

摄像机自标定的方法不需要使用标定参照物，仅根据图像间特征象素的对应关系就能估计出摄像机内部参数，它使得在线地、实时地标定摄像机模型参数成为可能。

SIFT(Scale-Invariant Features Transform，尺度不变特征)是一种基于尺度空间的图像局部特征，对图像旋转、尺度缩放、平移甚至亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，且不需要假设场景这存在角点、直线、圆等固定的几何特征，从而对拍摄场景没有限制和要求。SIFT特征独特性好，信息量丰富，即使少数的几个物体也可以产生大量SIFT特征向量，经优化的SIFT匹配算法可以达到实时的要求。

实施例一

参见图1，本发明实施例提供了一种摄像机标定的方法，包括：

101：对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到图像中对应于同一个三维空间点的SIFT特征点的象素坐标，图像为摄像机围绕光心旋转拍摄得到的同一场景的至少两幅图像；

其中，在具体实现101中包括：对图像进行SIFT特征点提取；在图像之间进行SIFT特征点匹配，其中，采用特征点的特征向量的欧式距离作为图像中SIFT特征点是否匹配的判断依据，采用最近邻比法作为图像中SIFT特征点是否匹配的判断法则，采用按序循环匹配的方法进行匹配；根据得到的匹配SIFT特征点，得到图像中对应于同一个三维空间点的SIFT特征点的象素坐标。

102：根据对应于同一个三维空间点的SIFT特征点的象素坐标，选择标定参考图像和有效图像；

其中，在具体实现102中包括：选择图像中的一幅作为参考图像，根据对应于同一个三维空间点的SIFT特征点的象素坐标，计算除参考图像外的其他图像相对于参考图像之间的相关旋转方位，旋转方位为三个坐标轴向的旋转角度；选择在三个坐标轴向的旋转角度中，有至少一个坐标轴向的旋转角度满足预先设定的角度的其他图像为候选有效图像；选择拥有候选有效图像的数量最多的参考图像为标定参考图像；选择标定参考图像和标定参考图像的候选有效图像为标定的有效图像。

其中，根据对应于同一个三维空间点的SIFT特征点的象素坐标，使用位姿估计算法计算除参考图像外的其他图像相对于参考图像之间的相关旋转方位。

103：根据对应于同一个三维空间点的SIFT特征点的象素坐标，建立标定参考图像与有效图像之间的变换关系；

其中，在具体实现103中包括：根据对应于同一个三维空间点的SIFT特征点的象素坐标，使用线性方法分别计算参考图像变换到有效图像的2D投影变换的初始值；使用迭代优化方法计算参考图像变换到有效图像的2D投影变换的精确值。

104：根据变换关系，计算摄像机的内参，完成摄像机的标定。

本发明实施例根据摄像机围绕光心做旋转运动拍摄的图像，进行SIFT特征点的提取和匹配，选择出标定参考图像和有效图像，并根据选择出的标定参考图像和有效图像计算将标定参考图像变换为每一幅其它有效图像的2D投影变换，根据所求出的2D投影变换，求解出摄像机的内参矩阵，在不依赖于标定参照物的情况下，在线地、实时地标定摄像机内部参数，并且求解过程快速，求解结果稳定、准确。

实施例二

参见图2，本发明实施例二提供了一种摄像机的标定方法，包括：

201：使用摄像机，拍摄标定图像；

其中，摄像机固定在3D世界空间的一个位置，通过围绕光心旋转到不同的方向来拍摄同一场景的图像序列，同一场景至少拍摄两幅图像。在拍摄图像序列的过程中，保持摄像机的内参K不变，即摄像机的焦距等保持不变。设拍摄到底图像序列包含图像I0、I1......IN-1，共包含N幅图像(N≥3)。如图3a至图3e显示了某场景五幅不同角度的用于标定的图像；图4a至图4c显示了另一个场景三幅不同角度的用于标定的图像。

202：SIFT特征点提取；

对每一幅标定图像进行特征点的提取。特征点的提取基于SIFT特征提取方法，以便保障提取的特征对图像旋转、尺寸缩放、平移甚至亮度变化保持不变性，对视角变化、放射变化、噪声也保持一定程度的稳定性，且不需要假设场景中存在角点、直线、圆瞪固定的几何特征，从而对拍摄场景没有限制或要求。

203：SIFT特征点匹配；

对于只有两幅标定图像A和B的情况，采用特征点的特征向量的欧式距离作为两幅图像中SIFT特征点的相似性判定度量。这里用最近邻比值法进行具体的相似性判定：取图像A中的某个特征点，并找出其余图像B中欧式距离最近的前两个特征点，在这两个特征点中，如果最近的距离除以次近的距离小于某个比例阀值(以0.6为例)，则接收这一对匹配点。降低这个比例阀值，SIFT匹配点数目会减少，但是更加稳定。

而对于多幅图像，在它们的SIFT特征点提取后，将对它们进行按序循环匹配，以便确定多幅图像中对应同一三维空间点的各自SIFT特征点的象素位置。

这里按序循环匹配的方法，描述如下：

设有N幅图像I₀、I₁...I_N-1，针对I₀的每一特征点P_i，进行如下的一轮匹配：

步骤203-1：

在I₁...I_N-1中寻找与I₀中的P_i匹配的特征点，如果都找到，设为P_0，1、P_0，2、P_0，3...P_0，N-1，则进入步骤203-2，否则本轮匹配以失败结束；

步骤203-2：

在I₂...I_N-1中寻找与I₁中的P_0，1匹配的特征点，如果都找到，设为P_1，2、P_1，3...P_1，N-1，则进入步骤203-3，否则本轮匹配以失败结束；

步骤203-3：

在I₃...I_N-1中寻找与I_N-1中的P_0，2匹配的特征点，如果都找到，设为P_2，3...P_2，N-1，则进入步骤203-4，否则本轮匹配以失败结束；

……

步骤203-(N-2)：

在I_N-1中寻找与I_N-2中的P_0，N-2匹配的特征点，如果找到，设为P_N-2，N-1，则进入步骤203-(N-1)，否则本轮匹配以失败结束；

步骤203-(N-1)：

如果针对I₂中的点，有P_0，2＝P_1，2(等号表示同一点)；

且针对I₃中的点，有P_0，3＝P_1，3＝P_2，3；

……

且针对I_N-1中的点，有P_0，N-1＝P_1，N-1＝...＝P_N-2，N-1；则本轮循环匹配成功，将分别位于N幅图像I₀、I₁...I_N-1中的N个匹配的特征象素点P_i、P_0，1、P_0，2、...P_0，N-1记录下来，否则本轮匹配以失败结束。

对后续处理来说，只需将从SIFT特征向量中抽取出的特征点的象素位置保存下来即可。这种多幅图像之间按序循环的匹配方法能最大可能保证特征点匹配正确。

经过SIFT特征点提取及匹配的步骤以后，将获取到三幅图像中对应同一三维空间点P_i的SIFT特征点的象素坐标。

204：根据对应同一三维空间点的SIFT特征点的象素坐标，使用位姿估计算法对输入图像进行处理，确定标定参考图像、筛选出有效图像

为了尽量采用旋转角度变化较大的图像以便达到更好的标定效果，本发明实施例提供了自动对输入图像进行筛选的预处理功能。对每幅输入图像，该功能自动计算其它图像与之的相关旋转方位(三个坐标轴向的旋转角度)，在某方向上相对旋转角度满足一定角度(比如大于30度)的图像被认为是该图像的候选有效图像。拥有最多候选有效图像的图像被确定为标定参考图像，该图像及其候选有效图像被升格为标定的有效图像。若最佳参考图像的候选有效图像数不足2幅(这样满足大角度条件的有效图像将不足3幅，无法进行标定)，则采用全部图像作为有效图像进行标定。

最佳参考图像就被选作为下面步骤中的参考图像EI₀，而下面步骤所针对的图像均是指的有效图像，有效图像为图像EI₀、EI₁...EI_N-1。

由于在预处理考虑了图像之间的相对方位、并筛选出更加适合基于旋转运动标定方法的图像，因此标定时将产生更好的结果。而在筛选不出合适有效图像的情形下，在图像数量较多的情况下，采用全部图像进行标定，将不至于使得标定结果不太理想。

本步骤中用到的两幅图像之间的位姿估计算法主要步骤如下：

步骤204-1：对图像象素坐标进行预处理

预处理的基本假设是图像的主点坐标处于图像的中心，对于估计算法来讲，这样的假设是合理的。虽然实际图像的主点会相对于中心有一定偏移，但偏移不大。在估计算法中仅利用该假设就可以在未知焦距的情况下估计图像之间的位置关系。

预处理的过程是按照预测主点将图像象素坐标平移到预测主点附近。对于SIFT特征提取过程来讲，图像象素坐标的原点位于图像的左上角，经过预处理中的平移即是将原点平移到图像的中心点。

步骤204-2：利用预处理好的图像象素坐标以及它们的匹配关系计算两幅图像的基础矩阵Q

步骤204-3：计算上述基础矩阵Q的SVD分解Q≈UDW^T，且det(U)＝det(V)＝1。其中设V＝WE，

$E=\left(\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& 1\end{array}\right)$

令r和s表示最大的两个奇异值，也即D对角线上前两个元素。

步骤204-4：构造矩阵M₁和M_x

$M_1=\left(\begin{array}{cccc}{U}_{11}{V}_{13}& U_{12}{V}_{13}& U_{13}{V}_{13}& {\mathrm{rU}}_{11}{V}_{11}+s{U}_{12}{V}_{12}\\ U_{11}{V}_{23}& U_{12}{V}_{23}& U_{11}{V}_{23}& r{U}_{11}{V}_{21}+s{U}_{12}{V}_{22}\\ U_{21}{V}_{13}& U_{22}{V}_{13}& U_{23}{V}_{13}& {\mathrm{rU}}_{21}{V}_{11}+{\mathrm{sU}}_{22}{V}_{12}\\ U_{11}{V}_{23}& U_{22}{V}_{23}& U_{23}{V}_{23}& r{U}_{21}{V}_{21}+s{U}_{22}{V}_{22}\end{array}\right)$

$M_x=\left(\begin{array}{cccc}-s{U}_{13}{V}_{11}& -r{U}_{13}{V}_{12}& r{U}_{12}{V}_{12}+s{U}_{11}{V}_{11}& \mathrm{rs}{U}_{13}{V}_{13}\\ -s{U}_{13}{V}_{21}& -r{U}_{13}{V}_{22}& r{U}_{12}{V}_{22}+s{U}_{11}{V}_{21}& \mathrm{rs}{U}_{13}{V}_{13}\\ -s{U}_{23}{V}_{11}& -r{U}_{23}{V}_{12}& r{U}_{22}{V}_{12}+s{U}_{11}{V}_{11}& \mathrm{rs}{U}_{13}{V}_{13}\\ -s{U}_{23}{V}_{21}& -r{U}_{23}{V}_{22}& r{U}_{12}{V}_{12}+s{U}_{11}{V}_{11}& \mathrm{rs}{U}_{13}{V}_{13}\end{array}\right)$

然后计算行列式p(x)＝det(M₁-xM_x)＝a₁x+a₃x³；

用如下的代数方法确定常数a₁和a₃的值，即分别令x＝1和x＝2可得下面方程组：

$\left\{\begin{array}{c}{a}_1+a_3=\det (M_1-M_x)\\ 2a_1+8a_3=\det (M_1-2M_x)\end{array}\right.---\left(1\right)$

解之即可得a₁和a₃的值。

如果

那么该问题无解，算法终止；否则，令

步骤204-5：求解方程组(M₁-xM_x)(α，β，γ，1)^T＝0，以获取α、β、γ的值，并以此构造矩阵X_α，β，γ和X^* _α，β，γ如下：

$X_{\mathrm{\α},\mathrm{\β},\mathrm{\γ}}=\left(\begin{array}{ccc}r& 0& \mathrm{\α}\\ 0& s& \mathrm{\β}\\ 0& 0& \mathrm{\γ}\end{array}\right)$ ${X^{*}}_{\mathrm{\α},\mathrm{\β},\mathrm{\γ}}=\left(\begin{array}{ccc}\mathrm{s\γ}& 0& 0\\ 0& \mathrm{r\γ}& 0\\ -\mathrm{s\α}& -\mathrm{r\β}& \mathrm{rs}\end{array}\right)$

其中r和s是前面步骤中求得的D的两个最大奇异值。

步骤204-6：构造乘积UX_α，β，γV^T以及UX^* _α，β，γV^T，并且通过下列方程计算k₁和k₂。

$\left\{\begin{array}{c}{k}_2^2={\mathrm{xg}}_{31}/f_{31}\\ k_1^2=f_{13}/{\mathrm{xg}}_{13}\end{array}\right.---\left(2\right)$

其中，f_ij和g_ij表示矩阵UX_α，β，γV^T和UX^* _α，β，γV^T中的对应项。

如果k₁和k₂是虚数，那么该问题无解，算法终止。

步骤204-7：计算矩阵Q′＝K₂QK₁，其中K₁和K₂是下列对角阵：

$K_1=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& k_1\end{array}\right)$ $K_2=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& k_2\end{array}\right)$

步骤204-8：计算Q′的SVD分解可得Q′＝U′D′V′^T。

假设摄相机投影矩阵P₁＝(K₁|0)，那么P₂应设为下列四个矩阵中的一个：

(K₂U′EV′^T |K₂U′(0，0，1)^T)

(K₂U′E^TV′^T|K₂U′(0，0，1)^T)

(K₂U′EV′^T |-K₂U′(0，0，1)^T)

(K₂U′E^TV′^T|-K₂U′(0，0，1)^T)

根据匹配点必须位于摄像机前方的要求，即可选择出结果。

具体选择方法如下：

步骤204-8-1：

任意选择一对匹配点进行测试，假设它们是：x＝(x₁，x₂，1)^T，x′＝(x′₁，x′₂，1)^T。并且令X＝(X₁，X₂，X₃)和X′＝(X′₁，X′₂，X′₃)表示它们的三维坐标。根据外极几何的知识可以知道，有以下关系成立：

X′＝R(X-T)                                              (3)

其中R表示旋转矩阵，T表示平移矩阵，它们分别可取上述四个矩阵的左部和右部。根据方程(3)可得：

$x_1^{\′}=\frac{X_1^{\′}}{X_3^{\′}}=\frac{R_1(X-T)}{R_3(X-T)}=\frac{R_1(x-T/X_3)}{R_3(x-T/X_3)}---\left(4\right)$

其中R_i代表R矩阵的第i行。变形即可得：

$X_3=\frac{(R_1-x_1^{\′}{R}_3)T}{(R_1-x_1^{\′}{R}_3)x}---\left(5\right)$

从而可以求出x的三维坐标：

X₁＝x₁X₃，X₂＝x₂X₃。

根据方程(3)，同样又可以求出X′＝(X′₁，X′₂，X′₃)。

步骤204-8-2：根据步骤204-8-1将四种情况下的矩阵都代入进行计算，当X₃和X′₃都为正时则该种矩阵符合条件，也即是最终的选择结果，这样就获得了估计的旋转矩阵R。

步骤204-9：求取旋转估计角度

根据旋转矩阵可以求出旋转的角度。

最常用的表示方法是将旋转角度表示为欧拉角，即进动角ψ，章动角θ以及自转角φ，根据相关旋转矩阵的知识易知：

sin(φ)＝-R₃₁

tan(ψ)＝R₃₂/R₃₃

tan(θ)＝R₂₁/R₁₁

其中R_ij表示旋转矩阵R的项。

由三角函数的知识很容易求解出各个角度大小，即为估计角度。

205：计算参考图像与其它图像之间的变换关系，即从参考图像变换到其他图像的2D投影变换P_j

选定I₀作为参考图像，对除图像I₀的每一幅其它图像，计算将图像I₀变换到图像I_j的2D投影变换P_j(j＝1...N-1)。

N-1个P_i的确定的步骤可分为两步：

第一步是使用线性方法分别计算N-1个P_j；

第二步是使用Levenberg-Marquardt优化方法迭代求精这N-1个P_j。

步骤205-1：线性确定各个P_j

设

和

是第i对分别位于图像I₀和图像I_j的匹配的特征点的象素位置，如下的方程在这对匹配象素之间是成立的：

$w_i^j{(u_i^j,v_i^j,1)}^T=P_j{(u_i^0,v_i^0,1)}^T---\left(6\right)$

其中的

未知，设

$P_j=\left[\begin{array}{ccc}{p}_{j1}& p_{j2}& p_{j3}\\ p_{j4}& p_{j5}& p_{j6}\\ p_{j7}& p_{j8}& p_{j9}\end{array}\right]---\left(7\right)$

则由方程(6)消去未知量

后整理得，

$\left\{\begin{array}{c}{u}_i^0{p}_{j1}+v_i^0{p}_{j2}+p_{j3}+0\·p_{j4}+0\·p_{j5}+0\·p_{j6}+(-u_i^0{u}_i^j)p_{j7}+(-v_i^0{u}_i^j)p_{j8}+\left({-u}_i^j\right)p_{j9}=0\\ 0\·p_{j1}+0\·p_{j2}+0\·p_{j3}+u_i^0{p}_{j4}+v_i^0{p}_{j5}+p_{j6}+\left({-u}_i^0{v}_i^j\right)p_{j7}+(-v_i^0{v}_i^j)p_{j8}+\left({-v}_i^j\right)p_{j9}=0\end{array}\right.---\left(8\right)$

方程(7)是以P_j的9个项为未知量的由2个方程组成的方程组，也就是一对匹配点之间存在2个以P_j的9个项为未知量的方程，于是，图像I₀和图像I_j之间4对匹配点就能产生8个以P_j的9个项为未知量的方程，从而就能在相差一个比例因子的意义上确定出P_j(令p_j9＝1)。对于图像I₀和图像I_j之间存在M对(M≥5)以上匹配点的情形，可以形成一个具备如下形式的超定线性方程组：

Ap＝0                                                                (9)

其中A是2M×9的矩阵，而p＝(p_j1，p_j2，p_j3，p_j4，p_j5，p_j6，p_j7，p_j8，p_j9)^T是P_j的项组成的列向量。使用SVD分解或雅可比方法可以求解超定方程组(9)，求解出这样的p，使得p的模||p||＝1，并且Ap的模||Ap||最小化。

步骤205-2：用Levenberg-Marquardt优化方法迭代求精这N-1个P_j

由方程(6)，可引入向量y_i＝(y_i1，y_i2，y_i3)^T，并令：

${\hat{u}}_i^j=P_j{\hat{y}}_i---\left(10\right)$

分别是

和y_i的校准值，这里Levenberg-Marquardt优化方法的目标，通过迭代求精，计算出P_j和使得如下的误差最小：

$\underset{i=0...M-1}{\underset{j=1...N-1}{\mathrm{\Σ}}}d{(u_i^j,{\hat{u}}_i^j)}^2---\left(11\right)$

P_j的初始值可取由步骤1线性确定的值，而

的初始值可取实际上向量y_i可看作是3D点在场景投影重建空间中的方向，而上面P_j和

的计算等同于场景的投影重建。

步骤205-3：将P_j变换到具有单位行列式值

对每一P_j，作B_j＝α_jP_j，要求使得det(B_j)＝1，易知从而P_j变换到具有单位行列式值，变为

$B_j=\sqrt[3]{1/\det \left(P_j\right)}\·P_j---\left(12\right)$

206：计算摄像机的内参标定矩阵K

寻找一个上三角矩阵K，使得K^-1B_jK＝R_j是一个旋转矩阵(j＝1，2...N-1)。

其中，矩阵K是摄像机的内参标定矩阵，R_j表示图像I_j相对于图像I₀的旋转矩阵。

利用旋转矩阵的性质可得

即：

$B_j{\mathrm{KK}}^T{B}_j^T={\mathrm{KK}}^T---\left(13\right)$

令

$C={\mathrm{KK}}^T=\left(\begin{array}{ccc}a& b& c\\ b& d& e\\ c& e& f\end{array}\right)---\left(14\right)$

则C是对称矩阵，而方程(13)变为

$B_j{\mathrm{CB}}_j^T=C---\left(15\right)$

针对每一个B_j，由方程(15)中的矩阵乘法展开，并消除冗余方程后，可得由6个含有六个未知数a、b、c、d、e和f的齐次线性方程组成的方程组。于是，有如下的步骤：

步骤206-1：由N-1个B_j，形成如下的超定齐次线性方程系统：

XC′＝0                                                 (16)

这里，C′＝(a，b，c，d，e，f)^T是由C的独立项组成的向量，X是一个6(N-1)×6的矩阵。C′的最小二乘解是对应于X^TX的最小特征值的特征向量。对X进行SVD分解，或使用雅可比方法均能找到对称矩阵X^TX的最小特征值。

步骤206-2：针对产生的C，判断C的正定性，若C不正定，则舍弃。否则进入下一步。

步骤206-3：从C＝KKT中利用Cholesky分解方法，求出K(如果要求K的对角项是正数，那么Cholesky分解是唯一的)。

表1是采用本发明实施例提供的方法分别对图3、图4所拍摄的图像进行标定的结果。实施例中通过摄像机获取的是PAL标清(720*576)图像。

表1

本发明实施例根据摄像机围绕光心做旋转运动拍摄的图像，进行SIFT特征点的提取和匹配，选择出标定参考图像和有效图像，并根据选择出的标定参考图像和有效图像计算将标定参考图像变换为每一幅其它有效图像的2D投影变换，根据所求出的2D投影变换，求解出摄像机的内参矩阵，在不依赖于标定参照物的情况下，在线地、实时地标定摄像机内部参数，并且求解过程快速，求解结果稳定、准确。

实施例三

参见图5，本发明实施例提供了一种摄像机标定的装置，包括：

特征点处理模块501，用于对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到图像中对应于同一个三维空间点的SIFT特征点的象素坐标，图像为摄像机围绕光心旋转拍摄得到的同一场景的至少两幅图像；

选择模块502，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标选择标定参考图像和有效图像；

建立模块503，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标，建立参考图像与有效图像之间的变换关系；

计算模块504，用于根据建立模块503中建立的变换关系，计算摄像机的内参，完成摄像机的标定。

本发明实施例通过摄像机标定的装置，根据摄像机围绕光心做旋转运动拍摄的图像，进行SIFT特征点的提取和匹配，选择出标定参考图像和有效图像，并根据选择出的标定参考图像和有效图像计算将标定参考图像与每一幅其它有效图像之间的变换关系，根据所求出的变换关系，求解出摄像机的内参矩阵，在不依赖于标定参照物的情况下，在线地、实时地标定摄像机内部参数，并且求解过程快速，求解结果稳定、准确。

实施例四

参见图6，本发明实施例提供了一种摄像机标定的装置，包括：

特征点处理模块601，用于对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到图像中对应于同一个三维空间点的SIFT特征点的象素坐标，图像为摄像机围绕光心旋转拍摄得到的同一场景的至少两幅图像；

其中，特征点处理模块601包括：

提取单元601A，用于对该图像进行SIFT特征点提取；

匹配单元601B，用于在该图像之间进行SIFT特征点匹配，其中，采用特征点的特征向量的欧式距离作为该图像中SIFT特征点是否匹配的判断依据，采用最近邻比法作为该图像中SIFT特征点是否匹配的判断法则，采用按序循环匹配的方法进行匹配；

获取单元601C，用于根据得到的匹配SIFT特征点，获取到该图像中同一个三维空间点的SIFT特征点的象素坐标。

选择模块602，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标选择标定参考图像和有效图像；

建立模块603，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标，建立参考图像与有效图像之间的变换关系；

计算模块604，用于根据建立模块603中建立的变换关系，计算摄像机的内参，完成摄像机的标定。

本发明实施例通过摄像机标定的装置，根据摄像机围绕光心做旋转运动拍摄的图像，进行SIFT特征点的提取和匹配，选择出标定参考图像和有效图像，并根据选择出的标定参考图像和有效图像计算将标定参考图像与每一幅其它有效图像之间的变换关系，根据所求出的变换关系，求解出摄像机的内参矩阵，在不依赖于标定参照物的情况下，在线地、实时地标定摄像机内部参数，并且求解过程快速，求解结果稳定、准确。

实施例五

参见图7，本发明实施例提供了一种摄像机标定的装置，包括：

特征点处理模块701，用于对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到图像中对应于同一个三维空间点的SIFT特征点的象素坐标，图像为摄像机围绕光心旋转拍摄得到的同一场景的至少两幅图像；

选择模块702，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标选择标定参考图像和有效图像；

其中，选择模块702可以包括：

计算单元702A，用于选择图像中的一幅作为参考图像，根据对应于同一个三维空间点的SIFT特征点的象素坐标，计算除参考图像外的其他图像相对于参考图像之间的相关旋转方位，旋转方位为三个坐标轴向的旋转角度；

选择单元702B，用于选择在三个坐标轴向的旋转角度中，有至少一个坐标轴向的旋转角度满足预先设定的角度的其他图像为候选有效图像；

选择单元702B还用于选择拥有候选有效图像的数量最多的参考图像为标定参考图像；

选择单元702B还用于选择标定参考图像和标定参考图像的候选有效图像为标定的有效图像。

其中，计算单元702A可以包括：

选择子单元，用于选择图像中的一幅作为参考图像；

计算子单元，用于根据对应于同一个三维空间点的SIFT特征点的像素坐标，使用位姿估计算法计算除参考图像外的其他图像相对于参考图像之间的相关旋转方位。

建立模块703，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标，建立参考图像与有效图像之间的变换关系；

计算模块704，用于根据建立模块703中建立的变换关系，计算摄像机的内参，完成摄像机的标定。

本发明实施例通过摄像机标定的装置，根据摄像机围绕光心做旋转运动拍摄的图像，进行SIFT特征点的提取和匹配，选择出标定参考图像和有效图像，并根据选择出的标定参考图像和有效图像计算将标定参考图像与每一幅其它有效图像之间的变换关系，根据所求出的变换关系，求解出摄像机的内参矩阵，在不依赖于标定参照物的情况下，在线地、实时地标定摄像机内部参数，并且求解过程快速，求解结果稳定、准确。

实施例六

参见图8，本发明实施例提供了一种摄像机标定的装置，包括：

特征点处理模块801，用于对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到图像中对应于同一个三维空间点的SIFT特征点的象素坐标，图像为摄像机围绕光心旋转拍摄得到的同一场景的至少两幅图像；

选择模块802，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标选择标定参考图像和有效图像；

建立模块803，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标，建立参考图像与有效图像之间的变换关系；

其中，建立模块803具体用于根据对应于同一个三维空间点的SIFT特征点的象素坐标，建立参考图像变换到有效图像的2D投影变换；

相应地，建立模块803包括：

初始值计算单元803A，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标，使用线性方法分别计算参考图像变换到有效图像的2D投影变换的初始值；

精确值计算单元803B，用于根据对应于同一个三维空间点的SIFT特征点的象素坐标，使用迭代优化方法计算参考图像变换到有效图像的2D投影变换的精确值。

计算模块804，用于根据建立模块803中建立的变换关系，计算摄像机的内参，完成摄像机的标定。

本发明实施例通过摄像机标定的装置，根据摄像机围绕光心做旋转运动拍摄的图像，进行SIFT特征点的提取和匹配，选择出标定参考图像和有效图像，并根据选择出的标定参考图像和有效图像计算将标定参考图像变换为每一幅其它有效图像的2D投影变换，根据所求出的2D投影变换，求解出摄像机的内参矩阵，在不依赖于标定参照物的情况下，在线地、实时地标定摄像机内部参数，并且求解过程快速，求解结果稳定、准确。

显然，本领域的技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路单元，或者将它们中的多个单元或步骤制作成单个集成电路单元来实现。这样，本发明不限制于任何特定的硬件和软件结合。

本发明实施例可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，例如，路由器的硬盘、缓存或光盘中。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种摄像机标定的方法，其特征在于，包括：

对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到所述图像中对应于同一个三维空间点的SIFT特征点的象素坐标，所述图像为所述摄像机围绕光心旋转拍摄得到的同一场景的至少两幅图像；

根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，选择标定参考图像和有效图像；

根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，建立所述标定参考图像与所述有效图像之间的变换关系；

根据所述变换关系，计算所述摄像机的内部参数，完成所述摄像机的标定；

其中，所述根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，选择标定参考图像和有效图像，包括：

选择所述图像中的一幅作为参考图像，根据对应于同一个三维空间点的SIFT特征点的象素坐标，使用位姿估计算法计算除所述参考图像外的其他图像相对于所述参考图像之间的相关旋转方位，所述旋转方位为三个坐标轴向的旋转角度；

选择在三个坐标轴向的旋转角度中，有至少一个坐标轴向的旋转角度满足预先设定的角度的其他图像为候选有效图像；

选择拥有所述候选有效图像的数量最多的参考图像为标定参考图像；

选择所述标定参考图像和所述标定参考图像的候选有效图像为标定的有效图像。

2.如权利要求1所述的摄像机标定的方法，其特征在于，所述对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到所述图像中对应于同一个三维空间点的SIFT特征点的象素坐标，包括：

对所述图像进行SIFT特征点提取；

在所述图像之间进行SIFT特征点匹配，其中，采用特征点的特征向量的欧式距离作为所述图像中SIFT特征点是否匹配的判断依据，采用最近邻比法作为所述图像中SIFT特征点是否匹配的判断法则，采用按序循环匹配的方法进行匹配；

根据得到的匹配SIFT特征点，得到所述图像中对应于同一个三维空间点的SIFT特征点的象素坐标。

3.如权利要求1所述的摄像机标定的方法，其特征在于，所述根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，建立所述参考图像与所述有效图像之间的变换关系，包括：

根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，

使用线性方法分别计算所述参考图像变换到所述有效图像的2D投影变换的初始值；

使用迭代优化方法计算所述参考图像变换到所述有效图像的2D投影变换的精确值。

4.一种摄像机标定的装置，其特征在于，包括：

特征点处理模块，用于对摄像机拍摄的图像进行尺度不变特征SIFT特征点的提取和匹配，得到所述图像中对应于同一个三维空间点的SIFT特征点的象素坐标，所述图像为所述摄像机围绕光心旋转拍摄得到的同一场景的至少两幅图像；

选择模块，用于根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，选择标定参考图像和有效图像；

建立模块，用于根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，建立所述参考图像与所述有效图像之间的变换关系；

计算模块，用于根据所述建立模块中建立的所述变换关系，计算所述摄像机的内部参数，完成所述摄像机的标定；

其中，所述选择模块包括：

计算单元，用于选择所述图像中的一幅作为参考图像，根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，计算除所述参考图像外的其他图像相对于所述参考图像之间的相关旋转方位，所述旋转方位为三个坐标轴向的旋转角度；

选择单元，用于选择在三个坐标轴向的旋转角度中，有至少一个坐标轴向的旋转角度满足预先设定的角度的其他图像为候选有效图像；

所述选择单元还用于选择拥有所述候选有效图像的数量最多的参考图像为标定参考图像；

所述选择单元还用于选择所述标定参考图像和所述标定参考图像的候选有效图像为标定的有效图像；

其中，所述计算单元包括：

选择子单元，用于选择所述图像中的一幅作为参考图像；

计算子单元，用于根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，使用位姿估计算法计算除所述参考图像外的其他图像相对于所述参考图像之间的相关旋转方位。

5.如权利要求4所述的摄像机标定的装置，其特征在于，所述特征点处理模块包括：

提取单元，用于对所述图像进行SIFT特征点提取；

匹配单元，用于在所述图像之间进行SIFT特征点匹配，其中，采用特征点的特征向量的欧式距离作为所述图像中SIFT特征点是否匹配的判断依据，采用最近邻比法作为所述图像中SIFT特征点是否匹配的判断法则，采用按序循环匹配的方法进行匹配；

获取单元，用于根据得到的匹配SIFT特征点，获取到所述图像中对应于同一个三维空间点的SIFT特征点的象素坐标。

6.如权利要求4所述的摄像机标定的装置，其特征在于，所述建立模块具体用于：

根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，建立所述参考图像变换到所述有效图像的2D投影变换；

相应地，所述建立模块包括：

初始值计算单元，用于根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，使用线性方法分别计算所述参考图像变换到所述有效图像的2D投影变换的初始值；

精确值计算单元，用于根据所述对应于同一个三维空间点的SIFT特征点的象素坐标，使用迭代优化方法计算所述参考图像变换到所述有效图像的2D投影变换的精确值。

Images