CN102075686B - 一种鲁棒的实时在线摄像机跟踪方法 - Google Patents

Abstract

一种鲁棒的实时在线摄像机跟踪方法，包括步骤：摄像机姿态的估计和关键帧的计算与添加，其中摄像机姿态的估计采用了快速的全局的特征匹配，能鲁棒地估计出当前帧的姿态，同时摄像机跟踪和场景映射建立。这种方法在场景较大或者摄像机运动较快的情况下产生了更稳定的匹配效果，克服了传统的摄像机跟踪方法依赖于局部匹配的局限性。另一方面，该方法对于关键帧的处理速度更快，使得场景中可包含更多的关键帧，增强了摄像机跟踪算法对于摄像机进入未知场景时容易跟踪失败的问题的应对能力。

Description

一种鲁棒的实时在线摄像机跟踪方法

技术领域

本发明属于计算机视觉和增强现实领域，特别是涉及未知场景中实时的摄像机跟踪方法。

背景技术

基于视觉的摄像机跟踪的目的是通过输入的图像序列或者实时的视频估计出一个摄像机相对于它周围环境的姿态(6自由度参数)。它对于很多其他的计算机视觉的应用，如3维重建，视频注册和图像增强都十分有用。传统上，这个问题是通过离线的运动恢复结构方法来解决的。但是，在一些实际应用中，如增强现实和自主导航，实时的相机姿态是必需的前提条件。在这些情况下，离线的方法不能够满足效率的需求，因此在线的实时摄相机跟踪近些年受到更多的关注。

近些年，同时定位和映射技术(Davison，A.，Reid，I.，Molton，N.，Stasse，O.：Monoslam：Real-time single camera slam.IEEE Trans.Pattern Analysis and MachineIntelligence 29(2007)1052-1067)因为其鲁棒性和高效性被广泛应用在实时摄像机跟踪方法中。在完全未知或者仅知道很小部分的场景中，同时定位和映射技术可以精确地有效地估计出实时的摄像机姿态，因而扩展了摄像机跟踪技术的可应用范围。但是，同时定位和映射技术仅适用较少的先验知识也带来了摄像机跟踪技术的鲁棒性问题。

传统的摄像机跟踪方法的鲁棒性问题主要存在于对于三种实际应用中常见的问题的抵御能力不足：(1)快速的摄像机运动；(2)摄像机运动带来的图像模糊；(3)摄像机抖动。其中问题1和问题3的本质上源于同一个原因，即摄像机跟踪技术对于上下两帧之间的连续性假设。绝大多数实时在线摄像机跟踪技术的核心是一个用来通过前几帧的摄像机姿态估计下一帧的摄像机姿态的运动模型和一个用来进行局部特征搜索与匹配的局部定位算法。其中后者又依赖于前者估计出的当前帧的摄像机姿态来作为局部特征搜索的初始值，如果前者估计的结果不可靠，摄像机跟踪就很可能失败。在问题1和问题3中，由于摄像机的运动并不严格遵守运动模型，因此很可能导致摄像机跟踪的失败。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种鲁棒的实时在线摄像机跟踪方法，该方法消除了摄像机跟踪体系对于运动模型所估计的当前帧摄像机姿态的依赖性，提高了摄像机跟踪方法的鲁棒性和稳定性。

本发明的技术解决方案：一种鲁棒的实时在线摄像机跟踪方法，包括初始化阶段和运行时阶段两个部分，其中初始化阶段包括：

(1)用户从输入的视频信号或者图像序列信号中选取两幅图像，并将这两幅图像转换为灰度格式，要求所述两幅图像中均存在同一平面的全部或部分内容；

(2)对于输入的图像采用角点检测方法，检测出图像中存在的角点，再根据每一个角点附近图像块信息，计算以角点为中心的小图像块，即特征点的描述器；以一幅图像中的所有特征为基础集合，在另一幅图像中搜索每一个特征点在基础集合中的距离最近的特征点，组成一个特征点匹配；

(3)根据所有的特征点匹配，计算两幅图像之间的单应性变换矩阵；设定两幅图像中共享的平面为世界坐标系基准平面，计算每一对匹配的特征点在三维坐标系中的交点，从而求得每一对匹配的特征点三维坐标。每一个已知世界坐标系中三维坐标的特征点是一个三维特征；

(4)将所有的三维特征组织成一个初始三维特征集合；

所述运行时阶段包括：

(a)从输入的视频或图像序列中获取一帽图像，并转换为灰度格式；

(b)对于输入的图像采用角点检测方法，检测出图像中存在的角点，再根据每一个角点附近图像块信息，计算以角点为中心的范围内的图像(约4×4的像素范围)的特征描述器；

(c)以初始化阶段步骤(4)中得到的三维特征集合中的特征点为基础集合，对于图像中的每一个特征点，在基础集合中找到与该特征点的特征描述器距离最近的特征点，并用这样的点对构成匹配集合；

(d)对于(c)中形成的匹配集合，检测匹配的特征点在两幅图像之间是否满足同一个刚性变换，对于不满足刚性变换约束的特征匹配，将其从匹配集合中剔除；

(e)根据剩下的特征匹配采用RANSAC的方法计算摄像机姿态；

(f)根据步骤(e)中计算出的摄像机姿态，判断当前输入图像是否应该作为关键帧加入到特征集合中，如果是，将新的特征加入到三维特征集合中。

本发明的与现有技术相比在优点在于：本发明以特征描述器为基础，实现已知的三维特征与图像中提取的二维特征的匹配，从而避免了对于摄像机姿态的不可靠估计，减少了使用运动模型进行估计带来的误差和错误；同时本发明采用了一种以两幅图像间的刚性变换为约束条件的特征筛选机制，通过将保持刚性的特性引入到特征匹配的环节中，快速的找到正确的特征匹配，提高了摄像机跟踪算法的时间效率。

附图说明

图1示出本发明整体流程图；

图2示出特征描述器的结构；一个特征描述器是一个N维归一化向量(本发明中N为350)；如果两个特征点的特征描述器之间的欧氏距离越小，则它们之间的相似度越高；

图3示出正确匹配筛选的过程；两幅图像中有6对特征匹配，分别为A1-A2，B1-B2，……F1，F2；经过刚性条件约束的筛选后，发现A1-A2，B1-B2，E1-E2，F1-F2在两幅图像间满足刚性变换约束，因此作为正确特征匹配被筛选出；

图4示出计算三维特征点的过程；已知两幅图像对应的摄像机姿态，可以求取摄像机到投影屏幕上的点的射线的交点来计算特征点在世界坐标系中的坐标。

具体实施方式

如图1所示，本发明实施过程包括初始化阶段和运行时阶段两个部分。

第一阶段：初始化部分包括选择输入图像、图像中特征点提取、图像间特征匹配、计算特征点三维位置、建立初始的特征点集合五个步骤。

第一步：选择输入图像。

用户根据自己的实际需要，如增强现实应用中的虚物需要叠加的位置，自主导航应用中的导航起始位置等，选择内容相近的两帧图像作为初始的输入图像，决定系统的起始位置。系统将该起始位置作为世界坐标系的原点，并根据两幅图像中共有的平面作为基准平面来建立世界坐标系。

第二步：特征点提取与匹配。

本步骤需要在第一步中用户选取的两幅图像中提取出特征点并计算特征点对应的特征描述器，并完成特征的匹配。

本发明首先采用角点检测方法，即采用特征描述器进行三维到二维特征的匹配，检测出图像中的梯度变化较大区域作为特征点，然后计算这些特征点附近的图像块对于N个已经训练好的特征点分类器的回应值，并将这N个回应值组织成为一个N维向量，作为该特征点的描述器。特征描述器如图2所示，一个特征描述器是一个N维归一化向量(本发明中N为350)。如果两个特征点的特征描述器之间的欧氏距离越小，则它们之间的相似度越高。

特征描述器使用公式(1)和(2)计算：

des(p_i)＝[v₁，v₂，L v_N]                    (1)

v_j＝response_j(p_i)                                   (2)

其中des()表示特征描述器，p_i表示第i个特征点，v_j表示向量的第j个维度，response_j()表示第j个分类器的回应值函数。

第三步特征匹配

在对两幅图像均提取其中特征点后，以其中一幅图像为基础集合，对另一幅图中的每个特征点，上面计算的特征描述器，在基础集合中找到与其最相似(特征描述器的距离最接近)的特征点，并将两个特征点组成一对特征点匹配。

对于每一个特征点p_i，在基础集合查找中与它最接近的特征，使用公式(3)：

$p_j=\underset{j}{\arg \min }\left(\right||\mathrm{des}\left(p_i\right)-\mathrm{des}\left(p_j\right)|\left|\right)---\left(3\right)$

其中p_j是与p_i最接近的特征点。

第四步：计算三维特征点。

根据第二步获得所有的特征点匹配，可以计算两幅图像之间的单应性变换矩阵。本发明将选择其中一幅图像的摄像机的位置作为原点，并以投影平面为基准平面，构建世界坐标系。通过单应性变换矩阵，可以求取摄像机在拍摄另一幅图像时的位置。根据两幅图像中的摄像机位置与特征点在投影屏幕上的位置构成的两条射线，求取其交点即为该特征在世界坐标系中的位置。该过程如图4所示。

第五步：建立初始的特征点集合。

将所有计算出三维位置的特征点放入特征点集合中，并把用户选择的两幅图像作为初始的两幅关键帧进行捆集调整，矫正特征点和关键帧的姿态信息，并剔除异常特征点。经过这些处理后的特征点的集合构成了初始特征点集合。

第二阶段：运行时部分。对于每一幅输入图像，首先提取其中的所有特征点并计算特征描述器，再与已有特征集合中的特征点进行比较，找到距离最近的特征点组成特征点对，并通过一种博弈论的模型来选择正确的特征点匹配，并使用五点算法计算摄相机姿态。最后判断当前输入图像是否满足关键帧的条件，如果满足，则计算出新的特征点，并加入到特征集合中。

第一步：获取输入图像，并进行处理。

从输入视频或者图像序列中获取一幅图像，并将其转换为灰度格式。

第二步：提取特征点并计算特征描述器。

使用角点检测方法，从第一步的灰度图像中提取出梯度变化较大的角点作为特征点的中心。取角点附近的一小块图像区域来训练特征描述器，具体过程与初始化步骤中的第二步相同。

第三步：构成匹配集合。

使用场景中已有的三维特征点(包括初始化建立的和后续加入的)构建一个k-d树。对于每一个从图像中提取出的特征点，根据其特征描述器，在k-d树中搜索与其距离最近的点，并将该点与搜索结果构成一组特征点匹配。

第四步：刚性约束检测。

对于第三步中得到的每一对特征匹配，需要将其中正确的特征点筛选出来，以便后续的摄像机姿态的计算。本发明将刚性约束条件引入到一个博弈论的模型中来完成正确匹配的筛选。图3示出正确匹配筛选的过程：两幅图像中有6对特征匹配，分别为A1-A2，B1-B2，……F1，F2。经过刚性条件约束的筛选后，发现A1-A2，B1-B2，E1-E2，F1-F2在两幅图像间满足刚性变换约束，因此作为正确特征匹配被筛选出。具体的方法如下：

对于第三步得到的每一对特征点匹配，将其视作博弈论模型中的一个参与者。对于每个参与者p_i，为其赋一个权值x_i，表示匹配对p_i是正确匹配的概率。假设参与者的总数为N。

初始时，该模型满足下列条件：

$\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{x}_i=1---\left(4\right)$

对于任意的i，j满足0≤i，j＜N，有

x_i＝x_j                    (5)

构建代价矩阵M，满足下列条件：

$M=\left(\begin{array}{ccc}{m}_{11}& K& m_{1n}\\ M& O& M\\ m_{n1}& L& m_{\mathrm{nn}}\end{array}\right)---\left(6\right)$

其中：

m_i，j＝r((p_i1，p_j1)，(p_i2，p_j2))                (7)

p_i1，p_j1表示参与者p_i，p_j在第一幅图像中的位置信息，类似的p_i2，p_j2表示参与者p_i，p_j在第二幅图像中的位置信息。r()表示刚性变换的兼容性。

使用公式(8)迭代权值向量x的值：

$x_i(t+1)=x_i\left(t\right)\frac{{\left(\mathrm{Mx}\left(t\right)\right)}_i}{{x\left(t\right)}^T\mathrm{Mx}\left(t\right)}---\left(8\right)$

其中x(t)表示第t次迭代的x的值。循环迭代过程，直到x的各元素值不再变化。

此时x中的那些非0元素对应的特征点匹配为正确匹配。

第五步：计算摄像机姿态。

从第四步获得了正确的特征点匹配后，如果这些特征点匹配的数量大于6，则可以计算出该输入图像对应的摄像机姿态。具体的计算过程是通过RANSAC算法，选取5个稳定的特征点，使用5点算法计算摄像机姿态，具体参考H.Stew′enius，C.Engels，and D.Nist′er.Recent developments on direct relative orientation.ISPRS Journal ofPhotogrammetry and Remote Sensing，60：284-294，June 2006.中介绍的内容。

第六步：判断关键帧。

根据第五步计算出的摄像机姿态，可以判断当前输入图像是否为关键帧。判断的依据是当前输入图像的摄像机姿态距离最接近的关键帧的距离是否小于一个阈值(阈值取1.0/平均特征点距离)，如果是，则将当前输入图像加入到关键帧集合中。

第七步：加入特征点

最后，选取二维图像中的一些未知的特征点作为新的三维特征，根据关键帧中的二维特征位置和摄像机的姿态，计算出新的三维特征在世界坐标系中的位置，将其加入到系统中，方便后续运行。

本发明未详细阐述部分属于本领域公知技术。

Claims (1)

1.一种鲁棒的实时在线摄像机跟踪方法，其特征在于：包括初始化阶段和运行时阶段两个部分，其中初始化阶段包括： 

（1）用户从输入的视频信号或者图像序列信号中选取两幅图像，并将这两幅图像转换为灰度格式，要求所述两幅图像中均存在同一平面的全部或部分内容； 

（2）对于输入的图像采用角点检测方法，检测出图像中存在的角点，再根据每一个角点附近图像块信息，计算以角点为中心的小图像块，即特征点的描述器；以一幅图像中的所有特征为基础集合，在另一幅图像中搜索每一个特征点在基础集合中的距离最近的特征点，组成一个特征点匹配； 

所述角点检测方法为：采用特征描述器进行三维到二维特征的匹配，检测出图像中的梯度变化较大区域作为特征点，然后计算这些特征点附近的图像块对于N个已经训练好的特征点分类器的回应值，并将这N个回应值组织成为一个N维向量，作为该特征点的描述器，一个特征描述器是一个N维归一化向量；如果两个特征点的特征描述器之间的欧氏距离越小，则它们之间的相似度越高； 

（3）根据所有的特征点匹配，计算两幅图像之间的单应性变换矩阵；设定两幅图像中共享的平面为世界坐标系基准平面，计算每一对匹配的特征点在三维坐标系中的交点，从而求得每一对匹配的特征点三维坐标，每一个已知世界坐标系中三维坐标的特征点是一个三维特征； 

（4）将所有的三维特征组织成一个初始三维特征集合，具体为： 

将所有计算出三维位置的特征点放入特征点集合中，并把用户选择的两幅图像作为初始的两幅关键帧进行捆集调整，矫正特征点和关键帧的姿态信息，并剔除异常特征点；经过这些处理后的特征点的集合构成了初始特征点集合； 

所述运行时阶段包括： 

（a）从输入的视频或图像序列中获取一幅图像，并转换为灰度格式； 

（b）对于输入的图像采用角点检测方法，检测出图像中存在的角点，再根据每一个角点附近图像块信息，计算以角点为中心的范围内的图像的特征描述器； 

（c）以初始化阶段步骤（4）中得到的三维特征集合中的特征点为基础集合，对于图像中的每一个特征点，在基础集合中找到与该特征点的特征描述器距离最近的特征点，并用这样的点对构成匹配集合； 

（d）对于（c）中形成的匹配集合，检测匹配的特征点在两幅图像之间是否满足同一个刚性变换，对于不满足刚性变换约束的特征匹配，将其从匹配集合中剔除； 

（e）根据剩下的特征匹配计算摄像机姿态； 

（f）根据步骤（e）中计算出的摄像机姿态，判断当前输入图像是否应该作为关键帧加入到特征集合中，如果是，则初始化新的特征，并将新的特征加入到三维特征集合中。 

Images