CN102005041B - 一种针对存在循环回路的图像序列的特征点匹配方法 - Google Patents

Abstract

本发明公开了一种针对存在循环回路的图像序列的特征点匹配方法，包括如下步骤：1)从图像序列中的每一帧图像上提取特征点；2)在图像序列的连续帧之间进行两遍特征匹配，生成与场景三维点对应的特征轨迹；3)根据与场景三维点对应的特征轨迹生成特征轨迹描述量，并由所述特征轨迹描述量得到各特征轨迹之间的匹配关系，根据特征轨迹之间的匹配关系计算图像序列的图像相似矩阵；4)根据所述图像相似矩阵检测出图像序列中存在的循环回路，对每个循环回路中的子序列进行特征点匹配；然后将匹配成功的对应同一个场景三维点的特征轨迹进行合并。

Description

一种针对存在循环回路的图像序列的特征点匹配方法

技术领域

本发明涉及图像序列的特征点匹配方法，尤其涉及一种针对存在循环回路的图像序列的特征点匹配方法。

技术背景

摄像机跟踪技术是指从输入图像序列中恢复摄像机的参数信息，同时重建拍摄场景的稀疏三维结构，其结果广泛应用于影视制作、三维跟踪和增强现实。图像之间的特征点匹配是摄像机跟踪的关键技术，即确定不同图像间相同物体的对应关系。

现有许多摄像机跟踪技术是针对离散拍摄的图像集合（主要可参考Agarwal,S.,Snavely,N.,Simon,I.,Seitz,S.M.,Szeliski,R.:Building rome in a day.In:ICCV.(2009)72–79）。离散的图像之间缺少先验的关联信息，其特征匹配只能枚举整个图像集合中的所有图像对。这种方法的匹配复杂度是二次的，如果涉及到成百上千帧图像的求解，通常需要几天甚至几个星期的时间完成特征匹配。

相比离散的图像集合，视频拍摄得到的图像序列在时序上包含更多关联信息，相邻帧之间往往具有更强的相似性。通常的方法是仅仅在连续帧之间进行特征匹配，KLT或者SIFT等都可以在这种情形下适用（可参考Guofeng Zhang,Xueying Qin,Wei Hua,Tien-Tsin Wong,Pheng-Ann Heng,and Hujun Bao.RobustMetric Reconstruction from Challenging Video Sequences.IEEE Conference onComputer Vision and Pattern Recognition(CVPR),2007.）。

连续帧匹配的复杂度是线性的，可以很高效地完成图像序列的特征点匹配，但是存在两个缺点：1）由于图像的噪声、物体遮挡等原因，同一个特征的匹配会被中断；2）由于仅仅在连续帧之间进行匹配，该方法无法检测到图像序列中的回路。因此，摄像机跟踪技术单纯利用连续帧匹配得到的特征点不能得到精确的求解结果，存在结构扭曲、交错等问题。

发明内容

本发明的目的在于针对现有图像序列的特征点匹配方法的不足，提供一种针对存在循环回路的图像序列的特征点匹配方法。

为实现上述目的，本发明所采取的技术方案是：所述针对存在循环回路的图像序列的特征点匹配方法包括如下步骤：

1）从图像序列中的每一帧图像上提取特征点和特征描述量；

2）在图像序列的连续帧之间进行两遍特征匹配，生成与场景三维点对应的特征轨迹；

3）根据与场景三维点对应的特征轨迹生成特征轨迹描述量，并由所述特征轨迹描述量得到各特征轨迹之间的匹配关系，再根据特征轨迹之间的匹配关系计算图像序列的图像相似矩阵；

4）根据所述图像相似矩阵检测出所述图像序列中存在的循环回路，对每个循环回路中的子序列进行特征点匹配；然后将匹配成功的对应同一个场景三维点的特征轨迹进行合并。

进一步地，本发明在步骤2）中，所述两遍特征匹配的步骤为：

1)在第一遍匹配时，采用比较特征描述量距离的方式获得匹配点；

2)在第二遍匹配时，根据第一遍匹配得到的匹配点中的正匹配点，计算所述连续帧之间的单应映射关系，然后通过极线几何约束下的图像空间邻域搜索，为在第一遍匹配中没匹配成功的特征点进行再次匹配。

进一步地，本发明在步骤3）中，所述“由所述特征轨迹描述量得到特征轨迹之间的可能匹配关系，根据特征轨迹之间的可能匹配关系计算图像序列的图像相似矩阵”的步骤为：利用将特征轨迹描述量进行聚类的方法，将具有相似特征轨迹描述量的特征轨迹聚集到同一个特征轨迹组中，然后对所有特征轨迹组统计图像序列的任意两帧图像上的相似特征轨迹数量，并以所述相似特征轨迹数量作为图像之间的相似度衡量标准构成图像相似矩阵。

进一步地，本发明所述“根据所述图像相似矩阵检测出图像序列中存在的循环回路”的方法为：

在所述图像相似矩阵中，检测图像相似度最大值，然后以所述图像相似度最大值为中心，分别向横向、纵向搜索找到与所述图像序列中存在的循环回路对应的图像区间，所述图像区间内的所有图像相似度都大于阈值；根据横向、纵向的图像区间确定相应两个子序列，由此得到对应的循环回路。

与现有技术相比，本发明的有益效果是：

（1）本发明提出的两遍匹配方法降低了图像噪声、摄像机运动对特征点匹配的影响，可以将被打断的特征轨迹连接起来，以生成稳定的、较长的特征轨迹，为进一步应用提供了稳定的基础。

（2）本发明结合层次化聚类方法，对特征轨迹描述量进行聚类，以检测图像序列中的循环回路，合并对应同一个三维点、但是被打断的特征轨迹，大大地增强摄像机跟踪等技术在大型复杂图像序列中的稳定性和实用性。

（3）本发明的特征点匹配方法是全自动的方法，其中涉及的参数都经过试验取为固定的值，不需要根据序列调整。本发明的运行十分高效，对于几千帧图像序列，仅仅需要几十分钟；而且本发明匹配结果稳定，得到的特征点匹配结果可直接用于摄像机跟踪、增强现实等应用。

附图说明

图1是本发明在进行第二遍匹配时利用极线几何进行局部搜索的示意图；

图2是对特征轨迹描述量进行层次化聚类的示意图；

图3是将本发明方法获得的特征轨迹应用于摄像机跟踪的结果示意图。

具体实施方式

以下具体说明本发明的技术方案。本发明方法的具体步骤如下：

步骤1）从图像序列中的每一帧图像上提取特征点，其具体步骤为：

设输入图像序列为

本发明的目标是从所有图像帧中提取特征点进行匹配，构成特征轨迹。一个特征轨迹χ对应场景中的一个三维点，实际上是一个图像特征点的集合，即χ={x_i|i∈f(χ)}，f(χ)是可观察到特征轨迹χ的图像集合，x_i是特征点在图像i上的坐标，通过SIFT方法检测（也可使用其它特征点方法，如SURF等），同时x_i还包含相应的SIFT特征描述量p(x_i)，而χ的描述量是所有x_i描述量的平均值。

从每一帧图像上提取SIFT特征点的过程是：

1）利用从小到大的高斯核对图像进行过滤，形成一系列高斯平滑图像；

2）在相邻的高斯平滑图像之间进行图像差操作，形成一系列高斯差图像；

3）在相邻的高斯差图像之间检测局部极值，确定SIFT特征点的位置x_i；

4）根据高斯核的方差确定局部窗口大小，并计算亮度梯度的分布计算SIFT特征描述量p(x_i)。

步骤2）在图像序列的连续帧之间进行两遍特征匹配，生成与场景三维点对应的特征轨迹。其具体方法如下：

从图像上提取SIFT特征点之后，需要将位于不同图像上的相同特征点匹配起来，形成特征轨迹。本发明采取两遍匹配策略来解决由于特征区分度不够、噪声等因素造成的特征丢失问题，可以生成稳定的、较长的特征轨迹，最终得到的特征轨迹用于摄像机跟踪、三维重建、物体识别可以得到更加精确的结果。第一遍匹配采用比较特征描述量的距离的方式以获得匹配点；第二遍匹配则根据第一遍匹配得到的正匹配，结合极线几何约束，通过图像空间邻域搜索来为没匹配上的特征点重新匹配。第二遍匹配也可以直接用KLT方法跟踪第一遍匹配没能匹配成功的特征点，但是不如本发明的方法稳定。

1）假设一个特征轨迹χ正从第t帧图像I_t跟踪到t+1帧I_t+1，在I_t的位置记为x_t，描述量为p(x_t)。为了确定在I_t+1上是否有可匹配的特征点，先采用基于描述量比较的方法。

对于x_t，根据描述量的距离，可以在图像I_t+1上找到两个最接近的特征点，分别记为

和

它们的描述量分别表示为

和

特征点x_t和

之间的匹配可信度c，可以用最小特征距离与次小特征距离的比值来衡量：

$c=\frac{\left|\right|p\left(N_1^{t+1}\left(x_t\right)\right)-p\left(x_t\right)\left|\right|}{\left|\right|p\left(N_2^{t+1}\left(x_t\right)\right)-p\left(x_t\right)}.$

如果可信度c小于某一个阈值，则判断为匹配成功，从而特征点x_t在I_t+1上的匹配特征点为

2）经过第一遍匹配之后，本发明得到两帧图像（I_t,I_t+1）之间一组的特征点匹配，接着利用如下的RANSAC方法可以求得两帧之间的基础矩阵F_t，t+1，同时排除误匹配，得到一组正匹配。

a）设图像对（I_t,I_t+1）的特征点匹配集合 $M=((x_t^1,N_1^{t+1}\left(x_t^1\right)),(x_t^2,N_1^{t+1}\left(x_t^2\right)),...),$ 正匹配集合为M′，初始化为空集k=0；

b）从集合M中随机选择8个匹配点，计算基础矩阵

c）令M_g为M中满足基础矩阵

约束的匹配点集合，μ_F为距离阈值：

$M_g=\left\{(x_t^p,N_1^{t+1}\left(x_t^p\right))\right|\left|\right|x_t^p{F}_{t,t+1}^k{N}_1^{t+1}\left(x_t^p\right)\left|\right|<{\mathrm{\&mu;}}_F,x_t^p\&Element;M\};$

d）如果集合M_g中的元素数目大于M′，即‖M_g‖>‖M′‖，令M′=M_g；

e）如果k<T(T是最大循环次数)，k＝k+1，转到第b）步；

f）利用集合M′中的特征点计算最终的基础矩阵

3）对于图像I_t中没有匹配上的特征点，本发明将在它们在图像I_t+1对应的极线l_t，t+1(x_t)=F_t,t+1x_t上进一步搜索。本发明假设I_t中场景可分割成几个平面，可以根据第2）步得到的可信的正匹配计算一组单应映射

将特征点分成N组，方法如下：

a）首先将所有可信的正匹配置于集合Ω中；

b）for k=1,2,...,N，N是设定的单应映射的最多数目，

●利用RANSAC方法估计包含最多正匹配的单应映射

●将所有符合单应映射

即

的匹配从集合Ω删除。如果集合Ω中的匹配数目小于阈值，停止；否则，继续运行。

4）每一个单应映射

都可以将图像I_t矫正到新的图像

相应地，I_t中的特征点x_t点也会被矫正到中新的位置

见图1。如果

与极线l_t，t+1(x_t)之间的距离大于阈值α，即

则排除这个特征点。否则，根据下式在极线上搜索与

的特征最接近的匹配特征点，

$S_{t,t+1}^k\left(x_t\right)=\underset{x^{\&prime;}\&Element;l_{t,t+1}\left(x_t\right)}{\min }\underset{y\&Element;W}{\mathrm{\&Sigma;}}{\left|\right|{\hat{I}}_t^k({\hat{x}}_t^k+y)-I_{t+1}(x^{\&prime;}+y)\left|\right|}^2,$

W是局部窗口，x′在

半径r内的搜索区域中，对应的最优匹配表示为根据

可以得到一组匹配

本发明再选取其中最优的匹配作为x_t的匹配特征点

5）由于单应映射估计的误差，

的位置也存在一定的偏移，为了进一步改进匹配结果，本发明利用KLT（Kanade-Lucas-Tomasi Feature Tracker）跟踪方法，以为初始位置进一步优化

在I_t+1上的位置，得到

如果

和

之间的距离大于阈值，说明

和

两者必然有一估计错误，由于无法做出判断，本发明选择排除这个匹配。

步骤3）根据与场景三维点对应的特征轨迹生成特征轨迹描述量，并由所述特征轨迹描述量得到各特征轨迹之间的匹配关系，根据特征轨迹之间的匹配关系计算图像序列的图像相似矩阵。其具体方法如下：

为了合并输入图像序列中的循环回路，即相互之间存在相似内容（即有相同特征轨迹）的子序列，本发明利用层次化聚类方法（也可以使用其它非层次化的聚类方法，但速度会慢很多）来估计图像序列中各图像之间的相似程度，以寻找其中可能的循环回路。首先，经过在连续帧之间的特征点匹配步骤，本发明得到了许多特征轨迹，这些特征轨迹上的每个二维点上都有一个描述量。根据匹配准则，同一个轨迹上的描述量相互之间必须充分相似；本发明对这些描述量取平均，作为特征轨迹描述量。然后，基于特征轨迹描述量，本发明对得到的特征轨迹进行聚类。

本发明可以直接对特征点的描述量进行聚类，将相似的特征点分组到一起，从而确定相似的图像。但是本发明提出的基于特征轨迹描述量的方法，由于已经将连续帧上相似的特征点的描述量进行了合并，所以更能反映非连续帧上的匹配关系，不但计算更为高效，而且也更为稳定可靠。整个过程主要分为两个步骤，首先将先前步骤所得的特征轨迹，根据其所对应的特征描述量利用K-Means层次化方法进行聚类，形成许多特征轨迹组，每一个组内的特征轨迹的描述量是相似的；然后根据聚类所得的特征轨迹组，计算图像相似矩阵。

1）利用K-Means进行层次化聚类已经广泛应用于图像识别领域，本发明与特征词汇树的构建方法类似，但是最后只利用子节点信息来计算相似矩阵，具体方法的如图2所示：首先，所有的特征轨迹都置于根节点，K-Means方法可以根据特征轨迹的描述量，将特征轨迹分成b组，然后每一组特征轨迹构成根节点的子节点，共有b个子节点。接着对b个子节点包含的特征轨迹继续用K-Means进行分类，同样生成b个子节点。以此类推，直到到达l层为止。

2）第1）步所得到的特征词汇树的叶节点将所有特征轨迹的划分为许多组G_k(k＝1,2,...,K)，每一个特征轨迹组包含的特征轨迹所处的图像都可能是处在循环回路序列上，通过统计图像之间共享的特征轨迹组信息，就可以计算图像之间的相似矩阵，从而确定图像序列中的循环回路。

相似矩阵S的元素全部初始化为0，然后遍历所有的特征轨迹组，只要两个特征轨迹（χ_u,χ_v）存在的图像集合f(χ_u)和f(χ_v)不存在任何交集，就将图像集合中所有图像对相应的矩阵元素加1；最后对生成的矩阵进行归一化。具体方法如下：

a）将相似矩阵S的元素全部设为0；

b）对G_k(k＝1,2,...,K)中的每一个特征轨迹组；

对G_k中每一对特征轨迹（χ_u,χ_v）；

如果

对所有i∈f(χ_u)和j∈f(χ_v),

S(i,j)+=1,

S(j,i)+=1.

步骤4）根据所述图像相似矩阵检测出图像序列中存在的循环回路，即相互之间存在相似内容（即有相同特征轨迹）的子序列，对每个循环回路中的子序列进行特征点匹配；然后将匹配成功的对应同一个场景三维点的特征轨迹进行合并。其具体步骤为：

在得到图像相似矩阵之后，需要检测图像序列中的循环回路，并在循环回路中的子序列之间进行特征点匹配，合并循环回路上对应同一个场景三维点但是被打断的特征轨迹。循环回路表示为矩阵的横向图像区间[u_b,u_e]，和纵向区间[v_b,v_e]，分别代表子序列φ₁={u_b,...,u_e}和φ₂={v_b,...,v_e}。区间[u_b,u_e]和[v_b,v_e]的检测由如下方法完成：

a)在相似矩阵S中搜索最大的元素，记为S_ij；

b)搜索最大的区间[u_b,u_e]，满足u_b<i＜u_e，而且

c)以类似的方式搜索纵向区间[v_b,v_e]；

d)设φ₁={u_b,...,u_e}和φ₂={v_b,...,v_e}；

对i＝u_b,...,u_e,//子序列φ₁

对j=v_b,...,v_e,//子序列φ₂

●利用比较描述量的方法匹配图像I_i和I_j中的特征轨迹；

●假设特征轨迹χ_s(序列φ₁中)和χ_t(序列φ₂中)匹配成功，如果其中任何一对特征轨迹 $\left\{(x_i^s,x_j^t)\right|i\&Element;f\left({\mathrm{\&chi;}}_s\right)\&cap;{\mathrm{\&phi;}}_1,j\&Element;f\left({\mathrm{\&chi;}}_t\right)\&cap;{\mathrm{\&phi;}}_2\}$ 不满足极线几何约束，即不满足

则取消合并χ_s和χ_t。

e）将相似矩阵S在[u_b,u_e]和[v_b,v_e]之间的元素设为0，转到第a)步。

经过上述步骤之后，本发明可以针对存在循环回路的图像序列的特征点匹配方法输出一系列稳定精确的特征轨迹，可用于摄像机跟踪、增强现实等。以下是使用本发明方法获得特征轨迹用于摄像机跟踪的一个实例。其中各参数的取值如下：c=0.7,α=2.0,r=15,b=10,l=5,τ=0.8,d=3.0,μ_F=2.0,μ_H=2.0,T=20,W=15。在图3中，图3(a)是输入的图像序列，场景是一个贴有墙纸的直角角落，包含两个相互垂直的平面；图3(b)是得到的图像相似矩阵，亮度大表示相似度高，两个方框标示了两个循环回路所在的区域；图3(c)是没有合并循环回路的摄像机跟踪结果，恢复的三维结构存在明显错误，右侧的平面分成两个部分，如图3(c)所示的平面1和平面2；图4(d)是合并循环回路之后的摄像机跟踪结果，右侧的两个平面合并到一起，成为平面3，由此得到正确的重建结果。

综上可见，本发明提升了针对存在循环回路的图像序列的特征点匹配的效率稳定性、延展性，在现实应用中能得到稳定的摄像机跟踪结果。

Claims (3)

1.一种针对存在循环回路的图像序列的特征点匹配方法，其特征在于包括如下步骤：

1）从图像序列中的每一帧图像上提取特征点和特征描述量；

2）在图像序列的连续帧之间进行两遍特征匹配，生成与场景三维点对应的特征轨迹；

所述两遍特征匹配如下：

i) 在第一遍匹配时，采用比较特征描述量距离的方式获得匹配点；

ii) 在第二遍匹配时，根据第一遍匹配得到的匹配点中的正匹配点，计算所述连续帧之间的单应映射关系，然后通过极线几何约束下的图像空间邻域搜索，为在第一遍匹配中没匹配成功的特征点进行再次匹配；

3）根据与场景三维点对应的特征轨迹生成特征轨迹描述量，并由所述特征轨迹描述量得到各特征轨迹之间的匹配关系，再根据特征轨迹之间的匹配关系计算图像序列的图像相似矩阵；

4）根据所述图像相似矩阵检测出所述图像序列中存在的循环回路，对每个循环回路中的子序列进行特征点匹配；然后将匹配成功的对应同一个场景三维点的特征轨迹进行合并。

2.根据权利要求1所述的一种针对存在循环回路的图像序列的特征点匹配方法，其特征在于：在步骤3）中，所述“由所述特征轨迹描述量得到特征轨迹之间的匹配关系，再根据特征轨迹之间的匹配关系计算图像序列的图像相似矩阵”的步骤为：利用将特征轨迹描述量进行聚类的方法，将具有相似特征轨迹描述量的特征轨迹聚集到同一个特征轨迹组中，然后对所有特征轨迹组统计图像序列的任意两帧图像上的相似特征轨迹数量，并以所述相似特征轨迹数量作为图像之间的相似度衡量标准构成图像相似矩阵。

3.根据权利要求1所述的一种针对存在循环回路的图像序列的特征点匹配方法，其特征在于，所述“根据所述图像相似矩阵检测出所述图像序列中存在的循环回路”的方法为：在所述图像相似矩阵中，首先检测图像相似度最大值，然后以所述图像相似度最大值为中心，分别向图像相似矩阵的横向、纵向搜索找到与所述图像序列中存在的循环回路对应的图像区间，所述图像区间内的所有图像相似度都大于阈值；根据横向、纵向的图像区间确定相应两个子序列，由此得到对应的循环回路。

Images