CN102194133A - 基于数据聚类的适应性图像sift特征匹配方法 - Google Patents

Abstract

基于数据聚类的适应性图像SIFT特征匹配方法，步骤如下：(1)获取参考图像序列，提取图像SIFT特征集，采用k-d树对全部图像SIFT特征集进行聚类。(2)采用级联vocabulary树组织全部参考图像SIFT特征集，对vocabulary树节点包含特征集进行二次特征聚类。(3)利用级联vocabulary树进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，完成第一阶段特征匹配。(4)利用关键图像完成第二阶段特征匹配，合并两阶段特征匹配结果。最后采用RANSAC、基本矩阵等技术进行外点剔除。本匹配方法不但能够极大提高特征匹配的鲁棒性，而且能够有效增强特征匹配的适应性。

Description

基于数据聚类的适应性图像SIFT特征匹配方法

技术领域

本发明属于计算机增强现实技术领域，具体地说是对大数据量条件下的图像SIFT特征集进行适应性匹配，提高特征匹配的鲁棒性。

背景技术

最邻近(Nearest Neighbor)特征查询技术是图像SIFT特征匹配的重要组成部分，在运动恢复结构、目标识别、图像检索、以及场景理解等方面都得到了广泛的应用。

作为最重要的空间剖分方法之一，k-d树被广泛用于最邻近特征匹配工作，但是随着特征维度的增加，由于需要遍历每一分支以精确定位匹配特征，该方法的匹配效率会迅速下降。Arya等人扩展了该方法以查找近似最邻近(Approximate Nearest Neighbor)特征。通过设置近似精度参数ε以提前终止k-d树匹配过程，该方法能够在仅损失极少精度前提下有效提高匹配速度，较好地适用于图像SIFT等高维特征的匹配问题。Beis等人进一步提出了一种使用优先队列的近似最邻近方法，称为BBF(Best Bin First)方法。通过控制优先队列长度作为终止条件，相比于Arya等人方法，该方法能够取得更好的图像SIFT匹配性能。最近，Silpa-Anan等人提出了一种随机k-d树方法。通过为同一数据集建立多棵k-d树并对多k-d树同时进行优先遍历，该方法不但有效提高图像SIFT特征匹配效率，而且能够极大改善图像SIFT特征匹配的鲁棒性。上述基于k-d树的方法都在不同程度上提高了图像SIFT匹配性能，但是由于k-d树剖分空间过程是刚性的，因此上述方法不能有效地在匹配效率与鲁棒性之间进行适应性调节。

Nister等人提出了一种vocabulary空间剖分结构，通过使用该结构组织特征集并采用基于信息熵的投票策略，该方法能够实现大数据量条件下的场景目标识别。基于该数据结构，Schindler等人进一步提出了一种类似BBF的GNP(Greedy N-Best Paths)方法，用以实现基于vocabulary树的最邻近特征匹配。最近，Muja等人将优先队列应用于vocabulary数据结构，给出了一种基于优先队列的近似最邻近图像SIFT匹配方法。从几何角度来说，vocabulary树构造过程等价于高维欧氏空间嵌套voronoi剖分过程。通过调节vocabulary树控制参数进而构造不同嵌套voronoi空间剖分形式，上述方法可以达到调节特征匹配鲁棒性的目的。但对于Schindler、Muja等人的方法来说，由于匹配过程受近似最邻近查询的约束，单纯地调节控制参数对其匹配效率影响不大。

发明内容

本发明要解决的技术问题：克服现有技术的不足，提供一种具有提高适应性的图像SIFT特征匹配方法。

本发明采用的技术方案：基于数据聚类的适应性图像SIFT特征匹配方法，其特点在于步骤如下：

(1)提取参考图像序列SIFT特征集，扩展vocabulary数据结构为级联vocabulary数据结构，将k-d数据结构空间剖分方式与vocabulary数据结构空间剖分方式有机结合，采用级联vocabulary数据结构组织图像SIFT特征集，不但可以进行特征聚类，而且能够实现近似最邻近特征匹配。

(2)两阶段特征聚类方法，第一阶段基于k-d树对全局重复特征集进行聚类。第二阶段利用vocabulary树组织聚类特征集并对vocabulary节点包含聚类特征进行提纯，确保聚类特征包含于节点表示的voronoi胞腔内。特征聚类过程能够降低噪声干扰，提高特征匹配鲁棒性。

(3)基于比值提纯的BBF特征匹配方法。在基于级联vocabulary树自上而下的特征匹配过程中，当遍历到节点p时，通过计算孩子节点代表的相邻voronoi胞腔中心到匹配特征距离比值并与提纯比值因子相比较，达到控制放入优先队列节点数量的目的，有效地起到调节特征匹配鲁棒性与效率目的。

(4)两阶段图像SIFT特征匹配方法。第一阶段利用级联vocabulary树进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，选择关键图像。第二阶段采用关键图像进行图像间特征匹配。最后合并两阶段特征匹配结果。采用RANSAC、基本矩阵等技术进行外点剔除。

所述步骤(1)的级联vocabulary树构建方法为：级联vocabulary树由参数集(b，d，f)与(b’，d’)控制生成。(b’，d’)控制的vocabulary树称为第一类vocabulary树，其中b’与d’分别表示分支参数与深度参数；(b，d，f)控制的vocabulary树称为第二类vocabulary树，其中(b，d)与(b’，d’)表示相同含义，f表示特征阈值参数，用来确保第二类vocabulary树叶节点包含最大特征数不会超过该参数给定的最大上限。通过使用k-d树组织这些叶节点包含特征集，有效实现了k-d数据结构空间剖分方式与vocabulary数据结构空间剖分方式有机结合。

所述步骤(2)中两阶段特征聚类方法为：首先将特征分为普通特征与聚类特征，第一阶段基于k-d树通过特征匹配方法迭代合并全局重复普通特征集为聚类特征，聚类特征描述子由所有重复特征描述子的算术平均值构成。第二阶段对级联vocabulary树节点包含聚类特征进行提纯，将聚类特征中不属于节点表示voronoi胞腔的所有普通特征剔除并更新聚类特征描述子，确保聚类特征包含于节点表示的voronoi胞腔内。特征聚类过程能够降低噪声干扰，提高特征匹配鲁棒性。

所述步骤(3)中基于比值提纯的BBF特征匹配方法为：给定图像SIFT特征描述子p，当自上而下遍历vocabulary树到节点q时，BBF方法按如下步骤存储孩子节点q₁，q₂，...，q_b，其中b为分支数。首先计算p到各个孩子节点q_i的对应距离dist_i＝||p-q_i||₂，其中||||₂表示欧氏距离。然后按照该距离由小到大对孩子节点进行排序，得到排序后节点q_k1，q_k2，...，q_kb，除q_k1节点外，所有后续节点只有满足条件dist(p，q_k1)≤dist(p，q_kj)·ε，才能将其放入优先队列。提纯因子ε的加入可以有效控制放入优先队列的节点数量，从而提高特征匹配的柔性。

所述步骤(4)中两阶段特征匹配方法为：第一阶段利用级联vocabulary树进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，对于每一次匹配成功的图像特征，首先判断其特征类型，若为普通特征，则仅为其所属图像投票；若为聚类特征，则投票过程需要对其包含全部普通特征依次进行。完成全部匹配特征投票后，分别选择票数最多图像作为关键图像。第二阶段采用两关键图像进行图像间特征匹配。最后合并两阶段特征匹配结果并采用RANSAC、基本矩阵等技术进行外点剔除，匹配结果最优者即为所求输出结果。

本发明与现有技术相比的优点在于：

(1)通过两类不同参数集的有效控制，级联vocabulary树有机地将两种不同vocabulary数据结构通过级联方式组织在一起，不但有效实现了k-d数据结构与vocabulary数据结构的结合，而且能够实现多模式的特征匹配过程，极大提高了特征匹配的适应性；

(2)针对级联vocabulary树提出的两阶段特征聚类方法，有效实现了级联vocabulary树节点包含聚类特征的提纯工作，确保了聚类特征包含全部重复普通特征分布voronoi胞腔的唯一性以及聚类特征与重复普通特征分布voronoi胞腔的一致性；

(3)通过设置比值提纯因子改进BBF特征匹配方法，通过调节比值提纯因子，基于比值提纯的BBF方法能够有效控制基于级联vocabulary树的匹配过程，达到匹配效率与匹配鲁棒性的平衡；

(4)两阶段特征匹配方法的提出，基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配的关键图像选择方法不但能够正确选择关键图像，而且可以有效完成图像SIFT特征匹配工作。通过将第一阶段匹配特征集传递给第二阶段匹配特征集，两阶段匹配特征集的级联合并能够在大数据量条件下有效提高特征匹配的鲁棒性。

附图说明

图1为本发明级联vocabulary树示意图；

图2为本发明基于级联Vocabulary树的两阶段特征聚类示意图；

图3A，图3B为本发明路政匹配鲁棒性直观示意图；

图4A到图4D为本发明第一阶段特征匹配适应性示意图。

具体实施方式

表1给出了本发明的具体步骤：

表1

本发明流程包括离线阶段基于级联vocabulary树的两阶段特征聚类部分与在线阶段基于级联vocabulary树的两阶段特征匹配部分。其中级联vocabulary树按如下方法构建。

1.级联Vocabulary树及其构建

图1给出了级联Vocabulary树示意图。

级联vocabulary树由参数集(b，d，f)与(b’，d’)控制生成。(b’，d’)控制的vocabulary树称为第一类vocabulary树，其中b’与d’分别表示分支参数与深度参数；(b，d，f)控制的vocabulary树称为第二类vocabulary树，其中(b，d)与(b’，d’)表示相同含义，f表示特征阈值参数，用来确保第二类vocabulary树叶节点包含最大特征数不会超过该参数给定的最大上限。通过使用k-d树组织这些叶节点包含特征集，当匹配过程自上而下遍历到这些叶节点时，可以转换为诸如BBF的近似最邻近方法进行特征匹配。级联vocabulary树每一个节点都拥有一个平均描述子meandescr，其值可计算如下：

$\mathrm{meandescr}=\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{descr}}_i\right)/k---\left(1\right)$

其中k为节点包含特征数，descr_i为第i个特征的特征描述子。

上述控制参数集之间存在着密切的约束关系，这些约束关系可归纳为如下公式：

b＝b′                        (2)

d′≥d                        (3)

f＝N/b^d-1                     (4)

其中，公式(4)中N表示全部图像SIFT特征数量。

在给定上述约束条件前提下，级联vocabulary树可以按照Scalablerecognition with a vocabulary tree中方法递归构建。值得注意的是，在第二类vocabulary树构建过程中，由于参数集(b，d，f)存在密切的约束关系，构建过程递归进行的充要条件是当前节点深度小于d与当前节点包含特征数大于f同时成立。除此之外的任何条件都将终止建树过程。

2.基于级联Vocabulary树的两阶段特征聚类方法

图2给出了一个两层嵌套voronoi空间剖分示意图，其中圆形结点表示图像SIFT特征描述子，方形结点表示voronoi胞腔中心。显然，每一嵌套voronoi胞腔都对应一个级联vocabulary树节点。随着特征数据量的增加，分布于各个voronoi胞腔中的重复特征也会迅速增加，进而影响特征匹配的鲁棒性。两阶段特征聚类方法能够将分布于不同voronoi胞腔中的大量重复特征合并。方法包括第一阶段全空间重复特征聚类过程与第二阶段voronoi胞腔单元重复特征聚类过程。其中第一阶段聚类如算法1所示：

在算法2中，普通特征定义为feature＝{belonged，descr，fwd_matching}，belonged为隶属图像，descr是图像SIFT特征描述子，fwd_matching用于存放匹配特征。聚类特征为普通特征的集合，定义为cfeature＝{F，meandescr}，其中F为普通特征集合，meandescr为平均特征描述子，计算方法由公式(1)给出。

完成第一阶段聚类后，利用级联vocabulary树重新组织全空间特征集。从几何角度来说，该过程使得分布于全空间中的特征重新随机分布于不同voronoi胞腔内。由于第一阶段聚类过程无法保证聚类特征与其包含的重复特征有相同的voronoi胞腔分布，因此有必要进行第二阶段聚类以确保聚类特征与其包含重复特征同时分布于相同voronoi胞腔，如算法2所示：

3.在线两阶段特征匹配

在基于vocabulary树的BBF方法中，给定图像SIFT特征描述子p，当自上而下遍历到节点q时，BBF方法按如下步骤存储孩子节点q₁，q₂，...，q_b，其中b为分支数。首先计算p到各个孩子节点q_i的对应距离dist_i＝||p-q_i||₂，其中||||₂表示欧氏距离。然后按照该距离由小到大对孩子节点进行排序，得到排序后节点q_k1，q_k2，...，q_kb。最后按倒序将上述节点依次存入优先队列。从几何角度考虑，上述孩子节点代表的voronoi胞腔之间是由超平面分开的，这种邻接关系决定了各超平面到特征p的距离直接影响了近似最邻近特征的查询过程。因此，本文进一步给出了一种比值提纯的BBF方法。除q_k1节点外，所有后续节点只有满足条件dist(p，q_k1)≤dist(p，q_kj)·ε，才能将其放入优先队列。这样，按公式dist(p，q_k1)≤dist(p，q _kj)·ε在0～1之间调节提纯因子ε，本文方法可以有效控制放入优先队列的节点数量，从而提高特征匹配的柔性。利用该方法，第一阶段特征匹配过程如算法3所示。

算法3同时进行基于比值提纯的BBF与信息熵的两种匹配方法以选择关键图像。信息熵匹配策略采用Keyframe-based real-time camera tracking给出的方法。其中N_p(k)表示节点p中图像k包含的特征数。整个匹配过程自上而下遍历进行，当访问到节点p时，首先判断该节点是否满足第一类vocabulary树的匹配要求，只有满足p到特征f的距离为p所在层中最小时才需要进行该次匹配操作。然后再判断该节点是否为第二类vocabulary树叶节点以进行基于k-d树的匹配。

选择关键图像KI1、KI2后，如果两关键图像不一致，则需要分别进行特征匹配，选择匹配最优者作为第二阶段匹配特征集。由于在算法3步骤9中已经记录了第一阶段的特征匹配信息，可以进一步将该匹配特征集按照是否属于关键图像进行提纯，将提纯后特征集与第二阶段匹配特征集合并，作为最终的匹配结果。完成上述特征匹配工作后，为提高特征匹配鲁棒性，可以进一步采用Random sample consensus：a paradigm fbr model fitting with applications to image analysis and automated cartography提出的RANSAC技术与MuItiple view geometry in computer vision提出的基本矩阵等技术进行外点剔除工作。图3A、图3B为基于数据聚类的适应性图像SIFT特征匹配鲁棒性效果示意图。演示效果在一台普通桌面PC机器上实现，硬件配置环境为Intel Core 2Duo2.66GHz处理器，软件环境为Windows XP平台，采用VC2005.NET平台开发，开发过程中使用了OpenCV库。图像序列统一采用640×480像素大小图片。

为执行该演示，我们选择A Performance Evaluation of Local Descriptors中使用的6幅渐增模糊变换图像序列集合进行验证。在验证过程中，我们选择最清晰图像(图3A、图3B下方图像)为实时匹配图像，选择其余图像为参考图像序列进行聚类并选择最模糊图像(图3A、图3B上方图像)进行匹配。匹配效果如图3A、图3B所示。图3A中无箭头线段代表标准图像-图像匹配方法生成的匹配特征集，共有120对匹配特征，图3B中圆形箭头线段代表本文提出的匹配方法生成的新匹配特征集，共有16对匹配特征，显然，本发明极大提高了特征匹配的鲁棒性(上面)。

图4A到图4D为基于数据聚类的适应性图像SIFT特征匹配适应性效果示意图。我们采用Scalable recognition with a vocabulary tree中提供的数据来验证第一阶段特征匹配的适应性。该数据集包含若干目标物体图像序列，每一图像序列包含4幅图像。我们采用了该图像集合中的前100幅图像进行相关实验，共包含25组目标图像序列。首先从每一组中选择第一幅图像作为匹配图像序列，共25幅。对剩余的75幅图像，分两次递增选择参考图像序列。第一次选择每一组中的第二幅图像作为参考图像序列进行匹配，匹配效果如图4A、4B所示。第二次选择全部剩余75幅图像进行匹配，匹配效果如图4C、4D所示。在图4A到图4D中，特征匹配效率用级联vocabulary树匹配时间与线性匹配时间比值表示。特征匹配鲁棒性用正确匹配特征数量表示，对于聚类特征，只要其中任一普通特征存在正确匹配关系，我们就认定该聚类特征为一正确匹配特征。整个匹配过程受参数集(N，CN，MN，ε，f，b，d)控制，其中N为参考特征数量，CN为聚类特征数量，MN为匹配特征数量，ε为比值提纯因子。f，b，d为第二类vocabulary树控制参数，按照公式(2)-(4)选取，其中在计算f的过程中，一方面我们取公式(4)计算结果的近似值以尽可能满足b、d等参数的约束条件，另一方面还要保证f的取值不能太小以避免无法有效构建k-d树。显然，随着参数的变化，本发明方法表现出了极大的灵活性。

Claims (5)

1.一种基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于步骤如下：

(1)提取参考图像序列SIFT特征集，在vocabulary数据结构基础上扩展出级联vocabulary数据结构，通过级联构造vocabulary数据结构与k-d数据结构于同一级联vocabulary数据结构中，使得k-d数据结构空间剖分方式与vocabulary数据结构空间剖分方式相结合；

(2)两阶段特征聚类，第一阶段基于k-d数据结构对全局重复特征集进行聚类；第二阶段利用vocabulary数据结构组织聚类特征集并对vocabulary数据结构全部节点包含的聚类特征进行提纯，确保聚类特征包含于节点表示的voronoi胞腔内；

(3)基于比值提纯的BBF特征匹配，BBF即Best Bin First，在基于级联vocabulary数据结构自上而下的特征匹配过程中，当遍历到某一节点时，通过计算该节点所有孩子节点代表的相邻voronoi胞腔中心到匹配特征距离比值并与预先设定的提纯比值因子相比较，控制放入优先队列节点的数量；

(4)两阶段图像SIFT特征匹配，第一阶段利用级联vocabulary树进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，选择关键图像；第二阶段采用第一阶段选择的关键图像进行图像间特征匹配；最后合并两阶段特征匹配结果并采用RANSAC或基本矩阵技术进行外点剔除。

2.根据权利要求1所述基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于：所述步骤(1)的扩展出级联vocabulary数据结构具体为：首先采用参数集(b，d，f)与(b’，d’)控制的两类不同vocabulary数据结构级联构建vocabulary树；其中b、b’表示分支数，d、d’表示深度，f为阈值节点，设定vocabulary数据结构叶节点包含最大特征数；然后使用k-d数据结构组织受参数集(b，d，f)控制的vocabulary数据结构叶节点包含图像SIFT特征集。

3.根据权利要求1所述基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于：所述步骤(2)中两阶段特征聚类方法为：首先将图像SIFT特征分为普通特征与聚类特征，第一阶段基于k-d数据结构合并全局重复普通特征集为聚类特征；第二阶段对vocabulary数据结构中全部节点包含的聚类特征进行提纯，确保聚类特征包含于节点表示的voronoi胞腔内；上述两阶段聚类特征描述子由所有重复特征描述子的算术平均值构成。

4.根据权利要求1所述基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于：所述步骤(3)中基于比值提纯的BBF特征匹配方法为：给定图像SIFT特征描述子p，当自上而下遍历级联vocabulary数据结构到某一节点q时，对按照最近距离排序获得节点q₁，q₂，...，q_b，其中b为分支数；除最邻近q_k1节点外，所有后续节点只有满足条件dist(p，q_k1)≤dist(p，q _kj)·ε，才能将其放入优先队列，其中ε为提纯因子，dist为求两点欧氏距离的函数。

5.根据权利要求1所述基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于：所述步骤(4)中两阶段图像SIFT特征匹配方法为：第一阶段进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，分别为匹配特征所属图像进行计数投票；完成全部特征匹配后，选择票数最多图像作为关键图像；第二阶段采用关键图像进行图像间特征匹配；合并两阶段特征匹配结果；采用RANSAC或基本矩阵技术进行外点剔除。

Images