CN101739721A - 基于时变和无序多图像的四维场景建模方法 - Google Patents

Abstract

本发明涉及一种基于时变和无序多图像的四维场景建模方法，技术特征在于：利用sift算法对每幅图像自动提取特征点，每幅图像根据分辨率不同一般可提取数千至上万个特征点，对三维点集合进行分割，得到单独的建筑，计算每个建筑在图像上的深度信息，利用深度的大小进行遮挡判断。仔细观察城市的变化规律，建筑都是作为整体建成或拆除，因此以建筑作为基本单位。有益效果：利用特征描述子对图像间的特征点进行自动匹配，对原三维点模型的进一步抽象，提高了图像时间序列推导的准确性。同时将上万个三维抽象为若干个建筑大大提高了局部搜索算法的效率。

Description

基于时变和无序多图像的四维场景建模方法

技术领域

本发明涉及一种基于时变和无序多图像的四维场景建模方法，涉及计算机视觉和虚拟现实的交叉领域，综合运用了计算机图形学、计算机视觉和摄影测量学等多个学科的相关技术。该技术可用于重建随时间变化的三维真实场景的演化过程，也可进一步用于反映城市外貌变迁以及文化遗迹的发展变化。

背景技术

基于图像的三维场景建模过程主要包括了图像匹配和摄像机标定两大模块，这也是目前的研究热点，但针对大量时变和无序图像的处理方案却很少涉及。

Schaffalitzky和Zisserman在文献Multi-view matching for unordered image sets(ECCV，vol.1，pp.414-431，2002.)中提出了一种处理多幅图像关系的方案。该方案建立哈希表存储两两视图间的初始匹配，使用贪婪算法构建图像间的匹配关系图，并根据图中的每一个连通分量(即有相关内容的若干幅图)找出至少25条图中特征点的连通轨迹，这种特征点匹配技术在只有几幅图像的小规模三维场景重建时效果较好，但是当重建的场景规模需要上百甚至上千幅图像时，利用该方法处理的时间复杂度为O(n²)。Yao等(Pattern Recognition，vol.40(11)pp.3081-3099，2007)指出Schaffalitzky的方法在图的数量大时仍很耗时，而且在参考两图间的相似性时没有考虑匹配的可靠性。他们在建立生成树的过程中，若匹配数量小于50，则采用极线约束来检验图的相关性。该方法改进了多图间拓扑结构的可靠性，但仍然没有解决计算量问题。

目前，在四维场景重建领域，Grant Schindler，Frank Dellaert and Sing Bing Kang在文献Inferring Temporal Order of Images From 3D Structure.(CVPR，page(s)：1-7，2007)针对4D城市重建问题提出了一种从城市建筑图像中恢复时间序列的方法。首先利用SFM方法提取每幅图像的特征点，并对两两图像间的特征点进行匹配，进一步得到所有图像的特征点跟踪(track)，利用摄像机标定、捆集调整(bundle adjustment)等算法最终得到三维场景的欧式结构。在此基础上，对三维点在每幅图像的类别进行划分，构建可见性矩阵，将原问题转化为约束满足问题，利用回溯、局部搜索等方法最终复原出图像的时间序列。这种利用三维点为基本元素的方法在处理复杂城市场景时存在语义表达不足的问题，无法建立三维场景的时变模型。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于时变和无序多图像的四维场景建模方法，解决基于无序图像的四维场景建模问题。

本发明的思想在于：

技术方案

一种基于时变和无序多图像的四维场景建模方法，其特征在于步骤如下：

步骤1：采用SIFT算法对N幅数字图像提取SIFT局部不变特征，形成N个图像特征集；

步骤2：建立任意两幅图像的相似度度量

$\mathrm{Sim}(I_x,I_y)=\frac{n_{\mathrm{match}}}{\min \{n_{I_x},n_{I_y}\}}*\underset{i=1}{\overset{n_{\mathrm{match}}}{\mathrm{\Σ}}}f\left(i\right)$

其中x＝1，…，N，y＝1，…，N，x≠y，

和分别表示图像I_x和I_y的特征集大小，n_match表示匹配的特征点数目，1/min{n_A，n_B}是自适应系数项，f(i)表示第i对匹配特征的相似度值，f(i)＝d_i2/d_i1，其中d_i1和d_i2分别表示第i个特征到其最近邻特征和次近邻特征的距离；

步骤3：随机取出N个图像特征集合中的任一幅图像I_x，x＝1，…N作为种子图像，以该幅图像的相似度与所有图像采用BBF方法进行试探匹配，将Sim(I_x，I_y)大于阈值α的图像建立图像集合T_k，k＝1，…，所述的α＝1；

步骤4：在图像集合T中选取与种子图像Ix满足相似度Sim(I_x，I_y)在[α，β]的图像I_y，y＝1，…M，且I_y与图像集合T中的任一幅图像的相似度不大于β的图像作为新的种子图像；重复本过程，直至没有图像能够满足本条件后进行下一步；

步骤5：重复步骤3～4，直至N个图像特征集合中的所有图像均已被分组；

步骤6：采用最小生成树组织分组内的图像，并对组内Sim(I_x，I_y)大于α的图像采用RANSAC方法去除外点得到单应矩阵或基础矩阵；以单应矩阵或基础矩阵为向导，增加为摄像机标定准备基础数据的匹配点对；

步骤7：利用SFM算法计算步骤6得到的每个图像分组的三维点集合和摄像机参数；

步骤8：利用混合高斯模型和EM算法对每个图像分组的三维点集合进行分割，得到三维空间中不同位置的子集S，S＝{s_i|i∈1…k}，k表示分割得到的子集数量；

步骤9：利用SFM算法中得到的三维点-图像关联矩阵对每个子集进行进一步分割，提取出每个单独的建筑；三维点-图像关联矩阵表示了各个三维点在每幅图像中的可见性；首先采用重投影方法判断每个建筑在各幅图像中是否可见，得到建筑-图像关联矩阵V，若建筑i在图像j中可见，则V_ij＝1，否则V_ij＝0，V_i为V中第i行元素，表示建筑i的可见向量；对于包含建筑b_m，b_m+1，…，b_n的子集s_i，将s_i中每个三维点x_j在三维点-图像关联矩阵的对应行向量V_j与相应建筑的可见向量

分别进行相似度计算，相似度为两个向量间的欧式距离，选择距离最小的建筑序号作为该三维点的所属类别，将s_i分割为不同建筑的集合B_m，B_m+1，…，B_n；

步骤10：利用z-buffer算法对每幅图像中不可见的建筑的类别进行划分，得到VM矩阵，VM_ij表示建筑i在图像j中的可见性：若建筑i在图像j可见，VM_ij＝1；若建筑i的重投影点的二维坐标超出了图像j的范围，VM_ij＝0；若重投影点二维坐标在图像j范围内而又没有图像特征点与之对应，进一步判断该建筑是被遮挡还是不存在；对任意图像j进行如下步骤：

步骤a：对于图像j中可见的建筑，利用格雷厄姆扫描法得到其重投影二维点集合的凸包；

步骤b：生成与图像j分辨率相同的8位灰度图像，颜色置为黑色；对凸包内部的区域用白色进行填充，保存填充完成的掩膜图像记为mask_j；

步骤c：对于任意建筑物，计算其包含的三维点的深度信息，求取深度信息的平均值，将平均值作为对应凸包区域内部像素的深度信息；利用z-buffer算法计算掩膜图像mask_j中每个像素的深度信息；

步骤d：对于图像j中尚未确定类别的建筑i，计算其重投影二维点集合中超出图像范围的点的个数与深度小于mask_j中对应像素深度的点的个数之和Ns，进一步计算Ns在建筑i包含的三维点总数N中所占比例R，如果R小于0.1，判断建筑i被遮挡，VM_ij＝0；否则建筑i不存在，VM_ij＝-1；

步骤11：利用局部搜索算法对VM矩阵列的顺序进行调整，得到图像时间序列；VM矩阵需要满足约束：当矩阵中任意一行出现1…-1…1模式，进行调整步骤如下：

步骤a：计算初始VM矩阵中违反约束的元素个数；

步骤b：对VM矩阵每两列进行临时交换，计算交换后的VM矩阵中违反约束的元素个数，选择违反约束个数最小的临时交换作为最终交换；

步骤c：重复步骤b，直至矩阵中的所有行都满足约束，最终VM的列顺序即为图像的时间序列；如果陷入局部最优，则转步骤1，重新随机生成VM矩阵的列的初始顺序；

步骤12：将调整后的VM矩阵以列为单位进行聚类，得到不同时期的三维场景并组合得到四维场景，基本步骤如下：

步骤a：将以VM矩阵的第一列作为一个新类；

步骤b：从VM矩阵的第二列开始，依次对每一列进行判断；若该列和某个类中的列一致，则将其加入该类；否则以该列生成另一个新类；列i与列j一致的定义如下：若列i中取值为1的元素在列j中对应的元素取值不为-1，则两列一致；

聚类完成后，每个类中包含的建筑物的三维点集合就是该历史时期的三维重建结果，而整个时间上连续的三维重建结果集合就是最终的四维场景重建结果。

所述试探匹配为：采用图像I_x建立索引结构H，以图像I_y的特征集R去匹配，具体试探匹配步骤如下：

步骤1.将R中的所有

个特征的顺序随机打乱；

步骤2.取出R前n_p个特征，其中，

采用BBF算法在索引结构H中搜索，根据相似度度量公式，得到前n_p个特征的相似度Sim_p，并根据

$\mathrm{Sim}(I_x,I_y)={\mathrm{Sim}}_p*n_{I_y}/n_p$

计算出全局相似度；

步骤3.当Sim(I_x，I_y)小于相似度阈值α时，α＝1，停止匹配；否则，从R再取出n_p个特征继续匹配，并重新计算Sim_p和Sim(I_x，I_y)；重复步骤3，直到R所有特征都被计算或者匹配过程被停止。

有益效果

本发明提出的基于时变和无序多图像的四维场景建模方法，传统技术在推导图像时间序列时，对每幅图像手工提取特征点，手工对各幅图像的特征点进行匹配，然后利用SFM算法得到三维点坐标与摄像机参数。对图像手工标记特征点是一个十分费时费力的过程，提取的图像特征点不可能很多(一幅图像至多几百个特征点)，这对后续的遮挡判断的精确性会造成较大影响。而人工建立匹配的过程也很容易出错。

本技术利用sift算法对每幅图像自动提取特征点，每幅图像根据分辨率不同一般可提取数千至上万个特征点，较之手工方法提供了更为丰富的信息。进一步利用特征描述子对图像间的特征点进行自动匹配，整个过程不需要人工交互的过程，大大降低了成本，也提高了工作效率。

原有技术在处理建筑物遮挡判断问题时，以三维点作为基本元素，通过对每幅图像的特征点进行delaunay三角化，利用freespace原理对三维点类别进行划分。但delaunay三角化使得不同建筑的特征点连接在一起，形成一些不需要的三角面片，这在判断遮挡时容易出现错误划分。

本技术对三维点集合进行分割，得到单独的建筑，计算每个建筑在图像上的深度信息，利用深度的大小进行遮挡判断。仔细观察城市的变化规律，建筑都是作为整体建成或拆除，因此以建筑作为基本单位，较之孤立的三维点具有更强的语义性。这是对原三维点模型的进一步抽象，提高了图像时间序列推导的准确性。同时将上万个三维抽象为若干个建筑大大提高了局部搜索算法的效率。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

1.输入163幅与6个场景相关的无序图像序列，对每一幅图像提取SIFT特征，形成163个SIFT特征集。

2.建立任意两幅图像的相似度度量

$\mathrm{Sim}(I_x,I_y)=\frac{n_{\mathrm{match}}}{\min \{n_{I_x},n_{I_y}\}}*\underset{i=1}{\overset{n_{\mathrm{match}}}{\mathrm{\Σ}}}f\left(i\right)$

其中x＝1，…，N，y＝1，…，N，x≠y，

和

分别表示图像I_x和I_y的特征集大小，n_match表示匹配的特征点数目，1/min{n_A，n_B}是自适应系数项，f(i)表示第i对匹配特征的相似度值，f(i)＝d_i2/d_i1，其中d_i1和d_i2分别表示第i个特征到其最近邻特征和次近邻特征的距离；

3.对163幅图像的SIFT特征集种子扩散算法和采用试探匹配算法进行快速匹配和分组。

为了降低宽基线无序图像的匹配、分组及其有序化方案的计算量问题，本发明在该步骤里提供一种基于种子扩算和试探匹配的策略快速分组方法。种子扩散的具体流程见表1：

表1.种子扩散算法的流程

对于两幅图像特征集之间的快速匹配，本发明采用试探匹配方法来完成。对于待匹配的两幅图像I_x和I_y，用图像I_x的特征集建立KD-tree索引结构H，然后用I_y中的特征去搜索。与以往方法不同的是，本方法一开始并不用I_y中的所有

个特征去检索，而只随机抽样部分特征进行检索，并由此得到部分相似度值Sim_p，由于部分相似度和全局相似度存在如下映射关系，

$\mathrm{Sim}(I_x,I_y)={\mathrm{Sim}}_p*n_{I_y}/n_p$

其中Sim(I_x，I_y)表示全局相似度，n_p表示部分特征的数目。根据部分相似度计算出全局相似度，若相似度大于给定阈值α，则继续计算，否则，被认为是不相关图像而终止计算。试探匹配能快速鉴别不相似的图像特征集，并能保留相似图像特征集的匹配结果。其详细过程如下：

表2.试探匹配的算法流程

4.依据组内图像的相似度大小，采用最小生成树有序化组内图像。即首先选择两幅具有最大匹配度图像加入到视图树中(其中一幅作为根节点)，接着从剩下图像中选择一幅和视图树中某个节点具有最大匹配度的图像添加到视图树中，递归该过程直到所有图像都加入到视图树中。如果还有剩余图像，则新建一棵最小生成树，直到所有图像都被划分到相应的组中。

5.对于分组内相关联的图像，采用RANSAC算法求解基础矩阵并去除外点。然后用基础矩阵为向导，增加更多正确的匹配点，为三维重构准备数据。

6.对得到的6个分组的每一组图像利用SFM算法计算该组内三维点坐标和摄像机参数

针对每一分组，首先选择两幅图像，建立初始坐标系，选择图像主要有两个标准：1图像间匹配点足够多；2图像间基线，也就是摄像机中心的距离较宽，防止出现退化情况。建立初始坐标系后，在剩余图像中选择一幅加入到当前的坐标系中。使用直接线性变换，估计新加入图像的摄像机矩阵，然后增加新的三维空间点，重复这一步骤直到所有的图像都加入到当前的坐标系。以上得到的是射影重构结果，使用摄像机自标定技术提升为度量重构。利用摄像机内参数提供的约束，估计摄像机的内参数和射影变换，得到度量坐标系下的三维重构结果。

7.利用混合高斯模型和EM算法对每个图像分组的三维点集合进行分割，得到三维空间中不同位置的子集集合S，S＝{s_i|i∈1…k}，k表示分割得到的子集数量。

对于每个分组的三维点集合，给出混合高斯模型的子成份个数c。对于每个子成分，对其所占权重w_i、期望e_i、协方差矩阵∑_i进行随机初始化，利用EM算法进行迭代优化，得到最终的混合高斯模型参数，然后对每个三维点进行分类，判断其属于哪个子成员。

8.利用SfM算法中得到的三维点-图像关联矩阵对子集进行进一步分割，提取出每个单独的建筑

部分子集中仍然混杂了多个建筑，这是因为不同历史时期的建筑在三维空间中会出现重叠，需要利用三维点-图像关联矩阵进行进一步分割，三维点-图像关联矩阵表示了各个三维点在每幅图像中的可见性。首先判断每个建筑在各幅图像中是否可见，得到建筑-图像关联矩阵V。若建筑i在图像j中可见，则V_ij＝1，否则V_ij＝0。定义V_i为V中第i行元素，表示建筑i的可见向量。子集s₃中包含建筑7，建筑8，建筑9，将s_i中每个三维点x_j在三维点-图像关联矩阵的对应行向量与可见向量V₇，V₈，V₉分别进行相似度计算，相似度定义为两个向量间的欧式距离，每次选择距离最小的建筑序号作为该三维点的所属类别。最终将s_i分割为建筑子集B₇，B₈，B₉。

9.利用z-buffer算法对每幅图像中不可见的建筑的类别进行划分，得到VM矩阵，VM_ij表示建筑i在图像j中的可见性：若建筑i在图像j可见，VM_ij＝1；若建筑i的重投影点的二维坐标超出了图像j的范围，VM_ij＝0；若重投影点二维坐标在图像j范围内而又没有图像特征点与之对应，进一步判断该建筑是被遮挡还是不存在；对任意图像j进行如下步骤：

步骤a：对于图像j中可见的建筑，利用格雷厄姆扫描法得到其重投影二维点集合的凸包；

步骤b：生成与图像j分辨率相同的8位灰度图像，颜色置为黑色；对凸包内部的区域用白色进行填充，保存该图像，得到mask_j；

步骤c：对于任意建筑物，计算其包含的三维点的深度信息，求取平均值，将平均值作为对应凸包区域内部像素的深度信息；利用z-buffer算法计算掩膜图像中每个像素的深度信息；

步骤d：对于图像j中尚未确定类别的建筑i，计算其重投影二维点集合中超出图像范围的点的个数与深度小于mask_j中对应像素深度的点的个数之和Ns，进一步计算Ns在建筑i包含的三维点总数N中所占比例R，如果R小于0.1，建筑i被遮挡，VM_ij＝0；否则建筑i不存在，VM_ij＝-1；

10.利用局部搜索算法对VM矩阵列的顺序进行调整，得到图像时间序列；VM矩阵需要满足约束：矩阵中任意一行，不能出现1…-1…1模式。调整步骤如下：

步骤a：计算初始VM矩阵中违反约束的元素个数；

步骤b：对VM矩阵每两列进行临时交换，计算交换后的VM矩阵中违反约束的元素个数；选择违反约束个数最小的临时交换作为最终交换；

步骤c：重复步骤b，直至矩阵中的所有行都满足约束，最终VM的列顺序即为图像的时间序列；

11.将调整后的VM矩阵以列为单位进行聚类，得到不同时期的三维场景，最终得到四维场景，基本步骤如下：

步骤a：生成一个新类，将VM矩阵的第一列加入其中；

步骤b：从第二列开始，依次对每一列进行判断。若该列和某个类中的列一致，则将其加入该类；否则生成一个新类，将该列加入新类中；列i与列j一致的定义如下：若列i中取值为1的元素在列j中对应的元素取值不为-1，则两列一致；

聚类完成后，每个类中包含的建筑物的三维点集合就是该历史时期的三维重建结果，而整个时间上连续的三维重建结果集合就是最终的四维场景重建结果。

Claims (2)

1.一种基于时变和无序多图像的四维场景建模方法，其特征在于步骤如下：

步骤1：采用SIFT算法对N幅数字图像提取SIFT局部不变特征，形成N个图像特征集；

步骤2：建立任意两幅图像的相似度度量

$\mathrm{Sim}(I_x,I_y)=\frac{n_{\mathrm{match}}}{\min \{n_{I_x},n_{I_y}\}}*\underset{i=1}{\overset{n_{\mathrm{match}}}{\mathrm{\Σ}}}f\left(i\right)$

其中x＝1，...，N，y＝1，...，N，x≠y，

和

分别表示图像I_x和I_y的特征集大小，n_match表示匹配的特征点数目，1/min{n_A，n_B}是自适应系数项，f(i)表示第i对匹配特征的相似度值，f(i)＝d_i2/d_i1，其中d_i1和d_i2分别表示第i个特征到其最近邻特征和次近邻特征的距离；

步骤3：随机取出N个图像特征集合中的任一幅图像I_x，x＝1，...N作为种子图像，以该幅图像的相似度与所有图像采用BBF方法进行试探匹配，将Sim(I_x，I_y)大于阈值α的图像建立图像集合T_k，k＝1，...，所述的α＝1；

步骤4：在图像集合T中选取与种子图像I_x满足相似度Sim(I_x，I_y)在[α，β]的图像I_y，y＝1，...M，且I_y与图像集合T中的任一幅图像的相似度不大于β的图像作为新的种子图像；重复本过程，直至没有图像能够满足本条件后进行下一步；

步骤5：重复步骤3～4，直至N个图像特征集合中的所有图像均已被分组；

步骤6：采用最小生成树组织分组内的图像，并对组内Sim(I_x，I_y)大于α的图像采用RANSAC方法去除外点得到单应矩阵或基础矩阵；以单应矩阵或基础矩阵为向导，增加为摄像机标定准备基础数据的匹配点对；

步骤7：利用SFM算法计算步骤6得到的每个图像分组的三维点集合和摄像机参数；

步骤8：利用混合高斯模型和EM算法对每个图像分组的三维点集合进行分割，得到三维空间中不同位置的子集S，S＝{s_i|i∈1...k}，k表示分割得到的子集数量；

步骤9：利用SFM算法中得到的三维点-图像关联矩阵对每个子集进行进一步分割，提取出每个单独的建筑；三维点-图像关联矩阵表示了各个三维点在每幅图像中的可见性；首先采用重投影方法判断每个建筑在各幅图像中是否可见，得到建筑-图像关联矩阵V，若建筑i在图像j中可见，则V_ij＝1，否则V_ij＝0，V_i为V中第i行元素，表示建筑i的可见向量；对于包含建筑b_m，b_m+1，…，b_n的子集s_i，将s_i中每个三维点x_j在三维点-图像关联矩阵的对应行向量V_j与相应建筑的可见向量

分别进行相似度计算，相似度为两个向量间的欧式距离，选择距离最小的建筑序号作为该三维点的所属类别，将s_i分割为不同建筑的集合B_m，B_m+1，…，B_n；

步骤10：利用z-buffer算法对每幅图像中不可见的建筑的类别进行划分，得到VM矩阵，VM_ij表示建筑i在图像j中的可见性：若建筑i在图像j可见，VM_ij＝1；若建筑i的重投影点的二维坐标超出了图像j的范围，VM_ij＝0；若重投影点二维坐标在图像j范围内而又没有图像特征点与之对应，进一步判断该建筑是被遮挡还是不存在；对任意图像j进行如下步骤：

步骤a：对于图像j中可见的建筑，利用格雷厄姆扫描法得到其重投影二维点集合的凸包；

步骤b：生成与图像j分辨率相同的8位灰度图像，颜色置为黑色；对凸包内部的区域用白色进行填充，保存填充完成的掩膜图像记为mask_j；

步骤c：对于任意建筑物，计算其包含的三维点的深度信息，求取深度信息的平均值，将平均值作为对应凸包区域内部像素的深度信息；利用z-buffer算法计算掩膜图像mask_j中每个像素的深度信息；

步骤d：对于图像j中尚未确定类别的建筑i，计算其重投影二维点集合中超出图像范围的点的个数与深度小于mask_j中对应像素深度的点的个数之和Ns，进一步计算Ns在建筑i包含的三维点总数N中所占比例R，如果R小于0.1，判断建筑i被遮挡，VM_ij＝0；否则建筑i不存在，VM_ij＝-1；

步骤11：利用局部搜索算法对VM矩阵列的顺序进行调整，得到图像时间序列；VM矩阵需要满足约束：当矩阵中任意一行出现1…-1…1模式，进行调整步骤如下：

步骤a：计算初始VM矩阵中违反约束的元素个数；

步骤b：对VM矩阵每两列进行临时交换，计算交换后的VM矩阵中违反约束的元素个数，选择违反约束个数最小的临时交换作为最终交换；

步骤c：重复步骤b，直至矩阵中的所有行都满足约束，最终VM的列顺序即为图像的时间序列；如果陷入局部最优，则转步骤1，重新随机生成VM矩阵的列的初始顺序；

步骤12：将调整后的VM矩阵以列为单位进行聚类，得到不同时期的三维场景并组合得到四维场景，基本步骤如下：

步骤a：将以VM矩阵的第一列作为一个新类；

步骤b：从VM矩阵的第二列开始，依次对每一列进行判断；若该列和某个类中的列一致，则将其加入该类；否则以该列生成另一个新类；列i与列j一致的定义如下：若列i中取值为1的元素在列j中对应的元素取值不为-1，则两列一致；

聚类完成后，每个类中包含的建筑物的三维点集合就是该历史时期的三维重建结果，而整个时间上连续的三维重建结果集合就是最终的四维场景重建结果。

2.根据权利要求1所述的基于时变和无序多图像的四维场景建模方法，其特征在于

所述试探匹配为：采用图像I_x建立索引结构H，以图像I_y的特征集R去匹配，具体试探匹配步骤如下：

步骤1.将R中的所有

个特征的顺序随机打乱；

步骤2.取出R前n_p个特征，其中， $n_p=n_{I_y}/10,$ 采用BBF算法在索引结构H中搜索，根据相似度度量公式，得到前n_p个特征的相似度Sim_p，并根据

$\mathrm{Sim}(I_x,I_y)={\mathrm{Sim}}_p*n_{I_y}/n_p$

计算出全局相似度；

步骤3.当Sim(I_x，I_y)小于相似度阈值α时，α＝1，停止匹配；否则，从R再取出n_p个特征继续匹配，并重新计算Sim_p和Sim(I_x，I_y)；重复步骤3，直到R所有特征都被计算或者匹配过程被停止。