CN109284409A - 基于大规模街景数据的图片组地理定位方法 - Google Patents

Abstract

本发明公开了基于大规模街景数据的图片组地理定位方法。首先，对查询图片组的每张图片，采用单张图片的定位方法，得到RNN个数最高的前K张候选图片，并用群表示结果；其次，我们采用主导集聚类算法对所有候选图片聚类，从每个群中至多选择一张匹配图片组成主导集；最后，对未选择图片构成主导集的群，按照最大相似度原则，从中选择一张匹配图片。其中K为整数。本方法具有有效提高图片组的定位精度和匹配速度快的特点。

Description

基于大规模街景数据的图片组地理定位方法

技术领域

本发明涉及图像定位技术领域，尤其涉及基于大规模街景数据的图片组地理定位方法。

背景技术

基于特征点匹配的单张图片地理定位是给定一张查询图片，寻找查询图片和参考图片的特征点对应关系确定匹配图片，把匹配图片的地理标签作为查询图片的位置信息。

单张查询图片地理定位中，若查询特征点过少或查询特征点噪声过大,比如存在大量的非显著特征点，则不能在一定精度范围内进行定位。若存在多张图片，且相互的地理距离在一定范围内，则我们可以将其视作图片组。

Zamir提出了分级的图片组地理定位方法。这种方法首先对图片组的每张图片进行地理定位，返回GPS地理坐标；然后，根据返回的GPS地理坐标，缩小参考图片范围，对每张图片重新进行地理定位。该算法的复杂度高，实时处理性差。

发明内容

为了解决基于特征匹配的单张图片地理方法定位精度有限的问题，本发明提出一种基于大规模街景数据的图片组地理定位方法。

本发明解决其技术问题所采用的技术方案是：

首先，对查询图片组的每张图片，采用单张图片的定位方法，得到RNN个数最高的前K张候选图片，并用群表示这些候选图片；其次，我们采用主导集聚类算法对所有候选图片聚类，从每个群中至多选择一张匹配图片组成主导集；最后，对未选择图片构成主导集的群，按照最大相似度原则，从中选择一张匹配图片。

优选地，具体步骤可包括：

A1：检索K张候选图片

设查询图片组为Q_G＝{Q₁,Q₂，…Q_L}，满足||ρ(Q_m)-ρ(Q_n)||≤R,1≤m＜n≤L，其中，Q_m表示第m张查询图片，R表示图片组中的最大距离，L表示查询图片个数。给定查询图片Q_m，采用单张图片的图片地理定位方法，得到RNN个数最高的前K张候选图片，并记为群C_m，匹配权值为候选图片的匹配相似度。令表示Q_G对应的候选图片集,其中表示第m张查询图片对应的第i张候选图片。

A2：构建加权图和相似矩阵

我们把高维空间的数据点用广义无向无环加权图进行表示。定义其中V＝{1,…,n}表示顶点集，表示边集，表示权值函数，详见Pavan作者的工作Dominant sets and hierarchical clustering。令V＝C_T，即用图的顶点表示候选图片；表示图中两个顶点的边，即不同群的候选图片存在的关系；表示两个顶点的相似度：

其中，表示来自不同群的候选图片之间的地理距离，表示候选图片的匹配相似度。

令表示图的相似矩阵，采用Pavan中提及的复制动态学方法求出主导集。主导集的顶点对应着不同群的一张候选图片，这些候选图片即为从群中选择的匹配图片。由于主导集的性质，部分群的点未能构造主导集，故还需要分别从剩下的不同群中选择一张候选图片作为匹配图片。

A3：最大相似度选择

设为主导集对应的匹配图片集，其中表示第k_i张查询图片对应的候选图片。从未组成主导集的群中选择到M_DSC的匹配图片地理距离小，同时匹配相似度越大的候选图片作为匹配图片,即：其中为待选候选图片。

本发明的有益效果是：本发明的图片组地理定位方法可以采用主导集方法利用图片组内的地理位置关系，提升图片组的整体定位准确度；由于充分考虑图片组的几何地理约束，具有有效提高图片组的定位精度和匹配速度快的特点。

进一步地，在一个实施例中，该方法比Zamir提出的图片组定位算法复杂度低。在Zamir公开的102K数据集上，把测试数据集作为查询图片组，在300m的误差范围内，本发明的方法比最先进的单张图片地理定位方法整体提高了4.3％。

附图说明

图1是本发明实施例基于大规模街景数据的图片组地理定位流程框图；

图2是本发明实施例102K数据集中4张图片组成的查询图片组定位的例子；

图3是本发明方法与单张图片定位方法在102K数据集的正确率对比图。

图4是本发明实施例单张图片定位方法基于大规模街景数据的图片实时匹配定理定位方法方框图；

图5是本发明实施例单张图片定位方法一张查询图片定位步骤的示意图；

图6是本发明实施例单张图片定位方法公开测试数据集的不同定位方法匹配正确率对比图。

图7是本发明实施例单张图片定位方法剔除算法流程示意图。

图8是本发明实施例单张图片定位方法生成候选图片的R近邻特征的具体算法流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

对测试数据集，我们依然采用Zamir公开102K的数据集，本具体实施例在服务器上Ubuntu环境下用Python2.7脚本语言下执行，其中服务器内存至少需要100G；

首先，对查询图片组的每张图片，采用单张图片的定位方法(详见下文所述：基于大规模街景数据的图片实时匹配地理定位的方法和系统)，得到RNN个数最高的前K张候选图片，并用群表示这些候选图片；其次，我们采用主导集聚类算法对所有候选图片聚类，从每个群中至多选择一张匹配图片组成主导集；最后，对未选择图片构成主导集的群，按照最大相似度原则，从中选择一张匹配图片。

优选地，具体步骤可包括：

A1：检索K张候选图片，K＝5；

设查询图片组为Q_G＝{Q₁,Q₂,Q₃,Q₄}，满足||ρ(Q_m)-ρ(Q_n)||≤R,1≤m＜n≤4，其中，Q_m表示第m张查询图片，R表示图片组中的最大距离，查询图片个数为4。给定查询图片Q_m，采用单张图片的图片地理定位方法，得到RNN个数最高的前K张候选图片，并记为群C_m，匹配权值为候选图片的匹配相似度。令表示Q_G对应的候选图片集,其中表示第m张查询图片对应的第i张候选图片。

A2：构建加权图和相似矩阵

我们把高维空间的数据点用广义无向无环加权图进行表示。定义其中V＝{1,…,n}表示顶点集，表示边集，表示权值函数，详见Pavan作者的工作Dominant sets and hierarchical clustering。令V＝C_T，即用图的顶点表示候选图片；表示图中两个顶点的边，即不同群的候选图片存在的关系；表示两个顶点的相似度：

其中，表示来自不同群的候选图片之间的地理距离，表示候选图片的匹配相似度，R取值100。

令表示图的相似矩阵，采用Pavan中提及的复制动态学方法求出主导集。主导集的顶点对应着不同群的一张候选图片，这些候选图片即为从群中选择的匹配图片。由于主导集的性质，部分群的点未能构造主导集，故还需要分别从剩下的不同群中选择一张候选图片作为匹配图片。

A3：最大相似度选择

设为主导集对应的匹配图片集，其中表示第k_i张查询图片对应的候选图片。从未组成主导集的群中选择到M_DSC的匹配图片地理距离小，同时匹配相似度越大的候选图片作为匹配图片,即：其中为待选候选图片。

图2是本发明实施例102K测试数据集4张图片组成的查询图片组定位的例子。Q₁～Q₄单张图片的定位误差为：48.73m、4.82m、106.11m、387.92m；图片组内单张图片的定位误差为：48.72m、2.87m、106.11m、207.09m。

图3是本发明方法与单张图片定位方法在102K数据集的正确率对比图。图中横轴表示定位误差范围内的正确率，纵轴表示测试数据集的定位正确率；Single-GMCP对应的曲线表示Zamir提出的单张图片定位方法的正确率，Single-DSC对应的曲线表示Zemene提出的单张图片定位方法的正确率。在300m的误差范围内，本发明的方法比最先进的单张图片定位方法提高了4.3％的正确率。

基于大规模街景数据的图片实时匹配地理定位的方法和系统说明：

上文提到“单张图片的定位方法”，下面介绍本实施例中所采用的方法。但该方法并非唯一，不应对此解释为对本发明的限制。

如图4所示，基于大规模街景数据的图片实时匹配地理定位方法，它包括可离线处理(可在终端处理，也可在服务器处理)的预处理部分，以及要在线处理的实时匹配(实时处理)部分。

这里采用Zamir提供的102k公共街景数据集。本具体实施例在服务器Ubuntu16.04环境下用Python2.7脚本语言下执行，其中服务器内存至少需要100G；在变通实施例中，如果数据量大，电脑、移动电子设备或服务器可能需要更大内存。如图5所示为一张查询图片定位过程中所需要的主要步骤的形象化示意。

其中预处理部分是提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；102k街景数据的预处理具体步骤如下：

C1：将街景图片进行压缩；

C2：对街景图片提取125077125个SIFT特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表，在变通实施列中可以使用SURF特征点；

C3：将参考特征集用相似性搜索工具FAISS的IVFFlat将其建立成索引结构，在变通实施列中可以使用快速最近邻搜索库FLANN。

其中实时匹配是从查询图片中提取局部特征点作为查询特征点，生成查询特征集；在所述索引结构中对每个查询特征点检索K个最近邻特征点(NN)，最近邻特征点K可以是5个，生成距离从小到大排序的特征分布表，用比值法剔除其外点；然后，把NN对应的参考图片作为候选图片，遍历分布表生成候选图片的R近邻特征集(RNN)和匹配相似度；最后，选择RNN个数最多且匹配相似度最高的候选图片作为匹配图片；具体步骤如下：

B1：从查询图片中提取局部特征点作为查询特征点q_i，生成查询特征集Q＝{q_i|i＝1,2,…,n}，n＝5227；

B2：对所述查询特征集Q中每个查询特征点q_i，在所述索引中返回K个到查询特征点距离由小到大递增的近似最近邻特征点(NN)，生成最近邻分布表T_V，K可以是5。

令T_V＝{v_ij|i＝1,2，…,N,j＝1,2,…，K}，满足||ξ(q_i)-ξ(v_ij)||≤||ξ(q_i)-ξ(v_i(j+1))||，其中K表示每个查询特征对应的NN个数，v_ij表示q_i的第j个NN点，ξ(·)表示操作算子，返回特征点的特征描述子；||·||表示度量算子，计算描述子的距离。

剔除查询特征点；令Θ＝{θ_i|i＝1,2,…N}，其中θ_i表示第i^th个查询特征点与对应的第1个NN和第k个NN的距离比值。θ_i越大，则NNs可区分度越小。令Θ_a表示Θ的a百分位数，a可以取值15，如果θ_i＞Θ_a，则删除q_i和对应的v_i·，用表示剔除查询特征点后的分布表，其中表示剔除后的查询特征点个数。剔除近似最近邻点；令表示比值矩阵，其中令B_b表示B的b百分位数阈值，b可以取值90；给定s，若β_st值越小，表示两个点差异越大；令表示T'_V剔除外点后的特征分布表。，具体剔除见图7算法1。

B3：令表示中NN对应的所有参考图片，其中I(·)表示操作算子，返回NN对应的参考图片。统计R_V中相同图片出现的重复次数，并按照从大到小的顺序进行排序，得到候选图片集其中上标N_l表示第l张候选图片c_l的重复次数。

候选图片的过滤：重复次数等于1，表示查询图片和参考图片只有一对匹配特征点，其对应的候选图片成为匹配图片的可能性较低。为加快匹配速度，我们选择重复次数大于1的候选图片。

B4：已包含NN排序信息，故我们可以NN对应的参考图片与候选图片的关系，生成候选图片的RNN和匹配特征集。在图8算法2中，给定候选图片c_t,遍历Q中的每个查询特征点q_i,判断v_i·是否有NN对应的参考图片到候选图片的距离小于等于R，若特征点个数大于1或等于1，则选择一个距离查询特征点最近的特征点，其中距离为0的NN点作为匹配特征点；若无，则跳过该特征点的选择。在生成候选图片集C的RNN中,R可以取值66，算法的复杂度为K为常数，简化为

B5：给定所述候选匹配图片集C中的候选匹配图片c_t，去除所述候选图片c_t中匹配特征集的重复特征点；

B6：给定所述候选匹配图片集C中的候选匹配图片c_t，计算所述候选图片c_t与查询图片的匹配相似度；所述候选图片与查询图片的匹配相似度为：所述查询特征点q_i与所述最近邻特征点v_ij间的相似度为：其中σ²为的中位数，ξ(q_i)表示返回q_i的特征向量，ξ(v_ij)表示返回v_ij的特征性向量，||ξ(q_i)-ξ(v_ij)||表示计算两个所述特征向量的范数。

B3～B6步骤，在本具体实施例子中，执行时间为158ms。

B7：对所述候选匹配图片集C中每个候选匹配图片，选择RNN个数最多的候选图片作为匹配图片。若存在多张候选图片的RNN个数相同，我们选择匹配相似度最高的候选图片作为匹配图片。本具体实施例中，有8张候选图片的RNN个数为96，故从中选择匹配相似度最大值27.4403对应的候选图片作为参考图片，该匹配图片地理定位坐标为：[40.441947,-79.999049]，与查询图片真实的距离值是3.524m；将匹配图片的地理位置作为查询图片的地理位置。

为实现上述方法，本部分内容还提供一种基于大规模街景数据的单张图片实时匹配地理定位系统，包括计算机程序，所述程序可被执行用于实现上述方法，得到匹配后的图片，定位查询图片的地理位置。

上述的单张图片定位方法可以运用到大规模街景数据的图片地理定位中，具体工作过程为：预处理部分把街景数据建立的索引数据传到实时处理部分；用户可通过电脑或者移动电子设备上传查询图片，也可以通过电脑或者移动电子设备处理预见处理部分，或者直接在服务器上处理预处理部分；在服务器上处理时，可离线处理也可在线处理；服务器端对查询图片按照本发明的服务器处理部分进行处理，得到匹配后的图片，定位查询图片的地理位置，其中电脑、移动电子设备或服务器的相关配置取决于街景数据的数量。

如图6所示，在102k公共街景数据集上评估了上述的单张图片定位方法，并和其他方法做了比较。坐标系表示在误差范围内的测试数据集的定位正确率。图中带有圆点的虚线表示本发明方法的定位结果；带有方框点的虚线表示Zamir提出的GMCP方法的定位结果；带有菱形点的虚线表示Zemene提出的DSC和CDSC方法的定位结果。在300m误差范围内，上述的单张图片定位正确率上优于现有最先进技术3.6％。

以上结合附图对本发明进行了详细说明，但本发明不仅仅局限于上述具体实施方式，本领域的普通技术人员根据所具备的知识，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (11)

1.基于大规模街景数据的图片组地理定位方法，其特征在于包括如下步骤：A1、对查询图片组的每张图片，采用单张图片的定位方法，得到RNN个数最高的前K张候选图片，并用群表示这些候选图片；A2、采用主导集聚类算法对所有候选图片聚类，从每个群中至多选择一张匹配图片组成主导集；A3、对未选择图片构成主导集的群，按照最大相似度原则，从中选择一张匹配图片；其中K为整数。

2.根据权利要求1所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤A1包括检索K张候选图片：

设查询图片组为Q_G＝{Q₁,Q₂，…Q_L}，满足||ρ(Q_m)-ρ(Q_n)||≤R,1≤m＜n≤L，其中，Q_m表示第m张查询图片，R表示图片组中的最大距离，L表示查询图片个数；给定查询图片Q_m，采用单张图片的图片地理定位方法，得到RNN个数最高的前K张候选图片，并记为群C_m，匹配权值为候选图片的匹配相似度；令表示Q_G对应的候选图片集,其中表示第m张查询图片对应的第i张候选图片。

3.根据权利要求1所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤A1包括构建加权图和相似矩阵：

把高维空间的数据点用广义无向无环加权图进行表示；定义其中V＝{1,…,n}表示顶点集，表示边集，表示权值函数，详见Pavan作者的工作Dominant sets and hierarchical clustering；令V＝C_T，即用图的顶点表示候选图片；表示图中两个顶点的边，即不同群的候选图片存在的关系；表示两个顶点的相似度：

其中，表示来自不同群的候选图片之间的地理距离，表示候选图片的匹配相似度；

令表示图的相似矩阵，采用复制动态学方法求出主导集；主导集的顶点对应着不同群的一张候选图片，这些候选图片即为从群中选择的匹配图片；由于主导集的性质，部分群的点未能构造主导集，故还需要分别从剩下的不同群中选择一张候选图片作为匹配图片。

4.根据权利要求1所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤A3包括最大相似度选择：

设为主导集对应的匹配图片集，其中表示第k_i张查询图片对应的候选图片；从未组成主导集的群中选择到M_DSC的匹配图片地理距离小，同时匹配相似度越大的候选图片作为匹配图片,即：其中为待选候选图片。

5.根据权利要求1所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤A1中所述单张图片的定位方法包括如下步骤：B1：从查询图片中提取局部特征点作为查询特征点q_i，生成查询特征集Q＝{q_i|i＝1,2,…,n}；

B2：对所述查询特征集Q中每个查询特征点q_i，在所述索引中返回K个到查询特征点距离由小到大递增的近似最近邻特征点(NN)，生成最近邻分布表T_V；

B3：令表示中NN对应的所有参考图片，其中I(·)表示操作算子，返回NN对应的参考图片；统计R_V中相同图片出现的重复次数，并按照从大到小的顺序进行排序，得到候选图片集其中上标N_l表示第l张候选图片c_l的重复次数；

候选图片的过滤：重复次数等于1，表示查询图片和参考图片只有一对匹配特征点，其对应的候选图片成为匹配图片的可能性较低；

B4：已包含NN排序信息，故通过NN对应的参考图片与候选图片的关系，生成候选图片的RNN和匹配特征集；

B5：给定所述候选匹配图片集C中的候选匹配图片c_t，去除所述候选图片c_t中匹配特征集的重复特征点；

B6：给定所述候选匹配图片集C中的候选匹配图片c_t，计算所述候选图片c_t与查询图片的匹配相似度；

B7：对所述候选匹配图片集C中每个候选匹配图片，选择RNN个数最多的候选图片作为匹配图片；将匹配图片的地理位置作为查询图片的地理位置。

6.根据权利要求5所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤A1中所述单张图片的定位方法还包括如下步骤：步骤B2中包括剔除近似最近邻点，具体剔除算法包括如下步骤：令T_V＝{v_ij|i＝1,2，…,N,j＝1,2,…，K}，满足||ξ(q_i)-ξ(v_ij)||≤||ξ(q_i)-ξ(v_i(j+1))||，其中K表示每个查询特征对应的NN个数，v_ij表示q_i的第j个NN点，ξ(·)表示操作算子，返回特征点的特征描述子；||·||表示度量算子，计算描述子的距离；

剔除查询特征点；令Θ＝{θ_i|i＝1,2,…N}，其中θ_i表示第i^th个查询特征点与对应的第1个NN和第k个NN的距离比值；θ_i越大，则NNs可区分度越小；令Θ_a表示Θ的a百分位数，如果θ_i＞Θ_a，则删除q_i和对应的v_i·，用表示剔除查询特征点后的分布表，其中表示剔除后的查询特征点个数；

剔除近似最近邻点；令表示比值矩阵，其中令B_b表示B的b百分位数阈值；给定s，若β_st值越小，表示两个点差异越大；令表示T'_V剔除外点后的特征分布表；

步骤B3中，候选图片的过滤步骤中，选择重复次数大于1的候选图片，以加快匹配速度；

步骤B4包括生成候选图片的R近邻特征，具体算法包括如下步骤：给定候选图片c_t,遍历Q中的每个查询特征点q_i,判断v_i·是否有NN对应的参考图片到候选图片的距离小于等于R，若特征点个数大于1或等于1，则选择一个距离查询特征点最近的特征点，其中距离为0的NN点作为匹配特征点；若无，则跳过该特征点的选择；在生成候选图片集C的RNN中,我们提算法的复杂度为K为常数，简化为

7.根据权利要求5所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤A1中所述单张图片的定位方法还包括如下步骤：步骤B6中所述候选图片与查询图片的匹配相似度为：

8.根据权利要求5所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤A1中所述单张图片的定位方法还包括如下步骤：步骤B6中，所述查询特征点q_i与所述最近邻特征点v_ij间的相似度为：其中σ²为的中位数，ξ(q_i)表示返回q_i的特征向量，ξ(v_ij)表示返回v_ij的特征性向量，||ξ(q_i)-ξ(v_ij)||表示计算两个所述特征向量的范数。

9.根据权利要求5所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤A1中所述单张图片的定位方法还包括如下步骤：步骤B7中，若存在多张候选图片的RNN个数相同，我们选择匹配相似度最高的候选图片作为匹配图片。

10.根据权利要求5所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤A1中所述单张图片的定位方法还包括如下步骤：还包括预处理过程，用于提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；预处理过程具体步骤包括：

C1：将街景图片进行压缩；

C2：对街景图片提取局部特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表；

C3：将所述参考特征集建立成索引结构。

11.根据权利要求10所述的基于大规模街景数据的图片组地理定位方法，其特征在于：步骤C2中，所述特征点是SIFT或SURF特征点；步骤C3中，所述索引结构是用相似性搜索工具FAISS或快速最近邻搜索库FLANN将其建立成索引结构。