CN109255042A - 基于大规模街景数据的实时图片匹配地理定位方法和系统 - Google Patents

Abstract

本发明公开了一种基于大规模街景数据的图片实时匹配地理定位方法及实现该方法的系统。所述方法包括实时匹配部分：从查询图片中提取局部特征作为查询特征集；其次，对每个查询特征点在预处理建立的索引中，检索K个近似最近邻点(NN)，生成距离从小到大排序的特征分布表，用比值法剔除其外点；然后，把NN对应的参考图片作为候选图片，遍历分布表生成候选图片的R近邻特征集(RNN)和匹配相似度；最后，选择RNN个数最多且匹配相似度最高的候选图片作为匹配图片；其中K为整数。本方法优选还可以包括预处理部分，将比较耗时的“建立索引结构部分”分开提前进行处理。本方法和系统具有定位精度高、实时匹配等特点。

Description

基于大规模街景数据的实时图片匹配地理定位方法和系统

技术领域

本发明涉及图像定位技术领域，尤其涉及一种基于大规模街景数据的图片实时匹配地理定位的方法和系统。

背景技术

图片地理定位是根据图片视觉信息确定或估计图片的地理位置。这个问题有许多的运用场景，例如汽车自动驾驶，移动终端导航，视频地理轨迹生成等。最近几年，街景图片正在不断地更新完善，在某些城市可以做到街道视野的全覆盖。街景图片中有大量的特征信息，例如建筑物、路标和广告牌等，故我们可以提取图片的局部特征，采用特征点匹配的方法进行图片地理定位。

在学术研究领域，Zamir和Zemene等作者提出了基于特征点匹配的大规模街景图片地理定位方法。Zamir等作者对每个查询特征点检索1个近似最近邻点(NN)，用比值方法过滤匹配外点，把参考图片对应的近邻特征点个数作为票数，选择票值最高的参考图片作为匹配图片。在接下来的工作中，该作者把NN个数扩展到K，用第1个和第K个NN点的到查询特征点的比值关系，根据经验性设定的阈值过滤匹配外点；在特征点匹配部分，用广义最小团对每个查询特征点选择一个具有全局一致性的最近邻点以确定匹配图片。Zemene等作者在最新的定位工作中把该问题分为两步进行，他们把固定K值选择NN的方法扩展为按照经验性设定的阈值动态选NN；在特征点匹配部分，用主导集聚类对查询特征点生成具有全局一致性的最近邻特征的局部最优解；进而生成多个局部解，然后用受限主导集从中选择一张匹配图片。

在特征点删除部分，Zamir、Zemene等作者通过经验性地设置固定阈值，采用比值方法对查询特征点和最近邻点进行修剪。然而在不同参考数据集上，若参考特征点较多，此时需要根据参考数据集情况，才能合理设置阈值。在Zemene的工作中，给定某个查询特征点，根据前后最近邻点到查询特征点距离的比值与手动设置阈值的大小比较作为是否选择NN的条件。然而在参考数据集相似特征点较多的情况下，手动设定的阈值可能无法满足实际情况，该方法会对每个查询特征点选择大量的NN点，失去了方法的意义。

在特征点匹配部分，他们用GMCP或DSC搜索具有全局一致性的最近邻点，然而这两个算法均是NP-Hard问题，求解复杂度高且所求结果均为局部最优解。Zemene等作者提出的框架目前定位准确率最高，但是这个定位框架为两次匹配，且受限主导集也为NP-Hard问题，整个框架算法复杂度高，不具备特征点实时匹配的特点。

在实际运用领域，Google公司研发了一个定位一张图片位置的Google Photos技术。用户把图片上传到服务器中，当服务器接收到需要定位的图片时，它首先会将图片分解成像素级别，然后将这些信息和数据库中的信息进行比对，通过一定的算法判断出照片所在大概区域，如某个国家的某个景区等。接着再根据数据库中保存的GPS地理信息进一步判断，如照片特征符合某个经纬度信息就为其匹配对应的地理位置，这样通过实际经纬度信息就可以对照片进行定位。然而此定位方法是在全球范围内，定位准确率低，无法满足实际要求。

发明内容

为了解决街景图片匹配速度慢、外点过滤需要设置固定阈值和只能求出局部最优解的问题，本发明公开了一种基于大规模街景数据的图片实时匹配地理定位方法，可以仅根据图片视觉信息进行地理定位，具有匹配速度快和定位精度高的特点。

本发明解决其技术问题所采用的技术方案是：

一种基于大规模街景数据的图片实时匹配地理定位方法，具体步骤可包括：

B1：从查询图片中提取局部特征点作为查询特征点q_i，生成查询特征集Q＝{q_i|i＝1,2,…,n}；

B2：对所述查询特征集Q中每个查询特征点q_i，在所述索引中返回K个到查询特征点距离由小到大递增的近似最近邻特征点(NN)，生成最近邻分布表T_V。

令T_V＝{v_ij|i＝1,2，…,N,j＝1,2,…，K}，满足||ξ(q_i)-ξ(v_ij)||≤||ξ(q_i)-ξ(v_i(j+1))||，其中K表示每个查询特征对应的NN个数，v_ij表示q_i的第j个NN点，ξ(·)表示操作算子，返回特征点的特征描述子；||·||表示度量算子，计算描述子的距离。

剔除查询特征点；令Θ＝{θ_i|i＝1,2,…N}，其中θ_i表示第i^th个查询特征点与对应的第1个NN和第k个NN的距离比值。θ_i越大，则NNs可区分度越小。令Θ_a表示Θ的a百分位数，如果θ_i＞Θ_a，则删除q_i和对应的v_i·，用表示剔除查询特征点后的分布表，其中表示剔除后的查询特征点个数。

剔除近似最近邻点；令表示比值矩阵，其中令B_b表示B的b百分位数阈值；给定s，若β_st值越小，表示两个点差异越大；令表示T'_V剔除外点后的特征分布表，具体剔除见算法1。

B3：令表示中NN对应的所有参考图片，其中I(·)表示操作算子，返回NN对应的参考图片。统计R_V中相同图片出现的重复次数，并按照从大到小的顺序进行排序，得到候选图片集其中上标N_l表示第l张候选图片c_l的重复次数。

候选图片的过滤：重复次数等于1，表示查询图片和参考图片只有一对匹配特征点，其对应的候选图片成为匹配图片的可能性较低。为加快匹配速度，我们选择重复次数大于1的候选图片。

B4：已包含NN排序信息，故我们可以NN对应的参考图片与候选图片的关系，生成候选图片的RNN和匹配特征集。在算法2中，给定候选图片c_t,遍历Q中的每个查询特征点q_i,判断v_i·是否有NN对应的参考图片到候选图片的距离小于等于R，若特征点个数大于1或等于1，则选择一个距离查询特征点最近的特征点，其中距离为0的NN点作为匹配特征点；若无，则跳过该特征点的选择。在生成候选图片集C的RNN中,我们提算法的复杂度为K为常数，简化为

B5：给定所述候选匹配图片集C中的候选匹配图片c_t，去除所述候选图片c_t中匹配特征集的重复特征点；

B6：给定所述候选匹配图片集C中的候选匹配图片c_t，，计算所述候选图片c_t与查询图片的匹配相似度；

B7：对所述候选匹配图片集C中每个候选匹配图片，选择RNN个数最多的候选图片作为匹配图片；将匹配图片的地理位置作为查询图片的地理位置。

优选地，步骤B6中所述候选图片与查询图片的匹配相似度为：

更进一步地，步骤B6中，所述查询特征点q_i与所述最近邻特征点v_ij间的相似度为：其中σ²为的中位数，ξ(q_i)表示返回q_i的特征向量，ξ(v_ij)表示返回v_ij的特征性向量，||ξ(q_i)-ξ(v_ij)||表示计算两个所述特征向量的范数。

更进一步地，步骤B7中，若存在多张候选图片的RNN个数相同，我们选择匹配相似度最高的候选图片作为匹配图片。

更进一步地，还包括预处理过程，用于提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；预处理过程具体步骤包括：

A1：将街景图片进行压缩；

A2：对街景图片提取局部特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表；

A3：将所述参考特征集建立成索引结构。

更进一步地，步骤A2中，所述特征点是SIFT或SURF特征点。

更进一步地，步骤A3中，所述索引结构是用相似性搜索工具FAISS或快速最近邻搜索库FLANN将其建立成索引结构。

更进一步地，其中K值取5。

本发明还提出一种基于大规模街景数据的图片实时匹配地理定位系统，包括计算机程序，所述程序可被执行用于实现如权利要求1-8中所述方法。

本发明的有益效果是：本发明的图片地理定位方法可以仅根据图片视觉信息进行地理定位，实时匹配部分的时间复杂度可以仅与查询特征点个数相关，并且是线性匹配时间复杂度，从而具有较低的时间复杂度，因此匹配时间短，可以仅为毫秒级，匹配速度快。

进一步地，该方法求出的候选图片参考特征集为全局最优解，而现有技术中的GMCP和DSC算法求出的只是局部最优解。在102k的公共街景数据集上评估了本发明的定位方法，实验结果表明它优于现有技术3.6％。

附图说明

图1是本发明实施例基于大规模街景数据的图片实时匹配定理定位方法方框图；

图2是本发明实施例一张查询图片定位步骤的示意图；

图3是本发明实施例公开测试数据集的不同定位方法匹配正确率对比图。

图4是本发明实施例剔除算法流程示意图。

图5是本发明实施例生成候选图片的R近邻特征的具体算法流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，基于大规模街景数据的图片实时匹配地理定位方法，它包括可离线处理(可在终端处理，也可在服务器处理)的预处理部分，以及要在线处理的实时匹配(实时处理)部分。

这里采用Zamir提供的102k公共街景数据集。本具体实施例在服务器Ubuntu16.04环境下用Python2.7脚本语言下执行，其中服务器内存至少需要100G；在变通实施例中，如果数据量大，电脑、移动电子设备或服务器可能需要更大内存。如图2所示为一张查询图片定位过程中所需要的主要步骤的形象化示意。

其中预处理部分是提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；102k街景数据的预处理具体步骤如下：

A1：将街景图片进行压缩；

A2：对街景图片提取125077125个SIFT特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表，在变通实施列中可以使用SURF特征点；

A3：将参考特征集用相似性搜索工具FAISS的IVFFlat方法将其建立成索引结构，在变通实施列中可以使用快速最近邻搜索库FLANN。

其中实时匹配是从查询图片中提取局部特征点作为查询特征点，生成查询特征集；在所述索引结构中对每个查询特征点检索K个最近邻特征点(NN)，最近邻特征点K可以是5个，生成距离从小到大排序的特征分布表，用比值法剔除其外点；然后，把NN对应的参考图片作为候选图片，遍历分布表生成候选图片的R近邻特征集(RNN)和匹配相似度；最后，选择RNN个数最多且匹配相似度最高的候选图片作为匹配图片；具体步骤如下：

B1：从查询图片中提取局部特征点作为查询特征点q_i，生成查询特征集Q＝{q_i|i＝1,2,…,n}，n＝5227；

B2：对所述查询特征集Q中每个查询特征点q_i，在所述索引中返回K个到查询特征点距离由小到大递增的近似最近邻特征点(NN)，生成最近邻分布表T_V，K可以是5。

令T_V＝{v_ij|i＝1,2，…,N,j＝1,2,…，K}，满足||ξ(q_i)-ξ(v_ij)||≤||ξ(q_i)-ξ(v_i(j+1))||，其中K表示每个查询特征对应的NN个数，v_ij表示q_i的第j个NN点，ξ(·)表示操作算子，返回特征点的特征描述子；||·||表示度量算子，计算描述子的距离。

剔除查询特征点；令Θ＝{θ_i|i＝1,2,…N}，其中θ_i表示第i^th个查询特征点与对应的第1个NN和第k个NN的距离比值。θ_i越大，则NNs可区分度越小。令Θ_a表示Θ的a百分位数，如果θ_i＞Θ_a，则删除q_i和对应的v_i·，用表示剔除查询特征点后的分布表，其中表示剔除后的查询特征点个数。

剔除近似最近邻点；令表示比值矩阵，其中令B_b表示B的b百分位数阈值；给定s，若β_st值越小，表示两个点差异越大；令表示T'_V剔除外点后的特征分布表，具体剔除见图4算法1。

B3：令表示中NN对应的所有参考图片，其中I(·)表示操作算子，返回NN对应的参考图片。统计R_V中相同图片出现的重复次数，并按照从大到小的顺序进行排序，得到候选图片集其中上标N_l表示第l张候选图片c_l的重复次数。

候选图片的过滤：重复次数等于1，表示查询图片和参考图片只有一对匹配特征点，其对应的候选图片成为匹配图片的可能性较低。为加快匹配速度，我们选择重复次数大于1的候选图片。

B4：已包含NN排序信息，故我们可以NN对应的参考图片与候选图片的关系，生成候选图片的RNN和匹配特征集。在图5算法2中，给定候选图片c_t,遍历Q中的每个查询特征点q_i,判断v_i·是否有NN对应的参考图片到候选图片的距离小于等于R，若特征点个数大于1或等于1，则选择一个距离查询特征点最近的特征点，其中距离为0的NN点作为匹配特征点；若无，则跳过该特征点的选择。在生成候选图片集C的RNN中,R可以取值66，算法的复杂度为K为常数，简化为

B5：给定所述候选匹配图片集C中的候选匹配图片c_t，去除所述候选图片c_t中匹配特征集的重复特征点；

B6：给定所述候选匹配图片集C中的候选匹配图片c_t，计算所述候选图片c_t与查询图片的匹配相似度；所述候选图片与查询图片的匹配相似度为：所述查询特征点q_i与所述最近邻特征点v_ij间的相似度为：其中σ²为的中位数，ξ(q_i)表示返回q_i的特征向量，ξ(v_ij)表示返回v_ij的特征性向量，||ξ(q_i)-ξ(v_ij)||表示计算两个所述特征向量的范数。

B3～B6步骤，在本具体实施例子中，执行时间为158ms。

B7：对所述候选匹配图片集C中每个候选匹配图片，选择RNN个数最多的候选图片作为匹配图片。若存在多张候选图片的RNN个数相同，我们选择匹配相似度最高的候选图片作为匹配图片。本具体实施例中，有8张候选图片的RNN个数为96，故从中选择匹配相似度最大值27.4403对应的候选图片作为参考图片，该匹配图片地理定位坐标为：[40.441947,-79.999049]，与查询图片真实的距离值是3.524m；将匹配图片的地理位置作为查询图片的地理位置。

为实现上述方法，本发明实施例提供一种基于大规模街景数据的图片实时匹配地理定位系统，包括计算机程序，所述程序可被执行用于实现上述方法，得到匹配后的图片，定位查询图片的地理位置。

本发明的图片定位方法可以运用到大规模街景数据的图片地理定位中，具体工作过程为：预处理部分把街景数据建立的索引数据传到实时处理部分；用户可通过电脑或者移动电子设备上传查询图片，也可以通过电脑或者移动电子设备处理预见处理部分，或者直接在服务器上处理预处理部分；在服务器上处理时，可离线处理也可在线处理；服务器端对查询图片按照本发明的服务器处理部分进行处理，得到匹配后的图片，定位查询图片的地理位置，其中电脑、移动电子设备或服务器的相关配置取决于街景数据的数量。

如图3所示，在102k公共街景数据集上评估了本发明的定位方法，并和其他方法做了比较。坐标系表示在误差范围内的测试数据集的定位正确率。图中带有圆点的虚线表示本发明方法的定位结果；带有方框点的虚线表示Zamir提出的GMCP方法的定位结果；带有菱形点的虚线表示Zemene提出的DSC和CDSC方法的定位结果。在300m误差范围内，本发明方法的定位正确率上优于现有最先进技术3.6％。

以上结合附图对本发明进行了详细说明，但本发明不仅仅局限于上述具体实施方式，本领域的普通技术人员根据所具备的知识，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：包括如下步骤：

B1：从查询图片中提取局部特征点作为查询特征点q_i，生成查询特征集Q＝{q_i|i＝1,2,…,n}；

B2：对所述查询特征集Q中每个查询特征点q_i，在所述索引中返回K个到查询特征点距离由小到大递增的近似最近邻特征点(NN)，生成最近邻分布表T_V；

B3：令表示中NN对应的所有参考图片，其中I(·)表示操作算子，返回NN对应的参考图片；统计R_V中相同图片出现的重复次数，并按照从大到小的顺序进行排序，得到候选图片集其中上标N_l表示第l张候选图片c_l的重复次数；

候选图片的过滤：重复次数等于1，表示查询图片和参考图片只有一对匹配特征点，其对应的候选图片成为匹配图片的可能性较低；

B4：已包含NN排序信息，故通过NN对应的参考图片与候选图片的关系，生成候选图片的RNN和匹配特征集；

B5：给定所述候选匹配图片集C中的候选匹配图片c_t，去除所述候选图片c_t中匹配特征集的重复特征点；

B6：给定所述候选匹配图片集C中的候选匹配图片c_t，计算所述候选图片c_t与查询图片的匹配相似度；

B7：对所述候选匹配图片集C中每个候选匹配图片，选择RNN个数最多的候选图片作为匹配图片；将匹配图片的地理位置作为查询图片的地理位置。

2.根据权利要求1所述的基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：步骤B2中包括剔除近似最近邻点，具体剔除算法包括如下步骤：令T_V＝{v_ij|i＝1,2，…,N,j＝1,2,…，K}，满足||ξ(q_i)-ξ(v_ij)||≤||ξ(q_i)-ξ(v_i(j+1))||，其中K表示每个查询特征对应的NN个数，v_ij表示q_i的第j个NN点，ξ(·)表示操作算子，返回特征点的特征描述子；||·||表示度量算子，计算描述子的距离；

剔除查询特征点；令Θ＝{θ_i|i＝1,2,…N}，其中θ_i表示第i^th个查询特征点与对应的第1个NN和第k个NN的距离比值；θ_i越大，则NNs可区分度越小；令Θ_a表示Θ的a百分位数，如果θ_i＞Θ_a，则删除q_i和对应的v_i·，用表示剔除查询特征点后的分布表，其中表示剔除后的查询特征点个数；

剔除近似最近邻点；令表示比值矩阵，其中令B_b表示B的b百分位数阈值；给定s，若β_st值越小，表示两个点差异越大；令表示T'_V剔除外点后的特征分布表；

步骤B3中，候选图片的过滤步骤中，选择重复次数大于1的候选图片，以加快匹配速度；

步骤B4包括生成候选图片的R近邻特征，具体算法包括如下步骤：给定候选图片c_t,遍历Q中的每个查询特征点q_i,判断v_i·是否有NN对应的参考图片到候选图片的距离小于等于R，若特征点个数大于1或等于1，则选择一个距离查询特征点最近的特征点，其中距离为0的NN点作为匹配特征点；若无，则跳过该特征点的选择；在生成候选图片集C的RNN中,我们提算法的复杂度为K为常数，简化为

3.根据权利要求1所述的基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：步骤B6中所述候选图片与查询图片的匹配相似度为：

4.根据权利要求1所述的基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：步骤B6中，所述查询特征点q_i与所述最近邻特征点v_ij间的相似度为：其中σ²为的中位数，ξ(q_i)表示返回q_i的特征向量，ξ(v_ij)表示返回v_ij的特征性向量，||ξ(q_i)-ξ(v_ij)||表示计算两个所述特征向量的范数。

5.根据权利要求1所述的基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：步骤B7中，若存在多张候选图片的RNN个数相同，我们选择匹配相似度最高的候选图片作为匹配图片。

6.根据权利要求1所述的基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：还包括预处理过程，用于提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；预处理过程具体步骤包括：

A1：将街景图片进行压缩；

A2：对街景图片提取局部特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表；

A3：将所述参考特征集建立成索引结构。

7.根据权利要求6所述的基于大规模街景数据的图片实时匹配地理定位的终端处理方法，其特征在于：步骤A2中，所述特征点是SIFT或SURF特征点。

8.根据权利要求6所述的基于大规模街景数据的图片实时匹配地理定位的终端处理方法，其特征在于：步骤A3中，所述索引结构是用相似性搜索工具FAISS或快速最近邻搜索库FLANN将其建立成索引结构。

9.根据权利要求1所述的基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：其中K值取5。

10.一种基于大规模街景数据的图片实时匹配地理定位系统，其特征在于包括计算机程序，所述程序可被执行用于实现如权利要求1-8中所述方法。