CN108763481B - 一种基于大规模街景数据的图片地理定位方法和系统 - Google Patents

Abstract

本发明公开了一种基于大规模街景数据的图片地理定位方法及实现该方法的系统。所述方法包括实时匹配部分：从查询图片中提取局部特征点作为查询特征点，生成查询特征集；在索引结构中对每个查询特征点检索K个最近邻特征点，生成最近邻特征分布表；通过所述最近邻特征分布表得到候选图片的最近邻特征集；选择最近邻特征集中的最优特征集对应的候选图片作为最佳匹配图片，该匹配图片对应的地理位置即视为查询图片的地理位置；其中K为整数。本方法优选还可以包括预处理部分，将比较耗时的“建立索引结构部分”分开提前进行处理。本方法和系统具有定位精度高、匹配速度快、可以求出全局最优解等特点。

Description

一种基于大规模街景数据的图片地理定位方法和系统

技术领域

本发明涉及图像定位技术领域，尤其涉及一种基于大规模街景数据的图片地理定位的方法和系统。

背景技术

图片地理定位是根据图片视觉信息确定或估计图片的地理位置。这个问题有许多的运用场景，例如汽车自动驾驶，移动终端导航，视频地理轨迹生成等。最近几年，街景图片正在不断地更新完善，在某些城市可以做到街道视野的全覆盖。图片中有许多可识别的视觉信息，例如建筑物、广告牌等，我们可以采用基于特征匹配的方法，把这些信息给识别出来，以达到图片地理定位的目的。

在学术研究领域，Zamir等作者提出了每个查询特征点检索距离其最近的一个特征点，然后用比值过滤误匹配的外点，最后选择特征点最多对应的参考图片作为最佳匹配。在接下来的工作中，该作者把第1个最近邻特征点扩展到K个最近邻特征点，根据第一最近邻特征点、第K个最近邻特征点到查询特征点的比值关系，过滤外点。在特征点匹配算法部分，作者把局部特征和全局特征结合作为优化条件，并提出了用广义最小团GMCP算法选择最佳匹配最近邻点。理想情况下，每个查询特征点都有一个对应的最近邻特征点，然而，大多数情况下，部分查询特征点匹配的特征点不在最近邻范围内，这些点即为匹配外点，消耗匹配时间并且GMCP为NP-hard问题，具有较高的时间复杂度。同时，GMCP求出的为局部最优解，并非全局最佳解。

在实际运用领域，Google公司研发了一个定位一张图片位置的Google Photos技术。用户把图片上传到服务器中，当服务器接收到需要定位的图片时，它首先会将图片分解成像素级别，然后将这些信息和数据库中的信息进行比对，通过一定的算法判断出照片所在大概区域，如某个国家的某个景区等。接着再根据数据库中保存的GPS地理信息进一步判断，如照片特征符合某个经纬度信息就为其匹配对应的地理位置，这样通过实际经纬度信息就可以对照片进行定位。然而此定位方法是在全球范围内，定位准确率低，无法满足实际要求。

发明内容

为了解决街景图片匹配速度慢、只能求出局部最优解和定位精度低的问题，本发明公开了一种基于大规模街景数据的图片地理定位方法，可以仅根据图片视觉信息进行地理定位，具有匹配速度快、可以求出全局最优解和定位精度高的特点。

本发明解决其技术问题所采用的技术方案是：

一种基于大规模街景数据的图片地理定位方法，从查询图片中提取局部特征点作为查询特征点，生成查询特征集；在索引结构中对每个查询特征点检索K个最近邻特征点，生成最近邻特征分布表；通过所述最近邻特征分布表得到候选图片的最近邻特征集；选择最近邻特征集中的最优特征集对应的候选图片作为最佳匹配图片，该匹配图片对应的地理位置即视为查询图片的地理位置；其中K为整数。

优选地，具体步骤可包括：B1：从查询图片中提取局部特征点作为查询特征点q_i，生成查询特征集Q＝{q_i|i＝1,2,…,n}；B2：对所述查询特征集Q中每个查询特征点q_i，在所述索引结构中返回K个到查询特征点距离递增的最近邻特征点，生成最近邻分布表V_T；B3：对所述最近邻分布表V_T中每个最近邻点v_ij，按照最近邻点与街景图片的映射表，返回最近邻分布表V_T对应的街景图片，去除重复的街景图片，得到候选匹配图片集I_c＝{I₁,I₂,I₃…,I_s}；B4：对所述候选匹配图片集I_c中每个候选匹配图片I_s，遍历Q中的每个查询特征点，判断该查询特征点在最近邻分布表V_T中对应的最近邻行中是否有最近邻特征点属于I_s；若特征点个数大于1或等于1，则选择一个距离查询特征点最近的特征点；若无，则跳过该特征点的选择；所有选择的特征点组成候选图片特征集NNFS；B5：将所述候选匹配图片集I_c中的每个候选匹配图片I_s去除所述候选图片最近邻特征集NNFS_Is中重复的特征点；B6：对所述候选匹配图片集I_c中每个候选匹配图片I_s，计算所述候选图片最近邻特征集NNFS_Is的相似度；B7：对所述候选匹配图片集I_c中每个候选匹配图片，选择所述候选图片最近邻特征集NNFS_Is特征点个数最多的候选图片作为匹配图片；将匹配图片的地理位置作为查询图片的地理位置。

更进一步地，步骤B6中所述候选图片最近邻特征集NNFS_Is的相似度为：

更进一步地，步骤B6中，所述查询特征点q_i与所述最近邻特征点v_ij间的相似度为：

式中，

ξ(q_i)表示返回q_i的特征向量；ξ(v_ij)表示返回v_ij的特征性向量；||ξ(q_i)-ξ(v_ij)||表示计算两个所述特征向量的范数。

更进一步地，步骤B7中，若存在两个或两个以上候选图片特征集NNFS特征点个数相同且数值最大时，则在其中选择相似度最大值对应的候选图片作为匹配图片。

更进一步地，还包括预处理过程，用于提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；预处理过程具体步骤包括：A1：将街景图片进行压缩；A2：对街景图片提取局部特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表；A3：将所述参考特征集建立成索引结构。

更进一步地，步骤A2中，所述特征点是SIFT或SURF特征点。

更进一步地，步骤A3中，所述索引结构是用相似性搜索工具FAISS或快速最近邻搜索库FLANN将其建立成索引结构。

更进一步地，其中K值取5。

本发明还提出一种基于大规模街景数据的图片地理定位系统，包括计算机程序，所述程序可被执行用于实现上述任一项所述方法。

本发明的有益效果是：本发明的图片地理定位方法可以仅根据图片视觉信息进行地理定位，实时匹配部分的时间复杂度可以仅与查询特征点个数相关，并且是线性匹配时间复杂度，从而具有较低的时间复杂度，因此匹配时间短，可以仅为秒级，匹配速度快。

进一步地，该方法求出的候选图片参考特征集为全局最优解，而现有技术中的GMCP算法求出的只是局部最优解。在Zamir公开的测试数据集上，本发明实施例比基于GMCP的方法匹配准确度提高了2％，定位精度更高。

附图说明

图1是本发明实施例基于大规模街景数据的图片定理定位方法流程示意图；

图2是本发明实施例一张查询图片定位的示意图；

图3是本发明实施例最近邻特征表示意图；

图4是本发明实施例公开测试数据集的匹配正确率。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，基于大规模街景数据的图片地理定位方法，它包括可离线处理(可在终端处理，也可在服务器处理)的预处理部分，以及要在线处理的实时匹配(实时处理)部分。

对街景数据集，这里采用了Zamir公开的超过102K带有GPS标签的Google街景图片，测试数据集采用了从Flickr、Panoramio和Picasa地区用户随机上传的644张带有GPS标签的图片。本具体实施例在服务器上Ubuntu环境下用Python2.7脚本语言下执行，其中服务器内存至少需要100G；在变通实施例中，如果数据量大，电脑、移动电子设备或服务器可能需要更大内存。如图2所示为一张查询图片定位过程中所需要的主要步骤的形象化示意。

其中预处理部分是提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；具体步骤如下：

A1：将街景图片进行压缩；

A2：对街景图片提取125077125个SIFT特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表，在变通实施列中可以使用SURF特征点；

A3：将参考特征集用相似性搜索工具FAISS将其建立成索引结构，在变通实施列中可以使用快速最近邻搜索库FLANN。

其中实时匹配是从查询图片中提取局部特征点作为查询特征点，生成查询特征集；在所述索引结构中对每个查询特征点检索K个最近邻特征点，最近邻特征点K可以是5个，生成最近邻特征分布表；通过所述最近邻特征分布表得到候选图片的最近邻特征集；选择最近邻特征集中的最优特征集对应的候选图片作为最佳匹配图片，该匹配图片对应的地理位置即视为查询图片的地理位置。具体步骤如下：

B1：从查询图片中提取局部特征点作为查询特征点q_i，生成查询特征集Q＝{q_i|i＝1,2,…,n}，n＝5227；

B2：对所述查询特征集Q中每个查询特征点q_i，在所述索引结构中返回K个到查询特征点距离递增的最近邻特征点，生成最近邻分布表V_T，返回K个到查询特征点距离递增的最近邻特征点中的K可以是5个；

B3：对所述最近邻分布表V_T中每个最近邻点v_ij，按照最近邻点与街景图片的映射表，返回最近邻分布表V_T对应的街景图片，去除重复的街景图片，得到候选匹配图片集I_c＝{I₁,I₂,I₃…,I_s}；

B4：对所述候选匹配图片集I_c中每个候选匹配图片I_s，遍历Q中的每个查询特征点，判断该查询特征点在最近邻分布表V_T中对应的最近邻行中是否有最近邻特征点属于I_s；若特征点个数大于1或等于1，则选择一个距离查询特征点最近的特征点；若无，则跳过该特征点的选择；所有选择的特征点组成候选图片特征集NNFS；

B5：将所述候选匹配图片集I_c中的每个候选匹配图片I_s去除所述候选图片最近邻特征集NNFS_Is中重复的特征点；

B6：对所述候选匹配图片集I_c中每个候选匹配图片I_s，计算所述候选图片最近邻特征集NNFS_Is的相似度；所述查询特征点q_i与所述最近邻特征点v_ij间的相似度为：

式中，

ξ(q_i)表示返回q_i的特征向量；ξ(v_ij)表示返回v_ij的特征性向量；||ξ(q_i)-ξ(v_ij)||表示计算两个所述特征向量的范数；候选图片最近邻特征集NNFS_Is的相似度为：

B3～B6步骤，在本具体实施例子中，执行时间为172ms。

B7：对所述候选匹配图片集I_c中每个候选匹配图片，选择所述候选图片最近邻特征集NNFS_Is特征点个数最多的候选图片作为匹配图片；本具体实施例中，只有一张候选图片的最近邻特征集NNFS_Is，特征点个数最大为69，故将该候选图片作为查询图片的匹配图片；在变通实施例中，若存在两个或两个以上候选图片特征集NNFS特征点个数相同且数值最大时，则在其中选择相似度最大值对应的候选图片作为匹配图片；将匹配图片的地理位置作为查询图片的地理位置。

为实现上述方法，本发明实施例提供一种基于大规模街景数据的图片地理定位系统，包括计算机程序，所述程序可被执行用于实现上述方法，得到匹配后的图片，定位查询图片的地理位置。

本发明的图片定位方法可以运用到大规模街景数据的图片地理定位中，具体工作过程为：预处理部分把街景数据建立的索引数据传到实时处理部分；用户可通过电脑或者移动电子设备上传查询图片，也可以通过电脑或者移动电子设备处理预见处理部分，或者直接在服务器上处理预处理部分；在服务器上处理时，可离线处理也可在线处理；服务器端对查询图片按照本发明的服务器处理部分进行处理，得到匹配后的图片，定位查询图片的地理位置，其中电脑、移动电子设备或服务器的相关配置取决于街景数据的数量。

如图3所示，步骤B2生成的最近邻分布表V_T。

候选图片特征集的求解算法如表1所示。

表1：候选图片特征集的求解算法

如图4所示，实验结果表明，在300m的误差范围内，本发明比基于GMCP的方法匹配准确度提高了2％，定位精度高；同时匹配时间为秒级，匹配速度快；该方法求出的候选图片参考特征集为全局最优解，而并非GMCP算法求出的局部最优解。

以上结合附图对本发明进行了详细说明，但本发明不仅仅局限于上述具体实施方式，本领域的普通技术人员根据所具备的知识，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种基于大规模街景数据的图片地理定位方法，其特征在于：从查询图片中提取局部特征点作为查询特征点，生成查询特征集；在索引结构中对每个查询特征点检索K个最近邻特征点，生成最近邻特征分布表；通过所述最近邻特征分布表得到候选图片的最近邻特征集；选择最近邻特征集中的最优特征集对应的候选图片作为最佳匹配图片，该匹配图片对应的地理位置即视为查询图片的地理位置；其中K为整数；

具体步骤包括：

B1：从查询图片中提取局部特征点作为查询特征点q_i，生成查询特征集Q＝{q_i|i＝1,2,···,n}；

B2：对所述查询特征集Q中每个查询特征点q_i，在所述索引结构中返回K个到查询特征点距离递增的最近邻特征点，生成最近邻分布表V_T；

B3：对所述最近邻分布表V_T中每个最近邻点v_ij，按照最近邻点与街景图片的映射表，返回最近邻分布表V_T对应的街景图片，去除重复的街景图片，得到候选匹配图片集I_c＝{I₁,I₂,I₃···,I_s}；

B4：对所述候选匹配图片集I_c中每个候选匹配图片I_s，遍历Q中的每个查询特征点，判断该查询特征点在最近邻分布表V_T中对应的最近邻行中是否有最近邻特征点属于I_s；若特征点个数大于1或等于1，则选择一个距离查询特征点最近的特征点；若无，则跳过该特征点的选择；所有选择的特征点组成候选图片特征集NNFS；

B5：将所述候选匹配图片集I_c中的每个候选匹配图片I_s去除所述候选图片最近邻特征集

中重复的特征点；

B6：对所述候选匹配图片集I_c中每个候选匹配图片I_s，计算所述候选图片最近邻特征集NNFS_Is的相似度；

B7：对所述候选匹配图片集I_c中每个候选匹配图片，选择所述候选图片最近邻特征集NNFS_Is特征点个数最多的候选图片作为匹配图片；将匹配图片的地理位置作为查询图片的地理位置。

2.根据权利要求1所述的基于大规模街景数据的图片地理定位方法，其特征在于：步骤B6中所述候选图片最近邻特征集NNFS_Is的相似度为：

3.根据权利要求1所述的基于大规模街景数据的图片地理定位方法，其特征在于：步骤B6中，所述查询特征点q_i与所述最近邻特征点v_ij间的相似度为：

式中，

ξ(q_i)表示返回q_i的特征向量；ξ(v_ij)表示返回v_ij的特征性向量；||ξ(q_i)-ξ(v_ij)||表示计算两个所述特征向量的范数。

4.根据权利要求1所述的基于大规模街景数据的图片地理定位方法，其特征在于：步骤B7中，若存在两个或两个以上候选图片特征集NNFS特征点个数相同且数值最大时，则在其中选择相似度最大值对应的候选图片作为匹配图片。

5.根据权利要求1所述的基于大规模街景数据的图片地理定位方法，其特征在于：还包括预处理过程，用于提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；预处理过程具体步骤包括：

A1：将街景图片进行压缩；

A2：对街景图片提取局部特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表；

A3：将所述参考特征集建立成索引结构。

6.根据权利要求5所述的基于大规模街景数据的图片地理定位方法，其特征在于：步骤A2中，所述特征点是SIFT或SURF特征点。

7.根据权利要求5所述的基于大规模街景数据的图片地理定位方法，其特征在于：步骤A3中，所述索引结构是用相似性搜索工具FAISS或快速最近邻搜索库FLANN将其建立成索引结构。

8.根据权利要求1所述的基于大规模街景数据的图片地理定位方法，其特征在于：其中K值取5。

9.一种基于大规模街景数据的图片地理定位系统，其特征在于包括计算机程序，所述程序可被执行用于实现如权利要求1-7中所述方法。

Images