CN110134816B - 一种基于投票平滑的单张图片地理定位方法和系统 - Google Patents

Abstract

本发明公开了一种基于投票平滑的单张图片地理定位方法。首先，从查询图片中提取局部描述子作为查询特征；其次，对每个查询特征在预处理建立的数据索引中检索部分最近邻并修剪不显著的查询特征以及对应的最近邻；再次，把所有最近邻对应的参考图片作为候选图片，计算每个候选图片与查询图片的匹配特征数；然后，寻找候选图片一定地理范围内的其它候选图片，将它们所有的特征数之和视作当前候选图片与查询图片的匹配约束特征数；最后，采用投票机制选择最大约束特征数的候选图片作为查询图片的最佳匹配。本方法具有定位精度高和算法复杂度低等特点。

Description

一种基于投票平滑的单张图片地理定位方法和系统

技术领域

本发明涉及图像定位技术领域，尤其涉及一种基于投票平滑的单张图片地理定位方法。

背景技术

随着互联网的飞速发展，网络中存储了亿级以上的图片和视频，它们涉及社会发展的各个方面。尽管现在的相机和移动设备带有GPS装置，但大量的公开媒体依然缺乏地理标签信息。国外的Twitter和Instagram网站上，大约只有2％和25％的媒体带有地理标签。

近来，有工作提出了基于最近邻特征匹配的大规模街景图片地理定位方法。Zamir(注：此为人名)为每个查询特征检索第一最近邻，对地理位置图片的投票值进行高斯平滑，使用启发式投票机制选择与查询图片匹配特征数最大的参考图片作为最佳匹配。在接下来的工作中，该作者把第一最近邻扩展到多重最近邻，使用广义最小团对多重最近邻中的每个查询特征选择具有全局一致性的局部最优最近邻，然后使用启发式投票机制来选择匹配图片。最新的工作采用两个步骤，即基于主导集的特征匹配和后处理。 Zemene(此为人名)对多重最近邻进行聚类，用主导集(DSC)寻找具有全局一致性的局部最优解，进而用启发式投票机制初步确定匹配图片；在后处理步骤(DSC with Post-processing)中，他们用受限主导集从多个局部最优解中选择最终结果。

在基于最近邻特征匹配方法中，由于方法特性决定，查询图片的匹配图片只能是最近邻对应的参考图片，本发明将这些参考图片作为候选图片。后面两个方法(Zamir和Zemene的方法)均是在多重最近邻中寻找满足全局一致性的点，其求解算法是NP-Hard 问题且所求结果均是局部最优解。直观地，满足要求的最近邻在空间位置上高度紧密，并且它们对应的一张或多张候选图片在地理位置上呈现相邻关系。在Zamir最早的工作中，他采用图片的地理GPS作为全局特征来平滑不同地理位置对应图片的投票数，但是全局特征也可以为其他图片全局特征，故其表达方式可以进一步规范化。

发明内容

为了解决图片地理定位的匹配速度慢、所求结果是局部最优解和定位精度低的问题，本发明公开了一种基于投票平滑的单张图片地理定位方法，具有匹配速度快、所求结果是全局最优解和算法复杂度低的特点。

本发明解决其技术问题所采用的技术方案是：

S1、首先，从查询图片中提取局部SIFT描述子作为查询特征；S2、其次，对每个查询特征在预处理建立的数据索引中检索部分最近邻并修剪不显著的查询特征以及对应的最近邻；S3、再次，把所有最近邻对应的参考图片作为候选图片，计算每个候选图片与查询图片的匹配特征数；S4、然后，寻找候选图片一定地理范围内的其它候选图片，将它们所有的特征数之和视作当前候选图片与查询图片的匹配约束特征数；S4、最后，采用投票机制选择最大约束特征数的候选图片作为查询图片的最佳匹配。

优选地，具体步骤可包括：

S2具体包括：修剪多重最近邻。令Q＝{q_i|i＝1，2…N}表示从查询图片中提取的N个特征描述子,作为查询特征。令υ_i·表示查询特征q_i对应的最近邻,满足 ||ξ(q_i)-ξ(υ_ij)||≤||ξ(q_i)-ξ(υ_i(j+1))||，其中υ_ij表示q_i的第j个最近邻；ξ(·)表示操作算子，返回特征点的特征描述子；||·||表示度量算子，计算描述子之间的距离。本发明通过检查第S个最近邻和第1个最近邻的相似程度，以移除非显著的查询特征以及它们对应的最近邻。定义

若θ_i＞0.8，则移除查询特征q_i以及对应的最近邻，其中S设置为10(S是大于1的整数，在发明专利的具体实施例中，最佳取值为10；当参考特征数量变大时，排序靠前的最近邻的相似性会增加，本发明人研究发现S取10较为适合)。

S3具体包括：计算匹配特征数。令

表示修剪步骤后查询特征的数量，K表示每个查询特征对应的最近邻的数量。由预处理的步骤“建立局部特征点与其所提取街景图片的映射表”这句话可知，每个最近邻唯一对应一张参考图片，这里将所有最近邻对应的参考图片表示为

其中I(·)表示操作算子，返回最近邻对应的参考图片。这里采用简单的遍历算法，剔除重复的图片，得到唯一的参考图片序列并将它们称为候选图片。

令求出的候选图片序列为

其中l表示候选图片的数量。算法2给出了多重最近邻中每个候选图片与查询图片的局部特征匹配个数的求解方法：给定候选图片

遍历Q中的每个查询特征，判断q_i对应的前K个NN里是否有NN对应的参考图片是

若存在，则N_m+1；若无，则进入下一个查询特征q_i+1。

步取S4具体包括：求和约束特征数。这里将这些地理距离较近的多张候选图片作为一个匹配整体，建立它们与查询图片的匹配关系。给定第i张候选图片，定义其与查询图片的约束特征数为

其中ρ(·)表示操作算子，返回参考图片的全局特征。这里使用候选图片的GPS位置作为其全局特征，R称为约束半径。本文选择最大的约束特征数

对应的候选图片作为查询图片的最佳匹配。

更进一步地，所述预处理过程用于提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；预处理过程具体步骤包括：

A1：将街景图片进行压缩；

A2：对街景图片提取局部特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表；

A3：将所述参考特征集建立成索引结构。

更进一步地，步骤A2中，所述特征点是SIFT、SURF或ORB等特征描述子。

更进一步地，步骤A3中，所述索引结构是用相似性搜索工具FAISS或快速最近邻搜索库FLANN将其建立成索引结构。

本发明的有益效果是：本发明的图片地理定位方法建立了所有候选图片与查询图片的匹配关系，匹配结果是全局最优解，同时算法复杂度低，计算所有候选图片的约束特征数的最大复杂度为o(n²),其中n为提取的查询特征个数。在Zamir公开的测试数据集上，本发明实施例(CGV)比基于DSCwithPost-processing的方法匹配准确度提高了2％，定位精度更高，同时方法的匹配速度是基于DSC方法速度的32倍以上。

附图说明

图1是本发明实施例基于投票平滑的单张图片地理定位方法流程示意图；

图2是本发明实施例一张查询图片定位的示意图；

图3是本发明实施例公开测试数据集的匹配正确率；

图4是本发明实施例抽取的4张测试图；

图5是本发明实施例方法(CGV)与基于DSC方法的匹配时间比较图；

图6是本发明实施例中所用到的算法1(遍历算法)流程图；

图7是本发明实施例中所用到的算法2(多重最近邻中每个候选图片与查询图片的局部特征匹配个数的求解方法)流程图；

图8是本发明实施例中所用到的算法3(约束特征数的求解方法)流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，基于大规模街景数据的图片地理定位方法，它包括预处理部分，以及实时处理部分。

对街景数据集，这里采用了Zamir公开的超过102K带有GPS标签的Google街景图片，测试数据集采用了从Flickr、Panoramio和Picasa图片分享网站上的地区用户随机上传的644张带有GPS标签的图片。本具体实施例在服务器上Ubuntu环境下用Python2.7 脚本语言下执行，其中服务器内存至少需要100G；

如图2所示为一张查询图片定位过程中所需要的主要步骤的形象化示意。

其中预处理部分是提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；具体步骤如下：

A1：将街景图片进行0.7等比例压缩；

A2：提取所有街景图片的特征点，SIFT特征总数为125077125，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表，在变通实施列中可以使用 SURF特征点；

A3：将参考特征集用相似性搜索工具FAISS将其建立成索引结构，在变通实施列中可以使用快速最近邻搜索库FLANN。

其中实时匹配是从查询图片中提取局部SIFT描述子作为查询特征；其次，对每个查询特征在预处理建立的数据索引中检索前最近邻并修剪不显著的查询特征以及对应的最近邻；再次，把所有最近邻对应的参考图片作为候选图片，计算每个候选图片与查询图片的匹配特征数；然后，寻找候选图片一定地理范围内的其它候选图片，将它们所有的特征数之和视作当前候选图片与查询图片的匹配约束特征数；最后，采用投票机制选择最大约束特征数的候选图片作为查询图片的最佳匹配。具体步骤如下：

B1：修剪多重最近邻。令Q＝{q_i|i＝1，2…N}表示从查询图片中提取的N个特征描述子,作为查询特征。令υ_i·表示查询特征q_i对应的最近邻,满足||ξ(q_i)-ξ(υ_ij)||≤||ξ(q_i)-ξ(υ_i(j+1))||，其中υ_ij表示q_i的第j个最近邻；ξ(·)表示操作算子，返回特征点的特征描述子；||·||表示度量算子，计算描述子之间的距离。本发明通过检查第S个最近邻和第1个最近邻的相似程度，以移除非显著的查询特征以及它们对应的最近邻。定义

若θ_i＞0.8，则移除查询特征q_i以及对应的最近邻，其中S设置为10。

B2：计算匹配特征数。令

表示修剪步骤后查询特征的数量，K表示每个查询特征对应的最近邻的数量。由预处理的步骤可知，每个最近邻唯一对应一张参考图片，这里将所有最近邻对应的参考图片表示为

其中I(·)表示操作算子，返回最近邻对应的参考图片。这里采用简单的遍历算法，剔除重复的图片，得到唯一的参考图片序列并将它们称为候选图片，见图6所示算法1，其伪代码示例如下：

令求出的候选图片序列为

其中l表示候选图片的数量。图7所示算法2 给出了多重最近邻中每个候选图片与查询图片的局部特征匹配个数的求解方法：给定候选图片

遍历Q中的每个查询特征，判断q_i对应的前K个NN里是否有NN对应的参考图片是

若存在，则N_m+1；若无，则进入下一个查询特征q_i+1。算法2的伪代码示例如下：

B3：求和约束特征数。这里将这些地理距离较近的多张候选图片作为一个匹配整体，建立它们与查询图片的匹配关系。给定第i张候选图片，定义其与查询图片的约束特征数为

其中ρ(·)表示操作算子，返回参考图片的全局特征。这里使用候选图片的GPS位置作为其全局特征，R称为约束半径。图8所示算法3给出了约束特征数的求解方法，其算法复杂度为o(l²)，由于

故该步骤最大复杂度为 o(N²)。本文选择

对应的候选图片作为查询图片的最佳匹配。算法3伪代码示例如下：

本具体实施例中，通过步骤3可得到，有2张候选图片的约束特征数为69，故随机选择其中的一张候选图片作为查询图片的匹配图片，将匹配图片的地理位置作为查询图片的地理位置。

如图3所示，本发明和最先进方法的地理定位结果进行了比较。图中，横轴显示查询图片的匹配位置和它真实位置的误差阈值，纵轴显示测试集在误差阈值内的定位百分比。-□-曲线显示Zamir方法的定位结果，他们对每个查询特征检索5个近似最近邻，用广义最小团问题(GMCP)从多重最近邻中选择具有全局一致性的特征，然后用投票机制选择最佳的参考图片。-◇-曲线显示Zemene方法的定位结果，他们用主导集(DSC) 从动态NN中生成多个局部最优解，然后用受限主导集(CDSC)从中选择一张最佳匹配。 -○-曲线显示本发明提出方法的定位结果，其中参数最近邻K＝5、修剪特征S＝10、约束半径R＝65(m)。在300m的误差范围内，本发明(图中CGV)比基于DSC with Post-processing 的方法匹配准确度提高了2％，定位精度高。

如图5所示，为显示基于CGV方法在匹配速度上的优势，以下在相同条件下比较了提出的方法和基于DSC方法的时间成本。本节随机从查询图片中提取固定数量的特征描述子，对每个查询特征检索前5个最近邻并跳过特征修剪步骤，其中DSC采用Zemene 工作中使用的InImDyn方法求解。图中，右边的横轴表示查询特征数量，纵轴表示基于 DSC方法需要的匹配时间与本发明提出方法的匹配时间的比值。结果显示基于CGV方法比DSC方法快32倍以上，特别地，目前最先进的地理定位方法Zemene提出的两个步骤(DSC和后处理，即DSCwith Post-processing)，故本发明提出的CGV方法的匹配速度大大超过最先进的方法。

该方法求出的候选图片参考特征集为全局最优解，而并非DSC算法求出的局部最优解。

以上结合附图对本发明进行了详细说明，但本发明不仅仅局限于上述具体实施方式，本领域的普通技术人员根据所具备的知识，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种基于投票平滑的单张图片地理定位方法，其特征在于包括如下步骤：S1、从查询图片中提取局部SIFT描述子作为查询特征；S2、对每个查询特征在预处理建立的数据索引中检索部分最近邻并修剪不显著的查询特征以及对应的最近邻；S3、把所有最近邻对应的参考图片作为候选图片，计算每个候选图片与查询图片的匹配特征数；S4、寻找候选图片一定地理范围内的其它候选图片，将其它候选图片所有的匹配特征数之和视作当前候选图片与查询图片的匹配约束特征数；S5、采用投票机制选择最大匹配约束特征数的候选图片作为查询图片的最佳匹配；其中，将匹配图片的地理位置作为查询图片的地理位置；

步骤S4具体包括：求和约束特征数；将地理距离较近的多张候选图片作为一个匹配整体，建立它们与查询图片的匹配关系；给定第i张候选图片，定义其与查询图片的约束特征数为

其中

表示操作算子，返回参考图片的全局特征；使用候选图片的GPS位置作为其全局特征，R称为约束半径；选择

对应的候选图片作为查询图片的最佳匹配。

2.根据权利要求1所述的基于投票平滑的单张图片地理定位方法，其特征在于，步骤S2具体步骤包括：修剪多重最近邻；令Q＝{q_i|i＝1，2…N}表示从查询图片中提取的N个特征描述子,作为查询特征；令

表示查询特征q_i对应的最近邻,满足||ξ(q_i)-ξ(υ_ij)||≤||ξ(q_i)-ξ(υ_i(j+1))||，其中υ_ij表示q_i的第j个最近邻；

表示操作算子，返回特征点的特征描述子；

表示度量算子，计算描述子之间的距离；通过检查第S个最近邻和第1个最近邻的相似程度，以移除非显著的查询特征以及它们对应的最近邻；定义

若θ_i＞0.8，则移除查询特征q_i以及对应的最近邻，其中S设置为10。

3.根据权利要求1所述的基于投票平滑的单张图片地理定位方法，其特征在于，步骤S3具体包括：计算匹配特征数；令

表示修剪步骤后查询特征的数量，K表示每个查询特征对应的最近邻的数量；每个最近邻唯一对应一张参考图片，将所有最近邻对应的参考图片表示为

其中

表示操作算子，返回最近邻对应的参考图片；υ_ij表示q_i的第j个最近邻；采用简单的遍历算法，剔除重复的图片，得到唯一的参考图片序列并将它们称为候选图片。

4.根据权利要求1所述的基于投票平滑的单张图片地理定位方法，其特征在于，步骤S3具体还包括：令求出的候选图片序列为

其中l表示候选图片的数量；多重最近邻中每个候选图片与查询图片的局部特征匹配个数的求解方法为：给定候选图片

遍历查询特征集Q中的每个查询特征q_i，判断q_i对应的前K个NN里是否有NN对应的参考图片是

若存在，则匹配特征数N_m+1；若无，则进入下一个查询特征q_i+1。

5.根据权利要求1所述的基于投票平滑的单张图片地理定位方法，其特征在于：还包括预处理过程，用于提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集组织成索引结构。

6.根据权利要求5所述的基于投票平滑的单张图片地理定位方法，其特征在于：所述预处理过程具体步骤包括：

A1：将街景图片进行压缩；

A2：对街景图片提取局部特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表；

A3：将所述参考特征集组织成索引结构。

7.根据权利要求6所述的基于投票平滑的单张图片地理定位方法，其特征在于：步骤A2中，所述特征点是SIFT或SURF特征点。

8.根据权利要求6所述的基于投票平滑的单张图片地理定位方法，其特征在于：步骤A3中，所述索引结构是用相似性搜索工具FAISS或快速最近邻搜索库FLANN将其建立成索引结构。

9.一种计算机介质，其特征在于，存储有计算机程序，所述程序可以被执行以实现如权利要求1～8中任意一项所述的方法。

Images