CN110134811B - 基于广义最大权重图的单张图片地理定位方法 - Google Patents

Abstract

本发明公开了一种基于广义最大权重图的单张图片地理定位方法。首先，从查询图片中提取局部描述子作为查询特征；其次，在预处理组织的索引中对每个查询特征检索最近邻并使用提出来动态修剪方法来粗略地移除非显著查询特征及其相应的最近邻；在下一步中，将地理定位问题形式化为查询图片和候选图片之间的匹配问题，即把最近邻对应的参考图片视为潜在匹配图片并修剪匹配度较低的候选图片，使用基于广义最大权重图的图片匹配方法从候选图片中选择具有最高匹配相似度的图片作为最后结果。本方法具有定位精度高和算法复杂度低等特点。

Description

基于广义最大权重图的单张图片地理定位方法

技术领域

本发明涉及图像定位技术领域，尤其涉及一种基于广义最大权重图的单张图片地理定位方法。

背景技术

图片的地理位置在图像和视频中有着重要作用，它们在现实世界中有着多方面的运用。在辅助分析领域，地理定位可以用于组织图片集、执法和商业市场趋势的统计分析等；在具体技术领域，可以用于基于模型的图像增强、增强现实、车载视频轨迹估计和自动驾驶汽车等；在智能交通领域，可以用于基于视觉的地理定位和其他非视觉定位系统的组合定位技术，可以实现更高的鲁棒性、实时性和准确性。

在基于近似最近邻特征匹配的大规模街景图片地理定位方法中，Zamir(人名)为每个查询特征检索第一最近邻，对地理位置图片的投票值进行高斯平滑，使用启发式投票机制选择与查询图片匹配特征数最大的参考图片作为最佳匹配。但是高斯平滑步骤中可以用图片的全局GIST、HOG等特征来度量它们的分布关系，故该方法可以进一步泛化。

修剪非显著的查询特征以及对应的最近邻可以提高定位精度，降低计算成本。之前的工作通过检查最近邻的相似性，移除低于固定阈值的查询特征以及最近邻。最近邻的相似性程度不仅取决于查询特征的显著性，还依赖于参考特征的总数量。若参考特征的数量规模较大，则不同查询特征集检索到的最近邻相似性差异较大且同一查询特征对应的多个最近邻差异较小，固定阈值无法适应查询特征和参考特征的变化。极端地，如果手动设定的固定阈值低于相似性比值集合的下界，则所有查询特征均会被误认为是非显著点从而被删除，导致图片的匹配定位失败。另外之前的工作存在这算法复杂度高、所求结果是局部最优解等问题。

发明内容

为了解决图片地理定位的匹配速度慢、所求结果是局部最优解和定位精度低的问题，本发明公开了一种基于广义最大权重图的单张图片地理定位方法，具有匹配速度快、所求结果是全局最优解和算法复杂度低的特点。

本发明解决其技术问题所采用的技术方案是：

S1、首先，从查询图片中提取局部描述子作为查询特征；S2、其次，在预处理组织的索引中对每个查询特征检索最近邻并使用提出来动态修剪方法来粗略地移除非显著查询特征及其相应的最近邻；S3、将地理定位问题形式化为查询图片和候选图片之间的匹配问题，即把最近邻对应的参考图片视为潜在匹配图片并修剪匹配度较低的候选图片；S4、保留部分匹配特征数较大的候选图片；S5、使用基于广义最大权重图(GMNW)的图片匹配方法从候选图片中选择具有最高匹配相似度的图片作为最后结果。

优选地，步骤S1、S2具体步骤可包括：动态修剪最近邻。令Q＝{q₁，q₂…q_N}表示从查询图片中提取的N个查询特征。令υ_i·表示查询特征q_i从预处理中组织的索引检索到的所有最近邻。令θ＝{θ_i|i＝1，2…N}表

示距离比值集，其中

在比值集中，非显著查询特征对应的最近邻比值较大。统计意义上，这里将高于第p百分位数的查询特征均作为非显著查询特征。若θ_i≥θ_p，则移除对应的查询特征q_i以及相应的最近邻，其中θ_p表示θ的第p百分位数。

步骤S4包括：修剪候选图片。令

表示动态修剪最近邻后查询特征的数量，这里对每个查询特征仅保留第一最近邻，则所有最近邻对应的参考图片表示为：

采用遍历算法，在得到候选图片序列时，亦能得到匹配特征数。由前面的表述可知，

该步骤最大复杂度为o(N)。令

其中N_m表示第m张候选图片的重复数值，同时也表示候选图片和查询图片的局部匹配特征个数。候选图片的重复数值越小，则其成为最优匹配图片的可能性越低。为移除最低可能性的候选图片和加快匹配速度，这里采用快速排序算法对这些候选图片按照匹配特征数大小对候选图片进行排序，选择前

张候选图片，

经验性地设置为450。候选图片的重复数值越小，则其成为最优匹配图片的可能性越低。为移除最低可能性的候选图片和加快匹配速度，通过实验发现，

取值450较为合适，时间算法最大复杂度为o(N log N)。

步骤S5具体包括：计算匹配相似度。设加权图为G＝(V，E，ζ，

)，其中V，E，ζ和

分别表示顶点、边、顶点权重和边权重。在发明的框架中，顶点V＝I_C表示修剪后保留的所有候选图片，边的集合定义为

即任意两个候选图片之间相互连接。顶点的权重ζ＝N_C表示为候选图片与查询图片的匹配特征数，边的权重

定义为：

其中，σ经验性地设置为2⁷。在具体实施例中参考图片之间的最小距离为12m，σ取值过大或过小会使得权重无法反应它们之间的全局关系。给定候选图片

即

定义其与查询图片的匹配相似度为：

然后选择最大权重

对应的候选图片作为查询图片的匹配，用定义的广义节点权重图模型可以完美的表述和解决上述问题。生成广义权重矩阵的复杂度为

由于

为常数，故本步骤的算法复杂度为o(1)。

广义节点权重图模型：设加权完全图G＝(V，E，ζ，

)，其中V＝{υ₁，υ₂…υ_n}表示顶点，E＝{(υ_i，υ_j)|i≠j}表示两两顶点连接的边，ζ＝{ζ₁，ζ₂…ζ_n}表示顶点的权重，

表示边的权重。对任意一个顶点υ_i∈V，定义其广义权重为：

这里定义广义权重矩阵S：

对矩阵S的行向量求和，即可计算出顶点υ_i广义权重为：

进一步地，将S展开为：

其中，A是顶点的权重构成的对角矩阵，B是顶点的权重构成的行向量，C是边的权重构成的关联矩阵，B×C表示全局权重。故可以通过简单的矩阵运算直接求出每个顶点的广义权重值，通过其数值对所有顶点进行排序，将第一权重顶点作为最佳顶点。

本发明的有益效果是：本发明对Zamir的工作进行泛化，在加权图上定义了顶点的广义权重，该问题既考虑顶点的自身权重又考虑其他顶点权重值对其的关联影响度，并用简单的矩阵形式进行表达求解，阐述其物理意义。匹配结果是全局最优解，同时算法复杂度低，算法最大复杂度为o(NlogN),其中N为提取的查询特征个数。在Zamir和Zemene(人名)公开的测试数据集上，本发明(GMNW)实施例测试集的定位准确率比最先进的方法提高了6％和4％，定位精度更高。

附图说明

图1是本发明实施例基于广义最大权重图的单张图片地理定位方法流程示意图；

图2是本发明实施例一张查询图片定位的示意图；

图3是本发明实施例为公开测试数据集的匹配正确率；

图4是本发明实施例为Zemene公开测试数据集的匹配正确率，其中GMNW是本发明实施例的结果；

图5是本发明实施例在Zamir公开测试集中随机抽取的4张图片；

图6是本发明实施例方法(GMNW)与基于DSC方法的匹配时间比较；

图7是本发明实施例中所用到的算法1流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，基于广义最大权重图的单张图片地理定位方法，它包括预处理部分，以及要实时匹配部分。对于参考图片集，本具体实施例采用Zamir和Zemene公开的102K街景数据集、300K世界级城市数据集，其中分别对应644张、500张带有GPS标签的测试图片。如图2所示为一张查询图片定位过程中所需要的主要步骤的形象化示意。

其中预处理部分是提取街景图片的局部特征描述子作为参考特征，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集组织成索引结构；具体步骤如下：

A1：将街景图片进行0.7等比压缩；(经验而言，取压缩比0.7比较合适)

A2：对102K、300K数据集提取1.25亿和2.54亿个SIFT特征描述子(还可以是别的类型的描述子，例如SURF、ORB等，但是他们的定位精度偏低)，分别将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表，在变通实施列中可以使用SURF特征点；

A3：将参考特征集用相似性搜索工具FAISS将其建立成索引结构，在变通实施列中可以使用快速最近邻搜索库FLANN。

其中实时匹配是从查询图片中提取局部描述子作为查询特征；其次，在预处理组织的索引中对每个查询特征检索最近邻并使用动态修剪方法来粗略地移除非显著查询特征及其相应的最近邻；在下一步中，将地理定位问题形式化为查询图片和候选图片之间的匹配问题，即把最近邻对应的参考图片视为潜在匹配图片并修剪匹配度较低的候选图片，使用基于广义最大权重图(GMNW是本发明的方法)的图片匹配方法从候选图片中选择具有最高匹配相似度的图片作为最后结果。

具体步骤如下：

B1：动态修剪最近邻。令Q＝{q₁，q₂…q_N}表示从查询图片中提取的N个查询特征。令υ_i·表示查询特征q_i从预处理中组织的索引检索到的所有最近邻。令θ＝{θ_i|i＝1，2…N}表示距离比值集，其中

在比值集中，非显著查询特征对应的最近邻比值较大。统计意义上，这里将高于第p百分位数的查询特征均作为非显著查询特征。若θ_i≥θ_p，则移除对应的查询特征q_i以及相应的最近邻，其中θ_p表示θ的第p百分位数，S，p分别经验性地设置为10和12(也可以设置为其他的，但是这样设置后，定位精度最高)。

B2：修剪候选图片。令

表示动态修剪最近邻后查询特征的数量，这里对每个查询特征仅保留第一最近邻，则所有最近邻对应的参考图片表示为：

采用遍历算法，在得到候选图片序列时，亦能得到匹配特征数，见图7所示算法1。由前面的表述可知，

该步骤最大复杂度为o(N)。令

其中N_m表示第m张候选图片的重复数值，同时也表示候选图片和查询图片的局部匹配特征个数。候选图片的重复数值越小，则其成为最优匹配图片的可能性越低。为移除最低可能性的候选图片和加快匹配速度，这里采用快速排序算法对这些候选图片按照匹配特征数大小对候选图片进行排序，选择前

张候选图片，

经验性地设置为450。候选图片的重复数值越小，则其成为最优匹配图片的可能性越低。为移除最低可能性的候选图片和加快匹配速度，

取值450较为合适(实验结果显示这样定位精度最高)，时间算法最大复杂度为o(N log N)。

B3：计算匹配相似度。设加权图为G＝(V，E，ζ，

)，其中V，E，ζ和

分别表示顶点、边、顶点权重和边权重。在发明的框架中，顶点V＝I_C表示修剪后保留的所有候选图片，边的集合定义为

即任意两个候选图片之间相互连接。顶点的权重ζ＝N_C表示为候选图片与查询图片的匹配特征数，边的权重

定义为：

其中，σ经验性地设置为2⁷。给定候选图片

即

定义其与查询图片的匹配相似度为：

然后选择

对应的候选图片作为查询图片的匹配，用定义的广义节点权重图模型可以完美的表述和解决上述问题。生成广义权重矩阵的复杂度为

由于

为常数，故本步骤的算法复杂度为o(1)。

广义节点权重图模型：设加权完全图G＝(V，E，ζ，

)，其中V＝{υ₁，υ₂…υ_n}表示顶点，E＝{(υ_i，υ_j)|i≠j}表示两两顶点连接的边，ζ＝{ζ₁，ζ₂…ζ_n}表示顶点的权重，

表示边的权重。对任意一个顶点υ_i∈V，定义其广义权重为：

这里定义广义权重矩阵S：

对矩阵S的行向量求和，即可计算出顶点υ_i广义权重为：

进一步地，将S展开为：

其中，A是顶点的权重构成的对角矩阵，B是顶点的权重构成的行向量，C是边的权重构成的关联矩阵，B×C表示全局权重。故可以通过简单的矩阵运算直接求出每个顶点的广义权重值，通过其数值对所有顶点进行排序，将第一权重顶点作为最佳顶点。

如图3、4所示，横轴显示查询图片的匹配位置和它真实位置的误差阈值，纵轴显示测试集在固定误差阈值内的定位百分比。-□-曲线显示了Zamir提出的基于广义最小团问题(GMCP)的地理定位结果，其使用GMCP对每个查询特征选择一个具有全局一致性的最近邻，并用投票方案确定匹配图片。-◇-曲线显示了Zemene提出基于主导集的地理定位结果，其使用DSC从动态多重最近邻中选择具有全局一致性的最近邻，并用投票方案确定匹配图片。-◇-曲线显示了Zemene提出的后处理的定位结果，其使用受限主导集(CDSC)从多次DSC生成的局部最优解中选择最佳匹配图片。-○-曲线显示了本发明提出的GMNW方法的定位结果，其中S＝10,p＝12。本发明把第一最近邻对应的参考图片作为潜在的候选图片，并选择具有最高匹配相似度的候选图片作为最佳匹配。102K测试集的定位结果显示基于GMNW方法比最先进的方法提高了6％。尽管300K数据集更具有挑战，结果显示GMNW的方法依然比最先进的方法提高了4％。同时匹配时间为秒级，匹配速度快；该方法求出的候选图片参考特征集为全局最优解，而并非DSC或GMCP算法求出的局部最优解。

为突出提出的方法在图片匹配速度的优势，本发明在多重最近邻(K＝5)条件下比较基于GMNW和基于DSC方法的运行时间。在图6中，横轴表示查询特征的数量，纵轴表示基于DSC方法的匹配时间与基于GMNW的匹配时间的比值。结果显示本发明的GMNW方法一般比DSC方法快20倍以上。特别地，目前最先进的方法是两个步骤(DSC with Post-processing)，故基于GMWN方法的匹配速度大大超过最先进的方法。

以上结合附图对本发明进行了详细说明，但本发明不仅仅局限于上述具体实施方式，本领域的普通技术人员根据所具备的知识，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种基于广义最大权重图的单张图片地理定位方法，其特征在于包括如下步骤：S1、从查询图片中提取局部描述子作为查询特征；S2、在预处理组织的索引中对每个查询特征检索最近邻并使用提出来动态修剪方法来粗略地移除非显著查询特征及其相应的最近邻；S3、将地理定位问题形式化为查询图片和候选图片之间的匹配问题，即把最近邻对应的参考图片视为潜在匹配图片并修剪匹配度较低的候选图片；S4、保留部分匹配特征数较大的候选图片；S5、使用基于广义最大权重图的图片匹配方法从候选图片中选择具有最高匹配相似度的图片作为最后结果，具体步骤包括：计算匹配相似度；设加权图为

其中V，E，ζ和

分别表示顶点、边、顶点权重和边权重；顶点V＝I_C表示修剪后保留的所有候选图片，边的集合定义为

即任意两个候选图片之间相互连接；顶点的权重ζ＝N_C表示为候选图片与查询图片的匹配特征数，边的权重

定义为：

其中，σ经验性地设置为2⁷；给定候选图片

即

定义其与查询图片的匹配相似度为：

然后选择

对应的候选图片作为查询图片的匹配；生成广义权重矩阵的复杂度为

2.根据权利要求1所述的基于广义最大权重图的单张图片地理定位方法，其特征在于：步骤S1、S2具体步骤包括：动态修剪最近邻；令Q＝{q₁，q₂…q_N}表示从查询图片中提取的N个查询特征；令

表示查询特征q_i从预处理中组织的索引检索到的所有最近邻；令θ＝{θ_i|i＝1，2…N}表示距离比值集，其中

将高于第p百分位数的查询特征均作为非显著查询特征；若θ_i≥θ_p，则移除对应的查询特征q_i以及相应的最近邻，其中θ_p表示θ的第p百分位数。

3.根据权利要求1所述的基于广义最大权重图的单张图片地理定位方法，其特征在于：步骤S4具体步骤包括：修剪候选图片；令

表示动态修剪最近邻后查询特征的数量，对每个查询特征仅保留第一最近邻，N表示从查询图片中提取的查询特征的个数，则所有最近邻对应的参考图片表示为：

采用遍历算法，在得到候选图片序列时，亦得到匹配特征数，

该步骤最大复杂度为o(N)；令

采用快速排序算法对这些候选图片按照匹配特征数大小对候选图片进行排序，选择前

张候选图片，

经验性地设置为450，时间算法最大复杂度为o(NlogN)。

4.根据权利要求1所述的基于广义最大权重图的单张图片地理定位方法，其特征在于：所述广义节点权重图模型各参数为：设加权完全图

其中V＝{υ₁，υ₂…υ_n}表示顶点，E＝{(υ_i，υ_j)|i≠j}表示两两顶点连接的边，ζ＝{ζ₁，ζ₂…ζ_n}表示顶点的权重，

表示边的权重；对任意一个顶点υ_i∈V，定义其广义权重为：

这里定义广义权重矩阵S：

对矩阵S的行向量求和，计算出顶点υ_i广义权重为：

5.根据权利要求4所述的基于广义最大权重图的单张图片地理定位方法，其特征在于，进一步还包括如下步骤：

将S展开为：

其中，A是顶点的权重构成的对角矩阵，B是顶点的权重构成的行向量，C是边的权重构成的关联矩阵，B×C表示全局权重；通过矩阵运算直接求出每个顶点的广义权重值，通过其数值对所有顶点进行排序，将第一权重顶点作为最佳顶点。

6.根据权利要求1所述的基于广义最大权重图的单张图片地理定位方法，其特征在于：还包括预处理过程，用于提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构。

7.根据权利要求6所述的基于广义最大权重图的单张图片地理定位方法，其特征在于：预处理过程具体步骤包括：

A1：将街景图片进行压缩；

A2：对街景图片提取局部特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表；

A3：将所述参考特征集建立成索引结构。

8.根据权利要求7所述的基于广义最大权重图的单张图片地理定位方法，其特征在于：步骤A2中，所述特征点是SIFT或SURF特征点。

9.根据权利要求7所述的基于广义最大权重图的单张图片地理定位方法，其特征在于：步骤A3中，所述索引结构是用相似性搜索工具FAISS或快速最近邻搜索库FLANN将其建立成索引结构。

Images