CN110210533B - 基于最大覆盖位置问题的图片组地理定位方法 - Google Patents

Abstract

本发明公开了基于最大覆盖位置问题的图片组定位方法。通过单张图片地理定位方法对图片组的每张查询图片检索部分匹配相似度数值较高的候选图片；将最大满足全局约束的第一候选图片作为正确匹配图片，其它称为异常匹配图片。首先，使用基于最大覆盖位置问题确定第一候选图片，将其他的查询图片称作异常值图。其次，对于异常值图片从其他候选图片中选择距离覆盖的第一候选图片最近的一个作为他们的匹配。本方法具有有效提高图片组的定位精度和匹配速度快的特点。

Description

基于最大覆盖位置问题的图片组地理定位方法

技术领域

本发明涉及图像定位技术领域，尤其涉及基于最大覆盖位置问题的图片组地理定位方法。

背景技术

某些查询图片，若存在显著性特征较少或误匹配较强等问题，则单张图片地理定位方法无法对其准确地理定位。在之前的工作中，Zamir提出了两个步骤的层次方法来定位多张图片。他们通过图片组的单个图片的匹配结果将大规模参考图片限制到一定范围内的子集，然后再次运用他们提出的单个图片地理定位方法将每个查询图片重新与子集内的参考图片进行匹配。该方法的第一个步骤有利于提高图片组的定位准确性，但是第二个步骤需要重新组织并检索这些参考图片，计算复杂度随着图片组图片数量的增加而变大。

发明内容

为了解决基于特征匹配的单张图片地理方法定位精度有限的问题，本发明提出一种基于最大覆盖位置问题的图片组地理定位方法。

本发明解决其技术问题所采用的技术方案是：

S1、首先，通过单张图片地理定位方法对图片组的每张查询图片检索部分匹配相似度数值较高的候选图片；将最大满足全局约束的第一候选图片作为正确匹配图片，其它称为异常匹配图片。S2、其次，使用基于最大覆盖位置问题确定第一候选图片，将其他的查询图片称作异常值图。S3、最后，对于异常值图片从其他候选图片中选择距离覆盖的第一候选图片最近的一个作为他们的匹配。

优选地，步骤S1具体可包括：A1：检索候选图片

设Q_G＝{Q₁,Q₂，…Q_h}为查询图片组，其中2R_g表示图片组中的两张查询图片的最大地理距离，h表示查询图片的数量。对Q_G中的每张图片，采用单张图片的定位方法，检索匹配相似度最高的前M_g张候选图片，检索结果记为：

其中

表示第m张查询图片对应的第i张候选图片。

步骤S2具体可包括A2：使用最大覆盖位置问题的图片匹配设完全图

令

表示所有第一个候选图片组成的顶点，E＝{(I_i，I_j)|i≠j}表示所有顶点连接的边，边的权重

定义为：

将那些满足全局约束的第一候选图片作为查询图片的正确匹配，即第一候选图片之间的距离应该小于或等于查询图片组的直径，且满足要求的图片数量最多。由于不能知道图片组半径的准确值，这里将其替换为已知大小的覆盖半径，数学公式表述为：

满足

其中

为覆盖半径。这个问题可以采用最大覆盖位置问题找到满足要求的解。

最大覆盖位置问题。二维平面中存在一系列离散点，目前存在一个问题是如何用固定半径(这里称之为覆盖半径)的区域去覆盖最多的点。本文将其称之为最大位置覆盖问题，记为MCLP。为方便描述该问题并给出求解算法，下面用图论的形式进行描述。设完全图

其中V＝{υ_i|i＝1，2…N}为顶点，E＝{(υ_i，υ_j)|i≠j}表示所有顶点连接的边，

表示边的权重，其数值为两个顶点的欧式距离。上面的问题可以描述为：给定覆盖半径

从图G的顶点中寻找一个集合，使得该集合的顶点数量最大且任何两个顶点的欧式距离小于等于

该问题的求解思路为通过枚举图G中的两个顶点以确定一个圆的圆心，然后再枚举出一共有多少顶点能被这个圆覆盖，并选择最多数目的圆心作为覆盖区域。非严格地，本节将每个顶点作为圆心，若距其它顶点到圆心的距离小于等于覆盖半径。

步骤S3具体可包括：A3：匹配异常查询图片

令

为MCLP找到的满足条件的部分第一候选图片，其中

表示第k_s张查询图片的匹配图片；将未被覆盖的候选图片对应的查询图片作为异常图片。对于查询集

中的异常查询图片Q_x，通过以下公式选择其他的候选图片：

本发明的有益效果是：在单张图片地理定位基础上，用最大覆盖位置问题模型找到最大部分的正确匹配关系，并将其它的查询图片视为异常图片；采用最小距离原则对其重新图片地理定位，具有有效提高图片组的定位精度和匹配速度快的特点。

进一步地，在一个实施例中，该方法比Zamir提出的图片组定位算法复杂度低。在Zamir公开的102K数据集上，把测试数据集作为查询图片组，在300m的误差范围内，本发明的方法比最先进的单张图片地理定位方法整体提高了4％。

附图说明

图1是本发明实施例基于最大覆盖位置问题的图片组地理定位流程框图；

图2是本发明实施例102K数据集中4张图片组成的查询图片组定位的例子；

图3是本发明方法与单张图片定位方法在102K数据集的正确率对比图。

图4是本发明实施例单张图片定位方法基于广义最大权重图的单张图片地理定位方法流程示意图；

图5是本发明实施例一张查询图片定位的示意图；

图6是本发明实施例为Zamir公开测试数据集的匹配正确率。

图7是本发明实施例为Zemene公开测试数据集的匹配正确率。

图8是本发明实施例中用到的算法1流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

对测试数据集，我们采用Zamir公开的102K的数据集，本具体实施例在服务器上Ubuntu环境下用Python2.7脚本语言下执行，其中服务器内存至少需要100G；102K对应的测试集中图片之间最大的地理距离是1877.3m。

S1、首先通过单张图片地理定位方法(详见下文所述：基于广义最大权重图的单张图片地理定位方法)对图片组的每张查询图片检索部分匹配相似度数值较高的候选图片；将最大满足全局约束的第一候选图片作为正确匹配图片，其它称为异常匹配图片。S2、其次，使用基于最大覆盖位置问题确定第一候选图片，将其他的查询图片称作异常值图。S3、最后，对于异常值图片从其他候选图片中选择距离覆盖的第一候选图片最近的一个作为他们的匹配。

优选地，具体步骤S1可包括：

A1：检索候选图片

设Q_G＝{Q₁,Q₂，…Q_h}为查询图片组，其中2R_g表示图片组中的两张查询图片的最大地理距离，h表示查询图片的数量。对Q_G中的每张图片，采用单张图片的定位方法，检索匹配相似度最高的前M_g张候选图片，检索结果记为：

其中

表示第m张查询图片对应的第i张候选图片。

步骤S2可包括A2：使用最大覆盖位置问题的图片匹配

设完全图

令

表示所有第一个候选图片组成的顶点，E＝{(I_i，I_j)|i≠j}表示所有顶点连接的边，边的权重

定义为：

将那些满足全局约束的第一候选图片作为查询图片的正确匹配，即第一候选图片之间的距离应该小于或等于查询图片组的直径，且满足要求的图片数量最多。由于不能知道图片组半径的准确值，这里将其替换为已知大小的覆盖半径，数学公式表述为：

满足

其中

为覆盖半径。这个问题可以采用最大覆盖位置问题找到满足要求的解。

最大覆盖位置问题。二维平面中存在一系列离散点，目前存在一个问题是如何用固定半径(这里称之为覆盖半径)的区域去覆盖最多的点。本文将其称之为最大位置覆盖问题，记为MCLP。为方便描述该问题并给出求解算法，下面用图论的形式进行描述。设完全图

其中V＝{υ_i|i＝1，2…N}为顶点，E＝{(υ_i，υ_j)|i≠j}表示所有顶点连接的边，

表示边的权重，其数值为两个顶点的欧式距离。上面的问题可以描述为：给定覆盖半径

从图G的顶点中寻找一个集合，使得该集合的顶点数量最大且任何两个顶点的欧式距离小于等于

该问题的求解思路为通过枚举图G中的两个顶点以确定一个圆的圆心，然后再枚举出一共有多少顶点能被这个圆覆盖，并选择最多数目的圆心作为覆盖区域。非严格地，本节将每个顶点作为圆心，若距其它顶点到圆心的距离小于等于覆盖半径。

步骤S3可包括A3：匹配异常查询图片

令

为MCLP找到的满足条件的部分第一候选图片，其中

表示第k_s张查询图片的匹配图片；将未被覆盖的候选图片对应的查询图片作为异常图片。对于查询集

中的异常查询图片Q_x，通过以下公式选择其他的候选图片：

图2是本发明实施例102K测试数据集4张图片组成的查询图片组定位的例子。其中Q₁是发现的错误匹配，校正后匹配误差为56.5m。

图3是本发明方法与单张图片定位方法在102K数据集的正确率对比图。图中的横轴表示查询图片的匹配和真实位置的误差阈值，纵轴显示测试查询集在固定误差阈值内的定位准确率，其中覆盖半径

M_g＝16。-◇-曲线显示基于GMNW的单张图片定位方法的性能，即查询图片选择所对应的第一候选图片作为最佳匹配图片。紫色-·-曲线为提出的基于覆盖位置问题的定位结果，该方法选择满足全局约束的第一候选图像作为部分匹配结果，采用最小距离原则对剩下的异常查询图片重新匹配。曲线结果说明，提出的图片组定位百分比整体高于基线，且在300m的距离误差内图片组的定位结果优于单个图片的定位结果4％。

基于广义最大权重图的单张图片地理定位方法说明：

上文提到“基于广义最大权重图的单张图片的定位方法”，下面介绍举例本实施例中所采用的方法。但该方法并非唯一(比如，Zemene提出的基于主导集DSC方法，这些方法也可以生成多个候选图片列表)，不应对此解释为对本发明的限制。

如图4所示，基于广义最大权重图的图片实时匹配地理定位方法，它包括可离线处理(可在终端处理，也可在服务器处理)的预处理部分，以及要在线处理的实时匹配(实时处理)部分。

这里采用Zamir提供的102k公共街景数据集。本具体实施例在服务器Ubuntu16.04环境下用Python2.7脚本语言下执行，其中服务器内存至少需要100G；在变通实施例中，如果数据量大，电脑、移动电子设备或服务器可能需要更大内存。如图5所示为一张查询图片定位过程中所需要的主要步骤的形象化示意。

其中预处理部分是提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；102k街景数据的预处理具体步骤如下：

C1：将街景图片进行压缩；

C2：对街景图片提取125077125个SIFT特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表，在变通实施列中可以使用SURF特征点；

C3：将参考特征集用相似性搜索工具FAISS的IVFFlat将其建立成索引结构，在变通实施列中可以使用快速最近邻搜索库FLANN。

其中实时匹配是从查询图片中提取局部描述子作为查询特征；其次，在预处理组织的索引中对每个查询特征检索最近邻并使用动态修剪方法来粗略地移除非显著查询特征及其相应的最近邻；在下一步中，将地理定位问题形式化为查询图片和候选图片之间的匹配问题，即把最近邻对应的参考图片视为潜在匹配图片并修剪匹配度较低的候选图片，使用基于广义最大权重图(GMNW)的图片匹配方法从候选图片中选择具有最高匹配相似度的图片作为最后结果。具体步骤如下：

B1：动态修剪最近邻。令Q＝{q₁，q₂…q_N}表示从查询图片中提取的N个查询特征。令υ_i.表示查询特征q_i从预处理中组织的索引检索到的所有最近邻。令θ＝{θ_i|i＝1，2…N}表示距离比值集，其中

在比值集中，非显著查询特征对应的最近邻比值较大。统计意义上，这里将高于第p百分位数的查询特征均作为非显著查询特征。若θ_i≥θ_p，则移除对应的查询特征q_i以及相应的最近邻，其中θ_p表示θ的第p百分位数，S，p分别经验性地设置为10和12。

B2：修剪候选图片。令

表示动态修剪最近邻后查询特征的数量，这里对每个查询特征仅保留第一最近邻，则所有最近邻对应的参考图片表示为：

采用遍历算法，在得到候选图片序列时，亦能得到匹配特征数，见如下算法1，其流程图如图8所示。由前面的表述可知，

该步骤最大复杂度为o(N)。令

其中N_m表示第m张候选图片的重复数值，同时也表示候选图片和查询图片的局部匹配特征个数。候选图片的重复数值越小，则其成为最优匹配图片的可能性越低。为移除最低可能性的候选图片和加快匹配速度，这里采用快速排序算法对这些候选图片按照匹配特征数大小对候选图片进行排序，选择前

张候选图片，

经验性地设置为450，时间算法最大复杂度为o(NlogN)。

B3：计算匹配相似度。设加权图为

其中V，E，ζ和

分别表示顶点、边、顶点权重和边权重。在本发明的框架中，顶点V＝I_C表示修剪后保留的所有候选图片，边的集合定义为

即任意两个候选图片之间相互连接。顶点的权重ζ＝N_C表示为候选图片与查询图片的匹配特征数，边的权重

定义为：

其中，σ经验性地设置为2⁷。给定候选图片

即

定义其与查询图片的匹配相似度为：

然后选择

对应的候选图片作为查询图片的匹配，用定义的广义节点权重图模型可以完美的表述和解决上述问题。生成广义权重矩阵的复杂度为

由于

为常数，故本步骤的算法复杂度为o(1)。

广义节点权重图模型：设加权完全图

其中V＝{υ₁，υ₂…υ_n}表示顶点，E＝{(υ_i，υ_j)|i≠j}表示两两顶点连接的边，ζ＝{ζ₁，ζ₂…ζ_n}表示顶点的权重，

表示边的权重。对任意一个顶点υ_i∈V，定义其广义权重为：

这里定义广义权重矩阵S：

对矩阵S的行向量求和，即可计算出顶点υ_i广义权重为：

进一步地，将S展开为：

其中，A是顶点的权重构成的对角矩阵，B是顶点的权重构成的行向量，C是边的权重构成的关联矩阵，B×C表示全局权重。故可以通过简单的矩阵运算直接求出每个顶点的广义权重值，通过其数值对所有顶点进行排序，将第一权重顶点作为最佳顶点。

如图6、7所示，在102K、300K数据集上的实验结果表明，在300m的误差范围内，本发明比最先进的方法匹配准确度提高了6％和4％，定位精度高；同时匹配时间为秒级，匹配速度快；该方法求出的候选图片参考特征集为全局最优解，而并非DSC或GMCP算法求出的局部最优解。

以上结合附图对本发明进行了详细说明，但本发明不仅仅局限于上述具体实施方式，本领域的普通技术人员根据所具备的知识，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.一种基于最大覆盖位置问题的图片组地理定位方法，其特征在于，包括如下步骤：

A1：检索候选图片

设Q_G＝{Q₁，Q₂，…Q_h}为查询图片组，其中2R_g表示图片组中的两张查询图片的最大地理距离，h表示查询图片的数量，对Q_G中的每张图片，采用单张图片的定位方法，检索匹配相似度最高的前M_g张候选图片，检索结果记为：

其中

表示第m张查询图片对应的第i张候选图片；

A2：使用最大覆盖位置问题MCLP的图片匹配

设完全图

令

表示所有第一个候选图片组成的顶点，E＝{(I_i，I_j)|i≠j}表示所有顶点连接的边，边的权重

定义为：

将那些满足全局约束的第一候选图片作为查询图片的正确匹配，即第一候选图片之间的距离应该小于或等于查询图片组的直径，且满足要求的图片数量最多，由于不能知道图片组半径的准确值，这里将其替换为已知大小的覆盖半径，数学公式表述为：

满足

其中

为覆盖半径，采用最大覆盖位置问题找到满足要求的解；

A3：匹配异常查询图片

令

为MCLP找到的满足条件的部分第一候选图片，其中

表示第k_s张查询图片的匹配图片；将未被覆盖的候选图片对应的查询图片作为异常查询图片，对于查询集

中的异常查询图片Q_x，通过以下公式选择其他的候选图片：

2.如权利要求1所述的基于最大覆盖位置问题的图片组地理定位方法，其特征在于，所述最大覆盖位置问题是指：二维平面中存在一系列离散点，其中存在的一个如何用固定半径即覆盖半径的区域去覆盖最多的点的问题；设完全图

其中V＝{υ_i|i＝1，2…h}为顶点，E＝{(υ_i，υ_j)|i≠j}表示所有顶点连接的边，

表示边的权重，其数值为两个顶点的欧式距离；最大覆盖位置问题即：给定覆盖半径

从图G的顶点中寻找一个集合，使得该集合的顶点数量最大且任何两个顶点的欧式距离小于等于

3.如权利要求2所述的基于最大覆盖位置问题的图片组地理定位方法，其特征在于，最大覆盖位置问题的求解方法为：通过枚举完全图G中的两个顶点以确定一个圆的圆心，然后再枚举出一共有多少顶点能被这个圆覆盖，并选择最多数目的圆心作为覆盖区域。

4.根据权利要求1所述的基于最大覆盖位置问题的图片组地理定位方法，其特征在于：步骤A1中所述单张图片的定位方法包括如下步骤：

B1、动态修剪最近邻：令Q＝{q₁，q₂…q_N}表示从查询图片中提取的N个查询特征；令υ_i·表示查询特征q_i从预处理中组织的索引检索到的所有最近邻；令θ＝{θ_i|i＝1，2…N}表示距离比值集，其中

将高于第p百分位数的查询特征均作为非显著查询特征；若θ_i≥θ_p，则移除对应的查询特征q_i以及相应的最近邻，其中θ_p表示θ的第p百分位数，S，p分别经验性地设置为10和12；

B2、修剪候选图片：令

表示动态修剪最近邻后查询特征的数量，这里对每个查询特征仅保留第一最近邻，则所有最近邻对应的参考图片表示为：

采用遍历算法，在得到候选图片序列时，得到匹配特征数；其中

该步骤最大复杂度为o(N)；令

其中N_m表示第m张候选图片的重复数值，同时也表示候选图片和查询图片的局部匹配特征个数；候选图片的重复数值越小，采用快速排序算法对这些候选图片按照匹配特征数大小对候选图片进行排序，选择前n张候选图片，n经验性地设置为450，时间算法最大复杂度为o(N log N)；

B3、计算匹配相似度：设加权完全图为

其中V，E，ζ和

分别表示顶点、边、顶点权重和边权重；顶点V＝I_C表示修剪后保留的所有候选图片，边的集合定义为

即任意两个候选图片之间相互连接；顶点的权重ζ＝N_C表示为候选图片与查询图片的匹配特征数，边的权重

定义为：

其中，σ经验性地设置为2⁷；给定候选图片

即

定义其与查询图片的匹配相似度为：

然后选择

对应的候选图片作为查询图片的匹配，用广义节点权重图模型解决上述问题；生成广义权重矩阵的复杂度为o(n²)，算法复杂度为o(1)。

5.根据权利要求4所述的基于最大覆盖位置问题的图片组地理定位方法，其特征在于：所述广义节点权重图模型为：设加权完全图

其中V＝{υ₁，υ₂…υ_n}表示顶点，E＝{(υ_i，υ_j)|i≠j}表示两两顶点连接的边，ζ＝{ζ₁，ζ₂…ζ_n}表示顶点的权重，

表示边的权重；对任意一个顶点υ_i∈V，定义其广义权重为：

这里定义广义权重矩阵S：

对矩阵S的行向量求和，计算出顶点υ_i广义权重为：

6.根据权利要求5所述的基于最大覆盖位置问题的图片组地理定位方法，其特征在于：将S展开为：

其中，A是顶点的权重构成的对角矩阵，B是顶点的权重构成的行向量，C是边的权重构成的关联矩阵，B×C表示全局权重；通过简单的矩阵运算直接求出每个顶点的广义权重值，通过其数值对所有顶点进行排序，将第一权重顶点作为最佳顶点。

7.根据权利要求1所述的基于最大覆盖位置问题的图片组地理定位方法，其特征在于：步骤A1中所述单张图片的定位方法还包括预处理过程，用于提取街景图片的局部特征点作为参考特征集，建立局部特征点与其所提取街景图片的映射表，将所述参考特征集建立成索引结构；预处理过程具体步骤包括：

C1：将街景图片进行压缩；

C2：对街景图片提取局部特征点，将其作为参考特征集，同时建立每个局部特征点和所提取街景图片的映射表；

C3：将所述参考特征集建立成索引结构。

8.根据权利要求7所述的基于最大覆盖位置问题的图片组地理定位方法，其特征在于：步骤C2中，所述特征点是SIFT或SURF特征点；步骤C3中，所述索引结构是用相似性搜索工具FAISS或快速最近邻搜索库FLANN将其建立成索引结构。

Images