CN103745498A - 一种基于图像的快速定位方法 - Google Patents

Abstract

本发明公开了一种基于图像的快速定位方法，该方法包括以下步骤：对于拍摄场景进行三维重建，得到拍摄场景中的三维点及与三维点相对应的二进制描述子；对二进制描述子建立索引；根据重建得到的场景的三维点及与三维点相应的二进制描述子和二进制描述子的索引，对于输入的查询图像进行定位。本发明借助三维点云实现基于图像的快速定位，在保持与现有的基于图像的定位方法相当的定位精度的情况下，定位速度比现有定位方法快接近10倍。

Description

一种基于图像的快速定位方法

技术领域

本发明属于图像定位技术领域，尤其是一种基于图像的快速定位方法。

背景技术

基于图像的定位在基于位置的服务如：交通导航、广告投放、旅游指南中有着重要的应用。目前基于图像的定位方法主要分为两类：

第一类是借助图像检索的方法，它要求对场景拍摄一系列图像构成数据库，并为每一幅数据库图像标记地理位置信息。对于一副查询图像，首先从数据库中检索出与之相似的图像，然后利用这些数据库图像的位置信息推断该查询图像的拍摄位置。

第二类是借助三维点云的方法，它要求预先对场景进行基于图像的三维重建，得到场景的三维点云。对于一副查询图像，首先寻找该图像中二维特征点与三维点云的对应关系，再根据得到的二维三维关系利用Perspective-n-Point(PnP)算法估计拍摄该查询图像的相机的位置和姿态。

第一类方法借助于现有的图像检索技术已经可以实现大规模（城市级）场景中的定位，但只能得到拍摄查询图像相机的大致位置。而第二类方法利用了三维点与二维点之间严格的几何关系，可以得到拍摄查询图像相机的精确位置，并且能够得到相机的姿态。相机的位置和姿态的精确获取使得基于图像的定位有着更多的应用，比如：增强现实和3D的互动。随着三维重建技术的进步，实现大规模场景（城市级）的三维重建已经成为可能，使得第二类定位方法更加受到欢迎，本发明中的定位方法也属于这一类。

在第二类方法中，核心的技术是寻找三维点和查询图像中二维特征点的对应关系。这一般被当成一个描述子匹配的问题来处理。具体地，在用图像对场景进行重建的过程中每一个三维点都对应有一系列的二维特征点及其描述子，这些特征点和它们的描述子以及它们与三维点的对应关系被保存于数据库中，在查询时首先提取查询图像中的特征点及其描述子，然后与数据库中的描述子做匹配，找到了匹配的数据库描述子也就找到了对应的三维点。在现有的方法中，特征描述一般采用鲁棒的具有高区分度的SIFT，然而SIFT的提取速度较慢，一副图像往往需要花费上秒的时间，这使得这种定位方法无法满足一些时间要求较苛刻的应用如实时导航等。尤其是这些应用大部分要在计算力较弱的移动平台上实现，更限制了这种方法的使用。

发明内容

为了解决现有方法因采用SIFT特征而速度较慢的问题，本发明提供了一种采用二进制特征的快速定位方法，借助三维点云实现基于图像的定位。

本发明提出的一种基于图像的定位方法包括以下步骤：

步骤1，对于拍摄场景进行三维重建，得到所述拍摄场景中的三维点及与三维点相对应的二进制描述子；

步骤2，对所述二进制描述子建立索引；

步骤3，根据重建得到的场景的三维点及与三维点相应的二进制描述子和二进制描述子的索引，对于输入的查询图像进行定位。

从上述技术方案上看，本发明具有以下有益效果：

本发明在保持与现有的基于图像的定位方法相当的定位精度的情况下，定位速度比现有定位方法快接近10倍。

附图说明

图1是本发明基于图像的定位方法的流程图。

图2是根据本发明一实施例的用单棵随机树为二进制描述子建立索引的示意图。

图3是根据本发明一实施例的为查询特征点寻找对应三维点的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的附图标记。且在附图中，以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。

为了使本领域普通技术人员更好的理解本发明，首先对其中的一些概念进行解释性说明：

（1）利用图像进行定位是指计算拍摄该图像的相机的位置和姿态，即计算相机6自由度的外参数，包括一个3×3的旋转矩阵R和一个3维平移向量T。

（2）二进制特征描述子是对特征点周围一个小像素块的描述，它由一个比特串构成，每一个比特位的值通常由特征点周围一个像素对的亮度大小关系获得。记某一个比特位的值为v，则 $v=\left\{\begin{array}{cc}0& I_1<I_2\\ 1& I_1\&GreaterEqual;I_2\end{array}\right.,$ 其中I₁和I₂是像素对的亮度大小。像素对的具体位置由不同的方法来确定，这些方法代表不同类型的二进制描述子，如常用的BRISK，ORB描述子。

本发明方法由场景三维重建、数据库二进制描述子索引、查询图像定位三个部分组成，前两个部分都是离线进行，目的是构建一个数据库用于对查询图像进行定位，该数据库包括场景的三维点云，与每个点云对应的多个二进制描述子，以及所有描述子的索引。以下对这几个部分进行具体的说明。

图1是本发明基于图像的定位方法的流程图，如图1所示，所述方法包括以下步骤：

步骤1，对于拍摄场景进行三维重建，得到所述拍摄场景中的三维点及与三维点相对应的二进制描述子；

该步骤的目的是建立场景的三维点云，并且为每一个三维点分配一系列的二进制描述子。所述步骤1进一步包括以下步骤：

步骤11，拍摄得到覆盖场景的图像序列，提取图像序列中每一幅图像的特征点及描述子；

所述步骤11中提取每一幅图像的特征点及描述子的步骤具体为：通过多次下采样得到多幅具有不同分辨率即不同尺度的子图像，提取每一幅子图像上的特征点（如角点）及其描述子，需要注意的是这里的描述子不一定是二进制描述子，可以是常用的SIFT描述子；所有子图像上的特征点及描述子都作为该幅图像的特征点及其描述子；

步骤12，基于提取得到的特征点及描述子，对于图像序列中的每两幅图像进行特征匹配，即为一副图像上的特征点在另一副图像中寻找匹配的特征点；通过图像之间的两两匹配，可以得到一系列的匹配串，其中每一个匹配串由多个相互匹配的特征点组成，这些特征点来自于不同的图像但都对应着空间中的同一个三维点；

步骤13，对于所述图像序列进行标定，并估计出每一个匹配串对应的三维点的坐标；

该步骤使用现有技术中常用的多视几何方法来对图像序列进行标定，该方法的具体实现过程不再赘述。该步骤中，有一些匹配串中存在错误的匹配，这种错误可以通过估计的三维点的空间坐标与特征点的图像坐标之间的几何关系检测到。对于一个匹配错误较多的匹配串，由它得到的三维点被认为是无效的。

步骤14，对于每一个有效的三维点，为匹配串中与之对应的每一个特征点提取二进制描述子。

完成上述4个步骤之后，就得到了场景的三维点，并且为每一个三维点分配了一系列的二进制描述子。

步骤2，对所述二进制描述子建立索引；

该步骤的目的是为每个二进制描述子建立索引，采用的方法是利用随机树的叶子节点来储存二进制描述子，所述随机树具有这样一种结构：它是一颗二叉树，即每一个非叶子节点有左右两个子节点；每个子节点包含一个测试用来决定将某个描述子划分到左子节点或是右子节点；特别地在本发明中节点测试是对描述子的某一个比特位的检查，由该比特位的值来决定该描述子被划分到哪个子节点。记某个节点测试为τ，则将τ应用到描述子f得到的值就由下面的式子决定： $\mathrm{\&tau;}\left(f\right)=\left\{\begin{array}{cc}0& I_1<I_2\\ 1& I_1\&GreaterEqual;I_2\end{array}\right.,$ I₁和I₂表示f所属的特征点周围的一个像素对的亮度值。经过一系列节点测试描述子将到达某个叶子节点，该描述子就被存储在这个叶子节点中。这个叶子结点的序号就作为该描述子的索引值，这样也就完成了对这个描述子的索引。

为描述子建立索引的过程如图2所示，所述步骤2进一步包括以下步骤：

步骤21，从随机树的根节点出发，对所述二进制描述子进行节点测试，根据测试结果将所述二进制描述子划分到左子节点或右子节点，比如若测试值是0则将所述二进制描述子划分到左子节点，若测试值是1则将所述二进制描述子划分到右子节点。

步骤22，判断所述二进制描述子所在的节点是否是叶子节点，如果不是则执行步骤21将所述二进制描述子划分至相应的子节点，否则将该二进制描述子存储在这个叶子节点中，叶子节点的序号就是这个二进制描述子的索引值；

需要注意的是，为了节省内存空间，叶子节点中存储的并非二进制描述子本身而是它的序号。

经过上述两个步骤就为每个二进制描述子建立好了索引。为了提高匹配的成功率，在本发明一实施例中采用多个随机树，具体地，对于一个二进制描述子，将步骤21，步骤22两个步骤应用到每一棵树上后，该二进制描述子到达的每一个叶子节点都会存储这个二进制描述子。也就是说，二进制描述子在每一个树下都有一个索引值。

在上面的过程中，假设随机树的结构是已知的，也就是说每一个非叶子节点上的测试是已知的，更具体地，在每个非叶子节点上检查描述子的哪一个比特位是已知的。在实际中，首先需要通过确定非叶子节点上的节点测试来确定随机树的结构。

下面以一棵随机树为例介绍非叶子节点的节点测试过程：

步骤211，从步骤1得到的三维点中随机挑选一组三维点（如1百万个）及其所有二进制描述子作为训练样本；

对于属于同一个三维点的所有描述子来说，它们是彼此的最近邻同时又充当彼此的查询描述子。于是对每一个二进制描述子，都有一组查询描述子并且该二进制描述子是这些查询描述子的最近邻。节点测试的目的就是要让尽量多的查询描述子与它们的最近邻落在相同的叶子节点（即具有相同的索引值），同时让二进制描述子尽量均匀的分布在树的叶子节点中。本发明一实施例通过贪婪算法来达到这个目的：初始时，所有用于训练的二进制描述子都位于树的根节点，从根节点出发，进行节点测试。

步骤212，产生一组（100个）随机的测试Τ＝{τ}；

步骤213，将每一个测试τ应用到位于当前节点的二进制描述子上，根据测试结果将它们划分在S_l和S_r两个集合中，同时将测试τ也应用到这些二进制描述子的查询描述子上，并统计查询描述子中与最近邻描述子具有相同测试结果的查询描述子所占的比例r_c；

步骤214，计算损失函数：

其中，

|.|表示集合元素的个数，λ是一个预先给定的参数用来在树的准确度和平衡性之间作权衡，一般取10-20之间的数；

步骤215，选择使得损失函数C最小的测试τ_best作为当前节点的节点测试；

步骤216，使用τ_best将当前节点中的二进制描述子划分到左右两个子节点中，如果达到一个预设的深度那么两个子节点将作为叶子节点否则为非叶子节点；

步骤217，对于未处理的非叶子节点重复步骤212-步骤216，直至处理完所有的非叶子节点，即确定随机树的结构。

用上述相同的步骤可以生成多个随机树用于给二进制描述子分配多个索引值。

步骤3，根据重建得到的场景的三维点及与三维点相应的二进制描述子和二进制描述子的索引，对于输入的查询图像进行定位。

该步骤的输入是一副查询图像，输出是该查询图像的位置和姿态，即6自由度的平移和旋转。所述步骤3进一步包括以下步骤：

步骤31，提取该查询图像上的查询特征点及其二进制查询描述子；

注意此时查询特征点的类型应与所述步骤1中提取的特征点的类型相同。

步骤32，利用所述步骤2得到的二进制描述子的索引将步骤31提取出的二进制查询描述子与所述步骤1得到的二进制描述子进行匹配，得到查询图像上的查询特征点与所述步骤1得到的三维点之间的对应关系。

图3展示了一个查询特征点寻找对应三维点的过程，如图3所示，所述步骤32进一步包括以下步骤：

步骤321，利用随机树即所述步骤21和步骤22得到所述二进制查询描述子的索引值，其中，每一棵随机树产生一个索引值；

步骤322，对于所述步骤321得到的每一个索引值，它所对应的叶子节点中存储的二进制描述子都被选作用于匹配的候选描述子；

步骤323，计算所述二进制查询描述子与所有候选描述子之间的距离，找出与之距离最近的候选描述子作为其最近邻描述子，然后在与这个最近邻描述子对应着不同三维点的候选描述子中再找一个距离查询描述子最近的描述子作为次近邻描述子；

步骤324，计算查询描述子与最近邻和次近邻描述子之间的距离的比值，如果该比值大于一定阈值（一般取0.7-0.8），则认为该查询描述子无对应的匹配，否则认为该查询描述子的匹配就是所述最近邻描述子；

步骤325，将所述最近邻描述子对应的三维点视为与查询特征点对应的三维点。

通过以上步骤就得到了查询图像中特征点与步骤1数据库中三维点之间的对应关系。

步骤33，基于查询特征点与所述步骤1得到的三维点之间的对应关系，计算得到查询图像的相机位姿，完成对查询图像的定位。

该步骤中，查询图像的相机位姿可以通过现有的一些Perspective-n-Point的方法（如DLT，P3P，EPnP等）求出。

为了进一步提高查询特征点与数据库特征点之间的匹配的准确性，本发明还对所述步骤321做了改进：在每一个随机树下，不是为查询描述子产生唯一的一个索引值，而是产生多个索引值，每一个索引值代表的叶子节点中存储的数据库描述子都被当作候选描述子，产生这些索引值的原则是使候选匹配尽可能的包含真正匹配。

下面以一颗树和一个描述子为例，说明如何得到该描述子在这棵树下的多个索引值。这个过程的输入是一棵随机树，一个查询描述子q，输出为一个查询描述子q索引值的集合L,其中L包含M个元素。这个过程中会用到一个最大堆

的数据结构来存储访问这棵随机树时遇到的一些中间节点。最大堆的数据单元是一个中间节点以及一个概率值，最大堆的功能就是将堆中的数据单元按照他们概率值的大小进行升序排序。具体步骤如下：

步骤3211，初始化，将索引值集合L设为空集，将索引值集合L的元素个数m设置为0，将根节点和数值1组成一个数据单元插入最大堆中；

步骤3212，检查索引值集合L的元素个数m，如果m等于M，那么为查询描述子q产生索引值的过程结束，输出索引值集合L；否则从最大堆

中提取出排列在最后的数据单元，得到一个节点

，和一个概率值P，执行步骤3213；

步骤3213，判断节点

是否是叶子节点，如果是则将节点

的序号添加到索引值集合L中，并把索引值集合L中的元素个数m更新为m+1，返回步骤3212，否则执行步骤3214；

步骤3214，估计与查询描述子q匹配的数据库描述子

被划分到节点

的左右子节点的概率P_l和P_r；

该步骤中，设节点的节点测试为τ，它表示特征点周围一个像素对亮度值I₁，I₂的大小关系，于是有： $\left\{\begin{array}{c}{P}_l=P(\mathrm{\&tau;}\left(\tilde{q}\right)=0)=P(I_1^{\tilde{q}}-I_2^{\tilde{q}}<0)\\ P_r=P(\mathrm{\&tau;}\left(\tilde{q}\right)=1)=P(I_1^{\tilde{q}}-I_2^{\tilde{q}}\&GreaterEqual;0)\end{array}\right.,$ 现在已知的是

的值μ^q,为了估计P_l与P_r，假设的取值

是服从一个以μ^q为中心的拉普拉斯分布，即

的概率密度函数 进一步假设b的取值不受具体的某个查询描述子q的影响，那就可以从数据库中随机选取一些描述子和他们的匹配描述子（注意数据库中的描述子匹配关系是已知的）作为样本，用最大似然估计方法得到b的取值，确定b之后，P_l与P_r也就容易得到了： $\left\{\begin{array}{c}{P}_l=P({\mathrm{\&mu;}}^{\tilde{q}}<0)={\&Integral;}_{-\&infin;}^0\frac{1}{2b}\exp (-\frac{|{\mathrm{\&mu;}}^{\tilde{q}}-{\mathrm{\&mu;}}^q|}{b})d{\mathrm{\&mu;}}^{\tilde{q}}\\ P_r=P({\mathrm{\&mu;}}^{\tilde{q}}\&GreaterEqual;0)={\&Integral;}_0^{+\&infin;}\frac{1}{2b}\exp (-\frac{|{\mathrm{\&mu;}}^{\tilde{q}}-{\mathrm{\&mu;}}^q|}{b})d{\mathrm{\&mu;}}^{\tilde{q}}\end{array}\right..$

步骤3215，比较概率P_l与P_r的大小，如果P_l大于P_r，则将节点的右子节点以及

作为数据单元插入最大堆

中，并更新节点

为节点

的左子节点；否则将节点

的左子节点以及作为数据单元插入最大堆

中，并更新节点

为节点

的右子节点，返回步骤3213。

经过上述过程，就得到了一个描述子在一棵随机树下的多个索引值。对于多棵随机树，只需要对描述子和每一棵随机树执行步骤3211-3215即可。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像的定位方法，其特征在于，该方法包括以下步骤：

步骤1，对于拍摄场景进行三维重建，得到所述拍摄场景中的三维点及与三维点相对应的二进制描述子；

步骤2，对所述二进制描述子建立索引；

步骤3，根据重建得到的场景的三维点及与三维点相应的二进制描述子和二进制描述子的索引，对于输入的查询图像进行定位。

2.根据权利要求1所述的方法，其特征在于，所述二进制特征描述子是对特征点周围一个小像素块的描述，它由一个比特串构成，每一个比特位的值由特征点周围一个像素对的亮度大小关系获得。

3.根据权利要求1所述的方法，其特征在于，所述步骤1进一步包括以下步骤：

步骤11，拍摄得到覆盖场景的图像序列，提取图像序列中每一幅图像的特征点及描述子；

步骤12，基于提取得到的特征点及描述子，对于图像序列中的每两幅图像进行特征匹配，得到一系列的匹配串，每一个匹配串由多个相互匹配的特征点组成，这些特征点来自于不同的图像但都对应着空间中的同一个三维点；

步骤13，对于所述图像序列进行标定，并估计出每一个匹配串对应的三维点的坐标；

步骤14，对于每一个有效的三维点，为匹配串中与之对应的每一个特征点提取二进制描述子。

4.根据权利要求3所述的方法，其特征在于，所述步骤11中提取每一幅图像的特征点及描述子的步骤具体为：通过多次下采样得到多幅具有不同分辨率即不同尺度的子图像，提取每一幅子图像上的特征点及其描述子。

5.根据权利要求3所述的方法，其特征在于，所述步骤11提取得到的描述子不限于二进制描述子。

6.根据权利要求1所述的方法，其特征在于，所述步骤2中，通过随机树对所述二进制描述子建立索引。

7.根据权利要求6所述的方法，其特征在于，所述步骤2进一步包括以下步骤：

步骤21，从随机树的根节点出发，对所述二进制描述子进行节点测试，根据测试结果将所述二进制描述子划分到左子节点或右子节点；

步骤22，判断所述二进制描述子所在的节点是否是叶子节点，如果不是则执行步骤21将所述二进制描述子划分至相应的子节点，否则将该二进制描述子存储在该叶子节点中，该叶子节点的序号就是这个二进制描述子的索引值。

8.根据权利要求6所述的方法，其特征在于，所述随机树的结构通过确定非叶子节点上的节点测试来确定，所述非叶子节点的节点测试过程包括以下步骤：

步骤211，从步骤1得到的三维点中随机挑选一组三维点及其所有二进制描述子作为训练样本，所有二进制描述子都位于树的根节点，从根节点出发，进行节点测试，其中，属于同一个三维点的所有描述子既是彼此的最近邻同时又充当彼此的查询描述子；

步骤212，产生一组随机的测试Τ＝{τ}；

步骤213，将每一个测试τ应用到位于当前节点的二进制描述子上，根据测试结果将它们划分在S_l和S_r两个集合中，同时将测试τ应用到这些二进制描述子的查询描述子上，并统计查询描述子中与最近邻描述子具有相同测试结果的查询描述子所占的比例r_c；

步骤214，计算损失函数： $C=\mathrm{\&lambda;}(1-r_c)+\frac{1}{0.5-|0.5-\mathrm{\&mu;}|},$ 其中， $\mathrm{\&mu;}=\frac{\left|S_l\right|}{\left|S_l\right|+\left|S_r\right|},$ |.|表示集合元素的个数，λ是一个预先给定的参数；

步骤215，选择使得损失函数C最小的测试τ_best作为当前节点的节点测试；

步骤216，使用τ_best将当前节点中的二进制描述子划分到左右两个子节点中，如果达到一个预设的深度那么两个子节点将作为叶子节点否则为非叶子节点；

步骤217，对于未处理的非叶子节点重复步骤212-步骤216，直至处理完所有的非叶子节点。

9.根据权利要求1所述的方法，其特征在于，所述步骤3进一步包括以下步骤：

步骤31，提取该查询图像上的查询特征点及其二进制查询描述子；

步骤32，利用所述步骤2得到的二进制描述子的索引将步骤31提取出的二进制查询描述子与所述步骤1得到的二进制描述子进行匹配，得到查询图像上的查询特征点与所述步骤1得到的三维点之间的对应关系；

步骤33，基于查询特征点与所述步骤1得到的三维点之间的对应关系，计算得到查询图像的相机位姿，完成对查询图像的定位。

10.根据权利要求9所述的方法，其特征在于，所述步骤32进一步包括以下步骤：

步骤321，利用随机树得到所述二进制查询描述子的索引值；

步骤322，对于所述步骤321得到的每一个索引值，将它所对应的叶子节点中存储的二进制描述子作为用于匹配的候选描述子；

步骤323，计算所述二进制查询描述子与所有候选描述子之间的距离，找出与之距离最近的候选描述子作为其最近邻描述子，然后在与这个最近邻描述子对应着不同三维点的候选描述子中再找一个距离查询描述子最近的描述子作为次近邻描述子；

步骤324，计算查询描述子与最近邻和次近邻描述子之间的距离的比值，如果该比值大于一定阈值，则认为该查询描述子无对应的匹配，否则认为该查询描述子的匹配就是所述最近邻描述子；

步骤325，将所述最近邻描述子对应的三维点视为与查询特征点对应的三维点。

Images