CN109269493A - 一种定位方法及装置、移动设备和计算机可读存储介质 - Google Patents

Abstract

本公开的实施例提供一种定位方法及装置、移动设备和计算机可读存储介质。其中，定位方法包括：确定相机的当前地图网格信息；获取相机拍摄的第一图像；获取第一图像的关联图像，根据相机的当前地图网格信息和关联图像确定第一图像的相似图像；基于上述相似图像，获得相机的当前位置。本公开实施例可有效减少误匹配图像，提高定位速度、定位精度和定位成功率。

Description

一种定位方法及装置、移动设备和计算机可读存储介质

技术领域

本公开的实施例涉及即时定位与地图创建领域，尤其涉及一种定位方法及装置、移动设备和计算机可读存储介质。

背景技术

随着计算机技术和人工智能的发展，智能移动机器人成为机器人领域的一个重要研究方向和研究热点。移动机器人的定位和地图创建是移动机器人领域的热点研究问题。

其中，导航功能高度依赖定位的精度与可靠性，在室内环境中，基于使用激光进行机器人全局定位的方法需要提前采集环境的二维地图，然后将采集的地图部署到机器人上面，但机器人在进行自主导航的过程中，由于初始过程无法与采集的二维地图进行坐标系的统一，因此需要人为指定机器人初始时位于采集的二维地图的位置与方向，并结合自适应蒙特卡洛定位(adaptive Monte Carlo localization，简称amcl)定位算法、代价地图(costmap)和路径规划算法进行机器人导航避障。但是，由于激光传感器有自身的缺点，有时会出现定位失败或者精度差的情况。特别在机器人导航过程中，初始时无法自动定位到提前采集好的二维地图坐标系中，需要在初始化过程中人工指定机器人当前在二维地图坐标系中所处的位置与方向，不能达到真正自主导航的目的。在室外环境中，主要基于卫星导航定位系统，将无人车的位置统一在地心坐标系(World Geodetic System-1984Coordinate System，简称WGS-84)下，进行全局定位。但是该方法在一些楼房或树木密集等地方也常常出现定位失败的情况。

另外，也有人提出了视觉全局定位方法，目前，该视觉全局定位方法基于词袋(BagOf Words，简称BOW)模型来进行全局定位。但是，对于大场景的环境，原始的词袋模型会存在由于地图数据过大而引起的定位速度慢与误匹配率高等问题。

发明内容

有鉴于此，本公开的实施例提供一种定位方法及装置、移动设备和计算机可读存储介质。

具体地，本公开的实施例是通过如下技术方案实现的：

根据本公开实施例的第一方面，提供一种定位方法，所述方法包括：

确定相机的当前地图网格信息；

获取所述相机拍摄的第一图像；

获取所述第一图像的关联图像，根据所述相机的当前地图网格信息和所述关联图像确定所述第一图像的相似图像；

基于所述相似图像，获得所述相机的当前位置。

在一实施例中，所述确定相机的当前地图网格信息，包括：

获取所述相机的当前位置；

根据所述相机的当前位置和网格化地图参数，确定所述相机的当前地图网格信息。

在一实施例中，所述获取所述第一图像的关联图像，包括：

提取所述第一图像的特征点；

将所述第一图像的特征点输入视觉字典，得到所述第一图像的特征点所属的类别；

根据所述类别从数据库中获取所述第一图像的关联图像。

在一实施例中，所述视觉字典基于以下方法预先生成：

对地图进行网格化处理，生成网格化地图参数；

获取所述相机的位置，根据所述位置和所述网格化地图参数，确定所述相机的地图网格信息；

获取所述相机拍摄的图像；

提取所述图像的特征点；

对所述图像的特征点进行分类训练。

在一实施例中，所述数据库基于以下方法预先生成：

提取所述图像的深度信息，并根据所述深度信息计算所述图像每个所述特征点的三维坐标；

保存每个所述特征点的描述子信息与所述三维坐标；

根据所述视觉字典，保存分类后的类别与所述图像的对应关系以及所述图像与所述地图网格信息的对应关系。

在一实施例中，所述根据所述相机的当前地图网格信息和所述关联图像确定所述第一图像的相似图像，包括：

根据所述相机的当前地图网格信息从所述关联图像中去除干扰图像，得到所述第一图像的候选相似图像；

计算所述第一图像和每个候选相似图像的相似度，并根据所述相似度确定所述第一图像的相似图像。在一实施例中，所述根据所述相机的当前地图网格信息从所述关联图像中去除干扰图像，得到所述第一图像的候选相似图像，包括：

根据所述相机的当前地图网格信息，将与所述相机的距离超出预设距离的关联图像确定为所述干扰图像；

从所述关联图像中去除所述干扰图像，将剩余图像作为所述候选相似图像。

根据本公开实施例的第二方面，提供一种定位装置，所述装置包括：

确定模块，用于确定相机的当前地图网格信息；

获取模块，用于获取所述相机拍摄的第一图像；

获取确定模块，用于获取所述第一图像的关联图像，根据所述相机的当前地图网格信息和所述关联图像确定所述获取模块获取的所述第一图像的相似图像；

定位模块，用于基于所述获取确定模块确定的所述相似图像，获得所述相机的当前位置。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述定位方法。

根据本公开实施例的第四方面，提供一种移动设备，其特征在于，包括相机、处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述定位方法。

本公开的实施例，通过获取第一图像的关联图像，根据获取的相机的当前地图网格信息和所述关联图像确定所述第一图像的相似图像，并基于第一图像的相似图像获得所述相机的当前位置，可有效减少误匹配图像，提高定位速度、定位精度和定位成功率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本公开一示例性实施例示出的一种定位方法的流程图；

图2是本公开一示例性实施例示出的一种获取第一图像的关联图像的流程图；

图3是本公开一示例性实施例示出的一种获得第一图像的候选相似图像的流程图；

图4是本公开一示例性实施例示出的一种确定第一图像的相似图像的流程图；

图5是本公开一示例性实施例示出的一种计算相机的当前位置的流程图；

图6是本公开一示例性实施例示出的一种生成视觉字典和数据库的流程图；

图7是本公开一示例性实施例示出的一种定位装置所在移动设备的一种硬件结构图；

图8是本公开一示例性实施例示出的一种定位装置的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开的实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的实施例的一些方面相一致的装置和方法的例子。

在本公开的实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开的实施例。在本公开的实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开的实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开的实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是本公开一示例性实施例示出的一种定位方法的流程图，该方法可以应用在移动设备上，该移动设备可以包括但不局限于无人车、机器人等，如图1所示，该定位方法包括：

步骤S101，确定相机的当前地图网格信息。

其中，移动设备例如机器人可以通过激光传感器或者全球导航卫星系统(GlobalNavigation Satellite System，简称GNSS)传感器获取相机的当前大概位置，并根据相机的当前大概位置和网格化地图参数，确定相机的当前地图网格信息。关于网格化地图参数和地图网格信息后续有详细介绍。

步骤S102，获取相机拍摄的第一图像。

需要说明的是，上述步骤S101和步骤S102并未严格的先后执行顺序。

步骤S103，获取第一图像的关联图像，根据相机的当前地图网格信息和关联图像确定第一图像的相似图像。

其中，如图2所示，获取第一图像的关联图像可以包括：

步骤S1031，提取第一图像的特征点。

步骤S1032，将第一图像的特征点输入视觉字典，得到第一图像的特征点所属的类别。

其中，视觉字典可以对图像的特征点进行分类，因此，将第一图像的特征点输入视觉字典，可以得到第一图像的特征点所属的类别。

步骤S1033，根据得到的类别从数据库中获取第一图像的关联图像。

由于数据库中保存有对特征点分类后的类别与图像的对应关系以及图像与地图网格信息的对应关系，可以根据得到的特征点所属的类别从数据库中获取对应的图像，并将获取到的对应的图像作为第一图像的关联图像。

其中，根据相机的当前地图网格信息和关联图像确定第一图像的相似图像可以包括：根据相机的当前地图网格信息从关联图像中去除干扰图像，得到第一图像的候选相似图像；计算第一图像和每个候选相似图像的相似度，并根据相似度确定第一图像的相似图像。

在该实施例中，可以获取到第一图像的许多关联图像，如果直接通过计算第一图像与关联图像的相似度来获取第一图像的相似图像，会导致相似度的计算量大、浪费时间并且会增加误匹配的概率。

为了减少相似度的计算量，可以利用相机的当前地图网格信息，将不在当前相机周围的干扰图像去除掉，再进行相似度计算，具体实现过程如图3所示，获得第一图像的候选相似图像包括：

步骤S1034，根据相机的当前地图网格信息，将与相机之间的距离超出预设距离的关联图像确定为干扰图像。

其中，将与相机之间的距离超出预设距离的关联图像确定为干扰图像，即将不在该相机周围的关联图像确定为干扰图像。

步骤S1035，从关联图像中去除干扰图像，将剩余图像作为候选相似图像。

该实施例，通过根据相机的当前地图网格信息，将与相机之间的距离超出预设距离的关联图像确定为干扰图像，并从关联图像中去除干扰图像，将剩余图像作为候选相似图像，可有效减少候选相似图像的数量，从而大大降低后续图像相似度的计算量，也可以降低由于相似度计算误差而导致的误匹配率。

在确定第一图像的候选相似图像后，可以通过计算第一图像和每个候选相似图像的相似度，并根据该相似度确定第一图像的相似图像，如图4所示，确定第一图像的相似图像可以包括：

步骤S1041，计算第一图像的BOW向量与每个候选相似图像的BOW向量的相似度。

步骤S1042，对上述相似度按照由大到小的顺序进行排序。

步骤S1043，将相似度排名在前的预设数量的候选相似图像确定为第一图像的相似图像。

其中，预设数量可以根据需要设置。

该实施例，通过计算图像的BOW向量的相似度确定第一图像的相似图像，实现方式简单。

步骤S104，基于相似图像，获得相机的当前位置。

在该实施例，在确定第一图像的相似图像之后，可以将相似图像的特征点和第一图像的特征点进行匹配，以计算出相机的当前位置，如图5所示，计算相机的当前位置包括：

步骤S1051，利用数据库中保存的特征点的描述子信息将相似图像的特征点和第一图像的特征点进行匹配，得到匹配成功的特征点。

其中，预先生成的数据库中保存有特征点的描述子信息，因此，可以利用数据库中保存的特征点的描述子信息将相似图像的特征点和第一图像的特征点进行匹配，得到匹配成功的特征点。

其中，特征点的描述子信息描述的是在二维空间对应特征点的周围信息。

步骤S1052，采用透视n点定位(pnp)与随机采样一致性(ransac)算法，对匹配成功的特征点进行处理，得到相机的当前三维坐标。

该实施例采用pnp与ransac算法，对匹配成功的特征点进行处理，得到相机当前准确的三维坐标，实现方式简单且准确率高。

上述实施例，通过获取第一图像的关联图像，根据获取的相机的当前地图网格信息和关联图像确定第一图像的相似图像，并基于第一图像的相似图像获得相机的当前位置，可有效减少误匹配图像，提高定位速度、定位精度和定位成功率。

图6是本公开一示例性实施例示出的一种生成视觉字典和数据库的流程图，如图6所示，该方法包括：

步骤S601，对地图进行网格化处理，生成网格化地图参数。

其中，网格化处理是指将指定地区的地图进行网格化设计，得到多个地图网格区域，虽然在本实施例中示出了网格化设计来划分空间区间的示例，但是这只是一种较佳实施方式的示例。例如在其他实施例中，只要知道目标地区的长和宽也可以进行空间区间的划分，不必和地图关联起来。当然，同样为了避免丢失特征点，也可以使得空间区间的划分存在重叠的情况，即使这样可能造成一个特征点被划分至多个空间区间内，也是符合需求的。

其中，网格化地图参数是指对指定地区的地图进行网格化设计后得到的多个地图网格区域的参数，比如各个网格的长，宽，面积以及各网格区域间的重叠面积等。而地图网格信息相当于每个网格区域的标识(mapid)，例如每个网格区域的编号。

步骤S602，获取相机的位置，根据该位置和网格化地图参数，确定相机的地图网格信息。

其中，通过传感器计算出的相机的位置为相机的大概位置，该传感器可以包括但不局限于激光传感器或GNSS传感器等。

步骤S603，获取相机拍摄的图像。

步骤S604，提取图像的特征点和深度信息，并根据深度信息计算图像每个特征点的三维坐标。

其中，深度信息可以由红绿蓝深度(RGBD)相机获取，也可以通过普通红绿蓝(RGB)相机和激光传感器获取。

步骤S605，对图像的特征点进行分类训练，以生成视觉字典。

其中，可以采用预设算法例如k均值聚类(k-means++算法)对图像的特征点进行分类训练，以生成视觉字典。

步骤S606，根据视觉字典，将分类后的类别与图像的对应关系以及图像与地图网格信息的对应关系保存到数据库中。

步骤S607，将每个特征点的描述子信息与三维坐标保存到数据库中。

其中，特征点的描述子信息描述的是在二维空间对应特征点的周围信息。

需要说明的是，上述步骤S606和步骤S607并无严格的执行顺序，即可以先执行步骤S606，后执行步骤S607，也可以先执行步骤S607，后执行步骤S606。

上述实施例，通过对地图进行网格化处理，以生成网格化地图参数，并基于相机的位置和网格化地图参数，确定相机的地图网格信息，然后通过对相机拍摄的图像的特征点进行分类训练，生成视觉字典，最后，根据视觉字典，将分类后的类别与图像的对应关系以及图像与地图网格信息的对应关系保存到数据库中，以及将每个特征点的描述子信息与三维坐标保存到数据库中，为后续获取关联图像提供了条件。

与前述定位方法的实施例相对应，本公开还提供了定位装置的实施例。

本公开定位装置的实施例可以应用在移动设备上。其中，该移动设备可以为无人车或机器人等。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。如图7所示，为本公开的实施例定位装置所在移动设备的一种硬件结构图，该移动设备包括相机700、处理器710、存储器720及存储在存储器720上并可在处理器710上运行的计算机程序，该处理器710执行该计算机程序时实现上述定位方法。除了图7所示的处理器710及存储器720之外，实施例中装置所在的电子设备通常根据定位的实际功能，还可以包括其他硬件，对此不再赘述。

其中，移动设备还可以包括传感器(图7中未示出)，该传感器可以包括但不局限于激光传感器或GNSS传感器等。

图8是本公开一示例性实施例示出的一种定位装置的结构框图，如图8所示，该定位装置包括：确定模块81、获取模块82、获取确定模块83和定位模块84。

确定模块81用于确定相机的当前地图网格信息。

其中，移动设备例如机器人可以通过激光传感器或者全球导航卫星系统(GlobalNavigation Satellite System，简称GNSS)传感器获取相机的当前大概位置，并根据相机的当前大概位置和网格化地图参数，确定相机的当前地图网格信息。

获取模块82用于获取相机拍摄的第一图像。

获取确定模块83用于获取第一图像的关联图像，根据确定模块81确定的相机的当前地图网格信息和关联图像确定获取模块82获取的第一图像的相似图像。

其中，获取第一图像的关联图像可以包括：提取第一图像的特征点；将第一图像的特征点输入视觉字典，得到第一图像的特征点所属的类别；根据类别从数据库中获取对应的图像，并将获取到的对应的图像作为第一图像的关联图像，详细的实现过程可以如图2所示，此处不赘述。

其中，根据相机的当前地图网格信息和关联图像确定第一图像的相似图像可以包括：根据相机的当前地图网格信息从关联图像中去除干扰图像，得到第一图像的候选相似图像；计算第一图像和每个候选相似图像的相似度，并根据相似度确定第一图像的相似图像。

在该实施例中，可以获取到第一图像的许多关联图像，如果直接通过计算第一图像与关联图像的相似度来获取第一图像的相似图像，会导致相似度的计算量大、浪费时间并且会增加误匹配的概率。

为了减少相似度的计算量，可以利用相机的当前地图网格信息，将不在当前相机周围的干扰图像去除掉，再进行相似度计算，获得第一图像的候选相似图像的过程可以如图3所示，此处不赘述，在确定第一图像的候选相似图像后，可以通过计算第一图像和每个候选相似图像的相似度，并根据该相似度确定第一图像的相似图像，具体实现过程可以如图4所示，此处不赘述。

定位模块84用于基于获取确定模块83确定的相似图像，获得相机的当前位置。

在该实施例，在确定第一图像的相似图像之后，可以将相似图像的特征点和第一图像的特征点进行匹配，以计算出相机的当前位置。

其中，可以利用数据库中保存的特征点的描述子信息将相似图像的特征点和第一图像的特征点进行匹配，得到匹配成功的特征点，然后采用透视n点定位(pnp)与随机采样一致性(ransac)算法，对匹配成功的特征点进行处理，得到相机的当前三维坐标。详细的实现过程可以如图5所示，此处不赘述。

上述实施例，通过获取第一图像的关联图像，根据获取的相机的当前地图网格信息和关联图像确定第一图像的相似图像，并基于第一图像的相似图像获得相机的当前位置，可有效减少误匹配图像，提高定位速度、定位精度和定位成功率。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行定位方法，其中，该定位方法包括：

确定相机的当前地图网格信息；

获取所述相机拍摄的第一图像；

获取所述第一图像的关联图像，根据所述相机的当前地图网格信息和所述关联图像确定所述第一图像的相似图像；

基于所述相似图像，获得所述相机的当前位置。

上述计算机可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘和光数据存储设备等。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开的实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的实施例的其它实施方案。本公开的实施例旨在涵盖本公开的实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的实施例的一般性原理并包括本公开的实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的实施例的真正范围和精神由权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本公开的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的实施例保护的范围之内。

Claims (10)

1.一种定位方法，其特征在于，所述方法包括：

确定相机的当前地图网格信息；

获取所述相机拍摄的第一图像；

获取所述第一图像的关联图像，根据所述相机的当前地图网格信息和所述关联图像确定所述第一图像的相似图像；

基于所述相似图像，获得所述相机的当前位置。

2.根据权利要求1所述的方法，其特征在于，所述确定相机的当前地图网格信息，包括：

获取所述相机的当前位置；

根据所述相机的当前位置和网格化地图参数，确定所述相机的当前地图网格信息。

3.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像的关联图像，包括：

提取所述第一图像的特征点；

将所述第一图像的特征点输入视觉字典，得到所述第一图像的特征点所属的类别；

根据所述类别从数据库中获取所述第一图像的关联图像。

4.根据权利要求3所述的方法，其特征在于，所述视觉字典基于以下方法预先生成：

对地图进行网格化处理，生成网格化地图参数；

获取所述相机的位置，根据所述位置和所述网格化地图参数，确定所述相机的地图网格信息；

获取所述相机拍摄的图像；

提取所述图像的特征点；

对所述图像的特征点进行分类训练。

5.根据权利要求4所述的方法，其特征在于，所述数据库基于以下方法预先生成：

提取所述图像的深度信息，并根据所述深度信息计算所述图像每个所述特征点的三维坐标；

保存每个所述特征点的描述子信息与所述三维坐标；

根据所述视觉字典，保存分类后的类别与所述图像的对应关系以及所述图像与所述地图网格信息的对应关系。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述相机的当前地图网格信息和所述关联图像确定所述第一图像的相似图像，包括：

根据所述相机的当前地图网格信息从所述关联图像中去除干扰图像，得到所述第一图像的候选相似图像；

计算所述第一图像和每个候选相似图像的相似度，并根据所述相似度确定所述第一图像的相似图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述相机的当前地图网格信息从所述关联图像中去除干扰图像，得到所述第一图像的候选相似图像，包括：

根据所述相机的当前地图网格信息，将与所述相机的距离超出预设距离的关联图像确定为所述干扰图像；

从所述关联图像中去除所述干扰图像，将剩余图像作为所述候选相似图像。

8.一种定位装置，其特征在于，所述装置包括：

确定模块，用于确定相机的当前地图网格信息；

获取模块，用于获取所述相机拍摄的第一图像；

获取确定模块，用于获取所述第一图像的关联图像，根据所述确定模块确定的所述相机的当前地图网格信息和所述关联图像确定所述获取模块获取的所述第一图像的相似图像；

定位模块，用于基于所述获取确定模块确定的所述相似图像，获得所述相机的当前位置。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的定位方法。

10.一种移动设备，其特征在于，包括相机、处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7任一所述的定位方法。