CN110097045A - 一种定位方法、定位装置及可读存储介质 - Google Patents

Abstract

本发明公开了一种定位方法，包括以下步骤：获取目标图像；从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成；生成所述目标图像的感兴趣区域(ROI)，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对；基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对；以及根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。

Description

一种定位方法、定位装置及可读存储介质

技术领域

本发明一般地涉及图像处理领域，更具体地涉及一种基于视觉的定位方法、定位装置及可读存储介质。

背景技术

即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)是目前在图像处理中定位方面的热门研究课题。所谓SLAM就是将移动目标定位与环境地图创建融为一体，即目标在运动过程中根据自身位姿估计和传感器对环境的感知构建增量式环境地图，同时利用该地图实现自身的定位。

在现有技术中通常采用重定位方法实现目标的自身定位，即用一个给定的地点图像在预先生成的地图中实现定位和位姿估计。然而，重新定位定义明确但在实际应用中极具挑战性。由于开放环境下场景的外观可能会发生变化以及观察视点的变化等一系列挑战使得重定位任务极具困难。视点的变化和外观的变化都会导致目标图像与地图之间匹配点稀疏，从而导致位姿估计失败或者估计的位姿与实际位姿存在较大的漂移。此外，精确的图像级别的匹配耗时，地图存储耗费内存。所有这些都给重定位带来了很大的挑战。

发明内容

有鉴于此，需要提供一种根据已有的地图以及视觉信息实现自我定位的方法，从而获取目标自身在地图中的位姿信息。为此，本专利提出了一种基于视觉的定位方法、装置及可读存储介质。

根据本发明的一个方面，提供了一种定位方法，包括以下步骤：获取目标图像；从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成；生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对；基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对；以及根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。

此外，根据本发明的一个实施例，所述方法还包括：定义关于所述相对位姿的目标损失函数，并通过最小化所述目标损失函数来优化目标图像的绝对位姿。

此外，根据本发明的一个实施例，其中所述地图由以下步骤预先构建：获取连续帧图像；提取所述连续帧图像中每一帧的特征点，并对每相邻两帧图像中的特征点进行匹配以获得特征点匹配对，根据所述特征点匹配对使用光束平差法计算当前帧与其前一帧图像的相对位姿；当所述相对位姿满足预定条件时，将所述当前帧确定为关键帧；以及将所述关键帧的关键信息存储以构成所述地图。

此外，根据本发明的一个实施例，其中所述关键帧的关键信息包括：所述关键帧的绝对位姿及其与前一帧图像的相对位姿；所述关键帧的感兴趣区域；以及所述感兴趣区域中包含的特征点的2D信息和3D信息；其中所述2D信息和3D信息在计算所述关键帧和其前一帧图像的相对位姿的处理中获得。

此外，根据本发明的一个实施例，其中所述感兴趣区域通过以下步骤生成：提取所获取的图像的特征点；根据所提取的特征点的属性进行聚类，以获得聚类点集；以及计算所述聚类点集的最小边界矩形，将所述最小边界矩形确定为感兴趣区域。

此外，根据本发明的一个实施例，其中所述相对位姿的目标损失函数以如下公式定义：

其中，i为所述多个候选关键帧的编号，C_i为第i个候选关键帧的绝对位姿，T_i为所计算的所述目标图像与第i个候选关键帧的相对位姿，P为所述目标图像的绝对位姿，Ω_i为权重系数。

此外，根据本发明的一个实施例，其中所述权重系数Ω_i与根据所述特征点匹配对估计的所述目标图像与第i个候选关键帧的相对位姿的置信度成反比，其中所述置信度由目标图像对于所述第i个候选关键帧的特征点匹配对的数量定义。

此外，根据本发明的一个实施例，其中所述计算所述目标图像与所述至少一个候选关键帧的相对位姿包括：根据所述特征点匹配对使用光束平差法计算所述目标图像与所述至少一个候选关键帧的相对位姿。

根据本发明的另一方面，提供了一种定位装置，包括：图像获取模块，用于获取目标图像；图像匹配模块，用于从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成；感兴趣区域匹配模块，用于生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对；特征点匹配模块，用于基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对；以及位姿优化模块，用于根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。

根据本发明的又一方面，提供了一种定位装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述定位装置执行一种定位方法，所述方法包括以下步骤：获取目标图像；从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成；生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对；基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对；以及根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。

根据本发明的又一方面，提供了一种可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行一种定位方法，所述方法包括以下步骤：获取目标图像；从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成；生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对；基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对；以及根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。

由此可见，通过根据本发明实施例的定位方法，由于利用存储于预先构建的地图中的关键信息进行感兴趣区域的匹配，从而避免了重复提取特征点的过程，并且基于匹配的感兴趣区域进行特征点匹配，能够进一步提供复杂场景下位姿估计和自我定位的准确性和有效性。同时，要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。

图1是示出根据本发明实施例的定位方法的流程图；

图2是示出根据本发明实施例的构建地图的流程图；

图3是示出根据本发明实施例的生成感兴趣区域的流程图；

图4是示出根据本发明的实施例的定位装置的框图；以及

图5是示出根据本发明的实施例的定位装置的硬件框图。

上述附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在本说明书和附图中，相同的附图标记通常代表相同部件或步骤。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

本发明所涉及的定位方法是利用给定的地点图像在预先生成的地图中实现定位和位姿估计。为了实现这种定位，所述定位方法一般需要满足两个基本点。首先，该定位方法需要提供一套完整的环境的内部表示，即地图，所述地图用于在定位期间与获取的视觉信息进行比较。其次，需要在所述地图中估计关于当前视觉信息的位姿信息，所述位姿信息指示采集视觉信息的设备(例如，摄像机)的位置和朝向，即所述位姿信息至少应包含位置信息和朝向信息。其中第二部分包括两个步骤，首先是确定当前的视觉信息是否来自已经包含在地图中的地点，然后计算输入的视觉信息和搜索到的视觉信息之间的相对位姿，进而可以通过相对位姿来计算出其在地图中的绝对位姿，其中当前图像的相对位姿即指当前图像相对于另一图像的位姿，而当前图像的绝对位姿指当前图像相对于地图中设定的原点的位姿，通常将地图中的起点作为原点。

接下来，下文将结合图1来详细说明根据本发明实施例的定位方法的基本流程。

图1是示出根据本发明实施例的定位方法的流程图。如图1所示，根据本发明的一个实施例，所述定位方法可以包括如下步骤：

首先，在步骤S101中，获取目标图像。在本发明的一个实施例中，获取目标图像可以包括：经由有线或者无线方式，接收目标图像。可替代地，获取目标图像还可以包括：从存储器获取预先存储的目标图像。可替代地，获取目标图像还可以包括：采集目标图像，例如，可以通过二维RGB相机来采集图像。或者，更优选地，可以通过三维RGB相机(如，Kinect相机)来采集图像。在通过Kinect相机采集图像的情况下，所采集的图像包括有关环境的彩色(RGB)图像与深度图像。目标图像可以是图像采集设备采集到的原始图像，也可以是对原始图像进行图像预处理之后获得的图像。图像预处理包括但不限于裁剪、缩放或去噪等处理。此后，处理进到步骤S102。

在步骤S102中，从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成。其中，所述粗匹配的方式是指不需要通过图像的位姿信息对目标图像进行的粗略定位，这种方式通常不具高精度，但是由于不涉及位姿的估计而处理速度较快，因此通过这种粗匹配可以快速地筛选出地图中与目标图像相关联的图像信息。在本发明的一个实施例中，可以通过例如GPS等定位方法，基于位置信息从地图中的众多关键帧的关键信息中找出与在步骤S101中获取的目标图像的位置相匹配的多个候选关键帧的候选关键信息。可替代地，也可以通过图像检索的方法进行粗匹配，具体地，可通过目标图像的特征点找出与所述目标图像粗匹配的多个候选关键帧的候选关键信息。上述粗匹配方法仅为本发明的两个示例，本发明并不对所述粗匹配方法作出限定，任何能够较快从地图中筛选出与目标图像相关联的图像信息的方法均可被应用于本发明所述的粗匹配。

此外，为了使构建的地图中的信息更为简洁、高效，所述地图仅由具有参考价值的多个帧图像的图像信息构成，也就是说，所述这些图像是从一系列连续帧图像中通过特定方法确定出的关键帧，所述关键帧的关键信息将被存储以构成地图。例如，可以从连续帧图像中确定出不是来自于静止不动的采集设备所获取的图像作为所述关键帧，或者确定出来自符合特定移动速度或方向的采集设备所获取的图像作为所述关键帧，所述预定条件可以根据实际需要进行设置以确定出期望的关键帧。需要强调的是，本文中所述的地图仅由多个关键帧的关键信息构成，而不需要在其中存储关键帧的图像本身。在预先构建的地图中的这些关键帧的关键信息将用于后续步骤的处理中，所述地图的构建以及地图中的关键信息将在下文中详细说明。此后，处理将进到步骤S103。

接下来，先结合图2详细说明预先构建地图的一个示例的流程。

图2是根据本发明实施例的构建地图的流程图。如图2所示，根据本发明的一个实施例，所述地图可以由以下步骤预先地被构建：

首先，在步骤S201中，获取连续帧图像。其中，在该步骤中获取的连续帧图像优选地是用于描述环境的图像，所述图像的获取方式可以如上述所述的在步骤S101中所述的获取图像的多种方式中的任意一种，为避免重复描述，在此不再赘述。优选地，将所述连续帧图像中的初始帧图像作为地图的原点。此后，进入步骤S202。

在步骤S202中，提取所述连续帧图像中每一帧的特征点，并对每相邻两帧图像中的特征点进行匹配以获得特征点匹配对，根据所述特征点匹配对使用光束平差法计算当前帧与其前一帧图像的相对位姿。其中，在本领域中，存在多种提取图像特征点的方法，应理解，任何适当的特征点提取方法均可以应用于本发明中，例如，SIFT特征点提取方法、LBP等特征点提取方法，本发明并不对具体采用的特征点提取方法以及所提取的特征点类型作出限制，只要所述方法能够适用于后续使用光束平差法计算位姿。并且，本领域技术人员能够理解现有技术中的任何适当的特征点提取方法的实现方式。在提取特征点处理中可以获得所提取的特征点的2D信息，然后对相邻两帧图像中的特征点进行特征点匹配，具体地，由于对于每一个特征点都可以生成一个用于描述该特征点的向量，所述向量被称为“描述子(descriptor)”，如果两帧图像中的一对特征点的描述子相似，则可以认为这两个特征点是匹配的，通过这种方式能够得到多组特征点匹配对，应理解，所得到的特征点匹配对应应当是能够适用于光束平差法计算位姿的特征点匹配对。接下来，根据所述特征点匹配对使用光束平差法计算当前帧与其前一帧图像的相对位姿，其中所述光束平差法(BundleAdjustment，BA)的基本思路是利用所匹配的特征点匹配对应该对应于空间中同一个点的特性建立投影方程，从而可以对前后两帧图像的相对位姿进行求解。在求解过程中，可以获得所提取的特征点的3D信息。应理解，这些根据特征点匹配对计算两帧图像间的相对位姿的方法同样对于本领域技术人员是已知的，本文不再赘述。通过该步骤，能够得到每相邻的两帧图像的相对位姿，进而也能够通过累乘与前一帧图像的相对位姿推导出任意帧图像与初始帧图像的相对位姿，即为该帧图像的绝对位姿。此后，进入步骤S203。

在步骤S203中，当所述相对位姿满足预定条件时，将所述当前帧确定为关键帧。根据本发明的一个实施例，所述预定条件可以是将所计算出的相对位姿与一阈值比较，当所述相对位姿大于所述阈值则判断满足所述预定条件；可替代地，所述预定条件可以是判断所述相对位姿是否落入一定预定范围，当所述相对位姿在所述预定范围内则判断满足所述预定条件。通过这种方式，可以从连续帧图像中确定出不是来自于静止不动的采集设备所获取的图像作为所述关键帧，或者确定出来自符合特定移动速度或方向的采集设备所获取的图像作为所述关键帧，所述预定条件可以根据实际需要进行设置以确定出期望的关键帧。此后，进入步骤S204。

在步骤S204中，将所述关键帧的关键信息存储以构成所述地图。具体而言，在该步骤中将在上述步骤S203中已经确定作为关键帧的关键信息存储，这些所存储的关键信息构成用于环境表示的地图。如上所述，本文中所述的地图仅由多个关键帧的关键信息构成，而不需要在其中存储关键帧的图像本身，并且所述关键帧的关键信息均能够在上述确定关键帧的处理中获得，从而避免引入额外的计算量。

根据本发明的一个实施例，所述关键帧的关键信息可以包括：所述关键帧的绝对位姿及其与前一帧图像的相对位姿、基于所述关键帧的特征点生成的所述关键帧的感兴趣区域(Region of interest,ROI)，以及所述感兴趣区域中包含的特征点的2D信息和3D信息。其中，如上所述，所述关键帧与其前一帧图像的相对位姿在上述步骤中已计算得到，并且通过相对位姿的累乘能够推出所述关键帧的绝对信息。对于所述关键帧的感兴趣区域，可以基于上述步骤中提取的特征点来进行生成(感兴趣区域生成方式将在下文中详细描述)。并且，如前所述，所述感兴趣区域中包含的特征点的2D信息和3D信息在计算所述关键帧和其前一帧图像的相对位姿的处理中已经获得。

接下来，返回参考图1，如上所述，处理由步骤S102进至S103。

在步骤S103中，生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对。在该步骤中，首先生成所述目标图像的感兴趣区域，由于构成地图的关键信息中包括候选关键帧的感兴趣区域，如前所述，因此可以对所述目标图像进行感兴趣区域匹配，在本领域中，存在多种感兴趣区域匹配的方法，应理解，任何适当的感兴趣区域匹配方法均可以应用于本发明中，例如，CNN特征、直方图特征、词袋(BOW)等匹配方式，通过所述匹配方式进行感兴趣区域的匹配，将满足匹配要求的感兴趣区域匹配对保留，而舍弃掉不匹配的感兴趣区域，从而获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对。本发明并不对具体采用的感兴趣区域匹配方法作出限制，只要所述匹配方式能够实现获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对。其中，生成所述目标图像的感兴趣区域与上述生成关键帧的感兴趣区域可以采用同一种生成方法，下文将具体说明所述感兴趣区域的生成的一个示例。此后，处理将进至步骤S104。

接下来，先结合图3详细说明生成感兴趣区域的一个示例的流程。

图3是根据本发明实施例的生成感兴趣区域的流程图。如图3所示，在本发明的实施例中，所述感兴趣区域通过以下步骤生成：

首先，在步骤S301中，提取所获取的图像的特征点。其中，在该步骤中提取图像特征点的方式可以如上述所述的在步骤S202中所述的获取图像的多种方式中的任意一种，为避免重复描述，在此不再赘述。此后，进入步骤S302。

在步骤S302中，根据所提取的特征点的属性进行聚类，以获得聚类点集。在该步骤中，所提取的特征点的属性可以是例如特征点的颜色、纹理以及2D信息和3D信息。需要注意，对于地图中的关键帧，可直接根据保存的特征点的2D信息和/或3D信息进行聚类，从而可避免重复的特征信息提取过程，提高计算速度。此后，进入步骤S303。

在步骤S303中，计算所述聚类点集的最小边界矩形(minimum boundingrectangle,MBR)，将所述最小边界矩形确定为感兴趣区域。其中，本发明并不对具体采用的最小边界矩形的求解方法作出限制，例如，可以采用旋转法或顶点链码法等。并且，本领域技术人员能够理解现有技术中的任何适当的求解最小边界矩形的实现方式，出于简洁的目的，本文不再赘述。

接下来，返回参考图1，如上所述，处理由步骤S103进至S104。

在步骤S104中，基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对。如前所述，由于在步骤S103生成所述目标图像的感兴趣区域的处理中已经提取了所述目标图像的特征点，并且由于构成地图的关键信息中包括候选关键帧的感兴趣区域的特征点，因此可以对所述目标图像的感兴趣区域中的特征点进行特征点匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对。其中，所采用的特征点匹配方法如前所述，在此不再重复描述。此后，处理将进到步骤S105。

在步骤S105中，根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。在该步骤中，可以根据两帧图像中的特征点匹配对来估计所述两帧图像之间的相对位姿。例如，根据本发明的一个实施例，可以同样采用在上述步骤S202中所采用的光束平差法，根据在步骤S104中所得的特征点匹配对来求解目标图像与所述至少一个候选关键帧的相对位姿，具体处理在上述步骤中已经描述，在此不再赘述。同样应理解，以上使用光束平差法求解相对位姿仅为本发明的一个示例，任何能够根据所述特征点匹配对计算两帧图像之间的相对位姿的方法均可以类似地应用于本发明，并且包括在本发明的范围中。

至此，通过图1所示的定位方法，能够根据预先建立的地图得到目标图像对于每一个候选关键帧的相对位姿，并且由于所述方法在先进行粗匹配获取地图中的多个候选关键帧的关键信息的基础上，再进行基于局部特征点匹配的位姿估计，能够避免地图中无效信息造成的匹配失败；同时，由于在预先构建地图中存储有多个候选关键帧的关键信息，使得后续的位姿估计能够避免重复的特征提取和感兴趣区域的生成，降低了计算成本。

此外，根据本发明的一个实施例，图1所示的本发明的定位方法在得到目标图像对于每一个候选关键帧的相对位姿后，还可以包括以下步骤：定义关于所述相对位姿的目标损失函数，并通过最小化所述目标损失函数来优化目标图像的绝对位姿。具体而言，所述目标损失函数可按以下公式(1)定义为：

其中，i为所述多个候选关键帧的编号，C_i为第i个候选关键帧的绝对位姿，T_i为所计算的所述目标图像与第i个候选关键帧的相对位姿，P为所述目标图像的绝对位姿，Ω_i为权重系数。

如前所述，可以将连续帧图像中的初始帧图像设为地图的原点，第i个(i为大于或等于1的整数)候选关键帧与所述初始帧图像的相对位姿即为该候选关键帧的绝对位姿，而目标图像与所述初始帧图像的相对位姿即为该目标图像的绝对位姿。具体而言，对于第i个候选关键帧的绝对位姿C_i，在构建地图的处理中可以通过累乘所述候选关键帧与前一帧图像的相对位姿推导出该候选关键帧的绝对位姿C_i；而所述目标图像与第i个候选关键帧的相对位姿T_i与所述目标图像的绝对位姿P的乘积T_iP表示所述候选关键帧通过目标图像推导出的该候选关键帧与初始帧图像的相对位姿，即该候选关键帧的绝对位姿，理论上，所述候选关键帧的绝对位姿T_iP应当与绝对位姿C_i相等，即C_i-T_iP＝0，而由于位姿估计的计算过程中必然存在误差，所述两者并不可能精确相等，于是定义上述目标损失函数并通过不断迭代多帧图像的位姿信息使该目标损失函数最小化以求得最优解P，从而得到经多帧图优化融合的所述目标图像的绝对位姿P。

此外，根据本发明的一个实施例，其中所述权重系数Ω_i与根据所述特征点匹配对估计的所述目标图像与第i个候选关键帧的相对位姿的置信度成反比，其中所述置信度由目标图像对于所述第i个候选关键帧的特征点匹配对的数量定义。具体地，根据本发明的一个实施例，所述目标图像与第i个候选关键帧的相对位姿的置信度Confidence_i可以按以下公式(2)定义为：

其中，num_i为目标图像与第i个候选关键帧之间的特征点匹配对的数量，为目标图像与所有一共i个候选关键帧之间匹配的特征点匹配对的总数量，i为大于或等于1的整数。由于所述置信度越高，则说明目标图像与该第i个候选关键帧所估计的相对位姿越准确，其在损失函数中的权重应当越低，因此，在此基础上，所述权重系数Ω_i可以按以下公式(3)定义为：

Ω_i＝1/Confidence_i 公式(3)

以上，通过图1至3的流程图概述了根据本发明实施例的定位方法。由上述可见，通过本发明实施例的定位方法，利用存储于预先构建的地图中的关键信息进行感兴趣区域的匹配，然后在此基础上基于匹配的感兴趣区域进行特征点匹配而得到目标图像的相对位姿，并且进一步基于所述相对位姿构建目标损失函数，图优化融合所述目标图像的绝对位姿。

接下来，结合图4详细说明根据本发明实施例的定位装置的配置。

图4是图示根据本发明的实施例的定位装置的框图。其中，图4所示的定位装置40可以用于执行如图1所示的根据本发明的实施例的定位方法。

如图4所示，根据本发明的实施例的定位装置包括：图像获取模块401、图像匹配模块402、感兴趣区域匹配模块403、特征点匹配模块404，以及位姿优化模块405。

具体地，图像获取模块401用于获取目标图像。所述图像获取模块401可以与定位装置40中的其他模块在物理位置上分离，并且经由有线或者无线方式，由所述图像获取模块401获取到的图像传送给定位装置40中的其他模块。可替代地，所述图像获取模块401可以与定位装置40中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，所述定位装置40中的其他模块或组件经由内部总线接收由所述图像获取模块401发送的图像。在本发明的一个实施例中，所述图像获取模块401可以是摄像头，具体用于采集目标图像。在本发明的另一个实施例中，图像获取模块401也可以具体用于经由有线或无线方式接收目标图像，例如接收图像采集设备或其他设备发送的目标图像。在本发明的另一个实施例中，所述图像获取模块401还可以具体用于从存储器中获取预先存储的目标图像。

图像匹配模块402，用于从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成。其中，所述图像匹配模块402进行粗匹配的处理与上文中结合图1描述的对应内容相同，另外，所述预先构建地图的处理可由图像匹配模块402执行，也可以由另一地图构建模块执行，然后将所述地图传送至所述图像匹配模块402，具体的构建地图的处理与上文中结合图2描述的对应内容相同，在此省略重复内容的描述。

感兴趣区域匹配模块403，用于生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对。其中，所述区域匹配模块403生成感兴趣区域的处理与上文中结合图3描述的对应内容相同，并且感兴趣区域匹配的处理与上文中结合图1描述的对应内容相同，在此省略重复内容的描述。

特征点匹配模块404，用于基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对。其中，所述特征点匹配模块404对所述感兴趣区域匹配对中的特征点进行匹配的处理与上文中结合图1描述的对应内容相同，在此省略重复内容的描述。

位姿优化模块405，用于根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。其中，所述位姿优化模块405计算所述相对位姿的处理与上文中结合图1描述的对应内容相同，在此省略重复内容的描述。此外，所述位姿优化模块405还可以用于定义关于所述相对位姿的目标损失函数，并通过最小化所述目标损失函数来优化目标图像的绝对位姿，所述处理与上文中描述的对应内容相同。

应理解，上述定位装置40中的各模块均可以由硬件实现，也可以由软件实现，也可以由硬件和软件结合来实现。

图5是图示根据本发明的实施例的定位装置的硬件框图。如图5所示，根据本发明的另一方面，提供一种定位装置50，其包括存储器501和处理器502。所述定位装置50中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。

所述存储器501用于存储非暂时性计算机可读指令。具体地，存储器401可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。

所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

所述处理器502可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制定位装置50中的其它组件以执行期望的功能。在本发明的一个实施例中，所述处理器502用于运行所述存储器501中存储的所述计算机可读指令，使得所述定位装置50执行基于视觉的定位方法。所述定位方法与参照图1至3描述的相同，在此将省略其重复描述。

根据本发明另一方面，提供一种计算机可读存储介质，其上存储有非暂时性计算机可读指令。当所述非暂时性计算机可读指令由处理器运行时，执行参照以上附图描述的根据本发明实施例的定位方法。

此外，本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“例如”指词组“例如但不限于”，且可与其互换使用。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种定位方法，包括以下步骤：

获取目标图像；

从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成；

生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对；

基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对；以及

根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。

2.根据权利要求1所述的方法，其中所述地图由以下步骤预先构建：

获取连续帧图像；

提取所述连续帧图像中每一帧的特征点，并对每相邻两帧图像中的特征点进行匹配以获得特征点匹配对，根据所述特征点匹配对使用光束平差法计算当前帧与其前一帧图像的相对位姿；

当所述相对位姿满足预定条件时，将所述当前帧确定为关键帧；以及

将所述关键帧的关键信息存储以构成所述地图。

3.根据权利要求2所述的方法，其中所述关键帧的关键信息包括：

所述关键帧的绝对位姿及其与前一帧图像的相对位姿；

所述关键帧的感兴趣区域；以及

所述感兴趣区域中包含的特征点的2D信息和3D信息；其中

所述特征点的2D信息和3D信息在计算所述关键帧和其前一帧图像的相对位姿的处理中获得。

4.根据权利要求1或3所述的方法，所述感兴趣区域通过以下步骤生成：

提取所获取的图像的特征点；

根据所提取的特征点的属性进行聚类，以获得聚类点集；以及

计算所述聚类点集的最小边界矩形，将所述最小边界矩形确定为感兴趣区域。

5.根据权利要求1所述的方法，还包括：

定义关于所述相对位姿的目标损失函数，并通过最小化所述目标损失函数来优化目标图像的绝对位姿。

6.根据权利要求5所述的方法，其中所述相对位姿的目标损失函数以如下公式定义：

其中，i为所述多个候选关键帧的编号，C_i为第i个候选关键帧的绝对位姿，T_i为所计算的所述目标图像与第i个候选关键帧的相对位姿，P为所述目标图像的绝对位姿，Ω_i为权重系数。

7.根据权利要求6所述的方法，其中所述权重系数Ω_i与根据所述特征点匹配对计算的所述目标图像与第i个候选关键帧的相对位姿的置信度成反比，其中所述置信度由目标图像对于所述第i个候选关键帧的特征点匹配对的数量定义。

8.根据权利要求1所述的方法，其中所述计算所述目标图像与所述至少一个候选关键帧的相对位姿包括：

根据所述特征点匹配对使用光束平差法计算所述目标图像与所述至少一个候选关键帧的相对位姿。

9.一种定位装置，包括：

图像获取模块，用于获取目标图像；

图像匹配模块，用于从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成；

感兴趣区域匹配模块，用于生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对；

特征点匹配模块，用于基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对；以及

位姿优化模块，用于根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。

10.一种定位装置，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述定位装置执行一种定位方法，所述方法包括以下步骤：

获取目标图像；

从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成；

生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对；

基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对；以及

根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。

11.一种可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行一种定位方法，所述方法包括以下步骤：

获取目标图像；

从预先构建的地图中获取与所述目标图像粗匹配的多个候选关键帧的候选关键信息，所述地图由多个关键帧的关键信息构成；

生成所述目标图像的感兴趣区域，并基于所述候选关键信息对所述目标图像进行感兴趣区域匹配，以获得所述目标图像对于至少一个候选关键帧的感兴趣区域匹配对；

基于所述候选关键信息对所述感兴趣区域匹配对中的特征点进行匹配，以获得所述目标图像对于所述至少一个候选关键帧的特征点匹配对；以及

根据所述特征点匹配对计算所述目标图像与所述至少一个候选关键帧的相对位姿。