CN106780608A - 位姿信息估计方法、装置和可移动设备 - Google Patents

Abstract

公开了一种位姿信息估计方法、装置和可移动设备。所述方法用于估计处于工作环境中的可移动设备的位姿信息，所述可移动设备包括环境传感器，并且包括：接收由所述环境传感器获取的所述工作环境的样本数据；经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息；以及输出所述位姿信息。因此，在位姿信息估计过程中实现了端到端的优化训练，提高了整个过程的处理能效和计算效率。

Description

位姿信息估计方法、装置和可移动设备

技术领域

本申请涉及可移动设备领域，且更具体地，涉及一种位姿信息估计方法、装置、可移动设备、计算机程序产品和计算机可读存储介质。

背景技术

可移动设备(例如，机器人)执行任务前需要先定位自己的位置和朝向信息(即，位姿信息)，定位过程主要依赖可移动设备存储的场景感知结果，即场景地图，构建场景地图的技术就是同步定位与地图构建(SLAM)技术。

SLAM技术包括多种类型，例如，最为常用的是基于视觉技术的SLAM(VSLAM)，其主要的流程包括特征提取匹配、位姿计算优化、和回环检测处理。现有的方案一般都是各个流程分开处理，其中，特征提取匹配使用的是人工设计的经验特征，比如，定向快速旋转二进制鲁棒独立基本特征(ORB)、加速鲁棒特征(SURF)、尺度不变特征转换(SIFT)等。位姿计算优化使用的是传统几何方法，包括捆集调整(Bundle Adjustment)、迭代最近点(IterativeClosest Point)和图优化等，并且位姿计算优化还可以结合惯性测量单元的输出，方法主要是滤波法和图优化算法。回环检测处理则使用的是传统的基于内容的图像检索算法(CBIR)，比如词袋模型(BOW)、空间金字塔匹配(SPM)等。

然而，在现有技术的SLAM过程中，对于特征提取匹配而言，存在以下问题：人工设计的经验特征不一定最优、计算量大、鲁棒性不足；对于位姿计算优化而言，存在以下问题：对外点敏感、鲁棒性差、计算复杂度高、结合惯性测量单元建模时计算复杂；对于回环检测处理，存在以下问题：环节多复杂度高，精度差。也就是说，基于现有SLAM过程的位姿信息估计技术效率低下，难以满足实际应用需求。

因此，需要一种更加新颖的位姿信息估计技术。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种位姿信息估计方法、装置、可移动设备、计算机程序产品和计算机可读存储介质，其在位姿信息估计过程中实现了端到端的优化训练，提高了整个过程的处理能效和计算效率。

根据本申请的一个方面，提供了一种位姿信息估计方法，用于估计处于工作环境中的可移动设备的位姿信息，所述可移动设备包括环境传感器，所述方法包括：接收由所述环境传感器获取的所述工作环境的样本数据；经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息；以及输出所述位姿信息。

根据本申请的另一方面，提供了一种位姿信息估计装置，用于估计处于工作环境中的可移动设备的位姿信息，所述可移动设备包括环境传感器，所述装置包括：数据接收单元，用于接收由所述环境传感器获取的所述工作环境的样本数据；回环检测单元，用于经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息；以及位姿输出单元，用于输出所述位姿信息。

根据本申请的另一方面，提供了一种可移动设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的位姿信息估计方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的位姿信息估计方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的位姿信息估计方法。

与现有技术相比，采用根据本申请实施例的位姿信息估计方法、装置、可移动设备、计算机程序产品和计算机可读存储介质，可以接收由在可移动设备上装备的环境传感器获取的该可移动设备所处的工作环境的样本数据，经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息，并且输出所述位姿信息。因此，与现有技术相比，可以实现位姿信息估计过程的端到端优化训练，将其中的多个流程融合统一利用深度学习算法进行求解，方便利用专用的深度学习芯片得到更高的处理能效和计算效率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的位姿信息估计的应用场景的示意图。

图2图示了根据本申请实施例的位姿信息估计方法的流程图。

图3图示了根据本申请实施例的多层深度学习模型的示意图。

图4图示了根据本申请实施例的回环检测步骤的流程图。

图5图示了根据本申请实施例的位姿信息输出步骤的流程图。

图6图示了根据本申请实施例的位姿信息估计装置的框图。

图7图示了根据本申请实施例的可移动设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

针对现有技术中的问题，本申请的基本构思是提出一种新的位姿信息估计方法、装置、可移动设备、计算机程序产品和计算机可读存储介质，其可以接收由在可移动设备上装备的环境传感器获取的该可移动设备所处的工作环境的样本数据，经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息，并且输出所述位姿信息。

因此，与基于现有SLAM过程的位姿信息估计技术存在传统流程都是一个个隔离开的模块、难以进行全局统筹优化、以及涉及的计算优化方法较多、且很多都是近似优化、复杂度较高、需要通用CPU等固有问题相比，本方案可以实现位姿信息估计过程的端到端的优化训练，将其中的多个流程融合统一利用深度学习算法进行求解，方便利用专用的深度学习芯片得到更高的处理能效和计算效率。此外，本方案不需要人工经验设计特征，不需要人工设计复杂的惯性测量单元建模模型，可以获得更高准确率的回环检测结果，并且可以通过在线学习优化地图的存储表达。

图1图示了根据本申请实施例的位姿信息估计的应用场景的示意图。

如图1所示，用于位姿信息估计的应用场景包括处于工作环境中的可移动设备。该可移动设备可以是能够在工作环境中移动的任何类型的电子设备。例如，该工作环境例如可以是室内环境和/或室外环境。并且，该可移动设备可以是用于各种用途的可移动机器人，例如扫地机器人、擦窗机器人、空气净化机器人、安防机器人、家电管理机器人、提醒机器人、巡逻机器人等。此外，该可移动设备也可以是除了机器人之外的其他类型的设备，例如，可以是诸如车辆、飞行器、航天器、水中运载工具之类的交通工具等。下面，为了描述方便，将以可移动机器人为例来说明该可移动设备。

该可移动机器人可以在移动过程中对自身进行定位。具体地，机器人可以在移动过程中不断获得各个位置点#1、#2、#3、#4等的样本数据(例如，图像观测数据或激光扫描数据等)、以及位置信息(例如(X,Y)坐标)和姿态信息(例如，θ朝向角)(两者可以统称为位姿信息(X,Y,θ))，并且利用这些数据信息来进行基于深度多任务学习的统一建图定位算法，从而获得该工作环境的地图。当然，所获得的位姿信息也可以用于执行诸如扫地、巡逻、安防等该可移动机器人的其他固有功能和任务。

需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施例不限于此。相反，本申请的实施例可以应用于可能适用的任何场景。例如，该可移动设备可以是一个或多个。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

下面结合图1的应用场景，参考图2来描述根据本申请实施例的位姿信息估计方法。

图2图示了根据本申请实施例的位姿信息估计方法的流程图。

如图2所示，根据本申请实施例的位姿信息估计方法用于估计处于工作环境中的可移动设备的位姿信息，所述可移动设备包括环境传感器，并且所述方法可以包括：

在步骤S110中，接收由所述环境传感器获取的所述工作环境的样本数据。

可移动设备(例如，可移动机器人)在工作环境中进行移动，以基于自身用途来执行特定工作任务，例如，扫地、巡逻、安防等，并且可以在执行任务的过程中，不断进行建图和定位。当然，本申请不限于此。例如，构建地图的工作也可以预先完成。

例如，可移动设备可以在移动的同时，利用在其上装备的环境传感器来捕捉所述工作环境的样本数据。例如，该环境传感器可以是用于捕捉图像数据的图像传感器，其可以是摄像头或摄像头阵列。当然，本申请不限于此。例如，该环境传感器也可以是用于捕捉扫描数据的激光传感器等其他各种器件，只要其能够产生包括环境特征的样本数据即可。

在步骤S120中，经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息。

然后，可以将接收到所述工作环境的样本数据输入到多层深度学习模型中，利用深度学习算法来进行求解，以检测可移动设备的位姿信息。此外，在位姿信息估计的过程中，除了单纯地基于特征信息之外，还可以进一步检测在工作环境中的行走路径是否出现回环。回环检测，又称闭环检测(Loop closure detection)，是指可移动设备识别是否曾到达相应场景的能力。如果检测成功，可以显著地减小位姿信息估计过程中的累积误差。

在一个示例中，多层深度学习模型可以提取所述样本数据中的特征表示，并且仅仅根据所述特征表示来进行回环检测。然而，仅仅基于特征表示来检测回环由于输入条件过于单一，可能导致检测过程计算复杂，并且所得到的结果可能出现误差。

因此，在另一示例中，多层深度学习模型可以提取所述样本数据中的特征表示，根据所述特征表示来估计所述可移动设备的位姿信息，并且根据所述特征表示和已经估计出的所述可移动设备的位姿信息来检测所述可移动设备在所述工作环境中的行走路径是否出现回环。这样，通过更多的输入条件，可以获得更加准确的检测结果和更快的计算速度。下面，将在本示例中继续描述本申请的实施例。

例如，该多层深度学习模型可以采用诸如卷积神经网络、深度置信网络之类的各种机器学习模型来实现，并且可以通过一个或多个学习模型来实现上述特征提取、位姿估计、和回环检测三个功能。例如，上述三个功能可以分别对应于三个机器学习模型，通过监督不同的信号进行分别训练。

图3图示了根据本申请实施例的多层深度学习模型的示意图。

如图3所示，该多层深度学习模型可以包括：深度学习特征模型、深度学习位姿模型、和深度学习回环模型。其中，所述深度学习特征模型和所述深度学习位姿模型是离线训练好的，并且所述深度学习回环模型是在线训练的。

具体地，深度学习特征模型可以是提前离线训练好的，训练的目标是对目标运动估计更加具有区分性。它可以以图像分类数据、图像匹配数据、图像分割数据等等训练的模型抽取前K层(K为自然数，并且取决于设计需求)得到，也可以是以估计目标位姿为目标的深度网络的前几层(与深度学习位姿模型合并一起训练，训练完成后分成前后两部分分开用)。

深度学习位姿模型的目标是估计当前的相对位姿，是离线训练好的。其可以单独训练，也可以是以估计目标位姿为目标的深度网络的后几层。

深度学习回环模型的目标是检测当前帧是否和地图已有的场景出现了回环，是在线训练的(默认第一次运行后一直在线更新学习，也可以手动清除历史学习的记录重新开始)。

尽管上面以三个独立的深度学习模型为例对多层深度学习模型进行了说明，但是，本申请不限于此。例如，也可以将三者同时结合为一个机器学习模型，并且分别作为其中的不同层，通过监督不同的信号进行训练。或者，如上所述，也可以设计出某两个机器学习模型结合在一起、独立于另外一个机器学习模型的学习模型。

下面，将结合图4来具体描述根据后者示例的步骤S120。

图4图示了根据本申请实施例的回环检测步骤的流程图。

如图4所示，步骤S120可以包括：

在子步骤S121中，经由深度学习特征模型，提取所述样本数据中的特征表示。

例如，可以预先利用级联回归方法在大量人工标注的特征点的观测样本数据(诸如摄像头预先捕获的图像、从网上下载的图像等等)的基础上训练出该深度学习特征模型。替换地，也可以预先利用哈尔(Haar)算法、自适应增强(AdaBoost)算法、卷积神经网络(CNN)、支持向量机(SVM)等算法在大量观测样本数据的基础上训练出该深度学习特征模型。

然后，可移动设备可以在移动过程中采集周围物体的样本数据(诸如摄像头实时捕获的图像)。可以将这些观测到的样本数据输入到该预先训练好的深度学习特征模型中，以快速地识别并提取当前样本数据(例如，当前帧图像)中的特征，并且获取该特征的特征表示(或称之为，特征描述符或特征描述向量等)。

也就是说，可以将摄像机传感器信息首先输入到深度学习特征模型中得到特征表示。例如，可以通过诸如提取特征并进行(例如，基于欧式距离等的)特征比对之类方式来确定当前样本数据中是否出现特征，并且随后对该特征进行描述，以生成相应的特征表示。

在子步骤S122中，经由深度学习位姿模型，根据所述特征表示来估计所述可移动设备的位姿信息。

在一个示例中，深度学习位姿模型可以是仅仅在大量特征表示的基础上训练出来的。这时，可以将深度学习特征模型输出的当前样本数据中的特征表示输入到深度学习位姿模型，以估计所述可移动设备的当前位姿信息。然而，仅仅基于特征表示来检测可移动设备的位姿信息由于输入条件过于单一，可能导致检测过程计算复杂，并且所得到的结果可能出现误差。

因此，在另一示例中，所述可移动设备还可以包括可选的运动传感器，用于获取所述可移动设备的运动数据。例如，该运动传感器可以是在可移动设备中内建的惯性测量单元和运动编码器(包括加速度计与陀螺仪等)，用于测量可移动设备的运动参数，例如，速度、加速度、位移等，以确定可移动设备在工作环境中的位置与方向，并且还可以是内建的磁力计等，以实时校准姿态传感器的累计误差。这样，通过更多的输入条件，可以获得更加准确的位姿估计和更快的计算速度。

在后者示例中，该子步骤S122可以包括：接收由所述运动传感器获取的所述可移动设备的运动数据；以及经由所述深度学习位姿模型，根据所述特征表示和所述运动数据来估计所述可移动设备的位姿信息。

例如，为了获得更加准确的当前位姿信息的估计，除了将当前样本数据中的特征表示输入深度学习位姿模型之外，还可以进一步参考一些历史的样本数据。

也就是说，响应于在步骤S121中提取到当前样本数据中的特征表示，可以进一步获取所述当前样本数据之前预定数目的先前样本数据中的特征表示，并且经由所述深度学习位姿模型，根据所述先前样本数据中的特征表示、所述当前样本数据中的特征表示、和所述可移动设备的当前运动数据来估计所述可移动设备在获取所述当前样本数据时的当前绝对位姿。

例如，为了获得当前绝对位姿，可以经由所述深度学习位姿模型，根据所述先前样本数据中的特征表示、所述当前样本数据中的特征表示、和所述可移动设备的当前运动数据来估计所述可移动设备在获取所述当前样本数据时与在获取前一样本数据时相比的当前相对位姿；读取已经估计出的所述可移动设备在获取所述前一样本数据时的前一绝对位姿；并且根据所述当前相对位姿和所述前一绝对位姿来计算所述当前绝对位姿。

具体地，向可以深度学习位姿模型输入时间相邻的几帧图像中的特征表示(例如，可以取决于不同的设计需求，给定时间相邻帧的数量)和惯性测量单元及运动编码器的感知结果，以获得输出是当前帧的相对位姿，结合时间相邻帧的已经计算出的历史位姿，可以得到当前的估计位姿。

这时，本方法可以直接前进到步骤S130，以向外输出当前的估计位姿。

替换地，为了获得更加准确的估计位姿，可以进一步执行回环检测，回环检测可以使输出的估计位姿更加准确，或者说可以校正估计位姿中的累积误差。在后者情况下，本方法在步骤S130之前，首先前进到子步骤S123。

在子步骤S123中，经由深度学习回环模型，根据所述特征表示和已经估计出的所述可移动设备的位姿信息来检测所述可移动设备在所述工作环境中的行走路径是否出现回环，并且根据回环检测结果来校正已经估计出的所述可移动设备的位姿信息。

例如，可以经由深度学习回环模型，根据所述当前样本数据中的特征表示和所述当前绝对位姿来生成当前出现回环的置信度和对应的校正位姿。并且，如果所述置信度大于或等于一阈值，则判断出所述行走路径当前出现回环。相反地，如果所述置信度小于所述阈值，则判断出所述行走路径当前未出现回环。

具体地，当深度学习位姿模型输出目标位姿后，其相应的帧特征(深度学习特征模型输出、惯性测量单元、运动编码器)和位姿(深度学习位姿模型输出)对就可以输入到回环模型进行回环检测。继而，深度学习回环模型可以给出一个是否构成回环的预测和新的校正位姿。例如，回环预测可以通过是或否的硬判决来做出，替换地，也可以向检测结果分配一个构成回环的置信度，来形成软判决。

由于可移动设备追踪得到的位姿都是有误差的，随着路径的不断延伸，前面帧的误差会一直传递到后面去，导致最后一帧的位姿在世界坐标系里的误差有可能非常大。除了利用优化方法在局部和全局调整位姿，还可以根据回环检测结果来校正已经估计出的所述可移动设备的位姿信息，以实现位姿优化。

例如，可以响应于判断出所述行走路径出现回环，对已经估计出的所述可移动设备的位姿信息进行校正。例如，可以响应于在子步骤S123中由深度学习回环模型生成的回环置信度大于或等于所述阈值，使用所述校正位姿来校正在子步骤S122中由深度学习位姿模型估计的当前绝对位姿，其中，所述校正位姿是所述可移动设备先前移动到回环位置时的先前绝对位姿。此外，还可以进一步根据校正后的当前绝对位姿来校正所述可移动设备在获取先前样本数据时的先前绝对位姿。

需要说明的是，并不是每次根据当前特征表示来估计所述可移动设备的当前位姿信息时，都必须执行回环检测，该回环检测可以基于特定条件来触发执行。例如，可以当在步骤S122中估计的位姿信息指示出所述可移动设备执行转向(转向角度超出一定阈值)时，才触发执行回环检测。替换地，也可以在整个系统处于计算空闲(或计算量低于一定阈值)时，才触发执行回环检测。

此外，在本申请的实施例中，当在该子步骤S123中检测到行走路径出现回环之后，该步骤S120还可以进一步包括以下的一个或多个步骤，以实现进一步的附加效果：

在子步骤S124中，根据回环检测的结果来对所述深度学习回环模型进行在线训练。

例如，可以响应于判断出所述行走路径未出现回环，使用所述特征表示和已经估计出的所述可移动设备的位姿信息来对所述深度学习回环模型进行在线训练；并且响应于判断出所述行走路径出现回环，使用所述特征表示和校正后的位姿信息来对所述深度学习回环模型进行在线训练。

具体地，在进行回环检测之后，特征和位姿对可以作为在线学习的输入，继续训练深度学习回环模型。这里，深度学习回环模型的参数充当了传统建图定位中的地图的角色，可以在每次回环检测的时候使用模型参数，获得准确位姿之后，继而更新回环模型。

替换地或附加地，在子步骤S125中，响应于判断出所述行走路径出现回环，使用所述特征表示和校正后的位姿信息来更新所述深度学习位姿模型。

也就是说，尽管所述深度学习位姿模型是离线训练好的，但是也可以通过在线获得的位姿信息的校正结果以及对应的特征表示和可选的运动数据来对它进行更新，以期望后续能够估计出更为准确的位姿信息。

在步骤S130中，输出所述位姿信息。

在回环检测执行完毕之后，可以根据回路检测结果来输出所述位姿信息。

图5图示了根据本申请实施例的位姿信息输出步骤的流程图。

如图5所示，步骤S130可以包括：

在步骤S131中，响应于判断出所述行走路径未出现回环，输出已经估计出的所述可移动设备的位姿信息。

在步骤S132中，响应于判断出所述行走路径出现回环，输出校正后的位姿信息。

也就是说，当检测到在子步骤S123中由深度学习回环模型检测到出现回环或者检测到回环的置信度大于或等于一定阈值后，可以将由深度学习回环模型生成的该校正位姿作为最终定位位姿，否则直接用原始的位姿，用于后续的地图构建、任务执行等操作。

可选地，在步骤S140中，根据所输出的位姿信息来构建所述工作环境的环境地图。

在回环检测执行完毕之后，可以根据回路检测结果，使用输出的位姿信息来构建所述工作环境的环境地图。

例如，一方面，可以响应于判断出所述行走路径未出现回环，使用所述特征表示和已经估计出的所述可移动设备的位姿信息来构建所述工作环境的环境地图；另一方面，可以响应于判断出所述行走路径出现回环，使用所述特征表示和校正后的位姿信息来构建所述工作环境的环境地图。

由此可见，采用根据本申请实施例的位姿信息估计方法，可以接收由在可移动设备上装备的环境传感器获取的该可移动设备所处的工作环境的样本数据，经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息，并且输出所述位姿信息。因此，与现有技术相比，本申请的实施例提出了一种基于深度多任务学习的统一位姿信息估计方法，主要包括统一模型、多传感器融合、多任务输出、专用计算硬件等，从而实现了端到端优化、去除了人工经验特征导致的偏差。

此外，本申请的实施例还具有以下优势：采用统一多任务模型，使得流程少、计算效率高；模型可以随着数据量的增加而继续学习提高；环境传感器直接结合运动传感器，可以获得更加多元化的多传感器融合输入；采用专用集成计算硬件(例如，专用集成电路芯片ASIC)，处理能效高且计算速度快。

需要说明的是，根据本申请各个实施例的位姿信息估计方法可以应用于可移动设备中，由可移动设备自主完成，也可以应用于与可移动设备分立的且可以与可移动设备进行通信的其他设备(诸如，服务器)中，由该其他设备遥控可移动设备完成。

示例性装置

下面，参考图6来描述根据本申请实施例的位姿信息估计装置。

图6图示了根据本申请实施例的位姿信息估计装置的框图。

如图6所示，根据本申请实施例的位姿信息估计装置100可以用于估计处于工作环境中的可移动设备的位姿信息，所述可移动设备包括环境传感器，并且所述装置100可以包括：数据接收单元110，用于接收由所述环境传感器获取的所述工作环境的样本数据；回环检测单元120，用于经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述移动设备的位姿信息；以及位姿输出单元130，用于输出所述位姿信息。

在一个示例中，回环检测单元120可以包括：特征提取模块，用于可以经由深度学习特征模型，提取所述样本数据中的特征表示；位姿估计模块，用于经由深度学习位姿模型，根据所述特征表示来估计所述可移动设备的位姿信息；并且回环检测模块，用于经由深度学习回环模型，根据所述特征表示和已经估计出的所述可移动设备的位姿信息来检测所述可移动设备在所述工作环境中的行走路径是否出现回环，并且根据回环检测结果来校正已经估计出的所述可移动设备的位姿信息。

在一个示例中，所述深度学习特征模型和所述深度学习位姿模型可以是离线训练好的，并且所述深度学习回环模型可以是在线训练的。

在一个示例中，回环检测单元120还可以包括：回环训练模块，用于根据回环检测的结果来对所述深度学习回环模型进行在线训练。

在一个示例中，所述回环训练模块可以响应于判断出所述行走路径未出现回环，使用所述特征表示和已经估计出的所述可移动设备的位姿信息来对所述深度学习回环模型进行在线训练；并且响应于判断出所述行走路径出现回环，使用所述特征表示和校正后的位姿信息来对所述深度学习回环模型进行在线训练。

在一个示例中，回环检测单元120还可以包括：位姿更新模块，用于响应于判断出所述行走路径出现回环，使用所述特征表示和校正后的位姿信息来更新所述深度学习位姿模型。

在一个示例中，所述可移动设备还包括运动传感器，并且所述位姿估计模块可以接收由所述运动传感器获取的所述可移动设备的运动数据；并且经由所述深度学习位姿模型，根据所述特征表示和所述运动数据来估计所述可移动设备的位姿信息。

在一个示例中，所述位姿估计模块可以响应于提取到当前样本数据中的特征表示，获取所述当前样本数据之前预定数目的先前样本数据中的特征表示；并且经由所述深度学习位姿模型，根据所述先前样本数据中的特征表示、所述当前样本数据中的特征表示、和所述可移动设备的当前运动数据来估计所述可移动设备在获取所述当前样本数据时的当前绝对位姿。

在一个示例中，所述位姿估计模块可以经由所述深度学习位姿模型，根据所述先前样本数据中的特征表示、所述当前样本数据中的特征表示、和所述可移动设备的当前运动数据来估计所述可移动设备在获取所述当前样本数据时与在获取前一样本数据时相比的当前相对位姿；读取已经估计出的所述可移动设备在获取所述前一样本数据时的前一绝对位姿；并且根据所述当前相对位姿和所述前一绝对位姿来计算所述当前绝对位姿。

在一个示例中，所述回环检测模块可以经由深度学习回环模型，根据所述当前样本数据中的特征表示和所述当前绝对位姿来生成当前出现回环的置信度和对应的校正位姿；并且如果所述置信度大于或等于一阈值，则判断出所述行走路径当前出现回环；如果所述置信度小于所述阈值，则判断出所述行走路径当前未出现回环。

在一个示例中，所述回环检测模块可以响应于所述置信度大于或等于所述阈值，使用所述校正位姿来校正所述当前绝对位姿，其中，所述校正位姿是所述可移动设备先前移动到回环位置时的先前绝对位姿。

在一个示例中，所述回环检测模块还可以根据校正后的当前绝对位姿来校正所述可移动设备在获取先前样本数据时的先前绝对位姿。

在一个示例中，位姿输出单元130可以响应于判断出所述行走路径未出现回环，输出已经估计出的所述可移动设备的位姿信息；并且响应于判断出所述行走路径出现回环，输出校正后的位姿信息。

在一个示例中，位姿信息估计装置100还可以包括地图构建单元140，用于根据所输出的位姿信息来构建所述工作环境的环境地图。

在一个示例中，地图构建单元140可以响应于判断出所述行走路径未出现回环，使用所述特征表示和已经估计出的所述可移动设备的位姿信息来构建所述工作环境的环境地图；并且响应于判断出所述行走路径出现回环，使用所述特征表示和校正后的位姿信息来构建所述工作环境的环境地图。

上述位姿信息估计装置100中的各个单元和模块的具体功能和操作已经在上面参考图1到图5描述的位姿信息估计方法中详细介绍，并因此，将省略其重复描述。

需要说明的是，根据本申请实施例的位姿信息估计装置100可以作为一个软件模块和/或硬件模块而集成到该可移动设备中，换言之，该可移动设备可以包括该位姿信息估计装置100。例如，当可移动设备是可移动机器人时，该位姿信息估计装置100可以是该可移动机器人的操作系统中的一个软件模块，或者可以是针对于该可移动机器人所开发的一个应用程序；当然，该位姿信息估计装置100同样可以是该可移动机器人的众多硬件模块之一。

替换地，在另一示例中，该位姿信息估计装置100与该可移动机器人也可以是分立的设备(例如，服务器)，并且该位姿信息估计装置100可以通过有线和/或无线网络连接到该可移动机器人，并且按照约定的数据格式来传输交互信息。

示例性设备

下面，参考图7来描述根据本申请实施例的可移动设备。该可移动设备可以是可移动机器人、可移动计算机或服务器或其他电子设备。

图7图示了根据本申请实施例的可移动设备的框图。

如图7所示，可移动设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制可移动设备10中的其他部件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的实施例的位姿信息估计方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储深度学习特征模型、深度学习位姿模型、深度学习回环模型、工作环境的样本数据、样本数据中的特征表示、可移动设备的运动数据、可移动设备的位姿信息、所构建的地图等等。

在一个示例中，可移动设备10还可以包括：输入装置13和输出装置14。

例如，该输入装置13可以包括环境传感器，配置为采集可移动设备所处10的工作环境的样本数据，并且将所采集的样本数据存储在存储器12中以供其他器件使用。当然，也可以利用其他集成或分立的环境传感器来采集该样本数据，并且将它发送到可移动设备。例如，该环境传感器可以是用于捕捉图像数据的图像传感器，其可以是摄像头或摄像头阵列。又如，该环境传感器可以是用于捕捉扫描数据的激光传感器，其可以是激光器或激光器阵列。当然，本申请不限于此。该环境传感器还可以是雷达之类的其他各种器件。

此外，该输入装置13还可以包括运动传感器，配置为获取所述可移动设备10的运动数据。例如，该运动传感器可以是在可移动设备中内建的惯性测量单元和运动编码器(包括加速度计与陀螺仪等)，用于测量可移动设备的运动参数，例如，速度、加速度、位移等，以确定可移动设备在工作环境中的位置与方向，并且还可以是内建的磁力计等，以实时校准姿态传感器的累计误差。这样，可以获得更加准确的位姿估计。当然，也可以利用其他集成或分立的运动传感器来采集可移动设备10的运动数据，并且将它发送到可移动设备。

输出装置14可以向外部(例如，用户)输出各种信息，例如深度学习特征模型、深度学习位姿模型、深度学习回环模型、工作环境的样本数据、样本数据中的特征表示、可移动设备的运动数据、可移动设备的位姿信息、所构建的地图等等，并且输出装置14可以包括显示器、扬声器等中的一个或多个。

在可移动设备10中，处理器11、存储器12、输入装置13、和输出装置14这些部件通过总线系统和/或其他形式的连接机构(未示出)互连。应当注意，图7所示的可移动设备10的部件和结构只是示例性的，而非限制性的，根据需要，可移动设备10也可以具有其他部件和结构。

在一个示例中，可移动设备10还可以包括：驱动装置15，被配置为驱动所述可移动设备在工作环境中移动。例如，驱动装置15可包括电动机以及受电动机驱动的轮子或履带等。电动机的运行可由处理器11控制。

此外，尽管未示出，可移动设备10还可以包括通信装置等，通信装置可以通过网络或其他技术与其他装置(例如，个人计算机、服务器、移动台、基站等)通信，所述网络可以是因特网、无线局域网、移动通信网络等，所述其他技术例如可以包括蓝牙通信、红外通信等。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的位姿信息估计方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的位姿信息估计方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (16)

1.一种位姿信息估计方法，用于估计处于工作环境中的可移动设备的位姿信息，所述可移动设备包括环境传感器，所述方法包括：

接收由所述环境传感器获取的所述工作环境的样本数据；

经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息；以及

输出所述位姿信息。

2.如权利要求1所述的方法，其中，经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息，包括：

经由深度学习特征模型，提取所述样本数据中的特征表示；

经由深度学习位姿模型，根据所述特征表示来估计所述可移动设备的位姿信息；以及

经由深度学习回环模型，根据所述特征表示和已经估计出的所述可移动设备的位姿信息来检测所述可移动设备在所述工作环境中的行走路径是否出现回环，并且根据回环检测结果来校正已经估计出的所述可移动设备的位姿信息。

3.如权利要求2所述的方法，其中，所述深度学习特征模型和所述深度学习位姿模型是离线训练好的，并且所述深度学习回环模型是在线训练的。

4.如权利要求3所述的方法，其中，经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息，还包括：

响应于判断出所述行走路径未出现回环，使用所述特征表示和已经估计出的所述可移动设备的位姿信息来对所述深度学习回环模型进行在线训练；以及

响应于判断出所述行走路径出现回环，使用所述特征表示和校正后的位姿信息来对所述深度学习回环模型进行在线训练。

5.如权利要求2所述的方法，其中，经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息，还包括：

响应于判断出所述行走路径出现回环，使用所述特征表示和校正后的位姿信息来更新所述深度学习位姿模型。

6.如权利要求2所述的方法，其中，所述可移动设备还包括运动传感器，并且经由深度学习位姿模型，根据所述特征表示来估计所述可移动设备的位姿信息，包括：

接收由所述运动传感器获取的所述可移动设备的运动数据；以及

经由所述深度学习位姿模型，根据所述特征表示和所述运动数据来估计所述可移动设备的位姿信息。

7.如权利要求6所述的方法，其中，经由所述深度学习位姿模型，根据所述特征表示和所述运动数据来估计所述可移动设备的位姿信息，包括：

响应于提取到当前样本数据中的特征表示，获取所述当前样本数据之前预定数目的先前样本数据中的特征表示；以及

经由所述深度学习位姿模型，根据所述先前样本数据中的特征表示、所述当前样本数据中的特征表示、和所述可移动设备的当前运动数据来估计所述可移动设备在获取所述当前样本数据时的当前绝对位姿。

8.如权利要求7所述的方法，其中，经由所述深度学习位姿模型，根据所述先前样本数据中的特征表示、所述当前样本数据中的特征表示、和所述可移动设备的当前运动数据来估计所述可移动设备在获取所述当前样本数据时的当前绝对位姿，包括：

经由所述深度学习位姿模型，根据所述先前样本数据中的特征表示、所述当前样本数据中的特征表示、和所述可移动设备的当前运动数据来估计所述可移动设备在获取所述当前样本数据时与在获取前一样本数据时相比的当前相对位姿；

读取已经估计出的所述可移动设备在获取所述前一样本数据时的前一绝对位姿；以及

根据所述当前相对位姿和所述前一绝对位姿来计算所述当前绝对位姿。

9.如权利要求7所述的方法，其中，经由深度学习回环模型，根据所述特征表示和已经估计出的所述可移动设备的位姿信息来检测所述可移动设备在所述工作环境中的行走路径是否出现回环，包括：

经由深度学习回环模型，根据所述当前样本数据中的特征表示和所述当前绝对位姿来生成当前出现回环的置信度和对应的校正位姿；以及

如果所述置信度大于或等于一阈值，则判断出所述行走路径当前出现回环；

如果所述置信度小于所述阈值，则判断出所述行走路径当前未出现回环。

10.如权利要求9所述的方法，其中，根据回环检测结果来校正已经估计出的所述可移动设备的位姿信息包括：

响应于所述置信度大于或等于所述阈值，使用所述校正位姿来校正所述当前绝对位姿，其中，所述校正位姿是所述可移动设备先前移动到回环位置时的先前绝对位姿。

11.如权利要求9所述的方法，其中，根据回环检测结果来校正已经估计出的所述可移动设备的位姿信息还包括：

根据校正后的当前绝对位姿来校正所述可移动设备在获取先前样本数据时的先前绝对位姿。

12.如权利要求1所述的方法，还包括：

根据所输出的位姿信息来构建所述工作环境的环境地图。

13.一种位姿信息估计装置，用于估计处于工作环境中的可移动设备的位姿信息，所述可移动设备包括环境传感器，所述装置包括：

数据接收单元，用于接收由所述环境传感器获取的所述工作环境的样本数据；

回环检测单元，用于经由多层深度学习模型，提取所述样本数据中的特征表示，并根据所述特征表示来估计所述可移动设备的位姿信息；以及

位姿输出单元，用于输出所述位姿信息。

14.一种可移动设备，包括：

处理器；

存储器；以及

存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时执行根据权利要求1-12中任一项的方法。

15.一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行根据权利要求1-12中任一项的方法。

16.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行根据权利要求1-12中任一项的方法。