CN109087359A - 位姿确定方法、位姿确定装置、介质和计算设备 - Google Patents

Abstract

本发明的实施方式提供了一种位姿确定方法，包括获取第一电子设备采集图像时的第一位姿信息，其中，第一位姿信息包括第一电子设备的位置信息和姿态信息；基于第一电子设备的第一位姿信息建立参考坐标系；根据参考坐标系和第一电子设备采集的图像构建第一电子设备所处环境的三维地图；向至少一个第二电子设备发送三维地图，以使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息。本发明的方法使得不同电子设备在增强现实场景中进行交互时，可以统一不同电子设备的坐标系，解决了因电子设备之间坐标系不统一而导致难以进行多人交互的问题。此外，本发明的实施方式提供了另一种位姿确定方法、位姿确定装置、介质和计算设备。

Description

位姿确定方法、位姿确定装置、介质和计算设备

技术领域

本发明的实施方式涉及计算机技术领域，更具体地，本发明的实施方式涉及位姿确定方法、位姿确定装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

增强现实是指通过计算电子设备摄像的位置及角度，并加上图像分析技术，让电子设备的屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。通常使用odometry或者SLAM进行跟踪当前电子设备(用户)的位姿(pose)，并把虚拟目标叠加到现实世界某一位姿(pose)中，映射到当前图像上的技术。

但是，相关技术中一般针对单个用户进行互动，因为每个独立的用户使用各自的参考坐标系描述对象的位置和电子设备的位姿，因此，难以实现多人交互的应用，导致用户体验差。

发明内容

因此在现有技术中，难以实现多人交互的应用这是非常令人烦恼的过程。

为此，非常需要一种改进的位姿确定方法、位姿确定装置、介质和计算设备，以使在增强现实场景中，实现多人交互的应用。

在本上下文中，本发明的实施方式期望提供一种位姿确定方法、位姿确定装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种位姿确定方法，包括：获取第一电子设备采集图像时的第一位姿信息，其中，上述第一位姿信息包括上述第一电子设备的位置信息和姿态信息；基于上述第一电子设备的第一位姿信息建立参考坐标系；根据上述参考坐标系和上述第一电子设备采集的图像构建上述第一电子设备所处环境的三维地图；以及向至少一个第二电子设备发送上述三维地图，以使得上述至少一个第二电子设备基于上述三维地图计算各自在上述参考坐标系下的位姿信息。

在本发明的一个实施例中，在向至少一个第二电子设备发送上述三维地图，以使得上述至少一个第二电子设备基于上述三维地图计算各自在上述参考坐标系下的位姿信息之后，上述方法还包括：实时获取上述第一电子设备的第二位姿信息；判断上述第二位姿信息的误差是否超过阈值；以及在上述第二位姿信息的误差超过上述阈值的情况下，对上述第一电子设备的第二位姿信息进行校正。

在本发明的另一个实施例中，上述方法还包括：实时获取上述至少一个第二电子设备的第三位姿信息；判断上述第三位姿信息的误差是否超过上述阈值；以及在上述第三位姿信息的误差超过上述阈值的情况下，对上述至少一个第二电子设备的第三位姿信息进行校正。

在本发明的又一个实施例中，在根据上述参考坐标系构建上述第一电子设备所处环境的三维地图之后，上述方法还包括：对上述三维地图的位置特征进行误差平均，以提高构建的上述三维地图的质量；以及向上述至少一个第二电子设备发送误差平均后的三维地图。

在本发明的再一个实施例中，在对上述三维地图的位置特征进行误差平均之后，上述方法还包括：压缩上述误差平均后的三维地图，得到压缩后的三维地图；以及向上述至少一个第二电子设备发送上述压缩后的三维地图。

在本发明的再一个实施例中，获取第一电子设备采集图像时的第一位姿信息包括：获取上述第一电子设备采集第一帧图像时的第一位姿信息。

在本发明实施方式的第二方面中，提供了另一种位姿确定方法，包括：接收第一电子设备发送的三维地图，其中，上述三维地图是由上述第一电子设备执行如下操作得到的：获取上述第一电子设备采集图像时的第一位姿信息，其中，上述第一位姿信息包括上述第一电子设备的位置信息和姿态信息；基于上述第一电子设备的第一位姿信息建立参考坐标系；根据上述参考坐标系和上述第一电子设备采集的图像构建上述第一电子设备所处环境的三维地图；以及基于上述三维地图计算至少一个第二电子设备各自在上述参考坐标系下的位姿信息。

在本发明的一个实施例中，上述方法还包括：实时获取上述至少一个第二电子设备的第三位姿信息；判断上述第三位姿信息的误差是否超过阈值；以及在上述第三位姿信息的误差超过上述阈值的情况下，对上述至少一个第二电子设备的第三位姿信息进行校正。

在本发明实施方式的第三方面中，提供了一种位姿确定装置，包括：第一获取模块，用于获取第一电子设备采集图像时的第一位姿信息，其中，上述第一位姿信息包括上述第一电子设备的位置信息和姿态信息；创建模块，用于基于上述第一电子设备的第一位姿信息建立参考坐标系；构建模块，用于根据上述参考坐标系和上述第一电子设备采集的图像构建上述第一电子设备所处环境的三维地图；以及发送模块，用于向至少一个第二电子设备发送上述三维地图，以使得上述至少一个第二电子设备基于上述三维地图计算各自在上述参考坐标系下的位姿信息。

在本发明的一个实施例中，上述装置还包括：第二获取模块，用于在向至少一个第二电子设备发送上述三维地图，以使得上述至少一个第二电子设备基于上述三维地图计算各自在上述参考坐标系下的位姿信息之后，实时获取上述第一电子设备的第二位姿信息；第一判断模块，用于判断上述第二位姿信息的误差是否超过阈值；以及第一校正模块，用于在上述第二位姿信息的误差超过上述阈值的情况下，对上述第一电子设备的第二位姿信息进行校正。

在本发明的另一个实施例中，上述装置还包括：第三获取模块，用于实时获取上述至少一个第二电子设备的第三位姿信息；第二判断模块，用于判断上述第三位姿信息的误差是否超过上述阈值；以及第二校正模块，用于在上述第三位姿信息的误差超过上述阈值的情况下，对上述至少一个第二电子设备的第三位姿信息进行校正。

在本发明的又一个实施例中，上述装置还包括：处理模块，用于在根据上述参考坐标系构建上述第一电子设备所处环境的三维地图之后，对上述三维地图的位置特征进行误差平均，以提高构建的上述三维地图的质量；以及上述发送模块用于向上述至少一个第二电子设备发送误差平均后的三维地图。

在本发明的再一个实施例中，上述装置还包括：压缩模块，用于在对上述三维地图的位置特征进行误差平均之后，压缩上述误差平均后的三维地图，得到压缩后的三维地图；以及上述发送模块用于向上述至少一个第二电子设备发送上述压缩后的三维地图。

在本发明的再一个实施例中，第一获取模块用于获取上述第一电子设备采集第一帧图像时的第一位姿信息。

在本发明实施方式的第四方面中，提供了一种位姿确定装置，包括：接收模块，用于接收第一电子设备发送的三维地图，其中，上述三维地图是由上述第一电子设备执行如下操作得到的：获取上述第一电子设备采集图像时的第一位姿信息，其中，上述第一位姿信息包括上述第一电子设备的位置信息和姿态信息；基于上述第一电子设备的第一位姿信息建立参考坐标系；根据上述参考坐标系和上述第一电子设备采集的图像构建上述第一电子设备所处环境的三维地图；以及计算模块，用于基于上述三维地图计算至少一个第二电子设备各自在上述参考坐标系下的位姿信息。

在本发明的一个实施例中，上述装置还包括：第四获取模块，用于实时获取上述至少一个第二电子设备的第三位姿信息；第三判断模块，用于判断上述第三位姿信息的误差是否超过阈值；以及第三校正模块，用于在上述第三位姿信息的误差超过上述阈值的情况下，对上述至少一个第二电子设备的第三位姿信息进行校正。

在本发明实施方式的第五方面中，提供了一种介质，存储有计算机可执行指令，上述指令在被处理单元执行时用于实现如上任一项所述的位姿确定方法。

在本发明实施方式的第六方面中，提供了一种计算设备，包括：处理单元；以及存储单元，存储有计算机可执行指令，上述指令在被上述处理单元执行时用于实现如上任一项所述的位姿确定方法。

根据本发明实施方式的位姿确定方法、位姿确定装置、介质和计算设备，通过将构建好的三维地图发送给至少一个第二电子设备，使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息，第二电子设备无需使用各自构建的坐标系描述对象的位置和电子设备的位姿，本发明的方法可以使得不同电子设备在增强现实场景中进行交互时，统一不同电子设备的坐标系，从而解决了因电子设备之间坐标系不统一而导致难以进行多人交互的问题，为用户带来了更好的体验。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的对象的位姿示意图；

图2示意性地示出了根据本发明实施方式的应用场景示意图；

图3示意性地示出了根据本发明实施例的位姿确定方法的流程图(一)；

图4示意性示出了根据本发明另一实施例的位姿确定方法的流程图(二)；

图5示意性示出了根据本发明实施例的对三维地图进行处理的流程图(一)；

图6示意性示出了根据本发明实施例的对三维地图进行处理的流程图(二)；

图7示意性地示出了根据本发明实施例的位姿确定装置的框图(一)；

图8示意性地示出了根据本发明另一实施例的位姿确定装置的框图(二)；

图9示意性地示出了根据本发明另一实施例的位姿确定装置的框图(三)；

图10示意性地示出了根据本发明另一实施例的位姿确定装置的框图(四)；

图11示意性地示出了根据本发明实施方式的用于实现位姿确定方法的程序产品示意图；以及

图12示意性地示出了根据本发明实施例的用于实现位姿确定方法的计算设备的框图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种位姿确定方法、介质、装置和计算设备。

在本文中，需要理解的是，所涉及的术语可以是用于实现本发明一部分的技术手段或者其它总结性技术术语。例如，术语可以包括：

地标(landmark)：具有明显的外形和特征，如几何形状可以利用运载体上的相关仪器很容易地区分和检测出来，既可以是天然的，也可以是人造的。有些地标还可以包含额外的信息(如条形码、二维码等)。

位置(position)：给定三维坐标系(笛卡尔坐标系)，目标在该坐标系中的位置，一般用(x，y，z)表示。

位姿(pose)：位置和姿态(朝向)，例如：在二维中一般是(x，y，yaw)，三维中一般是(x，y，z，yaw，pitch，roll)，后三个元素描述物体的姿态。图1示意性地示出了根据本发明实施方式的对象的位姿示意图。如图1所示，其中yaw是航向角，绕Z轴旋转，pitch是俯仰角，绕Y轴旋转，roll是翻滚角，绕X轴旋转。

增强现实(Augmented Reality或AR)：透过摄影机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。

惯性测量单元(inertial measurement unit或IMU)：测量物体三轴姿态角(或角速率)以及加速度的装置。

里程计(odometry)：使用运动传感器(如“惯性测量单元”)评估临近时间的位姿变化。

同时定位与建图(Simultaneous Localization And Mapping或SLAM)：把一个带传感器的机器人(或任意载体)放在一个未知的环境中，让机器人尝试增量式地建立一个连续的地图并且用该地图进行定位，这样一个问题我们称之为“同时定位与建图”。

光束平差(bundle adjustment或BA)：给定多张有共同视场的图像，以某一帧图像的位姿为参考坐标系，从所有图像中提取landmark特征，同时优化该特征在参考坐标系中的三维位置和图像在参考坐标系中三维位姿(pose)。

通过运动恢复结构(structure from motion或SFM)：一种摄影测量范围成像技术，估计二维图像序列中的三维结构，这些图像可能与局部运动信号相结合，SFM一般用“光束平差”算法求解。

光束惯导平差(bundle inertial adjustment或BIA)：BA计算的landmark特征的三维位置和图像的三维位姿是没有真实尺度的，在每两帧图像之间，加入惯性测量单元(IMU)数据的约束，可以得到有真实尺度的结果(使用BIA优化的结果，近似地认为是真实尺度)。

位姿图模型优化(pose graph optimization或PGO)：对一系列位姿建立图模型，使用最小二乘、Levenberg-Marquard(LM)、gradient descent(GD)等算法进行优化。

闭环(loop closure)：通过传感器数据(如图像)的相关计算，判断当前数据是否是曾经采集过的地点的数据；如果是，则在BA或BIA或PGO模型中添加约束边(edge)进行优化。

定位(localization)：通过传感器数据(如图像)的相关计算，判断当前数据是否是曾经采集过的地点的数据；如果是，则提供该传感器在已有三维地图中的位姿。

节点(node)：图模型里的单元，在PGO中指位姿。

边(edge)：图模型里的单元，在PGO中指两个位姿之间的变换关系。

图像检索(image retrieval)：给定目标图像和图像数据库，在数据库中索引出与目标图像足够相似(相似度大于某个阈值)的前k帧图像，其中，k为自然数。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

增强现实技术是透过摄影机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。本发明人发现，增强现实场景一般针对单个用户进行，每个独立的用户使用自己的参考坐标系进行特征的位置描述和相机的位姿描述，多个坐标系之间并没有重叠在一起，因此，难以进行多人同时交互，多个用户之间的交互则需要每个设备对现实世界进行三维重建后同步多个用户的坐标系后才能进行。

基于以上分析，发明人构想到通过将基于第一电子设备的位姿信息构建好的三维地图发送给至少一个第二电子设备，使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息，第二电子设备无需使用各自构建的坐标系描述对象的位置和电子设备的位姿，本发明的方法可以使得不同电子设备在增强现实场景中进行交互时，统一不同电子设备的坐标系，从而解决了因电子设备之间坐标系不统一而导致难以进行多人交互的问题，为用户带来了更好的体验。

在不同电子设备统一好坐标系后，对电子设备进行位姿跟踪，对获取的电子设备的位姿信息进行误差校对，可以不断地对跟踪结果进行纠错，不仅达到了统一坐标系的目的，还可以保证多个电子设备平滑稳定地进行交互。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图2详细阐述本发明实施例的位姿确定方法及其装置的应用场景。

图2示意性地示出了根据本发明实施方式的应用场景示意图。

如图2所示，用户A和用户B在同一栋建筑地标前，对于用户A来说，用户A坐标原点用(0，0，0，0，0，0)表示，但从用户A的局部坐标看用户C坐标系的原点是(-13，-9，0，0，0，0)，从用户C的坐标系来看用户A应该是(13，9，0，0，0，0)；对于用户B来说，用户B坐标原点用(0，0，0，0，0，0)表示，从用户B的局部坐标看C坐标系的原点是(-4，9，0，0，0，0)，从用户C的坐标系来看用户B应该是(4，9，0，0，0，0)，并未使用同一个坐标系描述自己的位姿和建筑的位置，因此，用户之间无法进行交互。根据本发明的实施例，可以通过某一个终端用户C所使用的电子设备，先建立坐标系，然后构建好当前环境的三维地图，并将三维地图分发给参与者用户A和B，用户A和B基于三维地图通过定位(localization)算法，将自己相对于用户C的坐标系的变换关系计算出来，从而用户A、B和C共用一个坐标系，为多人增强现实交互提供必要条件。在统一坐标系后，还可以跟踪用户A、B和C的位姿，通过定位(localization)算法进行误差矫正，从而保证多个用户平滑稳定地进行交互。

通过将基于第一电子设备的位姿信息构建好的三维地图发送给至少一个第二电子设备，使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息，第二电子设备无需使用各自构建的坐标系描述对象的位置和电子设备的位姿，本发明的方法可以使得不同电子设备在增强现实场景中进行交互时，统一不同电子设备的坐标系，从而解决了因电子设备之间坐标系不统一而导致难以进行多人交互的问题，为用户带来了更好的体验。

示例性方法

下面结合图2的应用场景，参考图3来描述根据本发明示例性实施方式的位姿确定方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

图3示意性地示出了根据本发明实施例的位姿确定方法的流程图。

如图3所示，根据本发明实施例的位姿确定方法包括操作S201～操作S204。

在操作S201，获取第一电子设备采集图像时的第一位姿信息，其中，第一位姿信息包括第一电子设备的位置信息和姿态信息。

根据本发明的实施例，当存在多个用户使用电子设备在增强现实场景中进行交互时，可以从多个用户中任意或者按照一定规则选出一主机用户，该主机用户使用的电子设备可以作为第一电子设备，主机用户对用户本身可以没有特殊要求，任何用户可以成为主机用户。

根据本发明的实施例，第一电子设备采集图像时的第一位姿信息可以是采集现实场景中的真实物体时的位姿信息，如图2所示，可以是采集现实场景中的建筑物时的位姿信息。

根据本发明的实施例，可以是获取第一电子设备采集第一帧图像时的第一位姿信息，也可以是获取第一电子设备采集目标图像时的第一位姿信息。

在操作S202，基于第一电子设备的第一位姿信息建立参考坐标系。

根据本发明的实施例，如图2所示，假设用户C所使用的电子设备为第一电子设备，第一位姿信息可以是采集建筑物时第一电子设备的位姿。对于用户C来说，其坐标原点用(0，0，0，0，0，0)表示。

在操作S203，根据参考坐标系和第一电子设备采集的图像构建第一电子设备所处环境的三维地图。

根据本发明的实施例，在建立好参考坐标系之后，可以使用odometry/SLAM算法对现实世界的环境进行粗糙的真实尺度的三维重建，odometry/SLAM算法一般使用visual和inertial的数据，其中，visual是指图像采集传感器所采集的图像数据，inertial是指“惯性测量单元”(“Inertial Measurement Unit”，简称IMU)所采集的惯性数据，例如，IMU可以提供的数据是“加速度”和“角速度”，第一电子设备构建的三维重建结果建立在第一电子设备自身的局部坐标系上(因为坐标系都是相对的，相对大地坐标系，任何一个坐标系都是局部坐标系)。

根据本发明的实施例，在构建三维地图时，需要选择合适的三维重建算法，包括但不限于：ORB-SLAM、LSD-SLAM和LOAM等；三维重建算法与传感器相关，传感器包括但不限于：单目相机、双目相机、深度相机、雷达和RGB-D相机等。一般而言，对于单目相机+IMU的设备配置，先进行visual-inertial odometry(计算一系列的位姿)，同时三角化特征点。然后对计算出的位姿建立位姿图模型，如果存在闭环，则对该图模型进行优化。

在操作S204，向至少一个第二电子设备发送三维地图，以使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息。

根据本发明的实施例，计算各自在参考坐标系下的位姿信息就是坐标对齐的过程，就是基于三维地图通过定位算法确定至少一个第二电子设备的坐标系到第一电子设备的坐标系的变换关系，例如，用户A的电子设备的坐标系基于用户A本身原点是(0，0，0，0，0，0)，但放在用户C的参考坐标系就是(10，10，0，0，0，0)。在上述定位算法中，具体实现过程如下：1.对被索引的图像Q进行特征提取，其中，被索引的图像Q是在当前时刻通过图像采集设备所采集到的图像；2.通过一个训练好的词袋(包括但不限于：BOW，inverted-index，inverted-multi-index等)，找到跟Q最相似的N张图像；3.找到这N张图像共视最多的一个集合，获取该集合的特征点所对应的三维点；4.使用这些三维点对图像Q进行3D到2D的几何校验，几何校验使用的算法包括但不限于“ransac”和“非线性优化”等。

根据本发明的实施例，在向至少一个第二电子设备发送三维地图之后，至少一个第二电子设备接收第一电子设备发送的三维地图，其中，三维地图是由第一电子设备执行如下操作得到的：获取第一电子设备采集图像时的第一位姿信息，其中，第一位姿信息包括第一电子设备的位置信息和姿态信息；基于第一电子设备的第一位姿信息建立参考坐标系；根据参考坐标系和第一电子设备采集的图像构建第一电子设备所处环境的三维地图。至少一个第二电子设备可以基于三维地图计算各自在参考坐标系下的位姿信息。

根据本发明的实施例，第一电子设备和第二电子设备的种类不作限定，包括但不限于智能手机、平板电脑和智能穿戴设备等其它设备。

根据本发明的实施例，通过将基于第一电子设备的位姿信息构建好的三维地图发送给至少一个第二电子设备，使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息，第二电子设备无需使用各自构建的坐标系描述对象的位置和电子设备的位姿，本发明的方法可以使得不同电子设备在增强现实场景中进行交互时，统一不同电子设备的坐标系，从而解决了因电子设备之间坐标系不统一而导致难以进行多人交互的问题，为用户带来了更好的体验。

下面参考图4～图6，结合具体实施例对图3所示的方法做进一步说明。

图4示意性示出了根据本发明另一实施例的位姿确定方法的流程图。在该实施例中，除了包括上文参考图3描述的操作S201～S204之外，还包括操作S205～S207。为了描述的简洁起见，这里省略对操作S201～S204的描述。

如图4所示，在向至少一个第二电子设备发送三维地图，以使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息之后，位姿确定方法还包括操作S205～S207。

在操作S205，实时获取第一电子设备的第二位姿信息。

在操作S206，判断第二位姿信息的误差是否超过阈值。

在操作S207，在第二位姿信息的误差超过阈值的情况下，对第一电子设备的第二位姿信息进行校正。

根据本发明的实施例，由于第一电子设备在交互的过程中可以不断地移动，为了使得多个电子设备平滑稳定地进行交互，在向至少一个第二电子设备发送三维地图之后，第一电子设备可以使用odometry/SLAM算法进行位姿跟踪，后台同时使用定位算法进行误差校对。校对之前可以将第二位姿信息的误差与阈值进行比较，误差超过阈值的可以进行校对，阈值的大小可以是将大量测量数据与真实数据之间比较计算分析之后确定的，当然，本发明也可以对电子设备的位姿实时校对，不与阈值进行比较而直接校对。如果使用基于滤波器filter(odometry算法的一种)的算法，可以将定位算法的结果作为一次量测结果，放入filter中；如果使用SLAM算法，可以使用pose graph或者BIA算法进行优化。

根据本发明的实施例，还可以实时获取至少一个第二电子设备的第三位姿信息；判断第三位姿信息的误差是否超过阈值；以及在第三位姿信息的误差超过阈值的情况下，对至少一个第二电子设备的第三位姿信息进行校正。

根据本发明的实施例，由于至少一个第二电子设备在交互的过程中可以不断地移动，为了使得多个电子设备平滑稳定地进行交互，在交互的过程中，第一电子设备可以跟踪并实时获取至少一个第二电子设备的第三位姿信息。

根据本发明的实施例，在不同电子设备统一好坐标系后，对电子设备进行位姿跟踪，对获取的电子设备的位姿信息进行误差校对，可以不断地对跟踪结果进行纠错，不仅达到了统一坐标系的目的，还可以保证多个电子设备平滑稳定地进行交互。

根据本发明的实施例，第二电子设备本身也可以实时获取至少一个第二电子设备的第三位姿信息；判断第三位姿信息的误差是否超过阈值；以及在第三位姿信息的误差超过阈值的情况下，对至少一个第二电子设备的第三位姿信息进行校正。

图5示意性示出了根据本发明实施例的对三维地图进行处理的流程图(一)。在该实施例中，除了包括上文参考图3描述的操作S201～S204之外，还包括操作S208～S209。为了描述的简洁起见，这里省略对操作S201～S204的描述。

如图5所示，在根据参考坐标系构建第一电子设备所处环境的三维地图之后，位姿确定方法还包括操作S208～S209。

在操作S208，对三维地图的位置特征进行误差平均，以提高构建的三维地图的质量。

在操作S209，向至少一个第二电子设备发送误差平均后的三维地图。

根据本发明的实施例，可以使用odometry/SLAM构建三维地图，在得到粗糙结果之后，还可以进行更精细得优化。

例如，首先使用loop closure算法进行回环检测，判断当前数据是否是曾经采集过的地点的数据，如果是，则将该数据作为约束边(edge)加入到位姿图模型中进行优化(pose graph optimization)例如使用最小二乘、Levenberg-Marquard(LM)、gradientdescent(GD)等算法进行优化，最后使用光束惯导平差BIA更进一步进行误差平均，由于图像的三维位姿是没有真实尺度的，在每两帧图像之间，加入惯性测量单元(IMU)数据的约束，可以得到有真实尺度的结果，即使用BIA优化的结果，可以近似地认为三维位姿是真实尺度。

进一步地，如果达到整个系统的优化迭代次数或者误差已经小于预设定的阈值，则输出三维地图M。

根据本发明的实施例，将初次构建的粗糙地图进行优化，使得地图更加精细，可以提高用户交互体验。

图6示意性示出了根据本发明实施例的对三维地图进行处理的流程图(二)。在该实施例中，除了包括上文参考图3和图5描述的操作之外，还包括操作S210～S211。为了描述的简洁起见，这里省略对图3和图5中的操作进行描述。

如图6所示，在对三维地图的位置特征进行误差平均之后，位姿确定方法还包括操作S210～S211。

在操作S210，压缩误差平均后的三维地图，得到压缩后的三维地图。

根据本发明的实施例，由于生成的三维地图一般比较大，对设备计算能力要求较高，例如如果电子设备端运行localization算法实时运算该地图，会使得设备性能要求高。因此，需要会对地图进行一定的裁剪，包括但不限于对地图进行关键帧提取等。

在操作S211，向至少一个第二电子设备发送压缩后的三维地图。

根据本发明的实施例，生成的地图一般比较大，对设备计算能力要求较高。因此，对地图进行一定的裁剪压缩操作，可以降低对电子设备的要求。

示例性装置

在介绍了本发明示例性实施方式的方法之后，接下来，参考图7对本发明示例性实施方式的位姿确定装置进行描述。

图7示意性地示出了根据本发明实施例的位姿确定装置的框图(一)。

如图7所示，该位姿确定装置400包括第一获取模块401、创建模块402、构建模块403和发送模块404。

第一获取模块401用于获取第一电子设备采集图像时的第一位姿信息，其中，第一位姿信息包括第一电子设备的位置信息和姿态信息。

创建模块402用于基于第一电子设备的第一位姿信息建立参考坐标系。

构建模块403用于根据参考坐标系和第一电子设备采集的图像构建第一电子设备所处环境的三维地图。

发送模块404用于向至少一个第二电子设备发送三维地图，以使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息。

根据本发明的实施例，通过将基于第一电子设备的位姿信息构建好的三维地图发送给至少一个第二电子设备，使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息，第二电子设备无需使用各自构建的坐标系描述对象的位置和电子设备的位姿，本发明的方法可以使得不同电子设备在增强现实场景中进行交互时，统一不同电子设备的坐标系，从而解决了因电子设备之间坐标系不统一而导致难以进行多人交互的问题，为用户带来了更好的体验。

图8示意性地示出了根据本发明另一实施例的位姿确定装置的框图(二)。

如图8所示，该位姿确定装置400还包括第二获取模块405、第一判断模块406和第一校正模块407。

第二获取模块405用于在向至少一个第二电子设备发送三维地图，以使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息之后，实时获取第一电子设备的第二位姿信息。

第一判断模块406用于判断第二位姿信息的误差是否超过阈值。

第一校正模块407用于在第二位姿信息的误差超过阈值的情况下，对第一电子设备的第二位姿信息进行校正。

根据本发明的实施例，如图8所示，该位姿确定装置400还包括第三获取模块408、第二判断模块409和第二校正模块410。

第三获取模块408用于实时获取至少一个第二电子设备的第三位姿信息。

第二判断模块409用于判断第三位姿信息的误差是否超过阈值。

第二校正模块410用于在第三位姿信息的误差超过阈值的情况下，对至少一个第二电子设备的第三位姿信息进行校正。

根据本发明的实施例，在不同电子设备统一好坐标系后，对电子设备进行位姿跟踪，对获取的电子设备的位姿信息进行误差校对，可以不断地对跟踪结果进行纠错，不仅达到了统一坐标系的目的，还可以保证多个电子设备平滑稳定地进行交互。

根据本发明的实施例，如图8所示，该位姿确定装置400还包括处理模块411，用于在根据参考坐标系构建第一电子设备所处环境的三维地图之后，对三维地图的位置特征进行误差平均，以提高构建的三维地图的质量。发送模块404还用于向至少一个第二电子设备发送误差平均后的三维地图。

根据本发明的实施例，将初次构建的粗糙地图进行优化，使得地图更加精细，可以提高用户交互体验。

根据本发明的实施例，如图8所示，该位姿确定装置400还包括压缩模块412，用于在对三维地图的位置特征进行误差平均之后，压缩误差平均后的三维地图，得到压缩后的三维地图。发送模块404还用于向至少一个第二电子设备发送压缩后的三维地图。

根据本发明的实施例，生成的地图一般比较大，对设备计算能力要求较高；因此，对地图进行一定的裁剪压缩操作，可以降低对电子设备的要求。

根据本发明的实施例，第一获取模块401可以是用于获取第一电子设备采集第一帧图像时的第一位姿信息，或者也可以是获取第一电子设备采集目标图像时的第一位姿信息。

图9示意性地示出了根据本发明另一实施例的位姿确定装置的框图(三)。

如图9所示，该位姿确定装置500包括接收模块501和计算模块502。

接收模块501用于接收第一电子设备发送的三维地图，其中，三维地图是由第一电子设备执行如下操作得到的：

获取第一电子设备采集图像时的第一位姿信息，其中，第一位姿信息包括第一电子设备的位置信息和姿态信息；

基于第一电子设备的第一位姿信息建立参考坐标系；

根据参考坐标系和第一电子设备采集的图像构建第一电子设备所处环境的三维地图。

计算模块502用于基于三维地图计算至少一个第二电子设备各自在参考坐标系下的位姿信息。

根据本发明的实施例，通过将基于第一电子设备的位姿信息构建好的三维地图发送给至少一个第二电子设备，使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息，第二电子设备无需使用各自构建的坐标系描述对象的位置和电子设备的位姿，本发明的方法可以使得不同电子设备在增强现实场景中进行交互时，统一不同电子设备的坐标系，从而解决了因电子设备之间坐标系不统一而导致难以进行多人交互的问题，为用户带来了更好的体验。

图10示意性地示出了根据本发明另一实施例的位姿确定装置的框图(四)。

如图10所示，该位姿确定装置500包括第四获取模块503、第三判断模块504和第三校正模块505。

第四获取模块503用于实时获取至少一个第二电子设备的第三位姿信息。

第三判断模块504用于判断第三位姿信息的误差是否超过阈值。

第三校正模块505用于在第三位姿信息的误差超过阈值的情况下，对至少一个第二电子设备的第三位姿信息进行校正。

根据本发明的实施例，在不同电子设备统一好坐标系后，对电子设备进行位姿跟踪，对获取的电子设备的位姿信息进行误差校对，可以不断地对跟踪结果进行纠错，不仅达到了统一坐标系的目的，还可以保证多个电子设备平滑稳定地进行交互。

示例性介质

在介绍了本发明示例性实施方式的装置之后，接下来，参考图11对本发明示例性实施方式的、用于存储有计算机可执行指令，该指令在被处理单元执行时用于实现上述位姿确定方法的介质进行描述。

在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算设备上运行时，所述程序代码用于使所述计算设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的位姿确定方法中的步骤，例如，计算设备可以执行如图3中所示的步骤S201：获取第一电子设备采集图像时的第一位姿信息，其中，第一位姿信息包括第一电子设备的位置信息和姿态信息；步骤S202：基于第一电子设备的第一位姿信息建立参考坐标系；步骤S203：根据参考坐标系和第一电子设备采集的图像构建第一电子设备所处环境的三维地图；以及操作S204，向至少一个第二电子设备发送三维地图，以使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

图11示意性地示出了根据本发明实施方式的用于实现位姿确定方法的程序产品示意图。

如图11所示，描述了根据本发明的实施方式的位姿确定方法的程序产品60，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆，RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言——诸如Java，C++等，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

示例性计算设备

在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图12对本发明示例性实施方式的计算设备进行描述，该计算设备包括处理单元和存储单元，存储单元存储有计算机可执行指令，上述指令在被上述处理单元执行时用于实现上述位姿确定方法进行描述。

本发明实施例还提供了一种计算设备。所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明的计算设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的位姿确定方法中的步骤。例如，所述处理单元可以执行如图3中所示的步骤S201：获取第一电子设备采集图像时的第一位姿信息，其中，第一位姿信息包括第一电子设备的位置信息和姿态信息；步骤S202：基于第一电子设备的第一位姿信息建立参考坐标系；步骤S203：根据参考坐标系和第一电子设备采集的图像构建第一电子设备所处环境的三维地图；以及操作S204，向至少一个第二电子设备发送三维地图，以使得至少一个第二电子设备基于三维地图计算各自在参考坐标系下的位姿信息。

图12示意性地示出了根据本发明实施例的用于实现位姿确定方法的计算设备的框图。

下面参照图12来描述根据本发明的这种实施方式的用于图表的数据处理的计算设备70。如图12所示的计算设备70仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，计算设备70以通用计算设备的形式表现。计算设备70的组件可以包括但不限于：上述至少一个处理单元701、上述至少一个存储单元702、连接不同系统组件(包括存储单元702和处理单元701)的总线703。

总线703表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元702可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)7021和/或高速缓存存储器7022，还可以进一步包括只读存储器(ROM)7023。

存储单元702还可以包括具有一组(至少一个)程序模块7024的程序/实用工具7025，这样的程序模块7024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备70也可以与一个或多个外部设备704(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与计算设备70交互的设备通信，和/或与使得计算设备70能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/0)接口705进行。并且，计算设备70还可以通过网络适配器706与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器706通过总线703与计算设备70的其它模块通信。应当明白，尽管图中未示出，可以结合计算设备70使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种位姿确定方法，包括：

获取第一电子设备采集图像时的第一位姿信息，其中，所述第一位姿信息包括所述第一电子设备的位置信息和姿态信息；

基于所述第一电子设备的第一位姿信息建立参考坐标系；

根据所述参考坐标系和所述第一电子设备采集的图像构建所述第一电子设备所处环境的三维地图；以及

向至少一个第二电子设备发送所述三维地图，以使得所述至少一个第二电子设备基于所述三维地图计算各自在所述参考坐标系下的位姿信息。

2.根据权利要求1所述的方法，其中，在向至少一个第二电子设备发送所述三维地图，以使得所述至少一个第二电子设备基于所述三维地图计算各自在所述参考坐标系下的位姿信息之后，所述方法还包括：

实时获取所述第一电子设备的第二位姿信息；

判断所述第二位姿信息的误差是否超过阈值；以及

在所述第二位姿信息的误差超过所述阈值的情况下，对所述第一电子设备的第二位姿信息进行校正。

3.根据权利要求1所述的方法，其中，所述方法还包括：

实时获取所述至少一个第二电子设备的第三位姿信息；

判断所述第三位姿信息的误差是否超过所述阈值；以及

在所述第三位姿信息的误差超过所述阈值的情况下，对所述至少一个第二电子设备的第三位姿信息进行校正。

4.根据权利要求1所述的方法，其中，在根据所述参考坐标系构建所述第一电子设备所处环境的三维地图之后，所述方法还包括：

对所述三维地图的位置特征进行误差平均，以提高构建的所述三维地图的质量；以及

向所述至少一个第二电子设备发送误差平均后的三维地图。

5.根据权利要求4所述的方法，其中，在对所述三维地图的位置特征进行误差平均之后，所述方法还包括：

压缩所述误差平均后的三维地图，得到压缩后的三维地图；以及

向所述至少一个第二电子设备发送所述压缩后的三维地图。

6.一种位姿确定方法，包括：

接收第一电子设备发送的三维地图，其中，所述三维地图是由所述第一电子设备执行如下操作得到的：

获取所述第一电子设备采集图像时的第一位姿信息，其中，所述第一位姿信息包括所述第一电子设备的位置信息和姿态信息；

基于所述第一电子设备的第一位姿信息建立参考坐标系；

根据所述参考坐标系和所述第一电子设备采集的图像构建所述第一电子设备所处环境的三维地图；以及

基于所述三维地图计算至少一个第二电子设备各自在所述参考坐标系下的位姿信息。

7.一种位姿确定装置，包括：

第一获取模块，用于获取第一电子设备采集图像时的第一位姿信息，其中，所述第一位姿信息包括所述第一电子设备的位置信息和姿态信息；

创建模块，用于基于所述第一电子设备的第一位姿信息建立参考坐标系；

构建模块，用于根据所述参考坐标系和所述第一电子设备采集的图像构建所述第一电子设备所处环境的三维地图；以及

发送模块，用于向至少一个第二电子设备发送所述三维地图，以使得所述至少一个第二电子设备基于所述三维地图计算各自在所述参考坐标系下的位姿信息。

8.一种位姿确定装置，包括：

接收模块，用于接收第一电子设备发送的三维地图，其中，所述三维地图是由所述第一电子设备执行如下操作得到的：

获取所述第一电子设备采集图像时的第一位姿信息，其中，所述第一位姿信息包括所述第一电子设备的位置信息和姿态信息；

基于所述第一电子设备的第一位姿信息建立参考坐标系；

根据所述参考坐标系和所述第一电子设备采集的图像构建所述第一电子设备所处环境的三维地图；以及

计算模块，用于基于所述三维地图计算至少一个第二电子设备各自在所述参考坐标系下的位姿信息。

9.一种介质，存储有计算机可执行指令，所述指令在被处理单元执行时用于实现权利要求1至6中任一项所述的位姿确定方法。

10.一种计算设备，包括：

处理单元；以及

存储单元，存储有计算机可执行指令，所述指令在被所述处理单元执行时用于实现权利要求1至6中任一项所述的位姿确定方法。