CN108154533A - 一种位置姿态确定方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种位置姿态确定方法、装置及电子设备，其中，该方法包括：通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像；标志装置位于VR设备外、且设有多个光源点，并用于标示VR设备外的外部环境；根据多个光源点的地理位置信息和多个光源点成像在光源图像的图像位置信息，通过透视投影PNP算法，确定图像采集设备的第一位置姿态，并将图像采集设备的第一位置姿态确定为VR设备的第一位置姿态信息。通过本发明实施例提供的位置姿态确定方法、装置及电子设备，能够提高对位置姿态跟踪的稳定性。

Description

一种位置姿态确定方法、装置及电子设备

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种位置姿态确定方法、装置及电子设备。

背景技术

VR(Virtual Reality，虚拟现实)技术是模拟产生一个三维空间的虚拟世界，向使用者提供关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，可以及时、没有限制地，观察、感受三维空间的事物。为了使使用者可以有更加丰富的体验，对使用者位置姿态的跟踪就显得非常重要。

现有的位置姿态确定方法主要分为两种，一种是由外而内的位置姿态跟踪系统中，具体是将相机、摄像头等放置在VR头盔外部，并在VR头盔上部署特征点，通过获取VR头盔上的特征点的图像，根据特征点的图像，计算VR头盔的位置姿态。但是，由外而内的位置姿态跟踪方法中，将相机、摄像头等放置在VR头盔外部，不易于携带与摆放，且需要在VR头盔部署很多特征点，导致VR头盔结构设计复杂。所以现有技术为了解决由外而内的位置姿态跟踪系统中的这些问题，提出了一种由内而外的位置姿态确定方法，具体是将相机、摄像头等放置在VR头盔上，通过放置在VR头盔上的相机、摄像头等采集外部环境的图像，如此根据采集到的图像，通过即时定位与地图构建SLAM算法和透视投影PNP算法，计算VR头盔的位置姿态。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：现有技术中由内而外的位置姿态跟踪系统中，是根据放置在VR头盔上的相机、摄像头等采集外部环境的图像，如此对外部环境要求比较严格，如果外部环境无法满足要求，就会使得跟踪结果不稳定。

发明内容

本发明实施例的目的在于提供一种位置姿态确定方法、装置及电子设备，以提高位置姿态跟踪的稳定性。具体技术方案如下：

第一方面，本发明实施例提供了一种位置姿态确定方法，包括：

通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像；所述标志装置位于所述VR设备外、且设有多个光源点，并用于标示所述VR设备外的外部环境；

根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过透视投影PNP算法，确定所述图像采集设备的第一位置姿态，并将所述图像采集设备的第一位置姿态确定为所述VR设备的第一位置姿态信息。

可选的，所述方法还包括：

通过位于所述VR设备上的惯性测量单元IMU传感器，确定所述VR设备的姿态角度信息；

通过融合算法，将所述姿态角度信息和所述第一位置姿态信息进行信息融合，确定所述VR设备的第二位置姿态信息，所述融合算法包括基于滤波的算法、基于优化的算法、基于松耦合的算法、或基于紧耦合的算法。

可选的，所述标志装置的个数至少为两个；

所述通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像，包括：

采集至少两个所述标志装置的光源图像；

所述根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过透视投影PNP算法，确定所述图像采集设备的第一位置姿态，包括：

针对至少两个所述标志装置中的每个标志装置，根据该标志装置的所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过PNP算法，确定所述图像采集设备的第一位置姿态。

可选的，所述图像采集设备包括双目摄像机；

所述通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像，包括：

通过位于所述VR设备上的所述双目摄像机，采集左视点对应的左视点光源图像和右视点对应的右视点光源图像；

在所述通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像之后，还包括：

对所述左视点光源图像和所述右视点光源图像进行双目立体匹配算法，得到所述多个光源点成像在所述光源图像的深度位置信息，所述深度位置信息为包括深度信息的位置信息；

所述根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过透视投影PNP算法，确定所述图像采集设备的第一位置姿态，包括：

根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的所述深度位置信息，通过PNP算法，确定所述图像采集设备的第一位置姿态。

可选的，所述标志装置包括多面体形式的标志板；

所述通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像，包括：

通过所述图像采集设备，从多个角度采集所述标志板的光源图像。

可选的，所述第一位置姿态信息为六方向自由度6DOF的位置姿态信息，所述姿态角度信息为三方向自由度3DOF的姿态角度信息。

第二方面，本发明一种位置姿态确定装置，包括：

采集模块，用于通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像；所述标志装置位于所述VR设备外、且设有多个光源点，并用于标示所述VR设备外的外部环境；

第一确定模块，用于根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过透视投影PNP算法，确定所述图像采集设备的第一位置姿态，并将所述图像采集设备的第一位置姿态确定为所述VR设备的第一位置姿态信息。

可选的，所述装置还包括：

第二确定模块，用于通过位于所述VR设备上的惯性测量单元IMU传感器，确定所述VR设备的姿态角度信息；

融合模块，用于通过融合算法，将所述姿态角度信息和所述第一位置姿态信息进行信息融合，确定所述VR设备的第二位置姿态信息，所述融合算法包括基于滤波的算法、基于优化的算法、基于松耦合的算法、或基于紧耦合的算法。

可选的，所述标志装置的个数至少为两个；

所述采集模块，具体用于采集至少两个所述标志装置的光源图像；

所述第一确定模块，具体用于针对至少两个所述标志装置中的每个标志装置，根据该标志装置的所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过PNP算法，确定所述图像采集设备的第一位置姿态。

可选的，所述图像采集设备包括双目摄像机；

所述采集模块，具体用于通过位于所述VR设备上的所述双目摄像机，采集左视点对应的左视点光源图像和右视点对应的右视点光源图像；

所述装置还包括：立体匹配模块；所述立体匹配模块，用于对所述左视点光源图像和所述右视点光源图像进行双目立体匹配算法，得到所述多个光源点成像在所述光源图像的深度位置信息，所述深度位置信息为包括深度信息的位置信息；

所述第一确定模块，具体用于根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的所述深度位置信息，通过PNP算法，确定所述图像采集设备的第一位置姿态。

可选的，所述标志装置包括多面体形式的标志板；

所述采集模块，具体用于通过所述图像采集设备，从多个角度采集所述标志板的光源图像。

可选的，所述第一位置姿态信息为六方向自由度6DOF的位置姿态信息，所述姿态角度信息为三方向自由度3DOF的姿态角度信息。

第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。

在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法步骤。

在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述而定方法步骤。

本发明实施例提供的位置姿态确定方法、装置及电子设备，可以通过位于VR设备上的图像采集设备，采集标志装置的光源图像；标志装置位于VR设备外、且设有多个光源点，并用于标示VR设备外的外部环境，并根据多个光源点的地理位置信息和多个光源点成像在光源图像的图像位置信息，通过PNP(perspective-N-points，透视投影)算法，确定图像采集设备的第一位置姿态，并将图像采集设备的位置姿态信息作为VR设备的位置姿态信息。通过在VR设备外部署标志装置，可以使得在外部环境受限的情况下，例如，外部环境昏暗区域、无纹理区域，对外部环境进行标示，使得通过位于VR设备上的图像采集设备采集图像计算VR设备的位置姿态信息时，即使外部环境受限，也可以准确地确定VR设备的位置姿态信息，提高位置姿态跟踪的稳定性。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的位置姿态确定方法的流程图；

图2(a)为本发明实施例中一种标志装置的示意图；

图2(b)为本发明实施例中另一种标志装置的示意图；

图3为本发明实施例中位置姿态确定过程的示意图；

图4为本发明实施例中信息融合的流程图；

图5为本发明实施例中部署多个标志装置的示意图；

图6为本发明实施例提供的位置姿态确定装置的结构示意图；

图7为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

VR环境中，为了向用户提供关于视觉、听觉、触觉等的感受，让用户可以通过VR设备体会到身临其境的感觉，使用户可以观察、感受三维空间的事物，位置姿态的跟踪显得尤为重要。

现有的位置姿态确定方法中，通过放置在VR设备上的相机、摄像头等采集外部环境的图像，如此根据采集到的图像，确定位置姿态。可以看出，在现有的位置姿态确定方法中，由于外部环境无法控制，在外部环境受限的情况下，例如，外部环境昏暗区域、无纹理区域，使得位置姿态难以确定，进而出现跟踪失败、跟踪结果不稳定等情况。

为了使得对位置姿态的跟踪不受外部环境的影响，提高位置姿态跟踪过程的稳定性，本发明实施例提供了一种位置姿态确定方法。通过在VR设备外部署标志装置，可以使得在外部环境受限的情况下，例如，外部环境昏暗区域、无纹理区域，对外部环境进行标示，使得通过位于VR设备上的图像采集设备采集图像，进而计算VR设备的位置姿态信息时，使得跟踪的对象明确，即使外部环境受限，也可以准确地确定VR设备的位置姿态信息，进而提高位置姿态跟踪的稳定性，有效地解决环境对位置姿态跟踪造成的不良影响。同时，本发明实施例提供的位置姿态确定方法是由内向外的位置姿态确定方法，也就是将相机、摄像头等放置在VR设备上，如此使得携带方便，便于移动。

本发明实施例提供了一种位置姿态确定方法，如图1所示，包括：

S101，通过位于VR设备上的图像采集设备，采集标志装置的光源图像；标志装置位于VR设备外、且设有多个光源点，并用于标示VR设备外的外部环境。

图像采集设备可以是相机、摄像机等。具体地，光源点可以是IR(infrared，红外线)光源点，可以是被动光源或者主动光源对应的光源点，图像采集设备可以是红外摄像头，使得对外部环境和光照没有特殊要求。

标志装置可以包括标志块或多面体形式的标志板，例如四面椎体或者其他多面体，如图2(a)、图2(b)所示。标志装置可以根据需要灵活摆放，水平、竖直、斜面等姿态皆可。

一种可选的实现方式中，通过位于VR设备上的图像采集设备，采集标志装置的光源图像，包括：通过图像采集设备，从多个角度采集标志板的光源图像。如此能够保证图像采集设备从多个角度均能采集到标志装置的光源图像。

S102，根据多个光源点的地理位置信息和多个光源点成像在光源图像的图像位置信息，通过PNP，确定图像采集设备的第一位置姿态，并将图像采集设备的第一位置姿态确定为VR设备的第一位置姿态信息。

其中，该第一位置姿态信息可以包括旋转角度和平移信息等。PNP是计算机视觉中计算相机姿态的一种经典的算法，通过N点对应的场景对象来决定相机的位置与定位。下面描述中以图像采集设备为相机为例进行详细说明，地理位置信息可以为世界坐标系下的坐标，图像位置信息可以为相机坐标系下的坐标。

具体地，PNP求解位置姿态的原理是从一组2D点(图像平面)的映射中估计物体的3D姿态(世界坐标系)，也可以理解为相机姿态估计问题。而相机姿态估计问题也可以看做是求解相机的外参矩阵[R|t]，其中，R是旋转矩阵，t是位移向量。从世界坐标系到相机坐标系的转换，需要矩阵[R|t]，如果世界坐标系对应坐标为X，相机坐标系对应坐标为X’，那么X'＝[R|t]*X。从相机坐标系到理想屏幕坐标系的变换需要内参数矩阵C(事先标定好相机内参)。那么理想屏幕坐标系L＝C*[R|t]*X。如图3所示，A、B、C是世界坐标系中的光源点，a、b、c是A、B、C分别在光源图像上对应的成像点，根据公式L＝C*[R|t]*X，如果已知A、B、C的世界坐标和a、b、c的图像坐标，则可求解出相机的外参矩阵[R|t]，也即相机的位置姿态。

也可以理解为基于SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)原理，通过对环境的观测确定自身的运动轨迹，同时构建出环境的地图。通过从光源图像中提取出特征观测值(特征点)；然后利用这些特征观测值来计算位置姿态和三维场景的结构信息，从而确定VR设备的第一位置姿态信息。

本发明实施例提供的位置姿态确定方法，通过在VR设备外部署标志装置，可以使得在外部环境受限的情况下，例如，外部环境昏暗区域、无纹理区域，对外部环境进行标示，使得通过位于VR设备上的图像采集设备采集图像计算VR设备的位置姿态信息时，跟踪对象明确，即使外部环境受限，也可以准确地确定VR设备的位置姿态信息，提高位置姿态跟踪的稳定性。

为了进一步提高位置姿态跟踪的平滑性等，本发明实施例一种可选的实施例中，可以在通过采集光源图像确定位置姿态的过程中，结合IMU(Inertial measurement unit，惯性测量单元)传感器。具体地，可以包括：

通过位于VR设备上的IMU传感器，确定VR设备的姿态角度信息。

IMU传感器，通过内置的陀螺仪和加速度计可以测量角速度和加速度，进而解算物体的姿态。

通过融合算法，将姿态角度信息和第一位置姿态信息进行信息融合，确定VR设备的第二位置姿态信息，融合算法包括基于滤波的算法、基于优化的算法、基于松耦合的算法、或基于紧耦合的算法。

例如，EKF(Extended Kalman Filter，扩展卡尔曼滤波器)、OKVIS(OpenKeyframe-based Visual Inertial SLAM，或使用非线性优化基于关键帧的视觉惯性SLAM技术)等。

视觉传感器，例如，本发明实施例中的图像采集设备，与IMU存在很大的互补性，所以将通过图像采集设备得到的第一位置姿态信息，和通过IMU传感器得到的姿态角度信息进行融合。将所姿态角度信息和第一位置姿态信息进行信息融合的具体过程如图4所示。

通过位于VR设备上的图像采集设备，采集标志装置的光源图像；根据多个光源点的地理位置信息和多个光源点成像在光源图像的图像位置信息，通过PNP算法，确定图像采集设备的第一位置姿态，并将图像采集设备的第一位置姿态确定为VR设备的第一位置姿态信息；通过IMU传感器内置的陀螺仪和加速度计得到IMU数据，可以包括角速度和加速度等，进而根据该IMU数据确定姿态角度信息；然后通过融合算法实现信息融合，将该第一位置姿态信息和该姿态角度信息进行融合，最终确定VR设备的位置姿态信息。

第一位置姿态信息可以为六方向自由度6DOF的位置姿态信息，姿态角度信息可以为三方向自由度3DOF的姿态角度信息。其中，自由度指的就是物体在空间的基本运动方式，总共有6种。任何运动都可以拆分成这6种基本运动方式。这6种基本运动方式又可以分为两类：位移和旋转。位移包括前后、左右、上下三种，旋转包括：前后翻转(ROLL)、左右摇摆(PITCH)以及水平转动(YAW)。

IMU传感器的采样率高于图像采集设备如摄像机的采样率，通过IMU传感器得到的数据可以在两帧采样图像之间进行预测与插值，从而解决图像采集设备采样率低而导致的跟踪不平滑和不稳定的问题。

本发明一种可选的实施例中，为了扩大跟踪范围或者提高跟踪的稳定性，可以在VR设备的外部环境中部署至少两个标志装置，如图5所示，在VR设备外部环境中部署3个标志板，标志板1、标志板2、标志板3。

通过位于VR设备上的图像采集设备，采集标志装置的光源图像，包括：

采集至少两个标志装置的光源图像；

根据多个光源点的地理位置信息和多个光源点成像在光源图像的图像位置信息，通过PNP算法，确定图像采集设备的第一位置姿态，包括：

针对至少两个标志装置中的每个标志装置，根据该标志装置的多个光源点的地理位置信息和多个光源点成像在光源图像的图像位置信息，通过PNP算法，确定图像采集设备的第一位置姿态。

如此实现对图像采集设备位置姿态的跟踪。

单个设有光源的标志装置的标示范围是有限的，当VR设备运动的范围超出该单个设有光源的标志装置标示的范围时，图像采集设备采集图像对应的外部环境没有被设有光源的标志装置标识，而该外部环境受限，例如，该外部环境为昏暗区域、无纹理区域等，如此会导致图像采集设备采集到的光源图像受到严重影响甚至使得无法采集到光源图像，进而使得无法准确地确定位置姿态、实现对位置姿态的准确跟踪，使得对位置姿态的跟踪不稳定。

通过在VR设备的外部环境中部署多个设有光源的标志装置，可以扩大跟踪范围、提高跟踪的稳定性。在单个标志装置的基础上，通过连续的跟踪和姿态传导，将位置姿态由基于前一个标志装置而传导到基于标志装置上。

不难理解的是，图像采集设备采集到的光源图像的质量，影响后续对光源图像的分析，确定位置姿态的结果。为了进一步提高采集到的光源图像的质量，本发明实施例一种可选的实施例中，图像采集设备包括双目摄像机。

通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像，包括：

通过位于VR设备上的双目摄像机，采集左视点对应的左视点光源图像和右视点对应的右视点光源图像。

在通过位于VR设备上的图像采集设备，采集标志装置的光源图像之后，还包括：

对左视点光源图像和右视点光源图像进行双目立体匹配算法，得到多个光源点成像在光源图像的深度位置信息，深度位置信息为包括深度信息的位置信息。

根据多个光源点的地理位置信息和多个光源点成像在光源图像的图像位置信息，通过PNP算法，确定图像采集设备的第一位置姿态，包括：

根据多个光源点的地理位置信息和多个光源点成像在光源图像的深度位置信息，通过PNP算法，确定图像采集设备的第一位置姿态。

通过双目摄像机可以得到左视点对应的左视点光源图像和右视点对应的右视点光源图像，如此可以通过双目立体匹配算法，得到左视点光源图像和右视点光源图像对应的深度信息，也即多个光源点成像在光源图像的深度位置信息，深度位置信息为包括深度信息的位置信息，如此使得确定的位置姿态更加准确，提高位置姿态跟踪的鲁棒性。此外，通过双目摄像机，可以扩展可视范围，也就是说，对于一块标志板，VR设备活动的范围可以增加，只要双目摄像机中左右摄像头其中一个可以捕获标志板的图像即可。当然，图像采集设备也可以是单目摄像机。

另外，本发明实施例提供的位置姿态确定方法可以应用在VR一体机上，为VR一体机提供稳定的由内向外的位置姿态跟踪功能，能够提高VR一体机产品的可用性和创新性，使得VR一体机在市场竞争中处于有利位置。

本发明实施例还提供了一种位置姿态确定装置，如图6所示，包括：

采集模块601，用于通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像；标志装置位于VR设备外、且设有多个光源点，并用于标示VR设备外的外部环境；

第一确定模块602，用于根据多个光源点的地理位置信息和多个光源点成像在光源图像的图像位置信息，通过透视投影PNP算法，确定图像采集设备的第一位置姿态，并将图像采集设备的第一位置姿态确定为VR设备的第一位置姿态信息。

本发明实施例提供的位置姿态确定装置，通过在VR设备外部署标志装置，可以使得在外部环境受限的情况下，例如，外部环境昏暗区域、无纹理区域，对外部环境进行标示，使得通过位于VR设备上的图像采集设备采集图像计算VR设备的位置姿态信息时，即使外部环境受限，也可以准确地确定VR设备的位置姿态信息，提高位置姿态跟踪的稳定性。

可选的，该装置还包括：

第二确定模块，用于通过位于VR设备上的惯性测量单元IMU传感器，确定VR设备的姿态角度信息；

融合模块，用于通过融合算法，将姿态角度信息和第一位置姿态信息进行信息融合，确定VR设备的第二位置姿态信息，融合算法包括基于滤波的算法、基于优化的算法、基于松耦合的算法、或基于紧耦合的算法。

可选的，标志装置的个数至少为两个；

采集模块601，具体用于采集至少两个标志装置的光源图像；

第一确定模块602，具体用于针对至少两个标志装置中的每个标志装置，根据该标志装置的多个光源点的地理位置信息和多个光源点成像在光源图像的图像位置信息，通过PNP算法，确定图像采集设备的第一位置姿态。

可选的，图像采集设备包括双目摄像机；

采集模块601，具体用于通过位于VR设备上的双目摄像机，采集左视点对应的左视点光源图像和右视点对应的右视点光源图像；

该装置还包括：立体匹配模块；立体匹配模块，用于对左视点光源图像和右视点光源图像进行双目立体匹配算法，得到多个光源点成像在光源图像的深度位置信息，深度位置信息为包括深度信息的位置信息；

第一确定模块602，具体用于根据多个光源点的地理位置信息和多个光源点成像在光源图像的深度位置信息，通过PNP算法，确定图像采集设备的第一位置姿态。

可选的，标志装置包括多面体形式的标志板；

采集模块601，具体用于通过图像采集设备，从多个角度采集标志板的光源图像。

可选的，第一位置姿态信息为六方向自由度6DOF的位置姿态信息，姿态角度信息为三方向自由度3DOF的姿态角度信息。

需要说明的是，本发明实施例的位置姿态确定装置是应用上述位置姿态确定方法的装置，则上述位置姿态确定方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。

本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，

存储器703，用于存放计算机程序；

处理器701，用于执行存储器703上所存放的程序时，实现如下实施例的位置姿态确定方法的方法步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例提供的电子设备，通过在VR设备外部署标志装置，可以使得在外部环境受限的情况下，例如，外部环境昏暗区域、无纹理区域，对外部环境进行标示，使得通过位于VR设备上的图像采集设备采集图像计算VR设备的位置姿态信息时，即使外部环境受限，也可以准确地确定VR设备的位置姿态信息，提高位置姿态跟踪的稳定性。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的位置姿态确定方法。

本发明实施例提供的计算机可读存储介质，通过在VR设备外部署标志装置，可以使得在外部环境受限的情况下，例如，外部环境昏暗区域、无纹理区域，对外部环境进行标示，使得通过位于VR设备上的图像采集设备采集图像计算VR设备的位置姿态信息时，即使外部环境受限，也可以准确地确定VR设备的位置姿态信息，提高位置姿态跟踪的稳定性。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的位置姿态确定方法。

本发明实施例提供的计算机程序产品，通过在VR设备外部署标志装置，可以使得在外部环境受限的情况下，例如，外部环境昏暗区域、无纹理区域，对外部环境进行标示，使得通过位于VR设备上的图像采集设备采集图像计算VR设备的位置姿态信息时，即使外部环境受限，也可以准确地确定VR设备的位置姿态信息，提高位置姿态跟踪的稳定性。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种位置姿态确定方法，其特征在于，包括：

通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像；所述标志装置位于所述VR设备外、且设有多个光源点，并用于标示所述VR设备外的外部环境；

根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过透视投影PNP算法，确定所述图像采集设备的第一位置姿态，并将所述图像采集设备的第一位置姿态确定为所述VR设备的第一位置姿态信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过位于所述VR设备上的惯性测量单元IMU传感器，确定所述VR设备的姿态角度信息；

通过融合算法，将所述姿态角度信息和所述第一位置姿态信息进行信息融合，确定所述VR设备的第二位置姿态信息，所述融合算法包括基于滤波的算法、基于优化的算法、基于松耦合的算法、或基于紧耦合的算法。

3.根据权利要求1所述的方法，其特征在于，所述标志装置的个数至少为两个；

所述通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像，包括：

采集至少两个所述标志装置的光源图像；

所述根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过透视投影PNP算法，确定所述图像采集设备的第一位置姿态，包括：

针对至少两个所述标志装置中的每个标志装置，根据该标志装置的所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过PNP算法，确定所述图像采集设备的第一位置姿态。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述图像采集设备包括双目摄像机；

所述通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像，包括：

通过位于所述VR设备上的所述双目摄像机，采集左视点对应的左视点光源图像和右视点对应的右视点光源图像；

在所述通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像之后，还包括：

对所述左视点光源图像和所述右视点光源图像进行双目立体匹配算法，得到所述多个光源点成像在所述光源图像的深度位置信息，所述深度位置信息为包括深度信息的位置信息；

所述根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过透视投影PNP算法，确定所述图像采集设备的第一位置姿态，包括：

根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的所述深度位置信息，通过PNP算法，确定所述图像采集设备的第一位置姿态。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述标志装置包括多面体形式的标志板；

所述通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像，包括：

通过所述图像采集设备，从多个角度采集所述标志板的光源图像。

6.根据权利要求2所述的方法，其特征在于，所述第一位置姿态信息为六方向自由度6DOF的位置姿态信息，所述姿态角度信息为三方向自由度3DOF的姿态角度信息。

7.一种位置姿态确定装置，其特征在于，包括：

采集模块，用于通过位于虚拟现实VR设备上的图像采集设备，采集标志装置的光源图像；所述标志装置位于所述VR设备外、且设有多个光源点，并用于标示所述VR设备外的外部环境；

第一确定模块，用于根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过透视投影PNP算法，确定所述图像采集设备的第一位置姿态，并将所述图像采集设备的第一位置姿态确定为所述VR设备的第一位置姿态信息。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二确定模块，用于通过位于所述VR设备上的惯性测量单元IMU传感器，确定所述VR设备的姿态角度信息；

融合模块，用于通过融合算法，将所述姿态角度信息和所述第一位置姿态信息进行信息融合，确定所述VR设备的第二位置姿态信息，所述融合算法包括基于滤波的算法、基于优化的算法、基于松耦合的算法、或基于紧耦合的算法。

9.根据权利要求7所述的装置，其特征在于，所述标志装置的个数至少为两个；

所述采集模块，具体用于采集至少两个所述标志装置的光源图像；

所述第一确定模块，具体用于针对至少两个所述标志装置中的每个标志装置，根据该标志装置的所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的图像位置信息，通过PNP算法，确定所述图像采集设备的第一位置姿态。

10.根据权利要求7至9任一项所述的装置，其特征在于，所述图像采集设备包括双目摄像机；

所述采集模块，具体用于通过位于所述VR设备上的所述双目摄像机，采集左视点对应的左视点光源图像和右视点对应的右视点光源图像；

所述装置还包括：立体匹配模块；所述立体匹配模块，用于对所述左视点光源图像和所述右视点光源图像进行双目立体匹配算法，得到所述多个光源点成像在所述光源图像的深度位置信息，所述深度位置信息为包括深度信息的位置信息；

所述第一确定模块，具体用于根据所述多个光源点的地理位置信息和所述多个光源点成像在所述光源图像的所述深度位置信息，通过PNP算法，确定所述图像采集设备的第一位置姿态。

11.根据权利要求7至9任一项所述的装置，其特征在于，所述标志装置包括多面体形式的标志板；

所述采集模块，具体用于通过所述图像采集设备，从多个角度采集所述标志板的光源图像。

12.根据权利要求8所述的装置，其特征在于，所述第一位置姿态信息为六方向自由度6DOF的位置姿态信息，所述姿态角度信息为三方向自由度3DOF的姿态角度信息。

13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。