CN106774844A - 一种用于虚拟定位的方法及设备 - Google Patents

Abstract

本申请的目的是提供一种用于虚拟定位的方法及设备，本申请所述设备包括：头盔、惯性采集单元、双目摄像头、点光源、运算单元，其中，所述惯性采集单元固连在所述头盔上，用于用户的头部姿态追踪，所述双目摄像头固连在所述头盔上，用于图像采集、识别，所述点光源设置于所述头盔所在的设定环境中，所述运算单元用于处理所述双目摄像头所采集的数据及所述惯性采集单元采集的数据。实现了惯性采集单元与双目摄像头均可佩带于用户身上，一体化的系统佩带方式可以让用户自由移动，具有较高的虚拟现实沉浸感，且高速率的惯性采集单元可以提高动态头部运动跟踪，并与通过双目摄像头所采集的运动数据进行融合运算，得到更为精确的运动数据。

Description

一种用于虚拟定位的方法及设备

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种用于虚拟定位的方法及设备。

背景技术

虚拟现实(virtual Reality，VR)技术是一个综合了计算机图形学、多媒体技术、计算机仿真技术、图象处理、模式识别、传感探测技术学科领域,其应用已经涵盖了、模拟训练、远程医疗、教育培训、科学研究、娱乐等等各类领域。虚拟现实具有浸没感(Immersion)、交互性(Interactivity)、构想性(Imagination)特征。在虚拟现实环境中，需要对游戏玩家进行实时定位，以适应其通过虚拟眼镜、虚拟头盔等看到的景象，或防止游戏玩家碰到其他玩家或物体。目前有多种技术可以实现对多目标进行实时定位追踪，如普通摄像机、全球定位系统(GPS)、惯性导航等。普通摄像机可以直观观测视野内目标的运动，但在复杂检测环境中不容易区分出所关心的对象；全球定位系统(GPS)可以在开放环境中对目标进行精准定位追踪，但在电磁波传播受限的特殊密闭空间如矿井、信号差的大楼，GPS失效；惯性导航适用于开放环境或密闭空间中目标的定位追踪(如钻井)，可以弥补GPS定位的不足，但惯性导航技术尚不成熟。

在现有技术中，例如，通过在室内布置多点摄像机，红外摄像机固定于室内各个方位，用于识别人体并捕捉跟踪人体的运动，并通过终端计算设备，将人体的位置移动投射与虚拟现实中，最后在VR头盔上现实，以达到高沉浸感的虚拟现实体验。但该方法需要大量的摄像机，且由于其直接捕捉人体运动，需要高运算能力的终端设备，并且摄像机之间需要组网交互数据，成本较大，应用场景较为单一，普通消费者难以购买并实现。再例如，还可通过lighthouse的技术，可以为虚拟现实设备提供5x5米的空间范围追踪能力。游戏中避免了人主动移动而产生的被动式眩晕问题。但该技术依赖多组摄像机对光源的捕捉，光源本身耗电，对设备持续使用会造成问题，并且运动范围受限于摄像机的拍摄焦距，距离摄像机越远会导致跟踪精度的降低。

申请内容

本申请的一个目的是提供一种用于虚拟定位的方法及设备，解决现有技术中需要高运算能力的终端设备、成本较大、应用场景较为单一、跟踪精确度低的问题。

根据本申请的一个方面，提供了一种用于虚拟定位的设备，所述设备包括：头盔、惯性采集单元、双目摄像头、点光源、运算单元，其中，所述惯性采集单元固连在所述头盔上，用于用户的头部姿态追踪，所述双目摄像头固连在所述头盔上，用于图像采集、识别，所述点光源设置于所述头盔所在的设定环境中，所述运算单元用于处理所述双目摄像头所采集的数据及所述惯性采集单元采集的数据。

进一步地，上述设备中，所述双目摄像头用于捕捉所述设定环境内的点光源，获取所述点光源所在的待采集图像。

进一步地，所述运算单元用于根据所述点光源及所述待采集图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。

进一步地，上述设备中，所述双目摄像头用于获取用户的双目摄像头坐标运动数据。

进一步地，上述设备中，所述惯性采集单元用于采集佩戴所述头盔的用户的姿态数据，得到用户的惯导坐标系运动数据。

更进一步地，所述惯导坐标系运动数据包括：用户的姿态数据、三轴速度和三轴位置数据。

进一步地，所述运算单元用于将所述双目摄像头坐标运动数据及所述惯导坐标系运动数据进行包括融合、换算的数据处理。

进一步地，所述运算单元用于将经过融合、换算的数据处理后的数据映射到虚拟设定环境中。

根据本申请的另一个方面，还提供了一种用于虚拟定位的方法，所述方法包括：

根据设定环境内的多个点光源及所述点光源所在的待采集图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置；

通过所述双目摄像头获取用户的双目摄像头坐标运动数据，并通过惯性导航算法获取用户的惯导坐标系运动数据；

将所述双目摄像头坐标运动数据与所述惯导坐标系运动数据进行融合运算，得到融合运动数据；

基于所述相对空间位置将所述融合运动数据换算成世界坐标系运动数据，并映射到虚拟现实环境中。

进一步地，上述方法中，根据设定环境内的多个点光源及所述点光源所在的待采集图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置，包括：

根据对设定环境内的多个点光源的标定确定所述点光源在所述设定环境中的位置数据；

根据点光源标记捕捉所述点光源，将所述点光源所在的原始图像作为待采样图像；

基于所述点光源在所述设定环境中的位置数据及所述待采样图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。

进一步地，基于所述点光源在所述设定环境中的位置数据及所述待采样图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置，包括：

根据所述待采样图像确定所述点光源在所述待采样图像中的位移数据；

基于所述点光源在所述设定环境中的位置数据及所述位移数据，确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。

进一步地，基于所述点光源在所述设定环境中的位置数据及所述位移数据，确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置，包括：

根据所述点光源在所述设定环境中的位置数据及所述位移数据确定所述点光源的相对空间位置；

根据立体视觉算法及所述点光源的相对空间位置确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。

进一步地，确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置之后，包括：

根据所述相对空间位置确定关联转换矩阵。

进一步地，所述惯导坐标系运动数据包括：用户的姿态数据、三轴速度和三轴位置数据。

进一步地，基于所述相对空间位置将所述融合运动数据换算成世界坐标系运动数据，并映射到虚拟现实环境中，包括：

根据所述相对空间位置确定的关联转换矩阵将所述融合运动数据换算成世界坐标系运动数据，并将所述世界坐标系运动数据映射到虚拟现实环境中。

与现有技术相比，本申请通过所述设备包括：头盔、惯性采集单元、双目摄像头、点光源、运算单元，其中，所述惯性采集单元固连在所述头盔上，用于用户的头部姿态追踪，所述双目摄像头固连在所述头盔上，用于图像采集、识别，所述点光源设置于所述头盔所在的设定环境中，所述运算单元用于处理所述双目摄像头所采集的数据及所述惯性采集单元采集的数据。实现了惯性采集单元与双目摄像头均可佩带于用户身上，一体化的系统佩带方式可以让用户自由移动，具有较高的虚拟现实沉浸感，且高速率的惯性采集单元可以提高动态头部运动跟踪，并与通过双目摄像头所采集的运动数据进行融合运算，得到更为精确的运动数据。

进一步地，本申请还提供了一种用于虚拟定位的方法，通过根据设定环境内的多个点光源及所述点光源所在的待采集图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置；通过所述双目摄像头获取用户的双目摄像头坐标运动数据，并通过惯性导航算法获取用户的惯导坐标系运动数据；将所述双目摄像头坐标运动数据与所述惯导坐标系运动数据进行融合运算，得到融合运动数据；基于所述相对空间位置将所述融合运动数据换算成世界坐标系运动数据，并映射到虚拟现实环境中。进而保证了高采样率，动态性好的特点的同时保证了所获取的数据为精确度高的数据，将所述双目摄像头坐标运动数据与所述惯导坐标系运动数据进行融合运算，得到较为稳定且数据帧率很高的姿态数据以及位置信息，可以作为真实的人体运动信息，应用在虚拟现实中的投射，使用户在运动时得到反馈，增强用户的沉浸感。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请的一个方面的一种用于虚拟定位的设备；

图2示出根据本申请的另一个方面的一种用于虚拟定位的方法；

图3示出本申请的一实施例中用于虚拟定位的实施方法示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为更进一步阐述本申请所采取的技术手段及取得的效果，下面结合附图及较佳实施例，对本申请的技术方案，进行清楚和完整的描述。

图1示出根据本申请的一个方面的一种用于虚拟定位的设备，所述设备包括：头盔1、惯性采集单元11、双目摄像头12、点光源2、运算单元3，其中，所述惯性采集单元11固连在所述头盔1上，用于用户的头部姿态追踪，所述双目摄像头12固连在所述头盔上，用于图像采集、识别，所述点光源2设置于所述头盔1所在的设定环境中，所述运算单元3用于处理所述双目摄像头12所采集的数据及所述惯性采集单元11采集的数据。在此，头盔1为用户佩带的现实设备，根据VR(Virtual Reality，VR)技术能够对佩带用户进行定位追踪，惯性采集单元11(IMU)为惯性检测元件，固连在头盔1上，跟随佩带用户的头部一起运动，获取整个头盔1的姿态数据，并通过惯性导航算法为设备提供额外的速度位置参考；优选地，所述点光源为多个具有固定形状及特定颜色的点光源标记，在此，点光源是一种固定亮度的光源，由于器件原因，一般为球形，故称为点光源，其可作为视觉识别系统的标记点，以一定方位固定在设定环境中，其中，所述设定环境比如为室内实验环境；所述双目摄像头负责捕捉带有光源标记的原始图像，从而在运算单元3中对带有光源标记的原始图像进行处理，并将由双目摄像头12确定的运动数据与由惯性采集单元12确定的数据在同一坐标系中进行融合运算，得到较为稳定且数据帧率很高的姿态数据以及位置信息，以作为真实的人体运动信息，应用在虚拟现实中的投射，使用户在运动时得到反馈，增强用户的沉浸感。

优选地，所述双目摄像头12用于捕捉所述设定环境内的点光源2，获取所述点光源2所在的待采集图像。在此，设定环境为经过双目摄像头12与点光源2标记联合校准后的现实环境，多个点光源标记透过双目摄像头12透视投影到摄像头的图像传感器中，确定点光源所在的原始图像，通过对所确定的原始图像的畸变矫正处理得到待采集图像，保证光源标记在待采集图像中的位置准确性，以及从待采集图像中获取的数据没有初始的偏差，进而提高了后续进行虚拟定位的准确性。

优选地，所述运算单元3用于根据所述点光源2及所述待采集图像确定所述点光源与捕捉所述点光源的双目摄像头12的相对空间位置。在此，点光源2在设定环境内的位置提前被标定，双目摄像头12捕捉到点光源之后，在运算单元3中计算双目摄像头12与所捕捉到的点光源2的相对空间位置，因为点光源是固连在设定环境中，通过之前标定得到的记录数据分辨点光源位置，通过立体视觉算法进行测距，其中，测距是指根据立体视觉算法中透视原理进行的，因只有光识别点光源的对应位置数据是不够的，需要测定相对距离，通过确定点光源的相对位置来定位双目摄像头12的相对空间位置，即通过空间定位的方式来定位双目摄像头12本身的位置，得到双目摄像头12与点光源之间的相对空间位置。

优选地，所述双目摄像头用于获取用户的双目摄像头坐标运动数据。在此，双目摄像头12捕捉用户的运动数据，此时获取到的用户的运动数据是以双目摄像头12为参照的，因此为双目摄像头坐标下的运动数据，其中，双目摄像头坐标运动数据包括通过双目摄像头确定的运动位置数据、运动速度等。根据双目摄像头12与点光源之间的相对空间位置确定双目摄像头坐标系与真实环境的世界坐标系产生的关联转换矩阵，其中，关联转换矩阵为：双目摄像头坐标系(A坐标系)相对与世界坐标系(B坐标系)的空间相对关系，包含了三维旋转移群，科学定义为SE(3)，由三维矩阵：

三维位移矩阵：

T＝[X_M Y_M Z_M]^T

最后可得关联转换矩阵C

优选地，所述惯性采集单元11用于采集佩戴所述头盔1的用户的姿态数据，得到用户的惯导坐标系运动数据。在此，惯性采集单元11中的惯性传感器通过惯性导航算法获取人体的运动信息(用户的运动数据)，其所在惯导坐标系：S系，S系(X_SY_SZ_S)固连在头盔1上，坐标系原点为设备质心O，OX_S和OY_S轴在当前设定环境的水平面内，OX_S轴指向载体的右侧，OY_S轴沿载体纵轴方向并指向前，OZ_S垂直于载体竖直向上。OX_SY_SZ_S坐标系构成右手直角坐标系。在本申请的一优选实施例中，所述惯导坐标系运动数据包括：用户的姿态数据、三轴速度和三轴位置数据。其中，所述用户的姿态数据包括：俯仰数据、偏航数据和滚转数据，确定用户运动时的头盔的空间方向需要用三个角度：俯仰角(pitch)、偏航(yaw)和滚转(roll)，得到的这三个角度的数据均为惯导坐标系OX_SY_SZ_S下的数据，通过该三个角度追踪用户所佩戴头盔的整个姿态；通过惯性导航算法确定三轴速度和三轴位置数据，其中，三轴速度为用户在OX_S、OY_S和OZ_S轴上的运动速度，三轴位置数据为用户运动时在OX_S、OY_S和OZ_S轴上的坐标。通过惯性采集单元11高效率、动态地获取到用户运动信息，更全面地反馈用户的运动信息，增强用户的沉浸感。

优选地，所述运算单元3用于将所述双目摄像头坐标运动数据及所述惯导坐标系运动数据进行包括融合、换算的数据处理。在一实施例中，通过双目摄像头12获取到用户在摄像头坐标系下的运动数据，通过惯性采集单元11获取到惯导坐标下的用户数据，因此需要将摄像头坐标运动数据与惯导坐标运动数据进行融合运算，并重新换算转换成真实环境中的世界坐标系下的数据，在此，换算的方式是通过关联矩阵进行的，经过将上述两种坐标系下的运动数据进行处理后得到用户的真实环境中的世界坐标系运动数据；接着，所述运算单元13用于将经过融合、换算的数据处理后的数据映射到虚拟设定环境中，将VR头盔在真实世界的运动状态，包括姿态数据和位置数据映射到终端设备上的虚拟现实环境中，实现了将现实世界的运动位置信息通过多个模块的数据处理，最后把用户的运动数据映射到虚拟世界当中，并跟真实世界的坐标完全重合，增强用户的沉浸感，解决了虚拟现实玩家(用户)在现实世界的运动跟踪及定位问题。

通过本申请所述的用于虚拟定位的设备，将双目摄像头12和惯性采集单元11固连在头盔1上，实现了一体化，对佩带者的定位追踪不需要依赖外部终端电脑以及数台数码摄像机采集人体图像来完成，外部设备仅为造价极低的点光源，性价比较高。注重运动捕捉及位置捕捉，同时注重精度以及动态性，将用户可能出现的眩晕可能性降低到最低，而一体化的系统佩带方式可以让用户自由移动，具有较高的虚拟现实沉浸感。

图2示出根据本申请的另一个方面的一种用于虚拟定位的方法，所述方法包括：步骤S11～步骤S14；其中，在步骤S11中，根据设定环境内的多个点光源及所述点光源所在的待采集图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置；在步骤S12中，通过所述双目摄像头获取用户的双目摄像头坐标运动数据，并通过惯性导航算法获取用户的惯导坐标系运动数据；在步骤S13中，将所述双目摄像头坐标运动数据与所述惯导坐标系运动数据进行融合运算，得到融合运动数据；在步骤S14中，基于所述相对空间位置将所述融合运动数据换算成世界坐标系运动数据，并映射到虚拟现实环境中。通过采用造价极低的点光源，性价比较高。注重运动捕捉及位置捕捉，同时注重精度以及动态性，将用户可能出现的眩晕可能性降低到最低，通过双目摄像头获取的点光源标记，采用图像定位方法确定的数据精度高，同时融合了惯性导航算法所获得的数据，实现获取高采集率、动态性较好的数据的目的。

具体地，步骤S11，根据设定环境内的多个点光源及所述点光源所在的待采集图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置；在此，点光源是一种固定亮度的光源，由于器件原因，一般为球形，故称为点光源，其可作为视觉识别系统的标记点，以一定方位固定在设定环境中，其中，所述设定环境比如为室内实验环境，多个点光源分布在室内实验环境内的各个角落，通过双目摄像头捕捉点光源以确定点光源所在的待采集图像，从待采集图像中获取到点光源的位移信息，并根据之前标定点光源得到的记录信息，通过立体视觉算法进行测距，得到点光源与双目摄像头之间的相对空间位置。

具体地，步骤S12，通过所述双目摄像头获取用户的双目摄像头坐标运动数据，并通过惯性导航算法获取用户的惯导坐标系运动数据；在此，双目摄像头捕捉用户的运动数据，此时获取到的用户的运动数据是以双目摄像头为参照的，因此为双目摄像头坐标下的运动数据，其中，双目摄像头坐标运动数据包括通过双目摄像头确定的运动位置数据、运动速度等。惯性采集单元中的惯性传感器通过惯性导航算法获取人体的运动信息(用户的运动数据)，其所在惯导坐标系：S系，S系(X_SY_SZ_S)固连在头盔上，坐标系原点为设备质心O，OX_S和OY_S轴在当前设定环境的水平面内，OX_S轴指向载体的右侧，OY_S轴沿载体纵轴方向并指向前，OZ_S垂直于载体竖直向上。OX_SY_SZ_S坐标系构成右手直角坐标系。

具体地，步骤S13，将所述双目摄像头坐标运动数据与所述惯导坐标系运动数据进行融合运算，得到融合运动数据；在一实施例中，通过双目摄像头获取到用户在摄像头坐标系下的运动数据，通过惯性采集单元获取到惯导坐标下的用户数据，因此需要将摄像头坐标运动数据与惯导坐标运动数据进行融合运算，并进行步骤S14的坐标系数据的换算。

具体地，步骤S14，基于所述相对空间位置将所述融合运动数据换算成世界坐标系运动数据，并映射到虚拟现实环境中。将所述步骤S13中得到的融合运动数据重新换算转换成真实环境中的世界坐标系下的数据，在此，换算的方式是通过关联矩阵进行的，所述关联矩阵是根据相对空间位置产生的，经过将上述两种坐标系下的运动数据进行处理后得到用户的真实环境中的世界坐标系运动数据。接着，将得到用户的真实环境中的世界坐标系运动数据映射到虚拟设定环境中，即VR头盔在真实世界的运动状态，包括姿态数据和位置数据映射到终端设备上的虚拟现实环境中，实现了将现实世界的运动位置信息通过多个模块的数据处理，最后把用户的运动数据映射到虚拟世界当中，并跟真实世界的坐标完全重合，增强用户的沉浸感，解决了虚拟现实玩家(用户)在现实世界的运动跟踪及定位问题。

在本申请的一实施例中，步骤S11包括：根据对设定环境内的多个点光源的标定确定所述点光源在所述设定环境中的位置数据；根据点光源标记捕捉所述点光源，将所述点光源所在的原始图像作为待采样图像；基于所述点光源在所述设定环境中的位置数据及所述待采样图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。在此，设定环境为经过双目摄像头与点光源标记联合校准后的现实环境，多个点光源标记透过双目摄像头透视投影到摄像头的图像传感器中，确定点光源所在的原始图像，通过对所确定的原始图像的畸变矫正处理得到待采集图像，保证光源标记在待采集图像中的位置准确性，以及从待采集图像中获取的数据没有初始的偏差，进而提高了后续进行虚拟定位的准确性。点光源在设定环境内的位置提前被标定，双目摄像头捕捉到点光源之后，计算双目摄像头与所捕捉到的点光源的相对空间位置，因为点光源是固连在设定环境中，通过之前标定得到的记录数据分辨点光源位置，通过立体视觉算法进行测距，其中，测距是指根据立体视觉算法中透视原理进行的，因只有光识别点光源的对应位置数据是不够的，需要测定相对距离，通过确定点光源的相对位置来定位双目摄像头的相对空间位置，即通过空间定位的方式来定位双目摄像头本身的位置，得到双目摄像头与点光源之间的相对空间位置。

继续接上述实施例，在步骤S11中，基于所述点光源在所述设定环境中的位置数据及所述待采样图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置，包括：根据所述待采样图像确定所述点光源在所述待采样图像中的位移数据；基于所述点光源在所述设定环境中的位置数据及所述位移数据，确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。在此，优选地，在步骤S11中，根据所述点光源在所述设定环境中的位置数据及所述位移数据确定所述点光源的相对空间位置；根据立体视觉算法及所述点光源的相对空间位置确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。根据双目摄像头捕捉点光源标记得到原始图像，从原始图像中获取到点光源的位移数据，并根据之前标定的在设定环境中的位置信息分辨点光源的位置信息，在此，点光源的位置信息为相对位置信息，根据所分辨得到的点光源的相对位置信息采用立体视觉算法获取到双目摄像头与点光源之间的相对空间位置。

优选地，确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置之后，包括：根据所述相对空间位置确定关联转换矩阵。在此，根据双目摄像头与点光源之间的相对空间位置确定双目摄像头坐标系与真实环境的世界坐标系产生的关联转换矩阵，其中，关联转换矩阵为：双目摄像头坐标系(A坐标系)相对与世界坐标系(B坐标系)的空间相对关系，包含了三维旋转移群，科学定义为SE(3)，由三维矩阵：

三维位移矩阵：

T＝[X_M Y_M Z_M]^T

最后可得关联转换矩阵C

优选地，所述惯导坐标系运动数据包括：用户的姿态数据、三轴速度和三轴位置数据。在本申请的一优选实施例中，所述用户的姿态数据包括：俯仰数据、偏航数据和滚转数据，确定用户运动时的头盔的空间方向需要用三个角度：俯仰角(pitch)、偏航(yaw)和滚转(roll)，得到的这三个角度的数据均为惯导坐标系OX_SY_SZ_S下的数据，通过该三个角度追踪用户所佩戴头盔的整个姿态；通过惯性导航算法确定三轴速度和三轴位置数据，其中，三轴速度为用户在OX_S、OY_S和OZ_S轴上的运动速度，三轴位置数据为用户运动时在OX_S、OY_S和OZ_S轴上的坐标。通过惯性采集单元高效率、动态地获取到用户运动信息，更全面地反馈用户的运动信息，增强用户的沉浸感。

优选地，在步骤S14中，根据所述相对空间位置确定的关联转换矩阵将所述融合运动数据换算成世界坐标系运动数据，并将所述世界坐标系运动数据映射到虚拟现实环境中。在本申请一实施例中，将经过融合、换算的数据处理后的数据映射到虚拟设定环境中，将VR头盔在真实世界的运动状态，包括姿态数据和位置数据映射到终端设备上的虚拟现实环境中，实现了将现实世界的运动位置信息通过多个模块的数据处理，最后把用户的运动数据映射到虚拟世界当中，并跟真实世界的坐标完全重合，增强用户的沉浸感，解决了虚拟现实玩家(用户)在现实世界的运动跟踪及定位问题。

图3示出本申请的一实施例中用于虚拟定位的实施方法示意图，首先在步骤1中，选择经过双目摄像机与点光源标记联合校准后的房屋，多个点光源标记透过镜头透视投影到摄像头的图像传感器中，通过畸变矫正，得到摄像头坐标系运动数据；接着在步骤2中，惯性传感器通过惯性导航算法获取人体的运动信息，得到惯导坐标系运动数据；随后，在步骤3中，将摄像头坐标系与惯导坐标系上的人体运动数据进行融合运算，并重新换算至真实环境中的世界坐标系，换算的方式是通过关联矩阵，其中，关联矩阵是根据点光源与摄像头的相对空间位置确定的，最后将VR头盔在真实世界的运动状态如姿态数据以及位置数据，映射到终端设备上的虚拟现实环境中。实现了将现实世界的位置信息通过多个步骤的数据处理，把人体的运动数据映射到虚拟世界中，并跟真实世界的坐标完全重合，由于双目摄像头以及IMU均固连在头盔上，获取的均为头部的运动数据，均在同一个坐标系下，通过将两者数据进行融合得到较为稳定且数据帧率很高的姿态数据以及位置信息，可以作为真实的人体运动信息，应用在虚拟现实中的投射，使佩带头盔的用户在运动时得到反馈，增强用户的沉浸感。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (15)

1.一种用于虚拟定位的设备，其特征在于，所述设备包括：

头盔、惯性采集单元、双目摄像头、点光源、运算单元，其中，所述惯性采集单元固连在所述头盔上，用于用户的头部姿态追踪，所述双目摄像头固连在所述头盔上，用于图像采集、识别，所述点光源设置于所述头盔所在的设定环境中，所述运算单元用于处理所述双目摄像头所采集的数据及所述惯性采集单元采集的数据。

2.根据权利要求1所述的设备，其特征在于，所述双目摄像头用于捕捉所述设定环境内的点光源，获取所述点光源所在的待采集图像。

3.根据权利要求2所述的设备，其特征在于，所述运算单元用于根据所述点光源及所述待采集图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。

4.根据权利要求1所述的设备，其特征在于，所述双目摄像头用于获取用户的双目摄像头坐标运动数据。

5.根据权利要求1所述的设备，其特征在于，所述惯性采集单元用于采集佩戴所述头盔的用户的姿态数据，得到用户的惯导坐标系运动数据。

6.根据权利要求5所述的设备，其特征在于，所述惯导坐标系运动数据包括：用户的姿态数据、三轴速度和三轴位置数据。

7.根据权利要求1至6中任一项所述的设备，其特征在于，所述运算单元用于将所述双目摄像头坐标运动数据及所述惯导坐标系运动数据进行包括融合、换算的数据处理。

8.根据权利要求7所述的设备，其特征在于，所述运算单元用于将经过融合、换算的数据处理后的数据映射到虚拟设定环境中。

9.一种用于虚拟定位的方法，其中，所述方法包括：

根据设定环境内的多个点光源及所述点光源所在的待采集图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置；

通过所述双目摄像头获取用户的双目摄像头坐标运动数据，并通过惯性导航算法获取用户的惯导坐标系运动数据；

将所述双目摄像头坐标运动数据与所述惯导坐标系运动数据进行融合运算，得到融合运动数据；

基于所述相对空间位置将所述融合运动数据换算成世界坐标系运动数据，并映射到虚拟现实环境中。

10.根据权利要求9所述的方法，其中，根据设定环境内的多个点光源及所述点光源所在的待采集图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置，包括：

根据对设定环境内的多个点光源的标定确定所述点光源在所述设定环境中的位置数据；

根据点光源标记捕捉所述点光源，将所述点光源所在的原始图像作为待采样图像；

基于所述点光源在所述设定环境中的位置数据及所述待采样图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。

11.根据权利要求10所述的方法，其中，基于所述点光源在所述设定环境中的位置数据及所述待采样图像确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置，包括：

根据所述待采样图像确定所述点光源在所述待采样图像中的位移数据；

基于所述点光源在所述设定环境中的位置数据及所述位移数据，确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。

12.根据权利要求11中所述的方法，其中，基于所述点光源在所述设定环境中的位置数据及所述位移数据，确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置，包括：

根据所述点光源在所述设定环境中的位置数据及所述位移数据确定所述点光源的相对空间位置；

根据立体视觉算法及所述点光源的相对空间位置确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置。

13.根据权利要求9至12中任一项所述的方法，其中，确定所述点光源与捕捉所述点光源的双目摄像头的相对空间位置之后，包括：

根据所述相对空间位置确定关联转换矩阵。

14.根据权利要求9所述的方法，其中，所述惯导坐标系运动数据包括：

用户的姿态数据、三轴速度和三轴位置数据。

15.根据权利要求13所述的方法，其中，基于所述相对空间位置将所述融合运动数据换算成世界坐标系运动数据，并映射到虚拟现实环境中，包括：

根据所述相对空间位置确定的关联转换矩阵将所述融合运动数据换算成世界坐标系运动数据，并将所述世界坐标系运动数据映射到虚拟现实环境中。