CN110262667B - 一种虚拟现实设备及定位方法 - Google Patents

Abstract

本发明公开了一种虚拟现实设备及定位方法，涉及虚拟现实设备领域。其中方法包括：追踪手柄；当确定所述手柄位于摄像头的照射范围之外时，接收超声波的脉冲信号，根据超声波测距原理得到所述手柄的第一定位数据；获取所述手柄的加速度值，根据算法得到所述手柄的第二定位数据；根据所述第一定位数据以及所述第二定位数据，确定所述手柄的定位的位置。

Description

一种虚拟现实设备及定位方法

技术领域

本发明涉及虚拟现实设备领域，尤其涉及一种虚拟现实设备及定位方法。

背景技术

随着社会的发展，人们的生活水平日益提高，现实世界的娱乐项目已不能满足人们日益期待有创新性的、好玩的、有趣的要求，虚拟现实技术(Virtual Reality，VR)应运而生，VR是一种可以创建和体验虚拟世界的计算机仿真系统，具有超强的仿真能力，能够实现人机交互，具有良好的沉浸感，受到越来越多人的认可。

现有技术，为了在虚拟现实技术的场景中提供卓越的沉浸感，一套高精度、低延迟的定位技术是必要的。使用摄像头的内向外(InsideOut)头盔定位技术由于具有不受空间限制的特点，越来越受到用户的欢迎。同时，一套用于交互的手柄是必需的，尤其是具有六自由度的手柄。在InsideOut定位方案中，手柄六自由度的一种实现方案是在手柄上安装一定数量的主动发光的发光二极管(Light Emitting Diode，LED)，利用安装在头盔上的摄像头拍摄手柄上的LED图片，进行手柄六自由度追踪。但由于摄像头拍摄视角有限，手柄经常会运动到摄像头视角以外的区域而无法定位，影响用户交互式体验及沉浸感。

因此，现有技术中利用摄像头进行手柄定位的方法因有摄像头视角的限制导致无法在摄像头视角以外的区域进行手柄定位是一个亟待解决的问题。

发明内容

本申请实施例提供一种虚拟现实设备及定位方法，解决了现有技术中因受摄像头视角限制导致无法在摄像头视角以外的区域进行手柄定位的问题。

本申请实施例提供的一种虚拟现实设备，具体包括：

中央处理模块，摄像头模块，超声波模块，惯性测量模块以及手柄；

所述中央处理模块，用于通过所述摄像头模块追踪所述手柄；

当确定所述手柄位于所述摄像头模块的照射范围之外时，通过所述超声波模块获取所述手柄的第一定位数据，通过所述惯性测量模块获取所述手柄的第二定位数据；

根据所述第一定位数据以及所述第二定位数据，确定所述手柄的定位的位置。

一种可能的实现方式，所述中央处理模块具体用于：

当确定所述手柄位于所述摄像头模块的照射范围之外，且所述手柄位于所述超声波模块的脉冲信号覆盖范围之外时，根据所述第二定位数据，确定所述手柄的定位的位置。

一种可能的实现方式，还包括：

所述超声波模块，用于接收所述脉冲信号，根据超声波测距原理得到所述第一定位数据；

所述惯性测量模块，用于获取所述手柄的加速度值，根据算法从所述加速度值中得到所述手柄的线加速度，通过对所述线加速度进行积分得到所述第二定位数据；

所述中央处理模块，还用于将所述第一定位数据和所述第二定位数据按照加权的方式进行处理，得到所述手柄的第三定位数据，根据所述第三定位数据，确定所述手柄的定位的位置，其中，所述加权的方式是根据所述超声波的物理特性对所述手柄的影响以及惯性测量的测量特性对所述手柄的影响决定的。

一种可能的实现方式，所述中央处理模块具体用于：

所述第一定位数据和所述第二定位数据之间的加权系数为k，得到所述手柄的第三定位数据为第二定位数据+k*(第一定位数据-第二定位数据)，其中，k的取值范围为[0，1]。

一种可能的实现方式，还包括：

当确定所述手柄位于所述摄像头模块的照射范围之内时，通过摄像头模块追踪所述手柄上安装的光学定位器并解算得到所述手柄的第四定位数据，通过所述惯性测量模块获取所述手柄的第二定位数据；

根据所述第四定位数据以及所述第二定位数据，确定所述手柄的定位的位置。

一种可能的实现方式，所述中央处理模块具体用于：

将所述第四定位数据和所述第二定位数据按照加权的方式进行处理，得到所述手柄的第五定位数据，根据所述第五定位数据，确定所述手柄的定位的位置，其中，所述加权的方式是根据所述摄像头的物理特性对所述手柄的影响以及所述惯性测量的测量特性对所述手柄的影响决定的；

所述第四定位数据和所述第二定位数据之间的加权系数为η，得到所述手柄的第五定位数据为第二定位数据+η*(第四定位数据-第二定位数据)，其中，η的取值范围为[0，1]。

本申请实施例提供的一种虚拟现实设备的定位方法，具体包括：

追踪手柄；

当确定所述手柄位于摄像头的照射范围之外时，接收超声波脉冲信号，根据超声波测距原理得到所述手柄的第一定位数据；

获取所述手柄的加速度值，根据算法得到所述手柄的第二定位数据；

根据所述第一定位数据以及所述第二定位数据，确定所述手柄的定位的位置。

一种可能的实现方式，所述当确定所述手柄位于摄像头的照射范围之外时，还包括：

所述手柄位于所述脉冲信号的覆盖范围之外时，根据所述第二定位数据，确定所述手柄的定位的位置。

一种可能的实现方式，所述当确定所述手柄位于摄像头的照射范围之外时，还包括：

接收所述脉冲信号，根据所述超声波测距原理得到所述第一定位数据；获取所述手柄的加速度值，根据算法从所述加速度值中得到所述手柄的线加速度，通过对所述线加速度进行积分得到所述第二定位数据；

将所述第一定位数据和所述第二定位数据按照加权的方式进行处理，得到所述手柄的第三定位数据，根据所述第三定位数据，确定所述手柄的定位的位置，其中，所述加权的方式是根据所述超声波的物理特性对所述手柄的影响以及惯性测量的测量特性对所述手柄的影响决定的。

一种可能的实现方式，所述将所述第一定位数据和所述第二定位数据按照加权的方式进行处理，得到所述手柄的第三定位数据，包括：

所述第一定位数据和所述第二定位数据之间的加权系数为k，得到所述手柄的第三定位数据为第二定位数据+k*(第一定位数据-第二定位数据)，其中，k的取值范围为[0，1]。

利用本发明提供的一种虚拟现实设备及定位方法，具有以下有益效果：在摄像头照射不到的地方使用超声波定位或者惯性测量定位，可以弥补光学定位范围有限的问题，从而扩大手柄的定位范围，提高用户虚拟体验时的沉浸感。

附图说明

图1为本申请实施例中一种虚拟现实设备及定位方法的系统示意图；

图2为本申请实施例中一种虚拟现实设备及定位方法的流程图；

图3为本申请实施例中一种虚拟现实设备及定位方法的实施例示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互结合。

图1为本申请实施例中一种虚拟现实设备及定位方法的系统示意图，如图所示，架构包括：中央处理模块101、摄像头模块102、超声波模块103、惯性测量模块104和手柄105。

其中，中央处理模块101，与摄像头模块102、超声波模块103、惯性测量模块104以及手柄105连接，用于当确定手柄105位于摄像头模块102的照射范围之外时，通过超声波模块103获取手柄105的第一定位数据；通过惯性测量模块104获取手柄105的第二定位数据；

用于根据第一定位数据以及第二定位数据，确定手柄105的定位的位置。

用于当确定手柄105位于超声波模块103的信号接收范围之外时，通过惯性测量模块104获取手柄105的第二定位数据。

进一步的，可用于当确定手柄105位于摄像头模块102的照射范围之内时，通过摄像头模块102获取手柄105的第四定位数据，通过惯性测量模块104获取手柄105的第二定位数据；

用于根据第四定位数据以及第二定位数据，确定手柄105的定位的位置。

摄像头模块102，与中央处理模块101连接，用于当确定手柄105位于摄像头模块102的照射范围之内时，通过摄像头模块102定位获取手柄105的第四定位数据。

超声波模块103，与中央处理模块101连接，用于当确定手柄105位于摄像头模块102的照射范围之外时，通过超声波模块103获取手柄105的第一定位数据。

惯性测量模块104，与中央处理模块101连接，用于当确定手柄105位于摄像头模块102的照射范围之外时，通过惯性测量模块104获取手柄105的第二定位数据；

进一步的，可用于当确定手柄105位于摄像头模块102的照射范围之内时，通过惯性测量模块104获取手柄105的第二定位数据。

手柄105，与中央处理模块101连接，用于通过中央处理模块101，接收摄像头模块102的追踪，手柄105上安装主动发光LED或被动发光LED的光学定位器作为标记点；

还用于在利用超声波模块103进行定位时，手柄105上发射超声波的脉冲信号或接收超声波的脉冲信号；

还用于在利用惯性测量模块104进行定位时，手柄105上的安装有加速度计、陀螺仪和磁力计，根据这三者的测量数值通过融合算法解算出手柄105的定位数据。

图2为本申请实施例中一种虚拟现实设备及定位方法的流程图，具体步骤下面将详细描述。

步骤201：追踪手柄；

步骤202：当确定所述手柄位于摄像头的照射范围之外时，接收超声波的脉冲信号，根据超声波测距原理得到所述手柄的第一定位数据；获取所述手柄的加速度值，根据算法得到所述手柄的第二定位数据；步骤203：根据所述第一定位数据以及所述第二定位数据，确定所述手柄的定位的位置；

其中，在步骤201之前，将摄像头定位模块安装在头盔上，摄像头的外在显示模式可以是单目、双目或深度摄像头，同时在操作的手柄端安装有若干主动发光LED灯或被动发光LED灯的光学定位器作为标记点，摄像头定位模块受自身结构影响限定了摄像头采集图像的区域范围，举例来说，摄像头的左右照射视角为120度，当照射视角大于120度时，即超出了摄像头能够采集图像的区域范围。

图3为本申请实施例中一种虚拟现实设备及定位方法的实施例示意图，如图所示，与图2中的一种虚拟现实设备及定位方法的流程相对应，详细描述如下。

具体的，步骤201中，通过摄像头定位模块捕捉手柄上主动或被动发光的LED灯，将拍摄到的二维标记点与手柄上LED的三维结构点对应，然后利用PnP算法计算出手柄所在的三维空间位置，即为手柄的第四定位数据。

步骤202中，因摄像头的照射视角有限，一般来讲，对于单个摄像头左右照射视角为120度，上下为90度，因此摄像头定位模块受摄像头照射角度影响限定了摄像头拍摄图像的区域范围，在捕捉手柄上的LED灯时，若手柄移动到摄像头照射不到的区域，例如向右移动到150度，此时摄像头捕捉的图像中没有手柄上的LED灯，也即无法对手柄进行定位，此时头盔上的摄像头定位模块会将无法进行摄像头定位的消息通知给中央处理模块，中央处理模块会开启超声波模块的定位工作模式，这里的超声波定位采用的是在手柄上安装若干个超声波发射装置，在头盔上安装若干个超声波接收装置，其中，超声波发射装置和超声波接收装置是配套出现的，两者的安装位置可以互换，即在手柄上安装若干个超声波接收装置，则在头盔上安装若干个超声波发射装置，这里不再赘述。安装完毕后，超声波定位模块接收手柄上超声波发射的多个超声波脉冲信号，根据超声波测距原理将这些脉冲信号解算成三维坐标，即为手柄的第一定位数据。同时利用安装在手柄上的加速度计、陀螺仪和磁力计，获取到手柄的加速度值、角速度值及环境磁场值，然后通过对角速度值进行积分得到手柄的姿态角，并利用加速度值和磁场值对角速度值积分得到的姿态角进行漂移校正，求解出最终的姿态矩阵，并从中提取出姿态角，即为六自由度中的三个转动自由度，利用上述旋转矩阵将加速度计测量的局部坐标系下的加速度值转换到惯性坐标系，扣除重力加速度后得到手柄在惯性坐标系下的线性加速度值，利用此线性加速度分别进行一次和二次积分可得到速度及三维位置，该三维位置即为手柄的第二定位数据。

步骤203中，将第一定位数据和第二定位数据按照加权的方式进行处理，得到手柄的第三定位数据，根据第三定位数据，确定手柄精确的定位的位置，其中，加权的方式是根据超声波的物理特性对手柄的影响以及惯性测量的测量特性对手柄的影响决定的。举例来说，在惯性测量定位的模式中，由于惯性测量模块中的加速度计、陀螺仪本身的器件特性以及制造过程的随机性等原因会引起测量到数值存在偏差，角速度值和加速度值都会有影响，而之后的姿态角是通过对角速度值进行积分运算得到的，三维位置是通过对加速度值进行积分运算得到的，多次长时间的积分运算会产生比较显著的累积误差。同时，超声波利用测距原理计算得到的三维空间位置，在短时间内也会存在一定的误差。因此，在这样的情况下，为了能够精确定位手柄的位置，就需要采取加权的方式对超声波得到的第一定位数据和惯性测量得到的第二定位数据进行融合处理，结合超声波定位方式和惯性测量定位方式对手柄位置的不同影响，来确定两者之间的权值，比如，加权系数为k，则得到手柄的第三定位数据为第二定位数据+k*(第一定位数据-第二定位数据)，其中，k的取值范围为[0，1]。

其中，这里的权值是可以按照实际情况进行动态调节的。举例来说，在VR场景中，以头盔上摄像头的中心为原点，测量手柄的位置时，按照六自由度(X，Y，Z，α，β，γ)记录手柄位置的定位坐标，其中X、Y和Z分别为沿X轴、Y轴和Z轴的平移坐标，α、β和γ分别为沿X轴、Y轴和Z轴的转动角度。当用超声波定位方式测得的手柄位置为(0.21,-0.45，-0.23)，惯性测量定位方式测得的手柄位置为(0.24，-0.43，-0.26，36,48,25)，加权系数k取为0.1，因为超声波定位模式的定位数据中是没有转动角度的，所以按照加权的方式得到的手柄位置的平移坐标为(0.237,-0.432，-0.257)，结合惯性测量中的转动角度，得到手柄的位置的六自由度为即为(0.237,-0.432，-0.257，36，48，25)，可以看出经过加权后得到的定位的位置较超声波定位方式或者惯性测量定位方式单独得到的定位的位置更加精确。

步骤204：当确定所述手柄位于所述摄像头模块的照射范围之外，且所述手柄位于所述超声波模块的脉冲信号覆盖范围之外时；根据所述第二定位数据，确定所述手柄的定位的位置。

具体的，超声波的发射和接收脉冲信号范围也会有一定限制，当头盔上的超声波接收装置接收不到超声波的脉冲信号时，超声波定位方式就不再适用，这时的定位模式只有惯性测量定位，由于惯性测量定位得到的位置存在长时间漂移问题，因此长时间使用无法保证定位精确度，所以此时设定一个时间阈值X秒，比如3秒，在时间阈值内应用惯性测量定位方法，当达到时间阈值时，记录手柄的定位的位置，在这之后若手柄移动到更偏的位置，则手柄的定位的位置始终是在时间阈值时记录的手柄六自由度坐标。

通过上述步骤201-步骤204，在VR场景中对手柄进行定位时，在摄像头照射范围内，使用摄像头进行手柄定位，保持光学定位精度高的优点；在摄像头照射不到的地方使用超声波或者惯性测量定位，可以弥补光学定位范围有限的问题，从而扩大手柄的定位范围，提高用户虚拟体验时的沉浸感。

此外，另一种虚拟现实设备及定位方法的实施例中，在确定手柄位于摄像头模块的照射范围之内时，通过摄像头模块获取手柄的第四定位数据；通过惯性测量模块获取手柄的第二定位数据；

再根据第四定位数据以及第二定位数据，确定手柄的定位的位置。

具体的，在得到第四定位数据和第二定位数据之后，由于摄像头利用光学原理得到的三维空间位置，在短时间内由于光照等原因，存在一定的偏差，以及惯性测量中涉及的误差存在，在这样的情况下，为了能够精确定位手柄的位置，就需要采取加权的方式对摄像头得到的定位的位置进行滤波处理，结合摄像头定位方式和惯性测量定位方式对手柄位置的不同影响，来确定两者之间的权值，比如，加权系数为η，则得到手柄的第五定位数据为第二定位数据+η*(第四定位数据-第二定位数据)；其中，η的取值范围为[0，1]。

其中，这里的权值是可以按照实际情况进行动态调节的。举例来说，在VR场景中，以头盔上摄像头的中心为原点，测量手柄的位置时，按照六自由度(X，Y，Z，α，β，γ)记录手柄位置的定位坐标，其中X、Y和Z分别为沿X轴、Y轴和Z轴的平移坐标，α、β和γ分别为沿X轴、Y轴和Z轴的转动角度。当用摄像头定位方式测得的手柄位置为(0.2，-0.45，-0.27，32，46，20)，惯性测量定位方式测得的手柄位置为(0.23，-0.41，-0.25，35，46，20)，加权系数η为0.1，按照加权的方式得到的手柄位置的六自由度为(0.227，-0.414，-0.252，34.7，46，20)，可以看出经过加权后得到的定位的位置较摄像头定位方式或者惯性测量定位方式单独得到的定位的位置更加精确。

最后应说明的是：本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种虚拟现实设备，其特征在于，包括：中央处理模块，摄像头模块，超声波模块，惯性测量模块，所述虚拟现实设备与手柄连接；

所述中央处理模块，用于通过所述摄像头模块追踪所述手柄；

当确定所述手柄位于所述摄像头模块的照射范围之外时，通过所述超声波模块获取所述手柄的第一定位数据，通过所述惯性测量模块获取所述手柄的第二定位数据，并根据所述第一定位数据和所述第二定位数据，确定所述手柄的定位的位置；

当确定所述手柄位于所述摄像头模块的照射范围之内时，通过所述摄像头模块追踪所述手柄上安装的光学定位器并解算得到所述手柄的第四定位数据，通过所述惯性测量模块获取所述手柄的第二定位数据，并根据所述第四定位数据和所述第二定位数据，确定所述手柄的定位的位置。

2.如权利要求1所述的虚拟现实设备，其特征在于，所述中央处理模块具体用于：

当确定所述手柄位于所述摄像头模块的照射范围之外，且所述手柄位于所述超声波模块的脉冲信号覆盖范围之外时，根据所述第二定位数据，确定所述手柄的定位的位置。

3.如权利要求1所述的虚拟现实设备，其特征在于，还包括：

所述超声波模块，用于接收脉冲信号，根据超声波测距原理得到所述第一定位数据；

所述惯性测量模块，用于获取所述手柄的加速度值、角速度值以及环境磁场值，对所述角速度值进行积分得到所述手柄的姿态角，利用所述加速度值和所述环境磁场值对所述姿态角进行漂移矫正，得到姿态矩阵；利用所述姿态矩阵将所述加速度值转换到惯性坐标系，并扣除重力加速度后得到所述手柄在所述惯性坐标系下的线性加速度；对所述线性加速度进行二次积分，获得所述手柄的第二定位数据；

所述中央处理模块，还用于将所述第一定位数据和所述第二定位数据按照加权的方式进行处理，得到所述手柄的第三定位数据，根据所述第三定位数据，确定所述手柄的定位的位置，其中，所述加权的方式是根据所述超声波的物理特性对所述手柄的影响以及惯性测量的测量特性对所述手柄的影响决定的。

4.如权利要求3所述的虚拟现实设备，其特征在于，所述中央处理模块具体用于：

所述第一定位数据和所述第二定位数据之间的加权系数为k，得到所述手柄的第三定位数据为第二定位数据+k*(第一定位数据-第二定位数据)；其中，k的取值范围为[0，1]。

5.如权利要求1所述的虚拟现实设备，其特征在于，所述中央处理模块具体用于：

将所述第四定位数据和所述第二定位数据按照加权的方式进行处理，得到所述手柄的第五定位数据，根据所述第五定位数据，确定所述手柄的定位的位置，其中，所述加权的方式是根据所述摄像头的物理特性对所述手柄的影响以及所述惯性测量的测量特性对所述手柄的影响决定的；

所述第四定位数据和所述第二定位数据之间的加权系数为η，得到所述手柄的第五定位数据为第二定位数据+η*(第四定位数据-第二定位数据)；其中，η的取值范围为[0，1]。

6.一种虚拟现实设备的定位方法，其特征在于，包括：

追踪手柄，所述虚拟现实设备与所述手柄连接；

当确定所述手柄位于摄像头的照射范围之外时，接收超声波的脉冲信号，根据超声波测距原理得到所述手柄的第一定位数据；获取所述手柄的加速度值、角速度值以及环境磁场值，对所述角速度值进行积分得到所述手柄的姿态角，利用所述加速度值和所述环境磁场值对所述姿态角进行漂移矫正，得到姿态矩阵；利用所述姿态矩阵将所述加速度值转换到惯性坐标系，并扣除重力加速度后得到所述手柄在所述惯性坐标系下的线性加速度；对所述线性加速度进行二次积分，获得所述手柄的第二定位数据；根据所述第一定位数据和所述第二定位数据，确定所述手柄的定位的位置；

当确定所述手柄位于所述摄像头模块的照射范围之内时，通过追踪所述手柄上安装的光学定位器并解算得到所述手柄的第四定位数据，获取所述手柄的加速度值、角速度值以及环境磁场值，对所述角速度值进行积分得到所述手柄的姿态角，利用所述加速度值和所述环境磁场值对所述姿态角进行漂移矫正，得到姿态矩阵；利用所述姿态矩阵将所述加速度值转换到惯性坐标系，并扣除重力加速度后得到所述手柄在所述惯性坐标系下的线性加速度；对所述线性加速度进行二次积分，获得所述手柄的第二定位数据，并根据所述第四定位数据和所述第二定位数据，确定所述手柄的定位的位置。

7.如权利要求6所述的方法，其特征在于，所述当确定所述手柄位于摄像头的照射范围之外时，还包括：

所述手柄位于所述脉冲信号的覆盖范围之外时，根据所述第二定位数据，确定所述手柄的定位的位置。

8.如权利要求6所述的方法，其特征在于，所述根据所述第一定位数据和所述第二定位数据，确定所述手柄的定位的位置，包括：

将所述第一定位数据和所述第二定位数据按照加权的方式进行处理，得到所述手柄的第三定位数据，根据所述第三定位数据，确定所述手柄的定位的位置，其中，所述加权的方式是根据所述超声波的物理特性对所述手柄的影响以及惯性测量的测量特性对所述手柄的影响决定的。

9.如权利要求8所述的方法，其特征在于，所述将所述第一定位数据和所述第二定位数据按照加权的方式进行处理，得到所述手柄的第三定位数据，包括：

所述第一定位数据和所述第二定位数据之间的加权系数为k，得到所述手柄的第三定位数据为第二定位数据+k*(第一定位数据-第二定位数据)；其中，k的取值范围为[0，1]。

Images