CN108388347B - 虚拟现实中的交互控制方法和装置及存储介质、终端 - Google Patents

Abstract

本发明公开了一种虚拟现实中的交互控制方法和装置及存储介质、终端。其中，该方法包括：实时获取方向控制器的空间指向方向和视点控制器的位置；根据视点控制器的位置和空间指向方向在虚拟现实的虚拟空间中确定交互射线；确定与交互射线相交的虚拟内容为目标虚拟内容。本发明解决了相关技术中的虚拟现实的交互方式容易造成指向不精确的技术问题。

Description

虚拟现实中的交互控制方法和装置及存储介质、终端

技术领域

本发明涉及虚拟现实领域，具体而言，涉及一种虚拟现实中的交互控制方法和装置及存储介质、终端。

背景技术

虚拟现实(Virtual Reality，简称VR)，是由拉尼尔(Jaron Lanier)在20世纪80年代初提出的，其具体定义为：综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。其中，计算机生成的、可交互的三维环境称为虚拟环境(即Virtual Environment，简称VE)。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统的技术，它利用计算机生成一种模拟环境，利用多源信息融合的交互式三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

在移动VR设备中，目前主要是提供头盔和手柄一类的外设，这些设备都支持对于三自由度的运动追踪，对于虚拟现实的头盔来说，为了显示精确的画面，当你环顾周围时，头盔必须以亚毫米级的精度跟踪你的头部运动。虚拟现实设备的手柄控制器是使用者与计算机构建的虚拟环境进行交互的主要硬件，通过操作实体控制器，使用者在现实世界中手部的动态可以实时映射到虚拟世界中的虚拟手臂，实现各种操作。这是通过各种内置传感器来实现的。有了这些传感器提供的各种数据，头盔或者手柄就可以实现真正的“三个自由度”，跟踪头盔可以跟随头部和手部的运动做出的任何角度运动。(注：物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度。三个自由度则只有转动自由度)，有些头盔和手柄通过定位技术可以实现六自由度的运动。

具体的，磁力计可以测量地球的磁场，因此总是知道“磁北”在哪个方向。这样就可以确保它指向的是正确的方向，防止出现“偏移”错误——即头盔以为自己朝着某一个方向时，其实朝着的却是另一个方向。

加速度计有几个用途，一个是检测重力，让头盔知道上方是哪个方向。智能手机自动转换横竖屏，靠的就是加速度计。而且正如它的名字所说，它可以测量沿着一个轴的加速度，因此它能提供有用的数据，让头盔、手柄知道一个对象运动的速度。

陀螺仪可以跟踪沿着一条轴的微小偏移(例如用户稍微倾斜头部或点头的时候)，来提供更精确的物体旋转信息。

对于控制器来说，无线运动控制器让用户与3D空间中的物体进行充分交互，从而增强沉浸感。

像头盔一样，每个控制器都配备了磁力计、加速度计和陀螺仪以及红外传感器，对运动进行亚毫米级的精度跟踪。

在VR中使用者需要与虚拟物体进行一定的交互操作，最常用的交互操作就是通过控制器进行指向操作，例如指向按钮进行确认，指向物体进行交互触发等，指向操作是VR交互操作中最简单且最重要的一种操作方式。

目前在一些VR应用中使用者与虚拟内容进行指向操作，需要通过改变现实控制器的指向角度来控制虚拟控制器的指向，从虚拟控制器端点处向前发射一条一定长度的射线，使用者需要通过头盔观察这根虚拟线段和其他虚拟物品的碰撞关系来判断是否正确指向了所想要交互的虚拟物体。

这种指向方案在某些角度会产生极大的偏差。如图1所示，当使用者手持手柄指向虚拟环境中的半透明的界面102时，射线的末端端点103虽然延伸到了交互界面之后，但是从手柄发出的射线并未经过界面102，但是从玩家的视角，在端点103到用户眼睛的视线101上，会产生已经指向了虚拟的界面102的错觉。如果在手柄射线在游戏中的渲染层级在虚拟界面之前，这种错觉会更明显。

针对相关技术中的虚拟现实的交互方式容易造成指向不精确的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种虚拟现实中的交互控制方法和装置及存储介质、终端，以至少解决相关技术中的虚拟现实的交互方式容易造成指向不精确的技术问题。

根据本发明实施例的一个方面，提供了一种虚拟现实中的交互控制方法，该方法包括：实时获取方向控制器的空间指向方向和视点控制器的位置；根据视点控制器的位置和空间指向方向在虚拟现实的虚拟空间中确定交互射线；确定与交互射线相交的虚拟内容为目标虚拟内容。

进一步地，在确定交互射线之后，该方法还包括：在交互射线与虚拟空间中的虚拟内容相交的情况下，渲染交互指示线，其中，交互指示线经过相交点以及方向控制器在虚拟空间中的映射位置。

进一步地，渲染交互指示线包括：在交互射线的起点与相交点之间的距离在预设距离范围之内的情况下，渲染交互指示线。

进一步地，渲染交互指示线包括：在相交点的位置渲染一交互指示；和/或，对与交互射线相交的虚拟内容渲染一交互指示。

进一步地，根据视点控制器的位置和空间指向方向在虚拟现实的虚拟空间中确定交互射线包括：根据视点控制器的位置确定用户视觉中心；在用户视觉中心的位置生成虚拟控制器；通过虚拟控制器发射交互射线，其中，交互射线的方向为空间指向方向。

根据本发明实施例的另一方面，还提供了一种虚拟现实中的交互控制装置，该装置包括：获取单元，用于实时获取方向控制器的空间指向方向和视点控制器的位置；第一确定单元，用于根据视点控制器的位置和空间指向方向在虚拟现实的虚拟空间中确定交互射线；第二确定单元，用于确定与交互射线相交的虚拟内容为目标虚拟内容。

进一步地，该装置还包括：渲染单元，用于在确定交互射线之后，在交互射线与虚拟空间中的虚拟内容相交的情况下，渲染交互指示线，其中，交互指示线经过相交点以及方向控制器在虚拟空间中的映射位置。

进一步地，渲染单元包括：第一渲染模块，用于在交互射线的起点与相交点之间的距离在预设距离范围之内的情况下，渲染交互指示线。

进一步地，渲染单元包括：第二渲染模块，用于在相交点的位置渲染一交互指示；和/或，第三渲染模块，用于对与交互射线相交的虚拟内容渲染一交互指示。

进一步地，确定单元包括：确定模块，用于根据视点控制器的位置确定用户视觉中心；生成模块，用于在用户视觉中心的位置生成虚拟控制器；发射模块，用于通过虚拟控制器发射交互射线，其中，交互射线的方向为空间指向方向。

根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明的虚拟现实中的交互控制方法。

根据本发明实施例的另一方面，还提供了一种终端，该终端包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，第一个或多个程序被存储在存储器中，并且被配置为由一个或多个处理器执行，一个或多个程序包括用于执行本发明的虚拟现实中的交互控制方法。

在本发明实施例中，通过实时获取方向控制器的空间指向方向和视点控制器的位置；根据视点控制器的位置和空间指向方向在虚拟现实的虚拟空间中确定交互射线；确定与交互射线相交的虚拟内容为目标虚拟内容，解决了相关技术中的虚拟现实的交互方式容易造成指向不精确的技术问题，进而实现了能够更精确地指向用户期望指向的位置的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是现有技术的一种可选的虚拟现实中的交互控制方法的示意图；

图2是根据本发明实施例的一种可选的虚拟现实中的交互控制方法的流程图；

图3是根据本发明实施例的一种可选的虚拟现实中的交互控制方法的示意图；

图4是根据本发明实施例的另一种可选的虚拟现实中的交互控制方法的流程图；

图5是根据本发明实施例的一种可选的虚拟现实中的交互控制装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请提供了一种虚拟现实中的交互控制方法的实施例。

图2是根据本发明实施例的一种可选的虚拟现实中的交互控制方法的流程图，如图2所示，该方法包括如下步骤：

步骤S101，实时获取方向控制器的空间指向方向和视点控制器的位置；

步骤S102，根据视点控制器的位置和空间指向方向在虚拟现实的虚拟空间中确定交互射线；

步骤S103，确定与交互射线相交的虚拟内容为目标虚拟内容。

该实施例提供的虚拟现实中的交互控制方法应用于包括方向控制器(例如，手柄)的虚拟现实系统，方向控制器用于作为与虚拟现实的虚拟空间中的虚拟内容进行交互的工具，当用户需要对某一虚拟内容进行操作时，可以通过方向控制器指向对应的虚拟内容以指示用户期望选择的虚拟内容，在交互射线与虚拟空间中的虚拟内容相交的情况下，确定与交互射线相交的虚拟内容为目标虚拟内容，用户可以进一步地对目标虚拟内容执行操作，例如，在目标虚拟内容为选项的情况下，可以选中该选项。

获取方向控制器的空间指向方向可以是通过方向控制器内的传感器获取的，其具体实现方式已经存在很多成熟的技术，在此不再赘述。

视点控制器可以是虚拟现实系统的VR头戴式设备等。在确定视点控制器的位置和方向控制器的空间指示方向之后，可以根据视点控制器的位置和方向控制器的空间指向方向在虚拟空间中确定交互射线。交互射线是用于与虚拟空间中的虚拟内容进行交互的射线，虚拟内容是虚拟空间中的任意内容，例如，选项、界面、虚拟物体等等。

具体的，由于射线可以由经过的一个点和射线方向确定，上述的交互射线的方向为方向控制器的空间指向方向，且交互射线经过根据视点控制器确定的在虚拟空间中的一点。该点可以是视点控制器在虚拟空间中的映射位置(点)，或者经过根据视点控制器确定的用户视觉中心/眼睛在虚拟空间中的映射位置。其中，在虚拟空间中的映射位置是指在物理空间中的物体的位置映射到虚拟空间的坐标系中的位置。

确定交互射线的一种可选的实施方式如下：根据视点控制器的位置确定用户视觉中心，其中，用户视觉中心是指用户的视觉中心的位置，在用户视觉中心的(在虚拟空间中的映射)位置生成虚拟控制器，通过虚拟控制器发射以方向控制器的空间指向方向为方向的交互射线。

由于方向控制器与视点控制器是分开的两个控制器，采用如图1所示的现有技术中的交互控制方法会由于视点控制器(用户视角)与方向控制器(手部)的距离差导致用户以为手持的方向控制器已经指向了某一虚拟内容的错觉，但实际上并未指向该虚拟内容。

而采用本发明实施例提供的虚拟现实中的交互控制方法更符合人眼的视觉成像原理，通过视点控制器的位置以及方向控制器确定的空间指向方向确定交互射线，而不是根据方向控制器的位置及其空间指向方向来确定交互射线，解决了相关技术中的虚拟现实的交互方式容易造成指向不精确的技术问题，能够更准确地指向用户需要指向的虚拟内容，达到了更精确地交互效果。

作为一种可选的实施方式，交互射线是不显示的，仅在确定交互射线之后，在确定交互射线与虚拟空间中的虚拟内容相交的情况下，渲染一条交互指示线以指示出相交的虚拟内容，其中，交互指示线经过相交点以及方向控制器在虚拟空间中的映射位置。

如图3所示，方向控制器为用户手持的手柄，手柄的空间指向方向沿射线204的方向。用户头戴VR头盔(视点控制器，图3中未示出)，确定VR头盔的物理空间位置在虚拟空间中的映射位置，从VR头盔在虚拟空间中的映射位置出发，沿手柄的空间指向方向的射线201为交互射线，在射线201与虚拟内容相交之后，从射线201与虚拟内容的相交点206出发，渲染绘制指向手柄的射线205为交互指示线，其中，射线204、射线201均为不显示的射线，仅渲染射线205。进一步地，为了更好地指示交互的虚拟内容，在渲染交互指示线的情况下，还可以在相交点的位置渲染一交互指示(例如，在相交点渲染一个红点)，和/或，对与交互射线相交的虚拟内容渲染一交互指示(例如，高亮显示与交互射线相交的选项内容)。可选的，由于交互射线可能具有一定的交互范围，在这种情况下，可以仅在交互射线的起点与相交点之间的距离在预设距离范围之内的情况下渲染交互指示线。

结合图4所示的流程图对上述实施例的一种具体实施方式进行说明：

在指向虚拟物体(虚拟内容)时，首先从人的眼部聚焦，在头部生成不可见的虚拟控制器，虚拟控制器的朝向是与真实的手柄控制器的朝向一致，从虚拟控制器发射出一条不可见的射线(即交互射线)用以指向选择的虚拟物体，交互射线的角度(或者说方向)由虚拟控制器的朝向决定。当交互射线的长度小于可选范围的阈值时，说明被选中的虚拟物体处于可选范围内，可以选中物体，此时从被选择物体的位置处反向绘制手柄选择射线(即交互指示线)，一直绘制到真实的手柄控制器的位置，用户可以进一步地选中该物体，以完成选择功能。这样可以保证显示出的选择效果与用户真实选择的一致性。将头部的位置作为虚拟控制器射线的发射位置，这种设计不但可以避免产生如图1所示的边界上的视觉误差，同时还可以保证实际指向的物体与视觉完全一致，交互指示线是由指向物体绘制到手部，因此不会产生重影，其具体效果如图3所示。

该实施例提供的方法能够保证指向和显示的一致性，解决了虚拟世界中人眼视觉误差造成的指向不精确的问题，增强沉浸感和易用性，使用户在指向时更轻松自然。

该实施例通过实时获取方向控制器的空间指向方向和视点控制器的位置；根据视点控制器的位置和空间指向方向在虚拟现实的虚拟空间中确定交互射线；确定与交互射线相交的虚拟内容为目标虚拟内容，解决了相关技术中的虚拟现实的交互方式容易造成指向不精确的技术问题，进而实现了能够更精确地指向用户期望指向的位置的技术效果。

需要说明的是，在附图的流程图虽然示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请还提供了一种存储介质的实施例，该实施例的存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明实施例的虚拟现实中的交互控制方法。

本申请还提供了一种终端的实施例，该终端包括一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，第一个或多个程序被存储在存储器中，并且被配置为由一个或多个处理器执行，一个或多个程序包括用于执行本发明的虚拟现实中的交互控制方法。

本申请还提供了一种虚拟现实中的交互控制装置的实施例。需要说明的是，该实施例提供的虚拟现实中的交互控制装置可以用于执行本申请提供的虚拟现实中的交互控制方法。

图5是根据本发明实施例的一种可选的虚拟现实中的交互控制装置的示意图，如图5所示，该装置包括获取单元10、第一确定单元20和第三确定单元30，其中，获取单元用于实时获取方向控制器的空间指向方向和视点控制器的位置；第一确定单元用于根据视点控制器的位置和空间指向方向在虚拟现实的虚拟空间中确定交互射线；第二确定单元用于确定与交互射线相交的虚拟内容为目标虚拟内容。

该实施例通过获取单元实时获取方向控制器的空间指向方向和视点控制器的位置，通过确定单元根据视点控制器的位置和空间指向方向在虚拟现实的虚拟空间中确定交互射线，解决了相关技术中的虚拟现实的交互方式容易造成指向不精确的技术问题，进而实现了能够更精确地指向用户期望指向的位置的技术效果。

作为一种可选的实施方式，该装置还包括：渲染单元，用于在确定交互射线之后，在交互射线与虚拟空间中的虚拟内容相交的情况下，渲染交互指示线，其中，交互指示线经过相交点以及方向控制器在虚拟空间中的映射位置。

作为一种可选的实施方式，渲染单元包括：第一渲染模块，用于在交互射线的起点与相交点之间的距离在预设距离范围之内的情况下，渲染交互指示线。

作为一种可选的实施方式，渲染单元包括：第二渲染模块，用于在相交点的位置渲染一交互指示；和/或，第三渲染模块，用于对与交互射线相交的虚拟内容渲染一交互指示。

作为一种可选的实施方式，确定单元包括：确定模块，用于根据视点控制器的位置确定用户视觉中心；生成模块，用于在用户视觉中心的位置生成虚拟控制器；发射模块，用于通过虚拟控制器发射交互射线，其中，交互射线的方向为空间指向方向。

上述的装置可以包括处理器和存储器，上述单元均可以作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

上述本申请实施例的顺序不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。

其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种虚拟现实中的交互控制方法，其特征在于，所述方法包括：

实时获取方向控制器的空间指向方向和视点控制器的位置；

根据所述视点控制器的位置和所述空间指向方向在虚拟现实的虚拟空间中确定交互射线；

确定与所述交互射线相交的虚拟内容为目标虚拟内容；

其中，根据所述视点控制器的位置和所述空间指向方向在虚拟现实的虚拟空间中确定交互射线包括：

根据所述视点控制器的位置确定用户视觉中心；

在所述用户视觉中心的位置生成虚拟控制器；

通过所述虚拟控制器发射所述交互射线，其中，所述交互射线的方向为所述空间指向方向；

其中，在确定交互射线之后，所述方法还包括：

在所述交互射线与所述虚拟空间中的虚拟内容相交的情况下，渲染交互指示线，其中，所述交互指示线经过相交点以及所述方向控制器在所述虚拟空间中的映射位置。

2.根据权利要求1所述的方法，其特征在于，渲染交互指示线包括：

在所述交互射线的起点与所述相交点之间的距离在预设距离范围之内的情况下，渲染所述交互指示线。

3.根据权利要求1所述的方法，其特征在于，渲染交互指示线包括：

在所述相交点的位置渲染一交互指示；和/或，

对与所述交互射线相交的虚拟内容渲染一交互指示。

4.一种虚拟现实中的交互控制装置，其特征在于，所述装置包括：

获取单元，用于实时获取方向控制器的空间指向方向和视点控制器的位置；

第一确定单元，用于根据所述视点控制器的位置和所述空间指向方向在虚拟现实的虚拟空间中确定交互射线；

第二确定单元，用于确定与所述交互射线相交的虚拟内容为目标虚拟内容；

其中，所述确定单元包括：

确定模块，用于根据所述视点控制器的位置确定用户视觉中心；

生成模块，用于在所述用户视觉中心的位置生成虚拟控制器；

发射模块，用于通过所述虚拟控制器发射所述交互射线，其中，所述交互射线的方向为所述空间指向方向；

其中，所述装置还包括：

渲染单元，用于在确定交互射线之后，在所述交互射线与所述虚拟空间中的虚拟内容相交的情况下，渲染交互指示线，其中，所述交互指示线经过相交点以及所述方向控制器在所述虚拟空间中的映射位置。

5.根据权利要求4所述的装置，其特征在于，所述渲染单元包括：

第一渲染模块，用于在所述交互射线的起点与所述相交点之间的距离在预设距离范围之内的情况下，渲染所述交互指示线。

6.根据权利要求4所述的装置，其特征在于，所述渲染单元包括：

第二渲染模块，用于在所述相交点的位置渲染一交互指示；和/或，

第三渲染模块，用于对与所述交互射线相交的虚拟内容渲染一交互指示。

7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至3任意一项所述的虚拟现实中的交互控制方法。

8.一种终端，其特征在于，所述终端包括：

一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至3中任意一项所述的虚拟现实中的交互控制方法。

Images