CN106502396B - 虚拟现实系统、基于虚拟现实的交互方法及装置 - Google Patents

Abstract

本公开提供一种基于虚拟现实的交互方法、交互装置以及虚拟现实系统。交互方法包括：显示交互界面，所述交互界面包括一个或多个3D控件；监听所述3D控件的显示切换信号；当接收到所述3D控件的显示切换信号时，将所述3D控件转换为2D控件，并进行显示。本公开提供的交互方法通过当接收到所述3D控件的显示切换信号时，将所述3D控件转换为2D控件并进行显示，实现了在必要时醒目地提示使用虚拟现实的用户关注提醒信息，并且在不需要提醒用户时不影响用户的虚拟现实体验。

Description

虚拟现实系统、基于虚拟现实的交互方法及装置

技术领域

本公开涉及虚拟现实技术领域，具体而言，涉及一种基于虚拟现实的交互方法、交互装置以及虚拟现实系统。

背景技术

随着虚拟现实技术的发展，虚拟现实技术已经在娱乐、游戏、医疗等众多领域得到了越来越多的应用。以虚拟现实游戏为例，用户通常可以在虚拟现实游戏中获得逼真的游戏效果以及沉浸感。

在传统的2D游戏应用中，通常采用红点或动画效果来提醒用户注意新信息或操作入口。参见图1，现有的用户提醒机制通常是在新消息或者希望用户操作的操作入口右上方显示红点，引导用户点击显示红点的控件查看相应的界面，例如图1中显示有红点的月签到控件；此外，当希望引导用户关注某项内容时，通常用动画效果的形式进行表现，例如图1中显示有流火效果的签到控件。

现有的用户提醒机制设计可以在平面界面上起到很好的效果，然而，这种方式并不适合应用于虚拟现实游戏中。其一，在虚拟现实游戏中通常会使控件与场景融合来最大程度地保证用户的沉浸感，这时运用红点或者抢眼的特效都会破坏掉这种效果；其二，在虚拟现实游戏中多数控件会以3D立体的形式来表现，不会有很实的底板，且在虚拟现实游戏中用户的注意力将更集中于居中位置的主场景中，而用户提醒控件通常设置于人眼视觉舒适区外，容易造成作为非视觉焦点导致边缘模糊而被用户忽略。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于虚拟现实的交互方法、交互装置以及虚拟现实系统，用以使控件既能融于虚拟现实场景，又能在必要时提供适合用户阅读或操作的界面。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种基于虚拟现实的交互方法，包括：显示交互界面，所述交互界面包括一个或多个3D控件；监听所述3D控件的显示切换信号；当接收到所述3D控件的显示切换信号时，将所述3D控件转换为2D控件，并进行显示。

在本公开的一种示例性实施方式中，监听所述3D控件的显示切换信号包括如下情况的至少一种：检测到所述3D控件被选定；检测到所述3D控件是预设优先显示的控件；或检测到显示切换指令，生成所述显示切换信号。

在本公开的一种示例性实施方式中，将所述界面中的3D控件转换为2D控件包括：获取所述3D控件模型的顶点位置坐标；根据虚拟相机的位置，确定所述3D控件模型两侧中距离所述虚拟相机较远一侧的第一组顶点；变换所述第一组顶点的顶点深度d，直至所述顶点深度d与所述3D控件模型两侧中距离所述虚拟相机较近一侧的第二组顶点的顶点深度D相等。

在本公开的一种示例性实施方式中，所述顶点深度d的变换速度基于数学函数，所述数学函数包括渐变曲线函数。

在本公开的一种示例性实施方式中，所述渐变曲线函数的方程为：

其中，d是所述第一组顶点的顶点深度(d≤D)，rate是预设的加速或减速的加速度，t是整个变换过程时长的百分比。

根据本公开的另一方面，提供一种基于虚拟现实的交互装置，包括：界面显示模块，用于显示交互界面，所述交互界面包括一个或多个3D控件；信号监听模块，用于监听所述3D控件的显示切换信号；转换执行模块，用于当接收到所述3D控件的显示切换信号时，将所述3D控件转换为2D控件，并进行显示。

在本公开的一种示例性实施方式中，所述信号监听模块检测如下情况的至少一种：所述3D控件被选定；所述3D控件是预设优先显示的控件；或接收到显示切换指令，生成所述显示切换信号。

在本公开的一种示例性实施方式中，所述转换执行模块包括：顶点获取单元，用于获取所述3D控件模型的顶点位置坐标；顶点确定单元，用于根据虚拟相机的位置，确定所述3D控件模型两侧中距离所述虚拟相机较远一侧的第一组顶点；顶点变换单元，用于变换所述第一组顶点的顶点深度d，直至所述顶点深度d与所述3D控件模型两侧中距离所述虚拟相机较近一侧的第二组顶点的顶点深度D相等。

在本公开的一种示例性实施方式中，所述顶点深度d的变换速度基于数学函数，所述数学函数包括渐变曲线函数。

在本公开的一种示例性实施方式中，所述渐变曲线函数的方程为：

其中，d是所述第一组顶点的顶点深度(d≤D)，rate是预设的加速或减速的加速度，t是整个变换过程时长的百分比。

根据本公开的再一个方面，提供一种虚拟现实系统，包括：处理器；存储器，存储用于所述处理器控制以下操作的指令：显示交互界面，所述交互界面包括一个或多个3D控件；监听所述3D控件的显示切换信号；当接收到所述3D控件的显示切换信号时，将所述3D控件转换为2D控件，并进行显示。

本公开提供的基于虚拟现实的交互方法、交互装置以及虚拟现实系统通过在接收到显示切换信号时将3D控件转换为2D控件进行显示，实现了在必要时醒目地提示使用虚拟现实的用户关注提醒信息，并且在不需要提醒用户时不影响用户的虚拟现实体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它特征及优点将变得更加明显。

图1示出了传统的用户提醒机制示意图；

图2示出了根据本公开一实施例中一种基于虚拟现实的交互方法的流程图；

图3示出了根据本公开另一实施例中一种基于虚拟现实的交互方法的流程图；

图4示出了根据本公开又一实施例中一种基于虚拟现实的交互方法的流程图；

图5A、5B、5C、5D和5E示出了根据本公开一实施例的将3D控件转换为2D控件的示意图；

图6示出了根据本公开一实施例的顶点深度变化函数的示意图；

图7示出了根据本公开一实施例的基于虚拟现实的交互装置；及

图8示出了示出根据本公开一实施例的虚拟现实系统。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图2示出了根据本公开一实施例提供的一种基于虚拟现实的交互方法的流程图，该方法可以适用于虚拟现实游戏。

如图2所示，在步骤S212中，显示交互界面，交互界面包括一个或多个3D控件。

在本示例实施例中，交互界面可以包括虚拟现实游戏的交互界面，一个或多个3D控件可以设置在例如用户视觉舒适区外的区域中。将3D控件设置在用户视觉舒适区外可以使3D控件在不产生功能的时候不影响用户的虚拟现实体验。上述的视觉舒适区可以指以用户的视觉焦点为圆心，以一定长度为半径的圆形区域，在此视觉舒适区之内的景物可以被用户清晰的观察到，不会有模糊感。在视觉舒适区之外的景物则因为距离用户视觉焦点较远，而在用户的视觉感受中呈现模糊状态，难以被用户观察到。

值得一提的是，上述的一个或多个3D控件不仅包括具有一定功能的交互控件，例如按钮、输入框或者是其他能够接受用户指令的交互控件，还包括只显示信息的静态控件，例如可以为公告栏，或者显示游戏角色当前参数的图标等，本公开对此不作特殊限定。

在步骤S214中，监听3D控件的显示切换信号。

在本公开示例性实施方式中，监听3D控件的显示切换信号包括如下情况的至少一种：检测到3D控件被选定；检测到3D控件是预设优先显示的控件；或者检测到显示切换指令，生成显示切换信号。

上述检测到3D控件被选定的情况可以发生在用户选定该控件时，用户选定该控件的方式例如可以为鼠标、键盘、触摸或者其他可以使用在虚拟现实领域的选定方式。

上述检测到3D控件是预设优先显示的控件，可应用于需要提醒用户注意该控件的信息的情况，例如有新消息产生或提示用户该控件为操作入口。可选地，当界面中包含若干个3D控件时，也可设置其中的一个或多个为优先显示的控件，根据各控件内容重要性的不同，划分其优先级，对于高优先级控件内容可预设为优先显示。

上述检测到显示切换指令，生成显示切换信号的情况可以发生在用户对3D控件发出明确的显示切换指令的情况下。

在步骤S216中，当接收到3D控件的显示切换信号时，将3D控件转换为2D控件，并进行显示。

本实施例中步骤S216中将3D控件转换为2D控件，并进行显示包括：获取3D控件模型的顶点位置坐标；根据虚拟相机的位置，确定3D控件模型两侧中距离虚拟相机较远一侧的第一组顶点；变换第一组顶点的顶点深度d，直至顶点深度d与3D控件模型两侧中距离虚拟相机较近一侧的第二组顶点的顶点深度D相等。

在本示例实施例中，虚拟相机可以指代虚拟现实技术中的观察者。当3D控件模型的形状为界面通常用的矩形或圆角矩形时，其呈3D形态显示时具有距离虚拟相机较近的一侧和距离虚拟相机较远的一侧。可将控件模型距离虚拟相机较近的一侧的一组顶点命名为第一组顶点，将距离虚拟相机较远的一侧的一组顶点命名为第二组顶点。上述顶点可以指矩形的四个角或者其他形状的类似部位，例如圆角矩形的四个圆角。由上述顶点描述可知，第一组顶点具有相同的顶点深度d，第二组顶点具有相同的顶点深度D。当接收到3D控件的显示切换信号时，可以通过逐渐变换顶点深度d，直至顶点深度d与顶点深度D相等来实现将3D控件转换为2D控件，并进行显示。

需要说明的是，本示例实施方式中顶点深度d的变换速度可以是匀速变换，或者是基于时间的函数变换，如顶点深度d与时间二者关系可以呈线性关系(如匀加速、匀减速变换)或非线性关系(其过程中加速度的大小不断改变，如先加速后减速的变换)。

本示例实施方式通过步骤S216在接收到3D控件的显示切换信号时将原来的3D控件从立体形式转变为平面形式，使该控件在需要提醒用户时引起用户关注，同时更加适合阅读和操作。

以下通过几个实施例介绍上述方法在不同出现显示切换信号情况下的应用。

图3示出了根据本公开另一实施例提供的一种基于虚拟现实的交互方法的流程图，该方法可以适用于基于虚拟现实的游戏中。

如图3所示，在步骤S312中，显示交互界面。

如图3所示，在步骤S314中，监听3D控件的显示切换信号。

之后判断3D控件是否被选定，如图4所示，3D控件被选定时，执行步骤S316，在步骤S316中，将3D控件转换为2D控件。3D控件未被选定时，返回步骤S314。

图4示出了根据本公开又一实施例提供的一种基于虚拟现实的交互方法的流程图，该方法可以适用于基于虚拟现实的游戏中。

如图4所示，在步骤S412中，显示交互界面。

如图4所示，在步骤S414中，监听3D控件的显示切换信号。

之后判断3D控件是否是预设优先显示的控件，如图4所示，当3D控件是预设优先显示的控件时，执行步骤S416，在步骤S416中，将3D控件转换为2D控件。当3D控件不是预设优先显示的控件时，返回步骤S414。

需要说明的是，上述方法除了图4和图5所示的出现显示切换信号情况之外，还可以在显示交互界面后监控是否接收到显示切换指令，如果接收到显示切换指令则将3D控件转换为2D控件，反之，如果没有接收到显示切换指令则继续监控是否接收到显示切换指令即可。其中“显示切换指令”的触发可以根据具体的应用场景进行更改和替换，本实施例中不做特殊限定，只要交互方法符合本公开的思路皆应被涵盖在本公开的保护范围之内。

基于上述各个实施例提供的方法，可以以HUD(Head Up Display，平视显示器)模型为例进行3D控件和2D控件的转换。

图5A、5B、5C、5D和5E示出了根据本公开一实施例的将3D控件转换为2D控件的示意图。3D控件可以绘制在立体的3D模型上，图5A示出一长方形3D控件的面片模型，该模型的四个顶点的坐标分别用E(x1,y1,z1)、F(x2,y2,z2)、G(x3,y3,z3)和H(x4,y4,z4)表示。

平面状态和透视状态之间的区别在于第一组顶点(即顶点G(x3,y3,z3)和顶点H(x4,y4,z4))与第二组顶点(即顶点E(x1,y1,z1)、F(x2,y2,z2))分别相对于虚拟相机位置的顶点深度的差异。在转换的过程中，如果第一组顶点与第二组顶点各自的顶点深度相同，则控件以2D平面状态显示，如图5B所示；如果第一组顶点与第二组顶点各自的顶点深度不同，则以3D透视状态显示，如图5C所示。因此可以在需要进行状态转换时，对右侧第一组的顶点G(x3,y3,z3)和顶点H(x4,y4,z4)的顶点深度进行变换。

参照图5B和图5C所示，由于控件的3D模型(也就是透视状态)在制作的时候右侧两个顶点的顶点深度比左侧两个顶点的顶点深度要大，所以在3D世界投影切换之后，会出现近大远小的情况，即呈现出图5D所示的3D透视效果。而当有信息需要提示用户的时候，即可以对右边顶点的顶点深度进行变换，使得右边顶点的顶点深度和左边的顶点深度一致，即呈现出图5E所示的2D平面效果，使沉浸在虚拟现实游戏中的用户可以很容易注意到平面显示的内容，而且也使用户阅读的视觉效果优于在3D形式下的视觉效果。

通过变换图5A中片面模型的顶点位置，在屏幕上绘制和呈现3D控件的方法可以详见以下描述。顶点位置的变换速度可以是基于一渐变曲线函数。优选地，渐变曲线函数的方程可以为：

其中，d是第一组顶点E(x1,y1,z1)和F(x2,y2,z2)的顶点深度，D是第吧二组顶点G(x3,y3,z3)和H(x4,y4,z4)的顶点深度，d≤D，rate是预设的加速或减速的加速度，t是整个变换过程时长的百分比。

图6示出了在第一组顶点的顶点深度速度变换曲线示意图，可见随着时间的变化，顶点深度的变化过程可以是一个加速或者减速的变化曲线。这样可以使得3D到2D的转换过程更加的自然，减少用户的顿挫感，避免直接线性转换带来的不适感，给用户更良好的视觉体验。

综上，本公开提供的交互方法通过监听3D控件的显示切换信号，当接收到3D控件的显示切换信号时，将3D控件转换为2D控件并进行显示，来适时的提醒用户注意控件所提示的信息，使控件既能在不需要引起用户关注时融于虚拟现实场景，又能在需要提醒用户关注时提供适于阅读或操作的界面。进一步的，在将3D控件转换为2D控件的过程中顶点深度的变化速度依据渐变曲线函数变化，减少了用户的顿挫感，避免了直接匀速转换或单一的加/减速转换所可能带来的不适感。

图7示出了根据本公开一实施例的基于虚拟现实的交互装置。如图7所示，该装置包括：界面显示模块101、信号监听模块102和转换执行模块103。

界面显示模块101可以用于显示交互界面，交互界面包括一个或多个3D控件；信号监听模块102可以用于监听3D控件的显示切换信号；转换执行模块103可以用于当接收到3D控件的显示切换信号时，将3D控件转换为2D控件，并进行显示。

其中信号监听模块102检测如下情况的至少一种：3D控件被选定；3D控件是预设优先显示的控件；或接收到显示切换指令，生成显示切换信号。

转换执行模块包括：顶点获取单元，用于获取3D控件模型的顶点位置坐标；顶点确定单元，用于根据虚拟相机的位置，确定3D控件模型两侧中距离虚拟相机较远一侧的第一组顶点；顶点变换单元，用于变换第一组顶点的顶点深度d，直至顶点深度d与3D控件模型两侧中距离虚拟相机较近一侧的第二组顶点的顶点深度D相等。

顶点深度d的变换速度基于数学函数，数学函数包括渐变曲线函数。渐变曲线函数的方程为：

其中，d是第一组顶点的顶点深度(d≤D)，rate是预设的加速或减速的加速度，t是整个变换过程时长的百分比。

综上，本公开提供的交互装置通过信号监听模块102监听3D控件的显示切换信号，当接收到3D控件的显示切换信号时，转换执行模块103将3D控件转换为2D控件并进行显示，来适时的提醒用户注意控件所提示的信息，使控件既能在不需要引起用户关注时融于虚拟现实场景，又能在需要提醒用户关注时提供适于阅读或操作的界面。进一步的，在将3D控件转换为2D控件的过程中顶点深度的变化速度依据渐变曲线函数变化，减少了用户的顿挫感，避免了直接线性转换带来的不适感。

图8示出了根据本公开一实施例的虚拟现实系统。

如图8所示，该虚拟现实系统可包括处理器1110和存储器1120。

存储器1120可存储用于处理器1110控制操作处理的指令。存储器1120可包括易失性或非易失性存储器，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)等，本公开对此没有限制。

处理器1110可调用存储器1120中存储的指令控制相关操作。根据一实施例，存储器1120存储用于处理器1110控制以下操作的指令：显示交互界面，交互界面包括一个或多个3D控件；监听3D控件的显示切换信号；当接收到3D控件的显示切换信号时，将3D控件转换为2D控件，并进行显示。易于理解，存储器1120还可存储用于处理器1110控制根据本公开实施例的其他操作的指令，这里不再赘述。

根据一些实施例，本公开还提供一种非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行下述方法：显示交互界面，交互界面包括一个或多个3D控件；监听3D控件的显示切换信号；当接收到3D控件的显示切换信号时，将3D控件转换为2D控件，并进行显示。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

以上具体地示出和描述了本公开的示例性实施例。应该理解，本公开不限于所公开的实施例，相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效布置。

Claims (11)

1.一种基于虚拟现实的交互方法，其特征在于，包括：

显示交互界面，所述交互界面包括一个或多个3D控件，所述3D控件中的至少一个显示在用户的预设视觉区之外，所述预设视觉区以所述用户的视觉焦点为几何中心，具有预设尺寸；

监听所述3D控件的显示切换信号；

当接收到所述3D控件的显示切换信号时，将所述3D控件转换为2D控件，并进行显示。

2.如权利要求1所述的交互方法，其特征在于，监听所述3D控件的显示切换信号包括如下情况的至少一种：

检测到所述3D控件被选定；

检测到所述3D控件是预设优先显示的控件；或

检测到显示切换指令，生成所述显示切换信号。

3.如权利要求1所述的交互方法，其特征在于，将所述界面中的3D控件转换为2D控件包括：

获取所述3D控件模型的顶点位置坐标；

根据虚拟相机的位置，确定所述3D控件模型两侧中距离所述虚拟相机较远一侧的第一组顶点；

变换所述第一组顶点的顶点深度d，直至所述顶点深度d与所述3D控件模型两侧中距离所述虚拟相机较近一侧的第二组顶点的顶点深度D相等。

4.如权利要求3所述的交互方法，其特征在于，所述顶点深度d的变换速度基于一数学函数，所述数学函数包括渐变曲线函数。

5.如权利要求4所述的交互方法，其特征在于，所述渐变曲线函数的方程为：

其中，d是所述第一组顶点的顶点深度，rate是预设的加速或减速的加速度，t是整个变换过程时长的百分比。

6.一种基于虚拟现实的交互装置，其特征在于，包括：

界面显示模块，用于显示交互界面，所述交互界面包括一个或多个3D控件，所述3D控件中的至少一个显示在用户的预设视觉区之外，所述预设视觉区以所述用户的视觉焦点为几何中心，具有预设尺寸；

信号监听模块，用于监听所述3D控件的显示切换信号；

转换执行模块，用于当接收到所述3D控件的显示切换信号时，将所述3D控件转换为2D控件，并进行显示。

7.如权利要求6所述的交互装置，其特征在于，所述信号监听模块检测如下情况的至少一种：

所述3D控件被选定；

所述3D控件是预设优先显示的控件；或

接收到显示切换指令，生成所述显示切换信号。

8.如权利要求6所述的交互装置，其特征在于，所述转换执行模块包括：

顶点获取单元，用于获取所述3D控件模型的顶点位置坐标；

顶点确定单元，用于根据虚拟相机的位置，确定所述3D控件模型两侧中距离所述虚拟相机较远一侧的第一组顶点；

顶点变换单元，用于变换所述第一组顶点的顶点深度d，直至所述顶点深度d与所述3D控件模型两侧中距离所述虚拟相机较近一侧的第二组顶点的顶点深度D相等。

9.如权利要求8所述的交互装置，其特征在于，所述顶点深度d的变换速度基于数学函数，所述数学函数包括渐变曲线函数。

10.如权利要求9所述的交互装置，其特征在于，所述渐变曲线函数的方程为：

其中，d是所述第一组顶点的顶点深度，rate是预设的加速或减速的加速度，t是整个变换过程时长的百分比。

11.一种虚拟现实系统，其特征在于，包括：

处理器；

存储器，存储用于所述处理器控制以下操作的指令：

显示交互界面，所述交互界面包括一个或多个3D控件，所述3D控件中的至少一个显示在用户的预设视觉区之外，所述预设视觉区以所述用户的视觉焦点为几何中心，具有预设尺寸；

监听所述3D控件的显示切换信号；

当接收到所述3D控件的显示切换信号时，将所述3D控件转换为2D控件，并进行显示。

Images