CN106527722B - 虚拟现实中的交互方法、系统及终端设备 - Google Patents

Abstract

本发明公开一种虚拟现实中的交互方法、系统及终端设备。该方法包括：检测用户的操作指令；响应于所述用户的操作指令，虚拟控制点在界面上发生移动；实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示。本发明使得用户在查看和选择交互界面边缘的控件时，能够更舒适的查看信息，增强用户体验；同时在完成这些交互的时候不会破坏现有界面结构，不增加运行资源消耗与实现难度。

Description

虚拟现实中的交互方法、系统及终端设备

技术领域

本发明涉及虚拟现实领域，具体涉及一种虚拟现实中的交互方法、系统及终端设备。

背景技术

VR(Virtual Reality，即虚拟现实技术)，是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以模拟真实场景没有限制地观察三维空间内的事物。

陀螺仪是一种用来传感与维持方向的装置，基于角动量守恒的理论设计出来。目前市面上大部分的手机都有安装陀螺仪传感器来检测手机转向、晃动等空间动作。在头戴虚拟现实设备中，通过陀螺仪传感器能够准确检测用到户头部的转向、晃动等动作，并且能够将用户头部动作转换为在虚拟现实情境中相应的虚拟行为。

Hover即悬停，指一个模仿悬停事件(控制器映射点移动到一个对象上面及移出这个对象)的方法。这是一个自定义的方法，它为频繁使用的任务提供了一种“保持在其中”的状态。在VR中，用户使用视觉焦点或者外设手柄等控制器来模拟PC端的鼠标悬停事件。

本发明讨论的VR的交互界面类型：VR交互中有多种不同的交互界面，本发明适用于此种交互界面：虚拟空间中，由用户主动呼唤出的一个较大面积的面片，此面片不会随着用户头部转动而转动，它与场景保持某种相对固定的状态，此面片由多个可交互的控件组合而成。

现有技术中，在VR交互中，由于透视与视野的限制，导致大面积的界面信息在一定角度视线范围内时会阅读困难。

如图1所示，VR显示界面中包含1-6共计6个控件，当我们与控件2/5交互时，由于视线位于正前方，与控件的法线角度相同(或接近)，所以视觉上很舒适。但与1/4/3/6控件交互时，头部需要水平转动，然后视线与控件法线有一定夹角，加上透视等因素导致交互时没有2/5那么舒适。

为了提升玩家的交互体验，本发明核心方案用于解决上述问题。

现有的VR设备中，交互面板中控件平铺其中，通过头部转动触发设备陀螺仪传感器控制VR空间中用户对应的视角画面的渲染变化，然后通过控制器(准星/摇杆等外设)在界面上移动/点击等操作来完成与界面的交互，当光标(图中的小圆圈)悬停(hover)在控件上时，控件会有高亮变化。

如图2为谷歌cardboard的一个简单的交互界面，当前控制器悬停在exhibit控件上。因为透视等原因，边缘控件距离眼睛距离较远，会出现拉伸/模糊/字体变小等阅读困难的情况。

因此，需要一种新的虚拟现实中的交互方法以解决现有技术中交互界面边缘的控件交互困难以及交互舒适度不高等问题。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明检测用户的操作指令；响应于所述用户的操作指令，虚拟控制点在界面上发生移动；实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示。本发明使得用户在查看和选择交互界面边缘的控件时，能够更舒适的查看信息，增强用户体验；同时在完成这些交互的时候不会破坏现有界面结构，不增加运行资源消耗与实现难度。并且在控件浮出时不会影响其他控件的选中。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，公开一种虚拟现实中的交互方法，其特征在于，包括：

S1：检测用户的操作指令；

S2：响应于所述用户的操作指令，虚拟控制点在界面上发生移动；

S3：实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示。

根据本发明的一实施方式，所述将所述控件旋转一定的角度，包括：

获取所述控件的位置坐标；

计算所述控件在位置与用户视线的角度；

判断所述控件的旋转轴，所述控件基于所述旋转轴以一定角度进行旋转。

根据本发明的一实施方式，所述用户的操作指令包括：由用户的头部或肢体动作所触发的操作指令，和/或

通过用户控制外部设备在虚拟现实系统中进行的操作指令。

根据本发明的一实施方式，所述虚拟现实中的交互方法还包括：

当所述虚拟控制点处于所述控件范围内时，使所述控件保持在旋转后的状态；

当所述虚拟控制点离开所述控件后，将所述控件还原至初始状态，并检测控制点的新位置是否触发另一个控件的旋转。

根据本发明的一实施方式，所述控件的旋转角度和所述用户头部在水平或垂直方向移动的位置与交互界面的中线所呈角度相关。

根据本发明的一实施方式，所述控件的旋转角度和所述用户头部在水平或垂直方向移动的位置与交互界面的中线所呈角度成正比。

根据本发明的一实施方式，所述控件的旋转角度和所述控件的坐标相关。

根据本发明的一实施方式，所述旋转是以所述控件靠近交互界面的中线的边作为轴而进行的。

根据本发明的一实施方式，所述虚拟现实中的交互方法还包括：调整所述控件的尺寸、旋转角度或透明度。

根据本发明的一实施方式，所述虚拟现实中的交互方法还包括：将所述控件同侧之后的其他控件同时向所述用户头部方向浮出。

根据本发明的第二方面，一种虚拟现实中的交互系统，其特征在于，包括：

操作指令响应模块，用于检测用户的操作指令，并响应于所述用户的操作指令，使虚拟控制点在界面上发生移动；

角度调整模块，用于实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示。

根据本发明的第三方面，一种终端设备，其特征在于，包括：

处理器；

存储器，存储用于所述处理器控制以下操作的指令：

检测用户的操作指令；

响应于所述用户的操作指令，虚拟控制点在界面上发生移动；

实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示。

根据本发明的一些实施方式，通过旋转交互界面边缘的控件的角度，使得用户在查看和选择交互界面边缘的控件时，能够更舒适的查看信息，增强用户体验；同时在完成这些交互的时候不会破坏现有界面结构，不增加运行资源消耗与实现难度。

根据本发明的一些实施方式，通过将所述旋转的控件同侧之后的其他控件同时向所述用户头部方向浮出等方式，使得即使在极端情况下也不会造成对附近其它控件的遮挡。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。

图1示出现有技术中的虚拟现实中的交互方法的示意图。

图2示出现有技术中的虚拟现实中的交互方法导致阅读困难的示意图。

图3示出根据本发明一示例实施方式的一虚拟现实中的交互方法的流程图。

图4示出根据本发明一示例实施方式一虚拟现实中的交互方法的旋转控件角度的示意图。

图5示出根据本发明另一示例实施方式的一虚拟现实中的交互方法的流程图。

图6示出根据本发明又一示例实施方式的极端情况下的解决方案的示意图。

图7示出根据本发明一示例实施方式的一虚拟现实中的交互系统方框图。

图8示出根据本发明一示例实施方式的终端设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本发明公开一种虚拟现实中的交互方法、系统及终端设备。该方法包括：检测用户的操作指令；响应于所述用户的操作指令，虚拟控制点在界面上发生移动；实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示。本发明通过旋转交互界面边缘的控件的角度，使得用户在查看和选择交互界面边缘的控件时，能够更舒适的查看信息，增强用户体验；同时在完成这些交互的时候不会破坏现有界面结构，不增加运行资源消耗与实现难度。另外本发明通过将所述旋转的控件同侧之后的其他控件同时向所述用户头部方向浮出等方式，使得即使在极端情况下也不会造成对附近其它控件的遮挡。

下面结合附图就用于在虚拟现实中提高交互的舒适度的交互方法进行具体说明。

图3示出根据本发明示例实施方式的一虚拟现实中的交互方法的流程图。该方法可用于终端设备的应用程序。终端设备可为虚拟现实头戴设备等，但本发明不限于此。

在S301，检测用户的操作指令，通常来说常见的虚拟现实中的控制方式中用户的操作指令包括：由用户的头部或肢体动作所触发的操作指令，和/或通过用户控制外部设备在虚拟现实系统中进行的操作指令。

在S302，响应于所述用户的操作指令，虚拟控制点在界面上发生移动。虚拟控制点即界面中的光标，通过检测头部/肢体的运动或基于外设的触发，可在虚拟现实界面中移动，从而完成用户期望的操作。

在S303，实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示。

图4示出根据本发明一示例实施方式一虚拟现实中的交互方法的旋转控件角度的示意图。

也就是说在交互界面的中线两侧预先设定一预设范围，该预设范围可根据需要进行设定。当检测到用户虚拟控制点处于预设范围内的某控件上时不作任何响应；当检测到用户虚拟控制点Hover(即悬停)在处于预设范围外的某控件上且停留时间大于预设时间阈值时，旋转所述控件一定的角度b，如图4中所示。此处的Hover即悬停，指一个模仿悬停事件(控制器映射点移动到一个对象/控件上面及移出这个对象/控件)。

所述预设时间阈值是判定悬停事件是否发生的标准，可以根据需要灵活设定，如果设定的时间太短可能会导致不必要的误操作，而如果设定的时间太长也可能会导致响应速度过慢，上述两种情况都可能会导致用户体验的降低。

在此需要特别指出的是，所述界面的中线不仅仅是指水平方向的中线，还可以是垂直方向的中线。在具体应用中，由于通常情况下屏幕的宽度是大于其高度的，例如传统影视的宽高比为4:3，高清视频的宽高比为16:9等等，所以偏离界面的中线两侧的预设范围在大多数情况下是指中线水平方向的两侧，因为通常的交互界面水平方向的范围明显大于垂直方向的范围从而视觉畸变也以水平方向的为主。但本发明不限于此，也可以同时检测虚拟控制点在界面水平和垂直方向上的偏离度并据此旋转相应控件水平和垂直方向上的角度以全方位地改善视觉畸变。

根据本发明的一实施方式，所述控件的旋转角度和所述用户头部在水平或垂直方向移动的位置与交互界面的中线所呈角度相关。

根据本发明的一实施方式，所述控件的旋转角度和所述用户头部在水平或垂直方向移动的位置与交互界面的中线所呈角度成正比。但本发明不限于此，所述控件的旋转角度主要还是由于实际用户体验中的最佳舒适度来决定。

根据本发明的一实施方式，所述控件的旋转角度和所述控件的坐标相关。如图4中的坐标c所示。

根据本发明的一实施方式，所述旋转是以所述控件靠近交互界面的中线的边作为轴而进行的。如图4中的旋转轴a所示。

下面结合图4详细描述用于在虚拟现实中提高交互的舒适度的交互方法在技术上的具体实现方式。

在设计交互界面时，可为交互界面中的对象/控件增加属性X(a：旋转轴，b：旋转角度，c：对象/控件坐标)，也就是说使得对象/控件具有X属性，调用X属性，可获取此对象/控件的旋转轴和/或旋转角度。因此，在VR交互过程中，所述对象/控件能及时响应。此处的旋转轴a和旋转角度b二者都是基于其对象/控件的坐标位置而计算获得，从而将计算结果预置在对象/控件的属性中，在读取所述对象/控件时，即可实时获取相应的属性，节省了系统的响应时间。

其中，旋转角度b可根据实际需要设定，可在所述对象/控件与用户视线所呈角度值的基础上进行微调，既满足阅读舒适度，又不会遮挡更靠边的其他控件。

根据本发明的另一实施方式，当所述虚拟控制点处于所述控件范围内时，使所述控件保持在旋转后的状态；当所述虚拟控制点离开所述控件后，将所述控件还原至初始状态，并检测控制点的新位置是否触发另一个控件的旋转。具体流程结合附图5如下所示。

在S501，检测用户的操作指令。

在S502，响应于所述用户的操作指令，虚拟控制点在界面上发生移动。

在S503，实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示。

在S504，当所述虚拟控制点处于所述控件范围内时，使所述控件保持在旋转后的状态。虚拟控制点保持处于所述控件范围内既指虚拟控制点保持在控件范围内的悬停状态，也指虚拟控制点保持在控件范围内的运动状态，也就是说只要虚拟控制点没有离开控件的范围，控件就会一直保持旋转状态。

在S505，当检测到所述虚拟控制点离开所述控件后，将所述控件还原至初始状态，并检测控制点的新位置是否触发另一个控件的旋转。一旦虚拟控制点离开控件的范围，则控件就会恢复初始状态即旋转角度为0。而在控件恢复初始状态后，继续检测虚拟控制点的新位置以判断是否触发另一个控件的旋转。

在极端情况下，也就是说在控件排列众多、控件之间的间隔小且排版复杂的界面，一个控件的角度浮出，可能需牵扯相应方向直至边缘的所有控件以某个百分比的设定角度浮出，以防止对象被遮挡导致无法选中或无法看见的问题。这种情况并不是一定会出现的状况，通常情况下不会发生，仅是极端情况下的特例。

下面结合图6举例具体说明上述极端情况下的两种解决方案。

例如，一种解决方案是，假如交互界面中一横行有超过5个控件平铺，左侧第3个浮出的时候或许会挡住左侧第1个和第2个控件的一部分，可通过调整控件尺寸/旋转角/控件透明度的方式来避免此种状况出现。

另外的其他解决方案是，将旋转或浮出的控件同侧之后的其他控件同时向前也就是向用户头部的方向移动或者说浮出，如图6中所示的向前浮出的控件1和2。

图7示出根据本发明示例实施方式的一虚拟现实中的交互系统方框图。

所述虚拟现实中的交互系统可以用于虚拟现实头戴设备等。如图7所示，虚拟现实中的交互系统700可包括操作指令响应模块702、角度调整模块704。

操作指令响应模块702用于检测用户的操作指令，并响应于所述用户的操作指令，使虚拟控制点在界面上发生移动。

角度调整模块704用于，实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示。以及用于，当所述虚拟控制点处于所述控件范围内时，使所述控件保持在旋转后的状态；当所述虚拟控制点离开所述控件后，将所述控件还原至初始状态，并检测控制点的新位置是否触发另一个控件的旋转。

图8示出根据本发明一示例实施方式的终端设备。

如图8所示，终端设备800可包括处理器810、存储器820。另外，根据一实施例，终端设备还可包括发射器及接收器。

处理器810可调用存储器820中存储的指令控制相关操作，如控制发射器和接收器进行信号收发等。

根据一实施例，存储器820存储用于处理器810控制以下操作的指令：实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示；当所述虚拟控制点处于所述控件范围内时，使所述控件保持在旋转后的状态；当所述虚拟控制点离开所述控件后，将所述控件还原至初始状态，并检测控制点的新位置是否触发另一个控件的旋转。处理器810可调用存储器820中存储的指令控制相关操作。易于理解，存储器820还可存储用于处理器810控制根据本发明实施例的其他操作的指令，这里不再赘述。

通过以上的详细描述，本领域的技术人员易于理解，根据本发明实施例的系统和方法具有以下优点中的一个或多个。

首先，根据本发明的一些实施方式，通过旋转交互界面边缘的控件的角度，使得用户在查看和选择交互界面边缘的控件时，能够更舒适的查看信息，增强用户体验；同时在完成这些交互的时候不会破坏现有界面结构，不增加运行资源消耗与实现难度。

此外，根据本发明的一些实施方式，通过将所述旋转的控件同侧之后的其他控件同时向所述用户头部方向浮出等方式，使得即使在极端情况下也不会造成对附近其它控件的遮挡。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种虚拟现实中的交互方法，其特征在于，包括：

S1：检测用户的操作指令；

S2：响应于所述用户的操作指令，虚拟控制点在界面上发生移动；

S3：实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示；

其中，所述旋转是以所述控件靠近交互界面的中间的边作为轴而进行的，所述控件的旋转角度和所述用户头部在水平或垂直方向移动的位置与交互界面的中线所呈角度相关，或所述控件的旋转角度与所述控件的坐标相关。

2.如权利要求1所述的方法，所述将所述控件旋转一定的角度，包括：

获取所述控件的位置坐标；

计算所述控件在位置与用户视线的角度；

判断所述控件的旋转轴，所述控件基于所述旋转轴以一定角度进行旋转。

3.如权利要求1所述的方法，所述用户的操作指令包括：由用户的头部或肢体动作所触发的操作指令，和/或

通过用户控制外部设备在虚拟现实系统中进行的操作指令。

4.如权利要求1所述的方法，还包括：

当所述虚拟控制点处于所述控件范围内时，使所述控件保持在旋转后的状态；

当所述虚拟控制点离开所述控件后，将所述控件还原至初始状态，并检测控制点的新位置是否触发另一个控件的旋转。

5.如权利要求1所述的方法，所述控件的旋转角度和所述用户头部在水平或垂直方向移动的位置与交互界面的中线所呈角度成正比。

6.如权利要求1所述的方法，还包括：调整所述控件的尺寸、旋转角度或透明度。

7.如权利要求1所述的方法，还包括：将所述控件同侧之后的其他控件同时向所述用户头部方向浮出。

8.一种虚拟现实中的交互系统，其特征在于，包括：

操作指令响应模块，用于检测用户的操作指令，并响应于所述用户的操作指令，使虚拟控制点在界面上发生移动；

角度调整模块，用于实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示；

其中，所述旋转是以所述控件靠近交互界面的中间的边作为轴而进行的，所述控件的旋转角度和所述用户头部在水平或垂直方向移动的位置与交互界面的中线所呈角度相关，或所述控件的旋转角度与所述控件的坐标相关。

9.一种终端设备，其特征在于，包括：

处理器；

存储器，存储用于所述处理器控制以下操作的指令：

检测用户的操作指令；

响应于所述用户的操作指令，虚拟控制点在界面上发生移动；

实时检测所述虚拟控制点的位置，当检测到所述虚拟控制点偏离界面的中线的预设范围，并在一控件所在区域内的停留时间大于预设时间阈值，则将所述控件旋转一定的角度进行显示；

其中，所述旋转是以所述控件靠近交互界面的中间的边作为轴而进行的，所述控件的旋转角度和所述用户头部在水平或垂直方向移动的位置与交互界面的中线所呈角度相关，或所述控件的旋转角度与所述控件的坐标相关。