CN110688012B - 一种实现与智能终端、与vr设备交互的方法和装置 - Google Patents

Abstract

本发明涉及一种实现与智能终端、与vr设备交互的方法，该方法包括：测算智能终端和vr设备之间的信号延迟，通过智能终端输入动作收拾，并根据智能终端和vr设备之间的信号延来调整显示刷新频率，实现了对于vr设备显示延迟的改善。

Description

一种实现与智能终端、与vr设备交互的方法和装置

技术领域

本发明涉及智能终端通讯领域，特别涉及一种实现与智能终端、与vr设备交互的方法和装置。

背景技术

虚拟现实是运用计算机图形渲染能力制造出一个三维的虚拟空间，同时运用多种技术来模拟用户的感官感受，使用户有如同身临其境般的感受，用户可以自由地浏览虚拟空间内的虚拟物体并与其互动，沉浸其中。利用虚拟现实技术创造出的人工虚拟环境能使用户感觉自己真实地存在和活动于该人工环境之中。虚拟现实利用了多种先进技术，如计算机图形学技术、立体显示技术、传感技术、网络技术、数据传输技术、立体声技术、语音识别技术等，目的是将虚拟与现实相融合，搭建起虚拟信息与现实活动的桥梁。

随着移动便携设备的发展，智能终端和VR设备的交互使用已经比较常见。这样不仅提高了VR设备的实用性和应用体验感，还扩展了移动终端的功能。但是，目前的智能终端和VR设备的交互存在延迟的问题，在操作这些设备的时候，方向变换、数据交换发生在各设备中间的数据传输时间造成延迟，用户一个简单的转身动作都可能与屏幕画面不同步，虽然它们传输延迟只有零点零几秒，但这对于VR设备的使用来说感官上会非常明显。

因此，需要提供一种降低延迟的与智能终端、与vr设备交互的方法和装置。

发明内容

本发明所要解决的技术问题是：提供一种是应多个有结构的三维模型实现与智能终端、与vr设备交互的方法和装置。

本发明解决其技术问题所采取的技术方案是：

一种实现与智能终端、与vr设备交互的方法，该方法包括：测算智能终端和vr设备之间的信号延迟，通过智能终端输入动作收拾，并根据智能终端和vr设备之间的信号延来调整显示刷新频率。

进一步地，动作手势包括：平移手势、旋转手势、缩放手势。

进一步地，算智能终端和vr设备之间的信号延迟包括由vr设备向智能设备发送检测信号S1，智能终端在接收到上述检测信号S1后，随即向vr设备发送答复信号S2。

进一步地，计算智能终端和vr设备之间的信号延迟进一步包括vr设备接受到答复信号S2之后，计算检测信号S1的发送时间以及答复信号S2的接收时间之间的时间差，将上述时间差除以2获得标准延迟时间差Δt₀。

进一步地，计算智能终端和vr设备之间的信号延迟进一步包括在获得该标准刷新频率后，将该标准刷新频率作为显示的刷新频率。

一种执行所述实现与智能终端、与vr设备交互的方法的装置，该装置包括智能终端与vr设备。

进一步地，智能终端包括触摸屏，动作解析模块，发送模块和接收模块。

进一步地，vr设备包括显示屏，控制器，频率调节模块，渲染模块，发送模块和接收模块。

附图说明

图1为本申请提供的交互方法的流程图。

具体实施方式

下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有益效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须作出大量实施细节以实现开发者的特定目标。

本申请提供的一种实现与智能终端、与vr设备交互的方法和装置，上述装置包括智能终端和vr设备。其中，智能设备具有触摸屏幕，上述触摸屏幕可以通过手指触摸来实现vr设备的显示设备的相应显示视角的变化。具体的智能终端可以为智能手机。vr设备可以为具有显示功能的vr眼镜等。Vr设备能够接受到智能终端的触控指令，并根据该触控指令进行图形渲染与显示。

如图1所示，本申请提供的交互方法的手势识别及交互映射流程，具体包括：

判断是否两指同时落下，如果是则使得两指靠近且距离不变，随后两指滑动，实现轨迹球状旋转；如果两指没有同时落下，则判断第一根手指是否选中物体，如果没有选中，则使得两根手指运动方向相反，实现整体缩放，如果第一根手指选中物体，则当第二根手指选中相应的坐标轴后，将第一根手指山下左右滑动，从而分别进行指定轴方向的平移。

对于平移操作，当一根手指触摸到模型上时轴工具被触发。此后用户可以直接平移该物体，物体将在平行于投影平面的方向移动。在这种情况下，模型和手指的相对位置不会发生改变从而达到精确的平移。通过从另一只手添加额外的手指来选择轴工具上的x-/y-/z-轴，模型可以分别沿着选定轴移动。

对于旋转操作，本方法一共设计了三种类型的旋转交互用来控制物体的朝向，包括有约束的旋转，轨迹球旋转以及绕用户定义的点旋转。

对于有约束的旋转，轴工具是由两根靠近的手指触发(通常食指和中指)，类似于有约束的平移手势，用户可以用另一只手来选择期望绕哪个轴进行旋转。对于轨迹球旋转，只需滑动一开始触发了旋转操作的两根手指即可执行。

用户可以使用自定义旋转中心进行旋转，在使用两根靠近的手指触发了旋转交互后，通过添加额外两个触摸点即可定义旋转中心。旋转中心的x,y值是由两根手指的中点发出一条射线与物体求交获得的第一个点的坐标。通过上下移动这两根手指，可以确定旋转中心在深度方向的位置。优选地，在显示画面中可以使用红色的小球来指示旋转中心的位置。

对于整体缩放交互，使用两只手的合并-分离手势来支持大型缩放。将两指之间的距离改变作为缩放因子来控制物体的大小。两指距离增大则物体变大，反之亦然。

本方法提供不受约束的视角给用户来进行交互，从而使得用户可以从不同的角度观察和操纵物体。这对于处理将物体移动到目标位置的任务是重要的。由于三维物体是在物体坐标系中进行操纵的，当用户想要从不同角度来对齐物体时，改变摄像机的位置会产生问题。为了实现视点控制以及从不同角度正确操作物体，本文决定旋转场景本身而不是改变摄像机的位置。用户可以在屏幕上滑动三根手指从不同的角度查看模型。

假设手指在屏幕上从A点移动到B点，而对应在三维空间中，操作平面上的点为A’和B’。具体实现流程如下：

(1)获取触点所在的像素位置A(X_a,Y_a,0)，B(X_b，Y_b，0)。

(2)从A点出发，做射线与物体求交，并获得与模型相交的第一个交点A’(X’_a，Y’_a，Z’_a)。

(3)将获取到的A’的世界坐标转换到屏幕坐标，获得A’在屏幕空间中的z_a值。

A点在屏幕空间中的坐标为A(X_ascreen,Y_ascreen,Z_a)。

(4)由于要使得物体是平行于屏幕进行平移的，B点与操作平面D的交点的深度值也为z_a。B点在屏幕空间中的坐标为B(X_bscreen,Y_bscreen,Z_a)。

(5)将A、B分别转换回世界坐标下，并求出差值，得出正确的平移量。

基于上述交互方式，由于在智能终端和vr设备显示之间存在延时，本发明为了克服上述延时问题，进一步将交互方法进行如下的改进。该交互方法包括：

S1.设备标准延迟时间初始化步骤：

具体包括:在设备开机，完成智能终端与vr设备互连后，由vr设备向智能设备发送检测信号S1，智能终端在接收到上述检测信号S1后，随即向vr设备发送答复信号S2。vr设备接受到答复信号S2之后，计算检测信号S1的发送时间以及答复信号S2的接收时间之间的时间差，将上述时间差除以2获得标准延迟时间差Δt₀。

S2.根据标准延迟时间确定vr设备显示品的标准刷新频率,并采用标准刷新频率作为显示的刷新频率。

具体包括：vr设备显示器具有固有刷新频率F，该原始刷新频率根据设备的硬件确定。在确定标准延迟时间差Δt₀之后，进一步通过该标准延迟时间差来确定标准刷新频率，该标准刷新频率的实现是通过一变频调节器来实现的，该变频调节器将vr显示设备的刷新频率调整为标准刷新频率，该标准刷新频率为F₀＝F*(1-Δt₀F)。

在获得该标准刷新频率后，将该标准刷新频率作为显示的刷新频率。

通过将显示刷新频率规定为标准刷新频率，根据信号延迟情况调整了显示刷新频率，能够缓解使用者感受到的显示延迟现象。

S3.检测智能终端触摸屏的触摸控制类型。

具体的，通过智能终端的触摸控制器判断触摸的类型。智能终端的触摸控制器可以将触摸的类型分类分为如下：平移开始状态、平移中继状态，旋转开始状态、旋转中继状态、缩放开始状态、缩放中继状态。具体的判断方式根据上文中手指动作与触控方式的对应关系来取定。此处不再重复。

S4.根据触摸控制类型进一步确定相应的刷新频率补充变量。具体的，当智能终端的触摸控制器可以将触摸的类型分类为各类开始状态，即平移开始状态、旋转开始状态、缩放开始状态时，进一步提高显示的刷新频率，即此时的刷新频率调整为：标准刷新频率+刷新频率补充变量。

其中，刷新频率补充变量为：

其中，A为本时刻动作出发前的各图像帧的平均图像文件大小的平均值；F0为标准刷新频率；C为智能终端和vr设备连接的带宽；k为调节常数k＝5.74×10³。

当智能终端的触摸控制器可以将触摸的类型分类为各类中继状态，即平移中继状态、旋转中继状态、缩放中继状态时，保持刷新频率调整为标准刷新频率。

这是由于在动作开始状态对于图形渲染等计算和图形处理的工作量会明显增加，图像显示的延迟程度会明显大于动作中继状态的程度。因此，通过进一步提高刷新频率进一步降低了图像延迟的程度。

本发明进一步包括一种与智能终端、与vr设备交互的装置，该装置包括智能终端以及vr设备，其中智能终端和vr设备通过无线通讯网络连接。

其中，智能终端包括触摸屏，动作解析模块，发送模块和接收模块，其中：

触摸屏，用于接收使用者在其上进行动作的动作输入；

动作解析模块，用于接收上述动作输入，并根据既定规则对于该动作输入进行动作解析，当输入的动作，解析为未来在显示器上视角的变换方式，并根据既定规则判断触摸类型；

发送模块，用于将动作解析出的视角变换方式和触摸类型发送给vr设备；

接收模块，用于接收vr设备发送的检测信号。

vr设备，包括显示屏，控制器，频率调节模块，渲染模块，发送模块和接收模块，其中，

显示屏，用于向使用者显示最终的展示图像；

控制器，用于计算信号延迟时间，标准刷新频率，以及刷新频率补充变量等，并通过系统部件获得带宽以及帧平均图像文件大小。

渲染模块，用于根据接收智能终端发送的动作解析结果对图像进行渲染；

发送模块，用于向智能设备发送检测信号，

接收模块，用于接收解析的动作信号以及答复信号。

本发明通过设置动态的显示刷新频率的方法，有效缓解了使用者感受到的显示延迟现象。

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需要说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用一方便、清晰地辅助说明本发明实施例的目的。

在本发明的描述中，需要理解的是，术语“上”、“下”、“垂直”、“顶”、“底”、“内”、“外”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种实现与智能终端、与vr设备交互的方法，其特征在于：该方法包括：

S1.设备标准延迟时间初始化步骤，具体包括：在设备开机，完成智能终端与vr设备互连后，由vr设备向智能设备发送检测信号S1，智能终端在接收到上述检测信号S1后，随即向vr设备发送答复信号S2；vr设备接受到答复信号S2之后，计算检测信号S1的发送时间以及答复信号S2的接收时间之间的时间差，将上述时间差除以2获得标准延迟时间差Δt₀；

S2.根据标准延迟时间确定vr设备显示品的标准刷新频率，并采用标准刷新频率作为显示的刷新频率，具体包括：vr设备显示器具有固有刷新频率F，在确定标准延迟时间差Δt₀之后，通过该标准延迟时间差来确定标准刷新频率，该标准刷新频率的实现是通过一变频调节器来实现的，该变频调节器将vr显示设备的刷新频率调整为标准刷新频率，该标准刷新频率为F₀＝F*(1-Δt₀F)；在获得该标准刷新频率后，将该标准刷新频率作为显示的刷新频率；通过将显示刷新频率规定为标准刷新频率，根据信号延迟情况调整了显示刷新频率；

S3.检测智能终端触摸屏的触摸控制类型，具体包括：通过智能终端的触摸控制器判断触摸的类型，智能终端的触摸控制器将触摸的类型分类分为：平移开始状态、平移中继状态，旋转开始状态、旋转中继状态、缩放开始状态、缩放中继状态，具体的判断方式根据手指动作与触控方式的对应关系来确定；

S4.根据触摸控制类型进一步确定相应的刷新频率补充变量，具体包括：当智能终端的触摸控制器将触摸的类型分类为各类开始状态，即平移开始状态、旋转开始状态、缩放开始状态时，进一步提高显示的刷新频率，此时的刷新频率调整为：标准刷新频率+刷新频率补充变量；

其中，刷新频率补充变量为：

其中，A为本时刻动作出发前的各图像帧的平均图像文件大小的平均值；F0为标准刷新频率；C为智能终端和vr设备连接的带宽；k为调节常数k＝5.74×10³；

当智能终端的触摸控制器将触摸的类型分类为各类中继状态，即平移中继状态、旋转中继状态、缩放中继状态时，保持刷新频率调整为标准刷新频率。

2.一种执行如权利要求1所述的实现与智能终端、与vr设备交互的方法的装置，其特征在于：

该装置包括智能终端以及vr设备，其中智能终端和vr设备通过无线通讯网络连接；

其中，智能终端包括触摸屏，动作解析模块，发送模块和接收模块，其中：

触摸屏，用于接收使用者在其上进行动作的动作输入；

动作解析模块，用于接收上述动作输入，并根据既定规则对于该动作输入进行动作解析，当输入的动作，解析为未来在显示器上视角的变换方式，并根据既定规则判断触摸类型；

发送模块，用于将动作解析出的视角变换方式和触摸类型发送给vr设备；

接收模块，用于接收vr设备发送的检测信号；

vr设备，包括显示屏，控制器，频率调节模块，渲染模块，发送模块和接收模块，其中，

显示屏，用于向使用者显示最终的展示图像；

控制器，用于计算信号延迟时间，标准刷新频率，以及刷新频率补充变量，并通过系统部件获得带宽以及帧平均图像文件大小；

渲染模块，用于根据接收智能终端发送的动作解析结果对图像进行渲染；

发送模块，用于向智能设备发送检测信号，

接收模块，用于接收解析的动作信号以及答复信号。

Images