CN111124116A - 一种虚拟现实中与远距离物体交互方法及系统 - Google Patents

Abstract

本公开公开了一种虚拟现实中与远距离物体交互方法及系统，基于包括动捕设备在内的的软硬件条件，利用手势，视角中心点射线以及语音的输入方式，提供了一种远距离物体交互方式，利用多输入通道定义的交互手段，提出VR/AR中远距离物体交互方式，达到为使用者提供更高效快捷与远距离物体交互的目的；它是一种混合多输入通道的人机交互方式：利用手势，视角中心点射线，以及语音输入的方式混合而成的一种交互方法；它是一种高效率的交互方式：准确率高，速度快，交互方法简单易用；提出了一种远距离物体交互方法：填补了这方面的空白，同时解决了在虚拟现实和增强现实中与远距离物体交互困难的问题。

Description

一种虚拟现实中与远距离物体交互方法及系统

技术领域

本公开涉及虚拟现实、增强现实，人机交互，图像处理技术领域，具体涉及一种虚拟现实中与远距离物体交互方法及系统。

背景技术

当前在VR中，与物体和场景交互的主要方式还是通过手柄去近距离交互物体，包括抓取与释放，触碰与按下按键等功能，没有设计与远距离物体交互的形式。在AR中，通常通过手势识别的方法去进行一些交互，例如点击，双击，返回，不涉及与物体的直接交互，而是使用了我们熟悉的类鼠标操作。在VR/AR中，目前仍没有一种能够自然又高效的人机交互方式，更别说对于虚拟中的远处物体的操控。在现有技术的IEEE VR会议中有一篇文章尝试去研究虚拟世界里远距离物品的交互，但仅是比较了各个交互方式(语音，手势，手柄)的效率和实用性，并没有提出一种新的交互方式。

发明内容

本公开提供一种虚拟现实中与远距离物体交互方法及系统，基于包括手势识别设备在内的软硬件条件，利用手势，视角中心点射线以及语音的输入方式，提供了一种远距离物体交互方式，利用多输入通道定义的交互手段，提出VR/AR中远距离物体交互方式，达到为使用者提供更高效快捷与远距离物体交互的目的。

为了实现上述目的，根据本公开的一方面，提供一种虚拟现实中与远距离物体交互方法，所述方法包括以下步骤：

操作员穿戴上头戴式设备和手势识别设备；

头戴式设备包括VR头盔、控制头盔、眼镜、戴上耳机，耳机集成有麦克风或独立佩戴一个麦克风，用于语音输入；

手势识别设备包括RGB相机、深度相机、动捕手套或Leapmotion体感控制器；

通过在操作员身上的头盔或眼镜上的相机传感器，采集操作员的手势图像进行手势识别；

当操作员的手做出相应的手势动作，反馈为执行目标的响应运动；

S100：控制头戴式设备朝向以控制视角中心点的位置，通过头戴式设备的视角中心点发出射线进行选择，通过选取中心点位置选中目标；

S200：握拳并马上松开，或语音输入确认指令；

S300：旋转和调整数值：确认以后，拇指和食指成捏紧状，旋转手腕控制目标的旋转或者调整数值，顺时针为增，逆时针为减，或在捏紧状后，语音输入加指令或者减指令或停指令来控制数值和旋转；

S400：移动目标的位置，对目标握拳不松开持续2秒后，移动手的位置来控制目标的位置；

S500：召唤目标到近处：五指张开，视线和手掌朝向目标持续2秒，或视线朝目标时语音输入召唤指令；召唤的意义为拉近目标到近处，减小目标的距离，目标的大小不变，并不做目标的放缩操作；

S500：放缩目标大小：进入移动目标位置状态时，另一只手也握拳进去视野，双手握拳移动对目标进行放缩，或双手握拳后，语音输入加指令或者减指令或停指令来控制目标大小。

进一步地，语音输入确认指令、加指令、减指令、停指令、召唤指令分别为语音输入“确认”、“加”、“减”、“停”、“召唤”语音。

进一步地，头戴式设备包括VR头盔、控制头盔、眼镜、戴上耳机；手势识别设备包括RGB相机、深度相机、动捕手套或Leap motion体感控制器；通过在操作员身上的头盔或眼镜上的相机传感器，采集操作员的手势图像进行手势识别；当操作员的手做出相应的手势动作，反馈为执行目标的响应运动。

将控制目标引用至视角中心控件；

当控制目标实例化时，将控制目标引用至Unity3D中的动画器；

当视角中心控件进行实例化时，将视角中心控件引用至Unity3D中的动画器；

将控制目标引用至视角中心控件。

设头戴式设备显示屏幕中心点为原点，获得输入的屏幕坐标，取得通过二维坐标映射视角中心控件的控制目标的约束范围参数，并转换为三维坐标并赋值给视角中心控件的目标的位置属性。

划分取屏幕中心点为原点a(x1,y1)，取任意屏幕坐标b(x2,y2),计算得到c＝(((x2-x1)/x1),(y2-y1)/y1)＝(x3,y3)，其中，z轴的坐标默认不变，c乘以约束相关参数得到的控制目标坐标。

本公开还提供了一种虚拟现实中与远距离物体交互系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

目标选中单元，用于控制头戴式设备朝向以控制视角中心点的位置，通过头戴式设备的视角中心点发出射线进行选择，通过选取中心点位置选中目标；

目标确认单元，用于握拳并马上松开，或语音输入确认指令；

旋转调整单元，用于握旋转和调整数值：确认以后，拇指和食指成捏紧状，旋转手腕控制目标的旋转或者调整数值，顺时针为增，逆时针为减，或在捏紧状后，语音输入加指令或者减指令或停指令来控制数值和旋转；

移动目标单元，用于移动目标的位置，对目标握拳不松开持续2秒后，移动手的位置来控制目标的位置；

召唤目标单元，用于召唤目标到近处：五指张开，视线和手掌朝向目标持续2秒，或视线朝目标时语音输入召唤指令；

放缩目标单元，用于放缩目标大小：进入移动目标位置状态时，另一只手也握拳进去视野，双手握拳移动对目标进行放缩，或双手握拳后，语音输入加指令或者减指令或停指令来控制目标大小。

本公开的有益效果为：本公开提供一种虚拟现实中与远距离物体交互方法及系统，(1)它是一种混合多输入通道的人机交互方式：利用手势，视角中心点射线，以及语音输入的方式混合而成的一种交互方法。(2)它是一种高效率的交互方式：准确率高，速度快，交互方法简单易用。(3)提出了一种远距离物体交互方法：填补了这方面的空白，同时解决了在虚拟现实和增强现实中与远距离物体交互困难的问题。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为一种虚拟现实中与远距离物体交互方法的流程图；

图2所示为一种虚拟现实中与远距离物体交互系统结构图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为根据本公开的一种虚拟现实中与远距离物体交互方法的流程图，下面结合图1来阐述根据本公开的实施方式的一种虚拟现实中与远距离物体交互方法。

本公开提出一种虚拟现实中与远距离物体交互方法，具体包括以下步骤：

操作员穿戴上头戴式设备和手势识别设备；

头戴式设备包括VR头盔、控制头盔、VR眼镜；

手势识别设备包括RGB相机、深度相机、动捕手套或Leapmotion体感控制器；

通过在操作员身上的头戴式设备上的相机传感器，采集操作员的手势图像；

当操作员的手做出相应的手势动作，反馈为执行目标的响应运动；

进行选择，通过头戴式设备的视角中心点发出射线进行选择。

进一步地，头戴式设备包括VR头盔、控制头盔、眼镜、戴上耳机；手势识别设备包括RGB相机、深度相机、动捕手套或Leap motion体感控制器；通过在操作员身上的头盔或眼镜上的相机传感器，采集操作员的手势图像进行手势识别；当操作员的手做出相应的手势动作，反馈为执行目标的响应运动。

下面是交互方法的文字描述：

①选择：通过头戴式设备的视角中心点发出射线进行选择。

②确认：握拳并马上松开，或语音“确认”。

③旋转和调整数值：确认以后，拇指和食指成捏状，旋转手腕控制目标的旋转或者调整数值，顺时针为增，逆时针为减，或在捏状后，语音输入“加”或者“减”以及“停”来控制数值和旋转。

④移动目标的位置：对目标握拳不松开持续2秒后，移动手的位置来控制目标的位置。

⑤召唤目标到近处：五指张开，视线和手掌朝向目标持续2秒，或视线朝目标时语音输入“召唤”。

⑥放缩目标大小：进入移动目标位置状态时，另一只手也握拳进去视野，双手握拳移动对目标进行放缩，或双手握拳后，语音输入“加”或者“减”以及“停”来控制目标大小。

在实施例中，可以针对手势操作改变控制目标的注视相机的使用行为，具体步骤如下：

A：初始化三维控制目标，初始Animator组件；添加LookAtTarget组件，实例化控制目标；

B：初始化配置及读取相关注视参数：

控制目标实例化后赋值给LookAtTarget.target属性；

LookAtTarget.pitchArea—>(pitch1,pitch2)控制目标左右移动；

LookAtTarget.yawArea—>(yaw1,yaw2)控制目标上下移动；

LookAtTarget.rollArea—>(roll1,roll2)控制目标翻滚移动；

C：LookAtTarget添加void OnAnimatorIK()接口使用Animator.SetLookAtPosition接口取得target的position属性，使用Animator.SetLookAtWeight接口取得Animator的(weight、bodyWeight、headWeight、eyesWeight、clampWeight)属性。

D：注视点的三维坐标的映射，最终达到实现角色注视相机的效果。

在一些实施例中，头戴式设备的屏幕坐标与注视点的三维坐标的映射为以下步骤：

划分头戴式设备屏幕区域，取屏幕中心点为原点a(x1,y1)，取任意屏幕坐标b(x2,y2),即得到

c＝(((x2-x1)/x1),(y2-y1)/y1)＝(x3,y3)；

z轴的坐标默认不变，c为控制目标坐标；

targetPosition＝((Mathf.Lerp(pitch1,pitch2,x3),Mathf.Lerp(yaw1,yaw2,y3),z)；

并把该值赋予给LookAtTarget的target的position属性。即可映射屏幕坐标改变控制目标注视行为。

本公开的交互行为种类，共分成6类，分别是选择，确认，旋转，移动，召唤，放缩。这五种交互种类都是在当今世界里常用的方式，还具有学习成本低的特点。

本公开的实施例提供的一种虚拟现实中与远距离物体交互系统，如图2所示为本公开的一种虚拟现实中与远距离物体交互系统结构图，该实施例的一种虚拟现实中与远距离物体交互系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种虚拟现实中与远距离物体交互系统实施例中的步骤。

所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

目标选中单元，用于控制头戴式设备朝向以控制视角中心点的位置，通过头戴式设备的视角中心点发出射线进行选择，通过选取中心点位置选中目标；

目标确认单元，用于握拳并马上松开，或语音输入确认指令；

旋转调整单元，用于握旋转和调整数值：确认以后，拇指和食指成捏紧状，旋转手腕控制目标的旋转或者调整数值，顺时针为增，逆时针为减，或在捏紧状后，语音输入加指令或者减指令或停指令来控制数值和旋转；

移动目标单元，用于移动目标的位置，对目标握拳不松开持续2秒后，移动手的位置来控制目标的位置；

召唤目标单元，用于召唤目标到近处：五指张开，视线和手掌朝向目标持续2秒，或视线朝目标时语音输入召唤指令；

放缩目标单元，用于放缩目标大小：进入移动目标位置状态时，另一只手也握拳进去视野，双手握拳移动对目标进行放缩，或双手握拳后，语音输入加指令或者减指令或停指令来控制目标大小。

所述一种虚拟现实中与远距离物体交互系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种虚拟现实中与远距离物体交互系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种虚拟现实中与远距离物体交互系统的示例，并不构成对一种虚拟现实中与远距离物体交互系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种虚拟现实中与远距离物体交互系统还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种虚拟现实中与远距离物体交互系统运行系统的控制中心，利用各种接口和线路连接整个一种虚拟现实中与远距离物体交互系统可运行系统的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种虚拟现实中与远距离物体交互系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (6)

1.一种虚拟现实中与远距离物体交互方法，其特征在于，所述方法包括以下步骤：

S100：控制头戴式设备朝向以控制视角中心点的位置，通过头戴式设备的视角中心点发出射线进行选择，通过选取中心点位置选中目标；

S200：握拳并马上松开，或语音输入确认指令；

S300：旋转和调整数值：确认以后，拇指和食指成捏紧状，旋转手腕控制目标的旋转或者调整数值，顺时针为增，逆时针为减，或在捏紧状后，语音输入加指令或者减指令或停指令来控制数值和旋转；

S400：移动目标的位置，对目标握拳不松开持续2秒后，移动手的位置来控制目标的位置；

S500：召唤目标到近处：五指张开，视线和手掌朝向目标持续2秒，或视线朝目标时语音输入召唤指令；

S600：放缩目标大小：进入移动目标位置状态时，另一只手也握拳进去视野，双手握拳移动对目标进行放缩，或双手握拳后，语音输入加指令或者减指令或停指令来控制目标大小。

2.根据权利要求1所述的一种虚拟现实中与远距离物体交互方法，其特征在于，头戴式设备包括VR头盔、控制头盔、眼镜、戴上耳机；手势识别设备包括RGB相机、深度相机、动捕手套或Leap motion体感控制器；通过在操作员身上的头盔或眼镜上的相机传感器，采集操作员的手势图像进行手势识别；当操作员的手做出相应的手势动作，反馈为执行目标的响应运动。

3.根据权利要求1所述的一种虚拟现实中与远距离物体交互方法，其特征在于，在S100中，控制头戴式设备朝向以控制视角中心点的位置，通过头戴式设备的视角中心点发出射线进行选择，通过选取中心点位置选中目标的方法为：将控制目标引用至视角中心控件；当控制目标实例化时，将控制目标引用至Unity3D中的动画器；当视角中心控件进行实例化时，将视角中心控件引用至Unity3D中的动画器；将控制目标引用至视角中心控件。

4.根据权利要求1所述的一种虚拟现实中与远距离物体交互方法，其特征在于，设头戴式设备显示屏幕中心点为原点，获得输入的屏幕坐标，取得通过二维坐标映射视角中心控件的控制目标的约束范围参数，并转换为三维坐标并赋值给视角中心控件的目标的位置属性。

5.根据权利要求1所述的一种虚拟现实中与远距离物体交互方法，其特征在于，取头戴式设备的屏幕中心点为原点a(x1,y1)，取任意屏幕坐标b(x2,y2),计算得到c＝(((x2-x1)/x1),(y2-y1)/y1)＝(x3,y3)，其中，z轴的坐标默认不变，c乘以约束相关参数得到的控制目标坐标。

6.一种虚拟现实中与远距离物体交互系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

目标选中单元，用于控制头戴式设备朝向以控制视角中心点的位置，通过头戴式设备的视角中心点发出射线进行选择，通过选取中心点位置选中目标；

目标确认单元，用于握拳并马上松开，或语音输入确认指令；

旋转调整单元，用于握旋转和调整数值：确认以后，拇指和食指成捏紧状，旋转手腕控制目标的旋转或者调整数值，顺时针为增，逆时针为减，或在捏紧状后，语音输入加指令或者减指令或停指令来控制数值和旋转；

移动目标单元，用于移动目标的位置，对目标握拳不松开持续2秒后，移动手的位置来控制目标的位置；

召唤目标单元，用于召唤目标到近处：五指张开，视线和手掌朝向目标持续2秒，或视线朝目标时语音输入召唤指令；

放缩目标单元，用于放缩目标大小：进入移动目标位置状态时，另一只手也握拳进去视野，双手握拳移动对目标进行放缩，或双手握拳后，语音输入加指令或者减指令或停指令来控制目标大小。

Images