CN106814844A - 一种虚拟现实交互系统及方法 - Google Patents

Abstract

本发明公开了一种虚拟现实交互系统及方法，该系统包括：智能手表，用于采集佩戴者的用户交互信息；主机，其通信连接于智能手表，主机用于接收用户交互信息并对其进行分析及识别，将分析及识别后的用户交互信息作为交互输入信息，并对交互输入信息进行处理后输出相应的音频信号、视频信号及震动信号；头戴式设备，其通信连接于主机，头戴式设备用于输出视频信号及音频信号。实施本发明的有益效果是，实现沉浸式虚拟现实体验，视觉上有身临其境的感觉；实现丰富的交互方式；实现了震动反馈，大大提升交互体验。

Description

一种虚拟现实交互系统及方法

技术领域

本发明涉及虚拟现实、增强现实和多通道交互技术领域，尤其涉及一种虚拟现实交互系统及方法。

背景技术

虚拟现实(VR，Virtual Reality)是当下最火热的话题，不管是在国内外，都已经被推上了风口浪尖。国内外众多厂商推出沉浸式虚拟现实头盔、手机眼镜盒子等产品，但是大多都属于初级的起步阶段，整个生态链的主要产品形态还不是一个定数，大家都沉浸在一种积极的不断创新的良好氛围之中。单独就国内一些做虚拟现实硬件的厂商而言，没有独特的创新技术，主要还是以最初步的显示为主；缺少简单而实用的交互手段，主要还是以普通的蓝牙手柄为主。目前，以Kinect、Oculus Rift、Leap Motion为代表的新型交互技术引起普遍关注，国际一线虚拟现实硬件厂商也开始融合这些新型的交互技术，但目前市面上产品主要还有两个缺点：1、大多只能集成其中的一种或者两种交互方式，还不能做到多种自然交互方式有机地融合。2、为了对应的功能得另外购买对应的外设。

智能手表是近几年提出的一个新型穿戴式设备，它集成了多种传感器于一起，自带显示屏，可以实现多种多样的功能并于其他设备进行通讯和交流。若把智能手表作为与虚拟现实设备交互的桥梁，那就正好可以弥补交互方式的不足，而智能手表也恰恰满足这样的条件。

虚拟现实头戴式设备，目前市场上虚拟现实头戴式设备可以归为两类：虚拟现实手机盒子和虚拟现实头盔。

1)虚拟现实手机盒子

虚拟现实手机盒子解决的问题是如何以最简单最廉价的方式去体验虚拟现实沉浸感，解决方案是讲手机放入虚拟现实手机盒子中，用凸透镜来观看手机屏幕上的内容。这类设备造价特别便宜，材料以硬纸板和塑料为代表，凸透镜材料可以用塑料或者玻璃。这类设备的优点在于降低了普通消费者体验虚拟现实的门槛，屏幕分辨率高的手机来使用体验效果也非常不错。

2)虚拟现实显示头盔

虚拟现实头盔是作为计算机的外部设备代替桌面显示器来使用，并有些扩展功能。VR头盔中有一个小型的显示屏和双目立体视镜，连接计算机后，计算机输出的左右格式立体影像传送到头盔显示屏上，通过立体视镜可观看到立体影像效果，与手机盒子类似可以实现沉浸感。这种虚拟现实头盔还可以有耳机接收计算机的音频输出。利用陀螺仪等实现头部运动感知已经成为虚拟现实头盔的标配。Oculus Rift DK1就是这类虚拟现实头盔的代表。

虚拟现实除了视觉的沉浸感，还需要丰富的人机交互，虚拟现实头盔产品也在往融合更多交互功能方向发展。Oculus Rift DK2及以后产品已经考虑了如何跟踪人的运动。它是通过在头盔上设置一组红外灯，利用远处的一个摄像头捕捉红外光来判断人的运动。

现有VR手机盒子和VR头盔主要解决的是视觉沉浸感，VR手机盒子没有交互功能，VR头盔交互功能有限。

智能手表(Smartwatch)是安装有嵌入式系统、用于增强基于报时等功能的腕部手表，其功能相似于一台个人数码助理。早期智慧手表既可以执行计算、翻译或者操作掌上电子游戏等基本功能，中期智慧手表则实现了可穿戴式电脑的功能。大多数智慧手表可以运行流动软件应用程序，一些可以运行移动操作系统，少数有着完整的移动电话功能。其他的功能大多与便携式多媒体播放有关，比如播放调频广播与音频或视频文件，以及通过蓝牙耳机收听。

这些智能手表可能包括多种多样的功能，例如相机、加速度计、温度计、高度计、气压计、指南针、计时器、计算器、手机、触摸屏、全球定位系统、显示地图、显示图形、外置扬声器、调度器、手表、SD卡，以及作为大容量存储设备等等，而且可以充电。它可与无线耳机、抬头显示器、胰岛素泵、麦克风、调制解调器或其它设备进行通信。

目前市场上主要的智能手表有安卓系统和苹果系统两大阵营，分别以Google公司和苹果公司的产品为主要代表。

但是现有技术的智能手表及头戴式设备受限于技术和成本，一般只有一种或为数不多的几种交互方式，无法实现丰富多样的交互方式。

发明内容

本发明的目的在于提供一种虚拟现实交互系统及方法，解决受限于技术和成本，一般只有一种或为数不多的几种交互方式的问题，实现丰富多样的交互方式。

本发明的技术方案实现如下：

本发明的一个目的在于提供一种虚拟现实交互系统，包括：

智能手表，用于采集佩戴者的用户交互信息；

主机，其通信连接于所述智能手表，所述主机用于接收所述用户交互信息并对其进行分析及识别，将分析及识别后的用户交互信息作为交互输入信息，并对所述交互输入信息进行处理后输出相应的音频信号、视频信号及震动信号，将所述音频信号及视频信号发送至头戴式设备，将所述音频信号及震动信号反馈回所述智能手表；所述智能手表输出所述音频信号及震动信号；

所述头戴式设备，其通信连接于所述主机，所述头戴式设备用于输出所述视频信号及所述音频信号。

在本发明所述的虚拟现实交互系统中，所述智能手表包括：

传感器组件，用于采集所述佩戴者的用户交互信息；

数据处理及标准化模块，其电性连接于所述传感器组件，所述数据处理及标准化模块用于对所述用户交互信息进行过滤和/或格式化；

手表数据无线传输模块，其电性连接于所述数据处理及标准化模块，并与所述主机无线通信，所述手表数据无线传输模块用于将过滤及格式化后的用户交互信息发送至所述主机；

设备控制模块，其电性连接于所述手表数据无线传输模块，所述设备控制模块用于解析所述主机反馈的音频信号及震动信号，控制手表输出模块输出解析后的音频信号及震动信号；

所述手表输出模块，其电性连接于所述设备控制模块，用于输出解析后的音频信号及震动信号。

在本发明所述的虚拟现实交互系统中，所述用户交互信息包括心率、重力加速度、角速度、方向、环境光强及语音，所述传感器组件包括：

心率感应器，用于采集所述佩戴者的心率；

重力加速计，用于采集所述智能手表的重力加速度；

陀螺仪感应器，用于采集所述智能手表的角速度；

电子罗盘，用于采集所述智能手表的方向；

光敏感应器，用于采集所述智能手表的环境光强；

声音传感器，用于采集所述佩戴者的语音。

在本发明所述的虚拟现实交互系统中，所述手表输出模块包括：

震动马达，用于输出所述震动信号；

手表喇叭，用于输出所述音频信号。

在本发明所述的虚拟现实交互系统中，所述主机包括：

主机数据无线传输模块，其与所述智能手表无线通信连接，用于接收所述用户交互信息；

分析识别模块，其与所述主机数据无线传输模块通信连接，用于对所述用户交互信息进行分析及识别；

操作系统模块，其与所述分析识别模块通信连接，用于将分析及识别后的用户交互信息作为交互输入信息，并对所述交互输入信息进行处理；

输出模块，其与所述操作系统模块及所述主机数据无线传输模块通信连接，用于输出相应的音频信号、视频信号及震动信号，其中，所述操作系统模块藉由所述输出模块将所述音频信号及视频信号发送至头戴式设备，将所述音频信号及震动信号反馈回所述智能手表。

在本发明所述的虚拟现实交互系统中，所述分析识别模块包括：

心率分析单元，用于分析所述心率；

加速度分析单元，用于分析所述重力加速度；

陀螺仪分析单元，用于分析所述角速度；

方向信号识别单元，用于识别所述方向；

光敏信号识别单元，用于识别所述环境光强；

语音识别单元，用于识别所述语音。

在本发明所述的虚拟现实交互系统中，所述输出模块包括：

显示信号输出单元，用于输出视频信号；

声音信号输出单元，用于输出音频信号；

震动信号输出单元，用于输出震动信号。

在本发明所述的虚拟现实交互系统中，所述头戴式设备包括：

显示器，其通信连接于所述显示信号输出单元，用于输出所述视频信号；

头戴式设备喇叭，其通信连接于所述声音信号输出单元，用于输出所述音频信号。

另一方面，提供一种虚拟现实交互方法，提供如上所述的虚拟现实交互系统，包括：

智能手表采集佩戴者的用户交互信息；

主机接收所述用户交互信息并对其进行分析及识别，将分析及识别后的用户交互信息作为交互输入信息，并对所述交互输入信息进行处理后输出相应的音频信号、视频信号及震动信号，将所述音频信号及视频信号发送至头戴式设备，将所述音频信号及震动信号反馈回所述智能手表；

所述智能手表输出所述音频信号及震动信号；所述头戴式设备输出所述视频信号及所述音频信号。

在本发明所述的虚拟现实交互方法中，所述用户交互信息包括心率、重力加速度、角速度、方向、环境光强及语音。

因此，本发明的有益效果是，实现沉浸式虚拟现实体验，视觉上有身临其境的感觉；实现丰富的交互方式，包括语音、心率、手势、方向、光线。单手操作，集多种操作方式为一体，特别是重力加速度传感器和陀螺仪传感器的加入，使得手势识别更加精确，对用户体验提升明显；实现了震动反馈，大大提升交互体验。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明提供的一种虚拟现实交互系统的结构框图；

图2为本发明提供的一种虚拟现实交互方法的流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，以下将对照附图详细说明本发明的具体实施方式。应当理解，以下说明仅为本发明实施例的具体阐述，不应以此限制本发明的保护范围。

本发明提供一种虚拟现实交互系统及方法，其目的在于，通过多传感器实时数据采集模块，可适配市场上大部分智能手表1，实现了根据智能手机所搭载的传感器来采集数据，并传输到虚拟现实设备端。通过实时传输采集到的传感器数据，实时效率要求较高。实现智能交互，系统能够智能分析和理解传感器数据，进而理解人的命令和状态，把丰富的输入和高质量的应用结合起来，形成精彩的虚拟现实体验环境。通过设置多采集端，并且采集端设备可随时更换，更可多采集端同时匹配工作，营造多人联机场景。增设云端语音语义识别，实时云端解析语音数据，智能处理语音输入。

本申请基于智能手表1的虚拟现实设备交互系统。是一套既有硬件、也有软件的虚拟现实交互系统。

硬件部分主要由虚拟现实设备主机2以及虚拟现实显示头盔组成，前者主要负责运行整个软件系统，后者主要负责显示功能。软件部分主要由智能手表1端的软件以及虚拟现实设备端的软件组成，其中你和主要负责数据采集和设备控制，后者主要负责数据处理、软件运行、显示和音频信号的输出等。

此系统实现多传感器数据的采集和处理，实现人和智能手表1、手表和虚拟现实系统之间的交互。语音、加速度、陀螺仪、方向都可以成为交互因素，并与沉浸式3D显示融为一体。体现了以人为中心的交互思想，用户可以以手势动作和语音发布指令，系统呈现相应地3D立体显示并通过声音和振动来给出动作反馈。除了以上的显示交互方式，还有心率和光照等隐式交互方式，根据实际情况来采集相关信息，形成一种丰富、真实、自然的交互环境。

参见图1，图1为本发明提供的一种虚拟现实交互系统的结构框图，该虚拟现实交互系统包括：

智能手表1，用于采集佩戴者的用户交互信息；用户使用戴着手表的手做出相应的动作或发出相应的语音命令。

主机2，其通信连接于所述智能手表1，所述主机2用于接收所述用户交互信息并对其进行分析及识别，将分析及识别后的用户交互信息作为交互输入信息，并对所述交互输入信息进行处理后输出相应的音频信号、视频信号及震动信号，将所述音频信号及视频信号发送至头戴式设备3，将所述音频信号及震动信号反馈回所述智能手表1；所述智能手表1输出所述音频信号及震动信号；用户佩戴头戴式头盔和智能手表1，可以看到相应的场景，听到相应的声音。即用户通过头盔显示器31看到新的画面、听到新的声音，通过智能手表1感受到反馈的震动。

所述头戴式设备3，其通信连接于所述主机2，所述头戴式设备3用于输出所述视频信号及所述音频信号。

关于上述通信连接方式，智能手表1和虚拟现实设备的通信主要是采集的传感器的数据传输，主要是无线方式，因此连接可以有以下两类：

(1)蓝牙无线通讯技术连接

(2)无线WIFI通讯技术连接

具体的，所述智能手表1包括：

传感器组件11，用于采集所述佩戴者的用户交互信息；

数据处理及标准化模块12，其电性连接于所述传感器组件11，所述数据处理及标准化模块12用于对所述用户交互信息进行过滤和/或格式化；主动采集传感器数据并通过简单的过滤处理，在某些设备上还会对数据进行重新格式化的处理，以统一对虚拟现实设备端的标准化输入。

手表数据无线传输模块13，其电性连接于所述数据处理及标准化模块12，并与所述主机2无线通信，所述手表数据无线传输模块13用于将过滤及格式化后的用户交互信息发送至所述主机2；实现只能手表端和虚拟现实设备端的无线双向数据传输。

设备控制模块14，其电性连接于所述手表数据无线传输模块13，所述设备控制模块14用于解析所述主机2反馈的音频信号及震动信号，控制手表输出模块15输出解析后的音频信号及震动信号；设备控制模块14解析反馈数据的内容并控制振动马达和喇叭进行相应反馈操作。负责接受指令，并控制智能手表1端的马达震动和喇叭。

所述手表输出模块15，其电性连接于所述设备控制模块14，用于输出解析后的音频信号及震动信号。

其中，数据处理及标准化模块12、手表数据无线传输模块13及设备控制模块14为数据采集模块，数据采集模块根据市场上主流智能手机定制，根据其搭载的不同的操作系统来设计相应的数据采集软件，目前主流智能手表1的操作系统主要有两个，一个是Andorid一个是IOS。可根据不同的智能手表1所配备的传感器的个数来定制数据采集模块。

具体的，所述用户交互信息包括心率、重力加速度、角速度、方向、环境光强及语音，即数据采集模块会自动采集心率感应器111、重力加速计112、陀螺仪113、电子罗盘114、光敏感应器115、声音传感器116的数据，并对数据进行简单过滤和格式化，然后传送给数据无线传输模块，智能手表1端的数据无线传输模块把实时数据不断传输给虚拟现实设备端的数据无线传输模块。智能手表1段接收到反馈数据，并发送给设备控制模块14。所述传感器组件11包括：

心率感应器111，用于采集所述佩戴者的心率；

重力加速计112，用于采集所述智能手表1的重力加速度；

陀螺仪感应器113，用于采集所述智能手表1的角速度；

电子罗盘114，用于采集所述智能手表1的方向；

光敏感应器115，用于采集所述智能手表1的环境光强；

声音传感器116，用于采集所述佩戴者的语音。

具体的，所述手表输出模块15包括：

震动马达151，用于输出所述震动信号；

手表喇叭152，用于输出所述音频信号。

具体的，所述主机2包括：

主机数据无线传输模块21，其与所述智能手表1无线通信连接，用于接收所述用户交互信息；

分析识别模块22，其与所述主机数据无线传输模块21通信连接，用于对所述用户交互信息进行分析及识别；

操作系统模块23，其与所述分析识别模块22通信连接，用于将分析及识别后的用户交互信息作为交互输入信息，并对所述交互输入信息进行处理；如图，操作系统模块23包括操作系统及应用，应用：运行于操作系统之上，负责与用户交互，处理交互数据，并依赖于操作系统输出相应的音视频信号。操作系统：负责和硬件交互，是管理控制硬件及软件资源的计算机程序，任何其他软件都必须在操作系统软件的支持下运行。在虚拟现实设备端，应用运行于操作系统之上，应用负责和用户交互，操作系统负责与硬件交互。应用基于交互接口开发，负责处理输入和输出相应的音视频信号。用户可以在头戴式设备3中看到相应的图像显示，并听到相应的声音。在智能手表1端，得安装与不同的只能手表相匹配的数据采集软件，负责实时采集数据并传输到虚拟现实设备。应用接收到输入，根据逻辑做出相应的处理，向操作系统输出相应的音频信号、视频信号、震动信号。

输出模块24，其与所述操作系统模块23及所述主机数据无线传输模块21通信连接，用于输出相应的音频信号、视频信号及震动信号，其中，所述操作系统模块23藉由所述输出模块将所述音频信号及视频信号发送至头戴式设备3，将所述音频信号及震动信号反馈回所述智能手表1。操作系统向头盔硬件分发视频信号和音频信号，并把震动信号和音频信号交由数据无线传输模块对智能手表1端进行数据反馈。虚拟现实设备端的数据无线传输模块向智能手表1端的数据无线传输模块实时传输反馈数据。

具体的，虚拟现实设备端在接收到数据后进行分析和识别，包括心率分析、加速度分析、陀螺仪分析、方向信号识别、光敏信号识别、语音识别。分析和识别完成的信号，将传输给应用，作为交互输入。所述分析识别模块22包括：

心率分析单元221，用于分析所述心率；分析接收到的心率数据来针对生理状态进行评估。

加速度分析单元222，用于分析所述重力加速度；分析接收到的重力加速度感应器数据。

陀螺仪分析单元223，用于分析所述角速度；分析接收到的陀螺仪感应器数据。

方向信号识别单元224，用于识别所述方向；分析接收到的电子罗盘感应器数据。

光敏信号识别单元225，用于识别所述环境光强；分析接收到的光敏感应器数据。

语音识别单元226，用于识别所述语音。识别接收到的语音数据，解析出指令。

具体的，所述输出模块24包括：

显示信号输出单元241，用于输出视频信号；

声音信号输出单元242，用于输出音频信号；

震动信号输出单元243，用于输出震动信号。

具体的，所述头戴式设备3包括：

显示器31，其通信连接于所述显示信号输出单元，用于输出所述视频信号；负责接收视频信号并显示。

头戴式设备喇叭32，其通信连接于所述声音信号输出单元，用于输出所述音频信号。负责接收音频信号并播放。

参见图2，图2为本发明提供的一种虚拟现实交互方法的流程图，该虚拟现实交互方法，采用如上所述的虚拟现实交互系统，该方法包括：

智能手表1采集佩戴者的用户交互信息；

主机2接收所述用户交互信息并对其进行分析及识别，将分析及识别后的用户交互信息作为交互输入信息，并对所述交互输入信息进行处理后输出相应的音频信号、视频信号及震动信号，将所述音频信号及视频信号发送至头戴式设备3，将所述音频信号及震动信号反馈回所述智能手表1；

所述智能手表1输出所述音频信号及震动信号；所述头戴式设备3输出所述视频信号及所述音频信号。

其中，所述用户交互信息包括心率、重力加速度、角速度、方向、环境光强及语音。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (10)

1.一种虚拟现实交互系统，其特征在于，包括：

智能手表，用于采集佩戴者的用户交互信息；

主机，其通信连接于所述智能手表，所述主机用于接收所述用户交互信息并对其进行分析及识别，将分析及识别后的用户交互信息作为交互输入信息，并对所述交互输入信息进行处理后输出相应的音频信号、视频信号及震动信号，将所述音频信号及视频信号发送至头戴式设备，将所述音频信号及震动信号反馈回所述智能手表；所述智能手表输出所述音频信号及震动信号；

所述头戴式设备，其通信连接于所述主机，所述头戴式设备用于输出所述视频信号及所述音频信号。

2.根据权利要求1所述的虚拟现实交互系统，其特征在于，所述智能手表包括：

传感器组件，用于采集所述佩戴者的用户交互信息；

数据处理及标准化模块，其电性连接于所述传感器组件，所述数据处理及标准化模块用于对所述用户交互信息进行过滤和/或格式化；

手表数据无线传输模块，其电性连接于所述数据处理及标准化模块，并与所述主机无线通信，所述手表数据无线传输模块用于将过滤及格式化后的用户交互信息发送至所述主机；

设备控制模块，其电性连接于所述手表数据无线传输模块，所述设备控制模块用于解析所述主机反馈的音频信号及震动信号，控制手表输出模块输出解析后的音频信号及震动信号；

所述手表输出模块，其电性连接于所述设备控制模块，用于输出解析后的音频信号及震动信号。

3.根据权利要求2所述的虚拟现实交互系统，其特征在于，所述用户交互信息包括心率、重力加速度、角速度、方向、环境光强及语音，所述传感器组件包括：

心率感应器，用于采集所述佩戴者的心率；

重力加速计，用于采集所述智能手表的重力加速度；

陀螺仪感应器，用于采集所述智能手表的角速度；

电子罗盘，用于采集所述智能手表的方向；

光敏感应器，用于采集所述智能手表的环境光强；

声音传感器，用于采集所述佩戴者的语音。

4.根据权利要求2所述的虚拟现实交互系统，其特征在于，所述手表输出模块包括：

震动马达，用于输出所述震动信号；

手表喇叭，用于输出所述音频信号。

5.根据权利要求3所述的虚拟现实交互系统，其特征在于，所述主机包括：

主机数据无线传输模块，其与所述智能手表无线通信连接，用于接收所述用户交互信息；

分析识别模块，其与所述主机数据无线传输模块通信连接，用于对所述用户交互信息进行分析及识别；

操作系统模块，其与所述分析识别模块通信连接，用于将分析及识别后的用户交互信息作为交互输入信息，并对所述交互输入信息进行处理；

输出模块，其与所述操作系统模块及所述主机数据无线传输模块通信连接，用于输出相应的音频信号、视频信号及震动信号，其中，所述操作系统模块藉由所述输出模块将所述音频信号及视频信号发送至头戴式设备，将所述音频信号及震动信号反馈回所述智能手表。

6.根据权利要求5所述的虚拟现实交互系统，其特征在于，所述分析识别模块包括：

心率分析单元，用于分析所述心率；

加速度分析单元，用于分析所述重力加速度；

陀螺仪分析单元，用于分析所述角速度；

方向信号识别单元，用于识别所述方向；

光敏信号识别单元，用于识别所述环境光强；

语音识别单元，用于识别所述语音。

7.根据权利要求5所述的虚拟现实交互系统，其特征在于，所述输出模块包括：

显示信号输出单元，用于输出视频信号；

声音信号输出单元，用于输出音频信号；

震动信号输出单元，用于输出震动信号。

8.根据权利要求7所述的虚拟现实交互系统，其特征在于，所述头戴式设备包括：

显示器，其通信连接于所述显示信号输出单元，用于输出所述视频信号；

头戴式设备喇叭，其通信连接于所述声音信号输出单元，用于输出所述音频信号。

9.一种虚拟现实交互方法，提供如权利要求1所述的虚拟现实交互系统，其特征在于，包括：

智能手表采集佩戴者的用户交互信息；

主机接收所述用户交互信息并对其进行分析及识别，将分析及识别后的用户交互信息作为交互输入信息，并对所述交互输入信息进行处理后输出相应的音频信号、视频信号及震动信号，将所述音频信号及视频信号发送至头戴式设备，将所述音频信号及震动信号反馈回所述智能手表；

所述智能手表输出所述音频信号及震动信号；所述头戴式设备输出所述视频信号及所述音频信号。

10.根据权利要求9所述的虚拟现实交互方法，其特征在于，所述用户交互信息包括心率、重力加速度、角速度、方向、环境光强及语音。