CN105031918B - 一种基于虚拟现实技术的人机交互系统 - Google Patents

Abstract

本发明涉及一种基于虚拟现实技术的人机交互系统。包括虚拟现实眼镜；虚拟现实眼镜包括眼镜外壳、立体视镜、显示屏幕插口、显示屏幕和头带；显示屏幕通过显示屏幕插口与虚拟现实眼镜连接；立体视镜设置在用户眼部与显示屏幕之间；还包括眼镜控制模块和触摸传感器。本发明提供了一种沉浸感逼真、交互性好的人机交互系统。

Description

一种基于虚拟现实技术的人机交互系统

技术领域

本发明属于虚拟现实领域，涉及一种人机交互系统，尤其涉及一种基于虚拟现实技术的人机交互系统。

背景技术

近年来，由于虚拟现实技术其逼真实时的内容展现形式，很多热门行业例如游戏、电影等公司纷纷大力开发虚拟现实世界。作为虚拟现实走入市场的关键驱动力，便捷、符合人类交互特征的人机交互体验成为新的关注领域。

在虚拟现实系统中，通常要求用户佩戴虚拟现实眼镜，利用手持式遥控器或者是位于人体各个部位的传感器来跟踪用户的运动，最后将人体的这种运动同步至虚拟现实场景之中，以达到提升用户沉浸感的目的。然而，在现有虚拟现实类产品中，存在一个问题：人的感官分别是形、声、色、味、触，人体在自然界中得到感官反馈越实时、越真实，在虚拟世界里的沉浸感就会更逼真，尤其在与周围环境之间交互时，触觉回馈占着很重要的比重，因此仅仅从视觉和听觉上并不能让用户感受身临其境的体验，这就需要一种更好的人机交互系统来解决上述问题。

发明内容

为了解决背景技术中所提到的人机交互触觉回馈的问题，本发明提出了一种基于虚拟现实技术的人机交互系统，当用户需要与虚拟世界进行交互时，只需要在触摸传感器上进行操作，触摸传感器会感测用户运动过程中产生的状态信号，如运动速度、运动方向、运动加速度、运动频率，此状态信号通过数据传输模块发送至虚拟现实眼镜中，由眼镜控制模块处理后同步在显示屏幕上的虚拟现实场景中，完成人机交互。本发明旨在解决虚拟现实类产品交互感不明显、沉浸感不好的问题。在现有的技术中，还没有针对该问题的解决方法。可以想到最简单的方式是加入触觉反馈，但是相应的又会降低视觉和听觉上的体验效果，而本发明从更好的用户体验出发，将通过结合虚拟现实技术解决这一问题。

本发明的技术方案为：1.一种基于虚拟现实技术的人机交互系统，包括虚拟现实眼镜；上述虚拟现实眼镜包括眼镜外壳、立体视镜、显示屏幕插口、显示屏幕和头带；上述显示屏幕通过显示屏幕插口与虚拟现实眼镜连接；上述立体视镜设置在用户眼部与显示屏幕之间；其特殊之处在于：

还包括眼镜控制模块和触摸传感器；

上述眼镜控制模块包括惯性传感器、第一数据处理模块、第一供电模块、第一数据传输模块和控制按键；

上述惯性传感器用于感测用户头部的位置变化和姿态变化，包括加速度、角速度和磁通量；

上述第一数据处理模块用于将惯性传感器感测到的原始数据转换为用户头部运动时的位置信息和姿态信息；所述惯性传感器为加速度传感器和角速度传感器；

上述角速度传感器得到用户头部在空间中的三轴角增量信息；

上述加速度传感器得到用户头部在空间中的三轴瞬时加速度信息，结合重力信息，利用三角函数可以求得各轴与重力分量的夹角，与角速度传感器得到的角度进行对比矫正；

上述控制按键包括上、下、左、右的方向控制和选择、切换、返回命令控制；

上述第一供电模块为提供显示屏幕提供电能；

上述第一数据传输模块用于接收来自触摸传感器的数据，并且将控制指令发送给触摸传感器；

上述触摸传感器包括传感阵列、第二数据处理模块、第二供电模块、和第二数据传输模块；

上述传感阵列用于感测当用户控制触摸传感器时发生运动的动作信号或人体姿态信号；

上述动作信号和姿态信号均来自用户，并通过惯性传感器、传感阵列分别将信息传送给第一数据处理模块、第二数据处理模块进行信号处理；上述动作信号和姿态信号包括点击、双击、滑动、甩动、移动、平移、圆周运动；

上述第二数据处理模块用于监测来自传感阵列输出信号，并且当检测到输出信号的触发或关闭信息时触发指令；

上述第二数据传输模块用于接收来自眼镜控制模块的控制指令，并且将触摸传感器的感测数据发送给眼镜控制模块；

上述虚拟现实眼镜与触摸传感器之间通过无线数据传输模块进行数据交换；

上述触摸传感器还包括振动传感器；

上述惯性传感器还包括地磁计；所述地磁计感测到的磁通量信息对角速度传感器进行偏移校正；

上述显示屏幕为智能手机或LED显示屏或平板电脑；

上述无线数据传输模块104可以选自蓝牙、无线WIFI、红外线、NFC、RFID；

上述第一供电模块、第二供电模块为一次性电池或可充电电池。

本发明的优点是：从技术角度看，本发明旨在解决虚拟现实类产品沉浸感不逼真、交互性不好的问题。在现有的技术中，还没有针对该问题的解决方法。可以想到最简单的方式是加入触觉反馈，但是相应的又会降低视觉和听觉上的体验效果，而本发明从更好的用户体验出发，将通过结合虚拟现实技术解决这一问题。

附图说明

图1是根据本发明的优选实施例的基于虚拟现实技术的人机交互系统；

图2是本发明优选实施例的触摸传感器；

图3是本发明的一个具体实施例的虚拟现实眼镜的产品结构图；

图4示出了根据本发明的一个实施例当触摸传感器感测到用户的滑动、点击或移动动作并触发指令的过程；

图5是根据本发明的一个实施例当触摸传感器直接与虚拟现实眼镜相连的操作过程；

其中101-虚拟现实眼镜、102-眼镜控制模块、103-触摸传感器、104-无线数据传输模块、101a-显示屏幕插口、102a-惯性传感器、102b-第一数据处理模块、102c-第一供电模块、102d-第一数据传输模块、102e-控制按键、103a-传感阵列、103b-第二数据处理模块、103c-第二供电模块、103d-第二数据传输模块、103e-振动传感器、301-眼镜外壳、302-立体视镜、303-显示屏、304-头带。

具体实施方式

参见图1-5，一种基于虚拟现实技术的人机交互系统，包括虚拟现实眼镜101；虚拟现实眼镜101包括眼镜外壳、立体视镜、显示屏幕插口101a、显示屏303和头带304；显示屏303通过显示屏幕插口101a与虚拟现实眼镜101连接；立体视镜设置在用户眼部与显示屏幕之间；还包括眼镜控制模块102和触摸传感器103；眼镜控制模块102包括惯性传感器102a、第一数据处理模块102b、第一供电模块102c、第一数据传输模块102d和控制按键102e；惯性传感器102a用于感测用户头部的位置变化和姿态变化，包括加速度、角速度和磁通量；第一数据处理模块102b用于将惯性传感器感测到的原始数据转换为用户头部运动时的位置信息和姿态信息；惯性传感器102a为加速度传感器和或角速度传感器；惯性传感器102a还包括地磁计；当惯性传感器102a感测到角速度传感器得数据时，可以得到用户头部在空间中的三轴角增量信息，因为采样时间相同，所以在时间维度上对所测得的角增量进行积分，即得到每一轴的转动角度，也就到用户头部在转动时的姿态角变化；当惯性传感器102a感测到加速度传感器的数据时，可以得到用户头部在空间中的三轴瞬时加速度信息，结合重力信息，利用三角函数可以求得各轴与重力分量的夹角，与角速度传感器得到的角度进行对比矫正；当惯性传感器102a感测到地磁计的数据时，磁力计感测到的磁通量信息对角速度传感器进行偏移校正；控制按键102e包括上、下、左、右的方向控制和选择、切换、返回命令控制；第一供电模块102c为提供显示屏幕提供电能；

第一数据传输模块用于接收来自触摸传感器的数据，并且将控制指令发送给触摸传感器；

触摸传感器103包括传感阵列103a、第二数据处理模块103b、第二供电模块103c和第二数据传输模块103d；传感阵列103a用于感测当用户控制触摸传感器时发生运动的动作信号或人体姿态信号；

动作信号和姿态信号均来自用户，并通过惯性传感器102a、传感阵列103a分别将信息传送给第一数据处理模块102d、第二数据处理模块103b进行信号处理；动作信号和姿态信号包括点击、双击、滑动、甩动、移动、平移、圆周运动；第二数据处理模块103b用于监测来自传感阵列输出信号，并且当检测到输出信号的触发或关闭信息时触发指令；

第二数据传输模块用于接收来自眼镜控制模块的控制指令，并且将触摸传感器的感测数据发送给眼镜控制模块；

虚拟现实眼镜101与触摸传感器103之间通过无线数据传输模块进行数据交换；触摸传感器103还包括振动传感器；显示屏303为智能手机或LED显示屏或平板电脑；无线数据传输模块104可以选自蓝牙、无线WIFI、红外线、NFC、RFID；第一供电模块102c、第二供电模块103c为一次性电池或可充电电池。

根据本发明的一个实施例，一种基于虚拟现实技术的人机交互系统，主要由三部分组成：虚拟现实眼镜、眼镜控制模块、触摸传感器。

根据本发明的另一个实施例，一种新型的触摸传感器，内置有电源、传感阵列、数据处理模块和无线传输模块。

图1是根据本发明的优选实施例的虚拟现实人机交互系统100的结构示意图。如图所示，本发明的虚拟现实人机交互系统100包括虚拟现实眼镜101、眼镜控制模块102以及触摸传感器103。其中，虚拟现实眼镜101需要佩戴在用户头部，提供场景显示功能；眼镜控制模块102与虚拟现实眼镜101是一体的，用于接收来自触摸传感器103的数据处理信号，并将信息同步显示到虚拟现实眼镜101的显示屏幕中。触摸传感器103与虚拟现实眼镜101是分体的，它们之间通过无线数据传输模块104进行数据交换；触摸传感器103为感测用户动作的操控部分，感测到的信号用于在虚拟现实场景中的动作操控，例如操控游戏中的人物动作等。

虚拟现实眼镜101为用户提供场景显示功能，需要长时间佩戴于用户头部，因此其重量和舒适度必须保证良好的用户体验。根据本发明的一个实施例，虚拟现实眼镜101与触摸传感器103之间通过无线数据传输模块104进行数据交换，此过程不仅可以传输有效数据和信号，同时还可以避免用户在运动时被连接线困扰，从而提升用户体验。

如图1所示，虚拟现实眼镜101包括显示屏幕101a用于场景显示。显示屏幕选自智能手机、LED显示屏、平板电脑中的至少一种。与虚拟现实眼镜101相连的眼镜控制模块102包括惯性传感器102a，可以选自加速度传感器、角速度传感器、地磁计中的一种或多种，用于感测用户头部的位置变化和姿态变化；第一数据处理模块102b用于将惯性传感器102a感测到的原始数据，例如加速度、角速度和磁通量中的一种或多种，转换为用户头部运动时的位置信息和姿态信息，例如根据角速度传感器可以得到用户头部在空间中的三轴角增量信息，通过对时间进行积分，得到每一轴的转动角度，粗略地得到用户头部在转动时的姿态角变化，优选地，可以加入磁力计感测到的磁通量信息对角速度传感器进行偏移校正，以使得测量的结果更加准确；第一供电模块102c用于为显示屏幕101a供电，可以选用一次性电池、可充电电池等方式；第一数据传输模块102d用于虚拟现实眼镜101和触摸传感器103之间的数据或信号通信，无线通讯模块104可以选自蓝牙、无线WIFI、红外线、NFC、RFID中的一种或多种。

优选地，眼镜控制模块102还可以包括至少一个控制按键102e。当不方便使用触摸传感器103时或者是单独使用虚拟现实眼镜101进行虚拟现实场景的演示时，均可以通过控制按键102e进行操控。控制按键102e可以包括上下左右方向控制，选择、切换、返回命令控制。更优选地，用户可以将触摸传感器103直接与虚拟现实眼镜101相连，这样可以减小用户在操作时对虚拟现实眼镜101带来的抖动，更加能提高用户体验。整个连接过程将在下文详细说明。

如图2所示，触摸传感器103包括传感阵列103a、第二数据处理模块103b、第二供电模块103c、第二数据传输模块103d。传感阵列103a用于感测当用户控制触摸传感器103时发生运动的动作信号或人体姿态信号。所述动作和姿态例如点击、双击、滑动、甩动、移动、平移、圆周运动中的一种或多种。所述信号参数包括物体的运动位置、运动速度、运动方向、频率、加速度、角速度，单次点击、多次点击的一种或多种。例如，当传感器是压力传感器时，可以输出指示用户在触摸传感器103上的滑动、甩动、平移，点击等而产生的压力信号。第二数据处理模块103b可以监测来自该压力传感器的输出信号，并且当检测到输出信号的触发或关闭信息时触发指令。例如，当用户以一定的速度在触摸传感器103上进行滑动时，分布在触摸传感器103上的多个传感阵列103a可以感测用户手部的动作状态和动作位置，从而达到指令的触发。优选地，所述传感阵列也可以是电容传感器、光敏传感器、压电传感器的一种或多种，输出显示触摸传感器103由于被用户点击、滑动、转动、平移等而产生的触发式信号信息。第二供电模块103c用于为触摸传感器103供电，可以选用一次性电池、可充电电池等方式；第二数据传输模块103d用于虚拟现实眼镜101和触摸传感器103之间的数据或信号通信，所属无线通讯单元104可以选自蓝牙、无线WIFI、红外线、NFC、RFID中的一种或多种。

优选地，触摸传感器103中可以加入振动传感器103e，当用户与虚拟世界交互时，产生的碰撞、接触、摩擦信息，通过第一数据处理模块102b将上述信息收集并处理，如碰撞信息标志位置1，再由数据传输模块102c传送至触摸传感器103，利用第二数据处理模块103c做出相应的指令判断，控制振动传感器103e开始震动，当传输信息中不再含有震动标志位时结束，使得实时交互性体验更加优越。

图3示出了本发明的一个具体实施例的虚拟现实眼镜101的产品结构示意图。如图3所示，所述虚拟现实眼镜300包括眼镜外壳301、内置于眼睛外壳内部同时靠近人眼并与左右双眼对应的两个立体视镜302、位于立体视镜302前端并与立体视镜302中心相同的显示屏303以及绑于眼睛外壳两侧与上部用于固定在用户头部的头带304。

眼镜外壳301靠近人脸的一侧符合人类面部工程学特征，前额、脸颊、鼻子处均有贴合人类面颊特征的凹槽，同时利用此类特征起到支撑整个面颊的作用，将眼镜外壳301与人类面颊接触面贴合起来，使得外界光线不得进入其中，从而使得用户可以更好地沉浸在显示屏303所提供的场景内容中。立体视镜302用于将显示屏303中显示的内容以立体的形式体现出来，可以选自非球面镜片、超韧镜片、变色镜片、染色镜片、渐进多焦点镜片、防辐射镜片、树脂镜片中的至少一种，例如当选用非球面镜片时，通过两个非球面镜片分别观看显示屏303的双分屏显示内容，根据双眼看到的物体角度不同，产生远近的深度，从而产生立体感。显示屏幕303用于虚拟现实场景的显示，可以是智能手机、LED显示屏、平板电脑中的至少一种。用户在使用虚拟现实眼镜300时，需要将头带304固定于头部，通过调节头带304，使用者可以解放双手并且不受外界光影变化的影响，完全沉浸在显示屏幕里的画面。

如图4所示，在本发明的一些实施例中，触摸传感器103感测到用户动作经过某些传感阵列时可以触发指令，这些指令可以是一系列完整的动作，如滑动、移动、甩动，也可以是一个单独的动作，如单击、双击、确定、切换、返回。例如，当用户处于飞行游戏的虚拟现实场景之中时，此时触摸传感器作为飞行器模拟操纵杆，用户手部按照图4方向在触摸传感器上移动时，位于触摸传感器上的压力传感阵列感测到用户手部运动时产生的压力，触发指令，并记录每个压力传感阵列指令触发的时间，通过这些时间可以判断出用户手部在触摸传感器上运动的状态，如运动速度，由两个相邻压力传感阵列指令触发的时间间隔的大小判断，间隔越短，运动速度越快，反之则越慢；如运动方向，由不同压力传感阵列触发指令时间的不同判断；类似的，还可运动加速度和运动频率也可以根据两个相邻压力传感阵列指令触发的时间间隔的大小判断，触发间隔越短，加速度越大，频率越高，反之触发间隔越长，加速度越小，频率越低。该状态通过第一数据传输模块102d以无线数据传输104发送至虚拟现实眼镜101，使得显示屏幕101a里的虚拟现实飞行游戏中的飞行器开始按照同样的状态飞行。本领域技术人员可以理解的是，也可以采用其他传感阵列方式进行接触式信号检测，如电容传感器、光敏传感器、压电传感器。

优选地，所述触摸传感器应采用摩擦系数较为适合的材料，如合成橡胶、布面、硅胶、塑料、玻璃、金属材质，这些材料表面经过纹理处理后摩擦力较大，便于用户在使用时的移动与定位，同时可以保证触摸传感器背面具有一定的防滑效果，保持稳固，不易移动。

图5示出了本发明的又一实施例，在整个虚拟现实人机交互系统100的使用过程中，可能会出现不方便使用触摸传感器103或者是单独使用虚拟现实眼镜101进行虚拟现实场景的演示，用户可以将触摸传感器103直接与虚拟现实眼镜101相连，具体连接方式为在虚拟现实眼镜101接近右侧脸颊的一侧开槽，其大小，形状、深度均与触摸传感器103相同，用户在插入触摸传感器103时，应将触摸传感器103上的传感阵列103a方向向外侧。采用图5的连接方式不光能解决不方便使用触摸传感器103或者是单独使用虚拟现实眼镜101的问题，还可以减小用户在操作时对虚拟现实眼镜101带来的抖动，更加能提高用户体验。

惯性传感器102a感测用户头部运动，第一数据处理模块102b将头部的空间运动信息，如姿态角、位置等进行信号处理；传感阵列103a感测用户手部运动，再由第二数据处理模块103b进行信号处理。

Claims (5)

1.一种基于虚拟现实技术的人机交互系统，包括虚拟现实眼镜；所述虚拟现实眼镜包括眼镜外壳、立体视镜、显示屏幕插口、显示屏幕和头带；所述显示屏幕通过显示屏幕插口与虚拟现实眼镜连接；所述立体视镜设置在用户眼部与显示屏幕之间；其特征在于：

还包括眼镜控制模块和触摸传感器；

所述眼镜控制模块包括惯性传感器、第一数据处理模块、第一供电模块、第一数据传输模块和控制按键；

所述惯性传感器用于感测用户头部的位置变化和姿态变化，包括加速度、角速度和磁通量；

所述第一数据处理模块用于将惯性传感器感测到的原始数据转换为用户头部运动时的位置信息和姿态信息；所述惯性传感器为加速度传感器和角速度传感器；

所述角速度传感器得到用户头部在空间中的三轴角增量信息；

所述加速度传感器得到用户头部在空间中的三轴瞬时加速度信息，结合重力信息，利用三角函数可以求得各轴与重力分量的夹角，与角速度传感器得到的角度进行对比矫正；

所述控制按键包括上、下、左、右的方向控制和选择、切换、返回命令控制；

所述第一供电模块为提供显示屏幕提供电能；

所述第一数据传输模块用于接收来自触摸传感器的数据，并且将控制指令发送给触摸传感器；

所述触摸传感器包括传感阵列、第二数据处理模块、第二供电模块、和第二数据传输模块；

所述传感阵列用于感测当用户控制触摸传感器时发生运动的动作信号或人体姿态信号；

所述动作信号和姿态信号均来自用户，并通过惯性传感器、传感阵列分别将信息传送给第一数据处理模块、第二数据处理模块进行信号处理；所述动作信号和姿态信号包括点击、双击、滑动、甩动、移动、平移、圆周运动；

所述第二数据处理模块用于监测来自传感阵列输出信号，并且当检测到输出信号的触发或关闭信息时触发指令；

所述第二数据传输模块用于接收来自眼镜控制模块的控制指令，并且将触摸传感器的感测数据发送给眼镜控制模块；

所述虚拟现实眼镜与触摸传感器之间通过无线数据传输模块进行数据交换，

所述触摸传感器还包括振动传感器，

触摸传感器包括振动传感器，当用户与虚拟世界交互时，产生的碰撞、接触、摩擦信息，通过第一数据处理模块将上述信息收集并处理，再由数据传输模块传送至触摸传感器，利用第二数据处理模块做出相应的指令判断，控制振动传感器开始震动。

2.根据权利要求书1所述的一种基于虚拟现实技术的人机交互系统，其特征在于：所述惯性传感器还包括地磁计；所述地磁计感测到的磁通量信息对角速度传感器进行偏移校正。

3.根据权利要求书1或2所述的一种基于虚拟现实技术的人机交互系统，其特征在于：所述显示屏幕为智能手机或LED显示屏或平板电脑。

4.根据权利要求书1或2所述的一种基于虚拟现实技术的人机交互系统，其特征在于：所述无线数据传输模块可以选自蓝牙、无线WI FI、红外线、NFC、RFI D。

5.根据权利要求书1或2所述的一种基于虚拟现实技术的人机交互系统，其特征在于：所述第一供电模块、第二供电模块为一次性电池或可充电电池。