CN107357434A - 一种虚拟现实环境下的信息输入设备、系统及方法 - Google Patents

Abstract

本发明公开了一种虚拟现实环境下的信息输入设备、系统及方法，包括：虚拟现实场景生成单元，生成虚拟现实场景；传感信号获取单元，获取人体手指上设置的传感器的蓝牙信号；手指及位置确定单元，接收并处理传感信号获取单元输出的蓝牙信号，识别各传感器对应的手指信息及位置信息，并将其与生成的虚拟现实场景相对应虚拟键盘位置；输入确定单元，侦测各手指的相对应的按键操作确定信号，于接收到按键操作确定信号时，利用手指及位置确定单元来确定产生按键操作确定信号的手指信息及位置信息，并将其对应至该虚拟现实场景，以获取手指信息对应的键盘信息实现信息输入，本发明在虚拟现实环境下，可实现自然、高效、符合传统键盘输入习惯的信息输入。

Description

一种虚拟现实环境下的信息输入设备、系统及方法

技术领域

本发明涉及一种信息输入设备、系统及方法，特别是涉及一种虚拟现实环境下的信息输入设备、系统及方法。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。

目前，现有技术中的一种虚拟现实显示系统为：虚拟现实头盔系统。以Oculus，索尼PS VR，HTC Vive等VR(Virtual Reality，虚拟现实)头盔为代表。上述虚拟现实头盔系统的实现原理示意图如图1所示，包括：左右透镜+显示器+动作捕捉+计算处理系统+信息传输系统，即人的双眼透过左右透镜分别看到对应双眼的不同角度的显示画面，从而在大脑中形成三维立体影像。动作捕捉系统捕捉人体的头部和身体动作并实时传输到计算机系统，计算机系统在获得到动作变化信息后实时处理并刷新显示相应画面。这样，人的观看视角产生变化时，所观看到的画面也相应变化。

近年来，虚拟现实在各个行业和领域应用得越来越广泛，因此，如何增强虚拟现实与现实世界的交互已成为人们研究的一大课题，而其中最基本的就是虚拟现实环境的信息输入问题。

自电脑诞生以来，键盘就成为了人们的主要输入设备之一。随着科技的不断发展，很多人都认为，不久后键盘输入将会被更自然交互的语音输入所取代。但是由于在嘈杂环境下语音识别错误率高，多方言等因素的影响下，语音输入要彻底取代键盘输入仍然需要一段漫长的时间。

而且，经过十几年的训练和演化，人们对键盘这种输入已经成为了一种习惯，因此，在语音识别尚未完全普及下，键盘输入仍为电脑等电子设备的主流输入方式。

最接近的现有技术为电脑虚拟键盘，电脑虚拟键盘是一种十分方便使用的电脑虚拟键盘工具，即在电脑屏幕上显现一个虚拟键盘，用户可以通过鼠标点击电脑虚拟键盘完成输入操作。然而，这种电脑虚拟键盘具有如下缺点：

1、由于鼠标只有一个光标点，点击键盘的效率较低，导致输入效率低下。

2、将人们的输入习惯由原来的十指敲键盘变为点击鼠标输入，输入不自然且与传统输入习惯不相适应。

3、不能在全封闭的虚拟现实环境中进行文字输入。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种虚拟现实环境下的信息输入设备、系统及方法，以在虚拟现实环境下，实现自然、高效、符合传统键盘输入习惯的信息输入。

为达上述及其它目的，本发明提出一种虚拟现实环境下的信息输入设备，包括：

虚拟现实场景生成单元，用于利用虚拟现实技术生成虚拟现实场景；

传感信号获取单元，用于获取现实人体手指上设置的传感器的蓝牙信号；

手指及位置确定单元，用于接收并处理该传感信号获取单元输出的蓝牙信号，识别各传感器对应的手指信息及位置信息，并将其与该虚拟现实场景生成单元中生成的虚拟现实场景相对应；

输入确定单元，用于侦测各手指的对应的按键操作确定信号，于接收到键操作确定信号时，利用该手指及位置确定单元确定产生键操作确定信号的手指信息及位置信息，并将其对应至该虚拟现实场景，以获取该手指信息对应的键盘信息进行实现输入。

进一步地，所述虚拟现实场景至少包括虚拟现实键盘以及人体的手部虚拟图像，所述虚拟现实键盘为3D立体键盘。

进一步地，所述信息输入设备中存储有各传感器与人各手指各个位置的对应关系。

进一步地，所述按键操作确定信号为预先设定的用于确认对应信息输入的信号。

进一步地，所述信息输入设备显示并应用于虚拟现实头盔设备。

为达到上述目的，本发明还提供一种虚拟现实环境下的信息输入系统，包括：

传感器装置，设置于现实世界的人手的各手指各部分，用于侦测手指的运动以获得用于输入或选择虚拟键盘内信息的蓝牙信号，并通过无线方式传送至信息输入设备；

信息输入设备，用于生成虚拟现实场景，获取该传感器装置传送的蓝牙信号，对接收到的蓝牙信号进行处理，识别各传感器的位置，并将其与生成的虚拟现实场景相对应，侦测各手指的按键操作确定信号，于接收到按键操作确定信号时，根据产生按键操作确定信号的手指信息，将其对应至虚拟现实场景，获取该手指信息对应的信息进行输入。

进一步地，所述传感器装置包括多个传感器，各传感器以装饰物的形式套在人手手指的适当部分，用来感测各自手指的运动并输出用于输入或选择信息的信号。

进一步地，所述传感器装置于人手的掌心处安装微型红外扫描仪，于人手的每个手指贴上编码标记，利用该微型红外扫描仪获取传感信号并通过无线通讯方式传送至所述信息输入设备。

为达到上述目的，本发明还提供一种虚拟现实环境下的信息输入方法，包括如下步骤：

步骤一，获取现实人体手指上设置的传感器的蓝牙信号；

步骤二，接收并处理该传感信号获取单元输出的蓝牙信号，识别各传感器对应的手指信息及位置信息，并将其与虚拟现实场景相对应；

步骤三，侦测各手指的对应的按键操作确定信号，于接收到按键操作确定信号时，利用该手指及位置确定单元确定产生按键操作确定信号的手指信息及位置信息，并将其对应至该虚拟现实场景，以获取该手指信息对应的键盘信息实现信息输入。

进一步地，于步骤一之前，还包括如下步骤：于虚拟现实设备中利用虚拟现实技术生成该虚拟现实场景。

与现有技术相比，本发明一种虚拟现实环境下的信息输入设备、设备及方法，通过于人手手指设置传感装置，利用传感器捕捉手指的位置及其变化信息，并利用头盔影像中的虚拟双手模拟人的双手位置变化敲击虚拟现实键盘，以在虚拟现实环境下，实现自然、高效、符合传统键盘输入习惯的信息输入。

附图说明

图1为现有技术中虚拟现实头盔的实现原理示意图；

图2为本发明一种虚拟现实环境下的信息输入设备的系统结构图；

图3为本发明一种虚拟现实环境下的信息输入系统的系统架构图；

图4为本发明一种虚拟现实环境下的信息输入方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图2为本发明一种虚拟现实环境下的信息输入设备的系统结构图。如图2 所示不，本发明一种虚拟现实环境下的信息输入设备，包括：虚拟现实场景生成单元201、传感信号获取单元202、手指及位置确定单元203、输入确定单元 204。

其中，虚拟现实场景生成单元201，用于利用虚拟现实技术生成虚拟现实场景，在本发明中，该虚拟现实场景中至少包括悬浮的虚拟现实键盘以及人体的手部虚拟图像(具体可包括人体的双手虚拟图像)。在本发明具体实施例中，虚拟现实键盘是3D立体键盘，该键盘是经特殊编程的，键盘上每一个键都对应每一个指令，类似于上电脑输入法中的软键盘，虚拟现实场景生成单元201基于的虚拟现实设备采用VR头显(即虚拟现实头戴式显示设备)，由于虚拟现实场景生成技术采用的是现有技术，在此不予赘述。

传感信号获取单元202，用于获取现实人体手指上设置的传感器的蓝牙信号，在本发明具体实施例中，用户的手指需安装或穿戴传感器，各传感器可以以装饰物的形式套在手指的适当部分，各传感器用来感测他们各自手指的运动并输出用于输入或选择信息的信号，任何种类的传感器，例如惯性传感器，光学传感器以及红外传感器等，都可以用于本发明。本发明采用红外传感器，具体地，本发明在人手的掌心处安装微型红外扫描仪，于人手的每个手指贴上编码标记，红外扫描仪获取信号并通过无线通讯方式(例如蓝牙)传送至传感信号获取单元202。

手指及位置确定单元203，用于接收并处理传感信号获取单元201输出的信号，识别各传感器的位置，并将其与虚拟现实场景生成单元201中生成的虚拟现实场景相对应。也就是说，手指及位置确定单元203于接收到各传感器的信号后，根据各传感器的信号识别出其对应的手指信息以及各手指的位置信息 (mark点)。在本发明具体实施例中，由于现实中的各个手指都对应有编码标记，当手指及位置确定单元203接收到该含有编码标记的传感信号时，根据预先设置的对应关系，即可将现实的人手手指与虚拟现实场景中的手指对应起来，假设，左手食指的编号标记为001，中指为002等，则手指及位置确定单元203根据接收到的左手食指的编号标记将其位置对应到虚拟现实场景中的左手食指上，并根据各传感器的位置将虚拟现实场景中的各手指移动至相应位置，例如当编号标记为001的左手食指位置从第一位置变化到第二位置时，手指及位置确定单元203会识别出当前左手食指已移至第二位置，则将虚拟现实场景中对应的左手食指移至第二位置。

输入确定单元204，用于侦测各手指的对应的按键操作确定信号，于接收到按键操作确定信号时，利用手指及位置确定单元203确定产生按键操作确定信号的手指信息，并将其对应至虚拟现实场景，获取该手指信息对应的信息进行输入。这里的按键操作确定信号指的是预设的信息输入信号，例如点击信号，当接收到手指的点击操作时，输入确定单元204会利用手指及位置确定单元203 确定发生点击操作的手指信息，识别出是哪个手指发出的点击操作及其对应的位置，然后于虚拟现实场景中将对应的虚拟手部图像中对应的手指移至相应的位置，获取相应位置对应的按键信息并予以输入。

当然，本发明具体实施例中的传感器(光学)捕捉可用其他动作捕捉系统 (如超声波跟踪、电磁波跟踪等)代替，本发明不以此为限。

图3为本发明一种虚拟现实环境下的信息输入系统的系统架构图。如图3 所示，本发明一种信息输入系统，包括：传感器装置20以及信息输入设备21。

传感器装置20，设置于现实世界的人手的手指部分，用于侦测手指的运动以获得用于输入或选择信息的蓝牙信号，并通过无线方式传送至信息输入设备，在本发明具体实施例中，传感器装置20包括多个传感器，各传感器可以以装饰物的形式套在人手手指的适当部分，各传感器用来感测他们各自手指的运动并输出用于输入或选择信息的信号，任何种类的传感器，例如惯性传感器，光学传感器以及红外传感器等，都可以用于本发明。在本发明较佳实施例中，采用红外传感方式，具体地，可在人手的掌心处安装微型红外扫描仪，于人手的每个手指贴上编码标记，这样红外扫描仪获取信号并通过无线通讯方式(例如蓝牙)传送至信息输入设备21。

信息输入设备21，用于于虚拟现实设备中利用虚拟现实技术生成虚拟现实场景，获取传感器装置20传送的蓝牙信号，对接收到的蓝牙信号进行处理，识别各传感器的位置，并将其与生成的虚拟现实场景相对应，侦测各手指的按键操作确定信号，于接收到按键操作确定信号时，根据产生按键操作确定信号的手指信息，将其对应至虚拟现实场景，获取该手指信息对应的信息进行输入。在本发明具体实施例中，虚拟现实场景是利用虚拟现实技术生成的虚拟现实场景，该虚拟现实场景中至少包括悬浮的虚拟键盘以及人体的手部虚拟图像(具体可包括人体的双手虚拟图像)。在本发明具体实施例中，基于虚拟现实设备例如VR头显(即虚拟现实头戴式显示设备)产生虚拟现实场景，在此不予赘述。

图4为本发明一种虚拟现实环境下的信息输入方法的步骤流程图。如图3 所示，本发明一种虚拟现实环境下的信息输入方法，包括如下步骤：

步骤401，于虚拟现实设备中利用虚拟现实技术生成虚拟现实场景，在本发明中，该虚拟现实场景中至少包括悬浮的虚拟键盘以及人体的手部虚拟图像 (具体可包括人体的双手虚拟图像)。在本发明具体实施例中，该虚拟现实设备可为采用VR头显(即虚拟现实头戴式显示设备)，由于虚拟现实场景生成技术采用的是现有技术，在此不予赘述。

步骤402，获取现实场景中人体手指上设置的传感器的蓝牙信号，在本发明具体实施例中，现实场景中用户的手指需安装或穿戴传感器，各传感器可以以装饰物的形式套在手指的适当部分，各传感器用来感测他们各自手指的运动并输出用于输入或选择信息的信号，任何种类的传感器，例如惯性传感器，光学传感器以及红外传感器等，都可以用于本发明。本发明采用红外传感器，具体地，本发明在人手的掌心处安装微型红外扫描仪，于人手的每个手指贴上编码标记，红外扫描仪获取信号并通过无线通讯方式(例如蓝牙)传送至传感信号获取单元。

步骤403，对接收到的蓝牙信号进行处理，识别出各传感器对应的手指信息及位置，并将其与虚拟现实场景中的虚拟手指相对应，实现相应操作。也就是说，于接收到各传感器的信号后，根据各传感器的信号识别出其对应的手指信息以及各手指的位置信息。在本发明具体实施例中，由于现实中的各个手指都对应有编码标记，当接收到该含有编码标记的传感信号时，则根据预先设置的对应关系，即可将现实的人手手指与虚拟现实场景中的手指对应起来，假设，左手食指的编号标记为001，中指为002等，则手指及位置确定单元根据接收到的左手食指的编号标记将其位置对应到虚拟现实场景中的左手食指上，并根据各传感器的位置将虚拟现实场景中的各手指移动至相应位置，例如当编号标记为001的左手食指位置从第一位置变化到第二位置时，会识别出当前左手食指已移至第二位置，则将虚拟现实场景中对应的左手食指移至第二位置。

步骤404，侦测各手指的按键操作确定信号，于接收到按键操作确定信号时，确定产生按键操作确定信号的手指信息及位置，并将其对应至虚拟现实场景，获取该手指信息对应的键盘信息进行输入。这里的按键操作确定信号指的是预设的信息输入信号，例如点击信号，也就是说，当接收到手指的点击操作时，根据所接收到蓝牙信号确定发生点击操作的手指信息，识别出是哪个手指发出的点击操作及其对应的位置，然后于虚拟现实场景中将对应的虚拟手部图像中对应的手指移至相应的位置，获取相应位置对应的按键信息并予以输入。

以下将通过一具体实施例来进一步说明本发明：在本发明具体实施例中，首先在用户掌心处安装微型红外扫描仪，用户的每个手指贴上编码标记，红外扫描仪拾得信号后通过蓝牙发射至设置于VR头盔端的信息输入设备。VR头盔影像中有一虚拟3D键盘和一双虚拟人手，根据蓝牙接收到的指令控制虚拟头盔影像中的虚拟人手击打虚拟3D键盘。本发明是对虚拟3D键盘进行操作，手指编上标记(即Mark点)是为了捕捉手指的动作，利用捕捉到的十指动作驱动虚拟人手，实现现实人手与虚拟人手的动作同步。其具体工作流程如下：

1、利用特制介质标记十指指尖并于两手掌心安装微型红外扫描仪，例如将人手左右手手指依次标记为000～009，并于信息输入设备端预先设置有各标记与手指的对应关系。

2、利用微型红外扫描仪利于光学机械扫描获得得十指指尖的手指信息及位置变化信息，并通过蓝牙发射并传输到信息输入设备。与鼠标移动对应电脑屏幕中光标移动相类似，这里人的十指指尖相应的位置对应于头盔影像中一双虚拟人手的十指指尖位置。

3、信息输入设备根据接收到红外传感信号，获得手指信息以及位置变化信息，例如根据手指标记001获得手指为左手食指，其位置变化信息为从第一位置(对应于虚拟3D键盘中的字母D的位置)变化到第二位置(对应于虚拟3D 键盘中的字母E的位置)，则控制头盔影像中的虚拟人手的左手食指从字母E移动至字母D。

4、当接收到现实世界中的人手手指产生的键操作确定信号，例如点击桌面的点击信号，则同时获取该手指的手指信息及位置信息，并将其反馈至头盔影像中人手的相应位置，并做键操作确定动作。这里需说明的是，现实手和虚拟中的位置不是完全对应，而是现实手的动作可驱动虚拟手运动。就如同现实鼠标和光标不是完全对应，但移动鼠标可驱动光标运动。

经过上述过程，头盔影像中的虚拟双手就可以根据蓝牙接收到的指令敲击经过相应处理后虚拟三维键盘，从而可以在虚拟现实环境中实现文字输入。

综上所述，本发明一种虚拟现实环境下的信息输入设备、设备及方法，通过于人手手指设置传感装置，利用传感器捕捉手指的位置及其变化信息，并利用头盔影像中的虚拟双手模拟人的双手位置变化敲击虚拟现实键盘，以在虚拟现实环境下，实现自然、高效、符合传统键盘输入习惯的信息输入。

与现有技术相比，本发明具有如下优点：

1.虚拟三维键盘构造与真实键盘构造基本相同，与普遍人的电脑打字输入习惯相适应，输入更自然。

2.与现有电脑屏幕上的虚拟键盘相比，输入效率更高。

3.动作捕捉更细腻，且具有便携性。

4.跟踪范围小(只在手部)，且不受视线的限制。故红外扫描仪捕捉数据处理速度、精度和响应性更好。

5.新型眼镜基于单眼3D视觉成像原理，配合运动变化场景视频，通过于镜框上缘设置可伸缩调节的遮挡部，以部分或全部遮挡某一镜片，实现了2D视频的增强3D显示，可更自然，低成本、高效实现2D视频到3D显示的效果。

任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种虚拟现实环境下的信息输入设备，包括：

虚拟现实场景生成单元，用于利用虚拟现实技术生成虚拟现实场景；

传感信号获取单元，用于获取现实人体手指上设置的传感器的蓝牙信号；

手指及位置确定单元，用于接收并处理该传感信号获取单元输出的蓝牙信号，识别各传感器对应的手指信息及位置信息，并将其与该虚拟现实场景生成单元中生成的虚拟现实场景相对应；

输入确定单元，用于侦测各手指的对应的按键操作确定信号，于接收到键操作确定信号时，利用该手指及位置确定单元确定产生操作确定信号的手指信息及位置信息，并将其对应至该虚拟现实场景，以获取该手指信息对应的键盘信息实现信息输入。

2.如权利要求1所述的一种虚拟现实环境下的信息输入设备，其特征在于：所述虚拟现实场景至少包括虚拟现实键盘以及人体的手部虚拟图像，所述虚拟现实键盘为3D立体键盘。

3.如权利要求2所述的一种虚拟现实环境下的信息输入设备，其特征在于：所述信息输入设备中存储有各传感器与人各手指各个位置的对应关系。

4.如权利要求2所述的一种虚拟现实环境下的信息输入设备，其特征在于：所述键操作确定信号为预先设定的用于确认对应信息输入的信号。

5.如权利要求2所述的一种虚拟现实环境下的信息输入设备，其特征在于：所述信息输入设备显示并应用于虚拟现实头盔设备。

6.一种虚拟现实环境下的信息输入系统，包括：

传感器装置，设置于现实世界的人手的各手指各部分，用于侦测手指的运动以获得用于输入或选择虚拟键盘内信息的蓝牙信号，并通过无线方式传送至信息输入设备；

信息输入设备，用于生成虚拟现实场景，获取该传感器装置传送的蓝牙信号，对接收到的传感器信号进行处理，识别各传感器的位置，并将其与生成的虚拟现实场景相对应，侦测各手指的键操作确定信号，于接收到键操作确定信号时，根据产生键操作确定信号的手指信息，将其对应至虚拟现实场景，获取该手指信息对应的信息进行输入。

7.如权利要求6所述一种虚拟现实环境下的信息输入系统，其特征在于：所述传感器装置包括多个传感器，各传感器以装饰物的形式套在人手手指的适当部分，用来感测各自手指的运动并输出用于输入或选择信息的信号。

8.如权利要求6所述一种虚拟现实环境下的信息输入系统，其特征在于：所述传感器装置于人手的掌心处安装微型红外扫描仪，于人手的每个手指贴上编码标记，利用该微型红外扫描仪获取传感信号并通过无线通讯方式传送至所述信息输入设备。

9.一种虚拟现实环境下的信息输入方法，包括如下步骤：

步骤一，获取现实人体手指上设置的传感器的蓝牙信号；

步骤二，接收并处理该传感信号获取单元输出的蓝牙信号，识别各传感器对应的手指信息及位置信息，并将其与虚拟现实场景相对应；

步骤三，侦测各手指的对应的按键操作确定信号，于接收到按键操作确定信号时，利用该手指及位置确定单元确定产生按键操作确定信号的手指信息及位置信息，并将其对应至该虚拟现实场景，以获取该手指信息对应的键盘信息实现信息输入。

10.如权利要求9所述的一种虚拟现实环境下的信息输入方法，其特征在于，于步骤一之前，还包括如下步骤：于虚拟现实设备中利用虚拟现实技术生成该虚拟现实场景。