CN106484119A - 虚拟现实系统及虚拟现实系统输入方法 - Google Patents

Abstract

本发明公开了一种虚拟现实系统及虚拟现实系统输入方法。其中，该系统包括：虚拟现实设备和至少一个标识物，其中，虚拟现实设备包括：头戴式显示器，包括：佩戴部和显示部，其中，佩戴部用于将头戴式显示器佩戴在用户的头部，显示部用于显示画面；摄像头，设置在头戴显示器上，用于拍摄画面；处理装置，用于获取摄像头拍摄的画面，从画面中提取附着有至少一个标识物的对象的移动轨迹，和/或，提取对象对虚拟键盘的操作行为；将移动轨迹和/或操作行为对应的操作结果作为虚拟现实系统的输入。本发明解决了相关技术中使用遥控器或其他操控装置与虚拟设备进行交互所导致用户体验降低的技术问题。

Description

虚拟现实系统及虚拟现实系统输入方法

技术领域

本发明涉及虚拟现实技术领域，具体而言，涉及一种虚拟现实系统及虚拟现实系统输入方法。

背景技术

虚拟现实(简称VR)是一种提供沉浸式体验的计算机系统，一般由头戴式显示器、传感器集合、处理器组成。其中，头戴式显示器用于输出立体画面、立体音效等效果，以便用户能够进行虚拟现实的体验，传感器集合用于负责接收用户输入指令，处理器则用于负责分析传感器信号、识别模式并运算出相应的输出，以便能够实现用户与虚拟现实的交互。该系统通过计算机配合用户行为生成画面、声音来替代用户自然感知，以达到将用户与真实世界隔离，使用户沉浸于虚拟世界的效果。

数字图像处理和识别，是对图像进行分析、加工、和处理，使其满足特定要求的技术。因为数字图像的本质是数据，根据特定的算法处理这些数据，就能使图像的外观发生改变，进而能提取出一定的特征。

目前，提供沉浸式体验的虚拟现实与用户进行交互的方法，一般使用间接的操控装置(如手柄、遥控器、按键等)，与虚拟现实技术配合。在这种情况下，用户使用固定姿势握持手柄，通过移动手柄或按下手柄上的按键进行与虚拟世界的交互，会由于手柄自身的体积和重量，使得操作的沉浸感降低，按键数量有限导致功能扩展不便。

另外，用户手持遥控器，通过遥控器发射一道虚拟的镭射光锥，投射在虚拟世界中，光锥截面为一个圆形，当圆形与虚拟世界中的物体产生碰撞时，按下遥控器上的按键发送指令，完成与虚拟世界的交互。但遥控器自身的体积和重量同样使操作的沉浸感降低，并且手持遥控器时有微微的抖动，使得远距离的操作不够准确。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种虚拟现实系统及虚拟现实系统输入方法，以至少解决相关技术中使用遥控器或其他操控装置与虚拟设备进行交互所导致用户体验降低的技术问题。

根据本发明实施例的一个方面，提供了一种虚拟现实系统，该系统包括：虚拟现实设备和至少一个标识物，其中，所述虚拟现实设备包括：头戴式显示器，包括：佩戴部和显示部，其中，所述佩戴部用于将所述头戴式显示器佩戴在用户的头部，所述显示部用于显示画面；摄像头，设置在所述头戴显示器上，用于拍摄画面；处理装置，用于获取所述摄像头拍摄的画面，从所述画面中提取附着有至少一个标识物的对象的移动轨迹，和/或，提取所述对象对虚拟键盘的操作行为；将所述移动轨迹和/或所述操作行为对应的操作结果作为所述虚拟现实系统的输入。

进一步地，所述标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。

进一步地，所述可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种；所述涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。

进一步地，所述至少一个标识物的数量为两个；所述处理装置，用于从所述画面中识别出附着有两个所述标识物的对象结合在一起时移动所产生的轨迹。

进一步地，所述至少一个标识物的颜色为预定颜色；所述处理装置，用于根据所述预定颜色从所述画面中提取所述移动轨迹和/或所述操作行为。

进一步地，所述至少一个标识物分为多组，其中，每一组的颜色不同。

进一步地，所述对象为人体部分，包括以下至少之一：手指、手臂、手。

进一步地，所述处理装置用于获取所述标识物在所述摄像头拍摄的画面中的移动轨迹的第一坐标集合；将所述第一坐标集合映射为所述虚拟现实系统的显示画面的第二坐标集合；在所述第二坐标集合对应的显示位置渲染出第一视觉引导标识，用于引导用户通过所述第一视觉引导标识感知所述标识物对应的移动轨迹；或者所述处理装置用于获取所述标识物在所述摄像头拍摄的画面中的操作行为的第三坐标集合；将所述第三坐标集合映射为所述虚拟现实系统的显示画面的第四坐标集合；在所述第四坐标集合对应的显示位置渲染出第二视觉引导标识，用于引导用户通过所述第二视觉引导标识感知所述标识物对应的虚拟键盘操作行为。

进一步地，所述第一视觉引导标识和所述第二视觉引导标识为基于所述摄像头拍摄的画面进行预定图像处理而获得的图像或者为在所述虚拟现实系统中预设的图像。

进一步地，所述处理装置用于从所述画面中提取附着有所述至少一个标识物的对象；获取所述对象的移动轨迹的第五坐标集合；将所述第五坐标集合映射为所述虚拟现实系统的第六坐标集合，在所述第六坐标集合存在匹配的目标字符的情况下，将所述目标字符作为所述虚拟现实系统的输入，其中，所述目标字符是在所述第六坐标集合对应的显示位置上渲染出来的，用于引导用户通过所述目标字符感知所述标识物对应的移动轨迹；或者所述处理装置用于获取所述对象对所述虚拟键盘的操作行为的第七坐标集合；将所述第七坐标集合映射为所述虚拟现实系统的第八坐标集合，在所述第八坐标集合存在所述虚拟键盘的按键的情况下，将触发所述按键的响应作为所述虚拟现实系统的输入，其中，所述响应是在所述第八坐标集合对应的显示位置上渲染出的，用于引导用户通过所述响应感知所述标识物对应的虚拟键盘操作行为。

进一步地，所述处理装置用于根据所述至少一个标识物的颜色和预先设置的阈值从所述画面的背景中提取附着有所述至少一个标识物的对象。

进一步地，所述处理装置用于根据所述虚拟现实系统显示的交互界面与所述摄像头拍摄的画面的比例，将所述第五坐标集合映射为所述虚拟现实系统的所述第六坐标集合，或将所述第七坐标集合映射为所述虚拟现实系统的所述第八坐标集合。

根据本发明实施例的另一方面，还提供了一种虚拟现实系统输入方法，该方法包括：获取摄像头拍摄的画面；从所述画面中提取附着有至少一个标识物的对象的移动轨迹，和/或，提取所述对象对虚拟键盘的操作行为；将所述移动轨迹和/或所述操作行为对应的操作结果作为所述虚拟现实系统的输入。

进一步地，所述标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。

进一步地，所述可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种；所述涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。

进一步地，所述至少一个标识物的数量为两个，和/或，所述至少一个标识物的颜色为预定颜色。

进一步地，所述至少一个标识物包括多组，其中，每一组的颜色不同。

进一步地，所述对象为人体部分，包括以下至少之一：手指、手臂、手。

进一步地，将所述移动轨迹作为所述虚拟现实系统的输入包括：获取所述标识物在所述摄像头拍摄的画面中的移动轨迹的第一坐标集合；将所述第一坐标集合映射为所述虚拟现实系统的显示画面的第二坐标集合；在所述第二坐标集合对应的显示位置渲染出第一视觉引导标识，用于引导用户通过所述第一视觉引导标识感知所述标识物对应的移动轨迹，将所述操作行为对应的操作结果作为所述虚拟现实系统的输入包括：获取所述标识物在所述摄像头拍摄的画面中的操作行为的第三坐标集合；将所述第三坐标集合映射为所述虚拟现实系统的显示画面的第四坐标集合；在所述第四坐标集合对应的显示位置渲染出第二视觉引导标识，用于引导用户通过所述第二视觉引导标识感知所述标识物对应的虚拟键盘操作行为。

进一步地，所述第一视觉引导标识和所述第二视觉引导标识为基于所述摄像头拍摄的画面进行预定图像处理而获得的图像或者为在所述虚拟现实系统中预设的图像。

进一步地，从所述画面中提取附着有至少一个标识物的对象的移动轨迹，并将所述移动轨迹作为所述虚拟现实系统的输入包括：从所述画面中提取附着有所述至少一个标识物的对象；获取所述对象的移动轨迹的第五坐标集合；将所述第五坐标集合映射为所述虚拟现实系统的第六坐标集合，在所述第六坐标集合存在匹配的目标字符的情况下，将所述目标字符作为所述虚拟现实系统的输入，其中，所述目标字符是在所述第六坐标集合对应的显示位置上渲染出来的，用于引导用户通过所述目标字符感知所述标识物对应的移动轨迹，从所述画面中提取附着有至少一个标识物的对象对虚拟键盘的操作行为，并将所述操作行为对应的操作结果作为所述虚拟现实系统的输入包括：获取所述对象对所述虚拟键盘的操作行为的第七坐标集合；将所述第七坐标集合映射为所述虚拟现实系统的第八坐标集合，在所述第八坐标集合存在所述虚拟键盘的按键的情况下，将触发所述按键的响应作为所述虚拟现实系统的输入，其中，所述响应是在所述第八坐标集合对应的显示位置上渲染出的，用于引导用户通过所述响应感知所述标识物对应的虚拟键盘操作行为。

进一步地，从所述画面中提取附着有所述至少一个标识物的对象包括：根据所述至少一个标识物的颜色和预先设置的阈值从所述画面的背景中提取附着有所述至少一个标识物的对象。

进一步地，将所述第五坐标集合映射为所述虚拟现实系统中的第六坐标集合，或将所述第七坐标集合映射为所述虚拟现实系统的第八坐标集合包括：根据所述虚拟现实系统显示的交互界面与所述摄像头拍摄的画面的比例，将所述第五坐标集合映射为所述虚拟现实系统的所述第六坐标集合，或将所述第七坐标集合映射为所述虚拟现实系统的所述第八坐标集合。

在本发明实施例中，采用一种虚拟现实系统，该系统包括虚拟现实设备和至少一个标识物，其中，虚拟现实设备包括：头戴式显示器，包括：佩戴部和显示部，其中，佩戴部用于将头戴式显示器佩戴在用户的头部，显示部用于显示画面；摄像头，设置在头戴显示器上，用于拍摄画面；处理装置，用于获取摄像头拍摄的画面，从画面中提取附着有至少一个标识物的对象的移动轨迹，和/或，提取对象对虚拟键盘的操作行为；将移动轨迹和/或操作行为对应的操作结果作为虚拟现实系统的输入。通过本发明解决了相关技术中使用遥控器或其他操控装置与虚拟设备进行交互所导致用户体验降低的技术问题，提高了用户体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的虚拟现实系统的示意图；

图2(a)是根据本发明实施例的一种可选的虚拟现实系统中图片处理的示意图；

图2(b)是根据本发明实施例的一种可选的虚拟现实系统中坐标映射的示意图；

图3是根据本发明实施例的一种可选的虚拟现实系统操作的示意图；

图4是根据本发明实施例的一种可选的虚拟现实系统输入方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于附着不排他的包含。

在本发明实施例中提供了一种虚拟现实系统。图1是根据本发明实施例的一种虚拟现实系统，如图1所示，该系统包括：虚拟现实设备10和至少一个标识物20，优选地，至少一个标识物，用于分别附着在用户的人体部分上；虚拟现实设备包括：头戴式显示器101，包括：佩戴部1011和显示部1012，其中，佩戴部用于将头戴式显示器佩戴在用户的头部，显示部用于显示画面；摄像头103，设置在头戴显示器上，用于拍摄画面，优选地，摄像头的拍摄角度与用户视线方向一致；处理装置102，用于获取摄像头拍摄的画面，从画面中提取附着有至少一个标识物的对象(如人体部分)的移动轨迹，和/或，提取对象对虚拟键盘的操作行为；将移动轨迹和/或操作行为对应的操作结果作为虚拟现实系统的输入。

在图1中，该虚拟现实系统包括虚拟现实设备和多个标识物(图中仅示出一个)。其中多个标识物可以附着在人体上，如附着在人的手指上，也可以是人体的其他部位；虚拟现实设备包括头戴式显示器和摄像头，其中摄像头设置在用户的虚拟现实设备的头戴显示器上，该摄像头可以跟随头戴显示器运动。优选地，摄像头拍摄的角度与用户视线方向一致，用于拍摄画面并实时传输到处理装置，处理装置根据获取到的摄像头拍摄的画面，从画面中提取附着有标识物(如指套)的对象(如人的手指)的移动轨迹，并且将该移动轨迹作为虚拟现实系统的输入。通过该虚拟现实系统，达到了用户无需使用间接的操控装置(如手柄、遥控器、按键等)，与虚拟现实技术配合的目的，从而实现了用户更加身临其境与虚拟环境互动的技术效果，进而解决了相关技术中由于使用操控装置与虚拟现实设备交互造成用户体验虚拟现实时真实感降低的技术问题。

作为一种可选地实施例，上述标识物可以包括用于附着在用户身体上的涂覆物或者可穿戴设备。

作为一种可选地实施例，可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种；涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。

作为一种可选地实施例，至少一个标识物的数量为两个，如两个指套，分别套在人手的拇指和食指上；处理装置，用于从画面中识别出附着有两个标识物的对象结合在一起时移动所产生的轨迹。

通过本发明实施例，可以实现虚拟现实设备的手写输入功能。实施时，用户可以使用本申请中的捏合交互手势，在空中移动手画出笔划，处理装置可以将这些笔划映射到虚拟现实设备中的显示画面上，即处理装置识别到连续的触点，形成笔划图形，并显示在虚拟世界中的画面上。进一步，计算机的处理装置对笔划图形进行图像识别，将匹配度最高的字符作为目标字符输入。

例如，虚拟现实系统可以提供用于接收笔划图形输入的界面，该界面有预先设定的尺寸范围；在上述界面范围中，若检测到一组2个分离的触点的运动，则判定为移动笔头，若检测到由2个分离的触点结合为1个结合的触点运动，则连续的记录其移动轨迹，直到触点重新变为2个分离的触点为止；此期间的轨迹记录为1个笔划；若1个笔划结束后，一定时间t内未在输入界面检测到其它新的笔划，则视为完成了1个文字的书写；系统对文字进行图像识别，获取与之匹配度最高的字符，并将该字符作为目标字符输入，如图2(a)和图2(b)所示。

上述标识物可以为一个套状结构，其中，套状结构可以是贴在人体表面的织物或涂料。需要说明的是，套状结构的形式和材料不做限定，可以是附着且贴在人体表面的织物、也可以是涂料、还可以是其他表面材料。

如果在人体部位仅配套有一个套状结构，识别的用户的动作较少，基于此，为了在虚拟现实中处理装置能够对用户的动作实现精准识别，在一个可选的实施方式中，至少一个套状结构的数量可以为两个；处理装置，用于从画面中识别出附着有两个标识物的对象(如人体部分)结合在一起时移动所产生的轨迹。

当套状结构的数量为两个时，处理装置将对画面中识别附着有两个套状结构的人体部分划出的笔划图形或者对虚拟键盘的操作。例如，用户的食指和拇指分别佩戴有两个套状结构，佩戴两个套状结构的手指可以通过捏合实现手势交互输入，相应的，处理装置可以对此捏合实交互手势进行识别。

为了识别画面中佩戴两个套状结构的人体部分做出的动作，佩戴的套状结构的颜色可能有多种，为了进行更好的识别，用户可以选择与套状结构不同颜色的背景，从而可以比较好的将套状结构从背景中区分出来。由于套状结构需要与画面的颜色不同，而画面的颜色一般不能选择，所以可以提供多种颜色的套状结构，让用户根据实际使用的场景进行选择。此时，处理装置，可以根据选择的套状结构的颜色从画面中提取动作。至少一个标识物的颜色为预定颜色；处理装置用于根据预定颜色从画面中提取移动轨迹和/或操作行为。至少一个标识物分为多组，其中，每一组的颜色不同。例如，黑色、红色、黄色等其他颜色。即，上述的至少一个套状结构可以包括多组套状结构，其中，每一组套中均还包括多个套状结构，每一组套状结构的颜色不同。例如，当包括两组套状结构时，可以是左手的食指和拇指为一组套状结构，右手的食指和拇指为另外一组套状结构，有多少组套状结构的数目不做限定，每组套状结构中的套状结构的个数也不做限定，并且，每组套状结构的颜色也不同，如左手的食指和拇指为一组套状结构的颜色为红色，右手的食指和拇指为另外一组套状结构的颜色为黄色。通过上述实施方式，可以达到对虚拟现实设备上的多个按键进行控制，从而达到更好的用户体验。

为了适合各式各样的人群，佩戴套状结构的对象可以为人体部分，该人体部分可以包括以下至少之一：手指、手臂、手。例如，人体部分的手可以带上手套，左手和右手带有红色手套进行体验虚拟现实。又如，当用户只有1只手时，可以将五个手指带上指套，在这种情况下，能够使得不同的人群，如残疾人或正常人都能够实现对虚拟现实设备的控制。

为了将现实中的人体部位做出的动作与虚拟现实设备实现连接，用户通过将带有套的手指移动到可交互虚拟键盘附近，处理装置用于获取标识物在摄像头拍摄的画面中的移动轨迹的第一坐标集合；将第一坐标集合映射为虚拟现实系统的显示画面的第二坐标集合；在第二坐标集合对应的显示位置渲染出第一视觉引导标识，用于引导用户通过第一视觉引导标识感知标识物对应的移动轨迹；或者处理装置用于获取标识物在摄像头拍摄的画面中的操作行为的第三坐标集合；将第三坐标集合映射为虚拟现实系统的显示画面的第四坐标集合；在第四坐标集合对应的显示位置渲染出第二视觉引导标识，用于引导用户通过第二视觉引导标识感知标识物对应的虚拟键盘操作行为。

需要说明的是，在实施时，为了提高用户在虚拟世界中的体验，在虚拟现实系统开机上电后，且输入模式切换至虚拟键盘输入模式的情况下，可以在虚拟现实设系统显示画面上渲染出整个虚拟键盘，如图3所示，这样，用户通过捏合交互手势做出操作行为后，该操作行为映射到虚拟现实设系统中，用户就会直观地看到虚拟键盘上哪个按键被触发，等等。

作为一种可选地实施例，第一视觉引导标识和第二视觉引导标识为基于所述摄像头拍摄的画面进行预定图像处理而获得的图像或者为在所述虚拟现实系统中预设的图像。

由于摄像头拍摄到的画面与人眼视角范围一致，所以能够与虚拟现实设备中用户视觉观察到的画面坐标进行对应，将人体部分的坐标映射为显示部的坐标，因此虚拟现实中的模型坐标即是触点的坐标，且坐标能根据用户佩戴有套状结构的部位的动作而刷新取值。通过上述实施方式，可以使得当佩戴有套状结构的人体部位的动作不断变化时，能够准确的实现虚拟世界的手写输入。

由于处理装置需要通过对每一帧画面作去色、高对比度化处理，若至少一个套状结构的颜色与画面的背景颜色相同，处理装置将无法实现对获取的画面进行识别，在这种情况下，载体的颜色需要与套状结构的颜色对比度相差较大，才能实现对获取画面的识别。至少一个标识物的颜色为预定颜色；处理装置用于根据预定颜色从画面中提取移动轨迹和/或操作行为。至少一个标识物分为多组，其中，每一组的颜色不同。具体地，处理装置用于根据至少一个套状结构的颜色和预先设置的阈值从画面的背景中提取佩戴至少一个套状结构的人体部分。需要说明的是，画面的背景颜色可以与肤色相同或相近，该背景可以环绕用户，例如，该背景可以是载体壁板(纯色的板子或墙壁均可)，并且，由于载体的颜色需要与套的颜色对比度相差较大。通过处理装置通过对每一帧画面作去色、高对比度化处理，经处理后对比度值区间符合预先设置的阈值，可以将符合此阈值的图形识别为1个触点。具体的，例如，只有一组指套时，该组指套的个数为两个，根据用户手指在空间中位置的差异，能获取最多2个触点，当带有套的手指连在一起时，处理装置通过对每一帧画面作去色、高对比度化处理，经处理后对比度值区间符合预先设置的阈值，则识别为一个触点，当带有指套的手指松开时，画面上就有两个触点。

作为一种可选地实施例，处理装置用于从画面中提取附着有至少一个标识物的对象；获取对象的移动轨迹的第五坐标集合；将第五坐标集合映射为虚拟现实系统的第六坐标集合，在第六坐标集合存在匹配的目标字符的情况下，将目标字符作为虚拟现实系统的输入，其中，目标字符是在第六坐标集合对应的显示位置上渲染出来的，用于引导用户通过目标字符感知标识物对应的移动轨迹；或者处理装置用于获取对象对虚拟键盘的操作行为的第七坐标集合；将第七坐标集合映射为虚拟现实系统的第八坐标集合，在第八坐标集合存在虚拟键盘的按键的情况下，将触发按键的响应作为虚拟现实系统的输入，其中，响应是在第八坐标集合对应的显示位置上渲染出的，用于引导用户通过响应感知标识物对应的虚拟键盘操作行为。

作为一种可选地实施例，处理装置用于根据至少一个标识物的颜色和预先设置的阈值从画面的背景中提取附着有至少一个标识物的对象。

通常情况下，为了将现实中的人体部位画出的笔划图形或者对虚拟键盘的相关操作与虚拟现实设备进行连接，处理装置根据虚拟现实系统显示的交互界面与摄像头拍摄的画面的比例，将第五坐标集合映射为虚拟现实系统的第六坐标集合，或将第七坐标集合映射为虚拟现实系统的第八坐标集合。通过该实施方式，可以实现显示部显示的交互界面与人体部分的坐标进行映射，进而实现对人体部分动作的识别，实时的与虚拟现实设备交互，提高用户的体验。

例如，在实现汉语的虚拟键盘输入时，可以在虚拟现实系统(VR系统)中制作专门用于输入的界面，并根据汉语拼音的特性，将声母、韵母、声调设计成枚举按钮(即虚拟键盘的按键)排布在该界面上；用户通过上述各实施方式中提供的技术方案，做出各种捏合交互手势来触发按钮响应以完成汉语拼音在虚拟世界中的输入；系统检测到符合拼音规则的输入后，提供候选字；用户选择候选字最终完成输入，如图3所示。

根据本发明实施例的另一方面，还提供了一种虚拟现实系统输入方法。如图4所示，该方法包括如下步骤：

S402，获取摄像头拍摄的画面。优选地，摄像头的拍摄角度与用户视线方向一致；

S404，从画面中提取附着有至少一个标识物的对象(如人体部分)的移动轨迹，和/或，提取对象对虚拟键盘的操作行为；

S406，将移动轨迹和/或操作行为对应的操作结果作为虚拟现实系统的输入。

需要说明的是，本方案提供的技术方案中的方法可以应用在上述实施例中的虚拟现实系统中。该虚拟现实系统包括虚拟现实设备和多个标识物。其中多个标识物可以附着在人体上，如附着在人的手指上，也可以是人体的其他部位；虚拟现实设备包括头戴式显示器和摄像头，其中摄像头设置在用户的虚拟现实设备的头戴显示器上，该摄像头可以跟随头戴显示器运动。优选地，摄像头拍摄的角度与用户视线方向一致，用于拍摄画面并实时传输到处理装置，处理装置根据获取到的摄像头拍摄的画面，从画面中提取附着有标识物(如指套)的对象(如人的手指)的移动轨迹，并且将该移动轨迹作为虚拟现实系统的输入。通过该虚拟现实系统，达到了用户无需使用间接的操控装置(如手柄、遥控器、按键等)，与虚拟现实技术配合的目的，从而实现了用户更加身临其境与虚拟环境互动的技术效果，进而解决了相关技术中由于使用操控装置与虚拟现实设备交互造成用户体验虚拟现实时真实感降低的技术问题。

作为一种可选地实施例，标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种；涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。至少一个标识物的数量为两个，和/或，至少一个标识物的颜色为预定颜色。至少一个标识物包括多组，其中，每一组的颜色不同。对象包括以下至少之一：手指、手臂、手。

其中，标识物可以是套装结构。例如，当有两个套装结构时，且将套佩戴在手指上。首先获取摄像头拍摄的画面，之后，处理装置对摄像头拍摄到的图像进行处理。图像的背景为载体壁板，前景为穿戴了指套的用户的手。处理的方法可以是但不限于以下步骤i.对图像作去色处理：饱和度降为0。ii.对图像作极值化处理：明度区间为[0,1]，明度为0时呈现黑色，明度为1时呈现白色。设置一个明度阈值α，则对于每个明度＞α的像素，其明度修改为1；对于明度＜α的像素，其明度修改为0。处理后得到图像处理结果b。iii.处理装置将连续的黑色像素包围的面积识别为1个触点，即图像处理结果c。iv.通过调整明度阈值α的取值，可以适应不同的人体肤色、指套的颜色和载体壁板颜色组合的识别。

可选地，将移动轨迹作为虚拟现实系统的输入包括：获取标识物在摄像头拍摄的画面中的移动轨迹的第一坐标集合；将第一坐标集合映射为虚拟现实系统的显示画面的第二坐标集合；在第二坐标集合对应的显示位置渲染出第一视觉引导标识，用于引导用户通过第一视觉引导标识感知标识物对应的移动轨迹，将操作行为对应的操作结果作为虚拟现实系统的输入包括：获取标识物在摄像头拍摄的画面中的操作行为的第三坐标集合；将第三坐标集合映射为虚拟现实系统的显示画面的第四坐标集合；在第四坐标集合对应的显示位置渲染出第二视觉引导标识，用于引导用户通过第二视觉引导标识感知标识物对应的虚拟键盘操作行为。

可选地，第一视觉引导标识和第二视觉引导标识为基于摄像头拍摄的画面进行预定图像处理而获得的图像或者为在虚拟现实系统中预设的图像。

可选地，从画面中提取附着有至少一个标识物的对象的移动轨迹，并将移动轨迹作为虚拟现实系统的输入包括：从画面中提取附着有至少一个标识物的对象；获取对象的移动轨迹的第五坐标集合；将第五坐标集合映射为虚拟现实系统的第六坐标集合，在第六坐标集合存在匹配的目标字符的情况下，将目标字符作为虚拟现实系统的输入，其中，目标字符是在第六坐标集合对应的显示位置上渲染出来的，用于引导用户通过目标字符感知标识物对应的移动轨迹，从画面中提取附着有至少一个标识物的对象对虚拟键盘的操作行为，并将操作行为对应的操作结果作为虚拟现实系统的输入包括：获取对象对虚拟键盘的操作行为的第七坐标集合；将第七坐标集合映射为虚拟现实系统的第八坐标集合，在第八坐标集合存在虚拟键盘的按键的情况下，将触发按键的响应作为虚拟现实系统的输入，其中，响应是在第八坐标集合对应的显示位置上渲染出的，用于引导用户通过响应感知标识物对应的虚拟键盘操作行为。

可选地，从画面中提取附着有至少一个标识物的对象(如人体部分)包括：根据至少一个标识物的颜色和预先设置的阈值从画面的背景中提取附着有至少一个标识物的对象(如人体部分)。

可选地，将第五坐标集合映射为虚拟现实系统中的第六坐标集合，或将第七坐标集合映射为虚拟现实系统的第八坐标集合包括：根据虚拟现实系统显示的交互界面与摄像头拍摄的画面的比例，将第五坐标集合映射为虚拟现实系统的第六坐标集合，或将第七坐标集合映射为虚拟现实系统的第八坐标集合。具体的，例如，可以通过以下方式实现将人体部分的坐标映射为虚拟现实系统中进行显示的坐标，i.设虚拟现实设备软件中用于显示交互界面的平面宽为W1，高为H1。W1、H1的取值在开发该设备的软件时给定。ii.载体壁板上(即背景)粘贴用于定位的标记，在配置设备阶段，通过调整用户与载体壁板的距离，以及二维码粘贴的位置，保证摄像头画面内能拍摄到3个标记，从而生成基于这3个标记的矩形平面。iii.将平面左下角设置为坐标系的坐标原点，令其坐标为(0,0)，设平面宽W2，高为H2。计算人体部分在该平面坐标系中的坐标(X2，Y2)。iv.设虚拟现实设备软件的显示界面中对应人体部分触点的坐标值为(X1，Y1)，则X1＝X2*W1/W2，Y1＝Y2*H1/H2。

需要说明的是，方法部分的各实施方式与系统部分的各实施方式对应类似，申请人在此不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (23)

1.一种虚拟现实系统，其特征在于，包括：虚拟现实设备和至少一个标识物，其中，

所述虚拟现实设备包括：头戴式显示器，包括：佩戴部和显示部，其中，所述佩戴部用于将所述头戴式显示器佩戴在用户的头部，所述显示部用于显示画面；

摄像头，设置在所述头戴显示器上，用于拍摄画面；

处理装置，用于获取所述摄像头拍摄的画面，从所述画面中提取附着有至少一个标识物的对象的移动轨迹，和/或，提取所述对象对虚拟键盘的操作行为；将所述移动轨迹和/或所述操作行为对应的操作结果作为所述虚拟现实系统的输入。

2.根据权利要求1所述的系统，其特征在于，所述标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。

3.根据权利要求2所述的系统，其特征在于，

所述可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、

脚趾套中的一种、两种或多种；

所述涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。

4.根据权利要求1所述的系统，其特征在于，

所述至少一个标识物的数量为两个；

所述处理装置，用于从所述画面中识别出附着有两个所述标识物的对象结合在一起时移动所产生的轨迹。

5.根据权利要求1所述的系统，其特征在于，

所述至少一个标识物的颜色为预定颜色；

所述处理装置，用于根据所述预定颜色从所述画面中提取所述移动轨迹和/或所述操作行为。

6.根据权利要求5所述的系统，其特征在于，所述至少一个标识物分为多组，其中，

每一组的颜色不同。

7.根据权利要求1所述的系统，其特征在于，所述对象为人体部分，包括以下至少之一：手指、手臂、手。

8.根据权利要求1至7中任一项所述的系统，其特征在于，

所述处理装置用于获取所述标识物在所述摄像头拍摄的画面中的移动轨迹的第一坐标集合；将所述第一坐标集合映射为所述虚拟现实系统的显示画面的第二坐标集合；在所述第二坐标集合对应的显示位置渲染出第一视觉引导标识，用于引导用户通过所述第一视觉引导标识感知所述标识物对应的移动轨迹；或者

所述处理装置用于获取所述标识物在所述摄像头拍摄的画面中的操作行为的第三坐标集合；将所述第三坐标集合映射为所述虚拟现实系统的显示画面的第四坐标集合；在所述第四坐标集合对应的显示位置渲染出第二视觉引导标识，用于引导用户通过所述第二视觉引导标识感知所述标识物对应的虚拟键盘操作行为。

9.根据权利要求8所述的系统，其特征在于，所述第一视觉引导标识和所述第二视觉引导标识为基于所述摄像头拍摄的画面进行预定图像处理而获得的图像或者为在所述虚拟现实系统中预设的图像。

10.根据权利要求1至7中任一项所述的系统，其特征在于，

所述处理装置用于从所述画面中提取附着有所述至少一个标识物的对象；获取所述对象的移动轨迹的第五坐标集合；将所述第五坐标集合映射为所述虚拟现实系统的第六坐标集合，在所述第六坐标集合存在匹配的目标字符的情况下，将所述目标字符作为所述虚拟现实系统的输入，其中，所述目标字符是在所述第六坐标集合对应的显示位置上渲染出来的，用于引导用户通过所述目标字符感知所述标识物对应的移动轨迹；或者

所述处理装置用于获取所述对象对所述虚拟键盘的操作行为的第七坐标集合；将所述第七坐标集合映射为所述虚拟现实系统的第八坐标集合，在所述第八坐标集合存在所述虚拟键盘的按键的情况下，将触发所述按键的响应作为所述虚拟现实系统的输入，其中，所述响应是在所述第八坐标集合对应的显示位置上渲染出的，用于引导用户通过所述响应感知所述标识物对应的虚拟键盘操作行为。

11.根据权利要求10所述的系统，其特征在于，所述处理装置用于根据所述至少一个标识物的颜色和预先设置的阈值从所述画面的背景中提取附着有所述至少一个标识物的对象。

12.根据权利要求10所述的系统，其特征在于，所述处理装置用于根据所述虚拟现实系统显示的交互界面与所述摄像头拍摄的画面的比例，将所述第五坐标集合映射为所述虚拟现实系统的所述第六坐标集合，或将所述第七坐标集合映射为所述虚拟现实系统的所述第八坐标集合。

13.一种虚拟现实系统输入方法，其特征在于，包括：

获取摄像头拍摄的画面；

从所述画面中提取附着有至少一个标识物的对象的移动轨迹，和/或，提取所述对象对虚拟键盘的操作行为；

将所述移动轨迹和/或所述操作行为对应的操作结果作为所述虚拟现实系统的输入。

14.根据权利要求13所述的方法，其特征在于，所述标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。

15.根据权利要求14所述的方法，其特征在于，

所述可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种；

所述涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。

16.根据权利要求13所述的方法，其特征在于，

所述至少一个标识物的数量为两个，和/或，所述至少一个标识物的颜色为预定颜色。

17.根据权利要求16所述的方法，其特征在于，所述至少一个标识物包括多组，其中，每一组的颜色不同。

18.根据权利要求13所述的方法，其特征在于，所述对象为人体部分，包括以下至少之一：手指、手臂、手。

19.根据权利要求13至18中任一项所述的方法，其特征在于，

将所述移动轨迹作为所述虚拟现实系统的输入包括：获取所述标识物在所述摄像头拍摄的画面中的移动轨迹的第一坐标集合；将所述第一坐标集合映射为所述虚拟现实系统的显示画面的第二坐标集合；在所述第二坐标集合对应的显示位置渲染出第一视觉引导标识，用于引导用户通过所述第一视觉引导标识感知所述标识物对应的移动轨迹，

将所述操作行为对应的操作结果作为所述虚拟现实系统的输入包括：获取所述标识物在所述摄像头拍摄的画面中的操作行为的第三坐标集合；将所述第三坐标集合映射为所述虚拟现实系统的显示画面的第四坐标集合；在所述第四坐标集合对应的显示位置渲染出第二视觉引导标识，用于引导用户通过所述第二视觉引导标识感知所述标识物对应的虚拟键盘操作行为。

20.根据权利要求19所述的方法，其特征在于，所述第一视觉引导标识和所述第二视觉引导标识为基于所述摄像头拍摄的画面进行预定图像处理而获得的图像或者为在所述虚拟现实系统中预设的图像。

21.根据权利要求13至18中任一项所述的方法，其特征在于，

从所述画面中提取附着有至少一个标识物的对象的移动轨迹，并将所述移动轨迹作为所述虚拟现实系统的输入包括：从所述画面中提取附着有所述至少一个标识物的对象；获取所述对象的移动轨迹的第五坐标集合；将所述第五坐标集合映射为所述虚拟现实系统的第六坐标集合，在所述第六坐标集合存在匹配的目标字符的情况下，将所述目标字符作为所述虚拟现实系统的输入，其中，所述目标字符是在所述第六坐标集合对应的显示位置上渲染出来的，用于引导用户通过所述目标字符感知所述标识物对应的移动轨迹，

从所述画面中提取附着有至少一个标识物的对象对虚拟键盘的操作行为，并将所述操作行为对应的操作结果作为所述虚拟现实系统的输入包括：获取所述对象对所述虚拟键盘的操作行为的第七坐标集合；将所述第七坐标集合映射为所述虚拟现实系统的第八坐标集合，在所述第八坐标集合存在所述虚拟键盘的按键的情况下，将触发所述按键的响应作为所述虚拟现实系统的输入，其中，所述响应是在所述第八坐标集合对应的显示位置上渲染出的，用于引导用户通过所述响应感知所述标识物对应的虚拟键盘操作行为。

22.根据权利要求21所述的方法，其特征在于，从所述画面中提取附着有所述至少一个标识物的对象包括：

根据所述至少一个标识物的颜色和预先设置的阈值从所述画面的背景中提取附着有所述至少一个标识物的对象。

23.根据权利要求21所述的方法，其特征在于，将所述第五坐标集合映射为所述虚拟现实系统中的第六坐标集合，或将所述第七坐标集合映射为所述虚拟现实系统的第八坐标集合包括：

根据所述虚拟现实系统显示的交互界面与所述摄像头拍摄的画面的比例，将所述第五坐标集合映射为所述虚拟现实系统的所述第六坐标集合，或将所述第七坐标集合映射为所述虚拟现实系统的所述第八坐标集合。