CN106598259A - 一种头戴式设备的输入方法、输入器和vr头戴设备 - Google Patents

Abstract

本发明提供一种头戴式设备的输入方法，包括：开启输入法；用户保持视线垂直于显示屏幕，用户视线在显示屏幕上形成视线原点；用户在显示屏幕上的设定视野范围内转动眼球，采集眼球的转动方向，并以眼球转动的方向作为视线向量的方向；用户眼球转动一定角度，并计算眼球转动至一定角度后，用户视线在所述设定视野范围内形成的投影距离，以投影距离作为视线向量的长度；生成视线向量，视线向量末端所在的特定区域为选中区域；保持视线向量的方向和长度不变且达到第一时间后，选中区域被选定，输入选定区域对应的字符信息。还公开了头戴式设备的输入器和头戴式VR设备。本发明通过眼球转动实现输入，无需外接硬件设备，具有使用灵活性好的优点。

Description

一种头戴式设备的输入方法、输入器和VR头戴设备

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种头戴式设备的输入方法、一种应用于头戴式设备的输入器，以及一种采用头戴式设备输入方法的VR头戴设备。

背景技术

虚拟现实技术是仿真技术的一个重要分支方向。虚拟现实技术使用计算机，利用相关技术和软、硬件工具生成实时动态的、三维立体而且纹理逼真的图像和场景，并使其可以模仿人类的各种感知，并利用传感器与用户进行交互。从1963年虚拟现实技术萌芽至今，虚拟现实技术的理论已经比较完善，而且近年来，虚拟现实技术在军事仿真、娱乐游戏、医疗、建筑等多个行业中得到广泛和深入的研究和使用。

在现有的虚拟现实设备的人机交互过程中，输入文字是一个很大的难题，现有技术中采用两种方式视线对虚拟现实设备的文字输入。第一种是在用户双手一端配套设置传感器，通过传感器生成远程信号形成虚拟键盘模拟输入。第二种是通过摄像头，将手指关节动作映射到虚拟环境中，形成虚拟键盘模拟输入。

上述两种输入方法均需要通过外接设备进行配合，用户在体验过程中需要频繁开启硬件设备，存在输入效率低且体验较差的缺点。

发明内容

为解决现有技术的VR设备必须采用外接硬件设备配合进行输入的问题，本发明提供一种全新的头戴式设备的输入方法。

一种头戴式设备的输入方法，包括以下步骤：

用户保持视线垂直于显示屏幕，用户视线在所述显示屏幕上形成视线原点；

用户在所述显示屏幕上的设定视野范围内转动眼球，采集眼球的转动方向，并以所述眼球转动的方向作为视线向量的方向；

用户眼球转动一定角度，跟踪眼球转动角度，并计算眼球转动至一定角度后，用户视线在所述设定视野范围内形成的投影距离，以投影距离作为视线向量的长度；

生成视线向量，所述视线向量末端所在的特定区域为选中区域；

保持所述视线向量的方向和长度不变，且达到第一时间后，所述选中区域被选定，输入所述选定区域对应的字符信息。

进一步的，还包括以下步骤：开启输入法后，选择是左眼或右眼作为输入源；用作输入源的一只眼睛动作，采集选择出作为输入源的一侧眼睛的眼球转动方向和转动角度。

进一步的，还包括以下步骤，选定输入源后，对输入源进行校正；

所述校正包括以下步骤：

保持显示屏幕端正，显示屏幕的中心点作为设备原点；

用户正视显示屏幕，输入源在所述显示屏幕上形成视线原点；

输入源转动校正角度，使得视线原点和设备原点重合，以输入源的转动方向作为校正向量的方向；

跟踪所述校正角度，并计算转动至校正角度后，用户视线在所述设定视野范围内形成的投影距离，以所述投影距离作为所述校正向量的长度；

校正后，所述视线向量和校正向量之和为输入向量，所述输入向量的末端所在特定区域为选中区域。

进一步的，在所述设定视野范围内设置有关闭选项区域，在每次所述选中区域被选定后，判定关闭选项区域是否被选定，如果所述关闭选项区域被选定，则退出输入法，如果所述关闭选项未被选定，则检测所述输入向量末端所在特定区域。

优选的，所述第一时间为500ms。

优选的，以所述设备原点为中心，字符键盘呈矩形、圆形或椭圆形分布在所述设备原点两侧。

本发明所公开的输入方法，通过识别人体眼球的转动，在具有特定输入信息的设定视野范围内生成一个对应人体眼球转动的视线向量，并通过该视线向量选中选定一个特定区域，并输入该特定区域的文字信息。整个过程中不需要外接硬件设备。

本发明同时公开了一种头戴式设备的输入器，包括：

参照点生成单元，所述参照点生成单元用于采集用户视线在显示屏幕上形成的视线原点；

视线向量生成单元，所述视线向量生成单元用于采集用户眼球的转动方向，并跟踪眼球转动角度，计算转动至一定角度后，用户视线在所述设定视野范围内形成的投影距离，将所述眼球转动方向作为视线向量的方向，投影距离作为视线向量的长度；

区域选中单元，所述区域选中单元用于定位选中所述视线向量末端所在的特定区域；

区域选定单元，所述区域选定单元用于保持所述视线向量的方向和长度不变且达到第一时间后，选定所述选中区域，识别并输入对应的字符信息。

进一步的，还包括：输入源选定单元，所述输入源选定单元用于采集用作输入源的一只眼睛的动作，判定开始采集选择用作输入源的一侧的眼睛的眼球转动方向和转动角度。

进一步的，还包括：校正单元，所述校正单元用于形成设备原点和视线原点之间的校正向量；

输入向量生成单元，所述输入向量生成单元用于根据视野向量和校正向量的和向量生成输入向量。

本发明所公开的头戴式设备的输入器可以作为现有不具备输入功能的头戴式设备的扩展功能组件，通过输入器可以实现对设备本身硬件功能的扩展，通过采集人体眼部眼球的转动动作生成输入向量，进一步形成输入控制指令，实现通过眼球动作对字符的输入，具有使用灵活的优点。

本发明同时还公开了一种头戴式VR设备，应用头戴式设备输入方法，头戴式设备的输入方法包括以下步骤：

用户保持视线垂直于显示屏幕，用户视线在所述显示屏幕上形成视线原点；

用户在所述显示屏幕上的设定视野范围内转动眼球，采集眼球的转动方向，并以所述眼球转动的方向作为视线向量的方向；

用户眼球转动一定角度，跟踪眼球转动角度，并计算眼球转动至一定角度后，用户视线在所述设定视野范围内形成的投影距离，以投影距离作为视线向量的长度；

生成视线向量，所述视线向量末端所在的特定区域为选中区域；

保持所述视线向量的方向和长度不变，且达到第一时间后，所述选中区域被选定，输入所述选定区域对应的字符信息。

本发明所公开的VR头戴设备，可以将键盘字符排列在人体视线范围内，通过视野向量输入指向的字符，视线输入法功能，方便快捷，提升了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所公开的头戴式设备输入方法第一种实施例的流程图；

图2为本发明所公开的头戴式设备输入方法第二种实施例的流程图；

图3为图2中校正流程的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示为本发明所公开的头戴式设备输入方法第一种实施例的流程图。在本实施例中，头戴式设备中字符的输入主要基于对用户眼球的转动方向和转动角度检测的检测结果，或者基于视线测量的测量结果生成，在实际使用的过程中，视线的测量也是基于对眼球转动动作的检测进一步计算得到的。在现有技术中，对用户眼球的转动角度的计算算法主要依赖于对摄像头采集的图片进行识别和对参照点的计算。因此，在头戴式设备中必须具有一定用于成像的光源。成像光源可以采用头戴式设备本身显示屏幕成像时所使用的光源，也可以在头戴式设备中设计独立的光源单独作为检测用户眼球转动的输入光源使用，输入光源的亮度和角度可以调节，以保证人体眼部的舒适度。

光源优选设置在头戴式设备本身设置有显示屏幕一侧，向用户眼球一侧照射光，并通过摄像头拍摄眼球的情况，形成连续帧的图像。人体眼球的图像识别可以采用角膜或者瞳孔作为参照点。用户眼球反射光源形成的视线反馈在显示屏幕上。通过摄像头采集人体眼球处于转动极限位置的图像，并对图像中的角膜或者瞳孔位置进行定位，可以对人体眼球位于极限位置时形成的视野区域进行计算。在小于视野区域面积的中心位置形成设定视野范围，并在该设定视野范围内显示对应输入法设置的字符键盘图标，字符键盘图标上的每一个图标具有一定的区域面积。设定视野范围的面积小于视野区域面积的80%，以保证在输入的过程中，用户眼球不会长时间工作在极限位置，产生过度的疲惫感。

用户可以主动通过设置在头戴式设备上的按键开启输入法，也可以通过程序自动开启输入法。开启输入法后，用户保持视线垂直于显示屏幕，用户视线在所述显示屏幕上形成视线原点。用户在显示屏幕上的设定视野范围内转动眼球，摄像头采集眼球的转动方向，并以所述眼球转动的方向作为视线向量方向。采集时，摄像头至少采集连续两帧的眼球图像，并根据连续两帧的眼球图像判定眼球转动的方向，并以判定结果作为视线向量的方向。

用户眼球转动一定角度，摄像头连续采集眼球的图像以跟踪眼球转动角度，并确定根据眼球和设定视野范围之间的距离，以及眼球转动的角度计算出用户视线在设定视野范围内形成的投影距离，将计算出的投影距离作为视线向量的长度。这样，在设定视野范围内即生成了一个具有确定方向和确定长度的视野向量。在输入的过程中视野向量的方向和长度会随着人体眼球转动方向和转动角度的变化而变化，并依此生成连续输入控制信号。

视线向量末端，也就是视野向量指向的一端的端点，会确定无疑地位于一个特定区域内部，输入方法认定端点所在的特定区域为通过眼球转动生成的选中区域。通过计算机程序的设定，选中区域本身即对应着一个待输入的字符。如果用户眼球保持一定的转动角度，生成一个方向和长度都在第一时间中保持不变的视线向量，则认定该选中区域被选定，输入选定区域对应的字符信息。所述的字符信息，可以是文字信息、数字信息或者对应的其它符号。

本发明上述实施例所公开的输入方法，通过识别人体眼球的转动，在具有特定输入信息的设定视野范围内生成一个对应人体眼球转动的视线向量，并通过该视线向量选中选定一个特定区域，并输入该特定区域的文字信息。整个过程中不需要外接硬件设备。

可以了解，由于人体个体的差异，并不是任何一个人的双眼都可以确保同时向一个方向转动同样的角度。因此，在本发明所公开的第二实施例中，开启输入法后，用户可以主动选择是左眼还是右眼作为输入源。选择可以通过眨眼或者其它明确的眼部动作进行选择，在此不作限定，仅需要使得用作输入源的一只眼睛按照输入源选择的既定动作即可。当选定一直眼睛作为输入源后，摄像头或者其它用于采集眼球动作的图像采集装置仅采集选择作为输入源的一侧眼睛的眼球转动方向和转动角度，另一侧一只眼睛无论是否是与输入源一起动作，都不作为输入法的控制参数。

此外，由于个体眼部的差异，眼球瞳孔朝向的方向不一定与人实际视线的观看方向一致。而且设定视野范围形成在双眼前方，但在本实施例中仅进行单眼动作的采集，存在一定的视线偏差。因此，在本实施例中，还设定了校正的步骤。具体参见图3所示，保持显示屏幕端正，显示屏幕的中心点作为设备原点。用户保持视线垂直于显示屏幕，输入源形成的视线在所述显示屏幕上形成视线原点。在实际使用过程中，输入源的选定和视线原点的生成顺序不作限定。显示屏幕的设备原点可以通过高亮的形式进行示意。选定作为输入源的一侧眼球转动校正角度，校正角度是使得设备原点和视线原点重合时输入源转动的角度，并以输入源在这个过程中转动的方向作为校正向量的方向。

进一步对校正角度进行跟踪，根据校正角度以及输入源和设定视野范围之间的距离，计算转动至校正角度后，用户视线在设定视野范围内形成的投影距离，以该校正距离作为校正向量的长度。生成具有固定长度和固定方向的校正向量，通过校正向量对视线偏差进行修正。

通过这种方式，还可以生成对应另一个输入源的校正向量，并将两个校正向量存储在存储器中，当用户之后选择其中一侧的眼睛作为输入源时，即自动调取对应的校正向量。还可以根据用户的虹膜生成身份信息，并将校正向量和虹膜身份信息形成关联，在某一个特定用户使用设备时，自动根据身份信息调取作为输入源的眼球的校正向量。避免每次开机时进行校正流程，提高数据处理效率，降低用户的等待时间。

在得到校正向量后，每次生成视线向量时，都先计算校正向量和视线向量的和向量，定义二者的和向量为输入向量，输入向量的末端所在特定区域为选中区域。通过校正流程，克服了单眼测量和个体差异带来的误差。

输入法的开启通过按键或者程序设定开启，输入法的关闭也可以通过按键实现。除了通过按键关闭输入法之外，一种优选的设置方式为，在设定视野范围内设置有关闭选项区域。在每次选中区域被选定之后，设定首先判定关闭选项区域是否被选定。选定关闭选项区域的过程和选定其它特定区域的过程一致。如果关闭选项区域被选定，则退出输入法，如果关闭选项未被选定，则再次检测输入向量末端所在的特定区域，并判断该特定区域是否被选定。

在本发明所公开的上述两个实施例中，第一时间优选为500ms。选择500ms作为第一时间，用户不会感受到明显的延时，提高输入过程中的用户体验。为了便于输入，同时确保在采用任何一个输入源进行输入时不会带来明显的差异，在上述两个实施例中，以设备原点为中心，字符键盘可以以矩形、圆形、椭圆形的任意一种分布在设备原点的两侧。

采用本发明上述实施例所公开的头戴式设备的输入方法，可以通过人体眼球动作生成输入向量，通过输入向量在显示屏幕上实现文字输入，克服了个体差异或者双眼使用时产生的误差，具有输入精度高且用户体验良好的优点。

本发明同时公开了一种采用上述头戴式设备的输入方法的头戴式VR设备，在头戴式VR设备中，显示设备为VR设备的显示屏幕，光源为VR设备中生成显示图像的光源。在头戴式VR设备中集成一个独立的用于采集人体眼球动作的摄像头，或者采用原有的摄像设备采集人体眼球的动作。采用原有的摄像设备时，需要保证其拍摄角度足以覆盖人体眼部区域。输入方法参见上述两个实施例的详细描述，头戴式VR设备可以达到同样的技术效果。

本发明同时还公开了一种头戴式设备的输入器，具体包括：

参照点生成单元，所述参照点生成单元用于采集用户视线在显示屏幕上形成的视线原点；

视线向量生成单元，所述视线向量生成单元用于采集用户眼球的转动方向，并跟踪眼球转动角度，计算转动至一定角度后，用户视线在所述设定视野范围内形成的投影距离，将所述眼球转动方向作为视线向量的方向，投影距离作为视线向量的长度；

区域选中单元，所述区域选中单元用于定位选中所述视线向量末端所在的特定区域；

区域选定单元，所述区域选定单元用于在保持所述视线向量的方向和长度不变且达到第一时间后，选定所述选中区域，识别并输入对应的字符信息。

为了克服双眼采集带来的误差，还包括：

输入源选定单元，所述输入源选定单元用于采集用作输入源的一只眼睛的动作，判定开始采集选择用作输入源的一侧的眼睛的眼球转动方向和转动角度。

为了克服个体眼部结构的差异，还包括：

校正单元，所述校正单元用于形成设备原点和视线原点之间的校正向量；

输入向量生成单元，所述输入向量生成单元用于根据视野向量和校正向量的和向量生成输入向量。

本发明所公开的头戴式设备的输入器可以作为现有不具备输入功能的头戴式设备的一种扩展功能组件，通过输入器可以实现对设备本身硬件功能的扩展，通过采集人体眼部眼球的转动动作生成输入向量，进一步形成输入控制指令，实现通过眼球动作对字符的输入，具有使用灵活的优点。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种头戴式设备的输入方法，其特征在于，包括以下步骤：

用户保持视线垂直于显示屏幕，用户视线在所述显示屏幕上形成视线原点；

用户在所述显示屏幕上的设定视野范围内转动眼球，采集眼球的转动方向，并以所述眼球转动的方向作为视线向量的方向；

用户眼球转动一定角度，跟踪眼球转动角度，并计算眼球转动至一定角度后，用户视线在所述设定视野范围内形成的投影距离，以投影距离作为视线向量的长度；

生成视线向量，所述视线向量末端所在的特定区域为选中区域；

保持所述视线向量的方向和长度不变，且达到第一时间后，所述选中区域被选定，输入所述选定区域对应的字符信息。

2.根据权利要求1所述的头戴式设备的输入方法，其特征在于，包括以下步骤：

选择是左眼或右眼作为输入源；用作输入源的一只眼睛动作，采集选择出作为输入源的一侧眼睛的眼球转动方向和转动角度。

3.根据权利要求2所述的头戴式设备的输入方法，其特征在于，还包括以下步骤，选定输入源后，对输入源进行校正；

所述校正包括以下步骤：

保持显示屏幕端正，显示屏幕的中心点作为设备原点；

用户正视显示屏幕，输入源在所述显示屏幕上形成视线原点；

输入源转动校正角度，使得视线原点和设备原点重合，以输入源的转动方向作为校正向量的方向；

跟踪所述校正角度，并计算转动至校正角度后，用户视线在所述设定视野范围内形成的投影距离，以所述投影距离作为所述校正向量的长度；

校正后，所述视线向量和校正向量之和为输入向量，所述输入向量的末端所在特定区域为选中区域。

4.根据权利要求3所述的头戴式设备的输入方法，其特征在于，

在所述设定视野范围内设置有关闭选项区域，在每次所述选中区域被选定后，判定关闭选项区域是否被选定，如果所述关闭选项区域被选定，则退出输入法，如果所述关闭选项未被选定，则检测所述输入向量末端所在特定区域。

5.根据权利要求4所述的头戴式设备的输入方法，其特征在于，所述第一时间为500ms。

6.根据权利要求5所述的头戴式设备的输入方法，其特征在于，以所述设备原点为中心，字符键盘呈矩形、圆形或椭圆形分布在所述设备原点两侧。

7.一种头戴式设备的输入器，其特征在于，包括：

参照点生成单元，所述参照点生成单元用于采集用户视线在显示屏幕上形成的视线原点；

视线向量生成单元，所述视线向量生成单元用于采集用户眼球的转动方向，并跟踪眼球转动角度，计算转动至一定角度后，用户视线在所述设定视野范围内形成的投影距离，将所述眼球转动方向作为视线向量的方向，投影距离作为视线向量的长度；

区域选中单元，所述区域选中单元用于定位选中所述视线向量末端所在的特定区域；

区域选定单元，所述区域选定单元用于在保持所述视线向量的方向和长度不变且达到第一时间后，选定所述选中区域，识别并输入对应的字符信息。

8.根据权利要求7所述的头戴式设备的输入器，其特征在于，还包括：

输入源选定单元，所述输入源选定单元用于采集用作输入源的一只眼睛的动作，判定开始采集选择用作输入源的一侧的眼睛的眼球转动方向和转动角度。

9.根据权利要求8所述的头戴式设备的输入器，其特征在于，还包括：

校正单元，所述校正单元用于形成设备原点和视线原点之间的校正向量；

输入向量生成单元，所述输入向量生成单元用于根据视野向量和校正向量的和向量生成输入向量。

10.一种头戴式VR设备，其特征在于，应用如权利要求1至6任一项所述的头戴式设备的输入方法。