CN109164924B - 一种字符输入法及识别字符输入法的系统 - Google Patents

Abstract

本发明公开了一种字符输入法及识别字符输入法的系统，该字符输入法包括：通过景深摄像头采集至少一个手指中的任一手指的触发点；根据任一手指的触发点，确定任一手指到任一手指对应掌心的向量与对应的掌心平面的夹角；将任一手指到任一手指对应掌心的向量与对应的掌心平面的夹角与预先测量的判定值进行比较，当任一手指到任一手指对应掌心的向量与对应的掌心平面的夹角与预先测量的判定值一致时，在头戴式设备的显示器上显示任一手指对应的字符。

Description

一种字符输入法及识别字符输入法的系统

技术领域

本发明涉及虚拟现实和现实增强技术领域，具体涉及一种字符输入法及识别字符输入法的系统。

背景技术

随着虚拟现实与现实增强逐渐进入人们的视野中，头戴式设备的应用场景也逐渐增多。然而头戴式设备不同于电脑与手机，在头戴式设备的应用场景中使用键盘和触屏输入字符是不合适的。然而现在还没有一种比较有效的方法解决头戴式设备的字符输入问题。

目前，现有的技术有利用语音进行字符输入(例如：googleglass)，其技术可以使输入速率得到保证，但是其适用的场景比较少，存在隐私保护方面的问题而且会影响周围人群。再者如微软公司的hololens则是利用凝视点的光标对字符进行逐个选取，此方法虽能保护隐私但其输入效率却大大降低。当然现有的技术也可以通过键盘和触屏进行字符输入，但这是与头戴式设备的使用场景相违背的，需要多携带其他的设备，并不能整合在头戴式设备中。

发明内容

本发明的目的在于提供一种字符输入法及识别字符输入法的系统，用以解决现有技术中使用头戴式设备无法进行正常输入的问题。

为实现上述目的，本发明的技术方案为一种字符输入法，该字符输入法包括：通过景深摄像头采集至少一个手指中的任一手指的触发点；根据任一手指的触发点，确定任一手指到任一手指对应掌心的向量与该对应的掌心平面的夹角；将任一手指到任一手指对应掌心的向量与该对应的掌心平面的夹角与预先测量的判定值进行比较，当任一手指到任一手指对应掌心的向量与该对应的掌心平面的夹角与预先测量的判定值一致时，在头戴式设备头戴式设备的显示器上显示任一手指对应的字符。

可选的，根据任一手指的触发点，确定任一手指到任一手指对应掌心的向量与该对应的掌心平面的夹角，包括：计算与任一手指对应的掌心到位于触发点的任一手指的指尖的向量和与任一手指对应的掌心背向任一手指对应的手背的法向量，以及计算向量与法向量的夹角的cos值。

可选的，根据任一手指的触发点，确定任一手指到任一手指对应掌心的向量与该对应的掌心平面的夹角，包括：计算与任一手指对应的掌心到位于触发点的任一手指的指尖的向量和与任一手指对应的掌心背向任一手指对应的手背的法向量，以及计算向量在法向量上的投影长度。

可选的，在通过景深摄像头采集至少一个手指中的任一手指的触发点之前，该字符输入法，还包括：建立至少一个手指与字符的对应关系。

可选的，该字符输入法，还包括：存储至少一个手指与字符的对应关系。

可选的，该字符输入法，还包括：建立手势与字符的对应关系。

可选的，在头戴式设备的显示器上显示任一手指对应的字符之后，该字符输入法，还包括：从任一手指对应的字符中选取输入的字符，输入的字符为待输入的字符。

可选的，预先测量的判定值是通过用户的手指在舒适状态时，手指位置特征以及其按压状态下的手指特征获得。

为实现上述目的，本发明的技术方案为一种识别输入法的系统，该字符输入法的系统包括：景深摄像头和头戴式设备；其中，头戴式设备包括显示器和处理器；景深摄像头，用于采集至少一个手指中的任一手指的触发点；处理器，用于根据任一手指的触发点，确定任一手指到任一手指对应掌心的向量与该对应的掌心平面的夹角；处理器，还用于将任一手指到任一手指对应掌心的向量与该对应的掌心平面的夹角与预先测量的判定值进行比较，当任一手指到任一手指对应掌心的向量与该对应的掌心平面的夹角与预先测量的判定值一致时，由显示器显示任一手指对应的字符。

可选的，景深摄像头设置在头戴式设备上。

本发明具有如下优点：

更高的输入效率，更好的隐私保护效果，对周围的干扰小，其所用到的硬件能更好的与头戴式设备进行整合。

附图说明

图1为本发明实施例提供了一种字符输入法的流程图。

图2为手指与字符的对应关系。

图3为本发明实施例提供了一种识别字符输入的系统的结构示意图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

图1为本发明实施例提供了一种字符输入法的流程图。如图1所示，该字符输入法可以包括以下步骤：

步骤S101：通过景深摄像头采集至少一个手指中的任一手指的触发点；

本发明实施例中，通过景深摄像头实时采集手指在打字的时候，每一个手指按下和抬起的运动轨迹。

在本发明实施例中，假设手掌和手指在一个平面，当用户进行打字的时候，手指会离开掌心所在的平面，然后会再次回到掌心所在的平面，这个手指的运动轨迹由景深摄像头采集。触发点则是手指离开掌心所在平面到达的点，当用户向下(相对掌心)打字时，手指指尖到达的最低点为触发点，当用户向上(相对手背)打字时，手指指尖到达的最高点为触发点；或者，当用户向下(相对手背)打字时，手指指尖到达的最低点为触发点，当用户向上(相对掌心)打字时，手指指尖到达的最高点为触发点。为了方便叙述，下文中以手掌向下，向下打字，以及任一手指以左手小手指为例进行示例。

步骤S102：根据任一手指的触发点，确定任一手指到任一手指对应掌心的向量与该任一手指对应的掌心平面的夹角；

在步骤S102，左手小手指达到触发点，确定左手小手指在触发点时，左手小手指到掌心的向量与左手掌心平面的夹角。

确定左手小手指到左手掌心的向量与左手掌心平面的夹角，包括以下几种情况：

第一种方式：计算与任一手指对应的掌心到位于触发点的任一手指的指尖的向量和与任一手指对应的掌心背向任一手指对应的手背的法向量，以及计算向量与法向量的夹角的cos值。

具体地，计算左手掌心到位于触发点的左手小手指的向量和左手向量背向左手手背的法向量，以及计算向量与法向量的夹角的cos值。

第二种方式：计算与任一手指对应的掌心到位于触发点的任一手指的指尖的向量和与任一手指对应的掌心背向任一手指对应的手背的法向量，以及计算向量在法向量上的投影长度。

具体地，计算左手掌心到位于触发点的左手指尖的向量和左手掌心背向左手手背的法向量，并计算向量在法向量上的投影长度。

需要说明的是，数字手势最明显的特征是手的指尖点，所以指尖点检测算法的好坏将直接影响后期手势识别或者人机交互的结果。本发明实施例则是通过图像边缘识别，确定指尖，具体为计算手势轮廓点与掌心点的距离并生成距离曲线，找出距离曲线中的波峰点，即指尖点位置。

指尖到传感器(景深摄像头)的距离原理是获得深度图像，不同的灰度值代表不同的距离。

其中，获取深度图像的方法可以分为两类：被动测距传感和主动深度传感。

被动测距传感中最常用的方法是双目立体视觉，该方法通过两个相隔一定距离的摄像机同时获取同一场景的两幅图像，通过立体匹配算法找到两幅图像中对应的像素点，随后根据三角原理计算出时差信息，而视差信息通过转换可用于表征场景中物体的深度信息。

主动测距传感相比较于被动测距传感最明显的特征是：设备本身需要发射能量来完成深度信息的采集。这也就保证了深度图像的获取独立于彩色图像的获取。

步骤S103：将任一手指到任一手指对应的掌心的向量与该任一手指对应的掌心平面的夹角与预先测量的判定值进行比较，当任一手指到任一手指对应的掌心的向量与该任一手指对应的掌心平面的夹角与预先测量的判定值一致时，在头戴式设备的显示器上显示任一手指对应的字符。

具体地，将左手小手指到左手掌心的向量与左手掌心平面成的夹角与预先测量的判定值进行比较，当左手小手指到左手掌心的向量与左手掌心平面的夹角与预先测量的判定值一致时，在头戴式设备的显示器上显示左手小手指对应的字符。

在步骤S103之前，可以在步骤S101，也可以在步骤S102之前，字符输入法，还包括：

预先得到预先测量的判定值。

预先测量的判定值，则是由用户在第一次使用头戴式设备时，使用者在舒适状态下的手指位置特征以及其按压状态下的手指特征来获取的。

可选的，在步骤S101之前，字符输入法，还包括：在用户第一次使用该头戴式设备时，需要进行设定，任一手指与字符的对应关系。

预先建立手指与字符的对应关系，例如左手小手指图2中的“，。？！”字符对应，当用户左手的小手指向下按时，在当左手小手指与左手掌心的夹角与预先测量的判定值一致时，在头戴式设备的显示器上显示左手小手指对应的字符，也就是“，。？！”字符。

在本发明实施例中，在建立字符与任一手指的对应关系之后，字符输入法，还包括：存储任一手指与字符的对应关系。

可选的，在本发明实施例，字符输入法，还包括：当用户进行字符输入的时候，由于手指的误操作，使得输入错误，为了避免输入错误，可以根据用户个人在打字的时候，手指向下按压的深度设置为阈值(例如向下未达到触发点)，因为打字的时候，手指在按压之后会抬起，这个抬起也可以设置一个阈值，在这个阈值之间的可以设置为误操作区间，手指在这个误操作区间进行移动在识别之后，可以自动被剔除掉，按压的阈值和抬起的阈值因人而异，可以在第一次使用该头戴式设备的时候进行设置。

可选的，在本发明实施例中，字符输入法，还包括：在用户第一使用头戴式设备时，可以设置手势与字符的对应关系；其中，设置手势与字符的对应关系可以与设置手指与字符的对应关系同时进行设置，或者分开设置，都是可以的。当然在设置好手势与字符的对应关系之后，也需要将手势与字符的对应关系进行存储。

此处，设置手势与字符的对应关系，可以应用在输入错误字符和切换输入法情况下，当前这些手势与字符的对应关系也会预先存储在头戴式设备中。例如，预先设置，用户在输入某一字符之后，将张开的手掌变为收缩的拳头，此时，景深摄像头检测到之后，将原先的输入法切换为其他的输入法，如果连续多次张开的手掌变为收缩的拳头，则是持续进行输入法的切换，如果用户进行字符输入，则说明用户已经选择了合适的输入了。

可选的，在本发明实施例中，在头戴式设备的显示器上显示“，。？！”字符时，字符输入法，还包括：从“，。？！”字符中选取要输入的字符，例如，用户要输入“，”，则从“，。？！”字符中选取“，”字符。选取的方式可以通过与头戴式设备连接的鼠标，或者蓝牙鼠标进行点击选取。

具体地，从“，。？！”字符中选取要输入的字符，可以对双手的十个手指进行定义，例如左手小拇指表示向左移动选定框，左手无名指表示向右移动选定框，左手的中指则表示，左手的食指、大拇指和右手的大拇指、食指、中指、无名指和小指分别表示当前字符的编号，可以点击左手的食指、大拇指和右手的大拇指、食指、中指、无名指和小指，选定需要输入的字符。

实施例2

图3为本发明实施例提供了一种识别输入法的系统。如图3所示，识别输入法的系统，包括：景深摄像头31和头戴式设备32；其中，头戴式设备32包括显示器321和处理器322。

景深摄像头31，用于采集至少一个手指中的任一手指的触发点；处理器321，用于根据任一手指的触发点，确定任一手指到任一手指对应的掌心的向量与该任一手指对应的掌心平面的夹角；处理器321，还用于将任一手指到任一手指对应的掌心的向量与该任一手指对应的掌心平面的夹角与预先测量的判定值进行比较，当任一手指到任一手指对应的掌心的向量与该任一手指对应的掌心平面的夹角与预先测量的判定值一致时，由显示器322显示任一手指对应的字符。

可选的，处理器321，用于计算与任一手指对应的掌心到位于触发点的任一手指的指尖的向量和与任一手指对应的掌心背向任一手指对应的手背的法向量，以及计算向量与法向量的夹角的cos值。

具体地，计算左手掌心到位于触发点的左手小手指的向量和左手向量背向左手手背的法向量，以及计算向量与法向量的夹角的cos值。

可选的，采处理器321，计算与任一手指对应的掌心到位于触发点的任一手指的指尖的向量和与任一手指对应的掌心背向任一手指对应的手背的法向量，以及计算向量在法向量上的投影长度。

具体地，计算左手掌心到位于触发点的左手指尖的向量和左手掌心背向左手手背的法向量，并计算向量在法向量上的投影长度。

可选的，景深摄像头31，还用于采集用户在舒适状态下，任一手指的触发点。

可选的，处理器321，还用于确定任一手指与任一手指对应的掌心的夹角，进而确定预先测量的判定值。

预先测量的判定值，则是由用户在第一次使用头戴式设备时，使用者在舒适状态下的手指位置特征以及其按压状态下的手指特征来获取的。

可选的，识别字符输入的系统，还包括：设定模块323；设定模块323，用于在用户第一次使用该头戴式设备时，需要进行设定，任一手指与字符的对应关系。

预先建立手指与字符的对应关系，例如左手小手指与图2中的“，。？！”字符对应，当用户左手的小手指向下按时，在当左手小手指与左手掌心的夹角与预先测量的判定值一致时，在头戴式设备的显示器上显示左手小手指对应的字符，也就是“，。？！”字符。图2中的字符排布只是一个示例，可以根据用户的使用习惯进行设置。

在本发明实施例中，识别字符输入的系统，还包括：存储模块324；存储模块324，用于在建立字符与任一手指的对应关系之后，存储任一手指与字符的对应关系。

可选的，设定模块323，还用于：当用户进行字符输入的时候，由于手指的误操作，使得输入错误，为了避免输入错误，可以根据用户个人在打字的时候，手指向下按压的深度设置为阈值(例如向下未达到触发点)，因为打字的时候，手指在按压之后会抬起，这个抬起也可以设置一个阈值，在这个阈值之间的可以设置为误操作区间，手指在这个误操作区间进行移动在识别之后，可以自动被剔除掉，按压的阈值和抬起的阈值因人而异，可以在第一次使用该头戴式设备的时候进行设置。

可选的，设定模块323，还用于：在用户第一使用头戴式设备时，可以设置手势与字符的对应关系；其中，设置手势与字符的对应关系可以与设置手指与字符的对应关系同时进行设置，或者分开设置，都是可以的。当然在设置好手势与字符的对应关系之后，也需要将手势与字符的对应关系进行存储。

此处，设置手势与字符的对应关系，可以应用在输入错误字符和切换输入法情况下，当前这些手势与字符的对应关系也会预先存储在头戴式设备中。例如，预先设置，用户在输入某一字符之后，将张开的手掌变为收缩的拳头，此时，景深摄像头检测到之后，将原先的输入法切换为其他的输入法，如果连续多次张开的手掌变为收缩的拳头，则是持续进行输入法的切换，如果用户进行字符输入，则说明用户已经选择了合适的输入法。

可选的，输入字符的系统，还包括：惯导传感器；惯导传感器，用于：从显示器322上显示“，。？！”字符中选取要注入的字符，例如，用户要输入“，”，则从“，。？！”字符中选取“，”字符。

可选的，可将景深摄像头31设置在头戴式设备32上，进而减少器件的数量。可选的，本发明实施例中的输入法可以与各种智能眼镜中如googleglass、hololens，或整合在各种虚拟现实头盔中如oculus，htcvive。

本发明创造与现有技术相比，所具有的优点和积极效果；更高的输入效率，更好的隐私保护效果，对周围的干扰小，其所用到的硬件能更好的与头戴式设备进行整合。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种字符输入法，其特征在于，所述字符输入法，包括：

通过景深摄像头采集至少一个手指中的任一手指的触发点，其中，所述触发点为手指按下键盘时的指尖点；

根据所述任一手指的触发点，确定所述任一手指到所述任一手指对应掌心的向量与所述对应的掌心平面的夹角；

将所述任一手指到所述任一手指对应掌心的向量与所述对应的掌心平面的夹角与预先测量的判定值进行比较，当所述任一手指到所述任一手指对应掌心的向量与所述对应的掌心平面的夹角与预先测量的判定值一致时，在头戴式设备头戴式设备的显示器上显示任一手指对应的字符。

2.根据权利要求1所述的字符输入法，其特征在于，所述根据所述任一手指的触发点，确定所述任一手指到所述任一手指对应掌心的向量与所述对应的掌心平面的夹角，包括：

计算与任一手指对应的掌心到位于触发点的所述任一手指的指尖的向量和所述任一手指对应的手背的法向量，以及计算向量与法向量的夹角的cos值。

3.根据权利要求1所述的字符输入法，其特征在于，所述根据所述任一手指的触发点，确定所述任一手指到所述任一手指对应掌心的向量与所述对应的掌心平面的夹角，包括：

计算与任一手指对应的掌心到位于触发点的所述任一手指的指尖的向量和所述任一手指对应的手背的法向量，以及计算向量在法向量上的投影长度。

4.根据权利要求1所述的字符输入法，其特征在于，在通过景深摄像头采集所述至少一个手指中的任一手指的触发点之前，所述字符输入法，还包括：

建立至少一个手指与字符的对应关系。

5.根据权利要求4所述的字符输入法，其特征在于，所述字符输入法，还包括：

存储至少一个手指与字符的对应关系。

6.根据权利要求2或3所述的字符输入法，其特征在于，所述字符输入法，还包括：建立手势与字符的对应关系。

7.根据权利要求1所述的字符输入法，其特征在于，在头戴式设备的显示器上显示任一手指对应的字符之后，所述字符输入法，还包括：

从所述任一手指对应的字符中选取输入的字符，所述输入的字符为待输入的字符。

8.根据权利要求1所述的字符输入法，其特征在于，所述预先测量的判定值是通过用户的手指在舒适状态时，手指位置特征以及其按压状态下的手指特征获得。

9.一种识别输入法的系统，其特征在于，所述系统包括：景深摄像头和头戴式设备；其中，所述头戴式设备包括显示器和处理器；

所述景深摄像头，用于采集至少一个手指中的任一手指的触发点，其中，所述触发点为手指按下键盘时的指尖点；

所述处理器，用于根据所述任一手指的触发点，确定所述任一手指到所述任一手指对应掌心的向量与所述对应的掌心平面的夹角；

所述处理器，还用于将所述任一手指到所述任一手指对应掌心的向量与所述对应的掌心平面的夹角与预先测量的判定值进行比较，当所述任一手指到所述任一手指对应掌心的向量与所述对应的掌心平面的夹角与预先测量的判定值一致时，由显示器显示任一手指对应的字符。

10.根据权利要求9所述的系统，其特征在于，所述景深摄像头设置在头戴式设备上。

Images