CN102880304A - 用于便携设备的字符输入方法及装置 - Google Patents

Abstract

本发明属于计算机等的字符输入技术领域。为提供一种更适合移动应用的输入方法与装置。该装置能够灵活适应复杂的动态的移动应用环境，适合操作者的使用习惯，尽可能减少便携设备额外的硬件和能量消耗，本发明采取的技术方案是，用于便携设备的字符输入方法，包括下列步骤：手指键入识别：通过建立输入区域、场景成像区域和键码显示区域的映射关系，识别手指在输入区域的几何运动和位置信息，实现输入；信息处理：信息的处理是基于移动设备的运算能力分析视野中的特征目标如手指；虚拟键盘显示。本发明主要应用于计算机等的字符输入场合。

Description

用于便携设备的字符输入方法及装置

技术领域

本发明属于计算机等字符输入技术领域，具体讲，涉及用于便携设备的字符输入方法及装置。

背景技术

鼠标和键盘是常用的字符和信息输入装置。由于体积重量的限制，便携设备的键盘鼠标使用受到限制。从功能来看，键盘是一种提示装置，用来与特定字符/字符集对应。因此现有便携设备也采用基于触摸屏的虚拟键盘实现字符输入。通过手指或笔触摸屏幕上显示字符的区域来实现字符输入。这类装置要求屏幕安装额外的触碰检测装置如电容薄膜或光学传感器。在输入是，手指会遮挡屏幕部分区域。

另一类便携设备输入装置采用投影式虚拟键盘，通过在设备外的某个区域产生可见的字符投影区域来模拟键盘，并通过光学检测该区域手指运动实现输入。由于要产生可视的区域，该类方法对操作环境有严格要求，如投影面应当是背景简单的平面。此外，由于需要单独的光学装置来产生可视的输入区域，该类方法会额外增加便携设备的能耗和重量。

综上来看，便携设备由于体积重量限制，不适合采用常规大小的实体键盘和鼠标，同时由于人体生理限制，使用过小的键盘会导致不便。另一方面，当前主要的便携设备替代方案如投影键盘或触摸屏存在各种缺陷，影响了便携设备的高效字符输入。

发明内容

本发明旨在克服现有技术的不足，提供一种更适合移动应用的输入方法与装置。该装置能够灵活适应复杂的动态的移动应用环境，适合操作者的使用习惯。为了尽可能减少便携设备额外的硬件和能量消耗，本发明采取的技术方案是，用于便携设备的字符输入方法，包括下列步骤：

手指键入识别：

通过建立输入区域、场景成像区域和键码显示区域的映射关系，识别手指在输入区域的几何运动和位置信息，实现输入。手指输入通过视频分析的方式实现，包括双目成像方案或深度与可视图像结合的方案获取手指运动的位置三维实时数据；

信息处理：

信息的处理是基于移动设备的运算能力分析视野中的特征目标如手指，实现以下功能：提取运动信息，获得手指对应的键码；将信息传递给显示模块凸显指向的键码；判断手指的动作选中键码传递给移动设备，完成信息输入。

虚拟键盘显示：

虚拟键盘由移动设备显示屏产生，实际输入区域与虚拟键盘分离，根据键盘与鼠标应用，显示有区别，如下：

A键盘模式

显示屏划分为键盘区域和工作区域；

B鼠标模式

在鼠标模式下，显示屏上显示当前位置图标，该图标随手势的移动而改变，当手掌在一定的视野区域移动时，显示屏光标随运动方向与速度改变位置；当手掌超过规定范围，显示屏光标停在最近的边界位置，直到手掌重新进入视野区域。

用于便携设备的字符输入装置，包括：

便携设备，用于在其显示屏上产生键盘图案，利用自身运算处理能力，建立输入区域，场景采集装置成像区域和键码区域的映射关系；分析视野中的特征目标如手指，提取运动信息，获得手指对应的键码；将信息传递给显示模块凸显指向的键码；判断手指的动作选中键码，完成信息输入；

场景采集装置，以两个传感器为核心，用于采集两类视频信息；第一类视频信息是输入区域的手指运动，第二类是由于手指运动遮挡产生的明暗变化信息；两个传感器中传感器1为面传感器，通过采集输入区域二维图像，并根据输入区域的物理映射关系，确定手指在投影面输入区域的二维位置；两个传感器中传感器2为线阵传感器，仅采集平行于基面一定狭窄高度范围内因手指遮挡产生的明暗变化，即以平行于基面一定狭窄高度范围内平面为标准，当手指运动遮挡在该平面以下时亮度变暗认为是一次有效按键，反之无效；场景采集装置通过两个传感器获得手指的运动信息，传递给信息处理模块。

还包括有信息处理模块，实现便携设备上利用自身运算处理能力，建立输入区域，场景采集装置成像区域和键码区域的映射关系；分析视野中的特征目标如手指，提取运动信息，获得手指对应的键码；将信息传递给显示模块凸显指向的键码；判断手指的动作选中键码，完成信息输入；信息处理模块通过无线或有线方式与便携设备连接。

本发明对比已有技术有以下明显技术优点：

本发明与现有的投影式或触摸式虚拟键盘不同，用户的字符输入区域(如键盘)与实际捕获用户输入的区域并不重叠，不仅适应复杂环境还可以节约能量，更能让用户直观看到自己的输入；

本发明的突出特点是用户实际输入区域与键码区域是分离的，可用于复杂环境下的字符输入。触摸式虚拟键盘要求屏幕安装额外的触碰检测装置如电容薄膜或光学传感器，本发明构造简单，在显示器上的键盘区域能让操作者能直观感受自己的输入情况。投影式虚拟键盘要求投影面是水平面，对环境要求比较高，由于需要单独的光学装置产生来可视的输入图像区域，该类方法额外增加了便携设备的能耗和重量。本发明不需额外的光学装置产生投影面，可以节约能源。但是，由于本发明输入区域没有键码显示，需要操作者在熟练掌握键盘一定基础上输入，否则输入速度会比较慢。

附图说明

图1本发明的典型实现方式。

图2键码显示与手指输入区域分离。

图3本发明的构成模块。

图4本发明与便携设备侧视图。

图5本发明键码输入的工作流程。

图6本发明与便携设备的集成方案。

图7本发明各功能模块示意图。

图1展示的本发明的基本组成，各部分名称如图所示。图2展示的是本发明的主要创新，输入区域和键码区域的分离图。图3为本发明系统模块组成手指运动采集模块、信息处理模块、虚拟键盘显示模块功能分别是采集手指信息、处理信息、显示键码。图4，是本发明的侧视图。图5本发明键码输入的工作流程图，包括初始化过程。图6是本发明与便携设备的集成方案，主要提出但不限于两种方案。

具体实施方式

本发明提出了一种用于便携设备的不依赖于可视输入区域的字符输入方法。如图1所示，本发明不用投影装置产生输入区域，而是通过初始化定位实现，人的手指在光亮处上下左右移动直到人眼看到显示屏键码区域超过了边界，从而确定上下左右四个顶点，由四个顶点确立大致的输出区域范围。操作者在输入区域移动手指，便携设备显示区域显示相应的键码凸显提示，根据提示操作者可选择需要的键码输入。通过场景采集装置采集特定手势运动与处理模块处理对手指运动判别，如左拳左右的运动，本发明亦可实现对显示屏光标位置的控制，即鼠标的模拟。

手指运动识别和键码输入是通过建立三个区域对应关系来实现的，即手指输入区域，输入场景的成像区域和键码显示区域。手指输入区域是人眼可见的区域，通过初始化定位键实现，四个顶点键确定有效的输入区域范围。操作者在此区域内进行有效输入；输入场景成像区域是场景采集装置中的区域，视频以帧的单位存在于成像区域中；键码显示区域是便携设备显示屏中的部分区域，输入区域的有效运动使显示区域键码凸显或者鼠标动作。

现有的手指输入字符的方法中，手指输入区域和键盘显示区域重合。操作者通过观察显示的键符，选中对应的区域或实体键。实验表明，操作者在熟练掌握某种输入方法后，主要关注的是输入区域，而不是键盘本身。

与常规方法不同，本发明中，键盘区域与手指实际运动区域是分离的。如图2。其中，键盘区域由显示屏的部分和全部区域来动态显示；输入区域是便携设备安放台面上确定的可视区域，操作者根据便携设备显示的键码来确定正确的输入位置。输入区域的实际位置和大小由便携设备的视野和软件设置来确定。本方法避免了物理键盘的使用，也减少了建立投影式键盘区域的附加装置与功耗。

模块构成

本发明的构成如图3，由手指运动采集模块、信息处理模块、虚拟键盘显示模块三个功能模块构成。本发明通过场景采集模块和信息处理模块识别在预先定义的输入区域的手指运动，通过显示模块显示字符键盘，并根据手指运动使键盘相应字符凸显。当检测到手指确认动作时，选择对应的字符信息，通过接口模块实现与移动设备交互。

本发明各功能模块细述如下：

手指运动采集模块输入：动态场景信息输出：两类视频信息，输入区域的二维投影，手指遮挡的明暗信息；

信息处理模块输入：视频信息；输出：位置信息；

显示模块输入：手指运动；输出：对应键码凸显；如图7所示。

手指运动采集模块

手指运动采集模块主要功能是采集两类视频信息，手指输入通过视频分析的方式实现，可采用但不限於双目成像方案或深度与可视图像结合的方案获取手指运动的位置三维实时数据。

此外，本发明亦提出一种场景采集装置实现方案，如图4。场景采集装置以两个传感器为核心，并包括两个摄像头及相关的光学镜头和支持电路。场景采集装置用于采集两类视频信息，并将信息传递给信息处理模块。第一类视频信息是投影面上手指运动二维信息，由面传感器实现，第二类是由于手指运动遮挡产生的明暗变化信息，由线阵传感器实现。

信息处理模块

信息处理模块是基于移动设备的运算能力分析视野中的特征目标如手指等，可以实现以下功能：提取运动信息，获得手指对应的键码；将信息传递给显示模块，凸显指向的键码；判断手指的动作选中键码传递给移动设备，完成信息输入。信息处理模块可以和便携设备集成，利用便携设备自身的处理能力，由软件控制实现信息处理；也可以和其他几个模块构成独立装置，通过无线有线方式与便携设备连接，实现对便携设备的功能扩充。如图6所示。

虚拟键盘显示模块

本发明的显示模块由移动设备显示屏产生。根据键盘与鼠标应用，模块的活动区域有区别。

A键盘模式

与触摸输入方式类似，显示屏划分为键盘区域和工作区域。由于没有手指直接键入的需求，单个键分配的尺寸可以做小，键盘区域安排更紧凑。

键盘区域可进一步分为当前区域和潜像区域。当前区域显示当前输入字符的邻近区域，键盘其它部分则不显示在屏幕。单手指运动到对应于潜像的区域，键盘区域移动到对应的潜像显示。此种方式可用于大尺寸键码显示或显示屏尺寸受限情况。

B鼠标模式

在鼠标模式下，显示屏上显示当前位置图标，该图标随手势的移动而改变，与实际鼠标类似。当手掌在一定的视野区域移动时，显示屏光标随运动方向与速度改变位置。当手掌超过规定范围，显示屏光标停在最近的边界位置，直到手掌重新进入视野区域。

工作流程

本发明中字符输入的工作流程如图5所示。

首先，对设备初始化，在显示屏上产生键盘图案，在水平界面上确定有效输入区域。初始化是对设备训练学习的过程。

其次，建立输入区域，输入场景的成像区域和键码区域的一一映射关系。

再次，对手指运动检测。手指运动采集装置的传感器1采集输入区域的二维投影，并建立手指在该二维区域的位置对应关系，传感器2高速扫描采集手指在参考平面由明暗变化得出一维信息，场景采集装置将视频信息传递给信息处理模块，由处理模块判别运动信息。

然后，在建立的映射关系和第三步的手指运动检测下，经信息处理模块传递，键码区域显示输入情况。有效输入后，键码显示模块将手指对应的键码凸显。如果凸显键码是要输入的键码进行确认，系统发出确认提示音，否则重新移动手指找出要输入的正确键码。

最后，结束输入关闭显示屏键盘，退出输入操作。

初始化过程

首先，操作者对便携设备参数进行输入设置，使之在显示屏上产生键盘图案。

其次，选取某一个键码作为定位键，产生输入提示。场景采集装置检测手指输入情况，通过手指运动完成输入位置该键码与键码区域的对应。

最后，完成所有手指输入位置与键码位置的对应后，确定有效输入区域范围，之后操作者进行正式输入。

手指键入识别步骤如下：

首先，建立输入区域、输入场景的成像区域与键码区域的映射关系。输入区域小块(虚拟键码块)与摄像区域一一对应，图像区域与键码区域一一对应，三者之间建立直接或间接的对应关系。场景采集装置采集到手指运动视频以后，将信息传递给处理模块，由处理模块分析综合获得手指运动信息，并通过键码区域与手指输入区域的一一映射关系选取对应的键码，传递给显示模块，在键码区域显示。

其次，识别手指运动，这与场景采集装置的作用有关。场景采集装置采集两类视频信息，第一是投影面上手指运动，第二是输入区域因手指运动遮挡产生的明暗变化。

传感器1为面传感器，它通过采集输入区域二维图像，根据输入区域的物理映射关系，确定手指在投影面输入区域的二维位置。即通过跟踪手指运动获得手指运动视频，将信息传递给处理模块，由处理模块分析获得二维位置信息。

传感器2为线阵传感器，它仅采集平行于基面一定狭窄高度范围内因手指遮挡产生的明暗的变化。以基面为标准，当手指运动遮挡在该基面以下时亮度变暗认为是一次有效按键，反之无效。

此外，为实现手指运动采集装置的实时准确采集，要求传感器具有500以上像素分辨率，其中，线阵传感器以大于100帧每秒的帧率扫描采集手指的上下快速运动，通过判断某手指遮挡有效平面的时间或连续帧数来判断真实按键与误触发。

本方案中，传感器1采集输入区域的二维投影，并建立手指在该二维区域的位置对应关系；传感器2高速扫描采集手指在参考平面变化的一维信息，不同手指对应于线阵图像的不同区域，每一区域内被遮挡产生的亮度变化对应手指的按键动作，通过二者组合，本方案可实现多手指输入操作。

相似的，本方案亦可用于鼠标功能的实现。鼠标功能键的选择通过手掌的左右倾斜来确定，通过判断手掌的上下或组合动作实现复杂的鼠标功能。

输入中的声音和视觉反馈

在输入过程中，键码显示模块将手指对应的键码通过放大或加深增强显示。当手指移动到不同键码区域和确认键码时，显示模块驱动移动设备产生切换或确认的提示音。

相似的，在鼠标和键盘输入功能切换时，显示模块也驱动移动设备产生视觉与声音提示。

集成方式

本发明可以作为移动设备的功能模块集成到移动设备，亦可以独立装置附加到主设备。包含本发明的独立装置可集成戴双场景采集装置的采集模块与信息处理模块，同时通过蓝牙、wifi或有线方式与主设备交换数据，通过驱动软件等形式实现键盘的屏幕显示。独立装置亦可仅包含采集模块和通讯模块，由主设备实现处理功能。

两种系统实现方式如下：

a)将手指运动采集模块、信息处理模块、键盘显示模块集成到便携设备上，便携设备完成整个的信息采集处理，操作者手指放在输入区域，集成设备中的采集模块通过介绍的手指键入识别技术采集手指运动，经过信息处理模块处理成数字信息，然后键码显示模块键码区域显示操作者按键，通过凸显键码提示操作者按键是否成功。

b)采集模块和信息处理模块作为单独的功能设备对场景信息做采集处理，将键盘显示模块集成到便携设备上，操作者在输入区域运动手指，手指运动采集模块采集手指动作，处理模块处理采集信息，通过蓝牙、wifi或有线方式将处理信息传输给便携设备，主设备上显示键码输入情况。

本发明是实现便携设备虚拟键盘，由三个单元模块组成，场景采集模块、处理模块、显示模块。本发明的突出特点是输入区域和键盘区域是分离的，并且输入区域是通过初始化上下左右移动手指确定有效输入区域范围，通过定位键实现输入区域各个键码与键码区域对应。场景采集主要采集手指运动视频，由处理模块提取分析手指运动信息，判定所在位置并传给显示模块显示。主要是通过手指移动，人眼观察键码区域是否超出范围确定。

Claims (3)

1.一种用于便携设备的字符输入方法，其特征是，包括下列步骤：

手指键入识别：

通过建立输入区域、场景成像区域和键码显示区域的映射关系，识别手指在输入区域的几何运动和位置信息，实现输入。手指输入通过视频分析的方式实现，包括双目成像方案或深度与可视图像结合的方案获取手指运动的位置三维实时数据；

信息处理：

信息的处理是基于移动设备的运算能力分析视野中的特征目标如手指，实现以下功能：提取运动信息，获得手指对应的键码；将信息传递给显示模块凸显指向的键码；判断手指的动作选中键码传递给移动设备，完成信息输入；

虚拟键盘显示：

虚拟键盘显示步骤采用移动设备显示屏产生，根据键盘与鼠标应用，显示步骤有区别如下：

A键盘模式

显示屏划分为键盘区域和工作区域；

B鼠标模式

在鼠标模式下，显示屏上显示当前位置图标，该图标随手势的移动而改变，当手掌在一定的视野区域移动时，显示屏光标随运动方向与速度改变位置；当手掌超过规定范围，显示屏光标停在最近的边界位置，直到手掌重新进入视野区域。

2.一种用于便携设备的字符输入装置，其特征是，包括：

便携设备，用于在其显示屏上产生键盘图案，利用自身运算处理能力，建立输入区域，场景采集装置成像区域和键码区域的映射关系；分析视野中的特征目标如手指，提取运动信息，获得手指对应的键码；将信息传递给显示模块凸显指向的键码；判断手指的动作选中键码，完成信息输入；

场景采集装置，以两个传感器为核心，用于采集两类视频信息；第一类视频信息是输入区域的手指运动，第二类是由于手指运动遮挡产生的明暗变化信息；两个传感器中传感器1为面传感器，通过采集输入区域二维图像，并根据输入区域的物理映射关系，确定手指在投影面输入区域的二维位置；两个传感器中传感器2为线阵传感器，仅采集平行于基面一定狭窄高度范围内因手指遮挡产生的明暗变化，即以平行于基面一定狭窄高度范围内平面为标准，当手指运动遮挡在该平面以下时亮度变暗认为是一次有效按键，反之无效；场景采集装置通过两个传感器获得手指的运动信息，传递给信息处理模块。

3.如权利要求2所述的用于便携设备的字符输入装置，其特征是，还包括有信息处理模块，实现便携设备上利用自身运算处理能力，建立输入区域，场景采集装置成像区域和键码区域的映射关系；分析视野中的特征目标如手指，提取运动信息，获得手指对应的键码；将信息传递给显示模块凸显指向的键码；判断手指的动作选中键码，完成信息输入；信息处理模块通过无线或有线方式与便携设备连接。

Images