CN109460151A - 手形输入法 - Google Patents

Abstract

本发明公开了一种手形输入法，使用手机摄像头采集手形动作视频，后台同期处理视频数据流，以设计的每秒重采样图像数量，判断是否出现输入隔断手形，以隔断手形进行数据的再分割，经过隔断手形识别后的手形输入动作视频被分割成一系列输入的手形照片序列；对手形输入视频动作采集获得的照片序列，依次进行肤色识别，调整手形核心区大小，色彩空间转化，生成图像序列，然后根据初始预定的图像特征判断图像中拇指与其他手指之间的位置关系，完成左右手识别和手形的判断。本发明是一种以手形作为将各种符号输入计算机或其他设备而采用的编码方法，便于特殊人群、特殊情景下的人机交互应用。

Description

手形输入法

技术领域

本发明涉及人机交互应用领域，特别涉及一种手形输入法。

背景技术

输入法(Input Method)指的是输入编码方式而不是实现文字输入的软件，输入法一般指电脑普通键盘或手机上键盘的输入方式，广义上的输入法还包括手写、语音、OCR(Optical Character Recognition，光学字符识别)扫描阅读器、速录机等输入方式。手写识别借着计算机的认字功能，由使用者的手写字体来辨别文字或其它符号。语音识别使用话筒和语音识别软件来辩别文字。OCR软件种类比较多，常用的比如清华OCR，在系统对图形进行识别后，系统会把不能肯定的字符标记出来，从而将文字或符号输入到电脑中。速录技术一般采用专用的速录键盘和设备，有国际上的专用速录设备，通常采用并击手术(即每次按键多个手指按下不同键位)，可以实现每按一次就出来整一个单词。

近年来，手机和电脑的用户数以惊人的速度在飞速增长。随着价格的降低，智能手机越来越普及，输入法软件已经成为除浏览器和即时通讯软件外，我国网民使用最频繁的软件之一。作为人与计算机之间的自然交互的桥梁，输入法自然日益受到许多研究者的关注，人们越来越需要一种自然、友好、简单的人机交互方式。其中，手形手势是人与外界沟通交流时最自然、最直观的交互方式，传递的信息量也非常丰富，通常发挥着非常重要的作用。因此，基于视觉的手形手势输入技术具有深远的研究意义，手形手势的识别技术长期以来一直和人脸、虹膜、步态、掌纹等人体特征等作为生物识别技术而被深入研究，但却未被直接应用于输入法。生物识别重点分析手形手势的差异性、个体识别特征，而手形输入法则更强调共性、易用性。

发明内容

本发明的目的是提供一种手形输入法，是一种以手形作为将各种符号输入计算机或其他设备(如手机)而采用的编码方法，便于特殊人群、特殊情景下的人机交互应用。

本发明的技术方案是：手型输入法，包括如下步骤：

步骤一、设定手型输入法对照表：

所述手形输入法对照表包含三类：一为输入动作字符对照表；二为基本字符对照表；三为扩展字符及其他自定义字符；

其中，输入动作字符包括使用设定手型定义的起止符、隔断符；基本字符对照表包括使用设定手型定义的基础数字(0-9)、基本字母(a-z)以及基本标点(常用标点)的手形对照表；扩展字符及其他自定义字符包括使用设定手型定义的扩展字符及其他自定义字符的手形对照表；

所有上述三类手形输入法对照表的字符能够根据用户的习惯和意愿进行调整和更改，但手形对应的字符有唯一性，即不同的手形可以表示同一字符，而相同的手形只能对应唯一字符；

步骤二、设定手形形体特征：

根据输入图像拇指与其他手指之间的位置关系作为手形形体特征，以该手形形体特征作为左右手识别和手形的判断；

在用户许可下，采集并记录用户的手形形体特征，并对手形形体特征库进行优化，以提高输入的识别准确性；

步骤三、对动作视频进行采集：

当执行手形输入操作的时候，使用手机摄像头采集手形动作视频，后台同期处理视频数据流，以设计的每秒重采样图像数量，判断是否出现输入隔断符(初始设定为握拳)，以隔断符进行数据的再分割，每两个隔断符之间原则上只有一个正确输入手形(动作视频采集后，视频分解的图像判断转换为手形序列，两个隔断符手形之间的手形序列合并为一个手形)，如无其他手形定义默认为无手形输入，当无手形输入超过设定时间(初始可设定为3秒)，则输入状态改变，即停止输入或重新开始输入；经过隔断手形识别后的手形输入动作视频被分割成一系列输入的手形照片序列；

步骤四、手形识别的判断：

对手形输入视频动作采集获得的照片序列，依次进行肤色识别，调整手形核心区大小，色彩空间转化，生成图像序列，然后根据手形形体特征，完成左右手识别和手形的判断，并根据手形输入法对照表实现字符的输入；

步骤五、手形输入的反馈：

完成手形识别的判断，采用包括当前输入字符闪烁、语音播报、凸文显示(例如盲文，用专门设备如盲文显示器等显示)在内的多种方式展示，以反馈给用户，进行识别结果的判断，正确则输入字符，并继续操作，错误则返回重新输入。

上述步骤一中所述隔断符初始设置为握拳，其中握拳后的手心或手背面向摄像头都可以；所述起止符初始设置为隔断符保持3秒以上。关于手形合并，实际上是因为视频形成的图像序列，每个图像都可以识别为一个手形，但是采集频率实际上是形成了很多重复；在输入的时候，每个间隔之间原则上只有一个输入，所以要把重复的采样合并成为一个；另外，不同的用户其手指手掌有个体差异(包括残疾等)，初始的手形识别特征库可能对手形的识别是有差异的(特别情况，例如手部有残疾或伤疾的，无法做出初始手形识别库里的动作)，所以用户可以进行初始设置的修改和调整，同时，通过自动优化也可以记录和完善这一特征库，提高输入准确度。

上述步骤二中用手纹、指纹和指节特征表示手的内侧，指甲和指节特征用于表示手的外侧；将双节指关节为拇指，三节指关节为其他手指；当图像显示为手内侧，拇指相对于其他手指在左侧时，判断为左手输入，拇指在其他手指右侧时，为右手输入；当图像显示为手外侧，拇指相对于其他手指在右侧时，判断为右手输入，拇指在其他手指左侧时，为左手输入。

上述步骤一中，对手形库能够自定义及自优化，因用户的手指手掌生理差异，初始化的手纹、指甲、指纹、指节等对手形识别特征有较大影响，在用户初次进行手型输入使用的时候，根据用户个人差异，对识别特征进行一定的调整；同时手形库允许用户自定义，也可以设定特殊手形的识别；在用户允许下，对用户日常输入的图像和识别结果，能够被记录用以不断优化和完善手形识别的算法。

本发明的有益效果：本发明提供的手形输入法，其归纳规则简明、编码容量可扩展、服务功能好、有广泛适应性的手形输入，便于特殊人群、特殊情景下的人机交互应用。本发明的数字手形识别的准确率达到99.8％；正手(手心向上)的识别准确率在92.5％，其他手位手形的识别率在80％以上；对于简单背景(单纯背景或背景物距离手较远时)的识别率为91.7％，复杂背景下(背景物色块与肤色较为接近时)识别准确率为69.8％。手形识别选择的是肤色识别优先，阈值法判断方式，如果采用更复杂或优化的识别方式，在准确率的提高方面还将会有所提升。本发明的个人特征数据库对后续手形输入精度提升有很大帮助，在其输入法设计中，除了推荐手形以外，还预留了个性化手形，并在用户同意的前提条件下，记录和存储个人特征数据库，这些内容将对手形输入法精度的改进和提升提供更多的训练数据，能够优化手形识别算法，完善手形输入法。本发明的手形识别对于数字的识别精度较高，可应用于手机的加解锁应用。英文字符的输入识别准确度也较高，再进一步优化手形识别算法之后，可以联合其他输入法实现各类语言字符的输入。本发明可以对特殊人群、特殊情景下的人机交互有一定的促进作用。例如和语音、盲文显示器的结合中可以帮助盲人完成手机输入。可以应用到在静声环境中人机交互，或者未来可以在红外摄像辅助的条件下，实现弱光/无光环境的人机交互。

附图说明

图1是本发明方法的工作流程图；

图2(a)初始设置的部分手形对照展示图一；

图2(b)初始设置的部分手形对照展示图二；

图2(c)初始设置的部分手形对照展示图三；

图2(d)初始设置的部分手形对照展示图四。

具体实施方式

下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

参考图1，本发明提供了一种手形输入法，是一种基于视觉的手势识别方法，其最终目标是在自然的环境下，以用户为中心，利用计算机视觉、图像处理与模式识别技术对裸手手形进行确认，完成手机/计算机字符输入。

一、本发明方法的技术原理

(1)动作视频采集

关键点：隔断手形的识别

当执行手形输入操作的时候，手机摄像头采集手形动作视频，后台同期处理视频数据流，例如以设计的每秒重采样5个图像，判断是否出现输入隔断手形(初始设定为握拳)，以隔断手形进行数据的再分割，如每两个隔断手形之间原则上只有一个正确输入手形(相邻手形进行合并)，如无其他手形定义为无手形输入。如果无手形输入超过某一时间(设定为3秒)，则输入状态改变(停止或重新开始，最初输入可无该阈值判断)。经过隔断手形识别后的手形输入动作视频被分割成一系列输入的手形照片序列。

(2)手形识别判断

关键点：左右手识别及手形库判断

手形输入视频动作采集获得的照片序列，依次进行肤色识别，调整手形核心区大小，色彩空间转化等，生成图像序列，然后根据初始预定的图像特征判断图像中拇指与其他手指之间的位置关系，完成左右手识别和手形的判断。

手纹、指纹和指节特征表示手的内侧，指甲和指节特征表示的手的外侧。双节指关节为拇指，三节指关节为其他手指。当图像显示为手内侧，拇指相对于其他手指在左侧时，可判断为左手输入，拇指在其他手指右侧时，为右手输入；当图像显示为手外侧，拇指相对于其他手指在右侧时，可判断为右手输入，拇指在其他手指左侧时，为左手输入。

完成手形识别的结果，可采用多种方式展示，如当前输入字符闪烁、语音播报、凸文显示(例如盲文，用专门设备如盲文显示器等显示)等方式，反馈给用户，进行识别结果的判断，正确则输入字符，并继续操作，错误则返回重新输入。

(3)手形库自定义及自优化

关键点：用户许可下的自优化调整

因用户的生理差异，初始化的手纹、指甲、指纹、指节等手形识别特征可能会产生错误判读，在用户初次使用的时候，可以根据个人差异，对识别特征进行一定的调整。同时，手形库也允许用户自定义，也可以设定特殊手形的识别。在用户的允许下，可以用户日常输入的图像和识别结果，可以被记录用以不断优化和完善手形识别的算法。

二、数字手形输入对应图

手形输入的字符库并不是完全固定的，可以根据个人的使用情况进行调整。参见图2(a)至图2(d)，各分图中只展示了部分初始设置的手形对照，其中，数字手形的识别关键特征是伸直手指的个数，而字母手形识别的关键特征是拇指所在其他手指关节的位置(以及蜷曲手指的数量)。个性化的手形输入(未在图中展示)，可以应用到某些安全/隐私输入应用中。

三、应用领域

手形识别对于数字的识别精度较高，可应用于手机的加解锁应用。英文字符的输入识别准确度也较高，再进一步优化手形识别算法之后，可以联合其他输入法实现各类语言字符的输入。

本发明可以对特殊人群、特殊情景下的人机交互有一定的促进作用。例如和语音、盲文显示器的结合中可以帮助盲人完成手机输入。可以应用到在静声环境中人机交互，或者未来可以在红外摄像辅助的条件下，实现弱光/无光环境的人机交互。

综上所述，本发明提供的手形输入法，其归纳规则简明、编码容量可扩展、服务功能好、有广泛适应性的手形输入，便于特殊人群、特殊情景下的人机交互应用。本发明的数字手形识别的准确率达到99.8％；正手(手心向上)的识别准确率在92.5％，其他手位手形的识别率在80％以上；对于简单背景(单纯背景或背景物距离手较远时)的识别率为91.7％，复杂背景下(背景物色块与肤色较为接近时)识别准确率为69.8％。手形识别选择的是肤色识别优先，阈值法判断方式，如果采用更复杂或优化的识别方式，在准确率的提高方面还将会有所提升。本发明的个人特征数据库对后续手形输入精度提升有很大帮助，在其输入法设计中，除了推荐手形以外，还预留了个性化手形，并在用户同意的前提条件下，记录和存储个人特征数据库，这些内容将对手形输入法精度的改进和提升提供更多的训练数据，能够优化手形识别算法，完善手形输入法。

本发明的手形识别对于数字的识别精度较高，可应用于手机的加解锁应用。英文字符的输入识别准确度也较高，再进一步优化手形识别算法之后，可以联合其他输入法实现各类语言字符的输入。本发明可以对特殊人群、特殊情景下的人机交互有一定的促进作用。例如和语音、盲文显示器的结合中可以帮助盲人完成手机输入。可以应用到在静声环境中人机交互，或者未来可以在红外摄像辅助的条件下，实现弱光/无光环境的人机交互。

以上实施例仅用以说明本发明的技术方案而非限制，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (4)

1.手型输入法，其特征在于，包括如下步骤：

步骤一、设定手型输入法对照表：

所述手形输入法对照表包含三类：一为输入动作字符对照表；二为基本字符对照表；三为扩展字符及其他自定义字符；

其中，输入动作字符包括使用设定手型定义的起止符、隔断符；基本字符对照表包括使用设定手型定义的基础数字、基本字母以及基本标点的手形对照表；扩展字符及其他自定义字符包括使用设定手型定义的扩展字符及其他自定义字符的手形对照表；

所有上述三类手形输入法对照表的字符能够根据用户的习惯和意愿进行调整和更改，但手形对应的字符有唯一性，即不同的手形可以表示同一字符，而相同的手形只能对应唯一字符；

步骤二、设定手形形体特征：

根据输入图像拇指与其他手指之间的位置关系作为手形形体特征，以该手形形体特征作为左右手识别和手形的判断；

在用户许可下，采集并记录用户的手形形体特征，并对手形形体特征库进行优化，以提高输入的识别准确性；

步骤三、对动作视频进行采集：

当执行手形输入操作的时候，使用手机摄像头采集手形动作视频，后台同期处理视频数据流，以设计的每秒重采样图像数量，判断是否出现输入隔断符，以隔断符进行数据的再分割，每两个隔断符之间只有一个正确输入手形，如无其他手形定义则默认为无手形输入，当无手形输入超过设定时间，则输入状态改变，即停止输入或重新开始输入；经过隔断手形识别后的手形输入动作视频被分割成一系列输入的手形照片序列；

步骤四、手形识别的判断：

对手形输入视频动作采集获得的照片序列，依次进行肤色识别，调整手形核心区大小，色彩空间转化，生成图像序列，然后根据手形形体特征，完成左右手识别和手形的判断，并根据手形输入法对照表实现字符的输入；

步骤五、手形输入的反馈：

完成手形识别的判断，采用包括当前输入字符闪烁、语音播报、凸文显示在内的多种方式展示，以反馈给用户，进行识别结果的判断，正确则输入字符，并继续操作，错误则返回重新输入。

2.如权利要求1所述的手型输入法，其特征在于，步骤一中所述隔断符初始设置为握拳，其中握拳后的手心或手背面向摄像头都可以；所述起止符初始设置为隔断符保持3秒以上。

3.如权利要求1所述的手型输入法，其特征在于，步骤一中，由于用户的手指手掌生理差异，初始化的手纹、指甲、指纹、指节等对手形识别特征有较大影响，因此对手形库能够自定义及自优化，在用户初次进行手型输入使用的时候，根据用户个人差异，对识别特征能够进行调整；同时手形库允许用户自定义，以设定特殊手形的识别；在用户允许下，对用户日常输入的图像和识别结果，能够被记录用以不断优化和完善手形识别。

4.如权利要求1所述的手型输入法，其特征在于，步骤二中用手纹、指纹和指节特征表示手的内侧，指甲和指节特征用于表示手的外侧；将双节指关节为拇指，三节指关节为其他手指；当图像显示为手内侧，拇指相对于其他手指在左侧时，判断为左手输入，拇指在其他手指右侧时，为右手输入；当图像显示为手外侧，拇指相对于其他手指在右侧时，判断为右手输入，拇指在其他手指左侧时，为左手输入。