CN103729087B - 一种多点触摸手势识别的输入法 - Google Patents

Abstract

本发明公开一种多点触摸手势识别的输入法，在触摸屏上进行手势感应，识别出手指起点、手指移动方向、拐点组成的手势图形后，查找盲文手势对照表，提取盲文点字。首先依据盲文上方四个点位构建15个基本手势，然后按照盲文的点位逻辑排列规则，通过改变滑动方向，双指触摸，双指触摸改变方向三种方式，构建64个手势（4个独立手势）对应64个盲文点字，最后依照盲文表示规则，将多点触摸手势识别出的盲文用于录入汉字、数理化符号、英语、音乐符号等信息输入。本发明是利用多点触摸形成手势的图形，识别后提取盲文点位，完成信息输入；亦可用于明眼人汉字输入，效率高（最多2次多点触摸简单手势，可完成1个汉字的输入，远高于现有的触摸屏的手写输入法）。

Description

一种多点触摸手势识别的输入法

技术领域

本发明涉及一种汉字、符号输入法。通过多点触摸技术识别出手势的起点、移动方向、折点，识别出图形，再到手势库中找到对应盲文，一次手势完成一方盲文输入，多次手势能输入汉字、词语、句子或者数学公式、物理公式、化学公式、音乐符号等符号信息。

背景技术

我国越来越重视残疾人的教育，这是社会文明进步的体现。科学技术发展，越来越多的科技产品走进我们的生活，近年来，智能手机、平板电脑越来越普及，其中的触摸屏技术越来越成熟，但是盲人使用智能手机存在诸多不便。

盲文是国际通用的点字由六个凸起的圆点为基本结构组成，是专供盲人摸读、书写的文字符号。如图1盲文示意图，6个圆点构成1方盲文，形成2×3点阵，其中左边分别称为1,2,3点，右边称为4,5,6点。目前，盲人阅读的书籍等都是用盲文刻印机刻出立体（凸起）的盲文点字，盲人通过手指触觉摸读盲文；而在上网或者阅读电子书籍时，则使用读屏软件，通过文语转换技术将汉字转换为声音，用“听”完成书籍阅读，这也是目前最常用的方法。现在智能手机上也有相应的读屏软件。

盲人使用电子设备除了输出信息，还有输入信息。盲人信息输入方式上，主要有以下几种方法：

1.拼音输入法：

因为盲文本身就是声母与韵母表示，现有汉字只能输入法（如搜狗输入法）都具备联想功能，盲人在普通计算机（带有键盘）尚且能够通过拼音输入法输入汉字。

优点：盲人记住键盘的键位，熟练后，打字速度不慢。

缺点：在智能手机、平板电脑等具有触摸屏的设备上无法使用该方法。因为在触摸屏上采用虚拟键盘，在一个区域表示多个键位，盲人看不到键盘区域，也摸不出来。

2.笔画输入法

在智能手机、平板电脑等具有触摸屏的设备上无法使用拼音输入法，低视力盲人采用笔画输入法。

优点：尚且能够完成汉字输入。

缺点：绝大多数的盲人无法采用这个方法，因为看不到笔画区域，甚至因为不会写汉字，而对汉字的笔画不清楚。

3.语音识别输入

近年来，语音识别技术得到长足发展。在智能手机、平板电脑等电子设备上得到充分应用。越来越多的盲人采用这种方法输入信息，如发信息，输入网址等。

优点：输入效率高，操作方便。

缺点：①不能够输入数理化符号、音乐符号等不便于语言表达的符号信息；②不利于隐私的保护。

以上的所有方法，都无法完成如数学公式、物理公式、化学公式、音乐符号等符号信息的输入。

4.采用单手指触摸，手势识别的盲文输入法（如专利：201210502329.9）。

优点：能够在触摸屏设备上输入盲文，能够利用手写板、手写笔输入盲文。

缺点：①采用单指触摸，使得手势图形变化复杂，且近似度大（如线条的长短），不利于手势识别；

②仅仅采用盲文点位形状设计图形，图形过多，缺乏盲文点位内在逻辑性，不利于点位图形记忆；

③仅仅表示出了盲文声母（18个）、韵母（34个），缺少11个盲文点位的图形，其方法是手势与汉字的声母韵母对照表，并非是手势与盲文对照表，将无法进行数学公式、物理公式、化学公式、音乐符号等符号信息的输入；

④离散的点位，需要触摸二次，操作过多，如先划过一横，再单击一下），其信息输入效率低；

⑤无法实现词语输入，因为有的盲文需要两次触摸，无法判断第二次操作是第一方第二次触摸还是第二方的第一次触摸。

目前，尚没有检索到多点触摸输入信息的相关成果或报道。

发明内容

发明目的：为了解决盲文无法使用触摸屏（智能手机等）信息输入问题，同时也为了克服上述现有技术的缺点，本发明是一种基于多点触摸屏手势识别信息输入法。该输入法不仅仅能够汉字输入（主要功能但非局限），还能够输入数理化、音乐等符号信息。

本发明主要解决以下问题：

1.在触摸屏设备（平板电脑等）上，数理化符号、音乐符号等无键位对应（实际上普通计算机也没有键位对应），语音又不好表达的式子、符号等，盲人无法录入这些信息；

2.除了部分低视力的人能够使用笔画输入法，绝大多数盲人也无法使用现有的输入法触摸屏上（智能手机、平板电脑等）完成文字信息输入；

3.即使能够完成文字输入，其输入效率也很低；

4.明眼人使用现有的手写识别输入信息效率低。

技术方案：一种多点触摸手势识别的输入法，首先建立多点触摸手势库，再建立手势盲文点字对照表，这样就能利用多点触摸输入盲文，然后依据盲文表示信息的规则（盲文点字与声母韵母表、盲文点字表示数学符号规则表、盲文点字表示物理符号规则表等），完成相应的信息录入。

简单来说本发明包括多点触摸手势预定义，多点触摸手势与盲文对照表，多点触摸感应手势，应用盲文表示信息规则（规则非本发明内容，中国盲文国家标准GB/T15720-2008）输入信息。

具体来说，多点触摸手势预定义：利用盲文六点中的四点（上方的1,2,4,5点）位置信息构建图形特征，第一组基本图形特征共计15个，对第一组图形特征进行触摸方向变换形成第二组图形特征（15个），对第一组图形特征变化为用多点触摸（图形特征不变）形成第三组图形特征（15个），对第三组多点触摸图形特征进行触摸方向变换形成第四组图形特征（15个），增加4个独立图形特征（长按、放大、缩小、固定一点另一点移动），完成64个手势设计。

多点触摸手势与盲文对照表：对64个手势按照盲文点位内在逻辑结构与64个盲文的点位建立对照表。

多点触摸感应手势：多点触摸输入信息时，触摸屏感应识别多点触摸的手势，查找手势盲文对照表，提取出盲文信息，一次触摸就能完成一方盲文点位输入，连续多次多点触摸，完成多方盲文输入，根据盲文表示信息规则，完成信息输入。

盲文的汉字就是分别用一方盲文表示汉字的声母韵母，盲文记忆汉字就是记忆声母韵母的盲文点位，所以盲人对盲文点位的图形非常熟练，于是盲人在输入文字信息时，没有汉字对编码的转换过程，直接按盲文照点字形状在触摸屏上滑动即可，极大提高了盲人录入文字信息的速度。

当然，如果明眼人采用这种方法输入信息，就需要学习盲文表示信息规则（如声母韵母盲文对照表），熟练后其输入文字信息也是极高的。因为很少有文字在两画（且非常简单形状）完成输入，考虑到同音字文字，一般按照词语输入，此输入法3-4画就能完成一个词语（2个字的词语）输入。所以，该输入法能够广泛应用于盲校教学。

本发明的有益效果：

1.为盲人用户利用多点触摸屏等新型输入介质提供了便利。

2.多点触摸手势图形特征包括触摸点数（1或者2），方向，拐点。构成图形与盲文点位相似度高，基本手势数量少，扩展手势保留盲文点位分布的内在逻辑性，便于盲人易学易记；

3.手势简练且区分度大，手势图形是一种连续信息，一方盲文只需一次手势，一个汉字最多两次多点触摸就能完成，极大的简化了用户的输入负担，输入效率得到较大提高；

4.一方盲文只需一次手势，极大提高词语输入效率。因为如果一方盲文需要两次，产生离散手势输入，这时无法判断第二次手势是第一方盲文第二次手势还是第二方盲文的第一次手势。

5.能够让盲人在多点触摸屏上输入数理化符号、音乐符号等（这些符号无键位对应，且不好用语音表达），使得盲人能够更好使用平板电脑、智能手机等，给盲人用户提供体验和利用新介质输入的便利，也为他们提供了学习平台。

附图说明

图1：盲文点位示意图；

图2：多点触摸手势库及手势盲文对照表生成流程图；

图3：多点触摸手势盲文对照表；

图4：多点触摸手势识别，提取盲文，录入信息流程图；

图5：盲文表示文字规则（现行盲文）。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明的基于多点触摸手势识别的信息录入法，包括三大模块：

模块一：多点触摸手势库生成模块。根据盲文上方四点位置特征建立基本图形特征，通过对基本图形特征改变滑动方向，双指触摸，双指触摸改变方向三种方式，构建多点触摸手势库，并生成多点触摸手势盲文对照表。

模块二：手势感应与识别模块。利用多点触摸屏感应多点手势输入，采集输入点数、起点、方向、拐点，绘出手势图形特征，并把该手势图形与多点触摸手势库中图形比较，查找多点触摸手势盲文对照表，提取盲文。

模块三：信息输入模块。连续输入多次手势，识别出多方盲文，依据不同的盲文表示信息规则（如声母韵母规则），将多方盲文转成相应的信息（文字）。

详细过程如下：

一.多点触摸手势库生成阶段

1.建立手势库及手势盲文对照表。依据盲文点位的内在逻辑，首先建立盲文1,2,4,5点构成（3,6点位为空）的盲文点字，建立的时候考虑这四点构成的图形形状。为了便于表述，将盲文进行分组编号。●表示手指起点，空心箭头表示单指移动方向，实心箭头表示双指移动方向，直角表示拐点，双向箭头表示手指移动后再移动到起点（复位）。第一组全部是1,2,4,5点位组成的盲文，共计16个，设计出16个基本手势（其中101号相对于空格，独立设计）。

2.设计第二组盲文手势。依据盲文内在逻辑结构，第二组盲文是在第一组盲文基础上加上3点位。如103号盲文对应到203号盲文就是以此类推。第二组盲文是在第一组基础上变换触摸滑动方向成相反的方向，触摸点数、拐点不变（除201和202号盲文）。如103号盲文手势是单指向下移动，对应的203号盲文手势就是单指向上移动。

3.设计第三组盲文手势。依据盲文内在逻辑结构，第三组盲文是在第一组盲文基础上加上3，6点位。如103号盲文对应到303号盲文就是以此类推。第三组盲文是在第一组基础上进行多点（两个手指）触摸，方向和拐点保持不变（除301号盲文）。如103号盲文手势是单指向下移动，对应的303号盲文就是向下移动。双指触摸手势与单指触摸移动、拐点一致，所以手势示意图与前面一样，此处箭头用实心箭头，用于区别单指。

4.设计第四组盲文手势。依据盲文内在逻辑结构，第四组盲文是在第一组盲文基础上加上6点位。如103号盲文对应到403号盲文就是以此类推。第四组盲文是在第一组基础上进行多点（两个手指）触摸，方向变换成相反的方向，拐点不变；或者说第四组盲文是在第二组盲文基础上进行多点（两个手指）触摸，方向与拐点保持不变；或者说第四组盲文是在第三组盲文基础上保持触摸点数和拐点不变，方向变换成相反的方向。

第一组手势盲文对照表

第二组盲文手势对照表

第三盲文手势对照表

第四组盲文手势对照表

二.手势感应与识别阶段

1.如图4中的手势感应与识别模块。首先屏幕感应到手指触摸，触摸屏上得到手势的各点坐标信息。

2.预处理。预处理主要是过滤掉孤立点和重复点。孤立点是指独立的，与主点群没有任何连接关系的点。重复点，当用户进行一个手势时如有停顿，则会产生很多的（x,y）坐标值相同的或者相近的点，这些点对于判断手势没有作用。完成预处理后的坐标信息，收集有用坐标信息的触点、移动方向、拐点信息。

3.提取多点触摸手势图形特征，找出其中所有的特征信息，再把特征信息归类合并，总结3类特征信息，识别出具有手势特征的图形。如手势其3类特征：①单指，②先向右再向下，③1个拐点。

4.有了足够的特征信息后，到多点触摸手势库中查找对应的手势，识别出具有手势特征的图形。

5.在多点触摸手势库找到对应手势后，依据多点触摸手势盲文对照表（图3）提取出对应的盲文点字。至此，完成一方盲文输入。

6.如果需要输入信息，需要输入多方盲文。重复本阶段的1-5步骤（如图4），每完成一次多点触摸，就完成一方盲文输入。

三.信息输入阶段

1.从第二阶段（手势感应与识别阶段），多次感应与识别多点触摸手势图形，从而得到多方盲文。多方盲文一起进入信息输入模块（图4）。

2.如图4所示，若多方盲文进入信息输入后，参考盲文表示信息规则是声母韵母对照表，完成文字输入。当在输入汉字程序中，一般情况下，一方盲文可以表示为声母，一方盲文表示为韵母，两方盲文即可输入一个汉字，也就是多点触摸屏幕两次完成一个汉字输入。例如，汉字“低”的拼音di，其声母是d，韵母是i，如图5声母韵母盲文对照表，用盲文表示分别为使用多点触摸输入法，在屏幕上做两次手势特殊情况是，部分韵母之间构成音节，如韵母ian也是音节yan，所以yan只需要一方盲文即可表示，多点触摸输入时，只需完成一次即可。

3.如图4所示，若多方盲文进入信息输入后，参考盲文表示信息规则是数学表示规则，完成数学式子输入。

例如多点触摸手势识别输入手势为：

其通过多点触摸手势盲文对照表，得到盲文符号表达为：

依照盲文数学符号表示规则，得到数学式子a+b<0。

4.如图4所示，若多方盲文进入信息输入后，参考盲文表示信息规则是化学表示规则，完成化学方程式输入。例如多点触摸手势为：

其通过多点触摸手势盲文对照表，得到盲文符号表达为：

依照盲文化学符号表示规则，得到化学方程式Fe+2HCl=FeCl₂+H₂↑。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型（如触摸点数增加、图形特征的变化等），然后使用多点触摸手势，查找对应的手势盲文对照表，获取出盲文点字，再依据中国盲文的国家标准（GB/T15720-2008）所列出盲文点字数学符号、化学符号、物理符号、音乐符号、计算机符号和英语符号，以及将来出现的新学科、新领域的符号，进行信息输入，均属于本发明的权利要求范围内及其等同物限定，此处不再一一列举。

Claims (6)

1.一种多点触摸手势识别的输入法，其特征在于：用于具有多点触摸屏的电子设备上，首先进行多点触摸手势预定义，形成多点触摸手势库；再建立手势盲文的对照表；然后依据盲文表示信息的规则，完成相应的信息录入；

通过多点触摸屏幕一次，形成手势特征库中的手势，从手指接触到手指离开屏幕称为完成一次多点触摸屏幕；识别出手势，查找手势与盲文的对照表，提取出对应一方盲文，依据盲文表示信息规则，将盲文转换成信息完成录入；

依据盲文点字组成的图形，设计多点触摸基本手势，然后按照盲文的点位逻辑排列规则，通过改变滑动方向，双指触摸，双指触摸改变方向三种方式，构建64个手势对应64个盲文点字，建立多点触摸手势库，以及多点触摸手势与盲文对照表；

依据盲文点位的内在逻辑，首先建立盲文1、2、4、5点构成的盲文点字，3、6点位为空，建立的时候考虑这四点构成的图形形状；将盲文进行分组编号，●表示手指起点，空心箭头表示单指移动方向，实心箭头表示双指移动方向，直角表示拐点，双向箭头表示手指移动后再移动到起点；第一组全部是1、2、4、5点位组成的盲文，共计16个，设计出16个基本手势；

依据盲文内在逻辑结构，第二组盲文是在第一组盲文基础上加上3点位；第二组盲文是在第一组基础上变换触摸滑动方向成相反的方向，触摸点数、拐点不变；

依据盲文内在逻辑结构，第三组盲文是在第一组盲文基础上加上3、6点位；第三组盲文是在第一组基础上进行多点触摸，方向和拐点保持不变；

依据盲文内在逻辑结构，第四组盲文是在第一组盲文基础上加上6点位；第四组盲文是在第一组基础上进行多点触摸，方向变换成相反的方向，拐点不变；或者第四组盲文是在第二组盲文基础上进行多点触摸，方向与拐点保持不变；或者第四组盲文是在第三组盲文基础上保持触摸点数和拐点不变，方向变换成相反的方向；

完成四组手势设计后，完成多点触摸手势定义库的建立；首先将前面设计的手势录入，并从中提取特征信息，包括触摸点数、滑动方向、拐点，并将这些信息分类整理存入多点触摸手势库，加入64个盲文点字，形成多点触摸手势盲文对照表。

2.如权利要求1所述的多点触摸手势识别的输入法，其特征在于：所述具有多点触摸屏的电子设备包括平板电脑和智能手机。

3.如权利要求1所述的多点触摸手势识别的输入法，其特征在于：所述录入的信息包括汉字、数理化符号、英语、音乐符号。

4.如权利要求1所述的多点触摸手势识别的输入法，其特征在于：在触摸屏上感应多点触摸手势信息，剔除孤立点和重复点，完成手势识别，并形成手势图形，查找多点触摸手势与盲文对照表，提取出盲文点字。

5.如权利要求1所述的多点触摸手势识别的输入法，其特征在于：多次多点触摸，感应识别出多方盲文，依据盲文表示信息规则，转换成需要输入的信息，输入到电子设备中。

6.如权利要求1所述的多点触摸手势识别的输入法，其特征在于：手势感应与识别利用多点触摸屏感应多点手势输入，采集输入点数、起点、方向、拐点，绘出手势图形特征，并把该手势图形与多点触摸手势库中图形比较，查找多点触摸手势盲文对照表，提取盲文。