CN107885337A

CN107885337A - 一种基于指法识别的信息输入方法及其装置

Info

Publication number: CN107885337A
Application number: CN201711384599.3A
Authority: CN
Inventors: 陈瑞环
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2018-04-06
Anticipated expiration: 2037-12-20
Also published as: CN107885337B

Abstract

本发明提供一种基于指法识别的信息输入方法，包括如下步骤：I．输入初始化：肢体触发指法识别装置，指法识别装置分配预设的映射规则；II．指法识别：指法识别装置识别肢体指法并将指法信息传输给主机；III．输入模式切换：通过肢体指法或其他肢体操作切换输入模式。采用上述方法的装置包括指法识别装置、主机及电源，指法识别装置设有传感器和处理器，传感器与处理器连接；传感器感测肢体初始位置和肢体位移；处理器接收传感器的初始位置信息后分配预设映射规则，处理器接收并识别传感器的肢体位移信息并将其传输给主机。本发明具有可在规定输入区域的任意位置按键输入的优势，使用更加智能便捷，随时随地，提升用户满意度和舒适度。

Description

一种基于指法识别的信息输入方法及其装置

技术领域

本发明涉及虚拟键盘技术领域，具体涉及一种主要适于盲打人员的基于指法识别的信息输入方法及其装置。

背景技术

现有的传统实体键盘，其按键占据了物理空间中的某个绝对位置，使用者通过对该空间进行点击按压操作。而实际上，信息的输入与空间中某个绝对位置上物体的操作行为之间并没有逻辑或物理规则上的必然关联，即，传统键盘的操作方式存在着很高的信息冗余度。况且，实体键盘的按键数及按键布局，在其生产后就基本固定，可定制性低下，定制按键布局的成本高昂。

为了克服传统普通键盘笨重、携带不方便的缺点，虚拟键盘应运而生。现有的虚拟键盘有些采用光投照技术，可在任意平面上投影出QWERTY全键盘。然而，对于现有的虚拟键盘，仅仅是虚拟了传统键盘的实体按键，虚拟键盘的布局及键位尺寸设计却仍然继承传统键盘，在其生产后就基本固定，可定制性低下。对于不同使用者不尽相同的双手大小、打字习惯，此类虚拟键盘没有利用好无实体按键的特性，在现实中的使用体验不佳，效率低下。

发明内容

本发明的目的是提供一种通过位移描述指法、主要适于盲打人员的基于指法识别的信息输入方法及其装置。

为了达到上述目的，本发明的发明内容如下：

一种基于指法识别的信息输入方法，包括如下步骤：

I．输入初始化：肢体触发指法识别装置，指法识别装置分配预设的映射规则；

II．指法识别：指法识别装置识别肢体指法并将指法信息传输给主机；

III．输入模式切换：通过肢体指法或其他肢体操作切换输入模式。

进一步地，所述指法识别装置检测肢体位移，其识别过程包括如下步骤：

i. 记录位移起点坐标：检测并记录肢体的位移起点；

ii. 记录位移终点坐标：检测并记录肢体的位移终点；

iii. 计算位移：根据位移起点坐标和位移终点坐标计算得到位移方向和位移距离。

进一步地，所述肢体为整只手或手指，肢体位移为滑动操作或按压操作。

进一步地，所述输入模式切换的方式为手势或快捷键或持续无输入状态超过预设时间。

进一步地，所述映射规则为全键盘字母映射或快捷键映射或乐器键盘映射或自定义映射。

一种基于指法识别的信息输入装置，包括指法识别装置、主机及电源，指法识别装置设有传感器和处理器，传感器与处理器连接；

传感器感测肢体初始位置和肢体位移；

处理器接收传感器的初始位置信息后分配预设映射规则，处理器接收并识别传感器的肢体位移信息并将其传输给主机。

进一步地，所述指法识别装置为触控面板或智能指环或智能手环或智能手套或摄像头。

进一步地，所述传感器为接触传感器或压力传感器或指纹识别传感器。

本发明通过以下两种技术方案来实现：

技术方案一、基于手指相对位移的信息输入方法及其装置。

一种基于手指相对位移的信息输入方法，包括如下步骤：

（1）键位初始化：双手或单手手指触碰触控面板，传感器感测到触点，将触点初始位置信息传输给处理器，处理器分配预设的初始映射键位；

（2）按键识别：传感器感测手指在初始位置的位移信息并将位移信息传输给处理器，处理器将位移信息与预设阈值比较，判定按键信息，处理器将识别的按键信息传输给主机；

（3）输入模式切换：通过手势或快捷键或无输入超时等自定义方式切换输入模式，输入模式包括键盘布局、组合键方案、退出模式。

进一步地，所述传感器感测的位移信息包括方向信息与距离信息；方向信息包括但不限于上、下、左、左上、左下、右、右上和右下；处理器内存储预设阈值，距离信息小于预设阈值时判定零位移，按键信息设定为初始位置键，距离信息大于预设阈值时结合方向信息，根据预设的映射键位，判定按键信息。

进一步地，所述映射规则及位移识别规则都记录在处理器的配置文件中，用户可对配置文件进行自定义设置，配置内容包括但不限于用于映射的位移类型的位移方向、位移距离、位移名称，以及指定位移所映射的输入行为。指定位移所映射的输入行为包括但不限于字符输入、指定脚本文件的执行、指定程序的运行和指定终端命令的运行。

进一步地，肢体与触点之间对应关系的识别，处理器可以在使用前的预输入阶段，根据肢体操作中的触点分布形态和预输入阶段的按键顺序，自动生成相应的配置内容。

进一步地，映射规则的配置文件还包括全部触点名称、全部触点之间的从属关系、同一肢体对应的位移起始位置触点与全部位移终点位置触点之间的拓扑关系。

进一步地，可以让一次位移的终点成为下一次位移的起点，即可以在一次位移操作之后，不选择返回起始位置，而是将此次位移的终点位置所代表的按键作为新的起始位置按键，并根据配置文件中的触点间的拓扑关系，自动生成并调用其对应的临时位移映射规则。

一种基于手指相对位移的信息输入装置，包括触控面板，触控面板外接主机和电源，触控面板内设有传感器和处理器，传感器与处理器连接，

所述传感器感测手指初始位置信息和手指位移信息；

所述处理器接收传感器的手指初始位置信息后分配预设的映射键位，处理器接收传感器的手指位移信息后判断按键信息并将按键信息传输给主机；

所述映射键位为全键盘字母键位或快捷键键位或乐器键位与手指位移之间的映射。

进一步地，所述传感器可为接触传感器或压力传感器或指纹识别传感器。

上述技术方案一中的触控面板内也可不设置传感器，在双手或单手手指上套入智能指环，智能指环替代原有的传感器，智能指环可感测手指的相对位移，智能指环与触控面板内的处理器通过蓝牙或无线设备连接。

上述技术方案一中的触控面板可替换成检测手指多关节位移的智能手套设备，可做出更为准确、细致的指法识别，智能手套设备与主机通过无线或有线方式连接。

技术方案二、基于整手相对位移的信息输入方法及其装置。

一种基于整手相对位移的信息输入方法，包括如下步骤：

（a）输入初始化：左手或右手通过智能手环触发位移识别装置，位移识别装置分配预设的映射规则；

（b）位移识别：位移识别装置识别整手位移并将相对位移信息传输给主机；

（c）输入模式切换：通过整手按压或滑动的操作切换输入模式。

一种基于整手相对位移的信息输入装置，包括位移识别装置、智能手环、主机及电源，位移识别装置内设处理器，智能手环通过蓝牙或无线设备与处理器连接；

智能手环感测整手初始位置和整手位移；

处理器接收智能手环的初始位置信息后分配预设映射规则，处理器接收并识别智能手环的整手位移信息并将其传输给主机。

上述技术方案二中也可采用摄像头作为位移识别装置，对整手的操作进行跟踪识别。

本发明与现有技术相比，具有以下优点：

1、本发明一种基于指法识别的信息输入方法及其装置相比于现有的虚拟键盘，具有可在规定输入区域的任意位置按键输入的优势，通过指法识别装置内设的传感器来感测手指或整手的初始位置信息及位移信息并按照预设规则来识别输入信息，使用更加智能便捷，随时随地，提升用户满意度和舒适度。

2、本发明的信息输入方法，可预先设定映射规则，例如手指与QWERTY全键盘、自定义全键盘、快捷键盘、甚至乐器键盘等的映射关系，满足不同用户的输入需求和输入习惯，具有极强的可定制性，也为其他人的创新提供了新的平台。除了设计过程的时间成本，无需考虑实体键盘加工制造开模的制造成本，在软件层面即可实现，即新的键盘布局设计的实现成本极低。

3、本发明的信息输入方法，可预先设定位移阈值，根据不同的使用者（男、女、老、少、残）设定不同的阈值，满足不同手型的准确输入；也可在用户正式输入信息前的预输入阶段预输入一段文字，处理器根据预输入的位移信息，自行调整位移阈值。

4、键盘设备的指法原本是为了更好地使用实体设备而确定出的一定规范，而本发明将这一原先的因果关系进行反向的使用，用设备识别出手指位移操作，进而模拟出原设备与该指法在相应情况下的对应关系，不同于实体键盘设计中方正规整的布局，而具有布局松散的特点。

附图说明

图1是本发明一种基于指法识别的信息输入方法及其装置的实施例1基于手指相对位移的QWERTY全键盘字母映射的流程示意图。

图2是本发明一种基于指法识别的信息输入方法及其装置的实施例1相对位移识别流程示意图。

图3a是本发明一种基于指法识别的信息输入方法及其装置的实施例1基于手指相对位移的QWERTY全键盘字母映射规则示意图（一）。

图3b是本发明一种基于指法识别的信息输入方法及其装置的实施例1基于手指相对位移的QWERTY全键盘字母映射规则示意图（二）。

图4a是本发明一种基于指法识别的信息输入方法及其装置的实施例1基于手指相对位移的装置示意图（一）。

图4b是本发明一种基于指法识别的信息输入方法及其装置的实施例1基于手指相对位移的装置示意图（二）。

图5是本发明一种基于指法识别的信息输入方法及其装置的实施例1基于手指相对位移的数字键盘映射规则示意图。

图6是本发明一种基于指法识别的信息输入方法及其装置的实施例5基于手指相对位移的乐器键盘映射规则示意图。

具体实施方式

下面结合附图，对本发明的实施例作进一步详细的描述。

本发明一种基于肢体相对位移的信息输入方法及其装置的准备工作为设置好映射规则及识别规则的配置文件。映射规则为手指或整手与相应键盘的映射关系，识别规则为指法识别装置对手指或整手相对位移的信息输入判断。

实施例1

一种基于手指相对位移的信息输入方法，映射规则为QWERTY全键盘字母键位与手指位移之间的映射，如图1所示，包括如下步骤：

如图2所示，所述传感器感测的位移信息包括方向信息与距离信息；方向信息包括上、下、左、左上、左下、右、右上和右下；处理器内的配置文件存储可自定义的位移识别规则的预设阈值，距离信息小于预设阈值时判定零位移，按键信息设定为初始位置键，距离信息大于预设阈值时结合方向信息，根据预设的映射规则，判定输入信息。

手指位移信息包括距离信息和方向信息。其中，方向信息包括左手拇指{任意方向}、左手食指{上、下、右、右上、右下}、左手中指{上、下}、左手无名指{上、下}、左手小指{上、下}、右手拇指{任意方向}、右手食指{上、下、左、左上、左下}、右手中指{上、下}、右手无名指{上、下}、右手小指{上、下}。

如图3a、3b所示，以QWERTY全键盘字母的信息输入方法的步骤如下：

QWERTY全键盘键位初始化：双手触碰触控面板，传感器感测到左手掌及左手的五个手指和右手掌及右手的五个手指的十二个触点，将触点初始位置信息传输给处理器，由于左右手是镜面对称且双手各部分的触点大小及相邻距离不同，处理器根据触点的分布形态信息可以判断出各触点所对应的手指，分配预设的QWERTY全键盘映射键位，即左手食指是对应的字母F，左手中指是D，左手无名指是S，左手小指是A，右手食指是对应的J，右手中指是K，右手无名指是L，右手小指是符号“；”，左、右手的拇指始终对应“space”键。

QWERTY全键盘按键识别：例如右手食指的初始位置为J，向左上移动，传感器感测到右手食指的位移信息后将位移信息传输给处理器；处理器先判断右手食指的移动距离是否大于预设阈值，若移动距离小于预设阈值，则判定右手食指零位移，即右手食指的按键信息为初始位置J，若移动距离大于预设阈值，则处理器结合右手食指的移动方向信息判定按键信息为Y。手指在完成一次位移操作后，返回初始位置，处理器将忽略此类返回初始位置的位移操作，不会对其进行按键输入的判定，之后再进行下一次按键输入。其余按键识别的方式以此类推。

QWERTY全键盘输入模式退出：可通过手势或快捷键退出当前输入模式；一般采用的手势为双手离开触控面板超过预设时间。

如图4a、4b所示，一种基于手指相对位移的信息输入装置，包括触控面板，触控面板外接主机和电源，触控面板内设有传感器和处理器，传感器与处理器连接。所述传感器感测手指初始位置信息和手指位移信息；所述处理器接收传感器的手指初始位置信息后分配预设的映射键位，处理器接收传感器的手指位移信息后判断按键信息并将按键信息传输给主机。

所述传感器可采用接触传感器或压力传感器或指纹识别传感器。

通过手势或快捷键将QWERTY全键盘字母映射规则切换为数字键盘映射规则。手势切换，以右手为例，手势包括但不限于五指上推或下推，或右手完全抬起右移后再放下的右位移操作。快捷键切换，包括但不限于同时或先后按下字母组合键。

如图5所示，数字键盘包括“1-9”的九宫格键区、数字0和小数点，以右手为例，采用大拇指、食指、中指、无名指按键输入。映射规则如下：初始位置，大拇指对应数字“0”，食指对应数字“4”，中指对应数字“5”，无名指对应数字“6”；大拇指右移对应小数点，食指上移对应数字“7”，食指下移对应数字“1”，中指上移对应数字“8”，中指下移对应数字“2”，无名指上移对应数字“9”，无名指下移对应数字“3”。

本发明中各手指只负责其指定的映射。中指在上移输入数字“8”的操作时，即使方向上有偏差，假设是进行了右上方向的位移操作，点击到了无名指的上方，即通常意义上数字“9”的位置，此时，仍然能正确地被识别为数字“8”的输入。

实施例2

基于实施例1，利用本发明中可以让一次位移的终点成为下一次位移的起点，即可以在一次位移操作之后，不选择返回起始位置，而是将此次位移的终点位置所代表的按键作为新的起始位置按键，并自动调用其对应的映射规则的特点，可以对按键连续输入作出操作上的优化。以连续输入YHU三个字母为例，步骤如下：

. 同实施例1的步骤。

. 在QWERTY全键盘上，YHU三个字母都是右手食指负责进行输入的内容，故在右手食指完成实施例1的Y键输入的位移操作后，可以选择不立即返回初始位置，此时触发Y键输入的触点位置将被视作初始位置以外的临时位移起点，即根据配置文件中所设置的键位布局的拓扑结构，自动生成此点上的位移映射规则。比如，Y键在初始位置J键的左上方，H键在初始位置J键的左方，即Y键的下方，U键初始位置J键的上方，即Y键的右方，H键的右上方。

. 此时以Y键作为临时位移起点，右手食指在完成Y键输入后，进行相对于当前触点位置，即Y键，作向下的位移操作，即可完成字母H的按键输入。

. 右手食指完成字母H的按键输入后，若仍没有返回其初始位置，则装置此时又将以H键作为临时位移起点，右手食指进行相对于当前触点位置，即H键，作右上方向的位移操作，即可完成字母U的按键输入。

.右手食指返回初始位置，处理器将忽略此类返回初始位置的位移操作，不会对其进行按键输入的判定，连续输入操作至此完成，之后再进行下一次按键输入。其余按键识别的方式以此类推。

实施例3

对于肢体不全或残疾的用户，以单手指操作为例，系统将该手指默认为右手食指。

当它处于食指模式时，向右作滑动操作，滑动距离小于阈值1则识别为切换到中指模式，滑动距离大于阈值1小于阈值2则识别为切换到无名指模式，滑动距离大于阈值2小于阈值3则识别为切换到小拇指模式；向左滑动则识别为切换到大拇指模式。

同理，当它处于中指模式时，向右作滑动操作，滑动距离小于阈值1则识别为切换到无名指模式，滑动距离大于阈值1小于阈值2则识别为切换到小拇指模式；向左滑动则识别为切换回食指模式。

食指、中指、无名指、小拇指各模式对应预设的映射键位。

实施例4

多触点合并识别方法：定义映射规则时，也可以将指定的多个触点设定为同一肢体的从属，以此将同一肢体的全部从属触点在同一时间内发生的位移操作，视为是整个肢体的位移操作，此次操作对应的映射输入由此肢体的位移规则决定。

以右手为例，默认将右手掌及右手五指对应的全部触点设定为从属于右手，若右手对应的全部触点同时进行了相同方向的位移操作，则判定为是整个右手的位移操作。

以右手切换键盘功能键区F5~F8的操作为例，步骤如下：

01. 将右手（包括右手掌和右手五指总共六个触点）完全抬起脱离触控面板；

02. 右手向上位移操作，即包括右手掌和右手五指总共六个触点同时进行上移操作，输入模式切换到键盘功能键区F5~F8；

03.右手向上位移完成后的五指触点位置全部视为临时位移起点，处理器分配键盘功能键区的映射，食指对应F5，中指对应F6，无名指对应F7，小指对应F8；

04. 功能键区的输入；

05. 右手向下位移操作，输入模式切换回字母键区，即五指返回初始位置。

由于右手掌及右手五指对应的六个触点为右手的全部从属触点，处理器不会将此次位移操作判定为原本手指上移对应的字母区按键的输入操作，而是判定为右手的上移操作对应的模式切换。

实施例5

本发明还可用于黑白键乐器键盘的输入。

以右手弹奏C大调音阶为例。右手置于触控面板，被识别出多个触点，进入弹奏模式。C大调顺序弹奏时无黑键参与，故不考虑黑键的输入，如图6所示，根据弹奏指法，上行弹奏时，拇指对应初始位置的“do”音和穿指后的“fa”音，食指对应初始位置的“re”音和穿指后的“so”音，中指对应初始位置的“mi”音和穿指后的“la”音，无名指对应穿指后的“si”音，小指对应穿指后高八度的“do”音；下行弹奏时，小指对应初始位置高八度的“do”音，无名指对应初始位置“si”音，中指对应初始位置的“la”音和转指后的“mi”音，食指对应初始位置的“so”音和转指后的“re”音，拇指对应初始位置的“fa”音和转指后的“do”音。

穿指和转指的指法通过手势或添加其他位移映射规则来切换，例如拇指在初始位置或转指后位置的右移操作对应穿指，中指在穿指后位置的左移操作对应转指。即，步骤如下：

001. 键位初始化：右手五指触碰触控面板，传感器感测到右手的五个手指的五个触点，将触点初始位置信息传输给处理器，由于左右手是镜面对称且双手各部分的触点大小及相邻距离不同，处理器根据触点的分布形态信息可以判断出各触点所对应的手指，进行分配预设的键盘映射键位，如图6左侧所示。

002. 上行弹奏：拇指、食指、中指依次进行原位点击操作，处理器将识别判定为”do”音、“re”音、“mi”音的输入。然后拇指进行右移操作，处理器将识别判定为”fa”音的输入，且将以当前拇指位置作为临时位移起点，根据已知的五指触点布局形态，键盘映射布局切换为穿指后布局，如图6右侧所示。接着食指、中指、无名指、小指依次进行原位点击操作，处理器将识别判定为“so”音、“la”音、“si”音、高八度的“do”音的输入，上行弹奏完毕。

003．承接上行弹奏后的下行弹奏：在小指弹出高八度的“do”音后，无名指、中指、食指、拇指依次进行原位点击操作，处理器将识别判定为“si”音、“la”音、“so”音、”fa”音的输入。然后中指进行左移操作，处理器将识别判定为“mi”音的输入，且将以当前拇指位置作为新的初始位置，根据已知的五指触点布局形态，键盘映射布局切换为转指后布局，如图6左侧所示。接着食指、拇指依次进行原位点击操作，处理器将识别判定为“re”音、”do”音的输入，承接上行弹奏后的下行弹奏完毕。

004. 模式切换：按照实施例3中的多触点合并识别方法，整手进行右移操作，即五指同时发生右移操作，则判定跳转切换高八度键区布局。左移操作则判定跳转切换低八度键区布局。双手脱离设备超过预设时间则退出演奏模式。

除C大调以外的其他音阶的弹奏，可通过手势或快捷键或添加其他位移映射规则转换；黑键的输入可通过手势或添加其他位移映射规则如左上位移和右上位移进行输入，例如某一单指的双击即为输入其白键相邻的黑键。

以上所述仅是本发明优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims

1.一种基于指法识别的信息输入方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种基于指法识别的信息输入方法，其特征在于：所述指法识别装置检测肢体位移，其识别过程包括如下步骤：

i. 记录位移起点坐标：检测并记录肢体的位移起点；

ii. 记录位移终点坐标：检测并记录肢体的位移终点；

3.根据权利要求2所述的一种基于指法识别的信息输入方法，其特征在于：所述肢体为整只手或手指，肢体位移为滑动操作或按压操作。

4.根据权利要求1或2所述的一种基于指法识别的信息输入方法，其特征在于：所述输入模式切换的方式为手势或快捷键或持续无输入状态超过预设时间。

5.根据权利要求1或2所述的一种基于指法识别的信息输入方法，其特征在于：所述映射规则为全键盘字母映射或快捷键映射或乐器键盘映射或自定义映射。

6.一种基于指法识别的信息输入装置，包括指法识别装置、主机及电源，其特征在于：指法识别装置设有传感器和处理器，传感器与处理器连接；

传感器感测肢体初始位置和肢体位移；

7.根据权利要求6所述的一种基于指法识别的信息输入装置，其特征在于：所述指法识别装置为触控面板或智能指环或智能手环或智能手套或摄像头。

8.根据权利要求6所述的一种基于指法识别的信息输入装置，其特征在于：所述传感器为接触传感器或压力传感器或指纹识别传感器。