CN109634439B - 智能文本输入方法 - Google Patents

智能文本输入方法 Download PDF

Info

Publication number
CN109634439B
CN109634439B CN201811563601.8A CN201811563601A CN109634439B CN 109634439 B CN109634439 B CN 109634439B CN 201811563601 A CN201811563601 A CN 201811563601A CN 109634439 B CN109634439 B CN 109634439B
Authority
CN
China
Prior art keywords
signals
text
electromyographic
input
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811563601.8A
Other languages
English (en)
Other versions
CN109634439A (zh
Inventor
张旭
汤纬地
丛松宇
陈香
陈勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201811563601.8A priority Critical patent/CN109634439B/zh
Publication of CN109634439A publication Critical patent/CN109634439A/zh
Application granted granted Critical
Publication of CN109634439B publication Critical patent/CN109634439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Neurosurgery (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种智能文本输入方法，包括：采集当前输入模式下手指敲击时的肌电信号与运动信号；对采集到的肌电信号与运动信号进行多维特征提取，获得特征矩阵；根据当前输入模式，利用特征矩阵构建相应的识别模型，从而计算敲击字母概率矩阵；根据敲击字母概率矩阵结合文本推理算法生成文本字符，再根据语法规则对文本字符进行上下文分析，根据分析结果进行文本修复，从而获得相应的文本数据。上述可以在任意平面或完全脱离平面载体的条件下通过捕获手指敲击时的肌肉电信号和手部动作信息实现自由文本输入，摆脱了传统输入键盘对于输入设备及输入平面的限制要求，更大程度上实现了键盘输入的自由化，极大的提高了便利性。

Description

智能文本输入方法
技术领域
本发明涉及电生理(肌电控制)与人机交互领域，尤其涉及一种智能文本输入方法。
背景技术
文本输入是人机交互的重要组成部分之一。键盘是文本输入最古老和主流的工具，广泛应用于传统电子设备中，例如台式机、笔记本电脑和数控机床等。随着智能移动设备的发展，人们对输入设备的便携性提出了更高的要求。原始机械键盘体积庞大、不易携带的缺点被暴露出来。近些年，新型文本输入方法逐渐出现在日常应用中，如触屏软键盘输入和语音输入。
新型的文本输入方法逐渐在移动智能设备中取代传统机械键盘输入成为主流。触屏键盘是利用智能终端自身携带的可触摸显示屏提供一个虚拟的触摸屏键盘，实现触屏式文本输入；语音输入则是由麦克风接收语音信号转换成文本的一种输入方法。然而，这两种主流输入方法都有比较明显的局限性。触屏式文本输入仅能借助触屏载体进行输入；语音输入法受外界环境影响较大，在嘈杂的环境下无法使用。当手部同时进行其他活动不方便接触屏幕的时候，例如运动状态下，造成输入困难。不仅如此，在进行触屏文本输入时需要占用一定显示屏面积，造成显示或其他触屏功能的使用受到影响，例如游戏过程中；同时，大量的触屏点击也会降低屏幕的使用寿命。
发明内容
本发明的目的是提供一种虚拟键盘智能文本输入方法，极大提高的文本输入的便利性。
本发明的目的是通过以下技术方案实现的：
一种智能文本输入方法，包括：
采集当前输入模式下手指敲击时的肌电信号与运动信号；
对采集到的肌电信号与运动信号进行多维特征提取，获得特征矩阵；
根据当前输入模式，利用特征矩阵构建相应的识别模型，从而计算敲击字母概率矩阵；
根据敲击字母概率矩阵结合文本推理算法生成文本字符，再根据语法规则对文本字符进行上下文分析，根据分析结果进行文本修复，从而获得相应的文本数据。
由上述本发明提供的技术方案可以看出，可以在任意平面或完全脱离平面载体的条件下通过捕获手指敲击时的肌肉电信号和手部动作信息实现自由文本输入，摆脱了传统输入键盘对于输入设备及输入平面的限制要求，更大程度上实现了键盘输入的自由化，特别值得一提的是，完全脱离平面载体的条件下悬空输入，实现了任意时间空间状态下的自由输入，极大的摆脱了环境及个体运动状态对人机交互的限制，提高了便利性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种智能文本输入方法的流程图；
图2为本发明实施例提供的26字母全键盘输入模式的演示示意图；
图3为本发明实施例提供的9宫格键盘输入模式的演示示意图；
图4为本发明实施例提供的信号数据流动示意图；
图5为本发明实施例提供的26字母全键盘输入模式下标准指法分区示意图；
图6为本发明实施例提供的26字母全键盘输入模式下的智能文本输入方法的流程图；
图7为本发明实施例提供的9宫格键盘输入模式下的智能文本输入方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种智能文本输入方法，如图1所示，其主要包括如下步骤：
步骤1、采集当前输入模式下手指敲击时的肌电信号与运动信号。
本发明实施例中，智能文本输入基于肌电信号和运动信号来实现。
目前依托于字母键盘的键盘模式主要包括两种，26键全字母键盘和9宫格键盘。前者主要用于英文或者拼音全拼输入，后者则更适用汉语拼音输入和数字键盘。因此，为了满足更多用户的需求，构建可以适应他们生活习惯的输入法，本发明实施例考虑了这两种键盘模式；当然，对于其它具有特殊键盘布局的语言，仍可使用本发明所述的方法进行类比。
本发明实施例中，考虑26字母全键盘输入模式与9宫格键盘输入模式，为了支持这两种输入模式，设计了两种信号采集设备。
1、腕带式信号采集设备。
如图2所示，通过腕带式信号采集设备采集肌电信号与运动信号；所述腕带式信号采集设备采集包括：第一肌电信号采集传感器阵列及第一惯性测试单元；其中，所述第一肌电信号采集传感器阵列均匀环绕前臂，用于捕获指曲肌群活动的肌电信号；所述第一惯性测试单元位于手臂前臂背侧。
2、拇指指套式信号采集设备。
如图3所示，通过拇指指套式信号采集设备采集肌电信号与运动信号；所述拇指指套式信号采集设备采集包括：第二肌电信号采集传感器阵列及第二惯性测试单元；其中，一部分肌电信号采集传感器位于大鱼际肌区域，用于捕获大鱼际肌活动的肌电信号，另一部分肌电信号采集传感器位于第一骨间背侧肌区域，用于捕获第一骨间背侧肌的肌电信号；所述第二惯性测试单元位于大拇指背侧。
如图2～图3所示，在进行26宫格全键盘输入时，所述腕带式信号采集设备采集与拇指指套式信号采集设备采集均为两套，分配佩戴在左右手上，腕带主体设置在腕带式信号采集设备采集内。在进行9宫格键盘输入时，只需要操作手佩戴一套设备即可。
本发明实施例中，上述第一、第二肌电信号采集传感器阵列均为高密度肌电信号采集阵列；第一、第二惯性测试单元均为运动轨迹采集单元，利用加速计、陀螺仪与磁力计采集用户相应位置的运动轨迹。
在26字母全键盘输入模式下，所采集的肌电信号与运动信号包括：通过腕带式信号采集设备采集的前臂区域的肌电信号与运动信号，以及通过拇指指套式信号采集设备采集的第一骨间背侧肌的肌电信号。
在9宫格键盘输入模式，所采集的肌电信号与运动信号包括：通过拇指指套式信号采集设备采集的大鱼际肌的肌电信号，以及大拇指运动信号。
步骤2、对采集到的肌电信号与运动信号进行多维特征提取，获得特征矩阵。
从本步骤开始至步骤4，全部均由上位机完成，所述上位机包括但不限于：智能手机或电脑等。
此外，在上位机进行一系列处理之前，还需要进行信号的预处理，预处理通过腕带主体来完成；所述腕带主体主要包括：模式选择器、核心处理器及周边电路、存储器、无线传输模块以及电源模块；
所述模式选择器，用于控制当前模式状态，并将当前模式状态下对应的肌电信号与运动信号传输至核心处理器及周边电路；
所述核心处理器及周边电路，用于对肌电信号与运动信号进行预处理；
所述存储器，用于暂存肌电信号与运动信号；
所述无线传输模块，用于将预处理后的肌电信号与运动信号上传至上位机；
所述电源模块，用于为模式选择器、核心处理器及周边电路、存储器、以及通信模块供电。
从步骤1中所提到的两种采集设备至腕带主体所涉及的信息流如图4所示。
两种输入模式下预处理过程类似，步骤如下：
首先，同步标定肌电信号与运动信号；
然后，通过滤波算法去除同步标定后的肌电信号与运动信号中的噪声。
预处理之后的肌电信号与运动信号都将送入上位机进行处理，在本步骤中，上位机进行多维特征的提取。
本发明实施例中，进行时域和频域的多维特征提取时，对于运动信号，将x轴、y轴和z轴三轴加速度信号作为特征；
对于肌电信号，提取时域特征、频域特征及其他特征中的一种或多种(即以下8种特征中的一种或多种)；其中，时域特征包括：斜率符号变化数(SSC)、波长(WL)、绝对值均值(MAV)、以及过零率(ZC)；频域特征包括：平均频率(MNF)以及中位频率(MF)；其他特征包括：样本熵、以及聚类索引(Clustering Index)。
步骤3、根据当前输入模式，利用特征矩阵构建相应的识别模型，从而计算敲击字母概率矩阵。
对于不同输入模式下的信号，预处理及特征提取的过程基本类似，本步骤主要是建立识别模型，从而计算敲击字母概率矩阵，考虑到不同输入模式的差异性，需要进行区分，下面针对两种模式下的处理过程分别进行说明。
1、26字母全键盘输入模式
对于26字母全键盘输入模式，预先对对26字母全键盘进行了分区，此模式下的识别模型为信号-手指敲击运动模型。
当双手分别放置在任意介质的平面上，由每只手除拇指以外的四个手指接触点为基准，对键盘进行分区。如图5所示，根据26全字母键盘标准输入指法，左手小指至食指分别对应字母ASDF，右手食指至小指分别对应JKL和字符“；”。由此根据26全字母键盘确定其他键位。为了有效的利用高密度sEMG信号的空间信息，可以根据肌电信号的空间信息，利用特征图像的不同，判定哪一根手指在敲击虚拟键盘。
在不考虑功能键的情况下，除食指外，每个手指只控制一列字母或者数字。根据人体手部、腕部及手臂的骨骼肌肉特征，构建信号-手指敲击运动模型。该模型可以有效的确定是哪一根手指在敲击键盘并通过确定手指的伸展收缩状态确定敲击哪一行。由于展伸程度在不同受试者身上具有差异性，通过给出不同字母被敲击概率，结合后续文本推理组合算法得出更为准确有效的文本字符。对于食指，我们可以通过结合分析其第一骨间背侧肌的sEMG信号确定敲击哪一列，得出相应的字母敲击概率矩阵。具体来说：
在信号-手指敲击运动模型的构建中，将特征矩阵送入训练好的BP神经网络中，根据输入的特征确定当前敲击所对应的分区，即确定26字母全键盘中的列信息；再利用贝叶斯分类器计算相应特征条件表现为上、中、下三行的概率，从而判断当前敲击所对应的列信息分别为上、中、下三行的概率，即26字母全键盘中的行信息；利用所有特征对应的行列信息得出敲击字母概率矩阵。
此外，上述信号-手指敲击运动模型具有自学习能力，在识别模型构建之后，其能够利用同一使用者的新的特征矩阵进行模型的修改。
2、9宫格键盘输入模式
此模式下的识别模型为信号-拇指敲击位置运动模型，通过该模型确定敲击位置，从而得到敲击字母概率矩阵。
根据9宫键盘的特征，敲击位置共分为左上、左中、左下、中上、中中、中下、右上、右中、右下九个不同的敲击位置。
大拇指的骨骼模型，是指由大拇指及掌骨关节的多块骨头构建的骨骼几何模型，参考真实肌肉并将涉及到拇指运动的主要肌肉进行简化建立控制拇指腕掌关节运动的肌肉运动模型。
基于大拇指的骨骼模型与肌肉运动模型，结合所述特征矩阵，利用BP神经网络构建信号-拇指敲击位置运动模型，从而得到敲击位置；各敲击位置对应的字母被敲击的概率均等，从而根据得到的敲击位置，得到敲击字母概率矩阵。
同样的，所述信号-拇指敲击位置运动模型具有自学习能力，在识别模型构建之后，其能够利用同一使用者的新的特征矩阵进行模型的修改。
步骤4、根据敲击字母概率矩阵结合文本推理算法生成文本字符，再根据语法规则对文本字符进行上下文分析，根据分析结果进行文本修复，从而获得相应的文本数据。
基于前述步骤3可以得到相应输入模式下的敲击字母概率矩阵，通过文本字符生成及语义修改，可以得到最终的文本数据，主要如下：
1、生成文本字符。
将每个单独的单词或者词语拼音作为一个识别单位，再将敲击字母概率矩阵，结合相应的其时序信息拼接出识别单位概率矩阵；对识别单位概率矩阵中的识别单位与自有识别单位库进行匹配，去除无效识别单位，再乘以自有识别单位库中相应识别单位的概率，得到最终的识别单位概率矩阵，也即文本字符概率矩阵，以供后续挑选组成大段文本。
2、语义修复与文本输出。
选择识别单位概率矩阵中概率最高的单词或词语作为初步的文本数据，再将初步的文本数据结合时序信息得出文本段，对所述文本段与自有文本段库进行匹配，对于不符合自有文本段库标准规则的文本数据，选取其对应识别单位概率矩阵中概率次高的词语替换其进行文本段匹配，选取最佳匹配作为输出词语，此处选择概率次高的进行文本段匹配，目的是挑选出最符合上下文的识别单位(即单词或词语)。
本发明实施例中，所述自有识别单位库和所述自有文本段库均为通过对于标准英语、汉语词库、以及10本中、英文书籍的学习得到的。在后续的使用中，用户可以根据需求对自有标准库进行修改、增删；同时，用户的测试样本也会在识别后进入标准库，使得所述标准库更加的个性化、定制化。
为了便于理解，针对26字母全键盘输入模式与9宫格键盘输入模式分别绘制两份流程图，请参见图6～图7。
本发明实施例上述方案，可穿戴输入设备简单便携，并且可以在任意平面或完全脱离平面载体的条件下通过捕获手指敲击时的肌肉电信号和手部动作信息实现自由文本输入，摆脱了传统输入键盘对于输入设备及输入平面的限制要求，更大程度上实现了键盘输入的自由化，特别值得一提的是，完全脱离平面载体的条件下悬空输入，实现了任意时间空间状态下的自由输入，极大的摆脱了环境及个体运动状态对人机交互的限制，提高了便利性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种智能文本输入方法，其特征在于，包括：
采集当前输入模式下手指敲击时的肌电信号与运动信号；
对采集到的肌电信号与运动信号进行多维特征提取，获得特征矩阵；
根据当前输入模式，利用特征矩阵构建相应的识别模型，从而计算敲击字母概率矩阵；
根据敲击字母概率矩阵结合文本推理算法生成文本字符，再根据语法规则对文本字符进行上下文分析，根据分析结果进行文本修复，从而获得相应的文本数据，包括：将每个单独的单词或者词语拼音作为一个识别单位，将敲击字母概率矩阵，结合相应的其时序信息拼接出识别单位概率矩阵；对识别单位概率矩阵中的识别单位与自有识别单位库进行匹配，去除无效识别单位，再乘以自有识别单位库中相应识别单位的概率，得到最终的识别单位概率矩阵，也即文本字符概率矩阵；选择识别单位概率矩阵中概率最高的单词或词语作为初步的文本数据，再将初步的文本数据结合时序信息得出文本段，对所述文本段与自有文本段库进行匹配，对于不符合自有文本段库标准规则的文本数据，选取其对应识别单位概率矩阵中概率次高的词语替换其进行文本段匹配，选取最佳匹配作为输出词语；
所述输入模式包括：26字母全键盘输入模式与9宫格键盘输入模式；其中：
所述26字母全键盘输入模式下，所采集的肌电信号与运动信号包括：通过腕带式信号采集设备采集的前臂区域的肌电信号与运动信号，以及通过拇指指套式信号采集设备采集的第一骨间背侧肌的肌电信号；
所述9宫格键盘输入模式下，所采集的肌电信号与运动信号包括：通过拇指指套式信号采集设备采集的大鱼际肌的肌电信号以及大拇指运动信号。
2.根据权利要求1所述的一种智能文本输入方法，其特征在于，
所述腕带式信号采集设备采集包括：第一肌电信号采集传感器阵列及第一惯性测试单元；其中，所述第一肌电信号采集传感器阵列均匀环绕前臂，用于捕获指曲肌群活动的肌电信号；所述第一惯性测试单元位于手臂前臂背侧；
所述拇指指套式信号采集设备采集包括：第二肌电信号采集传感器阵列及第二惯性测试单元；其中，一部分肌电信号采集传感器位于大鱼际肌区域，用于捕获大鱼际肌活动的肌电信号，另一部分肌电信号采集传感器位于第一骨间背侧肌区域，用于捕获第一骨间背侧肌的肌电信号；所述第二惯性测试单元位于大拇指背侧；
其中，使用26字母全键盘输入模式时，所述腕带式信号采集设备采集与拇指指套式信号采集设备采集均为两套，分配佩戴在左右手上；使用9宫格键盘输入模式时，所述腕带式信号采集设备采集与拇指指套式信号采集设备采集均为一套，佩戴操作手上。
3.根据权利要求1或2所述的一种智能文本输入方法，其特征在于，从多维特征提取开始直至获得相应的文本数据这些步骤均由上位机完成，在进行多维特征提取之前还包括预处理的步骤，其通过腕带主体来完成，所述腕带主体包括：模式选择器、核心处理器及周边电路、存储器、无线传输模块以及电源模块；
所述模式选择器，用于控制当前模式状态，并将当前模式状态下对应的肌电信号与运动信号传输至核心处理器及周边电路；
所述核心处理器及周边电路，用于对肌电信号与运动信号进行预处理；
所述存储器，用于暂存肌电信号与运动信号；
所述无线传输模块，用于将预处理后的肌电信号与运动信号上传至上位机；
所述电源模块，用于为模式选择器、核心处理器及周边电路、存储器、以及通信模块供电。
4.根据权利要求3所述的一种智能文本输入方法，其特征在于，所述预处理的步骤包括：
首先，同步标定肌电信号与运动信号；
然后，通过滤波算法去除同步标定后的肌电信号与运动信号中的噪声。
5.根据权利要求1所述的一种智能文本输入方法，其特征在于，
对于26字母全键盘输入模式，预先使用26全字母键盘标准输入指法对26字母全键盘进行了分区，此模式下的识别模型为信号-手指敲击运动模型；
在信号-手指敲击运动模型的构建中，将特征矩阵送入训练好的BP神经网络中，根据输入的特征确定当前敲击所对应的分区，即确定26字母全键盘中的列信息；再利用贝叶斯分类器计算相应特征条件表现为上、中、下三行的概率，从而判断当前敲击所对应的列信息分别为上、中、下三行的概率，即26字母全键盘中的行信息；利用所有特征对应的行列信息得出敲击字母概率矩阵。
6.根据权利要求1所述的一种智能文本输入方法，其特征在于，
对于9宫格键盘输入模式，敲击位置包括：左上、左中、左下、中上、中中、中下、右上、右中及右下；此模式下的识别模型为信号-拇指敲击位置运动模型；
基于大拇指的骨骼模型与肌肉运动模型，结合所述特征矩阵，利用BP神经网络构建信号-拇指敲击位置运动模型，从而得到敲击位置；各敲击位置对应的字母被敲击的概率均等，从而根据得到的敲击位置，得到敲击字母概率矩阵。
7.根据权利要求1或5或6所述的一种智能文本输入方法，其特征在于，所述识别模型具有自学习能力，在识别模型构建之后，其能够利用同一使用者的新的特征矩阵进行模型的修改。
8.根据权利要求1所述的一种智能文本输入方法，其特征在于，进行多维特征提取时，对于运动信号，将x轴、y轴和z轴三轴加速度信号作为特征；
对于肌电信号，提取时域特征、频域特征及其他特征中的一种或多种；其中，时域特征包括：斜率符号变化数、波长、绝对值均值与过零率；频域特征包括：平均频率与中位频率；其他特征包括：样本熵与聚类索引。
CN201811563601.8A 2018-12-20 2018-12-20 智能文本输入方法 Active CN109634439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811563601.8A CN109634439B (zh) 2018-12-20 2018-12-20 智能文本输入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811563601.8A CN109634439B (zh) 2018-12-20 2018-12-20 智能文本输入方法

Publications (2)

Publication Number Publication Date
CN109634439A CN109634439A (zh) 2019-04-16
CN109634439B true CN109634439B (zh) 2021-04-23

Family

ID=66075930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811563601.8A Active CN109634439B (zh) 2018-12-20 2018-12-20 智能文本输入方法

Country Status (1)

Country Link
CN (1) CN109634439B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443113A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 一种虚拟现实书写方法、系统和存储介质
CN111427457A (zh) * 2020-06-11 2020-07-17 诺百爱（杭州）科技有限责任公司 一种基于虚拟按键输入字符的方法、装置和电子设备
CN112101327B (zh) * 2020-11-18 2021-01-29 北京达佳互联信息技术有限公司 动作矫正模型的训练方法、动作矫正方法及装置
CN115857706B (zh) * 2023-03-03 2023-06-06 浙江强脑科技有限公司 基于面部肌肉状态的文字输入方法、装置及终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446461B (zh) * 2014-06-24 2019-03-26 北京创思博德科技有限公司 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法
CN105511615B (zh) * 2015-12-04 2019-03-05 深圳大学 基于emg的可穿戴式文本输入系统及方法
CN106919816A (zh) * 2015-12-24 2017-07-04 北京搜狗科技发展有限公司 一种用户认证方法和装置、一种用于用户认证的装置
US11899904B2 (en) * 2017-04-12 2024-02-13 Microsoft Technology Licensing, Llc. Text input system with correction facility
CN108646910A (zh) * 2018-03-20 2018-10-12 重庆邮电大学 一种基于深度图像的三维动态手指文本输入系统及方法
CN110362190B (zh) * 2018-04-09 2021-10-29 中国科学院沈阳自动化研究所 基于myo的文本输入系统及方法
CN108681709B (zh) * 2018-05-16 2020-01-17 深圳大学 基于骨传导振动与机器学习的智能输入方法及系统
CN108829252A (zh) * 2018-06-14 2018-11-16 吉林大学 基于肌电信号的手势输入计算机字符装置及方法

Also Published As

Publication number Publication date
CN109634439A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109634439B (zh) 智能文本输入方法
US11493993B2 (en) Systems, methods, and interfaces for performing inputs based on neuromuscular control
Fang et al. Deepasl: Enabling ubiquitous and non-intrusive word and sentence-level sign language translation
CN107678550A (zh) 一种基于数据手套的手语手势识别系统
CN111562842B (zh) 一种基于肌电信号的虚拟键盘设计方法
Kryvonos et al. New tools of alternative communication for persons with verbal communication disorders
Luo et al. Wearable air-writing recognition system employing dynamic time warping
Farooq et al. A comparison of hardware based approaches for sign language gesture recognition systems
Kwon et al. Myokey: Surface electromyography and inertial motion sensing-based text entry in ar
CN110413106B (zh) 一种基于语音和手势的增强现实输入方法及系统
CN103295570A (zh) 一种手套式发声系统
Lepouras Comparing methods for numerical input in immersive virtual environments
Zhao et al. High-precision and customized ring-type virtual keyboard based on layout redesign
CN108089710A (zh) 一种电子设备控制方法、装置及电子设备
Khambaty et al. Cost effective portable system for sign language gesture recognition
CN106371756A (zh) 输入系统与输入方法
CN114510942A (zh) 获取实体词的方法、模型的训练方法、装置及设备
Fu et al. Typing everywhere with an EMG keyboard: A novel myo armband-based HCI tool
CN113552954A (zh) 一种输入法键盘显示方法、电子设备及存储介质
Biju et al. A review of factors that impact the design of a glove based wearable devices
US11868531B1 (en) Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
Yang et al. TapSix: A Palm-Worn Glove with a Low-Cost Camera Sensor that Turns a Tactile Surface into a Six-Key Chorded Keyboard by Detection Finger Taps
JPH11143608A (ja) 文字入力方法及び文字入力装置
Newby Gesture recognition based upon statistical similarity
CN111580666B (zh) 一种设备控制方法、电子设备、设备控制系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant