CN110362190B - 基于myo的文本输入系统及方法 - Google Patents

Abstract

本发明涉及基于MYO的文本输入系统及方法，通过使用MYO腕带，设计并制造了一种交互自然、使用宽泛、效率更高的文本输入系统，包括MYO腕带、所述腕带内的肌电传感器和姿态传感器的使用、所述系统中的用户界面和虚拟键盘的设计以及所述系统中的传感器数据处理方法和机器学习算法；所述MYO腕带将肌电信号和姿态的信息通过蓝牙发送给所述服务器端；所述服务器端将得到的数据进行处理并提取相关特征，然后通过随机森林模型得到动作的类别；所述用户界面接收到服务器的动作类别信号后，做出对应的动作；所述用户界面的设计与颜色的搭配。本发明中将采集到的肌电信号和姿态传感器的信号进行融合分析，提高手势分类的准确度。

Description

基于MYO的文本输入系统及方法

技术领域

本发明涉及智能人机交互领域，具体说是一种创新性的文本输入方式，能够满足正常人和前臂截肢患者使用电脑的需求。

背景技术

传统的键盘输入方式存在很多问题。如：使用者必须拥有健全的双手，而且手必须放在键盘上才可以完成输入，这对于很多使用场景都是一种限制，交互极其不自然。而现有的新型的文本输入方式，如：语音输入，虽然交互方式自然，但是其容易受到口音和嘈杂的环境的影响，使用常常受限。所以我们需要开发出一种交互方式自然，而且使用不易受到环境和使用者身体状况限制的文本输入系统。近些年，肌电的原理与应用在国际学术界和工业界一直都备受关注，也诞生了一大批基于肌电的应用。其中肌电与可穿戴设备的结合更是一种强强联合，诞生了许多很棒的应用，其中MYO腕带便是这样一款产品。MYO腕带是加拿大Thalmic Labs公司于2013年初推出的一款控制终端设备，通过它使用者只需要动动手指便可以轻松控制一些设备，使得交互更加自然。

发明内容

为了解决现有的文本输入的问题，本发明提出了一种基于MYO腕带的文本输入系统的设计，从根本上解决了传统的键盘输入方式不自然、受到使用者身体状况限制等问题，使得前臂截肢患者和正常人都能够使用。

本发明的目的是通过以下技术方案实现的：基于MYO的文本输入系统，包括：

腕带，用于采集肌电原始数据，并发送至终端；

终端，用于对肌电原始数据进行滤波和特征提取，通过机器学习模型得到类别信息，根据类别信息与动作的映射关系，显示所述动作，实现文本的输入。

所述肌电原始数据包括肌电信号和姿态信息。

所述腕带为包括肌电传感器和姿态传感器的可穿戴设备。

所述终端，通过人机交互界面显示动作；所述人机交互界面包括圆形虚拟键盘、虚拟按键和输入显示框。

所述圆形虚拟键盘分为M个象限，每个象限由内向外分为N个小组，每个小组包括k个字符，字符包括字母和/或符号。

所述映射关系为：握拳对应于确定输入；握力超过阈值的握拳对应于字母大小写的切换；手掌内翻对应于数字和字母的切换；手掌外翻对应于撤销操作；手掌外翻持续时间超过设定秒对应于删除操作；手臂顺时针旋转对应于所述圆形虚拟键盘象限的顺时针增加；手臂逆时针旋转对应于所述圆形虚拟键盘象限的逆时针增加；手臂外展对应于所述圆形虚拟键盘小组由内向外增加；手臂向前摆动对应于小组内的第一个字母；手臂向后摆动对应于小组内的第二个字母。

基于MYO的文本输入方法，包括以下步骤：

对肌电原始数据进行滤波和特征提取，进行机器学习得到类别信息，根据类别信息与动作的映射关系，显示所述动作，实现文本的输入。

所述映射关系为：握拳对应于确定输入；握力超过阈值的握拳对应于字母大小写的切换；手掌内翻对应于数字和字母的切换；手掌外翻对应于撤销操作；手掌外翻持续时间超过设定秒对应于删除操作；手臂顺时针旋转对应于所述圆形虚拟键盘象限的顺时针增加；手臂逆时针旋转对应于所述圆形虚拟键盘象限的逆时针增加；手臂外展对应于所述圆形虚拟键盘小组由内向外增加；手臂向前摆动对应于小组内的第一个字母；手臂向后摆动对应于小组内的第二个字母。

所述显示所述动作通过人机交互界面显示，包括以下步骤：

动作触发对圆形虚拟键盘中的对应操作，通过不同颜色分别对所选中的象限、小组和字母进行标注，并在输入框中显示输入的信息。

圆形虚拟键盘采用指针操作，其中指针分为：象限指针、小组指针和字母指针，这三种指针相互独立，而且每种指针根据动作执行的次数依次累加，超过某个值后自动归零。

肌电动作包括：握拳、手掌内翻和手掌外翻3种动作；所述非肌电动作分为：顺时针旋转手臂、逆时针旋转手臂、手臂外展、手臂前摆和手臂后摆5种动作。

所述输入框主要是用来显示用户输入的信息，其支持多行输入和自动翻页。

所述虚拟按键包括：确定键、删除键、文本和数字切换键、空格键、大小写切换键和撤销键，虚拟按键的作用主要是用于对用户的输入的反馈。

本发明的有益效果是：

本发明的优点与积极效果为：

1﹑本发明使用的是已经商业化的MYO肌电腕带作为肌电采集设备，而不是使用普通的肌电传感器。如果使用普通的肌电传感器，采集的肌电信号可能会不稳定，也不够便携。而使用MYO腕带，则能够提高整个系统的稳定性和舒适度。

2﹑本发明中将采集到的肌电信号和姿态传感器的信号进行融合分析，提高手势分类的准确度。其中对于肌电信号的处理分为两个不同的使用场景：一个是用户第一次使用本系统时，需要通过系统的引导程序，将该用户相关动作的肌电信号记录并通过程序自动打入标签，构成机器学习中的训练数据集，然后通过训练集数据提取特征后，送入随机森林模型，用以模型的训练；另一个是用户为非第一次使用，由于系统中已经保存了与该用户相关的训练好了的模型，所以可以直接通过MYO采集肌电信号，并对其做一些基本的滤波处理和特征提取后，送入模型，得出分类动作。对于姿态传感器信号，采用加速度计和陀螺仪数据融合的方式，得到用户手臂运动的角度和方向，为了减少用户手臂抖动带来的干扰，本系统中对姿态传感器的原始数据采用了卡尔曼滤波。同时，本发明考虑到前臂截肢患者的肌电信号相较于正常人微弱，所以采用的动作也是经过调研并选择对于前臂截肢患者分类效果也很好的动作。

3﹑本发明中的圆形虚拟键盘的设计能够显著提高文本的输入效率。相比于传统的矩形键盘,圆形键盘的设计可以使得用户以更少的动作完成输入，而且可以将圆形的虚拟键盘看成一个闭环，对于字母的选择可以采用循环的方式，这也能减少动作的数量。同时虚拟键盘中字母与符号的排序也是通过调研，根据英文中字母和符号使用频率的大小从内到外进行排序，这样的设计也能够提高文本的输入效率。

4﹑本发明中采用客户端和服务器端的模式，服务器负责接收传感器的数据、对原始数据做特征提取，提取的特征包括：时域方面有：肌电积分值、均方根值、过零点数、方差和幅值；频域方面有：平均功率频谱和中位频谱，然后将所得的特征输入到已经训练好的随机森林模型中并得到动作的分类，然后发送给客户端(用户界面)，并根据动作类别进行相应的动作。这样做的好处是可以增强系统的健壮性，也使得系统模块化程度增加，便于后期的系统的扩展和维护。

附图说明

图1为本发明MYO腕带穿戴示意图，

图2为本发明MYO腕带主体的展开图，

图3为本发明基于MYO的文本输入系统的系统框图，

图4为本发明基于MYO的文本输入系统的虚拟键盘，

图5为本发明基于MYO的文本输入系统的用户界面，

图6为本发明基于MYO的文本输入系统的动作示意图

图7为本发明基于MYO的文本输入系统的输入方法流程图。

具体实施方式

下面结合附图对本发明作进一步详述。

通过使用MYO腕带，设计并制造了一种交互自然、使用宽泛、效率更高的文本输入系统，包括MYO腕带、所述腕带内的肌电传感器和姿态传感器的使用、所述系统中的用户界面和虚拟键盘的设计以及所述系统中的传感器数据处理方法和机器学习算法；所述MYO腕带将肌电信号和姿态的信息通过蓝牙发送给所述服务器端；所述服务器端将得到的数据进行处理并提取相关特征，然后通过随机森林模型得到动作的类别；所述用户界面接收到服务器的动作类别信号后，做出对应的动作；所述用户界面的设计与颜色的搭配。

一种基于MYO的文本输入系统，包括MYO腕带、服务器程序、用户界面主程序、所选择特定的动作类别以及动作映射关系和机器学习算法；所述MYO腕带用于采集使用者的肌电信号和姿态信息，并通过蓝牙发送给所述服务器程序；所述服务器程序通过蓝牙模块接收到原始的肌电信号和姿态信息后，对原始数据进行滤波处理和特征提取，然后送入所述机器学习模型并得出动作的类别，并将得到的类别信息发送给所述用户界面主程序；所述用户界面主程序在接收到相应的类别信息后，根据所述动作类别及动作映射关系，进行相关的显示与动作，最终完成文本的输入。

MYO腕带为一个包括肌电传感器和姿态传感器的可穿戴设备。所述肌电传感器能够感知用户做不同手势动作产生的肌电变化，所述姿态传感器能够感知用户手臂移动的角度、速度、方向和加速度。

MYO腕带能够将所述肌电传感器和姿态传感器采集的信息离散化，并做初步的数据滤波，然后通过内置的蓝牙模块将已经按一定格式打包好的数据发送给服务器端。

服务器端程序能够接受所述MYO腕带传输的肌电和姿态数据，并对这些数据进行处理与特征提取。所述数据处理包括对于肌电数据和对于姿态传感器数据的处理。其中对于肌电信号的处理分为两个不同的使用场景：一个是用户第一次使用本系统时，需要通过系统的引导程序，将该用户相关动作的肌电信号记录并通过程序自动打入标签，构成机器学习中的训练数据集，然后通过训练集数据提取特征后，送入随机森林模型，用以模型的训练；另一个是用户为非第一次使用，由于系统中已经保存了与该用户相关的训练好了的模型，所以可以直接通过MYO采集肌电信号，并对其做一些基本的滤波处理和特征提取后，送入模型，得出分类动作。对于姿态传感器信号，采用加速度计和陀螺仪数据融合的方式，得到用户手臂运动的角度和方向，为了减少用户手臂抖动带来的干扰，本系统中对姿态传感器的原始数据采用了卡尔曼滤波。所述特征提取指的是对处理后的肌电数据进行特征的提取，所提取的特征包括：时域方面有：肌电积分值、均方根值、过零点数、方差和幅值；频域方面有：平均功率频谱和中位频谱。最后将所述的特征输入到所述的随机森林模型中并得出所述特定的动作类别，并将得到的动作类别发送给所述用户界面主程序。

特定的动作的选择包括肌电动作和非肌电动作两大类，其中所述的肌电动作表示的是通过肌电信号进行动作分类，而所述非肌电动作则是通过姿态数据得到。其中所述肌电动作选择的标准是：对于前臂截肢患者和正常人的识别准确率都高。所述动作映射关系确定标准为：以最少的动作完成输入；动作的选择和文本的输入方式要直观，以便使用者能够记住动作。

用户主界面包括圆形虚拟键盘、虚拟按键和输入显示框。

机器学习算法采用随机森林的学习算法，能够学习到所述动作的模型，并能以一个很高的准确率对所述动作进行识别。

整个系统采用所述的服务器/客户端模型，其中所述服务器端主要完成肌电和姿态数据的接收、数据的预处理、特征提取和机器学习模型的训练，并使用训练好的机器学习模型对数据进行动作分类，然后发送给客户端；所述客户端为用户界面主程序，主要完成接收服务器端发送的动作类别信息，然后根据所述的动作映射关系进行不同的显示与动作。

所述圆形虚拟键盘主要分为4个象限，每个象限分为4个小组，每个小组包括2个字母或者符号；所述圆形虚拟键盘采用指针操作，其中指针分为：象限指针、小组指针和字母指针，这三种指针相互独立，互不影响，而且每种指针会根据动作执行的次数依次累加，超过某个值后便自动归零，不断循环；所述圆形虚拟键盘通过采用红色、蓝色和绿色分别岁所选中的象限、小组和字母进行高亮标注，以便用户了解其所在的输入位置。

所述虚拟按键包括：确定键、删除键、文本和数字切换键、空格键、大小写切换键和撤销键，虚拟按键的作用主要是用于对用户的输入的反馈。

所述输入框主要是用来显示用户输入的信息，其支持多行输入和自动翻页。

所述的肌电动作包括：握拳、手掌内翻和手掌外翻3种动作；所述非肌电动作分为：顺时针旋转手臂、逆时针旋转手臂、手臂外展、手臂前摆和手臂后摆5种动作。

所述的动作映射关系为：握拳对应于确定输入；用力握拳(握力超过20公斤的)对应于字母大小写的切换；手掌内翻对应于数字和字母的切换；手掌外翻对应于撤销操作；手掌外翻持续时间超过10秒对应于删除操作；手臂顺时针旋转对应于所述圆形虚拟键盘象限的顺时针增加；手臂逆时针旋转对应于所述圆形虚拟键盘象限的逆时针增加；手臂外展对应于所述圆形虚拟键盘小组由内向外增加；手臂向前摆动对应于小组内的第一个字母；手臂向后摆动对应于小组内的第二个字母。

如图1所示，所述MYO腕带示意图，该腕带总共有8个肌电传感器，可以同时采集8个通道的肌电数据；一个加速度计和一个陀螺仪组成姿态传感器，用于获取腕带的姿态信息；一个micro-USB接口，用于腕带的充电和更新固件；集成一个蓝牙4.0模块，用于将数据无线发送到接收端；一个指示灯，用于充电指示和各种错误的指示。

如图2所示，所述MYO腕带展开示意图。由图可知，MYO腕带包含8个肌电传感器子模块(M1)，每个子模块拥有三个电极(P1)，分别为正极、地和负极。所述MYO腕带采用的是干电极，相比于传统的肌电传感器使用的湿电极，干电极拥有：使用方便、不需要配合导电膏使用和不会导致用户过敏等优点。所述MYO腕带采用三个电极的设计方案，能够增加其抗干扰能力。

如图3所示，所述基于MYO文本输入系统的系统框图。由图可知，本系统主要由用户、MYO腕带、服务端程序和用户界面程序四个部分组成。其中MYO腕带主要负责采集用户的肌电信号和姿态信号，并进行模数转换和50Hz滤波，最后按一定的数据格式打包并通过无线发送给服务端；服务端程序主要是接收MYO腕带发送的数据，然后对其进行滤波处理和特征提取，并使用机器学习算法进行动作的分类，最后将分类结果发送给客户端；用户界面在本系统中扮演着客户端的角色，主要用于接收服务端发送的动作类别信息，然后进行相应的动作，完成文本的输入。

如图4所示，所述虚拟键盘。如图所示，本系统设计的虚拟键盘为圆盘状，主要分为4个象限，并且每个象限又分为4个小组，每个小组包括两个字母或者符号。用户只要分别采用不同的动作依次选中象限、小组和小组内的字母便可以选中要输入的那个字母。所述虚拟键盘依据英文单词中字母和符号使用频率的高低，从内到外进行排布。

如图5所示，所述用户界面。如图所示，本系统的用户界面主要由3大部分组成，分别是：虚拟键盘、输入显示框和虚拟按键。其中，虚拟键盘用于显示用户当前的输入字母的位置，并动态显示字母选择的过程；输入显示框用于显示用户已经输入的单词，给用户一个全局的输入观察；虚拟按键主要用于对用户动作确定的一个反馈，可以帮助用户了解自己输入动作的正确与否，本系统中虚拟按键包括：确定键(enter)、删除键(delete)、数字和字母切换键(123/abc)、空格键(space)、字母大小写切换键(A/a)和撤销键(undo)。

如图6所示，所述使用的动作类别。如图所示，本系统总共采用了8种动作。其中根据动作是否是根据肌电信号进行分类可以将8类动作分为两大类，分别是：肌电动作和非肌电动作。本系统采用的8类动作中，肌电动作只有3种，分别是：握拳、手掌内翻和手掌外翻。非肌电动作有5类，分别是：顺时针旋转手臂、逆时针旋转手臂、手臂外展、手臂向前摆动和手臂向后摆动。其中5类非肌电动作主要用于对字母的选中，3类肌电动作主要用于完成一些辅助的输入操作，如：确定、撤销、删除和大小写转换等等。

如图7所示，所述基于MYO文本输入系统的输入方法流程图。由该图可知，本系统主要分为第一次使用和非第一次使用两种使用场景。系统根据用户名对用户的数据和机器学习模型进行标注，以达到多人可以使用的目的。

本发明的工作流程为：

本发明在使用时，根据用户是否为第一次使用该系统，将使用场景分为两类。分别为：第一次使用和非第一次使用。针对第一次使用的场景，使用者首先佩戴好MYO腕带，打开本系统的软件，然后输入用户名和密码进行登录，此时系统会查询数据库发现使用者为第一次使用本系统，则自动切换到第一次使用的模式，用户在输入完账户和密码后，按照界面的提示完成对应动作肌电数据的采集后，系统自动的对数据进行账户绑定并打上对应动作的类别标签，然后送入机器学习模型中进行训练，等待一会后，系统进入动作测试界面，如果用户某个动作测试不通过，则需要重新采集该类动作的肌电数据，然后重复测试直至通过，当用户动作测试通过后，系统自动进入文本输入系统的主界面，然后通过对应的动作完成文本的输入；针对非第一次使用场景，使用者首先佩戴好MYO腕带，然后打开本系统的软件，输入用户名和密码，此时系统通过查询数据库得知该用户非第一次使用本系统，则自动切换到非第一次使用模式，直接进入系统的文本输入主界面，然后通过对应的动作完成文本的输入。

Claims (6)

1.基于MYO的文本输入系统，其特征在于包括：

腕带，用于采集肌电原始数据，并发送至终端；

终端，用于对肌电原始数据进行滤波和特征提取，通过机器学习模型得到类别信息，根据类别信息与动作的映射关系，显示所述动作，实现文本的输入；

所述终端，通过人机交互界面显示动作；所述人机交互界面包括圆形虚拟键盘、虚拟按键和输入显示框；

所述圆形虚拟键盘分为M个象限，每个象限由内向外分为N个小组，每个小组包括k个字符，字符包括字母和/或符号；

所述映射关系为：握拳对应于确定输入；握力超过阈值的握拳对应于字母大小写的切换；手掌内翻对应于数字和字母的切换；手掌外翻对应于撤销操作；手掌外翻持续时间超过设定秒对应于删除操作；手臂顺时针旋转对应于所述圆形虚拟键盘象限的顺时针增加；手臂逆时针旋转对应于所述圆形虚拟键盘象限的逆时针增加；手臂外展对应于所述圆形虚拟键盘小组由内向外增加；手臂向前摆动对应于小组内的第一个字母；手臂向后摆动对应于小组内的第二个字母。

2.根据权利要求1所述的基于MYO的文本输入系统，其特征在于，所述肌电原始数据包括肌电信号和姿态信息。

3.根据权利要求1所述的基于MYO的文本输入系统，其特征在于，所述腕带为包括肌电传感器和姿态传感器的可穿戴设备。

4.基于MYO的文本输入方法，基于MYO的文本输入系统实现，其特征在于，包括：腕带，用于采集肌电原始数据，并发送至终端；

终端，用于对肌电原始数据进行滤波和特征提取，通过机器学习模型得到类别信息，根据类别信息与动作的映射关系，显示所述动作，实现文本的输入；

所述终端，通过人机交互界面显示动作；所述人机交互界面包括圆形虚拟键盘、虚拟按键和输入显示框；

所述圆形虚拟键盘分为M个象限，每个象限由内向外分为N个小组，每个小组包括k个字符，字符包括字母和/或符号；

所述映射关系为：握拳对应于确定输入；握力超过阈值的握拳对应于字母大小写的切换；手掌内翻对应于数字和字母的切换；手掌外翻对应于撤销操作；手掌外翻持续时间超过设定秒对应于删除操作；手臂顺时针旋转对应于所述圆形虚拟键盘象限的顺时针增加；手臂逆时针旋转对应于所述圆形虚拟键盘象限的逆时针增加；手臂外展对应于所述圆形虚拟键盘小组由内向外增加；手臂向前摆动对应于小组内的第一个字母；手臂向后摆动对应于小组内的第二个字母；

基于MYO的文本输入方法，包括以下步骤：

对肌电原始数据进行滤波和特征提取，进行机器学习得到类别信息，根据类别信息与动作的映射关系，显示所述动作，实现文本的输入；

所述映射关系为：握拳对应于确定输入；握力超过阈值的握拳对应于字母大小写的切换；手掌内翻对应于数字和字母的切换；手掌外翻对应于撤销操作；手掌外翻持续时间超过设定秒对应于删除操作；手臂顺时针旋转对应于圆形虚拟键盘象限的顺时针增加；手臂逆时针旋转对应于圆形虚拟键盘象限的逆时针增加；手臂外展对应于圆形虚拟键盘小组由内向外增加；手臂向前摆动对应于小组内的第一个字母；手臂向后摆动对应于小组内的第二个字母。

5.根据权利要求4所述的基于MYO的文本输入方法，其特征在于，所述显示所述动作通过人机交互界面显示，包括以下步骤：

动作触发对圆形虚拟键盘中的对应操作，通过不同颜色分别对所选中的象限、小组和字母进行标注，并在输入框中显示输入的信息。

6.根据权利要求4所述的基于MYO的文本输入方法，其特征在于：圆形虚拟键盘采用指针操作，其中指针分为：象限指针、小组指针和字母指针，这三种指针相互独立，而且每种指针根据动作执行的次数依次累加，超过某个值后自动归零。

Images