CN108958620A - 一种基于前臂表面肌电的虚拟键盘设计方法 - Google Patents

一种基于前臂表面肌电的虚拟键盘设计方法 Download PDF

Info

Publication number
CN108958620A
CN108958620A CN201810422321.9A CN201810422321A CN108958620A CN 108958620 A CN108958620 A CN 108958620A CN 201810422321 A CN201810422321 A CN 201810422321A CN 108958620 A CN108958620 A CN 108958620A
Authority
CN
China
Prior art keywords
electromyography signal
dummy keyboard
myoelectricity
key
forearm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810422321.9A
Other languages
English (en)
Inventor
徐瑞
明东
何川
张树丰
王瑶瑶
何峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810422321.9A priority Critical patent/CN108958620A/zh
Publication of CN108958620A publication Critical patent/CN108958620A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the screen or tablet into independently controllable areas, e.g. virtual keyboards, menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00496Recognising patterns in signals and combinations thereof
    • G06K9/00503Preprocessing, e.g. filtering
    • G06K9/0051Denoising
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00496Recognising patterns in signals and combinations thereof
    • G06K9/00536Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6256Obtaining sets of training patterns; Bootstrap methods, e.g. bagging, boosting

Abstract

本发明公开了一种基于前臂表面肌电的虚拟键盘设计方法,所述方法基于人体电生理信息,借助于表面肌电信号与实际动作之间的关系,建立手指按键动作下的肌电信号特征与不同按键之间的识别模型,包括以下步骤:建立包含不同按键动作下的多通道前臂肌电信号、及其按键信息的数据库;对数据库中的多通道肌电信号进行去噪和特征计算,以此提取肌电信号特征;利用肌电信号特征和按键信息训练分类模型,并验证分类模型判断的准确性,该分类模型连同肌电采集设备,实现了基于肌电分析的虚拟键盘的功能。本发明摆脱了实物键盘对传统信息传递的限制,可推广至其他信息传递控制领域,且信息指令集大,所需设备简单便携。

Description

一种基于前臂表面肌电的虚拟键盘设计方法
技术领域
[0001] 本发明涉及虚拟键盘设计领域,尤其涉及一种基于前臂表面肌电的虚拟键盘设计 方法。
背景技术
[0002] 所谓虚拟键盘,其主要特征是有类似机械键盘的字符输出功能,但无需依赖实物 键盘。概括地说,虚拟键盘技术主要分为两大类:基于指尖位置的虚拟键盘和基于脑-机接 口的虚拟键盘。
[0003] 基于指尖位置虚拟键盘的构建基础是图像处理,其主要利用机器视觉等人工智能 的方法,捕捉手指指尖相对于投影出的虚拟键盘的位置变化,从而确定按键的内容。由于这 种方法实现简单,灵敏度高,节省了机械键盘和触摸屏的空间,它受到了各大手机终端制造 厂商的关注。但由于该方法依赖于摄像头对指尖运动的捕捉,双手活动必须限制在特定的 区域,并且该方法对周围光线和遮挡的要求比较高。
[0004] 基于脑-机接口的虚拟键盘在脑科学研宄领域受到的关注很高。它主要是利用显 示屏在人面前构建了 一个键盘界面,通过界面中以不同频率闪烁的字符诱发的特异性的大 脑活动,确定受关注的字符。该方法的优势在于其不需要双手参与按键活动,尤其适合双手 无法运动的残疾人使用。但这种方法的辅助硬件设备相对复杂,在正常人中的推广意义有 限。
发明内容
[0005]本发明提供了一种基于前臂表面肌电的虚拟键盘设计方法,本发明通过对前臂表 面肌电信号的处理和分析,提取打字按键动作相关的特征信息,并对不同的按键动作进行 模式识别,最终实现虚拟键盘的设计,详见下文描述:
[0006] —种基于前臂表面肌电的虚拟键盘设计方法,所述方法基于人体电生理信息,借 助于表面肌电信号与实际动作之间的关系,建立手指按键动作下的肌电信号特征与不同按 键之间的识别模型,包括以下步骤:建立包含不同按键动作下的多通道前臂肌电信号、及其 按键信息的数据库;
[0007]对数据库中的多通道肌电信号进行去噪和特征计算,以此提取肌电信号特征; [0008]利用肌电信号特征和按键信息训练分类模型,并验证分类模型判断的准确性,该 分类模型连同肌电采集设备,实现了基于肌电分析的虚拟键盘的功能。
[0009]所述对数据库中的多通道肌电信号进行去噪和特征计算,以此提取肌电信号特征 具体为:
[0010]根据任务时间标签截取表面肌电信号,获取特定按键动作下的肌电数据,该肌电 数据经20HZ-500HZ带通滤波和50Hz及其倍频陷波,滤除噪声信号;
[0011 ]以均方根作为特征值为例,计算阵列中每一导肌电信号在1秒内的均方根,组成1 XN维的特征向量。
[0012]所述利用肌电信号特征和按键信息训练分类模型,并验证分类模型判断的准确性 具体为:
[0013]利用训练数据训练线性判别分析分类模型,再利用测试数据对线性判别分析分类 模型的效果进行评估,若分类模型的测试准确率高于80%,则分类模型训练成功;不然,重 新选取特征参数。
[0014]所述分类模型连同肌电采集设备,实现了基于肌电分析的虚拟键盘的功能具体 为:
[0015]对高密度肌电采集设备采集到的肌电信号进行实时处理,即可输出按键信息; [0016]不依赖于实际的机械键盘,仅通过对肌电信号的处理,得到人体按键的信息,即构 建了一套虚拟键盘。
[0017] 其中,所述方法还包括:
[0018]每次按键动作的起始状态均为手指微屈放松的准备状态,即每次按键结束均需回 到准备状态。
[0019] 本发明提供的技术方案的有益效果是:
[0020] 1、本发明基于人体电生理信息,借助于表面肌电信号与实际动作之间的密切关 系,建立手指按键动作下的肌电特征与不同按键(包括字母、标点和空格等)之间的稳定关 系,从而构建虚拟键盘;
[0021] 2、本发明摆脱了实物键盘对传统信息传递的限制,可推广至其他信息传递控制领 域,且信息指令集大,所需设备简单便携;
[0022] 3、本发明为自动控制、人机交互和信息传递等领域提供了新的交互策略。
附图说明
[0023]图1为一种基于前臂表面肌电的虚拟键盘设计方法的流程图;
[0024]图2为高密度肌电电极阵列;
[0025]图3为提不界面;
[0026] 图4为虚拟键盘按键位置的示意图;
[0027] 图5为手指按键动作示意图;
[0028] 图6为肌电信号、时间标签和按键示意图;
[0029] 图7为肌电信号截取示意图。
具体实施方式
[0030] 为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步 地详细描述。
[0031] 实施例1
[0032] 一种基于前臂表面肌电的虚拟键盘设计方法,参见图1,该设计方法包括以下步 骤:
[0033] 101:建立按键动作肌电数据库;
[0034] 其中,数据库中包含不同按键动作下的多通道前臂肌电信号及其按键信息。
[0035] 102:基于数据库中的多通道肌电信号进行特征提取;
[0036] 其中,特征提取的处理过程包括:去噪和特征计算。
[0037] 103:利用肌电特征和按键信息训练分类模型,并验证分类模型判断的准确性,该 分类模型连同肌电采集设备,实现了基于肌电分析的虚拟键盘的功能。
[0038]综上所述,本发明实施例基于人体电生理信息,借助于表面肌电信号与实际动作 之间的密切关系,建立了手指按键动作下的肌电特征与不同按键(包括字母、标点和空格 等)之间的稳定关系,从而构建了虚拟键盘。
[0039] 实施例2
[0040]下面结合图2-图7、具体实例对实施例1中的方案进行进一步地介绍,详见下文描 述:
[0041] 201:建立按键动作肌电数据库;
[0042] 招募被试,参见图2,在其双侧前臂粘贴高密度肌电电极阵列。
[0043]实验过程中,被试端坐在电脑显示器正前方,双手手心朝下,自然放松,放置在桌 上,根据电脑显示屏提示(由MATLAB Psychtoolbox工具包实现,显示界面如图3所示)完成 按键任务。按键内容涉及的字母和符号如图4所示。若提示为“Q”,则被试模拟使用机械键盘 敲击“Q”键的动作(如图5所示)。每次实验过程应遍历所有31个按键动作,按键内容随机排 序。每次实验时间62秒,重复50次。
[0044] 采集实验过程中前臂的表面肌电信号(由连接肌电电极阵列的肌电采集设备完 成,假设肌电通道数为1到N)。基于Psychtoolbox工具包,可通过MATLAB程序,实现界面提 示、向肌电采集设备输出不同按键任务的时间标签、以及随机输出按键提示内容的保存(如 图6所示)。
[0045] 202:提取肌电信号特征;
[0046]由于时间标签出现在按键提示开始的时刻,即时间标签出现1秒后,按键动作开 始,并在1秒内结束。根据任务时间标签截取表面肌电信号,获取特定按键动作下的肌电数 据(如图7方框中的肌电信号)。该数据经20Hz-500Hz带通滤波和50Hz及其倍频陷波,滤除噪 声信号;以均方根作为特征值为例,计算阵列中每一导肌电信号在1秒内的均方根,组成IX N维的特征向量。
[0047] 203:构建基于肌电分析的虚拟键盘;
[0048]基于前述提取出的特征矩阵以及对应的按键内容(包括:字母、标点和空格等),利 用线性判别分析建立分类识别模型。
[0049]由步骤201中的实验设置可知,每个按键动作重复5〇次,即每个按键对应50个特征 向量。在分类识别模型的构建过程中,选取1240个(每个按键对应的40个特征向量X 31个按 键)特征向量及其对应的按键内容作为训练数据,剩余的310个(每个按键对应的剩余1〇个 特征向量X 31个按键)特征向量及其对应的按键内容作为测试数据。
[0050]利用训练数据训练线性判别分析分类模型,再利用测试数据对线性判别分析分类 模型的效果进行评估。若分类模型的测试准确率高于80%,则分类模型训练成功;不然,重 新选取特征参数重复执行步骤203。
[0051]由此,利用2〇2中的信号处理和特征提取方法,以及203中训练好的分类模型,对高 密度肌电采集系统采集到的肌电信号进行实时处理,即可输出按键信息。这一过程不依赖 于实际的机械键盘,仅仅通过对肌电信号的处理,得到人体按键的信息,即构建了一套虚拟 键盘。 CG〇52]本方法中每次按键动作的起始状态均为手指微屈放松的准备状态,即每次按键结 束均需回到准备状态,这一规定,降低了按键动作识别的难度,但增加了每次按键所需的时 间,降低了按键速度。另外,本发明实施例仅提供了一种虚拟键盘的构建方法,并不涉及实 时系统的搭建。
[0053]本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制, 只要能完成上述功能的器件均可。
[0054]本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例 序号仅仅为了描述,不代表实施例的优劣。
[0055]以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和 原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于前臂表面肌电的虚拟键盘设计方法,其特征在于,所述方法基于人体电生 理信息,借助于表面肌电信号与实际动作之间的关系,建立手指按键动作下的肌电信号特 征与不同按键之间的识别模型,包括以下步骤: 建立包含不同按键动作下的多通道前臂肌电信号、及其按键信息的数据库; 对数据库中的多通道肌电信号进行去噪和特征计算,以此提取肌电信号特征; 利用肌电信号特征和按键信息训练分类模型,并验证分类模型判断的准确性,该分类 模型连同肌电采集设备,实现了基于肌电分析的虚拟键盘的功能。
2.根据权利要求1所述的一种基于前臂表面肌电的虚拟键盘设计方法,其特征在于,所 述对数据库中的多通道肌电信号进行去噪和特征计算,以此提取肌电信号特征具体为: 根据任务时间标签截取表面肌电信号,获取特定按键动作下的肌电数据,该肌电数据 经20Hz-500HZ带通滤波和50Hz及其倍频陷波,滤除噪声信号; 以均方根作为特征值为例,计算阵列中每一导肌电信号在1秒内的均方根,组成1 X N维 的特征向量。
3.根据权利要求1所述的一种基于前臂表面肌电的虚拟键盘设计方法,其特征在于,所 述利用肌电信号特征和按键信息训练分类模型,并验证分类模型判断的准确性具体为: 利用训练数据训练线性判别分析分类模型,再利用测试数据对线性判别分析分类模型 的效果进行评估,若分类模型的测试准确率高于80%,则分类模型训练成功;不然,重新选 取特征参数。
4.根据权利要求1所述的一种基于前臂表面肌电的虚拟键盘设计方法,其特征在于,所 述分类模型连同肌电采集设备,实现了基于肌电分析的虚拟键盘的功能具体为: 对高密度肌电采集设备采集到的肌电信号进行实时处理,即可输出按键信息; 不依赖于实际的机械键盘,仅通过对肌电信号的处理,得到人体按键的信息,即构建了 一套虚拟键盘。
5.根据权利要求1所述的一种基于前臂表面肌电的虚拟键盘设计方法,其特征在于,所 述方法还包括: 每次按键动作的起始状态均为手指微屈放松的准备状态,即每次按键结束均需回到准 备状态。
CN201810422321.9A 2018-05-04 2018-05-04 一种基于前臂表面肌电的虚拟键盘设计方法 Pending CN108958620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810422321.9A CN108958620A (zh) 2018-05-04 2018-05-04 一种基于前臂表面肌电的虚拟键盘设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810422321.9A CN108958620A (zh) 2018-05-04 2018-05-04 一种基于前臂表面肌电的虚拟键盘设计方法

Publications (1)

Publication Number Publication Date
CN108958620A true CN108958620A (zh) 2018-12-07

Family

ID=64498977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810422321.9A Pending CN108958620A (zh) 2018-05-04 2018-05-04 一种基于前臂表面肌电的虚拟键盘设计方法

Country Status (1)

Country Link
CN (1) CN108958620A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562842A (zh) * 2020-01-21 2020-08-21 北京航空航天大学 一种基于肌电信号的虚拟键盘设计方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930285A (zh) * 2009-11-23 2010-12-29 上海交通大学 基于表面肌电信号的手写识别方法
CN103750836A (zh) * 2014-01-14 2014-04-30 优尔美有限公司 一种可穿戴式肌电设备
CN104536558A (zh) * 2014-10-29 2015-04-22 三星电子(中国)研发中心 一种智能指环和控制智能设备的方法
CN105446461A (zh) * 2014-06-24 2016-03-30 北京创思博德科技有限公司 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法
CN106420124A (zh) * 2016-10-10 2017-02-22 上海电机学院 一种肌电控制虚拟机器人假手仿真系统的方法
CN107340863A (zh) * 2017-06-29 2017-11-10 华南理工大学 一种基于emg的交互方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930285A (zh) * 2009-11-23 2010-12-29 上海交通大学 基于表面肌电信号的手写识别方法
CN103750836A (zh) * 2014-01-14 2014-04-30 优尔美有限公司 一种可穿戴式肌电设备
CN105446461A (zh) * 2014-06-24 2016-03-30 北京创思博德科技有限公司 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法
CN104536558A (zh) * 2014-10-29 2015-04-22 三星电子(中国)研发中心 一种智能指环和控制智能设备的方法
CN106420124A (zh) * 2016-10-10 2017-02-22 上海电机学院 一种肌电控制虚拟机器人假手仿真系统的方法
CN107340863A (zh) * 2017-06-29 2017-11-10 华南理工大学 一种基于emg的交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭丹伟,权巍,张云琦,蒲鑫,刘旭,杨中雨: ""基于SEMG分析的交互意图感知方法"", 《科学技术与工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562842A (zh) * 2020-01-21 2020-08-21 北京航空航天大学 一种基于肌电信号的虚拟键盘设计方法

Similar Documents

Publication Publication Date Title
CN105511600B (zh) 一种基于混合现实的多媒体人机交互平台
CN101976115B (zh) 一种基于运动想象与p300脑电电位的功能键选择方法
CN106383579A (zh) 一种基于emg和fsr的精细手势识别系统及方法
CN103699216B (zh) 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN106909220A (zh) 一种适用于触控的视线交互方法
CN103488299A (zh) 一种融合人脸和手势的智能终端人机交互方法
CN103699226A (zh) 一种基于多信息融合的三模态串行脑-机接口方法
Chen et al. Eyebrow emotional expression recognition using surface EMG signals
CN103070682B (zh) 基于眼电信号的眼动方向提取方法及提取装置
CN109453509A (zh) 一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法
CN106774851A (zh) 基于脑机接口的触感手指运动康复系统及方法
CN107943282A (zh) 一种基于增强现实和可穿戴设备的人机交互系统及方法
Madushanka et al. Framework for Sinhala Sign Language recognition and translation using a wearable armband
CN108958620A (zh) 一种基于前臂表面肌电的虚拟键盘设计方法
CN104656884A (zh) 一种融合人脸和手势的智能终端人机交互方法
Yun et al. Sign Language Recognition System Using SEMG and Hidden Markov Models
CN104267818A (zh) 一种新型中文输入虚拟键盘系统
Vasanthan et al. Facial expression based computer cursor control system for assisting physically disabled person
Derr et al. Signer-independent classification of American sign language word signs using surface EMG
Tangnimitchok et al. A system for non-intrusive affective assessment in the circumplex model from pupil diameter and facial expression monitoring
Strumiłło et al. A vision-based head movement tracking system for human-computer interfacing
Chen et al. A novel hybrid model for drawing trace reconstruction from multichannel surface electromyographic activity
CN106681509A (zh) 界面操作的方法和系统
Yoda et al. Collection and classification of gestures from people with severe motor dysfunction for developing modular gesture interface
Teimourikia et al. Personalized Hand Pose and Gesture Recognition System for the Elderly

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination