CN109062401A - 一种基于肌电信号的实时手势识别系统 - Google Patents

一种基于肌电信号的实时手势识别系统 Download PDF

Info

Publication number
CN109062401A
CN109062401A CN201810758578.1A CN201810758578A CN109062401A CN 109062401 A CN109062401 A CN 109062401A CN 201810758578 A CN201810758578 A CN 201810758578A CN 109062401 A CN109062401 A CN 109062401A
Authority
CN
China
Prior art keywords
module
real
time
electromyography signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810758578.1A
Other languages
English (en)
Other versions
CN109062401B (zh
Inventor
林艳飞
臧博宇
张航
刘志文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810758578.1A priority Critical patent/CN109062401B/zh
Publication of CN109062401A publication Critical patent/CN109062401A/zh
Application granted granted Critical
Publication of CN109062401B publication Critical patent/CN109062401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开一种基于肌电信号的实时手势识别系统包括刺激模块、采集模块、数据截取模块、数据处理模块、分类模块和结果输出模块；刺激模块对使用者进行指定时长的手势引导并在指定时长的起始时刻发出标记信号，采集模块采集使用者作手势过程中的肌电信号以及标记信号；数据截取模块根据标记信号所在时刻以及指定时长对肌电信号进行截取；数据处理模块对截取后的肌电信号进行降噪处理和特征提取得到特征向量；分类模块利用训练数据进行训练，并对未知手势进行分类识别；结果输出模块对实时分类结果进行输出显示，本发明能够实现实时识别手势。

Description

一种基于肌电信号的实时手势识别系统
技术领域
本发明属于人机交互的技术领域，具体涉及一种基于肌电信号的实时手势识别系统。
背景技术
肢体语言是人类进行沟通、传递信息的重要方式之一，其中上肢尤其是手部的肢体动作有非常广泛的应用，健全人可通过竖大拇指表示赞赏，聋哑人可使用手语与人交流。而肌电信号是伴随着肌肉活动产生的一种电生理信号，其中包含了肌肉活动的信息，在人机交互领域具有广泛的应用前景。
表面肌电信号是通过在皮肤表面放置电极采集得到的肌电信号。与传统的侵入式针电极采集方法相比，表面肌电信号具有采集过程无创无痛的优点，极大地降低了环境卫生要求以及对采集人员专业知识技能的要求，也使其更适用于便携式设备。目前表面肌电信号的研究大多处于信号的离线分析阶段，与实际的实时分析处理需求仍有一定差距。
发明内容
有鉴于此，本发明提供了一种基于肌电信号的实时手势识别系统，能够实时识别手势。
实现本发明的技术方案如下：
一种基于肌电信号的实时手势识别系统，包括刺激模块、采集模块、数据截取模块、数据处理模块、分类模块和结果输出模块；
刺激模块对使用者进行指定时长的手势引导并在指定时长的起始时刻发出标记信号，在训练阶段，手势引导指定手势，在实时识别阶段，手势引导未指定手势；
采集模块采集使用者作手势过程中的肌电信号以及标记信号；
数据截取模块根据标记信号所在时刻以及指定时长对肌电信号进行截取；
数据处理模块对截取后的肌电信号进行降噪处理和特征提取得到特征向量；
分类模块利用训练阶段采集数据的特征向量对分类器进行训练，并利用训练得到的分类器对实时识别阶段采集数据的特征向量进行实时分类；
结果输出模块对实时分类结果进行输出显示。
进一步地，刺激模块、数据处理模块、分类模块和结果输出模块安装在终端机A，采集模块和数据截取模块安装在终端机B。
进一步地，终端机A和终端机B之间的数据传输基于TCP/IP协议完成。
进一步地，采集模块通过MP160多导生理记录仪采集肌电信号及标记信号。
进一步地，所述MP160多导生理记录仪采样频率为1000Hz，放大增益设置为2000，滤波器设置范围为10Hz-500Hz。
进一步地，所述降噪处理采用小波去噪的方法。
进一步地，所述特征提取采用小波变换和奇异值分解的方法得到各尺度小波系数的奇异值组成特征向量。
进一步地，所述分类器为支持向量机。
有益效果：
(1)本发明简单易行，分类速度快，准确率较高，可以实现表面肌电信号的实时处理，并实时反馈分类识别结果。
(2)本发明所采用的标记信号准确地确定了手势肌电信号的起始时刻，利于快速截取肌电信号的有效部分，降低了数据传输量。
(3)本发明采用两台终端机分别处理信号采集截取和信号处理分类，提高了计算速度，实现了实时识别手势的技术效果。
(4)本发明采用支持向量机来进行较少样本量的训练，减低计算量，便于实现实时处理。
附图说明
图1为本发明系统示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
如图1所示，本发明提供了一种基于肌电信号的实时手势识别系统，包括刺激模块、采集模块、数据截取模块、数据处理模块、分类模块和结果输出模块；
在终端机A上，刺激模块对使用者进行指定时长的手势引导并在指定时长的起始时刻发出标记信号发送给采集模块，在训练阶段，在终端机A的显示屏上，刺激模块提示使用者在某时间段内，做出某种指定手势，在实时识别阶段，刺激模块提示使用者在某时间段内，做出任意手势。
采集模块采集使用者作手势过程中的肌电信号以及标记信号；采集模块由MP160多导生理记录仪实现，MP160多导生理记录仪采样频率为1000Hz，放大增益设置为2000，滤波器设置范围为10Hz-500Hz，通过MP160多导生理记录仪同步采集肌电信号及标记信号，MP160多导生理记录仪的软件部分安装在终端机B上。
在终端机B上，数据截取模块根据标记信号所在时刻以及指定时长对肌电信号进行截取，并将截取后的肌电信号发送给终端机A。
在终端机A上，数据处理模块对截取后的肌电信号进行降噪处理和特征提取得到特征向量；所述降噪处理采用小波去噪的方法，具体步骤为：对信号进行三尺度小波分解,对分解得到的各尺度小波系数进行软阈值处理，使用处理后的小波系数进行信号重构。
所述特征提取采用小波变换和奇异值分解的方法得到各尺度小波系数的奇异值组成特征向量。具体步骤为：对信号进行五尺度小波分解，对分解得到的各尺度小波系数进行奇异值分解，采用奇异值组成特征向量；数据处理模块安装在终端机A上，
分类模块利用训练阶段采集数据的特征向量对分类器进行训练，训练阶段所采集的数据即作指定手势时使用者的肌电信号，利用训练得到的分类器对实时识别阶段采集数据的特征向量进行实时分类；所述分类器为支持向量机。
结果输出模块对实时分类结果在终端机A上进行输出显示。
终端机A和终端机B之间的数据传输基于TCP/IP协议完成。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于肌电信号的实时手势识别系统，其特征在于，包括刺激模块、采集模块、数据截取模块、数据处理模块、分类模块和结果输出模块；
刺激模块对使用者进行指定时长的手势引导并在指定时长的起始时刻发出标记信号，在训练阶段，手势引导指定手势，在实时识别阶段，手势引导未指定手势；
采集模块采集使用者作手势过程中的肌电信号以及标记信号；
数据截取模块根据标记信号所在时刻以及指定时长对肌电信号进行截取；
数据处理模块对截取后的肌电信号进行降噪处理和特征提取得到特征向量；
分类模块利用训练阶段采集数据的特征向量对分类器进行训练，并利用训练得到的分类器对实时识别阶段采集数据的特征向量进行实时分类；
结果输出模块对实时分类结果进行输出显示。
2.如权利要求1所述的一种基于肌电信号的实时手势识别系统，其特征在于，刺激模块、数据处理模块、分类模块和结果输出模块安装在终端机A，采集模块和数据截取模块安装在终端机B。
3.如权利要求2所述的一种基于肌电信号的实时手势识别系统，其特征在于，终端机A和终端机B之间的数据传输基于TCP/IP协议完成。
4.如权利要求1所述的一种基于肌电信号的实时手势识别系统，其特征在于，采集模块通过MP160多导生理记录仪采集肌电信号及标记信号。
5.如权利要求4所述的一种基于肌电信号的实时手势识别系统，其特征在于，所述MP160多导生理记录仪采样频率为1000Hz，放大增益设置为2000，滤波器设置范围为10Hz-500Hz。
6.如权利要求1所述的一种基于肌电信号的实时手势识别系统，其特征在于，所述降噪处理采用小波去噪的方法。
7.如权利要求1所述的一种基于肌电信号的实时手势识别系统，其特征在于，所述特征提取采用小波变换和奇异值分解的方法得到各尺度小波系数的奇异值组成特征向量。
8.如权利要求1所述的一种基于肌电信号的实时手势识别系统，其特征在于，所述分类器为支持向量机。
CN201810758578.1A 2018-07-11 2018-07-11 一种基于肌电信号的实时手势识别系统 Active CN109062401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810758578.1A CN109062401B (zh) 2018-07-11 2018-07-11 一种基于肌电信号的实时手势识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810758578.1A CN109062401B (zh) 2018-07-11 2018-07-11 一种基于肌电信号的实时手势识别系统

Publications (2)

Publication Number Publication Date
CN109062401A true CN109062401A (zh) 2018-12-21
CN109062401B CN109062401B (zh) 2020-12-15

Family

ID=64815990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810758578.1A Active CN109062401B (zh) 2018-07-11 2018-07-11 一种基于肌电信号的实时手势识别系统

Country Status (1)

Country Link
CN (1) CN109062401B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110236498A (zh) * 2019-05-30 2019-09-17 北京理工大学 一种多生理信号同步采集、数据共享与在线实时处理系统
CN110389663A (zh) * 2019-06-24 2019-10-29 广东工业大学 一种基于小波宽度学习系统的sEMG手势识别方法
CN111026268A (zh) * 2019-12-02 2020-04-17 清华大学 一种手势识别装置和方法
CN111046731A (zh) * 2019-11-11 2020-04-21 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的迁移学习方法和识别方法
CN115120429A (zh) * 2022-06-17 2022-09-30 广东工业大学 一种基于表面肌电信号的智能轮椅人体跟随控制系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930285A (zh) * 2009-11-23 2010-12-29 上海交通大学 基于表面肌电信号的手写识别方法
US20130034265A1 (en) * 2011-08-05 2013-02-07 Toshiaki Nakasu Apparatus and method for recognizing gesture, and non-transitory computer readable medium thereof
CN103607269A (zh) * 2013-12-02 2014-02-26 常州博睿康科技有限公司 一种脑电装置的精确无线事件同步方法
CN105139038A (zh) * 2015-09-14 2015-12-09 李玮琛 肌电信号模式识别方法
CN105326500A (zh) * 2014-08-13 2016-02-17 华为技术有限公司 基于表面肌电信号的动作识别方法和设备
CN105807640A (zh) * 2014-12-30 2016-07-27 深圳Tcl新技术有限公司 终端控制方法和系统
CN105943042A (zh) * 2016-06-07 2016-09-21 中国人民解放军国防科学技术大学 基于肌电信号的操作者手部行为感知系统
CN105997064A (zh) * 2016-05-17 2016-10-12 成都奥特为科技有限公司 一种用于人体下肢表面肌电信号的辨识方法
CN106725463A (zh) * 2017-01-18 2017-05-31 浙江大学 应用皮层脑电信号对大脑皮层手部功能区定位的方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930285A (zh) * 2009-11-23 2010-12-29 上海交通大学 基于表面肌电信号的手写识别方法
US20130034265A1 (en) * 2011-08-05 2013-02-07 Toshiaki Nakasu Apparatus and method for recognizing gesture, and non-transitory computer readable medium thereof
CN103607269A (zh) * 2013-12-02 2014-02-26 常州博睿康科技有限公司 一种脑电装置的精确无线事件同步方法
CN105326500A (zh) * 2014-08-13 2016-02-17 华为技术有限公司 基于表面肌电信号的动作识别方法和设备
CN105807640A (zh) * 2014-12-30 2016-07-27 深圳Tcl新技术有限公司 终端控制方法和系统
CN105139038A (zh) * 2015-09-14 2015-12-09 李玮琛 肌电信号模式识别方法
CN105997064A (zh) * 2016-05-17 2016-10-12 成都奥特为科技有限公司 一种用于人体下肢表面肌电信号的辨识方法
CN105943042A (zh) * 2016-06-07 2016-09-21 中国人民解放军国防科学技术大学 基于肌电信号的操作者手部行为感知系统
CN106725463A (zh) * 2017-01-18 2017-05-31 浙江大学 应用皮层脑电信号对大脑皮层手部功能区定位的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林艳飞: ""听觉认知相关的脑电处理及分析研究"", 《中国博士学位论文全文数据库 医药卫生科技辑》 *
郑成飞: ""基于表面肌电的人体上肢动作识别研究及应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110236498A (zh) * 2019-05-30 2019-09-17 北京理工大学 一种多生理信号同步采集、数据共享与在线实时处理系统
CN110389663A (zh) * 2019-06-24 2019-10-29 广东工业大学 一种基于小波宽度学习系统的sEMG手势识别方法
CN110389663B (zh) * 2019-06-24 2023-05-23 广东工业大学 一种基于小波宽度学习系统的sEMG手势识别方法
CN111046731A (zh) * 2019-11-11 2020-04-21 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的迁移学习方法和识别方法
CN111026268A (zh) * 2019-12-02 2020-04-17 清华大学 一种手势识别装置和方法
CN115120429A (zh) * 2022-06-17 2022-09-30 广东工业大学 一种基于表面肌电信号的智能轮椅人体跟随控制系统
CN115120429B (zh) * 2022-06-17 2023-03-10 广东工业大学 一种基于表面肌电信号的智能轮椅人体跟随控制系统

Also Published As

Publication number Publication date
CN109062401B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN109062401A (zh) 一种基于肌电信号的实时手势识别系统
CN102426651B (zh) 人体前臂表面肌电信号采集及模式识别系统
CN105054927B (zh) 一种下肢康复系统中主动参与度的生物量化评估方法
CN103699226B (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN105956624B (zh) 基于空时频优化特征稀疏表示的运动想象脑电分类方法
CN202288542U (zh) 假肢控制装置
CN106726030A (zh) 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN110367980A (zh) 基于多元经验模态分解的脑电信号情绪识别方法
WO2020118797A1 (zh) 假肢控制方法、装置、系统、设备和存储介质
CN106803081A (zh) 一种基于多分类器集成的脑电分类方法
CN102499797B (zh) 假肢控制方法及系统
CN103793058A (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
CN110059575A (zh) 一种基于表面肌电唇语识别的辅助沟通系统
CN110974212A (zh) 一种融合心电和肌电特征的康复训练运动状态监测方法及系统
CN105137830B (zh) 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
CN104997581B (zh) 基于面部表情驱动脑电信号的假手控制方法及装置
CN107212883B (zh) 一种基于脑电控制的机械臂写字装置及控制方法
CN105022488A (zh) 基于ssvep脑电电位的无线bci输入系统
CN108968952A (zh) 一种脑肌电及惯性信息同步采集装置
CN106725452A (zh) 基于情感诱发的脑电信号识别方法
CN108261197A (zh) 基于表面肌电与运动模块的上肢康复评价系统及方法
CN107822629A (zh) 四肢表面肌电轴的检测方法
CN103294192A (zh) 一种基于运动想象的led灯开关控制装置及其控制方法
CN104887198A (zh) 基于人体生理信号多参数融合的疼痛定量分析系统及方法
Ryait et al. Interpretations of wrist/grip operations from SEMG signals at different locations on arm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant