CN113729738B - 一种多通道肌电特征图像的构建方法 - Google Patents

一种多通道肌电特征图像的构建方法 Download PDF

Info

Publication number
CN113729738B
CN113729738B CN202111069424.XA CN202111069424A CN113729738B CN 113729738 B CN113729738 B CN 113729738B CN 202111069424 A CN202111069424 A CN 202111069424A CN 113729738 B CN113729738 B CN 113729738B
Authority
CN
China
Prior art keywords
image
channel
semg
myoelectric
characteristic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111069424.XA
Other languages
English (en)
Other versions
CN113729738A (zh
Inventor
李公法
刘鑫
江都
陶波
蒋国璋
孔建益
孙瑛
童锡良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202111069424.XA priority Critical patent/CN113729738B/zh
Publication of CN113729738A publication Critical patent/CN113729738A/zh
Application granted granted Critical
Publication of CN113729738B publication Critical patent/CN113729738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • A61B5/397Analysis of electromyograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明是一种多通道肌电特征图像数据集的构建方法。首先,结合阈值比较法和巴特沃斯滤波器,完成原始肌电信号的预处理。随后,从常用的时域和频域特征中进行2次筛选,选择4种互不冗余的肌电特征进行特征提取。其次,基于一维信号与二维图像的映射关系生成肌电图像。最后,按照图像的拼接方式,完成多通道肌电特征图像的构建。肌电图像数据集通过深度学习网络的训练,可以有效提高手势识别率。多通道肌电特征图像具有更加丰富的特征信息,多种特征可以完成信息之间的互补,最后的识别率会比单通道肌电特征图像高出8%‑9%。

Description

一种多通道肌电特征图像的构建方法
技术领域
本发明涉及信号处理与人机交互领域,特别涉及一种基于肌电信号的双向递归肌电特征选择方法。
背景技术
随着科技的发展,人机交互的研究与应用受到越来越多的学者关注。其中,手势识别作为人机交互的一个主要分支,是人机交互领域的重要研究课题之一。人机交互中的手势对使用者来说具有便捷、交互性强、表达内容丰富等优点,一直是人机交互领域的首要选择。肌电信号是在人体肌肉活动过程中产生的一种生物电信号,是不同的运动单位动作电势在肌肉纤维和细胞组织中传导叠加的综合结果。肌电信号主要是通过提取肌电特征进行手势识别,但基于传统方法的肌电手势分类识别率一直处于停滞的状态。
鉴于此需要结合深度学习的方法进行肌电手势识别,将传统方法与深度学习结合,使用传统方法提取不同表征的肌电特征并生成肌电图像,通过深度学习理解特征图中包含的更抽象的信息,最后完成信息的融合,以期取得更佳的分类性能。
发明内容
本发明提供了一种多通道肌电特征图像的构建方法,可以从多种肌电特征中,通过肌电特征提取和一维信号到二维图像的映射数学关系,完成单通道肌电特征图像的转化,然后基于图像通道的拼接方法,完成多通道肌电特征图像的构建。
为解决上述技术问题,根据发明内容,采用如下技术方案为一种多通道肌电特征图像的构建方法,具体包括以下步骤:
步骤1:获取人体前臂表面肌电信号sEMG,完成活动段提取和滤波降噪预处理工作;
步骤2:选择合适的时域特征和频域特征;
步骤3:基于一维信号与二维图像的映射关系生成单通道肌电特征图像Image单通道
步骤4:对比初步筛选特征的图像,利用相似度分析,筛选出4种特征图像;
步骤5:结合图像通道拼接方法,完成多通道肌电特征图像Image多通道,其中筛选出的4种特征图像为其4个通道;
步骤6:重复步骤3–步骤5,完成信号向图片的转换,构建多通道肌电特征图像数据集。
进一步地,步骤1中利用阈值比较法提取活动段S(n):
其中,C为sEMG的采集通道,N为采样点的个数,sEMGc(n)为c通道的第n个采样点的值,为c通道肌肉放松时sEMG的平均值,TH为设定的阈值。
通过1HZ的一阶巴特沃斯滤波器进行低通滤波,其中,为振幅,/>为频率,ε为比例系数,n为滤波器的阶数,/>为截止频率,/>为通频带边缘频率。
进一步地,步骤3中所述单通道肌电特征图像Image单通道为:
Image单通道∈SW×H×1
W表示滑动窗口的宽,也是图像的宽,H表示原始肌电信号的通道数,也表示图像或滑动窗口高度。使用滑动窗口完成一维信号到[0,1]区间内的灰度图像映射,映射关系式为:
A[0,1]=F(A(i,j))
F(A(i,j))=(A(i,j)-Amin)/(Amax-Amin)
A为sEMG通过滑动窗口后所形成的sEMG矩阵,A[0,1]为转换后的肌电图像,F()为傅里叶函数,A(i,j)为sEMG矩阵中的第i行第j列的值,其中,0<i<H,0<j<W,Amax为sEMG矩阵中最大的值,Amin为sEMG矩阵中最小的值。
进一步地,步骤5中所述多通道肌电特征图像Image多通道为:
Image多通道∈SW×H×4
多通道肌电特征图像的每个通道由4种单通道肌电特征图像组成,每张单通道肌电特征图像尺寸为W×H,C为图像的通道数,也是特征数量,组合在一起构成的多通道肌电特征图像尺寸为W×H×C,C=4。
与现有技术相比,本发明的有益效果是:
本发明提出的一种多通道肌电特征图像的构建方法,基于信号与图像的映射关系和图像通道拼接原理,将一维肌电信号转换成二维肌电图像,有助于构建肌电特征图像数据集。肌电图像数据集通过深度学习网络的训练,可以有效提高手势识别率。多通道肌电特征图像具有更加丰富的特征信息,多种特征可以完成信息之间的互补,最后的识别率会比单通道肌电特征图像高出8%-9%。
附图说明
图1:为本发明方法的流程图;
图2:为采集肌电信号的手势图;
图3:为多通道肌电特征图像的构建原理图;
图4:为肌电信号采集设备。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的具体实施方式采用如下技术方案为一种多通道肌电特征图像的构建方法,具体包括以下步骤:
步骤1:通过如图4所示的肌电信号采集设备获取如图2所示动作的前臂表面肌电信号,这9个手势包括手掌闭合(SH)和手掌张开(SK),手腕运动包括手腕屈曲(NQ)和外屈曲(WQ),手指运动包括拇指对食指(MS)、中指(MZ)、无名指(MW)和小指(MX)的作用力,除此之外,测试手势动作还包括一个休息动作(RE)。完成肌电信号采集工作后,进行信号活动段提取和滤波降噪等预处理工作。活动段指动作执行过程中的肌肉收缩信号,活动段提取的目的是为了去除不包含肌肉收缩的非活动段;
步骤1中利用阈值比较法提取活动段S(n):
其中,C为sEMG的采集通道,N为采样点的个数,sEMGc(n)为c通道的第n个采样点的值,为c通道肌肉放松时sEMG的平均值,TH为设定的阈值。
通过1HZ的一阶巴特沃斯滤波器进行低通滤波,其中,为振幅,/>为频率,ε为比例系数,n为滤波器的阶数,/>为截止频率,/>为通频带边缘频率。
步骤2:选择4种肌电特征,分别为:均方根(RMS)、波形长度(WL)、样本熵(SampEn)以及中值幅谱(MAS);
步骤3:基于一维信号与二维图像的映射关系生成单通道肌电特征图像;
步骤3中所述单通道肌电特征图像Image单通道为:
Image单通道∈SW×H×1
W表示滑动窗口的宽,也是图像的宽,H表示原始肌电信号的通道数,也表示图像或滑动窗口高度。使用滑动窗口完成一维信号到[0,1]区间内的灰度图像映射,映射关系式为:
A[0,1]=F(A(i,j))
F(A(i,j))=(A(i,j)-Amin)/(Amax-Amin)
A为sEMG通过滑动窗口后所形成的sEMG矩阵,A[0,1]为转换后的肌电图像,F()为傅里叶函数,A(i,j)为sEMG矩阵中的第i行第j列的值,其中,0<i<H,0<j<W,Amax为sEMG矩阵中最大的值,Amin为sEMG矩阵中最小的值。
步骤4:对比初步筛选特征的图像,利用相似度分析,筛选出4种特征图像;
步骤5:结合图像通道拼接方法,完成多通道肌电特征图像,其中筛选出的4种特征图像为其4个通道。
步骤5中所述多通道肌电特征图像Image多通道为:
Image多通道∈SW×H×4
多通道肌电特征图像的每个通道由4种单通道肌电特征图像组成,每张单通道肌电特征图像尺寸为W×H,C为图像的通道数,也是特征数量,组合在一起构成的多通道肌电特征图像尺寸为W×H×C,C=4,其生成原理如图3所示。
本说明中未作详细描述的内容属于本领域专业技术人员公知的现有技术,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (1)

1.一种多通道肌电特征图像的构建方法,其特征在于,具体包括以下步骤:
步骤1:通过肌电信号采集设备获取动作的前臂表面肌电信号,动作为9个手势:手掌闭合(SH)和手掌张开(SK),手腕运动包括手腕屈曲(NQ)和外屈曲(WQ),手指运动包括拇指对食指(MS)、中指(MZ)、无名指(MW)和小指(MX)的作用力,休息动作(RE);完成肌电信号采集工作后,进行信号活动段提取和滤波降噪预处理工作;活动段指动作执行过程中的肌肉收缩信号,活动段提取的目的是为了去除不包含肌肉收缩的非活动段;
步骤1中利用阈值比较法提取活动段
其中,C为sEMG的采集通道,N为采样点的个数,为c通道的第n个采样点的值,为c通道肌肉放松时sEMG的平均值,TH为设定的阈值;
通过1HZ的一阶巴特沃斯滤波器进行低通滤波,其中,为振幅,/>为频率,/>为比例系数,/>为滤波器的阶数,/>为截止频率,/>为通频带边缘频率;
步骤2:选择4种肌电特征,分别为:均方根(RMS)、波形长度(WL)、样本熵(SampEn)以及中值幅谱(MAS);
步骤3:基于一维信号与二维图像的映射关系生成单通道肌电特征图像;
步骤3中所述单通道肌电特征图像为:
W表示滑动窗口的宽,也是图像的宽,H表示原始肌电信号的通道数,也表示图像或滑动窗口高度;使用滑动窗口完成一维信号到[0,1]区间内的灰度图像映射,映射关系式为:
A为sEMG通过滑动窗口后所形成的sEMG矩阵,为转换后的肌电图像,F()为傅里叶函数,/>为sEMG矩阵中的第i行第j列的值,其中,0<i<H,0<j<W,/>为sEMG矩阵中最大的值,/>为sEMG矩阵中最小的值;
步骤4:对比初步筛选特征的图像,利用相似度分析,筛选出4种特征图像;
步骤5:结合图像通道拼接方法,完成多通道肌电特征图像,其中筛选出的4种特征图像为其4个通道;
步骤5中所述多通道肌电特征图像为:
多通道肌电特征图像的每个通道由4种单通道肌电特征图像组成,每张单通道肌电特征图像尺寸为C为图像的通道数,也是特征数量,组合在一起构成的多通道肌电特征图像尺寸为/>,/>
CN202111069424.XA 2021-09-13 2021-09-13 一种多通道肌电特征图像的构建方法 Active CN113729738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111069424.XA CN113729738B (zh) 2021-09-13 2021-09-13 一种多通道肌电特征图像的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111069424.XA CN113729738B (zh) 2021-09-13 2021-09-13 一种多通道肌电特征图像的构建方法

Publications (2)

Publication Number Publication Date
CN113729738A CN113729738A (zh) 2021-12-03
CN113729738B true CN113729738B (zh) 2024-04-12

Family

ID=78738421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111069424.XA Active CN113729738B (zh) 2021-09-13 2021-09-13 一种多通道肌电特征图像的构建方法

Country Status (1)

Country Link
CN (1) CN113729738B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4369153A1 (en) 2021-12-09 2024-05-15 Samsung Electronics Co., Ltd. Gesture recognition method using wearable device, and device therefor
CN115034273B (zh) * 2021-12-27 2023-09-01 驻马店市中心医院 一种基于模式识别的肌电生物反馈设备及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008233438A (ja) * 2007-03-20 2008-10-02 National Institute Of Advanced Industrial & Technology 筋電位信号による音声認識装置
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN110141232A (zh) * 2019-06-11 2019-08-20 中国科学技术大学 用于鲁棒肌电信号识别的数据增强方法
CN113288183A (zh) * 2021-05-20 2021-08-24 中国科学技术大学 一种基于面颈部表面肌电的无声语音识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008233438A (ja) * 2007-03-20 2008-10-02 National Institute Of Advanced Industrial & Technology 筋電位信号による音声認識装置
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN110141232A (zh) * 2019-06-11 2019-08-20 中国科学技术大学 用于鲁棒肌电信号识别的数据增强方法
CN113288183A (zh) * 2021-05-20 2021-08-24 中国科学技术大学 一种基于面颈部表面肌电的无声语音识别方法

Also Published As

Publication number Publication date
CN113729738A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
CN113729738B (zh) 一种多通道肌电特征图像的构建方法
CN113288183B (zh) 一种基于面颈部表面肌电的无声语音识别方法
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
CN110610172B (zh) 一种基于rnn-cnn架构的肌电手势识别方法
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN112732090B (zh) 基于肌肉协同的用户无关实时手势识别方法
Powar et al. A novel pre-processing procedure for enhanced feature extraction and characterization of electromyogram signals
Fraiwan et al. Voiceless Arabic vowels recognition using facial EMG
CN114159079B (zh) 基于特征提取和gru深度学习模型的多类型肌肉疲劳检测方法
CN116340824A (zh) 基于卷积神经网络的肌电信号动作识别方法
Sun et al. A multi-scale feature extraction network based on channel-spatial attention for electromyographic signal classification
CN112036357B (zh) 一种基于表面肌电信号的上肢动作识别方法及系统
CN113988135A (zh) 一种基于双分支多流网络的肌电信号手势识别方法
CN110547806B (zh) 一种基于表面肌电信号的手势动作在线识别方法及系统
Goge et al. Investigating classification parameters for continuous myoelectrically controlled prostheses
CN114098768B (zh) 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法
CN111985270A (zh) 一种基于梯度提升树的sEMG信号最优通道选择方法
Fan et al. A canonical correlation analysis based EMG classification algorithm for eliminating electrode shift effect
CN114569143A (zh) 一种基于注意力机制与多特征融合的肌电手势识别方法
CN108564105A (zh) 一种针对肌电个体差异问题的在线手势识别方法
CN114343679A (zh) 基于迁移学习的表面肌电信号上肢动作识别方法及系统
Xu et al. Eeg signal classification and feature extraction methods based on deep learning: A review
Reaj et al. Emotion recognition using EEG-based brain computer interface
Khan et al. Motor Imagery Classification Using EEG Spectrograms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant