CN112036357B - 一种基于表面肌电信号的上肢动作识别方法及系统 - Google Patents
一种基于表面肌电信号的上肢动作识别方法及系统 Download PDFInfo
- Publication number
- CN112036357B CN112036357B CN202010943175.1A CN202010943175A CN112036357B CN 112036357 B CN112036357 B CN 112036357B CN 202010943175 A CN202010943175 A CN 202010943175A CN 112036357 B CN112036357 B CN 112036357B
- Authority
- CN
- China
- Prior art keywords
- signals
- signal
- features
- electromyographic
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000009471 action Effects 0.000 title claims abstract description 51
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 50
- 230000033001 locomotion Effects 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000009432 framing Methods 0.000 claims abstract description 23
- 210000003205 muscle Anatomy 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 32
- 239000002245 particle Substances 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 7
- 230000009467 reduction Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000037433 frameshift Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003183 myoelectrical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于表面肌电信号的上肢动作识别方法及系统，所述方法包括以下步骤：获取上肢多处肌肉的肌电信号；基于分帧能量法提取肌电信号中的活动段信号；根据最优特征融合方式对活动段信号进行特征提取和特征融合；根据融合后的特征，采用SVM分类器进行动作识别。本发明通过寻求最优特征组合方式，保证了能够快速准确地得到所需特征并进行融合，提高了动作识别的效率和准确性。
Description
技术领域
本发明属于动作识别技术领域，尤其涉及一种基于表面肌电信号的上肢动作识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
基于表面肌电信号的上肢动作识别技术，具有安全、实时、便捷的特点，被广泛应用于假肢控制、体感游戏控制、遥操作、运动医学、生物医学与康复工程等诸多领域。
据发明人了解，现有离线识别率较高的识别方法，往往识别动作种类较少(4-6个)，动作简单，参入关节数少(1-2个)，且往往没有经过在线动作识别的验证。识别动作种类数(11个)较多的识别方法较少，离线识别率大幅下降(只有80％左右)，动作复杂度和参入关节数并没有提高，往往需要相当多的通道数(12个)，且缺乏在线验证。
目前，中国科学院沈阳自动化研究所韩建达(中国专利CN104899594A)提出一种基于sEMG分解得到MUAPT的动作识别方法，通过单通道sEMG识别5个简单的单关节手部动作，识别率为83.1％。杭州电子科技大学罗志增(中国专利CN101732110A)提出一种脑电和肌电混沌特征融合的方法，通过四导联的脑电识别4个简单的单关节手部动作。
综上所述，目前的研究应用中，大都是利用表面肌电信号来进行单关节运动的简单动作识别，识别动作种类数较少，提高识别动作种类数往往需要增加信号采集通道数，增加了数据量和信号处理复杂度，同时会降低动作识别率。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于表面肌电信号的上肢动作识别方法及系统，通过寻求最优特征组合方式，保证了能够快速准确地得到所需特征并进行融合，提高了动作识别的效率和准确性。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于表面肌电信号的上肢动作识别方法，包括以下步骤：
获取上肢多处肌肉的肌电信号；
基于分帧能量法提取肌电信号中的活动段信号；
根据最优特征融合方式对活动段信号进行特征提取和特征融合；
根据融合后的特征，采用SVM分类器进行动作识别。
进一步地，获取上肢多处肌肉的肌电信号后，还基于复合小波变换对肌电信号进行去噪预处理：依次采用基于小波变换阈值去噪法和基于小波变换数字滤波阈值去噪法进行去噪。
进一步地，基于分帧能量法提取肌电信号中的活动段信号包括：
对肌电信号进行归一化；
对肌电信号进行分帧，并计算每帧内信号的总能量；
若某帧内的总能量大于设定阈值，且之后的设定个数的帧内总能量均大于该设定阈值，则将该帧作为一个活动段的起始帧；
提取自起始帧起设定时间的肌电信号得到一个活动段信号。
进一步地，最优特征融合方式和SVM分类器确定方法为：
获取多种上肢动作对应的多处肌肉的肌电信号，作为训练数据集；
基于分帧能量法提取肌电信号中的活动段信号；
对活动段信号进行特征提取，其中，所述特征包括时域特征、频域特征、时频域特征和非线性熵特征；
对提取的特征进行组合得到多种融合特征；
基于多种融合特征分别训练SVM分类器并进行分类测试，根据分类测试结果确定最优融合特征，相应的融合方式即为最优特征融合方式，相应的SVM分类器即为最优SVM分类器。
进一步地，特征提取采用滑动重叠窗口；
所述非线性熵特征包括模糊熵和分布熵，分别采用单窗口分析和多窗口分析进行特征提取，得到多维熵特征。
进一步地，进行特征提取后，还基于Fisher判别法对提取的特征进行可分性分析，得到各个特征的可分性值；根据可分性值对特征进行筛选，再对筛选后的特征进行组合得到多种融合特征。
进一步地，所述SVM分类器采用粒子群优化算法进行参数优化。
一个或多个实施例提供了一种基于表面肌电信号的上肢动作识别系统，包括：
信号获取模块，获取上肢多处肌肉的肌电信号；
信号预处理模块，基于分帧能量法提取肌电信号中的活动段信号；
特征提取模块，根据最优特征融合方式对活动段信号进行特征提取；
特征融合模块，对提取的特征进行融合；
动作识别模块，根据融合后的特征，采用SVM分类器进行动作识别。
一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于表面肌电信号的上肢动作识别方法。
一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于表面肌电信号的上肢动作识别方法。
以上一个或多个技术方案存在以下有益效果：
通过对肌电信号进行活动段提取，减少了数据冗余，提高了特征提取精度，并且，通过分帧能量法能够快速确定活动段的起始点；并且，通过给定最优特征融合方式，保证了快速获取准确的融合特征，有助于提高系统的实时性。
对传统小波去噪法做出了改进，通过复合小波去噪法，能够有效的去除高频噪声以及基线漂移。
本实施例不仅提取常用时域、频域及时频域特征，考虑到肌电信号的非线性，还对非线性熵特征进行提取，从而对肌电信号进行准备表达。
采用滑动重叠窗口进行特征提取，保证了特征提取的全面性；针对非线性特征算法复杂，计算量大，实际应用困难等问题，引入单窗口与多窗口分析法提取sEMG熵特征，对短数据进行非线性熵运算以缓解计算量大的问题。
由于提取的特征数量多，特征在融合时的排列组合方式也非常多，本发明对提取的各个特征进行基于Fisher判别分析，计算各个特征的可分性，根据可分性进行特征筛选，以及根据可分性值从高到低进行融合，从而能够快速寻找最优融合特征，减少系统的延时时间，提高了系统的实时性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例中一种基于表面肌电信号的上肢动作识别方法流程图；
图2为本发明实施例中肌电信号降噪示意图；
图3为本发明实施例中针对肘屈曲动作肌电信号提取的有效活动段示意图；
图4为本发明实施例中14个动作对应的小波包系数能量特征分布图；
图5(a)和图5(b)分别为本发明实施例中单窗口分析和多窗口分析示意图；
图6为本发明实施例中基于Fisher判别得到的各特征可分性值示意图；
图7为本发明实施例中PSO-SVM向量机模型优化和训练流程图；
图8为本发明实施例中离线分类测试结果示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了一种基于表面肌电信号多关节连续运动的上肢动作识别方法，可以利用8通道的sEMG信号，准确识别肩水平内收/外展、肘屈屈肩/伸肩、肘内收/外展、肘屈曲/伸展、腕内收/腕外展、腕屈曲/伸展、握拳/展拳等14种上肢动作。所述方法包括离线分类模型训练阶段和在线动作识别阶段，如图1所示。
(一)离线分类模型训练阶段
步骤1：获取多种上肢动作对应的多处肌肉肌电信号，作为训练数据集。
本实施例中，采集8位受试者做14种上肢动作时8块肌肉的肌电sEMG信号：三角肌、胸大肌、肱二头肌、桡侧腕屈肌、肱三头肌、桡侧腕伸肌、尺侧腕伸肌，尺侧腕屈肌。
步骤2：对肌电信号进行预处理；
肌电信号sEMG预处理包括去噪以及有效信号段提取两大部分。sEMG用于动作模式识别时，越纯净的肌电信号，其最终可达到的识别率越高。因此，对sEMG去噪处理的研究是得到较高动作识别率至关重要的一步。去噪后的sEMG一般都比较纯净，但其中可能还包含着静息状态和动作状态两部分。静息状态部分的信号是动作识别中的无用信息，这会增加数据的处理量，从而降低数据处理速度，因此sEMG的有效活动段提取过程会进一步提高动作分类结果以及信号处理时间。
所述步骤2具体包括：
本实施例采用结合基于小波变换阈值去噪法(Wavelet Transform ThresholdDenoising,WTD)和基于小波变换数字滤波阈值去噪法(Wavelet Transform DigitalFiltering Threshold Denoising,WDFTD)的复合小波去噪方法。
步骤2.1：采用复合小波去噪方法对采集到的sEMG信号进行降噪，并设计P指标评估去噪效果；具体包括：
步骤2.1.1：利用小波变换阈值去噪法去除sEMG高频噪声；
步骤2.1.2：采用WDFTD去噪，得到去除基线漂移的sEMG信号。
为了得到理想的降噪效果，本实施例根据降噪指标来选择复合小波变换中所采用的最佳小波函数、分解层数和估计阈值等。具体地，将P指标作为小波函数、分解层数和阈值函数选择的依据，综合考虑均方根误差(RMSE)、平滑度(r)与信噪比(SNR)，计算方式如下：
其中
σ和μ分别代表标准差和均值，V代表变异系数，W代表基于变异系数的权重。
降噪效果如图2所示。
去噪后的sEMG中，不仅包含对于研究有意义的动作活动段信号，还包括活动段起始前及结束后的于研究无意义的静息状态信号。为了减少处理的数据量同时增加动作分类识别效率，本实施例还提取sEMG有效信号段。
通过对传统小波去噪法做出了改进，通过复合小波去噪法，能够有效的去除高频噪声以及基线漂移，并通过P评价指标，极大的提高了信号的平滑度以及对信号特征提取的实用性。
步骤2.2：对降噪后的sEMG信号进行归一化处理并且进行基于分帧能量法的活动段提取；
本实施例所提取的有效sEMG信号段为：动作活动段的起始点至此后3s内的信号，即所有用于后续研究的sEMG长度均为3s信号。提取sEMG有效信号段的关键是检测到每次动作活动段的起始点，即信号的起始点检测。参考常用于语音信号处理的分帧法，本实施例采用基于信号分帧能量检测法。在进行起始点检测处理之前，将去噪处理后的数据进行简单归一化。
基于分帧能量的有效信号段提取的具体步骤如下：
A.选择合适的帧长与帧移，对信号进行分帧：
(FN-1)×FI+FL＝L (3)
其中，FN为信号的总帧数；FI为帧移，即帧的移动步长；FL为帧长，即每帧的信号长度；L为信号的总长度；
B.计算每帧内信号总能量Q：
xin为第i通道的第n采样点的幅值。
C.寻找合适的阈值TH，根据阈值判断信号活动段起始点；若某帧内Q大于TH，且之后的三个帧内Q仍大于TH，则该帧为信号动作段的起始帧。
D.提取信号活动段起始点后的3s数据：
其中，SN为所检测到的起始点采样点，FS为起始点帧数，FS为采样频率，EN为起始点后3s的采样点。则提取后的有效信号为{xin}，i为通道数，n为采样点。
采取分帧的方法，可加快检测起始点的速度，针对肘屈曲动作肌电信号进行有效活动段提取如图3。
步骤3：对于提取的活动段信号，采用特征分析窗口，进行特征提取；
本实施例采用滑动重叠窗口进行特征提取，窗口长度为WL，窗口滑动步长为WS。具体地，以256ms的时间窗，32ms的滑动窗来提取相应特征。
经过预处理后的sEMG数据量仍然很大，存在严重的数据冗余现象。本实施例不仅提取常用时域、频域及时频域特征，考虑到sEMG信号的非线性，还对非线性熵特征进行提取。针对非线性特征算法复杂，计算量大，实际应用困难等问题，引入单窗口与多窗口分析法提取sEMG熵特征，对短数据进行非线性熵运算以缓解计算量大的问题。
本实施例选取的时域特征包括：绝对均值(MAV)、均方根值(RMS)、方差(VAR)、过零点数(ZC)、willision幅值(WAMP)。
本实施例选取的频域特征包括：功率谱最大值(MPS)、中值频率(MF)以及平均功率频率(MPF)。由于肌电信号本身具有稳定性差以及时变性的特点，其时域特征随不同动作力度的变化较大，难以维持稳定性，降低了提取的准确性。若将时域信号转换成频域信号，当同一人做相同动作时的频域信号大致相同，增加了信号的稳定性。
本实施例选取的时频域特征包括：小波包系数最大值(MWPC)、小波包系数能量(EWPC)。时域方面主要表现为时变性，而频域方面主要表现为波动性。频域特征只提供频域特性，几乎不会提供其时域方面的任何特性，而时域特征只提供时域特性，几乎没有任何频域方面的信息。基于时间和频率空间的时频域特征可以更加全面地描述时频域特性。14个动作的小波包系数能量(EWPC)特征的分布如图4所示。
肌电信号中的有些特征是时域、频域和时频域特征所不能表征的。信息熵是信息论中比较重要的概念，能够描述系统的不确定性程度以及反映信号随机变化程度。熵特征可以描述sEMG的混沌特征，表征sEMG内部复杂特征，本实施例选取的熵特征包括：模糊熵(FuzzyEn)、分布熵(DistEn)。
模糊熵(FuzzyEn)计算方式如下：
其中，m为相空间维数，r为相似容限度，N为时间序列的特征维数，
为隶属度函数相似向量之间的相似平均概率。
分布熵(DistEn)计算方式如下：
其中，m为相空间维数，r为相似容限度，N为时间序列的特征维数，M为距离矩阵经验概率密度函数的固定直方图个数，pt为每个直方图的概率。
提取sEMG熵特征时利用两种分析窗口协议：单窗口分析和多窗口分析。其中，单窗口分析：顾名思义每个分析信号是由一个窗口组成。本文采集sEMG的信号为3s，窗口长度可为1～3s，每一个窗口都是从信号的初始端开始，可将sEMG的3s信号分为3个独立分析信号：1个1s、1个2s或1个3s的信号，如图5(a)。多窗口分析：每个分析信号是由多个窗口组成。每一个多窗口分析的起始都是从信号的初始端开始，采用多窗口分析法可将sEMG的3s信号分为3种多窗口分析段：2个1s、3个1s或2个2s信号段，如图5(b)。
基于上述窗口分析法，对于模糊熵特征，有单窗口模糊熵
l为窗口长度，1≤l≤3，代表窗口长度为l的模糊熵；多窗口模糊熵
代表k个窗口长度为l的模糊熵平均值。综上，提取模糊熵特征：
同样结合单窗口多窗口分析法，提取的分布熵特征为：
至此，得到了多维特征数据。分类器训练模型的结构与特征维数息息相关，若维数过高，其结构复杂，不仅会增加训练时间还会降低识别率。因此，将特征输入分类器之前，需在不同特征中根据其可分性进行筛选，选出具有较高可分性的特征进行融合。
步骤4：对提取的多种特征进行基于Fisher多分类判别分析的特征可分性比较并进行特征融合；
所述步骤4具体包括：
步骤4.1：对于每类特征数据，基于Fisher多分类判别分析计算可分性值。
所述基于Fisher多分类判别分析方法如下：
样本数据X＝{(x1,y1),(x2,y2),…,(xN,yN)},任意样本xi为d维向量，yi∈{C1,C2,…,Ck}，在N个样本中，定义Nj(j＝1,2,…,k)为第Cj类样本的个数，记为样本Xj，将其投影到d′维空间为：
Yi＝WTxi (10)
其中，Yi为d′维向量，W为d×d′的矩阵。此时，定义全局散度矩阵为：
其中，
为所有样本均值。此时，类内离散度矩阵为：
由于样本种类多，因此以每类样本中心点距所有样本中心点的距离为度量，考虑到每类样本的数量可能不同(数据分布不均衡)，以样本数量作为该类权重，则类间离散度矩阵为：
将其映射到d′维空间后，由于此时的投影矩阵W为d×d′的矩阵，最大化目标函数为：
由“广义瑞利商”性质知上式最大值为矩阵SW -1Sb的d′个最大特征值的乘积。并将其值作为特征可分性指标。
上述信号特征在基于Fisher多分类判别分析后，得到的可分性值如图6。
步骤4.2：将可分性值高于平均值的特征进行组合，得到多种融合特征。
本实施例中，对8位受试者14种动作所有训练组数据中的每个特征做归一化处理，然后运用Fisher判别分析法依次进行可分性计算并取均值，特征可分性的均值为0.278，然后筛选可分性值高于平均值的10个特征(按其可分性由大到小依次为RMS、MAV、EC1、MPS、
WAMP、
ZC、
)如图6，按其可分性值的大小进行依次融合。具体地，由于RMS及MAV在14种动作中可分性相对较高，因此将(RMS，MAV)作为初始特征融合向量，并将其余8个特征按照可分性大小由大到小依次增加特征向量个数，得到9个候选融合特征。
步骤5：将融合后的特征输入到优化的SVM分类器进行分类，得到最优分类器以及最优融合特征。
由于本文特征维数高，分类的种类多，无法保证样本特征映射到高维特征空间之后是完全线性可分的，因此本实施例选择软间隔SVM分类器，软间隔SVM模型的优劣取决于C和g两个参数值。本实施例选择粒子群优化算法对SVM分类器的参数C和g进行优化以期得到更高的分类精度和更小的模型复杂度，该分类器记为PSO-SVM分类器。
所述PSO-SVM分类器主要包括两部分：参数寻优以及确定PSO-SVM分类器模型，如图7。
A.参数寻优
引入PSO对SVM的C和g两个参数进行优化，具体步骤如下：
a.初始化粒子种群：粒子群维数为2，寻找最优的C和g，初始化粒子群的位置及速度为：
式中，
代表第0代粒子群的第i个粒子的第j维的位置。
b.选取适应度函数：为了在一定程度上减小过拟合现象，引入5折交叉验证求该参数下动作的识别率CV，为找到一组参数可使SVM的分类效果最好，即识别率最高，将动作的错误率err＝1-CV作为参数的适应度。
c.根据适应度算法计算粒子的适应度值。
d.确定粒子个体最优位置与全局最优位置：根据粒子适应度值依次寻找每个粒子的最优位置及所有粒子全局最优位置。
e.参数位置与速度更新：通过所确定的粒子个体最优位置与全局最优位置来更新参数。
其中，
为第i个粒子的自适用权重系数；fi为第i个粒子当前适应度；
B.确定PSO-SVM分类器模型：
得到SVM分类器C和g的最优参数组合后，随即可利用寻优之后得到的参数来训练SVM分类器模型。
所述对于融合后的多特征输入到SVM分类器进行分类测试，测试结果如图8，得到了最优融合特征
不仅识别率高，而且处理速度快，实现了上肢动作的高识别率识别。
(二)在线动作识别阶段
步骤6：获取待识别动作相应的肌电信号；
所述肌电信号包括与训练阶段相同的8块肌肉的肌电信号。
步骤7：采用与步骤2相同的方法进行预处理，得到肌电信号中的活动段信号；
步骤8：根据步骤4-5得到的最优融合特征的融合方式，采用步骤3提及的特征提取方法，对活动段信号进行特征提取以及特征融合；
步骤9：基于融合特征，采用步骤5得到的SVM分类器进行动作识别。
本实施例针对14种动作对分类结果进行了离线测试，通过对sEMG信号进行预处理、获取活动段信号、提取经过大量实验数据找到的最优融合特征，再经过PSO-SVM分类器识别，实现了上肢动作的高识别率识别，离线测试分类结果见图8和表1。
表1测试分类结果
其中jspwz，jspns，zqqj，zqsj，zns，zwz，zqq，zsz，wns，wwz，wqq，wsz，wq，zq分别表示肩水平外展、肩水平内收、肘屈屈肩、肘屈伸肩、肘内收、肘外展、肘屈曲、肘伸展、腕内收、腕外展、腕屈曲、腕伸展、握拳、展拳等14种上肢动作，可以看到，应用最优特征融合的表面肌电信号动作识别方法的平均识别率高达93.66％。
本实施例中用数量适中的8个通道传感器采集8路的sEMG信号，以93.66％的高识别率成功识别了14种日常生活中常常用到的多关节上肢连续动作，大大提高了系统的实用性。
上述动作识别方法能够应用于上肢康复训练平台。可通过识别患者健肢动作来带动患肢做康复运动，具体地，通过对健侧sEMG信号进行预处理、获取活动段信号、提取经过大量实验数据找到的最优融合特征，再经过PSO-SVM分类器识别，最后将结果通过TCP/IP协议传输到上肢康复平台，康复平台带动患肢进行相应动作，实现了患肢的训练，有效提高身体半边失能以及半残人的康复效果。
实施例二
本实施例的目的是提供一种基于表面肌电信号的上肢动作识别系统。
一种基于表面肌电信号的上肢动作识别系统，包括：
信号获取模块，获取上肢多处肌肉的肌电信号；
信号预处理模块，对肌电信号进行去噪预处理，以及基于分帧能量法提取肌电信号中的活动段信号；
特征提取模块，根据最优特征融合方式对活动段信号进行特征提取；
特征融合模块，对提取的特征进行融合；
动作识别模块，根据融合后的特征，采用SVM分类器进行动作识别。
实施例三
本实施例的目的是提供一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤，包括：
获取上肢多处肌肉的肌电信号；
基于分帧能量法提取肌电信号中的活动段信号；
根据最优特征融合方式对活动段信号进行特征提取和特征融合；
根据融合后的特征，采用SVM分类器进行动作识别。
实施例四
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：
获取上肢多处肌肉的肌电信号；
基于分帧能量法提取肌电信号中的活动段信号；
根据最优特征融合方式对活动段信号进行特征提取和特征融合；
根据融合后的特征，采用SVM分类器进行动作识别。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (6)
1.一种基于表面肌电信号的上肢动作识别方法，其特征在于，包括以下步骤：
获取上肢多处肌肉的肌电信号；
基于分帧能量法提取肌电信号中的活动段信号；
基于分帧能量法提取肌电信号中的活动段信号包括：
对肌电信号进行归一化；
对肌电信号进行分帧，并计算每帧内信号的总能量；
若某帧内的总能量大于设定阈值，且之后的设定个数的帧内总能量均大于该设定阈值，则将该帧作为一个活动段的起始帧；
提取自起始帧起设定时间的肌电信号得到一个活动段信号；
采用基于小波变换阈值去噪法和基于小波变换数字滤波阈值去噪法的复合小波去噪法进行去噪，通过设计的p指标，极大提高了信号的信噪比；
根据最优特征融合方式对活动段信号进行特征提取和特征融合；
特征提取采用滑动重叠窗口；
对活动段信号进行特征提取，其中，所述特征包括时域特征、频域特征、时频域特征和非线性熵特征；
所述非线性熵特征包括模糊熵和分布熵，分别采用单窗口分析和多窗口分析进行特征提取，得到多维熵特征；
进行特征提取后，还基于Fisher判别法对提取的特征进行可分性分析，得到各个特征的可分性值；根据可分性值对特征进行筛选，再对筛选后的特征进行组合得到多种融合特征；
根据融合后的特征，采用SVM分类器进行动作识别。
2.如权利要求1所述的一种基于表面肌电信号的上肢动作识别方法，其特征在于，最优特征融合方式和SVM分类器确定方法为：
获取多种上肢动作对应的多处肌肉的肌电信号，作为训练数据集；
基于分帧能量法提取肌电信号中的活动段信号；
对活动段信号进行特征提取，其中，所述特征包括时域特征、频域特征、时频域特征和非线性熵特征；
对提取的特征进行组合得到多种融合特征；
基于多种融合特征分别训练SVM分类器并进行分类测试，根据分类测试结果确定最优融合特征，相应的融合方式即为最优特征融合方式，相应的SVM分类器即为最优SVM分类器。
3.如权利要求1所述的一种基于表面肌电信号的上肢动作识别方法，其特征在于，所述SVM分类器采用粒子群优化算法进行参数优化。
4.一种基于表面肌电信号的上肢动作识别系统，其特征在于，包括：
信号获取模块，获取上肢多处肌肉的肌电信号；
信号预处理模块，基于分帧能量法提取肌电信号中的活动段信号；
基于分帧能量法提取肌电信号中的活动段信号包括：
对肌电信号进行归一化；
对肌电信号进行分帧，并计算每帧内信号的总能量；
若某帧内的总能量大于设定阈值，且之后的设定个数的帧内总能量均大于该设定阈值，则将该帧作为一个活动段的起始帧；
提取自起始帧起设定时间的肌电信号得到一个活动段信号；
采用基于小波变换阈值去噪法和基于小波变换数字滤波阈值去噪法的复合小波去噪法进行去噪，通过设计的p指标，极大提高了信号的信噪比；
特征提取模块，根据最优特征融合方式对活动段信号进行特征提取；
特征提取采用滑动重叠窗口；
对活动段信号进行特征提取，其中，所述特征包括时域特征、频域特征、时频域特征和非线性熵特征；
所述非线性熵特征包括模糊熵和分布熵，分别采用单窗口分析和多窗口分析进行特征提取，得到多维熵特征；
进行特征提取后，还基于Fisher判别法对提取的特征进行可分性分析，得到各个特征的可分性值；根据可分性值对特征进行筛选，再对筛选后的特征进行组合得到多种融合特征；
特征融合模块，对提取的特征进行融合；
动作识别模块，根据融合后的特征，采用SVM分类器进行动作识别。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3任一项所述基于表面肌电信号的上肢动作识别方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3任一项所述基于表面肌电信号的上肢动作识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010943175.1A CN112036357B (zh) | 2020-09-09 | 2020-09-09 | 一种基于表面肌电信号的上肢动作识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010943175.1A CN112036357B (zh) | 2020-09-09 | 2020-09-09 | 一种基于表面肌电信号的上肢动作识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112036357A CN112036357A (zh) | 2020-12-04 |
| CN112036357B true CN112036357B (zh) | 2023-05-12 |
Family
ID=73584537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010943175.1A Active CN112036357B (zh) | 2020-09-09 | 2020-09-09 | 一种基于表面肌电信号的上肢动作识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036357B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113598759B (zh) * | 2021-09-13 | 2023-09-22 | 曲阜师范大学 | 一种基于肌电特征优化的下肢动作识别方法及系统 |
| CN116725556A (zh) * | 2023-07-12 | 2023-09-12 | 中国科学院苏州生物医学工程技术研究所 | 一种基于表面肌电信号的运动意图识别方法及装置 |
| CN118402801B (zh) * | 2024-07-02 | 2024-10-01 | 南昌大学第一附属医院 | 一种膈肌肌电信号的处理方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722643A (zh) * | 2012-05-28 | 2012-10-10 | 天津大学 | 用于下肢肌电假肢控制的多信息融合运动模式识别方法 |
| CN106803095A (zh) * | 2016-12-22 | 2017-06-06 | 辽宁师范大学 | 基于组合特征提取的脑电情感识别方法 |
| CN109567799A (zh) * | 2018-12-26 | 2019-04-05 | 杭州电子科技大学 | 基于平滑小波相干性的肌电信号特征提取方法 |
| CN110413107A (zh) * | 2019-06-21 | 2019-11-05 | 浙江科技学院 | 基于肌电信号模式识别和粒子群优化的仿生机械手交互控制方法 |
| CN110464517A (zh) * | 2019-08-16 | 2019-11-19 | 杭州电子科技大学 | 基于小波加权排列熵的肌电信号识别方法 |
| CN110826625A (zh) * | 2019-11-06 | 2020-02-21 | 南昌大学 | 一种基于表面肌电信号的手指手势分类方法 |
-
2020
- 2020-09-09 CN CN202010943175.1A patent/CN112036357B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722643A (zh) * | 2012-05-28 | 2012-10-10 | 天津大学 | 用于下肢肌电假肢控制的多信息融合运动模式识别方法 |
| CN106803095A (zh) * | 2016-12-22 | 2017-06-06 | 辽宁师范大学 | 基于组合特征提取的脑电情感识别方法 |
| CN109567799A (zh) * | 2018-12-26 | 2019-04-05 | 杭州电子科技大学 | 基于平滑小波相干性的肌电信号特征提取方法 |
| CN110413107A (zh) * | 2019-06-21 | 2019-11-05 | 浙江科技学院 | 基于肌电信号模式识别和粒子群优化的仿生机械手交互控制方法 |
| CN110464517A (zh) * | 2019-08-16 | 2019-11-19 | 杭州电子科技大学 | 基于小波加权排列熵的肌电信号识别方法 |
| CN110826625A (zh) * | 2019-11-06 | 2020-02-21 | 南昌大学 | 一种基于表面肌电信号的手指手势分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Research on Improved Wavelet Denoising Method for sEMG Signal";Cong Li et al;《IEEE》;20191231;第5221-5225页 * |
| "八通道体表肌电探测图仪研究";郭旻;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》;20200615;第C030-93页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112036357A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Dynamic gesture recognition based on LSTM-CNN | |
| CN112036357B (zh) | 一种基于表面肌电信号的上肢动作识别方法及系统 | |
| Shen et al. | Movements classification of multi-channel sEMG based on CNN and stacking ensemble learning | |
| He et al. | Hand gesture recognition using MYO armband | |
| Li et al. | Boosting-based EMG patterns classification scheme for robustness enhancement | |
| Huang et al. | Surface EMG decoding for hand gestures based on spectrogram and CNN-LSTM | |
| CN110826625B (zh) | 一种基于表面肌电信号的手指手势分类方法 | |
| Zhang et al. | Human identification driven by deep CNN and transfer learning based on multiview feature representations of ECG | |
| CN113111831A (zh) | 一种基于多模态信息融合的手势识别技术 | |
| Qureshi et al. | E2cnn: An efficient concatenated cnn for classification of surface emg extracted from upper limb | |
| Tuncer et al. | Classification of EMG signals taken from arm with hybrid CNN‐SVM architecture | |
| Zhou et al. | sEMG-based hand motion recognition by means of multi-class adaboost algorithm | |
| Lin et al. | A normalisation approach improves the performance of inter-subject sEMG-based hand gesture recognition with a ConvNet | |
| Hussein et al. | Robust human activity recognition using generative adversarial imputation networks | |
| Ison et al. | Beyond user-specificity for emg decoding using multiresolution muscle synergy analysis | |
| Jahani Fariman et al. | Hand movements classification for myoelectric control system using adaptive resonance theory | |
| CN110547806B (zh) | 一种基于表面肌电信号的手势动作在线识别方法及系统 | |
| CN117150292A (zh) | 一种基于增量学习对手势识别模型训练的方法 | |
| Wang et al. | EMG-based hand gesture recognition by deep time-frequency learning for assisted living & rehabilitation | |
| Chen et al. | Improving gesture recognition by bidirectional temporal convolutional netwoks | |
| Krishnapriya et al. | Surface electromyography based hand gesture signal classification using 1d cnn | |
| Rupom et al. | Emg controlled bionic robotic arm using artificial intelligence and machine learning | |
| CN114169375B (zh) | 一种基于力度无关鲁棒特征的肌电手势识别方法 | |
| Chaiyaroj et al. | Deep neural network approach for hand, wrist, grasping and functional movements classification using low-cost semg sensors | |
| Kurzynski et al. | Two-stage multiclassifier system with correction of competence of base classifiers applied to the control of bioprosthetic hand |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |