CN112932508B - 一种基于手臂肌电网络的手指活动识别系统 - Google Patents
一种基于手臂肌电网络的手指活动识别系统 Download PDFInfo
- Publication number
- CN112932508B CN112932508B CN202110127560.3A CN202110127560A CN112932508B CN 112932508 B CN112932508 B CN 112932508B CN 202110127560 A CN202110127560 A CN 202110127560A CN 112932508 B CN112932508 B CN 112932508B
- Authority
- CN
- China
- Prior art keywords
- electromyographic
- module
- network
- user
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 29
- 238000002567 electromyography Methods 0.000 title claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 55
- 230000009471 action Effects 0.000 claims abstract description 40
- 230000001360 synchronised effect Effects 0.000 claims abstract description 21
- 210000003205 muscle Anatomy 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000003183 myoelectrical effect Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000000284 resting effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 52
- 208000012661 Dyskinesia Diseases 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 43
- 238000002474 experimental method Methods 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 8
- 230000005057 finger movement Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010998 test method Methods 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 101800004637 Communis Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003319 supportive effect Effects 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于手臂肌电网络的手指活动识别分类系统，属于生物医学信息技术领域，具体涉及脑‑机接口领域中的模式分类方法。本系统包含两个测试模式，经过简单的训练后，选取同步测试模式，系统可以识别用户跟随任务提示界面做出的动作；或者选取实时测试模式，系统可以实时的识别用户做出的动作；综合两种测试模式可以满足更多应用场景。本系统识别效率较高，操作简单，有望在运动障碍康复治疗和在线BCI系统中发挥作用。
Description
技术领域
本发明属于生物医学信息技术领域，具体涉及脑-机接口领域中的模式分类方法。
背景技术
肌电图(Electromyography,EMG)是肌肉收缩产生的重要电生理信号，包含大量与肢体运动有关的神经信息。肌电信号是通过贴附在皮肤表面的肌电电极同时记录来自不同肌肉单元的电生理活动，其包含了驱动肌肉运动神经元的放电序列的信息。
人体肌肉活动要比我们看到的复杂得多，一个简单的手指动作也需要多个肌肉的配合，研究表明，运动系统通过不同组肌肉的活动叠加，将多个肌肉活动组合为简单的动作。目前，肌电信号的提取与分析存在许多固有的问题，如电极位移、出汗、疲劳等，而且由于相邻肌肉的相互干扰，仅凭单通道的肌电信号无损伤地检测深部肌肉状态。因此，任一独立通道的肌电信号在表示其对应的肌肉活动时往往表现出不确定性，而肌肉协同作用的提取有助于研究相关肌肉如何协同完成复杂动作。事实上，可以将多个肌肉的协调作用视为了一个肌电信息网络，通过对网络分析可以提供清晰的空间模式来反映肌肉之间的信息是如何交换的。此外，肌电信号的网络连接可以克服单个电极通道易受干扰和污染的不足，可以整合全局肌肉群的时空信息，而不是局部肌肉群的时域信息。本工作是通过构建反映特定手指运动的肌电网络，探索不同手指运动时肌肉之间的信息传递，并以此对该手指活动模式进行识别。
本研究基于不同肌肉单元间信息交互作用，利用肌电信号建立手指不同动作时的肌电网络连接，并在此基础上发展了一种识别手指不同动作任务的方法。考虑到运动的频率依赖性，在构建网络时，我们使用相干方法计算肌肉之间的信息耦合网络，并分析手指运动之间的肌电网络拓扑差异。然后，采用共空间模式(Common Spatial Pattern,CSP)提取肌电网络中的空间分布信息，作为识别不同手指活动的特征。将该特征作为训练好的线性分类器(Linear Discriminant Analysis,LDA)的输入，最终用于手指活动的在线识别。
发明内容
本发明通过在手臂贴附电极采集手臂肌电信号，在不同导联肌电信号间构建肌电网络，最终实现对手指的六个活动的识别分类：五个手指屈指动作和一个握拳动作。
本发明采用的技术方案是一种基于手臂肌电网络的手指活动识别分类系统，该系统包括任务提示模块，数据采集模块，数据计算模块，结果输出模块；通过任务提示模块给出手指动作提示，数据采集模块采集受试者完成目标动作时的手臂多通道肌电信号，采集的肌电信号经过数据计算模块计算分类，得到分类结果，传输给结果输出模块输出；
所述数据计算模块包括：肌电信号预处理模块、肌电网络计算模块、特征提取模块、线性分类器；将采集到的肌电信号经过预处理模块做滤波处理，预处理模块的输出作为肌电网络计算模块的输入，使用相关算法计算肌电网络连接矩阵，再通过特征提取模块对肌电网络连接矩阵提取的特征作为线性分类器的输入，训练线性分类器，最终将训练好的线性分类器用于实际分类；
所述肌电信号预处理模块将采集到的肌电信号按照同步标签位置分段取出，采用150Hz高通滤波器对手指静息或任务状态下的分段原始信号进行滤波；
所述肌电网络计算模块为计算预处理后两两通道之间肌电信号的相干性Cxy(f)，将计算出的所有相干性组成肌电网络连接矩阵；其中Cxy(f)计算方法为：
其中，x(t)和y(t)表示两个不同信道的肌电信号，Pxy(f)为x(t)和y(t)的互功率谱，Pxx(f)和Pyy(f)是x(t)和y(t)的功率谱；
所述特征提取模块为采用空间滤波器对肌电网络连接矩阵进行特征提取得到特征向量X；空间滤波器采用如下公式计算得到：
其中，当J(ω)最大时的ω是所求空间滤波器，T表示矩阵的转置，Ci代表第i类信号；
将测试中相干信号C使用ω作空间滤波：中间变量Z＝ωC；
特征向量：
其中
是Z中第P行的方差，m为Z的中行数；
所述线性分类器为：
y(X)＝WTX+w0
其中，y(X)是特征相关的标签，W是加权向量，w0是偏置项；对6个动作两两组合分类，采用该线性分类器进行15次分类，根据15次分类的结果对每个动作进行投票，获得5票的动作为最终分类结果。
进一步的，所述数据采集模块采用12通道电极，手臂安放位置分别为：1.屈肌支撑带(FSB)，2.指近端屈肌(PFD)，3.指屈肌(FD)，4.浅指屈肌(FDS)，5.尺侧腕屈肌(FCU)，6.桡侧腕屈肌(FCR)，7.伸肌支撑带(ESB)，8.指近端伸肌(PED)，9.指伸肌(ED)，10.小指伸肌(EDM)，11.尺侧腕伸肌(ECU)，12.桡侧腕伸肌(ECR)。
本系统包含两个测试模式，经过简单的训练后，选取同步测试模式，系统可以识别用户跟随任务提示界面做出的动作；或者选取实时测试模式，系统可以实时的识别用户做出的动作；综合两种测试模式可以满足更多应用场景。本系统识别效率较高，操作简单，有望在运动障碍康复治疗和在线BCI系统中发挥作用。
附图说明
图1为手臂12导肌电记录电极位置。
图2为系统操作流程图。
图3为手指活动识别系统结构。
图4为训练及测试任务提示界面相关参数设置。
图5为训练过程系统前端任务提示界面。
图6为测试过程系统前端任务提示界面。
图7为用户训练FSB区域肌电波形。
图8为测试时肌电网络连接及手指任务分类结果。
图9为训练过程用户根据提示维持握拳。
图10为同步测试过程用户根据提示维持动作。
图11为实时测试过程用户手指动作实时检测。
具体实施方式
根据图3详细描述本发明技术方案；系统的前端任务提示界面用于提示用户做出手指动作；通过数据采集模块，系统同步采集用户肌电信号，采集好的肌电数据一方面直接存储到内存，另一方面输入到数据计算模块；数据线程提取肌电信号中网络特征用于参数训练和手指任务分类测试；最终结果输出模块将分类结果储存并显示。
所述任务提示模块主要用于训练以及测试过程中的手指活动任务提示，包括训练提示界面和同步测试提示界面。用户可以自由更改任务提示界面的相关训练参数以获得更好的训练及测试效果。
训练进程中任务提示界面如图5所示，界面中包括六个手指活动任务的方框，标签分别标记为1、2、3、4、5、6。图4中左图训练长度代表方框被选中的总次数，训练时间和休息时间分别代表方框每次被选中和取消选中的时间长度。经过简单实验，设置训练长度为90，训练时间为4s，休息时间为2s。故每个手指动作任务周期为6s，每个任务周期中包含2s的静息态和4s的任务态，整个训练过程用户需要完成90个任务周期。提示界面在任务态期间会随机选中一张图片，用户跟随界面中被选中的图片做出相应的动作并维持4s；静息态期间界面取消选中界面中图片，此时要求用户手指自然张开，以放松的状态休息2s。
同步测试时系统任务提示界面如图6所示，界面中仅包含两个方框用以提示用户随意做出动作及休息。图1中右图训练长度代表方框被选中的总次数，训练时间和休息时间分别代表对应方框每次被选中的时间长度，配置文件为训练参数所在路径。训练长度设置为40，为了与训练一致，此处任务及休息提示时长先分别设置为4s和2s，后面将根据实验结果适当缩短任务时间，以使系统更具实时性。每次任务中“开始”窗口先被选中维持显示4s，然后“休息”窗口被选中维持显示2s。当“开始”窗口被选中时，用户按照训练时的动作，任意选择六个手指活动中的一个开始动作并维持4s，用户跟随系统做共计40组测试任务。
所述数据采集模块用于同步采集用户做手指动作时的肌电信号，采集下来的信号数据一方面输入到数据计算模块，一方面直接存储到内存。其中，肌电信号采集装置采用12通道电极，手臂安放位置设置如图1，肌肉单元位置根据解刨学分别设置为：1、屈肌支撑带(FSB)；2、指近端屈肌(PFD)；3、指屈肌(FD)；4、浅指屈肌(FDS)；5、尺侧腕屈肌(FCU)；6、桡侧腕屈肌(FCR)；7、伸肌支撑带(ESB)；8、指近端伸肌(PED)；9、指伸肌(ED)；10、小指伸肌(EDM)；11、尺侧腕伸肌(ECU)；12、桡侧腕伸肌(ECR)。本次试验用的信号放大器为eegoamplifier 88导脑电放大器，我们选用其中77～88导用来采集肌电信号，其信号采样率为1000Hz。
对训练时采集数据进行分析，图7中所示为FSB区域肌电数据片段，其肌电信号波形具有明显的动作特征。用户训练过程中的肌电信号活动周期与我们系统提示界面周期一致，图中包含3个动作周期的信号波形，每个周期中包含4s的肌电任务态波形和2s的静息态信号波形。通过上面的波形图可以看出，用户任务状态下的信号波形幅值特征与静息状态下的幅值特征具有明显差异，故可以使用幅值特性对静息状态和任务状态进行区分。
数据计算模块数据计算模块为整个系统的核心工作，主要包括参数训练和分类测试两部分，参数训练线程根据用户手指动作标签获取用户静息态以及任务态的识别参数并保存，分类测试线程通过读取训练参数到分类器中对用户的任务状态进行识别。本部分所涉及数学计算包括肌电信号预处理、肌电网络计算、特征提取、线性分类器的训练及测试。肌电信号经过预处理模块做滤波处理，预处理模块的输出作为肌电网络计算模块的输入，使用相关算法计算肌电网络连接矩阵，提取特征作为LDA分类器的输入，通过训练线程生成LDA分类器训练参数，最终将训练好的LDA分类器用于测试线程中用户任务状态的分类。
所述预处理模块主要为滤波处理，将训练过程中的肌电数据按照同步标签位置分段取出，采用150Hz高通滤波器对手指静息或任务状态下的分段原始信号进行滤波。
所述肌电网络计算模块采用相关算法计算肌电网络连接矩阵，在构建EMG网络时，将12个电极位置作为网络节点，利用相干性算法来测量不同节点之间的相互作用强度。相干性是指两个不同的信道信号x(t)和y(t)在一个特定的频域内的线性关系。定义两次过程x(t)和y(t)的相干系数为：
其中Pxy(f)为x(t)和y(t)的互功率谱，Pxx(f)和Pyy(f)是x(t)和y(t)的功率谱。经过式(1)中的相干性计算，得到最终两个节点之间的连接强度。相干系数的取值范围为0-1。相干系数越接近1，则该频带内两个信号的相干性越强。
所述特征提取模块是一种有效的特征提取的方法，被广泛应用在基于运动想象的脑-机接口系统中。其主要工作原理是：寻找一组空间滤波器，使一类信号方差最大化，同时使另一类信号方差极小化，使得两类信号有最大的组间差异，从而达到提取两类信号有效特征的目的。特征提取方法如公式2所示：
其中，ω是所求空间滤波器，T表示矩阵的转置，Ci代表第i类信号。
所述LDA分类器模块基本思想是将高维空间中的样本投影到一个低维特征空间并使得投影后的样本在新的空间中具有最大的类间离散度和最小的类内离散度，线性判别函数表达式如下：
y(X)＝wTX+w0 (3)
其中，X代表特征向量，y(X)是特征相关的标签，w是加权向量，w0是偏置项。由于X和y(X)已知，w和w0可由最小二乘法估算得出。得到的LDA的参数将用于在线测试中区分不同的手指动作。由于(LDA)的高效率和易实现的特征，我们选择LDA作为分类器，LDA作为二分类器，要实现六个手指动作的分类，我们需要进行15次分类任务。
结果输出模块将上一层识别的结果保存并作显示输出。为了使手指动作时的手臂肌电网络更加直观的显示，将实时测试过程中下的肌电网络连接与手指任务分类结果同步显示。使用相关算法实时计算肌电网络连接矩阵，取阈值为25％，连接对应肌电节点，绘制肌电网络连接图。为了便于区分，将静息状态下的网络连接设置为蓝色，任务状态下的网络连接设为红色，如图8所示。此模块还可以与智能设备相连接，用户可以通过简单的手指活动控制智能设备。
为了验证所设计系统的稳定性及可靠性，我们针对设计实现的系统进行了真实环境下的测试实验，以客观全面的对系统进行可行性测试与验证。本实验公开招聘被试成员11位，实验开始前对被试进行必要的实验流程操作指导，在完成相应的指导后，实验按照如下流程进行，相关的实验操作及对应的实验结果描述如下。
本文构建的手指活动识别系统主要包括训练和测试两个主要流程，训练进程由用户根据随机任务提示做相应的手指活动，经过共计9分钟的动作任务完成训练，系统获取训练过程中的静息态和不同任务态的相关参数。测试进程由同步测试进程和实时测试进程两部分组成，同步测试状态下系统给出开始动作的提示，用户根据提示做出动作，系统根据训练参数做出识别；实时测试状态下系统先根据训练时的静息阈值参数判断用户是否处于静息态，当检测到用户脱离静息态，系统自动记录数据并进行当前用户手指动作的判断。最终系统将测试进程的分类结果先保存到Txt类型文件中，然后通过Windows消息界面显示，另外在实时测试进程中增加实时网络显示。具体操作流程如图2所示：
实验开始前，用户按照要求在手臂上贴上电极片并接入信号放大器，检查用户手指动作信号波形是否与任务相关，确定准备就绪后开始训练。
训练过程
实验开始，用户跟随训练时任务提示界面做出相应动作，为了取得良好的训练参数，整个训练过程要求用户集中精神，根据界面提示迅速做出相应动作。训练过程所需时间约9min。图9为用户训练过程。
训练数据采集结束后，根据训练标签，选择每次手指活动任务周期的0～2s作为用户息态数据，2～6s作为用户任务态数据。分别计算150Hz高通滤波后任务态及静息态数据的平均绝对幅值，取二者的均值作为实时测试时静息态的阈值。对滤波后任务态的肌电数据，计算肌电网络连接矩阵，提取特征作为LDA分类器的输入，训练LDA并将训练后的参数保存以供测试时调用。
测试过程包含同步测试和实时测试两部分。其中同步测试过程通过任务提示的方法提示用户手指动作和休息，系统可通过同步标签选取任务态数据进行分类；实时测试过程增加了任务态的判断，当系统检测到用户手指开始动作，系统开始记录任务态数据进行分类。
同步测试过程
同步测试时用户跟随前端任务提示界面自主做出动作，被试需要保持与训练状态一致，在“开始”窗口被选中后快速做出动作，在“休息”窗口被选中后恢复到手指自然张开的状态。系统根据训练阶段生成参数提取滤波后肌电信号中的特征并输入到训练好的LDA分类器中，分类器最终做出动作识别并通过后端结果输出界面输出识别结果。用户跟随系统做共计40组测试任务，每组动作任务态及静息态共6s，整个训练过程共计240s。
由于系统需要等待数据采集完后才能开始分类识别，任务态时间设置为4s时，用户需要维持4s动作后系统才能输出分类结果，为了提高手指动作的识别实时性，在不影响识别准确率的情况下尽量缩短测试任务态时间。通过预实验，在同一段测试数据上取不同的时间段作为测试数据，分别计算准确率。实验发现当测试数据所取的时间段为0.5～2s时，测试分类准确率最高为98.89％，取0.5～1.5s时，分类准确率为97.78。为了进一步提高系统实时效果，不牺牲测试准确率的情况下，测试数据时间段取为0.5～1.5s，此时同步测试任务态时间可由4s减少为1.5s，则每组动作任务态及静息态共3.5s，整个测试过程共计140s。
实时测试过程
为进一步提升系统实时性，实时测试过程增加对任务态的检测，系统实时检测用户是否动作。每200ms进行一次任务态的判断，对200ms原始数据作150Hz高通滤波，计算200ms数据幅值绝对值的均值与训练时静息态阈值参数进行比较，所计算结果小于训练阈值参数时，系统认为用户此时处于静息状态，此时状态显示界面显示“Resting State”；反之系统认为用户手指处于任务状态，为了减少误识别，连续两次检测到用户处于任务状态时，系统才认为用户处于手指活动状态，此时系统记录1s任务状态下的数据(包括静息态检测的400ms)对当前手指任务状态进行判断，并将判断结果显示到界面，如图11显示。实时测试过程中分类识别方法与同步测试过程相同。在实时测试过程中，用户可以自主的做出动作并休息，系统可以实时检测用户动作。为了方便统计实时测试准确率，实验要求用户持续动作4分钟，根据统计，用户在实时测试阶段测试任务约为50组。
系统测试结果
用于实验分析使用的数据来源于我们招募的11个用户(7个女生，4个男生，均为右利手，平均年龄为23.6±1.2)，他们参加了手指活动识别系统测试实验。本实验内容经过电子科技大学伦理委员会的审核并批准。参与实验前，所有参与者都已经阅读并且了解实验内容，自愿签订了用户知情同意书。我们为了表达对实验参与者付出的时间和努力的谢意，在每位用户的实验结束后，他们都会收到相应的报酬。实验时，用户坐在安静舒适的环境下。每名用户都要进行包括训练，测试2个阶段的试验，其中测试阶段又包括同步测试及实时测试过程，整个实验过程约40min。
每次试验，用户被要求训练一次，紧接着进行同步测试和实时测试过程。采用分类准确率作为每个用户测试结果表现的最终评价指标。通过相机记录整个在线测试过程。将每个用户的测试分类准确率列入表1中。
表1各用户测试准确率
如表1所示，经过训练，同步测试过程的平均识别准确率可以达到90％以上；实时测试过程中，系统对用户手指静息状态和任务状态的区分基本可以达到100％，不在表中显示，用户手指活动任务的识别平均准确率可以达到94％以上，系统整体对手指识别具有较高的准确率。通过对比，可以发现实时测试过程的平均准确率要高于同步测试过程中的平均准确率，这是因为相比于同步测试过程系统选择任务提示后0.5～1.5s肌电数据作为任务态数据，实时测试过程中系统根据数据幅值特征自动选取用户任务态数据更加精准；另外实时测试过程的标准差也小于同步测试过程，这表明实时测试过程的用户测试结果更加稳定，这是因为用户不根据任务提示界面做出动作，减小了对用户反应时间的限制，使用户更加具有自主性。
本发明的优越性
本发明使用手臂多导肌电信号构建肌电网络对手指活动进行识别，对六个手指动作的识别平均准确率达到了90％以上，用户动作1s后，系统即可以对用户手指活动做出分类，具有较高的实时特性。
本发明的方法不仅在脑机接口领域有较好的效果，通过实验证明，对于其它领域的模式识别也有较好的效果。
Claims (3)
1.一种基于手臂肌电网络的手指活动识别分类系统，该系统包括任务提示模块，数据采集模块，数据计算模块，结果输出模块；通过任务提示模块给出手指动作提示，数据采集模块采集受试者完成目标动作时的手臂多通道肌电信号，采集的肌电信号经过数据计算模块计算分类，得到分类结果，传输给结果输出模块输出；
所述数据计算模块包括：肌电信号预处理模块、肌电网络计算模块、特征提取模块、线性分类器；将采集到的肌电信号经过预处理模块做滤波处理，预处理模块的输出作为肌电网络计算模块的输入，使用相关算法计算肌电网络连接矩阵，再通过特征提取模块对肌电网络连接矩阵提取的特征作为线性分类器的输入，训练线性分类器，最终将训练好的线性分类器用于实际分类；
所述肌电信号预处理模块将采集到的肌电信号按照同步标签位置分段取出，采用150Hz高通滤波器对手指静息或任务状态下的分段原始信号进行滤波；
所述肌电网络计算模块为计算预处理后两两通道之间肌电信号的相干性Cxy(f)，将计算出的所有相干性组成肌电网络连接矩阵；其中Cxy(f)计算方法为：
其中，x和y表示两个不同信道的肌电信号，Pxy(f)为x和y的互功率谱，Pxx(f)和Pyy(f)是x和y的功率谱；
所述特征提取模块为采用空间滤波器对肌电网络连接矩阵进行特征提取得到特征向量X；空间滤波器采用如下公式计算得到：
其中，当J(ω)最大时的ω是所求空间滤波器，T表示矩阵的转置，Ci代表第i个相干性；
将测试中相干性组成肌电网络连接矩阵C使用ω作空间滤波：中间变量Z＝ωC；
特征向量：
其中
是Z中第P行的方差，m为Z的总行数。
2.如权利要求1所述的一种基于手臂肌电网络的手指活动识别分类系统，其特征在于，所述线性分类器为：
y(X)＝WTX+w0
其中，y(X)是特征相关的标签，W是加权向量，w0是偏置项；对6个动作两两组合分类，采用该线性分类器进行15次分类，根据15次分类的结果对每个动作进行投票，获得5票的动作为最终分类结果。
3.如权利要求1所述的一种基于手臂肌电网络的手指活动识别分类系统，其特征在于，所述数据采集模块采用12通道电极，手臂安放位置分别为：屈肌支撑带，指近端屈肌，指屈肌，浅指屈肌，尺侧腕屈肌，桡侧腕屈肌，伸肌支撑带，指近端伸肌，指伸肌，小指伸肌，尺侧腕伸肌，桡侧腕伸肌。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110127560.3A CN112932508B (zh) | 2021-01-29 | 2021-01-29 | 一种基于手臂肌电网络的手指活动识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110127560.3A CN112932508B (zh) | 2021-01-29 | 2021-01-29 | 一种基于手臂肌电网络的手指活动识别系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112932508A CN112932508A (zh) | 2021-06-11 |
| CN112932508B true CN112932508B (zh) | 2022-10-14 |
Family
ID=76239833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110127560.3A Active CN112932508B (zh) | 2021-01-29 | 2021-01-29 | 一种基于手臂肌电网络的手指活动识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112932508B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114504317B (zh) * | 2022-01-05 | 2023-04-18 | 电子科技大学 | 一种基于脑电网络的情绪实时监测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104107134A (zh) * | 2013-12-10 | 2014-10-22 | 中山大学 | 基于肌电反馈的上肢训练方法及系统 |
| CN109567798A (zh) * | 2018-12-26 | 2019-04-05 | 杭州电子科技大学 | 基于肌电小波相干性和支持向量机的日常行为识别方法 |
| CN110018744A (zh) * | 2019-04-17 | 2019-07-16 | 华南理工大学 | 一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法 |
| CN110238863A (zh) * | 2019-06-17 | 2019-09-17 | 北京国润健康医学投资有限公司 | 基于脑电-肌电信号的下肢康复机器人控制方法及系统 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101317794B (zh) * | 2008-03-11 | 2010-04-14 | 清华大学 | 多指多自由度假手用肌电控制能力检测训练方法 |
| US20160220169A1 (en) * | 2010-10-15 | 2016-08-04 | Brain Sentinel, Inc. | Method and Apparatus for Detecting Seizures Including Audio Characterization |
| CN102073881A (zh) * | 2011-01-17 | 2011-05-25 | 武汉理工大学 | 人体表面肌电信号消噪、特征提取和模式识别方法 |
| US11266342B2 (en) * | 2014-05-30 | 2022-03-08 | The Regents Of The University Of Michigan | Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes |
| CN105919591A (zh) * | 2016-04-12 | 2016-09-07 | 东北大学 | 一种基于表面肌电信号的手语识别发声系统及方法 |
| CN106485677B (zh) * | 2016-09-30 | 2022-03-25 | 湖南鼎方电子科技有限公司 | 一种快速高效干涉相位滤波方法 |
| CN106502405A (zh) * | 2016-10-24 | 2017-03-15 | 天津大学 | 基于同步性复合肢体想象动作多模态脑机接口方法及系统 |
| CN107273798A (zh) * | 2017-05-11 | 2017-10-20 | 华南理工大学 | 一种基于表面肌电信号的手势识别方法 |
| WO2018220606A1 (en) * | 2017-06-02 | 2018-12-06 | Nox Medical Ehf | Coherence-based method, apparatus, and system for identifying corresponding signals of a physiological study |
| CN107411741A (zh) * | 2017-07-19 | 2017-12-01 | 燕山大学 | 基于相干性—非负矩阵分解的多通道肌电耦合特性分析方法 |
| CN109288650A (zh) * | 2018-07-31 | 2019-02-01 | 电子科技大学 | 穿戴者可独立使用的移动式下肢运动训练和辅助智能装置 |
| CN109308471B (zh) * | 2018-09-29 | 2022-07-15 | 河海大学常州校区 | 一种肌电信号特征提取方法 |
| CN109674445B (zh) * | 2018-11-06 | 2021-10-08 | 杭州电子科技大学 | 一种结合非负矩阵分解和复杂网络的肌间耦合分析方法 |
| CN109567799A (zh) * | 2018-12-26 | 2019-04-05 | 杭州电子科技大学 | 基于平滑小波相干性的肌电信号特征提取方法 |
| CN109875565A (zh) * | 2019-01-25 | 2019-06-14 | 电子科技大学 | 一种基于深度学习的脑卒中上肢运动功能自动评定方法 |
| CN109805929A (zh) * | 2019-02-14 | 2019-05-28 | 燕山大学 | 一种基于小波包分解及n:m一致性分析的肌间耦合特性分析方法 |
| CN110399846A (zh) * | 2019-07-03 | 2019-11-01 | 北京航空航天大学 | 一种基于多通道肌电信号相关性的手势识别方法 |
| CN110464343A (zh) * | 2019-08-16 | 2019-11-19 | 杭州电子科技大学 | 一种基于自主手部动作的增强型脑肌相干方法 |
| CN110969108B (zh) * | 2019-11-25 | 2023-04-07 | 杭州电子科技大学 | 一种基于自主运动想象脑电的肢体动作识别方法 |
| CN111209885B (zh) * | 2020-01-13 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 一种手势信息处理方法、装置、电子设备及存储介质 |
| CN111931129A (zh) * | 2020-07-23 | 2020-11-13 | 杭州电子科技大学 | 基于高斯Copula传递熵的肌间耦合网络分析方法 |
| CN111708983B (zh) * | 2020-07-23 | 2024-06-07 | 杭州电子科技大学 | 一种卒中后上肢肌间协同耦合分析方法 |
| CN112244851A (zh) * | 2020-11-13 | 2021-01-22 | 山东中科先进技术研究院有限公司 | 一种肌肉运动识别方法及表面肌电信号采集装置 |
| CN112232301A (zh) * | 2020-11-16 | 2021-01-15 | 杭州电子科技大学 | 基于多尺度Copula互信息的肌间耦合网络分析方法 |
-
2021
- 2021-01-29 CN CN202110127560.3A patent/CN112932508B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104107134A (zh) * | 2013-12-10 | 2014-10-22 | 中山大学 | 基于肌电反馈的上肢训练方法及系统 |
| CN109567798A (zh) * | 2018-12-26 | 2019-04-05 | 杭州电子科技大学 | 基于肌电小波相干性和支持向量机的日常行为识别方法 |
| CN110018744A (zh) * | 2019-04-17 | 2019-07-16 | 华南理工大学 | 一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法 |
| CN110238863A (zh) * | 2019-06-17 | 2019-09-17 | 北京国润健康医学投资有限公司 | 基于脑电-肌电信号的下肢康复机器人控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112932508A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Benalcázar et al. | Hand gesture recognition using machine learning and the Myo armband | |
| CN107951485B (zh) | 基于人工智能自学习的动态心电图分析方法和装置 | |
| CN110916631B (zh) | 基于可穿戴生理信号监测的学生课堂学习状态评测系统 | |
| CN106980367A (zh) | 一种基于肌电地形图的手势识别方法 | |
| CN113729707A (zh) | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 | |
| CN111544015B (zh) | 基于认知力的操控工效分析方法、设备及系统 | |
| Chiang et al. | A hidden Markov, multivariate autoregressive (HMM-mAR) network framework for analysis of surface EMG (sEMG) data | |
| CN111598451B (zh) | 基于任务执行能力的操控工效分析方法、设备及系统 | |
| CN110969108A (zh) | 一种基于自主运动想象脑电的肢体动作识别方法 | |
| CN111598453B (zh) | 基于虚拟场景中执行力的操控工效分析方法、设备及系统 | |
| CN112488002B (zh) | 基于n170的情绪识别方法及识别系统 | |
| CN106166065A (zh) | 一种基于社交网络的可穿戴心电健康交互平台及其实现方法 | |
| CN105942975A (zh) | 基于稳态视觉诱发的脑电信号处理方法 | |
| Hamedi et al. | Facial gesture recognition using two-channel bio-sensors configuration and fuzzy classifier: A pilot study | |
| CN112932508B (zh) | 一种基于手臂肌电网络的手指活动识别系统 | |
| Dzitac et al. | Identification of ERD using fuzzy inference systems for brain-computer interface | |
| CN113974627A (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN110569968B (zh) | 基于电生理信号的创业失败恢复力评估方法及评估系统 | |
| CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
| Du et al. | Non-interference driving fatigue detection system based on intelligent steering wheel | |
| Jia | Neural network in the application of EEG signal classification method | |
| Zohirov | Classification Of Some Sensitive Motion Of Fingers To Create Modern Biointerface | |
| Chen et al. | Recognition of american sign language gestures based on electromyogram (emg) signal with xgboost machine learning | |
| Kelati et al. | Machine learning for semg facial feature characterization | |
| CN114504317B (zh) | 一种基于脑电网络的情绪实时监测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240327 Address after: No. 1, 9th Floor, Unit 2, Building 1, No. 238 Sanse Road, Industrial Park, Jinjiang District, Chengdu City, Sichuan Province, 610000 Patentee after: Chengdu Xinnao Technology Co.,Ltd. Country or region after: China Address before: 611731, No. 2006, West Avenue, Chengdu hi tech Zone (West District, Sichuan) Patentee before: University of Electronic Science and Technology of China Country or region before: China |