CN113642528B - 一种基于卷积神经网络的手部运动意图分类方法 - Google Patents

一种基于卷积神经网络的手部运动意图分类方法 Download PDF

Info

Publication number
CN113642528B
CN113642528B CN202111075444.8A CN202111075444A CN113642528B CN 113642528 B CN113642528 B CN 113642528B CN 202111075444 A CN202111075444 A CN 202111075444A CN 113642528 B CN113642528 B CN 113642528B
Authority
CN
China
Prior art keywords
mimf
signal
layer
function
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111075444.8A
Other languages
English (en)
Other versions
CN113642528A (zh
Inventor
王刚
陶怡
沈安澜
苏健强
陈霸东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202111075444.8A priority Critical patent/CN113642528B/zh
Publication of CN113642528A publication Critical patent/CN113642528A/zh
Application granted granted Critical
Publication of CN113642528B publication Critical patent/CN113642528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于卷积神经网络的手部运动意图分类方法，该方法将多元经验模态分解算法和卷积神经网络进行结合，通过动作执行的过程中同步采集到的肌电信号对动作发生的时刻进行判断，选择动作执行前的数据为主要对象，结合卷积神经网络，确定网络参数之后，采用序列前向搜索算法对经过多元经验模态分解之后的本征模态函数进行选择，得出可以使得识别准确率最高的本征模态函数的最优组合，能够有效地对基于运动执行前的脑电信号的手部动作进行多分类。

Description

一种基于卷积神经网络的手部运动意图分类方法
技术领域
本发明属于脑电信号识别控制技术领域，特别涉及一种基于卷积神经网络(Convolutional Neural Networks,CNN)的手部运动意图分类方法。
背景技术
脑机接口(brain computer interface,BCI)是一种在人脑和外部设备之间建立通信系统的技术，能够通过使用如脑电(EEG)、脑磁(MEG)等脑电信号来解码人类意图，并将其转换为控制信号输出到外部设备(电脑、假肢等)。BCI可以为患有严重神经功能障碍的人提供一种与外界进行信息交互的新方式，是实现手功能康复训练的主要方法之一。BCI系统可以解码脑卒中患者的手部运动意图，然后通过神经功能电刺激、康复机械手等康复训练设备，使手指进行康复训练。因此，开发一种能够对手部运动意图进行高精度分类的BCI算法是非常重要的。
一种典型的手部动作模式识别算法主要包括两个阶段：特征提取和分类。在特征提取的过程中，如何将不同信号的隐含信息转化为特征明显、区分度高的信号，直接关系到分类识别的结果。使用不同的特征提取算法，可以得到不同的分类正确率。目前，用于脑电信号特征提取的算法主要包括时域、频域和时频分析方法，其中多元经验模态分解由于不需要特定的基函数，并可以根据信号自身的特点进行多尺度分解而广泛运用于脑电这种非平稳非线性信号中，但大部分算法只选择了特定频段的2-3个MIMF再进行重构，因此对于动作意图解码来讲分类准确率并不高。卷积神经网络是近些年来机器学习领域的一个热点，其在计算机视觉任务中与传统机器学习的办法相比，识别准确率已经有了大幅度提升。如今已经有学者将其运用到脑信号解码方面，但是单手三种以上动作模式的识别准确率仍然较低，无法满足主动康复训练的需求。
发明内容
针对现有的多类运动意图解码任务分类正确率较低等问题，本发明的目的是提供一种基于卷积神经网络(Convolutional Neural Networks,CNN)手部运动意图分类方法，基于多元经验模态分解MEMD和卷积神经网络CNN对运动执行前阶段的脑电进行分类，用于不同运动执行前的脑电信号模式识别研究；MEMD方法可以将非线性非平稳的脑电信号分解为多个平稳的本征模态函数，实现非平稳信号的平稳化处理，CNN可以提取信号中更多特征，并对不同任务进行分类，将两种方法结合起来，可以有效提高多任务脑电信号的识别率。
为达到上述目的，本发明提供如下技术方案：
一种基于卷积神经网络的手部运动意图分类方法，包括以下步骤：
步骤一：获取多通道、不同手部动作运动执行前的脑电信号并对其进行预处理，同时将脑电数据按比例随机划分为训练集、验证集和测试集；
步骤二：分别对训练集、验证集和测试集脑电信号进行裁剪扩充，以便后续进行深度学习；
步骤三：分别对每组扩充后的脑电信号X(t)进行多元经验模态MEMD分解；脑电信号经过MEMD分解后产生m个频率由高到低排列的MIMF分量，每个MIMF都为一个时间长度为t的n通道信号，各通道信号都处于同一频段内；
步骤四：为m个MIMF分别构建相同的卷积神经网络CNN，并在全连接层中将所有CNN串联起来，用softmax进行分类输出；
步骤五：基于步骤三和步骤四的过程，采用序列前向搜索思想对MIMF进行挑选，得到分类准确率最高的MIMF组合和CNN模型，从而对多类任务的脑电信号进行分类识别。
所述步骤一具体为：
获取n个导联、d种手部动作运动执行脑电信号，通过4导联肌电信号判断动作执行起点并提取动作执行前的脑电信号，其时长为s，每种动作不少于60个试次；对脑电信号进行预处理包括带通滤波处理和陷波处理，用于进行带通滤波步骤的带通滤波器的截止频率为0.1-100HZ；用于进行陷波处理的陷波滤波器的陷波频率为50HZ；将预处理后的每类数据按一定比例随机划分为：训练集、验证集和测试集。
所述步骤二中脑电信号的裁剪扩充处理具体步骤如下：
(1)设每组单次脑电信号都表示为X(s)＝{x1(s)，x2(s)，...，xn(s)}，其中n表示脑电信号的通道数，s表示每组动作的时间长度；
(2)使用窗长为t的时间窗对数据进行裁剪，剪切的移动步进为q，通过剪切操作，将时间长度为s的原脑电数据剪切为(s-t)/50+1个时间长度为t的脑电数据X(t)＝{x1(t)，x2(t)，...，xn(t)}。
所述步骤三中采用MEMD分解将处理后的脑电信号分解为m个频率由高到低排列的MIMF分量的分解过程为：
(1)设一个n维信号
Figure BDA0003261961760000041
信号的长度为T，
Figure BDA0003261961760000042
表示一组方向向量集，它们在(n-1)维单位球对应的方向角为
Figure BDA0003261961760000043
(2)使用Hammersley序列采样方法，在(n-1)维单位球面上选择K个均匀采样点，K为经验值，是维数的3倍以上，且k＝1，2，3，...，K，产生K个投影向量
Figure BDA0003261961760000044
(3)计算信号X(t)沿每一个投影向量
Figure BDA0003261961760000045
的投影信号，将投影信号记为
Figure BDA0003261961760000046
对于所有K个投影向量，得到X(t)的投影集
Figure BDA0003261961760000047
(4)确定投影集
Figure BDA0003261961760000048
中每个投影信号的极值点对应的时刻
Figure BDA0003261961760000049
i表示极值点的位置，i∈[1，T]；
(5)以
Figure BDA00032619617600000410
为插值节点，使用多元样条插值函数方法得到K个n元包络
Figure BDA00032619617600000411
(6)计算K个方向上n元信号的包络的均值为
Figure BDA00032619617600000412
(7)提取固有模态函数h(t)＝X(t)-m(t)，如果h(t)满足MIMF的判断标准，则定义h(t)为第一阶MIMF分量，并将X(t)-h(t)作为步骤(3)的输入信号，继续迭代步骤(3)～(7)，直到分离出新的MIMF分量，如果h(t)不满足MIMF的条件，把h(t)作为步骤(3)的输入信号，重复上述的步骤(3)～(7)，直至满足终止条件；
所述步骤(7)中所述的终止条件为：
Figure BDA00032619617600000413
其中，M(t)为信号均值，
Figure BDA00032619617600000414
为偏差函数，γ为阈值，根据信号类型进行设定，当
Figure BDA00032619617600000415
的值小于某个阈值时，可以判定其为MIMF；
(8)经过一系列的MEMD分解，原n元信号
Figure BDA0003261961760000051
被分解为一系列的多元模式函数
Figure BDA0003261961760000052
和余量r(t)的和形式，表达式如下：
Figure BDA0003261961760000053
式中：q表示分解出的IMF个数，hi(t)为
Figure BDA0003261961760000054
r(t)为
Figure BDA0003261961760000055
分别对应于n元信号的n组多元模态函数和n个残余量，判定余量r(t)的方法为：当各个投影信号的极值点个数为2或3时，信号接近单调，可以认为信号不再含有MIMF分量，分解结束。
多元信号每个通道分解出来的MIMF个数是相同的，最先分解出来的MIMF频率高，而后分解出来的MIMF频率低，分解的余量频率最低，也可当作最后一个MIMF；这样MEMD分解出来的MIMF按照频率从高到低排序，由于每个动作数据使用MEMD分解得到的MIMF数并不一致，所以通过计算每组数据分解得到的MIMF个数最小值，确定统一使用前7个MIMF进行计算，其中MIMF1包含最高频信息，MIMF2次之，MIMF7最小。
所述步骤四中的卷积神经网络，包括输入层、4个卷积层、3个池化层、Flatten层、三个全连接层和输出层，具体为：
(1)Layer1：卷积层，25个大小为1*10的卷积核，步长为1，在时间维度上进行特征提取，激活函数为指数线性单元函数ELU，用于拟合非线性问题，其表达式为：
Figure BDA0003261961760000056
ELU函数是ReLU函数的改进，相比于ReLU函数，使用ELU，不仅有ReLU输入为正数时不存在梯度饱和的问题以及计算速度较快等优点，且相比于ReLU，ELU函数中即使输入为负数函数也能被激活，且其输出还具有一定的抗干扰能力；
(2)Layer2：卷积层，25个大小为n*1的卷积核，n为脑电数据导联数，步长为1，对空间信息进行卷积提取，激活函数同样设为ELU；在两层之间没有激活函数，通过这种方式可以将整个卷积强制分离线性变换为时间卷积和空间滤波器的组合实现隐式正则化，降低计算量；该卷积层后加入了BN层和池化层，BN层用于防止过拟合，池化层使用最大池化的方式，池化的大小是1*3，步进为1*3；
(3)Layer3:卷积层，50个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
(4)Layer4：卷积层，100个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
(5)Layer5：Flatten层，对高维特征进行扁平化处理，将其转换为一维数据，同时，对不同MIMF得到的据进行拼接从而共同输入到后面的全连接层中去；
(6)Layer6：全连接层，神经元数为1024个，激活函数为ELU，设置dropout＝0.5，即按50％的概率暂时随机丢弃部分神经元，以防止CNN过拟合；
(7)Layer7：全连接层，神经元数为512个，激活函数为ELU，设置dropout＝0.5；
(8)Layer8：全连接层，神经元数为4个，激活函数为ELU；后接softmax层对结果进行概率预测和分类。
所有的损失函数都使用交叉熵损失函数，卷积神经网络使用自适应距估计优化器Adam，其中参数均为默认值，学习率为0.001，Beta1为0.9，Beta2为0.999。
所述步骤五中的序列前向搜索思想具体步骤为：
(1)设当前特征集合为S，最开始无任何特征，为空集；
(2)从所有MIMF集合T中选择一个MIMF(XN)使得目标结果J(XN)最优，即分类准确率最高；
(3)将XN放入特征集合S中,接着从T-S集合(T集合中除去S集合的剩下部分)中选一个MIMF(X(T-S)N)，如果J(S+X(T-S)N)优于J(S)，则将X(T-S)N加入特征集合S中，否则接着选择下一个MIMF进行计算；
(4)当J(S+X(T-S)N)始终小于J(S)则停止搜索，并确定S集合里的MIMF为最优MIMF组合。
与已有技术相比，本发明的有益效果体现在：
本发明提供一种基于多元经验模态分解和卷积神经网络的手部动作意图分类方法。该方法通过算法，自动选择全频段中合适频段的MIMF输入CNN中进行特征提取和分类，4层的卷积层从时间域和空间域上分别提取了脑电特征，可以有效提高多任务脑电信号的识别率。
附图说明
图1为MEMD-CNN算法流程图。
图2为通过Neuroscan采集到的30导联脑电信号和4导联肌电信号。
图3为通过肌电阈值得到的运动执行脑电信号起始点。
图4为动作前2s的脑电信号按1s时间窗进行剪切的示意图。
图5是单次运动执行脑电经过多元经验模态分解后的前7个MIMF分量图，此处只取脑电前3导联的MIMF分量，其中MIMF1指的是对原信号进行第一次MEMD分解获得的MIMF分量；MIMF2指的是对第一次MEMD分解后的信号进行第二次MEMD分解获得的MIMF分量；MIMF3指的是对第二次MEMD分解后的信号进行第三次MEMD分解获得的MIMF分量；MIMF4指的是对第三次MEMD分解后的信号进行第四次MEMD分解获得的MIMF分量；MIMF5指的是对第四次MEMD分解后的信号进行第五次MEMD分解获得的MIMF分量；MIMF6指的是对第五次MEMD分解后的信号进行第六次MEMD分解获得的MIMF分量；MIMF7指的是对第六次MEMD分解后的信号进行第七次MEMD分解获得的MIMF分量。
图6为算法中所用到的CNN结构。
图7为序列前向搜索算法流程图，用于最优MIMF组合的选择。
图8为相同样本在MEMD-CNN、CNN和FBCSP-SVM算法下的分类正确率对比表。
具体实施方式
下面将结合附图，对本发明的流程以及优势进行详述。
本方法中，在采集到运动执行脑电信号和肌电信号之后，先对脑电信号进行预处理，将原始脑电信号分割成单次运动执行前的脑电信号。而后通过多元经验模态将脑电信号分解成若干个MIMF分量，再将其输入CNN中通过序列前向搜索策略得到分类准确率最高的MIMF分量组合，保存最优MIMF组合和CNN模型即可对单次运动执行的脑电信号进行分类。
图1是提出的算法的流程。整个算法一共分为5个模块，运动执行前后脑电信号的采集和提取，多元经验模态分解，通过验证集数据使用序列前向搜索策略寻找最优MIMF组合，输入CNN进行分类。
具体步骤如下：
步骤一：获取多通道运动执行前脑电信号
使用Neuroscan采集系统采集30导联的运动执行前后脑电信号和4导联的肌电信号。
实验于一个安静、封闭、防电磁干扰的房间内进行，被试坐在舒适的椅子上，右臂放在前面的桌子上，离屏幕约0.5米。佩戴好电极帽后，根据电脑屏幕上的指示，依次执行四种手部动作：握拳、展拳、二指对捏、三指对捏。每种动作分别做60次，分为固定组数3组完成。其中每组的间隔中预留一定的休息时间用于消除肌肉的疲劳。
获得原始的运动执行脑电信号和肌电之后，对信号进行预处理。信号的预处理分为，0.1-100HZ的带通滤波，50HZ的陷波滤波以及对运动执行前脑电信号的单次分割。1-100HZ带通滤波和50HZ陷波滤波可以通过EEGLAB实现。
图2是通过Neuroscan采集到的二指对捏动作下30导联脑电信号和4导联肌电信号的原始信号。
运动执行脑电信号属于自发脑电信号，没有明显的动作开始的起始点，在数据采集过程中使用trigger信号将电脑的动作指示和数据采集进行同步，但是由于不同被试反应时间不同，故trigger信号作为辅助判断动作起点，同脑电信号相比，肌电信号在起始处具有明显的电位变化，故最终通过对肌电进行分析，判断出动作执行起点，以其对单次脑电信号进行分割。
具体算法为：在trigger信号前800ms，先取21个点作为一个窗口计算信号能量，然后连续取25个窗口计算其信号能量，取这25个窗口信号的能量的平均值作为判断动作起点的阈值Q。然后从最后计算的点开始，以21个点为一个窗口，连续计算信号能量值，有连续20个窗口的能量值均大于Q的话，则以最后一个窗口的中点作为动作信号的有效起始点，找出与肌电信号起始点对应的脑电信号位置，以此为结束点截取一段动作执行前的脑电信号。
利用肌电信号的能量阈值分割出单次动作意图对应的脑电信号，共可以得到4*60组的数据。
图3是通过对于肌电信号的阈值检测，得到了肌电信号的起始位置，从而确定了与之对应的运动执行脑电信号的起始位置。参见图3，由肌电信号确定的脑电起始点大致为真实的脑电信号起始位置，证明采取这种肌电阈值分割脑电信号方案所获得脑电信号的真实性和完整性。
之后对分割出的动作执行前的脑电信号进行划分，每类数据按3:2:1的比例随机划分为训练集(30*2000*30)、验证集(30*2000*20)和测试集(30*2000*10)；
步骤二：对脑电信号进行裁剪扩充
(1)设每组单次脑电信号都可以表示为X(s)＝{x1(s)，x2(s)，...，xn(s)}，其中n表示脑电信号的通道数(n＝30)，s表示每组动作的时间长度(s＝2000ms)。
(2)使用窗长为t(t＝1000ms)的时间窗对数据进行裁剪，剪切的移动步进为q(q＝50ms)，通过剪切操作，我们可以将时间长度为2000ms的原脑电数据剪切为21个时间长度为1000ms的脑电数据。
由于在剪切之前已经划分训练集、验证集和测试集，因此存在重叠信息的剪切数据不会对分类结果产生影响。
图4为将动作前2s的脑电信号按1s时间窗进行剪切的示意图，其中虚线框表示剪切出的一个信号段，每一个2s的脑电数据可以切割为21个1s的脑电数据。
步骤三：对扩充后的脑电信号进行MEMD分解
(1)设一个n维信号
Figure BDA0003261961760000111
信号的长度为T，
Figure BDA0003261961760000112
表示一组方向向量集，它们在(n-1)维单位球对应的方向角为
Figure BDA0003261961760000113
(2)使用Hammersley序列采样方法，在(n-1)维单位球面上选择K个均匀采样点(K为经验值，是维数的3倍以上，且k＝1，2，3，...，K)，产生K个投影向量
Figure BDA0003261961760000114
(3)计算信号X(t)沿每一个投影向量
Figure BDA0003261961760000115
的投影信号，将投影信号记为
Figure BDA0003261961760000116
对于所有K个投影向量，得到X(t)的投影集
Figure BDA0003261961760000117
(4)确定投影集
Figure BDA0003261961760000118
中每个投影信号的极值点对应的时刻
Figure BDA0003261961760000119
i表示极值点的位置，i∈[1，T]。
(5)以
Figure BDA0003261961760000121
为插值节点，使用多元样条插值函数方法得到K个n元包络
Figure BDA0003261961760000122
(6)计算K个方向上n元信号的包络的均值为
Figure BDA0003261961760000123
(7)提取固有模态函数h(t)＝X(t)-m(t)，如果h(t)满足IMF的判断标准，则定义h(t)为第一阶IMF分量，并将X(t)-h(t)作为步骤(3)的输入信号，继续迭代步骤(3)～(7)，直到分离出新的IMF分量。如果h(t)不满足IMF的条件，把h(t)作为步骤(3)的输入信号，重复上述的步骤(3)～(7)，直至满足终止条件。
所述步骤(7)中所述的判定条件为：
Figure BDA0003261961760000124
其中，M(t)为信号均值，
Figure BDA0003261961760000125
为偏差函数，γ为阈值，可以根据信号类型进行设定，当
Figure BDA0003261961760000126
的值小于某个阈值时，可以判定其为MIMF。
(8)经过一系列的MEMD分解，原n元信号
Figure BDA0003261961760000127
被分解为一系列的多元模式函数
Figure BDA0003261961760000128
和余量r(t)的和形式，表达式如下：
Figure BDA0003261961760000129
式中：q表示分解出的IMF个数，hi(t)为
Figure BDA00032619617600001210
r(t)为
Figure BDA00032619617600001211
分别对应于n元信号的n组多元模态函数和n个残余量。判定余量r(t)的方法为：当各个投影信号的极值点个数为2或3时，信号接近单调，可以认为信号不再含有MIMF分量，分解结束。
多元信号每个通道分解出来的MIMF个数是相同的，最先分解出来的MIMF频率高，而后分解出来的MIMF频率低，分解的余量频率最低，也可当作最后一个MIMF。这样MEMD分解出来的MIMF按照频率从高到低排序，由于每个动作数据使用MEMD分解得到的MIMF数并不一致，所以通过计算每组数据分解得到的MIMF个数最小值，确定统一使用前7个MIMF进行计算，其中MIMF1包含最高频信息，MIMF2次之，MIMF7最小。
图5是单次运动执行前的脑电经过多元经验模态分解后的各MIMF分量图，此处只取脑电前3导联的前7个MIMF分量。
MIMF1指的是对原信号进行第一次MEMD分解获得的MIMF分量。
MIMF2指的是对第一次MEMD分解后的信号进行第二次MEMD分解获得的MIMF分量。
MIMF3指的是对第二次MEMD分解后的信号进行第三次MEMD分解获得的MIMF分量。
MIMF4指的是对第三次MEMD分解后的信号进行第四次MEMD分解获得的MIMF分量。
MIMF5指的是对第四次MEMD分解后的信号进行第五次MEMD分解获得的MIMF分量。
MIMF6指的是对第五次MEMD分解后的信号进行第六次MEMD分解获得的MIMF分量。
MIMF7指的是对第六次MEMD分解后的信号进行第七次MEMD分解获得的MIMF分量。
步骤四：CNN构建
(1)Layer1：卷积层，25个大小为1*10的卷积核，步长为1，在时间维度上进行特征提取，激活函数为指数线性单元函数ELU，用于拟合非线性问题，其表达式为：
Figure BDA0003261961760000141
ELU函数是ReLU函数的改进，相比于ReLU函数，使用ELU，不仅有ReLU输入为正数时不存在梯度饱和的问题以及计算速度较快等优点，且相比于ReLU，ELU函数中即使输入为负数函数也能被激活，且其输出还具有一定的抗干扰能力；
(2)Layer2：卷积层，25个大小为n*1的卷积核，n为脑电数据导联数，步长为1，对空间信息进行卷积提取，激活函数同样设为ELU；在两层之间没有激活函数，通过这种方式可以将整个卷积强制分离线性变换为时间卷积和空间滤波器的组合实现隐式正则化，降低计算量；该卷积层后加入了BN层和池化层，BN层用于防止过拟合，池化层使用最大池化的方式，池化的大小是1*3，步进为1*3；
(3)Layer3:卷积层，50个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
(4)Layer4：卷积层，100个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
(5)Layer5：Flatten层，对高维特征进行扁平化处理，将其转换为一维数据，同时，对不同MIMF得到的据进行拼接从而共同输入到后面的全连接层中去；
(6)Layer6：全连接层，神经元数为1024个，激活函数为ELU，设置dropout＝0.5，即按50％的概率暂时随机丢弃部分神经元，以防止CNN过拟合；
(7)Layer7：全连接层，神经元数为512个，激活函数为ELU，设置dropout＝0.5；
(8)Layer8：全连接层，神经元数为4个，激活函数为ELU；后接softmax层对结果进行概率预测和分类。
所有的损失函数都使用交叉熵损失函数，卷积神经网络使用自适应距估计优化器Adam，其中参数均为默认值，学习率为0.001，Beta1为0.9，Beta2为0.999。
图6为算法中所用到的CNN结构，输入为u个n*t(通道数*时间长度，30*1000)的脑电信号，不同MIMF输入不同CNNi，依次经过卷积层1、卷积层2、池化层1、卷积层3、池化层2、卷积层4、池化层3、Flatten层后展平为一维数据进行拼接，之后再通过神经元数为1024、512和4的全连接层，通过softmax输出分类结果。
步骤五：用序列前向搜索思想进行最优MIMF组合确认：
(1)设当前特征集合为S，最开始无任何特征，为空集；
(2)从所有MIMF集合T中选择一个MIMF(XN)使得目标结果J(XN)最优，即分类准确率最高；
(3)将XN放入特征集合S中,接着从T-S集合(T集合中除去S集合的剩下部分)中选一个MIMF(X(T-S)N)，如果J(S+X(T-S)N)优于J(S)，则将X(T-S)N加入特征集合S中，否则接着选择下一个MIMF进行计算；
(4)当J(S+X(T-S)N)始终小于J(S)则停止搜索，并确定S集合里的MIMF为最优MIMF组合。
得到最优MIMF组合后输入CNN，经过六折交叉验证得到平均分类准确率。
图6是序列前向搜索流程图。
图7是相同样本在MEMD-CNN、CNN与传统机器学习算法FBCSP-SVM下的分类正确率的对比图。可以看出，除被试9以外，其余每一个被试，MEMD-CNN方法得到的平均分类正确率都高于CNN的结果，且所有被试MEMD-CNN方法得到的平均分类正确率都显著高于FBCSP-SVM的结果。将MEMD-CNN分别与另两种方法的结果做显著性分析，得到的p值小于0.05，说明MEMD-CNN方法和其余两种方法的分类效果有显著性差异。因此，MEMD与CNN结合的算法可以有效提高脑电信号的分类性能，这是因为MEMD处理在一定程度上可以减轻信号野值点对投影产生的干扰，并利用导联之间的互信息来提高对噪声和记录伪影的鲁棒性，CNN可以在时间域和空间域提取更多信号特征，使其更适用于脑电信号的分类识别问题。

Claims (7)

1.一种基于卷积神经网络的手部运动意图分类方法，其特征在于，包括以下步骤：
步骤一：获取多通道、不同手部动作运动执行前的脑电信号并对其进行预处理，同时将脑电数据按比例随机划分为训练集、验证集和测试集；
步骤二：分别对训练集、验证集和测试集的脑电信号进行裁剪扩充，以便后续进行深度学习；
步骤三：分别对每组扩充后的脑电信号X(t)进行多元经验模态MEMD分解；脑电信号经过MEMD分解后产生m个频率由高到低排列的MIMF分量，每个MIMF都为一个时间长度为t的n通道信号，各通道信号都处于同一频段内；
步骤四：为m个MIMF分别构建相同的卷积神经网络CNN，并在全连接层中将所有CNN串联起来，用softmax进行分类输出；
步骤五：基于步骤三和步骤四的过程，采用序列前向搜索思想对MIMF进行挑选，得到分类准确率最高的MIMF组合和CNN模型，从而对多类任务的脑电信号进行分类识别。
2.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，所述步骤一中具体为：
获取n个导联、d种手部动作运动执行脑电信号，通过4导联肌电信号判断动作执行起点并提取动作执行前的脑电信号，其时长为s，每种动作不少于60个试次；对脑电信号进行预处理包括带通滤波处理和陷波处理，用于进行带通滤波步骤的带通滤波器的截止频率为0.1-100HZ；用于进行陷波处理的陷波滤波器的陷波频率为50HZ；将预处理后的每类数据按一定比例随机划分为：训练集、验证集和测试集。
3.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，
所述步骤二中脑电信号的裁剪扩充处理具体步骤如下：
(1)设每组单次脑电信号都表示为X(s)＝{x1(s)，x2(s)，...，xn(s)}，其中n表示脑电信号的通道数，s表示每组动作的时间长度；
(2)使用窗长为t的时间窗对数据进行裁剪，剪切的移动步进为q，通过剪切操作，将时间长度为s的原脑电数据剪切为(s-t)/50+1个时间长度为t的脑电数据X(t)＝{x1(t)，x2(t)，...，xn(t)}。
4.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，
所述步骤三中采用MEMD分解将处理后的脑电信号分解为m个频率由高到低排列的MIMF分量的分解过程为：
(1)设一个n维信号
Figure FDA0003261961750000021
信号的长度为T，
Figure FDA0003261961750000022
表示一组方向向量集，它们在(n-1)维单位球对应的方向角为
Figure FDA0003261961750000023
(2)使用Hammersley序列采样方法，在(n-1)维单位球面上选择K个均匀采样点，K为经验值，是维数的3倍以上，且k＝1，2，3，...，K，产生K个投影向量
Figure FDA0003261961750000024
(3)计算信号X(t)沿每一个投影向量
Figure FDA0003261961750000025
的投影信号，将投影信号记为
Figure FDA0003261961750000031
对于所有K个投影向量，得到X(t)的投影集
Figure FDA0003261961750000032
(4)确定投影集
Figure FDA0003261961750000033
中每个投影信号的极值点对应的时刻
Figure FDA0003261961750000034
i表示极值点的位置，i∈[1，T]；
(5)以
Figure FDA0003261961750000035
为插值节点，使用多元样条插值函数方法得到K个n元包络
Figure FDA0003261961750000036
(6)计算K个方向上n元信号的包络的均值为
Figure FDA0003261961750000037
(7)提取固有模态函数h(t)＝X(t)-m(t)，如果h(t)满足MIMF的判断标准，则定义h(t)为第一阶MIMF分量，并将X(t)-h(t)作为步骤(3)的输入信号，继续迭代步骤(3)～(7)，直到分离出新的MIMF分量，如果h(t)不满足MIMF的条件，把h(t)作为步骤(3)的输入信号，重复上述的步骤(3)～(7)，直至满足终止条件。
5.根据权利要求4所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，所述步骤一中具体为：
所述步骤(7)中所述的终止条件为：
Figure FDA0003261961750000038
其中，M(t)为信号均值，
Figure FDA0003261961750000039
为偏差函数，γ为阈值，根据信号类型进行设定，当
Figure FDA00032619617500000310
的值小于某个阈值时，可以判定其为MIMF；
(8)经过一系列的MEMD分解，原n元信号
Figure FDA00032619617500000311
被分解为一系列的多元模式函数
Figure FDA00032619617500000312
和余量r(t)的和形式，表达式如下：
Figure FDA00032619617500000313
式中：q表示分解出的IMF个数，hi(t)为
Figure FDA0003261961750000041
r(t)为
Figure FDA0003261961750000042
分别对应于n元信号的n组多元模态函数和n个残余量，判定余量r(t)的方法为：当各个投影信号的极值点个数为2或3时，信号接近单调，可以认为信号不再含有MIMF分量，分解结束；
多元信号每个通道分解出来的MIMF个数是相同的，最先分解出来的MIMF频率高，而后分解出来的MIMF频率低，分解的余量频率最低，也可当作最后一个MIMF；这样MEMD分解出来的MIMF按照频率从高到低排序，由于每个动作数据使用MEMD分解得到的MIMF数并不一致，所以通过计算每组数据分解得到的MIMF个数最小值，确定统一使用前7个MIMF进行计算，其中MIMF1包含最高频信息，MIMF2次之，MIMF7最小。
6.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，
所述步骤四中的卷积神经网络，包括输入层、4个卷积层、3个池化层、Flatten层、三个全连接层和输出层，具体为：
(1)Layer1：卷积层，25个大小为1*10的卷积核，步长为1，在时间维度上进行特征提取，激活函数为指数线性单元函数ELU，用于拟合非线性问题，其表达式为：
Figure FDA0003261961750000043
ELU函数是ReLU函数的改进，相比于ReLU函数，使用ELU，不仅有ReLU输入为正数时不存在梯度饱和的问题以及计算速度较快等优点，且相比于ReLU，ELU函数中即使输入为负数函数也能被激活，且其输出还具有一定的抗干扰能力；
(2)Layer2：卷积层，25个大小为n*1的卷积核，n为脑电数据导联数，步长为1，对空间信息进行卷积提取，激活函数同样设为ELU；在两层之间没有激活函数，通过这种方式可以将整个卷积强制分离线性变换为时间卷积和空间滤波器的组合实现隐式正则化，降低计算量；该卷积层后加入了BN层和池化层，BN层用于防止过拟合，池化层使用最大池化的方式，池化的大小是1*3，步进为1*3；
(3)Layer3:卷积层，50个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
(4)Layer4：卷积层，100个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
(5)Layer5：Flatten层，对高维特征进行扁平化处理，将其转换为一维数据，同时，对不同MIMF得到的据进行拼接从而共同输入到后面的全连接层中去；
(6)Layer6：全连接层，神经元数为1024个，激活函数为ELU，设置dropout＝0.5，即按50％的概率暂时随机丢弃部分神经元，以防止CNN过拟合；
(7)Layer7：全连接层，神经元数为512个，激活函数为ELU，设置dropout＝0.5；
(8)Layer8：全连接层，神经元数为4个，激活函数为ELU；后接softmax层对结果进行概率预测和分类；
所有的损失函数都使用交叉熵损失函数，卷积神经网络使用自适应距估计优化器Adam，其中参数均为默认值，学习率为0.001，Beta1为0.9，Beta2为0.999。
7.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，
所述步骤五中的序列前向搜索思想具体步骤为：
(1)设当前特征集合为S，最开始无任何特征，为空集；
(2)从所有MIMF集合T中选择一个MIMF(XN)使得目标结果J(XN)最优，即分类准确率最高；
(3)将XN放入特征集合S中,接着从T-S集合(T集合中除去S集合的剩下部分)中选一个MIMF(X(T-S)N)，如果J(S+X(T-S)N)优于J(S)，则将X(T-S)N加入特征集合S中，否则接着选择下一个MIMF进行计算；
(4)当J(S+X(T-S)N)始终小于J(S)则停止搜索，并确定S集合里的MIMF为最优MIMF组合。
CN202111075444.8A 2021-09-14 2021-09-14 一种基于卷积神经网络的手部运动意图分类方法 Active CN113642528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111075444.8A CN113642528B (zh) 2021-09-14 2021-09-14 一种基于卷积神经网络的手部运动意图分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111075444.8A CN113642528B (zh) 2021-09-14 2021-09-14 一种基于卷积神经网络的手部运动意图分类方法

Publications (2)

Publication Number Publication Date
CN113642528A CN113642528A (zh) 2021-11-12
CN113642528B true CN113642528B (zh) 2022-12-09

Family

ID=78425728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111075444.8A Active CN113642528B (zh) 2021-09-14 2021-09-14 一种基于卷积神经网络的手部运动意图分类方法

Country Status (1)

Country Link
CN (1) CN113642528B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115227266B (zh) * 2022-06-29 2024-03-08 山东科技大学 一种肌电信号分类方法、计算机设备以及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038429A (zh) * 2017-11-30 2018-05-15 西安交通大学 一种运动执行的单次脑电特征提取分类方法
CN110069958B (zh) * 2018-01-22 2022-02-01 北京航空航天大学 一种密集深度卷积神经网络的脑电信号快速识别方法
CN110353702A (zh) * 2019-07-02 2019-10-22 华南理工大学 一种基于浅层卷积神经网络的情感识别方法及系统

Also Published As

Publication number Publication date
CN113642528A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
WO2021143353A1 (zh) 一种手势信息处理方法、装置、电子设备及存储介质
Li et al. Densely feature fusion based on convolutional neural networks for motor imagery EEG classification
CN111134666A (zh) 一种多通道脑电数据的情绪识别方法及电子装置
CN114266276B (zh) 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
CN113128552B (zh) 一种基于深度可分离因果图卷积网络的脑电情绪识别方法
CN110333783B (zh) 一种用于鲁棒肌电控制的无关手势处理方法及系统
CN110399846A (zh) 一种基于多通道肌电信号相关性的手势识别方法
CN112043473B (zh) 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
CN111797674B (zh) 基于特征融合和粒子群优化算法的mi脑电信号识别方法
CN115381466A (zh) 基于AE和Transformer的运动想象脑电信号分类方法
CN113536882A (zh) 一种多类运动想象脑电信号特征提取及分类方法
CN113642528B (zh) 一种基于卷积神经网络的手部运动意图分类方法
CN116340824A (zh) 基于卷积神经网络的肌电信号动作识别方法
CN115238796A (zh) 基于并行damscn-lstm的运动想象脑电信号分类方法
CN114781441A (zh) Eeg运动想象分类方法及多空间卷积神经网络模型
CN114209342A (zh) 一种基于时空特征的脑电信号运动想象分类方法
CN113128384B (zh) 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法
CN113974627A (zh) 一种基于脑机生成对抗的情绪识别方法
Jiang et al. Application of transformer with auto-encoder in motor imagery EEG signals
CN117235576A (zh) 一种基于黎曼空间的运动想象脑电意图分类方法
CN113128353A (zh) 面向自然人机交互的情绪感知方法及其系统
CN115281676B (zh) 基于gru神经网络和ecg信号的疲劳检测方法
CN116343324A (zh) 一种融合MEMD与Hilbert空间填充曲线的sEMG处理方法及系统
Hamedi et al. Imagined speech decoding from EEG: The winner of 3rd Iranian BCI competition (iBCIC2020)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant