CN109472194B - 一种基于cblstm算法模型的运动想象脑电信号特征识别方法 - Google Patents

一种基于cblstm算法模型的运动想象脑电信号特征识别方法 Download PDF

Info

Publication number
CN109472194B
CN109472194B CN201811124725.6A CN201811124725A CN109472194B CN 109472194 B CN109472194 B CN 109472194B CN 201811124725 A CN201811124725 A CN 201811124725A CN 109472194 B CN109472194 B CN 109472194B
Authority
CN
China
Prior art keywords
layer
convolution
lstm
electroencephalogram signals
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811124725.6A
Other languages
English (en)
Other versions
CN109472194A (zh
Inventor
胡章芳
崔婷婷
罗元
张毅
魏博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201811124725.6A priority Critical patent/CN109472194B/zh
Publication of CN109472194A publication Critical patent/CN109472194A/zh
Application granted granted Critical
Publication of CN109472194B publication Critical patent/CN109472194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

本发明请求保护一种基于CBLSTM算法模型的运动想象脑电信号特征识别方法。该算法模型包含以下步骤S1：采集脑电信号；S2：对原始脑电信号进行预处理；S3：采用卷积神经网络提取脑电信号的频域特征；S4：采用双向长短期网络提取脑电信号的时域特征；S5：采用softmax回归方法对脑电信号进行分类；S6：输出最终的脑电信号分类结果。本发明有效提高了多类脑电信号的识别率。

Description

一种基于CBLSTM算法模型的运动想象脑电信号特征识别方法
技术领域
本发明属于脑机接口中脑电信号的识别领域，主要涉及采用卷积神经网络与双向长短期记忆的结合算法模型对多类运动想象脑电信号的识别方法。
背景技术
非侵入式脑机接口(Brain-computer interfaces,BCIs)技术为行动不便的人群提供了一种便利的生活方式，且此控制方式具有很强的可行性和实用性，近年来越来越多地运用于控制计算机及其他智能设备。脑电信号在其中起着不可或缺的作用，可用于检测司机是否疲劳驾驶,也可用于帮助脑卒中患者的功能恢复。
考虑到脑电信号的传播主要是通过多个神经元共同合作完成，本文采用多通道的脑机接口设备进行研究。传统的脑电信号特征分类方法主要有:人工神经网络、线性判别式分析、支持向量机(SVM)等。Hsu等人采用了人工神经网络对音乐情绪识别进行分类，受试者较少且对个体差异进行描述和预测有困难，故分类效果较差。Tian等人采用基于FE+LDA的方法对左右手运动想象信号进行研究得出其平均分类识别率为87.2％。此后Li等人提出一种多尺度模糊熵(MFE)的方法来对MI-EEG进行分析，并采用SVM进行分类，结果表明此方法可有效提高MI-EEG的分类准确率，但是当分类种类增多时会增加系统的复杂性从而降低识别率。此后研究者发现，在生物信号领域，针对脑电信号的非线性非稳定特性，考虑到深度神经网络对大数据的处理具有优势，若能充分利用其分析信号特性可能会取得更好的效果。为此Tang等人通过建立5层CNN模型对想象左右手运动进行分类，结果表明，CNN可以进一步提高分类性能：使用CNN的平均准确率可达86.41±0.77％，比使用传统的power+SVM，CSP+SVM和AR+SVM方法的平均准确率分别高9.24％，3.80％和5.16％。此后Uktveris等人采用CNN方法实现了对四类运动想象脑电信号(想象左右手、脚和舌头运动)的尝试识别，由于增加了目标分类种类，此时体现出单一CNN方法的局限性，即分类准确率随着分类种类的增加而下降。而Ni等人则提出一种双向LSTM网络对脑雾进行分类，此方法显示出了较好的分类性能，但是样本量较小，在增大数据量的同时准确率也降低，然而与其他传统分类算法相比，准确率最高且鲁棒性较好。这也为此后LSTM在脑电信号方面的研究提供了思路。李等人采用OWPT的方法对MI-EEG进行特征提取，LSTM算法对其进行分类，最终经过试验验证发现识别率远高于采用AR+LDA的准确率，由于OWPT本身的局限性，使得实验耗时较长。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种有效提高了多类脑电信号的识别率的基于CBLSTM算法模型的运动想象脑电信号特征识别方法。本发明的技术方案如下：
一种基于CBLSTM算法模型的运动想象脑电信号特征识别方法，其包括如下步骤：
S1：首先采用信号采集仪采集原始的脑电信号；
S2：对采集的脑电信号进行包括滤波、放大在内的预处理，并采用多线性主成分分析对多维脑电信号进行降维处理；
S3：将经过降维处理的脑电信号(采用数据切割方法)整理成序列帧，然后采用改进的卷积神经网络将脑电信号的频域特征提取出来；所述改进的卷积神经网络改进点主要在于：如附图1所示，卷积神经网络模块主要包括五个卷积模块、四个池化层、两个批规范化层和一个Im2col层(加速层)，其中每个卷积模块都由多个卷积层组合，卷积核尺寸大小采用的是3*3和5*5。
S4：然后采用改进序列特征提取算法提取脑电信号的时域特征；所述改进序列特征提取算法改进点主要在于：如附图2所示，将两个LSTM以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新。同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层。
S5：在提取出脑电信号的特征之后，通过Softmax回归对多类脑电信号进行分类并输出结果。
进一步的，所述步骤S3卷积神经网络的结构从上到下依次是：首先是1*2卷积+降采样，然后是并行的卷积组，之后是2*3卷积+降采样，接着是批规范化，之后是3*3卷积+降采样，批规范化以及4*2卷积+降采样，最后是im2col层(加速层)。
进一步的，所述1*2卷积+降采样的卷积核尺寸为3*3，卷积核个数为64，池化层；
进一步的，所述并行的卷积组的卷积核包括5*5，3*3的卷积核，然后将特征融合，卷积核个数均设置为128，还引入了1*1*C的卷积核，C表示常数。
进一步的，所述Conv2*3和Conv3*3均为三个连续的卷积层，每层卷积核尺寸大小为5*5，卷积核个数为128，卷积组后均添加批规范化，它在深度神经网络的中间添加正态标准化处理，使每一层神经网络的输入都保持相同的数据分布；Conv4*2是两个连续的卷积层，卷积核尺寸为5*5，卷积核的个数为256，其后紧接着是im2col层，im2col是Caffe里面的一种加快卷积运算的方法，而im2col将数据送到GPU显存中是按行序连续存储的，然后通过GPU的矩阵乘法运算。
进一步的，所述步骤S4采用序列特征提取算法提取脑电信号的时域特征；具体为：
采用双向LSTM，将两个LSTM以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新。同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层；
将卷积神经网络模块提取的特征输入到网络后，依次经过Im2col_reshape层、Lstm_input层、双向Lstm层、Merge_lstm_rlstm层、Reshape层、Lstm_output层、FC层以及softmax层及输出Output层；
进一步的，将卷积神经网络模块提取的特征输入到网络后，首先经过一个Im2col_reshape层，im2col层(加速层)其作用是将序列特征维度进行转换，作为卷积层和循环层的桥梁；经过卷积模块后生成Im2col的维度256×1×H×W，经过reshape维度变为H×W×256×1，将其输入到双向LSTM中，两个LSTM的维度都是256，一个LSTM从t＝1重复到T，另外一个反向LSTM从t＝T重复到1，信号序列通过正向和反向的隐藏层都受到当前输入和上一时刻状态的影响，其实反向的上一时刻是信号序列的下一时刻；通过误差反向传播进行计算，两层LSTM在隐藏层进行信息融合后对当前时刻t的输入进行预测，输出维度为H×W×512×1，经过Reshape层，Lstm_output输出维度为512×1×H×W，然后经过一层维度为4096的全连接层FC，全连接层的输出送入Softmax来进行分类，给出分类结果Output。
进一步的，所述步骤S5在提取出脑电信号的特征之后，通过Softmax回归对多类脑电信号进行分类并输出结果，具体包括：
使用随机梯度下降SGD进行训练，梯度由反向传播算法计算得出，在双向LSTM循环层中，应用时序反向传播算法来计算误差。即通过一个损失函数进行联合训练，通过不断训练，确定最小误差下的模型权值。
本发明的优点及有益效果如下：
本发明的创新点具体是步骤S3和S4。
S3：在卷积核设计中尽量避免使用较大尺寸的核，主要是因为脑电信号序列不像图像那样具有密集的特征点，即一个信号的区域范围内会存在很多无关特征，卷积核尺寸越大，其感受野就越大，会提取很多无用特征，同时导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。通常情况下设计更深的网络用较小的卷积核能够起正则化的效果。
S4：此模块在设计中考虑了脑电信号具有上下文的时序特性，使用了双向LSTM，双向LSTM的基本原理与LSTM类似，是将两个LSTM以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新。同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层。双向LSTM单元可以保存反向传播的梯度信息，这样使有效梯度信息能够长期保存在网络中，学习高效率的时空特征，并提升脑电信号的分类识别率。
附图说明
图1是本发明提供优选实施例卷积神经网络模块图；
图2是本发明提供优选实施例序列特征提取模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
一种基于卷积双向长短期记忆算法模型的运动想象脑电信号特征识别方法，其包括如下步骤：
S1：首先采用信号采集仪采集原始的脑电信号；
S2：对采集的脑电信号进行滤波，放大等预处理，并采用MPCA对多维脑电信号进行降维处理，减少计算量；
S3：考虑到脑电信号复杂的时空特性，设计了一种可以分别提取脑电信号的时空特征的算法模型，此算法模型首先将脑电信号整理成序列帧，然后经过一个卷积神经网络模块，在这个模块中将脑电信号的频域特征提取出来；
卷积神经网络模块主要由卷积层和池化层组成，模型的深度与卷积层构造深度有关，卷积层越多，网络越深。深层网络能够提取更多的特性，但是模型过于复杂也会导致计算量暴增。本文综合考虑效率和性能两方面因素，设计了算法模型如附图1所示。卷积神经网络模块主要包括五个卷积模块、四个池化层、两个BatchNormalization层和一个Im2col层，其中每个卷积模块都由多个卷积层组合，卷积核尺寸大小采用的是3*3和5*5。本文在卷积核设计中尽量避免使用较大尺寸的核，主要是因为脑电信号序列不像图像那样具有密集的特征点，即一个信号的区域范围内会存在很多无关特征，卷积核尺寸越大，其感受野就越大，会提取很多无用特征，同时导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。通常情况下设计更深的网络用较小的卷积核能够起正则化的效果。
在附图1中Conv1*2包含两个卷积层，每层卷积核尺寸为3*3，卷积核个数为64，之后是池化层，池化的目的是降采样，减少参数量，同时提高训练速度。
紧接着设计了一个并行的卷积组，将5*5，3*3的卷积核并行能够提取不同尺度的特征，然后将特征融合，其效果比单一卷积核好，卷积核个数均设置为128，由于参数量巨大，为此引入1*1*C的卷积核，通过改变C的大小，能够降低通道维度，降低计算量。
附图1中Conv2*3和Conv3*3均为三个连续的卷积层，每层卷积核尺寸大小为5*5，卷积核个数为128，卷积组后均添加Batch Normalization层，即批标准化，它在深度神经网络的中间添加正态标准化处理，使每一层神经网络的输入都保持相同的数据分布，其能够提高网络的泛化能力，解决了每批训练数据分布不同导致的训练速度慢，同时可以将训练数据打乱，具备更快速的收敛特性。
附图1中Con4*2是两个连续的卷积层，卷积核尺寸为5*5，卷积核的个数为256，其后紧接着是im2col层，im2col是Caffe里面的一种加快卷积运算的方法，因为卷积运算是按先行后列进行的，这样的数据在内存中的储存是不连续的，访问内存会浪费过多的时间，而im2col将数据送到GPU显存中是按行序连续存储的，然后通过GPU的矩阵乘法运算，计算速度明显提高。
S4：之后输入到序列特征提取模块中提取脑电信号的时域特征；
由于脑电信号具有时频特性，因此首先将采集到的脑电信号整理成序列形式，同时分离出脑电信号序列的有效范围。经过卷积神经网络模块进行特征提取，就学习到脑电信号的特性，将其输入到序列特征提取模块。此模块在设计中考虑了脑电信号具有上下文的时序特性，使用了双向LSTM，双向LSTM的基本原理与LSTM类似，是将两个LSTM以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新。同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层。该模块的具体实现如附图2所示。
由附图2可知，将卷积神经网络模块提取的特征输入到网络后，首先经过一个Reshape层，其作用是将序列特征维度进行转换，作为卷积层和循环层的桥梁。经过卷积模块后生成Im2col的维度256×1×H×W，经过Reshape维度变为H×W×256×1，将其输入到双向LSTM中，两个LSTM的维度都是256，一个LSTM从t＝1重复到T，另外一个反向LSTM从t＝T重复到1，信号序列通过正向和反向的隐藏层都受到当前输入和上一时刻状态的影响，其实反向的上一时刻是信号序列的下一时刻。通过误差反向传播进行计算，两层LSTM在隐藏层进行信息融合后对当前时刻t的输入进行预测，输出维度为H×W×512×1，经过Reshape层，Lstm_output输出维度为512×1×H×W，然后经过一层维度为4096的全连接层FC，全连接层的输出送入Softmax来进行分类，给出分类结果(Output)。
LSTM具有记忆功能，但其记忆功能的实现依赖于矩阵乘法运算，若将其单独运用于研究大数据脑电信号，意味着大量的参数值参与运算，计算量大的同时耗时也长。卷积神经网络可弥补这些缺陷，因此本文提出CBLSTM方法对脑电信号进行分类。卷积神经网络模块主要负责采集脑电信号序列的各个特征，BLSTM负责捕捉脑电信号序列的时刻演变，并对上下文进行分析，最后采用CBLSTM模型进行测试时生成分类结果。
双向LSTM的实现机制与LSTM相同，其提取信号序列特性的功能都是由输入门、遗忘门、输出门控制的，下面就以LSTM的原理详细描述。
在模型训练的初始，信号先经过卷积神经网络模型提取特征序列，把特征序列输入到序列特征提取模块中，再通过双向LSTM的输入门Γi进入记忆单元，之后输入门对信号序列进行处理：
Γi＝σ(wi[at-1,xt]+bi) (1)
遗忘门Γf即对一些不符的数据舍弃掉，选择性地保留脑电信号，
Γf＝σ(wf[at-1,xt]+bf) (2)
通过多次实验分析，发现遗忘门偏置初始化为1时，效果更好，因此本文将此方法运用于序列特征提取模型中，则LSTM模型的遗忘门计算方法为：
Γf＝σ(wf[at-1,xt]+1) (3)
输出门Γo主要负责将处理结束的信号按一定规则输出给Softmax分类器：
Γo＝σ(wo[at-1,xt]+bo) (4)
记忆单元即对通过的信号进行记忆保存，记忆单元的计算要同时考虑上一时刻的记忆态，及t时刻的记忆单元更新态，且随着它们的变化而变化：
Figure BDA0001812130450000081
而记忆单元的变化规则则是由输入函数at-1和xt共同决定的，其计算公式如下：
Figure BDA0001812130450000082
其中c表示记忆单元，at表示t时刻输入函数，w是权重。tanh(x)是一个双曲线激活函数。LSTM具有记忆功能，但其记忆功能的实现依赖于矩阵乘法运算，若将其单独运用于研究大数据脑电信号，意味着大量的参数值参与运算，计算量大的同时耗时也长。卷积神经网络可弥补这些缺陷，因此本文提出CBLSTM方法对脑电信号进行分类。卷积神经网络模块主要负责采集脑电信号序列的各个特征，BLSTM负责捕捉脑电信号序列的时刻演变，并对上下文进行分析，最后采用CBLSTM模型进行测试时生成分类结果。
S5：在提取出脑电信号的特征之后，通过Softmax回归对多类脑电信号进行分类并输出结果。本发明所用模型使用随机梯度下降(SGD)进行训练，梯度由反向传播算法计算得出。在双向LSTM循环层中，应用时序反向传播算法(BPTT，Back Propagation ThroughTime)来计算误差。即通过一个损失函数进行联合训练，为了最小化损失函数，通过不断训练，确定最小误差下的模型权值。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种基于CBLSTM算法模型的运动想象脑电信号特征识别方法，其特征在于，包括如下步骤：
S1：首先采用信号采集仪采集原始的脑电信号；
S2：对采集的脑电信号进行包括滤波、放大在内的预处理，并采用多线性主成分分析对多维脑电信号进行降维处理；
S3：将经过降维处理的脑电信号采用数据切割方法整理成序列帧，然后采用改进的卷积神经网络将脑电信号的频域特征提取出来；所述改进的卷积神经网络改进点主要在于：卷积神经网络模块主要包括五个卷积模块、四个池化层、两个批规范化层和一个Im2col加速层，其中每个卷积模块都由多个卷积层组合，卷积核尺寸大小采用的是3*3和5*5；
S4：然后采用改进序列特征提取算法提取脑电信号的时域特征；所述改进序列特征提取算法改进点主要在于：将两个LSTM以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新，同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层；
S5：在提取出脑电信号的特征之后，通过Softmax回归对多类脑电信号进行分类并输出结果；
所述步骤S3卷积神经网络的结构从上到下依次是：首先是1*2卷积+降采样，然后是并行的卷积组，之后是2*3卷积+降采样，接着是批规范化，之后是3*3卷积+降采样，批规范化以及4*2卷积+降采样，最后是im2col加速层；
所述1*2卷积+降采样的卷积核尺寸为3*3，卷积核个数为64，池化的目的是降采样，减少参数量；
所述并行的卷积组的卷积核包括5*5，3*3的卷积核，然后将特征融合，卷积核个数均设置为128，还引入了1*1*C的卷积核，C表示常数；
所述Conv2*3和Conv3*3均为三个连续的卷积层，每层卷积核尺寸大小为5*5，卷积核个数为128，卷积组后均添加Batch Normalization层，即批标准化，它在深度神经网络的中间添加正态标准化处理，使每一层神经网络的输入都保持相同的数据分布；Con4*2是两个连续的卷积层，卷积核尺寸为5*5，卷积核的个数为256，其后紧接着是im2col层，im2col是Caffe里面的一种加快卷积运算的方法，而im2col将数据送到GPU显存中是按行序连续存储的，然后通过GPU的矩阵乘法运算。
2.根据权利要求1所述的基于CBLSTM算法模型的运动想象脑电信号特征识别方法，其特征在于，所述步骤S4采用序列特征提取算法提取脑电信号的时域特征；具体为：
采用双向LSTM，将两个LSTM以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新；同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层；
将卷积神经网络模块提取的特征输入到网络后，依次经过Im2col_reshape层、Lstm_input层、双向Lstm层、Merge_lstm_rlstm层、Reshape层、Lstm_output层、FC层以及softmax层及输出Output层。
3.根据权利要求2所述的基于CBLSTM算法模型的运动想象脑电信号特征识别方法，其特征在于，将卷积神经网络模块提取的特征输入到网络后，首先经过一个Im2col_reshape层，im2col加速层其作用是将序列特征维度进行转换，作为卷积层和循环层的桥梁；经过卷积模块后生成Im2col的维度256×1×H×W，经过reshape维度变为H×W×256×1，将其输入到双向LSTM中，两个LSTM的维度都是256，一个LSTM从t＝1重复到T，另外一个反向LSTM从t＝T重复到1，信号序列通过正向和反向的隐藏层都受到当前输入和上一时刻状态的影响，其实反向的上一时刻是信号序列的下一时刻；通过误差反向传播进行计算，两层LSTM在隐藏层进行信息融合后对当前时刻t的输入进行预测，输出维度为H×W×512×1，经过Reshape层，Lstm_output输出维度为512×1×H×W，然后经过一层维度为4096的全连接层FC，全连接层的输出送入Softmax来进行分类，给出分类结果Output。
4.根据权利要求3所述的基于CBLSTM算法模型的运动想象脑电信号特征识别方法，其特征在于，所述步骤S5在提取出脑电信号的特征之后，通过Softmax回归对多类脑电信号进行分类并输出结果，具体包括：
使用随机梯度下降SGD进行训练，梯度由反向传播算法计算得出，在双向LSTM循环层中，应用时序反向传播算法来计算误差；即通过一个损失函数进行联合训练，通过不断训练，确定最小误差下的模型权值。
CN201811124725.6A 2018-09-26 2018-09-26 一种基于cblstm算法模型的运动想象脑电信号特征识别方法 Active CN109472194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811124725.6A CN109472194B (zh) 2018-09-26 2018-09-26 一种基于cblstm算法模型的运动想象脑电信号特征识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811124725.6A CN109472194B (zh) 2018-09-26 2018-09-26 一种基于cblstm算法模型的运动想象脑电信号特征识别方法

Publications (2)

Publication Number Publication Date
CN109472194A CN109472194A (zh) 2019-03-15
CN109472194B true CN109472194B (zh) 2022-02-11

Family

ID=65663191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811124725.6A Active CN109472194B (zh) 2018-09-26 2018-09-26 一种基于cblstm算法模型的运动想象脑电信号特征识别方法

Country Status (1)

Country Link
CN (1) CN109472194B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109994203B (zh) * 2019-04-15 2023-03-24 江南大学 一种基于eeg信号深度多视角特征学习的癫痫检测方法
CN110321856B (zh) * 2019-07-08 2023-01-10 山东大学 一种时频多尺度散度csp的脑机接口方法及装置
CN110244854A (zh) * 2019-07-16 2019-09-17 湖南大学 一种多类别脑电数据识别的人工智能方法
CN110955152A (zh) * 2019-12-02 2020-04-03 杭州创匠信息科技有限公司 基于脑机接口的智能家居控制方法及系统
CN111275098A (zh) * 2020-01-17 2020-06-12 同济大学 应用于信用卡欺诈检测的Encoder-LSTM深度学习模型及其方法
CN111310656A (zh) * 2020-02-13 2020-06-19 燕山大学 基于多线性主成分分析的单次运动想象脑电信号识别方法
CN111150393B (zh) * 2020-02-19 2023-03-28 杭州电子科技大学 基于lstm多通道的脑电癫痫尖棘波放电联合检测方法
CN111317468B (zh) * 2020-02-27 2024-04-19 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN111338482B (zh) * 2020-03-04 2023-04-25 太原理工大学 一种基于监督自编码的脑控字符拼写识别方法及系统
CN111582020B (zh) * 2020-03-25 2024-06-18 平安科技（深圳）有限公司 信号处理方法、装置、计算机设备及存储介质
CN111783857A (zh) * 2020-06-18 2020-10-16 内蒙古工业大学 基于非线性网络信息图的运动想象脑机接口
CN111897428B (zh) * 2020-07-30 2022-03-01 太原科技大学 一种基于运动式脑机接口的手势识别方法
CN111950455B (zh) * 2020-08-12 2022-03-22 重庆邮电大学 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法
CN112244878B (zh) * 2020-08-31 2023-08-04 北京工业大学 用并联型多模块cnn和lstm识别关键频带图像序列的方法
CN112259080B (zh) * 2020-10-20 2021-06-22 北京讯众通信技术股份有限公司 一种基于神经网络模型的语音识别方法
CN112890833A (zh) * 2021-01-21 2021-06-04 河南省轻工业学校 一种基于鸽脑电信号对不同颜色刺激模式的预测方法
CN113269230B (zh) * 2021-04-23 2022-09-06 复旦大学 一种基于时序高维特征提取的多肺炎ct分类方法及装置
CN113128459B (zh) * 2021-05-06 2022-06-10 昆明理工大学 一种基于多层次脑电信号表达下的特征融合方法
CN113261980B (zh) * 2021-05-14 2022-10-21 清华大学 一种基于脑电联合特征学习的大规模视觉分类方法及装置
CN113378650B (zh) * 2021-05-19 2022-07-12 重庆邮电大学 一种基于脑电源成像和正则化共空间模式的情绪识别方法
CN114469139A (zh) * 2022-01-27 2022-05-13 中国农业银行股份有限公司 脑电信号识别模型训练、脑电信号识别方法、装置及介质
CN114209342A (zh) * 2022-01-28 2022-03-22 南京邮电大学 一种基于时空特征的脑电信号运动想象分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084416A1 (zh) * 2015-11-17 2017-05-26 天津大学 一种基于运动想象脑-机接口的反馈系统
CN107495962A (zh) * 2017-09-18 2017-12-22 北京大学 一种单导联脑电的睡眠自动分期方法
CN107563495A (zh) * 2017-08-04 2018-01-09 深圳互连科技有限公司 面向嵌入式低功耗卷积神经网络方法
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN107967514A (zh) * 2016-10-20 2018-04-27 宏达国际电子股份有限公司 卷积网络装置及其影像强化装置与方法
CN108182976A (zh) * 2017-12-28 2018-06-19 西安交通大学 一种基于神经网络的临床医学信息提取方法
US10013640B1 (en) * 2015-12-21 2018-07-03 Google Llc Object recognition from videos using recurrent neural networks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102033411B1 (ko) * 2016-08-12 2019-10-17 한국전자통신연구원 주의집중 기반 문맥 종속 음향 모델을 이용한 음성 인식 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084416A1 (zh) * 2015-11-17 2017-05-26 天津大学 一种基于运动想象脑-机接口的反馈系统
US10013640B1 (en) * 2015-12-21 2018-07-03 Google Llc Object recognition from videos using recurrent neural networks
CN107967514A (zh) * 2016-10-20 2018-04-27 宏达国际电子股份有限公司 卷积网络装置及其影像强化装置与方法
CN107563495A (zh) * 2017-08-04 2018-01-09 深圳互连科技有限公司 面向嵌入式低功耗卷积神经网络方法
CN107495962A (zh) * 2017-09-18 2017-12-22 北京大学 一种单导联脑电的睡眠自动分期方法
CN108182976A (zh) * 2017-12-28 2018-06-19 西安交通大学 一种基于神经网络的临床医学信息提取方法
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning Robust Features using Deep Learning for Automatic Seizure Detection;Pierre Thodoroff et al.;《Proceedings of Machine Learning and Healthcare 2016》;20161231;第4-7页 *
Pierre Thodoroff et al..Learning Robust Features using Deep Learning for Automatic Seizure Detection.《Proceedings of Machine Learning and Healthcare 2016》.2016,第4-7页. *

Also Published As

Publication number Publication date
CN109472194A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109472194B (zh) 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN110096950B (zh) 一种基于关键帧的多特征融合行为识别方法
Reddy et al. Spontaneous facial micro-expression recognition using 3D spatiotemporal convolutional neural networks
CN111950455B (zh) 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法
CN111652066B (zh) 基于多自注意力机制深度学习的医疗行为识别方法
CN109670548B (zh) 基于改进lstm-cnn的多尺寸输入har算法
CN110321833B (zh) 基于卷积神经网络和循环神经网络的人体行为识别方法
CN110367967A (zh) 一种基于数据融合的便携型轻量化人脑状态检测方法
Hara et al. Towards good practice for action recognition with spatiotemporal 3d convolutions
Mutegeki et al. Feature-representation transfer learning for human activity recognition
CN114863572B (zh) 一种多通道异构传感器的肌电手势识别方法
Zhang et al. Multiview unsupervised shapelet learning for multivariate time series clustering
CN110674774A (zh) 一种改进的深度学习人脸面部表情识别方法及系统
CN114781441B (zh) Eeg运动想象分类方法及多空间卷积神经网络模型
CN113255602A (zh) 基于多模态数据的动态手势识别方法
Wei et al. Learning facial expression and body gesture visual information for video emotion recognition
Rangulov et al. Emotion recognition on large video dataset based on convolutional feature extractor and recurrent neural network
Li Parallel two-class 3D-CNN classifiers for video classification
Sridhar et al. A Neural Network Approach for EEG classification in BCI
CN117033985A (zh) 一种基于ResCNN-BiGRU的运动想象脑电分类方法
CN117158997A (zh) 一种基于深度学习的癫痫脑电信号分类模型的建立方法、分类方法
CN113887509B (zh) 一种基于图像集合的快速多模态视频人脸识别方法
CN112926502B (zh) 基于核化双群稀疏学习的微表情识别方法及系统
CN112465054B (zh) 一种基于fcn的多变量时间序列数据分类方法
Fan et al. Facial expression recognition based on multiple feature fusion in video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant