CN113128459B - 一种基于多层次脑电信号表达下的特征融合方法 - Google Patents

一种基于多层次脑电信号表达下的特征融合方法 Download PDF

Info

Publication number
CN113128459B
CN113128459B CN202110488275.4A CN202110488275A CN113128459B CN 113128459 B CN113128459 B CN 113128459B CN 202110488275 A CN202110488275 A CN 202110488275A CN 113128459 B CN113128459 B CN 113128459B
Authority
CN
China
Prior art keywords
representing
learning
time
gate
weight matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110488275.4A
Other languages
English (en)
Other versions
CN113128459A (zh
Inventor
杨俊�
刘林涛
沈韬
冯泽林
殷喜喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202110488275.4A priority Critical patent/CN113128459B/zh
Publication of CN113128459A publication Critical patent/CN113128459A/zh
Application granted granted Critical
Publication of CN113128459B publication Critical patent/CN113128459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种基于多层次脑电信号表达下的特征融合方法，属于脑信息解码领域。本发明采用Bi‑LSTM和CNN构建并行框架，对多层次表达形式的运动想象脑电序列进行特征捕获。Bi‑LSTM用于提取时域特征和长时间隔下的动态相关性，CNN被用来学习经短时傅里叶转换后的脑电二维时频能量数据特征。特征获取后，再利用两层堆叠式稀疏自编码器将不同层次特征重构融合，该步骤也是为了从不同被试个体脑电知识中获取到共性有用信息，从而指导实现跨被试用户运动想象任务分类识别模型。本发明可以作为一种在不同脑机接口被试用户上推广的泛化识别系统，该迁移学习模式的实现为免校准脑机在线接口系统的实际实现提供了新的思路。

Description

一种基于多层次脑电信号表达下的特征融合方法
技术领域
本发明属于脑信息解码领域，具体涉及一种基于多层次脑电信号表达下的特征融合方法。
背景技术
脑科学是公认的科技前沿，基于信息科学的脑研究与应用主要包括脑信息获取，脑信息解码和应用三个方面。脑信息解码又称脑意图信息特征提取与识别，是目前脑科学中最重要的研究领域之一，其目的是通过捕获自发或诱发产生的脑信息变化量来解读脑意图。脑信息解码是实现脑机接口(BCI)系统的关键环节。由于人体构造的复杂性，脑电信息的总体变化是无规律可循的，微小的刺激变化就需要进行大量的解码分析才能识别出。脑电解码需要对大量的脑电特征进行有效的提取和表达，但是通过合理的方法是完全能够设计出高效的解码方法。我们通过研究发现，同类任务信号间确实存在一定的内源共性，并且这种内源共性在不同类任务中表现得不明显。运动图像脑电图(MI-EEG)可以被看作是不同时段的信号叠加后的结果，同一个时段信息反映的是由运动感觉区不同位置的脑区功能信息，由脑结构可以知道这些区域是相通并且具有很大的关联作用。因此针对不同时段的MI-EEG来说，不仅要考虑其独立的特征对解码的影响，还要考虑特征组合以及全局特征对解码的影响。这意味着合理的特征提取方法(找出内源共性部分)指导识别模型进行学习能够提升识别性能。特征提取可以被看作是预处理的深入环节。这个环节里，我们只关注对识别任务有用或有意义的信息成分，因此进行特征提取的目的有两点：一是提升整个解码过程的效率，二是提升分类识别性能。因此围绕这两个目的，人们开展了大量的相关工作。当前方法大多关注单层次信息结构如时频能量数据，频率-空间信息等方面。例如使用多层卷积神经网络用于对脑电特征提取，并采用自动编码器对所提出的特征进行融合；使用联合卷积和递归神经网络进行特征提取的深度模型，从原始脑电数据中学习高阶融合特征形式。但这些方法都只聚焦于关联信息提取和多结构下获取到的特征融合，很少有研究从脑-机接口系统用途需求(偏重精度还是效率)角度出发，关注不同尺度通道选择下的多层次信息表达形式和辨识特征的利用情况。
发明内容
为了解决上述问题，本发明提供了一种基于多层次表达的脑电共性特征融合学习的多被试知识迁移学习方案，用于解决不同被试差异性下的脑机接口系统需要反复校准的问题。
具体技术方案为：
Step1对时序脑电信号进行预处理，将原始MI-EEG数据过滤到ERS/ERD目标μ和β波段
运动想象任务下的脑电信号会产生事件相关同步/去同步现象。该现象在C3，C4和Cz电极通道上的u节律(8-13Hz)和β节律(17-30Hz)上有显著的能量变化特征，将这三个通道作为目标通道。
Step1.1将目标通道的时序脑电信号进行串联；
Step1.2对串联后的时序脑电信号通过短时傅里叶变换转换为二维时频能量形式。
Step2对预处理的时序脑电信号进行特征提取
利用一种结合了Bi-LSTM和CNN的并行特征学习方法来处理预处理的脑电图序列及其通过短时傅里叶变换(STFT)进行的二维转换。预处理涉及将原始MI-EEG数据过滤到事件相关同步化(ERS)/事件相关去同步(ERD)目标μ和β波段。Bi-LSTM有助于提取串联形式的上下文相关性，而CNN用于二维时间频谱数据处理；
Step2.1利用Bi-LSTM提取Step1.1中串联后的时序脑电信号的时空特征信息；
Step2.2利用CNN提取Step1.2中转换后的时频能量的时频特征信息。
Step3对提取出的特征进行融合
利用两层堆叠式稀疏自编码器将不同层次特征重构融合，然后使用域对抗训练框架来训练该模型。
利用一种特征融合和不变性捕捉过程，使分类器或其它预测变量时更容易提取有用的信息。使用域对抗网络将一个领域的模型推广到另一个领域，使神经网络的内部不包含有关输入源的歧义信息，同时保证源样本的低风险。
优选的，利用Bi-LSTM提取串联信号的可用信息：
前向学习：
Figure BDA0003051266860000031
后向学习：
Figure BDA0003051266860000032
输出：
Figure BDA0003051266860000033
其中，
Figure BDA0003051266860000034
表示前向学习时输入门在时间t处的结果，
Figure BDA0003051266860000035
表示前向学习时权重矩阵在输入门处的值，xt表示在时间t处的输入，
Figure BDA0003051266860000036
表示前向学习时递归权重矩阵在输入门处的值，
Figure BDA0003051266860000037
表示前向学习时隐藏状态在时间t-1处的结果，
Figure BDA0003051266860000038
表示输入门的偏置值，
Figure BDA0003051266860000039
表示前向学习时遗忘门在时间t处的结果，
Figure BDA00030512668600000310
表示前向学习时权重矩阵在遗忘门处的值，
Figure BDA00030512668600000311
表示前向学习时递归权重矩阵在遗忘门处的值，
Figure BDA00030512668600000312
表示遗忘门的偏置值，
Figure BDA00030512668600000313
表示前向学习时输出门在时间t处的结果，
Figure BDA00030512668600000314
表示前向学习时权重矩阵在输出门处的值，
Figure BDA00030512668600000315
表示前向学习时递归权重矩阵在输出门处的值，
Figure BDA00030512668600000316
表示输出门的偏置值，
Figure BDA00030512668600000317
表示前向学习时细胞状态在时间t处的结果，
Figure BDA00030512668600000318
表示前向学习时细胞状态在时间t-1处的结果，
Figure BDA00030512668600000319
表示前向学习时权重矩阵在细胞状态处的值，
Figure BDA00030512668600000320
表示前向学习时递归权重矩阵在细胞状态处的值，
Figure BDA00030512668600000321
表示细胞状态的偏置值，
Figure BDA00030512668600000322
表示前向学习时隐藏状态在时间t处的结果，
Figure BDA00030512668600000323
表示后向学习时输入门在时间t处的结果，
Figure BDA00030512668600000324
表示后向学习时权重矩阵在输入门处的值，xt表示在时间t处的输入，
Figure BDA00030512668600000325
表示后向学习时递归权重矩阵在输入门处的值，
Figure BDA00030512668600000326
表示后向学习时隐藏状态在时间t-1处的结果，
Figure BDA00030512668600000327
表示输入门的偏置值，
Figure BDA0003051266860000041
表示后向学习时遗忘门在时间t处的结果，
Figure BDA0003051266860000042
表示后向学习时权重矩阵在遗忘门处的值，
Figure BDA0003051266860000043
表示后向学习时递归权重矩阵在遗忘门处的值，
Figure BDA0003051266860000044
表示遗忘门的偏置值，
Figure BDA0003051266860000045
表示后向学习时输出门在时间t处的结果，
Figure BDA0003051266860000046
表示后向学习时权重矩阵在输出门处的值，
Figure BDA0003051266860000047
表示后向学习时递归权重矩阵在输出门处的值，
Figure BDA0003051266860000048
表示输出门的偏置值，
Figure BDA0003051266860000049
表示后向学习时细胞状态在时间t处的结果，
Figure BDA00030512668600000410
表示后向学习时细胞状态在时间t-1处的结果，
Figure BDA00030512668600000411
表示后向学习时权重矩阵在细胞状态处的值，
Figure BDA00030512668600000412
表示后向学习时递归权重矩阵在细胞状态处的值，
Figure BDA00030512668600000413
表示细胞状态的偏置值，
Figure BDA00030512668600000414
表示后向学习时隐藏状态在时间t处的结果，σg表示sigmoid激活函数，σt表示tanh激活函数，yt表示输出，此外e表示Hadamard积；
利用CNN处理经短时傅里叶变换处理为二维的时间频谱数据：
ai,j＝f((Wk*x)ij+bk) (4)
ai,j表示二维时间频谱图，x表示输入值，Wk表示权重，bk表示偏置，f(*)表示ReLu激活函数。
所述Step3具体为：
对Bi-LSTM和CNN所提取的特征信息融合，用域对抗网络提高解码模型的效率和泛化能力，式(5)表示输入是两个层次表示形式的组合，损失函数将输入和输出之间的差异作为均方误差(MSE)进行度量，然后将其反向传播至算法以调整权重和偏差；
Figure BDA00030512668600000415
其中，H表示隐藏层向量，X'表示输出层向量，Wen表示编码器的权重，Wde表示解码器的权重，ben表示编码器的偏置，bde表示解码器的偏置，σ表示sigmoid函数；
利用式(6)-(17)对源域构造一个分类器，该分类器已使用不同的源域数据进行了预训练，并学会区分它们，损失函数收敛的目标是通过域对抗性训练来寻找源域和任务域鉴别器之间的动态平衡：
FD＝Gm(X；Wm,bm) (6)
RD＝Gs(FD；Ws,bs) (7)
其中，Gm学习函数：X→FD将脑电样本映射为多层次Bi-LSTM和CNN的新的D维特征，X表示输入，FD表示映射后的D维特征，Wm表映射权重，bm表示映射偏置；Gs学习函数：FD→RD从多层次特征构造潜在表示，RD表示构造的潜在表示，Ws表示构造权重，bs表示构造偏置；
Gy(Gs(Gm(X))；Wyby)＝softmax(WyGs(Gm(X))+by) (8)
Figure BDA0003051266860000051
式(8)、(9)构造一个分类器映射的预测函数Gy：将RD行进4分类，Softmax表示多分类预测函数，Wy表示预测权重，by表示预测偏置；
式(10)给定标记源{xi，yi}，使用的自然分类损失函数是正确标签的负对数概率，其中Ly表示预测损失函数：
Figure BDA0003051266860000052
训练第i个样本的神经网络，然后导致以下优化问题：
Figure BDA0003051266860000053
其中θ(Ws，bs)表示一个可选的正则化器，λ表示超参数，
Figure BDA0003051266860000054
表示训练第i个样本时的预测损失函数，n表示所训练的样本数；
对于学习逻辑回归的域分类Gd：将RD行进多分类，该模型对给定输入来自被试用户源域的概率进行建模，其中Wd表示域分类权重，bd表示域分类偏置，Sigm表示sigmoid函数：
Gd(Gs(Gm(X))；Wd,bd)＝sigm(WdGs(Gm(X))+bd) (12)
对抗性源域损失的定义为式(13)：
Figure BDA0003051266860000061
其中ri和di表示第i个EEG样本的映射表示形式和变量，Ld表示在学习逻辑回归的域分类时的损失函数；
当考虑对整个训练进行领域调整时，将正则化项添加到全局成本中，如式(14)所示，其中
Figure BDA0003051266860000062
表示在学习逻辑回归的域分类时训练第i个样本的损失函数：
Figure BDA0003051266860000063
n'表示n+1，N表示样本总数。
将等式(11)的完整优化目标重写为式(15)，其中E表示优化函数：
Figure BDA0003051266860000064
优化问题涉及到分类参数的最小化，以及关于源域区分参数的最大化：式(16)、(17)：
Figure BDA0003051266860000065
Figure BDA0003051266860000066
其中
Figure BDA0003051266860000067
分别表示Wm,Wy,bm,by的最佳参数，
Figure BDA0003051266860000068
分别表示Ws,Wd,bs,bd的最佳参数。
有益效果为：本发明提出基于多层次脑电信号表达下的特征融合方法用于多被试用户信息迁移的免校准脑机接口。联合深度卷积递归神经网络，可同时从连续EEG信号及其通过短时傅立叶变换进行的光谱图像变换中学习鲁棒性能的高级表示。为了充分利用双向长短期记忆网络和卷积神经网络生成的特征，提出了堆叠稀疏自动编码器用于融合和集中判别特征，然后，使用域对抗训练框架来训练该模型。最后，根据这些特征对基于运动图像脑电图进行分类预测。实验结果表明，本发明提出的方法依赖于较少的训练数据量。并且，训练时间与训练数据的规模几乎成线性增长。
附图说明
图1为BCI深度学习系统；
图2为Bi-LSTM与CNN并行特征融合结构；
图3为D1数据集上四种算法的leave-one-out训练精度及其所消耗时间；
图4为两种模式下的训练准确性和校准时间。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
1、基于多层次脑电信号表达下的特征融合方法用于多被试用户的免校准脑机接口
1.1MI-EEG特征表达与特征提取的MI-EEG解码框架
特征本身指的是对事物特性的表达结果。在MI-EEG数据中，特性对应的是与ERD/ERS现象关联的辨识信息。就特征携带的辨识信息来说，特征还分为局部特征和全局特征。我们方法的关键目标是设计一个深度学习模型，该模型将捕获不变性表达形式，以基于来自不同被试者的MI-EEG数据来提高泛化性和鲁棒性。为了获得有用和有益的脑电图特征。采用了一种结合了Bi-LSTM和CNN的并行特征学习方法来处理预处理的脑电图序列及其通过STFT进行的二维转换。预处理涉及将原始MI-EEG数据过滤到ERS/ERD目标μ和β波段。Bi-LSTM有助于提取串联形式的上下文相关性，而CNN用于二维时间频谱数据处理。
如图1所示，原始脑电图预处理成为串联脑电信号后，分两路再处理，一路输入到长短时记忆网络(Bi-LSTM)提取时频特征，一路经短时傅里叶变换(STFT)后生成的2D图像输入到卷积神经网络(CNN)中提取频域特征。然后将两路特征信号导入堆叠稀疏自动编码器(SSAE)用于融合和集中判别特征，然后使用域对抗训练框架来训练我们的模型，以探索BCI的跨被试用户可迁移性。
1.2基于Bi-LSTM和CNN的并行框架构建
本发明首先提出了串联通道间表示，并利用Bi-LSTM从顺序点或空间通道的动态相互依赖性中捕获上下文相关性。另外，它们可以通过提供时间快捷路径有效地克服序列数据中的梯度消失问题。一个标准的LSTM模块由输入，忘记和输出门以及单元激活组件组成。LSTM网络可以防止网络的其余部分长时间修改存储单元的内容。但是，LSTM只能按先前的顺序处理数据。因此，双向LSTM被应用为能够在两个单独的隐藏层中处理两个方向(向前和向后)的数据。理论上，这些网络在计算过程中涉及输入序列的所有信息。此外，尽管每个LSTM块具有相同的输入信号，但是每个LSTM块都保持独立的参数，当使用Bi-LSTM网络在每个时间步学习序列时，这将发挥作用。如图2所示，Bi-LSTM应用于3个电极信号，每次进行2s长时间的运动图像任务试验。Bi-LSTM学习功能定义如下，见式(1)(2)(3)：
前向学习：
Figure BDA0003051266860000081
后向学习：
Figure BDA0003051266860000082
输出：
Figure BDA0003051266860000083
其中，
Figure BDA0003051266860000084
表示前向学习时输入门在时间t处的结果，
Figure BDA0003051266860000085
表示前向学习时权重矩阵在输入门处的值，xt表示在时间t处的输入，
Figure BDA0003051266860000091
表示前向学习时递归权重矩阵在输入门处的值，
Figure BDA0003051266860000092
表示前向学习时隐藏状态在时间t-1处的结果，
Figure BDA0003051266860000093
表示输入门的偏置值。
Figure BDA0003051266860000094
表示前向学习时遗忘门在时间t处的结果，
Figure BDA0003051266860000095
表示前向学习时权重矩阵在遗忘门处的值，
Figure BDA0003051266860000096
表示前向学习时递归权重矩阵在遗忘门处的值，
Figure BDA0003051266860000097
表示遗忘门的偏置值。
Figure BDA0003051266860000098
表示前向学习时输出门在时间t处的结果，
Figure BDA0003051266860000099
表示前向学习时权重矩阵在输出门处的值，
Figure BDA00030512668600000910
表示前向学习时递归权重矩阵在输出门处的值，
Figure BDA00030512668600000911
表示输出门的偏置值。
Figure BDA00030512668600000912
表示前向学习时细胞状态在时间t处的结果，
Figure BDA00030512668600000913
表示前向学习时细胞状态在时间t-1处的结果，
Figure BDA00030512668600000914
表示前向学习时权重矩阵在细胞状态处的值，
Figure BDA00030512668600000915
表示前向学习时递归权重矩阵在细胞状态处的值，
Figure BDA00030512668600000916
表示细胞状态的偏置值，
Figure BDA00030512668600000917
表示前向学习时隐藏状态在时间t处的结果。
Figure BDA00030512668600000918
表示后向学习时输入门在时间t处的结果，
Figure BDA00030512668600000919
表示后向学习时权重矩阵在输入门处的值，xt表示在时间t处的输入，
Figure BDA00030512668600000920
表示后向学习时递归权重矩阵在输入门处的值，
Figure BDA00030512668600000921
表示后向学习时隐藏状态在时间t-1处的结果，
Figure BDA00030512668600000922
表示输入门的偏置值。
Figure BDA00030512668600000923
表示后向学习时遗忘门在时间t处的结果，
Figure BDA00030512668600000924
表示后向学习时权重矩阵在遗忘门处的值，
Figure BDA00030512668600000925
表示后向学习时递归权重矩阵在遗忘门处的值，
Figure BDA00030512668600000926
表示遗忘门的偏置值。
Figure BDA00030512668600000927
表示后向学习时输出门在时间t处的结果，
Figure BDA00030512668600000928
表示后向学习时权重矩阵在输出门处的值，
Figure BDA00030512668600000929
表示后向学习时递归权重矩阵在输出门处的值，
Figure BDA00030512668600000930
表示输出门的偏置值。
Figure BDA00030512668600000931
表示后向学习时细胞状态在时间t处的结果，
Figure BDA00030512668600000932
表示后向学习时细胞状态在时间t-1处的结果，
Figure BDA00030512668600000933
表示后向学习时权重矩阵在细胞状态处的值，
Figure BDA00030512668600000934
表示后向学习时递归权重矩阵在细胞状态处的值，
Figure BDA00030512668600000935
表示细胞状态的偏置值，
Figure BDA00030512668600000936
表示后向学习时隐藏状态在时间t处的结果。σg表示sigmoid激活函数，σt表示tanh激活函数，yt表示输出。此外e表示Hadamard积。
卷积神经网络(CNN)是将神经科学的研究成果引入深度学习研究的一个成功案例。CNN的结构和机制为处理复杂的多维数据提供了很大帮助。一般来说，每个卷积层通常包括三个处理阶段，即卷积阶段，检测阶段和池化阶段,由输入层、卷积层、池化层和全连接层组成。卷积过程可以在看作是对细分出的特征进行组合的过程，池化是将组合出的特征进行表达的过程，即以一定的分辨率进行还原特性的特征表达。引入了典型的CNN以识别2D图像形式的形状并捕获形状的局部不变性。在CNN过程中，输入在卷积层中与几个多维过滤器(也称为卷积核)进行卷积，并在池化层中被子采样为较小的大小。通过反向传播算法学习CNN中的网络参数，以优化分类器。根据我们的数据输入，将运动图像任务脑电图的时间，频率和电极位置信息一起映射为2D图像形式。但是，输入图像(光谱和空间信息)在输入图像上的垂直位置在识别任务的执行中比水平位置更重要。因此，我们引入了主要针对水平轴进行滤波的CNN。CNN结构由六层组成，包括卷积，池化和完全连接组件，如图2所示，整个卷积过程在表Ⅰ中列出。分别在第一和第二卷积层中将滤波器总数分别设置为25和50，并根据经验根据输入大小配置滤波器大小。经过两次卷积运算，获得了50个特征图，每个特征图的大小为19×16。每个卷积块有序地由经过校正的线性激活后的批标准化(BN)组成。
表Ⅰ拟议的卷积网络
Figure BDA0003051266860000101
利用CNN处理经STFT处理为二维的时间频谱数据，在卷积层，将输入图像卷积以形成给定层的第k个滤波器，其结果如下，见式(4)：
ai,j＝f((Wk*x)ij+bk) (4)
ai,j表示二维时间频谱图，x表示输入值，Wk表示权重，bk表示偏置，f(*)表示ReLu激活函数。
对Bi-LSTM和CNN所提取的特征信息融合，用域对抗网络提高解码模型的效率和泛化能力，式(5)表示输入是两个层次表示形式的组合，损失函数将输入和输出之间的差异作为均方误差(MSE)进行度量，然后将其反向传播至算法以调整权重和偏差；
Figure BDA0003051266860000111
其中，H表示隐藏层向量，X'表示输出层向量，Wen表示编码器的权重，Wde表示解码器的权重，ben表示编码器的偏置，bde表示解码器的偏置，σ表示sigmoid函数。
1.3域对抗网络的构建
使用领域对抗网络来学习可以很好地从一个领域推广到另一个领域的模型，使神经网络的内部不包含有关输入源的分歧信息，同时保证源样本的低风险。在本发明中，我们为源域构造一个分类器，该分类器已使用不同的源域数据进行了预训练，并学会区分它们。损失函数收敛的目标是通过域对抗性训练来寻找源域和任务域鉴别器之间的动态平衡。可以认为，当源域识别器发生故障时，不变性特征是从其它源域提取的。
式(6)-(17)对源域构造一个分类器，该分类器已使用不同的源域数据进行了预训练，并学会区分它们。损失函数收敛的目标是通过域对抗性训练来寻找源域和任务域鉴别器之间的动态平衡：
FD＝Gm(X；Wm,bm) (6)
RD＝Gs(FD；Ws,bs) (7)
其中，Gm学习函数：X→FD将脑电样本映射为多层次Bi-LSTM和CNN的新的D维特征，X表示输入，FD表示映射后的D维特征，Wm表映射权重，bm表示映射偏置；Gs学习函数：FD→RD从多层次特征构造潜在表示，RD表示构造的潜在表示，Ws表示构造权重，bs表示构造偏置；
Gy(Gs(Gm(X))；Wyby)＝softmax(WyGs(Gm(X))+by) (8)
Figure BDA0003051266860000121
式(8)、(9)构造一个分类器映射的预测函数Gy：将RD行进4分类，Softmax表示多分类预测函数，Wy表示预测权重，by表示预测偏置；
式(10)给定标记源{xi，yi}，使用的自然分类损失函数是正确标签的负对数概率，其中Ly表示预测损失函数：
Figure BDA0003051266860000122
训练第i个样本的神经网络，然后导致以下优化问题：
Figure BDA0003051266860000123
其中θ(Ws，bs)表示一个可选的正则化器，λ表示超参数，
Figure BDA0003051266860000124
表示训练第i个样本时的预测损失函数，n表示所训练的样本数；
对于学习逻辑回归的域分类Gd：将RD行进多分类，该模型对给定输入来自被试用户源域的概率进行建模，其中Wd表示域分类权重，bd表示域分类偏置，Sigm表示sigmoid函数：
Gd(Gs(Gm(X))；Wd,bd)＝sigm(WdGs(Gm(X))+bd) (12)
对抗性源域损失的定义为式(13)：
Figure BDA0003051266860000125
其中ri和di表示第i个EEG样本的映射表示形式和变量，Ld表示在学习逻辑回归的域分类时的损失函数；
当考虑对整个训练进行领域调整时，将正则化项添加到全局成本中，如式(14)所示，其中
Figure BDA0003051266860000131
表示在学习逻辑回归的域分类时训练第i个样本的损失函数：
Figure BDA0003051266860000132
n'表示n+1，N表示样本总数。
将等式(11)的完整优化目标重写为式(15)，其中E表示优化函数：
Figure BDA0003051266860000133
优化问题涉及到分类参数的最小化，以及关于源域区分参数的最大化：式(16)、(17)：
Figure BDA0003051266860000134
Figure BDA0003051266860000135
其中
Figure BDA0003051266860000136
分别表示Wm,Wy,bm,by的最佳参数，
Figure BDA0003051266860000137
分别表示Ws,Wd,bs,bd的最佳参数。
2、实验及评估
2.1实验数据及超参数设置
在本节中，我们使用公共数据集和我们自己收集的本地数据集训练CNN和Bi-LSTM网络模型。该数据是使用BCI-EEG系统收集的，该系统使用64个通道记录大脑信号。整个神经网络是使用TensorFlow框架实现的。在训练期间，使用亚当算法来优化均方误差(MSE)损失函数。考虑到CNN提取的特征的长度，选择了50步，因为它足够长以捕获空间和时间的相关性，而又不是太长以无法适合顺序存储器。本发明将一个单位初始化为不与其他单位和过去的状态相互作用的单位。我们利用LassoLars的系数来初始化权重矩阵Wc，从而使隐藏单元最初获得最小二乘回归的结果。其他权重的其余部分将随机初始化。然后将网络初始化为具有最小角度回归的相同输出，并可对其进行训练以捕获时间相关性并减少均方误差。
CNN首先使用MSE(L2)损失进行了100个周期的批量训练，批次大小为100。对所有超参数进行了优化，以优化反馈性能。我们使用了两层Bi-LSTM。LSTM单元的隐藏状态数为16。所有完全连接的层的大小相同为256。两个完全连接的层和一个Softmax分类器用作分类层。LSTM单元的隐藏状态数为16。Bi-LSTM的隐藏节点数为128，并且通过MSE丢失对完全连接进行了微调。LSTM已展开60次迭代。将学习率初始化为0.002，根据经验，辍学概率为0.5。在网络训练中，尽管采用了传统的训练程序，但我们还应用了有监督的训练，同时使用了由较低隐藏层学习的共享数据表示。这使得每项任务对其他任务的培训更有帮助。
2.2实验结果对比分析
为了验证所提出的方法在MI-EEG上的解码性能，首先对模型训练中的一些重要参数变化情况进行分析，然后把所提出的方法与其他方法进行比较。在实验中所涉及的方法主要采用Python平台和机器学习工具箱，参数设置上选择默认或随机参数作为初始参数值。CNN和LSTM是在python平台上使用TensorFlow和Theano软件包实现的。
在此实验中，我们在被试者间验证的基础上评估了分类的准确性。具体而言，将MI任务中的数据集中的一个对象作为测试对象，而其余的对象视为提供训练数据的训练对象。我们假设每个被试都构成自己的领域，从而获得多个源领域。因此，一个被试者提供了288个样本(每类接近72个样本)，公共数据集D1中的训练集包括来自8个被试者的288×8＝2304个样本和来自被试者的288个样本。
图3左图显示了根据训练时期MHRF的平均总体测试精度。这些图表明，MHRF已在30个时代达到峰值，其替代方案分别在50、38和42，体现了拟议框架具有快速拟合能力。此外，我们可以观察到被试者间迁移学习的总体准确性较低，这与我们前面提到的个体变异性的挑战一致。图3中的右图给出了被试者间训练和测试中的时间消耗，这影响了BCI的实时性能。MHRF由于其并行特征提取结构和对抗不变性捕获模式而需要最多的训练时间。但是，此训练是一次性的操作。考虑到实际情况，测试期间算法的执行时间最为重要。与其他基准相似，我们方法的测试时间不到一秒钟。总而言之，尽管需要更多时间来训练模型，但是所提出的方法花费了非常短的测试时间。
为了探索校准过程，我们添加了基于两个模型的训练实验。其中之一是使用受训练的被试者间模型作为初始的预训练模型，以引入用于校准的目标数据(测试对象)，简称为预训练。比较的是直接训练，目标数据标记为未预先训练。根据目标数据学习的训练识别精度和校准时间的结果如图4所示。在线条和条形图的基础上，经过预训练的模型的校准精度从72％提高到100％后接近80％进行目标数据学习的试验(接近三分之一)，而没有进行预训练的另一试验仅在整个时期完成后达到了76％。这表明预训练模型可以更有效地服务于目标数据校准，这是通过使用同一任务下的非同源数据获得的。而且，该方法可以额外地保持有益于部分和少量的可用数据。此外，与校准过程相关的耗时根据目标数据试验的数量呈线性增加。
3、总结
目前基于MI-EEG解码的主要挑战之一是如何从模糊的脑电信号中提取出正确有效的辨识特征。传统特征分析方法聚焦于不同独立特征间的统计特性分析从而找出由输入数据向辨识特征映射的方法。这类方法没有考虑被试者间的差异性。本发明提出了一种基于CNN和Bi-LSTM递归网络的识别方法，用于从EEG原始输入数据中学习时空相关特征。首先，空间卷积层在EEG输入信号上充当空间滤波器，而BN用于加速MI-EEG的训练序列和泛化。然后，使用Bi-LSTM递归网络对时频特征进行分类，该网络可以从前项和后项的上下文中了解更多复杂的信息。通过这种方式，我们详细阐述了CNN和Bi-LSTM的原理，用于在特征提取之后从低级特征中学习高级EEG特征。实验结果表明，提出的CNN&Bi-LSTM方法通过突出有用的信息可以充分利用时空信息。Bi-LSTM在脑电图分析中的应用可能为生物电信号中经典谱特征分析提供新的替代方法。此外，这项工作还可以为MI-EEG识别的进一步研究和实际应用做出贡献。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (2)

1.一种基于多层次脑电信号表达下的特征融合方法，其特征在于，包括如下步骤：
Step1对时序脑电信号进行预处理，将原始MI-EEG数据过滤到ERS/ERD目标μ和β波段
Step1.1将目标通道的时序脑电信号进行串联；
Step1.2对串联后的时序脑电信号通过短时傅里叶变换转换为二维时频能量形式；
Step2对预处理的时序脑电信号进行特征提取
Step2.1利用Bi-LSTM提取Step1.1中串联后的时序脑电信号的时空特征信息；
Step2.2利用CNN提取Step1.2中转换后的时频能量的时频特征信息；
Step3对提取出的特征进行融合
利用两层堆叠式稀疏自编码器将不同层次特征重构融合，然后使用域对抗训练框架根据重构融合特征学习潜在共性特征；
所述Step3具体为：
对Bi-LSTM和CNN所提取的特征信息融合，用域对抗网络提高解码模型的效率和泛化能力，式(5)表示输入是两个层次表示形式的组合，损失函数将输入和输出之间的差异作为均方误差(MSE)进行度量，然后将其反向传播至算法以调整权重和偏置；
Figure FDA0003615881220000011
其中，H表示隐藏层向量，X'表示输出层向量，Wen表示编码器的权重，Wde表示解码器的权重，ben表示编码器的偏置，bde表示解码器的偏置，σ表示sigmoid函数；
利用式(6)-(17)对源域构造一个分类器，该分类器已使用不同的源域数据进行了预训练，并学会区分它们，损失函数收敛的目标是通过域对抗性训练来寻找源域和任务域鉴别器之间的动态平衡：
FD＝Gm(X；Wm,bm) (6)
RD＝Gs(FD；Ws,bs) (7)
其中，Gm学习函数：X→FD将脑电样本映射为多层次Bi-LSTM和CNN的新的D维特征，X表示输入，FD表示映射后的D维特征，Wm表映射权重，bm表示映射偏置；Gs学习函数：FD→RD从多层次特征构造潜在表示，RD表示构造的潜在表示，Ws表示构造权重，bs表示构造偏置；
Gy(Gs(Gm(X))；Wyby)＝softmax(WyGs(Gm(X))+by) (8)
Figure FDA0003615881220000021
式(8)、(9)构造一个分类器映射的预测函数Gy：将RD行进4分类，Softmax表示多分类预测函数，Wy表示预测权重，by表示预测偏置；
式(10)给定标记源{xi，yi}，使用的自然分类损失函数是正确标签的负对数概率，其中Ly表示预测损失函数：
Figure DA00036158812235530894
(10)
训练第i个样本的神经网络，然后导致以下优化问题：
Figure DA00036158812235543903
(11)
其中θ(Ws，bs)表示一个可选的正则化器，λ表示超参数，Li y表示训练第i个样本时的预测损失函数，n表示所训练的样本数；
对于学习逻辑回归的域分类Gd：将RD行进多分类，该模型对给定输入来自被试用户源域的概率进行建模，其中Wd表示域分类权重，bd表示域分类偏置，Sigm表示sigmoid函数：
Gd(Gs(Gm(X))；Wd,bd)＝sigm(WdGs(Gm(X))+bd) (12)
对抗性源域损失的定义为式(13)：
Figure DA00036158812235554325
(13)
其中ri和di表示第i个EEG样本的映射表示形式和变量，Ld表示在学习逻辑回归的域分类时的损失函数；
当考虑对整个训练进行领域调整时，将正则化项添加到全局成本中，如式(14)所示，其中Li d表示在学习逻辑回归的域分类时训练第i个样本的损失函数：
Figure FDA0003615881220000032
n'表示n+1，N表示样本总数；
将等式(11)的完整优化目标重写为式(15)，其中E表示优化函数：
Figure FDA0003615881220000033
优化问题涉及到分类参数的最小化，以及关于源域区分参数的最大化：式(16)、(17)：
Figure FDA0003615881220000034
Figure FDA0003615881220000035
其中
Figure FDA0003615881220000036
分别表示Wm,Wy,bm,by的最佳参数，
Figure FDA0003615881220000037
分别表示Ws,Wd,bs,bd的最佳参数。
2.根据权利要求1所述的基于多层次脑电信号表达下的特征融合方法，其特征在于，所述Step2的具体步骤为：
利用Bi-LSTM提取串联信号的可用信息：
前向学习：
Figure FDA00036158812200000429
后向学习：
Figure FDA00036158812200000428
输出：
Figure FDA0003615881220000043
其中，
Figure FDA0003615881220000044
表示前向学习时输入门在时间t处的结果，
Figure FDA0003615881220000045
表示前向学习时权重矩阵在输入门处的值，xt表示在时间t处的输入，
Figure FDA0003615881220000046
表示前向学习时递归权重矩阵在输入门处的值，
Figure FDA0003615881220000047
表示前向学习时隐藏状态在时间t-1处的结果，
Figure FDA0003615881220000048
表示输入门的偏置值，
Figure FDA0003615881220000049
表示前向学习时遗忘门在时间t处的结果，
Figure FDA00036158812200000410
表示前向学习时权重矩阵在遗忘门处的值，
Figure FDA00036158812200000411
表示前向学习时递归权重矩阵在遗忘门处的值，
Figure FDA00036158812200000412
表示遗忘门的偏置值，
Figure FDA00036158812200000413
表示前向学习时输出门在时间t处的结果，
Figure FDA00036158812200000414
表示前向学习时权重矩阵在输出门处的值，
Figure FDA00036158812200000415
表示前向学习时递归权重矩阵在输出门处的值，
Figure FDA00036158812200000416
表示输出门的偏置值，
Figure FDA00036158812200000417
表示前向学习时细胞状态在时间t处的结果，
Figure FDA00036158812200000418
表示前向学习时细胞状态在时间t-1处的结果，
Figure FDA00036158812200000419
表示前向学习时权重矩阵在细胞状态处的值，
Figure FDA00036158812200000420
表示前向学习时递归权重矩阵在细胞状态处的值，
Figure FDA00036158812200000421
表示细胞状态的偏置值，
Figure FDA00036158812200000422
表示前向学习时隐藏状态在时间t处的结果，
Figure FDA00036158812200000423
表示后向学习时输入门在时间t处的结果，
Figure FDA00036158812200000424
表示后向学习时权重矩阵在输入门处的值，xt表示在时间t处的输入，
Figure FDA00036158812200000425
表示后向学习时递归权重矩阵在输入门处的值，
Figure FDA00036158812200000426
表示后向学习时隐藏状态在时间t-1处的结果，
Figure FDA00036158812200000427
表示输入门的偏置值，
Figure FDA0003615881220000051
表示后向学习时遗忘门在时间t处的结果，
Figure FDA0003615881220000052
表示后向学习时权重矩阵在遗忘门处的值，
Figure FDA0003615881220000053
表示后向学习时递归权重矩阵在遗忘门处的值，
Figure FDA0003615881220000054
表示遗忘门的偏置值，
Figure FDA0003615881220000055
表示后向学习时输出门在时间t处的结果，
Figure FDA0003615881220000056
表示后向学习时权重矩阵在输出门处的值，
Figure FDA0003615881220000057
表示后向学习时递归权重矩阵在输出门处的值，
Figure FDA0003615881220000058
表示输出门的偏置值，
Figure FDA0003615881220000059
表示后向学习时细胞状态在时间t处的结果，
Figure FDA00036158812200000510
表示后向学习时细胞状态在时间t-1处的结果，
Figure FDA00036158812200000511
表示后向学习时权重矩阵在细胞状态处的值，
Figure FDA00036158812200000512
表示后向学习时递归权重矩阵在细胞状态处的值，
Figure FDA00036158812200000513
表示细胞状态的偏置值，
Figure FDA00036158812200000514
表示后向学习时隐藏状态在时间t处的结果，σg表示sigmoid激活函数，σt表示tanh激活函数，yt表示输出，此外e表示Hadamard积；
利用CNN处理经短时傅里叶变换处理为二维的时间频谱数据：
ai,j＝f((Wk*x)ij+bk) (4)
ai,j表示二维时间频谱图，x表示输入值，Wk表示权重，bk表示偏置，f(*)表示ReLu激活函数。
CN202110488275.4A 2021-05-06 2021-05-06 一种基于多层次脑电信号表达下的特征融合方法 Active CN113128459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488275.4A CN113128459B (zh) 2021-05-06 2021-05-06 一种基于多层次脑电信号表达下的特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488275.4A CN113128459B (zh) 2021-05-06 2021-05-06 一种基于多层次脑电信号表达下的特征融合方法

Publications (2)

Publication Number Publication Date
CN113128459A CN113128459A (zh) 2021-07-16
CN113128459B true CN113128459B (zh) 2022-06-10

Family

ID=76781363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488275.4A Active CN113128459B (zh) 2021-05-06 2021-05-06 一种基于多层次脑电信号表达下的特征融合方法

Country Status (1)

Country Link
CN (1) CN113128459B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780134B (zh) * 2021-08-31 2023-05-02 昆明理工大学 一种基于ShuffleNetV2网络的运动想象脑电解码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948427A (zh) * 2019-01-24 2019-06-28 齐鲁工业大学 一种基于长短时记忆模型的意念识别方法
CN111832416A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 一种基于增强卷积神经网络的运动想象脑电信号识别方法
CN112667080A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度卷积对抗网络的脑电信号无人平台智能控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10901508B2 (en) * 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
CN109472194B (zh) * 2018-09-26 2022-02-11 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109583346A (zh) * 2018-11-21 2019-04-05 齐鲁工业大学 基于lstm-fc的脑电信号特征提取与分类识别方法
CN109820525A (zh) * 2019-01-23 2019-05-31 五邑大学 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法
CN110309797A (zh) * 2019-07-05 2019-10-08 齐鲁工业大学 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统
CN111012336B (zh) * 2019-12-06 2022-08-23 重庆邮电大学 时空特征融合的并行卷积网络运动想象脑电图分类方法
CN111950455B (zh) * 2020-08-12 2022-03-22 重庆邮电大学 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法
CN112244878B (zh) * 2020-08-31 2023-08-04 北京工业大学 用并联型多模块cnn和lstm识别关键频带图像序列的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948427A (zh) * 2019-01-24 2019-06-28 齐鲁工业大学 一种基于长短时记忆模型的意念识别方法
CN111832416A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 一种基于增强卷积神经网络的运动想象脑电信号识别方法
CN112667080A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度卷积对抗网络的脑电信号无人平台智能控制方法

Also Published As

Publication number Publication date
CN113128459A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
Yan et al. Deep multi-view learning methods: A review
Chandra et al. Survey on SVM and their application in image classification
CN112667080B (zh) 基于深度卷积对抗网络的脑电信号无人平台智能控制方法
Mensch et al. Learning neural representations of human cognition across many fMRI studies
Ko et al. A survey on deep learning-based short/zero-calibration approaches for EEG-based brain–computer interfaces
Caliskan et al. A deep neural network classifier for decoding human brain activity based on magnetoencephalography
Abdullah et al. Deep transfer learning based parkinson’s disease detection using optimized feature selection
Gatto et al. Tensor analysis with n-mode generalized difference subspace
CN112989920A (zh) 一种基于帧级特征蒸馏神经网络的脑电情绪分类系统
CN113128459B (zh) 一种基于多层次脑电信号表达下的特征融合方法
Kalaiselvi et al. Detection of autism spectrum disorder using transfer learning
Zahra et al. An integrated framework of two-stream deep learning models optimal information fusion for fruits disease recognition
CN113887559A (zh) 一种脑不在环路应用的脑机信息融合分类方法及系统
Huang et al. Modeling task fMRI data via mixture of deep expert networks
Rammy et al. Sequence-to-sequence deep neural network with spatio-spectro and temporal features for motor imagery classification
Serpa et al. Milestones and new frontiers in deep learning
CN115316955A (zh) 一种轻量快速的运动想象脑电信号解码方法
Ahmadieh et al. Visual image reconstruction based on EEG signals using a generative adversarial and deep fuzzy neural network
Moretti et al. Autoencoding topographic factors
Ghifary Domain adaptation and domain generalization with representation learning
Singhal et al. Deep dictionary learning
Luo Class-specific regularized joint distribution alignment for unsupervised domain adaptation
Dubey Usage of deep learning in recent applications
Firat et al. Learning deep temporal representations for brain decoding
US20240164688A1 (en) System and apparatus for generating imaging information based on at least a signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant