CN115054272A - 一种面向运动障碍功能重塑的脑电信号识别方法及系统 - Google Patents

一种面向运动障碍功能重塑的脑电信号识别方法及系统 Download PDF

Info

Publication number
CN115054272A
CN115054272A CN202210893898.4A CN202210893898A CN115054272A CN 115054272 A CN115054272 A CN 115054272A CN 202210893898 A CN202210893898 A CN 202210893898A CN 115054272 A CN115054272 A CN 115054272A
Authority
CN
China
Prior art keywords
electroencephalogram
brain
matrix
graph
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210893898.4A
Other languages
English (en)
Inventor
吕钊
杨小可
范存航
王华彬
裴胜兵
李平
周健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210893898.4A priority Critical patent/CN115054272A/zh
Publication of CN115054272A publication Critical patent/CN115054272A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Neurosurgery (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种面向运动障碍功能重塑的脑电信号识别方法及系统。识别方法包括以下步骤：S1：设置采样周期，获取多个脑电信号；S2：对脑电信号预处理并提取训练集；S3：将训练集中的脑电信号分为不重叠的时间窗口，计算每个时间窗口的皮尔逊系数，获取时域脑功能连接；S4：根据时域脑功能连接和空间域信息建立脑部生物拓扑模型；S5：提取特定频段范围内的初始特征，校准后训练集上的特征作为输入特征；S6：根据输入特征和脑部生物拓扑模型构造可学习图卷积神经网络模型，输出预测标签。本发明通过充分融合时‑频‑空域的脑电信息，学习更具有鉴别性的运动想象特征，使得模型在训练过程中合理优化电极关系，提高了脑电信号识别的准确率。

Description

一种面向运动障碍功能重塑的脑电信号识别方法及系统
技术领域
本发明涉及脑电信号识别技术领域，特别是涉及一种面向运动障碍功能重塑的脑电信号识别方法、一种面向运动障碍功能重塑的脑电信号识别系统。
背景技术
运动是人日常生活中最基本的功能之一，因意外事故或疾病导致不同程度的运动功能受损的运动障碍患者，他们的生活能力和生存质量都受到了严重的影响。目前运动障碍患者进行的康复类训练往往是被动活动障碍部位，且辅具仅与障碍处肌肉关联并没有与神经系统建立连接，这样很难对运动障碍者的积极性和自主性进行调动。因此，运动障碍患者急需更加有效的辅助康复工具和更主动的训练方式。脑电信号(Electroencephalogram,EEG)具有自发性和高精度等优势，在医疗健康、智慧驾驶、生活娱乐等领域都有着广泛的应用。基于脑电信号对大脑重塑并将其转化为控制运动的指令可以帮助运动障碍患者修复及补充大脑信息的输出，并且增强训练肌肉与中枢神经系统的信息交互。
目前脑电信号精确识别工作的难点主要表现在以下三个方面：1、脑电信号具有非平稳特性和个体差异性。即面对相同的刺激，不同的文化背景、生长环境的个体的脑电表征不同，通过数据集训练的模型可能仅仅适用于当前个体，缺乏泛化能力。2、冗余电极信息的干扰。当前深度网络模型的网络节点一般都是全通道的脑电信号，这就造成一些与运动关联较低的电极产生的信号也进入网络训练，产生大量的冗余信息，为模型进行自主学习引入了干扰信息，导致负向学习。3、脑功能网络难以构建。大脑与人体其他结构不同，大脑区域之间的连接并没有明确的物理拓扑结构，脑电通道之间的空间位置联系也不同于它们之间的功能联系，以往的研究往往忽略了大脑区域间的信息连接。
发明内容
基于此，有必要针对脑电信号识别精确度低的问题，提供一种面向运动障碍功能重塑的脑电信号识别方法及系统。本发明通过以下技术方案实现：一种面向运动障碍功能重塑的脑电信号识别方法包括以下步骤：
S1：设置采样周期，通过下采样实时采集多个受试者不同脑区的多个脑电信号。
S2：对脑电信号预处理去除伪迹干扰后映射到预设的频段。将每个频段中的多个脑电信号按预设的比例分配，划分为训练集和测试集。
S3：根据一个预设的时间周期将训练集中的脑电信号分为多个不重叠的时间窗口；提取每个时间窗口中脑电信号的训练标签；对所述训练标签进行阈值筛选并归一化得到时域脑功能连接；脑功能连接用于表征同一时间窗口中不同脑区之间的联系程度。
S4：根据时域脑功能连接和空间域电极的物理距离建立脑部生物拓扑模型。根据脑部生物拓扑模型获取脑电通道间连接，构建初始图邻接矩阵。其中，构建初始图邻接矩阵的方法包括以下步骤：
S41：根据大脑区域之间的连接强度随着物理距离的反比而衰减理论，对图邻接矩阵初始化。
Figure BDA0003768634990000011
di,j表示电极i和电极j之间的物理距离，η是一个稀疏参数，在这里将A构造为无向对称矩阵来对局部通道间关系进行初始化。
S42：根据初始化的图邻接矩阵设置全局通道间关系。全局通道间关系表示为：
Ai,j＝Ai,j-1；
为了保持大脑之间的不对称性添加了一些全局连接，利用不对称信息来更好地模拟脑部之间的信息传输，Ai,j即为选择作为全局通道的第i和第j个电极之间的邻接矩阵值。
S5：截取一个预设的频段范围内的脑电信号，对每个频段的脑电数据使用t秒互不重叠的时间窗划分为包含t秒脑电信号的样本，并将脑电信号按照预设的频段范围划分为多个脑电信号集；提取各脑电信号集内脑电信号的初始特征，在训练集上增强关键频段初始特征权重，选取权重值最高的多个初始特征作为网络节点的输入特征。
S6：根据网络节点的输入特征和脑部生物拓扑模型构造可学习图卷积神经网络模型。将融合后的邻接矩阵与频域特征输入可学习图卷积神经网络来合理优化电极关系，可学习图卷积神经网络进行自主学习鉴别特征，得到预测标签。
上述识别方法通过充分融合时-频-空域的脑电信息，学习更具有鉴别性的运动想象特征，通过空间域电极拓扑关系对图邻接矩阵进行有效初始化，同时，构造时域功能性网络来补充时域信息，使得模型在训练过程中合理优化电极关系，自主学习更优特征，提高了脑电信号识别的准确率。
在其中一个实施例中，时域脑功能连接的获取方法包括以下步骤：
S31：将对应频段内的脑电信号根据数据集采集范式分为多个时间组，每个时间组包含多个时间窗口为t秒的脑电数据。
S32：根据每个时间组内的脑电数据计算每个窗口的皮尔逊系数。皮尔逊系数用于表征相应时间段内电极之间的联系程度。皮尔逊系数表达为：
APer∈RS*F*N*N，
其中，S为样本数，F为频段个数，N为电极个数。
S33：将脑电信号划分为不同的类别；对每个类别中对应窗口的皮尔逊系数取均值得到训练标签。
S34：对每个类别的训练标签进行阈值选择得到多个矩阵；将多个矩阵进行求和汇总，并进行归一化处理，得到时域脑功能连接ATe∈RN*N。
在其中一个实施例中，将脑电信号XTe根据数据集采集范式的试段分为k个时间组，每组包含多个时间窗口为t秒的脑电数据，每段的样本数量r根据时间组的长度不定，则预处理的脑电信号XTe表示为：
XTe∈RN×L
其中，N表示电极数量，L为时域采样后的样本数量。样本数量L可以表示为：
Figure BDA0003768634990000021
其中，SP表示预处理时的采样率，
Figure BDA0003768634990000022
表示第m段中第n个窗口的长度。
在其中一个实施例中，皮尔逊系数表示为：
Figure BDA0003768634990000031
其中，σ表示标准差，E表示期望函数，μ表示期望值，v和θ分别表示同一时间范围内不同电极上的脑电数据。将时域上的脑电数据映射到5个功能频段，然后对训练数据集的每个频段中的每个不重叠t秒时间窗口计算电极之间的皮尔逊系数，得到APer∈RS*F*N*N，在这里S为样本数，F为频段个数，N同上为电极数量。接下来按照已知的训练数据标签，对每个类别取均值，然后进行阈值选择，保留合理强度的连接，并在每个类别上应用阈值。最后将筛选得到的所有类别和所有频段的矩阵进行求和汇总，并进行归一化，最终得到时域脑功能连接ATe∈RN*N。
在其中一个实施例中，每个频段都作为特征检测器，使用频段注意力模块增强关键频段初始特征权重，则输入特征表示为：
Figure BDA0003768634990000032
其中，δ1表示激活函数，W1和W0分别表示多层感知机的权重系数，
Figure BDA0003768634990000033
和
Figure BDA0003768634990000034
表示特征分别通过平均池化和最大池化压缩，输出特征向量相加，保证输出的向量维度与特征频段数相匹配。
在其中一个实施例中，可学习图卷积神经网络模型包括两个图卷积层、两个全连接层和一个损失函数。将融合后的邻接矩阵和频段的初始特征作为输入，输出预测标签的方法包括如下步骤：S61：根据初始化的邻接矩阵计算归一化后的图的拉普拉斯矩阵。S62：根据时域脑网络矩阵和邻接矩阵更新图的拉普拉斯矩阵。S63：通过两层图卷积和融合时域信息的拉普拉斯矩阵获得网络自学习的特征。
在其中一个实施例中，归一化后的图的拉普拉斯矩阵
Figure BDA0003768634990000035
表示为：
Figure BDA0003768634990000036
其中，I∈RN×N为单位矩阵，D∈RN×N表示A的对角度矩阵，用于描述每个节点即电极与其他电极的连接关系，
Figure BDA0003768634990000037
和
Figure BDA0003768634990000038
分别为归一化的D和A。
在其中一个实施例中，更新图的拉普拉斯矩阵表示为：
Figure BDA0003768634990000039
在其中一个实施例中，网络自学习的特征输出为：
Figure BDA00037686349900000310
其中，δ2表示激活函数，用于保证第l层输出的数值是非负数，H(l+1)是第l+1层的输入，也是l层的输出，
Figure BDA00037686349900000311
表示参数矩阵，u表示当前图卷积层输入的特征维度，ul表示想要该层期望输出的维度。
本发明还提供一种面向运动障碍功能重塑的脑电信号识别系统，识别系统包括：采样模块、信号处理模块、脑部生物拓扑模型和可学习图卷积神经网络模型。
采样模块用于采集多个受试者的脑电信号。
信号处理模块包括预处理单元、特征提取单元和分类单元。预处理单元用于去除脑电信号的伪迹干扰，将脑电信号映射到对应的频段。特征提取单元用于提取脑电信号的特征。分类单元用于根据预设的时间周期对脑电信号进行分类。
脑部生物拓扑模型用于根据脑电信号的时域脑功能连接对图邻接矩阵初始化，并添加全局通道间关系，利用不对称信息来模拟脑部之间的信息传输。
可学习图卷积神经网络模型包括输入特征获取模块、卷积模块、全连接模块和损失函数；所述输入特征获取模块包括更新的邻接矩阵获取模块和频段注意力获取模块；其中，更新的邻接矩阵通过脑功能连接矩阵和初始化图邻接矩阵融合归一化而获取；频段注意力通过对初始频域特征增强校准而获取；所述卷积模块包括两个卷积层，所述卷积模块用于对融合时域信息的拉普拉斯矩阵进行训练；所述全连接层用于对邻接矩阵进行筛选；所述损失函数用于通过反向传播更新邻接矩阵。
附图说明
图1为本发明实施例1的面向运动障碍功能重塑的脑电信号识别方法的流程图；
图2为图1中可学习图卷积神经网络模型的框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“安装于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。当一个组件被认为是“固定于”另一个组件，它可以是直接固定在另一个组件上或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1和图2，图1为本实施例的面向运动障碍功能重塑的脑电信号识别方法的流程图；图2为图1中可学习图卷积神经网络模型的框架图。本实施例提供一种面向运动障碍功能重塑的脑电信号识别方法。识别方法包括以下步骤：
S1：设置采样周期，通过下采样获取多个受试者的脑电信号。脑电信号是脑神经组织的电生理活动在大脑皮层表面的总体反映。大脑皮质的电活动有两种主要形式，分别为自发脑电活动和诱发的电活动。自发脑电活动指的是人自主地在不同情绪状态下，表现出的对应的脑电波频率波动。脑电信号的采集方式共有两种，它们分别是嵌入式采集和非嵌入式采集。嵌入式采集方式是指将大脑开颅，并向内植入传感器。但该种方法并不适合日常使用。非嵌入式的脑电信号采集方式是通过在大脑皮层外部放置电极传感器来采集脑电信号。本实施例中，使用国际标准10-20系统设置的脑电帽，采集S个受试者的原始脑电信号，下采样频率为200Hz。脑电帽中存在多个电极，通过记录各个电极的电位差获取脑电信号。
S2：对脑电信号预处理去除伪迹干扰。由于信号采集过程中记录设置错误、头皮良好的导电性等原因，导致产生技术或生物伪迹，例如有源电力线干扰、眨眼和肌肉活动等经常与脑电信号混在一起，使得脑电信号处理变得困难。伪迹干扰可以通过回归方法、伪迹减法、PCA、ICA和小波变换等方法中的一种或多种组合的方式去除。将多个脑电信号映射到预设的频段。将多个脑电信号按预设的比例随机分配，划分为训练集和测试集。本实施例中，将时域脑电信号映射到1-50Hz的频段上。
预处理的脑电信号表示为：XTe∈RN×L，其中，N表示电极数量，L为时域采样后的样本数量。
S3：根据预设的时间周期将训练集中的脑电信号分为不重叠的时间窗口，计算每个窗口的皮尔逊系数，提取训练数据标签，根据预设的阈值获取时域脑功能连接。时域脑功能连接的计算方法包括以下步骤：
S31：将脑电信号XTe根据数据集采集范式的试段分为k个时间组，每组包含多个时间窗口为t秒的脑电数据，每段的样本数量r根据时间组的长度不定，则样本数量L可以表示为：
Figure BDA0003768634990000051
其中，SP表示预处理时的采样率，
Figure BDA0003768634990000052
表示第m段中第n个窗口的长度。
S32：根据每个时间组内的脑电数据计算每个窗口的皮尔逊系数。皮尔逊系数用于表征相应时间段内电极之间的联系程度。皮尔逊系数的表达式为：
Figure BDA0003768634990000053
其中，σ表示标准差，E表示期望函数，μ表示期望值，v和θ分别表示同一时间范围内不同电极上的脑电数据。
则皮尔逊系数为：
APer∈RS*F*N*N，
其中，S为样本数，F为频段个数，N为电极个数。
S33：将脑电信号划分为不同的类别。对每个类别中对应窗口的皮尔逊系数取均值得到训练标签AMI，AMI∈RCa*N*N，其中Ca表示类别。
S34：对AMI进行阈值选择，在每个类别上应用阈值截取TOP-K连接，将筛选后的矩阵进行求和汇总，并进行归一化，最终得到时域脑功能连接ATe∈RN*N。
本实施例中，表示类别的Ca为2，即类别分别为想象左手运动和想象右手运动。针对脑电信号的皮尔逊系数矩阵也保留TOP20强度的连接，保证能从中挑选出与运动控制相关的连接，并在每个类别上应用阈值。最后将筛选得到的所有类别和所有频段的矩阵进行求和汇总，并采用Z-Score归一化获取时域脑功能连接。
S4：根据时域脑功能连接建立脑部生物拓扑模型。物体在形变方面的稳健性被称为拓扑，拓扑概念可以存在于生物化学系统中，用于表征相应的生物化学过程的稳健性。根据脑部生物拓扑模型获取脑电通道间连接，构建初始图邻接矩阵。其中，构建初始图邻接矩阵的方法包括以下步骤：
S41：初始化邻接矩阵。在空间域借助采集大脑神经活动的脑电极的物理距离初始化权重邻接矩阵，减少冗余电极连接，对邻接矩阵进行有效初始化,根据大脑区域之间的连接强度随着物理距离的反比而衰减理论，对图邻接矩阵Ai,j初始化得到：
Figure BDA0003768634990000061
其中，图邻接矩阵A∈RN×N表示所有节点之间的边权关系即脑电通道的拓扑结构，di,j表示电极i和电极j之间的物理距离，电极间的物理距离是由标准导联放置方式中标记的数据三维坐标计算得到，η是一个稀疏参数，本实施例中η设置成0.2，保留TOP20强度的连接来保证脑部连接是可靠的，将A构造为无向对称矩阵然后添加局部通道间关系进行初始化。
S42：设置全局通道间关系为：
Ai,j＝Ai,j-1
本实施例中，凭借经验选择9对电极对构造全局通道，如(FP1,FP2)，(AF3,AF4)，(F5,F6)，(FC5,FC6)，(C5,C6)，(CP5,CP6)，(P5,P6)，(PO5,PO6)和(O1,O2)，其中，F代表额叶，P代表顶叶，C表示中心，O代表枕叶，奇数表示左脑，偶数表示右脑，利用不对称信息来更好地模拟脑部之间的信息传输。
S5：截取一个预设的频段范围内的脑电信号，对每个频段的脑电数据使用t秒互不重叠的时间窗划分为包含t秒脑电信号的样本，并将脑电信号按照预设的频段范围划分为多个脑电信号集；提取各脑电信号集内脑电信号的初始特征，使用频段注意力模块在训练集上增强关键频段初始特征权重，选取权重值最高的多个初始特征作为网络节点的输入特征。
本实施例中，使用带通滤波器截取1-50Hz频段范围内的脑电信号，对每个通道的脑电数据使用1s互不重叠的时间窗划分为包含1s脑电信号的样本，并将信号划分为五个频段δ(1-3Hz)、θ(4-7Hz)、α(8-13Hz)、β(14-30Hz)和γ(31-50Hz)。提取各频段脑电信号的初始特征，使用频段注意力模块提升对关键频段特征信息敏感度，校准后训练集上的特征作为网络节点的输入特征，输入特征表示为：
Figure BDA0003768634990000062
其中，δ1表示激活函数，进行网络的非线性映射，W1和W0分别是多层感知机的权重，
Figure BDA0003768634990000063
和
Figure BDA0003768634990000064
表示特征矩阵。本实施例中，选择sigmod函数作为激活函数，输入特征分别通过平均池化和最大池化压缩，输出经过调整后的向量，将各个向量元素相加，输出的向量维度与特征频段数相匹配。
S6：根据网络节点的输入特征和脑部生物拓扑模型构造可学习图卷积神经网络模型。融合后的邻接矩阵与频域特征送入网络模型来合理优化电极关系，采用测试集中的脑电数据对可学习图卷积神经网络进行自主学习鉴别特征，得到预测标签。其中，预测标签的获取方法包括如下步骤：
S61：根据初始化的邻接矩阵A计算归一化后的图的拉普拉斯矩阵
Figure BDA0003768634990000065
为：
Figure BDA0003768634990000066
图卷积研究中的第一步即借助图的拉普拉斯矩阵L＝D-A来表示节点之间的关系。其中，I∈RN×N为单位矩阵，D∈RN×N表示A的对角度矩阵，即Dii＝∑jAij，用于描述每个节点即电极与其他电极的连接关系，
Figure BDA0003768634990000067
和
Figure BDA0003768634990000068
分别为归一化的D和A。
S62：根据时域脑功能连接ATe和邻接矩阵A更新图的拉普拉斯矩阵，则更新后的图的拉普拉斯矩阵可以表示为：
Figure BDA0003768634990000071
本实施例中，
Figure BDA0003768634990000072
设置范围为0.1至0.5，对于单个受试者，其大脑物理形状保持稳定性，即空间域信息对脑部连接提供较好参考。同时，本实施例考虑到了脑电信号的非平稳特点，构造时域功能性网络来补充时序上的动态信息，融合时域信息使得模型在训练过程中合理优化电极关系。
S63：经过两层图卷积可以通过融合时域信息的拉普拉斯矩阵获得网络自学习的特征，单层输出为：
Figure BDA0003768634990000073
其中，δ2表示激活函数，进行网络的非线性映射，保证了第l层输出的数值是非负数，H(l+1)是第l+1层的输入，也是l层的输出。本实施例中，图卷积层层数为2，单节点输出维度为32，使用参数为0.15的LeakyRelu函数进行激活。全连接层数为2层，分别为节点数目128和任务类别数2，通过0.01正则化系数稀疏化损失。模型在训练期间通过反向传播更新邻接矩阵从而实现电极之间关系的优化，学习最优模型。
在步骤S5中提取各频段初始特征，使用频段注意力模块提升对关键频段特征信息敏感度，校准后训练集上的特征作为深度神经网络分类器上网络节点的输入，再对S6中构造可学习图卷积神经网络模型设置一定的训练轮数进行训练，最后选取训练中最好的模型进行测试。将测试集中脑电信号输入最终的可学习图卷积神经网络模型，得到的测试结果作为相对应的预测结果。
为了便于脑电信号的识别，本实施例还提供一种面向运动障碍功能重塑的脑电信号识别系统，识别系统包括：采样模块、信号处理模块、模型生成模块和运算模块。
采样模块用于采集多个受试者的脑电信号。采集模块可以包括多个脑电信号采集装置，如脑电帽、磁共振设备等。每个受试者可以通过佩戴脑电帽采集脑电信号。
信号处理模块包括预处理单元、特征提取单元和分类单元。预处理单元用于去除脑电信号的伪迹干扰，将脑电信号映射到对应的频段。脑电信号很微弱，幅值很小，通常是微伏级别，易受到脑电活动无关的其他信号的干扰，这些无关信号即为伪迹。常见的伪迹有眼电伪迹(眨眼伪迹和眼动伪迹)、肌电伪迹和心电伪迹。常见的干扰有直流偏移和工频干扰。在测试阶段可以通过对受试者进行指导练习、培养习惯，以及优化环境、降低脑电信号采集设备的电极阻抗等方式减小伪迹干扰。在数据处理中，可以通过回归方法、伪迹减法、PCA、ICA和小波变换等方法中的一种或多种组合的方式去除伪迹干扰。特征提取单元用于提取脑电信号的特征。在本实施例中，特征提取单元主要用于提取脑电信号的训练数据标签以及对各频段的初始特征。分类单元用于根据预设的时间周期对脑电信号进行分类。在本实施例中，脑电信号的分类包括两部分，一部分是将映射到相应频段的脑电信号根据预设的时间周期分为不重叠的时间窗口，另一部分是根据脑电信号的训练数据标签分为想象左手运动和想象右手运动。
脑部生物拓扑模型用于根据脑电信号的时域脑功能连接对图邻接矩阵初始化，获取全局通道间关系。脑部生物拓扑模型可以通过以下方法建立：根据划分的不重叠的时间窗口分别计算单个窗口的皮尔逊系数，结合由训练数据标签取均值获取的训练标签，对训练标签进行阈值截取并汇总归一，获得脑功能连接。根据脑功能连接对图邻接矩阵初始化，获取全局通道间关系，进而建立脑部生物拓扑模型。
可学习图卷积神经网络模型用于根据脑电信号的各频段初始特征和归一化的图邻接矩阵获取预测标签。可学习图卷积神经网络模型可以通过以下方法进行训练：通过频段注意力模块提升对频段初始特征信息的敏感度，校准后训练集上的初始特征作为网络节点的输入特征。根据初始化的邻接矩阵计算图的拉普拉斯矩阵，通过脑部生物拓扑模型对图的拉普拉斯矩阵进行更新，将输入特征经过两层图卷积可以通过融合时域信息的拉普拉斯矩阵对可学习图卷积神经网络模型训练得到最终的可学习图卷积神经网络模型。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种面向运动障碍功能重塑的脑电信号识别方法，其用于根据每个受试者的运动想象，分别获取受试者多个脑区的脑电信号，进而通过脑电信号的特征建立可学习图卷积神经网络模型，用以识别受试者的脑电信号，预测受试者的运动意图；其特征在于，其包括以下步骤：
S1：设置采样周期，实时采集多个受试者不同脑区的多个脑电信号；
S2：对多个所述脑电信号预处理去除伪迹干扰后，将多个脑电信号分别映射到预设的频段中；在每个频段中按预设的比例提取多个脑电信号作为训练集；
S3：根据一个预设的时间周期将训练集中的脑电信号分为多个不重叠的时间窗口；提取每个时间窗口中脑电信号的训练标签；对所述训练标签进行阈值筛选并归一化得到时域脑功能连接；所述脑功能连接用于表征同一时间窗口中不同脑区之间的联系程度；
S4：根据所述时域脑功能连接和空间域电极的物理距离建立脑部生物拓扑模型；根据脑部生物拓扑模型获取脑电通道间连接，构建初始图邻接矩阵；其中，构建初始图邻接矩阵的方法包括以下步骤：
S41：根据大脑区域之间的连接强度随着物理距离的反比而衰减理论对图邻接矩阵初始化；初始化的图邻接矩阵表示为：
Figure FDA0003768634980000011
其中，di,j表示电极i和电极j之间的物理距离，Ai,j为图邻接矩阵A中第i行第j列的值；η是一个稀疏参数；
S42：根据初始化的图邻接矩阵设置全局通道间关系；所述全局通道间关系用于根据不对称信息模拟脑部之间的信息传输；全局通道间关系表示为：
Ai,j＝Ai,j-1；
S5：截取一个预设的频段范围内的多个脑电信号，对每个频段的脑电数据使用t秒互不重叠的时间窗划分为包含t秒脑电信号的样本，并将脑电信号按照预设的频段范围划分为多个脑电信号集；提取各脑电信号集内脑电信号的初始特征，在训练集上增强关键频段初始特征的权重，选取权重值最高的多个初始特征作为网络节点的输入特征；
S6：根据网络节点的输入特征和脑部生物拓扑模型构造可学习图卷积神经网络模型；将融合后的邻接矩阵与频域特征输入可学习图卷积神经网络来合理优化电极关系，可学习图卷积神经网络进行自主学习鉴别特征，得到预测标签。
2.根据权利要求1所述的面向运动障碍功能重塑的脑电信号识别方法，其特征在于，在S3中，时域脑功能连接的获取方法包括以下步骤：
S31：将对应频段内的脑电信号根据数据集采集范式分为多个时间组，每个时间组包含多个时间窗口为t秒的脑电数据；
S32：根据每个时间组内的脑电数据计算每个窗口的皮尔逊系数，所述皮尔逊系数表达为：
APer∈RS*F*N*N，
其中，S为样本数，F为频段个数，N为电极个数；
S33：将脑电信号划分为不同的类别；对每个类别中对应窗口的皮尔逊系数取均值得到训练标签；
S34：对每个类别的训练标签进行阈值选择得到多个矩阵；将多个矩阵进行求和汇总，并进行归一化处理，得到时域脑功能连接ATe∈RN*N。
3.根据权利要求2所述的面向运动障碍功能重塑的脑电信号识别方法，其特征在于，在S31中，将脑电信号XTe根据数据集采集范式的试段分为k个时间组，每组包含多个时间窗口为t秒的脑电数据，每段的样本数量r根据时间组的长度不定，则预处理的脑电信号XTe表示为：
XTe∈RN×L
其中，N表示电极数量，L为时域采样后的样本数量，样本数量L表示为：
Figure FDA0003768634980000021
其中，SP表示预处理时的采样率，rm为第m段的样本数量，
Figure FDA0003768634980000022
表示第m段中第n个窗口的长度。
4.根据权利要求2所述的面向运动障碍功能重塑的脑电信号识别方法，其特征在于，在S32中，所述皮尔逊系数的计算方法如下：
Figure FDA0003768634980000023
其中，σ表示标准差，E表示期望函数，μ表示期望值，v和θ分别表示同一时间范围内不同电极上的脑电数据。
5.根据权利要求1所述的面向运动障碍功能重塑的脑电信号识别方法，其特征在于，在S5中，将每个频段都作为特征检测器，使用频段注意力模块增强关键频段初始特征权重，则输入特征表示为：
Figure FDA0003768634980000024
其中，δ1表示激活函数，W1和W0分别表示多层感知机的两层权重系数，
Figure FDA0003768634980000025
和
Figure FDA0003768634980000026
表示特征分别通过平均池化和最大池化压缩，输出特征向量相加，保证输出的向量维度与特征频段数相匹配。
6.根据权利要求1所述的面向运动障碍功能重塑的脑电信号识别方法，其特征在于，在S6中，可学习图卷积神经网络模型包括两个图卷积层、两个全连接层和一个损失函数；将融合后的邻接矩阵和校准后的频段特征作为输入，输出预测标签的方法包括如下步骤：
S61：根据初始化的邻接矩阵计算归一化后的图的拉普拉斯矩阵；
S62：根据时域脑网络矩阵和邻接矩阵更新图的拉普拉斯矩阵；
S63：通过两层图卷积和融合时域信息的拉普拉斯矩阵获得网络自学习的特征。
7.根据权利要求6所述的面向运动障碍功能重塑的脑电信号识别方法，其特征在于，在S61中，归一化后的图的拉普拉斯矩阵
Figure FDA0003768634980000027
表示为：
Figure FDA0003768634980000028
其中，I∈Rn×n为单位矩阵，D∈Rn×n表示A的对角度矩阵，用于描述每个节点即电极与其他电极的连接关系，
Figure FDA0003768634980000029
和
Figure FDA00037686349800000210
分别为归一化的D和A。
8.根据权利要求7所述的面向运动障碍功能重塑的脑电信号识别方法，其特征在于，在S62中，更新图的拉普拉斯矩阵表示为：
Figure FDA0003768634980000031
其中，
Figure FDA0003768634980000033
表示每次迭代前图的拉普拉斯矩阵在更新图的拉普拉斯矩阵时所占的比例。
9.根据权利要求8所述的面向运动障碍功能重塑的脑电信号识别方法，其特征在于，在S63中，网络自学习的特征输出为：
Figure FDA0003768634980000032
其中，δ2表示激活函数，用于保证第l层输出的数值是非负数，H(l+1)是第l+1层的输入，也是l层的输出；
Figure FDA0003768634980000034
表示参数矩阵，u表示当前图卷积层输入的特征维度，ul表示第l层期望输出的维度。
10.一种面向运动障碍功能重塑的脑电信号识别系统，其采用如权利要求1至9中任意一项所述的运动想象脑电信号识别方法，其特征在于，其包括：
采样模块，其用于采集多个受试者的脑电信号；
信号处理模块，其包括预处理单元、特征提取单元和分类单元；所述预处理单元用于去除脑电信号的伪迹干扰，将脑电信号映射到对应的频段；所述特征提取单元用于提取脑电信号的特征；所述分类单元用于根据预设的时间周期对脑电信号进行分类；
脑部生物拓扑模型，其用于根据脑电信号的时域脑功能连接对图邻接矩阵初始化，并添加全局通道间关系，利用不对称信息来模拟脑部之间的信息传输；
可学习图卷积神经网络模型，其包括输入特征获取模块、卷积模块、全连接模块和损失函数；所述输入特征获取模块包括更新的邻接矩阵获取模块和频段注意力获取模块；其中，更新的邻接矩阵通过脑功能连接矩阵和初始化图邻接矩阵融合归一化而获取；频段注意力通过对初始频域特征增强校准而获取；所述卷积模块包括两个卷积层，所述卷积模块用于对融合时域信息的拉普拉斯矩阵进行训练；所述全连接层用于对邻接矩阵进行筛选；所述损失函数用于通过反向传播更新邻接矩阵。
CN202210893898.4A 2022-07-27 2022-07-27 一种面向运动障碍功能重塑的脑电信号识别方法及系统 Pending CN115054272A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210893898.4A CN115054272A (zh) 2022-07-27 2022-07-27 一种面向运动障碍功能重塑的脑电信号识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210893898.4A CN115054272A (zh) 2022-07-27 2022-07-27 一种面向运动障碍功能重塑的脑电信号识别方法及系统

Publications (1)

Publication Number Publication Date
CN115054272A true CN115054272A (zh) 2022-09-16

Family

ID=83207016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210893898.4A Pending CN115054272A (zh) 2022-07-27 2022-07-27 一种面向运动障碍功能重塑的脑电信号识别方法及系统

Country Status (1)

Country Link
CN (1) CN115054272A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115381467A (zh) * 2022-10-31 2022-11-25 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置
CN117909868A (zh) * 2024-03-19 2024-04-19 华南理工大学 基于神经影像学先验的动态图卷积的脑电认知负荷分析方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115381467A (zh) * 2022-10-31 2022-11-25 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置
CN115381467B (zh) * 2022-10-31 2023-03-10 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置
CN117909868A (zh) * 2024-03-19 2024-04-19 华南理工大学 基于神经影像学先验的动态图卷积的脑电认知负荷分析方法及系统

Similar Documents

Publication Publication Date Title
CN112667080B (zh) 基于深度卷积对抗网络的脑电信号无人平台智能控制方法
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
US10579925B2 (en) Method and system for predicting outcomes based on spatio/spectro-temporal data
Oweiss Statistical signal processing for neuroscience and neurotechnology
CN115054272A (zh) 一种面向运动障碍功能重塑的脑电信号识别方法及系统
CN108319928B (zh) 一种基于多目标微粒群算法优化的深度学习方法及系统
CN111584029B (zh) 基于判别式对抗网络的脑电自适应模型及在康复中的应用
EP4212100A1 (en) Electroencephalogram signal classification method and apparatus, and device, storage medium and program product
CN114224342B (zh) 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN111544855B (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
Lehtonen et al. Online classification of single EEG trials during finger movements
Wang et al. An approach of one-vs-rest filter bank common spatial pattern and spiking neural networks for multiple motor imagery decoding
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
Abibullaev et al. A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs
CN113569997A (zh) 基于图卷积神经网络的情绪分类方法及系统
CN114052734B (zh) 基于渐进式图卷积神经网络的脑电情感识别方法
Kumari et al. A study on brain–computer interface: Methods and applications
CN115154828A (zh) 一种基于脑机接口技术的大脑功能重塑方法、系统、设备
Islam et al. A hybrid scheme for AEP based hearing deficiency diagnosis: CWT and convoluted K-nearest neighbour (CKNN) pipeline
Saikia et al. Application of deep learning for eeg
Manchala Human computer interface using electroencephalography
George Improved motor imagery decoding using deep learning techniques
CN115381467B (zh) 一种基于注意力机制的时频信息动态融合解码方法及装置
Hema et al. Functional link PSO neural network based classification of EEG mental task signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination