CN114611556A - 一种基于图神经网络的多类别运动想象任务识别方法 - Google Patents
一种基于图神经网络的多类别运动想象任务识别方法 Download PDFInfo
- Publication number
- CN114611556A CN114611556A CN202210228171.4A CN202210228171A CN114611556A CN 114611556 A CN114611556 A CN 114611556A CN 202210228171 A CN202210228171 A CN 202210228171A CN 114611556 A CN114611556 A CN 114611556A
- Authority
- CN
- China
- Prior art keywords
- data
- graph
- channels
- neural network
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 55
- 238000003062 neural network model Methods 0.000 claims abstract description 45
- 238000005070 sampling Methods 0.000 claims abstract description 28
- 238000010220 Pearson correlation analysis Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 43
- 230000004913 activation Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000002474 experimental method Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 abstract description 8
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 13
- 230000003155 kinesthetic effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于图神经网络的多类别运动想象任务识别方法，包括以下步骤：获取被试者根据给出的想象任务进行想象时的多个通道的脑电图数据；根据多个通道的脑电图数据进行Pearson相关性分析得到拉普拉斯矩阵作为图结构；获取任一采样时刻待检测的多个通道的数据，将图结构和待检测的多个通道的数据输入至预设的图神经网络模型进行任务识别分类，得到被试者想象的任务目标。通过将脑电图信号抽象成图结构的数据，充分利用了脑网络的功能连接特性，只要一个采样时刻的数据，使用原始的图数据输入，不需要对数据有任何预处理操作，不会丢失原始数据中所含的有效信息，结合图神经网络模型提取特征并对特征进行有效分类，显著提升分类精度和效率。
Description
技术领域
本发明属于脑科学与认知科学技术领域，特别涉及一种基于图神经网络的多类别运动想象任务识别方法。
背景技术
近年来，脑机接口(brain-computer interface,BCI)技术为人类了解脑和开发脑提供了新的技术研究手段。脑电图(Electroence-phalogram，EEG)通过头皮上的电极记录大脑神经元集群的电位变化，以非侵入性、较高的实时性、良好的便携性、易于操作性以及相对便宜的成本等特点，成为当下脑机接口领域的一种重要信号采集方式。根据脑电图信号是否由外界刺激引起，将脑机接口技术划分成诱发式与自发式，诱发式技术通常需要采用闪烁刺激的范式，容易造成视觉疲劳。本专利采用了典型的自发式脑机接口技术，即运动想象(motor imagery，MI)范式。
运动想象技术是通过被试人员自主想象特定的任务，而无需实际执行，其所触发的神经信号与对应真实运动的神经信号相似。MI划分为肌肉知觉想象和视觉运动想象。在肌肉运动知觉想象过程中，被试感觉自己实际完成动作而具有相应的脑功能反应，在视觉运动想象中，被试在相距一段距离处看到自己完成动作，肌肉运动知觉的运动想象在运动学习上要比视觉运动想象更有效。目前，可分性较强的肌肉运动知觉想象任务主要有手部、脚部运动，以及舌头伸缩。当被试人员想象对应的肢体运动时，引起对应的大脑感觉运动皮层节律，此时采集相应的EEG信号，对EEG进行解码得到被试想象的类别，将结果映射到对外部设备的控制指令上来实现对外部设备的操控。因此，对MI任务的分类任务是基于MI的脑机接口系统的关键问题。
目前，集中在MI分类任务的算法主要是先通过共空间模式(Common SpatialPattern，CSP)提取特征，再使用分类器对特征进行分类。近来，虽然深度学习迅速发展，但是运动想象任务中的主流方法仍然是在特征提取层基于CSP进行各种改进，分类器采用一些深度神经网络模型。手工提取脑电特征存在依靠经验和先验知识的问题，同时多阶段的处理方法会降低分类的处理速度。因此，减少原始信号中关键信息丢失和提高推理速度是非常必要的。有些学者将特征提取和分类统一到一个深度学习框架下，目前采用的架构主要包括卷积神经网络(Convolutional Neural Networks，CNN)和循环神经网络(RecurrentNeural Network，RNN)。对应地，需要将脑电输入构建成规则排列的图像或序列。CNN和RNN将脑电信号视为欧几里得类型的数据，完全没有考虑电极之间实际的功能拓扑关系，导致了分类的精度和效率低。
发明内容
针对以上技术问题，本发明提供一种有效提高分类精度和分类效率的基于图神经网络的多类别运动想象任务识别方法。
本发明解决其技术问题采用的技术方案是：
一种基于图神经网络的多类别运动想象任务识别方法，包括以下步骤：
步骤S100：获取被试者根据给出的想象任务进行想象时的多个通道的脑电图数据；
步骤S200：根据多个通道的脑电图数据进行Pearson相关性分析得到拉普拉斯矩阵作为图结构；
步骤S700：获取任一采样时刻待检测的多个通道的数据，将图结构和待检测的多个通道的数据输入至预设的图神经网络模型进行任务识别分类，得到被试者想象的任务目标。
优选地，步骤S200包括：
步骤S210：若通道数为n，从n个通道的脑电图数据中逐次选择两个通道的脑电图数据，对两个通道的脑电图数据进行Pearson相关性分析，计算每个通道与其他n-1个通道的值范围为0至1的相关性系数，得到形状为n*n的对角阵A，将对角阵A作为表达图结构的邻接矩阵；
步骤S220：对邻接矩阵的每一行进行加和操作，每行计算得到的和值置于该行对角线位置，该行其余位置置为0，得到图结构的度矩阵D，根据度矩阵和邻接矩阵计算得到的矩阵作为图结构的拉普拉斯矩阵L。
优选地，步骤S210中对两个通道的脑电图数据进行Pearson相关性分析，计算每个通道与其他n-1个通道的值范围为0至1的相关性系数，具体为：
其中，ai,j表示相关性系数，i,j分别代表选择的两个通道编号，x,y分别代表通道i和通道j的数据向量，t代表采样时刻，T代表采样总长度，xt代表通道i在第t个采样时刻的信号值，
代表通道i在T个采样信号的平均值，yt代表通道j第t个采样时刻的信号值，
代表通道j在T个采样信号中的平均值。
优选地，步骤S200之后，步骤S700之前还包括：
步骤S300：获取被试者多次实验记录的样本以及标注了样本对应的运动想象任务的标签文件，构建样本数据集，根据预设的划分比例对样本数据集进行划分，得到训练样本集和测试样本集；
步骤S400：搭建图神经网络模型，图神经网络模型包括若干图卷积层、若干批标准化层、若干ReLU非线性激活层、若干图池化层、全连接层和Softmax层；
步骤S500：根据训练样本集对图神经网络进行训练，得到训练后的图神经网络模型，根据预设的损失函数计算得到损失值，通过Adam优化器根据损失值进行反向传播对训练后的图神经网络模型的网络参数进行优化得到优化后的图神经网络模型；
S600：将测试样本集输入至优化后的图神经网络模型，得到分类结果并计算准确率，根据准确率更新优化后的图神经网络模型，作为预设的图神经网络模型。
优选地，步骤S500中预设的损失函数具体为：
其中，C代表总类别数量，c表示类别序号，p代表softmax层的输出向量[p1,...,pk,...,pc],k∈[1,C]，pk代表属于第k类的概率值，pc表示第c类的概率值，y代表真实类别标签，即独热编号后的C维向量，yc表示第c类的真实类别标签。
优选地，步骤S700包括：
步骤S710：将拉普拉斯矩阵L和n个通道的脑电图数据输入至预设的图神经网络模型的第一个特征提取块，将第一个特征提取块的输出数据与n个通道的脑电图数据相加后得到第一脑电图特征图，将第一脑电图特征图输入至第一图池化层以减少第一脑电图特征图中的一半结点，其中，第一个特征提取块包括第一图卷积层、第一批标准化层、第一ReLU非线性激活层、第二图卷积层、第二批标准化层和第二ReLU非线性激活层；
步骤S720：将减少了一半结点后的第一脑电图特征图作为输入数据输入至第二个特征提取块，将第二个特征提取块的输出数据与减少了一半结点后的第一脑电图特征图相加后得到第二脑电图特征图，将第二脑电图特征图输入至第二图池化层以减少第二脑电图特征图中的一半结点，其中，第二个特征提取块的结构和第一个特征提取块的结构相同，叠加特征提取块直至输出的特征图的结点数达到预设的结点数量；
步骤S730：将步骤S720输出的特征图通过全连接层展平读出，使用Softmax层进行分类，得到属于每种类别任务的概率，其中，类别数量为运动想象的任务数量。
优选地，步骤S730中使用Softmax层进行分类，具体为：
其中，z代表在进入softmax层之前模型的输出向量，向量长度为类别数量C，exp(·)代表指数函数，pk代表属于第k类的概率值。
上述基于图神经网络的多类别运动想象任务识别方法，获取被试者根据给出的想象任务进行想象时的多个通道的脑电图数据；根据多个通道的脑电图数据进行Pearson相关性分析得到拉普拉斯矩阵作为图结构；构建图结构即拉普拉斯矩阵后，将某个采样时刻的脑电图数据和拉普拉斯矩阵一同作为图神经网络模型的输入得到分类结果。通过将脑电图信号抽象成图结构的数据，充分利用了脑网络的功能连接特性，使用原始的图数据输入，不需要对数据有任何预处理操作，不会丢失原始数据中所含的有效信息，结合图神经网络模型提取丰富的特征，并对特征进行有效分类，对被试者脑电图信号的解算突破了目前算法必须需要一段时间的数据，才能够提取到较为有效的特征的限制，该方法在得到已有模型的情况下，要一个采样时刻的数据就可以完成类别预测的推理，端到端的处理使得算法推理速度大大提高，有效的特征使得分类精度效果显著，对基于运动想象的脑机接口系统具有重大的实际意义。
附图说明
图1为本发明一实施例提供的基于图神经网络的多类别运动想象任务识别方法流程图；
图2为本发明一实施例中被试人员图结构表达的构建示意图；
图3为本发明一实施例中图神经网络模型的结构示意图；
图4为本发明另一实施例提供的基于图神经网络的多类别运动想象任务识别方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，一种基于图神经网络的多类别运动想象任务识别方法，包括以下步骤：
步骤S100：获取被试者根据给出的想象任务进行想象时的多个通道的脑电图数据。
具体地，首先令被试者闭上眼睛放松，待被试者处于稳定的静息空闲状态时，以显示器作为载体提示被试者要想象的动作，例如想象左手、右手、双手或双脚的抓握运动。在被试想象对应运动的任务状态期间，采用脑电采集设备记录每个通道的脑电数据。根据需要采集的通道数量，确定采用国际标准导联系统10-10或10-20电极放置的脑电帽，完整记录被试想象任务期间的脑电图，一次任务视作一个trail，采样频率为160Hz。本实施例中，记录多次任务采集到的64导脑电图，将每次任务各个通道的数据拼接成向量以进行可靠的相关性分析，将多次实验的每个通道的脑电信号进行存储。
步骤S200：根据多个通道的脑电图数据进行Pearson相关性分析得到拉普拉斯矩阵作为图结构。
具体地，Pearson相关性分析中的Pearson相关系数(Pearson CorrelationCoefficient)是用来衡量两个数据集合是否在一条线上面，它用来衡量定距变量间的线性关系。根据被试者多次实验每个通道的脑电数据建立图结构，将每个通道作为图上的每个结点，根据每个通道上数据之间的关系构建结点上的边，即对两两通道上的数据进行功能性连接分析，分析得到的相关系数作为此两结点之间的加权边，将构建出的图结构使用拉普拉斯矩阵进行表示，如图2所示，建图之前为各个通道相互独立的序列数据，建图之后各个通道之间根据功能相关性系数连接，更适合真实的脑电图表达。
在一个实施例中，步骤S200包括：
步骤S210：若通道数为n，从n个通道的脑电图数据中逐次选择两个通道的脑电图数据，对两个通道的脑电图数据进行Pearson相关性分析，计算每个通道与其他n-1个通道的值范围为0至1的相关性系数，得到形状为n*n的对角阵A，将对角阵A作为表达图结构的邻接矩阵；
步骤S220：对邻接矩阵的每一行进行加和操作，每行计算得到的和值置于该行对角线位置，该行其余位置置为0，得到图结构的度矩阵D，根据度矩阵和邻接矩阵计算得到的矩阵作为图结构的拉普拉斯矩阵L。
具体地，逐次选择所记录的被试人员两个通道的脑电数据，对这两个通道的数据向量(分别记为x和y)进行Pearson相关性分析，得到值范围为0至1的相关性系数，其中，通道与自身的相关系数设置为1，Pearson相关性分析算法的函数表达式如下式所示；
其中，ai,j表示相关性系数，i,j分别代表选择的两个通道编号，x,y分别代表通道i和通道j的数据向量，t代表采样时刻，T代表采样总长度，xt代表通道i在第t个采样时刻的信号值，
代表通道i在T个采样信号的平均值，yt代表通道j第t个采样时刻的信号值，
代表通道j在T个采样信号中的平均值。
若通道数为n，则每个通道都与其他n-1个通道进行相关系数的计算，与自身的相关系数设置为1，因此，可以得到形状为n*n的对角阵A，将A作为表达图结构的邻接矩阵；对邻接矩阵的每一行进行加和操作，每行计算得到的和值置于该行对角线位置，该行其余位置置为0，得到该图的度矩阵D，根据度矩阵和邻接矩阵相减计算得到的矩阵L作为图的拉普拉斯矩阵，至此，得到输入网络模型的图结构L。
在一个实施例中，步骤S200之后，步骤S700之前还包括：
步骤S300：获取被试者多次实验记录的样本以及标注了样本对应的运动想象任务的标签文件，构建样本数据集，根据预设的划分比例对样本数据集进行划分，得到训练样本集和测试样本集。
具体地，每个样本的尺寸为通道数*1的向量，将被试者多次实验记录的样本进行数据集制作，首先根据运动想象的任务对每次实验的样本进行标注，按照预设的划分比例8：2的比例对样本数据集划分为训练样本集和测试样本集。进一步地，步骤S300中使用独热编码方式对样本进行标注(即左手0001，右手0010，双手0100，双脚1000)。
步骤S400：搭建图神经网络模型，图神经网络模型包括若干图卷积层、若干批标准化层、若干ReLU非线性激活层、若干图池化层、全连接层和Softmax层。
具体地，对某个采样时刻得到的图上的数据使用基于谱域的图卷积运算进行特征提取，并且通过批标准化、激活函数、图池化等操作进行处理，通过残差连接构建多层卷积运算，得到深层次的脑电特征，最终，通过全连接层对特征读出，并且通过Softmax分类器分类得到被试者想象的任务目标。进一步地，如图3所示，为搭建的一图神经网络模型结构，图神经网络模型由若干个特征提取块构成，每个特征提取块中包括两组(图卷积层+批归一化层+ReLU非线性激活层)以及一组图池化层，每个特征提取块内的连接关系为：输入Z0经过第一组(图卷积层+批归一化层+ReLU非线性激活层)的作用得到Z1，Z1经过第二组(图卷积层+批归一化层+ReLU非线性激活层)的作用得到Z2，Z0和Z2相加的结果送入图池化层中，得到这个特征提取块的输出，当经输出的特征图的结点数达到预设的结点数量后，将最终输出的特征图通过全连接层展平读出，使用Softmax层进行分类。
步骤S500：根据训练样本集对图神经网络进行训练，得到训练后的图神经网络模型，根据预设的损失函数计算得到损失值，通过Adam优化器(自适应矩估计优化器)根据损失值进行反向传播对训练后的图神经网络模型的网络参数进行优化得到优化后的图神经网络模型。
具体地，将训练样本集经过图神经网络模型进行多次图卷积、批标准化、ReLU非线性激活和图池化操作，经过全连接操作读出特征，最后使用分类器进行分类，通过预设的损失函数计算该批次的损失值，进而采用Adam优化器对模型的参数进行调整。
进一步地，预设的损失函数具体为：
其中，C代表总类别数量，c表示类别序号，p代表softmax层的输出向量[p1,...,pk,...,pc],k∈[1,C]，pk代表属于第k类的概率值，pc表示第c类的概率值，y代表真实类别标签，即独热编码后的C维向量，yc表示第c类的真实类别标签。即例如样本是类别2，共有4类，则y是[0,1,0,0]。
在一个实施例中，步骤S500之后还包括：
S600：将测试样本集输入至优化后的图神经网络模型，得到分类结果并计算准确率，根据准确率更新优化后的图神经网络模型，作为预设的图神经网络模型。
具体地，将测试样本集输入优化后的图神经网络模型，计算模型输出结果的精度即准确率，若优于之前的模型，则存储最新的模型网络参数，当损失值趋于稳定时，保留选择的最佳模型作为预设的图神经网络模型，该图神经网络模型可用于该被试者在任意采样时刻离线数据的检测，其中，准确率为在测试集上四种类别的平均分类准确率。以上步骤的目的是迭代优化对脑电信号分类的图神经网络模型，模型的结构决定了对脑电信号特征提取的能力。
步骤S700：获取任一采样时刻待检测的多个通道的数据，将图结构和待检测的多个通道的数据输入至预设的图神经网络模型进行任务识别分类，得到被试者想象的任务目标。
具体地，将构建出的图结构使用拉普拉斯矩阵进行表示，和某采样时刻各个通道采集到的数据点一同作为预设的图神经网络模型模型的输入，通过预设的图神经网络模型对某个采样时刻得到的图上的数据使用基于谱域的图卷积运算进行特征提取，并且通过批标准化、激活函数、图池化等操作进行处理，通过残差连接构建多层卷积运算，得到深层次的脑电特征，最终，通过全连接层对特征读出，并且通过分类得到被试者想象的任务目标。
在一个实施例中，步骤S700包括：
步骤S710：将拉普拉斯矩阵L和n个通道的脑电图数据输入至预设的图神经网络模型的第一个特征提取块，将第一个特征提取块的输出数据与n个通道的脑电图数据相加后得到第一脑电图特征图，将第一脑电图特征图输入至第一图池化层以减少第一脑电图特征图中的一半结点，其中，第一个特征提取块包括第一图卷积层、第一批标准化层、第一ReLU非线性激活层、第二图卷积层、第二批标准化层和第二ReLU非线性激活层；
步骤S720：将减少了一半结点后的第一脑电图特征图作为输入数据输入至第二个特征提取块，将第二个特征提取块的输出数据与减少了一半结点后的第一脑电图特征图相加后得到第二脑电图特征图，将第二脑电图特征图输入至第二图池化层以减少第二脑电图特征图中的一半结点，其中，第二个特征提取块的结构和第一个特征提取块的结构相同，叠加特征提取块直至输出的特征图的结点数达到预设的结点数量。
具体地，如图3所示，读取表示该被试图结构的拉普拉斯矩阵L和图上n个通道的数据；经过第一个特征提取块，第一个特征提取块包括：第一图卷积层、第一批标准化层、第一ReLU非线性激活层、第二图卷积层、第二批标准化层和第二ReLU非线性激活层，图卷积运算保证输入特征图和输出特征图的尺寸不变，将第一个特征提取块的流出数据与送入第一个特征提取块的数据相加，再使用图池化操作减少一半结点；上述图池化得到的数据经过第二个特征提取块，第二个特征提取块和第一个特征提取块相同，叠加两次特征提取块，即比如原始数据的通道数为64，经过两个特征提取块后池化得到特征图的结点数为16。进一步地，每次池化可以将结点数减少一半，当结点数小于等于8时，则认为是结点数较少的情况。若存在n个结点，则最多可以堆叠log2N个特征提取块。
步骤S730：将步骤S720输出的特征图通过全连接层展平读出，使用Softmax层进行分类，得到属于每种类别任务的概率，输出结果为概率值最大的标签编码所代表的任务，其中，类别数量为运动想象的任务数量。
具体地，将上述得到的特征通过全连接层展平读出，使用Softmax层进行分类，类别数量为运动想象的任务数量，得到属于每种类别的概率。其中，使用Softmax层的Softmax函数(归一化指数函数)进行分类，计算方法如下式所示，得到属于四种目标任务的概率，输出结果为概率值最大的标签编码所代表的任务。
步骤S730中使用Softmax层进行分类，具体为：
其中，z代表在进入softmax层之前模型的输出向量，向量长度为类别数量C，exp(·)代表指数函数，pk代表属于第k类的概率值。
在本实施例中，如图4所示，计算机利用脑电波采集设备记录被试者在执行想象任务期间的脑电图信号，每个Trail包括一段4s的想象任务，采样频率为160Hz，每个被试者共实验21个Trial，采用64通道的脑电帽，即每个被试者共有64*53760个采样点，视为该被试者的数据集。将被试者的数据集按照8：2的比例进行训练集与测试集的划分(训练集形状：64*43008，测试集形状：64*10752)。对两两通道的训练数据进行Pearson相关性系数大的计算，例如对通道1和通道2各自的43008个数据分析，计算得到相关系数作为通道1和通道2的连接度，对通道1和通道3，通道1和通道4，…，通道1和通道64分别进行该计算，得到通道1和其他63个通道之间的连接度。类似的，对每个通道分别做该处理得到两两通道间的连接度。根据功能相关性构建该被试的图结构，将64个通道视为图上的64个结点，每两个通道之间的相关性系数视为图上这两个结点之间边的权重。通过上述分析，可以抽象出被试者的图结构，将边上的权重构建邻接矩阵，邻接矩阵逐行相加置于该行对角线，其余位置置0作为度矩阵，使用度矩阵减去邻接矩阵得到拉普拉斯矩阵。拉普拉斯矩阵既能表示结点的出入度情况，又能表示出边的信息，同时图卷积运算基于拉普拉斯矩阵分解。
在本实施例中，构建图结构即拉普拉斯矩阵后，将某个采样时刻的64个数据和拉普拉斯一同作为图神经网络模型的输入，在图上进行卷积运算，提取特征。经过多层卷积、批标准化、ReLU激活函数和池化操作提取丰富的特征，对提取到的特征进行拼接，经过全连接层和Softmax得到分类的结果。以上即完成一个样本的分类推理过程。
在本实施例中，对被试者脑电图信号的解算突破了目前算法必须需要一段时间的数据，才能够提取到较为有效的特征的限制，该方法在得到已有模型的情况下，要一个采样时刻的数据就可以完成类别预测的推理。因此，可以对该模型完成离线只需训练，然后将训练好的模型部署到基于脑电图的脑机接口系统中进行实时检测被试者想象的任务。
本发明通过将脑电图信号抽象成图结构的数据，充分利用了脑网络的功能连接特性。使用原始的图数据输入，不需要对数据有任何预处理操作，不会丢失原始数据中所含的有效信息。本发明结合了图神经网络，通过图卷积运算提取丰富的特征，并对特征进行有效分类。端到端的处理使得算法推理速度大大提高，有效的特征使得分类精度效果显著，对基于运动想象的脑机接口系统具有重大的实际意义。
以上对本发明所提供的一种基于图神经网络的多类别运动想象任务识别方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (7)
1.一种基于图神经网络的多类别运动想象任务识别方法，其特征在于，包括以下步骤：
步骤S100：获取被试者根据给出的想象任务进行想象时的多个通道的脑电图数据；
步骤S200：根据所述多个通道的脑电图数据进行Pearson相关性分析得到拉普拉斯矩阵作为图结构；
步骤S700：获取任一采样时刻待检测的多个通道的数据，将所述图结构和所述待检测的多个通道的数据输入至预设的图神经网络模型进行任务识别分类，得到被试者想象的任务目标。
2.根据权利要求1所述的方法，其特征在于，步骤S200包括：
步骤S210：若通道数为n，从所述n个通道的脑电图数据中逐次选择两个通道的脑电图数据，对所述两个通道的脑电图数据进行Pearson相关性分析，计算每个通道与其他n-1个通道的值范围为0至1的相关性系数，得到形状为n*n的对角阵A，将所述对角阵A作为表达图结构的邻接矩阵；
步骤S220：对所述邻接矩阵的每一行进行加和操作，每行计算得到的和值置于该行对角线位置，该行其余位置置为0，得到图结构的度矩阵D，根据所述度矩阵D和所述邻接矩阵计算得到的矩阵作为图结构的拉普拉斯矩阵L。
3.根据权利要求2所述的方法，其特征在于，步骤S210中对所述两个通道的脑电图数据进行Pearson相关性分析，计算每个通道与其他n-1个通道的值范围为0至1的相关性系数，具体为：
其中，ai,j表示相关性系数，i,j分别代表选择的两个通道编号，x,y分别代表通道i和通道j的数据向量，t代表采样时刻，T代表采样总长度，xt代表通道i在第t个采样时刻的信号值，
代表通道i在T个采样信号的平均值，yt代表通道j第t个采样时刻的信号值，
代表通道j在T个采样信号中的平均值。
4.根据权利要求2所述的方法，其特征在于，步骤S200之后，步骤S700之前还包括：
步骤S300：获取被试者多次实验记录的样本以及标注了样本对应的运动想象任务的标签文件，构建样本数据集，根据预设的划分比例对所述样本数据集进行划分，得到训练样本集和测试样本集；
步骤S400：搭建图神经网络模型，所述图神经网络模型包括若干图卷积层、若干批标准化层、若干ReLU非线性激活层、若干图池化层、全连接层和Softmax层；
步骤S500：根据所述训练样本集对所述图神经网络进行训练，得到训练后的图神经网络模型，根据预设的损失函数计算得到损失值，通过Adam优化器根据所述损失值进行反向传播对所述训练后的图神经网络模型的网络参数进行优化得到优化后的图神经网络模型；
S600：将所述测试样本集输入至优化后的图神经网络模型，得到分类结果并计算准确率，根据所述准确率更新优化后的图神经网络模型，作为预设的图神经网络模型。
5.根据权利要求4所述的方法，其特征在于，步骤S500中预设的损失函数具体为：
其中，C代表总类别数量，c表示类别序号，p代表softmax层的输出向量[p1,...,pk,...,pc],k∈[1,C]，pk代表属于第k类的概率值，pc表示第c类的概率值，y代表真实类别标签，即独热编号后的C维向量，yc表示第c类的真实类别标签。
6.根据权利要求5所述的方法，其特征在于，步骤S700包括：
步骤S710：将所述拉普拉斯矩阵L和所述n个通道的脑电图数据输入至所述预设的图神经网络模型的第一个特征提取块，将所述第一个特征提取块的输出数据与所述n个通道的脑电图数据相加后得到第一脑电图特征图，将所述第一脑电图特征图输入至第一图池化层以减少所述第一脑电图特征图中的一半结点，其中，所述第一个特征提取块包括第一图卷积层、第一批标准化层、第一ReLU非线性激活层、第二图卷积层、第二批标准化层和第二ReLU非线性激活层；
步骤S720：将减少了一半结点后的第一脑电图特征图作为输入数据输入至第二个特征提取块，将所述第二个特征提取块的输出数据与所述减少了一半结点后的第一脑电图特征图相加后得到第二脑电图特征图，将所述第二脑电图特征图输入至第二图池化层以减少所述第二脑电图特征图中的一半结点，其中，所述第二个特征提取块的结构和所述第一个特征提取块的结构相同，叠加特征提取块直至输出的特征图的结点数达到预设的结点数量；
步骤S730：将步骤S720输出的所述特征图通过所述全连接层展平读出，使用所述Softmax层进行分类，得到属于每种类别任务的概率，其中，类别数量为运动想象的任务数量。
7.根据权利要求6所述的方法，其特征在于，步骤S730中使用Softmax层进行分类，具体为：
其中，z代表在进入softmax层之前模型的输出向量，向量长度为类别数量C，exp(·)代表指数函数，pk代表属于第k类的概率值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210228171.4A CN114611556B (zh) | 2022-03-08 | 2022-03-08 | 一种基于图神经网络的多类别运动想象任务识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210228171.4A CN114611556B (zh) | 2022-03-08 | 2022-03-08 | 一种基于图神经网络的多类别运动想象任务识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114611556A true CN114611556A (zh) | 2022-06-10 |
| CN114611556B CN114611556B (zh) | 2024-03-15 |
Family
ID=81861660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210228171.4A Active CN114611556B (zh) | 2022-03-08 | 2022-03-08 | 一种基于图神经网络的多类别运动想象任务识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114611556B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722727A (zh) * | 2012-06-11 | 2012-10-10 | 杭州电子科技大学 | 基于脑功能网络邻接矩阵分解的脑电特征提取方法 |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN111950455A (zh) * | 2020-08-12 | 2020-11-17 | 重庆邮电大学 | 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法 |
| US20210196182A1 (en) * | 2018-05-24 | 2021-07-01 | Health Tech Connex Inc. | Quantifying motor function using eeg signals |
| CN113128552A (zh) * | 2021-03-02 | 2021-07-16 | 杭州电子科技大学 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
| CN113476056A (zh) * | 2021-06-25 | 2021-10-08 | 西北工业大学 | 一种基于频域图卷积神经网络的运动想象脑电信号分类方法 |
| CN113780392A (zh) * | 2021-08-31 | 2021-12-10 | 杭州电子科技大学 | 一种运动想象脑电识别的通道选择方法 |
-
2022
- 2022-03-08 CN CN202210228171.4A patent/CN114611556B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722727A (zh) * | 2012-06-11 | 2012-10-10 | 杭州电子科技大学 | 基于脑功能网络邻接矩阵分解的脑电特征提取方法 |
| US20210196182A1 (en) * | 2018-05-24 | 2021-07-01 | Health Tech Connex Inc. | Quantifying motor function using eeg signals |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN111950455A (zh) * | 2020-08-12 | 2020-11-17 | 重庆邮电大学 | 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法 |
| CN113128552A (zh) * | 2021-03-02 | 2021-07-16 | 杭州电子科技大学 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
| CN113476056A (zh) * | 2021-06-25 | 2021-10-08 | 西北工业大学 | 一种基于频域图卷积神经网络的运动想象脑电信号分类方法 |
| CN113780392A (zh) * | 2021-08-31 | 2021-12-10 | 杭州电子科技大学 | 一种运动想象脑电识别的通道选择方法 |
Non-Patent Citations (2)
| Title |
|---|
| 于扬: "移动平台异步脑机操控技术研究", 中国博士学位论文全文数据库 信息科技辑 * |
| 岳敬伟，周宗潭，张成岗，胡德文: "脑机协调控制技术及其军事应用前景", 国防科技, vol. 34, no. 6, pages 14 - 18 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114611556B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652066B (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
| CN113693613B (zh) | 脑电信号分类方法、装置、计算机设备及存储介质 | |
| CN111134666A (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
| CN111553419B (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
| CN113749657B (zh) | 一种基于多任务胶囊的脑电情绪识别方法 | |
| CN111582342B (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
| CN111544856A (zh) | 基于新型迁移学习模型的脑-肌电智能全肢体康复方法 | |
| CN113012811B (zh) | 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法 | |
| CN110503082A (zh) | 一种基于深度学习的模型训练方法以及相关装置 | |
| CN114564990A (zh) | 一种基于多通道反馈胶囊网络的脑电信号分类方法 | |
| CN112668486A (zh) | 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 | |
| CN114781441B (zh) | Eeg运动想象分类方法及多空间卷积神经网络模型 | |
| CN115238796A (zh) | 基于并行damscn-lstm的运动想象脑电信号分类方法 | |
| CN117009780A (zh) | 一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法 | |
| CN115050452A (zh) | 一种通用肌电运动意图识别模型构建方法及系统 | |
| Dong et al. | Gradient boosted neural decision forest | |
| CN117290730A (zh) | 一种个体情绪识别模型的优化方法 | |
| CN114611556B (zh) | 一种基于图神经网络的多类别运动想象任务识别方法 | |
| CN114936583A (zh) | 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 | |
| Guzzi et al. | Distillation of a CNN for a high accuracy mobile face recognition system | |
| CN116028874A (zh) | 一种轻量化的运动想象脑电信号分类方法 | |
| CN111882045A (zh) | 基于可微神经结构搜索的大脑时-空网络分解方法及系统 | |
| CN117530684B (zh) | 一种基于健康大数据的血糖异常检测与预警系统及方法 | |
| CN117874570A (zh) | 基于混合注意力机制的脑电信号多分类方法、设备及介质 | |
| CN117633598A (zh) | 用户情绪的分类识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |