CN111310783B - 基于脑电微状态特征与神经网络模型的言语状态检测方法 - Google Patents

基于脑电微状态特征与神经网络模型的言语状态检测方法 Download PDF

Info

Publication number
CN111310783B
CN111310783B CN202010007821.3A CN202010007821A CN111310783B CN 111310783 B CN111310783 B CN 111310783B CN 202010007821 A CN202010007821 A CN 202010007821A CN 111310783 B CN111310783 B CN 111310783B
Authority
CN
China
Prior art keywords
layer
micro
state
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010007821.3A
Other languages
English (en)
Other versions
CN111310783A (zh
Inventor
司霄鹏
韩顺利
明东
张行健
周煜
李思成
向绍鑫
孙宇林
于佳悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010007821.3A priority Critical patent/CN111310783B/zh
Publication of CN111310783A publication Critical patent/CN111310783A/zh
Application granted granted Critical
Publication of CN111310783B publication Critical patent/CN111310783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于脑电微状态特征与神经网络模型的言语状态检测方法，包括：分别进行构建改进的GoogLeNet神经网络模型，以及获取正常被试者在听、说和想象说言语状态时的多通道脑电信号，并分别提取设定时间窗内的微状态时间序列特征，将所述的微状态时间序列特征加上相应的标签；用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型；再实时获取正常被试者在进行言语状态时的多通道脑电信号，提取设定时间窗内的微状态时间序列特征，并送入训练好的改进的GoogLeNet神经网络模型，从而实现言语状态检测。本发明创新性地将脑电微状态时间序列特征应用在神经网络模型上以达到言语检测的目的，并且能够有效地提高言语状态分类的准确率。

Description

基于脑电微状态特征与神经网络模型的言语状态检测方法
技术领域
本发明涉及一种言语状态检测方法。特别是涉及一种基于脑电微状态特征与神经网络模型的言语状态检测方法。
背景技术
人脑是人体中最复杂的系统，大脑的各种神经网络调控着人体各项生理活动，一个任务的实现一般需要大脑各区之间相互关联协调。人类对大脑的探索目前只是冰山一角，还有着远远超出我们认知范围的脑功能尚未被了解到。因此，随着科学技术的发展，探索脑功能无疑是一件非常有意义的事情。
许多研究已经表明，脑电图微状态时间序列的特征在不同的行为状态下是不同的。微状态又被称为“思想的原子”，在文献《EEG microstates as a tool for studyingthe temporal dynamics of whole-brain neuronal networks:A review》中提到，在一个特定的微状态中被激活的网络代表了意识的不同状态，并且每个微状态都与构成意识状态的不同类别的心理状态相关。微状态的时间序列特征包含了微状态的发生频率、持续时间和转换模式等参数。在以任务为导向的大脑活动中，微状态的出现与信息处理的特定功能之间存在着联系。因此脑电微状态可作为客观生理指标，为检测脑功能状态提供了一个新颖的方法。
言语是人类之间交流的基本方式。言语状态分为听、说和想象说。目前世界上仍存在着大量的言语障碍患者，他们几乎无法与外界正常交流，这对他们的生活带来了极大的困难。近年随着脑机接口的迅速发展，人们开始寻找一种可以依靠脑科学与神经工程的方法来对言语障碍者的言语状态进行解码，从而能够识别出患者的言语状态，进而应用在脑-机交互上。在文献《Microstates in Language-Related Brain Potential Maps ShowNoun–Verb Differences》中指出，语言处理涉及大脑的多个基本区域以及广泛分布的神经元，在一个简单的单词阅读范式中，大脑通过不同的神经群处理名词和动词，被试者在看到名词和动词时的微状态地形图中心的平均位置会有差异。
随着深度学习的兴起，医疗工作者们也开始探索一条高效的人体生理指标检测方法。而深度学习相较于传统的机器学习来说更加节省时间，并且因为权重共享的原因，使得深度学习在模型的准确率和效率方面更加有优势。最近几年深度学习在医学影像分类任务上也取得了很好地突破，开始有越来越多的人将深度学习应用于医学检测上。而由谷歌公司发明的GoogLeNet神经网络一直备受研究者的广泛关注，而残差块网络又一直被认为是防止梯度消失和梯度爆炸的有效方法。
发明内容
本发明所要解决的技术问题是，提供一种在加深模型宽度和深度的同时避免了过拟合现象，有效地提高了分类检测准确率的基于脑电微状态特征与神经网络模型的言语状态检测方法。
本发明所采用的技术方案是：一种基于脑电微状态特征与神经网络模型的言语状态检测方法，包括：分别进行构建改进的GoogLeNet神经网络模型，以及获取正常被试者在听、说和想象说言语状态时的多通道脑电信号，并分别提取设定时间窗内的微状态时间序列特征，将所述的微状态时间序列特征加上相应的标签；用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型；再实时获取正常被试者在进行言语状态时的多通道脑电信号，提取设定时间窗内的微状态时间序列特征，并送入训练好的改进的GoogLeNet神经网络模型，从而实现言语状态检测。
所述的言语状态为听状态、说状态和想象说状态中的一种。
所述的构建改进的GoogLeNet神经网络模型，是在GoogLeNet神经网络模型的基础上添加了残差块网络，具体为：
从输入层到第一个三组并行结构，再从三组并行结构统一输出到第一通道合并层，所述的第一个三组并行结构分别为：相连接的1×1卷积层和池化层；相连接的3×3卷积层和池化层；相连接5×5卷积层和池化层；所述卷积层的卷积核个数均为32；
从第一通道合并层再到第二个三组并行结构，再从第二个三组并行结构统一输出到第二通道合并层，所述的第二个三组并行结构分别为：相连接的1×1卷积层和池化层；依次连接的五个3×3卷积层和一个池化层；依次连接的五个5×5卷积层和一个池化层；所述卷积层的卷积核个数也均为32；其中残差网络的连接分别为：第一个3×3卷积层的输入作为第一个残差网络的输入，第二个3×3卷积层的输出作为第一个残差网络的输出；第四个3×3卷积层的输入作为第二个残差网络的输入，第五个3×3卷积层的输出作为第二个残差网络的输出；第一个5×5卷积层的输入作为第三个残差网络的输入，第二个5×5卷积层的输出作为第三个残差网络的输出；第四个5×5卷积层的输入作为第四个残差网络的输入，第五个5×5卷积层的输出作为第四个残差网络的输出；
从第二通道合并层再到第三个三组并行结构，再从第三个三组并行结构统一输出到第三通道合并层，所述的第三个三组并行结构分别为：相连接的1×1卷积层和池化层；依次连接的五个3×3卷积层和一个池化层；依次连接的五个5×5卷积层和一个池化层；所述卷积层的卷积核个数也均为64；其中残差网络的连接分别为：第一个3×3卷积层的输入作为第五个残差网络的输入，第二个3×3卷积层的输出作为第五个残差网络的输出；第四个3×3卷积层的输入作为第六个残差网络的输入，第五个3×3卷积层的输出作为第六个残差网络的输出；第一个5×5卷积层的输入作为第七个残差网络的输入，第二个5×5卷积层的输出作为第七个残差网络的输出；第四个5×5卷积层的输入作为第八个残差网络的输入，第五个5×5卷积层的输出作为第八个残差网络的输出；
从第三通道合并层再到第四个三组并行结构，再从第四个三组并行结构统一输出到第四通道合并层，所述的第四个三组并行结构分别为：相连接的1×1卷积层和池化层；依次连接的五个3×3卷积层和一个池化层；依次连接的五个5×5卷积层和一个池化层；所述卷积层的卷积核个数也均为128；
其中残差网络的连接分别为：第一个3×3卷积层的输入作为第九个残差网络的输入，第二个3×3卷积层的输出作为第九个残差网络的输出；第四个3×3卷积层的输入作为第十个残差网络的输入，第五个3×3卷积层的输出作为第十个残差网络的输出；第一个5×5卷积层的输入作为第十一个残差网络的输入，第二个5×5卷积层的输出作为第十一个残差网络的输出；第四个5×5卷积层的输入作为第十二个残差网络的输入，第五个5×5卷积层的输出作为第十二个残差网络的输出；
最后依次输出到平均池化层、输出层。
所述的设定时间窗为2s，即将每2s的微状态时间序列作为一个输入特征，一个微状态转换到另一个微状态之前持续80-120ms。
所述的提取设定时间窗内的微状态时间序列特征，包括：
(1)将多通道脑电信号通过如下公式计算得到全局场功率曲线：
Figure GDA0003728274430000031
其中，Vi(t)表示在t时刻的电极电压向量，Vmean(t)表示电极间瞬时电位的平均值，K表示电极个数，GFP表示全局场功率曲线；
再绘制出全局场功率曲线局部最大值时刻的电势，生成电极阵列的地形图；
(2)将全局场功率曲线局部最大值时刻对应的地形图提交到K均值聚类算法中，经该算法将所述的地形图分成四类微状态图；
(3)将四类微状态按全局场功率曲线峰值顺序进行时间序列排列，得到输入特征。
所述的将所述的微状态时间序列特征加上相应的标签，是将微状态时间序列特征根据不同言语状态分为听、说和想象说三类标签。
所述的用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型，包括：
(1)将带有标签的微状态时间序列特征划分为训练集、验证集和测试集，划分比例为8:1:1，其中，将测试集中的标签去掉；
(2)将训练集输入改进的GoogLeNet神经网络模型的输入层进行训练，进行前向传播；逐层变换后传输到残差神经网络的输出层；
(3)利用交叉熵损失函数来检测改进的GoogLeNet神经网络模型有效性，并且通过Adam优化器和反向传播的方式对第(2)步得到的改进的GoogLeNet神经网络模型参数进行调整，以更新每一层的参数和权重，通过验证集对调整后的改进的GoogLeNet神经网络模型进行验证并进行调参，直到改进的GoogLeNet神经网络模型的准确率保持不变时停止训练，并用测试集测试调参后的改进的GoogLeNet神经网络模型，从而得到训练好的改进的GoogLeNet神经网络模型。
本发明的基于脑电微状态特征与神经网络模型的言语状态检测方法，所使用的改进的GoogLeNet神经网络在GoogLeNet的基础上添加了残差块，该网络充分利用了计算机内部资源，增大网络宽度的同时达到了抗过拟合的作用。本发明创新性地将脑电微状态时间序列特征应用在神经网络模型上以达到言语检测的目的，并且能够有效地提高言语状态分类的准确率。
附图说明
图1是本发明基于脑电微状态特征与神经网络模型的言语状态检测方法的框图；
图2是本发明基于脑电微状态特征与神经网络模型的言语状态检测方法的流程图；
图3是本发明中微状态时间序列特征获取流程图；
图4是本发明实施例的残差块示意图。
具体实施方式
下面结合实施例和附图对本发明的基于脑电微状态特征与神经网络模型的言语状态检测方法做出详细说明。
本发明的基于脑电微状态特征与神经网络模型的言语状态检测方法，包括如下步骤：
1)分别进行构建改进的GoogLeNet神经网络模型，以及获取正常被试者在听、说和想象说言语状态时的多通道脑电信号，并分别提取设定时间窗内的微状态时间序列特征，将所述的微状态时间序列特征加上相应的标签，具体是将微状态时间序列特征根据不同言语状态分为听、说和想象说三类标签；其中，
所述的构建改进的GoogLeNet神经网络模型，是在GoogLeNet神经网络模型的基础上添加了残差块网络，具体为：
从输入层到第一个三组并行结构，再从三组并行结构统一输出到第一通道合并层，所述的第一个三组并行结构分别为：相连接的1×1卷积层和池化层；相连接的3×3卷积层和池化层；相连接5×5卷积层和池化层；所述卷积层的卷积核个数均为32；
从第一通道合并层再到第二个三组并行结构，再从第二个三组并行结构统一输出到第二通道合并层，所述的第二个三组并行结构分别为：相连接的1×1卷积层和池化层；依次连接的五个3×3卷积层和一个池化层；依次连接的五个5×5卷积层和一个池化层；所述卷积层的卷积核个数也均为32；其中残差网络的连接分别为：第一个3×3卷积层的输入作为第一个残差网络的输入，第二个3×3卷积层的输出作为第一个残差网络的输出；第四个3×3卷积层的输入作为第二个残差网络的输入，第五个3×3卷积层的输出作为第二个残差网络的输出；第一个5×5卷积层的输入作为第三个残差网络的输入，第二个5×5卷积层的输出作为第三个残差网络的输出；第四个5×5卷积层的输入作为第四个残差网络的输入，第五个5×5卷积层的输出作为第四个残差网络的输出；
从第二通道合并层再到第三个三组并行结构，再从第三个三组并行结构统一输出到第三通道合并层，所述的第三个三组并行结构分别为：相连接的1×1卷积层和池化层；依次连接的五个3×3卷积层和一个池化层；依次连接的五个5×5卷积层和一个池化层；所述卷积层的卷积核个数也均为64；其中残差网络的连接分别为：第一个3×3卷积层的输入作为第五个残差网络的输入，第二个3×3卷积层的输出作为第五个残差网络的输出；第四个3×3卷积层的输入作为第六个残差网络的输入，第五个3×3卷积层的输出作为第六个残差网络的输出；第一个5×5卷积层的输入作为第七个残差网络的输入，第二个5×5卷积层的输出作为第七个残差网络的输出；第四个5×5卷积层的输入作为第八个残差网络的输入，第五个5×5卷积层的输出作为第八个残差网络的输出；
从第三通道合并层再到第四个三组并行结构，再从第四个三组并行结构统一输出到第四通道合并层，所述的第四个三组并行结构分别为：相连接的1×1卷积层和池化层；依次连接的五个3×3卷积层和一个池化层；依次连接的五个5×5卷积层和一个池化层；所述卷积层的卷积核个数也均为128；
其中残差网络的连接分别为：第一个3×3卷积层的输入作为第九个残差网络的输入，第二个3×3卷积层的输出作为第九个残差网络的输出；第四个3×3卷积层的输入作为第十个残差网络的输入，第五个3×3卷积层的输出作为第十个残差网络的输出；第一个5×5卷积层的输入作为第十一个残差网络的输入，第二个5×5卷积层的输出作为第十一个残差网络的输出；第四个5×5卷积层的输入作为第十二个残差网络的输入，第五个5×5卷积层的输出作为第十二个残差网络的输出；
最后依次输出到平均池化层、输出层。
2)用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型，包括：
(1)将带有标签的微状态时间序列特征划分为训练集、验证集和测试集，划分比例为8:1:1，其中，将测试集中的标签去掉；
(2)将训练集输入改进的GoogLeNet神经网络模型的输入层进行训练，进行前向传播；逐层变换后传输到残差神经网络的输出层；
(3)利用交叉熵损失函数来检测改进的GoogLeNet神经网络模型有效性，并且通过Adam优化器和反向传播的方式对第(2)步得到的改进的GoogLeNet神经网络模型参数进行调整，以更新每一层的参数和权重，通过验证集对调整后的改进的GoogLeNet神经网络模型进行验证并进行调参，直到改进的GoogLeNet神经网络模型的准确率保持不变时停止训练，并用测试集测试调参后的改进的GoogLeNet神经网络模型，从而得到训练好的改进的GoogLeNet神经网络模型。
(1)本发明实例中，使用的交叉熵损失函数为：
Figure GDA0003728274430000051
其中，m表示分类数目，y表示正确的标签值，yl表示真实输出。
(2)本发明实施例中Adam算法方式是：
s←ρ1s+(1-ρ1)g
γ←ρ2γ+(1-ρ2)g⊙g
其中，ρ1、ρ2均为常数(默认值为ρ1＝0.9、ρ2＝0.999)，g代表损失函数的一阶梯度，s代表有偏一阶矩估计，γ代表有偏二阶矩估计；
Figure GDA0003728274430000052
其中，ρ1、ρ2均为常数(默认值为ρ1＝0.9、ρ2＝0.999)，s代表有偏一阶矩估计，γ代表有偏二阶矩估计，sl代表修正一阶矩阵的偏差，γl代表修正二阶矩的偏差。
Figure GDA0003728274430000053
其中，ε、δ均为常数(默认值为ε＝0.001、δ＝10-8)，γ代表有偏二阶矩估计，sl代表修正一阶矩阵的偏差，Δθ代表参数θ的变化。
3)再实时获取正常被试者在进行言语状态时的多通道脑电信号，所述的言语状态为听状态、说状态和想象说状态中的一种，提取设定时间窗内的微状态时间序列特征，并送入训练好的改进的GoogLeNet神经网络模型，从而实现言语状态检测。
本发明步骤1)和步骤3)中所述的设定时间窗为2s，即将每2s的微状态时间序列作为一个输入特征，一个微状态转换到另一个微状态之前持续80-120ms。
本发明中步骤1)和步骤3)中所述的提取设定时间窗内的微状态时间序列特征，包括：
(1)将多通道脑电信号通过如下公式计算得到全局场功率(Global field power，GFP)曲线：
Figure GDA0003728274430000061
其中，Vi(t)表示在t时刻的电极电压向量，Vmean(t)表示电极间瞬时电位的平均值，K表示电极个数，GFP表示全局场功率曲线；
再绘制出全局场功率曲线局部最大值时刻的电势，生成电极阵列的地形图；
(2)将全局场功率曲线局部最大值时刻对应的地形图提交到K均值聚类算法中，经该算法将所述的地形图分成四类微状态图；
(3)将四类微状态按全局场功率曲线峰值顺序进行时间序列排列，得到输入特征。

Claims (6)

1.一种基于脑电微状态特征与神经网络模型的言语状态检测方法，其特征在于，包括：分别进行构建改进的GoogLeNet神经网络模型，以及获取正常被试者在听、说和想象说言语状态时的多通道脑电信号，并分别提取设定时间窗内的微状态时间序列特征，将所述的微状态时间序列特征加上相应的标签；用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型；再实时获取正常被试者在进行言语状态时的多通道脑电信号，提取设定时间窗内的微状态时间序列特征，并送入训练好的改进的GoogLeNet神经网络模型，从而实现言语状态检测；
所述的构建改进的GoogLeNet神经网络模型，是在GoogLeNet神经网络模型的基础上添加了残差块网络，具体为：
从输入层到第一个三组并行结构，再从三组并行结构统一输出到第一通道合并层，所述的第一个三组并行结构分别为：相连接的1×1卷积层和池化层；相连接的3×3卷积层和池化层；相连接5×5卷积层和池化层；所述卷积层的卷积核个数均为32；
从第一通道合并层再到第二个三组并行结构，再从第二个三组并行结构统一输出到第二通道合并层，所述的第二个三组并行结构分别为：相连接的1×1卷积层和池化层；依次连接的五个3×3卷积层和一个池化层；依次连接的五个5×5卷积层和一个池化层；所述卷积层的卷积核个数也均为32；其中残差网络的连接分别为：第一个3×3卷积层的输入作为第一个残差网络的输入，第二个3×3卷积层的输出作为第一个残差网络的输出；第四个3×3卷积层的输入作为第二个残差网络的输入，第五个3×3卷积层的输出作为第二个残差网络的输出；第一个5×5卷积层的输入作为第三个残差网络的输入，第二个5×5卷积层的输出作为第三个残差网络的输出；第四个5×5卷积层的输入作为第四个残差网络的输入，第五个5×5卷积层的输出作为第四个残差网络的输出；
从第二通道合并层再到第三个三组并行结构，再从第三个三组并行结构统一输出到第三通道合并层，所述的第三个三组并行结构分别为：相连接的1×1卷积层和池化层；依次连接的五个3×3卷积层和一个池化层；依次连接的五个5×5卷积层和一个池化层；所述卷积层的卷积核个数也均为64；其中残差网络的连接分别为：第一个3×3卷积层的输入作为第五个残差网络的输入，第二个3×3卷积层的输出作为第五个残差网络的输出；第四个3×3卷积层的输入作为第六个残差网络的输入，第五个3×3卷积层的输出作为第六个残差网络的输出；第一个5×5卷积层的输入作为第七个残差网络的输入，第二个5×5卷积层的输出作为第七个残差网络的输出；第四个5×5卷积层的输入作为第八个残差网络的输入，第五个5×5卷积层的输出作为第八个残差网络的输出；
从第三通道合并层再到第四个三组并行结构，再从第四个三组并行结构统一输出到第四通道合并层，所述的第四个三组并行结构分别为：相连接的1×1卷积层和池化层；依次连接的五个3×3卷积层和一个池化层；依次连接的五个5×5卷积层和一个池化层；所述卷积层的卷积核个数也均为128；
其中残差网络的连接分别为：第一个3×3卷积层的输入作为第九个残差网络的输入，第二个3×3卷积层的输出作为第九个残差网络的输出；第四个3×3卷积层的输入作为第十个残差网络的输入，第五个3×3卷积层的输出作为第十个残差网络的输出；第一个5×5卷积层的输入作为第十一个残差网络的输入，第二个5×5卷积层的输出作为第十一个残差网络的输出；第四个5×5卷积层的输入作为第十二个残差网络的输入，第五个5×5卷积层的输出作为第十二个残差网络的输出；
最后依次输出到平均池化层、输出层。
2.根据权利要求1所述的基于脑电微状态特征与神经网络模型的言语状态检测方法，其特征在于，所述的言语状态为听状态、说状态和想象说状态中的一种。
3.根据权利要求1所述的基于脑电微状态特征与神经网络模型的言语状态检测方法，其特征在于，所述的设定时间窗为2s，即将每2s的微状态时间序列作为一个输入特征，一个微状态转换到另一个微状态之前持续80-120ms。
4.根据权利要求1所述的基于脑电微状态特征与神经网络模型的言语状态检测方法，其特征在于，所述的提取设定时间窗内的微状态时间序列特征，包括：
(1)将多通道脑电信号通过如下公式计算得到全局场功率曲线：
Figure FDA0003728274420000021
其中，Vi(t)表示在t时刻的电极电压向量，Vmean(t)表示电极间瞬时电位的平均值，K表示电极个数，GFP表示全局场功率曲线；
再绘制出全局场功率曲线局部最大值时刻的电势，生成电极阵列的地形图；
(2)将全局场功率曲线局部最大值时刻对应的地形图提交到K均值聚类算法中，经该算法将所述的地形图分成四类微状态图；
(3)将四类微状态按全局场功率曲线峰值顺序进行时间序列排列，得到输入特征。
5.根据权利要求1所述的基于脑电微状态特征与神经网络模型的言语状态检测方法，其特征在于，所述的将所述的微状态时间序列特征加上相应的标签，是将微状态时间序列特征根据不同言语状态分为听、说和想象说三类标签。
6.根据权利要求1所述的基于脑电微状态特征与神经网络模型的言语状态检测方法，其特征在于，所述的用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型，包括：
(1)将带有标签的微状态时间序列特征划分为训练集、验证集和测试集，划分比例为8:1:1，其中，将测试集中的标签去掉；
(2)将训练集输入改进的GoogLeNet神经网络模型的输入层进行训练，进行前向传播；逐层变换后传输到残差神经网络的输出层；
(3)利用交叉熵损失函数来检测改进的GoogLeNet神经网络模型有效性，并且通过Adam优化器和反向传播的方式对第(2)步得到的改进的GoogLeNet神经网络模型参数进行调整，以更新每一层的参数和权重，通过验证集对调整后的改进的GoogLeNet神经网络模型进行验证并进行调参，直到改进的GoogLeNet神经网络模型的准确率保持不变时停止训练，并用测试集测试调参后的改进的GoogLeNet神经网络模型，从而得到训练好的改进的GoogLeNet神经网络模型。
CN202010007821.3A 2020-01-05 2020-01-05 基于脑电微状态特征与神经网络模型的言语状态检测方法 Active CN111310783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010007821.3A CN111310783B (zh) 2020-01-05 2020-01-05 基于脑电微状态特征与神经网络模型的言语状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010007821.3A CN111310783B (zh) 2020-01-05 2020-01-05 基于脑电微状态特征与神经网络模型的言语状态检测方法

Publications (2)

Publication Number Publication Date
CN111310783A CN111310783A (zh) 2020-06-19
CN111310783B true CN111310783B (zh) 2022-08-30

Family

ID=71146806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010007821.3A Active CN111310783B (zh) 2020-01-05 2020-01-05 基于脑电微状态特征与神经网络模型的言语状态检测方法

Country Status (1)

Country Link
CN (1) CN111310783B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113367705A (zh) * 2021-04-07 2021-09-10 西北工业大学 基于改进的微状态分析的运动想象脑电信号分类方法
CN113558637B (zh) * 2021-07-05 2024-01-05 杭州电子科技大学 一种基于相位传递熵的音乐感知下脑网络构建方法
CN117130490B (zh) * 2023-10-26 2024-01-26 天津大学 一种脑机接口控制系统及其控制方法和实现方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479702A (zh) * 2017-08-04 2017-12-15 西南大学 一种使用脑电信号的人类情感优势度分类识别方法
US11199904B2 (en) * 2017-10-06 2021-12-14 Holland Bloorview Kids Rehabilitation Hospital Brain-computer interface platform and process for classification of covert speech
CN108022647B (zh) * 2017-11-30 2022-01-25 东北大学 基于ResNet-Inception模型的肺结节良恶性预测方法
CN108577835B (zh) * 2018-05-17 2019-07-19 太原理工大学 一种基于微状态的脑功能网络构建方法
CN108764471B (zh) * 2018-05-17 2020-04-14 西安电子科技大学 基于特征冗余分析的神经网络跨层剪枝方法
CN109784023B (zh) * 2018-11-28 2022-02-25 西安电子科技大学 基于深度学习的稳态视觉诱发脑电身份识别方法及系统
CN109846477B (zh) * 2019-01-29 2021-08-06 北京工业大学 一种基于频带注意力残差网络的脑电分类方法
CN109620185B (zh) * 2019-01-31 2020-07-21 山东大学 基于多模态信息的自闭症辅助诊断系统、设备及介质
CN110236533A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 基于多深度神经网络迁移特征学习的癫痫发作预测方法
CN110163180A (zh) * 2019-05-29 2019-08-23 长春思帕德科技有限公司 运动想象脑电数据分类方法及系统

Also Published As

Publication number Publication date
CN111310783A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111310783B (zh) 基于脑电微状态特征与神经网络模型的言语状态检测方法
Chao et al. Recognition of emotions using multichannel EEG data and DBN-GC-based ensemble deep learning framework
Wang et al. Linking attention-based multiscale CNN with dynamical GCN for driving fatigue detection
CN111553295B (zh) 基于自注意力机制的多模态情感识别方法
Li et al. Combined long short-term memory based network employing wavelet coefficients for MI-EEG recognition
Satapathy et al. ADASYN and ABC-optimized RBF convergence network for classification of electroencephalograph signal
CN108280414A (zh) 一种基于能量特征的运动想象脑电信号的识别方法
Mansoor et al. Deep learning algorithm for brain-computer interface
Hou et al. EEG-based emotion recognition for hearing impaired and normal individuals with residual feature pyramids network based on time–frequency–spatial features
CN113180692A (zh) 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN104951797A (zh) 一种基于ar系数空间的elm运动想象脑电分类方法
Mo et al. Motor imagery electroencephalograph classification based on optimized support vector machine by magnetic bacteria optimization algorithm
Bablani et al. A multi stage EEG data classification using k-means and feed forward neural network
Balam et al. Statistical channel selection method for detecting drowsiness through single-channel EEG-based BCI system
Pourali et al. CSP-Ph-PS: Learning CSP-phase space and Poincare sections based on evolutionary algorithm for EEG signals recognition
CN108874137B (zh) 一种基于脑电信号的手势动作意图检测的通用模型
Chanu et al. An automated epileptic seizure detection using optimized neural network from EEG signals
Dehzangi et al. EEG based driver inattention identification via feature profiling and dimensionality reduction
US20230101539A1 (en) Physiological electric signal classification processing method and apparatus, computer device and storage medium
Saranya et al. An efficient AP-ANN-based multimethod fusion model to detect stress through EEG signal analysis
Yang et al. An aggressive driving state recognition model using EEG based on stacking ensemble learning
CN114052734A (zh) 基于渐进式图卷积神经网络的脑电情感识别方法
CN106371590A (zh) 基于OpenVIBE的高性能运动想象在线脑机接口系统
Kumar et al. Classification of driver cognitive load based on physiological data: Exploring recurrent neural networks
Xu et al. Emotion Recognition from Multi-channel EEG via an Attention-Based CNN Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant