CN111310783B - 基于脑电微状态特征与神经网络模型的言语状态检测方法 - Google Patents
基于脑电微状态特征与神经网络模型的言语状态检测方法 Download PDFInfo
- Publication number
- CN111310783B CN111310783B CN202010007821.3A CN202010007821A CN111310783B CN 111310783 B CN111310783 B CN 111310783B CN 202010007821 A CN202010007821 A CN 202010007821A CN 111310783 B CN111310783 B CN 111310783B
- Authority
- CN
- China
- Prior art keywords
- layer
- micro
- state
- input
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000011176 pooling Methods 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003925 brain function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 208000027765 speech disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Image Analysis (AREA)
Abstract
一种基于脑电微状态特征与神经网络模型的言语状态检测方法,包括:分别进行构建改进的GoogLeNet神经网络模型,以及获取正常被试者在听、说和想象说言语状态时的多通道脑电信号,并分别提取设定时间窗内的微状态时间序列特征,将所述的微状态时间序列特征加上相应的标签;用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型;再实时获取正常被试者在进行言语状态时的多通道脑电信号,提取设定时间窗内的微状态时间序列特征,并送入训练好的改进的GoogLeNet神经网络模型,从而实现言语状态检测。本发明创新性地将脑电微状态时间序列特征应用在神经网络模型上以达到言语检测的目的,并且能够有效地提高言语状态分类的准确率。
Description
技术领域
本发明涉及一种言语状态检测方法。特别是涉及一种基于脑电微状态特征与神经网络模型的言语状态检测方法。
背景技术
人脑是人体中最复杂的系统,大脑的各种神经网络调控着人体各项生理活动,一个任务的实现一般需要大脑各区之间相互关联协调。人类对大脑的探索目前只是冰山一角,还有着远远超出我们认知范围的脑功能尚未被了解到。因此,随着科学技术的发展,探索脑功能无疑是一件非常有意义的事情。
许多研究已经表明,脑电图微状态时间序列的特征在不同的行为状态下是不同的。微状态又被称为“思想的原子”,在文献《EEG microstates as a tool for studyingthe temporal dynamics of whole-brain neuronal networks:A review》中提到,在一个特定的微状态中被激活的网络代表了意识的不同状态,并且每个微状态都与构成意识状态的不同类别的心理状态相关。微状态的时间序列特征包含了微状态的发生频率、持续时间和转换模式等参数。在以任务为导向的大脑活动中,微状态的出现与信息处理的特定功能之间存在着联系。因此脑电微状态可作为客观生理指标,为检测脑功能状态提供了一个新颖的方法。
言语是人类之间交流的基本方式。言语状态分为听、说和想象说。目前世界上仍存在着大量的言语障碍患者,他们几乎无法与外界正常交流,这对他们的生活带来了极大的困难。近年随着脑机接口的迅速发展,人们开始寻找一种可以依靠脑科学与神经工程的方法来对言语障碍者的言语状态进行解码,从而能够识别出患者的言语状态,进而应用在脑-机交互上。在文献《Microstates in Language-Related Brain Potential Maps ShowNoun–Verb Differences》中指出,语言处理涉及大脑的多个基本区域以及广泛分布的神经元,在一个简单的单词阅读范式中,大脑通过不同的神经群处理名词和动词,被试者在看到名词和动词时的微状态地形图中心的平均位置会有差异。
随着深度学习的兴起,医疗工作者们也开始探索一条高效的人体生理指标检测方法。而深度学习相较于传统的机器学习来说更加节省时间,并且因为权重共享的原因,使得深度学习在模型的准确率和效率方面更加有优势。最近几年深度学习在医学影像分类任务上也取得了很好地突破,开始有越来越多的人将深度学习应用于医学检测上。而由谷歌公司发明的GoogLeNet神经网络一直备受研究者的广泛关注,而残差块网络又一直被认为是防止梯度消失和梯度爆炸的有效方法。
发明内容
本发明所要解决的技术问题是,提供一种在加深模型宽度和深度的同时避免了过拟合现象,有效地提高了分类检测准确率的基于脑电微状态特征与神经网络模型的言语状态检测方法。
本发明所采用的技术方案是:一种基于脑电微状态特征与神经网络模型的言语状态检测方法,包括:分别进行构建改进的GoogLeNet神经网络模型,以及获取正常被试者在听、说和想象说言语状态时的多通道脑电信号,并分别提取设定时间窗内的微状态时间序列特征,将所述的微状态时间序列特征加上相应的标签;用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型;再实时获取正常被试者在进行言语状态时的多通道脑电信号,提取设定时间窗内的微状态时间序列特征,并送入训练好的改进的GoogLeNet神经网络模型,从而实现言语状态检测。
所述的言语状态为听状态、说状态和想象说状态中的一种。
所述的构建改进的GoogLeNet神经网络模型,是在GoogLeNet神经网络模型的基础上添加了残差块网络,具体为:
从输入层到第一个三组并行结构,再从三组并行结构统一输出到第一通道合并层,所述的第一个三组并行结构分别为:相连接的1×1卷积层和池化层;相连接的3×3卷积层和池化层;相连接5×5卷积层和池化层;所述卷积层的卷积核个数均为32;
从第一通道合并层再到第二个三组并行结构,再从第二个三组并行结构统一输出到第二通道合并层,所述的第二个三组并行结构分别为:相连接的1×1卷积层和池化层;依次连接的五个3×3卷积层和一个池化层;依次连接的五个5×5卷积层和一个池化层;所述卷积层的卷积核个数也均为32;其中残差网络的连接分别为:第一个3×3卷积层的输入作为第一个残差网络的输入,第二个3×3卷积层的输出作为第一个残差网络的输出;第四个3×3卷积层的输入作为第二个残差网络的输入,第五个3×3卷积层的输出作为第二个残差网络的输出;第一个5×5卷积层的输入作为第三个残差网络的输入,第二个5×5卷积层的输出作为第三个残差网络的输出;第四个5×5卷积层的输入作为第四个残差网络的输入,第五个5×5卷积层的输出作为第四个残差网络的输出;
从第二通道合并层再到第三个三组并行结构,再从第三个三组并行结构统一输出到第三通道合并层,所述的第三个三组并行结构分别为:相连接的1×1卷积层和池化层;依次连接的五个3×3卷积层和一个池化层;依次连接的五个5×5卷积层和一个池化层;所述卷积层的卷积核个数也均为64;其中残差网络的连接分别为:第一个3×3卷积层的输入作为第五个残差网络的输入,第二个3×3卷积层的输出作为第五个残差网络的输出;第四个3×3卷积层的输入作为第六个残差网络的输入,第五个3×3卷积层的输出作为第六个残差网络的输出;第一个5×5卷积层的输入作为第七个残差网络的输入,第二个5×5卷积层的输出作为第七个残差网络的输出;第四个5×5卷积层的输入作为第八个残差网络的输入,第五个5×5卷积层的输出作为第八个残差网络的输出;
从第三通道合并层再到第四个三组并行结构,再从第四个三组并行结构统一输出到第四通道合并层,所述的第四个三组并行结构分别为:相连接的1×1卷积层和池化层;依次连接的五个3×3卷积层和一个池化层;依次连接的五个5×5卷积层和一个池化层;所述卷积层的卷积核个数也均为128;
其中残差网络的连接分别为:第一个3×3卷积层的输入作为第九个残差网络的输入,第二个3×3卷积层的输出作为第九个残差网络的输出;第四个3×3卷积层的输入作为第十个残差网络的输入,第五个3×3卷积层的输出作为第十个残差网络的输出;第一个5×5卷积层的输入作为第十一个残差网络的输入,第二个5×5卷积层的输出作为第十一个残差网络的输出;第四个5×5卷积层的输入作为第十二个残差网络的输入,第五个5×5卷积层的输出作为第十二个残差网络的输出;
最后依次输出到平均池化层、输出层。
所述的设定时间窗为2s,即将每2s的微状态时间序列作为一个输入特征,一个微状态转换到另一个微状态之前持续80-120ms。
所述的提取设定时间窗内的微状态时间序列特征,包括:
(1)将多通道脑电信号通过如下公式计算得到全局场功率曲线:
其中,Vi(t)表示在t时刻的电极电压向量,Vmean(t)表示电极间瞬时电位的平均值,K表示电极个数,GFP表示全局场功率曲线;
再绘制出全局场功率曲线局部最大值时刻的电势,生成电极阵列的地形图;
(2)将全局场功率曲线局部最大值时刻对应的地形图提交到K均值聚类算法中,经该算法将所述的地形图分成四类微状态图;
(3)将四类微状态按全局场功率曲线峰值顺序进行时间序列排列,得到输入特征。
所述的将所述的微状态时间序列特征加上相应的标签,是将微状态时间序列特征根据不同言语状态分为听、说和想象说三类标签。
所述的用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型,包括:
(1)将带有标签的微状态时间序列特征划分为训练集、验证集和测试集,划分比例为8:1:1,其中,将测试集中的标签去掉;
(2)将训练集输入改进的GoogLeNet神经网络模型的输入层进行训练,进行前向传播;逐层变换后传输到残差神经网络的输出层;
(3)利用交叉熵损失函数来检测改进的GoogLeNet神经网络模型有效性,并且通过Adam优化器和反向传播的方式对第(2)步得到的改进的GoogLeNet神经网络模型参数进行调整,以更新每一层的参数和权重,通过验证集对调整后的改进的GoogLeNet神经网络模型进行验证并进行调参,直到改进的GoogLeNet神经网络模型的准确率保持不变时停止训练,并用测试集测试调参后的改进的GoogLeNet神经网络模型,从而得到训练好的改进的GoogLeNet神经网络模型。
本发明的基于脑电微状态特征与神经网络模型的言语状态检测方法,所使用的改进的GoogLeNet神经网络在GoogLeNet的基础上添加了残差块,该网络充分利用了计算机内部资源,增大网络宽度的同时达到了抗过拟合的作用。本发明创新性地将脑电微状态时间序列特征应用在神经网络模型上以达到言语检测的目的,并且能够有效地提高言语状态分类的准确率。
附图说明
图1是本发明基于脑电微状态特征与神经网络模型的言语状态检测方法的框图;
图2是本发明基于脑电微状态特征与神经网络模型的言语状态检测方法的流程图;
图3是本发明中微状态时间序列特征获取流程图;
图4是本发明实施例的残差块示意图。
具体实施方式
下面结合实施例和附图对本发明的基于脑电微状态特征与神经网络模型的言语状态检测方法做出详细说明。
本发明的基于脑电微状态特征与神经网络模型的言语状态检测方法,包括如下步骤:
1)分别进行构建改进的GoogLeNet神经网络模型,以及获取正常被试者在听、说和想象说言语状态时的多通道脑电信号,并分别提取设定时间窗内的微状态时间序列特征,将所述的微状态时间序列特征加上相应的标签,具体是将微状态时间序列特征根据不同言语状态分为听、说和想象说三类标签;其中,
所述的构建改进的GoogLeNet神经网络模型,是在GoogLeNet神经网络模型的基础上添加了残差块网络,具体为:
从输入层到第一个三组并行结构,再从三组并行结构统一输出到第一通道合并层,所述的第一个三组并行结构分别为:相连接的1×1卷积层和池化层;相连接的3×3卷积层和池化层;相连接5×5卷积层和池化层;所述卷积层的卷积核个数均为32;
从第一通道合并层再到第二个三组并行结构,再从第二个三组并行结构统一输出到第二通道合并层,所述的第二个三组并行结构分别为:相连接的1×1卷积层和池化层;依次连接的五个3×3卷积层和一个池化层;依次连接的五个5×5卷积层和一个池化层;所述卷积层的卷积核个数也均为32;其中残差网络的连接分别为:第一个3×3卷积层的输入作为第一个残差网络的输入,第二个3×3卷积层的输出作为第一个残差网络的输出;第四个3×3卷积层的输入作为第二个残差网络的输入,第五个3×3卷积层的输出作为第二个残差网络的输出;第一个5×5卷积层的输入作为第三个残差网络的输入,第二个5×5卷积层的输出作为第三个残差网络的输出;第四个5×5卷积层的输入作为第四个残差网络的输入,第五个5×5卷积层的输出作为第四个残差网络的输出;
从第二通道合并层再到第三个三组并行结构,再从第三个三组并行结构统一输出到第三通道合并层,所述的第三个三组并行结构分别为:相连接的1×1卷积层和池化层;依次连接的五个3×3卷积层和一个池化层;依次连接的五个5×5卷积层和一个池化层;所述卷积层的卷积核个数也均为64;其中残差网络的连接分别为:第一个3×3卷积层的输入作为第五个残差网络的输入,第二个3×3卷积层的输出作为第五个残差网络的输出;第四个3×3卷积层的输入作为第六个残差网络的输入,第五个3×3卷积层的输出作为第六个残差网络的输出;第一个5×5卷积层的输入作为第七个残差网络的输入,第二个5×5卷积层的输出作为第七个残差网络的输出;第四个5×5卷积层的输入作为第八个残差网络的输入,第五个5×5卷积层的输出作为第八个残差网络的输出;
从第三通道合并层再到第四个三组并行结构,再从第四个三组并行结构统一输出到第四通道合并层,所述的第四个三组并行结构分别为:相连接的1×1卷积层和池化层;依次连接的五个3×3卷积层和一个池化层;依次连接的五个5×5卷积层和一个池化层;所述卷积层的卷积核个数也均为128;
其中残差网络的连接分别为:第一个3×3卷积层的输入作为第九个残差网络的输入,第二个3×3卷积层的输出作为第九个残差网络的输出;第四个3×3卷积层的输入作为第十个残差网络的输入,第五个3×3卷积层的输出作为第十个残差网络的输出;第一个5×5卷积层的输入作为第十一个残差网络的输入,第二个5×5卷积层的输出作为第十一个残差网络的输出;第四个5×5卷积层的输入作为第十二个残差网络的输入,第五个5×5卷积层的输出作为第十二个残差网络的输出;
最后依次输出到平均池化层、输出层。
2)用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型,包括:
(1)将带有标签的微状态时间序列特征划分为训练集、验证集和测试集,划分比例为8:1:1,其中,将测试集中的标签去掉;
(2)将训练集输入改进的GoogLeNet神经网络模型的输入层进行训练,进行前向传播;逐层变换后传输到残差神经网络的输出层;
(3)利用交叉熵损失函数来检测改进的GoogLeNet神经网络模型有效性,并且通过Adam优化器和反向传播的方式对第(2)步得到的改进的GoogLeNet神经网络模型参数进行调整,以更新每一层的参数和权重,通过验证集对调整后的改进的GoogLeNet神经网络模型进行验证并进行调参,直到改进的GoogLeNet神经网络模型的准确率保持不变时停止训练,并用测试集测试调参后的改进的GoogLeNet神经网络模型,从而得到训练好的改进的GoogLeNet神经网络模型。
(1)本发明实例中,使用的交叉熵损失函数为:
其中,m表示分类数目,y表示正确的标签值,yl表示真实输出。
(2)本发明实施例中Adam算法方式是:
s←ρ1s+(1-ρ1)g
γ←ρ2γ+(1-ρ2)g⊙g
其中,ρ1、ρ2均为常数(默认值为ρ1=0.9、ρ2=0.999),g代表损失函数的一阶梯度,s代表有偏一阶矩估计,γ代表有偏二阶矩估计;
其中,ρ1、ρ2均为常数(默认值为ρ1=0.9、ρ2=0.999),s代表有偏一阶矩估计,γ代表有偏二阶矩估计,sl代表修正一阶矩阵的偏差,γl代表修正二阶矩的偏差。
其中,ε、δ均为常数(默认值为ε=0.001、δ=10-8),γ代表有偏二阶矩估计,sl代表修正一阶矩阵的偏差,Δθ代表参数θ的变化。
3)再实时获取正常被试者在进行言语状态时的多通道脑电信号,所述的言语状态为听状态、说状态和想象说状态中的一种,提取设定时间窗内的微状态时间序列特征,并送入训练好的改进的GoogLeNet神经网络模型,从而实现言语状态检测。
本发明步骤1)和步骤3)中所述的设定时间窗为2s,即将每2s的微状态时间序列作为一个输入特征,一个微状态转换到另一个微状态之前持续80-120ms。
本发明中步骤1)和步骤3)中所述的提取设定时间窗内的微状态时间序列特征,包括:
(1)将多通道脑电信号通过如下公式计算得到全局场功率(Global field power,GFP)曲线:
其中,Vi(t)表示在t时刻的电极电压向量,Vmean(t)表示电极间瞬时电位的平均值,K表示电极个数,GFP表示全局场功率曲线;
再绘制出全局场功率曲线局部最大值时刻的电势,生成电极阵列的地形图;
(2)将全局场功率曲线局部最大值时刻对应的地形图提交到K均值聚类算法中,经该算法将所述的地形图分成四类微状态图;
(3)将四类微状态按全局场功率曲线峰值顺序进行时间序列排列,得到输入特征。
Claims (6)
1.一种基于脑电微状态特征与神经网络模型的言语状态检测方法,其特征在于,包括:分别进行构建改进的GoogLeNet神经网络模型,以及获取正常被试者在听、说和想象说言语状态时的多通道脑电信号,并分别提取设定时间窗内的微状态时间序列特征,将所述的微状态时间序列特征加上相应的标签;用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型;再实时获取正常被试者在进行言语状态时的多通道脑电信号,提取设定时间窗内的微状态时间序列特征,并送入训练好的改进的GoogLeNet神经网络模型,从而实现言语状态检测;
所述的构建改进的GoogLeNet神经网络模型,是在GoogLeNet神经网络模型的基础上添加了残差块网络,具体为:
从输入层到第一个三组并行结构,再从三组并行结构统一输出到第一通道合并层,所述的第一个三组并行结构分别为:相连接的1×1卷积层和池化层;相连接的3×3卷积层和池化层;相连接5×5卷积层和池化层;所述卷积层的卷积核个数均为32;
从第一通道合并层再到第二个三组并行结构,再从第二个三组并行结构统一输出到第二通道合并层,所述的第二个三组并行结构分别为:相连接的1×1卷积层和池化层;依次连接的五个3×3卷积层和一个池化层;依次连接的五个5×5卷积层和一个池化层;所述卷积层的卷积核个数也均为32;其中残差网络的连接分别为:第一个3×3卷积层的输入作为第一个残差网络的输入,第二个3×3卷积层的输出作为第一个残差网络的输出;第四个3×3卷积层的输入作为第二个残差网络的输入,第五个3×3卷积层的输出作为第二个残差网络的输出;第一个5×5卷积层的输入作为第三个残差网络的输入,第二个5×5卷积层的输出作为第三个残差网络的输出;第四个5×5卷积层的输入作为第四个残差网络的输入,第五个5×5卷积层的输出作为第四个残差网络的输出;
从第二通道合并层再到第三个三组并行结构,再从第三个三组并行结构统一输出到第三通道合并层,所述的第三个三组并行结构分别为:相连接的1×1卷积层和池化层;依次连接的五个3×3卷积层和一个池化层;依次连接的五个5×5卷积层和一个池化层;所述卷积层的卷积核个数也均为64;其中残差网络的连接分别为:第一个3×3卷积层的输入作为第五个残差网络的输入,第二个3×3卷积层的输出作为第五个残差网络的输出;第四个3×3卷积层的输入作为第六个残差网络的输入,第五个3×3卷积层的输出作为第六个残差网络的输出;第一个5×5卷积层的输入作为第七个残差网络的输入,第二个5×5卷积层的输出作为第七个残差网络的输出;第四个5×5卷积层的输入作为第八个残差网络的输入,第五个5×5卷积层的输出作为第八个残差网络的输出;
从第三通道合并层再到第四个三组并行结构,再从第四个三组并行结构统一输出到第四通道合并层,所述的第四个三组并行结构分别为:相连接的1×1卷积层和池化层;依次连接的五个3×3卷积层和一个池化层;依次连接的五个5×5卷积层和一个池化层;所述卷积层的卷积核个数也均为128;
其中残差网络的连接分别为:第一个3×3卷积层的输入作为第九个残差网络的输入,第二个3×3卷积层的输出作为第九个残差网络的输出;第四个3×3卷积层的输入作为第十个残差网络的输入,第五个3×3卷积层的输出作为第十个残差网络的输出;第一个5×5卷积层的输入作为第十一个残差网络的输入,第二个5×5卷积层的输出作为第十一个残差网络的输出;第四个5×5卷积层的输入作为第十二个残差网络的输入,第五个5×5卷积层的输出作为第十二个残差网络的输出;
最后依次输出到平均池化层、输出层。
2.根据权利要求1所述的基于脑电微状态特征与神经网络模型的言语状态检测方法,其特征在于,所述的言语状态为听状态、说状态和想象说状态中的一种。
3.根据权利要求1所述的基于脑电微状态特征与神经网络模型的言语状态检测方法,其特征在于,所述的设定时间窗为2s,即将每2s的微状态时间序列作为一个输入特征,一个微状态转换到另一个微状态之前持续80-120ms。
5.根据权利要求1所述的基于脑电微状态特征与神经网络模型的言语状态检测方法,其特征在于,所述的将所述的微状态时间序列特征加上相应的标签,是将微状态时间序列特征根据不同言语状态分为听、说和想象说三类标签。
6.根据权利要求1所述的基于脑电微状态特征与神经网络模型的言语状态检测方法,其特征在于,所述的用带有标签的微状态时间序列特征训练改进的GoogLeNet神经网络模型,包括:
(1)将带有标签的微状态时间序列特征划分为训练集、验证集和测试集,划分比例为8:1:1,其中,将测试集中的标签去掉;
(2)将训练集输入改进的GoogLeNet神经网络模型的输入层进行训练,进行前向传播;逐层变换后传输到残差神经网络的输出层;
(3)利用交叉熵损失函数来检测改进的GoogLeNet神经网络模型有效性,并且通过Adam优化器和反向传播的方式对第(2)步得到的改进的GoogLeNet神经网络模型参数进行调整,以更新每一层的参数和权重,通过验证集对调整后的改进的GoogLeNet神经网络模型进行验证并进行调参,直到改进的GoogLeNet神经网络模型的准确率保持不变时停止训练,并用测试集测试调参后的改进的GoogLeNet神经网络模型,从而得到训练好的改进的GoogLeNet神经网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010007821.3A CN111310783B (zh) | 2020-01-05 | 2020-01-05 | 基于脑电微状态特征与神经网络模型的言语状态检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010007821.3A CN111310783B (zh) | 2020-01-05 | 2020-01-05 | 基于脑电微状态特征与神经网络模型的言语状态检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111310783A CN111310783A (zh) | 2020-06-19 |
CN111310783B true CN111310783B (zh) | 2022-08-30 |
Family
ID=71146806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010007821.3A Active CN111310783B (zh) | 2020-01-05 | 2020-01-05 | 基于脑电微状态特征与神经网络模型的言语状态检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111310783B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113367705A (zh) * | 2021-04-07 | 2021-09-10 | 西北工业大学 | 基于改进的微状态分析的运动想象脑电信号分类方法 |
CN113558637B (zh) * | 2021-07-05 | 2024-01-05 | 杭州电子科技大学 | 一种基于相位传递熵的音乐感知下脑网络构建方法 |
CN117130490B (zh) * | 2023-10-26 | 2024-01-26 | 天津大学 | 一种脑机接口控制系统及其控制方法和实现方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107479702A (zh) * | 2017-08-04 | 2017-12-15 | 西南大学 | 一种使用脑电信号的人类情感优势度分类识别方法 |
WO2019068200A1 (en) * | 2017-10-06 | 2019-04-11 | Holland Bloorview Kids Rehabilitation Hospital | BRAIN INTERFACES PLATFORM AND METHOD FOR INNER SPEECH CLASSIFICATION |
CN108022647B (zh) * | 2017-11-30 | 2022-01-25 | 东北大学 | 基于ResNet-Inception模型的肺结节良恶性预测方法 |
CN108577835B (zh) * | 2018-05-17 | 2019-07-19 | 太原理工大学 | 一种基于微状态的脑功能网络构建方法 |
CN108764471B (zh) * | 2018-05-17 | 2020-04-14 | 西安电子科技大学 | 基于特征冗余分析的神经网络跨层剪枝方法 |
CN109784023B (zh) * | 2018-11-28 | 2022-02-25 | 西安电子科技大学 | 基于深度学习的稳态视觉诱发脑电身份识别方法及系统 |
CN109846477B (zh) * | 2019-01-29 | 2021-08-06 | 北京工业大学 | 一种基于频带注意力残差网络的脑电分类方法 |
CN109620185B (zh) * | 2019-01-31 | 2020-07-21 | 山东大学 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
CN110236533A (zh) * | 2019-05-10 | 2019-09-17 | 杭州电子科技大学 | 基于多深度神经网络迁移特征学习的癫痫发作预测方法 |
CN110163180A (zh) * | 2019-05-29 | 2019-08-23 | 长春思帕德科技有限公司 | 运动想象脑电数据分类方法及系统 |
-
2020
- 2020-01-05 CN CN202010007821.3A patent/CN111310783B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111310783A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111310783B (zh) | 基于脑电微状态特征与神经网络模型的言语状态检测方法 | |
Wang et al. | Linking attention-based multiscale CNN with dynamical GCN for driving fatigue detection | |
Chinara | Automatic classification methods for detecting drowsiness using wavelet packet transform extracted time-domain features from single-channel EEG signal | |
Chao et al. | Recognition of Emotions Using Multichannel EEG Data and DBN‐GC‐Based Ensemble Deep Learning Framework | |
Li et al. | Densely feature fusion based on convolutional neural networks for motor imagery EEG classification | |
CN111553295A (zh) | 基于自注意力机制的多模态情感识别方法 | |
CN113180692A (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
CN108280414A (zh) | 一种基于能量特征的运动想象脑电信号的识别方法 | |
Satapathy et al. | ADASYN and ABC-optimized RBF convergence network for classification of electroencephalograph signal | |
Mansoor et al. | Deep Learning Algorithm for Brain‐Computer Interface | |
CN108874137B (zh) | 一种基于脑电信号的手势动作意图检测的通用模型 | |
Mo et al. | Motor imagery electroencephalograph classification based on optimized support vector machine by magnetic bacteria optimization algorithm | |
Balam et al. | Statistical channel selection method for detecting drowsiness through single-channel EEG-based BCI system | |
Chanu et al. | An automated epileptic seizure detection using optimized neural network from EEG signals | |
Dehzangi et al. | EEG based driver inattention identification via feature profiling and dimensionality reduction | |
Wang et al. | Efficient brain decoding based on adaptive EEG channel selection and transformation | |
CN113705296A (zh) | 生理电信号分类处理方法、装置、计算机设备和存储介质 | |
Saranya et al. | An efficient AP-ANN-based multimethod fusion model to detect stress through EEG signal analysis | |
Yang et al. | An aggressive driving state recognition model using EEG based on stacking ensemble learning | |
Abdulghani et al. | EEG Classifier Using Wavelet Scattering Transform-Based Features and Deep Learning for Wheelchair Steering | |
Huynh et al. | An investigation of ensemble methods to classify electroencephalogram signaling modes | |
Sun et al. | MEEG-Transformer: transformer Network based on Multi-domain EEG for emotion recognition | |
CN106371590A (zh) | 基于OpenVIBE的高性能运动想象在线脑机接口系统 | |
Du et al. | Improving motor imagery EEG classification by CNN with data augmentation | |
Xu et al. | Emotion Recognition from Multi-channel EEG via an Attention-Based CNN Model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |