CN114970599A - 注意缺陷关联脑电信号的识别方法、识别装置、存储介质 - Google Patents

注意缺陷关联脑电信号的识别方法、识别装置、存储介质 Download PDF

Info

Publication number
CN114970599A
CN114970599A CN202210347673.9A CN202210347673A CN114970599A CN 114970599 A CN114970599 A CN 114970599A CN 202210347673 A CN202210347673 A CN 202210347673A CN 114970599 A CN114970599 A CN 114970599A
Authority
CN
China
Prior art keywords
electroencephalogram
signal
attention
original
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210347673.9A
Other languages
English (en)
Inventor
陈世雄
王程
汪鑫
李光林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202210347673.9A priority Critical patent/CN114970599A/zh
Publication of CN114970599A publication Critical patent/CN114970599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Fuzzy Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种注意缺陷关联脑电信号的识别方法、识别装置、存储介质。该识别方法包括：获取多类注意缺陷对应的原始脑电信号；将多类注意缺陷对应的脑电信号作为训练样本对预先构建的分类模型进行训练，分类模型包括串行连接的多层卷积神经网络和多层长短期记忆网络；将待识别原始脑电信号输入到训练好的分类模型中，获得最后一层长短期记忆网络的输出特征，并结合分类模型的模型参数计算得到梯度数据；通过比较梯度数据和原始脑电信号的生成频谱图与脑电地形图，以确定与注意缺陷相关联的脑电标志信号的产生时间段和产生脑区。本方法可以更充分地提取全局和局部的更细粒度的脑电信号特征，提高识别性能，同时定位到脑电标志活动。

Description

注意缺陷关联脑电信号的识别方法、识别装置、存储介质
技术领域
本发明属于医学脑电信号处理技术领域，具体地讲，涉及一种注意缺陷关联脑电信号的识别方法、识别装置、计算机可读存储介质和计算机设备。
背景技术
注意是对相关刺激物进行选择和聚焦的认知过程，是人们日常生活中非常重要的认知能力。根据美国儿科学会的临床实践指南介绍，注意力缺陷/多动障碍(Attention-deficit/hyperactivity disorder,ADHD)是儿童期最常见的神经行为障碍，会严重影响儿童的学业成绩、心理健康和社交互动。目前使用最广泛的ADHD诊断标准是《精神障碍诊断与统计手册》第5版(DSM-5)和《疾病和有关健康问题的国际统计分类》第10版(ICD-10)。未经治疗的ADHD儿童可能会有语言障碍、睡眠障碍，而未经治疗的青少年会发展为物质滥用、焦虑症、抑郁症等并且其危险性行为风险较高。目前对儿童注意力过程的了解局限在医学临床领域，现有的对儿童注意认知功能的评估方法具有主观评价的特点。基于儿童行为心理学的诊断标准在诊断中确实起了一些作用，但是这种主观的儿童注意力评估方法需要综合多方面的信息进行评价，需要有经验的医生来分析定论。该方法存在依赖于父母观察意见，缺乏客观精确评估的缺点，需要有效的客观测量指标来达到科学精确的判断。因此，对儿童的注意认知能力进行早期评估可以有效采取行动干预潜在注意力缺陷的儿童成长，基于神经生理数据的评估方法也可以作为临床医生诊断ADHD并进行治疗的依据。
尽管儿童注意力缺陷障碍是高度流行并且影响很大的神经发育障碍，经过了许多对其病因的遗传因素、社会心理因素、神经生理因素等相关研究，现今对儿童注意力的诊断评估仍然缺乏足够的证据。病理连接学认为ADHD涉及大脑网络的异常，包括结构性损伤、功能连接性降低等。现今也未有确定的诊断性神经生物学标记，其对大脑功能网络的研究发现在日常临床实践中缺少应用。由于脑电图(Electroencephalogram，EEG)具有实时性、易用性、无创性和低成本等特点，其在一些脑神经研究中被用来分析脑电波活动与认知过程的关系。认知心理学领域已提供了与注意力相关的认知测量信息，利用EEG技术可以提供一种了解注意力缺陷相关的神经机制，为注意力认知功能的发展，心理病理学，干预提供更多信息。
传统的机器学习方法已被用于评估功能成像数据的有用性，包括时域信号的P300波分析，频域功率谱分析，脑功能连接分析等技术。认知电位P300反映了感觉、记忆、理解、判断及情感等多层次的心理活动，与人脑的高级心理活动认知的加工过程密切相关。已有多种研究通过P300诱发实验来探索注意力机制的发展。Segalowitz等人认为P300是在注意到刺激物时产生的，可以被解释为控制注意的第一个主要成分。Crone认为P300信号与执行注意功能相关，例如专注力和抑制，使其成为研究青春期大脑功能发育的合适目标。Barry等人对静息态下的EEG信号与ADHD的关系进行总结，认为θ相对功率增加，α、β相对功率的降低，θ/α比值和θ/β比值的升高等均与ADHD相关。
现有的关于机器学习方法通常是，由研究人员主动选择脑电特征，从而对儿童的注意缺陷数据进行统计分析。其选择的脑电特征包括时域上的事件相关电位，计算这些信号的波幅和潜伏期，从而观察不同人群的脑电信号差异。在频域特征计算时，将脑电信号根据多个频谱段，由低到高分为δ、θ、α、β等信号，从而进一步计算频谱能量与对应脑区活动的联系。脑网络连接分析技术则是与脑电信号相位同步性相关的多个非线性特征，依据电极通道和相位连接边构建对应的脑功能网络。以上这些方法的缺点在于各个研究采取了独立的数据集实验，并选择了仅仅局限于脑电单个方向的特征计算，有的只注重时域特征，有的则侧重于频域特征，而与注意力活动相关的脑电信号变化是复杂的，不同的处理方法得到的结果存在很大的差异，其作为临床神经生物标记的效果不可靠，不全面。实验对象在特定实验条件下的脑区活动不存在独立的认知心理活动，依据以上脑电信号处理方法得到的最显著差异的活动，可能代表了与某一认知过程相关的共有活动，而并不是将注意缺陷人群与健康人群进行区分的潜在活动。
现有的深度学习方法可以计算数据集的所有信息并自动提取特征，无需复杂的特征筛选过程，使用该方法对注意缺陷识别分类，可以取得良好的分类准确率。然而大多神经网络模型仅使用了卷积神经网络，该网络模型多用于处理图像二维特征，在其特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定。计算后的多个局部特征映射组成可以共享学习权值的网络，在处理脑电信号数据时，通常是压缩后的一段时间序列信号。由于脑电信号包括了不同频率的活动，神经元集群通过节律性的振荡进行传播，不同时间段的能量活动之间存在一定的联系，即后续出现的脑电活动可能是受到前段时间信号的影响。多通道的脑电电极也反映了不同脑区之间的联系，卷积神经网络不利于分析脑电信号这种动态变化的时空特征。
而且目前的深度学习方法大多只能输出相应数据集的分类指标，即与准确率类似的指标，其学习数据集的过程对整个技术来说仍是一个黑箱，无法了解其训练过程所学习的是哪部分脑电信号，也无法确定与注意缺陷相关的认知功能活动。脑电信号在时频域上存在多个特征，多通道电极代表的不同脑区活动，这些因素导致了脑电特征的复杂性，因此需要对网络模型的学习过程，以及其自动提取的特征进行可视化，从而寻找到特定的、具体的与注意功能相关的脑电活动。
发明内容
(一)本发明所要解决的技术问题
本发明解决的技术问题是：如何有效地学习到脑电信号在时序上的关联特征以及如何定位到注意缺陷相关联的脑电标志信号的产生时间段和产生脑区。
(二)本发明所采用的技术方案
一种注意缺陷关联脑电信号的识别方法，所述识别方法包括：
获取多类注意缺陷对应的原始脑电信号，每类注意缺陷对应的原始脑电信号包括由多种通道脑电电极采集到脑电信号；
将多类注意缺陷对应的脑电信号作为训练样本对预先构建的分类模型进行训练，所述分类模型包括串行连接的多层卷积神经网络和多层长短期记忆网络；
将待识别原始脑电信号输入到训练好的分类模型中，获得最后一层长短期记忆网络的输出特征，并根据所述待识别原始脑电信号、所述输出特征以及训练好的分类模型的模型参数计算得到梯度数据；
根据所述梯度数据生成第一频谱图、第一脑电地形图，根据所述待识别原始脑电信号生成第二频谱图、第二脑电地形图；
将所述第一频谱图和所述第二频谱图进行比较以及将所述第一脑电地形图和所述第二脑电地形图进行比较，以确定与注意缺陷相关联的脑电标志信号以及所述脑电标志信号的产生时间段和产生脑区。
优选地，根据所述待识别原始脑电信号、所述输出特征以及训练好的分类模型的模型参数计算得到梯度数据的具体步骤为：
根据如下公式计算损失函数值：
Figure BDA0003577526800000041
根据如下公式计算梯度数据：
Figure BDA0003577526800000042
其中，M表示类别的数量，yc为类别的符号函数，yc根据样本的one-hot热编码标签中预测类别与真实类别一致而取值1，否则取值0，pc则表示观测样本属于类别c的预测概率，grad表示梯度数据，wc为样本i的属于类别c的权值，k表示的是样本真实类别，sc为这一层网络输出的向量矩阵，此处σ(s)为该层网络预测得到的分数向量，即输出特征，y为真实向量，x为原样本向量值，即待识别原始脑电信号。
优选地，所述识别方法还包括：
根据如下公式对梯度数据进行归一化处理：
Figure BDA0003577526800000043
其中，Smap表示归一化梯度数据，min(grad)表示取梯度数据的最小值，max(grad)表示取梯度数据的最大值，ε为样本精度误差。
优选地，将所述第一频谱图和所述第二频谱图进行比较以及将所述第一脑电地形图和所述第二脑电地形图进行比较，以确定与注意缺陷相关联的脑电标志信号以及所述脑电标志信号的产生区域和产生时间的方法为：
比较所述第一频谱图和所述第二频谱图上能量分布，以确定注意缺陷相关联的脑电标志信号以及所述脑电标志信号的产生时间段；
根据所述脑电标志信号的能量分布在所述第一脑电地形图和所述第二脑电地形图上的分布，以确定所述脑电标志信号的产生脑区。
优选地，所述识别方法还包括：
在确定所述脑电标志信号的产生时间段和产生脑区之后，画出待识别原始脑电信号的时域波形图，进行ERP波形分析，得到神经生物标记，用于识别注意缺陷障碍。
本申请还公开了一种注意缺陷关联脑电信号的识别装置，所述识别装置包括：
信号获取单元，用于获取多类注意缺陷对应的原始脑电信号，每类注意缺陷对应的原始脑电信号包括由多种通道脑电电极采集到脑电信号；
模型训练单元，用于将多类注意缺陷对应的脑电信号作为训练样本对预先构建的分类模型进行训练，所述分类模型包括串行连接的多层卷积神经网络和多层长短期记忆网络；
梯度计算单元，用于将待识别原始脑电信号输入到训练好的分类模型中，获得最后一层长短期记忆网络的输出特征，并根据所述待识别原始脑电信号、所述输出特征以及训练好的分类模型的模型参数计算得到梯度数据；
图形生成单元，用于根据所述梯度数据生成第一频谱图、第一脑电地形图，根据所述待识别原始脑电信号生成第二频谱图、第二脑电地形图；
脑电定位单元，用于将所述第一频谱图和所述第二频谱图进行比较以及将所述第一脑电地形图和所述第二脑电地形图进行比较，以确定与注意缺陷相关联的脑电标志信号以及所述脑电标志信号的产生时间段和产生脑区。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有注意缺陷关联脑电信号的识别程序，所述注意缺陷关联脑电信号的识别程序被处理器执行时实现上述的注意缺陷关联脑电信号的识别方法。
本申请还提供了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的注意缺陷关联脑电信号的识别程序，所述注意缺陷关联脑电信号的识别程序被处理器执行时实现上述的注意缺陷关联脑电信号的识别方法。
(三)有益效果
本发明公开了一种注意缺陷关联脑电信号的识别方法、识别装置、存储介质和设备，相对于现有技术，具有如下技术效果：
根据脑电信号数据多通道和时域连续的特点，将卷积网络层与长短期记忆网络层串行连接构成分类模型，可以避免过度的卷积压缩时空特征，可以更充分地提取全局和局部的更细粒度的脑电信号特征，提高识别性能；通过显著图梯度数据，结合信号时频分析，将特定人群或注意缺陷功能相关的脑电活动分布和时空位置定位出来，即确定这些活动的脑区和时间段，便于观察其作为神经标志物的效果。
附图说明
图1为本发明的实施例一的注意缺陷关联脑电信号的识别方法的流程图；
图2为本发明的实施例一的分类模型的示意图；
图3为本发明的实施例一的多通道脑电电极分布和事件相关电位标识示意图；
图4为本发明的实施例一的根据三类注意缺陷的原始脑电信号、梯度数据生成的频谱图；
图5为本发明的实施例一的根据三类注意缺陷的原始脑电信号、梯度数据生成的脑电地形图；
图6为本发明的实施例二的注意缺陷关联脑电信号的识别装置的原理框图；
图7为本发明的实施例四的计算机设备的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在详细描述本申请的各个实施例之前，首先简单描述本申请的发明构思：现有技术中采用深度学习神经网络模型来对不同注意缺陷的脑电信号进行分类，即每种脑电信号相对应的注意缺陷类别，但是并不明确依据脑电信号的哪一部分信号进行分类的，同时目前的深度学习神经网络模型主要是基于卷积神经网络，不利于学习到脑电信号的时序特征，影响识别准确率。为此，本申请提供了一种注意缺陷关联脑电信号的识别方法，采用由卷积神经网络和长短期记忆网络构成的分类模型来充分学习原始脑电信号的空间特征和时序特征，在分类模型训练完成之后，采用显著图计算原理得到梯度数据，根据梯度数据和原始脑电信号来提取到与注意缺陷相关联的脑电标记信号，并确定该脑电标记信号所处时间段和所在脑部区域，有利于后续针对性地该脑电标记信号进行分析。
具体地，如图1所示，本实施例一的注意缺陷关联脑电信号的识别方法包括如下步骤：
步骤S10：获取多类注意缺陷对应的原始脑电信号，每类注意缺陷对应的原始脑电信号包括由多种通道脑电电极采集到脑电信号；
步骤S20：将多类注意缺陷对应的脑电信号作为训练样本对预先构建的分类模型进行训练，分类模型包括串行连接的多层卷积神经网络和多层长短期记忆网络；
步骤S30：将待识别原始脑电信号输入到训练好的分类模型中，获得最后一层长短期记忆网络的输出特征，并根据待识别原始脑电信号、输出特征以及训练好的分类模型的模型参数计算得到梯度数据；
步骤S40：根据梯度数据生成第一频谱图、第一脑电地形图，根据原始脑电信号生成第二频谱图、第二脑电地形图；
步骤S50：将第一频谱图和第二频谱图进行比较以及将第一脑电地形图和第二脑电地形图进行比较，以确定与注意缺陷相关联的脑电标志信号以及脑电标志信号的产生区域和产生时间。
示例性地，在步骤S10中，采用56个脑电电极来采集大脑不同区域的脑电信号，脑电电极的分布如图3的A所示，具体的采集过程为现有技术，在此不进行赘述。
进一步地，如图2所示，本实施例一的分类模型的卷积神经网络包括两层卷积层，分别是浅层的Con2d和深层的DepthwiseCon2d。首先使用Con2d的50个卷积核对50个时间点长度信号进行一维滤波，提取包含200ms窗口的时间特征。此处提取特征是以5Hz捕获频率信息(采样率设置为256Hz)，每个窗口可以输出对应的时域卷积特征图。接着使用2层大小的深度卷积，为每个输入特征图进行空间滤波，因此每个时域卷积核产生两个空间滤波器，得到100个压缩后的单通道时域波形。之后，使用批归一化层使卷积网络部分更快、更稳定，使用指数线性单元作为激活层解决梯度消失和梯度爆炸的问题，使用平均池化操作对卷积输出下采样，使用dropout层防止训练过拟合。
进一步地，长短期记忆网络由两层LSTM网络组成，将之前卷积后的单通道时域波形输入到第一层LSTM网络，第二层LSTM网络的输入是前一层的输出时序数据。每个LSTM网络都有10个单元，每个单元由一个记忆单元、一个输入门、一个输出门和一个遗忘门组成。记忆单元能在任意时间段内记忆信号值，三个门调节信息的流入和流出，对信号数据进行更新。LSTM通过门控单元调节记忆单元进出的信息流，更新时间序列的隐藏状态和单元状态。
进一步地，在步骤S20中，本实施例一的分类模型利用公开的儿童注意缺陷脑电数据集进行训练，模型的输入数据是通道和时间点，在这个数据集中分别是56和385。在训练阶段，输入批次大小为256，学习率为0.001，训练迭代为300epochs。在模型编译中使用了Adam优化器和分类交叉熵损失函数。早期停止和学习率降低方法也被用来优化训练过程。在上述两种回调方法中，对验证数据集的损失参数进行了监督。如果它在5个epoch内没有继续下降，学习率将乘以0.5。如果损失在20个epoch内不再减少，则训练终止。
示例性地，本实施例一的分类模型使用的是交叉熵损失函数，依据数据类别的样本个数进行权值修正，其损失loss的计算公式为：
Figure BDA0003577526800000081
其中N表示样本的数量，M表示类别的数量，yic为类别的符号函数，根据样本i的one-hot热编码标签而选择，如果预测类别与真实类别一致就取值1，否则取0，pic则表示观测样本i属于类别c的预测概率。
进一步地，常规的卷积神经网络一般是直接将浅层卷积得到的局部时空特征进行进一步的卷积压缩，深度提取更加抽象的特征，从而将特征映射输入到一个全连接层，并得到最终的脑电信号分类结果。与脑电活动相关的信号数据，涉及到通道数量和事件相关时间段的影响，对其时空特征的压缩无需使用深度过大的网络。使用越多的图卷积层，其节点提取的局部特征会趋于收敛到同一向量，使得信号的信息被过度挤压到大小固定的区域，因此对脑电信号的数据的过度卷积会导致网络学习能力的倒退。本实施例一针对对应数据集预处理得到脑电信号的通道分布和信号时域波形，对浅层卷积的感受野相关参数进行调整，使得提取特征空间与通道数量和事件相关时长相符合，避免对信息的过度压缩。如图3所示，图3中的A是56个通道的脑电电极分布图，B是不同人群的事件相关电位标识图，参考这些数据将卷积神经网络的时空提取参数设置为相同规模的大小。例如，50个空间通道和200ms的时间窗口提取，通道深度一般设置为两个通道之间的信息交互，时间窗口则对应于大多的事件相关电位的时间长度。已知脑电认知活动与注意功能相关的，包括P300波形、CNV负波等，这些波形的活动范围在200ms左右。在针对各个事件相关电位活动对卷积层结构进行合理设计后，在将时间窗口特征映射输入到长短期记忆网络中，对一系列发生的波形变化信息进一步提取特征，分析不同时间段波形之间的联系，从而提取到时间粒度更丰富的信息，这样设计的最终的卷积神经网络架构相比于直接加深卷积层的学习更加可靠。
进一步地，步骤S30中，当分类模型的分类性能达到较高标准时，则可停止模型训练，将待识别原始脑电信号输入到训练好的分类模型中，获得最后一层长短期记忆网络的输出特征。其中，这里的待识别原始脑电信号是已知注意缺陷类型人群的脑电信号。进一步地，根据待识别原始脑电信号、输出特征以及训练好的分类模型的模型参数计算得到梯度数据，具体来说该步骤的方法为：
在这里需要从模型最后一个LSTM网络层的输出特征，也是从输入数据到预测矩阵的前一层，对损失函数进行梯度计算，得到模型初始输入的信号数据关于所有网络层训练后的梯度数据，最后对梯度数据进行同样的时域波形计算和频谱转换计算。具体步骤如下：
根据如下公式计算损失函数值：
Figure BDA0003577526800000091
根据如下公式计算梯度数据：
Figure BDA0003577526800000092
其中，M表示类别的数量，yc为类别的符号函数，yc根据样本的one-hot热编码标签中预测类别与真实类别一致而取值1，否则取0，pc则表示观测样本属于类别c的预测概率，grad表示梯度数据，wc为样本的属于类别c的权值，k表示的是样本真实类别，sc为这一层网络输出的向量矩阵，此处σ(s)为该层网络预测得到的分数向量，即输出特征，y为真实向量，x为原样本向量值，即待识别原始脑电信号。
进一步地，识别方法还包括根据如下公式对梯度数据进行归一化处理：
Figure BDA0003577526800000093
其中，Smap表示归一化梯度数据，min(grad)表示取梯度数据的最小值，max(grad)表示取梯度数据的最大值，ε为样本精度误差。
进一步地，根据归一化梯度数据生成第一频谱图、第一脑电地形图，以及根据待识别原始脑电信号生成第二频谱图、第二脑电地形图的过程为本领域技术人员所熟知的技术，在此不进行赘述。如图4所示，图4中的A表示根据三类注意缺陷的原始脑电信号生成的频谱图，图4中的B表示根据三类注意缺陷表示梯度数据生成的频谱图。如图5所示，图5中的A表示根据三类注意缺陷的原始脑电信号生成的脑电地形图，图5中的B表示根据三类注意缺陷表示梯度数据生成的脑电地形图。其中，HC代表健康人群，ADD代表注意力缺失症人群，ADHD代表注意缺陷多动症人群。
在步骤S50中，将所述第一频谱图和所述第二频谱图进行比较以及将所述第一脑电地形图和所述第二脑电地形图进行比较，以确定与注意缺陷相关联的脑电标志信号以及所述脑电标志信号的产生区域和产生时间的方法为：
比较第一频谱图和第二频谱图上能量分布，以确定注意缺陷相关联的脑电标志信号以及脑电标志信号的产生时间段；根据脑电标志信号的能量分布在第一脑电地形图和第二脑电地形图上的分布，以确定脑电标志信号的产生脑区。其中，在比较梯度数据、原始脑电信号分别对应的频谱图和脑电地形图时，若两者的能量分布的时间段、脑区不同，则以梯度数据对应的能量分布为准，这里的脑电标志信号为整个频谱图和脑电地形图的能量最高点处的信号，据此可以认定该处信号是分类模型在识别脑电信号进行注意缺陷分类时最关注的信号。
进一步地，在确定脑电标志信号的产生时间段和产生脑区之后，画出待识别原始脑电信号的时域波形图，进行ERP波形分析，得到神经生物标记，用于识别注意缺陷障碍。
本实施例一公开的注意缺陷关联脑电信号的识别方法，根据脑电信号数据多通道和时域连续的特点，将卷积网络层与长短期记忆网络层串行连接构成分类模型，可以避免过度的卷积压缩时空特征，可以更充分地提取全局和局部的更细粒度的脑电信号特征，提高识别性能；通过显著图梯度数据，结合信号时频分析，对整个注意缺陷数据集的脑电信号进行可视化描述，展示了对模型分类起到主要影响作用的脑电活动，将特定人群或注意缺陷功能相关的脑电活动分布和时空位置定位出来，即确定这些活动的脑区和时间段，便于观察其作为神经标志物的效果。
如图6所示，本实施例二还公开了一种注意缺陷关联脑电信号的识别装置，识别装置包括信号获取单元100、模型训练单元200、梯度计算单元300、图形生成单元400和脑电定位单元500。信号获取单元100用于获取多类注意缺陷对应的原始脑电信号，每类注意缺陷对应的原始脑电信号包括由多种通道脑电电极采集到脑电信号；模型训练单元200用于将多类注意缺陷对应的脑电信号作为训练样本对预先构建的分类模型进行训练，分类模型包括串行连接的多层卷积神经网络和多层长短期记忆网络；梯度计算单元300用于将待识别原始脑电信号输入到训练好的分类模型中，获得最后一层长短期记忆网络的输出特征，并根据待识别原始脑电信号、输出特征以及训练好的分类模型的模型参数计算得到梯度数据；图形生成单元400用于根据梯度数据生成第一频谱图、第一脑电地形图，根据待识别原始脑电信号生成第二频谱图、第二脑电地形图；脑电定位单元500用于将第一频谱图和第二频谱图进行比较以及将第一脑电地形图和第二脑电地形图进行比较，以确定与注意缺陷相关联的脑电标志信号以及脑电标志信号的产生时间段和产生脑区。其中，信号获取单元100、模型训练单元200、梯度计算单元300、图形生成单元400和脑电定位单元500的更加具体的工作过程请参照实施例一的描述，在此不进行赘述。
实施例三还公开了一种计算机可读存储介质，计算机可读存储介质存储有注意缺陷关联脑电信号的识别程序，注意缺陷关联脑电信号的识别程序被处理器执行时实现上述的注意缺陷关联脑电信号的识别方法。
进一步地，实施例四还公开了一种计算机设备，在硬件层面，如图7所示，该计算机设备包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。计算机可读存储介质11上存储有注意缺陷关联脑电信号的识别程序，注意缺陷关联脑电信号的识别程序被处理器执行时实现上述的注意缺陷关联脑电信号的识别方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。

Claims (8)

1.一种注意缺陷关联脑电信号的识别方法，其特征在于，所述识别方法包括：
获取多类注意缺陷对应的原始脑电信号，每类注意缺陷对应的原始脑电信号包括由多种通道脑电电极采集到脑电信号；
将多类注意缺陷对应的脑电信号作为训练样本对预先构建的分类模型进行训练，所述分类模型包括串行连接的多层卷积神经网络和多层长短期记忆网络；
将待识别原始脑电信号输入到训练好的分类模型中，获得最后一层长短期记忆网络的输出特征，并根据所述待识别原始脑电信号、所述输出特征以及训练好的分类模型的模型参数计算得到梯度数据；
根据所述梯度数据生成第一频谱图、第一脑电地形图，根据所述待识别原始脑电信号生成第二频谱图、第二脑电地形图；
将所述第一频谱图和所述第二频谱图进行比较以及将所述第一脑电地形图和所述第二脑电地形图进行比较，以确定与注意缺陷相关联的脑电标志信号以及所述脑电标志信号的产生时间段和产生脑区。
2.根据权利要求1所述的注意缺陷关联脑电信号的识别方法，其特征在于，根据所述待识别原始脑电信号、所述输出特征以及训练好的分类模型的模型参数计算得到梯度数据的具体步骤为：
根据如下公式计算损失函数值：
Figure FDA0003577526790000011
根据如下公式计算梯度数据：
Figure FDA0003577526790000012
其中，M表示类别的数量，yc为类别的符号函数，yc根据样本的one-hot热编码标签中预测类别与真实类别一致而取值1，否则取值0，pc则表示观测样本属于类别c的预测概率，grad表示梯度数据，wc为样本i的属于类别c的权值，k表示的是样本真实类别，sc为这一层网络输出的向量矩阵，此处σ(s)为该层网络预测得到的分数向量，即输出特征，y为真实向量，x为原样本向量值，即待识别原始脑电信号。
3.根据权利要求2所述的注意缺陷关联脑电信号的识别方法，其特征在于，所述识别方法还包括：
根据如下公式对梯度数据进行归一化处理：
Figure FDA0003577526790000021
其中，Smap表示归一化梯度数据，min(grad)表示梯度向量的最小值，max(grad)表示梯度向量的最大值，ε为样本精度误差。
4.根据权利要求1所述的注意缺陷关联脑电信号的识别方法，其特征在于，将所述第一频谱图和所述第二频谱图进行比较以及将所述第一脑电地形图和所述第二脑电地形图进行比较，以确定与注意缺陷相关联的脑电标志信号以及所述脑电标志信号的产生区域和产生时间的方法为：
比较所述第一频谱图和所述第二频谱图上能量分布，以确定注意缺陷相关联的脑电标志信号以及所述脑电标志信号的产生时间段；
根据所述脑电标志信号的能量分布在所述第一脑电地形图和所述第二脑电地形图上的分布，以确定所述脑电标志信号的产生脑区。
5.根据权利要求1所述的注意缺陷关联脑电信号的识别方法，其特征在于，所述识别方法还包括：
在确定所述脑电标志信号的产生时间段和产生脑区之后，画出待识别原始脑电信号的时域波形图，进行ERP波形分析，得到神经生物标记，用于识别注意缺陷障碍。
6.一种注意缺陷关联脑电信号的识别装置，其特征在于，所述识别装置包括：
信号获取单元，用于获取多类注意缺陷对应的原始脑电信号，每类注意缺陷对应的原始脑电信号包括由多种通道脑电电极采集到脑电信号；
模型训练单元，用于将多类注意缺陷对应的脑电信号作为训练样本对预先构建的分类模型进行训练，所述分类模型包括串行连接的多层卷积神经网络和多层长短期记忆网络；
梯度计算单元，用于将待识别原始脑电信号输入到训练好的分类模型中，获得最后一层长短期记忆网络的输出特征，并根据所述待识别原始脑电信号、所述输出特征以及训练好的分类模型的模型参数计算得到梯度数据；
图形生成单元，用于根据所述梯度数据生成第一频谱图、第一脑电地形图，根据所述待识别原始脑电信号生成第二频谱图、第二脑电地形图；
脑电定位单元，用于将所述第一频谱图和所述第二频谱图进行比较以及将所述第一脑电地形图和所述第二脑电地形图进行比较，以确定与注意缺陷相关联的脑电标志信号以及所述脑电标志信号的产生时间段和产生脑区。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有注意缺陷关联脑电信号的识别程序，所述注意缺陷关联脑电信号的识别程序被处理器执行时实现权利要求1至5任一项所述的注意缺陷关联脑电信号的识别方法。
8.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的注意缺陷关联脑电信号的识别程序，所述注意缺陷关联脑电信号的识别程序被处理器执行时实现权利要求1至5任一项所述的注意缺陷关联脑电信号的识别方法。
CN202210347673.9A 2022-04-01 2022-04-01 注意缺陷关联脑电信号的识别方法、识别装置、存储介质 Pending CN114970599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210347673.9A CN114970599A (zh) 2022-04-01 2022-04-01 注意缺陷关联脑电信号的识别方法、识别装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210347673.9A CN114970599A (zh) 2022-04-01 2022-04-01 注意缺陷关联脑电信号的识别方法、识别装置、存储介质

Publications (1)

Publication Number Publication Date
CN114970599A true CN114970599A (zh) 2022-08-30

Family

ID=82977588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210347673.9A Pending CN114970599A (zh) 2022-04-01 2022-04-01 注意缺陷关联脑电信号的识别方法、识别装置、存储介质

Country Status (1)

Country Link
CN (1) CN114970599A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359909A (zh) * 2022-10-19 2022-11-18 之江实验室 一种基于注意力机制的癫痫发作检测系统
CN115982558A (zh) * 2023-03-17 2023-04-18 同心智医科技(北京)有限公司 脑电运动意图分类模型建立方法及其应用
CN116310267A (zh) * 2022-11-24 2023-06-23 苏州大学 一种图像处理装置及其处理方法
CN116898439A (zh) * 2023-07-07 2023-10-20 湖北大学 一种利用深度学习模型分析脑电波的情绪识别方法及系统
CN117198537A (zh) * 2023-11-07 2023-12-08 北京无疆脑智科技有限公司 任务完成数据分析方法、装置、电子设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359909A (zh) * 2022-10-19 2022-11-18 之江实验室 一种基于注意力机制的癫痫发作检测系统
CN116310267A (zh) * 2022-11-24 2023-06-23 苏州大学 一种图像处理装置及其处理方法
CN115982558A (zh) * 2023-03-17 2023-04-18 同心智医科技(北京)有限公司 脑电运动意图分类模型建立方法及其应用
CN116898439A (zh) * 2023-07-07 2023-10-20 湖北大学 一种利用深度学习模型分析脑电波的情绪识别方法及系统
CN117198537A (zh) * 2023-11-07 2023-12-08 北京无疆脑智科技有限公司 任务完成数据分析方法、装置、电子设备和存储介质
CN117198537B (zh) * 2023-11-07 2024-03-26 北京无疆脑智科技有限公司 任务完成数据分析方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Mumtaz et al. A deep learning framework for automatic diagnosis of unipolar depression
CN114970599A (zh) 注意缺陷关联脑电信号的识别方法、识别装置、存储介质
Aslan et al. A deep learning approach in automated detection of schizophrenia using scalogram images of EEG signals
Zhou et al. Cross-task cognitive workload recognition based on EEG and domain adaptation
Khan et al. Development of wavelet coherence EEG as a biomarker for diagnosis of major depressive disorder
Al-Ezzi et al. Severity assessment of social anxiety disorder using deep learning models on brain effective connectivity
Khare et al. Adazd-Net: Automated adaptive and explainable Alzheimer’s disease detection system using EEG signals
Zhang et al. Automatic detection of interictal epileptiform discharges based on time-series sequence merging method
Moslem et al. Combining data fusion with multiresolution analysis for improving the classification accuracy of uterine EMG signals
Laskaris et al. Improved detection of amnestic MCI by means of discriminative vector quantization of single-trial cognitive ERP responses
Wang et al. Automated rest eeg-based diagnosis of depression and schizophrenia using a deep convolutional neural network
Alqahtani et al. Classifying electroencephalogram signals using an innovative and effective machine learning method based on chaotic elephant herding optimum
Wang et al. One and two dimensional convolutional neural networks for seizure detection using EEG signals
Forbes et al. EEG-based clusters differentiate psychological distress, sleep quality and cognitive function in adolescents
Siuly et al. Exploring Rhythms and Channels-Based EEG Biomarkers for Early Detection of Alzheimer's Disease
Ji et al. Cross-task cognitive workload recognition using a dynamic residual network with attention mechanism based on neurophysiological signals
Sidik et al. EEG-Based Classification of Schizophrenia and Bipolar Disorder with the Fuzzy Method
Parmar et al. Significance of pre-processing phase and dimensionality reduction in EEG-based dyslexia diagnosis with novel features
CN111248907A (zh) 基于精神病临床高危人群脑电信号特征的风险预测方法
Walter SELF-ORGANIZED CRITICALITY AS A NEURODYNAMICAL CORRELATE OF CONSCIOUSNESS: A neurophysiological approach to measure states of consciousness based on EEG-complexity features
Al-Qazzaz et al. Automatic Diagnosis of Epileptic Seizures using Entropy-based Features and Multimodel Deep Learning Approaches
Shaaban et al. From EEG signal to classification in Alzheimer disease: A mini review
Tahira et al. Eeg based mental stress detection using deep learning techniques
Goswami et al. Depression detection using spatial images of multichannel EEG data
Al-Qazzaz et al. Transfer Learning and Hybrid Deep Convolutional Neural Networks Models for Autism Spectrum Disorder Classification from EEG Signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination