CN111568446B - 结合人口学注意力机制的便携式脑电抑郁检测系统 - Google Patents

结合人口学注意力机制的便携式脑电抑郁检测系统 Download PDF

Info

Publication number
CN111568446B
CN111568446B CN202010469004.XA CN202010469004A CN111568446B CN 111568446 B CN111568446 B CN 111568446B CN 202010469004 A CN202010469004 A CN 202010469004A CN 111568446 B CN111568446 B CN 111568446B
Authority
CN
China
Prior art keywords
electroencephalogram
data
demographic
convolution
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010469004.XA
Other languages
English (en)
Other versions
CN111568446A (zh
Inventor
胡斌
张晓炜
李俊磊
侯克宸
沈健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University
Original Assignee
Lanzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University filed Critical Lanzhou University
Priority to CN202010469004.XA priority Critical patent/CN111568446B/zh
Publication of CN111568446A publication Critical patent/CN111568446A/zh
Application granted granted Critical
Publication of CN111568446B publication Critical patent/CN111568446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提出一种结合人口学注意力机制的便携式脑电抑郁检测系统,一方面通过使用卷积神经网络来提升脑电信号序列学习和建模的准确性,另一方面结合注意力机制引入个体的人口学信息,实现更为有效的抑郁障碍检测。包括脑电数据采集模块、数据预处理模块、抑郁障碍检测模块;所述脑电数据采集模块用于采集被试的静息态脑电原始数据;所述数据预处理模块用于对采集的原始数据进行数据预处理;所述抑郁障碍检测模块用于基于数据预处理后的脑电数据完成抑郁障碍检测,采用人工神经网络构建并训练模型对脑电信号进行分类,联合使用卷积操作和注意力机制将人口学信息融合到脑电信号的建模过程中。

Description

结合人口学注意力机制的便携式脑电抑郁检测系统
技术领域
本发明涉及结合人口学注意力机制的便携式脑电抑郁检测系统,属于抑郁症辅助医疗技术领域。
背景技术
抑郁障碍又称抑郁症,根据世界卫生组织(World Health Organization,WHO)最新统计报告,目前全球共有3.22亿名抑郁障碍患者。中国是全球抑郁障碍疾病负担较严重的国家之一。全国性精神障碍流行病学调查结果显示,我国抑郁障碍的终身患病率为6.8%,12月患病率为3.6%(注:终身患病率指在一生当中得过抑郁症的患者所占总人口的比率,12月患病率指在12个月内得过抑郁症的患者所占总人口的比率)。我国政府目前已对抑郁障碍等精神疾病的防治高度重视,将其明确列入《“健康中国”2030》、《健康中国行动(2019—2030年)》等计划当中。
抑郁障碍会对人们的正常工作和生活带来严重影响。在实际抑郁检测当中,自评量表仅能作为一种参考依据,并不能通过简单的量表自评就对抑郁患者做出判断,必须要结合专业医师的临床经验与问询诊断得出最终的结论。临床诊断作为另一种重要的抑郁障碍检测方式,是目前精神专科医院所采用的主要方法。但是临床诊断往往受限于医师的临床经验,对于专业水平相差较大的医师,诊断结果往往会出现较大差异。此外,这类检测方法难以避免出现被测试者主观隐瞒等干扰因素,容易导致结果出现偏差,并且诊断过程需要精神科医生的全程参与。而随着抑郁障碍患者数量的不断增长,其与有限的精神卫生服务资源之间的矛盾越来越显著,很多患者无法得到有效的检测和诊断,容易错过最佳的干预治疗时期。
脑电图作为一种非侵入式的大脑中枢神经活动测量工具,已经被越来越广泛地应用于情感感知和抑郁障碍识别。另一方面,抑郁的负性情绪认知偏向是一个持续性的变化过程,传统医院的瞬时测量很难量化评估其整体水平和变化规律。而便携式脑电信号采集系统则可以实现在自然情境中持续地监测和采集高质量的生理信号并对负性情绪认知偏向进行有效评估。现有基于便携式脑电的抑郁障碍检测方法主要分为两类,一类是在对脑电信号进行预处理的基础上提取时、频域等多种特征,进而构建分类模型进行抑郁识别;另一种则结合深度学习模型对脑电信号进行复杂特征表达学习,然而,上述方法均是单纯的围绕信号本身进行分析和建模,忽视了患者的性别、年龄等因素对于脑电信号以及抑郁发病的影响,所构建的分类模型容易受个体差异性影响导致泛化性能不佳。
已有研究表明,不同性别、年龄个体的脑电信号存在很大差异,而性别、年龄等因素又与抑郁障碍的发病存在一定的相关性。比如:女性的抑郁障碍患病率明显高于男性,而从生理特征的角度来看,女性独特的生物学特征和激素,会使其在各种环境和压力变化下更容易产生HPA下丘脑-垂体-肾上腺轴调节障碍,导致女性对压力的耐受力下降,更加容易抑郁。在对抑郁障碍的临床表现和性别差异的研究中可以发现在激素因子和神经递质因子的水平上,女性对某些特定因子和神经递质的反应更加突出和明显。而脑组织结构实验和抑郁发病分析结果则表明女性抑郁患者的右海马体和右颞叶梭状回皮质体积小于男性患者,说明抑郁障碍患者的脑部特征与性别相关。同时,年龄也是影响抑郁障碍发病的重要因素之一。通过对不同年龄段的抑郁障碍患者的症状和病程进行跟踪调查,研究结果表明抑郁障碍的病程随年龄增长呈线性变化,尤其是70岁以上老年人与18-29岁的年轻人相比,其抑郁发展程度更为严重。考虑到性别、年龄等因素对个体大脑功能的影响,以及其与抑郁发病之间的相关性,可以通过引入性别、年龄因素来减小个体差异性对脑电信号的影响,实现更为有效的抑郁障碍检测。现有针对人口学信息的引入方法通常是将性别、年龄等因素作为独立的特征和脑电信号特征一起输入至分类模型,这类方法无法有效学习脑电信号与性别、年龄等因素之间的复杂关联关系,更无法基于这一复杂关系形成脑电信号与人口学信息的有机融合表达。其设计缺陷主要包括以下两方面:
(1)单纯使用脑电信号进行抑郁障碍检测,未引入人口学等影响因素。由于性别、年龄等因素对脑电信号的影响显著,如果在检测模型构建过程中忽略个体差异性影响,单纯基于脑电信号进行建模,往往无法保证模型的泛化性能。
(2)有个别系统结合了脑电信号与人口学特征进行抑郁障碍检测,但只是将性别、年龄等因素作为独立的特征和脑电信号特征一起输入至分类模型,无法探索和学习到脑电信号与性别、年龄等因素间的复杂关联关系。
发明内容
本发明针对现有技术存在的问题,提出一种结合人口学信息的便携式脑电抑郁检测系统,一方面通过使用卷积神经网络来提升脑电信号序列学习和建模的准确性,另一方面结合注意力机制引入个体的人口学信息,实现更为有效的抑郁障碍检测。
本发明的技术方案是:
1.一种结合人口学注意力机制的便携式脑电抑郁检测系统,其特征在于,包括脑电数据采集模块、数据预处理模块、抑郁障碍检测模块;所述脑电数据采集模块用于采集被试的静息态脑电原始数据;所述数据预处理模块用于对采集的原始数据进行数据预处理;所述抑郁障碍检测模块用于基于数据预处理后的脑电数据完成抑郁障碍检测,采用人工神经网络构建并训练模型对脑电信号进行分类,联合使用卷积操作和注意力机制将人口学信息融合到脑电信号的建模过程中。
2.所述脑电数据采集模块完成脑电数据采集功能,采用前额叶三导脑电采集设备,采样频率为250Hz,带通为0.5-50Hz,使用粘性贴片电极,采集前额叶三导静息态脑电信号,同时记录个体的性别、年龄的人口学信息。
3.所述数据预处理模块进行脑电数据预处理,包括带通滤波、伪迹去除、信号分窗三个步骤:首先,采用1到40Hz频带的FIR滤波器脑电信号进行带通滤波;然后,采用离散小波变换和卡尔曼滤波方法去除眼电伪影;接着使用4秒不重叠滑动窗口对脑电信号进行信号分窗,每个分窗片段构成独立的样本,保持信号平滑,扩大样本容量。
4.所述抑郁障碍检测模块包括脑电信号的卷积处理;输入数据为预处理后的二维脑电信号X和人口学信息S,对于包含c个导联电极和t个采样点的二维脑电信号X∈Rc×t,分别对其进行时间和空间维度的卷积编码操作:首先,设置时间域的卷积,用于提取脑电信号时间域上的相关性,表示为Ht=(X*Wt),其中Wt为时间卷积核的权重,*号代表卷积运算;接着通过提供一个空间滤波的卷积操作来提取多个导联特性之间的相关性,表示为:Hs=(Ht*Ws),其中Ws为空间卷积核权重;在卷积操作过程中,时间和空间维度的激活函数均采用ELU函数,ELU函数定义如下:
Figure BDA0002513672720000031
其中,其中x表示激活函数输入向量Hs的单个元素。对于卷积后的数据进行平均池化操作,将特征图的子采样区域内元素值的平均值作为输出结果传入下一层,对数据进行了降维,EEG数据的时间分辨率较高,池化降低了因卷积带来的通道数量上升,同时还保留了EEG数据的空间的近似不变;最后通过一个可分离卷积层,实现时间和空间维度信息更高效地结合,将时间空间卷积得到的脑电信息表示Hs输入可分离卷积层,表示为:Z=(Hs*Wsep),其中,Wsep为可分离卷积层的卷积滤波器权重。同样对其进行平均池化操作,保留脑电特征的主要部分同时减少参数和计算量,防止过拟合,提高抑郁检测系统的泛化能力。
5.所述抑郁障碍检测模块包括注意力机制引入人口学注意力;首先对人口学信息进行处理,对个体的性别数据进行one-hot编码,年龄数据进行归一化操作,再将二者拼接形成人口学特征向量S;在对脑电信号的卷积处理后,得到一个二维的特征图Z,根据特征图Z和人口学特征向量S设计人口学注意力机制,在脑电信号的抑郁分类建模过程中引入性别和年龄信息。通过转换矩阵将多导脑电特征图和人口学信息整合,操作如下:
Figure BDA0002513672720000041
其中Wfe,bfe,Wde,bde是转换矩阵参数,将脑电特征与人口学特征向量投影到一个k维联合子空间(激活函数为tanh),对两个不同表示之间的关系进行建模,并根据在此空间的联合表现生成包含相关关系的注意力矩阵A,通过矩阵列和向量加法
Figure BDA0002513672720000042
来结合脑电特征和人口学之间的相关性。通过带有softmax的映射函数将注意力矩阵变为注意力权重α,操作如下:
α=softmax(WaA+ba)
其中,Wa是映射函数的权重,ba是其偏置;最后,将得到的结合脑电信息和人口学信息的注意力向量α与其相对应的脑电特征图结合,生成融合个体人口学信息相关的脑电特征向量。
6.所述抑郁障碍检测模块包括完成最终的抑郁分类预测;对于最终产生的融合个体人口学信息的脑电特征向量,将其送入具有softmax激活功能的全连接层进行分类,将输出映射为一个值为0到1之间的二元向量
Figure BDA0002513672720000043
并构建二分类交叉熵作为损失函数优化目标:
Figure BDA0002513672720000044
其中,I代表抑郁障碍类别(I=2),p是真实标签的one-hot编码向量,pre是模型输出的预测标签向量,pi代表标签类别的第i个类别;同时,在训练时使用Nadam自适应学习率算法优化参数。
本发明的技术效果:
本发明提出一种结合人口学注意力机制的便携式脑电抑郁检测系统,一方面通过使用卷积神经网络来提升脑电信号序列学习和建模的准确性,另一方面结合注意力机制引入个体的性别、年龄等人口学信息来探索和学习脑电信号与性别、年龄等因素之间的关联关系,并以此产生更为高层次的特征表示,有效提高抑郁障碍检测的准确率。
本发明采用卷积神经网络对便携式脑电设备所采集的精简导联脑电信号进行时空有效特征建模,同时结合注意力机制引入个体的人口学信息来归纳和学习脑电信号与性别、年龄等因素之间的关联关系,并以此产生更为高层次的特征表达来提升抑郁障碍检测的准确率。
现有基于脑电和人口学信息的抑郁障碍检测系统在引入人口学信息时,主要是将性别、年龄等因素作为独立的特征和脑电信号特征一起输入至分类模型,这类方法无法有效学习脑电信号与性别、年龄等因素之间的复杂关联关系,更无法基于这一复杂关联关系形成脑电信号与人口学信息的有机融合表达。而本发明提出的抑郁障碍检测方法在利用卷积神经网络对脑电信号序列进行时空特征学习和建模的过程中,结合注意力机制来引入个体的性别、年龄的人口学信息,通过卷积神经网络和注意力层的联合优化来归纳和学习脑电信号与性别、年龄等因素之间的关联关系。本发明引入的注意力机制可以对脑电特征的不同片段设置不同的权重参数,从而提取出脑电信号中与人口学信息以及抑郁障碍相关的特征,降低干扰信息的影响,并以此产生更高层次的有机融合表示,进一步提升抑郁障碍检测的准确率。
本发明结合脑电信号与人口学信息进行抑郁障碍检测,由于生理信号相较于自评判断与行为特征能够更加客观真实地反映患者的心理状态,可以实现更为客观有效的抑郁障碍检测。而通过归纳和学习人口学信息与脑电信号间的复杂关联关系,能够有效地避免个体差异给脑电信号建模和分析带来的影响,提升抑郁障碍检测模型的准确率与泛化性能。同时,本发明采用三导普适化脑电采集系统(关联专利:专利号:CN201520628152.6)进行脑电信号的采集,可以便捷、高效地采集脑电信号并实时处理,具有很强的普适性,这对持续性评估抑郁障碍患者的负性情绪认知偏向的变化过程,解决传统医院瞬时测量难以量化评估其整体水平和变化规律的问题,实现客观、量化、持续、动态地评估和监测个体心理健康水平提供了解决方案。
附图说明
图1是本发明的结合人口学注意力机制的便携式脑电抑郁检测系统的实施工作流程图。
图2是本发明结合人口学注意力机制的卷积神经网络结构图。
图3是三导联脑电电极位置图。
具体实施方式
为了使本发明能更加明显易懂,下面结合附图和实施例对本发明作进一步详细说明,以下实施例中仅为对本发明技术方案的一种展示实例,并不限制本发明的范围及其应用。
图1是本发明的结合人口学注意力机制的便携式脑电抑郁检测系统在实施例中的工作流程图。本发明使用卷积神经网络构建抑郁障碍分类模型,同时结合注意力机制引入个体的人口学信息,实现更为有效的抑郁障碍检测。
在本实施例中,结合人口学注意力机制的便携式脑电抑郁检测系统包括:脑电数据采集模块、数据预处理模块、抑郁障碍检测模块;脑电数据采集模块用于采集实验数据;数据预处理模块用于对采集的原始数据进行数据预处理;抑郁障碍检测模块用于模型设计与调整,构建和优化分类模型,完成抑郁障碍检测。在本实例中通过实验对照的方式对分类模型进行训练、测试,完成抑郁障碍检测系统性能评估。
1.在本实施例中,使用的验证数据集是自行采集的脑电数据集,包括选取被试和数据采集两部分。
(1)该脑电数据集包括170名被试(其中抑郁患者为81人,正常被试为89人)都是从首都医科大学附属北京安定医院招募,所有被试均由精神专科医生进行筛查和诊断,并且所有被试皆为右手利、智力发育正常、未接受药物治疗,并在合法监护人的允许下自愿参与研究,排除具有癫痫病史、神经系统异常、头部外伤或昏迷、身体疾病和精神活性物质使用史的人员。两组中不同性别和不同年龄段的被试数量尽量保持一致,以保证卷积神经网络模型及其人口学注意力机制训练的有效性。
(2)脑电数据采集的设备使用的是由甘肃省可穿戴装备重点实验室所设计开发的普适前额叶三导脑电采集设备,采样频率为250hz,带通为0-50Hz。脑电采集系统的导联选择Fp1、Fp2、Fpz,如图3所示的三导联脑电电极位置图,遵循左奇右偶的原则:Fp1贴于被试额头左侧;Fpz贴于被试额头正中;Fp2贴于被试额头右侧;参考电极夹在耳垂上。向被试描述实验和程序的目的,实验在一分钟的放松后开始,记录90秒的闭眼静止休息状态的脑电信号片段,采集到的脑电处于大脑静息状态下。
2.脑电数据的预处理
首先,采用1到40Hz频带的FIR滤波器脑电信号进行带通滤波(该波段涵盖了脑电信号中最常用的观测频段,包含theta、alpha、beta、gamma波段),同时有效地去除工频噪声(50Hz)。由于前额叶脑电信号受眼部干扰严重,采用离散小波变换和卡尔曼滤波方法去除眼电伪迹。人工选取40s高质量脑电信号,同时使用4秒不重叠滑动窗口对脑电信号进行片段分割,共获得1700个脑电信号片段,每个片段构成独立训练样本,保持信号平滑并扩大样本容量。
3.抑郁障碍检测模块完成神经网络的构建和训练。
卷积神经网络(Convolutional Neural Network)可以专门用来处理具有类似网格形状结构数据的神经网络,例如时间序列数据和图像数据。同时神经网络的注意力机制像人类视觉一样,可以重点关注部分区域,从大量信息中提取出与目标相关的高价值信息。本发明系统将结合注意力机制,在脑电信号的卷积神经网络模型构建过程中引入性别、年龄等人口学信息,进一步提升抑郁障碍检测模型的准确率。
抑郁障碍检测模型的构建:脑电信号的卷积处理、人口学注意力机制和分类和优化。本发明结合人口学注意力机制的抑郁障碍检测模型结构如图2所示。
(1)脑电信号的卷积处理
卷积神经网络广泛应用于具有类似网格结构的数据,例如图像、视频等,如今卷积神经网络也被研究用于脑电信号的编码解码。脑电信号作为生物电信号具有较高的时间分辨率,在时间方向上存在时间关联。但是脑电信号与图像等数据又有所不同,并不是单纯的一维时间序列,多个导联间存在一定的位置联系,即不同导联之间存在空间关联。但脑电信号导联维数较低与时间分辨率相差较大,是典型的维度不匹配问题,因此无法像处理图片数据那样直接使用二维卷积操作。考虑到以上问题,可以将空间滤波即导联选择与时间滤波分步进行。
由于脑电信号的时间和空间相关性,并且导联空间与信号时间的维度不匹配,本发明系统通过在时间和空间两个维度的卷积操作,将高时间分辨率的多导联脑电数据转换成高维的特征结构,用来表示卷积处理过程中的特征提取结果。根据数据预处理结果,脑电信号
Figure BDA0002513672720000071
(包含3个导联和1000时间点)作为卷积神经网络的输入数据,首先对X进行卷积处理,在中间层得到一个隐藏状态特征映射作为数据的压缩表示。(时间和空间维度的卷积操作都包含了许多一维卷积滤波器。由卷积操作原理可知,时间维度上的卷积能够起到模拟带通频率滤波的作用,空间维度上的卷积操作则可以表示出电极间的相关性。对于给定时间片段的脑电数据,将其先后输入至时间和空间两个维度的卷积编码网络中。)
首先,对于脑电信号X,设置一维时间域的卷积,如下所示:
Ht=(X*Wt)
其中Wt为时间卷积核的权重(卷积滤波器权重),*号代表卷积运算,时域卷积可以模拟带通滤波。接下来,提供一维空间卷积来提取多个导联电极之间的相关性,如下所示:
Hs=(Ht*Ws)
其中Ws为空间卷积核权重(卷积滤波器权重)。时间和空间卷积滤波器的权重设置,应考虑脑电数据时间序列和空间序列的特征进行选取,而且空间维度上的滤波器可以考虑满足脑电数据的电极数限制。其中,Wt,Ws满足WtER1×l,Ws∈R3×1,采用1×l大小的时间卷积滤波,是为了更好地探索脑电数据时间序列上的特征。采用3×1大小的空间卷积滤波器,与脑电数据的电极数一致。
在卷积操作过程中,选定指数线性单元激活函数(ELU)作为时间和空间卷积的激活函数,用来提升对脑电数据的分类性能。ELU函数定义如下:
Figure BDA0002513672720000081
其中,x表示激活函数输入向量Hs的单个元素。可以看出,激活函数的选择随着x的变化而变化。当x大于等于0和小于0时,ELU会选择不同的式子作为激活函数。因此激活函数是随脑电信号数据特征变化的。对于卷积后的数据进行平均池化操作,将特征图的子采样区域内元素值的平均值作为输出结果传入下一层,对数据进行了降维,EEG数据的时间分辨率较高,池化降低了因卷积带来的通道数量上升,同时还保留了EEG数据的空间的近似不变。
最后通过一个可分离卷积层,实现时间和空间维度信息更高效地结合,将时间空间卷积得到的脑电信息表示Hs输入可分离卷积层,表示为:
Z=(Hs*Wsep)
其中,Wsep∈R1×f为可分离卷积层的卷积滤波器权重。通过可分离卷积层卷积,可以得到特征映射
Figure BDA0002513672720000082
cout为可分离卷积层滤波器数量,m为卷积和池化操作后特征点的数量。同样对其进行平均池化操作,保留脑电特征的主要部分同时减少参数和计算量,防止过拟合,提高抑郁检测系统的泛化能力。
(2)人口学注意力机制
在抑郁障碍检测中,最终目标是避免个体差异并提高预测准确性。因此,本发明将脑电信号与人口学信息之间的相互作用和相关性结合起来,获得有效的数据表示。本模块引入注意力机制到神经网络中,可以学习到中间层特征的“空间”权重信息,此处的空间并不是脑电数据导联上的空间,而是有卷积操作后时间方向上的横向空间信息。通过联合数据的自身信息以及性别、年龄的关联关系,提取出脑电数据的最优特征。
考虑到脑电信号与患者个体性别、年龄等人口学因素的相互关联,以及上述人口学因素对抑郁发生率的影响,有必要在脑电信号建模和抑郁检测过程中引入性别和年龄等信息。本发明利用卷积操作将原始脑电数据编码生成高阶的表示,并在之后的注意层利用这些表示和人口学数据结合给定的抑郁检测目标函数来生成隐式的注意力权重,调整特征的表示进而提升模型的分类性能。主要原理与自然语言处理的注意力机制一致,借助神经网络强大的学习能力隐式地进行,生成与任务目标更相关的数据表示并进行分类。
本发明所设计的人口学注意机制将脑电信号与性别、年龄因素有机融合,促进一维卷积神经网络探索脑电信号与人口学因素的复杂相关性,最终生成更有效的高阶的抑郁症检测表示。具体而言,对个体的性别数据进行one-hot编码,年龄数据进行归一化操作,再将二者拼接形成人口学特征向量S∈Rd(在本发明中d为3)。结合卷积神经网络将多导联脑电数据编码得到的特征表示
Figure BDA0002513672720000095
使用两个转换矩阵来整合人口学信息和卷积得到的脑电信号特征,操作如下:
Figure BDA0002513672720000091
其中,
Figure BDA0002513672720000092
Wde∈Rk×3是将脑电信息特征Z和社会学信息特征S转化至k维度联合子空间的转换矩阵,bfe∈Rk,bde∈Rk是偏置项。将脑电特征与人口学向量投影到一个k维联合子空间,并根据在此空间的联合表现生成注意力矩阵A。使用矩阵列和向量加法/>
Figure BDA0002513672720000093
来结合脑电信号特征和人口学数据之间的相关性。将生成的注意力矩阵送入带有softmax的映射函数中,定义如下:
α=softmax(WaA+ba)
其中,Wa∈R1×k是映射函数的权重,ba∈R是其偏置项。通过此式可以将注意力矩阵A转换为一维向量α。最后,将得到的结合脑电信息和人口学信息的注意力向量α与其相对应的脑电特征图结合,产生融合个体人口学信息的脑电特征向量。
(3)抑郁障碍分类
对于最终产生的融合个体人口学信息的脑电特征向量,将其送入具有softmax激活功能的全连接层进行分类:
Figure BDA0002513672720000094
并构建二分类交叉熵作为损失函数优化目标:
loss=-∑ipilogprei
其中,I代表抑郁障碍类别(I=2),p是真实标签的one-hot编码向量,pre是模型输出的预测标签向量,pi代表标签类别的第i个类别。同时,在训练时使用Nadam自适应学习率算法优化参数,该优化算法对学习率有更强的约束,优化过程如下:
Figure BDA0002513672720000101
Figure BDA0002513672720000111
/>
同时使用小批量梯度下降的方法来对模型训练,小批量梯度下降随机选取小批量数据计算梯度损失函数的每一步,使得收敛速度和计算效率更快。
4.训练和优化网络,并完成性能评估。本实施例的实验采用嵌套交叉验证的策略,以此来评估该模型的整体性能,具体操作如下:将所有样本分层采样划分为10份,进行外层十折交叉验证(每折训练样本数为1530,测试样本数为170);每折的9份训练数据再次按分层采样进行内层十折交叉验证。内层交叉验证用于结合网格寻优策略确定模型的超参数组合,进而得到最优模型;外层交叉验证用于模型性能评估,每一折均使用内层交叉验证得到的最优参数组合进行模型训练,并对相应的测试样本进行分类预测,以外层十折交叉验证的平均准确率作为最终实验结果。在本实验中,超参数包括:注意权重映射维数k、初始学习率、样本批量数与迭代次数。模型训练完成后,将测试性能并用于抑郁障碍的辅助检测中。算法使用基于Python3.5的Tensorflow和Keras框架实现。
在本实施例中,本发明系统在抑郁障碍检测的准确率上达到了75.3%的准确率,与结合人口统计学注意力机制的CNN模型相比,结合性别和年龄的注意力机制的CNN取得了更好的分类性能,在总体趋势上所提出的模型性能优于未引入人口统计学注意力机制的模型,在平均准确率、灵敏度、特异性和F1-score指标上高出约5个百分点,同时ROC曲线及AUC都取得了更好的结果。
本发明基于便携式前额三导脑电信号进行抑郁障碍检测,利用注意力机制引入人口学信息,通过注意力权重调整脑电图特征图,在不增加复杂性的情况下探索脑电信号与人口学信息的相关性。并通过将脑电特征图和人口学信息映射到联合空间中融合生成更有效的表达,在缓解个体之间差异性的同时提高抑郁检测性能。根据实例实验的结果可以得出结论,本发明所设计的方法可以产生更有效的、与人口统计信息更相关的脑电信号高层次表达,有利于抑郁障碍的检测任务。
应当指出,以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造,但不以任何方式限制本发明创造。一切不脱离本发明创造的精神和范围的技术方案及其改进,其均涵盖在本发明创造的保护范围当中。

Claims (5)

1.一种结合人口学注意力机制的便携式脑电抑郁检测系统,其特征在于,包括脑电数据采集模块、数据预处理模块、抑郁障碍检测模块;所述脑电数据采集模块用于采集被试的静息态脑电原始数据;所述数据预处理模块用于对采集的原始数据进行数据预处理;所述抑郁障碍检测模块用于基于数据预处理后的脑电数据完成抑郁障碍检测,采用人工神经网络构建并训练模型对脑电信号进行分类,联合使用卷积操作和注意力机制将人口学信息融合到脑电信号的建模过程中;
所述抑郁障碍检测模块包括注意力机制引入人口学注意力;首先对人口学信息进行处理,对个体的性别数据进行one-hot编码,年龄数据进行归一化操作,再将二者拼接形成人口学特征向量S;在对脑电信号的卷积处理后,得到一个二维的特征图Z,根据特征图Z和人口学特征向量S设计人口学注意力机制,在脑电信号的抑郁分类建模过程中引入性别和年龄信息;通过转换矩阵将多导脑电特征图和人口学信息整合,操作如下:
Figure FDA0004173556930000011
其中Wfe,bfe,Wde,bde是转换矩阵参数,将脑电特征与人口学特征向量投影到一个k维联合子空间(激活函数为tanh),对两个不同表示之间的关系进行建模,并根据在此空间的联合表现生成包含相关关系的注意力矩阵A,通过矩阵列和向量加法
Figure FDA0004173556930000012
来结合脑电特征和人口学之间的相关性;通过带有softmax的映射函数将注意力矩阵变为注意力权重α,操作如下:
α=zoftmax(WaA+ba)
其中,Wa是映射函数的权重,ba是其偏置;最后,将得到的结合脑电信息和人口学信息的注意力向量α与其相对应的脑电特征图结合,生成融合个体人口学信息相关的脑电特征向量。
2.根据权利要求1所述的结合人口学注意力机制的便携式脑电抑郁检测系统,其特征在于,所述脑电数据采集模块完成脑电数据采集功能,采用前额叶三导脑电采集设备,采样频率为250Hz,带通为0.5-50Hz,使用粘性贴片电极,采集前额叶三导静息态脑电信号,同时记录个体的性别和年龄的人口学信息。
3.根据权利要求2所述的结合人口学注意力机制的便携式脑电抑郁检测系统,其特征在于,所述数据预处理模块进行脑电数据预处理,包括带通滤波、伪迹去除、信号分窗三个步骤:首先,采用1到40Hz频带的FIR滤波器脑电信号进行带通滤波;然后,采用离散小波变换和卡尔曼滤波方法去除眼电伪影;接着使用4秒不重叠滑动窗口对脑电信号进行信号分窗,每个分窗片段构成独立的样本,保持信号平滑,扩大样本容量。
4.根据权利要求3所述的结合人口学注意力机制的便携式脑电抑郁检测系统,其特征在于,所述抑郁障碍检测模块包括脑电信号的卷积处理;输入数据为预处理后的二维脑电信号X和人口学信息S,对于包含c个导联电极和t个采样点的二维脑电信号X∈Rc×t,分别对其进行时间和空间维度的卷积编码操作:首先,设置时间域的卷积,用于提取脑电信号时间域上的相关性,表示为Ht=(X*Wt),其中Wt为时间卷积核的权重,*号代表卷积运算;接着通过提供一个空间滤波的卷积操作来提取多个导联特性之间的相关性,表示为:Hs=(Ht*Ws),其中Ws为空间卷积核权重;在卷积操作过程中,时间和空间维度的激活函数均采用ELU函数,ELU函数定义如下:
Figure FDA0004173556930000021
其中,其中x表示激活函数输入向量Hs的单个元素;对于卷积后的数据进行平均池化操作,将特征图的子采样区域内元素值的平均值作为输出结果传入下一层,对数据进行了降维,EEG数据的时间分辨率较高,池化降低了因卷积带来的通道数量上升,同时还保留了EEG数据的空间的近似不变;最后通过一个可分离卷积层,实现时间和空间维度信息更高效地结合,将时间空间卷积得到的脑电信息表示Hs输入可分离卷积层,表示为:Z=(Hs×Wsep),其中,Wsep为可分离卷积层的卷积滤波器权重;同样对其进行平均池化操作,保留脑电特征的主要部分同时减少参数和计算量,防止过拟合,提高抑郁检测系统的泛化能力。
5.根据权利要求1所述的结合人口学注意力机制的便携式脑电抑郁检测系统,其特征在于,所述抑郁障碍检测模块包括完成最终的抑郁分类预测;对于最终产生的融合个体人口学信息的脑电特征向量,将其送入具有softmax激活功能的全连接层进行分类,将输出映射为一个值为0到1之间的二元向量
Figure FDA0004173556930000022
并构建二分类交叉熵作为损失函数优化目标:
Figure FDA0004173556930000023
其中,I代表抑郁障碍类别(I=2),p是真实标签的one-hot编码向量,pre是模型输出的预测标签向量,pi代表标签类别的第i个类别;同时,在训练时使用Nadam自适应学习率算法优化参数。
CN202010469004.XA 2020-05-28 2020-05-28 结合人口学注意力机制的便携式脑电抑郁检测系统 Active CN111568446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010469004.XA CN111568446B (zh) 2020-05-28 2020-05-28 结合人口学注意力机制的便携式脑电抑郁检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010469004.XA CN111568446B (zh) 2020-05-28 2020-05-28 结合人口学注意力机制的便携式脑电抑郁检测系统

Publications (2)

Publication Number Publication Date
CN111568446A CN111568446A (zh) 2020-08-25
CN111568446B true CN111568446B (zh) 2023-05-26

Family

ID=72110452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010469004.XA Active CN111568446B (zh) 2020-05-28 2020-05-28 结合人口学注意力机制的便携式脑电抑郁检测系统

Country Status (1)

Country Link
CN (1) CN111568446B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112336353B (zh) * 2020-11-04 2023-07-28 西安科技大学 一种基于舒尔特方格与lstm的多级注意力分级方法
CN112263253B (zh) * 2020-11-18 2021-09-17 山东大学 基于深度学习与心电信号的抑郁症识别系统、介质及设备
CN113180692B (zh) * 2021-02-11 2023-01-20 北京工业大学 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN113349791A (zh) * 2021-05-31 2021-09-07 平安科技(深圳)有限公司 异常心电信号的检测方法、装置、设备及介质
CN113397563A (zh) * 2021-07-22 2021-09-17 北京脑陆科技有限公司 抑郁分类模型的训练方法、装置、终端及介质
CN113397565A (zh) * 2021-07-22 2021-09-17 北京脑陆科技有限公司 基于脑电信号的抑郁识别方法、装置、终端及介质
CN113616209B (zh) * 2021-08-25 2023-08-04 西南石油大学 基于时空注意力机制的精神分裂症患者甄别方法
CN113723557B (zh) * 2021-09-08 2023-08-08 山东大学 一种基于多频带时空卷积网络的抑郁脑电分类系统
CN114424941A (zh) * 2022-01-26 2022-05-03 广东电网有限责任公司 疲劳检测模型构建方法、疲劳检测方法、装置及设备
CN114403899B (zh) * 2022-02-08 2023-07-25 浙江浙大西投脑机智能科技有限公司 一种大脑神经元锋电位与局部场电位结合的抑郁检测装置
CN115381467B (zh) * 2022-10-31 2023-03-10 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110811648A (zh) * 2019-11-20 2020-02-21 阿呆科技(北京)有限公司 一种基于残差卷积神经网络的抑郁倾向评估系统
CN111127441A (zh) * 2019-12-25 2020-05-08 兰州大学 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108143411A (zh) * 2017-12-13 2018-06-12 东南大学 一种面向孤独症诊断的静息态脑电分析系统
CN109124625B (zh) * 2018-09-04 2021-07-20 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN110403604B (zh) * 2019-07-03 2022-02-18 陈琦 基于注意力集中程度构建环境空间和训练注意力的方法
CN110876626B (zh) * 2019-11-22 2022-08-12 兰州大学 基于多导联脑电最优导联选择的抑郁检测系统
CN110916689A (zh) * 2019-11-29 2020-03-27 上海青鸿教育科技有限公司 一种自闭症的认知与注意力强化智能评估训练系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110811648A (zh) * 2019-11-20 2020-02-21 阿呆科技(北京)有限公司 一种基于残差卷积神经网络的抑郁倾向评估系统
CN111127441A (zh) * 2019-12-25 2020-05-08 兰州大学 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统

Also Published As

Publication number Publication date
CN111568446A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111568446B (zh) 结合人口学注意力机制的便携式脑电抑郁检测系统
Mumtaz et al. Review of challenges associated with the EEG artifact removal methods
Khare et al. PDCNNet: An automatic framework for the detection of Parkinson’s disease using EEG signals
Dutta et al. Deep learning-based multi-head self-attention model for human epilepsy identification from EEG signal for biomedical traits
Yu et al. Diverse frequency band-based convolutional neural networks for tonic cold pain assessment using EEG
Shaban Automated screening of Parkinson's disease using deep learning based electroencephalography
Ouchani et al. A review of methods of diagnosis and complexity analysis of Alzheimer’s disease using EEG signals
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
Amrani et al. EEG signal analysis using deep learning: A systematic literature review
Soni et al. Graphical representation learning-based approach for automatic classification of electroencephalogram signals in depression
Saini et al. One-dimensional convolutional neural network architecture for classification of mental tasks from electroencephalogram
CN116092673A (zh) 一种便携式多信息融合分析及干预评估系统及其方法
CN115363531A (zh) 基于双模态脑电信号信息瓶颈的癫痫检测系统
Saini et al. Light-weight 1-D convolutional neural network architecture for mental task identification and classification based on single-channel EEG
Othmani et al. EEG-based neural networks approaches for fatigue and drowsiness detection: A survey
Al-Qaysi et al. Wavelet-based Hybrid learning framework for motor imagery classification
Jiang et al. Use of deep belief network model to discriminate mild cognitive impairment and normal controls based on EEG, eye movement signals and neuropsychological tests
Ajra et al. Mental arithmetic task classification with convolutional neural network based on spectral-temporal features from EEG
CN115736920A (zh) 基于双模态融合的抑郁状态识别方法及系统
Kerkeni et al. Automatic classification of sleep stages on a EEG signal by artificial neural networks
CN117224080B (zh) 大数据的人体数据监测方法装置
Apsari et al. Electroencephalographic spectral analysis to help detect depressive disorder
Yin et al. Intelligent classification for emotional issues by deep learning network on EEG signal processing
Rahman et al. Epileptic seizure prediction using bandpass filtering and convolutional neural network
Kerkeni et al. Neuronal spectral analysis of EEG and expert knowledge integration for automatic classification of sleep stages

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant