CN111513735B - 基于脑机接口和深度学习的重度抑郁症辨识系统及应用 - Google Patents

基于脑机接口和深度学习的重度抑郁症辨识系统及应用 Download PDF

Info

Publication number
CN111513735B
CN111513735B CN202010481476.7A CN202010481476A CN111513735B CN 111513735 B CN111513735 B CN 111513735B CN 202010481476 A CN202010481476 A CN 202010481476A CN 111513735 B CN111513735 B CN 111513735B
Authority
CN
China
Prior art keywords
brain
eeg
layer
electroencephalogram
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010481476.7A
Other languages
English (en)
Other versions
CN111513735A (zh
Inventor
高忠科
孙新林
马超
马文庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Original Assignee
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Furuilong Metal Products Co ltd, Tianjin University filed Critical Tianjin Furuilong Metal Products Co ltd
Priority to CN202010481476.7A priority Critical patent/CN111513735B/zh
Publication of CN111513735A publication Critical patent/CN111513735A/zh
Application granted granted Critical
Publication of CN111513735B publication Critical patent/CN111513735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于脑机接口和深度学习的重度抑郁症辨识系统及应用，包括，便携式脑电采集设备、脑电分析系统和分类识别系统，所述便携式脑电采集设备从被试者大脑采集EEG脑电信号，完成采集过程，脑电分析系统对采集到的EEG脑电信号进行分析，建立多层大脑复杂网络，分类识别系统在多层大脑复杂网络基础上，对大脑状态进行准确识别，完成辨识过程，经过指定次数的采集过程和辨识过程，系统将给出被试者属于正常人或重度抑郁症的可能性，进而完成对重度抑郁症患者的辨识任务。本发明能够达到较高的重度抑郁症识别准确率，能够实现一种快速、准确对重度抑郁症患者进行初步辨识的系统，为后期诊断进一步提供依据。

Description

基于脑机接口和深度学习的重度抑郁症辨识系统及应用
技术领域
本发明涉及一种重度抑郁症辨识系统。特别是涉及一种基于脑机接口和深度学习的重度抑郁症辨识系统及应用。
背景技术
重度抑郁症是一种全球性的、严重的心理疾病。与轻度情绪变化不同，重度抑郁症具有更高的危险性，可能导致严重的健康问题。研究显示，中国儿童和青少年的重度抑郁症患病率约为1.3％，为青少年心理健康工作带来了巨大的负担。此外，重度抑郁症患者的自杀率显著高于健康人。因此，准确、及时地对重度抑郁症患者进行辨识，对科学研究和人类社会发展具有重要意义。目前以脑电图为基础对重度抑郁症患者进行辨识的研究越来越多地受到关注，除了传统的功率谱特征分析，越来越多的研究集中于分析不同脑区的连接性。同时，基于机器学习的分类算法，为医生减轻了分析负担。
脑机接口技术是一种建立人脑与计算机之间信息通路的新方式。脑机接口技术通过对被试者的脑电信号进行采集和分析，提取蕴含在脑电信号中的丰富特征，进而判断被试者的大脑状态，为疾病诊断、情绪解读、康复医疗等领域提供了极大的帮助。然而，现有的多通道脑电采集设备大多存在价格昂贵、体积庞大、操作繁琐等不便之处，便携式脑电采集设备则普遍存在精度不足、通道较少等缺点。因此，设计并开发一套高精度、多通道的便携式脑电采集设备，并用于脑机接口领域是非常必要的。现场可编程门阵列(FPGA)器件由于其高度的灵活性、强大的逻辑资源、优越的并行处理能力已被用于高性能计算、医学诊断、通讯等几乎各个领域。基于FPGA并行处理理念设计的便携式脑电采集设备解决了通道较少的问题。因此，本发明采用FPGA作为便携式脑电采集设备的主控芯片，配合高精度生物电信号采集模块，设备的转换精度也能得到满足。
大脑是一个复杂系统，脑电信号具有非线性、非稳态等特点，运用传统的信号处理理论难以捕获其有效特征信息。因此有必要从复杂系统的角度，对脑网络中蕴含的信息进行研究。复杂网络作为一种前沿的数据融合、分析理论，获得了越来越多研究人员的青睐，为复杂系统的研究提供了新的视角。脑网络作为复杂网络研究的主要分支，也受到了很多研究者的关注。在基于脑电信号的脑网络中，脑电极被设定为节点，节点之间的连边通过各种各样的相关性测度确定。锁相值能够有效衡量两个序列间的同步程度，进而反映脑网络中不同区域间的连接性测度，因而被广泛用来构建脑网络。
近年来，深度学习在目标检测、语音识别和自然语言处理等领域展示出其强大的潜力。深度卷积神经网络作为深度学习中成功应用的代表，能够对栅格状数据中的特征进行有效的提取。融合脑网络和深度卷积神经网络的模型，能够发挥各自组成部分的相应优势，实现对重度抑郁症患者的有效辨识。
发明内容
本发明所要解决的技术问题是，提供一种能够对重度抑郁症患者进行快速、准确的初步辨识的基于脑机接口和深度学习的重度抑郁症辨识系统及应用。
本发明所采用的技术方案是：一种基于脑机接口和深度学习的重度抑郁症辨识系统，包括，便携式脑电采集设备、脑电分析系统和分类识别系统，所述便携式脑电采集设备从被试者大脑采集EEG脑电信号，完成采集过程，脑电分析系统对采集到的EEG脑电信号进行分析，建立多层大脑复杂网络，分类识别系统在多层大脑复杂网络基础上，对大脑状态进行准确识别，完成辨识过程，经过指定次数的采集过程和辨识过程，系统将给出被试者属于正常人或重度抑郁症的可能性，进而完成对重度抑郁症患者的辨识任务。
一种基于脑机接口和深度学习的重度抑郁症辨识系统的应用，包括：
(1)为被试者正确佩戴脑电极帽，保证脑电极与头皮完全接触；被试者要求保持静坐，眼部正视前方；在确保系统供电电路正常后，开启系统，通过便携式脑电采集设备采集EEG脑电信号并传送至脑电分析系统，完成采集过程；
(2)脑电分析系统自动对采集的EEG脑电信号进行分频、建立多层大脑复杂网络；
(3)分类识别系统基于预先训练好的深度卷积神经网络模型，根据多层大脑复杂网络进行分类识别，完成辨识过程，同时记录该次辨识过程中被试者属于正常或重度抑郁类别的可能性；
(4)重复100次采集过程和辨识过程，将所有记录的辨识过程中被试者属于正常或重度抑郁类别的可能性取平均值，给出被试者最终属于正常或重度抑郁类别的可能性，进而完成对重度抑郁症患者的辨识任务。
本发明的基于脑机接口和深度学习的重度抑郁症辨识系统及应用，能够实现对正常人与重度抑郁症患者的EEG脑电信号的有效辨识并进行正确分类；本发明能够实现一种快速、准确对重度抑郁症患者进行初步辨识的系统，为后期诊断进一步提供依据。本发明包含的便携式脑电采集设备体积小、质量轻、传输速率快，因此本发明适用于个人日常使用，及时进行自我心理调节。同时，本发明的脑电分析系统和分类识别系统能够达到较高的重度抑郁症识别准确率，因此本发明又可作为心理医生的辅助设备，从而减轻医生工作负担。
附图说明
图1是本发明基于脑机接口和深度学习的重度抑郁症辨识系统的构成框图；
图2是本发明中便携式脑电采集设备构成框图；
图3是本发明中脑电分析系统在线分析流程图；
图4是本发明中脑电分析系统中分频、建立多层复杂网络流程图；
图5是本发明中深度卷积神经网络结构示意图；
图6是本发明基于脑机接口和深度学习的重度抑郁症辨识系统的应用示意图。
具体实施方式
下面结合实施例和附图对本发明的基于脑机接口和深度学习的重度抑郁症辨识系统及应用做出详细说明。
如图1所示，本发明的基于脑机接口和深度学习的重度抑郁症辨识系统，包括，便携式脑电采集设备1、脑电分析系统2和分类识别系统3，所述便携式脑电采集设备1从被试者大脑采集EEG脑电信号，完成采集过程，脑电分析系统2对采集到的EEG脑电信号进行分析，建立多层大脑复杂网络，分类识别系统3在多层大脑复杂网络基础上，对大脑状态进行准确识别，完成辨识过程。经过指定次数的采集过程和辨识过程，系统将给出被试者属于正常人或重度抑郁症的可能性，进而完成对重度抑郁症患者的辨识任务。
如图2所示，所述的便携式脑电采集设备1，包括有：依次连接的用于采集EEG脑电信号的脑电极帽及其转接线11、用于EEG脑电信号放大和转换的生物电信号采集模块12、用于控制EEG脑电信号的采集并通过USB芯片14和USB通信接口15向脑电分析系统2输出EEG脑电信号的FPGA处理器13，以及分别连接生物电信号采集模块12、FPGA处理器13和USB芯片14的系统供电电路17，所述系统供电电路17是通过USB供电接口16连接外部电源；其中，
所述的脑电极帽及其转接线11中的脑电极帽采集不同脑区的EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块12相连接，用于EEG脑电信号的采集和传输；脑电极帽获取被试者对应于脑电极帽的Fp1,F3,F7,Fz,Fp2,F4,F8,C3,C4,Cz,P3,Pz,P4,O1,O2,T3,T4,T5,T6共19个通道的EEG脑电信号；脑电极帽的电极分布符合10～20国际标准导联。信号以左耳乳突处的A1电极为参考，以右耳乳突处的A2电极为地GND。转接线输入端采用国际标准1.5mm孔式插口，能与各种进口和国产脑电极帽配套使用，输出端通过DSUB37接口与后续的模块相连接。
所述的生物电信号采集模块12是由数片集成了用于接收脑电极帽采集的EEG脑电信号的高共模抑制比模拟输入模块、用于进行EEG脑电信号放大的低噪声可编程增益放大器和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器的生物电信号采集芯片组成，其A/D转换精度为24位；
所述的FPGA处理器13用于调整生物电信号采集模块的采集模式与参数和控制USB芯片14输出EEG脑电信号；所述的FPGA处理器13内置两种IP核，分别完成对生物电信号采集模块12和USB芯片14的控制。
所述的USB芯片14工作在异步FIFO模式，最高传输速率8MB/秒，在FPGA处理器13的控制下周期性地将采集到的EEG脑电信号以数据包的形式通过USB通信接口15向脑电分析系统2输出EEG脑电信号；
所述的系统供电电路17，输入电压为5V，由USB供电接口16进行供电，通过电压转换模块提供系统不同芯片的工作电压，即，输出三种直流电压，供该设备的不同芯片使用：3.3V、2.5V以及1.2V。
所述的脑电分析系统2具有在线分析和离线分析两种模式；其中，在线分析模式使用USB通信，从便携式脑电采集设备实时读取EEG脑电信号，并通过转换算法，从A/D转换结果解析出EEG脑电信号实际电压值，随后根据实时采集的EEG脑电信号进行分频、建立多层大脑复杂网络，如图3所示；离线分析模式是根据EEG脑电信号直接进行分频、建立多层大脑复杂网络。
所述的通过转换算法，从A/D转换结果解析出EEG脑电信号实际电压值，包括如下步骤：
1)确定生物电信号采集模块12的参考电压VREF以及可编程增益放大器的放大倍数GPGA；
2)将每个通道的原始的十六进制A/D转换结果V16，转化为十进制A/D转换结果V10；
3)按照下列公式，计算EEG脑电信号实际电压值VIN：
Figure BDA0002517563260000041
其中，
Figure BDA0002517563260000042
如图4所示，所述的分频、建立多层大脑复杂网络包括如下步骤：
1)获取原始EEG脑电信号
Figure BDA0002517563260000043
其中，N为原始EEG脑电信号通道数，包括Fp1,F3,F7,Fz,Fp2,F4,F8,C3,C4,Cz,P3,Pz,P4,O1,O2,T3,T4,T5,T6共19个通道。L为每个通道原始EEG脑电信号的数据长度，Ec,g表示原始EEG脑电信号中第c个电极采集的原始EEG脑电信号中第g个数值；
2)对原始EEG脑电信号进行数字带通滤波，并进行50Hz陷波滤波，去除工频干扰，得到处理后的EEG脑电信号
Figure BDA0002517563260000044
其中，Xc,g表示滤波后第c个电极对应的EEG脑电信号中第g个数值；所述的对原始EEG脑电信号进行数字带通滤波，是采用带通滤波器，所述带通滤波器的下限频率fd＝0.5Hz，上限频率fu＝70Hz；
3)将处理后的EEG脑电信号
Figure BDA0002517563260000045
分为6个频段，得到分频段的EEG脑电信号
Figure BDA0002517563260000046
f＝δ,θ,α,β,γ1,γ2；所述的频段包括：δ频段0.5-3Hz，θ频段4-7Hz，α频段8-12Hz，β频段13-30Hz，γ1频段31-50Hz以及γ2频段51-70Hz。所述的将处理后的EEG脑电信号
Figure BDA0002517563260000047
分为6个频段，得到分频段的EEG脑电信号
Figure BDA0002517563260000048
包括：
(3.1)对于多通道EEG脑电信号
Figure BDA0002517563260000049
进行Hilbert变换，得到EEG脑电信号解析形式
Figure BDA00025175632600000410
(3.2)按照如下公式，计算每个通道在频率ω处，时间t处的伪Wigner分布，得到多元伪Wigner分布矩阵：
Figure BDA00025175632600000411
其中，H表示矩阵的Hermitian转置，i是复数变量，τ是积分变量，WD(ω,t)表示每个通道在频率ω处，时间t处的伪Wigner分布；
(3.3)分别将每个通道计算得到的多元伪Wigner分布矩阵，按照每个频段对应的范围进行分割，并按频率维度取均值；得到分频后的EEG脑电信号
Figure BDA0002517563260000051
4)基于分频段的EEG脑电信号
Figure BDA0002517563260000052
在每个频段分别构建脑网络Af，得到基于不同频段的大脑多层复杂网络。
所述的在每个频段分别构建脑网络Af，得到基于不同频段的多层大脑复杂网络，包括：
(4.1)对任一频段下的分频后的EEG脑电信号
Figure BDA0002517563260000053
将脑电极帽通道作为网络节点，节点之间的连边及连边的权重由相位滞后值测度确定；：
Figure BDA0002517563260000054
其中，θ(t)是两个通道EEG脑电信号之间的瞬时相位差；
(4.2)设定网络的稀疏度为S，移除权重低于设定值的连边，得到脑网络Af，其中稀疏度S是指网络中存在的连边与可能存在的最大连边的比值，S＝0.75；，设定值等于脑网络Af中所有连边的权重的下四分位数；
(4.3)重复第(4.1)至第(4.2)步，得到基于不同频段的多层大脑复杂网络
Figure BDA0002517563260000055
多层大脑复杂网络的每一层对应于一个频段。
所述的分类识别系统3，是基于预先搭建并训练好的深度卷积神经网络模型，以脑电分析系统构建的多层大脑复杂网络为输入样本，最终能够对多层大脑复杂网络的所属类别进行有效辨识，所述的所属类别是正常人或重度抑郁症患者。
如图5所示，所述的深度卷积神经网络模型包括六个分支，每一分支对应于多层大脑复杂网络
Figure BDA0002517563260000056
的一层；每一分支包括有依次连接的：
1)一个数据输入层，输入数据为一个频段Af的多层大脑复杂网络；
2)三个第一二维卷积层，每一层卷积核数量为32，卷积核大小为5×5；第一二维卷积层采用PReLU作为激活函数
Figure BDA0002517563260000057
其中λ1为通过训练得到的参数，x为输入激活函数的数据；对于第l层的第k个输出特征图
Figure BDA0002517563260000058
按照公式
Figure BDA0002517563260000059
进行前向传播更新；其中
Figure BDA00025175632600000510
是上一层的中心位置为(i,j)的输入块，
Figure BDA00025175632600000511
和
Figure BDA00025175632600000512
是该层该卷积核的权重矩阵和偏置量，conv(·)是卷积运算；
3)一个第一批量归一化层，对数据进行批量归一化操作，加速模型训练过程，减轻过拟合程度；
4)一个第一最大池化层，池化核大小为2×2，对当前池化核覆盖下的输入数据的元素提取最大值作为输出；
5)一个第一Dropout层，以概率p1随机选择上一层的神经元，使该神经元不输出，p1＝0.22；
6)三个第二二维卷积层，每一层卷积核数量为64，卷积核大小为3×3，采用PReLU作为激活函数
Figure BDA0002517563260000061
其中λ2为通过训练得到的参数，对于第l层的第k个输出特征图
Figure BDA0002517563260000062
按照公式
Figure BDA0002517563260000063
进行前向传播更新；
7)一个第二批量归一化层，对数据进行批量归一化操作，加速模型训练过程，减轻过拟合程度；
8)一个第二最大池化层，池化核大小为2×2，对当前池化核覆盖下的输入数据的元素提取最大值作为输出；
9)一个第二Dropout层，以概率p2随机选择上一层的神经元，使该神经元不输出，p2＝0.18；
10)一个第一全连接层，包括320个神经元，采用PReLU作为激活函数
Figure BDA0002517563260000064
其中λ3为通过训练得到的参数，采用L2范数作为正则化项，L2范数设置为0.00015。
最后将所有分支的第一全连接层串联起来，形成一个串联层，该串联层与第二全连接层相连；
第二全连接层输出分类结果，并用2个神经元表示，与总类别数相对应；第二全连接层采用Softmax作为激活函数，Softmax函数本质上是归一化的指数函数，定义为
Figure BDA0002517563260000065
其中e为自然对数值，zh为第h个神经元的输出，式子中的分母充当了正则项的作用，使得
Figure BDA0002517563260000066
上述中，对于5)的第一Dropout层和9)的第二Dropout层，这两层仅在深度卷积神经网络训练过程中起作用，用于防止模型过拟合。训练完成后，当模型处于实际使用的测试阶段时，这两层不起作用。
深度卷积神经网络模型已按照上述过程进行了充分的训练，其各层各个神经元的权重值和偏置值已固定，无需另行训练。训练过程如下：
共使用64名被试，其中34名患有重度抑郁症(17名男性，17名女性，年龄均值为40.3岁，标准差为12.9岁)，30名为正常对照(21名男性，9名女性，年龄均值为38.3岁，标准差为15.6岁)。首先，使用便携式脑电采集设备，为每名被试采集一定时间的静息态EEG脑电信号数据，其采集通道数目、通道位置和参考电极均与上述中叙述相一致。其次，按照2s的时间范围，将静息态EEG脑电信号划分为若干小段，并为每一小段EEG脑电信号分别构建多层大脑复杂网络。随后，将构建好的多层大脑复杂网络输入到深度卷积神经网络模型中用于模型训练。最终得到的数据集中，每个频段均包括10710个大脑复杂网络样本，包括5130个正常样本以及5580个重度抑郁症样本。使用总数据集的90％作为训练集，10％作为测试集，并划分训练集的10％作为验证集，最终模型识别准确率约为97.2％。结果表明，本发明的基于脑机接口和深度学习的重度抑郁症辨识系统可以有效地对重度抑郁症患者进行初步辨识。
如图6所示，本发明的基于脑机接口和深度学习的重度抑郁症辨识系统的应用，包括：
(1)为被试者正确佩戴脑电极帽，保证脑电极与头皮完全接触；被试者要求保持静坐，眼部正视前方；在确保系统供电电路正常后，开启系统，通过便携式脑电采集设备采集EEG脑电信号并传送至脑电分析系统，完成采集过程；
(2)脑电分析系统自动对采集的EEG脑电信号进行分频、建立多层大脑复杂网络；
(3)分类识别系统基于预先训练好的深度卷积神经网络模型，根据多层大脑复杂网络进行分类识别，完成辨识过程，同时记录该次辨识过程中被试者属于正常或重度抑郁类别的可能性；
(4)重复100次采集过程和辨识过程，将所有记录的辨识过程中被试者属于正常或重度抑郁类别的可能性取平均值，给出被试者最终属于正常或重度抑郁类别的可能性，进而完成对重度抑郁症患者的辨识任务。
以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。

Claims (6)

1.一种基于脑机接口和深度学习的重度抑郁症辨识系统，包括，便携式脑电采集设备(1)、脑电分析系统(2)和分类识别系统(3)，其特征在于，所述便携式脑电采集设备(1)从被试者大脑采集EEG脑电信号，完成采集过程，脑电分析系统(2)对采集到的EEG脑电信号进行分析，建立多层大脑复杂网络，分类识别系统(3)在多层大脑复杂网络基础上，对大脑状态进行准确识别，完成辨识过程，经过指定次数的采集过程和辨识过程，系统将给出被试者属于正常人或重度抑郁症的可能性，进而完成对重度抑郁症患者的辨识任务；
所述的脑电分析系统(2)具有在线分析和离线分析两种模式；其中，在线分析模式使用USB通信，从便携式脑电采集设备实时读取EEG脑电信号，并通过转换算法，从A/D转换结果解析出EEG脑电信号实际电压值，随后根据实时采集的EEG脑电信号进行分频、建立多层大脑复杂网络；离线分析模式是根据EEG脑电信号直接进行分频、建立多层大脑复杂网络；所述的分频、建立多层大脑复杂网络包括如下步骤：
1)获取原始EEG脑电信号
Figure FDA0003450904730000011
c＝1,2,...,N；其中，N为原始EEG脑电信号通道数，L为每个通道原始EEG脑电信号的数据长度，Ec,g表示原始EEG脑电信号中第c个电极采集的原始EEG脑电信号中第g个数值；
2)对原始EEG脑电信号进行数字带通滤波，并进行50Hz陷波滤波，去除工频干扰，得到处理后的EEG脑电信号
Figure FDA0003450904730000012
其中，Xc,g表示滤波后第c个电极对应的EEG脑电信号中第g个数值；
3)将处理后的EEG脑电信号
Figure FDA0003450904730000013
分为6个频段，依次包括δ频段0.5-3Hz，θ频段4-7Hz，α频段8-12Hz，β频段13-30Hz，γ1频段31-50Hz以及γ2频段51-70Hz，得到分频段的EEG脑电信号
Figure FDA0003450904730000014
f＝δ,θ,α,β,γ1,γ2；所述的将处理后的EEG脑电信号
Figure FDA0003450904730000015
分为6个频段，得到分频段的EEG脑电信号
Figure FDA0003450904730000016
包括：
(3.1)对于多通道EEG脑电信号
Figure FDA0003450904730000017
进行Hilbert变换，得到EEG脑电信号解析形式
Figure FDA0003450904730000018
(3.2)按照如下公式，计算每个通道在频率ω处，时间t处的伪Wigner分布，得到多元伪Wigner分布矩阵：
Figure FDA0003450904730000019
其中，H表示矩阵的Hermitian转置，i是复数变量，τ是积分变量，WD(ω,t)表示每个通道在频率ω处，时间t处的伪Wigner分布；
(3.3)分别将每个通道计算得到的多元伪Wigner分布矩阵，按照每个频段对应的范围进行分割，并按频率维度取均值；得到分频后的EEG脑电信号
Figure FDA0003450904730000021
4)基于分频段的EEG脑电信号
Figure FDA0003450904730000022
在每个频段分别构建脑网络Af，得到基于不同频段的大脑多层复杂网络。
2.根据权利要求1所述的基于脑机接口和深度学习的重度抑郁症辨识系统，其特征在于，所述的便携式脑电采集设备(1)，包括有：依次连接的用于采集EEG脑电信号的脑电极帽及其转接线(11)、用于EEG脑电信号放大和转换的生物电信号采集模块(12)、用于控制EEG脑电信号的采集并通过USB芯片(14)和USB通信接口(15)向脑电分析系统(2)输出EEG脑电信号的FPGA处理器(13)，以及分别连接生物电信号采集模块(12)、FPGA处理器(13)和USB芯片(14)的系统供电电路(17)，所述系统供电电路(17)是通过USB供电接口(16)连接外部电源；其中，
所述的脑电极帽及其转接线(11)中的脑电极帽采集不同脑区的EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块(12)相连接，用于EEG脑电信号的采集和传输；脑电极帽获取被试者对应于脑电极帽的Fp1,F3,F7,Fz,Fp2,F4,F8,C3,C4,Cz,P3,Pz,P4,O1,O2,T3,T4,T5,T6共19个通道的EEG脑电信号；脑电极帽的电极分布符合10～20国际标准导联；
所述的生物电信号采集模块(12)是由数片集成了用于接收脑电极帽采集的EEG脑电信号的高共模抑制比模拟输入模块、用于进行EEG脑电信号放大的低噪声可编程增益放大器和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器的生物电信号采集芯片组成；
所述的FPGA处理器(13)用于调整生物电信号采集模块的采集模式与参数和控制USB芯片(14)输出EEG脑电信号；
所述的USB芯片(14)工作在异步FIFO模式，最高传输速率8MB/秒，在FPGA处理器(13)的控制下周期性地将采集到的EEG脑电信号以数据包的形式通过USB通信接口(15)向脑电分析系统(2)输出EEG脑电信号；
所述的系统供电电路(17)，输入电压为5V，由USB供电接口(16)进行供电，通过电压转换模块提供系统不同芯片的工作电压。
3.根据权利要求1所述的基于脑机接口和深度学习的重度抑郁症辨识系统，其特征在于，所述的通过转换算法，从A/D转换结果解析出EEG脑电信号实际电压值，包括如下步骤：
1)确定生物电信号采集模块(12)的参考电压VREF以及可编程增益放大器的放大倍数GPGA；
2)将每个通道的原始的十六进制A/D转换结果V16，转化为十进制A/D转换结果V10；
3)按照下列公式，计算EEG脑电信号实际电压值VIN：
Figure FDA0003450904730000031
其中，
Figure FDA0003450904730000032
4.根据权利要求1所述的基于脑机接口和深度学习的重度抑郁症辨识系统，其特征在于，步骤2)所述的对原始EEG脑电信号进行数字带通滤波，是采用带通滤波器，所述带通滤波器的下限频率fd＝0.5Hz，上限频率fu＝70Hz。
5.根据权利要求1所述的基于脑机接口和深度学习的重度抑郁症辨识系统，其特征在于，步骤4)所述的在每个频段分别构建脑网络Af，得到基于不同频段的多层大脑复杂网络，包括：
(4.1)对任一频段下的分频后的EEG脑电信号
Figure FDA0003450904730000033
将脑电极帽通道作为网络节点，节点之间的连边及连边的权重由相位滞后值测度确定：
Figure FDA0003450904730000034
其中，θ(t)是两个通道EEG脑电信号之间的瞬时相位差；
(4.2)设定网络的稀疏度为S，移除权重低于设定值的连边，得到脑网络Af，其中稀疏度S是指网络中存在的连边与可能存在的最大连边的比值，S＝0.75，设定值等于脑网络Af中所有连边的权重的下四分位数；
(4.3)重复第(4.1)至第(4.2)步，得到基于不同频段的多层大脑复杂网络
Figure FDA0003450904730000035
多层大脑复杂网络的每一层对应于一个频段。
6.根据权利要求1所述的基于脑机接口和深度学习的重度抑郁症辨识系统，其特征在于，所述的分类识别系统(3)，是基于预先搭建并训练好的深度卷积神经网络模型，以脑电分析系统构建的多层大脑复杂网络为输入样本，最终能够对多层大脑复杂网络的所属类别进行有效辨识，所述的所属类别是正常人或重度抑郁症患者； 所述的深度卷积神经网络模型包括六个分支，每一分支对应于多层大脑复杂网络
Figure FDA0003450904730000036
的一层；每一分支包括有依次连接的：
1)一个数据输入层，输入数据为一个频段Af的多层大脑复杂网络；
2)三个第一二维卷积层，每一层卷积核数量为32，卷积核大小为5×5；第一二维卷积层采用PReLU作为激活函数
Figure FDA0003450904730000037
其中λ1为通过训练得到的参数，x为输入激活函数的数据；对于第l层的第k个输出特征图
Figure FDA0003450904730000038
按照公式
Figure FDA0003450904730000039
进行前向传播更新；其中
Figure FDA00034509047300000310
是上一层的中心位置为(i,j)的输入块，
Figure FDA0003450904730000041
和
Figure FDA0003450904730000042
是该层该卷积核的权重矩阵和偏置量，conv(·)是卷积运算；
3)一个第一批量归一化层，对数据进行批量归一化操作，加速模型训练过程，减轻过拟合程度；
4)一个第一最大池化层，池化核大小为2×2，对当前池化核覆盖下的输入数据的元素提取最大值作为输出；
5)一个第一Dropout层，以概率p1随机选择上一层的神经元，使该神经元不输出，p1＝0.22；
6)三个第二二维卷积层，每一层卷积核数量为64，卷积核大小为3×3，采用PReLU作为激活函数
Figure FDA0003450904730000043
其中λ2为通过训练得到的参数，对于第l层的第k个输出特征图
Figure FDA0003450904730000044
按照公式
Figure FDA0003450904730000045
进行前向传播更新；
7)一个第二批量归一化层，对数据进行批量归一化操作，加速模型训练过程，减轻过拟合程度；
8)一个第二最大池化层，池化核大小为2×2，对当前池化核覆盖下的输入数据的元素提取最大值作为输出；
9)一个第二Dropout层，以概率p2随机选择上一层的神经元，使该神经元不输出，p2＝0.18；
10)一个第一全连接层，包括320个神经元，采用PReLU作为激活函数
Figure FDA0003450904730000046
其中λ3为通过训练得到的参数，采用L2范数作为正则化项，L2范数设置为0.00015；
最后将所有分支的第一全连接层串联起来，形成一个串联层，该串联层与第二全连接层相连；
第二全连接层输出分类结果，并用2个神经元表示，与总类别数相对应；第二全连接层采用Softmax作为激活函数，Softmax函数本质上是归一化的指数函数，定义为
Figure FDA0003450904730000047
其中e为自然对数值，zh为第h个神经元的输出，式子中的分母充当了正则项的作用，使得
Figure FDA0003450904730000048
CN202010481476.7A 2020-05-31 2020-05-31 基于脑机接口和深度学习的重度抑郁症辨识系统及应用 Active CN111513735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481476.7A CN111513735B (zh) 2020-05-31 2020-05-31 基于脑机接口和深度学习的重度抑郁症辨识系统及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481476.7A CN111513735B (zh) 2020-05-31 2020-05-31 基于脑机接口和深度学习的重度抑郁症辨识系统及应用

Publications (2)

Publication Number Publication Date
CN111513735A CN111513735A (zh) 2020-08-11
CN111513735B true CN111513735B (zh) 2022-05-27

Family

ID=71911526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481476.7A Active CN111513735B (zh) 2020-05-31 2020-05-31 基于脑机接口和深度学习的重度抑郁症辨识系统及应用

Country Status (1)

Country Link
CN (1) CN111513735B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112057089A (zh) * 2020-08-31 2020-12-11 五邑大学 情绪识别方法、装置及存储介质
CN112263253B (zh) * 2020-11-18 2021-09-17 山东大学 基于深度学习与心电信号的抑郁症识别系统、介质及设备
CN112890830A (zh) * 2021-03-05 2021-06-04 中山大学 一种基于睡眠脑网络的抑郁症患者数据分类方法及装置
CN113057657B (zh) * 2021-03-22 2022-09-13 华南理工大学 基于多尺度连通性特征和元迁移学习的脑电情绪分类方法
CN113397565A (zh) * 2021-07-22 2021-09-17 北京脑陆科技有限公司 基于脑电信号的抑郁识别方法、装置、终端及介质
CN114504730A (zh) * 2022-01-30 2022-05-17 天津大学 基于深度学习的便携式脑控手部电刺激康复系统
CN114305423B (zh) * 2022-02-08 2023-07-07 浙江浙大西投脑机智能科技有限公司 一种基于神经元锋电位信号的抑郁状态指征确定装置
CN114652331A (zh) * 2022-03-08 2022-06-24 山东大学 一种基于混合现实的精确抓握肌间协调性测试评估系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8244341B2 (en) * 2007-08-23 2012-08-14 Tallinn University Of Technology Method and device for determining depressive disorders by measuring bioelectromagnetic signals of the brain
CN106503799B (zh) * 2016-10-11 2018-11-30 天津大学 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN108446020B (zh) * 2018-02-28 2021-01-08 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN108433722A (zh) * 2018-02-28 2018-08-24 天津大学 便携式脑电采集设备及其在ssvep和运动想象中的应用
CN110859614A (zh) * 2019-11-22 2020-03-06 东南大学 基于加权相位滞后指数的数学天分青少年脑网络分析方法

Also Published As

Publication number Publication date
CN111513735A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111513735B (zh) 基于脑机接口和深度学习的重度抑郁症辨识系统及应用
CN111616721B (zh) 基于深度学习和脑机接口的情绪识别系统及应用
CN111616682B (zh) 基于便携式脑电采集设备的癫痫发作预警系统及应用
CN110969108B (zh) 一种基于自主运动想象脑电的肢体动作识别方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN111616681B (zh) 基于便携式脑电采集设备和深度学习的麻醉状态监测系统
CN107788976A (zh) 基于振幅整合脑电图的睡眠监测系统
CN111839506B (zh) 脑力负荷检测方法及装置
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
CN112788200B (zh) 频谱信息的确定方法及装置、存储介质、电子装置
CN111584029A (zh) 基于判别式对抗网络的脑电自适应模型及在康复中的应用
CN111513991B (zh) 基于人工智能技术的主动式手部全指康复设备
CN113855053A (zh) 基于肌电的佩戴式肌肉阈值监测系统
CN111493836B (zh) 基于脑机接口和深度学习的术后急性疼痛预测系统及应用
CN113871028A (zh) 一种基于肌电智能穿戴的交互式康复系统
CN114504330A (zh) 一种基于便携式脑电采集头环的疲劳状态监测系统
CN112057090B (zh) 基于体表极低频电势差特征的情绪判断穿戴式设备和方法
CN111543983B (zh) 一种基于神经网络的脑电信号通道选择方法
CN115414050A (zh) 一种实现情绪识别的eeg脑网络最大团检测方法及系统
CN114504333B (zh) 一种基于肌电的穿戴式前庭监测系统及应用
CN114504730A (zh) 基于深度学习的便携式脑控手部电刺激康复系统
CN114145744A (zh) 基于跨设备前额脑电情绪识别的方法和系统
Raj et al. Analysis of Brain Wave Due to Stimulus Using EEG
Ramos et al. Tuning methodology for a hybrid BCI
CN113070875A (zh) 一种基于脑波识别的机械手控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant