CN114041795A - 基于多模态生理信息与深度学习的情绪识别方法及系统 - Google Patents

基于多模态生理信息与深度学习的情绪识别方法及系统 Download PDF

Info

Publication number
CN114041795A
CN114041795A CN202111465676.4A CN202111465676A CN114041795A CN 114041795 A CN114041795 A CN 114041795A CN 202111465676 A CN202111465676 A CN 202111465676A CN 114041795 A CN114041795 A CN 114041795A
Authority
CN
China
Prior art keywords
emotion recognition
neural network
network model
deep neural
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111465676.4A
Other languages
English (en)
Other versions
CN114041795B (zh
Inventor
刘涛
彭雨丹
程健
刘心怡
王煜文
韩明秀
曹星星
牛海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111465676.4A priority Critical patent/CN114041795B/zh
Publication of CN114041795A publication Critical patent/CN114041795A/zh
Application granted granted Critical
Publication of CN114041795B publication Critical patent/CN114041795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Social Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hospice & Palliative Care (AREA)
  • Cardiology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

本发明公开了一种基于多模态生理信息与深度学习的情绪识别方法及系统。该方法包括：采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集；基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型；通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型；通过所述情绪识别模型进行情绪识别。本发明同步采集脑电、心电信号，以及预采集的功能磁共振影像数据，通过深度学习方法建立生理信息特征与当前情绪之间关系的高维模型，从而实现仅通过采集脑电和心电信号，就可以对待测人员进行情绪识别。

Description

基于多模态生理信息与深度学习的情绪识别方法及系统
技术领域
本发明涉及情绪识别技术领域，特别是涉及一种基于多模态生理信息与深度学习的情绪识别方法及系统。
背景技术
情绪是指由不同感觉、思想和行为共同产生的心理及生理状态，是对多种主观认知经验的通称。目前，情绪识别常用的信息包括对面部表情、行为姿态、语音语调以及心电、脑电、肌电等生理信号。其中，面部表情、行为姿态、语音语调是被试者身体行为或语音语调的外在表现，表达直接，信号采集较为简单，但情绪识别的准确性、敏感性容易受到被试者的主观伪装的影响，且易受主观意识和环境的干扰。
当前基于脑电信号对情绪识别的方法，主要是对脑电信号进行手动的特征提取，如频带功率、alpha频段的不对称性、Higuchi's–Katz's分形维数等，然后采用支持向量机、概率神经网络等器学习分类算法进行分类。存在缺点：(1)一些特征，如分形维数，受噪声影响大，对于数据质量的依赖性强，无法构建鲁棒的情绪识别模型；(2)手动提取特征的方法主观性较大，无法囊括所有潜在的生物标记物，并且耗时耗力。
发明内容
针对上述问题，本发明的目的是提供一种基于多模态生理信息与深度学习的情绪识别方法及系统。
为实现上述目的，本发明提供了如下方案：
一种基于多模态生理信息与深度学习的情绪识别方法，包括：
采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集；
基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型；
通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型；
通过所述情绪识别模型进行情绪识别。
可选地，在通过所述训练集对所述深度神经网络模型进行训练之前，还包括：
对采集到的脑电信号和心电信号进行预处理；
可选地，所述预处理包括：
对所述脑电信号和所述心电信号进行下采样、波去噪处理和数据分割；
对所述脑电信号进行源重建。
可选地，通过所述训练集对所述深度神经网络模型进行训练，包括：
基于独立被试的五折交叉验证法对深度神经网络模型进行验证，通过反向传播及梯度下降算法对深度神经网络模型模型进行训练学习。
本发明还提供了一种基于多模态生理信息与深度学习的情绪识别系统，包括：
采集模块，用于采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集；
模型构建模块，用于基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型；
训练模块，用于通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型；
情绪识别模块，用于通过所述情绪识别模型进行情绪识别。
可选地，还包括：预处理模块，用于对采集到的脑电信号和心电信号进行预处理；
可选地，所述预处理模块包括：
第一处理单元，用于对所述脑电信号和所述心电信号进行下采样、波去噪处理和数据分割；
第二处理单元，用于对所述脑电信号进行源重建。
可选地，通过所述训练集对所述深度神经网络模型进行训练，包括：
基于独立被试的五折交叉验证法对深度神经网络模型进行验证，通过反向传播及梯度下降算法对深度神经网络模型模型进行训练学习。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明同步采集脑电、心电信号，以及预采集的功能磁共振影像数据，通过深度学习方法建立生理信息特征与当前情绪之间关系的高维模型，从而实现仅通过采集脑电和心电信号，就可以对待测人员进行情绪识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于多模态生理信息与深度学习的情绪识别方法的流程图；
图2为本发明实施例基于多模态生理信息与深度学习的情绪识别方法的原理；
图3为本发明实施例脑电特征提取单元的网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
心电图是一种非侵入性的反映心动周期所产生的电活动变化的技术，常用于提取心动周期，进行心率变异性分析。其中心率变异性指连续心搏间瞬时心率的微小变化，可以反应副交感神经活动在内的自主神经功能。而副交感神经活动与情绪又存在潜在的关联。有研究指出，心率变异性参数值的变化与情绪程度的变化相关，同时也有研究表示，在结合基于大脑和其他生物学评估的背景下，值得考虑作为一项指标进行情绪识别。
脑电信号中包含着丰富的空间和时间信息，使用深度学习技术来探索脑电不同方面的作用是很自然的。而现有的采用脑电信号序列基于深度神经网络实现情绪识别的方法，往往只选择了极少的通道数，且无法利用脑电信号电极通道隐含的空间信息。
本发明基于脑电信号、心电信号两种生理信息以及预采集的功能磁共振影像数据，通过深度学习方法建立生理信息特征与当前情绪程度之间关系的高维模型，从而仅通过采集脑电和心电信号，就能够进行情绪识别，
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1-2所示，本发明提供的基于多模态生理信息与深度学习的情绪识别方法，包括以下步骤：
步骤101：采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集。
在一个具体实施例中，同步采集被测试者在静息状态下的脑电信号和心电信号，被测试者闭眼休息，每人采集8分钟数据，共记录63个通道的脑电信号及1个通道的心电信号，采样率均为5000Hz，在线参考为FCz脑电电极点，脑电电极位置符合国际10-10标准导联系统。
对采集的脑电信号和心电信号进行预处理。
脑电信号预处理：对脑电信号进行全局平均重参考，下采样至250Hz，而后使用4阶IIR滤波器进行0.5-32Hz带通滤波处理，使用大小为4s的滑动窗口无重叠地将信号分割为n个样本，每个样本维度为[1000，63]。为结合预采集的功能磁共振影像得到的先验知识，需要对脑电信号进行源重建。具体地，使用开源软件BrianStorm，以MNI空间colin27为标准模板，使用三层对称边界元(boundary element method)算法计算神经电场正演模型；并使用最小范数估计方法，结合动态统计参数映射，对皮层源进行反演建模，将脑电信号投射到源空间；最终，源活动被平均到Desikan脑图谱中特定的68个皮质区域。脑电源重建的结果是68个皮层区域的电流密度时间序列，样本维度为[1000,68]。为了解决幅度缩放问题并消除偏移效应，对所有样本进行z-score标准化。
心电信号预处理：对心电信号同样下采样至250Hz，保持两个模态信号的同步性；而后使用4阶IIR滤波器进行60Hz低通滤波及50Hz带陷滤波处理；使用大小为4s的滑动窗口无重叠地将信号分割为n个样本，每个样本维度为[1000,1]。为了解决幅度缩放问题并消除偏移效应，对所有样本进行z-score标准化。
预处理步骤一方面可以有效去除脑电和心电信号中的伪迹，如肌电以及工频干扰等，有助于获得较纯净的信号，提高深度学习技术识别情绪的准确率，另一方面减小数据量，加快了处理分析的速度，具有高效性与易用性；此外，对脑电信号进行源重建，是为了与功能磁共振影像构建映射关系，更好地利用预采集的功能磁共振影像得到的先验知识。
步骤102：基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型。
本发明借助深度学习技术的特征提取能力，使用Keras深度学习框架并基于U-Net、LSTM思想，结合预采集的功能磁共振影像得到的先验知识，构建深度神经网络模型DM-Net。
该模型能高效地学习多模态生理信息中潜在特征及其与情绪之间的相关性，以此对待测试者进行情绪识别。
深度神经网络模型包含脑电特征提取单元，心电特征提取单元，特征融合与决策单元。
首先，对于68个皮层区域的脑电信号输入，使用U-Net神经网络与长短时记忆网络(LSTM)构建脑电特征提取单元，如图3所示。对脑电数据进行逐层特征学习和映射，得到的输出向量，其中，U-Net神经网络添加注意力门控机制以结合预采集的功能磁共振影像得到的先验知识；同时，对于单通道的心电信号输入，使用LSTM构建心电特征提取单元，对心电数据进行逐层特征学习和映射，得到的输出向量；最后，将脑电信号输入与心电信号输入得到的两个输出向量进行拼接，送入特征融合与决策单元，输出分类结果。
U-Net架构提出的初衷时为了解决医学图像分割的问题，是一种卷积自编码器，其优势是获取上下文的特征信息和位置信息。具体地，经典的U-Net结构通过两个3x3的卷积层加上一个2x2的最大池化层组成一个下采样块，由上采样的卷积层加上特征拼接，再接着两个3x3的卷积层组成一个上采样块；多个下采样块组成下行路径，在此期间，空间信息减少并提取不同尺度的信息；多个下采样块构成上行路径，在此期间通过跳跃连接组合来自来自不同下采样块的空间信息和高分辨率特征信息。
本发明结合实际数据进行训练，对U-Net的参数和结构进行了调整。此外，在跳跃连接步骤中，添加基于先验知识的注意力门控机制进行特征信息合并，对不同的通道给予不同的权重。具体地，注意力门控机制根据以下公式计算特定皮层区域的注意力权重αi，αi构成注意力分布矩阵。下行路径的特征图输入与注意力分布矩阵进行点乘，并与上行路径中经过上采样卷积层的特征图进行拼接，完成注意力门控的跳跃连接。αi的具体计算公式如下：
Figure BDA0003391334170000061
其中N为皮层区域的数目，在本发明中取值为68；ti为先验知识，即对预采集的功能磁共振影像进行统计分析得到的中不同皮层区域在在不同情绪标签组间的差异值。
具体地，得到ti的过程如下：
对被试静息态fMRI数据首先进行预处理，以Desikan脑图谱对预处理后的fMRI进行脑区划分，提取每个脑区的特征信号(如：第一特征向量)，计算可反映脑区功能的统计量(如：度中心性)，在不同情绪标签组之间进行统计分析，得到表示脑区功能差异的统计值ti。具体地：
基于DPABI，首先移除前十幅图像，并将fMRI层间校正至中间层，刚体头动校正至首个slice。对所有图像手动reorient，粗略调整每个被试图像前联合的位置和偏转角等信息。然后，使用EPI模板或T1联合方法将fMRI标准化，并reslice以匹配灰质概率图。对图像进行高斯平滑，回归掉包括头动参数、白质、脑脊液信号等滋扰变量，时域带通滤波至0.01-0.1Hz。排除头动过大或质量不佳的影像。
以Desikan脑图谱对fMRI数据进行68个脑区划分，以第一特征向量提取每个脑区的BOLD序列，计算所有脑区间的Pearson相关系数，并取阈值r>0.25。计算节点中心度Di，公式如下：
Di＝∑rij，j＝1...68，i≠j
最后，将每个被试的结果标准化至z得分，以使被试间结果具有可比性。
Figure BDA0003391334170000071
其中，FCS为归一化后的中心度，代表脑区功能连接强度。u为所有节点的度强度均值，δ为标准差。
对每个脑区i，将得到的功能连接在不同情绪标签组组别之间进行组水平配对样本T检验，得到代表脑区功能差异的T值记为ti。
LSTM是一种特殊的递归神经网络，能够学习长期依赖关系，不需要付出很大代价就可以记住很早时刻的信息。LSTM的关键思想是细胞状态，当前的LSTM接收来自上一个时刻的细胞状态Ct-1，并与当前LSTM接收的信号输入xt共同作用产生当前LSTM的细胞状态Ct，Ct则保存当前LSTM的状态信息并传递到下一时刻的LSTM中。其应用领域包括文本生成、机器翻译、语音识别等，最近在有时间序列关系的医学生理信号中也显示出一定的优势。本发明将在脑电特征提取单元中将LSTM与注意力门控U-Net进行结合；同时，对于单通道的心电，考虑到没有空间信息，心电特征提取单元仅基于LSTM网络构建。
如图3所示，向脑电特征提取单元输入样本维度为[1000，68]的脑电信号，包含1000个样本点(采样率250Hz，即4s)，68个皮层区域的数据。首先送入使用注意力门控的U-Net神经网络中，该网络由若干个二维卷积池化块构成，按照架构可分为两个部分：下行路径由3个阶段组成，每个阶段沿时间轴进行下采样，使用内核大小为(2，1)的最大池化层执行；上行路径同样分3个阶段组成，每个阶段沿时间轴进行上采样，使用去卷积层以及来自下行路径的注意力门控跳跃连接进行特征拼接；在输入、下采样、上采样执行之后都接有一个二维卷积块，由一个沿时间轴的卷积层、一个ELU激活以及一个批标准化层组成，卷积块“自上而下”的卷积核分别为(15，1)、(7，1)、(3，1)、(3，1)，特征通道数量分别为4、8、16、32，所有卷积块都通过补零来保持通道维数；此外，输出前增加一个二维卷积块，由卷积核为(15，1)、特征通道数量为1的卷积层，一个ELU激活以及一个批标准化层组成。最终U-Net输出特征向量维度为[1000，68，1]，对第三维度挤压后以[1000，68]维度的向量送入LSTM网络中。脑电特征提取单元设置一层LSTM，隐藏单元32个。为防止过拟合，在LSTM层后添加dropout层，丢弃率设置为0.5。最终脑电特征单元输出的特征维度为[1000，32]。
本发明中心电特征提取单元具体实现如下：首先，输入样本维度为[1000，1]的心电信号，包含1000个样本点(采样率250Hz，即4s)的心电数据；将输入送入LSTM网络，该网络包含两层LSTM，隐藏单元分别为16、8，进行心电特征的时序特征提取，为防止过拟合，在每个LSTM层后添加dropout层，丢弃率设置为0.5，最终输出的特征维度为[1000，8]。
本发明中特征融合与决策单元具体实现如下：首先，输入样本维度分别为[1000，32]和[1000，8]的特征向量，将二者拼接为[1000，40]维度的特征向量，沿时间轴使用一维全局平均池化层，得到[1，40]的特征向量，再经过一层全连接层的作用，利用softmax激活函数得到模型的二分类输出。
步骤103：通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型。
使用基于独立被试的五折交叉验证法对DM-Net进行验证，通过反向传播及梯度下降算法对DM-Net模型进行训练学习，选取预测精度高，泛化性能强的模型参数进行保存。
模型训练阶段使用Adam作为优化器，学习率选择0.0003，损失函数选择交叉熵损失函数，输入批大小设定为32。对于dropout层，仅在DM-Net模型训练过程中起作用，用于防止模型过拟合。训练完成后，当模型输入待测人员的多模态生理信息进行测试时，三个dropout层并不起作用。
步骤104：通过所述情绪识别模型进行情绪识别。
本发明具体以下优点：
1、本发明使用深度学习的方法，可以通过多模态生理信息对待测人员的情绪进行识别；
2、本发明提出的方法完全基于生理数据，是完全客观的，避免了被试的主观意识和环境干扰等造成的评估差异，提出了一种客观、有效的识别情绪的方法；
3、本发明使用深度学习进行自动的特征提取与分类，避免了手动提取特征工程的局限性和人力损耗，同时考虑了多通道脑电信号的时域、空间信息特征。
4、本发利用功能磁共振影像的统计学信息作为脑电特征提取与模型训练的先验知识，引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，显著提高了本方法的效率与准确性。
5、本发明考虑到心率变异性作为生物标志物对情绪识别的潜在可能性，新颖地提出了结合脑电、心电进行情绪识别的方法。
本发明还提供了一种基于多模态生理信息与深度学习的情绪识别系统，包括：
采集模块，用于采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集；
模型构建模块，用于基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型；
训练模块，用于通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型；
情绪识别模块，用于通过所述情绪识别模型进行情绪识别。
其中，还包括：预处理模块，用于对采集到的脑电信号和心电信号进行预处理；
其中，所述预处理模块包括：
第一处理单元，用于对所述脑电信号和所述心电信号进行下采样、波去噪处理和数据分割；
第二处理单元，用于对所述脑电信号进行源重建
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于多模态生理信息与深度学习的情绪识别方法，其特征在于，包括：
采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集；
基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型；
通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型；
通过所述情绪识别模型进行情绪识别。
2.根据权利要求1所述的基于多模态生理信息与深度学习的情绪识别方法，其特征在于，在通过所述训练集对所述深度神经网络模型进行训练之前，还包括：
对采集到的脑电信号和心电信号进行预处理。
3.根据权利要求2所述的基于多模态生理信息与深度学习的情绪识别方法，其特征在于，所述预处理包括：
对所述脑电信号和所述心电信号进行下采样、波去噪处理和数据分割；
对所述脑电信号进行源重建。
4.根据权利要求1所述的基于多模态生理信息与深度学习的情绪识别方法，其特征在于，通过所述训练集对所述深度神经网络模型进行训练，包括：
基于独立被试的五折交叉验证法对深度神经网络模型进行验证，通过反向传播及梯度下降算法对深度神经网络模型模型进行训练学习。
5.一种基于多模态生理信息与深度学习的情绪识别系统，其特征在于，包括：
采集模块，用于采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集；
模型构建模块，用于基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型；
训练模块，用于通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型；
情绪识别模块，用于通过所述情绪识别模型进行情绪识别。
6.根据权利要求5所述的基于多模态生理信息与深度学习的情绪识别系统，其特征在于，还包括：
预处理模块，用于对采集到的脑电信号和心电信号进行预处理。
7.根据权利要求6所述的基于多模态生理信息与深度学习的情绪识别系统，其特征在于，所述预处理模块包括：
第一处理单元，用于对所述脑电信号和所述心电信号进行下采样、波去噪处理和数据分割；
第二处理单元，用于对所述脑电信号进行源重建。
8.根据权利要求5所述的基于多模态生理信息与深度学习的情绪识别系统，其特征在于，通过所述训练集对所述深度神经网络模型进行训练，包括：
基于独立被试的五折交叉验证法对深度神经网络模型进行验证，通过反向传播及梯度下降算法对深度神经网络模型模型进行训练学习。
CN202111465676.4A 2021-12-03 2021-12-03 基于多模态生理信息与深度学习的情绪识别方法及系统 Active CN114041795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111465676.4A CN114041795B (zh) 2021-12-03 2021-12-03 基于多模态生理信息与深度学习的情绪识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111465676.4A CN114041795B (zh) 2021-12-03 2021-12-03 基于多模态生理信息与深度学习的情绪识别方法及系统

Publications (2)

Publication Number Publication Date
CN114041795A true CN114041795A (zh) 2022-02-15
CN114041795B CN114041795B (zh) 2023-06-30

Family

ID=80212277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111465676.4A Active CN114041795B (zh) 2021-12-03 2021-12-03 基于多模态生理信息与深度学习的情绪识别方法及系统

Country Status (1)

Country Link
CN (1) CN114041795B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114366107A (zh) * 2022-02-23 2022-04-19 天津理工大学 一种基于人脸表情与脑电信号的跨媒体数据情感识别方法
CN114818786A (zh) * 2022-04-06 2022-07-29 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116421152A (zh) * 2023-06-13 2023-07-14 长春理工大学 一种睡眠分期结果确定方法、装置、设备及介质
CN117158970A (zh) * 2023-09-22 2023-12-05 广东工业大学 一种情绪识别方法、系统、介质及计算机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1426871A1 (en) * 2002-11-27 2004-06-09 Communications Research Laboratory, Independent Administrative Institution Method and apparatus for analyzing brain functions
CN105395194A (zh) * 2015-12-14 2016-03-16 中国人民解放军信息工程大学 一种功能磁共振成像辅助的脑电通道选择方法
JP2017074356A (ja) * 2015-10-16 2017-04-20 国立大学法人広島大学 感性評価方法
US20180103887A1 (en) * 2016-08-10 2018-04-19 Hiroshima University Method for sampling cerebral insular cortex activity
JP2018187044A (ja) * 2017-05-02 2018-11-29 国立大学法人東京工業大学 感情推定装置、感情推定方法およびコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1426871A1 (en) * 2002-11-27 2004-06-09 Communications Research Laboratory, Independent Administrative Institution Method and apparatus for analyzing brain functions
JP2017074356A (ja) * 2015-10-16 2017-04-20 国立大学法人広島大学 感性評価方法
CN105395194A (zh) * 2015-12-14 2016-03-16 中国人民解放军信息工程大学 一种功能磁共振成像辅助的脑电通道选择方法
US20180103887A1 (en) * 2016-08-10 2018-04-19 Hiroshima University Method for sampling cerebral insular cortex activity
JP2018187044A (ja) * 2017-05-02 2018-11-29 国立大学法人東京工業大学 感情推定装置、感情推定方法およびコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵文瑞 等: "同步脑电-功能磁共振信号处理进展", 信号处理, vol. 34, no. 8, pages 930 - 942 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114366107A (zh) * 2022-02-23 2022-04-19 天津理工大学 一种基于人脸表情与脑电信号的跨媒体数据情感识别方法
CN114818786A (zh) * 2022-04-06 2022-07-29 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
CN114818786B (zh) * 2022-04-06 2024-03-01 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116421152A (zh) * 2023-06-13 2023-07-14 长春理工大学 一种睡眠分期结果确定方法、装置、设备及介质
CN116421152B (zh) * 2023-06-13 2023-08-22 长春理工大学 一种睡眠分期结果确定方法、装置、设备及介质
CN117158970A (zh) * 2023-09-22 2023-12-05 广东工业大学 一种情绪识别方法、系统、介质及计算机
CN117158970B (zh) * 2023-09-22 2024-04-09 广东工业大学 一种情绪识别方法、系统、介质及计算机

Also Published As

Publication number Publication date
CN114041795B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN114041795B (zh) 基于多模态生理信息与深度学习的情绪识别方法及系统
CN110188836B (zh) 一种基于变分自编码器的脑功能网络分类方法
CN112120694B (zh) 一种基于神经网络的运动想象脑电信号分类方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN109522894B (zh) 一种探测fMRI脑网络动态协变的方法
CN110598793B (zh) 一种大脑功能网络特征分类方法
Dey et al. Healthy and unhealthy rat hippocampus cells classification: A neural based automated system for Alzheimer disease classification
CN111461176A (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111832416A (zh) 一种基于增强卷积神经网络的运动想象脑电信号识别方法
CN113052113A (zh) 一种基于紧凑型卷积神经网络的抑郁症识别方法及系统
CN111259895B (zh) 一种基于面部血流分布的情感分类方法及系统
CN112043260B (zh) 基于局部模式变换的心电图分类方法
CN115414051A (zh) 一种脑电信号自适应窗口的情绪分类识别方法
CN113378650B (zh) 一种基于脑电源成像和正则化共空间模式的情绪识别方法
CN117574059A (zh) 高分辨率脑电信号深度神经网络压缩方法及脑机接口系统
CN116898455B (zh) 一种基于深度学习模型的睡眠脑电信号检测方法及系统
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
CN117150346A (zh) 基于eeg的运动想象脑电分类方法、装置、设备及介质
Havugimana et al. Predicting cognitive load using parameter-optimized cnn from spatial-spectral representation of eeg recordings
CN111931578A (zh) 一种基于最小生成树和区域双层网络的脑电识别方法
Tang et al. Eye movement prediction based on adaptive BP neural network
CN116596046A (zh) 一种利用脑电信号和视觉特征进行图像重构的方法
CN113080847B (zh) 基于图的双向长短期记忆模型诊断轻度认知障碍的装置
CN114742107A (zh) 信息服务中的感知信号的识别方法及相关设备
CN113887365A (zh) 一种基于多模态数据融合的特殊人员情感识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant