CN115644870B - 基于TSM-ResNet模型的脑电信号情感识别方法 - Google Patents

基于TSM-ResNet模型的脑电信号情感识别方法 Download PDF

Info

Publication number
CN115644870B
CN115644870B CN202211289985.5A CN202211289985A CN115644870B CN 115644870 B CN115644870 B CN 115644870B CN 202211289985 A CN202211289985 A CN 202211289985A CN 115644870 B CN115644870 B CN 115644870B
Authority
CN
China
Prior art keywords
tsm
electroencephalogram
model
time
resnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211289985.5A
Other languages
English (en)
Other versions
CN115644870A (zh
Inventor
陈宇
张浩鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202211289985.5A priority Critical patent/CN115644870B/zh
Publication of CN115644870A publication Critical patent/CN115644870A/zh
Application granted granted Critical
Publication of CN115644870B publication Critical patent/CN115644870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于TSM‑ResNet模型的脑电信号情感识别方法。包括如下步骤:1:对原始脑电信号进行预处理和时间分段,利用小波变换进行时频转换和DE特征提取;2:利用Clough‑Tocher对皮层扩散DE值进行插值,并根据DE值计算脑电信号的LASM和RASM值,之后使用AEP进行拓扑保持的特征降维映射,得到多通道特征图像序列;3:利用迁移学习预训练ResNet50模型权重,在模型上添加TSM模块得到TSM‑ResNet,并针对数据集微调,之后进行情绪的分类识别。本发明在一个统一的网络框架内同时集成空间特征和光谱特征,同时在不增加计算成本情况下充分考虑时间序列特征,最终提升了在跨主体和主体内情感分类任务上的性能。

Description

基于TSM-ResNet模型的脑电信号情感识别方法
技术领域:
本发明涉及脑电情感识别领域,尤其涉及一种基于TSM-ResNet模型的脑电信号情感识别方法。
背景技术:
人类情感的定义以及产生的原因是复杂的,涉及诸多学科,但为了大多数实际目的,可以把情感简单地看作是由生理(内部)和外部影响相互作用而产生的可识别的精神状态。人类的情绪可以通过面部表情、言语、行为或生理信号来识别。然而,前三种情绪识别方法在某种程度上是主观的。例如,被研究对象可能会故意隐藏他们的真实感受,这可能与他们的表现不一致。相比之下,利用生理信号进行情绪识别更为可靠和客观。其中脑电图信号由中枢神经系统(CNS)产生,比其他外围神经信号对情绪变化的反应更快。脑电信号已被证明为情绪识别提供了重要特征,这表明基于脑电信号的情感识别的可行性。
以往的脑电情绪识别技术大多集中在两个基本问题上:1)如何提取判别性脑电情绪特征,2)如何建立更有效的情绪识别模型。为了减少不确定性的影响,脑电图信号分析往往涉及特征选择过程或手工制作的信号表示技术,如PCA和Fisher投影。但由于忽略了通道等原始信息,无法挖掘脑电信号中的模式。另一方面,传统的机器学习方法随着数据量的指数式增加代价越来越高。因此,脑电情绪识别的主流方法正在逐渐向基于深度学习的方法发展。
虽然现有的深度学习方法能够自动提取特征,并普遍有着比浅层机器学习模型更优的性能。但这些深度学习模型像黑匣子,它们的特征提取方法具有盲目性,缺乏模型的可解释性。同时,现有研究中所提取的脑电信号特征类别有限、特征往往只是包含脑电信号在时域、频域或空间域单一领域的信息,反映的情感信息不够全面等问题的客观存在。因此,需要更强大的模型来学习基于脑电图的大脑解码的有效表示。受特征矩阵SPD组合多种特征的优势和视频分类任务模型的启发,我们提出了一种多域信息3D表示输入到充分考虑时间序列信息的TSM-ResNet网络进行情感识别的模型。该方法综合考虑脑电信号在时域、频域、空间域和双半球差异在内的特征信息,构造包含多域特征信息的特征图谱,多频段特征图进行通道合并,并考虑时间维度的变化信息,共同保存脑电数据在空间、时间和频率上的结构,以增强情感相关度。
发明内容:
本发明为了克服现有方法的不足和缺点,提出了一种基于深度卷积神经网络的脑电情感识别方法,特别是涉及一种基于TSM-ResNet模型的脑电信号情感识别模型,以此从脑电数据中提取鲁棒表征和充分利用不同的脑电特征提高情感识别精度。
一种基于TSM-ResNet模型的脑电信号情感识别方法,其特征在于,包括如下步骤:
步骤1:对原始脑电信号进行预处理和时间分段,利用小波变换进行时频转换和DE特征提取;
步骤2:利用Clough-Tocher对皮层扩散DE值进行插值,并根据DE值计算脑电信号的LASM和RASM值,之后使用AEP进行拓扑保持的特征降维映射,得到多通道特征图像序列;
步骤3:利用迁移学习预训练ResNet50模型权重,在模型上添加TSM模块得到TSM-ResNet,并针对数据集微调,之后进行情绪的分类识别。
步骤1的实现包括:
步骤1.1:对脑电信号进行去伪迹、下采样、标准化等预处理;
步骤1.2:去除脑电信号的基线数据,对剩余脑电信号在时间维度进行切片;
步骤1.3:使用改进的小波变换将每个脑电片段转换到delta、theta、alpha、beta和gamma五个频段:
其中参数a和b都是连续变化的参数,a为尺度参数,b是时间参数或平移参数,ω0为中心频率,然后在各个频段X上提取脑电信号的微分熵特征DE;
步骤2的实现包括:
步骤2.1:使用方位角等距投影AEP投影每个电极位置到二维网格中,采用Clough-Tocher对头皮上的分散DE特征值进行插值,并估计网格上电极之间的值:
在这里,是球坐标,C(X,Y)是笛卡尔坐标,R是球面的半径,α是从球体中心到电极位置/>和切极之间距离的角度;
步骤2.2:在网格上计算左右半球的不对称特征LASM和RASM,即计算左右半球对称电极DE值的差值:
其中,Xleft和Xright分别表示左半球和右半球相对称的电极,表示信号方差,LASM和RASM值分别替代网格左右部分的DE值,这样就得到了一张单通道特征图像;
步骤2.3:将五个频段上得到的单通道特征图像进行通道叠加,获得多通道特征图,再将每个时间片段得到的多通道图像按时间顺序排列,就得到了特征图像序列;
步骤3的实现包括:
步骤3.1:设置情绪状态的唤醒和效价两个维度的阀值来划定标签,即分别为高唤醒(HA)和低唤醒(LA)、高效价(HV)和低效价(LV);
步骤3.2:利用迁移学习在ImageNet自然图像数据集上预训练ResNet50模型权重,之后在模型上添加时间移位模块TSM得到TSM-ResNet模型,TSM的主要实现原理是沿时间维度转移部分通道,从而促进相邻帧之间的信息交换;
步骤3.3:对于获取到的脑电信号图像序列的特征“帧”Fi,TSM-ResNet分别对每一帧进行处理,并对输出的对数取平均值,以得出最终的分类结果。
本发明的有益成果:本发明综合考虑与情感相关的时频域和空间域特征信息,提出了一种新的保留脑电通道在大脑空间拓扑结构的基础上构造特征矩阵图的方法。并将多频段的特征图进行通道叠加,组成多通道特征图。此外,结合时间序列信息,将特征图转变成图像序列。这样将保留脑电信号的空间、光谱和时间结构。同时,本发明提出了一种新的用于脑电信号情感识别的TSM-ResNet深度学习模型。TSM-ResNet主要优势是在一个统一的网络框架内同时集成空间特征和光谱特征,同时在不增加计算成本情况下充分考虑时间序列特征。最后在DEAP数据集上,通过实验证明了该发明在跨主体和主体内情感分类任务中的优势。
附图说明:
图1是一种基于TSM-ResNet模型的脑电信号情感识别方法的流程图。
图2是一种基于TSM-ResNet模型的脑电信号情感识别方法的整体框架图。
图3是TSM-ResNet模型的网络结构图。
具体实施方式:
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施的具体流程图,图2是本发明的整体框架图,图3是本发明中TSM-ResNet模型的结构图,如图1图2图3所示,该方法包括:
步骤1:对原始脑电信号进行预处理和时间分段,利用小波变换进行时频转换和DE特征提取;
步骤2:利用Clough-Tocher对皮层扩散DE值进行插值,并根据DE值计算脑电信号的LASM和RASM值,之后使用AEP进行拓扑保持的特征降维映射,得到多通道特征图像序列;
步骤3:利用迁移学习预训练ResNet50模型权重,在模型上添加TSM模块得到TSM-ResNet,并针对数据集微调,之后进行情绪的分类识别。
步骤1的实现包括:
步骤1.1:对脑电信号进行去伪迹、下采样、标准化等预处理;
步骤1.2:去除脑电信号的3s基线数据,对剩余脑电信号按照每片段10s进行切片;
步骤1.3:使用改进的小波变换将每个脑电片段转换到delta(0-4Hz)、theta(4-8Hz)、alpha(8-12Hz)、beta(12-30Hz)和gamma(30-60Hz)五个频段:
其中参数a和b都是连续变化的参数,a为尺度参数,b是时间参数或平移参数,ω0为中心频率,然后在各个频段X上提取脑电信号的微分熵特征DE;
步骤2的实现包括:
步骤2.1:使用方位角等距投影AEP投影每个电极位置到32×32二维网格中,采用Clough-Tocher对头皮上的分散DE特征值进行插值,并估计网格上电极之间的值:
在这里,是球坐标,C(X,Y)是笛卡尔坐标,R是球面的半径,α是从球体中心到电极位置/>和切极之间距离的角度;
步骤2.2:在网格上计算左右半球的不对称特征LASM和RASM,具体是以大脑中线电极为轴,计算左右半球对称电极DE值的差值:
其中,Xleft和Xright分别表示左半球和右半球相对称的电极,表示信号方差,LASM和RASM值分别替代网格左右部分的DE值,这样就得到了一张单通道特征图像;
步骤2.3:将五个频段上得到的单通道特征图像进行通道叠加,获得多通道特征图,再将每个时间片段得到的多通道图像按时间顺序排列,就得到了特征图像序列;
步骤3的实现包括:
步骤3.1:将情绪状态的唤醒和效价两个维度的阀值都设置为5来划定标签,即大于等于5为高、小于5位低,分别为高唤醒(HA)和低唤醒(LA)、高效价(HV)和低效价(LV);
步骤3.2:利用迁移学习在ImageNet自然图像数据集上预训练ResNet50模型权重,之后在模型上添加时间移位模块TSM得到TSM-ResNet模型,并针对数据集进行微调,TSM的主要实现原理是沿时间维度转移部分通道,从而促进相邻帧之间的信息交换;
步骤3.3:对于获取到的脑电信号图像序列的特征“帧”Fi,TSM-ResNet分别对每一帧进行处理,并对输出的对数取平均值,以得出最终的分类结果。
表1和表2分别是本发明方法与其它先进方法在主体内和跨主体实验上的对比情况,结果充分表明本发明方法在脑电信号情感识别任务上的优越性。
表1提出的方法与以往先进研究的比较(被试者依赖实验)
表2提出的方法与以往先进研究的比较(被试者独立实验)
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
以上结合附图所述,仅为本发明的具体实施方式及流程,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员应当理解,此仅为举例说明,可以对此实施方式做出多种变化和替换,而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。
本发明通过参考附图描述的实施方式是示例性的,仅用于对本发明进行解释,不能理解为对本发明的限制,本发明的实施例具体范围不受此限制,相反,本发明的所有实施例包括落入所附权利要求书的精神和内涵范围内的所有变化和修改。

Claims (1)

1.基于TSM-ResNet模型的脑电信号情感识别方法,其特征在于:包括如下步骤:
步骤1:对原始脑电信号进行预处理和时间分段,利用小波变换进行时频转换和DE特征提取;
步骤2:利用Clough-Tocher对皮层扩散DE值进行插值,并根据DE值计算脑电信号的LASM和RASM值,之后使用AEP进行拓扑保持的特征降维映射,得到多通道特征图像序列;
步骤3:利用迁移学习预训练ResNet50模型权重,在模型上添加TSM模块得到TSM-ResNet,并针对数据集微调,之后进行情绪的分类识别;
步骤1具体包括如下步骤:
步骤1.1:对脑电信号进行去伪迹、下采样、标准化等预处理;
步骤1.2:去除脑电信号的基线数据,对剩余脑电信号在时间维度进行切片;
步骤1.3:使用改进的小波变换将每个脑电片段转换到delta、theta、alpha、beta和gamma五个频段:
其中参数a和b都是连续变化的参数,a为尺度参数,b是时间参数或平移参数,ω0为中心频率,然后在各个频段X上提取脑电信号的微分熵特征DE;
步骤2具体包括如下步骤:
步骤2.1:使用方位角等距投影AEP投影每个电极位置到二维网格中,采用Clough-Tocher对头皮上的分散DE特征值进行插值,并估计网格上电极之间的值;
在这里,是球坐标,C(X,Y)是笛卡尔坐标,R是球面的半径,α是从球体中心到电极位置/>和切极之间距离的角度;
步骤2.2:在网格上计算左右半球的不对称特征LASM和RASM,即计算左右半球对称电极DE值的差值:
其中,Xleft和Xright分别表示左半球和右半球相对称的电极,表示信号方差,LASM和RASM值分别替代网格左右部分的DE值,这样就得到了一张单通道特征图像;
步骤2.3:将五个频段上得到的单通道特征图像进行通道叠加,获得多通道特征图,再将每个时间片段得到的多通道图像按时间顺序排列,就得到了特征图像序列;
步骤3具体包括如下步骤:
步骤3.1:设置情绪状态的唤醒和效价两个维度的阀值来划定标签,即分别为高唤醒(HA)和低唤醒(LA)、高效价(HV)和低效价(LV);
步骤3.2:利用迁移学习在ImageNet自然图像数据集上预训练ResNet50模型权重,之后在模型上添加时间移位模块TSM得到TSM-ResNet模型,并针对数据集进行微调,TSM的主要实现原理是沿时间维度转移部分通道,从而促进相邻帧之间的信息交换;
步骤3.3:对于获取到的脑电信号图像序列的特征“帧”Fi,TSM-ResNet分别对每一帧进行处理,并对输出的对数取平均值,以得出最终的分类结果。
CN202211289985.5A 2022-10-21 2022-10-21 基于TSM-ResNet模型的脑电信号情感识别方法 Active CN115644870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211289985.5A CN115644870B (zh) 2022-10-21 2022-10-21 基于TSM-ResNet模型的脑电信号情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211289985.5A CN115644870B (zh) 2022-10-21 2022-10-21 基于TSM-ResNet模型的脑电信号情感识别方法

Publications (2)

Publication Number Publication Date
CN115644870A CN115644870A (zh) 2023-01-31
CN115644870B true CN115644870B (zh) 2024-03-08

Family

ID=84988860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211289985.5A Active CN115644870B (zh) 2022-10-21 2022-10-21 基于TSM-ResNet模型的脑电信号情感识别方法

Country Status (1)

Country Link
CN (1) CN115644870B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110353675A (zh) * 2019-08-14 2019-10-22 东南大学 基于图片生成的脑电信号情感识别方法及装置
CN111134666A (zh) * 2020-01-09 2020-05-12 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置
CN113288146A (zh) * 2021-05-26 2021-08-24 杭州电子科技大学 基于时-空-频联合特征的脑电情感分类方法
CN113729735A (zh) * 2021-09-30 2021-12-03 上海交通大学 基于多域自适应图卷积神经网络的情感脑电特征表示方法
CN114052735A (zh) * 2021-11-26 2022-02-18 山东大学 一种基于深度领域自适应的脑电情绪识别方法及系统
CN114190944A (zh) * 2021-12-23 2022-03-18 上海交通大学 基于脑电信号的鲁棒情绪识别方法
CN114601476A (zh) * 2022-03-14 2022-06-10 哈尔滨理工大学 一种基于视频刺激下的eeg信号情感识别方法
CN114732409A (zh) * 2022-02-24 2022-07-12 河南大学 一种基于脑电信号的情绪识别方法
CN114767130A (zh) * 2022-04-26 2022-07-22 郑州大学 基于多尺度成像的多模态特征融合脑电情感识别方法
WO2022180092A1 (fr) * 2021-02-23 2022-09-01 Oslati Athenais Dispositif et procédé de modification d'un état émotionnel d'un utilisateur

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110353675A (zh) * 2019-08-14 2019-10-22 东南大学 基于图片生成的脑电信号情感识别方法及装置
CN111134666A (zh) * 2020-01-09 2020-05-12 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置
WO2022180092A1 (fr) * 2021-02-23 2022-09-01 Oslati Athenais Dispositif et procédé de modification d'un état émotionnel d'un utilisateur
CN113288146A (zh) * 2021-05-26 2021-08-24 杭州电子科技大学 基于时-空-频联合特征的脑电情感分类方法
CN113729735A (zh) * 2021-09-30 2021-12-03 上海交通大学 基于多域自适应图卷积神经网络的情感脑电特征表示方法
CN114052735A (zh) * 2021-11-26 2022-02-18 山东大学 一种基于深度领域自适应的脑电情绪识别方法及系统
CN114190944A (zh) * 2021-12-23 2022-03-18 上海交通大学 基于脑电信号的鲁棒情绪识别方法
CN114732409A (zh) * 2022-02-24 2022-07-12 河南大学 一种基于脑电信号的情绪识别方法
CN114601476A (zh) * 2022-03-14 2022-06-10 哈尔滨理工大学 一种基于视频刺激下的eeg信号情感识别方法
CN114767130A (zh) * 2022-04-26 2022-07-22 郑州大学 基于多尺度成像的多模态特征融合脑电情感识别方法

Also Published As

Publication number Publication date
CN115644870A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
Salama et al. EEG-based emotion recognition using 3D convolutional neural networks
Cui et al. Automatic sleep stage classification based on convolutional neural network and fine-grained segments
George et al. Recognition of emotional states using EEG signals based on time-frequency analysis and SVM classifier.
CN112381008B (zh) 一种基于并行序列通道映射网络的脑电情感识别方法
KR20190130808A (ko) 뇌파와 얼굴 이미지의 특징 융합을 이용한 감정 분류 장치 및 방법
CN111184509A (zh) 一种基于传递熵的情绪诱导脑电信号分类方法
Pan et al. Emotion recognition based on EEG using generative adversarial nets and convolutional neural network
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
Li et al. EEG emotion recognition based on 3-D feature representation and dilated fully convolutional networks
CN113180659A (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
CN114298216A (zh) 一种基于时间-频域融合Transformer的脑电视觉分类方法
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
Zhan et al. A computation resource friendly convolutional neural network engine for EEG-based emotion recognition
Xu et al. EEG emotion classification based on baseline strategy
Ahmed et al. Examining the size of the latent space of convolutional variational autoencoders trained with spectral topographic maps of EEG frequency bands
Jiang et al. Analytical comparison of two emotion classification models based on convolutional neural networks
CN113951883A (zh) 基于脑电信号情绪识别的性别差异性检测方法
Liu et al. Identification of anisomerous motor imagery EEG signals based on complex algorithms
Sartipi et al. A hybrid end-to-end spatio-temporal attention neural network with graph-smooth signals for EEG emotion recognition
CN115644870B (zh) 基于TSM-ResNet模型的脑电信号情感识别方法
Kollia Personalization effect on emotion recognition from physiological data: An investigation of performance on different setups and classifiers
CN115844424A (zh) 一种睡眠纺锤波分级识别方法及系统
Zheng et al. Collaborative sleep electroencephalogram data analysis based on improved empirical mode decomposition and clustering algorithm
CN114831652A (zh) 基于同步压缩小波变换和mlf-cnn的脑电信号处理方法
van Noord et al. Insights of 3d input cnn in eeg-based emotion recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant