CN115270849A - 一种多模态情感识别方法、装置、设备及可读存储介质 - Google Patents

一种多模态情感识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN115270849A
CN115270849A CN202210706585.3A CN202210706585A CN115270849A CN 115270849 A CN115270849 A CN 115270849A CN 202210706585 A CN202210706585 A CN 202210706585A CN 115270849 A CN115270849 A CN 115270849A
Authority
CN
China
Prior art keywords
electroencephalogram
eye movement
emotion recognition
reconstructed
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210706585.3A
Other languages
English (en)
Inventor
滕飞
杨娟
冯力
林宁
袁敏兰
姚远
韦洪雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202210706585.3A priority Critical patent/CN115270849A/zh
Publication of CN115270849A publication Critical patent/CN115270849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Psychology (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供了一种多模态情感识别方法、装置、设备及可读存储介质，所述方法包括：获取多个历史数据，每个所述历史数据包括一个实验者在历史时间段内的脑电信号和眼动信号，所述脑电信号由电极帽所采集；对所述脑电信号进行重构处理，得到重构的脑电信号，对所述眼动信号进行重构处理，得到重构的眼动信号；基于所述重构的脑电信号和重构的眼动信号构建训练集，基于所述训练集对情感识别模型进行训练，得到训练后的情感识别模型；利用所述训练后的情感识别模型对待测试者的情感状态进行识别，得到所述测试者的情感状态。

Description

一种多模态情感识别方法、装置、设备及可读存储介质
技术领域
本发明涉及情感识别技术领域，具体而言，涉及一种多模态情感识别方法、装置、设备及可读存储介质。
背景技术
正确的情感识别在人工智能、医疗卫生、军事应用和情感计算等方面具有极大的研究价值。然而情感在产生过程中心理和生理都在发生复杂的反应，仅仅使用一种模态信号对情感进行分析可能存在特征信息丢失问题，使识别的准确度受到限制。因此如何构建更加精准的多模态情感分类模型并进行相应类别的自动化判断，是一项具有重大意义和价值的任务。
发明内容
本发明的目的在于提供一种多模态情感识别方法、装置、设备及可读存储介质，以改善上述问题。
为了实现上述目的，本申请实施例提供了如下技术方案：
一方面，本申请实施例提供了一种多模态情感识别方法，所述方法包括：
获取多个历史数据，每个所述历史数据包括一个实验者在历史时间段内的脑电信号和眼动信号，所述脑电信号由电极帽所采集；
对所述脑电信号进行重构处理，得到重构的脑电信号，对所述眼动信号进行重构处理，得到重构的眼动信号；
基于所述重构的脑电信号和重构的眼动信号构建训练集，基于所述训练集对情感识别模型进行训练，得到训练后的情感识别模型；
利用所述训练后的情感识别模型对待测试者的情感状态进行识别，得到所述测试者的情感状态。
第二方面，本申请实施例提供了一种多模态情感识别装置，所述装置包括获取模块、重构模块、训练模块和识别模块。
获取模块，用于获取多个历史数据，每个所述历史数据包括一个实验者在历史时间段内的脑电信号和眼动信号，所述脑电信号由电极帽所采集；
重构模块，用于对所述脑电信号进行重构处理，得到重构的脑电信号，对所述眼动信号进行重构处理，得到重构的眼动信号；
训练模块，用于基于所述重构的脑电信号和重构的眼动信号构建训练集，基于所述训练集对情感识别模型进行训练，得到训练后的情感识别模型；
识别模块，用于利用所述训练后的情感识别模型对待测试者的情感状态进行识别，得到所述测试者的情感状态。
第三方面，本申请实施例提供了一种多模态情感识别设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述情感识别方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述情感识别方法的步骤。
本发明的有益效果为：
1、本发明设计了一种融合脑电和眼动信号的情感识别方法，首先利用多尺度三维卷积注意网络对四维脑电数据进行特征提取，采用空间注意力机制挖掘情感信息显著的电极通道，解决由于情感的不频繁性带来的脑电信号通道冗余问题。其次，构建SE-ResNet50网络对二维眼动数据进行特征提取，引入通道注意力机制降低冗余信息对情感识别任务的影响。最后引入多头注意力机制进行特征融合，利用特征间信息的互补性凸显出表征能力强的情感特征，从而提高情感识别的准确率。
2、本发明通过构建四维脑电数据，充分融合了同一时刻不同脑区、不同频段的情感信息，大大减少了特征的遗漏。
3、本发明引入了多头注意力机制进行特征融合，发挥特征间的互补信息在分类任务中的作用，提高多特征情感识别的分类性能，具备较好的鲁棒性和稳定性。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中所述的多模态情感识别方法流程示意图；
图2是本发明实施例中所述的多模态情感识别装置结构示意图；
图3是本发明实施例中所述的多模态情感识别设备结构示意图；
图中标记：701、获取模块；702、重构模块；703、训练模块；704、识别模块；7021、映射单元；7022、第一划分单元；7023、放大单元；7024、拼接单元；7025、第二划分单元；7026、组合单元；7031、构建单元；7032、训练单元；70321、第一训练子单元；70322、第二训练子单元；70323、第三训练子单元；70324、第四训练子单元；703211、卷积子单元；703212、处理子单元；703213、拼接子单元800、多模态情感识别设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
如图1所示，本实施例提供了一种多模态情感识别方法，该方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S1、获取多个历史数据，每个所述历史数据包括一个实验者在历史时间段内的脑电信号和眼动信号，所述脑电信号由电极帽所采集；
在本步骤中，历史时间段可以根据用户的需求进行自定义的设置；
步骤S2、对所述脑电信号进行重构处理，得到重构的脑电信号，对所述眼动信号进行重构处理，得到重构的眼动信号；
在本步骤中，为综合考虑同一时刻脑电信号在时域-空域-频域的特征，本步骤提出了一种四维脑电数据构建方法，具体的实现步骤包括步骤S21、步骤S22、步骤S23和步骤S24；
步骤S21、获取所述电极帽的三维空间信息，将所述三维空间信息映射成二维矩阵；
在本步骤中，电极帽上设置有多个电极，根据每一个电极的空间坐标以及电极之间的相对位置，将所有的电极按照水平方向和垂直方向映射成二维电极矩阵；
步骤S22、以预设长度的时间窗口对所述脑电信号进行划分，得到多个脑电信号片段，提取第一信息，所述第一信息包括每个所述脑电信号片段在δ频段、θ频段、α频段、β频段和γ频段的微分熵特征；
步骤S23、将每个所述脑电信号片段在δ频段、θ频段、α频段、β频段和γ频段的微分熵映射到所述二维矩阵后对所述二维矩阵进行放大，得到每个所述脑电信号片段对应的三维脑电序列；
在本步骤中，将电极帽的三维空间信息映射成二维矩阵后，为了防止原始尺寸过于紧凑在模型训练时导致信息丢失，采用双立方插值算法进行尺寸放大；
步骤S24、将每个所述脑电信号片段对应的三维脑电序列按时间顺序拼接，最终得到每个脑电信号对应的所述重构的脑电信号。
本步骤综合考虑了同一时刻影响情感产生的频段信息与脑区信息，减少了情感信息的遗漏，为后续模型训练奠定了数据基础，有利于提高模型后续预测的准确性；
考虑到眼动信号的时序特性将其重构为二维眼动数据，具体实现步骤包括步骤S25和步骤S26；
步骤S25、用预设长度的时间窗口对所述眼动信号进行划分，得到多个眼动信号片段，提取每一个所述眼动信号片段对应的第一指标时间序列特征，所述第一指标包括在水平方向瞳孔直径的均值；
第一指标除了在水平方向瞳孔直径的均值之外，还可以包括在垂直方向瞳孔直径的均值、在垂直方向瞳孔直径的标准差、在水平方向瞳孔直径的标准差、在水平方向注视偏差的均值、在垂直方向注视偏差的均值、在水平方向注视偏差的标准差、在垂直方向注视偏差的标准差等；
步骤S26、将每一个所述第一指标时间序列特征与其对应的所述眼动信号片段进行组合，得到所述重构的眼动信号。
得到重构的脑电信号和重构的眼动信号后即可通过步骤S3的方法对模型进行训练；
步骤S3、基于所述重构的脑电信号和重构的眼动信号构建训练集，基于所述训练集对情感识别模型进行训练，得到训练后的情感识别模型；步骤S3的具体实现步骤包括步骤S31和步骤S32；
步骤S31、构建训练集，所述训练集中包括多个样本，每个样本中包括所述重构的脑电信号和所述重构的眼动信号；
步骤S32、基于所述训练集对情感识别模型进行训练，当达到训练停止条件时，停止训练，得到训练后的情感识别模型，所述情感识别模型中包括脑电特征提取模块、眼动特征提取模块、特征融合模块和情感识别模块。
在进行训练时，训练200个批次，每个批次中包含32个样本数据，当训练200个批次后，停止训练，得到训练后的情感识别模型；
利用每个批次进行训练时，还可以使用交叉熵损失函数评估模型损失值，并使用Adam优化器进行参数更新。此外，为了防止模型训练过程中出现过拟合现象，还可以采用以下方法防止过度拟合：除了使用Dropout技术以及在损失函数中加入L2范数的正则化项外，还可以在每组多尺度3D CNN结构(即为后续的第一卷积层、第二卷积层和第三卷积层)后均添加批归一化层，对数据分布做规范化处理，在加快模型收敛速度的同时，缓解深层网络的梯度消失问题。
步骤S32的具体实现步骤包括步骤S321、步骤S322、步骤S323和步骤S324；
步骤S321、利用所述样本对所述脑电特征提取模块、所述眼动特征提取模块、所述特征融合模块和所述情感识别模块进行训练，其中，对所述脑电特征提取模块进行训练时，利用多尺度三维卷积神经网络和空间注意力机制提取所述重构的脑电信号对应的脑电特征；
本步骤中，对所述脑电特征提取模块进行训练时，利用多尺度三维卷积神经网络和空间注意力机制提取所述重构的脑电信号对应的脑电特征的具体实现步骤包括步骤S3211、步骤S3212和步骤S3213；
步骤S3211、在所述多尺度三维卷积神经网络中分别设置第一卷积层、第二卷积层和第三卷积层，所述第一卷积层、第二卷积层和第三卷积层的卷积核大小不相同，利用所述第一卷积层、所述第二卷积层和所述第三卷积层分别对所述重构的脑电信号进行卷积操作，得到第一卷积结果、第二卷积结果和第三卷积结果；
在本步骤中，第一卷积层的卷积核大小为(5,5,2)，第二卷积层的卷积核大小为(7,7,2)，第三卷积层的卷积核大小为(10,10,2)，第一卷积层、第二卷积层和第三卷积层并行；在卷积处理时，选用计算复杂度低、泛化能力强的ReLU函数作为激活函数，池化层采用窗口为2×2×2的最大池化法，添加BN层(批归一化层)缓解过拟合现象；
经过多尺度三维卷积神经网络处理后，由于情感具有稀疏性和不频繁性，导致采集到的脑电信号存在部分电极通道对情感的反映不强烈或无关，为了解决该问题，采用空间注意力机制挖掘情感信息显著的电极通道，具体的步骤包括步骤S3212；
步骤S3212、采用空间注意力机制分别对所述第一卷积结果、第二卷积结果和第三卷积结果进行处理，得到第一处理结果、第二处理结果和第三处理结果；
具体的步骤为：采用空间注意力机制对第一卷积结果进行处理时，分别采用平均池化层和最大池化层对所述第一卷积结果进行处理，并将所述平均池化层和最大池化层处理得到的结果进行拼接，得到新的特征，再依次将所述新的特征输入全局平均池化层、卷积层和Sigmoid函数，得到所述第一卷积结果对应的权重信息，将所述权重信息带入所述第一卷积结果中，得到第一处理结果；按照相同的处理逻辑即可得到第二处理结果和第三处理结果；
在以上步骤中，得到新的特征后，考虑到此时更多的是关心不同的电极通道对情感识别任务的贡献大小，多余的频段信息反而带来了大量的计算量，因此在拼接得到新的特征后添加全局平均池化层对新的特征进行处理。
步骤S3213、将所述第一处理结果、第二处理结果和第三处理结果进行特征拼接处理，得到脑电特征。
为了有选择的增强情感信息显著的特征，解决原本维度空间的特征冗余问题，构建SE-ResNet50模型自动提取眼动信号的情感相关信息，即通过步骤S322对传统ResNet50网络进行改进，得到改进的ResNet50网络模型即为SE-ResNet50模型；
步骤S322、对所述眼动特征提取模块进行训练时，在ResNet50网络模型的每个残差块中嵌入通道注意力机制，并在最后一个残差块后添加两个全连接层代替全局平均池化层，得到改进的ResNet50网络模型；将所述重构的眼动信号输入所述改进的ResNet50网络模型中进行特征提取，得到眼动特征；
在本步骤中，考虑到ResNet50网络原本的全局平均池化层会改变数据维度，丢失部分与情感相关的信息，因此在最后一个残差块后添加两个全连接层代替全局平均池化层；
步骤S323、对所述特征融合模块进行训练时，将所述脑电特征和眼动特征进行拼接，形成联合特征，采用多头注意力机制计算所述联合特征对应的注意力值，将所述注意力值与所述联合特征相乘，得到注意力联合特征；
特征融合是指将多个不同类型的特征数据进行有效处理，挖掘不同特征间的互补信息，从而凸显出情感表征能力强的特征。在本步骤中，采用缩放点积注意力来进行注意力值的计算；
步骤S324、对所述情感识别模块进行训练时，将所述注意力联合特征经过多个全连接层和一个激活函数后得到不同情感状态的概率，将概率最大的所述情感状态作为所述实验者的情感状态。
在本步骤中将所述注意力联合特征经过多个全连接层和一个softmax激活函数后得到不同情感状态的概率，其中，情感状态包括高兴、愤怒、悲伤和中性；
步骤S4、利用所述训练后的情感识别模型对待测试者的情感状态进行识别，得到所述测试者的情感状态。
通过以上步骤可以得出，本实施例设计了一种融合脑电和眼动信号的情感识别方法，首先利用多尺度三维卷积注意网络对四维脑电数据进行特征提取，采用空间注意力机制挖掘情感信息显著的电极通道，解决由于情感的不频繁性带来的脑电信号通道冗余问题。其次，构建SE-ResNet50网络对二维眼动数据进行特征提取，引入通道注意力机制降低冗余信息对情感识别任务的影响。最后引入多头注意力机制进行特征融合，利用特征间信息的互补性凸显出表征能力强的情感特征，从而提高情感识别的准确率。
实施例2
如图2所示，本实施例提供了一种多模态情感识别装置，所述装置包括获取模块701、重构模块702、训练模块703和识别模块704。
获取模块701，用于获取多个历史数据，每个所述历史数据包括一个实验者在历史时间段内的脑电信号和眼动信号，所述脑电信号由电极帽所采集；
重构模块702，用于对所述脑电信号进行重构处理，得到重构的脑电信号，对所述眼动信号进行重构处理，得到重构的眼动信号；
训练模块703，用于基于所述重构的脑电信号和重构的眼动信号构建训练集，基于所述训练集对情感识别模型进行训练，得到训练后的情感识别模型；
识别模块704，用于利用所述训练后的情感识别模型对待测试者的情感状态进行识别，得到所述测试者的情感状态。
在本公开的一种具体实施方式中，所述重构模块702，还包括映射单元7021、第一划分单元7022、放大单元7023和拼接单元7024。
映射单元7021，用于获取所述电极帽的三维空间信息，将所述三维空间信息映射成二维矩阵；
第一划分单元7022，用于以预设长度的时间窗口对所述脑电信号进行划分，得到多个脑电信号片段，提取第一信息，所述第一信息包括每个所述脑电信号片段在δ频段、θ频段、α频段、β频段和γ频段的微分熵特征；
放大单元7023，用于将每个所述脑电信号片段在δ频段、θ频段、α频段、β频段和γ频段的微分熵映射到所述二维矩阵后对所述二维矩阵进行放大，得到每个所述脑电信号片段对应的三维脑电序列；
拼接单元7024，用于将每个所述脑电信号片段对应的三维脑电序列按时间顺序拼接，最终得到每个脑电信号对应的所述重构的脑电信号。
在本公开的一种具体实施方式中，所述重构模块702，还包括第二划分单元7025和组合单元7026。
第二划分单元7025，用于用预设长度的时间窗口对所述眼动信号进行划分，得到多个眼动信号片段，提取每一个所述眼动信号片段对应的第一指标时间序列特征，所述第一指标包括在水平方向瞳孔直径的均值；
组合单元7026，用于将每一个所述第一指标时间序列特征与其对应的所述眼动信号片段进行组合，得到所述重构的眼动信号。
在本公开的一种具体实施方式中，所述训练模块703，还包括构建单元7031和训练单元7032。
构建单元7031，用于构建训练集，所述训练集中包括多个样本，每个样本中包括所述重构的脑电信号和所述重构的眼动信号；
训练单元7032，用于基于所述训练集对情感识别模型进行训练，当达到训练停止条件时，停止训练，得到训练后的情感识别模型，所述情感识别模型中包括脑电特征提取模块、眼动特征提取模块、特征融合模块和情感识别模块。
在本公开的一种具体实施方式中，所述训练单元7032，还包括第一训练子单元70321、第二训练子单元70322、第三训练子单元70323和第四训练子单元70324。
第一训练子单元70321，用于利用所述样本对所述脑电特征提取模块、所述眼动特征提取模块、所述特征融合模块和所述情感识别模块进行训练，其中，对所述脑电特征提取模块进行训练时，利用多尺度三维卷积神经网络和空间注意力机制提取所述重构的脑电信号对应的脑电特征；
第二训练子单元70322，用于对所述眼动特征提取模块进行训练时，在ResNet50网络模型的每个残差块中嵌入通道注意力机制，并在最后一个残差块后添加两个全连接层代替全局平均池化层，得到改进的ResNet50网络模型；将所述重构的眼动信号输入所述改进的ResNet50网络模型中进行特征提取，得到眼动特征；
第三训练子单元70323，用于对所述特征融合模块进行训练时，将所述脑电特征和眼动特征进行拼接，形成联合特征，采用多头注意力机制计算所述联合特征对应的注意力值，将所述注意力值与所述联合特征相乘，得到注意力联合特征；
第四训练子单元70324，用于对所述情感识别模块进行训练时，将所述注意力联合特征经过多个全连接层和一个激活函数后得到不同情感状态的概率，将概率最大的所述情感状态作为所述实验者的情感状态。
在本公开的一种具体实施方式中，所述第一训练子单元70321，还包括卷积子单元703211、处理子单元703212和拼接子单元703213。
卷积子单元703211，用于在所述多尺度三维卷积神经网络中分别设置第一卷积层、第二卷积层和第三卷积层，所述第一卷积层、第二卷积层和第三卷积层的卷积核大小不相同，利用所述第一卷积层、所述第二卷积层和所述第三卷积层分别对所述重构的脑电信号进行卷积操作，得到第一卷积结果、第二卷积结果和第三卷积结果；
处理子单元703212，用于采用空间注意力机制分别对所述第一卷积结果、第二卷积结果和第三卷积结果进行处理，得到第一处理结果、第二处理结果和第三处理结果；
拼接子单元703213，用于将所述第一处理结果、第二处理结果和第三处理结果进行特征拼接处理，得到脑电特征。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例，本公开实施例还提供了多模态情感识别设备，下文描述的多模态情感识别设备与上文描述的多模态情感识别方法可相互对应参照。
图3是根据一示例性实施例示出的多模态情感识别设备800的框图。如图3所示，该多模态情感识别设备800可以包括：处理器801，存储器802。该多模态情感识别设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该多模态情感识别设备800的整体操作，以完成上述的多模态情感识别方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该多模态情感识别设备800的操作，这些数据例如可以包括用于在该多模态情感识别设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该多模态情感识别设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，该多模态情感识别设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的多模态情感识别方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的多模态情感识别方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由该多模态情感识别设备800的处理器801执行以完成上述的多模态情感识别方法。
实施例4
相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的多模态情感识别方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的多模态情感识别方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多模态情感识别方法，其特征在于，包括：
获取多个历史数据，每个所述历史数据包括一个实验者在历史时间段内的脑电信号和眼动信号，所述脑电信号由电极帽所采集；
对所述脑电信号进行重构处理，得到重构的脑电信号，对所述眼动信号进行重构处理，得到重构的眼动信号；
基于所述重构的脑电信号和重构的眼动信号构建训练集，基于所述训练集对情感识别模型进行训练，得到训练后的情感识别模型；
利用所述训练后的情感识别模型对待测试者的情感状态进行识别，得到所述测试者的情感状态。
2.根据权利要求1所述的多模态情感识别方法，其特征在于，对所述脑电信号进行重构处理，得到重构的脑电信号，包括：
获取所述电极帽的三维空间信息，将所述三维空间信息映射成二维矩阵；
以预设长度的时间窗口对所述脑电信号进行划分，得到多个脑电信号片段，提取第一信息，所述第一信息包括每个所述脑电信号片段在δ频段、θ频段、α频段、β频段和γ频段的微分熵特征；
将每个所述脑电信号片段在δ频段、θ频段、α频段、β频段和γ频段的微分熵映射到所述二维矩阵后对所述二维矩阵进行放大，得到每个所述脑电信号片段对应的三维脑电序列；
将每个所述脑电信号片段对应的三维脑电序列按时间顺序拼接，最终得到每个脑电信号对应的所述重构的脑电信号。
3.根据权利要求1所述的多模态情感识别方法，其特征在于，对所述眼动信号进行重构处理，得到重构的眼动信号，包括：
用预设长度的时间窗口对所述眼动信号进行划分，得到多个眼动信号片段，提取每一个所述眼动信号片段对应的第一指标时间序列特征，所述第一指标包括在水平方向瞳孔直径的均值；
将每一个所述第一指标时间序列特征与其对应的所述眼动信号片段进行组合，得到所述重构的眼动信号。
4.根据权利要求1所述的多模态情感识别方法，其特征在于，基于所述重构的脑电信号和重构的眼动信号构建训练集，基于所述训练集对情感识别模型进行训练，得到训练后的情感识别模型，包括：
构建训练集，所述训练集中包括多个样本，每个样本中包括所述重构的脑电信号和所述重构的眼动信号；
基于所述训练集对情感识别模型进行训练，当达到训练停止条件时，停止训练，得到训练后的情感识别模型，所述情感识别模型中包括脑电特征提取模块、眼动特征提取模块、特征融合模块和情感识别模块。
5.一种多模态情感识别装置，其特征在于，包括：
获取模块，用于获取多个历史数据，每个所述历史数据包括一个实验者在历史时间段内的脑电信号和眼动信号，所述脑电信号由电极帽所采集；
重构模块，用于对所述脑电信号进行重构处理，得到重构的脑电信号，对所述眼动信号进行重构处理，得到重构的眼动信号；
训练模块，用于基于所述重构的脑电信号和重构的眼动信号构建训练集，基于所述训练集对情感识别模型进行训练，得到训练后的情感识别模型；
识别模块，用于利用所述训练后的情感识别模型对待测试者的情感状态进行识别，得到所述测试者的情感状态。
6.根据权利要求5所述的多模态情感识别装置，其特征在于，重构模块，包括：
映射单元，用于获取所述电极帽的三维空间信息，将所述三维空间信息映射成二维矩阵；
第一划分单元，用于以预设长度的时间窗口对所述脑电信号进行划分，得到多个脑电信号片段，提取第一信息，所述第一信息包括每个所述脑电信号片段在δ频段、θ频段、α频段、β频段和γ频段的微分熵特征；
放大单元，用于将每个所述脑电信号片段在δ频段、θ频段、α频段、β频段和γ频段的微分熵映射到所述二维矩阵后对所述二维矩阵进行放大，得到每个所述脑电信号片段对应的三维脑电序列；
拼接单元，用于将每个所述脑电信号片段对应的三维脑电序列按时间顺序拼接，最终得到每个脑电信号对应的所述重构的脑电信号。
7.根据权利要求5所述的多模态情感识别装置，其特征在于，重构模块，包括：
第二划分单元，用于用预设长度的时间窗口对所述眼动信号进行划分，得到多个眼动信号片段，提取每一个所述眼动信号片段对应的第一指标时间序列特征，所述第一指标包括在水平方向瞳孔直径的均值；
组合单元，用于将每一个所述第一指标时间序列特征与其对应的所述眼动信号片段进行组合，得到所述重构的眼动信号。
8.根据权利要求5所述的多模态情感识别装置，其特征在于，训练模块，包括：
构建单元，用于构建训练集，所述训练集中包括多个样本，每个样本中包括所述重构的脑电信号和所述重构的眼动信号；
训练单元，用于基于所述训练集对情感识别模型进行训练，当达到训练停止条件时，停止训练，得到训练后的情感识别模型，所述情感识别模型中包括脑电特征提取模块、眼动特征提取模块、特征融合模块和情感识别模块。
9.一种多模态情感识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述多模态情感识别方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述多模态情感识别方法的步骤。
CN202210706585.3A 2022-06-21 2022-06-21 一种多模态情感识别方法、装置、设备及可读存储介质 Pending CN115270849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210706585.3A CN115270849A (zh) 2022-06-21 2022-06-21 一种多模态情感识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210706585.3A CN115270849A (zh) 2022-06-21 2022-06-21 一种多模态情感识别方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115270849A true CN115270849A (zh) 2022-11-01

Family

ID=83761263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210706585.3A Pending CN115270849A (zh) 2022-06-21 2022-06-21 一种多模态情感识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115270849A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304643A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 脑力负荷检测及模型训练方法、装置、设备及存储介质
CN116881839A (zh) * 2023-07-05 2023-10-13 江苏省气象台 一种区分enso事件衰减型的判定方法及系统
CN117494013A (zh) * 2023-12-29 2024-02-02 南方医科大学南方医院 一种多尺度权值共享卷积神经网络及其脑电情感识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304643A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 脑力负荷检测及模型训练方法、装置、设备及存储介质
CN116304643B (zh) * 2023-05-18 2023-08-11 中国第一汽车股份有限公司 脑力负荷检测及模型训练方法、装置、设备及存储介质
CN116881839A (zh) * 2023-07-05 2023-10-13 江苏省气象台 一种区分enso事件衰减型的判定方法及系统
CN117494013A (zh) * 2023-12-29 2024-02-02 南方医科大学南方医院 一种多尺度权值共享卷积神经网络及其脑电情感识别方法
CN117494013B (zh) * 2023-12-29 2024-04-16 南方医科大学南方医院 一种多尺度权值共享卷积神经网络及其脑电情感识别方法

Similar Documents

Publication Publication Date Title
Salama et al. EEG-based emotion recognition using 3D convolutional neural networks
CN115270849A (zh) 一种多模态情感识别方法、装置、设备及可读存储介质
Yang et al. Deep multimodal representation learning from temporal data
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
Feng et al. EEG-based emotion recognition using spatial-temporal graph convolutional LSTM with attention mechanism
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN113593611B (zh) 语音分类网络训练方法、装置、计算设备及存储介质
CN106778444B (zh) 一种基于多视图卷积神经网络的表情识别方法
CN116504382B (zh) 远程医疗监护系统及其方法
Sims et al. A neural architecture for detecting user confusion in eye-tracking data
CN110298303B (zh) 一种基于长短时记忆网络扫视路径学习的人群识别方法
CN112037179B (zh) 一种脑疾病诊断模型的生成方法、系统及设备
VARGAS et al. Deep learning: previous and present applications
CN115359576A (zh) 一种多模态情绪识别方法、装置、电子设备及存储介质
CN111951958A (zh) 一种基于自编码的疼痛数据评估方法及相关组件
JP2023103350A (ja) 機械学習装置、データ分類装置及びデータ分類方法
CN114496099A (zh) 细胞功能注释方法、装置、设备及介质
Song et al. Video-audio emotion recognition based on feature fusion deep learning method
Anwar et al. Classification of expert-novice level of mobile game players using electroencephalography
CN112215962B (zh) 一种虚拟现实情感刺激系统及其创建方法
CN116431004B (zh) 康复机器人交互行为的控制方法及系统
CN116958693A (zh) 图像分析方法、装置、设备、存储介质和程序产品
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
CN111898576B (zh) 一种基于人体骨架时空关系的行为识别方法
CN115132324A (zh) 心理健康预测方法和装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination