CN114366102A - 一种多模态紧张情绪识别方法、装置、设备及存储介质 - Google Patents
一种多模态紧张情绪识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114366102A CN114366102A CN202210010285.1A CN202210010285A CN114366102A CN 114366102 A CN114366102 A CN 114366102A CN 202210010285 A CN202210010285 A CN 202210010285A CN 114366102 A CN114366102 A CN 114366102A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- signal
- skin
- modal
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 16
- 230000008451 emotion Effects 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 230000001815 facial effect Effects 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000013145 classification model Methods 0.000 claims abstract description 10
- 238000010219 correlation analysis Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 230000004424 eye movement Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 210000004556 brain Anatomy 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002996 emotional effect Effects 0.000 claims description 4
- 230000007958 sleep Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004434 saccadic eye movement Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 206010007776 catatonia Diseases 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000003565 oculomotor Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 231100000430 skin reaction Toxicity 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Ophthalmology & Optometry (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Human Computer Interaction (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Educational Technology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种多模态紧张情绪识别方法、装置、设备及存储介质，涉及智能识别技术领域。所述方法包括：获取被试人员的面部视频、脑电信号和皮肤电信号；利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；将所述融合特征输入情绪分类模型，得到情绪分类结果。本发明能够结合面部视频、脑电信号和皮肤电信号进行特征融合，多方面检测被试人员的情绪是否适宜进行危险作业，提前规避风险。
Description
技术领域
本发明涉及智能识别技术领域，尤其涉及一种多模态紧张情绪识别方法、装置、设备及存储介质。
背景技术
紧张情绪检测是判断高空作业人员是否能继续工作的重要指标之一。当工人存在过度的紧张情绪时，会影响工人的工作效率，增加安全风险。通过对工人的紧张情绪进行检测，可以对工人的工作状态进行适度调整，规避潜在风险。因此，提前对需要进行危险作业的人员进行情绪识别是非常有必要的。
发明内容
本发明目的在于，提供一种多模态紧张情绪识别方法、装置、设备及存储介质，以提前对需要进行危险作业的人员进行情绪识别。
为实现上述目的，本发明实施例提供一种多模态紧张情绪识别方法，包括：
获取被试人员的面部视频、脑电信号和皮肤电信号；
利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
将所述融合特征输入情绪分类模型，得到情绪分类结果。
优选地，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：
根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
优选地，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：
对所述脑电信号进行滤波处理，得到脑电滤波信号；
将脑电滤波信号进行降采样处理，得到若干个频段信号；
对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。
优选地，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：
以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。
本发明实施例还提供一种多模态紧张情绪识别装置，包括：
信号获取模块，用于获取被试人员的面部视频、脑电信号和皮肤电信号；
特征融合模块，用于利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
情绪分类模块，用于将所述融合特征输入情绪分类模型，得到情绪分类结果。
优选地，所述的多模态紧张情绪识别装置，还包括：
眼动分析模块，用于根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
优选地，所述的多模态紧张情绪识别装置，还包括：
脑电分析模块，用于对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。
优选地，所述的多模态紧张情绪识别装置，还包括：
皮肤电分析模块，用于以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。
本发明实施例还提供一种计算机终端设备，包括一个或多个处理器和存储器。存储器与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的多模态紧张情绪识别方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例所述的多模态紧张情绪识别方法。
与现有技术相比，本发明具有以下有益效果：
本发明提供一种多模态紧张情绪识别方法，包括：获取被试人员的面部视频、脑电信号和皮肤电信号；利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；将所述融合特征输入情绪分类模型，得到情绪分类结果。本发明能够结合面部视频、脑电信号和皮肤电信号进行特征融合，多方面检测被试人员的情绪是否适宜进行危险作业，提前规避风险。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明某一实施例提供的多模态紧张情绪识别方法的流程示意图；
图2是本发明某一实施例提供的DCCA-AM结构图示意图；
图3是本发明某一实施例提供的多模态紧张情绪识别装置的结构示意图；
图4是本发明某一实施例提供的计算机终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1是本发明某一实施例提供的多模态紧张情绪识别方法的流程示意图。在本发明实施例中，多模态紧张情绪识别方法，包括以下步骤：
S110，获取被试人员的面部视频、脑电信号和皮肤电信号；
S120，利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
S130，将所述融合特征输入情绪分类模型，得到情绪分类结果。
在某一实施例中，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
在某一实施例中，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。
在某一实施例中，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。
在某一具体实施例中，为了研究不同睡眠状态对紧张情绪诱发的影响，设了3类睡眠实验，分别是第1类，30小时无睡眠(睡眠剥夺实验)；第2类，充分休息后第二天进行的睡眠恢复实验；第3类，保持一周8h睡眠的正常睡眠实验。若干名被试者在3种实验条件下下均进行了相同的紧张情绪诱发实验，每次情绪诱发实验时长在30分钟左右。
被试观看电脑屏幕中播放的共21段中性、正面、负面与紧张情绪诱发视频。每次观看结束后被试需评估视频播放途中被诱发的情绪，包括高兴、平静、悲伤和紧张情绪。评估方式分为选择情绪类别与选择情绪强度，强度包括无、低、中等、较高和强烈。
作为示例，视频类别的播放顺序如表1所示，其中正向、中性与紧张的刺激素材取自公开数据集SEED，紧张情绪素材则选取自电影片段与极限高空运动视频，以模拟高空环境下被试可能产生的紧张情绪。
表1视频播放顺序
在某一具体实施例中，被试在实验进行中需佩戴ESI NeuroScan 62导湿电极脑电帽与手指皮肤电反应(Galvanic Skin Response，GSR)采集装置，置于电脑显示器下方的tobii眼动仪则用于采集被试在视频观看中的眼动信号。
在某一实施例中，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。
其中，脑电信号的处理在某一具体实施例中，包括：利用curry7软件中对脑电进行数据预处理，分别使用每一导数据的平均值对将62导脑电信号进行基线矫正；利用1-70Hz的带通滤波器对脑电进行滤波处理，去除多余频段；利用50Hz陷波滤波器去除工频干扰；利用同时采集的垂直眼电信号去除由于眨眼造成的脑电伪迹，此处可以使用curry7自带的主成分分析方法。
将脑电滤波信号进行降采样处理，得到若干个频段信号，具体包括：对脑电信号降采样至200Hz并划分出Delta(1-4Hz)，Theta(4-8Hz)，Alpha(8-14Hz)，Beta(14-31Hz)，Gamma(31-50Hz)5个频段。
对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征，具体包括：对每个频段使用4秒的Hann窗函数进行分段，计算微分熵(differential entropy，DE)特征：
其中，X服从高斯分布N(μ，σ2)，x为特征，π，e为常数，σ2为特征方差。
作为示例，一个被试的脑电特征共310维，即62导，每一导的5个频段计算一个微分熵特征。微分熵特征可以平衡脑电在不同频域上能量的悬殊差距，减少由于能量值的差距在后续计算的精度上造成的误差，优化分类效果。
在某一实施例中，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
其中，眼动特征的获取在某一具体实施例中包括：从Tobii眼动仪采集的眼动信号获得100多种特征，包括眨眼、注视、扫视等。
从中提取了15个统计特征，包括左右瞳孔直径的平均值与方差、注视间期的平均值与方差、注视频率、最大注视间期、扫视的平均值与方差、扫视频率、扫视(眼跳)潜伏期、眨眼间期的平均值与方差以及眨眼频率；还有频域特征，如左右眼瞳孔直径的微分熵特征与功率谱密度特征。具体可以划分为左右瞳孔直径4个频段的微分熵特征与功率谱密度特征：0-0.2Hz、0.2-0.4Hz、0.4-0.6Hz、0.6-1Hz。其中微分熵特征计算方式与脑电信号的处理相同，功率谱密度特征计算包括：
利用短时傅里叶变换得到左眼或右眼瞳孔直径的频域信号X(m，ωk)，其中，m为变量，ωk＝2πk/N为角频率，k＝0,1,..,N-1。通过频域信号计算对应的能量谱：
E(ωk)＝X(m,ωk)X*(m,ωk)
本实施例使用的眼动特征总计23维。
在某一实施例中，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。
由于皮肤电信号的数据不会在1秒内产生剧烈变换，所以可以每4秒提取1个皮肤电信号的时序值直接作为皮肤电信号的特征,在保留数据变化趋势的前提下删去冗余信息。最终皮肤电信号共1维。
在本发明实施例中，将所述融合特征输入情绪分类模型，得到情绪分类结果。作为示例，利用DCCA-AM(deep canonical correlation analysis-attention mechanism)融合多模态特征并进行多睡眠情况下的紧张情绪分类。
分别在3种睡眠状态下使用DCCA-AM模型对脑电、眼动、皮肤电反应特征进行融合，分别得到3种睡眠状态下的融合特征，再将3种融合后的特征分别输入3个全连接层进行最终的紧张情绪分类，最终可以得到3种睡眠状态下的紧张情绪识别结果。
DCCA-AM可以分为两个模块，分别是DCCA网络与注意力机制。眼动、脑电与皮肤电反应特征分别作为输入构建3个全连接网络，利用DCCA网络与注意力机制，可以得到所有特征的联合表示，即完成3种特征的融合。
令
分别代表提取好的脑电，眼动与皮肤电反应特征，其中N表示样本数，d表示特征维度。如图2所示，3个模态的特征经过3个全连接神经网络后的输出分别为：f1(X1)，f2(X2)，
其中O表示神经网络输出层的神经元个数。
DCCA网络的优化目标为：
subject to GGT＝Ir.
其中，fi(Xi)分别表示第i个模态的神经网络输出，Ui表示第i个模态的线性变换。J表示模态数量，此处为3。
对于注意力机制，定义
表示每个神经网络输出f1(X1),f2(X2),f3(X3)的第j个样本组成的矩阵。通过注意力机制得到第j个样本所有特征的联合表示fj：
β＝tanh(Fj)，
α＝softmax(wTβ)，
rj＝FjαT，
fj＝tanh(rj).
其中，w表示训练的神经网络参数。
在本实施例中，将所述融合特征输入情绪分类模型，得到情绪分类结果。将fj作为新的训练数据，第j个样本的情绪标签作为训练标签，接入全连接网络进行训练：
其中，
表示第j个样本的情绪标签预测值，分类器的损失函数为：
DCCA与基于注意力机制的分类器同时进行训练与梯度更新，最终在实现特征融合之后得到预测的情绪标签。
请参阅图3，图3是本发明某一实施例提供的多模态紧张情绪识别方法的流程示意图。在本发明实施例中，多模态紧张情绪识别装置，包括：
信号获取模块210，用于获取被试人员的面部视频、脑电信号和皮肤电信号；
特征融合模块220，用于利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
情绪分类模块230，用于将所述融合特征输入情绪分类模型，得到情绪分类结果。
在某一实施例中，多模态紧张情绪识别装置，还包括：
眼动分析模块，用于根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
在某一实施例中，多模态紧张情绪识别装置，还包括：
脑电分析模块，用于对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。
在某一实施例中，多模态紧张情绪识别装置，还包括：
皮肤电分析模块，用于以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。
关于多模态紧张情绪识别装置的具体限定可以参见上文中对于多模态紧张情绪识别方法的限定，在此不再赘述。上述多模态紧张情绪识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图4，本发明实施例提供一种计算机终端设备，包括一个或多个处理器和存储器。存储器与所述处理器耦接，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任意一个实施例中的多模态紧张情绪识别方法。
处理器用于控制该计算机终端设备的整体操作，以完成上述的多模态紧张情绪识别方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该计算机终端设备的操作，这些数据例如可以包括用于在该计算机终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在一示例性实施例中，计算机终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的多模态紧张情绪识别方法，并达到如上述方法一致的技术效果。
在另一示例性实施例中，还提供了一种包括计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现上述任意一个实施例中的多模态紧张情绪识别方法的步骤。例如，该计算机可读存储介质可以为上述包括计算机程序的存储器，上述计算机程序可由计算机终端设备的处理器执行以完成上述的多模态紧张情绪识别方法，并达到如上述方法一致的技术效果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种多模态紧张情绪识别方法，其特征在于，包括：
获取被试人员的面部视频、脑电信号和皮肤电信号；
利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
将所述融合特征输入情绪分类模型，得到情绪分类结果。
2.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：
根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
3.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：
对所述脑电信号进行滤波处理，得到脑电滤波信号；
将脑电滤波信号进行降采样处理，得到若干个频段信号；
对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。
4.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：
以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。
5.一种多模态紧张情绪识别装置，其特征在于，包括：
信号获取模块，用于获取被试人员的面部视频、脑电信号和皮肤电信号；
特征融合模块，用于利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
情绪分类模块，用于将所述融合特征输入情绪分类模型，得到情绪分类结果。
6.根据权利要求5所述的多模态紧张情绪识别装置，其特征在于，还包括：
眼动分析模块，用于根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
7.根据权利要求5所述的多模态紧张情绪识别装置，其特征在于，还包括：
脑电分析模块，用于对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。
8.根据权利要求5所述的多模态紧张情绪识别装置，其特征在于，还包括：
皮肤电分析模块，用于以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。
9.一种计算机终端设备，其特征在于，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4任一项所述的多模态紧张情绪识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的多模态紧张情绪识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210010285.1A CN114366102B (zh) | 2022-01-05 | 2022-01-05 | 一种多模态紧张情绪识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210010285.1A CN114366102B (zh) | 2022-01-05 | 2022-01-05 | 一种多模态紧张情绪识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114366102A true CN114366102A (zh) | 2022-04-19 |
| CN114366102B CN114366102B (zh) | 2024-03-01 |
Family
ID=81141882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210010285.1A Active CN114366102B (zh) | 2022-01-05 | 2022-01-05 | 一种多模态紧张情绪识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114366102B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017136938A1 (en) * | 2016-02-10 | 2017-08-17 | Tandemlaunch Inc. | A quality adaptive multimodal affect recognition system for user-centric multimedia indexing |
| CN109730701A (zh) * | 2019-01-03 | 2019-05-10 | 中国电子科技集团公司电子科学研究院 | 一种情绪数据的获取方法及装置 |
| CN111553295A (zh) * | 2020-05-01 | 2020-08-18 | 北京邮电大学 | 基于自注意力机制的多模态情感识别方法 |
| CN111839551A (zh) * | 2019-04-29 | 2020-10-30 | 北京入思技术有限公司 | 一种基于视频和生理信号的多模态情感识别方法及系统 |
| CN111881812A (zh) * | 2020-07-24 | 2020-11-03 | 中国中医科学院针灸研究所 | 用于针灸的基于深度学习的多模态情绪分析方法及系统 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
| CN113598774A (zh) * | 2021-07-16 | 2021-11-05 | 中国科学院软件研究所 | 基于多通道脑电数据的积极情绪多标签分类方法及装置 |
-
2022
- 2022-01-05 CN CN202210010285.1A patent/CN114366102B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017136938A1 (en) * | 2016-02-10 | 2017-08-17 | Tandemlaunch Inc. | A quality adaptive multimodal affect recognition system for user-centric multimedia indexing |
| CN109730701A (zh) * | 2019-01-03 | 2019-05-10 | 中国电子科技集团公司电子科学研究院 | 一种情绪数据的获取方法及装置 |
| CN111839551A (zh) * | 2019-04-29 | 2020-10-30 | 北京入思技术有限公司 | 一种基于视频和生理信号的多模态情感识别方法及系统 |
| CN111553295A (zh) * | 2020-05-01 | 2020-08-18 | 北京邮电大学 | 基于自注意力机制的多模态情感识别方法 |
| CN111881812A (zh) * | 2020-07-24 | 2020-11-03 | 中国中医科学院针灸研究所 | 用于针灸的基于深度学习的多模态情绪分析方法及系统 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
| CN113598774A (zh) * | 2021-07-16 | 2021-11-05 | 中国科学院软件研究所 | 基于多通道脑电数据的积极情绪多标签分类方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114366102B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765920B (zh) | 基于卷积神经网络的运动想象分类方法 | |
| CN108304917B (zh) | 一种基于lstm网络的p300信号检测方法 | |
| CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
| CN110070105B (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、系统 | |
| CN105894039A (zh) | 情绪识别模型建立方法、情绪识别方法及装置、智能设备 | |
| CN109784023B (zh) | 基于深度学习的稳态视觉诱发脑电身份识别方法及系统 | |
| CN105147281A (zh) | 便携式意识障碍刺激促醒与评估系统 | |
| CN109976525B (zh) | 一种用户界面交互方法、装置及计算机设备 | |
| CN109871831B (zh) | 一种情感识别方法及系统 | |
| CN113705398B (zh) | 基于卷积-长短期记忆网络音乐脑电时空特征分类方法 | |
| Vieira et al. | Understanding the design neurocognition of mechanical engineers when designing and problem-solving | |
| CN114521903A (zh) | 一种基于特征选择的脑电注意力识别系统及方法 | |
| CN109766751A (zh) | 基于频域编码的稳态视觉诱发脑电身份识别方法及系统 | |
| Zhao et al. | Interactive local and global feature coupling for EEG-based epileptic seizure detection | |
| Petrantonakis et al. | EEG-based emotion recognition using hybrid filtering and higher order crossings | |
| Pan et al. | ST-SCGNN: a spatio-temporal self-constructing graph neural network for cross-subject EEG-based emotion recognition and consciousness detection | |
| CN113576498A (zh) | 基于脑电信号的视听觉美学评价方法及系统 | |
| Placidi et al. | Classification strategies for a single-trial binary Brain Computer Interface based on remembering unpleasant odors | |
| CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
| CN113729729A (zh) | 基于图神经网络和脑网络的精神分裂症早期检测系统 | |
| CN117407748A (zh) | 基于图卷积和融合注意力的脑电情绪识别方法 | |
| CN114366102A (zh) | 一种多模态紧张情绪识别方法、装置、设备及存储介质 | |
| Paithane et al. | Electroencephalogram signal analysis using wavelet transform and support vector machine for human stress recognition | |
| Nirde et al. | EEG mental arithmetic task levels classification using machine learning and deep learning algorithms | |
| Begum et al. | EEG sensor based classification for assessing psychological stress |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |