CN111553295A - 基于自注意力机制的多模态情感识别方法 - Google Patents
基于自注意力机制的多模态情感识别方法 Download PDFInfo
- Publication number
- CN111553295A CN111553295A CN202010368593.2A CN202010368593A CN111553295A CN 111553295 A CN111553295 A CN 111553295A CN 202010368593 A CN202010368593 A CN 202010368593A CN 111553295 A CN111553295 A CN 111553295A
- Authority
- CN
- China
- Prior art keywords
- emotion
- dimensional
- features
- electroencephalogram
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 47
- 230000007246 mechanism Effects 0.000 title claims abstract description 29
- 230000008451 emotion Effects 0.000 claims abstract description 192
- 230000002996 emotional effect Effects 0.000 claims abstract description 58
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000003860 storage Methods 0.000 claims abstract description 7
- 230000004424 eye movement Effects 0.000 claims description 94
- 239000013598 vector Substances 0.000 claims description 71
- 230000004927 fusion Effects 0.000 claims description 39
- 210000004556 brain Anatomy 0.000 claims description 27
- 230000014509 gene expression Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 13
- 210000001508 eye Anatomy 0.000 claims description 12
- 230000002457 bidirectional effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 210000005252 bulbus oculi Anatomy 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 5
- 230000004434 saccadic eye movement Effects 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 230000004931 aggregating effect Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000012360 testing method Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 241000282414 Homo sapiens Species 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 230000005611 electricity Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000002902 bimodal effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000287196 Asthenes Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 208000030251 communication disease Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003565 oculomotor Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于自注意力机制的多模态情感识别方法以及计算机可读存储介质，包括：获取不同模态的数据；将每条样本中的多维情感特征分组，抽取高维特征；根据自注意力机制计算模态间融合的情感信息；根据自注意力机制计算模态内融合的情感信息；构建情感相关矩阵，集结每个模态下的高维特征，形成单模态情感特征；对每一类情感，融合各模态的单模态情感特征，输出属于该情感类别的概率；对各类情感概率进行归一化，输出概率最大的情感类别，实现情感识别。本发明有效增强了模态特征之间的情感信息互补性，并增加情感高相关性特征的影响力，从而增强多模态情感识别能力。
Description
技术领域
本发明涉及情感识别技术领域，尤其涉及一种基于自注意力机制的多模态情感识别方法以及计算机可读存储介质。
背景技术
情感是人大脑的高级活动，是人类的一种复杂的心理和生理状态。外界或者自身的刺激会造成人的情感变化。1997年MIT多媒体实验室的Picard教授首次提出情感计算的概念，它旨在通过赋予计算机识别、理解、表达和适应人类情感的能力来建立和谐的人机环境，在脑机接口、智能医疗、智慧家居等领域具有广泛应用，对于人机交互应用智能化、情感化至关重要。人的情感变化同时也会带来自身的外部行为和生理反应的变化，情感计算就是根据人类外部和内部变化的信息来判断其情感状态，它内在的是一个多模态问题。因此，如何融合不同模态信息的特征，从而提升情感识别准确率具有重大研究意义。
随着深度学习理论的蓬勃发展，基于卷积神经网络、循环神经网络、前馈神经网络等经典网络及其变种的模型在单模态情感识别任务中大放异彩，为多模态情感识别提供了坚实的基础。而多模态情感识别的另一个重要挑战是如何有效结合多种模态的信息，利用异构模态之间情感信息的互补性，提供更加鲁棒的预测效果。
针对这个挑战，大多数现有技术采用了决策级融合和特征级融合的方式。其中，决策级融合技术对每个模态信息单独构建情感识别模型，并综合考虑不同的模态信息对情感识别的重要性，通常引入权重原理在输出层加权融合各模态的情感识别结果。此类方法由于各个模态的特征在真实预测中是相互孤立的，虽然用到了多个模态的预测结果，却没有真正意义上考虑不同模态特征之间的相关性，因此对于多模态信息的利用非常有限。而特征级融合方式联合各个模态提取的单模态特征，基于不同的特征学习方式，学习到联合的情感特征表示。然而，现有技术大多对各个模态提取到最后一层高维特征做联合学习，这种方式虽然能够一定程度上利用不同模态之间的信息互补，但是没有充分考虑单模态内和多模态间不同层次抽象特征之间情感相关性蕴含的情感信息。此外，很少有现有技术考虑了各个模态情感特征对不同情感的差异性，没有考虑每一个模态特征对特定情感的重要程度。
发明内容
本发明的目的是针对上述至少一部分缺陷，提供一种基于分层自注意力机制，分别对模态内的特征融合和模态间的特征融合进行建模的多模态情感识别方法。
为了实现上述目的，本发明提供了一种基于自注意力机制的多模态情感识别方法，该方法包括如下步骤：
S1、获取不同模态的数据，数据中每条样本均包括多维情感特征；
S2、对各个模态，将每条样本中的多维情感特征分组，得到各组相应的特征向量；针对各组内情感特征的相关性建模并抽取高维特征；
S3、对各个模态，根据自注意力机制，将抽取到的高维特征通过一层线性层映射成query、key和value特征；对每一个高维特征，计算其对异构模态所有高维特征的注意力权重；根据注意力权重计算模态间融合的情感信息；基于需要融合的情感信息对每个高维特征进行更新；
S4、对各个模态，根据自注意力机制，将更新后的高维特征通过一层线性层映射成query、key和value特征，并引入跨模态的情感信息更新每个高维特征的query特征和key特征；对每一个高维特征，计算其对于所属模态所有高维特征的注意力权重；根据注意力权重计算模态内融合的情感信息；基于需要融合的情感信息对每个高维特征进行再次更新；
S5、对每一类情感，分别构建N个情感强度检测器，每个所述情感强度检测器由拥有独立参数的卷积神经网络构成；将再次更新后的高维特征输入对应的所述情感强度检测器，每个所述情感强度检测器输出其对于当前情感类别的激活强度值，进而得到情感相关矩阵；根据情感相关矩阵提供的权重集结每个模态下的各个高维特征，形成单模态情感特征；
S6、对每一类情感，采用双线性网络融合各模态的单模态情感特征，并输入二分类全连接网络，输出属于该情感类别的概率；对各类情感概率进行归一化，输出概率最大的情感类别。
优选地，所述步骤S1中获取的数据包括脑电信号数据和眼动信号数据两个不同模态的数据。
优选地，所述步骤S2中，将每条样本中的多维情感特征分组时，对脑电信号数据，根据多维情感特征的区域性进行分组，分为16组，对于眼动信号数据，根据多维情感特征的类型进行分组，分为5组；得到各组相应的特征向量表达式如下：
其中，脑电信号数据对应的多维情感特征
62为脑电帽电极数，每个特征vj包含脑电信号在5个波段上提取的微分熵，眼动信号数据对应的多维情感特征
31为眼动信号数据对应的特征总数，特征q1-q12为瞳孔直径特征，q13-q16为眼球扫视特征，q17-q18为眼球注视特征，q19-q22为注视偏差特征，q23-q31为统计事件特征，
为第j组脑电特征向量，nj(j＝1,2,…,16)为第j组脑电区域的电极数目，
为第j组眼动特征向量，mj(j＝1,2,…,5)为第j组眼动特征的特征数目。
优选地，所述步骤S2中，针对各组内情感特征的相关性建模并抽取高维特征时，对脑电信号数据，采用双向长短时记忆网络进行建模，记L(·；θ)为双向长短时记忆网络前向操作，其输出隐层为：
其中，θ为网络可学习参数，dr表示隐层的维数，hi(i＝1,2,…,nj)表示隐层的特征向量；
将第j组脑电区域特征向量
输入，抽取出双向长短时记忆网络的最后一层隐层的向量作为脑电高维特征
输入各组脑电区域特征向量，得到高维特征向量记为Hi eeg：
对眼动信号数据，采用具有一层隐层的全连接网络进行建模，令σj(·；θ)为带非线性激活函数的线性映射层，抽取出高维特征向量记为Hi eye：
其中，
为第j组眼动高维特征，θ为网络参数，d为线性层的输出维数。
优选地，所述步骤S3中，将抽取到的高维特征通过一层线性层映射成query、key和value特征时，对于脑电高维特征
计算公式如下：
其中，θQ、θK、θV为可学习的网络参数，dim为通用投影向量维度，Qi eeg、Ki eeg、Vi eeg分别代表
的query、key和value特征。
优选地，以Qj eye、Kj eye、Vj eye分别代表
的query、key和value特征；
所述步骤S3中，对每一个高维特征，计算其对异构模态所有高维特征的注意力权重时，计算公式为：
其中，
代表第i个脑电高维特征对眼动模态所有眼动高维特征的注意力向量，
代表第j个眼动高维特征对脑电模态所有脑电高维特征的注意力向量；Keye是所有眼动高维特征
的key特征构成的key值向量，Kegg是所有脑电高维特征hi egg的key特征构成的key值向量，softmax代表归一化操作；
根据注意力权重计算模态内融合的情感信息时，公式为：
其中，
表示脑电模态第i个脑电高维特征对应的模态间融合情感信息，
表示眼动模态第j个眼动高维特征对应的模态间融合情感信息，Veye是所有眼动高维特征
的value特征构成的value值向量，Veeg是所有脑电高维特征hi egg的value特征构成的value值向量；
基于需要融合的情感信息对每个高维特征进行更新时，公式如下：
其中，等式左侧的
对应更新后的脑电高维特征、眼动高维特征。
优选地，所述步骤S4中，引入跨模态的情感信息更新每个高维特征的query特征时，计算公式为：
其中，等式左侧的Qi egg、Qj eye对应更新后的脑电高维特征的query特征、眼动高维特征的query特征，σ为sigmoid激活函数；
引入跨模态的情感信息更新每个高维特征的key特征时，计算公式为：
其中，等式左侧的Ki egg、Kj eye对应更新后的脑电高维特征的key特征、眼动高维特征的key特征，Avg(·)是对单模态特征的平均池化操作。
优选地，所述步骤S4中，对每一个高维特征，计算其对于所属模态所有高维特征的注意力权重时，计算公式为：
其中，attni eeg代表第i个脑电高维特征对脑电模态所有脑电高维特征的注意力向量，attnj eye代表第j个眼动高维特征对眼动模态所有眼动高维特征的注意力向量；
根据注意力权重计算模态内融合的情感信息时，计算公式为：
其中，sum表示累加操作，
表示脑电模态第i个脑电高维特征对应的模态内融合情感信息，
表示眼动模态第j个眼动高维特征对应的模态内融合情感信息；
基于需要融合的情感信息对每个高维特征进行再次更新时，计算公式为：
其中，等式左侧的
对应再次更新后的脑电高维特征、眼动高维特征。
优选地，所述步骤S5中，对每一类情感，分别构建N个情感强度检测器时，对于两个模态一共有2*4*N个情感强度检测器，对于情感c，将再次更新后的高维特征输入对应的所述情感强度检测器，每个所述情感强度检测器输出其对于当前情感类别的激活强度值，进而得到情感相关矩阵时，激活强度值Sm表达式为：
式中，conv代表一维卷积操作，σ代表sigmoid函数；
对于情感c，其脑电情感相关矩阵表达式为：
眼动情感相关矩阵表达式为：
根据情感相关矩阵提供的权重集结每个模态下的各个高维特征，形成单模态情感特征时，单模态情感特征表达式为：
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述多模态情感识别方法的步骤。
本发明的上述技术方案具有如下优点：本发明提出了一种基于自注意力机制的多模态情感识别方法以及计算机可读存储介质，该方法的特征融合网络基于分层自注意力机制构建，利用自注意力网络分别对模态内的特征融合和模态间的特征融合进行建模，并通过情感相关矩阵建模不同特征对不同情感的重要性，本发明融合自注意力神经网络和情感相关矩阵，提升不同模态之间的情感特征互补性，并自动识别特征和情感的相关性，充分利用多模态特征中蕴含的情感信息，进而提升情感识别的准确率。
附图说明
图1是本发明实施例中一种基于自注意力机制的多模态情感识别方法步骤图；
图2是本发明实施例中一种基于自注意力机制的多模态情感识别方法流程示意图；
图3是一种脑电帽电极空间分布图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，本发明实施例提供的一种基于自注意力机制的多模态情感识别方法，包括如下步骤：
S1、多模态数据选取：获取不同模态的数据，数据中每条样本均包括多维情感特征。
根据认知科学领域学者对情感的研究，人类的情感变化会引起表情、肢体动作、语音等外部表现的变化以及脑电、心电、皮肤电等生理信号的变化。其中生理信号由于受人中枢神经系统的支配，能更加客观地反映出人的情绪状态。
优选地，可采用脑电信号和眼动信号两个模态的数据进行研究，即步骤S1中获取的数据包括脑电信号数据和眼动信号数据两个不同模态的数据。
S2、单模态高维特征抽取：对各个模态，将每条样本中的多维情感特征分组，得到各组相应的特征向量；根据得到的特征向量，针对各组内情感特征的相关性建模并抽取高维特征。
相关研究指出，大脑不同区域脑电波信号的变化与情绪的变化相关，如图3所示(图3中各参数代表采集大脑不同区域脑电波信号的电极)，脑电信号捕捉的是大脑不同区域神经元放电状态，这些电位互相影响，也即同一块区域(同一组内)的不同电极检测的信号实际上是相互影响的，本发明旨在通过分组(分区域)来探究各个区域的特征对于情感的相异差异性。针对脑电信号数据，优选使用双向长短时记忆网络(Bidirectional LongShort-Term Memory Network)来建模脑电信号这种区域性的相关性，并抽取更高维度的高维特征。
眼睛的不同反应对于情感激发的重要性都不相同，而眼动信号包括的多维情感特征通常可根据其类型分为眼球转动的瞳孔直径、注视时长、扫视特征、注视偏差、统计事件5类，本发明旨在通过分组(分类型)来探究各类型的特征对于情感的相异差异性。针对眼动信号数据，优选使用具有一层隐层的全连接网络进行建模并提取高维特征向量。
步骤S2中，针对各组内情感特征的相关性建模并抽取更高维度的高维特征时，对脑电信号数据分组得到的特征向量，采用双向长短时记忆网络建模，将脑电信号数据各组相应的特征向量输入双向长短时记忆网络，获取脑电信号高维特征，实现特征选择；对眼动信号数据分组得到的特征向量，采用具有一层隐层的全连接网络建模，将眼动信号数据各组相应的特征向量输入全连接网络，获取眼动信号高维特征，实现特征选择。
需要说明的是，当将本发明提供的多模情感识别方法应用于其他模态的数据时，也可根据模态数据特点，选取合适的网络建模，以便抽取高维特征。
S3、模态间特征融合：对各个模态，根据自注意力机制，将抽取到的高维特征通过一层线性层映射成query、key和value特征；对每一个抽取到的高维特征，计算其对异构模态的所有高维特征的注意力权重；根据注意力权重，计算不同模态间融合的情感信息；基于需要融合的情感信息对每个高维特征进行更新。
为了充分利用多模态不同特征之间的互补性，本发明提出使用自注意力机制(Self-attention Mechanism)，通过模态间自注意力网络动态加权融合其他模态的不同特征。注意力分布使得网络能够找出异构模态之间那些联系紧密的的情感特征。
S4、模态内特征融合：对各个模态，根据自注意力机制，将步骤S3中更新后的高维特征通过一层线性层映射成query、key和value特征，并引入跨模态的情感信息更新每个高维特征的query特征和key特征；对每一个高维特征，计算其对于自身所属模态的所有高维特征的注意力权重；根据注意力权重，计算模态内融合的情感信息；基于需要融合的情感信息对每个高维特征进行再次更新。
按照上述步骤S3，不同模态之间的特征都已经编码了跨模态的情感信息，这些特征具有互补的情感信息。然而，单个模态内的信息交互同样能够提供额外的情感信息增益，例如，大脑各个区域在情感发生变化时，并非是相互孤立的，它们之间会存在相互关联。和模态间注意力网络类似，本发明使用自注意力机制，通过模态内自注意力网络来实现模态内的特征融合，基于高维特征自身信息和融合信息完成特征融合。
经过充分的模态内、模态间特征融合的多模态情感特征包含了丰富的情感特征，具有很强的情感表达能力。下一步将送入情感分类网络进行情感识别。
S5、构建情感相关矩阵：对每一类情感，分别构建N个情感强度检测器，每个情感强度检测器由拥有独立参数的卷积神经网络构成；将步骤S4中再次更新后的高维特征输入对应的所述情感强度检测器，每个所述情感强度检测器输出其对于当前情感类别的激活强度值，进而得到情感相关矩阵；根据情感相关矩阵提供的权重集结每个模态下的各个高维特征，形成单模态情感特征。
考虑到不同的情感对于不同组内的情感特征的影响不一样，本发明提出了通过情感-特征相关性检测网络构建情感-特征相关性的情感相关矩阵，情感相关矩阵中的元素即各情感强度检测器输出的激活强度值，表示的是不同特征与该类情感的相关程度。由此，本发明根据这些动态权重合理集结每个模态下的不同分组的特征，形成更具代表性的单模态情感特征。
S6、基于情感相关矩阵进行情感分类识别：对每一类情感，采用双线性网络融合各模态的单模态情感特征，并输入二分类全连接网络，输出该样本属于该情感类别的概率；对各类情感概率进行归一化(softmax)，输出该样本概率最大的情感类别，完成情感识别。
进行情感识别时，相应的情感类别可对应中性、高兴、恐惧、悲伤四种情感。初始时，可利用带有情感类别标签的已知样本数据对网络进行训练，训练完成后，即可将不清楚情感类别的多模态样本数据以与训练集同样的格式输入训练好的网络进行情感识别。采用情感分类网络(双线性网络和二分类全连接网络)单独对每一类情感进行预测，判断输入的多模态样本数据属于该类情感的概率，最后综合各种情感概率，输出概率最大的作为预测值，即实现了多模态样本数据的情感识别。
本发明提出了一种基于自注意力机制和情感相关矩阵方法的多模态情感识别方法，该方法针对多模态情感识别中的多模态融合问题，从三个方面进行改良：1)增强模态内情感信息交互；2)提升模态间情感特征信息互补；3)针对不同情感类别和不同模态特征之间的相关性差异，构建情感相关矩阵，并以此加强高度相关的特征的情感提升其对情感分类的影响力。
实施例二
如图3所示，本实施例二与实施例一基本相同，相同之处不再赘述，不同之处在于：
步骤S1中，获取的数据包括脑电信号数据和眼动信号数据两个不同模态的数据。具体地，本发明进行验证的数据来自上海交通大学计算机系BCMI实验室提出的SEED_IV数据集。该数据集收集了十五名被试在三次实验中，受情感刺激材料诱导，产生中性、高兴、恐惧、悲伤四种情感时的脑电信号和眼动信号两个模态数据。SEED_IV数据集提供了预处理后的脑电和眼动信号数据，每个样本由341维的情感特征和情感类别标签组成。SEED_IV数据集提供的多维情感特征前310维为脑电信号，如图3所示，由脑电帽62个导湿电极采样的信号经过下采样、去除杂波、滤波后，提取五个波段上的功率谱密度和微分熵特征组成，后31维为眼动信号，包括眼球转动的瞳孔直径、注视时长、扫视特征、注视偏差、统计事件5类共31维特征。本发明选取脑电信号中的微分熵特征，数据规模如表1所示：
表1数据规模
优选地，步骤S2中，首先对脑电信号和眼动信号进行预处理，使用标准归一化方法将原始数据处理成适合神经网络处理的格式。
对于一个样本xi，脑电信号数据对应的多维情感特征
其中62为脑电帽电极数，每个特征vj包含脑电信号在5个波段上提取的微分熵，眼动信号数据中的多维情感特征
其中31为眼动信号数据包括的特征总数，q1-q12为瞳孔直径特征，q13-q16为眼球扫视特征，q17-q18为眼球注视特征，q19-q22为注视偏差特征，q23-q31为统计事件特征。
图3示出了脑电帽电极空间分布示意图，本发明优选将62个电极的多维特征按照其空间分布划分为16个区域，即根据多维情感特征的区域性进行分组，分为16组，得到16个脑电区域特征向量。将31维的眼动特征划分为5类，根据多维情感特征的类型进行分组，分为5组，得到5个眼动特征向量。表达式如下：
其中，
为第j组脑电区域特征向量，nj(j＝1,2,…,16)为第j组脑电区域的电极数目，
为第j组眼动特征向量，mj(j＝1,2,…,5)为第j组眼动特征的数目。
本发明的特征抽取模块使用双向长短时记忆网络(BiLSTM)来建模脑电信号区域相关性并抽取更高维特征。优选地，记L(·；θ)为BiLSTM的前向操作以及其输出隐层如下式所示：
将第j(j＝1,2,…,16)个脑电区域特征向量
输入各自的BiLSTM特征抽取网络，θ为网络可学习参数，产生nj个隐层状态，dr表示隐层的维数，hi(i＝1,2,…,nj)表示隐层的特征向量，本实施例优选取最后一层隐层的向量作为
的高维特征。同理，将(样本xi)所有分组的脑电特征
(即各组脑电区域特征向量
)输入BiLSTM网络后提取出高维特征向量记为Hi eeg：
其中
表示第j个脑电区域特征向量输入BiLSTM的最后一层隐层的向量，即抽取的脑电高维特征。
对于5类眼动特征，本发明使用具有一层隐层的全连接网络提取高维特征向量。令σj(·；θ)为带非线性激活函数的线性映射层。则抽取的眼动高维特征可由下式计算：
其中
表示表示第j组眼动特征向量对应的输出，θ为网络参数，d为线性层的输出维数。通过BiLSTM和全连接神经网络分别对脑电特征和眼动特征实现高维特征的抽取。
步骤S3中，根据自注意力机制，首先对于脑电模态和眼动模态中抽取到的脑电高维特征
和眼动高维特征
通过一层线性层将其映射成query、key和value特征，令Qi eeg、Ki eeg、Vi eeg分别代表
的query、key和value特征，Qj eye、Kj eye、Vj eye分别代表
的query、key和value特征。
优选地，脑电高维特征
映射成query、key和value特征的计算公式如下：
其中，θQ、θK、θV为可学习的网络参数，dim为通用的投影向量维度。眼动高维特征
的query、key、value计算方式同上，不再重复说明。
对于每一个区域的脑电高维特征
计算其对眼动模态所有高维特征的注意力权重，设为
则其计算公式如下：
其中，
代表第i个脑电高维特征对眼动模态所有眼动高维特征的注意力向量，同理，
代表第j个眼动高维特征对脑电模态所有脑电高维特征的注意力向量。Keye是所有眼动高维特征
的key特征构成的key值向量，Kegg是所有脑电高维特征hi egg的key特征构成的key值向量，
代表矩阵乘法，其结果为一个向量，softmax代表归一化操作。
进一步根据依据注意力分布动态融合不同模态之间的情感信息。首先根据注意力权重计算模态融合的情感信息，具体公式如下：
其中，
表示脑电模态第i个脑电高维特征对应的模态间融合情感信息，
表示眼动模态第j个眼动高维特征对应的模态间融合情感信息，Veye是所有眼动高维特征
的value特征构成的value值向量，Veeg是所有脑电高维特征hi egg的value特征构成的value值向量。
接下来，对每个模态下的高维特征，根据其自身和需要融合的信息进行更新，具体公式如下：
其中，等式左侧的
对应更新后的脑电高维特征、眼动高维特征，即更新
数值。
这样的结构，可以促使脑电模态和眼动模态的不同情感特征之间能够实现最大程度的信息交互和融合。这些编码了跨模态信息的高维特征将送入模态内自注意网络进行模态内特征融合。
步骤S4中，按公式(6)-(8)，将每个模态内的高维特征投影到key、query、value特征。和模态间特征融合直接采用公式(9)和(10)计算注意力分布不同的是，先引入跨模态的情感信息更新每个特征的query特征和key特征，更新每个特征的query特征表达式如下：
其中，等式左侧的Qi egg、Qj eye对应更新后的脑电高维特征的query特征、眼动高维特征的query特征，σ为sigmoid激活函数。更新key特征的形式与query特征类似，表达式如下：
其中，等式左侧的Ki egg、Kj eye对应更新后的脑电高维特征的key特征、眼动高维特征的key特征。
然后按下式计算特征之间的注意力分布，即高维特征对于所属模态所有高维特征的注意力权重：
式中，Avg(·)是对单模态特征的平均池化操作。按照如下公式(21)和(22)计算模态内融合的信息，sum表示累加操作：
其中，
表示脑电模态第i个脑电高维特征对应的模态内融合情感信息，
表示眼动模态第j个眼动高维特征对应的模态内融合情感信息，attni eeg代表第i个脑电高维特征对脑电模态所有脑电高维特征的注意力向量，attnj eye代表第j个眼动高维特征对眼动模态所有眼动高维特征的注意力向量。
最后基于自身信息和融合信息完成特征融合，即基于需要融合的情感信息对每个高维特征进行再次更新：
其中，等式左侧的
对应再次更新后的脑电高维特征、眼动高维特征。
步骤S5中，对于SEED_Ⅳ数据中的中性、高兴、恐惧、悲伤四种情绪，分别构建N个情感强度检测器，N为超参数，可以根据效果设置。每个检测器是拥有独立参数的卷积神经网络。对于两个模态一共有2*4*N个检测器，本实施例中N＝10，计算情感强度时，对于脑电特征，输入4*10个检测器网络，每个检测器网络m输出其对于当前情感类别c的激活强度值Si，表达式为：
式中，conv代表一维卷积操作，σ代表sigmoid函数。
则对于每类情感c，其脑电情感相关矩阵表达式为：
眼动情感相关矩阵表达式为：
根据情感相关矩阵动态权重合理集结每个模态下的不同高维特征形成单模态情感特征，单模态情感特征表达式为：
步骤S6中，单独对每一种情感c进行预测，采取双线性网络融合
和
特征，并输入二分类全连接网络输出属于该类别的概率。最后对四种情感概率做softmax，输出概率最大的作为预测值。
进一步地，为验证本发明所提供方法及相应网络模型的有效性，本发明在SEED_Ⅳ数据集上基于脑电信号和眼动信号进行了双模态情感识别实验。首先进行了跨被试实验。跨被试实验中针对每一批数据(该数据集共收集了三次数据)中的15名被试，本发明采取留一法对模型做交叉验证，依次取出一个被试的数据作为测试集，而其他被试的数据作为训练集去训练模型。模型训练中在各个网络的输出加入批归一化(batch normaization)层，并设置dropout为0.5防止过拟合。采用带平滑度为0.9标签平滑的交叉熵损失函数作为优化目标。优化算法采用带有余弦衰减的Adam优化函数，学习率初始设为0.001。训练总轮数为120，计算三个数据批次十五个训练集上情感识别的准确率均值及其方差。跨被试实验的结果如下表2所示：
表2跨被试实验结果
跨被试实验中对于每一名被试，得到了以其他被试数据为训练集该被试数据为训练集的最佳模型。进一步在该模型上迁移参数，在该被试的数据上继续训练一个情感分类模型。具体的，对于每一名被试的情感数据，按照2:1的比例划分训练集和测试集，并迁移跨被试模型中的参数，以一个更小的学习率1e-5进行微调(finetuning)。其他模型训练方法和跨被试实验中一致。计算3个数据批次下，模型在15名被试测试集数据上的准确率均值和方差的平均值。为了验证本发明方法在多模态特征融合方面的优势，加入单模态识别的识别结果以及采用传统特征拼接方法和基于BDAE的的多模态识别方法作为基线，结果如下表3所示：
表3实验结果比较
上表3中，EEG表示脑电模态，EYE表示眼动模态，FLF表示特征拼接，BDAE表示双模态深度自动编码器。从结果比较中可以看出，本发明提出的方法，其情感识别能力相比单个模态的结果有了很大的提升，同时本发明提出的基于自注意力机制和情感相关矩阵的方法又比一些主流的多模态融合方法要好，从而验证了本发明提出的融合方法的有效性。
在本发明另一些优选的实施方式中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施方式中所述的多模态情感识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各多模态情感识别方法的实施例的流程，在此不再重复说明。
综上所述，本发明对传统的多模态情感融合方法进行调研和分析，现有技术提供的多模态情感融合方法往往针对各个模态特征抽取模块的最高维特征，而忽视了低维以及更细粒度级别的情感特征之间的信息交互融合。本发明提出了基于自注意力网络的区域性特征融合机制，能够充分地增强各个模态不同特征之间的情感信息互补性。并进一步引入跨模态的情感信息，在模态内，实现更细粒度的特征融合。此外，现有技术大多忽视了特征对于情感影响力的差异性，而本发明通过建模情感相关矩阵，并将其引入到情感识别的信息集结过程中，充分利用了不同模态特征的信息，提升了多模态融合特征的情感表达能力。在对中性、高兴、恐惧、悲伤四类情感的识别中，本发明提出的方法能够达到86.83％的准确率。这充分说明了自注意力机制在多模态特征融合中具有重要的使用价值，同时也说明了考虑情感与特征之间的相关性对于提升情感识别的准确率具有重要意义。
本发明提出的基于自注意力机制和情感相关矩阵的多模态情感识别方法，可以帮助提升机器的情感智能水平。行业发展到一定成熟度以后，可以帮助发展更智能的人机交互应用。如运用到智能医疗领域，可以帮助医生及时感知具有沟通障碍的病患群体的情绪状态，从而提供更人性化的医护服务。对于智能交通领域，也能及时监控驾驶员的情绪状态，及时避免驾驶风险的产生。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于自注意力机制的多模态情感识别方法，其特征在于，包括如下步骤：
S1、获取不同模态的数据，数据中每条样本均包括多维情感特征；
S2、对各个模态，将每条样本中的多维情感特征分组，得到各组相应的特征向量；针对各组内情感特征的相关性建模并抽取高维特征；
S3、对各个模态，根据自注意力机制，将抽取到的高维特征通过一层线性层映射成query、key和value特征；对每一个高维特征，计算其对异构模态所有高维特征的注意力权重；根据注意力权重计算模态间融合的情感信息；基于需要融合的情感信息对每个高维特征进行更新；
S4、对各个模态，根据自注意力机制，将更新后的高维特征通过一层线性层映射成query、key和value特征，并引入跨模态的情感信息更新每个高维特征的query特征和key特征；对每一个高维特征，计算其对于所属模态所有高维特征的注意力权重；根据注意力权重计算模态内融合的情感信息；基于需要融合的情感信息对每个高维特征进行再次更新；
S5、对每一类情感，分别构建N个情感强度检测器，每个所述情感强度检测器由拥有独立参数的卷积神经网络构成；将再次更新后的高维特征输入对应的所述情感强度检测器，每个所述情感强度检测器输出其对于当前情感类别的激活强度值，进而得到情感相关矩阵；根据情感相关矩阵提供的权重集结每个模态下的各个高维特征，形成单模态情感特征；
S6、对每一类情感，采用双线性网络融合各模态的单模态情感特征，并输入二分类全连接网络，输出属于该情感类别的概率；对各类情感概率进行归一化，输出概率最大的情感类别。
2.根据权利要求1所述的多模态情感识别方法，其特征在于：
所述步骤S1中获取的数据包括脑电信号数据和眼动信号数据两个不同模态的数据。
3.根据权利要求2所述的多模态情感识别方法，其特征在于：
所述步骤S2中，将每条样本中的多维情感特征分组时，对脑电信号数据，根据多维情感特征的区域性进行分组，分为16组，对于眼动信号数据，根据多维情感特征的类型进行分组，分为5组；得到各组相应的特征向量表达式如下：
其中，脑电信号数据对应的多维情感特征
62为脑电帽电极数，每个特征vj包含脑电信号在5个波段上提取的微分熵，眼动信号数据对应的多维情感特征
31为眼动信号数据对应的特征总数，特征q1-q12为瞳孔直径特征，q13-q16为眼球扫视特征，q17-q18为眼球注视特征，q19-q22为注视偏差特征，q23-q31为统计事件特征，
为第j组脑电特征向量，nj(j＝1,2,…,16)为第j组脑电区域的电极数目，
为第j组眼动特征向量，mj(j＝1,2,…,5)为第j组眼动特征的特征数目。
4.根据权利要求3所述的多模态情感识别方法，其特征在于：
所述步骤S2中，针对各组内情感特征的相关性建模并抽取高维特征时，对脑电信号数据，采用双向长短时记忆网络进行建模，记L(·；θ)为双向长短时记忆网络前向操作，其输出隐层为：
其中，θ为网络可学习参数，dr表示隐层的维数，hi(i＝1,2,…,nj)表示隐层的特征向量；
将第j组脑电区域特征向量
输入，抽取出双向长短时记忆网络的最后一层隐层的向量作为脑电高维特征
输入各组脑电区域特征向量，得到高维特征向量记为Hi eeg：
对眼动信号数据，采用具有一层隐层的全连接网络进行建模，令σj(·；θ)为带非线性激活函数的线性映射层，抽取出高维特征向量记为Hi eye：
其中，
为第j组眼动高维特征，θ为网络参数，d为线性层的输出维数。
5.根据权利要求4所述的多模态情感识别方法，其特征在于：
所述步骤S3中，将抽取到的高维特征通过一层线性层映射成query、key和value特征时，对于脑电高维特征
计算公式如下：
其中，θQ、θK、θV为可学习的网络参数，dim为通用投影向量维度，Qi eeg、Ki eeg、Vi eeg分别代表
的query、key和value特征。
6.根据权利要求5所述的多模态情感识别方法，其特征在于：
以Qj eye、Kj eye、Vj eye分别代表
的query、key和value特征；
所述步骤S3中，对每一个高维特征，计算其对异构模态所有高维特征的注意力权重时，计算公式为：
其中，
代表第i个脑电高维特征对眼动模态所有眼动高维特征的注意力向量，
代表第j个眼动高维特征对脑电模态所有脑电高维特征的注意力向量；Keye是所有眼动高维特征
的key特征构成的key值向量，Kegg是所有脑电高维特征hi egg的key特征构成的key值向量，softmax代表归一化操作；
根据注意力权重计算模态内融合的情感信息时，公式为：
其中，
表示脑电模态第i个脑电高维特征对应的模态间融合情感信息，
表示眼动模态第j个眼动高维特征对应的模态间融合情感信息，Veye是所有眼动高维特征
的value特征构成的value值向量，Veeg是所有脑电高维特征hi egg的value特征构成的value值向量；
基于需要融合的情感信息对每个高维特征进行更新时，公式如下：
其中，等式左侧的
对应更新后的脑电高维特征、眼动高维特征。
7.根据权利要求6所述的多模态情感识别方法，其特征在于：
所述步骤S4中，引入跨模态的情感信息更新每个高维特征的query特征时，计算公式为：
其中，等式左侧的Qi egg、Qj eye对应更新后的脑电高维特征的query特征、眼动高维特征的query特征，σ为sigmoid激活函数；
引入跨模态的情感信息更新每个高维特征的key特征时，计算公式为：
其中，等式左侧的Ki egg、Kj eye对应更新后的脑电高维特征的key特征、眼动高维特征的key特征，Avg(·)是对单模态特征的平均池化操作。
8.根据权利要求7所述的多模态情感识别方法，其特征在于：
所述步骤S4中，对每一个高维特征，计算其对于所属模态所有高维特征的注意力权重时，计算公式为：
其中，attni eeg代表第i个脑电高维特征对脑电模态所有脑电高维特征的注意力向量，attnj eye代表第j个眼动高维特征对眼动模态所有眼动高维特征的注意力向量；
根据注意力权重计算模态内融合的情感信息时，计算公式为：
其中，sum表示累加操作，
表示脑电模态第i个脑电高维特征对应的模态内融合情感信息，
表示眼动模态第j个眼动高维特征对应的模态内融合情感信息；
基于需要融合的情感信息对每个高维特征进行再次更新时，计算公式为：
其中，等式左侧的
对应再次更新后的脑电高维特征、眼动高维特征。
9.根据权利要求8所述的多模态情感识别方法，其特征在于：
所述步骤S5中，对每一类情感，分别构建N个情感强度检测器时，对于两个模态一共有2*4*N个情感强度检测器，对于情感c，将再次更新后的高维特征输入对应的所述情感强度检测器，每个所述情感强度检测器输出其对于当前情感类别的激活强度值，进而得到情感相关矩阵时，激活强度值Sm表达式为：
式中，conv代表一维卷积操作，σ代表sigmoid函数；
对于情感c，其脑电情感相关矩阵表达式为：
眼动情感相关矩阵表达式为：
根据情感相关矩阵提供的权重集结每个模态下的各个高维特征，形成单模态情感特征时，单模态情感特征表达式为：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述多模态情感识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010368593.2A CN111553295B (zh) | 2020-05-01 | 2020-05-01 | 基于自注意力机制的多模态情感识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010368593.2A CN111553295B (zh) | 2020-05-01 | 2020-05-01 | 基于自注意力机制的多模态情感识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553295A true CN111553295A (zh) | 2020-08-18 |
| CN111553295B CN111553295B (zh) | 2023-05-09 |
Family
ID=72007972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010368593.2A Active CN111553295B (zh) | 2020-05-01 | 2020-05-01 | 基于自注意力机制的多模态情感识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553295B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597884A (zh) * | 2020-12-22 | 2021-04-02 | 中国科学院计算技术研究所 | 手势识别模型的训练方法、手势识别方法及系统 |
| CN112612936A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 一种基于对偶转换网络的多模态情感分类方法 |
| CN112765323A (zh) * | 2021-01-24 | 2021-05-07 | 中国电子科技集团公司第十五研究所 | 基于多模态特征提取与融合的语音情感识别方法 |
| CN112906783A (zh) * | 2021-02-06 | 2021-06-04 | 西北大学 | 一种适用于跨被试的脑电情绪识别方法及装置 |
| CN113143273A (zh) * | 2021-03-23 | 2021-07-23 | 陕西师范大学 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
| CN113269173A (zh) * | 2021-07-20 | 2021-08-17 | 佛山市墨纳森智能科技有限公司 | 一种建立情感识别模型和识别人物情感的方法和装置 |
| CN113392918A (zh) * | 2021-06-24 | 2021-09-14 | 哈尔滨理工大学 | 一种基于多源信息融合的抑郁障碍相关因素识别方法 |
| CN113435234A (zh) * | 2021-03-25 | 2021-09-24 | 北京邮电大学 | 一种基于双模态视频eeg数据的驾驶员视觉显著性区域预测方法 |
| CN113609849A (zh) * | 2021-07-07 | 2021-11-05 | 内蒙古工业大学 | 一种融合先验知识模型的蒙古语多模态细粒度情感分析方法 |
| CN114287937A (zh) * | 2021-11-24 | 2022-04-08 | 杭州电子科技大学 | 一种基于多模态卷积神经网络的情绪识别方法 |
| CN114305415A (zh) * | 2021-11-25 | 2022-04-12 | 广东电网有限责任公司 | 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 |
| CN114366102A (zh) * | 2022-01-05 | 2022-04-19 | 广东电网有限责任公司 | 一种多模态紧张情绪识别方法、装置、设备及存储介质 |
| CN115169507A (zh) * | 2022-09-08 | 2022-10-11 | 华中科技大学 | 类脑多模态情感识别网络、识别方法及情感机器人 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188343A (zh) * | 2019-04-22 | 2019-08-30 | 浙江工业大学 | 基于融合注意力网络的多模态情感识别方法 |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN110515456A (zh) * | 2019-08-14 | 2019-11-29 | 东南大学 | 基于注意力机制的脑电信号情感判别方法及装置 |
| CN110826466A (zh) * | 2019-10-31 | 2020-02-21 | 南京励智心理大数据产业研究院有限公司 | 基于lstm音像融合的情感识别方法、装置及存储介质 |
| CN111026847A (zh) * | 2019-12-09 | 2020-04-17 | 北京邮电大学 | 一种基于注意力网络和长短期记忆网络的文本情感识别方法 |
-
2020
- 2020-05-01 CN CN202010368593.2A patent/CN111553295B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188343A (zh) * | 2019-04-22 | 2019-08-30 | 浙江工业大学 | 基于融合注意力网络的多模态情感识别方法 |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN110515456A (zh) * | 2019-08-14 | 2019-11-29 | 东南大学 | 基于注意力机制的脑电信号情感判别方法及装置 |
| CN110826466A (zh) * | 2019-10-31 | 2020-02-21 | 南京励智心理大数据产业研究院有限公司 | 基于lstm音像融合的情感识别方法、装置及存储介质 |
| CN111026847A (zh) * | 2019-12-09 | 2020-04-17 | 北京邮电大学 | 一种基于注意力网络和长短期记忆网络的文本情感识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| HARRIS PARTAOURIDES: "A SELF-ATTENTIVE EMOTION RECOGNITION NETWORK" * |
| JIANG-JIAN GUO: "Multimodal Emotion Recognition from Eye Image, Eye Movement and EEG Using Deep Neural Networks" * |
| LI-MING ZHAO等: "Classification of Five Emotions from EEG and Eye Movement Signals: Complementary Representation Properties" * |
| 吴良庆等: "基于情感信息辅助的多模态情绪识别" * |
| 黄泳锐等: "结合人脸图像和脑电的情绪识别技术" * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597884A (zh) * | 2020-12-22 | 2021-04-02 | 中国科学院计算技术研究所 | 手势识别模型的训练方法、手势识别方法及系统 |
| CN112612936A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 一种基于对偶转换网络的多模态情感分类方法 |
| CN112765323A (zh) * | 2021-01-24 | 2021-05-07 | 中国电子科技集团公司第十五研究所 | 基于多模态特征提取与融合的语音情感识别方法 |
| CN112906783A (zh) * | 2021-02-06 | 2021-06-04 | 西北大学 | 一种适用于跨被试的脑电情绪识别方法及装置 |
| CN113143273A (zh) * | 2021-03-23 | 2021-07-23 | 陕西师范大学 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
| CN113435234B (zh) * | 2021-03-25 | 2024-01-23 | 北京邮电大学 | 一种基于双模态视频eeg数据的驾驶员视觉显著性区域预测方法 |
| CN113435234A (zh) * | 2021-03-25 | 2021-09-24 | 北京邮电大学 | 一种基于双模态视频eeg数据的驾驶员视觉显著性区域预测方法 |
| CN113392918A (zh) * | 2021-06-24 | 2021-09-14 | 哈尔滨理工大学 | 一种基于多源信息融合的抑郁障碍相关因素识别方法 |
| CN113609849A (zh) * | 2021-07-07 | 2021-11-05 | 内蒙古工业大学 | 一种融合先验知识模型的蒙古语多模态细粒度情感分析方法 |
| CN113269173B (zh) * | 2021-07-20 | 2021-10-22 | 佛山市墨纳森智能科技有限公司 | 一种建立情感识别模型和识别人物情感的方法和装置 |
| CN113269173A (zh) * | 2021-07-20 | 2021-08-17 | 佛山市墨纳森智能科技有限公司 | 一种建立情感识别模型和识别人物情感的方法和装置 |
| CN114287937A (zh) * | 2021-11-24 | 2022-04-08 | 杭州电子科技大学 | 一种基于多模态卷积神经网络的情绪识别方法 |
| CN114305415A (zh) * | 2021-11-25 | 2022-04-12 | 广东电网有限责任公司 | 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 |
| CN114305415B (zh) * | 2021-11-25 | 2023-10-24 | 广东电网有限责任公司 | 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 |
| CN114366102A (zh) * | 2022-01-05 | 2022-04-19 | 广东电网有限责任公司 | 一种多模态紧张情绪识别方法、装置、设备及存储介质 |
| CN114366102B (zh) * | 2022-01-05 | 2024-03-01 | 广东电网有限责任公司 | 一种多模态紧张情绪识别方法、装置、设备及存储介质 |
| CN115169507A (zh) * | 2022-09-08 | 2022-10-11 | 华中科技大学 | 类脑多模态情感识别网络、识别方法及情感机器人 |
| CN115169507B (zh) * | 2022-09-08 | 2023-05-19 | 华中科技大学 | 类脑多模态情感识别网络、识别方法及情感机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553295B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553295B (zh) | 基于自注意力机制的多模态情感识别方法 | |
| Zhang et al. | Emotion recognition using multi-modal data and machine learning techniques: A tutorial and review | |
| Issa et al. | Emotion classification using EEG brain signals and the broad learning system | |
| US10928472B2 (en) | System and method for brain state classification | |
| Xu et al. | Learning EEG topographical representation for classification via convolutional neural network | |
| Li et al. | Brain-based computer interfaces in virtual reality | |
| Hossain et al. | Status of deep learning for EEG-based brain–computer interface applications | |
| Chao et al. | Improved Deep Feature Learning by Synchronization Measurements for Multi‐Channel EEG Emotion Recognition | |
| Rejer | EEG feature selection for BCI based on motor imaginary task | |
| Zhu et al. | A new approach for product evaluation based on integration of EEG and eye-tracking | |
| Zhao et al. | Expression EEG multimodal emotion recognition method based on the bidirectional LSTM and attention mechanism | |
| Hou et al. | EEG-based emotion recognition for hearing impaired and normal individuals with residual feature pyramids network based on time–frequency–spatial features | |
| Rahman et al. | EyeNet: An improved eye states classification system using convolutional neural network | |
| Subasi et al. | The Ensemble Machine Learning‐Based Classification of Motor Imagery Tasks in Brain‐Computer Interface | |
| Ye et al. | Identification of mental fatigue levels in a language understanding task based on multi-domain EEG features and an ensemble convolutional neural network | |
| Paul et al. | Deep learning and its importance for early signature of neuronal disorders | |
| Klibi et al. | Emotional behavior analysis based on EEG signal processing using Machine Learning: A case study | |
| Jiang et al. | Emotion recognition via multiscale feature fusion network and attention mechanism | |
| Kouka et al. | EEG channel selection-based binary particle swarm optimization with recurrent convolutional autoencoder for emotion recognition | |
| Ma et al. | A multi-channel feature fusion CNN-BI-LSTM epilepsy EEG classification and prediction model based on attention mechanism | |
| Su et al. | The multiscale 3D convolutional network for emotion recognition based on electroencephalogram | |
| Mahato et al. | Analysis of region of interest (RoI) of brain for detection of depression using EEG signal | |
| Gagliardi et al. | Improving emotion recognition systems by exploiting the spatial information of EEG sensors | |
| Wang et al. | EEG-based emotion identification using 1-D deep residual shrinkage network with microstate features | |
| Tang et al. | Eye movement prediction based on adaptive BP neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |