CN115019237A - 多模态情感分析方法、装置、电子设备及存储介质 - Google Patents

多模态情感分析方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115019237A
CN115019237A CN202210772281.7A CN202210772281A CN115019237A CN 115019237 A CN115019237 A CN 115019237A CN 202210772281 A CN202210772281 A CN 202210772281A CN 115019237 A CN115019237 A CN 115019237A
Authority
CN
China
Prior art keywords
sequence
modal
audio
emotion analysis
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210772281.7A
Other languages
English (en)
Other versions
CN115019237B (zh
Inventor
王昊
杨明川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202210772281.7A priority Critical patent/CN115019237B/zh
Publication of CN115019237A publication Critical patent/CN115019237A/zh
Application granted granted Critical
Publication of CN115019237B publication Critical patent/CN115019237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开提供了一种多模态情感分析方法、装置、电子设备及计算机存储介质，涉及情感分析技术领域。该方法包括：获取音频模态序列、视频模态序列的交互特征序列矩阵；将交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型；将融合特征序列矩阵分别与音频模态序列、视频模态序列及文本模态序列进行损失学习，优化情感分析模型，以便待识别的数据输入至情感分析模型，输出情感分类结果。本公开实施例能够捕获模态间的互补特征，并对模态序列进行损失学习，更有效地融合多模态的信息，指导情感分析，提高多模态情感分析的效率。

Description

多模态情感分析方法、装置、电子设备及存储介质
技术领域
本公开涉及情感分析技术领域，尤其涉及一种多模态情感分析方法、装置、电子设备及计算机存储介质。
背景技术
多模态情绪识别(Multimodal Sentiment Analysis，MSA)的目标是从一段视频序列中获得人类的情感类别，主要涉及视觉、音频和文本三个模态。多模态相较于单模态提供了更丰富的信息，所以更加符合人类的表现行为，人类往往通过同时处理和融合来自多种模态的高维输入来感知世界。但是如何高效地从所有输入的模态中提取并集成信息使机器能够正确的识别情感仍然是一大挑战。一方面，模态输入表示是不同的，高效的模态内编码能集成当前模态的高阶语义特征。另一方面，模态之间的学习是动态变化的，其中一些模态流包含的任务信息会比其他模态流更多。MSA算法可分为单模态表示和多模态融合两部分。其中，多模态融合的目标是学习一个模态不变的嵌入空间，并利用这些模态不变特征或将模态不变特征与特定模态特征聚合在一起来完成最终的预测。
现有的研究中，可将多模态融合的方式分为：早期融合、晚期融合和模型融合。早期融合是将多种模态数据经过提取、构建成相应的模态特征之后，再拼接成一个集成各个模态特征的特征集。相反，晚期融合是找出各个模型的置信度，再进行协调、联合决策。随着深度学习的发展，模型融合相较于前两种方式可以更灵活地选择融合的位置，考虑了来自不同模态的序列元素之间的内在相关性，使得多模态任务性能有了显著的提高。近来，模型融合通常使用基于注意力的方法来完成不同模态交互。
但是现有的通过多模态融合进行情感分析的方法存在以下问题：
跨模态注意力方法存在特征冗余的问题。音频模态和视觉模态包含密集的、高细粒度的信息，其中大部分是冗余的。例如，在音频和视觉的模态融合过程中，成对的跨模态注意力与多模态序列长度呈二次复杂性，这种操作是比较低效的；跨模态注意力机制无法较好地捕获模态间的互补特征。例如，并非全部的音频信息对视频信息有帮助，可能仅有一小部分音频信息可用于强化视频模态信息；不同模态流包含的有效信息数量存在差异。由于模态之间是动态变化的，其中一些模态流包含的任务相关信息会比其它模态流更多。例如，视觉模态比音频模态更能分类出快乐的情绪，音频模态更能分类出恐惧的情绪。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种多模态情感分析方法、装置、电子设备及计算机存储介质，至少在一定程度上克服相关技术中多模态情感分析低效的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供了一种多模态情感分析方法，包括：
获取音频模态序列、视频模态序列的交互特征序列矩阵；
将所述交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型；
将所述融合特征序列矩阵分别与所述音频模态序列、所述视频模态序列及所述文本模态序列进行损失学习，优化所述情感分析模型，以便待识别的数据输入至所述情感分析模型，输出情感分类结果。
在本公开的一个实施例中，所述交互特征序列矩阵为音频隐藏状态序列、视频隐藏状态序列的交互特征序列矩阵。
在本公开的一个实施例中，所述将所述交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型包括：
将所述交互特征序列矩阵与文本模态序列融合得到权重向量；
根据所述权重向量，生成所述融合特征序列矩阵。
在本公开的一个实施例中，所述将所述融合特征序列矩阵分别与所述音频模态序列、所述视频模态序列及所述文本模态序列进行损失学习，优化所述情感分析模型包括：
根据所述融合特征序列矩阵分别与所述音频模态序列、所述视频模态序列及所述文本模态序列进行损失学习，通过任务损失和对比损失的加权求和优化所述情感分析模型。
在本公开的一个实施例中，还包括：
基于BERT方法，对文本信息进行编码，生成文本模态序列；
基于LSTM网络，对音频信息进行编码，生成音频模态序列；
基于LSTM网络，对视频信息进行编码，生成视频模态序列。
在本公开的一个实施例中，还包括：
通过采样函数，将音频模态序列压缩成音频隐藏状态序列；
其中，音频模态序列是键值向量，音频隐藏状态序列为查询向量；
通过采样函数，将视频模态序列压缩成视频隐藏状态序列；
其中，视频模态序列是键值向量，视频隐藏状态序列是查询向量。
在本公开的一个实施例中，所述采样函数包括滑动采样函数、周期采样函数、随机采样函数。
根据本公开的另一个方面，还提供了一种多模态情感分析装置，包括：
交互特征序列矩阵生成模块，基于稀疏注意力机制，获取音频模态序列、视频模态序列的交互特征序列矩阵；
融合特征序列矩阵生成模块，将所述交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型；
情感分析模型优化模块，将所述融合特征序列矩阵分别与所述音频模态序列、所述视频模态序列及所述文本模态序列进行损失学习，优化所述情感分析模型，以便待识别的数据输入至所述情感分析模型，输出情感分类结果。
根据本公开的另一个方面，还提供了一种多模态情感分析系统，包括：
模态编码模块，对输入的多模态序列进行编码；
稀疏注意力模块，对多音频模态序列与视频模态序列，或音频隐藏状态序列与视频隐藏状态序列进行选择性注意力操作；
交叉注意力模块，将模态序列融合生成融合特征序列矩阵；
损失函数模块，捕获模态之间的模态不变性和模态特异性，使用对比预测编码损失来加强信息熵差异。
根据本公开的另一个方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述多模态情感分析方法。
根据本公开的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的多模态情感分析方法。
本公开的实施例所提供的多模态情感分析方法、装置、电子设备及计算机存储介质，基于稀疏注意力机制，获取音频模态序列、视频模态序列的交互特征序列矩阵，将交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型，将融合特征序列矩阵分别与音频模态序列、视频模态序列及文本模态序列进行损失学习，优化情感分析模型，以便待识别的数据输入至情感分析模型，输出情感分类结果，能够捕获模态间的互补特征，并对模态序列进行损失学习，更有效地融合多模态的信息，指导情感分析，提高多模态情感分析的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种多模态情感分析方法流程图；
图2示出本公开实施例中又一种多模态情感分析方法流程图；
图3示出本公开实施例中一种多模态序列生成方法流程图；
图4示出本公开实施例中一种多模态情感分析装置示意图；
图5示出本公开实施例中一种多模态情感分析系统示意图；
图6示出本公开实施例中一种稀疏注意力模块示意图；
图7示出本公开实施例中一种交叉注意力模块示意图；和
图8示出本公开实施例中一种电子设备的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图及实施例对本示例实施方式进行详细说明。
本公开实施例中提供了一种多模态情感分析方法，该方法可以由任意具备计算处理能力的电子设备执行。
图1示出本公开实施例中一种多模态情感分析方法流程图，如图1所示，本公开实施例中提供的多模态情感分析方法包括如下步骤：
S102，获取音频模态序列、视频模态序列的交互特征序列矩阵。
在一个实施例中，通过tanh函数获取音频模态序列、视频模态序列的交互特征序列矩阵。
S104，将交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型。
在一个实施例中，将音频模态序列、视频模态序列生成的交互特征序列矩阵，与文本模态序列融合，通过softmax函数生成融合特征序列矩阵及构建情感分析模型。
S106，将融合特征序列矩阵分别与音频模态序列、视频模态序列及文本模态序列进行损失学习，优化情感分析模型，以便待识别的数据输入至情感分析模型，输出情感分类结果。
在一个实施例中，根据融合特征序列矩阵分别与音频模态序列、视频模态序列及文本模态序列进行损失学习，通过任务损失和对比损失的加权求和优化情感分析模型。
在一个实施例中，根据融合特征序列矩阵分别与音频模态序列、视频模态序列及文本模态序列进行损失学习，获取对比预测编码损失函数，通过情感分析模型获取最终预测值及真实值，获取任务损失函数，将任务损失函数与对比预测编码损失函数加权求和生成综合损失函数，优化情感分析模型，以便待识别的数据输入至情感分析模型，输出情感分类结果。
上述实施例中，从多模态序列中提取和整合有效信息，同时保持模态间的相互独立性，利用源模态信息来加强文本模态；且对融合特征与每个单一模态的特征进行损失学习，并通过任务损失和对比损失的加权求和来优化情感分析模型，可用于情绪识别算法和机器人中，与通信技术相结合，可更加准确地实现动态复杂环境中依靠多模态来源信息识别判断人类情绪的任务。
图2示出本公开实施例中又一种多模态情感分析方法流程图，如图2所示，本公开实施例中提供的多模态情感分析方法包括如下步骤：
S202，获取音频隐藏状态序列、视频隐藏状态序列的交互特征序列矩阵。
在一个实施例中，通过采样函数，将音频模态序列压缩成音频隐藏状态序列；
其中，采样函数创建一个稀疏注意力掩码，音频模态序列是键值向量，音频隐藏状态序列为查询向量；
在一个实施例中，采样函数包括但不限于：滑动采样函数、周期采样函数、随机采样函数。
在一个实施例中，通过采样函数，将视频模态序列压缩成视频隐藏状态序列；
其中，采样函数创建一个稀疏注意力掩码，视频模态序列是键值向量，视频隐藏状态序列是查询向量。
在一个实施例中，通过稀疏注意力机制，获取音频隐藏状态序列、视频隐藏状态序列的交互特征序列矩阵。
需要说明的是，稀疏注意力机制是通过L层的稀疏注意力块SP-Blocks，对音频隐藏状态序列、视频隐藏状态序列进行选择性注意力操作。
在一个实施例中，通过tanh函数获取音频隐藏状态序列、视频隐藏状态序列的交互特征序列矩阵。
需要说明的是，tanh函数是激活函数，适用场景为二分类任务输出层、模型隐藏层。
S204，将交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型。
在一个实施例中，将交互特征序列矩阵与文本模态序列融合得到权重向量；根据权重向量，生成融合特征序列矩阵。
在一个实施例中，将音频隐藏状态序列、视频隐藏状态序列生成的交互特征序列矩阵，与文本模态序列融合，通过softmax函数生成融合特征序列矩阵及构建情感分析模型。
需要说明的是，softmax函数是激活函数，适用场景为多分类任务输出层。
S206，将融合特征序列矩阵分别与音频模态序列、视频模态序列及文本模态序列进行损失学习，优化情感分析模型，以便待识别的数据输入至情感分析模型，输出情感分类结果。
上述实施例中，通过稀疏注意力机制减少音频模态和视频模态的冗余，降低特征选择的复杂度，将音频和视觉模态与文本模态融合以获得权重向量，并将向量与文本模态相乘实现文本特征的进一步增强，增强模态之间的互补特征，生成文本的高阶密集语义特征，有效利用多模态之间的信息差异，提高多模态情感分析的准确性。
图3示出本公开实施例中一种多模态序列生成方法流程图，如图3所示，本公开实施例中提供的多模态序列生成方法包括如下步骤：
S302，基于BERT方法，对文本信息进行编码，生成文本模态序列；
在一个实施例中，通过BERT方法对文本信息进行编码，并用编码最后一层的headembedding作为文本信息的原始特征。
S304，基于LSTM网络，对音频信息进行编码，生成音频模态序列；
S306，基于LSTM网络，对视频信息进行编码，生成视频模态序列。
需要说明的是，BERT(Bidirectional Encoder Representations fromTransformers，基于转换器的双向编码表征)本质上是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，所谓自监督学习是指在没有人工标注的数据上运行的监督学习。
需要说明的是，LSTM(Long Short-Term Memory,长短期记忆)主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。
在一个实施例中，使用LSTM网络对视频信息及音频信息进行编码，获得视频信息及音频信息的时间特征。
上述实施例中，通过BERT方法对文本信息进行编码，使用LSTM网络对视频信息及音频信息进行编码，减少视频模态及音频模态的冗余，能够从多模态序列中提取和整合有效信息，同时保持模态间的相互独立性。
基于同一发明构思，本公开实施例中还提供了一种多模态情感分析装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图4示出本公开实施例中一种多模态情感分析装置示意图，如图4所示，该多模态情感分析装置4包括：交互特征序列矩阵生成模块401、融合特征序列矩阵生成模块402及情感分析模型优化模块403。
交互特征序列矩阵生成模块401，基于稀疏注意力机制，获取音频模态序列、视频模态序列的交互特征序列矩阵；
融合特征序列矩阵生成模块402，将交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型；
情感分析模型优化模块403，将融合特征序列矩阵分别与音频模态序列、视频模态序列及文本模态序列进行损失学习，优化情感分析模型，以便待识别的数据输入至情感分析模型，输出情感分类结果。
上述实施例中，从多模态序列中提取和整合有效信息，同时保持模态间的相互独立性，利用源模态信息来加强文本模态；且对融合特征与每个单一模态的特征进行损失学习，并通过任务损失和对比损失的加权求和来优化情感分析模型，可用于情绪识别算法和机器人中，与通信技术相结合，可更加准确地实现动态复杂环境中依靠多模态来源信息识别判断人类情绪的任务。
基于同一发明构思，本公开实施例中还提供了一种多模态情感分析系统，如下面的实施例。由于该系统实施例解决问题的原理与上述方法实施例相似，因此该系统实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图5示出本公开实施例中一种多模态情感分析系统示意图，如图5所示，该系统包括：模态编码模块501、稀疏注意力模块502、交叉注意力模块503及损失函数模块504。
模态编码模块501，对输入的多模态序列进行编码。
在一个实施例中，模态编码模块501包括：文本编码模块5010、音频编码模块5011、视频编码模块5012；
在一个实施例中，文本编码模块5010通过BERT方法对多模态序列Xt中的文本信息进行编码，并用编码最后一层的头部嵌入head embedding作为文本信息的原始特征序列。文本信息的上下文时间信息被概括为ht的长度表示。
文本信息的编码公式如下：
Figure BDA0003724657420000091
其中，ht为文本模态序列；
Xt为多模态序列；
Figure BDA0003724657420000092
为BERT模型训练好的参数；
Figure BDA0003724657420000093
是指ht的是维度为lt*dt的实数张量。
在一个实施例中，音频编码模块5011、视频编码模块5012使用LSTM网络对多模态序列Xt中的视频信息及音频信息进行编码，获得视频信息及音频信息的时间特征序列hm。
视频信息及音频信息的编码公式如下：
Figure BDA0003724657420000101
其中，hm为音频模态序列及视频模态序列；
Xt为多模态序列；
Figure BDA0003724657420000102
为LSTM网络的参数；
v为视频信息；
a为音频信息。
稀疏注意力模块502，是由L层的稀疏注意力块SP-Blocks组成的，接受音频模态序列与视频模态序列，或音频隐藏状态序列与视频隐藏状态序列作为输入，然后进行选择性注意力操作。
在一个实施例中，定义一个由L层的稀疏注意力块SP-Blocks组成的稀疏注意力模块(Sparse Phased Transformer，SPT)502。一个SP-Block记作
Figure BDA0003724657420000103
在一个实施例中，SPT每层包含具有布尔注意力掩码G的多头注意力(Multi-headed Self-attention，MSA)，层归一化(Layer Normalization，LN)和多层感知(Multilayer Perceptron,MLP)。
稀疏注意力机制的公式如下：
Figure BDA0003724657420000104
其中，
Figure BDA0003724657420000105
为音频模态序列及视频模态序列；
Figure BDA0003724657420000106
为经过SPT-Block稀疏注意力模块编码后更新的后一层的序列；
LN为层归一化函数；
MLP为多层感知函数；
MSA为多头注意力函数；
v为视频信息；
a为音频信息。
在一个实施例中，通过采样函数，将音频模态序列压缩成音频隐藏状态序列；
其中，采样函数创建一个稀疏注意力掩码，音频模态序列是键值向量，音频隐藏状态序列为查询向量；
在一个实施例中，通过采样函数，将视频模态序列压缩成视频隐藏状态序列；
其中，采样函数创建一个稀疏注意力掩码，视频模态序列是键值向量，视频隐藏状态序列是查询向量。
需要说明的是，音频模态序列或视频模态序列具有大量空间冗余的自然信号，包含低阶语义和单一特征，稀疏注意力模块(Sparse Phased Transformer，SPT)使用采样功能来产生稀疏的注意力矩阵，并将长序列压缩成较短的隐藏状态序列，提高了注意力计算的效率。
在一个实施例中，图6示出本公开实施例中一种稀疏注意力模块示意图，如图6所示，该稀疏注意力模块包括：音频模态序列及视频模态序列hm601、音频隐藏状态序列及视频隐藏状态序列hf602；
在一个实施例中，采样函数包括但不限于滑动采样函数、周期采样函数、随机采样函数。采样函数可以以音频模态序列及视频模态序列hm601为单位定义单个或多个间隔，并用于计算布尔型变量注意力掩码。音频隐藏状态序列及视频隐藏状态序列hf602最多涉及音频模态序列及视频模态序列的多个输入状态。本公开实施例以五个输入状态为例进行介绍。在混合采样中，每个隐藏状态的采样间隔将随着取决于滑动层的距离、以其索引作为参数的周期函数和随机扰动而变化，这使其以动态方式采样，与静态(固定)采样相反。最终，获得音频隐藏状态序列及视频隐藏状态序列hf602。
在一个实施例中，图7示出本公开实施例中一种交叉注意力模块示意图，如图7所示，该交叉注意力模块包括：linear函数701、tanh函数702、softmax函数703、文本模态序列ht704、音频隐藏状态序列ha705及视频隐藏状态序列hv706、融合特征序列矩阵707。
交叉注意力模块，将文本模态序列ht704、音频隐藏状态序列ha705及视频隐藏状态序列hv706三种序列
Figure BDA0003724657420000111
并通过线性linear函数701映射获得了低维度的特征。
需要说明的是，linear函数701是激活函数，适用场景为线性层。
在一个实施例中，通过公式(4)使用tanh函数702获取音频隐藏状态序列及视频隐藏状态序列的交互特征序列矩阵。
在一个实施例中，通过公式(5)使用softmax函数703将交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵707。
Figure BDA0003724657420000121
Figure BDA0003724657420000122
其中，Wi代表线性变换的权重矩阵；
I为文本模态序列、音频隐藏状态序列及视频隐藏状态序列；
bi代表偏置值；
dh是权重分数的维数；
Figure BDA0003724657420000123
表示向量乘法；
Figure BDA0003724657420000124
是三种模态的融合特征序列矩阵。
Figure BDA0003724657420000125
为交互特征序列矩阵。
上述实施例中，音频及视频属于低阶特征，而文本是一种人类语言表达，具有更高级别的语义信息。通过将音频隐藏状态序列及视频隐藏状态序列与文本模态序列之间的注意力权重来加强音频隐藏状态序列及视频隐藏状态序列，通过不对称的融合方法来捕获模式之间的互补信息。
损失函数模块504，用于捕获模态之间的模态不变性和模态特异性，使用对比预测编码损失来加强信息熵差异。
在一个实施例中，计算三种模态的融合特征序列矩阵
Figure BDA0003724657420000126
和文本模态序列ht、音频隐藏状态序列ha及视频隐藏状态序列hv之间的差距，即通过公式(6)使用损失函数对标准化预测和真实向量进行测量，以测量它们的相关性。
Figure BDA0003724657420000127
其中，
Figure BDA0003724657420000128
为三种模态的对比预测编码损失函数之和；
Figure BDA0003724657420000129
为视频模态的损失函数；
Figure BDA00037246574200001210
为音频模态的损失函数；
Figure BDA00037246574200001211
为文本模态的损失函数。
需要说明的是，将同一批次中该模态的所有其他表示视为负样本，将对比预测编码损失函数纳入噪声对比度估计框架。
需要说明的是，
Figure BDA0003724657420000131
在时间范围内进行上下文和未来元素之间的信息熵，以在许多时间步长中保留缓慢的部分特征。
在一个实施例中，通过调整每一个预测结果来确定应该从每个模态获得多少信息。
在一个实施例中，通过三种模态的融合特征序列矩阵
Figure BDA0003724657420000132
进行情绪类别预测。获取最终预测值y和真实值
Figure BDA0003724657420000133
后，可以得到该任务的损失函数：
Figure BDA0003724657420000134
其中，MAE表示平均绝对值误差损失。
y为预测值；
Figure BDA0003724657420000135
为真实值；
Figure BDA0003724657420000136
为任务损失函数。
在一个实施例中，通过计算上述损失函数的加权总和来得到综合损失函数：
Figure BDA0003724657420000137
其中，α是控制交互信息最大化的影响的超参数；
Figure BDA0003724657420000138
为综合损失函数；
Figure BDA0003724657420000139
为任务损失函数；
Figure BDA00037246574200001310
为三种模态的对比预测编码损失函数之和。
上述实施例中，将长序列压缩成较短的隐藏状态序列，提高了注意力计算的效率，根据不同模态的语义层次，将音频和视觉模态与文本模态融合以获得权重向量，并将向量与文本模态相乘实现文本特征的进一步增强，增强模态之间的互补特征，根据融合特征序列矩阵
Figure BDA00037246574200001311
与音频模态序列、视频模态序列及文本模态序列，生成综合损失函数，通过综合损失函数，优化特征的集成和选择，提高多模态情感分析的准确性。
多模态情感分析方法与机器人认知感知技术深度结合，搭载于特定功能或通用功能的机器人智能体上。
网络用以在机器人智能体和服务器之间提供通信链路的介质，可以是有线网络，也可以是无线网络。
可选地，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(InternetProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
可选地，不同的机器人智能体中安装的应用程序的客户端是相同的，或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同。
服务器可以是提供各种服务的服务器，例如对机器人智能体所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
可选地，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本领域技术人员可以知晓，机器人智能体、网络和服务器的数量仅仅是示意性的，根据实际需要，可以具有任意数目的终端设备、网络和服务器。本公开实施例对此不作限定。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。
其中，存储单元存储有程序代码，程序代码可以被处理单元810执行，使得处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
例如，处理单元810可以执行上述方法实施例的如下步骤：获取音频模态序列、视频模态序列的交互特征序列矩阵；将所述交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型；将所述融合特征序列矩阵分别与所述音频模态序列、所述视频模态序列及所述文本模态序列进行损失学习，优化所述情感分析模型，以便待识别的数据输入至所述情感分析模型，输出情感分类结果。
例如，处理单元810可以执行上述方法实施例的如下步骤：获取音频隐藏状态序列、视频隐藏状态序列的交互特征序列矩阵；将交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型；将融合特征序列矩阵分别与音频模态序列、视频模态序列及文本模态序列进行损失学习，优化情感分析模型，以便待识别的数据输入至情感分析模型，输出情感分类结果。
例如，处理单元810可以执行上述方法实施例的如下步骤：对输入的多模态序列进行编码；对多音频模态序列与视频模态序列，或音频隐藏状态序列与视频隐藏状态序列进行选择性注意力操作；将模态序列融合生成融合特征序列矩阵；捕获模态之间的模态不变性和模态特异性，使用对比预测编码损失来加强信息熵差异。
存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备840(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。其上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可选地，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种多模态情感分析方法，其特征在于，包括：
获取音频模态序列、视频模态序列的交互特征序列矩阵；
将所述交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型；
将所述融合特征序列矩阵分别与所述音频模态序列、所述视频模态序列及所述文本模态序列进行损失学习，优化所述情感分析模型，以便待识别的数据输入至所述情感分析模型，输出情感分类结果。
2.根据权利要求1所述的多模态情感分析方法，其特征在于，还包括：所述交互特征序列矩阵为音频隐藏状态序列、视频隐藏状态序列的交互特征序列矩阵。
3.根据权利要求1所述的多模态情感分析方法，其特征在于，所述将所述交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型包括：
将所述交互特征序列矩阵与文本模态序列融合得到权重向量；
根据所述权重向量，生成所述融合特征序列矩阵。
4.根据权利要求1所述的多模态情感分析方法，其特征在于，所述将所述融合特征序列矩阵分别与所述音频模态序列、所述视频模态序列及所述文本模态序列进行损失学习，优化所述情感分析模型包括：
根据所述融合特征序列矩阵分别与所述音频模态序列、所述视频模态序列及所述文本模态序列进行损失学习，通过任务损失和对比损失的加权求和优化所述情感分析模型。
5.根据权利要求1所述的多模态情感分析方法，其特征在于，还包括：
基于BERT方法，对文本信息进行编码，生成文本模态序列；
基于LSTM网络，对音频信息进行编码，生成音频模态序列；
基于LSTM网络，对视频信息进行编码，生成视频模态序列。
6.根据权利要求2所述的多模态情感分析方法，其特征在于，还包括：
通过采样函数，将音频模态序列压缩成音频隐藏状态序列；
其中，音频模态序列是键值向量，音频隐藏状态序列为查询向量；
通过采样函数，将视频模态序列压缩成视频隐藏状态序列；
其中，视频模态序列是键值向量，视频隐藏状态序列是查询向量。
7.根据权利要求6所述的多模态情感分析方法，其特征在于，所述采样函数包括滑动采样函数、周期采样函数、随机采样函数。
8.一种多模态情感分析装置，其特征在于，包括：
交互特征序列矩阵生成模块，基于稀疏注意力机制，获取音频模态序列、视频模态序列的交互特征序列矩阵；
融合特征序列矩阵生成模块，将所述交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模型；
情感分析模型优化模块，将所述融合特征序列矩阵分别与所述音频模态序列、所述视频模态序列及所述文本模态序列进行损失学习，优化所述情感分析模型，以便待识别的数据输入至所述情感分析模型，输出情感分类结果。
9.一种多模态情感分析系统，其特征在于，包括：
模态编码模块，对输入的多模态序列进行编码；
稀疏注意力模块，对多音频模态序列与视频模态序列，或音频隐藏状态序列与视频隐藏状态序列进行选择性注意力操作；
交叉注意力模块，将模态序列融合生成融合特征序列矩阵；
损失函数模块，捕获模态之间的模态不变性和模态特异性，使用对比预测编码损失来加强信息熵差异。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述多模态情感分析方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的多模态情感分析方法。
CN202210772281.7A 2022-06-30 2022-06-30 多模态情感分析方法、装置、电子设备及存储介质 Active CN115019237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210772281.7A CN115019237B (zh) 2022-06-30 2022-06-30 多模态情感分析方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210772281.7A CN115019237B (zh) 2022-06-30 2022-06-30 多模态情感分析方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115019237A true CN115019237A (zh) 2022-09-06
CN115019237B CN115019237B (zh) 2023-12-08

Family

ID=83078925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210772281.7A Active CN115019237B (zh) 2022-06-30 2022-06-30 多模态情感分析方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115019237B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713722A (zh) * 2023-01-06 2023-02-24 山东建筑大学 一种多模态第一视角视频分类方法及系统
CN116028624A (zh) * 2023-01-10 2023-04-28 深圳无芯科技有限公司 互动机器人的情感计算方法以及相关设备
CN116701708A (zh) * 2023-07-27 2023-09-05 上海蜜度信息技术有限公司 多模态增强的视频分类方法、系统、存储介质及电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614895A (zh) * 2018-10-29 2019-04-12 山东大学 一种基于attention特征融合的多模态情感识别的方法
WO2019103484A1 (ko) * 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
CN110033029A (zh) * 2019-03-22 2019-07-19 五邑大学 一种基于多模态情感模型的情感识别方法和装置
CN110287389A (zh) * 2019-05-31 2019-09-27 南京理工大学 基于文本、语音和视频融合的多模态情感分类方法
CN112541541A (zh) * 2020-12-10 2021-03-23 杭州电子科技大学 基于多元素分层深度融合的轻量级多模态情感分析方法
CN112559835A (zh) * 2021-02-23 2021-03-26 中国科学院自动化研究所 多模态情感识别方法
US20210151034A1 (en) * 2019-11-14 2021-05-20 Comcast Cable Communications, Llc Methods and systems for multimodal content analytics
WO2021134417A1 (zh) * 2019-12-31 2021-07-08 深圳市优必选科技股份有限公司 交互行为预测方法、智能装置和计算机可读存储介质
CN113420807A (zh) * 2021-06-22 2021-09-21 哈尔滨理工大学 基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法
CN113435496A (zh) * 2021-06-24 2021-09-24 湖南大学 一种基于注意力机制的自适应融合的多模态情感分类方法
US11194972B1 (en) * 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN113837265A (zh) * 2021-09-22 2021-12-24 湖南工业大学 基于联合域分离表示分层图融合网络的多模态情感分析方法
US11281945B1 (en) * 2021-02-26 2022-03-22 Institute Of Automation, Chinese Academy Of Sciences Multimodal dimensional emotion recognition method
CN114419509A (zh) * 2022-01-24 2022-04-29 烟台大学 一种多模态情感分析方法、装置及电子设备
CN114511906A (zh) * 2022-01-20 2022-05-17 重庆邮电大学 基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备
KR20220076247A (ko) * 2020-11-30 2022-06-08 연세대학교 산학협력단 멀티모달 융합 기반 감정 인식 장치 및 방법

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019103484A1 (ko) * 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
CN109614895A (zh) * 2018-10-29 2019-04-12 山东大学 一种基于attention特征融合的多模态情感识别的方法
CN110033029A (zh) * 2019-03-22 2019-07-19 五邑大学 一种基于多模态情感模型的情感识别方法和装置
CN110287389A (zh) * 2019-05-31 2019-09-27 南京理工大学 基于文本、语音和视频融合的多模态情感分类方法
US20210151034A1 (en) * 2019-11-14 2021-05-20 Comcast Cable Communications, Llc Methods and systems for multimodal content analytics
WO2021134417A1 (zh) * 2019-12-31 2021-07-08 深圳市优必选科技股份有限公司 交互行为预测方法、智能装置和计算机可读存储介质
KR20220076247A (ko) * 2020-11-30 2022-06-08 연세대학교 산학협력단 멀티모달 융합 기반 감정 인식 장치 및 방법
CN112541541A (zh) * 2020-12-10 2021-03-23 杭州电子科技大学 基于多元素分层深度融合的轻量级多模态情感分析方法
US11194972B1 (en) * 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN112559835A (zh) * 2021-02-23 2021-03-26 中国科学院自动化研究所 多模态情感识别方法
US11281945B1 (en) * 2021-02-26 2022-03-22 Institute Of Automation, Chinese Academy Of Sciences Multimodal dimensional emotion recognition method
CN113420807A (zh) * 2021-06-22 2021-09-21 哈尔滨理工大学 基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法
CN113435496A (zh) * 2021-06-24 2021-09-24 湖南大学 一种基于注意力机制的自适应融合的多模态情感分类方法
CN113837265A (zh) * 2021-09-22 2021-12-24 湖南工业大学 基于联合域分离表示分层图融合网络的多模态情感分析方法
CN114511906A (zh) * 2022-01-20 2022-05-17 重庆邮电大学 基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备
CN114419509A (zh) * 2022-01-24 2022-04-29 烟台大学 一种多模态情感分析方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯广等: "基于话语间时序多模态数据的情绪分析方法", 《计算机系统应用》, vol. 31, no. 05 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713722A (zh) * 2023-01-06 2023-02-24 山东建筑大学 一种多模态第一视角视频分类方法及系统
CN115713722B (zh) * 2023-01-06 2023-04-25 山东建筑大学 一种多模态第一视角视频分类方法及系统
CN116028624A (zh) * 2023-01-10 2023-04-28 深圳无芯科技有限公司 互动机器人的情感计算方法以及相关设备
CN116028624B (zh) * 2023-01-10 2023-08-25 深圳无芯科技有限公司 互动机器人的情感计算方法以及相关设备
CN116701708A (zh) * 2023-07-27 2023-09-05 上海蜜度信息技术有限公司 多模态增强的视频分类方法、系统、存储介质及电子设备
CN116701708B (zh) * 2023-07-27 2023-11-17 上海蜜度信息技术有限公司 多模态增强的视频分类方法、系统、存储介质及电子设备

Also Published As

Publication number Publication date
CN115019237B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN115019237B (zh) 多模态情感分析方法、装置、电子设备及存储介质
CN109859736B (zh) 语音合成方法及系统
CN111428015B (zh) 一种信息生成方法、装置、设备及存储介质
JP2021108094A (ja) 対話モデルを生成するための方法及び装置
CN112214591B (zh) 一种对话预测的方法及装置
US20230014105A1 (en) Image description generation method, apparatus and system, and medium and electronic device
CN114707513A (zh) 一种文本语义识别方法、装置、电子设备和存储介质
CN114443899A (zh) 视频分类方法、装置、设备及介质
CN115803806A (zh) 用于训练双模式机器学习言语识别模型的系统和方法
CN116578684A (zh) 基于知识图谱的问答方法、装置以及相关设备
CN113239799A (zh) 训练方法、识别方法、装置、电子设备和可读存储介质
CN116306704A (zh) 篇章级文本机器翻译方法、系统、设备及介质
CN115496226A (zh) 基于梯度调节的多模态情绪分析方法、装置、设备及存储
CN112732896B (zh) 目标信息显示方法、装置、电子设备和介质
CN115146645A (zh) 一种语义解析方法以及相关设备
CN115063536B (zh) 图像生成方法、装置、电子设备及计算机可读存储介质
CN115238805B (zh) 异常数据识别模型的训练方法及相关设备
CN113571063B (zh) 语音信号的识别方法、装置、电子设备及存储介质
US20240119713A1 (en) Channel Fusion for Vision-Language Representation Learning
CN117711441A (zh) 音频情绪识别模型的训练方法、装置、设备和可读介质
CN116978362A (zh) 槽位预测模型的训练与预测方法、装置、设备及存储介质
CN117424837A (zh) 网络流量检测方法、装置、电子设备及存储介质
CN117891913A (zh) 多模态视听问题的答案预测方法、电子设备及介质
CN117391065A (zh) 多语种的语句识别方法、装置和设备及计算机存储介质
CN116975289A (zh) 基于语义信息的文本属性级情感分类方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant