CN115205930A - 一种基于决策融合的多模态情感分类方法 - Google Patents

一种基于决策融合的多模态情感分类方法 Download PDF

Info

Publication number
CN115205930A
CN115205930A CN202210724880.1A CN202210724880A CN115205930A CN 115205930 A CN115205930 A CN 115205930A CN 202210724880 A CN202210724880 A CN 202210724880A CN 115205930 A CN115205930 A CN 115205930A
Authority
CN
China
Prior art keywords
sub
classifiers
classifier
data
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210724880.1A
Other languages
English (en)
Inventor
刘博�
季新婵
王慧娜
李金梦
朱念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210724880.1A priority Critical patent/CN115205930A/zh
Publication of CN115205930A publication Critical patent/CN115205930A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于决策融合的多模态情感分类方法属于情感分类技术领域。本发明通过对不同模态数据的特征提取和基于统计分析的特征筛选方式来建立单模态数据的特征集，然后将其输入分类模型并获得最优子分类器，然后在决策级别进行多个子分类器的融合。本发明综合考虑了所有子分类器，并根据各个分类器的性能来进行权重更新，在权重更新方式上，本发明通过计算各个分类器的累计损失来考量子分类器性能，对性能优越的分类器给予奖励，并对错分的分类器给予惩罚，实现一种综合子分类器的历史表现和当前迭代的表现来进行权重更新的方式，对各个分类器的权重赋值更加科学合理。本发明实现了更准确的多模态分类方法，综合多模态数据使模型更具解释性。

Description

一种基于决策融合的多模态情感分类方法
技术领域：
本发明属于情感分类技术领域，尤其涉及一种基于获取有效的多模态数据特征和在决策级别进行权重自学习融合的情感分类方法。
背景技术：
情感分类是智能理解的重要问题之一，在多媒体、社交平台以及医疗领域都要重要的应用价值。现有情感分类方法多数集中于使用单模态特征进行分类，例如文本、语音等，纳入的特征过于单一，难以获得全面的视图。但随着互联网的发展，大量多源、异构数据使情感分类问题有了更丰富的信息来源，使用多模态特征进行分类成为新的方向。但目前基于多模态数据的分类方法大多直接进行特征级别的融合，由于多模态特征的差异性，融合过程不可避免地会产生信息的损失。以上问题最终都会导致情感分类的准确性较差，难以进行有价值的应用。
特征融合领域包括早期融合和后期融合，其中后期融合也叫决策融合，决策融合不是在特征融合后训练单个模型，而是对各类特征分别训练得到后的子分类器结果进行融合。本发明将决策融合应用到多模态数据，每个子分类器只用单模态特征进行模型训练，这一定程度上保留了完整的单模态信息，单个模型更具解释性；之后再进行决策层面的融合，综合多模态信息的分类结果得到最终模型，获得更高精准度。进行决策融合时，综合多个子分类器结果的传统方式包括均值法、最大值法和多数投票法等。这些方法或者不能全面考虑所有子分类器，丧失融合的意义；或者在融合时不能考虑到各个子分类器的性能来决定最终结果，分类性能有待提高。
发明内容
本发明要解决的技术问题是，提供一种基于决策融合的多模态情感分类方法。该方法的核心技术包括从多模态数据中获取有意义的重要特征并分别训练子分类器，然后在所有样本中进行迭代，基于一种对每个子分类器的性能度量来训练每一个子分类器的权重。
一种基于决策融合的多模态情感分类方法包括以下步骤：
步骤1、获取数据集。获取一组多模态数据和对应标签数据，多模态数据可包括音频、图像以及文本类型，且各模态数据之间互相对应。
步骤2、多模态数据特征提取。对原始各模态数据，根据数据类型选择不同的方式进行特征提取。
步骤3、构建多模态数据特征集。提取到多模态特征后，采用基于统计学的方法对其从单变量分析与多变量分析两个方面进行特征筛选，从而获取各个单模态数据中有意义的特征。
步骤4、将步骤3得到的各单模态特征集与标签输入支持向量机SVM、决策树、随机森林、逻辑回归模型进行训练，得到分类准确率最高的子分类器并保存。
步骤5、对获取的各子分类器进行决策级别的融合，将各子分类器的当前准确率与历史累计损失均纳入考虑，来综合比较各个子分类器的性能与稳定性，采用一种权重自学习的方式训练各个子分类器的权重。
作为优选，步骤2具体包含以下步骤：
步骤2.1、对于获取的原始音频数据，对其进行特征提取。使用协同语音分析库COVAREP，从音频中提取梅尔倒谱系数MFCCs、音高跟踪和浊音/清音分割特征、声门源参数、峰值斜率参数和最大色散商特征。
步骤2.2、对于获取的原始图像数据，对其进行特征提取。使用面部动作编码系统FACS来进行面部表情的特征提取，包括面部标记、面部动作单元、头部姿势和视线轨迹。
步骤2.3、对于获取的原始文本数据，对其使用基于Transformer的双向编码器表征BERT来进行特征提取。
作为备选，模态数据中若包含视频数据，也可对其从音频、图像、文本三个方面按以上步骤2.1-2.3来进行特征提取。
作为优选，步骤3具体包含以下步骤：
步骤3.1、对于特征值均为数值的模态数据，对其进行标准化处理，将其中的每一个特征结合患者类别信息，使用一种基于信噪比的指标来对每一个特征进行度量，认为信噪比值越大，则该特征越重要。信噪比计算公式为：
Figure BDA0003712897720000031
式中
Figure BDA0003712897720000034
代表第n个特征的信噪比值，m表示类别数，μi(fn)和μj(fn)表示特征fn在第i类和第j类的平均值，δi(fn)和δi(fn)分别表示特征fn在第i类和第j类的标准差，式
Figure BDA0003712897720000032
代表比较总次数。
根据得到的每个特征的SNR，选SNR>0.6的特征进行特征间的相关性分析。对于相关性高于0.6的两个特征，选择其中方差更小的一个删除。
步骤3.2、对于特征值为等级或类别等非数值类型的特征，对其实行基于分类类别的卡方分析和费希尔fisher检验，选择在两种统计分析结果中在不同类别均有显著性差异、p值均小于0.05的特征作为最终特征。
步骤3.3、对各模态数据进行整合，并对非数值类型的特征进行one-hot独热编码。
作为优选，步骤5具体包含以下步骤：
步骤5.1、对各个子分类器的权重进行初始化，设置为wi＝1/k，wi代表第i个子分类器的权重，k为子分类器个数；对损失进行初始化，lossi＝0，lossi代表第i个子分类器的累计损失。
步骤5.2、对于有n个样本的集合X＝{x1,x2,...,xn}，每次取xj∈X，将xj的k类特征分别输入k个子分类器，得出每个子分类器在每一个类别上的概率分数。
Figure BDA0003712897720000035
表示第i个子分类器在类别q上的预测分数，计算样本xj在k个子分类器的属于类别q的加权预测分数，并获取各类别加权分数集合：
Figure BDA0003712897720000033
WS＝{WS1,WS2,...WSm}
其中，WSq为样本xj在k个子分类器上预测结果属于类别q的加权分数，wi代表第i个子分类器的当前权重。WS为样本xj在k个子分类器上属于各个类别的加权分数集合，其中，m表示类别数。
获得最大预测分数所属类别，即加权融合后的模型的预测结果：
y＝argmax{WS}
其中，argmax()函数实现获取集合中最大值的索引，此处即可获得最大预测分数所属类别。
步骤5.3、判断得到的类别标签是否与真实标签一致，如果一致，则分类正确，继续下面的步骤；否则分类错误，舍弃当前样本，返回步骤5.2进行下一个样本的迭代。
步骤5.4、对于上述分类结果错误的l个分类器，进行权重更新，给予惩罚：
Figure BDA0003712897720000041
其中，n为训练的总样本数，l为错分的子分类器数。
对于上述分类结果正确的子分类器，更新累计损失：
Figure BDA0003712897720000042
其中，
Figure BDA0003712897720000043
表示第i个子分类器在预测类别y上的预测分数。
之后根据累计损失从小到大排序，对前l个分类器，进行权重更新，给予奖励：
Figure BDA0003712897720000044
其中，n为训练的总样本数，l为错分的子分类器数。
步骤5.5、返回步骤5.2，开始对下一个样本进行上述操作，直至遍历完成所有样本，得到最终各个子分类器的最终权重并保存。
作为优选，所述步骤1中获取多模态数据时，可下载公共数据集进行实验，也可从其他渠道收集获取，实施者也可在本发明基础上增加或替换其它类型的单模态数据。本发明具有一定灵活性，后续步骤中特征和子分类器的选择可根据所收集数据进行调整。
本发明实现了一种多模态情感分类方法，将多模态数据集成，并实现基于权重自学习的决策级融合模型。本发明通过对不同模态数据的特征提取和基于统计分析的特征筛选方式来建立单模态数据的特征集，然后将其输入分类模型并获得最优子分类器，然后在决策级别进行多个子分类器的融合。与以往技术不同，本发明在已有决策融合方法基础上，综合考虑了所有子分类器，并根据各个分类器的性能来进行权重更新，在权重更新方式上，本发明通过计算各个分类器的累计损失来考量子分类器性能，对性能优越的分类器给予奖励，并对错分的分类器给予惩罚，实现一种综合子分类器的历史表现和当前迭代的表现来进行权重更新的方式，对各个分类器的权重赋值更加科学合理。本发明实现了更准确的多模态分类方法，综合多模态数据使模型更具解释性。
附图说明：
图1为本发明所提出的一种基于决策融合的多模态情感分类方法的总流程图；
图2为本发明所涉及决策融合权重更新示意图；
图3为本发明所得融合模型的预测示意图。
具体实施方式：
以下结合具体实例并参照附图，对本发明的技术方案进行详细叙述。
如图1所示，一种基于决策融合的多模态情感分类方法，具体按以下步骤实施：
步骤1、获取数据集。获取一组多模态数据和对应标签数据，多模态数据可包括音频、图像以及文本类型，且各模态数据之间互相对应。
所述多模态数据均为从开源平台获取的公共数据集。
步骤2、多模态数据特征提取。对原始各模态数据，根据数据类型，选择不同的方式进行特征提取。
步骤2.1、对于获取的原始音频数据，对其进行特征提取。使用协同语音分析库COVAREP，从音频中提取梅尔倒谱系数MFCCs、音高跟踪和浊音/清音分割特征、声门源参数、峰值斜率参数和最大色散商特征。
步骤2.2、对于获取的原始图像数据，对其进行特征提取。使用面部动作编码系统FACS来进行面部表情的特征提取，包括面部标记、面部动作单元、头部姿势和视线轨迹。
步骤2.3、对于获取的原始文本数据，对其使用基于Transformer的双向编码器表征BERT来进行特征提取。
所述模态数据中若包含视频数据，也可对其从音频、图像、文本三个方面按以上步骤2.1-2.3来进行特征提取。
步骤3、构建多模态数据特征集。提取到多模态特征后，考虑到特征的冗余性，采用基于统计学的方法对其从单变量分析与多变量分析两个方面进行特征筛选，从而获取各个单模态数据中有意义的特征。
步骤3.1、对于特征值均为数值的模态数据，对其进行标准化处理，将其中的每一个特征结合患者类别信息，使用一种基于信噪比的指标来对每一个特征进行度量，认为信噪比值越大，则该特征越重要。信噪比计算公式为：
Figure BDA0003712897720000061
式中
Figure BDA0003712897720000062
代表第n个特征的信噪比值，m表示类别数，μi(fn)和μj(fn)表示特征fn在第i类和第j类的平均值，δi(fn)和δi(fn)分别表示特征fn在第i类和第j类的标准差，式
Figure BDA0003712897720000063
代表比较总次数。
根据得到的每个特征的SNR，选SNR>0.6的特征进行多变量特征筛选，此处是为了消除由于特征间相关性较大对模型产生的过拟合影响。首先计算两两特征之间的相关性，之后计算每个特征的方差，对于两个特征之间相关性大于0.6的，选择其中方差更小的一个删除，最终保留的即为最终的特征。相关性分析公式如下：
Figure BDA0003712897720000064
其中ρxy表示变量x,y之间的相关性，
Figure BDA0003712897720000065
为变量x，y在所有患者上的表达均值。
步骤3.2、对于特征值为等级或类别等非数值类型的特征，对其实行基于分类类别的卡方分析和费希尔fisher检验，选择在两种统计分析结果中在不同类别均有显著性差异、p值均小于0.05的特征作为最终特征。
步骤3.3、对各模态数据进行整合，并对非数值类型的特征进行one-hot独热编码。最终获得包括音频特征、图像特征、文本特征的各单模态特征集。
步骤4、将步骤3得到的各单模态特征集与标签输入支持向量机SVM、决策树、随机森林、逻辑回归模型进行训练，得到分类准确率最高的子分类器并保存。
步骤4.1、将步骤3所得视频特征分别输入支持向量机SVM、决策树、随机森林、逻辑回归模型进行训练，获取分类准确率最高的模型并保存；
步骤4.2、将步骤3所得音频特征分别输入支持向量机SVM、决策树、随机森林、逻辑回归模型进行训练，获取分类准确率最高的模型并保存；
步骤4.3、将步骤3所得图像特征分别输入支持向量机SVM、决策树、随机森林、逻辑回归模型进行训练，获取分类准确率最高的模型并保存；
步骤5、对获取的各子分类器进行决策级别的融合，将各子分类器的历史累计损失纳入考虑，采用一种权重自学习的方式训练各个子分类器的权重。权重训练过程如图2所示。
步骤5.1、对各个子分类器的权重进行初始化，设置为wi＝1/k，wi代表第i个子分类器的权重，k为子分类器个数；对损失进行初始化，lossi＝0，lossi代表第i个子分类器的累计损失。
步骤5.2、对于有n个样本的集合X＝{x1,x2,...,xn}，每次取xj∈X，将xj的k类特征分别输入k个子分类器，得出每个子分类器在每一个类别上的概率分数。
Figure BDA0003712897720000071
表示第i个子分类器在类别q上的预测分数，计算样本xj在k个子分类器的属于类别q的加权预测分数，并获取各类别加权分数集合：
Figure BDA0003712897720000072
WS＝{WS1,WS2,...WSm}
其中，WSq为样本xj在k个子分类器上预测结果属于类别q的加权分数，wi代表第i个子分类器的当前权重。WS为样本xj在k个子分类器上属于各个类别的加权分数集合，其中，m表示类别数。
获得最大预测分数所属类别，即加权融合后的模型的预测结果：
y＝argmax{WS}
其中，argmax()函数实现获取集合中最大值的索引，此处即可获得最大预测分数所属类别。
步骤5.3、判断得到的类别标签是否与真实标签一致，如果一致，则分类正确，继续下面的步骤；否则分类错误，舍弃当前样本，返回步骤5.2进行下一个样本的迭代。
步骤5.4、对于上述分类结果错误的l个分类器，进行权重更新，给予惩罚：
Figure BDA0003712897720000081
其中，n为训练的总样本数，l为错分的子分类器数。
对于上述分类结果正确的子分类器，更新累计损失：
Figure BDA0003712897720000082
其中，
Figure BDA0003712897720000083
表示第i个子分类器在预测类别y上的预测分数。
之后根据累计损失从小到大排序，对前l个分类器，进行权重更新，给予奖励：
Figure BDA0003712897720000084
其中，n为训练的总样本数，l为错分的子分类器数。
步骤5.5、返回步骤5.2，开始对下一个样本进行上述操作，直至遍历完成所有样本，得到最终各个子分类器的最终权重并保存。
使用保存的模型对一个样本进行预测的过程如图3所示。
通过以上实施例，本领域技术人员即可清晰理解并实施，也可以根据实际的需要选择其中的部分或者全部模块来实现本实施方案的目的。
需要说明的是，以上所述仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (4)

1.一种基于决策融合的多模态情感分类方法，其特征在于，包括以下步骤：
步骤1、获取数据集；获取一组多模态数据和对应标签数据，多模态数据包括音频、图像或/和文本类型，且各模态数据之间互相对应；
步骤2、多模态数据特征提取；对原始各模态数据，根据数据类型选择不同的方式进行特征提取；
步骤3、构建多模态数据特征集；提取到多模态特征后，采用基于统计学的方法对其从单变量分析与多变量分析两个方面进行特征筛选，从而获取各个单模态数据中有意义的特征；
步骤4、将步骤3得到的各单模态特征集与标签输入支持向量机SVM、决策树、随机森林、逻辑回归模型进行训练，得到分类准确率最高的子分类器并保存；
步骤5、对获取的各子分类器进行决策级别的融合，将各子分类器的当前准确率与历史累计损失均纳入考虑，来综合比较各个子分类器的性能与稳定性，采用一种权重自学习的方式训练各个子分类器的权重。
2.根据权利要求1所述的方法，其特征在于，步骤2具体包含以下步骤：
步骤2.1、对于获取的原始音频数据，对其进行特征提取；使用协同语音分析库COVAREP，从音频中提取梅尔倒谱系数MFCCs、音高跟踪和浊音/清音分割特征、声门源参数、峰值斜率参数和最大色散商特征；
步骤2.2、对于获取的原始图像数据，对其进行特征提取；使用面部动作编码系统FACS来进行面部表情的特征提取，包括面部标记、面部动作单元、头部姿势和视线轨迹；
步骤2.3、对于获取的原始文本数据，对其使用基于Transformer的双向编码器表征BERT来进行特征提取；
作为备选，模态数据中若包含视频数据，对其从音频、图像、文本三个方面按以上步骤2.1-2.3来进行特征提取。
3.根据权利要求1所述的方法，其特征在于，，步骤3具体包含以下步骤：
步骤3.1、对于特征值均为数值的模态数据，对其进行标准化处理，将其中的每一个特征结合患者类别信息，使用一种基于信噪比的指标来对每一个特征进行度量，认为信噪比值越大，则该特征越重要；信噪比计算公式为：
Figure FDA0003712897710000021
式中
Figure FDA0003712897710000025
代表第n个特征的信噪比值，m表示类别数，μi(fn)和μj(fn)表示特征fn在第i类和第j类的平均值，δi(fn)和δi(fn)分别表示特征fn在第i类和第j类的标准差，式
Figure FDA0003712897710000022
代表比较总次数；
根据得到的每个特征的SNR，选SNR>0.6的特征进行特征间的相关性分析；对于相关性高于0.6的两个特征，选择其中方差更小的一个删除；
步骤3.2、对于特征值为等级或类别等非数值类型的特征，对其实行基于分类类别的卡方分析和费希尔fisher检验，选择在两种统计分析结果中在不同类别均有显著性差异、p值均小于0.05的特征作为最终特征；
步骤3.3、对各模态数据进行整合，并对非数值类型的特征进行one-hot独热编码。
4.根据权利要求1所述的方法，其特征在于，，步骤5具体包含以下步骤：
步骤5.1、对各个子分类器的权重进行初始化，设置为wi＝1/k，wi代表第i个子分类器的权重，k为子分类器个数；对损失进行初始化，lossi＝0，lossi代表第i个子分类器的累计损失；
步骤5.2、对于有n个样本的集合X＝{x1,x2,...,xn}，每次取xj∈X，将xj的k类特征分别输入k个子分类器，得出每个子分类器在每一个类别上的概率分数；
Figure FDA0003712897710000023
表示第i个子分类器在类别q上的预测分数，计算样本xj在k个子分类器的属于类别q的加权预测分数，并获取各类别加权分数集合：
Figure FDA0003712897710000024
WS＝{WS1,WS2,...WSm}
其中，WSq为样本xj在k个子分类器上预测结果属于类别q的加权分数，wi代表第i个子分类器的当前权重；WS为样本xj在k个子分类器上属于各个类别的加权分数集合，其中，m表示类别数；
获得最大预测分数所属类别，即加权融合后的模型的预测结果：
y＝argmax{WS}
其中，argmax()函数实现获取集合中最大值的索引，此处即可获得最大预测分数所属类别；
步骤5.3、判断得到的类别标签是否与真实标签一致，如果一致，则分类正确，继续下面的步骤；否则分类错误，舍弃当前样本，返回步骤5.2进行下一个样本的迭代；
步骤5.4、对于上述分类结果错误的l个分类器，进行权重更新，给予惩罚：
Figure FDA0003712897710000031
其中，n为训练的总样本数，l为错分的子分类器数；
对于上述分类结果正确的子分类器，更新累计损失：
Figure FDA0003712897710000032
其中，
Figure FDA0003712897710000033
表示第i个子分类器在预测类别y上的预测分数；
之后根据累计损失从小到大排序，对前l个分类器，进行权重更新，给予奖励：
Figure FDA0003712897710000034
其中，n为训练的总样本数，l为错分的子分类器数；
步骤5.5、返回步骤5.2，开始对下一个样本进行上述操作，直至遍历完成所有样本，得到最终各个子分类器的最终权重并保存。
CN202210724880.1A 2022-06-24 2022-06-24 一种基于决策融合的多模态情感分类方法 Pending CN115205930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210724880.1A CN115205930A (zh) 2022-06-24 2022-06-24 一种基于决策融合的多模态情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210724880.1A CN115205930A (zh) 2022-06-24 2022-06-24 一种基于决策融合的多模态情感分类方法

Publications (1)

Publication Number Publication Date
CN115205930A true CN115205930A (zh) 2022-10-18

Family

ID=83578503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210724880.1A Pending CN115205930A (zh) 2022-06-24 2022-06-24 一种基于决策融合的多模态情感分类方法

Country Status (1)

Country Link
CN (1) CN115205930A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115758097A (zh) * 2022-12-09 2023-03-07 北京津发科技股份有限公司 多模态人因智能状态识别模型创建及实时状态监测方法、系统及存储介质
CN116932731A (zh) * 2023-09-18 2023-10-24 上海帜讯信息技术股份有限公司 面向5g消息的多模态知识问答方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115758097A (zh) * 2022-12-09 2023-03-07 北京津发科技股份有限公司 多模态人因智能状态识别模型创建及实时状态监测方法、系统及存储介质
CN116932731A (zh) * 2023-09-18 2023-10-24 上海帜讯信息技术股份有限公司 面向5g消息的多模态知识问答方法及系统
CN116932731B (zh) * 2023-09-18 2024-01-30 上海帜讯信息技术股份有限公司 面向5g消息的多模态知识问答方法及系统

Similar Documents

Publication Publication Date Title
Yeh et al. An interaction-aware attention network for speech emotion recognition in spoken dialogs
JP5321596B2 (ja) 統計モデル学習装置、統計モデル学習方法、およびプログラム
CN114694076A (zh) 基于多任务学习与层叠跨模态融合的多模态情感分析方法
US20200311207A1 (en) Automatic text segmentation based on relevant context
CN115205930A (zh) 一种基于决策融合的多模态情感分类方法
CN111353029B (zh) 一种基于语义匹配的多轮对话口语理解方法
CN112069484A (zh) 基于多模态交互式的信息采集方法及系统
US11450095B2 (en) Machine learning for video analysis and feedback
CN111708878B (zh) 一种体育文本摘要提取方法、装置、存储介质及设备
CN116955699B (zh) 一种视频跨模态搜索模型训练方法、搜索方法及装置
CN116661603A (zh) 复杂人机交互场景下的多模态融合的用户意图识别方法
CN112417132A (zh) 一种利用谓宾信息筛选负样本的新意图识别方法
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
CN117312562A (zh) 内容审核模型的训练方法、装置、设备及存储介质
CN115512692B (zh) 语音识别方法、装置、设备及存储介质
CN113128284A (zh) 一种多模态情感识别方法和装置
CN116050419A (zh) 一种面向科学文献知识实体的无监督识别方法及系统
CN115687910A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质
El Hajji et al. Transfer Learning based Audio Classification for a noisy and speechless recordings detection task, in a classroom context.
CN117150320B (zh) 对话数字人情感风格相似度评价方法及系统
CN117059283B (zh) 一种基于肺结核预警的语音数据库分类和处理系统
Varshney et al. Multi-Model Emotion Detection using Machine Learning Techniques and Data Analysis
CN118260711A (zh) 一种多模态的情感识别方法及装置
CN116994612A (zh) 音频情感的确定方法、装置及计算机设备
Vuddagiri Implicit Indian Language Identification Using Different Deep Neural Network Architectures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination