CN110569869A - 一种用于多模态情绪检测的特征级融合方法 - Google Patents

一种用于多模态情绪检测的特征级融合方法 Download PDF

Info

Publication number
CN110569869A
CN110569869A CN201910663806.1A CN201910663806A CN110569869A CN 110569869 A CN110569869 A CN 110569869A CN 201910663806 A CN201910663806 A CN 201910663806A CN 110569869 A CN110569869 A CN 110569869A
Authority
CN
China
Prior art keywords
vector
feature
attention
audio
calculation formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910663806.1A
Other languages
English (en)
Inventor
吴哲夫
陈智伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910663806.1A priority Critical patent/CN110569869A/zh
Publication of CN110569869A publication Critical patent/CN110569869A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices

Abstract

一种用于多模态情绪检测的特征级融合方法，从公开的数据集中获得其文本形态的转录本；在矢量序列X上应用单层CNN；使用开源工具openSMILE从数据集中的音频文件提取音频信息，将高维矢量映射到密集的神经层中，获得音频特征向量；将多维自注意作为特征融合方法用于计算单峰特征的注意力得分概率；使用注意力得分概率执行加权加法来创建融合向量；将生成的融合向量su映射到另一个密集的神经层上；使用softmax函数计算融合向量的分类概率；使用分类交叉熵计算基于反向传播的训练的批量损失Loss，获得最佳情绪预测结。本发明引入了自注意机制，为两种模态特征分配适当的权重，获得融合特征，从而提高情绪识别的准确度。

Description

一种用于多模态情绪检测的特征级融合方法
技术领域
本发明提出了一种不同与传统融合方法的新的特征级融合方法。本方法将文本和音频模态的特征分别进行提取，引入了自注意机制，为两种模态特征分配适当的权重，获得融合特征，从而提高情绪识别的准确度。具体涉及的方法为：基于自注意机制的特征级融合方法。
背景技术
情感检测是一种具有广阔应用前景的热门研究领域，机器可以通过准确识别人类情绪并对这些情绪做出反应来增强人机交互，在医学，教育，营销，安全和监视领域情绪识别也具有重要的应用。
传统的情感检测方法只利用单个视觉或音频信号等形态，存在一定的局限性。相比较单模态的情绪检测，两种或多模态拥有更多的情感信息，能够提高情感识别的准确率。因此，最近的研究重点转向利用多种形式的信息的多模式处理上。
发明内容
为了克服单模态情绪识别的局限性，充分利用多模态下得更多的情感信息，提高情绪识别的性能，本发明提出了一种基于自注意机制的特征级融合方法。可以在公开的多模态获取数据，方法简单，稳定性好。
本发明解决其技术问题所采用的技术方案是：
一种用于多模态情绪检测的特征级融合方法，包括以下步骤：
步骤1：从公开的数据集中获得其文本形态的转录本，转录本S是由n个单词组成的句子；
步骤2：根据已有的快速文本嵌入字典，将最初维度为V的单热矢量单词Wi嵌入到低维实值向量中，获得矢量序列X；
步骤3：在矢量序列X上应用单层CNN,输入矢量序列X,生成整体文本特征；
步骤4：使用开源工具openSMILE从数据集中的音频文件提取音频信息，获得有关说话者情绪状态的特征向量称为ain；
步骤5：将高维矢量ain映射到密集的神经层中，获得音频特征向量au；
步骤6：引入多维自注意模块，用于计算单峰文本特征tu和音频特征au的注意力得分ak，再通过softmax函数将ak转换为概率分布pk,i；
步骤7：根据计算出的文本特征和音频特征注意力概率Pk,i执行加权加法来创建融合向量su，多维自注意的融合向量su的第k个元素，即su[k]；
步骤8：将生成的融合向量su映射到另一个密集的神经层上；
步骤9：使用softmax函数计算融合向量su的分类概率从而进行情感类别的分类；
步骤10：使用分类交叉熵计算基于反向传播的训练的批量损失Loss，不断调整权重与偏差，使损失loss最小，获得最佳情绪预测结果。
进一步，所述步骤2中，通过公式：将单词嵌入，句子S变换为矢量序列X＝[x1,x2,...xn]，其中Wem为快速文本嵌入字典，wi为矢量单词，表示维度为dem的单热矢量，dem是文本嵌入字典的维度。
再进一步，所述步骤3的过程为：
步骤3-1：卷积层包含三个滤波器 F1，F2，F3表示三个维度分别为dem×h1，dem×h2，dem×h3的滤波器，h1,h2,h3是滤波器的卷积核大小；
步骤3-2：每个过滤器Fi在输入序列X上滑动，并在每个矢量中提取特征，构成了大小为的特征映射向量mi,j，mi,j的计算公式为：其中j＝1,...,(X|-hi+1)，Fi是滤波器，hi是滤波器卷积核大小，X是矢量序列，bi是偏差，α(·)是非线性激活函数；；
步骤3-3：每个滤波器Fi创建M个特征映射，总共获得3M个特征映射，然后，在滤波器Fi的每个M特征映射向量的长度上应用最大池操作，获得输出向量Oi；
步骤3-4：将每个Oi连接起来，得到再用一个全连接层，将O连接起来，获得整体文本特征
所述步骤5，将情绪状态的特征向量矢量ain映射到密集的神经层中，获得音频特征向量au，au的计算公式为：au＝α(Waain+ba)，其和da是au的维数，α(·)表示非线性激活函数。
所述步骤6的过程为：
步骤6-1：设置d＝dt＝da，建模输入元素数列E＝[e1＝tu,e2＝ain]，其中dt是文本特征向量tu的维度，da是音频特征向量ain的维度，用e1表示tu，e2表示ain；
步骤6-2：将输入元素ei转变为向量f(ei)；
步骤6-3：引入多维自注意模块，利用向量f(ei)计算单峰文本特征tu和音频特征au的注意力得分ak；
步骤6-4：将注意力得分ak转换为概率分布pk,i；
所述步骤7，使用注意力得分概率执行加权加法来创建融合向量su，多维自注意的融合向量su的第k个元素，即su[k]的计算公式如下：su[k]＝Pk,1⊙tu+Pk,2⊙au，其中，其中pk,1,pk,2分别为文本特征tu和音频特征au的注意力概率分布，由pk,i求得，⊙表示逐元素乘法，Pk,i＝p(zk＝i|[tu,au])。
所述步骤9中，使用softmax函数计算融合向量su的分类概率从而进行情感类别的分类，计算公式为：其中Wf是权重，bf是偏差；
所述步骤10中，使用分类交叉熵计算基于反向传播的训练的批量损失Loss，不断调整权重与偏差，使损失loss最小，获得最佳情绪预测结果，Loss计算公式为：其中N是一个批次中的话语总量，C是情感类别的数量，yi,j是第j类训练批次的第i个话语的单热矢量，是同一话语的类j的预测概率。
本发明的有益效果是：
1.将文本特征和音频特征两种模态的特征融合，进行情绪识别，不同于现在的仅适用用单模态特征进行情绪识别。
2.创新性的提出使用文本特征与音频特征进行特征融合，识别情感，不同于现在大多数的视频与音频结合的方法。
3.从公开的IEMOCAP多模态数据集中获取文本和音频数据，利用开源平台openSMILE进行音频特征的提取，方法简单且效果稳定。
4.本发明不需要复杂的算法程序，操作较为简单，运行速度快。
附图说明
图1是多模态情绪检测分系统框架。
图2是多维自注意模块框图。
具体实施方式
下面结合附图对本发明的进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参照图1和图2，一种用于多模态情绪检测的特征级融合方法，包括以下步骤：
步骤1：从公开的IEMOCAP多模态数据集获得其文本形态的转录本，转录本S是由n个单词组成的句子，即S＝[w1,w2,...,wn]；
步骤2：根据已有的快速文本嵌入字典，将最初维度为V的单热矢量单词Wi嵌入到低维实值向量中，获得矢量序列X；
通过公式：将单词嵌入，句子S变换为矢量序列X＝[x1,x2,...xn]；
步骤3：在矢量序列X上应用单层CNN,输入矢量序列X,生成整体文本特征；过程如下：
步骤3-1：卷积层包含三个三个滤波器 h1,h2,h3是滤波器的卷积核大小；
步骤3-2：每个过滤器Fi在输入序列X上滑动，并在每个矢量中提取特征，构成了大小为的特征映射向量mi,j,mi,j的计算公式为：mi,j＝α(Fi·X[j:j+hi-1]+bi)，其中j＝1,...,(|X|-hi+1)，bi∈R是偏差，α(·)是非线性激活函数；
步骤3-3：每个滤波器Fi创建M个特征映射，总共获得3M个特征映射，然后，在滤波器Fi的每个M特征映射向量的长度上应用最大池操作，获得输出向量Oi，表示为：
步骤3-4：将每个Oi连接起来，得到再用一个全连接层，将O连接起来，获得整体文本特征tu的计算公式为：tu＝α(Wto+bt)，其中Wt,bt是映射参数；
步骤4：使用开源工具openSMILE从IEMOCAP多模态数据集中的音频文件提取音频信息，获得有关说话者情绪状态的特征向量称为ain；
步骤5：将高维矢量ain映射到密集的神经层中，获得音频特征向量au，au的计算公式为：au＝α(Waain+ba)，其中和da是au的维数，α(·)表示非线性激活函数；
步骤6：引入多维自注意模块，用于计算单峰文本特征tu和音频特征au的注意力得分ak，再通过softmax函数将ak转换为概率分布pk,i；
步骤6-1：设置d＝dt＝da，建模输入元素数列E＝[e1＝tu,e2＝ain]，其中dt是文本特征向量tu的维度，da是音频特征向量ain的维度，用e1表示tu，e2表示ain；
步骤6-2：将输入元素ei转变为向量f(ei)，计算公式为：其中Wattn,battn为矩阵参数，β(·)是非线性激活函数；
步骤6-3：引入多维自注意模块，利用向量f(ei)计算单峰文本特征tu和音频特征au的注意力得分ak，计算公式为：
步骤6-4：将注意力得分ak转换为概率分布Pk,i，Pk,i的计算公式为：Pk,i＝p(zk＝i|[tu,ain])＝softmax(ak)，其中i＝1或2，zk为任意特征向量。
步骤7：使用注意力得分概率pi,k，执行加权加法来创建融合向量su，多维自注意的融合向量su的第k个元素，即su[k]的计算公式如下：su[k]＝Pk,1⊙tu+Pk,2⊙au，其中，其中pk,1,pk,2分别为文本特征tu和音频特征au的注意力概率分布，由pk,i求得，⊙表示逐元素乘法，Pk,i＝p(zk＝i|[tu,au])；
步骤8：将生成的融合向量su映射到另一个密集的神经层上；
步骤9：使用softmax函数计算融合向量su的分类概率从而进行情感类别的分类，计算公式为：其中，Wf是权重，bf是偏差；
步骤10：使用分类交叉熵计算基于反向传播的训练的批量损失Loss，不断调整权重与偏差，使损失loss最小，获得最佳情绪预测结果，Loss计算公式为：其中N是一个批次中的话语总量，yi是第i个话语的单热真值向量，是同一话语的类j的预测概率。

Claims (8)

1.一种用于多模态情绪检测的特征级融合方法，其特征在于，该方法包括如下步骤：
步骤1：从公开的数据集中获得其文本形态的转录本，转录本S是由n个单词组成的句子；
步骤2：根据已有的快速文本嵌入字典，将最初维度为V的单热矢量单词Wi嵌入到低维实值向量中，获得矢量序列X；
步骤3：在矢量序列X上应用单层CNN,卷积层包含三个滤波器，输入矢量序列X,并在每个矢量中提取特征，应用最大池操作，获得输出向量Oi，连接Oi，生成整体文本特征tu；
步骤4：使用开源工具openSMILE从数据集中的音频文件提取音频信息，获得有关说话者情绪状态的特征向量称为ain；
步骤5：将高维矢量ain映射到密集的神经层中，获得音频特征向量au；
步骤6：引入多维自注意模块，用于计算单峰文本特征tu和音频特征au的注意力得分ak，再通过softmax函数将ak转换为概率分布pk,i；
步骤7：根据计算出的文本特征和音频特征注意力概率pi,k，执行加权加法来创建融合向量su，多维自注意的融合向量su的第k个元素，即su[k]；
步骤8：将生成的融合向量su映射到另一个密集的神经层上；
步骤9：使用softmax函数计算融合向量su的分类概率从而进行情感类别的分类；
步骤10：使用分类交叉熵计算基于反向传播的训练的批量损失Loss，不断调整权重与偏差，使损失loss最小，获得最佳情绪预测结果。
2.如权利要求1所述的一种用于多模态情绪检测的特征级融合方法，其特征在于，所述步骤2，将单词嵌入，句子S变换为矢量序列X＝[x1,x2,...xn]，xi的计算公式为：xi＝Wemwi，其中Wem为快速文本嵌入字典，wi为矢量单词，表示维度为dem的单热矢量，dem是文本嵌入字典的维度。
3.如权利要求1或2所述的一种用于多模态情绪检测的特征级融合方法，其特征在于，所述步骤3的过程为：
步骤3-1：卷积层包含三个滤波器其中，F1，F2，F3表示三个维度分别为dem×h1，dem×h2，dem×h3的滤波器，h1,h2,h3是滤波器的卷积核大小；
步骤3-2：每个过滤器Fi在输入序列X上滑动，并在每个矢量中提取特征，构成了大小为的特征映射向量mi,j，mi,j的计算公式为：其中j＝1,...,(|X|-hi+1)，Fi是滤波器，hi是滤波器卷积核大小，X是矢量序列，bi是偏差，α(·)是非线性激活函数；
步骤3-3：每个滤波器Fi创建M个特征映射，总共获得3M个特征映射，然后，在滤波器Fi的每个M特征映射向量的长度上应用最大池操作，获得输出向量Oi；
步骤3-4：将每个Oi连接起来，得到再用一个全连接层，将O连接起来，获得整体文本特征
4.如权利要求1或2所述的一种用于多模态情绪检测的特征级融合方法，其特征在于，所述步骤5，将情绪状态的特征向量矢量ain映射到密集的神经层中，获得音频特征向量au，au的计算公式为：au＝α(Waain+ba)，其中，Wa，ba是映射参数，α(·)表示非线性激活函数。
5.如权利要求1或2所述的一种用于多模态情绪检测的特征级融合方法，其特征在于，所述步骤6的过程为：
步骤6-1：设置d＝dt＝da，建模输入元素数列E＝[e1＝tu,e2＝ain]，其中dt是文本特征向量tu的维度，da是音频特征向量ain的维度，用e1表示tu，e2表示ain；
步骤6-2：将输入元素ei转变为向量f(ei)，计算公式为：其中Wattn,battn为矩阵参数，β(·)是非线性激活函数；
步骤6-3：引入多维自注意模块，利用向量f(ei)计算单峰文本特征tu和音频特征au的注意力得分ak，计算公式为：
步骤6-4：将注意力得分ak转换为概率分布Pk,i，Pk,i的计算公式为：Pk,i＝p(zk＝i|[tu,ain])＝softmax(ak)，其中i＝1或2，zk为任意特征向量。
6.如权利要求1或2所述的一种用于多模态情绪检测的特征级融合方法，其特征在于，所述步骤7，使用注意力得分概率pi,k执行加权加法来创建融合向量su，多维自注意的融合向量su的第k个元素，即su[k]的计算公式如下：su[k]＝Pk,1⊙tu+Pk,2⊙au，其中pk,1,pk,2分别为文本特征tu和音频特征au的注意力概率分布，由pk,i求得，⊙表示逐元素乘法。
7.如权利要求1或2所述的一种用于多模态情绪检测的特征级融合方法，其特征在于，所述步骤9中，使用softmax函数计算融合向量su的分类概率从而进行情感类别的分类，计算公式为：其中，Wf是权重，bf是偏差。
8.如权利要求1或2所述的一种用于多模态情绪检测的特征级融合方法，其特征在于，所述步骤10中，使用分类交叉熵计算基于反向传播的训练的批量损失Loss，不断调整权重与偏差，使损失loss最小，获得最佳情绪预测结果，Loss计算公式为：其中N是一个批次中的话语总量，C是情感类别的数量，yi,j是第j类训练批次的第i个话语的单热矢量，是同一话语的类j的预测概率。
CN201910663806.1A 2019-07-23 2019-07-23 一种用于多模态情绪检测的特征级融合方法 Pending CN110569869A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910663806.1A CN110569869A (zh) 2019-07-23 2019-07-23 一种用于多模态情绪检测的特征级融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910663806.1A CN110569869A (zh) 2019-07-23 2019-07-23 一种用于多模态情绪检测的特征级融合方法

Publications (1)

Publication Number Publication Date
CN110569869A true CN110569869A (zh) 2019-12-13

Family

ID=68773814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910663806.1A Pending CN110569869A (zh) 2019-07-23 2019-07-23 一种用于多模态情绪检测的特征级融合方法

Country Status (1)

Country Link
CN (1) CN110569869A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991427A (zh) * 2019-12-25 2020-04-10 北京百度网讯科技有限公司 用于视频的情绪识别方法、装置和计算机设备
CN111276131A (zh) * 2020-01-22 2020-06-12 厦门大学 一种基于深度神经网络的多类声学特征整合方法和系统
CN112101096A (zh) * 2020-08-02 2020-12-18 华南理工大学 一种基于语音和微表情的多模态融合的自杀情绪感知方法
CN112560811A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 端到端的音视频抑郁症自动检测研究方法
CN112618911A (zh) * 2020-12-31 2021-04-09 四川音乐学院 基于信号处理的音乐反馈调节系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DEVAMANYU HAZARIKA ET AL.: "Self-Attentive Feature-level Fusion for Multimodal Emotion Detection", 《2018 IEEE CONFERENCE ON MULTIMEDIA INFORMATION PROCESSING AND RETRIEVAL》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991427A (zh) * 2019-12-25 2020-04-10 北京百度网讯科技有限公司 用于视频的情绪识别方法、装置和计算机设备
CN111276131A (zh) * 2020-01-22 2020-06-12 厦门大学 一种基于深度神经网络的多类声学特征整合方法和系统
CN112101096A (zh) * 2020-08-02 2020-12-18 华南理工大学 一种基于语音和微表情的多模态融合的自杀情绪感知方法
CN112101096B (zh) * 2020-08-02 2023-09-22 华南理工大学 一种基于语音和微表情的多模态融合的自杀情绪感知方法
CN112618911A (zh) * 2020-12-31 2021-04-09 四川音乐学院 基于信号处理的音乐反馈调节系统
CN112560811A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 端到端的音视频抑郁症自动检测研究方法
US11963771B2 (en) 2021-02-19 2024-04-23 Institute Of Automation, Chinese Academy Of Sciences Automatic depression detection method based on audio-video

Similar Documents

Publication Publication Date Title
CN112560503B (zh) 融合深度特征和时序模型的语义情感分析方法
Audhkhasi et al. End-to-end ASR-free keyword search from speech
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
Zhang et al. Spontaneous speech emotion recognition using multiscale deep convolutional LSTM
CN111680541B (zh) 一种基于多维度注意力融合网络的多模态情绪分析方法
CN110569869A (zh) 一种用于多模态情绪检测的特征级融合方法
CN106250855B (zh) 一种基于多核学习的多模态情感识别方法
CN112905827B (zh) 跨模态图文匹配的方法、装置及计算机可读存储介质
Mao et al. Deep cross-modal retrieval for remote sensing image and audio
CN106845411B (zh) 一种基于深度学习和概率图模型的视频描述生成方法
CN112818861B (zh) 一种基于多模态上下文语义特征的情感分类方法及系统
CN110688502B (zh) 一种基于深度哈希和量化的图像检索方法及存储介质
CN114936623B (zh) 一种融合多模态数据的方面级情感分析方法
CN110147548B (zh) 基于双向门控循环单元网络和新型网络初始化的情感识别方法
CN110297888B (zh) 一种基于前缀树与循环神经网络的领域分类方法
CN111126040B (zh) 一种基于深度边界组合的生物医学命名实体识别方法
CN113723166A (zh) 内容识别方法、装置、计算机设备和存储介质
Ram et al. Neural network based end-to-end query by example spoken term detection
CN108154156B (zh) 基于神经主题模型的图像集成分类方法及装置
Zhu et al. Siamese Recurrent Auto-Encoder Representation for Query-by-Example Spoken Term Detection.
Huang et al. Speech emotion recognition using convolutional neural network with audio word-based embedding
CN114494969A (zh) 基于多模语音信息互补与门控制的情绪识别方法
Atkar et al. Speech Emotion Recognition using Dialogue Emotion Decoder and CNN Classifier
Sun et al. Multi-classification speech emotion recognition based on two-stage bottleneck features selection and MCJD algorithm
Hosseini et al. Multimodal modelling of human emotion using sound, image and text fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213