CN110287389A - 基于文本、语音和视频融合的多模态情感分类方法 - Google Patents
基于文本、语音和视频融合的多模态情感分类方法 Download PDFInfo
- Publication number
- CN110287389A CN110287389A CN201910472457.5A CN201910472457A CN110287389A CN 110287389 A CN110287389 A CN 110287389A CN 201910472457 A CN201910472457 A CN 201910472457A CN 110287389 A CN110287389 A CN 110287389A
- Authority
- CN
- China
- Prior art keywords
- modal
- video
- data
- layer
- tensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于文本、语音和视频融合的多模态情感分类方法,包括:获取多模态数据进行预处理,划分为训练集与测试集;构建基于张量融合的端对端多模态情感分类模型,并使用训练集对模型进行训练;对测试集进行步骤1的预处理操作,使用步骤2得到的张量融合情感分类模型进行情感分类。本发明通过多模态情感分类模型能更好地捕捉模糊的深层情感信息。
Description
技术领域
本发明属于自然语言处理技术,具体为一种基于文本、语音和视频融合的多模态情感分类方法。
背景技术
目前,相关的社交媒体网站每天都在生产大量的带有丰富情感信息的视频数据,从而产生了大量的面向文本、语音、视频多模态的观点挖掘和情感分析技术,这一技术不仅是自然语言处理和情感分析领域的学术前沿问题和热点研究问题,也是应用领域亟待解决的重要问题,具有不可估量的应用价值和社会意义,同时也具有很大的挑战。
在机器学习方法兴起之前,情感分析主要由人工进行,成本较高,得到的精度也不稳定。传统机器学习、传统的多模态方法都主要依赖特征工程的思路,在语音、视频端都使用人工抽取的特征,然而由于情感的表达具有模糊性,人工抽取的特征往往难以抽取情感的深层表达,情感识别的正确率还有很大的提升空间。
发明内容
本发明的目的在于提出了一种基于文本、语音和视频融合的多模态情感分类方法。
实现本发明的技术解决方案为:一种基于文本、语音和视频融合的多模态情感分类方法,包括以下步骤:
步骤1、获取多模态数据,对多模态数据进行预处理,并将多模态数据划分为训练集、测试集;
步骤2、构建基于张量融合的多模态情感分类模型,并使用训练集对基于张量融合的多模态情感分类模型进行训练;
步骤3、对测试集进行步骤1的预处理操作,使用步骤2得到的张量融合情感分类模型进行情感分类。
优选地,所述多模态数据包括同频率音频数据、视频字幕数据以及视频数据。
优选地,步骤1对多模态数据进行预处理的具体方法为:
将同频率音频数据进行对齐,将对其后的音频数据变换为时频图;
将获取的视频字幕数据进行分词;
将视频数据进行对齐。
优选地,步骤2构建的基于张量融合的多模态情感分类模型包括输入层、表示层、融合层和分类层,其中:
输入层包括并列的词向量嵌入层、两个批标准化层,词向量嵌入层用于对分词后的视频字幕数据进行初始化,两个批标准化层用于分别对时频图、对齐后的视频数据预处理;
表示层包括与词向量嵌入层连接的循环神经网络、时频图批标准化层连接的一维卷积神经网络以及与视频数据批标准化层连接的三维卷积神经网络;
融合层用于按规则对表示层向量表示的视频字幕数据、时频图以及视频数据进行拼接;
分类层包括与融合层连接的多层全连接单元以及sigmoid激活函数。
优选地,融合层融合的规则为张量融合方法,即:
其中,zl、zv、za分别是视频字幕数据、视频数据以及时频图的低维表示向量,是Kronecker积,zm是融合数据的表示向量。
优选地,步骤2使用训练集对基于张量融合的多模态情感分类模型进行训练的具体方法为:
利用有监督的方式最小化损失函数来对基于张量融合的多模态情感分类模型进行训练,基于张量融合的多模态情感分类模型的损失函数为二元交叉熵函数:
其中,y(i)∈{0,1}表示第i个样本是否属于正负类,当第i个样本属于正类时取值为1,否则为0;hθ(x(i))表示第i个样本属于正类的概率,m表示样本个数。
本发明与现有技术相比,其显著优点为:(1)本发明使用的主要都是原始数据,只做了一些简单的数学变换,不仅在处理上易于实施,同时能更好地利用端对端模型进行深度抽取;
(2)本发明构建的基于张量融合的多模态情感分类模型使得文本、语音、视频数据都可以进行融合表示,具有较好的灵活性,同时本发明提高了预测情感类别的准确性。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明的流程图。
图2为时频图计算方法示意图。
图3为本发明的基于张量融合的多模态情感分类模型示意图。
图4为实施例情感分析示意图。
具体实施方式
如图1所示,一种基于文本、语音和视频融合的多模态情感分类方法,具体步骤为:
步骤1、获取多模态原始数据,所述多模态数据包括同频率音频数据、视频字幕数据以及视频数据,对多模态数据进行预处理,并将多模态数据划分为训练集、测试集,对多模态数据进行预处理的具体方法为:
将获取的视频字幕数据进行分词,依据词进行划分,从而获得文本模态数据;
如图2所示,对于同频率音频数据,若长度不同,取最大长度将全部音频数据填充至最长的音频具有的长度,不足的部分用零补足;然后将对齐的音频数据做短时傅里叶变换获取时频图,从而获得音频模态数据。对于一个时序信号x(t),窗函数w(t),可求得傅里叶变换函数X(t,f)如下:
然后可由以下公式计算时频图函数SP(t,f):
SP(t,f)=|X(t,f)|2
对于视频数据,对其先逐帧读取为图片的集合;若长度、尺寸不一,则将图片转化为同一尺寸,并按最大长度填充所有视频转化为的图片集合;当帧数过多时,使用下采样减少总帧数,从而获得视频模态数据。
步骤2、构建基于张量融合的多模态情感分类模型,并使用训练集对模型进行训练,如图3所示,所述基于张量融合的多模态情感分类模型包括:输入层、表示层、融合层和分类层,其中:
所述输入层包括并列的词向量嵌入层、两个批标准化层,词向量嵌入层用于对分词后的视频字幕数据进行初始化,两个批标准化层用于分别对时频图、对齐后的视频数据预处理。词向量使用谷歌BERT模型对预处理后的视频字幕数据训练得到;
所述表示层包括与词向量嵌入层连接的循环神经网络、时频图批标准化层连接的一维卷积神经网络以及与视频数据批标准化层连接的三维卷积神经网络。对于循环神经网络层,一般使用双层长短期记忆网络(LSTM),对于卷积神经网络层,层与层间使用批标准化层与最大池化层进行连接;最后,使用一些全连接单元与融合层进行连接,从而分别获得融合前的文本、视频、语音的低维表示向量zl、zv、za;
所述融合层用于按规则对表示层向量表示的视频字幕数据、时频图以及视频数据进行拼接,一般采用张量融合方法,使用的规则为张量融合方法可以用下列公式进行描述:
其中,zl、zv、za分别是视频字幕数据、视频数据以及时频图的低维表示向量,是Kronecker积,zm是融合数据的表示向量。
所述分类层先用多层(建议为两层)的全连接单元对融合向量进行处理,得到表示向量r,再使用sigmoid激活函数对得到的表示向量r进行分类,即:
p=sigmoid(W·r+b)
其中,W和b为权重参数。
构建好基于张量融合的多模态情感分类模型后,利用有监督的方式最小化损失函数来对基于张量融合的多模态情感分类模型进行训练,基于张量融合的多模态情感分类模型的损失函数为二元交叉熵函数:
其中,y(i)∈{0,1}表示第i个样本是否属于正负类,当第i个样本属于正类时取值为1,否则为0;hθ(x(i))表示第i个样本属于正类的概率,m表示样本个数。
步骤3、对测试集进行步骤1的预处理操作,使用步骤2得到的张量融合情感分类模型进行情感分类。
实施例
如图4所示,本实施例以卡耐基梅隆大学的MOSI数据集为例,首先获取其三模态的原始数据,再进行预处理。
标注对应片段的情感标签,并将对应的视频字幕数据(文本模态)、同频率音频数据(音频模态)、视频数据(视频模态)对齐。比如:
普通的样本:“I love this movie.”从语义可以直接标注情感类别为积极;
语义模糊的样本:“The movie is sick.”结合声音较大、视频中有明显的皱眉,可标注情感类别为消极;
在训练阶段,把<文本,语音,视频,情感>原始样本送入基于张量融合的多模态情感分类模型进行训练,得到情感分类模型,用于测试时评断测试样例的情感类别;在测试阶段,输入测试的视频字幕数据、同频率音频数据、视频数据,得到测试样本相关的情感类别。
Claims (6)
1.一种基于文本、语音和视频融合的多模态情感分类方法,其特征在于,包括以下步骤:
步骤1、获取多模态数据,对多模态数据进行预处理,并将多模态数据划分为训练集、测试集;
步骤2、构建基于张量融合的多模态情感分类模型,并使用训练集对基于张量融合的多模态情感分类模型进行训练;
步骤3、对测试集进行步骤1的预处理操作,使用步骤2得到的张量融合情感分类模型进行情感分类。
2.根据权利要求1所述的基于文本、语音和视频融合的多模态情感分类方法,其特征在于,所述多模态数据包括同频率音频数据、视频字幕数据以及视频数据。
3.根据权利要求2所述的基于文本、语音和视频融合的多模态情感分类方法,其特征在于,步骤1对多模态数据进行预处理的具体方法为:
将同频率音频数据进行对齐,将对其后的音频数据变换为时频图;
将获取的视频字幕数据进行分词;
将视频数据进行对齐。
4.根据权利要求1所述的基于文本、语音和视频融合的多模态情感分类方法,其特征在于,步骤2构建的基于张量融合的多模态情感分类模型包括输入层、表示层、融合层和分类层,其中:
输入层包括并列的词向量嵌入层、两个批标准化层,词向量嵌入层用于对分词后的视频字幕数据进行初始化,两个批标准化层用于分别对时频图、对齐后的视频数据预处理;
表示层包括与词向量嵌入层连接的循环神经网络、时频图批标准化层连接的一维卷积神经网络以及与视频数据批标准化层连接的三维卷积神经网络;
融合层用于按规则对表示层向量表示的视频字幕数据、时频图以及视频数据进行拼接;
分类层包括与融合层连接的多层全连接单元以及sigmoid激活函数。
5.根据权利要求4所述的基于文本、语音和视频融合的多模态情感分类方法,其特征在于,融合层融合的规则为张量融合方法,即:
其中,zl、zv、za分别是视频字幕数据、视频数据以及时频图的低维表示向量,是Kronecker积,zm是融合数据的表示向量。
6.根据权利要求1所述的基于文本、语音和视频融合的多模态情感分类方法,其特征在于,步骤2使用训练集对基于张量融合的多模态情感分类模型进行训练的具体方法为:
利用有监督的方式最小化损失函数来对基于张量融合的多模态情感分类模型进行训练,基于张量融合的多模态情感分类模型的损失函数为二元交叉熵函数:
其中,y(i)∈{0,1}表示第i个样本是否属于正负类,当第i个样本属于正类时取值为1,否则为0;hθ(x(i))表示第i个样本属于正类的概率,m表示样本个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910472457.5A CN110287389A (zh) | 2019-05-31 | 2019-05-31 | 基于文本、语音和视频融合的多模态情感分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910472457.5A CN110287389A (zh) | 2019-05-31 | 2019-05-31 | 基于文本、语音和视频融合的多模态情感分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110287389A true CN110287389A (zh) | 2019-09-27 |
Family
ID=68003156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910472457.5A Pending CN110287389A (zh) | 2019-05-31 | 2019-05-31 | 基于文本、语音和视频融合的多模态情感分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110287389A (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110795410A (zh) * | 2019-10-08 | 2020-02-14 | 华南师范大学 | 一种多领域文本分类方法 |
CN110852215A (zh) * | 2019-10-30 | 2020-02-28 | 国网江苏省电力有限公司电力科学研究院 | 一种多模态情感识别方法、系统及存储介质 |
CN110866184A (zh) * | 2019-11-11 | 2020-03-06 | 湖南大学 | 短视频数据标签推荐方法、装置、计算机设备和存储介质 |
CN111178389A (zh) * | 2019-12-06 | 2020-05-19 | 杭州电子科技大学 | 基于多通道张量池化的多模态深度分层融合情感分析方法 |
CN111259976A (zh) * | 2020-01-21 | 2020-06-09 | 中山大学 | 基于多模态对齐与多向量表征的人格检测方法 |
CN111311364A (zh) * | 2020-02-13 | 2020-06-19 | 山东大学 | 基于多模态商品评论分析的商品推荐方法及系统 |
CN111460219A (zh) * | 2020-04-01 | 2020-07-28 | 百度在线网络技术(北京)有限公司 | 视频处理方法及装置、短视频平台 |
CN111680541A (zh) * | 2020-04-14 | 2020-09-18 | 华中科技大学 | 一种基于多维度注意力融合网络的多模态情绪分析方法 |
CN112001437A (zh) * | 2020-08-19 | 2020-11-27 | 四川大学 | 面向模态非完全对齐的数据聚类方法 |
CN112418172A (zh) * | 2020-12-11 | 2021-02-26 | 苏州元启创人工智能科技有限公司 | 基于多模信息智能处理单元的多模信息融合情感分析方法 |
CN112487949A (zh) * | 2020-11-27 | 2021-03-12 | 华中师范大学 | 一种基于多模态数据融合的学习者行为识别方法 |
CN112489635A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于增强注意力机制的多模态情感识别方法 |
CN112560830A (zh) * | 2021-02-26 | 2021-03-26 | 中国科学院自动化研究所 | 多模态维度情感识别方法 |
CN113128284A (zh) * | 2019-12-31 | 2021-07-16 | 上海汽车集团股份有限公司 | 一种多模态情感识别方法和装置 |
CN113221872A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 生成对抗网络与多模态融合的假新闻检测方法 |
CN113326868A (zh) * | 2021-05-06 | 2021-08-31 | 南京邮电大学 | 一种用于多模态情感分类的决策层融合方法 |
CN113592251A (zh) * | 2021-07-12 | 2021-11-02 | 北京师范大学 | 一种多模态融合的教态分析系统 |
CN113674767A (zh) * | 2021-10-09 | 2021-11-19 | 复旦大学 | 一种基于多模态融合的抑郁状态识别方法 |
CN113743267A (zh) * | 2021-08-25 | 2021-12-03 | 中国科学院软件研究所 | 一种基于螺旋和文本的多模态视频情感可视化方法及装置 |
CN115019237A (zh) * | 2022-06-30 | 2022-09-06 | 中国电信股份有限公司 | 多模态情感分析方法、装置、电子设备及存储介质 |
CN115114408A (zh) * | 2022-07-14 | 2022-09-27 | 平安科技(深圳)有限公司 | 多模态情感分类方法、装置、设备及存储介质 |
CN117573870A (zh) * | 2023-11-20 | 2024-02-20 | 中国人民解放军国防科技大学 | 一种多模态数据的文本标签提取方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508375A (zh) * | 2018-11-19 | 2019-03-22 | 重庆邮电大学 | 一种基于多模态融合的社交情感分类方法 |
CN109614895A (zh) * | 2018-10-29 | 2019-04-12 | 山东大学 | 一种基于attention特征融合的多模态情感识别的方法 |
CN109614487A (zh) * | 2018-10-29 | 2019-04-12 | 山东大学 | 一种基于张量融合方式的情感分类的方法 |
-
2019
- 2019-05-31 CN CN201910472457.5A patent/CN110287389A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109614895A (zh) * | 2018-10-29 | 2019-04-12 | 山东大学 | 一种基于attention特征融合的多模态情感识别的方法 |
CN109614487A (zh) * | 2018-10-29 | 2019-04-12 | 山东大学 | 一种基于张量融合方式的情感分类的方法 |
CN109508375A (zh) * | 2018-11-19 | 2019-03-22 | 重庆邮电大学 | 一种基于多模态融合的社交情感分类方法 |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110795410A (zh) * | 2019-10-08 | 2020-02-14 | 华南师范大学 | 一种多领域文本分类方法 |
CN110852215A (zh) * | 2019-10-30 | 2020-02-28 | 国网江苏省电力有限公司电力科学研究院 | 一种多模态情感识别方法、系统及存储介质 |
CN110852215B (zh) * | 2019-10-30 | 2022-09-06 | 国网江苏省电力有限公司电力科学研究院 | 一种多模态情感识别方法、系统及存储介质 |
CN110866184A (zh) * | 2019-11-11 | 2020-03-06 | 湖南大学 | 短视频数据标签推荐方法、装置、计算机设备和存储介质 |
CN111178389A (zh) * | 2019-12-06 | 2020-05-19 | 杭州电子科技大学 | 基于多通道张量池化的多模态深度分层融合情感分析方法 |
CN111178389B (zh) * | 2019-12-06 | 2022-02-11 | 杭州电子科技大学 | 基于多通道张量池化的多模态深度分层融合情感分析方法 |
CN113128284A (zh) * | 2019-12-31 | 2021-07-16 | 上海汽车集团股份有限公司 | 一种多模态情感识别方法和装置 |
CN111259976A (zh) * | 2020-01-21 | 2020-06-09 | 中山大学 | 基于多模态对齐与多向量表征的人格检测方法 |
CN111259976B (zh) * | 2020-01-21 | 2023-05-23 | 中山大学 | 基于多模态对齐与多向量表征的人格检测方法 |
CN111311364A (zh) * | 2020-02-13 | 2020-06-19 | 山东大学 | 基于多模态商品评论分析的商品推荐方法及系统 |
CN111460219A (zh) * | 2020-04-01 | 2020-07-28 | 百度在线网络技术(北京)有限公司 | 视频处理方法及装置、短视频平台 |
CN111680541B (zh) * | 2020-04-14 | 2022-06-21 | 华中科技大学 | 一种基于多维度注意力融合网络的多模态情绪分析方法 |
CN111680541A (zh) * | 2020-04-14 | 2020-09-18 | 华中科技大学 | 一种基于多维度注意力融合网络的多模态情绪分析方法 |
CN112001437A (zh) * | 2020-08-19 | 2020-11-27 | 四川大学 | 面向模态非完全对齐的数据聚类方法 |
CN112001437B (zh) * | 2020-08-19 | 2022-06-14 | 四川大学 | 面向模态非完全对齐的数据聚类方法 |
CN112487949A (zh) * | 2020-11-27 | 2021-03-12 | 华中师范大学 | 一种基于多模态数据融合的学习者行为识别方法 |
CN112489635B (zh) * | 2020-12-03 | 2022-11-11 | 杭州电子科技大学 | 一种基于增强注意力机制的多模态情感识别方法 |
CN112489635A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于增强注意力机制的多模态情感识别方法 |
CN112418172A (zh) * | 2020-12-11 | 2021-02-26 | 苏州元启创人工智能科技有限公司 | 基于多模信息智能处理单元的多模信息融合情感分析方法 |
US11281945B1 (en) | 2021-02-26 | 2022-03-22 | Institute Of Automation, Chinese Academy Of Sciences | Multimodal dimensional emotion recognition method |
CN112560830B (zh) * | 2021-02-26 | 2021-05-25 | 中国科学院自动化研究所 | 多模态维度情感识别方法 |
CN112560830A (zh) * | 2021-02-26 | 2021-03-26 | 中国科学院自动化研究所 | 多模态维度情感识别方法 |
CN113326868A (zh) * | 2021-05-06 | 2021-08-31 | 南京邮电大学 | 一种用于多模态情感分类的决策层融合方法 |
CN113326868B (zh) * | 2021-05-06 | 2022-07-15 | 南京邮电大学 | 一种用于多模态情感分类的决策层融合方法 |
CN113221872B (zh) * | 2021-05-28 | 2022-09-20 | 北京理工大学 | 生成对抗网络与多模态融合的假新闻检测方法 |
CN113221872A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 生成对抗网络与多模态融合的假新闻检测方法 |
CN113592251A (zh) * | 2021-07-12 | 2021-11-02 | 北京师范大学 | 一种多模态融合的教态分析系统 |
CN113592251B (zh) * | 2021-07-12 | 2023-04-14 | 北京师范大学 | 一种多模态融合的教态分析系统 |
CN113743267A (zh) * | 2021-08-25 | 2021-12-03 | 中国科学院软件研究所 | 一种基于螺旋和文本的多模态视频情感可视化方法及装置 |
CN113743267B (zh) * | 2021-08-25 | 2023-06-16 | 中国科学院软件研究所 | 一种基于螺旋和文本的多模态视频情感可视化方法及装置 |
CN113674767A (zh) * | 2021-10-09 | 2021-11-19 | 复旦大学 | 一种基于多模态融合的抑郁状态识别方法 |
CN115019237A (zh) * | 2022-06-30 | 2022-09-06 | 中国电信股份有限公司 | 多模态情感分析方法、装置、电子设备及存储介质 |
CN115019237B (zh) * | 2022-06-30 | 2023-12-08 | 中国电信股份有限公司 | 多模态情感分析方法、装置、电子设备及存储介质 |
CN115114408A (zh) * | 2022-07-14 | 2022-09-27 | 平安科技(深圳)有限公司 | 多模态情感分类方法、装置、设备及存储介质 |
CN115114408B (zh) * | 2022-07-14 | 2024-05-31 | 平安科技(深圳)有限公司 | 多模态情感分类方法、装置、设备及存储介质 |
CN117573870A (zh) * | 2023-11-20 | 2024-02-20 | 中国人民解放军国防科技大学 | 一种多模态数据的文本标签提取方法、装置、设备及介质 |
CN117573870B (zh) * | 2023-11-20 | 2024-05-07 | 中国人民解放军国防科技大学 | 一种多模态数据的文本标签提取方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287389A (zh) | 基于文本、语音和视频融合的多模态情感分类方法 | |
CN109740148B (zh) | 一种BiLSTM结合Attention机制的文本情感分析方法 | |
CN106776711B (zh) | 一种基于深度学习的中文医学知识图谱构建方法 | |
CN109933664B (zh) | 一种基于情感词嵌入的细粒度情绪分析改进方法 | |
CN108628828B (zh) | 一种基于自注意力的观点及其持有者的联合抽取方法 | |
CN111160037B (zh) | 一种支持跨语言迁移的细粒度情感分析方法 | |
WO2018028077A1 (zh) | 一种基于深度学习的中文语义分析的方法及装置 | |
CN110750959A (zh) | 文本信息处理的方法、模型训练的方法以及相关装置 | |
CN110532912B (zh) | 一种手语翻译实现方法及装置 | |
CN107818084B (zh) | 一种融合点评配图的情感分析方法 | |
CN106886580A (zh) | 一种基于深度学习的图片情感极性分析方法 | |
CN109492105B (zh) | 一种基于多特征集成学习的文本情感分类方法 | |
CN105005616B (zh) | 基于文本图片特征交互扩充的文本图解方法及系统 | |
CN110704890A (zh) | 一种融合卷积神经网络和循环神经网络的文本因果关系自动抽取方法 | |
CN110414009A (zh) | 基于BiLSTM-CNN的英缅双语平行句对抽取方法及装置 | |
CN113076483A (zh) | 基于案件要素异构图的舆情新闻抽取式摘要方法 | |
CN113239159A (zh) | 基于关系推理网络的视频和文本的跨模态检索方法 | |
CN115131811A (zh) | 目标识别及模型训练方法、装置、设备、存储介质 | |
Gandhi et al. | Multimodal sentiment analysis: review, application domains and future directions | |
CN113934835B (zh) | 结合关键词和语义理解表征的检索式回复对话方法及系统 | |
CN113076425B (zh) | 一种用于微博评论的事件相关观点句分类方法 | |
CN112199954B (zh) | 基于语音语义的疾病实体匹配方法、装置及计算机设备 | |
Yuan | [Retracted] A Classroom Emotion Recognition Model Based on a Convolutional Neural Network Speech Emotion Algorithm | |
Jishan et al. | Hybrid deep neural network for bangla automated image descriptor | |
Ma et al. | Multi-scale cooperative multimodal transformers for multimodal sentiment analysis in videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |