CN114154077A - 多维度细粒度动态情感分析方法及系统 - Google Patents

多维度细粒度动态情感分析方法及系统 Download PDF

Info

Publication number
CN114154077A
CN114154077A CN202111229233.5A CN202111229233A CN114154077A CN 114154077 A CN114154077 A CN 114154077A CN 202111229233 A CN202111229233 A CN 202111229233A CN 114154077 A CN114154077 A CN 114154077A
Authority
CN
China
Prior art keywords
data
emotion
entity
model
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111229233.5A
Other languages
English (en)
Inventor
欧中洪
陆舸帆
田中�一
胡塞尔
宋美娜
钟茂华
梁昊光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111229233.5A priority Critical patent/CN114154077A/zh
Publication of CN114154077A publication Critical patent/CN114154077A/zh
Priority to PCT/CN2022/087221 priority patent/WO2023065619A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出一种多维度细粒度动态情感分析方法及系统，其中，方法包括：利用多模态数据相关经验，对缺失数据进行预测补全；对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；分别计算文本音频图像多模态的特征；利用所述多模态数据的融合特征，用训练好的分类模型预测情感；基于实体的历史情感数据，预测所述实体未来情感走向。本发明实现了针对多模态数据的一整套分析及预测技术方案。

Description

多维度细粒度动态情感分析方法及系统
技术领域
本发明属于人工智能领域。
背景技术
论坛、微博、微信等社交媒体的快速发展催生了众多数据分析产业，情感分析即为其中之一。通过分析社交媒体数据包含的情感信息，可准确分析和预测群体意见，在社会舆论、经济发展中发挥着重要作用。随着近几年短视频平台的兴起，新兴的视频信息和传统的文本、图片信息组成了主流的社交媒体信息模态。传统文本情感分析聚焦于单个模态，包含的信息维度有限且单一，无法分析视频或图片数据等包含多模态的情感；针对多模态数据的情感分析应运而生，多模态情感分析对多个模态的数据进行处理和分析，包含多维度信息，从多个维度互相补充信息，从而获得更加准确的结果。多模态情感分析中，不同模态数据间的模态融合是核心，目前，多模态数据融合的主流方法主要包括:
1)特征级融合:特征级融合将多个独立的数据集融合成一个单一的特征向量，然后输入到分类模型中，多模态数据的特征级融合往往无法充分利用多个模态数据间的互补性，且通常包含大量冗余信息。
2)决策级融合:在决策级融合中，每种模态特征被独立地抽取和分类，得到局部决策结果后，融合各个结果为决策向量以获得最终决策。而且由于决策级融合将不同模态数据分别训练好的模型输出进行权重融合，无法利用多模态数据之间的相关性，因此在模态之间有较强的关联性时，往往会遗漏大量的信息造成结果不准确。
现有多模态情感分析方案在模态融合时的局限性较大。特征级融合会在特征级别对数据进行融合，在模态较多时，融合过程会十分复杂，即使最终较好地提升模型表现，但同时也会降低性能；决策级特征融合在决策级别对数据进行融合，依据权重和历史经验策略进行计算，相比之下简单很多，但不同模态间的关联性也被完全丢弃。
同时，当前的多模态情感分析粒度较粗，大多局限于句子级别情感分析，即分析单句的情感倾向；而现实中一个语句往往包含不同实体，分别表达出不同的情感。忽视不同实体，粗糙地以单句为单位分析情感，在实际使用时会产生情感粒度不够细，无法准确识别单句中各实体情感走向等问题。而基于多维情感向量和属性分类提取的多维度细粒度情感识别技术和动态情感分析技术，通过构建多维情感向量，可以细粒度地识别某一特定属性的情感极性和不同属性间的差别。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种多维度细粒度动态情感分析方法，用于实现针对多模态数据的一整套分析及预测技术方案。
本发明的第二个目的在于提出一种多维度细粒度动态情感分析系统。
为达上述目的，本发明第一方面实施例提出了一种多维度细粒度动态情感分析方法，包括：利用多模态数据相关经验，对缺失数据进行预测补全；对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；分别计算文本音频图像多模态的特征；利用所述多模态数据的融合特征，用训练好的分类模型预测情感；基于实体的历史情感数据，预测所述实体未来情感走向。
本发明实施例提出的多维度细粒度动态情感分析方法，基于Transformer模型，构建常用语情感向量库，包括复杂情感融合、情感向量构建和缺失词汇猜测技术，使用图像情感识别、文字语义分析、多媒体特征融合、特征向量构造等技术构建面向多媒体素材的情感分析模型。在此基础上，针对自然语言语义含混杂糅的特征，提出以短句和实体为单位的细粒度情感统计和分析技术，细化情感分析的粒度，实现实体级别的多模态细粒度情感分析；针对情感分析实时性要求，采用实时更新的方式动态分析情感数据，基于时空特征序列，构建LSTM模型预测情感走势，形成数据实时全覆盖；针对情感数据量大、更新速度快的特点，提出支持动态反馈的低延时高性能的模型优化技术。
另外，根据本发明上述实施例的多维度细粒度动态情感分析方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述利用数据相关经验，对缺失数据进行预测补全，包括：
利用多模态数据在不同模态间存在一定关联关系的特点，采用Seq2Seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
进一步地，在本发明的一个实施例中，所述对文本进行实体级的情感分析，包括：
根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同Aspect，每个目标和Aspect关联不同情感；
采用预训练模型Bert，利用其Transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；
将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
进一步地，在本发明的一个实施例中，利用所述多模态数据的融合特征,用训练好的分类模型预测情感，其中，对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
进一步地，在本发明的一个实施例中，所述基于实体的历史情感数据，预测所述实体未来走向，包括:
根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；
对每个样本取时间序列上固定长度的一段时间作为目标，使用LSTM模型，学习训练集种的相关特征；
使用模型对将来一段时间内的情感变化趋势进行预测。
为达上述目的，本发明另一方面实施例提出了一种多维度细粒度动态情感分析系统，包括：数据完善模块，用于利用多模态数据相关经验，对缺失数据进行预测补全；实体级细粒度情感分析模块，用于对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；多模态特征提取模块，用于分别计算文本音频图像多模态的特征；多模态情感分析模块，用于利用所述多模态数据的融合特征,用训练好的分类模型预测情感；动态预测模块，用于基于实体的历史情感数据，预测所述实体未来情感走向。
本发明实施例提出的多维度细粒度动态情感分析系统，基于Transformer模型，构建常用语情感向量库，包括复杂情感融合、情感向量构建和缺失词汇猜测技术，使用图像情感识别、文字语义分析、多媒体特征融合、特征向量构造等技术构建面向多媒体素材的情感分析模型。在此基础上，针对自然语言语义含混杂糅的特征，提出以短句和实体为单位的细粒度情感统计和分析技术，细化情感分析的粒度，实现实体级别的多模态细粒度情感分析；针对情感分析实时性要求，采用实时更新的方式动态分析情感数据，基于时空特征序列，构建LSTM模型预测情感走势，形成数据实时全覆盖；针对情感数据量大、更新速度快的特点，提出支持动态反馈的低延时高性能的模型优化技术。
进一步地，在本发明的一个实施例中，所述数据完善模块，进一步用于：利用多模态数据在不同模态间存在一定关联关系的特点，采用Seq2Seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
进一步地，在本发明的一个实施例中，所述实体级细粒度情感分析模块，进一步用于：
根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同Aspect，每个目标和Aspect关联不同情感；
采用预训练模型Bert，利用其Transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；
将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
进一步地，在本发明的一个实施例中，所述多模态情感分析模块，进一步用于：
对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
进一步地，在本发明的一个实施例中，所述动态预测模块，进一步用于，
根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；
对每个样本取时间序列上固定长度的一段时间作为目标，使用LSTM模型，学习训练集种的相关特征；
使用模型对将来一段时间内的情感变化趋势进行预测。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种多维度细粒度动态情感分析方法的流程示意图。
图2为本发明实施例所提供的一种多维度细粒度动态情感分析系统的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的多维度细粒度动态情感分析方法和系统。
图1为本发明实施例所提供的一种基于多维度细粒度动态情感分析方法的流程示意图。
如图1所示，该多维度细粒度动态情感分析方法包括以下步骤：
S101：利用多模态数据相关经验，对缺失数据进行预测补全。
进一步地，在本发明的一个实施例中，利用数据相关经验，对缺失数据进行预测补全，包括：
利用多模态数据在不同模态间存在一定关联关系的特点，采用Seq2Seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
可以理解的是，针对数据可能受到外部环境等不可控因素干扰，使得某些模态信息噪音过大难以使用,以及由于安全隐私等导致某些模态缺失影响数据可用性问题,本发明利用多模态数据在不同模态间存在一定关联关系的特点，采用Seq2Seq模型来实现缺失模态的信息补全，根据已知模态的输入序列来预测缺失模态的信息，从而保证数据完善可用。
S102：对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割。
进一步地，在本发明的一个实施例中，对文本进行实体级的情感分析，包括：
根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同Aspect，每个目标和Aspect关联不同情感；采用预训练模型Bert，利用其Transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
基于实体或短句级别的细粒度情感分析，旨在提取目标实体并对其进行情感分类，因此可以看作是命名实体识别(NER)和情感分析(SA)两个任务的联合学习。在针对文本段的情感分析结束后，依据得到的实体分割结果，对文本、音频、图像进行同步分割处理。
S103：利用多模态数据的融合特征,用训练好的分类模型预测情感。
具体地，文本模态的特征提取采用Glove模型,将语料的全局信息加入词向量构建，从而使用全局信息和局部信息两类信息，以词为基本单位,将原始文本处理为情感分析模型可以使用的同等语义的系列向量。
音频模态具有声学和文本两种特征,针对音频模态需要在尽可能保留声学和文本两类特征的情况下，平衡两类特征，使其组合起来较好地体现音频的特点，选用梅尔频谱图特征，使用梅尔频谱图特征的计数单位,高音之间的距离更加显著。梅尔频谱图特征在语音识别和语音合成领域应用较广,既保留了音频和文本两个维度的信息，又较好的体现了音频的声学特征。
视频模态具有声学特征、文本特征、图像特征三种特征，针对视频模态需要分别计算三类特征，文本特征和声学特征按照梅尔频谱图特征计算，计算图片帧时需要考虑图片具有时序性的特点，采用3D卷积神经网络计算图像模态的特征，满足在时间序列维度上对图片帧进行图卷积处理的要求。
S104:利用所述多模态数据的融合特征,用训练好的分类模型预测情感。
进一步地，在本发明的一个实施例中，利用多模态数据的融合特征,用训练好的分类模型预测情感，其中，对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
可以理解的是，本发明使用的多模态情感分析模型，是以Transformer模型为骨架搭建的，该模型对输入的每一个模态，都配置一个单模态情感分析模型,为每一个单模态进行编码，并加入了感知层，从而将特征投影到新的空间中进行情感的预测,使用共注意力机制，促进不同模态之间更好地融合。训练时，通过对模型进行训练使模型快速熟悉情感分类任务，并不断优化分类任务的准确率。在使用时，该模块接收模态融合模块输出的融合特征，然后使用多模态情感分析框架完成分类预测任务。此外，由于特征级融合与决策级融合两种方式都有各自优缺点，本发明采用二者有机融合的特征融合方式，对于相互的影响作用较强的模态，采用特征级融合的方式，即在模型内对输入特征进行融合，然后使用融合后的特征对应的模型进行预测任务；而对于相关性较弱的模态，则不进行模型内的特征融合，而是使用单模态预测模型分别对不同的模态进行预测任务，然后最后进行决策级融合。
S105：基于实体的历史情感数据，预测所述实体未来情感走向。
进一步地，在本发明的一个实施例中，基于实体的历史情感数据，预测所述实体未来走向，包括:根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；对每个样本取时间序列上固定长度的一段时间作为目标，使用LSTM模型，学习训练集种的相关特征；使用模型对将来一段时间内的情感变化趋势进行预测。
本发明实施例提出的多维度细粒度动态情感分析方法，基于Transformer模型，构建常用语情感向量库，包括复杂情感融合、情感向量构建和缺失词汇猜测技术，使用图像情感识别、文字语义分析、多媒体特征融合、特征向量构造等技术构建面向多媒体素材的情感分析模型。在此基础上，针对自然语言语义含混杂糅的特征，提出以短句和实体为单位的细粒度情感统计和分析技术，细化情感分析的粒度，实现实体级别的多模态细粒度情感分析；针对情感分析实时性要求，采用实时更新的方式动态分析情感数据，基于时空特征序列，构建LSTM模型预测情感走势，形成数据实时全覆盖；针对情感数据量大、更新速度快的特点，提出支持动态反馈的低延时高性能的模型优化技术。
与当前主流的情感分析技术相比,一方面本方案融合了文本、图片、音频、视频多模态数据特征进行情感分析，提出了一种特征融合与决策融合有机结合的方式，对于相互的影响作用较强的模态，采用特征级融合的方式，对相关性较弱的模态间采用决策级融合。这种多模态特征融合方法充分考量了不同模态特征对最终分类结果的影响，提高了特征的质量，提升了最终情感分析的效果。另一方面，基于融合的多模态特征,本提案利用预训练模型BERT,将上下文添加到多头自注意力模型中,并根据上下文对不同的Aspect关联不同的情感,克服了现有方案缺乏细粒度支持的问题，最终实现了实体级的细粒度情感分析。
为了实现上述实施例，本发明还提出一种多维度细粒度动态情感分析系统。
图2为本发明实施例提供的一种多维度细粒度动态情感分析系统的结构示意图。
如图2所示，该基于块选择策略和像素值排序的可逆信息隐藏系统包括：数据完善模块模块10，实体级细粒度情感分析模块20，多模态特征提取模块30，多模态情感分析模块40，动态预测模块50，其中，数据完善模块用于利用多模态数据相关经验，对缺失数据进行预测补全；实体级细粒度情感分析模块用于对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；多模态特征提取模块用于分别计算文本音频图像多模态的特征；多模态情感分析模块用于利用所述多模态数据的融合特征,用训练好的分类模型预测情感；动态预测模块用于基于实体的历史情感数据，预测所述实体未来情感走向。
进一步地，在本发明的一个实施例中，数据完善模块10，进一步用于：利用多模态数据在不同模态间存在一定关联关系的特点，采用Seq2Seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
进一步地，在本发明的一个实施例中，实体级细粒度情感分析模块20，，进一步用于：根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同Aspect，每个目标和Aspect关联不同情感；采用预训练模型Bert，利用其Transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
进一步地，在本发明的一个实施例中，多模态情感分析模块40，进一步用于：对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
进一步地，在本发明的一个实施例中，动态预测模块50，进一步用于：根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；对每个样本取时间序列上固定长度的一段时间作为目标，使用LSTM模型，学习训练集种的相关特征；使用模型对将来一段时间内的情感变化趋势进行预测。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种多维度细粒度动态情感分析方法，其特征在于，包括以下步骤：
利用多模态数据相关经验，对缺失数据进行预测补全；
对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；
分别计算文本音频图像多模态的特征；
利用所述多模态数据的融合特征，用训练好的分类模型预测情感；
基于实体的历史情感数据，预测所述实体未来情感走向。
2.根据权利要求1所述的方法，其特征在于，所述利用数据相关经验，对缺失数据进行预测补全，包括：
利用多模态数据在不同模态间存在一定关联关系的特点，采用Seq2Seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
3.根据权利要求1所述的方法，其特征在于，所述对文本进行实体级的情感分析，包括：
根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同Aspect，每个目标和Aspect关联不同情感；
采用预训练模型Bert，利用其Transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；
将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
4.根据权利要求1所述的方法，其特征在于，利用所述多模态数据的融合特征，用训练好的分类模型预测情感，其中，对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
5.根据权利要求1所述的方法，其特征在于，所述基于实体的历史情感数据，预测所述实体未来走向，包括:
根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；
对每个样本取时间序列上固定长度的一段时间作为目标，使用LSTM模型，学习训练集种的相关特征；
使用模型对将来一段时间内的情感变化趋势进行预测。
6.一种多维度细粒度动态情感分析系统，其特征在于，包括以下模块：
数据完善模块，用于利用多模态数据相关经验，对缺失数据进行预测补全；
实体级细粒度情感分析模块，用于对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；
多模态特征提取模块，用于分别计算文本音频图像多模态的特征；
多模态情感分析模块，用于利用所述多模态数据的融合特征，用训练好的分类模型预测情感；
动态预测模块，用于基于实体的历史情感数据，预测所述实体未来情感走向。
7.根据权利要求6所述的系统，其特征在于，所述数据完善模块，进一步用于：
利用多模态数据在不同模态间存在一定关联关系的特点，采用Seq2Seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
8.根据权利要求6所述的系统，其特征在于，所述实体级细粒度情感分析模块，进一步用于：
根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同Aspect，每个目标和Aspect关联不同情感；
采用预训练模型Bert，利用其Transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；
将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
9.根据权利要求6所述的系统，其特征在于，所述多模态情感分析模块，进一步用于：
对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
10.根据权利要求6所述的系统，所述动态预测模块，进一步用于，
根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；
对每个样本取时间序列上固定长度的一段时间作为目标，使用LSTM模型，学习训练集种的相关特征；
使用模型对将来一段时间内的情感变化趋势进行预测。
CN202111229233.5A 2021-10-21 2021-10-21 多维度细粒度动态情感分析方法及系统 Pending CN114154077A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111229233.5A CN114154077A (zh) 2021-10-21 2021-10-21 多维度细粒度动态情感分析方法及系统
PCT/CN2022/087221 WO2023065619A1 (zh) 2021-10-21 2022-04-15 多维度细粒度动态情感分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111229233.5A CN114154077A (zh) 2021-10-21 2021-10-21 多维度细粒度动态情感分析方法及系统

Publications (1)

Publication Number Publication Date
CN114154077A true CN114154077A (zh) 2022-03-08

Family

ID=80458412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111229233.5A Pending CN114154077A (zh) 2021-10-21 2021-10-21 多维度细粒度动态情感分析方法及系统

Country Status (2)

Country Link
CN (1) CN114154077A (zh)
WO (1) WO2023065619A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062553A (zh) * 2022-08-17 2022-09-16 浪潮通用软件有限公司 基于多模型融合的水泵工况劣化检测方法、设备及介质
WO2023065619A1 (zh) * 2021-10-21 2023-04-27 北京邮电大学 多维度细粒度动态情感分析方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434787B (zh) * 2023-06-14 2023-09-08 之江实验室 一种语音情感识别的方法、装置、存储介质及电子设备
CN117390141B (zh) * 2023-12-11 2024-03-08 江西农业大学 一种农业社会化服务质量用户评价数据分析方法
CN117540007B (zh) * 2024-01-04 2024-03-15 烟台大学 基于相似模态补全的多模态情感分析方法、系统和设备
CN117975342B (zh) * 2024-03-28 2024-06-11 江西尚通科技发展有限公司 半监督多模态情感分析方法、系统、存储介质及计算机
CN118094176B (zh) * 2024-04-22 2024-06-18 杭州海康威视数字技术股份有限公司 多模态智能模型系统化安全防护方法、装置及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210151034A1 (en) * 2019-11-14 2021-05-20 Comcast Cable Communications, Llc Methods and systems for multimodal content analytics
CN113065577A (zh) * 2021-03-09 2021-07-02 北京工业大学 一种面向目标的多模态情感分类方法
CN113255755B (zh) * 2021-05-18 2022-08-23 北京理工大学 一种基于异质融合网络的多模态情感分类方法
CN113420807A (zh) * 2021-06-22 2021-09-21 哈尔滨理工大学 基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法
CN114154077A (zh) * 2021-10-21 2022-03-08 北京邮电大学 多维度细粒度动态情感分析方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023065619A1 (zh) * 2021-10-21 2023-04-27 北京邮电大学 多维度细粒度动态情感分析方法及系统
CN115062553A (zh) * 2022-08-17 2022-09-16 浪潮通用软件有限公司 基于多模型融合的水泵工况劣化检测方法、设备及介质
CN115062553B (zh) * 2022-08-17 2022-11-25 浪潮通用软件有限公司 基于多模型融合的水泵工况劣化检测方法、设备及介质

Also Published As

Publication number Publication date
WO2023065619A1 (zh) 2023-04-27

Similar Documents

Publication Publication Date Title
CN114154077A (zh) 多维度细粒度动态情感分析方法及系统
CN108986186B (zh) 文字转化视频的方法和系统
Hasan et al. UR-FUNNY: A multimodal language dataset for understanding humor
CN110717017B (zh) 一种处理语料的方法
WO2020215988A1 (zh) 视频描述生成方法、装置、设备及存储介质
JP2023509031A (ja) マルチモーダル機械学習に基づく翻訳方法、装置、機器及びコンピュータプログラム
US11769018B2 (en) System and method for temporal attention behavioral analysis of multi-modal conversations in a question and answer system
CN107066464A (zh) 语义自然语言向量空间
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
AU2016256753A1 (en) Image captioning using weak supervision and semantic natural language vector space
JP6361351B2 (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
CN113035311B (zh) 一种基于多模态注意力机制的医学图像报告自动生成方法
JP2023535709A (ja) 言語表現モデルシステム、事前訓練方法、装置、機器及び媒体
CN116720004B (zh) 推荐理由生成方法、装置、设备及存储介质
CN114339450B (zh) 视频评论生成方法、系统、设备及存储介质
CN112154465A (zh) 一种意图识别模型的学习方法、装置及设备
Zhuang et al. Multichannel attention refinement for video question answering
Li et al. Multimodal sentiment analysis with multi-perspective fusion network focusing on sense attentive language
CN117131198B (zh) 用于医学教学库的知识增强实体关系联合抽取方法及设备
CN116821457B (zh) 一种基于多模态大模型的智能咨询及舆情处理系统
CN114882862A (zh) 一种语音处理方法及相关设备
CN116912642A (zh) 基于双模多粒度交互的多模态情感分析方法、设备及介质
Deorukhkar et al. A detailed review of prevailing image captioning methods using deep learning techniques
Wu et al. Estimating the uncertainty in emotion class labels with utterance-specific Dirichlet priors
Zaoad et al. An attention-based hybrid deep learning approach for bengali video captioning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination