CN117688185A - 一种用户信息增强的长文本细粒度情感分析方法 - Google Patents

一种用户信息增强的长文本细粒度情感分析方法 Download PDF

Info

Publication number
CN117688185A
CN117688185A CN202410156109.8A CN202410156109A CN117688185A CN 117688185 A CN117688185 A CN 117688185A CN 202410156109 A CN202410156109 A CN 202410156109A CN 117688185 A CN117688185 A CN 117688185A
Authority
CN
China
Prior art keywords
representation
sentence
document
module
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410156109.8A
Other languages
English (en)
Other versions
CN117688185B (zh
Inventor
邬昌兴
陈家雨
汪恒
杨亚连
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202410156109.8A priority Critical patent/CN117688185B/zh
Publication of CN117688185A publication Critical patent/CN117688185A/zh
Application granted granted Critical
Publication of CN117688185B publication Critical patent/CN117688185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种用户信息增强的长文本细粒度情感分析方法，本发明通过全局信息引导的编码模块把文档级的全局信息引入层次Transformer子模块中，以更好地学习文档的语义表示，用户表示的学习和集成模块通过一个共享网络在相似用户之间共享信息，以学习更好的用户表示，继而集成用户表示到Transformer层的多头注意力机制和多层前向神经网络中，以建模用户情感表达的偏好，通过融合对比学习的总代价计算模块计算模型训练的总代价，本发明提出的方法能够较好地学习长文本的语义表示、有效地利用用户信息、能够准确区分细粒度的情感，分析性能较现有的方法有实质性的提高。

Description

一种用户信息增强的长文本细粒度情感分析方法
技术领域
本发明涉及自然语言处理技术领域，特别是涉及一种用户信息增强的长文本细粒度情感分析方法。
背景技术
情感分析旨在自动判断给定文本的情感倾向，是自然语言处理领域的热点问题之一。情感分析的结果有利于信息检索、产品推荐和智能客服等众多上层自然语言处理应用。依据情感分析对象粒度的不同，可以分为篇章级情感分类、句子级情感分类和方面级情感分类。通常把情感分析看作一个分类问题，输入待分析的文本，输出文本中表达的是正面、中性或者负面情感。有些真实应用场景下还需要更细的情感粒度，例如，分为极正面、正面、中性、负面和极负面五类。
随着互联网的兴起与迅速发展，诸如微博、影评网站和短视频平台等社交媒体产生了大量的篇幅较长的评论文本，这些评论文本反映了用户对特定事物或商品的情感倾向。对这类长文本进行情感信息挖掘具有较大的现实意义。例如，通过挖掘用户对商品的喜好，不仅可以帮助公司精准定位产品升级方向，还可以辅助消费者挑选更合适的商品。
然而现有的长文本细粒度情感分析模型面临以下三个方面的问题：
1）不能较好地学习长文本的语义表示。在自然语言处理领域常用的Bert等模型大都基于句子级的数据进行预训练，直接用于长文本（文档或篇章）效果并不理想。此外，Bert等模型通常会限制输入文本的长度，在应用于长文本时需要截断输入文本，导致部分信息的丢失。有的研究人员使用层次化的Transformer结构建模长文本，其首先基于句子级的Transformer层分别学每个句子的语义表示，然后基于文档级的Transformer层学习整个文档的语义表示。然而，长文本中用户的情感倾向往往是比较复杂的，例如，用户在一篇评论中可能表达对酒店的服务比较满意、对地理位置也比较满意，但不喜欢菜的口味。因此，如何利用全局信息引导长文本的建模，以更好地表达用户复杂的情感倾向，是一个值得研究的问题；
2）不能有效地利用用户信息。不同的用户可能用相同的词或句子表达不同的情感倾向。例如，不同的用户可能用“喜欢”表达“极正面”或“正面”的情感。现有研究发现集成用户信息可以较大地提高情感分析的准确率，这类研究重点关注如何表示一个用户，以及如何把用户信息集成到情感分析模型中。一般而言，当用户发表的评论数较多的时候，可以较好地学习用户表示；反之，当用户发表的评论数较少时，学习其表示是非常困难的。如何更好地学习用户的语义表示是当前研究的热点问题之一。
3）不能准确区分细粒度的情感。极正面与正面（或极负面与负面）等相似情感类别的区分对现有模型来说比较困难。例如，在常用的Yelp数据集上，约27%的“极正面”情感被误识别为“正面”情感，约30%的“极负面”情感被误识别为“负面”情感，约29%的“中性”情感被误识别为“正面”情感。现有方法在如何准确地区分细粒度的情感方面尚显不足。
发明内容
为此，本发明的实施例提出一种用户信息增强的长文本细粒度情感分析方法，以解决现有技术不能较好地学习长文本的语义表示、不能有效地利用用户信息、不能准确区分细粒度的情感的技术问题。
根据本发明一实施例的用户信息增强的长文本细粒度情感分析方法，应用于情感分析模型，所述情感分析模型包括全局信息引导的编码模块、用户表示的学习和集成模块、分类模块、融合对比学习的总代价计算模块；
所述全局信息引导的编码模块包括一个词嵌入层和多个层次Transformer子模块，每个层次Transformer子模块包括一个句子级Transformer层和一个文档级Transformer层；
所述方法包括：
在全局信息引导的编码模块中，通过词嵌入层得到词和句子的初始语义表示，再在文档级全局信息的引导下，句子级Transformer层通过自注意力机制建模词与词之间、词与句子之间、词与文档之间的交互，优化词、句子和文档的语义表示，文档级Transformer层在句子级Transformer层输出的句子和文档表示的基础上，通过自注意力机制建模句子之间、句子与文档之间的交互，继续优化句子和文档的语义表示，最后基于各个层次Transformer子模块的输出计算得到文档的最终语义表示/>；
在用户表示的学习和集成模块中，通过一个共享网络在相似用户之间共享信息，该共享网络是一个多层前向神经网络，以用户的初始语义表示为输入，输出用户的最终语义表示，进而把用户的最终语义表示集成到全局信息引导的编码模块的所有句子级Transformer层和文档级Transformer层中，以建模用户与词、用户与句子以及用户与文档之间的关系；
在分类模块中，根据文档的最终语义表示/>，计算得到分类结果/>，分类结果是一个R维的向量，R表示情感类别的类别总数；
通过融合对比学习的总代价计算模块计算情感分析模型训练的总代价，引入对比学习策略缩小正训练实例对之间的语义表示距离，同时拉大负训练实例对之间的语义表示距离。
根据本发明实施例的用户信息增强的长文本细粒度情感分析方法，通过全局信息引导的编码模块把文档级的全局信息引入层次Transformer子模块中，以更好地学习文档的语义表示，用户表示的学习和集成模块通过一个共享网络在相似用户之间共享信息，以学习更好的用户表示，继而集成用户表示到Transformer层的多头注意力机制和多层前向神经网络中，以建模用户情感表达的偏好，此外，通过融合对比学习的总代价函数计算模块计算模型训练的总代价，引入对比学习策略缩小正训练实例对之间的语义表示距离，按一定的权重缩小不完全正训练对之间的语义表示距离，同时拉大负训练实例对之间的语义表示距离，使最终训练得到的情感分析模型能更好地区分细粒度的情感类别，因此，本发明提出的方法能够较好地学习长文本的语义表示、有效地利用用户信息、能够准确区分细粒度的情感，分析性能较现有的方法有实质性的提高。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一实施例的情感分析模型的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提出一种用户信息增强的长文本细粒度情感分析方法，应用于情感分析模型，请参阅图1，所述情感分析模型包括全局信息引导的编码模块、用户表示的学习和集成模块、分类模块、融合对比学习的总代价计算模块。
所述方法包括步骤1~4：
步骤1，在全局信息引导的编码模块中，通过词嵌入层得到词和句子的初始语义表示，再在文档级全局信息的引导下，句子级Transformer层通过自注意力机制建模词与词之间、词与句子之间、词与文档之间的交互，优化词、句子和文档的语义表示，文档级Transformer层在句子级Transformer层输出的句子和文档表示的基础上，通过自注意力机制建模句子之间、句子与文档之间的交互，继续优化句子和文档的语义表示，最后基于各个层次Transformer子模块的输出计算得到文档的最终语义表示/>。
其中，所述全局信息引导的编码模块包括一个词嵌入层和K个层次Transformer子模块，其把文档级的全局信息引入层次Transformer子模块中，以更好地学习文档的语义表示。
其中，所述词嵌入层满足以下条件式：
；
其中，为文档/>中的句子/>的初始语义向量表示，/>、/>分别为句子中第1个词、第/>个词的初始语义向量表示，/>为Bert类预训练语言模型，/>为Bert类预训练语言模型中的句子标识符，/>表示拼接/>与句子/>中的词形成的输入序列，/>为句子/>中词的个数。
每个层次Transformer子模块包括一个句子级Transformer层和一个文档级Transformer层。堆叠K个层次Transformer子模块可以达到词、句子和文档的表示迭代地相互促进的目的，即由好的词表示学习好的句子和文档表示，反之亦然。最终，把学习到的文档的语义表示用于情感分析。
在文档级全局信息的引导下，句子级Transformer层通过自注意力机制建模词与词之间、词与句子之间、词与文档之间的交互，可以进一步优化词、句子和文档的语义表示。
具体的，句子级Transformer层满足以下条件式：
；
其中，、/>分别为第/>个层次Transformer子模块中融合了相应词信息的文档、句子/>的表示；/>、/>分别为第/>个层次Transformer子模块输出的句子/>中第1个词、第/>个词的词表示；/>表示第/>个层次Transformer子模块中的句子级Transformer层；/>、/>分别为第/>个层次Transformer子模块输出的文档、句子/>的表示；/>、/>分别为第/>个层次Transformer子模块输出的句子/>中第1个词、第/>个词的词表示；/>为经过共享网络后得到的用户/>的最终语义表示；
文档级Transformer层在句子级Transformer层输出的句子和文档表示的基础上，通过自注意力机制建模句子之间、句子与文档之间的交互，可以继续优化句子和文档的语义表。
具体的，文档级Transformer层满足以下条件式：
;
;
其中，为第/>个层次Transformer子模块输出的文档表示；/>、/>分别为第个层次Transformer子模块输出的第1个、第M个句子表示；/>表示第/>个层次Transformer子模块中的文档级Transformer层；/>为经过最大池化操作计算得到的文档的中间表示；/>为融合了句子中词信息的第1个句子表示，/>为融合了句子中的词信息的第M个句子表示；/>表示最大池化操作；/>为融合了第1个句子中的词信息的文档表示；/>为融合了第M个句子中的词信息的文档表示。
全局信息引导的编码模块得到文档的最终语义表示/>的表达式为：
；
其中，、/>分别表示第1个、第K个层次Transformer子模块输出的文档/>的表示。
需要说明的是，句子级Transformer层和文档级Transformer层都需要注入用户信息，以学习用户表达情感的偏好，其具体计算过程将在用户表示的学习和集成模块中详细介绍。
步骤2，在用户表示的学习和集成模块中，通过一个共享网络在相似用户之间共享信息，该共享网络是一个多层前向神经网络，以用户的初始语义表示为输入，输出用户的最终语义表示，进而把用户的最终语义表示集成到全局信息引导的编码模块的所有句子级Transformer层和文档级Transformer层中，以建模用户与词、用户与句子以及用户与文档之间的关系。
现有大多数方法把每个用户随机初始化为一个参数向量，并在训练模型的过程中进行优化，没有直接建立相似用户之间的联系。与之相比，本发明使用一个共享网络建立相似用户之间的联系，从而能更好地学习用户的表示，特别是发表评论较少的用户的表示。
具体的，用户表示的学习和集成模块满足以下条件式：
；
其中，表示用户表示的学习和集成模块的多层前向神经网络，/>表示用户的初始语义表示。
把学到的用户表示集成到全局信息引导的编码模块的所有Transformer层中，可以充分建模用户与词、用户与句子以及用户与文档之间的关系，从而更好地学习用户表达情感的偏好。任一Transformer层主要由一个多头注意力机制和一个多层前向神经网络组成，本发明把用户信息同时集成到这两个部分。下面以句子级Transformer层为例进行介绍，文档级Transformer层中集成用户信息的方法类似，这里不再累述。
具体的，用户表示的学习和集成模块满足以下条件式：
；
；
；
；
；
；
其中，、/>、/>分别为自注意力机制中的查询、键、值；/>、/>、分别为第1头、第/>头、第/>头自注意力机制计算的结果；tanh和Softmax分别为双曲函数和归一化指数函数；/>为由输入向量序列构成的矩阵；/>、/>、/>、/>、为需要学习的参数矩阵；/>为/>个用户语义表示构成的矩阵；T表示矩阵转置操作；/>表示句子级Transformer层的多层前向神经网络。
步骤3，在分类模块中，根据文档的最终语义表示/>，计算得到分类结果/>，分类结果/>是一个R维的向量，R表示情感类别的类别总数。
其中，分类模块由一个多层前向神经网络叠加一个Softmax函数构成，输入编码模块学到的文档语义表示，输出情感分析的结果。
具体的，分类模块满足以下条件式：
；
其中，表示分类模块的多层前向神经网络。/>是一个概率分布，其第/>个分量为文档/>属于第/>个情感类别的预测概率，/>，R表示情感类别的类别总数。在常见的细粒度情感分析中包括极正面、正面、中性、负面和极负面5类，即R为5。
步骤4，通过融合对比学习的总代价计算模块计算情感分析模型训练的总代价，引入对比学习策略缩小正训练实例对之间的语义表示距离，同时拉大负训练实例对之间的语义表示距离。
其中，所述融合对比学习的总代价函数计算模块包括交叉熵代价计算单元和对比学习代价计算单元；
所述交叉熵代价计算单元满足以下条件式：
；
其中，表示交叉熵代价；D表示训练数据集；/>表示训练数据集D中的文档/>属于第/>个情感类别的真实概率；/>表示文档/>的属于第/>个情感类别的预测概率。
对比学习代价用于缩小正训练实例对之间的语义表示距离，同时拉大负训练实例对之间的语义表示距离，使最终训练得到的情感分析模型能更好地区分细粒度的情感类别。经典的对比学习中，通常把训练数据集中属于同一类别的实例对当作正实例对，把不同类别的实例对当作负实例对。直接把经典的对比学习代价用于细粒度的情感分析效果并不理想，因为“极正面”与“正面”的实例虽然类别不同，但把他们当作负实例对是不合适的。为此，本发明中定义三种类型的实例对：正实例对、不完全正实例对和负实例对，并在计算对比学习代价时为它们赋予不同的权重。极负面、负面、中性、正面和极正面情感类别也可以看作情感评级1~5，1代表极负面，5代表极正面。本发明中，定义正实例对为情感类别相同的实例对，不完全正实例对为情感类别相差较小的实例对（即情感评级相差1），负实例对为情感类别相差较大的实例对（即情感评级相差超过1）。
具体的，所述对比学习代价计算单元满足以下条件式：
；
；
其中，表示对比学习代价；B为训练情感分析模型时的分块；/>为分块B中文档的正实例；/>为/>的语义向量表示；/>为分块B中文档/>的不完全正实例；/>为/>的语义向量表示；/>为分块B中文档/>的负实例；/>为/>的语义向量表示；/>为不完全正实例/>的权重；exp和sim分别为指数函数和向量相似度计算函数；/>为文档/>的三类实例对的相似度之和。本发明中把正实例和负实例的权重设为1，通过不完全实例的权重/>调节对比学习代价。
所述融合对比学习的总代价计算模块满足以下条件式：
；
其中，表示融合对比学习的总代价，/>表示对比学习代价的权重系数。
在训练模型的过程中，通过最小化训练数据集D上的总代价，引导情感分析模型参数的更新，收敛后得到的模型即为最终的情感分析模型。
根据上述的用户信息增强的长文本细粒度情感分析方法，通过全局信息引导的编码模块把文档级的全局信息引入层次Transformer子模块中，以更好地学习文档的语义表示，用户表示的学习和集成模块通过一个共享网络在相似用户之间共享信息，以学习更好的用户表示，继而集成用户表示到Transformer层的多头注意力机制和多层前向神经网络中，以建模用户情感表达的偏好，此外，通过融合对比学习的总代价函数计算模块计算模型训练的总代价，引入对比学习策略缩小正训练实例对之间的语义表示距离，按一定的权重缩小不完全正训练对之间的语义表示距离，同时拉大负训练实例对之间的语义表示距离，使最终训练得到的情感分析模型能更好地区分细粒度的情感类别，因此，本发明提出的方法能够较好地学习长文本的语义表示、有效地利用用户信息、能够准确区分细粒度的情感，分析性能较现有的方法有实质性的提高。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种用户信息增强的长文本细粒度情感分析方法，其特征在于，应用于情感分析模型，所述情感分析模型包括全局信息引导的编码模块、用户表示的学习和集成模块、分类模块、融合对比学习的总代价计算模块；
所述全局信息引导的编码模块包括一个词嵌入层和多个层次Transformer子模块，每个层次Transformer子模块包括一个句子级Transformer层和一个文档级Transformer层；
所述方法包括：
在全局信息引导的编码模块中，通过词嵌入层得到词和句子的初始语义表示，再在文档级全局信息的引导下，句子级Transformer层通过自注意力机制建模词与词之间、词与句子之间、词与文档之间的交互，优化词、句子和文档的语义表示，文档级Transformer层在句子级Transformer层输出的句子和文档表示的基础上，通过自注意力机制建模句子之间、句子与文档之间的交互，继续优化句子和文档的语义表示，最后基于各个层次Transformer子模块的输出计算得到文档的最终语义表示/>；
在用户表示的学习和集成模块中，通过一个共享网络在相似用户之间共享信息，该共享网络是一个多层前向神经网络，以用户的初始语义表示为输入，输出用户的最终语义表示，进而把用户的最终语义表示集成到全局信息引导的编码模块的所有句子级Transformer层和文档级Transformer层中，以建模用户与词、用户与句子以及用户与文档之间的关系；
在分类模块中，根据文档的最终语义表示/>，计算得到分类结果/>，分类结果/>是一个R维的向量，R表示情感类别的类别总数；
通过融合对比学习的总代价计算模块计算情感分析模型训练的总代价，引入对比学习策略缩小正训练实例对之间的语义表示距离，同时拉大负训练实例对之间的语义表示距离。
2.根据权利要求1所述的用户信息增强的长文本细粒度情感分析方法，其特征在于，所述词嵌入层满足以下条件式：
；
其中，为文档/>中的句子/>的初始语义向量表示，/>、/>分别为句子/>中第1个词、第/>个词的初始语义向量表示，/>为Bert类预训练语言模型，/>为Bert类预训练语言模型中的句子标识符，/>表示拼接/>与句子/>中的词形成的输入序列，/>为句子/>中词的个数；
句子级Transformer层满足以下条件式：
；
其中，、/>分别为第/>个层次Transformer子模块中融合了相应词信息的文档、句子/>的表示；/>、/>分别为第/>个层次Transformer子模块输出的句子/>中第1个词、第/>个词的词表示；/>表示第/>个层次Transformer子模块中的句子级Transformer层；/>、/>分别为第/>个层次Transformer子模块输出的文档、句子/>的表示；/>、/>分别为第/>个层次Transformer子模块输出的句子/>中第1个词、第/>个词的词表示；/>为经过共享网络后得到的用户/>的最终语义表示；
文档级Transformer层满足以下条件式：
;
;
其中，为第/>个层次Transformer子模块输出的文档表示；/>、/>分别为第/>个层次Transformer子模块输出的第1个、第M个句子表示；/>表示第/>个层次Transformer子模块中的文档级Transformer层；/>为经过最大池化操作计算得到的文档的中间表示；/>为融合了句子中词信息的第1个句子表示，/>为融合了句子中的词信息的第M个句子表示；/>表示最大池化操作；/>为融合了第1个句子中的词信息的文档表示；/>为融合了第M个句子中的词信息的文档表示。
3.根据权利要求2所述的用户信息增强的长文本细粒度情感分析方法，其特征在于，全局信息引导的编码模块得到文档的最终语义表示/>的表达式为：
；
其中，、/>分别表示第1个、第K个层次Transformer子模块输出的文档/>的表示。
4.根据权利要求3所述的用户信息增强的长文本细粒度情感分析方法，其特征在于，用户表示的学习和集成模块满足以下条件式：
；
；
；
；
；
；
；
其中，表示用户表示的学习和集成模块的多层前向神经网络，/>表示用户/>的初始语义表示；/>、/>、/>分别为自注意力机制中的查询、键、值；/>、/>、分别为第1头、第/>头、第/>头自注意力机制计算的结果；tanh和Softmax分别为双曲函数和归一化指数函数；/>为由输入向量序列构成的矩阵；/>、/>、/>、/>、为需要学习的参数矩阵；/>为/>个用户语义表示构成的矩阵；T表示矩阵转置操作；/>表示句子级Transformer层的多层前向神经网络。
5.根据权利要求4所述的用户信息增强的长文本细粒度情感分析方法，其特征在于，分类模块满足以下条件式：
；
其中，表示分类模块的多层前向神经网络。
6.根据权利要求5所述的用户信息增强的长文本细粒度情感分析方法，其特征在于，所述融合对比学习的总代价计算模块包括交叉熵代价计算单元和对比学习代价计算单元；
所述交叉熵代价计算单元满足以下条件式：
；
其中，表示交叉熵代价；D表示训练数据集；/>表示训练数据集D中的文档/>属于第个情感类别的真实概率；/>表示文档/>的属于第/>个情感类别的预测概率；
所述对比学习代价计算单元满足以下条件式：
；
；
其中，表示对比学习代价；B为训练情感分析模型时的分块；/>为分块B中文档/>的正实例；/>为/>的语义向量表示；/>为分块B中文档/>的不完全正实例；/>为/>的语义向量表示；/>为分块B中文档/>的负实例；/>为/>的语义向量表示；/>为不完全正实例的权重；exp和sim分别为指数函数和向量相似度计算函数；/>为文档/>的三类实例对的相似度之和；
所述融合对比学习的总代价计算模块满足以下条件式：
；
其中，表示融合对比学习的总代价，/>表示对比学习代价的权重系数，在训练模型的过程中，通过最小化训练数据集D上的总代价/>，引导情感分析模型参数的更新，收敛后得到的模型即为最终的情感分析模型。
CN202410156109.8A 2024-02-04 2024-02-04 一种用户信息增强的长文本细粒度情感分析方法 Active CN117688185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410156109.8A CN117688185B (zh) 2024-02-04 2024-02-04 一种用户信息增强的长文本细粒度情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410156109.8A CN117688185B (zh) 2024-02-04 2024-02-04 一种用户信息增强的长文本细粒度情感分析方法

Publications (2)

Publication Number Publication Date
CN117688185A true CN117688185A (zh) 2024-03-12
CN117688185B CN117688185B (zh) 2024-04-12

Family

ID=90128699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410156109.8A Active CN117688185B (zh) 2024-02-04 2024-02-04 一种用户信息增强的长文本细粒度情感分析方法

Country Status (1)

Country Link
CN (1) CN117688185B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118153566A (zh) * 2024-05-09 2024-06-07 华东交通大学 一种段落大意引导的汉语篇章结构分析方法
CN118427335A (zh) * 2024-04-17 2024-08-02 国网江苏省电力有限公司物资分公司 基于语言模型的供应链文档智能索引方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311213A1 (en) * 2019-03-28 2020-10-01 Siemens Aktiengesellschaft System and method for natural language processing with a multinominal topic model
WO2021109671A1 (zh) * 2019-12-02 2021-06-10 广州大学 一种支持跨语言迁移的细粒度情感分析方法
CN113094502A (zh) * 2021-03-22 2021-07-09 北京工业大学 一种多粒度外卖用户评论情感分析方法
CN113627195A (zh) * 2021-10-14 2021-11-09 华东交通大学 基于层次Transformer和图神经网络的评论情感分析方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311213A1 (en) * 2019-03-28 2020-10-01 Siemens Aktiengesellschaft System and method for natural language processing with a multinominal topic model
WO2021109671A1 (zh) * 2019-12-02 2021-06-10 广州大学 一种支持跨语言迁移的细粒度情感分析方法
CN113094502A (zh) * 2021-03-22 2021-07-09 北京工业大学 一种多粒度外卖用户评论情感分析方法
CN113627195A (zh) * 2021-10-14 2021-11-09 华东交通大学 基于层次Transformer和图神经网络的评论情感分析方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SUZHOU GUO: "Long-form text matching with word vector clustering and graph convolution", IEEE, 9 April 2022 (2022-04-09) *
陈自岩;黄宇;王洋;傅兴玉;付琨;: "一种利用语义相似特征提升细粒度情感分析方法", 计算机应用与软件, no. 03, 15 March 2017 (2017-03-15) *
颜孝为;肖化;: "基于注意力编码网络的细粒度文本情感分析研究", 网络安全技术与应用, no. 01, 15 January 2020 (2020-01-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118427335A (zh) * 2024-04-17 2024-08-02 国网江苏省电力有限公司物资分公司 基于语言模型的供应链文档智能索引方法和系统
CN118153566A (zh) * 2024-05-09 2024-06-07 华东交通大学 一种段落大意引导的汉语篇章结构分析方法

Also Published As

Publication number Publication date
CN117688185B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN108573411B (zh) 基于用户评论的深度情感分析和多源推荐视图融合的混合推荐方法
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
CN117688185B (zh) 一种用户信息增强的长文本细粒度情感分析方法
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
CN113254610B (zh) 面向专利咨询的多轮对话生成方法
Zhang et al. Aspect-based sentiment analysis for user reviews
Wen et al. Sentiment analysis of hotel online reviews using the BERT model and ERNIE model—Data from China
Singh et al. Towards improving e-commerce customer review analysis for sentiment detection
CN111538841B (zh) 基于知识互蒸馏的评论情感分析方法、装置及系统
Zhiyuli et al. Bookgpt: A general framework for book recommendation empowered by large language model
CN117574904A (zh) 基于对比学习和多模态语义交互的命名实体识别方法
Jassim et al. A survey of sentiment analysis from film critics based on machine learning, lexicon and hybridization
CN115630145A (zh) 一种基于多粒度情感的对话推荐方法及系统
CN113722439A (zh) 基于对抗性类别对齐网络的跨领域情感分类方法及系统
Zhang et al. SKG-Learning: A deep learning model for sentiment knowledge graph construction in social networks
Zhou et al. Deep personalized medical recommendations based on the integration of rating features and review sentiment analysis
Pandey et al. Progress, achievements, and challenges in multimodal sentiment analysis using deep learning: A survey
Wang et al. Product feature sentiment analysis based on GRU-CAP considering Chinese sarcasm recognition
Wang et al. To Recommend or Not: Recommendability Identification in Conversations with Pre-trained Language Models
CN117235271A (zh) 信息抽取方法、装置、计算机存储介质及电子设备
Deroy et al. Question generation: Past, present & future
Kadan et al. REDAffectiveLM: leveraging affect enriched embedding and transformer-based neural language model for readers’ emotion detection
Kumaran et al. Recommender System for E-Commerce Application based on Deep Collaborative Conjunctive Model
Lv Personalized Recommendation Algorithm of Literary Works Based on Annotated Corpus
Selvam et al. Root-cause analysis using ensemble model for intelligent decision-making

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant