CN116108187B - 一种集成多粒度信息的方面级情感分类方法 - Google Patents

一种集成多粒度信息的方面级情感分类方法 Download PDF

Info

Publication number
CN116108187B
CN116108187B CN202310400767.2A CN202310400767A CN116108187B CN 116108187 B CN116108187 B CN 116108187B CN 202310400767 A CN202310400767 A CN 202310400767A CN 116108187 B CN116108187 B CN 116108187B
Authority
CN
China
Prior art keywords
sentence
nodes
chapter
information
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310400767.2A
Other languages
English (en)
Other versions
CN116108187A (zh
Inventor
邬昌兴
王琛
陈家雨
李家祯
李雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202310400767.2A priority Critical patent/CN116108187B/zh
Publication of CN116108187A publication Critical patent/CN116108187A/zh
Application granted granted Critical
Publication of CN116108187B publication Critical patent/CN116108187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出一种集成多粒度信息的方面级情感分类方法,通过句子级信息提取层得到特定于方面
Figure ZY_3
的语义向量表示
Figure ZY_5
,通过篇章级信息提取层得到融合篇章信息的方面表示
Figure ZY_8
和融合篇章信息的句子表示
Figure ZY_2
,通过语料级信息提取层得到语料级信息
Figure ZY_6
,通过MLP分类层对语义向量表示
Figure ZY_9
、融合篇章信息的方面表示
Figure ZY_10
、融合篇章信息的句子表示
Figure ZY_1
、语料级信息
Figure ZY_4
进行融合得到分类结果
Figure ZY_7
,确定情感极性对应概率。本发明可实现集成多粒度信息的方面级情感分类,提高了方面级情感分类性能。

Description

一种集成多粒度信息的方面级情感分类方法
技术领域
本发明涉及自然语言处理技术领域,特别是涉及一种集成多粒度信息的方面级情感分类方法。
背景技术
情感分类旨在自动判断给定文本的情感倾向,是自然语言处理领域的热点问题之一。情感分类的结果有利于信息检索、产品推荐和智能客服等众多上层自然语言处理应用。依据情感分类对象粒度的不同,可以分为篇章级情感分类、句子级情感分类和方面级情感分类。方面级情感分类旨在判断文本中特定方面的情感极性。例如,在句子“餐馆价格很低,但食物味道不好”中,关于“价格#总体”和“食物#味道”这两个方面的情感分别为“正向情感”和“负向情感”。方面级情感分类能够为众多自然语言处理应用提供细粒度的情感信息,具有广阔的应用前景,受到学术界和工业界越来越多的关注。
基于深度学习的方面级情感分类模型是目前主流的模型,取得了较好的识别性能。这类模型通常以词向量作为输入,基于注意力等机制建模句子中与特定方面相关的上下文信息用于情感分类。研究人员提出了大量用于建模特定方面与上下文之间关系的神经网络模型。例如,2016年首次将注意力机制引入方面级情感分类任务,把方面的向量表示作为注意力机制中的“查询”,把句子中经过LSTM编码的词的表示同时作为“键”和“值”,用于建模句子中与该方面相关的上下文信息,取得了当时最好的效果。随后,提出了一种改进的LSTM网络用于方面级情感分类,其核心增加了一个门机制,用于选取与特定方面相关的句子中的上下文信息。另一些研究人员基于句子的依存树构建图神经网络,利用依存句法树中词之间的依赖关系,有效地建模方面中的词与句子中词之间的长距离依赖信息。最近,在预训练BERT模型的基础上,研究人员进一步利用依存句法信息提取与特定方面相关的上下文信息,在多个数据集上取得了较好的效果。
然而,目前多数主流的方面级情感分类模型仅仅利用了句子级的局部信息,而忽略了篇章级和语料级全局信息的利用,分类性能尚有提升的空间。
发明内容
为此,本发明的实施例提出一种集成多粒度信息的方面级情感分类方法,利用篇章级和语料级全局信息,提升情感分类的分类性能。
根据本发明一实施例的集成多粒度信息的方面级情感分类方法,应用于方面级情感分类模型,所述方面级情感分类模型包括基于BERT的句子级信息提取层、基于图神经网络的篇章级信息提取层、基于记忆网络的语料级信息提取层以及MLP分类层,所述基于记忆网络的语料级信息提取层包括记忆模块;
所述方法包括:
基于BERT的句子级信息提取层学习特定于方面
Figure SMS_1
的句子/>
Figure SMS_2
的语义向量表示/>
Figure SMS_3
,语义向量表示/>
Figure SMS_4
用于作为基于图神经网络的篇章级信息提取层和MLP分类层的输入;
基于图神经网络的篇章级信息提取层对每篇评论文档构建一个方面-句子关系图,基于构建的方面-句子关系图,建模篇章中方面内的情感一致性和方面间的情感相似性,利用语义向量表示
Figure SMS_5
作为输入,通过在图中的结点之间传递信息,输出融合篇章信息的方面表示/>
Figure SMS_6
和融合篇章信息的句子表示/>
Figure SMS_7
,融合篇章信息的方面表示/>
Figure SMS_8
用于作为MLP分类层的输入,融合篇章信息的句子表示/>
Figure SMS_9
用于作为基于记忆网络的语料级信息提取层和MLP分类层的输入;
利用句子表示
Figure SMS_10
以及方面/>
Figure SMS_11
在记忆模块中对应的组中的键和值,基于记忆网络的语料级信息提取层使用注意力机制读取记忆模块中与句子相关的语料级信息/>
Figure SMS_12
,语料级信息/>
Figure SMS_13
用于作为MLP分类层的输入;
MLP分类层对语义向量表示
Figure SMS_14
、融合篇章信息的方面表示/>
Figure SMS_15
、融合篇章信息的句子表示/>
Figure SMS_16
、语料级信息/>
Figure SMS_17
进行融合,并计算得到分类结果/>
Figure SMS_18
,分类结果/>
Figure SMS_19
是一个3维的向量,分别表示情感极性为正向、负向和中性的概率。
根据本发明实施例的集成多粒度信息的方面级情感分类方法,应用于方面级情感分类模型,该方面级情感分类模型包括了基于BERT的句子级信息提取层、基于图神经网络的篇章级信息提取层、基于记忆网络的语料级信息提取层以及MLP分类层,通过基于BERT的句子级信息提取层得到特定于方面
Figure SMS_22
的语义向量表示/>
Figure SMS_24
,通过基于图神经网络的篇章级信息提取层得到融合篇章信息的方面表示/>
Figure SMS_27
和融合篇章信息的句子表示/>
Figure SMS_21
,通过基于记忆网络的语料级信息提取层得到与句子相关的语料级信息/>
Figure SMS_25
,最后通过MLP分类层对语义向量表示/>
Figure SMS_28
、融合篇章信息的方面表示/>
Figure SMS_29
、融合篇章信息的句子表示/>
Figure SMS_20
、语料级信息/>
Figure SMS_23
进行融合,并计算得到分类结果/>
Figure SMS_26
,确定情感极性为正向、负向和中性的概率,本发明能够同时利用句子级的局部信息、篇章级和语料级的全局信息,实现了集成多粒度信息的方面级情感分类,能够提高方面级情感分类的性能。
另外,根据本发明上述实施例的集成多粒度信息的方面级情感分类方法,还可以具有如下附加的技术特征:
进一步地,基于BERT的句子级信息提取层学习特定于方面
Figure SMS_30
的句子/>
Figure SMS_31
的语义向量表示/>
Figure SMS_32
具体包括:
基于BERT的句子级信息提取层首先将方面
Figure SMS_34
和特定于方面/>
Figure SMS_36
的第/>
Figure SMS_39
个句子/>
Figure SMS_35
拼接成序列:[CLS] 方面/>
Figure SMS_38
[SEP] 句子/>
Figure SMS_40
[SEP],其中,[CSL]和[SEP]为BERT模型中的预定义标记;然后,基于BERT的句子级信息提取层将序列作为BERT模型的输入,得到特定于方面
Figure SMS_41
的句子/>
Figure SMS_33
的语义向量表示/>
Figure SMS_37
,如下所示:
Figure SMS_42
进一步地,在基于图神经网络的篇章级信息提取层中,构建的方面-句子关系图包括方面结点和句子结点,方面结点之间的边、句子结点与方面结点之间的边、以及句子结点之间的边。
进一步地,在基于图神经网络的篇章级信息提取层中,通过在相邻的句子结点之间传递信息,得到融合篇章信息的句子表示
Figure SMS_43
,计算公式如下:
Figure SMS_44
Figure SMS_45
其中,I为篇章中涉及方面
Figure SMS_49
的句子总数,/>
Figure SMS_52
为第一权重系数,/>
Figure SMS_55
为特定于方面/>
Figure SMS_47
的第/>
Figure SMS_51
个句子/>
Figure SMS_54
的语义向量表示,/>
Figure SMS_57
为特定于方面/>
Figure SMS_46
的第/>
Figure SMS_53
个句子/>
Figure SMS_56
的语义向量表示,/>
Figure SMS_58
和/>
Figure SMS_48
分别用作对应句子结点的初始向量表示,/>
Figure SMS_50
为第一相关性计算函数。
进一步地,在基于图神经网络的篇章级信息提取层中,通过在相邻的句子结点与方面结点之间传递信息,在相邻的方面结点之间传递信息,得到融合篇章信息的方面表示
Figure SMS_59
,计算公式如下:
Figure SMS_60
Figure SMS_61
Figure SMS_62
其中,
Figure SMS_65
为与方面/>
Figure SMS_68
相邻的方面结点的总数,/>
Figure SMS_71
、/>
Figure SMS_66
、/>
Figure SMS_67
分别为经过句子结点与方面结点之间传递信息后的第/>
Figure SMS_70
、/>
Figure SMS_73
和/>
Figure SMS_63
个方面结点的向量表示,/>
Figure SMS_69
为第二权重系数,/>
Figure SMS_72
为第二相关性计算函数,/>
Figure SMS_74
为在句子结点与方面结点之间进行信息传递时方面/>
Figure SMS_64
的初始向量表示。
进一步地,在基于记忆网络的语料级信息提取层,语料级信息
Figure SMS_75
的计算公式如下:
Figure SMS_76
Figure SMS_77
其中,
Figure SMS_80
为第三权重系数;/>
Figure SMS_82
为方面/>
Figure SMS_85
在语料中第/>
Figure SMS_79
次出现时的情感极性的向量表示,用作记忆组中的值;/>
Figure SMS_83
、/>
Figure SMS_86
分别为语料中对应于方面/>
Figure SMS_88
的记忆组中的第/>
Figure SMS_78
个键和第/>
Figure SMS_81
个键,/>
Figure SMS_84
为第三相关性计算函数,N为方面/>
Figure SMS_87
在语料中出现的总次数。
进一步地,在MLP分类层中,计算的分类结果
Figure SMS_89
的表达式如下:
Figure SMS_90
其中,MLP由一个多层前馈神经网络叠加一个softmax层组成,[;]表示向量的拼接操作。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是一示例性的篇章级的全局信息;
图2是根据本发明一实施例的方面级情感分类模型的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
通常情况下,有效地利用更大范围的信息能进一步提高方面级情感分类的性能。从篇章级的角度来看,一方面,一篇评论文档的不同句子中可能都涉及同一特定的方面,它们表达的情感极性可以认为是一致的(当然也存在少量不一致的情况),这种现象称为方面内的情感一致性。如图1左半部分所示,评论文档1中的两个句子中都涉及方面“环境#总体”,表达的都是负向的情感。这也可以理解为发表评论的用户对环境方面的要求比较高,因此,在这篇文档中对环境方面的评价总是负向的。另一方面,评论文档通常体现了用户对评价对象的整体倾向,也就是说同一篇评论文档中涉及的多个不同方面的情感具有相似性,这种现象可称为方面间的情感相似性。如图1右半部分所示,评论文档2中的三个句子包含多个不同的方面,表达的都是正向的情感。这可以理解为用户对评价对象的整体情感倾向是正向的,所以对评价对象绝大多数方面的情感倾向也是正向的。除了篇章级的全局信息外,语料级的全局信息对方面级情感分类也是有帮助的。对于给定的测试实例,如果能从已标注的训练语料中找到与其相似的实例,并参考这些相似实例的情感标记,就可以帮助模型更准确地预测其情感极性。
因此,本发明实施例提出一种集成多粒度信息的方面级情感分类方法,应用于方面级情感分类模型,请参阅图2,所述方面级情感分类模型包括基于BERT的句子级信息提取层、基于图神经网络的篇章级信息提取层、基于记忆网络的语料级信息提取层以及MLP分类层,所述基于记忆网络的语料级信息提取层包括记忆模块。
所述方法包括步骤1~步骤4:
步骤1,基于BERT的句子级信息提取层学习特定于方面
Figure SMS_91
的句子/>
Figure SMS_92
的语义向量表示/>
Figure SMS_93
,语义向量表示/>
Figure SMS_94
用于作为基于图神经网络的篇章级信息提取层和MLP分类层的输入。
其中,BERT模型是一个由多个Transformer层堆叠在一起而构成的神经网络模型,在超大规模的无标注的语料上进行了预训练,能有效地建模句子中的语法信息和语义信息。近年来的大量研究证实,把BERT模型用作编码层,在众多自然语言处理任务上取得了较好的性能。
基于BERT的句子级信息提取层首先将方面
Figure SMS_97
和特定于方面/>
Figure SMS_99
的第个句子/>
Figure SMS_101
拼接成序列:[CLS] 方面/>
Figure SMS_96
[SEP] 句子/>
Figure SMS_98
[SEP],其中,[CSL]和[SEP]为BERT模型中的预定义标记;然后,基于BERT的句子级信息提取层将序列作为BERT模型的输入,得到特定于方面
Figure SMS_100
的句子/>
Figure SMS_102
的语义向量表示/>
Figure SMS_95
,如下所示:
Figure SMS_103
评论文档中的一个句子中可能涉及多个方面,一个方面也可能涉及评论文档中的多个句子。使用基于BERT的句子级信息提取层,可以得到一篇评论文档中所有特定于方面的句子的语义向量表示,用作基于图神经网络的篇章级信息提取层的输入。例如,一篇评论文档中涉及方面
Figure SMS_110
的多个句子的向量表示分别为/>
Figure SMS_115
I为该评论文档中涉及方面/>
Figure SMS_122
的句子的总数,/>
Figure SMS_108
为涉及方面/>
Figure SMS_118
的第1个句子的向量表示,/>
Figure SMS_124
为涉及方面
Figure SMS_130
的第i个句子的向量表示,/>
Figure SMS_105
为涉及方面/>
Figure SMS_114
的第I个句子的向量表示。类似地,涉及方面
Figure SMS_121
的多个句子的向量表示分别为/>
Figure SMS_128
H为评论文档中涉及方面/>
Figure SMS_107
的句子的总数,/>
Figure SMS_119
为涉及方面/>
Figure SMS_126
的第1个句子的向量表示,/>
Figure SMS_132
为涉及方面/>
Figure SMS_111
的第/>
Figure SMS_116
个句子的向量表示,/>
Figure SMS_123
为涉及方面/>
Figure SMS_129
的第H个句子的向量表示。涉及方面/>
Figure SMS_104
的多个句子的向量表示分别为/>
Figure SMS_112
J为评论文档中涉及方面/>
Figure SMS_120
的句子的总数,/>
Figure SMS_127
为涉及方面/>
Figure SMS_109
的第1个句子的向量表示,/>
Figure SMS_117
为涉及方面/>
Figure SMS_125
的第/>
Figure SMS_131
个句子的向量表示,/>
Figure SMS_106
为涉及方面/>
Figure SMS_113
的第J个句子的向量表示。
步骤2,基于图神经网络的篇章级信息提取层对每篇评论文档构建一个方面-句子关系图,基于构建的方面-句子关系图,建模篇章中方面内的情感一致性和方面间的情感相似性,利用语义向量表示
Figure SMS_133
作为输入,通过在图中的结点之间传递信息,输出融合篇章信息的方面表示/>
Figure SMS_134
和融合篇章信息的句子表示/>
Figure SMS_135
,融合篇章信息的方面表示/>
Figure SMS_136
用于作为MLP分类层的输入,融合篇章信息的句子表示/>
Figure SMS_137
用于作为基于记忆网络的语料级信息提取层和MLP分类层的输入。
其中,评论文档中方面内的情感一致性和方面间的情感相似性是篇章级的全局信息,其对方面级情感分类是有帮助的。近年来,图神经网络广泛应用于自然语言处理任务中,通过把任务中的对象表示为图中的结点,把对象之间的关系表示为图中的边,能较方便地建模各对象之间的关系。通过在图中相邻的结点之间传递信息,以学习更好的结点向量表示,从而达到提高性能的目的。
本发明利用图神经网络提取篇章级的信息用于方面级情感分类。如图2所示,基于图神经网络的篇章级信息提取层用于建模篇章中方面内的情感一致性和方面间的情感相似性,输出融合篇章信息的方面表示
Figure SMS_138
和句子表示/>
Figure SMS_139
。在基于图神经网络的篇章级信息提取层中,构建的方面-句子关系图包括方面结点和句子结点,方面结点之间的边、句子结点与方面结点之间的边、以及句子结点之间的边。利用图神经网络的关键是如何构建方面-句子关系图,即确定方面-句子关系图中的结点和边,以较好地建模结点之间的关系。本发明为每篇评论文档构建一个图G,图中包括两类结点和三类边,下面分别进行介绍。
图G中包括两类结点:方面结点(为了方便描述,在方面-句子关系图中,方面
Figure SMS_140
以方面结点表示,即图2中的方形结点)和句子结点。具体地,把一篇评论文档中涉及的所有方面作为一类结点,称为方面结点,这类结点的集合记作/>
Figure SMS_141
;把涉及某个方面的句子作为另一类结点,称为特定于方面的句子结点(简称句子结点,图2中的圆形结点),评论文档中所有这类结点的集合记作/>
Figure SMS_142
。当一个句子涉及多个方面时,相应地有多个特定于方面的句子结点。图G中所有结点的集合记为/>
Figure SMS_143
图G中包括三类边:句子结点之间的边、句子结点与方面结点之间的边、以及方面结点之间的边。在任意两个特定于同一个方面的句子结点之间添加一条边,每个句子结点还有一条连接自身的边,这类句子结点之间边的集合记作
Figure SMS_144
(圆形结点之间的边,为了简洁,图2中未示出这类边)。为了建模篇章中方面内的情感一致性,在方面结点与特定于该方面结点的所有句子结点之间分别添加一条边,这类句子结点与方面结点之间的边的集合记作/>
Figure SMS_145
(图2中方形结点与圆形结点之间的边)。为了建模方面间的情感相似性,在同一篇章中任意两个方面结点之间都有边相连,每个方面结点也有一条连接自身的边,这类方面结点之间的边的集合记作/>
Figure SMS_146
。因此,图G中所有边的集合记为/>
Figure SMS_147
基于评论文档对应的图G,使用图神经网络提取篇章级的全局信息,得到融合篇章信息的方面表示和句子表示。首先,使用基于BERT的句子级信息提取层的输出初始化图G中相应的句子结点,得到其初始向量表示;使用特定于某个方面的所有句子结点的初始向量表示的平均,作为该方面结点的初始向量表示。然后,依次在句子结点之间、句子结点与方面结点之间、以及方面结点之间传递信息,以得到融合篇章信息的方面表示和句子表示。
句子结点之间的信息传递:请参阅图2,给定篇章中特定于方面
Figure SMS_149
的多个句子结点/>
Figure SMS_155
的初始向量表示(其中,/>
Figure SMS_158
分别表示方面/>
Figure SMS_151
的第1个句子结点、第i个句子结点、第I个句子结点),特定于方面/>
Figure SMS_154
的多个句子结点
Figure SMS_157
的初始向量表示(其中,/>
Figure SMS_160
分别表示方面/>
Figure SMS_148
的第1个句子结点、第h个句子结点、第H个句子结点),特定于方面/>
Figure SMS_153
的多个句子结点/>
Figure SMS_156
的初始向量表示(其中,/>
Figure SMS_159
分别表示方面/>
Figure SMS_150
的第1个句子结点、第j个句子结点、第J个句子结点),沿着集合/>
Figure SMS_152
中这些结点之间的边传递信息,以更新句子结点的表示,得到融合篇章信息的句子表示。
具体的,在基于图神经网络的篇章级信息提取层中,通过在相邻的句子结点之间传递信息,得到融合篇章信息的句子表示
Figure SMS_161
,计算公式如下:
Figure SMS_162
Figure SMS_163
其中,I为篇章中涉及方面
Figure SMS_167
的句子总数,/>
Figure SMS_170
为第一权重系数,/>
Figure SMS_174
为特定于方面/>
Figure SMS_165
的第/>
Figure SMS_169
个句子/>
Figure SMS_173
的语义向量表示,/>
Figure SMS_176
为特定于方面/>
Figure SMS_164
的第/>
Figure SMS_168
个句子/>
Figure SMS_172
的语义向量表示,/>
Figure SMS_175
和/>
Figure SMS_166
分别用作对应句子结点的初始向量表示,/>
Figure SMS_171
为第一相关性计算函数。通过在与同一方面相关的多个句子结点之间传递信息,可以有效地建模篇章中方面内的情感一致性。
句子结点与方面结点之间的信息传递:给定篇章中方面结点
Figure SMS_177
的初始向量表示/>
Figure SMS_178
,以及特定于该方面的多个句子结点更新后的表示/>
Figure SMS_179
,沿着集合/>
Figure SMS_180
中相应的边,把句子结点中的信息传递到方面结点,更新方面结点的表示。
方面结点之间的信息传递:给定篇章中涉及的所有方面结点
Figure SMS_181
(即集合/>
Figure SMS_182
中的结点)更新后的向量表示/>
Figure SMS_183
,沿着集合/>
Figure SMS_184
中的边传递信息,进一步更新方面结点的表示,得到融合篇章信息的方面表示/>
Figure SMS_185
具体的,在基于图神经网络的篇章级信息提取层中,通过在相邻的句子结点与方面结点之间传递信息,在相邻的方面结点之间传递信息,得到融合篇章信息的方面表示
Figure SMS_186
,计算公式如下:
Figure SMS_187
Figure SMS_188
Figure SMS_189
其中,
Figure SMS_191
为与方面/>
Figure SMS_195
相邻的方面结点的总数,/>
Figure SMS_198
、/>
Figure SMS_192
、/>
Figure SMS_196
分别为经过句子结点与方面结点之间传递信息后的第/>
Figure SMS_199
、/>
Figure SMS_201
和/>
Figure SMS_190
个方面结点的向量表示,/>
Figure SMS_194
为第二权重系数,/>
Figure SMS_197
为第二相关性计算函数,/>
Figure SMS_200
为在句子结点与方面结点之间进行信息传递时方面/>
Figure SMS_193
的初始向量表示。通过在同一评论文档的所有方面结点之间传递信息,可以有效地建模篇章中方面间的情感相似性。
步骤3,利用句子表示
Figure SMS_202
以及方面/>
Figure SMS_203
在记忆模块中对应的组中的键和值,基于记忆网络的语料级信息提取层使用注意力机制读取记忆模块中与句子相关的语料级信息/>
Figure SMS_204
,语料级信息/>
Figure SMS_205
用于作为MLP分类层的输入。
其中,一般认为利用更大范围的信息可以进一步提高分类的性能,除了篇章级的全局信息外,语料级的全局信息对方面级情感分析也是有帮助的。直觉上,对于给定的测试实例,如果能从已标注的训练语料中找到与其相似的实例,就可以帮助模型更准确地预测其情感极性。近年来,记忆网络(Memory Network)以“键-值”对的方式存储外部知识等信息,已经成功应用于众多自然语言处理任务中。本发明中使用记忆网络存储语料级的全局信息,以进一步提高方面级情感分类任务的性能。如图2所示,基于记忆网络的语料级信息提取层主要包括记忆模块,基于记忆网络的语料级信息提取层提供读取和写入记忆模块的操作,下面分别进行介绍。
记忆模块按“键-值”对的方式存储语料级的全局信息,键指的是融合了篇章信息的特定于方面的句子的向量表示,值指的是语料中标记的该方面在句子中的情感极性的向量表示。正向、中性和负向情感分别表示为向量
Figure SMS_212
、/>
Figure SMS_207
和/>
Figure SMS_216
,作为模型的参数,在训练时不断优化。按照方面的不同,把记忆模块中的“键-值”对分成不同的组,一个方面对应一个组(图2中只给出了方面/>
Figure SMS_211
对应的组)。/>
Figure SMS_219
为方面/>
Figure SMS_208
对应的组中的键(/>
Figure SMS_218
为方面/>
Figure SMS_209
对应的组中的第1个键,/>
Figure SMS_220
为方面/>
Figure SMS_206
对应的组中的第n个键,/>
Figure SMS_215
为方面/>
Figure SMS_213
对应的组中的第N个键),N为方面/>
Figure SMS_221
在语料中出现的总次数;/>
Figure SMS_214
分别为
Figure SMS_217
对应的情感极性的向量表示,其中,
Figure SMS_210
在模型训练和测试的过程中,需要读取记忆模块中的信息,以提取与当前实例相关的语料级信息。具体地,给定特定于方面
Figure SMS_222
的句子表示/>
Figure SMS_223
和方面/>
Figure SMS_224
在记忆模块中对应的组中的键/>
Figure SMS_225
和值/>
Figure SMS_226
,使用注意力机制读取记忆模块中与句子相关的语料级信息/>
Figure SMS_227
语料级信息
Figure SMS_228
的计算公式如下:
Figure SMS_229
Figure SMS_230
其中,
Figure SMS_233
为第三权重系数;/>
Figure SMS_236
为方面/>
Figure SMS_239
在语料中第/>
Figure SMS_232
次出现时的情感极性的向量表示,用作记忆组中的值;/>
Figure SMS_235
与/>
Figure SMS_238
分别为语料中对应于方面/>
Figure SMS_240
的记忆组中的第/>
Figure SMS_231
个键和第/>
Figure SMS_234
个键,/>
Figure SMS_237
为第三相关性计算函数。
在模型训练的过程中,需要以一种迭代的方式把训练语料中的实例信息写入记忆模块中,即更新记忆模块。具体地,以语料中的每篇文档作为一个批次(batch)进行训练,以批次为单位,使用基于图神经网络的篇章级信息提取层的输出(例如
Figure SMS_241
)对记忆模块迭代进行更新。在模型的一趟训练(epoch)过程中,记忆模块中的每个“键-值”对更新一次。
步骤4,MLP分类层对语义向量表示
Figure SMS_242
、融合篇章信息的方面表示/>
Figure SMS_243
、融合篇章信息的句子表示/>
Figure SMS_244
、语料级信息/>
Figure SMS_245
进行融合,并计算得到分类结果/>
Figure SMS_246
,分类结果/>
Figure SMS_247
是一个3维的向量,分别表示情感极性为正向、负向和中性的概率。
其中,计算的分类结果
Figure SMS_248
的表达式如下:
Figure SMS_249
其中,MLP由一个多层前馈神经网络叠加一个softmax层组成,[;]表示向量的拼接操作。
此外,本实施例中的方面级情感分类模型可以端到端地进行训练。具体地,定义交叉熵代价函数(Cross entropy loss)如下:
Figure SMS_250
其中,
Figure SMS_252
为交叉熵代价函数的值,/>
Figure SMS_255
为标注了的训练语料,/>
Figure SMS_258
为/>
Figure SMS_253
中的一篇评论文档,/>
Figure SMS_256
为模型所有参数的集合,/>
Figure SMS_259
为真实情感类别的向量表示,/>
Figure SMS_260
为预测结果关于真实情感类别的期望值,/>
Figure SMS_251
表示文档中特定于方面/>
Figure SMS_254
的第/>
Figure SMS_257
个句子。通过最小化上述交叉熵代价函数的值,可以对本实施例提出的方面级情感分类模型进行训练。
根据上述的集成多粒度信息的方面级情感分类方法,应用于方面级情感分类模型,该方面级情感分类模型包括了基于BERT的句子级信息提取层、基于图神经网络的篇章级信息提取层、基于记忆网络的语料级信息提取层以及MLP分类层,通过基于BERT的句子级信息提取层得到特定于方面
Figure SMS_262
的语义向量表示/>
Figure SMS_266
,通过基于图神经网络的篇章级信息提取层得到融合篇章信息的方面表示/>
Figure SMS_269
和融合篇章信息的句子表示/>
Figure SMS_263
,通过基于记忆网络的语料级信息提取层得到与句子相关的语料级信息/>
Figure SMS_265
,最后通过MLP分类层对语义向量表示/>
Figure SMS_268
、融合篇章信息的方面表示/>
Figure SMS_270
、融合篇章信息的句子表示/>
Figure SMS_261
、语料级信息/>
Figure SMS_264
进行拼接,得到分类结果/>
Figure SMS_267
,确定情感极性为正向、负向和中性的概率,本发明能够同时利用句子级的局部信息、篇章级和语料级的全局信息,实现了集成多粒度信息的方面级情感分类,能够提高方面级情感分类的性能。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (3)

1.一种集成多粒度信息的方面级情感分类方法,其特征在于,应用于方面级情感分类模型,所述方面级情感分类模型包括基于BERT的句子级信息提取层、基于图神经网络的篇章级信息提取层、基于记忆网络的语料级信息提取层以及MLP分类层,所述基于记忆网络的语料级信息提取层包括记忆模块;
所述方法包括:
基于BERT的句子级信息提取层学习特定于方面
Figure QLYQS_1
的句子/>
Figure QLYQS_2
的语义向量表示/>
Figure QLYQS_3
,语义向量表示/>
Figure QLYQS_4
用于作为基于图神经网络的篇章级信息提取层和MLP分类层的输入;
基于图神经网络的篇章级信息提取层对每篇评论文档构建一个方面-句子关系图,基于构建的方面-句子关系图,建模篇章中方面内的情感一致性和方面间的情感相似性,利用语义向量表示
Figure QLYQS_5
作为输入,通过在图中的结点之间传递信息,输出融合篇章信息的方面表示/>
Figure QLYQS_6
和融合篇章信息的句子表示/>
Figure QLYQS_7
,融合篇章信息的方面表示/>
Figure QLYQS_8
用于作为MLP分类层的输入,融合篇章信息的句子表示/>
Figure QLYQS_9
用于作为基于记忆网络的语料级信息提取层和MLP分类层的输入;
利用句子表示
Figure QLYQS_10
以及方面/>
Figure QLYQS_11
在记忆模块中对应的组中的键和值,基于记忆网络的语料级信息提取层使用注意力机制读取记忆模块中与句子相关的语料级信息/>
Figure QLYQS_12
,语料级信息/>
Figure QLYQS_13
用于作为MLP分类层的输入;
MLP分类层对语义向量表示
Figure QLYQS_14
、融合篇章信息的方面表示/>
Figure QLYQS_15
、融合篇章信息的句子表示/>
Figure QLYQS_16
、语料级信息/>
Figure QLYQS_17
进行融合,并计算得到分类结果/>
Figure QLYQS_18
,分类结果/>
Figure QLYQS_19
是一个3维的向量,分别表示情感极性为正向、负向和中性的概率;
基于BERT的句子级信息提取层学习特定于方面
Figure QLYQS_20
的句子/>
Figure QLYQS_21
的语义向量表示/>
Figure QLYQS_22
具体包括:
基于BERT的句子级信息提取层首先将方面
Figure QLYQS_24
和特定于方面/>
Figure QLYQS_27
的第/>
Figure QLYQS_29
个句子/>
Figure QLYQS_25
拼接成序列:[CLS] 方面/>
Figure QLYQS_28
[SEP] 句子/>
Figure QLYQS_30
[SEP],其中,[CSL]和[SEP]为BERT模型中的预定义标记;然后,基于BERT的句子级信息提取层将序列作为BERT模型的输入,得到特定于方面
Figure QLYQS_31
的句子/>
Figure QLYQS_23
的语义向量表示/>
Figure QLYQS_26
,如下所示:
Figure QLYQS_32
在基于图神经网络的篇章级信息提取层中,构建的方面-句子关系图包括方面结点和句子结点,方面结点之间的边、句子结点与方面结点之间的边、以及句子结点之间的边,其中,将一篇评论文档中涉及的所有方面作为方面结点,方面结点的集合记为
Figure QLYQS_33
,将涉及某个方面的句子作为另一类结点,称为特定于方面的句子结点,句子结点的集合记为/>
Figure QLYQS_34
在基于图神经网络的篇章级信息提取层中,通过在相邻的句子结点之间传递信息,得到融合篇章信息的句子表示
Figure QLYQS_35
,计算公式如下:
Figure QLYQS_36
Figure QLYQS_37
其中,
Figure QLYQS_39
为篇章中涉及方面/>
Figure QLYQS_42
的句子总数,/>
Figure QLYQS_46
为第一权重系数,/>
Figure QLYQS_41
为特定于方面
Figure QLYQS_45
的第/>
Figure QLYQS_49
个句子/>
Figure QLYQS_51
的语义向量表示,/>
Figure QLYQS_38
为特定于方面/>
Figure QLYQS_43
的第/>
Figure QLYQS_47
个句子
Figure QLYQS_50
的语义向量表示,/>
Figure QLYQS_40
和/>
Figure QLYQS_44
分别用作对应句子结点的初始向量表示,/>
Figure QLYQS_48
为第一相关性计算函数;
在基于图神经网络的篇章级信息提取层中,通过在相邻的句子结点与方面结点之间传递信息,在相邻的方面结点之间传递信息,得到融合篇章信息的方面表示
Figure QLYQS_52
,计算公式如下:
Figure QLYQS_53
Figure QLYQS_54
Figure QLYQS_55
其中,
Figure QLYQS_58
为与方面/>
Figure QLYQS_61
相邻的方面结点的总数,/>
Figure QLYQS_64
、/>
Figure QLYQS_59
、/>
Figure QLYQS_62
分别为经过句子结点与方面结点之间传递信息后的第/>
Figure QLYQS_65
、/>
Figure QLYQS_67
和/>
Figure QLYQS_56
个方面结点的向量表示,/>
Figure QLYQS_60
为第二权重系数,/>
Figure QLYQS_63
为第二相关性计算函数,/>
Figure QLYQS_66
为在句子结点与方面结点之间进行信息传递时方面/>
Figure QLYQS_57
的初始向量表示。
2.根据权利要求1所述的集成多粒度信息的方面级情感分类方法,其特征在于,在基于记忆网络的语料级信息提取层,语料级信息
Figure QLYQS_68
的计算公式如下:
Figure QLYQS_69
Figure QLYQS_70
其中,
Figure QLYQS_73
为第三权重系数;/>
Figure QLYQS_75
为方面/>
Figure QLYQS_78
在语料中第/>
Figure QLYQS_72
次出现时的情感极性的向量表示,用作记忆组中的值;/>
Figure QLYQS_76
、/>
Figure QLYQS_80
分别为语料中对应于方面/>
Figure QLYQS_81
的记忆组中的第/>
Figure QLYQS_71
个键和第/>
Figure QLYQS_74
个键,/>
Figure QLYQS_77
为第三相关性计算函数,N为方面/>
Figure QLYQS_79
在语料中出现的总次数。
3.根据权利要求2所述的集成多粒度信息的方面级情感分类方法,其特征在于,在MLP分类层中,计算的分类结果
Figure QLYQS_82
的表达式如下:
Figure QLYQS_83
其中,MLP由一个多层前馈神经网络叠加一个softmax层组成,[;]表示向量的拼接操作。
CN202310400767.2A 2023-04-14 2023-04-14 一种集成多粒度信息的方面级情感分类方法 Active CN116108187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310400767.2A CN116108187B (zh) 2023-04-14 2023-04-14 一种集成多粒度信息的方面级情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310400767.2A CN116108187B (zh) 2023-04-14 2023-04-14 一种集成多粒度信息的方面级情感分类方法

Publications (2)

Publication Number Publication Date
CN116108187A CN116108187A (zh) 2023-05-12
CN116108187B true CN116108187B (zh) 2023-06-16

Family

ID=86260218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310400767.2A Active CN116108187B (zh) 2023-04-14 2023-04-14 一种集成多粒度信息的方面级情感分类方法

Country Status (1)

Country Link
CN (1) CN116108187B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966826A (zh) * 2020-07-22 2020-11-20 中国科学院计算技术研究所 一种构建文本分类系统的方法、系统、介质及电子设备
CN112347248A (zh) * 2020-10-30 2021-02-09 山东师范大学 一种方面级文本情感分类方法及系统
CN113312452A (zh) * 2021-06-16 2021-08-27 哈尔滨工业大学 基于多任务学习的篇章级文本连贯性分类方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726207B2 (en) * 2018-11-27 2020-07-28 Sap Se Exploiting document knowledge for aspect-level sentiment classification
CN111680159B (zh) * 2020-06-11 2023-08-29 华东交通大学 数据处理方法、装置及电子设备
CN112989800A (zh) * 2021-04-30 2021-06-18 平安科技(深圳)有限公司 基于Bert的篇章的多意图识别方法、设备及可读存储介质
CN115374789A (zh) * 2022-03-04 2022-11-22 重庆邮电大学 基于预训练模型bert的多粒度融合方面级情感分析方法
CN114676687A (zh) * 2022-04-15 2022-06-28 重庆理工大学 基于增强语义句法信息的方面级情感分类方法
CN115114436A (zh) * 2022-06-17 2022-09-27 哈尔滨工业大学 融合段落信息的篇章级文本连贯性分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966826A (zh) * 2020-07-22 2020-11-20 中国科学院计算技术研究所 一种构建文本分类系统的方法、系统、介质及电子设备
CN112347248A (zh) * 2020-10-30 2021-02-09 山东师范大学 一种方面级文本情感分类方法及系统
CN113312452A (zh) * 2021-06-16 2021-08-27 哈尔滨工业大学 基于多任务学习的篇章级文本连贯性分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向上下文注意力联合学习网络的方面级情感分类模型;杨玉亭;冯林;代磊超;苏菡;;模式识别与人工智能(第08期);第753-765页 *

Also Published As

Publication number Publication date
CN116108187A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Suhaili et al. Service chatbots: A systematic review
CN108829818B (zh) 一种文本分类方法
CN110162749B (zh) 信息提取方法、装置、计算机设备及计算机可读存储介质
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN112487143B (zh) 一种基于舆情大数据分析的多标签文本分类方法
Wang et al. Recursive neural conditional random fields for aspect-based sentiment analysis
CN110457480B (zh) 基于交互式注意力机制的细粒度情感分类模型的构建方法
CN110472042B (zh) 一种细粒度情感分类方法
CN110929034A (zh) 一种基于改进lstm的商品评论细粒度情感分类方法
Pathak et al. Application of deep learning approaches for sentiment analysis
CN110263325A (zh) 中文分词系统
CN114896388A (zh) 一种基于混合注意力的层级多标签文本分类方法
CN112163089B (zh) 一种融合命名实体识别的高技术文本分类方法及系统
Hassan et al. Multi-class review rating classification using deep recurrent neural network
CN111368082A (zh) 一种基于层次网络的领域自适应词嵌入的情感分析方法
CN116521882A (zh) 基于知识图谱的领域长文本分类方法及系统
Yao et al. Knowledge enhanced person-job fit for talent recruitment
CN114925205B (zh) 基于对比学习的gcn-gru文本分类方法
CN115544252A (zh) 一种基于注意力静态路由胶囊网络的文本情感分类方法
CN116384371A (zh) 一种基于bert和依存句法联合实体及关系抽取方法
CN111259147A (zh) 基于自适应注意力机制的句子级情感预测方法及系统
CN113535949B (zh) 基于图片和句子的多模态联合事件检测方法
CN110874392A (zh) 基于深度双向注意力机制的文本网络信息融合嵌入方法
Nazarizadeh et al. Sentiment analysis of Persian language: review of algorithms, approaches and datasets
CN117216265A (zh) 一种基于改进的图注意力网络新闻主题分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant