CN113869034B - 基于强化依赖图的方面情感分类方法 - Google Patents

基于强化依赖图的方面情感分类方法 Download PDF

Info

Publication number
CN113869034B
CN113869034B CN202111154191.3A CN202111154191A CN113869034B CN 113869034 B CN113869034 B CN 113869034B CN 202111154191 A CN202111154191 A CN 202111154191A CN 113869034 B CN113869034 B CN 113869034B
Authority
CN
China
Prior art keywords
graph
attention
representation
emotion classification
dependency graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202111154191.3A
Other languages
English (en)
Other versions
CN113869034A (zh
Inventor
朱小飞
宋红阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202111154191.3A priority Critical patent/CN113869034B/zh
Publication of CN113869034A publication Critical patent/CN113869034A/zh
Application granted granted Critical
Publication of CN113869034B publication Critical patent/CN113869034B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及方面情感分类技术领域，具体涉及基于强化依赖图的方面情感分类方法，包括：获取待分类评论文本；学习待分类评论文本的方面词信息和句法依赖关系，生成对应的强化依赖图；基于强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，然后计算每个上下文信息与方面词信息相关的注意力权重，并得到对应的文本最终表示；基于所述文本最终表示进行方面情感分类，并将对应的分类结果作为待分类评论文本的方面情感分类结果。本发明中的方面情感分类方法能够克服噪音信息影响并保证分类准确性，从而提高方面情感分类的效果。

Description

基于强化依赖图的方面情感分类方法
技术领域
本发明涉及方面情感分类技术领域，具体涉及基于强化依赖图的方面情感分类方法。
背景技术
商品评论，是买家购买商品的主要参考信息，也是卖家挖掘商品不足从而进行改进的重要依据，简单分析用户对商品整体的评价已经无法满足需求，针对不同方面挖掘用户更细腻的情感倾向，已经成为研究人员关注的热点。其中，方面情感分类(aspect-basedsentiment classification,ABSC)作为情感分类的子任务，其旨在挖掘文本在不同方面表达的更细腻的情感倾向，可以有效地帮助人们了解商品评论在不同方面的情感倾向。方面情感分类的核心任务是在文本中找到与方面相匹配的情感表达。
基于方面的情感分类任务是预测文本中一个或者多个方面的情感极性，方面是指句子中的实体，包括具体事物(食物，计算机等)或抽象事物(环境、氛围等)。情感极性表示句子表达的对方面的情感倾向，例如积极(positive)、中性(neutral)和消极(negative)等。针对现有基于注意力模型的方面情感分类方法容易丢失重要信息，以及上下文单词和句子中方面之间的句法依赖性不足等问题，公开号为CN112347248A的中国专利公开了《一种方面级文本情感分类方法及系统》，其包括：根据获取的句子文本的局部特征向量提取句子文本的长距离依赖特征，得到句子文本的上下文特征表示；根据句子文本的上下文特征表示构建句子文本中单词间的句法依赖关系，得到句子文本的方面级特征表示；构建基于依存树的图注意力神经网络，根据句子文本的方面级特征表示得到文本的方面级情感类别。
上述现有方案中的方面级文本情感分类方法采用卷积神经网络提取句子中的局部特征信息，利用双向长短时记忆网络学习卷积神经网络池化后的特征，获取句子的上下文信息，能够在一定程度上提高情感分类的性能。但是，现有方案对句法依赖关系(句法依赖树)的准确率要求较高，而句法依赖树不可避免的会包含与方面情感分类无关的噪音信息，噪音信息具体可分为两种：一是与方面无关的噪音信息；二是与任务无关的噪音信息。这些噪音信息会干扰方面特征的提取和生成，使得方面词与其对应的关键情感信息距离很远，导致方面情感分类时的注意力分散，进而导致方面情感分类的准确性低。因此，如何设计一种能够克服噪音信息影响并保证分类准确性的方面情感分类方法是亟需解决的技术问题。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够克服噪音信息影响并保证分类准确性的方面情感分类方法，从而提高方面情感分类的效果。
为了解决上述技术问题，本发明采用了如下的技术方案：
基于强化依赖图的方面情感分类方法，包括以下步骤：
S1：获取待分类评论文本；
S2：学习待分类评论文本的方面词信息和句法依赖关系，并生成对应的强化依赖图；
S3：基于强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，然后计算每个上下文信息与方面词信息相关的注意力权重，并得到对应的文本最终表示；
S4：基于所述文本最终表示进行方面情感分类，并将对应的分类结果作为待分类评论文本的方面情感分类结果。
优选的，步骤S2中，通过如下步骤生成强化依赖图：
S201：对待分类评论文本X进行词嵌入，得到对应的词嵌入表示Hw；
S202：将词嵌入表示Hw与对应的词性矩阵Ep进行拼接，得到对应的词性表示Hp；
S203：将词性表示Hp进行上下文信息融合，得到对应的上下文表示Hc；
S204：基于上下文表示Hc将对应的依赖词
Figure BDA0003288152610000021
依赖关系r、被依赖词
Figure BDA0003288152610000022
和方面词表示
Figure BDA0003288152610000023
拼接成为状态st；其中，状态st对应的动作表示为
Figure BDA0003288152610000024
S205：基于深度强化学习得到的策略网络选择待分类评论文本X中各个单词对应的动作
Figure BDA0003288152610000025
并生成对应的强化依赖图。
优选的，X＝{x1,…,xτ+1,…,xτ+m,…,xn}；
Figure BDA0003288152610000026
Figure BDA0003288152610000027
Figure BDA0003288152610000028
Figure BDA0003288152610000029
策略网络表示为
Figure BDA00032881526100000210
强化依赖图的邻接矩阵表示为
Figure BDA00032881526100000211
上述式中：
Figure BDA00032881526100000212
|Vp|表示词性p的个数，dp表示词性p的维度，词性
Figure BDA00032881526100000213
Figure BDA00032881526100000214
表示拼接操作；
Figure BDA00032881526100000215
表示策略网络中状态st选择动作
Figure BDA0003288152610000031
的概率，θ＝{w,b}表示可学习的参数，
Figure BDA0003288152610000032
优选的，步骤S4中，得到待分类评论文本的方面情感分类结果后，计算对应的延迟奖励优化所述策略网络；
延迟奖励的计算公式为
Figure BDA0003288152610000033
式中：R表示延迟奖励；L表示所述策略网络损失函数的输出；n表示待分类评论文本的单词个数，每个单词具有正向与反向的关系，n′表示动作
Figure BDA0003288152610000034
为“删除”关系的个数；γ表示一个超参数。
优选的，通过REINFORCE算法和梯度下降算法优化所述策略网络，并使得期望的延迟奖励最大化；
REINFORCE算法的公式如下：
Figure BDA0003288152610000035
式中：J(θ)表示期望的延迟奖励；动作
Figure BDA00032881526100000310
由状态st唯一决定；p(st)＝1；
最终，所述策略网络的梯度表示为：
Figure BDA0003288152610000036
Figure BDA0003288152610000037
表示对参数θ求偏导。
优选的，步骤S3中，通过如下步骤得到文本最终表示：
S301：设置L层图注意力网络，将上下文表示Hc作为图注意力网络的输入，将强化依赖图作为图注意力网络的图结构，使用多头注意力机制融合邻居节点的信息并增强当前节点表示，得到对应的隐藏状态表示HL；
S302：基于隐藏状态表示HL遮掩非方面词的向量并使得方面词的向量保持不变，得到对应的方面特征表示
Figure BDA0003288152610000038
S303：基于方面特征表示
Figure BDA0003288152610000039
匹配上下文表示Hc中与方面词语义相关的重要特征，并基于检索的注意力机制计算每个单词与方面词相关的注意力权重at，
S304：对各个注意力权重at进行加权求和，得到对应的文本最终表示z。
优选的，增强当前节点表示的计算公式为
Figure BDA0003288152610000041
其中，
Figure BDA0003288152610000042
Figure BDA0003288152610000043
Figure BDA0003288152610000044
注意力权重的计算公式为
Figure BDA0003288152610000045
其中，
Figure BDA0003288152610000046
文本最终表示为
Figure BDA0003288152610000047
上述式中：
Figure BDA0003288152610000048
Figure BDA0003288152610000049
表示节点i在l+1层的表示；||表示拼接操作；σ表示非线性激活函数；Ni表示节点i的邻居节点集合；
Figure BDA00032881526100000410
表示第l层第k个注意力的归一化注意力系数；Wlk表示第l层第k个头的转换矩阵；
Figure BDA00032881526100000411
eij表示节点i与节点j之间的注意力；
Figure BDA00032881526100000412
表示第l层第j个节点的表示；
Figure BDA00032881526100000413
优选的，通过梯度下降算法优化所述图注意力网络；通过热启动和交替训练的方式训练所述图注意力网络。
优选的，训练所述图注意力网络时：
使用原始的依赖树对图注意力网络的参数进行预训练，即热启动；
固定图注意力网络的参数，训练强化依赖图部分的参数，以期望得到对分类更有效的图结构，固定强化依赖图部分的参数，训练图注意力网络的参数，依次交替，最终得到图注意力网络和强化依赖图两者都最优的结果，即交替训练。
优选的，步骤S4中，通过如下步骤进行方面情感分类：
S401：将文本最终表示z输入至全连接层，再通过softmax层进行归一化，得到预测的情感分类标签概率分布
Figure BDA00032881526100000414
其中，
Figure BDA00032881526100000415
S402：将概率分布最高的情感分类标签作为对应待分类评论文本的方面情感分类结果；
上述式中：
Figure BDA0003288152610000051
Figure BDA0003288152610000052
表示预测的情感分类标签；dz为方面情感分类的类别数；
Figure BDA0003288152610000053
表示可学习参数，
Figure BDA0003288152610000054
表示偏差。
本发明中的方面情感分类方法与现有技术相比，具有如下有益效果：
本发明通过学习评论文本的方面词信息和句法依赖关系的方式，考虑了句法依赖树的关系类型与方面词之间的关系以生成强化依赖图，强化依赖图能够精确的表达与方面词相关的、单词之间的依赖关系，从而能够克服噪音信息的影响；同时，本发明基于强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，使得能够为每个上下文信息设置与方面词信息相关的注意力权重，以生成更为精确的文本最终表示用于方面情感分类，从而能够保证方面情感分类的准确性，并提高方面情感分类的效果。
本发明基于深度强化学习得到的策略网络，能够通过选择各个单词对应动作来生成强化依赖图，即根据评论文本语义信息、方面词信息和单词之间的依赖关系类型学习生成强化依赖图，使得强化依赖图能够更为精确的表达与方面词相关的、单词之间的依赖关系，从而更为有效的克服了噪音信息的影响，并进一步提高方面情感分类的效果。
本发明中通过计算延迟奖励来优化策略网络的方式，能够不断更新和优化策略网络，进而能够选取更准确的动作来生成强化依赖图，从而能够进一步克服噪音信息的影响，提高方面情感分类的效果。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为实施例中方面情感分类方法的逻辑框图；
图2为实施例中方面情感分类方法的网络结构图；
图3为实施例中交替实验的结果示意图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例：
本实施例中公开了一种基于强化依赖图的方面情感分类方法。
如图1和图2所示，基于强化依赖图的方面情感分类方法，包括以下步骤：
S1：获取待分类评论文本；
S2：学习待分类评论文本的方面词信息和句法依赖关系，并生成对应的强化依赖图；
S3：基于强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，然后计算每个上下文信息与方面词信息相关的注意力权重，并得到对应的文本最终表示；
S4：基于文本最终表示进行方面情感分类，并将对应的分类结果作为待分类评论文本的方面情感分类结果。
在本发明中，通过学习评论文本的方面词信息和句法依赖关系的方式，考虑了句法依赖树的关系类型与方面词之间的关系以生成强化依赖图，强化依赖图能够精确的表达与方面词相关的、单词之间的依赖关系，从而能够克服噪音信息的影响；同时，本发明基于强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，使得能够为每个上下文信息设置与方面词信息相关的注意力权重，以生成更为精确的文本最终表示用于方面情感分类，从而能够保证方面情感分类的准确性，并提高方面情感分类的效果。
具体实施过程中，通过如下步骤生成强化依赖图：
S201：对待分类评论文本X进行词嵌入，得到对应的词嵌入表示Hw。具体的，待分类评论文本X＝{x1,…,xτ+1,…,xτ+m,…,xn}中包含了从τ+1开始的m个方面词，通过词向量矩阵
Figure BDA0003288152610000061
(其中|V|表示词汇表的大小，de表示词嵌入的维度)将其映射到低维的向量空间
Figure BDA0003288152610000062
同样的方法可得到关系向量矩阵
Figure BDA0003288152610000063
和词性向量矩阵
Figure BDA0003288152610000064
|Vr|和|Vp|分别表示关系和词性的个数，dr和dp分别表示关系和词性的维度。
S202：将词嵌入表示Hw与对应的词性矩阵Ep进行拼接，得到对应的词性表示Hp。具体的，使用句法解析器构造句法依赖树(句法依赖关系)，得到邻接矩阵
Figure BDA0003288152610000065
每个单词的词性p，
Figure BDA0003288152610000066
以及词与词之间的关系类型r，
Figure BDA0003288152610000067
将词嵌入表示Hw与词性p拼接，生成新的表示
Figure BDA0003288152610000068
S203：将词性表示Hp进行上下文信息融合，得到对应的上下文表示Hc。
S204：基于上下文表示Hc将对应的依赖词
Figure BDA0003288152610000069
依赖关系r、被依赖词
Figure BDA00032881526100000610
和方面词表示
Figure BDA00032881526100000611
拼接成为状态st；其中，状态st对应的动作表示为
Figure BDA00032881526100000612
具体的，对邻接矩阵A，可将存在关系的词与词用三元组
Figure BDA00032881526100000613
表示，
Figure BDA00032881526100000614
表示依赖词(图2中强化依赖图中箭头指出的词)，
Figure BDA00032881526100000615
表示被依赖词(图2中强化依赖图中箭头指向的词)，
Figure BDA00032881526100000616
有且仅有一个
Figure BDA00032881526100000617
依赖和被依赖是两种不同的关系类型，所以对反向的关系构建为
Figure BDA00032881526100000618
其中，r′也由关系向量矩阵Er得到，依赖关系类型为“amod”时，反向的依赖关系类型为“amod-r”。
S205：基于深度强化学习得到的策略网络选择待分类评论文本X中各个单词对应的动作
Figure BDA0003288152610000071
并生成对应的强化依赖图。具体的，动作由状态唯一决定，动作包含“保留”(Retain)和“删除”(Delete)，表示该关系对方面情感分类是否有贡献。“保留”表示在强化依赖图中保留该关系，用于后续的方面情感分类，“删除”表示在强化依赖图中删除该关系。为了丰富深度强化学习的样本，动作通过随机采样得到；测试时，希望能得到最好的分类效果，所以选择概率最大的动作。
具体的，X＝{x1,…,xτ+1,…,xτ+m,…,xn}；
Figure BDA0003288152610000072
Figure BDA0003288152610000073
Figure BDA0003288152610000074
Figure BDA0003288152610000075
策略网络表示为
Figure BDA0003288152610000076
强化依赖图的邻接矩阵表示为
Figure BDA0003288152610000077
上述式中：
Figure BDA0003288152610000078
|Vp|表示词性p的个数，dp表示词性p的维度，词性
Figure BDA0003288152610000079
Figure BDA00032881526100000710
表示拼接操作；
Figure BDA00032881526100000711
表示策略网络中状态st选择动作
Figure BDA00032881526100000712
的概率，θ＝{w,b}表示可学习的参数，
Figure BDA00032881526100000713
在本发明中，基于深度强化学习得到的策略网络能够通过选择各个单词对应动作来生成强化依赖图，即根据评论文本语义信息、方面词信息和单词之间的依赖关系类型学习生成强化依赖图，使得强化依赖图能够更为精确的表达与方面词相关的、单词之间的依赖关系，从而更为有效的克服了噪音信息的影响，并进一步提高方面情感分类的效果。
具体实施过程中，得到待分类评论文本的方面情感分类结果后，计算对应的延迟奖励优化策略网络；
延迟奖励的计算公式为
Figure BDA00032881526100000714
式中：R表示延迟奖励；L表示策略网络损失函数的输出；n表示待分类评论文本的单词个数，每个单词具有正向与反向的关系，n′表示动作
Figure BDA00032881526100000715
为“删除”关系的个数；γ表示一个超参数。
具体的，通过REINFORCE算法(是指在Williams R J.《Simple statisticalgradient-following algorithms for connectionist reinforcement learning》中公开的算法)和梯度下降算法优化策略网络，并使得期望的延迟奖励最大化；
REINFORCE算法的公式如下：
Figure BDA0003288152610000081
式中：J(θ)表示期望的延迟奖励；动作
Figure BDA0003288152610000086
由状态st唯一决定；p(st)＝1；
最终，策略网络的梯度表示为：
Figure BDA0003288152610000082
Figure BDA0003288152610000087
表示对参数θ求偏导。
在本发明中，通过计算延迟奖励来优化策略网络的方式，能够不断更新和优化策略网络，进而能够选取更准确的动作来生成强化依赖图，从而能够进一步克服噪音信息的影响，提高方面情感分类的效果。同时，REINFORCE算法和梯度下降算法能够更好的保证策略网络的更新和优化效果。
具体实施过程中，通过如下步骤得到文本最终表示：
S301：设置L层图注意力网络，将上下文表示Hc作为图注意力网络的输入，将强化依赖图作为图注意力网络的图结构，使用多头注意力机制融合邻居节点的信息并增强当前节点表示，得到对应的隐藏状态表示HL；
S302：基于隐藏状态表示HL遮掩非方面词的向量并使得方面词的向量保持不变，得到对应的方面特征表示
Figure BDA0003288152610000083
具体的，
Figure BDA0003288152610000084
则融合了文本中所有与方面相关的信息。
S303：基于方面特征表示
Figure BDA0003288152610000085
匹配上下文表示Hc中与方面词语义相关的重要特征，并基于检索的注意力机制计算每个单词与方面词相关的注意力权重at，
S304：对各个注意力权重at进行加权求和，得到对应的文本最终表示z。
具体的，增强当前节点表示的计算公式为
Figure BDA0003288152610000091
其中，
Figure BDA0003288152610000092
Figure BDA0003288152610000093
Figure BDA0003288152610000094
注意力权重的计算公式为
Figure BDA0003288152610000095
其中，
Figure BDA0003288152610000096
文本最终表示为
Figure BDA0003288152610000097
上述式中：
Figure BDA0003288152610000098
Figure BDA0003288152610000099
表示节点i在l+1层的表示；||表示拼接操作；σ表示非线性激活函数；Ni表示节点i的邻居节点集合；
Figure BDA00032881526100000910
表示第l层第k个注意力的归一化注意力系数；Wlk表示第l层第k个头的转换矩阵；
Figure BDA00032881526100000911
eij表示节点i与节点j之间的注意力；
Figure BDA00032881526100000912
表示第l层第j个节点的表示；
Figure BDA00032881526100000913
在本发明中，通过图注意力网络融合评论文本中与方面词相关的特征，使用基于检索的注意力机制为上下文信息设置与方面词相关的注意力权重，使得能够更好的融合长距离单词依赖关系，生成简单、精确的文本最终表示用于方面情感分类，能够更好的保证方面情感分类的准确性，从而进一步提高方面情感分类的效果。
具体实施过程中，通过梯度下降算法优化图注意力网络；
其中，交叉熵损失函数为
Figure BDA00032881526100000914
式中：y表示真实的情感分类标签；C表示方面情感分类的类别数。
具体的，通过热启动和交替训练的方式训练图注意力网络：
使用原始的依赖树对图注意力网络的参数进行预训练，即热启动；
固定图注意力网络的参数，训练强化依赖图部分的参数，以期望得到对分类更有效的图结构，固定强化依赖图部分的参数，训练图注意力网络的参数，依次交替，最终得到图注意力网络和强化依赖图两者都最优的结果，即交替训练。
在本发明中，通过热启动和交替训练来训练图注意力网络的方式，能够使得强化依赖图部分的深度强化学习快速收敛，并且能够解决局部最优的问题，即能够获取两者都最优的结果，从而保证图注意力网络的训练效果，并进一步提高方面情感分类的效果。
具体实施过程中，通过如下步骤进行方面情感分类：
S401：将文本最终表示z输入至全连接层，再通过softmax层进行归一化，得到预测的情感分类标签概率分布
Figure BDA0003288152610000101
其中，
Figure BDA0003288152610000102
S402：将概率分布最高的情感分类标签作为对应待分类评论文本的方面情感分类结果；
上述式中：
Figure BDA0003288152610000103
Figure BDA0003288152610000104
表示预测的情感分类标签；dz为方面情感分类的类别数；
Figure BDA0003288152610000105
表示可学习参数，
Figure BDA0003288152610000106
表示偏差。
为了更好的说明本发明中方面情感分类方法的优势，本实施例中公开了如下实验。
一、实验数据集与实验设置
本实验对五个公开的数据集实施，表1列举了数据集的统计情况，#Pos.、#Neu.和#Neg.分别表示积极、中性和消极的情感倾向样本个数。
其中，Twitter表示社交平台(是指Dong L,Wei F,Tan C,et al.《Adaptiverecursive neural network for target-dependent twitter sentimentclassification》中公开的社交软件)Twitter用户的评论，包含了用户提及的人名、公司的等方面；Lap14与Rest14、Rest15和Rest16分别来自SemEval 2014 task 4(是指MariaPontiki,Dimitris Galanis,John Pavlopoulos,Harris Papageorgiou,IonAndroutsopoulos,and Suresh Manandhar.《SemEval-2014 task 4:Aspect basedsentiment analysis》中公开的数据集)、SemEval 2015 task 12(是指Pontiki M,GalanisD,Papageorgiou H,et al.《Semeval-2015 task 12:Aspect based sentiment analysis》中公开的数据集)和SemEval 2016 task 5(是指Pontiki M,Galanis D,Papageorgiou H,et al.《Semeval-2016task 5:Aspect based sentiment analysis》中公开的数据集)，包含了用户对笔记本电脑和餐厅的评价。
表1数据集统计
Figure BDA0003288152610000111
在实验中，采用300维的Glove(是指Pennington J,Socher R,Manning C D.《Glove:Global vectors for word representation》中公开的预训练向量)预训练向量作为词嵌入的初始化，模型的参数使用均匀分布初始化。其中de为300、dp和dr为100，ds为800，dh为600，dz为3，γ为0.7；图注意力网络(GAT)中，多头注意力头的个数为1，GAT的层数L为1或2；Leaky ReLU小于零的斜率为0.2；最终分类的类别数C为3，表示三种情感极性，批处理的大小为16，优化器Adam的学习率为0.001，交替训练轮次为4。
二、基线模型
本实验提出的RDGSC(是指本发明中基于强化依赖图的方面情感分类模型)与现有的9种基线方法在五个不同的数据集上进行实验：
SVM(是指Kiritchenko S,Zhu X,Cherry C,et al.《Nrc-canada-2014:Detectingaspects and sentiment in customer reviews》中公开的机器学习方法)：传统的机器学习方法，使用传统的特征提取方法，通过内部序列标记方面词。
LSTM(是指Duyu Tang,Bing Qin,Xiaocheng Feng,and Liu Ting.2016a.《Effective lstms for target-dependent sentiment classification.In Proceedingsof COLING》中公开的模型)：对传统的LSTM模型进行扩展，输入文本为有序的单词序列，设置两个与方面相关的长短期记忆模型，充分融合上下文信息。
MemNet(是指Tang D,Qin B,Liu T.《Aspect Level Sentiment Classificationwith Deep Memory Network》中公开的模型)：使用多跳结构和外部记忆学习单词在文本中的重要性，最终生成文本的表示。
AOA(是指Huang B,Ou Y,Carley K M.《Aspect level sentimentclassification with attention-over-attention neural networks》中公开的模型)：将机器翻译领域的注意-过度注意方法引入到方面情感分类任务，以联合的方式对各个方面与句子进行建模，准确的捕捉了各方面和上下文之间的相互作用。
IAN(是指Ma D,Li S,Zhang X,et al.《Interactive attention networks foraspect-level sentiment classification》中公开的模型)：输入文本建模为有序的单词序列，使用注意力网络学习方面的上下文表示。
TD-GAT(是指Huang B,Ou Y,Carley K M.《Aspect level sentimentclassification with attention over attention neural networks》中公开的模型)：使用图注意力网络，利用单词的依赖关系进行学习，使用多头注意力融合相互依赖的单词之间的信息。
ASCNN(是指Zhang C,Li Q,Song D.《Aspect-based Sentiment Classificationwith Aspect-specific Graph Convolutional Networks》中公开的模型)：使用卷积操作学习句子的上下文信息，通过对非方面词进行遮掩，得到方面的特征，使用基于检索的注意力机制，为每一个上下文信息学习注意力权重。
ASGCN(是指Zhang C,Li Q,Song D.《Aspect-based Sentiment Classificationwith Aspect-specific Graph Convolutional Networks》中公开的模型)：使用句法依赖图融合句法依赖信息，对非方面词遮掩得到方面的特征，利用注意力机制来学习文本的表示。
kumaGCN(是指Chen C,Teng Z,Zhang Y.《Inducing Target-Specific LatentStructures for Aspect Sentiment Classification》中公开的模型)：将句法依赖树和自动诱导的方面相关的特定图相关联，使用自注意力机制动态地将结合依赖树与潜在图的信息，再使用注意力机制学习文本中上下文信息的注意力权重。
本实验重复运行三次，取平均值作为实验的结果，使用准确率(Acc)和宏观F1(F1)作为评价指标。
三、实验结果
本实验将本发明方法的效果与现有的基线模型的效果进行对比，证明了本发明方法的有效性。如表2所示，从整体上看，五个数据集中，本发明方法在四个数据集的结果都优于现有的模型。对单个的数据集而言，与最好的方法相比，本发明的方法在Twitter上，Acc和F1分别提升了0.9％和1.3％；在Lap14上提升了0.1％和0.2％；在Rest14数据集上提升了0.5％和0.7％；Rest15数据集，Acc与F1下降了0.8％和0.3％；而在Rest16，Acc下降0.3％的同时，F1提升了1.1％(对于Rest15效果下降的原因，我们认为是因为Rest15的数据样本较小，策略网络没有得到充分的训练)。各项数据都表明了本发明方法的有效性，证明了本发明的强化依赖图是更适应方面情感分类的图结构。
表2与不同模型的对比
Figure BDA0003288152610000131
四、消融实验
本实验设计了消融实验，研究深度强化学习中状态的组成成分实验结果的影响，状态是决定动作的唯一指示器，而动作决定了强化依赖图的生成，强化依赖图对方面情感分类有决定性作用，因此状态的组成成分是关注的重点。如表3所示，RDGSC w/o RL表示不使用深度强化学习，仅使用图注意力网络的结果；RDGSC w/o Rel表示在深度强化学习，状态不包含词与词之间句法依赖关系类型；RDGSC w/o Aspect表示状态中不包含句子中的方面词，即动作的学习与方面无关。在五个数据集上，RDGSC的结果与前两项相比，除了在Rest16的Acc上比RDGSC w/o RL均下降了0.1％，其余的均为最高值。与RDGSC w/o RL，即不使用强化依赖图相比，Acc和F1最高分别提升了2％和4％，表明了强化依赖图对方面情感分类的积极的作用；与RDGSC w/o Rel，即强化依赖图的状态不包含依赖关系类型相比，最高可提升3.2％和6.3％，表明依赖关系类型在模型中也是不可或缺的。而RDGSC w/o RL与RDGSC w/o Rel相比，在除Rest15数据集，其余数据集的指标都有所下降，我们认为是因为词与词之间的关系更为复杂，导致策略网络训练不充分，即仅使用单词之间的信息和方面词的信息无法准确地判断方面情感分类是否需要这个依赖关系。
表3消融实验
Figure BDA0003288152610000141
五、交替训练实验
在实验细节上，策略网络生成的强化依赖图决定图注意力网络的结果，而图注意力网络的结果又会对策略网络进行更新，两者相互依赖、相互制约，导致同时训练策略网络和图注意力网络十分困难，极易陷入局部最优解。因此本发明采用交替训练的方式，分别对策略网络和图注意力网络进行学习。如图3所示，横坐标表示交替学习的轮次，纵坐标表示实验的结果。对Twitter和Lap14数据集，在第二轮时Acc下降，我们认为是因为强化依赖图的变化较大，图注意力网络训练不充分导致结果下降。对F1而言，可以看出随着交替轮次的增加，实验效果逐步提高，直到第三轮或者第四轮时达到最优效果，因此选择四次交替训练的结果作为最终结果。
将公式
Figure BDA0003288152610000142
中的a进行注意力可视化，展示我们模型的有效性。
如表4所示，方面词表示对该词进行情感分类；注意力可视化中，颜色越深，表示模型越关注该单词的信息；预测标签表示模型预测的方面的情感倾向；真实标签表示人为判断的结果。第一个例子中，“Space is limited,but the food made up for it.”,方面词为“food”，但是ASGCN将注意力集中在情感表达明显的“limited”上，认为“food”是消极的情感倾向，而RDGSC则正确的将注意力放在“but”和“made up”上，表明“made up”具有与“limited”相反的情感倾向。在“The fish is fresh,through it was cut very thin.”句子中，ASGCN考虑整个句子的情感倾向，前半部分为积极的情感，后半部分具有转折的含义，认为“fish”也是中性的情感；而本发明的方法则重点关注“fresh”这个词，得出“fish”的情感倾向为积极的。第三个句子中，ASGCN虽然也关注了“never recommend”这个表达了消极情感的词，但是也关注了“casual”，最终认为这个句子为积极的情感；而RDGSC关注了“never recommend”和“anybody”，这些具有否定意义的单词，加强了消极的情感倾向。从注意力可视化看出，强化依赖图可以更有效的融合与方面相关的信息，使模型更加关注与方面相关的特征。
表4案例分析
Figure BDA0003288152610000151
六、实验总结
在公开的五个数据集上进行大量实验，实验结果表明你发明的方法在两个评价指标Acc和F1上要优于所有的基线方法，通过大量实验证明了我们的方法的有效性和健壮性。
需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (8)

1.基于强化依赖图的方面情感分类方法，其特征在于，包括以下步骤：
S1：获取待分类评论文本；
S2：学习待分类评论文本的方面词信息和句法依赖关系，并生成对应的强化依赖图；
步骤S2中，通过如下步骤生成强化依赖图：
S201：对待分类评论文本X进行词嵌入，得到对应的词嵌入表示Hw；
S202：将词嵌入表示Hw与对应的词性矩阵Ep进行拼接，得到对应的词性表示Hp；
S203：将词性表示Hp进行上下文信息融合，得到对应的上下文表示Hc；
S204：基于上下文表示Hc将对应的依赖词
Figure FDA0003563549270000011
依赖关系r、被依赖词
Figure FDA0003563549270000012
和方面词表示
Figure FDA0003563549270000013
拼接成为状态st；其中，状态st对应的动作表示为
Figure FDA0003563549270000014
S205：基于深度强化学习得到的策略网络选择待分类评论文本X中各个单词对应的动作
Figure FDA0003563549270000015
并生成对应的强化依赖图；
S3：基于强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，然后计算每个上下文信息与方面词信息相关的注意力权重，并得到对应的文本最终表示；
S4：基于所述文本最终表示进行方面情感分类，并将对应的分类结果作为待分类评论文本的方面情感分类结果；得到待分类评论文本的方面情感分类结果后，计算对应的延迟奖励优化所述策略网络；
延迟奖励的计算公式为
Figure FDA0003563549270000016
式中：R表示延迟奖励；L表示所述策略网络损失函数的输出；n表示待分类评论文本的单词个数，每个单词具有正向与反向的关系，n′表示动作
Figure FDA0003563549270000017
为“删除”关系的个数；γ表示一个超参数。
2.如权利要求1所述的基于强化依赖图的方面情感分类方法，其特征在于：
X＝{x1,…,xτ+1,…,xτ+m,…,xn}；
Figure FDA0003563549270000018
Figure FDA0003563549270000019
Figure FDA00035635492700000110
Figure FDA00035635492700000111
策略网络表示为
Figure FDA00035635492700000112
强化依赖图的邻接矩阵表示为
Figure FDA0003563549270000021
上述式中：
Figure FDA0003563549270000022
|Vp|表示词性p的个数，dp表示词性p的维度，词性
Figure FDA0003563549270000023
Figure FDA0003563549270000024
表示拼接操作；
Figure FDA0003563549270000025
表示策略网络中状态st选择动作
Figure FDA0003563549270000026
的概率；θ＝{w,b}表示可学习的参数，
Figure FDA0003563549270000027
3.如权利要求2所述的基于强化依赖图的方面情感分类方法，其特征在于：通过REINFORCE算法和梯度下降算法优化所述策略网络，并使得期望的延迟奖励最大化；
REINFORCE算法的公式如下：
Figure FDA0003563549270000028
式中：J(θ)表示期望的延迟奖励；动作
Figure FDA0003563549270000029
由状态st唯一决定；p(st)＝1；
最终，所述策略网络的梯度表示为：
Figure FDA00035635492700000210
Figure FDA00035635492700000211
表示对参数θ求偏导。
4.如权利要求1所述的基于强化依赖图的方面情感分类方法，其特征在于：步骤S3中，通过如下步骤得到文本最终表示：
S301：设置L层图注意力网络，将上下文表示Hc作为图注意力网络的输入，将强化依赖图作为图注意力网络的图结构，使用多头注意力机制融合邻居节点的信息并增强当前节点表示，得到对应的隐藏状态表示HL；
S302：基于隐藏状态表示HL遮掩非方面词的向量并使得方面词的向量保持不变，得到对应的方面特征表示
Figure FDA00035635492700000212
S303：基于方面特征表示
Figure FDA00035635492700000213
匹配上下文表示Hc中与方面词语义相关的重要特征，并基于检索的注意力机制计算每个单词与方面词相关的注意力权重at；
S304：对各个注意力权重at进行加权求和，得到对应的文本最终表示z。
5.如权利要求4所述的基于强化依赖图的方面情感分类方法，其特征在于：
增强当前节点表示的计算公式为
Figure FDA0003563549270000031
其中，
Figure FDA0003563549270000032
Figure FDA0003563549270000033
Figure FDA0003563549270000034
注意力权重的计算公式为
Figure FDA0003563549270000035
其中，
Figure FDA0003563549270000036
文本最终表示为
Figure FDA0003563549270000037
上述式中：
Figure FDA0003563549270000038
Figure FDA0003563549270000039
表示节点i在l+1层的表示；||表示拼接操作；σ表示非线性激活函数；Ni表示节点i的邻居节点集合；
Figure FDA00035635492700000310
表示第l层第k个注意力的归一化注意力系数；Wlk表示第l层第k个头的转换矩阵；
Figure FDA00035635492700000311
eij表示节点i与节点j之间的注意力；
Figure FDA00035635492700000312
表示第l层第j个节点的表示；
Figure FDA00035635492700000313
6.如权利要求4所述的基于强化依赖图的方面情感分类方法，其特征在于：通过梯度下降算法优化所述图注意力网络；通过热启动和交替训练的方式训练所述图注意力网络。
7.如权利要求5所述的基于强化依赖图的方面情感分类方法，其特征在于，训练所述图注意力网络时：
使用原始的依赖树对图注意力网络的参数进行预训练，即热启动；
固定图注意力网络的参数，训练强化依赖图部分的参数，以期望得到对分类更有效的图结构，固定强化依赖图部分的参数，训练图注意力网络的参数，依次交替，最终得到图注意力网络和强化依赖图两者都最优的结果，即交替训练。
8.如权利要求4所述的基于强化依赖图的方面情感分类方法，其特征在于，步骤S4中，通过如下步骤进行方面情感分类：
S401：将文本最终表示z输入至全连接层，再通过softmax层进行归一化，得到预测的情感分类标签概率分布
Figure FDA00035635492700000314
其中，
Figure FDA0003563549270000041
S402：将概率分布最高的情感分类标签作为对应待分类评论文本的方面情感分类结果；
上述式中：
Figure FDA0003563549270000042
Figure FDA0003563549270000043
表示预测的情感分类标签；dz为方面情感分类的类别数；
Figure FDA0003563549270000044
表示可学习参数，
Figure FDA0003563549270000045
表示偏差。
CN202111154191.3A 2021-09-29 2021-09-29 基于强化依赖图的方面情感分类方法 Expired - Fee Related CN113869034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111154191.3A CN113869034B (zh) 2021-09-29 2021-09-29 基于强化依赖图的方面情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111154191.3A CN113869034B (zh) 2021-09-29 2021-09-29 基于强化依赖图的方面情感分类方法

Publications (2)

Publication Number Publication Date
CN113869034A CN113869034A (zh) 2021-12-31
CN113869034B true CN113869034B (zh) 2022-05-20

Family

ID=79000744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111154191.3A Expired - Fee Related CN113869034B (zh) 2021-09-29 2021-09-29 基于强化依赖图的方面情感分类方法

Country Status (1)

Country Link
CN (1) CN113869034B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722833B (zh) * 2022-04-19 2024-07-23 清华大学 一种语义分类方法及装置
CN114764564B (zh) * 2022-04-25 2024-08-06 西安电子科技大学 基于融合语言学知识的方面级情感极性分类方法
CN115269837B (zh) * 2022-07-19 2023-05-12 江南大学 融合位置信息的三元组抽取方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446331A (zh) * 2018-12-07 2019-03-08 华中科技大学 一种文本情绪分类模型建立方法及文本情绪分类方法
CN113157919A (zh) * 2021-04-07 2021-07-23 山东师范大学 语句文本方面级情感分类方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633007B1 (en) * 2016-03-24 2017-04-25 Xerox Corporation Loose term-centric representation for term classification in aspect-based sentiment analysis
CN107957991B (zh) * 2017-12-05 2021-06-01 湖南星汉数智科技有限公司 一种基于句法依赖的实体属性信息抽取方法及装置
CN108133014B (zh) * 2017-12-22 2022-03-22 广州数说故事信息科技有限公司 基于句法分析和聚类的三元组生成方法、装置及用户终端
CN108573411B (zh) * 2018-04-17 2021-09-21 重庆理工大学 基于用户评论的深度情感分析和多源推荐视图融合的混合推荐方法
CN109582764A (zh) * 2018-11-09 2019-04-05 华南师范大学 基于依存句法的交互注意力情感分析方法
CN109614626A (zh) * 2018-12-21 2019-04-12 北京信息科技大学 基于万有引力模型的关键词自动抽取方法
CN111488734B (zh) * 2020-04-14 2022-02-22 西安交通大学 基于全局交互和句法依赖的情感特征表示学习系统及方法
CN112115700B (zh) * 2020-08-19 2024-03-12 北京交通大学 一种基于依存句法树和深度学习的方面级情感分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446331A (zh) * 2018-12-07 2019-03-08 华中科技大学 一种文本情绪分类模型建立方法及文本情绪分类方法
CN113157919A (zh) * 2021-04-07 2021-07-23 山东师范大学 语句文本方面级情感分类方法及系统

Also Published As

Publication number Publication date
CN113869034A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
WO2021093755A1 (zh) 问题的匹配方法及装置、问题的回复方法及装置
CN108573411B (zh) 基于用户评论的深度情感分析和多源推荐视图融合的混合推荐方法
CN113869034B (zh) 基于强化依赖图的方面情感分类方法
Tang et al. Multi-label patent categorization with non-local attention-based graph convolutional network
CN109783812B (zh) 基于自注意力机制的中文命名实体识别方法、系统、装置
CN111274790A (zh) 基于句法依存图的篇章级事件嵌入方法及装置
CN115878904A (zh) 基于深度学习的知识产权个性化推荐方法、系统及介质
CN113297369A (zh) 基于知识图谱子图检索的智能问答系统
CN117149974A (zh) 一种子图检索优化的知识图谱问答方法
CN114218922A (zh) 一种基于双通道图卷积网络的方面情感分析方法
CN117648429A (zh) 基于多模态自适应检索式增强大模型的问答方法及系统
Addepalli et al. A proposed framework for measuring customer satisfaction and product recommendation for ecommerce
Liu et al. Unveiling consumer preferences in automotive reviews through aspect-based opinion generation
CN114491079A (zh) 知识图谱构建和查询方法、装置、设备和介质
Lee et al. Detecting suicidality with a contextual graph neural network
Soni et al. Deep learning, wordnet, and spacy based hybrid method for detection of implicit aspects for sentiment analysis
CN117216617A (zh) 文本分类模型训练方法、装置、计算机设备和存储介质
CN115660695A (zh) 客服人员标签画像构建方法、装置、电子设备及存储介质
Hsu et al. An interpretable generative adversarial approach to classification of latent entity relations in unstructured sentences
Chen et al. Mining E-commercial data: A text-rich heterogeneous network embedding approach
Agarwal et al. Sentiment Analysis Dashboard for Socia Media comments using BERT
Shini et al. Implicit aspect based sentiment analysis for restaurant review using LDA topic modeling and ensemble approach
Jia et al. Application of graph neural network and feature information enhancement in relation inference of sparse knowledge graph
Qin et al. Recommender resources based on acquiring user's requirement and exploring user's preference with Word2Vec model in web service
Ben Abdallah et al. Online consumer review spam detection based reinforcement learning and neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220520

CF01 Termination of patent right due to non-payment of annual fee