CN116340507A - 一种基于混合权重和双通道图卷积的方面级情感分析方法 - Google Patents

一种基于混合权重和双通道图卷积的方面级情感分析方法 Download PDF

Info

Publication number
CN116340507A
CN116340507A CN202310053263.8A CN202310053263A CN116340507A CN 116340507 A CN116340507 A CN 116340507A CN 202310053263 A CN202310053263 A CN 202310053263A CN 116340507 A CN116340507 A CN 116340507A
Authority
CN
China
Prior art keywords
word
speech
weight
grammar
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310053263.8A
Other languages
English (en)
Inventor
王芳
程帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN202310053263.8A priority Critical patent/CN116340507A/zh
Publication of CN116340507A publication Critical patent/CN116340507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于混合权重和双通道图卷积的方面级情感分析方法，首先将句子中的每个单词的词性、语法关系和位置融入到每个词的向量表示中，然后获取句子中每个方面词的上下文词相对方面词的词性‑距离混合权重，最后双通道图卷积网络层结合了语法距离和情感极性知识特征。本发明将情感分类准确率分别提高到85.56％、88.46％和78.37％，可以更好的融合多种特征，在方面级情感分析领域有一定优势。

Description

一种基于混合权重和双通道图卷积的方面级情感分析方法
技术领域
本发明涉及自然语言处理技术领域，具体涉及一种基于混合权重和双通道图卷积的方面级情感分析方法。
背景技术
方面级情感分析ALSA(Aspect Level Sentiment Analysis)是一种细粒度的情感分析任务，其目的是自动分类与文本的特定方面相关的情感。ALSA的研究工作是基于机器学习方法开展的。Wu等人提出一种基于概率图模型的情感分析方法，结合支持向量机进行分类，且在实验中具有良好的表现。但传统的基于机器学习的方法依赖于构建特征工程的质量，这使得ALSA的发展受到了限制。而深度学习不受这些限制，并在各种情感分析任务中取得了巨大的成功。目前大多数方面级情感分类的研究主要通过神经网络来展开研究，并且都侧重于语法的改进或语义信息的获取。其中语法信息大多通过依存树获取句子的结构。依存树是指句子中词之间的语法关系，以三联体的形式出现，形成一个句子的树形结构。在此基础上Hou XC等人通过多种解析，生成不同句法结构的依存树，并将其组合成一张有向图网络进行训练。Wang K等人构建一种以方面词为根节点的依存树，并与关系图注意力网络结合实现了情感预测。苏锦钿等人基于句法依存树，定义了语法距离以及语法距离权重，最终取得了很好的分类效果。这些方法虽然通过改善句法结构或修剪句法依存树，但忽略了对情感极性知识的研究，从而导致方面级情感分类准确率较低的问题。
情感知识通常被用来增强情感分析任务中的情感特征表征。Ma等人将情感相关概念的常识性知识纳入到长短时记忆网络中，用于面向方面的情感分类。Bin Liang等人引入SenticNet词典来对句法依存树进行润色。现有研究未能有效地将情感知识中的情感极性标签和情感极性值纳入到情感分类模型中，缺乏对情感信息的深度挖掘。
为了提高分类性能，P.Chen等人将给定方面的线性位置信息集成到方面级情感分类模型中。Li等人在GCN的基础上加入掩码机制和句子线性位置编码并采用注意力机制来进行分类，相比之前的方法取得了更好的分类效果，但是缺乏对词性特征和物理距离特征的综合考虑，导致模型无法关注对方面词影响较大的上下文词。所以结合词性特征与物理距离特征也是一个值得考虑的研究方向。此外，付朝燕等人将词性和语法关系融入到每个词的向量表示中来丰富词的向量表示，但是缺少对词的位置特征的考虑。因此，在词的向量表示中融入位置特征可以更有利于语义的学习。
上述方法均已在实践中得到了良好的验证，但都是从某一角度对情感分类进行研究，仍缺少一种综合考虑词性、语法关系、位置、物理距离、语法距离和情感极性知识等有助于准确识别方面词情感重要特征的方法，对情感极性知识的挖掘也不够充分，并且缺少对词性和物理距离混合权重的考虑。最终本发明提出了一种基于混合权重和双通道图卷积的方面级情感分析方法。
发明内容
本发明提供了一种基于混合权重和双通道图卷积的方面级情感分析方法，以解决现有技术中在语义特征、句法依存关系特征和外部情感极性知识特征提取不充分而造成方面级情感分析不准确的问题。
本发明提供了一种基于混合权重和双通道图卷积的方面级情感分析方法，包括如下步骤：
步骤1：将句子中的每个词生成向量表示；
步骤2：将句子中的每个单词的词性、语法关系和位置融入到每个词的向量表示中；
步骤3：基于步骤2获取的每个词的向量表示，利用Bi-GRU模型获取每个词的上下文信息，其中上下文信息包括：方面词的上下文信息；
步骤4：获取句子中每个方面词的上下文词相对方面词的词性-距离混合权重；
步骤5：构建双通道图卷积网络，双通道图卷积网络分别对句子的语法距离权重增强图和情感极性结构图进行卷积操作，得到基于语法距离的图卷积网络输出特征向量以及基于情感极性的图卷积网络输出特征向量；
其中，语法距离权重增强图是在句法依存树的基础上加入语法距离；
情感极性结构图是在句法依存树的基础上加入情感极性标签和情感极性值；
步骤6：将步骤5中获得的两个特征向量分别进行方面掩码，得到仅包含方面词隐藏特征的特征向量；
步骤7：将步骤6中得到的仅包含方面词隐藏特征的基于语法距离的图卷积网络输出特征向量和步骤3中方面词的上下文信息通过注意力机制进行注意力权重分配，得到经过注意力机制处理的特征向量；其中，步骤3中方面词的上下文信息作为注意力机制的键矩阵和值矩阵，步骤6中得到的仅包含方面词隐藏特征的基于语法距离的图卷积网络输出特征向量作为注意力机制的查询矩阵；
步骤8：对步骤7中得到的经过注意力机制处理的特征向量与步骤6得到的仅包含方面词隐藏特征的基于情感极性的图卷积网络输出特征向量进行拼接融合，然后输入到分类函数，将分类函数输出结果作为目标词的情感极性预测结果。
进一步地，所述步骤2的具体过程为：
先将句子的每个单词的词性、语法关系和位置映射到低维、连续、稠密空间后得到词性嵌入、语法关系嵌入和位置嵌入，然后将词性嵌入、语法关系嵌入和位置嵌入融入到每个词的向量表示中完成融入过程。
进一步地，所述步骤4的具体过程为：
获取当前的方面词与当前的方面词对应的每个上下文词的物理距离，根据物理距离从近至远对每个上下文词赋予从高至低的物理距离权重；
获取当前的方面词与当前的方面词对应的每个上下文词中的形容词，对形容词赋予高权重的词性权重，对其他词的词性权重赋予零；
将当前的方面词对应的每个上下文词的物理距离权重与词性权重相加得到当前的方面词对应的每个上下文词的词性-距离混合权重；
进一步地，所述步骤4中还包括获取当前的方面词与当前的方面词对应的每个上下文词中冠词，对形容词赋予高权重的词性权重，对冠词赋予低权重的词性权重，对其他词的词性权重赋予零。
进一步地，所述步骤5中对双通道图卷积网络对句子的语法距离权重增强图进行卷积操作时，包括：
对双通道图卷积网络中基于语法距离的图卷积网络当前卷积的输出，与向量表示的词性-距离混合权重进行加权作为下次卷积的输入。
本发明的有益效果：
本发明因为在每个词的向量表示中融入了词性、语法关系和位置来丰富每个词的向量表示，以及使用词性权重和物理距离权重构建混合权重来排除对方面词不重要的上下文词的干扰，最后融合了语法距离特征和情感极性知识特征使方法从多角度捕获方面词的信息，因此本发明的方面级情感分类性能优于其他方法；
本发明因为在每个词的向量表示中融入了词性嵌入、语法关系嵌入和位置嵌入，可以丰富词的向量表示，因此本发明使模型学习到更多的信息，有助于提高分类效果；
本发明因为基于词性特征和物理距离特征的混合权重可以在句子线性结构中给予关键信息更大的权重，因此本发明可以排除不重要的上下文词带来的噪音和偏差；
本发明因为在句子树形结构上融合了语法距离特征和情感极性知识(情感极性标签、情感极性值)，因此本发明可以从不同角度来捕获方面词的信息，有助于提高情感分类的准确性。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明具体实施例的流程示意图；
图2为本发明具体实施例的词性-距离混合编码图；
图3为本发明具体实施例的语法距离权重增强图；
图4为本发明具体实施例的情感极性结构图；
图5为本发明具体实施例的情感极性结构图矩阵表示；
图6为本发明具体实施例的在Lap14、Rest14和Twitter数据集下，图卷积网络层数与准确率关系图；
图7为本发明具体实施例的在Lap14、Rest14和Twitter数据集下，图卷积网络层数与宏F1值关系图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于混合权重和双通道图卷积的方面级情感分析方法，包括如下步骤：
步骤1：将句子中的每个词生成向量表示；
词嵌入层可以将句子中的每个词生成向量表示。本文使用了GloVe模型将每个词生成向量表示，GloVe是以LSA和Word2vec为基础，结合两者的优势，互补彼此的缺点，实现了一个非深度学习的升级语言模型，因此Glove模型训练更快，可以拓展到大规模语料，也适用于小规模语料和小向量，且最终效果通常更好。给定一个方面词句子对(a，s)，其中：a＝{wt，wt+1，…，wt+m}是句子s＝{w1，w2，…，a，…，wi，…，wn}的方面词子序列；m为句子长度，m为方面词长度。通过GloVe获得句子的嵌入矩阵表示形式为
Figure BDA0004059217870000051
其中：n代表句子中单词数；dm代表词的嵌入维度。这样就获得了每个单词wi的向量表示形式/>
Figure BDA0004059217870000052
步骤2：将句子中的每个单词的词性、语法关系和位置融入到每个词的向量表示中；
进一步地，先将句子的每个单词的词性和语法关系映射到低维、连续、稠密空间后得到词性嵌入、语法关系嵌入和位置嵌入，然后将词性嵌入、语法关系嵌入和位置嵌入融入到每个词的向量表示中完成融入过程；
借助词嵌入方法思想，将词性、语法关系和位置映射到低维、连续、稠密空间，分别得到词性嵌入
Figure BDA0004059217870000053
语法关系嵌入/>
Figure BDA0004059217870000054
和位置嵌入/>
Figure BDA0004059217870000055
并将它们拼接到句子的嵌入矩阵W后面，得到作为语义学习层的输入矩阵
Figure BDA0004059217870000056
其中：dPos是词性嵌入维度；dDep是语法关系嵌入维度；dPost是位置嵌入维度。这样一个词的向量表示中包含了词性特征、语法关系特征和位置特征。
步骤3：基于步骤2获取的每个词的向量表示，利用Bi-GRU模型获取每个词的上下文信息，其中上下文信息包括：方面词的上下文信息；
双向门控循环单元(Bidirectional-Gated Recurrent Unit,Bi-GRU)作为循环神经网络的一种变体，能够较好地学习句子中的长距离依赖和上下文特征，并能有效缓解梯度消失和梯度爆炸问题，且Bi-GRU相比于Bi-LSTM少了一个门控单元，在保持几乎相同准确率的同时更节约网络训练时间、提高效率。因此在语义学习层选择Bi-GRU模型获取每个词的上下文信息。Bi-GRU在I的正方向和反方向上学习第k层隐藏状态分别表示为
Figure BDA0004059217870000061
与/>
Figure BDA0004059217870000062
最后将它们拼接得到隐藏状态表示
Figure BDA0004059217870000063
其中dh是Bi-GRU隐藏状态的维度。这样就获取了每个词的上下文信息即语义信息。
步骤4：获取句子中每个方面词的上下文词相对方面词的词性-距离混合权重，如图2所示，
具体为：
获取当前的方面词与当前的方面词对应的每个上下文词的物理距离，根据物理距离从近至远对每个上下文词赋予从高至低的物理距离权重；
获取当前的方面词与当前的方面词对应的每个上下文词中的形容词、冠词，对形容词赋予高权重的词性权重，对冠词赋予低权重的词性权重，对其他词的词性权重赋予零；
将当前的方面词对应的每个上下文词的物理距离权重与词性权重相加得到当前的方面词对应的每个上下文词的词性-距离混合权重；
方面词对应的每个上下文词wi与当前方面词的物理距离的大小对方面词情感分析的影响也是不同的，所以需要为文本词进行物理距离权重的计算，计算方式如下：
Figure BDA0004059217870000064
式中：pi是单词索引为i的物理距离权重；jτ和jτ+m是方面词开始索引和结束索引。
除此之外，为了更好的去除噪声和偏差，基于词性给上下文词赋予不同的词性权重。句子中的形容词对方面词情感分析影响较大，应该增加形容词对方面词情感分析的影响；冠词对方面词情感分析影响较小，应该减少它们对方面词情感分析的影响；其他上下文词的词性权重赋予零。词性权重计算方式如下：
Figure BDA0004059217870000071
式中：mi表示单词索引为i的词性权重；J表示形容词；K表示冠词；α＝2是词性范围，这里α取值为2是基于英语句子基本结构设定的，取值过大会引入噪声，过小会丢失关键情感信息。
然后，结合当前的方面词对应的每个上下文词的物理距离权重与词性权重得到当前的方面词对应的每个上下文词的词性-距离混合权重q＝(q1，q2，…，qi，…，qn)：
qi＝pi+mi (3)
最后，引入词性-距离混合权重qi更新语义学习层的隐藏状态表示hs得到新的隐藏状态表示
Figure BDA0004059217870000072
计算方式如下：
HG＝F(hs)＝qihs (4)
式中：F(·)表示权重函数；qi表示单词索引为i的词性-距离混合权重。
步骤5：构建双通道图卷积网络，双通道图卷积网络分别对句子的语法距离权重增强图和情感极性结构图进行卷积操作，得到基于语法距离的图卷积网络输出特征向量以及基于情感极性的图卷积网络输出特征向量；
其中，双通道图卷积网络对句子的语法距离权重增强图进行卷积操作时，包括：
对双通道图卷积网络中基于语法距离的图卷积网络当前卷积的输出，与向量表示的词性-距离混合权重进行加权作为下次卷积的输入
语法距离权重增强图是在句法依存树的基础上加入语法距离；
情感极性结构图是在句法依存树的基础上加入情感极性标签和情感极性值；
本文应用Stanford CoreNLP工具生成句子的依存树T＝{V，E，A}。其中：V是节点集合；E是有语法依存关系的节点对集合；|V|是句子中的节点数；A∈R|V|×|V|是邻接矩阵。与此同时，增加了节点的自连接。最终节点vi∈V和vj∈V之间的权值计算方式如下：
Figure BDA0004059217870000081
考虑到依存树的节点表示需要包含更全面的语法，本发明引入了语法距离。语法距离是指在依存树上方面词的上下文词到方面词的最短距离，反映了方面词与方面词的上下文词的语法关联程度。如图3中“features”和“great”的语法距离为1，“features”和“that”的语法距离为2。方面词的每个上下文词与方面词的语法距离可以用向量D＝(d1，a，d2，a，…，di，a，…，dn，a)表示，其中，di，a为方面词的每个上下文词wi和方面词之间的语法距离。基于语法距离，计算语法距离权重li，计算方法如下，其中dmax是句子中最大的语法距离值：
Figure BDA0004059217870000082
使用语法距离权重li更新邻接矩阵A得到经过语法距离权重增强后的邻接矩阵AG。最终语法距离权重增强图表示为GG＝{VG，EG，AG}，其中VG与V相同；EG和E相同。
在句子结构中，仅考虑语法关系，这样会丢失掉一些关键情感信息。不同节点不仅有语法关系还有情感极性特征，这对情感极性的判断至关重要。为了提高情感分类的准确性，采用情感极性标签和情感极性值作为知识源，嵌入到依存树中。首先从SenticNet中获取情感极性标签。情感极性标签包括积极标签、消极标签和中性标签，分别用“positive”、“negative”和“neutral”表示。然后如图4所示的例子中，对“old”、“great”和“offers”等具有情感极性特征的词分别添加不同的情感极性标签，这可以支持极性预测。在构建的情感极性结构图GS＝{VS，ES，AS}中，边集ES包括有语法依存关系的节点对集合和有情感极性关系的节点对集合，Vs是节点集合，|VS|＝n+3，其中，n是句子s的单词节点数,3是情感极性标签的个数，节点vi和vj之间的权值
Figure BDA0004059217870000083
计算方式如下：
Figure BDA0004059217870000084
然后，BS中不仅仅只是简单的0或1表示，而是不同节点间隐藏了丰富的情感极性值。例如“good”的情感极性值为0.191、“old”的情感极性值为-0.81，这很容易从SenticNet中得出来。通过计算节点之间的情感极性值，使模型关注情感倾向更明确的部分。节点vi和vj之间的情感极性值Sij计算方式如下：
Sij＝|Sent(vi)+Sent(vj)| (8)
式中：Sent(v)∈[-1，1]表示节点v在SenticNet中的映射情感极性值。在SenticNet中，强烈积极的情感极性值非常接近于1，而强烈消极的情感极性值则接近于-1。Sent(v)＝0表示v为中性词或不在SenticNet中。如图5所示，然后根据如下公式得到了情感极性结构图邻接矩阵As：
Figure BDA0004059217870000091
此外，已建立的affective-space情感词嵌入空间文档将SenticNet的概念映射到连续的低维嵌入矩阵Eaff，而不损失原始空间的语义和情感相关性。通过查找嵌入矩阵Eaff来计算情感极性节点的向量表示
Figure BDA0004059217870000092
其中nk为情感极性节点数。特征矩阵/>
Figure BDA0004059217870000093
作为GS中的节点嵌入表示。每一行/>
Figure BDA0004059217870000094
是单词或情感极性标签节点的特征向量。
在构建完图之后，采用语法距离图卷积(Grammar distance-GraphConvolutional Network,G-GCN)和情感极性图卷积(Sentiment polarity-GraphConvolutional Network,S-GCN)分别对语法距离权重增强图和情感极性结构图进行卷积运算。图中节点的更新公式如下所示：
Figure BDA0004059217870000095
Figure BDA0004059217870000096
式中：
Figure BDA0004059217870000097
和/>
Figure BDA0004059217870000098
分别是G-GCN和S-GCN前一层网络的节点隐藏状态表示。特别注意的是，G-GCN的每层图卷积的输出都要经过词性-距离混合编码加权，降低依存树中噪声信息，如式所示。
Figure BDA0004059217870000101
然后得到了G-GCN输出的文本特征HG＝{h1，h2，…，hn}和S-GCN输出的文本特征
Figure BDA0004059217870000102
步骤6：将步骤5中获得的两个特征向量分别进行方面掩码，得到仅包含方面词隐藏特征的特征向量；
对步骤5中获得的两个特征向量HG和HS分别进行方面掩码可以排除非方面词的干扰，突出方面词的重要性。方面词对应的位置设为1，非方面词对应的位置设为0，计算方式如下：
Mmask＝[0，0，1，0，1，0，…，0]T (13)
Figure BDA0004059217870000103
式中：Mmask表示方面掩码矩阵；
Figure BDA0004059217870000104
表示方面掩码后只保留方面词的特征矩阵；hK表示图卷积网络层的输出文本特征矩阵，其中hK可以是HG也可以是HS。最终G-GCN和S-GCN的输出文本特征矩阵经过方面掩码层后分别得到仅包含方面词隐藏特征的基于语法距离的图卷积网络输出特征向量/>
Figure BDA0004059217870000105
和仅包含方面词隐藏特征的基于情感极性的图卷积网络输出特征向量/>
Figure BDA0004059217870000106
步骤7：将步骤6中得到的仅包含方面词隐藏特征的基于语法距离的图卷积网络输出特征向量和步骤3中方面词的上下文信息通过注意力机制进行注意力权重分配，得到经过注意力机制处理的特征向量；其中，步骤3中方面词的上下文信息作为注意力机制的键矩阵和值矩阵，步骤6中得到的仅包含方面词隐藏特征的基于语法距离的图卷积网络输出特征向量作为注意力机制的查询矩阵；
将步骤6中得到的仅包含方面词隐藏特征的基于语法距离的图卷积网络输出特征向量
Figure BDA0004059217870000111
和步骤3中方面词的上下文信息hs通过注意力机制进行注意力权重分配，来突出对方面词情感极性判别有重要作用的单词，最终得到经过注意力机制处理的特征向量r。权重计算方式如下所示：
Figure BDA0004059217870000112
Figure BDA0004059217870000113
Figure BDA0004059217870000114
式中：γ表示待分配权重；步骤3中方面词的上下文信息hs作为注意力机制的键矩阵和值矩阵；步骤6中得到的仅包含方面词隐藏特征的基于语法距离的图卷积网络输出特征向量
Figure BDA0004059217870000115
作为注意力机制的查询矩阵。
步骤8：对步骤7中得到的经过注意力机制处理的特征向量与步骤6得到的仅包含方面词隐藏特征的基于情感极性的图卷积网络输出特征向量进行拼接融合，然后输入到分类函数，将分类函数输出结果作为目标词的情感极性预测结果。
将步骤7中得到的经过注意力机制处理的特征向量r与步骤6得到的仅包含方面词隐藏特征的基于情感极性的图卷积网络输出特征向量
Figure BDA0004059217870000116
进行拼接融合得到特征向量
Figure BDA0004059217870000117
这样即保留了语法距离特征也保留了情感极性特征。
然后将z传递给全连接的softmax分类函数，分类函数的输出是不同情感极性的概率分布。根据概率分布得到目标词的情感极性预测结果。利用反向传播实现对模型的端到端训练，其中需要最小化的目标函数Q是交叉熵误差，公式如下所示：
Figure BDA0004059217870000121
Figure BDA0004059217870000122
y＝(a，s) (20)
式中：y表示数据样本；D表示样本总数；G表示情感类别；yc(y)表示情感极性；
Figure BDA0004059217870000123
表示预测的情感极性。
本发明具体实施例提供如下实验证明：
本发明在SemEval 2014上评估方法的性能，其中包括餐厅评论(Rest14)和笔记本电脑评论(Laptop14)。本发明还在Twitter数据集上也进行了实验。数据集的统计汇总如表1公共数据集上按类标签划分的样本分布所示：
Figure BDA0004059217870000124
表1
本发明进行的一系列实验统一选择PyTorch框架来实现。选择的词向量维度为300，批处理次数为32，学习率为0.01，优化器选择Adam，Bi-GRU和图卷积的Dropout分别是0.3和0.01，词向量维度、语法关系维度和位置维度都设为30。
将本发明提出的方法与基准数据集上的其他方法进行了比较，本发明考虑的方法包括：Sentic-GCN主要利用情感词典完成分类任务；R-GAT通过修剪依存树，重塑了一个以方面为基础的依存树，使用关系图注意力编码树结构；ASGCN使用图卷积网络处理依存关系，利用句间句法依存结构来解决长期依存问题；Repwalk提出一种新型神经网络，使用多路径语法图，并在图上进行随机游走策略；CDT提出卷积依赖模型，识别句中特定方面的词语情感，将依存树与图卷积融合进行表征学习，对比结果如表2不同方法对比实验所示：
Figure BDA0004059217870000131
表2
从表中可知，使用情感词典或者对句法依存树进行改进的图卷积模型都有着不错的效果，但本发明同时结合语法距离并引入情感极性标签和情感极性值，相比于使用单通道的模型，双通道网络通过两种不同的图卷积操作更好地获取到侧重于语法距离特征和情感极性特征两种信息，对情感分析任务的提升有着一定的帮助。
为了研究影响方法分类效果的独立因素，本发明设置了几组消融实验，考虑的因素包括：语法距离权重增强图、情感极性结构图、词性-位置混合编码以及它们之间的组合。M-G为仅去掉语法距离权重增强图的单通道网络；M-S为仅去掉情感极性结构图的单通道图卷积网络；M-GS为去掉语法距离权重增强图和情感极性结构图，仅采用普通句法依存树的单通道图卷积网络；M-N为仅去掉词性特征；M-P为仅去掉物理距离特征；M-PN为去掉词性-位置混合编码，消融实验结果如表3消融实验所示：
Figure BDA0004059217870000141
表3
通过实验结果可以发现，去掉任何一种都会使方法的准确率A和宏F1值下降，这表明词性编码和物理距离编码的融合以及采用双通道网络结合语法距离和情感极性知识的有效性。这主要是因为HCDC-GCN方法融合了更多的特征信息。
为了更好地研究GCN层数L的有效性，GCN层数分别设置为L＝{1,2,3,4,5}。在公共数据集上的准确率A和宏F1值分别如附图6和附图7所示。
通过实验结果可以发现，首先随着L的增大性能有所提高，然后逐渐下降。当HCDC-GCN在网络层数L＝2时达到了最佳的性能。L层GCN模型可以捕获L步内邻居的信息。三步内的节点就足以完成这个任务，层数太多会给模型引入噪声。
综上所述，本发明提出了一种基于混合编码和双通道GCN的方面级情感分析方法，结合了语义、关系类型、词性、物理距离，语法距离和情感极性知识。首先在句子线性结构上结合了物理距离特征与词性特征来去除噪声，实验证明混合编码提升了方法的分类效果。然后从语法层面构建了语法距离权重增强图，从情感知识层面构建了情感极性结构图，最后采用双通道图卷积网络将二者结合，这使得方面词与上下文能够更准确的匹配。实验结果验证了本发明提出的方法在方面级情感分析领域的有效性。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (5)

1.一种基于混合权重和双通道图卷积的方面级情感分析方法，其特征在于，包括如下步骤：
步骤1：将句子中的每个词生成向量表示；
步骤2：将句子中的每个单词的词性、语法关系和位置融入到每个词的向量表示中；
步骤3：基于步骤2获取的每个词的向量表示，利用Bi-GRU模型获取每个词的上下文信息，其中上下文信息包括：方面词的上下文信息；
步骤4：获取句子中每个方面词的上下文词相对方面词的词性-距离混合权重；
步骤5：构建双通道图卷积网络，双通道图卷积网络分别对句子的语法距离权重增强图和情感极性结构图进行卷积操作，得到基于语法距离的图卷积网络输出特征向量以及基于情感极性的图卷积网络输出特征向量；
其中，语法距离权重增强图是在句法依存树的基础上加入语法距离；
情感极性结构图是在句法依存树的基础上加入情感极性标签和情感极性值；
步骤6：将步骤5中获得的两个特征向量分别进行方面掩码，得到仅包含方面词隐藏特征的特征向量；
步骤7：将步骤6中得到的仅包含方面词隐藏特征的基于语法距离的图卷积网络输出特征向量和步骤3中方面词的上下文信息通过注意力机制进行注意力权重分配，得到经过注意力机制处理的特征向量；其中，步骤3中方面词的上下文信息作为注意力机制的键矩阵和值矩阵，步骤6中得到的仅包含方面词隐藏特征的基于语法距离的图卷积网络输出特征向量作为注意力机制的查询矩阵；
步骤8：对步骤7中得到的经过注意力机制处理的特征向量与步骤6得到的仅包含方面词隐藏特征的基于情感极性的图卷积网络输出特征向量进行拼接融合，然后输入到分类函数，将分类函数输出结果作为目标词的情感极性预测结果。
2.如权利要求1所示的基于混合权重和双通道图卷积的方面级情感分析方法，其特征在于，所述步骤2的具体过程为：
先将句子的每个单词的词性、语法关系和位置映射到低维、连续、稠密空间后得到词性嵌入、语法关系嵌入和位置嵌入，然后将词性嵌入、语法关系嵌入和位置嵌入融入到每个词的向量表示中完成融入过程。
3.如权利要求1所示的基于混合权重和双通道图卷积的方面级情感分析方法，其特征在于，所述步骤4的具体过程为：
获取当前的方面词与当前的方面词对应的每个上下文词的物理距离，根据物理距离从近至远对每个上下文词赋予从高至低的物理距离权重；
获取当前的方面词与当前的方面词对应的每个上下文词中的形容词，对形容词赋予高权重的词性权重，对其他词的词性权重赋予零；
将当前的方面词对应的每个上下文词的物理距离权重与词性权重相加得到当前的方面词对应的每个上下文词的词性-距离混合权重。
4.如权利要求1或3所示的基于混合权重和双通道图卷积的方面级情感分析方法，其特征在于，所述步骤4中还包括获取当前的方面词与当前的方面词对应的每个上下文词中冠词，对形容词赋予高权重的词性权重，对冠词赋予低权重的词性权重，对其他词的词性权重赋予零。
5.如权利要求1所示的基于混合权重和双通道图卷积的方面级情感分析方法，其特征在于，所述步骤5中对双通道图卷积网络对句子的语法距离权重增强图进行卷积操作时，包括：
对双通道图卷积网络中基于语法距离的图卷积网络当前卷积的输出，与向量表示的词性-距离混合权重进行加权作为下次卷积的输入。
CN202310053263.8A 2023-02-03 2023-02-03 一种基于混合权重和双通道图卷积的方面级情感分析方法 Pending CN116340507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310053263.8A CN116340507A (zh) 2023-02-03 2023-02-03 一种基于混合权重和双通道图卷积的方面级情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310053263.8A CN116340507A (zh) 2023-02-03 2023-02-03 一种基于混合权重和双通道图卷积的方面级情感分析方法

Publications (1)

Publication Number Publication Date
CN116340507A true CN116340507A (zh) 2023-06-27

Family

ID=86881161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310053263.8A Pending CN116340507A (zh) 2023-02-03 2023-02-03 一种基于混合权重和双通道图卷积的方面级情感分析方法

Country Status (1)

Country Link
CN (1) CN116340507A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117592460A (zh) * 2024-01-17 2024-02-23 西安邮电大学 一种基于特征融合的端到端方面级情感分析方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117592460A (zh) * 2024-01-17 2024-02-23 西安邮电大学 一种基于特征融合的端到端方面级情感分析方法

Similar Documents

Publication Publication Date Title
CN111241294B (zh) 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN112989005B (zh) 一种基于分阶段查询的知识图谱常识问答方法及系统
CN111931506B (zh) 一种基于图信息增强的实体关系抽取方法
US9218390B2 (en) Query parser derivation computing device and method for making a query parser for parsing unstructured search queries
US7035789B2 (en) Supervised automatic text generation based on word classes for language modeling
CN112215013B (zh) 一种基于深度学习的克隆代码语义检测方法
US11113470B2 (en) Preserving and processing ambiguity in natural language
CN110879834B (zh) 一种基于循环卷积网络的观点检索系统及其观点检索方法
CN107818141A (zh) 融入结构化要素识别的生物医学事件抽取方法
CN117076653B (zh) 基于思维链及可视化提升上下文学习知识库问答方法
CN112926337B (zh) 一种结合重构句法信息的端到端方面级情感分析方法
CN113590784A (zh) 三元组信息抽取方法、装置、电子设备、及存储介质
CN110782892A (zh) 语音文本纠错方法
Zhu et al. Catslu: The 1st chinese audio-textual spoken language understanding challenge
Wang et al. Mongolian named entity recognition with bidirectional recurrent neural networks
CN111666374A (zh) 一种在深度语言模型中融入额外知识信息的方法
CN116340507A (zh) 一种基于混合权重和双通道图卷积的方面级情感分析方法
CN114742016A (zh) 一种基于多粒度实体异构图的篇章级事件抽取方法及装置
CN114398900A (zh) 一种基于RoBERTa模型的长文本语义相似度计算方法
CN111382333B (zh) 基于案件相关性联合学习与图卷积的新闻文本句中案件要素抽取方法
CN113111136B (zh) 一种基于ucl知识空间的实体消歧方法及装置
CN111159405B (zh) 基于背景知识的讽刺检测方法
CN110472243B (zh) 一种中文拼写检查方法
Wang et al. End-to-end relation extraction using graph convolutional network with a novel entity attention
CN113869058A (zh) 基于lc-gcn方面级情感分析方法、系统、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination