CN112667818B - 融合gcn与多粒度注意力的用户评论情感分析方法及系统 - Google Patents

融合gcn与多粒度注意力的用户评论情感分析方法及系统 Download PDF

Info

Publication number
CN112667818B
CN112667818B CN202110001581.0A CN202110001581A CN112667818B CN 112667818 B CN112667818 B CN 112667818B CN 202110001581 A CN202110001581 A CN 202110001581A CN 112667818 B CN112667818 B CN 112667818B
Authority
CN
China
Prior art keywords
vector
word
user
user comment
comment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110001581.0A
Other languages
English (en)
Other versions
CN112667818A (zh
Inventor
陈羽中
庄天豪
万宇杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110001581.0A priority Critical patent/CN112667818B/zh
Publication of CN112667818A publication Critical patent/CN112667818A/zh
Application granted granted Critical
Publication of CN112667818B publication Critical patent/CN112667818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

本发明涉及一种融合GCN与多粒度注意力的用户评论情感分析方法，包括以下步骤：步骤A：提取用户评论、用户评论涉及的产品或服务的方面词，并标注用户评论针对产品或服务的的特定方面的情感极性，构建训练集SA；步骤B：使用训练集SA，训练融合GCN与多粒度注意力的深度学习网络模型G，用于分析用户评论对产品或服务的特定方面的情感记性；步骤C：将用户评论与用户评论涉及的产品或服务的方面词输入到训练后的深度学习网络模型G中，得到用户评论对产品或服务的特定方面的情感极性。本发明能够有效提高情感分类的准确性。

Description

融合GCN与多粒度注意力的用户评论情感分析方法及系统
技术领域
本发明涉及自然语言处理与情感分析应用领域，具体涉及一种融合GCN与多粒度注意力的用户评论情感分析方法及系统。
背景技术
情感分析(Sentiment Analysis，SA)，又被称为观点挖掘，是自然语言处理中文本分类任务的一项基本任务，其基本目标是从文本中识别观点，分析其情感倾向性。随着网络购物和网络社交媒体的兴起，互联网上的评论文本数量急剧增加，人们对情感分析的分类粒度要求也越来越高，原有的文档级、句子级情感分析已经无法满足社会需要。因此，研究者们提出了细粒度的方面级情感分析任务。方面级情感分析是情感分析的一项子任务，现有的方面级情感分析模型主要分为基于传统机器学习和基于深度学习。
在深度学习兴起之前，基于传统机器学习的方面级情感分析模型依靠人为定义的规则从句子中提取语义特征，例如情感词典特征，解析特征和n-gram特征。然后，采用支持向量机(Support Vector Machine，SVM)、隐狄利克雷分布(Latent DirichletAllocation，LDA)和条件随机场(Conditional Random Field，CRF)等传统机器学习方法作为分类器，以确定评论文本的情感极性。但是，上述模型需要人工进行复杂的特征选择和特征提取工作，工作量大，并且效率较低。
近年来，深度学习方法在包括方面级情感分析在内的众多领域获得了广泛的应用。深度学习方法无需人工进行繁琐的特征提取和特征选择工作，可以自动从文本中提取上下文语义信息。循环神经网络(Recurrent Neural Network，RNN)可以对给定方面与上下文单词之间的相关性进行建模，这对于预测给定方面的情感极性至关重要。因此，RNN被广泛应用于方面级情感分析研究中。Wang等将方面向量与每个单词的词向量串联并作为长短期记忆网络(Long Short-Term Memory，LSTM)的输入，使方面向量能够参与计算每个上下文单词的注意力权重。Ma等利用LSTM和注意力机制交互学习方面及其上下文单词的注意力权重，以获得每个方面及其上下文的精确表示，从而有效地区分句子中不同方面的情感极性。相较于基于传统机器学习的方面级情感分析模型，现有的基于RNN的情感分析模型能够更有效地对方面相关的上下文情感表示进行建模，但仍存在捕获方面相关的远距离语义特征能力较弱的问题。
与传统的RNN相比，记忆网络(Memory Network)通过外部记忆模块存储文本信息，能更有效地对方面和上下文之间的远距离关系进行建模。Tang等率先将深度记忆网络引入了方面级情感分析任务，所提模型将预训练的上下文单词的词向量作为外部记忆模块，并采用了多个注意力层学习方面级上下文表示，其中每个注意力层包含一个注意力机制和一个线性变换操作。Chen等通过两层Bi-LSTM来利用输入的词向量建立外部记忆模块，并利用位置权重信息为每个方面生成特定记忆。Zhu等提出了一种带有辅助记忆的深度记忆网络。该模型包含两个记忆模块，一个是主记忆模块，用于存储上下文信息；另一个是辅助记忆模块，用于存储方面信息。通过两个记忆模块的交互，该模型可以更好地利用方面信息进行情感分类。
句法依存关系代表了句子中单词之间的依赖关系，对于正确判断方面的情感极性至关重要。RNN、记忆网络和注意力机制都无法利用句法依存关系，而图神经网络(GraphNeural Networks，GNN)能够获取句法依存关系并加以利用。因此，最近出现了一些基于GNN的方面级情感分析研究工作。Hang等使用Bi-LSTM对句子编码，然后利用图注意力网络(Graph Attention Network，GAT)提取上下文单词之间的依赖关系。Zhang等将图卷积网络(Graph Convolutional Network，GCN)与注意力机制结合在一起，以获取上下文单词与给定方面之间的语义相关性。现有基于GNN的模型没有使用注意力机制或者只是简单的使用传统的注意力机制，没有根据模型存在的问题设计具有针对性的注意力机制，因此难以精确捕捉上下文单词相对于给定方面的重要性。
发明内容
有鉴于此，本发明的目的在于提供一种融合GCN与多粒度注意力的用户评论情感分析方法及系统，有效提高情感分类的准确性。
为实现上述目的，本发明采用如下技术方案：
一种融合GCN与多粒度注意力的用户评论情感分析方法，包括以下步骤：
步骤A：提取用户评论、用户评论涉及的产品或服务的方面词，并标注用户评论针对产品或服务的的特定方面的情感极性，构建训练集SA；
步骤B：使用训练集SA，训练融合GCN与多粒度注意力的深度学习网络模型G，用于分析用户评论对产品或服务的特定方面的情感记性；
步骤C：将用户评论与用户评论涉及的产品或服务的方面词输入到训练后的深度学习网络模型G中，得到用户评论对产品或服务的特定方面的情感极性。
进一步的，所述步骤B具体包括以下步骤：
步骤B1：对训练集SA中的每个训练样本进行编码，得到用户评论的初始表征向量
Figure BDA0002881586640000041
方面的初始表征向量
Figure BDA0002881586640000042
以及句法依存邻接矩阵A；
步骤B2：将步骤B1得到的初始表征向量
Figure BDA0002881586640000043
和
Figure BDA0002881586640000044
分别输入到两个不同的双向长短期记忆网络中，得到用户评论表征向量Hs和方面表征向量Ha；
步骤B3：对Ha进行平均池化得到方面表征向量
Figure BDA0002881586640000045
对Hs进行位置权重加权，得到位置感知的用户评论表征向量
Figure BDA0002881586640000046
连接
Figure BDA0002881586640000047
与
Figure BDA0002881586640000048
得到表征向量g0；
步骤B4：将表征向量g0输入到K层图卷积网络中，学习并提取句法依存关系，得到用户评论的图卷积表征向量hK；
步骤B5：对用户评论的图卷积表征向量hK进行掩膜操作，得到用户评论的图卷积掩膜表征向量hmask，将用户评论的图卷积掩膜表征向量hmask、用户评论表征向量Hs、方面表征向量Ha输入由传统注意力机制和多头注意力机制组成的多粒度注意力网络中，从用户评论中提取针对产品或服务的特定方面的多粒度上下文情感信息，得到用户评论的方面级多粒度表征向量es；
步骤B6：将es输入softmax层，根据目标损失函数loss，利用反向传播方法计算深度学习网络模型G中的各参数的梯度，并利用随机梯度下降方法更新参数；
步骤B7：当深度学习网络模型G产生的损失值迭代变化小于设定阈值不再降低或者达到最大迭代次数，终止深度学习网络模型G的训练。
进一步的，所述步骤B1具体包括以下步骤：
步骤B11：遍历训练集SA，SA中的每个训练样本表示为sa＝(s,a,c)，对训练样本sa中的s和a进行分词处理，去除停用词；
其中s为用户评论，a为用户评论中提取的用户评论所涉及的产品或服务的方面词或短语，c为用户评论对该方面的情感极性，情感极性包括{积极,消极,中性}；
用户评论s经过分词及去除停用词后，表示为：
Figure BDA0002881586640000051
其中，
Figure BDA0002881586640000061
为用户评论s经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,n，n为评论s经过分词及去除停用词后剩余的词语数量；
方面a经过分词及去除停用词后，表示为：
Figure BDA0002881586640000062
其中，
Figure BDA0002881586640000063
为方面a经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,m,m为方面a经过分词及去除停用词后剩余的词语数量；
步骤B12：对步骤B11得到的经过分词及去除停用词后的用户评论
Figure BDA0002881586640000064
进行编码，得到用户评论s的初始表征向量
Figure BDA0002881586640000065
其中，
Figure BDA0002881586640000066
表示为：
Figure BDA0002881586640000067
其中，
Figure BDA0002881586640000068
为第i个词
Figure BDA0002881586640000069
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA00028815866400000610
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B13：对步骤B11得到的经过分词及去除停用词后的方面
Figure BDA00028815866400000611
进行编码，得到方面a的初始表征向量
Figure BDA00028815866400000612
Figure BDA00028815866400000613
其中，
Figure BDA00028815866400000614
表示第i个词
Figure BDA00028815866400000615
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA00028815866400000616
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B14：对用户评论s进行句法依存解析，得到句法依赖树T；
Figure BDA0002881586640000071
其中，
Figure BDA0002881586640000072
表示词wi和词wj之间存在句法依存关系；
步骤B15：将解析得到的句法依赖树T编码为n阶邻接矩阵A，A表示为：
Figure BDA0002881586640000073
其中，Aij为1表示词
Figure BDA0002881586640000074
和词
Figure BDA0002881586640000075
之间存在句法依存关系，Aij为0表示词
Figure BDA0002881586640000076
和词
Figure BDA0002881586640000077
之间不存在句法依存关系。
进一步的，所述步骤B2具体包括以下步骤：
步骤B21：将构成用户评论s的初始表征向量
Figure BDA0002881586640000078
的序列
Figure BDA0002881586640000079
依次输入第一个双向长短期记忆网络的前向层，得到前向隐层状态向量序列
Figure BDA00028815866400000710
其中
Figure BDA00028815866400000711
f为激活函数；
步骤B22：将
Figure BDA00028815866400000712
依次输入第一个双向长短期记忆网络的反向层，得到反向隐层状态向量序列
Figure BDA00028815866400000713
其中
Figure BDA00028815866400000714
f为激活函数；
步骤B23：将第一个双向长短期记忆网络输出的前向与反向隐层状态向量序列进行连接并转置，得到用户评论表征向量
Figure BDA00028815866400000715
Figure BDA00028815866400000716
为前向隐层状态向量
Figure BDA00028815866400000717
与反向隐层状态向量
Figure BDA00028815866400000718
的连接，“；”表示向量连接操作；
步骤B24：将构成方面a的初始表征向量
Figure BDA0002881586640000081
的序列
Figure BDA0002881586640000082
依次输入第二个双向长短期记忆网络的前向层，得到前向隐层状态向量序列
Figure BDA0002881586640000083
其中
Figure BDA0002881586640000084
f为激活函数；
步骤B25：将
Figure BDA0002881586640000085
依次输入第二个双向长短期记忆网络的反向层，得到反向隐层状态向量序列
Figure BDA0002881586640000086
其中
Figure BDA0002881586640000087
f为激活函数；
步骤B26：将第二个双向长短期记忆网络输出的前向与反向隐层状态向量序列进行连接并转置，得到方面表征向量Ha，
Figure BDA0002881586640000088
Figure BDA0002881586640000089
为前向隐层状态向量
Figure BDA00028815866400000810
与反向隐层状态向量
Figure BDA00028815866400000811
的连接，“；”表示向量连接操作。
进一步的，所述步骤B3具体包括以下步骤：
步骤B31：对方面表征向量Ha进行平均池化以获取方面表征向量
Figure BDA00028815866400000812
其计算公式如下：
Figure BDA00028815866400000813
其中，
Figure BDA00028815866400000814
步骤B32：对用户评论表征向量Hs进行位置权重加权，得到用户评论的位置感知的表征向量
Figure BDA00028815866400000815
Figure BDA00028815866400000816
表示为：
Figure BDA00028815866400000817
其中，
Figure BDA0002881586640000091
为用户评论s中第i个词对应的位置感知表征向量，“·”表示向量与实数的数乘，
Figure BDA0002881586640000092
为用户评论s中第i个词
Figure BDA0002881586640000093
所对应的位置权重，其计算方式如下：
Figure BDA0002881586640000094
其中，i＝1,2,...,n表示当前词的在句中的位置，
Figure BDA0002881586640000095
表示方面a的第一个词在用户评论s中的位置，
Figure BDA0002881586640000096
表示方面a的最后一个词在用户评论s中的位置；
步骤B33：将步骤B31得到的方面表征向量
Figure BDA0002881586640000097
与步骤B32得到的
Figure BDA0002881586640000098
进行连接，得到表征向量g0，
Figure BDA0002881586640000099
表示为：
Figure BDA00028815866400000910
其中，
Figure BDA00028815866400000911
为与用户评论s中第i个词相对应的输入到图卷积网络中的表征向量，i＝1,2,...,n，
Figure BDA00028815866400000912
表示为：
Figure BDA00028815866400000913
其中，
Figure BDA00028815866400000914
“；”表示向量连接操作。
进一步的，所述步骤B4具体包括以下步骤：
步骤B41：将表征向量g0输入第一层图卷积网络，利用邻接矩阵A对每个词语的向量表示进行更新，输出h1，并生成下一层图卷积网络的输入g1；
其中，h1，g1分别表示为：
Figure BDA00028815866400000915
Figure BDA00028815866400000916
其中
Figure BDA0002881586640000101
表示为：
Figure BDA0002881586640000102
其中，
Figure BDA0002881586640000103
是第1层图卷积网络中节点i的输出，
Figure BDA0002881586640000104
的计算公式如下：
Figure BDA0002881586640000105
Figure BDA0002881586640000106
其中，
Figure BDA0002881586640000107
为权重矩阵，
Figure BDA0002881586640000108
为偏置项；W1、b1均为可学习的参数；relu是激活函数；图卷积网络中的节点i与用户评论中的第i个词
Figure BDA0002881586640000109
相对应，图卷积网络中节点间的边代表用户评论中词语间的句法依赖关系，di表示节点i的度，选择di+1作为除数是为了防止节点i的度为0导致运算出错，“；”表示向量连接操作；
步骤B42：以g1代替g0输入到下一层图卷积网络，重复步骤B41，其中第k层图卷积网络的输出为
Figure BDA00028815866400001010
根据hk生成
Figure BDA00028815866400001011
作为第k+1层图卷积网络的输入，迭代结束后得到用户评论的图卷积表征向量
Figure BDA00028815866400001012
其中K为图卷积网络的层数，1≤k≤K。
进一步的，所述步骤B5具体包括以下步骤：
步骤B51：对步骤B42得到的hK进行掩膜操作，屏蔽不属于方面词的图卷积输出，得到用户评论的图卷积掩膜表征向量hmask，计算过程如下：
Figure BDA00028815866400001013
其中，0表示维度为2d的零向量，
Figure BDA0002881586640000111
表示方面的第一个词在评论句子中的位置，
Figure BDA0002881586640000112
表示方面的第一个词对应的表征向量，
Figure BDA0002881586640000113
表示方面的最后一个词对应的表征向量；
步骤B52：将步骤B23得到的用户评论表征向量Hs和步骤B51得到的用户评论的图卷积掩膜表征向量hmask输入注意力网络，自适应选择重要的单词级信息，之后进行降维，得到用户评论的句子级表征向量ew，计算公式如下
Figure BDA0002881586640000114
Figure BDA0002881586640000115
Figure BDA0002881586640000116
其中，
Figure BDA0002881586640000117
(·)T表示转置操作，αi是用户评论s中第i个词的注意力权重；
步骤B53：将方面表征向量Ha作为多头注意力机制的输入，通过多头注意力机制从用户评论的句子级表征向量ew中自适应选择重要的句子级信息，降维后得到用户评论的多粒度表征向量es。
进一步的，所述步骤B53具体为：
首先选择能够整除d的整数N，将方面表征向量Ha和用户评论的句子级表征向量ew在最后一个维度上平均切分成N个子向量，得到子向量序列
Figure BDA0002881586640000118
和
Figure BDA0002881586640000119
其中
Figure BDA00028815866400001110
是方面向量Ha的第h个子向量，
Figure BDA00028815866400001111
是用户评论的句子级表征向量ew的第h个子向量；
接着将方面向量Ha的每个子向量和用户评论的句子级表征向量ew中对应的子向量构成一个子向量对，即
Figure BDA0002881586640000121
对每个子向量对单独使用注意力机制进行计算，然后进行拼接与降维，N为多头注意力机制的头数，多头注意力机制的计算过程如下
Figure BDA0002881586640000122
Figure BDA0002881586640000123
Figure BDA0002881586640000124
其中，
Figure BDA0002881586640000125
为多头注意力机制的输出向量，MHA表示多头注意力机制，
Figure BDA0002881586640000126
为多头注意力机制的训练参数；
Figure BDA0002881586640000127
为方面表征向量Ha的第h个子向量
Figure BDA0002881586640000128
和句子级表征向量ew的第h个子向量对
Figure BDA0002881586640000129
使用注意力机制计算得到的输出向量，
Figure BDA00028815866400001210
Figure BDA00028815866400001211
Figure BDA00028815866400001212
为对
Figure BDA00028815866400001213
进行降维后得到的用户评论的多粒度表征向量；
Figure BDA00028815866400001214
是m行，2d列的二维向量，将其划分为m个行向量，则
Figure BDA00028815866400001215
表示
Figure BDA00028815866400001216
的第i个行向量，其中1≤i≤m。
进一步的，所述步骤B6具体包括以下步骤：
步骤B61：产品评论的多粒度表征向量es输入到全连接层，并使用softmax归一化，计算评论者对产品方面的情感属于各类别的概率，计算公式如下：
y＝W3es+b2
pc(y)＝softmax(y)
其中，y是全连接层的输出向量，
Figure BDA0002881586640000131
为全连接层权重矩阵，
Figure BDA0002881586640000132
为全连接层的偏置项，pc(y)是预测该产品方面对应的情感为类别c的概率，0≤pc(y)≤1，c∈C＝{积极，消极，中性}；
步骤B62：用交叉熵作为损失函数计算损失值，通过梯度优化算法Adam进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；
其中，最小化损失函数Loss的计算公式如下：
Figure BDA0002881586640000133
其中，λ||θ||2是L2正则化项，λ是学习率，θ包含所有参数，c为该方面对应的情感极性。
一种采用如权利要求1-8任一项所述方法的用户评论情感分析系统，包括：
数据收集模块，用于提取用户的产品评论、评论中产品方面词、产品方面词的位置信息，并对产品方面的情感极性进行标注，构建训练集；
预处理模块，用于对训练集中的训练样本进行预处理，包括分词处理、去除停用词和句法依存关系解析；
编码模块，用于在预训练的词向量矩阵中查找经过预处理的用户评论和方面中词的词向量，得到用户评论的初始表征向量和方面的初始表征向量；
网络训练模块，用于将用户评论的初始表征向量和方面的初始表征向量输入到深度学习网络中，得到用户评论的多粒度表征向量并以此训练深度学习网络，利用该表征向量属于某一类别的概率以及训练集中的标注作为损失，以最小化损失为目标来对整个深度学习网络进行训练，得到融合图卷积网络与多粒度注意力的深度学习网络模型；
情感分析模块，利用NLP工具，提取输入的用户评论中的方面，之后利用训练好的融合图卷积网络与多粒度注意力的深度学习网络模型对输入的用户评论和方面进行分析处理，输出用户评论中涉及特定方面的情感评价极性。
本发明与现有技术相比具有以下有益效果：
本发明使用两个不同的Bi-LSTM对评论句子和产品方面分别编码，然后利用位置信息对评论句子表示进行位置加权并通过GCN学习评论句子中句法依存关系，最后利用多粒度注意力机制提取不同粒度的上下文重要信息以增强情感表示的，能够有效提高情感分类的准确性。
附图说明
图1是本发明方法流程图；
图2是本发明一实施例中系统结构示意图；
图3是本发明一实施例中模型架构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种融合GCN与多粒度注意力的用户评论情感分析方法，包括以下步骤：
步骤A：提取用户评论、用户评论涉及的产品或服务的方面词，并标注用户评论针对产品或服务的的特定方面的情感极性，构建训练集SA；
步骤B：使用训练集SA，训练融合GCN与多粒度注意力的深度学习网络模型G，用于分析用户评论对产品或服务的特定方面的情感记性；
步骤C：将用户评论与用户评论涉及的产品或服务的方面词输入到训练后的深度学习网络模型G中，得到用户评论对产品或服务的特定方面的情感极性。
在本实施例中，所述步骤B具体包括以下步骤：
步骤B1：对训练集SA中的每个训练样本进行编码，得到用户评论的初始表征向量
Figure BDA0002881586640000151
方面的初始表征向量
Figure BDA0002881586640000152
以及句法依存邻接矩阵A；
步骤B2：将步骤B1得到的初始表征向量
Figure BDA0002881586640000153
和
Figure BDA0002881586640000154
分别输入到两个不同的双向长短期记忆网络中，得到用户评论表征向量Hs和方面表征向量Ha；
步骤B3：对Ha进行平均池化得到方面表征向量
Figure BDA0002881586640000155
对Hs进行位置权重加权，得到位置感知的用户评论表征向量
Figure BDA0002881586640000156
连接
Figure BDA0002881586640000157
与
Figure BDA0002881586640000158
得到表征向量g0；
步骤B4：将表征向量g0输入到K层图卷积网络中，学习并提取句法依存关系，得到用户评论的图卷积表征向量hK；
步骤B5：对用户评论的图卷积表征向量hK进行掩膜操作，得到用户评论的图卷积掩膜表征向量hmask，将用户评论的图卷积掩膜表征向量hmask、用户评论表征向量Hs、方面表征向量Ha输入由传统注意力机制和多头注意力机制组成的多粒度注意力网络中，从用户评论中提取针对产品或服务的特定方面的多粒度上下文情感信息，得到用户评论的方面级多粒度表征向量es；
步骤B6：将es输入softmax层，根据目标损失函数loss，利用反向传播方法计算深度学习网络模型G中的各参数的梯度，并利用随机梯度下降方法更新参数；
步骤B7：当深度学习网络模型G产生的损失值迭代变化小于设定阈值不再降低或者达到最大迭代次数，终止深度学习网络模型G的训练。
在本实施例中，所述步骤B1具体包括以下步骤：
步骤B11：遍历训练集SA，SA中的每个训练样本表示为sa＝(s,a,c)，对训练样本sa中的s和a进行分词处理，去除停用词；
其中s为用户评论，a为用户评论中提取的用户评论所涉及的产品或服务的方面词或短语，c为用户评论对该方面的情感极性，情感极性包括{积极,消极,中性}；
用户评论s经过分词及去除停用词后，表示为：
Figure BDA0002881586640000161
其中，
Figure BDA0002881586640000171
为用户评论s经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,n，n为评论s经过分词及去除停用词后剩余的词语数量；
方面a经过分词及去除停用词后，表示为：
Figure BDA0002881586640000172
其中，
Figure BDA0002881586640000173
为方面a经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,m,m为方面a经过分词及去除停用词后剩余的词语数量；
步骤B12：对步骤B11得到的经过分词及去除停用词后的用户评论
Figure BDA0002881586640000174
进行编码，得到用户评论s的初始表征向量
Figure BDA0002881586640000175
其中，
Figure BDA0002881586640000176
表示为：
Figure BDA0002881586640000177
其中，
Figure BDA0002881586640000178
为第i个词
Figure BDA0002881586640000179
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA00028815866400001710
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B13：对步骤B11得到的经过分词及去除停用词后的方面
Figure BDA00028815866400001711
进行编码，得到方面a的初始表征向量
Figure BDA00028815866400001712
Figure BDA00028815866400001713
其中，
Figure BDA00028815866400001714
表示第i个词
Figure BDA00028815866400001715
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA00028815866400001716
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B14：对用户评论s进行句法依存解析，得到句法依赖树T；
Figure BDA0002881586640000181
其中，
Figure BDA0002881586640000182
表示词wi和词wj之间存在句法依存关系；
步骤B15：将解析得到的句法依赖树T编码为n阶邻接矩阵A，A表示为：
Figure BDA0002881586640000183
其中，Aij为1表示词
Figure BDA0002881586640000184
和词
Figure BDA0002881586640000185
之间存在句法依存关系，Aij为0表示词
Figure BDA0002881586640000186
和词
Figure BDA0002881586640000187
之间不存在句法依存关系。
在本实施例中，所述步骤B2具体包括以下步骤：
步骤B21：将构成用户评论s的初始表征向量
Figure BDA0002881586640000188
的序列
Figure BDA0002881586640000189
依次输入第一个双向长短期记忆网络的前向层，得到前向隐层状态向量序列
Figure BDA00028815866400001810
其中
Figure BDA00028815866400001811
f为激活函数；
步骤B22：将
Figure BDA00028815866400001812
依次输入第一个双向长短期记忆网络的反向层，得到反向隐层状态向量序列
Figure BDA00028815866400001813
其中
Figure BDA00028815866400001814
f为激活函数；
步骤B23：将第一个双向长短期记忆网络输出的前向与反向隐层状态向量序列进行连接并转置，得到用户评论表征向量
Figure BDA00028815866400001815
Figure BDA00028815866400001816
为前向隐层状态向量
Figure BDA00028815866400001817
与反向隐层状态向量
Figure BDA00028815866400001818
的连接，“；”表示向量连接操作；
步骤B24：将构成方面a的初始表征向量
Figure BDA0002881586640000191
的序列
Figure BDA0002881586640000192
依次输入第二个双向长短期记忆网络的前向层，得到前向隐层状态向量序列
Figure BDA0002881586640000193
其中
Figure BDA0002881586640000194
f为激活函数；
步骤B25：将
Figure BDA0002881586640000195
依次输入第二个双向长短期记忆网络的反向层，得到反向隐层状态向量序列
Figure BDA0002881586640000196
其中
Figure BDA0002881586640000197
f为激活函数；
步骤B26：将第二个双向长短期记忆网络输出的前向与反向隐层状态向量序列进行连接并转置，得到方面表征向量Ha，
Figure BDA0002881586640000198
Figure BDA0002881586640000199
为前向隐层状态向量
Figure BDA00028815866400001910
与反向隐层状态向量
Figure BDA00028815866400001911
的连接，“；”表示向量连接操作。
在本实施例中，所述步骤B3具体包括以下步骤：
步骤B31：对方面表征向量Ha进行平均池化以获取方面表征向量
Figure BDA00028815866400001912
其计算公式如下：
Figure BDA00028815866400001913
其中，
Figure BDA00028815866400001914
步骤B32：对用户评论表征向量Hs进行位置权重加权，得到用户评论的位置感知的表征向量
Figure BDA00028815866400001915
Figure BDA00028815866400001916
表示为：
Figure BDA00028815866400001917
其中，
Figure BDA0002881586640000201
为用户评论s中第i个词对应的位置感知表征向量，“·”表示向量与实数的数乘，
Figure BDA0002881586640000202
为用户评论s中第i个词
Figure BDA0002881586640000203
所对应的位置权重，其计算方式如下：
Figure BDA0002881586640000204
其中，i＝1,2,...,n表示当前词的在句中的位置，
Figure BDA0002881586640000205
表示方面a的第一个词在用户评论s中的位置，
Figure BDA0002881586640000206
表示方面a的最后一个词在用户评论s中的位置；
步骤B33：将步骤B31得到的方面表征向量
Figure BDA0002881586640000207
与步骤B32得到的
Figure BDA0002881586640000208
进行连接，得到表征向量g0，
Figure BDA0002881586640000209
表示为：
Figure BDA00028815866400002010
其中，
Figure BDA00028815866400002011
为与用户评论s中第i个词相对应的输入到图卷积网络中的表征向量，i＝1,2,...,n，
Figure BDA00028815866400002012
表示为：
Figure BDA00028815866400002013
其中，
Figure BDA00028815866400002014
“；”表示向量连接操作。
在本实施例中，所述步骤B4具体包括以下步骤：
步骤B41：将表征向量g0输入第一层图卷积网络，利用邻接矩阵A对每个词语的向量表示进行更新，输出h1，并生成下一层图卷积网络的输入g1；
其中，h1，g1分别表示为：
Figure BDA00028815866400002015
Figure BDA00028815866400002016
其中
Figure BDA0002881586640000211
表示为：
Figure BDA0002881586640000212
其中，
Figure BDA0002881586640000213
是第1层图卷积网络中节点i的输出，
Figure BDA0002881586640000214
的计算公式如下：
Figure BDA0002881586640000215
Figure BDA0002881586640000216
其中，
Figure BDA0002881586640000217
为权重矩阵，
Figure BDA0002881586640000218
为偏置项；W1、b1均为可学习的参数；relu是激活函数；图卷积网络中的节点i与用户评论中的第i个词
Figure BDA0002881586640000219
相对应，图卷积网络中节点间的边代表用户评论中词语间的句法依赖关系，di表示节点i的度，选择di+1作为除数是为了防止节点i的度为0导致运算出错，“；”表示向量连接操作；
步骤B42：以g1代替g0输入到下一层图卷积网络，重复步骤B41，其中第k层图卷积网络的输出为
Figure BDA00028815866400002110
根据hk生成
Figure BDA00028815866400002111
作为第k+1层图卷积网络的输入，迭代结束后得到用户评论的图卷积表征向量
Figure BDA00028815866400002112
其中K为图卷积网络的层数，1≤k≤K。
在本实施例中，所述步骤B5具体包括以下步骤：
步骤B51：对步骤B42得到的hK进行掩膜操作，屏蔽不属于方面词的图卷积输出，得到用户评论的图卷积掩膜表征向量hmask，计算过程如下：
Figure BDA00028815866400002113
其中，0表示维度为2d的零向量，
Figure BDA0002881586640000221
表示方面的第一个词在评论句子中的位置，
Figure BDA0002881586640000222
表示方面的第一个词对应的表征向量，
Figure BDA0002881586640000223
表示方面的最后一个词对应的表征向量；
步骤B52：将步骤B23得到的用户评论表征向量Hs和步骤B51得到的用户评论的图卷积掩膜表征向量hmask输入注意力网络，自适应选择重要的单词级信息，之后进行降维，得到用户评论的句子级表征向量ew，计算公式如下
Figure BDA0002881586640000224
Figure BDA0002881586640000225
Figure BDA0002881586640000226
其中，
Figure BDA0002881586640000227
(·)T表示转置操作，αi是用户评论s中第i个词的注意力权重；
步骤B53：将方面表征向量Ha作为多头注意力机制的输入，通过多头注意力机制从用户评论的句子级表征向量ew中自适应选择重要的句子级信息，降维后得到用户评论的多粒度表征向量es。
在本实施例中，所述步骤B53具体为：
首先选择能够整除d的整数N，将方面表征向量Ha和用户评论的句子级表征向量ew在最后一个维度上平均切分成N个子向量，得到子向量序列
Figure BDA0002881586640000228
和
Figure BDA0002881586640000229
其中
Figure BDA00028815866400002210
是方面向量Ha的第h个子向量，
Figure BDA00028815866400002211
是用户评论的句子级表征向量ew的第h个子向量；
接着将方面向量Ha的每个子向量和用户评论的句子级表征向量ew中对应的子向量构成一个子向量对，即
Figure BDA0002881586640000231
对每个子向量对单独使用注意力机制进行计算，然后进行拼接与降维，N为多头注意力机制的头数，多头注意力机制的计算过程如下
Figure BDA0002881586640000232
Figure BDA0002881586640000233
Figure BDA0002881586640000234
其中，
Figure BDA0002881586640000235
为多头注意力机制的输出向量，MHA表示多头注意力机制，
Figure BDA0002881586640000236
为多头注意力机制的训练参数；
Figure BDA0002881586640000237
为方面表征向量Ha的第h个子向量
Figure BDA0002881586640000238
和句子级表征向量ew的第h个子向量对
Figure BDA0002881586640000239
使用注意力机制计算得到的输出向量，
Figure BDA00028815866400002310
Figure BDA00028815866400002311
Figure BDA00028815866400002312
为对
Figure BDA00028815866400002313
进行降维后得到的用户评论的多粒度表征向量；
Figure BDA00028815866400002314
是m行，2d列的二维向量，将其划分为m个行向量，则
Figure BDA00028815866400002315
表示
Figure BDA00028815866400002316
的第i个行向量，其中1≤i≤m。
在本实施例中，所述步骤B6具体包括以下步骤：
步骤B61：产品评论的多粒度表征向量es输入到全连接层，并使用softmax归一化，计算评论者对产品方面的情感属于各类别的概率，计算公式如下：
y＝W3es+b2
pc(y)＝softmax(y)
其中，y是全连接层的输出向量，
Figure BDA0002881586640000241
为全连接层权重矩阵，
Figure BDA0002881586640000242
为全连接层的偏置项，pc(y)是预测该产品方面对应的情感为类别c的概率，0≤pc(y)≤1，c∈C＝{积极，消极，中性}；
步骤B62：用交叉熵作为损失函数计算损失值，通过梯度优化算法Adam进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；
其中，最小化损失函数Loss的计算公式如下：
Figure BDA0002881586640000243
其中，λ||θ||2是L2正则化项，λ是学习率，θ包含所有参数，c为该方面对应的情感极性。
本实施例，还提供一种一种采用如权利要求1-8任一项所述方法的用户评论情感分析系统，包括：
数据收集模块，用于提取用户的产品评论、评论中产品方面词、产品方面词的位置信息，并对产品方面的情感极性进行标注，构建训练集；
预处理模块，用于对训练集中的训练样本进行预处理，包括分词处理、去除停用词和句法依存关系解析；
编码模块，用于在预训练的词向量矩阵中查找经过预处理的用户评论和方面中词的词向量，得到用户评论的初始表征向量和方面的初始表征向量；
网络训练模块，用于将用户评论的初始表征向量和方面的初始表征向量输入到深度学习网络中，得到用户评论的多粒度表征向量并以此训练深度学习网络，利用该表征向量属于某一类别的概率以及训练集中的标注作为损失，以最小化损失为目标来对整个深度学习网络进行训练，得到融合图卷积网络与多粒度注意力的深度学习网络模型；
情感分析模块，利用NLP工具，提取输入的用户评论中的方面，之后利用训练好的融合图卷积网络与多粒度注意力的深度学习网络模型对输入的用户评论和方面进行分析处理，输出用户评论中涉及特定方面的情感评价极性。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种融合GCN与多粒度注意力的用户评论情感分析方法，其特征在于，包括以下步骤：
步骤A：提取用户评论、用户评论涉及的产品或服务的方面词，并标注用户评论针对产品或服务的特定方面的情感极性，构建训练集SA；
步骤B：使用训练集SA，训练融合GCN与多粒度注意力的深度学习网络模型G，用于分析用户评论对产品或服务的特定方面的情感极性；
步骤C：将用户评论与用户评论涉及的产品或服务的方面词输入到训练后的深度学习网络模型G中，得到用户评论对产品或服务的特定方面的情感极性；
所述步骤B具体包括以下步骤：
步骤B1：对训练集SA中的每个训练样本进行编码，得到用户评论的初始表征向量
Figure FDA0003602498210000011
方面的初始表征向量
Figure FDA0003602498210000012
以及句法依存邻接矩阵A；
步骤B2：将步骤B1得到的初始表征向量
Figure FDA0003602498210000013
和
Figure FDA0003602498210000014
分别输入到两个不同的双向长短期记忆网络中，得到用户评论表征向量Hs和方面表征向量Ha；
步骤B3：对Ha进行平均池化得到方面表征向量
Figure FDA0003602498210000015
对Hs进行位置权重加权，得到位置感知的用户评论表征向量
Figure FDA0003602498210000016
连接
Figure FDA0003602498210000017
与
Figure FDA0003602498210000018
得到表征向量g0；
步骤B4：将表征向量g0输入到K层图卷积网络中，学习并提取句法依存关系，得到用户评论的图卷积表征向量hK；
步骤B5：对用户评论的图卷积表征向量hK进行掩膜操作，得到用户评论的图卷积掩膜表征向量hmask，将用户评论的图卷积掩膜表征向量hmask、用户评论表征向量Hs、方面表征向量Ha输入由传统注意力机制和多头注意力机制组成的多粒度注意力网络中，从用户评论中提取针对产品或服务的特定方面的多粒度上下文情感信息，得到用户评论的方面级多粒度表征向量es；
步骤B6：将es输入softmax层，根据目标损失函数loss，利用反向传播方法计算深度学习网络模型G中的各参数的梯度，并利用随机梯度下降方法更新参数；
步骤B7：当深度学习网络模型G产生的损失值迭代变化小于设定阈值不再降低或者达到最大迭代次数，终止深度学习网络模型G的训练。
2.根据权利要求1所述的融合GCN与多粒度注意力的用户评论情感分析方法，其特征在于，所述步骤B1具体包括以下步骤：
步骤B11：遍历训练集SA，SA中的每个训练样本表示为sa＝(s,a,c)，对训练样本sa中的s和a进行分词处理，去除停用词；
其中s为用户评论，a为用户评论中提取的用户评论所涉及的产品或服务的方面词或短语，c为用户评论对该方面的情感极性，情感极性包括{积极,消极,中性}；
用户评论s经过分词及去除停用词后，表示为：
Figure FDA0003602498210000031
其中，
Figure FDA0003602498210000032
为用户评论s经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,n，n为评论s经过分词及去除停用词后剩余的词语数量；
方面a经过分词及去除停用词后，表示为：
Figure FDA0003602498210000033
其中，
Figure FDA0003602498210000034
为方面a经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,m,m为方面a经过分词及去除停用词后剩余的词语数量；
步骤B12：对步骤B11得到的经过分词及去除停用词后的用户评论
Figure FDA0003602498210000035
进行编码，得到用户评论s的初始表征向量
Figure FDA0003602498210000036
其中，
Figure FDA0003602498210000037
表示为：
Figure FDA0003602498210000038
其中，
Figure FDA0003602498210000039
为第i个词
Figure FDA00036024982100000310
所对应的词向量，通过在预训练的词向量矩阵
Figure FDA00036024982100000311
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B13：对步骤B11得到的经过分词及去除停用词后的方面
Figure FDA00036024982100000312
进行编码，得到方面a的初始表征向量
Figure FDA00036024982100000313
Figure FDA00036024982100000314
其中，
Figure FDA00036024982100000315
表示第i个词
Figure FDA00036024982100000316
所对应的词向量，通过在预训练的词向量矩阵
Figure FDA00036024982100000317
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B14：对用户评论s进行句法依存解析，得到句法依赖树T；
Figure FDA0003602498210000041
其中，
Figure FDA0003602498210000042
表示词wi和词wj之间存在句法依存关系；
步骤B15：将解析得到的句法依赖树T编码为n阶邻接矩阵A，A表示为：
Figure FDA0003602498210000043
其中，Aij为1表示词
Figure FDA0003602498210000044
和词
Figure FDA0003602498210000045
之间存在句法依存关系，Aij为0表示词
Figure FDA0003602498210000046
和词
Figure FDA0003602498210000047
之间不存在句法依存关系。
3.根据权利要求1所述的融合GCN与多粒度注意力的用户评论情感分析方法，其特征在于，所述步骤B2具体包括以下步骤：
步骤B21：将构成用户评论s的初始表征向量
Figure FDA0003602498210000048
的序列
Figure FDA0003602498210000049
依次输入第一个双向长短期记忆网络的前向层，得到前向隐层状态向量序列
Figure FDA00036024982100000410
其中
Figure FDA00036024982100000411
f为激活函数；
步骤B22：将
Figure FDA00036024982100000412
依次输入第一个双向长短期记忆网络的反向层，得到反向隐层状态向量序列
Figure FDA00036024982100000413
其中
Figure FDA00036024982100000414
f为激活函数；
步骤B23：将第一个双向长短期记忆网络输出的前向与反向隐层状态向量序列进行连接并转置，得到用户评论表征向量
Figure FDA00036024982100000415
Figure FDA00036024982100000416
为前向隐层状态向量
Figure FDA0003602498210000051
与反向隐层状态向量
Figure FDA0003602498210000052
的连接，“；”表示向量连接操作；
步骤B24：将构成方面a的初始表征向量
Figure FDA0003602498210000053
的序列
Figure FDA0003602498210000054
依次输入第二个双向长短期记忆网络的前向层，得到前向隐层状态向量序列
Figure FDA0003602498210000055
其中
Figure FDA0003602498210000056
f为激活函数；
步骤B25：将
Figure FDA0003602498210000057
依次输入第二个双向长短期记忆网络的反向层，得到反向隐层状态向量序列
Figure FDA0003602498210000058
其中
Figure FDA0003602498210000059
f为激活函数；
步骤B26：将第二个双向长短期记忆网络输出的前向与反向隐层状态向量序列进行连接并转置，得到方面表征向量Ha，
Figure FDA00036024982100000510
Figure FDA00036024982100000511
为前向隐层状态向量
Figure FDA00036024982100000512
与反向隐层状态向量
Figure FDA00036024982100000513
的连接，“；”表示向量连接操作。
4.根据权利要求1所述的融合GCN与多粒度注意力的用户评论情感分析方法，其特征在于，所述步骤B3具体包括以下步骤：
步骤B31：对方面表征向量Ha进行平均池化以获取方面表征向量
Figure FDA00036024982100000514
其计算公式如下：
Figure FDA00036024982100000515
其中，
Figure FDA00036024982100000516
步骤B32：对用户评论表征向量Hs进行位置权重加权，得到用户评论的位置感知的表征向量
Figure FDA00036024982100000517
Figure FDA00036024982100000518
表示为：
Figure FDA00036024982100000519
其中，
Figure FDA0003602498210000061
为用户评论s中第i个词对应的位置感知表征向量，“·”表示向量与实数的数乘，
Figure FDA0003602498210000062
为用户评论s中第i个词
Figure FDA0003602498210000063
所对应的位置权重，其计算方式如下：
Figure FDA0003602498210000064
其中，i＝1,2,...,n表示当前词在句中的位置，τ表示方面a的第一个词在用户评论s中的位置，τ+m-1表示方面a的最后一个词在用户评论s中的位置；
步骤B33：将步骤B31得到的方面表征向量
Figure FDA0003602498210000065
与步骤B32得到的
Figure FDA0003602498210000066
进行连接，得到表征向量g0，
Figure FDA0003602498210000067
表示为：
Figure FDA0003602498210000068
其中，
Figure FDA0003602498210000069
为与用户评论s中第i个词相对应的输入到图卷积网络中的表征向量，i＝1,2,...,n，
Figure FDA00036024982100000610
表示为：
Figure FDA00036024982100000611
其中，
Figure FDA00036024982100000612
“；”表示向量连接操作。
5.根据权利要求1所述的融合GCN与多粒度注意力的用户评论情感分析方法，其特征在于，所述步骤B4具体包括以下步骤：
步骤B41：将表征向量g0输入第一层图卷积网络，利用邻接矩阵A对每个词语的向量表示进行更新，输出h1，并生成下一层图卷积网络的输入g1；
其中，h1，g1分别表示为：
Figure FDA00036024982100000613
Figure FDA0003602498210000071
其中
Figure FDA0003602498210000072
表示为：
Figure FDA0003602498210000073
其中，
Figure FDA0003602498210000074
是第1层图卷积网络中节点i的输出，
Figure FDA0003602498210000075
的计算公式如下：
Figure FDA0003602498210000076
Figure FDA0003602498210000077
其中，
Figure FDA0003602498210000078
为权重矩阵，
Figure FDA0003602498210000079
为偏置项；W1、b1均为可学习的参数；relu是激活函数；图卷积网络中的节点i与用户评论中的第i个词
Figure FDA00036024982100000710
相对应，图卷积网络中节点间的边代表用户评论中词语间的句法依赖关系，di表示节点i的度，选择di+1作为除数是为了防止节点i的度为0导致运算出错，“；”表示向量连接操作；
步骤B42：以g1代替g0输入到下一层图卷积网络，重复步骤B41，其中第k层图卷积网络的输出为
Figure FDA00036024982100000711
根据hk生成
Figure FDA00036024982100000712
作为第k+1层图卷积网络的输入，迭代结束后得到用户评论的图卷积表征向量
Figure FDA00036024982100000713
其中K为图卷积网络的层数，1≤k≤K。
6.根据权利要求1所述的融合GCN与多粒度注意力的用户评论情感分析方法，其特征在于，所述步骤B5具体包括以下步骤：
步骤B51：对步骤B42得到的hK进行掩膜操作，屏蔽不属于方面词的图卷积输出，得到用户评论的图卷积掩膜表征向量hmask，计算过程如下：
Figure FDA0003602498210000081
其中，0表示维度为2d的零向量，τ表示方面的第一个词在评论句子中的位置，
Figure FDA0003602498210000082
表示方面的第一个词对应的表征向量，
Figure FDA0003602498210000083
表示方面的最后一个词对应的表征向量；
步骤B52：将步骤B23得到的用户评论表征向量Hs和步骤B51得到的用户评论的图卷积掩膜表征向量hmask输入注意力网络，自适应选择重要的单词级信息，之后进行降维，得到用户评论的句子级表征向量ew，计算公式如下：
Figure FDA0003602498210000084
Figure FDA0003602498210000085
Figure FDA0003602498210000086
其中，
Figure FDA0003602498210000087
(·)T表示转置操作，αi是用户评论s中第i个词的注意力权重；
步骤B53：将方面表征向量Ha作为多头注意力机制的输入，通过多头注意力机制从用户评论的句子级表征向量ew中自适应选择重要的句子级信息，降维后得到用户评论的多粒度表征向量es。
7.根据权利要求6所述的融合GCN与多粒度注意力的用户评论情感分析方法，其特征在于，所述步骤B53具体为：
首先选择能够整除d的整数N，将方面表征向量Ha和用户评论的句子级表征向量ew在最后一个维度上平均切分成N个子向量，得到子向量序列
Figure FDA0003602498210000088
和
Figure FDA0003602498210000089
其中
Figure FDA0003602498210000091
是方面向量Ha的第h个子向量，
Figure FDA0003602498210000092
是用户评论的句子级表征向量ew的第h个子向量；
接着将方面向量Ha的每个子向量和用户评论的句子级表征向量ew中对应的子向量构成一个子向量对，即
Figure FDA0003602498210000093
对每个子向量对单独使用注意力机制进行计算，然后进行拼接与降维，N为多头注意力机制的头数，多头注意力机制的计算过程如下：
Figure FDA0003602498210000094
Figure FDA0003602498210000095
Figure FDA0003602498210000096
其中，
Figure FDA0003602498210000097
为多头注意力机制的输出向量，MHA表示多头注意力机制，
Figure FDA0003602498210000098
为多头注意力机制的训练参数；
Figure FDA0003602498210000099
为方面表征向量Ha的第h个子向量
Figure FDA00036024982100000910
和句子级表征向量ew的第h个子向量对
Figure FDA00036024982100000911
使用注意力机制计算得到的输出向量，
Figure FDA00036024982100000912
Figure FDA00036024982100000913
Figure FDA00036024982100000914
为对
Figure FDA00036024982100000915
进行降维后得到的用户评论的多粒度表征向量；
Figure FDA00036024982100000916
是m行，2d列的二维向量，将其划分为m个行向量，则
Figure FDA00036024982100000917
表示
Figure FDA00036024982100000918
的第i个行向量，其中1≤i≤m。
8.根据权利要求1所述的融合GCN与多粒度注意力的用户评论情感分析方法，其特征在于，所述步骤B6具体包括以下步骤：
步骤B61：产品评论的多粒度表征向量es输入到全连接层，并使用softmax归一化，计算评论者对产品方面的情感属于各类别的概率，计算公式如下：
y＝W3es+b2
pc(y)＝softmax(y)
其中，y是全连接层的输出向量，
Figure FDA0003602498210000101
为全连接层权重矩阵，
Figure FDA0003602498210000102
为全连接层的偏置项，pc(y)是预测该产品方面对应的情感为类别c的概率，0≤pc(y)≤1，c∈C＝{积极，消极，中性}；
步骤B62：用交叉熵作为损失函数计算损失值，通过梯度优化算法Adam进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；
其中，最小化损失函数Loss的计算公式如下：
Figure FDA0003602498210000103
其中，λ||θ||2是L2正则化项，λ是学习率，θ包含所有参数，c为该方面对应的情感极性。
9.一种采用如权利要求1-8任一项所述方法的用户评论情感分析系统，其特征在于，包括：
数据收集模块，用于提取用户评论、评论中方面词、方面词的位置信息，并对方面的情感极性进行标注，构建训练集；
预处理模块，用于对训练集中的训练样本进行预处理，包括分词处理、去除停用词和句法依存关系解析；
编码模块，用于在预训练的词向量矩阵中查找经过预处理的用户评论和方面中词的词向量，得到用户评论的初始表征向量和方面的初始表征向量；
网络训练模块，用于将用户评论的初始表征向量和方面的初始表征向量输入到深度学习网络中，得到用户评论的多粒度表征向量并以此训练深度学习网络，利用该表征向量属于某一类别的概率以及训练集中的标注作为损失，以最小化损失为目标来对整个深度学习网络进行训练，得到融合图卷积网络与多粒度注意力的深度学习网络模型；
情感分析模块，利用NLP工具，提取输入的用户评论中的方面，之后利用训练好的融合图卷积网络与多粒度注意力的深度学习网络模型对输入的用户评论和方面进行分析处理，输出用户评论中涉及特定方面的情感评价极性。
CN202110001581.0A 2021-01-04 2021-01-04 融合gcn与多粒度注意力的用户评论情感分析方法及系统 Active CN112667818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110001581.0A CN112667818B (zh) 2021-01-04 2021-01-04 融合gcn与多粒度注意力的用户评论情感分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110001581.0A CN112667818B (zh) 2021-01-04 2021-01-04 融合gcn与多粒度注意力的用户评论情感分析方法及系统

Publications (2)

Publication Number Publication Date
CN112667818A CN112667818A (zh) 2021-04-16
CN112667818B true CN112667818B (zh) 2022-06-14

Family

ID=75413970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110001581.0A Active CN112667818B (zh) 2021-01-04 2021-01-04 融合gcn与多粒度注意力的用户评论情感分析方法及系统

Country Status (1)

Country Link
CN (1) CN112667818B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326690A (zh) * 2021-04-17 2021-08-31 上海快确信息科技有限公司 一种半结构文本的信息提取装置
CN113378047B (zh) * 2021-06-10 2022-10-21 武汉大学 一种基于多方面增强的图神经网络推荐方法
CN113159007B (zh) * 2021-06-24 2021-10-29 之江实验室 一种基于自适应图卷积的步态情感识别方法
CN113505240B (zh) * 2021-07-09 2023-04-18 吉林大学 一种基于注意力引导图lstm关系提取方法及装置
CN113535904B (zh) * 2021-07-23 2022-08-09 重庆邮电大学 一种基于图神经网络的方面级情感分析方法
CN114564967B (zh) * 2022-04-29 2022-09-13 天津大学 一种面向情感语义的语义标注及语义依存分析方法及装置
CN117390141B (zh) * 2023-12-11 2024-03-08 江西农业大学 一种农业社会化服务质量用户评价数据分析方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080249764A1 (en) * 2007-03-01 2008-10-09 Microsoft Corporation Smart Sentiment Classifier for Product Reviews
CN109597997B (zh) * 2018-12-07 2023-05-02 上海宏原信息科技有限公司 基于评论实体、方面级情感分类方法和装置及其模型训练
CN111274398B (zh) * 2020-01-20 2022-06-14 福州大学 一种方面级用户产品评论情感分析方法及系统
CN111783474B (zh) * 2020-07-16 2023-04-07 厦门市美亚柏科信息股份有限公司 一种评论文本观点信息处理方法、装置及存储介质
CN111858945B (zh) * 2020-08-05 2024-04-23 上海哈蜂信息科技有限公司 基于深度学习的评论文本方面级情感分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张亚洲等.多模态情感分析研究综述.《模式识别与人工智能》.2020,第33卷(第5期),全文. *

Also Published As

Publication number Publication date
CN112667818A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN112667818B (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN111274398B (zh) 一种方面级用户产品评论情感分析方法及系统
CN109284506B (zh) 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
CN111310438B (zh) 基于多粒度融合模型的中文句子语义智能匹配方法及装置
CN112001185B (zh) 一种结合中文句法和图卷积神经网络的情感分类方法
CN110059188B (zh) 一种基于双向时间卷积网络的中文情感分析方法
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
Roshanfekr et al. Sentiment analysis using deep learning on Persian texts
CN111027595B (zh) 双阶段语义词向量生成方法
CN112001186A (zh) 一种利用图卷积神经网络和中文句法的情感分类方法
CN111382565A (zh) 基于多标签的情绪-原因对抽取方法及系统
CN112232087B (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
CN107688870B (zh) 一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置
CN112784532B (zh) 用于短文本情感分类的多头注意力记忆系统
CN111651974A (zh) 一种隐式篇章关系分析方法和系统
CN115858788A (zh) 基于双重图卷积神经网络的视角级文本情感分类系统
Sadr et al. Convolutional neural network equipped with attention mechanism and transfer learning for enhancing performance of sentiment analysis
CN115357719A (zh) 基于改进bert模型的电力审计文本分类方法及装置
CN113255366A (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN113705238A (zh) 基于bert和方面特征定位模型的方面级情感分析方法及模型
CN114492459A (zh) 基于知识图谱与交互图卷积的评论情感分析方法及系统
CN116579347A (zh) 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质
CN116028604A (zh) 一种基于知识增强图卷积网络的答案选择方法及系统
CN114036298B (zh) 一种基于图卷积神经网络与词向量的节点分类方法
CN114356990A (zh) 基于迁移学习的基地命名实体识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant