CN111274398B - 一种方面级用户产品评论情感分析方法及系统 - Google Patents
一种方面级用户产品评论情感分析方法及系统 Download PDFInfo
- Publication number
- CN111274398B CN111274398B CN202010065377.0A CN202010065377A CN111274398B CN 111274398 B CN111274398 B CN 111274398B CN 202010065377 A CN202010065377 A CN 202010065377A CN 111274398 B CN111274398 B CN 111274398B
- Authority
- CN
- China
- Prior art keywords
- vector
- product
- comment
- word
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000013135 deep learning Methods 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 218
- 230000015654 memory Effects 0.000 claims description 85
- 238000012512 characterization method Methods 0.000 claims description 38
- 230000007246 mechanism Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 19
- 230000002457 bidirectional effect Effects 0.000 claims description 12
- 230000002996 emotional effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000007935 neutral effect Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012552 review Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000011160 research Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种方面级用户产品评论情感分析方法及系统,该方法包括以下步骤:步骤A:提取用户的产品评论、评论涉及的产品方面词、产品方面词的位置信息,并对产品方面的情感极性进行标注,构建训练集SA;步骤B:使用训练集SA,训练用于方面级用户产品评论情感分析的融合MemNet与双向LSTM的深度学习网络模型M;步骤C:输入用户对产品的评论,提取评论涉及的产品方面词,将产品评论、产品方面词输入到训练好的深度学习网络模型M中,输出对产品方面的情感评价极性。该方法及系统有利于提高情感分类的准确性。
Description
技术领域
本发明涉及自然语言处理与情感分析应用领域,具体涉及一种方面级用户产品评论情感分析方法及系统。
背景技术
情感分析(Sentiment Analysis,SA),又被称为意见挖掘,是自然语言处理中文本分类任务的一项基本任务,其基本目标是从文本中识别观点,分析其情感倾向性。随着近年来社交媒体和电子商务的兴起,越来越多研究人员参与到该领域的研究。随着研究的深入,人们对情感分析的分类粒度要求也越来越高,从文档级、句子级再发展到如今的方面级(aspect level)。方面级情感分析的目标是识别给定的句子中的每一个方面的情感极性(积极、消极和中性)。如在句子“这款笔记本电脑的分辨率很高,但是价格一点贵”中,评论者对笔记本电脑(实体)的某个方面“分辨率”的情感极性为积极,而对另一个产品方面“价格”的情感极性为消极。
方面级情感分析的早期研究通常采用传统的监督学习算法,该类研究着重于通过诸如词袋模型、LDA等方法来提取特征以训练分类器。这些方法需要复杂的特征工程来提取文本特征,十分繁琐。最近,端到端的神经网络,例如长短期记忆网络(Long Short-TermMemory networks,LSTM)和记忆网络(Memory Network,MemNet),已经在该任务上表现出最先进的性能,而且无需任何费力的特征工程。Wang等提出的ATAE-LSTM方法首次结合了LSTM和注意力机制,通过LSTM提取评论的上下文语义信息,再利用注意力机制提取评论对于情感分类最为重要的部分,该方法取得了当时最先进的结果。Tang等人将MemNet引入情感分析任务,通过外部记忆机制和多层注意力机制,在保存原本的语义信息的同时提取了句子中对方面信息最重要的片段,并且MemNet的参数远远少于LSTM网络,使得MemNet的训练时间远少于基于LSTM的方法。Ma等人提出IAN模型,将评论和方面信息分别使用基于注意力机制的LSTM进行建模,并且对生成的表征向量进行了交互操作,从而更好地提取了上下文语义信息。Chen等人提出RAM模型,该模型将LSTM与MemNet结合,并且使用GRU来对MemNet的计算层进行更新,并且引入位置权重,使得模型对情感信息的提取更加精确有效。Gu等人首次提出将位置信息与评论一起作为输入,由深度神经网络自行学习,通过分层交互注意力机制使得评论和方面信息更好的交互和融合,并且减少了噪声的影响。Xue等人的研究区别于以往的研究,将一种新型门控机制Tanh-ReLU与CNN结合起来进行学习,弥补了CNN网络在自然语言处理方面的不足,该门控机制Tanh-ReLU可以根据给定的方面或实体选择性地输出情感特征。该方法比现有模型中使用的注意力层简单得多。现有的基于注意力机制的模型虽然能将注意力权重集中到与产品方面相关的单词上,但是无法捕获长期依赖,同时也容易受到噪声影响从而将注意力集中到不相关的词上。
发明内容
本发明的目的在于提供一种方面级用户产品评论情感分析方法及系统,该方法及系统有利于提高情感分类的准确性。
为实现上述目的,本发明采用的技术方案是:一种方面级用户产品评论情感分析方法,包括以下步骤:
步骤A:提取用户的产品评论、评论涉及的产品方面词、产品方面词的位置信息,并对产品方面的情感极性进行标注,构建训练集SA;
步骤B:使用训练集SA,训练用于方面级用户产品评论情感分析的融合记忆网络与双向长短期记忆网络的深度学习网络模型M;
步骤C:输入用户对产品的评论,提取评论涉及的产品方面词,将产品评论、产品方面词输入到训练好的深度学习网络模型M中,输出对产品方面的情感评价极性。
进一步地,所述步骤B具体包括以下步骤:
步骤B4:连接步骤B2得到的记忆向量H与步骤B3得到的表征向量ek,输入到张量层进行特征融合,得到方面级用户产品评论的记忆融合表征向量e(s);
步骤B5:将步骤B4得到的记忆融合表征向量e(s)输入到softmax层,根据目标损失函数loss,利用反向传播方法计算深度网络中各参数的梯度,并利用随机梯度下降方法更新参数;
步骤B6:当深度学习网络模型M产生的损失值小于设定阈值且不再降低或者迭代次数达到最大迭代次数,则终止神经网络模型的训练。
进一步地,所述步骤B1具体包括以下步骤:
步骤B11:遍历训练集SA,SA中的每个训练样本表示为sa=(s,a,c),其中s表示产品评论,a表示评论s涉及的产品方面,c为该产品方面的评论对应的情感极性,情感极性分为三种:积极、消极、中性;对训练样本sa中的评论s和产品方面a进行分词处理,去除停用词;
其中,评论s经过分词及去除停用词后,表示为:
其中,js (a)为经过分词及去除停用词后的产品方面a中的第一个词在评论s中的位置,而je (a)为经过分词及去除停用词后的产品方面a中的最后一个词在评论s中的位置;
其中,a表示为:
进一步地,所述步骤B2具体包括以下步骤:
进一步地,所述步骤B3具体包括以下步骤:
首先选择能够整除d的整数n,将记忆向量H和产品方面向量在最后一个维度上平均切分成n个子向量,得到子向量序列{H1,...,Hh,...,Hn}和其中Hh∈RN ×(2d/n),h=1,2,...,n,是记忆向量H的第h个子向量,是产品方面向量的第h个子向量;
其中,catt∈Rd为多头注意力机制的输出向量,MHA表示多头注意力机制,oh∈R2d/n为记忆向量H和产品方面向量的第h个子向量对使用注意力机制计算得到的输出向量,“·”为矩阵相乘操作,W∈Rd×2d为多头注意力机制的训练参数;
其中,对于每个子向量对,使用注意力机制的计算流程为:通过全连接层计算注意力权重,使用tanh函数激活,然后将获得的向量归一化产生注意力权重,得到的输出是记忆向量H的第h个子向量Hh中的每个切片对的权重之和,计算公式如下:
其中,表示产品方面向量中的第h个子向量,Hh,i∈R2d/n,i=1,2,...,N表示记忆向量H的第h个子向量Hh∈RN×(2d/n),h=1,2,...,n中的第i个切片,W2∈RN×(3d/n)为训练参数,αi∈(0,1)是词向量Hh,i对应的注意力权重,oh∈R2d/n是加权后的表征向量;
步骤B33:以e1代替输入到下一个计算层,重复步骤B31~B32,其中每个计算层的输出为el∈Rd,l表示当前计算层为第l层,并且el同时作为第l+1层计算层的输入;迭代结束后得到评论的表征向量ek∈Rd,其中k为计算层的层数,1≤l≤k。
进一步地,所述步骤B4具体为:通过全连接层融合记忆向量和表征向量,使用tanh函数激活,得到的输出即为评论的记忆融合表征向量e(s)∈Rd,计算公式如下:
e(s)=uTtanh(HTW3ek+W4[H;ek]+b)
其中,“;”表示向量连接操作,uT∈Rd×2d是二维矩阵u的转置,W3∈RN×d和W4∈R2d×3d为权重矩阵,b∈R2d为偏置项;uT、W3、W4、b均为可学习的参数。
进一步地,所述步骤B5具体包括以下步骤:
步骤B51:将记忆融合表征向量e(s)输入到全连接层,并使用softmax归一化,计算评论者对产品方面的情感属于各类别的概率,计算公式如下:
y=W5e(s)+b2
pc(y)=softmax(y)
其中,W5∈R3×d为全连接层权重矩阵,b2∈R3为全连接层的偏置项,pc(y)是预测该产品方面对应的情感为类别c的概率,0≤pc(y)≤1,c∈C={积极,消极,中性};
步骤B52:用交叉熵作为损失函数计算损失值,通过梯度优化算法SGD进行学习率更新,利用反向传播迭代更新模型参数,以最小化损失函数来训练模型;
其中,最小化损失函数Loss的计算公式如下:
其中,λ||θ||2是L2正则化项,λ是学习率,θ包含所有参数,c为该方面对应的情感极性。
本发明还提供了一种采用上述方法的方面级用户产品评论情感分析系统,包括:
数据收集模块,用于提取用户的产品评论、评论中产品方面词、产品方面词的位置信息,并对产品方面的情感极性进行标注,构建训练集;
预处理模块,用于对训练集中的训练样本进行预处理,包括分词处理和去除停用词;
编码模块,用于在预训练的词向量矩阵中查找经过预处理的用户产品评论和产品方面中词的词向量,并且结合位置信息得到方面级用户产品评论的初始表征向量和产品方面向量;
网络训练模块,用于将方面级用户产品评论的初始表征向量和产品方面向量输入到深度学习网络中,得到记忆融合表征向量并以此训练深度学习网络,利用该向量属于某一类别的概率以及训练集中的标注作为损失,以最小化损失为目标来对整个深度学习网络进行训练,得到深度学习网络模型;以及
情感分析模块,用于利用训练好的深度学习网络模型对输入的用户产品评论进行分析处理,输出用户评论中的产品方面的情感评价极性。
相较于现有技术,本发明具有以下有益效果:提供了一种融合MemNet网络与双向LSTM的方面级产品评论情感分析方法及系统,该方法及系统使用多头注意力捕获长期依赖,并且多头注意力机制比传统的注意力机制更细粒度,从而能够减少噪声的影响,同时使用tensor layer将MemNet的输出向量和记忆向量融合,使得在计算过程中损失的句子的原始信息得到补充,提高了情感分类的准确度。
附图说明
图1为本发明实施例的方法实现流程图。
图2为本发明实施例的系统结构示意图。
图3为本发明实施例的模型架构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供了一种方面级用户产品评论情感分析方法,如图1所示,包括以下步骤:
步骤A:提取用户的产品评论、评论涉及的产品方面词、产品方面词的位置信息,并对产品方面的情感极性进行标注,构建训练集SA。
步骤B:使用训练集SA,训练用于方面级用户产品评论情感分析的融合记忆网络与双向长短期记忆网络(BiLSTM网络)的深度学习网络模型M。
如图3所示,所述步骤B具体包括以下步骤:
步骤B11:遍历训练集SA,SA中的每个训练样本表示为sa=(s,a,c),其中s表示产品评论,a表示评论s涉及的产品方面,c为该产品方面的评论对应的情感极性,情感极性分为三种:积极、消极、中性;对训练样本sa中的评论s和产品方面a进行分词处理,去除停用词;
其中,评论s经过分词及去除停用词后,表示为:
其中,js (a)为经过分词及去除停用词后的产品方面a中的第一个词在评论s中的位置,而je (a)为经过分词及去除停用词后的产品方面a中的最后一个词在评论s中的位置;
其中,a表示为:
步骤B3:将步骤B2得到的记忆向量H和步骤B1得到的产品方面向量输入到记忆网络中,使用多头注意力机制进行情感极性学习,得到方面级用户产品评论的表征向量ek,其中k是记忆网络中计算层的层数。具体包括以下步骤:
首先选择能够整除d的整数n,将记忆向量H和产品方面向量在最后一个维度上平均切分成n个子向量,得到子向量序列{H1,...,Hh,...,Hn}和其中Hh∈RN ×(2d/n),h=1,2,...,n,是记忆向量H的第h个子向量,是产品方面向量的第h个子向量;
其中,catt∈Rd为多头注意力机制的输出向量,MHA表示多头注意力机制,oh∈R2d/n为记忆向量H和产品方面向量的第h个子向量对使用注意力机制计算得到的输出向量,“·”为矩阵相乘操作,W∈Rd×2d为多头注意力机制的训练参数;
其中,对于每个子向量对,使用注意力机制的计算流程为:通过全连接层计算注意力权重,使用tanh函数激活,然后将获得的向量归一化产生注意力权重,得到的输出是记忆向量H的第h个子向量Hh中的每个切片对的权重之和,计算公式如下:
其中,表示产品方面向量中的第h个子向量,Hh,i∈R2d/n,i=1,2,...,N表示记忆向量H的第h个子向量Hh∈RN×(2d/n),h=1,2,...,n中的第i个切片,W2∈RN×(3d/n)为训练参数,αi∈(0,1)是词向量Hh,i对应的注意力权重,oh∈R2d/n是加权后的表征向量;
步骤B33:以e1代替输入到下一个计算层,重复步骤B31~B32,其中每个计算层的输出为el∈Rd,l表示当前计算层为第l层,并且el同时作为第l+1层计算层的输入;迭代结束后得到评论的表征向量ek∈Rd,其中k为计算层的层数,1≤l≤k。
步骤B4:连接步骤B2得到的记忆向量H与步骤B3得到的表征向量ek,输入到张量层进行特征融合,得到方面级用户产品评论的记忆融合表征向量e(s)。具体为:
通过全连接层融合记忆向量和表征向量,使用tanh函数激活,得到的输出即为评论的记忆融合表征向量e(s)∈Rd,计算公式如下:
e(s)=uTtanh(HTW3ek+W4[H;ek]+b)
其中,“;”表示向量连接操作,uT∈Rd×2d是二维矩阵u的转置,W3∈RN×d和W4∈R2d×3d为权重矩阵,b∈R2d为偏置项;uT、W3、W4、b均为可学习的参数。
步骤B5:将步骤B4得到的记忆融合表征向量e(s)输入到softmax层,根据目标损失函数loss,利用反向传播方法计算深度网络中各参数的梯度,并利用随机梯度下降方法更新参数。具体包括以下步骤:
步骤B51:将记忆融合表征向量e(s)输入到全连接层,并使用softmax归一化,计算评论者对产品方面的情感属于各类别的概率,计算公式如下:
y=W5e(s)+b2
pc(y)=softmax(y)
其中,W5∈R3×d为全连接层权重矩阵,b2∈R3为全连接层的偏置项,pc(y)是预测该产品方面对应的情感为类别c的概率,0≤pc(y)≤1,c∈C={积极,消极,中性};
步骤B52:用交叉熵作为损失函数计算损失值,通过梯度优化算法SGD进行学习率更新,利用反向传播迭代更新模型参数,以最小化损失函数来训练模型;
其中,最小化损失函数Loss的计算公式如下:
其中,λ||θ||2是L2正则化项,λ是学习率,θ包含所有参数,c为该方面对应的情感极性。
步骤B6:当深度学习网络模型M产生的损失值小于设定阈值且不再降低或者迭代次数达到最大迭代次数,则终止神经网络模型的训练。
步骤C:输入用户对产品的评论,提取评论涉及的产品方面词,将产品评论、产品方面词输入到训练好的深度学习网络模型M中,输出对产品方面的情感评价极性。
本发明还提供了采用上述方法的方面级用户产品评论情感分析系统,如图2所示,包括:
数据收集模块,用于提取用户的产品评论、评论中产品方面词、产品方面词的位置信息,并对产品方面的情感极性进行标注,构建训练集;
预处理模块,用于对训练集中的训练样本进行预处理,包括分词处理和去除停用词;
编码模块,用于在预训练的词向量矩阵中查找经过预处理的用户产品评论和产品方面中词的词向量,并且结合位置信息得到方面级用户产品评论的初始表征向量和产品方面向量;
网络训练模块,用于将方面级用户产品评论的初始表征向量和产品方面向量输入到深度学习网络中,得到记忆融合表征向量并以此训练深度学习网络,利用该向量属于某一类别的概率以及训练集中的标注作为损失,以最小化损失为目标来对整个深度学习网络进行训练,得到深度学习网络模型;以及
情感分析模块,用于利用训练好的深度学习网络模型对输入的用户产品评论进行分析处理,输出用户评论中的产品方面的情感评价极性。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (7)
1.一种方面级用户产品评论情感分析方法,其特征在于,包括以下步骤:
步骤A:提取用户的产品评论、评论涉及的产品方面词、产品方面词的位置信息,并对产品方面的情感极性进行标注,构建训练集SA;
步骤B:使用训练集SA,训练用于方面级用户产品评论情感分析的融合记忆网络与双向长短期记忆网络的深度学习网络模型M;
步骤C:输入用户对产品的评论,提取评论涉及的产品方面词,将产品评论、产品方面词输入到训练好的深度学习网络模型M中,输出对产品方面的情感评价极性;
所述步骤B具体包括以下步骤:
步骤B4:连接步骤B2得到的记忆向量H与步骤B3得到的表征向量ek,输入到张量层进行特征融合,得到方面级用户产品评论的记忆融合表征向量e(s);
步骤B5:将步骤B4得到的记忆融合表征向量e(s)输入到softmax层,根据目标损失函数loss,利用反向传播方法计算深度学习网络中各参数的梯度,并利用随机梯度下降方法更新参数;
步骤B6:当深度学习网络模型M产生的损失值小于设定阈值且不再降低或者迭代次数达到最大迭代次数,则终止深度学习网络模型的训练。
2.根据权利要求1所述的一种方面级用户产品评论情感分析方法,其特征在于,所述步骤B1具体包括以下步骤:
步骤B11:遍历训练集SA,SA中的每个训练样本表示为sa=(s,a,c),其中s表示产品评论,a表示评论s涉及的产品方面,c为该产品方面的评论对应的情感极性,情感极性分为三种:积极、消极、中性;对训练样本sa中的评论s和产品方面a进行分词处理,去除停用词;
其中,评论s经过分词及去除停用词后,表示为:
其中,js (a)为经过分词及去除停用词后的产品方面a中的第一个词在评论s中的位置,而je (a)为经过分词及去除停用词后的产品方面a中的最后一个词在评论s中的位置;
其中,a表示为:
4.根据权利要求1所述的一种方面级用户产品评论情感分析方法,其特征在于,所述步骤B3具体包括以下步骤:
首先选择能够整除d的整数n,将记忆向量H和产品方面向量在最后一个维度上平均切分成n个子向量,得到子向量序列{H1,...,Hh,...,Hn}和其中Hh∈RN ×(2d/n),h=1,2,.....,n,是记忆向量H的第h个子向量,h=1,2,.....,n是产品方面向量的第h个子向量;
其中,catt∈Rd为多头注意力机制的输出向量,MHA表示多头注意力机制,oh∈R2d/n为记忆向量H和产品方面向量的第h个子向量对使用注意力机制计算得到的输出向量,“·”为矩阵相乘操作,W∈Rd×2d为多头注意力机制的训练参数;
其中,对于每个子向量对,使用注意力机制的计算流程为:通过全连接层计算注意力权重,使用tanh函数激活,然后将获得的向量归一化产生注意力权重,得到的输出是记忆向量H的第h个子向量Hh中的每个切片对的权重之和,计算公式如下:
其中,表示产品方面向量中的第h个子向量,Hh,i∈R2d/n,i=1,2,..,N表示记忆向量H的第h个子向量Hh∈RN×(2d/n),h=1,2,.....,n中的第i个切片,W2∈RN×(3d/n)为训练参数,αi∈(0,1)是词向量Hh,i对应的注意力权重,oh∈R2d/n是加权后的表征向量;
5.根据权利要求1所述的一种方面级用户产品评论情感分析方法,其特征在于,所述步骤B4具体为:通过全连接层融合记忆向量和表征向量,使用tanh函数激活,得到的输出即为评论的记忆融合表征向量e(s)∈Rd,计算公式如下:
e(s)=uTtanh(HTW3ek+W4[H;ek]+b)
其中,“;”表示向量连接操作,uT∈Rd×2d是二维矩阵u的转置,W3∈RN×d和W4∈R2d×3d为权重矩阵,b∈R2d为偏置项;uT、W3、W4、b均为可学习的参数。
6.根据权利要求1所述的一种方面级用户产品评论情感分析方法,其特征在于,所述步骤B5具体包括以下步骤:
步骤B51:将记忆融合表征向量e(s)输入到全连接层,并使用softmax归一化,计算评论者对产品方面的情感属于各类别的概率,计算公式如下:
y=W5e(s)+b2
pc(y)=softmax(y)
其中,W5∈R3×d为全连接层权重矩阵,b2∈R3为全连接层的偏置项,pc(y)是预测该产品方面对应的情感为类别c的概率,0≤pc(y)≤1,c∈C={积极,消极,中性};
步骤B52:用交叉熵作为损失函数计算损失值,通过梯度优化算法SGD进行学习率更新,利用反向传播迭代更新模型参数,以最小化损失函数来训练模型;
其中,最小化损失函数Loss的计算公式如下:
其中,λ||θ||2是L2正则化项,λ是学习率,θ包含所有参数,c为该方面对应的情感极性。
7.一种采用如权利要求1-6任一项所述方法的方面级用户产品评论情感分析系统,其特征在于,包括:
数据收集模块,用于提取用户的产品评论、评论中产品方面词、产品方面词的位置信息,并对产品方面的情感极性进行标注,构建训练集;
预处理模块,用于对训练集中的训练样本进行预处理,包括分词处理和去除停用词;
编码模块,用于在预训练的词向量矩阵中查找经过预处理的用户产品评论和产品方面中词的词向量,并且结合位置信息得到方面级用户产品评论的初始表征向量和产品方面向量;
网络训练模块,用于将方面级用户产品评论的初始表征向量和产品方面向量输入到深度学习网络中,得到记忆融合表征向量并以此训练深度学习网络,利用该向量属于某一类别的概率以及训练集中的标注作为损失,以最小化损失为目标来对整个深度学习网络进行训练,得到深度学习网络模型;以及
情感分析模块,用于利用训练好的深度学习网络模型对输入的用户产品评论进行分析处理,输出用户评论中的产品方面的情感评价极性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010065377.0A CN111274398B (zh) | 2020-01-20 | 2020-01-20 | 一种方面级用户产品评论情感分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010065377.0A CN111274398B (zh) | 2020-01-20 | 2020-01-20 | 一种方面级用户产品评论情感分析方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111274398A CN111274398A (zh) | 2020-06-12 |
CN111274398B true CN111274398B (zh) | 2022-06-14 |
Family
ID=71002123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010065377.0A Active CN111274398B (zh) | 2020-01-20 | 2020-01-20 | 一种方面级用户产品评论情感分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111274398B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112380863A (zh) * | 2020-10-29 | 2021-02-19 | 国网天津市电力公司 | 一种基于多头自注意力机制的序列标注方法 |
CN112329474B (zh) * | 2020-11-02 | 2022-10-04 | 山东师范大学 | 融合注意力的方面级用户评论文本情感分析方法及系统 |
CN112434161B (zh) * | 2020-11-24 | 2023-01-03 | 哈尔滨工程大学 | 一种采用双向长短期记忆网络的方面级情感分析方法 |
CN112464281B (zh) * | 2020-11-29 | 2022-11-18 | 深圳市索迪统计科技有限公司 | 基于隐私分组和情感识别的网络信息分析方法 |
CN112559683A (zh) * | 2020-12-11 | 2021-03-26 | 苏州元启创人工智能科技有限公司 | 基于多模态数据及多交互记忆网络的方面级情感分析方法 |
CN112667818B (zh) * | 2021-01-04 | 2022-06-14 | 福州大学 | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 |
CN112818698B (zh) * | 2021-02-03 | 2022-07-15 | 北京航空航天大学 | 一种基于双通道模型的细粒度的用户评论情感分析方法 |
CN112860894B (zh) * | 2021-02-10 | 2023-06-27 | 北京百度网讯科技有限公司 | 情感分析模型的训练方法、情感分析方法、装置和设备 |
CN113094502A (zh) * | 2021-03-22 | 2021-07-09 | 北京工业大学 | 一种多粒度外卖用户评论情感分析方法 |
CN113378543B (zh) * | 2021-06-28 | 2022-12-27 | 深圳前海微众银行股份有限公司 | 数据分析方法、训练数据分析模型的方法及电子设备 |
CN113868425B (zh) * | 2021-10-20 | 2024-06-28 | 西安邮电大学 | 一种方面级情感分类方法 |
CN114492459A (zh) * | 2022-02-25 | 2022-05-13 | 福州大学 | 基于知识图谱与交互图卷积的评论情感分析方法及系统 |
CN115905547B (zh) * | 2023-02-10 | 2023-11-14 | 中国航空综合技术研究所 | 基于置信学习的航空领域文本分类方法 |
CN117370736B (zh) * | 2023-12-08 | 2024-08-13 | 暨南大学 | 一种细粒度情感识别方法、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597997A (zh) * | 2018-12-07 | 2019-04-09 | 上海宏原信息科技有限公司 | 基于评论实体、方面级情感分类方法和装置及其模型训练 |
CN109710761A (zh) * | 2018-12-21 | 2019-05-03 | 中国标准化研究院 | 基于注意力增强的双向lstm模型的情感分析方法 |
CN110517121A (zh) * | 2019-09-23 | 2019-11-29 | 重庆邮电大学 | 基于评论文本情感分析的商品推荐方法及商品推荐装置 |
-
2020
- 2020-01-20 CN CN202010065377.0A patent/CN111274398B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597997A (zh) * | 2018-12-07 | 2019-04-09 | 上海宏原信息科技有限公司 | 基于评论实体、方面级情感分类方法和装置及其模型训练 |
CN109710761A (zh) * | 2018-12-21 | 2019-05-03 | 中国标准化研究院 | 基于注意力增强的双向lstm模型的情感分析方法 |
CN110517121A (zh) * | 2019-09-23 | 2019-11-29 | 重庆邮电大学 | 基于评论文本情感分析的商品推荐方法及商品推荐装置 |
Non-Patent Citations (1)
Title |
---|
Attention-based memory network for text sentiment classification;Hu han等;《IEEE Access》;20181109;第6卷;第68302页摘要、68304页任务定义和符号、68305页模型2 * |
Also Published As
Publication number | Publication date |
---|---|
CN111274398A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111274398B (zh) | 一种方面级用户产品评论情感分析方法及系统 | |
CN112667818B (zh) | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 | |
CN109284506B (zh) | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 | |
Cao et al. | Deep neural networks for learning graph representations | |
CN106650813B (zh) | 一种基于深度残差网络和lstm的图像理解方法 | |
CN110059188B (zh) | 一种基于双向时间卷积网络的中文情感分析方法 | |
CN111259127B (zh) | 一种基于迁移学习句向量的长文本答案选择方法 | |
CN110598005B (zh) | 一种面向公共安全事件的多源异构数据知识图谱构建方法 | |
CN111027595B (zh) | 双阶段语义词向量生成方法 | |
CN110287323B (zh) | 一种面向目标的情感分类方法 | |
CN108647226B (zh) | 一种基于变分自动编码器的混合推荐方法 | |
CN111291556B (zh) | 基于实体义项的字和词特征融合的中文实体关系抽取方法 | |
CN111127146B (zh) | 基于卷积神经网络与降噪自编码器的信息推荐方法及系统 | |
CN107688870B (zh) | 一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置 | |
CN112328900A (zh) | 一种融合评分矩阵和评论文本的深度学习推荐方法 | |
CN111414461A (zh) | 一种融合知识库与用户建模的智能问答方法及系统 | |
CN112597302B (zh) | 基于多维评论表示的虚假评论检测方法 | |
Lin et al. | PS-mixer: A polar-vector and strength-vector mixer model for multimodal sentiment analysis | |
CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
CN112561718A (zh) | 基于BiLSTM权重共享的案件微博评价对象情感倾向性分析方法 | |
CN117094291B (zh) | 基于智能写作的自动新闻生成系统 | |
CN116205222A (zh) | 一种基于多通道注意力融合的方面级情感分析系统及方法 | |
CN116579347A (zh) | 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质 | |
CN114648031A (zh) | 基于双向lstm和多头注意力机制的文本方面级情感识别方法 | |
CN114004220A (zh) | 一种基于cpc-ann的文本情绪原因识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |