CN111274398A - 一种方面级用户产品评论情感分析方法及系统 - Google Patents

Abstract

本发明涉及一种方面级用户产品评论情感分析方法及系统，该方法包括以下步骤：步骤A：提取用户的产品评论、评论涉及的产品方面词、产品方面词的位置信息，并对产品方面的情感极性进行标注，构建训练集SA；步骤B：使用训练集SA，训练用于方面级用户产品评论情感分析的融合MemNet与双向LSTM的深度学习网络模型M；步骤C：输入用户对产品的评论，提取评论涉及的产品方面词，将产品评论、产品方面词输入到训练好的深度学习网络模型M中，输出对产品方面的情感评价极性。该方法及系统有利于提高情感分类的准确性。

Description

一种方面级用户产品评论情感分析方法及系统

技术领域

本发明涉及自然语言处理与情感分析应用领域，具体涉及一种方面级用户产品评论情感分析方法及系统。

背景技术

情感分析(Sentiment Analysis，SA)，又被称为意见挖掘，是自然语言处理中文本分类任务的一项基本任务，其基本目标是从文本中识别观点，分析其情感倾向性。随着近年来社交媒体和电子商务的兴起，越来越多研究人员参与到该领域的研究。随着研究的深入，人们对情感分析的分类粒度要求也越来越高，从文档级、句子级再发展到如今的方面级(aspect level)。方面级情感分析的目标是识别给定的句子中的每一个方面的情感极性(积极、消极和中性)。如在句子“这款笔记本电脑的分辨率很高，但是价格一点贵”中，评论者对笔记本电脑(实体)的某个方面“分辨率”的情感极性为积极，而对另一个产品方面“价格”的情感极性为消极。

方面级情感分析的早期研究通常采用传统的监督学习算法，该类研究着重于通过诸如词袋模型、LDA等方法来提取特征以训练分类器。这些方法需要复杂的特征工程来提取文本特征，十分繁琐。最近，端到端的神经网络，例如长短期记忆网络(Long Short-TermMemory networks，LSTM)和记忆网络(Memory Network，MemNet)，已经在该任务上表现出最先进的性能，而且无需任何费力的特征工程。Wang等提出的ATAE-LSTM方法首次结合了LSTM和注意力机制，通过LSTM提取评论的上下文语义信息，再利用注意力机制提取评论对于情感分类最为重要的部分，该方法取得了当时最先进的结果。Tang等人将MemNet引入情感分析任务，通过外部记忆机制和多层注意力机制，在保存原本的语义信息的同时提取了句子中对方面信息最重要的片段，并且MemNet的参数远远少于LSTM网络，使得MemNet的训练时间远少于基于LSTM的方法。Ma等人提出IAN模型，将评论和方面信息分别使用基于注意力机制的LSTM进行建模，并且对生成的表征向量进行了交互操作，从而更好地提取了上下文语义信息。Chen等人提出RAM模型，该模型将LSTM与MemNet结合，并且使用GRU来对MemNet的计算层进行更新，并且引入位置权重，使得模型对情感信息的提取更加精确有效。Gu等人首次提出将位置信息与评论一起作为输入，由深度神经网络自行学习，通过分层交互注意力机制使得评论和方面信息更好的交互和融合，并且减少了噪声的影响。Xue等人的研究区别于以往的研究，将一种新型门控机制Tanh-ReLU与CNN结合起来进行学习，弥补了CNN网络在自然语言处理方面的不足，该门控机制Tanh-ReLU可以根据给定的方面或实体选择性地输出情感特征。该方法比现有模型中使用的注意力层简单得多。现有的基于注意力机制的模型虽然能将注意力权重集中到与产品方面相关的单词上，但是无法捕获长期依赖，同时也容易受到噪声影响从而将注意力集中到不相关的词上。

发明内容

本发明的目的在于提供一种方面级用户产品评论情感分析方法及系统，该方法及系统有利于提高情感分类的准确性。

为实现上述目的，本发明采用的技术方案是：一种方面级用户产品评论情感分析方法，包括以下步骤：

步骤A：提取用户的产品评论、评论涉及的产品方面词、产品方面词的位置信息，并对产品方面的情感极性进行标注，构建训练集SA；

步骤B：使用训练集SA，训练用于方面级用户产品评论情感分析的融合记忆网络与双向长短期记忆网络的深度学习网络模型M；

步骤C：输入用户对产品的评论，提取评论涉及的产品方面词，将产品评论、产品方面词输入到训练好的深度学习网络模型M中，输出对产品方面的情感评价极性。

进一步地，所述步骤B具体包括以下步骤：

步骤B1：对训练集SA中的每条用户产品评论、评论中的产品方面词、产品方面词的位置、产品方面的情感极性进行编码，得到方面级用户产品评论的初始表征向量

和产品方面向量

步骤B2：将步骤B1得到的初始表征向量

输入到双向长短期记忆网络中，得到方面级用户产品评论的带位置信息的记忆向量H；

步骤B3：将步骤B2得到的记忆向量H和步骤B1得到的产品方面向量

输入到记忆网络中，使用多头注意力机制进行情感极性学习，得到方面级用户产品评论的表征向量e^k，其中k是记忆网络中计算层的层数；

步骤B4：连接步骤B2得到的记忆向量H与步骤B3得到的表征向量e^k，输入到张量层进行特征融合，得到方面级用户产品评论的记忆融合表征向量e^(s)；

步骤B5：将步骤B4得到的记忆融合表征向量e^(s)输入到softmax层，根据目标损失函数loss，利用反向传播方法计算深度网络中各参数的梯度，并利用随机梯度下降方法更新参数；

步骤B6：当深度学习网络模型M产生的损失值小于设定阈值且不再降低或者迭代次数达到最大迭代次数，则终止神经网络模型的训练。

进一步地，所述步骤B1具体包括以下步骤：

步骤B11：遍历训练集SA，SA中的每个训练样本表示为sa＝(s,a,c)，其中s表示产品评论，a表示评论s涉及的产品方面，c为该产品方面的评论对应的情感极性，情感极性分为三种：积极、消极、中性；对训练样本sa中的评论s和产品方面a进行分词处理，去除停用词；

其中，评论s经过分词及去除停用词后，表示为：

其中，

为评论s经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,N，N为评论s经过分词及去除停用词后剩余的词语数量；

步骤B12：对经过分词及去除停用词后的产品评论s进行编码，得到评论s的初始表征向量

表示为：

其中，

为第i个词

所对应的词向量，通过在预训练的词向量矩阵E∈R^{d ×|D|}中查找得到，其中d表示词向量的维度，|D|是词典D中的词语数；

为评论s中第i个词

所对应的位置信息的编码，其编码方式如下：

其中，j_s ^(a)为经过分词及去除停用词后的产品方面a中的第一个词在评论s中的位置，而j_e ^(a)为经过分词及去除停用词后的产品方面a中的最后一个词在评论s中的位置；

是评论s的初始表征向量

中第t个单词

及其位置信息p_t的联合表示，“；”表示向量连接操作，

评论s的初始表征向量

步骤B13：对经过分词及去除停用词后的产品方面a进行编码，得到产品方面a的表征向量，即产品方面向量

其中，a表示为：

其中，产品方面a是一个短语，由1个或多个连续的词构成，

为产品方面a中的第i个词，i＝1,2,...,m，m为产品方面a经过分词及去除停用词后剩余的词语数量；

用

表示第i个词

所对应的词向量，通过在预训练的词向量矩阵E∈R^{d ×|D|}中查找得到；

则产品方面a的表征向量

表示为：

其中，

由对

进行平均池化得到。

进一步地，所述步骤B2具体包括以下步骤：

步骤B21：对于双向长短期记忆网络的正向，依次输入构成产品评论s的初始表征向量

的序列

得到

在正向长短期记忆网络中的隐层状态向量

其中

f为长短期记忆网络中对隐层状态的激活函数；

步骤B22：对于双向长短期记忆网络的反向，依次输入

得到

在反向长短期记忆网络中的隐层状态向量

其中

步骤B23：将隐层状态向量进行连接并转置得到用户产品评论的带位置信息的记忆向量H，H＝[h₁,...,h_t,...,h_N]^T，H∈R^N×2d，

h_t为正向隐层状态向量

与反向隐层状态向量

的连接。

进一步地，所述步骤B3具体包括以下步骤：

步骤B31：将产品方面向量

作为记忆网络中第一个计算层的输入，通过多头注意力机制从记忆向量H中自适应选择重要部分；

首先选择能够整除d的整数n，将记忆向量H和产品方面向量

在最后一个维度上平均切分成n个子向量，得到子向量序列{H₁,...,H_h,...,H_n}和

其中H_h∈R^{N ×(2d/n)},h＝1,2,...,n，是记忆向量H的第h个子向量，

是产品方面向量

的第h个子向量；

然后将记忆向量H的每个子向量和产品方面向量

中对应的子向量构成一个子向量对，即

对每个子向量对单独使用注意力机制进行计算，然后进行拼接，n为多头注意力机制的头数，多头注意力机制的计算过程如下

其中，c_att∈R^d为多头注意力机制的输出向量，MHA表示多头注意力机制，o_h∈R^2d/n为记忆向量H和产品方面向量

的第h个子向量对

使用注意力机制计算得到的输出向量，“·”为矩阵相乘操作，W∈R^d×2d为多头注意力机制的训练参数；

其中，对于每个子向量对，使用注意力机制的计算流程为：通过全连接层计算注意力权重，使用tanh函数激活，然后将获得的向量归一化产生注意力权重，得到的输出是记忆向量H的第h个子向量H_h中的每个切片对

的权重之和，计算公式如下：

其中，

表示产品方面向量

中的第h个子向量，H_h,i∈R^2d/n，i＝1,2,...,N表示记忆向量H的第h个子向量H_h∈R^N×(2d/n),h＝1,2,...,n中的第i个切片，W₂∈R^N×(3d/n)为训练参数，α_i∈(0,1)是词向量H_h,i对应的注意力权重，o_h∈R^2d/n是加权后的表征向量；

步骤B32：将多头注意力机制的输出向量c_att与产品方面向量相加，得到

将其作为下一层的输入，其中e¹∈R^d；

步骤B33：以e¹代替

输入到下一个计算层，重复步骤B31～B32，其中每个计算层的输出为e^l∈R^d，l表示当前计算层为第l层，并且e^l同时作为第l+1层计算层的输入；迭代结束后得到评论的表征向量e^k∈R^d，其中k为计算层的层数，1≤l≤k。

进一步地，所述步骤B4具体为：通过全连接层融合记忆向量和表征向量，使用tanh函数激活，得到的输出即为评论的记忆融合表征向量e^(s)∈R^d，计算公式如下：

e^(s)＝u^Ttanh(H^TW₃e^k+W₄[H；e^k]+b)

其中，“；”表示向量连接操作，u^T∈R^d×2d是二维矩阵u的转置，W₃∈R^N×d和W₄∈R^2d×3d为权重矩阵，b∈R^2d为偏置项；u^T、W₃、W₄、b均为可学习的参数。

进一步地，所述步骤B5具体包括以下步骤：

步骤B51：将记忆融合表征向量e^(s)输入到全连接层，并使用softmax归一化，计算评论者对产品方面的情感属于各类别的概率，计算公式如下：

y＝W₅e^(s)+b₂

p^c(y)＝softmax(y)

其中，W₅∈R^3×d为全连接层权重矩阵，b₂∈R³为全连接层的偏置项，p^c(y)是预测该产品方面对应的情感为类别c的概率，0≤p^c(y)≤1，c∈C＝{积极，消极，中性}；

步骤B52：用交叉熵作为损失函数计算损失值，通过梯度优化算法SGD进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；

其中，最小化损失函数Loss的计算公式如下：

其中，λ||θ||²是L₂正则化项，λ是学习率，θ包含所有参数，c为该方面对应的情感极性。

本发明还提供了一种采用上述方法的方面级用户产品评论情感分析系统，包括：

数据收集模块，用于提取用户的产品评论、评论中产品方面词、产品方面词的位置信息，并对产品方面的情感极性进行标注，构建训练集；

预处理模块，用于对训练集中的训练样本进行预处理，包括分词处理和去除停用词；

编码模块，用于在预训练的词向量矩阵中查找经过预处理的用户产品评论和产品方面中词的词向量，并且结合位置信息得到方面级用户产品评论的初始表征向量和产品方面向量；

网络训练模块，用于将方面级用户产品评论的初始表征向量和产品方面向量输入到深度学习网络中，得到记忆融合表征向量并以此训练深度学习网络，利用该向量属于某一类别的概率以及训练集中的标注作为损失，以最小化损失为目标来对整个深度学习网络进行训练，得到深度学习网络模型；以及

情感分析模块，用于利用训练好的深度学习网络模型对输入的用户产品评论进行分析处理，输出用户评论中的产品方面的情感评价极性。

相较于现有技术，本发明具有以下有益效果：提供了一种融合MemNet网络与双向LSTM的方面级产品评论情感分析方法及系统，该方法及系统使用多头注意力捕获长期依赖，并且多头注意力机制比传统的注意力机制更细粒度，从而能够减少噪声的影响，同时使用tensor layer将MemNet的输出向量和记忆向量融合，使得在计算过程中损失的句子的原始信息得到补充，提高了情感分类的准确度。

附图说明

图1为本发明实施例的方法实现流程图。

图2为本发明实施例的系统结构示意图。

图3为本发明实施例的模型架构图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供了一种方面级用户产品评论情感分析方法，如图1所示，包括以下步骤：

步骤A：提取用户的产品评论、评论涉及的产品方面词、产品方面词的位置信息，并对产品方面的情感极性进行标注，构建训练集SA。

步骤B：使用训练集SA，训练用于方面级用户产品评论情感分析的融合记忆网络与双向长短期记忆网络(BiLSTM网络)的深度学习网络模型M。

如图3所示，所述步骤B具体包括以下步骤：

步骤B1：对训练集SA中的每条用户产品评论、评论中的产品方面词、产品方面词的位置、产品方面的情感极性进行编码，得到方面级用户产品评论的初始表征向量

和产品方面向量

具体包括以下步骤：

步骤B11：遍历训练集SA，SA中的每个训练样本表示为sa＝(s,a,c)，其中s表示产品评论，a表示评论s涉及的产品方面，c为该产品方面的评论对应的情感极性，情感极性分为三种：积极、消极、中性；对训练样本sa中的评论s和产品方面a进行分词处理，去除停用词；

其中，评论s经过分词及去除停用词后，表示为：

其中，

为评论s经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,N，N为评论s经过分词及去除停用词后剩余的词语数量；

步骤B12：对经过分词及去除停用词后的产品评论s进行编码，得到评论s的初始表征向量

表示为：

其中，

为第i个词

所对应的词向量，通过在预训练的词向量矩阵E∈R^{d ×|D|}中查找得到，其中d表示词向量的维度，|D|是词典D中的词语数；

为评论s中第i个词

所对应的位置信息的编码，其编码方式如下：

其中，j_s ^(a)为经过分词及去除停用词后的产品方面a中的第一个词在评论s中的位置，而j_e ^(a)为经过分词及去除停用词后的产品方面a中的最后一个词在评论s中的位置；

是评论s的初始表征向量

中第t个单词

及其位置信息p_t的联合表示，“；”表示向量连接操作，

评论s的初始表征向量

R^{(d +1)×N}表示实数域上(d+1)×N维的二维矩阵；

步骤B13：对经过分词及去除停用词后的产品方面a进行编码，得到产品方面a的表征向量，即产品方面向量

其中，a表示为：

其中，产品方面a是一个短语，由1个或多个连续的词构成，

为产品方面a中的第i个词，i＝1,2,...,m，m为产品方面a经过分词及去除停用词后剩余的词语数量；

用

表示第i个词

所对应的词向量，通过在预训练的词向量矩阵E∈R^{d ×|D|}中查找得到；

则产品方面a的表征向量

表示为：

其中，

由对

进行平均池化得到。

步骤B2：将步骤B1得到的初始表征向量

输入到双向长短期记忆网络中，得到方面级用户产品评论的带位置信息的记忆向量H。具体包括以下步骤：

步骤B21：对于双向长短期记忆网络的正向，依次输入构成产品评论s的初始表征向量

的序列

得到

在正向长短期记忆网络中的隐层状态向量

其中

f为长短期记忆网络中对隐层状态的激活函数；

步骤B22：对于双向长短期记忆网络的反向，依次输入

得到

在反向长短期记忆网络中的隐层状态向量

其中

步骤B23：将隐层状态向量进行连接并转置得到用户产品评论的带位置信息的记忆向量H，H＝[h₁,...,h_t,...,h_N]^T，H∈R^N×2d，

h_t为正向隐层状态向量

与反向隐层状态向量

的连接。

步骤B3：将步骤B2得到的记忆向量H和步骤B1得到的产品方面向量

输入到记忆网络中，使用多头注意力机制进行情感极性学习，得到方面级用户产品评论的表征向量e^k，其中k是记忆网络中计算层的层数。具体包括以下步骤：

步骤B31：将产品方面向量

作为记忆网络中第一个计算层的输入，通过多头注意力机制从记忆向量H中自适应选择重要部分；

首先选择能够整除d的整数n，将记忆向量H和产品方面向量

在最后一个维度上平均切分成n个子向量，得到子向量序列{H₁,...,H_h,...,H_n}和

其中H_h∈R^{N ×(2d/n)},h＝1,2,...,n，是记忆向量H的第h个子向量，

是产品方面向量

的第h个子向量；

然后将记忆向量H的每个子向量和产品方面向量

中对应的子向量构成一个子向量对，即

对每个子向量对单独使用注意力机制进行计算，然后进行拼接，n为多头注意力机制的头数，多头注意力机制的计算过程如下

其中，c_att∈R^d为多头注意力机制的输出向量，MHA表示多头注意力机制，o_h∈R^2d/n为记忆向量H和产品方面向量

的第h个子向量对

使用注意力机制计算得到的输出向量，“·”为矩阵相乘操作，W∈R^d×2d为多头注意力机制的训练参数；

其中，对于每个子向量对，使用注意力机制的计算流程为：通过全连接层计算注意力权重，使用tanh函数激活，然后将获得的向量归一化产生注意力权重，得到的输出是记忆向量H的第h个子向量H_h中的每个切片对

的权重之和，计算公式如下：

其中，

表示产品方面向量

中的第h个子向量，H_h,i∈R^2d/n，i＝1,2,...,N表示记忆向量H的第h个子向量H_h∈R^N×(2d/n),h＝1,2,...,n中的第i个切片，W₂∈R^N×(3d/n)为训练参数，α_i∈(0,1)是词向量H_h,i对应的注意力权重，o_h∈R^2d/n是加权后的表征向量；

步骤B32：将多头注意力机制的输出向量c_att与产品方面向量相加，得到

将其作为下一层的输入，其中e¹∈R^d；

步骤B33：以e¹代替

输入到下一个计算层，重复步骤B31～B32，其中每个计算层的输出为e^l∈R^d，l表示当前计算层为第l层，并且e^l同时作为第l+1层计算层的输入；迭代结束后得到评论的表征向量e^k∈R^d，其中k为计算层的层数，1≤l≤k。

步骤B4：连接步骤B2得到的记忆向量H与步骤B3得到的表征向量e^k，输入到张量层进行特征融合，得到方面级用户产品评论的记忆融合表征向量e^(s)。具体为：

通过全连接层融合记忆向量和表征向量，使用tanh函数激活，得到的输出即为评论的记忆融合表征向量e^(s)∈R^d，计算公式如下：

e^(s)＝u^Ttanh(H^TW₃e^k+W₄[H；e^k]+b)

其中，“；”表示向量连接操作，u^T∈R^d×2d是二维矩阵u的转置，W₃∈R^N×d和W₄∈R^2d×3d为权重矩阵，b∈R^2d为偏置项；u^T、W₃、W₄、b均为可学习的参数。

步骤B5：将步骤B4得到的记忆融合表征向量e^(s)输入到softmax层，根据目标损失函数loss，利用反向传播方法计算深度网络中各参数的梯度，并利用随机梯度下降方法更新参数。具体包括以下步骤：

步骤B51：将记忆融合表征向量e^(s)输入到全连接层，并使用softmax归一化，计算评论者对产品方面的情感属于各类别的概率，计算公式如下：

y＝W₅e^(s)+b₂

p^c(y)＝softmax(y)

其中，W₅∈R^3×d为全连接层权重矩阵，b₂∈R³为全连接层的偏置项，p^c(y)是预测该产品方面对应的情感为类别c的概率，0≤p^c(y)≤1，c∈C＝{积极，消极，中性}；

步骤B52：用交叉熵作为损失函数计算损失值，通过梯度优化算法SGD进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；

其中，最小化损失函数Loss的计算公式如下：

其中，λ||θ||²是L₂正则化项，λ是学习率，θ包含所有参数，c为该方面对应的情感极性。

步骤B6：当深度学习网络模型M产生的损失值小于设定阈值且不再降低或者迭代次数达到最大迭代次数，则终止神经网络模型的训练。

步骤C：输入用户对产品的评论，提取评论涉及的产品方面词，将产品评论、产品方面词输入到训练好的深度学习网络模型M中，输出对产品方面的情感评价极性。

本发明还提供了采用上述方法的方面级用户产品评论情感分析系统，如图2所示，包括：

数据收集模块，用于提取用户的产品评论、评论中产品方面词、产品方面词的位置信息，并对产品方面的情感极性进行标注，构建训练集；

预处理模块，用于对训练集中的训练样本进行预处理，包括分词处理和去除停用词；

编码模块，用于在预训练的词向量矩阵中查找经过预处理的用户产品评论和产品方面中词的词向量，并且结合位置信息得到方面级用户产品评论的初始表征向量和产品方面向量；

网络训练模块，用于将方面级用户产品评论的初始表征向量和产品方面向量输入到深度学习网络中，得到记忆融合表征向量并以此训练深度学习网络，利用该向量属于某一类别的概率以及训练集中的标注作为损失，以最小化损失为目标来对整个深度学习网络进行训练，得到深度学习网络模型；以及

情感分析模块，用于利用训练好的深度学习网络模型对输入的用户产品评论进行分析处理，输出用户评论中的产品方面的情感评价极性。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (8)

1.一种方面级用户产品评论情感分析方法，其特征在于，包括以下步骤：

步骤A：提取用户的产品评论、评论涉及的产品方面词、产品方面词的位置信息，并对产品方面的情感极性进行标注，构建训练集SA；

步骤B：使用训练集SA，训练用于方面级用户产品评论情感分析的融合记忆网络与双向长短期记忆网络的深度学习网络模型M；

步骤C：输入用户对产品的评论，提取评论涉及的产品方面词，将产品评论、产品方面词输入到训练好的深度学习网络模型M中，输出对产品方面的情感评价极性。

2.根据权利要求1所述的一种方面级用户产品评论情感分析方法，其特征在于，所述步骤B具体包括以下步骤：

步骤B1：对训练集SA中的每条用户产品评论、评论中的产品方面词、产品方面词的位置、产品方面的情感极性进行编码，得到方面级用户产品评论的初始表征向量

和产品方面向量

步骤B2：将步骤B1得到的初始表征向量

输入到双向长短期记忆网络中，得到方面级用户产品评论的带位置信息的记忆向量H；

步骤B3：将步骤B2得到的记忆向量H和步骤B1得到的产品方面向量

输入到记忆网络中，使用多头注意力机制进行情感极性学习，得到方面级用户产品评论的表征向量e^k，其中k是记忆网络中计算层的层数；

步骤B4：连接步骤B2得到的记忆向量H与步骤B3得到的表征向量e^k，输入到张量层进行特征融合，得到方面级用户产品评论的记忆融合表征向量e^(s)；

步骤B5：将步骤B4得到的记忆融合表征向量e^(s)输入到softmax层，根据目标损失函数loss，利用反向传播方法计算深度学习网络中各参数的梯度，并利用随机梯度下降方法更新参数；

步骤B6：当深度学习网络模型M产生的损失值小于设定阈值且不再降低或者迭代次数达到最大迭代次数，则终止深度学习网络模型的训练。

3.根据权利要求2所述的一种方面级用户产品评论情感分析方法，其特征在于，所述步骤B1具体包括以下步骤：

步骤B11：遍历训练集SA，SA中的每个训练样本表示为sa＝(s,a,c)，其中s表示产品评论，a表示评论s涉及的产品方面，c为该产品方面的评论对应的情感极性，情感极性分为三种：积极、消极、中性；对训练样本sa中的评论s和产品方面a进行分词处理，去除停用词；

其中，评论s经过分词及去除停用词后，表示为：

其中，

为评论s经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,N，N为评论s经过分词及去除停用词后剩余的词语数量；

步骤B12：对经过分词及去除停用词后的产品评论s进行编码，得到评论s的初始表征向量

表示为：

其中，

为第i个词

所对应的词向量，通过在预训练的词向量矩阵E∈R^d×|D|中查找得到，其中d表示词向量的维度，|D|是词典D中的词语数；

为评论s中第i个词

所对应的位置信息的编码，其编码方式如下：

其中，j_s ^(a)为经过分词及去除停用词后的产品方面a中的第一个词在评论s中的位置，而j_e ^(a)为经过分词及去除停用词后的产品方面a中的最后一个词在评论s中的位置；

是评论s的初始表征向量

中第t个单词

及其位置信息p_t的联合表示，“；”表示向量连接操作，

t＝1,2,...,N，评论s的初始表征向量

步骤B13：对经过分词及去除停用词后的产品方面a进行编码，得到产品方面a的表征向量，即产品方面向量

其中，a表示为：

其中，产品方面a是一个短语，由1个或多个连续的词构成，

为产品方面a中的第i个词，i＝1,2,...,m，m为产品方面a经过分词及去除停用词后剩余的词语数量；

用

表示第i个词

所对应的词向量，通过在预训练的词向量矩阵E∈R^d×|D|中查找得到；

则产品方面a的表征向量

表示为：

其中，

由对

i＝1,2,...,m进行平均池化得到。

4.根据权利要求3所述的一种方面级用户产品评论情感分析方法，其特征在于，所述步骤B2具体包括以下步骤：

步骤B21：对于双向长短期记忆网络的正向，依次输入构成产品评论s的初始表征向量

的序列

得到

t＝1,2,...,N在正向长短期记忆网络中的隐层状态向量

t＝1,2,...,N，其中

f为长短期记忆网络中对隐层状态的激活函数；

步骤B22：对于双向长短期记忆网络的反向，依次输入

得到

t＝1,2,...,N在反向长短期记忆网络中的隐层状态向量

t＝1,2,...,N，其中

步骤B23：将隐层状态向量进行连接并转置得到用户产品评论的带位置信息的记忆向量H，H＝[h₁,...,h_t,...,h_N]^T，H∈R^N×2d，

h_t为正向隐层状态向量

与反向隐层状态向量

的连接。

5.根据权利要求2所述的一种方面级用户产品评论情感分析方法，其特征在于，所述步骤B3具体包括以下步骤：

步骤B31：将产品方面向量

作为记忆网络中第一个计算层的输入，通过多头注意力机制从记忆向量H中自适应选择重要部分；

首先选择能够整除d的整数n，将记忆向量H和产品方面向量

在最后一个维度上平均切分成n个子向量，得到子向量序列{H₁,...,H_h,...,H_n}和

其中H_h∈R^{N ×(2d/n)},h＝1,2,...,n，是记忆向量H的第h个子向量，

h＝1,2,...,n是产品方面向量

的第h个子向量；

然后将记忆向量H的每个子向量和产品方面向量

中对应的子向量构成一个子向量对，即

h＝1,2,...,n，对每个子向量对单独使用注意力机制进行计算，然后进行拼接，n为多头注意力机制的头数，多头注意力机制的计算过程如下

其中，c_att∈R^d为多头注意力机制的输出向量，MHA表示多头注意力机制，o_h∈R^2d/n为记忆向量H和产品方面向量

的第h个子向量对

使用注意力机制计算得到的输出向量，“·”为矩阵相乘操作，W∈R^d×2d为多头注意力机制的训练参数；

其中，对于每个子向量对，使用注意力机制的计算流程为：通过全连接层计算注意力权重，使用tanh函数激活，然后将获得的向量归一化产生注意力权重，得到的输出是记忆向量H的第h个子向量H_h中的每个切片对

的权重之和，计算公式如下：

其中，

表示产品方面向量

中的第h个子向量，H_h,i∈R^2d/n，i＝1,2,...,N表示记忆向量H的第h个子向量H_h∈R^N×(2d/n),h＝1,2,...,n中的第i个切片，W₂∈R^N×(3d/n)为训练参数，α_i∈(0,1)是词向量H_h,i对应的注意力权重，o_h∈R^2d/n是加权后的表征向量；

步骤B32：将多头注意力机制的输出向量c_att与产品方面向量相加，得到

将其作为下一层的输入，其中e¹∈R^d；

步骤B33：以e¹代替

输入到下一个计算层，重复步骤B31～B32，其中每个计算层的输出为e^l∈R^d，l表示当前计算层为第l层，并且e^l同时作为第l+1层计算层的输入；迭代结束后得到评论的表征向量e^k∈R^d，其中k为计算层的层数，1≤l≤k。

6.根据权利要求2所述的一种方面级用户产品评论情感分析方法，其特征在于，所述步骤B4具体为：通过全连接层融合记忆向量和表征向量，使用tanh函数激活，得到的输出即为评论的记忆融合表征向量e^(s)∈R^d，计算公式如下：

e^(s)＝u^Ttanh(H^TW₃e^k+W₄[H；e^k]+b)

其中，“；”表示向量连接操作，u^T∈R^d×2d是二维矩阵u的转置，W₃∈R^N×d和W₄∈R^2d×3d为权重矩阵，b∈R^2d为偏置项；u^T、W₃、W₄、b均为可学习的参数。

7.根据权利要求2所述的一种方面级用户产品评论情感分析方法，其特征在于，所述步骤B5具体包括以下步骤：

步骤B51：将记忆融合表征向量e^(s)输入到全连接层，并使用softmax归一化，计算评论者对产品方面的情感属于各类别的概率，计算公式如下：

y＝W₅e^(s)+b₂

p^c(y)＝soft max(y)

其中，W₅∈R^3×d为全连接层权重矩阵，b₂∈R³为全连接层的偏置项，p^c(y)是预测该产品方面对应的情感为类别c的概率，0≤p^c(y)≤1，c∈C＝{积极，消极，中性}；

步骤B52：用交叉熵作为损失函数计算损失值，通过梯度优化算法SGD进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；

其中，最小化损失函数Loss的计算公式如下：

其中，λ||θ||²是L₂正则化项，λ是学习率，θ包含所有参数，c为该方面对应的情感极性。

8.一种采用如权利要求1-7任一项所述方法的方面级用户产品评论情感分析系统，其特征在于，包括：

数据收集模块，用于提取用户的产品评论、评论中产品方面词、产品方面词的位置信息，并对产品方面的情感极性进行标注，构建训练集；

预处理模块，用于对训练集中的训练样本进行预处理，包括分词处理和去除停用词；

编码模块，用于在预训练的词向量矩阵中查找经过预处理的用户产品评论和产品方面中词的词向量，并且结合位置信息得到方面级用户产品评论的初始表征向量和产品方面向量；

网络训练模块，用于将方面级用户产品评论的初始表征向量和产品方面向量输入到深度学习网络中，得到记忆融合表征向量并以此训练深度学习网络，利用该向量属于某一类别的概率以及训练集中的标注作为损失，以最小化损失为目标来对整个深度学习网络进行训练，得到深度学习网络模型；以及

情感分析模块，用于利用训练好的深度学习网络模型对输入的用户产品评论进行分析处理，输出用户评论中的产品方面的情感评价极性。

Images