CN116663566A - 一种基于商品评价的方面级情感分析方法及系统 - Google Patents

Abstract

本发明提供了一种基于商品评价的方面级情感分析方法及系统，使用多头注意力构建关于语义信息和依赖类型信息的概率注意力矩阵，使用预训练模型并且使用StanfordNLP工具深度解析句子的句法依赖信息，融合多尺度的句法信息，能够更有效捕捉到商品评价文本中对方面词有重大关系的下文意见词，提取到对方面词情感极性重要的信息，从而当用户浏览商品时为其提供更有效地评价信息，为商家提供全面的反馈信息，帮助用户及商家做出决策。

Description

一种基于商品评价的方面级情感分析方法及系统

技术领域

本发明涉及自然语言处理(NLP)领域，尤其涉及一种基于商品评价文本的方面级情感分析方法及系统。

背景技术

近年来，伴随着互联网技术迅速发展的红利，诸多领域的互联网产品层出不穷，呈现出蓬勃生机，深入影响了人们的日常生活。例如：社交领域的微博、论坛和博客；电子商务领域的淘宝、京东和苏宁易购；新闻媒体领域的新浪新闻和搜狐新闻等。借助这些平台，人们可以在网上方便地发表言论，表达自己的观点和意见，表明自己对事物的情感态度。尤其在电子商务领域中，商品下面会有很多用户进行评价留言，从用户角度来看，大部分消费者在购买商品时往往会先查看评论信息，依据评论信息来辅助选购决策，评论信息不但能够反馈商品的真实信息，还能维护消费者利益，因此，合理利用商品评价信息，通过情感分析可以给用户带来极大参考价值。从商家角度来看，评论数据包含重要反馈信息，不仅对产品更新迭代具有关键性作用，还能了解用户态度和行为，提高服务水平，合理利用评论信息，能够促使商家调整消费策略，提高竞争力，从而赢得更多消费者信任。

情感分析又称观点挖掘，研究人们在文本中表达的情感、态度和观点，情感极性一般分为积极、消极和中立三种。伴随着时代的进步，社会对文本情感分析提出了更高的要求，情感分析后续发展出三个子领域，学者们根据情感对象粒度的大小将情感分析工作细分为三个等级，分别是文档级、句子级和方面级。文档级情感分析假设一篇文章或一篇评论是有观点的，文章的观点信息是对单个评论实体的描述，该任务将整篇文章或评论作为情感分析对象，并分析文档的整体感情极性。句子级情感分析将文章或评论中的每一个句子均当作情感分析对象，并分析句子的整体感情极性。传统的情感分析，主要针对篇章级和句子级的文本进行粗粒度的情感分析。但是粗粒度的情感分析，只假定文本中只包含单一情感，如正向或负向，无法对含有多个方面的文本进行情感识别。

方面级情感分析(Aspect-based Sentiment Analysis，ABSA)将句子中不同的评价方面(aspect)均作为情感分析对象，情感分析对象的粒度更细，因此方面级情感分析属于细粒度的情感分析任务。方面级情感分析任务的目的是对句中特定方面的情感极性进行判断，例如句子“披萨很好吃但是定价太贵了”中有两个特定方面，分别是“披萨”和“定价”，其中“披萨”对应的感情极性是积极的，“定价”对应的感情极性是消极的。句子的特定方面可以是单词，也可以是短语，为了方便描述，统称为方面词。

近年来深度学习在自然语言处理(NLP)领域取得了显著成果，多种神经网络模型被应用在方面级情感分析研究当中，学者们利用神经网络模型能够取得更全面、更深层的文本语义特征，使得方面级情感分析的准确率和效率大幅提升。使用神经网络的方法不需要开展繁重的特征工程，节省了大量的人力成本。由于深度神经网络具有强大的特征提取能力，近年来基于深度学习的方法逐渐成为方面级情感分析领域的热门研究方法。有研究者利用长短期记忆网络模型(Long Short Term Memory，LSTM)建模方面词和对应观点。2017年，TANG等采用两层LSTM模型编码特征，然后把两个网络的隐藏状态融合再输入分类器，但是通过这种方式建立的相关性较弱。随后有部分研究者把注意力机制应用到该任务，显著地增强了模型的效果。2018年，MA等采用注意力机制针对方面词学习上下文特征向量，但是由于语言的复杂性，有时会不可避免地产生偏差。2019年，zhang等人将图卷积神经网络(GCN)应用到了ABSA任务中，GCN能够解决Attention不能关注长距离范围信息的问题。2020年，wang等人使用图注意力网络结合句法依赖信息进行ABSA任务并取得了不错的效果。2021年，Li等人通过多头注意力机制结合图卷积神经网络融合语义信息和句法依赖信息使得模型的输入包含更加针对性的语义信息和句法依赖信息。但是，上述基于图卷积神经网络的方法在处理ABSA任务时仍会存在以下的缺陷：

(1)使用依赖解析器获得句子的依赖信息时并未充分利用潜在的句法依赖信息。

(2)现有的挖掘出来的潜在的语义信息和句法依赖信息的利用方式设计合理性不足，并未充分利用文本的语义和句法的关系，并且方面词和意见词之间的联系重视程度不够，上下文信息和句法依赖信息交互不足，导致取得的效果不佳。

因此，亟需一种能够解决上述问题的方面级情感分析方法

发明内容

本发明的目的是提出一种基于商品评价信息的方面级情感分析方法及系统，已解决上述提到的两个问题。同时可以为浏览商品的用户及时提供商品的综合评价信息，为商家提供全面的反馈信息，以辅助用户和商家做出更优决策。

为了实现上述目的，本发明所采用的技术方案如下：

S1：数据预处理和准备：获取商品评价文本数据，利用StanfordcoreNLP解析句子的句法依赖信息，进而获得关于商品评价文本的依赖关系矩阵A^rel、依赖类型序列两种句法依赖信息；

S2：特征输入：使用Bert预训练模型或者Glove模型对商品评价文本的上下文语义信息进行词向量映射；随机初始化依赖类型的词向量并进行词嵌入操作，然后使用BiLSTM分别提取语义信息和句法依赖信息，得到语义信息的隐藏向量表示H^c和句法依赖信息的隐藏向量表示H^c1；将H^c与位置距离信息使用交互注意力机制进行融合，然后拼接融合后的H^c和H^c1，得到输入的隐藏向量表示H；

S3：语义特征提取和句法依赖特征提取：使用多头注意力机制分别求出关于语义信息隐藏向量的注意力得分矩阵A^sem和关于句法依赖类型信息隐藏向量的注意力得分矩阵A^type，之后把A^type和A^rel进行融合得到包含更丰富信息的依赖信息矩阵A^syn，然后A^sem与S2阶段得到的H送入语义信息图卷积层进行语义信息的特征提取，A^syn与S2阶段得到的H送入到句法信息图卷积层进行句法信息特征提取；

S4：信息交互：使用交互注意力进行S3阶段中每层上下文语义信息隐藏向量和句法依赖信息之间的信息隐藏向量/>交互，使得语义信息指导句法依赖信息参数更新学习，句法依赖信息指导语义信息参数更新学习，如此经过三层图卷积操作，其中每层图卷积之后进行交互注意力操作；

S5：情感极性分类：对经过特征提取和交互的最终隐藏输出进行方面词的MASK平均操作，然后softmax对商品评价文本进行最后的情感预测。

特别的，在步骤S1中，在使用句法依赖类型的词嵌入之前，首先构建关于依赖类型的语料库，即依赖类型的词汇表；在根据依存句法分析和句法解析构建依赖关系矩阵A^rel时，使用StanfordNLP句法解析器。

特别的，在步骤S2中，随机初始化依赖类型词向量中，将随机初始维度设置成40维；用来提取语义信息的BiLSTM的隐藏层维度和提取句法依赖信息的BiLSTM的隐藏层维度设置成50维；使用一层BiLSTM提取隐藏特征，并在上述过程中使用dropout来防止模型过拟合，其中词嵌入的dropout值设置为0.7，BiLSTM模型输入中droput设置为0.1，图卷积的中dopout设置为0.1。

特别的，在步骤S3使用多头注意力机制构建语义信息的概率注意力矩阵和句法依赖信息的概率注意力矩阵之后都进行标准化处理。

特别的，在步骤S4中，参与语义信息和句法依赖信息交互的两个向量矩阵在交互完成之后，用dropout防止过拟合，并每次交互之后标准化。

特别的，在步骤S5中，在训练阶段使用交叉熵计算真实标签和预测标签之间的损失值，在测试阶段根据预测结果表示来做模型方法的效果评估。

本发明通过上述技术方案，使用多头注意力构建关于语义信息和依赖类型信息的概率注意力矩阵，使用预训练模型并且使用StanfordNLP工具深度解析句子的句法依赖信息，融合多尺度的句法信息，解决了单一网络对语义信息和句法信息特征提取不充分、难以关注到对分类结果有重大影响的词且短句情感模糊表达等问题，能够更有效捕捉到商品评价信息中对方面词有重大关系的下文意见词，提取到对方面词情感极性重要的信息，从而当用户浏览商品时为其提供更有效地评价信息，为商家提供全面的反馈信息，帮助用户及商家做出决策。

附图说明

图1为本发明的方法流程示意图。

具体实施方式

下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图1对本发明的技术方案如何解决上述技术问题进行详细说明。

如图1所示，本发明方法的实施过程包括如下具体步骤：

步骤S1：数据预处理和准备。

首先对商品评价文本数据集进行数据格式的预处理，得到包括词性、位置信息、方面词的始末位置等信息。然后用StanfordcoreNLP解析句子的句法依赖信息，获得句法依赖树，进而从中挖掘句法依赖信息；同时计算句子中各单词相对于方面词的位置距离。

其中，通过句法依赖树构建依赖关系矩阵A^rel和商品评价文本单词之间的依赖类型序列(由于语种的依赖类型是离散的且总类型可数，故保存关于本语种的依赖类型的字典用来匹配句子的依赖类型)。

同时，计算句子线性结构中各单词相对于方面词的位置距离，计算公式如下：

其中，p_i是第i个个词位置权重，j_s和j_s+m分别是方面词开始索引和结束索引。

S2：特征输入。

使用Bert预训练模型对句子的上下文语义信息进行词向量映射，即词对应的词嵌入/>其中d表示BERT的词向量维度，值为768。随机初始化依赖类型的词向量并进行词嵌入操作，将随机初始维度设置成40维。为了防止模型过拟合，词嵌入使用dropout，其值设置为0.7。

使用BiLSTM编码器来捕捉句子中的上下文语义信息和句法依赖信息，文本单词在BERT预训练模型词嵌入下的初始状态向量h＝{h₁，h₂，…h_n}，随机初始化词嵌入的依赖类型向量h¹＝{h₁，h₂，…h_n}，上下文信息被嵌入到BiLSTM生成隐藏状态向量其中H^c表示时间t时的隐藏状态向量，依赖关系信息同理被嵌入到BiLSTM生成隐藏状态向量/>

其中H^c和H^c1是前向LSTM隐藏向量和后向LSTM隐藏向量拼接得到，并且LSTM隐藏层的维度设置成50，为了防止模型过拟合，每个LSTM都使用dropout，其值设置为0.1。

为了使模型送入图卷积网络的向量同时包含本句子的语义信息和句法依赖信息，故拼接步骤2得到的H^c和H^c1，记作H。

融合位置距离信息并拼接H^c和H^c1的方式如下：

其中，F是位置权重函数，p_i是第i个个词位置权重，H^c是包含位置信息的上下文隐藏向量表示，H^c1是依赖关系类型的隐藏向量表示。

S3：语义特征提取和句法依赖特征提取。

使用多头注意力机制分别求出关于语义信息隐藏向量的注意力得分矩阵A^sem和关于句法依赖类型信息隐藏向量的注意力得分矩阵A^type，之后把A^type和A^rel进行融合得到包含更丰富信息的依赖信息矩阵A^syn，然后A^sem与S2阶段得到的H送入语义信息图卷积层进行语义信息的特征提取，A^syn与S2阶段得到的H送入到句法信息图卷积层进行句法信息特征提取。为了防止模型过拟合，图卷积使用dropout，其值设置为0.1。

具体步骤和使用模块如下：

S31：使用多头注意力分别提取语义信息隐藏特征和句法依赖信息隐藏特征，并构建语义信息和句法依赖信息的概率注意力矩阵。以使用多头注意力构建语义信息的概率注意力矩阵为例，使用注意力求出每个头的关于语义信息的概率注意力矩阵然后求和平均所有头的/>得到最终的语义信息的概率注意力矩阵A^sem，具体公式如下所示：

其中，和/>都是可学习的参数矩阵，H^c是S2阶段上下文语义信息的隐藏向量表示，d_head是多头注意力的头数，d_lstm是H^c的维度。

同理可得句法依赖类型的概率注意力矩阵A^type。

S32：为了获得更加丰富的句法依赖信息，因此把S1步骤获得的依赖关系矩阵A^rel和刚刚获得的句法依赖类型的概率注意力矩阵A^type进行融合，以获得更加丰富的句法依赖信息的概率注意力矩阵A^syn，具体公式如下：

A^syn＝W^typeA^type+A^rel

其中，W^type是可学习的参数矩阵。

然后使用LN标准化函数来标准化A^syn和A^sem。

S33：语义信息图卷积和句法依赖信息图卷积。根据S1和S2以及S3的前部分工作，已经初步获得初始的语义信息结合句法依赖类型信息的隐藏状态向量H、语义信息的概率注意力矩阵A^sem、句法依赖信息的概率注意力矩阵A^syn，然后H和A^sem送入语义信息图卷积层得到语义信息通过图卷积提取特征的中间隐藏状态h^sem，H和A^syn送入句法依赖信息图卷积层得到句法依赖信息通过图卷积提取特征的中间隐藏状态h^syn，具体的两个图卷积操作公式如下所示：

其中，和/>分别是语义信息的概率注意力矩阵和句法依赖信息的概率注意力矩阵，/>和/>是可学习的参数矩阵，/>和/>是偏置参数。/>是h_i的上一层的邻居节点隐藏表示，/>是激活函数。

S4：信息交互阶段：使用交互注意力进行S3阶段中每层上下文语义信息隐藏向量和句法依赖信息之间的信息隐藏向量/>交互，使得语义信息指导句法依赖信息参数更新学习，句法依赖信息指导语义信息参数更新学习，如此经过三层图卷积，每层图卷积之后进行交互注意力操作，具体交互注意力公式如下：

其中，LN为标准化函数，是交互后的语义隐藏向量表示，C_sem是使用交互注意力交互语义信息和依赖信息之后的隐藏向量信息，Q_syn、/>V_sem都是可学习参数矩阵，d表示通道数。

同样地，对于句法依赖信息使用语义信息指导交互信息的交互注意力公式如下：

其中，LN为标准化函数，是交互后的句法依赖信息之间的信息隐藏向量，C_syn是使用交互注意力交互依赖信息和语义信息之后的隐藏向量信息，Q_sem、/>V_syn都是可学习参数矩阵，d表示通道数。

虽然在模型输入前交互依赖类型信息和上下文信息融合了上下文和依赖信息，但是在每一层的图卷积过程中还需要进一步进行交换信息，用来指导图卷积神经网络同时学习到语义信息和句法信息。

H^syn′＝softmax(H^synW₁(H^sem)^T)H^sem

H^sem′＝softmax(H^semW₂(H^syn)^T)H^syn

其中，W₁和W₂是可学习的权重矩阵，H^syn和H^sem分别是通过语法图卷积和语义图卷积的输出。

S5：情感极性分类阶段：对经过特征提取和交互的最终隐藏输出进行方面词的MASK平均操作，然后softmax对商品评价文本进行最后的情感预测。其中，方面词的MASK平均操作具体公式如下所示：

到步骤S4经过三层图卷积和交互信息之后以及最后经过方面MASK遮掩后最终得到的隐藏向量h，然后得到商品评价文本方面级情感极性分类P＝SoftMax(Wh+b)，其中W是可学习的参数矩阵，b是偏置参数。

此外，本发明还包括一种基于商品评价的方面级情感分析系统，主要包含语义模块和句法依赖模块和信息融合交互模块、情感极性输出模块四大部分。其中语义模块又分为词嵌入层、编码层、语义信息图卷积层；句法依赖模块有分为句法解析层、编码层、句法依赖信息图卷积层。

语义模块：词嵌入层，主要是以高维的数字向量代表一句话中的每一个分词标记，这里使用Bert进行词向量的表示；编码层，使用BiLSTM计算上下文语义信息的隐藏特征；语义信息图卷积层，将融合了线性结构位置距离的上下文语义信息、树形结构句法依赖类型信息的隐藏向量和上下文隐藏向量的概率矩阵进行图卷积操作。

句法依赖模块：句法解析层，使用StanfordNLP解析句子的句法依赖信息，以获得包含依赖关系和依赖类型的句法依赖信息；编码层，随机初始化依赖类型的词向量，并使用BiLSTM计算依赖类型信息的隐藏特征；句法依赖信息图卷积层，将融合了线性结构位置距离的上下文语义信息、树形结构句法依赖类型信息的隐藏向量和句法依赖关系类型的概率矩阵进行图卷积操作；

信息融合交互模块：在图卷积的过程中，使用交互注意力充分交互语义信息和句法依赖信息；

情感极性输出模块：对经过特征提取和交互的最终隐藏输出进行方面词的MASK平均操作，然后softmax进行最后的情感预测。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应当理解，上述较佳实施方式仅用来解释和说明本发明的技术方案，而并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所作的任何修饰、等效替换、变形、改进等，均应包含在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于商品评价的方面级情感分析方法，其特征在于，采用以下步骤：

S1：数据预处理和准备：获取商品评价文本数据，利用StanfordcoreNLP解析句子的句法依赖信息，进而获得关于商品评价文本的依赖关系矩阵A^rel、依赖类型序列两种句法依赖信息；

S2：特征输入：使用Bert预训练模型或者Glove模型对商品评价文本的上下文语义信息进行词向量映射；随机初始化依赖类型的词向量并进行词嵌入操作，然后使用BiLSTM分别提取语义信息和句法依赖信息，得到语义信息的隐藏向量表示H^c和句法依赖信息的隐藏向量表示H^c1；将H^c与位置距离信息使用交互注意力机制进行融合，然后拼接融合后的H^c和H^c1，得到输入的隐藏向量表示H；

S3：语义特征提取和句法依赖特征提取：使用多头注意力机制分别求出关于语义信息隐藏向量的注意力得分矩阵A^sem和关于句法依赖类型信息隐藏向量的注意力得分矩阵A^type，之后把A^type和A^rel进行融合得到包含更丰富信息的依赖信息矩阵A^syn，然后A^sem与S2阶段得到的H送入语义信息图卷积层进行语义信息的特征提取，A^syn与S2阶段得到的H送入到句法信息图卷积层进行句法信息特征提取；

S4：信息交互：使用交互注意力进行S3阶段中每层上下文语义信息隐藏向量和句法依赖信息之间的信息隐藏向量/>交互，使得语义信息指导句法依赖信息参数更新学习，句法依赖信息指导语义信息参数更新学习，如此经过三层图卷积操作，其中每层图卷积之后进行交互注意力操作；

S5：情感极性分类：对经过特征提取和交互的最终隐藏输出进行方面词的MASK平均操作，然后softmax对商品评价文本进行最后的情感预测。

2.根据权利要求1所述的基于商品评价的方面级情感分析方法，其特征在于，在步骤S1中，在使用句法依赖类型的词嵌入之前，首先构建关于依赖类型的语料库，即依赖类型的词汇表；在根据依存句法分析和句法解析构建依赖关系矩阵A^rel时，使用StanfordNLP句法解析器。

3.根据权利要求1所述的基于商品评价的方面级情感分析方法，其特征在于，在步骤S2中，随机初始化依赖类型词向量中，将随机初始维度设置成40维；用来提取语义信息的BiLSTM的隐藏层维度和提取句法依赖信息的BiLSTM的隐藏层维度设置成50维；使用一层BiLSTM提取隐藏特征，并在上述过程中使用dropout来防止模型过拟合，其中词嵌入的dropout值设置为0.7，BiLSTM模型输入中droput设置为0.1，图卷积的中dopout设置为0.1。

4.根据权利要求1所述的基于商品评价的方面级情感分析方法，其特征在于，在步骤S3使用多头注意力机制构建语义信息的概率注意力矩阵和句法依赖信息的概率注意力矩阵之后都进行标准化处理。

5.根据权利要求1所述的基于商品评价的方面级情感分析方法，其特征在于，在步骤S4中，参与语义信息和句法依赖信息交互的两个向量矩阵在交互完成之后，用dropout防止过拟合，并每次交互之后标准化。

6.根据权利要求1所述的基于商品评价的方面级情感分析方法，其特征在于，在步骤S5中，在训练阶段使用交叉熵计算真实标签和预测标签之间的损失值，在测试阶段根据预测结果表示来做模型方法的效果评估。

7.一种基于商品评价的方面级情感分析系统，其特征在于，包括：语义模块、句法依赖模块、信息融合交互模块和情感极性输出模块四大部分，其中语义模块包括词嵌入层、编码层、语义信息图卷积层；句法依赖模块包括句法解析层、编码层、句法依赖信息图卷积层；

语义模块：词嵌入层，主要是以高维的数字向量代表一句话中的每一个分词标记，使用Bert进行词向量的表示；编码层，使用BiLSTM计算上下文语义信息的隐藏特征；语义信息图卷积层，将融合了线性结构位置距离的上下文语义信息、树形结构句法依赖类型信息的隐藏向量和上下文隐藏向量的概率矩阵进行图卷积操作。

句法依赖模块：句法解析层，使用StanfordNLP解析句子的句法依赖信息，以获得包含依赖关系和依赖类型的句法依赖信息；编码层，随机初始化依赖类型的词向量，并使用BiLSTM计算依赖类型信息的隐藏特征；句法依赖信息图卷积层，将融合了线性结构位置距离的上下文语义信息、树形结构句法依赖类型信息的隐藏向量和句法依赖关系类型的概率矩阵进行图卷积操作；

信息融合交互模块：在图卷积的过程中，使用交互注意力充分交互语义信息和句法依赖信息；

情感极性输出模块：对经过特征提取和交互的最终隐藏输出进行方面词的MASK平均操作，然后softmax进行最后的情感预测。