CN112347248A

CN112347248A - 一种方面级文本情感分类方法及系统

Info

Publication number: CN112347248A
Application number: CN202011195074.7A
Authority: CN
Inventors: 鲁燃; 李筱雯; 刘杰; 刘培玉; 朱振方
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-10-30
Filing date: 2020-10-30
Publication date: 2021-02-09

Abstract

本发明公开了一种方面级文本情感分类方法及系统，包括：根据获取的句子文本的局部特征向量提取句子文本的长距离依赖特征，得到句子文本的上下文特征表示；根据句子文本的上下文特征表示构建句子文本中单词间的句法依赖关系，得到句子文本的方面级特征表示；构建基于依存树的图注意力神经网络，根据句子文本的方面级特征表示得到文本的方面级情感类别。采用卷积神经网络提取句子中的局部特征信息，利用双向长短时记忆网络学习卷积神经网络池化后的特征，获取句子的上下文信息，构建基于依存树的图注意力网络模型，利用依存树的句法信息对句子依赖关系进行建模，提高情感分类的性能。

Description

一种方面级文本情感分类方法及系统

技术领域

本发明涉及自然语言处理和深度学习技术领域，特别是涉及一种方面级文本情感分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

情感分析是自然语言处理中最活跃的研究领域之一，是文本挖掘中的一项重要任务，又称为意见挖掘。大多数情感分析工作是篇章级和句子级的，由于一个单词在不同的环境中表达的情感可能相反，因此采用方面级的情感分析。

方面级的情感分析是情感分类领域的细粒度任务，其目标是在给定意见句子和评价方面的基础上，结合句子的上下文，预测给定文本中出现的方面的情感极性，在自然语言处理领域，方面级的情感分析可以进一步用于推荐系统和自动问答；传统的方法主要是基于特征的支持向量机(SVM)，但是这些方法需要人工设计特征，神经网络具有学习连续文本特征的能力，能够通过多个隐藏层生成新的表示。

随着深度学习的普及和计算机硬件设备的完善，标记数据逐渐庞大，深度学习模型已经取代很多解决自然语言处理的经典技术，基于深度学习模型已经在各种任务中获得最先进的性能，包括情感分析、机器翻译和命名实体识别，以及在图像计算机视觉中的分类、图像生成、图像分割和无监督特征学习等。

近年来，在方面级情感分析的任务中，深度学习方法比基于特征的方法具有更好的可扩展性。基于递归神经网络的框架采用语义组合函数，能够处理情感分析中的复杂组合性；注意力机制的结合让神经网络模型高度关注特定目标的特征信息，辨别句子中单词对特定方面的重要性，该方法已经广泛运用到方面级的情感分析中，如Song等人提出一种注意力编码网络，采用基于注意力的编码器建立上下文和目标之间的模型；Chen等人提出用于识别评论中观点目标情感的神经网络模型，采用多注意力机制捕获间隔很远的情感特征，对无关信息具有更强的鲁棒性。

但是，发明人发现，虽然基于注意力的模型在很多任务中已经取得了良好的实验效果，但是它们不足以捕捉上下文单词和句子中的方面之间的句法依赖性，注意力模块可能会因为语法的缺失而突出一些无关的词，会丢失掉一些有价值的重要信息，因此在解决方面级的情感分析中多个单词之间的依存关系问题上存在明显的局限性。

发明内容

为了解决上述问题，本发明提出了一种方面级文本情感分类方法及系统，采用卷积神经网络提取句子中的局部特征信息，利用双向长短时记忆网络学习卷积神经网络池化后的特征，获取句子的上下文信息，构建基于依存树的图注意力网络模型，利用依存树的句法信息对句子依赖关系进行建模，提高情感分类的性能。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种方面级文本情感分类方法，包括：

根据获取的句子文本的局部特征向量提取句子文本的长距离依赖特征，得到句子文本的上下文特征表示；

根据句子文本的上下文特征表示构建句子文本中单词间的句法依赖关系，得到句子文本的方面级特征表示；

构建基于依存树的图注意力神经网络，根据句子文本的方面级特征表示得到文本的方面级情感类别。

第二方面，本发明提供一种方面级文本情感分类系统，包括：

上下文特征表示模块，用于根据获取的句子文本的局部特征向量提取句子文本的长距离依赖特征，得到句子文本的上下文特征表示；

方面级特征表示模块，用于根据句子文本的上下文特征表示构建句子文本中单词间的句法依赖关系，得到句子文本的方面级特征表示；

情感分类模块，用于构建基于依存树的图注意力神经网络，根据句子文本的方面级特征表示得到文本的方面级情感类别。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果为：

本发明采用卷积神经网络CNN提取句子中的局部特征信息，利用双向长短时记忆网络BiLSTM学习卷积神经网络CNN池化后的特征，获取句子的上下文信息，构建基于依存树的图注意力网络模型，利用依存树的句法信息对句子依赖关系进行建模；捕获方面词和意见词之间的长距离，更好地联系目标词和情感词之间的关系，有效地建模情感依赖关系。

本发明通过BiLSTM学习CNN池化后连接而成的特征，解决CNN缺乏利用文本上下文信息的问题，同时避免了简单的RNN带来的梯度爆炸或者梯度消失的问题。

本发明最后引入图注意力神经网络，GAT利用依存树提取句子中的句法依存结构，提高情感分类的性能，本发明方法不仅兼备CNN模型的局部特征提取能力，也融合双向RNN的信息记忆能力，并且利用句子的句法依赖结构，解决了现有方法中被忽略的多个单词之间的依赖关系。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的方面级别情感分析方法流程图；

图2为本发明实施例1提供的方面级别情感分析方法的模型框架图；

图3是本发明实施例1提供的在两个数据集下GAT层数的影响。

具体实施方式：

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

如图1所示，本实施例提供一种方面级文本情感分类方法，包括：

S1：根据获取的句子文本的局部特征向量提取句子文本的长距离依赖特征，得到句子文本的上下文特征表示；

S2：根据句子文本的上下文特征表示构建句子文本中单词间的句法依赖关系，得到句子文本的方面级特征表示；

S3：构建基于依存树的图注意力神经网络，根据句子文本的方面级特征表示得到文本的方面级情感类别。

所述步骤S1中，获取待处理的句子文本，利用GloVE词嵌入对待处理的句子文本进行预处理操作，将每个单词进行序列化表示，得到文本的词嵌入表示；具体为：

给定一个长度为n的上下文句子S＝{w₁,w₂,…,w_n}，上下文句子中包含方面的上下文输入序列，方面a＝{w_i,w_i+1,…,w_i+m-1}包含m个单词，任务是推测句子S中方面a的情感极性；

将每个输入单词w_i映射到一个低维的单词嵌入向量

中，d_w是单词向量的维数，

是预训练GloVe的嵌入矩阵，其中|V|是词汇表的大小；

将每个单词的嵌入向量组合得到文本的词嵌入向量，即将每个单词的嵌入向量组合成矩阵，每一行代表一个单词；

在本实施例中，词嵌入过程就是把一个维数为所有词数量的高维空间嵌入到一个维数低得多的连续向量空间中。

所述步骤S1中，通过卷积神经网络CNN层充分提取句子的局部特征向量；具体为：

卷积神经网络CNN是一种带有卷积结构的前馈神经网络，采用梯度下降法的最小化损失函数逐层反馈调节网络中的权重参数，通过迭代训练提高网络的精度，卷积神经网络CNN结构主要包括输入层、卷积层、池化层、全连接层和输出层几部分；

其中，输入层将句子文本的词嵌入表示作为输入，句子中每个词的词向量为

其中，n是词数，d是向量维度，本实施例定义为100维。

卷积层通过滤波器对数据进行卷积计算，获得若干个特征面(Feature Map)，实现对输入数据提取特征的过程，本实施例采用网络局部连接和卷积参数共享的方式与前一层相连。

卷积层中将通过嵌入层输出的每个句子矩阵进行卷积操作，通过设置好大小的滤波器完成对输入文本句子特征的提取：

c_i＝f(ω·x_i:i+r-1+b)

其中：ω是卷积核；r是卷积核的尺寸；x_i:i+h-1是i到i+r-1个词组成的句子向量；b是偏置项；通过卷积层后，得到特征矩阵c＝[c₁,c₂,...,c_n-r+1]。

池化层通过卷积层输出的句子局部特征矩阵c进行下采样，求解局部的最优解M：

M＝max(c₁,c₂,...,c_n-r+1)＝max(c)

由于本实施例采用双向长短时记忆网络BiLSTM学习CNN层池化后的向量，BiLSTM的输入必须是序列化结构，而池化会中断序列结构词c，故本实施例在全连接层中将池化后的M_i向量连接成向量Q：

Q＝{M₁,M₂,...,M_n}

所述步骤S1中，利用BiLSTM学习CNN层池化后的向量，提取句子的长距离依赖特征，获取句子的上下文特征表示；具体为：

BiLSTM将前向隐藏层与后向隐藏层相结合，能够系统地、有选择地使用之前和之后的信息，能够从前后两个方向提取序列的特征，很好地捕获序列的上下文顺序信息；

在t时刻正向LSTM输出的隐藏状态为

反向LSTM输出的隐藏状态为

因此BiLSTM输出的隐藏状态为

所述步骤S2中，构造基于依存树的图注意力神经网络，利用依存树的句法依存信息对句子中单词间的依赖关系进行建模；

依存树可以捕获方面词和意见词之间的长距离，更好地联系目标词和情感词之间的关系，有效地建模情感依赖关系，从而为信息在树上的传播提供一个有区别的语法路径。

近年来，图卷积神经网络GCN能够学习节点的表示，捕捉节点在图中的局部位置，把依存树看作邻接矩阵，依存树为有n个节点的图G，其中节点表示句子中的单词，边表示图中单词之间的句法依赖路径，依存树的节点由BiLSTM建模的实值向量给出。

图注意力网络GAT在图神经网络中引入注意机制，对图结构数据进行节点分类，通过关注其相邻节点计算每个节点的隐藏表示，对单个图注意力层的输入特征向量集是

输出的节点特征向量集是

中心节点与邻居节点之间的注意力系数为：

e_ij＝a([We_i‖We_j])

其中，

代表第i个节点的输入嵌入，

代表第i个节点的输出嵌入，N表示节点集中节点个数，W表示一个权值矩阵，将输入的特征向量维度映射到输出维度的参数线性变换矩阵。

self-attention会将注意力分配到图中所有的节点，这会丢失结构信息。为了解决这一问题，本实施例利用masked self-attention将注意力分配到节点i的邻节点集上，并且对注意力系数进行softmax归一化，重新计算权重系数，更新后的系数为：

通过多头注意力机制(multi-head attention)捕获邻居节点在不同的方面对中心节点影响力的强弱，本实施例将K个head分别提取的节点特征表示进行拼接作为最终的节点表示：

其中，||表示拼接运算，

表示由第k个注意机制计算的归一化注意系数，W^k是相应的输入线性变换的权重矩阵。

最后，使用平均替代拼接得到最终的嵌入：

所述步骤S3中，得到句子文本的方面级特征表示后，利用平均池化聚合方面级特征表示的信息：

其中，f(·)是增强方面向量的平均函数。

将池化后的特征经过全连接层后输入到softmax分类器中，从而得到最终的情感极性类别；

如图2所示，隐藏状态表示通过一个完全连通的softmax层，输出不同情感极性的概率分布：

p(a)＝softmax(W_px+b_p)

其中，W_p为权重系数矩阵，b_p为偏置矩阵。

本实施例使用反向传播算法训练网络模型，通过最小化交叉熵优化模型，目标函数定义为：

其中，

是第i个上下文-方面对的情感预测分布，

是真实的情感极性，C是情感极性，D是训练数据集。Λ控制L₂正则化的影响，Θ表示所有参数，采用dropout避免过度拟合。

为了验证本实施例的实验模型有效性，实验在SemEval2014 Task4数据集上进行，SemEval2014数据集包括Laptop和Restaurant两个领域的领域的用户评论，第三个数据集是Dong等人收集的ACL2014 Twitter数据集。数据样本的情感极性包含积极的、中立的、消极的和冲突的四种，由于最后一类数据在数据集中所占比例比较小，所以实验数据只保留积极、中立和消极三种。

通过对实验模型不断进行优化，选取比较适宜的各项超参数，具体而言，文本向量采用Glove进行初始化，词向量的维度为300维，batch size大小为50，epoch num设置为10，dropout的选取对模型的性能有着较大的影响，dropout值过小常常导致模型过拟合，使分类准确率下降。

本实施例使用斯坦福神经解析器获得依存树，将隐藏状态向量的维数设置为300，使用学习率为10e-3的Adam优化器训练模型，切换到随机梯度下降微调和稳定模型，其中L₂正则化值为1，随机失活率设置为0.7％。在本实施例中，将dropout比率与L₂正则化结合起来防止过度拟合。

本实施例使用公共的度量标准，也就是准确率和宏F1值，TP代表文本情感分类为正类，模型实际预测的文本情感为正类的数量；FN代表文本情感分类为负类，模型实际预测的文本情感为负类的数量；FP代表文本情感分类为负类，模型实际预测的文本情感为正类的数量；TN代表文本情感分类为正类，模型实际预测的文本情感为负类的数量。

准确率为预测的正确结果占总样本的百分比，计算如下：

宏F1值与精确率和召回率有关，精确率含义是在被所有预测为正的样本中实际样本为正样本的概率；召回率含义是在实际为正的样本中被预测为正样本的概率，计算如下：

本实施例提出的模型的性能取决于GAT的层数，在Restaurant和Laptop数据集上进行操作，如图3所示，随着层数的增加，准确度随之升高，从图3很明显的看到，原始的准确度很低，但是随着深度的增加，准确度逐渐提高，到第四层的时候，达到了最高的准确率，与目标相关的情感词可能离方面目标多跳，所以从上下文向方面词传送信息需要多层节点通信。,层数太少时，依存信息不能完全被广播，当层数增加到一定的阈值之后，就会产生过度拟合的问题。因此在本实施例中采用第四层提高模型精度性能。

实施例2

本实施例提供一种方面级文本情感分类系统，包括：

此处需要说明的是，上述模块对应于实施例1中的步骤S1至S3，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种方面级文本情感分类方法，其特征在于，包括：

2.如权利要求1所述的一种方面级文本情感分类方法，其特征在于，对获取的句子文本采用GloVE词嵌入进行预处理操作，将句子文本中每个单词进行序列化表示，得到句子文本的词嵌入向量。

3.如权利要求2所述的一种方面级文本情感分类方法，其特征在于，所述序列化表示为将每个单词映射为低维的单词嵌入向量；将每个单词的嵌入向量组合得到句子文本的词嵌入向量。

4.如权利要求1所述的一种方面级文本情感分类方法，其特征在于，采用卷积神经网络提取句子文本的局部特征向量，将预处理后的句子文本输入至卷积神经网络，由卷积层对句子文本的句子矩阵进行卷积操作，通过滤波器完成局部特征向量的提取。

5.如权利要求4所述的一种方面级文本情感分类方法，其特征在于，对局部特征向量通过卷积神经网络的池化层进行下采样，求解局部最优解，在全连接层中将池化后的局部最优向量进行连接。

6.如权利要求5所述的一种方面级文本情感分类方法，其特征在于，采用双向长短时记忆网络BiLSTM学习全连接层输出的局部特征向量，提取句子文本的长距离依赖特征，得到句子文本的上下文特征表示。

7.如权利要求1所述的一种方面级文本情感分类方法，其特征在于，采用平均池化聚合句子文本的方面级特征表示，将池化后的方面级特征表示经过全连接层输入到softmax分类器中，从而得到文本的方面级情感类别。

8.一种方面级文本情感分类系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。