CN115357711A

CN115357711A - 一种方面级情感分析方法、装置、电子设备及存储介质

Info

Publication number: CN115357711A
Application number: CN202210788328.9A
Authority: CN
Inventors: 冼广铭; 杜炜华; 冯灵聪; 柳寒
Original assignee: South China Normal University
Current assignee: South China Normal University
Priority date: 2022-07-06
Filing date: 2022-07-06
Publication date: 2022-11-18

Abstract

本发明涉及一种方面级情感分析方法、装置、电子设备及存储介质。本发明所述的方面级情感分析方法包括：获取待分析的文本，所述文本包括多个单词；将所述文本输入基于BERT预训练模型的词嵌入层，得到所述文本对应的词嵌入向量；将所述词嵌入向量输入基于多头注意力机制的注意力编码层，生成新的隐藏状态；将所述词嵌入向量输入基于位置感知的卷积网络层，抽取与方面词相关的意见词；将所述卷积网络层的输出经过池化后，与所述注意力编码层的输出进行连接，得到拼接向量；将拼接向量输入全连接层，采用Softmax规范化概率，得到所述文本对应的方面级情感。本发明所述的方面级情感分析方法，能够充分描述字符与字符、词与词和句子与句子之间的关系特征。

Description

一种方面级情感分析方法、装置、电子设备及存储介质

技术领域

本发明涉及深度学习技术领域，特别是涉及一种方面级情感分析方法、装置、电子设备及存储介质。

背景技术

近年来，情感分析已经成为自然语言处理领域中最活跃的研究方向之一，在信息检索、数据挖掘、文本挖掘等方面得到了广泛研究。情感分析又称为情感倾向性分析或意见挖掘，是从用户意见中提取信息的过程。通过对文本、音频和图像等进行分析以获取人们的观点、看法、态度和情感等。

情感分析在社会生活中的应用具有重大的实践意义。例如：通过分析推文的政治情绪以及对候选人的评价可以预测政治选举的结果；针对用户在平台上的交流和情感特点可以检测网络欺凌，营造和谐的网络生态环境；在金融市场，通过情感分析技术分析群体情绪，能够帮助投资者预测市场走势。随着社交媒体和大数据的快速发展，情感分析已经从计算机科学延展到其他学科领域，其巨大的发展前景和商业价值引发了整个社会的共同关注。

与传统情感分析相比，方面级情感分析(Aspect-based Sentiment Analysis，ABSA)是一项细粒度的任务。其核心任务是从评论中提取一个实体所描述的意见目标及其方面(统称为方面)，并识别对该方面的情绪。例如一条对于餐厅的评价：“这家餐厅的甜点很美味，但服务很差”。该评论中存在两个方面“甜点”和“服务”。在这条评论中，顾客对两个方面的看法并不一致，分别具有积极的情绪和消极的情绪极性。从例子中可以看出，一个良好的方面级情感分析任务模型应该能够正确提取句子中所包含的方面词，并且预测它们的极性。

通常，传统的句子级或文档级情绪极性分析方法不能精确地预测特定方面的极性，因为它们没有考虑到不同方面的细粒度极性。传统的方面级情感分析办法往往依赖于传统的基于循环神经网络架构，基于该架构的模型存在的梯度消失，长距离依赖，无法并行化等缺陷。

发明内容

基于此，本发明的目的在于，提供一种方面级情感分析方法、装置、电子设备及存储介质，能够充分描述字符与字符、词与词和句子与句子之间的关系特征。

第一方面，本发明提供一种方面级情感分析方法，包括以下步骤：

获取待分析的文本，所述文本包括多个单词；

将所述文本输入基于BERT预训练模型的词嵌入层，得到所述文本对应的词嵌入向量；

将所述词嵌入向量输入基于多头注意力机制的注意力编码层，对所述词嵌入向量进行信息融合处理，生成新的隐藏状态；

将所述词嵌入向量输入基于位置感知的卷积网络层，抽取与方面词相关的意见词；

将所述卷积网络层的输出经过池化后，与所述注意力编码层的输出进行连接，得到拼接向量；

将所述拼接向量输入全连接层，使用全连接层将向量映射到最终的分类空间中，采用Softmax规范化概率，得到所述文本对应的方面级情感。

进一步地，将所述文本输入基于BERT预训练模型的词嵌入层，得到所述文本对应的词嵌入向量，包括：

对所述文本中的方面词和上下文向量进行初步编码；

对于输入序列中的每一个token，对其与序列中其他token的进行相似度计算，得到每一个token的权重信息；

计算得到的词嵌入向量e^c，e^t表示作为下一层的输入；其中e^c为上下文词嵌入向量；e^t为方面词词嵌入向量。

进一步地，所述注意力编码层包括融合了上下文信息的Context-MHA和融合了给定方面词信息的Target-MHA模块；

所述Context-MHA的注意力编码层采用线性加和激活的注意力机制进行计算，生成包含了整个序列的信息的隐藏向量；

所述Target-MHA编码层采用线性激活注意力机制，从词嵌入层得到的方面词向量

与上下文词向量矩阵E进行多头注意力运算，得到融合了上下文信息的隐藏向量。

进一步地，将所述词嵌入向量输入基于位置感知的卷积网络层，抽取与方面词相关的意见词，包括：

使用以下公式，计算与方面词相关的意见词的相对位置大小，生成相对位置向量v：

其中，k是方面词的第一个下标，m是目标词的长度，n是序列长度，C是预先定义的常量；

使用以下公式，将嵌入层得到上下文词向量与其相对位置向量v相乘，得到融合了相对位置信息的上下文向量

使用以下公式，将得到的新的上下文向量传入到卷积层进行卷积操作：

其中，s是卷积核的大小

激活函数采用ReLU函数。

进一步地，其特征在于将所述卷积网络层的输出经过池化后，与所述注意力编码层的输出进行连接，得到拼接向量，包括：

使用如下公式进行拼接，得到拼接向量：

其中，

为拼接向量，

为位置卷积层的编码向量，

为经过注意力编码层得到的编码向量h_c的经过池化操作得到；

为经过注意力编码层得到的编码向量h_t的经过池化操作得到。

进一步地，使用以下公式，采用Softmax规范化概率，得到所述文本对应的方面级情感：

其中，K是最终分类的类别数目，

是拼接之后的向量，hdim是词嵌入向量的维度数，W_o是投影矩阵，b_o是词向量的计算偏置。

第二方面，本发明还提供一种方面级情感分析装置，包括：

文本获取模块，用于获取待分析的文本，所述文本包括多个单词；

词嵌入模块，用于将所述文本输入基于BERT预训练模型的词嵌入层，得到所述文本对应的词嵌入向量；

注意力编码模块，用于将所述词嵌入向量输入基于多头注意力机制的注意力编码层，对所述词嵌入向量进行信息融合处理，生成新的隐藏状态；

卷积模块，用于将所述词嵌入向量输入基于位置感知的卷积网络层，抽取与方面词相关的意见词；

拼接模块，用于将所述卷积网络层的输出经过池化后，与所述注意力编码层的输出进行连接，得到拼接向量；

结果输出模块，用于将所述拼接向量输入全连接层，使用全连接层将向量映射到最终的分类空间中，采用Softmax规范化概率，得到所述文本对应的方面级情感。

第三方面，本发明还提供一种电子设备，包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明第一方面任一所述的一种方面级情感分析方法的步骤。

第四方面，本发明还提供一种计算机可读存储介质，

所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种方面级情感分析方法的步骤。

本发明提供的一种方面级情感分析方法、装置、电子设备及存储介质，相比于传统的固定词嵌入的词向量表征，本模型引入了BERT预训练模型。BERT预训练模型用表义能力更强的双向Transformer网络结构来构建预训练语言模型，能够充分描述字符与字符、词与词和句子与句子之间的关系特征，在多种自然语言任务中都取得了优异的成绩。

基于多头注意力机制引入了注意力编码网络。在融合了方面信息编码的基础上，通过注意力模块关注到上下文中对当前的方面词的情感极性影响更大的token，并赋予其更大的权重；减少无关词语的权重，提升分类效果。

引入了位置感知的卷积编码层，利用卷积神经网络局部提取特性，在强化了表达情绪的意见词的词级表征的同时，削弱了与方面无关的情绪词表征，在一定程度上减轻了注意力机制引入无关噪声的问题。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明在一个实施例中提供的一种ATE-PC模型的结构示意图；

图2为本发明在一个实施例中使用的网络模型的执行流程图；

图3为本发明提供的一种方面级情感分析方法的步骤示意图；

图4为本发明在一个实施例中使用的BERT嵌入层的结果示意图；

图5为本发明在一个实施例中使用的注意力编码网络层的结构示意图；

图6为本发明在一个实施例中使用的多头注意力机制的计算过程示意图；

图7为本发明在一个实施例中位置卷积的计算过程示意图；

图8为本发明在一个实施例中使用的输出层计算过程示意图；

图9为本发明提供的一种方面级情感分析装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

方面级情感分析在电子商务，舆情分析，商业投资等领域得到了广泛应用。本专利针对方面级情感分析任务，在相关研究的基础上，设计了一种结合注意力机制的方面词-上下文编码网络模型(Attention Encoder and Positional Convolution Network,ATE-PC)，克服了传统的基于循环神经网络架构的模型存在的梯度消失，长距离依赖，无法并行化等缺陷。同时ATE-PC模型加入了基于位置感知编码的卷积神经网络层对目标文本进行局部特征提取，强化了对意见词的权重计算，缓解了注意力机制在计算过程中引入的全局噪声问题。

如图1-2所示，ATE-PC模型包括以下几个部分，主要由嵌入层、注意力编码器层、基于位置编码的卷积网络层和输出层组成：

1.基于BERT预训练模型的词嵌入层，BERT预训练模型对方面词和上下文向量进行了初步的编码，使用预先训练好的BERT来生成输入序列的词向量，使得词嵌入向量能够融合上下文信息进行建模表示。

2.基于多头注意力机制的注意力编码层，将词嵌入层得到的向量进行信息融合，让每一个词向量都能够充分地考虑到整个序列地上下文信息并进行编码，生成新的隐藏状态。

3.基于位置感知的卷积网络层，由于特定于方面词的情绪极性预测往往和与该方面词位置上相近的意见词有关，模型引入基于位置感知的卷积网络。卷积神经网络可以作为局部特征提取器将与方面词相关的意见词进行抽取，强化意见词在任务中的计算权重。

4.全连接输出层，经过注意力编码网络得到的词向量表征与经过池化的卷积层输出进行连接，通过全连接层映射到对应情绪类别的输出单元，通过SoftMax层操作获得对应极性的分数，取最高分数值为最终的情绪分类结果。

针对背景技术中的问题，基于上述ATE-PC模型，本申请实施例提供一种方面级情感分析方法，如图3所示，该方法包括以下步骤：

S01：获取待分析的文本，所述文本包括多个单词。

S02：将所述文本输入基于BERT预训练模型的词嵌入层，得到所述文本对应的词嵌入向量。

2018年Google AI提出了语言预训练模型BERT。该模型用表义能力更强的双向Transformer网络结构来构建预训练语言模型，能够充分描述字符与字符、词与词和句子与句子之间的关系特征，在多种自然语言任务中都取得了优异的成绩。

ATE-PC模型在词嵌入编码层引入了BERT预训练模型对方面词和上下文向量进行了初步的编码，使用预先训练好的BERT来生成输入序列的词向量，对于输入序列中的某个token，BERT模型能够使其与序列中其他token的进行相似度计算，得到权重信息。相比于固定的词嵌入模型，BERT不仅解决了固定映射词嵌入向量的同义词问题，同时使得词嵌入向量能够融合上下文信息进行建模表示。

如图4所示，词嵌入层计算过程包括：

S021：对所述文本中的方面词和上下文向量进行初步编码；

S022：对于输入序列中的每一个token，对其与序列中其他token的进行相似度计算，得到每一个token的权重信息；

S023：计算得到的词嵌入向量e^c，e^t表示作为下一层的输入；其中e^c为上下文词嵌入向量；e^t为方面词词嵌入向量。

其中，模型使用的自注意力打分模式为放缩点积注意力(Scaled Dot－ProductAttention)，其使用点积进行相似度计算，能够有效建模依赖关系，使得一个词能够结合上下文学习一个句子的内部结构。放缩点积注意力的计算公式如下式所示，计算过程如下公式所示：

放缩点积注意力：

Q＝XW^Q,K＝XW^K,V＝XW^V

其中，Q,K,V分别为注意力矩阵，X为词嵌入向量，d_k为输入向量维度。

前馈神经网络：

FFN(x)＝max(0,xW₁+b₁)W₂+b₃

为了便于对BERT模型的训练和微调，本模型将给定的上下文和方面词分别转换为“[CLS]+上下文+[SEP]”和“[CLS]+target+[SEP]”，计算得到的词嵌入向量e^c，e^t表示作为下一层的输入。

S03：将所述词嵌入向量输入基于多头注意力机制的注意力编码层，对所述词嵌入向量进行信息融合处理，生成新的隐藏状态。

注意力编码器层是以往模型中对LSTM的可并行的替代方案，其作用是将词嵌入层得到的向量进行信息融合，让每一个词向量都能够充分地考虑到整个序列地上下文信息并进行编码，生成新的隐藏状态。同时，注意力机制的并行计算能力也强于传统的LSTM网络结构。如图5所示，模型的注意力编码层包括了两个子模块：融合了上下文信息的Context-MHA和融合了给定方面词信息的Target-MHA模块。

注意力函数的运算将一个key序列K＝{k₁,k₂,k₃,…,k_n}列和一个query序列q＝{q₁,q₂,q₃,…,q_n}映射到输出序列o：

多头注意力(Multi-Head Attention，MHA)是一种可以同时执行多种注意函数的机制。多头注意力机制能够在并行的子空间中学习不同注意力头从而得到的不同的信息，在得到了不同注意力头的输出结果之后，多头注意力机制将其结果进行拼接并再次通过投影操作得到所需要的隐藏向量，该向量维度和原词嵌入的大小相等。此时得到的输出融合了关注序列不同部分的注意力结果。多头注意力机制的计算过程如图6所示，计算公式如下。

多头注意力机制：

MultiHead(Q,K,V)＝Concat(head₁,head₂,…,head_h)W^o

其中，

参数矩阵

基于上述多头注意力机制，注意力编码层采用线性加和激活的注意力机制进行计算，Context-MHA编码层让上下文的每一个词嵌入向量都充分考虑到整个序列的信息，从而完成了信息编码，生成隐藏向量就包含了整个序列的信息。

h_c＝Attention(k,q)＝softmax(f_s(k,q))k

其中，hdim为词嵌入层生成的隐藏状态向量维度，即词嵌入向量维度。

同时f_s是激活函数，用于学习q_i和k_i之间的语义关联性。q_i和k_i均为上下文嵌入向量e^c。相比于嵌入层的点积注意力机制，注意力编码层不引入矩阵value以减少网络的参数规模。

f_s(k_i,q_k)＝tanh(Concat(k_i,q_j)^T*W_att)

其中，

在Target-MHA编码层，和Context-MHA同样采用线性激活注意力机制，从词嵌入层得到的方面词向量

与上下文词向量矩阵E进行多头注意力运算。

h_t＝MHA(e^c,e^t)

对于给定的上下文词嵌入向量

模型可以通过多头注意力运算得到新的方面词隐藏向量表示t^inter，在计算完后，该隐藏向量融合了上下文信息，有助于方面词与整个序列进行更加深层的注意力运算，提升模型的性能。

S04：将所述词嵌入向量输入基于位置感知的卷积网络层，抽取与方面词相关的意见词。

在以注意力为基础的网络架构中，对基于注意权重的词级表征的组合进行分类有可能会引入噪声，降低预测精度。而对于方面词的情绪极性预测往往和与该方面词位置上相近的意见词有关。卷积神经网络可以作为局部特征提取器将与方面词相关的意见词进行抽取，强化意见词在任务中的计算权重。

本模型基于注意力机制存在的缺陷，引入了基于位置感知的卷积神经网络模块，位置卷积的计算过程如图7所示，包括以下子步骤：

S041：使用以下公式，计算与方面词相关的意见词的相对位置大小，生成相对位置向量v：

其中，k是方面词的第一个下标，m是目标词的长度，n是序列长度，C是预先定义的常量。

S042：使用以下公式，将嵌入层得到上下文词向量与其相对位置向量v相乘，得到融合了相对位置信息的上下文向量

S043：使用以下公式，将得到的新的上下文向量传入到卷积层进行卷积操作：

其中，s是卷积核的大小

激活函数采用ReLU函数。

S05：将所述卷积网络层的输出经过池化后，与所述注意力编码层的输出进行连接，得到拼接向量。

优选的，使用如下公式进行拼接，得到拼接向量：

其中，

为拼接向量，

为位置卷积层的编码向量，

S06：将所述拼接向量输入全连接层，使用全连接层将向量映射到最终的分类空间中，采用Softmax规范化概率，得到所述文本对应的方面级情感。

在经过特定于方面的注意力层计算过后，得到了融合了方面词编码信息的上下文向量，并且通过平均池化的方法得到了上下文向量输出的最终表示形式

同时将

与之前经过注意力编码层得到的编码向量h_c，h_t以及位置卷积层的编码向量

进行池化和拼接操作之后得到向量

输出层计算过程如图8所示，使用全连接层将向量映射到最终的分类空间中，采用Softmax规范化概率，得到了logit即不同分类的预测概率，输出层的具体计算公式如下式所示：

其中K是最终分类的类别数目，

本申请实施例还提供一种方面级情感分析装置，如图8所示，该方面级情感分析装置400包括：

文本获取模块401，用于获取待分析的文本，所述文本包括多个单词；

词嵌入模块402，用于将所述文本输入基于BERT预训练模型的词嵌入层，得到所述文本对应的词嵌入向量；

注意力编码模块403，用于将所述词嵌入向量输入基于多头注意力机制的注意力编码层，对所述词嵌入向量进行信息融合处理，生成新的隐藏状态；

卷积模块404，用于将所述词嵌入向量输入基于位置感知的卷积网络层，抽取与方面词相关的意见词；

拼接模块405，用于将所述卷积网络层的输出经过池化后，与所述注意力编码层的输出进行连接，得到拼接向量；

结果输出模块406，用于将所述拼接向量输入全连接层，使用全连接层将向量映射到最终的分类空间中，采用Softmax规范化概率，得到所述文本对应的方面级情感。

优选的，词嵌入模块包括：

编码单元，用于对所述文本中的方面词和上下文向量进行初步编码；

权重计算单元，用于对于输入序列中的每一个token，对其与序列中其他token的进行相似度计算，得到每一个token的权重信息；

结果输出单元，用于计算得到的词嵌入向量e^c，e^t表示作为下一层的输入；其中e^c为上下文词嵌入向量；e^t为方面词词嵌入向量。

优选的，所述注意力编码层包括融合了上下文信息的Context-MHA和融合了给定方面词信息的Target-MHA模块；

优选的，卷积模块包括：

相对位置向量计算单元，用于使用以下公式，计算与方面词相关的意见词的相对位置大小，生成相对位置向量v：

上下文向量计算单元，用于使用以下公式，将嵌入层得到上下文词向量与其相对位置向量v相乘，得到融合了相对位置信息的上下文向量

卷积单元，用于使用以下公式，将得到的新的上下文向量传入到卷积层进行卷积操作：

其中，s是卷积核的大小

激活函数采用ReLU函数。

优选的，拼接模块包括：

使用如下公式进行拼接，得到拼接向量：

其中，

为拼接向量，

为位置卷积层的编码向量，

优选的，使用以下公式，采用Softmax规范化概率，得到所述文本对应的方面级情感：

其中，K是最终分类的类别数目，

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种电子设备，包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如前所述的一种方面级情感分析方法的步骤。

对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供一种计算机可读存储介质，

所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的一种方面级情感分析方法的步骤。

计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。