CN112231478B - 基于bert和多层注意力机制的方面级情感分类方法 - Google Patents

Abstract

本发明公开了一种基于BERT和多层注意力机制的方面级情感分类方法，包括以下步骤：S1、对训练语料进行预处理；S2、建立基于多层attention的方面级别情感分类模型；S3、使用训练好的分类模型对待预测的数据进行情感分类。本发明使用多层Attention机制，充分挖掘aspcet词与DataContext词的相关性，能够有效提高方面级情感分类的精度。

Description

基于BERT和多层注意力机制的方面级情感分类方法

技术领域

本发明涉及一种基于BERT和多层注意力机制的方面级情感分类方法。

背景技术

随着社交网络和电商平台的兴起与发展，人们更喜欢在网上发表自己的评论，例如在京东、淘宝上对商品的评价，美团、饿了吗上对食品的评价，这些评价信息对于商家具有宝贵的价值。一条评论中可能包含对多个方面的评价，如何快速得到方面词的情感极性，成为目前自然语言处理领域的一个重要研究方向。

目前主要有以下两种处理方法：

1、基于传统机器学习的方法，例如支持向量机(SVM)、logistic回归，是通过提取依赖于语料库实现方面的特征提取，需要人工针对数据设计特征，模型的质量取决于特征设计的质量。而且这类方法并没有考虑单词的语义信息及上下文信息，还会造成数据维度灾难，准确性也不高。

2、基于深度学习的方法，这类方法将深度学习，例如全连接神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)等应用到方面级情感分类中。使用深度学习的方法弥补了传统机器学习方法的缺点，比如：不需要人工设计特征。但这些方法未能充分提取语义信息。另外注意力机制(Attention)在方面级情感分析中也得到了广泛应用，取得了不错的效果，但对于具有多个单词组成的方面(Aspect)词，Aspect词中的不同单词对于结果的贡献也是不一样的，而这类方法却忽略了这一点。

现有技术主要存在以下缺点：

(1)基于传统机器学习的方法需要人工设计复杂的特征，非常耗费时间。

(2)现有的基于深度学习的方法大多采用RNN来提取语义信息，例如：LSTN、CNN，虽然取得了不错的效果，但相比BERT来提取语义信息，还是具有一定的差距。

(3)目前采用Attention机制的模型是计算Aspect整体对于Context词的attention，没有考虑Aspect中单个词对Context词的attention，容易导致信息丢失。

发明内容

本发明的目的在于克服现有技术的不足，提供一种使用多层Attention机制，充分挖掘aspcet词与DataContext词的相关性，能够有效提高方面级情感分类的精度的基于BERT和多层注意力机制的方面级情感分类方法。

本发明的目的是通过以下技术方案来实现的：基于BERT和多层注意力机制的方面级情感分类方法，包括以下步骤：

S1、对训练语料进行预处理；

S2、建立基于多层attention的方面级别情感分类模型；

S3、使用训练好的分类模型对待预测的数据进行情感分类。

进一步地，所述步骤S1包括以下子步骤：

S11、从训练语料数据中提取每一条评论中的Aspect词，得到Aspect词集合DataAspect；

S12、从训练语料数据中提取每一个Aspect词对应的一条评论，得到集合DataContext；

S13、统计Aspect词与对应语料的情感极性，1代表积极，0代表中性，-1代表消极，得到标签集合LableSet；

S14、对DataContext进行位置符号处理，在每一条语料的Aspect词左边加入位置符号<a>，右边加入位置符号</a>，然后作为训练数据并保存。

进一步地，所述多层attention的方面级别情感分类模型包括依次连接的词向量层、语义编码层、多层注意力层和输出层；

词向量层：使用预训练的词向量Gensim,将语料转化为神经网络能够处理的词向量；

语义编码层：本层使用Google预训练好的BERT-Base,Cased模型，得到语义编码向量，再将向量按从左到右的顺序拼接成一个语义编码矩阵；

多层注意力层：使用两层注意力机制：

第一层注意力机制用于捕捉DataAspect中单词与DataContext中每个单词的相关性，以及DataContext中单词与DataAspect中每个单词的相关性；

具体实现方法为：通过语义编码层输出的语义编码向量H^c和语义编码矩阵H^t，计算交互矩阵U：U＝H^cH^tT，其中H^tT表示对H^t的转置；U矩阵中的一个元素U_ij表示DataContext中第i个单词和DataAspect中的第j个单词的相关度；

给U矩阵乘以一个矩阵W^ac∈R^m×m，W^ac是一个随机初始化的权重矩阵，参数待训练矩阵，R^m×m表示W^ac矩阵的维度大小，表示W^ac矩阵有m行m列；然后再用激活函数relu进行处理，具体操作方法为：由于采用固定长度的DataContext和DataAspect词序列，当序列不够时用0进行补位，为了消除补0操作对计算注意力权重带来的影响，进行mask操作，将矩阵中补0位置的值全部赋值为负无穷大，消除softmax函数操作带来的误差；mask操作计算方式如下：

A^ac＝mask(relu(UW^ac))；

为了关注DataAspect词中对DataContext中第i个单词的重要程度，按A^ac矩阵的第二维来做softmax操作，计算如下：

然后将相关性权重

和对应位置的U_ij相乘并相加，得到

表示DataAspect词和DataContext中第i个单词的相关性，最终得到DataAspect关于DataContext中每个单词的相关性得分向量M^ac∈Rⁿ，计算如下：

DataContext关于DataAspect中每个单词的相关性分量为

第二次层注意力机制用于根据DataAspect关于DataContext中每个单词的相关性得分向量M^ac，找出DataContext中对于情感极性预测更重要的词；根据DataContext关于DataAspect中每个单词的相关性得分向量M^ca，找出DataAspect中对于情感极性预测更重要的词；

首先对M^ca进行mask处理，消除补0对结果的影响，再对mask处理过的M^ac进行softmax操作，得到DataContext中各个单词的注意力权重

再将

和H^c的第i个向量

相乘再叠加，得到DataContext对于情感极性预测的最终向量表示

计算如下：

mask(M^ac)

同样地，得到DataAspect对于情感极性预测的最终向量表示

计算如下：

mask(M^ca)

输出层：将m_c和m_a拼接起来，得到最终情感极性预测的向量表示

再将m经过全连接层处理得到最终标签的预测分布p，具体计算如下：

m＝[m_c，m_a]

p＝soft max(W*m+b)

其中，

为一个可训练的参数矩阵，b∈R^c为偏置，C为方面级情感分类的类别数。

本发明的有益效果是：本发明使用多层Attention机制，充分挖掘aspcet词与DataContext词的相关性，能够有效提高方面级情感分类的精度；无需人工设计特征，能够提高分类结果的准确性。

附图说明

图1为本发明的方面级情感分类方法的流程图；

图2为本发明的多层attention的方面级别情感分类模型的结构示意图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

如图1所示，本发明的基于BERT和多层注意力机制的方面级情感分类方法，包括以下步骤：

S1、对训练语料进行预处理；包括以下子步骤：

S11、从训练语料数据中提取每一条评论中的Aspect词(一条语料中可能含有多个Aspect词)，得到Aspect词集合DataAspect；

S12、从训练语料数据中提取每一个Aspect词对应的一条评论，得到集合DataContext；

S13、统计Aspect词与对应语料的情感极性，1代表积极(positive)，0代表中性(neutral)，-1代表消极(negative)，得到标签集合LableSet；

S14、对DataContext进行位置符号处理，在每一条语料的Aspect词左边加入位置符号<a>，右边加入位置符号</a>，然后作为训练数据并保存。

S2、建立基于多层attention的方面级别情感分类模型；

如图2所示，本发明的多层attention的方面级别情感分类模型包括依次连接的词向量层、语义编码层、多层注意力层和输出层；

词向量层：使用预训练的词向量Gensim,将语料转化为神经网络能够处理的词向量；例如训练数据中的某一条评论的DataContext表示为

与之对应的DataAspect表示为

经过Input Embedding Layer分别将两个向量转化为

其中n为DataContext的长度，m为DataAspect的长度，d_v为词向量维度。

语义编码层(即图中Bert层)：本层使用Google预训练好的BERT-Base,Cased模型，得到语义编码向量，再将向量按从左到右的顺序拼接成一个语义编码矩阵；将

输入到语义编码层中，得到n个单词的语义编码向量，再将向量按从左到右的顺序拼接成一个语义编码矩阵

其中d_h为语义编码层的隐单元个数，本层中d_h＝768。同样的，我们可以得到

的语义编码矩阵

多层注意力层：使用两层注意力机制：

第一层注意力机制用于捕捉DataAspect中单词与DataContext中每个单词的相关性，以及DataContext中单词与DataAspect中每个单词的相关性；

具体实现方法为：通过语义编码层输出的语义编码向量H^c和语义编码矩阵H^t，计算交互矩阵U：U＝H^cH^tT，其中H^tT表示对H^t的转置；U矩阵中的一个元素U_ij表示DataContext中第i个单词和DataAspect中的第j个单词的相关度；

给U矩阵乘以一个矩阵W^ac∈R^m×m，W^ac是一个随机初始化的权重矩阵，参数待训练矩阵，R^m×m表示W^ac矩阵的维度大小，表示W^ac矩阵有m行m列；然后再用激活函数relu进行处理，具体操作方法为：由于采用固定长度的DataContext和DataAspect词序列，当序列不够时用0进行补位，为了消除补0操作对计算注意力权重带来的影响，进行mask操作，将矩阵中补0位置的值全部赋值为负无穷大，消除softmax函数操作带来的误差；mask操作计算方式如下：

A^ac＝mask(relu(UW^ac))；

为了关注DataAspect词中对DataContext中第i个单词的重要程度，按A^ac矩阵的第二维来做softmax操作，计算如下：

然后将相关性权重

和对应位置的U_ij相乘并相加，得到

表示DataAspect词和DataContext中第i个单词的相关性，最终得到DataAspect关于DataContext中每个单词的相关性得分向量M^ac∈Rⁿ，计算如下：

DataContext关于DataAspect中每个单词的相关性分量为

第二次层注意力机制用于根据DataAspect关于DataContext中每个单词的相关性得分向量M^ac，找出DataContext中对于情感极性预测更重要的词；根据DataContext关于DataAspect中每个单词的相关性得分向量M^ca，找出DataAspect中对于情感极性预测更重要的词；

首先对M^ca进行mask处理，消除补0对结果的影响，再对mask处理过的M^ac进行softmax操作，得到DataContext中各个单词的注意力权重

再将

和H^c的第i个向量

相乘再叠加，得到DataContext对于情感极性预测的最终向量表示

计算如下：

mask(M^ac)

同样地，得到DataAspect对于情感极性预测的最终向量表示

计算如下：

mask(M^ca)

输出层：将m_c和m_a拼接起来，得到最终情感极性预测的向量表示

再将m经过全连接层处理得到最终标签的预测分布p，具体计算如下：

m＝[m_c，m_a]

p＝soft max(W*m+b)

其中，

为一个可训练的参数矩阵，b∈R^c为偏置，C为方面级情感分类的类别数。

训练模型参数：

将步骤S1中得到的数据训练数据作为模型的输入，并使用交叉熵函数作为损失函数，采用Adam算法训练模型参数，当模型产生的损失值满足设定要求或者达最大迭代次数时，终止模型训练。

S3、使用训练好的分类模型对待预测的数据进行情感分类，将预测数据中的context和aspect输入到训练好的模型中，进行情感分类。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.基于BERT和多层注意力机制的方面级情感分类方法，其特征在于，包括以下步骤：

S1、对训练语料进行预处理；包括以下子步骤：

S11、从训练语料数据中提取每一条评论中的Aspect词，得到Aspect词集合DataAspect；

S12、从训练语料数据中提取每一个Aspect词对应的一条评论，得到集合DataContext；

S13、统计Aspect词与对应语料的情感极性，1代表积极，0代表中性，-1代表消极，得到标签集合LableSet；

S14、对DataContext进行位置符号处理，在每一条语料的Aspect词左边加入位置符号<a>，右边加入位置符号</a>，然后作为训练数据并保存；

S2、建立基于多层attention的方面级别情感分类模型；所述多层attention的方面级别情感分类模型包括依次连接的词向量层、语义编码层、多层注意力层和输出层；

词向量层：使用预训练的词向量Gensim,将语料转化为神经网络能够处理的词向量；

语义编码层：本层使用Google预训练好的BERT-Base,Cased模型，得到语义编码向量，再将向量按从左到右的顺序拼接成一个语义编码矩阵；

多层注意力层：使用两层注意力机制：

第一层注意力机制用于捕捉DataAspect中单词与DataContext中每个单词的相关性，以及DataContext中单词与DataAspect中每个单词的相关性；

具体实现方法为：通过语义编码层输出的语义编码向量H^c和语义编码矩阵H^t，计算交互矩阵U：U＝H^cH^tT，其中H^tT表示对H^t的转置；U矩阵中的一个元素U_ij表示DataContext中第i个单词和DataAspect中的第j个单词的相关度；

给U矩阵乘以一个矩阵W^ac∈R^m×m，W^ac是一个随机初始化的权重矩阵，参数待训练矩阵，R^{m ×m}表示W^ac矩阵的维度大小，表示W^ac矩阵有m行m列；然后再用激活函数relu进行处理，具体操作方法为：由于采用固定长度的DataContext和DataAspect词序列，当序列不够时用0进行补位，为了消除补0操作对计算注意力权重带来的影响，进行mask操作，将矩阵中补0位置的值全部赋值为负无穷大，消除softmax函数操作带来的误差；mask操作计算方式如下：

A^ac＝mask(relu(UW^ac))；

为了关注DataAspect词中对DataContext中第i个单词的重要程度，按A^ac矩阵的第二维来做softmax操作，计算如下：

然后将相关性权重

和对应位置的U_ij相乘并相加，得到

表示DataAspect词和DataContext中第i个单词的相关性，最终得到DataAspect关于DataContext中每个单词的相关性得分向量M^ac∈Rⁿ，计算如下：

DataContext关于DataAspect中每个单词的相关性分量为

第二次层注意力机制用于根据DataAspect关于DataContext中每个单词的相关性得分向量M^ac，找出DataContext中对于情感极性预测更重要的词；根据DataContext关于DataAspect中每个单词的相关性得分向量M^ca，找出DataAspect中对于情感极性预测更重要的词；

首先对M^ca进行mask处理，消除补0对结果的影响，再对mask处理过的M^ac进行softmax操作，得到DataContext中各个单词的注意力权重

再将

和H^c的第i个向量

相乘再叠加，得到DataContext对于情感极性预测的最终向量表示

计算如下：

mask(M^ac)

同样地，得到DataAspect对于情感极性预测的最终向量表示

计算如下：

mask(M^ca)

输出层：将m_c和m_a拼接起来，得到最终情感极性预测的向量表示

再将m经过全连接层处理得到最终标签的预测分布p，具体计算如下：

Tn＝[m_c，m_a]

p＝soft max(W*m+b)

其中，

为一个可训练的参数矩阵，b∈R^c为偏置，C为方面级情感分类的类别数；

S3、使用训练好的分类模型对待预测的数据进行情感分类。

Images