CN110717334A - 基于bert模型和双通道注意力的文本情感分析方法 - Google Patents

Abstract

本发明公开了一种基于BERT模型和双通道注意力的文本情感分析方法，本方法构建情感语言库，并将文本数据进行分词，提取每条文本数据当中的情感信息词，为模型训练提供包含语义和情感信息词的双通道输入；提取文本语句中包含的情感信息词，得到每一条文本语句所对应的情感信息集合；利用BERT模型构造语义信息和情感信息的词向量双输入矩阵；在隐藏层分别加入由BiGRU神经网络和全连接网络组成的双通道注意力的特征提取模块，增强模型捕捉情感语义的能力；将得到的深层语义信息与情感信息词向量进行融合，得到最终的深层语义表达。本方法有效改善了语句级文本情感分析性能，通过实验对比，验证了本方法的优越性，并在多项评价指标中具有较好性能。

Description

基于BERT模型和双通道注意力的文本情感分析方法

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于BERT模型和双通道注意力的文本情感分析方法。

背景技术

文本中语句级别的文本情感分析，即针对语句的情感倾向性分析是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。随着论坛讨论、博客和推特等社交媒体的发展，已拥有了海量的情绪化数据，因此情感分析技术扮演着越来越重要的角色。基于神经网络的深度学习模型，可以学习得到词语的分布式向量表示，这种低维、连续的词表示形式，克服了传统词表示方法的缺点，并能够很好地作为其他深度神经网络模型的输入，通过多层网络的不断学习，得到更加抽象的高层文本特征，进而提高模型的性能。

此外，BERT(Bidirectional Encoder Representation from Transformers)模型为谷歌近期推出的用于语言处理的基础模型，其预训练的词向量表示技术在近段时间里已经取得了众多突破性进展。

对比传统情感分类方法，情感词、否定词、强度词等情感信息词起着至关重要的作用。尽管情感语言词很有用，但在近几年的卷积神经网络(CNN)和长短时记忆网络(LSTM)等深度神经网络模型中，情感语言知识的应用还很有限。人们在表述自己观点时，往往会添加必要的修饰词。修饰词词典一般包括否定词、程度副词、连词等部分，当情感词被这些修饰词围绕时，有很大的概率伴随着整句的情感极性变化，例如极性反转、加强或减弱等。因此，综合考虑情感词和修饰词对判断文本情感极性至关重要。

发明内容

本发明所要解决的技术问题是提供一种基于BERT模型和双通道注意力的文本情感分析方法，本方法克服传统情感分析的缺陷，相比其它词向量工具，BERT模型的特征提取能力更为优异，而情感信息通道和注意力机制增强了模型捕捉情感语义的能力，提高了情感分类性能，且在收敛速度和稳定性上更优。

为解决上述技术问题，本发明基于BERT模型和双通道注意力的文本情感分析方法包括如下步骤：

步骤一、通过现有的中文情感语言库，构建一个包含情感词、程度副词、否定词的自定义情感语言库；

步骤二、利用NLPIR工具将文本数据进行分词，以自定义情感语言库作为分词词典，提取每条文本数据中的情感信息词，为BERT模型训练提供包含语义信息词{W₁,W₂,…,W_n}和情感信息词{E₁,E₂,…,E_m}的双通道输入；

步骤三、通过BERT模型为双通道语义和情感信息词的输入提供词向量，配合文本上下文语境进行词向量的动态调整，将真实情感语义嵌入BERT模型进行训练，得到语义信息词向量矩阵R_x和情感信息词向量矩阵R_e：

其中：

为行向量连接运算符，R_x和R_e的维数为评论文本中词语的数目和情感信息词的数目；

步骤四、对于语义信息文本，采用BiGRU神经网络同时处理正向和反向文本序列，对文本深层次信息进行特征提取，利用注意力机制对提取的特征信息分配相应的权重；对于情感信息集合，采用全连接网络与注意力机制相结合的方式对情感信息词进行编码，获取最重要的情感信号；

其中，某一时刻t的BiGRU神经网络信息提取模块输出状态由正向GRU网络和反向GRU网络的输出相连接组成，其计算方法为：

其中：x_t表示当前时刻的输入,通过结合正向GRU输出

与反向GRU输出

得到隐藏层的语义表示s_t，T表示时间序列长度，正向的语义信息和反向的语义信息以相同的地位被考虑；

步骤五、为捕获更直接的语义依赖关系，将评论语义信息文本的BiGRU神经网络输出

和情感信息集合的全连接网络输出

分别输入到注意力机制中，采用双通道注意力分别对评论文本的语句和情感符号进行编码，注意力机制的计算方法如下：

u_t＝tanh(w_wh_t+b_w) (6)

其中：w_w与b_w为注意力机制的可调节权重和偏置项，h_t为BiGRU神经网络层和全连接网络的输出，u_t为h_t的隐含状态，u_w为softmax分类器的权重参数，α_t表示语句中每个词的重要度信息，V为经过注意力机制计算后的特征向量；

步骤六、将由双通道通过注意力机制后生成的特征向量V^s和V^e进行合并，从而构建文本整体的情感特征向量V^*，然后将其输入softmax分类器，从而得到最终预测的情感分类结果:

p＝softmax(w₂V^*+b₂) (9)

其中，w₂为权重系数矩阵，b₂为偏置矩阵，p为输出的预测情感标签。

进一步，所述步骤六中，为了简化模型的计算量，采用行连接的方式对特征向量V^s和V^e进行融合，构建一个(r_s+r_e)×c的矩阵V^*，生成最终情感特征向量；其中：r_s和r_e分别表示V^s和V^e的行数，c表示V^s和V^e的列数。

由于本发明基于BERT模型和双通道注意力的文本情感分析方法采用了上述技术方案，即本方法构建包含情感词、否定词、程度副词的情感语言库，提取文本句子中包含的情感信息词，从而得到每一条文本语句所对应的情感信息集合；利用BERT模型构造语义信息和情感信息的词向量双输入矩阵；在隐藏层分别加入由BiGRU神经网络和全连接网络组成的双通道注意力的特征提取模块，增强模型捕捉情感语义的能力；将得到的深层语义信息与情感信息词向量进行融合，得到最终的深层语义表达。本方法有效改善了语句级文本情感分析性能，通过多个实验对比，验证了本方法的优越性，并在多项评价指标中均取得了较好的性能。

附图说明

下面结合附图和实施方式对本发明作进一步的详细说明：

图1为本发明基于BERT模型和双通道注意力的文本情感分析方法的原理框图；

图2为本方法中GRU网络的结构示意图；

图3为对比实验中准确率的变化曲线；

图4为对比实验中损失率的变化曲线。

具体实施方式

实施例如图1所示，本发明基于BERT模型和双通道注意力的文本情感分析方法包括如下步骤：

步骤一、通过现有的中文情感语言库，构建一个包含情感词、程度副词、否定词的自定义情感语言库；

步骤二、利用NLPIR工具将文本数据进行分词，以自定义情感语言库作为分词词典，提取每条文本数据中的情感信息词，为BERT模型训练提供包含语义信息词{W₁,W₂,…,W_n}和情感信息词{E₁,E₂,…,E_m}的双通道输入；

步骤三、通过BERT模型为双通道语义和情感信息词的输入提供词向量，配合文本上下文语境进行词向量的动态调整，将真实情感语义嵌入BERT模型进行训练，得到语义信息词向量矩阵R_x和情感信息词向量矩阵R_e：

其中：

为行向量连接运算符，R_x和R_e的维数为评论文本中词语的数目和情感信息词的数目；

步骤四、对于语义信息文本，采用BiGRU神经网络同时处理正向和反向文本序列，对文本深层次信息进行特征提取，利用注意力机制对提取的特征信息分配相应的权重；对于情感信息集合，采用全连接网络与注意力机制相结合的方式对情感信息词进行编码，获取最重要的情感信号；

其中，某一时刻t的BiGRU神经网络信息提取模块输出状态由正向GRU网络和反向GRU网络的输出相连接组成，其计算方法为：

其中：x_t表示当前时刻的输入,通过结合正向GRU输出

与反向GRU输出得到隐藏层的语义表示s_t，T表示时间序列长度，正向的语义信息和反向的语义信息以相同的地位被考虑；

步骤五、为捕获更直接的语义依赖关系，将评论语义信息文本的BiGRU神经网络输出

和情感信息集合的全连接网络输出

分别输入到注意力机制中，采用双通道注意力分别对评论文本的语句和情感符号进行编码，注意力机制的计算方法如下：

u_t＝tanh(w_wh_t+b_w) (6)

其中：w_w与b_w为注意力机制的可调节权重和偏置项，h_t为BiGRU神经网络层和全连接网络的输出，u_t为h_t的隐含状态，u_w为softmax分类器的权重参数，α_t表示语句中每个词的重要度信息，V为经过注意力机制计算后的特征向量，其分别代表由双通道通过注意力机制后生成的特征向量V^s和V^e；此处为表述方便，h_t表示为BiGRU神经网络层输出和全连接网络输出的统称，表示隐藏状态的输出；

步骤六、将由双通道通过注意力机制后生成的特征向量V^s和V^e进行合并，从而构建文本整体的情感特征向量V^*，然后将其输入softmax分类器，从而得到最终预测的情感分类结果:

p＝softmax(w₂V^*+b₂) (3)

其中：w₂为权重系数矩阵，b₂为偏置矩阵，p为输出的预测情感标签。

优选的，所述步骤六中，为了简化模型的计算量，采用行连接的方式对特征向量V^s和V^e进行融合，构建一个(r_s+r_e)×c的矩阵V^*，生成最终情感特征向量；其中：r_s和r_e分别表示V^s和V^e的行数，c表示V^s和V^e的列数。

如图1所示，本方法在结构上采用了两个信息处理通道：左侧为语义信息注意力通道(SAC)，右侧为情感信息注意力通道(EAC)，分别具有输入层、信息提取层及特征融合层，经融合的情感特征向量输入softmax分类器，得到最终预测的情感分类结果。

本方法为了解决以双向长短时记忆神经网络(BiLSTM)为基础的文本情感分析模型不能充分学习文本上下文语义情感信息的问题，考虑构建了BiGRU-Attention深度学习的神经网络模型，其中GRU网络最大的优点在于很好地解决了循环神经网络中的长期依赖问题，且被认为更易于计算和实施，其模型结构如图2所示，它保留了LSTM对解决梯度消失问题的优点，但内部结构更简单，只有两个控制门函数，更新门函数z_t和重置门函数r_t，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多，重置门控制前一状态有多少信息被写入到当前的候选集

上，重置门越小，前一状态的信息被写入的越少。GRU网络的参数比LSTM减少了1/3，不容易产生过拟合，同时由于采取对cell进行融合和其它一些改进，在收敛时间和需要的迭代次数上更胜一筹。单向GRU网络在使用时是从上文向下文推进的，容易导致后面的词比前面的词更重要，双向GRU网络(BiGRU)通过增加从后往前传递信息的隐藏层，能更充分利用上下文信息，克服了这一缺陷。注意力(Attention)通过计算概率分布，选择出对当前任务目标更关键的信息，对深度学习模型起到优化作用，提高模型提取真实语义信息的能力。并且，情感词典的构建从情感词提取出发，针对性地提高了情感词、否定词、程度副词对文本序列的影响，增强模型情感表征能力。

结合BERT-BiLSTM、BERT-SAC以及本方法(BERT-DCA)进行实验对比，实验采用流行的中文情感挖掘酒店评论语料ChnSentiCorp作为实验数据集，情感词词典来自大连理工大学的情感词本体数据库，程度副词和否定词来自知网中文词库HowNet。为了构建语义信息和情感信息的词向量，采用结巴分词系统对酒店评论语料文本句子进行分词，在分词过程中，将构建的情感语言库作为自定义分词词典，使其在分词后作为一个基本的语言单元存在。此外，还进行了去停用词等文本预处理。实验设置的超参数如表1。

表1

参数	含义	值
			batchSize	每批次使用的样本数	64
embeddingSize	词嵌入维度	200
			gru_size	GRU网络单元数	128
dropoutKeepProb	丢失率	0.5
			learningRate	学习率	0.001
l2RegLambda	L2正则化系数	0.001

如图3和图4所示，显示了对比实验准确率和损失率的变化曲线，由图3可以观察到本方法(BERT-DCA)的准确率始终高于其它两种模型。然而，并不是训练次数越多，准确率越高，BERT-DCA和BERT-SAC模型收敛速度更快，在第4次训练时取得了最高准确率，而BERT-BiGRU至第6次训练才取得最高值，突出了注意力机制对模型的优化效果。且每一种模型在获得最高准确率以后，都出现了略微波动的下降，但BERT-DCA的下降幅度最小。因此，BERT-DCA不仅收敛速度快，且稳定性也更好。图4中，BERT-DCA的损失率始终低于其他两种模型，并在第4次训练时取得了约为0.18的最低损失率；类似地，BERT-SAC模型的损失率也在第4次取得最小值；但是相对而言，BERT-DCA收敛速率比BERT-SAC模型更快，这个特点与BERT-DCA在准确率方面展示的优势相得益彰，也突出了本方法的优化效果。

本方法在构建BiGRU-Attention神经网络模型基础上，引入情感词典，搭建了并行的情感信息注意力通道，大大增强了文本情感信息词的情感表征，并且能最大化地提取文本深层语义，使得潜在语义得以充分表达；同时BERT预训练模型的引入，促进文本词向量伴随着语境实现动态调整，有效提升了情感分类性能。

Claims (2)

1.一种基于BERT模型和双通道注意力的文本情感分析方法，其特征在于本方法包括如下步骤：

步骤一、通过现有的中文情感语言库，构建一个包含情感词、程度副词、否定词的自定义情感语言库；

步骤二、利用NLPIR工具将文本数据进行分词，以自定义情感语言库作为分词词典，提取每条文本数据中的情感信息词，为BERT模型训练提供包含语义信息词{W₁,W₂,…,W_n}和情感信息词{E₁,E₂,…,E_m}的双通道输入；

步骤三、通过BERT模型为双通道语义和情感信息词的输入提供词向量，配合文本上下文语境进行词向量的动态调整，将真实情感语义嵌入BERT模型进行训练，得到语义信息词向量矩阵R_x和情感信息词向量矩阵R_e：

其中：

为行向量连接运算符，R_x和R_e的维数为评论文本中词语的数目和情感信息词的数目；

步骤四、对于语义信息文本，采用BiGRU神经网络同时处理正向和反向文本序列，对文本深层次信息进行特征提取，利用注意力机制对提取的特征信息分配相应的权重；对于情感信息集合，采用全连接网络与注意力机制相结合的方式对情感信息词进行编码，获取最重要的情感信号；

其中，某一时刻t的BiGRU神经网络信息提取模块输出状态由正向GRU网络和反向GRU网络的输出相连接组成，其计算方法为：

其中：x_t表示当前时刻的输入,通过结合正向GRU输出

与反向GRU输出得到隐藏层的语义表示s_t，T表示时间序列长度，正向的语义信息和反向的语义信息以相同的地位被考虑；

步骤五、为捕获更直接的语义依赖关系，将评论语义信息文本的BiGRU神经网络输出

和情感信息集合的全连接网络输出

分别输入到注意力机制中，采用双通道注意力分别对评论文本的语句和情感符号进行编码，注意力机制的计算方法如下：

u_t＝tanh(w_wh_t+b_w) (6)

其中：w_w与b_w为注意力机制的可调节权重和偏置项，h_t为BiGRU神经网络层和全连接网络的输出，u_t为h_t的隐含状态，u_w为softmax分类器的权重参数，α_t表示语句中每个词的重要度信息，V为经过注意力机制计算后的特征向量；

步骤六、将由双通道通过注意力机制后生成的特征向量V^s和V^e进行合并，从而构建文本整体的情感特征向量V^*，然后将其输入softmax分类器，从而得到最终预测的情感分类结果:

p＝softmax(w₂V^*+b₂) (9)

其中：w₂为权重系数矩阵，b₂为偏置矩阵，p为输出的预测情感标签。

2.根据权利要求1所述的基于BERT模型和双通道注意力的文本情感分析方法，其特征在于：所述步骤六中，为了简化模型的计算量，采用行连接的方式对特征向量V^s和V^e进行融合，构建一个(r_s+r_e)×c的矩阵V^*，生成最终情感特征向量；其中：r_s和r_e分别表示V^s和V^e的行数，c表示V^s和V^e的列数。

Images