CN109597891B - 基于双向长短时记忆神经网络的文本情感分析方法 - Google Patents

Abstract

本发明属于人工智能与数据挖掘的交叉领域，具体涉及基于双向长短时记忆神经网络的文本情感分析方法；所述方法包括以下步骤将文本映射词向量映射框架中，将所述文本表示为词向量矩阵；构建改进的卷积神经网络，对映射的词向量矩阵进行特征提取；利用双向长短时记忆循环神经网络对提取的特征进行训练，直至其损失函数最小时；在该循环神经网络后增加全局均值池化层和分类层，从而输出该文本的情感分类。本发明将深度学习应用在文本情感分析中，摆脱了人工提取文本情感特征的局限性，同时在深度学习领域结合了卷积神经网络和循环神经网络的优点，并对网络进行改进，使其能更好的应用在文本处理的任务中。

Description

基于双向长短时记忆神经网络的文本情感分析方法

技术领域

本发明属于人工智能与数据挖掘的交叉领域，具体涉及基于双向长短时记忆神经网络的文本情感分析方法。

背景技术

近年来，深度学习越来越广泛地应用于文本分类处理上。文本分类旨在自动对文本信息进行处理，从而快速，准确地对海量文本进行分析。由于互联网的快速发展，网络上出现了越来越多的主观信息，所以对用户的主观信息进行情感分析，以抓住用户的价值趋向具有重要的意义。情感分析作为文本分类的一个重要的分支，已经成为自然语言处理、数据挖掘、信息检索等领域的研究热点。

传统的文本情感分析方法主要利用词袋模型(Bag of Words model,BoW model)进行特征提取，这种方法最早出现在自然语言处理和信息检索领域。主要思路是忽略文本中词与词之间的关系，仅仅将它看作是若干个词语的集合，文档中每个词都不考虑词序的时间和空间的信息。由于词袋模型没有考虑词序与句法的问题，所以该方法所提取的特征难以捕获语句的情感特征。

深度学习的快速发展，让越来越多的研究者将深度学习的方法应用到自然语言处理上。深度学习最初应用在图像分析领域，受到人脑中视觉感知野的启发，提出了卷积神经网络的模型，让计算机模拟人脑的工作方式，自动对图像的特征进行提取，然后送入神经网络进行学习。

在深度学习的模型框架中，卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)是目前最为广泛使用的两种模型结构，由于捕捉局部空间或时间结构的能力，CNN在计算机视觉、语音识别和NLP等取得了很好的效果。对于句子建模而言，CNN通过卷积滤波器在句子的不同位置提取n-gram特征，并且可以通过池化的方法获得句子中的主要特征。

另一种流行的神经网络结构是循环神经网络(RNN)，它能够处理任意长度的序列并且可以捕获长期依赖的关系，为了避免标准RNN中出现梯度爆炸或者消失的问题，长短期记忆网络(Long Short-Term Memory,LSTM)模型和其他的变体被提出以解决网络的记忆存储问题。随着基于序列模型和基于树结构模型的出现，RNN在句子或文本建模方面取得了令人惊讶的结果。

采用单一深度学习模型会产生以下不足：(1)CNN可以获得捕获局部特征的能力，但是缺少学习顺序序列的能力；(2)而RNN可以进行顺序序列的建模，但是无法以并行的方式提取文本的特征。

发明内容

为了克服上述现有技术中存在的缺陷，本发明在提供了一种基于循环卷积神经网络的文本情感分析框架，用于海量文本数据的分析。该方案海量文本数据提供数据分析服务。

现有技术中通常使用卷积层的目的是学习提取具有平移不变性的特征，并且可以通过组装多个卷积层来从输入序列中提取更高级的具有平移不变性的特征。本发明观察到在文本分析方向，大多数现有的深层模型都需要多层卷积也捕获长期依赖的关系，这是因为卷积层和池化层的局限性导致的。随着输入序列的不断增大，这个问题变得更加严峻，则需要更多的卷积层和池化层来捕获这种长期依赖的关系。大多数组合CNN和RNN的深度学习网络都应用了不同类型的池化层。经过分析，使用池化层是文本特征信息丢失的原因，因为池化层仅仅只是捕获了句子中最重要的特征而忽略了其他的特征。

为了实现本发明的上述目的所提出的智能框架，包括如下内容：该框架分为两个部分：数据特征的提取和模型的训练两个部分。特征的提取采用CNN的架构进行，与传统的CNN特征提取方式不同，本发明取消了CNN中的池化层以保证特征的序列性；而在模型训练层，本发明采用Bi-LSTM对输入特征进行训练，使得其对数据文本的特征实现更为高效的分类。

本发明的基于双向长短时记忆神经网络的文本情感分析方法，包括以下步骤：

S1：将文本映射到词向量映射框架中，将所述文本表示为词向量矩阵；

S2：构建改进的卷积神经网络，对映射的词向量矩阵进行特征提取；

S3：利用双向长短时记忆循环神经网络对提取的特征进行训练，直至其损失函数最小时；

S4：在该循环神经网络后增加全局均值池化层和分类层，从而输出该文本的情感分类标签。

进一步的，所述将文本映射到词向量映射框架中，将所述文本表示为词向量矩阵包括如下：

将文本中的每个单词通过查找word2vec模型中的词嵌入矩阵，得到字词的词向量矩阵：Text＝w_1:L＝w₁⊕w₂⊕...⊕w_L，其中，Text表示长度为L的文本；w_1:L表示第1个到第L个相邻的词向量；w_l表示第l个词的词向量；w_l表示第l个词的词向量，l∈{1,2,...,L}；⊕是向量拼接运算符。

所述构建改进的卷积神经网络，对映射的词向量矩阵进行特征提取包括：

设置出卷积神经网络中卷积核的宽度和个数；在其输入层中输入词向量矩阵，在其卷积层中将词向量矩阵与不同宽度的卷积核进行卷积，再进行非线性特征映射；使用相同窗口大小的卷积滤波器来提取出多个特征，并将这些特征进行重新排列，形成特征矩阵W；其中，所述改进的卷积神经网络包括输入层和卷积层。

优选的，所述进行非线性特征映射包括

其中，f表示非线性激活函数Relu；w_q:q+h-1表示h个相邻的词w_q,w_q+1,...,w_q+h-1；

表示第m个卷积滤波器提取的第q个特征，m∈(1,2,...,n)，n表示卷积滤波器个数；q的取值1,2,...,L-h+1；h表示进行卷积的长度；L表示文本的长度；b表示偏置值，·表示卷积滤波器和词向量之间进行点乘的操作。

优选的，所述使用相同窗口大小的卷积滤波器来提取出多个特征，并将这些特征进行重新排列包括对于窗口大小相同的n个不同权值的卷积滤波器，将提取的n个不同粒度的局部特征进行重新排列，重新排列的特征矩阵表示为W＝[c₁⊕c₂⊕...⊕c_n]；

表示第n个卷积滤波器的第L-h+1个特征。

优选的，获得重新排列后的特征矩阵W，将特征矩阵W送入双向长短时记忆循环神经网络，进行训练；将每个节点的双向输出结果进行拼接，输出值为Y＝{y₁,y₂,…,y_d}，d表示输出点的个数；

和

各自为双向的输出结果，其中，i表示其中某个输出的节点，i∈{1,2,...,d}，U表示拼接函数。

进一步的，所述在该循环神经网络后增加全局均值池化层和分类层，从而将文本的特征进行情感分类具体包括：

将每个输出值进行全局均值池化，输出向量经过softmax函数对获得的向量进行转换，计算所有类别预测的概率，根据该概率确定出文本的情感分类标签；其中，第i个输出点的全局均值池化表示为

Q表示每个输出节点的维度，该节点所预测的概率表示为

d表示输出节点的个数。

本发明的优点及有益效果如下：

1、本发明尝试利用RNN网络作为池化层的替代方案，以更有效的捕捉长期依赖的关系，并减少模型结构中参数的数量。

2、本发明侧重于通过去掉卷积过程中的池化操作来减少参数，同时用双向长短时记忆神经网络(Bi-directional LSTM,Bi-LSTM)作为池化层的替代物，以更好的捕获句子的长期依赖性关系。

3、本发明的模型只有一个卷积层用于提取文本中最重要的特征，而没有是用池化层，本发明将捕获的特征直接给Bi-LSTM以捕获长期依赖的关系，以实现更为高效的分类。

4、此外，本发明将全局均值池化的方法替代全连接层，减小了模型的计算量，加快了训练的速度，另一方面也不会导致模型的过拟合。

5、本发明将深度学习应用在文本情感分析中，摆脱了人工提取文本情感特征的局限性，同时在深度学习领域结合了卷积神经网络和循环神经网络的优点，并对网络进行改进，使其能更好的应用在文本处理的任务中。通过这种模型，可以更好地对情感分析、意见挖掘等领域等进行全方位的指导。

附图说明

图1是本发明的框架结构图；

图2是本发明的模型训练层框架图；

图3是本发明与现有技术对比结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本发明主要包括数据特征的提取，模型的训练两个部分。数据特征提取是在两个层次上进行框架的构建：词向量映射层和卷积提取层。而模型的训练负责对提取的数据进行分析，同时调整网络的参数，以适应不同的数据，达到模型训练的效果。通过卷积网络抽取文本中的特征，然后将抽取的特征进行重新组合送入循环神经网络中进行标签的预测。使用卷积神经网络可以抽取文本中更为复杂的特征，而利用循环神经网络则可以读取文本的语言关系，以便在预测中取得更好的结果。

词向量映射框架如下：

文本中的每个单词通过查找word2vec模型中的词嵌入矩阵可以得到字词的词向量表示。Text＝w_1:L＝w₁⊕w₂⊕...⊕w_L，其中，Text表示长度为L的文本；w_1:L表示第1个到第L个相邻的词向量；w_l表示第l个词的词向量；l∈{1,2,...,L}；⊕是向量拼接运算符。卷积特征提取如下：

由于每个词都被表征为一个M维的向量，所以本发明将卷积滤波器的宽度设置为M，同时改变卷积滤波器的高度以获得相邻词之间的共现关系。若w_q:q+h-1表示h个相邻的词w_q,w_q+1,...,w_q+h-1，卷积滤波器表示为m，则这h个词卷积后进行特征映射，得到一个新的值

其中b为偏置值，·表示卷积滤波器和词向量之间进行点乘的操作。为了加快网络的收敛速度，节省训练的时间，本发明采用非线性激活函数Relu对卷积后的特征进行非线性特征映射。

卷积本质上是对输入的信号进行加权求和，对于某一个卷积滤波器来说，它可以提取某一类的特征。本发明使用相同窗口大小的卷积滤波器来提取多个特征，对于窗口大小相同的n个不同权值的卷积滤波器，可以将提取的n个不同粒度的局部特征映射进行重新排列，那么重新排列的特征矩阵W＝[c₁⊕c₂⊕...⊕c_n]；

表示第n个卷积滤波器的第L-h+1个特征。其中，⊕表示列向量的连接，可理解的是，W_j表示特征矩阵的第j行，它是不同卷积滤波器产生的新的特征表示。

本发明的模型训练过程如下：

设置Bi-LSTM输入节点数目以及隐藏层节点的数目。在接收到提取的特征X后，送入Bi-LSTM进行训练。Bi-LSTM中有遗忘门、输入门和输出门。遗忘门f用于擦除存储单元某些多余的信息，而输入门i和输出门o则是控制网络从存储单元中读取和输出数据。模型训练后得到输出结果Y。其中，Bi-LSTM是一种特殊的循环卷积网路，在本发明中又称其为双向长短时记忆循环卷积神经网络。

情感分类层过程如下：

获得每个输入节点的输出值Y＝{y₁,y₂,…,y_d}。获得的节点输出值进行全局均值池化。利用softmax激活函数对获得的向量进行转换，计算所有类别预测的概率。其中，情感分类层也即分类层。

模型训练的损失函数为：

在损失函数的选择方面，本发明选择交叉熵函数，交叉熵函数是本领域技术人员常见的公知技术。

下面结合附图对本发明的具体实施作进一步的详细阐明。

如图1所示，本发明将“这是一个好商品”的文本从输入层进行输入，卷积神经网络提取出特征值，并形成特征序列或特征矩阵，经过Bi-LSTM网络进行训练，训练完成后，经过Bi-LSTM网络的输出层输出，再进行全局均值池化，从分类层输出该文本的情感分类标签；

具体的，本发明的框架结构主要涉及以下两个部分：数据特征的提取和模型的训练两个部分。数据特征提取涉及改进卷积神经网络的构建，首先需要将文本表示为词向量矩阵，再利用卷积神经网络并行提取抽象特征的能力对映射的文本矩阵进行特征提取，同时达到数据特征的压缩；模型训练主要借助Bi-LSTM对提取的抽象特征进行学习。

本发明基于一种改进的卷积神经网络，具体实施方式如下：

(1)设置：卷积神经网络中卷积核的宽度以及个数。

(2)提取特征：在其输入层中输入词向量矩阵，在其卷积层将词向量矩阵与不同宽度的卷积核进行卷积，获得更为抽象的特征。

(3)特征映射：为了节省训练时间，将卷积后的特征进行非线性特征映射。

(4)特征拼接：使用相同窗口大小的卷积滤波器来提取多个特征，对于窗口大小相同的n个不同权值的卷积滤波器，可以将提取的n个不同粒度的局部特征映射进行重新排列；形成特征矩阵W。

如图2所示，本发明的模型的训练层中，主要分为训练层和情感分类层：

1)训练层：采用Bi-LSTM，它可以看作是隐马尔可夫链的一个拓展，通过引入非线性的转换来模拟长期依存的非线性依赖关系。Bi-LSTM作为LSTM的升级形式，利用两层LSTM的结构让每个输出节点都能在获得上文和下文知识的基础上作为判断，相比LSTM结构，其结构更加复杂，能够抽象出更加复杂的文本语序特征。具体的特征训练可如下：

(1)获得卷积特征矩阵W

(2)将W送入模型进行训练，双向输出结果分别记为

和

(3)将每个节点的输出结果进行拼接，输出值为Y＝{y₁,y₂,…,y_d}，其中，d表示输出点的个数；

和

各自为双向的输出结果，其中，i表示其中某个输出的节点，i∈{1,2,...,d}，U表示拼接函数。

对于前向传播层而言，每一时刻的记忆都是由前一时刻的记忆和当前时刻的输入共同决定，而对于反向传播，每一时刻的记忆则由后一时刻的记忆与当前时刻的输入决定，而输出层则是对正向传播和反向传播的记忆进行拼接后，经过函数空间映射得到。通过这种方式，可以使每个输出节点同时获得上文和下文的信息，以对文本进行充分的训练，获得更为复杂的文本表达，以此来提高模型的顺序学习能力。

2)情感分类层：

相对于传统LSTM模型只能够对最后一个网络节点进行预测，这样会导致前面网络前面序列节点输出的信息丢失，所以本发明利用Bi-LSTM架构，对每个输入的节点都进行一次输出，输出值，通过这种方法可以在读取节点前后信息的同时获得前方每个节点的输出信息，使得网络能够充分学习数据的序列化特性。获得的数据进行全局均值池化的操作。具体的情感分类可如下：

(1)每个输出的值进行均值池化，

其中，Q表示每个输出节点的维度。

(2)输出向量经过softmax函数进行分类，该节点所预测的概率表示为

d表示输出节点的个数。

如图3所示，本发明与现有技术的模型对比图，现有技术通常使用卷积层的目的是学习提取具有平移不变性的特征，并且可以通过组装多个卷积层来从输入序列中提取更高级的具有平移不变性的特征。本发明观察到在文本分析方向，大多数现有的深层模型都需要多层卷积也捕获长期依赖的关系，这是因为卷积层和池化层的局限性导致的。随着输入序列的不断增大，这个问题变得更加严峻，本发明需要更多的卷积层和池化层来捕获这种长期依赖的关系。大多数传统组合CNN和RNN的深度学习网络都应用了池化层，这是使得文本信息丢失的原因。

传统模型流程如下：包括以下词嵌入、卷积神经网络、池化层、卷积神经网络、池化层、循环神经网络层、全连接层以及分类层。

本发明提出的模型流程如下：包括词嵌入、卷积神经网络、Bi-LSTM网络、全局均值池化层、分类层。

可以理解的是，此处省略了众所周知的输出层等，本发明提出的模型改变了传统模型复杂的结构，取消了池化层，降低了训练速度，训练层采用了Bi-LSTM，提升网络文本识别的准确性。本发明的模型只有一个卷积层用于提取文本中最重要的特征，而没有是用池化层，本发明将捕获的特征直接给Bi-LSTM网络以捕获长期依赖的关系，以实现更为高效的分类。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于双向长短时记忆神经网络的文本情感分析方法，其特征在于，所述方法包括以下步骤：

S1：将文本映射到词向量映射框架中，将所述文本表示为词向量矩阵；

S2：构建改进的卷积神经网络，对映射的词向量矩阵进行特征提取；

S3：利用双向长短时记忆循环神经网络对提取的特征进行训练，直至其损失函数最小时；

S4：在该双向长短时记忆循环神经网络后增加全局均值池化层和分类层，并替代全连接层，从而输出该文本的情感分类标签；

其中，步骤S4具体包括将每个输出值进行全局均值池化，输出向量经过softmax函数对获得的向量进行转换，计算所有类别预测的概率，根据该概率确定出文本的情感分类标签；其中，第i个输出节点的全局均值池化表示为

Q表示每个输出节点的维度，y_i表示第i个输出节点的输出结果；该节点所预测的概率表示为

d表示输出节点的个数。

2.根据权利要求1所述的基于双向长短时记忆神经网络的文本情感分析方法，其特征在于，所述将文本映射到词向量映射框架中，将所述文本表示为词向量矩阵包括如下：

将文本中的每个单词通过查找word2vec模型中的词嵌入矩阵，得到字词的词向量矩阵：

其中，Text表示长度为L的文本；w_1:L表示第1个到第L个相邻的词向量；w_l表示第l个词的词向量，l∈{1,2,...,L}；

是向量拼接运算符。

3.根据权利要求1所述的基于双向长短时记忆神经网络的文本情感分析方法，其特征在于，所述构建改进的卷积神经网络，对映射的词向量矩阵进行特征提取包括：

设置出卷积神经网络中卷积核的宽度和个数；在其输入层中输入词向量矩阵，在其卷积层中将词向量矩阵与不同宽度的卷积核进行卷积，再进行非线性特征映射；使用相同窗口大小的卷积滤波器来提取出多个特征，并将这些特征进行重新排列，形成特征矩阵W；其中，所述改进的卷积神经网络包括输入层和卷积层。

4.根据权利要求3所述的基于双向长短时记忆神经网络的文本情感分析方法，其特征在于，所述进行非线性特征映射包括

其中，f表示非线性激活函数Relu；w_q:q+h-1表示h个相邻的词w_q,w_q+1,...,w_q+h-1；

表示第m个卷积滤波器提取的第q个特征，m∈(1,2,...,n)，n表示卷积滤波器个数；q的取值1,2,...,L-h+1；h表示进行卷积的长度；L表示文本的长度；b表示偏置值，·表示卷积滤波器和词向量之间进行点乘的操作。

5.根据权利要求4所述的基于双向长短时记忆神经网络的文本情感分析方法，其特征在于，所述使用相同窗口大小的卷积滤波器来提取出多个特征，并将这些特征进行重新排列包括对于窗口大小相同的n个不同权值的卷积滤波器，将提取的n个不同粒度的局部特征进行重新排列，重新排列的特征矩阵表示为

表示第n个卷积滤波器的第L-h+1个特征。

6.根据权利要求1所述的基于双向长短时记忆神经网络的文本情感分析方法，其特征在于，步骤S3的训练过程包括：

获得重新排列后的特征矩阵W，将特征矩阵W送入双向长短时记忆循环神经网络，进行训练；将每个节点的双向输出结果进行拼接，输出值为Y＝{y₁,y₂,…,y_d}，d表示输出点的个数；

和

各自为双向的输出结果，其中，i∈{1,2,...,d}，U表示拼接函数。

Images