CN108763216A - 一种基于中文数据集的文本情感分析方法 - Google Patents

Abstract

本发明针对目前文本情感分析任务中所使用的神经网络结构无法提取文本重要特征的问题，提出了一种基于中文数据集的文本情感分析方法，包括步骤：首先对语料进行预处理，将其转换为词向量矩阵；然后使用卷积神经网络(CNN)进行局部信息特征的提取，接着将其作为长短时记忆网络(LSTM)的输入，学习文本词语，句子之间的序列关系；在其后引入注意力机制，来学习重要的文本特征；最后使用分类层对输出进行分类。本发明所提方法在中文数据集上具有可行性和优越性。

Description

一种基于中文数据集的文本情感分析方法

技术领域

本发明提出一种基于中文数据集的文本情感分析方法，涉及文本情感分析领域。

背景技术

随着互联网的快速发展，大多数人都有在微博，论坛等各种社交网络发表意见的经历，这种情况带来了大量带有人们情感色彩的文本，对于这些文本情感的分析与分类，是自然语言处理(NLP)的一个重要分支。

文本情感分析的主要任务就是对带有感情色彩的文本进行分析，处理，归纳，判断。传统机器学习算法需要使用大量的人工选择的数据特征，耗费大量人力且迁移性不强，而且不论是有监督还是无监督的学习方法，都属于浅层学习，无法学习到文本的更深层信息，在有限的文本数据和计算单元的情况下，机器学习对于复杂问题的处理以及复杂功能的实现上会受到一定程度的限制。

为了克服传统机器学习算法的缺陷，很多工作开始利用深度学习算法来处理NLP任务，CNN（Convolutional Neural Network )和RNN( Recurrent Neural Networks)是文本情感分析任务中使用最广泛的网络模型。但是由于文本中，每个词或者句子对整个文本的情感极性有着不同的决定作用，而以上两种神经网络都是学习文本的整体特征，无法识别文本重要的信息。

本发明提出一种基于中文数据集的文本情感分析方法，构建了一种基于注意力机制的混合神经网络模型(ConvLSTM-Attention)，先对中文语料进行分词和去停用词的处理，通过词向量工具将其转变为词向量矩阵；然后使用卷积神经网络(CNN)进行局部信息特征的提取，将其作为长短时记忆网络(LSTM)的输入，来学习文本词语，句子之间的序列关系；在其后引入注意力机制，来学习重要的文本特征；最后将得到的文本特征表示输入softmax分类层进行分类。该方法相较于一般深度学习网络，能够充分地提取文本的局部特征与序列信息，并能够通过注意力机制学习文本的重要信息特征，其正确率在中文数据集上可以达到91.76%。

发明内容

有鉴于此，本发明的主要目的在于将CNN网络与LSTM相结合，并在其后加入注意力层，提取重要的文本信息特征，提高文本情感分析的正确率。

为了达到上述目的，本发明提出的技术方案为：

一种基于中文数据集的文本情感分析方法，所述方法包括如下步骤:

步骤1、对语料进行预处理，将文本转换为固定大小的词向量矩阵；

步骤2、使用卷积神经网络(CNN)进行局部信息特征的提取，将其作为长短时记忆网络(LSTM)的输入，来学习文本词语，句子之间的序列关系；

步骤3、引入注意力机制，将步骤2得到的特征作为输入，进一步学习重要的文本特征；

步骤4、将得到的文本特征表示输入softmax分类层进行分类，积极为1，消极为0，并与文本标签进行对比计算，得出文本分类正确率。

综上所述，本发明使用CNN结合LSTM，并引入注意力机制来学习重要的文本信息，实质上就是使用LSTM对序列信息的学习能力来取代传统卷积神经网络的池化层，保留重要的文本特征信息，然后使用注意力层识别重要的特征，提升分类准确率。

附图说明

图1为本发明所述的一种基于中文数据集的文本情感分析方法的总体流程示意图；

图2为使用CNN进行局部信息特征的提取，作为长短时记忆网络(LSTM)的输入的流程示意图；

图3为利用注意力机制学习文本重要特征的流程示意图；

图4为使用分类层进行分类的流程示意图；

图5为使用中文数据集所得到的准确率结果。

具体实施方式：

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所举实例用于解释说明，并非限定本发明的实施方式，本发明也可以通过其它不同的具体实施方式实施。本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明所述的一种基于中文数据集的文本情感分析方法的总体流程示意图，如图1所示，本发明所述基于中文数据集的文本情感分析方法，包括如下步骤:

步骤1、对中文语料进行预处理，将文本转换为固定大小的词向量矩阵；

步骤2、使用卷积神经网络(CNN)进行局部信息特征的提取，将其作为长短时记忆网络(LSTM)的输入，来学习文本词语，句子之间的序列关系；

步骤3、引入注意力机制，将步骤2得到的特征作为输入，进一步学习重要的文本特征；

步骤4、将得到的文本特征表示输入softmax分类层进行分类，积极为1，消极为0，并与文本标签进行对比计算，得出文本分类正确率。

图2为使用CNN进行局部信息特征的提取，作为长短时记忆网络(LSTM)的输入的流程示意图，如图2所示，步骤2中，使用卷积神经网络(CNN)进行局部信息特征的提取，将其作为长短时记忆网络(LSTM)的输入，来学习文本词语，句子之间的序列关系，包括如下步骤:

步骤21、滤波器的窗口大小为,取值为4，代表进行卷积操作的滤波器，对词向量矩阵进行卷积操作，过程表示为

步骤22、卷积操作后输入激活函数，采用ReLu作为激活函数,表示为下式：

步骤23、对输入文本进行卷积操作后，得到一张特征图C

上式中，分号表示向量连接卷积操作产生的文本特征表示，是601的二维矩阵，为提取更多的文本特征，选用128个卷积核，得到多个代表不同特征信息的特征图，在深度上进行排列；

步骤24、将卷积产生的特征图直接作为LSTM的输入，提取文本序列特征。

图3为本发明利用注意力机制学习文本重要特征的流程示意图，如图3所示，步骤3中，引入注意力机制，将步骤2得到的特征作为输入，进一步学习重要的文本特征，包括如下步骤:

步骤31、将LSTM网络中的隐藏层状态非线性变换为，

步骤32、初始化注意力矩阵,将其与进行点乘运算；

步骤33、使用softmax函数对步骤32得到的矩阵进行归一化操作,得到注意力矩阵，。

图4为本发明使用分类层分类的流程示意图，如图4所示，步骤4中，将得到的文本特征表示输入softmax分类层进行分类，包括如下步骤:

步骤41、用得到的注意力矩阵与LSTM的隐层状态相乘求和，得到最终的文本特征表示x：

步骤42、将步骤41得到的特征表示作为分类层的输入，使用softmax函数来计算每个文本分属不同类别的概率大小p，可以描述为以下公式：

其中，文本分为k=2个类别，和是该层的权重和偏置，

步骤43、进行文本类别判断，判为概率值p所属较大的类别，积极为1，消极为0，并与文本标签进行对比计算，得到文本正确率。

实施例

本实例采用从互联网采集的真实中文评论（京东商品评论），使用基于中文数据集的文本情感分析方法对文本情感进行分析，具体步骤如下所示：

1. 对文本集进行预处理，使用结巴分词，然后进行去停用词处理，将文本赋予标签，积极为1，消极为0；

2. 对文本进行向量化处理，得到每个词的词向量，词向量维度设置为128，将句子定长为60，拼接得到60128的词向量矩阵；

3. 将得到的词向量矩阵作为卷积神经网络的输入，卷积核尺寸设置为4，卷积核个数为128，经过卷积操作后得到大小[64 60 128]的特征图，其中64为每次处理的样本个数；

4. 将卷积得到的特征图作为LSTM网络的输入特征，LSTM的隐层单元个数为128，为了防止过拟合，设定Dropout率为0.5；

5. 在其后特征与注意力层相乘，最终输入到分类层进行分类，得到如图5所示的正确率结果，其中横轴代表实验迭代次数，纵轴代表正确率，其中标记为圆圈的代表CNN模型，标记为五角星的代表LSTM模型，标记为正方形的代表CNN-LSTM模型，标记为倒三角形的为本发明的方法所构建的模型，其正确率在数据集上最高达到91.76%。

Claims (5)

1.一种基于中文数据集的文本情感分析方法，其特征在于，所述文本情感分析方法包括以下步骤:

步骤1、对中文语料进行预处理，将文本转换为固定大小的词向量矩阵；

步骤2、使用卷积神经网络(CNN)进行局部信息特征的提取，将其作为长短时记忆网络(LSTM)的输入，学习文本词语，句子之间的序列关系；

步骤3、引入注意力机制，将步骤2得到的特征作为输入，进一步学习重要的文本特征；

步骤4、将得到的文本特征表示输入softmax分类层进行分类，积极为1，消极为0，并与文本标签进行对比计算，得出文本分类正确率。

2.根据权利要求1所述的一种基于中文数据集的文本情感分析方法，其特征在于，步骤1中，对语料进行预处理，将文本转换为固定大小的词向量矩阵，包括如下步骤：

步骤11、对文本进行预处理工作，包括分词，去除停用词；

步骤12、为一个句子中第i个单词所对应的的词向量，k代表词向量维度，取值128，代表所输入的一整个文本，所代表的词向量矩阵可以表示为

其中，代表连接运算符；代表句子的长度，取定值为60，代表60128的二维词向量矩阵。

3.根据权利要求1所述的一种基于中文数据集的文本情感分析方法，其特征在于，步骤2中，使用卷积神经网络(CNN)进行局部信息特征的提取，作为长短时记忆网络(LSTM)的输入，学习文本词语，句子之间的序列关系，包括如下步骤：

步骤21、滤波器的窗口大小为,取值为4，代表进行卷积操作的滤波器，对词向量矩阵进行卷积操作，过程表示为

步骤22、卷积操作后输入激活函数，采用ReLu作为激活函数,表示为下式：

步骤23、对输入文本进行卷积操作后，得到一张特征图C

上式中，分号表示向量连接卷积操作产生的文本特征表示，是601的二维矩阵，为提取更多的文本特征，选用128个卷积核，得到多个代表不同特征信息的特征图，在深度上进行排列；

步骤24、将卷积产生的特征图直接作为LSTM的输入，提取文本序列特征。

4.根据权利要求1所述的一种基于中文数据集的文本情感分析方法，其特征在于，步骤3中，引入注意力机制，将步骤2得到的特征作为输入，进一步学习重要的文本特征，包括如下步骤：

步骤31、将LSTM网络中的隐藏层状态非线性变换为

步骤32、初始化注意力矩阵,将其与进行点乘运算；

步骤33、使用softmax函数对步骤32得到的矩阵进行归一化操作,得到注意力矩阵，。

5.根据权利要求1所述的一种基于中文数据集的文本情感分析方法，其特征在于，步骤4中，将得到的文本特征表示输入softmax分类层进行分类，并与文本标签进行对比计算，得到文本分类正确率;包括如下步骤：

步骤41、用得到的注意力矩阵与LSTM的隐层状态相乘求和，得到最终的文本特征表示x：

步骤42、将步骤41得到的特征表示作为分类层的输入，使用softmax函数来计算每个文本分属不同类别的概率大小p，可以描述为以下公式：

其中，文本分为k=2个类别，和是该层的权重和偏置，

步骤43、进行文本类别判断，判为概率值p所属较大的类别，积极为1，消极为0，并与文本标签进行对比计算，得到文本正确率。