CN107038480A - 一种基于卷积神经网络的文本情感分类方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的文本情感分类方法，包括以下步骤：搜集文本语料集，将文本里的数据表示成一个句子；对搜集的文本语料集进行预处理，并将情感文本语料分为训练集语料和测试集语料；对预处理后的文本预料集用word2vec工具训练出词向量模型并得到文本向量；将训练集语料的文本向量输入卷积神经网络训练出情感分类模型；将测试集语料的文本向量输入卷积神经网络，并用已经训练好的情感分类模型进行情感类别分类并计算出情感分类的准确率。本发明克服了以往分类时需要大量的人工标注的问题。

Description

一种基于卷积神经网络的文本情感分类方法

技术领域

本发明涉及文本分类技术领域，特别是涉及一种基于卷积神经网络的文本情感分类方法。

背景技术

21世纪的时代是信息的时代，随着计算机技术、数据存贮技术日新月异的发展和改进，应用领域也得到了快速扩展，世界也随着信息的大量涌入而发生着天翻地覆的变化，文本数据资源也在不断的高速增长。对于许多用户和企业来说面对如此大量的文本信息，从中获取有意义的、相关性强、具有针对性的信息变得异常艰难。所以对文本信息进行分类是一个很有价值的问题。

情感倾向分析是自然语言处理中一个重要的分支，特别是在以提取文本的情感内容为目标的分类方法中，情感分类已经有很多有用的实践，比如企业利用消费者对产品反馈的信息进行分析，或者根据评论中的好评或差评信息对自己的产品进行改进。

目前已有研究所采用的方法大多数采用支持向量机、最大熵以及随机游走等浅层学习方法，而这些方法无法捕获到很多有关情感倾向性分析的语言现象特征，还需要大量的人工标注与训练。

发明内容

本发明所要解决的技术问题是提供一种基于卷积神经网络的文本情感分类方法，克服大量的人工标注和训练。

本发明解决其技术问题所采用的技术方案是：提供一种基于卷积神经网络的文本情感分类方法，包括以下步骤：

(1)搜集文本语料集，将文本里的数据表示成一个句子；

(2)对搜集的文本语料集进行预处理，并将情感文本语料分为训练集语料和测试集语料；

(3)对预处理后的文本预料集用word2vec工具训练出词向量模型并得到文本向量；

(4)将训练集语料的文本向量输入卷积神经网络训练出情感分类模型；

(5)将测试集语料的文本向量输入卷积神经网络，并用已经训练好的情感分类模型进行情感类别分类并计算出情感分类的准确率。

所述步骤(2)中预处理的方式为去除文本语料集中的无关信息，随机选取文本语料集的80％作为训练集语料，20％作为测试集语料。

所述无关信息包括标点符号、多余空格、重复无用的单字和特殊字符。

所述步骤(3)中用word2vec工具训练时，出现次数超过五次的字会被加入字典中，对于没有出现在字典中的字符的词向量会被随机初始化。

所述步骤(4)中包括以下子步骤：

(41)词向量的串接：在包含N个以字为基本单位{r₁,r₂,…,r_N}的句子x中，卷积层对每个大小为k的连续窗口进行矩阵向量操作，假定向量Z_n∈R^dk是以句子中第n个基本单位为中心的前后各(k-1)/2个基本单位的词向量的串接，其中d为句子中基本单位向量化表示后向量的长度，则向量Z_n＝(r_n-(k-1)/2…r_n+(k-1)/2)^T；

(42)句子的特征向量表示：卷积层计算句子特征向量r^sent∈R的第i个元素的过程如下：其中，W∈R^dk是卷积层的权重矩阵，b为偏移量，max[]为取最大值函数；

(43)计算情感标签得分：表示句子x的全局特征的向量被传递给包含两个全连接层的神经网络处理，计算句子属于每个情感标签τ∈T的得分其中，矩阵矩阵向量向量b³∈R^|T|是模型需要学习的参数，激活函数h()使用正切函数，隐藏层单元数目hl_u为用户指定的超参数，dl_u为卷积单元和句子级的特征向量大小相关，T为情感标签即表示积极或消极；

(44)得到情感标签：给定一个句子x，参数集合为θ的模型对每个情感标签τ∈T计算一个得分S_θ(x)_τ，为了将这些得分转换为给定句子的情感标签和模型参数集θ的条件概率分布，将所有情感标签τ∈T的得分进行Softmax操作：其中，P()为条件概率，对上式取对数得到使用随机梯度下降算法最小化负似然函数其中，x表示训练语料集D的一条句子，y表示该句子的情感标签包括积极和消极两种。

所述步骤(42)中用权重矩阵计算给定句子中每个基本单位字的窗口大小为k的局部信息，对句子中所有基本单位的窗口取最大值，就抽取了一个在窗口大小为k的条件下长度为cl_u的句子特征向量，卷积窗口的大小不同，获取的局部信息也不同；利用并行的多个卷积层，学习不同N—gram的信息；每个卷积层经过最大值化都会生成一个固定长度的句子特征向量，将所有卷积层生成的句子特征向量进行串接，得到一个新的句子特征向量。

所述步骤(43)中在卷积层之后，加入了线性整流器ReLU层，将线性整流器ReLU作为激活函数，通过加入线性整流器ReLU层加速随机梯度下降的收敛速度。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明运用深度学习的方法采用一个包含多个并行卷积层的卷积神经网络，不同卷积层拥有大小不同的卷积核，可以获取多个不同的特征，卷积神经网络具有自动进行特征提取的功能，它可以从多个角度提取图像的不同特征，从而解决了如何有效地进行特征提取的问题。本发明利用字级别的词向量作为原始特征可以学习到更加具体的特征，采用无监督学习的方式提高了模型的准确率。本发明的方法实现方便，成本较低，适于大范围推广使用。

附图说明

图1是本发明的流程图；

图2是本发明中利用多个不同大小的卷积核抽取句子级别特征示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于卷积神经网络的文本情感分类方法，包括以下步骤：

(1)搜集网络上的文本语料集，将文本里的数据表示成一个句子；

(2)对搜集的文本语料集进行预处理，并将情感文本语料分为训练集语料和测试集语料。预处理的方式为去除文本语料集中的无关信息，随机选取文本语料集的80％作为训练集语料，20％作为测试集语料。其中，无关信息包括标点符号、多余空格、重复无用的单字和特殊字符。

(3)对预处理后的文本预料集用word2vec工具训练出词向量模型并得到文本向量，用word2vec工具训练时，出现次数超过五次的字会被加入字典中，对于没有出现在字典中的字符的词向量会被随机初始化。

(4)将训练集语料的文本向量输入卷积神经网络训练出情感分类模型。该步骤具体为：

(41)词向量的串接：在包含N个以字为基本单位{r₁,r₂,...,r_N}的句子x中，卷积层对每个大小为k的连续窗口进行矩阵向量操作，假定向量Z_n∈R^dk是以句子中第n个基本单位为中心的前后各(k-1)/2个基本单位的词向量的串接，其中d为句子中基本单位向量化表示后向量的长度，则向量Z_n＝(r_n-(k-1)/2…r_n+(k-1)/2)^T；

(42)句子的特征向量表示：卷积层计算句子特征向量r^sent∈R的第i个元素的过程如下：其中，W∈R^dk是卷积层的权重矩阵，b为偏移量，max[]为取最大值函数；

(43)计算情感标签得分：表示句子x的全局特征的向量被传递给包含两个全连接层的神经网络处理，计算句子属于每个情感标签τ∈T的得分其中，矩阵矩阵向量向量b³∈R^|T|是模型需要学习的参数，激活函数h()使用正切函数，隐藏层单元数目hl_u为用户指定的超参数，dl_u为卷积单元和句子级的特征向量大小相关，T为情感标签即表示积极或消极；其中，激活函数可以选用线性整流器ReLU，通过加入线性整流器ReLU层加速随机梯度下降的收敛速度。

(44)得到情感标签：给定一个句子x，参数集合为θ的模型对每个情感标签τ∈T计算一个得分S_θ(x)_τ，为了将这些得分转换为给定句子的情感标签和模型参数集θ的条件概率分布，将所有情感标签τ∈T的得分进行Softmax操作：其中，P()为条件概率，对上式取对数得到使用随机梯度下降算法最小化负似然函数其中，x表示训练语料集D的一条句子，y表示该句子的情感标签包括积极和消极两种。

结合图2，本实施方式中，用该权重矩阵计算给定句子中每个基本单位字的窗口的局部信息，对句子中所有基本单位的窗口取最大值，就抽取了一个在窗口大小为k的条件下的句子特征向量，卷积窗口的大小不同，获取的局部信息也不同。因此，利用并行的多个卷积层，学习不同的信息。每个卷积层经过最大池化操作后都会生成一个固定长度的句子特征向量，将所有卷积层生成的句子特征向量进行串接，得到一个新的句子特征向量。

本发明采用预先建立的卷积神经网络分类模型，对所采集的文本集进行处理，以得出文本的情感倾向；文本情感倾向包括积极和消极两个类别，卷积神经网络分类模型为对积极和消极两个类别进行卷积神经网络模型分类。

卷积神经网络算法步骤如下：

步骤1、设定卷积神经网络的初始参数，包括非线性的固定卷积层层数、各卷积层滤波器的个数及其初始值、各池化层的窗口大小、全连接层层数及每层神经元个数，构建基本的卷积神经网络模型；

步骤2、设定模型中的训练最小目标误差、学习速率、训练步数和最小批量数据个数；

步骤3、将数据导入输入层，递归得到网络的输出；

步骤4、计算输出误差，并修改权值和参数大小。

步骤5、重复步骤1～步骤4，直至误差在设定范围内或超出训练次数限制。

卷积神经网络模型可以有效地利用反向传播的性质修改权值，从而防止产生过拟合。本发明采用的卷积神经网络可以从少量的样本集中抓取到数据的本质特征，也可以从大量未标注的文本中学习到先验知识，避免依赖于具体任务的人工特征设计，可以在一定程度上解决文本上下文信息有限的问题。

(5)将测试集语料的文本向量输入卷积神经网络，并用已经训练好的情感分类模型进行情感类别分类并计算出情感分类的准确率。

Claims (7)

1.一种基于卷积神经网络的文本情感分类方法，其特征在于，包括以下步骤：

(1)搜集文本语料集，将文本里的数据表示成一个句子；

(2)对搜集的文本语料集进行预处理，并将情感文本语料分为训练集语料和测试集语料；

(3)对预处理后的文本预料集用word2vec工具训练出词向量模型并得到文本向量；

(4)将训练集语料的文本向量输入卷积神经网络训练出情感分类模型；

(5)将测试集语料的文本向量输入卷积神经网络，并用已经训练好的情感分类模型进行情感类别分类并计算出情感分类的准确率。

2.根据权利要求1所述的基于卷积神经网络的文本情感分类方法，其特征在于，所述步骤(2)中预处理的方式为去除文本语料集中的无关信息，随机选取文本语料集的80％作为训练集语料，20％作为测试集语料。

3.根据权利要求2所述的基于卷积神经网络的文本情感分类方法，其特征在于，所述无关信息包括标点符号、多余空格、重复无用的单字和特殊字符。

4.根据权利要求1所述的基于卷积神经网络的文本情感分类方法，其特征在于，所述步骤(3)中用word2vec工具训练时，出现次数超过五次的字会被加入字典中，对于没有出现在字典中的字符的词向量会被随机初始化。

5.根据权利要求1所述的基于卷积神经网络的文本情感分类方法，其特征在于，所述步骤(4)中包括以下子步骤：

(41)词向量的串接：在包含N个以字为基本单位{r₁,r₂,...,r_N}的句子x中，卷积层对每个大小为k的连续窗口进行矩阵向量操作，假定向量Z_n∈R^dk是以句子中第n个基本单位为中心的前后各(k-1)/2个基本单位的词向量的串接，其中d为句子中基本单位向量化表示后向量的长度，则向量Z_n＝(r_n-(k-1)/2…r_n+(k-1)/2)^T；

(42)句子的特征向量表示：卷积层计算句子特征向量r^sent∈R的第i个元素的过程如下：其中，W∈R^dk是卷积层的权重矩阵，b为偏移量，max[]为取最大值函数；

(43)计算情感标签得分：表示句子x的全局特征的向量被传递给包含两个全连接层的神经网络处理，计算句子属于每个情感标签τ∈T的得分其中，矩阵矩阵向量向量b³∈R^|T|是模型需要学习的参数，激活函数h()使用正切函数，隐藏层单元数目hl_u为用户指定的超参数，dl_u为卷积单元和句子级的特征向量大小相关，T为情感标签即表示积极或消极；

(44)得到情感标签：给定一个句子x，参数集合为θ的模型对每个情感标签τ∈T计算一个得分S_θ(x)_τ，为了将这些得分转换为给定句子的情感标签和模型参数集θ的条件概率分布，将所有情感标签τ∈T的得分进行Softmax操作：其中，P()为条件概率，对上式取对数得到使用随机梯度下降算法最小化负似然函数其中，x表示训练语料集D的一条句子，y表示该句子的情感标签包括积极和消极两种。

6.根据权利要求5所述的基于卷积神经网络的文本情感分类方法，其特征在于，所述步骤(42)中用权重矩阵计算给定句子中每个基本单位字的窗口大小为k的局部信息，对句子中所有基本单位的窗口取最大值，就抽取了一个在窗口大小为k的条件下长度为cl_u的句子特征向量，卷积窗口的大小不同，获取的局部信息也不同；利用并行的多个卷积层，学习不同N—gram的信息；每个卷积层经过最大值化都会生成一个固定长度的句子特征向量，将所有卷积层生成的句子特征向量进行串接，得到一个新的句子特征向量。

7.根据权利要求5所述的基于卷积神经网络的文本情感分类方法，其特征在于，所述步骤(43)中在卷积层之后，加入了线性整流器ReLU层，将线性整流器ReLU作为激活函数，通过加入线性整流器ReLU层加速随机梯度下降的收敛速度。