CN108763326B - 一种基于特征多样化的卷积神经网络的情感分析模型构建方法 - Google Patents

Abstract

本发明公开一种基于特征多样化的卷积神经网络的情感分析模型构建方法。该方法首先导入情感词典集合与句子语料训练集，并对初始数据集做相应预处理，通过计算情感词在不同极性数据集上出现的文档频数来计算情感得分以及普通词条的权重得分，得到词条得分特征统计值并构建特征向量。把得到的情感词典情感得分向量以及普通词条权重得分向量与向量化后的训练集句子向量进行拼接或者运算操作，得到具有特征信息多样化的输入矩阵。最后用特定参数的卷积神经网络模型训练数据集，得到训练好的模型。本发明能够解决模型在模型训练过程中对更深层的隐藏情感信息挖掘不够全面的问题，还能够有效提高情感分类的精确度。

Description

一种基于特征多样化的卷积神经网络的情感分析模型构建 方法

技术领域

本发明涉及一种基于特征多样化的卷积神经网络的情感分析模型构建方法，属于深度学习、自然语言处理、机器学习等交叉技术领域。

背景技术

近年来，新兴的社交网络中的自然语言处理，识别和分类是如今深度学习领域中的一个重要研究课题，具有重要的理论意义与实际应用价值。

随着我国经济社会的发展和科技的进步，对社交网络中的语言数据，尤其以微博这个人们生活中愈发重要的社交平台中语言文字的识别分析和理解已经成为社会科学和自然科学领域的重要内容，如何从微博文字中获取对相关人士有用的情感信息已得到学术界和工业界的广泛关注，对于微博中的人物情感分析主要是通过对文本上下文信息进行分析、处理、归纳等操作来挖掘文本的情感极性。但微博作为一种社交网络，其文本语言和普通文本分类不同，情感分析任务有其特有的情感特征信息，如何充分挖掘文本的情感信息是情感分析任务的关键。

目前常用的文本分类方法主要有基于规则和基于机器学习两大类，基于规则的方法主要是通过对文本信息进行分析和学习，从中获取特定的分类规则，对文本进行分类。基于机器学习的方法通过人工标注一部分样本构造训练数据集，使用机器学习算法从训练集中学习分类模型，最后利用分类模型对未知标签的样本进行类别预测，以此来实现文本的自动分类。

最近几年，随着对深度学习的越来越深入的研究，以及由于深度网络模型无需依赖复杂的特征工并且可以充分挖掘文本的特征信息等特点，越来越多的研究者开始将深度学习应用到情感分析的任务中，不管是使用使用卷积神经网络(convolutionneuralnetworks，CNN)，还是基于LSTM(long-short termmemory)网络提出一种文本情感分析网络模型等这些结合了情感特征信息的深度学习方法能更好地利用句子中的情感特征，有效识别句子中的情感极性，对识别准确率有了较大的提升。

基于上述研究成果，本发明提出一种基于特征多样化的卷积神经网络的情感分析模型构建方法，旨在使模型在训练过程中能挖掘更深层的隐藏情感信息。

发明内容

技术问题：本发明的目的在于克服现有方法的不足而提供一种实现结合特征多样化的卷积神经网络模型的方法，该方法构造的卷积神经网络模型和普通卷积神经网络相比，该模型能充分考虑情感分析任务中的情感特征信息，拓展网络模型以挖掘更多的隐藏信息，有效地将情感分析任务中有用的特征和卷积神经网络结合，从而提高模型的分类效果。

技术方案：本发明的一种基于特征多样化的卷积神经网络的情感分析模型构建方法包括以下步骤：

步骤1)输入知网上获得的情感单词数据集作为情感分析任务中的情感词集合，并在情感单词数据集中手动加入“蓝瘦”、“笔芯”、“给力”类似的数据集中不存在的带有感情色彩的新兴网络社交词语，以此作为构建该模型所使用的情感词典，并输入网上收集到的带有标记的句子语料训练数据集；

步骤2)分褒贬两类统计计算情感词典中的每一个情感词其在不同极性数据集上出现的文档频数并计算该情感词的情感得分；

所述步骤2)具体如下：

步骤21)对于情感词典中的每一个情感词，通过计算情感词在不同极性数据集上出现的文档频数来计算情感得分，如公式(1)、(2)所示：

式(1)中||为去绝对值操作符号，

为向下取整操作，sent_i为情感词典中的第i个情感词，

为包含情感词sent_i的积极情感数据集样本个数，

为包含情感词sent_i的消极情感数据集样本个数，Freq(sent_i)为情感词sent_i在数据集上的文档频数。Freq_min为最小文档频数，Freq_max为最大文档频数，Score(sent_i)为包含情感词sent_i的情感得分。α，β，θ为可调参数，α和β以调整不同极性数据集文档频数的重要程度，θ控制情感得分的阈值，i是序号。

步骤22)每个情感词可映射为一个对应的整数值

式(3)中

为包含词条w_i的积极情感数据集样本个数，

为包含词条w_i的消极情感数据集样本个数，Weight(w_i)为普通词条w_i的权重得分。

步骤3)使用相同维度的向量来表示情感词的情感得分和普通词条的权重得分，以得到卷积神经网络需要的一次性接收文本的平行化输入，将该每一个情感得分值用一个多维的连续值向量来表示。同样，将每一个普通词条的权重得分映射为一个维度一样的多维连续值向量；

所述步骤3)具体如下：

步骤31)本专利使用相同维度的向量来表示情感词的情感得分和普通词条的权重得分。模型将每一个得分值都用一个多维的连续值向量来表示，如公式(4)所示：

es_i＝[e₁,e₂,…,e_p] (4)

式(4)中

为情感词得分为i的向量表示，

表示es_i在实数域中取值，情感数据集中的情感词得分向量集合为

|Score|为式(2)中情感词情感得分集合大小。

步骤32)对于每一个普通词条的权重得分，将权重得分映射为一个维度相同的多维连续值向量，如公式(5)所示：

ew_i＝[e₁,e₂,…,e_p] (5)

式(5)中

为情感词得分为i的向量表示，

表示ew_i在实数域中取值，情感数据集中的情感词得分向量集合为

|weight|为式(3)中情感词情感得分集合大小。

步骤4)处理句子语料训练数据集，以词为单位将句子表示为一个由词向量组成的二维矩阵，即对于句子中的每一个词条，将词条映射为一个m维的连续值向量，并在卷积神经网络输入层，使用拼接和矩阵运算两种不同的矩阵计算方式来验证卷积神经网络的有效性；

所述步骤4)具体如下：

步骤41)句子语料作为训练数据集中长度为n的句子s＝{w₁,w₂,…,w_n}，其中w_i为句子中第i个词条，以词为单位将句子表示为一个由词向量组成的二维矩阵，如公式(6)所示：

式(6)中

为拼接操作

表示e_1:n在实数域中取值，m为词向量维度。e_i为词条w_i的词向量，将每一个词条映射为一个m维的连续值向量。

步骤42)采用拼接方式形成网络词语的向量表示，由步骤41中得到的词条，当该词为情感词，向量的计算方式如公式(7)所示，当词为普通词语，计算方式如公式(8)所示：

步骤43)使用一个权重矩阵来控制特征向量和词向量的输入，如公式(9)、(10)所示：

x_i＝e_i+R⊙es_i (9)

x_i＝e_i+R⊙ew_i (10)

式(9)和式(10)中

为可调权重矩阵，R表示控制特征向量的分量输入，⊙为矩阵相乘。

步骤5)在数据集上训练一个卷积神经网络，在卷积神经网络中使用多窗口、多卷积核对输入句子进行卷积操作，所述卷积神经网络包括卷积层，下采样层，全连接层和一个softmax模型的输出层，线性整流函数即ReLU函数作为激活函数，并使用了dropout机制和权重的正则化限制，最小化交叉熵优化模型。

所述步骤5)具体如下：

步骤51)卷积神经网络接收句子的平行化输入，对长度为h的卷积窗口，卷积神经网络通过卷积核对输入矩阵x_1:n进行卷积操作，如公式(11)所示：

c_i＝f(w·x_i:i+h-1+b) (11)

式(11)中

为卷积核权重，

表示w在实数域中取值，d表示x_i维度，

为偏置，f为激活函数，x_i:i+h-1为一个卷积窗口的词向量矩阵，i是遍历次数。长度为n的句子，通过卷积操作可得到如公式(12)所示的卷积后特征向量，

c＝[c₁,c₂,…,c_n-h+1] (12)

步骤52)从每一个特征向量中提取一个最大的值，有m个卷积核的窗口可以得到如式(13)所示特征向量：

式(13)中

为卷积神经网络提取得到的特征向量。

步骤53)通过一个softmax函数输出分类结果，如公式(14)、(15)所示。

y＝softmax(W·X+b) (14)

其中

为下采样层输出的正则项限制，

为对应元素相乘。

为全连接层权重矩阵，

为全连接层偏置。通过最小化交叉熵来优化模型，交叉熵代价函数如公式(16)所示：

式(16)中D为训练集数据集合，C为数据的类别集合，y_i为待分类句子i的预测类别，

为待分类句子i实际类别，λ||θ||²为交叉熵正则项，i，j分别是D集合，C集合中的遍历取值下标。

所述步骤21)中，α，β按照经验各取1.2，θ按照经验取200。

所述步骤31)中，特征向量维度取值为100。

所述步骤51)中，其中窗口大小分别为2、3、4、5，每种窗口的卷积核个数均为100。

所述步骤51)中，f激活函数ReLU,形如：f(x)＝max(x,0)的函数。

所述步骤53)中，softmax函数为

即原始神经网络的输出为y＝{y₁,y₂,...,y_n}，n为向量长度，i为遍历取值，∑为求和函数，这个函数作用是让原始神经网络输出符合概率分布，下采样层处理可以忽略目标的斜、旋转之类的相对位置的变化，提高分类精度，同时降低了特征图的维度并且已定成度上可以避免过拟合。全连接层的含义指的是相邻两层之间的任意两个节点之间都有连接，用于对输入的特征做加权和运算。

所述步骤53)中，权重限制最大值为3，Dropout为0.5，Mini-batch为32。

有益效果：本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明提出一种结合特征多样化的卷积神经网络模型构建方法，旨在使模型在训练过程中能挖掘更深层的隐藏情感信息，并且该模型能够有效地将情感分析任务中有用的特征和卷积神经网络结合，从而提高模型的分类效果。具体来说：

(1)本发明提出一种结合特征多样化的卷积神经网络模型，和普通卷积神经网络相比，该模型能充分考虑情感分析任务中的情感特征信息；

(2)本发明提出一种方法，将词语按不同的情感得分和权重得分映射为一个多维的连续值向量，从而可以把将词语的情感信息和权重信息有效地应用到情感分类任务中；

(3)本发明通过两种不同的卷积神经网络输入层计算方法，拓展网络模型以挖掘更多的隐藏信息；

(4)基于来自现实生活的两个数据集开展实验，验证并分析本模型的性能。

附图说明

图1是基于特征多样化的卷积神经网络的情感分析模型构建方法流程。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明的一种基于特征多样化的卷积神经网络的情感分析模型构建方法包括以下步骤：

在具体实施中，图1是基于特征多样化的卷积神经网络的情感分析模型构建方法流程。首先用户输入训练集，输入情感词典集合，使用Hownet情感词典作为情感分析任务中的情感词集合，但由于微博文本包含大量的网络用语，所以要在情感词典中手动加入“蓝瘦”、“笔芯”、“给力”等带有感情色彩的新兴网络社交词语，以此作为本模型所使用的情感词典。并通过计算情感词在不同极性数据集上出现的文档频数来计算情感得分以及普通词条的权重得分，得到词条得分特征统计值。

接下来是通过得到的情感得分以及普通词条的权重得分特征值来构建特征向量。使用相同维度的向量来表示情感词的情感得分和普通词条的权重得分，以得到卷积神经网络需要的一次性接收文本的平行化输入，对于每一个情感得分，将该得分值用一个多维的连续值向量来表示。用同样的方法，对于每一个普通词条的权重得分，将权重得分映射为一个维度一样的多维连续值向量，因为卷积神经网络需要一次性接收文本的平行化输入，所以使用相同维度的向量来表示情感词的情感得分和普通词条的权重得分。

得到了特征向量的同时，处理数据集中的语料，把每一个句子进行分词处理，去除一些标记意义特殊符号，数学符号等无用元素，得到一个由词条组成的句子，并把所有的句子统计单词，并向量化每一个句子。之后把上一步得到的情感词情感得分向量以及普通词条权重得分向量与向量化后的训练集句子向量进行拼接或者运算操作，从来得到具有特征信息多样化的输入矩阵。

为了充分考虑不同极性训练数据样本数量对词语得分的影响，以及使得分不偏向于任何一个极性，在计算数据集情感词和普通词语得分时，α和β都取1.2。由于情感得分取值过大会造成词语映射的复杂，同时如果情感得分取值过小则使模型无法有效区分不同影响力的词语。在平衡不同极性数据词语的得分数量后，实验中θ在两个数据集上的取值都为200，即固定特征取值的个数为200，使不同极性词语得分在得到有效区分的前提下，充分考虑对情感极性判别有相同影响力词语之间的联系。由于词向量为句子的主要信息，所以在实验中的特征向量维度取值为100维。在卷积神经网络中使用多窗口、多卷积核对输入句子进行卷积操作，使模型可以挖掘句子丰富的局部特征。其中窗口大小分别为2、3、4、5，每种窗口的卷积核个数均为100。为了防止过拟合，在实验中使用了dropout机制和权重的正则化限制，其中权重限制最大值为3。

训练数据集，模型构建完成。

Claims (10)

1.一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，包括以下步骤：

步骤1)输入情感单词数据集作为情感分析任务中的情感词集合，并在情感单词数据集中加入新兴社交网络词语，以此作为构建该模型所使用的情感词典，并输入带有标记的句子语料作为训练数据集；

步骤2)分褒贬两类统计计算情感词典中的不同情感词在褒贬两类极性数据集上出现的次数并计算该情感词的情感得分；

步骤3)使用相同维度的向量来表示情感词的情感得分和普通词条的权重得分，得到卷积神经网络需要的一次性接收文本的平行化输入，将每一个情感得分值用一个多维的连续值向量来表示，将每一个普通词条的权重得分映射为一个维度一样的多维连续值向量；

步骤4)以词为单位将语料训练数据集中的不同句子表示为一个由词向量组成的二维矩阵，对于句子中的每一个词条，将词条映射为一个随数据集大小改变的m维的连续值向量；在卷积神经网络输入层，使用拼接和矩阵运算两种不同的矩阵计算方式验证卷积神经网络的有效性；

步骤5)在数据集上训练一个卷积神经网络，卷积神经网络中使用多窗口、多卷积核对输入句子进行卷积操作，所述卷积神经网络包括卷积层，池化层，全连接层和一个softmax模型的输出层，线性整流函数即ReLU函数作为激活函数，并使用了dropout机制和权重的正则化限制训练模型，最小化交叉熵优化模型。

2.根据权利要求1所述的一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，所述步骤2)具体如下：

步骤21)情感词典中出现的每一个情感词，计算情感词在不同极性数据集上出现的次数来计算情感得分，如公式(1)、(2)所示：

式(1)中| |为去绝对值操作符号，式(2)中

为向下取整操作，式(1)和式(2)中sent_i为情感词典中的第i个情感词，

为包含情感词sent_i的积极情感数据集样本个数，

为包含情感词sent_i的消极情感数据集样本个数，Freq(sent_i)为情感词sent_i在数据集上重要程度表示；Freq_min为最小文档频数，Freq_max为最大文档频数，Score(sent_i)为包含情感词sent_i的情感得分，α，β，θ为可调参数，α和β用来调整不同极性数据集文档频数的重要程度，θ控制情感得分的阈值，i是序号；

步骤22)将每个情感词映射为一个对应的整数值：

式(3)中

为包含词条w_i的积极情感数据集样本个数，

为包含词条w_i的消极情感数据集样本个数，Weight(w_i)为普通词条w_i的权重得分。

3.根据权利要求1所述的一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，所述步骤3)具体如下：

步骤31)用相同维度的向量来表示情感词的情感得分和普通词条的权重得分，模型将每一个得分值都用一个多维的连续值向量来表示，如公式(4)所示：

es_i＝[e₁,e₂,…,e_p] (4)

式(4)中

为情感词得分为i的向量表示，

表示es_i在实数域中取值，情感数据集中的情感词得分向量集合为

|Score|为式(2)中情感词情感得分集合大小；

步骤32)对于每一个普通词条的权重得分，将权重得分映射为一个维度相同的多维连续值向量，如公式(5)所示：

ew_i＝[e₁,e₂,…,e_p] (5)

式(5)中

为情感词得分为i的向量表示，

表示ew_i在实数域中取值，情感数据集中的情感词得分向量集合为

|weight|为式(3)中情感词情感得分集合大小。

4.根据权利要求1所述的一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，所述步骤4)具体如下：

步骤41)句子语料作为训练数据集中长度为n的句子s＝{w₁,w₂,…,w_n}，其中w_i为句子中第i个词条，以词为单位将句子表示为一个由词向量组成的二维矩阵，如公式(6)所示：

e_1:n＝e₁⊕e₂⊕…⊕e_n (6)

式(6)中⊕为拼接操作

表示e_1:n在实数域中取值，m为词向量维度，e_i为词条w_i的词向量，将每一个词条映射为一个m维的连续值向量；

步骤42)采用拼接方式形成网络词语的向量表示，由步骤41中得到的词条，当该词为情感词，向量的计算方式如公式(7)所示，当词为普通词语，计算方式如公式(8)所示：

x_i＝e_i⊕es_i (7)

x_i＝e_i⊕ew_i (8)

步骤43)使用一个权重矩阵来控制特征向量和词向量的输入，如公式(9)、(10)所示：

x_i＝e_i+R⊙es_i (9)

x_i＝e_i+R⊙ew_i (10)

式(9)和式(10)中

为可调权重矩阵，R表示控制特征向量的分量输入，⊙为矩阵相乘。

5.根据权利要求1所述的一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，所述步骤5)具体如下：

步骤51)卷积神经网络接收句子的平行化输入，对长度为h的卷积窗口，卷积神经网络通过卷积核对输入矩阵x_1:n进行卷积操作，如公式(11)所示：

c_i＝f(w·x_i:i+h-1+b) (11)

式(11)中

为卷积核权重，

表示w在实数域中取值，d表示x_i维度，

为偏置，f为激活函数，x_i:i+h-1为一个卷积窗口的词向量矩阵；长度为n的句子，通过卷积操作可得到如公式(12)所示的卷积后特征向量，

c＝[c₁,c₂,…,c_n-h+1] (12)

步骤52)从每一个特征向量中提取一个最大的值，有m个卷积核的窗口可以得到如式(13)所示特征向量：

式(13)中

为卷积神经网络提取得到的特征向量，∧表示取最大值；

步骤53)通过一个softmax函数输出分类结果，如公式(14)、(15)所示

y＝softmax(W·X+b) (14)

其中

为下采样层输出的正则项限制，

为对应元素相乘，

为全连接层权重矩阵，

为全连接层偏置，通过最小化交叉熵来优化模型，交叉熵代价函数如公式(16)所示：

式(16)中D为训练集数据集合，C为数据的类别集合，y_i为待分类句子i的预测类别，

为待分类句子i实际类别，λ||θ||²为交叉熵正则项，j是序号。

6.根据权利要求2所述的一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，所述步骤21)中，α，β按照经验各取1.2，θ按照经验取200。

7.根据权利要求3所述的一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，所述步骤31)中，特征向量维度按照经验取值为100。

8.根据权利要求5所述的一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，所述步骤51)中，其中窗口大小照经验分别为2、3、4、5，每种窗口的卷积核个数照经验均取100，为f激活函数ReLU，形如：f(x)＝max(x,0)的函数。

9.根据权利要求5所述的一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，所述步骤53)中，softmax函数为

即原始神经网络的输出为y＝{y₁,y₂,...,y_n}，n为向量长度，i为遍历取值，∑为求和函数，这个函数作用是让原始神经网络输出符合概率分布，下采样层处理可以忽略目标的斜、旋转之类的相对位置的变化，提高分类精度，同时降低了特征图的维度并且已定成度上可以避免过拟合；全连接层的含义指的是相邻两层之间的任意两个节点之间都有连接，用于对输入的特征做加权和运算。

10.根据权利要求5所述的一种基于特征多样化的卷积神经网络的情感分析模型构建方法，其特征在于，所述步骤53)中，权重限制按照经验最大值为3，Dropout按照经验为0.5，Mini-batch按照经验为32。

Images