CN108427670A - 一种基于语境词向量和深度学习的情感分析方法 - Google Patents

Abstract

本发明涉及一种基于语境词向量和深度学习的情感分析方法，属于自然语言处理领域。本发明公开了自然语言处理领域中一种情感分析方法，涉及使用语境词向量和深度学习结合的方法对电商平台的用户评论做情感倾向性分析，该方法通过训练语境词向量，结合深度学习解决目前情感分析问题中难以处理文本高维数据、无法提取情感特征、准确率低的问题。本发明采用语境词向量得到该语境下词语的语义信息和情感信息，与现有的技术相比，该方法能针对电商平台用户评论提取更有效的特征，对情感倾向分析具有较高的准确率和召回率。

Description

一种基于语境词向量和深度学习的情感分析方法

技术领域

本发明属于自然语言处理领域，涉及一种基于语境词向量和深度学习的情感分析方法。

背景技术

在互联网快速发展的今天，互联网信息呈现爆炸式增长，情感分析或意见挖掘已经渗入到人们生活的方方面面，京东、淘宝、亚马逊等互联网在线购物平台，在线音乐平台、微博、推特等社交网站、新闻传媒以及政治选举等等。例如，网上购物已经成了人们生活的潮流，针对用户在购物网站的评论进行观点挖掘及情感分析，不仅可以帮助用户更好的了解和选购产品，还能帮助产品制造商理解用户的需求，改进自身产品；在微博中，同样也可以对热搜事件中用户的观点和情感进行挖掘和处理，从而观察出现代人们的生活品质、爱好等。传统的文本情感分析方法多是基于采用提取文本特征和机器学习相结合的方式来构建情感分析模型，在提取文本特征方面的设计往往需要专家领域知识，人工成本较高，系统的泛化性能和迁移性较差，且不能提取出深层的语义信息，当语料过多时，会使得特征向量维数过大，增加训练难度，同时也容易导致过拟合。

最近几年随着word2vec和GloVe等词语分布表示工具的出现和完善，词语的表示信息越来越丰富，每个词向量不仅包含较为丰富的语义信息，同时每个词向量之间还存在一定的关系，可以通过简单的运算来得到预料中未包含词语的向量信息。自2012年来，ConvolutionalNeural Network(CNN)模型在图像识别中大放异彩，更多的研究者们开始将CNN模型移植到自然语言处理的任务上来，例如文本分类，情感分类等任务，并取得了一定成果，但是CNN模型并未考虑文本的时序特征，所以RecurrentNeuralNetwork(RNN)和LongShortTimeMemory(LSTM)模型被更多的使用在自然语言处理中，这个模型能实时捕获文本的时序特征和全局特征。

发明内容

有鉴于此，本发明的目的在于提供一种基于语境词向量和深度学习的情感分析方法，通过语境词向量训练模型扩展语义词向量得到词语的语境特征，消除词语歧义，将评论语句划分区域以提取文本局部特征，结合Bi-LSTM模型提取文本时序特征和全局特征，以解决CNN模型提取特征信息不足的缺点。

为达到上述目的，本发明提供如下技术方案：

一种基于语境词向量和深度学习的情感分析方法，包括以下步骤：

S1：初始化，生成一个内容为空的数据库，通过数据采集系统得到带标签的用户评论数据，将数据保存到生成的数据库中；

S2：数据预处理，将采集到的用户评论数据进行清洗，根据每条评论的标签将数据分类；

S3：词向量构建，利用word2vec工具得到文本语义词向量，再利用CoVe(ContextVectors)模型扩展文本语义词向量得到语境词向量；

S4：情感分析模型构建，利用区域卷积神经网络CNN提取输入文本特征的局部特征，结合Attention机制给对CNN的输出向量赋予不同的权重，组合得到句子向量，再利用BI-LSTM模型提取文本的全局特征；

S5：将S4的输出作为softmax函数的输入，对所得到的特征进行分类，得到用户评论的情感倾向，包括正立、中性和负立。

进一步，所述步骤S2具体为：根据正则匹配算法滤除文本中无用的标点符号和语气词，使用深度学习分词算法，结合收集的情感词典，达到比较精确的分词结果，然后统计词频，并根据词频建立词典；

所述步骤S2具体为：由word2vec训练得到语义词向量矩阵D＝R^v×d,其中v为词典大小，d为每个向量维度，语境词向量由MT-LSTM模型得到，CoVe(ω)＝MT-LSTM(ω)，其中ω∈D，MT-LSTM为预训练的神经翻译模型，由该模型得到词向量可以提取当前词语境信息，消除词语歧义，然后将Word2vec和CoVe得到的词向量组合为新的词向量矩阵其中d₁为word2vec得到的词向量维度，d₂为CoVe得到的词向量维度。

进一步，所述步骤S3具体为：对步骤1的分词结果采用word2vec工具中的Skip-gram模型训练文本的语义词向量，选择模型窗口为5，即预测输入词前后两个词，然后将得到的语义词向量输入到语境词向量训练模型中得到语境词向量。

进一步，所述步骤S4具体为：首先将每个句子补全为相同长度，根据词典索引获取词语的词向量并将每个评论语句组合成句向量，然后将句子划分为h个区域，其中h为单句评论中最大的情感词数目，基于情感词数目划分区域可以有效提取不同区域中情感词上下文的特征信息，使模型在训练过程中有效综合同一句子中不同的情感信息；

将划分的各区域独立地作为卷积神经网络的输入矩阵，然后使用长度为L的卷积核对区域做卷积操作，提取每个区域的局部特征，其每个区域的特征由公式m_i＝f(W₀h_i+b)得到，其中W为卷积核权重，b为偏置向，f为激活函数，所得到每个区域特征矩阵组合为矩阵M＝[m₁,m₂,…,m_m-l+1]；

将所得到的区域特征按句子的先后顺序形成序列化矩阵输入到Bi-LSTM模型中，提取文本的全局特征，对每个Bi-LSTM单元提取的特征使用Attention机制，对每个特征赋予不同的权重，由公式得到组合特征矩阵，其中表示第i个区域的重要程度，并由公式得到，其中a_i＝V^Ttanh(W_Ax_i+b)，W_A为参数矩阵，b为偏置向，V^T为随机初始矩阵V的转置。

进一步，所述步骤S5具体为：对经过Attention机制处理过的特征进行分类处理，使用softmax函数对矩阵k进行分类，其结果由公式p_i＝softmax(W·k+b)得到，其中W为权重矩阵，b为偏置项，p_i为每句评论的情感倾向概率。

本发明的有益效果在于：通过使用预训练的神经翻译模型MT-LSTM来扩展语义词向量，可以获得词语在文本中语境信息，然后根据情感词数目将文本均等划分为个区域，利用卷积神经网络提取每个区域情感词上下文的局部特征，通过Bi-LSTM模型整合每个区域的局部特征，提取文本的全局特征，结合Attention机制，为文本的特征向量分配不同的权重，以提取更为重要的特征信息，提高分类结果。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述文本情感分析的流程图；

图2为本发明所述word2vec工具中的skip-gram模型图；

图3为本发明所述区域CNN(卷积神经网络)模型示意图；

图4为本发明所述Bi-LSTM-Attention模型结构图；

图5为本发明的结构图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

参照图1所示的情感分析方法流程图，一种基于词向量和深度学习的电商平台用户评论情感倾向性分析方法，包括以下步骤：

101、初始化，生成一个内容为空的数据库，通过爬虫抓取得到带标签的用户评论数据和收集网络情感词典，将这些数据保存到生成的数据库中。

102、数据预处理，将抓取的数据进行清洗，数据清洗包括利用正则匹配算法滤除无用的标点符号和语气词，对重复的标点符号和语气词进行去重处理，根据数据标签给每句评论语料分类(正立，负立，中性)，然后使用深度学习分词算法结合收集的情感词典对文本进行分词处理，并统计词频，根据词频建立索引词典。

103、图2为本发明所述word2vec工具中skip-gram模型图；利用Word2vec工具对102中的分词结果进行词向量训练，得到一个语义词向量矩阵D＝R^v×d,其中V为词典大小，d为每个向量维度，语境词向量由MT-LSTM模型得到，CoVe(ω)＝MT-LSTM(ω)，其中ω∈D，MT-LSTM为预训练的神经翻译模型，由该模型得到词向量可以提取当前词语境信息，消除词语歧义，然后将Word2vec和CoVe得到的词向量组合为新的词向量矩阵其中d₁为word2vec得到的词向量维度，d₂为CoVe得到的词向量维度，词语的向量表示为

104、如图3所示，将每个句子补全为相同长度，根据词典索引获取词语的词向量并将每个评论语句组合成句向量，然后将句子划分为h个区域，每个区域大小为其中h为单句评论中最大的情感词数目，基于情感词数目划分区域可以有效提取不同区域中情感词上下文的特征信息，使模型在训练过程中可以有效综合同一句子中不同的情感信息。具体地，将划分的各区域独立地作为卷积神经网络的输入矩阵，然后使用长度为L的卷积核对区域做卷积操作，提取每个区域的局部特征，其每个区域的特征由公式m_i＝f(W₀h_i+b)得到，其中W为卷积核权重，b为偏置向，f为激活函数，所得到每个区域特征矩阵组合为矩阵M＝[m₁,m₂,…,m_m-l+1]。

105、如图4所示，将矩阵M的向量按先后顺序输入到Bi-LSTM中，利用LSTM的记忆和保留时序信息，提取文本的全局特征，双向LSTM相对单向LSTM提取的特征更为丰富，因为双向LSTM提取了文本的正向特征和逆向特征，并在输出层将两个特征连接在一起，对每个Bi-LSTM单元提取的特征使用Attention机制，对每个特征赋予不同的权重，由公式得到组合特征矩阵，其中表示第i个特征的重要程度，并由公式得到，其中a_i＝V^Ttanh(W_Ax_i+b)，W_A为参数矩阵，b为偏置向，V^T为随机初始矩阵V的转置。

106、对105中经过Attention机制处理过的特征进行分类处理，使用softmax函数对矩阵k进行分类，其结果由公式p_i＝softmax(W_s·k+b)得到，其中W_s为权重矩阵，b为偏置项，p_i为每句评论的情感倾向概率，由公式取最大的值，即为该句评论的情感类别。

107、本发明采用最大似然估计作为训练的损失函数，该公式的意义是使得预测值与实际值尽可能的接近，由于该函数为凸函数，故采用经典的梯度下降法优化训练过程。

图5为本发明的结构图，本发明适用于针对电商平台用户评论文本情感分析，由于本发明所公开的文本情感分析方法有效地将区域CNN模型和Bi-LSTM模型结合在一起，并通过语境词向量模型MT-LSTM扩展语义词向量，使得CNN模型可以提取丰富的局部特征，同时在Bi-LSTM的输出层结合Attention机制，使得softmax函数在分类时能更有效地关注重要的词语特征，所以使用本发明所公开的文本情感分析方法，可以达到较高的准确率和召回率，并具有较好的自适应能力，适用于大部分句子及文本情感分析任务。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种基于语境词向量和深度学习的情感分析方法，其特征在于：该方法包括以下步骤：

S1：初始化，生成一个内容为空的数据库，通过数据采集系统得到带标签的用户评论数据，将数据保存到生成的数据库中；

S2：数据预处理，将采集到的用户评论数据进行清洗，根据每条评论的标签将数据分类；

S3：词向量构建，利用word2vec工具得到文本语义词向量，再利用CoVe(ContextVectors)模型扩展文本语义词向量得到语境词向量；

S4：情感分析模型构建，利用区域卷积神经网络CNN提取输入文本特征的局部特征，结合Attention机制给对CNN的输出向量赋予不同的权重，组合得到句子向量，再利用BI-LSTM模型提取文本的全局特征；

S5：将S4的输出作为softmax函数的输入，对所得到的特征进行分类，得到用户评论的情感倾向，包括正立、中性和负立。

2.根据权利要求1所述的一种基于语境词向量和深度学习的情感分析方法，其特征在于：所述步骤S2具体为：根据正则匹配算法滤除文本中无用的标点符号和语气词，使用深度学习分词算法，结合收集的情感词典，达到比较精确的分词结果，然后统计词频，并根据词频建立词典；

所述步骤S2具体为：由word2vec训练得到语义词向量矩阵D＝R^v×d,其中v为词典大小，d为每个向量维度，语境词向量由MT-LSTM模型得到，CoVe(ω)＝MT-LSTM(ω)，其中ω∈D，MT-LSTM为预训练的神经翻译模型，由该模型得到词向量可以提取当前词语境信息，消除词语歧义，然后将Word2vec和CoVe得到的词向量组合为新的词向量矩阵其中d₁为word2vec得到的词向量维度，d₂为CoVe得到的词向量维度。

3.根据权利要求1所述的一种基于语境词向量和深度学习的情感分析方法，其特征在于：所述步骤S3具体为：对步骤1的分词结果采用word2vec工具中的Skip-gram模型训练文本的语义词向量，选择模型窗口为5，即预测输入词前后两个词，然后将得到的语义词向量输入到语境词向量训练模型中得到语境词向量。

4.根据权利要求1所述的一种基于语境词向量和深度学习的情感分析方法，其特征在于：所述步骤S4具体为：首先将每个句子补全为相同长度，根据词典索引获取词语的词向量并将每个评论语句组合成句向量，然后将句子划分为h个区域，其中h为单句评论中最大的情感词数目，基于情感词数目划分区域可以有效提取不同区域中情感词上下文的特征信息，使模型在训练过程中有效综合同一句子中不同的情感信息；

将划分的各区域独立地作为卷积神经网络的输入矩阵，然后使用长度为L的卷积核对区域做卷积操作，提取每个区域的局部特征，其每个区域的特征由公式m_i＝f(W₀h_i+b)得到，其中W为卷积核权重，b为偏置向，f为激活函数，所得到每个区域特征矩阵组合为矩阵M＝[m₁,m₂,…,m_m-l+1]；

将所得到的区域特征按句子的先后顺序形成序列化矩阵输入到Bi-LSTM模型中，提取文本的全局特征，对每个Bi-LSTM单元提取的特征使用Attention机制，对每个特征赋予不同的权重，由公式得到组合特征矩阵，其中表示第i个区域的重要程度，并由公式得到，其中a_i＝V^Ttanh(W_Ax_i+b)，W_A为参数矩阵，b为偏置向，V^T为随机初始矩阵V的转置。

5.根据权利要求1所述的一种基于语境词向量和深度学习的情感分析方法，其特征在于：所述步骤S5具体为：对经过Attention机制处理过的特征进行分类处理，使用softmax函数对矩阵k进行分类，其结果由公式p_i＝softmax(W·k+b)得到，其中W为权重矩阵，b为偏置项，p_i为每句评论的情感倾向概率。