CN107451118A - 基于弱监督深度学习的句子级情感分类方法 - Google Patents

Abstract

本发明提出了一种基于弱监督深度学习的句子级情感分类的方法，主要解决了现有技术不能准确的预测句子情感语义和分类准确率低的问题。其方案是：1.设计能够利用大量弱标注的评论句子进行句子情感分类的深度神经网络WDE‑LSTM；2.对深度神经网络模型WDE‑LSTM进行粗调，即使用句子三元组的训练准则，使相同标注的句子相互靠近，不同标注的句子相互远离，减少句子在训练过程中出现的错误移动；3.对深度神经网络WDE‑LSTM进行精调；4.对训练好的深度神经网络模型进行测试，输出句子的分类结果，本发明设计的深度神经网络稳定性强，能更自然的处理时间序列数据，提高了对句子情感语义分类的准确率，可用于电子商务。

Description

基于弱监督深度学习的句子级情感分类方法

技术领域

本发明属于计算机处理技术领域，特别涉及一种句子级情感分类方法，可用于电子商务。

背景技术

随着电子商务的快速发展，人们习惯了在网上消费并且在商家的评论网站上面写下他们关于购物经验的评论，这些评论的内容对于未来的顾客做决定和商家提高他们的产品质量来说都是非常有价值的资源。然而，随着评论的数量快速增长，人们面临着一个严重的信息过载的问题。为了缓解这个问题，人们提出了许多意见挖掘技术，例如观点摘要，民意调查和比较分析。关键的挑战在于如何准确的预测评论句子的情感倾向。

所谓的情感分类是指对用户发出的主观性文本进行分析和挖掘，判断文本中所包含的情感信息。流行的情感分类方法一般归为两类：(1)基于词典的方法，(2)机器学习方法。基于词典的方法通常首先构造观点词的情感词典，例如喜欢或讨厌，然后在出现意见单词和现有的句法知识的基础上设计分类规则。抛开效率不谈，这种方法需要在词典构建和规则设计上面进行大量的工作。此外，基于词典的方法不能很好的处理隐含的意见，即客观的陈述例如“一周前我买了个床垫，今天塌陷了”，这也是一种很重要的意见形式。事实信息通常比主观感受更有帮助。基于词典的方法只能以特殊的方法处理隐含的意见。

最初的基于机器学习的情感分类工作应用了流行的机器学习算法，例如朴素贝叶斯。之后，为了获得更好的分类性能，在此方向的大多数研究都是围绕着特征工程开展，并且已经探索出了不同种的特征，例如N-Gram，Part-of-speech(POS)信息和句子关系等。但是特征工程也十分耗费人力成本，并要求设计者有丰富的领域知识，而且适合一个领域的特征集可能无法在其他领域获得最优的效果。

近年来，深度学习已经成为解决情感分类问题的一种有效的方法。深度神经网络本质上学习的是一个高层次的数据表示，从而避免了大量的繁琐工作，例如特征工程。然而，深度学习非常依赖大规模的训练数据，而标注很大数量的句子是非常繁琐的工作。幸运的是，大多数的商家评论网站允许顾客通过评论的星级来总结意见。评级反映的是顾客评论的总体倾向，而且已经被用作情感分析。然而，评论级别不一定能代表部分句子的情感，比如，有些五星级的评论里面就可能包含一些消极负面的句子，有些一星级的评论里面也能发现有积极正面的词汇。因此，将评级信息二值化作为句子标签会包含一些错误的标注，影响分类器的训练。这种二值化后的评级信息称为弱标注信息。

流行的情感分类方法一般都需要非常繁琐的工作，基于词典的方法不能很好的处理隐晦的意见，而一般的机器学习方法可能只适用于某一特定领域，扩展性不强。因此这两种方法都不能很好的预测句子的情感语义，得不到准确的分类结果。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于弱监督深度学习的句子级情感分类方法，以准确的预测句子的情感语义，获得准确的分类结果。

为实现上述目的，本发明的技术方案包括如下：

(1)设计能够利用大量弱标注的评论句子来进行句子情感分类的深度神经网络WDE-LSTM，其中：第一层为输入层，第二层为长短期记忆层，第三层为最大池化层，第四层为隐藏层，第五层为嵌入层，第六层为分类层；

(2)对设计好的深度神经网络模型WDE-LSTM进行训练：

2a)定义评级信息二值化后的句子为弱标注句子，并根据句子的情感语义人工标注了一些句子，再通过弱标注句子从输入层训练到嵌入层，实现对深度神经网络WDE-LSTM的粗调；

2b)用弱标注句子训练了一个能捕捉数据情感分布的嵌入层之后，在嵌入层上加入分类层，再用人工标注的句子从输入层训练到分类层，以实现对深度神经网络WDE-LSTM的精调，最终得到一个二分类模型，即分类的句子情感语义分为积极和消极两类；

(3)将步骤(2)训练好的深度神经网络模型，用20％的人工标注的句子生成的数据集作为测试集，把该测试集输入到二分类模型中，即从输入层输入直到分类层，分类层最后输出的结果即为句子的情感语义类别。

本发明与现有技术相比具有如下优点：

1.本发明使用了弱标注的句子而不全是人工标注的句子，与人工标注的句子不同的是，由于弱标注的句子中包含错误标记的句子，所以使用弱标注的句子训练好的深度神经网络模型的稳定性更强，准确率也更高；

2.本发明设计的深度神经网络模型中包含两层长短期记忆网络，相较于卷积神经网络，能够更自然的处理时间序列数据，而现有卷积神经网络并不完全适用于学习时间序列数据，因此会需要各种辅助性处理，且效果也不一定好，因而面对时间序列敏感的问题和任务，采用长短期记忆网络通常会比较合适；

3.本发明提出了句子三元组的训练准则而不是句子二元组的训练准则，使用句子二元组的训练准则时，当采样了两个错误标注的句子后，两个句子会有相对较高的几率做出错误的移动，而使用句子三元组的训练准则时，会使相同标注的句子相互靠近，不同标注的句子相互远离，减少了句子在训练过程中出现的错误移动。

附图说明

图1是本发明的实现流程图；

图2是本发明中的深度神经网络模型WDE-LSTM结构图；

图3是本发明句子三元组和现有句子二元组对深度神经网络模型进行训练的效果图。

具体实施方式

参照图1，本发明的实现步骤如下：

步骤1，设计深度神经网络WDE-LSTM。

1.1)设置参数：

用大写字母例如W来表示矩阵，小写字母例如x来表示列向量，x(i)表示向量x的第i项；

1.2)设计一个六层结构的深度神经网络WDE-LSTM，其中：第一层为输入层，第二层为长短期记忆层，第三层为最大池化层，第四层为隐藏层，第五层为嵌入层，第六层为分类层，如图2所示；

1.3)设置每一层的功能：

1.3.1)输入层的功能：

将一个长度为m的句子用s＝＜w₁w₂...w_m＞的单词序列表示，每个单词w都通过一个词向量x表示，用k表示词向量x的长度，用n表示单词表中单词总数，由词向量组成的k×n矩阵组成单词查询表Y；

对单词查询表Y由公开可用的300维的词向量进行初始化，该300维的词向量是通过word2vec训练来自谷歌新闻的1000亿个单词得到；

输入层简单的将单词序列s＝＜w₁w₂...w_m＞通过单词查询表Y映射生成其对应的词向量＜x₁x₂...x_m＞；

1.3.2)长短期记忆层的功能：

长短期记忆网络LSTM是循环神经网络RNN的一种流行方法，用于捕捉变长序列数据中的特征，长短期记忆层包含两个长短期记忆网络，构成了一个双向的循环神经网络；

长短期记忆网络拥有称为记忆细胞的结构，记忆细胞通过输出门，输入门和遗忘门控制着其内部状态的读，写和复位，在时刻t，所有记忆细胞的正演计算如下：

d_t＝g(W_dx_t+U_dz_t-1+b_d) <1>

i_t＝σ(W_ix_t+U_iz_t-1+b_i) <2>

f_t＝σ(W_fx_t+U_fz_t-1+b_f) <3>

o_t＝σ(W_ox_t+U_oz_t-1+b_o) <4>

c_t＝i_t⊙d_t+f_t⊙c_t-1 <5>

z_t＝o_t⊙g(c_t) <6>

其中：

向量元素d_t，i_t，f_t，o_t分别对应于在时刻t的记忆细胞的输入单元d，输入门i，遗忘门f和输出门o的一个结果值；

W_d，W_i，W_f和W_o分别代表输入单元，输入门，遗忘门和输出门的加权矩阵；

U_d，U_i，U_f和U_o分别代表将上一轮长短期记忆网络输出的z_t-1作为这一轮输入时在输入单元，输入门，遗忘门和输出门的参数；

b_d，b_i，b_f和b_o分别代表输入单元，输入门，遗忘门和输出门的偏差向量；

x_t表示在时刻t输入的词向量，c_t表示记忆细胞的内部状态，z_t表示记忆细胞在时刻t的输出，σ(·)是sigmoid激活函数，g(·)是输入和输出的激活函数，该激活函数通常是双曲正切函数；

由式<1>——<6>可以得出：

LSTM_f和LSTM_b分别代表向前和向后的长短期记忆网络，是向前的长短期记忆网络在时刻t的输出，是向后的长短期记忆网络在时刻t的输出，concat函数表示和的级联；

这种双向结构通过从整个句子编码文本信息生成了每个单词更全面的特征表示，因此，长短期记忆网络中的记忆细胞可作为检测句子序列模式的特征提取器，通过长短期记忆层提取句子更高层次的特征向量；

1.3.3)最大池化层的功能：

将长短期记忆层输出的z_t输入最大池化层来提取长短期记忆层中每个特征提取器最突出的特征，形成固定长度的特征向量v：

最大池化层保持了句子最突出的特征；

1.3.4)隐藏层的功能：

将最大池化层输出的定长的特征向量v输入到隐藏层中，提取非线性的高层次的特征向量h：

h＝f(W_hv+b_h) <9>

其中W_h是隐藏层的加权矩阵，b_h是隐藏层的偏差向量；f(·)是非线性的激活函数，本实例使用的是双曲正切函数；

1.3.5)嵌入层的功能：

句子情感语义的先验知识代表句子的低层次特征，用上下文向量a_s表示，所有句子的上下文向量构成了上下文查询表A；

将隐藏层输出的特征向量h和句子s的上下文向量a_s输入到嵌入层中，获得足够好的句子的特征向量y：

其中W_e代表嵌入层的加权矩阵，b_e代表嵌入层的偏差向量；

1.3.6)分类层的功能：

将嵌入层输出的特征向量y作为分类层的输入，并进行仿射变换后，再输入到softmax激活函数中产生最终的分类结果。

步骤2，对步骤1设计的深度神经网络WDE-LSTM进行粗调。

2.1)定义评级信息二值化的句子称为弱标注句子，即将评级高于三星的句子标注为积极，将评级低于三星的句子标注为消极，忽略评级为三星的句子；

2.2)将弱标注的句子分为两组，第一组为P＝{s|l(s)＝pos}，第二组为N＝{s|l(s)＝neg}，其中f(S)表示句子的情感语义类别，pos表示积极，neg表示消极；由于P和N中可能包含错误标注的句子，不能直接用来训练模型，因此，需要先用弱标注的句子对深度神经网络WDE-LSTM的前五层进行训练；

2.3)设计训练方案：

2.3.1)传统的句子二元组的训练方案是：采样句子对，即对于两个句子标注相同则减少句子之间在训练中的距离，对于标注不同的句子则增加距离，然而，如果采样了错误标记的句子时，会有相对较高的机率做出错误的移动；

2.3.2)对深度神经网络WDE-LSTM进行粗调时采用句子三元组的训练方案，以对传统的句子二元组的训练方案进行改善，这种方案是先随机选择P或N为焦点，假设选择P为焦点，则从P中随机选择两个句子s₁和s₂，再从N中随机选择句子s₃；假设选择N为焦点，则从N中随机选择两个句子s₁和s₂，再从P中随机选择句子s₃，用＜s₁,s₂,s₃＞表示这个完整的三元组，其中l(s₁)＝l(s₂)≠l(s₃)；

将句子三元组的训练方案的最终目标定义为排名损失L_weak：

其中是句子s_i在嵌入层的输出，是句子s_j在嵌入层的输出，dst(·)表示句子间的欧氏距离，λ是边缘参数；

式<11>和<12>表示在训练中需要保持相同标注的句子s₁和s₂之间的欧氏距离比不同标注的句子s₁和s₃之间的欧氏距离更短，且欧氏距离差值至少为λ，如果差值超过边缘参数λ，句子将不会移动；

2.3.3)通过图3这个简单的例子说明了句子三元组相较于句子二元组的优势：

用圆圈表示P中的句子，三角形表示N中的句子，黑色结点表示错误标注的句子；

为了清楚起见，对每种方法列举三种情况：其中：

在图3(a)中这三种情况的结果都是错误的移动，即不同类别的句子靠得更近，如情况1和情况2；相同类别的句子离得更远，如情况3；

在图3(b)的情况1中，由于s₃离s₁比s₂更近，此方法将拖动s₃远离s₁，拖动s₂靠近s₁，因此情况1是错误的移动，情况2中句子的移动是正确的，而情况3中句子的移动却是错误的；

对于这两种训练方法，当选择错误标记的句子作为样本时，都可能会产生错误的移动，但是很明显，句子二元组所示的3种情况中句子都出现了错误移动，而句子三元组所示3种情况中只有情况2的句子出现的是正确的移动，因此，句子三元组相较于句子二元组能减少句子在训练过程中出现的错误移动，以实现对深度神经网络WDE-LSTM的粗调。

步骤3，对步骤1设计的深度神经网络WDE-LSTM进行精调。

在用弱标注句子训练嵌入层获得了一个足够好的句子的特征向量后，在顶部添加一个分类层，用人工标记的句子进一步训练深度神经网络，即将句子从输入层训练到分类层，以实现对深度神经网络WDE-LSTM的精调；

图2展示的是一个二分类的模型，对于二分类问题，分类层相当于是逻辑回归模型，本实例也可通过适应性修改深度神经网络WDE-LSTM的结构，以用于多类预测问题。

步骤4，测试训练好的深度神经网络模型。

将30％的人工标注的句子随机生成的数据集作为测试集，输入到步骤2和步骤3训练好的深度神经网络模型WDE-LSTM中，深度神经网络模型WDE-LSTM输出分类；

将深度神经网络模型WDE-LSTM输出分类结果的精度和宏F1作为评估标准，对本发明和传统的分类方法进行比较，结果如表1。

传统方法包括：

基于词典的方法：Lexicon；

机器学习的方法：SVM，SBSVM，SSWE，SentiWV，CNN-rand，CNN-weak和LSTM-rand；

表1

由表1可以看出，对于句子情感语义的分类结果，除了基于词典的方法Lexicon，其他所有机器学习的方法都达到了可接受的结果表现；而所有机器学习的方法中CNN-weak的性能最差；

由于应用了神经网络模型，SSWE比传统的机器学习的方法SVM和NBSVM更好；

CNN-rand和LSTM-rand这两种神经网络方法最后的结果表现差不多，但总体上LSTM-rand的结果表现略逊于CNN-rand；

而本发明所述的深度神经网络WDE-LSTM在结果表现上明显优于表1中其他的方法。

Claims (4)

1.一种基于弱监督深度学习的句子级情感分类方法,其特征在于，包括：

(1)设计能够利用大量弱标注的评论句子来进行句子情感分类的深度神经网络WDE-LSTM，其中：第一层为输入层，第二层为长短期记忆层，第三层为最大池化层，第四层为隐藏层，第五层为嵌入层，第六层为分类层；

(2)对设计好的深度神经网络模型WDE-LSTM进行训练：

2a)定义评级信息二值化后的句子为弱标注句子，并根据句子的情感语义人工标注了一些句子，再通过弱标注句子从输入层训练到嵌入层，实现对深度神经网络WDE-LSTM的粗调；

2b)用弱标注句子训练了一个能捕捉数据情感分布的嵌入层之后，在嵌入层上加入分类层，再用人工标注的句子从输入层训练到分类层，以实现对深度神经网络WDE-LSTM的精调，最终得到一个二分类模型，即将分类的句子情感语义分为积极和消极两类；

(3)将步骤(2)训练好的深度神经网络模型，用30％的人工标注的句子生成的数据集作为测试集，把该测试集输入到二分类模型中，即从输入层输入直到分类层，分类层最后输出的结果即为句子的情感语义类别。

2.根据权利要求1所述的方法，其特征在于，步骤(1)设计的深度神经网络WDE-LSTM，其各层的功能如下：

输入层，用于将输入的句子用单词序列表示，再将单词序列中的每个单词用一个词向量表示；

长短期记忆层，用于将长短期记忆网络中的记忆细胞作为检测句子的特征提取器，输入的词向量通过两个长短期记忆网络来获得更高层次的特征向量；

最大池化层，用于通过比较长短期记忆层中每个提取器的向量值来获得每个提取器的最大值，再将这些最大值组成定长的特征向量；

隐藏层，用于将定长的特征向量输入激活函数中，得到非线性的高层次特征向量；

嵌入层，用于将隐藏层输出的特征向量与输入句子的低层次特征向量组成新的矩阵输入到这层的激活函数中，最后得到足够好的句子的特征向量；

分类层，将嵌入层的输出作为输入，进行仿射变换，然后输入到softmax激活函数中，最后输出的结果即为句子的情感语义类别。

3.根据权利要求1所述的方法，其特征在于，步骤2a)中通过弱标注句子从输入层训练到嵌入层，是采用句子三元组的训练准则，即将两个相同弱标注的句子和一个不同弱标注的句子组成样本输入到模型中，并保持相同弱标注的句子相互靠近，不同弱标注的句子相互远离，以实现对深度神经网络WDE-LSTM的粗调。

4.根据权利要求1所述的方法，其特征在于，步骤2b)中用人工标注的句子从输入层训练到分类层，是在模型中加入分类层，直接将人工标注的句子从输入层输入模型中，一直训练到分类层，以实现对深度神经网络WDE-LSTM的精调，最终得到一个二分类模型。