CN111680160A

CN111680160A - 一种用于文本情感分类的深度迁移学习方法

Info

Publication number: CN111680160A
Application number: CN202010550138.4A
Authority: CN
Inventors: 代祖华; 牟巧玲; 李泓毅; 王玉环
Original assignee: Northwest Normal University
Current assignee: Northwest Normal University
Priority date: 2020-06-16
Filing date: 2020-06-16
Publication date: 2020-09-18

Abstract

本发明公开了一种用于文本情感分类的深度迁移学习方法，包括：源域预训练，选取较大规模的数据作为源域训练样本，针对目标识别任务进行有监督地训练卷积神经网络，得到预训练模型；特征信息迁移，构建与预训练模型具有相同结构的卷积神经网络，将较小规模的文本数据作为目标域的目标任务，利用上一步获得的预训练模型中除全连接层以外的所有层参数初始化该网络对应层的参数，采用目标数据作为训练样本对网络进行微调。本发明的方法实现源域到目标域的特征信息迁移，在情感分类任务中有着显著的效果，获得较高的分类准确率，提高模型的适应性。

Description

一种用于文本情感分类的深度迁移学习方法

技术领域

本发明涉及文本学习方法，具体涉及一种用于文本情感分类的深度迁移学习方法。

背景技术

随着移动互联网、社交网络、电子商务等信息技术的蓬勃发展，网站评论区、微博以及各大电商平台成为互联网用户的重要载体。如何将此类平台上的文本评论信息高效、合理的处理、分析并加以利用，是研究人员广泛关注的课题。情感分类是指根据文本所表达的含义和情感信息将文本划分成正向或负向类型，是对文本作者倾向性和观点、态度的划分。因此，对于舆情监控有着重要的研究意义。

传统的情感分类方法有基于词典的方法和基于机器学习方法。基于词典的方法主要依赖于词典数据集，通过点互信息量 ( Pointwise Mutual Information，PMI)等方法来判断新词的情感倾向，进而对文本进行情感分类。基于机器学习方法通常使用词袋 (Bag of Words，BOW) 模型将文本表示成定长向量，然后使用监督学习方法对文本情感进行分类。2013年，Google公布了一款可以将文本有效地表示为低维且连续形式的词向量工具Word2Vec，这成为在自然语言处理( Natural Language Processing，NLP) 领域引入深度学习技术的基础。

深度学习(Deep Learning,DL)是一种受大脑结构和功能启发的人工神经网络，是一种新的分类方法。该方法可以从海量数据中学习高级特征，通过无监督或半监督特征学习算法和分层特征提取来自动提取数据特征，被广泛应用于图像、文本和语音识别等高维特征数据处理中。目前，用于文本分类问题的深度学习方法之一是卷积神经网络（Convolutional Neural Network， CNN），且大量研究表明，CNN在文本分类问题中显示出良好的效果。通常，深度学习依赖大规模训练数据，需要大量标注数据去理解潜在的数据模式。然而，在一些特殊领域，数据收集复杂且昂贵，构建大规模、高质量的标注数据集非常困难，训练数据不足不可避免。这就导致在训练数据不足情况下深度学习造成过拟合现象。迁移学习(Transfer Learning,TL)有效地解决了这一问题。迁移学习是一种机器学习方法，可以把经验知识“迁移”到新的学习中，将已经广泛使用的大数据“挪用”到小数据领域，以攻克小数据领域里数据和经验知识匮乏的问题。该方法既不要求训练数据必须与测试数据独立同分布（i.i.d.），也不必有大量的标记数据。

深度学习与迁移学习的结合称为深度迁移学习（Deep Transfer Learning，DTL）。深度迁移学习是一种将其他领域训练到的深度模型重用于目标领域的方法，能够有效降低模型的训练时间，使现有数据得到更充分的利用，提高深度网络在实际应用中的泛化能力。目前，深度迁移学习在计算机视觉领域应用极为广泛，而在自然语言处理（NaturalLanguage Processing，NLP）领域却用途寥寥。在NLP领域现有的迁移学习方法大部分都是基于传统统计机器学习算法。

深度学习方法被广泛应用于文本情感分类问题，采用分层自动提取文本特征，有效解决了文本情感分类中特征提取困难问题。然而，深度学习依赖大规模训练数据，需要大量标注数据去理解潜在的数据模式。当没有足够标记数据来训练网络模型时，深度学习用于文本情感分类的准确率极低。

发明内容

本发明的主要目的在于提供一种用于文本情感分类的深度迁移学习方法，实现源域到目标域的特征信息迁移，在情感分类任务中有着显著的效果，获得较高的分类准确率，提高模型的适应性。

本发明采用的技术方案是：一种用于文本情感分类的深度迁移学习方法，包括：

源域预训练，选取较大规模的数据作为源域训练样本，针对目标识别任务进行有监督地训练卷积神经网络，得到预训练模型；

特征信息迁移，构建与预训练模型具有相同结构的卷积神经网络，将较小规模的文本数据作为目标域的目标任务，利用上一步获得的预训练模型中除全连接层以外的所有层参数初始化该网络对应层的参数，采用目标数据作为训练样本对网络进行微调。

进一步地，所述特征信息迁移包括前馈网络处理和误差反向传播处理。

更进一步地，所述前馈网络处理包括：

S1，计算卷积，提取句子矩阵Sj 的局部特征，得到卷积层的输出特征图Ci；

S2，对特征图Ci进行最大值池化，得到池化层的输出特征图；

S3，将先前层提取到的特征图通过全连接层连接并输出对应各类的特征图，最后利用Softmax 回归模型，得到分类结果。

更进一步地，所述步骤S1包括：

卷积层用大小为

的滤波器对句子矩阵

执行卷积操作，提取

的局部特征：

其中句子矩阵表示

；

（1）

其中:

代表

的滤波器，b代表偏置量；

代表通过Relu进行非线性操作的函数；

代表

中从

到

共

行向量；

代表通过卷积操作得到的局部特征；随着滤波器依靠步长为 1从上往下进行滑动，走过整个Sj最终得到局部特征向量集合C:

（2）。

更进一步地，所述步骤S2包括：

对卷积操作得到的局部特征采用最大池化的方法提取值最大的特征代替整个局部特征，通过池化操作大幅降低特征向量的大小；对特征图Ci进行最大值池化，得到池化层的输出特征图：

（3）。

更进一步地，所述误差反向传播处理包括：

根据交叉熵损失函数计算梯度，采用误差反向传播的方法调整网络的权值和偏置参数，直到误差收敛。

本发明的优点：

本发明的一种用于文本情感分类的深度迁移学习方法，实现源域到目标域的特征信息迁移，在情感分类任务中有着显著的效果，获得较高的分类准确率，提高模型的适应性。

该方法将源领域中获得的预训练模型参数除全连接层以外的所有层参数迁移至目标网络的对应层，并将小规模数据作为目标域的训练样本进行网络微调，通过这种基于特征选择的迁移学习方法，实现源域到目标域的特征信息迁移，在情感分类任务中有着显著的效果。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明的一种用于文本情感分类的深度迁移学习方法模型图；

图2是本发明的方法与textCNN运行时间比较图；

图3 是本发明的方法与textCNN错误率比较图；

图4是目标域D数量对实验的影响图；

图5是目标域E数量对实验的影响图；

图6是目标域B数量对实验的影响图；

图7是目标域K数量对实验的影响图；

图8是 textCNN实验图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的算法思想：

卷积神经网络中包含大量的待训练参数，训练开始阶段这些参数通常采用随机初始化的方式，这使得网络的初始误差较大，容易导致网络收敛效果差和过拟合问题。针对这一问题，提出一种基于特征选择的迁移学习监督式预训练方式，目的是为了得到源域和目标域中共有的特征表示，然后基于这些特征表示来实现知识迁移。

首先，采用大规模数据集作为源域的训练样本，针对源域中源任务进行监督式训练得到预训练模型。预训练代价非常高，但它只需要执行一次，并且能够提高下游模型的性能和收敛性。

然后，构建一个相同的卷积神经网络作为目标域中目标任务的待训练网络，将源域中获得的预训练模型作为该网络的参数。得出结论，NLP神经网络模型的可迁移性在很大程度上取决于源任务和目标任务的相关性，并且神经网络模型的嵌入层和隐藏层通常提取一般特征，具有良好的可迁移性，最后一层即全连接层通常是特定于域的特征，容易造成负迁移。因此，本发明将训练好的预模型中除全连接层以外的所有层的参数迁移到目标模型对应层上。

最后，用目标域的训练样本进行网络微调，微调指将经过预训练的卷积神经网络模型在新的目标任务数据集上进行再次训练。此时，预训练模型的全连接层以外的层参数保留不变，仅对全连接层的参数进行调整。

卷积神经网络使用随机梯度下降法进行有监督的网络训练，其中所有滤波器的权重都通过训练过程进行迭代更新以使损失函数最小化。

在全连接层上使用dropout，并对权重向量的

范数进行约束。dropout通过随机关闭一些神经元来防止隐藏单元的共同适应。

参考图1，如图1所示，一种用于文本情感分类的深度迁移学习方法，包括：

所述特征信息迁移包括前馈网络处理和误差反向传播处理。

所述前馈网络处理包括：

S2，对特征图Ci进行最大值池化，得到池化层的输出特征图；

所述步骤S1包括：

卷积层用大小为

的滤波器对句子矩阵

执行卷积操作，提取

的局部特征：

其中句子矩阵表示

；

（1）

其中:

代表

的滤波器，b代表偏置量；

代表通过Relu进行非线性操作的函数；

代表

中从

到

共

行向量；

（2）。

所述步骤S2包括：

（3）。

所述误差反向传播处理包括：

实验设计与结果分析：

本实验在Windows10操作系统下使用 Python程序设计语言编写，运行环境是Anaconda3中的Spyder，使用开源深度学习框架Tensorflow作为开发环境。

数据集说明：

采用来自亚马逊产品评论公开数据集来验证情感分类任务中本发明算法的有效性。如表1所示，该数据集包含Book（B）、DVDs（D）、Electronic（E）、 Kitchen（K）四个商品的评价，每个商品的评论分为积极和消极。定义源领域的源任务Ｔ(s)为随机抽取每类评论2000条，目标域的目标任务Ｔ(t)为随机抽取每类评论200条。用商品的英文首字母大写表示对应商品的简称，并构造12组迁移任务：B->D,E->D, K->D,B->E,

K->E,D->E,K->B,E->B,D->B,E->K B->K和

D->K，其中箭头前的数据为源领域数据，箭头后的数据为目标领域数据。

表1 亚马逊产品评论数据集

实验设置：

为了验证本发明方法TrTCnn的有效性，本发明进行如下对比实验：

SVM：该方法采用词袋模型和线性核，以SVM为分类器。该方法将在源领域训练得到的模型直接应用到目标领域进行预测，没有采用任何迁移学习方法。

TrAdaBoost：该方法是戴文渊在2007年提出的，由Adaboost算法演变而来，是经典的迁移学习方法。

TR-TrAdaBoost：TR-TrAdaBoost是2017 AAAI人工智能会议上提出的对TrAdaBoost的改进的方法，其中讨论文档的主题分布。

textCNN: 该方法是2014年由Kim Y提出的一种卷积神经网络模型。该方法将在源领域训练得到的模型直接应用到目标领域进行预测，没有采用任何迁移学习方法。

TrTCnn:本发明提出的一种深度迁移文本分类方法。

实验中，对卷积神经网络中参数和函数设置如表2所示。

表2 参数和函数设置

评估标准：

文本情感分类可以视为一种文本分类任务，人们提出了多种文本分类器性能评估方法，正确率（accuracy）是一个重要地度量。对于二分类问题，一般采用统计数据来评估分类性能。如表3所示，TP指分类器将预测为正例的样本正确地分类到正例的个数；FP指分类器将预测为正例的样本错误地分类到负例的个数；TN指分类器将预测为负例的样本错误地分类到正例的个数；FN指分类器将预测为负例的样本正确地分类到负例地个数。正确率公式如式10所示，即分类正确的实例所占的比例。错误率公式如式11所示，即分类错误的实例所占的比例。

表3 文本分类器的输出结果

表4 DVDs的相似度

表5 Electronic的相似度

表6 Book的相似度

表7 Kitchen的相似度研究

有效性验证：

采用SVM、TrAdaBoost、TR-TrAdaBoost 以及本发明算法TrTCnn进行实验，对比四种方法下12组跨域情感分类的准确率，实验结果如表8所示。

表8 准确率实验结果

由表8可知，与SVM算法相比，在K->D迁移时，使用经典TrAdaBoost迁移学习方法准确率下降了0.29%，其余11组迁移任务在三种迁移学习方法下准确率均有明显的提高，验证了相关或相近领域知识迁移的有效性。

本发明算法TrTCnn与TrAdaBoost相比，准确率提高了1.19%-6.26%；本发明算法TrTCnn与当前较新的迁移学习方法TR-TrAdaBoost相比，准确率提高了0.95%-4.85%，验证了本发明方法的优越性。

以DVD为目标域的迁移任务：B->D、E->D和K->D，观察表4和表8发现B与D域相似度最高，此时B->D准确率最高；以电子产品为目标域的迁移任务：D->E、B->E和K->E，观察表5和表8可知K与E域相似度最高，此时K->E准确率最高；以书籍为目标域的任务D->B、E->B和K->B，通过观察表6和表8得知D与B的域相似度最高，此时D->B准确率最高；以厨房用具为目标域的任务：D->K、E->K和B->K，观察表7和表8发现同样的结论，E与K的域相似度最高，此时E->K准确率最高。因此，得出结论：当两个域的相关性越高时，通常迁移后的准确率更高。

通过对比本发明方法TrTCnn与未迁移卷积神经网络方法textCnn两种方法下12组跨域情感分类的运行时间和错误率，来分析本发明算法的优越性。实验参数设置如表2不变，两种方法均迭代20次，得出TrTCnn和textCnn算法的运行时间如图2所示，分类错误率如图3所示。

由图2可以看出，TrTCnn在12组迁移任务中都节约了大约1267s-2905s的时间。由图3可以看出，与textCNN方法相比，TrTCnn在12组迁移任务中错误率也下降了8.31%-13.12%。

得出结论：迁移学习方法能够提高迁移后模型的性能和收敛性。

参数对TrTCnn算法的影响：

通常，参数的设置对实验的结果产生影响。因此研究TrTCnn参数的敏感性和准确性，主要对fiter区域大小、fiter的数量、激活函数和dropout进行研究。给出TrTCnn的基准参数如表9所示。

表9 CNN基准参数设置

通过实验，得出fiter区域大小、fiter的数量、激活函数和dropout参数对算法性能的影响结果如表10-表13所示。由表10可知，当滑动窗口选择（6，7，8）时，在B->D 、D->E、 E->K和 K->B四项迁移任务中，文本情感分类的准确率最高。由表11所知，fiter数量设置为512时，文本情感分类的准确率最高。由表12所知，当选取激活函数为ReLu时，文本情感分类的准确最高。由表13所知，Droupout值设置为0.6时，文本情感分类的准确率最高。

通过优化以上参数后，得到最优参数结果如表14所示。

表10 源领域设置fiter区域的影响

表11 fiter数量对算法的影响

表12 不同激活函数对算法的影响

表13 Droupout Rate对算法的影响

表14 TrTCnn最优参数

训练数据量分析：

在迁移学习任务中，通常目标数据量的高低对算法的学习效果和性能都会有一定的影响。因此，对12组数据进行试验，并设置目标领域数据为50，100，200，400，800，1000，来测试目标数据量增加时TrTCnn的分类正确率的变化。四组数据集上的测试结果如图4-图7所示。此外验证迁移学习卷积神经网络算法和数据下相对充足情况下传统卷积神经网络算法的优越性，图8为采用textCNN算法，在1000条数据集上不进行跨域的实验结果。

从图4-图7可以观察到当目标数据量增加时，算法准确率有所提高，当目标域数据大于400时，算法准确率增加缓慢。图4-图7与图8相比，可以观察到迁移学习文本情感分类地准确率不如未迁移情感分类的准确率。得出结论：迁移学习的目标数据量越大，迁移学习的效果越好，但当目标数据足够充足时，迁移学习不如在目标数据集上训练得到的结果好。

为解决标签数据不足和领域适应性问题，本发明构建迁移学习卷积神经网络模型(Transfer Text CNN，TrTCnn)

该模型基于经典textCNN 建立文本分类模型，引入迁移学习的思想，将经过预训练学习得到的文本分类的共性知识迁移到目标域文本分类，再在目标域上训练模型并微调参数，在目标任务数据不足的情况下，通过这种机制提高文本分类的准确率。

将本发明的方法用于亚马逊产品评论跨域情感分类中，模型训练效率与分类准确率显著提高。

将该方法用于跨域情感分类任务，实验表明在目标数据集训练样本不足的情况下，获得了较高的分类准确率，提高了模型的适应性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。