CN110059188B - 一种基于双向时间卷积网络的中文情感分析方法 - Google Patents

Abstract

一种基于双向时间卷积网络的中文情感分析方法，该方法包括：1)预处理，根据编码去除文本中的非法字符，并利用分词工具对序列进行分词；2)词嵌入，将文本通过预训练词向量模型进行嵌入，生成文本向量序列；3)双向多层因果卷积层，利用多层空洞因果卷积对文本向量序列进行编码特征提取；4)线性变换，取前后向编码的最后一个状态作为该方向的语义向量，分别将它们进行线性变换映射到新的维度；5)特征融合，对经过线性变换后的前向后向语义特征进行拼接，得到综合特征向量；6)分类输出，利用融合后的特征信息来进行情感分析，通过分类器输出文本所属情感类别的概率分布。本发明提高了情感分析的正确率，捕捉文本全局信息，促进情感分类。

Description

一种基于双向时间卷积网络的中文情感分析方法

技术领域

本发明属于自然语言处理及深度学习领域，具体涉及一种基于双向时间卷积网络的中文情感分析方法。

背景技术

随着互联网的快速发展，出现了各种各样的网络平台使网民可以更加便捷地发表自己对某一事件的看法和对所接受到的服务进行评论，这些带有情感色彩的评论信息表达了人们不同类型的情感倾向。对于商家而言，这些情感倾向在做市场调研和产品评估时能作为评价指标，为产品研发和升级提供方向；对于用户而言，可以通过浏览这些评论来了解大众舆论对某一产品的看法，以此决定自己是否购买该产品。然而由于网络中评论数据规模庞大，单纯依靠人力难以从大量文本中分析出用户情感倾向。文本情感分析就旨在帮助我们从文本中挖掘用户的情感信息，通过对文本的分析和推理，识别出给定文本的情感极性或情感强度。

近年来，在大量数据积累和并行计算高速发展这两个重要前提之下，深度学习在自然语言处理领域的多个方面，如中文分词、文本分类、机器翻译、机器阅读理解等，都取得了突破性的进展。同样，在文本情感分析任务中，深度学习也展现出了巨大的潜力。有研究者利用长短期记忆网络(LSTM，Long Short Term Memory)在多种不同任务上进行模型训练，以此提高模型编码层的特征提取能力，然后在具体情感分析数据上进行模型参数调整，得到相应的情感分类输出。此外，在LSTM的基础上引入了注意力机制，通过关注文本中被评论的对象、评论词等能够体现情感色和情感倾向的词来实现针对具体对象的细粒度情感分析。因为回复式神经网络(RNN,Recurrent Neural Networks)计算上的串行性使得模型计算速度较慢，而卷积神经网络(CNN，Convolution Neural Networks) 不仅有较好的并行性，计算速度快，而且具有提取文本n-gram特征的能力，所以有不少研究者将CNN引入到情感分析任务中。如利用卷积神经网络对文本进行特征提取，通过不同大小的卷积核提取不同类型的n-gram特征，然后将所有提取到的特征信息融合到一起进行情感分类，或者通过卷积和动态最大值池化提取文本序列中相隔较远的词之间的语义关系，以获得文本中的长期依赖，达到更加全面的提取文本中的特征信息来对文本进行情感分析的目的。还有研究者在使用卷积神经网络对文进行建模的过程中，考虑了文本序列中词的顺序关系，对时间卷积网络进行了适当改进，使用了非线性、非连续卷积对文本进行特征提取，然后使用提取到的特征信息对文本进行情感计算。。

由此可见深度学习在文本情感分析任务中有很多的研究成果，但是基于卷积神经网络的情感分析模型中，多数模型在卷积计算时没有考虑到文本序列中词出现顺序的影响，少数模型考虑了词的前向顺序，即文本中先出现的词对后面出现的词的影响，用单向时间卷积(TCN，Temporal Convolutional Networks)提取文本特征信息，忽略了后面的词对前面的词的影响。因为文本序列后出现的词会对之前出现的词在词共现的角度存在统计学意义，所以单向时间卷积网络不足以捕捉文本序列中全部的特征信息。

发明内容

针对上述问题，本发明提供一种可以提取文本序列双向信息进行中文情感分析的双向时间卷积网络(Bi-TCN，Bidirectional Temporal Convolutional Network)方法。

为了解决上述技术问题，本发明通过以下方式来实现：

一种基于双向时间卷积网络的中文情感分析方法，包括以下步骤：

1)预处理，将中文繁体转为简体，根据字符Unicode编码去除文本中的非法字符，并利用分词工具对文本序列进行分词；

2)词嵌入，使用fastText方法对文本进行词向量预训练，得到所有词汇的稠密词向量表达，将文本序列通过预训练词向量模型映射成向量序列；

3)双向多层因果卷积层，首先在序列的左侧进行填充，利用一维空洞卷积对序列从左向右进行卷积计算，实现前向特征提取；然后将原序列翻转，按照前向的计算方式对翻转后的序列进行后向卷积计算；每一次空洞因果卷积计算后，都将参数进行层级归一化，并通过激活函数ReLU进行非线性计算，将原始输入与非线性计算之后的结果进行残差连接，整体就构成了一个空洞因果卷积模块，以上模块重复多次进行多层堆叠对文本进行编码；

4)线性变换，经过多层空洞因果卷积层计算后得到的文本序列，其前向编码和后向编码的最后一个时刻所对应的状态向量作为最终的特征向量，然后分别对前向特征向量和后向特征向量进行线性变换；

5)特征融合，将经过线性变换后的前向向量和后向向量进行拼接，得到文本序列全局的特征信息，供后续情感分类计算；

6)分类输出，利用融合后的特征信息来进行情感分析，通过softmax分类器输出文本所属情感类别的概率分布。

进一步的，所述步骤4)中的文本序列的具体方法为：利用多层空洞因果卷积对文本序列进行两个方向的特征提取。

进一步的，为了克服单向时间卷积网路对文本序列特征提取不充分的问题，根据时间卷积的特点，本发明取前向和后向两个方向的最后一个包含单向全局特征的状态向量进行融合，得到文本最终全局特征向量，并在最终特征向量基础上对文本进行情感分类。

与现有技术相比，本发明的有益效果体现在：

本发明基于双向时间卷积网络对文本进行特征提取，相对于单向的时间卷积网络能更好地捕捉文本的全局信息，促进文本情感分类，并通过实验证明，基于双向时间卷积网络的方法在中文情感分析任务中确实提高了情感分析的正确率。

附图说明

图1为本发明一种基于双向时间卷积网络的中文情感分析方法的流程图；

图2为双向时间卷积网络的模型结构图。

具体实施方式

下面结合实施例对本发明作进一步的描述，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本发明的保护范围。

如图1～2所示，一种基于双向时间卷积网络的中文情感分析方法，包括以下步骤：

1)预处理，将中文繁体转为简体，根据字符Unicode编码去除文本中的非法字符，并利用jieba分词工具对文本序列进行分词；

2)词嵌入，使用fastText方法对文本进行词向量预训练，得到所有词汇的稠密词向量表达，将文本序列通过预训练词向量模型映射成向量序列；

该方式训练的词向量不仅能够较好地表达一个词的多种详细特征，体现出词与词之间的相似度和关联性，还能在情感分类中对于每一个词属于的情感类别进行预判，能帮助模型对文本进行情感分析；

给定一个句子分词之后的序列，S＝{x₁，x₂...，x_n}，该序列共包含n个词；进行词嵌入的时候，将每一个词x_n通过嵌入矩阵W^w转化成固定的词向量e^w。

e^w＝(W^w)^Tn^word

其中：N^word表示词汇表中词的数量，D^d表示每一个词向量的维度，n^word表示词在词汇表中的one-hot编码。

3)双向多层因果卷积层，首先在序列的左侧进行填充，利用一维空洞卷积对序列从左向右进行卷积计算，实现前向特征提取；然后将原序列翻转，按照前向的计算方式对翻转后的序列进行后向卷积计算；每一次空洞因果卷积计算后，都将参数进行层级归一化，并通过激活函数ReLU进行非线性计算，将原始输入与非线性计算之后的结果进行残差连接，整体就构成了一个空洞因果卷积模块，以上模块重复多次进行多层堆叠对文本进行编码；

s_i＝Conv(M_i*K_j+b_i)

{s₀，s₁，...，s_n}＝LayerNorm({s₀，s₁，...，s_n})

{s₀，s₁，...，s_n}＝ReLU({s₀，s₁，...，s_n})

其中：s_i是i时刻卷积计算得到的状态值，M_i为该时刻卷积计算的词的矩阵，K_j为第j 层的卷积核，b_i为偏置；{s₀，s₁，...，s_n}是序列经过一次完整的卷积计算后的编码，经过多个因果卷积层的堆叠，扩大卷积的感受野，使文本的特征提取更加完整，获得文本序列的高层语义信息。

4)线性变换，经过多层空洞因果卷积层计算后得到的文本序列，其前向编码

和后向编码

的最后一个时刻所对应的状态向量

和

作为最终的特征向量，然后分别对前向特征向量和后向特征向量进行线性变换；

其中，W^n×m是线性变换参数矩阵，前向计算和后向计算的参数不同，维度一致，n为变换前语义向量的维度，m为变换后的维度。

5)特征融合，将经过线性变换后的前向向量和后向向量进行拼接，得到文本序列全局的特征信息，供后续情感分类计算；

其中，单向

和

特特征维度为m，融合后的特征h的维度为2m。

6)分类输出，利用融合后的特征信息来进行情感分析，通过softmax分类器输出文本所属情感类别的概率分布。

prob＝softmax(hW^2m×c+b)

其中，W^2m×c为参数矩阵，c是情感分类的类别，b为偏差，维度为c。

实验参数设置

预训练的词向量为300维，批次大小为64，因果卷积层数为8，卷积核大小为7，卷积核的空洞数为层数的两倍，使用Adam为优化器，学习率为0.002，dropout为0.05，每一次实验供迭代20个轮次。

实施例1

本发明的一种实例，采用交叉验证方法，随机将总数据的十分之一作为测试，进行二分类实验。

1、将文本中的非法字符去除，并且将繁体字转换为简体字，对处理好的文本进行分词，生成词序列如下表：

2、提取所有文本序列中的词汇构成词汇表，将文本词序列映射成为id序列，将文本词序列通过fastText方法预训练300维的词向量，然后将文本id序列通过预训练的词向量模型进行词嵌入。

3、将词嵌入之后的文本信息送入多层双向空洞因果卷积网络中进行前向和后向编码，将因果空洞卷积模块进行8层堆叠，每一层中有4个卷积层，卷积核大小为7，空洞因子是以网络层数为指数的2的指数次方。

4、将经过多层双向因果卷积得到的文本前向和后向的编码中最后一个位置的编码信息提取出来，进行线性变换，并将两者进行拼接，融合得到文本最终的语义向量。

5.、对融合后的文本语义向量进行softmax计算，得到文本对每一个类别的概率计算。实验得到的结果如下表所示：

数据集	正确率
		ChnSentiCorp-Htl-ba-2000	93.5％
ChnSentiCorp-Htl-ba-4000	92.25％
		ChnSentiCorp-Htl-ba-6000	92.15％
ChnSentiCorp-Htl-ba-10000	92％

由上表可以看出该方法能够较准确地对中文文本进行自动情感分类，其中平均准确率达到了92.475％。

以上所述仅是本发明的实施方式，再次声明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进，这些改进也列入本发明权利要求的保护范围内。

Claims (3)

1.一种基于双向时间卷积网络的中文情感分析方法，其特征在于：具体包括以下步骤：

1)预处理，将中文繁体转为简体，根据字符Unicode编码去除文本中的非法字符，并利用分词工具对文本序列进行分词；

2)词嵌入，使用fastText方法对文本进行词向量预训练，得到所有词汇的稠密词向量表达，将文本序列通过预训练词向量模型映射成向量序列；

3)双向多层因果卷积层，首先在序列的左侧进行填充，利用一维空洞卷积对序列从左向右进行卷积计算，实现前向特征提取；然后将原序列翻转，按照前向的计算方式对翻转后的序列进行后向卷积计算；每一次空洞因果卷积计算后，都将参数进行层级归一化，并通过激活函数ReLU进行非线性计算，将原始输入与非线性计算之后的结果进行残差连接，整体就构成了一个空洞因果卷积模块，以上模块重复多次进行多层堆叠对文本进行编码；

4)线性变换，经过多层空洞因果卷积层计算后得到的文本序列，其前向编码和后向编码的最后一个时刻所对应的状态向量作为最终的特征向量，然后分别对前向特征向量和后向特征向量进行线性变换；

5)特征融合，将经过线性变换后的进行拼接，得到文本序列全局的特征信息，供后续情感分类计算；

6)分类输出，利用融合后的特征信息来进行情感分析，通过softmax分类器输出文本所属情感类别的概率分布。

2.如权利要求1所述的一种基于双向时间卷积网络的中文情感分析方法，其特征在于：所述步骤4)中的文本序列的具体方法为：利用多层空洞因果卷积对文本序列进行两个方向的特征提取。

3.如权利要求1所述的一种基于双向时间卷积网络的中文情感分析方法，其特征在于：所述步骤4)中前向和后向两个方向的最后一个包含单向全局特征的状态向量进行融合，得到文本最终全局特征向量，并在最终特征向量基础上对文本进行情感分类。

Images