CN106777011A - 一种基于深度多任务学习的文本分类方法 - Google Patents

Abstract

本发明提供一种基于深度多任务学习的文本分类方法，该发明利用其它任务训练得到的循环神经网络，结合卷积神经网络的学习能力，得到额外的文档表示，相当于引入了大量外部信息，扩展了文档的语义表示，有效地解决了训练数据不足的问题。本文相较于传统的多任务学习方法，使用了卷积神经网络对辅助任务的底层特征进行特征抽取，能够利用其它任务的特征有效地迁移到本任务，改善了文本分类的性能。

Description

一种基于深度多任务学习的文本分类方法

技术领域

本发明涉及自然语言处理技术领域，更具体地，涉及一种基于深度多任务学习的文本分类方法。

背景技术

随着互联网的发展，话题识别、垃圾邮件鉴别、情感分析等任务的需求也越来越多，而这些任务的基础都是文本分类。文本分类的目标是给定一些文档及其对应类标签作为训练集，通过算法学习一个分类器，能够将测试集中不带标签的文档的类标签预测出来。

现在已有了很多基于深度神经网络的文本分类算法，包括循环神经网络、卷积神经网络、递归卷积神经网络，以及这些网络与注意力机制、记忆模块等的结合。这些神经网络在很多数据集上取得较好的效果，但是他们也很容易遇到由于训练数据不够导致过拟合，只能减小网络规模，从而导致网络学习能力下降的问题。如果我们把自然语言认为是词之间的组合，那么词表的规模经常有数十万，那样bi-gram、tri-gram的规模就非常大了，因此需要神经网络有大量的参数去学习可能出现的组合。神经网络参数规模大、训练数据较少，那么带来的问题就是很容易过拟合，从而在测试集上的泛化能力下降。现在有很多方法都用来改善过拟合问题，比如参数正则化、批归一化等，然而并没有本质上解决训练数据不够的问题。

发明内容

本发明提供一种提高文本分类准确率的基于深度多任务学习的文本分类方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于深度多任务学习的文本分类方法，包括以下步骤：

S1：利用词向量和双向循环网络学习当前任务的文档表示；

S2：利用卷积神经网络，从其他任务的文档表示抽取特征；

S3：利用当前任务的文档表示、其他任务的特征学习分类器。

进一步地，所述步骤S1的具体过程为是：

将所有任务中所有中文文档进行分词，假设总共有N个词，然后赋予每个词一个唯一标示，然后表示成一个K维的向量，即所有词向量行程一个N*K的矩阵，然后使用正态分布随机初始化，词向量矩阵是所有任务共享的；

用词向量和双向循环网络学习当前任务的文档表示，双向循环网络的上文表示学习部分公式为：

双向循环网络的下文表示学习部分公式为：

其中，分别表示文档的上下文表示；e_i为词w_i的词向量，使用均值为0方差为0.06的正态分布进行随机初始化，训练的时候通过查表得到或使用较大规模的语料及word2vec预词向量同时进行替换掉随机初始化；W^l、W^r、W^rl、W^rr为参数矩阵，分别用在上文词向量、下文词向量、上文循环状态、下文循环状态上；f为非线性激活函数；

将得到所有单词的表示链接到一起，得到整个文档的矩阵表示X，即文档上文向量，下文向量的连接，其中

进一步地，所述步骤S2的具体过程为是：

1)、利用不同宽度的核矩阵对辅助任务的双向循环网络得到的特征进行一维卷积运算，检测出不同宽度的文档潜在候选语义特征：

c_i＝f(w·x_i:i+h-1+b)

其中的w为一个卷积核矩阵；h为卷积核矩阵的宽度，b为偏执项；f为非线性激活函数；

2)对于不同卷积核矩阵得到的潜在语义特征，进行最大池化操作，即每个特征取最大值：

3)、不同卷积核矩阵得到的最大池化特征连接在一起，得到的任务的文档特征，具体公式为：

其中，m为卷积核矩阵的个数。

进一步地，将当前任务的文档语义表示和其他任务的文档表示连接到一起，即得到当前任务的文档的深度多任务文本表示，对该当前任务的文档的深度多任务文本表示进行全连接神经网络的特征学习，在全连接神经网络的输出层，将最终的语义表示赋予softmax操作，根据softmax的输出结果进行分类器学习。

进一步地，所述f为非线性激活函数sigmoid函数。

与现有技术相比，本发明技术方案的有益效果是：

本发明提出的基于深度多任务学习的文本分类方法，利用其它任务训练得到的循环神经网络，结合卷积神经网络的学习能力，得到额外的文档表示，相当于引入了大量外部信息，扩展了文档的语义表示，有效地解决了训练数据不足的问题。本文相较于传统的多任务学习方法，使用了卷积神经网络对辅助任务的底层特征进行特征抽取，能够利用其它任务的特征有效地迁移到本任务，改善了文本分类的性能。

附图说明

图1是本发明提出的深度多任务学习方法流程图；

图2是本发明中使用的双向循环神经网络的结构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1-2所示，一种基于深度多任务学习的文本分类方法，包括以下步骤：

S1：利用词向量和双向循环网络学习当前任务的文档表示；

S2：利用卷积神经网络，从其他任务的文档表示抽取特征；

S3：利用当前任务的文档表示、其他任务的特征学习分类器。

步骤S1的具体过程为是：

将所有任务中所有中文文档进分词，假设总共有N个词，然后赋予每个词一个唯一标示，然后表示成一个K维的向量，即所有词向量行程一个N*K的矩阵，然后使用正态分布随机初始化，词向量矩阵是所有任务共享的；

用词向量和双向循环网络学习当前任务的文档表示，双向循环网络的上文表示学习部分公式为：

双向循环网络的下文表示学习部分公式为：

其中，分别表示文档的上下文表示；e_i为词w_i的词向量，使用均值为0方差为0.06的正态分布进行随机初始化，训练的时候通过查表得到或使用较大规模的语料及word2vec预词向量同时进行替换掉随机初始化；W^l、W^r、W^rl、W^rr为参数矩阵，分别用在上文词向量、下文词向量、上文循环状态、下文循环状态上；f为非线性激活函数sigmoid函数；

将得到所有单词的表示链接到一起，得到整个文档的矩阵表示X，即文档上文向量，下文向量的连接，其中

步骤S2的具体过程为是：

1)、利用不同宽度的核矩阵对辅助任务的双向循环网络得到的特征进行一维卷积运算，检测出不同宽度的文档潜在候选语义特征：

c_i＝f(w·x_i:i+h-1+b)

其中的w为一个卷积核矩阵；h为卷积核矩阵的宽度，b为偏执项；f为非线性激活函数sigmoid函数；

2)对于不同卷积核矩阵得到的潜在语义特征，进行最大池化操作，即每个特征取最大值：

3)、不同卷积核矩阵得到的最大池化特征连接在一起，得到的任务的文档特征，具体公式为：

其中，m为卷积核矩阵的个数。

将当前任务的文档语义表示和其他任务的文档表示连接到一起，即得到当前任务的文档的深度多任务文本表示，对该当前任务的文档的深度多任务文本表示进行全连接神经网络的特征学习，在全连接神经网络的输出层，将最终的语义表示赋予softmax操作，根据softmax的输出结果进行分类器学习。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于深度多任务学习的文本分类方法，其特征在于，包括以下步骤：

S1：利用词向量和双向循环网络学习当前任务的文档表示；

S2：利用卷积神经网络，从其他任务的文档表示抽取特征；

S3：利用当前任务的文档表示、其他任务的特征学习分类器。

2.根据权利要求1所述的基于深度多任务学习的文本分类方法，其特征在于，所述步骤S1的具体过程为是：

将所有任务中所有中文文档进分词，假设总共有N个词，然后赋予每个词一个唯一标示，然后表示成一个K维的向量，即所有词向量行程一个N*K的矩阵，然后使用正态分布随机初始化，词向量矩阵是所有任务共享的；

用词向量和双向循环网络学习当前任务的文档表示，双向循环网络的上文表示学习部分公式为：

$h_i^l=f(W^{rl}{h}_{i-1}+W^l{e}_i)$

双向循环网络的下文表示学习部分公式为：

$h_i^r=f(W^{rr}{h}_{i-1}+W^r{e}_i)$

其中，分别表示文档的上下文表示；e_i为词w_i的词向量，使用均值为0方差为0.06的正态分布进行随机初始化，训练的时候通过查表得到或使用较大规模的语料及word2vec预词向量同时进行替换掉随机初始化；W^l、W^r、W^rl、W^rr为参数矩阵，分别用在上文词向量、下文词向量、上文循环状态、下文循环状态上；f为非线性激活函数；

将得到所有单词的表示链接到一起，得到整个文档的矩阵表示X，即文档上文向量，下文向量的连接，其中

3.根据权利要求2所述的基于深度多任务学习的文本分类方法，其特征在于，所述步骤S2的具体过程为是：

1)、利用不同宽度的核矩阵进行一维卷积运算，检测出不同宽度的文档潜在候选语义特征：

c_i＝f(w·x_i:i+h-1+b)

其中的w为一个卷积核矩阵；h为卷积核矩阵的宽度，b为偏置项；f为非线性激活函数；

2)对于不同卷积核矩阵得到的潜在语义特征，进行最大池化操作，即每个特征取最大值：

$\hat{c}=max(c_1,c_2,...,c_{n-h+1})$

3)、不同卷积核矩阵得到的最大池化特征连接在一起，得到的任务的文档特征，具体公式为：

$z=\[{\hat{c}}_1,{\hat{c}}_2,...,{\hat{c}}_m\]$

其中，m为卷积核矩阵的个数。

4.根据权利要求3所述的基于深度多任务学习的文本分类方法，其特征在于，将当前任务的文档语义表示和其他任务的文档表示连接到一起，即得到当前任务的文档的深度多任务文本表示，对该当前任务的文档的深度多任务文本表示进行全连接神经网络的特征学习，在全连接神经网络的输出层，将最终的语义表示赋予softmax操作，根据softmax的输出结果进行分类器学习。

5.根据权利要求4所述的基于深度多任务学习的文本分类方法，其特征在于，所述f为非线性激活函数sigmoid函数。