CN109710770A - 一种基于迁移学习的文本分类方法及装置 - Google Patents

Abstract

本发明提供了一种基于迁移学习的文本分类方法及装置，所述方法包括：S1：使用未标注的文本训练BERT模型，得到预训练好的词表示BERT模型；S2：过滤所述待分类的文本中的链接、转发符号以及用户名的内容；S3：将过滤后的所述文本输入所述S1中训练好的所述词表示BERT模型，得到文本的语义文件；S4：将所述文本的语义文件输入卷积神经网络处理，得到所述语义文件中的句子的类别标签。发明方法使用迁移学习进行文本分类，提出了一种使用基于大规模无标注的语料训练出的BERT词表示模型。该词表示模型具有通用性，不依赖于具体的文本领域，也可以用在其他的任务如实体抽取、情感分析等。

Description

一种基于迁移学习的文本分类方法及装置

技术领域

本发明涉及自然语言处理技术领域，尤其是涉及一种基于迁移学习的文本分类方法及装置。

背景技术

Web2.0时代，每一个网民都成了互联网的信息发布源。各种用途的信息发布平台应运而生，诸如FaceBook、校内网、新浪微博等，供用户发表、获取、分享各种信息。由于互联网用户基数大，每个信息发布平台信息发布平台平均每天产生的信息量也大，所以互联网每天产生的信息量也巨大。文本分类是指在给定分类体系下，根据文本内容自动确定文本类别的过程。文本分类是文本处理中一个很重要的模块，应用也十分广泛，包括垃圾过滤，新闻分类，情感分类，词性标注等。基于互联网每天产生的巨大信息量，对互联网数据进行分析的难度也非常大。

在文本情感分析方面，外国学者主要是针对Twitter上的短文本信息作为语料进行分析。比如国外学者利用网站带情感标签的文本作为训练语料，采用文本抽象特征训练各种分类器进行主客观分类和情感极性分类。中文文本情感极性分析近来呈现高速发展的趋向，然而中文文本的复杂性比英文文本的复杂性要高得多，所以中文文本的分词质量往往对最后的分类结果影响很大。除此之外，由于中文的信息熵更大，中文文本内容丰富多彩，有很多网络词和新词加入其中，在研究工作中都是挑战。

就文本分类而言，伴随着统计学习方法的发展，特别是90年代后互联网在线文本数量增长和机器学习学科的兴起，逐渐形成了一套解决大规模文本分类问题的经典玩法，这个阶段的主要套路是人工特征工程和浅层分类模型，整个文本分类问题就拆分成了特征工程和分类器两部分。但是这种方法依赖于大量的特征工程工作，耗时耗力，且对结果影响巨大。而基于深度学习的文本分类方法则依赖于大量的标注语料，标注语料的数量决定了最后模型效果的好坏，也依赖于大量的人工工作。

发明内容

针对现有技术存在的缺陷，第一方面，本发明提供了一种基于迁移学习的文本分类方法，包括：

S1：使用未标注的文本训练BERT模型，得到预训练好的词表示BERT模型；

S2：过滤所述待分类的文本中的链接、转发符号以及用户名的内容；

S3：将过滤后的所述文本输入所述S1中训练好的所述词表示BERT模型，得到文本的语义文件；

S4：将所述文本的语义文件输入卷积神经网络处理，得到所述语义文件中的句子的类别标签。

进一步，所述S1中使用未标注中文文本训练BERT模型，得到所述中文文本的语义文件，构成了预训练好的词表示BERT模型。

进一步，所述文本的语义为句子的语义文件。

进一步，所述经卷积神经网络处理的过程包括：

将所述文本的语义文件经卷积层处理得到特征图；

将所述特征图输入池化层，经最大池化处理得到词向量并将所述词向量串联成特征向量；

将所述特征向量输入softmax层进行归一化处理得到所述语义文件中的句子的类别标签。

第二方面，本发明提供了一种基于迁移学习的文本分类装置，包括：

预训练模块，用于使用未标注的文本训练BERT模型，得到预训练好的词表示BERT模型；

预处理模块，用于过滤所述待分类的文本中的链接、转发符号以及用户名的内容；

文本训练模块，用于将过滤后的所述文本再次输入所述预训练模块中训练好的所述词表示BERT模型，得到文本的语义；

计算分类模块，用于将所述文本的语义文件输入卷积神经网络处理，得到所述语义文件中的句子的类别标签。

进一步，所述预训练模块中使用无标注中文文本训练BERT模型，得到所述中文文本的语义表示，构成了预训练好的词表示BERT模型。

进一步，所述文本的语义为句子的语义文件。

进一步，所述经卷积神经网络处理的过程包括：

将所述文本的语义文件经卷积层处理得到特征图；

将所述特征图输入池化层，经最大池化处理得到词向量并将所述词向量串联成特征向量；

将所述特征向量输入softmax层进行归一化处理得到所述语义文件中的句子的类别标签。

与现有技术相比，本发明具有以下的优点和有益效果：

1、本发明方法使用迁移学习进行文本分类，提出了一种使用基于大规模无标注的语料训练出的BERT词表示模型。该词表示模型具有通用性，不依赖于具体的文本领域，也可以用在其他的任务如实体抽取、情感分析等。

2、本发明方法使用基于端到端的模型，不依赖于特征工程，避免了特征工程带来的工作量。

3、本发明方法使用基于迁移学习的文本分类方法，降低了深度学习模型对训练数据量的需求，仅使用少量的标注数据就可以达到很好的效果，减少了数据标注带来的人工工作量。

附图说明

图1是本发明的一种基于迁移学习的文本分类方法的流程示意图；

图2为BERT中字的特征表示组成示意图；

图3为BERT词表示模型示意图；

图4为TextCNN文本分类模型示意图；

图5为本发明的一种基于迁移学习的文本分类装置的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定装备结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

如图1所示，一种基于迁移学习的文本分类方法，包括：

S1：使用未标注的文本训练BERT模型，得到预训练好的词表示BERT模型；

S2：过滤所述待分类的文本中的链接、转发符号以及用户名的内容；

S3：将过滤后的所述文本输入所述S1中训练好的所述词表示BERT模型，得到文本的语义文件；

S4：将所述文本的语义文件输入卷积神经网络处理，得到所述语义文件中的句子的类别标签。

步骤一，使用大规模无标注中文文本语料，预训练BERT词表示模型。所述S1中的所述预训练好的词表示模型为BERT模型的一种变形。具体的，对一个句子x＝x₁,x₂,......,x_n，句子中的每一个字使用token embedding、segment embedding、position embedding三个表示相加产生。并使用Masked Language Model和Next Sentence Prediction为优化目标，对字的三种表示进行优化。

步骤二，对分类对象微博文本，进行预处理。使用正则表达式将文本中的链接、转发符号、用户名等噪声部分过滤，得到相对纯净的文本。

步骤三，将步骤二得到的过滤后的文本输入经过步骤一预训练得到的BERT词表示模型，得到句子的文本。

步骤四，对于步骤三得到的句子的文本，使用TextCNN模型进行特征抽取。TextCNN模型是一个由多个感受野的CNN并列组成的层叠模型，可以对句子中的表示对分类有帮助的特征进行很好的抽取，对抽取出的特征进行池化操作后，得到句子最终的分类特征表示。得到的句子分类特征表示，使用SoftMax将句子的类别概率归一化，得到句子最终所属的类别。

在一些说明性实施例中，所述S1中使用未标注中文文本训练BERT模型，得到所述中文文本的语义文件，构成了预训练好的词表示BERT模型。

在一些说明性实施例中，所述文本的语义为句子的语义文件。

在一些说明性实施例中，所述经卷积神经网络处理的过程包括：

将所述文本的语义文件经卷积层处理得到特征图；

将所述特征图输入池化层，经最大池化处理得到词向量并将所述词向量串联成特征向量；

将所述特征向量输入softmax层进行归一化处理得到所述语义文件中的句子的类别标签。

图2，显示了BERT词表示模型中，每一个字的表示的组成成分。每一个字的表示由Token Embedding、Segment Embedding、Position Embedding三个部分相加得到。其中Token Embedding是一个简答的查表操作，Segment Embedding表示该词语所属的句子，Position Embedding是对该字在句子中对应的位置的信息，也是一个查表操作。

图3，显示了BERT词表示模型的结构。BERT模型是由双向Transformer组成的一个特征抽取模型。图中E表示字的embedding，T表示经过BERT编码后每个字的新的特征表示，Trm表示Transformer特征抽取器。在训练中使用masked language model，随机mask输入中的一些tokens，然后在预训练中对它们进行预测，并增加句子级别的任务，next sentenceprediction，随机替换一些句子，然后利用上一句进行IsNext/NotNext的预测。通过这两项任务，使用大规模的无标注语料对词的三种表示进行优化，得到预训练好的BERT词表示模型。

图4，显示了TextCNN文本分类器的结构。TextCNN由多个不同卷积层并列组成。通过多个大小不同的卷积核进行计算，使用多个大小不同的有利于句子语义特征和句型特征的提取；池化层对卷积后的结果进行池化操作，提取卷积计算后最重要的特征；输出层则利用池化层的结果，得到文本的最终文本类别。

如图5所示，一种基于迁移学习的文本分类装置，包括：

预训练模块100，用于使用未标注的文本训练BERT模型，得到预训练好的词表示BERT模型；

预处理模块200，用于过滤所述待分类的文本中的链接、转发符号以及用户名的内容；

文本训练模块300，用于将过滤后的所述文本再次输入所述预训练模块中训练好的所述词表示BERT模型，得到文本的语义；

计算分类模块400，用于将所述文本的语义文件输入卷积神经网络处理，得到所述语义文件中的句子的类别标签。

在一些说明性实施例中，所述预训练模块100中使用无标注中文文本训练BERT模型，得到所述中文文本的语义表示，构成了预训练好的词表示BERT模型。

在一些说明性实施例中，所述文本的表示为句子的语义文件。

在一些说明性实施例中，所述计算分类模块400中

所述经卷积神经网络处理的过程包括：

将所述文本的语义文件经卷积层处理得到特征图；

将所述特征图输入池化层，经最大池化处理得到词向量并将所述词向量串联成特征向量；

将所述特征向量输入softmax层进行归一化处理得到所述语义文件中的句子的类别标签。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于迁移学习的文本分类方法，其特征在于，包括：

S1：使用未标注的文本训练BERT模型，得到预训练好的词表示BERT模型；

S2：过滤所述待分类的文本中的链接、转发符号以及用户名的内容；

S3：将过滤后的所述文本输入所述S1中训练好的所述词表示BERT模型，得到文本的语义文件；

S4：将所述文本的语义文件输入卷积神经网络处理，得到所述语义文件中的句子的类别标签。

2.根据权利要求1所述的基于迁移学习的文本分类方法，其特征在于，所述S1中使用未标注中文文本训练BERT模型，得到所述中文文本的语义文件，构成了预训练好的词表示BERT模型。

3.根据权利要求1所述的基于迁移学习的文本分类方法，其特征在于，所述文本的语义为句子的语义文件。

4.根据权利要求1所述的基于迁移学习的文本分类方法，其特征在于，所述经卷积神经网络处理的过程包括：

将所述文本的语义文件经卷积层处理得到特征图；

将所述特征图输入池化层，经最大池化处理得到词向量并将所述词向量串联成特征向量；

将所述特征向量输入softmax层进行归一化处理得到所述语义文件中的句子的类别标签。

5.一种基于迁移学习的文本分类装置，其特征在于，包括：

预训练模块，用于使用未标注的文本训练BERT模型，得到预训练好的词表示BERT模型；

预处理模块，用于过滤所述待分类的文本中的链接、转发符号以及用户名的内容；

文本训练模块，用于将过滤后的所述文本再次输入所述预训练模块中训练好的所述词表示BERT模型，得到文本的语义；

计算分类模块，用于将所述文本的语义文件输入卷积神经网络处理，得到所述语义文件中的句子的类别标签。

6.根据权利要求5所述的基于迁移学习的文本分类装置，其特征在于，所述预训练模块中使用无标注中文文本训练BERT模型，得到所述中文文本的语义表示，构成了预训练好的词表示BERT模型。

7.根据权利要求5所述的基于迁移学习的文本分类装置，其特征在于，所述文本的语义为句子的语义文件。

8.根据权利要求5所述的基于迁移学习的文本分类装置，其特征在于，所述计算分类模块中所述经卷积神经网络处理的过程包括：

将所述文本的语义文件经卷积层处理得到特征图；

将所述特征图输入池化层，经最大池化处理得到词向量并将所述词向量串联成特征向量；

将所述特征向量输入softmax层进行归一化处理得到所述语义文件中的句子的类别标签。