CN110489550A - 基于组合神经网络的文本分类方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种基于组合神经网络的文本分类方法、装置、计算机设备和存储介质。所述方法包括：将待分类文本输入已训练的第一文本分类模型，确定第一分类置信度；第一文本分类模型为基于精细化数据集训练得到的神经网络；若第一分类置信度小于第一置信度阈值，则将待分类文本输入已训练的第二文本分类模型，确定第二分类置信度；第二文本分类模型为基于全量数据集训练得到的神经网络；若第二分类置信度大于或等于第二置信度阈值，则将第二文本分类模型的分类结果，确定为待分类文本的分类结果。采用上述组合神经网络对待分类文本进行意图分类，保证了待分类文本分类结果的高准确率，意图分类结果可靠性佳，可实现文本意图自动分类，应用范围广。

Description

基于组合神经网络的文本分类方法、装置和计算机设备

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于组合神经网络的文本分类方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，文本数据数量迅猛增长。文本分类是文本挖掘的重要内容，是指按照预先定义的类别，为待处理文本集合中的每个文本确定各自所属类别，该技术可应用在各种智能交互场景中。如在智能催收业务中，智能机器人需要根据客户回复的消息作出相应的应答，若客户回复的消息不同，智能机器人则需以不同话术回复。具体例如，机器人询问客户“您贷款的2000元已逾期3天，请问今天是否可以还清”，客户可能回答“可以”、“不可以”、“不知道”等(实际上，客户表达的意图将更多、更复杂)，此时，机器人需要根据客户的回答反馈相应的话术，为了提升智能机器人与客户交互的有效性和流畅性，针对客户的意图进行精准分类，则显得尤为必要。

文本分类通常采用机器学习技术，且用于自然语言文本分类的机器学习方法通常包括下述过程：首先，对获取的文本文档进行标注和分类，以得到用于训练文本分类模型的训练集；然后，从所得到的训练集中挖掘可用于分类的分类器(文本分类模型)；最后，将训练出的文本分类模型应用于待分类的文本，以对文本进行分类。目前，常见的文本分类模型包括fastText、TextCNN、TextRNN等。然而，由于文本对应意图的多样性和复杂性，基于现有的文本分类模型对文本意图进行分类时，得到的意图分类结果可靠性均不够理想，难以对文本意图进行自动分类。

发明内容

基于此，有必要针对上述技术问题，提供一种基于组合神经网络的文本分类方法、装置、计算机设备和存储介质。

一方面，本发明实施例提供一种基于组合神经网络的文本分类方法，所述方法包括：

将待分类文本输入已训练的第一文本分类模型，根据所述第一文本分类模型的分类结果确定第一分类置信度；所述第一文本分类模型为基于精细化数据集训练得到的神经网络；

若所述第一分类置信度小于第一置信度阈值，则将所述待分类文本输入已训练的第二文本分类模型，根据所述第二文本分类模型的分类结果确定第二分类置信度；所述第二文本分类模型为基于全量数据集训练得到的神经网络；所述全量数据集中的文本对应有通过系统规则自动生成的意图标签，所述精细化数据集中的文本从所述全量数据集的文本中筛选得到，并且对应有人工标注的意图标签；

若所述第二分类置信度大于或等于第二置信度阈值，则将所述第二文本分类模型的分类结果，确定为所述待分类文本的分类结果。

在其中一个实施例中，所述将待分类文本输入已训练的第一文本分类模型的步骤之前，所述方法还包括：

将所述待分类文本与前置挡板数据集进行匹配；所述前置挡板数据集中的文本为设定的高频文本，各个高频文本对应有通过人工标注的意图标签；

若匹配失败，则执行所述将待分类文本输入已训练的第一文本分类模型的步骤。

在其中一个实施例中，所述方法还包括：

若所述待分类文本与前置挡板数据集匹配成功，则将匹配的前置挡板数据的意图标签，确定为所述待分类文本的分类结果；

和/或，

若所述第一分类置信度大于或等于第一置信度阈值，则将所述第一文本分类模型的分类结果，确定为所述待分类文本的分类结果。

在其中一个实施例中，所述方法还包括：

得到所述待分类文本的分类结果后，将所述待分类文本及其分类结果存储于所述全量数据集中；

和/或，

若所述第二分类置信度小于所述第二置信度阈值，对所述待分类文本进行分类标注，并将所述待分类文本及其分类标注结果存储于所述精细化数据集中。

在其中一个实施例中，所述第一文本分类模型的训练步骤，包括：

提取所述第二文本分类模型的第一嵌入层；

搭建初始神经网络；所述初始神经网络中的第二嵌入层基于所述第一嵌入层构建；

基于所述精细化数据集，对所述初始神经网络进行训练，得到所述第一文本分类模型。

在其中一个实施例中，所述初始神经网络包括输入层、所述第二嵌入层、丢失层、卷积层、最大池化层、Flatten层、Concatenate层以及全连接层。

在其中一个实施例中，所述基于所述精细化数据集，对所述初始神经网络进行训练，得到所述第一文本分类模型的步骤，包括：

对所述精细化数据集进行预处理；

根据预处理之后的精细化数据集，生成训练集和测试集；

对所述训练集进行分词，得到分词训练集；

针对所述分词训练集，若同一个意图标签对应的样本量小于设定阈值，则进行重采样，直至同一个意图标签对应的样本量大于或等于所述设定阈值；

分别对所述分词训练集和所述测试集进行编码；

采用所述分词训练集的编码结果对所述初始神经网络进行训练，得到初始文本分类模型；

采用所述测试集的编码结果对所述初始文本分类模型进行测试，若测试结果不符合设定条件，返回执行对初始神经网络进行训练的步骤，直到测试结果符合设定条件，得到所述第一文本分类模型。

另一方面，本发明实施例提供一种基于组合神经网络的文本分类装置，所述装置包括：

文本精细分类模块，用于将待分类文本输入已训练的第一文本分类模型，根据所述第一文本分类模型的分类结果确定第一分类置信度；所述第一文本分类模型为基于精细化数据集训练得到的神经网络；

文本全量分类模块，用于若所述第一分类置信度小于第一置信度阈值，则将所述待分类文本输入已训练的第二文本分类模型，根据所述第二文本分类模型的分类结果确定第二分类置信度；所述第二文本分类模型为基于全量数据集训练得到的神经网络；所述全量数据集中的文本对应有通过系统规则自动生成的意图标签，所述精细化数据集中的文本从所述全量数据集的文本中筛选得到，并且对应有人工标注的意图标签；

分类结果确定模块，用于若所述第二分类置信度大于或等于第二置信度阈值，则将所述第二文本分类模型的分类结果，确定为所述待分类文本的分类结果。

再一方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种基于组合神经网络的文本分类方法的步骤。

再一方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种基于组合神经网络的文本分类方法的步骤。

上述技术方案中的一个技术方案具有如下优点或有益效果：通过将待分类文本输入已训练的第一文本分类模型，确定第一分类置信度；若第一分类置信度小于第一置信度阈值，则将待分类文本输入已训练的第二文本分类模型，并确定第二分类置信度；若第二分类置信度大于或等于第二置信度阈值，则将第二文本分类模型的分类结果，确定为待分类文本的分类结果。其中，第一文本分类模型为基于精细化数据集训练得到的神经网络，第二文本分类模型为基于全量数据集训练得到的神经网络，通过上述将两个神经网络模型进行组合对待分类文本进行意图分类，并合理设置两个分类置信度阈值，保证了待分类文本分类结果的高准确率，意图分类结果可靠性佳，可实现对多样、复杂的文本意图进行自动分类，应用范围广。

附图说明

图1为一个实施例中基于组合神经网络的文本分类方法的应用场景图；

图2为一个实施例中基于组合神经网络的文本分类方法的示意性流程图；

图3为另一个实施例中基于组合神经网络的文本分类方法的示意性流程图；

图4为一个实施例中初始神经网络的示意性结构图；

图5为一个实施例中基于组合神经网络的文本分类装置的示意性结构图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请提供的基于组合神经网络的文本分类方法，可以应用于如图1所示的应用环境中。图1中包括用户110和智能终端120，用户110与智能终端120可实现人机交互，具体交互类型可以是：用户110向智能终端120发出语音、文字等指令，智能终端120通过识别指令中的文本内容，自动作出相应的应答，再根据客户的回复反馈相应的话术。具体地，智能终端120可以实现一种基于组合神经网络的文本分类方法，以保证交互的有效性和流畅性。

应当指出的是，智能终端120可以是单个，也可以是多个智能终端组成的一个智能终端集群；其中，智能终端120可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。智能终端120可适用于各种业务场景中，例如智能机器人、自动驾驶、无人翻译等，智能终端120也可以是银行自助业务、智能催收业务、网购、自动售卖等场景中的智能客服，此处不作具体限定。

在一个实施例中，如图2所示，提供了一种基于组合神经网络的文本分类方法，包括以下步骤：

S202，将待分类文本输入已训练的第一文本分类模型，根据第一文本分类模型的分类结果确定第一分类置信度；第一文本分类模型为基于精细化数据集训练得到的神经网络。

其中，待分类文本可以是具有完整含义的一个句子或者多个句子的组合，文本可以是中文文本、英文文本或者中英文结合的文本。该待分类文本可以是通过识别用户的语音指令得到，也可以是用户输入的文字信息，还可以从本地或网络上获取得到，具体根据实际情况进行设置。待分类文本的数据格式可为csv或txt等格式，且其数据内容可包括文本(txt)和意图标签(label)；可以是一个文本对应一个意图标签，也可以是多个文本对应一个意图标签。

意图标签的内容和数量可以根据需求进行调整。若该文本分类方法被应用于智能催收场景下，该意图标签可包括‘借还款，已经还款’、‘借还款，确认还款’、‘全局，忘记’等多个标签。

应当指出的是，精细化数据集指的是通过人工精细化标注的数据，即人工为文本数据添加意图标签；该数据集存储的文本和意图标签匹配度更高，基于此训练得到的模型精确率高，分类意图准确。

S204，若第一分类置信度小于第一置信度阈值，则将待分类文本输入已训练的第二文本分类模型，根据第二文本分类模型的分类结果确定第二分类置信度；第二文本分类模型为基于全量数据集训练得到的神经网络；全量数据集中的文本对应有通过系统规则自动生成的意图标签，精细化数据集中的文本从全量数据集的文本中筛选得到，并且对应有人工标注的意图标签。

本发明实施例中，第一文本分类模型、第二文本分类模型训练前的初始模型均可采用现有的可用于文本分类的模型，例如传统机器学习算法模型：NB模型，随机森林模型(RF)，SVM分类模型，KNN分类模型，神经网络分类模型等；或选用深度学习文本分类模型：fastText模型、TextCNN、TextRNN、TextRNN+Attention、TextRCNN(TextRNN+CNN)等。

优选地，在一个实施例中，第一文本分类模型可为基于TextCNN(利用CNN来提取句子中类似n-gram的关键信息)和精细化数据集训练得到的神经网络；第二文本分类模型可为基于TextCNN和全量数据集训练得到的神经网络。

全量数据集可为实际生产中数据库所积累的数月数据，其中，该数据的文本对应有通过系统规则自动生成的意图标签；该数据集存储的文本和意图标签，相比精细化数据集，数量更多，覆盖范围更广，得到的分类结果更全面。

精细化数据集可通过从全量数据集的文本中筛选得到，再利用人工标注意图标签，以避免重新进行数据收集和识别，便于精细化数据集的构建。

S206，若第二分类置信度大于或等于第二置信度阈值，则将第二文本分类模型的分类结果，确定为待分类文本的分类结果。

需要说明的是，第一置信度阈值、第二置信度阈值均为小于1的数值，若置信度阈值设定的较高，相比较低的置信度阈值，则得到的结果更接近实际需求，但分类过程相对漫长。因此，可根据实际需要达到的分类效果设定第一置信度阈值和第二置信度阈值。

由前文可知，精细化数据集由于经过人工精准标注，其文本和标签的匹配度相比全量数据集可能更高，因此，采用基于全量数据集训练得到的第二文本分类模型进行文本分类时，其第二置信度阈值可设置的更高，以保证分类结果的准确度。具体地，第一置信度阈值可设置为0.7，第二置信度阈值可设置为0.8，当然也可设置为其它数值。

本发明上述实施例中，执行主体可为智能终端或其它需要进行文本分类的电子设备，可根据实际情况进行选择和变更。

上述实施例的基于组合神经网络的文本分类方法中，通过将待分类文本输入已训练的第一文本分类模型，确定第一分类置信度；若第一分类置信度小于第一置信度阈值，则将待分类文本输入已训练的第二文本分类模型，并确定第二分类置信度；若第二分类置信度大于或等于第二置信度阈值，则将第二文本分类模型的分类结果，确定为待分类文本的分类结果。其中，第一文本分类模型为基于精细化数据集训练得到的神经网络，第二文本分类模型为基于全量数据集训练得到的神经网络，通过上述将两个神经网络模型进行组合对待分类文本进行意图分类，并合理设置两个分类置信度阈值，保证了待分类文本分类结果的高准确率，意图分类结果可靠性佳，可实现对多样、复杂的文本意图进行自动分类，应用范围广。

基于图3可知，在一些实施例中，于步骤S202之前，该基于组合神经网络的文本分类方法还可以包括：将待分类文本与前置挡板数据集进行匹配；前置挡板数据集中的文本为设定的高频文本，各个高频文本对应有通过人工标注的意图标签；若匹配失败，则执行步骤S202。

此处的前置挡板数据集中的文本为设定的高频文本，即生产中出现次数最多的TopN数据，其分类意图标签通过精细的人工标注；其中N的数值可根据实际情况进行设定。若待分类文本未击中前置挡板，即匹配失败，则将待分类文本输入已训练的第一文本分类模型。

在本实施例中，该文本分类方法通过将前置挡板、基于精细化数据集训练的模型，以及基于全量数据集训练的模型相组合的神经网络进行文本分类，保证了分类结果的准确性和可靠性。

在一些实施例中，该基于组合神经网络的文本分类方法还可以包括：若待分类文本与前置挡板数据集匹配成功，则将匹配的前置挡板数据的意图标签，确定为待分类文本的分类结果。

可以理解为，若待分类文本击中前置挡板，即表示待分类文本与前置挡板数据集中的某个文本完全匹配，该某个文本所对应的分类意图即为待分类文本的分类结果，此时，该分类结果可以认为是100％正确的。

在一些实施例中，该基于组合神经网络的文本分类方法还可以包括：若上述的第一分类置信度大于或等于第一置信度阈值，则将第一文本分类模型的分类结果，确定为待分类文本的分类结果。

在一些实施例中，该基于组合神经网络的文本分类方法还可以包括：得到待分类文本的分类结果后，将待分类文本及其分类结果存储于全量数据集中，这样，随着时间的积累，全量数据集中存储的分类文本及其意图标签将越来越多，一方面便于后续待分类文本的迭代分类，另一方面，为精细化数据集的构建提供了更全面的基础数据库。

在一些实施例中，该基于组合神经网络的文本分类方法还可以包括：若第二分类置信度小于第二置信度阈值，对待分类文本进行分类标注，并将待分类文本及其分类标注结果存储于精细化数据集中。

当上述的组合神经网络未能实现待分类文本的自动分类时，可通过人工进行精细标注，一方面保证了文本分类流程的顺畅度，另一方面，通过将待分类文本及其分类标注结果存储于精细化数据集中，便于后续待分类文本的精细迭代分类。

下面以该文本分类方法被应用于智能催收场景下为例，实施方式可为：

1)前置挡板分类：首先，对待分类文本(‘可以可以，我待会就把钱还了’)与前置挡板数据集进行完全匹配，若匹配成功，则代表击中前置挡板(前置挡板数据集中包含数据[‘可以可以，我待会就把钱还了’，‘借还款，确认还款’])，此时，输出正确的分类意图(‘借还款，确认还款’)；

2)第一文本分类模型分类：若未击中前置挡板，即匹配失败，使用训练好的第一文本分类模型进行分类，若第一分类置信度大于等于第一置信度阈值(0.7)，则输出正确的分类意图(‘借还款，确认还款’)；

3)第二文本分类模型分类：若第一分类置信度小于0.7，则使用训练好的第二文本分类模型进行分类，若第二分类置信度大于等于第二置信度阈值(0.8)，则输出正确的分类意图(‘借还款，确认还款’)，否则返回数据过程的2)步骤，对数据进行人工精细化标注数据，并生成新的<精细化数据集>，重新对第一文本分类模型进行训练。

在一些实施例中，请参阅图3中的“模型迭代过程”，上述的第一文本分类模型的训练步骤，包括：提取第二文本分类模型的第一嵌入层(图中的embedding层)；搭建初始神经网络；初始神经网络中的第二嵌入层基于第一嵌入层构建；基于精细化数据集，对初始神经网络进行训练和微调(图中的fine-tune)，得到第一文本分类模型。其中，如图4所示，上述的初始神经网络可以包括输入层、第二嵌入层、丢失层、卷积层、最大池化层、Flatten层、Concatenate层以及全连接层(两个)。

在一些实施例中，上述的基于精细化数据集，对初始神经网络进行训练，得到第一文本分类模型的步骤，包括：对精细化数据集进行预处理；根据预处理之后的精细化数据集，生成训练集和测试集；对训练集进行分词，得到分词训练集；针对分词训练集，若同一个意图标签对应的样本量小于设定阈值，则进行重采样，直至同一个意图标签对应的样本量大于或等于设定阈值；分别对分词训练集和测试集进行编码；采用分词训练集的编码结果对初始神经网络进行训练，得到初始文本分类模型；采用测试集的编码结果对初始文本分类模型进行测试，若测试结果不符合设定条件，返回执行对初始神经网络进行训练的步骤，直到测试结果符合设定条件，得到第一文本分类模型。

需要说明的是，预处理可包括对文本和意图标签的预处理，对文本的预处理可包括文本长度筛选、去停用词、词性标注等等。同时，上述的设定阈值可以是设定的同一个意图对应的最大样本量，具体阈值的大小可根据实际情况进行设定，此处不作限定。

在一些实施例中，可将关键词匹配分类的方法与本申请的文本分类方法相结合，以进一步提高文本分类的可靠性。

结合图3可知，本申请提出的一种基于组合神经网络的高可靠文本分类方法，具体可以包括三个过程：a、数据集构建过程；b、模型迭代过程；c、待分类文本的分类过程。其中，数据集构建过程，即<全量数据集>和<精细化数据集>的生成过程，具体生成方式可参照上文；待分类文本的分类过程，即上文描述的通过将前置挡板、基于精细化数据集训练的模型，以及基于全量数据集训练的模型相组合的神经网络进行文本分类的过程，此处均不作赘述。在其中一个实施例中，模型的迭代过程可具体通过下述方法步骤实现：

1、构建缓慢迭代的第二文本分类模型；可基于TextCNN对<全量数据集>进行训练，具体可以包括：

(1)数据预处理：将积累的文本长度>40的样本剔除，并将意图类别统一化、规范化；

(2)测试集、训练集生成：测试集、训练集可由<全量数据集>随机分成8：2得到；

(3)分词：分词采用可配置型，包括按字分词和jieba分词；此处的jieba分词是一种Python中文分词组件，主要有以下3种特性：支持精确模式、全模式、搜索引擎模式，同时，支持繁体分词，支持自定义词典。

(4)训练集重采样：若某意图的样本量>＝设定阈值，则不重采样；若某意图的样本量<设定阈值，则有放回的重采样，采样数为设定阈值-该意图的样本量；

其中，设定阈值可为最大样本量意图的样本量×比例阈值，比例阈值可设定为0.2；应当指出的是，若不同意图的样本不均衡，不同类别样本的比例相差悬殊，将会对算法的学习过程造成重大的干扰，故而此处采用随机过采样的方法，0.2即为随机过采样的比例阈值，与最大样本量意图的样本量的乘积，即为是否过采样的设定阈值。

(5)编码：

针对文本的编码：可使用keras的Tokenizer对训练集的文本进行编码，并用keras的pad_sequences将文本编码长度规范到30的长度，其中若文本的长度>30，则截取前30位编码，若文本的长度<＝30，则在文本编码前添加(30-文本的长度)个0，以保证文本编码长度规范到30的长度。接着，利用上述训练集拟合好的Tokenizer对测试集文本进行编码，以使得编码后的测试集文本规范化。

针对意图标签的编码：对训练集的意图标签进行数字编码(0，1，2…)，然后进行onehot编码。接着，利用上述训练集拟合好的数字编码器对测试集意图标签进行编码，并进行onehot编码。

(6)搭建TextCNN模型结构并训练：模型结构包括输入层、嵌入层，丢失层，卷积层(4种卷积核，卷积核长度可为[2，3，4，5])，最大池化层，拉伸/打平Flatten层，Concatenate层，2个全连接层；利用编码好的训练集数据对上述TextCNN模型结构进行训练；

(7)测试及模型参数优化：利用测试集对TextCNN模型进行测试，根据测试结果对模型参数进行调整。

2、构建快速迭代的第一文本分类模型；可通过提取第二文本分类模型中的embedding层，并基于第二文本分类模型中的embedding层对<精细化数据集>进行fine-tune(微调)得到。

其中，第一文本分类模型的构建过程可参照第二文本分类模型的构建过程，二者区别点可仅在于embedding层，即第一文本分类模型的embedding层是基于第二文本分类模型中的embedding层得到的。

本申请提出的基于组合神经网络的高可靠文本分类方法的有益效果在于：相比于现有技术中的文本分类模型，本申请提出的文本分类模型具有更高的可靠性，文本分类结果准确性更佳，若将该方法应用于智能催收，智能催收机器人则可以更好理解客户的意图，从而回馈相应的催收话术，增强与用户之间交互的准确度和流畅度，提高贷款的回款率。具体的有益效果可体现在以下几个方面：

首先，前置挡板为生产中出现次数最多的topN数据，其分类意图进行过精细的人工标注，若击中前置挡板，即完全匹配，则分类意图100％正确；

其次，利用人工标注的<精细化数据集>训练的模型精确率高，并且设置了较高的分类置信度，分类意图准确；

再者，对未达到<精细化数据集>训练的模型置信度的待分类数据，利用拟合规则产生的<全量数据集>训练的模型进行分类，并设置了更高的分类置信度，保证了分类的准确率和召回率；

最后，随着待分类文本输入模型中进行不断的迭代，<全量数据集>中由模型产生的正确分类的数据将越来越多，其分类效果将越来越好；<精细化数据集>的样本量越来越大，其分类结果也越来越具有代表性，最终将二者训练出的神经网络模型结合起来，使得分类结果具有理想的可靠度。

应该理解的是，对于前述的各方法实施例，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，方法实施例的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于与上述实施例中的基于组合神经网络的文本分类方法相同的思想，本文还提供一种基于组合神经网络的文本分类装置。

在一个实施例中，如图5所示，提供了一种基于组合神经网络的文本分类装置，包括：文本精细分类模块401、文本全量分类模块402和分类结果确定模块403，其中：

文本精细分类模块401，用于将待分类文本输入已训练的第一文本分类模型，根据第一文本分类模型的分类结果确定第一分类置信度；第一文本分类模型为基于精细化数据集训练得到的神经网络；

文本全量分类模块402，用于若第一分类置信度小于第一置信度阈值，则将待分类文本输入已训练的第二文本分类模型，根据第二文本分类模型的分类结果确定第二分类置信度；第二文本分类模型为基于全量数据集训练得到的神经网络；全量数据集中的文本对应有通过系统规则自动生成的意图标签，精细化数据集中的文本从全量数据集的文本中筛选得到，并且对应有人工标注的意图标签；

分类结果确定模块403，用于若第二分类置信度大于或等于第二置信度阈值，则将第二文本分类模型的分类结果，确定为待分类文本的分类结果。

在一些实施例中，基于组合神经网络的文本分类装置还包括：文本前置分类模块，用于将待分类文本与前置挡板数据集进行匹配；前置挡板数据集中的文本为设定的高频文本，各个高频文本对应有通过人工标注的意图标签；若匹配失败，则向文本精细分类模块401发送一通知消息。

在一些实施例中，文本前置分类模块，具体还用于：若待分类文本与前置挡板数据集匹配成功，则将匹配的前置挡板数据的意图标签，确定为待分类文本的分类结果。

在一些实施例中，文本全量分类模块402，具体还用于：若第一分类置信度大于或等于第一置信度阈值，则将第一文本分类模型的分类结果，确定为待分类文本的分类结果。

在一些实施例中，基于组合神经网络的文本分类装置还包括：分类存储模块，用于在得到待分类文本的分类结果后，将待分类及其分类结果存储于全量数据集中。

在一些实施例中，基于组合神经网络的文本分类装置还包括：标注存储模块，用于若第二分类置信度小于第二置信度阈值，对待分类文本进行分类标注，并将待分类文本及其分类标注结果存储于精细化数据集中。

在一些实施例中，基于组合神经网络的文本分类装置还包括：分类模型训练模块，用于提取第二文本分类模型的第一嵌入层；搭建初始神经网络；初始神经网络中的第二嵌入层基于第一嵌入层构建；基于精细化数据集，对初始神经网络进行训练，得到第一文本分类模型。

在一些实施例中，初始神经网络包括输入层、第二嵌入层、丢失层、卷积层、最大池化层、Flatten层、Concatenate层以及全连接层。

在一些实施例中，上述分类模型训练模块，具体用于：对精细化数据集进行预处理；根据预处理之后的精细化数据集，生成训练集和测试集；对训练集进行分词，得到分词训练集；针对分词训练集，若同一个意图标签对应的样本量小于设定阈值，则进行重采样，直至同一个意图标签对应的样本量大于或等于设定阈值；分别对分词训练集和测试集进行编码；采用分词训练集的编码结果对初始神经网络进行训练，得到初始文本分类模型；采用测试集的编码结果对初始文本分类模型进行测试，若测试结果不符合设定条件，返回执行对初始神经网络进行训练的步骤，直到测试结果符合设定条件，得到第一文本分类模型。

关于基于组合神经网络的文本分类装置的具体限定可以参见上文中对于基于组合神经网络的文本分类方法的限定，在此不再赘述。上述基于组合神经网络的文本分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

此外，上述示例的基于组合神经网络的文本分类装置的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将基于组合神经网络的文本分类装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是文本处理设备，具体可为智能终端或智能机器人等；其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于组合神经网络的文本分类用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于组合神经网络的文本分类方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

将待分类文本输入已训练的第一文本分类模型，根据第一文本分类模型的分类结果确定第一分类置信度；第一文本分类模型为基于精细化数据集训练得到的神经网络；

若第一分类置信度小于第一置信度阈值，则将待分类文本输入已训练的第二文本分类模型，根据第二文本分类模型的分类结果确定第二分类置信度；第二文本分类模型为基于全量数据集训练得到的神经网络；全量数据集中的文本对应有通过系统规则自动生成的意图标签，精细化数据集中的文本从全量数据集的文本中筛选得到，并且对应有人工标注的意图标签；

若第二分类置信度大于或等于第二置信度阈值，则将第二文本分类模型的分类结果，确定为待分类文本的分类结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将待分类文本与前置挡板数据集进行匹配；前置挡板数据集中的文本为设定的高频文本，各个高频文本对应有通过人工标注的意图标签；若匹配失败，则执行将待分类文本输入已训练的第一文本分类模型的步骤。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：若待分类文本与前置挡板数据集匹配成功，则将匹配的前置挡板数据的意图标签，确定为待分类文本的分类结果；和/或，若第一分类置信度大于或等于第一置信度阈值，则将第一文本分类模型的分类结果，确定为待分类文本的分类结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：得到待分类文本的分类结果后，将待分类文本及其分类结果存储于全量数据集中；和/或，若第二分类置信度小于第二置信度阈值，对待分类文本进行分类标注，并将待分类文本及其分类标注结果存储于精细化数据集中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：提取第二文本分类模型的第一嵌入层；搭建初始神经网络；初始神经网络中的第二嵌入层基于第一嵌入层构建；基于精细化数据集，对初始神经网络进行训练，得到第一文本分类模型。

在一个实施例中，初始神经网络包括输入层、第二嵌入层、丢失层、卷积层、最大池化层、Flatten层、Concatenate层以及全连接层。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对精细化数据集进行预处理；根据预处理之后的精细化数据集，生成训练集和测试集；对训练集进行分词，得到分词训练集；针对分词训练集，若同一个意图标签对应的样本量小于设定阈值，则进行重采样，直至同一个意图标签对应的样本量大于或等于设定阈值；分别对分词训练集和测试集进行编码；采用分词训练集的编码结果对初始神经网络进行训练，得到初始文本分类模型；采用测试集的编码结果对初始文本分类模型进行测试，若测试结果不符合设定条件，返回执行对初始神经网络进行训练的步骤，直到测试结果符合设定条件，得到第一文本分类模型。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

将待分类文本输入已训练的第一文本分类模型，根据第一文本分类模型的分类结果确定第一分类置信度；第一文本分类模型为基于精细化数据集训练得到的神经网络；

若第一分类置信度小于第一置信度阈值，则将待分类文本输入已训练的第二文本分类模型，根据第二文本分类模型的分类结果确定第二分类置信度；第二文本分类模型为基于全量数据集训练得到的神经网络；全量数据集中的文本对应有通过系统规则自动生成的意图标签，精细化数据集中的文本从全量数据集的文本中筛选得到，并且对应有人工标注的意图标签；

若第二分类置信度大于或等于第二置信度阈值，则将第二文本分类模型的分类结果，确定为待分类文本的分类结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将待分类文本与前置挡板数据集进行匹配；前置挡板数据集中的文本为设定的高频文本，各个高频文本对应有通过人工标注的意图标签；若匹配失败，则执行将待分类文本输入已训练的第一文本分类模型的步骤。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若待分类文本与前置挡板数据集匹配成功，则将匹配的前置挡板数据的意图标签，确定为待分类文本的分类结果；和/或，若第一分类置信度大于或等于第一置信度阈值，则将第一文本分类模型的分类结果，确定为待分类文本的分类结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：得到待分类文本的分类结果后，将待分类文本及其分类结果存储于全量数据集中；和/或，若第二分类置信度小于第二置信度阈值，对待分类文本进行分类标注，并将待分类文本及其分类标注结果存储于精细化数据集中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：提取第二文本分类模型的第一嵌入层；搭建初始神经网络；初始神经网络中的第二嵌入层基于第一嵌入层构建；基于精细化数据集，对初始神经网络进行训练，得到第一文本分类模型。

在一个实施例中，初始神经网络包括输入层、第二嵌入层、丢失层、卷积层、最大池化层、Flatten层、Concatenate层以及全连接层。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对精细化数据集进行预处理；根据预处理之后的精细化数据集，生成训练集和测试集；对训练集进行分词，得到分词训练集；针对分词训练集，若同一个意图标签对应的样本量小于设定阈值，则进行重采样，直至同一个意图标签对应的样本量大于或等于设定阈值；分别对分词训练集和测试集进行编码；采用分词训练集的编码结果对初始神经网络进行训练，得到初始文本分类模型；采用测试集的编码结果对初始文本分类模型进行测试，若测试结果不符合设定条件，返回执行对初始神经网络进行训练的步骤，直到测试结果符合设定条件，得到第一文本分类模型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

本文实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在本文中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于组合神经网络的文本分类方法，所述方法包括：

将待分类文本输入已训练的第一文本分类模型，根据所述第一文本分类模型的分类结果确定第一分类置信度；所述第一文本分类模型为基于精细化数据集训练得到的神经网络；

若所述第一分类置信度小于第一置信度阈值，则将所述待分类文本输入已训练的第二文本分类模型，根据所述第二文本分类模型的分类结果确定第二分类置信度；所述第二文本分类模型为基于全量数据集训练得到的神经网络；所述全量数据集中的文本对应有通过系统规则自动生成的意图标签，所述精细化数据集中的文本从所述全量数据集的文本中筛选得到，并且对应有人工标注的意图标签；

若所述第二分类置信度大于或等于第二置信度阈值，则将所述第二文本分类模型的分类结果，确定为所述待分类文本的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述将待分类文本输入已训练的第一文本分类模型的步骤之前，所述方法还包括：

将所述待分类文本与前置挡板数据集进行匹配；所述前置挡板数据集中的文本为设定的高频文本，各个高频文本对应有通过人工标注的意图标签；

若匹配失败，则执行所述将待分类文本输入已训练的第一文本分类模型的步骤。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述待分类文本与前置挡板数据集匹配成功，则将匹配的前置挡板数据的意图标签，确定为所述待分类文本的分类结果；

和/或，

若所述第一分类置信度大于或等于第一置信度阈值，则将所述第一文本分类模型的分类结果，确定为所述待分类文本的分类结果。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

得到所述待分类文本的分类结果后，将所述待分类文本及其分类结果存储于所述全量数据集中；

和/或，

若所述第二分类置信度小于所述第二置信度阈值，对所述待分类文本进行分类标注，并将所述待分类文本及其分类标注结果存储于所述精细化数据集中。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一文本分类模型的训练步骤，包括：

提取所述第二文本分类模型的第一嵌入层；

搭建初始神经网络；所述初始神经网络中的第二嵌入层基于所述第一嵌入层构建；

基于所述精细化数据集，对所述初始神经网络进行训练，得到所述第一文本分类模型。

6.根据权利要求5所述的方法，其特征在于，所述初始神经网络包括输入层、所述第二嵌入层、丢失层、卷积层、最大池化层、Flatten层、Concatenate层以及全连接层。

7.根据权利要求5所述的方法，其特征在于，所述基于所述精细化数据集，对所述初始神经网络进行训练，得到所述第一文本分类模型的步骤，包括：

对所述精细化数据集进行预处理；

根据预处理之后的精细化数据集，生成训练集和测试集；

对所述训练集进行分词，得到分词训练集；

针对所述分词训练集，若同一个意图标签对应的样本量小于设定阈值，则进行重采样，直至同一个意图标签对应的样本量大于或等于所述设定阈值；

分别对所述分词训练集和所述测试集进行编码；

采用所述分词训练集的编码结果对所述初始神经网络进行训练，得到初始文本分类模型；

采用所述测试集的编码结果对所述初始文本分类模型进行测试，若测试结果不符合设定条件，返回执行对初始神经网络进行训练的步骤，直到测试结果符合设定条件，得到所述第一文本分类模型。

8.一种基于组合神经网络的文本分类装置，其特征在于，所述装置包括：

文本精细分类模块，用于将待分类文本输入已训练的第一文本分类模型，根据所述第一文本分类模型的分类结果确定第一分类置信度；所述第一文本分类模型为基于精细化数据集训练得到的神经网络；

文本全量分类模块，用于若所述第一分类置信度小于第一置信度阈值，则将所述待分类文本输入已训练的第二文本分类模型，根据所述第二文本分类模型的分类结果确定第二分类置信度；所述第二文本分类模型为基于全量数据集训练得到的神经网络；所述全量数据集中的文本对应有通过系统规则自动生成的意图标签，所述精细化数据集中的文本从所述全量数据集的文本中筛选得到，并且对应有人工标注的意图标签；

分类结果确定模块，用于若所述第二分类置信度大于或等于第二置信度阈值，则将所述第二文本分类模型的分类结果，确定为所述待分类文本的分类结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。