CN113434648A - 文本分类模型的元学习方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种文本分类模型的元学习方法，应用于人工智能技术领域，用于解决通过少量样本实现分类模型对新增类别进行学习时学习难度大、学习效率低的技术问题。本发明提供的方法包括：获取文本样本数据；将文本样本数据的数量小于该预设值的类别中包含的文本样本数据确定为元测试集，将文本样本数据的数量大于等于该预设值的类别中包含的文本样本数据确定为元训练集；通过该元训练集对文本分类模型进行元训练，得到文本分类模型学习器；通过元测试集对该文本分类模型学习器进一步进行测试阶段训练，最终得到训练好的该文本分类模型。

Description

文本分类模型的元学习方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种文本分类模型的元学习方法、装置、设备及存储介质。

背景技术

在例如人机对话或用户与人工客服的对话场景中，需要将对话内容整理成文本，然后根据文本中包含的主题对该文本内容进行分类，以便于了解各用户所关注的问题，便于更好的为用户提供对应的解决方案。

目前对于文本的分类方法是基于大量真实数据挖掘一拨主题，制定分类的类别后，开始进行大量的人工标注，然后训练一个分类器，通过该分类器对待分类的文本进行分类。然而现实中经常出现这些的场景，由于样本文本数据的局限，或者是之前的类别挖掘不充分，需要新增一个文本的主题或者类别，无疑又要再次积累大量的标注样本。实际情况是某些类别的文本样本在业务上本来就比较少，或者是在新增的业务服务类别中，标注样本本身就很少，要实现模型对新增的主题或者类别进行智能识别，使得训练样本的获取成本异常高。

现亟待提出一种通过少量文本样本就可以实现分类模型对新增的主题或类别进行训练的方法。

发明内容

本发明实施例提供一种文本分类模型的元学习方法、装置、计算机设备及存储介质，以解决通过少量样本实现分类模型对新增类别进行学习时学习难度大、学习效率低的技术问题。

一种文本分类模型的元学习方法，该方法包括：

获取文本样本数据，该文本样本数据携带有该文本样本数据所属类别的标识，其中，至少一个该类别中包含的文本样本数据的数量小于预设值；

将文本样本数据的数量小于该预设值的类别中包含的文本样本数据确定为元测试集，将文本样本数据的数量大于等于该预设值的类别中包含的文本样本数据确定为元训练集；

通过该元训练集对文本分类模型进行元训练，得到文本分类模型学习器；

将该文本分类模型学习器作为待训练的文本分类模型，通过该元测试集对该文本分类模型学习器进行测试训练，当所述文本分类模型学习器的损失函数在测试阶段收敛时，得到训练好的文本分类模型。

一种文本分类模型的元学习装置，该装置包括：

样本获取模块，用于获取文本样本数据，该文本样本数据携带有该文本样本数据所属类别的标识，其中，至少一个该类别中包含的文本样本数据的数量小于预设值；

分类模块，用于将文本样本数据的数量小于该预设值的类别中包含的文本样本数据确定为元测试集，将文本样本数据的数量大于等于该预设值的类别中包含的文本样本数据确定为元训练集；

学习器训练模块，用于通过该元训练集对文本分类模型进行元训练，得到文本分类模型学习器；

测试训练模块，用于将该文本分类模型学习器作为待训练的文本分类模型，通过该元测试集对该文本分类模型学习器进行测试训练，当所述文本分类模型学习器的损失函数在测试阶段收敛时，得到训练好的文本分类模型。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文本分类模型的元学习方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述文本分类模型的元学习方法的步骤。

本发明提出的文本分类模型的元学习方法、装置、计算机设备及存储介质，首先将现有类别中包含样本数量较多的样本作为元训练集，通过该元训练集对文本分类模型进行元训练，得到训练好的文本分类模型学习器，在需要新增类别或者主题时，只需要对新增类别下包含的少量文本样本所属的实际类别进行标注，将标注后的样本作为所述元测试集对该文本分类模型学习器进行元测试，即可完成对该文本分类模型进行更新式训练。本发明提出的文本分类模型的元学习方法在对新增的文本类别进行训练时，只需要对新增类别下包含的文本进行少量标注即可完成对文本分类模型的再次训练，降低了新增类别中样本的获取难度，提高了文本分类模型的训练效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中文本分类模型的元学习方法的一应用环境示意图；

图2是本发明一实施例中文本分类模型的元学习方法的一流程图；

图3是本发明另一实施例中文本分类模型的元学习方法的一流程图；

图4是本发明一实施例中文本分类模型学习器的训练流程图；

图5是本发明一实施例中文本分类模型的网络结构示例图；

图6是本发明一实施例中文本分类模型的元学习装置的结构示意图；

图7是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的文本分类模型的元学习方法，可应用在如图1所示的应用环境中，其中，该计算机设备可以通过网络与外部设备进行通信，该外部设备例如服务器。其中，该计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种文本分类模型的元学习方法，以该方法应用在图1中计算机设备为例进行说明，包括如下步骤S101至S104。

S101、获取文本样本数据，所述文本样本数据携带有所述文本样本数据所属类别的标识，其中，至少一个所述类别中包含的文本样本数据的数量小于预设值。

在其中一个实施例中，所述预设值可以人为设定，例如20个或者50个。所述少样本的类型还可以是语音类型的样本。

当原始样本的类型为语音类型时，在所述获取文本样本数据的步骤之前，所述方法还包括：

将所述语音类型的原始样本转换为所述文本样本数据。

进一步地，在所述获取文本样本数据的步骤之前，所述方法还包括：

获取样本文档；

对所述样本文档进行分词处理，得到所述文本样本数据。

其中，分词的方法可以通过BERT语言表示模型进行分词。

S102、将文本样本数据的数量小于所述预设值的类别中包含的文本样本数据确定为元测试集，将文本样本数据的数量大于等于所述预设值的类别中包含的文本样本数据确定为元训练集。

其中，该元训练集用于对文本分类模型进行元训练，该元测试集用于对该文本分类模型进行元测试。可以理解的是，本实施例通过将各类别中包含的数量较多的文本样本数据作为元训练集对文本分类模型进行元训练可以得到文本分类模型学习器，该文本分类模型学习器通过对类别中包含的数量较少的文本样本继续学习，以实现learning tolearn，最终可以得到训练好的文本分类模型。

可以理解的是，在将文本样本数据划分为元测试集和元训练集时，划分的时机可以是同时进行，也可以不同时进行，具体根据实际的应用场景而定。

例如，在不同类别中样本比例极不平衡的场景下对文本分类模型进行初始训练时，可以同时将该文本样本数据划分为元测试集和元训练集。在新增业务类型或新增文本类别的场景下，由于现有的类别或主题中已经存在大量文本样本，可以从文本样本数据中先抽取元训练集，等到新的业务或者文本类别增加时，再获取数量较少的元测试集。

S103、通过所述元训练集对文本分类模型进行元训练，得到文本分类模型学习器。

图4是本发明一实施例中文本分类模型学习器的训练流程图，在其中一个实施例中，如图4所示，所述通过所述元训练集对文本分类模型进行元训练，得到文本分类模型学习器的步骤具体包括S301至S306。

S301、从所述元训练集中抽取属于同一类别的查询训练样本和支撑训练样本。

可以理解的是，从元训练集中抽取训练样本时，可以批量抽取。具体地，以一个task为单位，每个task内均包含查询训练样本query set Q和支撑训练样本support setS。在进行样本抽取时，从元训练集中抽取属于同一类别的查询训练样本和支撑训练样本，优选地，可以以一个task为单位批量进行样本抽取，具体地可以采用N-way K-shot的方式进行抽取，表示随机抽取N个类别，在其中的每个类别中随机抽取K个样本，当N值取3、支撑训练样本的K值取2、查询训练样本的K值取1时，例如随机抽到的类别为A、B、C，分别从类别A、B、C中随机抽取2个样本作为对应类别的支撑训练样本，在抽取完支撑训练样本之后，分别从类别A、B、C中随机抽取1个样本作为对应类别的查询训练样本。

具体地，所述从所述元训练集中抽取属于同一类别的查询训练样本和支撑训练样本的步骤包括以下步骤S401和S402。

S401、从所有类别中随机抽取预设个类别。

其中，所述预设个类别例如3类。

S402、从抽取的每个类别中分别抽取所述查询训练样本和所述支撑训练样本。

进一步地，所述从抽取的每个类别中分别抽取所述查询训练样本和所述支撑训练样本的步骤进一步包括：

从抽取的每个类别中先随机抽取第一预设数量的所述支撑训练样本，再从对应的类别中抽取第二预设数量的查询训练样本。

本实施例通过在同一类别中先后依次抽取查询训练样本和支撑训练样本，有利于后续步骤在将第一样本向量与支撑训练样本所属类别的类别向量进行匹配时，确保能够匹配到同一类别中的不同样本，有利于模型参数的良性调整，可以加快文本分类模型的损失函数的快速收敛。

S302、通过所述文本分类模型的向量提取模块对所述查询训练样本进行向量提取，得到第一样本向量。

在其中一个实施例中，所述向量提取模块可以选用BERT语言表示模型。该第一样本向量也可以理解为查询向量。

S303、通过所述文本分类模型的向量提取模块对所述支撑训练样本进行向量提取，得到第二样本向量。

可以理解的是，当该向量提取模块可以选用BERT语言表示模型时，该第二样本向量也为词向量。

S304、将所述第二样本向量输入至所述文本分类模型的胶囊网络，得到所述支撑训练样本所属类别的类别向量。

在其中一个实施例中，该支撑训练样本所属类别的类别向量通过以下方式计算得到：

初始化胶囊网络的胶囊系数coupling cofficients，得到b_i’＝(b_i1,b_i2,…,b_iK,)，其中，i表示第i个类别，K表示每个类别随机抽取K个样本；

获取预先设定的胶囊网络的超参数T，T表示类别的数量；

从r＝1迭代至r＝T，通过以下公式计算该支撑训练样本所属类别的类别向量b_i：

其中，i表示类别中的第i个类别，j表示第i个类别中的第j个样本。当属于所有类别的支撑训练样本均计算完毕时，将某个类别中所有支撑训练样本输入完毕时对应的a_i值确定为对应类别的类别向量。

进一步地：

其中，W_s表示所述胶囊网络中需要学习的参数，

表示第i个类别中第j个支撑训练样本S的第二样本向量。

可以理解的是，由于i的取值为支撑训练样本的所有类别，j的取值为类别i中的所有支撑训练样本，当i每取一个类别时，

值的计算都是一个循环迭代的过程。

进一步地，a_i值通过以下公式计算得到：

C_ij＝softmax(b_ij)

其中，softmax()表示归一化指数函数，将胶囊系数b_ij作为该归一化指数函数的输入即可得到C_ij，i表示第i个类别，ij表示第i个类别中的第j个支撑训练样本。

S305、将所述第一样本向量与所述支撑训练样本所属类别的类别向量进行匹配，根据匹配的概率调整所述文本分类模型的向量提取模块和所述胶囊网络的参数。

在其中一个实施例中，通过以下方式计算所述第一样本向量与所述支撑训练样本所属类别的类别向量的匹配概率：

计算所述第一样本向量与每个类别的类别向量的余弦距离；

根据所述余弦距离计算所述第一样本向量与每个所述类别的类别向量的匹配概率。

进一步地，所述根据所述余弦距离计算所述第一样本向量与每个所述类别的类别向量的匹配概率的步骤包括：

通过以下公式所述第一样本向量与所述支撑训练样本所属类别的类别向量的匹配概率：

其中，

表示支撑训练样本q的第一样本向量e^q与类别i_k的类别向量

之间的余弦距离，已知支撑训练样本q的实际类别为i_k，

表示支撑训练样本q的第一样本向量e^q与类别i_j的类别向量

之间的余弦距离。

S306、当所述文本分类模型的损失函数没有收敛时，循环所述从所述元训练集中抽取存在属于同一类别的查询训练样本和支撑训练样本至所述根据匹配的概率调整所述文本分类模型的向量提取模块和所述胶囊网络的参数的步骤，直到所述文本分类模型的损失函数在训练阶段收敛时，得到所述文本分类模型学习器。

在其中一个实施例中，所述文本分类模型的损失函数表示为：

其中，S表示支撑训练样本，Q表示查询训练样本，

C表示支撑训练样本S的类别总数，n表示查询训练样本Q的总数，

表示所述匹配概率，y_q表示样本q的实际类别。

在其中一个实施例中，可以通过梯度下降法判断所述文本分类模型的损失函数是否收敛，判断方法如下：

l←l+l_b

l_b表示所述损失函数的梯度损失，当在训练的过程中l_b逐步缩小，使得l+l_b趋近于l时，判断所述文本分类模型的损失函数收敛。

S104、将该文本分类模型学习器作为待训练的文本分类模型，通过该元测试集对该文本分类模型学习器进行测试训练，当该文本分类模型学习器的损失函数在测试阶段收敛时，得到训练好的文本分类模型。

图3是本发明另一实施例中文本分类模型的元学习方法的一流程图，如图3所示，该步骤S104中将该文本分类模型学习器作为待训练的文本分类模型，通过该元测试集对该文本分类模型学习器进行测试训练的步骤包括以下步骤S201至S206。

S201、从所述元测试集中抽取属于同一类别的查询测试样本和支撑测试样本。

可以理解的是，从元测试集中抽取测试样本时，其抽取方式与上述从元训练集中抽取训练样本时相同，可以以一个task为单位进行批量抽取，每个task内均包含查询训练样本query set Q和支撑训练样本support set S。从元训练集中抽取属于同一类别的查询训练样本和支撑训练样本的方式可以采用N-way K-shot的方式进行抽取，表示随机抽取N个类别，每个类别随机抽取K个样本。在其中一个实施例中，在对支撑训练样本进行随机抽取时，N值可以取3，K值可以取2，在对查询训练样本进行随机抽取时，N值可以取3，K值可以取1。

可以理解的是，在对查询测试样本和支撑测试样本进行批量抽取时，要求查询测试样本和支撑测试样本所包含的类别数相同，每类包含的样本的数量可以不同，也可以相同。

S202、通过所述文本分类模型学习器的向量提取模块对所述查询测试样本进行向量提取，得到查询测试样本向量。

S203、通过所述文本分类模型学习器的向量提取模块对所述支撑测试样本进行向量提取，得到支撑测试样本向量。

S204、将所述支撑测试样本向量输入至所述文本分类模型学习器的胶囊网络，得到所述支撑测试样本所属类别的类别向量。

图5是本发明一实施例中文本分类模型的网络结构示例图，如图5所示，图5中的Capsule Network即表示胶囊网络，包括该向量提取模块和胶囊网络的文本分类模型的结构如图5所示。其中，query set表示查询训练样本，support set表示支撑训练样本，BERTEncode表示BERT语言表示模型，Capsule Network表示所述胶囊网络，Match表示匹配，Class表示类别，Example Vector表示支撑样本向量，Class Vector表示类别向量，QueryVector表示查询样本向量。

可以理解的是，由于对元测试集和元训练集的处理方式相同，其中，支撑样本向量包括支撑测试样本向量和支撑训练样本向量(即所述第二样本向量)，查询样本向量包括查询测试样本向量和查询训练样本向量(即所述第一样本向量)。

S205、将所述查询测试样本向量与所述支撑测试样本所属类别的类别向量进行匹配，根据属于同一类别的样本匹配的概率调整所述文本分类模型学习器的向量提取模块和所述胶囊网络的参数。

可以理解的是，该对文本分类模型学习器的向量提取模块和胶囊网络的参数进行学习的过程与上述对文本分类模型的向量提取模块和胶囊网络的参数在元训练阶段的学习方法相同，在此便不再赘述了。

S206、当所述文本分类模型学习器的损失函数没有收敛时，循环所述从所述元测试集中抽取属于同一类别的查询测试样本和支撑测试样本至所述根据属于同一类别的样本匹配的概率调整所述文本分类模型学习器的向量提取模块和所述胶囊网络的参数的步骤，直到所述文本分类模型学习器的损失函数在测试阶段收敛时，得到训练好的所述文本分类模型。

可以理解的是，所述文本分类模型的损失函数与所述文本分类模型学习器的损失函数的表达式相同，文本分类模型与该文本分类模型学习器的结构也相同，不同的是，由于文本分类模型学习器是元训练阶段结束时的产物，通过对该文本分类模型学习器进行元测试得到最终训练好的文本分类模型，文本分类模型学习器与最终训练好的文本分类模型的参数不同，同一文本数据通过该文本分类模型学习器和该文本分类模型映射得到的结果不同。

本申请首先将现有类别中包含样本数量较多的样本作为元训练集，通过该元训练集对文本分类模型进行元训练，得到训练好的文本分类模型学习器，在需要新增类别或者主题时，只需要对新增类别下包含的少量文本样本所属的实际类别进行标注，将标注后的样本作为所述元测试集对该文本分类模型学习器进行元测试，即可完成对分类模型进行训练。本申请提出的文本分类模型的元学习方法在对新增的文本类别进行训练时，只需要对新增类别下包含的文本进行少量标注即可完成对文本分类模型的再次训练，降低了新增类别中样本的获取难度，提高了文本分类模型的训练效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种文本分类模型的元学习装置，该文本分类模型的元学习装置与上述实施例中文本分类模型的元学习方法一一对应。如图6所示，该文本分类模型的元学习装置100包括样本获取模块11、分类模块12、学习器训练模块13和测试训练模块14。各功能模块详细说明如下：

样本获取模块11，用于获取文本样本数据，该文本样本数据携带有该文本样本数据所属类别的标识，其中，至少一个该类别中包含的文本样本数据的数量小于预设值。

分类模块12，用于将文本样本数据的数量小于该预设值的类别中包含的文本样本数据确定为元测试集，将文本样本数据的数量大于等于该预设值的类别中包含的文本样本数据确定为元训练集。

其中，该元训练集用于对文本分类模型进行元训练，该元测试集用于对该文本分类模型进行元测试。可以理解的是，本实施例通过将各类别中包含的数量较多的文本样本数据作为元训练集对文本分类模型进行元训练可以得到文本分类模型学习器，该文本分类模型学习器通过对类别中包含的数量较少的文本样本继续学习，已实现learning tolearn，最终可以得到训练好的文本分类模型。

可以理解的是，在将文本样本数据划分为元测试集和元训练集时，划分的时机可以是同时进行，也可以不同时进行，具体根据实际的应用场景而定。

例如，在不同类别中样本比例极不平衡的场景下对文本分类模型进行初始训练时，可以同时将该文本样本数据划分为元测试集和元训练集。在新增业务类型或新增文本类别的场景下，由于现有的类别或主题中已经存在大量文本样本，可以从文本样本数据中先抽取元训练集，等到新的业务或者文本类别增加时，再获取数量较少的元测试集。

学习器训练模块13，用于通过该元训练集对文本分类模型进行元训练，得到文本分类模型学习器。

测试训练模块14，用于将该文本分类模型学习器作为待训练的文本分类模型，通过该元测试集对该文本分类模型学习器进行测试训练，当该文本分类模型学习器的损失函数在测试阶段收敛时，得到训练好的文本分类模型。

在其中一个实施例中，该测试训练模块14具体包括样本抽取模块、第一提取模块、第二提取模块、输入模块、匹配模块和循环模块。各功能模块详细说明如下：

样本抽取模块，用于从该元测试集中抽取属于同一类别的查询测试样本和支撑测试样本。

可以理解的是，从元测试集中抽取测试样本时，其抽取方式与上述从元训练集中抽取训练样本时相同，可以以一个task为单位进行批量抽取，每个task内均包含查询训练样本query set Q和支撑训练样本support set S。从元训练集中抽取属于同一类别的查询训练样本和支撑训练样本的方式可以采用N-way K-shot的方式进行抽取，表示随机抽取N个类别，每个类别随机抽取K个样本。在其中一个实施例中，在对支撑训练样本进行随机抽取时，N值可以取3，K值可以取2，在对查询训练样本进行随机抽取时，N值可以取3，K值可以取1。

可以理解的是，在对查询测试样本和支撑测试样本进行批量抽取时，要求查询测试样本和支撑测试样本所包含的类别数相同，每类包含的样本的数量可以不同，也可以相同。

第一提取模块，用于通过该文本分类模型学习器的向量提取模块对该查询测试样本进行向量提取，得到查询测试样本向量。

第二提取模块，用于通过该文本分类模型学习器的向量提取模块对该支撑测试样本进行向量提取，得到支撑测试样本向量。

输入模块，用于将该支撑测试样本向量输入至该文本分类模型学习器的胶囊网络，得到该支撑测试样本所属类别的类别向量。

匹配模块，用于将该查询测试样本向量与该支撑测试样本所属类别的类别向量进行匹配，根据属于同一类别的样本匹配的概率调整该文本分类模型学习器的向量提取模块和该胶囊网络的参数。

循环模块，用于当该文本分类模型学习器的损失函数没有收敛时，循环该从该元测试集中抽取属于同一类别的查询测试样本和支撑测试样本至该根据属于同一类别的样本匹配的概率调整该文本分类模型学习器的向量提取模块和该胶囊网络的参数的步骤，直到该文本分类模型学习器的损失函数在测试阶段收敛时，得到训练好的该文本分类模型。

作为可选地，当原始样本的类型为语音类型时，该文本分类模型的元学习装置100还包括：

转换模块，用于将所述语音类型的原始样本转换为所述文本样本数据。

在其中一个实施例中，所述学习器训练模块13进一步包括：

样本抽取单元，用于从元训练集中抽取属于同一类别的查询训练样本和支撑训练样本；

第一提取单元，用于通过该文本分类模型的向量提取模块对该查询训练样本进行向量提取，得到第一样本向量；

第二提取单元，用于通过该文本分类模型的向量提取模块对该支撑训练样本进行向量提取，得到第二样本向量；

输入单元，用于将该第二样本向量输入至该文本分类模型的胶囊网络，得到该支撑训练样本所属类别的类别向量；

匹配单元，用于将该第一样本向量与该支撑训练样本所属类别的类别向量进行匹配，根据匹配的概率调整该文本分类模型的向量提取模块和该胶囊网络的参数；

循环单元，用于当该文本分类模型的损失函数没有收敛时，循环该从该元训练集中抽取存在属于同一类别的查询训练样本和支撑训练样本至该根据匹配的概率调整该文本分类模型的向量提取模块和该胶囊网络的参数的步骤，直到该文本分类模型的损失函数在训练阶段收敛时，得到该文本分类模型学习器。

进一步地，所述匹配单元具体用于计算所述第一样本向量与每个类别的类别向量的余弦距离，根据所述余弦距离计算所述第一样本向量与每个所述类别的类别向量的匹配概率。

在其中一个实施例中，所述匹配单元具体用于通过以下公式计算该第一样本向量与该支撑训练样本所属类别的类别向量的匹配概率：

其中，

表示支撑训练样本q的第一样本向量e^q与类别i_k的类别向量

之间的余弦距离，已知支撑训练样本q的实际类别为i_k，

表示支撑训练样本q的第一样本向量e^q与类别i_j的类别向量

之间的余弦距离。

在其中一个实施例中，该文本分类模型的损失函数表示为：

其中，S表示支撑训练样本，Q表示查询训练样本，

C表示支撑训练样本S的类别总数，n表示查询训练样本Q的总数，r_iq表示所述匹配概率，y_q表示样本q的实际类别。

在其中一个实施例中，所述输入单元具体包括：

初始化单元，用于初始化胶囊网络的胶囊系数，得到b_i’＝(b_i1,b_i2,…,b_iK,)；

计算单元，用于通过以下公式计算所述支撑训练样本所属类别的类别向量：

C_ij＝softmax(b_ij)

其中，i表示类别中的第i个类别，W_s表示所述胶囊网络中需要学习的参数，

表示第i个类别中第j个支撑训练样本S的第二样本向量，softmax()表示归一化指数函数，ij表示第i个类别中的第j个支撑训练样本。

在其中一个实施例中，所述样本抽取单元进一步包括：

类别抽取单元，用于从所有类别中随机抽取预设个类别；

训练样本抽取单元，用于从抽取的每个类别中分别抽取该查询训练样本和该支撑训练样本。

进一步地，该训练样本抽取单元具体用于从抽取的每个类别中先随机抽取第一预设数量的所述支撑训练样本，再从对应的类别中抽取第二预设数量的查询训练样本。

其中，所述预设个类别例如3类。可以理解的是，从元训练集中抽取训练样本时，可以批量抽取。具体地，以一个task为单位，每个task内均包含查询训练样本query set Q和支撑训练样本support set S。在进行样本抽取时，从元训练集中抽取属于同一类别的查询训练样本和支撑训练样本，优选地，可以以一个task为单位批量进行样本抽取，具体地可以采用N-way K-shot的方式进行抽取，表示随机抽取N个类别，在其中的每个类别中随机抽取K个样本，当N值取3、支撑训练样本的K值取2、查询训练样本的K值取1时，例如随机抽到的类别为A、B、C，分别从类别A、B、C中随机抽取2个样本作为对应类别的支撑训练样本，在抽取完支撑训练样本之后，分别从类别A、B、C中随机抽取1个样本作为对应类别的查询训练样本。

本实施例通过在同一类别中先后依次抽取查询训练样本和支撑训练样本，有利于后续步骤在将第一样本向量与支撑训练样本所属类别的类别向量进行匹配时，确保能够匹配到同一类别中的不同样本，有利于模型参数的良性调整，可以加快文本分类模型的损失函数的快速收敛。

进一步地，该样本获取模块11进一步包括：

样本文档获取单元，用于获取样本文档；

分词单元，用于对该样本文档进行分词处理，得到该文本样本数据。

其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。

关于文本分类模型的元学习装置的具体限定可以参见上文中对于文本分类模型的元学习方法的限定，在此不再赘述。上述文本分类模型的元学习装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本发明提出的文本分类模型的元学习装置首先将现有类别中包含样本数量较多的样本作为元训练集，通过该元训练集对文本分类模型进行元训练，得到训练好的文本分类模型学习器，在需要新增类别或者主题时，只需要对新增类别下包含的少量文本样本所属的实际类别进行标注，将标注后的样本作为所述元测试集对该文本分类模型学习器进行元测试，即可完成对该文本分类模型进行更新式训练。本申请提出的文本分类模型的元学习方法在对新增的文本类别进行训练时，只需要对新增类别下包含的文本进行少量标注即可完成对文本分类模型的再次训练，降低了新增类别中样本的获取难度，提高了文本分类模型的训练效率。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种文本分类模型的元学习方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中文本分类模型的元学习方法的步骤，例如图2所示的步骤101至步骤109及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中文本分类模型的元学习装置的各模块/单元的功能，例如图6所示模块11至模块19的功能。为避免重复，这里不再赘述。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。

所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中文本分类模型的元学习方法的步骤，例如图2所示的步骤101至步骤109及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中文本分类模型的元学习装置的各模块/单元的功能，例如图6所示模块11至模块19的功能。为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种文本分类模型的元学习方法，其特征在于，所述方法包括：

获取文本样本数据，所述文本样本数据携带有所述文本样本数据所属类别的标识，其中，至少一个所述类别中包含的文本样本数据的数量小于预设值；

将文本样本数据的数量小于所述预设值的类别中包含的文本样本数据确定为元测试集，将文本样本数据的数量大于等于所述预设值的类别中包含的文本样本数据确定为元训练集；

通过所述元训练集对文本分类模型进行元训练，得到文本分类模型学习器；

将所述文本分类模型学习器作为待训练的文本分类模型，通过所述元测试集对所述文本分类模型学习器进行测试训练，当所述文本分类模型学习器的损失函数在测试阶段收敛时，得到训练好的文本分类模型。

2.根据权利要求1所述的文本分类模型的元学习方法，其特征在于，所述将所述文本分类模型学习器作为待训练的文本分类模型，通过所述元测试集对所述文本分类模型学习器进行测试训练的步骤包括：

从所述元测试集中抽取属于同一类别的查询测试样本和支撑测试样本；

通过所述文本分类模型学习器的向量提取模块对所述查询测试样本进行向量提取，得到查询测试样本向量；

通过所述文本分类模型学习器的向量提取模块对所述支撑测试样本进行向量提取，得到支撑测试样本向量；

将所述支撑测试样本向量输入至所述文本分类模型学习器的胶囊网络，得到所述支撑测试样本所属类别的类别向量；

将所述查询测试样本向量与所述支撑测试样本所属类别的类别向量进行匹配，根据属于同一类别的样本匹配的概率调整所述文本分类模型学习器的向量提取模块和所述胶囊网络的参数；

当所述文本分类模型学习器的损失函数没有收敛时，循环所述从所述元测试集中抽取属于同一类别的查询测试样本和支撑测试样本至所述根据属于同一类别的样本匹配的概率调整所述文本分类模型学习器的向量提取模块和所述胶囊网络的参数的步骤，直到所述文本分类模型学习器的损失函数在测试阶段收敛时，得到训练好的所述文本分类模型。

3.根据权利要求1所述的文本分类模型的元学习方法，其特征在于，所述通过所述元训练集对文本分类模型进行元训练，得到文本分类模型学习器的步骤包括：

从所述元训练集中抽取属于同一类别的查询训练样本和支撑训练样本；

通过所述文本分类模型的向量提取模块对所述查询训练样本进行向量提取，得到第一样本向量；

通过所述文本分类模型的向量提取模块对所述支撑训练样本进行向量提取，得到第二样本向量；

将所述第二样本向量输入至所述文本分类模型的胶囊网络，得到所述支撑训练样本所属类别的类别向量；

将所述第一样本向量与所述支撑训练样本所属类别的类别向量进行匹配，根据匹配的概率调整所述文本分类模型的向量提取模块和所述胶囊网络的参数；

当所述文本分类模型的损失函数没有收敛时，循环所述从所述元训练集中抽取存在属于同一类别的查询训练样本和支撑训练样本至所述根据匹配的概率调整所述文本分类模型的向量提取模块和所述胶囊网络的参数的步骤，直到所述文本分类模型的损失函数在训练阶段收敛时，得到所述文本分类模型学习器。

4.根据权利要求3所述的文本分类模型的元学习方法，其特征在于，通过以下公式计算所述第一样本向量与所述支撑训练样本所属类别的类别向量的匹配概率：

其中，

表示支撑训练样本q的第一样本向量e^q与类别i_k的类别向量

之间的余弦距离，已知支撑训练样本q的实际类别为i_k，

表示支撑训练样本q的第一样本向量e^q与类别i_j的类别向量

之间的余弦距离。

5.根据权利要求3所述的文本分类模型的元学习方法，其特征在于，所述文本分类模型的损失函数表示为：

其中，S表示支撑训练样本，Q表示查询训练样本，

C表示支撑训练样本S的类别总数，n表示查询训练样本Q的总数，r_iq表示所述匹配概率，y_q表示样本q的实际类别。

6.根据权利要求3所述的文本分类模型的元学习方法，其特征在于，得到所述支撑训练样本所属类别的类别向量的步骤包括：

初始化胶囊网络的胶囊系数，得到b_i’＝(b_i1,b_i2,…,b_iK,)；

通过以下公式计算所述支撑训练样本所属类别的类别向量：

C_ij＝softmax(b_ij)

其中，i表示类别中的第i个类别，W_s表示所述胶囊网络中需要学习的参数，

表示第i个类别中第j个支撑训练样本S的第二样本向量，softmax()表示归一化指数函数，ij表示第i个类别中的第j个支撑训练样本。

7.根据权利要求3所述的文本分类模型的元学习方法，其特征在于，所述从所述元训练集中抽取属于同一类别的查询训练样本和支撑训练样本的步骤具体包括：

从所有类别中随机抽取预设个类别；

从抽取的每个类别中分别抽取所述查询训练样本和所述支撑训练样本。

8.一种文本分类模型的元学习装置，其特征在于，所述装置包括：

样本获取模块，用于获取文本样本数据，所述文本样本数据携带有所述文本样本数据所属类别的标识，其中，至少一个所述类别中包含的文本样本数据的数量小于预设值；

分类模块，用于将文本样本数据的数量小于所述预设值的类别中包含的文本样本数据确定为元测试集，将文本样本数据的数量大于等于所述预设值的类别中包含的文本样本数据确定为元训练集；

学习器训练模块，用于通过所述元训练集对文本分类模型进行元训练，得到文本分类模型学习器；

测试训练模块，用于将所述文本分类模型学习器作为待训练的文本分类模型，通过所述元测试集对所述文本分类模型学习器进行测试训练，当所述文本分类模型学习器的损失函数在测试阶段收敛时，得到训练好的文本分类模型。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述文本分类模型的元学习方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述文本分类模型的元学习方法的步骤。

Images