CN115146601A - 语言处理任务的执行方法、装置、可读存储介质以及设备 - Google Patents

Abstract

本说明书公开了一种语言处理任务的执行方法、装置、可读存储介质以及设备，通过根据语言处理任务的类型，确定目标模板参数，再根据目标模板参数和用于将不同类型的语言处理任务分别对应的模板参数映射为不同模板的目标映射矩阵，确定目标模板，再将目标模板和文本信息进行组合，输入预先训练好的目标语言模型中，得到文本信息的执行结果。本方法可使用目标语言模型执行多种语言处理任务，成本低，利用率高。

Description

语言处理任务的执行方法、装置、可读存储介质以及设备

技术领域

本说明书涉及自然语言处理技术领域，尤其涉及一种语言处理任务的执行方法、装置、可读存储介质以及设备。

背景技术

自然语言处理(Natural Language Processing，NLP)，是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。例如，利用自然语言处理技术可以对各种语料数据(如语音数据、文本数据等)进行处理。

在现有技术中，一种常用的语言处理任务的执行方法是基于语言模型实现的。具体的，可首先确定进行自然语言处理的文本信息。然后，可将文本信息作为输入，输入到预先训练好的语言模型中，得到文本信息的语言特征。最后，基于确定出的语言特征执行自然语言处理任务。

但是，自然语言处理任务包含多种类型，目前在训练语言模型时，通常会针对每种类型，确定大量该语言处理任务对应的有标注的样本来对语言模型进行训练，这就使得现有技术在训练语言模型时耗费时间长、成本高、效率较低。

发明内容

本说明书提供一种语言处理任务的执行方法、装置、可读存储介质以及设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供一种语言处理任务的执行方法，包括：

响应于语言处理任务，确定所述语言处理任务对应的文本信息，并根据所述语言处理任务的类型，确定所述类型对应的目标模板参数；

根据所述目标模板参数和预先确定出的目标映射矩阵，确定所述语言处理任务的目标模板，其中，所述目标映射矩阵用于将不同类型的语言处理任务分别对应的模板参数映射为不同模板；

将所述目标模板和所述文本信息进行组合，并将组合结果作为输入，输入预先训练好的目标语言模型中，得到所述文本信息的执行结果。

可选的，采用下述方式确定所述目标映射矩阵和各类型分别对应的目标模板参数，其中：

获取预先基于若干无标注文本信息自监督训练得到的指定语言模型的模型参数，作为目标语言模型的模型参数；

获取所述各类型分别对应的待定模板参数，并根据各待定模板参数和待定映射矩阵，确定各类型分别对应的待定模板；

将各待定模板和各文本信息分别进行组合，确定各第一训练样本，以及确定所述各第一训练样本分别对应的标注；

根据所述各第一训练样本及其标注确定损失，对所述待定映射矩阵和所述各类型分别对应的所述待定模板参数进行调整，并将调整结果分别作为所述目标语言模型对应的目标映射矩阵，以及所述各类型分别对应的目标模板参数。

可选的，所述方法还包括：

接收携带有语言处理任务的类型的调整请求，并根据所述类型，获取所述类型对应的目标模板参数；

根据所述目标模板参数和所述目标映射矩阵，确定所述类型对应的目标模板；

将所述目标模板和各文本信息进行组合，确定各第二训练样本，并确定所述各第二训练样本分别对应的标注；

根据所述各第二训练样本的标注，对所述目标模板参数重新进行调整。

可选的，所述方法还包括：

将所述各第一训练样本对应的各语言处理任务的类型，作为各第一类型；

接收携带有语言处理任务的类型的调整请求，并判断所述类型是否属于所述各第一类型；

若否，获取所述类型对应的目标模板参数，根据所述目标模板参数和所述目标映射矩阵，确定所述类型对应的目标模板，并基于各文本信息和所述目标模板进行组合，确定各第二训练样本及其标注，以及根据所述各第二训练样本的标注，对所述类型对应的目标模板参数进行调整。

可选的，根据所述目标模板参数和预先确定出的目标映射矩阵，确定所述语言处理任务的目标模板，具体包括：

根据所述目标模板参数以及目标映射矩阵，确定所述语言处理任务对应的特征向量；

从预先确定出的各类型分别对应的人工标注中，确定所述类型对应的人工标注；

根据所述人工标注和所述特征向量，确定所述语言处理任务的目标模板。

可选的，采用下述方式训练所述指定语言模型，其中：

获取若干文本信息和若干掩膜；

针对每个掩膜，将该掩膜和各文本信息进行组合，确定该掩膜对应的各第三训练样本及其标注，所述第三训练样本为将文本信息用所述掩膜进行遮盖后的结果，所述标注为所述文本信息；

根据所述各第三训练样本及其标注，确定损失，并根据所述损失将所述指定语言模型的模型参数进行调整。

可选的，根据所述各第二训练样本的标注，对所述目标模板参数重新进行调整，具体包括：

将所述各第二训练样本作为输入，输入所述目标语言模型中，得到所述目标语言模型输出的所述各第二训练样本分别对应的执行结果；

采用演化策略对所述目标模板参数进行调整，并根据调整后的目标模板参数迭代确定各第二训练样本及其执行结果，直至所述各第二训练样本的执行结果和标注一致。

本说明书提供一种语言处理装置，包括：

响应模块，用于响应于语言处理任务，根据所述语言处理任务的类型，确定所述语言处理任务对应的模板参数，以及所述语言处理任务对应的文本信息；

确定模块，用于根据所述模板参数和预先确定出的映射矩阵，确定所述语言处理任务的模板，其中，所述映射矩阵用于将不同语言处理任务分别对应的模板参数映射为不同模板；

执行模块，用于将所述模板和所述文本信息进行组合，并将组合结果作为输入，输入预选训练好的语言模型中，得到所述语言模型输出的所述文本信息的执行结果。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述语言处理任务的执行方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述语言处理任务的执行方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的语言处理任务的执行方法中，根据语言处理任务的类型，确定目标模板参数，再根据目标模板参数和用于将不同类型的语言处理任务分别对应的模板参数映射为不同模板的目标映射矩阵，确定目标模板，再将目标模板和文本信息进行组合，输入预先训练好的目标语言模型中，得到文本信息的执行结果

从上述方法中可以看出，方法可使用目标语言模型执行多种语言处理任务，成本低，利用率高。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书提供的语言处理任务的执行方法的流程示意图；

图2为本说明书提供的预训练语言模型的微调方法的流程示意图；

图3为本说明书提供的预训练语言模型的微调方法的流程示意图；

图4为本说明书提供的语言处理任务的执行装置的示意图；

图5为本说明书提供的对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

在自然语言处理领域，随着技术的发展，人们越来越多的使用自然语言处理技术对各种文本信息进行处理，并基于处理结果执行相应任务。一种常用的执行自然语言处理任务的方法是基于预处理语言模型实现的。而预处理语言模型训练一般分为三个步骤：预训练-微调-使用。

具体的，可首先使用大量无监督文本信息对语言模型进行预训练。

然后，根据自然语言处理任务的类型，确定少量有标注的文本信息，再基于确定出的有标注的文本信息对模型参数进行微调，使得模型参数能完成对应的自然语言处理任务。其中，自然语言处理任务可为分类任务、序列标注任务、句间关系判断任务和机器阅读理解任务等，具体的自然语言处理任务的任务类型可根据需要进行设置，本说明书对此不做限制。

最后，在模型训练好后，可基于训练得到的语言模型来执行对应的自然语言处理任务。

其中，在对语言模型进行预训练时，通常可采用掩膜遮盖部分文本信息的方式来确定训练样本。

具体的，可首先确定若干无标注的文本信息以及若干掩膜。其中，各掩膜的位置、掩膜长度等都可根据需要进行设置。

然后，将各文本信息和各掩膜分别进行组合，确定各训练样本。其中，针对每个训练样本，该训练样本为使用掩膜将部分文本信息进行遮盖后的文本信息，该训练样本的标注为原始的文本信息。

最后，可基于确定出的各训练样本及其标注对该语言模型进行训练。

需要说明的是，由于上述训练过程时对训练样本进行学习，学习到的内容为训练样本的语言，而非针对于对应自然语言处理任务进行学习，后续还需执行微调过程，因此将上述过程称之为预训练过程，而非训练得到不准确的语言模型的过程。

在预训练结束后，通常可认为该语言模型能够从文本信息中学习到语言信息，但学习到的语言信息较为驳杂，直接基于学习到的语言信息执行自然语言处理任务，可能会有执行结果的准确率较低的情况出现。因此，需要对模型进行微调。

在对模型进行微调过程中，通常提供两种调整方式来对模型参数进行调整。

1、基于网络参数进行调整

具体的，可获取有标注的文本信息，并将文本信息作为输入，输入预训练好的语言模型中，得到语言模型输出的该文件信息对应自然语言任务的执行结果，并基于各文本信息的执行结果及其标注，对语言模型中的模型参数进行调整。

2、基于模板进行调整

具体的，可获取有标注的文本信息，并设计模板，将模板和文本信息作为输入，输入预训练好的语言模型中，得到语言模型输出自然语言任务的执行结果，并基于各文本信息的执行结果和标注，对模型参数和模板进行调整。

但目前为了学习到更广泛的语言信息，在对语言模型进行预训练时，通常采用数量较多的无监督样本对语言模型进行训练，这也基于使得语言模型结构复杂，参数繁多。使得微调阶段需要调整的参数较多，使得目前微调阶段对计算资源的要求较大。

另外，目前在训练语言模型时，由于自然语言处理任务之间存在差异，因此，通常采用一个自然语言处理任务对应于一个语言模型的情况。而模型参数的繁多使得迁移学习的效率较低，这也就导致目前在训练语言模型时，成本较高。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书提供的语言处理任务的执行方法的流程示意图，具体包括以下步骤：

S100：响应于语言处理任务，确定所述语言处理任务对应的文本信息，并根据所述语言处理任务的类型，确定所述类型对应的目标模板参数。

在本说明书提供的一个或多个实施例中，本说明书中提供的该语言处理任务的执行方法，具体可应用于基于模板执行微调阶段的预训练语言模型中。

区别于目前针对每种类型的语言处理任务，都要训练得到该类型对应的语言模型，以基于确定出的语言模型来执行自然语言处理任务，使得目前训练模型成本较高。

本说明书提供一种新的语言处理任务的执行方法，通过使用在微调阶段基于多种类型的自然语言处理任务对模板进行微调得到的语言模型，当需要执行语言处理任务时，可基于语言处理任务的类型，确定该类型对应的模板参数，并基于模板参数来执行语言处理任务，只需要使用一个语言模型即可实现对多种语言处理任务的执行，提高了执行效率，降低了模型训练的成本。

基于此，可确定自然语言处理任务的类型。

在自然语言处理领域，该语言处理任务的执行方法通常可由服务器执行，同样的，本说明书中的该语言处理任务的执行方法可由服务器执行。且执行该语言处理任务的执行方法的服务器与训练该语言模型的服务器可为相同服务器，也可为不同服务器。

具体的，响应于语言处理任务，该服务器可确定该语言处理任务对应的文本信息。其中，该语言处理任务可为该服务器接收到携带文本信息的执行请求时自动发起的，也可为该服务器根据预设条件自动发起的。如，当监测到文本信息上传至服务器中时自动发起。具体如何生成语言处理任务，以及如何确定需要执行该语言处理任务的文本信息可根据需要进行设置，本说明书对此不做限制。

同时，由于本说明书中需基于语言处理任务的类型对应的模板参数，来生成该类型对应的模板，因此，该服务器还需要根据该类型，从预存的各类型分别对应的目标模板参数中，确定该类型对应的目标模板参数。其中，该目标模板参数可为矩阵、向量等多种形式，具体该模板参数的形式可根据需要进行设置，本说明书对此不做限制。

S102：根据所述目标模板参数和预先确定出的目标映射矩阵，确定所述语言处理任务的目标模板，其中，所述目标映射矩阵用于将不同类型的语言处理任务分别对应的模板参数映射为不同模板。

在本说明书提供的一个或多个实施例中，如前所述的，本说明书中通过一个语言模型来实现多个语言处理任务的执行。而本说明书中之所以能使用一个模型来处理多种类型的语言处理任务，是因为本说明书使用的语言模型可基于各类型分别对应的模板来执行语言处理任务。其中，各类型分别对应的模板可基于多种类型分别对应的模板参数以及唯一的映射矩阵来确定。

基于此，可基于步骤S100中确定出的目标模板参数和余弦确定出的目标映射矩阵，确定该类型对应的目标模板。

具体的，该服务器可将目标模板参数和映射矩阵对应相乘，并将相乘得到的矩阵作为目标模板。其中，该目标映射矩阵用于将不同类型的语言处理任务分别对应的模板参数映射为不同模板。

进一步的，由于在确定出执行结果后，可能会将文本信息的执行结果进行存储，或将执行结果展示给用户，因此，该模板中还可设置有人工预先标注出的文本信息。

具体的，该目标模板可包含人工标注和特征向量两部分。

于是，该服务器可首先根据目标模板参数以及目标映射矩阵，确定语言处理任务对应的特征向量。

然后，该服务器可从预先确定出的各类型分别对应的人工标注中，确定该类型对应的人工标注。

最后，该服务器可根据该人工标注和该特征向量，确定所述语言处理任务的目标模板。

其中，在确定目标模板时，该服务器可采用将人工标注转换为标注特征，将标注特征和特征向量进行融合，得到融合结果作为目标模板的手段，具体该服务器如何基于人工标注和特征向量来确定目标模板可根据需要进行设置，本说明书对此不做限制。

S104：将所述目标模板和所述文本信息进行组合，并将组合结果作为输入，输入预先训练好的目标语言模型中，得到所述文本信息的执行结果。

在本说明书提供的一个或多个实施例中，在基于模板来执行目标语言模型时，模板中通常含有掩膜。以“这句话的情感是[mask]”是一个模板为例，其中的[mask]即为掩膜部分，也是该语言模型需要自行填充的内容，因此，通常会采用将模板和文本信息进行组合，并将组合结果输入语言模型，由语言模型来将模板中的掩膜部分进行填充，并将填充内容作为执行结果。

基于此，该服务器可将模板和文本信息进行组合，并基于组合结果来确定执行结果。

具体的，该服务器可首先确定文本信息对应的文本特征。

然后，该服务器可将文本特征和模板对应的特征进行组合，确定组合结果。

最后，将该组合结果作为输入，输入预先训练好的目标语言模型中，得到该文本信息的执行结果。即，模板中的掩膜部分。

需要说明的是，本说明书提供的该语言处理任务的执行方法，可应用于需要基于执行结果向用户继续拧推荐，和用户进行人机交互等等多种场景中，具体如何使用该执行结果可根据需要进行设置，本说明书对此不做限制。

基于图1的语言处理任务的执行方法，通过根据语言处理任务的类型，确定目标模板参数，再根据目标模板参数和用于将不同类型的语言处理任务分别对应的模板参数映射为不同模板的目标映射矩阵，确定目标模板，再将目标模板和文本信息进行组合，输入预先训练好的目标语言模型中，得到文本信息的执行结果。本方法可使用目标语言模型执行多种语言处理任务，成本低，利用率高。

基于同样思路，本说明书还提供一种预训练语言模型的微调方法，如图2所示。

图2为本说明书提供的预训练语言模型的微调方法，其中：

S200：获取预先基于若干无标注文本信息自监督训练得到的指定语言模型的模型参数，作为目标语言模型的模型参数。

在本说明书提供的一个或多个实施例中，该预训练语言模型的微调方法，应用在将语言模型预训练完成后，对模板进行调整的阶段。而微调阶段需要基于模型参数来对模板进行调整。

基于此，可首先确定该目标语言模型的模型参数。

具体的，该服务器可将基于若干无标注文本信息自监督训练得到的指定语言模型的模型参数，作为目标语言模型的模型参数。当然，也可直接获取已有的可执行语言处理任务的语言模型的模型参数，来作为目标语言模型的模型参数。具体如何确定可根据需要进行设置，本说明书对此不做限制。

S202：获取所述各类型分别对应的待定模板参数，并根据各待定模板参数和待定映射矩阵，确定各类型分别对应的待定模板。

区别于目前针对每种类型的语言处理任务，都需调整得到其独立的模板，使得若要确定多种语言处理任务的模板时，计算量过大。说明书提供一种预训练语言模型的微调方法，使得可基于多种语言处理任务，微调得到各语言处理任务分别对应的模板参数，以及将不同模板参数映射为不同模板的映射矩阵。

基于此，该服务器可基于各类型分别对应的模板参数，以及预设的映射矩阵，来确定各类型分别对应的模板。

具体的，该服务器可获取各类型分别对应的待定模板参数，其中，该待定模板参数可为人工填充的矩阵，也可为人工初始化的矩阵，也还可为上一次训练时调整的待定模板参数，作为该次的待定模板参数。具体如何确定待定模板参数可根据需要进行设置，本说明书对此不做限制。

然后，该服务器可根据各类型分别对应待定模板参数和待定映射矩阵，确定各类型分别对应的待定模板。其中，与上述待定模板参数类似，该待定映射矩阵可为人工填充的矩阵，也可为人工初始化的矩阵，也还可为上一次训练时调整的待定映射矩阵等。具体如何确定待定映射矩阵可根据需要进行设置，本说明书对此不做限制。

进一步的，由于微调阶段需要使用不同的语言处理任务的模板，因此，为了更好的区分各样本，在模板中还可设置有人工预先标注出的文本信息。

具体的，该待定模板可包含人工标注和特征向量两部分。

于是，该服务器可首先根据各待定模板参数以及映射矩阵，确定各类型分别对应的待定特征。

然后，该服务器可针对每种类型，将该类型对应的人工标注和该类型对应的待定特征进行融合，来确定各待定模板。

具体如何确定待定模板，可参见步骤S102中确定目标模板的内容，本说明对此不再赘述。

S204：将各待定模板和各文本信息分别进行组合，确定各第一训练样本，以及确定所述各第一训练样本分别对应的标注。

S206：根据所述各第一训练样本及其标注确定损失，对所述待定映射矩阵和所述各类型分别对应的所述待定模板参数进行调整，并将调整结果分别作为所述目标语言模型对应的目标映射矩阵，以及所述各类型分别对应的目标模板参数。

在本说明书提供的一个或多个实施例中，由于该语言模型需要有标注的样本来调整模板，因此，该服务器可基于各待定模板和各文本信息确定训练样本及其标注。

具体的，该服务器可将步骤S202中确定出的各待定模板和各文本信息分别进行组合，确定各第一训练样本。

其次，该服务器可针对每个第一训练样本，确定该第一训练样本的标注，其中，该标注可为人工进行标注的，也可为将语料信息输入其他语言模型中确定出的。具体如何确定标注可根据需要进行设置，本说明书对此不做限制。

然后，该服务器可将各第一训练样本作为输入，输入该目标语言模型中，得到该目标语言模型输出的各第一训练样本分别对应的执行结果。

最后，该服务器可基于各第一训练样本分别对应的执行结果和标注确定损失，并基于损失，对待定映射矩阵和各类型分别对应的待定模板参数进行调整。并将调整结果分别作为该目标语言模型对应的目标映射矩阵，以及各类型分别对应的目标模板参数。

进一步的，若将该映射矩阵视作各类型的语言处理任务之间的共同点，则各类型分别对应的模板参数可视为各类型的语言处理任务分别对应的差异点。而基于多种类型对应的模板的调整结果，更容易学习到各类型之间的共同点，而对于差异点的学习可能会弱化一些，因此，在得到目标映射矩阵和目标模板参数后，该服务器还可对各类型分别对应的目标模板参数进行细化。

具体的，该服务器可接收携带有语言处理任务的类型的调整请求，则该服务器可根据该类型，获取所述类型对应的目标模板参数。其中，若该类型是否属于确定第一训练样本的各类型，则确定该类型对应的目标模板参数，若不属于，则确定人工预设的矩阵作为该类型对应的目标模板参数。

然后，该服务器可根据该目标模板参数和目标映射矩阵，确定该类型对应的目标模板。

最后，该服务器可将该目标模板和各文本信息进行组合，确定各第二训练样本，并确定各第二训练样本分别对应的标注，以及基于各第二训练样本的标注，对目标模板参数重新进行调整。

其中，具体如何对目标模板参数进行调整时，可参见上述确定目标模板参数的内容。当然，该服务器也可采用其他算法(如，演化策略)对该目标模型参数进行调整。

更进一步的，该语言模型可应用于执行除确定第一训练样本时的语言处理任务的各类型之外的其他类型的语言处理任务，而对于这些其他类型的语言处理任务，需要确定其对应的目标模板参数，因此，该服务器还可仅对除预设类型以外的其他类型的语言处理任务的目标模板参数进行确定。

具体的，该服务器可将各第一训练样本对应的各语言处理任务的类型，作为各第一类型，并接收携带有语言处理任务的类型的调整请求，判断该类型是否属于该各第一类型。

若是，则该服务器可根据该调整请求返回提示信息，该提示信息用于提示目标模板参数已调整完成。

若否，则该服务器可获取该类型对应的目标模板参数，根据该目标模板参数和该目标映射矩阵，确定该类型对应的目标模板，并基于各文本信息和该目标模板进行组合，确定各第二训练样本及其标注，以及根据该各第二训练样本的标注，对该类型对应的目标模板参数进行调整。

更进一步的，如前所述的，语言模型中的模型参数的数量通常较多，因此，基于模型参数对目标模板参数进行调整时计算量可能较大。则该服务器可采用演化策略对模型参数进行调整。

具体的，该服务器可将各第二训练样本作为输入，输入目标语言模型中，得到目标语言输出的各第二训练样本分别对应的执行结果。

然后，该服务器可采用演化策略对目标模板参数进行调整，并根据调整后的目标模板参数迭代确定各第二训练样本及其执行结果，直至所述各第二训练样本的执行结果和标注一致。

其中，由于目前采用演化策略对模型参数进行调整已经是较为成熟的技术了，本说明书对此不再赘述。

需要说明的是，上述执行语言处理任务执行方法的服务器和上述预训练语言模型的微调方法的服务器可为相同服务器，也可为不同服务器。执行本说明书提供的预训练语言模型的微调方法的语言模型和确定出的目标映射矩阵，目标模板参数等，应用于步骤S100-S104中。

基于同样思路，本说明书还提供一种预训练语言模型的微调方法，如图3所示。

图3所示的预训练语言模型的微调方法的流程示意图。图中，左侧矩形框中，该目标语言模型部署在线下，可基于模型参数对待定映射矩阵和待定模板参数进行调整，右侧为该目标语言模型部署在云端，无法获取到模型参数的情况，则需基于演化策略对目标模板参数进行调整。

在确定待定映射矩阵和待定模板参数进行调整时，可首先确定第一训练样本。图中在确定第一训练样本时，采用的自然语言处理任务的类型为情感分类和意图分类两种，则针对每种类型，该服务器可获取该类型对应的待定模板参数，其中，Z₁为情感分类的类型对应的待定模板参数，Z₂为意图分类的类型对应的待定模板参数，A为待定映射矩阵。

则针对每种类型，该服务器可根据待定模板参数和待定映射矩阵，确定该类型对应的待定模板，图中黑色向量P₁为情感分类的类型对应的待定模板，白色向量P₂为意图分类的类型对应的待定模板。

在确定出待定模板后，该服务器可将各待定模板和各文本进行组合，确定第一训练样本，进而基于第一训练样本将待定模板参数和待定映射矩阵进行调整，得到各位类型分别对应的目标模板参数和该目标语言模型对应的目标映射矩阵。

然后，可将该语言模型部署在云端，在需要对目标模板参数进行细化、确定模板参数以及执行自然语言处理任务等时，通过预设的输入接口将样本等输入该语言模型，通过预设的输出接口将执行结果进行输出。其中，在对目标模板参数进行细化时，可对在确定第一训练样本时所用的类型的模板参数进行细化，也可为对确定第一训练样本时未使用的模板参数进行细化。

图中以细化情感分类任务对应的模板参数以及确定新闻分类任务对应的模板参数为例。其中，Z₃为新闻分类的类型对应的待定模板参数，灰色向量P₃为新闻分类的类型对应的待定模板。

具体的，则该服务器可接收携带有语言处理任务的类型的调整请求，并根据所述类型，获取该类型对应的目标模板参数，再根据目标模板参数和目标映射矩阵，确定目标模板，并将目标模板和各文本信息进行组合，确定各第二训练样本，确定所述各第二训练样本分别对应的标注。以及根据各第二训练样本的标注，对目标模板参数重新进行调整。

当然，在确定第一训练样本和第二训练样本时使用后的文本信息可为相同文本信息，也可为不同文本信息。

需要说明的是，本说明书中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

以上为本说明书的一个或多个实施例提供的语言处理任务的执行方法，基于同样的思路，本说明书还提供了相应的语言处理任务的执行装置，如图4所示

图4为本说明书提供的语言处理任务的执行装置，包括：

响应模块300，用于响应于语言处理任务，确定所述语言处理任务对应的文本信息，并根据所述语言处理任务的类型，确定所述类型对应的目标模板参数。

确定模块302，用于根据所述目标模板参数和预先确定出的目标映射矩阵，确定所述语言处理任务的目标模板，其中，所述目标映射矩阵用于将不同类型的语言处理任务分别对应的模板参数映射为不同模板。

执行模块304，用于将所述目标模板和所述文本信息进行组合，并将组合结果作为输入，输入预先训练好的目标语言模型中，得到所述文本信息的执行结果。

所述装置还包括：

调整模块306，用于采用下述方式确定所述目标映射矩阵和各类型分别对应的目标模板参数，其中：获取预先基于若干无标注文本信息自监督训练得到的指定语言模型的模型参数，作为目标语言模型的模型参数，获取所述各类型分别对应的待定模板参数，并根据各待定模板参数和待定映射矩阵，确定各类型分别对应的待定模板，将各待定模板和各文本信息分别进行组合，确定各第一训练样本，以及确定所述各第一训练样本分别对应的标注,根据所述各第一训练样本及其标注确定损失，对所述待定映射矩阵和所述各类型分别对应的所述待定模板参数进行调整，并将调整结果分别作为所述目标语言模型对应的目标映射矩阵，以及所述各类型分别对应的目标模板参数。

可选的，所述调整模块306，用于接收携带有语言处理任务的类型的调整请求，并根据所述类型，获取所述类型对应的目标模板参数,根据所述目标模板参数和所述目标映射矩阵，确定所述类型对应的目标模板，将所述目标模板和各文本信息进行组合，确定各第二训练样本，并确定所述各第二训练样本分别对应的标注，根据所述各第二训练样本的标注，对所述目标模板参数重新进行调整。

可选的，所述调整模块306，用于将所述各第一训练样本对应的各语言处理任务的类型，作为各第一类型，接收携带有语言处理任务的类型的调整请求，并判断所述类型是否属于所述各第一类型，若否，获取所述类型对应的目标模板参数，根据所述目标模板参数和所述目标映射矩阵，确定所述类型对应的目标模板，并基于各文本信息和所述目标模板进行组合，确定各第二训练样本及其标注，以及根据所述各第二训练样本的标注，对所述类型对应的目标模板参数进行调整。

可选的，所述调整模块306，用于获取若干文本信息和若干掩膜，针对每个掩膜，将该掩膜和各文本信息进行组合，确定该掩膜对应的各第三训练样本及其标注，所述第三训练样本为将文本信息用所述掩膜进行遮盖后的结果，所述标注为所述文本信息，根据所述各第三训练样本及其标注，确定损失，并根据所述损失将所述指定语言模型的模型参数进行调整。

可选的，所述调整模块306，用于将所述各第二训练样本作为输入，输入所述目标语言模型中，得到所述目标语言模型输出的所述各第二训练样本分别对应的执行结果，采用演化策略对所述目标模板参数进行调整，并根据调整后的目标模板参数迭代确定各第二训练样本及其执行结果，直至所述各第二训练样本的执行结果和标注一致。

可选的，所述确定模块302，用于根据所述目标模板参数以及目标映射矩阵，确定所述语言处理任务对应的特征向量，从预先确定出的各类型分别对应的人工标注中，确定所述类型对应的人工标注，根据所述人工标注和所述特征向量，确定所述语言处理任务的目标模板。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的语言处理任务的执行方法。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的语言处理任务的执行方法。

本说明书还提供了图5所示的电子设备的示意结构图。如图5所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的语言处理任务的执行方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种语言处理任务的执行方法，其特征在于，包括：

响应于语言处理任务，确定所述语言处理任务对应的文本信息，并根据所述语言处理任务的类型，确定所述类型对应的目标模板参数；

根据所述目标模板参数和预先确定出的目标映射矩阵，确定所述语言处理任务的目标模板，其中，所述目标映射矩阵用于将不同类型的语言处理任务分别对应的模板参数映射为不同模板；

将所述目标模板和所述文本信息进行组合，并将组合结果作为输入，输入预先训练好的目标语言模型中，得到所述文本信息的执行结果。

2.如权利要求1所述的方法，其特征在于，采用下述方式确定所述目标映射矩阵和各类型分别对应的目标模板参数，其中：

获取预先基于若干无标注文本信息自监督训练得到的指定语言模型的模型参数，作为目标语言模型的模型参数；

获取所述各类型分别对应的待定模板参数，并根据各待定模板参数和待定映射矩阵，确定所述各类型分别对应的待定模板；

将各待定模板和各文本信息分别进行组合，确定各第一训练样本，以及确定所述各第一训练样本分别对应的标注；

根据所述各第一训练样本及其标注确定损失，对所述待定映射矩阵和所述各类型分别对应的所述待定模板参数进行调整，并将调整结果分别作为所述目标语言模型对应的目标映射矩阵，以及所述各类型分别对应的目标模板参数。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

接收携带有语言处理任务的类型的调整请求，并根据所述类型，获取所述类型对应的目标模板参数；

根据所述目标模板参数和所述目标映射矩阵，确定所述类型对应的目标模板；

将所述目标模板和各文本信息进行组合，确定各第二训练样本，并确定所述各第二训练样本分别对应的标注；

根据所述各第二训练样本的标注，对所述目标模板参数重新进行调整。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

将所述各第一训练样本对应的各语言处理任务的类型，作为各第一类型；

接收携带有语言处理任务的类型的调整请求，并判断所述类型是否属于所述各第一类型；

若否，获取所述类型对应的目标模板参数，根据所述目标模板参数和所述目标映射矩阵，确定所述类型对应的目标模板，并基于各文本信息和所述目标模板进行组合，确定各第二训练样本及其标注，以及根据所述各第二训练样本的标注，对所述类型对应的目标模板参数进行调整。

5.如权利要求1所述的方法，其特征在于，根据所述目标模板参数和预先确定出的目标映射矩阵，确定所述语言处理任务的目标模板，具体包括：

根据所述目标模板参数以及目标映射矩阵，确定所述语言处理任务对应的特征向量；

从预先确定出的各类型分别对应的人工标注中，确定所述类型对应的人工标注；

根据所述人工标注和所述特征向量，确定所述语言处理任务的目标模板。

6.如权利要求2所述的方法，其特征在于，采用下述方式训练所述指定语言模型，其中：

获取若干文本信息和若干掩膜；

针对每个掩膜，将该掩膜和各文本信息进行组合，确定该掩膜对应的各第三训练样本及其标注，所述第三训练样本为将文本信息用所述掩膜进行遮盖后的结果，所述标注为所述文本信息；

根据所述各第三训练样本及其标注，确定损失，并根据所述损失将所述指定语言模型的模型参数进行调整。

7.如权利要求3或4所述的方法，其特征在于，根据所述各第二训练样本的标注，对所述目标模板参数重新进行调整，具体包括：

将所述各第二训练样本作为输入，输入所述目标语言模型中，得到所述目标语言模型输出的所述各第二训练样本分别对应的执行结果；

采用演化策略对所述目标模板参数进行调整，并根据调整后的目标模板参数迭代确定各第二训练样本及其执行结果，直至所述各第二训练样本的执行结果和标注一致。

8.一种语言处理装置，其特征在于，所述装置包括：

响应模块，用于响应于语言处理任务，根据所述语言处理任务的类型，确定所述语言处理任务对应的模板参数，以及所述语言处理任务对应的文本信息；

确定模块，用于根据所述模板参数和预先确定出的映射矩阵，确定所述语言处理任务的模板，其中，所述映射矩阵用于将不同语言处理任务分别对应的模板参数映射为不同模板；

执行模块，用于将所述模板和所述文本信息进行组合，并将组合结果作为输入，输入预选训练好的语言模型中，得到所述语言模型输出的所述文本信息的执行结果。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。

Images