CN115017312A - 语言模型训练方法、文本处理方法、装置及设备 - Google Patents

Abstract

本申请实施例提供一种语言模型训练方法、文本处理方法、装置及设备。训练方法包括：获取包含已标记训练样本的标记样本集和多个未标记训练样本；基于预设的模板词和已标记训练样本构造已标记提示样本；基于模板词和各未标记训练样本构造未标记提示样本；已标记提示样本和未标记提示样本中均包含待预测的掩码；基于已标记提示样本和未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。本申请实施例可以提升语言模型预测性能。

Description

语言模型训练方法、文本处理方法、装置及设备

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种语言模型训练方法、文本处理方法、装置及设备。

背景技术

在机器学习过程中，已标记训练数据的数量会直接影响机器模型的学习效果。通常，已标记训练数据的数量越多，训练得到的模型的性能越高，但现实中已标记数据通常较难获得，需要大量人力标注资源，但未标注数据的获得成本较低。

为解决上述问题，半监督学习应运而生，半监督学习是指使用少量已标记训练数据和大量未标记数据进行模型训练。相关技术中，在获取到已标记数据和未标记数据之后，通常是直接利用少量已标记数据对预训练模型进行初步训练，再利用初步训练得到的模型直接对未标记数据进行预测得到伪标签，进而，将未标记数据及其伪标签加入已标记数据集中迭代更新模型。

但是，上述学习过程，预测得到的伪标签出错的可能性较高，因此，基于上述伪标签进行模型迭代，最终得到的模型的性能也较差。

发明内容

有鉴于此，本申请实施例提供一种语言模型训练方法、文本处理方法、装置及设备，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种语言模型训练方法，包括：

获取包含已标记训练样本的标记样本集和多个未标记训练样本；

基于预设的模板词和所述已标记训练样本构造已标记提示样本；基于所述模板词和各未标记训练样本构造未标记提示样本；所述已标记提示样本和所述未标记提示样本中均包含待预测的掩码；

基于所述已标记提示样本和所述未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。

根据本申请实施例的第二方面，提供了一种语言模型训练方法，应用于服务端设备，包括：

接收客户端设备发送的训练数据；所述训练数据包括：包含已标记训练样本的标记样本集和多个未标记训练样本；

基于预设的模板词和所述已标记训练样本构造已标记提示样本；基于所述模板词和各未标记训练样本构造未标记提示样本；所述已标记提示样本和所述未标记提示样本中均包含待预测的掩码；

基于所述已标记提示样本和所述未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型；

将所述训练完成的语言模型返回至所述客户端设备。

根据本申请实施例的第三方面，提供了一种文本处理方法，包括：

获取待处理的目标文本；

基于预设的模板词和所述目标文本，构造提示文本；并对所述提示文本进行词嵌入操作，得到提示文本向量；所述提示文本中包含待预测的掩码；

将所述提示文本向量输入预先训练完成的语言模型，通过所述语言模型对所述掩码进词预测，得到预测结果，作为所述目标文本的处理结果；

其中，所述预先训练完成的语言模型通过上述第一方面或者第二方面所述的方法得到。

根据本申请实施例的第四方面，提供了一种文本处理方法，应用于服务端设备，包括：

接收客户端设备发送的待处理的目标文本；

基于预设的模板词和所述目标文本，构造提示文本；并对所述提示文本进行词嵌入操作，得到提示文本向量；所述提示文本中包含待预测的掩码；

将所述提示文本向量输入预先训练完成的语言模型，通过所述语言模型对所述掩码进词预测，得到预测结果，作为所述目标文本的处理结果；

将所述处理结果返回至所述客户端设备；

其中，所述预先训练完成的语言模型通过上述第一方面或者第二方面所述的方法得到。

根据本申请实施例的第五方面，提供了一种语言模型训练装置，包括：

训练样本获取模块，用于获取包含已标记训练样本的标记样本集和多个未标记训练样本；

第一构造模块，用于基于预设的模板词和所述已标记训练样本构造已标记提示样本；基于所述模板词和各未标记训练样本构造未标记提示样本；所述已标记提示样本和所述未标记提示样本中均包含待预测的掩码；

第一学习模块，用于基于所述已标记提示样本和所述未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。

根据本申请实施例的第六方面，提供了一种语言模型训练装置，应用于服务端设备，包括：

训练数据接收模块，用于接收客户端设备发送的训练数据；所述训练数据包括：包含已标记训练样本的标记样本集和多个未标记训练样本；

第二构造模块，用于基于预设的模板词和所述已标记训练样本构造已标记提示样本；基于所述模板词和各未标记训练样本构造未标记提示样本；所述已标记提示样本和所述未标记提示样本中均包含待预测的掩码；

第二学习模块，用于基于所述已标记提示样本和所述未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型；

语言模型返回模块，用于将所述训练完成的语言模型返回至所述客户端设备。

根据本申请实施例的第七方面，提供了一种文本处理装置，包括；

目标文本获取模块，用于获取待处理的目标文本；

第一提示文本向量得到模块，用于基于预设的模板词和所述目标文本，构造提示文本；并对所述提示文本进行词嵌入操作，得到提示文本向量；所述提示文本中包含待预测的掩码；

第一预测模块，用于将所述提示文本向量输入预先训练完成的语言模型，通过所述语言模型对所述掩码进词预测，得到预测结果，作为所述目标文本的处理结果；

其中，所述预先训练完成的语言模型通过上述第一方面或者第二方面所述的方法得到。

根据本申请实施例的第八方面，提供了一种文本处理装置，应用于服务端设备，包括；

目标文本接收模块，用于接收客户端设备发送的待处理的目标文本；

第二提示文本向量得到模块，用于基于预设的模板词和所述目标文本，构造提示文本；并对所述提示文本进行词嵌入操作，得到提示文本向量；所述提示文本中包含待预测的掩码；

第二预测模块，用于将所述提示文本向量输入预先训练完成的语言模型，通过所述语言模型对所述掩码进词预测，得到预测结果，作为所述目标文本的处理结果；

处理结果返回模块，用于将所述处理结果返回至所述客户端设备；

其中，所述预先训练完成的语言模型通过上述第一方面或者第二方面所述的方法得到。

根据本申请实施例的第九方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的语言模型训练方法对应的操作，或者，如第三方面或第四方面所述的文本处理方法对应的操作。

根据本申请实施例的第十方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的语言模型训练方法，或者，如第三方面或第四方面所述的文本处理方法。

现有的针对预训练语言模型的半监督学习方法，通常直接利用下游任务对应的已标记数据对预训练模型进行微调，再利用微调后模型直接对未标记数据进行预测得到伪标签，进而，将未标记数据及其伪标签加入已标记数据集中迭代更新模型。但是，由于下游任务通常与预训练阶段的任务存在一定的差异，采用下游任务中的数据直接进行模型微调，会使得微调阶段的任务也会与预训练阶段的任务存在差异，从而导致微调过程无法很好地利用语言模型在预训练阶段已经学习到的先验知识，微调后模型针对未标记数据得到的伪标签出错的可能性升高，在后续迭代中错误随之累加，因此，最终得到的模型的性能较差。

而本申请实施例提供的语言模型训练方法、文本处理方法、装置及设备，对已标记训练样本和未标记训练样本均进行了改造，添加了提示模板词，得到了已标记提示样本和未标记提示样本，进而基于上述已标记提示样本和未标记提示样本，进行了预训练语言模型的半监督学习，从而得到训练完成的语言模型。上述样本改造方式，将下游任务与模型预训练阶段的任务进行了统一化，有效减少了语言模型在预训练阶段与后续微调阶段的任务差异，从而使得模型在预训练阶段学习到的先验知识得到激发和有效利用，提升了未标记数据的伪标签的质量，减少了半监督学习过程中的错误累计，提升了最终训练完成的语言模型的性能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为根据本申请实施例一的一种语言模型训练方法的步骤流程图；

图2为图1所示实施例中的一种场景示例的示意图；

图3为根据本申请实施例二的一种语言模型训练方法的步骤流程图；

图4为图3所示实施例中的一种场景示例的示意图；

图5为根据本申请实施例三的一种语言模型训练方法的步骤流程图；

图6为根据本申请实施例四的一种文本处理方法的步骤流程图；

图7为根据本申请实施例五的一种文本处理方法的步骤流程图；

图8为根据本申请实施例六的一种语言模型训练装置的结构框图；

图9为根据本申请实施例七的一种语言模型训练装置的结构框图；

图10为根据本申请实施例八的一种文本处理装置的结构框图；

图11为根据本申请实施例九的一种文本处理装置的结构框图；

图12为根据本申请实施例十的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

实施例一

参照图1，图1为根据本申请实施例一的一种语言模型训练方法的步骤流程图。具体地，本实施例提供的语言模型训练方法包括以下步骤：

步骤102，获取包含已标记训练样本的标记样本集和多个未标记训练样本。

步骤104，基于预设的模板词和已标记训练样本构造已标记提示样本；基于模板词和各未标记训练样本构造未标记提示样本。

其中，已标记提示样本和未标记提示样本中均包含待预测的掩码。

本申请实施例中，对于模板词的具体设定方式不做限定，可以根据具体的下游任务设定合适的模板词。以情感分类这一下游任务为例，可以设定模板词为“Itwas_”,这样，针对训练样本“No reason to watch”，可以构造出如下的提示样本：“No reason towatch.It was[MASK].”，其中“[MASK]”为待预测的掩码。

进一步地，可以选取具有明确语义的离散型的词元作为模板词；也可以选择不具有明确语义的连续性的词元作为模板词，本申请实施例对此也不做限定。

步骤106，基于已标记提示样本和未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。

本申请实施例中对于预训练语言模型的具体结构不做限定，例如：可以为基于transformer的语言模型，如：BERT、RoBERTa，等等。

参见图2，图2为本申请实施例一对应的场景示意图，以下，将参考图2所示的示意图，以一个具体场景示例，对本申请实施例进行说明：

先获取训练数据，其中包括：由多个已标记训练样本组成的已标记样本集，以及，多个未标记训练样本；对上述训练数据进行如下改造：基于预设的模板词和已标记训练样本构造得到已标记提示样本，同时，基于模板词和各未标记训练样本构造得到未标记提示样本；在构建好已标记提示样本和未标记提示样本之后，基于上述已标记提示样本和未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。

根据本申请实施例提供的语言模型训练方法，对已标记训练样本和未标记训练样本均进行了改造，添加了提示模板词，得到了已标记提示样本和未标记提示样本，进而基于上述已标记提示样本和未标记提示样本，进行了预训练语言模型的半监督学习，从而得到训练完成的语言模型。上述样本改造方式，将下游任务与模型预训练阶段的任务进行了统一化，有效减少了语言模型在预训练阶段与后续微调阶段的任务差异，从而使得模型在预训练阶段学习到的先验知识得到激发和有效利用，提升了未标记数据的伪标签的质量，减少了半监督学习过程中的错误累计，提升了最终训练完成的语言模型的性能。

本实施例的语言模型训练方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机等。

实施例二

参照图3，图3为根据本申请实施例二的一种语言模型训练方法的步骤流程图。具体地，本实施例提供的语言模型训练方法包括以下步骤：

步骤302，获取包含已标记训练样本的标记样本集和多个未标记训练样本。

步骤304，基于预设的模板词和已标记训练样本构造已标记提示样本；基于模板词和各未标记训练样本构造未标记提示样本。

其中，已标记提示样本和未标记提示样本中均包含待预测的掩码。

本申请实施例中，对于模板词的具体设定方式不做限定，可以根据具体的下游任务设定合适的模板词。

进一步地，可以选取具有明确语义的离散型的词元作为模板词；也可以选择不具有明确语义的连续性的词元作为模板词，本申请实施例对此也不做限定。

步骤306，采用已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型。之后，判断是否满足预设停止条件，若不满足，则执行后续步骤308；若满足，则得到训练完成的语言模型，流程结束。

本申请实施例中对于预训练语言模型的具体结构不做限定，例如：可以为基于transformer的语言模型，如：BERT、RoBERTa，等等。

可选地，在其中一些实施例中，具体可以通过如下方式得到微调后语言模型：

对所述已标记提示样本进行词嵌入操作，得到已标记样本向量；

将所述已标记样本向量输入预训练语言模型，通过所述预训练语言模型对所述掩码进词预测，得到预测结果；

基于所述预测结果和所述已标记训练样本的真实标签，得到损失值，并基于所述损失值微调所述预训练语言模型，得到微调后语言模型。

本申请实施例中的预训练语言模型通常可以包括：用于进行特征提取的特征提取模块(骨干网络模块)和用于进行分类预测的分类模块。对应地，本步骤中，在对预训练语言模型进行微调时，可以选择对预训练语言模型中的所有参数均进行微调，以提高微调后语言模型的性能；也可以选择对预训练语言模型中的部分模块中的参数进行微调(例如：仅对分类模块中的参数进行微调等)，以减少模型微调所消耗的时间，提升模型微调的效率，本申请实施例中，对于模型微调时所选择的具体参数调整方式不做限定。

在其中一些实施例中，可以通过如下方式得到微调后语言模型：采用所述已标记提示样本，通过掩码语言建模任务，对预训练语言模型中的分类模块进行微调，得到微调后语言模型。如上所述，该种微调方式，可以提升模型微调的效率。

本申请实施例中的预设停止条件，可以根据实际需要自定义设定。例如：可以当针对预训练语言模型的微调次数(模型迭代次数)达到预设次数时，确定满足预设停止条件；也可以当微调后语言模型的参数不再变化或者变化程度较小时，确定满足预设停止条件，等等。此处，对于预设停止条件的具体内容不做限定。

步骤308，通过微调后语言模型进行标签预测，得到各未标记训练样本的伪标签和伪标签置信度。

其中，伪标签置信度表征未标记训练样本的真实标签为该伪标签的可能性。

步骤310，按照各未标记训练样本的伪标签置信度从大到小的顺序，从所有未标记训练样本中，选择预设数量个未标记训练样本作为目标未标记训练样本。

伪标签置信度是用于表征未标记训练样本的真实标签为该伪标签的可能性的，也就是说，伪标签置信度越大，则表明未标记训练样本的真实标签为该伪标签的可能性越大。因此，本申请实施例中，从所有未标记训练样本中，选择伪标签置信度较大的未标记训练样本作为目标未标记训练样本，添加至已标记样本集中，可以提升添加至已标记样本集的样本标签的可信度，进而，基于可信度较高的样本进行模型微调，得到的微调后语言模型的性能更优，也就是说，本申请实施例可以进一步提升最终训练完成的语言模型的性能。

在本申请的一些实施例中，也可以采用其他的预设选择策略从未标记训练样本中，选择预设数量个未标记训练样本作为目标未标记训练样本。例如：预设选择策略可以为随机选择、按照未标记训练样本的获取时间的先后顺序，等等。此处，对于预设选择策略的具体内容不做限定。

步骤312，基于目标未标记训练样本的伪标签，将目标未标记训练样本作为已标记训练样本添加至已标记训练样本集。之后，返回步骤306。

就针对预训练语言的每个微调过程而言，都会得到一个微调后语言模型，进而会对未标记训练样本进行一次预测，得到一个伪标签，也就是说，针对每个未标记训练样本，每次微调过程都会得到一个对应的伪标签。而步骤306-步骤312之间可能存在多次模型微调过程，因此，针对每个未标记训练样本而言，可能存在多个伪标签。本领域技术人员可以理解，针对同一未标记训练样本而言，其最新得到的伪标签的准确度通常是高于之前得到的伪标签的，因此，本申请实施例中，在每次基于最新的微调后语言模型对各未标记训练样本进行预测之后，无论针对本次将要添加至已标记训练样本集的未标记训练样本，还是之前已经添加至已标记训练样本集的未标记训练样本，均以未标记训练样本的最新伪标签覆盖之前的历史伪标签，这样，可以进一步提升最终得到的语言模型的性能。

另外，本申请实施例提供的语言模型训练方法还可以适用于无已标记训练样本，而仅存在未标记训练样本的情况，该种情况下，本申请实施例退化为无监督的学习方法。具体地：可以先基于预设的模板词和未标记训练样本，构造未标记提示样本；再基于预训练语言模型对未标记提示样本进行预测，得到伪标签；然后从所有的未标记提示样本中选择部分样本，作为已标记提示样本；之后，按照上述步骤302-步骤312，对预训练语言模型进行半监督学习，直至得到训练完成的语言模型。

参见图4，图4为本申请实施例二对应的场景示意图，以下，将参考图4所示的示意图，以一个具体场景示例，对本申请实施例进行说明：

先获取由多个已标记训练样本组成的已标记样本集，以及，多个未标记训练样本；对上述训练数据进行如下改造：基于预设的模板词和已标记训练样本构造得到已标记提示样本，同时，基于模板词和各未标记训练样本构造得到未标记提示样本；在构建好已标记提示样本和未标记提示样本之后，基于上述已标记提示样本和未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型，具体的半监督训练过程为：(1)采用已标记提示样本对预训练语言模型进行微调，得到微调后语言模型，并判断当前是否满足预设的停止条件，若是，则结束流程；若否，则(2)-(3)通过上述得到微调后语言模型对未标记提示样本进行预测，得到对应的伪标签和标签置信度；(4)从所有得到了伪标签的未标记提示样本中，进行置信度筛选，即：基于标签置信度从所有未标记提示样本中选择部分样本，作为已标签提示样本，添加至已标记样本集；之后，重复执行上述(1)-(4)的过程，直至满足预设停止条件，得到训练完成的语言模型。

根据本申请实施例提供的语言模型训练方法，对已标记训练样本和未标记训练样本均进行了改造，添加了提示模板词，得到了已标记提示样本和未标记提示样本，进而基于上述已标记提示样本和未标记提示样本，进行了预训练语言模型的半监督学习，从而得到训练完成的语言模型。上述样本改造方式，将下游任务与模型预训练阶段的任务进行了统一化，有效减少了语言模型在预训练阶段与后续微调阶段的任务差异，从而使得模型在预训练阶段学习到的先验知识得到激发和有效利用，提升了未标记数据的伪标签的质量，减少了半监督学习过程中的错误累计，提升了最终训练完成的语言模型的性能。

同时，本申请实施例中，从所有未标记训练样本中，选择伪标签置信度较大的未标记训练样本作为目标未标记训练样本，添加至已标记样本集中，可以提升添加至已标记样本集的样本标签的可信度，进而，基于可信度较高的样本进行模型微调，得到的微调后语言模型的性能更优，也就是说，本申请实施例可以进一步提升最终训练完成的语言模型的性能。

本实施例的语言模型训练方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机等。

实施例三

参照图5，图5为根据本申请实施例三的一种语言模型训练方法的步骤流程图。该实施例的应用场景可以是：用户提供源于自身具体下游任务的训练数据，上述训练数据中包含有少量已标记数据和大量的未标记数据；由对应的服务端设备对上述训练数据进行改造：添加提示模板词从而得到对应的提示样本；基于改造后的提示样本，进行预训练语言模型的半监督学习，从而向用户返回训练完成的适用于用户需求、且性能较高的语言模型。

具体地，本实施例提供的语言模型训练方法包括以下步骤：

步骤502，接收客户端设备发送的训练数据。

其中，训练数据包括：包含已标记训练样本的标记样本集和多个未标记训练样本。

步骤504，基于预设的模板词和已标记训练样本构造已标记提示样本；基于模板词和各未标记训练样本构造未标记提示样本。

其中，已标记提示样本和未标记提示样本中均包含待预测的掩码。

步骤506，基于已标记提示样本和未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。

步骤508，将训练完成的语言模型返回至客户端设备。

本申请实施例，对已标记训练样本和未标记训练样本均进行了改造，添加了提示模板词，得到了已标记提示样本和未标记提示样本，进而基于上述已标记提示样本和未标记提示样本，进行了预训练语言模型的半监督学习，从而得到训练完成的语言模型。上述样本改造方式，将下游任务与模型预训练阶段的任务进行了统一化，有效减少了语言模型在预训练阶段与后续微调阶段的任务差异，从而使得模型在预训练阶段学习到的先验知识得到激发和有效利用，提升了未标记数据的伪标签的质量，减少了半监督学习过程中的错误累计，提升了最终训练完成的语言模型的性能。

本实施例的语言模型训练方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机等。

实施例四

参照图6，图6为根据本申请实施例四的一种文本处理方法的步骤流程图。具体地，本实施例提供的文本处理方法包括以下步骤：

步骤602，获取待处理的目标文本。

步骤604，基于预设的模板词和目标文本，构造提示文本；并对提示文本进行词嵌入操作，得到提示文本向量。

其中，提示文本中包含待预测的掩码。

步骤606，将提示文本向量输入预先训练完成的语言模型，通过语言模型对掩码进词预测，得到预测结果，作为目标文本的处理结果。

其中，预先训练完成的语言模型为通过上述实施例一至实施例三中任一语言模型训练方法得到的。

本申请实施例中的语言模型，在训练阶段，对已标记训练样本和未标记训练样本均进行了改造，添加了提示模板词，得到了已标记提示样本和未标记提示样本，进而基于上述已标记提示样本和未标记提示样本，进行了预训练语言模型的半监督学习，从而得到训练完成的语言模型。上述样本改造方式，将下游任务与模型预训练阶段的任务进行了统一化，有效减少了语言模型在预训练阶段与后续微调阶段的任务差异，从而使得模型在预训练阶段学习到的先验知识得到激发和有效利用，提升了未标记数据的伪标签的质量，减少了半监督学习过程中的错误累计，提升了最终训练完成的语言模型的性能。因此，基于上述训练完成的语言模型对目标文本进行处理，可以提升目标文本处理的准确性。

本实施例的文本处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机等。

实施例五

参照图7，图7为根据本申请实施例五的一种文本处理方法的步骤流程图。该实施例的应用场景可以是：用户提供自身任务场景下待处理的目标文本，由对应的服务端设备基于训练完成的语言模型对上述目标文本进行处理，得到目标文本的处理结果并返回至用户。

具体地，本实施例提供的文本处理方法包括以下步骤：

步骤702，接收客户端设备发送的待处理的目标文本。

步骤704，基于预设的模板词和目标文本，构造提示文本；并对提示文本进行词嵌入操作，得到提示文本向量；提示文本中包含待预测的掩码。

步骤706，将提示文本向量输入预先训练完成的语言模型，通过语言模型对掩码进词预测，得到预测结果，作为目标文本的处理结果。

其中，预先训练完成的语言模型为通过上述实施例一至实施例三中任一语言模型训练方法得到的。

步骤708，将处理结果返回至客户端设备。

本申请实施例中的语言模型，在训练阶段，对已标记训练样本和未标记训练样本均进行了改造，添加了提示模板词，得到了已标记提示样本和未标记提示样本，进而基于上述已标记提示样本和未标记提示样本，进行了预训练语言模型的半监督学习，从而得到训练完成的语言模型。上述样本改造方式，将下游任务与模型预训练阶段的任务进行了统一化，有效减少了语言模型在预训练阶段与后续微调阶段的任务差异，从而使得模型在预训练阶段学习到的先验知识得到激发和有效利用，提升了未标记数据的伪标签的质量，减少了半监督学习过程中的错误累计，提升了最终训练完成的语言模型的性能。因此，基于上述训练完成的语言模型对目标文本进行处理，可以提升目标文本处理的准确性。

本实施例的文本处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机等。

实施例六

参照图8，图8为根据本申请实施例六的一种语言模型训练装置的结构框图。本申请实施例提供的语言模型训练装置包括：

训练样本获取模块802，用于获取包含已标记训练样本的标记样本集和多个未标记训练样本；

第一构造模块804，用于基于预设的模板词和已标记训练样本构造已标记提示样本；基于模板词和各未标记训练样本构造未标记提示样本；已标记提示样本和未标记提示样本中均包含待预测的掩码；

第一学习模块806，用于基于已标记提示样本和未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。

可选地，在其中一些实施例中，第一学习模块806，具体用于：

采用已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型；

通过微调后语言模型进行标签预测，得到各未标记训练样本的伪标签；

基于各未标记训练样本及伪标签更新已标记训练样本集，并返回采用已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型的步骤直至满足预设停止条件，以得到训练完成的语言模型。

可选地，在其中一些实施例中，第一学习模块806，在执行基于各未标记训练样本及伪标签更新已标记训练样本集的步骤时，具体用于：

从所有未标记训练样本中，选择预设数量个未标记训练样本作为目标未标记训练样本；

基于目标未标记训练样本的伪标签，将目标未标记训练样本作为已标记训练样本添加至已标记训练样本集。

可选地，在其中一些实施例中，第一学习模块806，在执行通过微调后语言模型进行标签预测，得到各未标记训练样本的伪标签的步骤时，具体用于：

通过微调后语言模型进行标签预测，得到各未标记训练样本的伪标签和伪标签置信度；伪标签置信度表征未标记训练样本的真实标签为该伪标签的可能性；

第一学习模块806，在执行从所有未标记训练样本中，选择预设数量个未标记训练样本作为目标未标记训练样本的步骤时，具体用于：

按照各未标记训练样本的伪标签置信度从大到小的顺序，从所有未标记训练样本中，选择预设数量个未标记训练样本作为目标未标记训练样本。

可选地，在其中一些实施例中，第一学习模块806，在执行采用已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型的步骤时，具体用于：

对已标记提示样本进行词嵌入操作，得到已标记样本向量；

将已标记样本向量输入预训练语言模型，通过预训练语言模型对掩码进词预测，得到预测结果；

基于预测结果和已标记训练样本的真实标签，得到损失值，并基于损失值微调预训练语言模型，得到微调后语言模型。

可选地，在其中一些实施例中，预训练语言模型包括：特征提取模块和分类模块；第一学习模块806，在执行采用已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型的步骤时，具体用于：

采用已标记提示样本，通过掩码语言建模任务，对预训练语言模型中的分类模块进行微调，得到微调后语言模型；

对应地，第一学习模块806，在执行返回采用已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型的步骤直至满足预设停止条件，以得到训练完成的语言模型的步骤时，具体用于：

返回采用已标记提示样本，通过掩码语言建模任务，对预训练语言模型中的分类模块进行微调，得到微调后语言模型的步骤直至满足预设停止条件，以得到训练完成的语言模型。

本申请实施例的语言模型训练装置用于实现前述方法实施例一或实施例二中相应的语言模型训练方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本申请实施例的语言模型训练装置中的各个模块的功能实现均可参照前述方法实施例一或实施例二中的相应部分的描述，在此亦不再赘述。

实施例七

参见图9，图9为根据本申请实施例七的一种语言模型训练装置的结构框图。本申请实施例提供的语言模型训练装置，应用于服务端设备，包括：

训练数据接收模块902，用于接收客户端设备发送的训练数据；训练数据包括：包含已标记训练样本的标记样本集和多个未标记训练样本；

第二构造模块904，用于基于预设的模板词和已标记训练样本构造已标记提示样本；基于模板词和各未标记训练样本构造未标记提示样本；已标记提示样本和未标记提示样本中均包含待预测的掩码；

第二学习模块906，用于基于已标记提示样本和未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型；

语言模型返回模块908，用于将训练完成的语言模型返回至客户端设备。

本申请实施例的语言模型训练装置用于实现前述方法实施例三中相应的语言模型训练方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本申请实施例的语言模型训练装置中的各个模块的功能实现均可参照前述方法实施例三中的相应部分的描述，在此亦不再赘述。

实施例八

参照图10，图10为根据本申请实施例八的一种文本处理装置的结构框图。本申请实施例提供的文本处理装置包括：

目标文本获取模块1002，用于获取待处理的目标文本；

第一提示文本向量得到模块1004，用于基于预设的模板词和目标文本，构造提示文本；并对提示文本进行词嵌入操作，得到提示文本向量；提示文本中包含待预测的掩码；

第一预测模块1006，用于将提示文本向量输入预先训练完成的语言模型，通过语言模型对掩码进词预测，得到预测结果，作为目标文本的处理结果；

其中，预先训练完成的语言模型通过前述方法实施例一至实施例三中的任一语言模型训练方法得到。

本申请实施例的文本处理装置用于实现前述方法实施例四中相应的文本分类方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本申请实施例的文本处理装置中的各个模块的功能实现均可参照前述方法实施例四中的相应部分的描述，在此亦不再赘述。

实施例九

参见图11，图11为根据本申请实施例九的一种文本处理装置的结构框图。本申请实施例提供的文本处理装置，应用于服务端设备，包括：

目标文本接收模块1102，用于接收客户端设备发送的待处理的目标文本；

第二提示文本向量得到模块1104，用于基于预设的模板词和目标文本，构造提示文本；并对提示文本进行词嵌入操作，得到提示文本向量；提示文本中包含待预测的掩码；

第二预测模块1106，用于将提示文本向量输入预先训练完成的语言模型，通过语言模型对掩码进词预测，得到预测结果，作为目标文本的处理结果；

处理结果返回模块1108，用于将处理结果返回至客户端设备；

其中，预先训练完成的语言模型通过前述方法实施例一至实施例三中的任一语言模型训练方法得到。

本申请实施例的文本处理装置用于实现前述方法实施例五中相应的文本处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本申请实施例的文本处理装置中的各个模块的功能实现均可参照前述方法实施例五中的相应部分的描述，在此亦不再赘述。

实施例十

参照图12，示出了根据本申请实施例十的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图12所示，该电子设备可以包括：处理器(processor)1202、通信接口(Communications Interface)1204、存储器(memory)1206、以及通信总线1208。

其中：

处理器1202、通信接口1204、以及存储器1206通过通信总线1208完成相互间的通信。

通信接口1204，用于与其它电子设备或服务器进行通信。

处理器1202，用于执行程序1210，具体可以执行上述语言模型训练方法，或者，文本处理方法实施例中的相关步骤。

具体地，程序1210可以包括程序代码，该程序代码包括计算机操作指令。

处理器1202可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器1206，用于存放程序1210。存储器1206可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序1210具体可以用于使得处理器1202执行以下操作：获取包含已标记训练样本的标记样本集和多个未标记训练样本；基于预设的模板词和已标记训练样本构造已标记提示样本；基于模板词和各未标记训练样本构造未标记提示样本；已标记提示样本和未标记提示样本中均包含待预测的掩码；基于已标记提示样本和未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。

或者，程序1210具体可以用于使得处理器1202执行以下操作：接收客户端设备发送的训练数据；训练数据包括：包含已标记训练样本的标记样本集和多个未标记训练样本；基于预设的模板词和已标记训练样本构造已标记提示样本；基于模板词和各未标记训练样本构造未标记提示样本；已标记提示样本和未标记提示样本中均包含待预测的掩码；基于已标记提示样本和未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型；将训练完成的语言模型返回至客户端设备。

或者，程序1210具体可以用于使得处理器1202执行以下操作：获取待处理的目标文本；基于预设的模板词和目标文本，构造提示文本；并对提示文本进行词嵌入操作，得到提示文本向量；提示文本中包含待预测的掩码；将提示文本向量输入预先训练完成的语言模型，通过语言模型对掩码进词预测，得到预测结果，作为目标文本的处理结果；其中，预先训练完成的语言模型通过前述方法实施例一至实施例三中的任一语言模型训练方法得到。

或者，程序1210具体可以用于使得处理器1202执行以下操作：接收客户端设备发送的待处理的目标文本；基于预设的模板词和目标文本，构造提示文本；并对提示文本进行词嵌入操作，得到提示文本向量；提示文本中包含待预测的掩码；将提示文本向量输入预先训练完成的语言模型，通过语言模型对掩码进词预测，得到预测结果，作为目标文本的处理结果；将处理结果返回至客户端设备；其中，预先训练完成的语言模型通过前述方法实施例一至实施例三中的任一语言模型训练方法得到。

程序1210中各步骤的具体实现可以参见上述语言模型训练方法实施例，或者，文本处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

通过本实施例的电子设备，对已标记训练样本和未标记训练样本均进行了改造，添加了提示模板词，得到了已标记提示样本和未标记提示样本，进而基于上述已标记提示样本和未标记提示样本，进行了预训练语言模型的半监督学习，从而得到训练完成的语言模型。上述样本改造方式，将下游任务与模型预训练阶段的任务进行了统一化，有效减少了语言模型在预训练阶段与后续微调阶段的任务差异，从而使得模型在预训练阶段学习到的先验知识得到激发和有效利用，提升了未标记数据的伪标签的质量，减少了半监督学习过程中的错误累计，提升了最终训练完成的语言模型的性能。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一语言模型训练方法对应的操作，或者，文本处理方法对应的操作。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的语言模型训练方法，或者，文本处理方法。此外，当通用计算机访问用于实现在此示出的语言模型训练方法，或者，文本处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的语言模型训练方法，或者，文本处理方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (14)

1.一种语言模型训练方法，包括：

获取包含已标记训练样本的标记样本集和多个未标记训练样本；

基于预设的模板词和所述已标记训练样本构造已标记提示样本；基于所述模板词和各未标记训练样本构造未标记提示样本；所述已标记提示样本和所述未标记提示样本中均包含待预测的掩码；

基于所述已标记提示样本和所述未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。

2.根据权利要求1所述的方法，其中，所述基于所述已标记提示样本和所述未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型，包括：

采用所述已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型；

通过所述微调后语言模型进行标签预测，得到各未标记训练样本的伪标签；

基于各未标记训练样本及所述伪标签更新所述已标记训练样本集，并返回所述采用所述已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型的步骤直至满足预设停止条件，以得到训练完成的语言模型。

3.根据权利要求2所述的方法，其中，所述基于各未标记训练样本及所述伪标签更新所述已标记训练样本集，包括：

从所有未标记训练样本中，选择预设数量个未标记训练样本作为目标未标记训练样本；

基于所述目标未标记训练样本的伪标签，将所述目标未标记训练样本作为已标记训练样本添加至所述已标记训练样本集。

4.根据权利要求3所述的方法，其中，所述通过所述微调后语言模型进行标签预测，得到各未标记训练样本的伪标签，包括：

通过所述微调后语言模型进行标签预测，得到各未标记训练样本的伪标签和伪标签置信度；所述伪标签置信度表征所述未标记训练样本的真实标签为该伪标签的可能性；

所述从所有未标记训练样本中，选择预设数量个未标记训练样本作为目标未标记训练样本，包括：

按照各未标记训练样本的伪标签置信度从大到小的顺序，从所有未标记训练样本中，选择预设数量个未标记训练样本作为目标未标记训练样本。

5.根据权利要求2所述的方法，其中，所述采用所述已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型，包括：

对所述已标记提示样本进行词嵌入操作，得到已标记样本向量；

将所述已标记样本向量输入预训练语言模型，通过所述预训练语言模型对所述掩码进词预测，得到预测结果；

基于所述预测结果和所述已标记训练样本的真实标签，得到损失值，并基于所述损失值微调所述预训练语言模型，得到微调后语言模型。

6.根据权利要求2所述的方法，其中，所述预训练语言模型包括：特征提取模块和分类模块；所述采用所述已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型，包括：

采用所述已标记提示样本，通过掩码语言建模任务，对预训练语言模型中的分类模块进行微调，得到微调后语言模型；

所述返回所述采用所述已标记提示样本，通过掩码语言建模任务微调预训练语言模型，得到微调后语言模型的步骤直至满足预设停止条件，以得到训练完成的语言模型，包括：

返回所述采用所述已标记提示样本，通过掩码语言建模任务，对预训练语言模型中的分类模块进行微调，得到微调后语言模型的步骤直至满足预设停止条件，以得到训练完成的语言模型。

7.一种语言模型训练方法，应用于服务端设备，包括：

接收客户端设备发送的训练数据；所述训练数据包括：包含已标记训练样本的标记样本集和多个未标记训练样本；

基于预设的模板词和所述已标记训练样本构造已标记提示样本；基于所述模板词和各未标记训练样本构造未标记提示样本；所述已标记提示样本和所述未标记提示样本中均包含待预测的掩码；

基于所述已标记提示样本和所述未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型；

将所述训练完成的语言模型返回至所述客户端设备。

8.一种文本处理方法，包括：

获取待处理的目标文本；

基于预设的模板词和所述目标文本，构造提示文本；并对所述提示文本进行词嵌入操作，得到提示文本向量；所述提示文本中包含待预测的掩码；

将所述提示文本向量输入预先训练完成的语言模型，通过所述语言模型对所述掩码进词预测，得到预测结果，作为所述目标文本的处理结果；

其中，所述预先训练完成的语言模型通过权利要求1-7任一所述的方法得到。

9.一种文本处理方法，应用于服务端设备，包括：

接收客户端设备发送的待处理的目标文本；

基于预设的模板词和所述目标文本，构造提示文本；并对所述提示文本进行词嵌入操作，得到提示文本向量；所述提示文本中包含待预测的掩码；

将所述提示文本向量输入预先训练完成的语言模型，通过所述语言模型对所述掩码进词预测，得到预测结果，作为所述目标文本的处理结果；

将所述处理结果返回至所述客户端设备；

其中，所述预先训练完成的语言模型通过权利要求1-7任一所述的方法得到。

10.一种语言模型训练装置，包括：

训练样本获取模块，用于获取包含已标记训练样本的标记样本集和多个未标记训练样本；

第一构造模块，用于基于预设的模板词和所述已标记训练样本构造已标记提示样本；基于所述模板词和各未标记训练样本构造未标记提示样本；所述已标记提示样本和所述未标记提示样本中均包含待预测的掩码；

第一学习模块，用于基于所述已标记提示样本和所述未标记提示样本，通过掩码语言建模任务，对预训练语言模型进行半监督学习得到训练完成的语言模型。

11.一种文本处理装置，包括：

目标文本获取模块，用于获取待处理的目标文本；

提示文本向量得到模块，用于基于预设的模板词和所述目标文本，构造提示文本；并对所述提示文本进行词嵌入操作，得到提示文本向量；所述提示文本中包含待预测的掩码；

预测模块，用于将所述提示文本向量输入预先训练完成的语言模型，通过所述语言模型对所述掩码进词预测，得到预测结果，作为所述目标文本的处理结果；

其中，所述预先训练完成的语言模型通过权利要求1-7任一所述的方法得到。

12.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的语言模型训练方法对应的操作，或者，执行如权利要求8或9所述的文本处理方法对应的操作。

13.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一所述的语言模型训练方法，或者，实现如权利要求8或9所述的文本处理方法。

14.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-7中任一所述的语言模型训练方法对应的操作，或者，执行如权利要求8或9所述的文本处理方法对应的操作。

Images