CN113902005A - 语言模型的预训练方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种语言模型的预训练方法、装置、设备和存储介质，涉及计算机技术领域，尤其涉及深度学习及自然语言处理领域。具体实现方案为：根据搜索词、搜索结果和历史行为日志，构建语义图，并对语义图进行采样，生成第一文本序列；对第一文本序列中的第一文本进行掩码处理，得到第二文本序列，并通过初始模型之中编码器对第二文本序列中第二文本进行编码，生成第二文本的第一语义表征；将第一语义表征输入至初始模型之中图聚合模块，获得第二文本的第二语义表征；对第二语义表征进行掩码预测，获得第二文本中掩盖词的预测值，并根据掩盖词的预测值和真实值，确定损失函数；根据损失函数，对初始模型进行预训练，得到语言模型。

Description

语言模型的预训练方法、装置、设备和存储介质

技术领域

本申请涉及计算机技术领域，进一步涉及深度学习及自然语言处理领域，尤其涉及一种语言模型的预训练方法、装置、设备和存储介质。

背景技术

在搜索、广告召回、新闻推送等场景中，往往需要向用户展示相关度更高的搜索结果或者用户更感兴趣的新闻推送。例如，利用语言模型对用户输入的搜索词进行语义表征，以得到所述搜索词的语义表征向量，计算所述搜索词的语义表征向量与搜索结果的特征向量间的相似度，将相似度满足预设条件的搜索结果展现给用户。可以看出，为了能够获得相关度更高的搜索结果或者用户更感兴趣的新闻推送，关键是提升语言模型的语义表征能力。因此，如何提升语言模型的语义表征能力，已经成为一个重要的研究方向。

发明内容

本申请提供了一种语言模型的预训练方法、装置、设备和存储介质。

根据本申请的第一方面，提供了一种语言模型的训练方法，包括：

根据搜索词、搜索结果和历史行为日志，构建语义图，并对语义图进行采样，生成第一文本序列；

对第一文本序列中的第一文本进行掩码处理，得到第二文本序列，并通过初始模型之中编码器对第二文本序列中第二文本进行编码，生成第二文本的第一语义表征；

将第一语义表征输入至初始模型之中图聚合模块，获得第二文本的第二语义表征；

对第二语义表征进行掩码预测，获得第二文本中掩盖词的预测值，并根据掩盖词的预测值和真实值，确定损失函数；

根据损失函数，对初始模型进行预训练，得到语言模型。

根据本申请的第二方面，提供了一种目标任务场景下神经网络建模方法，包括：

获取目标任务场景的训练样本；

根据训练样本对神经网络进行训练，得到适用于目标任务的神经网络模型。

根据本申请的第三方面，提供了一种语言模型的预训练装置，包括：

采样模块，用于根据搜索词、搜索结果和历史行为日志，构建语义图，并对语义图进行采样，生成第一文本序列；

第一生成模块，用于对第一文本序列中的第一文本进行掩码处理，得到第二文本序列，并通过初始模型之中编码器对第二文本序列中第二文本进行编码，生成第二文本的第一语义表征；

第二生成模块，用于将第一语义表征输入至初始模型之中图聚合模块，获得第二文本的第二语义表征；

预测模块，用于对第二语义表征进行掩码预测，获得第二文本中掩盖词的预测值，并根据掩盖词的预测值和真实值，确定损失函数；

预训练模块，用于根据损失函数，对初始模型进行预训练，得到语言模型。

根据本申请的第四方面，提供了一种目标任务下神经网络建模装置，包括：

获取模块，用于获取目标任务场景的训练样本；

训练模块，用于根据训练样本对神经网络进行训练，得到适用于目标任务的神经网络模型。

根据本申请的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述第一方面的语言模型的预训练方法。

根据本申请的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行前述第一方面的语言模型的预训练方法。

根据本申请的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据前述第一方面的语言模型的预训练方法。

根据本申请的技术方案，通过对语义图的采样，获得包含语义及语义边关系的第一文本序列，通过初始模型中编码器和图聚合模块对初始摸进行训练，将初始模型预训练成语言模型。在预训练语言模型的同时预训练了编码器和图聚合模块。不仅对编码器进行了语义相关的预训练，还对图聚合模块进行语义边关系的预训练，使语言模型中的图聚合模块为热启动，提高语言模型语义理解能力，进而可以提升在下游任务中的性能。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请实施例提供的一种语言模型的预训练方法的流程示意图；

图2是根据本申请实施例提供的一种语义图的示意图；

图3是根据本申请实施例提供的一种语言抹的预训练方法的示例图；

图4是根据本申请实施例提供的一种目标任务场景下神经网络建模方法的流程示意图；

图5是根据本申请实施例提供的一种目标任务场景下神经网络的显式建模方法的示意图；

图6是根据本申请实施例提供的一种目标任务场景下神经网络的隐式建模方法的示意图；

图7是根据本申请实施例提供的一种语言模型的预训练装置的结构框图；

图8是根据本申请实施例提供的一种目标任务场景下神经网络建模装置的结构框图；

图9是根据本申请实施提供的用以实现语言模型的预训练方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

现有技术中，一般使用预训练的语言模型，编码语义图中节点的文本信息，产出节点表征。后使用图聚合模块对节点的表征进行聚合，以提升节点的表征能力。其中，聚合方式包括邻居求和、求平均、求最大值等。目前大部分图聚合模块都是冷启动的，且聚合方式过于简单。模型中仅进行了语义相关的预训练，缺乏针对语义图上语义边关系的预训练建模。

为此，本申请提供了一种语言模型的预训练方法、装置、设备和存储介质。具体地，下面参考附图描述本申请实施例的语言模型的预训练方法、装置、设备和存储介质。

图1是根据本申请实施例提供的一种语言模型的预训练方法的流程图。需要说明的是，本申请实施例的语言模型的预训练方法可应用于本申请实施例的语言模型的预训练装置，该语言模型的预训练装置可被配置于电子设备上。

还需要说明的是，本申请实施例的语言模型可以用于搜索场景、广告召回场景、新闻推荐场景等任一种或多种场景，利用语言模型获取场景中文本内容的语义表征向量。

如图1所示，该语言模型的预训练方法可以包括如下步骤：

步骤101，根据搜索词、搜索结果和历史行为日志，构建语义图，并对语义图进行采样，生成第一文本序列。

可选地，在本申请一些实施例中，以搜索词、搜索结果为节点，并根据历史行为日志确定节点间的关系，将该关系确定为该节点间的边，以构建语义图。

需要说明的是，可从历史数据库中获取搜索词、搜索结果和历史行为日志，构建语义图。其中，搜索词和搜索结果可以是一个词或者句子，历史行为日志中记录了节点间的关系。可选地，该节点间的关系可以是搜索词与搜索结果间的关系、搜索词与搜索词间的关系或搜索结果与搜索结果间的关系，将该节点间的关系确定为节点间的边。作为一种示例，如图2所示，图2为本申请实施例提供的一种语义图的示意图。其中节点q为搜索词(query),t为搜索结果(title),201为q1节点与t1节点间的边。

可选地，在本申请一些实施例中，可对构建的语义图进行深度游走，采样生成第一文本序列。以图2实施例所示出的语义图为例，对该语义图进行深度游走，可采集到q1-t1-q2-t2四个节点及节点间关系的文本序列,将该文本序列作为第一文本序列。需要说明的是，第一文本序列中节点及节点间关系的采样数量仅是为例方便本领域技术人员对本申请的理解而给出的示例，也就是说，还可对语义图中其他数量的节点及节点间关系的文本序列进行采样，如t3-q1-t1、t3-q1-t1-q4等文本序列，对此本申请不做具体限定。

步骤102，对第一文本序列中的第一文本进行掩码处理，得到第二文本序列，并通过初始模型之中编码器对第二文本序列中第二文本进行编码，生成第二文本的第一语义表征。

需要说明的是，在本申请一些实施例中，可通过随机掩盖第一文本中的单词的方式，对第一文本序列中的第一文本进行掩码处理，得到经过掩码处理的第二文本序列，并通过初始模型之中编码器对第二文本序列中第二文本进行编码，生成第二文本的第一语义表征。作为一种示例，初始模型中的编码器可以采用ERNIE(Enhanced Representationthrough Knowledge Integration，知识增强的预训练语言模型)。

步骤103，将第一语义表征输入至初始模型之中图聚合模块，获得第二文本的第二语义表征。

可选地，在本申请一些实施例中，可将第一语义表征输入至初始模型之中图聚合模块进行自注意力计算，得到第二文本的第二语义表征。其中，该第二语义表征至少包含第二文本在第二文本序列中的图表征。

可选地，在本申请一些实施例中，图聚合模块可以采用Transformersage(基于自注意力的图聚合模块)。作为一种示例，将第一语义表征输入至transformer sage进行自注意力计算，得到第二文本的第二语义表征，该第二语义表征至少包含第二文本在第二文本序列中的图表征。其中，第二文本在第二文本序列中的图表征为除该当前第二文本的语义表征外，还包括第二文本序列之中与该当前第二文本相邻的文本的语义表征。

步骤104，对第二语义表征进行掩码预测，获得第二文本中掩盖词的预测值，并根据掩盖词的预测值和真实值，确定损失函数。

作为一种示例，可将聚合后得到的第二语义表征输入至掩码语言模型(MaskedLanguage Model,mlm),根据第二语义表征中的图表征，对第二文本中的掩盖词进行预测，获得掩盖词的预测值，并根据掩盖词的预测值和真实值，确定损失函数。

步骤105，根据损失函数，对初始模型进行预训练，得到语言模型。

可选地，在本申请一些实施例中，可根据损失函数进行反向传导更新编码器和图聚合模块的模型参数，得到语言模型。

为了更好的理解本申请实施例提出的语言模型的预训练方法，图3为本申请实施例提供的语言模型的预训练方法的示例图。如图3所示，根据搜索词、搜索结果和历史行为日志，构建语义图(S301)，并对语义图进行采样，生成第一文本序列；对第一文本序列中的第一文本进行掩码处理，得到第二文本序列(S302)，并通过初始模型之中编码器对第二文本序列中第二文本进行编码(S303)，生成第二文本的第一语义表征(S304)；将第一语义表征输入至初始模型之中图聚合模块(S305)，获得第二文本的第二语义表征(S306)，其中，该第二文本的第二语义表征为聚合了第二文本的第一语义表征和第二文本在第二文本序列中的图表征。对第二语义表征进行掩码预测(S307)，根据预测出的掩盖词预测值与真实值确定损失函数，基于该函数对初始模型进行预训练，从而获得语言模型。

根据本申请实施例的语言模型的预训练方法，通过对语义图的采样，获得包含语义及语义边关系的第一文本序列，通过初始模型中编码器和图聚合模块对初始摸进行训练，将初始模型预训练成语言模型。在预训练语言模型的同时预训练了编码器和图聚合模块。不仅对编码器进行了语义相关的预训练，还对图聚合模块进行语义边关系的预训练，使语言模型中的图聚合模块为热启动，提高语言模型语义理解能力，且提升在下游任务中的性能。

在本申请一些实施例中，对语言模型进行预训练，提高了语言模型的语义理解能力，可继续对神经网络进行建模、使用、训练，以得到适用于目标任务场景下的神经网络模型。其中，目标场景可以为搜索场景、广告召回场景、新闻推荐场景等。基于经过预训练的语言模型，继续训练神经网络，从而获得在下游任务中性能更好的神经网络模型，例如推荐与搜索词相关度高的搜索结果或匹配用户感兴趣的广告文本。作为一种示例，如图4所示，本申请实施例提供的目标任务场景下神经网络建模方法可以包括如下步骤：

步骤401，获取目标任务场景的训练样本。

步骤402，根据训练样本对神经网络进行训练，得到适用于目标任务的图神经网络模型。

可选地，在本申请一些实施例中，该目标任务场景下神经网络建模方法中的训练样本可包括搜索词样本和搜索词样本的图结构信息，神经网络可包括图1所示实施例中的语言模型。作为一种示例，训练样本包括搜索词样本和搜索词样本的图结构信息，利用该训练样本和图1所示实施例中的语言模型构建适用于目标任务场景下的神经网络，可以看出，由于该神经网络学习了样本间图结构信息，所以可以将该神经网络建模方法称为显式图建模方法。

如图5所示，图5为本申请实施例提供的目标任务场景下神经网络的显式建模方法的示意图。显式图建模方法同时利用到预训练好的编码器和图聚合模块，向图神经网络中输入图结构信息。以目标任务场景为搜索场景为例，在搜索场景中，图结构信息center为历史行为日志中记录的用户输入过的搜索词，neig为用户输入该搜索词后点击过的搜索结果。将搜索词和输入该搜索词后用户点击过的搜索结果输入至神经网络，经过编码器编码，图聚合模块聚合，得到聚合了搜索结果neig信息的表征信息，以便利用该表征信息对神经网络进行训练，以使得训练后的神经网络适用于该目标任务场景。

可选地，在本申请一些实施例中，该目标任务场景下神经网络建模方法中的训练样本可包括搜索词样本，神经网络可包括图1所示实施例中语言模型之中的编码器。作为一种示例，训练样本包括搜索词样本，利用该训练样本和图1所示实施例中的语言模型中的编码器构建适用于目标任务场景下的神经网络，可以看出，由于该神经网络学习了语义表征能力而未对图结构信息进行学习，所以可以将该神经网络建模方法称为隐式图建模方法。

如图6所示，图6为本申请实施例提供的目标任务场景下神经网络的隐式建模方法的示意图。隐式图建模方法只需用到预训练好的语言模型之中的编码器，向神经网络中输入搜索样本词，以便利用该搜索样本词的语义表征信息对神经网络进行训练，以使得训练后的神经网络适用于该目标任务场景。

需要说明的是，可根据实际业务场景选择显式图建模方法或隐式图建模方法，由于显式图建模方法使用到编码器和图聚合模块，故推荐结果更加准确，但响应速度相较于隐式图建模方法的响应速度慢，更适用于不要求响应速度的业务场景，如离线推荐场景等。而隐式图建模方法仅用到编码器，响应速度快，但推荐结果准确度相较于显式图建模方法低，更适用于在线推荐等需要响应速度的业务场景。

根据本申请实施例的目标任务场景下神经网络建模方法，对经过预训练的神经网络继续进行建模、使用、训练，以得到适用于目标任务场景下的神经网络模型，从而获得与搜索词相关度较高的搜索结果或匹配用户感兴趣的广告文本。可根据实际业务需要选择显式图建模方法或隐式图建模方法，在下游任务的使用中更加灵活。

图7是根据本申请实施例提供的一种语言模型的预训练装置的结构框图。如图7所示，该语言模型的预训练装置可以包括采样模块701、第一生成模块702、第二生成模块703、预测模块704和预训练模块705。

具体地，采样模块701，用于根据搜索词、搜索结果和历史行为日志，构建语义图，并对语义图进行采样，生成第一文本序列；

第一生成模块702，用于对第一文本序列中的第一文本进行掩码处理，得到第二文本序列，并通过初始模型之中编码器对第二文本序列中第二文本进行编码，生成第二文本的第一语义表征；

第二生成模块703，用于将第一语义表征输入至初始模型之中图聚合模块，获得第二文本的第二语义表征；

预测模块704，用于对第二语义表征进行掩码预测，获得第二文本中掩盖词的预测值，并根据掩盖词的预测值和真实值，确定损失函数；

预训练模块705，用于根据损失函数，对初始模型进行预训练，得到语言模型。

在本申请一些实施例中，采样模块701，具体用于：以搜索词、搜索结果为节点，并根据历史行为日志确定节点间的关系，将关系确定为节点的边，以构建语义图。

在本申请一些实施例中，第二生成模块703，具体用于：将第一语义表征输入至初始模型之中图聚合模块进行自注意力计算，得到第二文本的第二语义表征；其中，第二语义表征至少包含第二文本在第二文本序列中的图表征。

在本申请一些实施例中，预训练模块705，具体用于：根据损失函数进行反向传导更新编码器和图聚合模块的模型参数，得到语言模型。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本申请实施例的语言模型的预训练装置，通过对语义图的采样，获得包含语义及语义边关系的第一文本序列，通过初始模型中编码器和图聚合模块对初始摸进行训练，将初始模型预训练成语言模型。在预训练语言模型的同时预训练了编码器和图聚合模块。不仅对编码器进行了语义相关的预训练，还对图聚合模块进行语义边关系的预训练，使语言模型中的图聚合模块为热启动，提高语言模型语义理解能力，且提升在下游任务中的性能。

图8是根据本申请实施例提供的一种目标任务场景下神经网络建模装置的结构框图。如图8所示，该目标任务场景下神经网络建模装置可以包括获取模块801和训练模块802。

具体地，获取模块801，用于获取目标任务场景的训练样本；

训练模块802，用于根据训练样本对神经网络进行训练，得到适用于目标任务的神经网络模型。

在本申请一些实施例中，训练样本可包括搜索词样本和搜索词样本的图结构信息；神经网络可包括图1所示实施例中的语言模型。

在本申请一些实施例中，训练样本可包括搜索词样本；神经网络可包括图1所示实施例中，语言模型之中的编码器。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本申请实施例的目标任务场景下神经网络建模装置，对经过预训练的神经网络继续进行建模、使用、训练，以得到适用于目标任务场景下的神经网络模型，从而获得与搜索词相关度较高的搜索结果或匹配用户感兴趣的广告文本。可根据实际业务需要选择显式图建模方法或隐式图建模方法，在下游任务的使用中更加灵活。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图9所示，是根据本申请实施例的用以实现语言模型的预训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。

存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的语言模型的预训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的语言模型的预训练方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的语言模型的预训练方法对应的程序指令/模块(例如，附图7所示的采样模块701、第一生成模块702、第二生成模块703、预测模块704和预训练模块705)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的语言模型的预训练方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储用以实现语言模型的预训练方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至用以实现语言模型的预训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用以实现语言模型的预训练方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与用以实现语言模型的预训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，即本申请还提出了一种计算机程序，该计算机程序在被处理器执行时，实现上述实施例所描述的语言模型的预训练方法，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种语言模型的预训练方法，包括：

根据搜索词、搜索结果和历史行为日志，构建语义图，并对所述语义图进行采样，生成第一文本序列；

对第一文本序列中的第一文本进行掩码处理，得到第二文本序列，并通过初始模型之中编码器对所述第二文本序列中第二文本进行编码，生成所述第二文本的第一语义表征；

将所述第一语义表征输入至所述初始模型之中图聚合模块，获得所述第二文本的第二语义表征；

对所述第二语义表征进行掩码预测，获得所述第二文本中掩盖词的预测值，并根据所述掩盖词的预测值和真实值，确定损失函数；

根据所述损失函数，对所述初始模型进行预训练，得到所述语言模型。

2.根据权利要求1所述的方法，其中，所述根据搜索词、搜索结果和历史行为日志，构建语义图，包括：

以所述搜索词、所述搜索结果为节点，并根据历史行为日志确定所述节点间的关系，将所述关系确定为所述节点间的边，以构建所述语义图。

3.根据权利要求1所述的方法，其中，所述将所述第一语义表征输入至所述初始模型之中图聚合模块，获得所述第二文本的第二语义表征，包括：

将所述第一语义表征输入至所述初始模型之中图聚合模块进行自注意力计算，得到所述第二文本的第二语义表征；其中，所述第二语义表征至少包含所述第二文本在所述第二文本序列中的图表征。

4.根据权利要求1所述的方法，其中，所述根据所述损失函数，对所述语言模型进行预训练，得到所述语言模型，包括：

根据所述损失函数进行反向传导更新所述编码器和所述图聚合模块的模型参数，得到所述语言模型。

5.一种目标任务场景下神经网络建模方法，包括：

获取所述目标任务场景的训练样本；

根据所述训练样本对所述神经网络进行训练，得到适用于所述目标任务的神经网络模型。

6.根据权利要求5所述的方法，其中，所述训练样本包括搜索词样本和所述搜索词样本的图结构信息；所述神经网络包括如权利要求1至4中任一项所述的语言模型。

7.根据权利要求5所述的方法，其中，所述训练样本包括搜索词样本；所述神经网络包括如权利要求1至4中任一项所述的语言模型之中的编码器。

8.一种语言模型的预训练装置，包括：

采样模块，用于根据搜索词、搜索结果和历史行为日志，构建语义图，并对所述语义图进行采样，生成第一文本序列；

第一生成模块，用于对第一文本序列中的第一文本进行掩码处理，得到第二文本序列，并通过初始模型之中编码器对所述第二文本序列中第二文本进行编码，生成所述第二文本的第一语义表征；

第二生成模块，用于将所述第一语义表征输入至所述初始模型之中图聚合模块，获得所述第二文本的第二语义表征；

预测模块，用于对所述第二语义表征进行掩码预测，获得所述第二文本中掩盖词的预测值，并根据所述掩盖词的预测值和真实值，确定损失函数；

预训练模块，用于根据所述损失函数，对所述初始模型进行预训练，得到所述语言模型。

9.根据权利要求8所述的装置，其中，所述采样模块具体用于：

以所述搜索词、所述搜索结果为节点，并根据历史行为日志确定所述节点间的关系，将所述关系确定为所述节点的边，以构建所述语义图。

10.根据权利要求8所述的装置，其中，所述第二生成模块具体用于：

将所述第一语义表征输入至所述初始模型之中图聚合模块进行自注意力计算，得到所述第二文本的第二语义表征；其中，所述第二语义表征至少包含所述第二文本在所述第二文本序列中的图表征。

11.根据权利要求8所述的装置，其中，所述预训练模块具体用于：

根据所述损失函数进行反向传导更新所述编码器和所述图聚合模块的模型参数，得到所述语言模型。

12.一种目标任务场景下神经网络建模装置，包括：

获取模块，用于获取所述目标任务场景的训练样本；

训练模块，用于根据所述训练样本对所述神经网络进行训练，得到适用于所述目标任务的神经网络模型。

13.根据权利要求12所述的装置，其中，所述训练样本包括搜索词样本和所述搜索词样本的图结构信息；所述神经网络包括如权利要求1至4中任一项所述的语言模型。

14.根据权利要求12所述的装置，其中，所述训练样本包括搜索词样本；所述神经网络包括如权利要求1至4中任一项所述的语言模型之中的编码器。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－4中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1－4中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1－4中任一项所述方法的步骤。

Images