CN117807181A - 文本处理方法、对象搜索方法及文本处理模型的训练方法 - Google Patents

Abstract

本说明书实施例提供文本处理方法、对象搜索方法及文本处理模型的训练方法，其中所述文本处理方法包括：获取初始查询文本和多个候选文本；将初始查询文本和多个候选文本输入文本处理模型，获得初始查询文本与各候选文本的相关度信息，其中，文本处理模型基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息、对预训练文本生成模型训练得到，生成信息与相关度信息正相关；基于各相关度信息，对多个候选文本进行排序。基于生成信息进行文本生成模型的训练，使得文本处理模型具有输出相关度信息的能力，提升了文本生成模型的泛化能力，基于相关度信息，获得文本处理结果，提升了利用文本生成模型执行文本处理任务的可行性。

Description

文本处理方法、对象搜索方法及文本处理模型的训练方法

技术领域

本说明书实施例涉及人工智能技术领域，特别涉及一种文本处理方法。

背景技术

随着深度学习技术的发展，文本生成模型在各个领域都具有广泛的应用。

目前，文本生成模型在多种针对自然语言的文本处理任务上表现出了良好的效果和泛化能力。例如，文本生成任务、文本排序任务、对象搜索任务、对象推荐任务、相似文本检测和检索增强等。

然而，在文本处理任务上，由于文本生成模型一般输出文本格式的自然语言文本，而文本处理任务往往依赖于查询文本和候选文本之间的相关度信息数字来实现，直接利用文本生成模型，无法直接输出查询文本和多个候选文本之间的相关度信息，导致文本生成模型的泛化能力不足，进而利用文本生成模型执行文本处理任务的可行性不足，因此，亟需一种高可行性的文本处理方法。

发明内容

有鉴于此，本说明书实施例提供了一种文本处理方法。本说明书一个或者多个实施例同时涉及一种对象搜索方法，一种文本处理模型的训练方法，一种文本处理装置，一种对象搜索装置，一种文本处理模型的训练装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

本说明书一实施例提供了一种文本处理方法，包括：

获取初始查询文本和多个候选文本；

将初始查询文本和多个候选文本输入文本处理模型，获得初始查询文本与各候选文本的相关度信息，其中，文本处理模型基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息、对预训练文本生成模型训练得到，生成信息与相关度信息正相关；

基于各相关度信息，对多个候选文本进行排序。

本说明书一个实施例中，获取初始查询文本和多个候选文本；将初始查询文本和多个候选文本输入文本处理模型，获得初始查询文本与各候选文本的相关度信息，其中，文本处理模型基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息、对预训练文本生成模型训练得到，生成信息与相关度信息正相关；基于各相关度信息，对多个候选文本进行排序。基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息这一明确的数字格式数据，来对预训练文本生成模型进行训练，得到文本处理模型，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力，在将初始查询文本和多个候选文本输入文本处理模型后，文本处理模型可以输出初始查询文本与各候选文本的相关度信息，进而基于各候选文本的相关度信息，获得针对初始查询文本的文本处理结果，提升了利用文本生成模型执行文本处理任务的可行性。

附图说明

图1是本说明书一个实施例提供的一种文本处理方法的流程图；

图2是本说明书一个实施例提供的一种文本处理方法中相关度信息计算方法示意图；

图3是本说明书一个实施例提供的一种文本处理方法中文本处理模型的二阶段训练流程示意图；

图4是本说明书一个实施例提供的一种对象搜索方法的流程图；

图5是本说明书一个实施例提供的一种文本处理模型的训练方法的流程图；

图6是本说明书一个实施例提供的一种应用于搜索引擎的文本处理方法的处理过程流程图；

图7是本说明书一个实施例提供的一种对象搜索装置的结构示意图；

图8是本说明书一个实施例提供的一种对象搜索装置的结构示意图；

图9是本说明书一个实施例提供的一种文本处理模型的训练装置的结构示意图；

图10是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

此外，需要说明的是，本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

本说明书一个或多个实施例中，大模型是指具有大规模参数的深度学习模型，通常包含上亿、上百亿、上千亿、上万亿甚至十万亿以上的参数。大模型又可以称为基石模型/基础模型(Foundation Model)，通过大规模无标注的语料进行大模型的预训练，产出亿级以上参数的预训练模型，这种模型能适应广泛的下游任务，模型具有较好的泛化能力，例如大规模语言模型(Large Language Model,LLM)、多模态预训练模型(multi-modal pre-training model)等。

大模型在实际应用时，仅需少量样本对预训练模型进行微调即可应用于不同的任务中，大模型可以广泛应用于自然语言处理(Natural Language Processing，简称NLP)、计算机视觉等领域，具体可以应用于如视觉问答(Visual Question Answering，简称VQA)、图像描述(Image Caption，简称IC)、图像生成等计算机视觉领域任务，以及基于文本的情感分类、文本摘要生成、机器翻译等自然语言处理领域任务，大模型主要的应用场景包括数字助理、智能机器人、搜索、在线教育、办公软件、电子商务、智能设计等。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

文本排序(TextRanking)：根据给定查询文本和候选文本几何，给出候选文本根据与查询文本之间的相关度信息排序的结果。

语义相关度(Semantic Similarity)：衡量两个文本语义上的接近程度，可基于预训练的文本生成模型实现。

对比学习(Contrastive Learning)：一种用于训练深度学习模型的策略，通过构建正样本和负样本来计算对比损失值，实现对模型的高效且准确的训练。

RNN模型(Recurrent Neural Network，循环神经网络模型)是一种专门设计用于处理序列数据(如语音、视频或文本)的深度学习架构。它的基本思想是利用隐藏状态h_t来捕获序列的长期依赖关系，其中h_t表示t时刻的隐藏状态，由上一时刻的状态h_(t-1)以及当前输入x_t共同决定。RNN在许多自然语言处理(NLP)任务中都取得了出色的效果。

LSTM模型(Long Short Term Memory，长短时记忆模型)：一种特殊的循环神经网络(RNN)，用于处理序列数据，特别是那些具有长期依赖性的序列数据。它包含三个门控单元：输入门、输出门和遗忘门，分别控制哪些信息应存储在单元状态中以及哪些信息应传递给下一个时间步。通过这种方式，LSTM能够有效地解决RNN中常见的梯度消失/爆炸问题，从而更好地捕捉长期依赖性。

VAE模型(Variational Auto Encoder，变分自编码器模型)：是一种深度学习模型架构，用于学习复杂高维数据的潜在表示，同时保留了输入数据的原始分布信息。它的基本思想是通过构建一个简单的潜变量模型来进行近似推断，然后使用反向传播算法来优化这个模型的参数。VAE通常包括一个编码器网络和一个解码器网络，分别用于将输入数据映射到潜在空间和将潜在空间中的点映射回观测数据空间。

Transformer(深度自注意力模型)：一种基于注意力机制(Attention)的深度学习架构，用于处理序列数据，如自然语言。

BERT：一种特殊的Transformer模型，使用双向Transformer编码器和大规模无标注文本数据进行训练的。BERT的出色表现使其成为许多NLP任务的标准基线。

大语言模型(Large Language Model)：在大规模语料库上训练的深度学习模型，用于自然语言处理任务。这些模型一般包含多层神经网络，其输入是一个文本序列，进行文本生成，输出是对该文本序列执行特定自然语言处理任务，生成的任务结果文本。预训练意味着在特定任务之前，模型已经被训练并预先学会处理大量的语言数据。通过预先训练模型，它们可以捕捉到更加复杂的语言和语义规则，从而在各种自然语言处理任务中表现出色，并减少对特定任务的大规模数据需求。

LogSumExp处理(LogSum处理)：是一种数学函数，用于求解多个正数之和的指数函数表达式。它是一种避免下溢出的技巧，当求和结果很大时，不会导致下溢出。它的计算公式如下：其中x_i是输入序列中第i个元素，n是序列长度。它的性质是在所有元素都大于零的情况下，其值不会超过最大元素的指数函数值。LogSumExp函数可以用于计算归一化层输出的归一化值，避免因数值过大而导致的下溢出问题，从而使计算更加稳定。

KL散度(Kullback-Leibler Divergence，信息散度或者相对熵)：是衡量两个概率分布之间的相似度的一种度量，它是通过计算期望的形式来计算的。它的计算公式如下： 其中，P(x)表示数据的真实分布，Q(x)表示数据的理论分布。

JS散度(Jensen-Shannon Divergence，简森-香农散度)：是另一种衡量两个概率分布之间的相似性的度量，它是KL散度的对称版本，它使得其中，M为P和Q的混合分布。

在本说明书中，提供了一种文本处理方法，本说明书同时涉及一种对象搜索方法，一种文本处理模型的训练方法，一种文本处理装置，一种对象搜索装置，一种文本处理模型的训练装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。

参见图1，图1示出了本说明书一个实施例提供的一种文本处理方法的流程图，包括如下具体步骤：

步骤102：获取初始查询文本和多个候选文本。

本说明书实施例应用于具有文本排序功能的应用、网站或者小程序，可以为该应用、网站或者小程序的客户端，也可以为该应用、网站或者小程序的服务端，在此不做限定。应用于文本处理任务场景，文本处理任务场景可以细化为文本生成任务场景、文本排序任务场景、文本检索任务场景、对象搜索任务场景、对象推荐任务场景、相似文本检测任务场景或者检索增强任务场景等。

查询文本为用于查询对应候选文本的自然语言文本。查询文本可以为词、短语、句子或是段落，在此不作限定。查询文本旨在提供关键文本(关键词、关键短语、关键句子或者关键段落)来查询具有相关度的文本。候选文本为查询文本对应的自然语言文本，候选文本可以为词、短语、句子或是段落，在此不作限定。查询文本和候选文本之间具有一定相关度。例如，在检索任务场景中，查询文本为关键词，候选文本为检索结果文本。又例如，在推荐任务场景中，查询文本为查询信息，候选文本为候选对象信息。还例如，在相似文本检测任务场景中，查询文本为待检测文本，候选文本为相似文本。

初始查询文本为用于文本排序的查询文本，候选文本为初始查询文本对应的自然语言文本，初始查询文本和候选文本之间具有一定相关度(语义相关度)，但不确定是否存在高相关度，需要在后续步骤104-106中基于相关度信息进一步确认。初始查询文本可以为用户直接输入的查询文本，初始查询文本也可以为基于用户输入的关键文本生成的，初始查询文本还可以为对用户输入的语音数据或者图像数据进行文本识别得到的，在此不作限定。候选文本可以为用户直接输入的，候选文本也可以为基于查询文本从文本数据库中查询得到的，在此不作限定。

示例性地，在某部署有大语言模型的调用接口的网页客户端上，用户输入初始查询文本“分布式系统是什么”，基于该初始查询文本，调用检索引擎，查询文本数据库，获得10篇候选文档：(候选文档1：“分布式系统是一种在不同地理位置、具有独立自治能力的计算机网络组成的系统……”；候选文档2：“分布式系统是多个处理机通过通信线路互联而构成的松散耦合的系统……”……)

获取初始查询文本和多个候选文本。为后续获得相关度信息，奠定了输入文本数据基础。

步骤104：将初始查询文本和多个候选文本输入文本处理模型，获得初始查询文本与各候选文本的相关度信息，其中，文本处理模型基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息、对预训练文本生成模型训练得到，生成信息与相关度信息正相关。

文本处理模型为可以输出文本之间相关度信息的深度学习模型，文本处理模型为针对文本生成模型进行预先训练得到的，通过预先训练，将文本生成模型的文本生成功能转换为了输出文本之间相关度信息的功能。预训练文本生成模型为经过预训练的文本生成模型，通过对文本生成模型的预训练，使得文本生成模型具有了基于输入的文本生成查询文本的功能。文本生成模型可以为CNN模型、LSTM模型、VAE模型、Transformer模型、BERT模型或者整合有多种模型的大语言模型，在此不作限定。

相关度信息为用于衡量查询文本和文本之间语义相关度的可量化信息，相关度信息越高，表征查询文本和文本之间的语义相关度越高，相关度信息越低，表征查询文本和文本之间的语义相关度越低。

样本查询文本为用于对预训练文本生成模型进行训练的查询文本。样本查询文本可以为词、短语、句子或是段落，在此不作限定。样本候选文本为用于对预训练文本生成模型进行训练的候选文本。样本候选文本可以为词、短语、句子或是段落，在此不作限定。样本查询文本和样本候选文本之间可以具有较低的相关度，例如，需要进行大规模样本的训练中的样本查询文本和样本候选文本。样本查询文本和样本候选文本之间也可以具有较高的相关度，例如，对比学习中的正样本对。样本查询文本和样本候选文本之间还可以不具有相关度，例如，对比学习中的负样本对。

生成对应的样本查询文本的生成信息为预训练文本生成模型基于样本候选文本进行预测，得到的预测查询文本为样本查询文本的生成信息，其中，在训练过程中可以真实生成了预测查询文本后，再与样本查询文本进行比较确定生成信息，还可以为基于预训练文本生成模型进行文本生成，输出的预测查询文本中各词语(词元，Token)的置信度为生成信息。生成信息可以为以段落为粒度的生成概率，也可以为以句子为粒度的生成概率，还可以为以短语为粒度的生成概率，还可以为以词语为粒度的生成概率，还可以为以字为粒度的生成概率。本说明书实施例中，为了方便表述，以词语为粒度的生成概率进行说明。例如，样本查询文本为“分布式/系统/是/什么”，预测查询文本“分布式/架构/是/什么”，一种生成概率可以为通过统计两者，确定两者的生成概率为75％，还有一种生成概率可以为预训练文本生成模型输出的置信度为：(分布式-77％、去中心化-23％)，(架构-43％、系统-41％、网络-16％)，(是-88％、为-12％)，(什么-97％)，针对各个词语，各个词语的生成概率分别为：77％、41％、88％、97％。生成概率与相关度信息正相关，相关度信息为基于生成概率确定的，可以为直接确定生成概率为相关度信息，也可以为对生成概率进行统计，获得相关度信息。例如，样本查询文本为“分布式/系统/是/什么”，预测查询文本“分布式/架构/是/什么”，一种生成概率可以为通过统计两者，确定两者的生成概率为75％，确定该生成概率为相关度信息。又例如，各个词语对应的置信度分别为：77％、41％、88％、97％，对各个词语对应的置信度进行平均计算，确定生成概率为78.75％，基于生成概率，确定相关度信息，还例如，各个词语对应的置信度分别为：77％、41％、88％、97％，基于各个词语对应的置信度，进行信息熵计算(计算公式为：H(X)＝-∑p(x)log p(x))，获得相关度信息：-0.77log(0.77)-0.41log(0.41)-0.88log(0.88)-0.97log(0.97)＝3.6068。

需要说明的是，基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息、对预训练文本生成模型训练得到。可以为基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息，确定损失值，基于损失值，对预训练文本生成模型自监督训练得到。也可以为以生成信息为目标函数(例如，最大化生成信息)，对预训练文本生成模型无监督训练得到，在此不做限定。

将初始查询文本和多个候选文本输入文本处理模型，获得初始查询文本与各候选文本的相关度信息，具体方式为：将初始查询文本和多个候选文本输入文本处理模型，获得生成对应的初始查询文本的生成信息，基于生成初始查询文本的生成信息，确定初始查询文本和多个候选文本的相关度信息。其中，生成对应的初始查询文本的生成信息为文本处理模型基于候选文本进行预测，得到的预测查询文本为初始查询文本的概率，其中，生成信息为文本处理模型输出的。基于生成初始查询文本的生成信息，确定初始查询文本和多个候选文本的相关度信息，参见上述说明，在此不再赘述。图2示出了一种可选实施例，图2示出了本说明书一个实施例提供的一种文本处理方法中相关度信息计算方法示意图，如图2所示：

将候选文本和初始查询文本输入文本处理模型，编码得到文本编码向量(词语编码向量_1、词语编码向量_2、词语编码向量_3、词语编码向量_4……词语编码向量_n)，解码得到词语解码向量(词语解码向量_1、词语解码向量_2、词语解码向量_3、词语解码向量_4……词语解码向量_n)，基于各词语解码向量，确定生成初始查询文本的生成信息(生成初始查询词语1的生成信息……生成初始查询词语n的生成信息)，对生成初始查询文本的生成信息进行统计处理，得到初始查询文本与候选文本的相关度信息。

示例性地，通过大语言模型的调用接口，将初始查询文本“分布式系统是什么”和10篇候选文档(候选文档1：“分布式系统是一种在不同地理位置、具有独立自治能力的计算机网络组成的系统……”；候选文档2：“分布式系统是多个处理机通过通信线路互联而构成的松散耦合的系统……”……)输入经过训练的大语言模型，获得生成对应的初始查询文本的生成概率p(q|d_i)，i∈[1,10]，其中，q为初始查询文本，d_i为第i篇候选文档。对生成初始查询文本的生成概率p(qId_i)进行统计，获得初始查询文本和多个候选文档的相关度信息Ranking Score：(候选文档1：Ranking Score_1；候选文档2：Ranking Score_2……)。

将初始查询文本和多个候选文本输入文本处理模型，获得初始查询文本与各候选文本的相关度信息，其中，文本处理模型基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息、对预训练文本生成模型训练得到，生成信息与相关度信息正相关。基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息这一明确的数字格式数据，来对预训练文本生成模型进行训练，得到文本处理模型，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力，在将初始查询文本和多个候选文本输入文本处理模型后，文本处理模型可以输出初始查询文本与各候选文本的相关度信息，为后续实现文本排序奠定了数据基础。

步骤106：基于各候选文本的相关度信息，获得针对初始查询文本的文本处理结果。

在文本排序任务场景中，基于各候选文本的相关度信息，获得针对初始查询文本的文本处理结果，具体为：基于各相关度信息，对多个候选文本进行排序。一般为基于各相关度信息，从高到低，对多个候选文本进行排序，也可以为基于各相关度信息，从低到高对多个候选文本进行排序，具体根据任务场景确定，在此不做限定。

可选地，在对多个候选文本进行排序之后，还包括如下具体步骤：

基于排序结果，确定预设数目的候选文本为目标文本。

对于推荐任务场景，可以选择列举的形式，将排序结果直接展示给前端用户，也可以选择预设数目的目标文本展示给前端用户，在此不作限定。还可以在后续将目标文本作为知识素材，和初始查询文本输入文本处理模型，进一步对目标文本进行下游处理，例如，将初始查询文本和目标文本输入文本处理模型，对目标文本进行改写。又例如，将初始查询文本和目标文本输入文本处理模型，对目标文本进行关键文本提取。还例如，将初始查询文本和目标文本输入文本处理模型，对目标文本进行摘要生成。

在对象搜索任务场景中，基于各候选文本的相关度信息，获得针对初始查询文本的文本处理结果，具体为：基于各候选搜索对象信息的相关度信息，确定目标搜索对象信息。

在对象推荐任务场景中，基于各候选文本的相关度信息，获得针对初始查询文本的文本处理结果，具体为：基于各相关度信息，对多个候选对象信息进行排序，基于排序结果，确定预设数目的候选对象信息为目标对象信息，推荐目标对象信息对应的目标对象。

在相似文本检测场景中，基于各候选文本的相关度信息，获得针对初始查询文本的文本处理结果，具体为：基于各相关度信息，确定是否存在待检测文本的目标相似文本。

示例性地，基于相关度信息Ranking Score：(候选文档1：Ranking Score_1；候选文档2：Ranking Score_2……)，对10篇候选文档(候选文档1：“分布式系统是一种在不同地理位置、具有独立自治能力的计算机网络组成的系统……”；候选文档2：“分布式系统是多个处理机通过通信线路互联而构成的松散耦合的系统……”……)进行排序，基于排序结果，确定1篇候选文档为目标文档：“分布式系统是一种在不同地理位置、具有独立自治能力的计算机网络组成的系统……”，将该目标文档反馈至应用客户端，在应用客户端上进行渲染。

本说明书实施例中，获取初始查询文本和多个候选文本；将初始查询文本和多个候选文本输入文本处理模型，获得初始查询文本与各候选文本的相关度信息，其中，文本处理模型基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息、对预训练文本生成模型训练得到，生成信息与相关度信息正相关；基于各相关度信息，对多个候选文本进行排序。基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息这一明确的数字格式数据，来对预训练文本生成模型进行训练，得到文本处理模型，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力，在将初始查询文本和多个候选文本输入文本处理模型后，文本处理模型可以输出初始查询文本与各候选文本的相关度信息，进而基于各候选文本的相关度信息，获得针对初始查询文本的文本处理结果，提升了利用文本生成模型执行文本处理任务的可行性。

在本说明书一种可选实施例中，在步骤104之前，还包括如下具体步骤：

获取第一样本集和预训练文本生成模型，其中，第一样本集包括多个训练样本对，训练样本对包括第一样本查询文本和第一样本候选文本；

将第一样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的生成信息；

基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，获得文本处理模型。

本说明书实施例为对预训练文本生成模型进一步模型训练的阶段，旨在通过训练，使得只能进行文本生成的文本生成模型，具有输出明确的数字格式数据的能力，为后续的文本排序提供模型支持。

第一样本集为用于对预训练文本生成模型进行训练的样本数据集合，包括多个训练样本对，任一训练样本对包括第一样本查询文本和第一样本候选文本。第一样本集可以为从样本候选文本数据库中获取得到的，例如，开源样本候选文本数据库，也可以为人为构建得到的，例如，利用文本生成模型生成得到的，还可以为从历史数据库中获取得到，例如，从历史数据库中获取到历史查询文本和历史文本，构建得到第一样本集，在此不作限定。

第一样本查询文本为训练样本对中用于对预训练文本生成模型进行训练的查询文本。第一样本查询文本可以为词、短语、句子或是段落，在此不作限定。第一样本候选文本为训练样本对中用于对预训练文本生成模型进行训练的文本。第一样本候选文本可以为词、短语、句子或是段落，在此不做限定。第一样本查询文本和第一样本候选文本之间可以具有较低的相关度，例如，需要进行大规模样本的训练中的样本查询文本和样本候选文本。第一样本查询文本和第一样本候选文本之间也可以具有较高的相关度，例如，对比学习中的正样本对。第一样本查询文本和第一样本候选文本之间还可以不具有相关度，例如，对比学习中的负样本对。

生成对应的第一样本查询文本的生成信息为预训练文本生成模型基于第一样本候选文本进行预测，得到的第一预测查询文本为第一样本查询文本的生成信息，具体为基于预训练文本生成模型进行文本生成，输出的第一预测查询文本中各词语(词元，Token)的置信度为生成信息。例如，预训练文本生成模型为Transformer模型，进行解码得到文本解码向量，包括多个词元的词语解码向量，基于各词语解码向量，获得预测查询文本中各词语的置信度，确定各词语的置信度为生成对应的第一样本查询文本的生成信息。从这一角度考量，生成对应的第一样本查询文本的生成信息可以理解为整合各个词语的置信度，即为在第一样本查询文本被给定情况下，通过第一样本候选文本还原第一样本查询文本的概率，生成信息为一种条件概率，用p(q_k|d)，表示第一样本查询文本中第k个词语通过第一样本候选文本d还原的概率。

将第一样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的生成信息，具体方式为：将第一样本候选文本输入预训练文本生成模型进行文本生成，获得文本解码向量，基于文本解码向量中各词语解码向量，确定各词语的置信度，基于各词语的置信度，确定生成第一样本查询文本的生成信息。

基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，可以为基于第一样本查询文本的生成信息，确定损失值，基于损失值，对预训练文本生成模型自监督训练。也可以为以生成信息为目标函数(例如，最大化生成信息)，对预训练文本生成模型无监督训练，在此不做限定。

在本说明书一种可选实施例中，基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，获得文本处理模型，包括如下具体步骤：

基于第一样本查询文本的生成信息，确定损失值；

基于损失值，对预训练文本生成模型进行训练，获得文本处理模型。

损失值为用于衡量预训练文本生成模型基于样本候选文本输出生成信息的准确度的损失值，包括不同维度和不同考量下的损失值，包括但不限于：生成损失、散度损失值和/或对比损失值(样本候选文本内包括正负样本的情况下)。其中，生成损失针对于预训练文本生成模型的文本生成能力，散度损失值用于约束对预训练文本生成模型的训练不与原模型发生较大偏移，对比损失值用于提升模型训练的效率和效果。

基于损失值，对预训练文本生成模型进行训练，获得文本处理模型，具体方式为：基于损失值，通过梯度更新法，对预训练文本生成模型进行迭代训练，获得文本处理模型。

示例性地，通过开源样本候选文本数据库获取第一样本集，获取经过预训练的大语言模型，其中，第一样本集包括10000个训练样本对，任一训练样本对包括第一样本查询文本q_i和第一样本候选文本d_i，其中，i∈[1,10000]。将第一样本候选文本输入大语言模型进行文本生成，获得文本解码向量，基于文本解码向量中各词语解码向量，确定各词语的置信度p(q_ik|d)，对各词语的置信度进行统计处理，确定生成第一样本查询文本的生成概率p(q_i|d_i)。基于第一样本查询文本的生成概率p(q_i|d_i)，确定损失值Loss，基于损失值，通过梯度更新法，对大语言模型进行迭代训练，获得经过训练的大语言模型，此时大语言模型具有输出明确的数字格式数据的能力。

获取第一样本集和预训练文本生成模型，其中，第一样本集包括多个训练样本对，训练样本对包括第一样本查询文本和第一样本候选文本；将第一样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的生成信息；基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，获得文本处理模型。基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息这一明确的数字格式数据，基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，得到文本处理模型，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力。

在本说明书一种可选实施例中，将第一样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的生成信息，包括如下具体步骤：

将第一样本候选文本输入预训练文本生成模型，生成第一预测查询文本；

基于第一样本查询文本，确定第一预测查询文本中各词语的置信度；

基于各词语的置信度，确定生成第一样本查询文本的生成信息。

第一预测查询文本为预训练文本生成模型基于第一样本候选文本生成的对应的查询文本。在本说明书实施例中，预测查询文本并未真实生成，而是输出了预测查询文本中各词语的置信度。

基于第一样本查询文本，确定第一预测查询文本中各词语的置信度，具体方式为：比对第一样本查询文本，确定第一预测查询文本中与第一样本查询文本对应的各词语的置信度。例如，预训练文本生成模型输出第一预测查询文本的置信度为：(分布式-77％、去中心化-23％)，(架构-43％、系统-41％、网络-16％)，(是-88％、为-12％)，(什么-97％)，基于第一样本查询文本“分布式/系统/是/什么”，确定第一预测查询文本中与第一样本查询文本对应的各词语的置信度分别为：77％、41％、88％、97％。

基于各词语的置信度，确定生成第一样本查询文本的生成信息，具体方式为：对各词语的置信度进行统计处理，确定生成第一样本查询文本的生成信息。其中，统计处理包括：算术平均、加权平均、LogSum处理等。

示例性地，将第一样本候选文本d_i输入大语言模型，生成第一预测查询文本d_i’，基于第一样本查询文本q_i，确定第一预测查询文本中各词语的置信度p(q_ik|d)，对各词语的置信度进行LogSum处理，确定生成第一样本查询文本的生成概率p(q_i|d_i)。

将第一样本候选文本输入预训练文本生成模型，生成第一预测查询文本；基于第一样本查询文本，确定第一预测查询文本中各词语的置信度；基于各词语的置信度，确定生成第一样本查询文本的生成信息。利用文本生成模型进行文本生成过程中，输出了置信度这一明确的数字格式的输出，确定生成信息，利用了特定数字格式的输出数据，完成了对文本生成模型的训练，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力。

在本说明书一种可选实施例中，第一样本候选文本包括与第一样本查询文本正相关的第一正样本候选文本，以及与第一样本查询文本负相关的第一负样本候选文本；

对应地，将第一样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的生成信息，包括如下具体步骤：

将第一正样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的正生成信息，并将第一负样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的负生成信息；

对应地，基于第一样本查询文本的生成信息，确定损失值，包括如下具体步骤：

基于第一样本查询文本的正生成信息和负生成信息，确定对比损失值；

基于对比损失值，确定损失值。

本说明书实施例中为对预训练文本生成模型进一步模型训练的阶段，旨在通过对比学习的方式，使得训练得到的文本处理模型，可以有效区分与文本高相关度的问题文本和低相关度的问题文本的生成信息，例如，两个查询文本的字面相同，实际语义存在不同的查询文本，例如，“你是否想起来了？”，这句话存在两个语义：你是否想起某件事情，以及，你是否想起床。文本处理模型容易混淆，对低相关度的问题文本和文本，输出高相关度信息，或者对高相关度的问题文本和文本，输出低相关度信息。

第一正样本候选文本为训练样本对中与第一样本查询文本正相关的第一样本候选文本，第一负样本候选文本为训练样本对中与第一样本查询文本正相关的第一样本候选文本。第一正样本候选文本和第一样本查询文本之间的相关度，高于第一负样本候选文本和第一样本查询文本之间的相关度。

正生成信息为预训练文本生成模型基于第一正样本候选文本进行预测，得到的第一预测查询文本为第一样本查询文本的概率，负生成信息为预训练文本生成模型基于第一负样本候选文本进行预测，得到的第一预测查询文本为第一样本查询文本的概率。两者具体都是基于预训练文本生成模型进行文本生成，输出的第一预测查询文本中各词语(词元，Token)的置信度为生成信息。

对比损失值为对比学习中通过计算正生成信息和负生成信息得到的损失值，用于衡量预训练文本生成模型在输入第一负样本候选文本的情况下输出生成信息的准确度的损失值，衡量预训练文本生成模型对相关样本候选文本(第一正样本候选文本)和不相关样本候选文本(第一负样本候选文本)区分的能力。基于对比损失值对预训练文本生成模型进行训练，可以使得模型强化相关的查询文本和文本的同时，强化区分出不相关的查询文本和文本，提升了模型训练的效率和效果。本说明书实施例中，对比损失值的计算公式如公式1所示：

其中，q为第一样本查询文本，d+为第一正样本候选文本，为第一负样本候选文本，m为第一负样本候选文本的数量，s⁺为正生成信息，/>为负生成信息，l为第一样本查询文本的词语数量。生成信息被定义为第一样本查询文本被第一样本候选文本(第一正样本候选文本或者第一负样本候选文本)生成的概率，取对数后除以第一样本查询文本的词语数量。

将第一正样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的正生成信息，并将第一负样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的负生成信息，具体方式参见上述说明书实施例，在此不再赘述。

在损失值只包括对比损失值的情况下，损失值即为对比损失值，在损失值还包括其他损失值的情况下，损失值是通过对包括对比损失值在内的多种损失值融合得到的，融合包括但不限于：直接相加和加权处理。

示例性地，第一样本集包括10000个训练样本对，任一训练样本对包括第一样本查询文本q_i、第一样本候选文本d⁺和m个第一负样本候选文本将第一正样本候选文本输入大语言模型进行文本生成，获得文本解码向量，基于文本解码向量中各词语解码向量，确定各词语的置信度p(q_ik|d⁺)，对各词语的置信度进行统计处理，确定生成第一正样本查询文本的正生成概率p(qi|d⁺)。将m个第一负样本候选文本输入大语言模型进行文本生成，获得文本解码向量，基于文本解码向量中各词语解码向量，确定各词语的置信度 对各词语的置信度进行统计处理，确定生成第一样本查询文本的负生成概率/> 基于第一样本查询文本的正生成概率和负生成概率，通过公式1，计算得到对比损失值ConLoss，基于对比损失值ConLoss，确定损失值Loss。

将第一正样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的正生成信息，并将第一负样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的负生成信息；基于第一样本查询文本的正生成信息和负生成信息，确定对比损失值；基于对比损失值，确定损失值。通过对比学习的方式，完成对预训练文本生成模型的训练，提高了训练得到的文本处理模型生成高相关度的查询文本的概率，降低了查询文本被低相关度的文本生成的概率，有效区分与文本高相关度的问题文本和低相关度的问题文本的生成信息，提升了模型训练的效率和效果。

在本说明书一种可选实施例中，基于对比损失值，确定损失值，包括如下具体步骤：

基于第一样本查询文本的正生成信息，确定生成损失值；

基于对比损失值和生成损失值，确定损失值。

在对预训练文本生成模型进行训练的过程中，对参数进行了调整，不可避免会影响原有的生成能力，因而，在训练过程中需要通过生成损失，确认模型没有丢失原有的文本生成能力。

生成损失值为用于衡量预训练文本生成模型基于样本候选文本生成预测查询文本的准确度的损失值，用于衡量文本生成模型的文本生成能力。

基于第一样本查询文本的正生成信息，确定生成损失值，具体方式为：基于第一样本查询文本中各词语的正生成信息，确定生成损失值。本说明书实施例中，生成损失值的计算公式如公式2所示：

其中，q为第一样本查询文本，d+为第一正样本候选文本，p(q_i|d，q_<i)为基于第一样本查询文本前i个词语确定的第i个词语的正生成信息，p(w_i|d_<i)基于第一正样本候选文本前i个词语确定的第i个词语的正生成信息，l为第一样本查询文本中词语数量，l′为第一正样本候选文本中词语数量。

基于对比损失值和生成损失值，确定损失值，具体方式为：基于对比损失值和生成损失值，融合得到损失值。融合包括但不限于：直接相加和加权处理。

示例性地，基于第一样本查询文本q_i中t个词语的正生成概率通过公式2，确定生成损失值GenLoss，对对比损失值ConLoss和生成损失值GenLoss直接相加，得到损失值Loss。

基于第一样本查询文本的正生成信息，确定生成损失值；基于对比损失值和生成损失值，确定损失值。保证了预训练文本生成模型在模型训练过程中，没有丢失原有的文本生成能力，提升了模型训练的效果。

在本说明书一种可选实施例中，基于对比损失值和生成损失值，确定损失值，包括如下具体步骤：

基于预训练文本生成模型的参数和训练过程中的当前参数，计算散度损失值；

基于对比损失值、生成损失值和散度损失值，确定损失值。

在对预训练文本生成模型进行训练的过程中，对参数进行了调整，不仅不可避免会影响原有的生成能力，还会影响模型输出生成信息的准确度，因而，在训练过程中需要通过生成损失，确认模型没有丢失原有的输出生成信息的能力。

散度损失值为用于衡量预训练文本生成模型输出生成信息的准确度的损失值，用于衡量文本生成模型的文本生成能力，包括但不限于：KL散度损失值和JS散度损失值。

在本说明书实施例中，基于预训练文本生成模型的参数和训练过程中的当前参数，计算散度损失值，具体的计算公式如公式3所示：

其中，π_pretrained为预训练文本生成模型的参数，π_tuning预训练文本生成模型在训练过程中的当前参数，p_pretrained为预训练文本生成模型输出的预测查询文本的概率分布，p_tuning为经过参数调整的预训练文本生成模型输出的预测查询文本的概率分布，m+1为第一样本候选文本的数量，l为第一样本查询文本的词语数量，k为第一预测查询文本中第k个词语。

基于对比损失值、生成损失值和散度损失值，确定损失值，具体方式为：基于对比损失值、生成损失值和散度损失值，融合得到损失值。融合包括但不限于：直接相加和加权处理。

示例性地，基于预训练文本生成模型的参数π_pretrained和训练过程中的当前参数π_tuning，通过公式3，计算KL散度损失值KLLoss，对对比损失值ConLoss、生成损失值GenLoss和KL散度损失值KLLoss直接相加，得到损失值Loss。

基于预训练文本生成模型的参数和训练过程中的当前参数，计算散度损失值；基于对比损失值、生成损失值和散度损失值，确定损失值。保证了预训练文本生成模型在模型训练过程中，使得训练后的文本处理模型在输出生成信息能力与原始的预训练文本生成模型尽可能保持一致，提升了模型训练的效果。

在本说明书一种可选实施例中，预训练文本生成模型包括文本生成单元和除文本生成单元外的生成信息单元；

基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，获得文本处理模型，包括如下具体步骤：

在冻结文本生成单元的参数的情况下，基于第一样本查询文本的生成信息，调整预训练文本生成模型中生成信息单元的参数。

在对预训练模型进行训练的过程中，为了减少参与训练的模型参数的参数量，让预训练文本生成模型保持原有的生成能力，对具有文本生成功能的文本生成单元进行冻结。

文本生成单元为具有文本生成功能的模型单元，包括但不限于：嵌入层、编码层和解码层。

生成信息单元为输出生成查询文本的生成信息的模型单元，一般为预训练文本生成模型的最后n层，例如，用于输出归一化的置信度的归一化层(Softmax层)、用来压缩或者扩展最终输出的线性变换层(Linear层)。

在冻结文本生成单元的参数的情况下，基于第一样本查询文本的生成信息，调整预训练文本生成模型中生成信息单元的参数，具体方式为：在冻结文本生成单元的参数的情况下，基于损失值，通过梯度更新法，调整预训练文本生成模型中生成信息单元的参数。

示例性地，在冻结大语言模型的嵌入层、编码层和解码层的参数的情况下，基于损失值Loss，通过梯度更新法，迭代调整大语言模型中线性变换层和归一化层的参数。

在冻结文本生成单元的参数的情况下，基于第一样本查询文本的生成信息，调整预训练文本生成模型中生成信息单元的参数。保证了预训练文本生成模型在模型训练过程中，没有丢失原有的文本生成能力，提升了模型训练的效果。

在本说明书一种可选实施例中，在获取预训练文本生成模型之前，还包括如下具体步骤：

获取第二样本集和文本生成模型，其中，第二样本集包括多个预训练样本对，预训练样本对包括第二样本查询文本和第二样本候选文本；

将第二样本候选文本输入文本生成模型，生成第二样本候选文本的第二预测查询文本；

基于第二样本候选文本和第二预测查询文本，对文本生成模型进行训练，获得预训练文本生成模型。

在上述实施例中未限定预训练文本生成模型是直接获取的已有文本生成模型，还是进行预训练得到的，本说明书实施例限定了预训练文本生成模型是通过预训练得到的，因而，可以将文本处理模型的整个训练过程看作两个阶段：模型预训练阶段和模型训练阶段，其中，模型预训练阶段的目标为让基础的文本生成模型具有基于文本生成查询文本的文本生成能力，模型训练阶段的目标为让训练得到的文本处理模型具有输出与生成信息正相关的相关度信息的能力。

文本生成模型为具有文本生成功能的深度学习模型，未经过预训练的文本生成模型，在给定文本的情况下，不能生成针对性的查询文本。文本生成模型可以为CNN模型、LSTM模型、VAE模型、Transformer模型、BERT模型或者整合有多种模型的大语言模型，在此不作限定。

第二样本集为用于对文本生成模型进行预训练的样本数据集合，包括多个预训练样本对，任一预训练样本对包括第二样本查询文本和第二样本候选文本。第二样本集可以为从样本候选文本数据库中获取得到的，例如，开源样本候选文本数据库，也可以为人为构建得到的，例如，利用其他文本生成模型生成得到的，还可以为从历史数据库中获取得到，例如，从历史数据库中获取到历史查询文本和历史文本，构建得到第二样本集，在此不作限定。

第二样本查询文本为预训练样本对中用于对文本生成模型进行预训练的查询文本。第二样本查询文本可以为词、短语、句子或是段落，在此不作限定。第二样本候选文本为预训练样本对中用于对文本生成模型进行预训练的文本。第二样本候选文本可以为词、短语、句子或是段落，在此不做限定。第二样本查询文本和第二样本候选文本之间具有较高的相关度。

基于第二样本候选文本和第二预测查询文本，对文本生成模型进行训练，具体方式为；基于第二样本候选文本和第二预测查询文本，确定损失值，基于损失值，对文本生成模型进行训练。其中，损失值包括但不限于：生成损失值、交叉熵损失值、均方误差损失值和连接时序分类损失值。进一步地，基于损失值，对文本生成模型进行训练，获得预训练文本生成模型，具体方式为：基于损失值，通过梯度更新法，对文本生成模型进行迭代训练，获得预训练文本生成模型。

示例性地，通过模型库获得大语言模型，通过开源样本候选文本数据库获取第一样本集，其中，第二样本集包括1000000个预训练样本对，任一预训练样本对包括第二样本查询文本q和第二样本候选文本d。将第二样本候选文本输入大语言模型，生成第二样本候选文本的第二预测查询文本d’，基于第二样本候选文本和第二预测查询文本，通过公式2，确定生成损失值GenLoss，基于生成损失值，对大语言模型进行迭代训练，获得预训练的大语言模型。

获取第二样本集和文本生成模型，其中，第二样本集包括多个预训练样本对，预训练样本对包括第二样本查询文本和第二样本候选文本；将第二样本候选文本输入文本生成模型，生成第二样本候选文本的第二预测查询文本；基于第二样本候选文本和第二预测查询文本，对文本生成模型进行训练，获得预训练文本生成模型。为后续训练奠定了模型基础，同时，通过两个阶段的训练，逐步增强了文本处理模型的排序能力。

图3示出了本说明书一个实施例提供的一种文本处理方法中文本处理模型的二阶段训练流程示意图，如图3所示：

在模型预训练阶段，通过生成损失值，对文本生成模型进行预训练，获得预训练文本生成模型。在模型训练阶段，基于预训练文本生成模型和文本处理模型，确定对比损失值和生成损失值，基于预训练文本生成模型和文本处理模型，确定散度损失值，通过对比损失值、生成损失值和散度损失值，对预训练文本生成模型进行训练，获得文本处理模型。

参见图4，图4示出了本说明书一个实施例提供的一种对象搜索方法的流程图，该方法应用于云侧设备，包括如下具体步骤：

步骤402：接收前端发送的搜索请求，其中，搜索请求携带有初始查询信息。

步骤404：基于初始查询信息，查询搜索对象数据库，得到多个候选搜索对象信息。

步骤406：将初始查询信息和多个候选搜索对象信息输入文本处理模型，获得初始查询信息与各候选搜索对象信息的相关度信息，其中，文本处理模型基于样本搜索对象信息输入预训练文本生成模型生成对应的样本查询信息的生成信息对预训练文本生成模型进行训练得到，生成信息与相关度信息正相关。

步骤408：基于各候选搜索对象信息的相关度信息，确定目标搜索对象信息。

步骤410：向前端按序发送目标搜索对象信息。

本说明书实施例应用于具有对象搜索功能的应用、网站或者小程序的服务端所在的云侧设备，应用于对象搜索任务场景中。云侧设备为一种网络云设备，为一种虚拟设备，该云侧设备上部署具有对象搜索功能的目标语音模型。前端为用户登录的具有对象搜索功能的网页、应用程序或者小程序的客户端前端。云侧设备和前端通过网络传输信道连接，进行数据传输。云侧设备的算力性能和存储性能高于前端。

初始查询信息为用于查询搜索对象的查询信息，候选搜索对象信息为利用初始查询信息查询到的候选搜索对象的文本信息，初始查询信息和候选搜索对象信息之间具有一定相关度(语义相关度)，但不确定是否存在高相关度，在步骤404-406中基于相关度信息进一步确认。

相关度信息为用于衡量查询信息和搜索对象信息之间语义相关度的可量化信息，相关度信息越高，表征查询信息和搜索对象信息之间的语义相关度越高，相关度信息越低，表征查询信息和搜索对象信息之间的语义相关度越低。

本说明书实施例与上述图1说明书实施例出于同一发明构思，步骤406－步骤408的具体方式参见图1说明书实施例中步骤104-106的内容。

在本说明书一种可选实施例中，在步骤408之后，还包括如下具体步骤：

接收前端反馈的搜索反馈信息，其中，搜索反馈信息为前端针对目标搜索对象信息进行反馈的信息；

基于搜索反馈信息，对文本处理模型的参数进行调整。

搜索反馈信息为前端基于各候选搜索对象信息进行反馈的信息，例如，在电商平台上，前端基于各搜索商品信息点选“更换一批”控件，即确定各搜索商品信息与初始查询信息的相关度信息不准确，又例如，在电商平台上，前端基于各搜索商品信息，选择排序结果为最后一个的搜索商品，也可以确定各搜索商品信息与初始查询信息的相关度信息不准确。通过这样的反馈机制，调整文本处理模型的参数，提升了后续进行对象搜索的准确度，提升了用户体验。

示例性地，在某部署有大语言模型的调用接口的电商平台客户端前端上，用户输入初始查询信息“囤货买什么”，生成搜索请求，电商平台的云侧设备接收前端发送的搜索请求，基于该初始查询信息，调用检索引擎，查询商品信息数据库，获得20个候选商品的商品信息：(商品信息1：“温和护肤洗面奶”；商品信息2：“不脱妆粉底液”……)，将初始查询信息“囤货买什么”和10个商品信息(商品信息1：“温和护肤洗面奶”；商品信息2：“不脱妆粉底液”……)输入经过训练的大语言模型，获得生成对应的初始查询信息的生成信息p(q|d_i)，i∈[1,20]，其中，q为初始查询信息，d_i为第i个商品信息。对生成初始查询信息的生成信息p(q|d_i)进行统计，获得初始查询信息和20个候选商品的商品信息的相关度信息RankingScore：(商品信息1：Ranking Score_1；商品信息2：Ranking Score_2……)，基于相关度信息，确定9个目标商品信息，在电商平台的前端上用“九宫格”的样式渲染9个目标商品，云侧设备接收前端反馈的搜索反馈信息(换一批商品)，基于搜索反馈信息，对大语言模型的参数进行调整。

本说明书实施例中，基于将样本搜索对象信息输入预训练文本生成模型生成对应的样本查询信息的生成信息这一明确的数字格式数据，来对预训练文本生成模型进行训练，得到文本处理模型，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力，在将初始查询信息和多个候选搜索对象信息输入文本处理模型后，文本处理模型可以输出初始查询信息与各候选搜索对象信息的相关度信息，进而基于各相关度信息这一明确的数字格式输出，确定并发送确定目标搜索对象信息，提升了利用文本生成模型进行对象搜索的可行性，同时，对象搜索在高计算性能和高存储性能的云侧设备上实现，提升了对象搜索的效率和准确度。

参见图5，图5示出了本说明书一个实施例提供的一种文本处理模型的训练方法的流程图，该方法应用于云侧设备，包括如下具体步骤：

步骤502：获取第一样本集和预训练文本生成模型，其中，第一样本集包括多个训练样本对，训练样本对包括第一样本查询文本和第一样本候选文本；

步骤504：将第一样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的生成信息；

步骤506：基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，获得文本处理模型；

步骤508：将文本处理模型的参数反馈至端侧设备。

本说明书实施例应用于具有模型训练功能的网络云设备，为一种虚拟设备。端侧设备为用户登录的具有模型训练功能的网页、应用程序或者小程序的客户端所在终端，为一种实体设备。云侧设备和端侧设备通过网络传输信道连接，进行数据传输。云侧设备的算力性能和存储性能高于端侧设备。

本说明书实施例与上述图1说明书实施例出于同一发明构思，步骤502至步骤508的具体方式参见图1说明书实施例中文本排序模型预先训练实施例中的内容。

本说明书实施例中，基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息这一明确的数字格式数据，基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，得到文本处理模型，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力，同时，模型训练在高计算性能和高存储性能的云侧设备上实现，提升了模型训练的效率和准确度。

下述结合附图6，以本说明书提供的文本处理方法在搜索引擎的应用为例，对所述文本处理方法进行进一步说明。其中，图6示出了本说明书一个实施例提供的一种应用于搜索引擎的文本处理方法的处理过程流程图，包括如下具体步骤：

步骤602：获取预训练样本集和大语言模型，其中，预训练样本集包括多个预微调样本对，预微调样本对包括预训练样本查询文本和预训练样本候选文本；

步骤604：将预训练样本候选文本输入大语言模型，生成预训练样本候选文本的预测查询文本；

步骤606：基于预训练样本候选文本和预测查询文本，确定预训练损失值；

步骤608：基于预训练损失值，对大语言模型进行训练，获得预训练大语言模型；

步骤610：获取微调样本集，其中，微调样本集包括多个微调样本对，微调样本对包括微调样本查询文本、微调正样本候选文本和微调负样本候选文本；

步骤612：将微调正样本候选文本输入预训练大语言模型，生成正预测查询文本，基于微调样本查询文本，确定正预测查询文本中各词语的置信度，基于各词语的置信度，确定生成微调样本查询文本的正生成概率；

步骤614：将微调负样本候选文本输入预训练大语言模型，生成负预测查询文本，基于微调样本查询文本，确定负预测查询文本中各词语的置信度，基于各词语的置信度，确定生成微调样本查询文本的负生成概率；

步骤616：基于微调样本查询文本的正生成概率和负生成概率，确定对比损失值；

步骤618：基于微调样本查询文本的正生成概率，确定生成损失值；

步骤620：基于预训练大语言模型的参数和微调过程中的当前参数，计算散度损失值；

步骤622：基于对比损失值、生成损失值和散度损失值，确定微调损失值；

步骤624：在冻结预训练大语言模型的文本生成单元的参数的情况下，基于微调损失值，调整预训练大语言模型的生成概率单元的参数，获得目标大语言模型；

步骤626：获取用户的搜索请求，其中，搜索请求携带有搜索关键字；

步骤628：基于搜索关键字，调用搜索引擎，查询数据库，得到多个候选搜索结果；

步骤630：将搜索关键字和多个候选搜索结果输入目标大语言模型，获得搜索关键字与各候选搜索结果的相关度信息；

步骤632：基于各相关度信息，确定目标搜索对象信息，并向前端按序发送目标搜索对象信息。

本说明书实施例中，基于将样本候选文本输入预训练大语言模型生成对应的样本查询文本的生成概率这一明确的数字格式数据，来对预训练大语言模型进行训练，得到目标大语言模型，使得目标大语言模型具有输出与生成概率正相关的相关度信息的能力，提升了大语言模型的泛化能力，并且，通过对比学习的方式，提升了模型的训练效果，另外，保留生成损失值，增加KL散度损失值，固定部分大语言模型参数等手段保证了模型的生成能力不受损失。在将搜索关键字和多个候选搜索结果输入目标大语言模型后，目标大语言模型可以输出搜索关键字与各候选搜索结果的相关度信息，进而基于各相关度信息这一明确的数字格式输出，确定目标搜索对象信息，并向前端按序发送目标搜索对象信息，提升了利用大语言模型进行搜索的可行性。

与上述方法实施例相对应，本说明书还提供了文本处理装置实施例，图7示出了本说明书一个实施例提供的一种文本处理装置的结构示意图。如图7所示，该装置包括：

第一获取模块702，被配置为获取初始查询文本和多个候选文本；

第一相关度信息模块704，被配置为将初始查询文本和多个候选文本输入文本处理模型，获得初始查询文本与各候选文本的相关度信息，其中，文本处理模型基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息、对预训练文本生成模型训练得到，生成信息与相关度信息正相关；

第一处理模块706，被配置为基于各候选文本的相关度信息，获得针对初始查询文本的文本处理结果。

可选地，该装置还包括：

模型训练模块，被配置为获取第一样本集和预训练文本生成模型，其中，第一样本集包括多个训练样本对，训练样本对包括第一样本查询文本和第一样本候选文本；将第一样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的生成信息；基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，获得文本处理模型。

可选地，模型训练模块被进一步配置为：

将第一样本候选文本输入预训练文本生成模型，生成第一预测查询文本；基于第一样本查询文本，确定第一预测查询文本中各词语的置信度；基于各词语的置信度，确定生成第一样本查询文本的生成信息。

可选地，模型训练模块被进一步配置为：

基于第一样本查询文本的生成信息，确定损失值；基于损失值，对预训练文本生成模型进行训练，获得文本处理模型。

可选地，第一样本候选文本包括与第一样本查询文本正相关的第一正样本候选文本，以及与第一样本查询文本负相关的第一负样本候选文本；

对应地，模型训练模块被进一步配置为：

将第一正样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的正生成信息，并将第一负样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的负生成信息；基于第一样本查询文本的正生成信息和负生成信息，确定对比损失值；基于对比损失值，确定损失值。

可选地，模型训练模块被进一步配置为：

基于第一样本查询文本的正生成信息，确定生成损失值；基于对比损失值和生成损失值，确定损失值。

可选地，模型训练模块被进一步配置为：

基于预训练文本生成模型的参数和训练过程中的当前参数，计算散度损失值；基于对比损失值、生成损失值和散度损失值，确定损失值。

可选地，预训练文本生成模型包括文本生成单元和除文本生成单元外的生成信息单元；

对应地，模型训练模块被进一步配置为：

在冻结文本生成单元的参数的情况下，基于损失值，调整预训练文本生成模型中生成信息单元的参数。

可选地，该装置还包括：

模型预训练模块，被配置为获取第二样本集和文本生成模型，其中，第二样本集包括多个预训练样本对，预训练样本对包括第二样本查询文本和第二样本候选文本；将第二样本候选文本输入文本生成模型，生成第二样本候选文本的第二预测查询文本；基于第二样本候选文本和第二预测查询文本，对文本生成模型进行训练，获得预训练文本生成模型。

本说明书实施例中，基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息这一明确的数字格式数据，来对预训练文本生成模型进行训练，得到文本处理模型，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力，在将初始查询文本和多个候选文本输入文本处理模型后，文本处理模型可以输出初始查询文本与各候选文本的相关度信息，进而基于各候选文本的相关度信息，获得针对初始查询文本的文本处理结果，提升了利用文本生成模型执行文本处理任务的可行性。

上述为本实施例的一种文本处理装置的示意性方案。需要说明的是，该文本处理装置的技术方案与上述的文本处理方法的技术方案属于同一构思，文本处理装置的技术方案未详细描述的细节内容，均可以参见上述文本处理方法的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了对象搜索装置实施例，图8示出了本说明书一个实施例提供的一种对象搜索装置的结构示意图。如图8所示，该装置应用于云侧设备，包括：

接收模块802，被配置为接收前端发送的搜索请求，其中，搜索请求携带有初始查询信息；

查询模块804，被配置为基于初始查询信息，查询搜索对象数据库，得到多个候选搜索对象信息；

第二相关度信息模块806，被配置为将初始查询信息和多个候选搜索对象信息输入文本处理模型，获得初始查询信息与各候选搜索对象信息的相关度信息，其中，文本处理模型基于样本搜索对象信息输入预训练文本生成模型生成对应的样本查询信息的生成信息对预训练文本生成模型进行训练得到，生成信息与相关度信息正相关；

确定模块808，被配置为基于各候选搜索对象信息的相关度信息，确定目标搜索对象信息；

发送模块810，被配置为向前端按序发送目标搜索对象信息。

可选地，该装置还包括：

反馈调整模块，被配置为接收前端反馈的搜索反馈信息，其中，搜索反馈信息为前端针对目标搜索对象信息进行反馈的信息；基于搜索反馈信息，对文本处理模型的参数进行调整。

本说明书实施例中，基于将样本搜索对象信息输入预训练文本生成模型生成对应的样本查询信息的生成信息这一明确的数字格式数据，来对预训练文本生成模型进行训练，得到文本处理模型，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力，在将初始查询信息和多个候选搜索对象信息输入文本处理模型后，文本处理模型可以输出初始查询信息与各候选搜索对象信息的相关度信息，进而基于各相关度信息这一明确的数字格式输出，确定并发送确定目标搜索对象信息，提升了利用文本生成模型进行对象搜索的可行性，同时，对象搜索在高计算性能和高存储性能的云侧设备上实现，提升了对象搜索的效率和准确度。

上述为本实施例的一种对象搜索装置的示意性方案。需要说明的是，该对象搜索装置的技术方案与上述的对象搜索方法的技术方案属于同一构思，对象搜索装置的技术方案未详细描述的细节内容，均可以参见上述对象搜索方法的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了文本处理模型的训练装置实施例，图9示出了本说明书一个实施例提供的一种文本处理模型的训练装置的结构示意图。如图9所示，该装置应用于云侧设备，包括：

第三获取模块902，被配置为获取第一样本集和预训练文本生成模型，其中，第一样本集包括多个训练样本对，训练样本对包括第一样本查询文本和第一样本候选文本；

生成信息模块904，被配置为将第一样本候选文本输入预训练文本生成模型，获得生成第一样本查询文本的生成信息；

训练模块906，被配置为基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，获得文本处理模型；

反馈模块908，被配置为将文本处理模型的参数反馈至端侧设备。

本说明书实施例中，基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息这一明确的数字格式数据，基于第一样本查询文本的生成信息，对预训练文本生成模型进行训练，得到文本处理模型，使得文本处理模型具有输出与生成信息正相关的相关度信息的能力，提升了文本生成模型的泛化能力，同时，模型训练在高计算性能和高存储性能的云侧设备上实现，提升了模型训练的效率和准确度。

上述为本实施例的一种文本处理模型的训练装置的示意性方案。需要说明的是，该文本处理模型的训练装置的技术方案与上述的文本处理模型的训练方法的技术方案属于同一构思，文本处理模型的训练装置的技术方案未详细描述的细节内容，均可以参见上述文本处理模型的训练方法的技术方案的描述。

图10示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备1000的部件包括但不限于存储器1010和处理器1020。处理器1020与存储器1010通过总线1030相连接，数据库1050用于保存数据。

计算设备1000还包括接入设备1040，接入设备1040使得计算设备1000能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，WideAreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备1040可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，network interface controller))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，Wireless Local Area Network)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)。

在本说明书的一个实施例中，计算设备1000的上述部件以及图10中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图10所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备1000可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或个人计算机(PC，Personal Computer)的静止计算设备。计算设备1000还可以是移动式或静止式的服务器。

其中，处理器1020用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述文本处理方法、对象搜索方法或者文本处理模型的训练方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的文本处理方法、对象搜索方法和文本处理模型的训练方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述文本处理方法、对象搜索方法或者文本处理模型的训练方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述文本处理方法、对象搜索方法或者文本处理模型的训练方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的文本处理方法、对象搜索方法和文本处理模型的训练方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述文本处理方法、对象搜索方法或者文本处理模型的训练方法的技术方案的描述。

本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述文本处理方法、对象搜索方法或者文本处理模型的训练方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的文本处理方法、对象搜索方法和文本处理模型的训练方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述文本处理方法、对象搜索方法或者文本处理模型的训练方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减，例如在某些地区，根据专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种文本处理方法，包括：

获取初始查询文本和多个候选文本；

将所述初始查询文本和所述多个候选文本输入文本处理模型，获得所述初始查询文本与各候选文本的相关度信息，其中，所述文本处理模型基于将样本候选文本输入预训练文本生成模型生成对应的样本查询文本的生成信息、对所述预训练文本生成模型训练得到，所述生成信息与所述相关度信息正相关；

基于所述各候选文本的相关度信息，获得针对所述初始查询文本的文本处理结果。

2.根据权利要求1所述的方法，在所述将所述初始查询文本和所述多个候选文本输入文本处理模型之前，还包括：

获取第一样本集和预训练文本生成模型，其中，所述第一样本集包括多个训练样本对，所述训练样本对包括第一样本查询文本和第一样本候选文本；

将所述第一样本候选文本输入所述预训练文本生成模型，获得生成所述第一样本查询文本的生成信息；

基于所述第一样本查询文本的生成信息，对所述预训练文本生成模型进行训练，获得文本处理模型。

3.根据权利要求2所述的方法，所述将所述第一样本候选文本输入所述预训练文本生成模型，获得生成所述第一样本查询文本的生成信息，包括：

将所述第一样本候选文本输入所述预训练文本生成模型，生成第一预测查询文本；

基于所述第一样本查询文本，确定所述第一预测查询文本中各词语的置信度；

基于所述各词语的置信度，确定生成所述第一样本查询文本的生成信息。

4.根据权利要求1所述的方法，所述基于所述第一样本查询文本的生成信息，对所述预训练文本生成模型进行训练，获得文本处理模型，包括：

基于所述第一样本查询文本的生成信息，确定损失值；

基于所述损失值，对所述预训练文本生成模型进行训练，获得文本处理模型。

5.根据权利要求4所述的方法，所述第一样本候选文本包括与所述第一样本查询文本正相关的第一正样本候选文本，以及与所述第一样本查询文本负相关的第一负样本候选文本；

所述将所述第一样本候选文本输入所述预训练文本生成模型，获得生成所述第一样本查询文本的生成信息，包括：

将所述第一正样本候选文本输入所述预训练文本生成模型，获得生成所述第一样本查询文本的正生成信息，并将所述第一负样本候选文本输入所述预训练文本生成模型，获得生成所述第一样本查询文本的负生成信息；

所述基于所述第一样本查询文本的生成信息，确定损失值，包括：

基于所述第一样本查询文本的正生成信息和负生成信息，确定对比损失值；

基于所述对比损失值，确定损失值。

6.根据权利要求5所述的方法，所述基于所述对比损失值，确定损失值，包括：

基于所述第一样本查询文本的正生成信息，确定生成损失值；

基于所述对比损失值和所述生成损失值，确定损失值。

7.根据权利要求6所述的方法，所述基于所述对比损失值和所述生成损失值，确定损失值，包括：

基于所述预训练文本生成模型的参数和训练过程中的当前参数，计算散度损失值；

基于所述对比损失值、所述生成损失值和所述散度损失值，确定损失值。

8.根据权利要求2-7任一项所述的方法，所述预训练文本生成模型包括文本生成单元和除所述文本生成单元外的生成信息单元；

所述基于所述第一样本查询文本的生成信息，对所述预训练文本生成模型进行训练，获得文本处理模型，包括：

在冻结所述文本生成单元的参数的情况下，基于所述第一样本查询文本的生成信息，调整所述预训练文本生成模型中所述生成信息单元的参数。

9.根据权利要求2-7任一项所述的方法，在所述获取预训练文本生成模型之前，还包括：

获取第二样本集和文本生成模型，其中，所述第二样本集包括多个预训练样本对，所述预训练样本对包括第二样本查询文本和第二样本候选文本；

将所述第二样本候选文本输入所述文本生成模型，生成所述第二样本候选文本的第二预测查询文本；

基于所述第二样本候选文本和所述第二预测查询文本，对所述文本生成模型进行训练，获得预训练文本生成模型。

10.一种对象搜索方法，应用于云侧设备，包括：

接收前端发送的搜索请求，其中，所述搜索请求携带有初始查询信息；

基于所述初始查询信息，查询搜索对象数据库，得到多个候选搜索对象信息；

将所述初始查询信息和所述多个候选搜索对象信息输入文本处理模型，获得所述初始查询信息与各候选搜索对象信息的相关度信息，其中，所述文本处理模型基于样本搜索对象信息输入预训练文本生成模型生成对应的样本查询信息的生成信息、对所述预训练文本生成模型进行训练得到，所述生成信息与所述相关度信息正相关；

基于所述各候选搜索对象信息的相关度信息，确定目标搜索对象信息；

向所述前端按序发送所述目标搜索对象信息。

11.根据权利要求10所述的方法，在所述向所述前端按序发送所述目标搜索对象信息之后，还包括：

接收前端反馈的搜索反馈信息，其中，所述搜索反馈信息为所述前端针对所述目标搜索对象信息进行反馈的信息；

基于所述搜索反馈信息，对所述文本处理模型的参数进行调整。

12.一种文本处理模型的训练方法，应用于云侧设备，包括：

获取第一样本集和预训练文本生成模型，其中，所述第一样本集包括多个训练样本对，所述训练样本对包括第一样本查询文本和第一样本候选文本；

将所述第一样本候选文本输入所述预训练文本生成模型，获得生成所述第一样本查询文本的生成信息；

基于所述第一样本查询文本的生成信息，对所述预训练文本生成模型进行训练，获得文本处理模型；

将所述文本处理模型的参数反馈至端侧设备。

13.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。

14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。