CN116226678B - 模型处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开一种模型处理方法、装置、设备及存储介质，该方法包括：根据相关性预测规则预测第一样本集中各个第一样本的标签；第一样本的标签用于指示第一样本中的两个文本之间的相关度；根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型；对包括相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过集成模型预测第二样本集中的第二样本的标签；第二样本的标签用于指示第二样本中的两个文本之间的相关度；采用第二样本集及第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型；可提高模型的训练效率。

Description

模型处理方法、装置、设备及存储介质

技术领域

本申请涉及人工智能领域，尤其涉及一种模型处理方法、装置、设备及存储介质。

背景技术

在相关性预测的相关场景中，通常可以采用训练得到的用于生成两个文本之间的相关度的模型来进行预测，在进行模型训练时，需要采用大量的有标签样本来训练，以期望训练后的模型能达到良好的效果；一般来说，有标签样本的标签通常是人工标注的，当人工标注大量样本时，标注成本过高，导致模型训练的效率低下。

发明内容

本申请实施例提供一种模型处理方法、装置、设备及存储介质，可提高模型的训练效率。

一方面，本申请实施例提供了一种模型处理方法，包括：

根据相关性预测规则预测第一样本集中各个第一样本的标签；第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度；

根据所述第一样本集及所述第一样本集中各个第一样本的标签，训练得到相关性模型；

对包括所述相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过所述集成模型预测第二样本集中的第二样本的标签；第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度；

采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型；

其中，所述模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过所述集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的。

一方面，本申请实施例提供了一种模型处理装置，包括：

预测单元，用于根据相关性预测规则预测第一样本集中各个第一样本的标签；第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度；

处理单元，用于根据所述第一样本集及所述第一样本集中各个第一样本的标签，训练得到相关性模型；

所述处理单元，还用于对包括所述相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过所述集成模型预测第二样本集中的第二样本的标签；第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度；

所述处理单元，还用于采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型；

其中，所述模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过所述集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的。

一方面，本申请实施例提供了一种模型处理设备，其特征在于，所述模型处理设备包括输入接口和输出接口，还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述模型处理方法。

一方面，本申请实施例提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行上述模型处理方法。

一方面，本申请实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；模型处理设备的处理器从计算机存储介质中读取该计算机程序，处理器执行该计算机程序，使得模型处理设备执行上述模型处理方法。

本申请实施例中，利用相关性预测规则预测第一样本集中各个第一样本的标签，其中，第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度，进而可以根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型；可以根据相关性预测规则实现对无标签样本的标签预测，减少标签标注的成本。并且进一步的，得到的相关性模型并不会直接用来进行相关度预测，而是在相关性模型的基础上，结合能预测相应属性维度下的关联关系的参考模型进行集成处理，得到集成模型；如此即在基于相关性预测规则预测的标签训练得到的相关性模型的基础上，来引入两个文本在更多属性维度下的关联关系，即引入两个文本在更多属性维度下的特征，进而可以通过集成得到的集成模型，在引入更多特征的影响下来预测两个文本之间的相关度，使得通过集成模型预测得到的两个文本之间的相关度，相较于只通过相关性模型预测得到的相关度更准确。同时，通过集成模型继续预测样本的标签，进而可以采用集成模型继续预测的样本标签及相应样本，训练得到最终的用于生成两个文本之间的相关度的目标模型；也就是说，可以通过集成模型预测的大量样本的标签来训练得到目标模型，使得目标模型可以通过集成模型预测的标签学习集成模型的模型能力，在保证相关度预测的准确性的基础上减少模型数量。综上所述，可知，基于本申请提出的模型处理方法可对大量无标签样本进行标注，减小人工标注成本，提高了模型的训练效率，并使得训练得到的目标模型达到良好的效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种模型处理方案的简要示意图；

图2是本申请实施例提供的一种模型处理方法的流程示意图；

图3是本申请实施例提供的一种训练得到目标模型的示意图；

图4是本申请实施例提供的另一种模型处理方法的流程示意图；

图5a是本申请实施例提供的一种基于相关性预测规则模板得到相关性预测规则的示意图；

图5b是本申请实施例提供的另一种基于相关性预测规则模板得到相关性预测规则的示意图；

图5c是本申请实施例提供的再一种基于相关性预测规则模板得到相关性预测规则的示意图；

图6是本申请实施例提供的一种输入问题模板的示意图；

图7是本申请实施例提供的一种基于生成式语言模型预测第一样本的标签的示意图；

图8是本申请实施例提供的另一种训练得到目标模型的示意图；

图9是本申请实施例提供的一种训练得到应用模型的示意图；

图10是本申请实施例提供的再一种模型处理方法的流程示意图；

图11是本申请实施例提供的另一种训练得到应用模型的示意图；

图12是本申请实施例提供的一种交互界面的示意图；

图13是本申请实施例提供的另一种交互界面的示意图；

图14是本申请实施例提供的一种模型处理装置的结构示意图；

图15是本申请实施例提供的一种模型处理设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术（Computer Vision，CV）、语音处理技术、自然语言处理技术以及机器学习（Machine Learning，ML）/深度学习（Deep Learning ，DL）等几大方向。其中，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

基于上述所提及的机器学习技术，本申请实施例提供了一种模型处理方案，可用于训练得到用于生成两个文本之间的相关度的目标模型；该方案大致原理可以如图1所示：可以根据相关性预测规则预测第一样本集中各个第一样本的标签，并根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型；其中，第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度。进而可以将包括了该相关性模型和参考模型的模型集合中的各个模型集成得到集成模型，并通过集成模型预测第二样本集中的第二样本的标签；其中，第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度，模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的。更进一步的，可以采用第二样本集及第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型。

在一个实施例中，上述模型处理方案旨在训练得到用于生成两个文本之间的相关度的目标模型，训练得到目标模型所需使用的各种样本中所包括的两个文本可以是基于任意文本构建得到的，上述模型处理方案适用于各种需要对两个文本之间的相关度进行预测的应用场景中。进一步可选的，当上述模型处理方案应用于不同应用场景时，训练得到目标模型所需使用的各种样本中所包括的两个文本的文本格式可以与相应的应用场景相适应；举例来说，当上述模型处理方案应用于搜索场景时，训练得到目标模型所需使用的各种样本中所包括的两个文本的其中一个文本可以为：搜索引擎中的对象进行搜索时所输入的查询文本（query），另一个文本可以为：搜索引擎基于相应的查询文本从数据库中召回的内容所对应的文本，称为召回文本；其中，搜索引擎基于相应的查询文本从数据库中召回的内容可以包括但不限于：文档内容（doc）、网页内容、图像内容、音频内容、视频内容等等；可选的：针对文档内容，相应的召回文本可以为用于对该文档内容进行描述的文本，例如可以为该文档内容、该文档内容的标题、该文档内容的摘要等等；针对网页内容，相应的召回文本可以为用于对该网页内容进行描述的文本，例如可以为该网页内容的主题文本（即title）、该网页内容中所包括的全部或部分文本等等；针对图像内容，相应的召回文本可以为用于对该图像内容进行描述的文本，例如可以为该图像内容的标题、主旨等等；针对音频内容，相应的召回文本可以为用于对该音频内容进行描述的文本，例如可以为该音频内容的标题、该音频内容识别得到的文本等等；针对视频内容，相应的召回文本可以为用于对该视频内容进行描述的文本，例如可以为该视频内容的标题、简介、字幕等等；不同格式的内容对应的召回文本可以根据具体的业务需求进行选取，本申请实施例不做限制。更进一步的，由于搜索引擎基于查询文本从数据库中召回的内容可以为多种格式的内容，因此，训练得到目标模型所需使用的各种样本集中的样本，可以包括一种或多种格式的内容所对应的召回文本，样本集中的样本可以是采用某一种格式的内容对应的文本作为召回文本（例如采用网页内容对应的文本作为召回文本），或者可以是采用多种格式的内容对应的文本作为召回文本（例如采用召回的各种格式的内容对应的文本作为召回文本），可以根据具体的业务需求进行设定，本申请实施例不做限制。

在一个实施例中，通过集成模型预测的第二样本的标签可以用于指示相应第二样本中所包括的两个文本之间的相关度，模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的，基于此可知，模型集合中的参考模型应该是与实现相应功能（即实现用于指示相关度的标签的预测的功能，也即实现对两个文本之间的相关度的预测的功能）相关联的模型。进一步可选的，由于集成模型是通过包括了相关性模型和参考模型的模型集合中的各个模型集成得到的，那么，在通过集成模型预测第二样本集中的第二样本的标签时，预测得到的第二样本的标签可以参考模型集合中各个模型针对相应的第二样本的输出，基于此，也可以将相关性模型针对第二样本中的两个文本的输出，作为一个属性维度下的关联关系。举例来说，当上述模型处理方案应用于搜索场景时（此时样本中的两个文本称为查询文本和召回文本），模型集合可以包括相关性模型，模型集合中的参考模型可以包括：参考相关性模型、排序模型以及点击模型等；其中，相关性模型和参考相关性模型均可以用于预测两个文本在相关性属性维度下的关联关系，具体可以用于预测两个文本之间的相关度，但相关性模型是根据第一样本集中的第一样本以及根据相关性预测规则预测的标签训练得到的，而参考相关性模型是根据人工标注的样本训练得到的；为了便于阐述，后续将相关性模型预测的关联关系称为第一相关性维度下的关联关系，将参考相关性模型预测的关联关系称为第二相关性属性维度下的联关系；排序模型可以用于预测两个文本在排序属性维度下的关联关系，具体可以用于预测基于查询文本召回的任一召回文本，在基于该查询文本所召回的所有召回文本中的排列顺序，也就是说，基于一个查询文本可以从数据库中召回一个或多个召回文本，排序模型可以用于预测任一召回文本在所有召回文本中的排列顺序，点击模型可以用于预测查询文本与召回文本在点击属性维度下的关联关系，具体可以用于预测根据查询文本召回的任一召回文本被点击的概率。可选的，相关性模型、参考相关性模型、排序模型以及点击模型均可以为回归模型，例如，相关性模型和参考相关性模型可以通过预测分值，来预测两个文本之间的相关度，分值越高，相关度越高；排序模型可以通过预测分值，来预测召回文本的排列顺序，分值越高，排列顺序越靠前；点击模型可以通过预测分值，来预测召回文本被点击的概率，分值越高，被点击的概率越大。进一步可选的，模型集合中的参考模型可以根据具体需求进行选取，例如可以只选取参考相关性模型和排序模型，可以只选取参考相关性模型和点击模型，当然也可以引入其他的，可以影响两个文本之间的相关度预测的其他模型，上述模型集合中的参考模型只是示例性的描述。

综上所述，本申请提出的模型处理方案，可以根据相关性预测规则预测第一样本集中各个第一样本的标签，并根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型，可以根据相关性预测规则实现对无标签样本的标签预测，减少标签标注的成本；并且，虽然相关性模型也可以用于预测两个文本之间的相关度，但本方案在此基础上通过引入排序模型、点击模型等参考模型来引入两个文本在更多属性维度下的关联关系，即引入两个文本在更多属性维度下的特征，进而可以通过集成得到的集成模型，在引入更多特征的影响下来预测两个文本之间的相关度，使得通过集成模型预测得到的两个文本之间的相关度，相较于只通过相关性模型预测得到的相关度更准确。进一步的，在对模型集合中的各个模型进行集成得到集成模型时，可以在集成了相关性模型的基础上，再集成通过人工标注的样本训练得到的参考相关性模型，可以同时学习到基于相关性预测规则预测的标签训练得到的模型，和基于人工标注的标签训练得到的模型的模型能力，也可以使得通过集成模型预测得到的两个文本之间的相关度更准确。并且，虽然集成模型相较于相关性模型可以更准确的对两个文本之间的相关度进行预测，但集成模型集成了多个模型，基于此，本方案还提出，可以通过集成模型预测的标签来训练得到目标模型，使得目标模型可以通过集成模型预测的标签学习集成模型的模型能力，保证相关度预测的准确性，并减少模型数量。

在一个实施例中，本申请不对相关性模型、参考模型、集成模型、及目标模型等模型的模型结构和模型尺寸进行限定，本申请提出的模型处理方案中所涉及的相关模型可以根据具体需求选择能实现相应功能的模型，例如可以选择能实现相应功能的神经网络模型；举例来说，在上述模型处理方案被应用于搜索场景时，相关性模型和参考模型的骨干网络可以选用语言表征模型（BERT模型），尺寸可以选用48层2048隐层大小、24层1024隐层大小、12层768隐层大小等等模型尺寸；目标模型的骨干网络可以选用BERT模型，尺寸可以选用48层2048隐层大小、24层1024隐层大小、12层768隐层大小等等模型尺寸。

在一个实施例中，上述模型处理方案可以由模型处理设备执行，该模型处理设备可以为终端设备或者服务器；此处的终端设备可包括但不限于：计算机、智能手机、平板电脑、笔记本电脑、智能家电、车载终端、智能可穿戴设备等；此处的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。进一步可选的，上述模型处理方案还可以由任意有计算力的电子设备单独或协同执行，本申请实施例不做限制；例如，根据相关性预测规则预测第一样本集中各个第一样本的标签，并根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型的相关过程，可以由一个电子设备执行；将包括了相关性模型和参考模型的模型集合中的各个模型集成得到集成模型，并通过集成模型预测第二样本集中的第二样本的标签的相关过程，可以由另一个电子设备执行；采用第二样本集及第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型的相关过程，可以由再一个电子设备执行；在本申请后续实施例中以通过模型处理设备来执行上述模型处理方案为例进行阐述。

本申请书中相关数据（例如各类样本中包括的文本、相关性预测规则）收集处理在实例应用时应该严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理行为。

基于上述模型处理方案，本申请实施例提供了一种模型处理方法。参见图2，为本申请实施例提供的一种模型处理方法的流程示意图。图2所示的模型处理方法可由模型处理设备执行。图2所示的模型处理方法可包括如下步骤：

S201，根据相关性预测规则预测第一样本集中各个第一样本的标签。

其中，第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度。

在一个实施例中，相关性预测规则可以为：用于指导如何预测得到能指示两个文本之间的相关度的标签的规则；相关性预测规则中定义了多个参考标签以及每一个参考标签所对应的相关度描述信息，其中，不同的参考标签对应于不同的相关度，即不同的参考标签用于指示不同的相关度，参考标签所对应的相关度描述信息用于描述相应参考标签所指示的相关度；基于此可知，相关性预测规则可以用于指导：如何从其定义的多个参考标签中选取一个参考标签作为用于指示两个文本之间的相关度的标签；可选的，相关性预测规则的具体内容可以根据具体需求进行设定。

在一个实施例中，模型处理设备根据相关性预测规则预测第一样本集中各个第一样本的标签时，可以调用生成式语言模型实现，生成式语言模型可以为自回归语言模型，其可以根据接收到的提示（称为prompt）进行续写，以输出相应的文本；当生成式语言模型被用于根据相关性预测规则预测第一样本集中各个第一样本的标签时，相关性预测规则以及第一样本中的两个文本被作为prompt中的内容，用于指导生成式语言模型根据相关性预测规则以及第一样本中的两个文本进行续写，以输出相应的文本，输出的文本可以指示生成式语言模型按照相关性预测规则以及第一样本中的两个文本，从多个参考标签中选取的参考标签，基于此，当调用生成式语言模型生成第一样本集中的第一样本的标签时，可以将相关性预测规则以及第一样本集中的第一样本作为生成式语言模型的输入，并获取生成式语言模型的输出文本，进而可以将在输出文本中指示的参考标签作为相应第一样本的标签。可选的，生成式语言模型的模型结构和尺寸可以根据具体需求进行选取或构建。

S202，根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型。

在一个实施例中，相关性模型可以是根据第一样本集及第一样本集中各个第一样本的标签，对初始相关性模型进行训练得到的；具体实现中，模型处理设备可以将第一样本集中的第一样本作为初始相关性模型的输入，将对应的标签作为初始相关性模型的期望输出，对初始相关性模型进行训练，以得到相关性模型。进一步的，模型处理设备可以朝着减小初始相关性模型针对第一样本集中的第一样本的输出，与对应的标签之间的差异的方向，调整初始相关性模型的模型参数，以得到相关性模型。可选的，在训练得到相关性模型的过程中，可以根据具体需求对所使用的损失函数进行选取，例如可以选取点损失函数（Pointwise loss）、对损失函数（Pairwise loss）以及列表损失函数（Listwise loss）等损失函数中的一种或多种来共同训练，本申请实施例不做限制。

S203，对包括相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过集成模型预测第二样本集中的第二样本的标签。

其中，第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度；模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的。

在一个实施例中，若该模型处理方法被应用于搜索场景中，用于训练得到用于生成两个文本之间的相关度的目标模型，也即用于训练得到用于生成查询文本与召回文本之间的相关度的目标模型，则示例性的模型集合中的参考模型可以包括参考相关性模型、排序模型以及点击模型等。进一步的，模型集合中的参考模型可以是根据有标签样本集训练得到的；训练得到参考相关性模型的有标签样本集中的样本可以包括：查询文本、召回文本，该样本对应的标签可以指示：标注的，该查询文本与该召回文本之间的相关度；训练得到排序模型的有标签样本集中的样本可以包括：查询文本、召回文本，该样本对应的标签可以指示：标注的，基于该查询文本召回的该召回文本，在基于该查询文本所召回的所有召回文本中的排列顺序；训练得到点击模型的有标签样本集中的样本可以包括：查询文本、召回文本，该样本对应的标签可以指示：标注的，基于该查询文本召回的该召回文本是否被点击的情况。进一步可选的，由于参考相关性模型可以通过预测分值，来预测两个文本之间的相关度，分值越高，相关度越高，那么用于训练得到参考相关性模型的样本对应的标签可以用标注的分值表征，标注的分值越大，指示标注的相关度越大；由于排序模型可以通过预测分值，来预测召回文本的排列顺序，分值越高，排列顺序越靠前，那么用于训练得到排序模型的样本对应的标签可以用标注的分值表征，标注的分值越大，指示标注的排列顺序越靠前；由于点击模型可以通过预测分值，来预测召回文本被点击的概率，分值越高，被点击的概率越大，那么用于训练得到点击模型的样本对应的标签可以用标注的分值表征，标注的分值越大，指示被点击的概率越大；值得注意的是，对相关样本采用分值的方式来标注，只是一种示例性的标注方法，例如，用于训练得到排序模型的样本对应的标签也可以用：能指示基于同一查询文本所召回的任意两个召回文本之间的相对排列顺序的标签来表征。

在一个实施例中，集成模型可以是基于决策模型，对包括相关性模型和参考模型的模型集合中的各个模型进行集成处理得到的；决策模型可以是基于标注样本集以及标注样本集中各个标注样本的标签对初始决策模型进行有监督训练得到的。其中，标注样本集中的标注样本的标签用于指示：标注的相应标注样本中所包括的两个文本之间的相关度，标注样本集中的标注样本的标签可以是人工标注的；可选的，该标注样本集及标签可以和训练得到模型集合中的参考相关性模型的有标签样本集及标签相同，也可以不同，进一步可选的，该标注样本集及标签也可以在训练得到模型集合中的参考相关性模型的有标签样本集及标签的基础上，添加其他样本以及根据相关性预测规则预测的标签，进一步可选的，由于在步骤S201中指出模型处理设备会根据相关性预测规则预测第一样本集中各个第一样本的标签，因此，该其他样本及标签可以选用第一样本集中的部分或全部第一样本及标签，基于此，可以实现在训练得到决策模型的过程中对所使用的人工标注的样本的扩充。其中，决策模型可以根据具体的需求进行选用，例如可以选用基于分数平均的决策模型、逻辑回归模型、深度神经网络模型（Deep Neural Networks ，DNN）、决策树模型等等，本申请实施例不做限制，为了便于阐述，本申请后续以决策树模型为例进行阐述。进一步的，在将模型集合中的各个模型集成得到一个集成模型的过程中，模型集合中的模型的输入为标注样本，初始决策模型的输入为模型集合中的模型的输出；在通过集成模型预测第二样本集中的第二样本的标签的过程中，模型集合中的模型的输入为第二样本集中的第二样本，决策模型的输入为模型集合中的模型的输出，也就是说，集成模型的输入为第二样本集中的第二样本。

S204，采用第二样本集及第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型。

在一个实施例中，目标模型可以是根据第二样本集及第二样本集中各个第二样本的标签，对初始目标模型训练得到的；具体实现中，模型处理设备可以将第二样本集中的第二样本作为初始目标模型的输入，将对应的标签作为初始目标模型的期望输出，对初始目标模型进行训练，得到目标模型；具体实现中，模型处理设备可以朝着减小初始目标模型针对第二样本集中的第二样本的输出，与对应的标签之间的差异的方向，调整初始目标模型的模型参数，以得到目标模型；可选的，在训练得到目标模型的过程中，可以根据具体需求对所使用的损失函数进行选取，本申请实施例不做限制。

参见图3，为本申请实施例提供的一种训练得到目标模型的示意图；具体过程如下：

模型处理设备可以调用生成式语言模型，根据输入的相关性预测规则以及第一样本集中的第一样本，预测第一样本集中各个第一样本的标签；进而可以将第一样本集中的第一样本作为初始相关性模型的输入，将对应的标签作为初始相关性模型的期望输出，对初始相关性模型进行训练，以得到相关性模型。

模型处理设备可以基于决策模型，对包括相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型。模型处理设备可以通过集成模型预测第二样本集中的第二样本的标签；进而可以将第二样本集中的第二样本作为初始目标模型的输入，将对应的标签作为初始目标模型的期望输出，对初始目标模型进行训练，得到目标模型。

本申请实施例中，利用相关性预测规则预测第一样本集中各个第一样本的标签，其中，第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度，进而可以根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型；可以根据相关性预测规则实现对无标签样本的标签预测，减少标签标注的成本。并且进一步的，得到的相关性模型并不会直接用来进行相关度预测，而是在相关性模型的基础上，结合能预测相应属性维度下的关联关系的参考模型进行集成处理，得到集成模型；如此即在基于相关性预测规则预测的标签训练得到的相关性模型的基础上，来引入两个文本在更多属性维度下的关联关系，即引入两个文本在更多属性维度下的特征，进而可以通过集成得到的集成模型，在引入更多特征的影响下来预测两个文本之间的相关度，使得通过集成模型预测得到的两个文本之间的相关度，相较于只通过相关性模型预测得到的相关度更准确。同时，通过集成模型继续预测样本的标签，进而可以采用集成模型继续预测的样本标签及相应样本，训练得到最终的用于生成两个文本之间的相关度的目标模型；也就是说，可以通过集成模型预测的大量样本的标签来训练得到目标模型，使得目标模型可以通过集成模型预测的标签学习集成模型的模型能力，在保证相关度预测的准确性的基础上减少模型数量。综上所述，可知，基于本申请提出的模型处理方法可对大量无标签样本进行标注，减小人工标注成本，提高了模型的训练效率，并使得训练得到的目标模型达到良好的效果。

基于上述模型处理方法的相关实施例，本申请实施例提供了另一种模型处理方法，该模型处理方法以样本中的两个文本为查询文本以及召回文本为例进行阐述。参见图4，为本申请实施例提供的另一种模型处理方法的流程示意图。图4所示的模型处理方法可由模型处理设备执行。图4所示的模型处理方法可包括如下步骤：

S401，根据相关性预测规则预测第一样本集中各个第一样本的标签。其中，第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度。

在一个实施例中，模型处理设备根据相关性预测规则预测第一样本集中各个第一样本的标签，可以包括：获取相关性预测规则，并获取第一样本集；将相关性预测规则以及第一样本集中的第一样本作为生成式语言模型的输入，并获取生成式语言模型的输出文本；其中，生成式语言模型用于按照相关性预测规则，从多个参考标签中选取一个参考标签；将在输出文本中指示的参考标签作为相应第一样本的标签。

其中，相关性预测规则可以为：用于指导如何预测得到能指示两个文本之间的相关度的标签的规则；相关性预测规则中定义了多个参考标签以及每一个参考标签所对应的相关度描述信息，其中，不同的参考标签对应于不同的相关度，即不同的参考标签用于指示不同的相关度，参考标签所对应的相关度描述信息用于描述相应参考标签所指示的相关度；基于此可知，相关性预测规则可以用于指导：如何从其定义的多个参考标签中选取一个参考标签作为用于指示两个文本之间的相关度的标签；可选的，相关性预测规则的具体内容可以根据具体需求进行设定。

举例来说，若一种相关性预测规则为：

请根据以下标准进行学习，为查询文本（Query）和召回文本之间的相关度进行打分，也就是评估查询文本所表述的意思（主题）和召回文本所表述的意思（主题）的匹配程度，即判断查询文本的主题和召回文本的主题是否一致及多大程度上一致。用不同的分值描述查询文本和召回文本之间的相关度，分别为：5、4、3、2、1，分值5表示完全相关（即主题完全匹配），分值4表示比较相关（即主题比较匹配），分值3表示部分相关（即主题部分匹配），分值2分表示很少相关（即主题很少匹配），分值1分表示完全不相关（即主题完全不匹配）。

评估过程的四个步骤为：（1）根据查询文本所表述的意思确定查询文本的主题；（2）根据召回文本所表述的意思确定召回文本的主题；（3）判断查询文本的主题和召回文本的主题是否匹配以及多大程度上匹配；（4）选择合适的分值作为查询文本和召回文本之间相关度的打分。

例如，查询文本=A品牌轿车优惠，召回文本=A品牌轿车全系优惠一万元, 可能成为最实惠的系列，相关度打分是5。查询文本=王大，召回文本=主持人李小独家专访著名表演艺术家王大，相关度打分是4。查询文本=歌曲B，召回文本=对象C演唱歌曲B，声音空灵纯净，古典韵味十足，相关度打分是4。查询文本=D品牌轿车，召回文本=E品牌的轿车E1与D品牌的轿车D1对比测试，相关度打分是3。查询文本=菜品1，召回文本=菜品1吃腻了，来学习怎么制作菜品2吧，相关度打分是2。查询文本=春，召回文本=春春要外出打工不存在的，相关度打分是1。

基于上述示例性的相关性预测规则（称为相关性预测规则1），可知该相关性预测规则中定义的参考标签包括：分值5、分值4、分值3、分值2以及分值1，各参考标签所对应的用于描述相应参考标签所指示的相关度的相关度描述信息可以为：“分值5表示完全相关（即主题完全匹配），分值4表示比较相关（即主题比较匹配），分值3表示部分相关（即主题部分匹配），分值2分表示很少相关（即主题很少匹配），分值1分表示完全不相关（即主题完全不匹配）”，其表明参考标签所对应的分值越大，所指示的相关度越大；进一步可知，上述相关性预测规则可以用于指导：如何从其定义的多个参考标签中选取一个参考标签作为用于指示两个文本之间的相关度的标签，即如何从其定义的多个分值（分值5、分值4、分值3、分值2以及分值1）中选取一个分值作为用于指示两个文本之间的相关度的标签。

在一个实施例中，模型处理设备获取相关性预测规则时，可以是获取的完整内容的相关性预测规则，该完整内容的相关性预测规则可以是根据具体的需求进行设定的，该完整内容的相关性预测规则可以是需要通过生成式语言模型预测样本的标签的对象录入的。模型处理设备获取相关性预测规则时，也可以是基于获取的相关性预测规则模板以及相应的填充内容进行填充得到的；基于此，模型处理设备获取相关性预测规则，可以包括：获取相关性预测规则模板；相关性预测规则模板包括规则字段以及范例字段，规则字段用于记录从多个参考标签中选取一个参考标签作为用于指示两个文本之间的相关度的标签时的执行标准；范例字段用于记录参考样本中所包括的两个文本和相应参考样本的参考标签之间的关系；参考样本的参考标签用于指示：相应参考样本中所包括的两个文本之间的相关度；获取多个参考样本以及各个参考样本的参考标签，并将多个参考样本以及相应的参考标签填充至相关性预测规则模板的范例字段中，得到相关性预测规则。可选的，相关性预测规则模板可以是根据具体需求预先设计得到的，本申请实施例不对参考模板的格式进行限定。

参见图5a，为本申请实施例提供的一种基于相关性预测规则模板得到相关性预测规则的示意图；其中，一种相关性预测规则模板可以如501标记所示，规则字段可以如502标记所示，范例字段可以如503标记所示，模型处理设备可以获取规则字段的填充内容对规则字段进行填充，获取多个参考样本以及各个参考样本的参考标签，并将多个参考样本以及相应的参考标签填充至范例字段中，得到相关性预测规则。可选的，在范例字段中填充参考样本以及相应的参考标签时，可以基于填充规则，将参考样本以及相应的参考标签转换为范例字段的填充内容，再将相应的填充内容填充至范例字段中，其中，填充规则可以根据具体需求进行设定。举例来说，若规则字段的填充内容为上述相关性预测规则1中的第一段以及第二段，若获取的多个参考样本以及相应的参考标签如以下表1所示，那么相关性预测规则为如504标记所示的文本内容，其中，规则字段的填充内容可以为如505标记所示的文本内容，范例字段的填充内容可以为如506标记所示的文本内容。值得注意的是，图5a所示的相关性预测规则的具体内容，与需要填充的规则字段的填充内容、需要填充的参考样本以及相应的参考标签有关，当获取到的规则字段的填充内容、参考样本以及参考标签不同时，所得到的相关性预测规则不同，可以实现相关性预测规则的个性化配置，图5a只是示例性的描述：

表1

参见图5b，为本申请实施例提供的另一种基于相关性预测规则模板得到相关性预测规则的示意图；其中，一种相关性预测规则模板可以如511标记所示，规则字段可以如512标记所示，范例字段可以如513标记所示，如512标记所示的规则字段预先填充了相应的填充内容，其记录了从多个参考标签（即多个分值）中选取一个参考标签（分值）作为用于指示两个文本之间的相关度的标签时的执行标准，具体记录了如何从定义的5个分值（分值5、分值4、分值3、分值2以及分值1）中选取一个分值作为用于指示两个文本之间的相关度的标签的执行标准。举例来说，若模型处理设备获取的多个参考样本以及相应的参考标签如表1所示，那么相关性预测规则为如514标记所示的文本内容，其中，范例字段的填充内容可以为如515标记所示的文本内容。值得注意的是，图5b所示的相关性预测规则的具体内容，与需要填充的参考样本以及相应的参考标签有关，当获取到的参考样本和参考标签不同时，所得到的相关性预测规则不同，可以实现相关性预测规则的个性化配置，图5b只是示例性的描述。

在一个实施例中，相关性预测规则模板的规则字段中还可以包括参考标签定义字段，其可以用于记录定义的多个参考标签以及每一个参考标签所对应的相关度描述信息；模型处理设备可以通过获取参考标签以及每一个参考标签所对应的相关度描述信息，来对该参考标签定义字段进行填充，以完善规则字段的填充内容。参见图5c，为本申请实施例提供的再一种基于相关性预测规则模板得到相关性预测规则的示意图；其中，一种相关性预测规则模板可以如521标记所示，规则字段可以如522标记所示，范例字段可以如523标记所示，参考标签定义字段可以如524标记所示。举例来说，若模型处理设备获取到的多个参考标签以及每一个参考标签所对应的相关度描述信息如以下表2示出，且获取的多个参考样本以及相应的参考标签如表1所示，那么相关性预测规则可以为如525标记所示的文本内容。值得注意的是，图5c所示的相关性预测规则的具体内容，与需要填充的参考标签以及相关度描述信息、需要填充的参考样本以及相应的参考标签有关，当获取到的参考标签以及相关度描述信息、参考样本以及参考标签不同时，所得到的相关性预测规则不同，可以实现相关性预测规则的个性化配置，图5c只是示例性的描述，例如，也可以设置6个参考标签用于对不同相关度进行描述：

表2

在一个实施例中，模型处理设备将相关性预测规则以及第一样本集中的第一样本作为生成式语言模型的输入，并获取生成式语言模型的输出文本，可以包括：获取输入问题模板；输入问题模板包括样本字段；将第一样本集中的第一样本中所包括的两个文本填充至输入问题模板的样本字段中，得到输入问题；生成式语言模型用于按照相关性预测规则以及输入问题，确定填充至样本字段的第一样本中两个文本之间的相关度的标签；将相关性预测规则以及输入问题作为生成式语言模型的输入，并获取生成式语言模型的输出文本。其中，输入问题模板可以根据具体需求进行设计。举例来说，参见图6，为本申请实施例提供的一种输入问题模板的示意图，如601标记所示的样本字段用于填充查询文本，如602标记所示的样本字段用于填充召回文本。进一步的，输入问题可以是根据获取的一个或多个第一样本填充得到的；举例来说，基于图6所示的输入问题模板，若获取的一个第一样本中查询文本为：电视剧1，召回文本为：《电视剧1》全集-电视剧-免费在线观看，则填充得到的输入文本可以为：“请问，根据前面的标准，查询文本=电视剧1，召回文本=《电视剧1》全集-电视剧-免费在线观看，相关度打分是多少”。若获取的另一个第一样本中查询文本为：电视剧1，召回文本为：《电视剧1》的主创针对指控发表声明，则根据该两个第一样本填充得到的输入文本可以为：“请问，根据前面的标准，查询文本=电视剧1，召回文本=《电视剧1》全集-电视剧-免费在线观看，相关度打分是多少。请问，根据前面的标准，查询文本=电视剧1，召回文本=《电视剧1》的主创针对指控发表声明，相关度打分是多少”。

在一个实施例中，模型处理设备将相关性预测规则以及输入问题作为生成式语言模型的输入时，可以将相关性预测规则以及输入问题同时输入至生成式语言模型中，也可以先输入相关性预测规则，再输入基于第一样本集中的第一样本填充得到的输入问题；进一步的，在输入基于第一样本集中的第一样本填充得到的输入问题时，可以分批次基于第一样本集中的一个或多个第一样本生成输入问题，并依次将各输入问题输入至生成式语言模型中，以得到生成式语言模型针对各输入问题所生成的输出文本。基于此，模型处理设备将相关性预测规则以及输入问题作为生成式语言模型的输入，并获取生成式语言模型的输出文本，可以包括：将相关性预测规则作为生成式语言模型的输入，并在得到生成式语言模型针对相关性预测规则所生成的反馈文本之后，将输入问题输入至生成式语言模型中；获取生成式语言模型针对输入问题所生成的输出文本。进一步的，模型处理设备可以将在输出文本中指示的参考标签作为相应第一样本的标签；其中，输出文本中可以包括标签指示信息，标签指示信息用于指示：生成式语言模型针对输入的第一样本从多个参考标签中所选取的参考标签；进一步的，输出文本中还可以包括预测提示信息，预测提示信息用于指示：生成式语言模型针对输入的第一样本从多个参考标签中选取相应参考标签时的选取依据。

举例来说，参见图7，为本申请实施例提供的一种基于生成式语言模型预测第一样本的标签的示意图；首先，模型处理设备将如701标记所示的相关性预测规则输入至生成式语言模型中，得到生成式语言模型针对该相关性预测规则所生成的反馈文本，该反馈文本可以如702标记所示，可以为：根据录入的信息可知，需要根据给定的标准来对查询文本和召回文本之间的相关度打分。该标准指出，分值5表示完全相关（即主题完全匹配），分值4表示比较相关（即主题比较匹配），分值3表示部分相关（即主题部分匹配），分值2分表示很少相关（即主题很少匹配），分值1分表示完全不相关（即主题完全不匹配）。根据这些标准，首先，需要确定查询文本的主题，根据查询文本所表述的意思来确定。然后，需要确定召回文本的主题，根据召回文本所表述的意思来确定。接着，需要判断查询文本的主题和召回文本的主题是否匹配，并评估这种匹配的程度。最后，需要根据这种匹配程度选择合适的分值来表示查询文本和召回文本之间的相关度。例如，如果查询文本为“A品牌轿车优惠”，召回文本为“A品牌轿车全系优惠一万元, 可能成为最实惠的系列”，那么它们之间的相关度打分为5，因为它们的主题完全一致。进一步的，模型处理设备可以将输入问题输入至生成式语言模型中，得到生成式语言模型针对该输入问题所生成的输出文本；其中，该输入问题可以如703标记所示，为：“请问，根据前面的标准，查询文本=电视剧1，召回文本=《电视剧1》全集-电视剧-免费在线观看，相关度打分是多少”；得到的输出文本可以如704标记所示，为：根据提供的信息，查询文本=电视剧1，召回文本=《电视剧1》全集-电视剧-免费在线观看，它们之间的相关度打分是5。这是因为它们的主题完全一致，即都是“电视剧1”这部电视剧。该输出文本中所包含的标签指示信息为：相关度打分是5，则模型处理设备可以确定出查询文本为：电视剧1，召回文本为：《电视剧1》全集-电视剧-免费在线观看，的第一样本的标签为用于指示完全相关的标签，即（分值）5；该输出文本中所包含的预测提示信息为：这是因为它们的主题完全一致，即都是“电视剧1”这部电视剧。更进一步的，模型处理设备可以再次将输入问题输入至生成式语言模型中，得到生成式语言模型针对该输入问题所生成的输出文本；其中，该输入问题可以如705标记所示，为：“请问，根据前面的标准，查询文本=电视剧1，召回文本=《电视剧1》的主创针对指控发表声明，相关度打分是多少”；得到的输出文本可以如706标记所示，为：根据提供的信息，查询文本=电视剧1，召回文本=《电视剧1》的主创针对指控发表声明，它们之间的相关度打分是3。这是因为它们的主题不完全一致，查询文本表述的是“电视剧1”这部电视剧，而召回文本表述的是“电视剧1的主创”和“发表声明”等内容。该输出文本中所包含的标签指示信息为：相关度打分是3，则模型处理设备可以确定出查询文本为：电视剧1，召回文本为：《电视剧1》的主创针对指控发表声明，的第一样本的标签为用于指示部分相关的标签，即（分值）3；该输出文本中所包含的预测提示信息为：这是因为它们的主题不完全一致，查询文本表述的是“电视剧1”这部电视剧，而召回文本表述的是“电视剧1的主创”和“发表声明”等内容。可选的，相关性预测规则也可以是分段输入至生成式语言模型中的。

在一个实施例中，模型处理设备根据相关性预测规则预测第一样本集中各个第一样本的标签之后，还可以：输出第一样本集中的第一样本及相应的标签，并输出调整提示信息；调整提示信息用于提示对第一样本的标签进行调整；接收调整标签的第一样本以及对应的调整后的标签，并将第一样本集中相应第一样本的标签更新为调整后的标签；其中，调整提示信息的格式和内容可以根据具体需求进行设定，例如，其格式可以为文本格式、音频格式、图像格式等中的一种或多种；可以实现对根据相关性预测规则预测得到的第一样本集中的第一样本的标签的人工调整。

S402，根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型。

其中，步骤S402的相关过程与上述步骤S202的相关过程类似，在此不再赘述。

S403，对包括相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过集成模型预测第二样本集中的第二样本的标签。

其中，第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度；模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的。

在一个实施例中，步骤S403的相关过程与上述步骤S203的相关过程类似；若该模型处理方法被应用于搜索场景中，用于训练得到用于生成两个文本之间的相关度的目标模型，也即用于训练得到用于生成查询文本与召回文本之间的相关度的目标模型，则示例性的模型集合中的参考模型可以包括参考相关性模型、排序模型以及点击模型等。进一步可选的，模型集合中的参考模型还可以包括一个或多个非标准相关性模型，训练得到一个非标准相关性模型的有标签样本集中的样本可以包括：查询文本、召回文本，该样本对应的标签可以指示：标注的，该查询文本与该召回文本之间的相关度；训练得到参考相关性模型的有标签样本集中的样本，应该是采用标准标注规则来标注得到相应标签的，该标准标注规则为该场景下所适用的规则，具体的，该标准标注规则和用于预测第一样本的标签的相关性预测规则的标注标准应该相同；训练得到一个非标准相关性模型的有标签样本集中的样本，应该是采用非标准标注规则来标注得到相应标签的。举例来说，若目标模型将被应用于搜索引擎1中，则标准标注规则和相关性预测规则均可以为搜索引擎1的技术人员所设置的规则，非标准标注规则可以为其他搜索平台的技术人员所设置的规则。本申请后续实施例中以模型集合中的参考模型包括：参考相关性模型、排序模型、点击模型以及非标准相关性模型为例进行阐述。

在一个实施例中，模型处理设备对包括相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，可以包括：获取标注样本集以及初始决策模型；标注样本集中的标注样本的标签用于指示：标注的相应标注样本中所包括的两个文本之间的相关度；将标注样本集中的标注样本作为模型集合中各个模型的输入，将各个模型的输出作为初始决策模型的输入，以及将相应标注样本的标签作为初始决策模型的期望输出，对初始决策模型进行有监督训练，得到决策模型；基于模型集合中的各个模型以及决策模型得到集成模型。可选的，可以根据具体需求选择训练时所使用的损失函数，本申请实施例不做限制。

在一种可选的实施方式中，模型处理设备针对初始决策模型的有监督训练可以包括：根据决策损失函数对初始决策模型的输出和相应标注样本的标签进行损失运算得到决策损失值，并根据决策损失值调整初始决策模型的模型参数；其中，决策损失值是根据，初始决策模型的输出和相应标注样本的标签之间的差异、以及初始决策模型针对标注样本集中的样本对中负样本的输出和正样本的输出之间的差异确定出的。

其中，标注样本集中的样本对是指标注样本集中的标注样本组中包括的样本对；标注样本集包括一个或多个标注样本组，一个标注样本组中各个标注样本的查询文本相同，且召回文本不同；标注样本组中包括由正样本和负样本构成的样本对，标注样本组的样本对中，正样本的标签所对应的相关度大于负样本的标签所对应的相关度。也就是说，若基于一个查询文本可以从数据库中召回N个召回文本，可以基于该查询文本和N个召回文本中的各个召回文本分别构建标注样本，那么就可以得到N个标注样本，该N个标注样本组成一个标注样本组；可以从一个标注样本组中选取2个标签不同的标注样本，并将标签所对应的相关度较大的标注样本作为正样本，将标签所对应的相关度较小的标注样本作为负样本，基于正样本和负样本构建得到一个样本对。

进一步的，决策损失函数可以是根据第一决策损失子函数和第二决策损失子函数构建的，第一决策损失子函数可以用于根据初始决策模型的输出和相应标注样本的标签确定出第一决策损失值，第一决策损失值与初始决策模型的输出和相应标注样本的标签之间的差异呈正相关；第二决策损失子函数可以用于根据初始决策模型的输出确定出第二决策损失值，第二决策损失值与初始决策模型的输出差异呈负相关，初始决策模型的输出差异是指：初始决策模型针对标注样本集中的样本对中负样本的输出和正样本的输出之间的差异。

模型处理设备可以朝着减小决策损失值的方向，即减小第一决策损失值以及第二决策损失值的方向，来调整初始决策模型的模型参数；由于第一决策损失值与初始决策模型的输出和相应标注样本的标签之间的差异呈正相关，即可以朝着减小初始决策模型的输出和相应标注样本的标签之间的差异的方向，来调整初始决策模型的模型参数；由于第二决策损失值与初始决策模型的输出差异呈负相关，即可以朝着增大初始决策模型的输出差异的方向，来调整初始决策模型的模型参数，也就是说，可以朝着增大初始决策模型针对标注样本集中的样本对中负样本的输出和正样本的输出之间的间隔的方向，来调整初始决策模型的模型参数。更进一步的，第一决策损失子函数和第二决策损失子函数可以根据具体需求进行选用，例如，第一决策损失子函数可以选用基于单样本（Pointwise）的均方损失函数（MSE Loss），第二决策损失子函数可以选用基于样本对（Pairwise）的铰链损失函数（Hinge Loss）；第一决策损失子函数、第二决策损失子函数、以及决策损失函数可以分别由以下公式1.1、公式1.2以及公式1.3示出：

（1.1）

（1.2）

（1.3）

其中，公式1.1为第一决策损失子函数，公式1.2为第二决策损失子函数，公式1.3为决策损失函数；n表示标注样本集中的标注样本的数量，表示标注样本，/>表示初始决策模型针对该标注样本的输出，/>表示该标注样本对应的标签；m表示标注样本集中的样本对的数量，/>表示标注样本集中的样本对中的负样本，/>表示同一样本对中的正样本，/>表示初始决策模型针对标注样本集中的样本对中负样本的输出，/>表示初始决策模型针对同一样本对中正样本的输出，M为超参数，用于控制第一决策损失子函数的边界；/>为超参数，可以根据具体需求进行设定或训练得到；模型处理设备可以朝着减小决策损失函数的损失值的方向（即减小/>）来调整初始决策模型的模型参数。

S404，采用第二样本集及第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型。

在一个实施例中，步骤S404的相关过程，与上述 S204的相关过程类似；一个第二样本中所包括的两个文本分别为查询文本以及召回文本；第二样本集包括一个或多个第二样本组，一个第二样本组中各个第二样本的查询文本相同，且召回文本不同；也就是说，若基于一个查询文本可以从数据库中召回M个召回文本，可以基于该查询文本和M个召回文本中的各个召回文本分别构建第二样本，那么就可以得到M个第二样本，该M个第二样本组成一个第二样本组。模型处理设备采用第二样本集及第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型，可以包括：根据第二样本集中目标第二样本组对应的标签，确定目标第二样本组中各个第二样本的首位排列参考概率；首位排列参考概率用于指示：相应第二样本在所属的第二样本组中排列在第一位的概率；将目标第二样本组中的第二样本作为初始目标模型的输入，并根据初始目标模型，针对目标第二样本组中各个第二样本的输出，确定目标第二样本组中各个第二样本的首位排列预测概率；基于首位排列预测概率以及首位排列参考概率，确定出目标损失值；根据目标损失值调整初始目标模型的模型参数，得到目标模型。其中，该目标第二样本组为第二样本集中的任一第二样本组。

进一步的，模型处理设备可以朝着减小目标损失值的方向，调整初始目标模型的模型参数，也就是说，模型处理设备可以朝着减小目标第二样本组中同一第二样本的首位排列预测概率与首位排列参考概率之间的差异，调整初始目标模型的模型参数；通过减小目标第二样本组中同一第二样本的首位排列预测概率与首位排列参考概率之间的差异，是为了减小预测序列与参考序列之间的差异；该预测序列可以指示：根据初始目标模型，针对目标第二样本组中各个第二样本的输出，确定出的目标第二样本组中各个第二样本的排列顺序，参考序列可以指示：根据第二样本集中目标第二样本组对应的标签，确定出的目标第二样本组中各个第二样本的排列顺序；可选的，该预测序列也可以指示：根据初始目标模型，针对目标第二样本组中各个第二样本的输出，确定出的目标第二样本组中各个召回文本的排列顺序，参考序列可以为：根据第二样本集中目标第二样本组对应的标签，确定出的目标第二样本组中各个召回文本的排列顺序。

在一个实施例中，模型处理设备确定目标损失值时，可以根据目标损失函数实现，目标损失函数可以根据具体需求进行选用，例如，目标损失函数可以选用基于查询文本（query）的序列损失（ListNet损失）；目标损失函数可以由以下公式2.1、公式2.2以及公式2.3共同示出：

（2.1）

（2.2）

（2.3）

其中，i，j，k为自变量，表示第二样本集中的第i个第二样本组中第二样本的数量，/>表示第i个第二样本组中的第j个第二样本，/>表示第i个第二样本组中的第k个第二样本，/>表示初始目标模型，针对第i个第二样本组中第j个第二样本的输出，/>表示初始目标模型，针对第i个第二样本组中第k个第二样本的输出，表示第i个第二样本组中第j个第二样本的首位排列预测概率；/>表示第i个第二样本组中第j个第二样本的标签，/>表示第i个第二样本组中第k个第二样本的标签，/>表示第i个第二样本组中第j个第二样本的首位排列参考概率。表示目标损失值，/>表示第二样本集中第二样本组的数量，/>表示第i个第二样本组中第k个第二样本的首位排列参考概率，/>表示第i个第二样本组中第k个第二样本的首位排列预测概率。

S405，获取第三样本集，并通过目标模型预测得到第三样本集中各个第三样本的标签。

在一个实施例中，第三样本的标签用于指示：基于目标模型预测的，相应第三样本中包括的两个文本之间的相关度，其中，第三样本中包括的两个文本可以为查询文本和召回文本；可以将第三样本作为目标模型的输入，以预测得到相应的第三样本的标签；进一步可选的，第三样本集可以和第二样本集为同一样本集，也可以不同。

S406，基于第三样本集以及第三样本集中各个第三样本的标签，对目标模型进行模型蒸馏处理，得到应用模型。

其中，得到的一个或多个应用模型的模型参数少于目标模型的模型参数；模型蒸馏即知识蒸馏，一般指将参数量大的教师模型（Teacher模型）学习到的能力迁移学习到学生模型（Student模型）上来，使学生模型的能力能够与教师模型的能力相当，通常来说，学生模型为小模型，在参数规模、预测耗时、部署成本上远小于教师模型；应用模型的模型尺寸可以根据具体需求进行设定，例如可以被设定为包括3个隐藏层的模型尺寸；将目标模型进行模型蒸馏，是为了进一步降低模型参数，以降低模型部署成本，提高文本之间的相关度的预测速度。

在一个实施例中，模型处理设备基于第三样本集以及第三样本集中各个第三样本的标签，对目标模型进行模型蒸馏处理，得到应用模型可以包括：将第三样本作为初始应用模型的输入，并根据应用损失函数对初始应用模型的输出和对应的第三样本的标签进行损失运算得到应用损失值；根据应用损失值调整初始应用模型的模型参数，以得到应用模型；其中，应用损失值是根据，初始应用模型的输出和对应的第三样本的标签之间的差异、初始应用模型针对第三样本集中的样本对中负样本的输出和正样本的输出之间的差异、以及相应样本对中负样本对应的标签和正样本对应的标签之间的差异确定出的。

进一步的，第三样本集中的样本对是指第三样本集中的第三样本组中包括的样本对；第三样本集包括一个或多个第三样本组，一个第三样本组中各个第三样本的查询文本相同，且召回文本不同；第三样本组中包括由正样本和负样本构成的样本对，第三样本组的样本对中，正样本的标签所对应的相关度大于负样本的标签所对应的相关度；也就是说，若基于一个查询文本可以从数据库中召回T个召回文本，可以基于该查询文本和T个召回文本中的各个召回文本分别构建第三样本，那么就可以得到T个第三样本，该T个第三样本组成一个第三样本组；可以从一个第三样本组中选取2个标签不同的第三样本，并将标签所对应的相关度较大的第三样本作为正样本，将标签所对应的相关度较小的第三样本作为负样本，基于正样本和负样本构建得到一个样本对。

进一步的，应用损失函数可以是根据第一应用损失子函数和第二应用损失子函数构建的，第一应用损失子函数可以用于根据初始应用模型的输出和对应的第三样本的标签确定出第一应用损失值，第一应用损失值与初始应用模型的输出和对应的第三样本的标签之间的差异呈正相关；第二应用损失子函数可以用于根据初始应用模型的输出和对应的第三样本的标签确定出第二应用损失值，第二应用损失值与初始应用模型的输出差异呈正相关，初始应用模型的输出差异是指：第一差异与第二差异之间的差异，第一差异是指：初始应用模型针对第三样本集中的样本对中负样本的输出和正样本的输出之间的差异，第二差异是指：第三样本集中的样本对中负样本对应的标签和正样本对应的标签之间的差异。

模型处理设备可以朝着减小应用损失值的方向，即减小第一应用损失值以及第二应用损失值的方向，来调整初始应用模型的模型参数，以得到应用模型；由于第一应用损失值与初始应用模型的输出和对应的第三样本的标签之间的差异呈正相关，即可以朝着减小初始应用模型的输出和对应的第三样本的标签之间的差异的方向，来调整初始应用模型的模型参数；由于第二应用损失值与初始应用模型的输出差异呈正相关，初始应用模型的输出差异是指：第一差异与第二差异之间的差异，即可以朝着减小第一差异与第二差异之间的差异的方向，即使得第一差异，趋近于第二差异的方向，来调整初始应用模型的模型参数。更进一步的，第一应用损失子函数和第二应用损失子函数可以根据具体需求进行选用，例如，第一应用损失子函数可以选用基于单样本（Pointwise）的交叉熵损失函数（softCross Entropy Loss），第二应用损失子函数可以选用基于样本对（Pairwise）的铰链损失函数（soft Hinge Los）；第一应用损失子函数、第二应用损失子函数、以及应用损失函数可以分别由以下公式3.1、公式3.2以及公式3.3示出：

（3.1）

（3.2）

（3.3）

其中，公式3.1为第一应用损失子函数，公式3.2为第二应用损失子函数，公式3.3为应用损失函数；表示第三样本集中的第三样本的数量，/>表示第三样本对应的标签，即目标模型针对该第三样本的输出，/>表示初始应用模型针对该第三样本的输出；/>表示第三样本集中的样本对的数量，/>表示初始应用模型针对第三样本集中的样本对中负样本的输出，/>表示初始应用模型针对同一样本对中正样本的输出，/>表示该同一样本对中负样本对应的标签，/>表示该同一样本对中正样本对应的标签；/>为超参数，可以根据具体需求进行设定或训练得到；模型处理设备可以朝着减小应用损失函数的损失值的方向（即减小/>）来调整初始应用模型的模型参数。

上述模型处理设备基于第三样本集以及第三样本集中各个第三样本的标签，对目标模型进行模型蒸馏处理，得到应用模型的相关过程，只是对目标模型进行模型蒸馏处理的示例性的方法，当然也可以将目标模型作为教师模型（Teacher模型），将初始应用模型作为学生模型（Student模型），并采用合适的模型蒸馏算法来实现模型蒸馏的相关过程。通常来说，得到的一个或多个应用模型的模型参数少于目标模型的模型参数，进而将蒸馏得到的应用模型应用在具体场景中时，模型体量更小，可以节约存储资源，并且模型参数更少，在预测查询文本与召回文本之间的相关度时，可以节约计算资源，提高文本之间的相关度的预测速度。

参见图8，为本申请实施例提供的另一种训练得到目标模型的示意图；具体过程如下：

模型处理设备可以调用生成式语言模型，根据输入的相关性预测规则以及第一样本集中的第一样本，预测第一样本集中各个第一样本的标签；进而可以将第一样本集中的第一样本作为初始相关性模型的输入，将对应的标签作为初始相关性模型的期望输出，对初始相关性模型进行训练，以得到相关性模型。

模型处理设备可以将标注样本集中的标注样本作为模型集合中各个模型的输入，将各个模型的输出作为初始决策模型的输入，以及将相应标注样本的标签作为初始决策模型的期望输出，对初始决策模型进行有监督训练，得到决策模型，并基于模型集合中的各个模型以及决策模型得到集成模型；其中，模型集合中可以包括相关性模型以及一个或多个参考模型，例如参考模型可以包括：参考相关性模型、排序模型、点击模型、非标准相关性模型。

模型处理设备可以通过集成模型预测第二样本集中的第二样本的标签；进而可以将第二样本集中的第二样本作为初始目标模型的输入，将对应的标签作为初始目标模型的期望输出，对初始目标模型进行训练，得到目标模型。

参见图9，为本申请实施例提供的一种训练得到应用模型的示意图；具体过程如下：

模型处理设备可以调用生成式语言模型，根据输入的相关性预测规则以及第一样本集中的第一样本，预测第一样本集中各个第一样本的标签；进而可以将第一样本集中的第一样本作为初始相关性模型的输入，将对应的标签作为初始相关性模型的期望输出，对初始相关性模型进行训练，以得到相关性模型。

模型处理设备可以将标注样本集中的标注样本作为模型集合中各个模型的输入，将各个模型的输出作为初始决策模型的输入，以及将相应标注样本的标签作为初始决策模型的期望输出，对初始决策模型进行有监督训练，得到决策模型，并基于模型集合中的各个模型以及决策模型得到集成模型；其中，模型集合中可以包括相关性模型以及一个或多个参考模型，例如参考模型可以包括：参考相关性模型、排序模型、点击模型、非标准相关性模型。

模型处理设备可以通过集成模型预测第二样本集中的第二样本的标签；进而可以将第二样本集中的第二样本作为初始目标模型的输入，将对应的标签作为初始目标模型的期望输出，对初始目标模型进行训练，得到目标模型。

模型处理设备可以通过目标模型预测得到第三样本集中各个第三样本的标签；进而可以基于第三样本集以及第三样本集中各个第三样本的标签，对目标模型进行模型蒸馏处理，得到应用模型。

本申请实施例中，可以通过生成式语言模型，来根据相关性预测规则以及第一样本集中的第一样本，预测得到可以用于指示相应第一样本中所包括的两个文本之间的相关度的标签，进而可以根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型，将包括相关性模型和参考模型的模型集合中的各个模型进行集成得到集成模型，并通过集成模型预测第二样本集中的第二样本的标签，采用第二样本集及第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型。可以通过生成式语言模型以及相关性预测规则实现对无标签样本的标签预测，减少标签标注的成本，并且，可以实现和人工标注样本的互补，提高了样本标签的多样性；通过将包括相关性模型和参考模型的模型集合中的各个模型进行集成，并通过集成模型预测的标签来训练得到目标模型，使得目标模型还可以学习到生成式语言模型进行相关性预测（即预测用于指示相关度的标签）的模型能力，相较于不集成相关性模型训练得到的目标模型，目标模型还可以学习到生成式语言模型进行相关性预测的模型能力，可以提高文本相关度的预测准确性，使得训练得到的目标模型达到良好的效果。并且，还可以通过模型蒸馏的方式，对目标模型进行蒸馏得到模型参数更少的应用模型，进而将蒸馏得到的应用模型应用在具体场景中时，模型体量更小，可以节约存储资源以及部署成本，在预测文本之间的相关度时，可以节约计算资源，提高文本之间的相关度的预测速度。

基于上述模型处理方法的相关实施例，本申请实施例提供了另一种模型处理方法。参见图10，为本申请实施例提供的再一种模型处理方法的流程示意图。图10所示的模型处理方法可由模型处理设备执行。图10所示的模型处理方法可包括如下步骤：

S1001，根据相关性预测规则预测第一样本集中各个第一样本的标签。

其中，第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度；步骤S1001的相关内容和上述步骤S201以及步骤S401的相关过程类似，在此不再赘述。

S1002，根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型。

其中，步骤S1002的相关过程和上述步骤S202以及步骤S402的相关过程类似，在此不再赘述。

S1003，对包括相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过集成模型预测第二样本集中的第二样本的标签。

其中，第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度；模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的；步骤S1003的相关过程和上述步骤S203以及步骤S403的相关过程类似，在此不再赘述；后续实施例以模型集合中的参考模型包括：参考相关性模型、排序模型、点击模型以及非标准相关性模型为例进行阐述。

在一个实施例中，第二样本集可以是从无标签样本集中筛选得到的，无标签样本集包括一个或多个无标签样本组，一个无标签样本组中的无标签样本中所包括的两个文本分别为查询文本以及召回文本；一个无标签样本组中各个无标签样本的查询文本相同，且召回文本不同；模型处理设备获取第二样本集的方式可以包括：基于集成模型预测得到的，无标签样本集中各个无标签样本组对应的标签，确定无标签样本集中各个无标签样本组的标签分布方差；根据标签分布方差对无标签样本集进行过滤处理，得到过滤后的无标签样本集；过滤后的无标签样本集中无标签样本组的标签分布方差，大于被过滤掉的无标签样本组的标签分布方差；将过滤后的无标签样本集作为第二样本集。

可选的，无标签样本集可以是基于搜索日志构建的；首先，模型处理设备可以获取搜索引擎的搜索日志；该搜索日志中可以包括：对象在搜索引擎中产生搜索行为时所使用的查询文本（query），以及搜索引擎基于该查询文本从搜索引擎所使用的数据库中召回的召回文本（doc）。在一种可行的实施方式中，模型处理设备基于搜索日志构建无标签样本集时，可以遍历搜索日志，并基于搜索日志中包括的查询文本以及对应的召回文本构建得到无标签样本；基于遍历结束后的各个无标签样本构建得到无标签样本集；其中，基于同一查询文本对应的各个召回文本所构建的无标签样本，组成了一个无标签样本组。可选的，由于搜索日志中所包含的数据通常非常庞大，因此，模型处理设备可以先对搜索日志中的数据进行筛选，并基于筛选后的搜索日志构建无标签样本集。在一种可选的实施方式中，模型处理设备对搜索日志中的数据进行筛选时，可以先根据查询文本的被查询频率对搜索日志中的查询文本进行初步筛选，进而可以基于查询文本召回的召回文本的排列顺序对初步筛选后的搜索日志进行进一步筛选，得到筛选后的搜索日志。可选的，在根据查询文本的被查询频率对搜索日志中的查询文本进行初步筛选的过程中，可以基于频率保留比率进行初步筛选，该频率保留比率为：高频：中频：低频=x1：x2：x3，也就是说，在被查询频率为高频的查询文本、被查询频率为中频的查询文本以及被查询频率为低频的查询文本中，分别基于x1：x2：x3的比率对查询文本进行保留，其中，高频、中频以及低频的界定规则可以根据具体需求进行设定，频率保留比率可以根据具体需求进行设定，例如，可以设定频率保留比率为：高频：中频：低频=2：6：5；根据一定比率对高频、中频以及低频的查询文本进行保留，可以提升被保留的查询文本的多样性，使被保留的查询文本更加丰富。应当知道的是，初步筛选后的搜索日志中应该包含：基于初步筛选保留的查询文本，以及查询文本对应的各个召回文本；当然也可以基于其他合适的筛选方式，对查询文本进行筛选。

可选的，在基于查询文本召回的召回文本的排列顺序对初步筛选后的搜索日志进行进一步筛选，得到筛选后的搜索日志的过程中，可以按照召回文本的排列顺序从前到后依次保留目标数量的召回文本，该目标数量可以根据具体需求进行设定，例如目标数量被设定为30个，则可以按照召回文本的排列顺序从前到后依次保留30个召回文本，即保留top30的召回文本，也就保留排列顺序处于前30的召回文本。可选的，还可以按照一定的保留概率对目标区间内的召回文本进行保留，其中，该目标区间的划分以及保留概率的设定可以与具体需求相适应；例如，可以将目标区间为排列顺序处于前30的召回文本，以99%的保留概率进行保留，可以将目标区间为排列顺序处于30之后的召回文本，以1%的保留概率进行保留；又如，可以将目标区间为排列顺序处于前15的召回文本，以90%的保留概率进行保留，可以将目标区间为排列顺序处于前30，且处于15之后的召回文本，以9%的保留概率进行保留，可以将目标区间为排列顺序处于30之后的召回文本，以1%的保留概率进行保留。通过保留更多排列顺序靠前的召回文本以及更少排列位置靠后的召回文本，可以在达到精简召回文本的基础上保证构建得到的无标签样本的精度。其中，模型处理设备基于筛选后的搜索日志构建无标签样本集的相关过程，与上述基于搜索日志构建无标签样本集的相关过程类似，在此不再赘述。

进一步的，模型处理设备可以基于集成模型预测得到的，无标签样本集中各个无标签样本组对应的标签，确定无标签样本集中各个无标签样本组的标签分布方差；根据标签分布方差对无标签样本集进行过滤处理，得到过滤后的无标签样本集；过滤后的无标签样本集中无标签样本组的标签分布方差，大于被过滤掉的无标签样本组的标签分布方差；将过滤后的无标签样本集作为第二样本集。其中，无标签样本集中任一无标签样本组的标签分布方差可以由以下公式4示出：

（4）

其中，i，j为自变量，表示无标签样本集中的第i个无标签样本组中无标签样本的数量，/>表示该第i个无标签样本组中第j个无标签样本的标签。

在一种可行的实施方式中，模型处理设备根据标签分布方差对无标签样本集进行过滤处理，得到过滤后的无标签样本集时，可以将无标签样本集中标签分布方差大于预设方差阈值的无标签样本组进行保留，以得到过滤后的无标签样本集，使得过滤后的无标签样本集中无标签样本组的标签分布方差，大于被过滤掉的无标签样本组的标签分布方差；其中，预设方差阈值可以根据具体需求进行设定。在另一种可行的实施方式中，模型处理设备根据标签分布方差对无标签样本集进行过滤处理，得到过滤后的无标签样本集时，可以将无标签样本集中的无标签样本组按照标签分布方差从大到小的顺序进行排列，并按照无标签样本组的排列顺序从前到后依次保留预设数量的无标签样本组，以得到过滤后的无标签样本集，使得过滤后的无标签样本集中无标签样本组的标签分布方差，大于被过滤掉的无标签样本组的标签分布方差；其中，预设数量可以根据具体需求进行设定，例如，当预设数量为100时，则按照无标签样本组的排列顺序从前到后依次保留100个无标签样本组（即top100的无标签样本组）。其中，标签分布方差越大，表示相应无标签样本组中各个无标签样本对应的标签分布越离散；通过对无标签样本集中标签分布方差较大的无标签样本组进行采样，过滤掉标签分布方差较小的无标签样本组，可以实现对无标签样本集中标签分布较离散的无标签样本组的采样，过滤掉标签分布较为集中的无标签样本组，可以降低构建得到的第二样本集中各个无标签样本组出现语义重复、丰富度低等问题的可能性。

S1004，采用第二样本集及第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型。

在一个实施例中，步骤S1004的相关过程，与上述步骤S204以及步骤S404的相关过程类似，在此不再赘述。

S1005，将目标模型添加至模型集合中，得到新的模型集合。

S1006，对新的模型集合中的各个模型进行集成处理，得到新的集成模型，并通过新的集成模型预测第四样本集中的第四样本的标签。

S1007，采用第四样本集及第四样本集中各个第四样本的标签，训练得到新的目标模型。

其中，第四样本的标签用于指示相应第四样本中所包括的两个文本之间的相关度；可选的，第四样本集可以是采用和第二样本集相同的获取方式重新获取的，也可以直接采用第二样本集作为该第四样本集；步骤S1006至步骤S1007的相关过程，与上述步骤S1003至步骤S1004的相关过程类似，在此不再赘述。

S1008，获取第三样本集，并通过新的目标模型预测得到第三样本集中各个第三样本的标签。

S1009，基于第三样本集以及第三样本集中各个第三样本的标签，对新的目标模型进行模型蒸馏处理，得到应用模型。

其中，得到的一个或多个应用模型的模型参数少于新的目标模型的模型参数；步骤S1008至步骤S1009的相关过程，与上述步骤S405至步骤S406的相关过程类似，在此不再赘述。

在一个实施例中，上述步骤S1005至步骤S1007的过程可以重复执行，也就是说，在采用第四样本集及第四样本集中各个第四样本的标签，训练得到新的目标模型之后，还可以将该新的目标模型添加至模型集合中，得到新的模型集合，进而可以基于此时得到的新的模型集合重新训练得到一个新的目标模型，重复执行该过程，直至得到的新的目标模型满足预期效果；通过重复执行训练新的目标模型的过程，可以不断提高训练得到的新的目标模型的模型效果，即可以不断提高训练得到的新的目标模型用于预测文本之间的相关度时的预测效果，进而可以提高蒸馏得到的应用模型的模型效果。值得一提的是，目标模型以及新的目标模型的模型能力往往优于集成模型。

参见图11，为本申请实施例提供的另一种训练得到应用模型的示意图；具体过程如下：

模型处理设备可以调用生成式语言模型，根据输入的相关性预测规则以及第一样本集中的第一样本，预测第一样本集中各个第一样本的标签；进而可以将第一样本集中的第一样本作为初始相关性模型的输入，将对应的标签作为初始相关性模型的期望输出，对初始相关性模型进行训练，以得到相关性模型。

模型处理设备可以将标注样本集中的标注样本作为模型集合中各个模型的输入，将各个模型的输出作为初始决策模型的输入，以及将相应标注样本的标签作为初始决策模型的期望输出，对初始决策模型进行有监督训练，得到决策模型，并基于模型集合中的各个模型以及决策模型得到集成模型；其中，模型集合中可以包括相关性模型以及一个或多个参考模型，例如参考模型可以包括：参考相关性模型、排序模型、点击模型、非标准相关性模型。

模型处理设备可以通过集成模型预测第二样本集中的第二样本的标签；进而可以将第二样本集中的第二样本作为初始目标模型的输入，将对应的标签作为初始目标模型的期望输出，对初始目标模型进行训练，得到目标模型。

模型处理设备可以将目标模型添加至模型集合中，得到新的模型集合，并基于新的模型集合训练得到一个新的目标模型，并重复执行将新的目标模型添加至模型集合中，得到新的模型集合，并基于新的模型集合训练得到一个新的目标模型的过程，直至得到一个满足预期效果的新的目标模型。

模型处理设备可以通过新的目标模型预测得到第三样本集中各个第三样本的标签；进而可以基于第三样本集以及第三样本集中各个第三样本的标签，对新的目标模型进行模型蒸馏处理，得到应用模型。

在一个示例性的应用场景中，当应用模型被应用于搜索引擎中时，搜索引擎可以基于对象录入的查询文本从搜索引擎所使用的数据库中召回多个召回文本；进一步的，搜索引擎可以调用应用模型预测得到该查询文本与各个召回文本之间的相关度，并基于相关度对各个召回文本进行排序处理，并按照排列顺序在搜索引擎的搜索页面中输出召回文本对应的内容（例如，若召回文本是网页内容对应的召回文本，则输出相应的网页内容）。可选的，对各个召回文本进行排序处理时，也可以参考其他维度的特征，例如可以参考召回文本对应的内容的历史点击率等。

在一个实施例中，若期望目标模型或应用模型在预测文本之间的相关度时，例如预测查询文本与召回文本之间的相关度时，所输出的是[0，1]区间内的数值，则需要对集成模型的输出进行校正，以使得集成模型的输出区间满足[0，1]区间；具体实现中，模型处理设备可以基于从最小值到最大值的多段线性映射的模型学习规则对集成模型进行模型输出校准处理，得到校准后的集成模型；校准后的集成模型的输出值的值区间为[0，1]；由于校准后的集成模型的输出值的值区间为[0，1]，那么，通过校准后的集成模型预测得到的第二样本集中各个第二样本对应的标签应该为[0，1]区间内的数值，基于此训练得到的目标模型以及应用模型的输出应该也为[0，1]区间内的数值，满足预期。

在一个实施例中，模型处理设备根据相关性预测规则预测第一样本集中各个第一样本的标签时，所获取的相关性预测规则，以及所获取的第一样本集也可以是基于与对象交互的交互界面获取的；参见图12，为本申请实施例提供的一种交互界面的示意图，该交互界面可以包括如1201标记所示的相关性预测规则录入区域以及如1202标记所示的第一样本集录入区域。进一步可选的，可以为对象提供一种或多种预设的相关性预测规则模板以供对象选择，进一步使得对象基于选择的模板录入相应的填充内容；例如，预设的相关性预测规则模板可以包括如501标记所示的模板（记为空模板），若对象选择该模板，可以提示对象输入完整的相关性预测规则，又如，预设的相关性预测规则模板可以包括如511标记所示的模板（记为第一模板），若对象选择该模板，可以在如1201标记所示的相关性预测规则录入区域填充该模板中所预先填充的填充内容，以使对象可以在如1201标记所示的相关性预测规则录入区域中进行调整以及确认；再如，预设的相关性预测规则模板可以包括如521标记所示的模板（记为第二模板），若对象选择该模板，可以在如1201标记所示的相关性预测规则录入区域填充该目标中所预先填充的填充内容，以使对象可以在如1201标记所示的相关性预测规则录入区域中对未填充的内容（即参考标签定义字段）进行填充，以及对相应的填充内容进行调整以及确认。进一步可选的，可以通过在如1202标记所示的第一样本集录入区域中，基于文件导入的方式导入第一样本集的样本文件，以使模型处理设备可以基于获取到的样本文件实现对第一样本集的获取。

在一个实施例中，模型处理设备根据相关性预测规则预测第一样本集中各个第一样本的标签之后，可以输出第一样本集中的第一样本及相应的标签，并输出调整提示信息至与对象交互的交互界面中，以使得对象可以对第一样本的标签进行调整；参见图13，为本申请实施例提供的另一种交互界面的示意图，该交互界面可以包括如1301标记所示的标注结果反馈区域，可以用于对模型处理设备输出的第一样本的标签进行查看、调整以及确认等操作；进一步的，模型处理设备可以输出包含有第一样本集中各个第一样本及相应的标签的标注文件，以使对象可以通过触发查看组件，来对输出文件中所包括的第一样本及标签进行查看，可以通过触发下载组件，对标注文件进行下载，可以通过触发调整组件，在如1302标记所示的调整页面中对第一样本的标签进行调整；可以通过触发确认组件，来对标注文件中所包括的第一样本及标签进行确认并将确认后的标注文件反馈至模型处理设备，模型处理设备可以在标注文件中的标签被更改的情况下，基于该反馈的标注文件获取到调整标签的第一样本以及对应的调整后的标签，并将第一样本集中相应第一样本的标签更新为调整后的标签，或者，直接将第一样本集及标签更新为该反馈的标注文件中所包括的第一样本及标签。

在一个实施例中，在参考标签包括：分值5、分值4、分值3、分值2以及分值1，分值5表示完全相关，分值4表示比较相关，分值3表示部分相关，分值2分表示很少相关，分值1分表示完全不相关的情况下，通过在同一测试集上对生成式语言模型和基于本申请提出的模型处理方法训练得到的应用模型进行对比评测；发现：在用于考察相关和不相关两档的准确度的二分类准确率指标中（在预测结果大于一定分值时，认为预测相关，否则认为预测不相关），应用模型的二分类准确率和生成式语言模型的二分类准确率基本持平；在用于考察五档精准预测的平均偏差情况的五档位偏差指标中，应用模型和生成式语言模型的表现基本持平；在用于考察极端预测错误情况的偏3档个数指标中（即当预测结果和原本的相关度存在至少3档的偏差的情况下作为极端预测错误情况），应用模型的表现优于生成式语言模型；进一步的，应用模型和生成式语言模型针对同一测试集进行预测，若对于任一测试样本的预测，存在至少一个模型的预测结果准确，那么就认为预测结果准确的情况下（即天花板口径），此时预测结果的准确率相较于只使用生成式语言模型进行预测时的准确率存在提升，且相较于只使用应用模型进行预测时的准确率也存在提升，可知，应用模型的预测能力与生成式语言模型的预测能力互补；并且，由于应用模型的模型参数远远少于生成式语言模型的模型参数，因此，可以认为进行文本相关度预测时，应用模型的模型能力，优于生成式语言模型的模型能力。

本申请实施例中，在训练得到目标模型之后，可以将目标模型添加至模型集合中，得到新的模型集合，并基于新的模型集合训练得到一个新的目标模型，并重复执行将新的目标模型添加至模型集合中，得到新的模型集合，并基于新的模型集合训练得到一个新的目标模型的过程，直至得到一个满足预期效果的新的目标模型。通过重复执行训练新的目标模型的过程，可以不断提高训练得到的新的目标模型的模型效果，进而可以基于模型效果最优的目标模型蒸馏得到应用模型，以提高蒸馏得到的应用模型的模型效果。

基于上述模型处理方法相关的实施例，本申请实施例提供了一种模型处理装置。参见图14，为本申请实施例提供的一种模型处理装置的结构示意图，该模型处理装置可包括预测单元1401以及处理单元1402。图14所示的模型处理装置可用于执行如下操作：

预测单元1401，用于根据相关性预测规则预测第一样本集中各个第一样本的标签；第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度；

处理单元1402，用于根据所述第一样本集及所述第一样本集中各个第一样本的标签，训练得到相关性模型；

所述处理单元1402，还用于对包括所述相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过所述集成模型预测第二样本集中的第二样本的标签；第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度；

所述处理单元1402，还用于采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型；

其中，所述模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过所述集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的。

在一个实施例中，所述相关性预测规则中定义了多个参考标签以及每一个参考标签所对应的相关度描述信息，不同的参考标签对应于不同的相关度；

所述预测单元1401根据相关性预测规则预测第一样本集中各个第一样本的标签时，具体执行如下操作：

获取相关性预测规则，并获取第一样本集；

将所述相关性预测规则以及所述第一样本集中的第一样本作为生成式语言模型的输入，并获取所述生成式语言模型的输出文本；其中，所述生成式语言模型用于按照所述相关性预测规则，从所述多个参考标签中选取一个参考标签；

将在所述输出文本中指示的参考标签作为相应第一样本的标签。

在一个实施例中，所述预测单元1401获取相关性预测规则时，具体执行如下操作：

获取相关性预测规则模板；所述相关性预测规则模板包括规则字段以及范例字段，所述规则字段用于记录从所述多个参考标签中选取一个参考标签作为用于指示两个文本之间的相关度的标签时的执行标准；所述范例字段用于记录参考样本中所包括的两个文本和相应参考样本的参考标签之间的关系；参考样本的参考标签用于指示：相应参考样本中所包括的两个文本之间的相关度；

获取多个参考样本以及各个参考样本的参考标签，并将所述多个参考样本以及相应的参考标签填充至所述相关性预测规则模板的范例字段中，得到所述相关性预测规则。

在一个实施例中，所述预测单元1401将所述相关性预测规则以及所述第一样本集中的第一样本作为生成式语言模型的输入，并获取所述生成式语言模型的输出文本时，具体执行如下操作：

获取输入问题模板；所述输入问题模板包括样本字段；

将所述第一样本集中的第一样本中所包括的两个文本填充至所述输入问题模板的样本字段中，得到输入问题；所述生成式语言模型用于按照所述相关性预测规则以及所述输入问题，确定填充至所述样本字段的第一样本中两个文本之间的相关度的标签；

将所述相关性预测规则以及所述输入问题作为所述生成式语言模型的输入，并获取所述生成式语言模型的输出文本。

在一个实施例中，所述预测单元1401将所述相关性预测规则以及所述输入问题作为所述生成式语言模型的输入，并获取所述生成式语言模型的输出文本时，具体执行如下操作：

将所述相关性预测规则作为所述生成式语言模型的输入，并在得到所述生成式语言模型针对所述相关性预测规则所生成的反馈文本之后，将所述输入问题输入至所述生成式语言模型中；

获取所述生成式语言模型针对所述输入问题所生成的输出文本。

在一个实施例中，所述输出文本中包括标签指示信息以及预测提示信息；所述标签指示信息用于指示：所述生成式语言模型针对输入的第一样本从所述多个参考标签中所选取的参考标签；所述预测提示信息用于指示：所述生成式语言模型针对输入的第一样本从所述多个参考标签中选取相应参考标签时的选取依据。

在一个实施例中，所述预测单元1401根据相关性预测规则预测第一样本集中各个第一样本的标签之后，还用于：

输出所述第一样本集中的第一样本及相应的标签，并输出调整提示信息；所述调整提示信息用于提示对第一样本的标签进行调整；

接收调整标签的第一样本以及对应的调整后的标签，并将所述第一样本集中相应第一样本的标签更新为调整后的标签。

在一个实施例中，所述处理单元1402，还用于：

获取第三样本集，并通过所述目标模型预测得到所述第三样本集中各个第三样本的标签；

基于所述第三样本集以及所述第三样本集中各个第三样本的标签，对所述目标模型进行模型蒸馏处理，得到应用模型；其中，得到的一个或多个应用模型的模型参数少于所述目标模型的模型参数。

在一个实施例中，所述处理单元1402还用于：

将所述目标模型添加至所述模型集合中，得到新的模型集合；

对所述新的模型集合中的各个模型进行集成处理，得到新的集成模型，并通过所述新的集成模型预测第四样本集中的第四样本的标签；第四样本的标签用于指示相应第四样本中所包括的两个文本之间的相关度；

采用所述第四样本集及所述第四样本集中各个第四样本的标签，训练得到新的目标模型。

在一个实施例中，所述处理单元1402对包括所述相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型时，具体执行如下操作：

获取标注样本集以及初始决策模型；所述标注样本集中的标注样本的标签用于指示：标注的相应标注样本中所包括的两个文本之间的相关度；

将所述标注样本集中的标注样本作为所述模型集合中各个模型的输入，将所述各个模型的输出作为所述初始决策模型的输入，以及将相应标注样本的标签作为所述初始决策模型的期望输出，对所述初始决策模型进行有监督训练，得到决策模型；

基于所述模型集合中的各个模型以及所述决策模型得到所述集成模型。

在一个实施例中，一个第二样本中所包括的两个文本分别为查询文本以及召回文本；所述第二样本集包括一个或多个第二样本组，一个第二样本组中各个第二样本的查询文本相同，且召回文本不同；

所述处理单元1402采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型时，具体执行如下操作：

根据所述第二样本集中目标第二样本组对应的标签，确定所述目标第二样本组中各个第二样本的首位排列参考概率；首位排列参考概率用于指示：相应第二样本在所属的第二样本组中排列在第一位的概率；

将所述目标第二样本组中的第二样本作为初始目标模型的输入，并根据所述初始目标模型，针对所述目标第二样本组中各个第二样本的输出，确定所述目标第二样本组中各个第二样本的首位排列预测概率；

基于首位排列预测概率以及首位排列参考概率，确定出目标损失值；

根据所述目标损失值调整所述初始目标模型的模型参数，得到所述目标模型。

在一个实施例中，所述第二样本集是从无标签样本集中筛选得到的，所述无标签样本集包括一个或多个无标签样本组，一个无标签样本组中的无标签样本中所包括的两个文本分别为查询文本以及召回文本；一个无标签样本组中各个无标签样本的查询文本相同，且召回文本不同；

所述处理单元1402获取所述第二样本集时，用于：

基于所述集成模型预测得到的，所述无标签样本集中各个无标签样本组对应的标签，确定所述无标签样本集中各个无标签样本组的标签分布方差；

根据标签分布方差对所述无标签样本集进行过滤处理，得到过滤后的无标签样本集；所述过滤后的无标签样本集中无标签样本组的标签分布方差，大于被过滤掉的无标签样本组的标签分布方差；

将所述过滤后的无标签样本集作为所述第二样本集。

根据本申请的一个实施例，图2、图4以及图10所示的模型处理方法所涉及的各个步骤可以是由图14所示的模型处理装置中的各个单元来执行的。例如，图2所示的步骤S201可由图14所示的模型处理装置中的预测单元1401来执行，图2所示的步骤S202至步骤S204可由图14所示的模型处理装置中的处理单元1402来执行。又如，图4所示的步骤S401可由图14所示的模型处理装置中的预测单元1401来执行，图4所示的步骤S402至步骤S406可由图14所示的模型处理装置中的处理单元1402来执行。再如，图10所示的步骤S1001可由图14所示的模型处理装置中的预测单元1401来执行，图10所示的步骤S1002至步骤S1009可由图14所示的模型处理装置中的处理单元1402来执行。

根据本申请的另一个实施例，图14所示的模型处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个（些）单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现，例如上述各个单元所实现的功能可由一个处理单元实现。在本申请的其它实施例中，基于逻辑功能划分的模型处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（RAM）、只读存储介质（ROM）等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2、图4以及图10所示的相应方法所涉及的各步骤的计算机程序（包括程序代码），来构造如图14中所示的模型处理装置，以及来实现本申请实施例模型处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。

本申请实施例中，利用相关性预测规则预测第一样本集中各个第一样本的标签，其中，第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度，进而可以根据第一样本集及第一样本集中各个第一样本的标签，训练得到相关性模型；可以根据相关性预测规则实现对无标签样本的标签预测，减少标签标注的成本。并且进一步的，得到的相关性模型并不会直接用来进行相关度预测，而是在相关性模型的基础上，结合能预测相应属性维度下的关联关系的参考模型进行集成处理，得到集成模型；如此即在基于相关性预测规则预测的标签训练得到的相关性模型的基础上，来引入两个文本在更多属性维度下的关联关系，即引入两个文本在更多属性维度下的特征，进而可以通过集成得到的集成模型，在引入更多特征的影响下来预测两个文本之间的相关度，使得通过集成模型预测得到的两个文本之间的相关度，相较于只通过相关性模型预测得到的相关度更准确。同时，通过集成模型继续预测样本的标签，进而可以采用集成模型继续预测的样本标签及相应样本，训练得到最终的用于生成两个文本之间的相关度的目标模型；也就是说，可以通过集成模型预测的大量样本的标签来训练得到目标模型，使得目标模型可以通过集成模型预测的标签学习集成模型的模型能力，在保证相关度预测的准确性的基础上减少模型数量。综上所述，可知，基于本申请提出的模型处理方法可对大量无标签样本进行标注，减小人工标注成本，提高了模型的训练效率，并使得训练得到的目标模型达到良好的效果。

基于上述模型处理方法的相关实施例以及模型处理装置实施例，本申请还提供了一种模型处理设备。参见图15，为本申请实施例提供的一种模型处理设备的结构示意图。图15所示的模型处理设备可至少包括处理器1501、输入接口1502、输出接口1503以及计算机存储介质1504。其中，处理器1501、输入接口1502、输出接口1503以及计算机存储介质1504可通过总线或其他方式连接。

计算机存储介质1504可以存储在模型处理设备的存储器中，计算机存储介质1504用于存储计算机程序，计算机程序包括程序指令，处理器1501用于执行计算机存储介质1504存储的程序指令。处理器1501（或称CPU（Central Processing Unit，中央处理器））是模型处理设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现上述模型处理方法流程或相应功能。

本申请实施例还提供了一种计算机存储介质（Memory），计算机存储介质是模型处理设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器1501加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序（包括程序代码）。需要说明的是，此处的计算机存储介质可以是高速随机存取存储器(random access memory，RAM)存储器，也可以是非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。

在一个实施例中，可由处理器1501加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2、图4以及图10的模型处理方法实施例中的方法的相应步骤，具体实现中，计算机存储介质中的一条或多条指令由处理器1501加载并执行如下步骤：

根据相关性预测规则预测第一样本集中各个第一样本的标签；第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度；

根据所述第一样本集及所述第一样本集中各个第一样本的标签，训练得到相关性模型；

对包括所述相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过所述集成模型预测第二样本集中的第二样本的标签；第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度；

采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型；

其中，所述模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过所述集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的。

在一个实施例中，所述相关性预测规则中定义了多个参考标签以及每一个参考标签所对应的相关度描述信息，不同的参考标签对应于不同的相关度；

所述处理器1501根据相关性预测规则预测第一样本集中各个第一样本的标签时，具体执行如下操作：

获取相关性预测规则，并获取第一样本集；

将所述相关性预测规则以及所述第一样本集中的第一样本作为生成式语言模型的输入，并获取所述生成式语言模型的输出文本；其中，所述生成式语言模型用于按照所述相关性预测规则，从所述多个参考标签中选取一个参考标签；

将在所述输出文本中指示的参考标签作为相应第一样本的标签。

在一个实施例中，所述处理器1501获取相关性预测规则时，具体执行如下操作：

获取相关性预测规则模板；所述相关性预测规则模板包括规则字段以及范例字段，所述规则字段用于记录从所述多个参考标签中选取一个参考标签作为用于指示两个文本之间的相关度的标签时的执行标准；所述范例字段用于记录参考样本中所包括的两个文本和相应参考样本的参考标签之间的关系；参考样本的参考标签用于指示：相应参考样本中所包括的两个文本之间的相关度；

获取多个参考样本以及各个参考样本的参考标签，并将所述多个参考样本以及相应的参考标签填充至所述相关性预测规则模板的范例字段中，得到所述相关性预测规则。

在一个实施例中，所述处理器1501将所述相关性预测规则以及所述第一样本集中的第一样本作为生成式语言模型的输入，并获取所述生成式语言模型的输出文本时，具体执行如下操作：

获取输入问题模板；所述输入问题模板包括样本字段；

将所述第一样本集中的第一样本中所包括的两个文本填充至所述输入问题模板的样本字段中，得到输入问题；所述生成式语言模型用于按照所述相关性预测规则以及所述输入问题，确定填充至所述样本字段的第一样本中两个文本之间的相关度的标签；

将所述相关性预测规则以及所述输入问题作为所述生成式语言模型的输入，并获取所述生成式语言模型的输出文本。

在一个实施例中，所述处理器1501将所述相关性预测规则以及所述输入问题作为所述生成式语言模型的输入，并获取所述生成式语言模型的输出文本时，具体执行如下操作：

将所述相关性预测规则作为所述生成式语言模型的输入，并在得到所述生成式语言模型针对所述相关性预测规则所生成的反馈文本之后，将所述输入问题输入至所述生成式语言模型中；

获取所述生成式语言模型针对所述输入问题所生成的输出文本。

在一个实施例中，所述输出文本中包括标签指示信息以及预测提示信息；所述标签指示信息用于指示：所述生成式语言模型针对输入的第一样本从所述多个参考标签中所选取的参考标签；所述预测提示信息用于指示：所述生成式语言模型针对输入的第一样本从所述多个参考标签中选取相应参考标签时的选取依据。

在一个实施例中，所述处理器1501根据相关性预测规则预测第一样本集中各个第一样本的标签之后，还用于：

输出所述第一样本集中的第一样本及相应的标签，并输出调整提示信息；所述调整提示信息用于提示对第一样本的标签进行调整；

接收调整标签的第一样本以及对应的调整后的标签，并将所述第一样本集中相应第一样本的标签更新为调整后的标签。

在一个实施例中，所述处理器1501还用于：

获取第三样本集，并通过所述目标模型预测得到所述第三样本集中各个第三样本的标签；

基于所述第三样本集以及所述第三样本集中各个第三样本的标签，对所述目标模型进行模型蒸馏处理，得到应用模型；其中，得到的一个或多个应用模型的模型参数少于所述目标模型的模型参数。

在一个实施例中，所述处理器1501还用于：

将所述目标模型添加至所述模型集合中，得到新的模型集合；

对所述新的模型集合中的各个模型进行集成处理，得到新的集成模型，并通过所述新的集成模型预测第四样本集中的第四样本的标签；第四样本的标签用于指示相应第四样本中所包括的两个文本之间的相关度；

采用所述第四样本集及所述第四样本集中各个第四样本的标签，训练得到新的目标模型。

在一个实施例中，所述处理器1501对包括所述相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型时，具体执行如下操作：

获取标注样本集以及初始决策模型；所述标注样本集中的标注样本的标签用于指示：标注的相应标注样本中所包括的两个文本之间的相关度；

将所述标注样本集中的标注样本作为所述模型集合中各个模型的输入，将所述各个模型的输出作为所述初始决策模型的输入，以及将相应标注样本的标签作为所述初始决策模型的期望输出，对所述初始决策模型进行有监督训练，得到决策模型；

基于所述模型集合中的各个模型以及所述决策模型得到所述集成模型。

在一个实施例中，一个第二样本中所包括的两个文本分别为查询文本以及召回文本；所述第二样本集包括一个或多个第二样本组，一个第二样本组中各个第二样本的查询文本相同，且召回文本不同；

所述处理器1501采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型时，具体执行如下操作：

根据所述第二样本集中目标第二样本组对应的标签，确定所述目标第二样本组中各个第二样本的首位排列参考概率；首位排列参考概率用于指示：相应第二样本在所属的第二样本组中排列在第一位的概率；

将所述目标第二样本组中的第二样本作为初始目标模型的输入，并根据所述初始目标模型，针对所述目标第二样本组中各个第二样本的输出，确定所述目标第二样本组中各个第二样本的首位排列预测概率；

基于首位排列预测概率以及首位排列参考概率，确定出目标损失值；

根据所述目标损失值调整所述初始目标模型的模型参数，得到所述目标模型。

在一个实施例中，所述第二样本集是从无标签样本集中筛选得到的，所述无标签样本集包括一个或多个无标签样本组，一个无标签样本组中的无标签样本中所包括的两个文本分别为查询文本以及召回文本；一个无标签样本组中各个无标签样本的查询文本相同，且召回文本不同；

所述处理器1501获取所述第二样本集时，用于：

基于所述集成模型预测得到的，所述无标签样本集中各个无标签样本组对应的标签，确定所述无标签样本集中各个无标签样本组的标签分布方差；

根据标签分布方差对所述无标签样本集进行过滤处理，得到过滤后的无标签样本集；所述过滤后的无标签样本集中无标签样本组的标签分布方差，大于被过滤掉的无标签样本组的标签分布方差；

将所述过滤后的无标签样本集作为所述第二样本集。

本申请实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；模型处理设备的处理器从计算机存储介质中读取该计算机程序，处理器执行该计算机程序，使得模型处理设备执行上述如图2、图4以及图10所示的方法实施例。其中，计算机可读存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种模型处理方法，其特征在于，包括：

调用生成式语言模型根据相关性预测规则预测第一样本集中各个第一样本的标签；第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度；所述相关性预测规则是通过交互界面获取到的，通过在交互界面上对多种预设的相关性预测规则模板进行的选择来得到相关性预测规则，所述相关性预测规则中定义了多个参考标签以及每一个参考标签所对应的相关度描述信息，不同的参考标签对应于不同的相关度；

根据所述第一样本集及所述第一样本集中各个第一样本的标签，训练得到相关性模型；

对包括所述相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过所述集成模型预测第二样本集中的第二样本的标签；第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度；所述第二样本集中的一个样本组是根据一个查询文本和基于一个查询文本从数据库中召回的M个召回文本构建得到的，一个第二样本组中各个第二样本的查询文本相同，且召回文本不同；

采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型；其中，针对所述目标模型的目标损失函数包括基于查询文本的序列损失函数；

将所述目标模型添加到所述模型集合中，并对添加了目标模型的模型集合进行集成处理，得到新的集成模型，通过新的集成模型预测第二样本集中的第二样本的标签，并采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到新的目标模型，重复执行本步骤直至得到满足预期条件的新的目标模型；

其中，所述模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过所述集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的。

2.如权利要求1所述的方法，其特征在于，所述根据相关性预测规则预测第一样本集中各个第一样本的标签，包括：

获取相关性预测规则，并获取第一样本集；

将所述相关性预测规则以及所述第一样本集中的第一样本作为生成式语言模型的输入，并获取所述生成式语言模型的输出文本；其中，所述生成式语言模型用于按照所述相关性预测规则，从所述多个参考标签中选取一个参考标签；

将在所述输出文本中指示的参考标签作为相应第一样本的标签。

3.如权利要求2所述的方法，其特征在于，所述获取相关性预测规则，包括：

获取相关性预测规则模板；所述相关性预测规则模板包括规则字段以及范例字段，所述规则字段用于记录从所述多个参考标签中选取一个参考标签作为用于指示两个文本之间的相关度的标签时的执行标准；所述范例字段用于记录参考样本中所包括的两个文本和相应参考样本的参考标签之间的关系；参考样本的参考标签用于指示：相应参考样本中所包括的两个文本之间的相关度；

获取多个参考样本以及各个参考样本的参考标签，并将所述多个参考样本以及相应的参考标签填充至所述相关性预测规则模板的范例字段中，得到所述相关性预测规则。

4.如权利要求2所述的方法，其特征在于，所述将所述相关性预测规则以及所述第一样本集中的第一样本作为生成式语言模型的输入，并获取所述生成式语言模型的输出文本，包括：

获取输入问题模板；所述输入问题模板包括样本字段；

将所述第一样本集中的第一样本中所包括的两个文本填充至所述输入问题模板的样本字段中，得到输入问题；所述生成式语言模型用于按照所述相关性预测规则以及所述输入问题，确定填充至所述样本字段的第一样本中两个文本之间的相关度的标签；

将所述相关性预测规则以及所述输入问题作为所述生成式语言模型的输入，并获取所述生成式语言模型的输出文本。

5.如权利要求4所述的方法，其特征在于，所述将所述相关性预测规则以及所述输入问题作为所述生成式语言模型的输入，并获取所述生成式语言模型的输出文本，包括：

将所述相关性预测规则作为所述生成式语言模型的输入，并在得到所述生成式语言模型针对所述相关性预测规则所生成的反馈文本之后，将所述输入问题输入至所述生成式语言模型中；

获取所述生成式语言模型针对所述输入问题所生成的输出文本。

6.如权利要求2所述的方法，其特征在于，所述输出文本中包括标签指示信息以及预测提示信息；所述标签指示信息用于指示：所述生成式语言模型针对输入的第一样本从所述多个参考标签中所选取的参考标签；所述预测提示信息用于指示：所述生成式语言模型针对输入的第一样本从所述多个参考标签中选取相应参考标签时的选取依据。

7.如权利要求1所述的方法，其特征在于，所述根据相关性预测规则预测第一样本集中各个第一样本的标签之后，所述方法还包括：

输出所述第一样本集中的第一样本及相应的标签，并输出调整提示信息；所述调整提示信息用于提示对第一样本的标签进行调整；

接收调整标签的第一样本以及对应的调整后的标签，并将所述第一样本集中相应第一样本的标签更新为调整后的标签。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取第三样本集，并通过所述目标模型预测得到所述第三样本集中各个第三样本的标签；

基于所述第三样本集以及所述第三样本集中各个第三样本的标签，对所述目标模型进行模型蒸馏处理，得到应用模型；其中，得到的一个或多个应用模型的模型参数少于所述目标模型的模型参数。

9.如权利要求1所述的方法，其特征在于，所述对包括所述相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，包括：

获取标注样本集以及初始决策模型；所述标注样本集中的标注样本的标签用于指示：标注的相应标注样本中所包括的两个文本之间的相关度；

将所述标注样本集中的标注样本作为所述模型集合中各个模型的输入，将所述各个模型的输出作为所述初始决策模型的输入，以及将相应标注样本的标签作为所述初始决策模型的期望输出，对所述初始决策模型进行有监督训练，得到决策模型；

基于所述模型集合中的各个模型以及所述决策模型得到所述集成模型。

10.如权利要求1所述的方法，其特征在于，一个第二样本中所包括的两个文本分别为查询文本以及召回文本；所述第二样本集包括一个或多个第二样本组，一个第二样本组中各个第二样本的查询文本相同，且召回文本不同；

所述采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型，包括：

根据所述第二样本集中目标第二样本组对应的标签，确定所述目标第二样本组中各个第二样本的首位排列参考概率；首位排列参考概率用于指示：相应第二样本在所属的第二样本组中排列在第一位的概率；

将所述目标第二样本组中的第二样本作为初始目标模型的输入，并根据所述初始目标模型，针对所述目标第二样本组中各个第二样本的输出，确定所述目标第二样本组中各个第二样本的首位排列预测概率；

基于首位排列预测概率以及首位排列参考概率，确定出目标损失值；

根据所述目标损失值调整所述初始目标模型的模型参数，得到所述目标模型。

11.如权利要求1所述的方法，其特征在于，所述第二样本集是从无标签样本集中筛选得到的，所述无标签样本集包括一个或多个无标签样本组，一个无标签样本组中的无标签样本中所包括的两个文本分别为查询文本以及召回文本；一个无标签样本组中各个无标签样本的查询文本相同，且召回文本不同；

获取所述第二样本集的方式包括：

基于所述集成模型预测得到的，所述无标签样本集中各个无标签样本组对应的标签，确定所述无标签样本集中各个无标签样本组的标签分布方差；

根据标签分布方差对所述无标签样本集进行过滤处理，得到过滤后的无标签样本集；所述过滤后的无标签样本集中无标签样本组的标签分布方差，大于被过滤掉的无标签样本组的标签分布方差；

将所述过滤后的无标签样本集作为所述第二样本集。

12.一种模型处理装置，其特征在于，包括：

预测单元，用于调用生成式语言模型根据相关性预测规则预测第一样本集中各个第一样本的标签；第一样本的标签用于指示相应第一样本中所包括的两个文本之间的相关度；所述相关性预测规则是通过交互界面获取到的，通过在交互界面上对多种预设的相关性预测规则模板进行的选择来得到相关性预测规则，所述相关性预测规则中定义了多个参考标签以及每一个参考标签所对应的相关度描述信息，不同的参考标签对应于不同的相关度；

处理单元，用于根据所述第一样本集及所述第一样本集中各个第一样本的标签，训练得到相关性模型；

所述处理单元，还用于对包括所述相关性模型和参考模型的模型集合中的各个模型进行集成处理，得到集成模型，并通过所述集成模型预测第二样本集中的第二样本的标签；第二样本的标签用于指示相应第二样本中所包括的两个文本之间的相关度；所述第二样本集中的一个样本组是根据一个查询文本和基于一个查询文本从数据库中召回的M个召回文本构建得到的，一个第二样本组中各个第二样本的查询文本相同，且召回文本不同；

所述处理单元，还用于采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到用于生成两个文本之间的相关度的目标模型；其中，针对所述目标模型的目标损失函数包括基于查询文本的序列损失函数；

所述处理单元，还用于将所述目标模型添加到所述模型集合中，并对添加了目标模型的模型集合进行集成处理，得到新的集成模型，通过新的集成模型预测第二样本集中的第二样本的标签，并采用所述第二样本集及所述第二样本集中各个第二样本的标签，训练得到新的目标模型，重复执行本步骤直至得到满足预期条件的新的目标模型；

其中，所述模型集合中的一个参考模型用于预测两个文本在一个属性维度下的关联关系，通过所述集成模型预测的第二样本的标签是根据相应的两个文本在一个或者多个属性维度下的关联关系确定的。

13.一种模型处理设备，其特征在于，所述模型处理设备包括输入接口和输出接口，还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-11任一项所述的模型处理方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-11任一项所述的模型处理方法。