CN116842399A - 模型上线方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及一种模型上线方法、装置、设备及介质，涉及计算机技术领域，该方法包括：确定待上线模型，以及待上线模型对应的已上线模型，利用待上线模型和已上线模型分别对预设的样本数据进行预测，得到待上线模型的第一预测结果和已上线模型的第二预测结果，依据第一预测结果和第二预测结果进行相似度预测，得到待上线模型和已上线模型之间的知识相似度，根据知识相似度确定模型上线策略，并按照模型上线策略上线待上线模型。通过评估待上线模型和已上线模型间的知识相似度，以便可以利用知识相似度对新旧模型之间的效果进行合理对比，并且根据模型间的知识相似度确定模型的上线策略，能更加可靠的确定效果更好的模型组合，完成召回模型的上线更新，解决了现有的模型上线方法所存在的问题。

Description

模型上线方法、装置、设备及介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种模型上线方法、装置、设备及介质。

背景技术

目前，召回算法模型的优化更迭是算法工程师的核心工作之一。“召回”指的是推荐流程中的一个环节，召回的目的是为了缩小候选内容池的范围，其任务是从海量的候选内容中挑选出可能会引起用户兴趣的一个较小的内容子集，由于不同的召回模型会有不同的侧重点，因此在实际的业务中通常会应用多路召回的形式，即同时使用多种召回模型来拉取数据，以保持推荐内容的多样性，尽可能全面地覆盖到用户的兴趣范围。“召回模型”指的是能够完成召回任务的算法模型，比如用户喜欢看爱情片，则可以挑选10部最热门的爱情片；用户喜欢某位演员，则挑选10部该演员参与的影片，用户看过某电影，我们挑选10部与该电影相关的影片，从而可以得到30部用户可能感兴趣的内容，其中每一种挑选内容的方法都可以看做是一个简单的召回模型，为了尽可能全面地覆盖用户的兴趣，同时使用了多个召回模型，就是所谓的“多路召回”。多路召回会为召回模型的优化带来挑战。通常会依赖线上实验来评估新旧模型的效果差异，但在多路召回场景下，实验的对象不再是新旧模型本身，而是新旧模型组合。举个例子，比如线上有A、B、C三个召回模型，现在新开发了模型D，那么是应该直接增加模型(即A+B+C+D)，还是要替换旧模型(比如A+B+D)呢？

对于上述情况，现有技术通常只能依靠研发人员基于经验做出选择，即研发人员只能基于经验做出选择，然而研发人员的经验并非足够稳定可信，召回组合的可能性非常多，无法合理的、有效的确定效果更好的模型组合。

发明内容

本申请提供了一种模型上线方法、装置、设备及介质，以便可以利用知识相似度对新旧模型之间的效果进行合理对比，确定效果更好的模型组合，完成召回模型的上线更新，解决了现有的模型上线方法所存在的问题。

第一方面，本申请提供了一种模型上线方法，包括：

确定待上线模型，以及所述待上线模型对应的已上线模型；

利用所述待上线模型和所述已上线模型分别对预设的样本数据进行预测，得到所述待上线模型的第一预测结果和所述已上线模型的第二预测结果；

依据所述第一预测结果和所述第二预测结果进行相似度预测，得到所述待上线模型和所述已上线模型之间的知识相似度；

根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型。

可选的，所述利用所述待上线模型和所述已上线模型分别对预设的样本数据进行预测，得到所述待上线模型的第一预测结果和所述已上线模型的第二预测结果，包括：

获取预设的样本数据以及推荐信息，所述样本数据包含至少一个样本对；

利用所述样本数据和所述推荐信息，分别通过所述待上线模型和所述已上线模型进行模型预测，得到每一个所述样本对在所述推荐信息的兴趣信息，所述兴趣信息包含第一兴趣信息和第二兴趣信息；

基于所述第一兴趣信息确定所述第一预测结果，以及基于所述第二兴趣信息确定第二预测结果。

可选的，所述样本对包含正样本和负样本，所述利用所述样本数据和所述推荐信息，分别通过所述待上线模型和所述已上线模型进行模型预测，得到每一个所述样本对在所述推荐信息的兴趣信息，包括：

通过所述待上线模型，分别预测所述正样本和所述负样本在所述推荐信息中的排名，得到所述第一兴趣信息；

通过所述已上线模型，分别预测所述正样本和所述负样本在所述推荐信息中的排名，得到所述第二兴趣信息。

可选的，所述依据所述第一预测结果和所述第二预测结果进行相似度预测，得到所述待上线模型和所述已上线模型之间的知识相似度，包括：

基于所述第一预测结果和所述第二预测结果进行知识表达，得到知识向量信息，所述知识向量信息包含所述第一预测结果对应的第一知识向量和所述第二预测结果对应的第二知识向量；

利用所述第一知识向量和所述第二知识向量进行相似度计算，得到所述知识相似度。

可选的，基于所述第一预测结果和所述第二预测结果进行知识表达，得到知识向量信息，包括：

确定预设的知识向量表达方式；

基于所述知识向量表达方式，分别对所述第一预测结果和所述第二预测结果进行向量计算，得到所述知识向量信息。

可选的，所述知识向量表达方式包含判断表达方式和排名表达方式，所述基于所述知识向量表达方式，分别对所述第一预测结果和所述第二预测结果进行向量计算，得到所述知识向量信息，包括：

在所述知识向量表达方式为判断表达方式的情况下，分别对所述第一预测结果和所述第二预测结果进行兴趣判断，得到所述知识向量信息；

在所述知识向量表达方式为排名表达方式的情况下，分别对所述第一预测结果和所述第二预测结果进行差异排名，得到所述知识向量信息。

可选的，所述获取预设的样本数据，包括：

收集用户反馈信息；

基于所述用户反馈信息进行过滤，得到用户交互内容和用户未交互内容；

基于所述用户交互内容和所述用户未交互内容进行样本构建，得到所述样本数据。

可选的，所述根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型，包括：

获取预设的相似度阈值；

若所述知识相似度不低于所述相似度阈值，则确定所述模型上线策略为替换上线策略；

按照所述替换上线策略，将所述待上线模型替换所述已上线模型；

若所述知识相似度低于所述相似度阈值，则确定所述模型上线策略为组合策略；

按照所述组合策略，将所述待上线模型和所述已上线模型进行组合上线。

第二方面，本申请提供了一种模型上线装置，包括：

模型确定模块，用于确定待上线模型，以及所述待上线模型对应的已上线模型；

预测模块，用于利用所述待上线模型和所述已上线模型分别对预设的样本数据进行预测，得到所述待上线模型的第一预测结果和所述已上线模型的第二预测结果；

相似度预测模块，用于依据所述第一预测结果和所述第二预测结果进行相似度预测，得到所述待上线模型和所述已上线模型之间的知识相似度；

模型上线模块，用于根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型。

第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现如第一方面任一项实施例所述的模型上线方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的模型上线方法的步骤。

综上，本申请实施例通过确定待上线模型，以及待上线模型对应的已上线模型，利用待上线模型和已上线模型分别对预设的样本数据进行预测，得到待上线模型的第一预测结果和已上线模型的第二预测结果，依据第一预测结果和第二预测结果进行相似度预测，得到待上线模型和已上线模型之间的知识相似度，根据知识相似度确定模型上线策略，并按照模型上线策略上线待上线模型。通过评估待上线模型和已上线模型间的知识相似度，以便可以利用知识相似度对新旧模型之间的效果进行合理对比，并且根据模型间的知识相似度确定模型的上线策略，能更加可靠的确定效果更好的模型组合，完成召回模型的上线更新，解决了现有的模型上线方法所存在的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种模型上线方法的流程示意图；

图2是本申请一个可选实施例提供的一种模型上线方法的步骤流程示意图；

图3是本申请一个可选实施例提供的一种模型间相似度确定流程图；

图4是本申请一个可选实施例提供的一种模型的上线更新流程图；

图5为本申请实施例提供的一种模型上线装置的结构框图；

图6是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在相关技术中，通过多路召回模型得到用户可能感兴趣的内容后，利用复杂的用户特征对这些内容做出精准排序，如在召回了30部候选电影内容后，可以使用排序模型对这30部内容进行精确地排序，展示排名最高的10部内容。由于这一步需要使用复杂的用户特征，如果直接对整个内容池的海量电影做排序，则无法快速响应线上的实时请求，因此需要召回模型先缩小内容池范围。如果每做一个新的召回模型就无脑地补充到模型组合里面，会增加后续排序模型的压力，影响性能和效果，因此需要考虑不同召回模型组合的选择问题。现有的模型上线更新方法有两种，其一是由研发人员利用自身的经验去判断哪些模型应该上线更新，其二是利用线上实验资源来验证不同的模型组合的效果差异，从而确定哪些模型应该上线更新。然而，考虑到模型召回组合的可能性非常多，研发人员的经验并非足够稳定可信，由研发人员进行逐一验证，很容易出现模型组合上线不合理的情况；线上实验资源非常珍贵，利用线上实验资源进行逐一验证会造成实验资源的极大浪费。由此可见，现有的模型上线更新方法存在着模型上线不合理和资源浪费的问题。

为解决上述问题，本申请实施例提供了一种模型上线方法、装置、设备及介质，通过确定待上线模型，以及待上线模型对应的已上线模型，利用待上线模型和已上线模型分别对预设的样本数据进行预测，得到待上线模型的第一预测结果和已上线模型的第二预测结果，依据第一预测结果和第二预测结果进行相似度预测，得到待上线模型和已上线模型之间的知识相似度，根据知识相似度确定模型上线策略，并按照模型上线策略上线待上线模型。通过评估待上线模型和已上线模型间的知识相似度，从而可以利用知识相似度对新旧模型之间的效果进行合理对比，并且根据模型间的知识相似度确定模型的上线策略，能更加可靠的确定效果更好的模型组合，完成召回模型的上线更新，无需依赖于研发人员对模型进行逐一比对，从而能够有效降低线上AB实验资源的占用，避免浪费实验资源，有效解决了现有的模型上线方法所存在的问题。

为便于对本申请实施例的理解，下面将结合附图以及具体实施例做进一步的解释说明，实施例并不构成对本申请实施例的限定。

图1为本申请实施例提供的一种模型上线方法的流程示意图。如图1所示，本申请实施例提供的模型上线方法具体可以包括如下步骤：

步骤110，确定待上线模型，以及所述待上线模型对应的已上线模型。

本实施例中，待上线模型可以是指需要进行上线的新模型，已上线模型可以是指已经上线使用的模型，待上线模型可以用于替换已上线模型(即将已上线模型下线)或者用于与已上线模型组合成新的模型组进行使用。

例如，线上已有A、B、C三个已上线的召回模型，其组成的模型组合为A+B+C。现在开发了新的待上线模型D，则可以利用本实施例提供的方法，分别确定三个已上线的召回模型与待上线模型D之间的相似度，根据相似度的大小，确定三个已上线的召回模型与待上线模型D之间的效果差异，以在待上线模型D与已上线的召回模型效果差异较大的情况下，利用待上线模型D与已上线的模型组合A+B+C进一步组合成新的模型组，即模型组A+B+C+D；或者，在待上线模型D与已上线的召回模型效果差异不大的情况下，如待上线模型D与已上线的召回模型C的效果差异不大，则可以用待上线模型D替换召回模型C，组合成新的模型组，即模型组A+B+D。

步骤120，利用所述待上线模型和所述已上线模型分别对预设的样本数据进行预测，得到所述待上线模型的第一预测结果和所述已上线模型的第二预测结果。

具体的，样本数据可以包含正样本和负样本，本申请实施例对此不作限制。具体而言，本实施例可以将样本数据中的正样本和负样本均输入到待上线模型和已上线模型。利用待上线模型分别对输入的正样本和负样本进行预测，输出正样本对应的预测结果和负样本对应的预测结果，以作为第一预测结果；同理，利用已上线模型分别对输入的正样本和负样本进行预测，输出正样本对应的预测结果和负样本对应的预测结果，以作为第二预测结果。

在具体实现中，对于正样本和负样本，本实施例可以预先进行数据采集，以利用采集到的数据进行分析，得到正样本和负样本。例如，以推荐系统为例，可以预先采集用户与推荐系统之间的交互信息，以作为用户反馈信息。如对于视频推荐系统，用户与视频推荐系统之间的交互信息可以包含但不限于用户访问推荐系统产生的展示、点击以及播放等各类交互行为。通过采集用户与视频推荐系统之间的交互信息，以作为采集数据，也称用户反馈信息，利用用户反馈信息分析用户产生过交互的内容和用户未产生过交互的内容，将用户产生过交互的内容作为正样本，并可以将用户未产生过交互的内容作为负样本，本示例对此不作限制，通过从用户的交互行为中采集正负样本，以进行进一步的预测，能够根据预测结果有效确定模型之间的效果差异，即模型相似度。

步骤130，依据所述第一预测结果和所述第二预测结果进行相似度预测，得到所述待上线模型和所述已上线模型之间的知识相似度。

具体的，知识相似度可以用于表征两个模型之间的相似度，根据相似度的高低可以有效确定两个模型之间的效果差异，本申请实施例对此不作限制。

在具体实现中，由于使用的算法不同，各个模型的算法结构通常差异较大，或包含复杂的知识边界，依赖于研究人员的经验去判断模型的相似度并非足够稳定可信。为有效确定模型之间的效果差异，本实施例可以利用模型之间知识的相似度表征模型之间的相似度。具体而言，若两个模型在面对同一问题时，倾向于给出相同的答案，那么这两个模型蕴藏的知识就更加相似，即这两个模型也更加相似。通过将模型的回答结果量化为相似度指标，如对于第一预测结果和第二预测结果，本实施例可以将第一预测结果和第二预测结果进行知识向量表达，根据知识向量表达的结果，确定待上线模型和已上线模型之间的知识相似度。利用样本数据来探测模型的知识边界，实现了模型知识的量化处理，从而使得知识相似度的评估成为可能，进而实现模型之间的相似度评估，由于其实现过程与模型的结构、训练方式等均无关，属于黑盒评估方法，因此可应用至任意领域、任意同任务模型之间进行比较，具有极佳的泛用性。

例如，第一预测结果和第二预测结果，每一个预测结果均包含了模型对于正样本的预测结果和负样本的预测结果，利用每一个模型对应的正样本的预测结果和负样本的预测结果进行知识向量描述，从而确定该模型对应的知识向量，进一步的利用两个模型的知识向量进行相似度计算，从而得到两个模型之间的知识相似度，即待上线模型和已上线模型之间的知识相似度。

步骤140，根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型。

具体的，模型上线策略可以包含但不限于替换上线策略和组合策略，其中，替换上线策略可以是将待上线模型替换已上线模型，即将效果更好的新模型替换已上线模型，完成召回模型的更新；组合策略可以是将待上线模型与已上线模型进行组合上线，从而使得组合模型的使用效果更佳，进而增强用户体验。

具体而言，本实施例可以预设相似度阈值，并可以在知识相似度超过相似度阈值时，确定待上线模型和已上线模型之间的模型相似度较高，模型之间的使用效果差异较小。此时，可以将替换上线策略确定为模型上线策略，根据替换上线策略，将待上线模型替换已上线模型；在知识相似度不超过相似度阈值时，确定待上线模型和已上线模型之间的模型相似度较低，模型之间的使用效果差异较大。此时，可以将组合策略确定为模型上线策略，根据组合策略，将待上线模型与已上线模型进行组合上线。通过评估任意两个模型间的知识相似度，研发人员可根据知识相似度对新旧召回模型做离线评估，如果模型之间的知识相似度超出阈值，则进行替换处理，从而实现在不占用线上实验资源的情况下对实验组合做出可靠的预选，大幅提高实验效率，解决了现有的模型上线方法所存在的问题。

例如，现在线上的召回模型配置为ABC，所有用户来访都是使用这些模型做召回，现在想要上线召回模型D，则可能的模型组合有8种，即模型组合D、模型组合AD、模型组合BD、模型组合CD、模型组合ABD、模型组合ACD、模型组合BCD以及模型组合ABCD。那么哪一种模型组合效果更好呢，现有的模型上线更新方法只能利用线上实验资源进行逐一验证，如对于召回模型配置ABD，为验证召回模型配置ABD的效果，可以随机分流10％的用户，向他们展示ABD的召回结果，而其余的90％用户仍使用召回模型配置ABC，可以对比一段时间内这两组用户的消费效果(比如人均播放时长)，如果被ABD服务的用户产生了更好的消费结果，再调整流量，让100％的用户使用ABD，ABC配置下线。由此可见，验证模型组合的召回是要使用线上流量资源的，同时可以做的实验数量有限，而单次线上AB实验可能要经历数周甚至数月的时间，实验资源非常珍贵。本申请实施例提供的模型上线方法的重点在于，在可能的配置组合有很多种的情况下，如果用AB实验去验证每一种组合太浪费资源，依赖研发人员的经验则不够稳定，因此可以利用本申请实施例提供的模型上线方法对可能的模型组合做一个预选，通过确定待上线模型与已上线模型之间的相似度，根据相似度确定模型上线策略，在待上线模型与已上线模型相似度较高时替换已上线模型，得到新的模型组合；在待上线模型与已上线模型相似度较低时，保留已上线模型并将待上线模型和已上线模型进行组合，得到新的模型组合，对实验组合做出可靠的预选，由于模型组合的预选本身是离线的，不需要实验资源，因此在确定了模型组合的预选后，只需要使用一次线上实验即可完成上线，大幅提高实验效率。

可见，本申请实施例通过确定待上线模型，以及待上线模型对应的已上线模型，利用待上线模型和已上线模型分别对预设的样本数据进行预测，得到待上线模型的第一预测结果和已上线模型的第二预测结果，依据第一预测结果和第二预测结果进行相似度预测，得到待上线模型和已上线模型之间的知识相似度，根据知识相似度确定模型上线策略，并按照模型上线策略上线待上线模型。通过评估待上线模型和已上线模型间的知识相似度，以便可以利用知识相似度对新旧模型之间的效果进行合理对比，并且根据模型间的知识相似度确定模型的上线策略，能更加可靠的确定效果更好的模型组合，完成召回模型的上线更新，解决了现有的模型上线方法所存在的问题。

参照图2，示出了本申请一个可选实施例提供的一种模型上线方法的步骤流程示意图。该模型上线方法具体可以包括如下步骤：

步骤210，确定待上线模型，以及所述待上线模型对应的已上线模型。

在具体实现中，本实施例可以预先收集训练样本数据，利用训练样本数据对待上线模型和已上线模型进行模型训练，得到训练好的模型。例如，参照图3，图3是本申请提供的模型间相似度确定流程图。以视频推荐系统为例，视频推荐系统在为用户提供内容推荐的同时，会记录用户与视频推荐系统进行交互所产生的用户反馈信息，如用户与视频推荐系统产生诸如展示、点击以及播放等各类交互行为时，视频推荐系统都会收集记录下对应的用户反馈。随后可以利用收集到的用户反馈信息生成用于模型训练的训练样本。通过训练样本对待上线模型和已上线模型进行算法模型的训练更新，实现模型训练，得到训练好的待上线模型和已上线模型。

步骤220，获取预设的样本数据以及推荐信息，所述样本数据包含至少一个样本对。

在具体实现中，推荐信息可以包含候选内容集，该候选内容集可以包含至少一个可以推荐给用户的候选内容，也称待推荐内容，如以视频推荐系统为例，该候选内容可以是视频。样本对可以由正样本(即用户产生过或者后续产生过交互的内容)和负样本(即用户未产生过交互的内容)构成，本申请实施例对此不做限制。

在一个可选实施方式中，上述获取预设的样本数据，具体可以包括：收集用户反馈信息；基于所述用户反馈信息进行过滤，得到用户交互内容和用户未交互内容；基于所述用户交互内容和所述用户未交互内容进行样本构建，得到所述样本数据。

以视频推荐系统为例，用户反馈信息除了可以用于生成训练样本外，还可以用于生成评估样本，也即上述样本对。具体而言，通过对用户反馈信息进行过滤，只保留用户与视频推荐系统产生过交互(如播放)的内容，以作为正样本。随后对每一个用户及对应的正样本，执行负样本采样，即随机选择一个该用户没有产生过交互的内容作为负样本，从而得到形如(用户-正样本-负样本)的样本对，共同构成一个评估样本，以作为预设的样本数据。对所有的用户进行聚合，得到用户集合，并对内容进行聚合，得到内容集合，如可以使用U和V表示用户集合和内容集合，将一个用户或一个内容表示为u∈U或v∈V，使用s_u表示用户u交互过的内容集合，则评估样本集合形如： 其中，/>表示用户u产生过交互的第t个内容，也即正样本；/>表示随机采样得到的、用户u没有产生过交互的第t个内容，也即负样本。

进一步而言，本申请实施例还可以对样本数据进行优化，如可以优化样本数据的构造、来源等，从而能够有效提高后续模型知识量化结果的准确性。

步骤230，利用所述样本数据和所述推荐信息，分别通过所述待上线模型和所述已上线模型进行模型预测，得到每一个所述样本对在所述推荐信息的兴趣信息。

其中，所述兴趣信息包含第一兴趣信息和第二兴趣信息。

在具体实现中，一个训练好的召回模型可以接收用户的信息，并根据用户的信息从视频推荐系统中选取一个或多个可以推荐给用户的待推荐的视频内容，也称候选内容，召回模型可以给出候选内容集的一个兴趣排名，召回模型的知识体现在能够将用户感兴趣的内容排到更靠前的位置，而不感兴趣的内容排名相对靠后。因此，本申请实施例可以将样本对和候选内容均输入到待上线模型和已上线模型中，通过模型预测样本数据在候选内容中的排名，也称兴趣排名，将得到的兴趣排名作为兴趣信息。其中，第一兴趣信息为待上线模型输出的兴趣排名，该第一兴趣信息包含待上线模型输出样本对各自在候选内容中的排名；第二兴趣信息为已上线模型输出的兴趣排名，该第二兴趣信息包含已上线模型输出的样本对在候选内容中的排名，本申请实施例对此不做限制。通过两个模型对同一数据进行预测，得到的结果能充分表征模型的知识边界，从而使得模型知识的量化和评估知识相似度成为可能，有效解决算法模型结构差异较大的问题。

在一个可选实施例中，本申请实施例在样本对包含正样本和负样本的情况下，利用所述样本数据和所述推荐信息，分别通过所述待上线模型和所述已上线模型进行模型预测，得到每一个所述样本对在所述推荐信息的兴趣信息，具体可以包括：通过所述待上线模型，分别预测所述正样本和所述负样本在所述推荐信息中的排名，得到所述第一兴趣信息；通过所述已上线模型，分别预测所述正样本和所述负样本在所述推荐信息中的排名，得到所述第二兴趣信息。

在具体实现中，样本对包含正样本和负样本，通过模型对样本对和推荐信息进行模型预测时，可以分别预测样本对中的正样本和负样本各自在候选内容中的排名，也称兴趣排名，将得到的兴趣排名作为兴趣信息。其中，第一兴趣信息可以包含正样本和负样本各自在全部候选内容中的兴趣排名；第二兴趣信息可以也包含正样本和负样本各自在全部候选内容中的兴趣排名。

作为一个示例，参照图3，模型A可以指代已上线模型，模型D可以指代待上线模型，本示例对此不做限制，通过训练好的模型A和模型D分别对每一条评估样本进行预测。具体而言，对于每一个(用户，正样本，负样本)样本对，我们将用户信息输入模型，并使用模型预测正样本和负样本各自在全部候选内容中的排名，以模型A为例，其预测结果可描述为：

。其中，表示模型A预测的对于用户u来说内容/>的兴趣排名，也即正样本在候选内容中的兴趣排名，其取值范围为1到|V|(即内容集合的数量)，/>表示/>的兴趣排名，也即负样本在候选内容中的兴趣排名；同理，对于模型D也可以通过该公式分别计算得到正样本在候选内容中的排名和负样本在候选内容中的兴趣排名。

步骤240，基于所述第一兴趣信息确定所述第一预测结果，以及基于所述第二兴趣信息确定第二预测结果。

具体而言，本实施例可以将第一兴趣信息作为第一预测结果，将第二兴趣信息作为第二预测结果。

步骤250，基于所述第一预测结果和所述第二预测结果进行知识表达，得到知识向量信息。

其中，所述知识向量信息包含所述第一预测结果对应的第一知识向量和所述第二预测结果对应的第二知识向量。

在具体实现中，本实施例可以利用第一预测结果和第二预测结果进行知识表达，如可以将第一预测结果和第二预测结果进行量化，以知识向量的方式表征描述第一预测结果和第二预测结果，得到第一知识向量和第二知识向量，从而能够实现模型知识的量化处理，进而能够在后续实现模型间的知识相似度评估。

可选的，上述基于所述第一预测结果和所述第二预测结果进行知识表达，得到知识向量信息，可以包含以下子步骤：

子步骤2501，确定预设的知识向量表达方式。

在具体实现中，为实现知识向量表达，本实施例中知识向量可以包含但不限于基于判断的知识向量(JKV，Judge-Based Knowledge Vector)和基于排名的知识向量(RKV，Rank-BasedKnowledge Vector)，对应的知识向量的表达方式可以包含但不限于判断表达方式(对应JKV)和排名表达方式(对应RKV)。

子步骤2502，基于所述知识向量表达方式，分别对所述第一预测结果和所述第二预测结果进行向量计算，得到所述知识向量信息。

在具体实现中，本申请实施例可以基于知识向量表达方式分别对第一预测结果和第二预测结果进行向量计算，得到知识向量信息。具体而言，对于第一预测结果包含的正样本和负样本各自在全部候选内容中的兴趣排名，可以利用知识向量表达方式分别对正样本的兴趣排名和负样本的兴趣排名进行知识向量表达，得到第一预测结果对应正样本的知识向量和负样本的知识向量；同理，对于第二预测结果包含的正样本和负样本各自在全部候选内容中的兴趣排名，也可以利用知识向量表达方式分别进行知识向量表达，得到第二预测结果对应正样本的知识向量和负样本的知识向量，基于第一预测结果对应正样本的知识向量和负样本的知识向量、第二预测结果对应正样本的知识向量和负样本的知识向量，生成知识向量信息。

在一个可选实施方式中，在知识向量表达方式包含判断表达方式和排名表达方式的情况下，上述基于所述知识向量表达方式，分别对所述第一预测结果和所述第二预测结果进行向量计算，得到所述知识向量信息，具体可以包括：在所述知识向量表达方式为判断表达方式的情况下，分别对所述第一预测结果和所述第二预测结果进行兴趣判断，得到所述知识向量信息；在所述知识向量表达方式为排名表达方式的情况下，分别对所述第一预测结果和所述第二预测结果进行差异排名，得到所述知识向量信息。

作为一个示例，参照图3，本实施例在得到了每个模型在每一条评估样本上的预测结果后，便可以进一步计算出每个模型的知识向量表达，为实现知识向量量化，本示例提供了两种知识向量表达方案，分别为基于判断的知识向量和基于排名的知识向量。这两种向量的差异体现在每一维取值的计算方式不同，JKV仅关注模型是否将正样本排在了负样本的前面，而RKV会同时关注具体排名的差异大小。通过利用不同的知识向量表达方法，每一种知识向量表达方法各有侧重，实现者可以基于实际业务场景进行选择使用，适用范围广。

以模型A为例，使用JKV的知识向量表达方式，其知识向量可描述为：

使用RKV的知识向量表达方式，其知识向量可描述为：

需要说明的是，除了上述JKV和RKV两种知识向量表达方式外，本实施例还可以利用其他知识向量表达方式表征模型的知识，本申请实施例对此不做限制。

步骤260，利用所述第一知识向量和所述第二知识向量进行相似度计算，得到所述知识相似度。

在具体实现中，本申请实施例得到待上线模型和已上线模型的知识向量后，可以利用两个模型的知识向量进行相似度计算，如可以利用知识向量计算余弦相似度，从而得到两个模型之间的知识相似度，实现了模型间相似度的评估。

作为一个示例，参照图4，当前已上线模型有A、B以及C三个召回模型，需要上线新模型D，即新召回模型。通过利用知识向量表征和相似度计算的方法，即可实现计算新召回模型D与其他召回模型之间的知识相似度。具体而言，推荐系统存在线上配置(即当前正在服务用户的模型配置)，以图4中所示即为召回模型A+B+C，也即已上线模型，用户来访后将由这些模型提供推荐结果。同时，研发人员会利用推荐系统收集到的用户反馈开发新的召回模型，此处假设有新召回模型D，也即待上线模型。为了测试新召回的效果，可以确定一种模型组合以用于线上AB实验。利用知识相似度计算方法，可以分别利用本方法计算出召回模型A、B和C以及新召回模型D之间的知识相似度。

需要说明的是，本实施例中模型间的知识相似度的确定过程与模型的结构、训练方式等均无关，属于黑盒评估方法，因此可应用至任意领域、任意同任务模型之间进行比较，不限制模型，也不限于多路召回下的配置选择场景，具有极佳的泛用性。

步骤270，根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型。

在具体实现中，为确保模型下线之后，新上线的模型能在已上线模型的基础上提高用户体验，避免相似度较小、效果差异较大的已上线模型被替换，本实施例可以预设一个知识相似度阈值，在得到模型间的知识相似度后，通过判断知识相似度与知识相似度阈值之间的大小，确定模型之间的效果差异。具体而言，在知识相似度超过知识相似度阈值时，可以确定已上线模型和待上线模型的相似度较高，模型之间的效果差异小，此时可以将待上线模型替换已上线模型，与其他效果差异大的已上线模型继续组合成新的模型组，进行使用；在知识相似度没有超过知识相似度阈值时，可以确定已上线模型和待上线模型的相似度较小，模型之间的效果差异大，此时可以将待上线模型与已上线模型进行组合使用。从而实现了在有限的资源下更加合理的进行模型选择，无需占用线上实验资源的情况下对实验组合做出可靠的预选，减少实验资源的浪费，大幅提高实验效率，并且避免单纯依赖于研发人员的经验进行模型选择所导致的问题。

在一个可选实施方式中，上述根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型，具体可以包括：获取预设的相似度阈值；若所述知识相似度不低于所述相似度阈值，则确定所述模型上线策略为替换上线策略；按照所述替换上线策略，将所述待上线模型替换所述已上线模型；若所述知识相似度低于所述相似度阈值，则确定所述模型上线策略为组合策略；按照所述组合策略，将所述待上线模型和所述已上线模型进行组合上线。

作为一个示例，参照图4，假设召回模型A与新召回模型D之间的相似度为0.3，召回模型B与新召回模型D之间的相似度为0.4，召回模型C与新召回模型D之间的相似度为0.7。在相似度阈值设置为0.6的情况下，则可以确定召回模型A和召回模型B与新召回模型D之间的相似度较低，模型效果差异大，因此可以保留召回模型A和召回模型B，同时使用新召回模型D替换掉召回模型C，得到实验配置模型A+B+D，进而通过线上AB实验完成两套配置的效果对比，如果实验配置的效果更好，则使用实验配置替换线上配置，完成召回模型的更新。

综上，本申请实施例通过确定待上线模型，以及待上线模型对应的已上线模型，获取预设的样本数据以及推荐信息，样本数据包含至少一个样本对，随后利用样本数据和推荐信息，分别通过待上线模型和已上线模型进行模型预测，得到每一个样本对在推荐信息的兴趣信息，以基于第一兴趣信息确定第一预测结果，以及基于第二兴趣信息确定第二预测结果，基于第一预测结果和第二预测结果进行知识表达，得到知识向量信息，根据知识相似度确定模型上线策略，并按照模型上线策略上线待上线模型，能够有效实现利用知识相似度对新旧模型之间的效果进行合理对比，而无需考虑模型之间的结构差异和训练方式等情况，并且根据模型间的知识相似度确定模型的上线策略，能更加可靠的确定效果更好的模型组合，完成召回模型的下线/上线更新，减少线上实验资源的浪费，在不占用线上实验资源的情况下对实验组合做出可靠的预选，大幅提高实验效率，解决了现有的模型上线方法所存在的问题。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。

如图5所示，本申请实施例还提供了一种模型上线装置500，包括：

模型确定模块510，用于确定待上线模型，以及所述待上线模型对应的已上线模型；

预测模块520，用于利用所述待上线模型和所述已上线模型分别对预设的样本数据进行预测，得到所述待上线模型的第一预测结果和所述已上线模型的第二预测结果；

相似度预测模块530，用于依据所述第一预测结果和所述第二预测结果进行相似度预测，得到所述待上线模型和所述已上线模型之间的知识相似度；

模型上线模块540，用于根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型。

可选的，所述预测模块520，包括：

获取子模块，用于获取预设的样本数据以及推荐信息，所述样本数据包含至少一个样本对；

模型预测子模块，用于利用所述样本数据和所述推荐信息，分别通过所述待上线模型和所述已上线模型进行模型预测，得到每一个所述样本对在所述推荐信息的兴趣信息，所述兴趣信息包含第一兴趣信息和第二兴趣信息；

预测结果确定子模块，用于基于所述第一兴趣信息确定所述第一预测结果，以及基于所述第二兴趣信息确定第二预测结果。

可选的，所述模型预测子模块，包括：

第一预测单元，用于通过所述待上线模型，分别预测所述正样本和所述负样本在所述推荐信息中的排名，得到所述第一兴趣信息；

第二预测单元，用于通过所述已上线模型，分别预测所述正样本和所述负样本在所述推荐信息中的排名，得到所述第二兴趣信息。

可选的，所述相似度预测模块530，包括：

知识表达子模块，用于基于所述第一预测结果和所述第二预测结果进行知识表达，得到知识向量信息，所述知识向量信息包含所述第一预测结果对应的第一知识向量和所述第二预测结果对应的第二知识向量；

相似度计算子模块，用于利用所述第一知识向量和所述第二知识向量进行相似度计算，得到所述知识相似度。

可选的，所述知识表达子模块，包括：

知识向量表达式确定单元，用于确定预设的知识向量表达方式；

向量计算单元，用于基于所述知识向量表达方式，分别对所述第一预测结果和所述第二预测结果进行向量计算，得到所述知识向量信息。

可选的，所述知识向量表达方式包含判断表达方式和排名表达方式，所述向量计算单元，包括：

兴趣判断子单元，用于在所述知识向量表达方式为判断表达方式的情况下，分别对所述第一预测结果和所述第二预测结果进行兴趣判断，得到所述知识向量信息；

差异排名子单元，用于在所述知识向量表达方式为排名表达方式的情况下，分别对所述第一预测结果和所述第二预测结果进行差异排名，得到所述知识向量信息。

可选的，所述获取子模块，包括：

收集单元，用于收集用户反馈信息；

过滤单元，用于基于所述用户反馈信息进行过滤，得到用户交互内容和用户未交互内容；

样本构建单元，用于基于所述用户交互内容和所述用户未交互内容进行样本构建，得到所述样本数据。

可选的，所述模型上线模块540，包括：

相似度阈值获取模块，用于获取预设的相似度阈值；

上线子模块，用于在所述知识相似度不低于所述相似度阈值时，确定所述模型上线策略为替换上线策略；按照所述替换上线策略，将所述待上线模型替换所述已上线模型；在所述知识相似度低于所述相似度阈值时，确定所述模型上线策略为组合策略；按照所述组合策略，将所述待上线模型和所述已上线模型进行组合上线。

需要说明的是，本申请实施例提供的模型上线装置可执行本申请任意实施例所提供的模型上线方法，具备执行方法相应的功能和有益效果。

在具体实现中，上述模型上线装置可以集成在设备中，使得该设备可以确定待上线模型和已上线模型之间的知识相似度，以基于知识相似度确定模型上线策略，进而对待上线模型进行模型上线，作为电子设备，实现合理进行召回模型的上线更新。该电子设备可以是由两个或多个物理实体构成，也可以是一个物理实体构成，如电子设备可以是个人计算机(Personal Computer，PC)、电脑、服务器等，本申请实施例对此不作具体限制。

如图6所示，本申请实施例提供提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信；存储器113，用于存放计算机程序；处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的模型上线方法的步骤。示例性的，方法的步骤可以包括如下步骤：确定待上线模型，以及所述待上线模型对应的已上线模型；利用所述待上线模型和所述已上线模型分别对预设的样本数据进行预测，得到所述待上线模型的第一预测结果和所述已上线模型的第二预测结果；依据所述第一预测结果和所述第二预测结果进行相似度预测，得到所述待上线模型和所述已上线模型之间的知识相似度；根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的模型上线方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种模型上线方法，其特征在于，包括：

确定待上线模型，以及所述待上线模型对应的已上线模型；

利用所述待上线模型和所述已上线模型分别对预设的样本数据进行预测，得到所述待上线模型的第一预测结果和所述已上线模型的第二预测结果；

依据所述第一预测结果和所述第二预测结果进行相似度预测，得到所述待上线模型和所述已上线模型之间的知识相似度；

根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型。

2.根据权利要求1所述的方法，其特征在于，所述利用所述待上线模型和所述已上线模型分别对预设的样本数据进行预测，得到所述待上线模型的第一预测结果和所述已上线模型的第二预测结果，包括：

获取预设的样本数据以及推荐信息，所述样本数据包含至少一个样本对；

利用所述样本数据和所述推荐信息，分别通过所述待上线模型和所述已上线模型进行模型预测，得到每一个所述样本对在所述推荐信息的兴趣信息，所述兴趣信息包含第一兴趣信息和第二兴趣信息；

基于所述第一兴趣信息确定所述第一预测结果，以及基于所述第二兴趣信息确定第二预测结果。

3.根据权利要求2所述的方法，其特征在于，所述样本对包含正样本和负样本，所述利用所述样本数据和所述推荐信息，分别通过所述待上线模型和所述已上线模型进行模型预测，得到每一个所述样本对在所述推荐信息的兴趣信息，包括：

通过所述待上线模型，分别预测所述正样本和所述负样本在所述推荐信息中的排名，得到所述第一兴趣信息；

通过所述已上线模型，分别预测所述正样本和所述负样本在所述推荐信息中的排名，得到所述第二兴趣信息。

4.根据权利要求1所述的方法，其特征在于，所述依据所述第一预测结果和所述第二预测结果进行相似度预测，得到所述待上线模型和所述已上线模型之间的知识相似度，包括：

基于所述第一预测结果和所述第二预测结果进行知识表达，得到知识向量信息，所述知识向量信息包含所述第一预测结果对应的第一知识向量和所述第二预测结果对应的第二知识向量；

利用所述第一知识向量和所述第二知识向量进行相似度计算，得到所述知识相似度。

5.根据权利要求4所述的方法，其特征在于，基于所述第一预测结果和所述第二预测结果进行知识表达，得到知识向量信息，包括：

确定预设的知识向量表达方式；

基于所述知识向量表达方式，分别对所述第一预测结果和所述第二预测结果进行向量计算，得到所述知识向量信息。

6.根据权利要求5所述的方法，其特征在于，所述知识向量表达方式包含判断表达方式和排名表达方式，所述基于所述知识向量表达方式，分别对所述第一预测结果和所述第二预测结果进行向量计算，得到所述知识向量信息，包括：

在所述知识向量表达方式为判断表达方式的情况下，分别对所述第一预测结果和所述第二预测结果进行兴趣判断，得到所述知识向量信息；

在所述知识向量表达方式为排名表达方式的情况下，分别对所述第一预测结果和所述第二预测结果进行差异排名，得到所述知识向量信息。

7.根据权利要求2所述的方法，其特征在于，所述获取预设的样本数据，包括：

收集用户反馈信息；

基于所述用户反馈信息进行过滤，得到用户交互内容和用户未交互内容；

基于所述用户交互内容和所述用户未交互内容进行样本构建，得到所述样本数据。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型，包括：

获取预设的相似度阈值；

若所述知识相似度不低于所述相似度阈值，则确定所述模型上线策略为替换上线策略；

按照所述替换上线策略，将所述待上线模型替换所述已上线模型；

若所述知识相似度低于所述相似度阈值，则确定所述模型上线策略为组合策略；

按照所述组合策略，将所述待上线模型和所述已上线模型进行组合上线。

9.一种模型上线装置，其特征在于，包括：

模型确定模块，用于确定待上线模型，以及所述待上线模型对应的已上线模型；

预测模块，用于利用所述待上线模型和所述已上线模型分别对预设的样本数据进行预测，得到所述待上线模型的第一预测结果和所述已上线模型的第二预测结果；

相似度预测模块，用于依据所述第一预测结果和所述第二预测结果进行相似度预测，得到所述待上线模型和所述已上线模型之间的知识相似度；

模型上线模块，用于根据所述知识相似度确定模型上线策略，并按照所述模型上线策略上线所述待上线模型。

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的模型上线方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的模型上线方法的步骤。