CN112418439A - 模型使用方法、装置、存储介质及设备 - Google Patents

Abstract

本公开实施例公开了模型使用方法、装置、存储介质及设备。该方法包括：检测到预设版本探测事件被触发时，向联邦学习系统的第二参与者发送模拟用户中间请求，用于指示第二参与者根据模拟用户中间请求中的目标版本信息对模拟用户中间请求进行处理，接收第二参与者反馈的模拟用户中间请求处理结果，根据模拟用户中间请求处理结果确定目标版本在第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。本公开实施例通过采用上述技术方案，可以保证联邦学习系统中的第一参与者和第二参与者能够基于相同版本的模型进行实验或应用，避免采用人工协商方式，保证确定版本一致性过程的效率和准确性。

Description

模型使用方法、装置、存储介质及设备

技术领域

本公开实施例涉及计算机技术领域，尤其涉及模型使用方法、装置、存储介质及设备。

背景技术

联邦学习(Federated Learning)是一种新兴的人工智能基础技术，有望成为下一代人工智能协同算法和协作网络的基础。作为分布式的机器学习范式，联邦学习能够有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，挖掘数据价值。近年来，联邦学习技术发展迅速，已经在电商、金融以及教育等各种行业中得到应用。

在联邦学习的场景下，经过前期的离线模型训练后，联邦的双方或多方参与者都需要将各自训练完成的模型在线进行投放，进行实际投放效果的验证或者进行实际应用。联邦学习模型一般会经过更新完善的过程，因此，联邦学习模型会涉及版本的升级或更新，在实验阶段和应用阶段，均需要保证参与者所应用的模型版本的一致性。现有技术中，参与者需要通过人工离线协商模型版本，效率低下且容易出错，需要改进。

发明内容

本公开实施例提供了模型使用方法、装置、存储介质及设备，可以优化现有的联邦学习方案。

第一方面，本公开实施例提供了一种模型使用方法，应用于联邦学习系统的第一参与者，所述方法包括：

检测到预设版本探测事件被触发时，向所述联邦学习系统的第二参与者发送模拟用户中间请求，用于指示所述第二参与者根据所述模拟用户中间请求中的目标版本信息对所述模拟用户中间请求进行处理；

接收所述第二参与者反馈的模拟用户中间请求处理结果；

根据所述模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。

第二方面，本公开实施例提供了一种模型使用装置，集成于联邦学习系统的第一参与者，所述装置包括：

模拟用户中间请求发送模块，用于检测到预设版本探测事件被触发时，向所述联邦学习系统的第二参与者发送模拟用户中间请求，用于指示所述第二参与者根据所述模拟用户中间请求中的目标版本信息对所述模拟用户中间请求进行处理；

处理结果接收模块，用于接收所述第二参与者反馈的模拟用户中间请求处理结果；

模型使用模块，用于根据所述模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。

第三方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例提供的模型使用方法。

第四方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本公开实施例提供的模型使用方法。

本公开实施例中提供的模型使用方案，应用于联邦学习系统的第一参与者，检测到预设版本探测事件被触发时，向联邦学习系统的第二参与者发送模拟用户中间请求，用于指示第二参与者根据模拟用户中间请求中的目标版本信息对模拟用户中间请求进行处理，接收第二参与者反馈的模拟用户中间请求处理结果，根据模拟用户中间请求处理结果确定目标版本在第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。通过采用上述技术方案，联邦学习系统中的第一参与者可以在目标版本投入实验或使用之前，自动采用模拟用户中间请求的方式探测第二参与者侧的目标版本是否已经准备完毕，在准备完毕后，再将目标版本投入实验或使用，保证第一参与者和第二参与者能够基于相同版本的模型进行实验或应用，避免采用人工协商方式，保证确定版本一致性过程的效率和准确性。

附图说明

图1为本公开实施例提供的一种模型使用方法的流程示意图；

图2为本公开实施例提供的一种模型使用方法的流程示意图；

图3为本公开实施例提供的一种模型使用方法的流程示意图；

图4为本公开实施例提供的一种确定模型版本一致性过程的示意图；

图5为本公开实施例提供的一种分桶实验过程的示意图；

图6为本公开实施例提供的一种模型使用装置的结构框图；

图7为本公开实施例提供的一种计算机设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。

为了便于理解本公开实施例，下面对联邦学习相关内容进行介绍。联邦学习系统中一般可以包括两个或更多的参与者，不同的参与者可以认为是不同的数据拥有方，联邦学习系统中的各参与者联合训练一个联邦学习模型，各参与者分别拥有各自用户的相关数据，出于数据隐私保护和安全考虑，各参与者之间不会直接进行所有数据的交换，可以采用加密形式交互模型训练过程所需的中间结果。

本公开实施例中，第一参与者可理解为联邦学习系统中能够直接接收用户请求的参与者，第一参与者可以采用本侧拥有的联邦学习模型部分对接收到的用户请求进行处理，得到用户中间请求，该用户中间请求中可以包含本侧拥有的联邦学习模型部分输出的单塔的中间数据(如embedding数据)，还可包括模型版本等信息，模型版本信息中可包括具体的模型名称和版本号等。第一参与者可以将用户中间请求发送至第二参与者，第二参与者可理解为联邦学习系统中能够接收到第一参与者发送的用户中间请求的参与者，第二参与者一般可拥有模型需要预测的标签数据。第二参与者的具体数量不做限定，为了便于说明，本公开实施例中站在任意一个第二参与者的角度进行后续说明。

本公开实施例中，对具体的应用场景不做限定，例如可包括但不限于如电商、金融以及教育等行业内的需要双方或多方协作的应用场景。

图1为本公开实施例提供的一种模型使用方法的流程示意图，该方法可以由模型使用装置执行，其中该装置可由软件和/或硬件实现，一般可集成在如服务器等计算机设备中。如图1所示，该方法包括：

步骤101、检测到预设版本探测事件被触发时，向所述联邦学习系统的第二参与者发送模拟用户中间请求，用于指示所述第二参与者根据所述模拟用户中间请求中的目标版本信息对所述模拟用户中间请求进行处理。

示例性的，目标版本可以是联邦学习模型的初始版本(如版本1)，也可以是后续更新的待升级版本(如版本2、版本3或更高级的版本)。对不同版本之间的差异不做限定，例如可以包括模型结构不同或模型参数不同等。本步骤可以在联邦学习模型的目标版本上线之前进行，联邦学习模型的目标版本上线之前，可理解为目标版本的联邦学习模型正式投入使用之前，正式投入使用可以包括在线实验阶段和在线应用阶段等，具体不做限定。在目标版本上线之前，第一参与者也可以接收到真实用户请求，此时的真实用户请求可以采用非联邦学习模型的处理逻辑进行处理，也可以采用当前版本(非目标版本)的联邦学习模型进行处理，具体不做限定。

本公开实施例中，预设版本探测事件可以理解为离线脚本探测事件，也即在离线阶段采用运行脚本的方式进行版本探测，预设版本探测事件的触发条件可以根据实际需求进行设置。示例性的，当联邦学习模型训练好之后，第一参与者侧和第二参与者侧就可以开始加载(load)模型，经过一定时间之后，第一参与者侧可以触发预设版本探测事件。可选的，检测到预设版本探测事件被触发可包括：检测到当前时刻距离目标版本开始加载时刻之间的时长达到第一预设时长。第一预设时长可以根据实际情况确定，如参考模型的规模以及加载速度等。目标版本开始加载时刻具体可以是第一参与者侧开始加载目标版本的时间，或者第二参与者告知第一参与者的第二参与者侧开始加载目标版本的时间等，具体不做限定。

示例性的，第一参与者在检测到预设版本探测事件被触发时，可以构建模拟用户请求，采用本侧拥有的目标版本的联邦学习模型部分对所构建的模拟用户请求进行处理，得到模拟用户中间请求，并将模拟用户中间请求发送至第二参与者。其中，构建模拟用户请求可以是采用真实用户信息构建模拟用户请求，真实用户信息例如可包括真实用户的一些关键信息，如用户账号、用户所使用设备的设备号以及用户的历史行为数据等等，可根据实际业务场景进行设置。利用真实用户信息模拟出用户针对第一参与者的访问，进而得到对应的模拟用户中间请求，可以使第二参与者在不需要进行改动(如增加处理逻辑或增加额外的设备等)的情况下将模拟用户中间请求按照正常的真实用户中间请求处理，也即第一参与者侧的预设版本探测事件对于第二参与者来说是无感知的，从而有效控制版本探测所带来的成本，并提升方案的可实施性。

示例性的，第一参与者在检测到预设版本探测事件被触发之前，也可预先生成模拟用户中间请求，在检测到预设版本探测事件被触发时，直接发送模拟用户中间请求至第二参与者，进一步提升版本探测效率。

示例性的，用户中间请求中包含第一参与者所采用的联邦学习模型的版本信息。在需要针对目标版本进行探测时，模拟用户中间请求中可以包含目标版本信息，也即包含目标版本对应的版本信息，第二参与者在接收到模拟用户中间请求后，可以根据其中的目标版本信息尝试对模拟用户中间请求进行处理，例如查找到本侧的目标版本对应的联邦学习模型部分，并将模拟用户中间请求对应的中间结果输入至所查找到的模型中。

步骤102、接收所述第二参与者反馈的模拟用户中间请求处理结果。

示例性的，模拟用户中间请求处理结果可以根据第一参与者和第二参与者预先协商好的实际业务逻辑确定，例如可包含用于表示处理结果是否成功的标识信息，可包含处理结果详情信息，也可以包含具体的处理结果数据等等，具体不做限定。

步骤103、根据所述模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。

示例性的，目标版本在第二参与者侧准备完毕也可理解为目标版本在第二参与者侧加载成功，具体的衡量标准可根据实际需求设置。例如，当第一参与者接收到的模拟用户中间请求处理结果中包含处理成功的相关信息时，可认为目标版本在第二参与者侧准备完毕。在确定目标版本在第二参与者侧准备完毕后，第一参与者可以上线目标版本，在上线目标版本后，可采用目标版本的联邦学习模型处理正常的用户请求。例如，若目标版本为初始版本，则在接收到真实的用户请求时，便可以采用联邦学习模型对该用户请求进行处理；若目标版本为升级版本，则在接收到真实的用户请求时，便可以切换到采用目标版本的联邦学习模型对该用户请求进行处理。

本公开实施例中提供的模型使用方法，应用于联邦学习系统的第一参与者，检测到预设版本探测事件被触发时，向联邦学习系统的第二参与者发送模拟用户中间请求，用于指示第二参与者根据模拟用户中间请求中的目标版本信息对模拟用户中间请求进行处理，接收第二参与者反馈的模拟用户中间请求处理结果，根据模拟用户中间请求处理结果确定目标版本在第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用，也即上线目标版本。通过采用上述技术方案，第一参与者可以在目标版本上线之前，自动采用模拟用户中间请求的方式探测第二参与者侧的目标版本是否已经准备完毕，在准备完毕后，再上线目标版本，保证第一参与者和第二参与者能够基于相同版本的模型进行实验或应用，避免采用人工协商方式，保证确定版本一致性过程的效率和准确性。

在一些实施例中，第二参与者侧可以采用分布式部署方式，因此，可能需要在第二参与者侧的多个设备中均加载目标版本，第二参与者侧在接收到模拟用户中间请求后，可能将模拟用户中间请求分配至某个设备，在该设备上尝试对模拟用户中间请求进行处理，若该设备中目标版本已经加载成功，则一般能够正常处理，处理结果一般为成功，但并不能代表第二参与者侧的所有设备均已成功加载目标版本。可选的，第一参与者可以向第二参与者发送预设次数的模拟用户中间请求，进而接收预设数量的模拟用户中间请求处理结果，根据预设数量的模拟用户中间请求处理结果进行综合分析评估，确定目标版本是否在第二参与者侧准备完毕。其中，每次发送的模拟用户中间请求一般不同，例如可以对应不同真实用户信息构建的模拟用户请求，此时，所选取的用户数量可以与模拟用户中间请求的数量一致，具体数量不做限定。

在一些实施例中，所述接收所述第二参与者反馈的模拟用户中间请求处理结果，包括：接收所述第二参与者反馈的针对所述模拟用户中间请求的处理结果标识，其中，当所述第二参与者根据所述目标版本信息在本侧匹配到所述目标版本时，所述处理结果标识为成功，当所述第二参与者根据所述目标版本信息在本侧未匹配到所述目标版本时，所述处理结果标识为失败；所述根据模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕，包括：根据预设数量的处理结果标识统计成功率或失败率；当所述成功率大于预设成功率阈值或所述失败率小于预设失败率阈值时，确定所述目标版本在所述第二参与者侧准备完毕。这样设置的好处在于，通过对处理结果的标识进行统计，并计算成功率或失败率，可以快速准确地确定第二参与者侧是否已成功加载目标版本。其中，预设成功率阈值和预设失败率阈值可以根据实际情况设置，具体不做限定。示例性的，在计算出成功率或失败率后，判断成功率是否大于预设成功率阈值，或判断失败率是否小于预设失败率阈值，若成功率较高或失败率较低，则可说明绝大部分的模拟用户中间请求能够得到正常处理，可认为目标版本在所述第二参与者侧准备完毕。

在一些实施例中，还可包括：当所述成功率小于或等于预设成功率阈值，或者，所述失败率大于或等于预设失败率阈值时，确定预设时段内所述预设版本探测事件的触发次数，若所述触发次数小于或等于预设触发次数阈值，则重复触发所述预设版本探测事件。这样设置的好处在于，模型加载过程可能会受到各种因素的影响，导致加载时长超过预期，但通过延长时间，有一定的概率是可以加载成功的，多次探测，避免过早报错或人工介入，可有效控制人力等成本。预设触发次数阈值可根据实际需求设置。可选的，任意两次触发预设版本探测事件后，所采用的模拟用户中间请求可以是不同的。例如，第一次触发预设版本探测事件后，选取K个用户，用于构建模拟用户中间请求；第二次触发预设版本探测事件后，重新选取另外K个用户，用于构建模拟用户中间请求。可选的，若所述触发次数小于或等于预设触发次数阈值，则重复触发所述预设版本探测事件，可具体包括：若所述触发次数小于或等于预设触发次数阈值，则经过预设等待时间后，重复触发所述预设版本探测事件。其中，预设等待时间可以自由设置，例如可以是30秒。

在一些实施例中，在所述确定预设时段内所述预设版本探测事件的触发次数之后，还包括：若所述触发次数大于预设触发次数阈值，则停止触发所述预设版本探测事件，并进行版本准备异常提醒操作。这样设置的好处在于，在多次尝试探测失败后，说明本次模型加载过程可能出现问题，进行版本准备异常提醒操作，以便相关人员能够针对模型重新加载(reload)问题进行沟通或查找异常原因，提高目标版本上线效率以及上线成功率。其中，进行版本准备异常提醒操作的具体方式不做限定，例如可以是向相关人员或相关设备发送包含版本准备异常提醒信息的消息等。

在一些实施例中，使用所述目标版本的联邦学习模型进行应用，可包括：向所述第二参与者发送真实用户中间请求，用于指示所述第二参与者根据所述真实用户中间请求中的目标版本信息对所述真实用户中间请求进行处理；接收所述第二参与者反馈的真实用户中间请求处理结果；根据所述真实用户中间请求处理结果确定所述目标版本在所述第二参与者侧出现异常时，进行当前版本异常提醒操作。这样设置的好处在于，在目标版本上线以后，可以在线进一步保证第一参与者与第二参与者之间的模型版本一致性。在上线后，目标版本的联合学习模型在使用过程中，一些线上请求也可能会有一些异常返回，可能是模型本身出现问题，也可能是一些相关服务的问题，导致线上请求无法被正常处理。可以增加对第二参与者返回的真实用户中间请求处理结果的监控，如果真实用户中间请求处理结果出现异常的次数达到相应的预设次数阈值时，确定目标版本在第二参与者侧出现异常，进而进行当前版本异常提醒操作，方便相关人员进行针对性处理。其中，进行当前版本异常提醒操作的具体方式不做限定，例如可以是向相关人员或相关设备发送包含当前版本异常提醒信息的消息等。

图2为本公开实施例提供的一种模型使用方法的流程示意图，在上述各可选实施例基础上，针对分桶实验阶段进行进一步优化。在联邦学习的场景下，经过前期的离线模型训练后，联邦的双方或多方都需要在线进行投放进行实际投放效果的验证，在联邦学习模型的投放过程中，联合实验的双方或多方保证模型版本的一致性非常重要，可以采用上述各可选实施例的方案来实现。另外，在实验过程，还需要保证联邦的双方或多方所采用的实验参数一致。在现有技术中，一般仅支持第一参与者，也即能够直接接收用户请求的参与者进行实验参数的设定，其他参与者被动接收第一参与者发送的实验参数，相当于单侧进行实验，灵活性较差，其他参与者无法进行针对本侧需求的实验，实验效果并不理想。本公开实施例中，可以在保证模型版本一致性基础上，允许其他参与者进行实验参数设定，这里的其他参与者以上述第二参与者为例进行说明。

示例性的，该方法可包括：

步骤201、检测到预设版本探测事件被触发。

步骤202、向联邦学习系统的第二参与者发送预设次数的模拟用户中间请求，用于指示第二参与者根据每个模拟用户中间请求中的目标版本信息对模拟用户中间请求进行处理。

步骤203、接收第二参与者反馈的预设数量的针对模拟用户中间请求的处理结果标识。

步骤204、根据预设数量的处理结果标识统计失败率。

步骤205、判断失败率是否小于预设失败阈值，若是，则执行步骤206；否则，执行步骤207。

步骤206、确定目标版本在第二参与者侧准备完毕，上线目标版本，执行步骤210。

步骤207、判断预设时段内预设版本探测事件的触发次数是否大于预设触发次数阈值，若是，则执行步骤208；否则，执行步骤209。

步骤208、经过预设等待时间后，重复触发预设版本探测事件，并返回执行步骤201。

步骤209、停止触发预设版本探测事件，并进行版本准备异常提醒操作。

步骤210、接收到分桶实验用户请求时，向第二参与者发送分桶实验用户请求对应的分桶参考信息，分桶参考信息用于指示第二参与者根据分桶参考信息设定分桶实验用户请求对应的分桶参数信息。

示例性的，分桶实验用户请求可以是真实的用户请求，也可以是模拟的用户请求，对此不做限定。第一参与者在收到用户请求后，可以向第二参与者发送该分桶实验用户请求对应的分桶参数获取请求，该分桶参数获取请求中可以包含分桶参考信息，供第二参与者根据分桶参考信息设定分桶参数。这里的分桶参数可以理解为分桶实验的实验参数。分桶实验又称AB实验，实验目的可以理解为给定环境中存在一处不同时得知主体反应会有什么变化，在进行分桶实验时，需要对流量进行分配，一般需要采用一定的规则将用户均匀地分配到两个或多个实验桶中。第一参与者和第二参与者可以提前协商好不同实验桶的类型，以4个实验桶为例，分别记为A、B、C和D，可以提前商定A桶和B桶作为对照(base)组，C桶和D桶作为实验组。其中，可以是对照组对应不采用联邦学习模型的传统处理逻辑，实验组对应采用联邦学习模型(本公开实施例中，这里可以是目标版本的联邦学习模型)的处理逻辑；也可以是，对照组对应历史版本的联邦学习模型的处理逻辑，实验组对应目标版本的联邦学习模型的处理逻辑。分桶参数可以包括分桶类别，如对照组或实验组，当然，如果对照组或实验组存在多个时，也可以具体到具体的组别号；分桶参数也可包括具体的桶号等；当对照组和实验组分别对应不同的模型版本时，分桶参数也可以包括模型版本等。分桶参数也可以包括其他的与分桶实验相关的参数，具体不做限定。

示例性的，分桶实验用户请求对应的分桶参考信息可根据实验需求设定，在设定分桶参数时可能存在多种分桶规则，不同分桶规则所需要依据的信息可能不同。以基于用户的分桶为例，分桶参考信息可以包括用户对应的设备号信息或账号信息等等，即分桶实验用户请求对应的分桶参考信息可包括发送分桶实验用户请求的用户所对应的设备号信息或账号信息等。

步骤211、接收第二参与者返回的分桶参数信息，并根据分桶参数信息进行分桶实验。

本公开实施例中，第一参与者在接收到第二参与者设定的分桶参数信息后，即可基于该分桶参数信息进行分桶实验，这样，针对当前分桶实验用户请求，第一参与者和第二参与者之间能够保证分桶参数的一致性，进而保证分桶实验效果的准确性。

本公开实施例对具体的分桶实验细节不做限定，为了便于理解，下面进行示意性说明。示例性的，所述根据所述分桶参数信息进行分桶实验，可包括：根据所述分桶参数信息确定相应处理逻辑；采用所确定的处理逻辑对分桶实验用户请求进行处理，将处理得到的中间结果发送至所述第二参与者。具体的，若根据所述分桶参数信息确定对应联邦学习模型的处理逻辑时，通过所述分桶参数信息对应的目标模型版本确定第一子模型，采用第一子模型对分桶实验用户请求进行处理，得到中间数据，将中间数据发送至所述第二参与者，用于指示所述第二参与者将所述中间数据输入至本侧对应的第二子模型中，得到最终输出结果，其中，第一子模型和第二子模型共同构成目标模型版本对应的联邦学习模型。

图3为本公开实施例提供的一种模型使用方法的流程示意图，本公开实施例以上述实施例中各个可选方案为基础进行优化，以在线投放信息推广场景为例进行说明。本公开实施例中，所述第一参与者可以为互联网媒体侧，简称媒体侧，所述第二参与者可以为需求方平台侧(Demand Side Platform，DSP)，简称需求侧。示例性的，第一参与者可以是具有信息推荐功能的平台，可以基于数据挖掘等技术为用户推荐有针对性的个性化信息；第二参与者可以是存在在线信息(如广告)推广需求的平台。例如，第一参与者可以是信息推荐应用程序对应的服务端，第二参与者可以是与网上购物应用程序对应的服务端，如电商平台等。

具体的，该方法包括如下步骤：

步骤301、媒体侧检测到预设版本探测事件被触发，向需求侧发送模拟用户中间请求。

步骤302、需求侧根据模拟用户中间请求中的目标版本信息对模拟用户中间请求进行处理，并向媒体侧反馈针对模拟用户中间请求的处理结果标识。

步骤303、媒体侧根据预设数量的处理结果标识统计失败率。

步骤304、媒体侧根据失败率确定目标版本在需求侧是否准备完毕，若是，则执行步骤305；否则，执行步骤306。

步骤305、媒体侧上线目标版本，执行步骤307。

步骤306、媒体侧进行版本准备异常提醒操作。

步骤307、媒体侧接收到真实用户请求时，向需求侧发送真实用户中间请求。

步骤308、需求侧根据真实用户中间请求中的目标版本信息对真实用户中间请求进行处理，并向媒体侧反馈针对模拟用户中间请求的处理结果。

步骤309、媒体侧根据真实用户中间请求处理结果确定所述目标版本在所述第二参与者侧出现异常时，进行当前版本异常提醒操作。

图4为本公开实施例提供的一种确定模型版本一致性过程的示意图，如图4所示，在离线阶段，双方通过中间数据(embedding)和梯度(gradient)的交互完成模型训练后，可以由媒体侧的探测触发器(check trigger)触发预设版本探测事件，由探测服务器(check_server)向DSP侧的需求服务器(dsp_server)发送模拟用户中间请求，DSP侧将模拟用户中间请求当成正常的请求来处理，在本侧匹配目标版本，并将是否匹配到目标版本的结果返回至媒体侧的探测服务器，探测服务器确定DSP侧的目标版本已经加载成功后，上线目标版本，进入在线阶段。在在线阶段，媒体侧通过接口(api)接收用户发送的真实用户请求(req)，通过广告引擎(ad_engine)采用目标版本的联合学习模型第一子模型对该req进行处理，得到中间数据，根据中间数据向DSP侧的dsp_server发送真实用户中间请求(ad_req)，dsp_server采用目标版本的联合学习模型第二子模型处理ad_req得到响应结果(ad_rsp)并发送给ad_engine，最后由ad_engine向用户推送与ad_rsp对应的广告(ad)。

步骤310、媒体侧接收到分桶实验用户请求时，向需求侧发送分桶实验用户请求对应的分桶参考信息。

步骤311、需求侧根据分桶参考信息设定分桶实验用户请求对应的分桶参数信息，并发送至媒体侧。

步骤312、媒体侧和需求侧根据分桶参数信息进行分桶实验。

示例性的，分桶实验可以针对点击率、购买率或转化率等指标在对照组和实验组的表现对联邦学习模型的效果进行验证，具体实验细节不做限定。

图5为本公开实施例提供的一种分桶实验过程的示意图，如图5所示，媒体侧的分桶服务器(ab_server)在收到分桶实验用户请求(req)之后，向DSP侧的ab_server发送分桶参数获取请求(ab_req)，DSP侧的ab_server根据ab_req中的分桶参考信息设定分桶参数(ab_res)，将ab_res发送至媒体侧的ab_server，ab_server将ab_res传输至ad_engine，由ad_engine根据ab_res确定相应处理逻辑并进行预测(predict)等处理，得到中间结果(包含embedding数据，简称emb)，根据emb向DSP侧发送用户中间请求(ad_req)，再由DSP侧对ad_req进行处理，如进行召回或预估等处理，将处理结果(ad_res)返回ad_engine，最后由ad_engine向实验用户推送与ad_res对应的ad。

本公开实施例中，步骤307至步骤309与步骤310至步骤312的执行顺序可以互换，也可并行执行等，具体不做限定。

本公开实施例提供的模型使用方法，可以通过离线阶段和在线阶段两部分保证媒体侧和需求侧所使用的联邦学习模型版本的一致性，减少人力成本，同时提升版本协商的效率和准确性，在分桶实验阶段，可以跨平台保证双方联合实验参数的一致性，保证实验结果的准确性。

图6为本公开实施例提供的一种模型使用装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行模型使用方法来进行基于联邦学习方案的相关处理操作。如图6所示，该装置包括：

模拟用户中间请求发送模块601，用于检测到预设版本探测事件被触发时，向所述联邦学习系统的第二参与者发送模拟用户中间请求，用于指示所述第二参与者根据所述模拟用户中间请求中的目标版本信息对所述模拟用户中间请求进行处理；

处理结果接收模块602，用于接收所述第二参与者反馈的模拟用户中间请求处理结果；

模型使用603，用于根据所述模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。

本公开实施例中提供的模型使用装置，应用于联邦学习系统的第一参与者，检测到预设版本探测事件被触发时，向联邦学习系统的第二参与者发送模拟用户中间请求，用于指示第二参与者根据模拟用户中间请求中的目标版本信息对模拟用户中间请求进行处理，接收第二参与者反馈的模拟用户中间请求处理结果，根据模拟用户中间请求处理结果确定目标版本在第二参与者侧准备完毕后，使用目标版本的联邦学习模型进行实验和/或应用。通过采用上述技术方案，联邦学习系统中的第一参与者可以在目标版本上线之前，自动采用模拟用户中间请求的方式探测第二参与者侧的目标版本是否已经准备完毕，在准备完毕后，再上线目标版本，保证第一参与者和第二参与者能够基于相同版本的模型进行实验或应用，避免采用人工协商方式，保证确定版本一致性过程的效率和准确性。

可选的，所述接收所述第二参与者反馈的模拟用户中间请求处理结果，包括：接收所述第二参与者反馈的针对所述模拟用户中间请求的处理结果标识，其中，当所述第二参与者根据所述目标版本信息在本侧匹配到所述目标版本时，所述处理结果标识为成功，当所述第二参与者根据所述目标版本信息在本侧未匹配到所述目标版本时，所述处理结果标识为失败。所述根据模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕，包括：根据预设数量的处理结果标识统计成功率或失败率；当所述成功率大于预设成功率阈值或所述失败率小于预设失败率阈值时，确定所述目标版本在所述第二参与者侧准备完毕。

可选的，模型使用模块还用于：当所述成功率小于或等于预设成功率阈值，或者，所述失败率大于或等于预设失败率阈值时，确定预设时段内所述预设版本探测事件的触发次数，若所述触发次数小于或等于预设触发次数阈值，则重复触发所述预设版本探测事件。

可选的，模型使用模块还用于：在所述确定预设时段内所述预设版本探测事件的触发次数之后，若所述触发次数大于预设触发次数阈值，则停止触发所述预设版本探测事件，并进行版本准备异常提醒操作。

可选的，模型使用模块还向所述第二参与者发送真实用户中间请求，用于指示所述第二参与者根据所述真实用户中间请求中的目标版本信息对所述真实用户中间请求进行处理，接收所述第二参与者反馈的真实用户中间请求处理结果，根据所述真实用户中间请求处理结果确定所述目标版本在所述第二参与者侧出现异常时，进行当前版本异常提醒操作。

可选的，模型使用模块还用于在接收到分桶实验用户请求时，向所述第二参与者发送所述分桶实验用户请求对应的分桶参考信息，所述分桶参考信息用于指示所述第二参与者根据所述分桶参考信息设定所述分桶实验用户请求对应的分桶参数信息，接收所述第二参与者返回的所述分桶参数信息，并根据所述分桶参数信息进行分桶实验。

可选的，所述第一参与者为互联网媒体侧，所述第二参与者为需求方平台侧。

下面参考图7，其示出了适于用来实现本公开实施例的计算机设备700的结构示意图。本公开实施例中的计算机设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的计算机设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，计算机设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有计算机设备700操作所需的各种程序和数据。处理装置701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述计算机设备中所包含的；也可以是单独存在，而未装配入该计算机设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该计算机设备执行时，使得该计算机设备：检测到预设版本探测事件被触发时，向所述联邦学习系统的第二参与者发送模拟用户中间请求，用于指示所述第二参与者根据所述模拟用户中间请求中的目标版本信息对所述模拟用户中间请求进行处理；接收所述第二参与者反馈的模拟用户中间请求处理结果；根据所述模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，处理结果接收模块还可以被描述为“接收所述第二参与者反馈的模拟用户中间请求处理结果的模块”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，提供了一种模型使用方法，应用于联邦学习系统的第一参与者，包括：检测到预设版本探测事件被触发时，向所述联邦学习系统的第二参与者发送模拟用户中间请求，用于指示所述第二参与者根据所述模拟用户中间请求中的目标版本信息对所述模拟用户中间请求进行处理；接收所述第二参与者反馈的模拟用户中间请求处理结果；根据所述模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。

进一步的，所述接收所述第二参与者反馈的模拟用户中间请求处理结果，包括：接收所述第二参与者反馈的针对所述模拟用户中间请求的处理结果标识，其中，当所述第二参与者根据所述目标版本信息在本侧匹配到所述目标版本时，所述处理结果标识为成功，当所述第二参与者根据所述目标版本信息在本侧未匹配到所述目标版本时，所述处理结果标识为失败。所述根据模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕，包括：根据预设数量的处理结果标识统计成功率或失败率；当所述成功率大于预设成功率阈值或所述失败率小于预设失败率阈值时，确定所述目标版本在所述第二参与者侧准备完毕。

进一步的，还包括：当所述成功率小于或等于预设成功率阈值，或者，所述失败率大于或等于预设失败率阈值时，确定预设时段内所述预设版本探测事件的触发次数，若所述触发次数小于或等于预设触发次数阈值，则重复触发所述预设版本探测事件。

进一步的，在所述确定预设时段内所述预设版本探测事件的触发次数之后，还包括：若所述触发次数大于预设触发次数阈值，则停止触发所述预设版本探测事件，并进行版本准备异常提醒操作。

进一步的，使用所述目标版本的联邦学习模型进行应用，包括：向所述第二参与者发送真实用户中间请求，用于指示所述第二参与者根据所述真实用户中间请求中的目标版本信息对所述真实用户中间请求进行处理；接收所述第二参与者反馈的真实用户中间请求处理结果；根据所述真实用户中间请求处理结果确定所述目标版本在所述第二参与者侧出现异常时，进行当前版本异常提醒操作。

进一步的，使用所述目标版本的联邦学习模型进行实验，包括：接收到分桶实验用户请求时，向所述第二参与者发送所述分桶实验用户请求对应的分桶参考信息，所述分桶参考信息用于指示所述第二参与者根据所述分桶参考信息设定所述分桶实验用户请求对应的分桶参数信息；接收所述第二参与者返回的所述分桶参数信息，并根据所述分桶参数信息进行分桶实验。

进一步的，第一参与者为互联网媒体侧，第二参与者为需求方平台侧。

根据本公开的一个或多个实施例，提供了一种模型使用装置，集成于联邦学习系统的第一参与者，包括：

模拟用户中间请求发送模块，用于检测到预设版本探测事件被触发时，向所述联邦学习系统的第二参与者发送模拟用户中间请求，用于指示所述第二参与者根据所述模拟用户中间请求中的目标版本信息对所述模拟用户中间请求进行处理；

处理结果接收模块，用于接收所述第二参与者反馈的模拟用户中间请求处理结果；

模型使用模块，用于根据所述模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种模型使用方法，其特征在于，应用于联邦学习系统的第一参与者，所述方法包括：

检测到预设版本探测事件被触发时，向所述联邦学习系统的第二参与者发送模拟用户中间请求，用于指示所述第二参与者根据所述模拟用户中间请求中的目标版本信息对所述模拟用户中间请求进行处理；

接收所述第二参与者反馈的模拟用户中间请求处理结果；

根据所述模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。

2.根据权利要求1所述的方法，其特征在于，

所述接收所述第二参与者反馈的模拟用户中间请求处理结果，包括：

接收所述第二参与者反馈的针对所述模拟用户中间请求的处理结果标识，其中，当所述第二参与者根据所述目标版本信息在本侧匹配到所述目标版本时，所述处理结果标识为成功，当所述第二参与者根据所述目标版本信息在本侧未匹配到所述目标版本时，所述处理结果标识为失败；

所述根据模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕，包括：

根据预设数量的处理结果标识统计成功率或失败率；

当所述成功率大于预设成功率阈值或所述失败率小于预设失败率阈值时，确定所述目标版本在所述第二参与者侧准备完毕。

3.根据权利要求2所述的方法，其特征在于，还包括：

当所述成功率小于或等于预设成功率阈值，或者，所述失败率大于或等于预设失败率阈值时，确定预设时段内所述预设版本探测事件的触发次数，若所述触发次数小于或等于预设触发次数阈值，则重复触发所述预设版本探测事件。

4.根据权利要求3所述的方法，其特征在于，在所述确定预设时段内所述预设版本探测事件的触发次数之后，还包括：

若所述触发次数大于所述预设触发次数阈值，则停止触发所述预设版本探测事件，并进行版本准备异常提醒操作。

5.根据权利要求1所述的方法，其特征在于，使用所述目标版本的联邦学习模型进行应用，包括：

向所述第二参与者发送真实用户中间请求，用于指示所述第二参与者根据所述真实用户中间请求中的目标版本信息对所述真实用户中间请求进行处理；

接收所述第二参与者反馈的真实用户中间请求处理结果；

根据所述真实用户中间请求处理结果确定所述目标版本在所述第二参与者侧出现异常时，进行当前版本异常提醒操作。

6.根据权利要求1-5任一所述的方法，其特征在于，使用所述目标版本的联邦学习模型进行实验，包括：

接收到分桶实验用户请求时，向所述第二参与者发送所述分桶实验用户请求对应的分桶参考信息，所述分桶参考信息用于指示所述第二参与者根据所述分桶参考信息设定所述分桶实验用户请求对应的分桶参数信息；

接收所述第二参与者返回的所述分桶参数信息，并根据所述分桶参数信息进行分桶实验。

7.根据权利要求1所述的方法，其特征在于，所述第一参与者为互联网媒体侧，所述第二参与者为需求方平台侧。

8.一种模型使用装置，其特征在于，集成于联邦学习系统的第一参与者，所述装置包括：

模拟用户中间请求发送模块，用于检测到预设版本探测事件被触发时，向所述联邦学习系统的第二参与者发送模拟用户中间请求，用于指示所述第二参与者根据所述模拟用户中间请求中的目标版本信息对所述模拟用户中间请求进行处理；

处理结果接收模块，用于接收所述第二参与者反馈的模拟用户中间请求处理结果；

模型使用模块，用于根据所述模拟用户中间请求处理结果确定所述目标版本在所述第二参与者侧准备完毕后，使用所述目标版本的联邦学习模型进行实验和/或应用。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的方法。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的方法。

Images