CN112925558B - 模型联合训练方法及装置 - Google Patents

Abstract

本说明书实施例提供一种模型联合训练方法及装置，在训练方法中，接收模型训练任务的配置指令。该配置指令指示多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型。查询版本信息表，以确定各目标提供方各自部署的执行引擎的引擎版本信息。基于各目标提供方各自部署的执行引擎的引擎版本信息，判断目标模型是否为各目标提供方各自部署的执行引擎共同支持的公共模型，并在目标模型是公共模型的情况下，确定目标模型的公共版本。向各目标提供方发送联合训练请求，该联合训练请求指示各目标提供方通过各自部署的执行引擎加载公共版本的目标模型并训练。由此，可实现各数据提供方数据的隐私保护。

Description

模型联合训练方法及装置

本申请为2019年12月09日提交的申请号为201911250425.7，名为“模型联合训练方法及装置”的发明专利申请的分案申请。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种模型联合训练方法及装置。

背景技术

在模型联合训练场景下，通常会有多个数据提供方，该多个数据提供方由协作方统一控制。多个数据提供方中的每个数据提供方可以部署模型训练的执行引擎。需要说明的是，每个数据提供方的数据仅对其部署的执行引擎可见，对协作方和其他数据提供方不可见。另外，上述执行引擎的功能通常需要不断的优化、完善。可以理解的是，执行引擎功能的每次优化或者完善，会使得执行引擎的版本不断升级。然而由于各数据提供方各自的系统性能不同等原因，通常无法对各数据提供方部署的执行引擎进行统一升级，由此就会导致各数据提供方部署的执行引擎的版本不统一的问题。而若执行引擎的版本不统一，则无法保障模型联合训练过程的正常执行。

因此，需要提供一种更可靠的模型联合训练方法。

发明内容

本说明书一个或多个实施例描述了一种模型联合训练方法及装置，可以确保模型联合训练过程的有效执行。

第一方面，提供了一种模型联合训练方法，包括：

接收模型训练任务的配置指令；所述配置指令至少指示所述多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型；

查询所述版本信息表，以确定所述各目标提供方各自部署的执行引擎的引擎版本信息；

基于所述各目标提供方各自部署的执行引擎的引擎版本信息，判断所述目标模型是否为所述各目标提供方各自部署的执行引擎共同支持的公共模型，并在所述目标模型是公共模型的情况下，确定所述目标模型的公共版本；

向所述各目标提供方发送联合训练请求；所述联合训练请求用于指示所述各目标提供方通过各自部署的执行引擎加载所述公共版本的所述目标模型并基于联合训练所述目标模型。

第二方面，提供了一种模型联合训练方法，包括：

接收所述协作方发送的联合训练请求；所述联合训练请求至少指示目标模型以及所述目标模型的公共版本；所述目标模型为所述各目标提供方各自部署的执行引擎共同支持的公共模型；所述目标模型以及所述目标模型的公共版本是由所述协作方基于所述版本信息表中记录的各数据提供方各自部署的执行引擎的引擎版本信息确定；

通过所述第一执行引擎加载所述公共版本的所述目标模型，并与其他数据提供方联合训练所述目标模型。

第三方面，提供了一种模型联合训练装置，包括：

接收单元，用于接收模型训练任务的配置指令；所述配置指令至少指示所述多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型；

查询单元，用于查询所述版本信息表，以确定所述各目标提供方各自部署的执行引擎的引擎版本信息；

判断单元，用于基于所述查询单元查询得到的所述各目标提供方各自部署的执行引擎的引擎版本信息，判断所述目标模型是否为所述各目标提供方各自部署的执行引擎共同支持的公共模型，并在所述目标模型是公共模型的情况下，确定所述目标模型的公共版本；

发送单元，用于向所述各目标提供方发送联合训练请求；所述联合训练请求用于指示所述各目标提供方通过各自部署的执行引擎加载所述公共版本的所述目标模型并训练。

第四方面，提供了一种模型联合训练装置，包括：

接收单元，用于接收所述协作方发送的联合训练请求；所述联合训练请求至少指示目标模型以及所述目标模型的公共版本；所述目标模型为所述各目标提供方各自部署的执行引擎共同支持的公共模型；所述目标模型以及所述目标模型的公共版本是由所述协作方基于所述版本信息表中记录的各数据提供方各自部署的执行引擎的引擎版本信息确定；

训练单元，用于通过所述第一执行引擎加载所述公共版本的所述目标模型，并与其他数据提供方联合训练所述目标模型。

第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法或第二方面的方法。

第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法或第二方面的方法。

本说明书一个或多个实施例提供的模型联合训练方法及装置，由控制多个数据提供方的协作方维护版本信息表，该版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息。这里的引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型以及各模型对应的模型版本。从而在针对某一目标模型进行联合训练时，协作方可根据该版本信息表中的内容，来确定出各数据提供方是否支持该目标模型及其共同支持的版本，由此，可以确保模型联合训练过程的有效执行。

附图说明

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本说明书提供的模型联合训练方法应用场景示意图；

图2为本说明书提供的模型训练系统示意图；

图3为本说明书一个实施例提供的模型联合训练方法流程图；

图4为本说明书另一个实施例提供的模型联合训练方法流程图；

图5a为本说明书提供的模型联合训练过程示意图之一；

图5b为本说明书提供的模型联合训练过程示意图之二；

图5c为本说明书提供的模型联合训练过程示意图之三；

图5d为本说明书提供的模型联合训练过程示意图之四；

图5e为本说明书提供的模型联合训练过程示意图之五；

图6为本说明书一个实施例提供的模型联合训练装置示意图；

图7为本说明书另一个实施例提供的模型联合训练装置示意图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

在描述本说明书提供的方案之前，先对本方案的发明构思作以下说明。

如背景技术所述，在模型联合训练场景中，可能会存在各数据提供方部署的执行引擎的版本不统一的问题。举例来说，假设有三个数据提供方：数据提供方1-3，那么可能会存在数据提供方1部署V1版本的执行引擎、数据提供方2部署V2版本的执行引擎以及数据提供方3部署V3版本的执行引擎。而在执行引擎升级的过程中，高版本的执行引擎会兼容低版本接口和功能，且在此基础上提供新接口和新功能，也即执行引擎是向下兼容的。这里的新功能例如可以为新种类的模型的训练，或者，新版本的模型的训练等等。但反过来，低版本的执行引擎往往不具备高版本的接口和功能，也即执行引擎不能向上兼容，因此，在上述情况下，如果使用V3版本的执行引擎提供的新功能，可能会导致整个训练任务失败，进而无法产出正确的模型文件。

为保证在各数据提供方部署的执行引擎的版本不统一的情况下，训练任务也能正常执行，在本申请中，由协作方维护版本信息表，该版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息。之后，当预定人员发布模型训练任务时，由协作方基于该版本信息表中的内容，来协商各数据提供方所兼容的功能(如，模型和版本)，从而可以大大提升模型联合训练的成功率。此外，基于上述协商过程，协作方也可以及时发现低版本的执行引擎，并及时通知对应数据提供方对其进行升级。

以上就是本说明书提供发明构思，基于该发明构思就可以得到本技术方案，以下对本方案进行详细阐述。

本说明书实施例提供的模型联合训练方法可以应用于如图1所示的场景中。图1中，协作方也可以称为模型平台，其中包括控制模块。协作方可以通过该控制模块对多个数据提供方(也称机构)进行控制，其不参与实际运算。多个数据提供方中的各数据提供方中可以部署学习模块，该学习模块可以称为模型训练的执行引擎。此外，各数据提供方之间可以基于安全多方协议进行实际的交互计算。

图1中，控制模块与学习模块是一对多的关系。当所有参与多方安全计算的数据提供方完成学习模块的部署、启动后，预定人员可基于控制模块发布模型训练任务，并观察模型训练的进度。当模型训练任务完成后，各数据提供方的学习模块会将训练出来的模型部分(Model Part)保存到本地，该模型部分仅对该数据提供方自身可见，对其他数据提供方均不可见。只有将所有数据提供方的模型部分汇总才能还原为原始的、完整的、有效的模型。当训练完成后，控制模块可以协调各数据提供方将各自保存的模型部分发布到线上环境，构建成一个多方安全的在线预测模型。由此，可以使得各数据提供方可以协同提供在线服务，以处理服务请求。

由前述发明构思可知，本方案是基于版本信息表实施的，因此，在介绍本说明书提供的方案之前，先对版本信息表的建立过程作以下说明。

以图2所示的模型训练系统为例来说，数据提供方1-3可以分别部署各自对应的执行引擎并启动。以数据提供方1为例来说，其在部署完成相应的执行引擎并启动之后，可以向协作方发送信息注册请求。该信息注册请求可以包括对应执行引擎的引擎版本号。在本说明书中，对于不同的引擎版本号，可以预先设定对应的至少一种模型以及各模型对应的模型版本号。如，可以预先设定如表1所示的内容。

表1

当然，在实际应用中，上述信息注册请求可以同时包括对应执行引擎的引擎版本号以及对应于该引擎版本号的至少一种模型以及各模型对应的模型版本号。

需要说明的是，若上述信息注册请求只包括对应执行引擎的引擎版本号。那么协作方在接收到信息注册请求之后，可以通过查询表1来获取对应于该引擎版本号的至少一种模型以及各模型对应的模型版本号。

综上，协作方在接收到图2中各数据提供方发送的信息注册请求之后，可以建立如表2所示的版本信息表。

表2

应理解，表2所示的版本信息表只是一种示例性说明，在实际应用中，表2中也可以只包括数据提供方和引擎版本号，或者只包括数据提供方和引擎版本号对应的至少一种模型以及各模型的模型版本号，本说明书对此不作限定。

需要说明的是，在建立表2所示的版本信息表之后，就可以执行本说明书提供的方案。

图3为本说明书一个实施例提供的模型联合训练方法流程图。所述方法的执行主体可以为图1中的协作方。如图3所示，所述方法具体可以包括：

步骤302，接收模型训练任务的配置指令。

该配置指令可以是由预定人员通过协作方的控制模块发送。如，控制模块可以提供UI界面，之后预定人员基于该UI界面发送上述配置指令。该配置指令至少指示多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型。

以图2为例来说，各目标提供方可以为数据提供方1、数据提供方2以及数据提供方3中的至少两项。上述目标模型可以为逻辑回归(Logistic Regression，LR)模型、梯度提升决策树(Gradient Boosting Decision Tree，GBDT)模型或者(Deep Neural Networks，DNN)模型等等。

步骤304，查询版本信息表，以确定各目标提供方各自部署的执行引擎的引擎版本信息。

这里的引擎版本信息可以包括对应版本的执行引擎所支持的至少一种模型以及各模型对应的模型版本号。

以表2示出的版本信息表为例来说，假设各目标提供方分别为数据提供方1和2，那么可以确定数据提供方1部署的V1版本的执行引擎支持的至少一种模型包括：LR模型和GBDT模型，且该两种模型各自对应的模型版本号均为：V1。可以确定数据提供方2部署的V2版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型，其中，LR模型和GBDT模型各自对应的模型版本号为：V2和V1，DNN模型对应的模型版本号为：V1。

步骤306，基于各目标提供方各自部署的执行引擎的引擎版本信息，判断目标模型是否为各目标提供方各自部署的执行引擎共同支持的公共模型，并在目标模型是公共模型的情况下，确定目标模型的公共版本。

其具体判断过程可以为：对于各目标提供方中任意的第一提供方，从该第一提供方部署的执行引擎的引擎版本信息中确定出对应的至少一种模型。若目标模型与确定出的至少一种模型中各模型均不匹配，则确定目标模型不是公共模型；否则，确定目标模型是公共模型。

以图2为例来说，若目标模型为LR模型，且各目标提供方为数据提供方1和2，那么针对数据提供方1，从对应的引擎版本信息中可以确定出对应的至少一种模型包括：LR模型和GBDT模型，其中存在与目标模型相匹配的模型。此外，针对数据提供方2，从对应的引擎版本信息中可以确定出对应的至少一种模型包括：LR模型、GBDT模型和DNN模型，即其中也存在与目标模型相匹配的模型，从而目标模型是公共模型。

还以图2为例来说，若目标模型为DNN模型，且各目标提供方为数据提供方1和2，那么因为目标模型与从数据提供方1对应的引擎版本信息中确定出的LR模型和GBDT模型均不匹配，所以判断目标模型不是公共模型。

步骤306中，在目标模型是公共模型的情况下，确定目标模型的公共版本的过程可以为：针对各目标提供方中的每个目标提供方，从该目标提供方部署的执行引擎的引擎版本信息中确定出目标模型对应的模型版本号。基于针对每个目标提供方确定出的目标模型对应的模型版本号，确定目标模型对应的最大公共版本号。将最大公共版本号对应的版本作为目标模型的公共版本。

还以图2为例来说，若目标模型为LR模型，且各目标提供方为数据提供方1和2，那么针对数据提供方1，从对应的引擎版本信息中可以确定出LR模型的模型版本号为：V1，针对数据提供方2，从对应的引擎版本信息中可以确定出LR模型的模型版本号为：V2和V1，也即LR模型的最大公共版本号为：V1。从而可以将V1版本作为LR模型的公共版本。

需要说明的是，在确定出目标模型的最大公共版本号之后，也可以将该最大公共版本号作为各目标提供方各自部署的执行引擎的公共引擎版本号。这里的公共引擎版本号可以小于等于各执行引擎的引擎版本号。如在前述例子中，各目标提供方各自部署的执行引擎的公共引擎版本号可以为：V1。之后，协作方可以基于公共引擎版本号对应的接口与各数据提供方进行通信。此外，各个数据提供方之间也基于公共引擎版本号对应的接口进行通信。如，各个数据提供方之间可以基于公共引擎版本号对应的接口交换加密数据和随机数。

需要说明的是，由于高版本的执行引擎会兼容低版本的接口和功能，而公共引擎版本号小于等于各执行引擎的引擎版本号，因此，在基于公共引擎版本号对应的接口调用各执行引擎时，通常不会出现调用失败的情况，由此可以确保模型训练过程的有效执行。

步骤308，向各目标提供方发送联合训练请求。

该联合训练请求用于指示各目标提供方通过各自部署的执行引擎加载公共版本的目标模型并训练。

以数据提供方1为例来说，其可以接收协作方发送的联合训练请求。该联合训练请求至少指示待训练的目标模型以及目标模型的公共版本。如，该联合训练请求可以包括前述例子中确定的LR模型和V1版本。之后，数据提供方1可以通过部署的执行引擎加载V1版本的LR模型，并与其他数据提供方联合训练LR模型。

需要说明的是，上述联合训练请求可以是由协作方通过调用数据提供方1的V1版本的执行引擎的接口发送的。此外，数据提供方1在训练V1版本的LR模型的过程中，可以基于V1版本的执行引擎的接口与其它数据提供方之间交换加密数据或者随机数。

以上是在目标模型是公共模型的情况下，对模型联合训练过程的说明。以下对目标模型不是公共模型的情况进行说明。

若目标模型不是公共模型，则从多个数据提供方中确定出对应执行引擎不支持目标模型的第一提供方，向第一提供方发送升级指令。该升级指令包括目标版本信息，其用于指示第一提供方将部署的执行引擎升级到目标版本信息对应的版本。其中，对应于目标版本信息的执行引擎支持目标模型。

上述确定第一提供方的过程即为基于各数据提供方各自部署的执行引擎的引擎版本信息，确定出对应的至少一种模型均与目标模型不匹配的数据提供方。

还以图2为例来说，若目标模型为DNN模型，且各目标提供方为数据提供方1-3，那么确定出的第一提供方可以为数据提供方1。在该例子中，上述升级指令中的目标版本信息可以包括引擎版本号V3。从而第一提供方可以将其部署的执行引擎升级到V3版本。

在第一提供方将其部署的执行引擎升级到V3版本之后，可以向协作方发送信息更新请求。该信息更新请求至少包括引擎版本号V3。从而协作方可以基于引擎版本号V3以及表1中记录的引擎版本号V3对应的至少一种模型和各模型对应的模型版本号，对版本信息表中的第一提供方部署的执行引擎的引擎版本信息进行更新。

以表2所示的版本信息表为例来说，更新后的版本信息表可以如表3所示。

表3

可以理解的是，在对版本信息进行更新之后，若预定人员指示训练的目标模型为DNN模型时，则基于该目标模型的联合训练过程可以正常执行。

综上，本说明书实施例提供的模型联合训练方法，由控制多个数据提供方的协作方维护版本信息表，该版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息。这里的引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型以及各模型对应的模型版本。从而在针对某一目标模型进行联合训练时，协作方可根据该版本信息表中的内容，来确定出各数据提供方是否支持该目标模型及其共同支持的版本，由此，可以确保模型联合训练过程的有效执行。

图4为本说明书另一个实施例提供的模型联合训练方法流程图。所述方法的执行主体可以为图1中的第一数据提供方，该第一数据提供方为协作方控制的多个数据提供方中任一数据提供方。如图4所示，所述方法具体可以包括：

步骤402，接收协作方发送的联合训练请求。

该联合训练请求至少指示目标模型以及目标模型的公共版本。其中，目标模型为各目标提供方各自部署的执行引擎共同支持的公共模型。目标模型以及目标模型的公共版本是由协作方基于版本信息表中记录的各数据提供方各自部署的执行引擎的引擎版本信息确定。其具体确定过程可参见上述步骤306，在此不复赘述。

需要说明的是，上述版本信息表中记录的第一数据提供方部署的第一执行引擎的引擎版本信息通过以下步骤获得：第一数据提供方部署对应的第一执行引擎并启动，之后向协作方发送信息注册请求，该信息注册请求包括第一执行引擎的引擎版本信息。该信息注册请求用于指示协作方将第一执行引擎的引擎版本信息添加到版本信息表中。

当然，在上述第一数据提供方不支持目标模型时，第一数据提供方还可以接收协作方发送的升级指令。该升级指令至少包括目标版本信息。其中，对应于目标版本信息的执行引擎支持目标模型。将第一执行引擎升级到目标版本信息对应的版本。向协作方发送信息更新请求。该信息更新请求包括目标版本信息。该信息更新请求用于指示协作方将版本信息表中的第一提供方部署的第一执行引擎的引擎版本信息更新为目标版本信息。

步骤404，通过第一执行引擎加载公共版本的目标模型，并与其他数据提供方联合训练目标模型。

第一数据提供方在完成目标模型的训练后，会将训练出来的模型部分(ModelPart)保存到本地，该模型部分仅对第一数据提供方自身可见，对其他数据提供方均不可见。当各数据提供方均完成目标模型的训练后，协作方可以协调各数据提供方将各自保存的模型部分发布到线上环境，构建成一个多方安全的在线预测模型。由此，可以使得各数据提供方可以协同提供在线服务，以处理服务请求。

以下结合具体图5a-图5e对本说明书提供的模型联合训练方法进行说明。其中，在图5a-图5d所示的例子中，假设数据提供方1-3分别已部署完成各自对应的执行引擎并启动，且假设协作方已创建版本信息表，且该版本信息表的内容可以如表2所示。

图5a中，协作方接收训练任务的配置指令，且该配置指令指示本次联合训练的各目标提供方为：数据提供方1和2，以及本次联合训练所使用的目标模型为：LR模型。协作方通过查询版本信息表的内容可知，数据提供方1部署的V1版本的执行引擎支持的至少一种模型包括：LR模型和GBDT模型，且该两种模型各自对应的模型版本号均为：V1。数据提供方2部署的V2版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型，其中，LR模型和GBDT模型各自对应的模型版本号为：V2和V1，DNN模型对应的模型版本号为：V1。从而可以确定出LR模型为数据提供方1和2各自部署的执行引擎共同支持的公共模型。此外，还因为数据提供方1支持的LR模型对应的模型版本号为：V1，而数据提供方2支持的LR模型对应的模型版本号为：V2和V1。两者之间的最大公共版本号为：V1。所以对应于V1的LR模型为LR模型的公共版本。此外，数据提供方1和2各自部署的执行引擎的公共引擎版本号可以为：V1。如，协作方可以通过数据提供方1和2各自部署的执行引擎的V1版本的接口分别向数据提供方1和2发送联合训练请求。从而数据提供方1和2可以通过各自部署的执行引擎加载V1版本的LR模型，并联合训练LR模型。在训练过程中，数据提供方1和2可以通过各自部署的执行引擎的V1版本的接口交换一些非敏感数据(如，随机数和加密数据等)。

图5b中，协作方接收训练任务的配置指令，且该配置指令指示本次联合训练的各目标提供方为：数据提供方2和3，以及本次联合训练所使用的目标模型为：GBDT模型。协作方通过查询版本信息表的内容可知，数据提供方2部署的V2版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型。其中，LR模型和GBDT模型各自对应的模型版本号为：V2和V1，DNN模型对应的模型版本号为：V1。数据提供方3部署的V3版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型。其中，LR模型对应的模型版本号为：V3、V2和V1，GBDT模型和DNN模型各自对应的模型版本号为：V2和V1。从而可以确定出GBDT模型为数据提供方2和3各自部署的执行引擎共同支持的公共模型。此外，还因为数据提供方2支持的GBDT模型对应的模型版本号为V2和V1，数据提供方3支持的GBDT模型对应的模型版本号为V2和V1。两者之间的最大公共版本号为：V2。所以对应于V2的GBDT模型为GBDT模型的公共版本。此外，数据提供方2和3各自部署的执行引擎的公共引擎版本号可以为：V2。如，协作方可以通过数据提供方2和3各自部署的执行引擎的V2版本的接口分别向数据提供方2和3发送联合训练请求。从而数据提供方2和3可以通过各自部署的执行引擎加载V2版本的GBDT模型，并联合训练GBDT模型。在训练过程中，数据提供方2和3可以通过各自部署的执行引擎的V2版本的接口交换一些非敏感数据(如，随机数和加密数据等)。

图5c中，协作方接收训练任务的配置指令，且该配置指令指示本次联合训练的各目标提供方为：数据提供方1-3，以及本次联合训练所使用的目标模型为：LR模型。协作方通过查询版本信息表的内容可知，数据提供方1部署的V1版本的执行引擎支持的至少一种模型包括：LR模型和GBDT模型，且该两种模型各自对应的模型版本号均为：V1。数据提供方2部署的V2版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型。其中，LR模型和GBDT模型各自对应的模型版本号为：V2和V1，DNN模型对应的模型版本号为：V1。数据提供方3部署的V3版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型。其中，LR模型对应的模型版本号为：V3、V2和V1，GBDT模型和DNN模型各自对应的模型版本号为：V2和V1。从而可以确定出LR模型为数据提供方1-3各自部署的执行引擎共同支持的公共模型。此外，还因为数据提供方1支持的LR模型对应的模型版本号为：V1，数据提供方2支持的LR模型对应的模型版本号为：V2和V1，数据提供方3支持的LR模型对应的模型版本号为：V3、V2和V1。三者之间的最大公共版本号为：V1。所以对应于V1的LR模型为LR模型的公共版本。

此外，数据提供方1-3各自部署的执行引擎的公共引擎版本号可以为：V1。如，协作方可以通过数据提供方1-3各自部署的执行引擎的V1版本的接口分别向数据提供方1-3发送联合训练请求。从而数据提供方1-3可以通过各自部署的执行引擎加载V1版本的LR模型，并联合训练LR模型。在训练过程中，数据提供方1-3可以通过各自部署的执行引擎的V1版本的接口交换一些非敏感数据(如，随机数和加密数据等)。

图5d中，协作方接收训练任务的配置指令，且该配置指令指示本次联合训练的各目标提供方为：数据提供方1-3，以及本次联合训练所使用的目标模型为：DNN模型。协作方通过查询版本信息表的内容可知，数据提供方1部署的V1版本的执行引擎支持的至少一种模型包括：LR模型和GBDT模型，且该两种模型各自对应的模型版本号均为：V1。数据提供方2部署的V2版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型。其中，LR模型和GBDT模型各自对应的模型版本号为：V2和V1，DNN模型对应的模型版本号为：V1。数据提供方3部署的V3版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型。其中，LR模型对应的模型版本号为：V1、V2和V3，GBDT模型和DNN模型各自对应的模型版本号为：V2和V1。由于数据提供方1部署的V1版本的执行引擎不支持DNN模型，所以DNN模型不是数据提供方1-3各自部署的执行引擎共同支持的公共模型，从而模型联合训练过程中止。

模型训练过程中止之后，协作方可以通过控制模块向数据提供方1发送升级指令，该升级指令可以包括引擎版本号V3，从而数据提供方1可以将其部署的执行引擎升级到V3版本。数据提供方1将其部署的执行引擎升级到V3版本并启动之后，可以向协作方发送信息更新请求。该信息更新请求至少包括引擎版本号V3。从而协作方可以基于引擎版本号V3以及表1中记录的引擎版本号V3对应的至少一种模型和各模型对应的模型版本号，对版本信息表中的第一提供方部署的执行引擎的引擎版本信息进行更新。更新后的版本信息表可以如表3所示。

以下以更新后的版本信息表(即表3)为例，对图5e进行说明。

图5e中，协作方接收训练任务的配置指令，且该配置指令指示本次联合训练的各目标提供方为：数据提供方1-3，以及本次联合训练所使用的目标模型为：DNN模型。协作方通过查询版本信息表的内容可知，数据提供方1部署的V3版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型。其中，LR模型对应的模型版本号为：V3、V2和V1，GBDT模型和DNN模型各自对应的模型版本号为：V2和V1。数据提供方2部署的V2版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型。其中，LR模型和GBDT模型各自对应的模型版本号为：V2和V1，DNN模型对应的模型版本号为：V1。数据提供方3部署的V3版本的执行引擎支持的至少一种模型包括：LR模型、GBDT模型和DNN模型。其中，LR模型对应的模型版本号为：V3、V2和V1，GBDT模型和DNN模型各自对应的模型版本号为：V2和V1。从而可以确定出DNN模型为数据提供方1-3各自部署的执行引擎共同支持的公共模型。此外，还因为数据提供方1支持的DNN模型对应的模型版本号为：V2和V1，数据提供方2支持的DNN模型对应的模型版本号为：V1，数据提供方3支持的LR模型对应的模型版本号为：V2和V1。三者之间的最大公共版本号为：V1。所以对应于V1的DNN模型为DNN模型的公共版本。

此外，数据提供方1-3各自部署的执行引擎的公共引擎版本号可以为：V1。如，协作方可以通过数据提供方1-3各自部署的执行引擎的V1版本的接口分别向数据提供方1-3发送联合训练请求。从而数据提供方1-3可以通过各自部署的执行引擎加载V1版本的DNN模型，并联合训练DNN模型。在训练过程中，数据提供方1-3可以通过各自部署的执行引擎的V1版本的接口交换一些非敏感数据(如，随机数和加密数据等)。

与上述模型联合训练方法对应地，本说明书一个实施例还提供的一种模型联合训练装置，设置于协作方，该协作方用于控制多个数据提供方。多个数据提供方中各数据提供方部署有模型训练的执行引擎。协作方维护有版本信息表，版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型以及各模型对应的模型版本。如图6所示，该装置可以包括：

接收单元602，用于接收模型训练任务的配置指令。该配置指令至少指示多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型。

该目标模型可以包括以下任一种：逻辑回归LR模型、梯度提升决策树GBDT模型以及深度神经网络DNN模型。

查询单元604，用于查询版本信息表，以确定各目标提供方各自部署的执行引擎的引擎版本信息。

其中，引擎版本信息可以包括对应版本的执行引擎所支持的至少一种模型以及各模型对应的模型版本号。

判断单元606，用于基于查询单元604查询得到的各目标提供方各自部署的执行引擎的引擎版本信息，判断目标模型是否为各目标提供方各自部署的执行引擎共同支持的公共模型，并在目标模型是公共模型的情况下，确定目标模型的公共版本。

判断单元606具体可以用于：

对于各目标提供方中任意的第一提供方，从该第一提供方部署的执行引擎的引擎版本信息中确定出对应的至少一种模型。

若目标模型与确定出的至少一种模型中各模型均不匹配，则确定目标模型不是公共模型。否则，确定目标模型是公共模型。

判断单元606还具体可以用于：

针对各目标提供方中的每个目标提供方，从该目标提供方部署的执行引擎的引擎版本信息中确定出目标模型对应的模型版本号。

基于针对每个目标提供方确定出的目标模型对应的模型版本号，确定目标模型对应的最大公共版本号。

将最大公共版本号对应的版本作为目标模型的公共版本。

发送单元608，用于向各目标提供方发送联合训练请求。该联合训练请求用于指示各目标提供方通过各自部署的执行引擎加载公共版本的目标模型并联合训练目标模型。

可选地，该装置还可以包括：确定单元(图中未示出)和更新单元(图中未示出)。

确定单元，用于若判断单元606判断目标模型不是公共模型，则从多个数据提供方中确定出对应执行引擎不支持目标模型的第一提供方，向第一提供方发送升级指令。该升级指令包括目标版本信息，该升级指令用于指示第一提供方将部署的执行引擎升级到目标版本信息对应的版本。其中，对应于目标版本信息的执行引擎支持目标模型。

接收单元602，还用于接收第一提供方发送的信息更新请求，该信息更新请求至少包括目标版本信息。

更新单元，用于将版本信息表中的第一提供方部署的执行引擎的引擎版本信息更新为接收单元602接收的目标版本信息。

本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。

本说明书一个实施例提供的模型联合训练装置，可以确保模型联合训练过程的有效执行。

与上述模型联合训练方法对应地，本说明书一个实施例还提供的一种模型联合训练装置，设置于第一数据提供方，该第一数据提供方为协作方控制的多个数据提供方中的任一数据提供方。第一数据提供方部署有模型训练的第一执行引擎。协作方维护有版本信息表，版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型以及各模型对应的模型版本。如图7所示，该装置可以包括：

接收单元702，用于接收协作方发送的联合训练请求。该联合训练请求至少指示目标模型以及目标模型的公共版本。目标模型为各目标提供方各自部署的执行引擎共同支持的公共模型。目标模型以及目标模型的公共版本是由协作方基于版本信息表中记录的各数据提供方各自部署的执行引擎的引擎版本信息确定。

训练单元704，用于通过第一执行引擎加载公共版本的目标模型，并与其他数据提供方联合训练目标模型。

可选地，该装置还可以包括：发送单元(图中未示出)。

该发送单元用于向协作方发送信息注册请求，该信息注册请求包括第一执行引擎的引擎版本信息。信息注册请求用于指示协作方将第一执行引擎的引擎版本信息添加到版本信息表中。

可选地，该装置还可以包括：升级单元(图中未示出)和发送单元(图中未示出)。

接收单元702，还用于接收协作方发送的升级指令，该升级指令至少包括目标版本信息。

升级单元，用于将第一执行引擎升级到接收单元702接收的目标版本信息对应的版本。

发送单元，用于向协作方发送信息更新请求。该信息更新请求包括目标版本信息，该信息更新请求用于指示协作方将版本信息表中的第一提供方部署的第一执行引擎的引擎版本信息更新为目标版本信息。

本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。

本说明书一个实施例提供的模型联合训练装置，可以确保模型联合训练过程的有效执行。

另一方面，本说明书的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，另计算机执行图3或图4所示的方法。

另一方面，本说明书的实施例提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图3或图4所示的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (20)

1.一种模型联合训练方法，所述方法应用于协作方，所述协作方用于控制多个数据提供方；所述多个数据提供方中各数据提供方部署有模型训练的执行引擎；所述协作方维护有版本信息表，所述版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，所述引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型；所述方法包括：

接收模型训练任务的配置指令；所述配置指令至少指示所述多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型；

查询所述版本信息表，以确定所述各目标提供方各自部署的执行引擎的引擎版本信息；

基于所述各目标提供方各自部署的执行引擎的引擎版本信息，判断所述目标模型是否为所述各目标提供方各自部署的执行引擎共同支持的公共模型;

在所述目标模型是公共模型的情况下，向所述各目标提供方发送联合训练请求；所述联合训练请求用于指示所述各目标提供方通过各自部署的执行引擎加载所述目标模型并训练。

2.根据权利要求1所述的方法，所述引擎版本信息包括对应版本的执行引擎所支持的至少一种模型。

3.根据权利要求2所述的方法，所述基于所述各目标提供方各自部署的执行引擎的引擎版本信息，判断所述目标模型是否为所述各目标提供方各自部署的执行引擎共同支持的公共模型，包括：

对于所述各目标提供方中的每个目标提供方，从该目标提供方部署的执行引擎的引擎版本信息中确定出对应的至少一种模型；

若所述目标模型与针对每个目标提供方确定出的至少一种模型中的一种模型相匹配，则确定所述目标模型是公共模型；否则，确定所述目标模型不是公共模型。

4.根据权利要求1所述的方法，还包括：

若所述目标模型不是公共模型，则从所述多个数据提供方中确定出对应执行引擎不支持所述目标模型的第一提供方，向所述第一提供方发送升级指令；所述升级指令包括目标版本信息；所述升级指令用于指示所述第一提供方将部署的执行引擎升级到所述目标版本信息对应的版本；其中，对应于所述目标版本信息的执行引擎支持所述目标模型；

接收所述第一提供方发送的信息更新请求；所述信息更新请求至少包括所述目标版本信息；

将所述版本信息表中的所述第一提供方部署的执行引擎的引擎版本信息更新为所述目标版本信息。

5.根据权利要求1-4任一项所述的方法，所述目标模型包括以下任一种：逻辑回归LR模型、梯度提升决策树GBDT模型以及深度神经网络DNN模型。

6.一种模型联合训练方法，所述方法应用于第一数据提供方，所述第一数据提供方为协作方控制的多个数据提供方中的任一数据提供方；所述第一数据提供方部署有模型训练的第一执行引擎；所述协作方维护有版本信息表，所述版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，所述引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型；所述方法包括：

接收所述协作方发送的联合训练请求；所述联合训练请求至少指示目标模型；所述目标模型为所述各数据提供方各自部署的执行引擎共同支持的公共模型；所述目标模型是由所述协作方基于所述版本信息表中记录的各数据提供方各自部署的执行引擎的引擎版本信息确定；

通过所述第一执行引擎加载所述目标模型，并与其他数据提供方联合训练所述目标模型。

7.根据权利要求6所述的方法，所述版本信息表中记录的所述第一数据提供方部署的所述第一执行引擎的引擎版本信息通过以下步骤获得：

向所述协作方发送信息注册请求，所述信息注册请求包括所述第一执行引擎的引擎版本信息；所述信息注册请求用于指示所述协作方将所述第一执行引擎的引擎版本信息添加到所述版本信息表中。

8.根据权利要求6所述的方法，还包括：

接收所述协作方发送的升级指令；所述升级指令至少包括目标版本信息；

将所述第一执行引擎升级到所述目标版本信息对应的版本；

向所述协作方发送信息更新请求；所述信息更新请求包括所述目标版本信息；所述信息更新请求用于指示所述协作方将所述版本信息表中的所述第一数据提供方部署的所述第一执行引擎的引擎版本信息更新为所述目标版本信息。

9.一种模型联合训练方法，涉及协作方和多个数据提供方；所述多个数据提供方中各数据提供方部署有模型训练的执行引擎；所述协作方维护有版本信息表，所述版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，所述引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型；所述方法包括：

所述协作方，接收模型训练任务的配置指令；所述配置指令至少指示所述多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型；

所述协作方，查询所述版本信息表，以确定所述各目标提供方各自部署的执行引擎的引擎版本信息；

所述协作方，基于所述各目标提供方各自部署的执行引擎的引擎版本信息，判断所述目标模型是否为所述各目标提供方各自部署的执行引擎共同支持的公共模型;

所述协作方，在判断所述目标模型是公共模型的情况下，向所述各目标提供方发送联合训练请求；

所述各目标提供方，各自接收所述联合训练请求，通过各自部署的执行引擎加载所述目标模型，并联合训练所述目标模型。

10.一种模型联合训练装置，设置于协作方，所述协作方用于控制多个数据提供方；所述多个数据提供方中各数据提供方部署有模型训练的执行引擎；所述协作方维护有版本信息表，所述版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，所述引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型；所述装置包括：

接收单元，用于接收模型训练任务的配置指令；所述配置指令至少指示所述多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型；

查询单元，用于查询所述版本信息表，以确定所述各目标提供方各自部署的执行引擎的引擎版本信息；

判断单元，用于基于所述查询单元查询得到的所述各目标提供方各自部署的执行引擎的引擎版本信息，判断所述目标模型是否为所述各目标提供方各自部署的执行引擎共同支持的公共模型；

发送单元，用于在所述目标模型是公共模型的情况下，向所述各目标提供方发送联合训练请求；所述联合训练请求用于指示所述各目标提供方通过各自部署的执行引擎加载所述目标模型并训练。

11.根据权利要求10所述的装置，所述引擎版本信息包括对应版本的执行引擎所支持的至少一种模型。

12.根据权利要求11所述的装置，所述判断单元具体用于：

对于所述各目标提供方中的每个目标提供方，从该目标提供方部署的执行引擎的引擎版本信息中确定出对应的至少一种模型；

若所述目标模型与针对每个目标提供方确定出的至少一种模型中的一种模型相匹配，则确定所述目标模型是公共模型；否则，确定所述目标模型不是公共模型。

13.根据权利要求10所述的装置，还包括：

确定单元，用于若所述判断单元判断所述目标模型不是公共模型，则从所述多个数据提供方中确定出对应执行引擎不支持所述目标模型的第一提供方，向所述第一提供方发送升级指令；所述升级指令包括目标版本信息；所述升级指令用于指示所述第一提供方将部署的执行引擎升级到所述目标版本信息对应的版本；其中，对应于所述目标版本信息的执行引擎支持所述目标模型；

所述接收单元，还用于接收所述第一提供方发送的信息更新请求；所述信息更新请求至少包括所述目标版本信息；

更新单元，用于将所述版本信息表中的所述第一提供方部署的执行引擎的引擎版本信息更新为所述接收单元接收的所述目标版本信息。

14.根据权利要求10-13任一项所述的装置，所述目标模型包括以下任一种：逻辑回归LR模型、梯度提升决策树GBDT模型以及深度神经网络DNN模型。

15.一种模型联合训练装置，设置于第一数据提供方，所述第一数据提供方为协作方控制的多个数据提供方中的任一数据提供方；所述第一数据提供方部署有模型训练的第一执行引擎；所述协作方维护有版本信息表，所述版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，所述引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型；所述装置包括：

接收单元，用于接收所述协作方发送的联合训练请求；所述联合训练请求至少指示目标模型；所述目标模型为所述各数据提供方各自部署的执行引擎共同支持的公共模型；所述目标模型是由所述协作方基于所述版本信息表中记录的各数据提供方各自部署的执行引擎的引擎版本信息确定；

训练单元，用于通过所述第一执行引擎加载所述目标模型，并与其他数据提供方联合训练所述目标模型。

16.根据权利要求15所述的装置，还包括：

发送单元，用于向所述协作方发送信息注册请求，所述信息注册请求包括所述第一执行引擎的引擎版本信息；所述信息注册请求用于指示所述协作方将所述第一执行引擎的引擎版本信息添加到所述版本信息表中。

17.根据权利要求15所述的装置，还包括：升级单元和发送单元；

所述接收单元，还用于接收所述协作方发送的升级指令；所述升级指令至少包括目标版本信息；

所述升级单元，用于将所述第一执行引擎升级到所述接收单元接收的所述目标版本信息对应的版本；

所述发送单元，用于向所述协作方发送信息更新请求；所述信息更新请求包括所述目标版本信息；所述信息更新请求用于指示所述协作方将所述版本信息表中的所述第一数据提供方部署的所述第一执行引擎的引擎版本信息更新为所述目标版本信息。

18.一种模型联合训练系统，包括协作方和多个数据提供方；所述多个数据提供方中各数据提供方部署有模型训练的执行引擎；所述协作方维护有版本信息表，所述版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，所述引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型；

所述协作方，用于接收模型训练任务的配置指令；所述配置指令至少指示所述多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型；

所述协作方，还用于查询所述版本信息表，以确定所述各目标提供方各自部署的执行引擎的引擎版本信息；

所述协作方，还用于基于所述各目标提供方各自部署的执行引擎的引擎版本信息，判断所述目标模型是否为所述各目标提供方各自部署的执行引擎共同支持的公共模型;

所述协作方，还用于在判断所述目标模型是公共模型的情况下，向所述各目标提供方发送联合训练请求；

所述各目标提供方，用于各自接收所述联合训练请求，通过各自部署的执行引擎加载所述目标模型，并联合训练所述目标模型。

19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项所述方法。

20.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述方法。

Images