CN115169576A

CN115169576A - 基于联邦学习的模型训练方法、装置及电子设备

Info

Publication number: CN115169576A
Application number: CN202210729005.2A
Authority: CN
Inventors: 李腾飞; 卞阳; 陈立峰
Original assignee: Shanghai Fushu Technology Co ltd Guangzhou Branch
Current assignee: Shanghai Fudata Technology Co ltd
Priority date: 2022-06-24
Filing date: 2022-06-24
Publication date: 2022-10-11
Anticipated expiration: 2042-06-24
Also published as: CN115169576B

Abstract

本申请提供一种基于联邦学习的模型训练方法、装置及电子设备，涉及计算机技术领域。该方法在模型训练过程中，每个第一参与方均利用自身的特征数据与第二参与方的特征数据进行训练，然后再将训练获得的模型参数传递给下一个第一参与方继续参与训练，直至所有的第一参与方全部参与训练，如此各个第一参与方和第二参与方可实现横向和纵向混合的联邦模型训练，达到更好的模型训练效果，以满足更多更复杂的应用场景。

Description

基于联邦学习的模型训练方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种基于联邦学习的模型训练方法、装置及电子设备。

背景技术

联邦学习又名联邦机器学习、联合学习、联盟学习等。联邦学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全的要求下，进行数据使用和机器学习建模。

联邦学习可以联合不同的参与者进行机器学习建模，而参与者不需要向其他参与者和协调者暴露自己所拥有的数据，因而联邦学习可以很好的保护用户隐私和保障数据安全，并可以解决数据孤岛的问题。

常见的联邦学习有纵向联邦学习和横向联邦学习，但是一般应用场景仅是考虑纵向联邦学习场景，或者仅考虑横向联邦学习场景，横向联邦学习适用于参与者的数据特征重叠较多，而样本ID重叠较少的场景，纵向联邦学习适用于参与者的样本ID重叠较多，而数据特征重叠较少的场景，但是无法应对更复杂的应用场景。

发明内容

本申请实施例的目的在于提供一种基于联邦学习的模型训练方法、装置及电子设备，用以改善现有的方式无法应对更复杂的应用场景的问题。

第一方面，本申请实施例提供了一种基于联邦学习的模型训练方法，应用于包含部分样本ID的第一参与方，不同第一参与方包含不同的特征数据，所述方法包括：

依次取i为1到K-1，第i个第一参与方利用自身的特征数据与第二参与方的特征数据进行模型训练，其中，所述第二参与方包含全部样本ID，K为大于1的整数；

第i个第一参与方将模型训练完成后获得的模型参数发送给第i+1个第一参与方，其中，所述第i+1个第一参与方利用从第i个第一参与方获得的模型参数、自身的特征数据以及所述第二参与方的特征数据进行模型训练，直至第K个第一参与方训练完成；

其中，模型训练所需的标签数据从第三参与方获得，所述第三参与方包含全部样本ID，所述标签数据是以密态方式传递的。

在上述实现过程中，在模型训练过程中，每个第一参与方均利用自身的特征数据与第二参与方的特征数据进行训练，然后再将训练获得的模型参数传递给下一个第一参与方继续参与训练，直至所有的第一参与方全部参与训练，如此各个第一参与方和第二参与方可实现横向和纵向混合的联邦模型训练，达到更好的模型训练效果，以满足更多更复杂的应用场景。

可选地，在第1个第一参与方进行模型训练时，从所述第三参与方接收所述第三参与方加密的初始模型参数以及所述第三参与方加密的标签数据。模型参数和标签数据以加密的形式传输，从而确保数据传输过程中的安全性。

可选地，所述第i个第一参与方利用自身的特征数据与第二参与方的特征数据进行模型训练，包括：

第i个第一参与方利用与所述第二参与方共有的样本ID的特征数据与所述第二参与方共有的样本ID的特征数据进行模型训练。

在上述实现过程中，第一参与方在进行模型训练时，选择与第二参与方共有的样本ID的特征数据进行训练，以避免后续数据处理过程中顺序错乱的问题。

可选地，在第K个第一参与方训练完成之后，还包括：

第K个第一参与方将训练完成后获得的模型参数传输给下一轮模型训练过程中的第1个第一参与方。

在上述实现过程中，将模型参数继续传递给下一轮模型训练的第一参与方，如此各个第一参与方可参与多轮模型训练，以达到更好的模型训练效果。

可选地，下一轮模型训练过程中的第1个第一参与方接收到模型参数后，还包括：

下一轮模型训练过程中的第1个第一参与方判断自己参与模型训练的轮次是否达到预设轮次；

若是，则结束模型训练；

若否，则继续进行模型训练。

在上述实现过程中，通过第一参与方判断是否达到预设轮次来判断是否结束训练，如此可避免重复训练造成资源浪费的问题。

可选地，每个第一参与方参与多轮模型训练，在每轮模型训练中，K个第一参与方所参与模型训练的顺序不同。通过设置每轮参与训练的各个第一参与方的顺序不同，这样可利用不同数据训练的模型参数传递给下一个第一参与方，以达到更好的模型训练效果。

第二方面，本申请实施例提供了一种基于联邦学习的模型训练装置，运行于包含部分样本ID的第一参与方，不同第一参与方包含不同的特征数据，所述装置包括：

训练模块，用于依次取i为1到K-1，利用自身的特征数据与第二参与方的特征数据进行模型训练，其中，所述第二参与方包含全部样本ID，K为大于1的整数；

参数传递模块，用于将模型训练完成后获得的模型参数发送给第i+1个第一参与方，其中，所述第i+1个第一参与方利用从第i个第一参与方获得的模型参数、自身的特征数据以及所述第二参与方的特征数据进行模型训练，直至第K个第一参与方训练完成；

第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种基于联邦学习的模型训练方法的流程图；

图2(a)为本申请实施例提供的一种对逻辑回归模型进行训练的前半部分流程图；

图2(b)为本申请实施例提供的一种对逻辑回归模型进行训练的后半部分流程图；

图3为本申请实施例提供的一种基于联邦学习的模型训练装置的结构框图；

图4为本申请实施例提供的一种用于执行基于联邦学习的模型训练方法的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

本申请实施例提供一种基于联邦学习的模型训练方法，该方法应用于包含部分样本ID和特征数据的第一参与方，在模型训练过程中，每个第一参与方均利用自身的特征数据与第二参与方的特征数据进行训练，然后再将训练获得的模型参数传递给下一个第一参与方继续参与训练，直至所有的第一参与方全部参与训练，如此各个第一参与方和第二参与方可实现横向和纵向混合的联邦模型训练，达到更好的模型训练效果，以满足更多更复杂的应用场景。

请参照图1，图1为本申请实施例提供的一种基于联邦学习的模型训练方法的流程图，该方法包括如下步骤：

步骤S110：依次取i为1到K-1，第i个第一参与方利用自身的特征数据与第二参与方的特征数据进行模型训练。

其中，本申请提供的模型训练方法应用于包含特征数据的第一参与方，各个第一参与方包含部分样本ID，不同第一参与方包含不同的特征数据，即各个第一参与方包含不完全相同的特征数据，第二参与方包含全部样本ID以及特征数据，第一参与方与第二参与方所包含的特征数据也可以有部分或全部重叠。例如，第二参与方为公司总部，其拥有公司全部成员的数据，而各个第一参与方为各个分公司，每个分公司只能拥有自己公司成员的数据，样本ID即用于标识各个用户。这里各个第一参与方所拥有的部分样本ID不完全重叠，包含的特征数据也不完全重叠，在进行模型训练时，需要用到各个第一参与方的特征数据以及第二参与方的特征数据，两方所拥有的特征数据可能不完全相同。这里的特征数据可以是指用户的年龄、工龄、薪资等信息。可以理解地，在不同的应用场景下，特征数据所代表的信息不同，如在利用患者的病历进行联合建模的场景下，特征数据可以是指各个患者的身高、体重、血压、病史等信息。

为了满足更复杂的应用场景，本申请可以实现横向和纵向混合的联邦学习建模，本申请实施例中在进行模型训练时，依次针对每个第一参与方进行训练，如一共包含10个第一参与方，在一轮模型训练时，先选择第1个第一参与方，第1个第一参与方利用自身的特征数据与第二参与方的特征数据进行模型训练，这里第一参与方是在自己本地进行训练的，第二参与方可以将自己的特征数据以密态的形式(其密态形式体现为特征数据与模型参数(这里获得的模型参数也是密态的)的点乘结果)发送给第一参与方。然后再利用第2个第一参与方与第二参与方进行模型训练，直至各个第一参与方参与训练完成，各个第一参与方的模型训练即实现横向联邦学习，第一参与方与第二参与方的模型训练即实现纵向联邦学习，如此可实现横向和纵向混合的联邦学习。

当然，模型训练过程中所需的标签数据可以从第三参与方获得，第三参与方包含全部样本ID以及标签数据，没有特征数据，但是第一参与方和第二参与方均只有特征数据，没有标签数据。所以，第一参与方可以联合第二参与方的特征数据、自身的特征数据以及第三参与方的标签数据来进行模型训练。

需要说明的是，这里的第i个第一参与方可以是上述举例中的10个第一参与方中任意一个还未参与训练的第一参与方，每个第一参与方的模型训练过程基本一致，只是对于第1个第一参与方来说，其初始模型参数可以是自己随机生成的，也可以是从第三参与方接收的加密的初始模型参数，当然，为了确保数据传输的安全性，第一参与方从第三参与方获取的标签数据，是第三参与方加密后的标签数据，即本申请中在各个参与方传递的标签数据均是以密态方式传递的，如此第一参与方和第二参与方无法获得第三参与方的明文标签数据，确保了第三参与方的标签数据的安全。

例如，第三参与方可以随机生成密钥对，分为公钥和私钥，公钥用于加密标签数据以及初始模型参数，然后第三参与方可将加密后获得的加密的标签数据和加密的初始模型参数发送给各个第一参与方，若第二参与方也需要在本地进行模型训练，第三参与方还可以将加密的标签数据和加密的初始模型参数发送给第二参与方，第二参与方在模型训练过程中也需要各个第一参与方的特征数据，所以第一参与方将自身的特征数据以密态方式传递发送给第二参与方，同理，第二参与方也可以将自身的特征数据加密(即特征数据与密态的模型参数的点乘结果)后发送给第一参与方，也就是说，第一参与方、第二参与方以及第三参与方之间的数据传输均是以加密的方式传输的，如此可确保模型训练过程中，各方数据的安全。

需要说明的是，本申请中的第三参与方负责密钥的分发、解密、传递数据等任务，如用于对模型参数进行加密，即通过参与方来对模型参数进行加密，而无需各个参与方均信任的协调方来加密各个参与方之间的数据传输，本申请中取消了协调方，从而可避免协调方因为出现安全隐患而导致其他参与方的数据安全受到影响的问题。

步骤S120：第i个第一参与方将模型训练完成后获得的模型参数发送给第i+1个第一参与方。

在其中某个第一参与方的模型训练完后，可将训练好的模型参数发送给下一个参与训练的第一参与方。例如，有10个第一参与方，可先确定这10个第一参与方参与训练的顺序，如果第1个第一参与方参与训练完成后，第1个第一参与方可将训练获得的模型参数发送给第2个参与训练的第一参与方，第2个第一参与方训练完成后，继续将模型参数发送给第3个参与训练的第一参与方。这里需要说明的是，由于标签数据是加密的，所以后续获得的模型参数也是加密的，也就是说各个第一参与方之间传递的模型参数是密态形式的。

如第i个第一参与方将加密模型参数发送给第i+1个第一参与方，第i+1个第一参与方获得加密模型参数后，可以利用加密模型参数继续进行模型训练，如此模型参数以密态的方式在各个第一参与方之间传递，确保了训练过程中模型参数的安全。

其中，第i+1个第一参与方利用从第i个第一参与方获得的模型参数、自身的特征数据以及第二参与方的特征数据进行模型训练，直至第K个第一参与方训练完成。

第i+1个第一参与方从第i个第一参与方获得模型参数后，可利用模型参数、自身的特征数据以及第二参与方的特征数据、第三参与方的标签数据来进行模型训练，直至所有的第一参与方参与训练完，最终获得训练好的模型。

例如，一共有10个第一参与方，第1个第一参与方训练完成后，将模型参数发送给第2个第一参与方，第2个第一参与方继续参与训练，直至到第10个第一参与方，在第10个第一参与方训练完成后，可获得最终训练好的模型。

需要说明的是，上述训练的模型可以是神经网络模型、机器学习模型等，对于任何模型均可按照本申请的方法进行训练，在本申请实施例中不做具体限制。

还需要说明的是，各个参与方之间相互传递的特征数据也是以密态形式传递的，以及各个第一参与方之间传递的模型参数也是密态形式的，而第三参与方与其他参与方传递的标签数据也是密态形式的，也就是说各个参与方在进行模型训练过程中，其从其他参与方获得的数据均是密态的，这样整个模型训练过程中所参与的数据以及获得的数据，除了本地数据外，均是密态数据，如此确保了各参与方的数据安全。

在上述实施例的基础上，为了避免各个参与方在数据处理过程中发生数据顺序错乱的问题，还可以在第i个第一参与方进行模型训练时，第i个第一参与方利用与第二参与方共有的样本ID的特征数据与第二参与方共有的样本ID的特征数据进行模型训练。

也就是说，第二参与方的样本ID可能只与第一参与方的样本ID有部分重合，所以第一参与方在进行模型训练时，需要从中筛选出与第二参与方共有的样本ID共有的特征数据进行模型训练。

在具体实现过程中，第一参与方和第二参与方可以相互交互各自的样本ID，这样第一参与方可以在本地筛选出与第二参与方共有的样本ID的特征数据进行模型训练，而第二参与方在进行模型训练时，也可以筛选出与第一参与方共有的样本ID的特征数据进行模型训练，由于第二参与方在进行多轮模型训练过程中，会包含各个第一参与方的特征数据，而各个第一参与方的样本ID不同，所以，第二参与方在模型训练过程中，也会尽可能利用自身所有样本ID的特征数据，从而达到较好的模型训练效果。

在上述实施例的基础上，为了评估模型训练效果，在第K个第一参与方训练完成后，第K个第一参与方还可以将训练完成后获得的模型参数传输给下一轮模型训练过程中的第1个第一参与方。

例如，一共10个第一参与方，在第10个第一参与方训练完成后，第10个第一参与方可获得训练完成后的模型参数，由于各个第一参与方所参与训练的标签数据是密态数据，所以获得的模型参数也是密态的，为了达到更好的模型训练效果，各个第参与方可参与进行多轮模型训练，如第一轮训练完成后的最后一个第一参与方还可以将模型参数继续传递给下一轮模型训练的第1个第一参与方。下一轮训练的第1个第一参与方获得模型参数后可继续进行训练。

在一些实施方式中，为了避免重复无用的训练，下一轮的第1个第一参与方在获得模型参数后，还可以判断自己参与模型训练的轮次是否达到预设轮次，若是，则结束模型训练，若否，则继续新一轮的模型训练。

例如，下一轮的第1个第一参与方在获得模型参数，表示进入了下一轮模型训练，此时该第一参与方可判断自己是否已经参与所有的训练轮次，比如一共有5轮次(预设轮次为5)，表示每个第一参与方需要参与5轮模型训练，各个第一参与方在参与完一轮模型训练好，可自行记录以参与训练的轮次，如果该第一参与方此时已经参与训练了3轮，则表示还未训练完，此时可利用获得的模型参数继续进行训练，如果该第一参与方此时已经记录参与训练了5轮，则表示该第一参与方已经参与了全部轮次的模型训练，则结束模型训练。

这里在全部第一参与方参与完所有轮次的模型训练后，最后一个获得模型参数的第一参与方可将模型参数同步给其他参与方，如此各个参与方可获得最终的模型参数，并获得最终训练好的模型，从而完成联邦学习的模型训练。

可以理解地，在每轮模型训练过程中，各个第一参与方均按照同样的模型训练流程进行训练，只有第一轮第1个第一参与方进行模型训练时，其初始模型参数是从第三参与方获得的，而其余的各个第一参与方的模型参数均是从上一个第一参与方处获得。

在上述实现过程中，为了达到更好的模型训练效果，每个第一参与方参与多轮模型训练，在每轮模型训练中，K个第一参与方所参与模型训练的顺序不同。

例如，有5个第一参与方，包含第一参与方1、第一参与方2、第一参与方3、第一参与方4、第一参与方5，在第1轮模型训练过程中，其顺序为：第一参与方1->第一参与方3->第一参与方2->第一参与方4->第一参与方5，在第2轮模型训练过程，其顺序可以为：第一参与方1->第一参与方2->第一参与方5->第一参与方4->第一参与方3。如此可设置每轮训练时各个第一参与方的训练顺序，若在某轮模型训练结束后，达到预设轮次，则不再进行新的一轮训练，若未达到预设轮次，则继续进行新的一轮训练，直至达到预设轮次，此时第一参与方即可获得训练好的模型。

最终获得训练好的模型的第一参与方可将最终的模型参数同步给其他各个第一参与方，当然这里同步模型参数也是以密态形式同步的。

在上述实现过程中，通过设置每轮参与训练的各个第一参与方的顺序不同，这样可利用不同数据训练的模型参数传递给下一个第一参与方，以达到更好的模型训练效果。

下面以一个具体的实施例对上述过程进行说明，下述过程以对逻辑回归模型进行训练为例。

如图2(a)所示(该图2(a)为逻辑回归模型训练的前半部分流程图)，在初始一轮训练时，第三参与方生成密钥对(pub,priv)，并随机生成初始模型参数，包含wq_0(第一参与方的模型参数，是一个向量，长度与第一参与方的特征数据相同)、wp_0(第二参与方的模型参数，是一个向量，长度与第二参与方的特征数据相同)和b_0(模型参数，是一个标量)，第三参与方先利用公钥pub对初始模型参数进行加密，并将标签数据Y(是一个向量，长度为N，其中每个元素对应一个样本ID，其值是这个ID所对应的分类标签，如0或1)也利用公钥pub进行加密，获得加密的标签数据Y_1；

第三参与方、第二参与方和第一参与方在训练之前，先将各个参与方的样本ID对齐，即筛选出共用的样本ID的数据进行后续的流程，如第二参与方将自己的特征数据Xq(是一个二维矩阵)筛选后，获得共有的样本ID的特征数据Xq_1，长度为N1*Mq，Mq为每个样本ID所包含的特征数据的个数，第一参与方也将自己的特征数据Xp(是一个二维矩阵)筛选后，获得共有的样本ID的特征数据Xp_1，长度为N1*Mp，Mp为每个样本ID所包含的特征数据的个数，各个第一参与方的Mp相同，其中图中的N表示数据的个数，例如一个批次的大小；

第三参与方将加密的wq_0发送给第二参与方，将加密的wp_0和b_0、标签数据Y_1发送给第1个第一参与方；

然后第一参与方和第二参与方可以将数据集拆分成多个批次进行多轮模型参数更新，其参数更新过程如图中虚线框中所示，虚线框中的uq_1表示第二参与方的特征数据与模型参数的乘法结果(也即对特征数据进行加密的方式，这里第二参与方将乘法结果传递给第一参与方，从而可避免自身特征数据被泄露的问题)，up_1表示第一参与方的特征数据与模型参数的乘法结果，Z表示一个中间结果，d表示梯度因子，a1、a2、a3表示计算梯度因子的公式中的一组固定系数，在不同计算公式中，这个固定系数可以不同，grad_q_1表示第二参与方计算的梯度，grad_p_1表示第一参与方计算的梯度，更新模型参数的公式中的lr表示学习率；

第1个第一参与方在训练完成后，将训练好的模型参数wp传递给第2个第一参与方，然后第2个第一参与方重复上述样本ID对齐的步骤后，继续按照虚线框中所示的流程进行模型训练，直至该轮训练的最后一个第一参与方训练结束。其中，如图2(b)所示(该图2(b)为上述图2(a)的后半部分流程图，两幅图进行拼接后可形成逻辑回归模型训练的完整流程图)。

最后一个第一参与方将获得的模型参数发送给新一轮训练的第1个第一参与方，新一轮训练的第1个第一参与方判断自己参与模型训练的轮次是否达到预设轮次，若是，则结束训练，若否，则继续新的一轮模型训练，然后重复上述的训练流程，直至达到预设轮次，完成训练，训练结束各个第一参与方获得的是密态的模型参数，如此可从根本上消除了第一参与方通过模型参数反推出第三参与方的标签数据的可能性，从而避免标签数据的泄露。

另外，在第二参与方也有多个时，在每轮模型训练过程中，各个第二参与方也可以参与不同轮的模型训练。

在一些实施方式中，在利用训练好的模型进行预测时，如利用训练好的逻辑回归模型进行数据分类时，可以在所有第一参与方、第二参与方以及第三参与方均同意的情况下，才能进行数据分类，如此可确保各参与方的利益。

请参照图3，图3为本申请实施例提供的一种基于联邦学习的模型训练装置200的结构框图，该装置200运行于包含部分样本ID的第一参与方，不同第一参与方包含不同的特征数据，该装置200可以是电子设备上的模块、程序段或代码。应理解，该装置200与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置200具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

可选地，所述装置200包括：

训练模块210，用于依次取i为1到K-1，利用自身的特征数据与第二参与方的特征数据进行模型训练，其中，所述第二参与方包含全部样本ID，K为大于1的整数；

参数传递模块220，用于将模型训练完成后获得的模型参数发送给第i+1个第一参与方，其中，所述第i+1个第一参与方利用从第i个第一参与方获得的模型参数、自身的特征数据以及所述第二参与方的特征数据进行模型训练，直至第K个第一参与方训练完成；

可选地，在第1个第一参与方进行模型训练时，从所述第三参与方接收所述第三参与方加密的初始模型参数以及所述第三参与方加密的标签数据。

可选地，所述训练模块210，用于利用与所述第二参与方共有的样本ID的特征数据与所述第二参与方共有的样本ID的特征数据进行模型训练。

可选地，所述装置200还包括：

梯度因子传递模块，用于在第K个第一参与方训练完成，将第K个第一参与方训练完成后获得的模型参数传输给下一轮模型训练过程中的第1个第一参与方。

可选地，所述装置200还包括：

模型判断模块，用于在下一轮模型训练过程中的第1个第一参与方接收到模型参数后，判断自己参与模型训练的轮次是否达到预设轮次；若是，则结束模型训练；若否，则继续进行模型训练。

可选地，每个第一参与方参与多轮模型训练，在每轮模型训练中，K个第一参与方所参与模型训练的顺序不同。

需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。

请参照图4，图4为本申请实施例提供的一种用于执行基于联邦学习的模型训练方法的电子设备的结构示意图，该电子设备可以是指各参与方，所述电子设备可以包括：至少一个处理器310，例如CPU，至少一个通信接口320，至少一个存储器330和至少一个通信总线340。其中，通信总线340用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口320用于与其他节点设备进行信令或数据的通信。存储器330可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器330可选的还可以是至少一个位于远离前述处理器的存储装置。存储器330中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器310执行时，电子设备执行上述图1所示方法过程。

可以理解，图4所示的结构仅为示意，所述电子设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，执行如图1所示方法实施例中电子设备所执行的方法过程。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：依次取i为1到K-1，第i个第一参与方利用自身的特征数据与第二参与方的特征数据进行模型训练，其中，所述第二参与方包含全部样本ID，K为大于1的整数；第i个第一参与方将模型训练完成后获得的模型参数发送给第i+1个第一参与方，其中，所述第i+1个第一参与方利用从第i个第一参与方获得的模型参数、自身的特征数据以及所述第二参与方的特征数据进行模型训练，直至第K个第一参与方训练完成；其中，模型训练所需的标签数据从第三参与方获得，所述第三参与方包含全部样本ID，所述标签数据是以密态方式传递的。

综上所述，本申请实施例提供了一种基于联邦学习的模型训练方法、装置及电子设备，该方法在模型训练过程中，每个第一参与方均利用自身的特征数据与第二参与方的特征数据进行训练，然后再将训练获得的模型参数传递给下一个第一参与方继续参与训练，直至所有的第一参与方全部参与训练，如此各个第一参与方和第二参与方可实现横向和纵向混合的联邦模型训练，达到更好的模型训练效果，以满足更多更复杂的应用场景。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种基于联邦学习的模型训练方法，其特征在于，应用于包含部分样本ID的第一参与方，不同第一参与方包含不同的特征数据，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在第1个第一参与方进行模型训练时，从所述第三参与方接收所述第三参与方加密的初始模型参数以及所述第三参与方加密的标签数据。

3.根据权利要求1所述的方法，其特征在于，所述第i个第一参与方利用自身的特征数据与第二参与方的特征数据进行模型训练，包括：

4.根据权利要求1所述的方法，其特征在于，在第K个第一参与方训练完成之后，还包括：

5.根据权利要求4所述的方法，其特征在于，下一轮模型训练过程中的第1个第一参与方接收到模型参数后，还包括：

若是，则结束模型训练；

若否，则继续进行模型训练。

6.根据权利要求1所述的方法，其特征在于，每个第一参与方参与多轮模型训练，在每轮模型训练中，K个第一参与方所参与模型训练的顺序不同。

7.一种基于联邦学习的模型训练装置，其特征在于，运行于包含部分样本ID的第一参与方，不同第一参与方包含不同的特征数据，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，在第1个第一参与方进行模型训练时，从所述第三参与方接收所述第三参与方加密的初始模型参数以及所述第三参与方加密的标签数据。

9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-6任一所述的方法。