CN114118447A - 新型联邦学习系统、方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种新型联邦学习方法，应用于联邦学习领域，用于在保证联邦学习数据安全性的情况下，提高联邦学习效率。本发明提供的方法包括：获取用户指令和训练模型，其中，用户指令和训练模型预先部署在第一边缘设备节点上；基于用户指令和训练模型生成训练任务样本，并采用动态虚拟协调服务器，将训练任务样本发送至第二边缘设备节点，其中，动态虚拟协调服务器用于控制第一边缘设备节点和第二边缘设备节点；基于训练任务样本，采用每个第二边缘设备节点对第二边缘设备节点对应的本地训练模型进行训练，得到每个第二边缘设备节点的模型参数；基于所有模型参数，第一边缘设备节点对训练模型进行聚合处理，并根据处理得到的模型更新训练模型。

Description

新型联邦学习系统、方法、装置、计算机设备及存储介质

技术领域

本发明涉及联邦学习领域，尤其涉及一种新型联邦学习系统、方法、装置、计算机设备及存储介质。

背景技术

联邦学习(Federated Learning)是由google在2016年首次提出的技术，意指通过联合多个参与方从分散和孤立的数据中，共同训练机器学习模型。在FL系统中，各个参与方的数据始终不离开本地拥有者，同时模型相关信息以加密方式(差分隐私、加密算法等)在各方之间进行传输和交换，并且任意一方都不能推测出其他方的原始数据，目前联邦学习已经在金融大数据、数字健康、智慧交通、计算机视觉、个性化推荐等领域得到了广泛的发展。

在实际应用中，目前比较流行的联邦学习架构有基于Google的TensorFlowFederated(TFF)、基于微众银行的Federated AI Technology Enabler(FATE)、基于英伟达的NVidia Clare、基于百度的PaddleFL等。

现有的工业级联邦学习框架(如FATE、PaddleFL)在实现联邦学习时都沿袭了分布式机器学习(Distributed Machine Learning)的设计思路，我们将这种思路归类为Centralized联邦学习(CFL)。

Centralized联邦学习的实现有如下优点：(1)符合开发者的习惯，用户使用心智负担小；(2)开发难度较小，可复用分布式机器学习基础组件；(3)分布式系统可用性强，性能优异，支持大规模的联邦学习训练。但Centralized联邦学习也存在固有缺点:(1)过度依赖中心化的参数交换服务器，存在单节点作恶和故障；(2)训练服务器必须赋予协调服务器较高访问权限，不符合最小权限原则，安全风险高。(3)在物联网、移动端等场景下，存在节点在线时间不稳定，训练效率低等问题。

所以，针对Centralized联邦学习的不足，一些学者提出了Decentralized联邦学习的思路。Decentralized联邦学习的实现方式不存在中心化的协调服务器，各训练节点通过特定协议算法(如Gossip)与相邻节点进行参数交换。Decentralized联邦学习的实现有如下优点：(1)容忍节点在线时间不连续、网络抖动、网络带宽低的情况；(2)参数交换过程无需依赖协调服务器、有效防止单节点故障；(3)联邦学习的数据共享方(训练节点)无需信任协调节点。对于任意请求，协调节点都可以自行判断是否执行。但是在应对可信度的挑战中，DFL易受数据的投毒攻击、模型的投毒攻击等新型攻击手段的影响。

因此，现有联邦学习系统难以兼顾数据安全性和效率，而导致联邦学习系统适应性不强的问题。

发明内容

本发明实施例提供一种新型联邦学习系统及联邦学习方法、装置、计算机设备及存储介质，以在保证联邦学习数据安全性的情况下，提高联邦学习效率。

一种新型联邦学习系统，所述新型联邦学习系统为虚拟化联邦学习系统，所述虚拟化联邦学习系统包括动态虚拟协调服务器、至少两个边缘设备节点，所述动态虚拟协调服务器用于控制所述边缘设备节点的指令接收、请求发送和节点选择，所述边缘设备节点用于进行参数传播、模型聚合、模型更新。

一种联邦学习方法，包括：

获取用户指令和训练模型，其中，所述用户指令和所述训练模型预先部署在第一边缘设备节点上；

基于所述用户指令和所述训练模型生成训练任务样本，并采用动态虚拟协调服务器，将所述训练任务样本发送至第二边缘设备节点，其中，所述动态虚拟协调服务器用于控制所述第一边缘设备节点和所述第二边缘设备节点；

基于所述训练任务样本，采用每个所述第二边缘设备节点对所述第二边缘设备节点对应的本地训练模型进行训练，得到每个所述第二边缘设备节点的模型参数；

基于所有所述模型参数，所述第一边缘设备节点对所述训练模型进行聚合处理，并根据处理得到的模型更新所述训练模型。

一种联邦学习装置，包括：

数据获取模块，用于获取用户指令和训练模型，其中，所述用户指令和所述训练模型预先部署在第一边缘设备节点上；

训练任务样本获取模块，用于基于所述用户指令和所述训练模型生成训练任务样本，并采用动态虚拟协调服务器，将所述训练任务样本发送至第二边缘设备节点，其中，所述动态虚拟协调服务器用于控制所述第一边缘设备节点和所述第二边缘设备节点；

模型参数获取模块，用于基于所述训练任务样本，采用每个所述第二边缘设备节点对所述第二边缘设备节点对应的本地训练模型进行训练，得到每个所述第二边缘设备节点的模型参数；

模型聚合模块，用于基于所有所述模型参数，所述第一边缘设备节点对所述训练模型进行聚合处理，并根据处理得到的模型更新所述训练模型。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述联邦学习方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述联邦学习方法的步骤。

本发明实施例提供的新型联邦学习系统、方法、装置、计算机设备及存储介质，通过获取用户指令和训练模型，其中，所述用户指令和所述训练模型预先部署在第一边缘设备节点上；基于所述用户指令和所述训练模型生成训练任务样本，并采用动态虚拟协调服务器，将所述训练任务样本发送至第二边缘设备节点，其中，所述动态虚拟协调服务器用于控制所述第一边缘设备节点和所述第二边缘设备节点；基于所述训练任务样本，采用每个所述第二边缘设备节点对所述第二边缘设备节点对应的本地训练模型进行训练，得到每个所述第二边缘设备节点的模型参数；基于所有所述模型参数，所述第一边缘设备节点对所述训练模型进行聚合处理，并根据处理得到的模型更新所述训练模型。通过动态虚拟协调服务器实现联邦学习中控制流与数据流的分离，以在保证联邦学习数据安全性的情况下，提高联邦学习效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中新型联邦学习系统的一示意图；

图2是本发明一实施例中联邦学习方法的一流程图；

图3是本发明一实施例中联邦学习装置的结构示意图；

图4是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供了一种新型联邦学习系统，如图1所示，新型联邦学习系统为虚拟化联邦学习系统，虚拟化联邦学习系统包括动态虚拟协调服务器01、至少两个边缘设备节点02，动态虚拟协调服务器01用于控制边缘设备节点02的指令接收、请求发送和节点选择，边缘设备节点02用于进行参数传播、模型聚合、模型更新。

其中，上述虚拟化联邦学习系统包括但不限于观察层、虚拟控制层和执行层。虚拟控制层由动态虚拟协调服务器01构成，执行层由边缘设备节点02和边缘设备节点02的相邻设备构成。

应理解，用户通过观察层实现对虚拟化联邦学习模型的访问，并将指令、训练模型等相关信息发送至动态虚拟协调服务器01；当动态虚拟协调服务器01接收到用户发送的指令后，利用Gossip协议将指令和训练模型发送至网络中的边缘设备节点02，然后通过边缘设备节点02的相邻设备的周期性扩散模式将指令信息异步传播至整个网络；各个边缘设备节点02通过点对点的方式进行信息的交互和同步，整合相应训练动态虚拟协调服务器01训练所生成的模型参数，并在边缘设备节点02自身进行模型的聚合。

此处需要说明的是，动态虚拟协调服务器01是动态生成的，其生成方法包括但不限于采用随机数生成器(PRNG)算法生成动态虚拟服务器01。其具体是：使用随机数生成器(PRNG)算法动态选取边缘设备节点集合，其中，该边缘设备节点集合包括至少两个边缘设备节点02，获取虚拟化联邦学习系统的运行状态，采用自适应方式对边缘设备节点集合中的节点进行动态选择，并将经过动态选择出的所有边缘设备节点02作为当前动态虚拟服务器01。

当动态虚拟协调服务器01负责本地任务的训练，根据所述训练任务，动态虚拟协调服务器01利用边缘计算对模型进行本地训练。当训练任务达到最大迭代次数，同时满足收敛要求并在预设阈值的范围内，释放动态虚拟协调服务器01，返回重新生成动态虚拟协调服务器01。其中，该预设阈值是指动态虚拟协调服务器01的动态阈值。

其中，指令控制是指采用点对点通信方式实现去中心化操作，也就是说，在虚拟化联邦学习系统不需要传统联邦学习的聚合操作，只需通过动态虚拟协调服务器01对其进行指令控制，减少参数的聚合操作，从而降低动态虚拟协调服务器01的压力和通信的开销。

参数传播是指利用去中心化的思想，通过Gossip协议实现相邻节点之间的信息传播。例如，通过DHT协议实现边缘设备节点02的选择，控制边缘设备节点02的加入和退出操作，并且在边缘设备节点02自行训练产生参数；在边缘设备节点02上产生的参数直接通过Gossip协议在边缘设备节点02间完成参数的点对点传播。当一个边缘设备节点02有状态需要更新到网络中的其他边缘设备节点02时，它会随机地选择周围几个边缘设备节点02来散播消息，而收到消息的边缘设备节点02也会重复该过程，直至网络中所有的边缘设备节点02都收到了消息；Gossip协议在传播周期时发起模型参数的传递，进而模型将进行新一轮次的训练和更新；动态地更新动态虚拟协调服务器01，并对更新后的日志进行存证。

模型更新是指根据从相邻的边缘设备节点02传入的参数，可以通过当前客户端计算相关参数，并更新到本地的模型。

通过分布式哈希表协议，从一组符合要求的客户端中进行采样，采用随机数生成器(PRNG)算法生成动态虚拟服务器01，使得动态虚拟服务器01集合是一致的，从而达到全局一致性，在保证联邦学习数据安全性的情况下，提高联邦学习效率。

在一实施例中，提供一种联邦学习方法，可应用于上述新型联邦学习系统，如图2所示，其具体包括如下步骤S10至步骤S40。

S10、获取用户指令和训练模型，其中，用户指令和训练模型预先部署在第一边缘设备节点上。

在步骤S10中，用户指令是指第一边缘设备节点发出的指令。训练模型是指第一边缘设备节点的本地模型。

第一边缘设备节点是指发出指令的边缘设备节点。

在步骤S10之前，联邦学习方法还包括如下步骤S101。

S101、基于分布式散列表算法，获取第一边缘设备节点和第二边缘设备节点。

分布式散列表算法是指用来选取将一个关键值的集合分散到所有在分布式系统中的节点，并且可以有效地将消息转送到唯一一个拥有查询者提供的关键值的节点的算法。

应理解，使用分布式散列表算法可以用于实现节点自动发现机制。例如，采用分布式散列表算法的DHT路由协议将多个不相交的路径并行查找，利用隐式密码限制自由设备ID的生成，并引入可靠的Kbucket发现新节点，其中，Kbucket用来存储节点的NodeId、两个节点之间的距离、目标节点等信息的路由表。在每轮训练初期，利用分布式散列表算法定义节点之间的交互协议，并将所有能够进行信息交互的节点构成一个集群。

第二边缘设备节点是指用于接收指令的边缘设备节点。

通过获取第一边缘设备节点和第二边缘设备节点，第一边缘设备节点上的用户指令和训练模型，以便于后续针对用户指令和训练模型进行联邦学习和异步融合，从而实现在保证联邦学习数据安全性的情况下，提高联邦学习效率。

S20、基于用户指令和训练模型生成训练任务样本，并采用动态虚拟协调服务器，将训练任务样本发送至第二边缘设备节点，其中，动态虚拟协调服务器用于控制第一边缘设备节点和第二边缘设备节点。

在步骤S20中，上述训练任务样本包括用户指令和训练模型。

上述动态虚拟协调服务器是动态生成的，其生成方法包括但不限于采用随机数生成器(PRNG)算法生成动态虚拟服务器。其具体是：使用随机数生成器(PRNG)算法动态选取边缘设备节点集合，其中，该边缘设备节点集合包括至少两个边缘设备节点，获取虚拟化联邦学习系统的运行状态，采用自适应方式对边缘设备节点集合中的节点进行动态选择，并将经过动态选择出的所有边缘设备节点作为当前动态虚拟服务器。采用随机数生成器(PRNG)算法生成动态虚拟服务器，使得动态虚拟服务器集合是一致的，从而达到全局一致性，使得在保证联邦学习数据安全性的情况下，提高联邦学习效率。

通过上述步骤，采用动态虚拟协调服务器，将训练任务样本发送至第二边缘设备节点，由于动态虚拟服务器集合是一致的，从而达到全局一致性，使得在保证联邦学习数据安全性的情况下，提高联邦学习效率。

S30、基于训练任务样本，采用每个第二边缘设备节点对第二边缘设备节点对应的本地训练模型进行训练，得到每个第二边缘设备节点的模型参数。

在步骤S30中，上述模型参数但不限于本地训练模型、模型年龄，其中，模型年龄是指本地训练模型进行训练的次数。

其具体是。

基于训练任务样本，采用每个第二边缘设备节点对第二边缘设备节点对应的本地训练模型进行训练，并根据训练得到的结果更新本地训练模型。

根据更新后的本地训练模型和本地训练模型对应的模型年龄，生成第二边缘设备节点对应的模型参数，其中，模型年龄是指本地训练模型进行训练的次数。

在步骤S30之后，联邦学习方法还包括如下步骤S301至步骤S302。

S301、基于动态虚拟协调服务器，获取与第二边缘设备节点的相邻设备，作为待传播设备节点。

S302、基于异步传播方式和训练任务样本，采用每个待传播设备节点对待传播设备节点对应的本地训练模型进行训练，得到每个待传播设备节点的模型参数。

在步骤S301中，上述相邻设备的识别方法包括但不限于分布式散列表算法。采用分布式散列表算法识别与该第二边缘设备节点的相邻设备。

在步骤S302中，上述异步传播方式是指基于Gossip协议将训练任务样本传播给待传播设备节点的方式。

通过DHT协议实现待传播设备节点的选择，并异步传播方式将训练任务样本传播给待传播设备节点，根据待传播设备节点所收集的数据进行局部训练，模型收敛后等待一定时间间隔，如Gossip协议周期长度进行节点选择。第二边缘设备节点根据自身周期频率将自己的梯度通过Gossip协议推送给邻居联邦学习节点，即待传播设备节点，在模型聚合过程中，接收到待传播设备节点节点发送的模型参数。

通过上述步骤，获取每个第二边缘设备节点的模型参数，以便后续第一边缘设备节点基于获取到的模型参数进行模型聚合，使得在保证联邦学习数据安全性的情况下，提高联邦学习效率。

S40、基于所有模型参数，第一边缘设备节点对训练模型进行聚合处理，并根据处理得到的模型更新训练模型。

在步骤S40中，上述聚合处理是指根据模型参数进行模型聚合的处理方法，上述聚合处理包括但不限于训练模型的聚合，模型年龄的聚合。

优选地，采用模型年龄的聚合，其具体是。

将所有模型年龄进行加权求和，得到加权模型年龄。

基于加权模型年龄，第一边缘设备节点对训练模型进行聚合处理，并根据处理得到的模型更新训练模型。

在模型聚合过程中，接收到第二边缘设备节点发送的模型参数，采用基于模型年龄的加权平均值进行模型聚合，使得在保证联邦学习数据安全性的情况下，提高联邦学习效率。

在步骤S40之后，联邦学习方法还包括步骤S401。

S401、基于梯度下降算法，更新第一边缘设备节点对应的训练周期和训练频率。

上述梯度下降算法是指是迭代法的一种,可以用于求解最小二乘问题。

在模型的实时更新过程中，定义计算函数，并根据该计算函数对训练周期的小批量梯度下降算法更新，以更新第一边缘设备节点对应的训练周期和训练频率。

通过上述步骤，实现了对模型的聚合处理，使得在保证联邦学习数据安全性的情况下，提高联邦学习效率。

本发明实施例提供的联邦学习方法，通过获取用户指令和训练模型，其中，用户指令和训练模型预先部署在第一边缘设备节点上；基于用户指令和训练模型生成训练任务样本，并采用动态虚拟协调服务器，将训练任务样本发送至第二边缘设备节点，其中，动态虚拟协调服务器用于控制第一边缘设备节点和第二边缘设备节点；基于训练任务样本，采用每个第二边缘设备节点对第二边缘设备节点对应的本地训练模型进行训练，得到每个第二边缘设备节点的模型参数；基于所有模型参数，第一边缘设备节点对训练模型进行聚合处理，并根据处理得到的模型更新训练模型。通过动态虚拟协调服务器实现联邦学习中控制流与数据流的分离，以在保证联邦学习数据安全性的情况下，提高联邦学习效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种联邦学习装置，该联邦学习装置与上述实施例中联邦学习方法一一对应。如图3所示，该联邦学习装置包括数据获取模块11、训练任务样本获取模块12、模型参数获取模块13和模型聚合模块14。各功能模块详细说明如下。

数据获取模块11，用于获取用户指令和训练模型，其中，用户指令和训练模型预先部署在第一边缘设备节点上。

训练任务样本获取模块12，用于基于用户指令和训练模型生成训练任务样本，并采用动态虚拟协调服务器，将训练任务样本发送至第二边缘设备节点，其中，动态虚拟协调服务器用于控制第一边缘设备节点和第二边缘设备节点。

模型参数获取模块13，用于基于训练任务样本，采用每个第二边缘设备节点对第二边缘设备节点对应的本地训练模型进行训练，得到每个第二边缘设备节点的模型参数。

模型聚合模块14，用于基于所有模型参数，第一边缘设备节点对训练模型进行聚合处理，并根据处理得到的模型更新训练模型。

在其中一个实施例中，在数据获取模块11之前，联邦学习装置还包括。

边缘设备节点获取模块，用于基于分布式散列表算法，获取第一边缘设备节点和第二边缘设备节点。

在其中一个实施例中，在模型聚合模块14之前，联邦学习装置还包括。待传播设备节点获取模块，用于基于动态虚拟协调服务器，获取与第二边缘设备节点的相邻设备，作为待传播设备节点。

异步传播模块，用于基于异步传播方式和训练任务样本，采用每个待传播设备节点对待传播设备节点对应的本地训练模型进行训练，得到每个待传播设备节点的模型参数。

在其中一个实施例中，模型参数获取模块13进一步包括。

模型更新单元，用于基于训练任务样本，采用每个第二边缘设备节点对第二边缘设备节点对应的本地训练模型进行训练，并根据训练得到的结果更新本地训练模型。

模型参数获取单元，用于根据更新后的本地训练模型和本地训练模型对应的模型年龄，生成第二边缘设备节点对应的模型参数，其中，模型年龄是指本地训练模型进行训练的次数。

在其中一个实施例中，模型聚合模块14进一步包括。

加权模型年龄获取单元，用于将所有模型年龄进行加权求和，得到加权模型年龄。

聚合单元，用于基于加权模型年龄，第一边缘设备节点对训练模型进行聚合处理，并根据处理得到的模型更新训练模型。

在其中一个实施例中，在模型聚合模块14之后，联邦学习装置还包括。

训练周期和频率更新单元，用于基于梯度下降算法，更新第一边缘设备节点对应的训练周期和训练频率。

其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。

关于联邦学习装置的具体限定可以参见上文中对于联邦学习方法的限定，在此不再赘述。上述联邦学习装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储联邦学习方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种联邦学习方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中联邦学习方法的步骤，例如图2所示的步骤S10至步骤S40及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中联邦学习装置的各模块/单元的功能，例如图3所示模块11至模块14的功能。为避免重复，这里不再赘述。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。

所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中联邦学习方法的步骤，例如图2所示的步骤S10至步骤S40及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中联邦学习装置的各模块/单元的功能，例如图3所示模块11至模块14的功能。为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种新型联邦学习系统，其特征在于，所述新型联邦学习系统为虚拟化联邦学习系统，所述虚拟化联邦学习系统包括动态虚拟协调服务器、至少两个边缘设备节点，所述动态虚拟协调服务器用于控制所述边缘设备节点的指令接收、请求发送和节点选择，所述边缘设备节点用于进行参数传播、模型聚合、模型更新。

2.一种联邦学习方法，其特征在于，所述联邦学习方法应用于权利要求1所述的新型联邦学习系统，包括：

获取用户指令和训练模型，其中，所述用户指令和所述训练模型预先部署在第一边缘设备节点上；

基于所述用户指令和所述训练模型生成训练任务样本，并采用动态虚拟协调服务器，将所述训练任务样本发送至第二边缘设备节点，其中，所述动态虚拟协调服务器用于控制所述第一边缘设备节点和所述第二边缘设备节点；

基于所述训练任务样本，采用每个所述第二边缘设备节点对所述第二边缘设备节点对应的本地训练模型进行训练，得到每个所述第二边缘设备节点的模型参数；

基于所有所述模型参数，所述第一边缘设备节点对所述训练模型进行聚合处理，并根据处理得到的模型更新所述训练模型。

3.根据权利要求2所述的方法，其特征在于，在所述获取用户指令和训练模型的步骤之前，所述方法还包括：

基于分布式散列表算法，获取第一边缘设备节点和第二边缘设备节点。

4.根据权利要求2所述的方法，其特征在于，在所述基于所有所述模型参数，所述第一边缘设备节点对所述训练模型进行聚合处理，并根据处理得到的模型更新所述训练模型之前，所述方法还包括：

基于动态虚拟协调服务器，获取与所述第二边缘设备节点的相邻设备，作为待传播设备节点；

基于异步传播方式和所述训练任务样本，采用每个所述待传播设备节点对所述待传播设备节点对应的本地训练模型进行训练，得到每个所述待传播设备节点的模型参数。

5.根据权利要求2所述的方法，其特征在于，基于所述训练任务样本，采用每个所述第二边缘设备节点对所述第二边缘设备节点对应的本地训练模型进行训练，得到每个所述第二边缘设备节点的模型参数的步骤包括：

基于所述训练任务样本，采用每个所述第二边缘设备节点对所述第二边缘设备节点对应的本地训练模型进行训练，并根据训练得到的结果更新所述本地训练模型；

根据更新后的所述本地训练模型和所述本地训练模型对应的模型年龄，生成所述第二边缘设备节点对应的模型参数，其中，所述模型年龄是指所述本地训练模型进行训练的次数。

6.根据权利要求5所述的方法，其特征在于，所述基于所有所述模型参数，所述第一边缘设备节点对所述训练模型进行聚合处理，并根据处理得到的模型更新所述训练模型的步骤包括：

将所有模型年龄进行加权求和，得到加权模型年龄；

基于所述加权模型年龄，所述第一边缘设备节点对所述训练模型进行聚合处理，并根据处理得到的模型更新所述训练模型。

7.根据权利要求2所述的方法，其特征在于，在所述基于所有所述模型参数，所述本地边缘设备节点对所述训练模型进行聚合处理，并根据处理得到的模型更新所述训练模型之后，所述方法还包括：

基于梯度下降算法，更新所述第一边缘设备节点对应的训练周期和训练频率。

8.一种联邦学习装置，其特征在于，包括：

数据获取模块，用于获取用户指令和训练模型，其中，所述用户指令和所述训练模型预先部署在第一边缘设备节点上；

训练任务样本获取模块，用于基于所述用户指令和所述训练模型生成训练任务样本，并采用动态虚拟协调服务器，将所述训练任务样本发送至第二边缘设备节点，其中，所述动态虚拟协调服务器用于控制所述第一边缘设备节点和所述第二边缘设备节点；

模型参数获取模块，用于基于所述训练任务样本，采用每个所述第二边缘设备节点对所述第二边缘设备节点对应的本地训练模型进行训练，得到每个所述第二边缘设备节点的模型参数；

模型聚合模块，用于基于所有所述模型参数，所述第一边缘设备节点对所述训练模型进行聚合处理，并根据处理得到的模型更新所述训练模型。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求2至7中任一项所述联邦学习方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求2至7中任一项所述联邦学习方法的步骤。

Images