CN114462577A - 一种联邦学习系统、方法、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种联邦学习系统、方法、计算机设备及存储介质。利用神经网络模型内部各网络之间的低耦合性，采用模型分割技术将模型训练拆分为边缘终端设备的特征提取部分和边缘服务器的参数迭代更新部分，使边缘服务器和边缘终端设备共同实现模型训练，边缘终端设备只负责数据的特征提取部分，边缘服务器负责模型参数的循环迭代更新、共享和联邦聚合，保护了边缘终端设备的数据私密性，减轻了边缘终端设备的计算资源消耗和存储压力。在联邦聚合阶段，由边缘服务器代替中央服务器实现了去中心化，解决传统的联邦学习方法对中央服务器的依赖性强、抗风险能力差的问题，提高了联邦学习系统的抗风险能力。

Description

一种联邦学习系统、方法、计算机设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种联邦学习系统、方法、计算机设备及存储介质。

背景技术

随着“万物互联”的普及，电网系统通过广泛分布的智能化终端和传感设备，实现了能量流和信息流的融合。

但是传统的大数据分析和学习方法需要将边缘终端设备收集到的数据信息上传至中央服务器进行集中学习，不可避免地面临着隐私泄露的风险。因此基于中央服务器实现的联邦学习方法应运而生。

然而，传统的联邦学习方法依然需要在边缘终端设备中对完整模型进行训练得到模型参数，将模型参数上传到中央服务器进行模型集成更新模型参数，容易产生对中央服务器的依赖性强、抗风险能力差的问题。

发明内容

本发明提供了一种联邦学习系统、方法、计算机设备及存储介质，以解决传统的联邦学习方法对中央服务器的依赖性强、抗风险能力差的问题，提供一种去中心化的联邦学习系统，保护边缘终端设备的数据私密性的同时，提高系统的抗风险能力。

根据本发明的一方面，提供了一种联邦学习系统，包括：多个边缘服务器和多个边缘终端设备；每个边缘服务器和至少一个边缘终端设备连接；

任一边缘服务器用于建立两个完全相同的初始全局模型，将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设备，将另一个初始全局模型中的初始全连接网络发送到其它边缘服务器；

所述边缘终端设备用于将私密数据集输入所述预训练特征提取网络得到特征向量，将所述特征向量发送到边缘服务器；

所述边缘服务器作为边缘计算节点，用于基于所述特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型，将所述边缘计算模型同步到聚合节点，所述聚合节点是基于预设策略从各所述边缘计算节点中确定；

所述聚合节点用于对各所述边缘训练模型进行模型聚合得到聚合全局模型，若所述聚合全局模型未收敛，则基于所述聚合全局模型更新所述初始全局模型中的初始全连接网络，并确定下一个聚合节点，将更新后的全连接网络和所述下一个聚合节点的标识信息同步到各所述边缘计算节点；若所述聚合全局模型收敛，则将所述聚合全局模型发送到各所述边缘服务器。

根据本发明的另一方面，提供了一种联邦学习方法，应用于联邦学习系统中的边缘服务器，所述方法包括：

建立两个完全相同的初始全局模型；

将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设备；

将另一个初始全局模型中的初始全连接网络发送到所述联邦学习系统中的其它边缘服务器。

根据本发明的另一方面，提供了一种联邦学习方法，应用于联邦学习系统中的边缘终端设备，所述方法包括：

获取私密数据集，并接收联邦学习系统中的边缘服务器发送的预训练特征提取网络；

将私密数据集输入所述预训练特征提取网络得到特征向量；

将所述特征向量发送到边缘服务器。

根据本发明的另一方面，提供了一种联邦学习方法，应用于联邦学习系统中作为边缘计算节点的边缘服务器，所述方法包括：

接收联邦学习系统中的至少一个边缘终端设备发送的特征向量；

基于所述特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型；

将所述边缘计算模型同步到聚合节点，所述聚合节点是基于预设策略从联邦学习系统的各所述边缘计算节点中确定。

根据本发明的另一方面，提供了一种联邦学习方法，应用于联邦学习系统中作为聚合节点的边缘服务器，所述方法包括：

接收联邦学习系统中各边缘计算节点发送的边缘训练模型；

对各所述边缘训练模型进行模型聚合得到聚合全局模型；

若所述聚合全局模型未收敛，则基于所述聚合全局模型更新所述初始全局模型中的初始全连接网络，并确定下一个聚合节点，将更新后的全连接网络和所述下一个聚合节点的标识信息同步到各所述边缘计算节点；

若所述聚合全局模型收敛，则将所述聚合全局模型发送到联邦学习系统中的各边缘服务器。

根据本发明的另一方面，提供了一种计算机设备，所述计算机设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的联邦学习方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的联邦学习方法。

本发明实施例的技术方案，通过本发明公开了一种联邦学习系统、方法、计算机设备及存储介质。通过利用神经网络模型内部各网络之间的低耦合性，采用模型分割技术将模型训练拆分为边缘终端设备的特征提取部分和边缘服务器的参数迭代更新部分，使边缘服务器和边缘终端设备共同实现模型训练，边缘终端设备只负责数据的特征提取部分，边缘服务器负责模型参数的循环迭代更新、共享和联邦聚合，保护了边缘终端设备的数据私密性，减轻了边缘终端设备的计算资源消耗和存储压力。在联邦聚合阶段，由边缘服务器代替中央服务器实现了去中心化，解决了传统的联邦学习方法对中央服务器的依赖性强、抗风险能力差的问题，提高了联邦学习系统的抗风险能力。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种联邦学习系统的结构示意图；

图2是根据本发明实施例二提供的一种联邦学习方法的流程图；

图3是根据本发明实施例三提供的一种联邦学习方法的流程图；

图4是根据本发明实施例四提供的一种联邦学习方法的流程图；

图5是根据本发明实施例五提供的一种联邦学习方法的流程图；

图6是根据本发明实施例六提供的一种联邦学习装置的结构示意图；

图7是根据本发明实施例七提供的一种联邦学习装置的结构示意图；

图8是根据本发明实施例八提供的一种联邦学习装置的结构示意图；

图9是根据本发明实施例就提供的一种联邦学习装置的结构示意图；

图10是实现本发明实施例的联邦学习方法的计算机设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种联邦学习系统的结构示意图，本实施例可适用于对模型进行联邦学习的情况。如图1所示，该系统包括：多个边缘服务器110和多个边缘终端设备120；每个边缘服务器110和至少一个边缘终端设备120连接；

任一边缘服务器110用于建立两个完全相同的初始全局模型，将其中一个初始全局模型对应的预训练特征提取网络发送到各边缘终端设备，将另一个初始全局模型中的初始全连接网络发送到其它边缘服务器；

边缘终端设备120用于将私密数据集输入预训练特征提取网络得到特征向量，将特征向量发送到边缘服务器；

边缘服务器110作为边缘计算节点，用于基于特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型，将边缘计算模型同步到聚合节点，聚合节点是基于预设策略从各边缘计算节点中确定；

聚合节点用于对各边缘训练模型进行模型聚合得到聚合全局模型，若聚合全局模型未收敛，则基于聚合全局模型更新初始全局模型中的初始全连接网络，并确定下一个聚合节点，将更新后的全连接网络和下一个聚合节点的标识信息同步到各边缘计算节点；若聚合全局模型收敛，则将聚合全局模型发送到各边缘终端设备。

其中，边缘终端设备120是联邦学习系统中的底层设备，边缘终端设备120可以集成有数据采集模块、通信模块、存储模块或者计算模块。示例性的，在电网系统中边缘终端设备120可以是智能电表、智能传感设备等。边缘终端设备120和边缘服务器110连接，可以将边缘终端设备120所采集的数据或经过计算或处理得到的数据传输至边缘服务器110。

边缘服务器110与边缘终端设备120相比，拥有更多的存储和计算资源，通常部署在网络边缘侧。在本发明中，边缘服务器在充当计算服务器的同时，还有机会起到中央服务器的作用，负责完成来自其他边缘服务器发送的模型聚合与更新。

具体的，可以根据用户需求或者适应于应用场景需求从联邦学习系统中任选一个边缘服务器，通过该边缘服务器110建立两个完全相同的初始全局模型，该初始全局模型根据实际需求的所设定，本实施例对初始全局模型的架构和功能等不做限定。由于神经网络模型内部各网络之间的低耦合性，可以将初始全局模型分割为初始特征提取网络和初始全连接网络两个相对独立的网络，同样的理由也可以将预训练后的全局模型分割为预训练特征提取网络和预训练全连接网络两个相对独立的网络。边缘服务器将其中一个初始全局模型进行预训练后进行模型分割后得到的预训练特征提取网络发送到各边缘终端设备。

边缘终端设备120在接收到边缘服务器发送的预训练特征提取网络之后，用于将私密数据集输入预训练特征提取网络得到特征向量，将特征向量发送到边缘服务器110。

需要说明的是，在本实施例中边缘终端设备中的预训练特征提取网络是一个冻结网络，即其模型参数并不会随着联邦过程而进行更新。还需要说明的是，私密数据集是指各边缘终端设备所采集的私有数据集，仅用于在当前边缘终端设备中进行特征提取，不需要共享给其他边缘终端设备，也不需要汇集到服务器中，保护了各边缘终端设备的数据隐私和数据安全。

另外，边缘服务器110将另一个初始全局模型进行模型分割后得到的初始全连接网络发送到联邦学习系统中的其它边缘服务器，以使联邦学习系统中的各边缘服务器都具有相同的初始全连接网络以及边缘终端设备所发送的特征向量，从而边缘服务器110作为边缘计算节点，将特征向量输入接收到的初始全连接网络进行模型训练得到边缘训练模型，将边缘计算模型同步到聚合节点。需要说明的是，边缘训练模型为边缘服务器基于私密数据集训练得到的局部模型。

其中，聚合节点是基于预设策略从所有作为边缘计算节点的边缘服务器中所选确定的一个边缘服务器。

需要说明的是，边缘计算节点将边缘计算模型同步到聚合节点的含义是指对于不是聚合节点的边缘计算节点，将边缘计算模型发送到聚合节点，对于作为聚合节点的边缘计算节点已存在自身的边缘计算模型，只需接收其他边缘计算节点发送的边缘计算模型。

经过上述步骤，聚合节点接收到各边缘计算节点分别训练得到一个边缘训练模型，对各边缘计算模型进行模型聚合得到聚合全局模型。首次聚合得到聚合全局模型还需要通过循环迭代训练才能收敛，因此，若聚合全局模型未收敛，则基于聚合全局模型的参数更新初始全局模型中的初始全连接网络的参数，并确定下一个聚合节点，将更新后的全连接网络和下一个聚合节点的标识信息同步到各边缘计算节点，以使边缘计算节点基于特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型，将边缘计算模型同步到下一个聚合节点。循环执行上述迭代过程，直到聚合全局模型收敛，完成模型训练过程得到完备的聚合全局模型，将聚合全局模型发送到各边缘服务器。

本实施例的技术方案，利用神经网络模型内部各网络之间的低耦合性，基于模型分割技术将模型训练过程拆分为边缘终端设备的特征提取部分和边缘服务器的参数迭代更新部分，使边缘服务器和边缘终端设备共同实现模型训练，边缘终端设备只负责数据的特征提取部分，边缘服务器负责初始全局模型的建立、模型参数的循环迭代更新、共享以及联邦聚合等需要消耗的大量计算资源的工作；保护了边缘终端设备的数据私密性，同时减轻了边缘终端设备的计算资源消耗和存储压力；尤其适用于边缘终端设备计算及存储能力受限的系统，例如电网系统。

在联邦聚合阶段，由边缘服务器代替中央服务器，各边缘计算节点均有机会作为聚合节点对各边缘计算节点训练得到的边缘训练模型进行聚合，达到了去中心化的效果，解决传统的联邦学习方法对中央服务器的依赖性强、抗风险能力差的问题，提高了联邦学习系统的抗风险能力。

可选的，将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设备；

基于公开数据集对其中一个初始全局模型进行预训练得到预训练全局模型；

对预训练全局模型进行模型分割操作得到预训练特征提取网络；预训练特征提取网络为预训练全局模型中除预训练全连接网络之外的部分；

将预训练特征提取网络发送到边缘终端设备。

其中，公开数据集是指各边缘终端之间相互公开的数据集或共有的数据集；基于公开数据集对其中一个初始全局模型进行预训练得到的预训练全局模型具有一定的特征提取能力，可以执行特征提取的工作。

直观的说，模型分割操作即将一个完整的全局神经网络模型按照一定的规则进行一定层次的分割。神经网络模型的有效性在于网络内部各层之间的低耦合性，即每个隐藏层都可以通过前一层的输出作为其输入来单独执行。因此，可以将初始全局模型经过预训练得到的预训练全局模型进行模型分割操作得到预训练特征提取网络，将预训练特征提取网络发送到边缘终端设备，以使边缘终端设备利用预训练特征提取网络进行数据集的特征提取。

由于基于不同类型或功能所建立的全局模型的网络结构不同，模型分割的部分可能不同，模型分割操作的主旨在于将需要循环迭代进行参数优化的全连接网络与不需要进行循环迭代的特征提取网络分割。

示例性的，对于预测电力负荷的时间序列预测LSTM模型沿着LSTM的最后一层分割为两个部分：分割为LSTM网络和全连接层，LSTM网络能够从用户以往的记录中抽象出关键特征和规律，而全连接层能够将学习到的分布式特征重映射到样本标记空间。

可选的，将另一个初始全局模型的全连接网络发送到其它边缘服务器包括：

对初始全局模型进行模型分割操作得到初始全连接网络；

将初始全连接网络发送到其他边缘服务器。

具体的，基于和预训练全局模型相同的模型分割操作对初始全局模型进行模型分割操作得到初始全连接网络和初始特征提取网络，将初始全连接网络发送到其他边缘服务器，以使各边缘服务器中均存储有相同的初始全连接网络，从而可以根据各自的数据集及进行网络参数训练。

可选的，确定下一个聚合节点包括：

获取各边缘计算节点的综合指数；

将最高综合指数对应的边缘计算节点确定为下一个聚合节点；

其中，综合指数包括以下至少一个：边缘计算节点的性能指数、边缘计算节点对应的边缘训练模型的评价指数以及边缘训练模型与聚合全局模型的偏离程度。

具体的，聚合节点根据各边缘计算节点基于所述特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型的表现，将表现最好的边缘计算节点确定为下一个聚合节点。该表现采用各边缘计算节点的综合指数所量化，边缘计算节点的综合指数包括以下至少一个：边缘计算节点的性能指数、边缘计算节点对应的边缘训练模型的评价指数以及边缘训练模型与聚合全局模型的偏离程度。

示例性的，边缘计算节点的性能指数可以包括：软件性能指数和硬件性能指数。软件性能指数，例如可以是吞吐量和计算速度等；硬件性能指数例如可以是CPU大小和存储空间大小等。边缘计算节点对应的边缘训练模型的评价指数可以是边缘训练模型的精确度和召回率，或者私密数据样本量等。边缘训练模型与聚合全局模型的偏离程度是指边缘计算节点得到的边缘训练模型与聚合节点聚合得到聚合全局模型之间的偏离程度。综合指数可以是边缘计算节点的性能指数、边缘计算节点对应的边缘训练模型的评价指数以及边缘训练模型与聚合全局模型的偏离程度等指数中任一种，也可以各指数的权重和。

实施例二

图2为本发明实施例二提供了一种联邦学习方法的流程图，本实施例可适用于对模型进行联邦学习情况，该方法可以由联邦学习装置来执行，该联邦学习装置可以采用硬件和/或软件的形式实现，该联邦学习装置可配置于实施例一所提供的联邦学习系统中的终端服务器中。如图2所示，该方法包括：

S210、建立两个完全相同的初始全局模型。

其中，初始全局模型根据实际需求的所设定，本实施例对初始全局模型的架构和功能等不做限定。

S220、将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设备。

由于神经网络模型内部各网络之间的低耦合性，可以将预训练后的全局模型分割为预训练特征提取网络和预训练全连接网络两个相对独立的网络。将其中一个初始全局模型进行预训练后进行模型分割后得到的预训练特征提取网络发送到各边缘终端设备，使各边缘服务器中都具有相同的预训练特征提取网络，以进行数据集的特征提取。

S230、将另一个初始全局模型中的初始全连接网络发送到联邦学习系统中的其它边缘服务器。

基于同样的理由，可以将另一个初始全局模型分割为初始特征提取网络和初始全连接网络两个相对独立的网络，将初始全连接网络发送到联邦学习系统中的其它边缘服务器，使各边缘服务器中都具有相同的初始全连接网络，以进行网络参数的训练。

本实施例的技术方案，通过建立两个完全相同的初始全局模型；将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设备；将另一个初始全局模型中的初始全连接网络发送到联邦学习系统中的其它边缘服务器，能够利用神经网络模型内部各网络之间的低耦合性，基于模型分割技术将模型拆分为特征提取部分和参数迭代更新部分，由边缘终端设备执行特征提取部分，由边缘服务器执行参数迭代更新部分，共同实现模型训练。

实施例三

图3为本发明实施例三提供了一种联邦学习方法的流程图，本实施例可适用于对模型进行联邦学习情况，该方法可以由联邦学习装置来执行，该联邦学习装置可以采用硬件和/或软件的形式实现，该联邦学习装置可配置于实施例一所提供的联邦学习系统中的边缘终端设备中。如图3所示，该方法包括：

S310、获取私密数据集，并接收联邦学习系统中的边缘服务器发送的预训练特征提取网络。

其中，预训练特征提取网络是预训练的初始全局模型经过模型分割得到用于提取特征的网络。

私密数据集是指各边缘终端设备所采集的私有数据集，仅用于在当前边缘终端设备中进行特征提取，不需要共享给其他边缘终端设备，也不需要汇集到服务器中。

S320、将私密数据集输入预训练特征提取网络得到特征向量。

具体的，经过预训练的特征提取网络具有一定的特征提取能力，通过将私密数据集输入预训练特征提取网络得到特征向量，保护了各边缘终端设备的数据隐私和数据安全。

S330、将特征向量发送到边缘服务器。

具体的，边缘终端设备只负责特征提取部分，将特征向量发送到边缘服务器，由边缘服务器执行参数迭代训练的过程，减轻了边缘终端设备的计算资源消耗和存储压力。

本实施例的技术方案，获取私密数据集，并接收联邦学习系统中的边缘服务器发送的预训练特征提取网络；将私密数据集输入预训练特征提取网络得到特征向量；将特征向量发送到边缘服务器，保护了各边缘终端设备的数据隐私和数据安全且减轻了边缘终端设备的计算资源消耗和存储压力；尤其适用于边缘终端设备计算及存储能力受限的系统，例如电网系统。

实施例四

图4为本发明实施例四提供了一种联邦学习方法的流程图，本实施例可适用于对模型进行联邦学习情况，该方法可以由联邦学习装置来执行，该联邦学习装置可以采用硬件和/或软件的形式实现，该联邦学习装置可配置于实施例一所提供的联邦学习系统中的作为边缘计算节点的边缘服务器中。如图4所示，该方法包括：

S410、接收联邦学习系统中的至少一个边缘终端设备发送的特征向量。

其中，特征向量由边缘终端设备中的特征提取网络得到。

S420、基于特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型。

具体的，将特征向量输入初始全连接网络机型参数训练得到边缘训练模型，该边缘训练模型为部分边缘终端设备基于私密数据集提取的特征向量训练得到的局部模型。

S430、将边缘计算模型同步到聚合节点，聚合节点是基于预设策略从联邦学习系统的各边缘计算节点中确定。

具体的，边缘计算节点将边缘计算模型同步到聚合节点的含义是指对于不是聚合节点的边缘计算节点，将边缘计算模型发送到聚合节点，对于作为聚合节点的边缘计算节点已存在自身的边缘计算模型，只需接收其他边缘计算节点发送的边缘计算模型。

示例性的，预设策略可以是基于边缘计算节点的性能指数从各边缘计算节点中选举出聚合节点。其中，边缘计算节点的性能指数可以包括：硬件性能指数，如CPU大小和存储空间大小等；软件性能指数，如吞吐量和计算速度等；或者可以是基于随机算法从各所述边缘计算节点中确定聚合节点。

本实施例的技术方案，通过接收联邦学习系统中的至少一个边缘终端设备发送的特征向量；基于特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型；将边缘计算模型同步到聚合节点，聚合节点是基于预设策略从联邦学习系统的各边缘计算节点中确定，在作为边缘计算节点的边缘服务器中执行复杂的参数迭代更新工作，减轻了边缘终端设备的计算资源消耗和存储压力；尤其适用于边缘终端设备计算及存储能力受限的系统，例如电网系统。

实施例五

图5为本发明实施例五提供了一种联邦学习方法的流程图，本实施例可适用于对模型进行联邦学习情况，该方法可以由联邦学习装置来执行，该联邦学习装置可以采用硬件和/或软件的形式实现，该联邦学习装置可配置于实施例一所提供的联邦学习系统中的作为聚合节点的边缘服务器中。如图5所示，该方法包括：

S510、接收联邦学习系统中各边缘计算节点发送的边缘训练模型。

具体的，在联邦学习系统中各边缘计算节点之间相关连接，在从各边缘计算节点中确定聚合节点之后，聚合节点接收各边缘计算节点发送的边缘训练模型。

S520、对各边缘训练模型进行模型聚合得到聚合全局模型。

具体的，模型聚合的方法可以采用任何现有的聚合方法，例如可以是最优模型选择法、选择投票法或基于权重进行参数聚合的方法，本实施例对此不设限制。

S530、若聚合全局模型未收敛，则基于聚合全局模型更新初始全局模型中的初始全连接网络，并确定下一个聚合节点，将更新后的全连接网络和下一个聚合节点的标识信息同步到各边缘计算节点。

其中，下一个聚合节点的标识信息可以是作为下一个聚合节点的服务器的标识信息。

具体的，聚合节点对各边缘训练模型进行模型聚合得到聚合全局模型之后，判断聚合全局模型是否收敛，或未收敛，则基于聚合全局模型的模型参数更新初始全局模型中的初始全连接网络的网络参数。另外，确定从各边缘计算节点中确定下一个聚合节点，并获取下一个聚合节点的标识信息，更新后的全连接网络和下一个聚合节点的标识信息同步到各边缘计算节点。

示例性的，确定下一个聚合节点的方式可以是将性能或模型训练表现最好的边缘计算节点确定为下一个聚合节点。例如将最高综合指数对应的各边缘计算节点确定为下一个聚合节点，综合指数可以包括以下至少一个：边缘计算节点的性能指数、边缘计算节点对应的边缘训练模型的评价指数以及边缘训练模型与聚合全局模型的偏离程度。

S540、若聚合全局模型收敛，则将聚合全局模型发送到联邦学习系统中的各边缘服务器。

具体的，若聚合全局模型收敛，则说明聚合全局模型训练完备，将聚合全局模型发送到联邦学习系统中的各边缘服务器中。各边缘服务可以对聚合全局模型进行存储或下发到终端设备。

本实施例的技术方案，通过接收联邦学习系统中各边缘计算节点发送的边缘训练模型；对各边缘训练模型进行模型聚合得到聚合全局模型；若聚合全局模型未收敛，则基于所述聚合全局模型更新初始全局模型中的初始全连接网络，并确定下一个聚合节点，将更新后的全连接网络和下一个聚合节点的标识信息同步到各边缘计算节点；若聚合全局模型收敛，则将聚合全局模型发送到联邦学习系统中的各边缘服务器，能够使各边缘计算节点均有机会成为聚合中心，由边缘服务器代替中央服务器执行复杂的模型循环迭代、更新和聚合，实现了去中心化，解决了传统的联邦学习方法对中央服务器的依赖性强、抗风险能力差的问题，提高了联邦学习系统的抗风险能力。

实施例六

图6为本发明实施例六提供的一种联邦学习装置的结构示意图。如图6所示，该装置可配置于实施例一所提供的联邦学习系统中的终端服务器中，所述装置包括：模型建立模块610、第一发送模块620和第二发送模块630；

其中，所述模型建立模块610，用于建立两个完全相同的初始全局模型；

所述第一发送模块620，用于将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设备；

所述第二发送模块630，用于将另一个初始全局模型中的初始全连接网络发送到联邦学习系统中的其它边缘服务器。

本发明实施例所提供的联邦学习装置可执行本发明实施例一或实施例二所提供的联邦学习方法，具备执行方法相应的功能模块和有益效果。

实施例七

图7为本发明实施例七提供的一种联邦学习装置的结构示意图。如图7所示，该装置可配置于实施例一所提供的联邦学习系统中的边缘终端设备中，所述装置包括：数据获取模块710、特征提取模块720和发送模块730；

其中，所述数据获取模块710，用于获取私密数据集，并接收联邦学习系统中的边缘服务器发送的预训练特征提取网络；

所述特征提取模块720，用于将私密数据集输入预训练特征提取网络得到特征向量；

所述发送模块730，用于将特征向量发送到边缘服务器。

本发明实施例所提供的联邦学习装置可执行本发明实施例一或实施例三所提供的联邦学习方法，具备执行方法相应的功能模块和有益效果。

实施例八

图8为本发明实施例八提供的一种联邦学习装置的结构示意图。如图8所示，该装置可配置于实施例一所提供的联邦学习系统中的作为边缘计算节点的边缘服务器中，所述装置包括：接收模块810、参数训练模块820和同步模块830；

其中，所述接收模块810，用于接收联邦学习系统中的至少一个边缘终端设备发送的特征向量。

所述参数训练模块820，用于基于特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型。

所述同步模块830，用于将边缘计算模型同步到聚合节点，聚合节点是基于预设策略从联邦学习系统的各边缘计算节点中确定。

本发明实施例所提供的联邦学习装置可执行本发明实施例一或实施例四所提供的联邦学习方法，具备执行方法相应的功能模块和有益效果。

实施例九

图9为本发明实施例九提供的一种联邦学习装置的结构示意图。如图9所示，该装置可配置于实施例一所提供的联邦学习系统中的作为聚合节点的边缘服务器中，所述装置包括：接收模块910、模型聚合模块920、更新模块930和发送模块940；

其中，所述接收模块910，用于接收联邦学习系统中各边缘计算节点发送的边缘训练模型；

所述模型聚合模块920，用于对各边缘训练模型进行模型聚合得到聚合全局模型；

所述更新模块930，用于若聚合全局模型未收敛，则基于所述聚合全局模型更新初始全局模型中的初始全连接网络，并确定下一个聚合节点，将更新后的全连接网络和下一个聚合节点的标识信息同步到各边缘计算节点。

所述发送模块940用于若聚合全局模型收敛，则将聚合全局模型发送到联邦学习系统中的各边缘服务器。

本发明实施例所提供的联邦学习装置可执行本发明实施例一或实施例五所提供的联邦学习方法，具备执行方法相应的功能模块和有益效果。

实施例十

图10示出了可以用来实施本发明的实施例的计算机设备10的结构示意图。计算机设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。计算机设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图10所示，计算机设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储计算机设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

计算机设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许计算机设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如联邦学习方法。

在一些实施例中，联邦学习方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到计算机设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的联邦学习方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行联邦学习方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机设备上实施此处描述的系统和技术，该计算机设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括边缘终端设备和服务器。边缘终端设备和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有边缘终端设备-服务器关系的计算机程序来产生边缘终端设备和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种联邦学习系统，其特征在于，包括：多个边缘服务器和多个边缘终端设备；每个边缘服务器和至少一个边缘终端设备连接；

任一边缘服务器用于建立两个完全相同的初始全局模型，将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设备，将另一个初始全局模型中的初始全连接网络发送到其它边缘服务器；

所述边缘终端设备用于将私密数据集输入所述预训练特征提取网络得到特征向量，将所述特征向量发送到边缘服务器；

所述边缘服务器作为边缘计算节点，用于基于所述特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型，将所述边缘计算模型同步到聚合节点，所述聚合节点是基于预设策略从各所述边缘计算节点中确定；

所述聚合节点用于对各所述边缘训练模型进行模型聚合得到聚合全局模型，若所述聚合全局模型未收敛，则基于所述聚合全局模型更新所述初始全局模型中的初始全连接网络，并确定下一个聚合节点，将更新后的全连接网络和所述下一个聚合节点的标识信息同步到各所述边缘计算节点；若所述聚合全局模型收敛，则将所述聚合全局模型发送到各所述边缘服务器。

2.根据权利要求1所述的系统，其特征在于，所述将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设备；

基于公开数据集对其中一个初始全局模型进行预训练得到预训练全局模型；

对所述预训练全局模型进行模型分割操作得到预训练特征提取网络；所述预训练特征提取网络为所述预训练全局模型中除预训练全连接网络之外的部分；

将所述预训练特征提取网络发送到边缘终端设备。

3.根据权利要求2所述的系统，其特征在于，所述将另一个初始全局模型的全连接网络发送到其它边缘服务器包括：

对所述初始全局模型进行所述模型分割操作得到初始全连接网络；

将所述初始全连接网络发送到其他边缘服务器。

4.根据权利要求1所述的系统，其特征在于，所述确定下一个聚合节点包括：

获取各所述边缘计算节点的综合指数；

将最高综合指数对应的边缘计算节点确定为下一个聚合节点；

其中，所述综合指数包括以下至少一个：所述边缘计算节点的性能指数、所述边缘计算节点对应的边缘训练模型的评价指数以及所述边缘训练模型与所述聚合全局模型的偏离程度。

5.一种联邦学习方法，其特征在于，应用于权利要求1-4任一所述的联邦学习系统中的边缘服务器，所述方法包括：

建立两个完全相同的初始全局模型；

将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设备；

将另一个初始全局模型中的初始全连接网络发送到所述联邦学习系统中的其它边缘服务器。

6.一种联邦学习方法，其特征在于，应用于权利要求1-4任一所述的联邦学习系统中的边缘终端设备，所述方法包括：

获取私密数据集，并接收联邦学习系统中的边缘服务器发送的预训练特征提取网络；

将私密数据集输入所述预训练特征提取网络得到特征向量；

将所述特征向量发送到边缘服务器。

7.一种联邦学习方法，其特征在于，应用于权利要求1-4任一所述的联邦学习系统中作为边缘计算节点的边缘服务器，所述方法包括：

接收联邦学习系统中的至少一个边缘终端设备发送的特征向量；

基于所述特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模型；

将所述边缘计算模型同步到聚合节点，所述聚合节点是基于预设策略从联邦学习系统的各所述边缘计算节点中确定。

8.一种联邦学习方法，其特征在于，应用于权利要求1-4任一所述的联邦学习系统中作为聚合节点的边缘服务器，所述方法包括：

接收联邦学习系统中各边缘计算节点发送的边缘训练模型；

对各所述边缘训练模型进行模型聚合得到聚合全局模型；

若所述聚合全局模型未收敛，则基于所述聚合全局模型更新所述初始全局模型中的初始全连接网络，并确定下一个聚合节点，将更新后的全连接网络和所述下一个聚合节点的标识信息同步到各所述边缘计算节点；

若所述聚合全局模型收敛，则将所述聚合全局模型发送到联邦学习系统中的各边缘服务器。

9.一种计算机设备，其特征在于，所述计算机设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求5-8中任一项所述的联邦学习方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求5-8中任一项所述的联邦学习方法。

Images