CN115358487A - 面向电力数据共享的联邦学习聚合优化系统及方法 - Google Patents

面向电力数据共享的联邦学习聚合优化系统及方法 Download PDF

Info

Publication number
CN115358487A
CN115358487A CN202211151068.0A CN202211151068A CN115358487A CN 115358487 A CN115358487 A CN 115358487A CN 202211151068 A CN202211151068 A CN 202211151068A CN 115358487 A CN115358487 A CN 115358487A
Authority
CN
China
Prior art keywords
model
edge
power data
cluster
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211151068.0A
Other languages
English (en)
Inventor
陈连栋
程凯
张磊
申培培
刘咸通
辛晓鹏
赵林丛
刘子州
刘玮
郭少勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Beijing University of Posts and Telecommunications
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Beijing University of Posts and Telecommunications
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Beijing University of Posts and Telecommunications, Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202211151068.0A priority Critical patent/CN115358487A/zh
Publication of CN115358487A publication Critical patent/CN115358487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请适用于电力数据共享技术领域，提供了一种面向电力数据共享的联邦学习聚合优化系统及方法，该系统包括：设备层、边缘层和云层；设备层包括电力物联设备，用于采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练；以及将电力数据和本地模型训练参数发送给边缘层；边缘层包括边缘服务器，用于基于本地模型训练参数，采用模糊聚类法更新边缘模型；以及将电力数据和边缘模型发送给云层；云层包括参数服务器，用于根据电力数据和边缘模型的参数，以过时性感知的异步更新机制更新全局模型。本申请的方法能够在不稳定环境下减少联邦学习的通信时间，提高联邦学习在边缘网络中应用的性能。

Description

面向电力数据共享的联邦学习聚合优化系统及方法
技术领域
本申请属于电力数据共享技术领域，尤其涉及一种面向电力数据共享的联邦学习聚合优化系统及方法。
背景技术
随着新型电力系统的发展和技术需求，联邦学习FL(Federated Learning)广泛应用于电力数据共享业务中进行多方联合建模，并保护用户数据隐私。然而，在边缘网络环境下，联邦学习的性能受制于异构的物联设备、有限的网络资源、数据质量不均衡的约束，难以发挥作用。联邦学习在电力数据共享中应用还存在以下问题：1)物联网设备与云数据中心之间频繁的参数传递导致通信成本高；2)参与联邦学习训练的设备异构性，导致联邦学习的聚合过程存在“掉队者效应”，影响了联邦学习模型的质量；3)能源及电力物联设备网络状态不稳定，可能出现的节点故障和连接中断等问题影响了联邦学习的训练效率。因此，如何在电力物联网边缘高效地执行联邦学习成为一个关键的问题。
目前许多建议和方案被提出来改善联邦学习的性能。为了减小联邦学习的通信时延，一种常用的解决方法通过将本地数据部分卸载到边缘进行同步训练，但是这种方法损害了用户隐私。还有一种解决办法是通过选择合适的客户端和在每个学习轮次中分配带宽，使得联邦学习的训练效果更好，但这种方法采用的是基于参数服务器和客户端的两层框架，所以大多数的方案仍然会导致网络拥塞。因此，有望提出兼顾训练时间和训练准确性的解决方案。
发明内容
为克服相关技术中存在的问题，本申请实施例提供了一种面向电力数据共享的联邦学习聚合优化系统及方法，能够在不稳定环境下减少联邦学习的通信时间，提高联邦学习在边缘网络中应用的性能。
本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了面向电力数据共享的联邦学习聚合优化系统，包括：设备层、边缘层和云层；
所述设备层包括电力物联设备，用于采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练，以及将所述电力数据和所述本地模型训练参数发送给所述边缘层；
所述边缘层包括边缘服务器，用于基于所述本地模型训练参数，采用模糊聚类法更新边缘模型，以及将所述电力数据和所述边缘模型发送给所述云层；
所述云层包括参数服务器，用于根据所述电力数据和所述边缘模型的参数，以过时性感知的异步更新机制更新全局模型。
在第一方面的一种可能的实现方式中，所述电力物联设备作为参与所述本地模型训练的客户端，形成分层联邦学习模型；
所述分层联邦学习模型包括本地模型训练、边缘模型聚合和全局模型更新。
在第一方面的一种可能的实现方式中，所述边缘模型用于对联邦学习模型进行重构；
所述对联邦学习模型进行重构包括通过采用模糊聚类法对所述电力物联设备进行分簇，选择一个目标边缘服务器作为簇头；所述目标边缘服务器为所述模糊聚类法的聚类中心，所述聚类中心对联邦学习模型进行重构。
在第一方面的一种可能的实现方式中，在所述本地模型训练时，客户端使用梯度下降法来训练本地模型，对于集群k中的客户端i来说，在数据集
Figure BDA0003856394580000021
上训练的损失函数表示为：
Figure BDA0003856394580000022
在所述边缘模型聚合时，所述集群k中的设备向所述目标边缘服务器发送更新的本地模型
Figure BDA0003856394580000031
得到更新的边缘模型wk表示为：
Figure BDA0003856394580000032
在所述全局模型更新时，所述参数服务器接受所有边缘模型并进行全局聚合，定义t轮过后的全局损失函数F(wt)为：
Figure BDA0003856394580000033
在第一方面的一种可能的实现方式中，所述模糊聚类法包括能量消耗模型、计算与通信时间模型和数据异质性模型；
所述能量消耗模型为：
Figure BDA0003856394580000034
Figure BDA0003856394580000035
其中，Etran(i，j)为客户端ni向nj传输b比特数据的能量消耗，αdel表示数据处理的电路所消耗的单位能量，αop表示运行电路所消耗的单位能量，dij表示客户端ni和nj之间的距离，γ表示路径衰耗指数；客户端ni的CPU周期频率表示为fi，训练本地模型所需要执行的CPU周期数为ci，βi表示样本数据大小，
Figure BDA0003856394580000036
是客户端i芯片组的有效电容参数；
所述计算与通信时间模型为：
Figure BDA0003856394580000037
Figure BDA0003856394580000038
其中，
Figure BDA0003856394580000039
为边缘节点k传输模型参数的时间，
Figure BDA00038563945800000310
为边缘节点i传输模型参数的时间；联邦学习参数的传输速率表示为
Figure BDA00038563945800000311
B是传输带宽，ρk是边缘节点k的传输功率，hk是边缘节点k之间点对点链路的信道增益，N0是可能存在的噪声；令边缘节点边缘聚合所得的模型参数数目为σ；TPi表示客户端之间的P2P通信吞吐量；
所述数据异质性模型为：假设第i个客户端的训练数据是从分布
Figure BDA0003856394580000041
中iid采样的，则总体分布是所有局部数据分布的混合，即
Figure BDA0003856394580000042
将SGD权重发散定义为：
Figure BDA0003856394580000043
使用EMD距离来量化客户端数据分布的模型权重发散程度；设p(y＝z)为总体概率分布，pi(y＝z)为第i个客户端的局部概率分布，则客户端i的EMD距离为：
Figure BDA0003856394580000044
在第一方面的一种可能的实现方式中，所述模糊聚类法，还包括：将所述分层联邦学习模型聚类转化为非线性规划问题，进行模糊K均值聚类；
所述模糊K均值聚类表示为：
Figure BDA0003856394580000045
其中，J为最小化目标，即簇内平方误差；uki为
Figure BDA0003856394580000046
-簇划分矩阵，μk是簇
Figure BDA0003856394580000047
的聚类中心；uki包括客户端的所述能量消耗、所述计算和通信时间和所述模型权重分散程度。
在第一方面的一种可能的实现方式中，所述过时性感知的异步更新机制，包括：
对于集群k，τ表示自上次全局更新以来其内部客户端的本地迭代次数，t-τ表示第t轮迭代的模型过时性；设置在全局聚合时，从任意集群接收到的模型权重由τ确定，得到全局更新规则为：
Figure BDA0003856394580000048
其中，wk表示第t轮迭代接收到的所述边缘模型参数，
Figure BDA0003856394580000049
表示第t轮全局迭代时所述边缘模型wk的权重；
Figure BDA00038563945800000410
的值由下式确定：
Figure BDA0003856394580000051
其中，a和b为预设的超参数，a＞0，b≥0，b表示为过时模型权重的衰减度；当τ＞a时，模型的权重随着老化程度的增加而下降；
将所述边缘模型的权重初始化为
Figure BDA0003856394580000052
将初始化带入上式可重新得到
Figure BDA0003856394580000053
的表达式：
Figure BDA0003856394580000054
其中，当
Figure BDA0003856394580000055
时，wk所占权重
Figure BDA0003856394580000056
即
Figure BDA0003856394580000057
第二方面，本申请实施例提供了一种面向电力数据共享的联邦学习聚合优化方法，包括：
通过设备层采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练，并将所述电力数据和所述本地模型训练参数发送给边缘层；
所述边缘层基于所述本地模型训练参数，通过聚类中心采用模糊聚类法更新边缘模型，并将所述电力数据和所述边缘模型发送给云层；
所述云层根据所述电力数据和所述边缘模型的参数，以过时性感知的异步更新机制更新全局模型。
在第二方面的一种可能的实现方式中，所述分层联邦学习模型的目标函数为：
Figure BDA0003856394580000058
其中，P1和P2分别表示两个目标的优先因子；
Figure BDA0003856394580000059
表示分簇后的误差平方和，其中xi表示每个散点，μk表示质心；
所述分层联邦学习模型的约束包括：迭代的总能量消耗不超过能量预算、分层联邦学习模型的延迟容忍度、所有集群都异步执行全局更新和集群结构和客户机数量之间的关系；
所述迭代的总能量消耗不超过能量预算表示为：
Figure BDA0003856394580000061
所述分层联邦学习模型的延迟容忍度表示为：
Figure BDA0003856394580000062
所述所有集群都异步执行全局更新表示为：
Figure BDA0003856394580000063
所述集群结构和客户机数量之间的关系表示为：
Figure BDA0003856394580000064
其中，nk是集群k中的客户端数量，
Figure BDA0003856394580000065
表示集群k是否在第t次迭代中加入了全局聚合。
第三方面，本申请提供了一种终端设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第二方面任一项所述的面向电力数据共享的联邦学习聚合优化方法。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例，通过建立一个分层联邦学习模型，并设计一种过时性感知的异步聚合方法，使得联邦学习模型能够更快地找到最优解，从而减少联邦学习模型的通信时间，提高了联邦学习模型在边缘网络中应用的性能。
可以理解的是，上述第二方面至第三方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1本申请一实施例提供的面向电力数据共享的联邦学习聚合优化系统架构图；
图2是本申请一实施例提供的面向电力数据共享的联邦学习聚合优化方法流程示意图；
图3是本申请一实施例提供的MNIST数据集上不同算法的精度vs.轮次数据图；
图4是本申请一实施例提供的CIFAR10数据集上不同算法的精度vs.轮次数据图；
图5本申请一实施例提供的MNIST数据集上不同集群数量的精度vs.资源消耗量数据图；
图6是本申请一实施例提供的CIFAR10数据集上不同集群数量的精度vs.资源消耗量数据图；
图7是本申请一实施例提供的不同集群数量下模型精度的拟合曲线图；
图8是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
目前，已有安全的数据共享流程对数据共享网络模型的梯度进行加密解密的处理，保证了数据共享过程的安全性，梯度处理过程与联邦学习过程相似，但没有考虑在数据共享过程中的网络资源、能耗等限制。联邦学习任务中如何部署在边缘计算的场景中，资源约束的情况下最优联合建模的问题，以及无线边缘网络中节点故障、通信中断的问题均需接解决。
基于上述问题，本申请实施例中提供了一种面向电力数据共享的联邦学习聚合优化系统，该系统包括：设备层、边缘层和云层，并通过建立一个分层联邦学习模型，并设计一种过时性感知的异步聚合方法，能够在不稳定环境下减少联邦学习的通信时间，提高联邦学习在边缘网络中应用的性能。
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图和具体实施方式，对本申请实施例中的技术方案进行清楚、完整地描述。
图1是本申请一实施例提供的面向电力数据共享的联邦学习聚合优化系统的结构示意图，参照图1，对该面向电力数据共享的联邦学习聚合优化系统，包括：设备层101、边缘层102和云层103。设备层101包括电力物联设备，用于采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练，以及将电力数据和本地模型训练参数发送给边缘层102。边缘层102包括边缘服务器，用于基于本地模型训练参数，采用模糊聚类法更新边缘模型，以及将电力数据和边缘模型发送给云层103。云层103包括参数服务器，用于根据电力数据和边缘模型的参数，以过时性感知的异步更新机制更新全局模型。
示例性的，联邦学习模型的三层架构分别由三个组件组成：客户端、群集中心(CC)和参数服务器(PS)，它们分别部署在电力物联设备、边缘服务器和电力数据中心上。本发明实施例中电力物联设备、边缘服务器和电力数据中心所在位置分别为设备层101、边缘层102和云层103。
示例性的，设备层101的电力物联设备通过网关采集目标客户端的相关业务的电力数据。
具体的，电力物联设备作为参与本地模型训练的客户端，形成分层联邦学习模型；分层联邦学习模型包括本地模型训练、边缘模型聚合和全局模型更新。
示例性的，电力物联设备作为参与联邦学习训练任务的客户端，电力物联设备与客户端形成一个联邦学习服务拓扑，使客户端网络由无序状态变为有序状态。这个联邦学习服务拓扑为联邦学习模型的拓扑，可以用于更快地检测联邦学习任务掉队者。联邦学习任务掉队者为需要系统长时间等待的联邦学习工作者。在本地模型训练中客户端进行本地迭代以训练本地模型，电力物联设备将本地模型参数发送给边缘层102中的聚类中心进行边缘聚合，使得边缘层102基于聚类中心收集其所在集群的本地模型参数更新边缘模型。
具体的，边缘模型用于对联邦学习模型进行重构。对联邦学习模型进行重构包括：通过采用模糊聚类法对电力物联设备进行分簇，选择一个目标边缘服务器作为簇头，目标边缘服务器为模糊聚类法的聚类中心，聚类中心对联邦学习模型进行重构。
示例性的，上述聚类中心通过模糊聚类方法确定。根据联邦学习模型节点的资源状态和通信状态，作为聚类中心的目标边缘服务器将对联邦学习服务拓扑进行重构，以适应不稳定的无线环境，例如节点故障和切换延迟。
示例性的，聚类中心将收集到的资源信息和更新的边缘模型转发给云层103的参数服务器，参数服务器以过时性感知的异步更新机制更新全局模型，同时评估联邦学习模型的运行质量和资源消耗情况。
在一实施例中，介绍本发明实施例中的如何通过模糊聚类方法，确定聚类中心。
示例性的，假设有N个客户端愿意参与到联邦学习模型的任务中，参数服务器会根据收集到的特征Vi来对客户端进行分簇并选择相应的簇头，特征包括客户端的剩余能量、距离边缘节点(汇聚节点)的距离、数据分布与总体分布的差距。对于整个联邦学习网络来说，我们采用模糊K-means的方法来进行初始分层，确定集群的数量
Figure BDA0003856394580000103
具体的，模糊聚类法包括能量消耗模型、计算与通信时间模型和数据异质性模型。
客户端的能量消耗大多用于数据传输和数据集的计算，能量消耗模型为：
Figure BDA0003856394580000101
其中，Etran(i，j)为客户端ni向nj传输b比特数据的能量消耗，αdel表示数据处理的电路所消耗的单位能量，αop表示运行电路所消耗的单位能量，dij表示客户端ni和nj之间的距离，γ表示路径衰耗指数。
对于一次本地迭代：
Figure BDA0003856394580000102
其中，客户端ni的CPU周期频率表示为fi，训练本地模型所需要执行的CPU周期数为ci，βi表示样本数据大小，
Figure BDA0003856394580000111
是客户端i芯片组的有效电容参数。
为了获得合适的集群结构，除了估计能量的消耗，也要对训练时间进行评估。首先参数服务器在联邦学习开始时连接到客户端的每个接入节点的资源池，资源信息用于估计特定集群拓扑下(例如星型、线型)的P2P传输吞吐量。当新一轮FL计算开始时，先估计客户端在不同拓扑结构下链路的P2P吞吐量，然后，将吞吐量转化为在聚合期间所需的通信时间。计算与通信时间模型为：
Figure BDA0003856394580000112
Figure BDA0003856394580000113
其中，
Figure BDA0003856394580000114
为边缘节点k传输模型参数的时间，
Figure BDA0003856394580000115
为边缘节点i传输模型参数的时间；联邦学习参数的传输速率表示为
Figure BDA0003856394580000116
B是传输带宽，ρk是边缘节点k的传输功率，hk是边缘节点k之间点对点链路的信道增益，N0是可能存在的噪声；令边缘节点边缘聚合所得的模型参数数目为σ，这是一个确定的值；TPi表示客户端之间的P2P通信吞吐量。
示例性的，客户端之间的P2P通信吞吐量TPi由域内拓扑结构和联邦学习算法的效率决定。
电力系统中的多源异构数据，客户端之间的数据常常是非独立同分布的，利用EarthMover′s Distance(EMD)作为分簇的特征之一以保证联邦学习的训练效果。数据异质性模型为：假设第i个客户端的训练数据是从分布
Figure BDA0003856394580000117
中iid采样的，则总体分布是所有局部数据分布的混合，即
Figure BDA0003856394580000118
将SGD权重发散定义为：
Figure BDA0003856394580000119
使用EMD距离来量化客户端数据分布的模型权重发散程度；设p(y＝z)为总体概率分布，pi(y＝z)为第i个客户端的局部概率分布，则客户端i的EMD距离为：
Figure BDA0003856394580000121
具体的，根据上述客户端的特征模型，模糊聚类法将分层联邦学习模型聚类转化为非线性规划问题，进行模糊K均值聚类。
模糊K均值聚类表示为：
Figure BDA0003856394580000122
其中，J为最小化目标，即簇内平方误差；uki为
Figure BDA0003856394580000123
-簇划分矩阵，μk是簇
Figure BDA0003856394580000124
的聚类中心；uki包括客户端的能量消耗、计算和通信时间和模型权重分散程度。
分簇后的联邦学习网络中的移动设备处于无序状态，为了实现复杂联邦学习模型的任务的快速响应和高效处理。本发明实施例设计了一种分布式协同拓扑模型，若遇到工况时变或节点故障，又或者参与FL的客户端数量不够，空闲的客户端就可以随时加入任务中，进行网络拓扑重构。
用无向图G(S，D，N)表示联邦学习网络，其中S＝{s0，s1，...，sn}，n表示该网络中客户端的数量，且n＝|S|-1。D表示任意两点间的距离集，也表示G中客户端所构成的边集，有
Figure BDA0003856394580000125
其中d(si，sj)表示客户端si与客户端sj之间的距离。令Ni表示节点si的一跳邻居节点集，定义如下：
Figure BDA0003856394580000126
式中，r表示一跳的通信半径，因此N也表示G的邻接矩阵。对于两个客户端si，sj∈S，若有(si，sj)∈D，则sij＝1，也称si和sj可以进行通信人，若
Figure BDA0003856394580000127
则sij＝0。定义Laplace矩阵L(G)＝[lij]n×n，满足L(G)＝D-N，其中
Figure BDA0003856394580000131
设联邦学习网络的状态满足以下动态方程：
Figure BDA0003856394580000132
其中，xi(t)∈Rn为客户端的状态，ui(t)∈Rc为网络的控制输入，A、B为系数矩阵。当客户端之间的通信网络连通时，可以认为客户端加入FL网络，当通信网络不连通时，我们则需要进行通信网络拓扑重构。
定义1：设G＝(S，D，A)为m阶有向图，定义矩阵P＝(pij)m×m，有
Figure BDA0003856394580000133
称P为有向图G的可达矩阵。当G的阶数较大时，通过邻接矩阵N也可直接计算可达矩阵，即
Figure BDA0003856394580000134
一实施例中，分层联邦学习模型包括本地模型训练、边缘模型聚合和全局模型更新。
具体的，在本地模型迭代训练时，客户端使用梯度下降法来训练本地模型，对于集群k中的客户端i来说，在数据集
Figure BDA0003856394580000135
上训练的损失函数表示为：
Figure BDA0003856394580000136
在边缘模型聚合时，集群k中的设备向目标边缘服务器(聚类中心)发送更新的本地模型
Figure BDA0003856394580000137
聚类中心负责收集其所在集群k的所有本地模型，并进行第一次聚合，称为“边缘聚合”，得到更新的边缘模型wk表示为：
Figure BDA0003856394580000138
接着更新的边缘模型会被上传到云端的参数服务器，以便其执行全局更新。同时，聚类中心会将wk广播给在集群k中的客户端，进行下一轮的本地模型计算，执行较为频繁的本地聚合。其中，边缘聚合让本地模型不断迭代，直到边缘足以达到一个对于所有集群来说都相同的边缘模型精度ε。聚类中心不会访问每个客户端i的本地数据
Figure BDA0003856394580000141
它只负责记录本地客户端的训练参数并执行边缘聚合。
每个聚类中心
Figure BDA0003856394580000142
在完成边缘聚合之后，上传wk给参数服务器进行全局聚合。
在全局模型更新时，参数服务器接受所有边缘模型并进行全局聚合，定义t轮过后的全局损失函数F(wt)为：
Figure BDA0003856394580000143
一实施例中，联邦学习模型的计算时延会受到最后完成本地迭代的客户端的影响，而通信时延的瓶颈受到完成本地训练需要最长通信时间的客户端的影响，因此本发明实施例为分层聚合算法设计一个过时感知的更新机制，以减少分层联邦学习中“掉队效应”带来的性能损失。设定集群内客户端节点执行同步的方法，而不同集群之间则可能存在较大的设备异构性，因此采用异步方式进行全局聚合。
具体的，过时性感知的异步更新机制，包括：
对于集群k，τ表示自上次全局更新以来其内部客户端的本地迭代次数，t-τ表示第t轮迭代的模型过时性；设置在全局聚合时，从任意集群接收到的模型权重由τ确定，得到全局更新规则为：
Figure BDA0003856394580000144
其中，wk表示第t轮迭代接收到的边缘模型参数，
Figure BDA0003856394580000145
表示第t轮全局迭代时边缘模型wk的权重；
Figure BDA0003856394580000146
的值由下式确定：
Figure BDA0003856394580000151
其中，a和b为预设的超参数，a＞0，b≥0，b表示为过时模型权重的衰减度；当τ＞a时，模型的权重随着老化程度的增加而下降。
其中将客户端划分为不同的集群时，每个集群的模型权重都会随着集群数量的增加而降低。根据前文所提出的集群生成机制，可以认为该集群的模型权重也会随着训练延迟的增大而降低。
将边缘模型的权重初始化为
Figure BDA0003856394580000152
将初始化带入上式可重新得到
Figure BDA0003856394580000153
的表达式：
Figure BDA0003856394580000154
其中，当
Figure BDA0003856394580000155
时，wk所占权重
Figure BDA0003856394580000156
即
Figure BDA0003856394580000157
与同步FL一致。
图2是本申请一实施例提供的面向电力数据共享的联邦学习聚合优化方法的流程示意图。
在步骤201中，通过设备层101采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练，并将电力数据和本地模型训练参数发送给边缘层102。
在步骤202中，边缘层102基于本地模型训练参数，通过聚类中心采用模糊聚类法更新边缘模型，并将电力数据和边缘模型发送给云层103。
在步骤203中，云层103根据电力数据和边缘模型的参数，以过时性感知的异步更新机制更新全局模型。
本发明实施例提出了一个基于集群和资源受限的联邦学习问题(CRC-FLP)，以找到最佳的集群数量K。考虑与计算和通信相关的资源，对于特定的联邦学习任务，希望最终经过训练的全局模型表现最佳，并且可以减少训练的完成时间，以实现高效可行的联邦学习，这直接反应在FL模型的loss值和聚类中心内节点特征的均值上。基于多目标规划问题确定分层联邦学习模型的目标函数。
分层联邦学习模型的目标函数为：
Figure BDA0003856394580000161
其中，P1和P2分别表示两个目标的优先因子；
Figure BDA0003856394580000162
表示分簇后的误差平方和，其中xi表示每个散点，μk表示质心；
分层联邦学习模型的约束包括：迭代的总能量消耗不超过能量预算、分层联邦学习模型的延迟容忍度、所有集群都异步执行全局更新和集群结构和客户机数量之间的关系；
迭代的总能量消耗不超过能量预算表示为：
Figure BDA0003856394580000163
分层联邦学习模型的延迟容忍度表示为：
Figure BDA0003856394580000164
所有集群都异步执行全局更新表示为：
Figure BDA0003856394580000165
集群结构和客户机数量之间的关系表示为：
Figure BDA0003856394580000166
其中，nk是集群k中的客户端数量，
Figure BDA0003856394580000167
表示集群k是否在第t次迭代中加入了全局聚合。
直接求解CRC-FLP问题是不可能的，分层聚合的联邦学习收敛性质和客户端本地迭代次数有关。因此，本发明实施例示出了包括三个模块的基于集群的分层联邦学习算法(CluHFed)来求解问题模型。
示例性的，首先，我们利用模糊聚类算法确定初始K的值；接着，利用我们所提出的异步更新机制来进行分层联邦学习训练；最后我们通过改进的Warshell算法来进行通信拓扑的生成和重构。具体算法流程如下：
输入：资源预算Emax，时延容忍度Tmax，客户端数量N。
输出：联邦学习模型参数wf。
步骤1：客户端分簇
随机初始化划分矩阵U，再通过计算欧氏距离得到聚类中心μk，一直迭代直到集群内的欧氏距离小于某个阈值∈。
返回聚类中心μk给参数服务器。
步骤2：分层联邦学习训练
客户端进行本地模型训练，并将训练好的本地模型
Figure BDA0003856394580000171
发送给聚类中心进行边缘聚合，同时把训练过程的资源消耗报告给聚类中心。
每个聚类中心收集其所在集群的所有客户单的本地模型进行聚合，并估计聚合所消耗的资源Ecop，
Figure BDA0003856394580000172
参数服务器在不同的迭代时刻收到来自聚类中心的边缘模型wk，并通过公式(16)更新全局模型并返回更新值wt。
PS每轮聚合完之后还需要检测资源是否满足系统约束，当E(t)＞Emax或T(t)＞Tmax，算法停止。
步骤3：服务拓扑重构。
初始化邻接矩阵NS。对于有向图G中的随机邻接矩阵N，找到通向客户端i的所有客户端j，i≠j，并将i所在的行逻辑与j所在的行逻辑相加，替代j所在的行成为新行，从而生成新的可达矩阵。
返回状态连通的节点si。
本发明一实施例在卷积神经网络模型(CNN)上，利用两个真实数据集MINIST和CIFAR-10来对所提方案进行验证。采用随机梯度下降来处理小批量样本，例如mnist的mini-batch为60，cifar-10的mini-batch为50。实验与两个典型的算法进行比较：带有异步性处理的异步联邦学习算法FedAsync，传统的同步联邦学习算法FedAvg，这两个算法都是不进行分层聚合的算法。
实验将聚类中心和参数服务器之间的资源消耗设置为单位1，那么客户端之间的通信消耗为0.1，因为聚类中心和参数服务器之间的通信延迟通常是集群内通信的十倍。对于异步训练机制，实验模拟了一个优先级队列，每一个迭代轮次只有一个集群上传其聚合参数给参数服务器。
在每个全局聚合中设置学习率η＝0.01，局部迭代h＝10次。对于过时性先关参数，设置a＝5，b＝1，μ＝1。为了评估CluHFed算法的有效性，实验设置了不同的集群数量
Figure BDA0003856394580000181
来观察
Figure BDA0003856394580000182
对联邦学习性能的影响。
首先验证本发明所提算法(CluHFed)的收敛性，图3和图4表示了CluHFed算法在客户端数量分别为20、50、100时与基准算法进行对比。从图3可以看出，在两种数据集下，CluHFed前期的收敛速度快于FedAvg和FedAsync，大约快于FedAvg算法20轮，快于FedAsync算法10轮。最终在达到相同的收敛精度时，CluHFed比FedAvg快约300轮。在图4中，CluHFed的收敛速度比FedAvg快约500轮，与FedAsyn收敛速度基本持平。
如图5和图6所示，可以看出，无论是MNIST还是CIFAR10，始终存在一个最优
Figure BDA0003856394580000183
使算法达到最佳收敛性能的值。在图5中，CluHFed具有最佳的收敛性能，当
Figure BDA0003856394580000184
且资源受限时，最佳簇数可以将精度提高5.4％-31.2％。在图6中，CluHFed具有较高的精确度，当
Figure BDA0003856394580000185
且资源受限时，最佳簇数可以将精确度提高2.6％～35.8％。将不同聚类数下的收敛精度拟合成一条曲线，如图7所示，拟合曲线是近似凸函数，这进一步验证了所提算法的有效性。
本发明提出了一种分层联邦学习模型的架构，以保证电力数据共享支撑的高效联邦学习任务；构建了三个特征模型，包括能量消耗模型、时间模型和数据异构模型，并提出了一种模糊聚类方法利用特征模型来将客户端划分为多个集群；建立了一个联邦学习模型，以便及时响应联邦学习任务，同时为分层聚合的联邦学习设计了一种过时性感知的异步更新机制；在对于资源受限下的客户端聚类联合优化问题上，以最小化联邦学习模型精度损失和聚类中平方误差总和为目标，求解最优集群结构；并对分层联邦学习模型设计了模糊聚类、分层聚合的联邦学习、拓扑重构三部分。
可见本发明针对电力数据共享场景中由环境复杂性而产生的通信成本高、FL模型质量低等问题，本发明提出了一种面向电力数据共享的分层联邦学习聚合优化系统及方法。该系统包括基于多维特征模型的客户端聚类，考虑了客户端训练数据集的数据异质性、移动设备的计算和通信时间等因素。边缘模型参数在云端聚合时设计了一种参数过时性感知的异步更新规则，使得联邦学习模型能更快地找到最优解。以及联邦学习模型中一种能够感知网络动态变化的服务拓扑模型，能够及时发现联邦学习网络中节点的通信状态，使客户端节点及时响应系统中的联邦学习任务。最后通过实例仿真验证了在资源受限的情况下，所提算法能够达到比典型联邦学习算法更高的精度，在实现相似精度的情况下所消耗的网络资源更少。说明了本发明提出的面向电力数据共享的分层联邦学习聚合优化系统及方法能够减少联邦学习的通信时间，提高了联邦学习在边缘网络中应用的性能。
应理解，上述各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例的面向电力数据共享的联邦学习聚合优化方法，本申请实施例还提供了一种终端设备，参见图8，该终端设备300可以包括：至少一个处理器310和存储器320，所述存储器320中存储有可在所述至少一个处理器310上运行的计算机程序321，所述处理器310执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图2所示实施例中的步骤101至步骤103。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器320中，并由处理器310执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备300中的执行过程。
本领域技术人员可以理解，图8仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。
处理器310可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器320可以是终端设备的内部存储单元，也可以是终端设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。所述存储器320用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器320还可以用于暂时地存储已经输出或者将要输出的数据。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请实施例提供的面向电力数据共享的联邦学习聚合优化方法可以应用于计算机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述面向电力数据共享的联邦学习聚合优化方法各个实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述面向电力数据共享的联邦学习聚合优化方法各个实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种面向电力数据共享的联邦学习聚合优化系统，其特征在于，包括：设备层、边缘层和云层；
所述设备层包括电力物联设备，用于采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练，以及将所述电力数据和所述本地模型训练参数发送给所述边缘层；
所述边缘层包括边缘服务器，用于基于所述本地模型训练参数，采用模糊聚类法更新边缘模型，以及将所述电力数据和所述边缘模型发送给所述云层；
所述云层包括参数服务器，用于根据所述电力数据和所述边缘模型的参数，以过时性感知的异步更新机制更新全局模型。
2.如权利要求1所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，所述电力物联设备作为参与所述本地模型训练的客户端，形成分层联邦学习模型；
所述分层联邦学习模型包括本地模型训练、边缘模型聚合和全局模型更新。
3.如权利要求2所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，所述边缘模型用于对联邦学习模型进行重构；
所述对联邦学习模型进行重构包括通过采用模糊聚类法对所述电力物联设备进行分簇，选择一个目标边缘服务器作为簇头；所述目标边缘服务器为所述模糊聚类法的聚类中心，所述聚类中心对联邦学习模型进行重构。
4.如权利要求3所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，在所述本地模型训练时，客户端使用梯度下降法来训练本地模型，对于集群k中的客户端i来说，在数据集
Figure FDA0003856394570000011
上训练的损失函数表示为：
Figure FDA0003856394570000012
在所述边缘模型聚合时，所述集群k中的设备向所述目标边缘服务器发送更新的本地模型
Figure FDA0003856394570000021
得到更新的边缘模型wk表示为：
Figure FDA0003856394570000022
在所述全局模型更新时，所述参数服务器接受所有边缘模型并进行全局聚合，定义t轮过后的全局损失函数F(wt)为：
Figure FDA0003856394570000023
5.如权利要求1所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，所述模糊聚类法包括能量消耗模型、计算与通信时间模型和数据异质性模型；
所述能量消耗模型为：
Figure FDA0003856394570000024
Figure FDA0003856394570000025
其中，Etran(i,h)为客户端ni向nj传输b比特数据的能量消耗，αdel表示数据处理的电路所消耗的单位能量，αop表示运行电路所消耗的单位能量，dij表示客户端ni和nj之间的距离，γ表示路径衰耗指数；客户端ni的CPU周期频率表示为fi，训练本地模型所需要执行的CPU周期数为ci，βi表示样本数据大小，
Figure FDA0003856394570000026
是客户端i芯片组的有效电容参数；
所述计算与通信时间模型为：
Figure FDA0003856394570000027
Figure FDA0003856394570000028
其中，
Figure FDA0003856394570000029
为边缘节点k传输模型参数的时间，
Figure FDA00038563945700000210
为边缘节点i传输模型参数的时间；联邦学习参数的传输速率表示为
Figure FDA00038563945700000211
B是传输带宽，ρk是边缘节点k的传输功率，hk是边缘节点k之间点对点链路的信道增益，N0是可能存在的噪声；令边缘节点边缘聚合所得的模型参数数目为σ；TPi表示客户端之间的P2P通信吞吐量；
所述数据异质性模型为：假设第i个客户端的训练数据是从分布
Figure FDA0003856394570000031
中iid采样的，则总体分布是所有局部数据分布的混合，即
Figure FDA0003856394570000032
将SGD权重发散定义为：
Figure FDA0003856394570000033
使用EMD距离来量化客户端数据分布的模型权重发散程度；设p(y＝z)为总体概率分布，pi(y＝z)为第i个客户端的局部概率分布，则客户端i的EMD距离为：
Figure FDA0003856394570000034
6.如权利要求5所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，所述模糊聚类法，还包括：将所述分层联邦学习模型聚类转化为非线性规划问题，进行模糊K均值聚类；
所述模糊K均值聚类表示为：
Figure FDA0003856394570000035
其中，J为最小化目标，即簇内平方误差；uki为
Figure FDA0003856394570000036
簇划分矩阵，μk是簇
Figure FDA0003856394570000037
的聚类中心；uki包括客户端的所述能量消耗、所述计算和通信时间和所述模型权重分散程度。
7.如权利要求4所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，所述过时性感知的异步更新机制，包括：
对于集群k，τ表示自上次全局更新以来其内部客户端的本地迭代次数，t-τ表示第t轮迭代的模型过时性；设置在全局聚合时，从任意集群接收到的模型权重由τ确定，得到全局更新规则为：
Figure FDA0003856394570000038
其中，wk表示第t轮迭代接收到的所述边缘模型参数，
Figure FDA0003856394570000039
表示第t轮全局迭代时所述边缘模型wk的权重；
Figure FDA0003856394570000041
的值由下式确定：
Figure FDA0003856394570000042
其中，a和b为预设的超参数，a>0,b≥0，b表示为过时模型权重的衰减度；当τ>a时，模型的权重随着老化程度的增加而下降；
将所述边缘模型的权重初始化为
Figure FDA0003856394570000043
将初始化带入上式可重新得到
Figure FDA0003856394570000044
的表达式：
Figure FDA0003856394570000045
其中，当
Figure FDA0003856394570000046
时，wk所占权重
Figure FDA0003856394570000047
即
Figure FDA0003856394570000048
8.一种面向电力数据共享的联邦学习聚合优化方法，其特征在于，包括：
通过设备层101采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练，并将所述电力数据和所述本地模型训练参数发送给边缘层；
所述边缘层基于所述本地模型训练参数，通过聚类中心采用模糊聚类法更新边缘模型，并将所述电力数据和所述边缘模型发送给云层；
所述云层根据所述电力数据和所述边缘模型的参数，以过时性感知的异步更新机制更新全局模型。
9.如权利要求8所述的面向电力数据共享的联邦学习聚合优化方法，其特征在于，所述分层联邦学习模型的目标函数为：
Figure FDA0003856394570000049
其中，P1和P2分别表示两个目标的优先因子；
Figure FDA00038563945700000410
表示分簇后的误差平方和，其中xi表示每个散点，μk表示质心；
所述分层联邦学习模型的约束包括：迭代的总能量消耗不超过能量预算、分层联邦学习模型的延迟容忍度、所有集群都异步执行全局更新和集群结构和客户机数量之间的关系；
所述迭代的总能量消耗不超过能量预算表示为：
Figure FDA0003856394570000051
所述分层联邦学习模型的延迟容忍度表示为：
Figure FDA0003856394570000052
所述所有集群都异步执行全局更新表示为：
Figure FDA0003856394570000053
所述集群结构和客户机数量之间的关系表示为：
Figure FDA0003856394570000054
其中，nk是集群k中的客户端数量，
Figure FDA0003856394570000055
表示集群k是否在第t次迭代中加入了全局聚合。
10.一种终端设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求8至9任一项所述的面向电力数据共享的联邦学习聚合优化方法。
CN202211151068.0A 2022-09-21 2022-09-21 面向电力数据共享的联邦学习聚合优化系统及方法 Pending CN115358487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211151068.0A CN115358487A (zh) 2022-09-21 2022-09-21 面向电力数据共享的联邦学习聚合优化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211151068.0A CN115358487A (zh) 2022-09-21 2022-09-21 面向电力数据共享的联邦学习聚合优化系统及方法

Publications (1)

Publication Number Publication Date
CN115358487A true CN115358487A (zh) 2022-11-18

Family

ID=84006930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211151068.0A Pending CN115358487A (zh) 2022-09-21 2022-09-21 面向电力数据共享的联邦学习聚合优化系统及方法

Country Status (1)

Country Link
CN (1) CN115358487A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115987694A (zh) * 2023-03-20 2023-04-18 杭州海康威视数字技术股份有限公司 基于多域联邦的设备隐私保护方法、系统和装置
CN116032663A (zh) * 2023-03-27 2023-04-28 湖南红普创新科技发展有限公司 基于边缘设备的隐私数据处理系统、方法、设备及介质
CN116611115A (zh) * 2023-07-20 2023-08-18 数据空间研究院 基于联邦学习的医疗数据诊断模型、方法、系统和存储器
CN117076132A (zh) * 2023-10-12 2023-11-17 北京邮电大学 分层联邦学习系统的资源分配及聚合优化方法及装置
CN117474129A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 一种多云共享分布式预测系统、方法、装置及电子设备
CN117474128A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 一种基于多云服务器的分布式在线机器学习模型构建方法
WO2024108601A3 (zh) * 2022-11-25 2024-07-25 北京小米移动软件有限公司 终端选择方法、模型训练方法、装置及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024108601A3 (zh) * 2022-11-25 2024-07-25 北京小米移动软件有限公司 终端选择方法、模型训练方法、装置及系统
CN115987694A (zh) * 2023-03-20 2023-04-18 杭州海康威视数字技术股份有限公司 基于多域联邦的设备隐私保护方法、系统和装置
CN116032663A (zh) * 2023-03-27 2023-04-28 湖南红普创新科技发展有限公司 基于边缘设备的隐私数据处理系统、方法、设备及介质
CN116032663B (zh) * 2023-03-27 2023-06-02 湖南红普创新科技发展有限公司 基于边缘设备的隐私数据处理系统、方法、设备及介质
CN116611115A (zh) * 2023-07-20 2023-08-18 数据空间研究院 基于联邦学习的医疗数据诊断模型、方法、系统和存储器
CN117076132A (zh) * 2023-10-12 2023-11-17 北京邮电大学 分层联邦学习系统的资源分配及聚合优化方法及装置
CN117076132B (zh) * 2023-10-12 2024-01-05 北京邮电大学 分层联邦学习系统的资源分配及聚合优化方法及装置
CN117474129A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 一种多云共享分布式预测系统、方法、装置及电子设备
CN117474128A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 一种基于多云服务器的分布式在线机器学习模型构建方法
CN117474129B (zh) * 2023-12-27 2024-03-08 苏州元脑智能科技有限公司 一种多云共享分布式预测系统、方法、装置及电子设备
CN117474128B (zh) * 2023-12-27 2024-03-26 苏州元脑智能科技有限公司 一种基于多云服务器的分布式在线机器学习模型构建方法

Similar Documents

Publication Publication Date Title
CN115358487A (zh) 面向电力数据共享的联邦学习聚合优化系统及方法
CN110263280B (zh) 一种基于多视图的动态链路预测深度模型及应用
JP7322044B2 (ja) レコメンダシステムのための高効率畳み込みネットワーク
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
US20190221187A1 (en) System, apparatus and methods for adaptive data transport and optimization of application execution
CN110458187B (zh) 一种恶意代码家族聚类方法和系统
CN111368888A (zh) 基于深度动态贝叶斯网络的服务功能链故障诊断方法
CN110138595A (zh) 动态加权网络的时间链路预测方法、装置、设备及介质
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
WO2022227217A1 (zh) 文本分类模型的训练方法、装置、设备及可读存储介质
CN111932386A (zh) 用户账号确定方法及装置、信息推送方法及装置、电子设备
CN115344883A (zh) 一种用于处理不平衡数据的个性化联邦学习方法和装置
Jiang et al. Computation and communication efficient federated learning with adaptive model pruning
CN111210002A (zh) 一种基于生成对抗网络模型的多层学术网络社区发现方法、系统
US20240028808A1 (en) Method and device for chip layout, computer equipment and medium
Muhsen et al. Enhancing NoC-based MPSoC performance: a predictive approach with ANN and guaranteed convergence arithmetic optimization algorithm
Li et al. Data analytics for fog computing by distributed online learning with asynchronous update
CN117829307A (zh) 一种面向数据异构性的联邦学习方法及系统
CN110717116A (zh) 关系网络的链接预测方法及系统、设备、存储介质
CN116522988B (zh) 基于图结构学习的联邦学习方法、系统、终端及介质
CN117391858A (zh) 一种基于图神经网络的归纳式区块链账户分配方法及装置
Nanor et al. FedSULP: A communication-efficient federated learning framework with selective updating and loss penalization
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
CN115150246A (zh) 基于新型嵌套链架构的面向海量实时物联网的上链方法
CN113822453B (zh) 5g切片的多用户投诉共性确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination