CN113992692B - 端边云架构和不完全信息下分层联邦学习的方法及系统 - Google Patents

端边云架构和不完全信息下分层联邦学习的方法及系统 Download PDF

Info

Publication number
CN113992692B
CN113992692B CN202111257828.1A CN202111257828A CN113992692B CN 113992692 B CN113992692 B CN 113992692B CN 202111257828 A CN202111257828 A CN 202111257828A CN 113992692 B CN113992692 B CN 113992692B
Authority
CN
China
Prior art keywords
edge
contract
class
aggregator
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111257828.1A
Other languages
English (en)
Other versions
CN113992692A (zh
Inventor
王义兰
赵云凤
刘志成
王晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111257828.1A priority Critical patent/CN113992692B/zh
Publication of CN113992692A publication Critical patent/CN113992692A/zh
Application granted granted Critical
Publication of CN113992692B publication Critical patent/CN113992692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种端边云架构和不完全信息下分层联邦学习的方法及系统，包括：基于契约理论构建边缘聚合器和终端设备之间、云服务器和边缘聚合器之间的分层契约博弈模型；终端设备通过边缘聚合器下载云服务器中的电力数据学习模型；基于分层联邦学习算法构建模型演化函数；以满足个体理性、激励兼容和效用最大化为目标求解三方的最优契约；终端设备将基于最优契约更新后的模型发送到边缘聚合器，边缘聚合器基于最优契约对终端设备进行激励发放，并将聚合后的模型发送到云服务器，云服务器基于最优契约对边缘聚合器进行激励发放，并将模型进行再次聚合。本发明可向终端设备和边缘聚合器提供报酬，实现合理公平的收益分配。

Description

端边云架构和不完全信息下分层联邦学习的方法及系统
技术领域
本发明属于联邦学习技术领域，具体涉及一种端边云架构和不完全信息下分层联邦学习的方法及系统。
背景技术
近年来，数以亿计移动设备的使用推动了数据的爆炸性增长，这也深刻推动了人工智能的创新性应用。考虑到用户体验、网络拥塞和数据隐私等问题，移动设备往往在本地收集、存储和处理其数据，这就导致了数据孤岛现象。而云计算通过泛在网络为终端设备服务，可以支持各种分布式协调机制。联邦学习(Federated Learning，FL)作为一个引人注目的云端协同训练框架，通过交换模型参数而不使用原始数据来执行分布式学习，已被用于医疗保健、移动众测和视频监控等各种应用中。
考虑到终端设备(也称为客户端)可以通过云计算的泛在网络访问虚拟化服务，许多研究默认将聚合服务设计在云端。然而，终端设备和云之间的传输延迟仍然是FL性能的瓶颈，这加剧了节点故障和设备掉线的影响。由于边缘聚合器可以在终端设备附近提供服务，一些研究人员开始在边缘聚合器上进行模型聚合。
基于云计算和边缘计算的结合，从终端设备到边缘聚合器再到云端实行FL是可行的。具体来说，一些研究提倡分层联邦学习(Hierarchical Federated Learning，HFL)框架，其中终端设备不直接与中央控制器通信，边缘聚合器首先作为低级聚合收集连接的终端设备的训练更新。云从边缘聚合器收集这些聚合结果，并在高级别执行模型聚合。作为FL的一个有前途的发展，HFL继承了保护数据隐私的特性，支持在大规模终端设备上进行分布式训练。同时HFL减少了全局通信的频率，缓解了运营商的网络拥塞，降低了客户的掉线率。然而，不考虑终端设备的个体理性(Individual Rationality，IR)的系统优化可能会导致理想与现实的偏差，影响实际情况下的部署。
由于终端设备个体理性的存在，目前针对HFL的大多数研究都持有这样一个假设，即终端设备和边缘聚合器都默认无条件参与到模型的训练中并贡献它们的所有资源，然而在现实世界中，由于模型训练引起的各种资源消耗，这是不切实际的。尽管在一些FL的研究中考虑了个体理性中的多维个体属性，但是均未能在HFL系统下找到封闭解，多维属性、多个实体使得在HFL中解决这一问题更加困难。由于个体属性的私有性，个体属性信息获取不完全。例如边缘聚合器并不知道终端设备的个体属性信息，这使得设计一个合理的激励机制来鼓励终端设备和边缘聚合器参与训练更加难以实现。
发明内容
针对现有的HFL系统不能很好地利用端侧设备丰富数据的问题，本发明提出了一种端边云架构和不完全信息下分层联邦学习的方法及系统。为解决以上技术问题，本发明所采用的技术方案如下：
一种端边云架构和不完全信息下分层联邦学习的方法及系统，包括如下步骤：
S1，基于契约理论构建边缘聚合器和终端设备之间、云服务器和边缘聚合器之间的分层契约博弈模型；
S2，终端设备通过边缘聚合器下载云服务器中的电力数据学习模型；
S3，基于分层联邦学习算法在终端设备、边缘聚合器和云服务器中构建模型演化函数；
S4，以满足个体理性、激励兼容和效用最大化为目标求解边缘聚合器的最优契约、终端设备的最优契约和云服务器的最优契约；
S5，终端设备基于终端设备的最优契约更新本地的电力数据学习模型，并将更新后的电力数据学习模型发送到对应的边缘聚合器，边缘聚合器对电力数据学习模型进行聚合，并将聚合后的电力数据学习模型发送到云服务器，同时基于边缘聚合器的最优契约对终端设备进行激励发放，云服务器对电力数据学习模型进行再次聚合，并基于云服务器的最优契约对边缘聚合器进行激励发放。
在步骤S3中，所述模型演化函数的演化公式为：
Figure GDA0003674502120000031
式中，ηt表示学习率，
Figure GDA0003674502120000032
表示Fi(ωi(t-1))损失函数的下降梯度，τe表示云服务器聚合一次时边缘聚合器的模型更新数目，τw表示边缘聚合器聚合一次时终端设备的模型更新数目，Si表示i类终端设备所连接的边缘聚合器μ(i)所连接的终端设备集合，κ表示所有终端设备的类别集合，ωi(t)表示i类终端设备中的第t个模型演化函数，xi是i类终端设备参与模型训练时所贡献数据集的数据贡献量，也即i类终端设备的契约。
所述步骤S4包括如下步骤：
S4.1，初始化初始步数h＝0、i类终端设备在博弈过程中第h步的契约
Figure GDA0003674502120000033
边缘聚合器l在博弈过程中第h步的契约
Figure GDA0003674502120000034
云服务器在博弈过程中第h步的契约Ph，并设定阈值
Figure GDA00036745021200000316
S4.2，执行h＝h+1，以满足个体理性、激励兼容和效用最大化为目标获取终端设备第h步的最优契约
Figure GDA0003674502120000035
边缘聚合器第h步的最优契约
Figure GDA0003674502120000036
根据最优契约
Figure GDA0003674502120000037
和最优契约
Figure GDA0003674502120000038
对应调整契约
Figure GDA0003674502120000039
和契约
Figure GDA00036745021200000310
S4.3，以效用最大化为目标获取云服务器第h步的最优契约P*，根据最优契约P*调整契约Ph；
S4.4，判断
Figure GDA00036745021200000311
如果是返回步骤S4.2，否则输出契约
Figure GDA00036745021200000312
契约
Figure GDA00036745021200000313
契约Ph也即终端设备的最优契约
Figure GDA00036745021200000314
边缘聚合器最优契约
Figure GDA00036745021200000315
和云服务器的最优契约P*。
在步骤S4.2中，所述个体理性是指每个终端设备只有在其效益非负时才选择接受其契约，表示为：
E[f(xi,x-i)-Jixi]≥0；
式中，E表示期望，f(xi,x-i)表示i类终端设备的收益，Jixi表示i类终端设备的成本，x-i表示属于Si\{i}的终端设备的契约，xi是i类终端设备参与模型训练时所贡献数据集χi的数据贡献量，也即i类终端设备的契约，Ji表示i类终端设备参与模型训练时的单位成本；
所述i类终端设备的收益f(xi,x-i)的计算公式为：
f(xi,x-i)＝piRμ(i)；
式中，pi表示i类终端设备的报酬分配比例，Rμ(i)表示i类终端设备所连接的边缘聚合器μ(i)给予它所连接的所有终端设备的报酬；
所述i类终端设备的成本Jixi也即每一轮的训练成本
Figure GDA0003674502120000041
的计算公式为：
Figure GDA0003674502120000042
式中，λe表示能耗的权重参数，Ei(xi)表示i类终端设备参与模型训练时进行一次本地迭代的能耗，λt表示延迟的权重参数，τc表示云服务器的模型更新数目，τe表示云服务器聚合一次时边缘聚合器的模型更新数目，τw表示边缘聚合器聚合一次时终端设备的模型更新数目，Ti(xi)表示i类终端设备参与模型训练时进行一次本地迭代的计算时间，CE表示i类终端设备收集单位数据的成本。
所述报酬分配比例pi的计算公式为：
Figure GDA0003674502120000043
式中，θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量，Si\{i}表示从集合Si中去除i类终端设备，θm′表示m′类终端设备参与模型训练时所贡献数据集χm′的数据质量，xm′表示m′类终端设备参与模型训练时所贡献数据集χm′的数据贡献量，也即m′类终端设备的契约。
在步骤S4.2中，所述激励兼容是指每个终端设备必须选择为自己类型专门设计的契约，表示为：
E[f(xi,x-i)-Jixi]≥E[f(xj,x-i)-Jixj]；
其中，
Figure GDA0003674502120000044
式中，f(xj,x-i)表示i类终端设备选择j类终端设备的契约作为自己契约时的收益，Jixj表示i类终端设备选择j类终端设备的契约作为自己契约时的成本，且j∈κ，κ表示所有终端设备类型的集合，θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量，Sl表示边缘聚合器l所连接的终端设备集合，Sl\{i}表示从集合Si中去除i类终端设备，Rl表示边缘聚合器l分配给它所连接的终端设备的报酬，也即边缘聚合器l的契约，θj表示j类终端设备参与模型训练时所贡献数据集χj的数据质量，xj表示j类终端设备参与模型训练时所贡献数据集χj的数据贡献量，也即j类终端设备的契约。
所述最优契约
Figure GDA0003674502120000051
为以下问题的解：
Figure GDA0003674502120000052
约束条件为：
s.t.E[f(xi,x-i)-Jixi]≥0；
E[f(xi,x-i)-Jixi]≥E[f(xj,x-i)-Jixj],i≠j；
xi≥0,Rl≥0；
式中，
Figure GDA0003674502120000053
表示边缘聚合器l的效益函数；
所述边缘聚合器l的效益函数
Figure GDA0003674502120000054
的计算公式为：
Figure GDA0003674502120000055
式中，h(xi,x-i,Rl)表示边缘聚合器l的收益，
Figure GDA0003674502120000056
表示边缘聚合器l的成本；
所述边缘聚合器l的收益h(xi,x-i,Rl)的计算公式为：
h(xi,x-i,Rl)＝ln(αl+plRC)；
式中，αl表示边缘聚合器l的风险规避参数，pl表示边缘聚合器l的报酬分配比例，RC表示云服务器支付给所有边缘聚合器的报酬；
所述边缘聚合器l的成本
Figure GDA0003674502120000057
的计算公式为：
Figure GDA0003674502120000058
式中，βl表示报酬比例系数，El表示边缘聚合器l通信的能耗，Tl表示边缘聚合器l通信的延迟，CL表示边缘聚合器的单位协调成本，|Sl|表示Sl的基。
所述边缘服务器l的最优契约
Figure GDA0003674502120000059
可以通过以下公式得到：
Figure GDA0003674502120000061
式中，Sm表示边缘聚合器Sl\{i}的集合，σ1表示第1类终端设备的一维标准，θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量，xi是i类终端设备参与模型训练时所贡献数据集的数据贡献量，也即i类终端设备的契约。
在步骤S4.3中，所述最优契约P*即为以下云服务器和边缘聚合器契约问题的解：
Figure GDA0003674502120000062
约束条件为：
g2(Rl,R-l)＝∑i∈Q′(σ′1R1-φiψi(Ri)+φiψi(Ri+1))；
φi＝(Q-i)σ′1βi,ψi(Ri)＝ln(αi+σ′1RiP)；
Figure GDA0003674502120000063
式中，λ表示系统参数，且λ>0，R-l表示从所有类型的边缘聚合器的集合Q′中去除l类边缘聚合器后其它边缘聚合器的契约集，g(·)为凹函数，σ′1表示第1类边缘聚合器的一维标准，R1表示第1类边缘聚合器的契约，βi表示i类边缘聚合器的报酬比例系数，αi表示i类边缘聚合器的风险规避参数，Ri表示i类边缘聚合器的契约，
Figure GDA0003674502120000064
表示第1类边缘聚合器的成本，αl表示l类边缘聚合器的风险规避参数，σ′l表示l类边缘聚合器的一维标准。
一种采用如上所述的端边云架构和不完全信息下分层联邦学习的系统，包括云服务器，所述云服务器与若干个边缘聚合器连接，每个边缘聚合器均与若干个终端设备连接，且云服务器中设有基于联邦学习算法建立的电力数据学习模型，所述边缘聚合器中设有用于向所连接的终端设备分配报酬的第一收益分配模块和用于对终端设备的数据贡献量进行评估的契约制定模块，所述云服务器中设有用于向边缘聚合器分配报酬的第二收益分配模块，终端设备训练时第一收益分配模块依据终端设备的数据贡献量和所贡献数据集的数据质量分配报酬给对应的终端设备，边缘聚合器训练时第二收益分配模块依据其对风险厌恶程度分配报酬给对应的边缘聚合器。
本发明的有益效果：
本发明提出分层契约博弈来建模三类实体之间的相互作用，并在不完全信息条件下解决它们之间的冲突，能够实现在现实世界的HFL系统部署，云服务器-边缘聚合器层的交互和边缘聚合器-终端设备层的交互分别被建模为两个最优契约问题，可以显著减少与云服务器的高成本通信，并辅以高效的端-边缘更新，显著减少运行时间和本地迭代次数，保护了终端设备的数据隐私，边缘聚合器和云服务器基于激励方法也即边缘聚合器和云服务器的契约向终端设备和边缘聚合器提供报酬，实现合理的，公平的经济收益分配，即既能激励实体参与实际的HFL训练，实现实际的系统部署，又可以使得训练的模型达到良好的训练效果以及节约成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于云的联邦学习、基于边缘的联邦学习和端-边-云分层联邦学习的流程图。
图2为本发明的系统流程示意图。
图3为本发明的性能对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
不完全信息下：实体之间对彼此的个体属性信息未知，但知道个体属性(或类型)的分布情况。不完全信息条件更符合现实中的实际情况，因为完全信息条件下的场景是相对理想的，需要实体之间知道彼此的个体属性。
实施例1：一种端边云架构和不完全信息下分层联邦学习的方法，包括以下步骤：
S1，基于契约理论构建边缘聚合器和终端设备之间、云服务器和边缘聚合器之间的分层契约博弈模型；
如图1所示，云服务器、边缘聚合器和终端设备组成了分层联邦学习系统，云服务器是领导者，也是任务发起者、模型拥有者。边缘聚合器在云服务器和多个终端设备之间运行，作为参数聚合的媒介，每个终端设备维护一个数据集，xi是i类终端设备参与模型训练时所贡献数据集χi的数据贡献量，也即i类终端设备的契约。如果xi＝0，表示i类终端设备没有参与本轮的模型训练。所有终端设备分为K类，集合κ＝{1,2,…,k,…,K}覆盖了所有的终端设备类型，具有
Figure GDA0003674502120000081
Figure GDA0003674502120000082
的终端设备称为type-k类型的终端设备，其中，θk表示k类终端设备参与模型训练时所贡献数据集的数据质量，Jk表示k类终端设备参与模型训练时的单位成本，每一个终端设备有ρk的概率为type-k类型且有
Figure GDA0003674502120000083
将终端设备的二维个体属性转化为一维标准σk＝θk/Jk，用来表示HFL系统对不同终端设备类型的偏好。
S2，终端设备通过边缘聚合器下载云服务器中的电力数据学习模型；
S3，基于分层联邦学习算法在终端设备、边缘聚合器和云服务器中分别构建模型演化函数ωi(t)；
所述模型演化函数ωi(t)的演化公式如下：
Figure GDA0003674502120000084
式中，ηt表示学习率，
Figure GDA0003674502120000085
表示Fi(ωi(t-1))损失函数的下降梯度，τe表示云服务器聚合一次时边缘聚合器的模型更新数目，τw表示边缘聚合器聚合一次时终端设备的模型更新数目，Si表示i类终端设备所连接的边缘聚合器μ(i)所连接的终端设备集合。
HFL学习算法是通过最小化所有本地数据集上的损失F(ω)的整体经验风险来学习全局模型ω。在每个终端设备上进行τw次本地更新之后，每个边缘聚合器聚集其连接的终端设备上传的模型参数，然后，在每个边缘聚合器模型聚合τe次之后，云服务器再聚合所有边缘聚合器的模型，在一轮HFL训练中，云服务器聚合τc次，并将ωi(t)表示为第t次局部更新后的本地模型参数。
S4，以满足个体理性、激励兼容和效用最大化为目标求解边缘聚合器的最优契约、终端设备的最优契约和云服务器的最优契约，包括如下步骤：
S4.1，初始化初始步数h＝0、i类终端设备在博弈过程中第h步的契约
Figure GDA0003674502120000091
边缘聚合器l在博弈过程中第h步的契约
Figure GDA0003674502120000092
云服务器在博弈过程中第h步的契约Ph，并设定阈值ζ；
S4.2，执行h＝h+1，以满足个体理性、激励兼容和效用最大化为目标获取终端设备第h步的最优契约
Figure GDA0003674502120000093
边缘聚合器第h步的最优契约
Figure GDA0003674502120000094
根据最优契约
Figure GDA0003674502120000095
和最优契约
Figure GDA0003674502120000096
对应调整契约
Figure GDA0003674502120000097
和契约
Figure GDA0003674502120000098
所述个体理性(Individually Rational，IR)是指每个终端设备只有在其效益非负时才选择接受其契约项，表示为：
E[f(xi,x-i)-Jixi]≥0； (2)
式中，E表示期望，f(xi,x-i)表示i类终端设备的收益，Jixi表示i类终端设备的成本，x-i表示属于Si\{i}的终端设备的契约，Ji表示i类终端设备参与模型训练时的单位成本。
所述i类终端设备的收益f(xi,x-i)的计算公式为：
f(xi,x-i)＝piRμ(i)； (3)
式中，pi表示i类终端设备的报酬分配比例，Rμ(i)表示i类终端设备所连接的边缘聚合器μ(i)给予它所连接的终端设备的报酬。
所述报酬分配比例pi的计算公式为：
Figure GDA0003674502120000099
式中，θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量，Si\{i}表示从集合Si中去除i类终端设备，θm′表示m′类终端设备参与模型训练时所贡献数据集χm′的数据质量，xm′表示m′类终端设备参与模型训练时所贡献数据集χm′的数据贡献量，也即m′类终端设备的契约。
由于终端设备参与模型训练的训练成本包括计算成本和收集成本两部分，且这两部分与用于模型训练的数据量成正比，因此，i类终端设备每一轮的训练成本
Figure GDA0003674502120000101
也即为成本Jixi，
Figure GDA0003674502120000102
所述i类终端设备参与每一轮模型训练的训练成本
Figure GDA0003674502120000103
的计算公式为：
Figure GDA0003674502120000104
式中，λe表示能耗的权重参数，Ei(xi)表示i类终端设备参与模型训练时进行一次本地迭代的能耗，λt表示延迟的权重参数，τc表示云服务器的模型更新数目，Ti(xi)表示i类终端设备参与模型训练时进行一次本地迭代的计算时间，CE表示i类终端设备收集单位数据的成本。其中，(λeEi(xi)+λtTi(xi))τcτeτw为计算成本，CExi为收集成本。
所述i类终端设备参与模型训练时进行一次本地迭代的能耗Ei(xi)的计算公式为：
Ei(xi)＝ζcixifi 2； (6)
式中，ζ表示i类终端设备的芯片有效电容参数，ci表示i类终端设备收集单元数据的CPU周期，fi表示i类终端设备的CPU周期频率。
所述i类终端设备参与模型训练时进行一次本地迭代的计算时间Ti(xi)的计算公式为：
Ti(xi)＝cixifi -1； (7)
式中，fi -1表示i类终端设备的CPU时钟周期。
所述激励兼容(Incentive compatibility，IC)是指每个终端设备必须选择为自己类型专门设计的契约项，表示为：
E[f(xi,x-i)-Jixi]≥E[f(xj,x-i)-Jixj]； (8)
其中，
Figure GDA0003674502120000111
式中，f(xj,x-i)表示i类终端设备选择j类终端设备的契约作为自己契约时的收益，Jixj表示i类终端设备选择j类终端设备的契约作为自己契约时的成本，且j∈κ，θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量，Sl表示边缘聚合器l所连接的终端设备集合，Sl\{i}表示从集合Sl中去除i类终端设备，Rl表示边缘聚合器l分配给它所连接的终端设备的报酬，也即边缘聚合器l的契约，θj表示j类终端设备参与模型训练时所贡献数据集χj的数据质量，xj表示j类终端设备参与模型训练时所贡献数据集χj的数据贡献量，也即j类终端设备的契约。
每个边缘聚合器均为所连接的不同类型的终端设备设置一个契约，该契约包括一系列由数据贡献量xi和相应收益这两个指标组成的契约项，只有契约项同时满足所述个体理性和激励兼容的约束，这个契约项才是可行的。IR约束为终端设备能参与HFL过程提供了必要的激励，IC约束要求终端设备只能选择为自己类型设计的契约项来最大化其效用。边缘聚合器的目标是在IR和IC约束下最大化其效用。
所述最优契约即为以下问题的解：
Figure GDA0003674502120000112
式(9)的约束条件为：
s.t.E[f(xi,x-i)-Jixi]≥0；
E[f(xi,x-i)-Jixi]≥E[f(xj,x-i)-Jixj],i≠j；
xi≥0,Rl≥0；
式中，
Figure GDA0003674502120000113
表示边缘聚合器l的效益函数；
所述边缘聚合器l的效益函数
Figure GDA0003674502120000114
的计算公式为：
Figure GDA0003674502120000115
式中，h(xi,x-i,Rl)表示边缘聚合器l的收益，
Figure GDA0003674502120000116
表示边缘聚合器l的成本。
所述边缘聚合器l的收益h(xi,x-i,Rl)的计算公式为：
h(xi,x-i,Rl)＝ln(αl+plRC)； (11)
式中，αl表示边缘聚合器l的风险规避参数，由边缘聚合器设置以反映边缘聚合器的成本，pl表示边缘聚合器l的报酬分配比例，RC表示云服务器支付给所有边缘聚合器的报酬。
所述边缘聚合器l的报酬分配比例pl的计算公式为：
Figure GDA0003674502120000121
式中，Sl表示边缘聚合器l所连接的终端设备集合。
所述边缘聚合器l的成本
Figure GDA0003674502120000122
的计算公式为：
Figure GDA0003674502120000123
式中，βl表示报酬比例系数，从成本的角度表示参与者参与HFL任务的意愿，βl越大，参与模型训练意愿越高，El表示边缘聚合器l通信的能耗，Tl表示边缘聚合器l通信的延迟，CL表示边缘聚合器的单位协调成本，|Sl|表示Sl的基。其中，CL|Sl|为协调成本，
Figure GDA0003674502120000124
为分配给连接的终端设备的相对总报酬，τcτe(λeEl+λtTl)为通信成本。
所述边缘聚合器l通信的延迟Tl的计算公式为：
Tl＝D/rl； (14)
式中，D表示模型参数的数据大小，rl表示边缘聚合器l的最大传输速率。
所述边缘聚合器l通信的能耗El的计算公式为：
Figure GDA0003674502120000125
式中，
Figure GDA0003674502120000126
表示边缘聚合器l的传输能耗。
将h(xi,x-i,Rl)改写为
Figure GDA0003674502120000127
Figure GDA0003674502120000128
其中，P表示云服务器的契约，x1表示第1类终端设备参与模型训练时所贡献数据集的数据贡献量，也即第1类终端设备的契约，f(xi,x-i)表示i类终端设备的收益，f(xi+1,x-i)表示(i+1)类终端设备的收益。
其中，Ti的计算公式为：
Figure GDA0003674502120000131
式中，σi表示i类终端设备的一维标准，σi＝θi/Ji。
将约束条件进行简化，采用契约博弈中的标准方法求解无单调约束的松弛问题，接着验证该方法的有效性，保证该方法的单调性约束。因此求最优契约解的问题转化为：
Figure GDA0003674502120000132
式(17)的约束条件为：
Figure GDA0003674502120000133
式中，σ1表示第1类终端设备的一维标准，
Figure GDA0003674502120000134
表示边缘聚合器l的成本。
对式(14)求一阶偏导，得到
Figure GDA0003674502120000135
根据费马定理，通过求解
Figure GDA0003674502120000136
可以得到契约的最优解
Figure GDA0003674502120000137
相应的边缘服务器l的最优契约
Figure GDA0003674502120000138
可以通过以下公式得到：
Figure GDA0003674502120000139
式中，Sl表示边缘聚合器l所连接的终端设备的集合。
S4.3，以效用最大化为目标获取云服务器第h步的最优契约P*，根据最优契约P*调整契约Ph；
将所有边缘聚合器分为Q类，将具有
Figure GDA00036745021200001310
的边缘聚合器称为type-q类型边缘聚合器，其中，αq表示q类边缘聚合器的风险规避参数，由边缘聚合器设置以反映边缘聚合器的成本，βq表示q类边缘聚合器的报酬比例系数，从成本的角度表示参与者参与HFL任务的意愿，βq越大，参与模型训练意愿越高，集合Q′＝{1,2,…,q,…,Q}覆盖了所有的边缘聚合器类型。每一个边缘聚合器有ρq的概率为type-q类型且有
Figure GDA00036745021200001311
类似地，我们可以将边缘聚合器的二维个体属性也转化为一维标准σ′q＝αq/βq，用来表示HFL系统对不同边缘聚合器类型的偏好。
所述最优契约P*即为以下云服务器和边缘聚合器契约问题的解：
Figure GDA0003674502120000141
式(19)的约束条件为：
g2(Rl,R-l)＝∑i∈Q′(σ′1R1-φiψi(Ri)+φiψi(Ri+1))；
φi＝(Q-i)σ′1βi,ψi(Ri)＝ln(αi+σ′1RiP)；
Figure GDA0003674502120000142
式中，λ表示系统参数，且λ>0，R-l表示从集合Q′中去除l类边缘聚合器后其它边缘聚合器的契约集，g(·)为凹函数，σ′1表示第1类边缘聚合器的一维标准，R1表示第1类边缘聚合器的契约，βi表示i类边缘聚合器的报酬比例系数，αi表示i类边缘聚合器的风险规避参数，Ri表示i类边缘聚合器的契约，
Figure GDA0003674502120000143
表示第1类边缘聚合器的成本，αl表示l类边缘聚合器的风险规避参数，σ′l表示l类边缘聚合器的一维标准，
Figure GDA0003674502120000144
表示指数函数。
对式(19)求一阶偏导，得到
Figure GDA0003674502120000145
根据费马定理，通过求解
Figure GDA0003674502120000146
可以得到契约的最优解
Figure GDA0003674502120000147
并通过
Figure GDA0003674502120000148
得出P*。
S4.4，判断
Figure GDA0003674502120000149
如果是返回步骤S4.2，否则输出契约
Figure GDA00036745021200001410
契约
Figure GDA00036745021200001411
契约Ph也即终端设备的最优契约
Figure GDA00036745021200001412
边缘聚合器最优契约
Figure GDA00036745021200001413
和云服务器的最优契约P*。
S5，终端设备基于终端设备的最优契约更新本地的电力数据学习模型，并将更新后的电力数据学习模型发送到对应的边缘聚合器，边缘聚合器对电力数据学习模型进行聚合，并将聚合后的电力数据学习模型发送到云服务器，同时基于边缘聚合器的最优契约对终端设备进行激励发放，云服务器对电力数据学习模型进行再次聚合，并基于云服务器的最优契约对边缘聚合器进行激励发放。
本发明提出分层契约博弈来建模三类实体之间的相互作用，并在不完全信息条件下解决它们之间的冲突，云服务器-边缘聚合器层的交互和边缘聚合器-终端设备层的交互分别被建模为两个最优契约问题。如图2所示，一轮联邦学习的过程为：每个终端设备贡献本地收集的数据并基于步骤S3中的模型演化函数对本地的电力数据学习模型进行训练，训练后传送到对应的边缘聚合器，边缘聚合器基于模型演化函数对接收到的模型进行聚合，聚合后传送到云服务器，同时边缘聚合器对终端设备进行激励发放，云服务器对接收到的模型进行再次聚合，同时对边缘聚合器进行激励发送，聚合后的模型最终发送到终端设备。
实施例2：一种端边云架构和不完全信息下分层联邦学习的系统，包括云服务器，所述云服务器与若干个边缘聚合器连接，每个边缘聚合器均与若干个终端设备连接，且云服务器中设有基于联邦学习算法建立的电力数据学习模型。所述边缘聚合器中设有用于向所连接的终端设备分配报酬的第一收益分配模块和用于对终端设备的数据贡献量进行评估的契约制定模块，云服务器中设有用于向边缘聚合器分配报酬的第二收益分配模块，终端设备训练时第一收益分配模块依据终端设备的数据贡献量和所贡献数据集的数据质量两个指标分配经济收益给对应的终端设备，边缘聚合器训练时第二收益分配模块依据其对风险厌恶程度分配经济收益给对应的边缘聚合器。在分层联邦学习系统中更偏向于给贡献更高数据质量、更多数据量的终端设备更多的收益以及对风险厌恶程度较低的边缘聚合器更多的收益，具体的报酬分配方法和契约制定的方法均采用实施例1中所述的方法。
首先，实体在执行每一轮HFL任务之前达成收益分配模块的协议。二是实体根据所给出的契约进行训练或参数聚合。第三，云服务器评估全局模型的表现，并从中获益，模型表现越好，云服务器的获益越多。云服务器和边缘聚合器分别根据边缘聚合器和终端设备实现的性能(即达成的收益分配模块的协议)为下一层的实体支付报酬。值得注意的是，本发明提出的带收益分配模块的HFL系统是可扩展的。在横向上，它可以扩展到每层都有更多的实体，比如多云服务器来协同训练一个模型。此外，在总纵向上，可以扩展到更多的层，例如可以根据聚合的实际频率来分离出更多的层。同时收益分配模块也可根据实际的问题，或者关注的任务需求进行适当的扩展，甚至替换。
本实施例中，“端”指终端设备，如电力监控站中的巡检机器人；“边”指边缘计算，如在电力监控站就近安装部署的边缘服务器；“云”指云中心，如大型数据总监控中心。智能巡检是电力系统安全稳定运行的基础，巡检机器人拍摄到的图像或视频需要通过图像处理方法识别设备外观、检测设备缺陷，进而实现设备状态分析与缺陷诊断。利用深度学习实现智能巡检的赋能升级已经成为了此领域的热门研究方向，其中必须解决的问题之一就是场景适用的深度学习网络模型的生成。在电力物联网架构下，采用HFL系统来训练深度学习模型，在充分利用终端的丰富数据的同时，保护电力系统中数据的隐私，并有效地降低通信开销。我们拟采用该技术实现电力物联网架构下资源分配公平的分层联邦学习系统部署。下面阐述进行合理资源定价的必要性：例如云侧的参数服务器想采用HFL进行模型训练(例如训练卷积神经网络模型)，采用端-边-云HFL进行模型训练可以显著减少与云的高成本通信，并辅以高效的端-边缘更新，显著减少运行时间和本地迭代次数。同时也利用了FL的优势，将数据保留的端移动设备，保护了端移动设备的数据隐私。云侧的参数服务器与端移动设备和边缘侧的中间聚合器达成经济收益分配模块的协议，实现合理的，公平的经济收益分配，即既能激励实体参与实际的HFL训练，实现实际的系统部署，又可以使得训练的模型达到良好的训练效果以及节约成本。如果没有合理的资源定价，有很大的概率系统无法部署，或者会付出高成本换来较低的模型提升，从而导致较低的模型性能。可以看出，在这一过程中，制定出合理的资源定价是推动HFL部署的关键点，因此在这一过程中，就需要上述的带经济收益补偿的，资源分配合理的端-边-云架构下的HFL系统。
如图3所示，其中包括三种理性机制，分别为随机终端、贪婪终端和固定终端，这三种机制分别选择随机终端设备、全部终端设备和半数终端设备参与到博弈和训练过程。除了终端设备的选择不同以外，三种理性机制的其他设计与本发明的方法完全相同。还有三种非理性机制，随机、贪婪和固定算法是经常提到的，他们缺乏考虑终端设备或边缘聚合器的自私和理性。它们分别要求随机终端设备提供随机数据，所有终端设备提供所有数据，一半终端设备提供一半数据。
本发明所提出的方法相对于非理性机制的优势在于遵循个体理性，而相对于理性机制的优势在于终端设备的选择。从图中可以看出在云和终端设备方面，本发明提出的方法的效用比其他的理性机制要更高。这一结果符合设计有效激励机制的预期，我们希望让终端设备分配更多的奖励，鼓励训练成本低、数据质量高的终端设备贡献更多的数据，从而提高云的收益。因此提高云的效用是通过提高终端设备的效用和影响边缘聚合器的效用来实现的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种端边云架构和不完全信息下分层联邦学习的方法，其特征在于，包括如下步骤：
S1，基于契约理论构建边缘聚合器和终端设备之间、云服务器和边缘聚合器之间的分层契约博弈模型；
S2，终端设备通过边缘聚合器下载云服务器中的电力数据学习模型；
S3，基于分层联邦学习算法在终端设备、边缘聚合器和云服务器中构建模型演化函数；
S4，以满足个体理性、激励兼容和效用最大化为目标求解边缘聚合器的最优契约、终端设备的最优契约和云服务器的最优契约；
所述步骤S4包括如下步骤：
S4.1，初始化初始步数h＝0、i类终端设备在博弈过程中第h步的契约
Figure FDA0003674502110000011
边缘聚合器l在博弈过程中第h步的契约
Figure FDA0003674502110000012
云服务器在博弈过程中第h步的契约Ph，并设定阈值
Figure FDA00036745021100000114
S4.2，执行h＝h+1，以满足个体理性、激励兼容和效用最大化为目标获取终端设备第h步的最优契约
Figure FDA0003674502110000013
边缘聚合器第h步的最优契约
Figure FDA0003674502110000014
根据最优契约
Figure FDA0003674502110000015
和最优契约
Figure FDA0003674502110000016
对应调整契约
Figure FDA0003674502110000017
和契约
Figure FDA0003674502110000018
S4.3，以效用最大化为目标获取云服务器第h步的最优契约P*，根据最优契约P*调整契约Ph；
S4.4，判断
Figure FDA0003674502110000019
如果是返回步骤S4.2，否则输出契约
Figure FDA00036745021100000110
契约
Figure FDA00036745021100000111
契约Ph也即终端设备的最优契约
Figure FDA00036745021100000112
边缘聚合器最优契约
Figure FDA00036745021100000113
和云服务器的最优契约P*；
S5，终端设备基于终端设备的最优契约更新本地的电力数据学习模型，并将更新后的电力数据学习模型发送到对应的边缘聚合器，边缘聚合器对电力数据学习模型进行聚合，并将聚合后的电力数据学习模型发送到云服务器，同时基于边缘聚合器的最优契约对终端设备进行激励发放，云服务器对电力数据学习模型进行再次聚合，并基于云服务器的最优契约对边缘聚合器进行激励发放。
2.根据权利要求1所述的端边云架构和不完全信息下分层联邦学习的方法，其特征在于，在步骤S3中，所述模型演化函数的演化公式为：
Figure FDA0003674502110000021
式中，ηt表示学习率，
Figure FDA0003674502110000022
表示Fi(ωi(t-1))损失函数的下降梯度，τe表示云服务器聚合一次时边缘聚合器的模型更新数目，τw表示边缘聚合器聚合一次时终端设备的模型更新数目，Si表示i类终端设备所连接的边缘聚合器μ(i)所连接的终端设备集合，κ表示所有终端设备的类别集合，ωi(t)表示i类终端设备中的第t个模型演化函数，xi是i类终端设备参与模型训练时所贡献数据集的数据贡献量，也即i类终端设备的契约。
3.根据权利要求1所述的端边云架构和不完全信息下分层联邦学习的方法，其特征在于，在步骤S4.2中，所述个体理性是指每个终端设备只有在其效益非负时才选择接受其契约，表示为：
E[f(xi，x-i)-Jixi]≥0；
式中，E表示期望，f(xi，x-i)表示i类终端设备的收益，Jixi表示i类终端设备的成本，x-i表示属于Si\{i}的终端设备的契约，xi是i类终端设备参与模型训练时所贡献数据集χi的数据贡献量，也即i类终端设备的契约，Ji表示i类终端设备参与模型训练时的单位成本；
所述i类终端设备的收益f(xi，x-i)的计算公式为：
f(xi，x-i)＝piRμ(i)；
式中，pi表示i类终端设备的报酬分配比例，Rμ(i)表示i类终端设备所连接的边缘聚合器μ(i)给予它所连接的所有终端设备的报酬；
所述i类终端设备的成本Jixi也即每一轮的训练成本
Figure FDA0003674502110000023
的计算公式为：
Figure FDA0003674502110000024
式中，λe表示能耗的权重参数，Ei(xi)表示i类终端设备参与模型训练时进行一次本地迭代的能耗，λt表示延迟的权重参数，τc表示云服务器的模型更新数目，τe表示云服务器聚合一次时边缘聚合器的模型更新数目，τw表示边缘聚合器聚合一次时终端设备的模型更新数目，Ti(xi)表示i类终端设备参与模型训练时进行一次本地迭代的计算时间，CE表示i类终端设备收集单位数据的成本。
4.根据权利要求3所述的端边云架构和不完全信息下分层联邦学习的方法，其特征在于，所述报酬分配比例pi的计算公式为：
Figure FDA0003674502110000031
式中，θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量，Si\{i}表示从集合Si中去除i类终端设备，θm′表示m′类终端设备参与模型训练时所贡献数据集χm′的数据质量，xm′表示m′类终端设备参与模型训练时所贡献数据集χm′的数据贡献量，也即m′类终端设备的契约。
5.根据权利要求2所述的端边云架构和不完全信息下分层联邦学习的方法，其特征在于，在步骤S4.2中，所述激励兼容是指每个终端设备必须选择为自己类型专门设计的契约，表示为：
E[f(xi，x-i)-Jixi]≥E[f(xj，x-i)-Jixj]；
其中，
Figure FDA0003674502110000032
式中，f(xj，x-i)表示i类终端设备选择j类终端设备的契约作为自己契约时的收益，Jixj表示i类终端设备选择j类终端设备的契约作为自己契约时的成本，且j∈k，k表示所有终端设备类型的集合，θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量，Sl表示边缘聚合器l所连接的终端设备集合，Sl\{i}表示从集合Si中去除i类终端设备，Rl表示边缘聚合器l分配给它所连接的终端设备的报酬，也即边缘聚合器l的契约，θj表示j类终端设备参与模型训练时所贡献数据集χj的数据质量，xj表示j类终端设备参与模型训练时所贡献数据集χj的数据贡献量，也即j类终端设备的契约。
6.根据权利要求5所述的端边云架构和不完全信息下分层联邦学习的方法，其特征在于，所述最优契约
Figure FDA0003674502110000033
为以下问题的解：
Figure FDA0003674502110000041
约束条件为：
s.t.E[f(xi，x-i)-Jixi]≥0；
E[f(xi，x-i)-Jixi]≥E[f(xj，x-i)-Jixj]，i≠j；
xi≥0，Rl≥0；
式中，
Figure FDA0003674502110000042
表示边缘聚合器l的效益函数；
所述边缘聚合器l的效益函数
Figure FDA0003674502110000043
的计算公式为：
Figure FDA0003674502110000044
式中，h(xi，x-i，Rl)表示边缘聚合器l的收益，
Figure FDA0003674502110000045
表示边缘聚合器l的成本；
所述边缘聚合器l的收益h(xi，x-i，Rl)的计算公式为：
h(xi，x-i，Rl)＝ln(αl+plRC)；
式中，αl表示边缘聚合器l的风险规避参数，pl表示边缘聚合器l的报酬分配比例，RC表示云服务器支付给所有边缘聚合器的报酬；
所述边缘聚合器l的成本
Figure FDA0003674502110000046
的计算公式为：
Figure FDA0003674502110000047
式中，βl表示报酬比例系数，El表示边缘聚合器l通信的能耗，Tl表示边缘聚合器l通信的延迟，CL表示边缘聚合器的单位协调成本，|Sl|表示Sl的基。
7.根据权利要求2所述的端边云架构和不完全信息下分层联邦学习的方法，其特征在于，所述边缘聚合器 l的最优契约
Figure FDA0003674502110000048
可以通过以下公式得到：
Figure FDA0003674502110000049
式中，Sm表示边缘聚合器Sl\{i}的集合，σ1表示第1类终端设备的一维标准，θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量，xi是i类终端设备参与模型训练时所贡献数据集的数据贡献量，也即i类终端设备的契约。
8.根据权利要求2所述的端边云架构和不完全信息下分层联邦学习的方法，其特征在于，在步骤S4.3中，所述最优契约P*即为以下云服务器和边缘聚合器契约问题的解：
Figure FDA0003674502110000051
约束条件为：
g2(Rl，R-l)＝∑i∈Q′(σ′1R1-φiψi(Ri)+φiψi(Ri+1))；
φi＝(Q-i)σ′1βi，ψi(Ri)＝ln(αi+σ′1RiP)；
Figure FDA0003674502110000052
式中，λ表示系统参数，且λ＞0，R-l表示从所有类型的边缘聚合器的集合Q′中去除l类边缘聚合器后其它边缘聚合器的契约集，g(·)为凹函数，σ′1表示第1类边缘聚合器的一维标准，R1表示第1类边缘聚合器的契约，βi表示i类边缘聚合器的报酬比例系数，αi表示i类边缘聚合器的风险规避参数，Ri表示i类边缘聚合器的契约，
Figure FDA0003674502110000053
表示第1类边缘聚合器的成本，αl表示l类边缘聚合器的风险规避参数，σ′l表示l类边缘聚合器的一维标准。
9.一种采用如权利要求1所述的端边云架构和不完全信息下分层联邦学习的系统，包括云服务器，所述云服务器与若干个边缘聚合器连接，每个边缘聚合器均与若干个终端设备连接，且云服务器中设有基于联邦学习算法建立的电力数据学习模型，其特征在于，所述边缘聚合器中设有用于向所连接的终端设备分配报酬的第一收益分配模块和用于对终端设备的数据贡献量进行评估的契约制定模块，所述云服务器中设有用于向边缘聚合器分配报酬的第二收益分配模块，终端设备训练时第一收益分配模块依据终端设备的数据贡献量和所贡献数据集的数据质量分配报酬给对应的终端设备，边缘聚合器训练时第二收益分配模块依据其对风险厌恶程度分配报酬给对应的边缘聚合器。
CN202111257828.1A 2021-10-27 2021-10-27 端边云架构和不完全信息下分层联邦学习的方法及系统 Active CN113992692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111257828.1A CN113992692B (zh) 2021-10-27 2021-10-27 端边云架构和不完全信息下分层联邦学习的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111257828.1A CN113992692B (zh) 2021-10-27 2021-10-27 端边云架构和不完全信息下分层联邦学习的方法及系统

Publications (2)

Publication Number Publication Date
CN113992692A CN113992692A (zh) 2022-01-28
CN113992692B true CN113992692B (zh) 2022-09-06

Family

ID=79742780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111257828.1A Active CN113992692B (zh) 2021-10-27 2021-10-27 端边云架构和不完全信息下分层联邦学习的方法及系统

Country Status (1)

Country Link
CN (1) CN113992692B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584406B (zh) * 2022-05-09 2022-08-12 湖南红普创新科技发展有限公司 一种联邦学习的工业大数据隐私保护系统及方法
CN116033028A (zh) * 2022-12-29 2023-04-28 江苏奥都智能科技有限公司 应用于物联网的分层联邦边缘学习调度方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021022707A1 (zh) * 2019-08-06 2021-02-11 深圳前海微众银行股份有限公司 一种混合联邦学习方法及架构
CN112367109A (zh) * 2020-09-28 2021-02-12 西北工业大学 空地网络中由数字孪生驱动的联邦学习的激励方法
CN113037876A (zh) * 2021-05-25 2021-06-25 中国人民解放军国防科技大学 基于合作博弈的云下行任务边缘节点资源分配方法
CN113268920A (zh) * 2021-05-11 2021-08-17 西安交通大学 一种基于联邦学习的无人机群感知数据安全共享方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210174257A1 (en) * 2019-12-04 2021-06-10 Cerebri AI Inc. Federated machine-Learning platform leveraging engineered features based on statistical tests
CN112070240B (zh) * 2020-09-07 2022-10-14 清华大学 一种高效通信的分层联邦学习框架及其优化方法和系统
CN112181666B (zh) * 2020-10-26 2023-09-01 华侨大学 一种基于边缘智能的设备评估和联邦学习重要性聚合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021022707A1 (zh) * 2019-08-06 2021-02-11 深圳前海微众银行股份有限公司 一种混合联邦学习方法及架构
CN112367109A (zh) * 2020-09-28 2021-02-12 西北工业大学 空地网络中由数字孪生驱动的联邦学习的激励方法
CN113268920A (zh) * 2021-05-11 2021-08-17 西安交通大学 一种基于联邦学习的无人机群感知数据安全共享方法
CN113037876A (zh) * 2021-05-25 2021-06-25 中国人民解放军国防科技大学 基于合作博弈的云下行任务边缘节点资源分配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Optimized Edge Aggregation for Hierarchica;Bo Xu等;《IEEE》;20210930;全文 *
联邦学习算法综述;王健宗等;《大数据》;20200822;全文 *

Also Published As

Publication number Publication date
CN113992692A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113992676B (zh) 端边云架构和完全信息下分层联邦学习的激励方法及系统
Huang et al. FedParking: A federated learning based parking space estimation with parked vehicle assisted edge computing
Fekri et al. Distributed load forecasting using smart meter data: Federated learning with Recurrent Neural Networks
CN113992692B (zh) 端边云架构和不完全信息下分层联邦学习的方法及系统
Alonso et al. Deep reinforcement learning for the management of software-defined networks in smart farming
CN111245903B (zh) 一种基于边缘计算的联合学习方法及系统
Lim et al. Incentive mechanism design for resource sharing in collaborative edge learning
CN110515732A (zh) 一种基于资源受限机器人深度学习推理的任务分配方法
Maheswaran et al. Efficient signal proportional allocation (ESPA) mechanisms: Decentralized social welfare maximization for divisible resources
CN115271099A (zh) 一种支持异构模型的自适应个性化联邦学习方法
Wang et al. Deep Reinforcement Learning-based scheduling for optimizing system load and response time in edge and fog computing environments
CN104376382B (zh) 面向大规模多Agent系统的非对称分布式约束优化算法及系统
Yuan et al. Low-Cost Federated Broad Learning for Privacy-Preserved Knowledge Sharing in the RIS-Aided Internet of Vehicles
Li et al. Federated learning based on Stackelberg game in unmanned-aerial-vehicle-enabled mobile edge computing
Zhou et al. Big data and knowledge graph based fault diagnosis for electric power systems
CN116542323A (zh) 一种多价值链演化的训练预测方法、系统及存储介质
Reddy et al. A Beginner's Guide to Federated Learning
Wang et al. Incentive-aware decentralized data collaboration
CN111027709B (zh) 信息推荐方法、装置、服务器及存储介质
Hossain et al. Fedavo: Improving communication efficiency in federated learning with african vultures optimizer
Zhang et al. Fedcr: Personalized federated learning based on across-client common representation with conditional mutual information regularization
CN117687762B (zh) 一种考虑隐私约束的多数据中心协同调度方法及系统
Nongaillard et al. Egalitarian negotiations in agent societies
Nawaz et al. K-DUMBs IoRT: Knowledge Driven Unified Model Block Sharing in the Internet of Robotic Things
Zhuang et al. Smart multi-tenant federated learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant