CN114866545B - 一种基于空中计算的半异步分层联邦学习方法及系统 - Google Patents

一种基于空中计算的半异步分层联邦学习方法及系统 Download PDF

Info

Publication number
CN114866545B
CN114866545B CN202210412597.5A CN202210412597A CN114866545B CN 114866545 B CN114866545 B CN 114866545B CN 202210412597 A CN202210412597 A CN 202210412597A CN 114866545 B CN114866545 B CN 114866545B
Authority
CN
China
Prior art keywords
clients
client
edge
edge servers
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210412597.5A
Other languages
English (en)
Other versions
CN114866545A (zh
Inventor
史士杰
姜吉士
黄凯
王法松
刘玉怀
王忠勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202210412597.5A priority Critical patent/CN114866545B/zh
Publication of CN114866545A publication Critical patent/CN114866545A/zh
Application granted granted Critical
Publication of CN114866545B publication Critical patent/CN114866545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及联邦学习技术领域，具体涉及一种基于空中计算的半异步分层联邦学习方法及系统：将N个客户端分配给M个边缘服务器，每个边缘服务器分配到n个客户端，并得到m个游离客户端；n个客户端的模型参数更新完成后同步上传到其对应的边缘服务器进行初步模型聚合，M个边缘服务器将聚合的模型参数和m个游离客户端更新后的模型参数上传至中心服务器；中心服务器对在截止时间内接收到的模型参数进行全局模型聚合，并将全局模型聚合过后的模型参数广播至N个客户端，进行下一轮的模型参数更新直至达到收敛。本发明通过对客户端进行分组，并设置了截止时间，减小了系统全局模型更新时间过长，提高了收敛速度和效率。

Description

一种基于空中计算的半异步分层联邦学习方法及系统
技术领域
本发明涉及联邦学习技术领域，具体涉及一种基于空中计算的半异步分层联邦学习方法及系统。
背景技术
2017年Google公司提出联邦学习算法(Federated Learning，FL)以及联邦平均算法(Federated Average，FedAvg)，其可在不将数据集中在数据中心的情况下进行模型训练。通过该技术，各分布式端点从云服务器下载全局模型，以传统机器学习方式执行本地训练，然后将模型权重上传至服务器以进行模型聚合。联邦学习算法可以通过两个步骤来实现系统的分布式运行，包括客户端本地数据的模型更新以及在中心服务器进行的全局模型聚合。随着工业物联网、元宇宙等应用场景的爆发式需求增长，联邦学习前景广阔。然而，同步式联邦学习存在着两大制约因素：第一，模型聚合时的参数同步传输无法适应资源受限且不可靠的无线传输环境，导致分布式联邦学习的子模型参数传输难以精准同步，甚至存在参数传输失败问题；第二，现有的5G/WiFi等无线传输技术下，昂贵且受限的无线带宽资源使得联邦训练模型能够容纳的分布式客户端数量受限。
基于以上问题，目前已有学者对无线联邦学习中的异步通信以及模型分层式聚合展开了研究，也有将两者进行结合的研究范例。异步通信虽可以有效缓解部分客户端出现掉队而导致模型聚合低效甚至聚合失败的问题，然而现有的异步通信技术将会占用过多的通信带宽等无线传输资源，当通信资源受限时，异步通信将使得模型参数与控制指令的传输效率降低，全局模型训练的延迟过大，甚至导致模型聚合的失效。分层联邦学习可以避免由于通信带宽以及功率的限制而出现的客户端数量受制约问题，但是由于提前对客户端进行分组，仍然会有部分组内的客户端掉队，而使得整个系统模型收敛效果变差。
虽然现有的分层异步通信技术可以有效改善通信效率，降低通信开销，然而在大规模物联网应用环境下，系统模型的构建以及运算过程仍然需要进一步优化。现有的分层异步联邦学习技术中，部分客户端模型更新时间过长将导致系统整体性能大幅度下降，分层联邦学习系统模型如图1所示。在图1所示的模型中，系统提前对所有客户端进行分组，在不同的组内会出现部分客户端掉队的情况，对延迟过大终端的等待将造成系统全局模型更新时间过长，从而影响收敛速度和效率。
发明内容
本发明的目的在于提供一种基于空中计算的半异步分层联邦学习方法及系统，用于解决现有部分客户端掉队会导致系统全局模型更新时间过长导致聚合效率差甚至聚合失败的问题。
为解决上述技术问题，本发明提供了一种基于空中计算的半异步分层联邦学习方法，包括以下步骤：
根据选中的N个客户端的数据集、N个客户端的位置、M个边缘服务器的位置以及N个客户端进行模型参数更新先后顺序，将N个客户端分配给M个边缘服务器，每个边缘服务器分配到n个客户端，并得到m个游离客户端，m＝N-M*n；
每个边缘服务器分配到的n个客户端的模型参数更新完成后，将n个客户端的更新后的模型参数同步上传到其对应的边缘服务器进行初步模型聚合，进而M个边缘服务器将初步模型聚合的模型参数同步上传至中心服务器；同时，m个游离客户端进行模型参数更新，并将更新后的模型参数同步上传至中心服务器；
确定中心服务器的模型参数接收截止时间，中心服务器对在模型参数接收截止时间内接收到的M个边缘服务器上传的模型参数和游离客户端上传的模型参数进行全局模型聚合，并将全局模型聚合过后的模型参数广播至N个客户端，再进行下一轮的模型参数更新，直至最终达到收敛。
进一步的，将N个客户端分配给M个边缘服务器的步骤包括：
根据选中的N个客户端的数据集，计算任意两个客户端的数据集之间的数据相关性，并根据任意两个客户端的数据集之间的数据相关性以及N个客户端的位置和M个边缘服务器的位置，将N个客户端分配给M个边缘服务器，以使分配到客户端的每个边缘服务器分配到的客户端数目为n；
若分配到客户端的边缘服务器的数目小于M，则根据各个未预分配给M个边缘服务器的客户端进行模型参数更新先后顺序，将各个未预分配给M个边缘服务器的客户端分配给未分配到客户端的边缘服务器以使M个边缘服务器均分配到n个客户端。
进一步的，将N个客户端分配给M个边缘服务器，以使每个分配到客户端的边缘服务器分配到的客户端数目为n的步骤包括：
判断第一客户端和第二客户端的数据集之间的数据相关性是否大于数据相关性阈值，若第一客户端和第二客户端的数据集之间的数据相关性大于数据相关性阈值，则将第一客户端和第二客户端划分为一个簇族，并根据第一客户端的位置和M个边缘服务器的位置，将第一客户端和第二客户端分配给距离第一客户端最近的第一边缘服务器；若第一客户端和第二客户端的数据集之间的数据相关性不大于数据相关性阈值，则同时比较第一客户端和第三客户端的数据集之间的数据相关性是否大于数据相关性阈值以及第二客户端和第三客户端的数据集之间的数据相关性是否大于数据相关性阈值，若第一客户端和第三客户端的数据集之间的数据相关性大于数据相关性阈值，则将第一客户端和第三客户端划分为一个簇族，并根据第一客户端的位置和M个边缘服务器的位置，将第一客户端和第三客户端分配给距离第一客户端最近的第一边缘服务器，若第二客户端和第三客户端的数据集之间的数据相关性大于数据相关性阈值，则将第二客户端和第三客户端划分为一个簇族，并根据第二客户端的位置和M个边缘服务器的位置，将第二客户端和第三客户端分配给距离第二客户端最近的第二边缘服务器，若第一客户端和第三客户端的数据集之间的数据相关性以及第二客户端和第三客户端的数据集之间的数据相关性均不大于数据相关性阈值，则同时比较第一客户端和第四客户端的数据集之间的数据相关性是否大于数据相关性阈值、第二客户端和第四客户端的数据集之间的数据相关性是否大于数据相关性阈值以及第三客户端和第四客户端的数据集之间的数据相关性是否大于数据相关性阈值，依次类推，当某个边缘服务器分配到的客户端的数目超过n时，则将超过数目n对应的客户端分配给所述某个边缘服务器的下一未分配到客户端的边缘服务器，当M个边缘服务器均被分配出去时，则只划分相应的簇族，而不再为新出现的簇族分配边缘服务器，直至N个客户端被遍历完毕；
N个客户端被遍历完毕后，若M个边缘服务器均被分配出去，并存在分配到边缘服务器的某个簇族中的客户端数目小于n，且小于未分配到边缘服务器的另外一个簇族中的客户端数目，则将所述某个簇族分配到的边缘服务器重新分配给所述另外一个簇族；
若存在部分边缘服务器分配到的客户端的数目不足n，则根据所述部分边缘服务器分配到的客户端的数据集与剩余未分配给任何边缘服务器的客户端的数据集之间的数据相关性，将剩余未分配给任何边缘服务器的客户端分配给所述部分边缘服务器以使分配到客户端的每个边缘服务器分配到的客户端数目为n。
进一步的，任意两个客户端的数据集之间的数据相关性对应的计算公式为：
Figure GDA0004137046380000031
其中，
Figure GDA0004137046380000032
为第i个客户端和第j个客户端的数据集之间的数据相关性，μi为第i个客户端的数据集中的判定指标的平均值，μj为第j个客户端的数据集中的判定指标的平均值，σi为第i个客户端的数据集中的判定指标的方差，σj为第j个客户端的数据集中的判定指标的方差，σij为第i个客户端和第j个客户端的数据集中的判定指标的协方差，c1、c2为用来维持稳定的常数。
进一步的，确定中心服务器的参数接收截止时间的步骤包括：
根据M个边缘服务器分配到的所有客户端的参数更新完毕所用的第一时间，确定所述第一时间后中心服务器等待的第二时间；
根据第一时间和第二时间确定中心服务器的参数接收截止时间。
进一步的，确定所述第一时间后中心服务器等待的第二时间对应的计算公式为：
Figure GDA0004137046380000041
其中，T2为所述第一时间后中心服务器等待的第二时间，T1为M个边缘服务器分配到的所有客户端的参数更新完毕所用的第一时间，m为游离客户端的数目，N为所有客户端的数目。
进一步的，利用空间计算技术，将n个客户端的更新后的参数同步上传到其对应的边缘服务器进行初步模型聚合；利用空间计算技术，中心服务器对在参数接收截止时间内接收到的M个边缘服务器上传的参数和游离客户端上传的参数进行全局模型聚合。
进一步的，在每一轮的模型更新过程中，每个边缘服务器分配到的每个客户端的本地平均损失函数以及每个边缘服务器分配到的n个客户端的全局平均损失函数对应的计算公式为：
Figure GDA0004137046380000042
Figure GDA0004137046380000043
其中，Fk(z)为每个边缘服务器分配到的第k个客户端的本地平均损失函数，fs(z)为数据样本s属于第i个边缘服务器分配到的第j个客户端的数据集Di,j的损失函数，i∈[1,M],j∈[1,n]，|Di,j|为第i个边缘服务器分配到的第j个客户端的数据集Di,j的大小，F(z)为每个边缘服务器分配到的n个客户端的全局平均损失函数。
进一步的，在每一轮的模型更新过程中，中心服务器的优化目标对应的计算公式为：
Figure GDA0004137046380000044
其中，f(u)为中心服务器的优化目标，u为中心服务器的模型聚合参数，K为边缘服务器和离散客户端的总数目，K＝M+m，fj(u)为中心服务器接收到的第j个优化目标。
为解决上述技术问题，本发明还提供了一种基于空中计算的半异步分层联邦学习系统，包括选中的参与训练的共有N个客户端，M个边缘服务器以及一个中心服务器，所述客户端、边缘服务器和中心服务器相互配合以实现上述的基于空中计算的半异步分层联邦学习方法。
本发明具有如下有益效果：通过对客户端进行分类，分成组内客户端和游离客户端，分组客户端在对应的边缘服务器内进行聚合，然后边缘服务器和游离客户端直接在中心服务器内进行聚合，并设置了模型参数接收限定时间截止时间，超过该截止时间，系统将放弃接收此部分客户端的数据，减小了系统全局模型更新时间过长，提高了收敛速度和效率，有效解决了原有的分层联邦学习中部分组内有客户端掉队，使得收敛速度慢，效果较差的情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为现有技术异步分层联邦通信系统的模型示意图；
图2为本发明的基于空中计算的半异步分层联邦学习系统的模型示意图；
图3为本发明的基于空中计算的半异步分层联邦学习方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本实施例将空中计算技术运用到联邦学习中，提出了一种新型的基于空中计算的半异步分层联邦学习系统，该系统的模型示意图如图2所示，包括选中的参与训练的共有N个客户端，M个边缘服务器以及一个中心服务器。其中N个客户端分为两类：一类为分配给边缘服务器的组内客户端，另一类为游离客户端。每个边缘服务器分配n个客户端，此时游离客户端的总数m＝N-M*n。
基于上述的基于空中计算的半异步分层联邦学习系统，本实施例还提供了一种基于空中计算的半异步分层联邦学习方法，该方法在分层联邦学习的基础上，采取了半异步的通信方式，首先，根据客户端至边缘服务器/中心服务器之间的信道质量(通过计算不同客户端的数据集相关性来体现，由于会对相关性高的数据集进行相应的功率控制等，进而影响其信道质量)以及客户端处的本地模型训练速度，将所有客户端分为两类：分组客户端和游离客户端。分组客户端模型参数向组内的边缘服务器节点汇聚，所有边缘服务器处模型参数与游离客户端处模型参数向中心服务器汇聚。在“每个分组内客户端向边缘服务器节点传输模型参数”和“边缘服务器与游离客户端向中心服务器传输模型参数”的过程中均采取同步通信方式，而属于不同分组的客户端传输模型参数时无需同步通信。并在模型参数传输时自适应地部分引入空中计算技术，使得在每个时频资源块内可有多个客户端同时发送数据。鉴于空中计算技术的采用，多个客户端之间可以共用相同的时频资源块，该半异步分层联邦学习技术使得客户端的模型聚合可以避免现有同步式联邦学习的通信资源开销过大问题，又可以避免异步式联邦学习的训练延迟过大问题。此外，半异步分层联邦学习架构与现有的基于空中计算的联邦学习架构(同步未分层)相比，分组的出现使得空中计算的误差更低，可以实现更优的全局联邦模型精度，亦更容易在事后对传输失败等原因导致的客户端掉队进行定位。
分层联邦学习可以避免由于通信带宽以及功率的限制而出现的客户端数量受制约问题，但是由于提前对客户端进行分组，仍然会有部分组内的客户端掉队，而使得整个系统模型收敛效果变差。因此，本实施例提前对客户端进行了分组的同时结合客户端模型更新时间的先后，实时进行分配相应的边缘服务器。具体分组方式为：先计算选定的所有客户端的数据相关性，根据数据相关性，将相关程度高的客户端预分到同一边缘服务器，也即是相关性高的客户端将组成一个簇，同一簇内的客户端在同一边缘服务器内进行聚合。同时根据参与边缘服务器聚合的客户端个数与游离客户端个数比例以及边缘服务器聚合各自客户端所用的总时间，设定了截止时间，当超过该截止时间，系统将会放弃接收此部分客户端的数据。这种方式可以解决原有的分层联邦学习中部分组内有客户端掉队，使得收敛速度慢，效果较差的情况。
本实施例在现有如图1所示的分层联邦学习的基础上，首先采取了半异步的通信方式，同时在同步通信的过程中应用了空中计算的技术，可以显著提升系统高通信效率、降低通信开销。其次由于初始化的时候设定了一部分的游离客户端，这些客户端的存在一方面为边缘服务器处的模型聚合运算提供了缓冲时间，即不至于存在客户端更新完毕但是边缘服务器初步聚合未完成的情况。另一方面可以根据参与边缘服务器聚合的客户端个数与游离客户端个数比例，设定合适的截止时间，因此能够有效解决由于部分客户端更新过长或者掉队而造成模型收敛速度过慢的情况。
空中计算是一种通信和计算一体化技术，该技术无需在接收端恢复出每个信源节点数据，所有发送端节点可以在相同的时频资源块内并发传输，利用无线信道的叠加特性，实现接收端直接接收到计算结果的效果。空中计算技术可在通信资源受限的计算场所，有效地降低传输和计算分离导致的传输时延。但目前将空中计算技术用于联邦学习的范例相对较少，且存在模型训练误差较大、容纳客户端数量受限、不易对掉队客户端进行定位等缺陷。为此，本实施例将空中计算技术运用到联邦学习中时，提出了一种如图2所示的新型的半异步分层联邦学习系统模型，由于根据客户端更新先后以及客户端数据相关性分配对应的边缘服务器，可避免掉队客户端对空中计算的同步需求；半异步式的通信方式，再加上游离客户端的设置，不仅提高通信效率，还可以使用多次空中计算，减小模型训练误差大的劣势；分层的联邦学习中运用空中计算技术，可进一步提升所容纳的客户端数量。
具体的，本实施例所提供的基于空中计算的半异步分层联邦学习方法对应的流程图如图3所示，包括以下步骤：
步骤1：根据选中的N个客户端的数据集、N个客户端的位置、M个边缘服务器的位置以及N个客户端进行模型参数更新先后顺序，将N个客户端分配给M个边缘服务器，每个边缘服务器分配到n个客户端，并得到m个游离客户端，m＝N-M*n。
其中，根据选中的N个客户端的数据集，计算任意两个客户端的数据集之间的数据相关性，并根据任意两个客户端的数据集之间的数据相关性以及N个客户端的位置和M个边缘服务器的位置，将N个客户端分配给M个边缘服务器，以使每个分配到客户端的边缘服务器分配到的客户端数目为n。若分配到客户端的边缘服务器的数目小于M，则根据各个未预分配给M个边缘服务器的客户端进行模型参数更新先后顺序，将各个未预分配给M个边缘服务器的客户端分配给未分配到客户端的边缘服务器以使M个边缘服务器均分配到n个客户端。
在本实施例中，N个客户端的数据集为图像，分别计算两个客户端的数据集之间的数据相关性K，K∈[-1,1]，K值取为结构相似性(SSIM)，对应的计算公式为：
Figure GDA0004137046380000071
其中，
Figure GDA0004137046380000072
为第i个客户端和第j个客户端的数据集之间的数据相关性，i∈[1,N]，j∈[2,N]，i＜j，μi为第i个客户端的数据集中的判定指标的平均值，μj为第j个客户端的数据集中的判定指标的平均值，σi为第i个客户端的数据集中的判定指标的方差，σj为第j个客户端的数据集中的判定指标的方差，σij为第i个客户端和第j个客户端的数据集中的判定指标的协方差，c1、c2为用来维持稳定的常数，c1＝(k1L)2，c2＝(k2L)2，L为像素值的动态范围，k1＝0.01，k1＝0.03。
设置数据相关性阈值K0，当
Figure GDA0004137046380000081
时，判定为高相关性，反之判定为低相关性。当具有高相关性时，其在初步聚合时将预先占据距客户端i最近的一个边缘服务器，同时，所有与客户端i具有高相关性的客户端也将在同一个边缘服务器内进行聚合，这些具有高相关性的客户端可以看成是一个簇族。例如，若
Figure GDA0004137046380000082
客户端1,2将在边缘服务器R1内进行初步聚合，接下来，所有的
Figure GDA0004137046380000083
也将在R1内进行聚合，直到达到边缘服务器聚合客户端上限n，依次类推，直至所有M个边缘服务器均被占据。
下面对上述每个边缘服务器分配到n个客户端的具体实现过程进行详细说明：
(1)首先计算
Figure GDA0004137046380000084
的值。此时会出现两种情况：1)若
Figure GDA0004137046380000085
将客户端1和j划分为一个簇族，客户端1和j将在边缘服务器R1内进行初步聚合；2)若出现
Figure GDA0004137046380000086
记录此时j的值为j1，j1将不在边缘服务器R1内聚合，同时开始计算
Figure GDA0004137046380000087
j1∈(j,N],j2∈(j1,N]，例如
Figure GDA0004137046380000088
则客户端3将不在R1内聚合，同时开始计算
Figure GDA0004137046380000089
j2∈(3,N]。
(2)接下来计算
Figure GDA00041370463800000810
与
Figure GDA00041370463800000811
的值。此时对于
Figure GDA00041370463800000812
与
Figure GDA00041370463800000813
有三种情况：1)若
Figure GDA00041370463800000814
将客户端1和j2划分为一个簇族，客户端1和j2将在边缘服务器R1内进行初步聚合；2)若
Figure GDA00041370463800000815
将客户端j1和j2划分为一个簇族，客户端j1和j2将在边缘服务器R2内进行初步聚合；3)若
Figure GDA00041370463800000816
与
Figure GDA00041370463800000817
均小于K0，则客户端j2均不在边缘服务器R1与R2进行初步聚合，记录此时j2的值为j3，同时开始计算
Figure GDA00041370463800000818
(3)然后计算
Figure GDA00041370463800000819
与
Figure GDA00041370463800000820
的值。此时对于
Figure GDA00041370463800000821
与
Figure GDA00041370463800000822
共有四种情况：1)若
Figure GDA00041370463800000823
将客户端1和j4划分为一个簇族，客户端1和j4将在边缘服务器R1内进行初步聚合；2)若
Figure GDA00041370463800000824
将客户端j2和j3划分为一个簇族，客户端j2和j3将在边缘服务器R2内进行初步聚合；3)若
Figure GDA00041370463800000825
将客户端j3和j4划分为一个簇族，客户端j3和j4将在边缘服务器R3内进行初步聚合；4)若
Figure GDA0004137046380000091
与
Figure GDA0004137046380000092
均小于K0，则客户端j4均不在边缘服务器R1、R2与R3进行初步聚合，记录此时j4的值为j5，同时开始计算
Figure GDA0004137046380000093
j5∈(j4,N],j6∈(j5,N]。
………
(4)依次并行计算
Figure GDA0004137046380000094
的值，当M个边缘服务器均被分配出去时，则只划分相应的簇族，而不再为新出现的簇族分配边缘服务器，即新出现的簇族不再占据边缘服务器进行初步聚合，直至计算完毕。
在上述过程中，会出现四种情况：
1)若边缘服务器的容纳客户端的个数超过n个上限值，则还有高相关性的客户端，顺延至下一个空闲边缘服务器内进行聚合。例如，当边缘服务器R1内的首客户端序号为1，当计算到
Figure GDA0004137046380000095
边缘服务器容纳客户端数量达到上限n，对于再次出现的
Figure GDA0004137046380000096
客户端js将预分组到距离边缘服务器R1最近的空闲边缘服务器R2。
2)若在计算完毕时，仍有边缘服务器的客户端数量不足n个，同时，其余未分到边缘服务器的相关性较强的客户端数量比此边缘服务器的客户端数量少，将按照与首客户端相关性强弱，且不属于其他边缘服务器的客户端将依次预分组至此边缘服务器中，直至达到上限n值。例如，边缘服务器R1内客户端数量不足n个，首客户端序号为1，将按照
Figure GDA0004137046380000097
值的大小，且客户端j不属于其他边缘服务器的客户端，将会预分组至边缘服务器R1内，直至达到上限n值。例如，若有边缘服务器R1、R2内的客户端数量不足n个，不属于其他边缘服务器的客户端为客户端20、客户端21、客户端22、客户端23，此时首先对于边缘服务器R1，将计算客户端20、客户端21、客户端22、客户端23与边缘服务器R1内首个客户端的数据相关性，然后按照从大到小的顺序，将这些客户端分配给边缘服务器R1使其客户端数目为n。然后对于边缘服务器R2，将剩余的其他客户端按照相同的方式分配给边缘服务器R2使其客户端数目为n，依次进行……，直至所有的边缘服务器都分配到n个客户端。
3)若在计算
Figure GDA0004137046380000098
的值完毕后，所有的高相关性的簇族数量不足M个，将在预分组时，高相关性的客户端只占据相应的边缘服务器，剩下的客户端将根据正式运行时，客户端模型更新先后占据未预分组的边缘服务器。例如，若在计算
Figure GDA0004137046380000099
的值完毕后，RM边缘服务器未预分组到客户端，有客户端j2,j3,j4...等客户端未预分组到任何边缘服务器内，则在算法正式运行时，根据客户端j2,j3,j4...的模型更新的先后，进入到相应的空闲边缘服务器。例如，若有边缘服务器R11、R12未预分组到客户端，不属于其他边缘服务器的客户端为客户端30，31，32，33...，则在算法正式运行时，将客户端30，31，32，33...中模型先更新完的客户端分配给边缘服务器R11，直至边缘服务器R11分配到n个客户端，然后再分配给边缘服务器R12，直至边缘服务器R12分配到n个客户端。
4)若在计算
Figure GDA0004137046380000101
的值完毕后，若M个边缘服务器均被分配出去，并存在分配到边缘服务器的某个簇族中的客户端数目小于n，且小于未分配到边缘服务器的另外一个簇族中的客户端数目，则将所述某个簇族分配到的边缘服务器重新分配给所述另外一个簇族。也就是说，若所有的高相关性的簇族数量大于M个，且存在边缘服务器的预分组客户端数量少于n，同时数量小于未分配到边缘服务器的相关性较大的客户端，则二者交换地位。例如，边缘服务器R1的客户端数量为b个，b<n，也即
Figure GDA0004137046380000102
的数量小于n，同时未分配到边缘服务的客户端中，
Figure GDA0004137046380000103
的客户端有B个，B>b，则
Figure GDA0004137046380000104
与
Figure GDA0004137046380000105
的客户端交换地位，也即有客户端1所预分组的边缘服务器R1被客户端20所占据，
Figure GDA0004137046380000106
中的客户端将未被预分组到边缘服务器中。此时同样会有两种情况。①B>n，则将按照
Figure GDA0004137046380000107
的大小，数值大的分配到边缘服务器中。②B<n，将按照情况2)中的处理方式进行填充。
需要指出的是，在上述将N个客户端分配给M个边缘服务器的过程中，客户端1、客户端2、客户端3、……、客户端N，也就是第一客户端、第二客户端、第三客户端、……、第N客户端是可以随机选取的，也可以是预先指定的。
步骤2：每个边缘服务器分配到的n个客户端的模型参数更新完成后，将n个客户端的更新后的模型参数同步上传到其对应的边缘服务器进行初步模型聚合，进而M个边缘服务器将初步模型聚合的模型参数同步上传至中心服务器；同时，m个游离客户端进行模型参数更新，并将更新后的模型参数同步上传至中心服务器。
通过上述步骤1，设定Si为各个边缘服务器所需聚合的n个客户端的集合，Si中的客户端可能包括两部分：一部分为预分组时分配到边缘服务器的相关性强的簇族，第二部分是未分配到边缘服务器的客户端，但是提前更新完毕的客户端。当各个边缘服务器所分配到的n个客户端中的最后一个客户端更新完毕时，借助空中计算技术，将这n个客户端的参数同步上传至相应的边缘服务器进行初步的模型聚合。例如，当第一边缘服务器R1所分配到的n个客户端中的最后一个客户端更新完毕时，借助空中计算技术，将这n个客户端的参数同步上传至相应的第一边缘服务器R1进行初步的模型聚合，对应的计算公式为：
Figure GDA0004137046380000111
其中，Si为第i个边缘服务器所要聚合的客户端的集合，i∈[1,M]，nj为第i个边缘服务器所要聚合的第j个客户端，j∈[1,n]。
步骤3：确定中心服务器的模型参数接收截止时间，中心服务器对在模型参数接收截止时间内接收到的M个边缘服务器上传的模型参数和游离客户端上传的模型参数进行全局模型聚合，并将全局模型聚合过后的模型参数广播至N个客户端，再进行下一轮的模型参数更新，直至最终达到收敛。
根据M个边缘服务器分配到的所有客户端的参数更新完毕所用的第一时间，确定第一时间后中心服务器等待的第二时间；根据第一时间和第二时间确定中心服务器的参数接收截止时间。具体的，当M个边缘服务器分配到的所有客户端的模型参数更新完毕后，也就是当N-m个客户端的参数都已经更新完毕，记录此时所用时间为T1，剩下的m个客户端的更新参数将会在T2时间内直接上传到中心服务器。如果超过T2仍有部分客户端未更新完毕，系统将判定此部分客户端存在掉队的情况，并予以舍弃，T2具体确定方式如下：
Figure GDA0004137046380000112
其中，T2为所述第一时间后中心服务器等待的第二时间，T1为M个边缘服务器分配到的所有客户端的参数更新完毕所用的第一时间，m为游离客户端的数目，N为所有客户端的数目。
在中心服务器处，同样借助空中计算技术，将M个边缘服务器与直接上传至中心服务器的m个游离客户端进行模型聚合。当达到截止时间T也就是模型参数接收截止时间之后，其中，T＝T1+T2。若仍存在有客户端未更新完毕的情况，则视为这些客户端已经掉队，并放弃等待。中心服务器将聚合过后的模型参数广播至选中的N个客户端，再进行下一轮的模型更新，直至最终达到收敛。
基于上述的基于空中计算的半异步分层联邦学习方法及系统，可以支持以下分布式机器学习任务：
Figure GDA0004137046380000121
其中，u为最终中心服务器的模型聚合参数，K＝M+m，K包含有从M个边缘服务器和m个客户端上传的模型参数，即K为边缘服务器和离散客户端的总数目，fj(u)为中心服务器接收到的第j个优化目标。
在中心服务器进行全局模型聚合之前，客户端需要在边缘服务器处进行初步聚合，然后再与更新延迟较大的客户端进行最终模型聚合。本实施例中，边缘服务器的学习目标是通过随机梯度下降法，找到期望的模型参数z,以最小化平均损失函数F(z)。
记t为迭代次数，Si为第i个边缘服务器所要聚合的客户端的集合，在每个边缘服务器更新完毕的n个客户端中，所包含的数据集为Dt i,j,i∈[1,M],j∈[1,n],表示在第i个边缘服务器中聚合的第j个客户端的数据集，该数据集Dt i,j的大小表示为|Dt i,j|。假设fs(z)是数据样本s属于Dt i,j的损失函数，为简化书写，将省略上标t，在每一次的空中计算过程中，相应的属于Si的第k个客户端(终端设备)的本地平均损失函数就可以写为：
Figure GDA0004137046380000122
第i个边缘服务器的所有n个客户端的全局平均损失函数为：
Figure GDA0004137046380000123
空中计算是指利用无线信号多址信道传输过程中的叠加特性，在传输过程中实现相应的函数运算。在将空中计算应用到FedAvg算法中时，上述公式(5)用于在系统聚合过程中本地客户端的更新，|Di,j|为第k个终端设备的预处理函数，
Figure GDA0004137046380000124
为终端设备后处理函数。
假设预处理后的符号向量xi＝|Di,j|zi，每个客户端发送信号xi，定义g＝∑i∈kxi作为聚合的目标函数，因此在边缘服务器接收到的信号为：
Figure GDA0004137046380000125
其中，y1为在边缘服务器接收到的信号，bi为发射机补偿因子，hi为在客户端和边缘服务器之间的信道矢量，xi为客户端发射信号，v为噪声，且v～CN(0，σ2)。
此时，对应的估算函数为：
Figure GDA0004137046380000131
其中，m接收机波束成形向量，
Figure GDA0004137046380000132
是相对于目标函数的失真，它量化了FedAvg算法中聚合的空中计算性能，具体性能评判标准是由均方误差来定义的：
Figure GDA0004137046380000133
根据最小均方误差准则评判相应的空中计算的准确度，最小均方误差越小，准确度越高。最后，记录此时所用的时间为t1。
在每个边缘聚合分组中，更新完毕的n个客户端将参数发送给对应的边缘服务器,记录各自所需要的时间ti，i∈[2,M]，相应的客户端与边缘服务器对应如下：
Figure GDA0004137046380000134
当所有边缘服务器处均聚合完毕，记该操作所用时间为T1，
Figure GDA0004137046380000135
剩余m个客户端将在
Figure GDA0004137046380000136
时间内更新完毕，并上传到中心服务器。如果在T2时间内m个客户端仍有未更新的客户端，这时系统将舍弃掉队的客户端，以换取更高的通信效率。
当m个客户端更新完毕后，此时，中心服务器将会聚合来自M个边缘服务器与m个客户端的参数，并且同样使用均方误差来评判效果，本次优化目标为：
Figure GDA0004137046380000137
其中，u为最终中心服务器的模型聚合参数，K＝M+m，K包含有从M个边缘服务器和m个客户端上传的模型参数，即K为边缘服务器和离散客户端的总数目，fj(u)为中心服务器接收到的第j个优化目标。
在传输过程中模型为：
Figure GDA0004137046380000141
其中，y为中心服务器接收到的信号，bk为发射机补偿标量，hk为在客户端和边缘服务器之间的信道矢量，xk为客户端与边缘服务器的发射信号，v为噪声，且v～CN(0，σ2)。
此时，对应的估算函数为：
Figure GDA0004137046380000142
其中，m接收机波束成形向量，
Figure GDA0004137046380000143
是相对于目标函数的失真，它量化了FedAvg算法中聚合的空中计算性能，具体性能评判标准是由均方误差来定义的：
Figure GDA0004137046380000144
当中心服务器完成聚合目标之后，将会将最新的模型参数下发到所选中的N个客户端，然后进行下一轮次的模型行更新、聚合任务，直至达到整个系统的收敛目标。
与现有技术相比，本发明的基于空中计算的半异步分层联邦学习方法及系统具有以下优势：
1、考虑了部分客户端存在参数更新时间过长，陷入掉队情况，因此根据参与边缘服务器聚合的客户端个数与游离客户端个数比例以及边缘服务器聚合各自客户端所用的总时间，设定了截止时间，当超过截止时间，系统将会放弃此部分的客户端数据。
2、由于进行了预分组，并且实时根据客户端模型更新时间的先后实时进行分配相应的边缘服务器，因此可以很好解决原有的分层联邦学习中部分组内有客户端掉队，使得收敛速度慢，效果较差的情况。
3、在模型聚合过程中，采用了空中计算的方式，将会进一步提升整个半异步分层联邦学习的计算速度，并可以降低通信开销。
4、相较于普通的联邦学习，由于采用了分层和边缘服务器，系统将可以容纳更多的客户端。
5、由于在初始化前对客户端的数据相关性进行了初步判断，可对相关性强的簇族分配较少的通信资源，让其一部分放弃传输模型参数，中心服务器处模型聚合时即使缺失一部分节点，仍然不影响全局的收敛，这样可以节约通信资源。
需要说明的是：以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于空中计算的半异步分层联邦学习方法，其特征在于，包括以下步骤：
根据选中的N个客户端的数据集、N个客户端的位置、M个边缘服务器的位置以及N个客户端进行模型参数更新先后顺序，将N个客户端分配给M个边缘服务器，每个边缘服务器分配到n个客户端，并得到m个游离客户端，m＝N-M*n；
每个边缘服务器分配到的n个客户端的模型参数更新完成后，将n个客户端的更新后的模型参数同步上传到其对应的边缘服务器进行初步模型聚合，进而M个边缘服务器将初步模型聚合的模型参数同步上传至中心服务器；同时，m个游离客户端进行模型参数更新，并将更新后的模型参数同步上传至中心服务器；
确定中心服务器的模型参数接收截止时间，中心服务器对在模型参数接收截止时间内接收到的M个边缘服务器上传的模型参数和游离客户端上传的模型参数进行全局模型聚合，并将全局模型聚合过后的模型参数广播至N个客户端，再进行下一轮的模型参数更新，直至最终达到收敛；
将N个客户端分配给M个边缘服务器的步骤包括：
根据选中的N个客户端的数据集，计算任意两个客户端的数据集之间的数据相关性，并根据任意两个客户端的数据集之间的数据相关性以及N个客户端的位置和M个边缘服务器的位置，将N个客户端分配给M个边缘服务器，以使分配到客户端的每个边缘服务器分配到的客户端数目为n；
若分配到客户端的边缘服务器的数目小于M，则根据各个未预分配给M个边缘服务器的客户端进行模型参数更新先后顺序，将各个未预分配给M个边缘服务器的客户端分配给未分配到客户端的边缘服务器以使M个边缘服务器均分配到n个客户端。
2.根据权利要求1所述的基于空中计算的半异步分层联邦学习方法，其特征在于，将N个客户端分配给M个边缘服务器，以使每个分配到客户端的边缘服务器分配到的客户端数目为n的步骤包括：
判断第一客户端和第二客户端的数据集之间的数据相关性是否大于数据相关性阈值，若第一客户端和第二客户端的数据集之间的数据相关性大于数据相关性阈值，则将第一客户端和第二客户端划分为一个簇族，并根据第一客户端的位置和M个边缘服务器的位置，将第一客户端和第二客户端分配给距离第一客户端最近的第一边缘服务器；若第一客户端和第二客户端的数据集之间的数据相关性不大于数据相关性阈值，则同时比较第一客户端和第三客户端的数据集之间的数据相关性是否大于数据相关性阈值以及第二客户端和第三客户端的数据集之间的数据相关性是否大于数据相关性阈值，若第一客户端和第三客户端的数据集之间的数据相关性大于数据相关性阈值，则将第一客户端和第三客户端划分为一个簇族，并根据第一客户端的位置和M个边缘服务器的位置，将第一客户端和第三客户端分配给距离第一客户端最近的第一边缘服务器，若第二客户端和第三客户端的数据集之间的数据相关性大于数据相关性阈值，则将第二客户端和第三客户端划分为一个簇族，并根据第二客户端的位置和M个边缘服务器的位置，将第二客户端和第三客户端分配给距离第二客户端最近的第二边缘服务器，若第一客户端和第三客户端的数据集之间的数据相关性以及第二客户端和第三客户端的数据集之间的数据相关性均不大于数据相关性阈值，则同时比较第一客户端和第四客户端的数据集之间的数据相关性是否大于数据相关性阈值、第二客户端和第四客户端的数据集之间的数据相关性是否大于数据相关性阈值以及第三客户端和第四客户端的数据集之间的数据相关性是否大于数据相关性阈值，依次类推，当某个边缘服务器分配到的客户端的数目超过n时，则将超过数目n对应的客户端分配给所述某个边缘服务器的下一未分配到客户端的边缘服务器，当M个边缘服务器均被分配出去时，则只划分相应的簇族，而不再为新出现的簇族分配边缘服务器，直至N个客户端被遍历完毕；
N个客户端被遍历完毕后，若M个边缘服务器均被分配出去，并存在分配到边缘服务器的某个簇族中的客户端数目小于n，且小于未分配到边缘服务器的另外一个簇族中的客户端数目，则将所述某个簇族分配到的边缘服务器重新分配给所述另外一个簇族；
若存在部分边缘服务器分配到的客户端的数目不足n，则根据所述部分边缘服务器分配到的客户端的数据集与剩余未分配给任何边缘服务器的客户端的数据集之间的数据相关性，将剩余未分配给任何边缘服务器的客户端分配给所述部分边缘服务器以使分配到客户端的每个边缘服务器分配到的客户端数目为n。
3.根据权利要求1所述的基于空中计算的半异步分层联邦学习方法，其特征在于，任意两个客户端的数据集之间的数据相关性对应的计算公式为：
Figure FDA0004137046370000021
其中，
Figure FDA0004137046370000022
为第i个客户端和第j个客户端的数据集之间的数据相关性，μi为第i个客户端的数据集中的判定指标的平均值，μj为第j个客户端的数据集中的判定指标的平均值，σi为第i个客户端的数据集中的判定指标的方差，σj为第j个客户端的数据集中的判定指标的方差，σij为第i个客户端和第j个客户端的数据集中的判定指标的协方差，c1、c2为用来维持稳定的常数。
4.根据权利要求1所述的基于空中计算的半异步分层联邦学习方法，其特征在于，确定中心服务器的参数接收截止时间的步骤包括：
根据M个边缘服务器分配到的所有客户端的参数更新完毕所用的第一时间，确定所述第一时间后中心服务器等待的第二时间；
根据第一时间和第二时间确定中心服务器的参数接收截止时间。
5.根据权利要求4所述的基于空中计算的半异步分层联邦学习方法，其特征在于，确定所述第一时间后中心服务器等待的第二时间对应的计算公式为：
Figure FDA0004137046370000031
其中，T2为所述第一时间后中心服务器等待的第二时间，T1为M个边缘服务器分配到的所有客户端的参数更新完毕所用的第一时间，m为游离客户端的数目，N为所有客户端的数目。
6.根据权利要求1所述的基于空中计算的半异步分层联邦学习方法，其特征在于，利用空间计算技术，将n个客户端的更新后的参数同步上传到其对应的边缘服务器进行初步模型聚合；利用空间计算技术，中心服务器对在参数接收截止时间内接收到的M个边缘服务器上传的参数和游离客户端上传的参数进行全局模型聚合。
7.根据权利要求6所述的基于空中计算的半异步分层联邦学习方法，其特征在于，在每一轮的模型更新过程中，每个边缘服务器分配到的每个客户端的本地平均损失函数以及每个边缘服务器分配到的n个客户端的全局平均损失函数对应的计算公式为：
Figure FDA0004137046370000032
Figure FDA0004137046370000033
其中，Fk(z)为每个边缘服务器分配到的第k个客户端的本地平均损失函数，fs(z)为数据样本s属于第i个边缘服务器分配到的第j个客户端的数据集Di,j的损失函数，i∈[1,M],j∈[1,n]，|Di,j|为第i个边缘服务器分配到的第j个客户端的数据集Di,j的大小，F(z)为每个边缘服务器分配到的n个客户端的全局平均损失函数。
8.根据权利要求6所述的基于空中计算的半异步分层联邦学习方法，其特征在于，在每一轮的模型更新过程中，中心服务器的优化目标对应的计算公式为：
Figure FDA0004137046370000041
其中，f(u)为中心服务器的优化目标，u为中心服务器的模型聚合参数，K为边缘服务器和离散客户端的总数目，K＝M+m，fj(u)为中心服务器接收到的第j个优化目标。
9.一种基于空中计算的半异步分层联邦学习系统，其特征在于，包括选中的参与训练的共有N个客户端，M个边缘服务器以及一个中心服务器，所述客户端、边缘服务器和中心服务器相互配合以实现上述权利要求1-8中任一项所述的基于空中计算的半异步分层联邦学习方法。
CN202210412597.5A 2022-04-19 2022-04-19 一种基于空中计算的半异步分层联邦学习方法及系统 Active CN114866545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210412597.5A CN114866545B (zh) 2022-04-19 2022-04-19 一种基于空中计算的半异步分层联邦学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210412597.5A CN114866545B (zh) 2022-04-19 2022-04-19 一种基于空中计算的半异步分层联邦学习方法及系统

Publications (2)

Publication Number Publication Date
CN114866545A CN114866545A (zh) 2022-08-05
CN114866545B true CN114866545B (zh) 2023-04-25

Family

ID=82631698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210412597.5A Active CN114866545B (zh) 2022-04-19 2022-04-19 一种基于空中计算的半异步分层联邦学习方法及系统

Country Status (1)

Country Link
CN (1) CN114866545B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118012596A (zh) * 2022-10-29 2024-05-10 华为技术有限公司 一种联邦学习方法及装置
CN115909746A (zh) * 2023-01-04 2023-04-04 中南大学 一种基于联邦学习的交通流预测方法、系统和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221470A (zh) * 2021-06-10 2021-08-06 南方电网科学研究院有限责任公司 一种用于电网边缘计算系统的联邦学习方法及其相关装置
CN114091667A (zh) * 2021-11-22 2022-02-25 北京理工大学 一种面向非独立同分布数据的联邦互学习模型训练方法
CN114169243A (zh) * 2021-12-10 2022-03-11 浙江辰时科技集团有限公司 Mimo干扰信道下空中计算多任务联邦学习方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073639A1 (en) * 2018-12-04 2021-03-11 Google Llc Federated Learning with Adaptive Optimization
CN111768008B (zh) * 2020-06-30 2023-06-16 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
EP4209099A1 (en) * 2020-09-05 2023-07-12 Qualcomm Incorporated Resource allocation for over-the-air model aggregation in federated learning
CN112532451B (zh) * 2020-11-30 2022-04-26 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
CN113723619A (zh) * 2021-08-31 2021-11-30 南京大学 一种基于训练阶段感知策略的联邦学习训练方法
CN114125861A (zh) * 2021-11-26 2022-03-01 北京邮电大学 一种无线联邦学习方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221470A (zh) * 2021-06-10 2021-08-06 南方电网科学研究院有限责任公司 一种用于电网边缘计算系统的联邦学习方法及其相关装置
CN114091667A (zh) * 2021-11-22 2022-02-25 北京理工大学 一种面向非独立同分布数据的联邦互学习模型训练方法
CN114169243A (zh) * 2021-12-10 2022-03-11 浙江辰时科技集团有限公司 Mimo干扰信道下空中计算多任务联邦学习方法

Also Published As

Publication number Publication date
CN114866545A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN114866545B (zh) 一种基于空中计算的半异步分层联邦学习方法及系统
CN111382844B (zh) 一种深度学习模型的训练方法及装置
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
CN113222179A (zh) 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
CN113518007B (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN113242601B (zh) 一种基于优化样本采样的noma系统资源分配方法及存储介质
Jiang et al. Fedmp: Federated learning through adaptive model pruning in heterogeneous edge computing
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN112637883A (zh) 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
CN114584581A (zh) 面向智慧城市物联网信物融合的联邦学习系统及联邦学习训练方法
CN115796271A (zh) 基于客户端选择和梯度压缩的联邦学习方法
CN113691594A (zh) 一种基于二阶导数解决联邦学习中数据不平衡问题的方法
CN112911608A (zh) 一种面向边缘智能网络的大规模接入方法
CN113406974A (zh) 一种面向无人机集群联邦学习的学习与资源联合优化方法
CN114356544A (zh) 面向边缘集群的并行计算方法和系统
CN117580063A (zh) 一种车联网络中多维资源协同管理方法
CN116362328A (zh) 一种基于公平性特征表示的联邦学习异构模型聚合方法
CN115174397B (zh) 联合梯度量化与带宽分配的联邦边缘学习训练方法及系统
WO2023184009A1 (en) Systems and methods for cluster-based parallel split learning
CN115329990A (zh) 边缘计算场景下基于模型分割的异步联邦学习加速方法
CN113033653B (zh) 一种边-云协同的深度神经网络模型训练方法
CN114422605A (zh) 一种基于联邦学习的通信梯度自适应压缩方法
Lou et al. Decentralized federated learning with data feature transmission and neighbor selection
Zhou et al. Decentralized Learning-based Scenario Identification Method for Intelligent Vehicular Communications
CN117811846B (zh) 基于分布式系统的网络安全检测方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant