CN116579417A - 边缘计算网络中的分层个性化联邦学习方法、装置及介质 - Google Patents

边缘计算网络中的分层个性化联邦学习方法、装置及介质 Download PDF

Info

Publication number
CN116579417A
CN116579417A CN202310536782.XA CN202310536782A CN116579417A CN 116579417 A CN116579417 A CN 116579417A CN 202310536782 A CN202310536782 A CN 202310536782A CN 116579417 A CN116579417 A CN 116579417A
Authority
CN
China
Prior art keywords
cluster
model
training
terminal equipment
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310536782.XA
Other languages
English (en)
Inventor
郭松涛
朱永东
何静
刘贵燕
曲鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310536782.XA priority Critical patent/CN116579417A/zh
Publication of CN116579417A publication Critical patent/CN116579417A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W40/32—Connectivity information management, e.g. connectivity discovery or connectivity update for defining a routing cluster membership
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种边缘计算网络中的分层个性化联邦学习方法、装置及介质，属于边缘计算领域，其中方法包括：将边缘计算网络划分为两层，第一层为终端设备层，包括由多个终端设备分簇形成的多个集群，第二层为边缘云层，由各个簇的簇头节点与边缘服务器进行通信；确定边缘计算网络中待进行通信的终端设备；基于分布相似度和资源相似度加权度量对终端设备进行分簇；对边缘计算网络进行训练，实现双层个性化联邦边缘学习，其中，训练过程包括采用同步机制的簇内训练和采用异步机制的簇间训练，簇间训练中，每个簇头节点在进行簇间融合时仅融合部分参数，保留个性化特征。与现有技术相比，本发明具有训练效率高、权衡了泛化和个性化等优点。

Description

边缘计算网络中的分层个性化联邦学习方法、装置及介质
技术领域
本发明涉及边缘计算领域，尤其是涉及一种边缘计算网络中的分层个性化联邦学习方法、装置及介质。
背景技术
在物联网的广泛应用和设备性能不断更新迭代的推动下，移动边缘计算网络中智能应用的需求在急剧增长。集中式学习是智能应用中训练模型的一种传统和常用方法，该方法基于从大量用户中收集的数据，在远程中心服务器上训练模型。然而，由于无线信道的开放性和约束性，集中的方式存在隐私泄露和流量拥塞的风险。此外，在终端设备上独立训练的模型可能由于数据孤岛导致模型性能不佳。因此，一种新的分布式模型训练范式—联邦边缘学习出现了。在联邦边缘学习中，联邦学习通过协作在终端设备提供的本地模型的基础上训练全局模型，促进了人工智能在移动边缘计算网络中的应用。更具体地说，联邦学习允许用户的数据在数据生成的地方就近进行处理，只需要将训练好的模型通过无线信道传输到中心参数服务器进行聚合。
由于移动边缘计算网络中机器学习模型规模大、终端设备数量多，终端设备与参数服务器之间的频繁传输会导致联邦边缘学习通信效率低下。此外，终端设备的可用资源也受到限制，如计算能力和剩余能量。为了使通信更加有效，现有的工作主要集中在设计资源受限联邦边缘学习的无线资源分配方案。同时，通过调整聚合频率和用户选择实现部分参与，使得训练模型更加高效。此外，对模型进行剪枝和量化可以减轻源的频带负担。近年来，相关研究逐渐将研究重点转移到网络拓扑结构上，即多层的网络拓扑结构。与传统联邦边缘学习架构不同的是，分层的联邦边缘学习通过两层网络训练全局通用模型，通过减少无线回程传输，有效地提高了通信效率。
此外，终端设备之间的异构性对联邦边缘学习训练效率的负面影响也不容忽视。不同设备产生的数据分布不同、计算能力不均衡、通信环境各异。显然，所有这些差异使得联邦边缘学习获得适用于所有终端设备的通用模型的最初目标不切实际。因为统一的通用模型必然会破坏每个终端用户的个性特征，这可以从每个端设备较差的测试性能表现出来。Wang等人进行了第一个关于联邦学习模型训练中的考虑用户个性特征研究。此后，这一问题得到了更多研究者的关注，主要出现了两类考虑用户个性特征的工作。一类方法是基于全局训练的模型进行本地自适应来保持用户自身的个性特征，它包括数据增强、本地损失正则化等。另一类是基于数据分布或其他指标对终端进行分簇，每个簇维护一个保留个性化特征的模型。
然而，现有的本地自适应等保留个性特征的方法可能会增加终端设备的计算负担，因为它需要在全局模型的基础上进行额外的本地迭代才能将个性特征添加到全局模型中。额外增加计算负担这一事实与边缘设备的资源约束的设置相悖。此外，分簇联邦学习机制下的参数服务器需要同时维护多个模型。每个簇中终端设备数量不一致，拥有设备数量较少的簇的数据量就会比较小，这将导致模型性能较差。此外，大多数算法在对设备分簇时没有考虑终端设备之间的资源差异。此外，现有的资源高效联邦边缘学习方案忽略了用户分布这一个性化特征，将导致在以每个终端设备的测试性能作为评价指标时，出现模型性能表现不佳的问题。因此，如何在资源受限的移动边缘计算网络中为联邦学习设计个性特征感知和资源感知的训练方案仍然是一个亟待解决的问题。
发明内容
本发明的目的是为了提供一种边缘计算网络中的分层个性化联邦学习方法、装置及介质，根据由分布和资源相似性组成的加权指标对所有终端设备进行分簇，自然形成一个两层的分层聚合联邦边缘学习架构；此外，每个簇有一个终端设备扮演簇头，负责簇内全局模型的聚合，并将处理后的模型传输到边缘服务器进行簇间聚合，形成全局模型，从而考虑个性化特征保留与模型泛化之间的权衡，并减小通信开销，实现高效的联邦学习。
本发明的目的可以通过以下技术方案来实现：
一种边缘计算网络中的分层个性化联邦学习方法，包括以下步骤：
将边缘计算网络划分为两层，第一层为终端设备层，包括由多个终端设备分簇形成的多个集群，第二层为边缘云层，由各个簇的簇头节点与边缘服务器进行通信；
确定边缘计算网络中待进行通信的终端设备；
基于分布相似度和资源相似度加权度量对终端设备进行分簇；
对边缘计算网络进行训练，实现双层个性化联邦边缘学习，其中，所述训练过程包括簇内训练和簇间训练，簇内训练采用同步机制，所有终端设备通过正交信道同时与簇头节点通信，各节点向簇头节点发送所有模型参数，簇头节点负责聚合所有参数；簇间训练为簇头节点和边缘服务器之间的模型全局融合过程，采用异步机制，且每个簇头节点在进行簇间融合时仅融合部分参数，保留个性化特征。
所述基于分布相似度和资源相似度加权度量对终端设备进行分簇具体为：根据分布相似度矩阵DSM和资源相似度矩阵RSM，对二者进行加权得到分层个性化联邦学习的分簇机制的决策因素，即终端设备间的相似度SM：
SM(h,g)＝w1DSM(h,g)+w2RSM(h,g)
其中，w1为分布相似度所占权重，w2为资源相似度所占权重，且w1+w2＝1；SM(h,g)表示终端设备h与终端设备g的本地模型间的相似度，值越小，相似度越高；
基于各个终端设备间的相似度SM构成的相似度矩阵，通过设置一个阈值ν∈(0,1)，即限定同一个簇内的终端设备之间的相似度差异，确定集群的数量以及每个集群中的模型，实现分簇。
所述分布相似度矩阵的生成过程包括分布信息生成、概率分布生成和分布相似度矩阵计算3个步骤，
分布信息生成：将终端设备上传的本地模型融合成为一个全局模型，并将其保存在边缘服务器中用作预训练模型，将噪声输入到预训练模型中，并输出类似数据的分布信息；
概率分布生成：将分布信息输入到所有本地模型中生成各个本地模型的概率分布向量，一个终端设备对应一个概率分布向量；
分布相似度矩阵计算：在概率分布向量的基础上，采用KL散度计算各终端设备分布的距离，令Vh和Vg分别代表终端设备h与终端设备g本地模型的概率分布向量，终端设备h的本地模型与终端设备g的本地模型之间的KL散度为：
DSM(h,g)＝DKL(Vh||Vg)
通过计算各个终端设备本地模型之间的KL散度得到一个尺寸为N×N分布相似度矩阵DSM，其中，N为终端设备数量，DSM(h,g)表示终端设备h与终端设备g的本地模型间的分布相似度，DSM(h,g)值越小代表终端设备h与终端设备g的本地模型间的相似度越大。
所述资源相似度由终端设备的计算能力和剩余能量相似度组成，对于每个设备都用一个状态向量表示其属性，令设备h的状态向量为RSh＝(csh,esh)，状态向量中有两个元素csh和esh，csh代表设备的计算能力，esh代表设备剩余能量值；采用余弦相似度计算终端设备间资源相似度：
通过计算各个终端设备本地模型之间的余弦相似度，得到一个尺寸为N×N资源相似度矩阵RSM，其中，N为终端设备数量，RSM(h,g)表示终端设备h与终端设备g的本地模型间的资源相似度，RSM(h,g)值越小代表终端设备h与终端设备g的本地模型间的相似度越大。
所述簇内训练采用传统联邦训练FedAvg算法，训练过程包括全局模型分发、本地模型训练和全局模型融合三个阶段，每个终端设备的本地模型达到预定义的精度时，将本地模型上传到簇头节点进行聚合；假设总共有I个簇，并用/>表示所有簇头节点的集合，以第i(i∈[0,I])个簇为例，用/>表示第i个簇包含的所有设备的集合，在本地训练中采用梯度下降法，本地迭代更新公式为：
yh(l+1)＝yh(l)+α▽Gh(yh(l))
其中，yh(l)代表第h个终端设备的本地模型，Gh是第h个终端设备的本地损失函数，该损失函数满足L-Lipschitz连续以及η-强凸，l为本地迭代轮次指示符，α是学习率，▽Gh代表更新的梯度；通过收敛性分析得到本地模型达到精度/>所需的迭代次数的上界numh，numh满足：
其中，y0为终端设备本地初始模型，y*为终端设备本地最优模型，L为李普希兹系数。
所述簇间训练中，为了保留每个簇内模型的个性特征，边缘服务器采用部分聚合的方式，簇头上传局部模型的一部分到边缘服务器，具体的，用xi表示第i个簇的簇头节点通过簇内聚合得到的簇内全局模型，并将其用神经网络的功能层的形式表示为：
其中，θ表示将被传输到边缘服务器进行全局聚合的共享层，共享层根据全局聚合模型进行更新；ω表示私有层，由簇头保持私有化，不进行全局融合。
所述簇间训练采用异步融合方式，各个簇头节点一旦完成簇内训练，立即向边缘服务器发送本地模型，各个设备间的发送时间不受约束，但边缘服务器每轮融合只允许一个簇头节点的模型参与，簇间全局模型更新公式表示为：
zt＝(1-κ)zt-1+κznew
其中，t代表全局融合轮次，zt是边缘服务器处的全局模型，znew是第t轮全局融合边缘服务器从簇头节点接收到的并用于全局融合的模型，κ是模型融合权重。
所述对边缘计算网络进行训练，实现双层个性化联邦边缘学习包括以下步骤：
S1：初始化全局模型；
S2：对每一个簇头节点，下载全局模型参数，并基于全局模型参数更新簇头节点的共享层参数，从而更新簇内全局模型；
S3：每一个簇头节点对应的集群内的所有终端设备本地模型，下载最新的簇内全局模型的参数，并基于簇内全局模型的参数更新终端设备本地模型参数；
S4：基于簇内训练对终端设备本地模型参数进行迭代，得到训练完成的终端设备本地模型并将其发送到簇头节点；
S5：簇头节点进行簇内聚合，更新簇内全局模型，并将簇内全局模型中的共享层参数发送至边缘服务器，进行异步簇间训练；
S6：更新全局模型。
一种边缘计算网络中的分层个性化联邦学习装置，用于实现上述所述的方法，包括：
边缘计算网络构建模块，将边缘计算网络划分为两层，第一层为终端设备层，包括由多个终端设备分簇形成的多个集群，第二层为边缘云层，由各个簇的簇头节点与边缘服务器进行通信；
终端设备确定模块，用于确定边缘计算网络中待进行通信的终端设备；
终端设备分簇模块，用于基于分布相似度和资源相似度加权度量对终端设备进行分簇；
训练模块，用于对边缘计算网络进行训练，实现双层个性化联邦边缘学习，其中，所述训练过程包括簇内训练和簇间训练，簇内训练采用同步机制，所有终端设备通过正交信道同时与簇头节点通信，各节点向簇头节点发送所有模型参数，簇头节点负责聚合所有参数；簇间训练为簇头节点和边缘服务器之间的模型全局融合过程，采用异步机制，且每个簇头节点在进行簇间融合时仅融合部分参数，保留个性化特征。
一种边缘计算网络中的分层个性化联邦学习装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
与现有技术相比，本发明具有以下有益效果：
(1)在资源受限的情况下，本发明提出了一种基于分布和资源相似度加权度量的双层联邦边缘学习训练方法，以缓解终端设备异构性带来的负面影响，提高训练效率。
(2)本发明采用了簇内聚合和簇间聚合两种聚合策略，为了平衡不同簇的训练速度，簇内聚合和簇间聚合分别采用同步和异步聚合。簇内聚合时，各节点向簇头节点发送所有模型参数，簇头节点负责聚合所有参数，簇内无线通信传输可以在D2D(device-to-device)链路上进行，可以复用簇头与参数服务器之间的无线信道，从而提高通信效率。
(3)本发明提出了保护个性化特征的部分聚合机制用于簇间聚合，即每个簇头保持私有层的私有，仅将共享层的参数上传至边缘服务器，簇内聚合中的泛化和簇间聚合中的个性化实现了泛化和个性化的权衡，并能够进一步减少通信开销。
(4)本发明相比较于基线算法，由于考虑了个性化特征，在终端设备的测试性能更佳，对不同的异构环境有更好的适应性。
附图说明
图1为本发明的方法流程图；
图2为本发明的边缘计算网络的结构与通信过程示意图；
图3为一种实施例中基于KL距离的分布相似度矩阵构建流程图；
图4为一种实施例中的相似度矩阵构建方法示意图；
图5为一种实施例中的簇间训练过程示意图；
图6为一种实施例中的统计异构性适应性分析结果示意图；
图7为一种实施例中的系统异构性适应性分析结果示意图；
图8为一种实施例中的能量约束对模型性能的影响结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供一种边缘计算网络中的分层个性化联邦学习方法，如图1所示，包括以下步骤：
S1：将边缘计算网络划分为两层，第一层为终端设备层，包括由多个终端设备分簇形成的多个集群，第二层为边缘云层，由各个簇的簇头节点与边缘服务器进行通信。
具体的，如图2所示，终端设备层中每个簇的簇头节点也是由终端设备扮演的。此外，每个簇都进行一个称为簇内训练的联邦训练过程，簇内设备通过D2D通信实现与簇头节点的交互。即在簇内训练过程中，所有终端设备通过正交信道同时与簇头节点通信。为简单起见，本实施例只考虑一个边缘服务器提供服务的场景，在其他实施例中，可扩展至多个服务器的场景。簇头和边缘服务器之间的模型融合过程称为簇间训练。
S2：确定边缘计算网络中待进行通信的终端设备。
S3：基于分布相似度和资源相似度加权度量对终端设备进行分簇。
现有的分簇方法仅考虑了不同设备之间的分布相似性这一个因素，不适用于终端设备资源有限、网络资源受限且不断变化的移动边缘计算网络。众所周知，联邦学习是一种分布式机器学习，其时间开销由训练最慢的设备决定。因此，本实施例将同时考虑终端设备之间的分布和资源相似性，以提供更系统和全面的方案来协助提升训练效率。
具体的，根据由分布相似性和资源相似性组成的加权指标对所有终端设备进行分簇，自然形成一个如图2所示的两层的分层聚合联邦边缘学习架构。此外，每个簇有一个设备扮演簇头，负责簇内全局模型的聚合，然后将处理后的模型传输到参数服务器进行簇间聚合，形成全局模型。簇内无线通信传输可以在D2D(device-to-device)链路上进行，可以复用簇头与参数服务器之间的无线信道，从而提高通信效率。
具体的，S3包括以下步骤：
S31：计算分布相似度矩阵。
分布相似度矩阵的生成过程包括分布信息生成、概率分布生成和分布相似度矩阵计算3个步骤，如图3所示：
分布信息生成：将终端设备上传的本地模型融合成为一个全局模型，并将其保存在边缘服务器中用作预训练模型，将噪声输入到预训练模型中，并输出类似数据的分布信息；
概率分布生成：将分布信息输入到所有本地模型中生成各个本地模型的概率分布向量，一个终端设备对应一个概率分布向量；
分布相似度矩阵计算：在概率分布向量的基础上，本实施例采用Kullback-Leibler(KL)散度计算各终端设备分布的距离，令Vh和Vg分别代表终端设备h与终端设备g本地模型的概率分布向量，终端设备h的本地模型与终端设备g的本地模型之间的KL散度为：
DSM(h,g)＝DKL(Vh||Vg) (1)
通过计算各个终端设备本地模型之间的KL散度得到一个尺寸为N×N分布相似度矩阵DSM，其中，N为终端设备数量，DSM(h,g)表示终端设备h与终端设备g的本地模型间的分布相似度。特别的，DSM(h,g)值越小代表终端设备h与终端设备g的本地模型间的相似度越大。
S32：计算资源相似度矩阵。
资源相似度由终端设备的计算能力和剩余能量相似度组成。本实施例通过衡量设备当前的计算能力以及剩余能量评估其参与训练的能力，以减少滞后者效应带来的负面影响。对于每个设备都用一个状态向量表示其属性，例如，设备h的状态向量可表示为RSh＝(csh,esh)，状态向量中有两个元素csh和esh，csh代表设备的计算能力，esh代表设备剩余能量值；采用余弦相似度计算终端设备间资源相似度。余弦相似度与向量的长度无关的，仅仅与向量的指向方向相关，计算公式如下：
通过计算各个终端设备本地模型之间的余弦相似度，得到一个尺寸为N×N资源相似度矩阵RSM，其中，N为终端设备数量，RSM(h,g)表示终端设备h与终端设备g的本地模型间的资源相似度。特别的，RSM(h,g)值越小代表终端设备h与终端设备g的本地模型间的相似度越大。
S33：根据分布相似度矩阵DSM和资源相似度矩阵RSM，对二者进行加权得到分层个性化联邦学习的分簇机制的决策因素，即终端设备间的相似度SM，如图4所示：
SM(h,g)＝w1DSM(h,g)+w2RSM(h,g) (3)
其中，w1为分布相似度所占权重，w2为资源相似度所占权重，且w1+w2＝1。SM(h,g)表示终端设备h与终端设备g的本地模型间的相似度，值越小，相似度越高。
基于各个终端设备间的相似度SM构成的相似度矩阵，通过设置一个阈值ν∈(0,1)，即限定同一个簇内的终端设备之间的相似度差异，能够轻松的确定集群的数量以及每个集群中的模型，实现分簇，避免了复杂和不准确的人工工作。虽然无法知道用户(终端设备)各自数据集以及资源状态的具体信息，但人工阈值总是有效的，因为计算出的相似度矩阵已经清楚地描述了模型之间的差异。
S4：对边缘计算网络进行训练，实现双层个性化联邦边缘学习，其中，所述训练过程包括簇内训练和簇间训练，簇内训练采用同步机制，所有终端设备通过正交信道同时与簇头节点通信，各节点向簇头节点发送所有模型参数，簇头节点负责聚合所有参数；簇间训练为簇头节点和边缘服务器之间的模型全局融合过程，采用异步机制，且每个簇头节点在进行簇间融合时仅融合部分参数，保留个性化特征。
(一)簇内训练
簇内训练采用传统联邦训练FedAvg算法，训练过程包括全局模型分发、本地模型训练和全局模型融合三个阶段。但本实施例对传统联邦训练FedAvg算法进行一部分调整，即：每个终端设备的本地模型需要达到预定义的精度然后才能将本地模型上传到簇头节点进行聚合。
假设总共有I个簇，并用表示所有簇头节点的集合，以第i(i∈[0,I])个簇为例，用/>表示第i个簇包含的所有终端设备的集合。在本地训练中采用梯度下降法，本地迭代更新公式为：
yh(l+1)＝yh(l)+α▽Gh(yh(l)) (4)
其中，yh(l)代表第h个终端设备的本地模型，Gh是第h个终端设备的本地损失函数，该损失函数满足L-Lipschitz连续以及η-强凸，l为本地迭代轮次指示符，α是学习率，▽Gh代表更新的梯度。由于采用的是梯度下降法，所以可以通过收敛性分析得到本地模型达到精度/>所需的迭代次数的上界numh，numh满足：
其中，y0为终端设备本地初始模型，y*为终端设备本地最优模型，L为李普希兹系数。
上述迭代次数上界numh的满足条件通过如下推导得到：
由函数G(y)满足L-Lipschitz连续，可以得到：
由本地迭代更新公式：
y(l+1)＝y(l)+α▽G(y(l)) (7)
可将公式(6)进一步写为：
取步长公式(8)可进一步写为：
由函数G(y)为η强凸，有：
将公式(7)中的本地迭代公式代入公式(10)可以得到：
取步长公式(11)可以进一步写为：
结合公式(9)和公式(12)，可以得到：
用公式(13)的右半边替换左半边的||▽G(yl)||2，可以得到相邻迭代次数目标函数的差值的关系如下：
经过numh次迭代，有：
需要达到的准确度，即迭代过程须达到/>的误差，则需满足：
因此，本地迭代次数需满足：
本实施例中取
因此，第h个终端设备用于簇内本地迭代的能量消耗为：
其中，βh代表终端终端设备设备h的有效电容转换效率，Ch表示处理一个数据样本所需的CPU周期数，fh表示每个设备的CPU频率，Dh为本地样本量。
考虑到簇内训练时所有设备通过正交信道同时与簇头通信，本章将采用OFDMA技术使不同设备在正交信道上传输本地模型。因此，第h个设备进行簇内模型传输至簇头节点所消耗的能量可计算为：
其中，Ph为第h个设备的发送功率，sh为本地模型数据量的大小。Rh代表终端设备与簇头节点间的通信链路可实现的传输速率。Rh的具体表达式可进一步表示为：
其中，hh和bh分别代表第h个终端设备到簇头节点的信道增益和带宽。N0是均值为0的高斯白噪声。终端设备一旦完成本地迭代，立即将最后的模型yh(numh)发送到簇头。随后，簇头将簇内所有移动设备的模型进行聚合，形成一个全局的簇内全局模型如下：
在本章中，设定每个簇内进行Γ轮簇内训练，簇内训练结束后簇头继续加入簇间的联邦学习训练。因此，第h个设备进行一轮簇内训练的总能耗可以推导为：
(二)簇间训练
簇间训练包括两个部分：第一，为了保持所有簇的个性特征，在簇间训练时各个簇头节点仅考虑部分参数融合；第二，簇头参数在边缘服务器进行融合时，考虑异步融合的方式。
1、部分融合：
簇间训练中，为了保留每个簇内模型的个性特征，边缘服务器采用部分聚合的方式，簇头上传局部模型的一部分到边缘服务器。神经网络的分层结构使这一想法成为可能。更具体地说，神经网络由输入层、隐藏层和输出层组成。通常，不同的隐藏层具有不同的功能。例如，对于一个经典的卷积神经网络来说，隐藏层由卷积层、BN层、最大池化层、全连接层等组成。根据之前的研究，保持BN层私有化但共享其他层是非常有用的。因此，本实施例用xi表示第i个簇的簇头节点通过簇内聚合得到的簇内全局模型，并将其用神经网络的功能层的形式表示为：
其中，θ表示将被传输到边缘服务器进行全局聚合的共享层，共享层根据全局聚合模型进行更新；ω表示私有层，由簇头保持私有化，不进行全局融合。
为了更清楚地解释这个原理，本实施例在图5中展示了一个简单的示例，该示例包含两个终端设备和一个边缘服务器。各个簇头节点仅上传部分参数到参数服务器进行簇间全局融合，保持批量归一化(Batch-Normalization，BN)层为私有参数。BN层最初用于解决在训练深度神经网络时内部协变量偏移的问题。此外，BN层的统计特征应该与每个终端设备本地数据的标签信息密切相关，可以代表终端设备本地模型参数的特征。因此，将BN层作为隐私层以保持个性是合理的。即本实施例中，BN层被设置为私有层，因为它们包含模型的统计信息。只有共享层，如全连接层，卷积层和最大池层被上传到边缘服务器进行簇间全局融合。
2、异步融合
异步融合方式下，各个簇头节点一旦完成簇内训练，立即向边缘服务器发送本地模型，各个设备间的发送时间不受约束，但边缘服务器每轮融合只允许一个簇头节点的模型参与。因此簇间全局模型更新公式表示为：
其中，t代表全局融合轮次，zt是边缘服务器处的全局模型，znew是第t轮全局融合边缘服务器从簇头节点接收到的并用于全局融合的模型，κ是模型融合权重。
值得注意的是，不同于同步融合，异步融合每次融合仅有一个簇的模型参与。
因此，每次全局迭代仅一个簇头节点存在通信能量消耗，对于设备n，能量消耗为：
其中，Pn为设备n的发送功率，sn为本地模型数据量的大小。Rh代表终端设备与簇头节点间的通信链路可实现的传输速率。另外，本实施例用一个指示符来记录每个设备作为簇头节点参与全局迭代的次数，以便进行能量消耗计算。
基于上述簇内训练和簇间训练方法，对边缘计算网络进行训练，实现双层个性化联邦边缘学习包括以下步骤：
S1：初始化全局模型；
S2：对每一个簇头节点，下载全局模型参数，并基于全局模型参数更新簇头节点的共享层参数，从而更新簇内全局模型；
S3：每一个簇头节点对应的集群内的所有终端设备本地模型，下载最新的簇内全局模型的参数，并基于簇内全局模型的参数更新终端设备本地模型参数；
S4：基于簇内训练对终端设备本地模型参数进行迭代，得到训练完成的终端设备本地模型并将其发送到簇头节点；
S5：簇头节点进行簇内聚合，更新簇内全局模型，并将簇内全局模型中的共享层参数发送至边缘服务器，进行异步簇间训练；
S6：更新全局模型。
为方便起见，本实施例将本发明所提出的分层个性化联邦学习方法称为AsynPFL算法，其伪代码如表1所示。
表1 AsynPFL算法伪代码
本部分进行分层个性化联邦学习的收敛性分析。
首先，考虑簇内训练的收敛性分析。由于每个簇内都是采用同样地梯度下降算法，此处数学符号忽略簇的标识符。令G(yh,l)为终端设备h的在l次本地迭代时的损失函数，G(y*)为簇内迭代最优点的损失函数。并且，G(yh,l)为L-Lipschitz光滑以及η-强凸函数。那么，
由于对于任意y，都有公式(26)可进一步写为：/>
终端设备h处进行Ih次本地迭代之后，取可以得到：
由于以及/>
本地进行Ih次迭代后，各终端设备发送模型到簇头进行聚合，各个簇头完成簇内聚合后，将模型异步发送到边缘服务器进行全局融合。簇头节点处的模型参数为：
因此，
将公式(29)中的结果代入公式(31)，可得：
由于簇内迭代和簇间迭代的最终目标是一样的，所以z*＝y*，可以进一步的推导得到：
其中，A可以进一步推导得到：
结合公式(33)和(34)，可以得到：
为了评估所提出异步分层个性化联邦学习方法(AsynPFL)在解决用户异构性和对网络资源约束适应性等方面的性能，本实施例在Python 3.0的模拟环境中进行了实验，基于一个拥有4个GeForce GTX 2080Ti GPU、48个Intel Xeon CPU和128GB内存的服务器，使用PyTorch框架进行了所有的实验。具体来说，本实施例模拟了一个有多个用户(即终端设备)和一个边缘服务器的边缘计算环境，这些用户都拥有本地数据集，并基于这些数据集进行本地模型训练。如表1所示，本实施例的实验过程主要采用了三个真实数据集(CIFAR-10，MNIST与Office-Home)和三个合成数据集(Synthetic-iid，Synthetic(0.5,0.5)和Synthetic(1,1))在三种模型上的性能提升，包括卷积神经网络2层CNN，VGGNet和ResNet。具体的数据集划分，见表2。
CIFAR-10数据集：该数据集包含10类彩色图像，总数为60,000。其中，50,000用于训练，10,000用于测试。每个彩色图像的尺寸大小为32*32。此外，本实施例在该数据集上训练CNN模型。
MNIST数据集：MNIST是一个包含70,000张手写数字图片的数据集。其中，60,000张用于训练，10,000张用于测试。
Office-Home数据集：包含15,500张图像，分为四个不同的域：艺术图像(Ar)、剪贴画图像(Cl)、产品图像(Pr)和现实世界图像(Rw)。每个域有65个相同的对象类别，但背景不同。
合成数据集：本实施例采用Synthetic-iid、Synthetic(0.5,0.5)与Synthetic(1,1)来刻画不同算法在不同统计异构性下可实现的训练性能。用户间数据分布异构程度为：Synthetic(1,1)>Synthetic(0.5,0.5)>Synthetic-iid。
表2不同数据集仿真设置
此外，本实施例将以FedAvg，K-Cluster以及DistFL为参考算法，进行性能对比。
FedAvg是最早的联邦学习训练方案，通过引入本地训练和迭代机制，实现高效通信。
K-Cluster旨在基于各个客户端的损失值对上传的模型进行分簇。
DistFL从上传的模型中提取和比较分布知识来实现分簇，它可以以经济高效的方式实现自动化和准确的分布式感知。
基于上述实验设置，本实施例首先进行类别失衡情景性能分析。
在这个场景中，不同的客户端根据用户的偏好可能持有不同的类别。例如，一个客户端可能拥有许多“狗”图像，而另一个客户端更喜欢收集“猫”图像。利用CIFAR-10以及MNIST数据集来模拟这种情况。CIFAR-10数据集包含10个不同的图像类别，MNIST数据集包含0-9的手写字体。考虑到客户端可能拥有的数据有限，仅选取数据集里面的部分样本参与到模型训练与测试，分配到100个客户端，其中每20个客户端属于同一组的分布。因此，本实施例总共有5组不同类型的分布，每一种类型都包含两个不相关的类别。在该场景本实施例采用VGG-11模型，实验结果如表3所示。表3表明在相同的时间约束和能量约束的情况下，本发明提出的AsynPFL算法在MNIST以及CIFAR-10数据集上的测试性能优于FedAvg，K-Cluster以及DistFL算法。表中的每一个结果都是在这组数据上的测试准确度的平均值。这是因为，此次实验的设置中，对于训练过程中能量耗尽的设备，则退出训练，这将导致测试性能无法进一步提升。另外，训练时间到达预设值，所有设备都立即停止训练。表3中的结果也表明了，本发明提出的AsynPFL算法在分簇时同时考虑分布以及资源相似度，对模型训练性能是有所提升的。
表3类别失衡场景中不同算法实现的模型准确度(相同的能量约束)
其次，本实施例进行统计异构性适应性分析。
图6给出的是在不同算法在不同分布数据集，即不同统计异构性的数据上的性能对比。另外，为排除其他影响因素的影响，这个实验中的所有用户的拥有相同能量约束。其中，斜纹柱代表FedAvg，纯色柱代表K-Cluster，格子柱代表DistFL，斑点柱代表AsynPFL。值得强调的是，用户间数据分布异构程度为：Synthetic(1,1)>Synthetic(0.5,0.5)>Synthetic-iid。可以看到，在Synthetic-iid数据集上，即用户间数据分布服从独立同分布时，FedAvg实现的准确度最好，效果最好。这是因为在用户间数据服从独立同分布时，K-Cluster、DistFL以及AsynPFL算法中的分簇过程其实是多余的，反而消耗了更多的能量，影响了算法的性能。随着统计异构性的增强，FedAvg的准确度急剧下降，K-Cluster有部分下降，DistFL与AsynPFL保持平稳。这代表传统的致力于获取一个通用的模型的FL算法不适用于统计异构性大的适应程度。另外，K-Cluster采用的基于损失值的分簇机制没有DistFL与AsynPFL采用的分布感知的分簇机制效果好.
接着，本实施例进行系统异构性适应性分析。
图7给出了FedAvg、K-Cluster、DistFL以及本章提出的AsynPFL算法的系统异构性适应性分析。本实施例中，系统异构性用所有用户的算力方差来表征。算力方差取值为0代表所有用户具有相同的计算能力，没有差异。算力方差值越大，用户间的系统异构性越大。为了排除统计异构性的影响，此次实验采用独立同分布的合成数据Synthetic-iid进行模型训练。再者，所有用户的能量值设置也相同，以排除能量约束对训练性能的影响。
如图7所示，方格标记线条代表FedAvg，三角标记线条代表K-Cluster，圆形标记线条代表DistFL，菱形标记线条代表AsynPFL。从总体上来看，所有算法的可实现的测试准确度均随算法方差值的增加而下降。这是因为方差值越大，代表不同用户完成本地训练的所需的能量消耗以及时间差距越大，提前退出训练的用户越多，训练样本就越少，模型的准确度越低。然而，FedAvg、K-Cluster以及DistFL三个算法下降剧烈，DistFL只有轻微下降，这是因为DistFL采用的分簇算法中包含资源相似度这一指标并且采用异步全局融合的方式，这样DistFL可以在训练过程中，实现按照计算能力分组的功能，从而最大化参与整个训练过程的用户，增加全局模型对数据的适应性。
最后，本实施例进行能量约束对模型性能的影响探究。
图8给出了能量约束对FedAvg、K-Cluster、DistFL及AsynPFL算法得到的模型准确度的影响。在这个实验中采用的数据集是合成数据集Synthetic(0.5,0.5)。从图中可以看到，随着能量约束的增大，所有算法的模型的准确度都呈上升的趋势，并且上升趋势逐渐放缓。这说明不能通过无限放大能量约束来得到性能更好的模型。另外，除了初始点，在其他取值的能量约束下，AsynPFL算法的性能一直由于其他三个算法。这是因为AsynPFL的分簇机制不仅仅关注了用户间的分布差异，还考虑了用户剩余能量这一因素。尽管所有算法都采用同样的初始能量约束，但随着训练的进行，每个用户每次全局迭代的能量消耗不一样，导致剩余能量不一样，AsynPFL对这一现象有更好的适应性。另外，在初始点FedAvg算法表现最好，可能是因为K-Cluster、DistFL及AsynPFL的分簇过程有一定的能量消耗，对整体用于训练过程的能量有所影响。特别地，在总能量较小时，影响较大。随着能量约束逐渐增大，其他三个算法的分簇机制的优势逐渐凸显，实现的性能更好。
综上所述，本发明研究了一种新的个性化感知的分层联邦边缘学习训练框架，该框架考虑了联邦边缘学习训练过程中个性化与泛化之间的权衡，并根据由分布和资源相似性组成的加权指标对所有终端设备进行分簇，形成一个两层的分层聚合联邦边缘学习架构，提出了一种基于分布和资源相似度加权度量分簇机制辅助联邦边缘学习训练过程。为了平衡不同簇的训练速度，簇内融合和簇间聚合分别采用同步和异步聚合机制。从理论上来说，该框架可以缓解终端设备异构性带来的负面影响，提高训练性能。此外，还从理论上证明了训练过程的收敛性。仿真实验对所提算法AsynPFL的性能就类别失衡、统计异构性、系统异构性以及能量约束四个方面与FedAvg、K-Cluster、DistFL三个算法进行了对比。实验结果证明所提算法AsynPFL的性能最佳，对不同的异构环境有更好的适应性。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。

Claims (11)

1.一种边缘计算网络中的分层个性化联邦学习方法，其特征在于，包括以下步骤：
将边缘计算网络划分为两层，第一层为终端设备层，包括由多个终端设备分簇形成的多个集群，第二层为边缘云层，由各个簇的簇头节点与边缘服务器进行通信；
确定边缘计算网络中待进行通信的终端设备；
基于分布相似度和资源相似度加权度量对终端设备进行分簇；
对边缘计算网络进行训练，实现双层个性化联邦边缘学习，其中，所述训练过程包括簇内训练和簇间训练，簇内训练采用同步机制，所有终端设备通过正交信道同时与簇头节点通信，各节点向簇头节点发送所有模型参数，簇头节点负责聚合所有参数；簇间训练为簇头节点和边缘服务器之间的模型全局融合过程，采用异步机制，且每个簇头节点在进行簇间融合时仅融合部分参数，保留个性化特征。
2.根据权利要求1所述的一种边缘计算网络中的分层个性化联邦学习方法，其特征在于，所述基于分布相似度和资源相似度加权度量对终端设备进行分簇具体为：根据分布相似度矩阵DSM和资源相似度矩阵RSM，对二者进行加权得到分层个性化联邦学习的分簇机制的决策因素，即终端设备间的相似度SM：
SM(h,g)＝w1DSM(h,g)+w2RSM(h,g)
其中，w1为分布相似度所占权重，w2为资源相似度所占权重，且w1+w2＝1；SM(h,g)表示终端设备h与终端设备g的本地模型间的相似度，值越小，相似度越高；
基于各个终端设备间的相似度SM构成的相似度矩阵，通过设置一个阈值ν∈(0,1)，即限定同一个簇内的终端设备之间的相似度差异，确定集群的数量以及每个集群中的模型，实现分簇。
3.根据权利要求2所述的一种边缘计算网络中的分层个性化联邦学习方法，其特征在于，所述分布相似度矩阵的生成过程包括分布信息生成、概率分布生成和分布相似度矩阵计算3个步骤，
分布信息生成：将终端设备上传的本地模型融合成为一个全局模型，并将其保存在边缘服务器中用作预训练模型，将噪声输入到预训练模型中，并输出类似数据的分布信息；
概率分布生成：将分布信息输入到所有本地模型中生成各个本地模型的概率分布向量，一个终端设备对应一个概率分布向量；
分布相似度矩阵计算：在概率分布向量的基础上，采用KL散度计算各终端设备分布的距离，令Vh和Vg分别代表终端设备h与终端设备g本地模型的概率分布向量，终端设备h的本地模型与终端设备g的本地模型之间的KL散度为：
DSM(h,g)＝DKL(Vh||Vg)
通过计算各个终端设备本地模型之间的KL散度得到一个尺寸为N×N分布相似度矩阵DSM，其中，N为终端设备数量，DSM(h,g)表示终端设备h与终端设备g的本地模型间的分布相似度，DSM(h,g)值越小代表终端设备h与终端设备g的本地模型间的相似度越大。
4.根据权利要求2所述的一种边缘计算网络中的分层个性化联邦学习方法，其特征在于，所述资源相似度由终端设备的计算能力和剩余能量相似度组成，对于每个设备都用一个状态向量表示其属性，令设备h的状态向量为RSh＝(csh,esh)，状态向量中有两个元素csh和esh，csh代表设备的计算能力，esh代表设备剩余能量值；采用余弦相似度计算终端设备间资源相似度：
通过计算各个终端设备本地模型之间的余弦相似度，得到一个尺寸为N×N资源相似度矩阵RSM，其中，N为终端设备数量，RSM(h,g)表示终端设备h与终端设备g的本地模型间的资源相似度，RSM(h,g)值越小代表终端设备h与终端设备g的本地模型间的相似度越大。
5.根据权利要求1所述的一种边缘计算网络中的分层个性化联邦学习方法，其特征在于，所述簇内训练采用传统联邦训练FedAvg算法，训练过程包括全局模型分发、本地模型训练和全局模型融合三个阶段，每个终端设备的本地模型达到预定义的精度θ时，将本地模型上传到簇头节点进行聚合；假设总共有I个簇，并用表示所有簇头节点的集合，以第i(i∈[0,I])个簇为例，用/>表示第i个簇包含的所有设备的集合，在本地训练中采用梯度下降法，本地迭代更新公式为：
其中，yh(l)代表第h个终端设备的本地模型，Gh是第h个终端设备的本地损失函数，该损失函数满足L-Lipschitz连续以及η-强凸，l为本地迭代轮次指示符，α是学习率，/>代表更新的梯度；通过收敛性分析得到本地模型达到精度/>所需的迭代次数的上界numh，numh满足：
其中，y0为终端设备本地初始模型，y*为终端设备本地最优模型，L为李普希兹系数。
6.根据权利要求1所述的一种边缘计算网络中的分层个性化联邦学习方法，其特征在于，所述簇间训练中，为了保留每个簇内模型的个性特征，边缘服务器采用部分聚合的方式，簇头上传局部模型的一部分到边缘服务器，具体的，用xi表示第i个簇的簇头节点通过簇内聚合得到的簇内全局模型，并将其用神经网络的功能层的形式表示为：
其中，θ表示将被传输到边缘服务器进行全局聚合的共享层，共享层根据全局聚合模型进行更新；ω表示私有层，由簇头保持私有化，不进行全局融合。
7.根据权利要求1所述的一种边缘计算网络中的分层个性化联邦学习方法，其特征在于，所述簇间训练采用异步融合方式，各个簇头节点一旦完成簇内训练，立即向边缘服务器发送本地模型，各个设备间的发送时间不受约束，但边缘服务器每轮融合只允许一个簇头节点的模型参与，簇间全局模型更新公式表示为：
zt＝(1-κ)zt-1+κznew
其中，t代表全局融合轮次，zt是边缘服务器处的全局模型，znew是第t轮全局融合边缘服务器从簇头节点接收到的并用于全局融合的模型，κ是模型融合权重。
8.根据权利要求1所述的一种边缘计算网络中的分层个性化联邦学习方法，其特征在于，所述对边缘计算网络进行训练，实现双层个性化联邦边缘学习包括以下步骤：
S1：初始化全局模型；
S2：对每一个簇头节点，下载全局模型参数，并基于全局模型参数更新簇头节点的共享层参数，从而更新簇内全局模型；
S3：每一个簇头节点对应的集群内的所有终端设备本地模型，下载最新的簇内全局模型的参数，并基于簇内全局模型的参数更新终端设备本地模型参数；
S4：基于簇内训练对终端设备本地模型参数进行迭代，得到训练完成的终端设备本地模型并将其发送到簇头节点；
S5：簇头节点进行簇内聚合，更新簇内全局模型，并将簇内全局模型中的共享层参数发送至边缘服务器，进行异步簇间训练；
S6：更新全局模型。
9.一种边缘计算网络中的分层个性化联邦学习装置，用于实现如权利要求1-8中任一所述的方法，其特征在于，包括：
边缘计算网络构建模块，将边缘计算网络划分为两层，第一层为终端设备层，包括由多个终端设备分簇形成的多个集群，第二层为边缘云层，由各个簇的簇头节点与边缘服务器进行通信；
终端设备确定模块，用于确定边缘计算网络中待进行通信的终端设备；
终端设备分簇模块，用于基于分布相似度和资源相似度加权度量对终端设备进行分簇；
训练模块，用于对边缘计算网络进行训练，实现双层个性化联邦边缘学习，其中，所述训练过程包括簇内训练和簇间训练，簇内训练采用同步机制，所有终端设备通过正交信道同时与簇头节点通信，各节点向簇头节点发送所有模型参数，簇头节点负责聚合所有参数；簇间训练为簇头节点和边缘服务器之间的模型全局融合过程，采用异步机制，且每个簇头节点在进行簇间融合时仅融合部分参数，保留个性化特征。
10.一种边缘计算网络中的分层个性化联邦学习装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
11.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
CN202310536782.XA 2023-05-10 2023-05-10 边缘计算网络中的分层个性化联邦学习方法、装置及介质 Pending CN116579417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310536782.XA CN116579417A (zh) 2023-05-10 2023-05-10 边缘计算网络中的分层个性化联邦学习方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310536782.XA CN116579417A (zh) 2023-05-10 2023-05-10 边缘计算网络中的分层个性化联邦学习方法、装置及介质

Publications (1)

Publication Number Publication Date
CN116579417A true CN116579417A (zh) 2023-08-11

Family

ID=87539082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310536782.XA Pending CN116579417A (zh) 2023-05-10 2023-05-10 边缘计算网络中的分层个性化联邦学习方法、装置及介质

Country Status (1)

Country Link
CN (1) CN116579417A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235559A (zh) * 2023-11-14 2023-12-15 四川万物纵横科技股份有限公司 一种基于边缘计算的物联网数据采集方法及系统
CN117811846A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 基于分布式系统的网络安全检测方法、系统、设备及介质
CN117808128A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 数据异构条件下的图像处理方法、联邦学习方法及装置
CN117808129A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 一种异构分布式学习方法、装置、设备、系统及介质
CN117808125A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 模型聚合方法、装置、设备、联邦学习系统及存储介质
CN117806838A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 基于异构数据的设备分簇方法、装置、设备、系统及介质
CN117808127A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 数据异构条件下的图像处理方法、联邦学习方法及装置
CN117808126A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 机器学习方法、装置、设备、联邦学习系统及存储介质
CN117811845A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 威胁检测及模型训练方法、装置、系统、电子设备、介质
CN117834297A (zh) * 2024-02-29 2024-04-05 浪潮电子信息产业股份有限公司 攻击检测方法、装置、系统、电子设备及可读存储介质
CN117851838A (zh) * 2024-03-07 2024-04-09 广州大学 一种协作学习过程中异构数据源的鉴定方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235559A (zh) * 2023-11-14 2023-12-15 四川万物纵横科技股份有限公司 一种基于边缘计算的物联网数据采集方法及系统
CN117235559B (zh) * 2023-11-14 2024-02-06 四川万物纵横科技股份有限公司 一种基于边缘计算的物联网数据采集方法及系统
CN117834297A (zh) * 2024-02-29 2024-04-05 浪潮电子信息产业股份有限公司 攻击检测方法、装置、系统、电子设备及可读存储介质
CN117834297B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 攻击检测方法、装置、系统、电子设备及可读存储介质
CN117808129A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 一种异构分布式学习方法、装置、设备、系统及介质
CN117808125A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 模型聚合方法、装置、设备、联邦学习系统及存储介质
CN117806838A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 基于异构数据的设备分簇方法、装置、设备、系统及介质
CN117808127A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 数据异构条件下的图像处理方法、联邦学习方法及装置
CN117808126A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 机器学习方法、装置、设备、联邦学习系统及存储介质
CN117811845A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 威胁检测及模型训练方法、装置、系统、电子设备、介质
CN117811846A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 基于分布式系统的网络安全检测方法、系统、设备及介质
CN117806838B (zh) * 2024-02-29 2024-06-04 浪潮电子信息产业股份有限公司 基于异构数据的设备分簇方法、装置、设备、系统及介质
CN117808125B (zh) * 2024-02-29 2024-05-24 浪潮电子信息产业股份有限公司 模型聚合方法、装置、设备、联邦学习系统及存储介质
CN117811845B (zh) * 2024-02-29 2024-05-24 浪潮电子信息产业股份有限公司 威胁检测及模型训练方法、装置、系统、电子设备、介质
CN117808129B (zh) * 2024-02-29 2024-05-24 浪潮电子信息产业股份有限公司 一种异构分布式学习方法、装置、设备、系统及介质
CN117808128A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 数据异构条件下的图像处理方法、联邦学习方法及装置
CN117808128B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 数据异构条件下的图像处理方法及装置
CN117811846B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 基于分布式系统的网络安全检测方法、系统、设备及介质
CN117808126B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 机器学习方法、装置、设备、联邦学习系统及存储介质
CN117808127B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 数据异构条件下的图像处理方法、联邦学习方法及装置
CN117851838A (zh) * 2024-03-07 2024-04-09 广州大学 一种协作学习过程中异构数据源的鉴定方法

Similar Documents

Publication Publication Date Title
CN116579417A (zh) 边缘计算网络中的分层个性化联邦学习方法、装置及介质
Zhu et al. Deep reinforcement learning for mobile edge caching: Review, new features, and open issues
CN113191484B (zh) 基于深度强化学习的联邦学习客户端智能选取方法及系统
Ahsan et al. Resource allocation in uplink NOMA-IoT networks: A reinforcement-learning approach
Mai et al. Transfer reinforcement learning aided distributed network slicing optimization in industrial IoT
CN108932671A (zh) 一种采用深度q神经网络调参的lstm风电负荷预测方法
CN110851566B (zh) 一种应用于命名实体识别的可微分网络结构搜索的方法
CN112100514B (zh) 一种基于全局注意力机制表征学习的好友推荐方法
Sun et al. Accelerating convergence of federated learning in MEC with dynamic community
CN110234155A (zh) 一种基于改进topsis的超密集网络接入选择方法
CN114091667A (zh) 一种面向非独立同分布数据的联邦互学习模型训练方法
Hou et al. Context-aware online learning for course recommendation of MOOC big data
Lei et al. Adaptive multiple non-negative matrix factorization for temporal link prediction in dynamic networks
Chen et al. Deep-broad learning system for traffic flow prediction toward 5G cellular wireless network
CN116166875A (zh) 基于元路径增强的异质图神经网络的双向跨域推荐方法
Xiao et al. Collaborative cloud-edge service cognition framework for DNN configuration toward smart IIoT
Liu et al. Finch: Enhancing federated learning with hierarchical neural architecture search
Zec et al. Specialized federated learning using a mixture of experts
CN114065033A (zh) 用于推荐Web服务组合的图神经网络模型的训练方法
Chen et al. Profit-aware cooperative offloading in uav-enabled mec systems using lightweight deep reinforcement learning
Wang Multimodal emotion recognition algorithm based on edge network emotion element compensation and data fusion
CN112508408A (zh) 一种边缘计算下无线资源管理指标的映射模型构建方法
Zou et al. FedDCS: Federated learning framework based on dynamic client selection
Zhou et al. Low rank communication for federated learning
CN116719607A (zh) 基于联邦学习的模型更新方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination