CN115345320A - 一种在分层联邦学习框架下实现个性化模型的方法 - Google Patents

一种在分层联邦学习框架下实现个性化模型的方法 Download PDF

Info

Publication number
CN115345320A
CN115345320A CN202210979251.3A CN202210979251A CN115345320A CN 115345320 A CN115345320 A CN 115345320A CN 202210979251 A CN202210979251 A CN 202210979251A CN 115345320 A CN115345320 A CN 115345320A
Authority
CN
China
Prior art keywords
model
edge server
client
parameters
standardized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210979251.3A
Other languages
English (en)
Inventor
马春梅
李祥前
黄宝贵
李凤银
李光顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qufu Normal University
Original Assignee
Qufu Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qufu Normal University filed Critical Qufu Normal University
Priority to CN202210979251.3A priority Critical patent/CN115345320A/zh
Publication of CN115345320A publication Critical patent/CN115345320A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实现了一种在分层联邦学习框架中训练个性化模型的方法。在面对非独立同分布数据时，实现模型的个性化是联邦学习的主要方法。分层联邦学习是一种新型的联邦学习结构，它可以实现更好地平衡通信与计算的开销。但是，在面对非独立同分布数据时，传统联邦学习训练的预测模型性能较差。为了解决这一问题，本发明提供了一种在分层联邦学习框架下实现个性化模型的方法，把个性化的模型部署到边缘服务器上来解决模型过拟合的问题，并使用标准化参数以及云服务器相似度聚合来提高个性化模型的性能。本发明能够为每个边缘服务器训练一个个性化的预测模型，具有收敛快，模型精度高的优势。

Description

一种在分层联邦学习框架下实现个性化模型的方法
技术领域
本发明涉及分层联邦学习训练预测模型领域。
背景技术
2017年，谷歌提出了联邦学习的概念，并提出了一种联邦平均算法，使参与模型训练的各方(称为用户或客户端)协同训练深度学习模型，用户无需把数据上传到数据中心，保护了用户的隐私。联邦学习的基本过程是，用户从云服务器下载全局模型，在本地训练后，将模型权重上传到服务器进行模型聚合。重复该过程，直到模型达到所需的精度。这被称为基于云的联邦学习模型。在基于云的联邦学习架构中，参与联邦学习的用户数量可达数百万，提供了深度学习所需的海量数据。然而，由于网络拥塞等原因，导致客户端与云服务器的通信速度缓慢且结果不可预测，整个训练过程效率低下。随着边缘计算平台的出现，研究人员开始研究基于边缘的联邦学习模型。在该模型中，相邻的边缘服务器充当参数服务器，而边缘服务器通信范围内的客户端则协同训练深度学习模型。与基于云的联邦学习模型相比，基于边缘的联邦学习模型中的参数服务器被放置在离客户端最近的边缘，例如，可以使用基站充当参数服务器。此时，计算的延迟与边缘参数服务器的通信延迟相当，可以在计算开销和通信开销之间寻求更好的权衡。但是，在基于边缘的联邦学习中，每个边缘服务器可以访问的客户端数量有限，参与训练的数据量较少，训练的模型精度较低。
2019年，有研究人员提出了“云服务器-边缘服务器-客户端”三层架构的分层联邦学习模型，充分利用基于云的联邦学习和基于边缘的联邦学习模型的优点，不仅减少了通信开销，而且提高了模型精度。分层联邦学习实现分布式训练主要包含三个步骤：1)客户端用本地数据训练并更新局部模型；2)边缘服务器聚合客户端训练的局部模型；3)云服务器进一步聚合边缘服务器上传的全局模型。最终，在云服务器中得到一个全局模型。与基于云的联邦学习相比，分层联邦学习在每轮训练中，边缘服务器增加了一个模型聚合的步骤，可以显著减少与云服务器的通信开销，并辅以高效的客户端边缘更新，从而大幅减少运行时间和本地迭代次数。另一方面，与基于边缘的联邦学习相比，分层联邦学习使用更多数据训练模型，训练的模型优于基于边缘的联邦学习。
现有的分层联邦学习方法受到数据异质性的影响，当客户端的数据呈现非独立同分布时表现不佳，原因是一个统一的全局模型无法很好的概括所有非独立同分布数据特征。
发明内容
为了解决现有的分层联邦学习方法在客户端数据是非独立同分布时表现不佳的问题，本发明提出了一种分层联邦学习的个性化方法，通过为每个边缘服务器训练一个个性化模型来提高预测模型的性能。
本发明所采用的技术方案是：在每个边缘服务器上维护一个本地模型、一个全局模型、一个混合参数、一组可学习的标准化参数。本地模型、混合参数以及标准化参数只参与客户端和边缘服务器这两层的训练和聚合，以体现边缘服务器下的客户端数据的本地知识。全局模型不仅参与客户端和边缘服务器的训练和聚合，还要上传到云服务器进行相似度聚合，以体现全局数据知识。本发明方法共迭代训练K轮，其中每一轮的训练包括五个步骤。
第一步：边缘服务器层和客户端对参数进行T次的更新，而每次更新又包括以下五个步骤。
1.1：边缘服务器将本地模型、全局模型、混合参数以及标准化参数发给其连接的客户端；
1.2：客户端用标准化参数对自己的本地数据进行标准化；
1.3：客户端用标准化后的数据训练并更新本地模型、全局模型、混合参数以及标准化参数；
1.4：客户端将更新后的本地模型、全局模型、混合参数和标准化参数上传到其连接的边缘服务器；
1.5：边缘服务器对收到的本地模型、全局模型、混合参数以及标准化参数进行平均聚合。
第二步：边缘服务器将聚合的全局模型上传至云服务器。
第三步：云服务器进行相似度聚合。云服务器为每个边缘服务器聚合一个个性的模型，使用Tanimoto系数计算模型之间的相似度，相似度大的模型设置更大的权重，突出了相似模型在聚合模型中的作用。
第四步：云服务器将聚合后的全局模型发给对应的边缘服务器。
第五步：边缘服务器混合全局模型和本地模型，将混合后的模型以及标准化参数作为自己的个性化模型。
本发明的有益效果是：首先我们目标是为每个边缘服务器得到个性化模型，边缘服务器连接的客户端共同训练一个个性化模型，这可以解决传统联邦学习中模型过拟合问题。其次，本发明将本地模型和全局模型混合后的模型以及标准化参数作为每个边缘服务器的个性化模型，实现了每个边缘服务器在保留本地数据知识的同时学习到全局知识，进而实现了个性化。而且，云服务器采用相似度聚合来为每个边缘服务器聚合一个个性化的模型，提高了云服务器聚合模型的可用性。最后，通过额外维护可学习的标准化参数，不仅可以提高个性化程度，而且标准化参数本身具有提高收敛速度的作用。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：图1说明了本发明的训练过程。序号①表示训练过程的第一步，即边缘服务器层和客户端训练T次。1.1，1.2，1.3，1.4，1.5分别是第一步的五个子步骤。序号②表示第二步，即边缘服务器把聚合的全局模型上传到云服务器。序号③表示第三步，云服务器用相似度聚合方法聚合各个边缘服务器上传的模型，为每个边缘服务器聚合一个个性化的模型。序号④表示第四步，云服务器把聚合的个性化模型下发给相应的边缘服务器。序号⑤表示第五步，边缘服务器混合本地模型和云服务器下发的模型，得到本轮的个性化模型。上述过程共经过K轮，边缘服务器得到最终的个性化模型，该边缘服务器下连接的所有客户端共享最终的个性化模型。
具体实施方式
考虑一个分层联邦学习框架，他有一个云服务器，云服务器下连接L个边缘服务器，用el(1≤l≤L)表示某个边缘服务器，el下连接ml个客户端，用cl,i表示连接在el下的第i个客户端，1≤i≤ml。Dl,i表示cl,i本地的数据集。假设同一边缘服务器下的客户端的数据是独立同分布的，而不同边缘服务器下的客户端的数据是非独立同分布的。这是现实世界应用中的一个常见假设，地理位置相近的用户连接到同一个边缘服务器，他们的数据集有相似的数据分布，而地理位置相距较远的用户，连接到不同的边缘服务器，他们的数据集有不同的数据分布。例如，假设一个大规模的森林监测系统有一个云服务器，它由不同区域的多个子系统组成，每个子系统有一个边缘服务器。同一地区的数据是独立同分布的。然而，由于气候和环境的差异，不同地理位置的子系统所收集的数据是非独立同分布的。
边缘服务器el维护一个全局模型wl、一个本地模型vl、一个混合参数αl、一组可学习的标准化参数γl、βl。记el的第k轮的训练是把
Figure BDA0003792315290000041
Figure BDA0003792315290000042
更新为
Figure BDA0003792315290000043
当k＝1，即第一轮训练开始前，el初始化全局模型
Figure BDA0003792315290000044
本地模型
Figure BDA0003792315290000045
混合参数
Figure BDA0003792315290000046
标准化参数
Figure BDA0003792315290000047
第k轮的过程如下：
第一步：el和其连接的客户端训练
Figure BDA0003792315290000048
次，得到
Figure BDA0003792315290000049
第t(1≤t≤T)次的训练是把
Figure BDA00037923152900000410
Figure BDA00037923152900000411
训练更新为
Figure BDA00037923152900000412
当t＝1时，
Figure BDA00037923152900000413
为
Figure BDA00037923152900000414
第t次的训练过程如下。
1.1：el将
Figure BDA00037923152900000415
发给其客户端。
1.2：cl,i使用参数
Figure BDA00037923152900000416
和
Figure BDA00037923152900000417
标准化本地数据集Dl,i，得到
Figure BDA00037923152900000418
即：
Figure BDA00037923152900000419
Figure BDA00037923152900000420
其中，E(Dl,i)和Var(Dl,i)分别代表Dl,i的均值和方差，∈是一个很小的超参数，防止分母为0，
Figure BDA00037923152900000421
是标准化过程的中间结果。
1.3：cl,i使用
Figure BDA00037923152900000422
训练
Figure BDA00037923152900000423
即：
Figure BDA00037923152900000424
Figure BDA00037923152900000425
Figure BDA00037923152900000426
Figure BDA00037923152900000427
Figure BDA0003792315290000051
其中η是学习率，
Figure BDA0003792315290000052
是梯度，F是损失函数，采用的方法是梯度下降法。
1.4：cl,i将
Figure BDA0003792315290000053
上传至el。
1.5：el进行平均聚合，得到
Figure BDA0003792315290000054
即：
Figure BDA0003792315290000055
Figure BDA0003792315290000056
Figure BDA0003792315290000057
Figure BDA0003792315290000058
Figure BDA0003792315290000059
其中，|Dl,i|表示客户端cl,i上的数据数量，|Dl|表示el下所有客户端的数据总的数量。
第二步：第一步完成后，el得到
Figure BDA00037923152900000510
此时
Figure BDA00037923152900000511
Figure BDA00037923152900000512
是第k轮的最终结果，所以用
Figure BDA00037923152900000513
分别表示。el将
Figure BDA00037923152900000514
上传至云服务器。
第三步：云服务器进行相似度聚合，即：
Figure BDA00037923152900000515
Figure BDA00037923152900000516
其中Tan()是Tanimoto系数，用来衡量模型之间的相似度，Tanimoto系数的计算方法是：
Figure BDA00037923152900000517
第四步：云服务器将
Figure BDA00037923152900000518
下发给对应的边缘服务器。
第五步：el将收到的
Figure BDA0003792315290000061
和自己的
Figure BDA0003792315290000062
通过
Figure BDA0003792315290000063
混合，即：
Figure BDA0003792315290000064
el将
Figure BDA0003792315290000065
和标准化参数
Figure BDA0003792315290000066
作为自己本轮的个性化模型。
以上是本发明的具体实施过程，通过这个过程我们在分层联邦学习上实现了模型个性化，并且将个性化模型部署在边缘服务器端可以解决模型过拟合的问题。此外，在个性化方法中，我们使用了标准化参数，提高了模型的精度和收敛速度，在云服务器使用相似度聚合，进一步提高了个性化模型的精度。

Claims (1)

1.一种在分层联邦学习框架下实现个性化模型的方法，其特征在于，包括以下步骤：
第一步：分层联邦学习框架中的边缘服务器层和客户端层对参数进行 T 次的更新，每次更新又包含以下步骤：
1.1：边缘服务器将本地模型、全局模型、混合参数以及标准化参数发给其连接的客户端；
1.2：客户端用标准化参数对自己的本地数据进行标准化；
1.3：客户端用标准化后的数据训练并更新本地模型、全局模型、混合参数以及标准化参数；
1.4：客户端将更新后的本地模型、全局模型、混合参数和标准化参数上传到其连接的边缘服务器；
1.5：边缘服务器对收到的本地模型、全局模型、混合参数以及标准化参数进行平均聚合；
第二步：边缘服务器将聚合的全局模型上传至云服务器；
第三步：云服务器进行相似度聚合，云服务器为每个边缘服务器聚合一个个性的模型，使用Tanimoto系数计算模型之间的相似度，相似度大的模型设置更大的权重，突出了相似模型在聚合模型中的作用；
第四步：云服务器将聚合后的全局模型发给对应的边缘服务器；
第五步：边缘服务器混合全局模型和本地模型，将混合后的模型以及标准化参数作为自己的个性化模型。
CN202210979251.3A 2022-08-11 2022-08-11 一种在分层联邦学习框架下实现个性化模型的方法 Pending CN115345320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210979251.3A CN115345320A (zh) 2022-08-11 2022-08-11 一种在分层联邦学习框架下实现个性化模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210979251.3A CN115345320A (zh) 2022-08-11 2022-08-11 一种在分层联邦学习框架下实现个性化模型的方法

Publications (1)

Publication Number Publication Date
CN115345320A true CN115345320A (zh) 2022-11-15

Family

ID=83952664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210979251.3A Pending CN115345320A (zh) 2022-08-11 2022-08-11 一种在分层联邦学习框架下实现个性化模型的方法

Country Status (1)

Country Link
CN (1) CN115345320A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7311121B1 (ja) 2022-03-17 2023-07-19 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7311121B1 (ja) 2022-03-17 2023-07-19 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2023137116A (ja) * 2022-03-17 2023-09-29 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Similar Documents

Publication Publication Date Title
Konečný et al. Federated learning: Strategies for improving communication efficiency
CN109462520B (zh) 基于lstm模型的网络流量资源态势预测方法
CN114912705A (zh) 一种联邦学习中异质模型融合的优化方法
CN113518007B (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN113222179A (zh) 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
CN111382844A (zh) 一种深度学习模型的训练方法及装置
CN112637883A (zh) 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
CN112100514B (zh) 一种基于全局注意力机制表征学习的好友推荐方法
CN117875454B (zh) 一种基于多级智联的数据异构性联邦学习方法及存储介质
CN114943342A (zh) 一种联邦学习系统的优化方法
CN114357676B (zh) 一种针对层次化模型训练框架的聚合频率控制方法
CN114091667A (zh) 一种面向非独立同分布数据的联邦互学习模型训练方法
CN113312177B (zh) 一种基于联邦学习的无线边缘计算系统、优化方法
CN115115021A (zh) 基于模型参数异步更新的个性化联邦学习方法
CN114169543A (zh) 一种基于模型陈旧性与用户参与度感知的联邦学习算法
CN115345320A (zh) 一种在分层联邦学习框架下实现个性化模型的方法
Cui et al. ClusterGrad: Adaptive gradient compression by clustering in federated learning
CN115470932A (zh) 基于强化学习的联邦学习客户端智能选择方法
CN117131918A (zh) 基于差分隐私的联邦学习模型层裁剪方法及系统
CN115392348A (zh) 联邦学习梯度量化方法、高效通信联邦学习方法及相关装置
CN117998420A (zh) 一种基于dag的分片级联分布式6g网络联合优化方法及装置
CN117829307A (zh) 一种面向数据异构性的联邦学习方法及系统
Zhang et al. Federated multi-task learning with non-stationary heterogeneous data
CN116362328A (zh) 一种基于公平性特征表示的联邦学习异构模型聚合方法
CN115034356B (zh) 一种用于横向联邦学习的模型融合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination