CN113313266A - 一种基于两阶段聚类提升联邦学习模型性能的训练方法和存储设备 - Google Patents

一种基于两阶段聚类提升联邦学习模型性能的训练方法和存储设备 Download PDF

Info

Publication number
CN113313266A
CN113313266A CN202110661289.1A CN202110661289A CN113313266A CN 113313266 A CN113313266 A CN 113313266A CN 202110661289 A CN202110661289 A CN 202110661289A CN 113313266 A CN113313266 A CN 113313266A
Authority
CN
China
Prior art keywords
training
cluster
clusters
clients
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110661289.1A
Other languages
English (en)
Other versions
CN113313266B (zh
Inventor
翁建庆
苏松志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202110661289.1A priority Critical patent/CN113313266B/zh
Publication of CN113313266A publication Critical patent/CN113313266A/zh
Application granted granted Critical
Publication of CN113313266B publication Critical patent/CN113313266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及模型训练技术领域，特别涉及一种基于两阶段聚类提升联邦学习模型性能的训练方法和存储设备。所述一种基于两阶段聚类提升联邦学习模型性能的训练方法，包括步骤：获取每个客户在本地通过联邦学习训练好后的模型；通过K‑Center聚类方法将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器；通过该步骤是对具有相似数据集的客户端的集群进行模型训练，减少了客户端数据分布的差异，加快收敛速度。将每个集群中的客户端随机分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。通过进一步采用细粒度聚类方法来拉平了原始数据分布。通过以上步骤大大提高了联邦学习在Non‑IID环境下的模型性能。

Description

一种基于两阶段聚类提升联邦学习模型性能的训练方法和存 储设备
技术领域
本发明涉及模型训练技术领域，特别涉及一种基于两阶段聚类提升联邦学习模型性能的训练方法和存储设备。
背景技术
我们知道海量的训练样本是训练一个高精度模型的重要和必要前提。而随着大数据和5G时代的来临，企业和公司每天都可以从用户的手机、可穿戴设备等边缘终端产生大量的数据。这使得企业之间可以选择合作训练模型，主要通过把他们各自产生的数据传送到第三方中心服务器上，在中心服务器上利用全部的传送数据来训练一个高精度模型。但这样做不仅会导致高传输延迟、第三方服务器容量不足等问题，在一些金融和医疗等领域，通常还会因为用户数据的隐私敏感性而使得企业在源头就无法传送数据给第三方。
目前业界流行的一种解决方案是使用联邦学习。联邦学习是一种新颖的分布式合作学习方法，可以用来协同训练高性能模型。与传统的集中式机器学习不同，联邦学习把模型从第三方中心服务器推送到各个客户(这里的客户指向参与合作训练模型的企业或机构)中，网络训练的计算主要在本地客户中进行，因此用户的数据隐私可以得到很好的保护。
传统的联邦学习范式包含以下过程：(1)中心服务器首先将初始化的模型推送给各个客户，(2)每个客户从中心服务器接收到模型后，使用自己本地的数据集来继续训练。(3)每个客户将他们各自训练好的模型上传到中心服务器上。(4)中心服务器将所有在线客户传送上来的模型做加权平均，聚合成单个模型。上面四个步骤持续重复执行直到模型的训练达到了收敛效果。目前这种联邦学习范式代表的算法有FedAvg和FedProx。
其存在以下缺点：
缺点1：
训练数据的IID(独立同分布)采样是确保随机梯度是完整梯度的无偏估计的重要前提，只有当客户之间的数据是IID分布时，联邦学习的训练效果才会显著。但这种IID假设在现实中难以保证。由于不同的业务场景和用户行为，不同客户之间的数据集通常是异质的，这也导致联邦学习在实际应用中会发生模型性能下降。
缺点2：
联邦学习试图学习一个全局共享的模型来适应所有客户端的数据分布，但是当跨客户端的数据是异质的时候，模型会偏离其最佳方向，导致性能下降。
发明内容
为此，需要提供一种基于两阶段聚类提升联邦学习模型性能的训练方法，用以解决联邦学习在Non-IID环境下模型性能低的问题。具体技术方案如下：
一种基于两阶段聚类提升联邦学习模型性能的训练方法，包括步骤：
获取每个客户在本地通过联邦学习训练好后的模型；
通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器；
通过第二阶段聚类将每个集群中的客户端分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。
进一步的，所述“通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器”，具体还包括步骤：
通过K-Center聚类方法将所有客户端分组为两个以上集群。
进一步的，所述“通过K-Center聚类方法将所有客户端分组为两个以上集群”，具体还包括步骤：
根据客户端本地模型参数的相似性构建客户集群，不同的集群间互不干扰地进行联邦学习。
进一步的，所述“采用预设算法对每个细粒度集群进行训练”，具体还包括步骤：
通过“伪”小批量SGD对每个细粒度集群进行训练。
为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：
一种存储设备，其中存储有指令集，所述指令集用于执行：获取每个客户在本地通过联邦学习训练好后的模型；
通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器；
通过第二阶段聚类将每个集群中的客户端分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。
进一步的，所述指令集还用于执行：所述“通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器”，具体还包括步骤：
通过K-Center聚类方法将所有客户端分组为两个以上集群。
进一步的，所述指令集还用于执行：所述“通过K-Center聚类方法将所有客户端分组为两个以上集群”，具体还包括步骤：
根据客户端本地模型参数的相似性构建客户集群，不同的集群间互不干扰地进行联邦学习。
进一步的，所述指令集还用于执行：所述“采用预设算法对每个细粒度集群进行训练”，具体还包括步骤：
通过“伪”小批量SGD对每个细粒度集群进行训练。
本发明的有益效果是：一种基于两阶段聚类提升联邦学习模型性能的训练方法，包括步骤：获取每个客户在本地通过联邦学习训练好后的模型；通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器；通过第二阶段聚类将每个集群中的客户端分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。通过以上方法，采用两阶段聚类机制，可以稳定消除Non-IID数据的负面影响并提高学习的收敛速度。
进一步的，通过第一阶段聚类来根据客户端本地模型参数的相似性来构建客户集群，不同的集群之间互不干扰地进行联邦学习。从而不再是学习一个全局共享的模型来适应所有客户端的数据分布，因此可以有效降低数据分布偏倚，从而提高全局模型的性能。
进一步的，通过第二阶段聚类来进一步地降低客户端之间的数据分布差异，在第一阶段聚类的基础上，继续把每个客户划分为多个细粒度集群，把细粒度集群当作一个训练模型的单位，利用提出的“伪”小批量SGD训练方法，可以达到接近通用的小批量SGD训练效果并且保护了用户的数据隐私。
附图说明
图1为具体实施方式所述一种基于两阶段聚类提升联邦学习模型性能的训练方法的流程图；
图2为具体实施方式所述传统的联邦学习范式示意图；
图3为具体实施方式所述第一阶段聚类示意图；
图4为具体实施方式所述第二阶段聚类示意图；
图5为具体实施方式所述“伪”小批量SGD训练方法示意图；
图6为具体实施方式所述一种存储设备的模块示意图。
附图标记说明：
600、存储设备。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1至图5，在本实施方式中，一种基于两阶段聚类提升联邦学习模型性能的训练方法可应用在一种存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。
首先对本申请的核心技术思想进行说明：因发现客户之间数据分布的差异与其模型偏离度(model divergence)之间存在联系。因此，本申请首先使用K-Center聚类方法将所有客户端分组为多个集群(第一阶段聚类)，每个集群对应一个不同的中央服务器。第一阶段聚类策略可以训练多个不相交的模型，这些模型针对具有相似数据集的客户端的集群，从而减少客户端数据分布的差异，加快收敛速度。
因在理论上证明了，在训练中，如果客户端的训练数据更加均匀分布，则可以减少模型偏离度的增长，从而提高在Non-IID环境下的训练性能。因此，本申请进一步采用细粒度聚类方法来拉平原始数据分布。首先将每个集群中的客户端随机分组为多个细粒度集群(第二阶段聚类)，每个集群执行“伪”小批量SGD来训练本地模型，这种“伪”小批量SGD方法对每个细粒度集群进行通用的小批量SGD训练，并将数据保存在了本地。本申请的第二阶段聚类策略可以使客户端之间的数据分布趋于平坦，并减少由Non-IID环境引起的模型偏离度(model divergence)的增长。
以下具体展开说明：
步骤S101：获取每个客户在本地通过联邦学习训练好后的模型。具体可如下：首先如图2所示，执行传统的联邦学习过程，直至训练到t-1轮为止。在第t轮中，每个客户在本地训练好后将模型传送至中心服务器上。
如图3所示，步骤S102：通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器。在本实施方式中，具体采用通过K-Center聚类方法将所有客户端分组为两个以上集群。K-Centers聚类算法是针对每个客户的模型权重来进行聚类的，是根据客户端本地模型参数的相似性构建客户集群，相似性度高的客户端将其构建到一个集群中。每个集群都对应一个新的且独立中心服务器来负责搜集用户上传的模型并执行模型聚合操作。从此以后，各个聚类之间的训练独立且互不干扰。
如图4所示，步骤S103：通过第二阶段聚类将每个集群中的客户端分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。具体可如下：为了使得客户端之间的数据分布更均匀，在每个大集群中进一步采用聚类把大集群里面的每个客户再归为若干个细粒度集群。这里的聚类算法既可以是随机划分，也可以是按照客户所在的地域来划分，只要把若干个客户划分为一个细粒度集群就可以了。
在第二步聚类后会得到若干个细粒度集群，这时把这些细粒度集群当作一个新的“客户”来看待，可以证明这些“新”客户之间的数据集分布比划分为细粒度集群前的数据集分布要更加均匀。因此以细粒度集群为一个训练单位来训练一个本地模型，接着把每个训练后的本地模型上传到对应的中心服务器即可。
对于每一个细粒度集群，为了同时利用到集群里面的每一个客户的训练集，同时还要不侵犯数据隐私的情况下训练出一个模型，在本实施方式中，预设算法采用了“伪”小批量SGD的训练方法。这是一种序列化训练模型的方式，首先每轮从细粒度集群里随机挑选出一个客户，客户半训练完后将它的模型传送个下一个客户，下一个客户用上一个客户传来的模型作为初始化模型在它自己的本地数据集里训练，接着再把训练模型传给下一个客户，持续这个过程直到这个细粒度集群内的所有客户都在自己本地上执行过模型训练，并在细粒度集群内序列化训练了若干轮为止。
本实施方式中的“伪”小批量SGD训练其实是一种序列行训练方式，但是它能和通用的小批量SGD训练方式达到相同的效果。如图5所示，其上方是把所有的客户的数据聚集在一起然后训练一个模型，这是通用的小批量SGD算法的训练过程，而图5下方则是把训练的模型按顺序地往下传送给其它客户接着训练，这就是本申请改进后的“伪”小批量SGD算法，且本申请提出的“伪”小批量SGD训练还能够保证数据不会离开本地，从而保护了用户数据隐私。
一种基于两阶段聚类提升联邦学习模型性能的训练方法，包括步骤：获取每个客户在本地通过联邦学习训练好后的模型；通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器；通过第二阶段聚类将每个集群中的客户端分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。通过以上方法，采用两阶段聚类机制，可以稳定消除Non-IID数据的负面影响并提高学习的收敛速度。
进一步的，通过第一阶段聚类来根据客户端本地模型参数的相似性来构建客户集群，不同的集群之间互不干扰地进行联邦学习。从而不再是学习一个全局共享的模型来适应所有客户端的数据分布，因此可以有效降低数据分布偏倚，从而提高全局模型的性能。
进一步的，通过第二阶段聚类来进一步地降低客户端之间的数据分布差异，在第一阶段聚类的基础上，继续把每个客户划分为多个细粒度集群，把细粒度集群当作一个训练模型的单位，利用提出的“伪”小批量SGD训练方法，可以达到接近通用的小批量SGD训练效果并且保护了用户的数据隐私。
请参阅图2至图6，在本实施方式中，一种存储设备600的具体实施方式如下：
一种存储设备600，其中存储有指令集，所述指令集用于执行：获取每个客户在本地通过联邦学习训练好后的模型。具体可如下：首先如图2所示，执行传统的联邦学习过程，直至训练到t-1轮为止。在第t轮中，每个客户在本地训练好后将模型传送至中心服务器上。
通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器。在本实施方式中，具体采用通过K-Center聚类方法将所有客户端分组为两个以上集群。K-Centers聚类算法是针对每个客户的模型权重来进行聚类的，是根据客户端本地模型参数的相似性构建客户集群，相似性度高的客户端将其构建到一个集群中。每个集群都对应一个新的且独立中心服务器来负责搜集用户上传的模型并执行模型聚合操作。从此以后，各个聚类之间的训练独立且互不干扰。
通过第二阶段聚类将每个集群中的客户端分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。。具体可如下：为了使得客户端之间的数据分布更均匀，在每个大集群中进一步采用聚类把大集群里面的每个客户再归为若干个细粒度集群。这里的聚类算法既可以是随机划分，也可以是按照客户所在的地域来划分，只要把若干个客户划分为一个细粒度集群就可以了。
在第二步聚类后会得到若干个细粒度集群，这时把这些细粒度集群当作一个新的“客户”来看待，可以证明这些“新”客户之间的数据集分布比划分为细粒度集群前的数据集分布要更加均匀。因此以细粒度集群为一个训练单位来训练一个本地模型，接着把每个训练后的本地模型上传到对应的中心服务器即可。
对于每一个细粒度集群，为了同时利用到集群里面的每一个客户的训练集，同时还要不侵犯数据隐私的情况下训练出一个模型，在本实施方式中，预设算法采用了“伪”小批量SGD的训练方法。这是一种序列化训练模型的方式，首先每轮从细粒度集群里随机挑选出一个客户，客户半训练完后将它的模型传送个下一个客户，下一个客户用上一个客户传来的模型作为初始化模型在它自己的本地数据集里训练，接着再把训练模型传给下一个客户，持续这个过程直到这个细粒度集群内的所有客户都在自己本地上执行过模型训练，并在细粒度集群内序列化训练了若干轮为止。
如图5所示，本实施方式中的“伪”小批量SGD训练其实是一种序列行训练方式，但是它能和通用的小批量SGD训练方式达到相同的效果。且本申请提出的“伪”小批量SGD训练还能够保证数据不会离开本地，从而保护了用户数据隐私。
一种存储设备600，其中存储有指令集，所述指令集用于执行：获取每个客户在本地通过联邦学习训练好后的模型；通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器；通过第二阶段聚类将每个集群中的客户端分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。通过以上指令集执行，采用两阶段聚类机制，可以稳定消除Non-IID数据的负面影响并提高学习的收敛速度。
进一步的，通过第一阶段聚类来根据客户端本地模型参数的相似性来构建客户集群，不同的集群之间互不干扰地进行联邦学习。从而不再是学习一个全局共享的模型来适应所有客户端的数据分布，因此可以有效降低数据分布偏倚，从而提高全局模型的性能。
进一步的，通过第二阶段聚类来进一步地降低客户端之间的数据分布差异，在第一阶段聚类的基础上，继续把每个客户划分为多个细粒度集群，把细粒度集群当作一个训练模型的单位，利用提出的“伪”小批量SGD训练方法，可以达到接近通用的小批量SGD训练效果并且保护了用户的数据隐私。
以下附上本申请的一些证明过程：
首先证明把所有客户划分为若干个细粒度集群后(此时把该集群中所有的数据集都加起来)的数据集分布会比划分前更加均匀。
假设有K个用户，将它们每S个分为一组，一共就有
Figure BDA0003115448790000091
个细粒度集群，让ks，j代表在第j个细粒度集群的第s个客户
Figure BDA0003115448790000092
p(y＝i)代表总的数据集中标签y＝i的概率分布，p(k)(y＝i)表示第k个客户的数据集中标签y＝i的概率分布。p′(j)(y＝i)表示第j个细粒度集群中的所有客户的数据合在一起后标签y＝i的概率分布。
接下来证明
Figure BDA0003115448790000101
上式说明了细粒度集群j上的数据分布与数据集总分布之间的EMD小于将客户端划分到第j组细粒度集群之前的EMD，这说明这种简单的聚类策略可以帮助我们将数据分布拉平。
Appendix B.
proof of
Figure BDA0003115448790000102
We convert the proof of the above inequality into the following：
Figure BDA0003115448790000103
Substituting Eq.(5)into inequality(8)，we can get：
Figure BDA0003115448790000104
Because inequality
Figure BDA0003115448790000105
holds，so(9)holds.
Therefore.we have completed the proof of
Figure BDA0003115448790000106
接下来证明如果客户的训练数据更加均匀分布，则可以减少模型偏离度的增长，从而提高在Non-IID环境下的训练性能。
首先根据现有论文《Federated learning with non-iid data》，可以得出下列不等式：
Figure BDA0003115448790000111
Figure BDA0003115448790000112
表示联邦学习中第m次聚合后(T轮训练聚合一次)的加权模型，
Figure BDA0003115448790000113
表示集中式学习中经过第mT次梯度更新后的模型。n是数据集总大小，n(k)是第k个客户的数据集大小，共有k个客户。
上式的
Figure BDA0003115448790000114
即传统联邦学习的模型偏离度。
当我们将K个客户按S个客户为一组分为若干个细粒度集群后，其模型偏离度变为如下：
Figure BDA0003115448790000115
现在只需要证明
Figure BDA0003115448790000121
即可证明经过每一轮的聚合后，传统联邦学习的模型偏离度增大的速度快于划分成细粒度集群后的联邦学习。
Appendix A.
Proof of
Figure BDA0003115448790000122
Figure BDA0003115448790000123
Proof of inequality(1)is equivalent to Proof of inequality(2)
Figure BDA0003115448790000124
Let n′(j)denote the amount of data of node j.Therefore
Figure BDA0003115448790000125
Figure BDA0003115448790000126
Because
Figure BDA0003115448790000127
we can easily get
Figure BDA0003115448790000128
Figure BDA0003115448790000129
According to Binomial Theorem，we can get
Figure BDA00031154487900001210
and
Figure BDA00031154487900001211
where
Figure BDA00031154487900001212
is abbreviated to p(k)(y＝i)and λi is abbreviated toλx|y＝i.
Since we only consider the C-class classification problem，we canrewrite the discrete probability distribution as
Figure BDA00031154487900001213
where
Figure BDA00031154487900001214
denotes the amount of data that belongs to the i-th class.
Substitute Eq.(3)，(4)，(5)into inequality(2)，we now need to prove
Figure BDA00031154487900001215
which is equivalent to prove
Figure BDA00031154487900001217
When t is 0 or 1，inequality(6)apparently establish.When t＞1，wereplace the discrete probability distribution as shown in(5).Thereforeinequality(6)become：
Figure BDA00031154487900001218
Let
Figure BDA00031154487900001219
and
Figure BDA00031154487900001220
then the above inequality becomes
Figure BDA00031154487900001221
Next we provide the proof of inequality(7)，First we have thefollowing lemma，which is the famous
Figure BDA0003115448790000131
inequality：
Figure BDA0003115448790000132
convert the inequality (7)to：
Figure BDA0003115448790000133
we just need to apply
Figure BDA0003115448790000136
inequality：
Figure BDA0003115448790000134
and we can directly prove the inequality(7).
So far.we have completed the proof of
Figure BDA0003115448790000135
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (8)

1.一种基于两阶段聚类提升联邦学习模型性能的训练方法，其特征在于，包括步骤：
获取每个客户在本地通过联邦学习训练好后的模型；
通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器；
通过第二阶段聚类将每个集群中的客户端分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。
2.根据权利要求1所述的一种基于两阶段聚类提升联邦学习模型性能的训练方法，其特征在于，所述“通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器”，具体还包括步骤：
通过K-Center聚类方法将所有客户端分组为两个以上集群。
3.根据权利要求2所述的一种基于两阶段聚类提升联邦学习模型性能的训练方法，其特征在于，所述“通过K-Center聚类方法将所有客户端分组为两个以上集群”，具体还包括步骤：
根据客户端本地模型参数的相似性构建客户集群，不同的集群间互不干扰地进行联邦学习。
4.根据权利要求1所述的一种基于两阶段聚类提升联邦学习模型性能的训练方法，其特征在于，所述“采用预设算法对每个细粒度集群进行训练”，具体还包括步骤：
通过“伪”小批量SGD对每个细粒度集群进行训练。
5.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：获取每个客户在本地通过联邦学习训练好后的模型；
通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器；
通过第二阶段聚类将每个集群中的客户端分组为两个以上细粒度集群，采用预设算法对每个细粒度集群进行训练。
6.根据权利要求5所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“通过第一阶段聚类将所有客户端分组为两个以上集群，每个集群对应一个不同的中央服务器”，具体还包括步骤：
通过K-Center聚类方法将所有客户端分组为两个以上集群。
7.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“通过K-Center聚类方法将所有客户端分组为两个以上集群”，具体还包括步骤：
根据客户端本地模型参数的相似性构建客户集群，不同的集群间互不干扰地进行联邦学习。
8.根据权利要求5所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“采用预设算法对每个细粒度集群进行训练”，具体还包括步骤：
通过“伪”小批量SGD对每个细粒度集群进行训练。
CN202110661289.1A 2021-06-15 2021-06-15 基于两阶段聚类的联邦学习模型训练方法和存储设备 Active CN113313266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110661289.1A CN113313266B (zh) 2021-06-15 2021-06-15 基于两阶段聚类的联邦学习模型训练方法和存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110661289.1A CN113313266B (zh) 2021-06-15 2021-06-15 基于两阶段聚类的联邦学习模型训练方法和存储设备

Publications (2)

Publication Number Publication Date
CN113313266A true CN113313266A (zh) 2021-08-27
CN113313266B CN113313266B (zh) 2023-10-24

Family

ID=77378935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110661289.1A Active CN113313266B (zh) 2021-06-15 2021-06-15 基于两阶段聚类的联邦学习模型训练方法和存储设备

Country Status (1)

Country Link
CN (1) CN113313266B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595384A (zh) * 2023-07-14 2023-08-15 支付宝(杭州)信息技术有限公司 模型训练方法及装置
WO2023160309A1 (zh) * 2022-02-28 2023-08-31 华为技术有限公司 一种联邦学习方法以及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915023A (zh) * 2020-08-28 2020-11-10 支付宝(杭州)信息技术有限公司 一种基于联邦学习的超参数确定方法及装置
CN112181971A (zh) * 2020-10-27 2021-01-05 华侨大学 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统、设备和可读存储介质
CN112465626A (zh) * 2020-11-24 2021-03-09 平安科技（深圳）有限公司 基于客户端分类聚合的联合风险评估方法及相关设备
US20210073639A1 (en) * 2018-12-04 2021-03-11 Google Llc Federated Learning with Adaptive Optimization
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法
CN112712182A (zh) * 2021-03-29 2021-04-27 腾讯科技（深圳）有限公司 一种基于联邦学习的模型训练方法、装置及存储介质
CN112884163A (zh) * 2021-03-18 2021-06-01 中国地质大学（北京） 基于联邦机器学习算法与云端反馈的组合服务评估方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073639A1 (en) * 2018-12-04 2021-03-11 Google Llc Federated Learning with Adaptive Optimization
CN111915023A (zh) * 2020-08-28 2020-11-10 支付宝(杭州)信息技术有限公司 一种基于联邦学习的超参数确定方法及装置
CN112181971A (zh) * 2020-10-27 2021-01-05 华侨大学 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统、设备和可读存储介质
CN112465626A (zh) * 2020-11-24 2021-03-09 平安科技（深圳）有限公司 基于客户端分类聚合的联合风险评估方法及相关设备
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法
CN112884163A (zh) * 2021-03-18 2021-06-01 中国地质大学（北京） 基于联邦机器学习算法与云端反馈的组合服务评估方法与系统
CN112712182A (zh) * 2021-03-29 2021-04-27 腾讯科技（深圳）有限公司 一种基于联邦学习的模型训练方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KHALIL MUHAMMAD ET AL.: "FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems", 《IN PROCEEDINGS OF THE 26TH ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING (KDD ’20)》, pages 1 - 9 *
YUE ZHAO ET AL.: "Federated Learning with Non-IID Data", 《ARXIV》, pages 1 - 13 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160309A1 (zh) * 2022-02-28 2023-08-31 华为技术有限公司 一种联邦学习方法以及相关设备
CN116595384A (zh) * 2023-07-14 2023-08-15 支付宝(杭州)信息技术有限公司 模型训练方法及装置
CN116595384B (zh) * 2023-07-14 2023-11-24 支付宝(杭州)信息技术有限公司 模型训练方法及装置

Also Published As

Publication number Publication date
CN113313266B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
US20220108177A1 (en) Concepts for federated learning, client classification and training data similarity measurement
Zhao et al. Privacy-preserving collaborative deep learning with unreliable participants
Scardapane et al. Distributed learning for random vector functional-link networks
Tao et al. Label similarity-based weighted soft majority voting and pairing for crowdsourcing
JP2023505973A (ja) 連合混合モデル
CN113505882B (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
Liu et al. Resource-constrained federated edge learning with heterogeneous data: Formulation and analysis
WO2023109059A1 (zh) 确定融合参数的方法、信息推荐方法和模型训练方法
Liu et al. Keep your data locally: Federated-learning-based data privacy preservation in edge computing
CN113313266B (zh) 基于两阶段聚类的联邦学习模型训练方法和存储设备
CN113657607B (zh) 一种面向联邦学习的连续学习方法
WO2022057433A1 (zh) 一种机器学习模型的训练的方法以及相关设备
CN114091667A (zh) 一种面向非独立同分布数据的联邦互学习模型训练方法
Xie et al. A distributed semi-supervised learning algorithm based on manifold regularization using wavelet neural network
CN115359298A (zh) 基于稀疏神经网络的联邦元学习图像分类方法
WO2022013879A1 (en) Federated learning using heterogeneous labels
Khan et al. Unsupervised domain adaptation using fuzzy rules and stochastic hierarchical convolutional neural networks
Liu et al. Quantum‐Based Feature Selection for Multiclassification Problem in Complex Systems with Edge Computing
US20210326757A1 (en) Federated Learning with Only Positive Labels
Firdaus et al. Personalized federated learning for heterogeneous data: A distributed edge clustering approach
Wei et al. Quantum assisted scheduling algorithm for federated learning in distributed networks
Zhang et al. Federated multi-task learning with non-stationary heterogeneous data
Chen et al. Resource-aware knowledge distillation for federated learning
Wagle et al. Embedding alignment for unsupervised federated learning via smart data exchange
CN114329127B (zh) 特征分箱方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant