CN115270935A - 环状无中心联邦学习方法、系统、电子装置和存储介质 - Google Patents

环状无中心联邦学习方法、系统、电子装置和存储介质 Download PDF

Info

Publication number
CN115270935A
CN115270935A CN202210822852.3A CN202210822852A CN115270935A CN 115270935 A CN115270935 A CN 115270935A CN 202210822852 A CN202210822852 A CN 202210822852A CN 115270935 A CN115270935 A CN 115270935A
Authority
CN
China
Prior art keywords
client
model
data set
centerless
task model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210822852.3A
Other languages
English (en)
Inventor
黄建军
于亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210822852.3A priority Critical patent/CN115270935A/zh
Publication of CN115270935A publication Critical patent/CN115270935A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种环状无中心联邦学习方法、系统、电子装置和存储介质，方法包括：每个客户端在本地数据集上训练生成器模型；选取一个客户端，将该客户端的生成器模型传输至下一客户端，直至最后一个客户端的生成器模型传输至第一个选取的客户端，形成环状的通信链路，实现所有的客户端的相邻客户端数据集扩增；每个客户端在本地数据集上初始化任务模型，并将该客户端的任务模型参数传递至下一客户端；每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数；判断是否达到迭代终止条件；若是，则结束学习；若否，则继续执行同上的每个客户端更新任务模型参数的步骤。

Description

环状无中心联邦学习方法、系统、电子装置和存储介质
技术领域
本发明涉及机器学技术习领域，尤其涉及一种环状无中心联邦学习方法、系统、电子装置和存储介质。
背景技术
近年来联邦学习(Federated Learning)技术与医疗领域的应用的结合急剧升温。一方面，联邦学习能够联合多家医疗机构共同训练全局模型，综合利用各家机构的数据和标注以扩大样本数据量和标注数量，并使解决样本不平衡问题成为可能。另一方面，联邦学习不需要在医疗机构间交换数据，满足了患者隐私保护、数据安全和政府法规等要求。此外，联邦学习的成果还可以在医疗机构间进行共享，从而能够在一定程度上缓解医疗资源分布不均衡的问题。然而，在实际应用时，当各家医疗机构的患者数量和病症类型存在数据分布差异，即医疗机构间不满足独立同分布(Independent Identical Distribution，缩写为IID)假设时，将增加问题建模、理论分析和解决方案实证评估方面的复杂性，导致模型性能下降。因此，研究基于分布共享的跨医疗机构联邦学习方法是十分必要的。
现有技术针对非独立同分布(Non-Independent Identical Distribution，缩写为Non-IID)数据给联邦学习所带来的挑战主要从两个方面来解决：目标函数优化和求解方式优化。在目标函数优化方面，主要通过在客户端添加正则化项，在本地模型最优化和减小本地模型与全局模型差异之间折衷处理，从而达到解决各节点数据非独立同分布的目的。该方法能够在一定程度上改善联邦学习在非独立同分布客户端情况下的学习性能，但是改善的程度受限于客户端数据采样的一致性。在求解方式优化方面，主要是通过改进服务器端聚合方式和共享客户端数据两种方式来实现联邦学习模型性能的提升。在改进服务端聚合方式上，如服务器端通过在验证数据集上测试临时模型的准确性以获得客户端的模型精度，然后对其归一化后再聚合所有参数。或者利用贝叶斯非参数方法以分层方式匹配和平均权重以及在平均之前对本地更新进行了归一化等方法。然而以上方法在提升全局模型性能上的表现有限，因此更多学者诉诸于新的求解方式，从造成全局模型性能下降的源头即Non-IID问题本身出发，通过客户端数据共享来优化联邦学习模型的性能。如服务器端分享一小部分公共数据给客户端用于训练，以减少经过训练的客户端本地模型之间的差异，从而增加训练过程中的鲁棒性和稳定性。这种共享依赖于特定任务的公共数据集，在实际中这部分公共数据的获取和分享都存在隐私泄漏的风险。或者少部分学者通过共享数据生成器的方式来实现分布信息共享，但是存在数据质量过低的风险。
发明内容
本发明的主要目的在于提供一种环状无中心联邦学习方法、系统、电子装置和存储介质，旨在解决现有技术在联邦学习的过程中，具有数据隐私泄露，或者数据质量过低的技术问题。
为实现上述目的，本发明第一方面提供一种环状无中心联邦学习方法，包括：每个客户端在本地数据集上训练生成器模型；选取一个客户端，将该客户端的生成器模型传输至下一客户端，直至最后一个客户端的生成器模型传输至第一个选取的客户端，形成环状的通信链路，实现所有的客户端的相邻客户端数据集扩增；每个客户端在本地数据集上初始化任务模型，并将该客户端的任务模型参数传递至下一客户端；每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数；判断是否达到迭代终止条件；若是，则结束学习；若否，则继续执行同上的每个客户端更新任务模型参数的步骤
进一步地，所述每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数的步骤包括：将每个客户端本地的任务模型作为学生模型，将接收的上一客户端的任务模型作为老师模型，更新学生模型的参数，并将更新后的学生模型参数传输至下一客户端。
进一步地，所述判断是否达到迭代终止条件包括：判断每个客户端的任务模型是否收敛或者判断是否达到所设的迭代次数，若是，则达到迭代终止条件，若否，则未达到迭代终止条件。
进一步地，在所述实现所有的客户端的相邻客户端数据集扩增时，每个客户端仅能够获取上一客户端的数据分布信息。
进一步地，在客户端收到上一客户端的生成器模型后，使用所述生成器模型进行数据集的扩增。
进一步地，所述客户端进行数据集的扩增时，所述客户端c+1收到来自上一客户端c的生成器Gc，Nc＝|Dc|是客户c本地数据的数量，根据Gc生成N′c+1个扩增数据的集合：
D′c+1＝{xl|xl＝G(zl),l＝1,2,…,N′c+1}
本发明第二方面提供一种环状无中心联邦学习系统，包括：模型生成模块，用于在每个客户端在本地数据集上训练生成器模型；信息共享模块，用于选取一个客户端，将该客户端的生成器模型传输至下一客户端，直至最后一个客户端的生成器模型传输至第一个选取的客户端，形成环状的通信链路，实现所有的客户端的相邻客户端数据集扩增；初始化模块，用于每个客户端在本地数据集上初始化任务模型，并将该客户端的任务模型参数传递至下一客户端；参数更新模块，用于每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数；迭代模块，用于判断是否达到迭代终止条件；若是，则结束学习；若否，则继续执行所述参数更新模块。
本发明第三方面提供一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述中的任意一项所述环状无中心联邦学习方法。
本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述中的任意一项所述环状无中心联邦学习方法。
本发明提供一种环状无中心联邦学习方法、系统、电子装置和存储介质，有益效果在于：通过在相邻客户端之间实现数据共享，能够较好的保护客户端的数据以及隐私，在进行模型参数聚合后，也就使得所有的客户端都能够学习到其他客户端数据分布的特征，不仅最终消除跨医疗机构联邦学习中存在的Non-IID现象对联邦学习性能造成的不良影响，而且在每个客户端集合了所有客户端数据分布的特征后，使得每个客户端的数据质量得到了极大的提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例环状无中心联邦学习方法的流程图；
图2为本发明实施例环状无中心联邦学习方法的通信架构图；
图3为本发明实施例环状无中心联邦学习方法的分布信息共享过程示意图；
图4为本发明实施例环状无中心联邦学习方法的师生指导学习示意图；
图5是本发明实施例环状无中心联邦学习方法的具体实施方式的流程图；
图6为本发明实施例环状无中心联邦学习方法的本地模型训练及参数共享方式示意图；
图7为本发明实施例环状无中心联邦学习方法的不同方法的联邦学习性能对比曲线图；
图8为本发明实施例环状无中心联邦学习方法的不同方法的联邦学习性能对比曲线图；
图9为本发明实施例环状无中心联邦学习方法和集中式学习方法输出差值曲线图；
图10为本发明实施例环状无中心联邦学习方法的不同MMD下的不同方法性能对比曲线图；
图11为本发明实施例环状无中心联邦学习方法的不同MMD下的不同方法性能对比图；
图12为本发明实施例环状无中心联邦学习系统的结构框架图；
图13为本发明实施例电子装置的结构示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为一种环状无中心联邦学习方法，包括：
S101、在每个客户端在本地数据集上训练生成器模型；
S102、选取一个客户端，将该客户端的生成器模型传输至下一客户端，直至最后一个客户端的生成器模型传输至第一个选取的客户端，形成环状的通信链路，实现所有的客户端的相邻客户端数据集扩增；
S103、每个客户端在本地数据集上初始化任务模型，并将该客户端的任务模型参数传递至下一客户端；
S104、每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数。
在本实施例中，环状无中心联邦学习方法还包括：判断是否达到迭代终止条件；
若是，则结束学习；若否，则继续执行同上的更新任务模型参数的步骤。
在本实施例中，上述的继续执行同上的更新任务模型参数的步骤，即为步骤S103。
本实施例提供的环状无中心联邦学习，是基于分布知识共享和知识蒸馏的环状无中心联邦学习方法，通过在相邻客户端之间实现数据共享，能够较好的保护客户端的数据以及隐私，在进行模型参数聚合后，也就使得所有的客户端都能够学习到其他客户端数据分布的特征，不仅最终消除跨医疗机构联邦学习中存在的Non-IID现象对联邦学习性能造成的不良影响，而且在每个客户端集合了所有客户端数据分布的特征后，使得每个客户端的数据质量得到了极大的提升。
其中，在进行数据扩增时，数据扩增的目的是使环状通信图上后一个客户端拥有前一个客户端的数据分布信息的数据，从而使得相邻两个客户数据达到分布一致以提高任务模型的性能。具体方法是利用生成器模型生成数据以完成数据的扩增。设客户c+1收到来自客户c的生成器为Gc，Nc＝|Dc|是客户c本地数据的数量，根据Gc可以生成N′c+1个扩增数据的集合
D′c+1＝{xl|xl＝G(zl),l＝1,2,…,N′c+1} (1)
在本实施例中，每个医疗机构可以作为一个客户端，本实施例还将参与了联邦学习的客户端进行通信链接，使得每个客户端仅能够接收一个客户端的信息和向一个客户端发送信息，构成环状的通信图谱，而基于通信图谱，环状无中心的联邦学习通信架构可参阅图2，其中Gk为第k个客户端共享的生成器模型。
在实施例中，所述判断是否达到迭代终止条件包括：判断每个客户端的任务模型是否收敛或者判断是否达到所设的迭代次数，若是，则达到迭代终止条件，若否，则未达到迭代终止条件。
在该实施例中，在所述实现所有的客户端的相邻客户端数据集扩增时，每个客户端仅能够获取上一客户端的数据分布信息。
在相邻客户端之间进行共享，使得仅当前客户端拥有上一方客户端的数据分布信息，在保护隐私的前提下，间接实现了分布信息共享。
因此，本实施例提供的环状无中心联邦学习方法，通过在相邻客户端之间实现数据共享，能够较好的保护客户端的数据以及隐私，在进行模型参数聚合后，也就使得所有的客户端都能够学习到其他客户端数据分布的特征，不仅最终消除跨医疗机构联邦学习中存在的Non-IID现象对联邦学习性能造成的不良影响，而且在每个客户端集合了所有客户端数据分布的特征后，使得每个客户端的数据质量得到了极大的提升。
在该实施例中，在客户端收到上一客户端的生成器模型后，使用所述生成器模型进行数据集的扩增。
在本实施例中，主要通过生成器模型学习数据的分布信息，从而对医疗机构的数据集进行扩充。而在数据扩增的工具方面，当前的先进技术是采用深度学习中的生成器模型。生成器不仅能够有效学习数据的分布信息，而且能够生成符合真实分布的数据，其中生成式对抗网络(Generative Adversarial Nets,缩写为GAN)是当前主流生成器模型中的一种。GAN主要通过生成器网络G和辨别器网络D之间的竞争对抗来进行训练，生成器G将随机的噪声分布映射到需要得到的真实分布，判别器D则对混杂在一起的真实数据和生成数据进行判断以确定其真实性。在训练过程中，生成器网络G的目标是尽量生成真实的数据去欺骗判别网络D，而D的目标就是尽量辨别出G生成的假数据。G和D构成了一个动态的“博弈过程”，最终达到“纳什均衡点”。但是GAN存在着训练不稳定，梯度爆炸等问题，因此本发明采用带有惩罚梯度的生成式对抗网络(Wasserstein Generative Adversarial Net withGradient penalty,缩写为WGAN-GP)作为数据生成器来获取局部客户端的数据分布信息。
在其他实施例中，还可以通过联邦学习训练全局生成器的方法实现分布信息的全局共享。
客户端的生成器模型在本地数据集上训练后会得到具有反应本地数据分布信息的生成器模型。本发明结合环状联邦学习架构的特点，将包含分布信息的生成器模型传递给通信图谱上的相邻客户端，并在该客户端上利用生成器模型生成相应的数据。使得仅当前客户端拥有上一方客户端的数据分布信息，在保护隐私的前提下，间接实现了分布信息共享。其分布信息共享过程示意图如图3所示，其中Gk为第k个客户端共享的生成器模型。
在一个实施例中，所述每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数的步骤包括：
将每个客户端本地的任务模型作为学生模型，将接收的上一客户端的任务模型作为老师模型，在扩增数据集上进行师生指导学习来更新学生模型的参数，并在本地数据集上再次更新学生模型，最后将更新后的学生模型参数传输至下一客户端。
在本实施例中，该流程主要讲述如何利用共享分布信息进行模型参数聚合来消除跨医疗机构联邦学习中存在的Non-IID现象对联邦学习性能造成的不良影响。首先所有客户端在本地数据集上对本地的任务模型进行训练后选出联邦学习训练的首个发起客户端c，并将其模型发送给下一个客户端c+1。客户端c+1在收到传来的模型后，根据医疗任务的评价指标用任务模型对生成数据做一个评分筛选，分高的保留，分低的舍去。然后在筛选后的数据上进行如图4所示的师生指导学习。
因此，在本实施例中，如图5所示，环状无中心联邦学习方法具体实施方式如下：每个客户端在本地数据集上训练生成器模型；令c＝1,2，…C，客户端c向客户端c+1传送生成器Gc，当c＝C时，令c+1＝1，即形成环状。通过Gc在c+1上扩增数据集。每个客户端在本地数据集上初始化任务模型，然后将客户端c的任务模型参数wc传递给客户端c+1；客户端c+1将任务模型参数wc当作老师，wc+1当作学生，在扩增数据集上进行师生指导学习，更新任务模型参数wc+1；然后再本地数据集上更新任务模型参数wc+1，并将更新后的任务模型参数传递给下一方客户端；随后判断是否达到迭代终止条件，若是，则结束，若否，则返回“客户端c+1将任务模型参数wc当作老师，wc+1当作学生，在扩增数据集上进行师生指导学习，更新任务模型参数wc+1”的步骤。
本实施例通过如图6所示方式在本地数据集上再次对任务模型参数进行更新，并将该模型参数传递给下一方客户端。
在本实施例中，由于整个的训练过程是先在扩增数据集上进行师生指导学习，然后再在本地数据上进行训练。更新后的模型相当于融合了两方客户端数据分布的特征，再经过多轮迭代训练后，所有的客户端都能够学习到该环状架构下其他客户端数据分布的特征，即达成了全局模型的训练效果，最终消除跨医疗机构联邦学习中存在的Non-IID现象对联邦学习性能造成的不良影响。
在上述实施例中，主要讲述如何利用共享分布信息进行模型参数聚合来消除跨医疗机构联邦学习中存在的Non-IID现象对联邦学习性能造成的不良影响。在可信环状无中心联邦学习框架下，通过可信信道，客户不仅接收到了来自客户的任务模型参数，同时也接收到了客户共享的生成器模型。通过可以在本地生成(9)式给出的扩增数据集。由于与客户的本地数据集具有一致的分布，客户利用训练所得到的任务模型，具有良好的性能。然而，客户的本地数据集通常与不具有分布一致性，从而在客户本地数据集上的性能比在上的性能要差。因此，现有的模型聚合算法如联邦平均及其各种改进算法在环状无中心联邦学习框架中性能表现较差。为此，本发明提出一种环状无中心联邦学习方法。
由于客户本地训练的任务模型在数据集与数据集上具有相似的最优性能，因而可以在数据集上用客户本地训练的任务模型教导客户的本地任务模型的训练，以提高客户本地任务模型在数据集上的性能。这一思路可以用迁移学习中的教师-学生(Teacher-Student)模型来实现。
基于分布知识共享和知识蒸馏的环状无中心联邦学习的训练目标是使得总损失函数
Figure BDA0003742962970000101
最小化。这里，是一个超参数，用于控制本地模型的倾向性。是客户的本地任务模型(每个客户要训练的任务模型可以相同，也可以不同)的参数，对应的损失函数其定义如下：
Figure BDA0003742962970000102
式中是任务模型在数据样本上的损失，是环状通信链路上相邻客户与的模型差异，其定义如下：
Rc+1(wc+1，wc)＝αLsoft(wc+1，wc)+βLhard(wc+1) (4)
其中
Figure BDA0003742962970000103
Figure BDA0003742962970000104
分别是在数据集上的知识蒸馏损失和学生损失，其定义与标准教师-学生模型相同；是两个超参数。当相邻客户模型相同时其值为0，当相邻客户模型存在差异时大于O，差异越小则该值越小，反之则越大。根据增量型凸优化理论，最小化(1)式可以采用如下的迭代方式进行求解。在第次迭代时，先对中间变量进行梯度下降更新
Figure BDA0003742962970000105
其中是梯度下降步长，上标分别表示第次迭代的值。然后，对模型参数进行更新
Figure BDA0003742962970000106
由(7)式可知，的迭代学习到了在数据集上的行为，从而使得(8)式更新后的本地模型在数据集上具有优化的性能。再经过多轮迭代训练后，所有的客户端都能够学习到该环状架构下其他客户端数据分布的特征，即达成了全局模型的训练效果，最终消除跨医疗机构联邦学习中存在的Non-IID现象对联邦学习性能造成的不良影响。
本实施例针对现有联邦学习技术不能有效解决跨医疗机构的联邦学习存在的Non-IID问题，提出了基于分布信息共享和知识蒸馏的跨医疗机构环状无中心联邦学习方法。首先通过共享局部生成器的方法实现了数据的间接共享而没有直接共享数据，从而较好的保护了客户端数据隐私。然后在扩增数据集上通过师生指导学习方式更新本地任务模型参数，最后在本地数据集上训练再次更新本地任务模型参数，完成相邻客户端的任务模型参数聚合。通过此种方式，使得所有的客户端都能够学习到该环状架构下其他客户端数据分布的特征，最终消除跨医疗机构联邦学习中存在的Non-IID现象对联邦学习性能造成的不良影响。图7和图8为参与联邦学习训练的客户端分别为2个以及3个的情况下，当客户端内以及端间数据分布不一致时，本发明的方法与其他方法的性能对比。可以看到当客户端数据分布很不一致时，基于联邦平均的方法其模型损失较大，跟集中式学习方法相比其性能相差较大，且训练不稳定；而本发明方法收敛速度较快，且性能接近或者达到集中式学习性能。图9为本发明方法与集中式学习方法输出差值。当差值越小，说明本发明的方法越接近集中式学习的性能，从图中可以本发明方法与集中式学习的输出表现差值几乎为0，这有效说明了本发明方法的有益效果。
为了进一步验证本发明方法的有效性，本发明用最大均值差异(MMD)来衡量客户端的数据分布不一致性，当MMD越大时，说明客户端数据分布越不一致。如图10和图11所示，其中图11的箱线图从左上角到右下角其MMD依次增大。可以看到随着MMD的增大，即客户端数据分布不一致性增加时，基于联邦平均的方法其模型的性能损失较大，在急剧偏离集中式学习的性能；而本发明的方法相比于联邦平均，其性能更好，且偏离集中式学习性能的速度较缓。综上，可以验证即使在不同的MMD下，本发明的方法也是有效的，且相比于联邦平均，模型性能有明显的提高。
请参阅图12，本发明实施例还提供一种环状无中心联邦学习系统，包括：模型生成模块1、信息共享模块2、初始化模块3、参数更新模块4及迭代模块5；模型生成模块1用于在每个客户端在本地数据集上训练生成器模型；信息共享模块2用于选取一个客户端，将该客户端的生成器模型传输至下一客户端，直至最后一个客户端的生成器模型传输至第一个选取的客户端，形成环状的通信链路，实现所有的客户端的相邻客户端数据集扩增；初始化模块3用于每个客户端在本地数据集上初始化任务模型，并将该客户端的任务模型参数传递至下一客户端；参数更新模块4用于每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数；迭代模块5用于判断是否达到迭代终止条件；若是，则结束学习；若否，则继续执行所述参数更新模块。
参数更新模块4包括：模型更新单元和参数传输单元，模型更新单元用于将每个客户端本地的任务模型作为学生模型，将接收的上一客户端的任务模型作为老师模型，在扩增数据集上更新学生模型的参数，并在本地数据集上再次更新学生模型参数；参数传输单元用于将更新后的任务模型参数传输至下一客户端。
本实施例提供的环状无中心联邦学习系统，通过在相邻客户端之间实现数据共享，能够较好的保护客户端的数据以及隐私，在进行模型参数聚合后，也就使得所有的客户端都能够学习到其他客户端数据分布的特征，不仅最终消除跨医疗机构联邦学习中存在的Non-IID现象对联邦学习性能造成的不良影响，而且在每个客户端集合了所有客户端数据分布的特征后，使得每个客户端的数据质量得到了极大的提升。
本申请实施例提供一种电子装置，请参阅图13，该电子装置包括：存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，处理器602执行该计算机程序时，实现前述中描述的环状无中心联邦学习方法。
进一步的，该电子装置还包括：至少一个输入设备603以及至少一个输出设备604。
上述存储器601、处理器602、输入设备603以及输出设备604，通过总线605连接。
其中，输入设备603具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备604具体可为显示屏。
存储器601可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器601用于存储一组可执行程序代码，处理器602与存储器601耦合。
进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述中的存储器601。该计算机可读存储介质上存储有计算机程序，该程序被处理器602执行时实现前述实施例中描述的环状无中心联邦学习方法。
进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器601(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种环状无中心联邦学习方法、系统、电子装置和存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种环状无中心联邦学习方法，其特征在于，包括：
每个客户端在本地数据集上训练生成器模型；
选取一个客户端，将该客户端的生成器模型传输至下一客户端，直至最后一个客户端的生成器模型传输至第一个选取的客户端，形成环状的通信链路，实现所有的客户端的相邻客户端数据集扩增；
每个客户端在本地数据集上初始化任务模型，并将该客户端的任务模型参数传递至下一客户端；
每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数；
判断是否达到迭代终止条件；
若是，则结束学习；
若否，则继续执行同上的每个客户端更新任务模型参数的步骤。
2.根据权利要求1所述的环状无中心联邦学习方法，其特征在于，
所述每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数的步骤包括：
将每个客户端本地的任务模型作为学生模型，将接收的上一客户端的任务模型作为老师模型，在扩增数据集上进行师生指导学习来更新学生模型的参数，并在本地数据集上再次更新学生模型参数。
3.根据权利要求1所述的环状无中心联邦学习方法，其特征在于，
所述判断是否达到迭代终止条件包括：判断每个客户端的任务模型是否收敛或者判断是否达到所设的迭代次数，若是，则达到迭代终止条件，若否，则未达到迭代终止条件。
4.根据权利要求1所述的环状无中心联邦学习方法，其特征在于，
在所述实现所有的客户端的相邻客户端数据集扩增时，每个客户端仅能够获取上一客户端的数据分布信息。
5.根据权利要求1所述的环状无中心联邦学习方法，其特征在于，
在客户端收到上一客户端的生成器模型后，使用所述生成器模型进行数据集的扩增。
6.根据权利要求5所述的环状无中心联邦学习方法，其特征在于，
所述客户端进行数据集的扩增时，所述客户端c+1收到来自上一客户端c的生成器Gc，Nc＝|Dc|是客户c本地数据的数量，根据Gc生成N′c+1个扩增数据的集合：
D′c+1＝{xl|xl＝G(zl),l＝1,2,…,N′c+1}。
7.一种环状无中心联邦学习系统，其特征在于，包括：
模型生成模块，用于每个客户端在本地数据集上训练生成器模型；
信息共享模块，用于选取一个客户端，将该客户端的生成器模型传输至下一客户端，直至最后一个客户端的生成器模型传输至第一个选取的客户端，形成环状的通信链路，实现所有的客户端的相邻客户端数据集扩增；
初始化模块，用于每个客户端在本地数据集上初始化任务模型，并将该客户端的任务模型参数传递至下一客户端；
参数更新模块，用于每个客户端在扩增数据集上利用师生指导学习更新任务模型参数，并在本地数据集上再次更新任务模型参数；
迭代模块，用于判断是否达到迭代终止条件；若是，则结束学习；若否，则继续执行所述参数更新模块。
8.一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至6中的任意一项所述方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至6中的任意一项所述方法。
CN202210822852.3A 2022-07-12 2022-07-12 环状无中心联邦学习方法、系统、电子装置和存储介质 Pending CN115270935A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210822852.3A CN115270935A (zh) 2022-07-12 2022-07-12 环状无中心联邦学习方法、系统、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210822852.3A CN115270935A (zh) 2022-07-12 2022-07-12 环状无中心联邦学习方法、系统、电子装置和存储介质

Publications (1)

Publication Number Publication Date
CN115270935A true CN115270935A (zh) 2022-11-01

Family

ID=83765909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210822852.3A Pending CN115270935A (zh) 2022-07-12 2022-07-12 环状无中心联邦学习方法、系统、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN115270935A (zh)

Similar Documents

Publication Publication Date Title
US9721221B2 (en) Skill estimation method in machine-human hybrid crowdsourcing
US11586911B2 (en) Pre-training system for self-learning agent in virtualized environment
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
US10810463B2 (en) Updating attribute data structures to indicate joint relationships among attributes and predictive outputs for training automated modeling systems
EP3955204A1 (en) Data processing method and apparatus, electronic device and storage medium
CN111401558A (zh) 数据处理模型训练方法、数据处理方法、装置、电子设备
US20220176248A1 (en) Information processing method and apparatus, computer readable storage medium, and electronic device
WO2021115356A1 (zh) 自适应窗宽窗位调节方法、装置、计算机系统及存储介质
CN110175168A (zh) 一种基于生成对抗网络的时间序列数据填补方法及系统
US20210089882A1 (en) Near-Zero-Cost Differentially Private Deep Learning with Teacher Ensembles
CN112416986B (zh) 基于分层个性化联邦学习的用户画像实现方法及系统
EP4113394A2 (en) Federated learning method, apparatus and system, electronic device, and storage medium
US20220237917A1 (en) Video comparison method and apparatus, computer device, and storage medium
CN112580728B (zh) 一种基于强化学习的动态链路预测模型鲁棒性增强方法
CN115599799B (zh) 面向医疗大数据的区块链与联邦学习融合方法
US20200125958A1 (en) Training apparatus, training method, inference apparatus, inference method, and non-transitory computer readable medium
CN110929041A (zh) 基于分层注意力机制的实体对齐方法及系统
CN112949835A (zh) 基于卷积循环神经网络对知识图谱的推理方法及设备
CN115204416A (zh) 基于分层抽样优化的面向异构客户端的联合学习方法
KR102611121B1 (ko) 이미지 분류 모델 생성 방법 및 장치
CN113361279B (zh) 一种基于双邻域图神经网络的医疗实体对齐方法及系统
CN106407932A (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
CN117523291A (zh) 基于联邦知识蒸馏和集成学习的图像分类方法
CN115270935A (zh) 环状无中心联邦学习方法、系统、电子装置和存储介质
CN115909027A (zh) 一种态势估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination