CN116629376A - 一种基于无数据蒸馏的联邦学习聚合方法和系统 - Google Patents

一种基于无数据蒸馏的联邦学习聚合方法和系统 Download PDF

Info

Publication number
CN116629376A
CN116629376A CN202310461917.0A CN202310461917A CN116629376A CN 116629376 A CN116629376 A CN 116629376A CN 202310461917 A CN202310461917 A CN 202310461917A CN 116629376 A CN116629376 A CN 116629376A
Authority
CN
China
Prior art keywords
client
generator
local
global
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310461917.0A
Other languages
English (en)
Inventor
吴超
张真源
李皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310461917.0A priority Critical patent/CN116629376A/zh
Publication of CN116629376A publication Critical patent/CN116629376A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于无数据蒸馏的联邦学习聚合方法和系统，属于联邦学习和隐私保护研究领域。该方法通过引入分布式生成式对抗网络来实现无数据的联邦知识蒸馏，从而解决基于参数平均的联邦学习方法所存在的不支持模型异构、隐私泄露以及基于知识蒸馏的联邦学习方法所存在的难以获取公共数据集的问题。该方法主要包括本地对抗训练、生成式对抗网络聚合、联邦蒸馏三个步骤。本发明的方法提高了预测准确性，尤其是在一些极端的非独立同分布场景下(如客户端类别极度不均衡、数据量极度不均衡等)的预测准确性。同时，本发明的方法相较于现有的联邦学习方法实现了对客户端模型异构的支持，提高了隐私保护能力，增强了泛化性能。

Description

一种基于无数据蒸馏的联邦学习聚合方法和系统
技术领域
本发明属于深度学习研究领域，具体涉及一种基于无数据蒸馏的联邦学习聚合方法和系统。
背景技术
重视个人数据的安全以及强调对个人信息的保护已经成为世界性的趋势，现有的大部分深度学习方法需要有大数据的支撑，传统的集中数据进行训练的方案不再适用于数据保护的新场景，联邦学习(FL)作为一种分布式的机器学习算法为这个问题提供了新的解决方案。
在实际的工业场景中，客户端之间的计算能力、存储能力及通信能力往往存在较大的差异，且各自所拥有的数据分布及训练模型都存在异构的现象，这给现有的联邦学习算法带来了巨大的挑战。
部分研究面向数据异构或是模型异构的单一场景设计了解决方案，但是并未将两者综合起来进行考虑，很难得到有效的应用。另外，这些方法有着很强的假设限制，在现实场景中很难得到有效的满足。因此，设计一种能够同时适用于模型异构和数据异构问题的泛化性能更强的联邦学习聚合方法是本领域亟待解决的技术问题。
发明内容
为了解决上述技术问题，本发明提供了一种基于无数据蒸馏的联邦学习聚合方法和系统，提升了现有联邦学习的泛化性能、精度以及隐私保护能力。
为实现上述目的，本发明的技术方案是：
第一方面，本发明提出了一种基于无数据蒸馏的联邦学习聚合方法，包括以下步骤：
步骤1：由服务端定义生成器和判别器网络结构并发送给每个参与联邦学习的客户端；所述的客户端定义本地分类器网络结构；
步骤2：各客户端利用本地私有数据对生成器、判别器和本地分类器进行若干轮次的三方对抗训练；将训练完成后的生成器和判别器参数反馈至服务端；
步骤3：服务端接收所有客户端反馈的生成器参数和判别器参数并计算全局参数，将全局参数和预定义的噪声向量、批次大小发送给各客户端；
步骤4：客户端接收全局参数后加载得到全局生成器和全局判别器，将噪声向量输入全局生成器，得到生成样本，将生成样本输入本地分类器得到软标签，并将软标签反馈至服务端；
步骤5：服务端接收所有客户端的软标签，计算各客户端的全局平均软标签并发回给对应的客户端；
步骤6：客户端根据接收到的全局平均软标签训练本地分类器；
步骤7：重复步骤2-6，直至本地分类器收敛。
进一步的，所述的客户端根据本地的个性化训练任务自定义本地分类器模型结构。
进一步的，步骤6中，各客户端之间通过服务端回传的同一批生成样本的软标签进行知识蒸馏，每一个客户端接收到的全局平均软标签为除自身之外的其他客户端生成的软标签的均值。
进一步的，所述的蒸馏操作的损失为：
其中，L表示蒸馏损失，p(z)表示噪声向量z服从的正态分布，表示生成标签/>服从的均匀分布，G表示全局生成器，Ck表示客户端k的本地分类器，CE表示交叉熵，KL表示Kullback-Leibler散度，/>表示客户端k的全局平均软标签。
第二方面，本发明提出了一种基于无数据蒸馏的联邦学习聚合系统，用于实现上述的联邦学习聚合方法，包括：
服务端，其用于定义生成器和判别器网络结构；根据所有客户端反馈的生成器参数和判别器参数计算全局参数；以及根据客户端发送的软标签计算各客户端的全局平均软标签；
客户端，其用于根据本地的个性化训练任务自定义本地分类器模型结构；以及接收服务端发送的噪声向量和全局生成器，利用全局生成器得到生成样本，将生成样本输入本地分类器得到软标签；
本地训练模块，其置于每一个客户端内，用于利用本地私有数据对生成器、判别器和本地分类器进行若干轮次的三方对抗训练；以及，利用全局平均软标签对本地分类器进行蒸馏操作；
数据传输模块，其用于服务端与客户端时间的信息传输，包括服务端向客户端发送初始化生成器网络结构、初始化判别器网络结构、全局参数、预定义的噪声向量、批次大小和全局平均软标签；以及，客户端向服务端发送本地训练完成后的生成器和判别器参数和软标签。
相较于现有技术，本发明具有以下有益效果：本发明通过引入分布式生成式对抗网络以及知识蒸馏解决了基于参数平均的联邦学习方法所存在的不支持模型异构、隐私泄露以及基于知识蒸馏的联邦学习方法所存在的难以获取公共数据集的问题。同时，本发明在各种极端的非独立同分布联邦学习场景中，尤其是在一些特殊情况下(如客户端类别极度不均衡、数据量极度不均衡等)，相较于现有的联邦学习聚合方法均取得了更加优异的结果。
附图说明
图1为本发明实施例示出的基于无数据蒸馏的联邦学习聚合方法的流程示意图。
图2为本发明实施例示出的本地三方对抗训练的方法示意图。
图3为本发明实施例示出的相较于现有的联邦学习方法在类别极度不均衡场景下的计算精度对比示意图。
图4为本发明实施例示出的相较于现有的联邦学习方法在数量极度不均衡场景下的计算精度对比示意图。
具体实施方式
下面结合附图对本发明做进一步的说明。
本发明提出了一种基于无数据蒸馏的联邦学习聚合方法，通过引入分布式生成式对抗网络来实现无数据的联邦知识蒸馏，从而解决基于参数平均的联邦学习方法所存在的不支持模型异构、隐私泄露以及基于知识蒸馏的联邦学习方法所存在的难以获取公共数据集的问题。该方法主要包括本地对抗训练、生成式对抗网络聚合、联邦蒸馏三个步骤。本发明可用于人脸活体检测等联邦学习的应用场景。
本发明提出的基于无数据蒸馏的新型联邦学习聚合方法，包括以下步骤：
步骤1：服务端定义联邦学习所用的生成器和判别器网络结构，每个参与联邦学习的客户端定义个性化的本地分类器网络结构；服务端将生成器和判别器发送给参与联邦学习的客户端。生成器和判别器可以采用任意的生成式对抗网络结构，分类器可以采用任意的分类网络结构。
步骤2：客户端下载服务端的生成器和判别器模型，并和本地分类器一起在本地的私有数据上进行若干轮次的三方对抗训练。
如图2所示，将服从正态分布的噪声向量z～p(z)和服从均匀分布的生成标签作为生成器Gk的输入，得到服从真实样本分布的生成样本/>将真实样本和生成样本作为判别器Dk的输入，判别器在理想情况下要将真实样本分类为真，并输出A表示接受，将生成样本分类为假，并输出R表示拒绝，根据分类结果计算损失；利用真实样本(x,y)和生成样本/>作为分类器Ck的输入，根据分类结果计算损失；根据总损失执行三方对抗训练，梯度反向传播更新参数。
具体的，判别器Dk需要将真实样本分类为真，并将生成样本分类为假，损失函数为：
其中，表示客户端k的生成器损失，x表示本地真实样本，/>表示客户端k的本地真实样本分布，p(z)表示噪声向量z服从的正态分布，/>表示生成标签/>服从的均匀分布，Gk表示客户端k的生成器，Dk表示客户端k的判别器。
生成器Gk需要让生成样本被判别器Dk分类为真且被分类器Ck准确的分类为对应的类别，损失函数为：
其中，表示客户端k的判别器损失，p(z)表示噪声向量z服从的正态分布，/>表示生成标签/>服从的均匀分布，Gk表示客户端k的生成器，Ck表示客户端k的本地分类器，CE表示交叉熵。
分类器Ck不仅需要正确分类本地训练数据，还需要正确分类由生成器Gk得到的生成样本，损失函数为：
其中，表示客户端k的本地分类器损失，/>表示客户端k的本地真实样本分布，x、y表示本地真实样本和标签，p(z)表示噪声向量z服从的正态分布，/>表示生成标签/>服从的均匀分布，Gk表示客户端k的生成器，Ck表示客户端k的本地分类器，CE表示交叉熵。
训练完成后，参与联邦学习的各客户端将训练完成后的生成器和判别器模型参数发送给服务端。
步骤3：服务端接收所有客户端的生成器和判别器模型参数，使用参数平均的方法计算得到新的全局生成器模型和全局判别器模型参数，将更新后的参数发送给参与联邦学习的客户端，同时定义联邦蒸馏时所需要的噪声向量和批次大小。
步骤4：客户端下载服务端的全局生成器模型参数、全局判别器模型参数和噪声向量，将噪声向量输入全局生成器得到生成假样本，再将生成假样本输入本地分类器得到软标签，并噪声向量对应的软标签发送给服务端；
步骤5：服务端接收所有客户端的软标签，计算作为全局平均软标签并将其发回给客户端；本实施例中，各客户端之间通过服务端回传的同一批生成样本的软标签进行蒸馏操作，每一个客户端接收到的全局平均软标签为除自身之外的其他客户端生成的软标签的均值，记为
步骤6：客户端接收全局平均软标签，并计算蒸馏阶段的损失：
其中，L表示蒸馏损失，p(z)表示噪声向量z服从的正态分布，表示生成标签/>服从的均匀分布，G表示全局生成器，Ck表示客户端k的本地分类器，CE表示交叉熵，KL表示Kullback-Leibler散度，/>表示客户端k的全局平均软标签。
反向传播计算梯度并更新本地分类器参数，从而实现联邦无数据蒸馏；
步骤7：重复步骤2-6直至本地分类器收敛。
将本发明实施例提供的联邦学习聚合方案记为FedDTG，除了最基础的联邦学习方法FedAvg之外，本实施例还与现有的其他联邦学习聚合方法如FedProx、FedDF、FedGen进行了比较。其中，FedProx通过全局模型来对本地模型的更新进行限制，从而防止其过度偏离全局最优；FedDF在传统联邦的基础上对全局模型进行蒸馏从而加速的算法收敛；FedGen利用一个全局的生成器实现了无数据的联邦蒸馏。
表1类别极度不均衡场景下的客户端数据划分。
在上述表1所示的场景下，对比结果如图3，在指定的100个通信轮次中，所对比的三种方法均未达到稳定的收敛状态。而本发明实施例所提出的FedDTG方法不仅在测试准确率的最终数值上远超其他对比方法，而且训练时的波动更小，收敛速度更快。
表2数量极度不均衡场景下的客户端数据划分
在上述表2所示的场景下，对比结果如图4，FedAvg、FedProx、FedDF三种方法精度远没有FedGen和FedDTG高，这充分体现了使用生成假样本扩充本地数据集的优势。另外，FedDTG中客户端之间的相互蒸馏进一步加快了训练的速度以及客户端之间知识的传递，使得FedDTG相较于FedGen在收敛速度以及最终测试集准确率上都有着一定的提升。
表3在不同迪利克雷分布α值下使用25％MNIST训练数据的实验结果
方法 α＝0.05 α＝0.1 Α＝0.4
FedAvg 87.19±1.55 89.84±0.47 92.38±0.26
FedProx 88.64±1.42 89.79±0.48 92.83±0.14
FedDF 88.63±0.70 89.82±0.33 93.17±0.11
FedGen 91.67±0.87 93.11±0.43 94.85±0.25
FedDTG 94.97±0.98 95.77±0.43 96.02±0.11
表4在不同迪利克雷分布α值下使用10％MNIST训练数据的实验结果
方法 α＝0.05 α＝0.1 Α＝0.4
FedAvg 85.86±2.46 87.19±1.49 91.27±0.28
FedProx 87.38±2.37 88.63±1.07 91.52±0.26
FedDF 88.69±0.64 88.86±0.51 92.33±0.17
FedGen 90.44±0.44 92.88±0.19 93.87±0.13
FedDTG 93.89±0.99 95.02±0.47 95.27±0.24
表3和表4分别展示了不同迪利克雷分布α值模拟Non-IID环境下的实验结果。对比两表结果可以发现，训练数据的减少对本发明实施例所提出的FedDTG方法影响极小，体现了分布式三方对抗的生成式对抗网络的优越性。利用三方对抗的生成式对抗网络生成的假样本，客户端可以进一步扩充本地的训练数据，同时强制让本地分类器拟合均衡的生成样本，也限制了其过度的偏离全局最优的目标。本发明在生成样本上使用软标签进行知识蒸馏的操作，进一步缓解了数据异构对带来的影响。
在FedAvg和FedProx中，客户端并不能获得这样的全局知识。随着Non-IID程度的增加，FedDF基于全局模型进行知识蒸馏的方法在不同的数据集上确实取得了一定的效果，但是提升并不是很明显。不同于FedDF，FedDTG相较于FedAvg的提升十分显著且更具意义，这个差值表明了在客户端之间进行相互蒸馏比蒸馏全局模型进行微调更加的高效。作为比较有竞争力的对比方案，FedGen在大部分的场景下都取得了很好的结果，但是其并未对知识蒸馏进行充分的利用，一旦原始的训练数据变得更加复杂，或者是训练样本更少时不足以训练一个好的生成器，那么FedGen中的知识传递将完全失效。
在本发明的一项具体实施中，所述的本地分类模型为人脸活体检测模型，用于在人脸识别前判断当前输入的人脸是否是真人，可以有效防止欺骗攻击。
在本实施例中还提供了一种基于无数据蒸馏的联邦学习聚合系统，如图1所示，该系统用于实现上述实施例。为了方便示意，图1中未将本地训练模块、数据传输模块明确示出，但从图1中的数据流可以明显得到该模块。以下所使用的术语“模块”、“单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能的。
本实施例提供的一种基于无数据蒸馏的联邦学习聚合系统，包括：
服务端，其用于定义生成器和判别器网络结构；根据所有客户端反馈的生成器参数和判别器参数计算全局参数；以及根据客户端发送的软标签计算各客户端的全局平均软标签；本实施例中，所述的全局平均软标签为除自身客户端之外的其他客户端生成的软标签的均值。
客户端，其用于根据本地的个性化训练任务自定义本地分类器模型结构；以及接收服务端发送的噪声向量和全局生成器，利用全局生成器得到生成样本，将生成样本输入本地分类器得到软标签。
本地训练模块，其置于每一个客户端内，用于利用本地私有数据对生成器、判别器和本地分类器进行若干轮次的三方对抗训练；以及，利用全局平均软标签对本地分类器进行蒸馏操作；本实施例中，利用全局平均软标签对本地分类器进行蒸馏操作时，将全局平均软标签作为生成样本的软标签，以生成标签作为生成样本的硬标签，对本地分类器进行训练。
数据传输模块，其用于服务端与客户端时间的信息传输，包括服务端向客户端发送初始化生成器网络结构、初始化判别器网络结构、全局参数、预定义的噪声向量、批次大小和全局平均软标签；以及，客户端向服务端发送本地训练完成后的生成器和判别器参数和软标签。
对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可，其余模块的实现方法此处不再赘述。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明的系统的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。系统实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (10)

1.一种基于无数据蒸馏的联邦学习聚合方法，其特征在于，包括以下步骤：
步骤1：由服务端定义生成器和判别器网络结构并发送给每个参与联邦学习的客户端；所述的客户端定义本地分类器网络结构；
步骤2：各客户端利用本地私有数据对生成器、判别器和本地分类器进行若干轮次的三方对抗训练；将训练完成后的生成器和判别器参数反馈至服务端；
步骤3：服务端接收所有客户端反馈的生成器参数和判别器参数并计算全局参数，将全局参数和预定义的噪声向量、批次大小发送给各客户端；
步骤4：客户端接收全局参数后加载得到全局生成器和全局判别器，将噪声向量输入全局生成器，得到生成样本，将生成样本输入本地分类器得到软标签，并将软标签反馈至服务端；
步骤5：服务端接收所有客户端的软标签，计算各客户端的全局平均软标签并发回给对应的客户端；
步骤6：客户端根据接收到的全局平均软标签训练本地分类器；
步骤7：重复步骤2-6，直至本地分类器收敛。
2.根据权利要求1所述的基于无数据蒸馏的联邦学习聚合方法，其特征在于，所述的客户端根据本地的个性化训练任务自定义本地分类器模型结构。
3.根据权利要求1所述的基于无数据蒸馏的联邦学习聚合方法，其特征在于，在步骤2所述的三方对抗训练中，生成器的损失函数为：
其中，表示客户端k的生成器损失，x表示本地真实样本，/>表示客户端k的本地真实样本分布，p(z)表示噪声向量z服从的正态分布，/>表示生成标签/>服从的均匀分布，Gk表示客户端k的生成器，Dk表示客户端k的判别器。
4.根据权利要求1所述的基于无数据蒸馏的联邦学习聚合方法，其特征在于，在步骤2所述的三方对抗训练中，判别器的损失函数为：
其中，表示客户端k的判别器损失，p(z)表示噪声向量z服从的正态分布，/>表示生成标签/>服从的均匀分布，Gk表示客户端k的生成器，Ck表示客户端k的本地分类器，CE表示交叉熵。
5.根据权利要求1所述的基于无数据蒸馏的联邦学习聚合方法，其特征在于，在步骤2所述的三方对抗训练中，本地分类器的损失函数为：
其中，表示客户端k的本地分类器损失，/>表示客户端k的本地真实样本分布，x、y表示本地真实样本和标签，p(z)表示噪声向量z服从的正态分布，/>表示生成标签/>服从的均匀分布，Gk表示客户端k的生成器，Ck表示客户端k的本地分类器，CE表示交叉熵。
6.根据权利要求1所述的基于无数据蒸馏的联邦学习聚合方法，其特征在于，步骤6中，各客户端之间通过服务端回传的同一批生成样本的软标签进行知识蒸馏，每一个客户端接收到的全局平均软标签为除自身之外的其他客户端生成的软标签的均值。
7.根据权利要求6所述的基于无数据蒸馏的联邦学习聚合方法，其特征在于，所述的蒸馏操作的损失为：
其中，L表示蒸馏损失，p(z)表示噪声向量z服从的正态分布，表示生成标签/>服从的均匀分布，G表示全局生成器，Ck表示客户端k的本地分类器，CE表示交叉熵，KL表示Kullback-Leibler散度，/>表示客户端k的全局平均软标签。
8.一种基于无数据蒸馏的联邦学习聚合系统，用于实现权利要求1所述的联邦学习聚合方法，其特征在于，包括：
服务端，其用于定义生成器和判别器网络结构；根据所有客户端反馈的生成器参数和判别器参数计算全局参数；以及根据客户端发送的软标签计算各客户端的全局平均软标签；
客户端，其用于根据本地的个性化训练任务自定义本地分类器模型结构；以及接收服务端发送的噪声向量和全局生成器，利用全局生成器得到生成样本，将生成样本输入本地分类器得到软标签；
本地训练模块，其置于每一个客户端内，用于利用本地私有数据对生成器、判别器和本地分类器进行若干轮次的三方对抗训练；以及，利用全局平均软标签对本地分类器进行蒸馏操作；
数据传输模块，其用于服务端与客户端时间的信息传输，包括服务端向客户端发送初始化生成器网络结构、初始化判别器网络结构、全局参数、预定义的噪声向量、批次大小和全局平均软标签；以及，客户端向服务端发送本地训练完成后的生成器和判别器参数和软标签。
9.根据权利要求8所述的一种基于无数据蒸馏的联邦学习聚合系统，其特征在于，所述的全局平均软标签为除自身客户端之外的其他客户端生成的软标签的均值。
10.根据权利要求8所述的一种基于无数据蒸馏的联邦学习聚合系统，其特征在于，利用全局平均软标签对本地分类器进行蒸馏操作时，将全局平均软标签作为生成样本的软标签，以生成标签作为生成样本的硬标签，对本地分类器进行训练。
CN202310461917.0A 2023-04-26 2023-04-26 一种基于无数据蒸馏的联邦学习聚合方法和系统 Pending CN116629376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310461917.0A CN116629376A (zh) 2023-04-26 2023-04-26 一种基于无数据蒸馏的联邦学习聚合方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310461917.0A CN116629376A (zh) 2023-04-26 2023-04-26 一种基于无数据蒸馏的联邦学习聚合方法和系统

Publications (1)

Publication Number Publication Date
CN116629376A true CN116629376A (zh) 2023-08-22

Family

ID=87596401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310461917.0A Pending CN116629376A (zh) 2023-04-26 2023-04-26 一种基于无数据蒸馏的联邦学习聚合方法和系统

Country Status (1)

Country Link
CN (1) CN116629376A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408330A (zh) * 2023-12-14 2024-01-16 合肥高维数据技术有限公司 面向非独立同分布数据的联邦知识蒸馏方法及装置
CN118101339A (zh) * 2024-04-23 2024-05-28 山东科技大学 一种应对物联网隐私保护的联邦知识蒸馏方法
CN118446288A (zh) * 2024-07-08 2024-08-06 江西财经大学 一种基于连续到离散转换的增强可信联邦学习方法与系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408330A (zh) * 2023-12-14 2024-01-16 合肥高维数据技术有限公司 面向非独立同分布数据的联邦知识蒸馏方法及装置
CN117408330B (zh) * 2023-12-14 2024-03-15 合肥高维数据技术有限公司 面向非独立同分布数据的联邦知识蒸馏方法及装置
CN118101339A (zh) * 2024-04-23 2024-05-28 山东科技大学 一种应对物联网隐私保护的联邦知识蒸馏方法
CN118446288A (zh) * 2024-07-08 2024-08-06 江西财经大学 一种基于连续到离散转换的增强可信联邦学习方法与系统

Similar Documents

Publication Publication Date Title
CN116629376A (zh) 一种基于无数据蒸馏的联邦学习聚合方法和系统
US9875294B2 (en) Method and apparatus for classifying object based on social networking service, and storage medium
CN107944485B (zh) 基于聚类群组发现的推荐系统及方法、个性化推荐系统
CN113435509B (zh) 基于元学习的小样本场景分类识别方法及系统
CN113988314B (zh) 一种选择客户端的分簇联邦学习方法及系统
CN109918498B (zh) 一种问题入库方法和装置
US11074274B2 (en) Large scale social graph segmentation
CN111932386A (zh) 用户账号确定方法及装置、信息推送方法及装置、电子设备
CN111260220B (zh) 群控设备识别方法、装置、电子设备和存储介质
CN114841364A (zh) 一种满足个性化本地差分隐私需求的联邦学习方法
CN115130536A (zh) 特征提取模型的训练方法、数据处理方法、装置及设备
CN103229233A (zh) 用于识别说话人的建模设备和方法、以及说话人识别系统
CN113298152B (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
US20210263903A1 (en) Multi-level conflict-free entity clusters
CN108681493A (zh) 数据异常检测方法、装置、服务器和存储介质
CN110689136A (zh) 一种深度学习模型获得方法、装置、设备及存储介质
Fan et al. Proportional data modeling via entropy-based variational bayes learning of mixture models
Chavan et al. Mini batch K-Means clustering on large dataset
CN118052301A (zh) 一种迭代凝聚式簇估计联邦学习方法
CN109712146B (zh) 一种基于直方图的em多阈值图像分割方法及装置
Xing et al. Fuzzy c-means algorithm automatically determining optimal number of clusters
Le et al. Fisher task distance and its application in neural architecture search
Tembine Mean field stochastic games: Convergence, Q/H-learning and optimality
Ying et al. FrauDetector+ An Incremental Graph-Mining Approach for Efficient Fraudulent Phone Call Detection
Liu et al. A weight-incorporated similarity-based clustering ensemble method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination