CN113205863A - 基于蒸馏的半监督联邦学习的个性化模型的训练方法 - Google Patents

基于蒸馏的半监督联邦学习的个性化模型的训练方法 Download PDF

Info

Publication number
CN113205863A
CN113205863A CN202110623936.XA CN202110623936A CN113205863A CN 113205863 A CN113205863 A CN 113205863A CN 202110623936 A CN202110623936 A CN 202110623936A CN 113205863 A CN113205863 A CN 113205863A
Authority
CN
China
Prior art keywords
model
round
clients
data set
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110623936.XA
Other languages
English (en)
Other versions
CN113205863B (zh
Inventor
龚艳霞
梁媛
李先贤
欧阳扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202110623936.XA priority Critical patent/CN113205863B/zh
Publication of CN113205863A publication Critical patent/CN113205863A/zh
Application granted granted Critical
Publication of CN113205863B publication Critical patent/CN113205863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于蒸馏的半监督联邦学习的个性化模型的训练方法，采用知识蒸馏技术，客户端通过上传模型预测而不是模型参数，使得每个客户端可以选择自己设计的模型架构，很好地保护了客户端关于模型的隐私信息，而利用共享数据与客户端的本地数据一起进行训练，极大地提高模型的泛化能力。此外，聚合方案能根据每个客户端提供知识的重要程度来进行动态聚合，使聚合的模型预测更好地融合了客户端的模型知识。服务器聚合完成后，回传给客户端的不是公共数据的模型预测分布信息而是伪标签信息，利用这种方式进一步地提高了通信传输效率。

Description

基于蒸馏的半监督联邦学习的个性化模型的训练方法
技术领域
本发明涉及联邦学习技术领域，具体涉及一种基于蒸馏的半监督联邦学习的个性化模型的训练方法。
背景技术
联邦学习在保证一组客户端不上传本地数据集的前提下协同训练一个全局模型，每个用户只能访问自己的数据，从而保护了参与训练用户的隐私。联邦学习因为其优势在医学、金融和人工智能等行业有着广泛的应用前景，是最近几年的研究热点。然而联邦学习侧重于通过学习所有参与客户机的本地数据来获得高质量的全局模型，但由于现实场景中每个客户端的数据是异质的，当面临数据异质性问题，它无法训练出一个适用于所有客户端的全局模型。
使用知识蒸馏技术能够有效的解决联邦学习中的模型异构性问题，激起了大量学者的研究兴趣。知识蒸馏技术的主要思想是将复杂的教师网络的输出作为知识传给学生网络，使得学生网络在训练的过程中不仅能够学习数据真实标签的信息还能学习不同标签之间关系的信息，从而转换成一个精简的学生网络，这里的网络输出对应了相应类别的概率值。其中，教师模型和学生模型是两种不同的网络架构。因此将知识蒸馏技术应用到联邦学习中可以解决模型异构性问题。
然而，将知识蒸馏技术应用到联邦学习中必须要保证在同一个数据集上进行蒸馏，而联邦学习中各个客户端的本地数据都不同，因此怎么在客户端上构造相同的数据集实现蒸馏是一个难题。在联邦学习中，拥有不同数据的客户端由于数据质量参差不齐导致模型输出所提供知识的重要程度不同，所以简单地对其进行平均并不是一种有效的聚合方法。此外，在现实中，由于每个参与方(例如医院)本地拥有大量的无标签数据，而有标记数据却很少，因此在满足隐私保护的约束和半监督场景下，如何为每个客户端训练一个适合的模型(包括模型性能和模型框架)，是一个亟待解决的问题。
发明内容
本发明所要解决的是在联邦学习半监督场景下的数据异质性和模型异质性问题，提供一种基于蒸馏的半监督联邦学习的个性化模型的训练方法。
为解决上述问题，本发明是通过以下技术方案实现的：
基于蒸馏的半监督联邦学习的个性化模型的训练方法，包括步骤如下：
步骤1、每个客户端分别使用自己的无标签本地数据集训练一个对抗生成网络，并将对抗生成网络及其采样噪声的种子上传至中心服务器；中心服务器先利用每个客户端的对抗生成网络及其采样噪声的种子生成每个客户端的无标签合成样本，再从所有客户端的无标签合成样本中选择一部分作为无标签共享数据集；所有客户端从中心服务器上下载无标签共享数据集；
步骤2、令当前轮次t＝1，中心服务器从所有客户端中选择一部分客户端作为参与方进行协同训练；在协同训练过程中，每个参与方分别先利用自己的有标签本地数据集和无标签本地数据集对自己的本地神经网络模型进行半监督训练，得到本轮训练的本地神经网络模型；再利用本轮训练的本地神经网络模型对无标签共享数据集进行预测，得到每个参与方在第t轮次的模型预测矩阵；
步骤3、中心服务器先计算第t轮次的聚合模型预测矩阵，再从第t轮次的聚合模型预测矩阵中挑选挑选概率最大的类别标签作为伪标签，后将伪标签传回给所有的客户端；
Figure BDA0003101310740000021
式中，
Figure BDA0003101310740000022
为第t轮次的聚合模型预测矩阵，
Figure BDA0003101310740000023
为第t-1轮次的聚合模型预测矩阵，
Figure BDA0003101310740000024
为参与方k′在第t轮次的模型预测矩阵，
Figure BDA0003101310740000025
为第t-1轮次的聚合模型预测矩阵与参与方k′在第t轮次的模型预测矩阵的JS散度值，K′为参与方的数量，ε为设定的近似值；
步骤4、令当前轮次t加1,中心服务器从所有客户端中选择一部分客户端作为参与方进行协同训练；在协同训练过程中，每个参与方先将伪标签作为无标签共享数据集的每个样本的标签，得到有标签共享数据集；再利用有标签共享数据集、自己的有标签本地数据集和无标签本地数据集对自己的本地神经网络模型进行半监督训练，得到本轮训练的本地神经网络模型；后利用本轮训练的本地神经网络模型对无标签共享数据集进行预测，得到每个参与方在第t轮次的模型预测矩阵；
步骤5、判断当前轮次t是否达到设定的最大轮次：如果是，则停止训练；否则，返回步骤3。
上述步骤中，参与方在第t轮次的模型预测矩阵的每一行为该参与方在第t轮次的无标签共享数据集的每一个样本的所有类别标签的概率分布。
上述步骤中，每个参与方的模型预测矩阵是一个Np×D的矩阵，Np为无标签共享数据集的样本数量，D为类别标签数量。
与现有技术相比，本发明具有如下特点：
1、在每个客户端上构造了相同的无标签共享数据。无标签共享数据利用生成式对抗网络(GAN，Generative Adversarial Networks)生成，GAN是一种能生成与原始数据相同分布的假数据的深度学习模型。这种在每个客户端上构造了相同数据集的方法使得所有客户端在相同的数据上进行观察从而实现蒸馏，防止了因客户端上的数据样本不同带来的影响。
2、采用半监督学习方法与知识蒸馏技术结合实现客户端本地模型训练。半监督学习同时利用公共数据和本地数据训练模型，相比于只用有本地数据训练出来的模型性能更好。
3、基于JS散度的自适应加权平均聚合方法。根据每个客户端的模型输出与上一轮次聚合的模型输出的JS散度值进行模型输出聚合，该聚合方法根据每个客户端提供知识的重要程度进行动态聚合，减少了低质量模型的权重，提高了模型的性能和模型的鲁棒性。
4、服务器端回传公共数据的伪标签。当前的知识蒸馏与联邦学习结合的方法都是通过在客户端和服务器端之间传输模型预测来训练模型，本发明采用客户端上传模型预测和服务器端回传共享的无标签数据的伪标签来构建模型，在不影响模型效果的同时，大大提高了联邦学习中的传输通讯效率。
附图说明
图1为基于蒸馏的半监督联邦学习的个性化模型的训练方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
我们定义k∈K个客户端拥有本地数据集Dk，其中Dk包括有标记本地数据集
Figure BDA0003101310740000031
和无标签本地数据集
Figure BDA0003101310740000032
每个客户端k的本地数据
Figure BDA0003101310740000033
和
Figure BDA0003101310740000034
趋于不同的分布，且Nu>>Nl。为了使客户端的模型在同一个数据集上进行观察，我们在每个客户端上共享了同一个无标签共享数据
Figure BDA0003101310740000035
Np>>Nl。
以医疗场景为例，参与联邦学习训练的客户端为不同地区的医院，本地数据集为医学影像数据集，如阿尔茨海默氏病神经影像数据，数据的标签表示是否患病。
参见图1，一种基于蒸馏的半监督联邦学习的个性化模型的训练方法，其具体包括步骤如下：
步骤1、每个客户端分别使用自己的无标签本地数据集训练一个对抗生成网络，并将对抗生成网络及其采样噪声的种子上传至中心服务器；中心服务器先利用每个客户端的对抗生成网络及其采样噪声的种子生成每个客户端的无标签合成样本，再从所有客户端的无标签合成样本中选择一部分作为无标签共享数据集；所有客户端从中心服务器上下载无标签共享数据集。
步骤1.1、K个客户端中的每个客户端k使用自己的无标签本地数据集
Figure BDA0003101310740000036
生成一个对抗生成网络Gk，并将对抗生成网络Gk及其采样噪声的种子seedk上传至中心服务器。
步骤1.2、中心服务器分别利用每个客户端k上传的对抗生成网络Gk及其采样噪声的种子seedk生成该客户端k所对应的数量为mk的无标签合成样本Fk；
步骤1.3、中心服务器从所有的无标签合成样本
Figure BDA0003101310740000041
中选择数量为Np的无标签合成样本作为无标签共享数据集Dpublic。一般选择合适的数量Np作为共享数据集，这个数量的选择不能太大也不能太小，数量太大的话会导致通信成本上升；太小的话会导致性能下降。
步骤1.4、客户端再从中心服务器上下载无标签共享数据集Dpublic，这样每个客户端和中心服务器都共享到了相同的数据。
由于每个客户端上所拥有的本地数据几乎都是不同的，为了将知识蒸馏技术应用到联邦学习中实现个性化，需要所有客户端在同一批数据集上进行观察，所以本发明为每个客户端构造了一个相同的无标签共享数据集。
步骤2、令当前轮次t＝1,中心服务器从所有客户端中选择一部分客户端作为参与方进行协同训练；在本轮协同训练过程中，每个参与方分别先利用自己的有标签本地数据集和无标签本地数据集对自己的本地神经网络模型进行半监督训练，得到本轮训练的本地神经网络模型，再利用本轮训练的本地神经网络模型对无标签共享数据集进行预测，得到每个参与方在第t轮次的模型预测矩阵。
步骤2.1、中心服务器从K个客户端中随机选择K′＝c*K个客户端作为参与方进行第t＝1轮的协同训练，c∈(0，1]。
步骤2.2、K′个参与方中的每个参与方k′选择适合自己计算能力和存储能力的神经网络结构作为自己的本地神经网络模型，并随机初始化自己的本地神经网络模型
Figure BDA0003101310740000042
的模型参数。
步骤2.3、每个参与方k′分别先利用自己的无标签本地数据集
Figure BDA0003101310740000043
和有标签本地数据集
Figure BDA0003101310740000044
对自己的本地神经网络模型进行半监督训练，得到本轮训练的本地神经网络模型
如对于医学影像数据集，每个参与方k′针对有标签本地数据集
Figure BDA0003101310740000045
通过交叉熵损失函数Ll将数据的预测与真实标签匹配。每个参与方k′针对无标签本地数据集
Figure BDA0003101310740000046
使用当前较好的半监督学习算法Fixmatch或UDA中无标签数据的损失函数Lu。每个参与方k′使用有标签本地数据的损失函数Ll与无标签本地数据的损失函数Lu相加作为总的损失函数L总＝Ll+βLu，其中，β表示对无标签数据训练的损失权重。基于总的损失函数对本地神经网络模型
Figure BDA0003101310740000047
的模型参数进行优化，得到本轮训练的本地神经网络模型
Figure BDA0003101310740000048
步骤2.4、每个参与方k′使用本轮训练的本地神经网络模型
Figure BDA0003101310740000049
对无标签共享数据集Dpublic进行预测，得到每个参与方k′的模型预测矩阵
Figure BDA00031013107400000410
是一个Np×D的矩阵，Np为无标签共享数据集的样本数量，D为类别标签数量，
Figure BDA00031013107400000411
的每一行对应着每一个样本的类别概率分布。
步骤2.5、中心服务器利用所有参与方所上传的预测结果构建模型预测矩阵
Figure BDA00031013107400000412
的每一行为无标签共享数据集的每一个样本的所有类别标签的概率分布。
步骤3、中心服务器先计算第t轮次的聚合模型预测矩阵，再从第t轮次的聚合模型预测矩阵中挑选挑选概率最大的类别标签作为伪标签，后将伪标签传回给所有的客户端。
步骤3.1、计算每个参与方k′聚合权重的中间值
Figure BDA0003101310740000051
Figure BDA0003101310740000052
步骤3.2、对每个参与方k′的聚合权重的中间值
Figure BDA0003101310740000053
归一化后，获得每个参与方k′的权重θk′：
Figure BDA0003101310740000054
步骤3.3、计算当前轮次t的聚合模型预测矩阵
Figure BDA0003101310740000055
Figure BDA0003101310740000056
步骤3.4、从当前轮次t的聚合模型预测矩阵
Figure BDA0003101310740000057
中挑选概率最大的类别标签作为伪标签
Figure BDA0003101310740000058
传回给所有的客户端，这样能够在不影响性能的同时大大地提升了传输通讯效率。
式中，
Figure BDA0003101310740000059
为第t轮次的聚合模型预测矩阵，
Figure BDA00031013107400000510
为第t-1轮次的聚合模型预测矩阵，
Figure BDA00031013107400000511
为给定的初始聚合模型预测矩阵，
Figure BDA00031013107400000512
为参与方k′在第t轮次的模型预测矩阵，
Figure BDA00031013107400000513
为第t-1轮次的聚合模型预测矩阵与参与方k′在第t轮次的模型预测矩阵的JS散度值，K′为参与方的数量，ε为设定的近似值。为了防止
Figure BDA00031013107400000514
时上述计算
Figure BDA00031013107400000515
的式子无意义，在分母上增加了一项，ε表示接近0的一个很小的值。
JS散度衡量了两个概率分布的相似性，散度值越大表示相似性越小。客户端模型输出与上一次迭代的模型输出相似度越小，则该模型的质量越差，反之亦然。由于不同参与方的私人数据不同，因此不同参与方上传的模型预测值所包含信息的重要程度不同，根据参与方的模型输出与上一轮次聚合的模型输出的JS散度值得出每个参与方的聚合权重，通过这种方式聚合，减少了拥有低质量模型参与方的权重，提高了模型预测的质量，进而提高了客户端局部模型的性能。
步骤4、令当前轮次t加1,中心服务器从所有客户端中选择一部分客户端作为参与方进行协同训练；在本轮协同训练过程中，每个参与方先将伪标签作为无标签共享数据集的每个样本的标签，得到有标签共享数据集；再利用有标签共享数据集、自己的有标签本地数据集和无标签本地数据集对自己的本地神经网络模型进行半监督训练，得到本轮训练的本地神经网络模型；后利用本轮训练的本地神经网络模型对无标签共享数据集进行预测，得到每个参与方在第t轮次的模型预测矩阵。
步骤4的协同训练过程与步骤2的协同训练不同的是需要利用伪标签为无标签共享数据集的每个样本进行标注，使其无标签共享数据变为有标签共享数据后，并与本地数据集一并参与后续的半监督训练。参与方使用公共的数据与本地数据共同训练，数据的增加，提高了客户端局部模型的性能。
步骤5、判断当前轮次t是否达到设定的最大迭代轮次：如果是，则停止训练，每个客户端在第t轮的本地神经网络模型即为其最终的本地神经网络模型；否则，返回步骤3。
本发明采用知识蒸馏技术，客户端通过上传模型预测而不是模型参数，使得每个客户端可以选择自己设计的模型架构，很好地保护了客户端关于模型的隐私信息。相比于仅本地数据训练，该方法有效地利用了公开的数据与客户端的本地数据一起进行训练，极大地提高模型的泛化能力。此外，该方法中的聚合方案能根据每个客户端提供知识的重要程度来进行动态聚合，使聚合的模型预测更好地融合了客户端的模型知识，由于客户端使用聚合的模型预测进行训练从而得到个性化模型，所以一个好的聚合模型预测会直接影响到后面模型的训练。值得一提的是，服务器聚合完成后，回传给客户端的不是公共数据的模型预测分布信息而是伪标签信息，利用这种方式进一步地提高了通信传输效率。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，如其可以将实施例中的医学影像数据集替换为其他医学数据集，也可以将实施例中的医疗场景替换为银行场景，此时银行网点为客户端，数据集为银行流水数据，标签为黑客攻击等，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (3)

1.基于蒸馏的半监督联邦学习的个性化模型的训练方法，其特征是，包括步骤如下：
步骤1、每个客户端分别使用自己的无标签本地数据集训练一个对抗生成网络，并将对抗生成网络及其采样噪声的种子上传至中心服务器；中心服务器先利用每个客户端的对抗生成网络及其采样噪声的种子生成每个客户端的无标签合成样本，再从所有客户端的无标签合成样本中选择一部分作为无标签共享数据集；所有客户端从中心服务器上下载无标签共享数据集；
步骤2、令当前轮次t＝1,中心服务器从所有客户端中选择一部分客户端作为参与方进行协同训练；在协同训练过程中，每个参与方分别先利用自己的有标签本地数据集和无标签本地数据集对自己的本地神经网络模型进行半监督训练，得到本轮训练的本地神经网络模型；再利用本轮训练的本地神经网络模型对无标签共享数据集进行预测，得到每个参与方在第t轮次的模型预测矩阵；
步骤3、中心服务器先计算第t轮次的聚合模型预测矩阵，再从第t轮次的聚合模型预测矩阵中挑选挑选概率最大的类别标签作为伪标签，后将伪标签传回给所有的客户端；
Figure FDA0003101310730000011
式中，
Figure FDA0003101310730000012
为第t轮次的聚合模型预测矩阵，
Figure FDA0003101310730000013
为第t-1轮次的聚合模型预测矩阵，
Figure FDA0003101310730000014
为参与方k′在第t轮次的模型预测矩阵，
Figure FDA0003101310730000015
为第t-1轮次的聚合模型预测矩阵与参与方k′在第t轮次的模型预测矩阵的JS散度值，K′为参与方的数量，ε为设定的近似值；
步骤4、令当前轮次t加1,中心服务器从所有客户端中选择一部分客户端作为参与方进行协同训练；在协同训练过程中，每个参与方先将伪标签作为无标签共享数据集的每个样本的标签，得到有标签共享数据集；再利用有标签共享数据集、自己的有标签本地数据集和无标签本地数据集对自己的本地神经网络模型进行半监督训练，得到本轮训练的本地神经网络模型；后利用本轮训练的本地神经网络模型对无标签共享数据集进行预测，得到每个参与方在第t轮次的模型预测矩阵；
步骤5、判断当前轮次t是否达到设定的最大轮次：如果是，则停止训练；否则，返回步骤3。
2.根据权利要求1所述的基于蒸馏的半监督联邦学习的个性化模型的训练方法，其特征是，参与方在第t轮次的模型预测矩阵的每一行为该参与方在第t轮次的无标签共享数据集的每一个样本的所有类别标签的概率分布。
3.根据权利要求2所述的基于蒸馏的半监督联邦学习的个性化模型的训练方法，其特征是，每个参与方的模型预测矩阵是一个Np×D的矩阵，Np为无标签共享数据集的样本数量，D为类别标签数量。
CN202110623936.XA 2021-06-04 2021-06-04 基于蒸馏的半监督联邦学习的个性化模型的训练方法 Active CN113205863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110623936.XA CN113205863B (zh) 2021-06-04 2021-06-04 基于蒸馏的半监督联邦学习的个性化模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110623936.XA CN113205863B (zh) 2021-06-04 2021-06-04 基于蒸馏的半监督联邦学习的个性化模型的训练方法

Publications (2)

Publication Number Publication Date
CN113205863A true CN113205863A (zh) 2021-08-03
CN113205863B CN113205863B (zh) 2022-03-25

Family

ID=77024419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110623936.XA Active CN113205863B (zh) 2021-06-04 2021-06-04 基于蒸馏的半监督联邦学习的个性化模型的训练方法

Country Status (1)

Country Link
CN (1) CN113205863B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642737A (zh) * 2021-08-12 2021-11-12 广域铭岛数字科技有限公司 一种基于汽车用户数据的联邦学习方法及系统
CN113657607A (zh) * 2021-08-05 2021-11-16 浙江大学 一种面向联邦学习的连续学习方法
CN113919508A (zh) * 2021-10-15 2022-01-11 河南工业大学 一种基于移动式服务器的联邦学习系统及方法
CN113947214A (zh) * 2021-11-23 2022-01-18 湖南三湘银行股份有限公司 一种基于客户端知识蒸馏的联邦学习实现方法
CN114091572A (zh) * 2021-10-26 2022-02-25 上海瑾盛通信科技有限公司 模型训练的方法、装置、数据处理系统及服务器
CN114154556A (zh) * 2021-11-03 2022-03-08 同盾科技有限公司 样本预测模型的训练方法、装置、电子设备及存储介质
CN114707670A (zh) * 2022-04-07 2022-07-05 中国人民解放军国防科技大学 一种面向无标签数据的异构联邦学习方法和系统
CN114863499A (zh) * 2022-06-30 2022-08-05 广州脉泽科技有限公司 一种基于联邦学习的指静脉与掌静脉识别方法
CN115271033A (zh) * 2022-07-05 2022-11-01 西南财经大学 基于联邦知识蒸馏医学图像处理模型构建及其处理方法
WO2023024350A1 (zh) * 2021-08-25 2023-03-02 深圳前海微众银行股份有限公司 纵向联邦预测优化方法、设备、介质及计算机程序产品
CN116108491A (zh) * 2023-04-04 2023-05-12 杭州海康威视数字技术股份有限公司 基于半监督联邦学习的数据泄露预警方法、装置及系统
CN117114148A (zh) * 2023-08-18 2023-11-24 湖南工商大学 一种轻量级联邦学习训练方法
CN117540829A (zh) * 2023-10-18 2024-02-09 广西壮族自治区通信产业服务有限公司技术服务分公司 一种知识共享的大语言模型协同优化方法和系统
CN117829320A (zh) * 2024-03-05 2024-04-05 中国海洋大学 一种基于图神经网络和双向深度知识蒸馏的联邦学习方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310938A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111985649A (zh) * 2020-06-22 2020-11-24 华为技术有限公司 基于联邦学习的数据处理方法和装置
CN112001321A (zh) * 2020-08-25 2020-11-27 商汤国际私人有限公司 网络训练、行人重识别方法及装置、电子设备和存储介质
CN112329940A (zh) * 2020-11-02 2021-02-05 北京邮电大学 一种结合联邦学习与用户画像的个性化模型训练方法及系统
US20210051169A1 (en) * 2019-08-15 2021-02-18 NEC Laboratories Europe GmbH Thwarting model poisoning in federated learning
CN112529027A (zh) * 2019-09-19 2021-03-19 中国电信股份有限公司 数据处理方法、客户端、装置及计算机可读存储介质
CN112836830A (zh) * 2021-02-01 2021-05-25 广西师范大学 一种联邦梯度提升决策树投票并行训练方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210051169A1 (en) * 2019-08-15 2021-02-18 NEC Laboratories Europe GmbH Thwarting model poisoning in federated learning
CN112529027A (zh) * 2019-09-19 2021-03-19 中国电信股份有限公司 数据处理方法、客户端、装置及计算机可读存储介质
CN111310938A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111985649A (zh) * 2020-06-22 2020-11-24 华为技术有限公司 基于联邦学习的数据处理方法和装置
CN112001321A (zh) * 2020-08-25 2020-11-27 商汤国际私人有限公司 网络训练、行人重识别方法及装置、电子设备和存储介质
CN112329940A (zh) * 2020-11-02 2021-02-05 北京邮电大学 一种结合联邦学习与用户画像的个性化模型训练方法及系统
CN112836830A (zh) * 2021-02-01 2021-05-25 广西师范大学 一种联邦梯度提升决策树投票并行训练方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DONGLIN JIANG ET AL.: ""Federated Learning Algorithm Based on Knowledge Distillation"", 《 2020 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND COMPUTER ENGINEERING (ICAICE)》 *
SOHEI ITAHARA: ""Distillation-Based Semi-Supervised Federated Learning for Communication-Efficient Collaborative Training with Non-IID Private Data"", 《IEEE TRANSACTIONS ON MOBILE COMPUTING ( EARLY ACCESS )》 *
ZHENG ZACK HUI ET AL.: ""Federation learning optimization using distillation"", 《2021 ASIA-PACIFIC CONFERENCE ON COMMUNICATIONS TECHNOLOGY AND COMPUTER SCIENCE (ACCTCS)》 *
曾春艳 等: ""深度学习模型可解释性研究综述"", 《计算机工程与应用》 *
石进 等: ""联邦学习的隐私保护技术研究"", 《现代信息科技》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657607A (zh) * 2021-08-05 2021-11-16 浙江大学 一种面向联邦学习的连续学习方法
CN113657607B (zh) * 2021-08-05 2024-03-22 浙江大学 一种面向联邦学习的连续学习方法
CN113642737A (zh) * 2021-08-12 2021-11-12 广域铭岛数字科技有限公司 一种基于汽车用户数据的联邦学习方法及系统
CN113642737B (zh) * 2021-08-12 2024-03-05 广域铭岛数字科技有限公司 一种基于汽车用户数据的联邦学习方法及系统
WO2023024350A1 (zh) * 2021-08-25 2023-03-02 深圳前海微众银行股份有限公司 纵向联邦预测优化方法、设备、介质及计算机程序产品
CN113919508A (zh) * 2021-10-15 2022-01-11 河南工业大学 一种基于移动式服务器的联邦学习系统及方法
CN114091572A (zh) * 2021-10-26 2022-02-25 上海瑾盛通信科技有限公司 模型训练的方法、装置、数据处理系统及服务器
CN114154556A (zh) * 2021-11-03 2022-03-08 同盾科技有限公司 样本预测模型的训练方法、装置、电子设备及存储介质
CN113947214A (zh) * 2021-11-23 2022-01-18 湖南三湘银行股份有限公司 一种基于客户端知识蒸馏的联邦学习实现方法
CN114707670A (zh) * 2022-04-07 2022-07-05 中国人民解放军国防科技大学 一种面向无标签数据的异构联邦学习方法和系统
CN114707670B (zh) * 2022-04-07 2024-09-24 中国人民解放军国防科技大学 一种面向无标签数据的异构联邦学习方法和系统
CN114863499B (zh) * 2022-06-30 2022-12-13 广州脉泽科技有限公司 一种基于联邦学习的指静脉与掌静脉识别方法
CN114863499A (zh) * 2022-06-30 2022-08-05 广州脉泽科技有限公司 一种基于联邦学习的指静脉与掌静脉识别方法
CN115271033B (zh) * 2022-07-05 2023-11-21 西南财经大学 基于联邦知识蒸馏医学图像处理模型构建及其处理方法
CN115271033A (zh) * 2022-07-05 2022-11-01 西南财经大学 基于联邦知识蒸馏医学图像处理模型构建及其处理方法
CN116108491A (zh) * 2023-04-04 2023-05-12 杭州海康威视数字技术股份有限公司 基于半监督联邦学习的数据泄露预警方法、装置及系统
CN116108491B (zh) * 2023-04-04 2024-03-22 杭州海康威视数字技术股份有限公司 基于半监督联邦学习的数据泄露预警方法、装置及系统
CN117114148A (zh) * 2023-08-18 2023-11-24 湖南工商大学 一种轻量级联邦学习训练方法
CN117114148B (zh) * 2023-08-18 2024-04-09 湖南工商大学 一种轻量级联邦学习训练方法
CN117540829A (zh) * 2023-10-18 2024-02-09 广西壮族自治区通信产业服务有限公司技术服务分公司 一种知识共享的大语言模型协同优化方法和系统
CN117540829B (zh) * 2023-10-18 2024-05-17 广西壮族自治区通信产业服务有限公司技术服务分公司 一种知识共享的大语言模型协同优化方法和系统
CN117829320A (zh) * 2024-03-05 2024-04-05 中国海洋大学 一种基于图神经网络和双向深度知识蒸馏的联邦学习方法

Also Published As

Publication number Publication date
CN113205863B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN113205863B (zh) 基于蒸馏的半监督联邦学习的个性化模型的训练方法
Zhu et al. Federated learning on non-IID data: A survey
Zhao et al. Privacy-preserving collaborative deep learning with unreliable participants
Hu et al. MHAT: An efficient model-heterogenous aggregation training scheme for federated learning
Cao et al. Interactive temporal recurrent convolution network for traffic prediction in data centers
Liu et al. Keep your data locally: Federated-learning-based data privacy preservation in edge computing
Ghai et al. Machine Learning Algorithms for Signal and Image Processing
Xin et al. Federated synthetic data generation with differential privacy
Zhang et al. Federated multidomain learning with graph ensemble autoencoder GMM for emotion recognition
Pérez et al. Data augmentation through multivariate scenario forecasting in Data Centers using Generative Adversarial Networks
Wen et al. From generative ai to generative internet of things: Fundamentals, framework, and outlooks
Arafeh et al. Data independent warmup scheme for non-IID federated learning
Li Network traffic prediction of the optimized BP neural network based on Glowworm Swarm Algorithm
Pei et al. A Review of Federated Learning Methods in Heterogeneous scenarios
Uddin et al. Federated learning via disentangled information bottleneck
CN115879542A (zh) 一种面向非独立同分布异构数据的联邦学习方法
Yang et al. Tensor-empowered federated learning for cyber-physical-social computing and communication systems
CN114564641A (zh) 个性化多视图联邦推荐系统
Le et al. Fedmekt: Distillation-based embedding knowledge transfer for multimodal federated learning
Anand et al. Privacy preserving framework using Gaussian mutation based firebug optimization in cloud computing
CU et al. EHR privacy preservation using federated learning with DQRE-Scnet for healthcare application domains
Patil et al. Design and Behavioral Analysis of Students during Examinations using Distributed Machine Learning
Xu et al. Lightweight and unobtrusive privacy preservation for remote inference via edge data obfuscation
Li et al. Personalized federated learning with semisupervised distillation
CN113935251B (zh) 用户行为预测模型的生成方法、用户行为预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant