CN115358418A - 基于模型扰动的联邦学习分类模型训练方法 - Google Patents

基于模型扰动的联邦学习分类模型训练方法 Download PDF

Info

Publication number
CN115358418A
CN115358418A CN202211010854.9A CN202211010854A CN115358418A CN 115358418 A CN115358418 A CN 115358418A CN 202211010854 A CN202211010854 A CN 202211010854A CN 115358418 A CN115358418 A CN 115358418A
Authority
CN
China
Prior art keywords
model
classification model
layer
client
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211010854.9A
Other languages
English (en)
Inventor
王子龙
王鸿波
陈谦
陈嘉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202211010854.9A priority Critical patent/CN115358418A/zh
Publication of CN115358418A publication Critical patent/CN115358418A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于模型扰动的联邦学习分类模型训练方法，实现步骤为：构建联邦学习分类系统；客户端初始化联邦学习本地分类模型及训练参数；客户端对本地分类模型进行迭代训练，并对本地分类模型进行扰动；中央服务器获取联邦学习系统的训练结果。本发明客户端根据每个卷积层所提取的训练数据集的特征类型的不同以及每个全连接层对模型预测分类效果的影响的不同，为本地分类模型的不同模型层分配不同的隐私预算值，能够控制每个模型层的扰动程度，避免了模型层的扰动程度过大或者过小对模型的影响，进而提高了联邦学习分类模型的隐私保护能力和预测分类精度。

Description

基于模型扰动的联邦学习分类模型训练方法
技术领域
本发明属于隐私计算领域，涉及一种联邦学习分类模型训练方法，具体涉及一种基于模型扰动的联邦学习分类模型训练方法。
背景技术
图像分类是一种常见的机器学习任务，其根据图像存在中的特征来准确识别图像的目标类别，在机器学习中，常常采用卷积神经网络来解决图像分类任务，想要训练出一个图像分类模型，需要大量训练数据。然而，这些训练数据往往存在于多个数据源且包含个人的敏感信息，随着人们隐私意识的觉醒，对个人隐私要求日趋严格。
为解决人们的隐私担忧，McMahan等人于2017年提出联邦学习这一概念，兼顾效率与安全。如今联邦学习逐渐成为了一种流行的分布式机器学习范式，通过共享模型更新(例如，梯度、模型参数)而不是原始数据，降低了通信开销，增强了通信过程的隐私保护。然而，研究人员发现可以对梯度、模型参数进行分析(例如，模型反演攻击、成员推理攻击)从而侵犯用户隐私。差分隐私技术部署在联邦学习中满足了隐私要求，但这些方法往往会降低模型的预测分类效果或系统效率。在基于差分隐私的联邦学习中，如何提高模型的预测分类效果、减小模型泄露隐私的风险，是实现高效安全的联邦学习系统的一个亟需解决的问题。
例如申请公布号为CN113762525A，名称为“一种具有差分隐私保护的联邦学习模型训练方法”的专利申请，公开了一种具有差分隐私保护的联邦学习模型训练方法，该方法的主要步骤是：(1)建立模型和终端的连接，选择学习模型，建立学习模型与终端服务器的联系；(2)模型的区分与分发，对模型进行样本级别和用户级别的区分，终端服务器将区分后的模型按照标准选择参与本轮联邦学习的设备；(3)进行本地训练，每个设备加载当前全局模型，使用自己的训练数据训练，得到新的本地模型；(4)建立隐私保护，根据模型类别的区分，采用不同的方式利用差分隐私保护对信息进行加密保护；(5)更新全局模型，每个设备向服务器上传模型的更新值，服务器收集更新值后进行聚合，得到聚合结果，进而更新全局模型；(6)监控和反馈，对数据的更新值进行监控，判断训练的模型是否泄露某个特定的样本或用户参与了训练，并将得到的结果向终端服务器进行反馈；(7)数据备份记录，对更新后的全局模型数据进行备份存档，避免数据传输时损坏影响数据的获取。该方法存在的不足之处是：差分隐私技术通过隐私预算值来控制联邦学习模型的扰动程度，其为联邦学习模型的每个模型层的分配的隐私预算值是相等的，进而每个模型层的扰动程度是相同的，没有考虑到每个具有提取特征功能的模型层所提取的训练数据集的特征的类型的不同以及每个具有预测功能的模型层对模型预测效果的影响的不同，导致对模型预测效果影响大的模型层的扰动程度过大，从而降低模型的预测效果，对提取到更多类型的训练数据集特征的模型层的扰动程度过小，从而降低模型的隐私保护能力。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种基于模型扰动的联邦学习分类模型训练方法，用于解决现有技术中存在的隐私保护能力较弱和预测分类精度较低的技术问题。
为实现上述目的，本发明采用的技术方案包括如下步骤：
(1)构建联邦学习系统：
初始化包括中央服务器和N个客户端C＝{c1,c2,…,cn,…,cN}的联邦学习系统，其中，N≥2，cn表示第n个客户端；
(2)客户端初始化联邦学习本地分类模型及训练参数：
每个客户端cn初始化包含L个目标类别的M幅图像的本地训练数据集，并对每幅图像的目标进行标注；初始化包括由依次层叠的K个复合层和F个全连接层组成的I个模型层的本地分类模型Xn，每个复合层包括依次层叠的卷积层、ReLU层、Dropout层和池化层；初始化聚合轮次为t，最大聚合轮次为T，T≥100，第t次聚合客户端cn的本地分类模型为
Figure BDA0003810517930000021
Figure BDA0003810517930000022
第i个模型层的权值参数、隐私预算值分别为
Figure BDA0003810517930000023
其中，并令t＝0，
Figure BDA0003810517930000024
其中，L≥2，M≥500，K≥2，F≥2，I＝K+F；
(3)客户端对本地分类模型进行迭代训练：
(3a)每个客户端cn将从本地训练数据集中有放回地随机选取的B个训练数据作为本地分类模型
Figure BDA0003810517930000031
的输入进行前向传播：K个复合层中的卷积层提取每个训练数据的特征，ReLU层对提取的特征进行非线性处理，Dropout层对非线性处理后的特征进行概率性丢弃，池化层对概率性丢弃的特征进行压缩，共进行K次，F个全连接层根据第K次压缩后每个训练数据的特征对其对应的训练数据进行预测，得到B个预测标签
Figure BDA0003810517930000032
其中，
Figure BDA0003810517930000033
表示第b个训练数据的预测标签；
(3b)每个客户端cn使用交叉熵损失函数，通过每个训练数据的预测标签
Figure BDA0003810517930000034
与其对应的真实标签
Figure BDA0003810517930000035
计算本地分类模型
Figure BDA0003810517930000036
的损失值
Figure BDA0003810517930000037
并使用随机梯度下降算法，通过
Figure BDA0003810517930000038
对本地分类模型
Figure BDA0003810517930000039
的权值参数
Figure BDA00038105179300000310
的偏导数
Figure BDA00038105179300000311
对
Figure BDA00038105179300000312
的权值参数
Figure BDA00038105179300000313
进行更新，得到权值参数为
Figure BDA00038105179300000314
的本地分类模型
Figure BDA00038105179300000315
(4)客户端对本地分类模型进行扰动：
(4a)每个客户端cn根据本地分类模型
Figure BDA00038105179300000316
每个模型层的隐私预算值
Figure BDA00038105179300000317
计算满足差分隐私保证的高斯噪声尺度值
Figure BDA00038105179300000318
并根据
Figure BDA00038105179300000319
计算每个模型层满足高斯分布的噪声值
Figure BDA00038105179300000320
(4b)每个客户端cn将噪声值
Figure BDA00038105179300000321
添加到每个模型层的权值参数
Figure BDA00038105179300000322
上，实现对本地分类模型
Figure BDA00038105179300000323
的扰动，得到权值参数为
Figure BDA00038105179300000324
的扰动后的本地分类模型
Figure BDA00038105179300000325
并将
Figure BDA00038105179300000326
上传至中央服务器；
(5)中央服务器获取联邦学习系统的训练结果：
中央服务器随机选取V个客户端cv上传的本地分类模型
Figure BDA00038105179300000327
的权值参数
Figure BDA00038105179300000328
进行聚合,得到聚合结果ωt，并判断t＝T是否成立，若是，得到权值参数为ωT的联邦学习全局分类模型XT，否则令t＝t+1，
Figure BDA00038105179300000329
并执行步骤(3)。
本发明与现有技术相比具有如下优点：
本发明每个客户端根据每次迭代过程中本地分类模型中每个模型层的隐私预算值计算满足差分隐私保证的高斯噪声尺度值，并根据高斯噪声尺度值计算每个模型层满足高斯分布的噪声值，然后将噪声值添加到每个模型层的权值参数上，实现对本地分类模型的扰动，客户端根据每个卷积层所提取的训练数据集的特征类型的不同以及每个全连接层对模型预测分类效果的影响的不同，为本地分类模型的不同模型层分配不同的隐私预算值，一方面能够精确地控制每个模型层所添加的噪声，从而控制每个模型层的扰动程度，另一方面弥补了现有技术因模型层的隐私预算值过大导致对模型的扰动程度低，减弱模型的隐私保护能力，同时能够避免因隐私预算值过小导致对模型的扰动程度高，进而导致模型预测分类精度较低的缺陷，有效提高了联邦学习分类模型的隐私保护能力和预测分类精度。
附图说明
图1为本发明的实现流程图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的详细描述。
参照图1，本发明包括如下步骤：
步骤1)构建联邦学习系统：
构建包括中央服务器和N个客户端C＝{c1,c2,…,cn,…,cN}的联邦学习系统，其中，N≥2，cn表示第n个客户端；本实施例中N＝100。
步骤2)客户端初始化联邦学习本地分类模型及训练参数：
每个客户端cn初始化包含L个目标类别的M幅图像的本地训练数据集，并对每幅图像的目标进行标注；初始化包括由依次层叠的K个复合层和F个全连接层组成的I个模型层的本地分类模型Xn，每个复合层包括依次层叠的卷积层、ReLU层、Dropout层和池化层；初始化聚合轮次为t，最大聚合轮次为T，T≥100，第t次聚合客户端cn的本地分类模型为
Figure BDA0003810517930000041
Figure BDA0003810517930000042
第i个模型层的权值参数、隐私预算值分别为
Figure BDA0003810517930000043
其中，并令t＝0，
Figure BDA0003810517930000044
其中，L≥2，M≥500，K≥2，F≥2，I＝K+F；
本实施例所使用的数据集为CIFAR-10普适物体的彩色图像数据集，该数据集对应的目标类别的个数L＝10分别为：飞机、汽车、鸟类、猫、鹿、狗、蛙类、马、船和卡车，共包含M＝60000幅图像，每幅图像的像素大小为32×32，每个目标类别有6000幅图像，在本实施例中，设置每个客户端拥有600幅图像，本地分类模型包含复合层的个数K＝2，全连接层的个数F＝2，两个复合层中卷积层的卷积核大小均为3，卷积核数量分别为32、64，Dropout的丢弃概率均为0.25，池化层的窗口形状均为2×2，第一个全连接层的输入为4096，输出为1024，第二个全连接层的输入为1024，输出为10，最大聚合轮次为T＝300，
Figure BDA0003810517930000051
步骤3)客户端对本地分类模型进行迭代训练：
步骤3a)每个客户端cn将从本地训练数据集中有放回地随机选取的B个训练数据作为本地分类模型
Figure BDA0003810517930000052
的输入进行前向传播：K个复合层中的卷积层提取每个训练数据的特征，ReLU层对提取的特征进行非线性处理，Dropout层对非线性处理后的特征进行概率性丢弃，池化层对概率性丢弃的特征进行压缩，共进行K次，F个全连接层根据第K次压缩后每个训练数据的特征对其对应的训练数据进行预测，得到B个预测标签
Figure BDA0003810517930000053
其中，
Figure BDA0003810517930000054
表示第b个训练数据的预测标签；
在本实例中，B＝32，第一个复合层的卷积层提取到32个32×32的特征，由Dropout层会使每个特征以0.25的概率丢弃，池化层进行压缩得到32个16×16的特征，第二个复合层的卷积层提取到64个16×16的特征，Dropout层会使每个特征以0.25的概率丢弃，池化层进行压缩得到64个8×8的特征，2个全连接层对池化层的结果进行分类，得到10个预测标签。
步骤3b)每个客户端cn使用交叉熵损失函数，通过每个训练数据的预测标签
Figure BDA0003810517930000055
与其对应的真实标签
Figure BDA0003810517930000056
计算本地分类模型
Figure BDA0003810517930000057
的损失值
Figure BDA0003810517930000058
并使用随机梯度下降算法，通过
Figure BDA0003810517930000059
对本地分类模型
Figure BDA00038105179300000510
的权值参数
Figure BDA00038105179300000511
的偏导数
Figure BDA00038105179300000512
对
Figure BDA00038105179300000513
的权值参数
Figure BDA00038105179300000514
进行更新，得到权值参数为
Figure BDA00038105179300000515
的本地分类模型
Figure BDA00038105179300000516
在该步骤中，本地分类模型
Figure BDA00038105179300000517
的损失值
Figure BDA00038105179300000518
以及权值参数
Figure BDA00038105179300000519
的计算、更新公式分别为：
Figure BDA00038105179300000520
Figure BDA00038105179300000521
其中，∑表示求和操作，log表示对数运算，η＞0表示学习率。在本实例中，η＝0.01。
步骤4)客户端对本地分类模型进行扰动：
步骤4a)每个客户端cn根据本地分类模型
Figure BDA0003810517930000061
每个模型层的隐私预算值
Figure BDA0003810517930000062
计算满足差分隐私保证的高斯噪声尺度值
Figure BDA0003810517930000063
并根据
Figure BDA0003810517930000064
计算每个模型层满足高斯分布的噪声值
Figure BDA0003810517930000065
在该步骤中，高斯噪声尺度值
Figure BDA0003810517930000066
以及噪声值
Figure BDA0003810517930000067
计算公式分别为：
Figure BDA0003810517930000068
Figure BDA0003810517930000069
其中，
Figure BDA00038105179300000610
表示敏感度，δ表示本地分类模型
Figure BDA00038105179300000611
不满足差分隐私技术的概率，exp表示以自然常数e为底的指数函数，s表示随机数，
Figure BDA00038105179300000612
μ表示数学期望，
Figure BDA00038105179300000613
表示标准差。
差分隐私技术通过控制每个模型层的隐私预算值控制其扰动程度，进而控制该复合层的隐私保护能力及全连接层的预测分类效果，在步骤2)中，两个复合层的隐私预算值分别为10、8，两个全连接层的隐私预算值分别为4、6，每个复合层的隐私预算值越小，根据隐私预算值所计算的高斯噪声尺度值就越大，根据高斯噪声尺度值所计算的噪声值就越大。每个全连接层的隐私预算值越大，根据隐私预算值所计算的高斯噪声尺度值就越小，根据高斯噪声尺度值所计算的噪声值就越小。
在本实施例中，
Figure BDA00038105179300000614
μ＝0。
步骤4b)每个客户端cn将噪声值
Figure BDA00038105179300000615
添加到每个模型层的权值参数
Figure BDA00038105179300000616
上，实现对本地分类模型
Figure BDA00038105179300000617
的扰动，得到权值参数为
Figure BDA00038105179300000618
的扰动后的本地分类模型
Figure BDA00038105179300000619
并将
Figure BDA00038105179300000620
上传至中央服务器；
将步骤4a)为每个模型层计算的噪声值添加到相对应的复合层、全连接层，噪声值越大，复合层的扰动程度越高，隐私保护能力越好，泄露本地训练数据的概率越低，进而提高了整个联邦学习分类模型的隐私保护能力；噪声值越小，全连接层的扰动程度越低，对模型预测分类效果的影响就越小，进而提高了整个联邦学习分类模型的预测分类精度。
在该步骤中，由于每个客户端cn上传的是添加过高斯噪声的权值参数为
Figure BDA00038105179300000621
的本地分类模型
Figure BDA00038105179300000710
攻击者获取
Figure BDA0003810517930000072
由于高斯噪声的存在，使其无法通过
Figure BDA0003810517930000073
推断本地训练数据。
步骤5)中央服务器获取联邦学习系统的训练结果：
中央服务器随机选取V个客户端cv上传的本地分类模型
Figure BDA0003810517930000074
的权值参数
Figure BDA0003810517930000075
进行聚合,得到聚合结果ωt，并判断t＝T是否成立，若是，得到权值参数为ωT的联邦学习全局分类模型XT，否则令t＝t+1，
Figure BDA0003810517930000076
并执行步骤3)。
在该步骤中，中央服务器选取Vt个客户端cv上传的本地分类模型
Figure BDA0003810517930000077
的权值参数
Figure BDA0003810517930000078
进行聚合，聚合公式如下：
Figure BDA0003810517930000079
其中,1≤Vt≤N。在本实施例中，Vt＝10。

Claims (5)

1.一种基于模型扰动的联邦学习分类模型训练方法，其特征在于，包括如下步骤：
(1)构建联邦学习系统：
初始化包括中央服务器和N个客户端C＝{c1,c2,…,cn,…,cN}的联邦学习系统，其中，N≥2，cn表示第n个客户端；
(2)客户端初始化联邦学习本地分类模型及训练参数：
每个客户端cn初始化包含L个目标类别的M幅图像的本地训练数据集，并对每幅图像的目标进行标注；初始化包括由依次层叠的K个复合层和F个全连接层组成的I个模型层的本地分类模型Xn，每个复合层包括依次层叠的卷积层、ReLU层、Dropout层和池化层；初始化聚合轮次为t，最大聚合轮次为T，T≥100，第t次聚合客户端cn的本地分类模型为
Figure FDA0003810517920000011
Figure FDA00038105179200000111
第i个模型层的权值参数、隐私预算值分别为
Figure FDA0003810517920000012
其中，并令t＝0，
Figure FDA0003810517920000013
其中，L≥2，M≥500，K≥2，F≥2，I＝K+F；
(3)客户端对本地分类模型进行迭代训练：
(3a)每个客户端cn将从本地训练数据集中有放回地随机选取的B个训练数据作为本地分类模型
Figure FDA0003810517920000014
的输入进行前向传播：K个复合层中的卷积层提取每个训练数据的特征，ReLU层对提取的特征进行非线性处理，Dropout层对非线性处理后的特征进行概率性丢弃，池化层对概率性丢弃的特征进行压缩，共进行K次，F个全连接层根据第K次压缩后每个训练数据的特征对其对应的训练数据进行预测，得到B个预测标签
Figure FDA0003810517920000015
其中，
Figure FDA0003810517920000016
表示第b个训练数据的预测标签；
(3b)每个客户端cn使用交叉熵损失函数，通过每个训练数据的预测标签
Figure FDA0003810517920000017
与其对应的真实标签
Figure FDA0003810517920000018
计算本地分类模型
Figure FDA0003810517920000019
的损失值
Figure FDA00038105179200000110
并使用随机梯度下降算法，通过
Figure FDA0003810517920000021
对本地分类模型
Figure FDA0003810517920000022
的权值参数
Figure FDA0003810517920000023
的偏导数
Figure FDA0003810517920000024
对
Figure FDA0003810517920000025
的权值参数
Figure FDA0003810517920000026
进行更新，得到权值参数为
Figure FDA0003810517920000027
的本地分类模型
Figure FDA0003810517920000028
(4)客户端对本地分类模型进行扰动：
(4a)每个客户端cn根据本地分类模型
Figure FDA0003810517920000029
每个模型层的隐私预算值
Figure FDA00038105179200000210
计算满足差分隐私保证的高斯噪声尺度值
Figure FDA00038105179200000211
并根据
Figure FDA00038105179200000212
计算每个模型层满足高斯分布的噪声值
Figure FDA00038105179200000213
(4b)每个客户端cn将噪声值
Figure FDA00038105179200000214
添加到每个模型层的权值参数
Figure FDA00038105179200000215
上，实现对本地分类模型
Figure FDA00038105179200000216
的扰动，得到权值参数为
Figure FDA00038105179200000217
的扰动后的本地分类模型
Figure FDA00038105179200000218
并将
Figure FDA00038105179200000219
上传至中央服务器；
(5)中央服务器获取联邦学习系统的训练结果：
中央服务器随机选取V个客户端cv上传的本地分类模型
Figure FDA00038105179200000220
的权值参数
Figure FDA00038105179200000221
进行聚合,得到聚合结果ωt，并判断t＝T是否成立，若是，得到权值参数为ωT的联邦学习全局分类模型XT，否则令t＝t+1，
Figure FDA00038105179200000222
并执行步骤(3)。
2.根据权利要求1所述的基于模型扰动的联邦学习分类模型训练方法，其特征在于，步骤(2)中所述的本地分类模型Xn，其所包含的复合层的个数K＝2，全连接层的个数F＝2，两个复合层中卷积层的卷积核大小均为3，卷积核数量分别为32、64，Dropout的丢弃概率均为0.25，池化层的窗口形状均为2×2。
3.根据权利要求1所述的基于模型扰动的联邦学习分类模型训练方法，其特征在于，步骤(3b)中所述的本地分类模型
Figure FDA00038105179200000223
的损失值
Figure FDA00038105179200000224
以及权值参数
Figure FDA00038105179200000225
的更新公式分别为：
Figure FDA0003810517920000031
Figure FDA0003810517920000032
其中，∑表示求和操作，log表示对数运算，η＞0表示学习率。
4.根据权利要求1所述的基于模型扰动的联邦学习分类模型训练方法，其特征在于：步骤(4a)中所述的高斯噪声尺度值
Figure FDA0003810517920000033
以及噪声值
Figure FDA0003810517920000034
计算公式分别为：
Figure FDA0003810517920000035
Figure FDA0003810517920000036
其中，
Figure FDA0003810517920000037
表示敏感度，δ表示本地分类模型
Figure FDA0003810517920000038
不满足差分隐私技术的概率，exp表示以自然常数e为底的指数函数，s表示随机数，
Figure FDA0003810517920000039
μ表示数学期望，
Figure FDA00038105179200000310
表示标准差。
5.根据权利要求1所述的基于模型扰动的联邦学习分类模型训练方法，其特征在于：步骤(5)中所述的中央服务器选取Vt个客户端cv上传的本地分类模型
Figure FDA00038105179200000311
的权值参数
Figure FDA00038105179200000312
进行聚合，聚合公式如下：
Figure FDA00038105179200000313
其中,1≤Vt≤N。
CN202211010854.9A 2022-08-23 2022-08-23 基于模型扰动的联邦学习分类模型训练方法 Pending CN115358418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211010854.9A CN115358418A (zh) 2022-08-23 2022-08-23 基于模型扰动的联邦学习分类模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211010854.9A CN115358418A (zh) 2022-08-23 2022-08-23 基于模型扰动的联邦学习分类模型训练方法

Publications (1)

Publication Number Publication Date
CN115358418A true CN115358418A (zh) 2022-11-18

Family

ID=84003103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211010854.9A Pending CN115358418A (zh) 2022-08-23 2022-08-23 基于模型扰动的联邦学习分类模型训练方法

Country Status (1)

Country Link
CN (1) CN115358418A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116822647A (zh) * 2023-05-25 2023-09-29 大连海事大学 一种基于联邦学习的模型解释方法
CN118133939A (zh) * 2024-05-06 2024-06-04 深圳九有数据库有限公司 基于多模态数据的差分隐私化联邦学习方法及系统、设备
WO2024140407A1 (zh) * 2022-12-30 2024-07-04 中国电信股份有限公司 预训练模型的微调方法、装置、设备、介质及程序

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024140407A1 (zh) * 2022-12-30 2024-07-04 中国电信股份有限公司 预训练模型的微调方法、装置、设备、介质及程序
CN116822647A (zh) * 2023-05-25 2023-09-29 大连海事大学 一种基于联邦学习的模型解释方法
CN116822647B (zh) * 2023-05-25 2024-01-16 大连海事大学 一种基于联邦学习的模型解释方法
CN118133939A (zh) * 2024-05-06 2024-06-04 深圳九有数据库有限公司 基于多模态数据的差分隐私化联邦学习方法及系统、设备
CN118133939B (zh) * 2024-05-06 2024-07-16 深圳九有数据库有限公司 基于多模态数据的差分隐私化联邦学习方法及系统、设备

Similar Documents

Publication Publication Date Title
CN115358418A (zh) 基于模型扰动的联邦学习分类模型训练方法
CN113515770B (zh) 基于隐私保护确定目标业务模型的方法及装置
CN108629413B (zh) 神经网络模型训练、交易行为风险识别方法及装置
CN111008694B (zh) 基于深度卷积对抗生成网络的无数据模型量化压缩方法
CN108596902A (zh) 基于选通卷积神经网络的多任务全参考图像质量评价方法
CN114912705A (zh) 一种联邦学习中异质模型融合的优化方法
CN114514519A (zh) 使用异构模型类型和架构的联合学习
CN111461180A (zh) 样本分类方法、装置、计算机设备及存储介质
CN112163637B (zh) 基于非平衡数据的图像分类模型训练方法、装置
CN111832650A (zh) 基于生成对抗网络局部聚合编码半监督的图像分类方法
CN114841268B (zh) 基于Transformer和LSTM融合算法的异常电力客户识别方法
CN112272074B (zh) 一种基于神经网络的信息传输速率控制方法及系统
CN113722718A (zh) 一种基于策略库的云边协同工控网络安全防护方法
CN114139013A (zh) 图像搜索方法、装置、电子设备及计算机可读存储介质
CN115695025A (zh) 网络安全态势预测模型的训练方法及装置
CN111079827B (zh) 一种铁路数据状态评估方法及系统
CN114626550A (zh) 分布式模型协同训练方法和系统
CN117636183A (zh) 一种基于自监督预训练的小样本遥感图像分类方法
CN117894389A (zh) 基于ssa优化vmd和lstm的变压器油中溶解气体浓度数据预测方法
CN117079087A (zh) 一种基于差分隐私的学习率自适应医疗图像识别方法
CN113688989B (zh) 深度学习网络加速方法、装置、设备及存储介质
CN115587616A (zh) 网络模型训练方法、装置、存储介质及计算机设备
CN115829029A (zh) 一种基于通道注意力的自蒸馏实现方法
US20230177393A1 (en) Machine learning apparatus, machine learning system, machine learning method, and program
CN113673149A (zh) 一种复杂环境下的无人机决策评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination