CN112818394A - 具有本地隐私保护的自适应异步联邦学习方法 - Google Patents

具有本地隐私保护的自适应异步联邦学习方法 Download PDF

Info

Publication number
CN112818394A
CN112818394A CN202110128810.5A CN202110128810A CN112818394A CN 112818394 A CN112818394 A CN 112818394A CN 202110128810 A CN202110128810 A CN 202110128810A CN 112818394 A CN112818394 A CN 112818394A
Authority
CN
China
Prior art keywords
gradient
central server
noise
local
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110128810.5A
Other languages
English (en)
Inventor
杨树森
李亚男
任雪斌
赵鹏
于新林
王炳焕
周子昊
沈杰
姜悦樱
包舒玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110128810.5A priority Critical patent/CN112818394A/zh
Publication of CN112818394A publication Critical patent/CN112818394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种具有本地隐私保护的自适应异步联邦学习方法，中心服务器初始化全局模型并将全局模型参量、梯度裁剪标准、噪声机制、噪声方差广播给所有参与用户，每个用户先利用从本地数据中抽取的样本训练全局模型并对梯度逐个进行裁剪、扰动，之后将扰动的梯度发送至中心服务器，中心服务器从缓冲队列中选取前K个扰动梯度进行平均聚合，并将平均后的梯度代入随机梯度下降公式更新全局模型参量，同时根据预设阶段迭代次数自适应地调节梯度裁剪标准、噪声方差、学习率，之后中心服务器将更新后的全局模型参量、梯度裁剪标准、噪声方差广播给上一回合参与更新的K个用户，本地用户和中心服务器重复上述操作直至全局迭代次数达到给定标准。

Description

具有本地隐私保护的自适应异步联邦学习方法
技术领域
本发明属于安全联邦学习领域，具体涉及一种具有本地隐私保护的自适应异步联邦学习方法。
背景技术
现今社会已经进入大数据时代，通过人工智能、机器学习、大数据技术对数据进行深入的分析和挖掘可以最大程度释放数据的价值，从而推进社会经济的快速发展。但由于数据天然地分布或储存在不同用户设备中(包括个人设备或企业设备)并且这些数据具有很强的敏感性，对用户数据直接聚合、分析、挖掘会造成用户隐私信息泄露。联邦学习保证用户数据保留在本地前提下，仅通过用户与中心服务器进行多回合中间信息交换聚合来共同完成全局模型的训练。由于联邦学习既保证了用户原始数据的隐私安全又能达到媲美集中式下的模型效用，因此联邦学习近几年受到了企业的大量关注和研究。但目前研究内容侧重于同步联邦学习，轻视了异步联邦学习研究；侧重于中心服务器可信假设下的研究，未充分考虑中心服务器不可信假设下的研究；侧重于使用固定梯度裁剪标准，缺乏自适应梯度裁剪标准的策略研究。具体地，存在以下三方面不足。第一，轻视异步联邦学习研究。联邦学习中用户设备的计算能力和通信能力存在明显异质性，同步联邦学习中需要等待最慢学习者从而会降低学习效率，异步联邦学习可以显著提高用户联合学习的效率。第二，未充分考虑中心服务器不可信假设下的联邦学习。多数研究中往往假设中心服务器完全可信，但现实中中心服务器可能会通过中间信息去推测用户的原始信息。因此用户在本地对中间信息进行加密可提供更为安全可信的联邦学习。第三，缺乏自适应梯度裁剪标准的策略研究。联邦学习中通常对梯度进行裁剪以保证模型的效用性，但当使用差分隐私保护技术进行本地隐私保护时，固定的梯度裁剪难以适用于整个学习过程梯度的变化规律，从而会降低最终的模型效用。
发明内容
本发明的目的在于克服上述现有方法的缺点，提供了一种具有本地隐私保护的自适应异步联邦学习方法，该方法解决了异步联邦学习中用户隐私信息的安全性和最终模型的效用性问题。
为达到上述目的，本发明采用如下技术方案来实现的：
具有本地隐私保护的自适应异步联邦学习方法，中心服务器初始化全局模型并将全局模型参量、梯度裁剪标准、噪声机制、噪声方差广播给所有参与用户，每个用户先利用从本地数据中抽取的样本训练全局模型并对梯度逐个进行裁剪、扰动，之后将扰动的梯度发送至中心服务器，中心服务器从缓冲队列中选取前K个扰动梯度进行平均聚合，并将平均后的梯度代入随机梯度下降公式更新全局模型参量，同时根据预设阶段迭代次数自适应地调节梯度裁剪标准、噪声方差、学习率，之后中心服务器将更新后的全局模型参量、梯度裁剪标准、噪声方差广播给上一回合参与更新的K个用户，本地用户和中心服务器重复上述操作直至全局迭代次数达到给定标准，具体包括以下步骤：
1)参量初始化：中心服务器定义损失函数f(w，ξ)、每回合参与用户量K、学习率γ、梯度裁剪标准c、噪声机制
Figure BDA0002924368700000021
噪声方差σ2、衰减比例ρ、样本抽样比率r、全局迭代次数T、阶段更新次数Ts、初始化模型参量w1；
2)参量广播：中心服务器将当前时刻模型参量w1、梯度裁剪标准c、噪声机制
Figure BDA0002924368700000022
噪声方差σ2、样本抽样概率r发送给全部用户；
3)本地梯度计算：每个用户基于接收到的样本抽样概率r从本地抽取训练样本，之后基于接收的模型参量计算训练样本对应的梯度，其中训练样本大小是期望为nkr的随机变量，nk为第k个用户的样本总量；
4)本地梯度裁剪：每个用户基于接收到的梯度裁剪标准c对训练样本上的梯度逐个裁剪；
5)本地梯度扰动：对每个训练样本对应的梯度，独立地从噪声机制
Figure BDA0002924368700000031
从中抽取方差为σ2的噪声并将此噪声添加到裁剪后的梯度；
6)本地梯度上传：每个用户计算本地扰动后梯度的平均值，并独立并行地将平均值上传至中心服务嚣；
7)全局梯度聚合：中心服务器从缓冲队列中选取前K个本地用户的扰动梯度并取其平均；
8)全局模型更新：中心服务器基于平均聚合梯度对全局模型参量wt进行梯度下降更新，得到更新后的模型参量wt+1；
9)自适应参量更新：中心服务器根据当前全局迭代次数t与预设阶段更新阈值Ts关系判断是否更新梯度裁剪标准、噪声方差、学习率三个参量：
若是，则按照比例ρ∈(0，1)衰减梯度裁剪标准；按照比例ρ2∈(0，1)衰减噪声方差；按照特定公式更新学习率；
若否，则继续使用当前梯度裁剪标准、噪声方差、学习率；
10)更新参量发送：中心服务器将更新后的全局模型参量wt+1和自适应调节后的梯度裁剪标准、噪声方差发送至上回合参与更新的K个用户，在下一回合全局模型更新中使用自适应调节后的学习率，上述过程重复进行直至满足给定的全局迭代次数T。
本发明进一步的改进在于，1)中研究对象为异步联邦学习，其中每回合参与用户数量K用于控制中心服务器聚合用户的数量，相比于完全同步联邦学习和完全异步联邦学习，K异步联邦学习可以显著提升学习效率；1)中给出初始阶段的学习率和迭代次数设置，该设置在理论上保证了本地隐私保护的异步联邦学习的收敛性。
本发明进一步的改进在于，3)中用户抽取的用于训练模型的最小批大小并不相同，由于不同用户使用相同的样本抽样比率r，但不同用户的样本总量nk不同，所以产生的最小批大小nkr并不相同，该抽样方法用于保证每个样本被抽取的概率相同，从而保证所有用户样本有等可能概率被学习到，使得训练模型不会偏向于样本量大的特定群体从而保证模型对全体用户的可用性。
本发明进一步的改进在于，4)中对梯度进行裁剪指对单个样本的梯度进行裁剪而非用户的最小批上的平均梯度进行裁剪，也就是梯度裁剪是按照样本逐个进行，这种做法可通过控制单个样本对梯度产生的影响从而保证所有用户的训练样本隐私安全。
本发明进一步的改进在于，6)中每个用户上传扰动后梯度的操作是独立且并行的，任何完成当前本地计算的用户立即上传其扰动梯度并等待中心服务器返回相应的模型更新参量，这种做法可提升联邦学习的计算效率，计算速度快的用户无需等待计算速度慢的用户。
本发明进一步的改进在于，7)中聚合的前K个用户是中心服务器从队列中选择前K个的本地用户信息，对于当前模型更新是最具时效的信息，中心服务器无需事先指定哪K个用户参与当前回合更新，因此无需等待特定用户上传信息，从而可以提升联邦学习的效率。
本发明进一步的改进在于，9)中自适应参量更新，包括自适应地调节梯度裁剪标准、自适应地调节噪声方差大小、自适应地调节学习率。
由于随着训练模型精度的提升，全局梯度范数整体呈现下降趋势，而由于不同用户间数据不满足独立同分布特点，因此不同用户间的梯度范数变化显著，传统上使用固定的裁剪标准不适用于联邦学习。本发明通过自适应调节梯度裁剪标准来提升模型的最终效用性。
由于使用使用自适应梯度裁剪标准，若使用固定噪声方差大小会带来两个弊端，一是难以计算隐私损失，二是损害模型效用性。本发明通过固定噪声方差与梯度裁剪标准比例，既可以保证单次相同的隐私损失又可以使噪声方差依据梯度裁剪标准变化从而提升模型的最终效用性。
由于使用自适应的梯度裁剪标准和噪声方差大小，因而使用固定大小的学习率不能保证训练模型收敛，本发明使用基于梯度裁剪标准和噪声方差的自适应学习率调节，使得在经过一定迭代更新后，模型的梯度范数必定会小于特定比例的初始梯度范数，从而保证模型收敛。
本发明具有如下有益的技术效果：
本发明提供的具有本地隐私保护的自适应异步联邦学习方法，中心服务器初始化模型参量、梯度裁剪标准、噪声机制、噪声方差、用户和样本抽样比率、全局迭代次数，并将相关参量广播给所有参与用户，之后用户在本地对全局模型进行更新，并对更新的梯度进行裁剪、扰动、上传至中心服务器，中心服务器基于接收到的前K个梯度的平均聚合结果更新全局模型并将更新后的全局模型发送给对应用户，同时中心服务器自适应地调节梯度裁剪标准、噪声方差和学习率，用户和中心服务器经过多个回合联合学习直至达到全局迭代次数，其中基于用户独立并行的本地更新和异步中心聚合方式可显著提升联邦学习的效率，基于自适应调节的梯度裁剪标准、噪声方差、学习率策略可明显提升模型的最终效用性并降低总的隐私损失。
附图说明
图1为安全异步联邦学习的示意图
图2为本文所提方法的流程图；
图3与图4为本文所提方法(MAPA)、固定梯度裁剪和噪声方差方法(FixDP)、非隐私方法(NonDP)在不同数据集上的模拟设备级联邦学习测试精度对比；
图5与图6为本文所提方法(MAPA)、固定梯度裁剪和噪声方差方法(FixDP)、非隐私方法(NonDP)在不同数据集上的模拟企业级联邦学习测试精度对比。
具体实施方式
下面结合附图对本发明作进一步详细描述。
参考图1和图2，本发明提供的具有本地隐私保护的自适应异步联邦学习方法，中心服务器负责模型参量和系统参量的初始化及参量发送、用户本地更新量的接收和聚合、梯度裁剪标准、噪声方差、学习率的自适应调节、全局模型的更新，用户负责全局模型在本地的梯度计算、裁剪、加噪、发送。具体包括以下步骤：
1)参量初始化：参考图2，中心服务器建立训练模型，负责模型参量和系统参量的发送、用户本地更新量的接收、聚合与全局模型的更新。并初始化模型参量、损失函数、梯度裁剪标准、学习率、噪声机制、噪声方差、样本抽样比率、全局迭代次数、阶段迭代次数。其中，梯度裁剪标准用于控制单个样本对梯度的影响，噪声机制用于控制噪声类型，噪声方差用于控制隐私保护程度，样本抽样比率用于控制用户本地抽取样本数量。
2)参量广播：参考图2，中心服务器将初始模型参量w1、梯度裁剪标准c、噪声机制
Figure BDA0002924368700000061
噪声方差σ2、样本抽样概率r广播给全部用户。
3)本地梯度计算：每个用户基于样本抽样比率r从本地数据中抽取训练样本，并基于训练样本计算模型参量wt对应的梯度集合
Figure BDA0002924368700000062
其中gk(wt，ξi)是第i个样本ξi对应的梯度，
Figure BDA0002924368700000063
是第k个用户抽取的用于第t次迭代的样本集合，该抽样大小是一随机变量且其期望是
Figure BDA0002924368700000064
其中nk是第k个用户的样本总量。
4)本地梯度裁剪：参考图1与图2，每个用户基于接收到的梯度裁剪标准c对梯度进行裁剪，公式为：
Figure BDA0002924368700000065
5)本地梯度扰动：参考图1与图2，每个用户基于噪声机制
Figure BDA0002924368700000066
抽取方差为σ2的噪声并将之添加到单个裁剪后的梯度，此操作是对梯度逐个进行，即
Figure BDA0002924368700000067
其中
Figure BDA0002924368700000071
是第k个用户抽取的用于第t次迭代的训练样本，
Figure BDA0002924368700000072
为独立同分布随机噪声。
6)本地梯度上传：参考图1与图2，每个用户独立并行地上传本地扰动后的裁剪梯度的平均值
Figure BDA0002924368700000073
至中心服务嚣，之后等待中心服务返回更新后的模型梯度，其中
Figure BDA0002924368700000074
7)全局梯度聚合：参考图1与图2，中心服务器从队列中选择用户发送的前K个接收到的扰动梯度并取其平均值。
8)全局模型更新：参考图1与图2，中心服务器利用前K个扰动梯度的平均值更新全局模型参量，更新公式为：
Figure BDA0002924368700000075
其中0≤τ(t)≤t为用户上传的扰动梯度相对于当前全局模型参量wt的过时程度。
9)自适应参量更新：参考图2，中心服务器判断当前全局迭代次数t是否满足更新条件t≥Ts，其中
Figure BDA0002924368700000076
若t≥Ts，则依次更新裁剪标准c、噪声方差σ2、学习率γ，更新公式如下：
c←ρc
σ2←ρ2σ2
Figure BDA0002924368700000077
Figure BDA0002924368700000078
Figure BDA0002924368700000079
并计算下一阶段需要迭代次数
Figure BDA00029243687000000710
同时更新阶段迭代次数为
Figure BDA00029243687000000711
若t≤Ts，则裁剪标准c、噪声方差σ2、学习率γ保持不变。
10)更新模型广播：参考图2，中心服务器将更新后的模型参量wt+1、梯度裁剪标准c、噪声大小σ2发送到参与上回合全局更新的K个用户，此过程重复直到满足中止条件。
参考图3与图4，图3为MAPA、FixDP、NonDP在数据集CelebA上预测精度随隐私损失的变化，图4为MAPA、FixDP、NonDP在数据集FEMNIST上预测精度随隐私损失的变化。这两幅图比较了本文所提方法(MAPA)、固定梯度裁剪和噪声方差方法(FixDP)、非隐私方法(NonDP)在数据集CelebA和FEMNIST上预测精度随隐私损失的变化，其中CelebA上用户数量为800，FEMNIST上用户数量为180。通过这两幅图可以发现，在模拟设备级联邦学习场景中，MAPA比FixDP可以在相同的隐私损失下显著提升全局模型的预测精度。；
参考图5与图6，其中图5为MAPA、FixDP、NonDP在数据集FEMNIST上预测精度随隐私损失的变化，图6为MAPA、FixDP、NonDP在数据集Reddit上预测精度随隐私损失的变化。这两幅图比较了本文所提方法(MAPA)、固定梯度裁剪和噪声方差方法(FixDP)、非隐私方法(NonDP)在数据集FEMNIST和Reddit上预测精度随隐私损失的变化，其中FEMNIST包含3个企业，每个企业含有100个用户，CelebA包含3个企业，每个企业含有280个用户。通过这两幅图可以发现，在模拟企业级联邦学习场景中，MAPA比FixDP可以在相同的隐私损失下显著提升所有企业模型的预测精度。

Claims (10)

1.具有本地隐私保护的自适应异步联邦学习方法，其特征在于，中心服务器初始化全局模型并将全局模型参量、梯度裁剪标准、噪声机制、噪声方差广播给所有参与用户，每个用户先利用从本地数据中抽取的样本训练全局模型并对梯度逐个进行裁剪、扰动，之后将扰动的梯度发送至中心服务器，中心服务器从缓冲队列中选取前K个扰动梯度进行平均聚合，并将平均后的梯度代入随机梯度下降公式更新全局模型参量，同时根据预设阶段迭代次数自适应地调节梯度裁剪标准、噪声方差、学习率，之后中心服务器将更新后的全局模型参量、梯度裁剪标准、噪声方差广播给上一回合参与更新的K个用户，本地用户和中心服务器重复上述操作直至全局迭代次数达到给定标准，具体包括以下步骤：
1)参量初始化：中心服务器定义损失函数f(w，ξ)、每回合参与用户量K、学习率γ、梯度裁剪标准c、噪声机制
Figure FDA0002924368690000011
噪声方差σ2、衰减比例ρ、样本抽样比率r、全局迭代次数T、阶段更新次数Ts、初始化模型参量w1；
2)参量广播：中心服务器将当前时刻模型参量w1、梯度裁剪标准c、噪声机制
Figure FDA0002924368690000012
噪声方差σ2、样本抽样概率r发送给全部用户；
3)本地梯度计算：每个用户基于接收到的样本抽样概率r从本地抽取训练样本，之后基于接收的模型参量计算训练样本对应的梯度，其中训练样本大小是期望为nkr的随机变量，nk为第k个用户的样本总量；
4)本地梯度裁剪：每个用户基于接收到的梯度裁剪标准c对训练样本上的梯度逐个裁剪；
5)本地梯度扰动：对每个训练样本对应的梯度，独立地从噪声机制
Figure FDA0002924368690000013
从中抽取方差为σ2的噪声并将此噪声添加到裁剪后的梯度；
6)本地梯度上传：每个用户计算本地扰动后梯度的平均值，并独立并行地将平均值上传至中心服务嚣；
7)全局梯度聚合：中心服务器从缓冲队列中选取前K个本地用户的扰动梯度并取其平均；
8)全局模型更新：中心服务器基于平均聚合梯度对全局模型参量wt进行梯度下降更新，得到更新后的模型参量wt+1；
9)自适应参量更新：中心服务器根据当前全局迭代次数t与预设阶段更新阈值Ts关系判断是否更新梯度裁剪标准、噪声方差、学习率三个参量：
若是，则按照比例ρ∈(0，1)衰减梯度裁剪标准；按照比例ρ2∈(0，1)衰减噪声方差；按照特定公式更新学习率；
若否，则继续使用当前梯度裁剪标准、噪声方差、学习率；
10)更新参量发送：中心服务器将更新后的全局模型参量wt+1和自适应调节后的梯度裁剪标准、噪声方差发送至上回合参与更新的K个用户，在下一回合全局模型更新中使用自适应调节后的学习率，上述过程重复进行直至满足给定的全局迭代次数T。
2.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，1)的具体操作为：中心服务器定义损失函数f(w，ξ)、每回合参与用户量K、学习率γ、梯度裁剪标准c、噪声机制
Figure FDA0002924368690000021
噪声方差σ2、衰减比例ρ、样本抽样比率r、全局迭代次数T、阶段迭代次数Ts、初始化模型参量w1，
假设损失函数f(w，ξ)满足L-Lipschitz光滑，即
Figure FDA0002924368690000022
同时满足梯度有界，即
Figure FDA0002924368690000023
其中
Figure FDA0002924368690000024
为第k个用户的样本分布，第k个用户的样本量为nk，令
Figure FDA0002924368690000025
其中
Figure FDA0002924368690000026
为全体参与联邦学习用户集合；
设置学习率γ：
Figure FDA0002924368690000027
P为待定参量且其计算公式为
Figure FDA0002924368690000028
其中
Figure FDA0002924368690000029
设置当前阶段迭代次数Ts：
Figure FDA0002924368690000031
3.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，2)的具体操作为：中心服务器将初始模型参量w1、梯度裁剪标准c、噪声机制
Figure FDA00029243686900000311
噪声方差σ2、样本抽样概率r广播给全部用户。
4.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，3)的具体操作为：每个用户基于样本抽样比率r从本地数据中抽取训练样本，并基于训练样本计算模型参量wt对应的梯度，梯度结果是集合
Figure FDA0002924368690000033
其中gk(wt，ξi)是第i个样本ξi对应的梯度，
Figure FDA0002924368690000034
是第k个用户抽取的用于第t次迭代的训练样本，该训练样本为一随机变量且期望为
Figure FDA0002924368690000035
其中nk是第k个用户的样本总量。
5.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，4)的具体操作为：每个用户基于接收到的梯度裁剪标准c对梯度进行裁剪，裁剪公式为：
Figure FDA0002924368690000036
6.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，5)的具体操作为：每个用户基于噪声机制
Figure FDA0002924368690000037
抽取方差为σ2的噪声并将此噪声添加到裁剪后的梯度，此操作是对梯度逐个进行，即
Figure FDA0002924368690000038
其中
Figure FDA0002924368690000039
是第k个用户抽取的用于第t次迭代的训练样本，
Figure FDA00029243686900000310
为独立同分布随机噪声。
7.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，6)中所有用户独立并行地上传本地扰动后的裁剪梯度的平均值
Figure FDA0002924368690000041
其中
Figure FDA0002924368690000042
8.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，7)的具体操作为：中心服务器从队列中选取前K个接收到的用户发送的平均扰动梯度，这样可避免部分用户因不能及时返回本地信息而造成的系统效率降低，即中心服务器无需等待任何特定用户的上传信息。
9.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，8)的具体操作为：中心服务器利用全局平均聚合梯度更新全局模型，公式为：
Figure FDA0002924368690000043
其中0≤τ(t)≤t为用户发送的梯度相对于当前全局模型参量的过时程度。
10.根据权利要求1所述的具有本地隐私保护的自适应异步联邦学习方法，其特征在于，9)的具体操作为：中心服务器判断当前全局迭代次数t是否满足更新条件t≥Ts，其中
Figure FDA0002924368690000044
若t≥Ts，则依次更新裁剪标准c、噪声方差σ2、学习率γ，更新公式如下：
c←ρc
σ2←ρ2σ2
Figure FDA0002924368690000045
Figure FDA0002924368690000046
Figure FDA0002924368690000047
并计算下一阶段需要迭代次数
Figure FDA0002924368690000048
并更新
Figure FDA0002924368690000049
若t≤Ts，则裁剪标准c、噪声方差σ2、学习率γ保持不变。
CN202110128810.5A 2021-01-29 2021-01-29 具有本地隐私保护的自适应异步联邦学习方法 Pending CN112818394A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110128810.5A CN112818394A (zh) 2021-01-29 2021-01-29 具有本地隐私保护的自适应异步联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110128810.5A CN112818394A (zh) 2021-01-29 2021-01-29 具有本地隐私保护的自适应异步联邦学习方法

Publications (1)

Publication Number Publication Date
CN112818394A true CN112818394A (zh) 2021-05-18

Family

ID=75860357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110128810.5A Pending CN112818394A (zh) 2021-01-29 2021-01-29 具有本地隐私保护的自适应异步联邦学习方法

Country Status (1)

Country Link
CN (1) CN112818394A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191504A (zh) * 2021-05-21 2021-07-30 电子科技大学 一种面向计算资源异构的联邦学习训练加速方法
CN113221183A (zh) * 2021-06-11 2021-08-06 支付宝(杭州)信息技术有限公司 实现隐私保护的多方协同更新模型的方法、装置及系统
CN113222031A (zh) * 2021-05-19 2021-08-06 浙江大学 基于联邦个性化学习的光刻热区检测方法
CN113255004A (zh) * 2021-06-16 2021-08-13 大连理工大学 一种安全且高效的联邦学习内容缓存方法
CN113283177A (zh) * 2021-06-16 2021-08-20 江南大学 一种基于异步联邦学习的移动感知缓存方法
CN113282960A (zh) * 2021-06-11 2021-08-20 北京邮电大学 一种基于联邦学习的隐私计算方法、装置、系统及设备
CN113283175A (zh) * 2021-06-09 2021-08-20 上海交通大学 一种基于异步去中心化联邦学习的光伏电站联合故障诊断方法
CN113408743A (zh) * 2021-06-29 2021-09-17 北京百度网讯科技有限公司 联邦模型的生成方法、装置、电子设备和存储介质
CN113435592A (zh) * 2021-05-22 2021-09-24 西安电子科技大学 一种隐私保护的神经网络多方协作无损训练方法及系统
CN113435534A (zh) * 2021-07-09 2021-09-24 新智数字科技有限公司 一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质
CN113537511A (zh) * 2021-07-14 2021-10-22 中国科学技术大学 一种自动梯度量化的联邦学习框架和方法
CN113591974A (zh) * 2021-07-29 2021-11-02 浙江大学 一种联邦学习中基于易遗忘数据子集的遗忘验证方法
CN113591145A (zh) * 2021-07-28 2021-11-02 西安电子科技大学 基于差分隐私和量化的联邦学习全局模型训练方法
CN113627619A (zh) * 2021-07-07 2021-11-09 南京理工大学 基于伪噪声序列的保障联邦学习系统的公平性的方法
CN114357526A (zh) * 2022-03-15 2022-04-15 中电云数智科技有限公司 抵御推断攻击的医疗诊断模型差分隐私联合训练方法
CN115081002A (zh) * 2022-06-28 2022-09-20 西安电子科技大学 用于去中心化联邦学习的聚合服务器选择方法
CN115860789A (zh) * 2023-03-02 2023-03-28 国网江西省电力有限公司信息通信分公司 一种基于frl的ces日前调度方法
WO2023109246A1 (zh) * 2021-12-17 2023-06-22 新智我来网络科技有限公司 一种面向断点隐私保护的方法、装置、设备及介质
WO2023142439A1 (zh) * 2022-01-28 2023-08-03 中国银联股份有限公司 一种模型梯度更新方法及装置
CN116542324A (zh) * 2023-07-06 2023-08-04 之江实验室 一种面向智能计算的分布式异步规约方法和装置
CN116629388A (zh) * 2023-07-25 2023-08-22 京东科技信息技术有限公司 差分隐私联邦学习训练方法、装置和计算机可读存储介质
WO2023185485A1 (zh) * 2022-04-02 2023-10-05 西安电子科技大学 基于自适应分割联邦学习的模型训练方法和人脸识别方法
CN117936080A (zh) * 2024-03-22 2024-04-26 中国人民解放军总医院 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统
WO2024094094A1 (zh) * 2022-11-02 2024-05-10 华为技术有限公司 一种模型训练方法及装置
CN117936080B (zh) * 2024-03-22 2024-06-04 中国人民解放军总医院 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079977A (zh) * 2019-11-18 2020-04-28 中国矿业大学 基于svd算法的异构联邦学习矿井电磁辐射趋势跟踪方法
CN111611610A (zh) * 2020-04-12 2020-09-01 西安电子科技大学 联邦学习信息处理方法、系统、存储介质、程序、终端
WO2021004551A1 (zh) * 2019-09-26 2021-01-14 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004551A1 (zh) * 2019-09-26 2021-01-14 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN111079977A (zh) * 2019-11-18 2020-04-28 中国矿业大学 基于svd算法的异构联邦学习矿井电磁辐射趋势跟踪方法
CN111611610A (zh) * 2020-04-12 2020-09-01 西安电子科技大学 联邦学习信息处理方法、系统、存储介质、程序、终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANAN LI等: "Asynchronous Federated Learning with Differential Privacy for Edge Intelligence", 《HTTPS://ARXIV.ORG/ABS/1912.07902V1》 *
郭鹏等: "差分隐私GAN梯度裁剪阈值的自适应选取方法", 《网络与信息安全学报》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222031A (zh) * 2021-05-19 2021-08-06 浙江大学 基于联邦个性化学习的光刻热区检测方法
CN113191504A (zh) * 2021-05-21 2021-07-30 电子科技大学 一种面向计算资源异构的联邦学习训练加速方法
CN113191504B (zh) * 2021-05-21 2022-06-28 电子科技大学 一种面向计算资源异构的联邦学习训练加速方法
CN113435592B (zh) * 2021-05-22 2023-09-22 西安电子科技大学 一种隐私保护的神经网络多方协作无损训练方法及系统
CN113435592A (zh) * 2021-05-22 2021-09-24 西安电子科技大学 一种隐私保护的神经网络多方协作无损训练方法及系统
CN113283175A (zh) * 2021-06-09 2021-08-20 上海交通大学 一种基于异步去中心化联邦学习的光伏电站联合故障诊断方法
CN113282960A (zh) * 2021-06-11 2021-08-20 北京邮电大学 一种基于联邦学习的隐私计算方法、装置、系统及设备
WO2022257730A1 (zh) * 2021-06-11 2022-12-15 支付宝(杭州)信息技术有限公司 实现隐私保护的多方协同更新模型的方法、装置及系统
CN113282960B (zh) * 2021-06-11 2023-02-17 北京邮电大学 一种基于联邦学习的隐私计算方法、装置、系统及设备
CN113221183A (zh) * 2021-06-11 2021-08-06 支付宝(杭州)信息技术有限公司 实现隐私保护的多方协同更新模型的方法、装置及系统
CN113283177A (zh) * 2021-06-16 2021-08-20 江南大学 一种基于异步联邦学习的移动感知缓存方法
CN113255004A (zh) * 2021-06-16 2021-08-13 大连理工大学 一种安全且高效的联邦学习内容缓存方法
CN113408743A (zh) * 2021-06-29 2021-09-17 北京百度网讯科技有限公司 联邦模型的生成方法、装置、电子设备和存储介质
CN113408743B (zh) * 2021-06-29 2023-11-03 北京百度网讯科技有限公司 联邦模型的生成方法、装置、电子设备和存储介质
CN113627619B (zh) * 2021-07-07 2024-06-07 南京理工大学 基于伪噪声序列的保障联邦学习系统的公平性的方法
CN113627619A (zh) * 2021-07-07 2021-11-09 南京理工大学 基于伪噪声序列的保障联邦学习系统的公平性的方法
CN113435534A (zh) * 2021-07-09 2021-09-24 新智数字科技有限公司 一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质
CN113537511A (zh) * 2021-07-14 2021-10-22 中国科学技术大学 一种自动梯度量化的联邦学习框架和方法
CN113537511B (zh) * 2021-07-14 2023-06-20 中国科学技术大学 一种自动梯度量化的联邦学习装置和方法
CN113591145A (zh) * 2021-07-28 2021-11-02 西安电子科技大学 基于差分隐私和量化的联邦学习全局模型训练方法
CN113591145B (zh) * 2021-07-28 2024-02-23 西安电子科技大学 基于差分隐私和量化的联邦学习全局模型训练方法
CN113591974A (zh) * 2021-07-29 2021-11-02 浙江大学 一种联邦学习中基于易遗忘数据子集的遗忘验证方法
WO2023109246A1 (zh) * 2021-12-17 2023-06-22 新智我来网络科技有限公司 一种面向断点隐私保护的方法、装置、设备及介质
WO2023142439A1 (zh) * 2022-01-28 2023-08-03 中国银联股份有限公司 一种模型梯度更新方法及装置
CN114357526A (zh) * 2022-03-15 2022-04-15 中电云数智科技有限公司 抵御推断攻击的医疗诊断模型差分隐私联合训练方法
WO2023185485A1 (zh) * 2022-04-02 2023-10-05 西安电子科技大学 基于自适应分割联邦学习的模型训练方法和人脸识别方法
CN115081002A (zh) * 2022-06-28 2022-09-20 西安电子科技大学 用于去中心化联邦学习的聚合服务器选择方法
CN115081002B (zh) * 2022-06-28 2024-05-14 西安电子科技大学 用于去中心化联邦学习的聚合服务器选择方法
WO2024094094A1 (zh) * 2022-11-02 2024-05-10 华为技术有限公司 一种模型训练方法及装置
CN115860789A (zh) * 2023-03-02 2023-03-28 国网江西省电力有限公司信息通信分公司 一种基于frl的ces日前调度方法
CN116542324A (zh) * 2023-07-06 2023-08-04 之江实验室 一种面向智能计算的分布式异步规约方法和装置
CN116542324B (zh) * 2023-07-06 2023-10-10 之江实验室 一种面向智能计算的分布式异步规约方法和装置
CN116629388B (zh) * 2023-07-25 2023-12-05 京东科技信息技术有限公司 差分隐私联邦学习训练方法、装置和计算机可读存储介质
CN116629388A (zh) * 2023-07-25 2023-08-22 京东科技信息技术有限公司 差分隐私联邦学习训练方法、装置和计算机可读存储介质
CN117936080A (zh) * 2024-03-22 2024-04-26 中国人民解放军总医院 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统
CN117936080B (zh) * 2024-03-22 2024-06-04 中国人民解放军总医院 基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统

Similar Documents

Publication Publication Date Title
CN112818394A (zh) 具有本地隐私保护的自适应异步联邦学习方法
CN113139662B (zh) 联邦学习的全局及局部梯度处理方法、装置、设备和介质
CN111091199A (zh) 一种基于差分隐私的联邦学习方法、装置及存储介质
CN113112027A (zh) 一种基于动态调整模型聚合权重的联邦学习方法
CN113591145A (zh) 基于差分隐私和量化的联邦学习全局模型训练方法
CN113762530B (zh) 面向隐私保护的精度反馈联邦学习方法
CN109743210A (zh) 基于深度强化学习的无人机网络多用户接入控制方法
CN109756432A (zh) Ofdm信道估计方法和装置
CN108512787A (zh) 大规模mimo系统的超精细信道估计方法
CN114841364A (zh) 一种满足个性化本地差分隐私需求的联邦学习方法
CN114564746B (zh) 基于客户端权重评价的联邦学习方法和系统
CN108768585A (zh) 基于深度学习的上行免信令noma系统多用户检测方法
CN113065653B (zh) 面向移动端图像分类的轻量级卷积神经网络的设计方法
CN115544873B (zh) 个性化联邦学习的训练效率与个性化效果量化评估方法
CN113691594B (zh) 一种基于二阶导数解决联邦学习中数据不平衡问题的方法
CN112054943A (zh) 一种移动网络基站流量预测方法
CN110072130A (zh) 一种基于http/2的has视频切片推送方法
CN113572708A (zh) 一种dft信道估计改进方法
CN116187483A (zh) 模型训练方法、装置、设备、介质和程序产品
Zeng et al. Toward higher performance for channel estimation with complex DnCNN
CN112215335A (zh) 一种基于深度学习的系统检测方法
CN116702881A (zh) 一种基于抽样聚合优化的多层联邦学习方案
CN113762529B (zh) 基于统计先验的机器学习定时同步方法
CN117236421B (zh) 一种基于联邦知识蒸馏的大模型训练方法
CN113256100B (zh) 一种基于虚拟现实技术的室内设计用教学方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210518

WD01 Invention patent application deemed withdrawn after publication