CN117349672A - 基于差分隐私联邦学习的模型训练方法、装置及设备 - Google Patents

基于差分隐私联邦学习的模型训练方法、装置及设备 Download PDF

Info

Publication number
CN117349672A
CN117349672A CN202311438392.5A CN202311438392A CN117349672A CN 117349672 A CN117349672 A CN 117349672A CN 202311438392 A CN202311438392 A CN 202311438392A CN 117349672 A CN117349672 A CN 117349672A
Authority
CN
China
Prior art keywords
client
iteration
model
privacy
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311438392.5A
Other languages
English (en)
Other versions
CN117349672B (zh
Inventor
崔来中
马嘉艇
周义朋
李琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202311438392.5A priority Critical patent/CN117349672B/zh
Publication of CN117349672A publication Critical patent/CN117349672A/zh
Application granted granted Critical
Publication of CN117349672B publication Critical patent/CN117349672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本发明实施例公开了一种基于差分隐私联邦学习的模型训练方法、装置及设备。该方法包括：采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给目标客户端；通过目标客户端使用本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对原始模型梯度进行扰乱，得到加噪模型梯度；接收目标客户端上传的加噪模型梯度并进行聚合，以对全局模型进行更新。本发明实施例所提供的技术方案，通过根据客户端之间的异构差分隐私优化了DPFL中的客户端采样策略，提升了异构差分隐私联邦学习的性能，以便更好地应用到智能设备中为用户提供服务。

Description

基于差分隐私联邦学习的模型训练方法、装置及设备
技术领域
本发明实施例涉及联邦学习技术领域，尤其涉及一种基于差分隐私联邦学习的模型训练方法、装置及设备。
背景技术
目前，由机器学习驱动的人工智能已经取得了前所未有的成功。然而，机器学习的发展引起了人们对数据隐私泄露的关注，因为训练复杂的机器学习模型严重依赖于从客户端广泛收集的数据，并且现有的研究工作已经表明用户隐私可以很容易地从收集到的数据中推断出来。为了在模型训练过程中保持数据隐私，联邦学习(Federated Learning，FL)范式被提出，其中客户端只需要和参数服务器(Parameter Server，PS)交换模型梯度，而不是交换原始数据，以完成多轮全局训练。然而，直接暴露模型梯度仍然很容易受到恶意攻击，例如成员推断攻击和重构攻击，从而造成隐私的间接泄露。如攻击者可以通过提取目标模型不同层上的梯度特征来计算目标训练数据样本的成员概率，从而推断出参与该模型训练的成员，此外，攻击者还可以利用大量泄露的模型梯度来高精度地重构对应的训练数据样本。为了抵御这些针对泄露的模型梯度的攻击，差分隐私联邦学习(DifferentiallyPrivate Federated Learning，DPFL)被提出，其在模型梯度暴露之前用差分隐私(Differentially Private，DP)机制生成的随机噪声来扰乱模型梯度。虽然DP噪声可以保护客户端免受外部攻击，但DPFL最大的挑战是由于DP噪声的干扰，模型的性能显著降低。现有的研究工作表明，直接将DP噪声添加到模型梯度上会使模型精度降低40％以上，这显然无法满足智能设备的要求，难以实际应用。
大量的相关研究工作从不同的角度来优化DPFL模型的性能，例如考虑到客户端在不同轮全局迭代中梯度分布的差异性提出客户端自适应地为每一轮迭代分配适当的噪声。或者考虑应用更严格的隐私追踪机制，如zCDP(zero-Concentrated DifferentialPrivacy)，来减少噪声的影响。以及考虑到噪声的大小和暴露的模型规模成正比，还可以根据梯度的绝对值大小来筛选梯度以减小客户端在每一轮全局迭代中暴露的梯度数量。此外，还可以优化全局迭代总轮数以实现隐私和效用之间的权衡，以及考虑客户端之间的数据异构性来优化DPFL。值得注意的是，在上述的相关研究工作中，客户端之间的隐私要求本质上都是异构的，即客户端可以根据自己的隐私需求设置噪声大小。然而，这些研究工作在优化DPFL时并没有考虑到这种隐私异构性。实际上，DPFL客户端根据自己的隐私要求来设置对应的隐私预算，无私的客户端倾向于添加小噪声，而自私的客户端则倾向于添加大噪声。因此，不同客户端的噪声大小很可能存在巨大的差异，导致现有的差分隐私联邦学习性能较差。
发明内容
本发明实施例提供一种基于差分隐私联邦学习的模型训练方法、装置及设备，以通过客户端之间的异构差分隐私(Heterogeneous Differential Privacy，HDP)优化DPFL中的客户端采样策略，从而提升异构差分隐私联邦学习的性能。
第一方面，本发明实施例提供了一种基于差分隐私联邦学习的模型训练方法，该方法包括：
采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给所述目标客户端；
通过所述目标客户端使用本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱，得到加噪模型梯度；
接收所述目标客户端上传的所述加噪模型梯度并进行聚合，以对全局模型进行更新。
可选的，所述采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，包括：
采用所述有偏客户端采样策略，根据每个客户端的隐私预算和样本分布确定各个客户端的基准参与迭代轮数；
根据所述基准参与迭代轮数、预设全局迭代总轮数以及预设每轮迭代参与客户端数为各个客户端分配采样概率；
基于所述采样概率从所述客户端候选集中有放回地选择所述目标客户端。
可选的，在所述采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱之前，还包括：
将所述采样概率、所述预设全局迭代总轮数以及所述预设每轮迭代参与客户端数发送给对应的客户端；
通过所述目标客户端根据对应的所述采样概率、对应的所述隐私预算、所述预设全局迭代总轮数以及预设每轮迭代参与客户端数计算所述每轮迭代的隐私消耗。
可选的，所述方法还包括：
初始化所述客户端候选集包括所有客户端；
当存在客户端的实际参与迭代轮数达到对应的所述基准参与迭代轮数时，将该客户端从所述客户端候选集中剔除。
可选的，所述采用所述有偏客户端采样策略，根据每个客户端的隐私预算和样本分布确定各个客户端的基准参与迭代轮数，包括：
根据所述隐私预算确定所述差分隐私机制的噪声方差上界；
根据最优全局模型的损失函数值与最优本地模型的损失函数值之间的差值确定样本非独立同分布程度；
根据所述有偏客户端采样策略与无偏随机采样策略之间的差值确定选择倾斜度；
根据所述噪声方差上界、所述样本非独立同分布程度以及所述选择倾斜度推导每轮全局迭代后的收敛结果；
通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数。
可选的，所述方法包括两个阶段，第一阶段包括预设第一阶段全局迭代轮数的全局迭代，第二阶段包括预设第二阶段全局迭代轮数的全局迭代，所述预设第一阶段全局迭代轮数与所述预设第二阶段全局迭代轮数之和为所述预设全局迭代总轮数；
在第一阶段，所述通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数包括：
忽略所述样本非独立同分布程度，以简化所述预设全局迭代总轮数后的收敛结果；
通过最小化简化后的所述收敛结果求解得到所述基准参与迭代轮数的近似解；
在第一阶段，所述方法还包括：
接收所述目标客户端上传的加噪本地损失函数值；
在第二阶段，所述通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数包括：
根据所述加噪模型梯度以及所述加噪本地损失函数值对简化前的所述收敛结果进行参数估计；
通过最小化估计后的所述收敛结果求解得到所述基准参与迭代轮数的最优解。
可选的，所述差分隐私机制包括高斯机制和拉普拉斯机制。
第二方面，本发明实施例还提供了一种基于差分隐私联邦学习的模型训练装置，该装置包括：
目标客户端选择模块，用于采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给所述目标客户端；
本地训练模块，用于通过所述目标客户端使用本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱，得到加噪模型梯度；
全局训练模块，用于接收所述目标客户端上传的所述加噪模型梯度并进行聚合，以对全局模型进行更新。
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的基于差分隐私联邦学习的模型训练方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的基于差分隐私联邦学习的模型训练方法。
本发明实施例提供了一种基于差分隐私联邦学习的模型训练方法，在一轮全局迭代的训练过程中，首先采用有偏客户端采样策略根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给目标客户端，然后通过各个目标客户端分别使用各自的本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对原始模型梯度进行扰乱，得到加噪模型梯度，再接收各个目标客户端上传的加噪模型梯度并进行聚合，以对全局模型进行更新。本发明实施例所提供的基于差分隐私联邦学习的模型训练方法，通过根据客户端之间的异构差分隐私优化了DPFL中的客户端采样策略，从而提升了异构差分隐私联邦学习的性能，以便更好地应用到智能设备上为用户提供服务。
附图说明
图1为本发明实施例一提供的基于差分隐私联邦学习的模型训练方法的流程图；
图2为本发明实施例一提供的示例性DPFL系统的示意图；
图3为本发明实施例二提供的基于差分隐私联邦学习的模型训练装置的结构示意图；
图4为本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的基于差分隐私联邦学习的模型训练方法的流程图。本实施例可适用于应用庞大的物联网数据对相应提供服务的机器学习模型进行分布式训练的情况，该方法可以由本发明实施例所提供的基于差分隐私联邦学习的模型训练装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，该计算机设备具体可以是参数服务器。如图1所示，具体包括如下步骤：
S11、采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给所述目标客户端。
S12、通过所述目标客户端使用本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱，得到加噪模型梯度。
S13、接收所述目标客户端上传的所述加噪模型梯度并进行聚合，以对全局模型进行更新。
由于不同客户端之间的噪声差异可能是显著的，因此在优化DPFL时考虑异构差分隐私HDP是必要的。通过分析联邦线性回归任务中HDP对DPFL性能的影响，可以使用隐私预算比值作为聚合权重来减轻大噪声客户端的影响。在此基础上，可以采用PFA算法，根据选中的客户端的隐私预算将其分为“公共”和“私有”两个客户端集合，其中“公共”客户端集合中的客户端有较大的隐私预算，然后该算法通过提取“公共”客户端的模型梯度的顶部奇异子空间来映射“私有”客户端的模型梯度，最后将两者按隐私预算比值进行聚合。但是上述方案所采用的均为启发式算法，并没有严格的理论分析来保证最优的DPFL性能，而且PFA算法的计算复杂度和空间复杂度都过大，也难以应用于实际的大模型上。此外，上述方案均假设PS在每轮全局迭代中随机采样客户端，即每个客户端的采样概率都相等，但是由于客户端之间的HDP，PS应该更频繁地选择隐私预算较大的客户端参与训练以减少DP噪声对全局模型的不良影响，因此上述启发式算法可能依然远离最优解。
示例性的，如图2所示，三个客户端分别有不同的数据样本和异构的隐私需求。从训练样本的分布来看，客户端1和客户端2均有三种标签的样本，即“0”、“1”、“2”，而客户端3只有标签为“3”的样本，这种样本分布情况在FL中是很常见的。从DP噪声的大小来看，客户端1的噪声较小，而客户端2和3的噪声较大。显然，在该场景下不同客户端对全局模型训练的价值不同。直观上，我们希望价值越高的客户端有更多的机会参与全局模型训练，因为这有利于提高模型性能。然而，一个随机客户端采样策略并不能很好地衡量每个客户端的价值，因此无法得到最优的模型性能。每个客户端的价值应该从两个方面进行评估：(1)样本的价值，包括样本标签的多样性和稀缺性；(2)DP噪声的大小。从样本标签多样性的角度来看，客户端1和客户端2有更高的价值，从样本标签稀缺性的角度来看，客户端3有更高的价值，而从DP噪声的角度来看，客户端1有更高的价值。可见，在异构差分隐私联邦学习中客户端之间的价值评估是复杂的，最优的客户端采样策略应该基于客户端的价值来进行采样，而随机客户端采样策略并不适用于异构差分隐私联邦学习。
因此，可以提出一个通用的有偏客户端采样(Biased Client Selection，BCS)DPFL框架(DPFL-BCS)，即本实施例所提供的基于差分隐私联邦学习的模型训练方法，该框架可以基于现有的联邦随机梯度下降算法(Federated Stochastic Gradient DescentAlgorithm，FedSGD)进行改进。该框架可以适用于DPFL通用系统，该系统包含一个参数服务器(PS)和N个客户端，客户端表示为其中，PS是半诚实且好奇的，即满足以下性质：(1)PS会诚实地根据给定的客户端采样策略进行每一轮全局迭代的客户端采样；(2)PS会诚实地聚合从选中客户端收集的模型梯度；(3)PS不会修改或者删除用于模型聚合的任何信息；(4)PS试图从收到的模型梯度和损失函数值中推断出对应客户端的敏感信息。因此，DP机制可以被用于同时抵御PS和恶意外部攻击者。每个客户端n有一个大小为Dn的独立本地数据集，表示为/>所有的客户端共同合作训练一个全局模型，其训练目标为最小化全局损失函数/>表示为/>其中，w表示维度为d的模型训练参数，Fn(w)表示客户端n的本地损失函数，即每个参与训练的数据样本ζ的损失函数fn(w,ζ)的平均值，表示为/>
该框架还可以适用差分隐私机制，以利用差分隐私机制来保护客户端模型梯度的隐私，并且从理论上提供了严格的隐私保证。(∈,δ)-差分隐私的定义如下：假设和/>是一对相邻数据集，即/>和/>最多有一个样本不相同，表示为/>随机算法满足(∈,δ)-差分隐私当且仅当对于任意的D和D′，以及任意的输出/>有：
其中，表示算法/>的所有可能输出，(∈,δ)表示隐私预算，用于衡量隐私的泄露程度。可见，隐私预算越小意味着算法/>在相邻数据集上得到相同输出的概率越接近，也就意味着隐私保护效果越好。如果δ＝0，则可以表示为∈-差分隐私，其隐私保护比(∈,δ)-差分隐私更严格。由于DP机制的不可逆性，攻击者无法利用加噪梯度还原原始梯度以进行成员推断攻击或样本重构攻击。
可选的，所述差分隐私机制包括高斯机制(Gaussian Mechanism，GM)和拉普拉斯机制(Laplace Mechanism，LM)。其中，GM通过产生高斯随机噪声来扰乱梯度以实现(∈,δ)-差分隐私，而LM则是通过产生拉普拉斯随机噪声来扰乱梯度以实现∈-差分隐私。以数据集上的查询任务为例对GM和LM进行描述，假设表示一个查询结果，其中w表示查询输入，/>表示查询的数据集。
高斯机制定理如下：假设∈∈(0，1)，给定数据集和查询输入/>满足(∈,δ)-差分隐私的高斯机制用高斯噪声ZG扰乱查询结果如下：/>ZG，其中，ZG是服从高斯分布/>的d维高斯噪声项，/>是一个d维的单位矩阵，且噪声尺度σ满足σ≥cΔq2/∈以及c2>2ln(1.25/δ)，c为常数，Δq2是查询结果/>的L2-敏感度，定义为/> 和/>是一对相邻数据集，即最多相差一个样本的两个数据集，该高斯机制定理可以保证每一个查询结果实现(∈,δ)-差分隐私。高斯机制组合定理如下：给定总的查询次数T，对于任意的总隐私预算∈<c1T，c1为常数，存在常数c2使得当高斯机制的噪声尺度满足/>时实现(∈,δ)-差分隐私，则针对T个查询任务，可以根据该高斯机制组合定理来分配隐私预算和放大噪声尺度。
LM相比GM实现了更严格的隐私保护，即δ＝0。拉普拉斯机制定理如下：给定数据集和查询输入/>满足∈-差分隐私的拉普拉斯机制用拉普拉斯噪声ZL扰乱查询结果如下：其中，ZL是服从拉普拉斯概率函数/>的d维拉普拉斯噪声项，Δq1是查询结果/>的L1-敏感度，定义为 和/>是一对相邻数据集，即最多相差一个样本的两个数据集，该拉普拉斯机制定理可以保证每一个查询结果实现∈-差分隐私。拉普拉斯机制组合定理如下：给定总的查询次数T，满足∈-差分隐私的拉普拉斯机制产生的噪声ZL需服从概率函数/>则针对T个查询任务，可以根据该拉普拉斯机制组合定理来分配隐私预算和放大噪声尺度。
在本实施例所提供的方法中，可以将全局模型作为查询输入，将本地迭代过程作为查询任务，将原始模型梯度作为查询结果，则在多轮全局迭代过程中，根据上述定理，可以从理论上提供严格的隐私保证。
具体的，本方法可以包含多轮全局迭代，在一轮全局迭代开始之前，可以根据每个客户端的隐私预算和样本分布，采用有偏客户端采样策略从当前的客户端候选集中选择多个目标客户端参与本轮的全局迭代，其中的每个客户端n可以根据自身的隐私需求设置相应的隐私预算(∈n，δn)。则在确定目标客户端之后，可以将当前的最新全局模型分发给各个目标客户端。随后各个目标客户端即可使用各自的本地数据集作为训练集进行一轮本地迭代并得到原始模型梯度，进一步可以根据每一轮迭代的隐私消耗(可以根据设定的隐私预算和要参与的迭代轮数确定)，采用差分隐私机制生成随机噪声以扰乱原始模型梯度，得到加噪模型梯度并上传至PS。则PS可以聚合从选中的目标客户端收集的加噪模型梯度并更新全局模型，从而完成一次全局迭代。更新结束后，PS可以检查迭代次数是否达到预设全局迭代总轮数，从而决定是否继续下一轮全局迭代。
在上述技术方案的基础上，可选的，所述采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，包括：采用所述有偏客户端采样策略，根据每个客户端的隐私预算和样本分布确定各个客户端的基准参与迭代轮数；根据所述基准参与迭代轮数、预设全局迭代总轮数以及预设每轮迭代参与客户端数为各个客户端分配采样概率；基于所述采样概率从所述客户端候选集中有放回地选择所述目标客户端。
具体的，每个客户端n的基准参与迭代轮数表示为Tn，预设全局迭代总轮数表示为T，每一轮全局迭代PS选择K个目标客户端参与全局训练，则有偏客户端采样策略可以被描述为一个对应的序列T1,...,TN，其中，Tn为正整数，并且满足在一轮全局迭代开始之前，可以采用有偏客户端采样策略根据每个客户端的隐私预算和样本分布确定各个客户端的基准参与迭代轮数Tn，进而可以根据基准参与迭代轮数Tn、预设全局迭代总轮数T以及预设每轮迭代参与客户端数K分配采样概率为/>其中，/>则在每轮全局迭代t＝1,...,T开始时，PS可以基于采样概率qn从当前的客户端候选集中有放回地选择K个目标客户端参与本轮迭代，表示为/>然后PS可以将当前的最新全局模型/>分发给各个目标客户端。
进一步可选的，在所述采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱之前，还包括：将所述采样概率、所述预设全局迭代总轮数以及所述预设每轮迭代参与客户端数发送给对应的客户端；通过所述目标客户端根据对应的所述采样概率、对应的所述隐私预算、所述预设全局迭代总轮数以及所述预设每轮迭代参与客户端数计算所述每轮迭代的隐私消耗。
具体的，PS在完成采样概率qn的分配之后，还可以将各个采样概率、预设全局迭代总轮数以及预设每轮迭代参与客户端数发送给对应的客户端n，则各个客户端n还可以预先根据其采样概率和隐私预算、预设全局迭代总轮数以及预设每轮迭代参与客户端数计算在每一轮被选中的全局迭代中的隐私消耗为则在PS将最新全局模型/>分发给各个目标客户端之后，各个目标客户端使用各自的本地数据集/>进行一轮本地迭代，即/>其中，ηt表示学习率，/>表示本地迭代后得到的本地模型，原始模型梯度可以表示为/>进一步的，各个目标客户端可以根据其每轮迭代的隐私消耗/>采用差分隐私机制生成随机噪声/>来扰乱原始模型梯度，即/>其中，/>表示扰乱得到的加噪模型梯度。之后各个目标客户端即可将各自得到的加噪模型梯度/>上传到PS，从而PS进行聚合并更新全局模型，即/>其中，/>表示本次全局迭代更新后的全局模型。随后PS可以再次基于采样概率qn从当前的客户端候选集中有放回地选择K个目标客户端参与下一轮全局迭代。
进一步可选的，所述方法还包括：初始化所述客户端候选集包括所有客户端；当存在客户端的实际参与迭代轮数达到对应的所述基准参与迭代轮数时，将该客户端从所述客户端候选集中剔除。
具体的，可以在模型训练最开始，由PS初始化全局模型为并初始化客户端候选集为/>即包括系统中所有客户端。另外，可以通过每个客户端n统计各自的实际参与迭代轮数，并可以在模型训练最开始初始化各自的实际参与迭代轮数Cn＝0。随后，在有客户端n被选中为目标客户端参与全局迭代并完成加噪模型梯度的上传之后，可以对其实际参与迭代轮数进行更新，即Cn＝Cn+1，当Cn≥qnKT＝Tn时，则可以将客户端n退出客户端候选集，即不再参与后续的全局迭代，从而保证每个客户端的参与符合指定的有偏客户端采样策略。
根据上述PS聚合方式可以计算聚合后全局梯度的期望值，表示为可见，只有当/>时，该期望值可以转换为即满足聚合结果的无偏性，否则，聚合结果即为有偏的，在DPFL-BCS中，考虑到客户端之间存在异构的隐私需求，因此Tn也应该是异构的，即证明了上述客户端采样策略是有偏的。
在上述技术方案的基础上，可选的，所述采用所述有偏客户端采样策略，根据每个客户端的隐私预算和样本分布确定各个客户端的基准参与迭代轮数，包括：根据所述隐私预算确定所述差分隐私机制的噪声方差上界；根据最优全局模型的损失函数值与最优本地模型的损失函数值之间的差值确定样本非独立同分布程度；根据所述有偏客户端采样策略与无偏随机采样策略之间的差值确定选择倾斜度；根据所述噪声方差上界、所述样本非独立同分布程度以及所述选择倾斜度推导每轮全局迭代后的收敛结果；通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数。
具体的，为了实现最优的模型性能，将Tn或qn作为优化变量，并可以分别从客户端的DP噪声和训练样本分布两个方面来量化它们对收敛速率的影响。
高斯机制的方差上界引理如下：令表示原始模型梯度的L2范数上界，假设客户端n在第t轮全局迭代被选中，则客户端n原始模型梯度的L2-敏感度表示为/>令/>表示本轮迭代添加到原始模型梯度/>上的高斯噪声，则/>的方差上界表示为/> 拉普拉斯机制的方差上界引理如下：令/> 表示原始模型梯度的L1范数上界，假设客户端n在第t轮全局迭代被选中，则客户端n原始模型梯度的L1-敏感度表示为/>令/>表示本轮迭代添加到原始模型梯度/>上的拉普拉斯噪声，则/>的方差上界表示为/>为了便于统一表示，将上述引理中的梯度敏感度和噪声项的表示形式进行统一，令Δgn表示梯度敏感度，/>表示DP噪声项，可得/>的方差上界表示为/>其中：
联邦学习中客户端之间的样本分布通常是非独立同分布(Not Identical andIndependently Distributed，Non-IID)的，在本方法中，可以用最优全局模型在客户端n的损失函数值Fn(w*)与客户端n的最优本地模型的损失函数值之间的差值来定义客户端n的样本分布Non-IID程度，即/>此外，可以假设所有客户端的损失函数都是L-平滑的，所有客户端的损失函数都是μ-强凸的，随机梯度和真实梯度的方差上界表示为σ2。
由于本方法采用有偏客户端采样策略，可以定义选择倾斜度来量化有偏客户端采样策略与无偏随机采样策略之间的差值。对于任意的模型w和任意的Tn序列，可以定义选择倾斜度为：
其中，ρ(w,T1，...,TN)可以简化表示为ρ(w)，给定一个Tn序列，可以定义相应的ρ下界，可以定义最小化ρ(w)的参数为wmin＝arg minwρ(w,T1,...,TN)，则ρ(w)的最小值为
基于上述得到的噪声方差上界、样本非独立同分布程度以及选择倾斜度，并设置学习率为其中，/>可以推导出DPFL-BCS框架在预设全局迭代总轮数T后的收敛结果如下：
从该收敛结果可以得出两个结论：(1)优化变量Tn出现在第三项、第四项和第五项，如果忽略噪声的影响，即第五项为0，当(即随机采样)时，ρmin＝1，则第四项也为0。此时，当预设全局迭代总轮数T趋于无穷时，无偏随机采样策略可使不含DP的联邦学习算法收敛于0，然而并不能保证第五项噪声项得到一个最小的值，这也解释了随机采样不适用于异构差分隐私联邦学习的原因；(2)如果假设客户端之间的样本分布是独立同分布的，则Γn＝0，那么第三项和第四项均为0，这意味着只需要调整Tn以最小化总体DP噪声的影响即可实现最优模型性能，但是这违背了联邦学习的准则。
因此，上述收敛结果表明实际优化Tn必须同时考虑DP噪声和样本分布对模型性能的影响，并可以通过最小化该收敛结果的上界来求解最优的Tn序列。收敛结果中不包含Tn的部分可以用常数来表示，令 则可以定义优化问题为：
其中，目标函数 根据目标函数的定义可以证明：如果将/>的限制条件放松为Tn是一个非负实数，则无论使用GM或LM，目标函数均是一个关于所有变量Tn的凸函数，即问题/>为一个容易求解的凸优化问题。
在上述技术方案的基础上，可选的，所述方法包括两个阶段，第一阶段包括预设第一阶段全局迭代轮数的全局迭代，第二阶段包括预设第二阶段全局迭代轮数的全局迭代，所述预设第一阶段全局迭代轮数与所述预设第二阶段全局迭代轮数之和为所述预设全局迭代总轮数；在第一阶段，所述通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数包括：忽略所述样本非独立同分布程度，以简化所述预设全局迭代总轮数后的收敛结果；通过最小化简化后的所述收敛结果求解得到所述基准参与迭代轮数的近似解；在第一阶段，所述方法还包括：接收所述目标客户端上传的加噪本地损失函数值；在第二阶段，所述通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数包括：根据所述加噪模型梯度以及所述加噪本地损失函数值对简化前的所述收敛结果进行参数估计；通过最小化估计后的所述收敛结果求解得到所述基准参与迭代轮数的最优解。
具体的，求解上述问题需要得知参数γ、μ、L、Γn以及Ψn的取值，这是不现实的，因为实际中PS无法在模型训练之前得知这些问题相关参数的任何知识，为此，提出一个两阶段的算法来求解/>
第一阶段PS忽略Γn，即令Γn＝0，则问题中的目标函数可以简化为此时，/>的求解不再依赖于上述问题相关参数的取值，因此PS可以通过求解新目标函数/>的/>得到Tn的近似解。由于新目标函数和原目标函数/>有相同的性质：将/>的限制条件放松为Tn是一个非负实数，则无论使用GM或LM，新目标函数均是一个关于所有变量Tn的凸函数，因此可以使用拉格朗日乘子法直接求得凸优化问题/>的最优解析解为/>该解即为原优化问题的近似解。在第一阶段的全局迭代中，PS即可使用该近似解作为所使用的有偏客户端采样策略，即设置每个客户端n的采样概率为/>
在第一阶段的模型训练过程中，PS还可以从选中的目标客户端上额外收集其本地损失函数值，具体可以是在全局模型上计算的本地损失函数值以及在本地模型上计算的本地损失函数值/>由于损失函数值是在本地隐私数据集上计算得到的，因此直接暴露损失函数值也会间接泄露客户端的数据隐私。为了保护损失函数值的隐私，同样可以使用DP机制产生随机噪声来扰乱这些损失函数值。则在第一阶段可以将目标客户端上传的向量从d维扩展到d+2维，其中额外两个维度的参数分别为/>和/>由于维度增加，还可以重新定义上传向量的敏感度，假设Θ表示在一个训练样本上计算的损失函数最大值，则目标客户端n上的损失函数值的敏感度可以表示为/>因此可以将第一阶段上传向量的敏感度修正为：
基于上述修正后的敏感度，为目标客户端n的原始模型梯度以及两个本地损失函数值生成对应的DP噪声进行扰乱以得到和/>并上传到PS。
在进行了预设第一阶段全局迭代轮数T0的全局迭代后，则可以根据上述问题相关参数的定义以及收集到的损失函数值进行参数估计。
针对Γn，根据其定义，当客户端n在第t轮全局迭代被选中，则其计算估计值为令集合/>表示在前T0轮全局迭代中被选中的客户端集合，由于Γn定义的是本地损失函数在最优全局模型和最优本地模型下的差值，因此为了得到一个更为精准可信的估计值，集合/>中的客户端n取其计算的所有估计值的最小值作为最终的估计值，即/>而对于前T0轮全局迭代中未被选中的客户端，即/>可以使用上述集合/>中所有客户端的最终估计值的均值来作为其估计值。
针对Ψn，根据上述ρ(w)的定义，实际计算wmin需要一个完整的训练过程，这显然是复杂且不现实的。因此，可以使用来近似wmin，因为这是在前T0轮全局迭代中可以得到本地损失函数值的最好全局模型参数，即最接近wmin的模型参数。而客户端n的本地损失函数最小值/>应该很接近于0，因此可以直接令/>来简化计算。在此基础上，第T0轮全局迭代中被选中的客户端/>计算其估计值为/>而对于在第T0轮全局迭代中未被选中的客户端/>可以使用上述/>集合中所有客户端的估计值的均值来作为其估计值。
针对γ、μ和L，这些参数的估计需要依赖于Λ和φn的计算以及上述的估计值和由于Cn记录了客户端n在前T0-1轮全局迭代中被选中的次数，则根据收敛结果公式可以计算得到在T0-1轮全局迭代后，理论上全局损失函数值为：
其中，未知的参数包含γ、σ2、L和μ。同时可以根据第T0轮全局迭代被选中的客户端/>上传到PS的加噪本地损失函数值/>来计算在T0-1轮全局迭代后，实际的全局损失函数值为/>为了使全局损失函数的理论值和真实值更加接近，可以定义以下问题：
可以证明问题中的目标函数对于任意单一变量来说都是凸函数，因此问题/>可以通过交替优化每个变量来高效地求解。则在完成T0轮全局迭代后，即可根据上述参数估计方案，PS可以得到所有问题相关参数的估计值。将这些估计值代入到问题/>的目标函数/>中，则原凸优化问题/>即可高效地求解并得到最优的客户端选择策略该策略可以准确地评估客户端的价值，并以此来确定客户端的最优采样概率，从而最大化最终的模型性能。具体可以设置客户端n在后续的预设第二阶段全局迭代轮数T-T0的全局迭代中的采样概率为/>则在后续的T-T0的全局迭代中，PS可以根据该最优客户端采样策略相应的qn进行客户端采样并完成全局模型的训练。
进一步的，在常用的公开数据集Lending Club、MNIST、Fashion-MNIST、FEMNIST和CIFAR-10，以及凸损失函数和非凸损失函数上均进行了大量的实验，结果表明，与最新的DPFL优化算法相比，本方法所提出的DPFL-BCS算法可以显著提高异构差分隐私联邦学习的性能，在极端情况下甚至可以提高30-40％的模型准确率。同时相比于现有的启发式算法，本方法的设计还是轻量级的，几乎不引入额外的开销。
本发明实施例所提供的技术方案，在一轮全局迭代的训练过程中，首先采用有偏客户端采样策略根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给目标客户端，然后通过各个目标客户端分别使用各自的本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对原始模型梯度进行扰乱，得到加噪模型梯度，再接收各个目标客户端上传的加噪模型梯度并进行聚合，以对全局模型进行更新。通过根据客户端之间的异构差分隐私优化了DPFL中的客户端采样策略，从而提升了异构差分隐私联邦学习的性能，以便更好地应用到智能设备上为用户提供服务。
实施例二
图3为本发明实施例二提供的基于差分隐私联邦学习的模型训练装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，用于执行本发明任意实施例所提供的基于差分隐私联邦学习的模型训练方法。如图3所示，该装置包括：
目标客户端选择模块31，用于采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给所述目标客户端；
本地训练模块32，用于通过所述目标客户端使用本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱，得到加噪模型梯度；
全局训练模块33，用于接收所述目标客户端上传的所述加噪模型梯度并进行聚合，以对全局模型进行更新。
本发明实施例所提供的技术方案，在一轮全局迭代的训练过程中，首先采用有偏客户端采样策略根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给目标客户端，然后通过各个目标客户端分别使用各自的本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对原始模型梯度进行扰乱，得到加噪模型梯度，再接收各个目标客户端上传的加噪模型梯度并进行聚合，以对全局模型进行更新。通过根据客户端之间的异构差分隐私优化了DPFL中的客户端采样策略，从而提升了异构差分隐私联邦学习的性能，以便更好地应用到智能设备上为用户提供服务。
在上述技术方案的基础上，可选的，目标客户端选择模块31，包括：
基准参与迭代轮数确定单元，用于采用所述有偏客户端采样策略，根据每个客户端的隐私预算和样本分布确定各个客户端的基准参与迭代轮数；
采样概率分配单元，用于根据所述基准参与迭代轮数、预设全局迭代总轮数以及预设每轮迭代参与客户端数为各个客户端分配采样概率；
目标客户端选择单元，用于基于所述采样概率从所述客户端候选集中有放回地选择所述目标客户端。
在上述技术方案的基础上，可选的，该基于差分隐私联邦学习的模型训练装置，还包括：
采样概率发送模块，用于在所述采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱之前，将所述采样概率、所述预设全局迭代总轮数以及所述预设每轮迭代参与客户端数发送给对应的客户端；
隐私消耗计算模块，用于通过所述目标客户端根据对应的所述采样概率、对应的所述隐私预算、所述预设全局迭代总轮数以及所述预设每轮迭代参与客户端数计算所述每轮迭代的隐私消耗。
在上述技术方案的基础上，可选的，该基于差分隐私联邦学习的模型训练装置，还包括：
客户端候选集初始化模块，用于初始化所述客户端候选集包括所有客户端；
客户端候选集更新模块，用于当存在客户端的实际参与迭代轮数达到对应的所述基准参与迭代轮数时，将该客户端从所述客户端候选集中剔除。
在上述技术方案的基础上，可选的，基准参与迭代轮数确定单元，包括：
噪声方差上界确定子单元，用于根据所述隐私预算确定所述差分隐私机制的噪声方差上界；
样本非独立同分布程度确定子单元，用于根据最优全局模型的损失函数值与最优本地模型的损失函数值之间的差值确定样本非独立同分布程度；
选择倾斜度确定子单元，用于根据所述有偏客户端采样策略与无偏随机采样策略之间的差值确定选择倾斜度；
收敛结果确定子单元，用于根据所述噪声方差上界、所述样本非独立同分布程度以及所述选择倾斜度推导每轮全局迭代后的收敛结果；
基准参与迭代轮数求解子单元，用于通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数。
在上述技术方案的基础上，可选的，所述方法包括两个阶段，第一阶段包括预设第一阶段全局迭代轮数的全局迭代，第二阶段包括预设第二阶段全局迭代轮数的全局迭代，所述预设第一阶段全局迭代轮数与所述预设第二阶段全局迭代轮数之和为所述预设全局迭代总轮数；
在第一阶段，基准参与迭代轮数求解子单元具体用于：
忽略所述样本非独立同分布程度，以简化所述预设全局迭代总轮数后的收敛结果；
通过最小化简化后的所述收敛结果求解得到所述基准参与迭代轮数的近似解；
在第一阶段，该基于差分隐私联邦学习的模型训练装置，还包括：
本地损失函数值接收模块，用于接收所述目标客户端上传的加噪本地损失函数值；
在第二阶段，基准参与迭代轮数求解子单元具体用于：
根据所述加噪模型梯度以及所述加噪本地损失函数值对简化前的所述收敛结果进行参数估计；
通过最小化估计后的所述收敛结果求解得到所述基准参与迭代轮数的最优解。
在上述技术方案的基础上，可选的，所述差分隐私机制包括高斯机制和拉普拉斯机制。
本发明实施例所提供的基于差分隐私联邦学习的模型训练装置可执行本发明任意实施例所提供的基于差分隐私联邦学习的模型训练方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，在上述基于差分隐私联邦学习的模型训练装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例三
图4为本发明实施例三提供的计算机设备的结构示意图，示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图4显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图4所示，该计算机设备包括处理器41、存储器42、输入装置43及输出装置44；计算机设备中处理器41的数量可以是一个或多个，图4中以一个处理器41为例，计算机设备中的处理器41、存储器42、输入装置43及输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于差分隐私联邦学习的模型训练方法对应的程序指令/模块(例如，基于差分隐私联邦学习的模型训练装置中的目标客户端选择模块31、本地训练模块32及全局训练模块33)。处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的基于差分隐私联邦学习的模型训练方法。
存储器42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收客户端上传的数据，以及产生与计算机设备的用户设置和功能控制有关的键信号输入等。输出装置44可用于向客户端发送数据等。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种基于差分隐私联邦学习的模型训练方法，该方法包括：
采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给所述目标客户端；
通过所述目标客户端使用本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱，得到加噪模型梯度；
接收所述目标客户端上传的所述加噪模型梯度并进行聚合，以对全局模型进行更新。
存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM、兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于差分隐私联邦学习的模型训练方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于差分隐私联邦学习的模型训练方法，其特征在于，包括：
采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给所述目标客户端；
通过所述目标客户端使用本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱，得到加噪模型梯度；
接收所述目标客户端上传的所述加噪模型梯度并进行聚合，以对全局模型进行更新。
2.根据权利要求1所述的基于差分隐私联邦学习的模型训练方法，其特征在于，所述采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，包括：
采用所述有偏客户端采样策略，根据每个客户端的隐私预算和样本分布确定各个客户端的基准参与迭代轮数；
根据所述基准参与迭代轮数、预设全局迭代总轮数以及预设每轮迭代参与客户端数为各个客户端分配采样概率；
基于所述采样概率从所述客户端候选集中有放回地选择所述目标客户端。
3.根据权利要求2所述的基于差分隐私联邦学习的模型训练方法，其特征在于，在所述采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱之前，还包括：
将所述采样概率、所述预设全局迭代总轮数以及所述预设每轮迭代参与客户端数发送给对应的客户端；
通过所述目标客户端根据对应的所述采样概率、对应的所述隐私预算、所述预设全局迭代总轮数以及所述预设每轮迭代参与客户端数计算所述每轮迭代的隐私消耗。
4.根据权利要求2所述的基于差分隐私联邦学习的模型训练方法，其特征在于，所述方法还包括：
初始化所述客户端候选集包括所有客户端；
当存在客户端的实际参与迭代轮数达到对应的所述基准参与迭代轮数时，将该客户端从所述客户端候选集中剔除。
5.根据权利要求2所述的基于差分隐私联邦学习的模型训练方法，其特征在于，所述采用所述有偏客户端采样策略，根据每个客户端的隐私预算和样本分布确定各个客户端的基准参与迭代轮数，包括：
根据所述隐私预算确定所述差分隐私机制的噪声方差上界；
根据最优全局模型的损失函数值与最优本地模型的损失函数值之间的差值确定样本非独立同分布程度；
根据所述有偏客户端采样策略与无偏随机采样策略之间的差值确定选择倾斜度；
根据所述噪声方差上界、所述样本非独立同分布程度以及所述选择倾斜度推导每轮全局迭代后的收敛结果；
通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数。
6.根据权利要求5所述的基于差分隐私联邦学习的模型训练方法，其特征在于，所述方法包括两个阶段，第一阶段包括预设第一阶段全局迭代轮数的全局迭代，第二阶段包括预设第二阶段全局迭代轮数的全局迭代，所述预设第一阶段全局迭代轮数与所述预设第二阶段全局迭代轮数之和为所述预设全局迭代总轮数；
在第一阶段，所述通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数包括：
忽略所述样本非独立同分布程度，以简化所述预设全局迭代总轮数后的收敛结果；
通过最小化简化后的所述收敛结果求解得到所述基准参与迭代轮数的近似解；
在第一阶段，所述方法还包括：
接收所述目标客户端上传的加噪本地损失函数值；
在第二阶段，所述通过最小化所述预设全局迭代总轮数后的收敛结果求解所述基准参与迭代轮数包括：
根据所述加噪模型梯度以及所述加噪本地损失函数值对简化前的所述收敛结果进行参数估计；
通过最小化估计后的所述收敛结果求解得到所述基准参与迭代轮数的最优解。
7.根据权利要求1所述的基于差分隐私联邦学习的模型训练方法，其特征在于，所述差分隐私机制包括高斯机制和拉普拉斯机制。
8.一种基于差分隐私联邦学习的模型训练装置，其特征在于，包括：
目标客户端选择模块，用于采用有偏客户端采样策略，根据每个客户端的隐私预算和样本分布从客户端候选集中选择目标客户端，并将最新全局模型分发给所述目标客户端；
本地训练模块，用于通过所述目标客户端使用本地数据集进行本地迭代得到原始模型梯度，并采用差分隐私机制根据每轮迭代的隐私消耗生成随机噪声对所述原始模型梯度进行扰乱，得到加噪模型梯度；
全局训练模块，用于接收所述目标客户端上传的所述加噪模型梯度并进行聚合，以对全局模型进行更新。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于差分隐私联邦学习的模型训练方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的基于差分隐私联邦学习的模型训练方法。
CN202311438392.5A 2023-10-31 2023-10-31 基于差分隐私联邦学习的模型训练方法、装置及设备 Active CN117349672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311438392.5A CN117349672B (zh) 2023-10-31 2023-10-31 基于差分隐私联邦学习的模型训练方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311438392.5A CN117349672B (zh) 2023-10-31 2023-10-31 基于差分隐私联邦学习的模型训练方法、装置及设备

Publications (2)

Publication Number Publication Date
CN117349672A true CN117349672A (zh) 2024-01-05
CN117349672B CN117349672B (zh) 2024-08-02

Family

ID=89366673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311438392.5A Active CN117349672B (zh) 2023-10-31 2023-10-31 基于差分隐私联邦学习的模型训练方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117349672B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874829A (zh) * 2024-03-13 2024-04-12 北京电子科技学院 基于自适应差分隐私的联邦学习方法
CN117933427A (zh) * 2024-03-19 2024-04-26 南京邮电大学 一种智能电网双重采样优化的差分隐私联邦学习方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841364A (zh) * 2022-04-14 2022-08-02 北京理工大学 一种满足个性化本地差分隐私需求的联邦学习方法
CN114997374A (zh) * 2022-06-14 2022-09-02 广西师范大学 一种针对数据倾斜的快速高效联邦学习方法
CN115204416A (zh) * 2022-06-17 2022-10-18 中国人民解放军国防科技大学 基于分层抽样优化的面向异构客户端的联合学习方法
CN115796271A (zh) * 2022-11-11 2023-03-14 中国科学技术大学苏州高等研究院 基于客户端选择和梯度压缩的联邦学习方法
CN115936110A (zh) * 2022-11-18 2023-04-07 重庆邮电大学 一种缓解异构性问题的联邦学习方法
CN115952533A (zh) * 2022-11-18 2023-04-11 湖南科技大学 一种基于差分隐私的个性化联邦学习、识别方法及系统
CN115983409A (zh) * 2022-11-11 2023-04-18 北京大学 基于差分隐私的联邦学习训练方法、装置、系统及设备
CN116776155A (zh) * 2023-07-14 2023-09-19 深圳大学 一种基于联邦学习的模型训练方法、装置、设备和介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841364A (zh) * 2022-04-14 2022-08-02 北京理工大学 一种满足个性化本地差分隐私需求的联邦学习方法
CN114997374A (zh) * 2022-06-14 2022-09-02 广西师范大学 一种针对数据倾斜的快速高效联邦学习方法
CN115204416A (zh) * 2022-06-17 2022-10-18 中国人民解放军国防科技大学 基于分层抽样优化的面向异构客户端的联合学习方法
CN115796271A (zh) * 2022-11-11 2023-03-14 中国科学技术大学苏州高等研究院 基于客户端选择和梯度压缩的联邦学习方法
CN115983409A (zh) * 2022-11-11 2023-04-18 北京大学 基于差分隐私的联邦学习训练方法、装置、系统及设备
CN115936110A (zh) * 2022-11-18 2023-04-07 重庆邮电大学 一种缓解异构性问题的联邦学习方法
CN115952533A (zh) * 2022-11-18 2023-04-11 湖南科技大学 一种基于差分隐私的个性化联邦学习、识别方法及系统
CN116776155A (zh) * 2023-07-14 2023-09-19 深圳大学 一种基于联邦学习的模型训练方法、装置、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAIZHONG CUI ET AL: "Boosting Accuracy of Differentially Private Federated Learning in Industrial IoT With Sparse Responses", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》, 31 January 2023 (2023-01-31) *
MONICA RIBERO ET AL: "Communication-Efficient Federated Learning via Optimal Client Sampling", 《ARXIV》, 14 October 2020 (2020-10-14) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874829A (zh) * 2024-03-13 2024-04-12 北京电子科技学院 基于自适应差分隐私的联邦学习方法
CN117874829B (zh) * 2024-03-13 2024-05-17 北京电子科技学院 基于自适应差分隐私的联邦学习方法
CN117933427A (zh) * 2024-03-19 2024-04-26 南京邮电大学 一种智能电网双重采样优化的差分隐私联邦学习方法
CN117933427B (zh) * 2024-03-19 2024-05-28 南京邮电大学 一种智能电网双重采样优化的差分隐私联邦学习方法

Also Published As

Publication number Publication date
CN117349672B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
US11017322B1 (en) Method and system for federated learning
Zhang et al. Client selection for federated learning with non-iid data in mobile edge computing
Liu et al. The right to be forgotten in federated learning: An efficient realization with rapid retraining
Tang et al. FedCor: Correlation-based active client selection strategy for heterogeneous federated learning
Tianqing et al. Resource allocation in IoT edge computing via concurrent federated reinforcement learning
CN117349672B (zh) 基于差分隐私联邦学习的模型训练方法、装置及设备
Scardapane et al. Distributed learning for random vector functional-link networks
US20220004933A1 (en) Privacy-preserving asynchronous federated learning for vertical partitioned data
CN115271099A (zh) 一种支持异构模型的自适应个性化联邦学习方法
CN112799708B (zh) 联合更新业务模型的方法及系统
WO2023036184A1 (en) Methods and systems for quantifying client contribution in federated learning
US11843587B2 (en) Systems and methods for tree-based model inference using multi-party computation
CN116187483A (zh) 模型训练方法、装置、设备、介质和程序产品
Miguez et al. A proof of uniform convergence over time for a distributed particle filter
Long et al. Fedsiam: Towards adaptive federated semi-supervised learning
CN112235062A (zh) 一种对抗通信噪声的联邦学习方法和系统
Ranbaduge et al. Differentially private vertical federated learning
Ma et al. Iterative expectation maximization for reliable social sensing with information flows
Saputra et al. Federated learning framework with straggling mitigation and privacy-awareness for AI-based mobile application services
Fan et al. Cb-dsl: Communication-efficient and byzantine-robust distributed swarm learning on non-iid data
Asad et al. Moreau envelopes-based personalized asynchronous federated learning: Improving practicality in network edge intelligence
US20240144029A1 (en) System for secure and efficient federated learning
Zou et al. FedDCS: Federated learning framework based on dynamic client selection
Yan et al. Bayesian optimization for online management in dynamic mobile edge computing
Egelé et al. Asynchronous decentralized bayesian optimization for large scale hyperparameter optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant