CN115481441A - 面向联邦学习的差分隐私保护方法及装置 - Google Patents

面向联邦学习的差分隐私保护方法及装置 Download PDF

Info

Publication number
CN115481441A
CN115481441A CN202211168249.4A CN202211168249A CN115481441A CN 115481441 A CN115481441 A CN 115481441A CN 202211168249 A CN202211168249 A CN 202211168249A CN 115481441 A CN115481441 A CN 115481441A
Authority
CN
China
Prior art keywords
learning
model weight
current round
noise
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211168249.4A
Other languages
English (en)
Inventor
李丽香
李卉桢
彭海朋
李海涛
陈俊
戴一挥
丁一航
姚俊先
杨方
刘济舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Federation Of Rural Credit Cooperatives
Beijing University of Posts and Telecommunications
Original Assignee
Guangdong Federation Of Rural Credit Cooperatives
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Federation Of Rural Credit Cooperatives, Beijing University of Posts and Telecommunications filed Critical Guangdong Federation Of Rural Credit Cooperatives
Priority to CN202211168249.4A priority Critical patent/CN115481441A/zh
Publication of CN115481441A publication Critical patent/CN115481441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种面向联邦学习的差分隐私保护方法及装置，该方法包括：获取参与当前轮学习的各个客户端上传的模型权重差；根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作；对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。能够使所加噪声贴合当前客户端上传的模型权重信息特点，从而获得更高的模型精度，并有效减少差分隐私保护中的隐私预算。

Description

面向联邦学习的差分隐私保护方法及装置
技术领域
本发明涉及联邦学习技术领域，尤其涉及一种面向联邦学习的差分隐私保护方法及装置。
背景技术
联邦学习作为一种分布式框架，可用于解决数据孤岛问题，使得个人设备或者组织机构不用上传聚合原本的私密数据，而只需要上传模型训练所需要的梯度即可。联邦学习对于现有的自动驾驶技术、自然语言处理以及推荐系统等深度学习应用领域具有一定的启发，已经成为目前人工智能发展的新趋势。
理想情况下，联邦学习中每一个角色只允许获得其所需要的信息，然而每个客户端的参与，以及每次客户端与服务器之间的交互过程都可能造成隐私泄露。
为了实现隐私保护，在联邦学习中，可应用差分隐私技术，比如中心差分隐私、本地差分隐私、分布式差分隐私、混合式差分隐私等。然而，目前的差分隐私技术存在如下一些问题尚未得到有效地改善：差分隐私技术的计算开销巨大，对加噪模型的训练需要更多算力，差分算法有待优化；随着客户端与服务器沟通次数的增加，共享模型所需总体噪声增大，这将导致添加噪声后的数据的可用性也随之降低。
发明内容
针对现有技术存在的问题，本发明提供一种面向联邦学习的差分隐私保护方法及装置。
第一方面，本发明提供一种面向联邦学习的差分隐私保护方法，包括：
获取参与当前轮学习的各个客户端上传的模型权重差；
根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作；
对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；
其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。
可选地，所述根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作，包括：
对所述各个客户端上传的模型权重差分别进行范数处理，得到各所述模型权重差的范数值；
根据各所述模型权重差的范数值中位数，将各所述模型权重差划分为多个模型权重差集合；
根据每个所述模型权重差集合所对应的范数值中位数，确定相应的模型权重差集合的裁剪参数；
根据每个所述模型权重差集合的裁剪参数，对相应的模型权重差集合中的模型权重差执行裁剪操作。
可选地，所述当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数中的最大值确定。
可选地，所述当前轮学习对应的高斯噪声分布为N(0,z2·Smax 2)，其中，z表示当前轮学习对应的噪声尺度，Smax表示所述多个模型权重差集合的裁剪参数中的最大值。
可选地，所述当前轮学习对应的噪声尺度根据以下公式确定：
Figure BDA0003862311180000031
其中，z表示当前轮学习对应的噪声尺度，a表示初始噪量，b表示随学习轮次的增加在每一轮所加噪量的变化程度，c表示添加噪声的减少速度，x表示当前的学习轮次。
可选地，所述方法还包括：
对于所述各个客户端中的任一目标客户端，根据所述目标客户端对应的执行裁剪操作后的模型权重差和所述目标客户端当前参与联邦学习的次数，确定所述目标客户端的当前贡献度。
第二方面，本发明还提供一种面向联邦学习的差分隐私保护装置，包括：
获取模块，用于获取参与当前轮学习的各个客户端上传的模型权重差；
裁剪模块，用于根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作；
聚合加噪模块，用于对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；
其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述第一方面所述的面向联邦学习的差分隐私保护方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述第一方面所述的面向联邦学习的差分隐私保护方法。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述面向联邦学习的差分隐私保护方法。
本发明提供的面向联邦学习的差分隐私保护方法及装置，通过随学习轮次的增加逐渐减小噪声尺度进行自适应加噪，能够充分根据服务器与客户端的每次沟通中模型权重差变化特点，令在服务器与客户端的每次沟通中，所加噪声都能够贴合当前客户端上传的模型权重信息特点，从而获得更高的模型精度，并有效减少差分隐私保护中的隐私预算。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的联邦学习的架构图；
图2是本发明提供的面向联邦学习的差分隐私保护方法的流程示意图；
图3是本发明提供的面向联邦学习的差分隐私保护方法的实施流程图；
图4是本发明提供的面向联邦学习的差分隐私保护装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于更加清晰地理解本发明的技术方案，首先对本发明相关的一些技术内容进行介绍。
(1)联邦学习。
图1为本发明提供的联邦学习的架构图，如图1所示，联邦架构主要由参数服务器与被视作数据持有者的客户端构成，数据持有者对终端设备具有自主控制权，节点并不稳定，节点负载也不均衡，例如，用户的智能手机。参数服务器初始化全局模型参数，对每一次迭代都随机选取一批客户端，被选择到的客户端就会下载初始化参数进行本地数据训练，客户端生成本地模型，并将训练结果，如模型、权重等上传到参数服务器，也被称作中央服务器，参数服务器通过聚合各个客户端的本地更新来维护全局联邦模型的更新，或者是共享模型的更新，最后由分析师利用联邦模型进行数据分析。
在深度学习中的随机梯度下降法中，根据损失函数建模，从而迭代模型权重，即
Figure BDA0003862311180000051
其中wt代表第t轮迭代后的全局模型权重，wt+1代表第t+1轮迭代后的全局模型权重，η代表学习步长，
Figure BDA0003862311180000052
代表t轮迭代后计算的模型梯度值。在算法中，各个客户端自设的学习步长一致，客户端k在t轮上传的梯度为
Figure BDA0003862311180000053
客户端k本地计算迭代过程为
Figure BDA0003862311180000054
其中
Figure BDA0003862311180000055
代表客户端k在第t轮迭代后的模型权重，
Figure BDA0003862311180000056
代表客户端k在第t+1轮迭代后的模型权重，客户端k在联邦学习下所占权重为
Figure BDA0003862311180000061
其中nk表示客户端k的权重值，n表示权重总和，服务器对总共K个客户端上传的参数
Figure BDA0003862311180000062
进行聚合更新，其中
Figure BDA0003862311180000063
即得：
Figure BDA0003862311180000064
其中
Figure BDA0003862311180000065
为服务器收集的客户端的模型权重差，
Figure BDA0003862311180000066
为服务器聚合后的梯度，以此用于维护服务器上的全局模型。由此可以解释为什么联邦学习能够在深度学习的基础上维护本地数据集，总而言之，联邦学习在中央服务器的协作下体现了集中数据集中收集及最小化的安全原则，减轻传统机器学习方法带来的隐私风险和成本，同时也让本地数据集较小的客户端也能够参与联邦学习从而享受到全局模型的好处。
(2)联邦学习隐私保护方法。
理想情况下，联邦学习中每一个角色只允许获得其所需要的信息，然而每个客户端的参与，以及每次客户端与服务器之间的交互过程都可能造成隐私泄露。基于联邦架构中的各个角色所能获得的知识，一般将威胁模型分为如下三类：1)第一类是不可信的客户端，恶意的攻击者可以得到一个或多个客户端的根权限，访问本地数据，进一步获得模型中间迭代过程中的信息。一些学者证明可以通过在单个或多个客户端上给模型投毒从而实施模型窃取，导致文字预测器通过攻击者选择的词汇来完成一个目标句子的攻击行为。2)第二类是不可信的服务器，在此威胁模型下，攻击者得到服务器的根权限就可以直接访问全局模型，也可以得到所有更新信息，从而篡改培训过程，或者通过服务器的选择控制权选取更不可信的客户端参与联邦计算从而破坏整个联邦学习的模型训练过程。服务器甚至可以伪造产生大量的客户端，从而去攻击目标客户端，即女巫攻击。客户端为了保护自身数据往往会求助于安全多方计算等技术，或者相信一个不会与服务器串通的第三方。3)第三类是恶意的模型工程师或者一些分析人员，他们访问来自多个系统的不同超参输出的模型迭代序列，试图获取系统设计信息和其他一些敏感数据。
其中的相关数据保护技术大致分为加密技术和以差分隐私为代表的加噪技术。在加密技术研究方面，鉴于联邦架构中星状拓扑结构的脆弱性，每个客户端加密它们的数据并发送到服务器上进行同态计算，一般依赖一个持有密钥并能解密计算结果的外部方，防止服务器解密单个客户端的贡献。但由于密文攻击大多数同态加密方案都要求经常更新密钥。通过一个可信的非串通方的参与并不是唯一解决方案，解决这个问题的另一种方法是依赖分布式加密方案，其中密钥分布在各方之间。
而在加噪保护技术方面，由于差分隐私其轻量型的特点，在有关深度学习、联邦学习的解决方案中多用差分隐私方法与加密技术结合。在数据隐私的保护过程中为了抵抗差分攻击，提出了差分隐私保护方案，通过严格的数学证明并应用随机扰动的思想，让第三方无法根据输出的变化来判断单条数据记录的更改或增删，被认为是目前基于扰动的隐私保护方法中安全级别最高的方法之一。
由于在目标函数上加噪的目标扰动法和在最终训练出的输出模型上加噪的输出扰动法要求通过计算得到敏感度上界，但在深度学习、联邦学习这样复杂的算法中暂时无法得知如何计算，只能通过设置裁剪参数尽量靠近敏感度上界，所以多采用在梯度上加噪的梯度扰动法。将差分隐私保护概念引入分布式深度学习，通过基于选择性的随机梯度下降法提出一种分布式训练技术，各个客户端可以不必共享原始的输入数据集，而是给本地计算出的梯度加入满足拉普拉斯机制的噪声或者高斯噪声从而使其满足差分隐私机制，因此，各个客户端可以在不共享输入数据集的情况下，通过上传本地的梯度给服务器，从而维护一个共有的神经网络模型，服务器作为差分隐私机制的可信任实现者来确保隐私输出，如此形成一个保护本地数据的分布式模型训练架构，客户端可以将其共享模型应用于自己的本地输入，而不透露输入和输出。
在特殊的一种分布式计算即联邦学习中应用差分隐私的方法主要分为三种：1)中心差分隐私，服务器作为差分隐私机制的可信任实现者来确保隐私输出，用户的设备将数据保留在本地，对原始数据进行分析及模型学习，只有模型的更新会发送到可信节点或者服务器上，服务器将客户端上传的信息进行裁剪、加噪等操作，聚合后用于更新共享模型；2)本地差分隐私，假设用户的隐私完全来自于该用户自行添加的随机性，每个客户端对本地模型迭代过程中的梯度进行加噪，其隐私保证独立于其他的所有用户包含的额外随机性，并通过让每个客户端在将报告发送到中央服务器之前对其执行私有转换，从而尽量消除了对受信任的中央服务器的需要。但由于引入的随机噪声大小必须与数据中的扰动目标大小相当，这可能需要在客户端之间合并结果，因为获得与中心差分隐私效用相当的本地差分隐私需要相对较大的用户基础来减少隐私预算，甚至在现实应用场景中高达10亿个；3)分布式差分隐私，客户端将数据发送到一个安全的计算函数中，函数输出对于服务器可用，并且满足隐私要求，一般安全计算函数有多种形式，可能是多方计算协议，也可能是可信执行环境下的一个标准计算。
在联邦学习中，通过以上三种差分隐私还可延伸出混合式差分隐私，混合模型允许以上多种差分隐私模型共存，例如，大多数用户在本地差分隐私机制下贡献数据，小部分用户参与中心差分隐私。根据差分隐私定义中邻近数据集在应用中的扩展，差分隐私可分为事务级(样本级)和用户级。事务级隐私保护单条记录，单个客户端拥有的数据集极有可能是关联的，为了限制或消除可以从迭代或者最终模型中了解到个人信息的可能性，有学者提出在迭代训练过程中使用用户级别的差分隐私，其中邻近数据集相差一个用户所持有的所有数据，比事务级的邻近数据集概念更强。
目前，差分隐私技术存在的如下一些问题尚未得到有效地改善：差分隐私技术的计算开销巨大，对加噪模型的训练需要更多算力，差分算法有待优化；随着客户端与服务器沟通次数的增加，共享模型所需总体噪声增大，这将导致添加噪声后的数据的可用性也随之降低。
针对上述问题，本发明提供一种解决方案，基于中心差分隐私来保护用户级别的隐私，即整个客户端上的数据，使客户端减少在差分推理攻击下的暴露风险。在此基础上，基于2个中位数的分层裁剪方式和自适应加噪策略实现用户级别的隐私保护，并通过基于2个中位数的裁剪方式建立贡献评估方法，解决了以往方案中采用本地差分带来的客户端之间的通信开销问题，减少了差分隐私中的隐私预算，同时一定程度上解决了小范围联邦学习场景下本地客户端面临的用户级隐私保护问题和客户端持有数据不充分导致本地模型精度不可用问题。
图2为本发明提供的面向联邦学习的差分隐私保护方法的流程示意图，如图2所示，该方法包括如下步骤：
步骤200、获取参与当前轮学习的各个客户端上传的模型权重差。
步骤201、根据当前轮学习对应的裁剪参数，对各个客户端上传的模型权重差分别执行裁剪操作。
步骤202、对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。
具体地，该方法的执行主体可以是联邦架构中的参数服务器，以下简称服务器。
对于现有的联邦学习中的差分隐私保护方法，目前最主要的问题是如何控制共享模型可用性情况下减少差分隐私中的隐私预算。现有的一些方案大多保护客户端中的单条记录，然而联邦学习场景下的各客户端持有的数据集往往具有较强关联性，在现实情况下采集到的数据也呈独立同分布，仅仅保护单条数据或查询并不现实。同时，针对客户端单条记录或查询的隐私保护的本地差分隐私技术可能出现各客户端裁剪和加噪参差不齐的情况，导致隐私预算浪费，而各客户端之间的沟通增加了通信开销和攻击风险。为了更贴近现实中联邦模型的应用情况，本发明基于中心差分隐私来保护用户级别的隐私，在进行联邦学习的过程中，针对联邦学习的任一轮学习轮次，服务器都采用本发明提供的面向联邦学习的差分隐私保护方法进行共享模型的迭代更新。
以某一轮学习(即某一轮模型的迭代更新)为例，服务器初始化全局模型参数，针对当前轮学习选取一批客户端，被选择到的客户端就会下载初始化参数进行本地数据训练，客户端生成本地模型，并将训练结果上传到服务器，从而服务器可以获取到参与当前轮学习的各个客户端上传的模型权重差，也即模型梯度。
然后，服务器便可以根据当前轮学习对应的裁剪参数，对各个客户端上传的模型权重差分别执行裁剪、聚合、加噪等操作，以完成当前轮学习的模型更新。
其中，为了减少用户级别隐私保护中的隐私预算，本发明提出自适应加噪分配策略。一般来说，随着上传的参数差(模型权重差)越来越小，实际容纳的噪声尺度也会变小，从而需要更大的隐私预算，如果在每一轮模型迭代中统一加噪的尺度，很显然会增加许多没必要的噪声，这说明自适应加噪优于固定加噪。通过自适应加噪带来的自适应预算分配将会更加精确衡量隐私预算与模型精度之间的关系。服务器在每轮迭代中的噪声尺度贴近模型权重所能容纳的噪声量，则能有效减少多余加噪带来的多余隐私预算。
本发明提供的面向联邦学习的差分隐私保护方法，通过随学习轮次的增加逐渐减小噪声尺度进行自适应加噪，能够充分根据服务器与客户端的每次沟通中模型权重差变化特点，令在服务器与客户端的每次沟通中，所加噪声都能够贴合当前客户端上传的模型权重信息特点，从而获得更高的模型精度，并有效减少差分隐私保护中的隐私预算。
可选地，根据当前轮学习对应的裁剪参数，对各个客户端上传的模型权重差分别执行裁剪操作，包括：
对各个客户端上传的模型权重差分别进行范数处理，得到各模型权重差的范数值；
根据各模型权重差的范数值中位数，将各模型权重差划分为多个模型权重差集合；
根据每个模型权重差集合所对应的范数值中位数，确定相应的模型权重差集合的裁剪参数；
根据每个模型权重差集合的裁剪参数，对相应的模型权重差集合中的模型权重差执行裁剪操作。
具体地，本发明实施例中，服务器在执行裁剪操作时，可以采用分层裁剪的方式。以下以2个中位数的分层裁剪(即根据各模型权重差的范数值中位数，将各模型权重差划分为2个模型权重差集合)为例进行说明，多个中位数的分层裁剪以此类推，不再赘述。
首先，服务器可以对各个客户端的模型权重差进行范数处理，比如欧式范数(也叫2范数)处理，分别得到各个模型权重差的范数值。
然后，服务器可以确定各个模型权重差的范数值的中位数，比如，假设有5个客户端，5个客户端的模型权重差的范数值分别为1、2、3、4、5，则此时中位数是3。
然后，服务器可以根据所确定的各个模型权重差的范数值的中位数，将各模型权重差划分为两个模型权重差集合。仍以上述5个客户端为例，确定的5个客户端的模型权重差的范数值的中位数是3，则可以将范数值小于等于3的3个模型权重差分为一个集合，范数值大于3的2个模型权重差分为一个集合。当然这仅是示例性的，也可以采用其他的方式进行划分，具体情形不做限定。
针对所划分的两个模型权重差集合，可以分别根据每个集合的范数值中位数，确定相应集合的裁剪参数，并采用相应的裁剪参数执行裁剪操作。
仍以上述5个客户端为例，第1个模型权重差集合的范数值分别为1、2、3，中位数为2，则这个集合中的各模型权重差可以用中位数2作为裁剪参数进行裁剪；第2个模型权重差集合的范数值分别为4、5，中位数为4.5，则这个集合中的各模型权重差可以用中位数4.5作为裁剪参数进行裁剪。由此可见，在这个示例中，当前轮学习对应的裁剪参数有2个。
可选地，执行裁剪操作的裁剪动作可以是
Figure BDA0003862311180000121
其中，Δw表示客户端上传的模型权重差，
Figure BDA0003862311180000122
表示裁剪后的模型权重差，S表示裁剪参数，||Δw||表示模型权重差的范数值。本发明实施例中，基于2个中位数的裁剪方式，在对划分的第1个模型权重差集合中的各模型权重差进行裁剪时，裁剪参数S使用该第1个模型权重差集合的裁剪参数，在对划分的第2个模型权重差集合中的各模型权重差进行裁剪时，裁剪参数S使用该第2个模型权重差集合的裁剪参数，从而实现对客户端上传的模型权重差进行分层裁剪。由于每次迭代参与的客户端并不是都相同，各个客户端上传的模型权重差又会根据参与联邦计算的次数而变化，采用分层裁剪的方法可以根据客户端当前轮的模型权重差来自适应选择削减参数，从而最大程度保留各个拥有非独立同分布数据集的客户端特点和贡献，同时也能增强客户端之间的公平性。
可选地，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数中的最大值确定。
具体地，本发明实施例中，基于分层裁剪方式在当前轮学习对应的裁剪参数有多个，进行加噪处理时，服务器可以根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数中的最大值确定当前轮学习对应的高斯噪声分布。
可选地，当前轮学习对应的高斯噪声分布可以表示为N(0,z2·Smax 2)，其中，z表示当前轮学习对应的噪声尺度，Smax表示多个模型权重差集合的裁剪参数中的最大值。
可选地，当前轮学习对应的噪声尺度可以根据以下公式确定：
Figure BDA0003862311180000131
其中，z表示当前轮学习对应的噪声尺度，a表示初始噪量，b表示随学习轮次的增加在每一轮所加噪量的变化程度，c表示添加噪声的减少速度，x表示当前的学习轮次。x为自变量，z为因变量，a、b、c为参数，a、b、c的取值可以根据实际模型训练情况灵活设置，在此不做具体限定。
以下通过具体应用场景的实施例进行举例说明。
本实施例采用的联邦架构中有一个高度可信的中央服务器，负责共享模型，另外有多个参与联邦学习的客户端，每个客户端作为一个独立的数据持有者，彼此之间不互联，从而免除该部分通信开销。对服务器进行模型参数初始化，确定加噪参数和其他超参，服务器基于一定概率挑选客户端参与本轮协同训练，把模型参数和相应超参分发给被挑中的各个客户端。随后服务器收集参数后进行基于2个中位数的分层裁剪方式，聚合裁剪结果并加入相应的高斯噪声，从而进行新一轮的共享模型迭代。
被挑选的客户端使用随机梯度下降法进行无噪模型训练，减少本地计算对终端设备的负担，多个训练期(epoch)称作一次训练，每一个客户端随机选择训练样本作为训练批次，并通过损失函数计算梯度，从而计算出相应的模型权重差直接上传给服务器。服务器的每一次全局模型迭代结束后，再次选择客户端，然后由被选择参与本轮通信的客户端才能下载模型参数，在每轮通信中被选中的客户端上传一次训练或多次训练次数后的结果，避免多次传输带来的通信开销和风险。
图3为本发明提供的面向联邦学习的差分隐私保护方法的实施流程图，如图3所示，其主要分为6步，具体如下。
①服务器对共享模型初始化，确定模型基本参数。
服务器初始化共享模型的参数，通过确定加噪函数中的参数，来决定共享模型的每次迭代过程中的噪声尺度。加噪函数形式为
Figure BDA0003862311180000141
其中a,b,c为参数，a代表初始噪量，b代表随沟通次数的增加，在每一轮所加噪量的变化程度，c代表添加噪声的减少速度。自变量x为当前轮数，因变量为当前加噪尺度，因变量f(x)随着自变量的增加而减少。随着上传的参数差越来越小，实际容纳的噪声尺度也会变小，从而需要更大的隐私预算。如果在每一轮模型迭代中统一加噪的尺度，很显然会增加许多没必要的噪声，这说明自适应加噪优于固定加噪。通过自适应加噪带来的自适应预算分配将会更加精确衡量隐私预算与模型精度之间的关系。服务器在每轮迭代中的噪声尺度贴近模型权重所能容纳的噪声量，则能有效减少多余加噪带来的多余隐私预算。
②服务器基于一定概率挑选客户端参与本轮的协同学习。
参与的客户端具有与共享模型一致的模型结构。
③被挑选到的客户端下载模型参数，进行本地模型训练，获取模型权重结果。
④客户端对本地模型进行多批次多轮训练结束后，统一上传计算结果。
⑤服务器针对客户端上传的结果，基于2个中位数的裁剪方法更新剪裁值，进行分层裁剪。
服务器根据客户端模型，依次对每个客户端上传的结果中每层权重差进行欧式范数处理，然后取2范数处理后的中位数。由于联邦学习选取客户端是随机的，因此，每轮得到的中位数并不会一致，在随着客户端与服务器沟通轮数的增加，模型迭代的权重差越来越小，统一学习步长前提下梯度也随着沟通次数增加而减小，由此可以根据其特点从而进行自适应裁剪。服务器每轮挑选客户端完毕时，通过当前客户端上传的当前参数差范数处理后的中位数将客户端分为两个集合，在每一个集合中再次选出对应范数的中位数作为本轮的2个裁剪参数，比如s1与s2，从而对客户端上传的数值进行分层削减。由于每次迭代参与的客户端并不是都相同，各个客户端上传的参数差又会根据参与联邦计算的次数而变化，采用中位数削减的方法则可以根据客户端当前轮的参数差来自适应选择削减参数，从而最大程度保留各个拥有非独立同分布数据集的客户端特点和贡献，同时也能增强客户端之间的公平性。
基于差分隐私的定义，可得参与联邦计算的客户端整体满足差分隐私机制的敏感度始终是最大的那个中位数，则得高斯噪声分布为N(0,z2·max(s1,s2)2)，其中，z表示模型参数中的自定义噪声尺度，
Figure BDA0003862311180000151
中位数选取越大，敏感度裁剪参数越大，由于敏感度与噪声分布中的方差呈正相关，则敏感度裁剪阈值过大将会严重影响模型性能。
⑥服务器对各客户端的数据的裁剪结果进行数据聚合并加噪，完成本轮共享模型的更新，又从①开始。
可选地，该方法还包括：
对于各个客户端中的任一目标客户端，根据目标客户端对应的执行裁剪操作后的模型权重差和目标客户端当前参与联邦学习的次数，确定目标客户端的当前贡献度。
具体地，现阶段联邦学习中的差分隐私建立在大量客户端参与情况下，小范围内的联邦学习隐私保护算法计算的隐私效果达不到现实期望。因为在联邦学习的广泛应用中并不是每次都存在有计划的客户端部署，现实情况下参与联邦学习的客户端数量较少，从而为了实现差分隐私保护所需要的噪声就更多，则计算出的隐私效果达不到现实期望。
在联邦学习中用户持有终端设备，能够决定是否参与联邦计算，而联邦学习参与的客户端数量越多则越能抵消噪声累积带来的影响。为了促进客户端参与的积极性与处于计算环境中的持续性，通过各自的数据和算力共享出一个更为准确的模型，本发明实施例利用模型定义中服务器十分可信的优势计算出客户端的更新规模，从而进行贡献评估。同时，可通过记录每个客户端的贡献从而给予参与计算的客户端一定的补偿，如对于客户端的联邦模型的使用优先级，或者该客户端享有更高的声誉，从而排名靠前纳入到其他联邦学习应用中，等等，以增强参与联邦学习的客户端的动力与可持续性。另外，该贡献评估方法可以结合不同场景进行应用，例如，使用第三方进行同步记录，有助于对服务器可信度的佐证，若第三方贡献记录异常，则推测服务器是否有可能通过控制、伪造大量客户端从而进行模型猜测，如控制本该随机的客户端选取阶段。在服务器上，本发明实施例将参与计算的客户端上传并裁剪后的模型权重差进行处理后作为来自此客户端的更新规模贡献，同时记录客户端被服务器挑选进行本地计算的次数。
令客户端k上传并裁剪后的模型权重差表示为Δwk，对于Δwk∈Rp×q，则客户端k的贡献定义如下式所示：
Figure BDA0003862311180000171
其中，Ck表示客户端k的贡献，
Figure BDA0003862311180000172
表示二阶张量Δwk中的第i行第j列元素，p和q分别表示二阶张量Δwk的行数和列数。
所有客户端总贡献定义如下式所示：
Figure BDA0003862311180000173
客户端k在共享模型上的贡献度CLk定义为
Figure BDA0003862311180000174
其中hk表示客户端k被服务器选中参与共享模型迭代的本地计算次数。
一种实施方式中，服务器或第三方可以通过基于2个中位数的裁剪方法记录客户端模型参数信息，建立其对应的贡献机制，切断了在服务器可信基础上多个客户端互通串联的可能，实现了满足差分隐私保护的联邦学习激励机制与方法，从而增强在联邦学习中共同构建共享模型的各客户端之间的公平性与积极性，促进更多的客户端参与到联邦学习中，在一定程度上增强了联邦学习的隐私保护效果。
下面对本发明提供的面向联邦学习的差分隐私保护装置进行描述，下文描述的面向联邦学习的差分隐私保护装置与上文描述的面向联邦学习的差分隐私保护方法可相互对应参照。
图4为本发明提供的面向联邦学习的差分隐私保护装置的结构示意图，如图4所示，该装置包括：
获取模块400，用于获取参与当前轮学习的各个客户端上传的模型权重差；
裁剪模块410，用于根据当前轮学习对应的裁剪参数，对各个客户端上传的模型权重差分别执行裁剪操作；
聚合加噪模块420，用于对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；
其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。
可选地，根据当前轮学习对应的裁剪参数，对各个客户端上传的模型权重差分别执行裁剪操作，包括：
对各个客户端上传的模型权重差分别进行范数处理，得到各模型权重差的范数值；
根据各模型权重差的范数值中位数，将各模型权重差划分为多个模型权重差集合；
根据每个模型权重差集合所对应的范数值中位数，确定相应的模型权重差集合的裁剪参数；
根据每个模型权重差集合的裁剪参数，对相应的模型权重差集合中的模型权重差执行裁剪操作。
可选地，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数中的最大值确定。
可选地，当前轮学习对应的高斯噪声分布为N(0,z2·Smax 2)，其中，z表示当前轮学习对应的噪声尺度，Smax表示所述多个模型权重差集合的裁剪参数中的最大值。
可选地，当前轮学习对应的噪声尺度根据以下公式确定：
Figure BDA0003862311180000181
其中，z表示当前轮学习对应的噪声尺度，a表示初始噪量，b表示随学习轮次的增加在每一轮所加噪量的变化程度，c表示添加噪声的减少速度，x表示当前的学习轮次。
可选地，该装置还包括：
贡献度确定模块，用于对于各个客户端中的任一目标客户端，根据目标客户端对应的执行裁剪操作后的模型权重差和目标客户端当前参与联邦学习的次数，确定目标客户端的当前贡献度。
在此需要说明的是，本发明提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行上述各实施例提供的任一所述面向联邦学习的差分隐私保护方法，例如：获取参与当前轮学习的各个客户端上传的模型权重差；根据当前轮学习对应的裁剪参数，对各个客户端上传的模型权重差分别执行裁剪操作；对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例提供的任一所述面向联邦学习的差分隐私保护方法。
在此需要说明的是，本发明提供的计算机程序产品，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的任一所述面向联邦学习的差分隐私保护方法。
在此需要说明的是，本发明提供的非暂态计算机可读存储介质，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向联邦学习的差分隐私保护方法，其特征在于，包括：
获取参与当前轮学习的各个客户端上传的模型权重差；
根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作；
对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；
其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。
2.根据权利要求1所述的面向联邦学习的差分隐私保护方法，其特征在于，所述根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作，包括：
对所述各个客户端上传的模型权重差分别进行范数处理，得到各所述模型权重差的范数值；
根据各所述模型权重差的范数值中位数，将各所述模型权重差划分为多个模型权重差集合；
根据每个所述模型权重差集合所对应的范数值中位数，确定相应的模型权重差集合的裁剪参数；
根据每个所述模型权重差集合的裁剪参数，对相应的模型权重差集合中的模型权重差执行裁剪操作。
3.根据权利要求2所述的面向联邦学习的差分隐私保护方法，其特征在于，所述当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数中的最大值确定。
4.根据权利要求3所述的面向联邦学习的差分隐私保护方法，其特征在于，所述当前轮学习对应的高斯噪声分布为N(0,z2·Smax 2)，其中，z表示当前轮学习对应的噪声尺度，Smax表示所述多个模型权重差集合的裁剪参数中的最大值。
5.根据权利要求1至4任一项所述的面向联邦学习的差分隐私保护方法，其特征在于，所述当前轮学习对应的噪声尺度根据以下公式确定：
Figure FDA0003862311170000021
其中，z表示当前轮学习对应的噪声尺度，a表示初始噪量，b表示随学习轮次的增加在每一轮所加噪量的变化程度，c表示添加噪声的减少速度，x表示当前的学习轮次。
6.根据权利要求2所述的面向联邦学习的差分隐私保护方法，其特征在于，所述方法还包括：
对于所述各个客户端中的任一目标客户端，根据所述目标客户端对应的执行裁剪操作后的模型权重差和所述目标客户端当前参与联邦学习的次数，确定所述目标客户端的当前贡献度。
7.一种面向联邦学习的差分隐私保护装置，其特征在于，包括：
获取模块，用于获取参与当前轮学习的各个客户端上传的模型权重差；
裁剪模块，用于根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作；
聚合加噪模块，用于对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；
其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述面向联邦学习的差分隐私保护方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述面向联邦学习的差分隐私保护方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述面向联邦学习的差分隐私保护方法。
CN202211168249.4A 2022-09-23 2022-09-23 面向联邦学习的差分隐私保护方法及装置 Pending CN115481441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211168249.4A CN115481441A (zh) 2022-09-23 2022-09-23 面向联邦学习的差分隐私保护方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211168249.4A CN115481441A (zh) 2022-09-23 2022-09-23 面向联邦学习的差分隐私保护方法及装置

Publications (1)

Publication Number Publication Date
CN115481441A true CN115481441A (zh) 2022-12-16

Family

ID=84393887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211168249.4A Pending CN115481441A (zh) 2022-09-23 2022-09-23 面向联邦学习的差分隐私保护方法及装置

Country Status (1)

Country Link
CN (1) CN115481441A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186629A (zh) * 2023-04-27 2023-05-30 浙江大学 基于个性化联邦学习的金融客户分类及预测方法、装置
CN116432781A (zh) * 2023-04-23 2023-07-14 中国工商银行股份有限公司 联邦学习防御方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432781A (zh) * 2023-04-23 2023-07-14 中国工商银行股份有限公司 联邦学习防御方法、装置、计算机设备和存储介质
CN116186629A (zh) * 2023-04-27 2023-05-30 浙江大学 基于个性化联邦学习的金融客户分类及预测方法、装置

Similar Documents

Publication Publication Date Title
Tianqing et al. Resource allocation in IoT edge computing via concurrent federated reinforcement learning
Chen et al. Fedgraph: Federated graph learning with intelligent sampling
CN115481441A (zh) 面向联邦学习的差分隐私保护方法及装置
CN112257105B (zh) 一种基于参数替换算法的联邦学习方法及系统
CN113609521A (zh) 一种基于对抗训练的联邦学习隐私保护方法及系统
CN113673708A (zh) 分布式分散化机器学习模型训练
CN113505882A (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
CN112799708A (zh) 联合更新业务模型的方法及系统
CN113645197A (zh) 一种去中心化的联邦学习方法、装置及系统
CN110874638B (zh) 面向行为分析的元知识联邦方法、装置、电子设备及系统
Gupta et al. Learner’s dilemma: IoT devices training strategies in collaborative deep learning
CN111475838A (zh) 基于深度神经网络的图数据匿名方法、装置、存储介质
CN114363043A (zh) 一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法
CN116708009A (zh) 一种基于联邦学习的网络入侵检测方法
CN115766104A (zh) 一种基于改进的Q-learning网络安全决策自适应生成方法
CN117349672A (zh) 基于差分隐私联邦学习的模型训练方法、装置及设备
Qureshi et al. Poisoning attacks against federated learning in load forecasting of smart energy
Belenguer et al. GöwFed: A novel federated network intrusion detection system
Rafi et al. Fairness and privacy preserving in federated learning: A survey
Chen et al. Locally differentially private high-dimensional data synthesis
CN115510472B (zh) 一种面向云边聚合系统的多重差分隐私保护方法及系统
Odeyomi Differential Privacy in Social Networks Using Multi-Armed Bandit
Zeng et al. Connected Superlevel Set in (Deep) Reinforcement Learning and its Application to Minimax Theorems
Odeyomi Learning the truth in social networks using multi-armed bandit
Liu et al. Membership inference defense in distributed federated learning based on gradient differential privacy and trust domain division mechanisms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination