CN113127931B - 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法 - Google Patents

基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法 Download PDF

Info

Publication number
CN113127931B
CN113127931B CN202110676618.XA CN202110676618A CN113127931B CN 113127931 B CN113127931 B CN 113127931B CN 202110676618 A CN202110676618 A CN 202110676618A CN 113127931 B CN113127931 B CN 113127931B
Authority
CN
China
Prior art keywords
noise
value
gradient
local
central server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110676618.XA
Other languages
English (en)
Other versions
CN113127931A (zh
Inventor
周鹏
叶卫
王文
王政
江樱
戚伟强
郭亚琼
王以良
陈逍潇
张烨华
刘若琳
陆鑫
宋宇波
周升
邱一川
陈超
孙嘉赛
董科
钱经纬
徐子超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
State Grid Zhejiang Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Southeast University
State Grid Zhejiang Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University, State Grid Zhejiang Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd filed Critical Southeast University
Priority to CN202110676618.XA priority Critical patent/CN113127931B/zh
Publication of CN113127931A publication Critical patent/CN113127931A/zh
Application granted granted Critical
Publication of CN113127931B publication Critical patent/CN113127931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法，设有中央服务器和若干个客户端，对若干个客户端的本地模型进行N轮训练并进行添加噪声后上传至中央服务器，对中央服务器的全局模型进行迭代训练。本发明不仅可以有效防止攻击者从客户端提交的训练模型参数中逆向腿短得到客户端参与者信息，同时还可以解决因为添加噪声导致的数据可用性下降的问题。通过私有化梯度之间的瑞丽距离计算噪声分布下的隐私预算，寻求隐私预算和识别准确率最佳的噪声分布进行添加，以实现隐私与性能的最佳平衡点。

Description

基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法
技术领域
本发明涉及数据安全领域，尤其是指基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法。
背景技术
联邦学习最早由McMahan等人在2016年提出：“我们之所以将我们的方法称为联邦学习，因为学习任务是通过由中央服务器协调的参与设备的松散联邦来解决的”。在联邦学习中，参与者通过接收当前最新的全局模型并在本地利用自身的数据集对全局模型进行迭代训练。训练完成后，将得到的本地模型参数上传给中央服务器。中央服务器对接收到的模型参数聚合得到新一轮的全局模型参数，因此联邦学习中将整个机器学习流程分解为最小的模块化单元，通过数据最小化为参与的用户提供一定程度上的隐私保护。参与者将训练完成的模型参数提交给中央服务器而不是提交原始数据。这样一来，原始数据保留在参与者本地而不是上传给中央服务器，在最大程度上防止参与者隐私泄露。
虽然联邦学习通过聚合多方训练模型参数而非原始数据集的方式，在最大程度上保护了用户数据隐私安全，但即便如此，攻击者仍可能通过某些手段可以从联邦学习训练过程中传输的模型参数信息中获取某些敏感信息，攻击者可以通过逆向学习的方式推断部分甚至全部数据。在文献“Deep leakage from gradients”中的研究表明，攻击者可以在无需任何有关训练集的先验知识的前提下从共享的模型参数中推断出标签并恢复原始训练样本，因此直接传输模型参数并不能很好地保护数据隐私，仍需要一种机制对传输的模型参数进行保护。
目前常见的方法是在模型训练过程中通过对模型参数添加满足差分隐私要求的 噪声来实现联邦学习下的数据隐私保护。差分隐私最早由Dwork等人在文献“The algorithmic foundations of differential privacy”提出，其核心是通过对数据添加服 从特定分布的扰动以及噪声信息，使这些数据仍保持统计意义，但攻击者无法通过分析数 据结果得到用户的准确某一信息。对于任意两个相邻数据集
Figure 909112DEST_PATH_IMAGE001
和
Figure 327455DEST_PATH_IMAGE002
，给定某种随机化算 法F，将其分别作用于相邻数据集
Figure 557579DEST_PATH_IMAGE001
和
Figure 865543DEST_PATH_IMAGE002
，有以下式子：
Figure 231934DEST_PATH_IMAGE003
；
其中，S为
Figure 821178DEST_PATH_IMAGE004
所有可能输出结果的集合，
Figure 538598DEST_PATH_IMAGE005
表示
Figure 104447DEST_PATH_IMAGE001
中的数据被推测得到的概 率。若满足上述公式，则称随机化算法
Figure 590923DEST_PATH_IMAGE004
提供
Figure 351068DEST_PATH_IMAGE006
差分隐私保护。
Figure 57250DEST_PATH_IMAGE007
称为差分隐私预算，该 参数用于衡量差分隐私系统对数据隐私保护的强度。
Figure 193833DEST_PATH_IMAGE007
的值越小，两个概率值就越相似，差 分隐私的保护效果就越好，但是差分隐私预算越小，也意味着向原始数据添加的噪声越大， 影响原始数据的实用性。
满足该定义的随机化算法F解决了攻击者可能通过分析数据从而得到某个具体信息的问题，因为即使攻击者将某条特定数据抽离，对特定统计结果不会产生过大影响。因此攻击者难以通过构造相邻数据集的方式分析特定信息与数据集中某些信息的关系。在实际使用中，常选择随机噪声作为某种随机化算法F，通常选择的噪声机制有一般的，为了对数据形的值进行隐私保护，引入拉普拉斯的噪声机制和高斯分布分布机制等。通过向原始数据加入噪声的办法，可以保护数据的隐私，但同时也会影响数据可用性数据可用性下降，训练后的模型的准确性大大降低。
发明内容
本发明的目的是克服现有技术中的缺陷，提供一种基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法。
本发明的目的是通过下述技术方案予以实现：
基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法，设有中央服务器和若干个客户端，对若干个客户端的本地模型进行N轮训练并进行添加噪声后上传至中央服务器，对中央服务器的全局模型进行迭代训练，对于单个客户端的本地模型的某一轮训练，具体包括以下步骤：
步骤1，从中央服务器下载全局模型参数作为本地模型参数，本地模型参数为各个损失函数参数，对各个损失函数参数求导得到当前梯度；
步骤2，裁剪限定每个当前梯度的敏感度，得到优化梯度值；
步骤3，对本地模型进行随机采样得到预选集合，并对预选集合里梯度向量的值进行排序；
步骤4，取预选集合里梯度向量前若干个值构成优化梯度向量，寻找预选集合中与优化梯度值余弦距离最近的梯度向量值；
步骤5，利用预选集合中与优化梯度值余弦距离最近的梯度向量值对优化梯度值进行编码，计算得到采样率；
步骤6，根据采样率对优化梯度值进行编码更新，并对更新后的优化梯度值添加噪声；
步骤7，对本地模型参数进行更新；
步骤8，通过瑞丽距离计算差分隐私预算；
步骤9，通过本地测试数据集对本地模型进行测试得到更新后的本地模型添加噪声分布后的准确率，并计算不同噪声对应的优势值；
步骤10，选取优势值最大的噪声分布作为本地模型此轮所添加的噪声，并上传添加该噪声下的本地模型参数至中央服务器。
本方案中，首先各客户端利用本地数据集结合服务器下载的全局模型参数训练本地模型，然后再本地模型的梯度反向传播过程中对梯度进行编码得到固定维数的私有化梯度，利用私有化梯度之间的瑞丽距离计算任意噪声分布下的差分隐私预算，然后通过计算噪声对应的优势值判别最终最优的噪声分布并实施添加，将添加差分隐私噪声后得到加噪模型传输至中央服务器，中央服务器将各个客户端的加噪模型进行聚合得到全局模型，然后将更新后的全局模型参数下发回各个客户端继续下一轮训练，完成整个联邦学习的过程。本方案的设计，不仅可以有效防止攻击者从客户端提交的训练模型参数中逆向腿短得到客户端参与者信息，同时还可以解决因为添加噪声导致的数据可用性下降的问题。通过私有化梯度之间的瑞丽距离计算噪声分布下的隐私预算，寻求隐私预算和识别准确率最佳的噪声分布进行添加，以实现隐私与性能的最佳平衡点。
作为优选，所述的步骤3具体为，通过标准高斯分布中进行随机采样得到n个随机 向量，得到预选集合
Figure 534815DEST_PATH_IMAGE008
，预选集合中第j个随机向量
Figure 200283DEST_PATH_IMAGE009
的维数 为k，
Figure 390831DEST_PATH_IMAGE010
，对向量
Figure 65526DEST_PATH_IMAGE011
各维度的值进行从大到小的排序得到
Figure 169004DEST_PATH_IMAGE012
，得到新的集合
Figure 536532DEST_PATH_IMAGE013
。
作为优选，所述的步骤4中，若预选集合里梯度向量的维度数量小于优化梯度向量维度数量，则在预选集合梯度向量从大到小排序后添加0值直到预选集合梯度向量的维度数量与优化梯度向量维度数量相等。
作为优选，所述的步骤5具体包括以下子步骤：
子步骤1，设置变量
Figure 450261DEST_PATH_IMAGE014
，初始值为0；
子步骤2，遍历优化梯度向量中各变量的值，当遍历某一个变量l时，则执行以下过程：
2.1）若
Figure 397489DEST_PATH_IMAGE015
则
Figure 477178DEST_PATH_IMAGE016
；
2.2）若
Figure 484448DEST_PATH_IMAGE017
，则编码方式如下：
Figure 885474DEST_PATH_IMAGE018
；
若
Figure 403436DEST_PATH_IMAGE019
，编码方式如下：
Figure 839096DEST_PATH_IMAGE020
；
其中，
Figure 17268DEST_PATH_IMAGE021
为预选集合中与优化梯度值余弦距离最近的梯度向量值，
Figure 905590DEST_PATH_IMAGE022
为优 化梯度向量；
子步骤3，遍历结束后，求出采样率q，
Figure 224313DEST_PATH_IMAGE023
。
作为优选，所述的步骤8具体为：
Figure 514480DEST_PATH_IMAGE024
为瑞丽距离中衡量分布距离所使用的范数，是1到
Figure 394712DEST_PATH_IMAGE025
的整数，
Figure 994496DEST_PATH_IMAGE026
为第t轮的 差分隐私预算；根据差分隐私机制原理，可得到在满足第t轮的差分隐私预算
Figure 352796DEST_PATH_IMAGE027
时所使用 噪声分布与
Figure 763049DEST_PATH_IMAGE024
的对应关系，计算过程如下：
Figure DEST_PATH_IMAGE028
。
作为优选，所述的步骤10具体为选取不同的噪声分布，计算其对应的优势值，选取优势值最大的噪声分布作为添加的噪声分布，以交叉熵作为损失函数，分别计算拉普拉斯噪声机制和高斯分布机制计算其隐私预算值，以及添加噪声后的模型判别的准确率，若高斯分布噪声对应的值大于拉普拉斯噪声对应的值，则选择高斯分布噪声进行添加更新得到本地新模型，若高斯分布噪声对应的值不大于拉普拉斯噪声对应的值，则选择拉普拉斯噪声进行添加更新得到本地新模型，然后向中央服务器上传高斯分布噪声或拉普拉斯噪声下的本地新模型参数。
本发明的有益效果是：本发明不仅可以有效防止攻击者从客户端提交的训练模型参数中逆向腿短得到客户端参与者信息，同时还可以解决因为添加噪声导致的数据可用性下降的问题。通过私有化梯度之间的瑞丽距离计算噪声分布下的隐私预算，寻求隐私预算和识别准确率最佳的噪声分布进行添加，以实现隐私与性能的最佳平衡点。
附图说明
图1是本发明的一种实体关系图；
图2是本发明单个客户端的本地模型的某一轮训练的具体流程图；
其中：1、客户端，2、中央服务器。
具体实施方式
下面结合附图和实施例对本发明进一步描述。
实施例：
基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法，如图1所示，设有中央 服务器和若干个客户端，对若干个客户端的本地模型进行10轮训练并进行添加噪声后上传 至中央服务器，对中央服务器的全局模型进行迭代训练，对客户端的本地模型进行训练并 上传至中央服务器，对中央服务器的全局模型进行迭代训练是联邦学习的常规方法这里不 再赘述；对于第i个客户端的本地模型的t轮训练，
Figure 984821DEST_PATH_IMAGE029
，具体包括以下步骤，如图2 所示：
步骤1，从中央服务器下载全局模型参数
Figure 847735DEST_PATH_IMAGE030
作为本地模型参数
Figure 9726DEST_PATH_IMAGE031
，
Figure 274485DEST_PATH_IMAGE031
是 一个m维向量，令m=64，本地模型参数为各个损失函数参数，对各个损失函数参数求导得到 当前梯度
Figure 997984DEST_PATH_IMAGE032
，
Figure 82614DEST_PATH_IMAGE032
同样为一个m维向量；
步骤2，裁剪限定每个当前梯度的敏感度，得到优化梯度值，计算过程如下：
Figure 48296DEST_PATH_IMAGE033
；
其中C为超参数门限，C=1.5；
步骤3，对本地模型进行随机采样得到预选集合，并对预选集合里梯度向量的值进 行排序，具体为：通过标准高斯分布中进行随机采样得到n个随机向量，得到预选集合
Figure 901983DEST_PATH_IMAGE034
，预选集合中第j个随机向量
Figure 59032DEST_PATH_IMAGE035
的维数为k，
Figure 896538DEST_PATH_IMAGE036
，对向量
Figure 134753DEST_PATH_IMAGE037
各维度的值进行从大到小的排序得到
Figure 108525DEST_PATH_IMAGE038
，得到新的集合
Figure 173826DEST_PATH_IMAGE039
；
步骤4，若
Figure 498628DEST_PATH_IMAGE032
集合内的变量个数m>k，对
Figure 540534DEST_PATH_IMAGE032
集合内的值进行从大到小排序保留前k个值得到
Figure 634392DEST_PATH_IMAGE040
;若
Figure 867665DEST_PATH_IMAGE041
集合内的变量个数m<k,则按从大到小排序后添加0值生成包含k个 变量的集合
Figure 414184DEST_PATH_IMAGE040
，然后遍历集合
Figure 525359DEST_PATH_IMAGE042
中所有的向量
Figure 473724DEST_PATH_IMAGE043
，
Figure 615248DEST_PATH_IMAGE036
。计算
Figure 649063DEST_PATH_IMAGE044
与向量
Figure 32771DEST_PATH_IMAGE040
的余弦距离，将余弦距离最小的向量记为
Figure 835642DEST_PATH_IMAGE045
，计算过程如下：
Figure 676297DEST_PATH_IMAGE046
；
步骤5，利用预选集合中与优化梯度值余弦距离最近的梯度向量值对优化梯度值进行编码，计算得到采样率，具体包括以下子步骤：
子步骤1，设置变量
Figure 931829DEST_PATH_IMAGE047
，初始值为0；
子步骤2，遍历优化梯度向量中各变量的值，当遍历某一个变量l时，则执行以下过程：
2.1）若
Figure 119228DEST_PATH_IMAGE048
则
Figure 42185DEST_PATH_IMAGE049
；
2.2）若
Figure 615310DEST_PATH_IMAGE050
，则编码方式如下：
Figure 623717DEST_PATH_IMAGE051
；
若
Figure 880386DEST_PATH_IMAGE052
，编码方式如下：
Figure 392270DEST_PATH_IMAGE053
；
其中，
Figure 309148DEST_PATH_IMAGE054
为预选集合中与优化梯度值余弦距离最近的梯度向量值，
Figure 539272DEST_PATH_IMAGE055
为优 化梯度向量；
子步骤3，遍历结束后，求出采样率q，
Figure 334053DEST_PATH_IMAGE056
；
步骤6，根据采样率对优化梯度值进行编码更新，并对更新后的优化梯度值添加噪 声，具体为将原
Figure 966023DEST_PATH_IMAGE057
中各变量值更新为向量
Figure 56732DEST_PATH_IMAGE058
对应变量编码后的值，对更新后
Figure 39731DEST_PATH_IMAGE059
添加噪 声，设噪声分布为
Figure 372624DEST_PATH_IMAGE060
，式中
Figure 859100DEST_PATH_IMAGE061
代表该分布的随机变量，
Figure 383360DEST_PATH_IMAGE062
代表该分布的期望，已知
Figure 588076DEST_PATH_IMAGE032
的维数为
Figure 459080DEST_PATH_IMAGE063
，定义
Figure 331221DEST_PATH_IMAGE064
为噪声分布
Figure 763733DEST_PATH_IMAGE060
定义域内第u次随机选取的值，则加噪过程 表示为：
Figure 455746DEST_PATH_IMAGE065
；
步骤7，对本地模型参数进行更新，计算过程为：
Figure DEST_PATH_IMAGE066
；
其中
Figure 333703DEST_PATH_IMAGE067
为固定的学习速率，令
Figure 293306DEST_PATH_IMAGE067
=0.01，
Figure 395254DEST_PATH_IMAGE068
为更新后的本地模型参数；
步骤8，通过瑞丽距离计算差分隐私预算，具体为：
Figure 574563DEST_PATH_IMAGE069
为瑞丽距离中衡量分布距离所使用的范数，是1到
Figure 52949DEST_PATH_IMAGE070
的整数，
Figure 869989DEST_PATH_IMAGE026
为第t轮的 差分隐私预算；根据差分隐私机制原理，可得到在满足第t轮的差分隐私预算
Figure 408417DEST_PATH_IMAGE027
时所使用 噪声分布与
Figure 75022DEST_PATH_IMAGE024
的对应关系，计算过程如下：
Figure 357099DEST_PATH_IMAGE071
；
步骤9，通过本地测试数据集对本地模型进行测试得到更新后的本地模型添加噪 声分布后的准确率
Figure 291295DEST_PATH_IMAGE072
，并计算不同噪声对应的优势值
Figure DEST_PATH_IMAGE073
，计算过程如下：
Figure 938308DEST_PATH_IMAGE074
；
优势值越大表明该模型的准确率越高同时数据的隐私性越强；
步骤10，选取优势值最大的噪声分布作为本地模型此轮所添加的噪声，并上传添加该噪声下的本地模型参数至中央服务器，具体为选取不同的噪声分布，计算其对应的优势值，选取优势值最大的噪声分布作为添加的噪声分布，以交叉熵作为损失函数，分别计算拉普拉斯噪声机制和高斯分布机制计算其隐私预算值，以及添加噪声后的模型判别的准确率，若高斯分布噪声对应的值大于拉普拉斯噪声对应的值，则选择高斯分布噪声进行添加更新得到本地新模型，若高斯分布噪声对应的值不大于拉普拉斯噪声对应的值，则选择拉普拉斯噪声进行添加更新得到本地新模型，然后向中央服务器上传高斯分布噪声或拉普拉斯噪声下的本地新模型参数。
本方案中，首先各客户端利用本地数据集结合服务器下载的全局模型参数训练本地模型，然后再本地模型的梯度反向传播过程中对梯度进行编码得到固定维数的私有化梯度，利用私有化梯度之间的瑞丽距离计算任意噪声分布下的差分隐私预算，然后通过计算噪声对应的优势值判别最终最优的噪声分布并实施添加，将添加差分隐私噪声后得到加噪模型传输至中央服务器，中央服务器将各个客户端的加噪模型进行聚合得到全局模型，然后将更新后的全局模型参数下发回各个客户端继续下一轮训练，完成整个联邦学习的过程。本方案的设计，不仅可以有效防止攻击者从客户端提交的训练模型参数中逆向腿短得到客户端参与者信息，同时还可以解决因为添加噪声导致的数据可用性下降的问题。通过私有化梯度之间的瑞丽距离计算噪声分布下的隐私预算，寻求隐私预算和识别准确率最佳的噪声分布进行添加，以实现隐私与性能的最佳平衡点。
一种计算机设备，该计算机设备可以是中央服务器或客户端，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (3)

1.基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法，其特征是，设有中央服务器和若干个客户端，对若干个客户端的本地模型进行N轮训练并进行添加噪声后上传至中央服务器，对中央服务器的全局模型进行迭代训练，对于单个客户端的本地模型的某一轮训练，具体包括以下步骤：
步骤1，从中央服务器下载全局模型参数作为本地模型参数，本地模型参数为各个损失函数参数，对各个损失函数参数求导得到当前梯度；
步骤2，裁剪限定每个当前梯度的敏感度，得到优化梯度值；
步骤3，对本地模型进行随机采样得到预选集合，并对预选集合里梯度向量的值进行排序；
步骤4，取预选集合里梯度向量前若干个值构成优化梯度向量，寻找预选集合中与优化梯度值余弦距离最近的梯度向量值；
步骤5，利用预选集合中与优化梯度值余弦距离最近的梯度向量值对优化梯度值进行编码，计算得到采样率；
步骤6，根据采样率对优化梯度值进行编码更新，并对更新后的优化梯度值添加噪声；
步骤7，对本地模型参数进行更新；
步骤8，通过瑞丽距离计算差分隐私预算；
步骤9，通过本地测试数据集对本地模型进行测试得到更新后的本地模型添加噪声分布后的准确率，并计算不同噪声对应的优势值；
步骤10，选取优势值最大的噪声分布作为本地模型此轮所添加的噪声，并上传添加该噪声下的本地模型参数至中央服务器；
所述的步骤3具体为，通过标准高斯分布中进行随机采样得到n个随机向量，得到预选 集合
Figure 869307DEST_PATH_IMAGE001
，预选集合中第j个随机向量
Figure 374238DEST_PATH_IMAGE002
的维数为k，
Figure 672495DEST_PATH_IMAGE003
，对向量
Figure 997297DEST_PATH_IMAGE004
各维度的值进行从大到小的排序得到
Figure 806247DEST_PATH_IMAGE005
，得到新的集合
Figure 634525DEST_PATH_IMAGE006
；
所述的步骤4中，若预选集合里梯度向量的维度数量小于优化梯度向量维度数量，则在预选集合梯度向量从大到小排序后添加0值直到预选集合梯度向量的维度数量与优化梯度向量维度数量相等；
所述的步骤5具体包括以下子步骤：
子步骤1，设置变量temp，初始值为0；
子步骤2，遍历优化梯度向量中各变量的值，当遍历某一个变量l时，则执行以下过程：
2.1）若
Figure 369263DEST_PATH_IMAGE007
则
Figure 915782DEST_PATH_IMAGE008
；
2.2）若
Figure 791072DEST_PATH_IMAGE009
，则编码方式如下：
Figure 739436DEST_PATH_IMAGE010
若
Figure 645075DEST_PATH_IMAGE011
，编码方式如下：
Figure 678891DEST_PATH_IMAGE012
其中，
Figure 593757DEST_PATH_IMAGE013
为预选集合中与优化梯度值余弦距离最近的梯度向量值，
Figure 898093DEST_PATH_IMAGE014
为优化梯 度向量；
子步骤3，遍历结束后，求出采样率q，
Figure 240212DEST_PATH_IMAGE015
。
2.根据权利要求1所述的基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法，其特征是，所述的步骤8具体为：
Figure 761324DEST_PATH_IMAGE016
为瑞丽距离中衡量分布距离所使用的范数，是1到
Figure 948722DEST_PATH_IMAGE017
的整数，
Figure 370214DEST_PATH_IMAGE018
为第t轮的差分隐 私预算；根据差分隐私机制原理，可得到在满足第t轮的差分隐私预算
Figure 883235DEST_PATH_IMAGE019
时所使用噪声分布 与
Figure 891642DEST_PATH_IMAGE020
的对应关系，计算过程如下：
Figure 882732DEST_PATH_IMAGE021
。
3.根据权利要求1所述的基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法，其特征是，所述的步骤10具体为选取不同的噪声分布，计算其对应的优势值，选取优势值最大的噪声分布作为添加的噪声分布，以交叉熵作为损失函数，分别计算拉普拉斯噪声机制和高斯分布机制计算其隐私预算值，以及添加噪声后的模型判别的准确率，若高斯分布噪声对应的值大于拉普拉斯噪声对应的值，则选择高斯分布噪声进行添加更新得到本地新模型，若高斯分布噪声对应的值不大于拉普拉斯噪声对应的值，则选择拉普拉斯噪声进行添加更新得到本地新模型，然后向中央服务器上传高斯分布噪声或拉普拉斯噪声下的本地新模型参数。
CN202110676618.XA 2021-06-18 2021-06-18 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法 Active CN113127931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110676618.XA CN113127931B (zh) 2021-06-18 2021-06-18 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110676618.XA CN113127931B (zh) 2021-06-18 2021-06-18 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法

Publications (2)

Publication Number Publication Date
CN113127931A CN113127931A (zh) 2021-07-16
CN113127931B true CN113127931B (zh) 2021-09-03

Family

ID=76783185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110676618.XA Active CN113127931B (zh) 2021-06-18 2021-06-18 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法

Country Status (1)

Country Link
CN (1) CN113127931B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364372A (zh) * 2020-10-27 2021-02-12 重庆大学 一种有监督矩阵补全的隐私保护方法
CN113591145B (zh) * 2021-07-28 2024-02-23 西安电子科技大学 基于差分隐私和量化的联邦学习全局模型训练方法
CN113626866B (zh) * 2021-08-12 2023-10-13 积至(海南)信息技术有限公司 一种面向联邦学习的本地化差分隐私保护方法、系统、计算机设备及存储介质
CN114118407B (zh) * 2021-10-29 2023-10-24 华北电力大学 一种面向深度学习的差分隐私可用性度量方法
CN114595831B (zh) * 2022-03-01 2022-11-11 北京交通大学 融合自适应权重分配和个性化差分隐私的联邦学习方法
CN114386583A (zh) * 2022-03-24 2022-04-22 北京大学 一种用于保护标签信息的纵向联邦神经网络模型学习方法
CN115146313B (zh) * 2022-07-05 2024-04-09 湖南大学 基于模型差值稀疏化的联邦学习差分隐私保护方法
CN115187576B (zh) * 2022-08-04 2024-02-09 中国电子技术标准化研究院 一种基于双机制差分隐私的联邦学习肺结节检测方法
CN115640517A (zh) * 2022-09-05 2023-01-24 北京火山引擎科技有限公司 多方协同模型训练方法、装置、设备和介质
CN115270001B (zh) * 2022-09-23 2022-12-23 宁波大学 基于云端协同学习的隐私保护推荐方法及系统
CN115329898B (zh) * 2022-10-10 2023-01-24 国网浙江省电力有限公司杭州供电公司 基于差分隐私策略的多属性数据发布方法及系统
CN115766137A (zh) * 2022-11-03 2023-03-07 广州优刻谷科技有限公司 基于安全洗牌的联邦学习方法及系统
CN115587381B (zh) * 2022-12-12 2023-04-07 四川大学华西医院 基于差分隐私的医疗诊断模型联合训练方法及系统
CN117591888B (zh) * 2024-01-17 2024-04-12 北京交通大学 面向列车关键部件的集群自主学习故障诊断方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091199A (zh) * 2019-12-20 2020-05-01 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦学习方法、装置及存储介质
WO2020147965A1 (en) * 2019-01-18 2020-07-23 Huawei Technologies Co., Ltd. Enhanced privacy federated learning system
CN111523668A (zh) * 2020-05-06 2020-08-11 支付宝(杭州)信息技术有限公司 基于差分隐私的数据生成系统的训练方法及装置
CN111539769A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 基于差分隐私的异常检测模型的训练方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11139961B2 (en) * 2019-05-07 2021-10-05 International Business Machines Corporation Private and federated learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020147965A1 (en) * 2019-01-18 2020-07-23 Huawei Technologies Co., Ltd. Enhanced privacy federated learning system
CN111091199A (zh) * 2019-12-20 2020-05-01 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦学习方法、装置及存储介质
CN111539769A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 基于差分隐私的异常检测模型的训练方法及装置
CN111523668A (zh) * 2020-05-06 2020-08-11 支付宝(杭州)信息技术有限公司 基于差分隐私的数据生成系统的训练方法及装置

Also Published As

Publication number Publication date
CN113127931A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113127931B (zh) 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法
TWI764640B (zh) 基於差分隱私的異常檢測模型的訓練方法及裝置
CN109889538B (zh) 用户异常行为检测方法及系统
CN114462090B (zh) 一种针对联邦学习中差分隐私预算计算的收紧方法
Yin Quantized identification with dependent noise and Fisher information ratio of communication channels
Barbarossa et al. Learning from signals defined over simplicial complexes
CN112527273A (zh) 一种代码补全方法、装置以及相关设备
CN115795535A (zh) 一种提供自适应梯度的差分私有联邦学习方法及装置
CN110874638A (zh) 面向行为分析的元知识联邦方法、装置、电子设备及系统
CN114003900A (zh) 变电站二次系统网络入侵检测方法、装置及系统
CN116776155B (zh) 一种基于联邦学习的模型训练方法、装置、设备和介质
CN112862545A (zh) 特征数据的处理方法以及电子设备
CN115174237B (zh) 一种物联网系统恶意流量的检测方法、装置和电子设备
CN117093830A (zh) 一种考虑局部与全局的用户负荷数据修复方法
CN116842447A (zh) 分类数据的后处理方法、装置、系统和电子装置
CN111144424A (zh) 一种基于聚类算法的人员特征检分析方法
CN116258923A (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN115098881A (zh) 一种基于敏感等级划分的数据扰动方法及装置
CN111368337B (zh) 保护隐私的样本生成模型构建、仿真样本生成方法及装置
CN113556731A (zh) 位置服务中基于负调查的众包用户位置隐私保护方法
CN112437051A (zh) 网络风险检测模型负反馈训练方法、装置及计算机设备
CN112148808A (zh) 关系构建方法、装置和电子设备
Li et al. Linear screening for high‐dimensional computer experiments
CN117155546B (zh) 分组密码类立方攻击的搜索方法、装置、电子设备及介质
CN112700277B (zh) 用户行为数据的处理方法和多行为序列转化模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant