CN116127519A - 一种基于区块链的动态差分隐私联邦学习系统 - Google Patents

一种基于区块链的动态差分隐私联邦学习系统 Download PDF

Info

Publication number
CN116127519A
CN116127519A CN202310221541.6A CN202310221541A CN116127519A CN 116127519 A CN116127519 A CN 116127519A CN 202310221541 A CN202310221541 A CN 202310221541A CN 116127519 A CN116127519 A CN 116127519A
Authority
CN
China
Prior art keywords
training
blockchain
model
local
differential privacy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310221541.6A
Other languages
English (en)
Inventor
彭海朋
吴晗
李丽香
周泽宁
杨阳
王祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310221541.6A priority Critical patent/CN116127519A/zh
Publication of CN116127519A publication Critical patent/CN116127519A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于区块链的动态差分隐私联邦学习系统，针对联邦学习自身的特点和存在的问题，将差分隐私技术进行改进，采用自适应裁剪梯度、加权法添高斯噪声和随机性调度的联邦学习，将联邦学习的隐私性与性能同时做到高水平，再结合区块链的特性，给联邦学习进行赋能，解决了联邦学习中所面临的推理攻击、投毒攻击和中心聚合服务器攻击等问题，可以为联邦学习提供多重安全保障，保护数据隐私、提高模型安全、性能、保障公平性和信任度，从而为联邦学习的应用提供更加安全、可靠、有效的解决方案。

Description

一种基于区块链的动态差分隐私联邦学习系统
技术领域
本发明涉及数据安全技术领域，尤其涉及一种基于区块链的动态差分隐私联邦学习系统。
背景技术
近年来，随着数据量的不断增加、计算能力的不断提升以及深度学习模型的不断发展，机器学习在各个领域的应用获得了显著的成功。然而，为了实现更好的机器学习效果，传统的方法是将大量原始数据发送到中央服务器进行训练，这导致了一些敏感数据的泄露和安全风险。因此，研究人员开始寻找在保护数据隐私和安全的前提下提高机器学习准确率的方法。
在多年的探索中，提出了一种基于机器学习框架的联邦学习模型。虽然联邦学习能够有效地保护客户端的私有数据不被泄露，但是即便如此，研究发现联邦学习到目前为止依然存在数据安全风险。一般而言，数据安全风险有投毒攻击、推理攻击、中心服务器单点攻击、生成对抗网络攻击等，若不采用一定的隐私保护技术其安全依然难以保证。同时，联邦学习存在聚合效率问题，隐私性的保证与模型的效率存在天然的互斥性，当隐私性提高了，那么模型的效率必然会降低，当模型性能高了，可能隐私性保证会不够。那么如何在隐私性与性能方面做到一个平衡，在隐私保护做好的前提下，尽量的保证模型的性能这也是需要的重要问题。
区块链则是一种去中心化、不可篡改、分布式的账本技术，可以用于记录数字资产和交易。在区块链网络中，数据存储在一个由多个计算机节点组成的分布式网络中，每个节点都具有复制整个账本的完整副本，数据在节点之间以点对点的方式传递，任何一个节点的故障都不会影响整个网络的运行。数据的修改需要通过一定的算法和共识机制达成一致，并经过加密和时间戳等技术保证不可篡改。区块链技术本身并不能完全解决隐私泄露问题，如果联邦学习系统设计不当，区块链应用不当，仍然可能会存在隐私泄露的风险。
因此，传统的基于区块链的联邦学习模型任然存在隐私安全、可用性和性能的问题。
发明内容
本发明的目的是提出一种基于区块链的动态差分隐私联邦学习系统，在此方案中，为保证联邦学习的各个参与者模型的中间参数的安全性，避免推理攻击，采用差分隐私技术对本地模型参数添加噪声；为平衡联邦学习在隐私与效率，让其都有良好的表现，采用自适应裁剪模型梯度、加权法添噪声差分隐私和随机性调度联邦学习相结合的设计；为了避免投毒攻击与中心聚合服务器的攻击，采用区块链对联邦学习参与者的模型进行分布式存储与聚合。
为了实现上述目的，本发明提供如下技术方案：
本发明提供一种基于区块链的动态差分隐私联邦学习系统，包括联邦学习模块和区块链模块；
所述的联邦学习模块，每一轮训练采用自适应裁剪本地模型梯度，并在每一轮训练结束后采用差分隐私技术对本地模型参数添加噪声，然后将本地模型发送给区块链模块；
所述的区块链模块，采用区块链对联邦学习参与者的本地模型参数进行分布式存储，并通过联邦平均算法聚合联邦学习得到全局模型，并将全局模型发送给所有参与者继续训练；区块链间采用Raft共识算法进行数据共识。
进一步地，本地训练步骤为：在联邦学习开始之前，在云端初始化一个全局模型，然后将全局模型的参数发送到所有参与训练的设备上，每个设备都在本地使用自己的训练数据对模型进行训练，生成一个本地模型，并采用梯度下降法求解本地数据上最小损失函数时对应的本地模型参数值。
进一步地，模型聚合步骤为：设备在本地训练结束后，将本地模型的参数上传到云端进行聚合，聚合方式为：对上传的本地模型参数进行加权平均，生成一个全局模型参数。
进一步地，全局模型更新步骤为：将生成的全局模型参数发送回所有设备，作为设备下一轮本地训练的初始参数。
进一步地，梯度剪裁的公式如下：
Figure BDA0004116889460000031
Figure BDA0004116889460000032
其中，E为本地模型训练次数，G为先验阈值，wi，t为深度学习训练时的当前梯度，||wi，t||2为当前梯度的L2欧几里得范数，β为本地裁剪因子用于调节Ct的大小，
Figure BDA00041168894600000311
公式如下：
Figure BDA0004116889460000033
Figure BDA0004116889460000034
在第一轮训练时先验知识
Figure BDA0004116889460000035
γ参数表示依据先验梯度来更新当前梯度的权值。
进一步地，系统采用差分隐私技术对本地模型参数添加噪声公式如下：
Figure BDA0004116889460000036
加高斯噪声的标准差设置为：
Figure BDA0004116889460000037
Figure BDA0004116889460000038
其中，
Figure BDA0004116889460000039
C是裁剪参数，
Figure BDA00041168894600000310
由高斯机制得来，T是参数聚合次数，L(L≤T)是参数上传时攻击者获取的次数，最差情况设定为L＝T。
进一步地，区块链模块将得到的本地模型参数打包为新的一个区块，区块包含了若干本地模型参数以及一个指向前一个区块的指针，形成了一个链式结构。
进一步地，新生成的区块通过验证以确保区块中的日志不被篡改或删除，若新区块通过验证，则将其添加到区块链的末尾，通过Raft共识算法达到全局数据一致。
进一步地，新生成的区块验证使用密码学算法进行数字签名和哈希运算。
进一步地，上述的基于区块链的动态差分隐私联邦学习系统，包括如下步骤：
(1)初始化算法：参与者初始化模型
Figure BDA0004116889460000041
全置为0，参与者N，本地模型训练次数E，迭代次数T，随机调度的采样率为q＝K/N，设一个先验阈值G，本地训练学习率
Figure BDA0004116889460000042
并为N个参与者设置权值参数α1，α2，...，αN；
(2)进行T轮迭代：每一轮迭代随机的从N个服务器中随机的选取K个参与进行训练；
(3)每个参与者训练E轮，每一轮训练进行本地模型梯度裁剪：
Figure BDA0004116889460000043
(4)每个参与者E轮训练结束后，添加高斯噪声并乘以参与者权值，
Figure BDA0004116889460000044
加高斯噪声的标准差设置为：
Figure BDA0004116889460000045
其中，
Figure BDA0004116889460000046
C是裁剪参数，
Figure BDA0004116889460000047
由高斯机制得来，T是参数聚合次数，L(L≤T)是参数上传时攻击者获取的次数，最差情况设定为L＝T，将本地模型发送给区块链模块；
(5)区块链模块将得到的本地模型参数打包为新的一个区块，区块包含了若干本地模型参数以及一个指向前一个区块的指针，形成了一个链式结构；验证新生成的区块以确保区块中的日志不被篡改或删除，若新区块通过验证，则将其添加到区块链的末尾，通过Raft共识算法达到全局数据一致；
(6)Raft算法中的leader节点使用联邦平均算法进行模型聚合，聚合的过程采用平均值方法，即对所有本地模型参数取平均值，得到全局模型参数；
(7)将全局模型传递给参与者，继续上面的训练直至收敛。
与现有技术相比，本发明具有以下有益效果：
本发明提供的基于区块链的动态差分隐私联邦学习系统，针对联邦学习自身的特点和存在的问题，将差分隐私技术进行改进，采用自适应裁剪梯度、加权法添高斯噪声和随机性调度的联邦学习，将联邦学习的隐私性与性能同时做到高水平，再结合区块链的特性，给联邦学习进行赋能，解决了联邦学习中所面临的推理攻击、投毒攻击和中心聚合服务器攻击等问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于区块链的动态差分隐私联邦学习系统的框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出的一种基于区块链的动态差分隐私联邦学习系统，如图1所示，涉及到两个大的模块，分别是联邦学习模块与区块链模块。
联邦学习模块：联邦学习训练过程中，每一轮训练过程中央服务器会让全部的参与者参与训练，在联邦学习开始之前，需要在云端初始化一个全局模型，然后将该模型的参数发送到所有参与训练的设备上。每个设备都在本地使用自己的训练数据对模型进行训练，生成一个本地模型。这个训练过程通常是在设备本地完成，不需要上传数据到云端。训练的方式和参数选择可以根据具体的应用场景来决定；用梯度下降法求解本地数据上最小损失函数时对应的模型参数值。设备在本地训练结束后，将本地模型的参数上传到云端进行聚合。聚合的方式通常是对上传的模型参数进行加权平均，生成一个全局模型参数，具体的加权方式可以根据不同的算法进行调整。将生成的全局模型参数发送回所有设备，作为下一轮本地训练的初始参数，这样，所有设备都使用相同的初始参数进行训练，从而保证模型的一致性。重复以上步骤，直到达到一定的训练轮数或者收敛条件。总体而言，联邦学习的训练过程包含了本地训练、模型聚合和全局模型更新三个步骤。
区块链模块：区块链作为分布式数据库中存放的是联邦学习本地模型训练时产生的模型参数，所有的区块链都存储着所有参与者的本地模型参数，区块链间采用的时Raft共识算法进行数据共识，区块链系统除了存放参与者的本地模型外，还需要通过联邦平均算法(FedAvg)聚合联邦学习得到全局模型，并将模型发送给所有参与者继续训练。
具体地，上述系统的具体算法步骤如下：
(1)初始化算法：参与者初始化模型
Figure BDA0004116889460000061
全置为0，参与者N，本地模型训练次数E，迭代次数T，随机调度的采样率为q＝K/N，设一个先验阈值G，本地训练学习率
Figure BDA0004116889460000071
并为N个参与者设置权值参数α1，α2，...，αN；
(2)进行T轮迭代：每一轮迭代随机的从N个服务器中随机的选取K个参与进行训练；
(3)每个参与者训练E轮，为了使本地模型收敛的更快，每一轮训练进行本地模型梯度裁剪：
Figure BDA0004116889460000072
其中，E为本地模型训练次数，G为先验阈值，wi，t为深度学习训练时的当前梯度，||wi，t||2为当前梯度的L2欧几里得范数，LP范数定义如下：
Figure BDA0004116889460000073
当p＝2时，L2称为欧几里得范数(Euclidean norm)，表示从原点出发到向量
Figure BDA0004116889460000074
的欧几里得距离，通常简化为||x||。
β为本地裁剪因子用于调节Ct的大小，若想让Ct大则设置为大于1的值，本发明实施例中设置为1.5；
Figure BDA0004116889460000075
公式如下：
Figure BDA0004116889460000076
Figure BDA0004116889460000077
在第一轮训练时先验知识
Figure BDA0004116889460000078
γ参数表示依据先验梯度来更新当前梯度的权值，在本发明实施例中设置为0.1。
(4)每个参与者E轮训练结束后，添加高斯噪声并乘以参与者权值，
Figure BDA0004116889460000079
为了在具有K-N随机调度策略的联邦学习中满足(∈,δ)-差分隐私性，加高斯噪声的标准差设置为：
Figure BDA0004116889460000081
其中，
Figure BDA0004116889460000082
C是裁剪参数，
Figure BDA0004116889460000083
由高斯机制得来，T是参数聚合次数，L(L≤T)是参数上传时攻击者获取的次数，最差情况设定为L＝T，将本地模型发送给区块链模块；
(5)区块链模块将得到的本地模型参数打包为新的一个区块，区块包含了若干本地模型参数以及一个指向前一个区块的指针，形成了一个链式结构；验证新生成的区块确保其有效性；验证的过程通常会涉及到使用密码学算法进行数字签名和哈希运算等操作，以确保区块中的日志不被篡改或删除；若新区块通过验证，则将其添加到区块链的末尾，通过Raft共识算法达到全局数据一致；
(6)Raft算法中的leader节点使用联邦平均算法(Federated Averaging，FedAvg)进行模型聚合，聚合的过程采用平均值方法，即对所有本地模型参数取平均值，得到全局模型参数；
(7)将全局模型传递给参与者，继续上面的训练直至收敛。
本发明提出的一种基于区块链的动态差分隐私联邦学习系统，可以为联邦学习提供多重安全保障，具体包括以下方面：
(1)数据隐私保护：在传统的联邦学习中，每个参与方需要将自己的数据发送到中央服务器进行训练，这样容易导致数据泄露和隐私泄露的问题。采用动态差分隐私技术的联邦学习，可以给本地模型的中间参数加入适当的噪声以避免攻击者的推理攻击。基于区块链的联邦学习模型可以通过加密算法等技术实现数据的去中心化存储和交换，参与方可以在不暴露自己数据的情况下参与模型训练，从而保护数据隐私。
(2)去中心化管理：在传统的联邦学习模型中，中央服务器是模型管理和控制的中心，这样容易受到攻击和篡改，从而导致模型失效。而基于区块链的联邦学习模型可以实现去中心化管理，每个参与方都可以管理和控制模型的部分，从而降低模型被攻击和篡改的风险。
(3)模型安全：在传统的联邦学习模型中，中央服务器是存储和管理模型的中心，这样容易受到攻击和篡改。而基于区块链的联邦学习模型可以实现模型的去中心化存储和管理，每个参与方都可以存储和管理部分模型，从而降低模型被攻击和篡改的风险。
(4)公平性保障：在传统的联邦学习模型中，中央服务器是控制模型训练和数据共享的中心，这样容易导致不公平和不可信的问题。而基于区块链的联邦学习模型可以实现公开透明和不可篡改性，保障每个参与方的利益和公平性，从而提高模型的可信度和可靠性。
(5)效率性能：在传统的联邦学习模型中，采用的差分隐私技术会降低模型的性能，采用动态差分隐私技术，可以在模型的隐私性与性能得到不错的平衡点。
综上所述，本发明针对联邦学习自身的特点和存在的问题，将差分隐私技术进行改进，采用自适应裁剪梯度、加权法添高斯噪声和随机性调度的联邦学习，将联邦学习的隐私性与性能同时做到高水平，再结合区块链的特性，给联邦学习进行赋能，解决了联邦学习中所面临的推理攻击，投毒攻击和中心聚合服务器攻击等问题，可以为联邦学习提供多重安全保障，保护数据隐私、提高模型安全、性能、保障公平性和信任度，从而为联邦学习的应用提供更加安全、可靠、有效的解决方案。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于区块链的动态差分隐私联邦学习系统，其特征在于，包括联邦学习模块和区块链模块；
所述的联邦学习模块，每一轮训练采用自适应裁剪本地模型梯度，并在每一轮训练结束后采用差分隐私技术对本地模型参数添加噪声，然后将本地模型发送给区块链模块；
所述的区块链模块，采用区块链对联邦学习参与者的本地模型参数进行分布式存储，并通过联邦平均算法聚合联邦学习得到全局模型，并将全局模型发送给所有参与者继续训练；区块链间采用Raft共识算法进行数据共识。
2.根据权利要求1所述的基于区块链的动态差分隐私联邦学习系统，其特征在于，本地训练步骤为：在联邦学习开始之前，在云端初始化一个全局模型，然后将全局模型的参数发送到所有参与训练的设备上，每个设备都在本地使用自己的训练数据对模型进行训练，生成一个本地模型，并采用梯度下降法求解本地数据上最小损失函数时对应的本地模型参数值。
3.根据权利要求1所述的基于区块链的动态差分隐私联邦学习系统，其特征在于，模型聚合步骤为：设备在本地训练结束后，将本地模型的参数上传到云端进行聚合，聚合方式为：对上传的本地模型参数进行加权平均，生成一个全局模型参数。
4.根据权利要求1所述的基于区块链的动态差分隐私联邦学习系统，其特征在于，全局模型更新步骤为：将生成的全局模型参数发送回所有设备，作为设备下一轮本地训练的初始参数。
5.根据权利要求1所述的基于区块链的动态差分隐私联邦学习系统，其特征在于，梯度剪裁的公式如下：
Figure FDA0004116889450000011
where
Figure FDA0004116889450000012
其中，E为本地模型训练次数，G为先验阈值，wi，t为深度学习训练时的当前梯度，||wi，t||2为当前梯度的L2欧几里得范数，β为本地裁剪因子用于调节Ct的大小，
Figure FDA0004116889450000021
公式如下：
Figure FDA0004116889450000022
Figure FDA0004116889450000023
在第一轮训练时先验知识
Figure FDA0004116889450000024
γ参数表示依据先验梯度来更新当前梯度的权值。
6.根据权利要求1所述的基于区块链的动态差分隐私联邦学习系统，其特征在于，采用差分隐私技术对本地模型参数添加噪声公式如下：
Figure FDA0004116889450000025
加高斯噪声的标准差设置为：
Figure FDA0004116889450000026
其中，
Figure FDA0004116889450000027
C是裁剪参数，
Figure FDA0004116889450000028
由高斯机制得来，T是参数聚合次数，L(L≤T)是参数上传时攻击者获取的次数，最差情况设定为L＝T。
7.根据权利要求1所述的基于区块链的动态差分隐私联邦学习系统，其特征在于，区块链模块将得到的本地模型参数打包为新的一个区块，区块包含了若干本地模型参数以及一个指向前一个区块的指针，形成了一个链式结构。
8.根据权利要求7所述的基于区块链的动态差分隐私联邦学习系统，其特征在于，新生成的区块通过验证以确保区块中的日志不被篡改或删除，若新区块通过验证，则将其添加到区块链的末尾，通过Raft共识算法达到全局数据一致。
9.根据权利要求8所述的基于区块链的动态差分隐私联邦学习系统，其特征在于，新生成的区块验证使用密码学算法进行数字签名和哈希运算。
10.根据权利要求1所述的基于区块链的动态差分隐私联邦学习系统，其特征在于，包括如下步骤：
(1)初始化算法：参与者初始化模型
Figure FDA0004116889450000031
全置为0，参与者N，本地模型训练次数E，迭代次数T，随机调度的采样率为q＝K/N，设一个先验阈值G，本地训练学习率
Figure FDA0004116889450000032
并为N个参与者设置权值参数α1，α2，...，αN；
(2)进行T轮迭代：每一轮迭代随机的从N个服务器中随机的选取K个参与进行训练；
(3)每个参与者训练E轮，每一轮训练进行本地模型梯度裁剪：
Figure FDA0004116889450000033
(4)每个参与者E轮训练结束后，添加高斯噪声并乘以参与者权值，
Figure FDA0004116889450000034
加高斯噪声的标准差设置为：
Figure FDA0004116889450000035
其中，
Figure FDA0004116889450000036
C是裁剪参数，
Figure FDA0004116889450000037
由高斯机制得来，T是参数聚合次数，L(L≤T)是参数上传时攻击者获取的次数，最差情况设定为L＝T，将本地模型发送给区块链模块；
(5)区块链模块将得到的本地模型参数打包为新的一个区块，区块包含了若干本地模型参数以及一个指向前一个区块的指针，形成了一个链式结构；验证新生成的区块以确保区块中的日志不被篡改或删除，若新区块通过验证，则将其添加到区块链的末尾，通过Raft共识算法达到全局数据一致；
(6)Raft算法中的leader节点使用联邦平均算法进行模型聚合，聚合的过程采用平均值方法，即对所有本地模型参数取平均值，得到全局模型参数；
(7)将全局模型传递给参与者，继续上面的训练直至收敛。
CN202310221541.6A 2023-03-09 2023-03-09 一种基于区块链的动态差分隐私联邦学习系统 Pending CN116127519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310221541.6A CN116127519A (zh) 2023-03-09 2023-03-09 一种基于区块链的动态差分隐私联邦学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310221541.6A CN116127519A (zh) 2023-03-09 2023-03-09 一种基于区块链的动态差分隐私联邦学习系统

Publications (1)

Publication Number Publication Date
CN116127519A true CN116127519A (zh) 2023-05-16

Family

ID=86306442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310221541.6A Pending CN116127519A (zh) 2023-03-09 2023-03-09 一种基于区块链的动态差分隐私联邦学习系统

Country Status (1)

Country Link
CN (1) CN116127519A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805082A (zh) * 2023-08-23 2023-09-26 南京大学 一种保护客户端隐私数据的拆分学习方法
CN117574421A (zh) * 2023-10-26 2024-02-20 河海大学 基于梯度动态裁剪的联邦数据分析系统及方法
CN117708868A (zh) * 2023-11-01 2024-03-15 中国人民解放军总医院第四医学中心 基于队列数据脱敏与差分隐私保护的信息保护方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805082A (zh) * 2023-08-23 2023-09-26 南京大学 一种保护客户端隐私数据的拆分学习方法
CN116805082B (zh) * 2023-08-23 2023-11-03 南京大学 一种保护客户端隐私数据的拆分学习方法
CN117574421A (zh) * 2023-10-26 2024-02-20 河海大学 基于梯度动态裁剪的联邦数据分析系统及方法
CN117708868A (zh) * 2023-11-01 2024-03-15 中国人民解放军总医院第四医学中心 基于队列数据脱敏与差分隐私保护的信息保护方法及系统

Similar Documents

Publication Publication Date Title
CN111600707B (zh) 一种在隐私保护下的去中心化联邦机器学习方法
CN116127519A (zh) 一种基于区块链的动态差分隐私联邦学习系统
CN112668044B (zh) 面向联邦学习的隐私保护方法及装置
CN114169010A (zh) 一种基于联邦学习的边缘隐私保护方法
CN106209821B (zh) 基于可信云计算的信息安全大数据管理系统
CN112560059B (zh) 一种基于神经通路特征提取的垂直联邦下模型窃取防御方法
CN107276766B (zh) 一种多授权属性加解密方法
CN113806768A (zh) 基于去中心化安全聚合的轻量级联邦学习隐私保护方法
WO2023159812A1 (zh) 一种ami网络入侵检测的方法、装置及介质
CN113392919A (zh) 基于客户端选择的联邦注意力dbn协同检测系统
CN115484026A (zh) 一种金融科技中基于区块链多维信任体系结构
CN116186780A (zh) 一种协作学习场景下基于噪声扰动的隐私保护方法和系统
CN115168902A (zh) 一种分组可验证的链式隐私保护联邦学习方法及装置
CN117424754A (zh) 针对集群联邦学习攻击的防御方法、终端及存储介质
CN114760023A (zh) 基于联邦学习的模型训练方法、装置及存储介质
CN116541831B (zh) 一种基于区块链与联邦学习的双重防御方法
CN115510472B (zh) 一种面向云边聚合系统的多重差分隐私保护方法及系统
CN117216788A (zh) 基于区块链的联邦学习隐私保护视频场景识别方法
CN116861994A (zh) 一种抗拜占庭攻击的隐私保护联邦学习方法
Li et al. VTFL: A blockchain based vehicular trustworthy federated learning framework
Masuda et al. Model fragmentation, shuffle and aggregation to mitigate model inversion in federated learning
CN109150537A (zh) 一种基于动态Bloom Filter的文件所有权证明方法
CN111581663B (zh) 面向非规则用户的保护隐私的联邦深度学习方法
Li et al. Post quantum blockchain with segregation witness
US20240064016A1 (en) Federated Learning by Parameter Permutation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination