CN112434280B - 一种基于区块链的联邦学习防御方法 - Google Patents
一种基于区块链的联邦学习防御方法 Download PDFInfo
- Publication number
- CN112434280B CN112434280B CN202011494403.8A CN202011494403A CN112434280B CN 112434280 B CN112434280 B CN 112434280B CN 202011494403 A CN202011494403 A CN 202011494403A CN 112434280 B CN112434280 B CN 112434280B
- Authority
- CN
- China
- Prior art keywords
- committee
- noise
- model
- participants
- participant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000007123 defense Effects 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000012795 verification Methods 0.000 claims abstract description 43
- 238000010200 validation analysis Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 231100000572 poisoning Toxicity 0.000 description 5
- 230000000607 poisoning effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/44—Program or device authentication
- G06F21/445—Program or device authentication by mutual authentication, e.g. between devices or programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/02—Payment architectures, schemes or protocols involving a neutral party, e.g. certification authority, notary or trusted third party [TTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Computer Hardware Design (AREA)
- Bioethics (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Technology Law (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种基于区块链的联邦学习防御方法，包括：参与者与权威机构建立智能合约；在册参与者从区块链中获得模型并本地训练，并将训练的本地模型和对应的训练时间上传至对应的区块节点，并广播到区块链中；为每个在册参与者构建噪声委员的噪声委员会，利用噪声委员会为对应的在册参与者的本地模型增加噪声以更新本地模型，获得更新模型；为所有在册参与者构建一个验证委员会，利用验证委员会依据数据集和训练时间验证每个更新模型的预测可靠性和真实性，并将验证通过的更新模型记录在新区块节点；权威机构从区块节点获得所有验证通过的更新模型并聚合，得到聚合模型并广播到区块链中以供下轮在册参与者下载本地训练。
Description
技术领域
本发明属于机器学习、联邦学习以及区块链领域，尤其是涉及一种基于区块链的联邦学习防御方法。
背景技术
谷歌于2016年提出了联邦学习(FL)，用分布式技术解决近年来在深度学习环境下的广泛研究的问题。FL具有两个角色的分布式训练模型:参与设备和中央服务器。节点不上传私有数据，而是本地更新全局模型，然后上传模型更新(或本地梯度更新)。中央服务器收集这些更新，并集成它们以形成一个更新的模型。此训练过程重复，直到训练误差小于预先指定的阈值。近年来，由于FL的隐私性，带来了一个微妙的威胁:以前充当被动数据提供者的客户，现在正积极参与到的培训过程中。这给隐私和安全带来了新的挑战。
对于联邦学习的隐私，目前存在着两个主要挑战：(1)恶意攻击者可以通过中毒攻击来攻击共享模型，其中攻击者提供相应的更新来影响共享模型参数，在保证全局精度的情况下，使模型在某些任务上分类错误。(2)恶意攻击者也可以攻击其他客户的隐私。在信息泄漏攻击中，攻击者假装成一个诚实的客户，试图通过仔细观察和隔离受害者的模型更新来窃取或反匿名化敏感的训练数据；亦或者攻击者使用本地数据训练一个影子模型，对训练数据进行属性的推断。
对这两种攻击的虽然已有许多解决方案：例如针对中毒攻击的神经元检测和范数裁剪防御；使用同态加密技术来保护训练数据隐私不受好奇参数服务器的影响；采用差分隐私来进行模型的保护等；但是这些防御手段却很难同时实现:客户贡献或数据可以公开并可验证，以防止中毒，但这违反了联邦学习的隐私保障。客户的贡献可以是私密的，但是这样会消除攻击者的贡献。许多研究尝试通过集中异常检测、差分隐私或安全聚合分别解决这两种攻击。然而，同时解决这两种攻击的私有分散解决方案是行不通的。
区块链作为一个去中心化的、不可变的、共享的分布式账本和数据库，它有很多优点适用于联邦学习隐私问题的研究。区块链是一个去中心化分布式数据库，在整个区块链网络里的所有节点都有相同的权利，它规避了中心化系统数据可能泄露的弊端，加强了隐私保护和数据的安全。区块链中的信息具有不可篡改和可以追溯的特性，这从一定程度上避免了恶意攻击者对系统的破坏，同时还可以根据此特性进行异常筛选，使系统更加鲁棒。因此，区块链在联邦学习上的应用可以加强数据拥有者数据的隐私性和系统的安全稳定性。
鉴于联邦学习的商业化以及存在上述的安全威胁，研究一种基于区块链的联邦学习防御策略，具有重要的价值与和实践意义。
发明内容
鉴于目前联邦学习存在上述的安全隐患，本发明提供了一种基于区块链的联邦学习防御方法，即基于区块链的多委员信用共识联邦学习方法。该方法针对于水平联邦的场景，使用区块链进行全局模型存储和本地模型更新交换，能够防御中毒攻击和成员推理等攻击。
本发明的技术方案为：
一种基于区块链的联邦学习防御方法，包括以下步骤：
在区块链中为参与者建立对应的区块节点，同时建立一个权威机构节点，参与者与权威机构建立智能合约；
智能合约建立后，在册参与者从区块链中获得模型并本地训练，并将训练的本地模型和对应的训练时间上传至对应的区块节点，并广播到区块链中；
为每个在册参与者构建包含至少2个其他在册参与者作为噪声委员的噪声委员会，噪声委员会为对应的在册参与者的本地模型增加噪声，以更新本地模型，获得更新模型；
为所有在册参与者构建一个包含至少2个在册参与者作为验证委员的验证委员会，验证委员会依据数据集和训练时间验证每个更新模型的预测可靠性和真实性，并将验证通过的更新模型记录在新区块节点；
权威机构从区块节点获得所有验证通过的更新模型并聚合，得到聚合模型并广播到区块链中以供下轮在册参与者下载本地训练。
与现有技术相比，本发明具有的有益效果至少包括：
本发明提供的一种基于区块链的联邦学习防御方法，通过参与者建立噪声委员会，利用噪声委员添加噪声来更新模型，同时为参与者构建验证委员会，利用验证委员验证更细模型的鲁棒性和真实性，实现对攻击者的防御，保护参与者的隐私安全以及聚合模型的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的基于区块链的联邦学习防御方法的流程示意图；
图2为本发明实施例提供的基于区块链的联邦学习防御方法的算法流程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1为本发明实施例提供的基于区块链的联邦学习防御方法的流程示意图；图2为本发明实施例提供的基于区块链的联邦学习防御方法的算法流程示意图。如图1和2所示，实施例提供的基于区块链的联邦学习防御方法包括以下步骤：
步骤1，在区块链中为参与者建立对应的区块节点，同时建立一个权威机构节点，参与者与权威机构建立智能合约。
实施例中，参与者能与权威机构建立智合约时，参与者注册申请时向权威机构缴纳保障费用，该保障费用额度与参与者的本地样本数据量相关，本地样本数据量越大，保障费用额度越小；权威机构为每个注册参与者分配初始信用分数。
假设所有参与者和工作人员都已在区块链注册(即拥有一个有效的账户)，每个人都使用一个对应于单位的地址PK来启动交易。第一步，参与者向可信的机构缴纳一定的保障费用，提出参与本次训练的申请；第二步，权威机构在第0轮生成一个区块节点，它包含记录每个参与者所有权声明的初始事务。假设区块节点由可信的权威发布机构对外发布，并且其中的信息是可靠的。通过分发区块节点，让所有参与者都可以获得公共信息，这个可信任的权威机构只扮演促进和引导培训过程的角色。它不会参与训练过程中任何可能发生信息泄露的步骤。每个加入区块节点的参与者将会获得以下信息：初始模型状态W0、预期迭代次数T、评估标准以及分配给参与者的初始信用分数。
奖励可以作为参与者积极诚实地参与协作训练任务的驱动力，奖励机制的目标是创造和分配价值，使参与者根据其贡献获得奖励或惩罚。通过奖惩机制，保证了在本地模式培训和交易中的诚信，同时也能保证在处理双方交易时的诚信。
在缴纳保证费用时，假设参与者所拥有的样本数据数量不相等，则根据参与者拥有的样本数据量缴纳一定的保障费用给可信机构，第i个参与者缴纳的费用为：
其中Pi为第i个参与者的原始费用，ni为样本数据量，ε为缩放因子(ε>0)。一般来说，一方拥有的样本数据量越大，支付的保证费用就越低。请注意，参与者的更新将会被验证，这意味着如果某参与者提出了无效的更新，该方将受到惩罚，扣除之前缴纳的费用并降低信用分数。
步骤2，智能合约建立后，在册参与者从区块链中获得模型并本地训练，并将训练的本地模型和对应的训练时间上传至对应的区块节点，并广播到区块链中。
实施例中，智能合约建立成功参与者被称为在册参与者。每个在册参与者从对应的区块节点中下载模型，并采用本地样本数据训练模型，得到本地模型，然后，将生成本地模型和对应的训练时间上传至对应的区块节点，并广播到区块链中。在不失通用性的前提下，所有参与者可以对AlexNet进行训练，且可以采用SGD算法更新本地模型。
步骤3，为每个在册参与者构建噪声委员会，该噪声委员会为对应的在册参与者的本地模型增加噪声，以更新本地模型，获得更新模型。
在所有在册参与者提交完本地模型更新后，将会从在册参与者中选举出噪声委员会与验证委员会。在分散的培训环境中，这次选举极大地影响了聚合模型的表现，因为委员会决定将哪些本地更新汇总起来。值得注意的是，噪声委员会与验证委员会的成员各不相同，随机选取，以防止恶意参与者进行勾结，损害训练。
实施例中，为每个在册参与者都构建一个噪声委员会，每个噪声委员会包括至少2个其他在册参与者作为噪声委员。噪声委员会对于每一个在册参与者来说是不同的。每一个在册参与者通过使用一致性哈希算法以及不同的初始哈希值来获取一个独一无二的噪声委员会，哈希值的计算是随机但是全局可验证的。
为每个在册参与者构建噪声委员会的过程为：
每个在册参与者将自己的私钥和对应的区块节点的初始哈希值作为参数传递给一个可核查的随机函数，经随机函数计算得到新哈希值，每个在册参与者的私钥是不一样的，随机函数的输出也是不一样的，这样得到了对于每个在册参与者的唯一新哈希值，该新哈希值与信用相乘后按照比例分配映射到哈希环上，采用一致性哈希算法为每个在册参与者选择多个其他在册参与者作为噪声委员，组成噪声委员会。这个通过随机函数得到的新哈希值同样需要和该参与者的公钥一起形成一个证明，允许其他的参与者来验证这个噪声委员会选举的正确性。
一致性哈希算法一致的散列协议来确定每个迭代的角色。与转盘赌注的特性相似，每转动一次轮盘选出一位噪声委员，若是选到已经成为委员的在册参与者，则重复这个过程，直到得到了大小合适的噪声委员会。实施例中，动态为每个参与者构建一个区块节点，由于一个区块节点在创建前，恶意参与者不能预测这个区块节点的未来状态，因此无法推测一致的哈希输出和执行攻击。
当噪声委员会构建好之后，噪声委员会为对应的在册参与者的本地模型增加噪声的过程为：
在册参与者对应的噪声委员会包含的每个噪声委员会随机生成一个高斯噪声分布，通过去除较大噪声点和较小噪声点来优化每个高斯噪声分布，获得优化高斯噪声分布，将所有优化高斯噪声分布的平均数添加到本地模型的模型参数上，以更新本地模型获得更新模型，更新模型被记录入新区块节点，其中较大噪声点和较小噪声点通过设定阈值来筛选，设置一个噪声上限和噪声下限，将大于噪声上限的较大噪声点去除，将小于噪声下限的较小噪声点去除，来优化高斯噪声分布。
实施例中，假设对第k个更新的本地模型参数wk，采用高斯噪声机制添加噪声，则噪声委员会中第i位委员生成扰动模型wk i有：对于任意的δ∈(0,1)，有噪声Y～N(0,σ2)满足(ε，δ)-DP：
其中S为任意集合的输出，D,D′为两个相差很小的数据集，P为概率函数，表示输出的概率，σ所要添加噪声的方差，Δf为定义为数据集D,D′两者之间最大的距离，wk i为扰动模型，ε定义为隐私预算，用于控制生成噪声的大小，一般而言，ε越小，隐私保护越好，但是加入的噪声就越大，数据可用性就下降，δ为松弛项，由于在实际的应用中需要很多的隐私预算，为了算法的实用性，引入松弛项进行一个弥补。
则最后集合噪声委员中所有委员会提交的噪声：
其中，Yk为各个噪声委员会的噪声，m为噪声委员数量，a为所需裁剪的比例，在收集完委员提供的噪声后，委员会将除去其中的m x a个数量的噪声(a∈(0,1))，并求出其余的平均数，作为最终添加的噪声。之后随机由一个委员进行添加，并将添加噪声的更新模型上传到新的区块中。
步骤4，为所有在册参与者构建一个验证委员会，验证委员会依据数据集和训练时间验证每个更新模型的预测可靠性和真实性，并将验证通过的更新模型记录在新区块节点。
实施例中，验证委员会的验证委员是固定的，每一轮选举一次，而非像噪声委员会那样是针对于每个客户端。选举的方法同噪声委员会的方法，实施例中，为所有在册参与者构建一个包含至少2个在册参与者作为验证委员的验证委员会。
为所有在册参与者构建一个验证委员会的过程为：
每个在册参与者将自己的私钥和对应的区块节点的初始哈希值作为参数传递给一个可核查的随机函数，经随机函数计算得到新哈希值，该新哈希值与信用相乘后按照比例分配映射到哈希环上，采用一致性哈希算法为选择多个其他在册参与者作为验证委员，组成验证委员会。
实施例中，验证委员会依据数据集和训练时间验证每个更新模型的预测可靠性和真实性包括：
验证委员会中的每个验证委员从区块节点中下载更新模型，并利用本地样本集对更新模型进行测试，比较测试结果与本地标签以判断更新模型的预测可靠性，同时比较测试时间与上传的训练时间以判断更新模型的真实性，验证通过的更新模型被记录在新区块节点中。
实施例中，假设将所有区块节点数表示为N，其中验证委员会成员数为M。当验证委员会从区块节点上下载了更新后，验证委员会将对每个在册参与者的更新模型进行验证，用自己本地样本集进行测试。此外，还将通过上传的本地训练时间来验证更新模型更新的可靠性和真实性，其中训练时间与数据量成正比。为了保证本地训练时间的真实性，考虑采用Intel的SGX技术下的运行时间证明方法。在验证计算时间之后，可以确定没有懒惰的工作者，或者不训练数据的攻击者。
显然，当且仅当多个委员会成员合作时，聚合才会接受恶意更新。然后，这是一个非常困难的情况，因为，委员会选举时已经除去许多可能的恶意参与者。而那些信用分数高的参与者进行攻击的代价也将进一步放大。只有在验证成功上限多个正常更新后，打包协议才会启动，将这些更新发送给可信的权威发布机构。
在验证阶段，针对所有验证通过的更新模型，验证委员还采用Multi-KRUM算法筛选一些验证通过的更新模型上传区块链被记录在新区块节点。具体地，验证委员计算一个分数s(i)，它是第i个更新模型到最近R-f-2更新模型的欧氏距离之和。
由:s(i)＝∑i→j||(Δwi+∑i,k-1ξi,k-1)-(Δwj+∑j,k-1ξj,k-1)||2
其中Δw为更新的模型，k为所有更新的数量，∑i→j表示(Δwj+∑j,k-1ξj,k-1)中R-f-2个最接近(Δwi+∑i,k-1ξi,k-1)的更新，(Δwj+∑j,kξj,k)为第j个更新加上j与其余更新的Krum距离ξ。由于每个维度中的平均参数向量将是接近从均值分布提取的所有参数向量，如果只考虑到最近的R-f-2个节点的距离，那么与平均向量有显著差异的参数集将被忽略。因此分数最低那些将会被选择，之后验证委员对所有被接受的更新使用它的公钥进行签名。
步骤5，权威机构从区块节点获得所有验证通过的更新模型并聚合，得到聚合模型并广播到区块链中以供下轮在册参与者下载本地训练。
实施例中，权威机构从区块节点获得所有验证通过的更新模型并聚合一旦可信的权威机构开始执行聚合，权威机构就不再接受来自模型更新。接下来，可信的权威机构调用聚合模型函数来聚合合格参与者中的所有本地模型参数，以更新当前的聚合模型。一切达标以后，任务发布程序从可信的权威机构获取当前聚合模型，然后为下一轮迭代训练做准备。
步骤6，权威机构为参与者分发奖励。
任务发布者验证参与者的身份和数据资源信息，然后合法的参与者可以成为工作者候选者。可以选择信用分数高于阈值的候选人作为参与者。在这里，任务发布程序可以根据自己的安全级别需求自行设置不同的信用阈值。所有任务发布程序都可以为当前的联合学习任务选择相同的信誉阈值，而不会丧失通用性。信用阈值也可以通过一些基于候选参与者信用分数的平均值和标准差的统计度量来调整。具有分散化和防践踏性质的信用区块链是建立在预先选定的矿商上的公共分类账，它将信用分数记录到数据块中。即使发生坏，数据块中的这些信用分数也是透明的、防践踏的证据。
实施例中，权威机构为噪声委员会和验证委员会分配奖励池，噪声委员和验证委员从奖励池中均分获得分配奖励值。
实施例中，噪声委员和验证委员完成添加噪声和验证任务后将会获得额外的奖励，并提升信用分数。若第i个委员完成了委员任务，则其噪声委员、验证委员的奖励分别为：
其中βv,βn分别代表本轮委员会的总奖池，mv,mn分别代表噪声委员会与验证委员会成员数量，因此对于同一个委员会的成员来说，他们得到的奖励是相同的。
实施例中，权威机构为每个通过验证的更新模型对应的在册参与者分配奖励。在聚合完成之后，权威机构将会对每个正常的在册参与者(认为通过验证的更新模型对应的在册参与者为正常参与者)进行奖励。每个正常参与者的奖励为ΔValue＝Value*(IV1 β+IV2)，其中，Value是基础奖励分数，IV1表示参与者发信用分数的IV值，β为缩放因子，IV2为样本数据量的IV值。
实施例中，权威机构为每个在册参与者调整信用分数，针对通过验证的更新模型对应的在册参与者增加信用分数，对未通过验证的更新模型对应的在册参与者减少信用分数。
具体实施中，首先根据各个参与者的信用分数，将其划分为高信用、中等信用、低信用三种类别，计算参与者在每个信用类别中对应目标变量所占的正常和违约的人数，即正常参与者占全部正常的比例(正常的分布)和违约参与者(将没有通过验证的更新模型对应的参与者为违约参与者)占所有违约的比例(违约的分布)，然后计算每个类别对应的证据权重(WOE)，衡量分类程度。
其中，Bi，Bt，Gi，Gt，分别为第i类中恶意参与者数量、总的恶意参与者数量、第i类中正常参与者数量、总的正常参与者数量。
接着计算信息价值IV，用于衡量自变量对目标变量的影响程度。对于每一个分组i，能计算出WOEi。对于分组i，也会有一个对应的IVi值：
整个变量的IV值，把各分组的IVi相加：
数据量的IV值的计算方式与信用分数的IV值的计算方式相同。
对于信用分数的奖励，第i个正常参与者第j轮的信用分数为其中IV1为第i个正常参与者第j轮信用分数的IV值，IV2为第i个正常参与者第j轮参与训练的数据量的IV值，Δβi,j为缩放因子，用于权衡信用分数增加的大小。
同理，第i个恶意参与者第j轮的信用分数为其中，其中IV1为第i个恶意参与者第j轮信用分数的IV值，IV2为第i个恶意参与者第j轮参与训练的数据量的IV值，Δβi,j为缩放因子，用于权衡信用分数减少的大小。
上述实施例提供的基于区块链的联邦学习防御方法，能够防御成员推理攻击，中毒攻击等问题；通过区块链的授权机制、身份管理等，可以将互不可信的用户作为参与者整合到一起，建立一个安全可信的合作机制；联邦学习的模型参数等信息可以存储在区块链中，保证了模型参数的安全性与可靠性，便于回溯；区块链节点有限的存储能力与区块链较大存储需求之间的矛盾，一直是限制区块链发展的瓶颈所在。本发明通过联邦学习对原始数据的处理，仅存储计算结果，可以降低存储资源的开销；本发明基于联邦学习对区块链交易的认证计算、传输通信等进行优化，可以提升区块链的运行效率。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于区块链的联邦学习防御方法，其特征在于，包括以下步骤：
在区块链中为参与者建立对应的区块节点，同时建立一个权威机构节点，参与者与权威机构建立智能合约；
智能合约建立后，在册参与者从区块链中获得模型并本地训练，并将训练的本地模型和对应的训练时间上传至对应的区块节点，并广播到区块链中；
为每个在册参与者构建包含至少2个其他在册参与者作为噪声委员的噪声委员会，噪声委员会为对应的在册参与者的本地模型增加噪声，以更新本地模型，获得更新模型；
为所有在册参与者构建一个包含至少2个在册参与者作为验证委员的验证委员会，验证委员会依据数据集和训练时间验证每个更新模型的预测可靠性和真实性，并将验证通过的更新模型记录在新区块节点；
权威机构从区块节点获得所有验证通过的更新模型并聚合，得到聚合模型并广播到区块链中以供下轮在册参与者下载本地训练；
为每个在册参与者构建噪声委员会的过程为：每个在册参与者将自己的私钥和对应的区块节点的初始哈希值作为参数传递给一个可核查的随机函数，经随机函数计算得到新哈希值，该新哈希值与信用相乘后按照比例分配映射到哈希环上，采用一致性哈希算法为每个在册参与者选择多个其他在册参与者作为噪声委员，组成噪声委员会；
为所有在册参与者构建一个验证委员会的过程为：每个在册参与者将自己的私钥和对应的区块节点的初始哈希值作为参数传递给一个可核查的随机函数，经随机函数计算得到新哈希值，该新哈希值与信用相乘后按照比例分配映射到哈希环上，采用一致性哈希算法为选择多个其他在册参与者作为验证委员，组成验证委员会。
2.如权利要求1所述的基于区块链的联邦学习防御方法，其特征在于，噪声委员会为对应的在册参与者的本地模型增加噪声的过程为：
在册参与者对应的噪声委员会包含的每个噪声委员会随机生成一个高斯噪声分布，通过去除较大噪声点和较小噪声点来优化每个高斯噪声分布，获得优化高斯噪声分布，将所有优化高斯噪声分布的平均数添加到本地模型的模型参数上，以更新本地模型获得更新模型，更新模型被记录入新区块节点，其中较大噪声点和较小噪声点通过设定阈值来筛选。
3.如权利要求1所述的基于区块链的联邦学习防御方法，其特征在于，验证委员会依据数据集和训练时间验证每个更新模型的预测可靠性和真实性包括：
验证委员会中的每个验证委员从区块节点中下载更新模型，并利用本地样本集对更新模型进行测试，比较测试结果与本地标签以判断更新模型的预测可靠性，同时比较测试时间与上传的训练时间以判断更新模型的真实性，验证通过的更新模型被记录在新区块节点中。
4.如权利要求1所述的基于区块链的联邦学习防御方法，其特征在于，参与者能与权威机构建立智合约时，参与者注册申请时向权威机构缴纳保障费用，该保障费用额度与参与者的本地样本数据量相关，本地样本数据量越大，保障费用额度越小；权威机构为每个注册参与者分配初始信用分数。
5.如权利要求1所述的基于区块链的联邦学习防御方法，其特征在于，权威机构为噪声委员会和验证委员会分配奖励池，噪声委员和验证委员从奖励池中均分获得分配奖励值。
6.如权利要求4所述的基于区块链的联邦学习防御方法，其特征在于，权威机构为每个通过验证的更新模型对应的在册参与者分配奖励。
7.如权利要求5所述的基于区块链的联邦学习防御方法，其特征在于，权威机构为每个在册参与者调整信用分数，针对通过验证的更新模型对应的在册参与者增加信用分数，对未通过验证的更新模型对应的在册参与者减少信用分数。
8.如权利要求4所述的基于区块链的联邦学习防御方法，其特征在于，还包括：针对所有验证通过的更新模型，验证委员还采用Multi-KRUM算法筛选一些验证通过的更新模型上传区块链被记录在新区块节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011494403.8A CN112434280B (zh) | 2020-12-17 | 2020-12-17 | 一种基于区块链的联邦学习防御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011494403.8A CN112434280B (zh) | 2020-12-17 | 2020-12-17 | 一种基于区块链的联邦学习防御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112434280A CN112434280A (zh) | 2021-03-02 |
| CN112434280B true CN112434280B (zh) | 2024-02-13 |
Family
ID=74696665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011494403.8A Active CN112434280B (zh) | 2020-12-17 | 2020-12-17 | 一种基于区块链的联邦学习防御方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112434280B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704810B (zh) * | 2021-04-01 | 2024-04-26 | 华中科技大学 | 一种面向联邦学习的跨链共识方法及系统 |
| CN113240524B (zh) * | 2021-05-10 | 2024-05-14 | 深圳前海微众银行股份有限公司 | 联邦学习系统中账户的异常检测方法、装置及电子设备 |
| CN113282418A (zh) * | 2021-06-03 | 2021-08-20 | 光大科技有限公司 | 一种模型聚合处理方法及装置 |
| CN113239635A (zh) * | 2021-06-16 | 2021-08-10 | 中国银行股份有限公司 | 一种模型评价方法及装置 |
| CN113408746B (zh) * | 2021-06-22 | 2023-03-14 | 深圳大学 | 一种基于区块链的分布式联邦学习方法、装置及终端设备 |
| CN113627619B (zh) * | 2021-07-07 | 2024-06-07 | 南京理工大学 | 基于伪噪声序列的保障联邦学习系统的公平性的方法 |
| CN113794675B (zh) * | 2021-07-14 | 2023-04-07 | 中国人民解放军战略支援部队信息工程大学 | 基于区块链和联邦学习的分布式物联网入侵检测方法及系统 |
| CN113657608A (zh) * | 2021-08-05 | 2021-11-16 | 浙江大学 | 一种激励驱动的区块链联邦学习方法 |
| CN114330757A (zh) * | 2021-12-02 | 2022-04-12 | 刘维炜 | 一种群体学习方法、装置、区块链节点及存储介质 |
| CN114496274A (zh) * | 2021-12-08 | 2022-05-13 | 杭州趣链科技有限公司 | 基于区块链的拜占庭鲁棒联邦学习方法和应用 |
| CN114372588A (zh) * | 2021-12-30 | 2022-04-19 | 远光软件股份有限公司 | 一种共识节点的选取方法及相关装置 |
| CN114338045B (zh) * | 2022-01-14 | 2023-06-23 | 中国人民解放军战略支援部队信息工程大学 | 基于区块链和联邦学习的情报数据安全共享方法及系统 |
| CN114154202B (zh) * | 2022-02-09 | 2022-06-24 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的风控数据探查方法和系统 |
| CN115082180A (zh) * | 2022-05-07 | 2022-09-20 | 北京航空航天大学 | 一种基于区块链与联邦学习的信用行为存证方法与系统 |
| CN114822863B (zh) * | 2022-05-12 | 2023-03-24 | 浙江大学 | 基于联邦学习系统的医疗数据分析方法、设备和存储介质 |
| CN117114145A (zh) * | 2022-05-13 | 2023-11-24 | 北京字节跳动网络技术有限公司 | 用于模型性能评估的方法、装置、设备和存储介质 |
| CN114726551B (zh) * | 2022-06-06 | 2022-08-16 | 广州优刻谷科技有限公司 | 一种基于联邦管理的元宇宙信用评估方法及装置 |
| CN114844653B (zh) * | 2022-07-04 | 2022-09-30 | 湖南密码工程研究中心有限公司 | 基于联盟链的可信联邦学习方法 |
| CN115795518B (zh) * | 2023-02-03 | 2023-04-18 | 西华大学 | 一种基于区块链的联邦学习隐私保护方法 |
| CN116541831B (zh) * | 2023-07-05 | 2023-10-13 | 南京信息工程大学 | 一种基于区块链与联邦学习的双重防御方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723946A (zh) * | 2020-06-19 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 一种应用于区块链的联邦学习方法及装置 |
| CN111966698A (zh) * | 2020-07-03 | 2020-11-20 | 华南师范大学 | 一种基于区块链的可信联邦学习方法、系统、装置及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685501B (zh) * | 2018-12-04 | 2023-04-07 | 暨南大学 | 基于区块链激励机制下可审计的隐私保护深度学习平台建设方法 |
-
2020
- 2020-12-17 CN CN202011494403.8A patent/CN112434280B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723946A (zh) * | 2020-06-19 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 一种应用于区块链的联邦学习方法及装置 |
| CN111966698A (zh) * | 2020-07-03 | 2020-11-20 | 华南师范大学 | 一种基于区块链的可信联邦学习方法、系统、装置及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 深度学习模型的中毒攻击与防御综述;陈晋音;邹健飞;苏蒙蒙;张龙源;;信息安全学报(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112434280A (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112434280B (zh) | 一种基于区块链的联邦学习防御方法 | |
| CN112348204B (zh) | 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法 | |
| Chen et al. | A survey on blockchain systems: Attacks, defenses, and privacy preservation | |
| Jøsang et al. | Challenges for robust trust and reputation systems | |
| CN109726887A (zh) | 基于区块链的移动众包数据数据采集与处理系统及方法 | |
| CN108964926A (zh) | 异构联盟系统中基于二层区块链的用户信任协商建立方法 | |
| Siddarth et al. | Who watches the watchmen? a review of subjective approaches for sybil-resistance in proof of personhood protocols | |
| Alzahrani et al. | A new product anti‐counterfeiting blockchain using a truly decentralized dynamic consensus protocol | |
| Panda et al. | Bitcoin and blockchain: history and current applications | |
| WO2020165256A1 (en) | System and method for evaluating useful work | |
| CN114363043B (zh) | 一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法 | |
| CN116405187A (zh) | 基于区块链的分布式节点入侵态势感知方法 | |
| Haddaji et al. | Federated learning with blockchain approach for trust management in IoV | |
| CN114358907A (zh) | 一种基于区块链联邦学习的金融风险预测方法和系统 | |
| CN117540376A (zh) | 一种支持抗投毒和推理攻击的联邦学习方法及系统 | |
| CN115796261A (zh) | 一种基于区块链的轻量级分组共识的联邦学习方法 | |
| Mazzocca et al. | TruFLaaS: Trustworthy federated learning as a service | |
| Huang et al. | ZkRep: A privacy-preserving scheme for reputation-based blockchain system | |
| CN117171786A (zh) | 一种抵御投毒攻击的去中心化联邦学习方法 | |
| Ali et al. | Incentive-driven federated learning and associated security challenges: A systematic review | |
| Boualouache et al. | On-demand security framework for 5GB vehicular networks | |
| Sudha Sadasivam | A critical review on using blockchain technology in education domain | |
| Singh | Blockchain and IOT integrated Smart City Architecture | |
| Wilczyński et al. | Blockchain networks–Security aspects and consensus models | |
| CN114844653B (zh) | 基于联盟链的可信联邦学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |