CN113468264A - 一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置 - Google Patents
一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置 Download PDFInfo
- Publication number
- CN113468264A CN113468264A CN202110552252.5A CN202110552252A CN113468264A CN 113468264 A CN113468264 A CN 113468264A CN 202110552252 A CN202110552252 A CN 202110552252A CN 113468264 A CN113468264 A CN 113468264A
- Authority
- CN
- China
- Prior art keywords
- poisoning
- model parameters
- node
- model
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 231100000572 poisoning Toxicity 0.000 title claims abstract description 162
- 230000000607 poisoning effect Effects 0.000 title claims abstract description 162
- 230000007123 defense Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012216 screening Methods 0.000 claims abstract description 69
- 230000002776 aggregation Effects 0.000 claims abstract description 37
- 238000004220 aggregation Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 28
- 238000012795 verification Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 244000141353 Prunus domestica Species 0.000 claims description 4
- 239000002574 poison Substances 0.000 claims 4
- 231100000614 poison Toxicity 0.000 claims 4
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000013138 pruning Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000009966 trimming Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003999 initiator Substances 0.000 description 3
- 238000004900 laundering Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Virology (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置，包括：(1)筛选节点通过引入模型相似度对比方法来实现可信用户判断并且划分出可疑中毒用户，在聚合前期进行安全性审查提升框架的运算效率。(2)利用区块链记账功能，对参与方历史模型进行检测和信息查证，为检测节点提供历史查证信息，减轻实时检测的计算压力，同时保留攻击溯源的合法证据。(3)参与方的模型进行模型修剪降低模型复杂度，降低模型上链的通信成本。(4)超级聚合节点是通过投票产生且不固定，去除固定的中心化设置，实现总体的一个安全共享框架。
Description
技术领域
本发明涉及区块链、联邦学习技术领域，具体涉及一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置。
背景技术
机器学习大规模运用于现代的数据分析和数据处理的场景中，神经网络在各个传统的行业都取得了优越的性能，受到工业界和学术界大规模研究和使用。依赖庞大数据量的机器学习的发展带来很多分布式计算的方法的研究，传统将数据进行简单集中统一化处理的方式被一些法规视作泄露了数据隐私，例如GDPR中规定禁止将用户数据直接用于商用交换。
2016年，谷歌提出保护数据隐私的联邦学习方法，这种方法通过数据拥有方之间相互交换本地的模型来进行迭代训练，保证了原始数据不出本地用户，从而尽可能保护数据隐私的安全性。常见的联邦学习框架都假设有一个安全性极高的服务器，现实场景中却很难找到这种可信的第三方。
现有技术中引入区块链使用可变的超级聚合节点来替代可信的服务器，使得整个联邦学习框架具有去中心化的特点。然而这种去中心化的联邦学习框架中容易潜在恶意的攻击者，这种攻击者可能是一个或多个参与训练客户端。攻击者上传中毒模型至服务器来进行联邦学习模型中毒。
现有研究中，这种中毒攻击可以有两种方式进行客户端模型中毒，一种方式是数据中毒，在训练数据中添加一些特定的水印或是反转数据的标签进行联邦训练；另一种方式是通过直接修改模型激活值来直接达到模型中毒的目的。由于引入了区块链技术，这种去中心化的联邦学习框架难以进行中毒防御及中毒攻击溯源工作，中毒攻击给去中心化的分布式框架带来很大的安全威胁。
区块链技术的核心就是去中心化的分布式账本，这项分布式账本具有防篡改、可追溯等特征。区块链可以分为公有链、联盟链、私有链三类。其中联盟链采用了一种混合的组网机制，对于网络内的节点具有部分的控制权。联盟链保留了公有链的部分透明、公开、防篡改等特征，并且具备权限管理、身份认证等特点，受到广泛青睐，主要侧重于区块链在数据安全、可信认证等方面的应用。
鉴于联邦学习在工业界和商业界都有大规模部署和应用，确保联合训练模型的安全性是重中之重，因此迫切需要提出一种针对联邦学习中潜在中毒攻击的防御及中毒溯源框架保证去中心化的联邦学习框架的安全性。
发明内容
鉴于上述，本发明实施例提供了一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置，实现联邦学习过程中的中毒防御和中毒溯源，以获得高鲁棒性的联邦学习模型。
第一方面，一种基于区块链的中毒防御和中毒溯源的联邦学习方法，包括以下步骤：
参与方身份信息注册与认证，初始化筛选节点、检测节点以及超级聚合节点，绑定参与方与矿工节点，绑定矿工节点与筛选节点；
参与方采用本地数据进行模型训练得到模型参数并对模型参数修剪后，将修剪后模型参数上传至绑定的矿工节点；
矿工节点对修剪后模型参数加密后上传至绑定的筛选节点；
筛选节点依据接收的修剪后模型参数之间的相似度筛选出可疑中毒模型参数，并将可疑中毒模型参数上传至检测节点，将剩下的可信模型参数上传至检测节点；
检测节点对可疑中毒模型参数进行中毒检测，当确认为中毒模型参数时，记录中毒模型参数到账本中，并公布在区块链中，当确认为可信模型参数时，反馈可信模型参数给筛选节点用于下次迭代时上传至超级聚合节点；
超级聚合节点对接收的可信模型参数进行聚合后得到全局模型参数下发至各参与方以进行下一轮训练。
第二方面，本发明实施例提供了一种基于区块链的中毒防御和中毒溯源的联邦学习装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的基于区块链的中毒防御和中毒溯源的联邦学习方法。
实施例提供的上述技术方案具有的有益效果至少包括：(1)筛选节点通过引入模型相似度对比方法来实现可信用户判断并且划分出可疑中毒用户，在聚合前期进行安全性审查提升框架的运算效率。(2)利用区块链记账功能，对参与方历史模型进行检测和信息查证，为检测节点提供历史查证信息，减轻实时检测的计算压力，同时保留攻击溯源的合法证据。(3)参与方的模型进行模型修剪降低模型复杂度，降低模型上链的通信成本。(4)超级聚合节点是通过投票产生且不固定，去除固定的中心化设置，实现总体的一个安全共享框架。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是一实施例中基于区块链的中毒防御和中毒溯源的联邦学习方法的框架流程图；
图2是一实施例中基于区块链的中毒防御和中毒溯源的联邦学习方法的方框流程图；
图3是一实施例中超级聚合节点投票选取示意图；
图4是一实施例中超级聚合节点随机选择选取示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
针对联邦学习中存在潜在的中毒防御及中毒攻击溯源的安全性问题，实施例提供了一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置，主要技术构思为：针对结合区块链来实现去中心化的联邦学习框架对潜在的中毒攻击进行防御及溯源，引入中毒攻击防御技术及检测技术，利用区块链的记账功能来进行实现。具体来说，整个阶段通过设计参与方身份注册及身份验证、矿工节点，筛选节点，检测节点及超级聚合节点进行模型聚合，来解决去中心化的联邦学习框架防御潜在中毒攻击及中毒溯源的问题。由于区块链具有历史账本信息，且具有不可篡改性，后续可以为中毒模型溯源提供模型合法证据。
图1是一实施例中基于区块链的中毒防御和中毒溯源的联邦学习方法的框架流程图；图2是一实施例中基于区块链的中毒防御和中毒溯源的联邦学习方法的方框流程图。如图1所示，实施例提供的基于区块链的中毒防御和中毒溯源的联邦学习方法包括以下步骤：
S101，参与方身份信息注册与认证，初始化筛选节点、检测节点以及超级聚合节点，绑定参与方与矿工节点，绑定矿工节点与筛选节点。
联邦学习任务主要是分布在边缘端的多个参与方利用本地样本对相同的模型结构进行训练以优化模型参数，然后中心端对所有边缘端的模型参数进行聚合再优化，以进行联邦学习，该联邦学习在电信领域中，可以用于汇聚智能设备的模型更新，在保护数据隐私的前提下，整合生成公共的AI模型，提高模型的泛化能力；在金融领域中，金融机构合作者共建反洗钱模型，利用各自的反洗钱样本进行本地训练，在不泄露本地数据的前提下优化一个共同的反洗钱模型；在医疗健康领域，各医院使用各自的患者就诊记录进行本地模型训练，聚合各方参数后共同训练出更有效的疾病预测模型。实施例中，在联邦学习之前，需要进行初始化阶段，主要包括联合训练协议发布、参与方身份信息的安全注册与认证，训练模型结构发布，筛选节点、检测节点以及超级聚合节点的初始化，节点之间的初始化匹配，即绑定参与方与矿工节点，绑定矿工节点与筛选节点。
实施例中，联合训练协议规定数字签名加密处理方式，例如可以使用哈希加密来进行通讯信息加密保护。联合训练协议还规定了矿工节点与参与方的随机匹配、矿工节点与筛选节点的智能匹配。联合训练协议还规定多数投票机制来保证系统对拜占庭错误的容错，避免因为少数矿工节点的计算设备的宕机导致整个框架的失效，同时加快交易运行时间。此外，协议中包括对后门检测第三方引入的信用机制。
实施例中，参与方的身份信息包括身份ID、本地数据量、设备算力、设备通信能力。基于这些身份信息，注册阶段，参与方注册中参与方公布数据量大和设备算力以及体现设备通信能力的通讯数据传输率。验证阶段，通过对身份ID来进行身份校核。
初始化阶段，联合训练发起者I统计联合训练参与方数量N，选定矿工节点数量N、选定筛选节点数量m，然后基于选定的参与方、矿工节点以及筛选节点进行节点之间的匹配工作。在进行参与方与矿工直接之间的匹配绑定时，联合训练发起者根据参与方的本地数据量以及网络信息分配矿工节点，矿工节点负责对接参与方收集模型参数Mi(θ)。默认矿工数量和参与方数量为1：1，即一个矿工节点绑定一个参与方，实际可以根据矿工节点数量来调整负责矿工节点与参与方对接数量的比例，即可以使1个矿工节点绑定多个参与方，进而负责多个参与方的模型参数收集和处理工作。
在进行矿工节点与筛选节点的匹配绑定时，联合训练发起者划分实现联邦学习任务的矿工团队，为每个筛选节点绑定至少2个矿工节点。默认选定筛选节点数量和矿工节点数量比例为1：10，即1个筛选节点负责10个矿工节点上传的模型参数的筛选工作，实际中可以根据筛选节点空闲数量及矿工计算效率来调整对接比例。
一个实施例中，依据区块链中矿工节点的算力和历史信用评分筛选出筛选节点和超级聚合节点，超级聚合节点的算力和历史信用评分高于筛选节点。筛选节点主要用于对绑定的矿工节点上传的模型参数进行是否中毒的筛选，处理的数据量相对于超级聚合节点小，对于筛选节点的算力要求不高，历史信用评分也不高。超级聚合节点主要用于对上传的所有模型参数进行聚合得到全局模型，处理的数据量相对于筛选节点大，对于超级聚合节点的算力要求高，历史信用评分也高。
具体筛选节点和超级聚合节点的筛选过程为：算力题节点向算法池中发布算力测试题，候选节点从算力池中获取测试题在本地设备进行测试，完成测试后将测试结果发送到运算池。算力题节点发布题目答案，矿工从算力池下载运算结果并且结合历史信用评分来对候选节点进行匿名投票，投票结果在投票池中进行公开透明化公布。根据投票结果选择筛选节点和超级聚合节点。
S102，参与方采用本地数据进行模型训练得到模型参数并对模型参数修剪后，将修剪后模型参数上传至绑定的矿工节点。
参与联邦学习的所有参与方采用本地数据Di对发布的统一模型结构进行默认学习率下的训练以获得模型参数，并修剪模型参数后上传至矿工节点。实施例可以采用Top-K机制修剪模型参数。实施例中，参与方录每层模型神经元激活值，将神经元激活值按照从大到小的顺序进行排序，默认选取前60％的激活值进行保留，其余激活值自动设置为0，实际中选取激活值的比例可以根据参与方本地模型要求复杂度Ω以及通讯数据传输速率来进行调整。
为了提升模型参数的上传安全性，参与方在上传修剪后模型参数之前与绑定的矿工节点进行签名认证，签名认证通过后，参与方上传修剪后模型参数至矿工节点。具体地，参与方采用sign＝memodr对模型头部信息m按照参数e和r加密形成第一签名sign，并将第一签名sign、参数e和r上传至矿工节点，矿工节点根据接收的参数e和r采用sign'＝memodr对模型头部信息m进行第二次签名得到第二签名sign'，当sign'＝sign时，签名通过，完成签名检验，然后实现链路密文数据的安全传输。其中，密文数据C＝Memodr，其中，M为模型参数。
S103，矿工节点对修剪后模型参数加密后上传至绑定的筛选节点。
为了提升模型参数上传的安全性，在可信执行环境下，通过使用哈希加密机制对参与方身份ID及其模型参数进行加密操作，发送加密后模型参数至对应的筛选节点。筛选节点将对接收的所有模型参数进行记录入账。
S104，筛选节点依据接收的修剪后模型参数之间的相似度筛选出可疑中毒模型参数，并将可疑中毒模型参数上传至检测节点，将剩下的可信模型参数上传至检测节点。
一个实施例中，筛选节点依据接收的修剪后模型参数之间的相似度筛选出可疑中毒模型参数包括：
筛选节点计算两个修剪后模型参数之间的相似度，依此确定每个修剪后模型参数的相似度，筛选出相似度最低的修剪后模型参数作为候选可疑中毒模型参数，然后判断当候选可疑中毒模型参数与次低相似度的修剪后模型参数之间的相似度小于相似度阈值时，认为候选可疑中毒模型参数为可疑中毒模型参数。
优选地，实施例中可以将修剪后模型参数与其他所有修剪后模型参数之间的相似度的均值或者总值作为每个修剪后模型参数的相似度。在获得每个修剪模型参数的相似度之后，进行相似度排序，将排序最低的修剪后模型参数作为候选可疑中毒模型参数，为了提升可疑中毒模型参数筛选的准确性，还需要根据自适应更细的相似度阈值对可疑中毒模型参数进行确认，具体地，计算候选可疑中毒模型参数与相似度排序倒数第二的次序相似度对应的修剪后模型参数的相似度，当该相似度小于相似度阈值时，认为候选可疑中毒模型参数为可疑中毒模型参数。
一个实施例中，筛选节点依据接收的修剪后模型参数之间的相似度筛选出可疑中毒模型参数包括：
筛选节点计算两个修剪后模型参数之间的相似度，筛选出相似度最大的两个修剪后模型参数作为候选可疑中毒模型参数，计算候选可疑中毒模型参数与其他所有修剪后模型参数之间的相似度之和或均值作为可疑中毒模型参数的相似度，当相似度小于相似度阈值时，认为候选可疑中毒模型参数为可疑中毒模型参数。
该实施例中，依据模型参数之间的相似度筛选出两个候选可疑中毒模型参数后再依据相似度阈值分别对每个可疑中毒模型参数的相似度进行判断来确定可疑中毒模型参数。实施例中，可以采用以下公式计算两个修剪后模型参数之间的相似度La,b：
根据设定的相似度阈值σ来筛选确认可疑中毒模型参数的公式为：
其中，Wi a为参与方a的第i层模型参数矩阵，Wj b为参与方b的第j层模型参数矩阵，模型结构层数为n层，La为参与方a的可疑中毒模型参数的相似度。
实施例中，为了提升筛选可疑中毒模型参数的准确性，在迭代联邦学习的过程中对相似度阈值进行实时更新，优选地，相似度阈值根据前几轮可疑中毒模型参数的相似度实时更新。假设设定轮次为3次，对于当前轮次来说，以邻接的前3次确定的可疑中毒模型参数的相似度的均值作为更新的相似度阈值。
经过上述方式筛选获得可疑中毒模型参数后，对可疑中毒模型参数加密后上传至检测节点。实施例中，在可信执行环境下，通过使用哈希加密机制对可疑中毒模型参数对应的可疑参与方身份ID进行加密，为检测节点发送可疑参与方身份ID，经过签名验证后，上传加密后的可疑中毒模型参数至检测节点。
经过上述方式筛选在获得可疑中毒模型参数同时，剩下模型参数为可信模型参数。实施例中，使用哈希加密机制对可信参与方的身份ID及其模型参数进行加密操作，发送加密后模型参数至超级聚合节点。
S105，检测节点对可疑中毒模型参数进行中毒检测。
实施例中，检测节点对可疑中毒模型参数进行中毒检测。检测节点根据筛选节点秘密发布的可疑参与方的身份ID查询筛选节点账本信息。利用现有的中毒检测技术来进行模型中毒检测，实际中，检测节点可以为第三方模型安全检测机构。
检测节点还通过查询历史账本信息，使用检测技术来对接收的可疑中毒模型参数的安全性进行验证，当经过安全性验证后，认为可疑中毒模型参数为可信模型参数，此时，将可信模型参数对应的可信参与方(良性用户)秘密公布给筛选节点，筛选节点在下次训练过程中将可信参与方的当前轮次的可信模型参数上传给超级聚合节点进行模型聚合。
当检测节点确定可疑中毒模型参数对应的参与方为中毒参与方时，且通过历史账本信息对可疑中毒模型参数的安全性进行验证不通过时，认为可疑中毒模型参数为中毒模型参数，记录中毒模型参数到历史账本中，并公布在区块链中。各参与方从区块链中获得中毒模型参数并利用本地数据进行并行化验证，验证确认为中毒模型参数时，将对应的参与方列入联合训练黑名单。实施例中，利用历史账本信息进行中毒攻击溯源，后续对中毒模型参数可以进行公开验证，成为潜在中毒模型公布证据。
S106，超级聚合节点对接收的可信模型参数进行聚合后得到全局模型参数下发至各参与方以进行下一轮训练。
超级聚合节点在收到可信模型参数之后，通过聚合所有可信模型参数得到全局模型参数，此轮联邦学习结束，并将全局模型参数下发至参与方以进行下一轮训练，如此迭代直至全局模型误差达到标准误差范围之内停止迭代。
上述实施例提供的基于区块链的中毒防御和中毒溯源的联邦学习方法，联邦学习初始阶段训练参与方在本地数据集训练本地模型，完成训练后使用Top-K机制来对模型进行修剪，并上传模型至指定的矿工节点，减小参与方和矿工节点之间的通信代价，提高通信的效率。矿工节点收集到上传的模型参数，对模型参数进行加密处理后上传至分配的筛选节点。筛选节点收集完成附近矿工上传的模型参数后，启动模型参数过滤机制，并将模型参数记录历史账本，上传可疑模型参数至检测节点进行后门检测。聚合阶段，根据不同节点之间的算力，矿工投票选出多个超级聚合节点，每次聚合随机选取一个超级聚合节点进行模型聚合。超级聚合节点将筛选节点上传的模型信息进行聚合，并实时接收检测节点的状态反馈。整个过程可以解决去中心化的联邦学习框架存在潜在的中毒攻击进行防御及中溯源的问题。由于区块链具有历史账本信息，且具有不可篡改性，后续可以为中毒模型溯源提供模型证据。
实施例还提供了一种基于区块链的中毒防御和中毒溯源的联邦学习装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于区块链的中毒防御和中毒溯源的联邦学习方法。
具体应用时，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现基于区块链的中毒防御和中毒溯源的联邦学习的步骤。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于区块链的中毒防御和中毒溯源的联邦学习方法，其特征在于，包括以下步骤：
参与方身份信息注册与认证，初始化筛选节点、检测节点以及超级聚合节点，绑定参与方与矿工节点，绑定矿工节点与筛选节点；
参与方采用本地数据进行模型训练得到模型参数并对模型参数修剪后，将修剪后模型参数上传至绑定的矿工节点；
矿工节点对修剪后模型参数加密后上传至绑定的筛选节点；
筛选节点依据接收的修剪后模型参数之间的相似度筛选出可疑中毒模型参数，并将可疑中毒模型参数上传至检测节点，将剩下的可信模型参数上传至检测节点；
检测节点对可疑中毒模型参数进行中毒检测，当确认为中毒模型参数时，记录中毒模型参数到账本中，并公布在区块链中，当确认为可信模型参数时，反馈可信模型参数给筛选节点用于下次迭代时上传至超级聚合节点；
超级聚合节点对接收的可信模型参数进行聚合后得到全局模型参数下发至各参与方以进行下一轮训练。
2.如权利要求1所述的基于区块链的中毒防御和中毒溯源的联邦学习方法，其特征在于，参与方的身份信息包括身份ID、本地数据量、设备算力、设备通信能力。
3.如权利要求1所述的基于区块链的中毒防御和中毒溯源的联邦学习方法，其特征在于，依据区块链中矿工节点的算力和历史信用评分筛选出筛选节点和超级聚合节点，超级聚合节点的算力和历史信用评分高于筛选节点；
为每个筛选节点绑定至少2个矿工节点。
4.如权利要求1所述的基于区块链的中毒防御和中毒溯源的联邦学习方法，其特征在于，参与方在上传修剪后模型参数之前与绑定的矿工节点进行签名认证，签名认证通过后，参与方上传修剪后模型参数至矿工节点。
5.如权利要求1所述的基于区块链的中毒防御和中毒溯源的联邦学习方法，其特征在于，所述筛选节点依据接收的修剪后模型参数之间的相似度筛选出可疑中毒模型参数包括：
筛选节点计算两个修剪后模型参数之间的相似度，依此确定每个修剪后模型参数的相似度，筛选出相似度最低的修剪后模型参数作为候选可疑中毒模型参数，然后判断当候选可疑中毒模型参数与次低相似度的修剪后模型参数之间的相似度小于相似度阈值时，认为候选可疑中毒模型参数为可疑中毒模型参数。
6.如权利要求5所述的基于区块链的中毒防御和中毒溯源的联邦学习方法，其特征在于，将修剪后模型参数与其他所有修剪后模型参数之间的相似度的均值或者总值作为每个修剪后模型参数的相似度。
7.如权利要求1所述的基于区块链的中毒防御和中毒溯源的联邦学习方法，其特征在于，所述筛选节点依据接收的修剪后模型参数之间的相似度筛选出可疑中毒模型参数包括：
筛选节点计算两个修剪后模型参数之间的相似度，筛选出相似度最大的两个修剪后模型参数作为候选可疑中毒模型参数，计算候选可疑中毒模型参数与其他所有修剪后模型参数之间的相似度之和或均值作为可疑中毒模型参数的相似度，当相似度小于相似度阈值时，认为候选可疑中毒模型参数为可疑中毒模型参数。
8.如权利要求5或7所述的基于区块链的中毒防御和中毒溯源的联邦学习方法，其特征在于，所述相似度阈值根据前几轮可疑中毒模型参数的相似度实时更新。
9.如权利要求1所述的基于区块链的中毒防御和中毒溯源的联邦学习方法，其特征在于，各参与方从区块链中获得中毒模型参数并利用本地数据进行并行化验证，验证确认为中毒模型参数时，将对应的参与方列入联合训练黑名单。
10.一种基于区块链的中毒防御和中毒溯源的联邦学习装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～9任一项所述的基于区块链的中毒防御和中毒溯源的联邦学习方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110552252.5A CN113468264B (zh) | 2021-05-20 | 2021-05-20 | 一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110552252.5A CN113468264B (zh) | 2021-05-20 | 2021-05-20 | 一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113468264A true CN113468264A (zh) | 2021-10-01 |
| CN113468264B CN113468264B (zh) | 2024-02-20 |
Family
ID=77871074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110552252.5A Active CN113468264B (zh) | 2021-05-20 | 2021-05-20 | 一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468264B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114580009A (zh) * | 2022-01-13 | 2022-06-03 | 吉林省元依科技有限公司 | 基于联邦学习的区块链数据管理方法、系统及存储介质 |
| CN115442103A (zh) * | 2022-08-29 | 2022-12-06 | 成都安恒信息技术有限公司 | 一种群体学习抗毒化攻击方法、系统、设备及存储介质 |
| CN115758350A (zh) * | 2022-11-09 | 2023-03-07 | 中央财经大学 | 抗投毒攻击的聚合防御方法、聚合装置及电子设备 |
| CN115865642A (zh) * | 2023-03-03 | 2023-03-28 | 中南大学 | 一种招募可信节点完成计算任务的方法和装置 |
| WO2023197259A1 (en) * | 2022-04-14 | 2023-10-19 | Huawei Technologies Co., Ltd. | Devices and methods for providing a federated learning model |
| CN116957110A (zh) * | 2023-09-20 | 2023-10-27 | 中国科学技术大学 | 一种基于联盟链的可信联邦学习方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103853980A (zh) * | 2014-02-28 | 2014-06-11 | 珠海市君天电子科技有限公司 | 安全提示方法及装置 |
| US20190116136A1 (en) * | 2017-10-18 | 2019-04-18 | International Business Machines Corporation | Cognitive virtual detector |
| CN109743182A (zh) * | 2019-01-21 | 2019-05-10 | 中国联合网络通信集团有限公司 | 基于区块链的智能合约核准方法及系统 |
| CN110138751A (zh) * | 2019-04-25 | 2019-08-16 | 东华大学 | 抵御位置数据中毒攻击的车联网位置数据处理方法和装置 |
| CN111431695A (zh) * | 2020-03-24 | 2020-07-17 | 武汉理工大学 | 一种基于区块链的软件定义战术网络节点信誉的管理方法 |
| CN111539033A (zh) * | 2020-07-08 | 2020-08-14 | 南京金宁汇科技有限公司 | 一种在区块链中实现数据计算可信的方法及系统 |
| CN112540926A (zh) * | 2020-12-17 | 2021-03-23 | 杭州趣链科技有限公司 | 一种基于区块链的资源分配公平的联邦学习方法 |
| US20210089604A1 (en) * | 2019-09-20 | 2021-03-25 | International Business Machines Corporation | Systems and methods for maintaining data privacy in a shared detection model system |
-
2021
- 2021-05-20 CN CN202110552252.5A patent/CN113468264B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103853980A (zh) * | 2014-02-28 | 2014-06-11 | 珠海市君天电子科技有限公司 | 安全提示方法及装置 |
| US20190116136A1 (en) * | 2017-10-18 | 2019-04-18 | International Business Machines Corporation | Cognitive virtual detector |
| CN109743182A (zh) * | 2019-01-21 | 2019-05-10 | 中国联合网络通信集团有限公司 | 基于区块链的智能合约核准方法及系统 |
| CN110138751A (zh) * | 2019-04-25 | 2019-08-16 | 东华大学 | 抵御位置数据中毒攻击的车联网位置数据处理方法和装置 |
| US20210089604A1 (en) * | 2019-09-20 | 2021-03-25 | International Business Machines Corporation | Systems and methods for maintaining data privacy in a shared detection model system |
| CN111431695A (zh) * | 2020-03-24 | 2020-07-17 | 武汉理工大学 | 一种基于区块链的软件定义战术网络节点信誉的管理方法 |
| CN111539033A (zh) * | 2020-07-08 | 2020-08-14 | 南京金宁汇科技有限公司 | 一种在区块链中实现数据计算可信的方法及系统 |
| CN112540926A (zh) * | 2020-12-17 | 2021-03-23 | 杭州趣链科技有限公司 | 一种基于区块链的资源分配公平的联邦学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王文通;胡宁;刘波;刘欣;李树栋;: "DNS安全防护技术研究综述", 软件学报, no. 07 * |
| 雷凯;黄硕康;方俊杰;黄济乐;谢英英;彭波;: "智能生态网络：知识驱动的未来价值互联网基础设施", 应用科学学报, no. 01 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114580009A (zh) * | 2022-01-13 | 2022-06-03 | 吉林省元依科技有限公司 | 基于联邦学习的区块链数据管理方法、系统及存储介质 |
| WO2023197259A1 (en) * | 2022-04-14 | 2023-10-19 | Huawei Technologies Co., Ltd. | Devices and methods for providing a federated learning model |
| CN115442103A (zh) * | 2022-08-29 | 2022-12-06 | 成都安恒信息技术有限公司 | 一种群体学习抗毒化攻击方法、系统、设备及存储介质 |
| CN115442103B (zh) * | 2022-08-29 | 2024-05-31 | 成都安恒信息技术有限公司 | 一种群体学习抗毒化攻击方法、系统、设备及存储介质 |
| CN115758350A (zh) * | 2022-11-09 | 2023-03-07 | 中央财经大学 | 抗投毒攻击的聚合防御方法、聚合装置及电子设备 |
| CN115758350B (zh) * | 2022-11-09 | 2023-10-24 | 中央财经大学 | 抗投毒攻击的聚合防御方法、聚合装置及电子设备 |
| CN115865642A (zh) * | 2023-03-03 | 2023-03-28 | 中南大学 | 一种招募可信节点完成计算任务的方法和装置 |
| CN115865642B (zh) * | 2023-03-03 | 2023-05-09 | 中南大学 | 一种招募可信节点完成计算任务的方法和装置 |
| CN116957110A (zh) * | 2023-09-20 | 2023-10-27 | 中国科学技术大学 | 一种基于联盟链的可信联邦学习方法及系统 |
| CN116957110B (zh) * | 2023-09-20 | 2024-01-05 | 中国科学技术大学 | 一种基于联盟链的可信联邦学习方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113468264B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113468264B (zh) | 一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置 | |
| CN113467927A (zh) | 一种基于区块链的参与方可信任的联邦学习方法和装置 | |
| CN112714106B (zh) | 一种基于区块链的联邦学习搭便车攻击防御方法 | |
| CN110795755B (zh) | 基于区块链的建筑项目场景式存证不可篡改方法及系统 | |
| Moore et al. | Evaluating the wisdom of crowds in assessing phishing websites | |
| CN113065866B (zh) | 基于区块链的物联网边缘计算系统及方法 | |
| CN110266648A (zh) | 基于联盟链的数据获取方法、服务器及计算机存储介质 | |
| Manoj et al. | A trusted IoT data sharing and secure oracle based access for agricultural production risk management | |
| Jiang et al. | BFLS: Blockchain and Federated Learning for sharing threat detection models as Cyber Threat Intelligence | |
| DE112021002053T5 (de) | Verrauschte Transaktion zum Schutz von Daten | |
| CN114187006A (zh) | 一种基于区块链监管的联邦学习方法 | |
| CN115514762A (zh) | 数据可信共享方法、边缘服务器、终端及系统 | |
| CN115987697A (zh) | 基于事件订阅机制的多层级情报数据共享方法及系统 | |
| Alexander et al. | Cybersecurity, information assurance, and big data based on blockchain | |
| US20230208640A1 (en) | Selective audit process for privacy-preserving blockchain | |
| CN113886817A (zh) | 主机入侵检测方法及装置、电子设备、存储介质 | |
| Purohit et al. | Cyber threat intelligence sharing for co-operative defense in multi-domain entities | |
| Zhang et al. | Visual object detection for privacy-preserving federated learning | |
| CN116828453B (zh) | 基于自适应非线性函数的无人机边缘计算隐私保护方法 | |
| Ottakath et al. | Enhanced computer vision applications with blockchain: A review of applications and opportunities | |
| CN115840965B (zh) | 一种信息安全保障模型训练方法和系统 | |
| Ahmed et al. | CCF based system framework in federated learning against data poisoning attacks | |
| CN116318901A (zh) | 一种融合区块链的隐私和可验证物联网数据聚合方法 | |
| CN102611561B (zh) | 一种对等网计费或统计信息验证的方法和系统 | |
| CN114372092A (zh) | 一种案件协查处理方法、系统、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |