CN114726868A - 一种面向分布式网络的分级分片区块链架构 - Google Patents
一种面向分布式网络的分级分片区块链架构 Download PDFInfo
- Publication number
- CN114726868A CN114726868A CN202210173114.0A CN202210173114A CN114726868A CN 114726868 A CN114726868 A CN 114726868A CN 202210173114 A CN202210173114 A CN 202210173114A CN 114726868 A CN114726868 A CN 114726868A
- Authority
- CN
- China
- Prior art keywords
- block chain
- nodes
- blockchain
- node
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000012634 fragment Substances 0.000 title abstract description 4
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims abstract description 5
- 230000002787 reinforcement Effects 0.000 claims abstract description 5
- 230000003993 interaction Effects 0.000 claims abstract 4
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000012795 verification Methods 0.000 claims 1
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/1082—Resource delivery mechanisms involving incentive schemes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1059—Inter-group management mechanisms, e.g. splitting, merging or interconnection of groups
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向分布式网络的分级分片区块链架构,包括:一个上层区块链系统、若干个下层区块链系统及与区块链节点通信的本地设备;将系统中区块链的节点进行纵向分级,横向分片,减小每个区块链系统的规模;面向分布式网络,无需可信第三方或中心节点即保证数据的安全性;通过强化学习动态选择节点构成上层区块链与下层区块链系统,无需跨链技术即可实现区块链系统的节点信息交互;结合了联邦学习与区块链的特点,系统中所有节点、设备共享学习模型,保证了学习高效、数据安全。本发明利用区块链实现联邦学习的去中心化,替代中心服务器,同时利用智能合约为参与联邦学习的设备提供奖励,从而激励节点参与联邦学习,促进节点共享学习模型。
Description
技术领域
本发明属于区块链技术领域、联邦学习技术领域和强化学习技术领域,尤其涉及一种分级分片区块链架构方法。
背景技术
区块链作为一种近年来出现的发展迅猛的分布式账本技术,具有分布式数据存储、点对点传输、数据透明且不可篡改的特点,极大地保障了交易的安全性和公平性。它作为一种分布式账本,通过哈希算法与非对称加密算法对数据的加密和区块结构中的时间戳等技术,以共识机制为信任基础实现安全可信的交易。然而区块链想要真正做到更深度化的应用和普及,关键就是要提高交易的吞吐量和交易的速度。
联邦学习是一种加密的分布式机器学习技术,参与各方可以在不共享原始数据的基础上,交换加密的学习模型,使多方共享学习模型,并针对本地数据进一步更新本地模型。然而交换模型的过程是借助中央服务器来完成的,因此如果中央服务器被攻击或出现故障,则会导致更新的全局模型出现问题。另外,传统的联邦学习没有给本地节点提供与其所具备的数据样本量成正比的奖励,这可能导致节点不愿意参与联邦学习的过程。事实上,具有大量数据样本的节点在消耗更多计算能力和/或时间的同时,对全局模型训练的贡献更大,因此它们很有可能不愿意与具有较少数据样本量的节点合作并共享。
发明内容
本发明的目的是提出一种面向分布式网络的分级分片区块链架构,解决了现有技术中联邦学习需要借助中心服务器从而易被攻击或出现故障的问题,以及联邦学习无奖励机制,易导致数据模型更新多的节点不愿参与联邦学习共享学习模型。
为了解决上述技术问题,本发明提出将区块链与联邦学习相结合,利用区块链实现联邦学习的去中心化,替代中心服务器,同时利用智能合约为参与联邦学习的设备提供奖励,从而激励节点参与联邦学习,促进节点共享学习模型。
该方法包含以下步骤:
步骤1:与该分级分片区块链架构中的节点所通信的设备开始获取本地数据,并计算本地模型更新,获得最小局部模型更新。
步骤2:设备将最小局部模型上传到下层区块链网络中与其关联的节点,同时从节点那里获得与其数据样本数量成正比的奖励。
步骤3:节点按到达顺序交叉验证从其关联设备或其他节点收到的本地模型更新。
步骤4:经过验证的本地模型更新会记录在节点的候选区块中,直到达到区块大小或最大等待时间,进行共识。
步骤5:完成共识后,生成一个记录已验证的本地模型更新的区块,将生成的存储本地模型更新汇总的块添加到所在区域的区块链,并进行广播,从该区块链网络获得奖励。
步骤6:每个区域的下层区块链均选出节点代表,参与上层区块链的共识,并在上层区块链中与其他区域的下层区块链节点代表进行交互,共识得到各区域的本地模型更新。
步骤7:节点代表参与该节点所在区域的下层区块链共识,将学习模型反馈给其所在区域的下层区块链并由设备下载。
步骤8:每个设备从最后生成的区块计算全局模型更新,作为下一个局部模型更新的输入。
附图说明
图1为依照本发明实施例的面向分布式网络的分级分片区块链架构工作流程图
图2为依照本发明实施例的分级分片区块链物理架构图
图3为依照本发明实施例的分级分片区块链逻辑架构图
具体实施方式
为了使本发明的实施例的目的、技术方案更加清楚,下面将结合附图,对本发明的技术方案进行清楚、完整的描述。
参见图1所示的面向分布式网络的分级分片区块链架构工作流程图,包括:
步骤1:与该分级分片区块链架构中的节点所通信的设备开始获取本地数据,并计算本地模型更新,获得最小局部模型更新。
在一实施例中,每个本地设备都有与之进行通信的下层区块链节点,本地设备在车辆网场景下可以是具有一定计算能力的车辆,在无人机群场景下可以是无人机等,而节点可以是基站、服务器等通信设备。
系统运行之初,初始化学习模型,本地设备在单位时间内收集本地数据,每台运行的本地设备均根据所收集到的本地数据计算出本地模型更新,称为最小局部模型更新。
步骤2:设备将最小局部模型更新上传到下层区块链网络中与其关联的节点,同时从节点那里获得与其数据样本数量成正比的奖励。
在一实施例中,本地设备将单位时间内获取的本地数据计算出的最小局部模型更新、样本数量N、训练时间T,上传到与其通信的下层区块链网络中的节点,节点根据其样本数量N分配给本地设备奖励R=kN,k为常数。以此激励本地设备共享本地模型更新。
步骤3:节点按到达顺序交叉验证从其关联设备或其他节点收到的本地模型更新。
在一实施例中,节点之间交叉验证防止出现恶意节点干扰模型真实性结果。而传统联邦学习中本地模型训练更新的时间与其样本大小成正比,因此若本地计算时间T与数据样本大小N成比例,则可以验证本地模型更新的真实性。
步骤4:经过验证的本地模型更新会记录在节点的候选区块中,直到达到区块大小或最大等待时间,进行共识。
在一实施例中,通过验证的本地模型更新将会记录在区块中准备共识,未通过验证的本地模型更新则会直接删除。
步骤5:完成共识后,生成一个记录已验证的本地模型更新的区块,将生成的存储本地模型更新汇总的块添加到所在区域的区块链,并进行广播,从该区块链网络获得奖励。
在一实施例中,将真实的本地模型更新进行共识后,在该节点所在区域的下层区块链系统中生成新区块,并在此系统进行广播,同时该节点获得一定奖励,以此激励节点共享本地模型更新。
步骤6:每个区域的下层区块链均选出节点代表,参与上层区块链的共识,并在上层区块链中与其他区域的下层区块链节点代表进行交互,共识得到各区域的本地模型更新。
在一实施例中,每个区域的下层区块链利用强化学习动态选择出适用于当前场景下的节点,如:时延低、资费少、空余带宽多等特点的节点,这些节点代表进行共识从而进一步构成上层区块链,使各区域下层区块链中所记录的本地模型更新交互,共享所有训练模型。
步骤7:节点代表参与该节点所在区域的下层区块链共识,将学习模型反馈给其所在区域的下层区块链并由设备下载。
在一实施例中,上层区块链的所有节点参与其所在区域的下层区块链共识,将其在上层区块链中得到的系统中所有本地模型更新反馈给其所在区域的下层区块链中的其他节点。至此,本系统中的所有区块链节点均获得系统中所有本地模型更新。
步骤8:每个设备从最后生成的区块计算全局模型更新,作为下一个局部模型更新的输入。
在一实施例中,系统中的每个本地设备从所在的下层区块链系统最后生成的区块中下载所有本地模型更新,并计算全局模型,将该全局模型作为下一个阶段局部模型更新的输入。
综上,该架构的全局模型更新是在每个设备上本地计算的。因此,在全局模型更新过程中,少数节点和设备的故障不会影响其他设备的本地全局模型更新,从而确保了整体联邦学习的稳定性。
Claims (6)
1.一种面向分布式网络的分级分片区块链架构,其特征在于,包括:
所述架构包括一个所述上层区块链系统、若干个所述下层区块链系统及与所述区块链节点通信的本地设备;
所述将系统中区块链的节点进行纵向分级,横向分片,减小每个区块链系统的规模;
所述面向分布式网络,无需可信第三方或中心节点即可保证数据的安全性;
通过强化学习动态选择节点构成上层区块链与下层区块链系统,无需跨链技术即可实现区块链系统的节点信息交互;
结合了联邦学习与区块链的特点,系统中所有节点、设备共享学习模型,保证了学习高效、数据安全。
2.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构,其特征在于,所述架构包括一个上层区块链系统和若干个下层区块链系统,区块链系统中的节点由具有一定计算能力的基站或服务器设备构成,上层区块链由下层区块链的节点构成,下层区块链系统之间不直接进行信息交互。
3.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构,其特征在于,所述区块链架构将所有区块链节点进行纵向分级,即在每个下层区块链系统中,选择若干节点组成上层区块链;同时,所述区块链架构将下层区块链节点进行横向分片,减少每一个区块链系统中的节点数量,从而提升区块链的交易验证速度,增加区块链的吞吐量。
4.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构,其特征在于,所述在分布式网络中进行应用,引入区块链使系统去中心化,使分布式网络无需可信第三方或中心节点即可保证数据真实,增加了系统的安全性。
5.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构,其特征在于,所述无需跨链技术即可实现区块链系统的节点信息交互,包括以下步骤:
(1)下层每个区块链系统之间各自进行共识,节点得到所在区块链的全部交易数据;
(2)通过强化学习在每个下层区块链系统中,选择出若干个场景所需特征的节点代表进行二次共识,从而组成上层区块链,各区域的参与组成上层区块链的节点代表得到系统中所有区域的全部交易数据;
(3)节点代表与所在区域的下层区块链的其他节点进行第三次共识,从而使下层区块链的其他节点获得系统中的全部交易数据;至此,系统中所有节点均得到了所述架构中的全部交易数据。
6.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构,其特征在于,所述应用于联邦学习中,使联邦学习无需借助中央服务器进行数据交换,防止中央服务器被攻击而导致的故障,同时使已经上链的学习模型不可篡改,提升联邦学习的安全性;引入区块链中的智能合约增加奖励机制,激励节点共享学习模型;包括以下步骤:
(1)所述架构中的每个设备都会计算本地模型更新并将其上传到下层区块链网络中与其关联的节点,同时从节点那里获得与其数据样本数量成正比的奖励;
(2)节点交换并验证所有本地模型更新是否真实,然后进行共识;
(3)节点完成共识后,会生成一个记录已验证的本地模型更新的区块,将生成的存储本地模型更新汇总的块添加到所在区域的区块链,进行广播,并从区块链网络获得奖励;
(4)下层区块链的每个区域选出节点代表,参与上层区块链的共识,并在上层区块链中与其他区域的下层区块链节点代表进行交互,共识后计算得到新的全局模型,再参与该节点所在区域的下层区块链共识,将学习模型反馈给其所在区域的下层区块链并由设备下载;
(5)每个设备从最后生成的块计算全局模型更新,这是下一个局部模型更新的输入。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210173114.0A CN114726868B (zh) | 2022-02-24 | 2022-02-24 | 一种面向分布式网络的分级分片区块链架构 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210173114.0A CN114726868B (zh) | 2022-02-24 | 2022-02-24 | 一种面向分布式网络的分级分片区块链架构 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114726868A true CN114726868A (zh) | 2022-07-08 |
CN114726868B CN114726868B (zh) | 2024-03-08 |
Family
ID=82235370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210173114.0A Active CN114726868B (zh) | 2022-02-24 | 2022-02-24 | 一种面向分布式网络的分级分片区块链架构 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114726868B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615015A (zh) * | 2018-12-18 | 2019-04-12 | 北京工业大学 | 一种基于区块链智能合约与机器学习的数据预处理方法 |
US20190332955A1 (en) * | 2018-04-30 | 2019-10-31 | Hewlett Packard Enterprise Development Lp | System and method of decentralized machine learning using blockchain |
CN111507601A (zh) * | 2020-04-12 | 2020-08-07 | 北京工业大学 | 基于深度强化学习与区块链共识的资源优化分配决策方法 |
CN111931242A (zh) * | 2020-09-30 | 2020-11-13 | 国网浙江省电力有限公司电力科学研究院 | 一种数据共享方法以及应用其的计算机设备及可读存储介质 |
CN112765677A (zh) * | 2020-12-30 | 2021-05-07 | 杭州溪塔科技有限公司 | 一种基于区块链的联邦学习方法、装置和系统 |
CN113408746A (zh) * | 2021-06-22 | 2021-09-17 | 深圳大学 | 一种基于区块链的分布式联邦学习方法、装置及终端设备 |
CN113794675A (zh) * | 2021-07-14 | 2021-12-14 | 中国人民解放军战略支援部队信息工程大学 | 基于区块链和联邦学习的分布式物联网入侵检测方法及系统 |
US20210399896A1 (en) * | 2018-12-28 | 2021-12-23 | The Flowchain Foundation Limited | Hybrid blockchain architecture with computing pool |
-
2022
- 2022-02-24 CN CN202210173114.0A patent/CN114726868B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190332955A1 (en) * | 2018-04-30 | 2019-10-31 | Hewlett Packard Enterprise Development Lp | System and method of decentralized machine learning using blockchain |
CN109615015A (zh) * | 2018-12-18 | 2019-04-12 | 北京工业大学 | 一种基于区块链智能合约与机器学习的数据预处理方法 |
US20210399896A1 (en) * | 2018-12-28 | 2021-12-23 | The Flowchain Foundation Limited | Hybrid blockchain architecture with computing pool |
CN111507601A (zh) * | 2020-04-12 | 2020-08-07 | 北京工业大学 | 基于深度强化学习与区块链共识的资源优化分配决策方法 |
CN111931242A (zh) * | 2020-09-30 | 2020-11-13 | 国网浙江省电力有限公司电力科学研究院 | 一种数据共享方法以及应用其的计算机设备及可读存储介质 |
CN112765677A (zh) * | 2020-12-30 | 2021-05-07 | 杭州溪塔科技有限公司 | 一种基于区块链的联邦学习方法、装置和系统 |
CN113408746A (zh) * | 2021-06-22 | 2021-09-17 | 深圳大学 | 一种基于区块链的分布式联邦学习方法、装置及终端设备 |
CN113794675A (zh) * | 2021-07-14 | 2021-12-14 | 中国人民解放军战略支援部队信息工程大学 | 基于区块链和联邦学习的分布式物联网入侵检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
邱凯;司鹏搏;曾涛;李萌;张延华;: "基于RFID和区块链的预制构件管理系统", 电子技术应用, no. 09, 6 September 2020 (2020-09-06) * |
Also Published As
Publication number | Publication date |
---|---|
CN114726868B (zh) | 2024-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109151013B (zh) | 基于联盟区块链的物流业信息平台 | |
CN111625593B (zh) | 基于区块链的数据处理方法、装置、计算机设备 | |
CN112765677B (zh) | 一种基于区块链的联邦学习方法、装置和系统 | |
US20230316273A1 (en) | Data processing method and apparatus, computer device, and storage medium | |
CN110569246B (zh) | 区块链节点信息同步方法、装置、计算机设备及存储介质 | |
CN110557420B (zh) | 一种独立子链的运行方法及系统 | |
CN111314067A (zh) | 区块存储方法、装置、计算机设备及存储介质 | |
CN115378604B (zh) | 一种基于信誉值机制的边缘计算终端设备的身份认证方法 | |
CN113194126B (zh) | 一种基于区块链的横向联邦学习模型构建方法 | |
CN112069550B (zh) | 一种基于智能合约方式的电子合同存证系统 | |
CN114139203B (zh) | 基于区块链的异构身份联盟风险评估系统、方法及终端 | |
CN109840769B (zh) | 基于区块链的存证方法及装置、系统与存储介质 | |
CN112966048A (zh) | 一种区块链共识方法 | |
CN114862397B (zh) | 一种基于双链结构的双解耦区块链分布式方法 | |
CN113626875A (zh) | 一种区块链分片赋能的知识图谱文件存储方法 | |
Sohrabi et al. | On the scalability of blockchain systems | |
CN116595094A (zh) | 基于区块链的联邦学习激励方法、装置、设备和存储介质 | |
CN111970370B (zh) | 基于面向通信设备体系的多层区块链协议拓展系统及方法 | |
CN109377434A (zh) | 一种基于区块链的共享单车管理系统 | |
CN112699406A (zh) | 基于区块链的医疗影像数据安全管理方法和系统 | |
CN114726868A (zh) | 一种面向分布式网络的分级分片区块链架构 | |
CN114449000B (zh) | 一种车联网数据共识优化存储方法及存储系统 | |
Wang et al. | Consensus algorithm based on verifiable randomness | |
CN112702159B (zh) | 一种基于区块链的线上专家评分方法和系统 | |
CN113810185A (zh) | 一种抗陷门泄露的链上数据修复系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |