CN114726868B - 一种面向分布式网络的分级分片区块链架构 - Google Patents

一种面向分布式网络的分级分片区块链架构 Download PDF

Info

Publication number
CN114726868B
CN114726868B CN202210173114.0A CN202210173114A CN114726868B CN 114726868 B CN114726868 B CN 114726868B CN 202210173114 A CN202210173114 A CN 202210173114A CN 114726868 B CN114726868 B CN 114726868B
Authority
CN
China
Prior art keywords
blockchain
nodes
block chain
node
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210173114.0A
Other languages
English (en)
Other versions
CN114726868A (zh
Inventor
司鹏搏
王祎玮
张苗
李萌
杨睿哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210173114.0A priority Critical patent/CN114726868B/zh
Publication of CN114726868A publication Critical patent/CN114726868A/zh
Application granted granted Critical
Publication of CN114726868B publication Critical patent/CN114726868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/1082—Resource delivery mechanisms involving incentive schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1059—Inter-group management mechanisms, e.g. splitting, merging or interconnection of groups

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向分布式网络的分级分片区块链架构，包括：一个上层区块链系统、若干个下层区块链系统及与区块链节点通信的本地设备；将系统中区块链的节点进行纵向分级，横向分片，减小每个区块链系统的规模；面向分布式网络，无需可信第三方或中心节点即保证数据的安全性；通过强化学习动态选择节点构成上层区块链与下层区块链系统，无需跨链技术即可实现区块链系统的节点信息交互；结合了联邦学习与区块链的特点，系统中所有节点、设备共享学习模型，保证了学习高效、数据安全。本发明利用区块链实现联邦学习的去中心化，替代中心服务器，同时利用智能合约为参与联邦学习的设备提供奖励，从而激励节点参与联邦学习，促进节点共享学习模型。

Description

一种面向分布式网络的分级分片区块链架构
技术领域
本发明属于区块链技术领域、联邦学习技术领域和强化学习技术领域，尤其涉及一种分级分片区块链架构方法。
背景技术
区块链作为一种近年来出现的发展迅猛的分布式账本技术，具有分布式数据存储、点对点传输、数据透明且不可篡改的特点，极大地保障了交易的安全性和公平性。它作为一种分布式账本，通过哈希算法与非对称加密算法对数据的加密和区块结构中的时间戳等技术，以共识机制为信任基础实现安全可信的交易。然而区块链想要真正做到更深度化的应用和普及，关键就是要提高交易的吞吐量和交易的速度。
联邦学习是一种加密的分布式机器学习技术，参与各方可以在不共享原始数据的基础上，交换加密的学习模型，使多方共享学习模型，并针对本地数据进一步更新本地模型。然而交换模型的过程是借助中央服务器来完成的，因此如果中央服务器被攻击或出现故障，则会导致更新的全局模型出现问题。另外，传统的联邦学习没有给本地节点提供与其所具备的数据样本量成正比的奖励，这可能导致节点不愿意参与联邦学习的过程。事实上，具有大量数据样本的节点在消耗更多计算能力和/或时间的同时，对全局模型训练的贡献更大，因此它们很有可能不愿意与具有较少数据样本量的节点合作并共享。
发明内容
本发明的目的是提出一种面向分布式网络的分级分片区块链架构，解决了现有技术中联邦学习需要借助中心服务器从而易被攻击或出现故障的问题，以及联邦学习无奖励机制，易导致数据模型更新多的节点不愿参与联邦学习共享学习模型。
为了解决上述技术问题，本发明提出将区块链与联邦学习相结合，利用区块链实现联邦学习的去中心化，替代中心服务器，同时利用智能合约为参与联邦学习的设备提供奖励，从而激励节点参与联邦学习，促进节点共享学习模型。
一种面向分布式网络的分级分片区块链架构，包括：所述架构包括一个上层区块链系统、若干个下层区块链系统及与区块链节点通信的本地设备；
面向分布式网络，无需可信第三方或中心节点即可保证数据的安全性；
通过强化学习动态选择节点构成上层区块链与下层区块链系统；
结合联邦学习与区块链的特点，系统中所有节点、设备共享学习模型；
包含以下步骤：
步骤1：与该分级分片区块链架构中的节点所通信的设备开始获取本地数据，并计算本地模型更新，获得最小局部模型更新。
步骤2：设备将最小局部模型上传到下层区块链网络中与其关联的节点，同时从节点那里获得与其数据样本数量成正比的奖励。
步骤3：节点按到达顺序交叉验证从其关联设备或其他节点收到的本地模型更新。
步骤4：经过验证的本地模型更新会记录在节点的候选区块中，直到达到区块大小或最大等待时间，进行共识。
步骤5：完成共识后，生成一个记录已验证的本地模型更新的区块，将生成的存储本地模型更新汇总的块添加到所在区域的区块链，并进行广播，从该区块链网络获得奖励。
步骤6：每个区域的下层区块链均选出节点代表，参与上层区块链的共识，并在上层区块链中与其他区域的下层区块链节点代表进行交互，共识得到各区域的本地模型更新。
步骤7：节点代表参与该节点所在区域的下层区块链共识，将学习模型反馈给其所在区域的下层区块链并由设备下载。
步骤8：每个设备从最后生成的区块计算全局模型更新，作为下一个局部模型更新的输入。
上层区块链系统和下层区块链系统中的节点由具有一定计算能力的基站或服务器设备构成，上层区块链由下层区块链的节点构成，下层区块链系统之间不直接进行信息交互。
所述区块链架构将所有区块链节点进行纵向分级，即在每个下层区块链系统中，选择若干节点组成上层区块链；同时，所述区块链架构将下层区块链节点进行横向分片，减少每一个区块链系统中的节点数量，从而提升区块链的交易验证速度，增加区块链的吞吐量。
在分布式网络中进行应用，引入区块链使系统去中心化。
无需跨链技术实现区块链系统的节点信息交互，包括以下步骤：
(1)下层每个区块链系统之间各自进行共识，节点得到所在区块链的全部交易数据；
(2)通过强化学习在每个下层区块链系统中，选择出若干个场景所需特征的节点代表进行二次共识，从而组成上层区块链，各区域的参与组成上层区块链的节点代表得到系统中所有区域的全部交易数据；
(3)节点代表与所在区域的下层区块链的其他节点进行第三次共识，从而使下层区块链的其他节点获得系统中的全部交易数据。
应用于联邦学习中，引入区块链中的智能合约增加奖励机制，激励节点共享学习模型；包括以下步骤：
(1)所述架构中的每个设备都会计算本地模型更新并将其上传到下层区块链网络中与其关联的节点，同时从节点那里获得与其数据样本数量成正比的奖励；
(2)节点交换并验证所有本地模型更新是否真实，然后进行共识；
(3)节点完成共识后，会生成一个记录已验证的本地模型更新的区块，将生成的存储本地模型更新汇总的块添加到所在区域的区块链，进行广播，并从区块链网络获得奖励；
(4)下层区块链的每个区域选出节点代表，参与上层区块链的共识，并在上层区块链中与其他区域的下层区块链节点代表进行交互，共识得到各区域的本地模型更新，再参与该节点所在区域的下层区块链共识，将学习模型反馈给其所在区域的下层区块链并由设备下载；
(5)每个设备从最后生成的块计算全局模型更新，这是下一个局部模型更新的输入。
附图说明
图1为依照本发明实施例的面向分布式网络的分级分片区块链架构工作流程图
图2为依照本发明实施例的分级分片区块链物理架构图
图3为依照本发明实施例的分级分片区块链逻辑架构图
具体实施方式
为了使本发明的实施例的目的、技术方案更加清楚，下面将结合附图，对本发明的技术方案进行清楚、完整的描述。
参见图1所示的面向分布式网络的分级分片区块链架构工作流程图，包括：
步骤1：与该分级分片区块链架构中的节点所通信的设备开始获取本地数据，并计算本地模型更新，获得最小局部模型更新。
在一实施例中，每个本地设备都有与之进行通信的下层区块链节点，本地设备在车辆网场景下可以是具有一定计算能力的车辆，在无人机群场景下可以是无人机等，而节点可以是基站、服务器等通信设备。
系统运行之初，初始化学习模型，本地设备在单位时间内收集本地数据，每台运行的本地设备均根据所收集到的本地数据计算出本地模型更新，称为最小局部模型更新。
步骤2：设备将最小局部模型更新上传到下层区块链网络中与其关联的节点，同时从节点那里获得与其数据样本数量成正比的奖励。
在一实施例中，本地设备将单位时间内获取的本地数据计算出的最小局部模型更新、样本数量N、训练时间T，上传到与其通信的下层区块链网络中的节点，节点根据其样本数量N分配给本地设备奖励R＝kN，k为常数。以此激励本地设备共享本地模型更新。
步骤3：节点按到达顺序交叉验证从其关联设备或其他节点收到的本地模型更新。
在一实施例中，节点之间交叉验证防止出现恶意节点干扰模型真实性结果。而传统联邦学习中本地模型训练更新的时间与其样本大小成正比，因此若本地计算时间T与数据样本大小N成比例，则可以验证本地模型更新的真实性。
步骤4：经过验证的本地模型更新会记录在节点的候选区块中，直到达到区块大小或最大等待时间，进行共识。
在一实施例中，通过验证的本地模型更新将会记录在区块中准备共识，未通过验证的本地模型更新则会直接删除。
步骤5：完成共识后，生成一个记录已验证的本地模型更新的区块，将生成的存储本地模型更新汇总的块添加到所在区域的区块链，并进行广播，从该区块链网络获得奖励。
在一实施例中，将真实的本地模型更新进行共识后，在该节点所在区域的下层区块链系统中生成新区块，并在此系统进行广播，同时该节点获得一定奖励，以此激励节点共享本地模型更新。
步骤6：每个区域的下层区块链均选出节点代表，参与上层区块链的共识，并在上层区块链中与其他区域的下层区块链节点代表进行交互，共识得到各区域的本地模型更新。
在一实施例中，每个区域的下层区块链利用强化学习动态选择出适用于当前场景下的节点，如：时延低、资费少、空余带宽多等特点的节点，这些节点代表进行共识从而进一步构成上层区块链，使各区域下层区块链中所记录的本地模型更新交互，共享所有训练模型。
步骤7：节点代表参与该节点所在区域的下层区块链共识，将学习模型反馈给其所在区域的下层区块链并由设备下载。
在一实施例中，上层区块链的所有节点参与其所在区域的下层区块链共识，将其在上层区块链中得到的系统中所有本地模型更新反馈给其所在区域的下层区块链中的其他节点。至此，本系统中的所有区块链节点均获得系统中所有本地模型更新。
步骤8：每个设备从最后生成的区块计算全局模型更新，作为下一个局部模型更新的输入。
在一实施例中，系统中的每个本地设备从所在的下层区块链系统最后生成的区块中下载所有本地模型更新，并计算全局模型，将该全局模型作为下一个阶段局部模型更新的输入。
综上，该架构的全局模型更新是在每个设备上本地计算的。因此，在全局模型更新过程中，少数节点和设备的故障不会影响其他设备的本地全局模型更新，从而确保了整体联邦学习的稳定性。

Claims (6)

1.一种面向分布式网络的分级分片区块链架构，其特征在于，包括：
所述架构包括一个上层区块链系统、若干个下层区块链系统及与区块链节点通信的本地设备；
面向分布式网络，无需可信第三方或中心节点即可保证数据的安全性；
通过强化学习动态选择节点构成上层区块链与下层区块链系统；
结合联邦学习与区块链的特点，系统中所有节点、设备共享学习模型；
包含以下步骤：
步骤1：与该分级分片区块链架构中的节点所通信的设备开始获取本地数据，并计算本地模型更新，获得最小局部模型更新；
步骤2：设备将最小局部模型上传到下层区块链网络中与其关联的节点，同时从节点那里获得与其数据样本数量成正比的奖励；
步骤3：节点按到达顺序交叉验证从其关联设备或其他节点收到的本地模型更新；
步骤4：经过验证的本地模型更新会记录在节点的候选区块中，直到达到区块大小或最大等待时间，进行共识；
步骤5：完成共识后，生成一个记录已验证的本地模型更新的区块，将生成的存储本地模型更新汇总的块添加到所在区域的区块链，并进行广播，从该区块链网络获得奖励；
步骤6：每个区域的下层区块链均选出节点代表，参与上层区块链的共识，并在上层区块链中与其他区域的下层区块链节点代表进行交互，共识得到各区域的本地模型更新；
步骤7：节点代表参与该节点所在区域的下层区块链共识，将学习模型反馈给其所在区域的下层区块链并由设备下载；
步骤8：每个设备从最后生成的区块计算全局模型更新，作为下一个局部模型更新的输入。
2.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构，其特征在于，上层区块链系统和下层区块链系统中的节点由具有一定计算能力的基站或服务器设备构成，上层区块链由下层区块链的节点构成，下层区块链系统之间不直接进行信息交互。
3.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构，其特征在于，所述区块链架构将所有区块链节点进行纵向分级，即在每个下层区块链系统中，选择若干节点组成上层区块链；同时，所述区块链架构将下层区块链节点进行横向分片，减少每一个区块链系统中的节点数量，从而提升区块链的交易验证速度，增加区块链的吞吐量。
4.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构，其特征在于，在分布式网络中进行应用，引入区块链使系统去中心化。
5.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构，其特征在于，无需跨链技术实现区块链系统的节点信息交互，包括以下步骤：
(1)下层每个区块链系统之间各自进行共识，节点得到所在区块链的全部交易数据；
(2)通过强化学习在每个下层区块链系统中，选择出若干个场景所需特征的节点代表进行二次共识，从而组成上层区块链，各区域的参与组成上层区块链的节点代表得到系统中所有区域的全部交易数据；
(3)节点代表与所在区域的下层区块链的其他节点进行第三次共识，从而使下层区块链的其他节点获得系统中的全部交易数据。
6.如权利要求1中所述的一种面向分布式网络的分级分片区块链架构，其特征在于，应用于联邦学习中，引入区块链中的智能合约增加奖励机制，激励节点共享学习模型；包括以下步骤：
(1)所述架构中的每个设备都会计算本地模型更新并将其上传到下层区块链网络中与其关联的节点，同时从节点那里获得与其数据样本数量成正比的奖励；
(2)节点交换并验证所有本地模型更新是否真实，然后进行共识；
(3)节点完成共识后，会生成一个记录已验证的本地模型更新的区块，将生成的存储本地模型更新汇总的块添加到所在区域的区块链，进行广播，并从区块链网络获得奖励；
(4)下层区块链的每个区域选出节点代表，参与上层区块链的共识，并在上层区块链中与其他区域的下层区块链节点代表进行交互，共识得到各区域的本地模型更新，再参与该节点所在区域的下层区块链共识，将学习模型反馈给其所在区域的下层区块链并由设备下载；
(5)每个设备从最后生成的块计算全局模型更新，这是下一个局部模型更新的输入。
CN202210173114.0A 2022-02-24 2022-02-24 一种面向分布式网络的分级分片区块链架构 Active CN114726868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210173114.0A CN114726868B (zh) 2022-02-24 2022-02-24 一种面向分布式网络的分级分片区块链架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210173114.0A CN114726868B (zh) 2022-02-24 2022-02-24 一种面向分布式网络的分级分片区块链架构

Publications (2)

Publication Number Publication Date
CN114726868A CN114726868A (zh) 2022-07-08
CN114726868B true CN114726868B (zh) 2024-03-08

Family

ID=82235370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210173114.0A Active CN114726868B (zh) 2022-02-24 2022-02-24 一种面向分布式网络的分级分片区块链架构

Country Status (1)

Country Link
CN (1) CN114726868B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615015A (zh) * 2018-12-18 2019-04-12 北京工业大学 一种基于区块链智能合约与机器学习的数据预处理方法
CN111507601A (zh) * 2020-04-12 2020-08-07 北京工业大学 基于深度强化学习与区块链共识的资源优化分配决策方法
CN111931242A (zh) * 2020-09-30 2020-11-13 国网浙江省电力有限公司电力科学研究院 一种数据共享方法以及应用其的计算机设备及可读存储介质
CN112765677A (zh) * 2020-12-30 2021-05-07 杭州溪塔科技有限公司 一种基于区块链的联邦学习方法、装置和系统
CN113408746A (zh) * 2021-06-22 2021-09-17 深圳大学 一种基于区块链的分布式联邦学习方法、装置及终端设备
CN113794675A (zh) * 2021-07-14 2021-12-14 中国人民解放军战略支援部队信息工程大学 基于区块链和联邦学习的分布式物联网入侵检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3564873B1 (en) * 2018-04-30 2022-11-30 Hewlett Packard Enterprise Development LP System and method of decentralized machine learning using blockchain
US11902448B2 (en) * 2018-12-28 2024-02-13 The Flowchain Foundation Limited Hybrid blockchain architecture with computing pool

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615015A (zh) * 2018-12-18 2019-04-12 北京工业大学 一种基于区块链智能合约与机器学习的数据预处理方法
CN111507601A (zh) * 2020-04-12 2020-08-07 北京工业大学 基于深度强化学习与区块链共识的资源优化分配决策方法
CN111931242A (zh) * 2020-09-30 2020-11-13 国网浙江省电力有限公司电力科学研究院 一种数据共享方法以及应用其的计算机设备及可读存储介质
CN112765677A (zh) * 2020-12-30 2021-05-07 杭州溪塔科技有限公司 一种基于区块链的联邦学习方法、装置和系统
CN113408746A (zh) * 2021-06-22 2021-09-17 深圳大学 一种基于区块链的分布式联邦学习方法、装置及终端设备
CN113794675A (zh) * 2021-07-14 2021-12-14 中国人民解放军战略支援部队信息工程大学 基于区块链和联邦学习的分布式物联网入侵检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于RFID和区块链的预制构件管理系统;邱凯;司鹏搏;曾涛;李萌;张延华;;电子技术应用;20200906(第09期);全文 *

Also Published As

Publication number Publication date
CN114726868A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
Chen et al. Sschain: A full sharding protocol for public blockchain without data migration overhead
US20190074966A1 (en) Revocation of cryptographic keys in the absence of a trusted central authority
CN111625593B (zh) 基于区块链的数据处理方法、装置、计算机设备
CN109688199B (zh) 一种多域分层物联网联盟链平台及其分片方法、计算机
CN113379066B (zh) 一种基于雾计算的联邦学习方法
CN113347164B (zh) 基于区块链的分布式共识系统及方法、设备、存储介质
CN110945831B (zh) 抗Sybil攻击身份的生成
Zheng et al. Lightweight blockchain consensus protocols for vehicular social networks
CN112637822B (zh) 一种基于区块链的蜂窝网络安全交易平台
CN111967051A (zh) 一种基于区块链的车辆间数据安全共享方法以及系统
Zhang et al. Blockchain-incentivized D2D and mobile edge caching: A deep reinforcement learning approach
CN114281888A (zh) 一种区块链共识方法、装置、设备及存储介质
CN113645278B (zh) 一种区块链的跨链消息传输方法、设备、存储介质
CN109087105A (zh) 用于挖矿的哈希搜索方法、挖矿机及区块链系统
CN113626875A (zh) 一种区块链分片赋能的知识图谱文件存储方法
Sohrabi et al. On the scalability of blockchain systems
Xue et al. Two-layer distributed content caching for infotainment applications in vanets
CN114615642A (zh) 车车通信中车辆的身份认证方法、装置、车辆及存储介质
CN113973021A (zh) 一种图式区块链的网络传输优化装置及方法
CN115664682A (zh) 基于联盟链主从多链的医疗数据共享的共识方法
Tang et al. Hedera: a permissionless and scalable hybrid blockchain consensus algorithm in multi-access edge computing for iot
CN111970370B (zh) 基于面向通信设备体系的多层区块链协议拓展系统及方法
CN114726868B (zh) 一种面向分布式网络的分级分片区块链架构
US20220278854A1 (en) Unity Protocol Consensus
CN117082505A (zh) 数据安全共享方法、系统及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant