CN114065283A - 一种轻量级可循环再生的区块链存储方法及装置 - Google Patents
一种轻量级可循环再生的区块链存储方法及装置 Download PDFInfo
- Publication number
- CN114065283A CN114065283A CN202111349769.0A CN202111349769A CN114065283A CN 114065283 A CN114065283 A CN 114065283A CN 202111349769 A CN202111349769 A CN 202111349769A CN 114065283 A CN114065283 A CN 114065283A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- day
- block
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008929 regeneration Effects 0.000 title description 6
- 238000011069 regeneration method Methods 0.000 title description 6
- 125000004122 cyclic group Chemical group 0.000 title description 4
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 230000008520 organization Effects 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 48
- 238000012795 verification Methods 0.000 claims description 45
- 230000003203 everyday effect Effects 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 17
- 238000013475 authorization Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 230000002354 daily effect Effects 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 13
- 230000001976 improved effect Effects 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000012856 packing Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000013524 data verification Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000002787 reinforcement Effects 0.000 claims 1
- 230000001953 sensory effect Effects 0.000 claims 1
- 238000007726 management method Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012502 risk assessment Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010923 batch production Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009449 lightweight packaging Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种轻量级可循环再生的区块链存储方法及装置,涉及物联网、区块链以及网络安全技术领域。本装置构建分层次、分簇的多账本区块链网络;每个终端设备作为一个区块链节点,以区块链方式存储采集的数据;终端设备侧构建本地化的应用安全网络,本地存证用户权益;边缘节点构建内存方式的缓存网络,组织形成任务导向的强化工作量算力网络,轻量预制每日分钟区块;云平台构建分布式存储网络,对上传数据备份存储。本方法基于所述装置,对组织结构内数据进行分层次、分簇的多账本区块链网络存储。本发明实现了对数据的贯通式保护机制,实现对隐私数据的保护,实现数据的高质量处理和高效流转保护,数据可以溯源到网络末端节点和芯片。
Description
技术领域
本发明涉及物联网、区块链以及网络安全技术领域,涉及一种基于物联网的轻量级可循环再生的区块链存储方法及装置。
背景技术
在大数据和人工智能时代,数据蕴含的价值凸显,商业公司产生了强烈的获取数据需求,个人隐私信息也随之流转带来各种隐患。数据权益在网络空间中需要确权和保护,同时数据具备易改、易复制的特性,需要结合数据权益进行数据全生命周期验证和管理。
云平台实现的分布式文件系统,拥有海量数据存储能力,没有单点故障,提供数据容错和复制机制,适合在内部的安全网络环境中大规模部署使用。对外服务时,云平台的分布式文件系统安全机制较弱,无法对终端和用户侧的数据进行保护,并且传输环节多,交互延迟高,缺乏面向用户开放共享使用的机制。
区块链技术实现了一种新的尽可能复制数据给每个节点的策略,可提供开放的分布式存储网络服务,具备价值存储能力,点对点自组织网络能力,实现了开放环境的数据保护机制。区块链技术可以实现网络空间中数据权益管理。
受益5G通信落地、6G通信的快速发展,在物联网环境中,利用无线网络的高带宽、低延迟特点,可实现点对点高速通信、分片划分虚拟子网、组织丰富的异构节点协同服务;设备全方位连接后,一方面可达到全资源复用的目的,另一方面需要针对各个层级和分片进行数据的安全防护。传统的区块链技术没有充分利用这种物联网特性,不能切分功能、灵活部署到各层,适应环境限制要求。因此,需要一种适用于物联网应用场景的区块链架构,新架构应按需弹性调度计算资源,权衡终端网络、边缘网络、云平台网络间的数据传输和存储,形成适配这种边缘计算架构的区块链存储能力。
发明内容
鉴于在上述场景下中心化存储、忽略数据权益、忽略环境限制的技术现状,无法有效解决物联网环境中数据保护和可信的安全问题,本发明提出了用于物联网的一种轻量级可循环再生的区块链存储方法及装置,以有效地解决开放网络环境中的数据保护问题。
本发明提供的一种轻量级可循环再生的区块链存储装置及方法,应用于物联网结构的组织机构。本发明的轻量级可循环再生的区块链存储装置,在物联网的终端设备、边缘节点和云平台三层结构上分别构建如下:
(1)在终端设备侧,将每个终端设备作为一个区块链节点,终端设备采集的数据以区块链方式存储;在终端设备侧,构建本地化的应用安全网络,本地化存证用户权益信息和隐私数据,对用户权益信息区块链式管理;根据数据的账本类型设置多条区块链,终端设备将采集的数据根据不同类型上传到对应的区块链存储。
(2)组织机构内每个簇设置有一个边缘节点,在边缘侧的每个边缘节点构建内存方式的缓存网络,分簇缓存终端设备上传的不同账本类型的实时流数据和交易记录;
边缘侧对每条账本类型的区块链,采用基于层次化节点可信度量的每日投票式选举并排序的HRAFT共识模型,每日投票确定中心节点,各中心节点并行打包本区块链的当日区块上传给云平台;中心节点采用固定每分钟区块策略预制当日区块,当日区块包括当日1440个固定分钟区块和上日余额和笔数的汇总信息块;边缘节点缓存10分钟的交易记录和实时流数据;中心节点每确定待打包的10个固定分钟区块后,将待打包区块发布给跟随节点,将打包的10分钟区块上传到云平台;在当日区块打包发送完成后,中心节点对该区块循环再生;
中心节点及跟随节点提供单个区块及单个交易记录的下载服务;
边缘侧组织形成任务导向的强化工作量RPoW(Reinforcement Proof ofWorkload,增强工作量证明)算力网络,为终端设备节点和边缘节点分配任务,渐近式批量为固定分钟区块生产工作量共识串。
(3)在云平台上构建分布式存储网络,对上传的数据进行备份存储;
云平台每日融合144个10分钟区块,打包压缩成一个每日链文件,将每日链文件作为永久超级链上的一个区块,上传云存储网络。
云平台对各层级形成的多链,按链名和块ID,建立检索索引,提供数据块下载和P2P复制同步服务。
基于上述装置,本发明提供的一种轻量级可循环再生的区块链存储方法,包括:
步骤1,针对基于物联网实现的组织结构,构建分层次、分簇的多账本区块链网络;其中,分层次是指分终端设备、边缘节点和云平台三层;分簇是指组织结构内每个边缘节点对应一个簇;多账本是指根据数据的账本类型设置多条区块链,账本类型包括视频流数据、节点可信数据、定期传感数据、用户行为数据以及服务使用数据;
步骤2,在终端设备本地存证用户权益和隐私数据,区块链式管理用户权益;对终端设备采集数据时,形成签名式权益数据,以进行权益验证;
步骤3,对每条账本类型的区块链,采用层次化节点每日选举HRAFT共识模型,每日投票确定中心节点;边缘节点分簇缓存不同账本类型的实时流数据和交易记录;预制当日每分钟的固定区块;中心节点并行打包本区块链的当日区块上传给云平台;当日区块包括当日1440个固定分钟区块和上日余额笔数的汇总信息块;中心节点循环再生每日区块;
步骤4,组织形成任务导向的强化工作量RPoW算力网络,为终端设备节点和边缘节点分配任务,计算固定分钟区块的工作量共识串;对数据访问和验证时,进行PoV(Proof ofVerify)共识验证,PoV共识验证算法根据安全级别,设置组合的验证算法和验证串难度;
步骤5,物联网的终端设备采用5G模组芯片,在5G模组芯片内嵌入可信注册和统计业务数据流量、上链通信处理和安全加密签名的计算处理模块;对物联网数据可溯源到网络末端的节点和芯片。
相对于现有中心化管理数据和分段割裂式处理数据的技术方案,本发明的优点和积极效果如下:
(1)本发明装置及方法考虑组织内私有数据的保护,在终端网络侧构建安全网络,在终端本地化存证用户权益和隐私数据,解决开放网络环境中对隐私数据的保护问题。
(2)本发明装置及方法在数据的发布、传输、存储、管理的全生命周期过程,进行一致性、完整性、真实性控制,建立海量数据的用户权益,分离存储数据权益信息,区块链式管理数据权益,获得增强的数据可信采集、全过程溯源和验证数据、发现和预警篡改行为等特征,实现对数据的贯通式保护机制。
(3)本发明装置及方法中构建的分层次、分簇的多账本区块链网络,划分五类不同特点网络区域,匹配不同环境中合适的参与节点类型,在物联网终端、边缘网络、组织内聚合、云平台数据存储、跨组织共享五种网络和存储设备中,实现数据的高质量处理和高效流转保护。所构建的分层次、分簇的多账本区块链网络智能识别和调度资源,融合式兼顾本地高效和云平台海量处理能力。所构建的分层次、分簇的多账本区块链网络,通过每日继承和重生区块策略,在资源受限的边缘网络内,可轻量预制当日区块,每日继承上日余额笔数等汇总信息后,循环再生区块,减少本地的数据冗余和验证计算工作量,无分叉和竞争损耗;通过异步的RPoW算力、PoC(Proof of Credits)可信度、PoV安全控制算法动态组合共识策略,多维增强验证处理,根据每个层级的安全需求,设置验证算法难度,减少了PoW(Proofof Workload,工作量证明)单维度、单难度目标导致的过度消耗算力,增加攻击难度等,轻量化、渐近式提升验证串难度,最大化资源受限场景下的安全难度。
(4)本发明在物联网5G模组芯片内,直接嵌入采集数据的权益计算和上链处理模块,实现可信注册和统计业务数据流量、上链通信处理、安全加密签名等计算处理,实现防伪控制和高效实时上链机制;资源受限终端产生的数据,可通过嵌入芯片的区块链模块直接上链,简化应用开发和减少终端资源占用。
(5)本发明装置及方法可实现面向海量异质设备节点的区块链融合演化和溯源,支持多源、多模数据在链上、链间的高效流转,可实现当日链和历史链的跨链验证,记录了传输路径和变更历史,数据可以溯源到网络末端节点和芯片。
附图说明
图1是本发明基于物联网构建的三层结构的区块链存储结构示意图;
图2是本发明的轻量级可循环再生的区块链存储方法的流程示意图;
图3是本发明存证和数据验证处理的流程图;
图4是本发明本地每日重生的固定分钟区块的具体结构图;
图5是本发明轻量化机制的具体原理图。
图6是本发明芯片上链的具体流程图。
图7是本发明溯源模块的具体流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施例及附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
本发明的应用场景为海量异构设备的物联网环境,针对一个组织机构设置分层次、分簇的多账本区块链。组织是指一个社会实体,可以是一个企业、一个学校、一个家庭等等。本发明所针对的组织采用物联网技术实现,包括终端、边缘计算节点和云平台。如一个生产企业,终端设备为工厂各车间中的生产设备,生产设备包括不同型号、不同类别的设备,在每个车间布置有一个边缘节点,云平台汇聚所有边缘节点传输来的数据。如一个家庭,终端设备包含家庭成员的移动终端、计算机、以及布置在家庭中的各种智能终端,如空调、空气净化器、摄像头、智能盒子等设备,边缘计算节点可以是设置在一个环境中的边缘智能路由器或者可编程控制逻辑器等,云平台汇聚所有边缘节点传输来的数据。根据实际应用场景,本发明的组织机构下可以包括多个簇结构,每个簇针对一个局域网区域,例如某个企业,包括分布在不同地区的若干车间和办公场所,每个车间对应为一个簇,每个办公场所可为一个簇。终端设备可以是一个组织内的视频设备、手机、智能设备、传感节点等等。
本发明针对每个组织的海量异构设备的物联网,提供了一种轻量级可循环再生的区块链方法及装置,所提供的区块链装置能够部署在异构、多源、多模的物联网设备节点中,可适配未来智慧生活的物联网--拥有海量异质设备、通信资源受限、运算与存储资源不均衡等特点,实现数据的可信采集,可流转溯源,可全生命周期验证,实现了物联网中数据的全生命周期保护,解决了开放网络环境中的数据保护问题。
本发明实现的一种轻量级可循环再生的区块链方法,如图1所示,是针对物联网的终端设备、边缘计算节点和云平台三层结构,构建实现了一种分层次、分簇的多账本区块链装置,以实现对物联网数据的存储。组织机构下的每个簇对应设置有一个边缘计算节点,簇内终端设备的数据上传至对应的边缘计算节点上,所有边缘计算节点的数据上传至云平台存储。
(一)对终端设备侧的设置。
首先,本发明在终端设备侧构建本地化的应用安全网络,即图1所示的访问控制网络,以实现对终端设备隐私数据的保护。现有物联网中,用户的隐私数据很容易被上传到边缘节点和云平台,暴露在网络中,本发明针对这一问题,构建本地化的应用安全网络强化物联网中的认证服务,在终端设备本地实现用户的注册和数据授权方式,实现识别身份ID、位置、行为,控制设备间、用户和设备间的服务访问和数据访问权限,设立公共参考串强化机密性,在数据采集时,提取出应用安全元素作为数据权益内容,如设备ID、用户ID、时间戳、位置、行为类型、可信令牌串,形成签名式权益数据,然后进行数据上传。
其次,本发明将每个终端设备作为一个区块链节点上传数据,以区块链方式存储数据。本发明根据数据的账本类型分为多条区块链,节点上传数据到区块链的时候,根据上传数据的账本类型上传到对应的区块链。账本类型包括视频流数据、节点可信数据、定期传感数据、用户行为数据、服务使用数据等不同类型。
(二)对边缘侧的设置。
组织机构内每个边缘计算节点也可作为一个区块链节点,每个边缘节点采用内存方式的缓存网络,缓存实时交易。
本发明在边缘节点构建内存方式的缓存网络,缓存实时交易,实时交易是指终端设备上传的数据,以实时响应终端用户。采用实时分簇方式,缓存不同账本类型的交易记录和实时流数据,并验证数据的一致性、完整性和真实性。
本发明实现了轻量型区块链存储方式,主要通过:一方面,边缘节点对各区块链每日共识中心节点,多中心并行打包多链区块数据,存证权益数据,中心节点本地轻量级打包区块上传;另一方面,边缘侧组织形成任务导向的RPoW算力网络,为各终端设备节点和边缘节点分配任务,渐近式批量生产区块的工作量共识串,实现按调度引擎的安全级别要求,受控投入算力。
本发明针对物联网资源受限的环境要求,轻量化传输、计算和存储数据的关键点是处理当日数据,轻量预制当日区块,每日继承上日余额笔数等汇总信息,循环再生区块,只打包和验证每日1440个固定分钟块和1个上日汇总信息块,通过上传合并机制减少本地的数据冗余和验证计算工作量。
本发明针对每条账本类型的区块链,动态组织高可信中心节点,每日按参与网络工作内容评估节点可信度,形成可信度账本,各节点分散投票决策当日中心节点,各中心节点并行打包本区块链的当日区块,上传给边缘节点。
每日通过HRAFT算法进行角色层次演进和PoC选举共识算法动态识别中心节点。
本发明的HRAFT算法是改进了共识RAFT算法,扩展了RAFT的角色,划分出工人、观察员、书记员、候选人和领导者(leader)5个级别。角色使用5个级别的逐步晋级的总积分累计机制。角色的积分计算方式为:工人考察工作量证明PoW数量,观察员考察读取和验证区块头数量,书记员考察打包区块数量,候选人每日根据投票排序决定当日的leader。对角色晋级达标的标准,依据预定义不同安全级别的适配模板执行,模板中标准可手工调整。本发明针对个人局部网络、家庭、公共场所、工厂等不同种类的智能物联网环境,分类定义安全级别,评估合理的安全计算投入量,形成晋级标准。
本发明利用可迭代的节点可信度(PCW)的计算公式,基于每日成果统计,计算候选人节点的可信度。首先使用模糊综合评价(FCE)算法完成多指标的综合加权评价获得归一化的评分结果,划分工作量W、通信和打包能力P、贡献度C三类指标;再使用指数移动平均(EMA7)算法综合过去一周的每天评价值,按时间距离指数加权,计算迭代历史影响后的评价值。每日开始时,通过PoC可信度加权投票方式,度量候选人支持度,排序候选人节点,决定当日leader节点。工作过程中,无需再投票,按顺序直接容错选择下一位。
PCW=EMA7(FCE(W,P,C)) (1)
PoCc是候选人c的可信度;PCWi是每个投票给候选人c的节点i的可信度,累计所有投票后形成c候选人的支持度;n代表参与投票的节点个数。
本发明在边缘侧动态组织高可信中心节点,实现了终端侧降低延迟和功率的效果,保障物联网实时处理能力和复杂环境的自组织能力。在获得当日每条区块链的中心节点leader后,各leader并行打包区块,按时间戳分块,填入当日链中预制的对应分钟块的交易内容记录。在数据打包后,节点即可定期清理缓存,备份周期内的实时数据、每日的区块形成文件,异步上传到云存储中,实现本地当日区块的清理和循环再生第二天区块。通过MEC(Multi-access Edge Computing)边缘资源卸载策略,动态调度备份任务执行。
在边缘侧,组织边缘环境的空闲节点,参与PoW网络计算共识验证串,形成可动态调整难度、动态加入节点的RPoW算力网络。RPoW算力网络作为安全辅助机制,算力节点重在参与和提供能力指标,通过能力、参与时间、贡献度等多维指标提升节点可信度。RPoW算力网络为预制本地区块、申请应用安全访问令牌PoV、PoW共识等安全处理,提供算力服务。通过促进共享算力、贡献资源机制,可完善分布式网络的节点和地址管理,更多可信节点的参与,进行PoC评估和投票选举,能提升各网络的连接管理能力,能提升网络同步数据能力和择优选择打包节点能力。
边缘节点设置独立的缓存网络,分簇实时接受和缓存交易数据;固定每分钟区块策略,可以每天预制1440块,按需求量和资源量,组合优化各块PoW计算的时间进度,渐近式提升难度,保证到时间点即可有最大难度的工作量共识串可用。本发明RPoW的渐近式最大化PoW难度目标,与每次固定难度目标的PoW网络不同,在满足任务的截止时间点的限制条件下,轻量化、渐近式批量生产工作量共识串,阶梯提升验证串难度,实现资源受限场景下达到最大安全难度目标。
本发明任务导向的RPoW算法的优化目标为:最大化PoW共识串难度CD。约束条件有时间限制条件LT,资源限制条件LR,必须提交的任务数条件TS。调度调节难度的主要参数为:任务的优先级排序队列长度QT,当前基础难度系数BF。通过累积历史的多周期时间点CT和交易数CN,预测的当天多周期峰值时间范围PT,作为固定维持最低投入状态BF。利用当前观察值使用卡尔曼滤波(Kalman filter)算法不断平滑估计值、预测后续各分钟时点的交易量P[i+1]、P[i+2]…P[N],作为调度依据。第i分钟的最优化工作量计算公式如下:
max:CD[i]=A(BF,QT)+γ(S(P[i])+γ(S(P[i+1]+…γS(P[n])) (3)
s.t.
LT=true
LR=true
TS=true
其中,算法A根据调度参数BF和QT预测当前可接受难度系数的限制的下限。P[i]是预测的第i分钟的交易量,交易量即数据量。S是根据P[i]计算的需要投入的工作量,是为维护一定数据量下信息的完整性需要投入的工作量。可根据目前各类型节点的算力,定义算力映射转换表。γ为衰减率,可重点考虑近期预测的交易数影响,减弱远期预测值影响。Kalman filter算法根据P[i]当前值,预测的峰值时间范围PT,和历史的各时点交易数CN,修正和迭代预测未来每个分钟点交易量P[i+1]、P[i+2]…P[N]的集合。
本发明使用异步的RPoW做可开放式验证的防篡改保障。每日PoC可信度的有序竞争选举leader,进一步减少了PoW式竞争的内耗,提升实时打包效率。PoV的全面访问控制,点对点共识,增加了物联网环境的机密性。
边缘节点对区块头和元数据使用PoW验证,区块体的交易数据使用签名令牌验证;授权和共识验证算法统一使用零知识证明的HPC令牌串,可离线认证,可动态组合,根据每个层级的安全需求,设置验证算法难度。
本发明在物联网中数据的全生命周期过程中,采用区块链技术实现数据的安全存储,存证数据权益,授权流转记录后,多节点可开放验证各环节中的信息一致性、完整性和真实性。本发明实施例中,使用sha256算法计算交易、区块、文件的哈希值hash id,检查一致性。采用默克尔(merkel)树算法计算各种数据集的完整性。采用ECC签名算法,检查主体的真实性。采用PoW算法和链接叠加难度机制防篡改。采用同态加密E算法,使用机密公共参考串和时间戳增加密钥的随机性后,在加密态直接验证时间范围的加法算术关系成立。采用Bloom过滤器辅助判断是否为网络参与节点。采用Nyberg快速单向累加器验证归属授权成员集合。采用零知识证明zk-SNARKS算法验证多项式公式计算是否成立。最终采用一次性关联多任务动态组合OTMP(one-time association multitasking proofs),检查一次性组合上述算法生成的多部分组合令牌串的真实性。通过上述算法全面增强适合物联网的区块链安全保护机制,建立开放网络环境中的贯通式保护机制。
OTMP的按安全级别动态组合扩展的HPC共识串定义如下:
HCBS=hash(SAID,DAID,Service,data,Timestamp) (4)
HPCk={k,SAID,encrpy(sign(HCBS)),PoW(k,HCBS),E(k,HCBS),Nyberg(k,Bloom(SAID)),zk(k,HCBS)} (5)
HCBS是待验证行为要素的hash串,SAID和DAID是一次访问的源和目的方标识的匿名地址串,Service为服务行为,data是服务数据,Timestamp是时间戳。HPCk根据当前的安全级别k定义,在1-5范围内动态叠加5个算法,增强验证串的难度。动态叠加的5个算法分别为上述的ECC签名sign、PoW、同态加密E、Nyberg单向累加器和Bloom过滤器,及zk-SNARKS简明单向零知识证明算法。在各种需要保护访问和验证真实性场景,都可以使用这种动态增强性令牌串,进行PoV证明。
本发明采用轻量时序数据库的只增策略,结构化存储固定时序区块中的交易数据,没有修改和删除加锁过程,上链和查询性能可以提高10倍,提供结构化的SQL查询账本能力,方便应用扩展处理。
(三)对云平台的设置。
在云平台上构建海量分布式存储网络,对边缘计算节点上传的数据进行备份存储。海量高效的保存备份数据,解决了容量受限问题。云平台上分布式节点存放每日打包好的备份区块文件和数据文件,通过区块引用方式多周期串接成永久超级链,通过PoW共识保护完整性,防止数据篡改。
本发明在物联网场景中,实现的一种轻量级可循环再生的区块链存储方法,如图2所示,主要包括六部分:步骤101~106。步骤101,构建分层次、分簇的多账本区块链网络,划分五类不同特点网络区域,如图1所示,五类不同特点网络区域为访问控制网络、层次共识网络、缓存推送网络、RPoW网络和云端分布式存储网络,云端分布式存储提供域名管理和分布式云存储,匹配不同环境中合适的参与节点,在终端、边缘网络、组织内聚合、云平台数据存储、跨组织共享五个处理层面,实现数据的高质量处理和高效流转保护。步骤102,在物联网环境下,实现数据的全生命周期可存证,分离存储数据权益信息,区块链式管理权益信息,实现数据的可信采集,全过程溯源和验证数据。步骤103,在资源受限的边缘网络内,轻量预制当日每分钟的固定区块,使用HRAFT高效共识算法,每日投票确定中心节点,动态组织高可信中心节点完成打包处理,多个中心、分账本并行打包链区块;中心节点对边缘节点分簇缓存不同账本类型的实时流数据和交易记录进行打包到当日区块并上传给云平台,每日区块包括当日1440个固定分钟区块和上日余额笔数的汇总信息块;中心节点循环再生每日区块,减少了本地的数据冗余和验证计算工作量。步骤104,轻量化处理,多级协同可动态组合的共识策略方法,根据每个层级的安全需求,设置验证算法难度。组织形成任务导向的强化工作量RPoW算力网络,为终端设备节点和边缘节点,轻量化、渐近式批量生产工作量共识串,阶梯提升验证串难度,保证到时间点即可有适合难度的共识串可用,最大化资源受限场景下的安全难度。步骤105,物联网的终端设备采用5G模组芯片,在5G模组芯片内嵌入可信注册和统计业务数据流量、上链通信处理、安全加密签名等计算的处理模块,实现防伪控制和高效实时上链机制。步骤106,实现多源、多模数据在链上、链间的高效流转,数据可以溯源到网络末端节点和芯片。
对于步骤101,构建分层次、分簇的多账本区块链网络,将组织结构内每个设备终端作为一个区块链节点,根据节点计算和存储能力动态编排部署部分区块链服务模块,服务模块包括认证、缓存、HRAFT共识、RPoW统一令牌串、实时时序数据库存储和检索。每个边缘节点所在的局域网作为一个簇,分簇提供多节点组网服务。
如图1所示,本发明利用分层次分簇的多账本区块链网络对组织结构内物联网数据进行数据传输保存至云端的一个实现流程如步骤1~6。
步骤1:应用安全网络管理访问控制和权限;
在终端设备侧,组织物联网节点,管理各节点的身份和权限,提供各节点访问控制机制。构建的本地化的应用安全网络主要目的是强化物联网中的认证服务,以保护物联网数据。本发明本地的应用安全网络,提供注册和授权服务,识别身份ID、位置、行为,控制设备间、用户和设备间的服务访问和数据访问权限。应用安全网络设立了公共参考串,强化数据机密性。应用安全网络还可以调度PoW网络,生产验证串需要的工作量证明。
步骤2:实时交易缓存网络接受广播的交易记录。
物联网中的各类节点,可通过无线广播机制,同时发送存证交易给缓存网络的所有节点,缓存实时交易。为了能够实时响应终端用户,在边缘网络的智能设备或边缘网关,构建内存方式的缓存网络。根据账本类型,采用实时分簇方式,缓存不同账本类型的交易记录和实时流数据,并验证数据的一致性、完整性和真实性。
步骤3:本地的轻量级打包区块网络排序区块。
边缘节点对终端侧多个存储不同账本的本地链,分别通过HRAFT共识选举合适的中心节点,多中心并行打包多链区块数据,存证权益数据。中心节点首先轻量预制当日每分钟的固定区块,每日继承上日的余额和笔数等汇总信息后,循环再生区块。调度分配任务给RPoW网络,不断由易到难生产工作量共识串。每分钟定时对缓存中的交易记录,按时间戳顺序进行排序,记录到中心节点对应分钟序号的区块中。边缘节点缓存10分钟的交易记录和实时流数据。中心节点采用异步的十分钟增强块机制,逐步融合每个分钟块生成大数据块。10分钟后,确定状态,中心节点固定生成最终的待打包区块,发布给跟随节点,进行分布式区块存储和装载实时时序数据库处理。中心节点将打包的十分钟增强块还上传到云平台。
任务导向的RPoW算力网络,可被动执行任务,也可以主动查询待打包区块,定期提交工作量共识串。
步骤4:本地的轻量级打包区块网络打包区块。
RAFT网络中的跟随节点接受待打包区块,进行本地存储。采用P2P网络方式,向所有参与节点主动传播区块头部链表。主节点和跟随节点都可提供单个区块及单个交易记录的下载服务。
步骤5:周期数据提交云存储网络。
物联网中类似视频流的数据,需要分段切割,在本地缓存。对应的交易记录在区块中打包确认后,提交任务方式,后台逐步推进任务,上传每个分段的数据到云存储网络中,在上传数据后,可删除本地备份的数据。
步骤6:每日打包链备份文件提交云存储网络;
云平台具有大规模算力,每日融合144个十分钟增强块,打包压缩成一个链文件,并生成对应难度级别的Hash串,将每日的链文件作为永久超级链上的一个区块,上传云存储网络。在云端存放每日打包好的备份区块文件,通过区块引用方式多周期串接成永久超级链,通过PoW共识保护完整性,防止数据篡改。使用公链策略,PoW共识串联多日区块,可以保证6天以上的数据基本无法回滚。超级链存储到上级分布式存储中,减少了本地的存储空间压力和冗余。云平台还对各层级形成的多链,按链名和块ID,建立检索索引,提供数据块下载和P2P复制同步服务。
对于步骤102,本发明方法实现了开放网络环境中的贯通式保护机制的存证和数据验证,如图3所示,一个流程包括步骤301~304。
步骤301:存证服务;
在海量异构的物联网环境中,利用分层级的多账本区块链,融合式实时存储同类数据,提供本地化、分布式的存证服务,供各数据采集、传输节点使用。在数据采集的源头,本地化存证用户权益和隐私数据。用户权益信息包括设备ID、用户ID、时间戳、位置、行为类型、可信令牌串等,形成签名式权益数据。
由于物联网数据在开放的网络环境中采集和传输,需要在数据的全生命周期过程中,提取出用户权益信息和隐私数据,进行计算签名、hash值、脱敏和加密隐私字段等安全处理后,存证到本地区块链网络中存储,并记录授权流转的过程。实现多节点、可开放验证各环节中的信息一致性、完整性和真实性。
步骤302:数据验证;
提取出数据的统计字段、特征字段,和数据内容组合在一起,构建数据指纹。区块链存储方式支撑数据的完整性验证,以及对数据的多维度一致性检查。
步骤303:权益验证;
利用用户身份信息和签名技术,在数据采集时,形成签名式权益数据,可以使用用户公钥,进行开放的权益验证,证明权益的真实性。
步骤304:授权验证;
采用动态授权令牌串技术。由用户身份信息、预制的公共参考串和场景中的授权要素,生产授权令牌串,服务方必须验证授权的合法性后,才能完成服务功能或数据传输。
如图4所示,本发明步骤103本地循环再生区块的一个实现流程如步骤401~406。
步骤401:组织配置;
使用配置文件设置本地资源的归属组织的相关配置信息,组织如家庭、工厂、单位等,配置信息包括:组织的节点树结构、节点列表、各账本中的分户账结构、总账结构和统计方法、合约和脚本定义。
步骤402:每日固定块;
轻量预制当日区块,中心节点每分钟固定打包时间范围内交易记录,形成1440个数据块。
步骤403:每日结算;
每日继承上日余额、笔数等汇总信息,存入第1441个数据块。
步骤404:逐级选举可信节点;
新加入节点,角色为工人,需要参与RPoW网络,积累工作量。具备一定工作成果后,可提升成观察员节点,逐步只读方式获得打包区块的头部记录。累计一定读取区块量后,当节点的性能和通信吞吐量可满足记账要求时,升级成书记员节点,即跟随节点。同样策略,累计一定打包区块量后,升级成候选人节点。最终动态组织候选人集合,投票选举出可信、高性能的中心节点。通过组织强化工作量RPoW算力网络,能降低延迟和能量耗用,保障实时处理能力和复杂环境的自组织能力。
步骤405:多组RAFT共识;
使用RAFT高效共识算法,多个中心、分账本并行打包多链区块,往当日链中填入交易内容记录。可划分为视频流数据、节点可信数据、定期传感数据、用户行为数据、服务使用等类别,按不同功能分类由某个分区的RAFT网络进行区块打包处理。
步骤406:每日重生;
数据打包后,缓存节点即可定期清理缓存。图6中缓存节点即边缘节点,主节点即中心节点。本发明实施例中,边缘节点只需缓存10分钟的交易记录。在云端备份周期内的实时数据,形成数据文件。云端备份每日的区块,形成当天链文件。由RAFT的中心节点,创建上传文件任务,异步上传到云存储中。间隔7天后,可清理本地的备份文件、数据库的交易记录和块记录。
如图5所示,本发明步骤104实现异步的PoW算力、PoC可信度、PoV安全控制算法动态组合共识策略方法的流程如步骤501~504。
步骤501:轻量分簇缓存。
本发明使用设备到设备的无线通信方式,自动发现邻居,组织局部独立的缓存网络,分簇实时接受分段数据和交易数据,融合式缓存到树根边缘计算设备节点的高容量内存中。按HRAFT分区的功能划分,推送不同类型的交易数据给不同分区的HRAFT中心节点,中心节点每日通过PoC可信度投票排序方式选举出来。分段数据直接使用数据采集点的识别账户进行签名,可公开验证,交易数据使用发起方和服务方账户申请的数据服务授权票据作为验证串,其中发起方的签名部分串,同样可公开验证。
步骤502:预制无分叉固定分钟区块;
固定每分钟区块策略,HRAFT中心节点每天预制1440个分钟区块,固定的区块头元数据,无分叉问题。通过应用安全网络进行防护,减少工作量证明的消耗。本发明组织形成任务导向的强化工作量RPoW算力网络,按需求量和算力资源量,组合优化各分钟区块PoW计算的时间进度,渐近式提升难度,保证到排序的时间点即可有最大难度的共识串可用。算力资源不足时,顺序、平均分配每块PoW验证任务,能够尽快先完成所有区块头的共识串预约生产。算力资源充分时,加大交易记录多的待打包区块的共识串生产难度,在打包结束的时间点之前,完成区块体的共识串计算。
步骤503:预分区和轻量容错共识。
固化物联网环境中的典型账本分类,按分类设定HRAFT打包网络分区,分区隔离不同账本的处理工作。优先针对区块头,计算轻量级PoW共识串。对数据访问和验证时,还进行PoV共识验证。PoV授权和共识验证算法统一使用零知识证明类型,可离线认证,可动态组合验真串难度,根据每个层级的安全级别需求,设置验证串难度和组合的验证算法个数。本发明采用轻量时序数据库的只增策略,结构化存储固定时序区块中的交易数据,没有修改和删除加锁过程,上链和查询性能可以提高10倍,提供结构化的SQL查询账本能力,方便应用扩展处理。
步骤504:云存储异步备份和嵌套式永久链。
本地账本按天提交备份,减少与云平台的交互。在资源充分的云平台中,把接受的每日链文件作为一个区块,进行嵌套式永久链的构建。
本发明基于芯片嵌入的区块链计算与连接,实现上链过程自动处理。在物联网5G模组芯片内,嵌入可信注册和统计业务数据流量、上链通信处理、安全加密签名等计算处理,实现防伪控制和高效实时上链机制。资源受限终端产生的数据,可通过嵌入芯片的区块链模块直接上链,无需应用开发和占用终端资源。如图6所示,本发明步骤105基于硬件嵌入的区块链计算与网络连接的装置的功能和流程如下步骤601~605。
步骤601:芯片可信注册;
在物联网5G模组芯片内,嵌入可信注册处理,在应用安全网络内注册身份。芯片的唯一id和位置信息,可以作为业务的注册证据内容,构建通信芯片承担数据传输的每个业务的身份标识,包括:地址、公钥、私钥。
步骤602:服务授权;
在应用安全网络内授权建立访问关系,申请验证令牌,访问数据服务。
步骤603:业务流量统计上链;
芯片按预制的业务种类划分,定期统计传输的业务数据流量信息,包括:服务对象、服务开始时间、服务流量统计、服务时长。使用业务的身份标识,定时触发后续上链处理。芯片传输的数据量和业务统计,直接每日存证区块链中。这些业务的上下文信息可信,其他设备难以造假。
步骤604:终端数据上链;
5G模组芯片提供上链处理的API(应用程序编程接口)。终端应用程序在数据采集阶段,提取用户权益和隐私信息,统计采集数据的特征,形成交易记录,触发芯片的上链处理操作。资源受限终端产生的数据,可通过嵌入芯片的API接口直接上传到区块链,无需应用开发和占用终端资源。
步骤605:上链通信处理;
利用5G通信的邻居发现协议,发现和管理附近的缓存服务地址,对服务质量进行评估和排序。安全处理,对用户信息和隐私字段进行加密处理,对上链数据进行签名处理。封装上链交易的RPC(Remote Procedure Call)协议格式。使用COAP(ConstrainedApplication Protocol)协议,挑选最优缓存服务节点,发送交易记录。
本发明面向海量异质设备节点的区块链融合演化机制,支持多源、多模数据在链上、链间的高效流转。使用区块链的智能合约程序化实现跨链验证和传输。通过存证,记录数据传输的源和目的节点,和存证的聚合、复制、修改、追加、删除等操作类型,以及数据版本号,数据可以溯源到网络末端节点和芯片。如图7所示,步骤106面向海量异质设备节点的区块链融合演化和溯源机制处理流程如下步骤701~704。
步骤701:溯源服务;
为数据需求单位、数据审计单位,提供可信的溯源服务。分层的多账本设计,支撑在数据的采集、融合处理发布、传输、存储、管理、共享使用的全生命周期过程中完成路径的记录。数据需求单位可以追溯可获得版本之前串行传播处理的各环节,进行完整性验证、变更的真实性、篡改风险分析。数据审计单位可以追溯当前所有版本的树分支传播处理的变更过程,进行权益分析、隐私保护分析、篡改风险分析、泄露风险分析。
步骤702:多源、多模数据账本式融合演化;
面向海量异质设备节点的区块链融合演化机制,在物联网中多账本分类融合数据,在边缘层初步汇总处理。
步骤703:链上、链间的高效流转;
定义不同网络的处理特征,高效上链。可实现当日链和历史链的跨链验证和传输。使用区块链的智能合约程序化实现跨链验证和传输。分层构建本地当日链,完成数据接力处理。
步骤704:溯源到网络末端节点和芯片;
通过存证记录数据传输的源和目的节点,明确存证的聚合、复制、修改、追加、删除等操作类型,清晰的分支和新建数据版本号,使得数据可以溯源到网络末端节点和芯片。
Claims (10)
1.一种轻量级可循环再生的区块链存储装置,应用于采用物联网的组织机构,其特征在于,所述装置在物联网的终端设备、边缘节点和云平台三层结构上分别构建如下:
(1)在终端设备侧,将每个终端设备作为一个区块链节点,终端设备采集的数据以区块链方式存储;在终端设备侧,构建本地化的应用安全网络,本地化存证用户权益信息和隐私数据,对用户权益信息区块链式管理;根据数据的账本类型设置多条区块链,终端设备将采集的数据根据不同类型上传到对应的区块链存储;
(2)组织机构内每个簇设置有一个边缘节点,在边缘侧的每个边缘节点构建内存方式的缓存网络,分簇缓存终端设备上传的不同账本类型的实时流数据和交易记录;
边缘侧对每条账本类型的区块链,采用层次化节点每日选举HRAFT共识模型,每日投票确定中心节点,各中心节点并行打包本区块链的当日区块上传给云平台;中心节点采用固定每分钟区块策略预制当日区块,当日区块包括当日1440个固定分钟区块和上日余额笔数的汇总信息块;边缘节点缓存10分钟的交易记录和实时流数据;中心节点每确定待打包的10个固定分钟区块后,将待打包区块发布给跟随节点,将打包的10分钟区块上传到云平台;在当日区块打包发送完成后,中心节点对该区块循环再生;
边缘侧组织形成任务导向的强化工作量RPoW算力网络,为终端设备节点和边缘节点分配任务,渐近式批量为固定分钟区块生产工作量共识串;
(3)在云平台上构建分布式存储网络,对上传的数据进行备份存储;
云平台每日融合144个10分钟区块,打包压缩成一个每日链文件,将每日链文件作为永久超级链上的一个区块,上传云存储网络。
2.根据权利要求1所述的装置,其特征在于,所述的数据的账本类型包括视频流数据、节点可信数据、定期传感数据、用户行为数据以及服务使用数据。
3.根据权利要求1所述的装置,其特征在于,所述的终端设备侧,构建本地化的应用安全网络,包括:在终端设备本地实现用户的注册和数据授权方式;控制设备间、用户和设备间的服务访问和数据访问权限;采集数据时,提取出应用安全元素作为数据权益内容,形成签名式权益数据,再进行数据上传,所述应用安全元素包括设备ID、用户ID、时间戳、位置、行为类型和可信令牌串。
4.根据权利要求1所述的装置,其特征在于,所述的边缘侧,当终端设备上传视频流数据时,视频被分段切割缓存在终端设备本地,对应的交易记录在当日区块打包确认后,提交任务方式,逐步推进任务,上传分段的视频流数据到云平台。
5.根据权利要求1所述的装置,其特征在于,所述的边缘侧,针对每条账本类型的区块链,每日形成节点可信度账本,通过HRAFT共识模型进行角色层次演进,每日投票选举中心节点;
其中,节点可信度的计算方式是:对节点每日的可信度,使用模糊综合评价算法从工作量W、通信和打包能力P、贡献度C三类指标综合加权获得归一化的评分;再使用指数移动平均算法综合节点过去一周的每日评分,按时间距离指数加权,获得节点可信度;
所述HRAFT算法是改进的RAFT算法,划分出工人、观察员、书记员、候选人和领导者leader 5个级别的角色,晋级标准依据预先定义的适配模板,5个级别角色使用逐步晋级的总积分累计机制,其中,不同角色的积分计算为:工人考察工作量证明PoW数量,观察员考察读取和验证区块头数量,书记员考察打包区块数量,对候选人每日根据投票排序决定当日的leader;
6.根据权利要求1所述的装置,其特征在于,所述的边缘侧,组织形成任务导向的强化工作量RPoW算力网络,实现方式是:以最大化工作量PoW共识串难度为优化目标,约束条件包括时间限制条件LT、资源限制条件LR、及必须提交的任务数条件TS,调度调节难度的参数包括任务的优先级排序队列长度QT,当前基础难度系数BF;第i分钟的最优化工作量CD[i]计算如下:
max:CD[i]=A(BF,QT)+γ(S(P[i])+γ(S(P[i+1]+…γS(P[n]))
s.t.
LT=true
LR=true
TS=true
其中,max表示最大化,A(BF,QT)表示根据BF和QT预测当前可接受难度系数的限制的下限,P[i]是预测的第i分钟的交易量,S是根据P[i]计算的需要投入的工作量,γ为衰减率;true代表满足条件;
基于当前观察的交易量,使用卡尔曼滤波算法预测后续各分钟的交易量,作为调度依据;
其中,通过累积历史的多周期时间点和交易数,预测当天的多周期峰值时间范围,作为当前基础难度系数BF。
7.一种基于权利要求1~6任一所述装置的轻量级可循环再生的区块链存储方法,其特征在于,针对基于物联网实现的组织结构,实现步骤包括:
步骤1,构建分层次、分簇的多账本区块链网络;其中,分层次是指分终端设备、边缘节点和云平台三层;分簇是指组织结构内每个边缘节点对应一个簇;多账本是指根据数据的账本类型设置多条区块链,账本类型包括视频流数据、节点可信数据、定期传感数据、用户行为数据以及服务使用数据;
步骤2,在终端设备本地存证用户权益和隐私数据,区块链式管理用户权益;对终端设备采集数据时,形成签名式权益数据,以进行权益验证;
步骤3,对每条账本类型的区块链,采用层次化节点每日选举HRAFT共识模型,每日投票确定中心节点;边缘节点分簇缓存不同账本类型的实时流数据和交易记录;预制当日每分钟的固定区块;中心节点并行打包本区块链的当日区块上传给云平台;当日区块包括当日1440个固定分钟区块和上日余额笔数的汇总信息块;中心节点循环再生每日区块;
步骤4,组织形成任务导向的强化工作量RPoW算力网络,为终端设备节点和边缘节点分配任务,计算固定分钟区块的工作量共识串;对数据访问和验证时,进行PoV共识验证,PoV共识验证算法根据安全级别,设置组合的验证算法和验证串难度;
步骤5,物联网的终端设备采用5G模组芯片,在5G模组芯片内嵌入可信注册和统计业务数据流量、上链通信处理和安全加密签名的计算处理模块;对物联网数据可溯源到网络末端的节点和芯片。
8.根据权利要求7所述的方法,其特征在于,所述的步骤2包括:
步骤201,存证服务:在采集数据的终端设备,提取用户权益信息存证到区块链,并记录授权流转的过程;
步骤202,数据验证:对采集的数据提取统计字段、特征字段,和数据内容组合一起,构建数据指纹,区块链存储时验证数据的完整性和一致性;
步骤203,权益验证:数据采集时,利用用户身份信息和签名技术,形成签名式权益数据,使用用户公钥进行开放的权益验证;
步骤204,授权验证:由用户身份信息、预制的公共参考串和场景中的授权要素,生产授权令牌串,在服务方验证授权合法性后才进行服务功能或数据传输。
9.根据权利要求7所述的方法,其特征在于,所述的步骤4中,PoV共识验证算法根据安全级别,组合验证算法;其中安全级别设置为1-5共五个级别,针对不同级别,动态叠加5个验证算法;5个验证算法分别为ECC签名算法、PoW算法、同态加密E算法、Nyberg单向累加器和Bloom过滤器、以及零知识证明zk-SNARKS算法。
10.根据权利要求7所述的方法,其特征在于,所述的步骤5,终端设备采用5G模组芯片,包括:
步骤501:在所述5G模组芯片内嵌入可信注册处理,在应用安全网络内注册身份;所述5G模组芯片的ID和位置信息,作为业务的注册证据内容,构建芯片承担数据传输的每个业务的身份标识,包括地址、公钥和私钥;
步骤502:在应用安全网络内授权建立访问关系,申请验证令牌,访问数据服务;
步骤503:所述5G模组芯片按预制的业务种类划分,定期统计传输的业务数据流量信息,包括服务对象、服务开始时间、服务流量统计和服务时长;使用业务的身份标识,定时触发上链处理;
步骤504:所述5G模组芯片提供上链处理的API接口,终端应用程序产生的交易记录通过API直接上传区块链;
步骤505:利用5G通信的邻居发现协议,发现和管理附近的缓存服务地址,对服务质量进行评估和排序,挑选最优缓存服务节点,发送交易记录。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011306991 | 2020-11-20 | ||
CN2020113069918 | 2020-11-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114065283A true CN114065283A (zh) | 2022-02-18 |
CN114065283B CN114065283B (zh) | 2024-05-28 |
Family
ID=80272173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111349769.0A Active CN114065283B (zh) | 2020-11-20 | 2021-11-15 | 一种轻量级可循环再生的区块链存储方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114065283B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114281605A (zh) * | 2022-03-07 | 2022-04-05 | 杭州费尔斯通科技有限公司 | 一种基于区块链分区存储的计算方法和系统 |
CN114416765A (zh) * | 2022-03-28 | 2022-04-29 | 北京微芯感知科技有限公司 | 一种区块链交易无级预测执行方法及系统 |
CN114745102A (zh) * | 2022-02-25 | 2022-07-12 | 江苏大学 | 一种基于边缘计算的轻量级且可扩展的区块链系统 |
CN114785812A (zh) * | 2022-06-22 | 2022-07-22 | 浙商银行股份有限公司 | 一种基于零知识证明的区块链区块同步方法及装置 |
CN114915404A (zh) * | 2022-05-13 | 2022-08-16 | 北京邮电大学 | 一种面向物联网的区块链数据存储扩展模型构建方法 |
CN114979182A (zh) * | 2022-03-22 | 2022-08-30 | 大连理工大学 | 一种基于区块链的工业5g-u物联网资源调度方法 |
CN115037755A (zh) * | 2022-04-27 | 2022-09-09 | 东北大学 | 基于数据重分布和动态节点策略的区块链轻量存储方法 |
CN115297117A (zh) * | 2022-10-08 | 2022-11-04 | 中国人民解放军国防科技大学 | 基于区块链的云边端安全可信交互计算系统及装置 |
CN115348263A (zh) * | 2022-06-29 | 2022-11-15 | 中国工商银行股份有限公司 | 多层次区块链系统、多层次区块链的混合组网方法及装置 |
CN115623001A (zh) * | 2022-10-08 | 2023-01-17 | 中国人民解放军国防科技大学 | 基于区块链的云边端服务可信接入与可追溯服务协同方法 |
CN116095084A (zh) * | 2023-04-03 | 2023-05-09 | 浙江大学 | 一种基于区块链的智能电网数据存储方法和系统 |
CN116566995A (zh) * | 2023-07-10 | 2023-08-08 | 安徽中科晶格技术有限公司 | 一种基于分类、聚类算法的区块链数据传输方法 |
CN116962439A (zh) * | 2022-04-14 | 2023-10-27 | 苏州科技大学 | 一种基于双账本的物联网数据存储与共享方法 |
CN117055818A (zh) * | 2023-08-25 | 2023-11-14 | 南京合宜信息技术有限公司 | 基于区块链的客户信息存储管理方法及系统 |
CN116880778B (zh) * | 2023-09-07 | 2023-11-21 | 杭州迅杭科技有限公司 | 一种基于再生编码及分布式存储的用户隐私保护方法 |
CN117176744A (zh) * | 2023-08-23 | 2023-12-05 | 中电科数字科技(集团)有限公司 | 基于分布式数字底座的物联网实时数据分层存储系统及方法 |
CN117201196A (zh) * | 2023-11-07 | 2023-12-08 | 贵州道坦坦科技股份有限公司 | 一种基于双链融合的智慧高速数据存储方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106027264A (zh) * | 2016-07-26 | 2016-10-12 | 宁圣金融信息服务(上海)有限公司 | 域名区块链链接保存方法和装置 |
CN107181797A (zh) * | 2017-05-11 | 2017-09-19 | 中国农业银行股份有限公司 | 一种区块链的区块压缩方法和系统 |
CN107368259A (zh) * | 2017-05-25 | 2017-11-21 | 阿里巴巴集团控股有限公司 | 一种向区块链系统中写入业务数据的方法和装置 |
CN109246137A (zh) * | 2018-10-23 | 2019-01-18 | 北京航空航天大学 | 基于区块链的海上作战数据的安全防护方法及装置 |
CN110099055A (zh) * | 2019-04-29 | 2019-08-06 | 北京工业大学 | 基于轻量级区块链节点的物联网服务架构 |
CN110445827A (zh) * | 2019-06-06 | 2019-11-12 | 中国科学院上海微系统与信息技术研究所 | 基于分布式账本技术的传感网的安全管理方法及安全系统 |
WO2019232789A1 (zh) * | 2018-06-08 | 2019-12-12 | 北京大学深圳研究生院 | 一种基于投票的共识方法 |
WO2020113545A1 (zh) * | 2018-12-07 | 2020-06-11 | 北京大学深圳研究生院 | 基于联盟链投票共识算法产生及管理多模标识网络的方法 |
CN111464490A (zh) * | 2020-02-24 | 2020-07-28 | 浙江工业大学 | 一种面向物联网终端管控的轻量级区块链网关及方法 |
CN111740989A (zh) * | 2020-06-19 | 2020-10-02 | 大连理工大学 | 一种面向区块链的物联网芯片轻量级数据加密方法 |
-
2021
- 2021-11-15 CN CN202111349769.0A patent/CN114065283B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106027264A (zh) * | 2016-07-26 | 2016-10-12 | 宁圣金融信息服务(上海)有限公司 | 域名区块链链接保存方法和装置 |
CN107181797A (zh) * | 2017-05-11 | 2017-09-19 | 中国农业银行股份有限公司 | 一种区块链的区块压缩方法和系统 |
CN107368259A (zh) * | 2017-05-25 | 2017-11-21 | 阿里巴巴集团控股有限公司 | 一种向区块链系统中写入业务数据的方法和装置 |
WO2019232789A1 (zh) * | 2018-06-08 | 2019-12-12 | 北京大学深圳研究生院 | 一种基于投票的共识方法 |
CN109246137A (zh) * | 2018-10-23 | 2019-01-18 | 北京航空航天大学 | 基于区块链的海上作战数据的安全防护方法及装置 |
WO2020113545A1 (zh) * | 2018-12-07 | 2020-06-11 | 北京大学深圳研究生院 | 基于联盟链投票共识算法产生及管理多模标识网络的方法 |
CN110099055A (zh) * | 2019-04-29 | 2019-08-06 | 北京工业大学 | 基于轻量级区块链节点的物联网服务架构 |
CN110445827A (zh) * | 2019-06-06 | 2019-11-12 | 中国科学院上海微系统与信息技术研究所 | 基于分布式账本技术的传感网的安全管理方法及安全系统 |
CN111464490A (zh) * | 2020-02-24 | 2020-07-28 | 浙江工业大学 | 一种面向物联网终端管控的轻量级区块链网关及方法 |
CN111740989A (zh) * | 2020-06-19 | 2020-10-02 | 大连理工大学 | 一种面向区块链的物联网芯片轻量级数据加密方法 |
Non-Patent Citations (3)
Title |
---|
孙善勇;张玉清;: "区块链技术", 首都师范大学学报(自然科学版), no. 02, 15 April 2020 (2020-04-15) * |
彭文鑫;李松浓;陈涛;侯兴哲;: "图结构区块链在电力物联感知网络中的应用研究", 电力信息与通信技术, no. 06, 25 June 2020 (2020-06-25) * |
徐雪松;金泳;曾智;杨胜杰;陈荣元;: "应用于工业互联网数据安全的分层轻量级高通量区块链方法", 计算机集成制造系统, no. 12, 15 December 2019 (2019-12-15) * |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114745102A (zh) * | 2022-02-25 | 2022-07-12 | 江苏大学 | 一种基于边缘计算的轻量级且可扩展的区块链系统 |
CN114745102B (zh) * | 2022-02-25 | 2024-02-27 | 江苏大学 | 一种基于边缘计算的轻量级且可扩展的区块链系统 |
CN114281605A (zh) * | 2022-03-07 | 2022-04-05 | 杭州费尔斯通科技有限公司 | 一种基于区块链分区存储的计算方法和系统 |
CN114281605B (zh) * | 2022-03-07 | 2022-06-21 | 杭州费尔斯通科技有限公司 | 一种基于区块链分区存储的计算方法和系统 |
CN114979182B (zh) * | 2022-03-22 | 2023-02-14 | 大连理工大学 | 一种基于区块链的工业5g-u物联网资源调度方法 |
CN114979182A (zh) * | 2022-03-22 | 2022-08-30 | 大连理工大学 | 一种基于区块链的工业5g-u物联网资源调度方法 |
CN114416765B (zh) * | 2022-03-28 | 2022-06-14 | 北京微芯感知科技有限公司 | 一种区块链交易无级预测执行方法及系统 |
CN114416765A (zh) * | 2022-03-28 | 2022-04-29 | 北京微芯感知科技有限公司 | 一种区块链交易无级预测执行方法及系统 |
CN116962439A (zh) * | 2022-04-14 | 2023-10-27 | 苏州科技大学 | 一种基于双账本的物联网数据存储与共享方法 |
CN116962439B (zh) * | 2022-04-14 | 2024-04-30 | 苏州科技大学 | 一种基于双账本的物联网数据存储与共享方法 |
CN115037755A (zh) * | 2022-04-27 | 2022-09-09 | 东北大学 | 基于数据重分布和动态节点策略的区块链轻量存储方法 |
CN115037755B (zh) * | 2022-04-27 | 2023-04-07 | 东北大学 | 基于数据重分布和动态节点策略的区块链轻量存储方法 |
CN114915404A (zh) * | 2022-05-13 | 2022-08-16 | 北京邮电大学 | 一种面向物联网的区块链数据存储扩展模型构建方法 |
CN114785812A (zh) * | 2022-06-22 | 2022-07-22 | 浙商银行股份有限公司 | 一种基于零知识证明的区块链区块同步方法及装置 |
CN114785812B (zh) * | 2022-06-22 | 2022-10-21 | 浙商银行股份有限公司 | 一种基于零知识证明的区块链区块同步方法及装置 |
CN115348263A (zh) * | 2022-06-29 | 2022-11-15 | 中国工商银行股份有限公司 | 多层次区块链系统、多层次区块链的混合组网方法及装置 |
CN115623001A (zh) * | 2022-10-08 | 2023-01-17 | 中国人民解放军国防科技大学 | 基于区块链的云边端服务可信接入与可追溯服务协同方法 |
CN115297117B (zh) * | 2022-10-08 | 2022-12-23 | 中国人民解放军国防科技大学 | 基于区块链的云边端安全可信交互计算系统及装置 |
CN115297117A (zh) * | 2022-10-08 | 2022-11-04 | 中国人民解放军国防科技大学 | 基于区块链的云边端安全可信交互计算系统及装置 |
CN115623001B (zh) * | 2022-10-08 | 2024-04-12 | 中国人民解放军国防科技大学 | 基于区块链的云边端服务可信接入与可追溯服务协同方法 |
CN116095084A (zh) * | 2023-04-03 | 2023-05-09 | 浙江大学 | 一种基于区块链的智能电网数据存储方法和系统 |
CN116566995A (zh) * | 2023-07-10 | 2023-08-08 | 安徽中科晶格技术有限公司 | 一种基于分类、聚类算法的区块链数据传输方法 |
CN116566995B (zh) * | 2023-07-10 | 2023-09-22 | 安徽中科晶格技术有限公司 | 一种基于分类、聚类算法的区块链数据传输方法 |
CN117176744A (zh) * | 2023-08-23 | 2023-12-05 | 中电科数字科技(集团)有限公司 | 基于分布式数字底座的物联网实时数据分层存储系统及方法 |
CN117055818A (zh) * | 2023-08-25 | 2023-11-14 | 南京合宜信息技术有限公司 | 基于区块链的客户信息存储管理方法及系统 |
CN117055818B (zh) * | 2023-08-25 | 2024-05-10 | 南京合宜信息技术有限公司 | 基于区块链的客户信息存储管理方法及系统 |
CN116880778B (zh) * | 2023-09-07 | 2023-11-21 | 杭州迅杭科技有限公司 | 一种基于再生编码及分布式存储的用户隐私保护方法 |
CN117201196A (zh) * | 2023-11-07 | 2023-12-08 | 贵州道坦坦科技股份有限公司 | 一种基于双链融合的智慧高速数据存储方法及系统 |
CN117201196B (zh) * | 2023-11-07 | 2024-02-09 | 贵州道坦坦科技股份有限公司 | 一种基于双链融合的智慧高速数据存储方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114065283B (zh) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114065283B (zh) | 一种轻量级可循环再生的区块链存储方法及装置 | |
CN109034833B (zh) | 一种基于区块链的产品追溯信息管理系统及方法 | |
Xie et al. | A survey on the scalability of blockchain systems | |
Wang et al. | Blockchain-based federated learning: A comprehensive survey | |
CN106503574B (zh) | 区块链安全存储方法 | |
CN112270550B (zh) | 一种基于区块链的新能源电力溯源方法及系统 | |
CN110032545A (zh) | 基于区块链的文件存储方法、系统及电子设备 | |
CN111444277B (zh) | 一种基于区块链技术的反恐情报协同共享平台及方法 | |
CN111526200A (zh) | 一种基于区块链和云平台的数据存储访问方法及系统 | |
CN113708934B (zh) | 异构环境下基于区块链的能源互联网可信交互数据系统 | |
CN112486933A (zh) | 一种基于联盟链的遥感数据共享交换方法 | |
CN113256297B (zh) | 基于区块链的数据处理方法、装置、设备及可读存储介质 | |
CN111459461A (zh) | 基于物联网和区块链技术的用能权核定及交易系统和方法 | |
CN114493865A (zh) | 基于区块链的去中心化互联网协同系统和数据交互方法 | |
CN109951490A (zh) | 基于区块链的网页防篡改方法、系统及电子设备 | |
CN113886501A (zh) | 一种基于多链架构下的区块链业务模块扩展方法 | |
CN110648534A (zh) | 基于区块链的物联网的交通数据上链方法及设备 | |
CN115185914A (zh) | 基于链上链下数据协同的数据共享方法、计算设备 | |
CN112491804A (zh) | 一种基于区块链的ics安全策略方法 | |
CN115563859A (zh) | 一种基于分层联邦学习的电力负荷预测方法、装置及介质 | |
Chauhan et al. | A systematic review of blockchain technology to find current scalability issues and solutions | |
Liu et al. | Using blockchain technology in IoT manufacture environment for intelligence prediction | |
CN113111125A (zh) | 一种基于区块链的业务存证方法 | |
CN113449014B (zh) | 一种基于区块链的选择性云数据查询系统 | |
CN115714645A (zh) | 基于区块链的数据隐私和安全保护的方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |