CN112633706A - 基于分层多链的物联网终端数据处理方法及系统 - Google Patents

基于分层多链的物联网终端数据处理方法及系统 Download PDF

Info

Publication number
CN112633706A
CN112633706A CN202011563428.9A CN202011563428A CN112633706A CN 112633706 A CN112633706 A CN 112633706A CN 202011563428 A CN202011563428 A CN 202011563428A CN 112633706 A CN112633706 A CN 112633706A
Authority
CN
China
Prior art keywords
data
chain
sub
layer
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011563428.9A
Other languages
English (en)
Other versions
CN112633706B (zh
Inventor
孙毅
王柯元
李雯林
刘彦秀
贾林鹏
王鑫
于雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202011563428.9A priority Critical patent/CN112633706B/zh
Priority claimed from CN202011563428.9A external-priority patent/CN112633706B/zh
Publication of CN112633706A publication Critical patent/CN112633706A/zh
Application granted granted Critical
Publication of CN112633706B publication Critical patent/CN112633706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06Electricity, gas or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Technology Law (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提出一种基于分层多链的物联网终端数据处理方法,包括:以多条区块链子链构建多层的区块链网络,将物联网终端分为多组,并为每组终端分配一条子链;将当前层子链分为多组,并为每组当前层子链分配一条上一层子链;将该终端获取的终端数据上传至本组的子链,由该子链对该终端数据进行共识验证,并对完成验证的终端数据进行整合,将整合后的数据继续上传至本组的上一层子链,直到该终端数据的整合数据在最上层子链完成整合。本发明还提出一种基于分层多链的物联网终端数据处理系统。

Description

基于分层多链的物联网终端数据处理方法及系统
技术领域
本发明涉及区块链与物联网技术领域,具体涉及一种物联网终端数据处理方法和系统。
背景技术
当前在运行的电网电力数据管理系统仍有一部分需要依赖手动采集数据,再录用到按照行政区域划分的局部中心化系统当中。这个过程中存在由于工作人员的失误等原因引起的数据源头不可靠的问题,且无法实时跟踪用户的使用电量,效率低下。针对这个现状,学界近年来提出“智能电网”的概念,希望电力数据管理系统实现用电数据从源头终端设备如“智能电表”自动化实时采集数据发送给云端,云端是一个集中处理的中心化系统,完成数据的计算和存储。但在需要处理海量数据的电网场景,单一集中处理的中心化系统会面临极大的计算与存储压力,这在实现上并不现实,实际应用中可行的方案是按照行政区域为各地区单独设立数据管理系统分拆存算压力,或是采用如文献[1]中提出的通过边缘计算的架构减轻云端处理数据的压力,这类方案的确可以提高电力数据采集与处理的自动化程度,然而每个系统依然使用的是中心化数据管理方法,存在受到恶意攻击或意外宕机而导致单点失效或数据丢失、被篡改的风险,影响电力数据的安全性和完整性。
区块链技术采用的是一种分布式、去中心化的计算与存储架构。区块链网络中对等的节点经过共识算法达成一致,分布式共享相同的数据,即账本。区块链具有去中心化、公开透明、不可篡改等优点。由于区块链网络中,相同数据被存储在多个网络节点当中,单一节点被攻击无法对区块链中存储的数据造成破坏,可以保证数据的安全性和完整性。研究人员已经利用区块链技术特性在多个领域开展对存储数据的安全性保护的研究。例如,在教育行业中采用Educhain跟踪学生在各个阶段的学习记录,促进学习数据在不同教育机构之间的分发、共享、分析与应用;在食品溯源体系中的区块链应用;利用超级账本区块链框架解决司法存证问题等。在电网领域,现有技术利用区块链技术的特性解决电力数据的资产化与交易问题,以及提出用联盟链管理电力物联网的电力数据的设想。但是这些方案仅在通量规模较小的实验室环境得到验证,区块链的通量瓶颈和存储成本会阻碍该技术直接应用在实时采集大规模数据的电力物联网场景。因此,应为电网电力数据管理设计一种新的区块链网络架构,兼顾电力数据真实可靠和满足通量性能与存储开销。
基于对运行中的电力数据管理系统及当前学界提出的一些改进方案的调研,发明人发现依然存在较多电力数据规范化管理的问题。
运行中的电力数据管理系统的数据源头采集有些依然依靠传统的人工抄表,而非来自终端设备自动发送,这种传统的方式使系统录入数据的过程掺杂了人为错误的风险,令数据存储从源头开始便不具备高度可靠性,影响数据的真实性。并且这种录入数据方式效率低下,注定了无法实时地采集用电数据,这令架设在数据管理平台之上的应用难以有效地分析用户的用电行为。
当前电网公司普遍以价格昂贵的大型服务器作基础架构,磁盘阵列作为存储硬件,选用Oracle等关系型数据库来存储实时和历史电力数据。与此同时,对于电力数据的分析也是通过集中式的云端计算平台,面对日益增长的海量数据,只能为集中式的系统不断扩容解决存储与计算瓶颈。这种组合方式使得系统成本较高、计算效率低下且扩展性较差,无法满足“智能电网”对电力数据的存储与计算可靠性的要求。为解决存算集中带来的性能问题,应该将中心化的集中式系统解构成分散的子系统,在电网场景下,可以按照行政区域在靠近底层终端设备的小范围区域建立小型的数据管理平台对接该范围内用户的用电数据,在每个小型数据管理平台采用边缘计算的思想预先对电力数据进行处理,逐级向上与其他区域的电力数据整合汇总。通过分层的架构,在用户近端实施轻量高效的实时计算,解决了集中式系统的性能问题,也提升了系统的可扩展性。
中心化系统存在单点失效、数据安全性不足、透明度不高、数据易被篡改与丢失的问题。当前电网公司的电力数据管理系统属于中心化系统,当管理中心遇到了宕机等故障后,会使数据管理平台及上层应用均陷入停滞。电力数据管理系统中存有大量的涉及用户隐私甚至国家电力安全的敏感信息,在遭受到恶意攻击时承担着被入侵后数据遭到破坏的风险。另外,中心化的电力数据管理系统也要面临一些内部工作人员失误或是人情世故等原因导致数据出现损坏、丢失等情况。
当前电网公司往往是地方在各自管辖的区域使用大型独立的数据管理平台,负责管辖所在区域的电力数据,各地方使用的系统不尽相同。系统的异构性使高层级系统难以统一地整合下层各区域的数据,下层系统的数据易形成数据孤岛,这对电网由上到下层次监管的需求是不利的。
区块链技术是目前最合适的数据保护解决方案,对当前的电网数据管理方案加以改进,采用网络中分布式的节点共同维护用电数据,可以有效地解决单点失效和数据丢失、被篡改的问题。但目前单链区块链存在性能瓶颈,且高冗余性带来巨大的存储开销,存在较大的应用场景局限性,在需要处理海量数据的电网场景,直接将数据源头采集的用电数据上链到单一的区块链系统并不可行。
发明内容
针对上述问题,本发明利用边缘计算逐级向上分层汇总的区块链网络架构,提出一种物联网终端数据处理方法,以在满足终端数据可靠性的前提下,降低数据处理成本。具体来说,本发明的数据处理方法包括:
以多条区块链子链构建K层的区块链网络,每条子链包括至少一个管理节点,将所有第k层子链的管理节点分为多个组,以分组后的第k层子链的管理节点为本组对应的第k-1层子链的记账节点;将物联网终端分为多组,为每组终端分配一条第K层子链;第1层网络具有1条子链;将该终端获取的终端数据上传至本组的第K层子链,由该第K层子链对该终端数据进行共识验证,并对通过验证的终端数据进行整合,将整合后数据继续广播至本组的第K-1层子链;由第k层子链将接收到的数据进行共识验证并整合后广播至第k-1层子链,直到该终端数据整合后的数据在第1层子链完成共识验证及整合;其中,K、k为正整数,k∈(1,K]。
本发明所述的物联网终端数据处理方法,其中每条子链仅有一个管理节点时,于任一第k层子链对接收到的数据完成共识验证及整合后,由该管理节点将整合后的数据上传至本组的第k-1层子链,当且仅当该第k-1层子链对该管理节点的签名通过验证后,由该第k-1层子链接收该整合后的数据。
本发明所述的物联网终端数据处理方法,其中每条子链具有n个管理节点,于任一第k层子链对接收到的数据完成共识验证及整合后,当且仅当至少m个该管理节点对该整合后的数据完成签名后,由任一该管理节点将整合后的数据上传至本组的第k-1层子链,由该第k-1层子链接收该整合后的数据;其中,m、n为正整数,m<n。
本发明所述的物联网终端数据处理方法,还包括:当节点S向下层节点X请求访问数据时,S向S的下一层节点发出访问请求,接收到该访问请求的节点对发送该访问请求的节点进行身份验证,并在通过验证后,将该访问请求向下传递,直到X的上一层管理节点A接收到该访问请求并完成身份验证;由传递该访问请求的节点将本节点到下一层接收该访问请求的节点之间的访问路径依次向上传递至S,S根据所有访问路径向X发送该访问请求,X收到该访问请求后对S进行身份验证,在通过验证后,X将该访问数据发送给S。
本发明还提出一种基于分层多链的物联网终端数据处理系统,包括:多层区块链网络,具有多条区块链子链构建的K层结构,每条子链包括至少一个管理节点,所有第k层子链的管理节点被分为多个组,分组后的第k层子链的管理节点为本组对应的第k-1层子链的记账节点;物联网终端被分为多组,每组终端分配一条第K层子链;第1层网络具有1条子链;共识模块,用于对第k层子链内广播的数据进行共识验证,该广播的的数据包括该终端上传的终端数据或第k+1层子链生成的整合后数据;数据处理模块,用于第k层子链对完成共识验证的数据进行整合后,将整合后数据继续广播至本组的第k-1层子链,直到该终端数据整合后的数据在第1层子链完成共识验证及整合;其中,K、k为正整数,k∈(1,K]。
本发明所述的物联网终端数据处理系统,其中该数据处理模块还包括:第一数据签名模块,用于当子链仅有一个管理节点时,于任一第k层子链对接收到的数据完成共识验证及整合后,由该管理节点将整合后的数据上传至本组的第k-1层子链,当且仅当该第k-1层子链对该管理节点的签名通过验证后接收该整合后的数据。
本发明所述的物联网终端数据处理系统,其中该数据处理模块还包括:第二数据签名模块,用于当子链具有n个管理节点时,于任一第k层子链对接收到的数据完成共识验证及整合后,当且仅当至少m个该管理节点对该整合后的数据完成签名后,由任一该管理节点将整合后的数据上传至本组的第k-1层子链,并由该第k-1层子链接收该整合后的数据;其中,m、n为正整数,m<n。
本发明所述的物联网终端数据处理系统,还包括:数据访问模块,用于节点S向下层节点X获取访问数据;其中,S向S的下一层节点发出访问请求,接收到该访问请求的节点对发送该访问请求的节点进行身份验证,并在通过验证后,将该访问请求向下传递,直到X的上一层管理节点A接收到该访问请求并完成身份验证;由传递该访问请求的节点将本节点到下一层接收该访问请求的节点之间的访问路径依次向上传递至S,S根据所有访问路径向X发送该访问请求,X收到该访问请求后对S进行身份验证,在通过验证后,X将该访问数据发送给S。
本发明还提出一种计算机可读存储介质,存储有计算机可执行指令,该计算机可执行指令用于执行如前所述的基于分层多链的物联网终端数据处理方法。
本发明还提出一种数据处理装置,包括如前所述的计算机可读存储介质,该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令,以进行基于分层多链的物联网终端数据处理。
本发明通过将存储与计算分散到每条子链当中,利用边缘计算将数据逐级向上分层汇总,既满足了物联网终端数据真实可靠,又规避了单链系统出现的性能瓶颈与海量数据存储问题。
附图说明
图1是本发明实施例的区块链网络架构示意图。
图2是本发明实施例的区块链网络架构层际数据访问示意图。
图3是本发明实施例的电网分层多链区块链网络示意图。
图4是本发明实施例的物联网终端数据处理方法数据上传流程图。
图5是本发明实施例的物联网终端数据处理方法数据访问流程图。
图6是本发明实施例的数据处理装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明提出的基于分层多链的物联网终端数据处理方法和系统进一步详细说明。应当理解,此处所描述的具体实施方法仅仅用以解释本发明,并不用于限定本发明。
发明人在进行电网数据管理方法研究时发现,现有的电网数据管理方法多采用存算集中的中心化系统,存在单点故障和数据安全保护的问题,面对海量数据处理时,集中式也带来系统性能和可扩展性的问题。一些方案提出了将集中式的系统改进成在靠近端侧设备或数据源头的网络边缘侧,就近提供边缘计算服务,这缓解了集中式数据管理系统的压力,但局部上依然属于中心化系统,缺少对数据更进一步的安全保护;一些方案提出直接利用区块链作为底层数据库,这虽然理论上可以保护数据的安全性和完整性,但单链区块链技术的通量瓶颈和高冗余存储不能适用于电网类处理高并发海量数据的应用场景。主要存在的问题包括以下4个方面:
(1)数据源头录入的可靠性和低效性:当前的用电数据管理系统有的依然是通过人工抄表采集数据,这导致数据从源头录入系统就可能因为人为的错误而影响数据的真实性,并且这种录入数据方式效率低下,注定了无法实时地采集用电数据,这令架设在数据管理平台之上的应用很难有效地分析用户的用电行为。因此,应从终端设备开始直接向系统发送用电数据,保证录入系统数据的真实可靠和实时高效。
(2)存算集中带来的性能问题:集中式的系统集中地处理所有电力数据的存储与计算,面对日益增加的历史数据和承载的上层应用,系统的性能和容量都受到集中式系统的能力限制。为保证集中式系统的平稳运行,需要不断地为其扩容与增加算力资源,但这并不是一个可以无限扩张的方案,投入的系统成本并不能线性提升计算效率,可扩展性较差。因此,应将集中式的系统改进成由管辖小范围源头设备的子系统组成自底向上的系统架构,分散系统的存储与计算压力,提高系统可扩展性。
(3)数据安全性和完整性问题:这是中心化系统的固有问题,即使是采用分布式数据库,分库分表的方式依然是用中心化的管理方式维护同一份数据内容,加入更多的保护机制也只能在一定程度上减少出错的风险,并不能真正地解决问题。利用区块链技术加以改进,可以从根本上为数据的安全性和完整性带来保障。
(4)数据由多方各自维护带来的数据孤岛问题:电网公司本身按照行政区域进行组织管理,是一种自底向上逐层管理的组织架构。但当前同层级电网采用的系统具有较强的独立性,数据在不同管理层间的传递也因此难以统一,这使得一些关键数据不能及时被上级监测。因此,在系统设计中应契合电网的组织架构,具备灵活的上层系统对下层系统的数据访问功能。
发明人经过对电网电力数据处理方案、现有数据处理技术、区块链技术的研究,提出一种基于分层多链的物联网终端数据处理方法,终端设备通过物联网将数据从源头自动化上链,保证上链数据的真实可靠,利用区块链技术在同层数据管理方间建立信任网络,各方均维护唯一的真实版本数据,避免出现系统单点失效、数据丢失或被篡改的情况。然而,单链技术的通量瓶颈与存储成本使其难以直接应用在实时采集大规模数据的电网场景当中,对此本方法的区块链网络架构采用分层多链的模式,将存储与计算分散到每条子链当中,利用边缘计算将数据逐级向上分层汇总,既满足电力数据真实可靠,又能规避单链系统出现的性能瓶颈与海量数据存储问题。同时,为保证系统具有灵活的数据查询功能,设计出一种多层区块链网络层级间的数据目录索引与访问控制机制实现层际数据的高效、可控访问,且支持规模化水平扩展。
具体来说,本发明设计了一种利用边缘计算逐级向上分层汇总的新型区块链网络架构,既满足终端数据真实可靠,又能规避单链系统出现的性能瓶颈与海量数据存储问题。通过目录索引与访问控制实现层际数据访问功能,上层向下层查询数据快速且可扩展。
本发明的物联网终端数据处理系统架构主要针对电网场景而设计,在本发明所应用的电网场景中,每个智能电表作为一个终端物联网设备接入底层区块链网络,实时自动地上传电力数据,从源头上保证数据真实性,并借助分层多链系统保证电力数据维护的安全性、可扩展和可访问。电网管理者可以通过客户端查询大至城市小至各区域挨家挨户的用电情况。
除此以外,还可以推广至更多层级管理海量数据并要求数据真实可靠的物联网场景,例如:
1、自来水公司场景:类似于电网场景,每个水表作为一个终端物联网设备接入底层区块链网络上传用水数据,通过分层多链向上汇总用水数据。上层管理者可以查询大至城市的用水量小至各区域挨家挨户的用水情况。
2、燃气公司场景:同样,燃气表作为一个终端物联网设备接入底层区块链网络上传燃气数据,通过分层多链向上汇总燃气数据。上层管理者可以查询大至城市的燃气用量小至各区域挨家挨户的燃气使用情况。
3、分公司销售记录场景:每个分公司运行一个底层区块链节点上传销售记录,通过分层多链向上汇总地区销售记录。上层管理者可以掌握公司在各地的销售情况。
本发明的目的在于,解决电网数据处理中存算集中带来的性能问题和中心化带来的数据安全性问题。区块链技术可以带来数据安全性和数据自动化处理,但单条区块链难以应对电网类实时产生海量数据的物联网场景。从将单链划分为多条同构链并行处理事务和利用边缘计算解构存算集中的性能压力的角度入手,本发明提出一种基于分层多链的电网电力数据管理方法,既满足电力数据真实可靠,又能规避单链系统出现的性能瓶颈与海量数据存储问题。通过目录索引与访问控制实现层际数据访问功能,上层向下层查询数据快速且可扩展。
本发明提出的基于分层多链的区块链网络架构由K层区块链子链组成,通常情况下,K≥3,例如,图1所示的区块链网络架构就采用的K=3,其中最底层(k=3)的区块链直接获取对应物联网终端通过物联网上传的数据,通过共识模块维护该区域唯一真实的数据,下层区块链在本层通过数据处理模块处理物联网终端数据并将处理结果传递到上一层区块链,该过程逐级向上直到顶层区块链(k=1);上层区块链通过数据访问模块实现跨层级访问下层物联网终端数据,其中,K、k为正整数,k∈(1,K]。
该架构由多层级多条区块链组成,每条子链主要有3个模块,分别是:共识模块、数据处理模块和数据访问模块。
共识模块:每条子链只需要负责子链内的数据处理,独立完成共识过程。对于底层区块链而言,区块链网络中的记账节点收到来自终端设备的数据信息后,以交易的形式广播到所在的子链中,经过区块链网络共识打包成区块,每个记账节点都会维护一份该区域唯一版本的真实终端数据。对于上层区块链而言,区块链网络中的记账节点同时也是下层网络的管理节点,管理节点将下层网络的汇总数据以交易的形式广播在上层区块链,并经过共识打包成区块,逐级向上保证数据在层与层之间的传递不可被篡改。
数据处理模块:下层区块链网络的管理节点对已经确认的(所在区块经过确认)终端数据进行区域整合,比如,在电网场景中,计算下层区块链网络区域的用电总量,再将整合后的电力数据在上层区块链的同一账户提交(每条区块链中节点账户地址全局共享,即下层的管理节点作为上层提交数据的记账节点采用的是同一个账户)。该过程利用了边缘计算的思想,将集中的计算分拆给每个子链,逐级向上汇总电力数据。
数据访问模块:该模块分为两个功能,一是上层网络的节点维护下层网络的访问索引表,便于上层的管理节点访问下层的终端数据;二是下层网络的节点采用访问控制机制,对发起数据访问请求的来源进行身份审查,只有其直系上层节点可以访问其数据,这与实际电网场景中不可跨区域数据访问保持一致。
该架构发挥了“区块链+物联网”技术结合的优势,实现电力数据的自动化处理,建立多方信任,避免单点失效,保证上链数据的真实性、不可篡改、高度透明。分层多链的架构与物联网(如电网、自来水管网、燃气管网或销售网)的地区划分并逐级向上的管理模式不谋而合,同层间区块链并行运行、高度自治、互不影响,能够应对高并发的业务需求,克服了区块链通量不足的痛点;下层与上层之间依靠下层的管理节点相连,通过边缘计算解构集中计算的压力,将下层数据进行整合后再提交至上层区块链,节约区块链的通信与存储开销且易于扩展。
(2)层际数据提交
该架构中,区块链网络中有记账节点和管理节点两种身份,记账节点与管理节点都参与到该层子链的共识,并维护一份真实终端数据,管理节点还负责将整合后的终端数据在上一层区块链提交,并与同层其他管理节点一起在上层网络对经多个区域整合的终端数据达成共识。管理节点充当着上下层区块链之间纽带的作用,在不同的安全假设下,应分情况讨论管理节点的可靠性。
若实际场景中,管理节点由权威部门维护且具有高鲁棒性,可以认定高度可信且设施可靠,不会发生篡改数据或故障宕机的情况,那么每个子链可以仅设置1个管理节点,上层区块链验证通过下层管理节点的签名,即可验证通过其提交的数据内容。
若管理节点不能保证足够的鲁棒性,且存在数据处理或传递过程中出错的可能,则单一的管理节点就会成为系统的安全瓶颈,因此拟设计每一子链中设置多个管理节点接入上层区块链,采用多签方式验证电力数据的有效性。例如,一条下层子链中设置了n个管理节点,均接入上层区块链,每次只需一个管理节点向上层区块链提交终端数据,并需要收集n个管理节点中至少m个管理节点的签名(m<n)。当出现管理节点运算或传输出错或作恶篡改数据的情况,只要至少有n-m+1个正常运行的管理节点,就可以保证本次提交无法获得m个有效签名;在负责提交的管理节点遇到故障宕机等意外情况未能及时提价数据时,其他的管理节点在上层区块链可以发现异常,及时做出轮换,维持系统的继续运行。
(3)层际数据访问
该架构采用了存储分散的策略,缓解集中式系统对海量数据存算集中带来的性能与存储压力,上层区块链维护的是经过下层区块链处理汇总后的宏观数据,逐级向下维护的是更细粒度的数据。但是不排除会有高层节点对低层局部区域终端数据访问的需求,因此需要一套层际数据访问协议,实现高层区块链节点可以访问下层区块链节点维护的电力数据。
拟设计子链中管理节点维护各记账节点的访问路径,建立访问索引表。如图2所示,记账节点X1、X2、X3和管理节点A组成1个下层区块链网络,记账节点Y1、Y2、Y3和管理节点B组成1个下层区块链网络,记账节点Z1、Z2、Z3和管理节点C组成1个下层区块链网络,3个下层子链的管理节点A、B、C在上层与高层管理节点S组成上层区块链网络。管理节点S维护其管理子链的记账节点访问路径,也就是节点A、B、C的访问方式,同理下层区块链中,管理节点A、B、C分别维护其管理子链的记账节点访问路径,分别是X1、X2、X3,Y1、Y2、Y3,Z1、Z2、Z3
对于高层管理节点S来说,访问同层维护的数据并不需要向A、B、C发送访问请求,因为S本地存储了这一层的数据,无需调用层际数据访问服务模块;若访问低层级局部区域更细粒度的电力数据,如X1维护的电力数据,层际数据访问过程为:①S通过其维护的A访问路径向A发送访问请求,A收到请求后验证请求来源身份;②身份验证通过,则将其维护的X1访问路径返回给S;③S通过返回A返回的X1访问路径向X1发送数据访问请求,X1验证S的身份;④身份验证通过则返回请求数据。
考虑到实际应用场景中层级数量有限,上述过程即使是从顶层管理节点向底层区块链发送数据访问请求,通信过程的时延也足够短,可以忽略不计。
层际数据访问过程中还需解决节点间信任问题,具体可分为访问目的节点对访问来源节点身份的信任和访问来源节点对访问目的节点返回数据内容真实性的信任。
1)访问目的节点对访问来源节点身份的信任通过访问控制机制实现。同构多链系统中节点的地址空间共享,访问目的节点设置规则,通过维护白名单和验证签名来保证仅准许其直系管理节点的访问请求。
2)访问来源节点对访问目的节点返回数据内容真实性的信任,拟设计两种访问方式:普通访问和可信访问。
a.普通访问,即按照上例通过一条路径向存有目标数据的一个节点请求数据,这种方式的优点是通信开销小且查询迅速,但不能保证访问目的节点返回了真实的数据,因此普通访问适合对数据并不较真的情况。
b.可信访问,即在上例基础上增加多条路径向存有目标数据的多个节点请求数据,适合对数据真实性有高要求的访问情况。例如,在每条子链仅有一个管理节点的场景中(管理节点高度可信),通过S->A->X1、S->A->X2、S->A->X33条路径向维护了相同数据的X1、X2、X33个目的节点发起访问请求,通过增加冗余度,对获得的多个访问结果进行比较,来判断是否得到真实的下层电力数据;在每条子链中有多个管理节点的场景中(图2中的A节点变成A1、A2、A3三个管理节点),则选择的多条路径中尽可能在每一层都选择到不同的节点,如S->A1->X1、S->A1->X2、S->A3->X3避免多条路径都经过某下层节点,使数据的真实性对其依赖。
下面详细介绍本发明的基于分层多链的物联网终端数据处理方法,本部分将以基于分层多链的电网电力数据管理方法中,自底向上从采集终端物联网设备数据逐级向上直至汇总到顶层区块链和自顶向下从顶层区块链向底层区块链访问某一用户用电记录的流程为例,结合附图对本发明作进一步的详细说明。在讲述具体流程之前,本部分先对更加具体的分层多链区块链网络进行说明,如图3所示。
首先,图3的分层多链区块链网络示意图中各元素含义包括:
·终端物联网设备(Sensors,例如智能电表等):终端物联网设备是整个新型电力数据物联网最基础的单元,设备内部均设有相关的传感器,用于实时地记录电力数据,每个终端物联网设备具有记录数据、上传数据等相关功能。
·区级区块链(District's Chain):根据行政区划,一定区域范围内的所有终端物联网设备向该区域的记账节点上传数据,记账节点形成了一个区级区块链,维护区域内所有终端物联网设备的电力数据。
·区级管理节点D:每个区级区块链中有相应的区级管理节点,包括D1,D2,D3,……,实时处理与整合该区域的用电数据,将此加工后的数据提交至市级区块链上。
·市级区块链(City's Chain):各个区级管理节点组成了市级区块链网络,市级区块链主要记录了城市各个区的用电数据。
·市级管理节点C:市级区块链也有相应的市级管理节点(图中白色六边形C1,C2,C3,…),它可以在数据访问模块通过维护的访问路径索引表来请求各个区级管理节点的数据,并根据各个区域用电情况实时计算该城市的用电数据,将数据提交至省级区块链中。
·省级区块链(Province's Chain):各个市级管理节点组成了省级区块链,此链主要记录本省各个市的用电数据,也可以通过数据访问模块向下访问市级、区级区块链中细粒度的用电情况。
·省级管理节点P:省级区块链中的管理节点,包括P1,P2,P3,……,它可以在数据访问模块通过维护的访问路径索引表来请求下层区块链记账节点的数据,并根据各个市用电情况实时计算该省的用电数据,将数据提交至国家级区块链中。
·国家级区块链(Nation’s Chain):所有省级管理节点组成了顶层的国家级区块链,此区块链中实时记录各个省份用电数据,可以通过数据访问模块向下访问低层级区块链的电力数据。
·国家级管理节点N:Nation’s Chain的管理节点。它保存有最高层区块链中所有区块记录,即各个省份用电数据的记录,并维护各省级管理节点的访问路径,拥有最高的管理权限。
图4是本发明实施例的物联网终端数据处理方法数据上传流程图。如图4所示,自底向上从采集终端物联网设备数据逐级向上直至汇总到顶层区块链的业务流程包括:
步骤S11,终端物联网设备Sensors向所在区域的区域记账节点实时发送电力数据。
步骤S12,区级区块链District's Chain中的所有记账节点将接收到的电力数据上传至所在的区级区块链网络,共同维护该区域每个终端物联网设备的电力数据;
步骤S13,区级区块链中的管理节点D从已确认的区块实时整合该区的用电数据。
步骤S14,区级区块链中的管理节点D作为市级区块链中的记账节点将电力数据提交至市级区块链City's Chain,与其他记账节点共同维护该市每个区整合后的电力数据。
步骤S15,市级区块链中的管理节点C从已确认的区块实时整合该市的用电数据。
步骤S16,市级区块链中的管理节点C作为省级区块链中的记账节点将电力数据提交至省级区块链Province's Chain,与其他记账节点共同维护该省每个市整合后的电力数据。
步骤S17,省级区块链中的管理节点P从已确认的区块实时整合该省的用电数据。
步骤S18,省级区块链中的管理节点P作为国家级区块链中的记账节点将电力数据提交至国家级区块链(图中Nation's Chain),与其他记账节点共同维护各省整合后的电力数据。
图5是本发明实施例的物联网终端数据处理方法数据访问流程图。如图5所示,自顶向下从顶层区块链向底层区块链访问某一终端物联网设备的用电数据的业务流程包括:
步骤S21,国家级区块链管理节点N维护国家级区块链其他记账节点的访问路径索引目录,向欲查询的目的电力数据所属的省级管理节点P发送访问请求。
步骤S22,省级区块链管理节点P验证发起访问请求的节点N的身份。
步骤S23,省级区块链管理节点P维护该省省级区块链其他记账节点的访问路径索引目录,向欲查询的目的电力数据所属的市级管理节点C发送访问请求。
步骤S24,市级区块链管理节点C验证发起访问请求的节点P的身份。
步骤S25,市级区块链管理节点C维护该市市级区块链其他记账节点的访问路径索引目录,将欲查询的目的电力数据所属的区级管理节点D的访问路径返回给省级区块链管理节点P。
步骤S26,省级区块链管理节点P将市级区块链管理节点C返回的区级管理节点D的访问路径返回给国家级区块链管理节点N。
步骤S27,国家级区块链管理节点N直接通过返回的访问路径向底层区级管理节点D发送数据访问请求。
步骤S28,区级区块链管理节点D验证发起访问请求的节点N的身份。
步骤S29,区级区块链管理节点D将其维护的底层终端物联网设备的电力数据返回给节点N。
图6是本发明的数据处理装置示意图。如图6所示,本发明实施例还提供一种计算机可读存储介质,以及一种数据处理装置。数据处理装置为本发明的分层多链的区块链网络的记账节点或管理节点,以进行物联网终端数据处理,本发明的计算机可读存储介质存储有计算机可执行指令,计算机可执行指令被数据处理装置的处理器执行时,实现上述基于区块链的域名数据存储方法。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器、FPGA、ASIC等)完成,所述程序可以存储于可读存储介质中,如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块可以采用硬件的形式实现,例如通过集成电路来实现其相应功能,也可以采用软件功能模块的形式实现,例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
本发明针对当前电网电力数据管理中,各层级电力数据由单一中心化系统维护,存在单点失效及数据丢失、被篡改的风险,提出的一种分层多链的物联网终端数据管理方法。数据从源头终端设备自动化实时上链,保证上链数据的真实可靠;自底向上,在每个局部区域均有一个底层区块链,其记账节点接收并维护区域内终端物联网设备的终端数据,各层区块链的管理节点将所管辖范围的终端数据逐级向上汇总直至顶层区块链;建立同层各数据管理方间的信任网络,维护同一版本的真实数据,避免单点失效及数据丢失和篡改。自顶向下,上层管理节点通过访问路径索引表找到一条或多条访问下层节点维护的终端数据,下层节点维护准许访问请求的白名单,用于验证访问来源节点身份。同层间的子链并行运行、高度自治、互不影响,能够应对高并发的业务需求,克服了单链区块链通量不足的痛点;下层与上层之间依靠下层区块链的管理节点相连,将下层终端数据进行结算后再提交至上层区块链,节约上层区块链的通信与存储开销。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变形,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种基于分层多链的物联网终端数据处理方法,其特征在于,包括:
以多条区块链子链构建K层的区块链网络,每条子链包括至少一个管理节点,将所有第k层子链的管理节点分为多个组,以分组后的第k层子链的管理节点为本组对应的第k-1层子链的记账节点;将物联网终端分为多组,为每组终端分配一条第K层子链;第1层网络具有1条子链;
将该终端获取的终端数据上传至本组的第K层子链,由该第K层子链对该终端数据进行共识验证,并对通过验证的终端数据进行整合,将整合后数据继续广播至本组的第K-1层子链;由第k层子链将接收到的数据进行共识验证并整合后广播至第k-1层子链,直到该终端数据整合后的数据在第1层子链完成共识验证及整合;
其中,K、k为正整数,k∈(1,K]。
2.如权利要求1所述的物联网终端数据处理方法,其特征在于,每条子链仅有一个管理节点时,由第k层的管理节点将该整合后数据广播至本组的第k-1层子链,当该第k-1层子链对该管理节点的签名通过验证后,通过对该整合后数据的共识验证,将该整合后数据写入新区块并链入该第k-1层子链。
3.如权利要求1所述的物联网终端数据处理方法,其特征在于,每条子链具有n个管理节点,由第k层的任一管理节点将该整合后数据广播至本组的第k-1层子链,当该整合后的数据至少具有m个该管理节点进行签名,则该第k-1层子链通过对该整合后的数据的共识验证,将该整合后数据写入新区块并链入该第k-1层子链;其中,m、n为正整数,m<n。
4.如权利要求2或3所述的物联网终端数据处理方法,其特征在于,还包括:
当节点S向下层节点X请求访问数据时,S向S的下一层节点发出访问请求,接收到该访问请求的节点对发送该访问请求的节点进行身份验证,并在通过验证后,将该访问请求向下传递,直到X的上一层管理节点A接收到该访问请求并完成身份验证;由传递该访问请求的节点将本节点到下一层接收该访问请求的节点之间的访问路径依次向上传递至S,S根据所有访问路径向X发送该访问请求,X收到该访问请求后对S进行身份验证,在通过验证后,X将该访问数据发送给S。
5.一种基于分层多链的物联网终端数据处理系统,其特征在于,包括:
多层区块链网络,具有多条区块链子链构建的K层结构,每条子链包括至少一个管理节点,所有第k层子链的管理节点被分为多个组,分组后的第k层子链的管理节点为本组对应的第k-1层子链的记账节点;物联网终端被分为多组,每组终端分配一条第K层子链;第1层网络具有1条子链;
共识模块,用于对第k层子链内广播的数据进行共识验证,该广播的的数据包括该终端上传的终端数据或第k+1层子链生成的整合后数据;
数据处理模块,用于第k层子链对完成共识验证的数据进行整合后,将整合后数据继续广播至本组的第k-1层子链,直到该终端数据整合后的数据在第1层子链完成共识验证及整合;
其中,K、k为正整数,k∈(1,K]。
6.如权利要求5所述的物联网终端数据处理系统,其特征在于,该数据处理模块还包括:
第一共识模块,用于当每条子链仅有一个管理节点时,由第k层的管理节点将该整合后数据广播至本组的第k-1层子链,当该第k-1层子链对该管理节点的签名通过验证后,通过对该整合后数据的共识验证,将该整合后数据写入新区块并链入该第k-1层子链。
7.如权利要求5所述的物联网终端数据处理系统,其特征在于,该数据处理模块还包括:
第二共识模块,用于当每条子链具有n个管理节点,由第k层的任一管理节点将该整合后数据广播至本组的第k-1层子链,当该整合后的数据至少具有m个该管理节点进行签名,则该第k-1层子链通过对该整合后的数据的共识验证,将该整合后数据写入新区块并链入该第k-1层子链;其中,m、n为正整数,m<n。
8.如权利要求6或7所述的物联网终端数据处理系统,其特征在于,还包括:
数据访问模块,用于节点S向下层节点X获取访问数据;其中,S向S的下一层节点发出访问请求,接收到该访问请求的节点对发送该访问请求的节点进行身份验证,并在通过验证后,将该访问请求向下传递,直到X的上一层管理节点A接收到该访问请求并完成身份验证;由传递该访问请求的节点将本节点到下一层接收该访问请求的节点之间的访问路径依次向上传递至S,S根据所有访问路径向X发送该访问请求,X收到该访问请求后对S进行身份验证,在通过验证后,X将该访问数据发送给S。
9.一种计算机可读存储介质,存储有计算机可执行指令,该计算机可执行指令用于执行如权利要求1~4任一项所述的基于分层多链的物联网终端数据处理方法。
10.一种数据处理装置,包括如权利要求9所述的计算机可读存储介质,该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令,以进行基于分层多链的物联网终端数据处理。
CN202011563428.9A 2020-12-25 基于分层多链的物联网终端数据处理方法及系统 Active CN112633706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011563428.9A CN112633706B (zh) 2020-12-25 基于分层多链的物联网终端数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011563428.9A CN112633706B (zh) 2020-12-25 基于分层多链的物联网终端数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN112633706A true CN112633706A (zh) 2021-04-09
CN112633706B CN112633706B (zh) 2024-05-17

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938498A (zh) * 2021-09-18 2022-01-14 北京航空航天大学 一种标识解析索引云与分层对等网络结合的区块链模式

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190303353A1 (en) * 2018-03-28 2019-10-03 Exosite LLC Blockchain scaling method and blockchain scaling apparatus
CN111355780A (zh) * 2020-02-18 2020-06-30 杭州云象网络技术有限公司 一种基于区块链的物联网监控管理方法及系统
CN111416703A (zh) * 2020-03-16 2020-07-14 北京有链科技有限公司 一种区块链跨越式和跳跃式快速同步方法及系统
CN111447066A (zh) * 2020-02-19 2020-07-24 江苏荣泽信息科技股份有限公司 一种基于区块链的物联网平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190303353A1 (en) * 2018-03-28 2019-10-03 Exosite LLC Blockchain scaling method and blockchain scaling apparatus
CN111355780A (zh) * 2020-02-18 2020-06-30 杭州云象网络技术有限公司 一种基于区块链的物联网监控管理方法及系统
CN111447066A (zh) * 2020-02-19 2020-07-24 江苏荣泽信息科技股份有限公司 一种基于区块链的物联网平台
CN111416703A (zh) * 2020-03-16 2020-07-14 北京有链科技有限公司 一种区块链跨越式和跳跃式快速同步方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
史锦山等: "物联网下的区块链访问控制综述", 《软件学报》, no. 6 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938498A (zh) * 2021-09-18 2022-01-14 北京航空航天大学 一种标识解析索引云与分层对等网络结合的区块链模式

Similar Documents

Publication Publication Date Title
Aloqaily et al. An energy trade framework using smart contracts: Overview and challenges
Liao et al. Securing collaborative environment monitoring in smart cities using blockchain enabled software-defined internet of drones
CN114065283A (zh) 一种轻量级可循环再生的区块链存储方法及装置
CN111800463A (zh) 区块链间跨链信息交互方法、系统、介质、设备及应用
CN113379485B (zh) 基于哈希算法与二次报价的需求响应竞价交易方法及系统
CN112036886A (zh) 一种基于区块链的电力大数据交换方法及系统
Zeng et al. A scheme of intelligent traffic light system based on distributed security architecture of blockchain technology
Song et al. Build a secure smart city by using blockchain and digital twin
CN113708934A (zh) 异构环境下基于区块链的能源互联网可信交互数据模型
CN114006920A (zh) 一种基于联盟链的地质灾害应急指挥系统
Cao et al. A Scientific Research Information System via Intelligent Blockchain Technology for the Applications in University Management
CN116366673A (zh) 一种面向电网信息机房管理的数据分析与共享方法
Qi et al. Research of energy consumption monitoring system based on iot and blockchain technology
Mughal et al. IPFS and blockchain based reliability and availability improvement for integrated Rivers’ streamflow data
Gao et al. BFR-SE: a blockchain-based fair and reliable searchable encryption scheme for IoT with fine-grained access control in cloud environment
CN114357473A (zh) 一种基于区块链的虚拟电厂聚合与分布式调控系统及方法
CN113763169A (zh) 一种基于区块链的能源路由装置及能源管理方法
CN113315753A (zh) 基于编码技术的区块数据可信恢复方法
CN113011960A (zh) 基于区块链的数据访问方法、装置、介质及电子设备
CN112633706A (zh) 基于分层多链的物联网终端数据处理方法及系统
CN116567631A (zh) 一种基于分片区块链的移动终端安全认证方法
CN112633706B (zh) 基于分层多链的物联网终端数据处理方法及系统
Zekiye et al. Blockchain-based federated learning for decentralized energy management systems
Kameshwaran et al. Introduction—blockchain and smart grid
CN114119278A (zh) 一种基于区块链技术的多站融合电力资源管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant