CN111427896A - 一种基于区块链的大数据存储平台 - Google Patents

一种基于区块链的大数据存储平台 Download PDF

Info

Publication number
CN111427896A
CN111427896A CN202010279827.6A CN202010279827A CN111427896A CN 111427896 A CN111427896 A CN 111427896A CN 202010279827 A CN202010279827 A CN 202010279827A CN 111427896 A CN111427896 A CN 111427896A
Authority
CN
China
Prior art keywords
platform
block chain
big data
storage
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010279827.6A
Other languages
English (en)
Inventor
张琦
张冲
张琼
熊峰
黎英明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhuofan Information Technology Co ltd
Original Assignee
Shanghai Zhuofan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhuofan Information Technology Co ltd filed Critical Shanghai Zhuofan Information Technology Co ltd
Priority to CN202010279827.6A priority Critical patent/CN111427896A/zh
Publication of CN111427896A publication Critical patent/CN111427896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及区块链信息技术领域，具体的讲是一种基于区块链的大数据存储平台，包括用于分布式信息处理的区块链底层平台、用于分布式信息存储及备份的大数据框架平台、用于区块链底层平台与大数据框架平台支撑的终端设备；在区块链底层平台内部建立智能合约，在智能合约中连接大数据框架平台，使得区块链底层平台与大数据框架平台建立连接，将原本存储在区块链中的全量数据存储在了Hadoop框架系统中，而区块链中则保存全量数据的哈希数的值以及数据存储位置信息，解决了现在有区块链中单个节点存储性能低、不能存储大量数据、数据检索慢、不能有效利用数据的问题。

Description

一种基于区块链的大数据存储平台
技术领域
本发明涉及区块链信息技术领域，具体的讲是一种基于区块链的大数据存储平台。
背景技术
区块链是一个分布式记账技术，在区块链中数据一般都是通过时间先后的顺序进行排列，然后再按照这种形式被记录下来，通过对数据进行打包的方式，将往期数据进行记录。在一个区块链网络中，每个节点都根据区块链中设定的共识机制，保存着区块链网络中的全量数据，并不断的和网络中的其他节点进行通信，不断验证数据内容，以此保证网络中的共识内容的一致性。
区块链的设计保证了数据的强一致性，但是会抑制区块链在实际场景中的广泛应用，在实际应用场景中，数据会海量增加，每个节点中都需要存储网络中的全量数据，这会带来一些问题，如：
(1)数据查询缓慢；区块链网络中所有节点中的数据都是以数据块存储在每一个节点中，而数据查询过程中根据数据内容进行查询需要先遍历区块链中的数据块，之后再获取数据块中的内容。
(2)数据效用低；传统区块链中的区块数据存储方式单一，为非结构化文本数据，只起到信息保存作用，对存储在数据块中的数据没有进行有效的利用。
(3)信息关联度差；在某一个区块链中的不同channel中存储不同类型的信息，由于区块链不能跨链访问数据，会丢失可联数据的实际价值。
(4)资源损耗大；区块链中的每一个节点都存储着全网中的所有数据，会导致一个区块链网络需要大量的存储资源。
为此设计一种可以解决区块链中单个节点存储性能低，存储数据量大，数据索引慢，单个节点获取到数据后，不能有效利用数据发掘更多的数据价值，数据信息之间关联度差等问题的基于区块链的大数据存储平台是非常有必要的。
发明内容
本发明突破了现有技术的难题，设计了一种可以解决区块链中单个节点存储性能低，存储数据量大，数据索引慢，单个节点获取到数据后，不能有效利用数据发掘更多的数据价值，数据信息之间关联度差等问题的基于区块链的大数据存储平台。
为了达到上述目的，本发明设计了一种基于区块链的大数据存储平台，其特征在于：包括用于分布式信息处理的区块链底层平台、用于分布式信息存储及备份的大数据框架平台、用于区块链底层平台与大数据框架平台支撑的终端设备。
在区块链底层平台内部建立智能合约，在智能合约中连接大数据框架平台，使得区块链底层平台与大数据框架平台建立连接。
进一步的，区块链底层平台采用HyperLedger Fabric区块链技术平台。
进一步的，大数据框架平台采用Hadoop框架系统。
进一步的，在智能合约中连接大数据框架平台的具体连接方法如下：
S1在智能合约中连接半结构化面向文档的分布式数据库系统中新增连接大数据框架平台的服务；
S2利用应用容器引擎启动智能合约调用S1新增的服务。
进一步的，用于区块链底层平台与大数据框架平台支撑的终端设备为可以接收/访问外部实际业务信息数据集的装置。
进一步的，HyperLedger Fabric区块链技术平台中包含n个网络节点；n个网络节点中包括1个order节点、m个peer节点、2个组织和2个channel。
进一步的，Hadoop框架系统中建立有多个存储中心，每个存储中心都设置集群对外部访问，且在每个集群中建立有HA模型。
进一步的，半结构化面向文档的分布式数据库系统为Couch DB模块。
进一步的，peer节点均分在2个组织和两个channel中。
本发明还设计了一种基于区块链的大数据存储平台的存储方法，其特征在于：按照如下步骤进行存储：
步骤1：建立智能合约；
步骤2：利用智能合约，建立区块链底层平台与大数据框架平台的连接；
步骤3：区块链底层平台获取实际业务数据集，并分类为结构化数据与非结构化数据；
步骤4：区块链底层平台中的peer节点利用智能合约将实际业务数据集中的结构化数据传输到大数据框架平台中；
步骤5：大数据框架平台接受结构化数据进行分布式存储及备份后，获得结构化数据的保存位置信息及结构化数据本身的merkle哈希树的值；
步骤6：将merkle哈希树的值利用智能合约传输到区块链底层平台的peer节点中，之后提交到区块链底层平台进行保存。
本发明与现有技术相比，将HyperLedger Fabric区块链平台与Hadoop框架系统建立连接，将实际业务数据集中的结构化数据保存到Hadoop框架系统的HDFS框架中，而将数据保存位置信息和数据本身的merkle哈希树的值保存在区块链中，从而增加了数据的存储量以及存储空间的动态可扩展性，解决了现有区块链中不能存储大量数据的问题，同时利用Hadoop框架中分析数据的方式可以分析已经存储在该框架内的数据，达到离线分析的目的。
附图说明
图1为本发明一实施例所述的大数据存储平台的架构示意图。
图2为本发明一实施例所述的大数据存储平台的数据存储流转示意图。
图3为本发明一实施例所述的大数据存储平台的存储方法流程示意图。
具体实施方式
下面结合附图对本发明作进一步描述，但不作为对本发明的限定。
参见图1，本发明设计了一种基于区块链的大数据存储平台，包括用于分布式信息处理的区块链底层平台1、用于分布式信息存储及备份的大数据框架平台2、用于区块链底层平台1与大数据框架平台2支撑的终端设备；
在区块链底层平台1内部建立智能合约3，智能合约3中连接CouchDB的模块中新增连接大数据框架平台2的服务协议，从而将大数据框架平台2连接到智能合约3中，然后通过docker容器中启动智能合约3调用该服务协议，使得区块链底层平台1与大数据框架平台2建立连接，并且保证整个网络访问通畅。
相应的，区块链底层平台1采用HyperLedger Fabric区块链技术平台，在HyperLedger Fabric区块链技术平台中包含n个网络节点1-1；n个网络节点1-1中包括1个order节点、m个peer节点、2个组织和2个channel，m个peer节点均分在2个组织和两个channel中，peer节点的个数不做限制，但m＜n。
相应的，大数据框架平台2采用Hadoop框架系统，其中建立有多个存储中心2-1，每个存储中心2-1都设置集群对外部访问，且在每个集群中建立有HA模型，保证单个存储中心2-1提供服务的稳定性。
相应的，用于区块链底层平台1与大数据框架平台2支撑的终端设备为可以接收/访问外部实际业务信息数据集4的装置。
参见图2和3，本发明还设计了一种基于区块链的大数据存储平台的存储方法，按照如下步骤进行存储：
步骤1：在Hyperledger Fabric区块链技术平台建立智能合约3；
步骤2：利用智能合约3，建立Hyperledger Fabric区块链技术平台与Hadoop框架系统的连接；
步骤3：Hyperledger Fabric区块链技术平台获取外部实际业务信息数据集4，并分类为结构化数据集4-1与非结构化数据集4-2，结构化数据集4-1包括可转换为表数据、key-value格式数据等形式的数据，非结构化数据集4-2包括图片数据、声音数据等形式的数据；
步骤4：Hyperledger Fabric区块链技术平台中的peer节点利用智能合约3将结构化数据集4-1传输到Hadoop框架系统中，对非结构化数据集4-2保留在Hyperledger Fabric区块链技术平台中；
步骤5：Hadoop框架系统接受结构化数据，利用HDFS框架进行分布式存储及备份，同时获得结构化数据的保存位置信息及结构化数据本身的merkle哈希树的值；
步骤6：将merkle哈希树的值利用智能合约3反馈到Hyperledger Fabric区块链技术平台的peer节点中，之后提交到Hyperledger Fabric区块链技术平台进行保存，保证了区块链的数据防篡改的特性和数据原始信息的检索。
当Hadoop框架系统中存储一定量的数据后，可以利用其框架系统本身的分析数据的方式来对数据进行离线分析，或者是通过智能合约3调用Hadoop框架系统的API对数据进行分析，并将分析结构传输到Hyperledger Fabric区块链技术平台进行保存，使得存储在区块链中的数据具有更大的价值。
通过该实施例可以明显的看出，本发明是将原本存储在区块链中的全量数据存储在了Hadoop框架系统中，增加了数据的存储量以及存储空间的动态可扩展性，解决了现在有区块链中不能存储大量数据的问题，而区块链中则保存全量数据的哈希数的值以及数据存储位置信息，保证了区块链的数据防篡改的特性和数据原始信息的检索，再进行数据检索的时候，只需要检索调用相应的哈希树的值即可在Hadoop框架系统中找到对应的数据，而不用遍历数据集，极大的缩短了数据的检索时间。
以上所述仅为本发明的较佳实施例而己，并不以本发明为限制，凡在本发明的精神和原则之内所作的均等修改、等同替换和改进等，均应包含在本发明的专利涵盖范围内。

Claims (10)

1.一种基于区块链的大数据存储平台，其特征在于：包括用于分布式信息处理的区块链底层平台(1)、用于分布式信息存储及备份的大数据框架平台(2)、用于区块链底层平台(1)与大数据框架平台(2)支撑的终端设备；
在区块链底层平台(1)内部建立智能合约(3)，在智能合约(3)中连接大数据框架平台(2)，使得区块链底层平台(1)与大数据框架平台(2)建立连接。
2.根据权利要求1所述的一种基于区块链的大数据存储平台，其特征在于：所述区块链底层平台(1)采用HyperLedger Fabric区块链技术平台。
3.根据权利要求1所述的一种基于区块链的大数据存储平台，其特征在于：所述大数据框架平台(2)采用Hadoop框架系统。
4.根据权利要求1所述的一种基于区块链的大数据存储平台，其特征在于：在智能合约(3)中连接大数据框架平台(2)的具体连接方法如下：
S1在智能合约(3)中连接半结构化面向文档的分布式数据库系统中新增连接大数据框架平台(2)的服务；
S2利用应用容器引擎启动智能合约(3)调用S1新增的服务。
5.根据权利要求1所述的一种基于区块链的大数据存储平台，其特征在于：用于区块链底层平台(1)与大数据框架平台(2)支撑的终端设备为可以接收/访问外部实际业务信息数据集(4)的装置。
6.根据权利要求2所述的一种基于区块链的大数据存储平台，其特征在于：HyperLedger Fabric区块链技术平台中包含n个网络节点(1-1)；n个网络节点(1-1)中包括1个order节点、m个peer节点、2个组织和2个channel。
7.根据权利要求3所述的一种基于区块链的大数据存储平台，其特征在于：所述Hadoop框架系统中建立有多个存储中心(2-1)，每个存储中心(2-1)都设置集群对外部访问，且在每个集群中建立有HA模型。
8.根据权利要求4所述的一种基于区块链的大数据存储平台，其特征在于：所述的半结构化面向文档的分布式数据库系统为Couch DB模块。
9.根据权利要求6所述的一种基于区块链的大数据存储平台，其特征在于：所述peer节点均分在2个组织和两个channel中。
10.基于权利要求1-9任一项所述的大数据存储平台的存储方法，其特征在于：按照如下步骤进行存储：
步骤1：建立智能合约(3)；
步骤2：利用智能合约(3)，建立区块链底层平台(1)与大数据框架平台(2)的连接；
步骤3：区块链底层平台(1)获取外部实际业务信息数据集(4)，并分类为结构化数据集(4-1)与非结构化数据集(4-2)；
步骤4：区块链底层平台(1)中的peer节点利用智能合约(3)将实际业务数据集中的结构化数据传输到大数据框架平台(2)中；
步骤5：大数据框架平台(2)接受结构化数据进行分布式存储及备份后，获得结构化数据的保存位置信息及结构化数据本身的merkle哈希树的值；
步骤6：将merkle哈希树的值利用智能合约(3)传输到区块链底层平台(1)的peer节点中，之后提交到区块链底层平台(1)进行保存。
CN202010279827.6A 2020-04-10 2020-04-10 一种基于区块链的大数据存储平台 Pending CN111427896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010279827.6A CN111427896A (zh) 2020-04-10 2020-04-10 一种基于区块链的大数据存储平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010279827.6A CN111427896A (zh) 2020-04-10 2020-04-10 一种基于区块链的大数据存储平台

Publications (1)

Publication Number Publication Date
CN111427896A true CN111427896A (zh) 2020-07-17

Family

ID=71553863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010279827.6A Pending CN111427896A (zh) 2020-04-10 2020-04-10 一种基于区块链的大数据存储平台

Country Status (1)

Country Link
CN (1) CN111427896A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734581A (zh) * 2021-01-12 2021-04-30 广州市讯奇数码科技有限公司 一种5g区块链社保数据应用系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109243548A (zh) * 2018-08-22 2019-01-18 广东工业大学 一种基于区块链技术的医疗数据平台
CN110288307A (zh) * 2019-05-13 2019-09-27 西安电子科技大学 基于Fabric区块链的智能合约协同开发系统及数据处理方法
CA3098767A1 (en) * 2019-10-16 2020-01-16 Alipay (Hangzhou) Information Technology Co., Ltd. Implementing a blockchain-based web service
CN110912937A (zh) * 2019-12-23 2020-03-24 杭州中科先进技术研究院有限公司 一种基于区块链的数字存证平台和存证方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109243548A (zh) * 2018-08-22 2019-01-18 广东工业大学 一种基于区块链技术的医疗数据平台
CN110288307A (zh) * 2019-05-13 2019-09-27 西安电子科技大学 基于Fabric区块链的智能合约协同开发系统及数据处理方法
CA3098767A1 (en) * 2019-10-16 2020-01-16 Alipay (Hangzhou) Information Technology Co., Ltd. Implementing a blockchain-based web service
CN110912937A (zh) * 2019-12-23 2020-03-24 杭州中科先进技术研究院有限公司 一种基于区块链的数字存证平台和存证方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭叶斌;徐欣;: "基于区块链的加密云存储平台模型研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734581A (zh) * 2021-01-12 2021-04-30 广州市讯奇数码科技有限公司 一种5g区块链社保数据应用系统

Similar Documents

Publication Publication Date Title
CN109492040B (zh) 一种适用于数据中心海量短报文数据处理的系统
CN111258978B (zh) 一种数据存储的方法
CN103440290A (zh) 大数据加载系统和方法
CN106897159A (zh) 一种用于采集自动气象站数据的系统及方法
WO2015172497A1 (zh) 消息推送、获取方法、装置和计算机可读存储介质
CN111641676A (zh) 一种第三方云监控服务的构建方法及装置
WO2023082681A1 (zh) 基于批流一体的数据处理方法、装置、计算机设备和介质
CN114090388A (zh) 信息获取方法、服务器集群、服务器及设备
CN111427896A (zh) 一种基于区块链的大数据存储平台
CN102882960A (zh) 一种资源文件的发送方法及装置
CN112583941A (zh) 一种支持接入多电力终端的方法、单元节点及电力物联网
CN113641765B (zh) 面向巨量多源遥感数据的统一逻辑模型组织方法及其装置
CN113434604B (zh) 一种时序数据库同步方法、系统、设备及存储介质
CN110290035B (zh) 一种基于k3s的智慧家庭数据存储访问方法及系统
CN113468275A (zh) 图数据库的数据导入方法和装置、存储介质及电子设备
CN105389368A (zh) 一种mpp架构数据库集群元数据管理方法
CN113542158A (zh) 一种面向广电网络的数据处理方法
CN111143280B (zh) 一种数据调度方法、系统、装置及存储介质
CN110569456B (zh) Web端数据离线缓存方法及装置、电子设备
CN117743973B (zh) 一种参数处理方法、装置、设备及存储介质
CN112115140B (zh) 一种通用的全文搜索引擎实时数据同步方法及装置
CN115982211B (zh) 基于云原生的MySQL数据查询分析方法及装置
CN116594848B (zh) 一种任务监控方法、装置、设备、终端设备及存储介质
CN214544381U (zh) 一种号码数据资源池系统
CN108449343B (zh) Ssh协议文本数据采集方法、采集器及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination