CN111177166A - 一种基于多源数据的区块链存储方法和系统 - Google Patents
一种基于多源数据的区块链存储方法和系统 Download PDFInfo
- Publication number
- CN111177166A CN111177166A CN201911352996.1A CN201911352996A CN111177166A CN 111177166 A CN111177166 A CN 111177166A CN 201911352996 A CN201911352996 A CN 201911352996A CN 111177166 A CN111177166 A CN 111177166A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- block chain
- module
- level cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Abstract
本发明公开了一种基于多源数据的区块链存储方法和系统，包括存储系统，所述存储系统连接有网络，所述网络连接有数据库，所述数据库连接有区块链，所述区块链生成有区块链节点，所述存储系统连接有共识层，所述共识层连接于区块链节点，所述存储系统包括数据接收模块、数据处理模块和数据存储模块，所述数据接收模块连接于数据处理模块，所述数据处理模块连接于处理存储模块，通过存储系统依托网络连接数据库，进而通过区块链形成共识数据节点，有效提高数据精确度，避免重复冗杂而影响数据存储和处理效率，保证数据存储和使用的安全高效性，并且通过多级存储相结合的方式，可以选择使用，安全高效，利于推广使用。
Description
技术领域
本发明涉及存储系统领域，更具体地说，涉及一种基于多源数据的区块链存储方法和系统。
背景技术
在现在的可以发展条件下，大数据的作用尤其突出，而针对大数据的来源和数据筛分也越发重要。
并且随着近年来区块链的快速发展，同的节点通过一定的计算规则达成共识，并且将共识后的交易执行结果以区块的形式存储至数据库中，多个区块组成了区块链，因此依托区块链的计算特性，可以形成准确的数据存储方式，改善现有数据库的重复和冗余现象，因此也需要剔除一种新的存储系统和使用方法。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种基于多源数据的区块链存储方法和系统，通过存储系统依托网络连接数据库，进而通过区块链形成共识数据节点，有效提高数据精确度，避免重复冗杂而影响数据存储和处理效率，保证数据存储和使用的安全高效性，并且通过多级存储相结合的方式，可以选择使用，安全高效，利于推广使用。
为解决上述问题，本发明采用如下的技术方案。
一种基于多源数据的区块链存储方法和系统，包括存储系统，所述存储系统连接有网络，所述网络连接有数据库，所述数据库连接有区块链，所述区块链生成有区块链节点，所述存储系统连接有共识层，所述共识层连接于区块链节点，所述存储系统包括数据接收模块、数据处理模块和数据存储模块，所述数据接收模块连接于数据处理模块，所述数据处理模块连接于处理存储模块。
进一步的，所述数据存储模块包括一级缓存、本地磁盘和云盘，数据存储模块包括多级存储方式，利于进行数据缓冲和写入，保证高效精确性。
进一步的，所述数据接收模块并行连接于网络和共识层。
进一步的，所述存储系统通过网络串行连接有至少四个数据库，所述数据库均并行连接于区块链，通过连接多个数据库，并且进行并行串接，可以保证数据的广度，提高精确性。
进一步的，所述存储方法包括如下步骤：
P1、存储系统发送数据需求，并上传至网络；
P2、网络将数据需求发送到多个串行数据库上，数据库针对数据需求选取数据，共同对同一区块链进行数据写入；
P3、区块链接收写入数据，对不同的数据进行分离，形成区块链节点，分别进行只读存储；
P4、存储系统通过数据接收模块连接共识层，接收区块链节点的写入数据，并传输至数据处理模块；
P5、数据处理模块处理接收的数据，然后传输至数据存储模块进行存储。
进一步的，所述P4步骤的接收数据还包括，若从区块链节点读取数据失败，则直接通过网络连接数据库，进行数据复制备份。
进一步的，所述P5步骤的数据存储具体包括如下步骤：
Q1、数据存储模块接收处理数据至一级缓存，并进行缓存处理；
Q2、再次接收新处理数据后，将一级缓存数据传输至本地磁盘，并清空一级缓存；
Q3、一级缓存再次接收新处理数据，继续进行缓存处理；
Q4、本地磁盘接收较慢时，转存时云盘进行云存储；
Q5、当数据接收完毕后，将一级缓存的最后依次缓存数据以及云盘数据全部存储至本地磁盘中。
进一步的，所述Q2步骤清空一级缓存优先级为传输至本地磁盘大于传输至云盘，传输至云盘大于清空一级缓存，设置优先级顺序，保证数据完整存储备份，避免缺失，提高安全性。
相比于现有技术，本发明的优点在于：
(1)本方案通过存储系统依托网络连接数据库，进而通过区块链形成共识数据节点，有效提高数据精确度，避免重复冗杂而影响数据存储和处理效率，保证数据存储和使用的安全高效性，并且通过多级存储相结合的方式，可以选择使用，安全高效。
(2)数据存储模块包括多级存储方式，利于进行数据缓冲和写入，保证高效精确性。
(3)通过连接多个数据库，并且进行并行串接，可以保证数据的广度，提高精确性。
(4)通过对数据请求和写入，利于选择数据节点，方便存储使用
(5)若从区块链节点读取数据失败，则直接通过网络连接数据库，进行数据复制备份。
(6)设置优先级顺序，保证数据完整存储备份，避免缺失，提高安全性。
附图说明
图1为本发明的存储系统整体原理框图；
图2为本发明的数据存储模块框图。
图中标号说明：
1存储系统、11网络、12数据库、13区块链、14区块链节点、15共识层、16数据接收模块、17数据处理模块、18数据存储模块、2一级缓存、21本地磁盘、22云盘。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，一种基于多源数据的区块链存储方法和系统，包括存储系统1，所述存储系统1连接有网络11，所述网络11连接有数据库12，连接多个数据库12，所述数据库12，可以保证数据的完备性，提高数据精确度，连接有区块链13，所述区块链13生成有区块链节点14，所述存储系统1连接有共识层15，所述共识层15连接于区块链节点14，可以根据数据需求进行区分，并且将不同的数据种类形成不同的区块链节点14，利于选择进行下载和存储，方便使用，所述存储系统1包括数据接收模块16、数据处理模块17和数据存储模块18，所述数据接收模块16并行连接于网络11和共识层15，所述数据接收模块16连接于数据处理模块17，所述数据处理模块17连接于处理存储模块18，所述数据存储模块18包括一级缓存2、本地磁盘21和云盘22。
作为优选的，所述存储方法包括如下步骤：
P1、存储系统发送数据需求，并上传至网络；
P2、网络将数据需求发送到多个串行数据库上，数据库针对数据需求选取数据，共同对同一区块链进行数据写入；
P3、区块链接收写入数据，对不同的数据进行分离，形成区块链节点，分别进行只读存储；
P4、存储系统通过数据接收模块连接共识层，接收区块链节点的写入数据，并传输至数据处理模块；
P5、数据处理模块处理接收的数据，然后传输至数据存储模块进行存储。
作为优选的，所述P5步骤的数据存储具体包括如下步骤：
Q1、数据存储模块接收处理数据至一级缓存，并进行缓存处理；
Q2、再次接收新处理数据后，将一级缓存数据传输至本地磁盘，并清空一级缓存；
Q3、一级缓存再次接收新处理数据，继续进行缓存处理；
Q4、本地磁盘接收较慢时，转存时云盘进行云存储；
Q5、当数据接收完毕后，将一级缓存的最后依次缓存数据以及云盘数据全部存储至本地磁盘中。
作为优选的，所述Q2步骤清空一级缓存优先级为传输至本地磁盘大于传输至云盘，传输至云盘大于清空一级缓存。
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。
Claims (8)
1.一种基于多源数据的区块链存储方法和系统，包括存储系统(1)，其特征在于：所述存储系统(1)连接有网络(11)，所述网络(11)连接有数据库(12)，所述数据库(12)连接有区块链(13)，所述区块链(13)生成有区块链节点(14)，所述存储系统(1)连接有共识层(15)，所述共识层(15)连接于区块链节点(14)，所述存储系统(1)包括数据接收模块(16)、数据处理模块(17)和数据存储模块(18)，所述数据接收模块(16)连接于数据处理模块(17)，所述数据处理模块(17)连接于处理存储模块(18)。
2.根据权利要求1所述的一种基于多源数据的区块链存储方法和系统，其特征在于：所述数据存储模块(18)包括一级缓存(2)、本地磁盘(21)和云盘(22)。
3.根据权利要求1所述的一种基于多源数据的区块链存储方法和系统，其特征在于：所述数据接收模块(16)并行连接于网络(11)和共识层(15)。
4.根据权利要求1所述的一种基于多源数据的区块链存储方法和系统，其特征在于：所述存储系统(1)通过网络(11)串行连接有至少四个数据库(12)，所述数据库(12)均并行连接于区块链(13)。
5.根据权利要求1所述的一种基于多源数据的区块链存储方法和系统，其特征在于：所述存储方法包括如下步骤：
P1、存储系统发送数据需求，并上传至网络；
P2、网络将数据需求发送到多个串行数据库上，数据库针对数据需求选取数据，共同对同一区块链进行数据写入；
P3、区块链接收写入数据，对不同的数据进行分离，形成区块链节点，分别进行只读存储；
P4、存储系统通过数据接收模块连接共识层，接收区块链节点的写入数据，并传输至数据处理模块；
P5、数据处理模块处理接收的数据，然后传输至数据存储模块进行存储。
6.根据权利要求5所述的一种基于多源数据的区块链存储方法和系统，其特征在于：所述P4步骤的接收数据还包括，若从区块链节点读取数据失败，则直接通过网络连接数据库，进行数据复制备份。
7.根据权利要求5所述的一种基于多源数据的区块链存储方法和系统，其特征在于：所述P5步骤的数据存储具体包括如下步骤：
Q1、数据存储模块接收处理数据至一级缓存，并进行缓存处理；
Q2、再次接收新处理数据后，将一级缓存数据传输至本地磁盘，并清空一级缓存；
Q3、一级缓存再次接收新处理数据，继续进行缓存处理；
Q4、本地磁盘接收较慢时，转存时云盘进行云存储；
Q5、当数据接收完毕后，将一级缓存的最后依次缓存数据以及云盘数据全部存储至本地磁盘中。
8.根据权利要求7所述的一种基于多源数据的区块链存储方法和系统，其特征在于：所述Q2步骤清空一级缓存优先级为传输至本地磁盘大于传输至云盘，传输至云盘大于清空一级缓存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911352996.1A CN111177166A (zh) | 2019-12-25 | 2019-12-25 | 一种基于多源数据的区块链存储方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911352996.1A CN111177166A (zh) | 2019-12-25 | 2019-12-25 | 一种基于多源数据的区块链存储方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111177166A true CN111177166A (zh) | 2020-05-19 |
Family
ID=70622334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911352996.1A Withdrawn CN111177166A (zh) | 2019-12-25 | 2019-12-25 | 一种基于多源数据的区块链存储方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111177166A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723115A (zh) * | 2020-06-24 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 基于多级缓存的数据统计方法、装置、终端及存储介质 |
| CN112118246A (zh) * | 2020-09-11 | 2020-12-22 | 北京微密科技发展有限公司 | 基于融合内存的区块链可信存储执行硬件环境 |
-
2019
- 2019-12-25 CN CN201911352996.1A patent/CN111177166A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723115A (zh) * | 2020-06-24 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 基于多级缓存的数据统计方法、装置、终端及存储介质 |
| CN112118246A (zh) * | 2020-09-11 | 2020-12-22 | 北京微密科技发展有限公司 | 基于融合内存的区块链可信存储执行硬件环境 |
| CN112118246B (zh) * | 2020-09-11 | 2022-04-19 | 北京微密科技发展有限公司 | 基于融合内存的区块链可信存储执行硬件环境 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101655813B (zh) | 存储系统 | |
| CN111177166A (zh) | 一种基于多源数据的区块链存储方法和系统 | |
| CN107704728B (zh) | 一种基因序列比对的云计算加速方法 | |
| CN106708653B (zh) | 一种基于纠删码与多副本的混合税务大数据安全保护方法 | |
| CN101393532A (zh) | 从单实例数据归档和/或备份环境中去除数据的系统和方法 | |
| CN102571850B (zh) | 事务提交系统、方法及设备 | |
| CN103049354B (zh) | 数据修复方法、数据修复装置以及存储系统 | |
| CN105426427A (zh) | 基于raid 0 存储的mpp 数据库集群副本实现方法 | |
| CN110245154A (zh) | 多路链接异常处理方法以及相关设备 | |
| CN113987064A (zh) | 数据处理方法、系统及设备 | |
| CN103944974A (zh) | 一种协议报文处理方法、控制器故障处理方法及相关设备 | |
| CN108924008A (zh) | 一种双控制器数据通信方法、装置、设备及可读存储介质 | |
| CN105072194A (zh) | 一种分布式文件系统中的存储数据修复结构及修复方法 | |
| CN103678051A (zh) | 一种集群数据处理系统中的在线故障容错方法 | |
| CN103064759B (zh) | 数据修复的方法及装置 | |
| CN109889440A (zh) | 一种基于最大生成树的纠删码失效节点重构路径选择方法 | |
| CN112598510A (zh) | 资源数据处理方法和装置 | |
| CN111652729A (zh) | 交易信息报送的方法及装置 | |
| CN112308513B (zh) | 一种基于大数据自动对账系统及方法 | |
| CN110750385A (zh) | 一种基于受限恢复的图迭代器及方法 | |
| CN115454958A (zh) | 基于人工智能的数据处理方法、装置、设备、系统及介质 | |
| CN103391257A (zh) | 一种报文存储、转发方法、装置及系统 | |
| CN112733202B (zh) | 平行链监督共识方法、计算机设备和存储介质 | |
| CN105868398B (zh) | 一种基于Fat-B树的分布式文件系统低开销数据传输方法 | |
| CN108599982B (zh) | 数据恢复方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200519 |