CN113553374A - 一种去中心化分布式大数据区块链信息存储系统 - Google Patents
一种去中心化分布式大数据区块链信息存储系统 Download PDFInfo
- Publication number
- CN113553374A CN113553374A CN202110711959.6A CN202110711959A CN113553374A CN 113553374 A CN113553374 A CN 113553374A CN 202110711959 A CN202110711959 A CN 202110711959A CN 113553374 A CN113553374 A CN 113553374A
- Authority
- CN
- China
- Prior art keywords
- information
- data
- module
- block chain
- database server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 73
- 238000007726 management method Methods 0.000 claims abstract description 37
- 230000010365 information processing Effects 0.000 claims abstract description 31
- 238000013523 data management Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 14
- 238000012795 verification Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000013524 data verification Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种去中心化分布式大数据区块链信息存储系统，包括区块链数据管理平台、数据库服务器、信息处理平台、信息存储模块、信息屏蔽模块和管理后台，所述区块链数据管理平台通过无线通讯模块与数据库服务器通讯连接，所述数据库服务器通过无线通讯模块与信息处理平台通讯连接，所述信息处理平台包括信息调用端、信息存储模块和大数据关键字检索模块，所述管理后台装配有述信息屏蔽模块和信息筛选模块，所述管理后台通过无线通讯模块配合与信息处理平台通讯连接。本发明将去中心化的数据以区块链分布在多个信息存储云端中，加快存储速率，同时有效确保存储信息的可靠性，避免轻易出现重复或不重要信息。
Description
技术领域
本发明属于数据存储系统领域，更具体地说，尤其涉及一种去中心化分布式大数据区块链信息存储系统。
背景技术
目前常见的信息存储系统一般仅通过集中云端的方式来搭建相应的存储结构，能够根据需求对大数据检索将目标信息进行筛选与保存工作。但此种信息存储系统的架构功能较为单一，在存储数据的步骤中经常容易出现信息的偏差或失误，需要另外搭建其他审核模块，容易堆存储速率造成不利影响。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，将去中心化的数据以区块链分布在多个信息存储云端中，加快存储速率，同时有效确保存储信息的可靠性，避免轻易出现重复或不重要信息。
为实现上述目的，本发明提供如下技术方案：
一种去中心化分布式大数据区块链信息存储系统，包括区块链数据管理平台、数据库服务器、信息处理平台、信息存储模块、信息屏蔽模块、信息调用端、大数据关键字检索模块、信息筛选模块和管理后台，所述区块链数据管理平台包括区块链数据层、区块链网络层、区块链共识层、区块链合约层、BaaS服务层和API接口层，所述区块链数据层包括数据区块模块和数据存储模块，所述区块链网络层包括信息验证模块；
所述区块链数据管理平台通过无线通讯模块与数据库服务器通讯连接，所述数据库服务器通过无线通讯模块与信息处理平台通讯连接，所述信息处理平台包括信息调用端、信息存储模块和大数据关键字检索模块，所述管理后台装配有述信息屏蔽模块和信息筛选模块，所述管理后台通过无线通讯模块配合与信息处理平台通讯连接；
还包括去中心化分布式大数据区块链信息存储方法：
S1、所述信息调用端分别与数据库服务器和管理后台通讯连接，所述信息调用端配合数据库服务器搜索数据，并通过串口向大数据关键字检索模块发送数据，所述大数据关键字检索模块检查信道状态并对接收到的数据进行检索处理，对数据中存在的需进行保存的数据进行提取，并将此类数据传输至信息存储模块；
S2、所述信息存储模块通过无线通讯模块与管理后台通讯连接，利用信息调用端将信息存储模块中的信息传输至管理后台；
S3、管理后台通过串口依次将数据信息发送至信息屏蔽模块与信息筛选模块，利用信息屏蔽模块对存在敏感词内容进行屏蔽，再配合信息筛选模块将接收的数据中重复信息或不重要信息进行筛选去除，将筛选后的数据信息打包并重新传输回信息调用端；
S4、信息调用端与数据库服务器进行数据同步，并最终将检索后的信息传输至区块链数据管理平台中的区块链数据层，利用区块链数据层的数据区块模块与数据存储模块来对数据进行分区存储。
优选的，所述S3中被筛选以及屏蔽的数据信息通过无线通讯模块实时传输至信息处理平台的信息存储模块中，通过信息调用端实时进行检查。
优选的，所述区块链数据层为去中心化的由分布式节点共享和一起记账的数据账本，每个分布式节点都通过哈希算法和Merkle树数据结构，将一段时间内接收到的大数据检索数据和代码封装到一个带有时间戳的数据区块中，并链接到当前最长的主区块链上，形成最新的区块。
优选的，所述信息处理平台为搭载5G通信技术的电脑终端设备，通过信息调用端来配合信息通讯模块来与数据库服务器进行数据的交互，并通过信息存储模块配合信息调用端来实现对数据库服务器信息的实时更新。
优选的，所述信息处理平台通过信息存储模块对调用检索范围内的信息进行编号与分类，并将各个信息调用端检索的编号分类信息上传至管理后台，通过管理后台来对信息调用端的范围与内容进行统一筛选，并将数据同步至信息处理平台中信息存储模块。
优选的，所述区块链网络层定义了区块链系统的通信方式，包括权限控制、隐私保护、验证机制等基础功能要素，通过设计特定的数据验证机制，可使得区块链系统中每一个节点都能参与区块数据的校验和保存过程，当区块数据通过验证后，而后记入区块链。
优选的，所述信息调用端包括通信适配单元、协议转换单元、数据分析单元、数据处理单元和云端服务器接入单元，所述通信适配单元通过无线通讯模块与数据库服务器通讯连接。
优选的，所述数据库服务器为控制柜，且所述控制柜是基于5G通信设备的控制装置，所述数据库服务器通过无线通讯模块与管理后台通讯连接连接，且所述数据库服务器通过无线通讯模块与信息调用端通讯连接，通过信息处理平台来配合管理后台来对数据库服务器进行信息的更新。
本发明的技术效果和优点：
本发明通过区块链数据层来配合相应的数据区块模块和数据存储模块来对目标数据进行存储，利用区块链系统中每一个节点均参与区块数据的校验和保存过程，当区块数据通过管理后台配合验证后，而后记入区块链，将去中心化的数据以区块链分布在多个信息存储云端中，加快存储速率，同时有效确保存储信息的可靠性，避免轻易出现重复或不重要信息。
附图说明
图1为本发明的系统框图；
图2为本发明的区块链数据管理平台系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供了一种去中心化分布式大数据区块链信息存储系统，包括区块链数据管理平台、数据库服务器、信息处理平台、信息存储模块、信息屏蔽模块、信息调用端、大数据关键字检索模块、信息筛选模块和管理后台，区块链数据管理平台包括区块链数据层、区块链网络层、区块链共识层、区块链合约层、BaaS服务层和API接口层，区块链数据层包括数据区块模块和数据存储模块，区块链网络层包括信息验证模块。
区块链数据层为去中心化的由分布式节点共享和一起记账的数据账本，每个分布式节点都通过哈希算法和Merkle树数据结构，将一段时间内接收到的大数据检索数据和代码封装到一个带有时间戳的数据区块中，并链接到当前最长的主区块链上，形成最新的区块，区块链网络层定义了区块链系统的通信方式，包括权限控制、隐私保护、验证机制等基础功能要素，通过设计特定的数据验证机制，可使得区块链系统中每一个节点都能参与区块数据的校验和保存过程，当区块数据通过验证后，而后记入区块链。
区块链数据管理平台通过无线通讯模块与数据库服务器通讯连接，数据库服务器通过无线通讯模块与信息处理平台通讯连接，信息处理平台包括信息调用端、信息存储模块和大数据关键字检索模块，管理后台装配有述信息屏蔽模块和信息筛选模块，管理后台通过无线通讯模块配合与信息处理平台通讯连接，信息处理平台为搭载5G通信技术的电脑终端设备，通过信息调用端来配合信息通讯模块来与数据库服务器进行数据的交互，并通过信息存储模块配合信息调用端来实现对数据库服务器信息的实时更新，信息处理平台通过信息存储模块对调用检索范围内的信息进行编号与分类，并将各个信息调用端检索的编号分类信息上传至管理后台，通过管理后台来对信息调用端的范围与内容进行统一筛选，并将数据同步至信息处理平台中信息存储模，信息调用端包括通信适配单元、协议转换单元、数据分析单元、数据处理单元和云端服务器接入单元，通信适配单元通过无线通讯模块与数据库服务器通讯连接。
还包括去中心化分布式大数据区块链信息存储方法：
S1、信息调用端分别与数据库服务器和管理后台通讯连接，信息调用端配合数据库服务器搜索数据，并通过串口向大数据关键字检索模块发送数据，大数据关键字检索模块检查信道状态并对接收到的数据进行检索处理，对数据中存在的需进行保存的数据进行提取，并将此类数据传输至信息存储模块；
S2、信息存储模块通过无线通讯模块与管理后台通讯连接，利用信息调用端将信息存储模块中的信息传输至管理后台；
S3、管理后台通过串口依次将数据信息发送至信息屏蔽模块与信息筛选模块，利用信息屏蔽模块对存在敏感词内容进行屏蔽，再配合信息筛选模块将接收的数据中重复信息或不重要信息进行筛选去除，将筛选后的数据信息打包并重新传输回信息调用端，被筛选以及屏蔽的数据信息通过无线通讯模块实时传输至信息处理平台的信息存储模块中，通过信息调用端实时进行检查；
S4、信息调用端与数据库服务器进行数据同步，并最终将检索后的信息传输至区块链数据管理平台中的区块链数据层，利用区块链数据层的数据区块模块与数据存储模块来对数据进行分区存储。
其中数据库服务器为控制柜，且控制柜是基于5G通信设备的控制装置，数据库服务器通过无线通讯模块与管理后台通讯连接连接，且数据库服务器通过无线通讯模块与信息调用端通讯连接，通过信息处理平台来配合管理后台来对数据库服务器进行信息的更新。
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种去中心化分布式大数据区块链信息存储系统，包括区块链数据管理平台、数据库服务器、信息处理平台、信息存储模块、信息屏蔽模块、信息调用端、大数据关键字检索模块、信息筛选模块和管理后台，其特征在于：所述区块链数据管理平台包括区块链数据层、区块链网络层、区块链共识层、区块链合约层、BaaS服务层和API接口层，所述区块链数据层包括数据区块模块和数据存储模块，所述区块链网络层包括信息验证模块；
所述区块链数据管理平台通过无线通讯模块与数据库服务器通讯连接，所述数据库服务器通过无线通讯模块与信息处理平台通讯连接，所述信息处理平台包括信息调用端、信息存储模块和大数据关键字检索模块，所述管理后台装配有述信息屏蔽模块和信息筛选模块，所述管理后台通过无线通讯模块配合与信息处理平台通讯连接；
还包括去中心化分布式大数据区块链信息存储方法：
S1、所述信息调用端分别与数据库服务器和管理后台通讯连接，所述信息调用端配合数据库服务器搜索数据，并通过串口向大数据关键字检索模块发送数据，所述大数据关键字检索模块检查信道状态并对接收到的数据进行检索处理，对数据中存在的需进行保存的数据进行提取，并将此类数据传输至信息存储模块；
S2、所述信息存储模块通过无线通讯模块与管理后台通讯连接，利用信息调用端将信息存储模块中的信息传输至管理后台；
S3、管理后台通过串口依次将数据信息发送至信息屏蔽模块与信息筛选模块，利用信息屏蔽模块对存在敏感词内容进行屏蔽，再配合信息筛选模块将接收的数据中重复信息或不重要信息进行筛选去除，将筛选后的数据信息打包并重新传输回信息调用端；
S4、信息调用端与数据库服务器进行数据同步，并最终将检索后的信息传输至区块链数据管理平台中的区块链数据层，利用区块链数据层的数据区块模块与数据存储模块来对数据进行分区存储。
2.根据权利要求1所述的一种去中心化分布式大数据区块链信息存储系统，其特征在于：所述S3中被筛选以及屏蔽的数据信息通过无线通讯模块实时传输至信息处理平台的信息存储模块中，通过信息调用端实时进行检查。
3.根据权利要求1所述的一种去中心化分布式大数据区块链信息存储系统，其特征在于：所述区块链数据层为去中心化的由分布式节点共享和一起记账的数据账本，每个分布式节点都通过哈希算法和Merkle树数据结构，将一段时间内接收到的大数据检索数据和代码封装到一个带有时间戳的数据区块中，并链接到当前最长的主区块链上，形成最新的区块。
4.根据权利要求1所述的一种去中心化分布式大数据区块链信息存储系统，其特征在于：所述信息处理平台为搭载5G通信技术的电脑终端设备，通过信息调用端来配合信息通讯模块来与数据库服务器进行数据的交互，并通过信息存储模块配合信息调用端来实现对数据库服务器信息的实时更新。
5.根据权利要求1所述的一种去中心化分布式大数据区块链信息存储系统，其特征在于：所述信息处理平台通过信息存储模块对调用检索范围内的信息进行编号与分类，并将各个信息调用端检索的编号分类信息上传至管理后台，通过管理后台来对信息调用端的范围与内容进行统一筛选，并将数据同步至信息处理平台中信息存储模块。
6.根据权利要求1所述的一种去中心化分布式大数据区块链信息存储系统，其特征在于：所述区块链网络层定义了区块链系统的通信方式，包括权限控制、隐私保护、验证机制等基础功能要素，通过设计特定的数据验证机制，可使得区块链系统中每一个节点都能参与区块数据的校验和保存过程，当区块数据通过验证后，而后记入区块链。
7.根据权利要求1所述的一种去中心化分布式大数据区块链信息存储系统，其特征在于：所述信息调用端包括通信适配单元、协议转换单元、数据分析单元、数据处理单元和云端服务器接入单元，所述通信适配单元通过无线通讯模块与数据库服务器通讯连接。
8.根据权利要求1所述的一种去中心化分布式大数据区块链信息存储系统，其特征在于：所述数据库服务器为控制柜，且所述控制柜是基于5G通信设备的控制装置，所述数据库服务器通过无线通讯模块与管理后台通讯连接连接，且所述数据库服务器通过无线通讯模块与信息调用端通讯连接，通过信息处理平台来配合管理后台来对数据库服务器进行信息的更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110711959.6A CN113553374A (zh) | 2021-06-25 | 2021-06-25 | 一种去中心化分布式大数据区块链信息存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110711959.6A CN113553374A (zh) | 2021-06-25 | 2021-06-25 | 一种去中心化分布式大数据区块链信息存储系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113553374A true CN113553374A (zh) | 2021-10-26 |
Family
ID=78102414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110711959.6A Pending CN113553374A (zh) | 2021-06-25 | 2021-06-25 | 一种去中心化分布式大数据区块链信息存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113553374A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114116895A (zh) * | 2021-11-17 | 2022-03-01 | 北京八分量信息科技有限公司 | 一种区块链大数据的云存储系统 |
| CN114780632A (zh) * | 2022-02-24 | 2022-07-22 | 北京中建建筑科学研究院有限公司 | 一种基于区块链的混凝土试块的信息存储系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109670340A (zh) * | 2018-12-29 | 2019-04-23 | 湖南网数科技有限公司 | 一种医疗数据的安全可信交换共享方法和系统 |
| WO2020199598A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技（深圳）有限公司 | 区块链节点管理方法、电子装置、系统及可读存储介质 |
| CN111931112A (zh) * | 2020-08-27 | 2020-11-13 | 优学汇信息科技(广东)有限公司 | 一种基于大数据的关键字检索系统及检索方法 |
| CN112927079A (zh) * | 2021-03-05 | 2021-06-08 | 广东电网有限责任公司 | 基于区块链的电力行业数字资产化管理 |
-
2021
- 2021-06-25 CN CN202110711959.6A patent/CN113553374A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109670340A (zh) * | 2018-12-29 | 2019-04-23 | 湖南网数科技有限公司 | 一种医疗数据的安全可信交换共享方法和系统 |
| WO2020199598A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技（深圳）有限公司 | 区块链节点管理方法、电子装置、系统及可读存储介质 |
| CN111931112A (zh) * | 2020-08-27 | 2020-11-13 | 优学汇信息科技(广东)有限公司 | 一种基于大数据的关键字检索系统及检索方法 |
| CN112927079A (zh) * | 2021-03-05 | 2021-06-08 | 广东电网有限责任公司 | 基于区块链的电力行业数字资产化管理 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114116895A (zh) * | 2021-11-17 | 2022-03-01 | 北京八分量信息科技有限公司 | 一种区块链大数据的云存储系统 |
| CN114116895B (zh) * | 2021-11-17 | 2024-04-12 | 北京八分量信息科技有限公司 | 一种区块链大数据的云存储系统 |
| CN114780632A (zh) * | 2022-02-24 | 2022-07-22 | 北京中建建筑科学研究院有限公司 | 一种基于区块链的混凝土试块的信息存储系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111600720B (zh) | 基于区块链的数据处理方法、装置、设备及可读存储介质 | |
| EP0692172B1 (en) | Data correction system for communications network | |
| CN112600891B (zh) | 一种基于信息物理融合的边云协同系统及工作方法 | |
| CN113553374A (zh) | 一种去中心化分布式大数据区块链信息存储系统 | |
| CN107070890A (zh) | 一种通信网优系统中的流数据处理装置及通信网优系统 | |
| CN107329853A (zh) | 数据库集群的备份方法、备份系统及电子设备 | |
| CN109308290B (zh) | 一种基于cim的高效数据清洗转换方法 | |
| CN102968479A (zh) | 跨安全区数据库备份方法 | |
| CN116991953A (zh) | 数据采集方法、装置、计算机设备及存储介质 | |
| CN111510440A (zh) | 一种数据交换方法及系统 | |
| CN115034347A (zh) | 用于二维码数据溯源的工业物联网及其控制方法 | |
| CN112769814B (zh) | 综合联动协调网络安全设备的方法及系统 | |
| CN115085794A (zh) | 面向北斗短报文的区块链可信存证方法及系统 | |
| CN114138900A (zh) | 基于区块链的网络化协同研发资源共享追溯系统及方法 | |
| CN115051930B (zh) | 基于AISecOps结合中台算法的弊端优化方法 | |
| CN114610811A (zh) | 一种基于区块链加密的珠宝设计图像数据存证系统 | |
| CN115394453B (zh) | 基于云计算环境下医学科研数据的智能管理系统和方法 | |
| CN113344545A (zh) | 一种基于工业互联网的设备管理系统 | |
| CN114417442A (zh) | 一种基于区块链的珠宝协同设计智能系统 | |
| CN118466297A (zh) | 一种基于大数据的工业物联平台管理系统及方法 | |
| CN117389976A (zh) | 一种故障录波文件监听同步方法及系统 | |
| CN111698286A (zh) | 大数据平台的FTP-Transport传输创建方法、系统、终端及存储介质 | |
| CN115840960A (zh) | 一种电子会计档案管理系统及方法 | |
| CN116938552A (zh) | 基于dns日志的处理方法、数据赋能平台及存储介质 | |
| CN116545506A (zh) | 一种卫星地面应用系统业务数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |