CN112269840A - 一种基于分布式计算的区块链大数据处理方法 - Google Patents

一种基于分布式计算的区块链大数据处理方法 Download PDF

Info

Publication number
CN112269840A
CN112269840A CN202011363783.1A CN202011363783A CN112269840A CN 112269840 A CN112269840 A CN 112269840A CN 202011363783 A CN202011363783 A CN 202011363783A CN 112269840 A CN112269840 A CN 112269840A
Authority
CN
China
Prior art keywords
data
big data
processing
data processing
random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011363783.1A
Other languages
English (en)
Inventor
阿拉拇
贾祺炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011363783.1A priority Critical patent/CN112269840A/zh
Publication of CN112269840A publication Critical patent/CN112269840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于分布式计算的区块链大数据处理方法，包括如下步骤：S1、采用随机部分加密的方式实现大数据的预处理；S2、采用随机分区域的储存方式实现完成预处理的大数据的储存；S3、为每一个区域匹配一个唯一的数据处理节点。本发明在可以保证区块链内载数据安全的前提下，可以降低每个节点的负载量，并实现数据的分布式计算处理，大大提高了区块链数据的处理效率。

Description

一种基于分布式计算的区块链大数据处理方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于分布式计算的区块链大数据处理方法。
背景技术
区块链技术中，每个节点均需存储整个区块链中的数据，从而实现去中心化、不可篡改等效果。但是每个节点要完整地存储区块链中的数据则会让每个节点数据存储过大而发生负载过大、数据冗余、容易死机、数据处理速度降低、同步数据库费时费力等问题。
发明内容
为解决上述问题，本发明提供了一种基于分布式计算的区块链大数据处理方法，在可以保证区块链内载数据安全的前提下，可以降低每个节点的负载量，并实现数据的分布式计算处理，大大提高了区块链数据的处理效率。
为实现上述目的，本发明采取的技术方案为：
一种基于分布式计算的区块链大数据处理方法，包括如下步骤：
S1、采用随机部分加密的方式实现大数据的预处理；
S2、采用随机分区域的储存方式实现完成预处理的大数据的储存；
S3、为每一个区域匹配一个唯一的数据处理节点。
进一步地，还包括：基于哈希函数实现大数据格式的标准化处理的步骤。
进一步地，所述步骤S1中，采用随机密文的数据加密算法随机选取部分大数据实现该部分大数据的加密处理的方式实现大数据的预处理。
进一步地，所述步骤S2中，采用随机的方式为完成预处理的大数据匹配对应的MPT树储存节点，每个MPT树储存节点均需分配到数据，且相互之间不存在重叠数据。
进一步地，所述步骤S3中，为每一个MPT树储存节点匹配一个唯一的数据处理节点。
进一步地，还包括：
为随机密文的数据加密算法匹配对应的生物验证模型的步骤，基于匹配的生物验证模型可以实现随机密文的数据加密算法的解密。
进一步地，为每一个数据处理节点匹配一唤醒码，通过唤醒码可以实现不同数据处理节点的单独/同步唤醒，基于分布式的数据处理节点实现MPT树储存数据的分布计算处理。
本发明具有以下有益效果：
在可以保证区块链内载数据安全的前提下，可以降低每个节点的负载量，并实现数据的分布式计算处理，大大提高了区块链数据的处理效率。
附图说明
图1为本发明实施例1一种基于分布式计算的区块链大数据处理方法的流程图。
图2为本发明实施例2一种基于分布式计算的区块链大数据处理方法的流程图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，一种基于分布式计算的区块链大数据处理方法，包括如下步骤：
S1、基于哈希函数实现大数据格式的标准化处理；
S2、采用随机部分加密的方式实现标准化的大数据的预处理；
S3、采用随机分区域的储存方式实现完成预处理的大数据的储存；
S4、为每一个区域匹配一个唯一的数据处理节点。
本实施例中，所述步骤S1中，采用随机密文的数据加密算法随机选取部分大数据实现该部分大数据的加密处理的方式实现大数据的预处理。所述步骤S2中，采用随机的方式为完成预处理的大数据匹配对应的MPT树储存节点，每个MPT树储存节点均需分配到数据，且相互之间不存在重叠数据。所述步骤S3中，为每一个MPT树储存节点匹配一个唯一的数据处理节点。
本实施例中，为每一个数据处理节点匹配一唤醒码，通过唤醒码可以实现不同数据处理节点的单独/同步唤醒，基于分布式的数据处理节点实现MPT树储存数据的分布计算处理。
实施例2
如图2所示，一种基于分布式计算的区块链大数据处理方法，包括如下步骤：
S1、基于哈希函数实现大数据格式的标准化处理；
S2、采用随机部分加密的方式实现标准化的大数据的预处理；并为随机密文的数据加密算法匹配对应的生物验证模型；
S3、采用随机分区域的储存方式实现完成预处理的大数据的储存；
S4、为每一个区域匹配一个唯一的数据处理节点。
所述步骤S1中，采用随机密文的数据加密算法随机选取部分大数据实现该部分大数据的加密处理的方式实现大数据的预处理。所述步骤S2中，采用随机的方式为完成预处理的大数据匹配对应的MPT树储存节点，每个MPT树储存节点均需分配到数据，且相互之间不存在重叠数据。所述步骤S3中，为每一个MPT树储存节点匹配一个唯一的数据处理节点。
本实施例中，为每一个数据处理节点匹配一唤醒码，通过唤醒码可以实现不同数据处理节点的单独/同步唤醒，基于分布式的数据处理节点实现MPT树储存数据的分布计算处理。
本实施例中，基于匹配的生物验证模型可以实现随机密文的数据加密算法的解密。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于分布式计算的区块链大数据处理方法，其特征在于，包括如下步骤：
S1、采用随机部分加密的方式实现大数据的预处理；
S2、采用随机分区域的储存方式实现完成预处理的大数据的储存；
S3、为每一个区域匹配一个唯一的数据处理节点。
2.如权利要求1所述的一种基于分布式计算的区块链大数据处理方法，其特征在于，还包括：基于哈希函数实现大数据格式的标准化处理的步骤。
3.如权利要求1所述的一种基于分布式计算的区块链大数据处理方法，其特征在于，所述步骤S1中，采用随机密文的数据加密算法随机选取部分大数据实现该部分大数据的加密处理的方式实现大数据的预处理。
4.如权利要求1所述的一种基于分布式计算的区块链大数据处理方法，其特征在于，所述步骤S2中，采用随机的方式为完成预处理的大数据匹配对应的MPT树储存节点，每个MPT树储存节点均需分配到数据，且相互之间不存在重叠数据。
5.如权利要求1所述的一种基于分布式计算的区块链大数据处理方法，其特征在于，所述步骤S3中，为每一个MPT树储存节点匹配一个唯一的数据处理节点。
6.如权利要求1所述的一种基于分布式计算的区块链大数据处理方法，其特征在于，还包括：
为随机密文的数据加密算法匹配对应的生物验证模型的步骤，基于匹配的生物验证模型可以实现随机密文的数据加密算法的解密。
7.如权利要求1所述的一种基于分布式计算的区块链大数据处理方法，其特征在于，为每一个数据处理节点匹配一唤醒码，通过唤醒码可以实现不同数据处理节点的单独/同步唤醒。
CN202011363783.1A 2020-11-27 2020-11-27 一种基于分布式计算的区块链大数据处理方法 Pending CN112269840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011363783.1A CN112269840A (zh) 2020-11-27 2020-11-27 一种基于分布式计算的区块链大数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011363783.1A CN112269840A (zh) 2020-11-27 2020-11-27 一种基于分布式计算的区块链大数据处理方法

Publications (1)

Publication Number Publication Date
CN112269840A true CN112269840A (zh) 2021-01-26

Family

ID=74350001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011363783.1A Pending CN112269840A (zh) 2020-11-27 2020-11-27 一种基于分布式计算的区块链大数据处理方法

Country Status (1)

Country Link
CN (1) CN112269840A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240426A1 (zh) * 2022-06-14 2023-12-21 广州工商学院 一种基于分布式计算的区块链大数据处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103098A (zh) * 2017-05-12 2017-08-29 曾建伟 一种包含智能合约的区块链网式数据库及工作方法
US20200007464A1 (en) * 2018-06-29 2020-01-02 National Chiao Tung University Method and management system of distributed computation
CN111221780A (zh) * 2019-12-31 2020-06-02 浙江工业大学 一种基于区块链的服务器文件安全存储方法
CN111367649A (zh) * 2018-12-26 2020-07-03 北京四维图新科技股份有限公司 高精地图数据并行处理方法和装置
CN111539016A (zh) * 2020-04-14 2020-08-14 浙江浙燃能源有限公司 分布式计算方法、系统、区块链节点及计算机介质
CN111630830A (zh) * 2020-04-15 2020-09-04 支付宝(杭州)信息技术有限公司 账户模型下的分布式区块链数据存储
CN111837117A (zh) * 2019-09-11 2020-10-27 创新先进技术有限公司 可信执行环境中基于纠错编码的共享区块链数据存储

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103098A (zh) * 2017-05-12 2017-08-29 曾建伟 一种包含智能合约的区块链网式数据库及工作方法
US20200007464A1 (en) * 2018-06-29 2020-01-02 National Chiao Tung University Method and management system of distributed computation
CN111367649A (zh) * 2018-12-26 2020-07-03 北京四维图新科技股份有限公司 高精地图数据并行处理方法和装置
CN111837117A (zh) * 2019-09-11 2020-10-27 创新先进技术有限公司 可信执行环境中基于纠错编码的共享区块链数据存储
CN111221780A (zh) * 2019-12-31 2020-06-02 浙江工业大学 一种基于区块链的服务器文件安全存储方法
CN111539016A (zh) * 2020-04-14 2020-08-14 浙江浙燃能源有限公司 分布式计算方法、系统、区块链节点及计算机介质
CN111630830A (zh) * 2020-04-15 2020-09-04 支付宝(杭州)信息技术有限公司 账户模型下的分布式区块链数据存储

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240426A1 (zh) * 2022-06-14 2023-12-21 广州工商学院 一种基于分布式计算的区块链大数据处理方法

Similar Documents

Publication Publication Date Title
US11005664B2 (en) Blockchain post-quantum signature scheme
CN110493148B (zh) 一种区块处理、区块共识和区块同步方法及装置
MXPA05003546A (es) Modelo modificado para verificacion con tag.
CN101853190B (zh) 一种适用于嵌入式处理器的数据完整性验证方法
CN102196429B (zh) 一种无线传感器网络中加密数据的融合方法
CN105162583B (zh) 一种单个、单级和多级密钥对分散方法及其系统
CY1105328T1 (el) Μεσο αποθηκευσης κρυπτογραφικου ιδιωτικου κλειδιου και μεθοδος ανακτησης του και συσκευη
CN110868295B (zh) 基于秘密共享的抗量子计算联盟链系统及通信方法
US10083194B2 (en) Process for obtaining candidate data from a remote storage server for comparison to a data to be identified
CN112269840A (zh) 一种基于分布式计算的区块链大数据处理方法
CN110147202A (zh) 一种减少区块链智能合约代码存储体积的方法
Liu et al. Decentration transaction method based on blockchain technology
CN101527030A (zh) 基于边信息的安全水印方法
CN107368569A (zh) 数据差异对比方法和装置、存储介质以及处理器
CN114760073B (zh) 基于区块链的仓储商品配送方法、装置、电子设备及介质
CN112217646A (zh) 用于实现sm3密码杂凑算法的装置及方法
CN111464657A (zh) 一种基于大数据的智慧城市数据系统
CN111475690A (zh) 字符串的匹配方法和装置、数据检测方法、服务器
WO2023240426A1 (zh) 一种基于分布式计算的区块链大数据处理方法
Stibor et al. The link between r-contiguous detectors and k-CNF satisfiability
Li et al. CoChain: High Concurrency Blockchain Sharding via Consensus on Consensus
CN114791788B (zh) 一种基于区块链的数据存储方法及装置
CN105160279B (zh) Rfid系统需要可信第三方的多所有者标签所有权转换方法
CN114401116A (zh) 基于HK-Means和安全性检测的可信数据传输方法
CN114417068A (zh) 一种具有隐私性保护的大规模图数据匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination