CN111723149A - 基于余数系统的区块链存储优化系统及方法 - Google Patents
基于余数系统的区块链存储优化系统及方法 Download PDFInfo
- Publication number
- CN111723149A CN111723149A CN202010421531.3A CN202010421531A CN111723149A CN 111723149 A CN111723149 A CN 111723149A CN 202010421531 A CN202010421531 A CN 202010421531A CN 111723149 A CN111723149 A CN 111723149A
- Authority
- CN
- China
- Prior art keywords
- remainder
- data
- node
- rns
- block chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 31
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 16
- 238000012546 transfer Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000011084 recovery Methods 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 abstract description 9
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 8
- 238000013144 data compression Methods 0.000 description 4
- 238000013467 fragmentation Methods 0.000 description 4
- 238000006062 fragmentation reaction Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/02—Payment architectures, schemes or protocols involving a neutral party, e.g. certification authority, notary or trusted third party [TTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于区块链技术领域,为实现在不损坏区块链可追溯、去中心化等核心特性的前提下,实现有效降低公共区块链系统中各节点数据存储量,本发明基于余数系统的区块链存储优化系统,包括:结合余数RNS模块:通过选定一组小于账户数据位宽的素数作为余数基,对账户数据进行“前向转换”,把账户数据映射为一组余数向量;节点数据更新模块:利用RNS对于线性操作具有并行性的特点,当转账交易执行完毕,账户内容需要变动时,在各个节点独立并行地更新本地余数进而实现数据的更新;数据恢复模块:通过“中国剩余定理”CRT,把分布式存储在各个节点的模数、余数加权组合在一块,进行数据的恢复。本发明主要应用于区块链数据存储场合。
Description
技术领域
本发明属于区块链技术领域,涉及在不损坏区块链可追溯、去中心化等核心特性的前提下,有效降低公共区块链系统(比特币、以太坊)中各节点数据存储量的方法。
背景技术
区块链是以比特币为代表的数字加密货币体系的核心支撑技术,其本质上是一个去中心化、去信任、自激励的分布式数据库,具有可追溯、不可篡改的特点,为解决现有中心化模式下存在的数据可靠性差、安全性低、信任成本高等问题提供了崭新的思路,在金融、医疗、教育、食品安全等领域得到广泛的关注和应用。与此同时,随着物联网和可穿戴设备的发展,数据存储、传输的安全性和可追溯性逐渐被提上日程,物联网、5G、人工智能与区块链技术的结合将迎来光明的前景。
截至2018年末,以太坊区块链数据规模超过110GB,比特币数据规模超过190GB。存储问题成为制约公共区块链发展的关键瓶颈。在这庞大的数据量中,一大部分是区块链系统的账户信息。账户信息一般具有固定的位宽(256bits),同时账户信息的变化均为加、减等线性操作。以太坊中账户信息以“世界状态”的形式存储在节点的StateD(状态数据库)数据库中,比特币中,账户信息则保存在被称之为“未花费的交易输出(Unspent transactionoutput,UTXO)”的交易记录上。庞大的数据量限制了资源有限的轻节点(智能手机、平板电脑等)加入区块链的可能性。目前,众多学者、区块链社区和企业针对区块链的存储问题提出了许多优化思路。
“比特币之父”中本聪在比特币白皮书中,通过将节点根据硬件性能划分为“全节点”、“轻节点”和“矿工节点”的方式来降低硬件性能较差的终端加入区块链系统的门槛。其他的方法则通过划分节点角色,辅以“分片”的方式来降低参与节点的数据存储量。通过“分片”,可以实现部分节点校验部分区块链片段,避免了全部节点参与校验完整区块链带来的巨大开销。EOSIO(一种发布于2018年6月的模块化设计的区块链系统)则通过“代币赎买”并结合星际文件系统来分摊单个节点的存储压力。现行的优化思路虽然可以在一定程度上缓解区块链的存储问题,但普遍具有如下的缺点:
1)通过修改区块链架构来优化存储问题,会造成区块链核心特性的损害。如比特币“角色划分”,一个“全节点”支撑多个“轻钱包”,“轻节点”虽然可以独立发起交易并进行SPV(简易支付验证),但交易的校验、转发、打包必须依托“全节点”进行,加重了对“全节点”的依赖,削弱了系统的去中心化,同时大大提高了系统遭遇“51%攻击”的风险。
2)优化方案复杂。如以太坊“分片”方法,进行交易验证、追溯时需要重新合并区块链。此外为了保证分片后有足够的安全性和一致性,往往要设计“片间通信”规则。
针对现有思路存在的不足,充分利用区块链底层P2P(Peer to peer)网络的去中心化特性,为了有效降低区块链各节点的数据存储量,本专利从数据压缩的角度出发,结合余数系统(Residual number system,RNS),构建出新的区块链存储模型。本专利提出的区块链存储优化模型,可以大幅度减少区块链系统中单个节点的数据存储量,同时规则简单,操作高效,具有实用性。
发明内容
为克服现有技术的不足,本发明旨在在不损坏区块链可追溯、去中心化等核心特性的前提下,实现有效降低公共区块链系统(比特币、以太坊)中各节点数据存储量。为此,本发明采取的技术方案是,基于余数系统的区块链存储优化系统,包括:
结合余数RNS模块:RNS由一组称为“余数基”的模数mi组成,i=1,2,3…L,模数间两两互质,为全部模数的最小公倍数,称之为“动态范围”;小于动态范围的任意正整数X≤M-1都能够通过对余数基进行高斯求模运算,在RNS中表示成一个余数向量{x1,x2,x3…xL},这种由原始数据到余数系统的映射称之为“前向转换”;本模块通过选定一组小于账户数据位宽的素数作为余数基,对账户数据进行“前向转换”,把账户数据映射为一组余数向量;
节点数据更新模块:利用RNS对于线性操作具有并行性的特点,当转账交易执行完毕,账户内容需要变动时,在各个节点独立并行地更新本地余数进而实现数据的更新;
数据恢复模块:通过“中国剩余定理”CRT(Chinese remainder theorem),把分布式存储在各个节点的模数、余数加权组合在一块,进行数据的恢复。
数据恢复模块中,在已知一组余数基{m1,m2,m3…mn}和RNS下对应的余数向量{x1,x2,x3…xn}时,压缩前的原始数据通过式子唯一求得,其中称之为Mi的“逆元”,满足原始数据X一定满足X≤M-1,式子被称之为中国剩余定理CRT,通过CRT,把分布式存储在各个节点的模数、余数加权组合在一块,实现数据的恢复。
基于余数系统的区块链存储优化方法,步骤如下:
前向转换步骤。RNS由一组称为“余数基”的模数mi组成,i=1,2,3…L,模数间两两互质,为全部模数的最小公倍数,称之为“动态范围”;小于动态范围的任意正整数X≤M-1都能够通过对余数基进行高斯求模运算,在RNS中表示成一个余数向量{x1,x2,x3…xL},这种由原始数据到余数系统的映射称之为“前向转换”;通过选定一组小于账户数据位宽的素数作为余数基,对账户数据进行“前向转换”,把账户数据映射为一组余数向量;
节点数据更新步骤。利用RNS对于线性操作具有并行性的特点,当转账交易执行完毕,账户内容需要变动时,在各个节点独立并行地更新本地余数进而实现数据的更新;
数据恢复步骤:通过CRT,可以把分布式存储在各个节点的模数、余数加权组合在一块,进行数据的恢复;具体步骤是,在已知一组余数基{m1,m2,m3…mn}和RNS下对应的余数向量{x1,x2,x3…xn}时,压缩前的原始数据通过式子唯一求得,其中称之为Mi的“逆元”,满足原始数据X一定满足X≤M-1。
本发明的特点及有益效果是:
本发明提供了从数据压缩角度出发,结合RNS的区块链存储优化模型。针对区块链系统中的账户信息,通过RNS实现数据的压缩、快速更新,利用CRT实现了原始数据的恢复。最终,在不破坏区块链核心特性的前提下,大幅度减少了区块链中各节点存储的数据量,从而极大地提高了区块链的可扩展性。理论上,本专利提出的优化模型将节约区块链系统的空间,即压缩率可达
附图说明:
图1RNS基本架构。
图2RNS更新过程。
图3基于RNS的存储优化模型。
图4应用存储优化模型的区块链工作流程。
具体实施方式
区块链系统具有去中心化、分布式、开放性的特点。同时区块链的账户信息具有位宽固定、线性变化的特点。对于公共区块链(比特币、以太坊),结合RNS,从数据压缩的角度着手,通过求模运算来实现数据位宽的截短,同时充分利用RNS执行线性运算时独立并行的特点,实现区块链数据的快速更新,构建实用的区块链存储优化模型,在不损害区块链核心特性的前提下,可以简单高效地大幅度减少区块链存储数据量。
1)结合RNS、求模运算、中国剩余定理相关理论,建立可以实现数据高效压缩、快速更新和恢复的区块链存储优化模型。
2)RNS由一组模数(称之为“余数基”)mi(i=1,2,3…L)组成,模数间两两互质,一般都取素数。为全部模数的最小公倍数,称之为“动态范围”。小于动态范围的任意正整数X≤M-1都可以通过对余数基进行高斯求模运算,在RNS中表示成一个余数向量{x1,x2,x3…xL}。这种由原始数据到余数系统的映射称之为“前向转换”。通过选定一组具有合适位宽(小于账户数据位宽)的素数作为余数基,对账户数据进行“前向转换”,可以把账户数据映射为一组余数向量,截短数据位宽的同时,可以把选定的模数、求模所得的余数分布式地存储在各个节点,从而大幅减少单个节点的存储数据量。
3)区块链账户数据有一个非常重要的性质,就是对账户数据的操作一定是线性的(加或减)。RNS对于线性操作具有并行性。所以当转账交易执行完毕,账户内容需要变动时,各个节点只需要独立并行地更新本地余数就可以实现数据的更新,而无需先恢复出原始数据再执行加减操作,从而大大提高数据更新的速度。
4)在已知一组余数基{m1,m2,m3…mn}和RNS下对应的余数向量{x1,x2,x3…xn}时,压缩前的原始数据可通过式子唯一求得。其中称之为Mi的“逆元”,满足原始数据X一定满足X≤M-1。通过CRT,可以把分布式存储在各个节点的模数、余数加权组合在一块,进行数据的恢复。
下面结合具体实例进一步详细说明本发明。
步骤1:选定参数
区块链中账户数据的位宽一般为256位。本专利选定一组32个位宽为16的余数基m1~m32进行数据压缩操作。m1~m32显示如下:
步骤2:构建基于RNS的区块链存储优化模型
1)各节点从m1~m32中独立随机地选择本地模数mi。各节点模数一旦确定,就不可更改;
2)各个节点处,账户信息并行对节点选择的mi执行求模运算,余数分布式地存储在各个节点上,从而在区块链网络建立余数系统;
步骤3:规划基于新存储模型的区块链工作流程
依据实现功能的不同,把区块链中的节点划分为转账节点、共识节点和存储节点。在本专利设计的区块链存储优化模型中,转账节点用来发起一笔新的转账交易,共识节点用来进行交易的验证、转发、执行。存储节点则专门负责数据的分布式存储。相对于传统的区块链存储模型,在新模型下,转账节点、共识节点的基本功能保持不变,共识节点还必须负责实现原始数据的恢复,存储节点则要实现数据的压缩和快速更新。
1)新节点作为存储节点加入区块链,首先同步区块链数据,压缩原始数据后存入本地。
2)转账节点发起转账交易。
3)共识节点接收存储节点发送的模数和相应的余数,恢复原始数据并验证账户余额。
4)共识节点对操作数(转账金额)进行共识。达成共识后,把操作数广播至存储节点。
5)存储节点根据操作数进行数据更新。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于余数系统的区块链存储优化系统,其特征是,包括:
结合余数RNS模块:RNS由一组称为“余数基”的模数mi组成,i=1,2,3…L,模数间两两互质,为全部模数的最小公倍数,称之为“动态范围”;小于动态范围的任意正整数X≤M-1都能够通过对余数基进行高斯求模运算,在RNS中表示成一个余数向量{x1,x2,x3…xL},这种由原始数据到余数系统的映射称之为“前向转换”;本模块通过选定一组小于账户数据位宽的素数作为余数基,对账户数据进行“前向转换”,把账户数据映射为一组余数向量;
节点数据更新模块:利用RNS对于线性操作具有并行性的特点,当转账交易执行完毕,账户内容需要变动时,在各个节点独立并行地更新本地余数进而实现数据的更新;
数据恢复模块:通过“中国剩余定理”CRT(Chinese remainder theorem),把分布式存储在各个节点的模数、余数加权组合在一块,进行数据的恢复。
3.一种基于余数系统的区块链存储优化方法,其特征是,步骤如下:前向转换步骤:RNS由一组称为“余数基”的模数mi组成,i=1,2,3…L,模数间两两互质,为全部模数的最小公倍数,称之为“动态范围”;小于动态范围的任意正整数X≤M-1都能够通过对余数基进行高斯求模运算,在RNS中表示成一个余数向量{x1,x2,x3…xL},这种由原始数据到余数系统的映射称之为“前向转换”;通过选定一组小于账户数据位宽的素数作为余数基,对账户数据进行“前向转换”,把账户数据映射为一组余数向量;
节点数据更新步骤。利用RNS对于线性操作具有并行性的特点,当转账交易执行完毕,账户内容需要变动时,在各个节点独立并行地更新本地余数进而实现数据的更新;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010421531.3A CN111723149A (zh) | 2020-05-18 | 2020-05-18 | 基于余数系统的区块链存储优化系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010421531.3A CN111723149A (zh) | 2020-05-18 | 2020-05-18 | 基于余数系统的区块链存储优化系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111723149A true CN111723149A (zh) | 2020-09-29 |
Family
ID=72564669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010421531.3A Pending CN111723149A (zh) | 2020-05-18 | 2020-05-18 | 基于余数系统的区块链存储优化系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111723149A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157693A (zh) * | 2021-03-21 | 2021-07-23 | 贵州大学 | 一种面向数字货币的区块链存储优化方案 |
CN114461730A (zh) * | 2022-02-09 | 2022-05-10 | 天津大学 | 基于余数系统的自适应区块数据压缩方法 |
CN114676444A (zh) * | 2022-03-24 | 2022-06-28 | 广州大师明信息服务有限公司 | 一种基于区块链的存储系统 |
CN116016571A (zh) * | 2022-12-29 | 2023-04-25 | 中国科学技术大学 | 基于rcrt的分布式存储方法、系统、设备及存储介质 |
CN117992472A (zh) * | 2024-04-03 | 2024-05-07 | 湖南天河国云科技有限公司 | 基于区块链的教育数据管理方法、装置和计算机设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160913A (zh) * | 2020-04-02 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 区块链账户余额的存证、恢复方法及装置 |
-
2020
- 2020-05-18 CN CN202010421531.3A patent/CN111723149A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160913A (zh) * | 2020-04-02 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 区块链账户余额的存证、恢复方法及装置 |
Non-Patent Citations (1)
Title |
---|
ZHAOHUI GUO等: "Design and Optimization for Storage Mechanism of the Public Blockchain Based on Redundant Residual Number System", 《IEEE ACCESS》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157693A (zh) * | 2021-03-21 | 2021-07-23 | 贵州大学 | 一种面向数字货币的区块链存储优化方案 |
CN113157693B (zh) * | 2021-03-21 | 2023-05-19 | 贵州大学 | 一种面向数字货币的区块链存储优化方案 |
CN114461730A (zh) * | 2022-02-09 | 2022-05-10 | 天津大学 | 基于余数系统的自适应区块数据压缩方法 |
CN114461730B (zh) * | 2022-02-09 | 2024-09-17 | 天津大学 | 基于余数系统的自适应区块数据压缩方法 |
CN114676444A (zh) * | 2022-03-24 | 2022-06-28 | 广州大师明信息服务有限公司 | 一种基于区块链的存储系统 |
CN114676444B (zh) * | 2022-03-24 | 2023-10-10 | 苏州极岸科技有限公司 | 一种基于区块链的存储系统 |
CN116016571A (zh) * | 2022-12-29 | 2023-04-25 | 中国科学技术大学 | 基于rcrt的分布式存储方法、系统、设备及存储介质 |
CN117992472A (zh) * | 2024-04-03 | 2024-05-07 | 湖南天河国云科技有限公司 | 基于区块链的教育数据管理方法、装置和计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723149A (zh) | 基于余数系统的区块链存储优化系统及方法 | |
CN107612973B (zh) | 用于智能移动端的区块链结构、生成方法及交易验证方法 | |
US10318505B2 (en) | Methods and apparatus for a distributed database within a network | |
Carter | How much energy does Bitcoin actually consume | |
CN110399424B (zh) | 区块生成方法、装置、区块链节点及存储介质 | |
CN110599169B (zh) | 数据处理方法、装置、终端及介质 | |
CN110602148A (zh) | 一种区块的状态树的生成和链上数据验证的方法及装置 | |
CN110493325A (zh) | 区块链状态数据同步方法及装置、电子设备 | |
CN108269072A (zh) | 用于区块链的交易处理方法和网络节点 | |
CN109242299A (zh) | 分布式挖矿方法、挖矿机及区块链系统 | |
CN112202703A (zh) | 基于冗余余数系统的区块链存储优化方法 | |
CN110046894A (zh) | 一种基于纠删码的分组可重构区块链建立方法 | |
CN110222067B (zh) | 区块链智能合约锚定可信任外部数据库的方法及系统 | |
CN111625258B (zh) | 默克尔树更新方法、装置、设备及可读存储介质 | |
CN113448694B (zh) | 一种提高事务处理能力的区块链共识方法 | |
CN115189908B (zh) | 一种基于网络数字孪生体的随机攻击生存性评估方法 | |
CN116957112A (zh) | 联合模型的训练方法、装置、设备及存储介质 | |
CN109902135A (zh) | 一种矢量瓦片预处理方法及装置 | |
JP2022553963A (ja) | 同期処理方法及び関連装置 | |
CN115733763A (zh) | 一种关联网络的标签传播方法、装置及计算机可读存储介质 | |
CN114791788B (zh) | 一种基于区块链的数据存储方法及装置 | |
CN115834257A (zh) | 一种云端电力数据安全防护方法及防护系统 | |
Ying et al. | Gcfl: blockchain-based efficient federated learning for heterogeneous devices | |
CN115221361A (zh) | 一种基于属性图模型存储和编码图数据的方法 | |
CN116701414A (zh) | 基于区块链的数据处理方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200929 |