CN111459895B - 一种区块链数据分级压缩与存储方法及系统 - Google Patents

Abstract

本发明提出了一种区块链数据分级压缩与存储方法及系统，业务方自行判断交易数据的重要度，在发起交易的时候选择一个重要度等级，所述交易数据会携带相应的重要度标识；根据所述交易数据的重要度标识从数据压缩算法库调取相应的数据压缩算法，对所述交易数据进行压缩；在选取压缩算法时，引入一个压缩效率系数λ来描述所述压缩算法的压缩效率；所述压缩后的交易数据经加密后在区块链网络进行发布，区块链网络中的节点根据重要度标识分级存储所述交易数据；区块链网络中的节点分为全量节点与轻量节点，所述全量节点优先存储，当所述全量节点数不满足存储节点数要求时，再从轻量节点中按比例随机选取节点存储。

Description

一种区块链数据分级压缩与存储方法及系统

技术领域

本发明涉及区块链技术领域，具体涉及一种区块链数据分级压缩与存储的方法及系统。

背景技术

区块链可以理解为是一种分布式的账本，具有去中心化、防篡改、可追溯和公开透明等特点。目前，区块链已经应用于金融资产交易结算、数字政务、存证防伪、数据服务等业务场景。随着时间和交易量的日益增长，区块链的账本越来越长，所需存储空间不断增大，而且节点间全量账本的拷贝更让存储空间的需求成几何型增长，数据存储空间不足成为了新的问题。而现有技术中采用的是单一压缩方式和单一存储方式，对各类数据进行无差别的压缩和存储。数据压缩存储节省了存储空间的同时也会增加数据处理的时间，查阅数据时还需要解压数据，增加CPU的负荷。因此，本发明提出了一种区块链数据分级压缩和存储的方法及系统，可以根据数据的重要程度来采用不同的压缩算法，进行不同级别的压缩，在节省存储空间的同时，也不会因为对各类数据的无差别压缩增加数据处理的时间，从而提高数据压缩与解压的效率。

发明内容

本发明的目的在于提出一种区块链数据分级压缩与存储方法及系统，以减少区块链数据存储所需的空间，而数据分级压缩与存储的方法又使节省数据存储空间的同时尽可能的节省数据处理的时间，提高存储与查询的效率。

第一方面，提出了一种区块链数据分级压缩与存储方法，包括以下步骤：

压缩过程：

业务方自行判断交易数据的重要度，重要度等级分为n级，在发起交易的时候选择一个重要度等级，所述交易数据会携带相应的重要度标识；

执行压缩效率系数计算；

根据所述交易数据的重要度标识从数据压缩算法库调取相应的数据压缩算法，对所述交易数据进行压缩，相应的压缩算法库至少包含n个数据压缩算法；

存储过程：

所述压缩后的交易数据经加密后在区块链网络进行发布；执行智能合约中的计数程序；区块链网络中的节点根据所述交易数据的重要度标识分级存储所述交易数据，相应的存储等级分为n级，所述节点分为全量节点和轻量节点，所述全量节点优先存储，当所述全量节点数不满足存储节点数要求时，再从轻量节点中选取存储节点；

查询过程：

业务方发起数据查询交易，将所述查询交易发送给区块链中的查询单元，所述查询单元验证用户身份信息，验证通过后查询区块链上存证的所述压缩数据；

将所述压缩数据返回给业务方，业务方解密所述压缩数据，并根据所述压缩数据的重要度标识调出相应的数据解压算法对所述压缩数据进行解压，得到原始数据。

进一步的，执行压缩效率系数计算时引入一个压缩效率系数λ来描述所述压缩算法的压缩效率，其计算公式为λ＝a^x*b^y*c^z，其中a、b、c分别指所述压缩算法的压缩比、压缩速率和解压速率，x、y、z≥0，当x、y、z取不同值时，所述压缩效率系数可以用来考量不同场景下的压缩算法的压缩效率；所述压缩效率系数越大表明对应的压缩算法的压缩效率越高，在调用压缩算法时，所述交易数据的重要度等级越高则选择压缩效率越高的压缩算法。

进一步的，在存储过程中，执行区块链智能合约中的计数程序，通过轮询的方式给所有节点发送消息，返回消息中包含节点活跃状态值active是true或false，统计出区块链网络中的全量节点和轻量节点的节点活跃数Qua_alive，将所述全量节点的节点活跃数记为m，将所有节点的节点活跃数记为p。

进一步的，所述的存储过程中，在区块链网络中的节点根据重要度标识存储所述交易数据时，相应的将存储等级分为n级(1,2,3,...,i,...,n)，1级存储需要占比51％的节点进行存储，i级存储需要占比(51％+49％*(i-1)/(n-1))的节点进行存储，n级存储需要全部节点(100％)进行存储；当进行i级存储时，全量节点优先存储，若所述全量节点活跃数m占全部节点活跃数p的比例k≥(51％+49％*(i-1)/(n-1))时，则从所述全量节点中随机选取(51％+49％*(i-1)/(n-1))*p个节点进行存储；若k<(51％+49％*(i-1)/(n-1))时，则除了全部的全量节点进行存储外，还要从活跃轻量节点中随机选取(51％+49％*(i-1)/(n-1)-k)*p个节点进行存储；若(51％+49％*(i-1)/(n-1))*p和(51％+49％*(i-1)/(n-1)-k)*p不为整数时，则所述节点数取大于该数的最小整数。

进一步的，在随机选取存储节点的时候在随机算法中加入了一个随机扰动函数t为节点的剩余内存大小，/>满足的条件是/>当从全量节点中随机选取存储节点的时候i＝1,2,...,m；当从轻量节点中随机选取存储节点的时候i＝1,2,...,l(l为活跃的轻量节点数，l＝p-m)。加入该随机扰动函数的作用是，在随机选取存储节点时考虑到不同节点剩余内存的大小不同，会使剩余内存越大的节点被选中的概率越大。

第二方面，提出了一种区块链数据分级压缩与存储系统，所述系统包括区块链数据压缩模块，所述模块包含：

压缩单元：根据交易数据的重要度生成数据的重要度标识，根据所述交易数据的重要度标识从数据压缩算法库调取相应的数据压缩算法，对所述交易数据进行压缩；

智能计算单元：包括执行压缩效率系数计算，智能合约中的计数程序，随机数算法和随机扰动函数的计算；

存储单元：包括全量节点和轻量节点，根据所述交易数据的重要度标识分级存储所述交易数据，所述全量节点优先存储，当所述全量节点数不满足存储节点数要求时，再从轻量节点中选取存储节点。

进一步的，所述系统还包括区块链数据查询模块，所述模块包含：

查询单元：业务方发起查询交易，将所述查询交易发送给区块链中的查询单元，所述查询单元验证用户身份信息，验证通过后查询区块链上存证的所述压缩数据；

解压单元：将所述压缩数据返回给业务方，业务方解密所述压缩数据，并根据所述压缩数据的重要度标识调出相应的数据解压算法对所述压缩数据进行解压，得到原始数据。

与现有技术相比，本发明提出的区块链数据分级压缩与存储方法及系统，将交易数据根据重要性进行分类，带有重要度标识的交易数据发送给区块链压缩单元，根据重要度标识从压缩算法库选择相应的压缩算法。在选取压缩算法的时候引入了一个压缩效率系数λ来综合描述压缩算法的压缩效率，在不同的业务场景下压缩效率系数λ会因现实的因素会有所不同，使得压缩算法的压缩效率计算更符合现实情况。根据交易数据的重要度标识对其进行不同程度的压缩，在节省数据存储空间的同时，尽可能减少数据压缩和解压的时间，提高数据处理效率。数据压缩完成后，对不同重要度等级的交易数据进行分级存储，节省了总体存储空间。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的区块链数据分级压缩方法的流程图；

图2为本申请实施例的区块链数据重要度等级与压缩等级的对应关系；

图3为本申请实施例的区块链数据查询方法的流程图；

图4是本申请实施例的区块链数据压缩模块示意图；

图5是本申请实施例的区块链数据查询模块示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本说明书的描述中，参考术语“一实施例”、“一具体实施例”、“一实施例方式”、“例如”的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

本申请所述的全量节点指的是处理速度快、存储能力强的设备，如服务器等；所述的轻量节点指的是处理速度慢、存储能力弱的设备，如计算机、笔记本电脑等。本申请对全量节点及轻量节点具体为何不做限定。

如图1所示，业务方自行判断交易数据的重要度，在发起交易的时候选择一个重要度等级，所述交易数据会携带相应的重要度标识；根据所述交易数据的重要度标识从数据压缩算法库调取相应的数据压缩算法，对所述交易数据进行压缩；将所述交易数据的重要度等级分为n级，相应的压缩算法库至少包含n个压缩算法；所述压缩后的交易数据经加密后在区块链网络进行发布；区块链网络中的节点根据重要度标识分级存储所述交易数据，相应的存储等级分为n级，区块链网络中的节点分为全量节点与轻量节点，所述全量节点优先存储，当所述全量节点数不满足存储节点数要求时，再从轻量节点中按比例随机选取节点存储。在本具体实施例中，n取3。

在选择数据压缩算法时引入了一个压缩效率系数λ，常用的压缩算法的压缩比、压缩速率及解压速率如表1所示：

表1

压缩算法	压缩比	压缩速率MB/s	解压速率MB/s
				zstd 1.1.3-1	2.877	430	1110
brotli 0.5.2-0	2.708	400	430
				Quicklz 1.5.0-1	2.238	550	710
Lzolx 2.0.9-1	2.108	650	830
				Lz4 1.7.5	2.101	720	3600
Snappy 1.1.3	2.091	500	1650

在比较不同的压缩算法的压缩效率时不仅需要考虑该压缩算法的压缩比，还要考虑压缩算法的压缩速率和解压速率，而压缩算法的压缩效率与压缩比、压缩速率及解压速率成正相关。根据对以上因素的综合考量，得到一个压缩效率系数的计算公式λ＝a^x*b^y*c^z(a、b、c分别指压缩算法的压缩比、压缩速率和解压速率，x、y、z≥0)，当x、y、z取不同值时，该压缩效率系数可以用来综合评价不同业务场景下的压缩算法的压缩效率。在区块链数据存储中，压缩算法的压缩比比压缩速率和解压速率重要，而数据压缩的频率往往高于解压(查询)的频率，因此数据压缩速率较解压速率重要。因此，在计算压缩效率系数的时候取x>y>z。根据压缩效率系数计算公式，表2中列出了3种不同指数下的压缩效率系数值，取x＝y＝z＝1得到压缩效率系数1作为参照值，取x＝2，y＝1，z＝0得到压缩效率系数2，取x＝3，y＝2，z＝1得到压缩效率系数3。可以看出不同压缩算法在取不同指数时的压缩效率系数是不同的，不同的应用场景下可采用不同的压缩效率系数计算方式，压缩效率系数越大表明该压缩算法的压缩效率更高，根据得到的压缩效率系数选择不同的压缩算法。

表2

压缩算法	压缩效率系数1	压缩效率系数2	压缩效率系数3
				zstd 1.1.3-1	1.37	3.56	4.89
brotli 0.5.2-0	0.47	2.93	1.37
				Quicklz 1.5.0-1	0.87	2.75	2.41
Lzolx 2.0.9-1	1.14	2.89	3.28
				Lz4 1.7.5	5.45	3.18	17.31
Snappy 1.1.3	1.73	2.19	3.77

在本实施例中重要度等级分成三级，相应的采用了三种压缩算法，分别是zstd1.1.3-1、Quicklz 1.5.0-1和Snappy 1.1.3；并采用压缩效率系数3来判断所述压缩算法的压缩效率及压缩等级，得到所述三种压缩算法的压缩效率大小为λ(zstd 1.1.3-1)>λ(Snappy 1.1.3)>λ(Quicklz 1.5.0-1)，对应的压缩等级分别是3级，2级，1级。按照图2中交易数据的重要度等级与压缩等级的对照关系，调用相应的压缩算法对所述交易数据进行压缩，将压缩后的交易数据经加密后发布于区块链网络。

执行区块链智能合约中的计数程序，通过轮询的方式给所有节点发送消息，返回消息中包含节点活跃状态值active是true或false，统计出区块链网络中的全量节点和轻量节点的节点活跃数Qua_alive，将所述全量节点的节点活跃数记为m，将所有节点的节点活跃数记为p。

数据压缩完成后需对所述压缩数据进行存储，相应的存储等级分为3级，1级存储需要占比51％的节点进行存储，2级存储需要占比75.5％的节点进行存储，3级存储需要全部节点(100％)进行存储；当进行i级存储时，全量节点优先存储，若所述全量节点活跃数m占全部节点活跃数p的比例k≥(51％+49％*(i-1)/(n-1))时，则从所述全量节点中随机选取(51％+49％*(i-1)/(n-1))*p个节点进行存储；若k<(51％+49％*(i-1)/(n-1))时，则除了全部的全量节点进行存储外，还要从活跃轻量节点中随机选取(51％+49％*(i-1)/(n-1)-k)*p个节点进行存储；若(51％+49％*(i-1)/(n-1))*p或(51％+49％*(i-1)/(n-1)-k)*p不为整数，则所述节点数取大于该数的最小整数。

在随机选取存储节点的时候在随机算法中加入了一个随机扰动函数t为节点的剩余内存大小，/>满足的条件是/>当从全量节点中随机选取存储节点的时候i＝1,2,...,m；当从轻量节点中随机选取存储节点的时候i＝1,2,...,l(l为活跃的轻量节点数，l＝p-m)。

图3所示是一种区块链数据查询方法的流程，业务方形成查询交易请求，从区块链网络节点中调出相应的压缩数据返回业务方。根据所述压缩数据的所述重要度标识，从压缩算法库调取相应的解压算法，对所述压缩数据进行解压，得到原始数据。

图4中示出了一种区块链数据分级压缩与存储系统中的压缩模块，所述模块包含：

压缩单元：根据交易数据的重要度生成数据的重要度标识，根据所述交易数据的重要度标识从数据压缩算法库调取相应的数据压缩算法，对所述交易数据进行压缩；

智能计算单元：包括执行压缩效率系数计算，智能合约中的计数程序，随机数算法和随机扰动函数的计算；

存储单元：包括全量节点和轻量节点，根据所述交易数据的重要度标识分级存储所述交易数据，所述全量节点优先存储，当所述全量节点数不满足存储节点数要求时，再从轻量节点中选取存储节点。

图5中示出了一种区块链数据分级压缩与存储系统中的查询模块，所述模块包含：

查询单元：业务方发起查询交易，将所述查询交易发送给区块链中的查询单元，所述查询单元验证用户身份信息，验证通过后查询区块链上存证的所述压缩数据；

解压单元：将所述压缩数据返回给业务方，业务方解密所述压缩数据，并根据所述压缩数据的重要度标识调出相应的数据解压算法对所述压缩数据进行解压，得到原始数据。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

Claims (6)

1.一种区块链数据分级压缩与存储方法，其特征在于，包括以下步骤：

压缩过程：

业务方自行判断交易数据的重要度，重要度等级分为n级，在发起交易的时候选择一个重要度等级，所述交易数据会携带相应的重要度标识；

执行压缩效率系数计算：引入一个压缩效率系数λ来描述压缩算法的压缩效率，其计算公式为λ＝a^x*b^y*c^z，其中a、b、c分别指所述压缩算法的压缩比、压缩速率和解压速率，x、y、z≥0，当x、y、z取不同值时，所述压缩效率系数可以用来考量不同场景下的压缩算法的压缩效率；所述压缩效率系数越大表明对应的压缩算法的压缩效率越高，在调用压缩算法时，所述交易数据的重要度等级越高则选择压缩效率越高的压缩算法；

根据所述交易数据的重要度标识从数据压缩算法库调取相应的数据压缩算法，对所述交易数据进行压缩，得到压缩数据，相应的压缩算法库至少包含n个数据压缩算法；

存储过程：

所述压缩数据经加密后在区块链网络进行发布；执行智能合约中的计数程序；区块链网络中的节点根据所述交易数据的重要度标识分级存储所述交易数据，相应的存储等级分为n级，所述节点分为全量节点和轻量节点，所述全量节点优先存储，当所述全量节点数不满足存储节点数要求时，再从轻量节点中选取存储节点；

查询过程：

业务方发起数据查询交易，将所述查询交易发送给区块链中的查询单元，所述查询单元验证用户身份信息，验证通过后查询区块链上存证的所述压缩数据；

将所述压缩数据返回给业务方，业务方解密所述压缩数据，并根据所述压缩数据的重要度标识调出相应的数据解压算法对所述压缩数据进行解压，得到原始数据。

2.根据权利要求1所述的区块链数据分级压缩与存储方法，其特征在于，所述的存储过程中，执行区块链智能合约中的计数程序，所述方法包括通过轮询的方式给所有节点发送消息，返回消息中包含节点活跃状态值active是true或false，统计出区块链网络中的全量节点和轻量节点的节点活跃数Qua_alive，将所述全量节点的节点活跃数记为m，将所有节点的节点活跃数记为p。

3.根据权利要求1或2所述的区块链数据分级压缩与存储方法，其特征在于，所述的存储过程中，在区块链网络中的节点根据重要度标识存储所述交易数据时，相应的将存储等级分为n级(1,2,3,...,i,...,n)，1级存储需要占比51％的节点进行存储，i级存储需要占比(51％+49％*(i-1)/(n-1))的节点进行存储，n级存储需要全部节点(100％)进行存储；当进行i级存储时，全量节点优先存储，若所述全量节点活跃数m占全部节点活跃数p的比例k≥(51％+49％*(i-1)/(n-1))时，则从活跃的全量节点中随机选取(51％+49％*(i-1)/(n-1))*p个节点进行存储；若k<(51％+49％*(i-1)/(n-1))时，则除了全部的全量节点进行存储外，还要从活跃的轻量节点中随机选取(51％+49％*(i-1)/(n-1)-k)*p个节点进行存储；若(51％+49％*(i-1)/(n-1))*p和(51％+49％*(i-1)/(n-1)-k)*p不为整数，则所述节点数取大于该数的最小整数。

4.根据权利要求3所述的区块链数据分级压缩与存储方法，其特征在于，在随机选取存储节点时，在随机算法中加入了一个随机扰动函数t为节点的剩余内存大小，满足的条件是/>当从全量节点中随机选取存储节点的时候i＝1,2,...,m；当从轻量节点中随机选取存储节点的时候i＝1,2,...,l；其中l为活跃的轻量节点数，l＝p-m。

5.一种区块链数据分级压缩与存储系统，其特征在于，所述系统包括区块链数据压缩模块，所述模块包含：

压缩单元：根据交易数据的重要度等级生成数据的重要度标识，根据所述交易数据的重要度标识从数据压缩算法库调取相应的数据压缩算法，对所述交易数据进行压缩，得到压缩数据；

智能计算单元：包括执行压缩效率系数计算，智能合约中的计数程序，随机数算法和随机扰动函数的计算；

执行压缩效率系数计算时引入一个压缩效率系数λ来描述所述压缩算法的压缩效率，其计算公式为λ＝a^x*b^y*c^z，其中a、b、c分别指所述压缩算法的压缩比、压缩速率和解压速率，x、y、z≥0，当x、y、z取不同值时，所述压缩效率系数可以用来考量不同场景下的压缩算法的压缩效率；所述压缩效率系数越大表明对应的压缩算法的压缩效率越高，在调用压缩算法时，所述交易数据的重要度等级越高则选择压缩效率越高的压缩算法；

存储单元：包括全量节点和轻量节点，根据所述交易数据的重要度标识分级存储所述交易数据，所述全量节点优先存储，当所述全量节点数不满足存储节点数要求时，再从轻量节点中选取存储节点。

6.根据权利要求5所述的区块链数据分级压缩与存储系统，其特征在于，所述系统还包括区块链数据查询模块，所述模块包含：

查询单元：业务方发起查询交易，将所述查询交易发送给区块链中的查询单元，所述查询单元验证用户身份信息，验证通过后查询区块链上存证的所述压缩数据；

解压单元：将所述压缩数据返回给业务方，业务方解密所述压缩数据，并根据所述压缩数据的重要度标识调出相应的数据解压算法对所述压缩数据进行解压，得到原始数据。