CN114791788B - 一种基于区块链的数据存储方法及装置 - Google Patents

Abstract

本发明公开了一种基于区块链的数据存储方法及装置，采用了双链的模型来减少主区块链系统的数据存储量，主链存储少量主要数据并通过数据监督接口对副链进行监管，副链中存储大量的数据副本以及非交易类数据，模型将副链存储模型划分为两层，包括存储层和处理层，处理层中运用了重复数据删除技术来减少副链数据冗余。相比传统的全复制存储模式，本发明的主链上存储的数据量大大减少，天然地提高了存储空间使用率以及存储模型地可扩展性；重复数据删除技术主要根据结构或非结构化数据所生成的哈希指纹来进行指纹管理，利用重复比率删除算法来删除部分重复数据，因此，副链上的存储冗余量也随之减少，以此减轻区块链作为分布式账本时的存储压力。

Description

一种基于区块链的数据存储方法及装置

技术领域

本发明涉及区块链技术领域，具体的说，涉及一种基于区块链的数据存储方法及装置。

背景技术

区块链，就是一个又一个区块组成的链条。每一个区块中保存了一定的信息，它们按照各自产生的时间顺序连接成链条。这个链条被保存在所有的服务器中，只要整个系统中有一台服务器可以工作，整条区块链就是安全的。这些服务器在区块链系统中被称为节点，它们为整个区块链系统提供存储空间和算力支持。如果要修改区块链中的信息，必须征得半数以上节点的同意并修改所有节点中的信息，而这些节点通常掌握在不同的主体手中，因此篡改区块链中的信息是一件极其困难的事。相比于传统的网络，区块链具有两大核心特点：数据难以篡改和去中心化。基于这两个特点，区块链所记录的信息更加真实可靠，可以帮助解决人们互不信任的问题。

随着庞大的数据量存储需求，多采用云计算来实现云存储服务以减轻存储压力；使用数据编码技术来减少数据冗余，但以上技术无法满足数据的安全性需求，因此，物联网、农业、金融等各界均欲采用区块链分布式存储技术和密码技术来保障海量数据的安全性。现有的区块链分布式存储系统主要存在的问题在于，区块链分布式存储技术存在数据冗余度高，可扩展性差，数据灵活性低，查询效率低，链上数据处理能力不足等问题。因此，设计一种通过减少区块链上数据冗余的方式增强其可扩展性，提升区块链存储效率来适应当下的大数据时代的区块链分布式存储模型，是当前重要的研究领域之一。

发明内容

本发明的目的在于克服背景技术所提出的技术问题，提出了一种基于区块链的数据存储方法及装置。区块链系统内部数据存储结构是将数据以全副本的模式存储在各个节点，这种存储模式所导致的数据灵活性低，区块存储空间利用率低的问题，并且链上数据是透明的，一些隐私保护需求较高的数据的安全性得不到相应的保障。因此本发明提出了双链存储模型，对区块链系统中的数据层结构进行改进，将大量的数据副本以及数据的详细内容存至副链（vice-chain），通过这种存储模型来减少主链（major-chain）的存储压力，提升区块链系统的可扩展性，并更好的保障数据的安全性。

本发明的具体技术方案如下：

根据本发明的第一技术方案，提供了一种基于区块链的数据存储方法，所述方法包括：步骤1：将数据分为主数据以及副数据；步骤2：将所述主数据进行哈希运算，生成MPT树结构，存入主链上；步骤3：将副链划分为存储层和处理层，所述处理层的操作包括：步骤3.1：对所述副数据进行计算后得到的应存入副链的大量结构和非结构化数据生成哈希指纹；步骤3.2：通过指纹比对，再通过重复数据删除技术来删除一定数量的重复数据以减少副链数据冗余，将删减后的数据，取哈希值存入存储层；步骤4：存储层通过MPT树结构来存储副链上的相关数据，并通过根哈希值和自顶向下三层树形结构通过DMI结构和主链建立连接，并存入主链中；步骤5：主链与副链之间通过DMI接口来建立连接，主链通过DMI接口来对副链上的数据进行管理，主链上的数据就按照传统的区块链分布式存储技术来进行存储。

优选的，所述步骤1中，将数据根据交易索引频次、交易时间、安全性分析、是否为结构化数据划分为主数据以及副数据。

优选的，所述方法还包括：步骤6：主链通过DMI接口来监管监听副链数据，当有新的数据写入区块链系统时，在副链上进行数据更新，并重新计算存储分配情况，重复步骤3-步骤5，完成数据更新与存储。

根据本发明的第二技术方案，提供一种基于区块链的数据存储装置，所述装置包括划分模块、计算模块、主链以及副链；所述划分模块，其被配置为：将数据分为主数据以及副数据；所述计算模块，其被配置为：将所述主数据进行哈希运算，生成MPT树结构，存入主链上；所述副链包括存储层和处理层，所述处理层被配置为：对所述副数据进行计算后得到的应存入副链的大量结构和非结构化数据生成哈希指纹；并通过指纹比对，再通过重复数据删除技术来删除一定数量的重复数据以减少副链数据冗余，将删减后的数据，取哈希值存入存储层；所述主链与所述副链之间通过DMI接口来建立连接，所述主链被配置为：通过DMI接口来对副链上的数据进行管理，主链上的数据就按照传统的区块链分布式存储技术来进行存储。

优选的，所述划分模块，还被配置为：将数据根据交易索引频次、交易时间、安全性分析、是否为结构化数据划分为主数据以及副数据。

优选的，所述主链，其还被配置为：通过DMI接口来监管监听副链数据，当有新的数据写入区块链系统时，在副链上进行数据更新，并重新计算存储分配情况，重复步骤3-步骤5，完成数据更新与存储

根据本发明的基于区块链的数据存储方法及装置，不需要将写入区块链上的海量数据完整地存储于区块链上，而是将数据分别存放在major-chain和vice-chain上，减少了直接在主链上进行存储的数据量，相同空间可以存储更多的数据，数据灵活性更好，主链的存储性能大大提升。同时，副链上通过重复数据删除技术能够在保障数据安全性、可溯源性的基础上减少区块链系统副本冗余度，避免副链的存储空间浪费，能够更好地适应大数据地需求。另外，副链中的数据不是透明的，但是可溯源的，主链上的信息是公开的，通过主链监管副链的方式，将隐私性较强的交易具体内容存放至副链不仅能减轻主链的存储压力，还能更好能地保护数据的安全性。最后，主副链结构的一致性也能够避免数据异构导致的检索效率低，数据处理成本高等问题，可扩展性得以提升。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为双链存储模型结构图。

图2为主链存储区块解结构图。

图示为主链中最小存储单元，即“区块”结构，每一个存储单元都包含了区块链头和区块体，区块头中存储在区块的头信息，包含上一个区块的哈希值、时间戳、交易树根哈希值、版本号，随机数、区块奖励等；区块体无需保存整颗交易树，只需要包含自顶向下三层MPT树结构的数据内容，其余数据通过副链进行存储，如图1所示。

图3为MPT树结构图。

图示为Merkle Patricia Tree(MPT)树结构，MPT树结构是Merkle Tree(默克尔树)和Patricia Tree(压缩前缀树)相结合的产物。Merkle Tree用于保证数据安全，Patricia Tree用于提升树的读写效率，MPT树结构可以在根节点保存整棵树的哈希校验和，而校验和的生成则是采用了和默克尔树生成一致的方式，为了压缩整体的树高，降低操作的复杂度，其将树节点分成了扩展结点、分支节点、叶子节点。扩展节点key需Hex-Prefix(HP)编码后参与哈希计算。叶子节点只存在于分支节点中。分支节点需要先将每个子节点存储中的节点进行哈希。如果子节点为null，则使用空字节表示。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。

现在结合说明书附图对本发明做进一步的说明。

目前，区块链常用存储Elastic Chain模型、EtherQL等，Elastic Chain模型在有效保障数据安全的前提下，集散少了数据冗余，在一定程度上使区块链能够支持更大的数据量存储。EtherQL系统中提出的链下数据库的思想，将外部数据库 MongoDB作为媒介来存储更多的数据，能够有效减少链上数据量，并能通过监听接口来实现数据查询操作。

然而Elastic Chain是通过改变区块链数据存储结构来优化性能，检索效率得到了提升，但大量数据仍然在区块链本地进行存储，当海量数据写入区块链，该模型的存储性能十分有限，无法满足大数据的需求；EtherQL系统利用线下存储来改进区块链内部的数据存储效率，但所采用的链下数据库与区块链系统是异构的，所以在数据管理时，安全性大大降低，并且难以抵御恶意节点攻击，当操作长时间无响应时，不能及时判断是服务器宕机还是出现恶意节点。

因此，本发明利用了链下存储的思想、采用了重复数据删除技术和分层处理存储的方法来改进存储模型，模型在传统的区块链存储模型中增加了副链的结构，采用了双链的模型来减少主区块链系统的数据存储量，主链存储少量主要数据并通过DMI接口对副链进行监管，副链中存储大量的数据副本以及非交易类数据，模型将副链存储模型划分为两层，包括存储层和处理层，其中，处理层中运用了重复数据删除技术来减少副链数据冗余。相比传统的全复制存储模式，本发明中，主链上存储的数据量大大减少，天然地提高了存储空间使用率以及存储模型地可扩展性；重复数据删除技术主要根据结构或非结构化数据所生成的哈希指纹来进行指纹管理，利用重复比率删除算法来删除部分重复数据，因此，副链上的存储冗余量也随之减少，以此减轻区块链作为分布式账本时的存储压力。

传统链下存储结构采用传统的数据库来存储海量的非结构化区块链数据，比如图片、影音等，虽然其能够大大减轻区块链网络的存储压力，在区块链对这些数据进行管理或查询时，由于存储模型的异构性，数据检索和更新很有可能延时，当出现恶意节点时，很难判断时节点宕机还是恶意攻击，因此，采用传统的数据库来存储链下数据在减少区块链存储压力的同时，也大大地降低了数据地安全性。

参阅图1，本发明实施例所设计的双链存储模型包含了major-chain和vice-chain两条链式结构。主链上仍采用P2P网络进行节点间的通信，副链由处理层和存储层构成，其中：

主链存储：参阅图2，主链的区块中存储的数据包括前一个区块的哈希值（hash）、随机数（nonce）、交易树根（TXroot），时间戳、版本号等关键数据信息。此外，虽然减少了数据存储的类型和数量，为了确保安全性，主链会通过设置一个与副链之间的区块链数据库DMI接口来对副链进行数据监听及数据管理，通过DMI接口建立主链副链间的索引及链接，并通过主私钥对来保证其安全性。数据一旦出现更新，就会在DMI中进行更新关键数据并插入主链，然后修改主链中相关字段。主链的结构与传统区块链的结构相似，但不需要存储完整的树形结构或其他非交易类的数据。存储的字段包括了交易树的根节点以及三层交易树的hash，这样做的为了避免当出现恶意节点时，即使有hash碰撞的风险也依然能够保证数据的安全，以及版本信息、时间戳等常规信息的安全性。

副链存储：副链需要存储交易数据的完整副本以及其他的一些非交易类数据的hash，为减轻副链负担，对副链的存储结构进行了一定的改进。将其划分为数据层和处理层，数据层使用的MPT树结构来存储数据，MPT树结构的结构如图3所示，它是Merkle Tree与Patricia Tree相结合的产物，能够有效的减少存储空间并同时增加了检索效率，而处理层中引入了重复数据删除技术来减少数据冗余量，以此提升副链的存储性能，交易的详细信息存至副链上，不必完全对外公开，以此保护存入区块链系统中的数据的隐私性。

本双链存储模型的工作过程如下：

首先，双链存储模型中主副链根据数据分配，存储相应的信息。当一个区块当有数 据写入区块链系统时，数据在副链系统中的处理层来对数据进行处理，将新加入的数据生 成hash指纹，并重新计算存储分配情况，根据指纹碰撞，调用删除重复数据技术来减少数据 冗余。由于副链中数据包括了交易和非交易数据。对非交易类数据，直接通过对相关数据生 成的哈希指纹进行比对，删除重复数据，以此减少数据冗余；对于交易类的数据，首先根据 交易数据块指纹特征来找出相同交易数量n，然后根据重复比例调节算法，根据公式来计算区块i出最小重复数c，其中N表示副链中节点的总数，n表示当 前相同交易的总数。由于副链中数据包括了交易和非交易数据。以上利用重复数据删除技 术对副链数据进行处理之后，大大地减少副链系统中的数据量。

接着，指纹集在经过数据量删减之后，以MPT树结构来存储数据，更新树形结构存储在副链中，并通过根哈希值和自顶向下的三层树形结构通过DMI 结构和主链建立连接。树形结构更新后，通过DMI接口来执行插入操作，根据新生成的根哈希值，更改主链上的节点信息，主链上的数据就按照传统的区块链分布式存储技术来进行存储。

当需要查询验证信息时，主链获取查询请求，通过DMI查询接口来请求访问副链数据详情，副链通过MPT树结构来高效地查询数据，再将交易详情返回给主链。主链验证交易真实性，而安城查询操作并输出。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种基于区块链的数据存储方法，所述区块链包括主链和副链，其特征在于，所述方法包括：

步骤1：将数据分为主数据以及副数据；

步骤2：将所述主数据进行哈希运算，生成MPT树结构，存入主链上；

步骤3：将副链划分为存储层和处理层，所述处理层的操作包括：

步骤3.1：对所述副数据进行计算后得到的应存入副链的大量结构和非结构化数据生成哈希指纹；

步骤3.2：通过指纹比对，再通过重复数据删除技术来删除重复数据以减少副链数据冗余，将删减后的数据，取哈希值存入存储层；

步骤4：存储层通过MPT树结构来存储副链上的相关数据，并基于根哈希值和自顶向下三层树形结构通过DMI结构和主链建立连接，并存入主链中；

步骤5：主链与副链之间通过DMI接口建立连接，主链通过DMI接口对副链上的数据进行管理，主链上的数据根据区块链分布式存储技术进行存储。

2.根据权利要求1所述的方法，其特征在于，所述步骤1中，将数据根据交易索引频次、交易时间、安全性分析、是否为结构化数据划分为主数据以及副数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

步骤6：主链通过DMI接口监管监听副链数据，当有新的数据写入区块链系统时，在副链上进行数据更新，并重新计算存储分配情况，重复步骤3-步骤5，完成数据更新与存储。

4.一种基于区块链的数据存储装置，其特征在于，所述装置包括划分模块、计算模块、主链以及副链；

所述划分模块，其被配置为：将数据分为主数据以及副数据；

所述计算模块，其被配置为：将所述主数据进行哈希运算，生成MPT树结构，存入主链上；

所述副链包括存储层和处理层，所述处理层被配置为：对所述副数据进行计算后得到的应存入副链的大量结构和非结构化数据生成哈希指纹；并通过指纹比对，再通过重复数据删除技术来删除一定数量的重复数据以减少副链数据冗余，将删减后的数据，取哈希值存入存储层；

所述主链与所述副链之间通过DMI接口来建立连接，所述主链被配置为：通过DMI接口来对副链上的数据进行管理，主链上的数据就按照传统的区块链分布式存储技术来进行存储。

5.根据权利要求4所述的装置，其特征在于，所述划分模块，还被配置为：将数据根据交易索引频次、交易时间、安全性分析、是否为结构化数据划分为主数据以及副数据。

6.根据权利要求4所述的装置，其特征在于，所述主链，其还被配置为：通过DMI接口来监管监听副链数据，当有新的数据写入区块链系统时，在副链上进行数据更新，并重新计算存储分配情况，重复步骤3-步骤5，完成数据更新与存储。