CN111367859A - 一种区块链交易数据的存储方法及系统 - Google Patents

Abstract

本发明涉及一种区块链交易数据的存储方法及系统，该方法包括：在区块被创建后，在所述第一节点中存储所述区块中的链信息，所述链信息包括区块中的所有交易信息的存储地址和所有所述交易信息内容的Hash；在所述共享存储器中存储所有所述交易信息中满足预设条件的部分交易信息。本发明将链上节点的存储资源分成两部分，一部分用于存储完整的链信息，保持节点的独立；另一部分将部分交易信息存储在共享存储器中，可与其他节点分享自身存储的交易信息，避免了在一个节点中存储所有的交易信息，从而在不影响节点独立性的前提下，大大降低对节点的存储资源的要求。

Description

一种区块链交易数据的存储方法及系统

技术领域

本发明涉及区块链技术领域，具体涉及一种区块链交易数据的存储方法及系统。

背景技术

区块链的一个重要特征是去中心化，基于该特征，区块链技术提供了一种基于共识的记账方法。由于每个节点要保持独立记账，等于要求每个节点都需要独立存储整个账本，显然，区块链网络上的存储总能力随节点的数量增加成正比例增长。

通常，区块链上的交易承载量与参与者数量成正比例，所以，一个区块链的交易规模增长通常会导致网络总能力的需求以交易规模增长的平方增长。这一现象严重阻碍了区块链的广泛应用。甚至出现了限制节点数量的方法，但是节点数量小，无法解决形成中心的问题。

发明内容

针对上述技术问题，本发明提供一种区块链交易数据的存储方法及系统。

本发明解决上述技术问题的技术方案如下：一种区块链交易数据的存储方法，区块链网络中的每一个物理节点包括一个接入区块链的第一节点和共享存储器，该方法包括：

步骤1、在区块被创建后，在所述第一节点中存储所述区块中的链信息，所述链信息包括区块中的所有交易信息的存储地址和所有所述交易信息内容的Hash；

步骤2、在所述共享存储器中存储所有所述交易信息中满足预设条件的部分交易信息。

为实现上述发明目的，本发明还提供一种区块链交易数据的存储系统，该系统包括：

第一存储模块，用于在区块被创建后，在所述第一节点中存储所述区块中的链信息，所述链信息包括区块中的所有交易信息的存储地址和所有所述交易信息内容的Hash；

第二存储模块，用于在所述共享存储器中存储所有所述交易信息中满足预设条件的部分交易信息。

本发明的有益效果是：将链上节点的存储资源分成两部分，一部分用于存储完整的链信息，保持节点的独立；另一部分将部分交易信息存储在共享存储器中，可与其他节点分享自身存储的交易信息，避免了在一个节点中存储所有的交易信息，从而在不影响节点独立性的前提下，大大降低对节点的存储资源的要求。

附图说明

图1为本发明实施例提供的一种区块链交易数据的存储方法的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的一种区块链交易数据的存储方法的流程图，区块链网络中的每一个物理节点包括一个接入区块链的第一节点和共享存储器。

本发明不限制共享存储的具体方式。一般来说，节点可以通过以下几种方式获得共享存储：

1.使用第三方的共享存储。比如，使用NAS、云存储服务等。

2.区块链网络中的节点组成P2P文件系统。比如采用IPFS。

如图1所示，该方法包括：

S1、在区块被创建后，在所述第一节点中存储所述区块中的链信息，所述链信息包括区块中的所有交易信息的存储地址和所有所述交易信息内容的Hash；

S2、在所述共享存储器中存储所有所述交易信息中满足预设条件的部分交易信息。

具体的，下面以bitcoin的区块结构为例对本发明进行说明。bitcoin的区块可以描述为：

本发明先要将bitcoin的区块分割，链信息区块为BlockHeader，交易信息为：Transactions[]MsgTx；然后将BlockHeader(链信息)独自存储，将Transactions(交易信息)共享存储。

另外，还需要在链信息区块BlockHeader中增加交易信息在区块链中所有物理节点的共享存储器构成的共享存储网络中存储的地址，以便任何一个节点都可以根据自己存储的链信息区块BlockHeader找到交易信息，同时可以对交易信息的完整性和一致性进行校验。当区块的交易量太大时，还可以将交易信息分为多个文件分开存储，因此BlockHeader被设计为可以包含多个交易信息指针的结构，例如：

对比可以看出，主要修改有两点：

1.交易信息与链信息分开；

2.链信息中包含交易信息文件的地址和内容的Hash。

如上所述，为了保证各节点的独立性，每个节点仍需保存一份完整的链信息。与现有的将所有区块信息都存在节点上(On－Node)的技术相比，节点对存储的要求可以降到万分之一。因为按上面的方式分割后，区块的尺寸从最大2M Bytes可以降低到200Bytes(假设TransactionFileInfo结构的尺寸为64字节)。按10分钟一个区块计算，一年需要存储的BlockHeader总量约10M Bytes(6×24×365×200)。与当前bitcoin的每年100GB的存储相比可以忽略不计。

采用本发明使得交易信息可以共享存储。假设每个Block对应的交易信息都是2M，一年的交易信息总量约为100G Bytes(6×24×365×2M)。以一个1000个节点的共享存储网络、网络中存放了10个完整的交易信息备份为例，一年的数据总量为1TB，平均到每个节点上，只需约1GB的空间，这是每个节点单独存放交易信息所需存储空间的1/100。

可选地，在该实施例中，所述共享存储器为接入P2P文件系统的第二节点，步骤S2具体包括：在所述第二节点中存储所述区块中交易信息内容的Hash与所述第二节点的NodeID的距离小于阈值N的部分交易信息。

具体的，当区块链网络中的节点组成一个P2P文件系统时，区块链网络不依赖于外部存储资源，组成一个自给自足的网络。在这种情况下，区块链网络中的一个物理节点实际上有两个身份：区块链节点、P2P文件系统节点。注意：一个物理节点上的区块链节点和P2P文件系统节点在不同的地址空间，有各自独立的空间地址。

为了达到区块链对交易信息的存储要求，以及节省存储资源的要求，P2P文件系统必须满足以下要求：

1.交易文件不能丢失。不能因为某些节点下线或某些节点上存储的交易文件被损坏，而导致该交易文件在整个区块链网络中无法恢复。

2.交易文件读取必须在预定的时间内完成。

3.可以控制相同交易文件内容的副本数量。

将交易文件存储在P2P文件系统中时，某些P2P文件系统以内容Hash作为文件的索引，比如IPFS，因此，上文所描述的交易文件地址和交易文件内容Hash其实是相同的。由于每个节点存储的共识交易信息都是相同的，Hash文件名也是相同的，无论有多少个节点存储的交易文件也只会存在一个物理拷贝，因而压缩了实际占用的存储空间。在出现分叉的情况下，叉链对应的交易信息会与主链不同。因为分叉上的交易数据有不同的索引，可以同样存在于P2P文件系统中，在叉链上达成共识的节点之间同样可以通过数据共享自动去除冗余。

P2P网络中常用的DHT(Distributed Hash Table)寻址算法，DHT是一种HashTable，它使用Key,Value这样的数据结构保存数据，其中Key是Hash值。整个P2P网络形成一个巨大的Hash Table，P2P网络中的节点保存该Hash Table的一部分数据。节点使用以自己Node ID为参照的Hash Table，把本地的Hash Table的键值Key按照和自己Node ID的距离进行组织。比如节点Node ID总共32bit，把Hash Table的键值分为4个组，每个组的距离步进为8bit。假设某个节点的Node ID为0x12345678，那么这四个组为：

1.分组1的键值范围：0x12345600～0x123456FF；

2.分组2的键值范围：0x12340000～0x1234FFFF，但不包含分组1的键值；

3.分组3的键值范围：0x12000000～0x12FFFFFF，但不包含分组1、分组2的键值；

4.分组4的键值范围：0x00000000～0xFFFFFFFF，但不包含分组1、分组2、分组3的键值。

同时，节点还把邻居节点也按这个规则进行组织。

在上文中，Node ID和Key的距离计算如下：

Distance＝Len(NodeID)-CommonPrefixLength(Key，NodeID)

其中，Distance表示Key和NodeID的距离，Len(NodeID)是Node ID的长度，CommonPrefixLength( )是计算输入参数的共同前缀长度的函数。在实现上，CommonPrefixLength( )一般对输入参数做异或(XOR)操作，然后计算结果中前缀0的个数。

在P2P文件系统中，交易文件的Key为交易文件内容的Hash，同时这也是交易文件的地址。也就是说，当我们使用P2P文件系统存储交易文件时，上文TransactionFileInfo中的Address和Hash的值总是相同的。这种情况下，可以用一个值表示这两个域，从而减少数据量。

在达成共识后，节点按照上述方法计算新产生区块中的交易信息与自己的距离，当距离小于阀值N时，该节点需要将交易信息添加到共享存储器。

可选地，在该实施例中，所述第二节点的Node ID满足均匀分布，所述P2P文件系统中每个交易信息的冗余数量K、Node ID、阈值N和当前在线的第二节点数目M满足下列关系：

具体的，N代表了需要存储某个交易信息的节点占总地址空间的比例，间接表示了交易信息的冗余数量K。比如，Node ID由32个bit组成，当N＝6时，也就是总节点地址空间中的2⁶/2³²个节点需要存储该交易信息。然而，事实上，当前在线的节点数目只占到总节点地址空间的一部分，所以N总是远远大于K。一般来说，总节点地址空间是根据整个区块链的容量设计的，通常都比较大。但是某一时刻已经被使用的地址却很少，而在线的就更少。如果当前在线节点的Node ID满足均匀分布，那么就可以用对当前在线节点的数据M，估算出合适的N值，从而控制交易文件的冗余数量K，K、Node ID、N和M满足下列关系：

为了使得当前在线节点的Node ID尽可能的满足均匀分布，我们首先需要使节点的Node ID满足均匀分布，而Hash算法的输出具有很好的均匀分布特性比如，因此，可以使用下面的NodeID算法：

NodeID＝Hash(PublicKey)

在线节点数目是一个变化的值，因此，如果需要精确控制冗余数目，N值也需要随之改变。当N变大时，某些节点就不再需要存储某些交易文件了；当N值变小时，某些节点又需要存储更多的交易文件。在不需要精确控制冗余数目的情况下，只需要保证在一段时间内，可用的冗余数目在某个范围即可，可以降低N值的变化频率，使各节点有足够的时间调整本地存储的交易文件。

可选地，在该实施例中，所述P2P文件系统按照交易信息内容的Hash范围划分节点的分组；

该方法还包括：

S3、当与当前第二节点所在的分组的邻居分组中第二节点的数目少于限定值时，在所述当前第二节点中存储所述邻居分组对应的交易信息内容的Hash范围内的交易信息。

具体的，节点除了根据Node ID和交易文件Hash的距离决定自己是否需要存储交易文件外，还需要根据自己的邻居节点的活跃状况存储交易文件。当节点发现它的某个邻居分组的节点数目小于限定值时，该节点主动承担邻居分组的存储任务。举个例子，假设N＝8，节点ID为0x12345678。该节点会存储交易文件Hash在0x12345600～0x123456FF范围内的交易文件。与此同时，当它发现邻居分组0x12340000～0x1234FFFF中的节点数目少于限定值时，它还会保存交易文件Hash在0x12340000～0x1234FFFF范围内的交易文件，但这并不意味着它修改了N值，交易文件Hash在0x12345600～0x123456FF范围内的交易文件会被保存到共享存储区的持久数据区，而除此之外的交易文件Hash在0x12340000～0x1234FFFF范围内的交易文件被保存到共享存储区的保留数据区。

通过这种方式，本发明可以灵活应对网络拓扑变化，比如遭受网络隔离攻击、由于外力导致的区域网络瘫痪等网络拓扑变化。当发生这种情况时，存活节点会为它的邻居承担一部分存储工作。而邻居节点恢复后，它们会从区块链链信息中得知这些交易文件，并根据自己Node ID和交易文件的距离主动拉取交易文件，持久化存储起来。从而使整个网络恢复。

在上面的机制中，距离故障节点越近的节点承担存储工作的概率越大。这是由节点对邻居节点的分组特性决定的。在上文的描述中，我们可以看到，对于一个节点来说，邻居分组的地址空间大小并不是相同的，而是距离自己越近的邻居分组地址空间越小。这就会导致，一个邻居节点落到距离自己越近的邻居分组的概率越小，从而导致距离自己越近的邻居分组的节点数目小于限定值的概率越大，这样能够加快故障节点恢复时查找交易文件的速度。按照上文交易文件寻址过程，可以看出，节点总是向距离交易文件Hash较近的邻居查询交易文件。在故障恢复过程中，故障恢复节点需要恢复与自己距离小于N的交易文件，也就是与故障恢复节点距离较近的交易文件。换句话说，故障恢复节点总是向距离自己较近的邻居查询交易文件。而按照上面的分析，距离故障节点越近的节点承担存储工作的概率越大，那么故障恢复节点在第一跳就获得交易文件的概率也越大，从而加快了故障节点恢复时查询交易文件的速度。

可选地，在该实施例中，该方法还包括：

S5、当达到预设时间或者当所述第二节点的存储空间达到预设值时，清理所述共享存储器中不需要存储的交易信息。

由于分叉链的存在以及N值的调整，节点存储的数据可能不再需要。节点可以定期或当存储空间达到一定限额时启动垃圾清理机制。垃圾清理流程示例如下：

1.删除不在本地链信息上的交易文件；

2.删除动态缓存数据；

3.检查邻居节点是否恢复，如果已恢复，则把保留数据文件标记为动态缓存数据文件。

可选地，在该实施例中，该方法还包括：

S6、当所述第二节点收到交易信息的搜索请求时，判断所述第一节点存储的链信息中是否存在所述搜索请求中的交易信息内容的Hash，若是则对所述搜索请求进行处理。

具体的，为防止恶意节点采用滥用存储资源的方式来攻击P2P文件系统，本发明引入了权限控制策略来抵御这一攻击。为保证P2P文件系统只为区块链节点提供资源。本发明引入下面的机制来作为存储资源共享的权限控制策略。

各P2P文件系统节点只存储与本地的区块链链信息中记录的Hash匹配的交易文件。P2P文件系统节点在响应、转发、缓存搜索请求时，都要对请求的数据做校验，也只受理与本地的链信息中存在的交易文件Hash匹配的请求。

以上方式可以保证恶意节点的垃圾数据只会占用它自己的P2P文件系统节点上的存储空间，无法扩散恶意数据。其他区块链节点按本地链信息拉取交易数据，而一个区块链节点上的垃圾数据的寻址信息(链上Hash值)受共识约束不会出现在其他节点的中，所以垃圾数据也就无法在P2P文件系统中扩散。同时，恶意节点恶意散播的查找垃圾数据的请求，也会被诚实节点丢弃。

本发明实施例提供一种区块链交易数据的存储系统，区块链网络中的每一个物理节点包括一个接入区块链的第一节点和共享存储器，该系统包括：

第一存储模块，用于在区块被创建后，在所述第一节点中存储所述区块中的链信息，所述链信息包括区块中的所有交易信息的存储地址和所有所述交易信息内容的Hash；

第二存储模块，用于在所述共享存储器中存储所有所述交易信息中满足预设条件的部分交易信息。

可选地，在该实施例中，所述共享存储器为接入P2P文件系统的第二节点，所述第二存储模块，具体用于在所述第二节点中存储所述区块中交易信息内容的Hash与所述第二节点的Node ID的距离小于阈值N的部分交易信息。

可选地，在该实施例中，所述P2P文件系统按照交易信息内容的Hash范围划分节点的分组；

所述第二存储模块，还用于当与当前第二节点所在的分组的邻居分组中第二节点的数目少于限定值时，在所述当前第二节点中存储所述邻居分组对应的交易信息内容的Hash范围内的交易信息。

可选地，在该实施例中，该系统还包括：

清理模块，用于当达到预设时间或者当所述第二节点的存储空间达到预设值时，清理所述第二节点中不需要存储的交易信息。

可选地，在该实施例中，该系统还包括：

处理模块，用于当所述第二节点收到交易信息的搜索请求时，判断所述第一节点存储的链信息中是否存在所述搜索请求中的交易信息内容的Hash，若是则对所述搜索请求进行处理。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种区块链交易数据的存储方法，其特征在于，区块链网络中的每一个物理节点包括一个接入区块链的第一节点和共享存储器，该方法包括：

步骤1、在区块被创建后，在所述第一节点中存储所述区块中的链信息，所述链信息包括区块中的所有交易信息的存储地址和所有所述交易信息内容的Hash；

步骤2、在所述共享存储器中存储所有所述交易信息中满足预设条件的部分交易信息。

2.根据权利要求1所述的方法，其特征在于，所述共享存储器为接入P2P文件系统的第二节点，所述步骤2具体包括：在所述第二节点中存储所述区块中交易信息内容的Hash与所述第二节点的Node ID的距离小于阈值N的部分交易信息。

3.根据权利要求2所述的方法，其特征在于，所述第二节点的Node ID满足均匀分布，所述P2P文件系统中每个交易信息的冗余数量K、Node ID、阈值N和当前在线的第二节点数目M满足下列关系：

4.根据权利要求2所述的方法，其特征在于，所述P2P文件系统按照交易信息内容的Hash范围划分节点的分组；

该方法还包括：

步骤3、当与当前第二节点所在的分组的邻居分组中第二节点的数目少于限定值时，在所述当前第二节点中存储所述邻居分组对应的交易信息内容的Hash范围内的交易信息。

5.根据权利要求2-4任一项所述的方法，其特征在于，还包括：

步骤5、当达到预设时间或者当所述第二节点的存储空间达到预设值时，清理所述第二节点中不需要存储的交易信息。

6.根据权利要求2-4任一项所述的方法，其特征在于，还包括：

步骤6、当所述第二节点收到交易信息的搜索请求时，判断所述第一节点存储的链信息中是否存在所述搜索请求中的交易信息内容的Hash，若是则对所述搜索请求进行处理。

7.一种区块链交易数据的存储系统，其特征在于，区块链网络中的每一个物理节点包括一个接入区块链的第一节点和共享存储器，该系统包括：

第一存储模块，用于在区块被创建后，在所述第一节点中存储所述区块中的链信息，所述链信息包括区块中的所有交易信息的存储地址和所有所述交易信息内容的Hash；

第二存储模块，用于在所述共享存储器中存储所有所述交易信息中满足预设条件的部分交易信息。

8.根据权利要求7所述的系统，其特征在于，所述共享存储器为接入P2P文件系统的第二节点，所述第二存储模块，具体用于在所述第二节点中存储所述区块中交易信息内容的Hash与所述第二节点的Node ID的距离小于阈值N的部分交易信息。

9.根据权利要求8所述的系统，其特征在于，所述P2P文件系统按照交易信息内容的Hash范围划分节点的分组；

所述第二存储模块，还用于当与当前第二节点所在的分组的邻居分组中第二节点的数目少于限定值时，在所述当前第二节点中存储所述邻居分组对应的交易信息内容的Hash范围内的交易信息。

10.根据权利要求8或9所述的系统，其特征在于，还包括：

清理模块，用于当达到预设时间或者当所述第二节点的存储空间达到预设值时，清理所述第二节点中不需要存储的交易信息。

11.根据权利要求8或9所述的系统，其特征在于，还包括：

处理模块，用于当所述第二节点收到交易信息的搜索请求时，判断所述第一节点存储的链信息中是否存在所述搜索请求中的交易信息内容的Hash，若是则对所述搜索请求进行处理。

Images