CN113961598A - 一种新型区块链链上数据高速检索模型 - Google Patents

Abstract

本发明基于内置索引和外联数据仓库的方法，提出了一种新型链上数据高速检索模型。该模型由改进索引存储形式的区块链网络、数据处理集群和应用层服务三部分组成。新型区块链网络针对传统区块链系统交易数据的组织形式进行了改进，设计出一种适合高速检索的数据结构来组织交易数据；数据处理集群负责在保证数据一致性的情况下，按照高效的同步策略将链上数据同步到链下关系型数据仓库；应用层服务针对关系型数据库所支持的丰富查询功能进行封装，最终以HTTP、RPC等形式对外提供服务。该模型能够使得区块链系统在查询效率、查询功能等方面得到有效扩展，提高区块链链上数据的查询速率。

Description

一种新型区块链链上数据高速检索模型

技术领域

本发明涉及到了区块链技术以及在链上数据检索过程中提高检索效率的领域，总结起来就是一种新型区块链链上数据高速检索模型。

背景技术

当今互联网时代，随着海量数据的涌现，区块链链上数据查询功能和查询速率渐渐暴露出一定问题。大多数区块链项目在设计时，主要将精力集中在如何解决数据上链过程中快速达成分布式共识的问题上，而忽略了大量数据涌现所带来的链上数据检索问题。受限于区块链底层的数据存储模式和分布式存储的特点，区块链在链上数据检索方面还存在检索功能单一、检索速率低等亟需解决的问题。这就需要一种高效的链上数据检索方案，来满足人们对区块链链上数据检索速率的需求。

区块链技术源自于2008年中本聪发表的比特币白皮书“Bitcoin:APeer-to-PeerElectronic Cash System”一文。本质上是一个去中心化的分布式账本，账本数据由连入区块链网络的各个节点共同维护，具有去中心化、可追溯和不可篡改的特性。网络中的每个节点都是一个交易驱动的状态机，网络中节点的一致性状态通过共识机制来保证，用户在网络中发布一个交易后，会被挖矿节点打包进区块，等待挖矿节点获得记账权，将区块发布到区块链上。由于区块链数据采用分布式存储的限制，区块链数据在检索速度和检索功能方面相较于传统数据存储方案具有检索速度慢、功能单一等特点。

当前针对区块链链上数据检索速度的优化方案进行可归纳为两种，一种解决方案是针对区块链系统底层的数据持久化机制进行优化，通常是改进区块链底层的数据组织形式或在原有持久化机制上层新建索引层。另一种解决方案称为外接数据仓库，将查询功能受限的区块链数据同步到查询功能丰富的关系型数据库。这两种方案都存在一定弊端，第一种方案虽然在一定程度上提高了数据检索速率，仍然不足以满足多数场景下实时性检索的需求，同时在查询功能上仍然仅仅key-value类型数据，并不支持范围查询，模糊查询等丰富功能。第二种方案将数据检索的任务转移到外接数据仓库中，一定程度上满足了实时性检索的需求，但其数据组织形式并没有发生变化，区块链系统本身的数据检索并没有得到提升。

发明内容

互联网大数据时代，为了满足人们日益增长的对区块链链上数据高速检索等方面的需求，基于内置索引和外联数据仓库相结合的方法，提出一种新型链上数据高速检索模型，提高了区块链链上数据查询效率，丰富了区块链链上数据查询功能。

本发明为实现上述目的所采用的技术方案是：一种新型区块链链上数据高速检索模型，包括：

链上端，基于混合索引改进传统区块链网络中交易数据的组织形式，用于剪枝链上数据的检索操作；

链下端，数据处理集群包括同步服务器和数据仓库，所述同步服务器监测链上区块状态，批量同步合法的链上数据到数据仓库，用于向用户提供查询服务前同步链上数据；

应用层服务端，将链下数据仓库中的数据封装成对应的服务形式，以HTTP、RPC方式提供给用户，供其检索查询。所述对应的服务形式包括范围查询、模糊查询，用于扩展链上数据查询功能。

所述的新型区块链网络所组织的数据包括：

区块间，按照区块交易数据的Hash值连接各个区块，生成块头数据Block Header；

区块内，按照区块内交易数据生成布隆过滤器数据，并将其添加到Merkle Tree的中间节点，生成块头下链接的块体数据Block Body。

所述块头数据Block Header，存储该区块的基本信息：前一个区块的Hash值、Pow过程计算的随机数Nounce、当前区块哈希值RootHash、BloomFilter数据；

所述块体数据Block Body，存储有交易数据的Hash值、BloomFilter数据、交易数据；

所述隆过滤器数据用于快速验证区块链网络中交易数据是否存在。

所述Block Header中的Root Hash与中间节点存储的Hash值用于提供MerkleProof。

链上全节点向其它节点提供Merkle Proof包括以下步骤：

验证交易数据不合法状态a：首先验证当前区块的Root Hash的Bloom Filter中是否存在交易数据的布隆过滤器数据，若不存在则判断当前交易数据不合法；若存在交易数据的布隆过滤器数据，则从Merkle Tree的当前节点位置递归向下查找执行步骤b；

验证交易数据伪合法状态b：从当前区块的Root Hash递归向下查找，直到查询到叶子节点，若发现叶子节点的Bloom Filter中不存在该交易数据的布隆过滤器数据，则执行二次查找；

验证交易数据合法状态c：若发现叶子节点的Bloom Filter中存在该交易数据的布隆过滤器数据，则取出该交易数据，将包含节点链路的查询路径提供给发起proof请求的节点。

所述当前节点的Bloom Filter中存储有交易数据的布隆过滤器数据，上层节点的布隆过滤器数据是根据下层节点的布隆过滤器数据计算得到的，通过查询上层节点的布隆过滤器数据能判定下层节点是否包含该交易数据；所述二次查找为通过排序后的叶子节点进行查找交易数据实现验证。

所述数据同步服务器监测链上区块状态，批量同步合法的链上数据到数据仓库包括以下步骤：

步骤21：数据同步服务器实时监测链上区块状态，批量同步链上数据到本地缓存队列，用于应对链上数据分叉情况的发生；

步骤22：数据同步服务器检测本地缓存队列的长度是否大于预设的批量同步数量的最大值，若是则按照FIFO原则将队头元素出队，判断对头元素的合法性；

步骤221：若不合法，则数据同步服务器判断当前队头元素不在最长合法链上，并丢弃该队头元素；返回步骤21继续同步下一个批量队列；

步骤222：若合法，数据同步服务器将队头元素清洗、打包，并持久化存储到数据仓库。

所述区块链状态为是否生成新区块。

所述合法性为根据当前缓存队列的长度判断该区块是否在最长合法链上，同时根据当前缓存队列中该区块的下一个区块中所保存的preHash是否等于该区块的Hash值，进而判断队头元素是否合法。

所述链下端的数据处理集群还包括：链下数据热备份服务器，用于当数据仓库数据损坏或丢失时的热备份处理，以保证系统的高可用性。

应用层服务端向用户提供查询包括执行以下步骤：

接收用户通过终端发起的查询请求；

对用户身份进行认证、授权；

向链下端的数据仓库发送查询指令，获取对应服务形式的交易数据作为查询结果提供给用户。

本发明具有以下有益效果及优点：

1.本发明相对现有区块链高速检索解决方案，既通过内置索引针对区块链本身的数据组织形式进行了改进，又通过外接数据仓库针对数据实时性检索的需求进行了扩充，提高了链上数据检索速率，丰富了链上数据检索功能。

2.改进了原有区块链网络中交易的组织形式，引入了带有布隆过滤器的MerkleTree，将链上数据的检索操作进行了剪枝，大大提高了在数据检索时的效率。

3.改进了Merkle Tree的结构，将Merkle Tree叶子节点按照交易的hash值按照有序排列，能够和布隆过滤器误检形成互补的同时还增加了验证某个交易信息不存在的功能。

4.数据同步服务器，实时监测链上区块的变化，将链上数据同步到链下关系型数据库，同时设计高效的数据同步策略，解决区块链分叉、时延等所带来的数据不一致性问题。

5.增加了链下数据存储模块，通过将链上数据同步到链下，增加了范围查询、模糊查询等功能，提高了数据查询速率，扩展了数据查询功能，能够有效满足企业级高效查询的需求。

附图说明

图1为本发明的系统架构图；

图2为本发明采用的新型交易数据组织形式结构图；

图3为本发明的数据检索流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

传统关系型数据库存储引擎在处理数据持久化时，会对数据建立索引，以提高数据的查询效率。关系型数据库本身具有远高于分布式存储的查询效率，并且提供了包括模糊查询、范围查询等丰富的查询接口。将关系型数据仓库MyIsam存储引擎的思想引入到区块链数据的持久化存储，同时借助数据仓库本身丰富的查询功能，将数据仓库与区块链进行有机结合，能够提高链上数据查询效率，丰富链上数据查询功能，进而有效满足工业界如工业互联网、智能制造等对海量数据实时性检索的需求。

如图1所示，本文所设计的新型链上数据高速检索模型主要分为三个部分，其具体的设计如下：

(1)改进的交易数据组织形式：本发明对Merkle Tree进行了两方面的改进。第一、将Merkle Tree按照交易数据的hash值进行排序，这样可以快速确知某条数据不存在Merkle Tree中。第二、在Merkle Tree的基础上，增加一个布隆过滤器，用以快速对已存在交易数据进行定位，大大提高了数据的查询效率；

(2)数据处理集群包括数据同步服务器、关系型数据仓库和数据库备份三类服务器。数据同步服务器的主要功能是按照数据同步策略，将链上数据同步到链下高可用关系型数据仓库，并通过缓存机制来解决由于区块链分叉而导致的数据不一致性问题。关系型数据仓库主要作为应用层服务的数据来源，是为用户提供丰富查询功能和高速检索效率的基础。数据库备份即对关系型数据仓库的热备份，防止数据丢失；

(3)应用层服务是为了满足企业级应用数据高速检索的需求，针对本地高可用关系型数据库而设计的数据查询接口，将丰富的查询功能以HTTP、RPC形式提供给用户。

应用程序处理的数据主要分为三个部分：区块头、区块体和交易数据。用户所关心的数据主要存储在交易数据中，区块头和区块体中的数据主要是为交易数据提供MerkleProof，以确保交易数据没有被篡改。

如图2所示，本文所设计的新型交易数据组织形式。包括BlockHeader和BlockBody两部分。(1)Block Header部分。PreHash指前一个区块的hash；Nounce指Pow过程所计算出的随机数；RootHash指根Hash值；BF指布隆过滤器。(2)Block Body部分。{tx1,tx2,tx3,…}指存储的交易数据；H(tx)指交易数据的Hash值；BF指布隆过滤器。

本发明提出的新型链上数据高速检索模型的总体架构包括基于混合索引的的区块链网络、数据处理集群、应用层服务三部分组成，总体架构如图1所示。基于sortedmerkle tree的区块链网络在merkle tree的基础上，进行了两点改进，(1)对merkle tree中交易信息进行排序。(2)增加了bloom filter来提高数据查询的效率；数据处理集群按照高效的同步策略将链上数据同步到链下关系型数据仓库，并解决数据一致性问题，由关系型数据仓库来对外提供数据丰富的查询功能；应用层服务基于关系型数据仓库将数据查询功能以HTTP、RPC调用的形式提供给用户。

本发明所采用的技术方案是：

(1)基于传统Merkle Tree进行改进，构造如图2的新型交易数据组织形式。

(2)基于Go语言做主力开发语言，开发数据同步服务器，实时监测链上区块状态，批量同步链上数据到本地缓存队列，以应对链上数据分叉等意外情况的发生。Blocks＝{B1,B2,B3,…,Bn}，其中n为每一组区块的数量；

数据同步服务器检测本地缓存队列的长度是否大于6，一旦长度大于6，按照FIFO原则，将队头元素出队，判断对头元素的合法性；

数据同步服务器抛弃不在最长合法链上的元素。

isInLongestChain(Block[0])？Next:Discard(Block[0])；

数据同步服务器将队头元素清洗、打包，并持久化到数据仓库，DWH←FormatBlock(B1)。

(3)基于Mysql做链下数据存储和备份的主要方案，按照数据同步服务器的同步策略同步的数据，均为合法数据。使用主从复制机制作为数据热备份的主要备份方案，有效保证系统的高可用性。

(4)基于Go语言Web框架开发应用层服务。将链下数据仓库中的数据封装成各种形式的服务，以HTTP、RPC等方式提供给用户。

本发明包括以下步骤：

1.用户通过终端发起请求。用户将请求发送到应用程序服务器，服务器对用户身份进行认证、授权，通过后为用户提供对应的服务；

2.数据仓库提供服务。数据仓库和热备份服务器分别作为链下数据的持久化方案和数据高可用的主要保障机制。

3.同步服务器同步数据。数据仓库没有命中该条数据，请求会直接转发到数据同步服务器去请求数据。

具体过程如下：

①同步服务器循环监听区块链状态。

②当有一个新的区块被发布到区块链上时，将新增区块加载到缓存队列。

③判断队列长度是否大于6。如果大于6，继续下一步；否则继续监听区块链状态。

④判断队头元素是否在最长合法链上。如果是，对区块数据进行清洗、打包，并持久化到本地数据仓库；否则，直接丢弃队对头元素。

如果区块链上每增加一个区块，同步服务器就将区块同步到本地数据仓库，就会产生一定问题。同步服务器刚把最新产生的一个区块同步到本地数据仓库，此时区块链发生了分叉，刚同步的那个区块会变成废弃区块，因此需要对区块链的分叉情况进行处理。

4.链上数据检索。如果数据仓库中没有命中数据，则检索区块链链上数据。

具体步骤如下：

①遍历要查询的每个区块，遍历过程中将区块数据存入一个队列中；

②根据布隆过滤器结果沿Merkle Tree向下查询，直到叶子节点；

③将查询结果加入到Result集合中；

④将存放区块的队头元素删除，开始遍历下一区块。最终遍历完区块集合中的每个元素，将结果收集到Result集合中并返回。

⑤一种特殊情况是，使用hash函数将数据散列到布隆过滤器的过程中，可能会由于hash冲突，导致布隆过滤器出现误检情况。一旦发现叶子节点对应的磁盘中没有交易信息，则利用Sorted Merkle Tree的排序机制进行二次验证。

5.数据一致性检验。本发明引入了一种缓存机制，同步服务器检测到新增区块后并不会立即将新增区块缓存到数据仓库，而是加载到一个缓存队列，待区块链系统经过六个区块确定成为最长合法链后，再将最长合法链上的区块数据进行数据清洗、打包并持久化到本地关系型数据库。

6.数据返回。从发起请求到检索到数据的整个数据流程是一个递归查询的过程。最终，由应用程序将查询状态码和对应信息，返回给用户。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (10)

1.一种新型区块链链上数据高速检索模型，其特征在于，包括：

链上端，基于混合索引改进传统区块链网络中交易数据的组织形式，用于剪枝链上数据的检索操作；

链下端，数据处理集群包括同步服务器和数据仓库，所述同步服务器监测链上区块状态，批量同步合法的链上数据到数据仓库，用于向用户提供查询服务前同步链上数据；

应用层服务端，将链下数据仓库中的数据封装成对应的服务形式，以HTTP、RPC方式提供给用户，供其检索查询。

2.根据权利要求1所述的一种新型区块链链上数据高速检索模型，其特征在于，所述的新型区块链网络所组织的数据包括：

区块间，按照区块交易数据的Hash值连接各个区块，生成块头数据Block Header；

区块内，按照区块内交易数据生成布隆过滤器数据，并将其添加到Merkle Tree的中间节点，生成块头下链接的块体数据Block Body。

3.根据权利要求2所述的一种新型区块链链上数据高速检索模型，其特征在于，

所述块头数据Block Header，存储该区块的基本信息：前一个区块的Hash值、Pow过程计算的随机数Nounce、当前区块哈希值RootHash、BloomFilter数据；

所述块体数据Block Body，存储有交易数据的Hash值、BloomFilter数据、交易数据。

4.根据权利要求3所述的一种新型区块链链上数据高速检索模型，其特征在于，所述Block Header中的Root Hash与中间节点存储的Hash值用于提供Merkle Proof。

5.根据权利要求3所述的一种新型区块链链上数据高速检索方法，其特征在于，链上全节点向其它节点提供Merkle Proof包括以下步骤：

验证交易数据不合法状态a：首先验证当前区块的Root Hash的Bloom Filter中是否存在交易数据的布隆过滤器数据，若不存在则判断当前交易数据不合法；若存在交易数据的布隆过滤器数据，则从Merkle Tree的当前节点位置递归向下查找执行步骤b；

验证交易数据伪合法状态b：从当前区块的Root Hash递归向下查找，直到查询到叶子节点，若发现叶子节点的Bloom Filter中不存在该交易数据的布隆过滤器数据，则执行二次查找；

验证交易数据合法状态c：若发现叶子节点的Bloom Filter中存在该交易数据的布隆过滤器数据，则取出该交易数据，将包含节点链路的查询路径提供给发起proof请求的节点。

6.根据权利要求1所述的一种新型区块链链上数据高速检索模型，其特征在于，所述数据同步服务器监测链上区块状态，批量同步合法的链上数据到数据仓库包括以下步骤：

步骤21：数据同步服务器实时监测链上区块状态，批量同步链上数据到本地缓存队列，用于应对链上数据分叉情况的发生；

步骤22：数据同步服务器检测本地缓存队列的长度是否大于预设的批量同步数量的最大值，若是则按照FIFO原则将队头元素出队，判断对头元素的合法性；

步骤221：若不合法，则数据同步服务器判断当前队头元素不在最长合法链上，并丢弃该队头元素；返回步骤21继续同步下一个批量队列；

步骤222：若合法，数据同步服务器将队头元素清洗、打包，并持久化存储到数据仓库。

7.根据权利要求6所述的一种新型区块链链上数据高速检索模型，其特征在于，所述区块链状态为是否生成新区块。

8.根据权利要求6所述的一种新型区块链链上数据高速检索模型，其特征在于，所述合法性为根据当前缓存队列的长度判断该区块是否在最长合法链上，同时根据当前缓存队列中该区块的下一个区块中所保存的preHash是否等于该区块的Hash值，进而判断队头元素是否合法。

9.根据权利要求1所述的一种新型区块链链上数据高速检索模型，其特征在于，所述链下端的数据处理集群还包括：链下数据热备份服务器，用于当数据仓库数据损坏或丢失时的热备份处理，以保证系统的高可用性。

10.根据权利要求1所述的一种新型区块链链上数据高速检索模型，其特征在于，应用层服务端向用户提供查询包括执行以下步骤：

接收用户通过终端发起的查询请求；

对用户身份进行认证、授权；

向链下端的数据仓库发送查询指令，获取对应服务形式的交易数据作为查询结果提供给用户。

Images