CN112732833A - 一种获取区块链信息的通用数据桥架构和设计方法 - Google Patents

Abstract

本发明公开了一种获取区块链信息的通用数据桥架构和设计方法，包括数据储存模块，外部输入模块、链式请求发生模块、动态请求发生模块、线程池模块；外部输入模块包括：链状态模块、动态请求模块，所述链式请求发生模块包括：元数据模块、结构描述符模块、差异序列生成模块、请求生成器，元数据模块通过差异序列生成模块与请求生成器连接，结构描述符模块与请求生成器连接；动态请求发生模块包括：缓冲区模块、结构描述符模块、请求生成器，请求生成器与结构描述符模块、缓冲区模块分别连接。本发明中的数据桥能够很好地克服由数据源结构性差异带来的系统复杂性和不稳定性，降低了数据源的结构性和特性差异对本地应用的影响。

Description

一种获取区块链信息的通用数据桥架构和设计方法

技术领域

本发明涉及区块链领域，特别是涉及一种获取区块链信息的通用数据桥架构和设计方法。

背景技术

随着近几年来区块链技术的快速发展，区块链技术在能源互联网中的应用也应运而生。然而，目前区块链仍是一种性能较低的技术，同时其每次的计算还存在gas限制，因此区块链难以承载单次过大的计算量。另一方面，在基于区块链的多能源交易系统中，区块链的数据量十分庞大，并且数据源的结构不统一，也为区块链的计算和数据带来了巨大挑战。因此，在实际的区块链平台的运行中，必须把不必要的数据放在区块链以外的地方，例如数据库。但是由于不同数据源的数据存在结构性差异，这会导致区块链平台的复杂性和不稳定性大大提高。

发明内容

本发明的目的是提供一种获取区块链信息的通用数据桥架构和设计方法，以解决上述现有技术存在的问题，消除数据源结构性差异带来的系统复杂性和不稳定性。

为实现上述目的，本发明提供了如下方案：

本发明提供一种获取区块链信息的通用数据桥架构和设计方法。

一种获取区块链信息的通用数据桥架构，包括数据储存模块，外部输入模块、链式请求发生模块、动态请求发生模块、线程池模块；

所述外部输入模块包括：链状态模块、动态请求模块；

所述链式请求发生模块包括：元数据模块、结构描述符模块、差异序列生成模块、请求生成器，所述元数据模块通过所述差异序列生成模块与所述请求生成器连接，所述差异序列生成模块与所述链状态模块连接，所述结构描述符模块通过所述请求生成器与线程池模块连接；

所述动态请求发生模块包括：缓冲区模块、结构描述符模块、请求生成器，所述请求生成器分别与所述结构描述符模块、所述缓冲区模块、线程池连接，所述缓冲区模块与所述动态请求模块连接。

进一步地，所述数据储存模块包括：数据库、区块链事件和区块链链上数据，其中所述数据库用于储存区块链中不必要的数据。

进一步地，所述结构描述符模块包括结构描述符，所述结构描述符用来描述所有来源数据中的字段、列以及输出别名。

一种获取区块链信息的通用数据桥架构的设计方法，其中所述链式请求发生模块的工作流程为：所述链状态模块输出链状态信息到所述差异序列生成模块中，生成差异序列，将所述差异序列和所述结构描述符输入到请求生成器，所述请求生成器生成对所述区块链事件或所述数据库的数据获取请求，将所述生成的请求输入线程池模块，所述线程池模块输出静态数据和准静态数据。

进一步地，所述动态请求发生模块的工作流程为：所述动态请求模块输出动态请求信息到所述缓冲区模块中，生成请求描述，将所述请求描述和所述结构描述符输入到请求生成器，所述请求生成器生成对所述区块链链上数据访问的请求，将所述生成的请求输入线程池模块，所述线程池模块输出动态数据。

进一步地，所述结构描述符包括：通过对JSON对象的遍历和分析生成处理函数，从而形成数据桥的结构描述符。

进一步地，所述处理函数包括：模型名、表名和数据源列表：

所述模型名用于唯一标识输出模型的类型，所述表名用于表达本地保存的数据表名称，所述数据源列表用于表达这个结构来自于哪些数据。

进一步地，所述请求生成器基于动态的参数和结构描述符结合产生请求列，动态的参数包括：区块序号切片或者区块链链上数据区块链链上数据的ID列表，所述结构描述符是仅和所述请求相关的结构描述符的部分，并非整体。

本发明公开了以下技术效果：

1)本发明中的数据桥能够很好地克服由数据源结构性差异带来的系统复杂性和不稳定性，降低了数据源的结构性和特性差异对本地应用的影响。

2)通过本发明的高性能数据桥能快速的获取数据，在本地计算取代部分不必要的数据传输，降低了传输的数据量，增强了两端传输数据的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为数据桥执行流程图；

图2为数据桥构成图。

具体实施方式

现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对本发明的限制，而应理解为是对本发明的某些方面、特性和实施方案的更详细的描述。

应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。另外，对于本发明中的数值范围，应理解为还具体公开了该范围的上限和下限之间的每个中间值。在任何陈述值或陈述范围内的中间值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围内。

除非另有说明，否则本文使用的所有技术和科学术语具有本发明所属领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等同的任何方法和材料。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时，以本说明书的内容为准。

在不背离本发明的范围或精神的情况下，可对本发明说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本发明的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

本发明中所述的“份”如无特别说明，均按质量份计。

(一)存储数据的三种方式

随着近几年来区块链技术的快速发展，区块链技术在能源互联网中的应用也应运而生。然而，目前区块链仍是一种性能较低的技术，同时其每次的计算还存在gas限制，因此区块链难以单次承载过大的计算量。另一方面，在基于区块链的多能源交易系统中，区块链的数据量十分庞大，并且数据源的结构不统一，也为区块链的计算和数据带来了巨大挑战。因此，在实际的区块链平台的运行中，必须把不必要的数据放在区块链以外的地方，例如数据库。但是由于不同数据源的数据存在结构性差异，这会导致区块链平台的复杂性和不稳定性大大提高。

由于目前区块链自身具有以上的技术限制，我们不得已同时使用数据库、区块链事件和区块链链上数据来同时存储数据。这三者存储的数据特点如表1所示：

表1

类别	性能	重写性	透明性	开销
					数据库	高	可反复写入	不透明	低
区块链事件	低	一次性	透明	中
					区块链链上数据	低	可反复写入	透明	高

其中，重写性是判断对同一条数据，写入后能否第二次写入，所示重写性是影响数据桥实现的最关键属性。这三者获取的方式是不同的，因而应用本身必须针对不同的数据源编写不同的代码，以适应数据源的差异。

(二)设计数据桥的基本架构

如图1所示，本发明公开的数据桥是一个工作于远端服务器和本地数据之间的桥梁模块，它从区块链和数据库获取数据并格式化为统一的数据形式，存储于本地或直接显示于当前页面。数据桥主要工作的对象是数据，数据桥可类比“适配器”，用来消除数据源的结构性差异，向应用提供一致的数据接口，从而简化应用的逻辑，让应用变得更专一，大大增强可扩展性。另一方面，数据桥也有自己的数据存储，即保存一部分元数据，用来控制和通知系统，判断哪些数据需要传输哪些不需要，从而减少资源占用提高系统性能，这是数据桥的另一目标，其中图1中的“链上数据”即为“区块链链上数据”，为画图精简，简写为“链上数据”。

本发明所提供的适用于区块链的数据桥的架构包括：

1)链式请求发生模块：其功能是基于输入数据桥的链状态信息(包括当前区块链的高度和当前数据库中的类链式数据的高度)生成差异序列，根据差异序列和结构描述符生成对区块链事件或数据库数据的获取请求。生成的请求进一步流入线程池，最后输出静态数据(即智能合约事件)和准静态数据(即数据指数据库的类链式数据)。

根据本发明的该方面，1)中链式请求发生模块进一步包括：

101)元数据：指本地保存的最后一次同步的区块高度，或数据库中的类链式数据的数据高度。主要是对已存储数据的描述数据，对于区块链而言是当前同步的高度；对数据库而言是已同步数据的描述，当采用类链式数据源时，是一个伪高度；对于区块链存储而言，不存在对应的元数据，需要使用时即时地获取，而不是通过同步来存储和获取。

102)结构描述符：描述了来源数据包含的所有字段/列和输出别名等信息。

103)请求生成器：根据差异序列和结构描述符，生成对区块链事件或数据库的数据获取请求，并且对区块链和数据库的请求生成规则是不同的。

2)动态请求发生模块：其功能是基于输入数据桥的动态请求信息(即运行中用户当前访问页面所需要的数据)，根据缓冲区中的请求描述和结构描述符，生成对区块链storage存储访问的请求。生成的请求后续将流入线程池，最后输出动态数据(即区块链storage存储的数据)。

根据本发明的该方面，2)中动态请求发生模块进一步包括：

201)缓冲区：缓存一段时间中用户所有的请求。例如一分钟内用户连续访问第一页、第二页、第三页，那么缓冲区则包含第一页、第二页即前两页的请求。

202)结构描述符：描述了来源数据包含的所有字段/列和输出别名等信息。

203)请求生成器：根据缓冲区中的请求描述和结构描述符，生成对区块链storage存储访问的请求，其生成规则与数据库和事件的请求生成规则不同。

3)线程池模块：其功能是用于限制请求量，避免出现由并发请求量过大导致的网络波动问题。在JS中，所有的请求默认是并发的，这会导致同时发出的请求过大而很容易产生网络问题，因此，需要限制同一时间发出/进行的请求不能过多。线程池接收统一格式的请求，并根据当前剩余有效线程来调度任务，将多余的请求任务置于等待状态。例如线程大小为10的时候，只允许同时发出10个请求，交给线程池15个任务，则10个任务立刻运行，其余5个处于等待状态，当有任务完成时，再从5个任务中选一个开始运行。需要指出的是，在JS中线程池并不实际存在，是通过模拟的方式实现的。

(三)适用于区块链信息获取的数据桥实现方法

1)结构描述符的实现方法：通过对JSON对象的遍历和分析，生成包含模型名、表名和数据源列表的处理函数，从而形成数据桥的结构描述符。其中，模型名用于唯一标识输出模型的类型，表名用于表达本地保存的数据表名称，数据源列表表达这个结构来自于哪些数据，从而形成数据桥的结构描述符；

结构描述符中，SyncConfig的models字段表示的是结构描述符。其中包含多个结构描述符，每个结构描述符包含模型名、表名和数据源列表，模型名用于唯一标识输出模型的类型，表名用于表达本地保存的数据表名称，数据源列表表达这个结构来自于哪些数据。数据源列表允许包含0～3个数据源，分别对应来自数据库的数据、来自区块链的事件、来自区块链的存储。每个数据源包含map字段，表达为字符串到字符串或数字的映射关系，用于表达每个输出字段的数据来源字段。

以上是应用于能源区块链交易平台的结构描述符，但实际上该结构可使用更复杂的结构描述符，也允许通过自定义的语言或巴克斯范式定义的语言来描述数据的结构，取决于实际应用的复杂程度。

2)请求生成器的实现方法：请求生成器用于从动态的参数和结构描述符中产生请求列，动态的参数例如区块序号切片，或者是区块链链上数据数据的ID列表，而传递的结构描述符是仅和请求相关的结构描述符的部分，而不是整体。

请求生成器对于数据桥是抽象的，需要用户来定义，即定义一个接收请求的部分参数和结构描述符子集，产生请求的一个函数。在JS中，产生请求的函数被定义为返回Promise的函数，因而用户定义的是一个返回能够返回Promise的函数的函数。即：z＝(x,y)＝>()＝>Promise<？>。其中，后件()＝>Promise<？>应看作一个整体，是一个请求生成函数，前件(x,y)是数据桥给定的参数，而后件中的Promise<？>的定义中包括x和y，从而形成由函数定义的请求生成器，进而将用户的配置进行封装产生请求列。

链式请求发生模块中的所述结构描述符模块与所述动态请求发生模块中的所述结构描述符模块相同。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种获取区块链信息的通用数据桥架构，其特征在于：包括数据储存模块，外部输入模块、链式请求发生模块、动态请求发生模块、线程池模块；

所述外部输入模块包括：链状态模块、动态请求模块；

所述链式请求发生模块包括：元数据模块、结构描述符模块、差异序列生成模块、请求生成器，所述元数据模块通过所述差异序列生成模块与所述请求生成器连接，所述差异序列生成模块与所述链状态模块连接，所述结构描述符模块通过所述请求生成器与线程池模块连接；

所述动态请求发生模块包括：缓冲区模块、结构描述符模块、请求生成器，所述请求生成器分别与所述结构描述符模块、所述缓冲区模块、线程池连接，所述缓冲区模块与所述动态请求模块连接。

2.根据权利要求1所述的一种获取区块链信息的通用数据桥架构，其特征在于：所述数据储存模块包括：数据库、区块链事件和区块链链上数据，其中所述数据库用于储存区块链中不必要的数据。

3.根据权利要求1所述的一种获取区块链信息的通用数据桥架构和设计方法，其特征在于：所述结构描述符模块包括结构描述符，所述结构描述符用来描述所有来源数据中的字段、列以及输出别名。

4.根据权利要求1至3所述的一种获取区块链信息的通用数据桥架构的设计方法，其特征在于：所述链式请求发生模块的工作流程为：所述链状态模块输出链状态信息到所述差异序列生成模块中，生成差异序列，将所述差异序列和所述结构描述符输入到请求生成器，所述请求生成器生成对所述区块链事件或所述数据库的数据获取请求，将所述生成的请求输入线程池模块，所述线程池模块输出静态数据和准静态数据。

5.根据权利要求1至3所述的一种获取区块链信息的通用数据桥架构的设计方法，其特征在于：所述动态请求发生模块的工作流程为：所述动态请求模块输出动态请求信息到所述缓冲区模块中，生成请求描述，将所述请求描述和所述结构描述符输入到请求生成器，所述请求生成器生成对所述区块链链上数据访问的请求，将所述生成的请求输入线程池模块，所述线程池模块输出动态数据。

6.根据权利要求1至3所述的一种获取区块链信息的通用数据桥架构的设计方法，其特征在于：所述结构描述符包括：通过对JSON对象的遍历和分析生成处理函数，从而形成数据桥的结构描述符。

7.根据权利要求6所述的一种获取区块链信息的通用数据桥架构的设计方法，其特征在于：所述处理函数包括：模型名、表名和数据源列表：

所述模型名用于唯一标识输出模型的类型，所述表名用于表达本地保存的数据表名称，所述数据源列表用于表达这个结构来自于哪些数据。

8.根据权利要求1至3所述的一种获取区块链信息的通用数据桥架构的设计方法，其特征在于：所述请求生成器基于动态的参数和结构描述符结合产生请求列，动态的参数包括：区块序号切片或者区块链链上数据数据的ID列表，所述结构描述符是仅和所述请求相关的结构描述符的部分，并非整体。

Images