CN113268544A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明提供一种数据处理方法及装置，该方法包括：将目标对象以hash表的形式存储在内存中，所述目标对象为指定的KV型数据库；当检测到针对所述目标对象的访问请求时，依据内存中存储的所述hash表，对所述访问请求进行响应。应用本发明实施例可以提高Hyperledger Fabric的处理性能。

Description

一种数据处理方法及装置

技术领域

本发明涉及区块链技术领域，尤其涉及一种数据处理方法及装置。

背景技术

超级账本(Hyperledger)是一个旨在推动区块链跨行业应用的开源项目，目标是区块链及分布式记账系统的跨行业发展与协作，并着重发展性能和可靠性，使之可以支持主要的技术、金融和供应链公司中的全球商业交易。

Hyperledger Fabric是Hyperledger项目的基石，其是一种基于许可的区块链构架，提供了一个模块化的构架。

一个Hyperledger Fabric架构包括：记账节点("Peer nodes")，执行Chaincode(链码)合约，访问账本数据，背书交易并称为应用程序的接口；排序节点("Orderernodes")，负责确保此区块链的一致性并传达被背书的交易给网络中的同伴们；以及CA节点，主要作为证书权威管理X.509证书用于验证成员身份以及角色。

区块链的性能指标主要指交易吞吐量。交易吞吐量表示在固定时间能处理的交易数，延时表示对交易的响应和处理时间。

目前，为了提高Hyperledger Fabric的处理性能，已有的实现方案是对peer节点的框架进行拆分，将peer节点拆分为三种节点，endorser(背书)peer、fast(快速)peer、storage(存储)peer。使得peer功能分散到多个节点，以提升性能。

然而实践发现，上述Hyperledger Fabric性能提升方案中，在实际应用中，有很多不便：

第一、破坏了原有软件框架。一旦Hyperledger Fabric需要升级，则会对于后续软件的升级和维护造成了极大的不便；

第二、目前很多应用场景都是以原生的Hyperledger Fabric为基础，因此，上述方案难以直接移植到现有的应用，使得方案无法推广；

第三、节点变多了，也消耗了更多资源，管理维护的成本也提高了。

发明内容

本发明提供一种数据处理方法及装置，以解决传统Hyperledger Fabric处理性能差的问题。

根据本发明实施例的第一方面，提供一种数据处理方法，应用于HyperledgerFabric中的记账节点，该方法包括：

将目标对象以hash表的形式存储在内存中，所述目标对象为指定的KV型数据库；

当检测到针对所述目标对象的访问请求时，依据内存中存储的所述hash表，对所述访问请求进行响应。

根据本发明实施例的第二方面，提供一种数据处理装置，应用于超级账本Hyperledger Fabric中的记账节点，所述装置包括：

数据维护单元，用于将目标对象以hash表的形式存储在内存中，所述目标对象为指定的KV型数据库；

处理单元，用于当检测到针对所述目标对象的访问请求时，依据内存中存储的所述hash表，对所述访问请求进行响应。

应用本发明公开的技术方案，通过将指定的KV类型数据库，以hash表的形式替换，并存储在内存中，从而，对于针对该指定的KV类型数据库进行访问，可以依据内存中存储的hash表进行响应，从而，可以提高该KV类型数据库的访问效率，进而，可以在不破坏Hyperledger Fabric的原有软件架构的情况下，提高Hyperledger Fabric的处理性能。

附图说明

图1是本发明实施例提供的一种数据处理方法的流程示意图；

图2是一种传统的Hyperledger Fabric的架构示意图；

图3是本发明实施例提供的一种Hyperledger Fabric的架构示意图；

图4是本发明实施例提供的一种Peer节点重启后数据恢复的示意图；

图5是本发明实施例提供的一种数据处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

请参见图1，为本发明实施例提供的一种数据处理方法的流程示意图，其中，该数据处理方法可以应用于Hyperledger Fabric中的记账节点(可以简称Peer节点)，如图1所示，该数据处理方法可以包括以下步骤：

需要说明的是，本发明实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

步骤101、将目标对象以hash表的形式存储在内存中，该目标对象为指定的KV型数据库。

本发明实施例中，为了提高Hyperledger Fabric的处理性能，对于指定的KV(KeyValue，键值)型数据库(本文中称为目标对象)，可以使用hash(散列)表替换该KV型数据库，并将该hash表存储在内存中。

示例性的，考虑到存储在内存中的数据可能会由于节点重启而丢失，因此，为了避免节点重启导致系统无法正常运行，该指定的KV型数据库可以满足以下条件：

存储的数据丢失之后恢复不影响系统的正常运行。

此外，考虑到相对于底层存储介质，内存的存储空间量通常远小于底层存储介质的存储空间量，因此，该指定的KV型数据库还可以满足以下条件：

存储的数据量较小。

例如，存储的数据量低于预设数据量阈值。

再者，为了充分利用内存空间访问效率高的优势，该指定的KV型数据库还可以满足以下条件：

访问频率较高。

例如，访问频率高于预设访问频率阈值。

在一个示例中，上述指定的KV型数据库可以为使用指定数据库为底层的KV型数据库，其可以包括但不限于State DB(状态数据库)、History DB(历史数据库)或Index DB(索引数据库，也可以称为idStore数据库)等数据库中的一个或多个。

示例性的，该指定数据库可以为Leveldb数据库(一种KV型数据库)。

本发明实施例中，对于指定的KV型数据库(即上述目标对象)，可以以hash表的形式替换，并存储在内存中。

步骤102、当检测到针对目标对象的访问请求时，依据内存中存储的hash表，对访问请求进行响应。

本发明实施例中，当检测到针对目标对象的访问请求时，例如，检测到针对目标对象的读取请求或修改请求时，可以在内存中存储的hash表中查询到与该访问请求匹配的hash表项，并依据该hash表项中存储的数据对该访问请求进行响应，提高目标对象的访问效率，进而，提高Hyperledger Fabric的处理性能。

需要说明的是，在本发明实施例中，当针对目标对象的访问请求使目标对象的内容发生了变化时，还可以依据变化后的内容对文件系统中的相关数据进行更新，例如，当访问请求为修改请求时，可以依据该修改请求对hash表中对应表项存储的数据进行修改，并依据修改后的数据对文件系统中的相关数据进行更新，其具体实现在此不做赘述。

可见，在图1所示方法流程中，通过将指定的KV类型数据库，以hash表的形式存储在内存中，以提高目标对象的访问效率，进而，可以在不破坏Hyperledger Fabric的原有软件架构的情况下，提高Hyperledger Fabric的处理性能。

在一些实施例中，本发明实施例提供的数据处理方法可以包括：

当peer节点发生重启时，依据文件系统中的区块文件，对内存中存储的hash表进行恢复。

在该实施例中，考虑到内存中的数据会由于节点重启而丢失，因此，当节点重启时，需要对上述内存中的数据进行恢复。

在该实施例中，当peer节点发生重启时，上述内存中存储的hash表数据会丢失，此时，peer节点会检测到目前账本的状态与当前区块链不一致，从而，peer节点可以对自身的账本进行调整。

其中，peer节点可以从文件系统中持久化存储的区块文件(blockfile)中，重新读取目标对象的数据，恢复到hash表中，保证hash表中数据的完整性与一致性。

在一些实施例中，目标对象中存储的数据可以包括读写集。

相应地，步骤101中，将目标对象以hash表的形式存储在内存，可以包括：

对于目标对象中存储的任一读写集，对该读写集的值进行编码，并依据编码后的值，将该读写集以hash表的形式存储在内存中。

在该实施例中，对于存储的数据包括读写集的目标对象，例如，状态数据库或历史数据库，Peer节点可以将目标对象中的读写集(KV类型数据)的值(即KV类型数据的V)进行编码，并依据编码后的值，将该读写集以hash表的形式存储在内存中，以节省数据存储空间。

本发明实施例中，考虑到读写集包括多种不同类型的数据，例如，读写集可以包括三类数据：KVRead(读类型)、KVWrite(写类型)、RangeQueryInfo(范围查询信息)。

由于不同类型读写集的值的结构不同，在对读写集进行存储时，不同类型读写集的存储会存在区别，因此，不同类型的读写集需要存储在不同的hash表中。

而本发明实施例中，通过对读写集的值进行编码，可以消除不同类型的读写集的值的差异，对不同类型读写集的值的格式进行统一，从而，可以使用同一hash表存储不同类型的读写集。

相应地，在一个示例中，同一对象中存储的不同的类型的读写集存储于同一hash表中，降低hash表数据存储的要求，简化了hash表的维护操作。

需要说明的是，本发明实施例中，上述同一对象中存储的不同类型的读写集存储于同一hash表中指的是可以将不同类型的读写集存储于同一hash表中，但并不限于全部的数据都存储于单个hash表中。对于同一对象中存储的不同类型的读写集，也可以存储在多个hash表中(各hash表均可以存储不同类型的读写集)，以避免单个hash表数据量过大。

在一个示例中，步骤102中，依据内存中存储的hash表，对访问请求进行响应，可以包括：

当访问请求为针对读写集的访问请求时，从hash表中查询key与访问请求匹配的目标表项；

对目标表项中的值进行解码，并依据解码后的值对访问请求进行响应。

在该示例中，在hash表中存储的读写集的值为编码后的值的情况下，当接收到针对读写集的访问请求时，可以依据该访问请求中hash表中查询key与该访问请求匹配的表项(本文中称为目标表项)。

由于目标表项中存储的读写集的值为编码后的值，因此，在对访问请求进行响应之前，可以对目标表项中存储的值进行解码，得到解码后的值，并依据解码后的值对访问请求进行响应。

例如，访问请求为读取请求，则可以将解码后的值返回给请求发起方设备。

又例如，访问请求为修改请求，则可以对解码后的值进行修改，并对修改后的值重新进行编码后进行存储。

为了使本领域技术人员更好地理解本发明实施例提供的技术方案，下面结合具体应用场景对本发明实施例提供的技术方案进行说明。

请参见图2，为一种传统的Hyperledger Fabric(简称Fabric网络)的架构示意图，如图2所示，账本数据存储模块提供了文件系统和KV型数据库用于存储账本数据，由Peer节点的账本管理器统一进行管理。

Peer节点的账本管理器，负责创建上述的数据库，包括采用Leveldb类型数据库或者Couchdb类型数据库作为底层的KV型数据库，如状态数据库、历史数据库以及索引数据库等，并采用文件系统保存区块数据。

本发明实施例中，为了在不破坏原有软件框架的情况下，提高HyperledgerFabric的处理性能，对于使用Leveldb作为底层的KV型数据库，如状态数据库、历史数据库以及索引数据库，可以使用hash表进行替换并存储在内存中，以提高相关数据的访问效率，进而，提高Hyperledger Fabric的处理性能，其示意图可以如图3所示。

相应地，当Peer节点检测到针对状态数据库、历史数据库或索引数据库的访问请求时，可以依据内存中的hash表对该访问请求进行响应，提高了相关数据的访问效率。

在该实施例中，考虑到内存中的数据会由于节点重启而丢失，因而，当Peer节点发生重启时，内存中hash表会丢失，此时，Peer节点去检测账本的状态时，会发现自身账本的状态与当前区块链账本的状态不一致，从而，Peer节点需要以区块链的账本为基准调整自身的账本。

示例性的，Peer节点可以从持久化存储的blockfile中，重新读取区块数据，恢复到hash表中，保证hash表中数据的完整性与一致性，其示意图可以如图4所示。

在该实施例中，考虑到状态数据库和历史数据库是用于存储读写集的，而Fabric网络中，读写集可以包括三类数据：KVRead、KVWrite、RangeQueryInfo，这些读写集的数据格式均为KV格式，但是由于值不一样，因此，为了保证可读性，不同类型的读写集需要通过不同的hash表来存储。

为了简化读写集的存储维护操作，并节省存储空间，可以对读写集的值(即Value)进行编码，并将编码后的值存储到hash表中，消除不同类型的读写集的值的差异，对不同类型读写集的值的格式进行统一，从而，可以使用同一hash表存储不同类型的读写集，降低hash表数据存储的要求，简化了hash表的维护操作。

相应地，当Peer节点检测到针对读写集的访问请求时，可以从hash表中查询包括的key与该访问请求匹配的hash表项，并对该hash表项中的值进行解码，依据解码后的值对访问请求进行响应。

为了使本领域技术人员更好地理解本发明实施例提供的技术方案的效果，下面结合传统Hyperledger Fabric的TPS(每秒交易数量)和依据本发明实施例提供的技术方案对Hyperledger Fabric进行改进后的TPS对本发明实施例的效果进行说明。

以交易量为1000为例，传统Hyperledger Fabric的TPS和依据本发明实施例提供的技术方案对Hyperledger Fabric进行改进后的TPS可以分别如表1和表2所示：

表1

交易量	TPS
		1000	202.520831
1000	193.676209
		1000	176.569671
1000	205.437186
		1000	198.493730

表2

依据表1和表2所示数据可知：在交易量为1000的情况下，传统HyperledgerFabric的TPS约为198.2；依据本发明实施例提供的技术方案对Hyperledger Fabric进行改进后的TPS约为259.3，即依据本发明实施例提供的技术方案对Hyperledger Fabric进行改进，Hyperledger Fabric的处理性能有约30％的提升。

通过以上描述可以看出，在本发明实施例提供的技术方案中，通过将指定的KV类型数据库，以hash表的形式替换，并存储在内存中，从而，对于针对该指定的KV类型数据库进行访问，可以依据内存中存储的hash表进行响应，从而，可以提高该指定的KV类型数据库的访问效率，进而，可以在不破坏Hyperledger Fabric的原有软件架构的情况下，提高Hyperledger Fabric的处理性能。

请参见图5，为本发明实施例提供的一种数据处理装置的结构示意图，如图5所示，该数据处理装置可以包括：

数据维护单元510，用于将目标对象以hash表的形式存储在内存中，所述目标对象为指定的KV型数据库；

处理单元520，用于当检测到针对所述目标对象的访问请求时，依据内存中存储的所述hash表，对所述访问请求进行响应。

在一些实施例中，所述数据维护单元510，还用于当所述记账节点发生重启时，依据文件系统中的区块文件，对内存中存储的所述hash表进行恢复。

在一些实施例中，所述目标对象中存储的数据包括读写集；

所述数据维护单元510，具体用于对于所述目标对象中的任一读写集，对该读写集的值进行编码，并依据编码后的值，将该读写集以hash表的形式存储在内存中。

在一些实施例中，所述读写集包括多种不同类型的数据；同一对象中存储的不同类型的读写集存储于同一hash表。

在一些实施例中，所述处理单元520，具体用于当所述访问请求为针对读写集的访问请求时，从所述hash表中查询key与所述访问请求匹配的目标表项；对所述目标表项中的值进行解码，并依据解码后的值对所述访问请求进行响应。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

由上述实施例可见，通过将指定的KV类型数据库，以hash的形式替换，并存储在内存中，从而，对于针对该指定的KV类型数据库进行访问，可以依据内存中存储的hash表进行响应，从而，可以提高该指定的KV类型数据库的访问效率，进而，可以在不破坏HyperledgerFabric的原有软件架构的情况下，提高Hyperledger Fabric的处理性能。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据处理方法，应用于超级账本Hyperledger Fabric中的记账节点，其特征在于，所述方法包括：

将目标对象以hash表的形式存储在内存中，所述目标对象为指定的KV型数据库；

当检测到针对所述目标对象的访问请求时，依据内存中存储的所述hash表，对所述访问请求进行响应。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述记账节点发生重启时，依据文件系统中的区块文件，对内存中存储的所述hash表进行恢复。

3.根据权利要求1所述的方法，其特征在于，所述目标对象中存储的数据包括读写集；

所述将目标对象以hash表的形式存储在内存，包括：

对于所述目标对象中的任一读写集，对该读写集的值进行编码，并依据编码后的值，将该读写集以hash表的形式存储在内存中。

4.根据权利要求3所述的方法，其特征在于，所述读写集包括多种不同类型的数据；同一对象中存储的不同类型的读写集存储于同一hash表。

5.根据权利要求3所述的方法，其特征在于，所述依据内存中存储的所述hash表，对所述访问请求进行响应，包括：

当所述访问请求为针对读写集的访问请求时，从所述hash表中查询key与所述访问请求匹配的目标表项；

对所述目标表项中的值进行解码，并依据解码后的值对所述访问请求进行响应。

6.一种数据处理装置，应用于超级账本Hyperledger Fabric中的记账节点，其特征在于，所述装置包括：

数据维护单元，用于将目标对象以hash表的形式存储在内存中，所述目标对象为指定的KV型数据库；

处理单元，用于当检测到针对所述目标对象的访问请求时，依据内存中存储的所述hash表，对所述访问请求进行响应。

7.根据权利要求6所述的装置，其特征在于，

所述数据维护单元，还用于当所述记账节点发生重启时，依据文件系统中的区块文件，对内存中存储的所述hash表进行恢复。

8.根据权利要求6所述的装置，其特征在于，所述目标对象中存储的数据包括读写集；

所述数据维护单元，具体用于对于所述目标对象中的任一读写集，对该读写集的值进行编码，并依据编码后的值，将该读写集以hash表的形式存储在内存中。

9.根据权利要求8所述的装置，其特征在于，所述读写集包括多种不同类型的数据；同一对象中存储的不同类型的读写集存储于同一hash表。

10.根据权利要求8所述的装置，其特征在于，

所述处理单元，具体用于当所述访问请求为针对读写集的访问请求时，从所述hash表中查询key与所述访问请求匹配的目标表项；对所述目标表项中的值进行解码，并依据解码后的值对所述访问请求进行响应。

Images