CN114298713B - 一种联盟链分片方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种联盟链分片方法、装置及存储介质，本发明的联盟链分片个数自定义配置，根据交易依赖关系对交易进行DAG排序构建交易DAG结构，采用基于顶点度数和随机哈希的图分割方法将交易DAG结构分割为若干子图，每个子图对应一个分片，将交易分配到最佳分片中，以减少跨分片通信开销并平衡各分片的负载压力，并设计跨分片通信确保交易的依赖关系不变，各分片之间通过调度算法实现交易并发执行，分片内通过交易DAG结构也可以实现交易并发执行，从而达到提高联盟链分片性能，提高整体联盟链系统吞吐量的目的。

Description

一种联盟链分片方法、装置及存储介质

技术领域

本发明属于联盟链技术领域，尤其涉及一种联盟链分片方法、装置及存储介质。

背景技术

联盟链在很多领域得到广泛应用，目前针对联盟链的性能优化有针对单一链下的共识优化、网络优化等，或者是采用多链分片的思想，将交易分发到不同的分片链上，分片链再进行通信。分片技术能够提高交易并发性，为了防止双花现象，保证交易结果一致性，需要跨分片通信，确保分片之间交易的正确性，跨分片通信开销非常大，如何减少跨分片的通信开销是一个值得研究的问题。交易提交到分片的策略有：1）随机提交到各个分片中，这样能够保证负载均衡，但是不能保证减少跨分片的通信开销；2）智能提交策略，将相关的交易即有依赖关系的交易放入同一分片，不相关的交易放入不同分片，各分片可以并发执行，能够减少跨分片的通信开销，但是这种策略会导致不同分片的负载压力不一致。

发明内容

本发明的目的在于针对现有技术的不足，提供一种联盟链分片方法、装置及存储介质，本发明根据图分割方法将交易放置到最佳分片中，以减少跨分片通信开销并平衡各分片的负载压力，并设计跨分片通信确保交易的依赖关系不变，各分片之间通过调度算法实现交易并发执行，分片内通过交易DAG结构也可以实现交易并发执行，从而达到提高联盟链分片性能，提高整体联盟链系统吞吐量的目的。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种联盟链分片方法，该方法包括：

设定联盟链分片个数k；

根据交易依赖关系对交易进行DAG排序，构建交易DAG结构；

采用基于顶点度数和随机哈希的图分割方法，将所述交易DAG结构分割为k个子图，并记录各子图的有依赖关系的前序子图集合；

将各子图中的交易集合分配到对应分片中；

各分片开启并发执行线程，根据各子图依赖关系通过条件锁调度线程进行跨分片通信；

各分片线程并发执行，执行完交易生成区块并更新主链。

进一步地，所述联盟链分片个数k根据联盟链网络节点规模及交易负载情况自定义配置。

进一步地，所述图分割具体为：

遍历交易DAG结构中每条边的两个顶点v_i和v_j，计算顶点v_i的度数d_i，顶点v_j的度数d_j；如果d_i<d_j，则子图id值P_id为Hash(v_i)mod(k)，Hash(v_i)为顶点v_i的哈希值，mod表示取模操作；如果d_i≥d_j，则子图id值P_id为Hash(v_j)mod(k)；将顶点v_i，v_j和对应的边分配到P_id对应的子图中；

遍历完交易DAG结构后，得到每个子图中的顶点集合和边集合。

进一步地，将具有切割边的子图通过向量表记录子图依赖关系，所述向量表记为map[P_id]Vec{vec₀,vec₁,…,vec_m}，其中0≤m＜k，P_id为子图id值，向量集Vec为与P_id对应的子图有依赖关系的前序子图集合，向量集Vec中的每个向量vec_t中包括前序子图id值和子图间依赖关系，0≤t≤m；根据子图间依赖关系建立子图对应分片的执行顺序关系。

进一步地，所述图分割得到的每个子图均为交易DAG结构，各分片内子图中的交易集合按照交易DAG结构并发执行交易，并生成区块。

进一步地，根据子图依赖关系确定各分片之间调度执行顺序，包括：

(1)各分片开启并发执行线程，线程执行内容为分片内子图中的交易集合；

(2)分析子图依赖关系，将具有依赖关系的线程通过条件锁进行调度，某线程的执行条件为具有依赖关系的前序线程均执行完毕才能执行；

(3)没有依赖关系的分片并发执行；

(4)分片并发生成区块后按照生成时间戳排序，并更新主链。

进一步地，根据联盟链内网络节点负载情况、共识策略和安全策略，对每个分片内联盟链节点进行划分。

进一步地，每个分片内的节点集合，包括超级节点、随机选出的若干骨干节点、交易相关方节点、共识签名要求节点、随机生成的安全节点、负载压力小于要求的若干节点。

根据本发明的第二方面，提供一种联盟链分片装置，该装置包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述联盟链分片方法。

根据本发明的第三方面，提供一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现上述联盟链分片方法。

本发明的有益效果是：本发首先根据交易依赖关系对交易进行DAG排序构建交易DAG结构，然后采用基于顶点度数和随机哈希的图分割方法对交易DAG结构进行分区，将各分区的交易集合分到节点分片中，并通过跨分片通信确保区块链交易的全序性与正确性。本发明提出的基于图分割对交易DAG结构进行分区的方法，不会限制节点分片的数量，在跨分片通信开销与分片并发之间找到了一个平衡的策略，以达到联盟链最佳性能。

附图说明

图1为本发明实施例提供的联盟链分片方法流程图；

图2为本发明实施例提供的交易DAG结构的构建流程图；

图3为本发明实施例提供的图分割方法流程图；

图4为本发明实施例提供的联盟链分片装置结构图。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

本发明提出一种联盟链分片方法，首先交易由DAG进行组织，即根据交易依赖关系对交易进行DAG排序构建得到交易DAG结构，然后采用根据顶点度数的图分割方法对图即交易DAG结构进行分区，将各分区的交易集合分到节点分片中，并通过跨分片通信确保区块链交易的全序性与正确性。本发明提出的基于图分割对交易DAG结构进行分区的方法，不会限制节点分片的数量，在跨分片通信开销与分片并发之间找到了一个平衡的策略，以达到联盟链最佳性能。图1为本发明一实施例提供的联盟链分片方法总体流程图。

在一个实施例中，详细描述交易DAG排序流程，具体如下：

在进行交易打包时，从联盟链节点的本地交易池中按时间戳顺序取出交易，分析交易的互斥资源的占用关系，如果该交易与之前交易有依赖关系则在相应交易之间构造依赖边。

交易DAG结构的构建流程如图2所示，包括以下步骤：

(1)从本地交易池中读取打包交易列表；

(2)根据交易总数初始化DAG实例；

(2)构建交易DAG结构的顶点和边信息；

(4)根据时间戳按照顺序读出所有交易，并分析该交易是否可并行交易，如果可以并行，检查是否有之前的交易与该交易有依赖，如果有，则在相应交易间构造依赖边；若该交易不可并行，则其必须在前序的所有交易都执行完后才能执行，因此在该交易与其所有前序交易间建立一条依赖边；图2中，txld表示该打包交易列表中的第txld个交易，total表示该打包交易列表中的总交易数；

(5)直至打包交易列表中所有交易均分析完成，此时构建出该打包交易列表的所有交易的交易DAG结构。

在一个实施例中，详细描述图分割流程，如图3所示，具体如下：

对交易DAG结构进行图分割，划分为k个子图，k根据联盟链分片个数确定，联盟链分片个数可通过配置文件指定，例如指定为64个，当交易量较高时，可适当提高分片数量。

子图之间可以进行联盟链节点分片执行，即各个子图中的交易集合在不同分片内并发执行。但为了保证交易的全序性，有依赖关系的子图之间需要进行跨分片通信，同时又要使得各分片处理的交易保证负载均衡，例如有10万个交易分到10个分片中，各子图大小越相近联盟链分片处理压力越均衡，同时切割边越少跨分片通信开销越少，即寻求负载均衡和最小化切割边之间的平衡，从而实现最佳处理效率。

令G=(V,E)表示一个图，其中V={v₁,v₂,...,v_n}为图G中的顶点集，每个顶点对应一笔交易，n为交易总数；E⊆V×V为图G中的边集，每条边代表交易依赖关系。如果边(v_i,v_j)∈E，则v_i和v_j称为邻居。v_i的度数表示为d_i，它衡量v_i的邻居数，在交易DAG结构中，指的是具有依赖关系的交易个数。v_j的度数表示为d_j。

图分割方法通过判断顶点的度信息来切割顶点分配边。对于幂律图来说，低度顶点的局部性很容易保持，高度顶点因为关联太多顶点如果将边全部分配在一个子图上不太可能，因此本实施例图分割过程尽最大可能保持低度顶点的局部性，具体为：

确定待分割的子图个数k，子图集P={P₁,P₂,...,P_k}，遍历图G中每条边的两个顶点v_i，v_j，计算顶点v_i，v_j的度数d_i，d_j，比较d_i和d_j的大小，如果d_i<d_j，则返回子图id值P_id为Hash(v_i)mod(k)，Hash(v_i)为顶点v_i的哈希值，mod表示取模操作；如果d_i≥d_j，则返回子图id值P_id为Hash(v_j)mod(k)，Hash(v_j)为顶点v_j的哈希值。以上操作将顶点v_i，v_j和对应的边分配到P_id对应的子图中。例如对于图G中的某条边的两个顶点v₁，v₂，如果d₁<d₂，且Hash(v₁)mod(k)=1，则将顶点v_i，v_j和对应的边分配到子图P₁中。遍历完图G后，可以得到每个子图中的顶点集合和边集合，每个子图均为交易DAG结构。

对于一条边的两个顶点 ，计算这两个顶点的度信息也就是邻居总数，根据度小的顶点计算哈希函数返回分配的子图id，将该条边分配到对应子图。该图分割过程融合了度信息和随机哈希的特征，高效且保持了局部性。

将子图id对应到联盟链节点分片id，例如将子图P₁对应到分片1。

将具有切割边的子图通过子图依赖关系向量表记录子图依赖关系，子图依赖关系向量表记为map[P_id]Vec{vec₀,vec₁,…,vec_m}，其中0≤m＜k，P_id为子图id，向量集Vec为与子图P_id有依赖关系的前序子图集合，向量集Vec中的每个向量vec_t中包括前序子图id和子图之间依赖关系，0≤t≤m，以此标记需要跨分片通信的分片id。根据依赖关系建立顺序关系，例如子图P₁有子图P₂、P₃的前序依赖交易，那么对应到分片中，分片2、3需要等分片1执行完之后才能执行。

在一个实施例中，详细描述联盟链分片设计流程，具体如下：

本实施例中，联盟链网络分片按照配置分片，分片个数k可自定义。例如，可根据联盟链网络节点规模、交易负载情况等因素自定义k。

每个分片内联盟链节点的划分具体为：

考虑联盟链内网络节点负载情况、共识策略和安全策略等因素，例如共识签名要求，联盟链中超级节点、骨干节点等背书，根据交易将这些节点划入分片内，其他节点根据具体要求选择，例如负载情况、交易要求节点背书情况等。经过节点划分后得到分片Sharding₁、Sharding₂…Sharding_k。

具体地，根据以下因素进行分片：分片个数、超级节点、骨干节点、交易相关方节点、节点负载压力、共识签名要求、安全节点（随机生成）。其中超级节点为一联盟链内比较有权威性的组织机构，例如国家级节点，例如银行业中，银监会节点可作为超级节点，一般链内交易需要其参与共识；骨干节点，指的是政府部门或者核心企业这类较有权威的机构，例如银行业中的国有大行等；交易相关方指的是交易发生的主体机构；节点负载压力指的是当前节点处理交易负载情况；共识签名要求指的是交易指定的机构参与共识；安全节点指的是为保证安全性，随机选一批节点参与共识确保共识安全性。

在一个实施例中，分片内子图按照交易DAG结构可以进行并发执行，具体为：各分片内子图里的交易集合按照交易DAG结构并发执行交易，并生成区块，图分割后得到的子图也为交易DAG结构，通过维护一个并发执行队列进行并发执行，如果某顶点的入度为0（无被依赖的前序任务），则将该顶点中的交易加入并发执行队列；在执行阶段，根据并发执行队列确定并发执行的交易，交易执行完成后，将执行完成交易的后续交易对应的顶点入度减1，并根据入度更新并发执行队列，递归执行并发执行队列中的交易，直至执行完所有交易。

在一个实施例中，详细描述跨分片通信流程，具体如下：

为了保证交易全序性，需要保证并发执行的各分片的依赖关系。各个分片开启并发执行线程，通过子图依赖关系向量表map[P_id]Vec{}信息确定各个分片之间调度执行顺序。分片调度如下：

(1)各分片开启并发执行线程T={T₁…T_k}，线程的执行内容为各分片执行子图里的交易集合；

(2)分析子图依赖关系向量表，将具有依赖关系的线程通过调度锁（条件锁condition_lock）进行调度，例如线程T_i的前序依赖线程为T_a、T_b，那么T_i的执行条件就是T_a\T_b执行完毕才能执行，也即T_a\T_b执行完成后会解锁T_i里的调度锁；以此类推完成线程T={T₁…T_k}的执行；

(3)没有依赖关系的分片可以并发执行；

(4)分片并发生成区块后按照生成时间戳排序，并更新主链。

与前述联盟链分片方法的实施例相对应，本发明还提供了联盟链分片装置的实施例。

参见图4，本发明实施例提供的联盟链分片装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的联盟链分片方法。

本发明联盟链分片装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明联盟链分片装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的联盟链分片。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (7)

1.一种联盟链分片方法，其特征在于，包括：

设定联盟链分片个数k；

根据交易依赖关系对交易进行DAG排序，构建交易DAG结构；

采用基于顶点度数和随机哈希的图分割方法，将所述交易DAG结构分割为k个子图，并记录各子图的有依赖关系的前序子图集合，包括：

遍历交易DAG结构中每条边的两个顶点v_i和v_j，计算顶点v_i的度数d_i，顶点v_j的度数d_j；如果d_i<d_j，则子图id值P_id为Hash(v_i)mod(k)，Hash(v_i)为顶点v_i的哈希值，mod表示取模操作；如果d_i≥d_j，则子图id值P_id为Hash(v_j)mod(k)；将顶点v_i，v_j和对应的边分配到P_id对应的子图中；遍历完交易DAG结构后，得到每个子图中的顶点集合和边集合；

将具有切割边的子图通过向量表记录子图依赖关系，所述向量表记为map[P_id]Vec{vec₀,vec₁,…,vec_m}，其中0≤m＜k，P_id为子图id值，向量集Vec为与P_id对应的子图有依赖关系的前序子图集合，向量集Vec中的每个向量vec_t中包括前序子图id值和子图间依赖关系，0≤t≤m；根据子图间依赖关系建立子图对应分片的执行顺序关系；

将各子图中的交易集合分配到对应分片中；

各分片开启并发执行线程，线程执行内容为分片内子图中的交易集合，根据各子图依赖关系通过条件锁调度线程进行跨分片通信，包括：

(1)分析子图依赖关系，将具有依赖关系的线程通过条件锁进行调度，某线程的执行条件为具有依赖关系的前序线程均执行完毕才能执行；

(2)没有依赖关系的分片并发执行；

(3)分片并发生成区块后按照生成时间戳排序，并更新主链。

2.根据权利要求1所述的方法，其特征在于，所述联盟链分片个数k根据联盟链网络节点规模及交易负载情况自定义配置。

3.根据权利要求1所述的方法，其特征在于，所述图分割得到的每个子图均为交易DAG结构，各分片内子图中的交易集合按照交易DAG结构并发执行交易，并生成区块。

4.根据权利要求1所述的方法，其特征在于，根据联盟链内网络节点负载情况、共识策略和安全策略，对每个分片内联盟链节点进行划分。

5.根据权利要求1所述的方法，其特征在于，每个分片内的节点集合，包括超级节点、随机选出的若干骨干节点、交易相关方节点、共识签名要求节点、随机生成的安全节点、负载压力小于要求的若干节点。

6.一种联盟链分片装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1-5中任一项所述的方法。

7.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-5中任一项所述的方法。

Images