CN110492988A - 一种多路并行复用的大数据系统及其处理方法 - Google Patents

Abstract

一种多路并行复用的大数据系统，包括：多个节点组，同一个节点组的节点共享同一条数据块哈希链，每个节点组包括普通业务节点和普通共识节点，且多个节点组共用第一业务节点和第一共识节点；在共享同一条数据块哈希链的所述节点组中，普通业务节点和普通共识节点中存储有与业务类型对应的标识符，普通业务节点生成的业务数据和普通共识节点共识的业务数据中包含有标识符；第一业务节点根据标识符并行处理多条数据块哈希链保存的业务数据，第一共识节点根据标识符对多条数据块哈希链的业务数据进行并行共识。本发明通过多条数据块哈希链复用同一节点对各自数据块哈希链中的业务数据进行处理或者共识，充分利用了数据处理能力强节点的计算资源。

Description

一种多路并行复用的大数据系统及其处理方法

技术领域

本申请涉及大数据技术领域，尤其涉及一种多路并行复用的大数据系统及其处理方法。

背景技术

大数据技术是推动人类社会进入智能化时代的重要力量。目前，数据采集手段日益丰富，从线上走向线下，通过多种多样的互联网服务、数字支付平台以及智能设备，数据从各个源节点被不断收集，从而聚合形成了海量的大数据资源，进而再分别传送到目的节点，实现数据的分析与应用。

传统大数据技术中，网络的数据中心节点掌握全部大数据接收、存储、转发过程，其它节点直接或者间接从数据中心节点获取数据。可见数据中心节点至关重要，为了保证数据安全及隐私，需要投入海量的软硬件资源，采用各种复杂的保障措施，来对数据中心节点进行防卫，但由于黑客技术多样，且复杂的系统不可避免的存在更多的漏洞与后门，因此无法完全保障数据中心节点万无一失。并且，无法避免数据中心节点有意篡改数据或者泄露隐私的风险。

为了克服以上缺陷，目前提出了一种新型的去中心化的大数据节点架构，能安全地实现数据收集、存储以及中转，数据不可伪造和篡改。这一架构的核心是以数据块作为数据采集、存储以及中转的基本单位，并对数据块执行哈希验证运算，构造数据块哈希链，并且全部节点地位平等地共享该数据块哈希链。数据以数据块为单位被写入数据块哈希链后，由具有共识权限的节点进行共识确认，由共识算法保证数据块哈希链一致性。数据块哈希链被全部节点共享，可以被下载、存储于任何节点并随时可验证，从而保证了数据库哈希链的数据不可伪造和篡改。

从而，在以上去中心化的大数据节点架构中，节点分为业务节点和共识节点，共识节点用于对业务节点产生的业务数据进行共识，并且经共识节点共识后的业务数据才能存储到数据块哈希链中，才能实现业务数据的不可伪造和篡改的节点共享。

以上节点架构中显然存在着大量的业务节点和共识节点，不同节点之间的数据处理能力有很大的区别，有些节点的数据处理能力强，有些节点的数据处理能力则相对弱，现有技术中，数据处理能力强的节点的大部分计算资源都处于闲置状态，造成了计算资源的浪费。

发明内容

有鉴于此，本申请的目的在于提出一种多路并行复用的大数据系统及其处理方法，来解决现有技术的分布式大数据节点架构中，数据处理能力强的节点的大部分计算资源都处于闲置状态，造成了计算资源的浪费的技术问题。

基于上述目的，在本申请的第一个方面，提出了一种多路并行复用的大数据系统，包括：

多个节点组，同一个节点组的节点共享同一条数据块哈希链，每个节点组包括普通业务节点和普通共识节点，且所述多个节点组共用第一业务节点和第一共识节点；

在共享同一条数据块哈希链的所述节点组中，所述普通业务节点和所述普通共识节点中存储有与业务类型对应的标识符，所述普通业务节点生成的业务数据和所述普通共识节点共识的业务数据中包含有所述标识符；

所述第一业务节点根据所述标识符并行处理多条数据块哈希链保存的业务数据，所述第一共识节点根据所述标识符对所述多条数据块哈希链的业务数据进行并行共识。

在一些实施例中，所述第一业务节点包括多个存储区域，每个所述的存储区域用于对应存储一条数据块哈希链上的业务数据。

在一些实施例中，所述第一共识节点包括多个存储区域，每个所述的存储区域用于存储待共识的同一条数据块哈希链的业务数据。

在一些实施例中，所述第一业务节点包括业务数据处理模块，用于当接收到所述普通业务节点发送的业务数据后，提取所述业务数据中的标识符，根据所述标识符确定所述业务数据所属的数据块哈希链，并对所述业务数据进行处理。

在一些实施例中，所述第一业务节点还包括数据发送模块，用于根据所述业务数据处理模块提取的标识符将处理后的业务数据发送至对应数据块哈希链的普通业务节点和/或普通共识节点。

在一些实施例中，所述第一共识节点包括业务数据共识模块，用于当接收到的所述普通业务节点发送的共识请求后，提取所述共识请求中的标识符，根据所述标识符确定所述共识请求对应的数据块哈希链链，并对所述共识请求对应的业务数据进行共识。

在一些实施例中，所述第一共识节点还包括数据发送模块，用于根据所述业务数据共识模块提取的标识符将共识后的业务数据发送至对应数据块哈希链的普通业务节点和/或普通共识节点。

基于上述目的，在本申请的第二个方面，提出了一种多路并行复用的大数据处理方法，包括：

接收普通业务节点和/或普通共识节点发送的业务数据，所述普通业务节点为多个节点组中的一个节点组的普通业务节点和/或普通共识节点，同一个节点组的节点共享同一条数据块哈希链；

提取所述业务数据中的标识符，所述标识符用于表征所述业务数据对应的数据块哈希链；

根据所述标识符确定所述业务数据对应的数据块哈希链；

对所述业务数据进行处理，并将处理后的业务数据发送至对应的数据块哈希链上的普通业务节点和/或普通共识节点。

在一些实施例中，在所述根据所述标识符确定所述业务数据对应的数据块哈希链之后，所述方法还包括：

将所述标识符存储在与所述数据块哈希链对应的存储模块中。

在一些实施例中，所述对所述业务数据进行处理，并将处理后的业务数据发送至对应的数据块哈希链上的普通业务节点和/或普通共识节点，具体包括：

利用自身存储的智能合约对所述业务数据进行处理和/或对所述业务数据进行共识，并将处理和/或共识后的业务数据发送至对应的数据块哈希链上的普通业务节点和/或普通共识节点。

本申请实施例提供的一种多路并行复用的大数据系统及其处理方法，其中系统包括：多个节点组，同一个节点组的节点共享同一条数据块哈希链，每个节点组包括普通业务节点和普通共识节点，且所述多个节点组共用第一业务节点和第一共识节点；在共享同一条数据块哈希链的所述节点组中，所述普通业务节点和所述普通共识节点中存储有与业务类型对应的标识符，所述普通业务节点生成的业务数据和所述普通共识节点共识的业务数据中包含有所述标识符；所述第一业务节点根据所述标识符并行处理多条数据块哈希链保存的业务数据，所述第一共识节点根据所述标识符对所述多条数据块哈希链的业务数据进行并行共识。通过对应多条数据块哈希链的节点组复用同一节点对各自数据块哈希链中的业务数据进行处理或者共识，充分利用了节点架构中的数据处理能力强的节点的计算资源，节省了计算时间。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请实施例一的多路并行复用的大数据系统的结构示意图；

图2是本申请实施例二的多路并行复用的大数据系统的第一业务节点的结构示意图；

图3是本申请实施例三的多路并行复用的大数据系统的第一共识节点的结构示意图；

图4是本申请实施例四的多路并行复用的大数据系统处理方法的流程图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

作为本申请的一个实施例，如图1所示，是本申请实施例一的多路并行复用的大数据系统的结构示意图。从图1中可以看出，本实施例提供的多路并行复用的大数据系统，可以包括：

多个节点组，同一个节点组的节点共享同一条数据块哈希链，每个节点组包括普通业务节点和普通共识节点。本实施例中以共享两条数据块哈希链的两个节点组为例对本申请的技术方案进行说明，图1中示出的是两个节点组的部分节点，每个节点组都可以包括普通业务节点和普通共识节点，在不同的节点组中，普通业务节点和普通共识节点的排列顺序可以不同，同时，不同的节点组拥有的节点个数也可以不同。多条节点组共用第一业务节点和第一共识节点，即所述第一业务节点和所述第一共识节点接入到不同的节点组中，在不同的节点组中，所述第一业务节点和所述第一共识节点之间的普通业务节点和普通共识节点的个数可以不同，每个节点组用于共享和运行同一条数据块哈希链，即在同一数据块哈希链中，运行同一类型的业务。

在共享同一条所述的数据块哈希链的节点组中，所述普通业务节点和所述普通共识节点中存储有与业务类型对应的标识符，所述普通业务节点生成的业务数据和所述普通共识节点共识的业务数据中包含有所述标识符。即在节点组的节点之间进行数据交互时，交互的数据内容包括该数据所述的数据块哈希链的标识符，通过所述标识符可以确定该数据所属的数据块哈希链，进而可以确定对应的节点组及数据块哈希链。

所述第一业务节点根据所述标识符并行处理多类业务数据，当所述第一业务节点接收到各节点组中的普通节点(普通业务节点或者普通共识节点)发送的业务数据后，可以同时对接收到业务数据进行处理，当所述第一共识节点接收到各节点组中的普通节点发送的业务数据的共识请求后，根据所述标识符对所述多类业务数据进行同步共识处理，并将共识后的业务数据发送至对应的数据块哈希链上的普通节点上。

当然，在本实施例中，所述第一业务节点也可以和所述第一共识节点直接连接，所述第一业务节点和所述第一共识节点之间也可以进行数据交互。本实施例中的第一业务节点是指多条节点组及数据块哈希链共用的业务节点，第一共识节点是指多条节点组及数据块哈希链共用的共识节点。

本申请实施例的多路并行复用的大数据系统，通过多条数据块哈希链复用同一节点对各自数据块哈希链中的业务数据进行处理或者共识，充分利用了数据处理能力强的节点的计算资源，节省了计算资源。

如图2所示，是本申请实施例二的多路并行复用的区块链系统的第一业务节点的结构示意图。从图2中可以看出，本实施例中的第一业务节点，包括多个存储区域203，如图2中所示的(存储区域1、存储区域2……存储区域n等)，通常情况下，所述第一业务节点中的存储区域203和接入所述第一业务节点的数据块哈希链的条数相关，例如可以是所述第一业务节点中的存储区域203的个数等于所述接入所述第一业务节点的数据块哈希链的条数，每个存储区域203用于存储一条数据块哈希链的业务数据。

此外，所述第一业务节点还可以包括：

业务数据处理模块201，用于当接收到各节点组的普通业务节点发送的业务数据后，提取所述业务数据中的标识符，根据所述标识符确定所述业务数据所属的数据块哈希链，并对所述业务数据进行处理(例如执行智能合约)。根据所述标识符，可以确定接收到的业务数据的业务类型，进而可以将接收到的业务数据存储在对应的存储区域203中，并当所述第一业务节点完成对业务数据的处理后，也可以根据所述标识符将处理后的业务数据发送至对应数据块哈希链的节点。

数据发送模块202，用于当所述业务数据处理模块201完成对业务数据的处理后，根据所述业务数据处理模块201提取的标识符将处理后的业务数据发送至对应数据块哈希链的普通业务节点和/或普通共识节点。

本实施例的多路并行复用的区块链系统，能够取得与实施例一相类似的技术效果，这里不再赘述。

如图3所示，是本申请实施例三的多路并行复用的大数据系统的第一共识节点的结构示意图。从图3中可以看出，本实施例的第一共识节点，包括多个存储区域303，如图3中所示的(存储区域1、存储区域2……存储区域n等)，通常情况下，所述第一共识节点中的存储区域303和接入所述第一共识节点的数据块哈希链的条数相关，例如可以是所述第一业务节点中的存储区域303的个数等于所述接入所述第一共识节点的数据块哈希链的条数，每个存储区域303用于存储一条数据块哈希链的待共识业务数据。

此外，所述第一共识节点还可以包括：

业务数据共识模块301，用于当接收到的所述普通业务节点发送的共识请求后，提取所述共识请求中的标识符，根据所述标识符确定所述共识请求对应的数据块哈希链，并对所述共识请求对应的业务数据进行共识。根据所述标识符，可以确定接收到的业务数据的业务类型，进而可以将接收到的业务数据存储在对应的存储区域203中，并当所述第一共识节点完成对业务数据的共识后，也可以根据所述标识符将共识后的业务数据发送至对应数据块哈希链的节点。

数据发送模块302，用于当所述业务数据共识模块301完成对业务数据的共识后，根据所述业务数据共识模块301提取的标识符将共识后的业务数据发送至对应数据块哈希链的普通业务节点和/或普通共识节点。

本实施例的多路并行复用的大数据系统，能够取得与实施例一相类似的技术效果，这里不再赘述。

如图4所示，是本申请实施例四的多路并行复用的大数据系统处理方法的流程图。作为本申请的一个方法实施例，所述多路并行复用的大数据系统的处理方法，可以包括以下步骤：

S401：接收普通业务节点和/或普通共识节点发送的业务数据，所述普通业务节点为多个节点组中的一个节点组的普通业务节点和/或普通共识节点，同一个节点组的节点共享同一条数据块哈希链。

在本实施中，接收普通业务节点和/或普通共识节点发送的业务数据的可以是各数据块哈希链共用的业务节点和/或共识节点，由于多条数据块哈希链共用一个业务节点或者一个共识节点，因此，该共用的业务节点和/或共识节点可以相应地接收各数据块哈希链上的业务数据。

S402：提取所述业务数据中的标识符，所述标识符用于表征所述业务数据对应的数据块哈希链。

在本实施例中，当共用业务节点或者共用共识节点接收到各节点组的普通业务节点和/或普通共识节点发送的业务数据后，可以提取所述业务数据中的标识符。由于多条数据块哈希链共用一个业务节点和/或共识节点，因此，在共享各条数据块哈希链的普通业务节点和/或普通共识节点进行数据传输时，传输的业务数据中会包含各数据块哈希链的标识符，用于共用业务节点和/或共用共识节点根据所述标识符对接收到的业务数据的类型进行区分，从而在完成对各数据块哈希链的业务数据的处理或者共识后，可以将处理或共识后的业务数据发送至对应数据块哈希链的普通节点。

S403：根据所述标识符确定所述业务数据对应的数据块哈希链。

S404：对所述业务数据进行处理，并将处理后的业务数据发送至对应的数据块哈希链上的普通业务节点和/或普通共识节点。

本申请实施例的多路并行复用的大数据系统处理方法，通过多条数据块哈希链复用同一节点对各自数据块哈希链中的业务数据进行处理或者共识，充分利用了数据处理能力强的节点的计算资源，节省了计算时间。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种多路并行复用的大数据系统，其特征在于，包括：多个节点组，同一个节点组的节点共享同一条数据块哈希链，每个节点组包括普通业务节点和普通共识节点，且所述多个节点组共用第一业务节点和第一共识节点；

在共享同一条数据块哈希链的所述节点组中，所述普通业务节点和所述普通共识节点中存储有与业务类型对应的标识符，所述普通业务节点生成的业务数据和所述普通共识节点共识的业务数据中包含有所述标识符；

所述第一业务节点根据所述标识符并行处理多条数据块哈希链保存的业务数据，所述第一共识节点根据所述标识符对所述多条数据块哈希链的业务数据进行并行共识。

2.根据权利要求1所述的系统，其特征在于，所述第一业务节点包括多个存储区域，每个所述的存储区域用于对应存储一条数据块哈希链的业务数据。

3.根据权利要求2所述的系统，其特征在于，所述第一共识节点包括多个存储区域，每个所述的存储区域用于存储待共识的同一条数据块哈希链的业务数据。

4.根据权利要求3所述的系统，其特征在于，所述第一业务节点包括业务数据处理模块，用于当接收到所述普通业务节点发送的业务数据后，提取所述业务数据中的标识符，根据所述标识符确定所述业务数据所属的数据块哈希链，并对所述业务数据进行处理。

5.根据权利要求4所述的系统，其特征在于，所述第一业务节点还包括数据发送模块，用于根据所述业务数据处理模块提取的标识符将处理后的业务数据发送至对应数据块哈希链的普通业务节点和/或普通共识节点。

6.根据权利要求5所述的系统，其特征在于，所述第一共识节点包括标业务数据共识模块，用于当接收到的所述普通业务节点发送的共识请求后，提取所述共识请求中的标识符，根据所述标识符确定所述共识请求对应的数据块哈希链，并对所述共识请求对应的业务数据进行共识。

7.根据权利要求6所述的系统，其特征在于，所述第一共识节点还包括数据发送模块，用于根据所述业务数据共识模块提取的标识符将共识后的业务数据发送至对应数据块哈希链的普通业务节点和/或普通共识节点。

8.一种多路并行复用的大数据系统的处理方法，其特征在于，包括：

接收普通业务节点和/或普通共识节点发送的业务数据，所述普通业务节点为多个节点组中的一个节点组的普通业务节点和/或普通共识节点，同一个节点组的节点共享同一条数据块哈希链；

提取所述业务数据中的标识符，所述标识符用于表征所述业务数据对应的数据块哈希链；

根据所述标识符确定所述业务数据对应的数据块哈希链；

对所述业务数据进行处理，并将处理后的业务数据发送至对应的数据块哈希链上的普通业务节点和/或普通共识节点。

9.根据权利要求8所述的方法，其特征在于，在所述根据所述标识符确定所述业务数据对应的数据块哈希链之后，所述方法还包括：

将所述标识符存储在与所述数据块哈希链对应的存储模块中。

10.根据权利要求9所述的方法，其特征在于，所述对所述业务数据进行处理，并将处理后的业务数据发送至对应的数据块哈希链上的普通业务节点和/或普通共识节点，具体包括：

利用自身存储的智能合约对所述业务数据进行处理和/或对所述业务数据进行共识，并将处理和/或共识后的业务数据发送至对应的数据块哈希链上的普通业务节点和/或普通共识节点。