CN110636087A - 基于联盟链的数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种基于联盟链的数据处理方法及系统，所述方法包括：判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对大文件数据加工处理；排序验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块；验证打包好的区块，并将其广播至联盟链中所授权的所有联盟成员。本发明所提供的技术方案，通过分拣识别各联盟成员上传数据所包含的非大文件数据和大文件数据，且对大文件数据的切片进行定长计算，实现了验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分别以最小数据量入链的目的，从而不仅能够使联盟链的入链数据并发处理速度大大提高，而且有效降低了联盟链分布式账本的整体数据量。

Description

基于联盟链的数据处理方法及系统

技术领域

本发明实施例属于区块链技术领域，尤其涉及一种基于联盟链的数据处理方法及系统。

背景技术

随着互联网的不断发展，区块链技术应运而生，具有去中心化、公开透明的特点。具体地，区块链技术的本质是去中心化且寓于分布式结构的数据存储、传输和证明的方法，用数据区块取代目前互联网对中心服务器的依赖，使得所有数据的变更或者交易项目都被记录在一个分布式的云系统之上。

其中，根据区块链网络中心化程度的不同，联盟链顺应技术趋势被提出和逐渐被认可，但是由于各联盟成员所上传数据的数据量无加工处理机制，从而限制了联盟链的入链数据并发处理速度，进而使得联盟链分布式账本的整体数据量不可控地无限增加。

发明内容

为了解决上述技术问题，本发明实施例提出了一种基于联盟链的数据处理方法及系统，通过分拣识别各联盟成员上传数据所包含的非大文件数据和大文件数据，且对大文件数据的切片进行定长计算，实现了验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分别以最小数据量入链的目的，从而不仅能够使联盟链的入链数据并发处理速度大大提高，而且有效降低了联盟链分布式账本的整体数据量。

为实现上述目的，一方面，本发明实施例提供了一种基于联盟链的数据处理方法，其中，包括：

判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理；

排序验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块；

验证打包好的所述区块，并将其广播至联盟链中所授权的所有联盟成员。

进一步地，所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理，包括：

缓存验签通过的各联盟成员上传的数据；

判断缓存的数据中是否包含大文件数据，若有，则对所述大文件数据加工处理。

进一步地，所述对所述大文件数据加工处理，包括：

切片所述大文件数据生成若干切片数据；

定长计算所述若干切片数据，以生成根哈希值。

进一步地，所述定长计算所述若干切片数据，以生成根哈希值，包括：

按照所述切片数据所生成的顺序进行分组，生成切片数据组，每个所述切片数据组包括至少两个切片数据；

定长计算每组中每个切片数据，分别生成切片哈希值；

对每组所述切片哈希值进行定长计算，分别生成切片组哈希值；

通过对所有分组的所述切片组哈希值进行定长计算，以生成根哈希值。

进一步地，在所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理之前，还包括：接收并验签各联盟成员所上传的数据，所述数据中包括大文件数据和非大文件数据；在所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理之后，还包括：汇总验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并发送。

进一步地，所述验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块，包括；接收验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并依照预设规则进行排序，所述预设规则为依照各联盟成员的成员身份进行排序或者按照数据的类型进行排序；打包排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据成区块并发送。

进一步地，所述打包排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据成区块并发送，包括：

根据预设时间对排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分段打包成区块；或者，根据区块的预设容量对排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分批打包成区块；

发送打包好的数据区块。

进一步地，所述根据预设时间对排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分段打包成区块；或者，根据区块的预设容量对排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分批打包成区块之前，还包括：

通过预先设定的共识规则，获得打包区块的权限。

为实现上述目的，另一方面，本发明实施例提供了一种基于联盟链的数据处理系统，其中，包括：

授权节点，所述授权节点用于接收加盟请求，并通过审核所述加盟请求以决定是否授权加盟所述联盟链；

联盟成员，所述联盟成员用于发送加盟请求，在被授权加入所述联盟链后还用于上传数据；

背书节点，所述背书节点用于排序验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块；

排序节点，所述排序节点用于排序经处理过的所述大文件数据并打包成区块；

验证节点，所述验证节点用于验证打包好的所述区块，并将其广播至联盟链中所授权的所有联盟成员。

进一步地，在所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理之前，还包括：接收并验签各联盟成员所上传的数据，所述数据中包括大文件数据和非大文件数据；在所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理之后，还包括：汇总验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并发送。

在本发明实施例中，通过判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理；排序验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块；验证打包好的所述区块，并将其广播至联盟链中所授权的所有联盟成员的技术方案；实现了分拣识别各联盟成员上传数据所包含的非大文件数据和大文件数据，且对大文件数据的切片进行定长计算，实现了验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分别以最小数据量入链的目的，从而不仅能够使联盟链的入链数据并发处理速度大大提高，而且有效降低了联盟链分布式账本的整体数据量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一所提供的基于联盟链的数据处理方法流程图；

图2为本发明实施例二所提供的基于联盟链的数据处理系统结构示意图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

实施例一

首先需要说明的是，本发明实施例将提供一种基于联盟链的数据处理方法，利用该数据处理方法，依托于如图2所示本发明实施例二所提供的基于联盟链的数据处理系统结构示意图所展示的网络节点配置，通过对联盟成员上传的数据进行加工处理，可建立一整体数据量可控的联盟链分布式账本。

图1为本发明实施例一所提供的基于联盟链的数据处理方法流程图。结合图1和图2所示，本发明实施例基于联盟链的数据处理方法包括如下步骤：

S101、判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理；

联盟成员在成功被授权节点授权加入联盟链后，为生成联盟链分布式账本，将会把本地存储的数据上传至背书节点；首先，背书节点接收并验签各联盟成员所上传的数据，所述数据中包括大文件数据和非大文件数据；再者，判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理；最后，背书节点将汇总验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并发送给排序节点。

具体地，背书节点接收并验签各联盟成员所上传的数据后，虽然这些数据通过了验签，但并不会全部写入联盟链分布式账本，需要等待处理；因此可缓存验签通过的各联盟成员上传的数据，当然这些缓存数据可存储在背书节点的本地，并且也可有相应的释放缓存的机制来清空背书节点的本地缓存数据；后续，等待判断缓存的数据中是否包含大文件数据的结果，若包含大文件数据，则切片所述大文件数据生成若干切片数据，按照所述切片数据所生成的顺序进行分组，生成切片数据组，每个所述切片数据组包括至少两个切片数据；定长计算每组中每个切片数据，分别生成切片哈希值；对每组所述切片哈希值进行定长计算，分别生成切片组哈希值；通过对所有分组的所述切片组哈希值进行定长计算，以生成根哈希值。

例如，切片大文件数据S生成若干切片数据分别为S1、S2、S3、S4，按照所述切片数据所生成的顺序进行分组生成切片数据组(S1、S2)、(S3、S4)；定长计算每组中每个切片数据，分别生成切片哈希值Hash(S1)、Hash(S2)、Hash(S3)、Hash(S4)；对每组所述切片哈希值进行定长计算，分别生成切片组哈希值Hash(Hash(S1)、Hash(S2))、Hash(Hash(S3)、Hash(S4))；通过对所有分组的所述切片组哈希值进行定长计算，以生成根哈希值Hash(Hash(Hash(S1)、Hash(S2))、Hash(Hash(S3)、Hash(S4)))。

这里需要强调的是，切片大文件数据生成若干切片数据的具体方式，可以是对大文件数据按照预先设定的切片规则进行操作，例如：可以是对大文件数据等量切片成N个切片数据，每个切片数据的大小相同，也可以是对大文件数据按照每个切片数据所包含的重要信息不同而进行切片，这种切片数据的方式，则需要先对大文件数据中的重要信息进行识别，再将大文件数据进行切片，每个切片数据包含至少一个重要信息，例如对视频文件的切片，则需先对视频文件所包含的关键帧进行定义及识别，切片后的视频文件的每个切片数据至少包含一帧关键帧；当然切片大文件数据生成若干切片数据的具体方式还有很多种，但无论何种方式都包含在本发明的保护范围之内，因此在这里不再做进一步赘述和限定。S102、排序验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块；

在该步骤中，排序节点接收背书节点所发送的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并依照预设规则进行排序，所述预设规则为依照各联盟成员的成员身份进行排序或者按照数据的类型进行排序；

进一步地，由于在联盟链系统中对每个区块的生成间隔时间及区块的容量大小都有一定的限制，因此对排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据可根据预设时间分段打包成区块，或者，根据区块的预设容量对排序好的非大文件数据及验签通过且经过加工处理的大文件数据分批打包成区块；换句话说，以生成区块间隔的预设时间或者区块大小的预设容量哪个预设条件先满足，为打包生成区块的前提条件；最终，排序节点将打包好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据区块发送至验证节点。

在这里需要强调的是，在联盟链的网络节点配置中至少包括一个排序节点，当只有一个排序节点的时候，该排序节点拥有打包区块验签通过的非大文件数据及验签通过且经过加工处理的大文件数据的绝对自主权；当有多个排序节点的时候，多个排序节点可根据联盟链的网络节点配置，每个排序节点分配链接到一个或者多个背书节点上，且多个排序节点互联链接，具体链接方式这里不做限定；排序节点接收与之相链接的不同背书节点所发送的汇总所有验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并所有排序节点上的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据文相互同步，之后，多个排序节点通过预先设定的共识规则，由其中一个排序节点获得打包区块的权限进而行使打包区块的权限；所述共识规则可以为工作量证明共识规则或者股权证明共识规则等，这里不做限定。

S103、验证打包好的所述区块，并将其广播至联盟链中所授权的所有联盟成员。

验证节点接收获得打包区块的权限的排序节点所打包生成的区块，并对该打包好的区块进行区块头哈希值验证，若该上一区块整体哈希值与刚接收到的区块头内所存储的哈希值一致，则验证通过；并将该验证通过的区块广播至联盟链中所授权的所有联盟成员，该被广播的区块链接到联盟链分布式账本末端生成新的分布式账本。

本发明实施例所提供的基于联盟链的数据处理方法，通过判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理；排序验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块；验证打包好的所述区块，并将其广播至联盟链中所授权的所有联盟成员；依托于如图2所示展示的网络节点配置，以各联盟成员的数据为资源建立了联盟链，在该联盟链中，实现了分拣识别各联盟成员上传数据所包含的非大文件数据和大文件数据，且对大文件数据的切片进行定长计算，实现了验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分别以最小数据量入链的目的，从而不仅能够使联盟链的入链数据并发处理速度大大提高，而且有效降低了联盟链分布式账本的整体数据量。

实施例二

如图2为本发明实施例二所提供的基于联盟链的数据处理系统结构示意图所示，本发明实施例的基于联盟链的数据处理系统包括授权节点301、联盟成员302、背书节点303、排序节点304、验证节点305，其中，包括：

授权节点301用于接收加盟请求，并通过审核所述加盟请求以决定是否授权加盟所述联盟链；联盟成员302用于发送加盟请求，在被授权加入所述联盟链后还用于上传数据；背书节点303用于判断所接收的各联盟成员上传的数据是否为大文件数据，若是，则对所述大文件数据加工处理；排序节点304用于排序经处理过的所述大文件数据并打包成区块；验证节点305用于验证打包好的所述区块，并将其广播至联盟链中所授权的所有联盟成员。

进一步地，背书节点303还用于在判断所接收的各联盟成员上传的数据是否为大文件数据，若是，则对所述大文件数据加工处理之前，接收并验签各联盟成员所上传的数据，所述数据中包括大文件数据和非大文件数据；在判断所接收的各联盟成员上传的数据是否为大文件数据，若是，则对所述大文件数据加工处理之后，汇总验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并发送。

本发明实施例所提供的基于联盟链的数据处理系统，通过背书节点判断所接收的各联盟成员上传的数据是否为大文件数据，若是，则对所述大文件数据加工处理；排序节点排序经处理过的所述大文件数据并打包成区块；验证节点验证打包好的所述区块，并将其广播至联盟链中所授权的所有联盟成员；依托于如图2所示展示的网络节点配置，以各联盟成员的数据为资源建立了联盟链，在该联盟链中，实现了分拣识别各联盟成员上传数据所包含的非大文件数据和大文件数据，且对大文件数据的切片进行定长计算，实现了验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分别以最小数据量入链的目的，从而不仅能够使使联盟链的入链数据并发处理速度大大提高，而且有效降低了联盟链分布式账本的整体数据量。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明实施例的实施例，并非因此限制本发明实施例的专利保护范围，凡是利用本发明实施例说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明实施例的专利保护范围之内。

Claims (10)

1.一种基于联盟链的数据处理方法，其特征在于，包括：

判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理；

排序验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块；

验证打包好的所述区块，并将其广播至联盟链中所授权的所有联盟成员。

2.根据权利要求1所述的基于联盟链的数据处理方法，其特征在于，所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理，包括：

缓存验签通过的各联盟成员上传的数据；

判断缓存的数据中是否包含大文件数据，若有，则对所述大文件数据加工处理。

3.根据权利要求2所述的基于联盟链的数据处理方法，其特征在于，所述对所述大文件数据加工处理，包括：

切片所述大文件数据生成若干切片数据；

定长计算所述若干切片数据，以生成根哈希值。

4.根据权利要求3所述的基于联盟链的数据处理方法，其特征在于，所述定长计算所述若干切片数据，以生成根哈希值，包括：

按照所述切片数据所生成的顺序进行分组，生成切片数据组，每个所述切片数据组包括至少两个切片数据；

定长计算每组中每个切片数据，分别生成切片哈希值；

对每组所述切片哈希值进行定长计算，分别生成切片组哈希值；

通过对所有分组的所述切片组哈希值进行定长计算，以生成根哈希值。

5.根据权利要求4所述的基于联盟链的数据处理方法，其特征在于，

在所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理之前，还包括：接收并验签各联盟成员所上传的数据，所述数据中包括大文件数据和非大文件数据；

在所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理之后，还包括：汇总验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并发送。

6.根据权利要求5所述的基于联盟链的数据处理方法，其特征在于，所述汇总验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块，包括；

接收验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并依照预设规则进行排序，所述预设规则为依照各联盟成员的成员身份进行排序或者按照数据的类型进行排序；

打包排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据成区块并发送。

7.根据权利要求6所述的基于联盟链的数据处理方法，其特征在于，所述打包排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据成区块并发送，包括：

根据预设时间对排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分段打包成区块；或者，根据区块的预设容量对排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分批打包成区块；

发送打包好的数据区块。

8.根据权利要求7所述的基于联盟链的数据处理方法，其特征在于，所述根据预设时间对排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分段打包成区块；或者，根据区块的预设容量对排序好的验签通过的非大文件数据及验签通过且经过加工处理的大文件数据分批打包成区块之前，还包括：

通过预先设定的共识规则，获得打包区块的权限。

9.一种基于联盟链的数据处理系统，其特征在于，包括：

授权节点，所述授权节点用于接收加盟请求，并通过审核所述加盟请求以决定是否授权加盟所述联盟链；

联盟成员，所述联盟成员用于发送加盟请求，在被授权加入所述联盟链后还用于上传数据；

背书节点，所述背书节点用于排序验签通过的非大文件数据及验签通过且经过加工处理的大文件数据并打包成区块；

排序节点，所述排序节点用于排序经处理过的所述大文件数据并打包成区块；

验证节点，所述验证节点用于验证打包好的所述区块，并将其广播至联盟链中所授权的所有联盟成员。

10.根据权利要求9所述的基于联盟链的数据处理系统，其特征在于，包括：在所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理之前，还包括：接收并验签各联盟成员所上传的数据，所述数据中包括大文件数据和非大文件数据；

在所述判断所验签通过的各联盟成员上传的数据中是否包含大文件数据，若是，则对所述大文件数据加工处理之后，还包括：汇总验签通过的非大文件数据及验签通过且经过加工处理的大文件数据，并发送。

Images