CN112069259A

CN112069259A - 一种基于区块链的多云环境数据存储系统及方法

Info

Publication number: CN112069259A
Application number: CN202010938356.5A
Authority: CN
Inventors: 王建荣; 胡登铖; 邱铁; 徐天一; 马昊伯; 喻梅; 李雪威
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2020-09-09
Filing date: 2020-09-09
Publication date: 2020-12-11
Anticipated expiration: 2040-09-09
Also published as: CN112069259B

Abstract

本发明涉及一种基于区块链的多云环境数据存储系统及方法，包括基于存储分配的共识机制和并行的异步组模型模块，同时设置多个负责存储数据的存储节点，这些节点共同参与区块链系统中基于存储分配的共识过程，包括以下步骤：步骤一：接收用户存储请求，构建验证队列；步骤二：在特定时间内完成存储分配运算，构建候选区块，并发送至验证队列；步骤三：节点对候选队列中的候选区块进行验证并投票；步骤四：区块链网络各个节点更新账本，共识结束。本发明为区块链与多云数据存储提供了一种新思路，即利用共识计算过程对待存储请求进行存储分配决策，以寻求最优存储分配方案，有效解决存储请求处理效率较低的问题。

Description

一种基于区块链的多云环境数据存储系统及方法

技术领域

本发明属于云数据存储技术领域，尤其涉及一种基于区块链的多云环境数据存储系统及方法。

背景技术

现有的云存储服务多是集中于单一存储提供者的中心化存储服务，目前有很多公司提供云存储服务，例如Amazon S3、Microsoft Azure、Google Cloud Storage、AliyunOSS等。这些存储提供者旨在提供多种存储服务，以帮助用户存储各种类型的数据。

但目前单云存储存在一些问题：一方面主要是云存储服务提供商无法保证服务的绝对可用性，因为各种人为或是意外的原因，故障情况时有发生，每次故障会使得存储服务中断几十分钟到数小时，依赖相关存储服务的应用均受到了影响；另一方面则是中心化存储仍然存在着数据可信性和可靠性的问题，现有的这些中心化存储均无法保证数据不会被篡改，不适合存储对于有数据可信性要求、验证需求的数据。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种基于区块链的多云环境数据存储系统及方法，利用各个节点的共识过程确定多云数据存储系统的最优存储分配方案，采用异步并行的方式提升存储请求处理效率。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于区块链的多云环境数据存储系统，包括基于存储分配的共识机制和并行的异步组模型模块，在云内指定一个负责跨云通信的对等节点，同时设置多个负责存储数据的存储节点，这些节点共同参与区块链系统中基于存储分配的共识过程。

一种基于区块链的多云环境数据存储方法，包含以下步骤：

步骤一：接收用户存储请求，构建验证队列；

步骤二：在特定时间内完成存储分配运算，构建候选区块，并发送至验证队列；

步骤三：节点对候选队列中的候选区块进行验证并投票；

步骤四：区块链网络各个节点更新账本，共识结束。

而且，所述步骤一基于存储分配的共识过程包括：用户发起存储请求，将待存储数据生成对应的元数据，并将元数据广播至区块链网络中，同时构建一个验证队列。

而且，所述步骤二基于存储分配的共识过程包括：云内对等节点接收到元数据后进行存储分配运算，第一个产生运算结果的节点根据结果构建候选区块，并发送到验证队列中，同时向其他节点发送运算结束通知，其他节点接收结束通知，若当前节点在此期间内获得运算结果，则一并将对应候选区块发送到验证队列中，否则等待执行下一步。

而且，所述步骤三基于存储分配的共识过程包括：对等节点从验证队列中获取候选区块，按规则排序，并对排序后的候选区块投票，当某一候选区块接收到超过半数的投票时，构建该区块的节点即为本轮共识的出块节点。

而且，所述步骤四基于存储分配的共识过程包括：出块节点更新账本，将新生成的区块追加到账本的末尾，并将新添加的区块广播至网络，其他节点更新账本，共识结束。

而且，针对单位时间处理请求数量少的问题，采用异步并行的方式提升效率，将云划分为多个异步组，组内节点共识，组间并行出块，包含以下步骤：

步骤一：节点划分异步组，构建全局验证池，在全局维护一条验证链；

步骤二：存储请求被发送到异步组中；

步骤三：异步组在执行共识前先从验证池中选取区块进行验证，并将验证结果加入到全局验证链中；

步骤四：组内执行基于存储分配的共识过程，完成出块操作；

步骤五：将新生成的区块发送到全局验证池中，等待其他组的验证；

步骤六：当全局验证池中某一节点验证次数达到全局异步组数量减一时，即表明该区块完成验证，可以根据对应验证结果进行相应处理，并将该区块从候选池中移除。

而且，针对异步组并行化执行过程中的步骤一、二具体操作如下：将节点划分为多个异步组，并构建一个全局验证池，用于组间验证，全局验证池依据出块时间划分区间，为保证组间验证结果可信，需要在全局维护一条验证链，用于记录组间验证结果，存储请求被发送到异步组中。

而且，针对异步组并行化执行过程中的步骤三，操作方法如下：当全局验证池不为空时，异步组在执行共识前先从验证池中选取当前最旧区间中验证次数最少的两个区块进行验证，并将验证结果加入到全局验证链中，保证验证结果可追溯。

而且，针对异步组并行化执行过程中的步骤四、五，操作方法如下：组内节点执行基于存储分配的共识算法，运算出待存储数据的最优存储方案，并完成出块操作，对新生成的区块按照生成时间确定区块区间，同时将区块发送到全局验证池中，等待其他组的验证。

本发明的优点和积极效果是：

1、本发明中基于存储分配的共识机制主要用于解决寻找所有节点所共同认可的多云环境中存储分配的方案，并以此作为依据实现数据的分发与存储。在多云环境中部署区块链系统，在每个云内指定负责跨云通信的对等节点，并设置相应的节点实现对真实数据的存储。之后所有的节点便可启动，进行系统的正常工作。这些对等节点将参与区块链系统的共识，并维护完整的区块链账本，每个节点都可独立验证现有的数据是否是正确完整的。同时每个对等节点会和其他的节点交换信息，查询是否有新生成的数据区块，如果有新的区块则会同步这部分数据。

2、本发明采用基于存储分配的共识机制可以保证待存储数据以更加合理的方式存储在多云环境中，同时保证存储过程的可被追溯。但存储分配运算过程需要消耗秒级的时间，且每一次共识只能处理少量的存储请求，当请求数量过大时，会造成请求堆积，影响后续存储请求的处理效率。本发明采用异步并行的方式提升效率，将云划分为多个异步组，组内节点共识，组间并行出块，以提升存储请求处理效率。

3、本发明采用异步组的形式对云存储服务提供者进行划分，采用并行出块的方式提升存储请求处理效率；针对数据可信性要求较高、需要便于验证的数据，使用区块链进行存储可以有效解决数据可信性问题；更适用于多云环境的数据存储，将存储分配与共识机制进行结合，保证节点达成一致的同时，实现存储请求最优分配。

4、本发明提供了一种基于区块链多云环境数据存储的方法及系统，为区块链与多云数据存储提供了一种新思路，即利用共识计算过程对待存储请求进行存储分配决策，以寻求最优存储分配方案。并针对存储请求处理效率较低的问题，采用共识组划分的方式使得存储请求实现并行化处理。为之后区块链与多云数据存储的结合提供了帮助。

附图说明

图1为本发明的系统构架图；

图2为本发明基于存储分配的共识过程流程图；

图3为本发明异步组处理请求及验证流程图。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

本发明提出一种基于区块链的多云环境数据存储系统，包含基于存储分配的共识机制和并行的异步组模型两个模块，如图1所示，在云内指定一个负责跨云通信的对等节点，同时设置多个负责存储数据的存储节点。之后所有的节点便可启动，进行系统的正常工作。这些节点共同参与区块链系统中基于存储分配的共识过程，包含以下步骤，具体流程如图2所示：

步骤一：接收用户存储请求，构建验证队列；

步骤三：节点对候选队列中的候选区块进行验证并投票；

步骤四：区块链网络各个节点更新账本，共识结束。

针对基于存储分配的共识过程中的步骤一，具体描述如下：

用户发起存储请求，将待存储数据生成对应的元数据，并将元数据广播至区块链网络中。同时构建一个验证队列。

针对基于存储分配的共识过程中的步骤二，具体描述如下：

云内对等节点接收到元数据后进行存储分配运算，第一个产生运算结果的节点根据结果构建候选区块，并发送到验证队列中，同时向其他节点发送运算结束通知，其他节点接收结束通知，若当前节点在此期间内获得运算结果，则一并将对应候选区块发送到验证队列中，否则等待执行下一步。

针对基于存储分配的共识过程中的步骤三，具体描述如下：

对等节点从验证队列中获取候选区块，按规则排序，并对排序后的候选区块投票，当某一候选区块接收到超过半数的投票时，构建该区块的节点即为本轮共识的出块节点。

针对基于存储分配的共识过程中的步骤四，具体描述如下：

出块节点更新账本，将新生成的区块追加到账本的末尾，并将新添加的区块广播至网络，其他节点更新账本，共识结束。

针对单位时间处理请求数量少的问题，采用异步并行的方式提升效率，将云划分为多个异步组，组内节点共识，组间并行出块，包含以下步骤，具体流程如图3所示：

步骤二：存储请求被发送到异步组中；

步骤六：当全局验证池中某一节点验证次数达到全局异步组数量减一时，即表明该区块完成验证。

针对异步组并行化执行过程中的步骤一、二，具体描述如下：

将节点划分为多个异步组，并构建一个全局验证池，用于组间验证，全局验证池依据出块时间划分区间，为保证组间验证结果可信，需要在全局维护一条验证链，用于记录组间验证结果。存储请求被发送到异步组中。

针对异步组并行化执行过程中的步骤三，具体描述如下：

当全局验证池不为空时，异步组在执行共识前先从验证池中选取当前最旧区间中验证次数最少的两个区块进行验证，并将验证结果加入到全局验证链中，保证验证结果可追溯。

针对异步组并行化执行过程中的步骤四、五，具体描述如下：

组内节点执行基于存储分配的共识算法，运算出待存储数据的最优存储方案，并完成出块操作，对新生成的区块按照生成时间确定区块区间，同时将区块发送到全局验证池中，等待其他组的验证。

针对异步组并行化执行过程中的步骤六，具体描述如下：

当全局验证池中某一节点验证次数达到全局异步组数量减一时，即表明该区块完成验证，可以根据对应验证结果进行相应处理(如惩罚等)，并将该区块从候选池中移除。

本发明中基于存储分配的共识机制主要用于解决寻找所有节点所共同认可的多云环境中存储分配的方案，并以此作为依据实现数据的分发与存储。在多云环境中部署区块链系统，在每个云内指定负责跨云通信的对等节点，并设置相应的节点实现对真实数据的存储。之后所有的节点便可启动，进行系统的正常工作。这些对等节点将参与区块链系统的共识，并维护完整的区块链账本，每个节点都可独立验证现有的数据是否是正确完整的。同时每个对等节点会和其他的节点交换信息，查询是否有新生成的数据区块，如果有新的区块则会同步这部分数据。

在本发明中，每一个区块内包含0～n条数据，每条数据代表一个数据块的元信息，元信息主要包括数据块的名称、大小、具体存储位置等。每个区块需要记录该区块的校验和、保存的n条数据，打包生成区块的节点名称，n条数据的具体存储实施方案，生成区块的时间等。节点之间通过共识决定数据存储分配的最优方案，包括如下步骤：

1)用户发起存储请求，请求存储数据产生相应元数据，将元数据广播至区块链网络中，同时构建一个验证队列；

2)云内对等节点接收到元数据后进行存储分配运算，第一个产生运算结果的节点根据结果构建候选区块，并发送到验证队列中，同时向其他节点发送运算结束通知，其他节点接收结束通知，若当前节点在此期间内获得运算结果，则将候选区块发送到验证队列中，否则等待执行下一步；

3)对等节点从验证队列中获取候选区块，并对候选区块进行排序，对排序后的最优候选区块投票，当某一候选区块接收到超过半数的投票时，构建该区块的节点即为本轮共识的出块节点；

4)出块节点更新账本，将新生成的区块追加到账本的末尾，并将新添加的区块广播至网络，其他节点更新账本，共识结束。

采用基于存储分配的共识机制可以保证待存储数据以更加合理的方式存储在多云环境中，同时保证存储过程的可被追溯。但存储分配运算过程需要消耗秒级的时间，且每一次共识只能处理少量的存储请求，当请求数量过大时，会造成请求堆积，影响后续存储请求的处理效率。本发明采用异步并行的方式提升效率，将云划分为多个异步组，组内节点共识，组间并行出块，以提升存储请求处理效率，包括如下步骤：

1)将节点划分为多个异步组，并构建一个全局验证池，用于组间验证，全局验证池依据出块时间划分区间，为保证组间验证结果可信，需要在全局维护一条验证链，用于记录组间验证结果；

2)存储请求被发送到异步组中；

3)当全局验证池不为空时，异步组在执行共识前先从验证池中选取当前最旧区间中验证次数最少的两个区块进行验证，并将验证结果加入到全局验证链中，保证验证结果可追溯；

4)组内节点执行基于存储分配的共识算法，运算出待存储数据的最优存储方案，并完成出块操作；

5)对新生成的区块按照生成时间确定区块区间，同时将区块发送到全局验证池中，等待其他组的验证；

6)当全局验证池中某一节点验证次数达到全局异步组数量减一时，即表明该区块完成验证，可以根据对应验证结果进行相应处理(如惩罚等)，并将该区块从候选池中移除。

本发明提供了一种基于区块链多云环境数据存储的方法及系统，为区块链与多云数据存储提供了一种新思路，即利用共识计算过程对待存储请求进行存储分配决策，以寻求最优存储分配方案。并针对存储请求处理效率较低的问题，采用共识组划分的方式使得存储请求实现并行化处理。为之后区块链与多云数据存储的结合提供了帮助。

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims

1.一种基于区块链的多云环境数据存储系统，其特征在于：包括基于存储分配的共识机制和并行的异步组模型模块，在云内指定一个负责跨云通信的对等节点，同时设置多个负责存储数据的存储节点，这些节点共同参与区块链系统中基于存储分配的共识过程。

2.一种基于区块链的多云环境数据存储方法，其特征在于：包含以下步骤：

步骤一：接收用户存储请求，构建验证队列；

步骤三：节点对候选队列中的候选区块进行验证并投票；

步骤四：区块链网络各个节点更新账本，共识结束。

3.根据权利要求2所述的一种基于区块链的多云环境数据存储方法，其特征在于：

所述步骤一基于存储分配的共识过程包括：用户发起存储请求，将待存储数据生成对应的元数据，并将元数据广播至区块链网络中，同时构建一个验证队列。

4.根据权利要求2所述的一种基于区块链的多云环境数据存储方法，其特征在于：

所述步骤二基于存储分配的共识过程包括：云内对等节点接收到元数据后进行存储分配运算，第一个产生运算结果的节点根据结果构建候选区块，并发送到验证队列中，同时向其他节点发送运算结束通知，其他节点接收结束通知，若当前节点在此期间内获得运算结果，则一并将对应候选区块发送到验证队列中，否则等待执行下一步。

5.根据权利要求2所述的一种基于区块链的多云环境数据存储方法，其特征在于：

所述步骤三基于存储分配的共识过程包括：对等节点从验证队列中获取候选区块，按规则排序，并对排序后的候选区块投票，当某一候选区块接收到超过半数的投票时，构建该区块的节点即为本轮共识的出块节点。

6.根据权利要求2所述的一种基于区块链的多云环境数据存储方法，其特征在于：

所述步骤四基于存储分配的共识过程包括：出块节点更新账本，将新生成的区块追加到账本的末尾，并将新添加的区块广播至网络，其他节点更新账本，共识结束。

7.根据权利要求2-6任一所述的一种基于区块链的多云环境数据存储方法，其特征在于：针对单位时间处理请求数量少的问题，采用异步并行的方式提升效率，将云划分为多个异步组，组内节点共识，组间并行出块，包含以下步骤：

步骤二：存储请求被发送到异步组中；

8.根据权利要求7所述的一种基于区块链的多云环境数据存储方法，其特征在于：针对异步组并行化执行过程中的步骤一、二具体操作如下：将节点划分为多个异步组，并构建一个全局验证池，用于组间验证，全局验证池依据出块时间划分区间，为保证组间验证结果可信，需要在全局维护一条验证链，用于记录组间验证结果，存储请求被发送到异步组中。

9.根据权利要求7所述的一种基于区块链的多云环境数据存储方法，其特征在于：针对异步组并行化执行过程中的步骤三，操作方法如下：当全局验证池不为空时，异步组在执行共识前先从验证池中选取当前最旧区间中验证次数最少的两个区块进行验证，并将验证结果加入到全局验证链中，保证验证结果可追溯。

10.根据权利要求7所述的一种基于区块链的多云环境数据存储方法，其特征在于：针对异步组并行化执行过程中的步骤四、五，操作方法如下：组内节点执行基于存储分配的共识算法，运算出待存储数据的最优存储方案，并完成出块操作，对新生成的区块按照生成时间确定区块区间，同时将区块发送到全局验证池中，等待其他组的验证。