CN107360156B - 一种大数据环境下基于区块链的p2p网络云端存储方法 - Google Patents

Abstract

本发明涉及一种大数据环境下基于区块链的P2P网络云端存储方法，把数据进行分块、加密和按序编号，并上传到整个P2P网络中拥有空闲存储空间的计算机中，以区块链作为交易机制，把加密的文件块随机地存储在需要存储空间的用户周围的计算机中，最后，在网络中使用梅克尔哈希树对所有的交易信息进行完整性验证和检测是否被篡改，其特征在于：把加密的文件块随机地存储在需要存储空间的用户周围的计算机中的同时，把存储的文件块的相关信息而不是文件块本身存储在区块链中。

Description

一种大数据环境下基于区块链的P2P网络云端存储方法

技术领域

本发明涉及安全云存储技术领域，特别是一种大数据环境下基于区块链的P2P网络云端存储方法。

背景技术

大数据的概念：大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有5V特点(IBM提出)，分别是Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

云存储：图1是传统云存储架构图，云存储是一种网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，由云存储服务提供商提供软硬件基础设施，将网络中大量各种不同类型的存储设备通过应用软件结合起来协调工作，共同对外提供数据存储和业务访问功能的一个系统。简单来说，云存储就是将云存储资源放在云上为人们提供云存储服务的方案，使用者可以在任何时间、任何地点，通过任何可连接的网络方便地存取数据。

数据分块：在大数据环境下，由于数据文件比较大，传输延时也很大，而且一旦在网络中发生传输错误，将导致文件重新发送，不利于网络数据传输；因此，要对数据文件进行按序分块，即使发送出错，也能根据序号选择数据块重新发送和进行数据拼接。

现有技术所面临的问题：

非分块的大数据云存储方法所带来的传输时延大、网络拥塞。

传统的云存储安全性能低下，存储集中化，一旦被攻破，将会损失所有的云存储数据。

发明内容

为了解决上述问题，本发明通过下述技术方案实现：

一种大数据环境下基于区块链的P2P网络云端存储方法，把数据进行分块、加密和按序编号，并上传到整个P2P网络中拥有空闲存储空间的计算机中，以区块链作为交易机制，把加密的文件块随机地存储在需要存储空间的用户周围的计算机中，最后，在网络中使用梅克尔哈希树对所有的交易信息进行完整性验证和检测是否被篡改，把加密的文件块随机地存储在需要存储空间的用户周围的计算机中的同时，把存储的文件块的相关信息而不是文件块本身存储在区块链中。

在P2P网络中，拥有空闲存储空间的计算机可以把自己本地磁盘划分出固定大小的部分租赁给需要存储空间的用户。

所述文件块的相关信息包括统一资源定位符(URL)、文件哈希、用户信息。

具体的，先在本地计算机将文件进行分块和使用数字签名的私钥进行加密，然后在区块链中注册并发布自己的经过公钥加密的信息，同时找到地理位置附近的在区块链中发布空闲存储空间的用户信息，进行存储服务交易，接着把文件块随机地存储在这些附近的计算机中，等到需要取回存储文件时，直接追溯区块链中的交易数据，使用对应的私钥解密只属于用户自己的交易信息，从而获得用户自己的文件块的存储位置，再把文件块下载并用私钥解密，拼接成完整的文件。

本发明的有益效果是：

提出了在云存储通过使用区块链作为存储服务交易机制从而保障了数据存储安全、交易安全和用户信息安全的方法。

提出了使用数字签名保证了交易信息和用户信息在网络传输过程中的安全，防止被篡改。

提出了在网络中使用梅克尔哈希树对所有的交易数据进行完整性验证和检测是否被篡改。

附图说明

图1是传统云存储架构图；

图2是区块链结构图；

图3是P2P网络结构图；

图4是数字签名流程图；

图5是梅克尔哈希树结构图；

图6是本发明使用的存储架构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明的目的是提供一种大数据环境下基于区块链的P2P网络云端存储方法，即通过使用区块链作为交易机制，把数据进行分块加密并随机存储到整个P2P网络中提供固定大小的空闲空间的计算机中，同时在网络中通过使用梅克尔哈希树对所有的交易信息进行完整性验证，极大地保证了数据在云存储中的安全。

区块链：区块链(Blockchain)是一个只能添加的分布式数据库，它存储了按时间排序的、被所有用户广泛接受的所有交易。区块链是比特币背后的一个底层技术，它在比特币获得成功后就进入了人们的视线，它去中心化、公开透明、开放共识、安全可靠等特点，为信息安全领域提供了很大的帮助。如图2所示是区块链结构图，区块链的区块头存储了交易双方和交易本身的一些重要信息，而区块体则保存具体的交易数据，每一个用户都保存了区块链完整的信息，但只能查看属于自己的信息。

P2P网络：P2P(peer-to-peer)网络，即对等计算机网络，是一种在对等主机(peer)之间分配任务和工作负载的分布式应用架构，是对等计算模型在应用层形成的一种网络组织形式。如图3所示，在P2P网络环境中，彼此链接的多台计算机之间都处于对等的地位，各台计算机有相同的功能，无主从之分，一台计算机既可以作为服务器，设定共享资源提供给网络中其他计算机所使用，又可以作为工作站，处理一定的工作，整个网络一般来说不依赖专用的集中服务器，也没有专用的工作站。网络中的每一台计算机既能充当服务器，也能充当客户端。

数字签名(Digital Signature)：数字签名(又称公钥数字签名、电子签章)是一种类似写在纸上的普通的物理签名，但是使用了公钥加密领域的技术实现，用于鉴别数字信息的方法。一套数字签名通常定义两种互补的运算，一个用于签名(私钥)，另一个用于验证(公钥)。简单来说，如图4所示，数字签名就是只有信息发送者才能产生的别人无法伪造的一段数字串，这段数字串同时也是对信息的发送者发送真实性的一个有效证明。

梅克尔哈希树(Merkle Hash Tree)：梅克尔哈希树是由基于单向加密哈希算法(如SHA256)计算结果构成的树型数据结构。如图5所示，在梅克尔哈希树里，所有的交易信息存储在叶子结点中，并通过哈希算法SHA256计算得到相对应的哈希值，然后把得到的哈希数值存储到它们的父节点，直到最后只剩下一个根节点，由于SHA256具有不可逆性，只要根节点的交易信息稍微有一点点变动，根节点的哈希值都将会变得千差万别，所以梅克尔哈希树既能保证数据不被篡改，又能验证数据的完整性。

一种大数据环境下基于区块链的P2P网络云端存储方法，具体思路是：由于云存储服务商提供和维护云存储基础设施的费用是非常巨大的，那么可以利用P2P网络里面的资源共享机制，让网络中所有拥有空闲存储空间的计算机划分固定的硬盘空间租赁给有需要存储空间的用户，同时使用区块链作为存储服务的交易机制，把所有文件块的存储位置以及交易本身等重要信息而不是文件本身存储在区块链中，接着把文件随机地存储在附近的提供存储空间的用户计算机中，并在整个P2P网络中使用梅克尔哈希树对所有文件和交易信息进行完整性验证和检测是否被篡改。这样不仅省去了布置和维护云存储基础设施的费用，还保证了数据存储的安全。

具体方法按照以下4个步骤实施：

1)文件分块、加密并上传到P2P网络：考虑到网络的性能以及数据的安全，用户的文件在上传到P2P网络之前需要进行分块和加密。实际上，由于网络协议的限制以及便于传输数据包，云存储中会把文件划分为大小相同的块(一般是32MB，不满32MB的文件块使用二进制0补全)，同时为了数据的安全，所有数据块在上传到P2P网络之前都要进行加密。在P2P网络中，拥有空闲存储空间的计算机可以把自己本地磁盘划分出固定大小的部分租赁给需要存储空间的用户，并把交易信息记录下来。

2)使用区块链作为交易机制：比特币的成功已经证明了在金融领域中可以使用区块链作为去中心化网络和公共账本，进行可信的、可审计的交易计算。与比特币不同的是，我们的存储方法存储的不是严格意义上的金融交易，我们在区块链中存储的是文件数据存储的统一资源定位符(URL)、文件哈希值、用户信息等重要交易信息，而不是文件本身，这样不仅保护了文件本身的安全，也节省了大量的存储空间。由区块链的安全条件可知，除非整个P2P网络中有一半以上的计算能力用于作弊，否则就不可能篡改区块链中的交易信息，因为区块链中区块的增长速度与计算能力有关，并且所有用户只认可长度最长的那一条区块链。即使网络攻击者拥有一半以上的计算能力，他也只能篡改文件存储位置或者用户信息等，对文件本身没有任何影响，也只能制造局部混乱。因此，用区块链作为交易机制能极大地保证云存储文件的安全。

3)文件块存储策略：由于我们将文件存储在整个去中心化网络里面，且区块链中只保留文件块的存储位置和文件哈希等信息，为了最大限度地保证文件的安全，我们将把文件块随机地存储在需要存储空间的用户周围有空闲存储空间的节点中，这样就算攻击者能成功地从区块链中获取到用户文件的存储地址，那么他所能获取的也只是一个32MB大小的文件块，而且几乎不可能获取整个文件。当用户需要取回自己的文件时，追溯区块链中的交易信息，使用自己的私钥解密属于自己的交易信息，根据得到的信息，下载并使用对应的私钥解密文件块，然后拼接成完整的文件。

4)在网络中对交易信息的验证：当我们把大数据文件进行分块、加密并上传到整个P2P网络中，并使用区块链作为我们的交易机制，接着我们将使用梅克尔哈希树在整个网络中保证我们的数据不被篡改和验证它的完整性。在本发明中所使用的梅克尔哈希树中，采用的哈希算法是SHA256算法，该哈希算法具有伪随机性和不可逆性。伪随机性是指输入稍微有一点偏差，它的结果将会变得千差万别，这样就保证了所有存储在叶子结点中的交易信息不被篡改。不可逆性是指该哈希算法计算过程中，任何的输入都会产生一个256位的哈希值，以现在计算机的计算能力是不可能通过枚举的方法(暴力破解)把结果逆运算为输入数据，因此，这样也保证了交易数据的安全和完整性。只要交易数据被篡改或缺失了，我们都可以在梅克尔哈希树的根节点中得知，若发现梅克尔哈希树的根节点哈希值不正确，那么所有用户都将不会承认该交易数据。

图6是本发明使用的存储架构图，如图6所示的云存储架构中，用户需要将大量的数据存储到云端，先在本地计算机将文件进行分块和使用数字签名的私钥进行加密，然后在区块链中注册并发布自己的经过公钥加密的信息，同时找到地理位置附近的在区块链中发布空闲存储空间的用户信息，进行存储服务交易。接着把文件块随机地存储在这些附近的计算机中，等到需要取回存储文件时，直接追溯区块链中的交易数据，使用对应的私钥解密只属于用户自己的交易信息，从而获得用户自己的文件块的存储位置，再把文件块下载并用私钥解密，拼接成完整的文件，整个过程私钥一直都只在用户手里，保证了文件的安全。然后在整个网络中，使用梅克尔哈希树对所有的用户交易数据进行检测，保证其完整性和没有被篡改。

大数据环境下的P2P网络云存储技术，通过把大数据文件进行分块和按序编号，并使用区块链作为存储服务的交易机制，存储云存储服务交易中的关键信息，把文件块随机地存储在整个P2P网络中，使用梅克尔哈希树进行完整性验证和检测是否被篡改，从而在很大程度上保证了数据存储的安全性。同时，这种方法还能节省云存储服务所需要的基础设施的费用。在本发明中提出了一种大数据在P2P网络中云存储的方法，通过使用区块链作为交易机制保证交易的安全，同时使用数字签名保证交易数据和文件数据在网络中传输的安全，并且使用梅克尔哈希树保证数据不被篡改和检测数据的完整性，极大地提高了大数据在云存储中的安全性能和降低了大数据在云存储中的基础设施开销。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种大数据环境下基于区块链的P2P 网络云端存储方法，把数据进行分块、加密和按序编号，并上传到整个P2P 网络中拥有空闲存储空间的计算机中，以区块链作为交易机制，把加密的文件块随机地存储在需要存储空间的用户周围的计算机中，最后，在网络中使用梅克尔哈希树对所有的交易信息进行完整性验证和检测是否被篡改，其特征在于：

把加密的文件块随机地存储在需要存储空间的用户周围的计算机中的同时，把存储的文件块的相关信息而不是文件块本身存储在区块链中；

先在本地计算机将文件进行分块和使用数字签名的私钥进行加密，然后在区块链中注册并发布自己的经过公钥加密的信息，同时找到地理位置附近的在区块链中发布空闲存储空间的用户信息，进行存储服务交易，接着把文件块随机地存储在这些附近的计算机中，等到需要取回存储文件时，直接追溯区块链中的交易数据，使用对应的私钥解密只属于用户自己的交易信息，从而获得用户自己的文件块的存储位置，再把文件块下载并用私钥解密，拼接成完整的文件。

2.根据权利要求1所述的方法，其特征在于，在P2P 网络中，拥有空闲存储空间的计算机可以把自己本地磁盘划分出固定大小的部分租赁给需要存储空间的用户。

3.根据权利要求1所述的方法，其特征在于，其特征在于，所述的文件块的相关信息包括统一资源定位符（URL）、文件哈希、用户信息。