CN110661822A - 一种去中心的分布式数据存储方法及其装置 - Google Patents

Abstract

本发明公开了一种去中心的分布式数据存储方法及其装置，通过在区块链上创立账户并保存私钥，填写上传资源的描述信息，将准备上传的资源附加为区块链交易的附件，通过处理保留下来的该笔区块链交易并将该笔交易置入区块，完成资源的上传；启动处于所述区块链的节点，节点获取本地文件分布表，根据文件分布表探测区块链网络，将网络上稀缺性高于本地的数据资源同步至本地文件仓库，每天重复以上步骤同步资源，完成节点资源同步；需要下载资源的账户通过查找网络当中的数据资源，选择需要的数据资源进行下载，解决了去中心环境中数据无限、可靠存储的问题。

Description

一种去中心的分布式数据存储方法及其装置

技术领域

本发明涉及区块链数据存储技术领域，特别是一种去中心的分布式数据存储方法及其装置。

背景技术

在这信息化的时代，数据无处不在，它几乎成了我们现代生活、工作的基础，但信息发达的同时，与其一起相伴生一些负面事件也层出不穷，例如职业贩卖用户隐私数据的不良服务商、专门盗取各大信息平台用户数据的黑客团伙等等不一而足。在面对如此数据危机的情况下，世面上也有不少的提供保护数据安全保护的方案，比如加密存储，和托管存储；在加密存储的方案中，由于数据的不被泄漏依赖于私钥的不被泄漏，而私钥来源于服务商，服务商提供私钥服务的过程严格做到私钥不泄漏又是一个新的数据安全问题；在数据托管存储方案中，数据的安全性依赖于托管方的技术实力和道德品质，而屡屡发生的数据托管平台数据泄漏事件更是让人们逐步降低对托管方技术实力的信任，而时有发生的托管方监守自盗的问题更是让人们的担忧雪上加霜。尽管各种数据泄漏事件不断，但人们依然还是继续在使用这些服务，背后的原因主要是个人无法提供这么大容量的存储能力，以及个人无法维护一个能随时随地提供服务的数据服务设备。那么如何提供一种不需要个人维护、又不需要第三方托管、还能提供很大规模存储能力的存储方案成为一个急需解决的问题。

发明内容

本发明旨在提出一种去中心的分布式数据存储方法及其装置，实现了数据在网络中分散存储的作用，稀缺性定价设计实现了最大限度的保证任何分散资源在网络中都有节点存储的作用，解决了去中心环境中数据无限、可靠存储的问题。

1、一种去中心的分布式数据存储方法，包括资源数据闲置设备和资源数据消费设备，所述方法包括：

S1、数据资源上传：

1.1所述资源数据闲置设备在区块链上创立账户并保存私钥；

1.2所述资源数据闲置设备选择本地资源，填写上传资源的描述信息，并将所述资源的描述信息转为区块链交易；

1.3将准备上传的资源附加为区块链交易的附件，使用所述资源数据闲置设备的账户私钥对附件进行加密，加密完成后将附有准备上传资源的交易提交至区块链网络上；

1.4处于所述区块链上的各个节点检查所述区块链交易产生的手续费和所述区块链交易携带的资源的稀缺性，设定所述区块链交易产生的手续费与所述区块链交易携带的资源的稀缺性的比率为Q；

1.5所述节点验证Q是否满足节点收集资源的要求，如果满足则保留本笔交易，如果不满足则丢弃本笔交易，继续等待并处理节点接收到的其他交易；

1.6所述节点处理保留下来的该笔区块链交易并将该笔交易置入区块，完成资源的上传；

S2、节点维护数据资源

2.1启动处于所述区块链的节点，节点获取本地文件分布表；

2.2所述节点根据文件分布表探测区块链网络，依照探测结果将已经无法访问的分布地址进行删除，对可以进行访问的本地文件的稀缺性进行重新排序，并将网络上的文件稀缺性列表进行对比；

2.3所述节点将网络上稀缺性高于本地的数据资源同步至本地文件仓库；

2.4所述节点判断本地文件仓库是否已满，当文件仓库已满时清理稀缺性最低的资源并填充稀缺性高的资源，直到本地文件仓库空间已满；

2.5每天重复以上步骤同步资源，完成节点资源同步；

S3、下载资源

3.1所述资源数据消费设备创建账户，通过查找网络当中的数据资源，选择需要的数据资源进行下载；

3.2先从本地文件仓库查找是否有所需要下载的数据资源，如果有则进行下载，如果没有则转入3.3；

3.3查询数据资源的分布表，如果没有所述数据资源的分布表则启动网络同步，如果网络已经同步至最新，则表示网络没有该文件；

3.4当从所述文件分布表中找到了该数据资源，节点访问文件分配表中指定的地址并根据资源稀缺性的计算给出定价；

3.5所述节点通过检验本次请求提供的手续费是否足额，如果不足额则拒绝提供所述数据资源，若足额则转入3.6；

3.6所述节点返回所请求的数据资源，依次从所述指定地址将资源碎片下载，当所述碎片完成下载时，在本地拼凑还原文件，将文件的最终原始模样展示给用户。

进一步的，所述上传资源的描述信息包括上传资源的名称或简介或大小或类型或长度。

进一步的，从所述指定地址将资源碎片下载包括：

所述资源碎片可以一次性完成下载；

当有部分碎片无法完成下载时，重新选择其它地址进行下载，直到全部资源碎片下载成功为止；

当重新使用其它所述地址均无法完成碎片的下载时，则表示资源下载失败。

进一步的，所述节点处理保留下来的该笔区块链交易包括：

节点将交易中的附件剥离出来，将附件存储到文件仓库中，节点判断文件仓库剩余空间是否足够，如果剩余空间不足时，将稀缺性最低的资源进行删除；如果剩余空间充足时，直接存放

一种去中心的分布式数据存储装置，所述分布式数据存储装置包括：

资源整合器：用于管理所述区块链网络中的资源；

激励促进器：用于保证所述区块链网络中的任何副本在任何时候都有节点在提供存储服务；

交易管理器：用于处理所述区块链交易；

区块锻造器：用于将所述区块链交易置入区块；

当所述资源数据闲置设备在上传数据资源或所述资源数据消费设备在下载数据资源以及节点维护资源过程当中，通过所述激励促进器创建账户，将所需要上传的资源通过所述资源整合器整合数据资源并通过区块链交易方式进行上传和下载，通过所述交易管理器处理包括所述数据资源的区块链交易，通过所述区块锻造器将交易置入区块。

进一步的，所述资源整合器包括：

资源管理模块：用于管理网络上所拥有的资源，包括资源的名称、简介、大小、上传者；

资源分布模块：用于将节点所拥有的资源分散到网络中进行存储，并在本地维护一个网络资源分部列表，用于记录网络上每一个文件的分布情况，以及自己本地资源在网络中的分布副本情况；

资源同步模块：用于将网络中的稀缺资源下载到自己本地，并将稀缺资源发送到网络上。

进一步的，所述激励促进器包括：

账户管理模块：用于管理资源的上传与消费者，并包括上传与消费者的资产账户信息；

资源定价模块：用于为资源自动定价，通过稀缺性算法计算提供资源所付出的相对成本，越稀缺的资源定价越高；

资源消费模块：用于将网络中的资源下载到本地，所述下载过程中资源数据消费设备需要消耗账户资产。

相比现有的技术方案，本发明具有以下有益效果：

本发明基于区块链，充分利用社会闲散存储设备，将需要存储的数据分散存储到不同的设备上，使用区块链将各种存储设备有效组织起来，并引入特定的算法和激励机制为用户提供稳定的、大容量的存储服务；

实现了数据在网络中分散存储的作用，稀缺性定价设计实现了最大限度的保证任何分散资源在网络中都有节点存储的作用，解决了去中心环境中数据无限、可靠存储的问题。

附图说明

图1是本发明方案分布式数据存储方法流程示意图；

图2是本发明方案当中数据资源上传的流程示意图；

图3是本发明方案当中节点维护数据资源的流程示意图；

图4是本发明方案当中下载资源的流程示意图；

图5是本发明方案当中Q的计算公式。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详述。在此需要说明的是，下面所描述的本发明各个实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

本技术方案涉及一种去中心的分布式数据存储方法及其装置，包括资源数据闲置设备和资源数据消费设备，方法及其装置具体包括：

S1、数据资源上传：

1.1通过激励促进器当中的账户管理模块在区块链上创建一个账户，保留私钥；

1.2通过资源整合器当中的资源管理模块选择本地一个资源进行上传；

1.3通过资源整合器当中的资源管理模块填写所要上传资源的描述信息，包括名称、简介、大小、类型、长度；

1.4通过资源整合器当中的资源管理模块将上传资源的描述信息转为区块链交易；

1.5通过资源整合器当中的资源管理模块将准备上传的数据资源附加为区块链交易的附件；

1.6当上传的数据资源为私有文件时需要通过资源整合器当中的资源管理模块：使用账户私钥对附件进行加密；

1.7通过交易管理器将交易提交到区块链网络上；

1.8节点通过交易管理器检查本笔交易的手续费；

1.9节点通过资源整合器检查本笔交易携带的资源的稀缺性，当资源的稀缺性与手续费的比率Q满足节点收集资源的要求时，留下本笔交易，当节点认为资源的稀缺性与手续费的比率Q不满足节点收集资源的要求时，丢弃本笔交易，继续等待并处理节点接收到的其他交易；

1.10当节点留下交易后，通过交易管理器开始解析本笔交易，具体是将交易中的附件剥离出来，然后节点将附件存储到文件仓库中；

1.11这时，节点通过资源整合器判断文件仓库剩余空间是否足够，如果剩余空间不足时，节点将稀缺性最低的数据资源进行删除，如果剩余空间充足时，直接存放数据资源；

1.12当节点通过交易管理器处理完该笔区块链交易后通过区块锻造器将交易打入区块，完成资源的上传。

S2、节点维护资源：

2.1节点完成启动；

2.2节点通过资源整合器当中的资源分布模块获取本地文件分布表，根据文件分布表探测网络；

2.3节点通过资源整合器将已经无法访问的分布地址进行删除；

2.4节点通过资源整合器重新对本地文件的稀缺性进行排序；

2.5节点通过资源整合器将网络上的文件稀缺性列表进行对比；

2.6节点通过资源整合器将网络上稀缺性高于本地的资源同步到本地数据库当中；

2.7节点通过资源整合器判断本地文件仓库是否已满，当文件仓库已满时清理稀缺性最低的资源，以此类推，填充稀缺性高的资源，直到本地空间已满；

2.8节点每天重复以上步骤进行同步资源。

S3、下载资源

3.1数据资源消费设备通过激励促进器的账户管理模块创建属于自己的区块链账户；

3.2设备通过资源整合器查找网络中的资源，选中所要下载的数据资源进行下载；

3.3设备在下载该数据资源前通过资源整合器先从本地文件仓库查找是否存在该文件，如果本地仓库有该文件时直接从本地提取，如果本地仓库没有时需要从网络获取；

3.4这时，节点通过资源整合器查询该文件的分布表，如果没有该文件的分布表则通过资源整合器当中的资源同步模块启动网络同步；

3.5当启动网络同步后。区块链网络已经达到最新状态依旧没有查询到该文件的分布表，则表示网络没有该文件；

3.6当该文件分布表中找到了该文件后，节点通过资源整合器访问文件分配表中指定的地址：

3.7该地址节点通过激励促进器当中的资源定价模块计算资源稀缺性并给出定价；

3.8节点通过激励促进器当中的资源定价模块判断本次资源下载请求所提供的手续费是否足额，如果手续费不足时拒绝提供资源，如果手续费充足时节点返回所请求的资源；

3.9在下载过程中节点通过激励促进器当中的资源消费模块依次从文件分配表中的地址将资源碎片下载下来，当有部分碎片无法完成下载时，重新选择其它地址进行下载，直到成功为止，当重新使用其它所有地址都无法完成碎片的下载时，则资源下载失败；

3.10当所有碎片都完成下载时，节点通过激励促进器当中的资源消费模块在本地拼凑还原文件，并将文件的最终原始模样展示给数据资源消费设备；

3.11重复以上步骤进行下载更多资源；

3.12完成资源的下载。

这里下载不同于同步时的下载，同步时下载的可能只是一个资源的部分碎片，这里下载的是从网络中各个节点下载各个碎片后拼凑出资源原始完整的模样，这个下载过程中资源消费者需要消耗一定的账户资产。

本发明解决上述问题的核心思路是，充分利用社会闲散存储设备，将需要存储的数据分散存储到不同的设备上，使用区块链将各种存储设备有效组织起来，并引入特定的算法和激励机制为用户提供稳定的、大容量的存储服务。

以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故但凡依本发明的权利要求和说明书所做的变化或修饰，皆应属于本发明专利涵盖的范围之内。

Claims (7)

1.一种去中心的分布式数据存储方法，包括资源数据闲置设备和资源数据消费设备，其特征在于，所述方法包括：

S1、数据资源上传：

1.1所述资源数据闲置设备在区块链上创立账户并保存私钥；

1.2所述资源数据闲置设备选择本地资源，填写上传资源的描述信息，并将所述资源的描述信息转为区块链交易；

1.3将准备上传的资源附加为区块链交易的附件，使用所述资源数据闲置设备的账户私钥对附件进行加密，加密完成后将附有准备上传资源的交易提交至区块链网络上；

1.4处于所述区块链上的各个节点检查所述区块链交易产生的手续费和所述区块链交易携带的资源的稀缺性，设定所述区块链交易产生的手续费与所述区块链交易携带的资源的稀缺性的比率为Q；根据图4,Q是所述区块链交易携带的资源的稀缺性和区块链交易产生的手续费的比率；

1.5所述节点验证Q是否满足节点收集资源的要求，如果满足则保留本笔交易，如果不满足则丢弃本笔交易，继续等待并处理节点接收到的其他交易；

1.6所述节点处理保留下来的该笔区块链交易并将该笔交易置入区块，完成资源的上传；

S2、节点维护数据资源

2.1启动处于所述区块链的节点，节点获取本地文件分布表；

2.2所述节点根据文件分布表探测区块链网络，依照探测结果将已经无法访问的分布地址进行删除，对可以进行访问的本地文件的稀缺性进行重新排序，并将网络上的文件稀缺性列表进行对比；

2.3所述节点将网络上稀缺性高于本地的数据资源同步至本地文件仓库；

2.4所述节点判断本地文件仓库是否已满，当文件仓库已满时清理稀缺性最低的资源并填充稀缺性高的资源，直到本地文件仓库空间已满；

2.5每天重复以上步骤同步资源，完成节点资源同步；

S3、下载资源

3.1所述资源数据消费设备创建账户，通过查找网络当中的数据资源，选择需要的数据资源进行下载；

3.2先从本地文件仓库查找是否有所需要下载的数据资源，如果有则进行下载，如果没有则转入3.3；

3.3查询数据资源的分布表，如果没有所述数据资源的分布表则启动网络同步，如果网络已经同步至最新，则表示网络没有该文件；

3.4当从所述文件分布表中找到了该数据资源，节点访问文件分配表中指定的地址并根据资源稀缺性的计算给出定价；

3.5所述节点通过检验本次请求提供的手续费是否足额，如果不足额则拒绝提供所述数据资源，若足额则转入3.6；

3.6所述节点返回所请求的数据资源，依次从所述指定地址将资源碎片下载，当所述碎片完成下载时，在本地拼凑还原文件，将文件的最终原始模样展示给用户。

2.根据权利要求1所述的去中心的分布式数据存储方法，其特征在于，所述上传资源的描述信息包括上传资源的名称或简介或大小或类型或长度。

3.根据权利要求1所述的去中心的分布式数据存储方法，其特征在于，从所述指定地址将资源碎片下载包括：

所述资源碎片可以一次性完成下载；

当有部分碎片无法完成下载时，重新选择其它地址进行下载，直到全部资源碎片下载成功为止；

当重新使用其它所述地址均无法完成碎片的下载时，则表示资源下载失败。

4.根据权利要求1所述的去中心的分布式数据存储方法，其特征在于，所述节点处理保留下来的该笔区块链交易包括：

节点将交易中的附件剥离出来，将附件存储到文件仓库中，节点判断文件仓库剩余空间是否足够，如果剩余空间不足时，将稀缺性最低的资源进行删除；如果剩余空间充足时，直接存放。

5.一种去中心的分布式数据存储装置，其特征在于，所述分布式数据存储装置包括：

资源整合器：用于管理所述区块链网络中的资源；

激励促进器：用于保证所述区块链网络中的任何副本在任何时候都有节点在提供存储服务；

交易管理器：用于处理所述区块链交易；

区块锻造器：用于将所述区块链交易置入区块；

当所述资源数据闲置设备在上传数据资源或所述资源数据消费设备在下载数据资源以及节点维护资源过程当中，通过所述激励促进器创建账户，将所需要上传的资源通过所述资源整合器整合数据资源并通过区块链交易方式进行上传和下载，通过所述交易管理器处理包括所述数据资源的区块链交易，通过所述区块锻造器将交易置入区块。

6.根据权利要求4所述的去中心的分布式数据存储装置，其特征在于，所述资源整合器包括：

资源管理模块：用于管理网络上所拥有的资源，包括资源的名称、简介、大小、上传者；

资源分布模块：用于将节点所拥有的资源分散到网络中进行存储，并在本地维护一个网络资源分部列表，用于记录网络上每一个文件的分布情况，以及自己本地资源在网络中的分布副本情况；

资源同步模块：用于将网络中的稀缺资源下载到自己本地，并将稀缺资源发送到网络上。

7.根据权利要求4所述的去中心的分布式数据存储装置，其特征在于，所述激励促进器包括：

账户管理模块：用于管理资源的上传与消费者，并包括上传与消费者的资产账户信息；

资源定价模块：用于为资源自动定价，通过稀缺性算法计算提供资源所付出的相对成本，越稀缺的资源定价越高；

资源消费模块：用于将网络中的资源下载到本地，所述下载过程中资源数据消费设备需要消耗账户资产。

Images