CN115292243A - 一种基于区块链的非准入分布式文件存储系统及存储方法 - Google Patents

Abstract

本发明公开了一种基于区块链的非准入分布式文件存储系统及存储方法，每个扇区中包含有多个容量证明副本，所有的容量证明副本在扇区注册时一次性生成，且扇区在注册时已经对生成的容量证明副本进行了验证，可以避免额外的验证负担，有效提高了验证效率；同时每个扇区在注册时都会质押一定押金，扇区损坏时押金被没收，当客户文件丢失时通过没收的押金对客户文件损失进行补偿，而且只需很小的押金率即可覆盖所有丢失文件的赔偿；本发明每个文件存储在系统中的多个扇区中，当且仅当所有存储某一文件的扇区全部损坏时，才认为该文件已丢失，利用多个扇区存储文件的多个副本，保证了文件存储的鲁棒性，实现了可证明的可靠性。

Description

一种基于区块链的非准入分布式文件存储系统及存储方法

技术领域

本发明涉及信息科学技术领域，特别是涉及一种基于区块链的非 准入分布式文件存储系统及存储方法。

背景技术

文件存储问题是分布式系统中的一个基本问题，近期，互联网3.0、 数字藏品以及元宇宙等基于区块链系统的技术快速发展，对非准入设 定下的分布式文件存储系统的可靠性和可访问性提出很高的要求，例 如，数字藏品的原数据在数字藏品市场中必须是可验证和可访问的， 因为如果一旦数字藏品的元数据丢失，那么该数字藏品的价值就会随 之消失。

传统方法中，将文件存储在本地或云存储服务器中，但是本地存 储难以保证文件的安全和可访问性；云存储缺乏透明度且不受信任， 用户很难知道应该存储多少文件，而且也存在文件丢失。因此出现很 多将文件存储在基于区块链的去中心化存储网络中，例如Filecoin、Sia、Arweave等。在去中心化存储网络中，存储提供者通过提供他们 的硬盘给客户存储文件以此来赚取佣金，所有文件的存储、丢弃和存 储状态的更改都会被记录在区块链中。

以Filecoin为例，Filecoin是一个在星际文件系统(IPFS)的顶层 构建的基于区块链的去中心化存储网络(DSN)。Filecoin的参与者分 为三种类型，分别是客户端、存储矿工和检索矿工。具体来说，客户 付费存储和检索文件，存储矿工通过注册扇区提供文件存储空间来赚 取利润，检索矿工则通过向客户提供数据来赚取利润。

星际文件系统(IPFS)是一种连接所有计算设备的点对点分布式 文件系统。通过抗碰撞哈希索引的文件由IPFS中的节点存储和交换。 为了在节点之间定位数据，IPFS使用分布式哈希表(DHT)实现路由 服务，允许参与者通过IPFS路径寻址文件。另外，存储节点还可以通 过BitSwap协议提供文件检索服务以赚取利润。

在Filecoin中，数据的存储单位是扇区。扇区分为密封扇区和未 密封扇区。只有密封扇区被算作Filecoin网络的一部分，可以获得存 储奖励；而未密封扇区仅包含原始数据，并且可以通过PoRep将未密 封扇区注册为密封扇区。存储矿工在注册扇区时需要质押一定押金， 但是当扇区崩溃时，注册该扇区的押金将被烧毁，而不是用于补偿客 户的损失。

在注册一个未密封扇区时，如果该扇区未满，则该扇区的剩余空 间将在PoRep编码之前用零填充。如果一个密封的扇区不包含任何文 件，即该扇区的内容在注册时为零，则称其为诺容量承诺(CC)扇区， 而其他密封扇区称为常规扇区。通过丢弃CC扇区并注册一个新的常 规扇区，可以将CC扇区升级为常规扇区。常规扇区的内容是不能修 改的。

在Filecoin中采用复制证明(PoRep)作为存储证明方案，在PoRep方案中证明者首先通过名为PoRep.setup(D,ek)}的过程生成文件D$的 副本

其中ek是一个随机选择的加密密钥使得D可以通过ek编 码生成

并且D可以从

中直接恢复出来。然后，证明者将

的哈希根提交给基于区块链的去中心化存储网络。证明者最后通过 SNARK给出

是D的密钥为ek的副本的证明。SNARK的验证非常 高效。但是，

的计算会花费很多时间由于其计算方法不能并行化。 此外，SNARK的计算也会消耗大量的计算资源。

综上所述可以看出，对于Filecoin、Arweave以及其他非准入设定 下的基于区块链去的去中心化存储网络，通常存在着以下问题：

(1)文件存储验证复杂，计算量大：通过

作为存储验证证明， 其计算会花费很多时间，存储验证速率慢；

(2)无法证明存储的可靠性：在非准入设定下，文件有被丢失的 风险；但是这些文件丢失的风险无法在理论上得到证明，即缺少可证 明的可靠性；

(3)没有考虑到文件存储的经济学安全：在已有的协议中，当文 件丢失时，文件的所有者只能独自承担文件丢失的损失，而无法得到 相应赔偿，因此已有的工作在安全性上还需进一步改进。

发明内容

本发明的目的是提供一种基于区块链的非准入分布式文件存储 系统及存储方法，以解决现有的文件存储验证复杂、计算量大且无法 证明文件存储的可靠性的问题。

为解决上述技术问题，本发明提供一种基于区块链的非准入分布 式文件存储系统，包括：

多个扇区：每个扇区采用多个容量证明副本来表征扇区剩余容量；

其中，每个容量证明副本具有不同加密密钥，每个扇区在存储目 标文件时，根据所述目标文件的大小确定容量证明副本的丢弃个数， 将所述目标文件存储到丢弃的容量证明副本所表征的位置处，并利用 扇区剩余的容量证明副本生成所述目标文件的存储证明；

当某一扇区中的目标文件删除或转移后，根据表征删除或转移的 目标文件在该扇区对应位置处的容量证明副本的加密密钥，恢复表征 删除或转移的目标文件在该扇区对应位置处的容量证明副本。

优选地，该非准入分布式文件存储系统还包括：

挂起列表：用于按照设定检查周期检查所述目标文件是否被正常 存储；

文件分配表：用于记录所述目标文件的存储位置，当所述目标文 件在所述非准入分布式文件存储系统中成功存储、被丢弃或存储位置 被转移时，更新所述文件分配表。

优选地，所述容量证明副本通过PoRep方法生成。

优选地，所述扇区的押金率根据所述非准入分布式文件存储系统 存储的目标文件总价值确定：

式中，γ_deposit为押金率，即所有扇区押金之和所述非准入分布式 文件存储系统设定的最大承载文件总价值之比，λ为对手能力，即所有 恶意存储提供者的存储空间与所述非准入分布式文件存储系统总容量 之比，c为预设安全参数，k为所述非准入分布式文件存储系统中设定 存储最低价值文件的副本数量，N_s为加权的扇区数量，capPara为所述 非准入分布式文件存储系统设定的最大加权文件数量与加权的扇区数 量的比值。

优选地，所述非准入分布式文件存储系统中损坏的目标文件价值 与所有的文件价值的比例的计算为：

式中，

表示丢失文件价值与系统所有文件价值的比例，λ为对 手能力，即所有恶意存储提供者的存储空间与所述非准入分布式文件 存储系统总容量之比，c表示预设安全参数，k为所述非准入分布式文 件存储系统中设定存储最低价值文件的副本数量，

为所述非准入分 布式文件存储系统中的存储文件总价值与其设定的最大承载文件总价值的比率，N_s为加权的扇区数量，capPara为所述非准入分布式文件存 储系统设定的最大加权文件数量与加权的扇区数量的比值。

本发明还提供一种如上所述的基于区块链的非准入分布式文件 存储系统的文件存储方法，包括：

所述非准入分布式文件存储系统接收到客户存储目标文件的申 请，确定存储所述目标文件的多个目标扇区；

在每个目标扇区中，根据目标文件的大小确定容量证明副本的丢 弃个数，将目标文件存储到该扇区丢弃的容量证明副本所表征位置处；

根据所述每个目标扇区中剩余的容量证明副本生成所述目标文 件的存储证明，完成所述目标文件存储。

优选地，该方法还包括：

当某一扇区中的目标文件删除或转移后，根据表征删除或转移的 目标文件在该扇区对应位置处的容量证明副本的加密密钥，恢复表征 删除或转移的目标文件在该扇区对应位置处的容量证明副本。

优选地，所述确定存储所述目标文件的多个目标扇区的步骤包括：

确定目标扇区的个数f.cp：

f.cp＝k*f.value/minValue

其中，minValue代表所述非准入分布式文件存储系统中允许存储 的文件价值下限，f.value代表所述客户申请存储目标文件的价值，每 个目标文件价值f.value必须是minValue的整数倍，K为所述非准入分 布式文件存储系统中设定存储最低价值文件的副本数量；

选择存储所述目标文件的f.cp个扇区：

在所述非准入分布式文件存储系统中选取f.cp个扇区，其中扇区 的选择根据所述非准入分布式文件存储系统中每个扇区的剩余容量确 定，每个扇区被选择的概率与该扇区的剩余容量成正比。

优选地，所述确定存储所述目标文件的多个目标扇区后，所述非 准入分布式文件存储系统计算等待时间；

仅当所述多个目标扇区在所述等待时间内接收到所述目标文件 时，才能存储所述目标文件；

其中，所述等待时间根据所述目标文件的大小确定，所述目标文 件越大，所述等待时间越长。

优选地，所述客户存储目标文件的申请包括：目标文件大小、目 标文件价值和目标文件默克尔根。

本发明所提供的一种基于区块链的非准入分布式文件存储系统 及存储方法，为保证客户存储文件的可靠性，在存储文件后需要提供 存储证明，因此本发明采用容量证明副本来作为是否存储成功的依据， 每个容量证明副本具有不同加密密钥，在存储目标文件时，将目标文 件存储在部分容量证明副本所表征的位置处，利用剩余的容量证明副 本来表示扇区的剩余容量，并作为存储成功的依据，同时当某一扇区 的文件删除或转移后，根据该扇区生成的容量证明副本的加密密钥将 该扇区中删除或转移文件对应的容量证明副本恢复出来；由于每个扇 区中各个容量证明副本的加密密钥不同，直接根据剩余不同的加密密 钥就能确定文件是否成功存储，不需要每次证明时在各个扇区花费大 量时间计算文件的

有效提高了验证效率；本发明每个文件存储在 系统中的多个扇区中，当且仅当所有存储某一文件的扇区全部损坏时， 才认为该文件已丢失，利用多个扇区存储文件的多个副本，保证了文 件存储的鲁棒性，实现了可证明的可靠性。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将 对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易 见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附 图获得其他的附图。

图1为本发明所提供的基于区块链的非准入分布式文件存储系统 的文件存储方法的一种具体实施例的流程图；

图2为本发明所提供的基于区块链的非准入分布式文件存储系统 的扇区容量证明副本的工作原理；

图3为本发明实施例中客户存储目标文件的存储过程；

图4为本发明实施例中扇区的出租过程；

图5为本发明实施例中对客户File_请求的响应伪代码；

图6为本发明实施例中对存储提供者File_请求的响应伪代码；

图7为本发明实施例中系统对Sector_请求的响应伪代码；

图8为本发明实施例中Auto_CheckAlloc任务的伪代码；

图9为本发明实施例中Auto_CheckProof的伪代码；

图10为本发明实施例中Auto_Refresh以及与其相关的 Auto_CheckRefresh的伪代码。

具体实施方式

本发明提供了一种基于区块链的非准入分布式文件存储系统及 存储方法。在分布式文件存储系统中，由于数据的存储是分布式的， 为了让存储系统具有一致性，分布式系统的参与者需要对系统的状态 达成共识。基于区块链的文件存储与读取便是其中的一种解决方案， 其优点是由诸多参与者们共同完成共识，具有一定的去中心化属性， 通常不会因为个别节点的毁坏而让文件存储系统变得无法可用。

在本发明提供的基于区块链非准入分布式文件存储系统的文件 存储与读取中，主要有三类参与者；

(1)共识维护者：维护区块链上的共识。

(2)存储提供者：存储具体的文件。由于需要存储的文件过大， 每位存储提供者都只储存其中部分文件。

(3)客户：在存储系统中存储文件/读取文件的参与者(存储服 务的接受者)。

其中，非准入是指系统中的所有参与者均可匿名，其行为难以与 现实主体对应。通常情况下，在非准入的系统中，所有参与者或者第 三方都有恶意破坏系统的可能(进行恶意行为的参与者也被称为敌手)， 即非准入系统中没有可信任的参与者或者第三方。尽管所有参与者或 者第三方均不可信任，但是非准入系统通常会有诚实性假设，即诚实 的参与者不会低于一定比例。其中，区块链中的公链便是典型的非准 入设定。

对于非准入分布式文件存储系统的需求：由于互联网3.0、数字藏 品和元宇宙等技术均以非准入公链为基础架构，因此亟需非准入文件 存储方案来保持非准入性质的一致性，即在保证文件的可用性和可靠 性的同时，无需依赖可信的第三方或者参与者。

在使用非准入分布式文件存储系统进行文件存储时，既要考虑到 系统的安全性，也要考虑到经济学安全。

针对非准入分布式文件存储系统的安全性：

(1)可靠性：文件被完整地存储在文件存储系统中；

(2)可访问性：文件可以被正常地读取。

在非准入分布式环境下，女巫攻击是较为常见的一类攻击行为。 对于非准入分布式文件存储系统，也需在安全性方面抵御女巫攻击。 通常情况下，在非准入分布式文件存储系统中，一份文件通常会存有 多个备份。因此一位存储提供者会复制多个存储提供者，当需要存储 多个备份时，该提供者可能只存储一份，来节约存储空间。因此为了 保证文件存储系统的可靠性，需要做到防止此类女巫攻击。

针对于非准入设定下的经济学安全手段：

由于非准入设定下敌手可以采取任意的恶意行为，因此通常难以 实现理想的安全性质。因此，在非准入设定下(尤其是在以太坊等公 链上)，经济学安全的性质变得更加切实可行。通常情况下，非准入系 统中的经济学安全是指当用户因为其他参与者的恶意行为而遭受损失 时，则恶意参与者将会受到经济上的惩罚，而该用户会获得全额赔付 以补偿其损失。在本发明的非准入分布式文件存储系统中，若用户存 储的文件被丢失或损坏，则该用户将会获得等同于该文件价值的全额 赔付。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图 和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施 例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中 的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于区块链的非准入分布式文件存储系统及存 储方法，为了实现扇区中文件的动态存储，构建动态副本来解决，在 系统中每个扇区都具有多个容量证明副本(CR)。

请参考图1，图1展示了基于区块链的非准入分布式文件存储系 统的文件存储方法，具体包括：

系统接收到客户提出的目标文件存储请求，确定存储目标文件的 目标扇区；

根据目标文件的大小确定丢弃的容量证明副本的个数，将目标文 件存储在丢弃的容量证明副本所表征的位置处；

利用剩余的容量证明副本生成目标文件的存储证明。

其中，每个容量证明副本具有不同加密密钥，当某一扇区中的目 标文件删除或转移后，根据表征删除或转移的目标文件在该扇区对应 位置处的容量证明副本的加密密钥，恢复表征删除或转移的目标文件 在该扇区对应位置处的容量证明副本。

在文件存储系统中进行分布式文件存储的两类主要参与者分别 是客户(存储文件)和存储提供者(提供存储硬盘)：

(1)客户：指希望在网络中存储文件的参与者，通过添加文件 (File_Add)指令，请求其对文件进行存储。一旦文件被存储，客户需 要定期支付文件存储服务的租金，租金的多少决定于存储文件的价值 和大小。此外，客户可以检索和获取存储在系统中的文化，为了保护 存储文件的隐私，客户可以在上传文件前对文件进行加密处理。

(2)存储提供者：出租他们的硬盘向客户提供文件存储服务，并 提供检索服务，收取文件存储租金和和检索费用。当接收到客户提出 的文件存储申请时，系统会自动化选择的若干独立的存储提供者来存 储该文件，以此幅值文件来保证文件存储的鲁棒性。从客户那里接收 到文件后存储提供者提供获取指令，表明他们已经获得该文件。

由于参与者和存储系统之间的交互，使得扇区存储的内容将随时 间变化，因此系统需要办证存储的随机性。存储系统通过将文件存储 为多个副本来低于女巫攻击，这些副本是由复制证明生成的，本发明 中的PoRep具体流程与Filecoin相同。为此，存储提供者需证明一个 扇区的容量(包括已使用容量和空闲容量)确实可用。一个简单的想 法是，每当扇区内容变化时，扇区提供者重新对整个扇区进行幅值证 明，然而这一方案因为重复幅值证明会给存储提供商带来极高的计算 负担。

本发明提出了一种不同于Filecoin的创新解决方案，称之为动态 副本(DRep)，以解决存储动态内容问题。DPep将扇区存储的每个文 件编码为不同副本，同时将容量证明副本(CR)定义为由PoRep生成 且具有固定大小的全零文件副本。当扇区被注册时，需要填充若干个 (可以预设为任意实数，比如10)不同的CR来充满整个扇区。在扇 区正常工作的过程中，要求该扇区在空闲空间里尽可能多地保存CR， 使得一个扇区不可证明的空间不超多一个CR的大小。请参考图2， 图2展示了DRep(容量证明副本)的工作原理：

图2中最初采用6个CR来充满整个扇区，一个CR用来表征扇 区的部分容量，例如该扇区容量为6个G，则一个扇区表征1个G。 利用CR作为空闲空间占位符是一种空闲空间的有效验证方法。所有 CR只需在扇区注册时，使用PoRep生成一次，之后通过WindowPoSt (来自Filecoin)做连续存储验证即可。因为CR的原始数据为零，如 果CR被丢弃，则存储提供者可以重新通过PoRep.setup恢复之。这一 步无需经过整个PoRep过程，因为扇区在注册时系统已经验证了CR 的默克尔根。这意味着DRep不会给系统带来额外的验证负担，存储 提供者也无需再次生成PoRep的SNARK。每个扇区中的所有容量证 明副本在扇区注册时已一次性生成，且扇区在注册时已经对生成的容 量证明副本进行了验证，可以避免额外的验证负担。

在文件存储系统中，扇区是存储提供者出租文件存储的最小单位， 每个扇区的大小各不相同，但必须是设定的最小值的整数倍。在本实 施例中将最小值设定为64G，作为其他实施方式，也可以设置为其他 确定性值。一个扇区被认为已损坏当且仅当其中的任何比特丢失。存 储在系统上的文件被认为已丢失当且仅当存储由此文件的扇区全部损 坏。在存储系统中，存储提供者可将其存储空间划分为多个扇区，但 不允许将多个物理独立的磁盘注册为同一扇区。此外，存储系统要求 文件在一个扇区中被完整存储，而不是分散到多个扇区中进行存储。 上述要求可以保证都是文件的所有者(客户)获得多丢失文件价值的全额赔偿。

当文件被存储时，存储提供者需要在每个指定的检查时点，向系 统提交文件存储证明，证明该文件仍被正常存储。为了维护客户权益 和文件存储安全，存储提供者在提供存储服务的同时需要质押一定的 押金，一旦存储文件的磁盘损坏，导致文件丢失，其押金就会被结算 给客户以补偿客户文件丢失的损失。当客户请求检索文件时，存储有 该文件的存储提供者将竞争响应，形成一个检索市场，客户和存储提 供者可在不通过区块链共识的情况下让客户获得检索文件。

此外系统共识(即管理存储系统的区块链)由存储提供者进行维 护。每个一段固定时间，某一存储提供者将被随机选中，由其产生一 个新的区块。每位存储提供者被选中产生新区块的概率与其在系统中 的贡献的存储总容量成正比。

本发明提出的文件存储系统需要维护的数据结构包括扇区、文件 描述符、文件分配表和挂起列表。请参考表1，表1展示了数据结构 的简要说明。

表1：

其中，文件描述符：与存储系统中的文件一一对应并记录其必要 信息，包括但不限于文件大小、文件价值、文件默克尔根和文件存储 副本数等。存储系统在处理文件存储中需要满足以下两个条件：

(1)扇区中存储文件的总大小不能超过该扇区的总容量；

(2)如果文件丢失，意味着存储有此文件的扇区全部损坏，则这 些损坏扇区的押金总额不得低于该文件的价值。存储系统将通过清算 押金以弥补用户丢失文件的损失。

文件分配表：用来记录文件存储位置，当文件上传至存储系统中 后，系统将随机选取若干扇区存储该文件，并在文件分配表中记录文 件存储的位置。一旦文件在系统中被存储成功/被丢弃/文件的存储位 置转移，则文件分配表将同步更新。文件分配表是存储系统共识的一 部分，可以支持快速随机访问。

挂起列表：存储系统存储一些任务需要在未来特定时刻被自动执 行，例如定期检查文件是否被正确保存。

与Filecoin类似，本发明设计的存储系统中也包含存储市场和检 索市场，其中检索市场与Filecoin的检索市场相同。当客户检索文件 时，客户可以发送请求以检索文件。任何存有文件或文件副本的参与 者均可回应该请求。检索过程由IPFS的BitSwap完成。然而，本发明 中的存储市场与Filecoin中的存储市场完全不同。在本发明设计的存 储系统中，存储文件的价格取决于该文件的大小和价值。客户不需要 与存储提供者协商存储价格，甚至不需要指定谁来存储他们的文件。 存储服务的价格可能会随着时间而变化。

本发明中提供的存储系统的协议主要包含以下三部分：

File_：带有File_前缀的子任务，主要用于处理存储系统中的文件 存储。

Sector_：带有Sector_前缀的子任务，主要用于处理扇区注册和撤 销。

Auto_：带有Auto_前缀的子任务，主要用于存储系统的维护。 Auto_子任务是一类特殊任务，它们不能被调用，只能由系统自动生成 并在特定时刻自动执行。

下面介绍参与者(客户、存储提供者)与存储系统之间的交互， 包括以下客户请求和存储提供者请求。

(1)客户请求：

File_Add：客户向存储系统存储一个文件。

客户通过File_Add请求，向系统提交文件存储订单，将文件描述 符通知系统，包含文件大小f.size、价值f.value、默克尔根f.merkleRoot、 存储副本数量f.cp及其他必要信息。存储系统随机分配f.cp个扇区接 收该文件。客户需要和被分配扇区的存储提供者建立连接，并向其传 输文件。

File_Discard：客户丢弃一个已在存储系统中存储的文件。

客户无需提前指定文件在系统上的存储时间。作为替代，客户可 以随时向系统提交包含此文件描述符f的File_Discard请求，要求系 统丢弃该文件。

File_Get：客户获取已在系统中存储的文件。

客户可以通过File_Get请求，检索已在系统中存储的任何文件。 由于请求检索的文件被存储在多个存储提供者的扇区中，客户从这些 存储提供者中接收任意一份副本便可满足其检索请求。

(2)存储提供者请求：

Sector_Register：存储提供者在存储系统中注册一个新的扇区。

当存储提供者获得新的存储空间时，需要在存储系统中注册扇区， 以便将这些新扇区投入使用。存储提供者可以将其所有存储空间注册 为一个扇区，也可以将存储空间分割成若干部分，每一部分分别注册 为扇区。一旦扇区被注册后，存储提供者应根据该扇区的容量按比例 质押押金。

Sector_Disable：存储提供者声明一个扇区不再接受新文件。

存储提供者不可随意撤销他们之前在系统上注册并租用的扇区。 相反，当存储提供者决定废除某些扇区的存储服务时，应先声明该扇 区被禁用，即不再接受任何新文件；直至该扇区中存储的所有文件被 系统分配给其他扇区，扇区内不再存有任何文件后，存储提供者才可 在系统中删除此扇区并赎回押金。

File_Confirm：存储提供者确认其已经收到一个特定的文件。

新文件被上传至存储系统时，系统会自动指定文件的存储扇区； 扇区的提供者收到客户的文件后需向系统进行确认。当系统发出文件 存储位置改变指令时，文件将从原扇区移动至新扇区，新扇区的拥有 者收到文件后同样需要向系统进行确认。

File_Prove：存储提供者将文件存储证明提交给存储系统。

当存储提供者存储文件时，必须反复提交复制证明以确保他们正 在正确地存储文件。存储证明被发布至系统中并被其他参与者验证。

File_Supply：存储提供者响应客户端的File_Get请求，愿意向客 户传输特定文件。

一旦客户和存储提供者之间建立文件供需关系，则文件的传输会 在不经过系统共识的情况下进行。

该系统中的文件存储过程为：

请参考图3，图3展示了客户存储目标文件的存储过程，用户首 先将文件描述符等信息发送给存储系统，系统随机分配若干扇区及将 存储该文件多个备份；之后用户将文件传输给这些存储扇区的存储提 供者。当系统自动执行Auto_CheckAlloc后，文件便被成功存储在系 统中。每隔一段时间，系统会自动执行Auto_CheckProof，向用户收取 存储租金。

图5中展示了来自客户File_请求的响应伪代码。当客户端发出File_Add请求时，存储系统首先生成文件描述符并随机选取f.cp个扇 区存储该文件。每个扇区被选中的概率与该扇区的容量成正比；存储 的文件备份数f.cp＝k*f.value/minValue，其中minValue参数代表系统 中允许存储的文件价值下限，每个文件价值f.value必须是minValue 的整数倍，k为常数(通常可以指定为20)。确定随机扇区后，系统将 计算等待时间；用户需要在等待时间结束之前将文件传输给所选扇区 的所有者。一旦等待时间结束，系统将自动执行名为Auto_CheckAlloc 的任务，以确认文件是否被成功存储。当客户对某一文件提交File_Discard请求时，系统简单地将该文件描述符的状态设置为discard。

该系统中扇区出租过程为：

请参考图4，图4展示了扇区的出租过程，当一个扇区被注册后， 文件将不定时地通过Auto_Refresh任务被换入或换出该扇区。同时， 系统通过对用户的File_Add的回复来通知扇区接收新文件。下表2列 出了协议中使用的所有参数和函数。

图6展示了对存储提供者File_请求的响应伪代码。当收到 File_Confirm请求时，系统将相应分配条目的状态设置为confirm，宣 布该扇区已成功接收到文件。当收到File_Prove请求时，系统会在检 查证明的正确性后更新该文件副本的最后证明时间。

系统对Sector_请求的响应较为简单，其伪代码如图7所示。当存 储系统收到Sector_Register请求时注册一个新扇区，并收取押金。当 系统收到Sector_Disable请求时，将扇区的状态设置为disable；当该 扇区中所有文件被换出后，系统将扇区删除并返还押金。

此外，本发明中还包括一些不可被调用的任务(Auto_请求)：

在本发明中，带有Auto_前缀的任务不可被调用；系统需要维护 一个待处理的列表，以明确Auto_前缀任务在特定时间被自动执行。 Auto_前缀的任务共有4类，分别是Auto_CheckAlloc、Auto_CheckProof、 Auto_Refresh和Auto_CheckRefresh。简单来说，Auto_CheckAlloc用 于检查文件是否已正确存储在系统上，Auto_CheckProof用于定期检查文件副本的存储证明，Auto_Refresh和Auto_CheckRefresh则用于 文件存储位置刷新以确保存储随机性。系统要求检查文件存储证明的 周期短，文件存储位置的刷新频率低。

请参考图8，图8展示了Auto_CheckAlloc任务的伪代码。 Auto_CheckAlloc任务会在系统响应用户File_Add请求计算的等待时 间结束后自动执行。系统此时应确认是否所有的f.cp个扇区都收到了 f描述的文件。如果是，系统将文件描述符的状态更改为normal；否 则，它会通知客户其上传文件失败。

系统需要定期检查每个文件是否被正确存储。为此，系统为每个 文件，每隔固定时间设置一个检查点，在每个检查点处自动执行 Auto_CheckProof任务，以检查文件各副本的证明是否及时。请参考图 9，图9展示了Auto_CheckProof的伪代码，本发明使用Filecoin的 WindowPoSt来实现证明过程，设置了ProofDue和ProofDeadline参 数。当距离检查时刻相差ProofDue时长时，若扇区拥有者仍未提供存 储证明，则其将会受到惩罚；如果扇区拥有者(存储提供者)在检查 前ProofDeadline时刻没有提供存储证明，则扇区被认为损坏，相应的 押金被没收。

存储系统会随机生成验证文件正确存储的检查点数目，该随机数 是从一个指数分布中抽样得到。当在所有检查点，文件各副本都被验 证通过时，系统将调用名为Auto_Refresh的任务来随机更新一个文件 副本的存储位置。请参考图10，图10展示了Auto_Refresh以及与其 相关的Auto_CheckRefresh的伪代码。在文件位置被刷新前，存储其 一个副本的扇区被称为换出扇区，系统随机选择一个扇区作为换入扇 区。换入扇区被选中的概率与其容量成正比。随后，系统确定计算等 待时间，要求换出扇区的拥有者必须在等待时间结束前，将文件副本 传输至换入扇区。一旦等待时间结束，系统将自动执行名为Auto_CheckRefresh任务，以确认文件副本已被正确存入换入扇区中。

下表2中展示了本发明设计的协议中一些参数及函数说明，用于 对各个伪代码进行解释。

表2：

本发明提出的基于区块链的非准入分布式文件存储系统，实现了 容量的可扩展性，实现了可证明的可靠性，实现了文件存储的经济学 安全，实现了较低的押金率，具体验证如下；

1.容量的可扩展性：

其中，

式中，minCapacity为系统设定的扇区的最小容量，minValue是系 统可以接收的文件的最小价值，k是价值为minValue的文件应当存储 的副本个数，f.size为存储文件大小，f.value为存储文件的价值，N_S为 “加权”的扇区数量，NS×minCapacity表示总容量，capPara为非准 入分布式文件存储系统设定的最大加权文件数量与加权的扇区数量的 比值。

在实际中，r₁和r₂具有常数上限，这说明，可以存储在系统中的原 始文件总大小几乎与扇区的总大小呈线性关系，表明本发明的存储系 统拥有极好地容量可扩展性。

2.可证明的可靠性：

在非准入设定下，文件有被丢失的风险；但是这些文件丢失的风 险无法在理论上得到证明，缺少可证明的可靠性。

本发明提供的文件存储系统通过下述公式计算实现了可证明的 可靠，假设所有恶意存储提供者的存储空间与全系统总容量之比，即 对手能力为λ。以不小于1-c的概率，

满足：

式中，

表示丢失文件价值与系统所有文件价值的比例，λ为对 手能力，即所有恶意存储提供者的存储空间与所述非准入分布式文件 存储系统总容量之比，c表示预设安全参数，k为非准入分布式文件存 储系统中设定存储最低价值文件的副本数量，

为非准入分布式文件 存储系统中的存储文件总价值与其设定的最大承载文件总价值的比率，N_s为“加权”的扇区数量，capPara为非准入分布式文件存储系统设定 的最大加权文件数量与加权的扇区数量的比值。

通过一个具体的例子来说明本发明存储系统的可靠性，设参数k＝ 20，N_s＝10⁶和capPara＝10³，并且设对手能力为0.5，即表示对手能 够瞬时破坏系统的一半存储容量，基于此公式计算，丢失文件的价值 也不超过所有存储文件价值的千分之一，由此说明本发明提出的存储 系统具有极高、可证明的可靠性。

3.文件存储的经济学安全：

本发明提供的存储系统实现了对文件损失的全额赔付，实现了文 件存储的经济学安全；当客户存储的文件丢失(存储该文件的所有扇 区都损坏)时，利用扇区注册时的押金对客户进行赔偿。

4.较低的押金率：

本发明提供的存储系统要求存储提供者在注册扇区时质押押金。 这些押金会被锁定，直到扇区安全退出或扇区损坏。如果该扇区安全 退出，押金将被解锁并返还给存储提供者。如果扇区损坏，则押金会 被系统没收。被没收的押金会存入系统，用于赔偿潜在的文件丢失损 失。系统中的文件丢失意味着其所有副本不再可用，即存储副本的所 有扇区均已损坏。当文件丢失时，客户会获得与文件价值相等的文件 丢失赔偿，以弥补其损失。

押金率为扇区押金之和与最大文件总价值之比，本发明可以在文 件丢失全额补偿的情况下，实现极低押金率。

参考下述押金率的计算公式，同样设置参数k＝20，N_s＝10⁶和 capPara＝10³，并且设对手能力为0.5，在此情形下，押金率为0.0046。 结果表明如果整个系统中存储的文件总价值为1亿元，则所有存储提 供者只需要提供46万元的押金，就可以保证存储系统丢失文件可以 被全额赔付。由此说明，本发明的存储系统为存储提供者带来的押金 负担极小，使得存储提供者有很强烈动机加入本发明设计的存储系统 中。

当损坏扇区的总容量不超过λN_s×minCapacity时，如果押金率满 足下述公式，那么在一次攻击中可以以不少与1-c的概率实现全额赔 付，非准入分布式文件存储系统的押金率计算为：

式中，γ_deposit为押金率，即所有扇区押金之和非准入分布式文件 存储系统设定的最大承载文件总价值之比，λ为对手能力，即所有恶意 存储提供者的存储空间与非准入分布式文件存储系统总容量之比，c 为预设安全参数，k为非准入分布式文件存储系统中设定存储最低价 值文件的副本数量，N_s为：“加权”的扇区数量，capPara为非准入分 布式文件存储系统设定的最大加权文件数量与加权的扇区数量的比值。

此外，本发明的文件存储系统的费用机制，客户需要支付三种费 用以使用存储系统的文件存储服务和检索服务，即流量费、存储租金 和预付GAS费。

1.流量费

当客户通过传输文件、检索文件或其他交互方式占用存储提供者 的网络带宽时，需要支付流量费。支付流量费的机制是必要的，可以 防止恶意客户因无成本传输文件来阻塞存储提供者的网络带宽。本发 明设计的存储系统要求客户在上传文件前预支上传流量费，当存储提 供者确认收到文件后，这笔流量费会被自动支付给该存储提供者。

2.存储租金

本发明设计的存储系统要求客户定时为其已使用的存储空间支 付存储租金，该租金与文件大小乘以存储副本数成正比，所有文件的 单位租金均相同的。任务Auto_CheckAlloc会定时自动向客户收取存 储租金(将在下文详细介绍)。特别地，存储租金不直接支付给存储提 供商，而是由系统按时段进行分配。具体而言，在某一时段内，所有 的存储租金首先在系统中暂存；当该时段结束时，系统将租金分配给 在此时段内正常运行的扇区所有者。存储提供者获得租金金额与其总 存储容量成正比，而不关注具体哪个文件存储在哪个扇区。

3.预付GAS费

客户存储文件后，系统需要定期检查证明并刷新文件存储位置。 这些操作将占用共识空间，产生GAS费。这些自动进行操作的燃油应 由客户预付。任务Auto_CheckAlloc会同时收取预付燃油费和存储租 金。此外，任何向系统提交请求的实体都必须支付燃油费，以避免浪 费宝贵的共识空间。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说 明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分 互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的 方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述 的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者 的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明 中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟 以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束 条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所 描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接 用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块 可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程 ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于区块链的非准入分布式文件存储系 统及存储方法进行了详细介绍。本文中应用了具体个例对本发明的原 理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发 明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员 来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进 和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于区块链的非准入分布式文件存储系统，其特征在于，包括：

多个扇区：每个扇区采用多个容量证明副本来表征扇区剩余容量；

其中，每个容量证明副本具有不同加密密钥，每个扇区在存储目标文件时，根据所述目标文件的大小确定容量证明副本的丢弃个数，将所述目标文件存储到丢弃的容量证明副本所表征的位置处，并利用扇区剩余的容量证明副本生成所述目标文件的存储证明；

当某一扇区中的目标文件删除或转移后，根据表征删除或转移的目标文件在该扇区对应位置处的容量证明副本的加密密钥，恢复表征删除或转移的目标文件在该扇区对应位置处的容量证明副本。

2.根据权利要求1所述的基于区块链的非准入分布式文件存储系统，其特征在于，所述非准入分布式文件存储系统还包括：

挂起列表：用于按照设定检查周期检查所述目标文件是否被正常存储；

文件分配表：用于记录所述目标文件的存储位置，当所述目标文件在所述非准入分布式文件存储系统中成功存储、被丢弃或存储位置被转移时，更新所述文件分配表。

3.根据权利要求1所述的基于区块链的非准入分布式文件存储系统，其特征在于，所述容量证明副本通过PoRep方法生成。

4.根据权利要求1所述的基于区块链的非准入分布式文件存储系统，其特征在于，所述扇区的押金率根据所述非准入分布式文件存储系统存储的目标文件的总价值确定：

式中，γ_deposit为押金率，即所有扇区押金之和所述非准入分布式文件存储系统设定的最大承载文件总价值之比，λ为对手能力，即所有恶意存储提供者的存储空间与所述非准入分布式文件存储系统总容量之比，c为预设安全参数，k为所述非准入分布式文件存储系统中设定存储最低价值文件的副本数量，N_s为加权的扇区数量，capPara为所述非准入分布式文件存储系统设定的最大加权文件数量与加权的扇区数量的比值。

5.根据权利要求1所述的基于区块链的非准入分布式文件存储系统，其特征在于，所述非准入分布式文件存储系统中损坏的目标文件价值与所有的文件价值的比例的计算为：

式中，

表示损坏文件价值与系统所有文件价值的比例，λ为对手能力，即所有恶意存储提供者的存储空间与所述非准入分布式文件存储系统总容量之比，c表示预设安全参数，k为所述非准入分布式文件存储系统中设定存储最低价值文件的副本数量，

为所述非准入分布式文件存储系统中的存储文件总价值与其设定的最大承载文件总价值的比率，N_s为加权的扇区数量，capPara为所述非准入分布式文件存储系统设定的最大加权文件数量与加权的扇区数量的比值。

6.一种基于如上述权利要求1-5任一项所述的基于区块链的非准入分布式文件存储系统的文件存储方法，其特征在于，包括：

所述非准入分布式文件存储系统接收到客户存储目标文件的申请，确定存储所述目标文件的多个目标扇区；

在每个目标扇区中，根据目标文件的大小确定容量证明副本的丢弃个数，将目标文件存储到该扇区丢弃的容量证明副本所表征的位置处；

根据所述每个目标扇区中剩余的容量证明副本生成所述目标文件的存储证明，完成所述目标文件的存储。

7.根据权利要求6所述的文件存储方法，其特征在于，该方法还包括：

当某一扇区中的目标文件删除或转移后，根据表征删除或转移的目标文件在该扇区对应位置处的容量证明副本的加密密钥，恢复表征删除或转移的目标文件在该扇区对应位置处的容量证明副本。

8.根据权利要求6所述的文件存储方法，其特征在于，所述确定存储所述目标文件的多个目标扇区的步骤包括：

确定目标扇区的个数f.cp：

f.cp＝k*f.value/minValue

其中，minValue代表所述非准入分布式文件存储系统中允许存储的文件价值下限，f.value代表所述客户申请存储目标文件的价值，每个目标文件价值f.value必须是minValue的整数倍，k为所述非准入分布式文件存储系统中设定存储最低价值文件的副本数量；

选择存储所述目标文件的f.cp个扇区：

在所述非准入分布式文件存储系统中选取f.cp个扇区，其中扇区的选择根据所述非准入分布式文件存储系统中每个扇区的剩余容量确定，每个扇区被选择的概率与该扇区的剩余容量成正比。

9.根据权利要求6所述的文件存储方法，其特征在于，所述确定存储所述目标文件的多个目标扇区后，所述非准入分布式文件存储系统计算等待时间；

仅当所述多个目标扇区在所述等待时间内接收到所述目标文件时，才能存储所述目标文件；

其中，所述等待时间根据所述目标文件的大小确定，所述目标文件越大，所述等待时间越长。

10.根据权利要求6所述的文件存储方法，其特征在于，所述客户存储目标文件的申请包括：目标文件大小、目标文件价值和目标文件默克尔根。

Images