CN113434093B - 一种可有效提高存储能力的ipfs数据存储方法 - Google Patents

Abstract

本发明公开了一种可有效提高存储能力的IPFS数据存储方法，所述IPFS数据存储方法包括以下几个步骤：步骤一：客户端上传文件、目录至ARM微服务器；步骤二：IPFS提供分布式文件存储；步骤三：IPFS Cluster实现副本数据复制，所述步骤一中，具体的客户端将需要存储的数据文件、数据目录上传至ARM微服务器。该可有效提高存储能力的IPFS数据存储方法，文件经过分割后，文件存储过程中有多个Data store进行了组合和封装，每个Datastore功能比较单一，每个组件功能明确；IPFS的开放性较强，允许所有节点随意接入；通过添加分布式共识算法达到了IPFS集群存储的一致性；将IPFS私有网络打造成高可用存储系统，用来提高IPFS的稳定性。

Description

一种可有效提高存储能力的IPFS数据存储方法

技术领域

本发明涉及IPFS数据存储相关技术领域，具体为一种可有效提高存储能力的IPFS数据存储方法。

背景技术

IPFS是一个去中心化的按内容寻址的分布式存储系统，非常符合当下流下的分布式存储的新兴场景需求；IPFS提供的基于内容寻址的对等超媒体分发协议(分布式哈希表DHT)，通过DHT，大量节点保存有种子及数据源节点信息，一个节点挂掉，还可以从其他节点获取这个种子及数据源信息，然后和对应节点建立连接传输数据；

IPFS结合了DHT、MerkleDAG、版本控制Git、自验证系统SFS，在点对点网络进行去中心化的数据存储和交换，可以由用户自主设置数据访问和读写权限而不依赖信任主体，上传到IPFS上的数据不可更改，数据变更将生成新的IPFS对象，并链接到之前的对象版本，这种基于Git的版本管理可以很方便追踪数据更新情况。

但是，现有的IPFS数据存储方法，往往储存能力较差，且IPFS的稳定性较差，并且IPFS的开放性较差，因此，我们提出一种可有效提高存储能力的IPFS数据存储方法，以便于解决上述中提出的问题。

发明内容

本发明的目的在于提供一种可有效提高存储能力的IPFS数据存储方法，以解决上述背景技术中提出的，现有的IPFS数据存储方法，往往储存能力较差，且IPFS的稳定性较差，并且IPFS的开放性较差的问题。

为实现上述目的，本发明提供如下技术方案：一种可有效提高存储能力的IPFS数据存储方法，所述IPFS数据存储方法包括以下几个步骤：

步骤一：客户端上传文件、目录至ARM微服务器；

步骤二：IPFS提供分布式文件存储；

步骤三：IPFS Cluster实现副本数据复制。

优选的，所述步骤一中，具体的客户端将需要存储的数据文件、数据目录上传至ARM微服务器，其中，ARM微服务器包括管理控制台、IPFS Cluster服务模块、IPFS节点服务模块和Linux操作系统。

优选的，所述步骤二中，IPFS提供分布式文件存储过程中，IPFS接收上传的文件后添加至IPFS仓库中，生成生成默克尔DAG的结构，生成的结构有两种Layout，分别为balanced和trickle。

优选的，所述balanced结构生成root作为根节点，并将文件分割成叶子节点，默认按照256KB大小读取一个chunk，然后依次生成node1，node2；

root节点会有Link指向挂在root节点的叶子节点node1和node2。

优选的，所述root节点下面能够Link的叶子节点数量是有限的，IPFS中默认设置的是174个。

优选的，所述叶子节点数量超过174个后则会新创建一个new root节点，并Link到old root，新的chunk作为node3被new root直接Link；

当继续有新的chunk添加时，则会生成node34作为node3和node4的父节点，node34含有两个Link分别链接到node3和node4。

优选的，所述IPFS文件储存格式为默克尔DAG格式，文件存储过程中有多个Datastore进行了组合和封装，每个Datastore功能比较单一；

IPFS的开放性较强，允许所有节点随意接入，已接入IPFS网络的节点可以自由查找内容，其分布式存储的特点，很容易进行存储的动态扩容，可以通过结合节点认证机制和DHT查找内容的剥离。

优选的，所述步骤三中，通过IPFS Cluster提供节点间数据复制，IPFS Cluster通过给IPFS网络添加一层分布式共识协议，从而保证IPFS集群节点存储内容的一致性；

IPFS Cluster基于组件化设计，同节点的各组件之间通过内部RPC进行通信。

优选的，所述IPFS Cluster由以下8个组件组成：

(1)Consensus共识组件:负责在集群节点之间实现一致性，使所有节点的Pinset保持一致，并且管理节点的加入及退出；支持两种共识算法“Merkle-CRDT”和“Raft”；

(2)Pin Tracker组件:Pin Tracker处于共识组件和IPFS中间层，Pin Tracker接收并维护Consensus组件发送的Pin操作，通过RPC组件将Pin操作发送到IPFS；

(3)Peer Monitor组件:负责维护集群节点的状态，Peer Monitor周期性的检查节点存活状态；

(4)State组件:存储Pin操作的数据库，便于对Pin操作进行增、删、查等操作；

(5)RestApi组件:提供了基于HTTP的Cluster Peer功能的访问服务器；

(6)IPFS Proxy组件:是一个代理endpoint，可以用来调用IPFS Cluster连接的IPFS；

(7)Allocator/Informer组件:Informer组件用于监控系统的硬盘使用情况、Pin操作的数量；Allocator组件用来选择文件Pin到的具体节点，系统可以根据硬盘使用情况来选择文件存储到的节点，把文件存储到特定的节点；

(8)RPC组件:系统使用内部RPC在同节点各组件间进行通信，外部RPC在不同节点各组件间进行通信，提高了系统的可扩展性。

与现有技术相比，本发明的有益效果是：

1.该可有效提高存储能力的IPFS数据存储方法，文件经过分割后，文件被切块并转化成Merkle DAG的结构，文件存储过程中有多个Data store进行了组合和封装，每个Data store功能比较单一，例如arccache只做Block的缓存，VerifBS只做CID的校验，这样做的好处是每个组件功能明确；

2.IPFS的开放性较强，允许所有节点随意接入，已接入IPFS网络的节点可以自由查找内容，其分布式存储的特点，很容易进行存储的动态扩容，可以通过结合节点认证机制和DHT查找内容的剥离；

3.IPFS Cluster作为IPFS网络的附加层，通过添加分布式共识算法达到了IPFS集群存储的一致性；可以将IPFS私有网络打造成高可用存储系统，也可以用来提高IPFS的稳定性。

附图说明

图1为本发明root作为根节点分割文件示意图；

图2为本发明new root节点Link到old root示意图；

图3为本发明node34生成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：一种可有效提高存储能力的IPFS数据存储方法，所述IPFS数据存储方法包括以下几个步骤：

步骤一：客户端上传文件、目录至ARM微服务器；

步骤二：IPFS提供分布式文件存储；

步骤三：IPFS Cluster实现副本数据复制。

本发明更进一步的，所述步骤一中，具体的客户端将需要存储的数据文件、数据目录上传至ARM微服务器，其中，ARM微服务器包括管理控制台、IPFS Cluster服务模块、IPFS节点服务模块和Linux操作系统。

本发明更进一步的，所述步骤二中，IPFS提供分布式文件存储过程中，IPFS接收上传的文件后添加至IPFS仓库中，生成生成默克尔DAG的结构，生成的结构有两种Layout，分别为balanced和trickle。

本发明更进一步的，所述balanced结构生成root作为根节点，并将文件分割成叶子节点，默认按照256KB大小读取一个chunk，然后依次生成node1，node2；

root节点会有Link指向挂在root节点的叶子节点node1和node2。

本发明更进一步的，所述root节点下面能够Link的叶子节点数量是有限的，IPFS中默认设置的是174个(定义的Link的总的大小是8KB，每个Link的大小是34+8+5，默认的Link的个数为8192/47约等于174)。

本发明更进一步的，所述叶子节点数量超过174个后则会新创建一个new root节点，并Link到old root，新的chunk作为node3(这里用node3简约了，实际上是第175个节点)被new root直接Link；

当继续有新的chunk添加时，则会生成node34作为node3和node4的父节点，node34含有两个Link分别链接到node3和node4；

本发明更进一步的，所述IPFS文件储存格式为默克尔DAG格式，文件存储过程中有多个Datastore进行了组合和封装，每个Datastore功能比较单一；

IPFS的开放性较强，允许所有节点随意接入，已接入IPFS网络的节点可以自由查找内容，其分布式存储的特点，很容易进行存储的动态扩容，可以通过结合节点认证机制和DHT查找内容的剥离。

本发明更进一步的，所述步骤三中，通过IPFS Cluster提供节点间数据复制，IPFSCluster通过给IPFS网络添加一层分布式共识协议，从而保证IPFS集群节点存储内容的一致性；

IPFS Cluster基于组件化设计，同节点的各组件之间通过内部RPC进行通信。

本发明更进一步的，所述IPFS Cluster由以下8个组件组成：

(1)Consensus共识组件:负责在集群节点之间实现一致性，使所有节点的Pinset保持一致，并且管理节点的加入及退出；支持两种共识算法“Merkle-CRDT”和“Raft”；

(2)Pin Tracker组件:Pin Tracker处于共识组件和IPFS中间层，Pin Tracker接收并维护Consensus组件发送的Pin操作，通过RPC组件将Pin操作发送到IPFS；

(3)Peer Monitor组件:负责维护集群节点的状态，Peer Monitor周期性的检查节点存活状态；

(4)State组件:存储Pin操作的数据库，便于对Pin操作进行增、删、查等操作；

(5)RestApi组件:该组件提供了基于HTTP的Cluster Peer功能的访问服务器；

(6)IPFS Proxy组件:是一个代理endpoint，可以用来调用IPFS Cluster连接的IPFS；某些请求比如Pin/Unpin等会被拦截并触发IPFS Cluster集群操作，从而操作会在集群所有节点执行；未被拦截的请求都直接转发Cluster所连接的IPFS Deamon；

(7)Allocator/Informer组件:Informer组件用于监控系统的硬盘使用情况、Pin操作的数量；Allocator组件用来选择文件Pin到的具体节点，系统可以根据硬盘使用情况来选择文件存储到的节点，把文件存储到特定的节点；

(8)RPC组件:系统使用内部RPC在同节点各组件间进行通信，外部RPC在不同节点各组件间进行通信，提高了系统的可扩展性。

本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合，本说明书系统实施例，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (1)

1.一种可有效提高存储能力的IPFS数据存储方法，其特征在于：所述IPFS数据存储方法包括以下几个步骤：

步骤一：客户端上传文件、目录至ARM微服务器；

具体的客户端将需要存储的数据文件、数据目录上传至ARM微服务器，其中，ARM微服务器包括管理控制台、IPFS Cluster服务模块、IPFS节点服务模块和Linux操作系统；

步骤二：IPFS提供分布式文件存储；IPFS提供分布式文件存储过程中，IPFS接收上传的文件后添加至IPFS仓库中，生成生成默克尔DAG的结构，生成的结构有两种Layout，分别为balanced和trickle；

balanced结构生成root作为根节点，并将文件分割成叶子节点，默认按照256KB大小读取一个chunk，然后依次生成node1，node2；

root节点会有Link指向挂在root节点的叶子节点node1和node2；root节点下面能够Link的叶子节点数量是有限的，IPFS中默认设置的是174个；叶子节点数量超过174个后则会新创建一个new root节点，并Link到old root，新的chunk作为node3被new root直接Link；当继续有新的chunk添加时，则会生成node34作为node3和node4的父节点，node34含有两个Link分别链接到node3和node4；

IPFS文件储存格式为默克尔DAG格式，文件存储过程中有多个Datastore进行了组合和封装，每个Datastore功能比较单一；

IPFS的开放性较强，允许所有节点随意接入，已接入IPFS网络的节点可以自由查找内容，其分布式存储的特点，很容易进行存储的动态扩容，可以通过结合节点认证机制和DHT查找内容的剥离；

步骤三：IPFS Cluster实现副本数据复制；

通过IPFS Cluster提供节点间数据复制，IPFS Cluster通过给IPFS网络添加一层分布式共识协议，从而保证IPFS集群节点存储内容的一致性；IPFS Cluster基于组件化设计，同节点的各组件之间通过内部RPC进行通信；

所述IPFS Cluster由以下8个组件组成：

(1)Consensus共识组件:负责在集群节点之间实现一致性，使所有节点的Pinset保持一致，并且管理节点的加入及退出；支持两种共识算法“Merkle-CRDT”和“Raft”；

(2)Pin Tracker组件:Pin Tracker处于共识组件和IPFS中间层，Pin Tracker接收并维护Consensus组件发送的Pin操作，通过RPC组件将Pin操作发送到IPFS；

(3)Peer Monitor组件:负责维护集群节点的状态，Peer Monitor周期性的检查节点存活状态；

(4)State组件:存储Pin操作的数据库，便于对Pin操作进行增、删、查操作；

(5)RestApi组件:提供了基于HTTP的Cluster Peer功能的访问服务器；

(6)IPFS Proxy组件:是一个代理endpoint，可以用来调用IPFS Cluster连接的IPFS；

(7)Allocator/Informer组件:Informer组件用于监控系统的硬盘使用情况、Pin操作的数量；Allocator组件用来选择文件Pin到的具体节点，系统可以根据硬盘使用情况来选择文件存储到的节点，把文件存储到特定的节点；

(8)RPC组件:系统使用内部RPC在同节点各组件间进行通信，外部RPC在不同节点各组件间进行通信，提高了系统的可扩展性。