CN112035422B - 基于ipfs的分布式实时数据同步方法、节点设备及系统 - Google Patents
基于ipfs的分布式实时数据同步方法、节点设备及系统 Download PDFInfo
- Publication number
- CN112035422B CN112035422B CN202010844374.7A CN202010844374A CN112035422B CN 112035422 B CN112035422 B CN 112035422B CN 202010844374 A CN202010844374 A CN 202010844374A CN 112035422 B CN112035422 B CN 112035422B
- Authority
- CN
- China
- Prior art keywords
- node
- service
- fastdfs
- ipfs
- synchronous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000003860 storage Methods 0.000 claims abstract description 236
- 230000001360 synchronised effect Effects 0.000 claims abstract description 178
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012217 deletion Methods 0.000 claims description 22
- 230000037430 deletion Effects 0.000 claims description 22
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000013500 data storage Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种基于IPFS的分布式实时数据同步方法、节点设备及系统，所述系统包括：若干同步服务节点及集成SDK，其中，所述同步服务节点基于Fastdfs集群中的Fastdfs storage节点进行分布式部署，所述Fastdfs storage节点用于提供业务数据文件存储服务；针对每一Fastdfs storage节点，在同一主机进行IPFS节点的部署，所述IPFS节点用于为所述Fastdfs集群提供跨公网的私有p2p网络；所述集成SDK，通过Fastdfs文件消息监听服务、同步逻辑业务处理服务、消息主题服务为所述同步服务节点提供相对应业务功能，实现跨公网的不同内网之间的数据实时同步。本发明还提供一种基于IPFS的分布式实时数据同步方法，通过本发明解决了Fastdfs跨公网安全传输问题、Fastdfs实时传输问题和Fastdfs文件同步效率问题。
Description
技术领域
本发明涉及分布式文件系统技术领域，具体涉及一种基于IPFS的分布式实时数据同步方法、节点设备及系统。
背景技术
Fastdfs分布式文件系统，致力于实现文件操作的高可用、高并发，特别适合中小文件的存储操作，以其特有的轻量级、分组存储与对等结构这三大特点，被国内各大企业广泛应用。Fastdfs由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。
在实际使用中，Fastdfs集群的Storage节点用来存储实际的数据，多个Storage可为一组，组内进行冗余备份、负载均衡，同组内服务器上的文件是完全相同的。文件上传、删除等操作可以在任意一台存储服务器(Storage Server)上进行。当上传文件到某一个存储服务器(Storage Server)时，存储服务器(Storage Server)会启动线程向同组内其他storage同步该文件。
一般情况下，Fastdfs storage节点部署在企业内网，当企业规模较大时，可能需要多个企业内网之间进行数据的存储和同步。但是这些同组内的存储服务器(StorageServer)一般都是部署在同一内网，没有对外开放接口，对于跨公网的ip传输方式是一个问题，即处于不同内网中的存储服务器(Storage Server)之间无法实现数据同步。假如直接暴露存储服务器(Storage Server)相关接口到公网访问，则数据和内网安全无法得到保证。同时由于其自身的内网同步机制为采用单线程直接同步文件，对于较大文件，跨公网传输时存在文件传输效率较低影响实时数据同步进度的问题。
发明内容
针对上述背景技术中提到的缺陷，本发明提出了一种基于IPFS的分布式实时数据同步方法、节点设备及系统，用以解决以下三个问题：Fastdfs跨公网以及安全通信问题、较大文件同步传输效率问题及Fastdfs实时数据同步的问题。
为了实现上述目的，本发明第一方面提供一种基于IPFS的分布式实时数据同步方法，包括以下步骤：
步骤S1，配置同步服务节点：在每个Fastdfs storage节点所属主机部署IPFS节点，以创建跨公网的私有p2p网络；
步骤S2，部署集成SDK，初始化所述集成SDK，加载Fastdfs存储目录到所述IPFS节点，通过IPFS节点订阅所有Fastdfs二级目录主题；
步骤S3，所述集成SDK实时监听Fastdfs storage 文件事件；
步骤S4，在所述集成SDK监听到Fastdfs storage 文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFS CID；
步骤S5，集成SDK依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题；所述特定订阅主题的消息内容包括事件类型、Fastdfs fileId、时间戳和IPFS CID；
步骤S6，集成SDK接收对应同步服务节点订阅的主题更新的消息，执行对应的数据同步策略，实现跨公网的不同内网之间的数据实时同步。
本发明第二方面提供一种节点设备，所述节点设备包括同步服务节点和集成SDK；
所述同步服务节点，包括Fastdfs storage节点和IPFS节点，其中，所述IPFS节点基于Fastdfs集群中的Fastdfs storage节点进行分布式部署，所述Fastdfs storage节点用于提供业务数据文件存储服务；所述IPFS节点部署在每一Fastdfs storage节点的同一主机上，用于为所述Fastdfs集群提供跨公网的私有p2p网络；
所述集成SDK，设置Fastdfs文件消息监听服务、同步逻辑业务处理服务和消息主题服务；用于在监听到Fastdfs storage 文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFS CID；以及依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题；以及接收对应同步服务节点订阅的主题更新的消息，使用IPFS节点通过IPFS CID从处于同一内网的同组同步服务节点下载同步数据，或者从处于不同内网的同组同步服务节点下载同步数据，实现跨公网的不同内网之间的数据实时同步。
本发明第三方面提供另一种节点设备，所述节点设备包括同步服务节点和集成SDK；
所述同步服务节点，包括Fastdfs storage节点和IPFS节点；其中，所述IPFS节点基于Fastdfs集群中的Fastdfs storage节点进行分布式部署，所述Fastdfs storage节点用于提供业务数据文件存储服务；所述IPFS节点部署在每一Fastdfs storage节点的同一主机上，用于为所述Fastdfs集群提供跨公网的私有p2p网络；
所述集成SDK，设置Fastdfs文件消息监听服务、同步逻辑业务处理服务和消息主题服务；用于标记所述集成SDK服务的同步服务节点类型；以及在监听到Fastdfs storage文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFSCID；以及依据监听到的Fastdfs storage 文件事件类型及对应的同步服务节点类型，判断是否将消息发布到特定订阅主题；以及接收对应同步服务节点订阅的主题更新的消息，使用IPFS节点通过IPFS CID从处于同一内网的同组同步服务节点下载同步数据，或者从处于不同内网的同组同步服务节点下载同步数据，实现跨公网的不同内网之间的数据实时同步。
本发明第四方面提供一种基于IPFS的分布式实时数据同步系统，包括若干同步服务节点及集成SDK，同组的同步服务节点部署在不同的内网中；其中，
所述同步服务节点包括Fastdfs storage节点和IPFS节点，基于Fastdfs集群中的Fastdfs storage节点进行分布式部署；其中，所述Fastdfs storage节点用于提供业务数据文件存储服务；针对每一Fastdfs storage节点，在同一主机进行IPFS节点的部署；所述IPFS节点用于为所述Fastdfs集群提供跨公网的私有p2p网络；
所述集成SDK，设置Fastdfs文件消息监听服务、同步逻辑业务处理服务、消息主题服务为所述同步服务节点提供相对应业务功能，实现跨公网的不同内网之间的数据实时同步。
本发明的有益效果：
1）本发明结合IPFS技术实现Fastdfs实时数据同步，针对每一Fastdfs storage节点，在同一主机进行IPFS节点的部署，构建跨公网的私有p2p网络，其中，私有IPFS网络只允许加入网络中的节点查看信息，接入私有IPFS网络的节点需要私钥，这样就保证了既可以利用IPFS实现跨公网的访问，同时也保证了内网的安全；从而解决了fastdfs跨网安全通信问题；
2）本发明通过集成SDK提供的Fastdfs文件消息监听服务、同步逻辑业务处理服务、消息主题服务，采用订阅主题形式，使得同步服务节点可以实时通过内容寻址方式下载同步同组内其他同步服务节点的Fastdfs storage数据，解决了fastdfs跨公网实时数据同步问题；
3）本发明利用IPFS的特性从多个Fastdfs storage节点下载同步文件，相对于原始的Fastdfs storage单线程下载，能够有效提高较大文件的同步效率；使得数据同步实时性更强，对于分布式文件存储有重要意义。
附图说明
图1为本发明的一种具体实施例的基于IPFS的分布式实时数据同步系统架构图。
图2为本发明的另一种具体实施例的基于IPFS的分布式实时数据同步系统架构图。
图3为本发明所述集成SDK的示意图。
图4为本发明所述的基于IPFS的分布式实时数据同步方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
星际文件系统IPFS（InterPlanetary File System）是一个面向全球的、点对点的分布式版本文件系统，目标是为了补充（甚至是取代）目前统治互联网的超文本传输协议（HTTP），将所有具有相同文件系统的计算设备连接在一起。原理用基于内容的地址替代基于域名的地址，也就是用户寻找的不是某个地址而是储存在某个地方的内容，不需要验证发送者的身份，而只需要验证内容的哈希，可以让网页的速度更快、更安全、更健壮、更持久。
星际文件系统IPFS使用一个公钥（或非对称）加密系统来生成一对密钥：一个可以共享的公钥和一个需要保密的私钥。使用这组密钥，IPFS对等节点可以执行身份验证，其中公钥用于验证具有成对私钥的对等节点是否实际发送了给定的消息，并进行加密，只有具有成对私钥的对等节点才能解密使用相应公钥加密的消息。
IPFS Pubsub(Publish-subscribe)服务是IPFS提供的一种发布-订阅模式服务，在此模式下消息的发送者( publisher)不直接将消息发送给接收者( subscriber)，而是将消息分成多个类别，发送者并不知道也无须知道接收者的存在。而接收者只需要订阅一个或多个类别的消息类,只接收感兴趣的消息，不知道也无须知道发送者的存在。目前，任何IPFS节点都可以发布任何 pubsub 主题。
实施例1
如图4所示，本发明首先提出一种基于IPFS的分布式实时数据同步方法，所述方法包括以下步骤：
步骤S1，配置同步服务节点：在每个Fastdfs storage节点所属主机部署IPFS节点，以在不同内网中的Fastdfs storage节点之间创建跨公网的私有p2p网络；
需要说明的是，在分布式Fastdfs集群中设置多个Fastdfs storage节点，多个Fastdfs storage节点可能在同一主机中安装，也可能安装在多个主机上；本发明实施例中将Fastdfs storage节点作为同步服务节点，在每个同步服务节点部署IPFS节点，Fastdfsstorage节点与IPFS节点为一对一的关系，但是本发明对于此不限制；采用同样的思路也可以在多个Fastdfs storage节点所述的同一主机安装1个IPFS节点。
在本实施例中，同组的同步服务节点共享公私钥，持有私钥的节点才可以加入IPFS网络，这样可以保证跨公网的不同私有网络之间访问的安全。
步骤S2，部署集成SDK，初始化所述集成SDK，加载Fastdfs存储目录到所述IPFS节点，通过IPFS节点订阅所有Fastdfs二级目录主题；
需要说明的是，所述集成SDK 封装了Fastdfs文件消息监听服务、同步逻辑业务处理服务、消息主题订阅发送服务，以便于为所述同步服务节点提供相对应的业务功能。因为Fastdfs目录结构是固定的，主题根据特定的名称设定，例如：分组00下目录00/00的主题定义为 M00/00/00。为在一个组内的所有同步服务节点定义相同主题，以实现数据的实时同步。
步骤S3，集成SDK实时监听Fastdfs storage 最新文件事件；
步骤S4，集成SDK监听到Fastdfs storage文件事件，添加文件对应Fastdfs目录到IPFS节点，生成新的IPFS CID；
需要说明的是，CID 是IPFS中的文件寻址格式，IPFS协议使用CID作为文件的唯一标志，它根据内容进行hash计算得到，标志的是文件内容；而不同于HTTP标志的文件存储的位置。目录CID就是目录下所有文件以及目录hash，一个IPFS节点可以向它的peer（网络参与者）询问是否存有某特定hash值的文件，如果某个peer有这个文件，就返回文件。因此，当Fastdfs storage文件事件发生时，通过IPFS CID可以实现Fastdfs storage文件数据的下载和同步到IPFS节点。
步骤S5，集成SDK依据监听到的Fastdfs storage 文件事件，判断是否将消息发布到特定订阅主题；所述特定订阅主题的消息内容包括事件类型、Fastdfs fileId、时间戳、IPFS CID；
步骤S6，集成SDK接收对应同步服务节点订阅的主题更新的消息，执行对应的数据同步策略。
在一种具体实施方式中，步骤S5中集成SDK依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题时，执行：若集成SDK监听到同步服务节点发生源创建事件、源追加事件和源删除事件，则将消息发布到特定订阅主题；若集成SDK监听到同步服务节点发生副本创建事件、副本追加事件和副本删除事件，则不将消息发布到特定订阅主题。
需要说明的是，一般情况下，Fastdfs storage节点部署在企业内网，当企业规模较大时，可能需要多个不同的企业内网之间进行数据的存储和同步，如图2所示的内网1和内网2。内网1中的Fastdfs storage节点与内网2中的Fastdfs storage节点属于同一级别，即内网1中的Fastdfs storage节点的发生源事件后，内网2中同组的Fastdfs storage节点需要向网1中的Fastdfs storage节点下载同步数据文件；同样的，内网2中的Fastdfsstorage节点的发生源事件后，内网1中同组的Fastdfs storage节点需要向网2中的Fastdfs storage节点下载同步数据文件。因此，集成SDK依据监听到的Fastdfs storage文件事件类型，判断是否将消息发布到特定订阅主题；而暂不考虑同步服务节点的类型。
在另一种具体实施方式中，标记所述集成SDK服务的同步服务节点类型；其中，所述同步服务节点类型包括源节点和同步节点，所述源节点为主中心同步服务节点，所述同步节点为备中心同步服务节点；
集成SDK依据监听到的Fastdfs storage 文件事件类型及对应的同步服务节点类型，判断是否将消息发布到特定订阅主题；若集成SDK监听到主中心同步服务节点发生源创建事件、源追加事件和源删除事件，则将消息发布到特定订阅主题；若集成SDK监听到备中心同步服务节点发生源创建事件、源追加事件和源删除事件，则不将消息发布到特定订阅主题。
需要说明的是，一般情况下，Fastdfs storage节点部署在企业内网，当企业规模较大时，可能需要多个不同的企业内网之间进行数据的存储和同步。内网1中的Fastdfsstorage节点与内网2中的Fastdfs storage节点属于不同的级别，内网1中的Fastdfsstorage节点级别高于内网2中的Fastdfs storage节点；例如，内网2中的Fastdfs storage节点处于总公司级别，内网1中的Fastdfs storage节点属于分公司级别。即内网1中的Fastdfs storage节点的发生源事件后，内网2中同组的Fastdfs storage节点需要向网1中的Fastdfs storage节点下载同步数据文件；但是，内网2中的Fastdfs storage节点的发生源事件后，内网1中同组的Fastdfs storage节点不需要也不能向网2中的Fastdfs storage节点下载同步数据文件。因此，集成SDK依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题使，还考虑同步服务节点的类型。
进一步地，所述同步服务节点类型包括源节点和同步节点，所述源节点为主中心同步服务节点，所述同步节点为备中心同步服务节点。所述集成SDK加载Fastdfs存储目录到所述IPFS节点后，会标记同步服务节点的类型为源节点或同步节点，在监听到相应节点事件后进行不同的处理。具体处理的方法可以参考步骤S5和步骤S6。
其中，所述Fastdfs storage文件事件包括：源创建事件、副本创建事件、源追加事件、副本追加事件、源删除事件、副本删除事件，源事件是指直接在当前storage上操作的文件，当前storage即用户上传文件时直接与其交互的storage，副本事件是指从其它storage同步过来的文件。源创建事件、源追加事件和源删除事件既可能来自源节点，也可能来自同步节点，同样的，副本创建事件、副本追加事件和副本追加事件可能来自源节点，也可能来自同步节点。
比如，监听到源节点（主中心节点）的文件变化时，那么集成SDK负责将文件事件发送到对应的订阅目录主题。如果是同步节点（备中心节点）的文件变化，即发生的是同步动作，则可以对事件不作处理。如果是处于主中心的源节点，可能不需要进行数据同步处理；处于备中心的同步节点，使用IPFS节点通过IPFS CID下载同步文件，并根据消息内容描述的事件信息（源创建事件、副本创建事件、源追加事件、副本追加事件、源删除事件、副本删除事件，以及Fastdfs fileId、时间戳、IPFS CID等），执行具体的删除文件、添加文件等动作。
进一步地，在进行数据同步时，所述同步服务节点基于所述时间戳确定另一内网中的各个同组同步服务节点对应的同步数据分块，并利用IPFS节点的特性同时从多个同步服务节点下载同步数据分块。
需要说明的是，时间戳用于指示同步进度，同一内网的Fastdfs storage节点数据同步速度比不同内网之间数据同步速度快；例如，在内网1中的Fastdfs storage节点1上传文件1，内网1中的Fastdfs storage节点2同步文件1的1/2，内网1中的Fastdfs storage节点3同步文件1的1/3；在进行数据同步时，内网2中的Fastdfs storage节点1可以选择分别从内网1中的Fastdfs storage节点1、Fastdfs storage节点2和Fastdfs storage节点3，下载同步数据分块11、数据分块12和数据分块13；再将数据分块11、数据分块12和数据分块13重组为文件1。或者，内网2中的Fastdfs storage节点1可以选择分别从内网1中的Fastdfsstorage节点1、Fastdfs storage节点2下载同步数据分块11、数据分块12，内网2中的Fastdfs storage节点2从内网1中的Fastdfs storage节点3下载同属数据分块13；内网2中的Fastdfs storage节点1与Fastdfs storage节点2进行数据块同步后，再分别将数据分块11、数据分块12和数据分块13重组为文件1。
可以理解，所述主中心有多个Fastdfs storage节点，所述备中心利用IPFS的特性从多个Fastdfs storage节点下载同步文件。需要说明的是，IPFS是通用目的的基础架构，基本没有存储上的限制。大文件会被切分成小的分块，下载的时候可以从多个服务器同时获取。因此利用IPFS的特性从多个Fastdfs storage节点下载同步文件，相对于原始的Fastdfs storage单线程下载，能够有效提高文件下载效率。
可以理解，实际应用中可以根据需要位于不同内网且属于同一组的同步服务节点数量，在进行多节点数据同步提速时，可以根据需要将待同步文件分为若干份，并选择通过一个同步服务节点来实现数据下载同步，还是通过多个同步服务节点来实现数据下载同步；使得数据同步实时性更强，对于分布式文件存储有重要意义。
实施例2
本实施例给出了一种节点设备，包括同步服务节点和集成SDK；
所述同步服务节点，包括Fastdfs storage节点和IPFS节点，其中，所述IPFS节点基于Fastdfs集群中的Fastdfs storage节点进行分布式部署，所述Fastdfs storage节点用于提供业务数据文件存储服务；所述IPFS节点部署在每一Fastdfs storage节点的同一主机上，用于为所述Fastdfs集群提供跨公网的私有p2p网络；
所述集成SDK，设置Fastdfs文件消息监听服务、同步逻辑业务处理服务和消息主题服务；用于在监听到Fastdfs storage 文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFS CID；以及依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题；以及接收对应同步服务节点订阅的主题更新的消息，使用IPFS节点通过IPFS CID从处于同一内网的同组同步服务节点下载同步数据，或者从处于不同内网的同组同步服务节点下载同步数据，实现跨公网的不同内网之间的数据实时同步。
进一步地，所述集成SDK，用于在监听到对应同步服务节点发生源创建事件、源追加事件和源删除事件时，将消息发布到特定订阅主题；在监听到对应同步服务节点发生副本创建事件、副本追加事件和副本删除事件时，不将消息发布到特定订阅主题；所述特定订阅主题的消息内容包括事件类型、Fastdfs fileId、时间戳和IPFS CID。
可以理解，一般情况下，Fastdfs storage节点部署在企业内网，当企业规模较大时，可能需要多个不同的企业内网之间进行数据的存储和同步，如图2所示的内网1和内网2。内网1中的Fastdfs storage节点与内网2中的Fastdfs storage节点属于同一级别，即内网1中的Fastdfs storage节点的发生源事件后，内网2中同组的Fastdfs storage节点需要向网1中的Fastdfs storage节点下载同步数据文件；同样的，内网2中的Fastdfs storage节点的发生源事件后，内网1中同组的Fastdfs storage节点需要向网2中的Fastdfsstorage节点下载同步数据文件。因此，集成SDK依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题；而暂不考虑同步服务节点的类型。
可以理解，所述同步服务节点使用IPFS通过IPFS CID下载同步文件，并根据消息内容描述的事件信息（源创建事件、副本创建事件、源追加事件、副本追加事件、源删除事件、副本删除事件，以及Fastdfs fileId、时间戳、IPFS CID等），执行具体的删除文件、添加文件等动作。
实施例3
本实施例给出了另一种节点设备，包括同步服务节点和集成SDK；
所述同步服务节点，包括Fastdfs storage节点和IPFS节点；其中，所述IPFS节点基于Fastdfs集群中的Fastdfs storage节点进行分布式部署，所述Fastdfs storage节点用于提供业务数据文件存储服务；所述IPFS节点部署在每一Fastdfs storage节点的同一主机上，用于为所述Fastdfs集群提供跨公网的私有p2p网络；
所述集成SDK，设置Fastdfs文件消息监听服务、同步逻辑业务处理服务和消息主题服务；用于标记所述集成SDK服务的同步服务节点类型；以及在监听到Fastdfs storage文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFSCID；以及依据监听到的Fastdfs storage 文件事件类型及对应的同步服务节点类型，判断是否将消息发布到特定订阅主题；以及接收对应同步服务节点订阅的主题更新的消息，使用IPFS节点通过IPFS CID从处于同一内网的同组同步服务节点下载同步数据，或者从处于不同内网的同组同步服务节点下载同步数据，实现跨公网的不同内网之间的数据实时同步。
进一步地，所述集成SDK，用于在监听到主中心同步服务节点发生源创建事件、源追加事件和源删除事件时，将消息发布到特定订阅主题；或者在监听到备中心同步服务节点发生源创建事件、源追加事件和源删除事件时，不将消息发布到特定订阅主题节点；
其中，所述同步服务节点类型包括源节点和同步节点，所述源节点为主中心同步服务，所述同步节点为备中心同步服务节点。
可以理解，一般情况下，Fastdfs storage节点部署在企业内网，当企业规模较大时，可能需要多个不同的企业内网之间进行数据的存储和同步，如图1所示的内网1和内网2。内网1中的Fastdfs storage节点与内网2中的Fastdfs storage节点属于不同的级别，内网1中的Fastdfs storage节点级别高于内网2中的Fastdfs storage节点；例如，内网2中的Fastdfs storage节点处于总公司级别，内网1中的Fastdfs storage节点属于分公司级别。即内网1中的Fastdfs storage节点的发生源事件后，内网2中同组的Fastdfs storage节点需要向网1中的Fastdfs storage节点下载同步数据文件；但是，内网2中的Fastdfsstorage节点的发生源事件后，内网1中同组的Fastdfs storage节点不需要也不能向网2中的Fastdfs storage节点下载同步数据文件。因此，集成SDK依据监听到的Fastdfs storage文件事件类型，判断是否将消息发布到特定订阅主题时，还考虑同步服务节点的类型。
实施例4
本发明还提出一种基于IPFS的分布式实时数据同步系统，如图1所示，所述系统包括：若干同步服务节点及集成SDK，其中，
所述同步服务节点基于Fastdfs集群中的Fastdfs storage节点进行分布式部署，所述Fastdfs storage节点用于提供业务数据文件存储服务；一般情况下，Fastdfsstorage节点部署在企业内网，当企业规模较大时，可能需要多个不同的企业内网之间进行数据的存储和同步，如图1所示的内网1和内网2。为了实现公网环境下多个企业内网的通信，本发明结合IPFS技术实现Fastdfs实时数据同步，针对每一Fastdfs storage节点，在同一主机进行IPFS节点的部署，所述IPFS节点用于为所述Fastdfs集群提供跨公网的私有p2p（Peer-to-Peer，简称P2P）网络，其中，私有IPFS网络只允许加入网络中的节点查看信息，接入私有IPFS网络的节点需要私钥，这样就保证了既可以利用IPFS实现跨公网的访问，同时也保证了内网的安全。
所述集成SDK，设置Fastdfs文件消息监听服务、同步逻辑业务处理服务、消息主题服务为所述同步服务节点提供相对应业务功能，实现跨公网的不同内网之间的数据实时同步。
需要说明的是，当需要向所述同步服务节点上传文件时，所述同步服务节点的跟踪服务器(Tracker Server)基于数据写入请求和存储服务器（Fastdfs storage）状态，筛选出空闲存储组中的空闲存储服务器（Fastdfs storage）；客户端获取空闲存储服务器（Fastdfs storage）地址，以向所述空闲存储服务器（Fastdfs storage）发送数据写入请求；所述空闲存储服务器（Fastdfs storage）基于数据写入请求为待写入文件数据分配一个数据存储目录，所述空闲存储服务器（Fastdfs storage）根据空闲存储服务器（Fastdfsstorage）ip、创建时的时间戳、大小、文件的校验码和一个随机数进行hash计算后生成Fastdfs fileId；将文件以Fastdfs fileId为文件名存储至一个子目录中。在将文件存储至某个子目录后，生成文件名；其中，文件名group、存储目录、两级子目录、fileid和文件后缀名拼接而成。
进一步地，所述同步服务节点包括源节点和同步节点，所述源节点为主中心同步服务节点，所述同步节点为备中心同步服务节点。所述备中心同步服务节点采用订阅主题形式，实时通过内容寻址方式下载同步主中心同步服务节点的Fastdfs storage数据。
需要说明的是，在一种具体实施方式中，所述源节点为主中心同步服务节点，所述同步节点为备中心同步服务节点；用户通过主中心的同步服务节点进行文件上传、修改或者删除等操作，处于备中心的同一组的同步服务节点，依据接收到的订阅主题，实时通过内容寻址方式下载同步主中心同步服务节点的Fastdfs storage数据。可以理解，备中心的同步服务节点用于备份存储，防止主中心的同步服务节点发生故障导致数据丢失，如图1所示的内网1和内网2。
在另一种具体实施方式中，内网1中的同步服务节点与内网2中的同步服务节点属于不同的级别，内网2中的同步服务节点级别高于内网1中的同步服务节点；例如，内网2中的同步服务节点处于总公司级别，内网1中的同步服务节点属于分公司级别。即内网1中的同步服务节点的发生源事件后，内网2中同组的同步服务节点需要向网1中的同步服务节点下载同步数据文件；但是，内网2中的同步服务节点的发生源事件后，内网1中同组的同步服务节点不需要也不能向网2中的同步服务节点下载同步数据文件。
在另一种具体实施方式中，内网1中的同步服务节点与内网2中的同步服务节点地位是平等的；位于同一组的不同内网中的同步服务节点，可以为源节点，也可以为同步节点；内网1的同步服务节点可以为源节点，也可以为同步节点，内网2中的同步服务节点可以为源节点，也可以为同步节点；此时，可以在不同内网间的实现文件分布式存储。例如，内网1中的同步服务节点发生源事件后，内网2中同组的同步服务节点需要向网1中的同步服务节点下载同步数据文件；同样的，内网2中的同步服务节点发生源事件后，内网1中同组的同步服务节点需要向网2中的同步服务节点下载同步数据文件。
进一步地，所述主中心设置多个Fastdfs storage节点，在进行数据同步时，所述备中心的Fastdfs storage节点利用IPFS节点的特性从多个Fastdfs storage节点下载同步文件。
需要说明的是，所述备中心同步服务节点通过IPFS技术实现多节点下载提速。例如，内网1和内网2为不同的内网，处于内网1中的同步服务节点1、同步服务节点2和同步服务节点3，与处于内网2中的同步服务节点1和同步服务节点2位于同一组。当向内网1中的同步服务节点1上传文件1后，需要将文件1同步内网1中的同步服务节点2和同步服务节点3，以及内网2中的同步服务节点1和同步服务节点2；由于内网1中的同步服务节点2和同步服务节点3与内网1中的同步服务节点1位于同一个内网中，因此，内网1中的同步服务节点2和同步服务节点3与内网1中的同步服务节点1之间数据同步速度，要快于内网1中的同步服务节点1与内网2中的同步服务节点1和同步服务节点2数据同步速度。因此，通过特定加密算法可以将文件1打散，分为三份：文件11、文件12和文件13；在进行数据同步时，内网2中的同步服务节点1和同步服务节点2，分别从内网1中的同步服务节点1获得文件11，从内网1中的同步服务节点2获得文件12，从内网1中的同步服务节点3获得文件13，然后将文件11、文件12和文件13组装成文件1，实现多节点下载提速。或者，内网2中的同步服务节点1从内网1中的同步服务节点1获得文件11；内网2中的同步服务节点2从内网1中的同步服务节点2获得文件12，从内网1中的同步服务节点3获得文件13，内网2中的同步服务节点1和同步服务节点2之间进行数据同步后，将文件11、文件12和文件13组装成文件1，进一步提高多节点下载速度。
可以理解，实际应用中可以根据需要位于不同内网且属于同一组的同步服务节点数量，在进行多节点数据同步提速时，可以根据需要将待同步文件分为若干份，并选择通过一个同步服务节点来实现数据下载同步，还是通过多个同步服务节点来实现数据下载同步；使得数据同步实时性更强，对于分布式文件存储有重要意义。
进一步地，所述集成SDK包括第一服务单元、第二服务单元和第三服务单元，如图3所示，所述第一服务单元用于通过Fastdfs文件消息监听服务监听Fastdfs storage文件事件；所述第二服务单元用于通过同步逻辑业务处理服务依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题；或者用于通过同步逻辑业务处理服务对同步服务节点进行标记，依据同步服务节点类型及Fastdfs storage文件事件类型执行对应的订阅主题发布策略；所述第三服务单元用于通过消息主题服务实现IPFS pubsub的封装调用，根据同步服务节点类型及其订阅的主题，执行对应的数据同步策略；或者根据同步服务节点类型及对应同步服务节点订阅的主题更新的消息，执行对应的数据同步策略。
进一步地，所述Fastdfs storage文件事件包括源创建事件、副本创建事件、源追加事件、副本追加事件、源删除事件和副本删除事件，其中，源是指直接在当前storage上操作的文件，当前storage即用户上传文件时直接与其交互的storage，副本是指从其它storage同步过来的文件。源创建事件、源追加事件和源删除事件既可能来自源节点，也可能来自同步节点，同样的，副本创建事件、副本追加事件和副本追加事件可能来自源节点，也可能来自同步节点。
在一种具体实施方式中，所述集成SDK，用于在监听到对应同步服务节点发生源创建事件、源追加事件和源删除事件时，将消息发布到特定订阅主题；在监听到对应同步服务节点发生副本创建事件、副本追加事件和副本删除事件时，不将消息发布到特定订阅主题。
在另一种具体实施方式中，所述集成SDK，用于标记所述集成SDK服务的同步服务节点类型；并在监听到主中心同步服务节点发生源创建事件、源追加事件和源删除事件时，将消息发布到特定订阅主题；或者在监听到备中心同步服务节点发生源创建事件、源追加事件和源删除事件时，不将消息发布到特定订阅主题节点；其中，所述同步服务节点类型包括源节点和同步节点，所述源节点为主中心同步服务，所述同步节点为备中心同步服务节点。
同步服务节点接收其订阅的主题更新的消息，执行对应的数据同步策略。例如，如果是处于主中心的源节点，可能不需要处理；处于备中心的同步节点，使用IPFS通过IPFSCID下载同步文件，并根据消息内容描述的事件信息（源创建事件、副本创建事件、源追加事件、副本追加事件、源删除事件、副本删除事件，以及Fastdfs fileId、时间戳、IPFS CID等），执行具体的删除文件、添加文件等动作。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员在不脱离本发明技术方案的精神下，对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换，其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (12)
1.一种基于IPFS的分布式实时数据同步方法，其特征在于，包括以下步骤：
步骤S1，配置同步服务节点：在每个Fastdfs storage节点所属主机部署IPFS节点，以创建跨公网的私有p2p网络；
步骤S2，部署集成SDK，初始化所述集成SDK，加载Fastdfs存储目录到所述IPFS节点，通过IPFS节点订阅所有Fastdfs二级目录主题；
步骤S3，所述集成SDK实时监听Fastdfs storage 文件事件；
步骤S4，在所述集成SDK监听到Fastdfs storage 文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFS CID；
步骤S5，集成SDK依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题；
步骤S6，集成SDK接收对应同步服务节点订阅的主题更新的消息，执行对应的数据同步策略，实现跨公网的不同内网之间的数据实时同步。
2.根据权利要求1所述的基于IPFS的分布式实时数据同步方法，其特征在于，步骤S5中集成SDK依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题时，执行：
若集成SDK监听到同步服务节点发生源创建事件、源追加事件和源删除事件，则将消息发布到特定订阅主题；
若集成SDK监听到同步服务节点发生副本创建事件、副本追加事件和副本删除事件，则不将消息发布到特定订阅主题。
3.根据权利要求1所述的基于IPFS的分布式实时数据同步方法，其特征在于，还包括：标记所述集成SDK服务的同步服务节点类型；其中，所述同步服务节点类型包括源节点和同步节点，所述源节点为主中心同步服务节点，所述同步节点为备中心同步服务节点；
集成SDK依据监听到的Fastdfs storage 文件事件类型及对应的同步服务节点类型，判断是否将消息发布到特定订阅主题；若集成SDK监听到主中心同步服务节点发生源创建事件、源追加事件和源删除事件，则将消息发布到特定订阅主题；若集成SDK监听到备中心同步服务节点发生源创建事件、源追加事件和源删除事件，则不将消息发布到特定订阅主题。
4.根据权利要求2或3所述的基于IPFS的分布式实时数据同步方法，其特征在于，所述特定订阅主题的消息内容包括事件类型、Fastdfs fileId、时间戳和IPFS CID；
在进行数据同步时，所述同步服务节点基于所述时间戳确定另一内网中的各个同组同步服务节点对应的同步数据分块，并利用IPFS节点的特性同时从多个同步服务节点下载同步数据分块。
5.一种节点设备，其特征在于，包括同步服务节点和集成SDK；
所述同步服务节点，包括Fastdfs storage节点和IPFS节点，其中，所述IPFS节点基于Fastdfs集群中的Fastdfs storage节点进行分布式部署，所述Fastdfs storage节点用于提供业务数据文件存储服务；所述IPFS节点部署在每一Fastdfs storage节点的同一主机上，用于为所述Fastdfs集群提供跨公网的私有p2p网络；
所述集成SDK，设置Fastdfs文件消息监听服务、同步逻辑业务处理服务和消息主题服务；用于在监听到Fastdfs storage 文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFS CID；以及依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题；以及接收对应同步服务节点订阅的主题更新的消息，使用IPFS节点通过IPFS CID从处于同一内网的同组同步服务节点下载同步数据，或者从处于不同内网的同组同步服务节点下载同步数据，实现跨公网的不同内网之间的数据实时同步。
6.根据权利要求5所述的节点设备，其特征在于，所述集成SDK，用于在监听到对应同步服务节点发生源创建事件、源追加事件和源删除事件时，将消息发布到特定订阅主题；在监听到对应同步服务节点发生副本创建事件、副本追加事件和副本删除事件时，不将消息发布到特定订阅主题。
7.一种节点设备，其特征在于，包括同步服务节点和集成SDK；
所述同步服务节点，包括Fastdfs storage节点和IPFS节点；其中，所述IPFS节点基于Fastdfs集群中的Fastdfs storage节点进行分布式部署，所述Fastdfs storage节点用于提供业务数据文件存储服务；所述IPFS节点部署在每一Fastdfs storage节点的同一主机上，用于为所述Fastdfs集群提供跨公网的私有p2p网络；
所述集成SDK，设置Fastdfs文件消息监听服务、同步逻辑业务处理服务和消息主题服务；用于标记所述集成SDK服务的同步服务节点类型；以及在监听到Fastdfs storage 文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFSCID；以及依据监听到的Fastdfs storage 文件事件类型及对应的同步服务节点类型，判断是否将消息发布到特定订阅主题；以及接收对应同步服务节点订阅的主题更新的消息，使用IPFS节点通过IPFS CID从处于同一内网的同组同步服务节点下载同步数据，或者从处于不同内网的同组同步服务节点下载同步数据，实现跨公网的不同内网之间的数据实时同步。
8.根据权利要求7所述的节点设备，其特征在于，所述集成SDK，用于在监听到主中心同步服务节点发生源创建事件、源追加事件和源删除事件时，将消息发布到特定订阅主题；或者在监听到备中心同步服务节点发生源创建事件、源追加事件和源删除事件时，不将消息发布到特定订阅主题节点；
其中，所述同步服务节点类型包括源节点和同步节点，所述源节点为主中心同步服务，所述同步节点为备中心同步服务节点。
9.一种基于IPFS的分布式实时数据同步系统，其特征在于，包括若干同步服务节点及集成SDK，同组的同步服务节点部署在不同的内网中；其中，
所述同步服务节点包括Fastdfs storage节点和IPFS节点，基于Fastdfs集群中的Fastdfs storage节点进行分布式部署；其中，所述Fastdfs storage节点用于提供业务数据文件存储服务；针对每一Fastdfs storage节点，在同一主机进行IPFS节点的部署；所述
IPFS节点用于为所述Fastdfs集群提供跨公网的私有p2p网络；
所述集成SDK，设置Fastdfs文件消息监听服务、同步逻辑业务处理服务、消息主题服务为所述同步服务节点提供相对应业务功能，实现跨公网的不同内网之间的数据实时同步；
所述集成SDK，用于在监听到Fastdfs storage 文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFS CID；
所述集成SDK，用于依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题；或者用于标记所述集成SDK服务的同步服务节点类型，依据监听到的Fastdfs storage 文件事件类型及对应的同步服务节点类型，判断是否将消息发布到特定订阅主题；
所述集成SDK，用于接收对应同步服务节点订阅的主题更新的消息，使用IPFS节点通过IPFS CID从处于同一内网的同组同步服务节点下载同步数据，或者从处于不同内网的同组同步服务节点下载同步数据，实现跨公网的不同内网之间的数据实时同步。
10.根据权利要求9所述的基于IPFS的分布式实时数据同步系统，其特征在于，所述集成SDK包括第一服务单元、第二服务单元和第三服务单元，其中：
所述第一服务单元，用于通过Fastdfs文件消息监听服务监听Fastdfs storage文件事件；
所述第二服务单元，用于通过同步逻辑业务处理服务依据监听到的Fastdfs storage文件事件类型，判断是否将消息发布到特定订阅主题；或者用于通过同步逻辑业务处理服务对同步服务节点类型进行标记，依据同步服务节点类型及Fastdfs storage文件事件类型，判断是否将消息发布到特定订阅主题；
所述第三服务单元，用于通过消息主题服务实现IPFS pubsub的封装调用，根据对应同步服务节点订阅的主题更新的消息，执行对应的数据同步策略；或者根据同步服务节点类型及对应同步服务节点订阅的主题更新的消息，执行对应的数据同步策略。
11.根据权利要求9所述的基于IPFS的分布式实时数据同步系统，其特征在于，在进行数据同步时，所述同步服务节点利用IPFS节点的特性从另一内网的多个同步服务节点分块下载同步文件。
12.根据权利要求9至11任一项所述的基于IPFS的分布式实时数据同步系统，其特征在于，所述同步服务节点采用订阅主题形式，实时通过内容寻址方式下载同步另一内网中同组同步服务节点的Fastdfs storage数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010844374.7A CN112035422B (zh) | 2020-08-20 | 2020-08-20 | 基于ipfs的分布式实时数据同步方法、节点设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010844374.7A CN112035422B (zh) | 2020-08-20 | 2020-08-20 | 基于ipfs的分布式实时数据同步方法、节点设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112035422A CN112035422A (zh) | 2020-12-04 |
| CN112035422B true CN112035422B (zh) | 2022-03-25 |
Family
ID=73581025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010844374.7A Active CN112035422B (zh) | 2020-08-20 | 2020-08-20 | 基于ipfs的分布式实时数据同步方法、节点设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112035422B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112613059A (zh) * | 2020-12-31 | 2021-04-06 | 鲁班(北京)电子商务科技有限公司 | 基于Fastdfs及CA的快速解密文件的方法及系统 |
| CN113852672B (zh) * | 2021-09-07 | 2024-02-20 | 天翼数字生活科技有限公司 | 用于管理和监控分布式数据采集任务的方法、系统和介质 |
| CN114629917B (zh) * | 2022-03-22 | 2024-08-16 | 深圳市绿联科技股份有限公司 | 一种用于跨系统通讯的数据处理方法、装置及电子设备 |
| CN115801809B (zh) * | 2022-11-03 | 2023-11-03 | 广州辰创科技发展有限公司 | 跨网数据同步控制系统、方法及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704607A (zh) * | 2017-10-17 | 2018-02-16 | 武汉楚鼎信息技术有限公司 | 一种数据库数据同步的方法 |
| CN109753825A (zh) * | 2019-01-09 | 2019-05-14 | 篱笆墙网络科技有限公司 | 备份文件存储、备份文件下载方法及系统 |
| CN109831527A (zh) * | 2019-03-13 | 2019-05-31 | 试金石信用服务有限公司 | 文件处理方法、用户端、服务器及可读存储介质 |
| CN110807067A (zh) * | 2019-09-29 | 2020-02-18 | 北京淇瑀信息科技有限公司 | 关系型数据库和数据仓库的数据同步方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160094649A1 (en) * | 2014-09-30 | 2016-03-31 | Code 42 Software, Inc. | Node-to-node data distribution |
-
2020
- 2020-08-20 CN CN202010844374.7A patent/CN112035422B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704607A (zh) * | 2017-10-17 | 2018-02-16 | 武汉楚鼎信息技术有限公司 | 一种数据库数据同步的方法 |
| CN109753825A (zh) * | 2019-01-09 | 2019-05-14 | 篱笆墙网络科技有限公司 | 备份文件存储、备份文件下载方法及系统 |
| CN109831527A (zh) * | 2019-03-13 | 2019-05-31 | 试金石信用服务有限公司 | 文件处理方法、用户端、服务器及可读存储介质 |
| CN110807067A (zh) * | 2019-09-29 | 2020-02-18 | 北京淇瑀信息科技有限公司 | 关系型数据库和数据仓库的数据同步方法、装置及设备 |
Non-Patent Citations (2)
| Title |
|---|
| Understanding I/O Performance of IPFS Storage: A Client"s Perspective;Jiajie Shen 等;《2019 IEEE/ACM 27th International Symposium on Quality of Service (IWQoS)》;20200416;第1-10页 * |
| 基于FastDFS的目录文件系统的研究与实现;周子涵;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215(第2期);第I137-62页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112035422A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112035422B (zh) | 基于ipfs的分布式实时数据同步方法、节点设备及系统 | |
| Zhao et al. | Tapestry: A resilient global-scale overlay for service deployment | |
| Hasan et al. | A survey of peer-to-peer storage techniques for distributed file systems | |
| CN111104386A (zh) | 一种文件存储方法、终端及存储介质 | |
| Ali et al. | Blockstack: A new decentralized internet | |
| WO2006105468A1 (en) | Method and apparatus for offline cooperative file distribution using cache nodes | |
| US8725807B2 (en) | Decentralized data casting in an interest aware peer network | |
| CA2511298A1 (en) | Method and apparatus for discovering computers for storing fragments of files in a computer network | |
| JP2011519442A (ja) | 冗長なデータを転送する記憶装置 | |
| Shang et al. | Publish-subscribe communication in building management systems over named data networking | |
| CN114567647A (zh) | 一种基于ipfs的分布式云文件存储方法及系统 | |
| KR20130118088A (ko) | 멀티 메타데이터 서버 구조를 갖는 분산 파일 시스템 및 이를 이용한 데이터 처리 방법 | |
| Roos | Identity management on the blockchain | |
| Yu et al. | Granary: A sharing oriented distributed storage system | |
| CN113810468B (zh) | K8s架构下网关分发请求的方法、系统、设备和存储介质 | |
| Han et al. | MetaSync: Coordinating storage across multiple file synchronization services | |
| Gavalda et al. | Deploying wide-area applications is a snap | |
| Martalo et al. | A practical network coding approach for peer-to-peer distributed storage | |
| Wang et al. | NCDN: A Node‐Failure Resilient CDN Solution with Reinforcement Learning Optimization | |
| de Asis López-Fuentes et al. | Dynamic network coding for collaborative multisource system | |
| Carl et al. | Persistent Streams: The Internet With Ephemeral Storage | |
| da Silva Boger et al. | Intrusion-tolerant shared memory through a p2p overlay segmentation | |
| Mislove | POST: A decentralized platform for reliable collaborative applications | |
| Bandosz | Performance and Concepts of Identity-Centric Decentral Open-Source Databases | |
| Pallelra | Measurement and Enhancement of Peer-to-Peer based File Synchronization with Cloud Assistance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |