CN104348884B - 一种云存储自动同步方法 - Google Patents

Abstract

本发明公开了一种云存储自动同步方法。本方法为：1）云端将保存在本地的文件划分成若干区块，对每一个区块，计算一个强校验和和弱检验和并保存在缓存中；2）当云端的文件A发生变化，云端通知客户端与云端同步：首先确定客户端是否有该文件A，如果没有，则云端将该文件A发送给客户端；如果客户端有该文件A，则云端更新该文件A的强校验和和弱检验和发送给客户端；然后客户端对本地文件A进行计算，并与收到的该强校验和和弱检验和进行比较，得到所需区块编号的清单；3）客户端将该清单发送给云端，云端将所需区块发送给客户端；4）客户端将所需区块与本地文件A的区块合并更新本地文件A。本发明降低了云端负载，并能够实时同步。

Description

一种云存储自动同步方法

技术领域

本发明涉及一种云存储自动同步方法，属于计算机网络技术领域。

背景技术

在目前的文件同步技术中最为代表性和得到广泛应用的是rsync技术。该技术是最基本的远程文件同步技术，主要用来在两台主机之间进行文件同步。rsync算法是由澳大利亚的Andrew Tridgell提出的一种远程文件同步算法，最初的设计目的是使两台机器通过低速网络保持文件保持同步。rsync能够计算保存在不同机器上的两个文件中不同的部分并只传输这些不同的部分。这可以显著的降低所需要传输的数据量，从而使得在低速网络链路上可以相对快的达到同步状态。为了实现只传输不同的部分，rsync算法将文件分成等长度不重合的片段。如果新文件中存在旧文件中的片段，这些片段就不需要传输，只需要传输新文件中的那些旧文件没有的片段。

为了加快文件比较速度，在进行区块匹配的时候，rsync使用一对校验和：弱校验和和强校验和。弱校验和可以被连续的快速计算，因此又被称为滚动校验和。rsync会首先比较弱校验和（滚动校验和），只有在弱校验和相同的情况下才有必要对强校验和进行比对。

rsync的同步步骤如下（假设比较旧的文件为A，较新的文件为A’）：

1. 拥有旧文件的一方首先将文件A按照长度S分成不重合的片段，对每个分片计算一个强校验和和弱校验和。

2. 拥有旧文件的一方将所有A的校验和发送给另一方。

3. 拥有新文件的另外一方收到后，开始从A’文件头开始计算滚动校验和，并在A的校验和中查找，如果没有命中则说明A’中没有对应的文件片段，那么指针向后移动一个字节重新进行步骤3的运算；如果命中，则计算该片段对应的强校验和，和A中对应片段的强校验和比较，如果相同，则说明这两个片段是相同的，记录这个片段的引用，将指针移动到该片段末尾；否则说明这两个片段不同，指针向后移动一个字节，将该字节添加到A中不存在部分的集合中，重新进行步骤3的运算。在遍历完文件A’之后，被请求方就可以构建一份指令清单，包含对A中可用片段的引用和A中不存在的部分。

4. 拥有新文件的一方将这个清单发给请求方。

5. 拥有旧文件的一方根据这个清单和已有的文件A，生成一个和A’完全一样的文件。

目前的应用情况：

rsync最初被用来数据备份，和镜像网站之间的同步。现在被云服务提供商广泛的用于数据同步服务中。另外，rsync也用在分发性质的单向数据同步服务中。例如，在旨在提高BGP路由安全的RPKI体系中，使用了rsync进行证书文件的分发和同步。

该技术的缺点（局限性）：

1， rsync在下载同步和上传同步时云端的计算开销不同。使用rsync在用户进行下载同步的时候会给服务器的cpu带来较大的负载，尤其是在云存储的场景中，大量的用户请求同步会给服务器节点带来巨大的计算开销。这种开销主要是由于在下载同步过程中，服务器要进行大量的校验和的计算。而在上传同步的时候又会给客户端带来较大的负担。

2， rsync算法在应用到云存储中时会产生大量的重复运算，主要是重复计算未变动文件的校验和。

3， rsync不能自动的监测文件的变动，使得同步具有滞后性，这使得不同机器上的文件在较长时间内处于不同步的状态，造成数据的不一致。

发明内容

针对现有技术存在的技术问题，本发明的目的在于提供一种云存储自动同步方法；本发明主要包含以下几个部分：服务器友好的同步算法、传输方式选择机制、运算量转移决策机制、文件特征缓存机制。

本发明的技术方案为：

一种云存储自动同步方法，其中同步为客户端文件下载同步，其步骤为：

1）云端将保存在本地的文件划分成若干区块，对每一个区块，计算一个强校验和和弱检验和并保存在缓存中；

2）当云端文件系统的文件A发生变化，云端通知客户端与云端同步：首先确定客户端是否有该文件A，如果没有，则云端将该文件A发送给客户端；如果客户端有该文件A，则云端更新该文件A的强校验和和弱检验和发送给客户端；然后客户端对本地文件A进行计算，并与收到的该强校验和和弱检验和进行比较，得到所需区块编号的清单；

3）客户端将该清单发送给云端，云端将所需区块发送给客户端；

4）客户端将所需区块与本地文件A的区块合并更新本地文件A。

进一步的，所述云端将文件A及其强校验和和弱检验和发送给客户端，客户端将该强校验和和弱检验和存储到内存中的一个hash表中。

进一步的，所述云端设有一监控模块，用于监测云端的文件系统；当云端文件系统中的文件发生变化时，该监控模块通知缓存模块更新该文件的强校验和和弱检验和并缓存，并且通知客户端对该文件进行同步。

进一步的，云端设有一阈值T=log(S*U/W)，当文件传输时，云端计算当前的T值，当T>0时云端使用增量传输机制，即将所需区块发送给客户端；当T<0时使用全量传输机制，即将整个文件A发送给客户端；其中S表示文件A的大小，，U表示云端的CPU负载，W表示客户端的带宽。

一种云存储自动同步方法，其中同步为客户端文件上传同步，其步骤为：

1）客户端将要上传的文件A划分成若干区块，对每一个区块，计算一个强校验和和弱检验和并保存在缓存中；

2）当客户端通知云端对文件A进行同步：首先确定云端是否有该文件A，如果没有，则客户端将该文件A发送给云端；如果云端有该文件A，则云端将该文件A的强校验和和弱检验和发送给客户端；然后客户端将待上传文件A的强校验和和弱检验和与收到的强校验和和弱检验和进行比较，得到所需上传区块编号的清单；

3）客户端根据该清单将所需区块发送给云端；

4）云端将所需区块与云端本地文件A的区块合并更新云端的文件A。

进一步的，所述客户端将文件A及其强校验和和弱检验和发送给云端，云端将该强校验和和弱检验和存储到缓存中。

进一步的，云端设有一阈值T=log(S*U/W)，当文件传输时，云端计算当前的T值，当T>0时云端使用增量传输机制，即通知客户端将所需区块发送给云端；当T<0时使用全量传输机制，即将通知客户端将整个文件A发送给云端；其中S表示文件A的大小，U表示云端的CPU负载，W表示客户端的带宽。

本发明具有准实时同步机制，降低云端在文件同步时的处理器负载，加快云端在同步时的响应速度。智能的选择增量传输或者全量传输，智能的在云端和客户端之间转移计算量。提供一种自动化的同步方法，监控文件系统的改变并自动同步，从而更快的达到同步状态。

1：服务器友好的同步算法：

具体来说：云端将保存在本地的文件划分成若干区块，对每一个区块，计算一个强校验和和弱检验和。当进行同步时，云端将这些校验和发送给客户端。客户端将这些校验和存放到内存中的一个hash表中。客户端开始从文件首部开始逐字节的遍历本地的对应文件，对本地文件的每个区块计算一个弱校验和，同时在hash表中查找这个弱校验和，如果hash表中没有这个弱校验和，则说明在客户端一侧没有该区块；如果hash表中有该校验和，则客户端再计算本地文件该区块的强校验和，并和hash表中对应项的强校验和对比，如果这两个校验和相同，则说明这两个区块相同，否则这两个区块不同。如果区块相同，那么客户端记下该区块在新旧文件中的位置，并将指针向后移动一个区块的长度，继续进行上面的计算。如果区块不同，那么客户端指针直接向后移动一个字节，继续进行上面的计算。当客户端对本地的旧文件遍历完一遍之后，客户端列出能够重用的区块列表和需要从云端获得的区块列表。客户端将需要的区块列表发送给云端。云端遍历一遍本地新文件，按照区块列表复制出这些区块，发送给客户端。客户端根据这些新的区块和旧文件可以重用的区块，复制出一份新文件，该文件和云端保存的文件完全一致。同步步骤如附图1。

在原有的方案中，只有拥有新文件的一方才知道新文件和旧文件相比发生了哪些变化。原来的方案的过程实际上是一种“加法”操作，即旧文件中可以重用的区块+新文件中新增的区块=新的文件。而拥有旧文件的一方因为不能直接的知道新文件中发生的变化，因此无法直接的做这样的“加法”操作。而本方法相当于“减法”操作：新文件的所有区块-新旧文件中相同的区块=旧文件中没有的区块。具体来说，拥有新文件的一方将区块列表发送给旧文件的一方之后（新文件一方不需要做比较和查找操作），旧文件的一方逐字节的遍历旧文件，进行比较和查找，得到能够重用的区块，在新文件的区块列表中而不在旧文件的区块列表中的区块就是需要新文件一方传送的区块。使用“减法”操作之后，拥有旧文件的一方便可以进行比较操作。

2：传输方案选择机制

在同步时，进行增量传输所消耗的时间有可能比直接传输整个文件还要长。造成这种情况的主要原因是文件的大小。我们的机制允许云端根据实际情况判断是采用增量传输还是直接传输整个文件。在我们的机制中，设立一个阈值，只有超过该阈值的时候才使用增量同步技术，否则直接重传整个文件。影响该阈值的因子主要由文件大小，网络带宽，云端的计算负载决定的。如果文件太小，网络带宽很快，云端的计算负载比较高，则直接传输整个文件。如果文件比较大，网络带宽比较小，云端的计算负载不是很高，那使用增量传输机制。该阈值随着网络带宽，云端的计算负载动态调整。该阈值的定义为T=log(S*U/W)，其中S表示文件的大小，单位为MB，U表示云端的CPU负载，单位为%，W表示客户端的带宽，单位为MB/S，我们定义当T>0使用增量传输机制，当T<0时使用全量传输机制。判断逻辑如附图2。

3：文件特征缓存机制

在上面的第1部分，云端要将每个文件划分成区块，对每个区块计算一个强校验和和弱校验和。我们的方案能够在云端的文件没有发生变化的前提下，云端不必每次同步都重新一算一遍校验和。具体来说，云端首先计算所有本地的需要同步的文件的强弱校验和的集合，这些校验和的集合存放在内存中。当同步开始时，云端直接从内存中取出同步文件的强弱校验和（强校验和是一个32位的MD5码，弱校验和是32位的校验码）的集合，将这些校验和直接发送给客户端。云端使用一个监控模块（见下一节）监视本地文件的变化，如果云端的文件发生了改变，监控模块会检测到本地文件的变化，通知缓存模块重新计算该文件的强弱校验和。缓存机制和监控模块的设计图如附图3。

4：准实时同步机制

在云端增加一个文件系统的监控模块。当文件系统发生变化时，该模块能够检测到并进行两个操作。一是通知缓存模块更新该文件的的区块校验和集合缓存，二是通知客户端进行同步。对缓存模块的通知使用远程调用的方式，对客户端的通知采用推送的方式。架构图如附图4。

与现有技术相比，本发明的优点：

1， 新的同步算法能够使计算的结果可重用，降低下载同步时云端的CPU负载，实验效果如附图5、附图6。

2， 经过以上的过程之后，同步操作带来的计算量能够智能的在云端和客户端之间转移，避免了对某一侧带来比较大的负载，充分合理的利用设备的计算资源。

3， 在云端添加了校验和缓存机制，能够避免服务器对同一文件的校验和的重复计算，进一步降低云端的计算开销，同时加快云端在同步时的响应速度（由秒级缩短到毫秒级）。

4， 智能的选择增量传输或者全量传输，避免不必要的增量传输以及带来的运算开销。

5， 提供一种自动化的同步方法，监控文件系统的改变并自动同步，从而更快的达到同步状态。

附图说明

图1为服务器友好的同步算法流程图；

图2为传输方案选择方法流程图；

图3为文件区块校验码缓存方法流程图；

图4为自动同步方法流程图；

图5为上传同步云端cpu占用率；

图6为下载同步云端cpu占用率；

图7为下载同步应用流程图；

图8为上传同步应用流程图。

具体实施方式

在云存储同步主要有两种场景，上传同步和下载同步。下面分别说明我们的方法在两种场景中的操作。

下载同步的步骤为：

1， 客户端发出文件同步请求或者云端监测到本地文件变动而自动发起同步请求。

2， 首先确定客户端是否有该文件，如果没有，则直接传送该文件，进入数据传输过程，略去以下步骤。

3， 进入传输方案权衡机制，如果超出阈值则使用增量同步技术，如果未超出则直接传送该文件，略去以下步骤。

4， 进入预算流量转移决策阶段，判断客户端类型，如果是计算能力的强的客户端则使用服务器友好的同步算法，否则使用rsync同步算法。

5， 如果采用服务器友好的同步算法，则云端在缓存中查找该文件的校验和集合，如果之前有该文件的校验和缓存且文件没有发生变化，则取出该缓存。如果之前没有该文件的校验和缓存，则计算校验和集合并将该集合写入缓存中。

6， 云端将更新后的待同步文件的强弱校验和集合发给客户端。

7， 客户端根据收到的校验和集合计算文件差异，生成所需区块编号的清单。

8， 客户端将这份清单发给云端。

9， 云端遍历本地的文件，将清单上的区块取出放到内存中。

10， 云端将这些区块发送给客户端。

11， 客户端根据新的区块和已有的区块构建出新的文件，同步结束。

上传同步的步骤为：

1， 客户端发出文件同步请求

2， 首先确定云端是否有该文件，如果没有，则直接传送该文件，进入数据传输过程，略去以下步骤。如果有此文件，则进行步骤3。

3， 云端进入传输方案权衡机制，如果超出阈值则使用增量同步技术，如果未超出则直接传送该文件，略去以下步骤。

4， 云端在缓存中查找该文件的校验和集合，如果之前有该文件的校验和缓存且文件没有发生变化，则取出该缓存。

5， 云端将校验和集合发给客户端。

6， 客户端对要上传文件计算强弱校验和，然后与收到的校验和进行对比，找出变化的区块的编号，将其传输给云端，云端使用rsync算法进行同步重构出新文件（不进行运算量转移的决策）。

7， 同步完成。

两种情况下的流程图见附图7和附图8。

Claims (4)

1.一种云存储自动同步方法，其中同步为客户端文件下载同步，其步骤为：

1)云端将保存在本地的文件划分成若干区块，对每一个区块，计算一个强校验和和弱检验和并保存在缓存中；云端设有一阈值T＝log(S*U/W)，其中S表示文件A的大小，U表示云端的CPU负载，W表示客户端的带宽；

2)当云端文件系统的文件A发生变化，云端通知客户端与云端同步：首先确定客户端是否有该文件A，如果没有，则云端将该文件A发送给客户端；如果客户端有该文件A，且T<0时，使用全量传输机制，即将整个文件A发送给客户端；如果客户端有该文件A且T>0时，则云端更新该文件A的强校验和和弱检验和发送给客户端；然后客户端对本地文件A进行计算，并与收到的该强校验和和弱检验和进行比较，得到所需区块编号的清单；

3)客户端将该清单发送给云端，云端将所需区块发送给客户端；

4)客户端将所需区块与本地文件A的区块合并更新本地文件A。

2.如权利要求1所述的方法，其特征在于所述云端将文件A及其强校验和和弱检验和发送给客户端，客户端将该强校验和和弱检验和存储到内存中的一个hash表中。

3.一种云存储自动同步方法，其中同步为客户端文件上传同步，其步骤为：

1)客户端将要上传的文件A划分成若干区块，对每一个区块，计算一个强校验和和弱检验和并保存在缓存中；云端设有一阈值T＝log(S*U/W)，其中S表示文件A的大小，U表示云端的CPU负载，W表示客户端的带宽；

2)当客户端通知云端对文件A进行同步：首先确定云端是否有该文件A，如果没有，则客户端将该文件A发送给云端；如果云端有该文件A，且T<0时，使用全量传输机制，即将整个文件A发送给客户端；如果客户端有该文件A且T>0时，则云端将该文件A的强校验和和弱检验和发送给客户端；然后客户端将待上传文件A的强校验和和弱检验和与收到的强校验和和弱检验和进行比较，得到所需上传区块编号的清单；

3)客户端根据该清单将所需区块发送给云端；

4)云端将所需区块与云端本地文件A的区块合并更新云端的文件A。

4.如权利要求3所述的方法，其特征在于所述客户端将文件A及其强校验和和弱检验和发送给云端，云端将该强校验和和弱检验和存储到缓存中。