CN105721520B - 一种文件同步方法及装置 - Google Patents

Abstract

本发明提供了一种文件同步方法及装置，包括：确定在同步的文件，同步的文件是将置于本地缓存中通过网络上传到云端服务器的文件；在确定同步的文件发生修改后，确定该同步的文件是否已经上传成功；若未上传成功，则将修改后的文件与置于本地缓存中上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器；若上传成功，则将修改后的文件与已上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器。由于本发明中当同步的文件发生修改时，增加了确定是否已上传成功的判断步骤，仅将文件不同的部分上传到云端服务器，从而解决了现有技术中相同数据重复上传的问题，减少了网络流量。

Description

一种文件同步方法及装置

技术领域

本发明涉及数据存储技术领域，尤其涉及一种文件同步方法及装置。

背景技术

近年来，随着基于云服务的同步文件方法的流行，越来越多的人通过这些简便的服务来上传个人文件、同步装置和分享内容，这种广泛流行的服务也更加吸引了各式各样的供应商积极加入到云存储市场。Dropbox、OneDrive和GoogleDrive这些服务在人们的日常生活中已经非常普遍，OneDrive已经服务了2亿用户、上传了14PB数据量，每天有1亿的用户用Dropbox上传或更新10亿文件等。这些应用是数据集中型，随着使用量的增加，它们会产生非常大的网络流量。Dropbox已经占了大约4％的网络流量，为YouTube(全世界最大的视频网站)产生流量的1/3。

数据同步是个人云存储服务的一个主要特征，客户端通过网络交互自动的向云端更新本地的文件状态从而实现云端数据的更新。同步效率、网络流量开销也是一个用于测量云存储服务性能的指标。近年来，很多研究工作围绕着降低个人云存储的网络开销展开。

随着个人云存储服务更广泛的应用、上传的文件量越来越多，不可避免的产生了更多的网络流量。在有限的网络带宽条件下，网络流量成为了人们更加广泛的使用这些应用的一大障碍。

目前采用增量编码方式，可以在客户端数据发生改变时，仅将客户端和服务器之间不同之处传至服务器端，减少传输流量。但这种方式只适合同步已完成的文件发生改变的情况，而对于在同步的文件发生修改时，由于在同步的文件尚未在服务器端形成索引，无法通过现有增量编码方式来减少网络流量。

现有技术不足在于：

虽然现有方案可以在一定程度上降低了网络流量，但是对于在同步的文件发生修改的情况仍然无法降低网络流量的开销，对应用性能、用户体验造成很大的影响。

发明内容

本发明实施例提出了一种文件同步方法及装置，解决了现有技术中在同步的文件发生修改时无法根据服务器确定文件的不同之处，只能将修改后的整个文件重新上传导致网络流量较大的技术问题。

本发明实施例提供了一种文件同步方法，包括如下步骤：

确定在同步的文件，同步的文件是将置于本地缓存中通过网络上传到云端服务器的文件；

在确定同步的文件发生修改后，确定该同步的文件是否已经上传成功；

若未上传成功，则将修改后的文件与置于本地缓存中上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器；

若上传成功，则将修改后的文件与已上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器。

本发明实施例提供了一种文件同步装置，包括：

同步文件确定模块，用于确定在同步的文件，同步的文件是将置于本地缓存中通过网络上传到云端服务器的文件；

上传状态确定模块，用于在确定同步的文件发生修改后，确定该同步的文件是否已经上传成功；

上传模块，用于若未上传成功，则将修改后的文件与置于本地缓存中上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器；若上传成功，则将修改后的文件与已上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器。

有益效果如下：

针对目前在同步的文件发生改变时所带来的网络流量较大的问题，本发明实施例通过确定在同步的文件，该同步的文件是将置于本地缓存中通过网络上传到云端服务器的文件；当该文件发生修改后，确定其是否已经上传成功；如果没有上传成功，则将修改后的文件与置于本地缓存中上传云端服务器的文件比较，如果上传成功，则将修改后的文件与已上传云端服务器的文件比较，最后将文件不同的部分置于本地缓存中通过网络上传到云端服务器；由于本发明实施例所提供的技术方案当同步的文件发生修改时，增加了确定该文件是否已经上传成功的判断步骤，仅将文件不同的部分上传到云端服务器，而不是将整个文件重新上传，从而解决了现有技术中相同数据重复上传的问题，减少了网络流量。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1示出了本发明实施例中文件同步场景的示意性框图；

图2示出了本发明实施例中文件同步方法实施的流程示意图；

图3示出了本发明实施例中文件同步装置的结构示意图；

图4示出了本发明实施例中文件同步实例的流程示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。

发明人在发明过程中注意到：

很多云存储都执行了切块(Chunking)、捆绑(Bundling)、冗余消除(Deduplication)、增量编码(Delta encoding)和压缩(Compression)等方案来优化存储性能。

其中，增量编码的原理是：在客户端和服务器端有对整个文件的索引(Index)，在控制存储器端一直监视客户端的数据。一旦检测到客户端数据发生改变，即识别出两个副本之间不同之处，客户端只将文本中变动的地方传输到服务器端，而不需要将原始的整个文件重新传送。这种方式大大减少了传输过程中需要传送的数据量，从而降低网络开销。

然而现有方案却还是远远没有达到满意状态，当正在上传至同步文件夹中的文件发生改变时，服务器端并没有此文件的索引，因此增量编码也就无法执行。最后当服务器端检测到改变发生时，客户端再上传原始的和经过改变的数据块，这样会使同步流量加倍。虽然执行了增量编码，但在一些情况下仍然无法降低网络流量的开销。对于网络流量敏感的用户，数据同步占的流量开销比较大，会对应用性能、用户体验造成很大的影响。

针对上述不足，本发明实施例提出了一种文件同步方法及装置，在保证应用性能的前提下进行网络流量优化，减少不必要的网络流量。下面进行说明。

本发明实施例在内存中设置了本地缓存(Cache)，通过在本地磁盘和云端服务器之间增加本地缓存，来作为本地磁盘与云端服务器的中间媒介，数据均通过本地缓存同步到云端服务器。

图1示出了本发明实施例文件同步场景的示意性框图，如图所示，整个同步过程可以由以下几个部分组成：

本地磁盘，作为同步文件夹和文件修改的载体；

本地缓存，是本地磁盘数据上传同步文件夹的媒介，文件不是直接和云端进行交互，都是需要将其放入本地缓存中，再通过本地缓存上传至云端服务器；

同步文件夹，是本地和云端共同维护的文件夹，位于本地磁盘上，对同步文件夹的修改操作会映射到云端，修改操作的识别可以通过监视完成；监视，是本地磁盘对文件的状态监视，当文件发生改变时，就会触发文件同步操作；

索引，其中存放文件的信息，比如：哈希Hash值、文件大小、修改日期等等。

其中，在实施中本地缓存可以采用缓存队列的方式，采用缓存队列的方式是由于这种方式比较常用、主流，且易于本领域技术人员使用/理解，所以这里以缓存队列为例；但是，从理论上来说，用其他的方式也是可以的，例如：链式存储、环形缓存等等，只要能够实现缓存的目的即可，缓存队列仅用于教导本领域技术人员具体如何实施本发明，但并不意味仅能使用缓存队列方式，实施过程中可以结合实践需要来确定相应的方式。

图2示出了本发明实施例中文件同步方法实施的流程示意图，该文件同步方法可以包括如下步骤：

步骤201、确定在同步的文件，同步的文件是将置于本地缓存中通过网络上传到云端服务器的文件；

步骤202、在确定同步的文件发生修改后，确定该同步的文件是否已经上传成功；

若未上传成功，则执行步骤203；

若上传成功，则执行步骤204；

步骤203、将修改后的文件与置于本地缓存中上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器；

步骤204、将修改后的文件与已上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器。

由于本发明实施例所提供的技术方案当同步的文件发生修改时，增加了确定其是否已经上传成功的判断步骤，仅将文件不同的部分上传到云端服务器，而不是将整个文件重新上传，从而解决了现有技术中相同数据重复上传的问题，减少了网络流量。

实施中，确定该同步的文件是否已经上传成功，可以包括：

确定本地缓存中是否存在该同步的文件的索引，若本地缓存中存在该同步的文件的索引，则确定未上传成功；若本地缓存中不存在该同步的文件的索引，则确定上传成功；其中，该索引是每一个同步的文件在上传时建立并置于本地缓存中，并在上传成功后进行删除的记录信息。

由于每一个同步的文件在上传时都会建有索引，并且置于本地缓存中、在上传成功后删除，因此，本发明实施例可以通过判断本地缓存中是否存在该同步的文件的索引，来确定该同步的文件是否已经上传成功。

实施中，确定本地缓存中是否存在该同步的文件的索引，可以根据索引中包括的文件的Hash值来确定。

对于每一个同步的文件，其索引可以包括各个数据块的Hash值、文件大小或者修改日期等文件信息，本发明实施例可以通过该文件的Hash值来确定本地缓存中是否存在该同步的文件的索引。其中，哈希值是根据文件的内容的数据通过逻辑运算得到的数值，不同的文件(即使文件名相同)得到的Hash值是不同的。

实施中，可以进一步包括：

在新增同步的文件时，为该新增的文件生成索引并将该新增的文件以及该文件的索引置于本地缓存中，通过网络将该文件上传到云端服务器。

本发明实施例对于用户的每个新增同步的文件，都为这些新增的文件创建索引，然后将该文件和索引放入本地缓存中，通过网络将该文件上传到云端服务器，以便后续有文件修改时，可以在客户端侧确定该文件是否上传成功。

实施中，文件不同的部分可以是在将两个比较的文件进行差异计算后，生成的修补文件。

本发明实施例通过比较两个文件的差异，生成修补文件，从而实现仅将文件不同的部分上传到云端服务器，避免了将整个文件重新上传导致数据重复上传的问题。

本发明实施例通过合理的使用本地内存，在内存中增加本地缓存队列作为传输媒介，在本地内存使用率可以容纳的前提下，对修改文件的同步传输过程中，减少被修改的数据块的重复传输，降低网络流量、提高带宽利用率，从而使网络性能得到优化。

基于同一发明构思，本发明实施例中还提供了一种文件同步装置，由于这些设备解决问题的原理与一种文件同步方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。

图3示出了本发明实施例中文件同步装置的结构示意图，如图3所示，装置可以包括：

同步文件确定模块301，用于确定在同步的文件，同步的文件是将置于本地缓存中通过网络上传到云端服务器的文件；

上传状态确定模块302，用于在确定同步的文件发生修改后，确定该同步的文件是否已经上传成功；

上传模块303，用于若未上传成功，则将修改后的文件与置于本地缓存中上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器；若上传成功，则将修改后的文件与已上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器。

实施中，上传状态确定模块302可以用于确定本地缓存中是否存在该同步的文件的索引，若本地缓存中存在该同步的文件的索引，则确定未上传成功；若本地缓存中不存在该同步的文件的索引，则确定上传成功；其中，该索引是每一个同步的文件在上传时建立并置于本地缓存中，并在上传成功后进行删除的记录信息。

实施中，上传状态确定模块302可以用于根据索引中包括的文件的Hash值来确定本地缓存中是否存在该同步的文件的索引。

实施中，同步文件确定模块301可以进一步用于确定新增同步的文件；所述上传模块进一步用于为该新增的文件生成索引并将该新增的文件以及该文件的索引置于本地缓存中，通过网络将该文件上传到云端服务器。

实施中，上传模块303可以用于将两个比较的文件进行差异计算后生成的修补文件置于本地缓存中通过网络上传到云端服务器。

上述实施例中，均可以采用现有的功能元器件模块来实施。例如，同步文件确定模块可以是任意一个具备确定文件是否在同步功能的设备都具备的元器件；至于上传状态确定模块则可以是任意一个具备确定文件是否上传成功功能的设备都具备的元器件，本领域技术人员经过相应的设计开发即可实现；同时，上传模块可以是任意一个具备上传功能的设备都具备的元器件。

为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

为了方便理解本发明的实施，下面以一实例进行说明。

图4示出了本发明实施例中文件同步实例的流程示意图，如图4所示。

步骤401、对同步文件夹中的所有文件在客户端和服务器端均创建索引(Index)；

步骤402、当检测到有新文件进行上传/同步时，对新文件创建索引，并将新文件和索引放入本地缓存(Cache)队列中，通过网络将该文件传输至云端服务器上，待上传完毕后，在云端创建该文件的索引；

步骤403、当检测到有文件被修改时，重新生成索引，计算出新的Hash值，并在本地缓存队列中查询该文件的索引，查询状态可以分类如下：

若查询到该数据块(Chunk)相匹配的索引(或Hash值)，说明文件还没有上传成功，同步正在进行中，此时在服务器端没有索引，执行步骤404；

若没有查询到该数据块的索引，说明文件已经上传至服务器端，执行步骤405；

步骤404、计算被修改的文件和已经缓存在本地缓存队列中的文件之间的差异，生成修补文件(Patch)，并将修补文件插入到内存队列中等待发送；这一过程为在硬盘和内存之间进行；

步骤405、与云端的版本生成修补文件，并将修补文件插入到缓存队列中等待发送；该过程是在硬盘和云端服务器之间进行，本地缓存队列作为一个上传的中间媒介；

步骤406、将缓存队列中的数据块通过网络传输至云端服务器上；

步骤407、云端根据原始文件和修补文件生成文件的最新版本。

本发明实施例提出了一种基于内存作为临时缓存、执行增量编码的云同步优化方案，充分利用本地内存，通过查询索引对文件的状态进行查询，执行增量编码使得网络流量利用最优化。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种文件同步方法，其特征在于，包括如下步骤：

确定在同步的文件，同步的文件是将置于本地缓存中通过网络上传到云端服务器的文件；

在确定同步的文件发生修改后，确定该同步的文件是否已经上传成功；

若未上传成功，则将修改后的文件与置于本地缓存中上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器；

若上传成功，则将修改后的文件与已上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器。

2.如权利要求1所述的方法，其特征在于，确定该同步的文件是否已经上传成功，包括：

确定本地缓存中是否存在该同步的文件的索引，所述索引是每一个同步的文件在上传时建立并置于本地缓存中，并在上传成功后进行删除的记录信息；

若本地缓存中存在该同步的文件的索引，则确定未上传成功；

若本地缓存中不存在该同步的文件的索引，则确定上传成功。

3.如权利要求2所述的方法，其特征在于，确定本地缓存中是否存在该同步的文件的索引，是根据索引中包括的文件的Hash值来确定。

4.如权利要求1所述的方法，其特征在于，进一步包括：

在新增同步的文件时，为该新增的文件生成索引并将该新增的文件以及该文件的索引置于本地缓存中，通过网络将所述文件上传到云端服务器；

所述索引在文件上传时建立并在文件上传成功后被删除。

5.如权利要求1至4任一所述的方法，其特征在于，文件不同的部分是在将两个比较的文件进行差异计算后，生成的修补文件。

6.一种文件同步装置，其特征在于，包括：

同步文件确定模块，用于确定在同步的文件，同步的文件是将置于本地缓存中通过网络上传到云端服务器的文件；

上传状态确定模块，用于在确定同步的文件发生修改后，确定该同步的文件是否已经上传成功；

上传模块，用于若未上传成功，则将修改后的文件与置于本地缓存中上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器；若上传成功，则将修改后的文件与已上传云端服务器的文件比较，将文件不同的部分置于本地缓存中通过网络上传到云端服务器。

7.如权利要求6所述的装置，其特征在于，所述上传状态确定模块用于确定本地缓存中是否存在该同步的文件的索引，若本地缓存中存在该同步的文件的索引，则确定未上传成功；若本地缓存中不存在该同步的文件的索引，则确定上传成功；所述索引是每一个同步的文件在上传时建立并置于本地缓存中，并在上传成功后进行删除的记录信息。

8.如权利要求7所述的装置，其特征在于，所述上传状态确定模块用于根据索引中包括的文件的Hash值来确定本地缓存中是否存在该同步的文件的索引。

9.如权利要求6所述的装置，其特征在于，所述同步文件确定模块进一步用于确定新增同步的文件；所述上传模块进一步用于为该新增的文件生成索引并将该新增的文件以及该文件的索引置于本地缓存中，通过网络将所述文件上传到云端服务器；所述索引在文件上传时建立并在文件上传成功后被删除。

10.如权利要求6至9任一所述的装置，其特征在于，所述上传模块用于将两个比较的文件进行差异计算后生成的修补文件置于本地缓存中通过网络上传到云端服务器。