CN105376277B - 一种数据同步方法及装置 - Google Patents

Abstract

本发明适用于计算机技术领域，提供了一种数据同步方法及装置，包括：创建第一列表，所述第一列表中记录了已同步的文件夹；对需要同步的文件夹进行逐层扫描；判断当前扫描到的文件夹是否被记录在所述第一列表中；若所述当前扫描到的文件夹被记录在所述第一列表中，同步该文件夹下一级目录中的文件，继续扫描该文件夹下一级目录中的文件夹；若所述当前扫描到的文件夹不被记录在所述第一列表中，停止对该文件夹的逐层扫描，并备份该文件夹下的所有数据。本发明将数据同步中的磁盘扫描过程进行了简化，对尚未进行同步的文件夹实现了快速识别，从而减少了数据同步的总耗时，提高了数据备份效率。

Description

一种数据同步方法及装置

技术领域

本发明属于计算机技术领域，尤其涉及一种数据同步方法及装置。

背景技术

云存储是在云计算概念上延伸和衍生发展出来的一个新的技术，通过云存储，使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存储数据。在云存储技术之中，云盘作为存储工具，通过互联网为企业和个人提供信息的储存，读取，下载等服务，具有安全稳定、海量存储的特点。

目前，大多数的云盘已经具备数据自动备份的功能，会定期对本地存储空间进行全盘扫描，逐一扫描各个文件夹下的所有文件数据，以确定是否存在尚未同步的文件。然而，随着存储技术的发展，本地存储空间越来越大，全盘扫描的方式导致数据同步过程耗时过长，降低了数据备份效率。

发明内容

本发明实施例的目的在于提供一种数据同步方法，解决现有的数据同步过程耗时过长，导致数据备份效率低的问题。

本发明实施例是这样实现的，一种数据同步方法，包括：

步骤1：创建第一列表，所述第一列表中记录了已同步的文件夹；

步骤2：对需要同步的文件夹进行逐层扫描；

步骤3：判断当前扫描到的文件夹是否被记录在所述第一列表中；

步骤4：若所述当前扫描到的文件夹被记录在所述第一列表中，同步该文件夹下一级目录中的文件，继续扫描该文件夹下一级目录中的文件夹，并返回执行步骤3；

若所述当前扫描到的文件夹不被记录在所述第一列表中，停止对该文件夹的逐层扫描，并备份该文件夹下的所有数据。

本发明实施例的另一目的在于提供一种数据同步装置，包括：

第一创建单元，用于创建第一列表，所述第一列表中记录了已同步的文件夹；

扫描单元，用于对需要同步的文件夹进行逐层扫描；

判断单元，用于判断当前扫描到的文件夹是否被记录在所述第一列表中；

同步处理单元，用于若所述当前扫描到的文件夹被记录在所述第一列表中，同步该文件夹下一级目录中的文件，继续扫描该文件夹下一级目录中的文件夹，并返回执行所述判断单元；若所述当前扫描到的文件夹不被记录在所述第一列表中，停止对该文件夹的逐层扫描，并备份该文件夹下的所有数据。

本发明实施例将数据同步中的磁盘扫描过程进行了简化，对尚未进行同步的文件夹实现了快速识别，从而减少了数据同步的总耗时，提高了数据备份效率。

附图说明

图1是本发明实施例提供的数据同步方法的实现流程图；

图2是本发明另一实施例提供的数据同步方法的实现流程图；

图3是本发明实施例提供的数据同步装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例将数据同步中的磁盘扫描过程进行了简化，对尚未进行同步的文件夹实现了快速识别，从而加速了数据同步过程，提高了数据同步效率。本发明实施例可以适用于数据的本地备份，例如，将本地磁盘A中的数据同步至本地磁盘B，又例如，将本地磁盘中的数据同步至外设存储设备；本发明实施例也可以适用于数据的远程备份，例如，将本地磁盘的磁盘中的数据同步至云服务器中，实现数据的云存储。

图1示出了本发明实施例提供的数据同步方法的实现流程，详述如下：

在S101中，创建第一列表，所述第一列表中记录了已同步的文件夹。

在本实施例中，第一列表用于记录截止至上一次数据同步结束时，磁盘中已完成了同步的文件夹。具体地，在第一列表中，每一个文件夹之间是通过各自的存储路径来进行区分的。例如，第一列表的表结构可以如表1所示，已同步的文件夹对应的存储路径依序被记录在第一列表中。

表1

序号	文件夹
		1	/mnt/sdcard/DCIM
2	/mnt/sdcard/test
		3	/mnt/sdcard/DCIM/a

在S102中，对需要同步的文件夹进行逐层扫描。

从S102开始，执行新一次的数据同步过程，首先检测当前需要进行同步的文件夹，该需要进行同步的文件夹可以为磁盘的根目录，也可以为磁盘根目录之下的任一级目录中的某个指定文件夹。数据同步的过程采用逐层扫描的方式，即，先扫描需要同步的文件夹，然后从该文件夹的第一级目录开始扫描，扫描完毕之后扫描该文件夹的第二级目录、第三级目录……以此类推，直到扫描完该文件夹的最后一层目录。

上述逐层扫描过程可以采用文件夹与文件分开扫描的方式，包括以下两种情况：

1、在同一级目录的扫描过程中，先扫描该目录下的所有子文件夹，完成该目录下所有子文件夹的数据同步，再扫描该目录下的所有文件，完成该目录下所有文件的数据同步，之后，再启动下一级目录的扫描过程；

2、先依次扫描每一级目录中的文件夹，完成所有子文件夹的数据同步过程，再依次扫描每一级目录中的文件，完成所有文件的数据同步过程。

在S103中，判断当前扫描到的文件夹是否被记录在所述第一列表中。

在本实施例中，执行文件夹的扫描过程时，针对当前扫描到的文件夹，通过匹配存储路径，判断该文件夹是否已被记录在第一列表中。

在S104中，若所述当前扫描到的文件夹被记录在所述第一列表中，同步该文件夹下一级目录中的文件，继续扫描该文件夹下一级目录中的文件夹，并返回执行S103。

若判断出当前扫描到的文件夹已被记录在第一列表中，则表明该文件夹此前已经经历过一次数据同步过程，通常说来，在上一次数据同步结束后到此次数据同步开始之前，该文件夹下的数据存在着被修改、添加或者删除的可能，那么继续对该文件夹的下一级目录进行扫描，进一步确定该文件夹下是否存在需要同步的数据。

其中，对于该文件夹下一级目录中的文件夹，即该文件夹的子文件夹，继续按照S103的方法，判断被扫描到的子文件夹是否被记录在第一列表中，而对于该文件夹下一级目录中的文件，则需要通过比对之前的同步记录，对这部分文件进行数据同步，对文件的同步方法将在后续实施例中进行详细阐述，在此不再赘述。

在S105中，若所述当前扫描到的文件夹不被记录在所述第一列表中，停止对该文件夹的逐层扫描，并备份该文件夹下的所有数据。

若判断出当前扫描到的文件夹不被记录在第一列表中，则表明该文件夹是在上一次数据同步结束后新创建的文件夹，那么，该文件夹下的所有数据(包括子文件夹和文件)均是在上一次数据同步结束后新添加的，此时，不再继续对该文件夹执行逐层扫描，而是直接对该文件夹及其之下的所有数据进行备份处理。

通过图1所示实施例，在整个数据同步的扫描过程之中，对于新添加的文件夹，直接同步该文件夹下的所有数据，而无需再对该文件夹下的数据进行逐一扫描，由此省去了对这部分新添加文件夹的扫描，在数据扫描时间上大大地缩短了，由此提高了整个数据备份过程的效率。

作为本发明的一个实施例，在S102对需要同步的文件夹进行逐层扫描时，对该文件夹下的文件的同步处理如下：

首先，需要创建第二列表，所述第二列表中记录了已同步的文件及其特征值。

在S102对需要同步的文件夹进行逐层扫描之前，创建用于记录已同步的文件及其特征值的第二列表。该第二列表用于记录截止至上一次数据同步结束时，磁盘中已完成了同步的文件。具体地，在第二列表中，每一个文件是通过各自的存储路径及文件名来进行区分的，同时，还通过存储上一次数据同步时每个文件的特征值，用于在下一次数据同步时判别该文件是否发生了更新。所述特征值可以包括以下至少一项：

文件的大小和文件的修改时间。

根据文件的大小和/或文件的修改时间，可以判断出同一个文件在上一次数据同步之后是否发生了数据变化。此外，也可以通过将文件名、文件的存储路径、文件的大小以及文件的修改时间，以上参数中的一个或者多个进行MD5(Message Digest Algorithm)计算，从而得出文件唯一对应的特征值。第二列表的表结构可以如表2所示。

表2

则S104中所述的同步该文件夹下一级目录中的文件如图2所示：

S106，扫描所述该文件夹下一级目录中的文件。

S107，判断当前扫描到的文件是否被记录在所述第二列表中。

在本实施例中，执行文件的扫描过程时，针对当前扫描到的文件，通过匹配文件名及存储路径，判断该文件是否已被记录在第二列表中。

S108，若所述当前扫描到的文件不被记录在所述第二列表中，备份该文件。

若判断出当前扫描到的文件不被记录在第二列表中，则表明该文件是在上一次数据同步结束后新添加的文件，此时，直接对该文件进行备份处理。

S109，若所述当前扫描到的文件已被记录在所述第二列表中，判断该文件当前的特征值与记录在所述第二列表中的该文件的特征值是否相同。

S110，若该文件当前的特征值与记录在所述第二列表中的该文件的特征值不相同，则重新备份该文件，并将该文件当前的特征值更新至所述第二列表中。

若判断出当前扫描到的文件已被记录在第二列表中，则进一步将该文件当前的特征值与记录在第二列表中的该文件的特征值进行比对，判断二者是否相同。

若该文件当前的特征值与记录在第二列表中的该文件的特征值相同，则表明在上一次数据同步之后，该文件并未发生数据变化，显然，无需对该文件进行重新备份；而若该文件当前的特征值与记录在第二列表中的该文件的特征值不相同，则表明在上一次数据同步之后，该文件发生了数据变化，此时，需要对该文件进行备份处理，同时，还需要将该文件当前的特征值更新至第二列表中，以方便在再下一次数据同步过程中进行判断。

作为本发明的一个实施例，在进行文件夹扫描时，若当前扫描到的文件夹不被记录在所述第一列表中，则对该文件夹之下的所有数据完成同步之后，还需要将该文件夹以及该文件夹下的所有子文件夹均记录在第一列表中，并将该文件夹下的所有文件以及每个文件对应的特征值均记录在第二列表中，完成对第一列表及第二列表的维护，以方便在再下一次数据同步过程中实现快速扫描同步。

在本发明实施例中，当数据同步方法被应用于云存储业务之中时，作为本发明的一个实施例，还可以在每次数据同步之后，将更新过的第一列表和第二列表均备份至远程的云服务器之中，以防患本地数据丢失导致第一列表和第二列表也丢失的情况出现，为快速数据同步提供数据保障。

本发明实施例将数据同步中的磁盘扫描过程进行了简化，对尚未进行同步的文件夹实现了快速识别，从而加速了数据同步过程，提高了数据同步效率。而当本发明实施例提供的数据同步方法被应用于云存储业务之中时，需要发送到云端进行比较的数据也大大减少，避免了大量无用数据占用网络传输通道，节省了网络带宽。

图3示出了本发明实施例提供的数据同步装置的结构框图，该装置用于运行本发明图1和图2实施例所示的数据同步方法。为了便于说明，仅示出了与本实施例相关的部分。

参照图3，该装置包括：

第一创建单元31，创建第一列表，所述第一列表中记录了已同步的文件夹。

扫描单元32，对需要同步的文件夹进行逐层扫描。

判断单元33，判断当前扫描到的文件夹是否被记录在所述第一列表中。

同步处理单元34，若所述当前扫描到的文件夹被记录在所述第一列表中，同步该文件夹下一级目录中的文件，继续扫描该文件夹下一级目录中的文件夹，并返回执行所述判断单元33；若所述当前扫描到的文件夹不被记录在所述第一列表中，停止对该文件夹的逐层扫描，并备份该文件夹下的所有数据。

可选地，所述装置还包括；

第二创建单元，创建第二列表，所述第二列表中记录了已同步的文件及其特征值。

所述同步处理单元34包括：

文件扫描子单元，用于扫描所述该文件夹下一级目录中的文件。

判断子单元，判断当前扫描到的文件是否被记录在所述第二列表中。

文件同步子单元，若所述当前扫描到的文件不被记录在所述第二列表中，备份该文件；若所述当前扫描到的文件已被记录在所述第二列表中，判断该文件当前的特征值与记录在所述第二列表中的该文件的特征值是否相同；若该文件当前的特征值与记录在所述第二列表中的该文件的特征值不相同，则重新备份该文件，并将该文件当前的特征值更新至所述第二列表中。

可选地，所述特征值包括以下至少一项：

文件的大小和文件的修改时间。

可选地，所述装置还包括：

备份单元，用于将所述第一列表和所述第二列表备份至服务器。

可选地，若所述当前扫描到的文件夹不被记录在所述第一列表中，所述装置还包括：

第一记录单元，用于将所述当前扫描到的文件夹及其所有子文件夹记录在所述第一列表中。

第二记录单元，用于将所述当前扫描到的文件夹下的所有文件及其特征值记录在所述第二列表中。

本发明实施例将数据同步中的磁盘扫描过程进行了简化，对尚未进行同步的文件夹实现了快速识别，从而加速了数据同步过程，提高了数据同步效率。而当本发明实施例提供的数据同步方法被应用于云存储业务之中时，需要发送到云端进行比较的数据也大大减少，避免了大量无用数据占用网络传输通道，节省了网络带宽。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

步骤1：创建第一列表，所述第一列表中记录了已同步的文件夹，所述已同步的文件夹为已同步了文件夹下所有文件的文件夹；

步骤2：对需要同步的文件夹进行逐层扫描；

步骤3：判断当前扫描到的文件夹是否被记录在所述第一列表中；

步骤4：若所述当前扫描到的文件夹被记录在所述第一列表中，同步该文件夹下一级目录中的文件，继续扫描该文件夹下一级目录中的文件夹，并返回执行步骤3；

若所述当前扫描到的文件夹不被记录在所述第一列表中，停止对该文件夹的逐层扫描，并备份该文件夹下的所有数据。

2.如权利要求1所述的方法，其特征在于，在所述对需要同步的文件夹进行逐层扫描之前，所述方法还包括；

创建第二列表，所述第二列表中记录了已同步的文件及其特征值；

所述同步该文件夹下一级目录中的文件包括：

扫描所述该文件夹下一级目录中的文件；

判断当前扫描到的文件是否被记录在所述第二列表中；

若所述当前扫描到的文件不被记录在所述第二列表中，备份该文件；

若所述当前扫描到的文件已被记录在所述第二列表中，判断该文件当前的特征值与记录在所述第二列表中的该文件的特征值是否相同；

若该文件当前的特征值与记录在所述第二列表中的该文件的特征值不相同，则重新备份该文件，并将该文件当前的特征值更新至所述第二列表中。

3.如权利要求2所述的方法，其特征在于，所述特征值包括以下至少一项：

文件的大小和文件的修改时间。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

将所述第一列表和所述第二列表备份至服务器。

5.如权利要求2所述的方法，其特征在于，若所述当前扫描到的文件夹不被记录在所述第一列表中，所述方法还包括：

将所述当前扫描到的文件夹及其所有子文件夹记录在所述第一列表中；

将所述当前扫描到的文件夹下的所有文件及其特征值记录在所述第二列表中。

6.一种数据同步装置，其特征在于，包括：

第一创建单元，用于创建第一列表，所述第一列表中记录了已同步的文件夹，所述已同步的文件夹为已同步了文件夹下所有文件的文件夹；

扫描单元，用于对需要同步的文件夹进行逐层扫描；

判断单元，用于判断当前扫描到的文件夹是否被记录在所述第一列表中；

同步处理单元，用于若所述当前扫描到的文件夹被记录在所述第一列表中，同步该文件夹下一级目录中的文件，继续扫描该文件夹下一级目录中的文件夹，并返回执行所述判断单元；若所述当前扫描到的文件夹不被记录在所述第一列表中，停止对该文件夹的逐层扫描，并备份该文件夹下的所有数据。

7.如权利要求6所述的装置，其特征在于，所述装置还包括；

第二创建单元，用于创建第二列表，所述第二列表中记录了已同步的文件及其特征值；

所述同步处理单元包括：

文件扫描子单元，用于扫描所述该文件夹下一级目录中的文件；

判断子单元，用于判断当前扫描到的文件是否被记录在所述第二列表中；

文件同步子单元，用于若所述当前扫描到的文件不被记录在所述第二列表中，备份该文件；若所述当前扫描到的文件已被记录在所述第二列表中，判断该文件当前的特征值与记录在所述第二列表中的该文件的特征值是否相同；若该文件当前的特征值与记录在所述第二列表中的该文件的特征值不相同，则重新备份该文件，并将该文件当前的特征值更新至所述第二列表中。

8.如权利要求7所述的装置，其特征在于，所述特征值包括以下至少一项：

文件的大小和文件的修改时间。

9.如权利要求7所述的装置，其特征在于，所述装置还包括：

备份单元，用于将所述第一列表和所述第二列表备份至服务器。

10.如权利要求7所述的装置，其特征在于，若所述当前扫描到的文件夹不被记录在所述第一列表中，所述装置还包括：

第一记录单元，用于将所述当前扫描到的文件夹及其所有子文件夹记录在所述第一列表中；

第二记录单元，用于将所述当前扫描到的文件夹下的所有文件及其特征值记录在所述第二列表中。