CN113821490A - 一种数据同步方法及装置 - Google Patents

Abstract

本申请实施例公开了一种数据同步方法及装置，通过生成主存储设备的第一快照，将第一快照内包括的一个或多个文件复制至从存储设备，在接收用户对主存储设备中一个或多个文件的处理后，生成主存储设备的第二快照，比较第一快照中包括的文件和第二快照中包括的文件，确定第一快照和第二快照中的差异文件，差异文件可以是新增的文件或修改的文件，将差异文件复制至从存储设备。由此可见，本申请实施例提供生成两个不同时刻的快照，在两个不同时刻的快照中确定差异文件，将差异文件复制至从存储设备，实现将主存储设备中的文件精准复制到从存储设备，保证数据的安全性。

Description

一种数据同步方法及装置

技术领域

本申请涉及计算机领域，尤其涉及一种数据同步方法及装置。

背景技术

随着计算机技术的快速发展，计算机为用户提供的服务越来越多，例如数据存储服务。面对用户越来越多的数据存储需求，数据存储量越来越大，如何保证数据存储的安全性问题是当前的研究重点。

现有采用主存储设备和从存储设备的方式来提高数据存储的安全性。主存储设备属于主集群，主要是面向用户提供存储服务，从存储设备属于从集群，主要作为主存储设备存储数据的备份设备，主存储设备存储的数据与从存储设备存储的数据完全相同，以实现当主存储设备出现故障后，从存储设备依旧能保证数据存储的安全性。

但是如何将主存储设备进行存储的数据精准复制到从存储设备进行备份，目前急需一种将主存储设备和从存储设备的数据同步的方法。

发明内容

为了解决现有技术中的问题，本申请实施例提供一种数据同步方法和装置。

本申请实施例提供一种数据同步方法，应用于主存储设备和从存储设备，所述主存储设备属于主集群，所述从存储设备属于从集群，所述方法包括：

生成所述主存储设备的第一快照，所述第一快照包括一个或多个文件；

根据所述第一快照，将所述一个或多个文件复制至所述从存储设备；

响应于用户对所述一个或多个文件的处理，生成所述主存储设备的第二快照，所述第二快照包括一个或多个文件；

比较所述第一快照和所述第二快照，确定所述第一快照包括的一个或多个文件和所述第二快照包括的一个或多个文件之间的差异文件；

将所述差异文件复制至所述从存储设备。

可选地，所述第一快照的一个或多个文件包括第一文件；

所述根据所述第一快照，将所述一个或多个文件复制至所述从存储设备包括：

在所述从存储设备创建空白的第二文件；

打开所述第一文件和所述第二文件，将所述第一文件的内容复制至所述第二文件。

可选地，所述第一快照的一个或多个文件包括索引文件；

所述根据所述第一快照，将所述一个或多个文件复制至所述从存储设备包括：

获取所述索引文件，在所述从存储设备中创建所述索引文件。

可选地，所述第一快照还包括一个或多个目录；

在根据所述第一快照，将所述一个或多个文件复制至所述从存储设备之前，所述方法还包括：

根据所述第一快照，将所述一个或多个目录复制至所述从存储设备；

在响应于用户对所述一个或多个文件的处理之前，所述方法还包括：

响应于所述用户对所述一个或多个目录的处理，生成所述主存储设备的第三快照，所述第三快照包括一个或多个目录；

比较所述第一快照和所述第三快照，确定所述第一快照包括的一个或多个目录和所述第三快照包括的一个或多个目录之间的差异目录；

将所述差异目录复制至所述从存储设备。

可选地，在根据所述第一快照，将所述一个或多个文件复制至所述从存储设备时，所述方法还包括：

在所述从存储设备中创建所述一个或多个文件的元数据信息；

在将所述差异文件复制至所述从存储设备时，所述方法还包括：

在所述从存储设备中修改所述差异文件的元数据信息。

可选地，在根据所述第一快照，将所述一个或多个文件复制至所述从存储设备之前，所述方法还包括：

删除所述从存储设备的全部文件。

本申请实施例还提供一种数据同步装置，所述装置包括：

第一生成单元，用于生成所述主存储设备的第一快照，所述第一快照包括一个或多个文件；

第一复制单元，用于根据所述第一快照，将所述一个或多个文件复制至所述从存储设备；

第二生成单元，用于响应于用户对所述一个或多个文件的处理，生成所述主存储设备的第二快照，所述第二快照包括一个或多个文件；

第一比较单元，用于比较所述第一快照和所述第二快照，确定所述第一快照包括的一个或多个文件和所述第二快照包括的一个或多个文件之间的差异文件；

第二复制单元，用于将所述差异文件复制至所述从存储设备。

可选地，所述第一快照的一个或多个文件包括第一文件；

所述第一复制单元，具体用于：

在所述从存储设备创建空白的第二文件；

打开所述第一文件和所述第二文件，将所述第一文件的内容复制至所述第二文件。

可选地，所述第一快照的一个或多个文件包括索引文件；

所述第一复制单元，具体用于：

获取所述索引文件，在所述从存储设备中创建所述索引文件。

可选地，所述第一快照还包括一个或多个目录；

所述装置还包括：

第三复制单元，用于根据所述第一快照，将所述一个或多个目录复制至所述从存储设备；

第三生成单元，用于响应于所述用户对所述一个或多个目录的处理，生成所述主存储设备的第三快照，所述第三快照包括一个或多个目录；

第二比较单元，用于比较所述第一快照和所述第三快照，确定所述第一快照包括的一个或多个目录和所述第三快照包括的一个或多个目录之间的差异目录；

第四复制单元，用于将所述差异目录复制至所述从存储设备。

可选地，所述装置还包括：

创建单元，用于在所述从存储设备中创建所述一个或多个文件的元数据信息；

修改单元，用于在所述从存储设备中修改所述差异文件的元数据信息。

可选地，所述装置还包括：

删除单元，用于删除所述从存储设备的全部文件。

本申请实施例提供一种数据同步方法，通过生成主存储设备的第一快照，将第一快照内包括的一个或多个文件复制至从存储设备，在接收用户对主存储设备中一个或多个文件的处理后，生成主存储设备的第二快照，比较第一快照中包括的文件和第二快照中包括的文件，确定第一快照和第二快照中的差异文件，差异文件可以是新增的文件或修改的文件，将差异文件复制至从存储设备。由此可见，本申请实施例提供生成两个不同时刻的快照，在两个不同时刻的快照中确定差异文件，将差异文件复制至从存储设备，实现将主存储设备中的文件精准复制到从存储设备，保证数据的安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种数据同步方法的流程图；

图2为本申请实施例提供的一种快照的示意图；

图3为本申请实施例提供的一种数据同步装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

正如背景技术所述，现有采用主存储设备和从存储设备的方式来提高数据存储的安全性。主存储设备属于主集群，主要是面向用户提供存储服务，从存储设备属于从集群，主要作为主存储设备存储数据的备份设备，主存储设备存储的数据与从存储设备存储的数据完全相同，以实现当主存储设备出现故障后，从存储设备依旧能保证数据存储的安全性。

当前存在多种将主存储设备进行存储的数据复制到从存储设备进行备份的方案，由于实现方案的不同，从主存储设备发生故障到修复所需要的最大时长(Recovery TimeObjective，RTO)和最大可能丢失存储的数据的时长(Recovery Point Objective，RPO)也不相同，因此如何在主存储设备存储的数据进行变动时，精准将主存储设备变动的数据进行精准复制到从存储设备，是一种亟待解决的问题。

基于此，本申请实施例提供一种数据同步方法，通过生成主存储设备的第一快照，将第一快照内包括的一个或多个文件复制至从存储设备，在接收用户对主存储设备中一个或多个文件的处理后，生成主存储设备的第二快照，比较第一快照中包括的文件和第二快照中包括的文件，确定第一快照和第二快照中的差异文件，差异文件可以是新增的文件或修改的文件，将差异文件复制至从存储设备。由此可见，本申请实施例提供生成两个不同时刻的快照，在两个不同时刻的快照中确定差异文件，将差异文件复制至从存储设备，实现将主存储设备中的文件精准复制到从存储设备，保证数据的安全性。

本申请实施例应用于主存储设备和从存储设备，主存储设备属于主集群，从存储设备属于从集群。

参见图1，该图为本申请实施例提供的一种数据同步方法的流程图。

本实施例提供的数据同步方法包括如下步骤：

S101，生成所述主存储设备的第一快照，所述第一快照包括一个或多个文件。

在本申请的实施例中，快照是一种临时缓存，快照可以携带时间信息。生成主存储设备的第一快照，即对主存储设备的某个时刻已经存储的数据进行临时缓存。

在本申请的实施例中，快照可以缓存一个或多个目录，目录中可以包括子目录和一个或多个文件。

S102，根据所述第一快照，将所述一个或多个文件复制至所述从存储设备。

在本申请的实施例中，根据快照缓存的一个或多个文件，可以将一个或多个文件复制到从存储设备进行备份。

在实际应用中，首先地洞镜像(mirror)进程，以便实现主存储设备和从存储设备之间的连接。

在实际应用中，若是第一次将文件复制到从存储设备，在根据第一快照将一个或多个文件复制到从存储设备之前，若从存储设备有存储数据，则删除从存储设备的全部数据，例如全部文件或全部目录。这样能够避免由于从存储设备中存储有数据，导致从第一快照中复制到从存储设备中的文件与从存储设备中原有的数据混乱。

在本申请的实施例中，在根据第一快照将一个或多个文件复制到从存储设备之前，由于第一快照中还包括一个或多个目录，因此可以首先根据第一快照，将一个或多个目录复制至从存储设备进行备份。

也就是说，在将第一快照中的一个或多个目录以及第一快照中的一个或多个文件复制到从存储设备之前，检测从存储设备中是否存在相同的目录或文件，若存在，则删除从存储设备中的相同的目录或文件。

在实际根据第一快照，将一个或多个文件复制至从存储设备时，根据文件类型的不同，有以下两种不同的复制实现方式：

第一种实现方式为若在第一快照缓存的一个或多个文件中包括第一文件，第一文件为硬连接文件，则首先在从存储设备创建空白的第二文件，之后打开第一文件和第二文件，将第一文件的内容复制至第二文件，就完成了将第一文件复制至从存储设备的过程。

在将第一文件中的内容复制到第二文件之后，关闭第一文件和第二文件。

第二种实现方式为若在第一快照缓存的一个或多个文件中包括索引文件，索引文件为软连接文件，则直接获取软连接文件，之后在从存储设备中创建索引文件。

S103，响应于用户对所述一个或多个文件的处理，生成所述主存储设备的第二快照，所述第二快照包括一个或多个文件。

在本申请的实施例中，用户对主存储设备中进行存储的数据进行处理，例如对一个或多个文件进行处理，则需要对进行处理之后的文件复制到从存储设备。对一个或多个文件进行处理可以是新增文件，也可以是修改文件，还可以是删除文件。

在用户对第一或多个文件进行处理之后，可以生成主存储设备的第二快照，在第二快照中也缓存了一个或多个文件。

在实际应用中，若用户对主存储设备中的一个或多个目录进行处理，还可以生成第三快照，在生成的第三快照中缓存了一个或多个目录。对一个或多个目录进行处理可以是新增目录、也可以是修改目录，还可以是删除目录。

在实际应用中，生成主存储设备的快照，可以不仅在用户对主存储设备中进行存储的数据修改后生成，可以是按照预设时间间隔生成。预设时间间隔根据实际情况进行确定，本申请实施例对此不做具体限定。

S104，比较所述第一快照和所述第二快照，确定所述第一快照包括的一个或多个文件和所述第二快照包括的一个或多个文件之间的差异文件。

在本申请的实施例中，通过比较第一快照和第二快照缓存的数据，可以确定主存储设备发生变化的数据，例如第一快照包括的一个或多个文件和第二快照包括的一个或多个文件之间的差异文件。

具体的，首先遍历第一快照缓存的数据和第二快照缓存的数据，遍历完成后比较第一快照和第二快照确定差异文件。

作为一种示例，参考图2所示，第一快照为Snap1，第二快照为Snap2。第一快照包括3个文件：文件1(File1)、文件2(File2)和文件3(File3)。第二快照包括4个文件：文件1(File1)、文件2(File2)、文件3(File3)和文件4(File4)。通过比较第一快照和第二快照，确定差异文件为文件4。

在实际应用中，还可以比较第一快照和第三快照，确定第一快照包括的一个或多个目录和第三快照包括的一个或多个目录之间的差异目录。

S105，将所述差异文件复制至所述从存储设备。

在本申请的实施例中，在通过比较第一快照和第二快照之后，确定主存储设备发生变化的数据，例如差异文件，将差异文件复制到从存储设备。

若差异文件是新增文件，则直接将新增文件复制到从存储设备。

若差异文件是删除文件，则直接在从存储设备删除文件。

若差异文件是修改文件，则可以在从存储设备删除原有的文件，并根据第二快照复制修改后的文件到从存储设备。

在实际应用中，若在比较第一快照和第三快照，确定差异目录之后，可以将差异目录复制到从存储设备。

在本申请的实施例中，当文件或目录在创建时携带有创建时间(ctime)，当文件或目录修改时携带有修改时间(mtime)，若文件或目录的ctime或mtime修改，则认为文件或目录已经变更，因此在对比第一快照和第二快照或对比第一快照和第三快照时，可以直接比较文件或目录的ctime或mtime。

在本申请的实施例中，在将差异文件或差异目录复制到从存储设备之后，若是新增的文件或目录，则在从存储设备中创建一个或多个文件的元数据信息或创建一个或多个目录的元数据信息。元数据信息可以包括文件或目录的ctime和mtime，以及文件或目录的所有者和所有组；若是修改的文件或目录，则在从存储设备中修改差异文件的元数据信息，以适应从存储设备对文件或目录的创建或修改时间。

在本申请的实施例中，在将差异文件或差异目录复制至从存储设备之后，还可以生成从存储设备的第四快照，比较第四快照和第二快照或比较第四快照和第三快照，以确定是否复制数据完毕的从存储设备中存储的数据与主存储设备相同，以增加数据复制的准确性。

本申请实施例提供了一种数据同步方法，通过生成主存储设备的第一快照，将第一快照内包括的一个或多个文件复制至从存储设备，在接收用户对主存储设备中一个或多个文件的处理后，生成主存储设备的第二快照，比较第一快照中包括的文件和第二快照中包括的文件，确定第一快照和第二快照中的差异文件，差异文件可以是新增的文件或修改的文件，将差异文件复制至从存储设备。由此可见，本申请实施例提供生成两个不同时刻的快照，在两个不同时刻的快照中确定差异文件，将差异文件复制至从存储设备，实现将主存储设备中的文件精准复制到从存储设备，实现了将主存储设备中的数据远程复制到从存储设备，保证数据的安全性，并且利用快照缓存主存储设备中的数据，减少了数据的移动，不影响主存储设备的正常运行，保证了主集群的存储性能，提高了向用户提供存储服务的集群的稳定性。

基于以上实施例提供的一种数据同步方法，本申请实施例还提供了一种数据同步装置，下面结合附图来详细说明其工作原理。

参见图3，该图为本申请实施例提供的一种数据同步装置的结构框图。

本实施例提供的数据同步装置300包括：

第一生成单元310，用于生成所述主存储设备的第一快照，所述第一快照包括一个或多个文件；

第一复制单元320，用于根据所述第一快照，将所述一个或多个文件复制至所述从存储设备；

第二生成单元330，用于响应于用户对所述一个或多个文件的处理，生成所述主存储设备的第二快照，所述第二快照包括一个或多个文件；

第一比较单元340，用于比较所述第一快照和所述第二快照，确定所述第一快照包括的一个或多个文件和所述第二快照包括的一个或多个文件之间的差异文件；

第二复制单元350，用于将所述差异文件复制至所述从存储设备。

可选地，所述第一快照的一个或多个文件包括第一文件；

所述第一复制单元，具体用于：

在所述从存储设备创建空白的第二文件；

打开所述第一文件和所述第二文件，将所述第一文件的内容复制至所述第二文件。

可选地，所述第一快照的一个或多个文件包括索引文件；

所述第一复制单元，具体用于：

获取所述索引文件，在所述从存储设备中创建所述索引文件。

可选地，所述第一快照还包括一个或多个目录；

所述装置还包括：

第三复制单元，用于根据所述第一快照，将所述一个或多个目录复制至所述从存储设备；

第三生成单元，用于响应于所述用户对所述一个或多个目录的处理，生成所述主存储设备的第三快照，所述第三快照包括一个或多个目录；

第二比较单元，用于比较所述第一快照和所述第三快照，确定所述第一快照包括的一个或多个目录和所述第三快照包括的一个或多个目录之间的差异目录；

第四复制单元，用于将所述差异目录复制至所述从存储设备。

可选地，所述装置还包括：

创建单元，用于在所述从存储设备中创建所述一个或多个文件的元数据信息；

修改单元，用于在所述从存储设备中修改所述差异文件的元数据信息。

可选地，所述装置还包括：

删除单元，用于删除所述从存储设备的全部文件。

当介绍本申请的各种实施例的元件时，冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外，还可以有其它元件。

需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccess Memory,RAM)等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据同步方法，其特征在于，应用于主存储设备和从存储设备，所述主存储设备属于主集群，所述从存储设备属于从集群，所述方法包括：

生成所述主存储设备的第一快照，所述第一快照包括一个或多个文件；

根据所述第一快照，将所述一个或多个文件复制至所述从存储设备；

响应于用户对所述一个或多个文件的处理，生成所述主存储设备的第二快照，所述第二快照包括一个或多个文件；

比较所述第一快照和所述第二快照，确定所述第一快照包括的一个或多个文件和所述第二快照包括的一个或多个文件之间的差异文件；

将所述差异文件复制至所述从存储设备。

2.根据权利要求1所述的方法，其特征在于，所述第一快照的一个或多个文件包括第一文件；

所述根据所述第一快照，将所述一个或多个文件复制至所述从存储设备包括：

在所述从存储设备创建空白的第二文件；

打开所述第一文件和所述第二文件，将所述第一文件的内容复制至所述第二文件。

3.根据权利要求1所述的方法，其特征在于，所述第一快照的一个或多个文件包括索引文件；

所述根据所述第一快照，将所述一个或多个文件复制至所述从存储设备包括：

获取所述索引文件，在所述从存储设备中创建所述索引文件。

4.根据权利要求1所述的方法，其特征在于，所述第一快照还包括一个或多个目录；

在根据所述第一快照，将所述一个或多个文件复制至所述从存储设备之前，所述方法还包括：

根据所述第一快照，将所述一个或多个目录复制至所述从存储设备；

在响应于用户对所述一个或多个文件的处理之前，所述方法还包括：

响应于所述用户对所述一个或多个目录的处理，生成所述主存储设备的第三快照，所述第三快照包括一个或多个目录；

比较所述第一快照和所述第三快照，确定所述第一快照包括的一个或多个目录和所述第三快照包括的一个或多个目录之间的差异目录；

将所述差异目录复制至所述从存储设备。

5.根据权利要求1-4任意一项所述的方法，其特征在于，在根据所述第一快照，将所述一个或多个文件复制至所述从存储设备时，所述方法还包括：

在所述从存储设备中创建所述一个或多个文件的元数据信息；

在将所述差异文件复制至所述从存储设备时，所述方法还包括：

在所述从存储设备中修改所述差异文件的元数据信息。

6.根据权利要求1-4任意一项所述的方法，其特征在于，在根据所述第一快照，将所述一个或多个文件复制至所述从存储设备之前，所述方法还包括：

删除所述从存储设备的全部文件。

7.一种数据同步装置，其特征在于，所述装置包括：

第一生成单元，用于生成所述主存储设备的第一快照，所述第一快照包括一个或多个文件；

第一复制单元，用于根据所述第一快照，将所述一个或多个文件复制至所述从存储设备；

第二生成单元，用于响应于用户对所述一个或多个文件的处理，生成所述主存储设备的第二快照，所述第二快照包括一个或多个文件；

第一比较单元，用于比较所述第一快照和所述第二快照，确定所述第一快照包括的一个或多个文件和所述第二快照包括的一个或多个文件之间的差异文件；

第二复制单元，用于将所述差异文件复制至所述从存储设备。

8.根据权利要求7所述的装置，其特征在于，所述第一快照的一个或多个文件包括第一文件；

所述第一复制单元，具体用于：

在所述从存储设备创建空白的第二文件；

打开所述第一文件和所述第二文件，将所述第一文件的内容复制至所述第二文件。

9.根据权利要求7所述的装置，其特征在于，所述第一快照的一个或多个文件包括索引文件；

所述第一复制单元，具体用于：

获取所述索引文件，在所述从存储设备中创建所述索引文件。

10.根据权利要求7所述的方法，其特征在于，所述第一快照还包括一个或多个目录；

所述装置还包括：

第三复制单元，用于根据所述第一快照，将所述一个或多个目录复制至所述从存储设备；

第三生成单元，用于响应于所述用户对所述一个或多个目录的处理，生成所述主存储设备的第三快照，所述第三快照包括一个或多个目录；

第二比较单元，用于比较所述第一快照和所述第三快照，确定所述第一快照包括的一个或多个目录和所述第三快照包括的一个或多个目录之间的差异目录；

第四复制单元，用于将所述差异目录复制至所述从存储设备。

Images