CN114564458B - 集群间数据同步的方法、装置、设备和存储介质 - Google Patents

Abstract

本申请涉及一种集群间数据同步的方法、装置、设备和存储介质，应用于包括主集群和从集群的系统；主集群中的节点以及从集群中的节点设置有对应的复制单元，其主要技术方案包括：主集群的复制单元从对应的节点获取元数据信息，将获取到的元数据信息写入数据索引表，得到第一索引表信息，并将第一索引表发送至从集群的复制单元；从集群的复制单元接收第一索引表信息，以利用第一索引表信息进行从主集群到从集群的数据同步。本申请具有降低数据同步对主集群本身服务性能的影响。

Description

集群间数据同步的方法、装置、设备和存储介质

技术领域

本申请涉及数据传输技术领域，特别是涉及一种集群间数据同步的方法、装置、设备和存储介质。

背景技术

分布式文件系统(Distributed File System，DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统；简言之，其是由多台分布式文件系统服务器组成的一个对外提供分布式文件系统服务的系统。

在目前的分布式文件系统中，为了能够保证集群在发生故障状态下依然可以提供基本的分布式文件系统服务，提出了远程复制的概念，即在不同的地点布置主从两套分布式文件系统集群，主集群除对外提供分布式文件系统服务外，还要在合适的时机向从集群同步当前的数据信息，以保证从集群中的数据与主集群尽量一致，从而在主从集群切换时尽量降低集群故障对上层应用的影响。

然而，在分布式文件系统集群中，系统中的数据量在某些场景下可达百亿级别，这种数据量的主从集群数据同步将占用大量的网络、cpu等系统资源，对主集群的对外服务影响巨大。

发明内容

基于此，本申请提供了一种集群间数据同步的方法、装置、设备和存储介质，以降低数据同步对主集群性能的影响。

第一方面，提供一种集群间数据同步的方法，该方法包括：

主集群的复制单元从对应的节点获取元数据信息，将获取到的元数据信息写入数据索引表，得到第一索引表信息，并将第一索引表发送至从集群的复制单元；

从集群的复制单元接收第一索引表信息，以利用第一索引表信息进行从主集群到从集群的数据同步。

根据本申请实施例中一种可实现的方式，主集群的复制单元包括主复制单元和从复制单元；上述主集群的复制单元从对应的节点获取元数据信息，将获取到的元数据信息写入数据索引表，得到第一索引表信息，并将第一索引表发送至从集群的复制单元，还包括：

主集群的主复制单元接收主集群的从复制单元上报的元数据信息；

根据接收到的元数据信息和从主集群的主复制单元对应的节点获取的元数据信息对数据索引表进行增量记录，得到第一索引表信息；

主集群的主复制单元将第一索引表信息发送至从集群的复制单元。

根据本申请实施例中一种可实现的方式，该方法还包括：

若超过设定时长仍存在主集群的从复制单元未上报元数据信息，则主集群的主复制单元通过人机交互界面进行告警。

根据本申请实施例中一种可实现的方式，从集群的复制单元包括主复制单元和从复制单元；上述从集群的复制单元接收第一索引表信息，以利用第一索引表信息进行从主集群到从集群的数据同步，还包括：

从集群的主复制单元接收第一索引表信息，将接收到的第一索引表信息与之前接收到的尚未用于数据同步的第一索引表信息合并，得到第二索引表信息；

将第二索引表信息同步至从集群的从复制单元，依据第二索引表信息进行从主集群到从集群的数据同步。

根据本申请实施例中一种可实现的方式，上述依据第二索引表信息进行从主集群到从集群的数据同步，还包括：

将第二索引表信息中同一数据文件对应的操作信息进行合并，依据合并后的操作信息进行对该数据文件的数据同步。

根据本申请实施例中一种可实现的方式，该方法还包括：

主集群的主复制单元定时获取主集群中节点的资源使用状况；

在资源使用状况符合预设标准时，向从集群的主复制单元发送数据同步的消息；

从集群的主复制单元接收到数据同步的消息后，执行依据第二索引表信息进行从主集群到从集群的数据同步的步骤。

根据本申请实施例中一种可实现的方式，该方法还包括：

在数据同步的过程中，主集群的主复制单元停止从主集群的从复制单元获取元数据信息。

第二方面，一种集群间数据同步的装置，应用于包括主集群和从集群的系统；主集群中的节点以及从集群中的节点设置有对应的复制单元，该装置设置于复制单元；该装置包括：

第一同步模块，用于在装置设置于主集群的复制单元时，从对应的节点获取元数据信息，将获取到的元数据信息写入数据索引表，得到第一索引表信息，并将第一索引表发送至从集群的复制单元；

第二同步模块，用于在装置设置于从集群的复制单元时，接收来自主集群的复制单元的第一索引表信息，以利用第一索引表信息进行从主集群到从集群的数据同步。

第三方面，提供了一种计算机设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机指令，计算机指令被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面中涉及的方法。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，计算机指令用于使计算机执行上述第一方面中涉及的方法。

根据本申请实施例所提供的技术内容，主集群的复制单元从对应的节点获取元数据信息，将获取到的元数据信息写入数据索引表，得到第一索引表信息，并将第一索引表发送至从集群的复制单元；从集群的复制单元在接收到第一索引表信息后，则利用第一索引表信息进行从主集群到从集群的数据同步。通过上述操作，主集群和从集群之间由针对节点设置的复制单元基于元数据信息进行数据同步，从而降低数据同步对主集群本身服务性能的影响。

附图说明

图1为一个实施例中一种集群间数据同步的方法的系统架构图；

图2为一个实施例中一种集群间数据同步的方法的流程示意图；

图3为一个实施例中一种集群间数据同步的方法中步骤201的流程示意图；

图4为一个实施例中一种集群间数据同步的方法的优选流程示意图；

图5为一个实施例中一种集群间数据同步的装置的结构框图；

图6为一个实施例中计算机设备的示意性结构图。

具体实施方式

以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

为了方便理解，首先对本申请所适用的系统进行描述。本申请提供的一种集群间数据同步的方法，可以应用于如图1所示的系统中，该系统可以是分布式文件系统。该分布式文件系统包括主集群102和从集群104；众所周知，集群是一组相互独立的、通过高速网络互联的计算机即节点，它们构成了一个组，并以单一系统的模式加以管理。这里的主集群102和从集群104为分布式文件系统中相互关联的两个集群；其中，主集群102用于对外提供服务；从集群104用于备份主集群的数据，当主集群102发生故障时，从集群104可转换为主集群102对外提供服务。

主集群102中的节点以及从集群104中的节点设置有对应的复制单元。其中，可以在主集群102中部署有MDS(Metadata Server，元数据服务器)的节点以及从集群104中部署有MDS的节点设置对应的复制单元。主集群102中的节点存储有大量的文件数据。本申请实施例中通过复制单元实现主集群102到从集群104之间的数据同步，即将主集群102中节点存储的数据同步至从集群104中的节点。

在此需要说明的是，图1中所示出的从集群、节点、复制单元等的数量均是示意性的，可以根据实际场景灵活设置。

图2为本申请实施例提供的一种集群间数据同步的方法的流程图，该方法可以由如图1所示分布式文件系统中的复制单元执行。如图2所示，该方法可以包括以下步骤：

步骤201，主集群的复制单元从对应的节点获取元数据信息，将获取到的元数据信息写入数据索引表，得到第一索引表信息，并将第一索引表发送至从集群的复制单元。

这里，复制单元可以是RMG(远程复制管理模块)。

元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，用来支持诸如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须要描述并收藏数据的内容或特色，进而达成协助数据检索的目的。

数据索引表，是一张指示逻辑记录和物理记录之间对应关系的表。索引表中的每项索引项按键(或逻辑记录号)顺序排列。在索引顺序文件中，可对一组记录建立一个索引项也可为每个记录建立一个索引项，视具体情况而定。

具体地,由于在主集群中部署有MDS的节点设置有对应的复制单元，因此，主集群的复制单元可以从对应的节点获取元数据信息。

主集群的复制单元将获取到的元数据信息写入数据索引表，得到第一索引表信息；同时，将数据索引表打上“信息已收集，暂未同步到从集群”的标志，并将第一索引表信息写入到磁盘以防止主集群发生故障导致第一索引表信息丢失。

主集群的复制单元将第一索引表信息发送至从集群的复制单元，以便于从集群的复制单元利用第一索引表信息进行数据同步。

步骤203：从集群的复制单元接收第一索引表信息，以利用第一索引表信息进行从主集群到从集群的数据同步。

具体地，从集群的复制单元接收主集群的复制单元发送来的第一索引表信息，以便于利用第一索引表信息进行从主集群到从集群的数据同步。

可以看出，本申请实施例通过主集群的复制单元从对应的节点获取元数据信息，将获取到的元数据信息写入数据索引表，得到第一索引表信息，并将第一索引表发送至从集群的复制单元；从集群的复制单元在接收到第一索引表信息后，则利用第一索引表信息进行从主集群到从集群的数据同步。通过上述操作，主集群和从集群之间由针对节点设置的复制单元基于元数据信息进行数据同步，从而降低数据同步对主集群本身服务性能的影响。

下面对上述方法流程中的各步骤进行详细描述。首先结合实施例对上述步骤201即“主集群的复制单元从对应的节点获取元数据信息，将获取到的元数据信息写入数据索引表，得到第一索引表信息，并将第一索引表信息发送至从集群的复制单元”进行详细描述。

作为其中一种可实现的方式，主集群的复制单元可以是多个，其中包括主复制单元和从复制单元。每个部署有MDS的节点均存在对应的复制单元，每个复制单元负责从其对应节点获取元数据信息。如图3所示，步骤201可以具体包括以下步骤：

步骤2011，主集群的主复制单元接收主集群的从复制单元上报的元数据信息。

作为其中一种可实现的方式，主集群的主复制单元给主集群的从复制单元发送获取通知，主集群的从复制单元获取对应节点的元数据信息，并将获取到的元数据信息发送给主集群的主复制单元；主集群的主复制单元接收主集群的从复制单元上报的元数据信息。

除了上述方式之外，也可以由主集群的从复制单元定时向主复制单元上报元数据信息。

步骤2013，根据接收到的元数据信息和从主集群的主复制单元对应的节点获取的元数据信息对数据索引表进行增量记录，得到第一索引表信息。

具体地，主集群的主复制单元根据接收到的元数据信息和从主集群的主复制单元对应的节点获取的元数据信息对数据索引表进行增量记录，得到第一索引表信息。其中，主集群的主复制单元可以只依据元数据信息做增量记录并不进行合并，即不将同一个数据文件下的不同操作类型作为同一个记录进行合并，而是为每个记录建立一个索引项。同时，主集群的主复制单元在得到第一索引表信息之后，将第一索引表信息同步至主集群的从复制单元，主集群的从复制单元亦将其写入到磁盘以防止丢失。

步骤2015，主集群的主复制单元将第一索引表信息发送至从集群的复制单元。

具体地，主集群的主复制单元将第一索引表信息发送至从集群的复制单元，以便于从集群的复制单元利用第一索引表信息进行数据同步，以达到提高数据同步稳定性的效果。

在一些实施例中，若超过设定时长仍存在主集群的从复制单元未上报元数据信息，则主集群的主复制单元通过人机交互界面进行告警，以提醒工作人员主集群中的部分从复制单元未进行元数据信息的上报，需要在下次数据同步时特别关注，直至未进行元数据信息的上报的从复制单元将其元数据信息上报后，告警才会消除。

下面结合实施例对上述步骤203即“从集群的复制单元接收第一索引表信息，利用第一索引表信息进行从主集群到从集群的数据同步”进行详细描述。

作为其中一种可实现的方式，本步骤中的从集群的复制单元可以是多个，其中包括主复制单元和从复制单元。

从集群的主复制单元接收第一索引表信息，将接收到的第一索引表信息与之前接收到的尚未用于数据同步的第一索引表信息合并，得到第二索引表信息；将第二索引表信息同步至从集群的从复制单元，依据第二索引表信息进行从主集群到从集群的数据同步。

具体地，当从集群的主复制单元接收到第一索引表信息后，给数据索引表打上“已接收，未同步数据”的标志，与之前接收到的标有同种标志的即尚未用于数据同步的第一索引表信息合并，得到第二索引表信息，并将第二索引表信息写入到磁盘以防止丢失。同时，将第二索引表信息同步至从集群的从复制单元，同样写入到磁盘。

在一些实施例中，将第二索引表信息中同一数据文件对应的操作信息进行合并，依据合并后的操作信息进行对该数据文件的数据同步。

这里，操作信息包括：数据文件的文件名、元数据号、路径以及操作类型等信息，而操作类型可以包括但不限于：创建、修改以及删除。

具体地，将第二索引表信息中同一数据文件对应的操作信息进行合并，依据合并后的操作信息进行对该数据文件的数据同步的原则包括：

如果当前数据文件在第二索引表信息中只有一个操作类型，则直接根据第二索引表信息中的操作类型进行数据同步，例如：

在一种可实现的方式中，如果当前数据文件在第二索引表信息记录中只有删除操作，则在从集群中发起对当前数据文件的删除操作，不需要与主集群进行数据传递。

在一种可实现的方式中，如果当前数据文件在第二索引表信息记录中只有创建操作，则向主集群发起获取该数据文件的请求，并在从集群相同路径下创建该数据文件。

在一种可实现的方式中，如果当前数据文件在第二索引表信息记录中只有修改操作，则先在从集群中删除该数据文件，再向主集群发起获取该数据文件的请求，并在从集群相同路径下创建该数据文件。

如果当前数据文件在第二索引表信息中有多个操作类型，则需要将多个操作类型进行合并，依据合并后的操作信息进行对该数据文件的数据同步，例如：

在一种可实现的方式中，如果当前数据文件在第二索引表信息中同时存在创建和修改操作，则需要先向主集群发起获取该数据文件的请求，再在从集群的相同路径下对该数据文件进行数据同步。

作为另一种可实现的方式，在依据合并后的操作信息进行对该数据文件的数据同步之后，可进一步包括如下步骤：

主集群的主复制单元获取从集群的主复制单元的数据同步状态信息，当数据同步状态信息为成功信息时，将第一索引表信息以及第二索引表信息从当前数据索引表中删除，以免其占据不必要的空间。

在一些实施例中，主集群的主复制单元定时获取主集群中节点的资源使用状况；在资源使用状况符合预设标准时，向从集群的主复制单元发送数据同步的消息；从集群的主复制单元接收到数据同步的消息后，执行依据第二索引表信息进行从主集群到从集群的数据同步的步骤。

这里，主集群中节点的资源使用状况可以包括：主集群中节点的CPU、磁盘以及内存使用情况等中的一种或任意组合。

具体地，可能并不是主集群中的所有节点都部署有MDS,因此，可以由主集群的主复制单元定时主动获取主集群中节点的资源使用状况，在资源使用状况符合预设标准时，才会向从集群的主复制单元发送数据同步的消息；如果资源使用状况超过预设标准，就尽量不要这个时候向从集群的主复制单元发送数据同步的消息，不然，会进一步占用节点的资源，产生对主集群服务功能不利的影响，减缓数据同步的效率。这里的预设标准可以根据实际的场景需求进行设置。从集群的主复制单元在接收到数据同步的消息后，执行依据第二索引表信息进行从主集群到从集群的数据同步的步骤。

在一些实施例中，在数据同步的过程中，主集群的主复制单元停止从主集群的从复制单元获取元数据信息。

具体地，在数据同步的过程中，主集群的主复制单元停止从主集群的从复制单元获取元数据信息，同时，也不再向从集群的主复制单元发送第一索引表信息；不过，主集群的从复制单元仍然可以从其对应节点获取元数据信息，并且打上“未写入数据索引表”的标志，并将元数据信息写入磁盘。只是不会上报给主集群的主复制单元。

结合上述实施例中的实现方式，下面结合图4对本申请实施例提供的一优选的方法流程进行举例描述。如图4所示，该方法可以包括以下步骤：

S410，主集群的主复制单元接收主集群的从复制单元上报的元数据信息。

S420，根据接收到的元数据信息和从主集群的主复制单元对应的节点获取的元数据信息对数据索引表进行增量记录，得到第一索引表信息，且将其同步至主集群的从复制单元。

S430，主集群的主复制单元将第一索引表信息发送至从集群的主复制单元。

S440，从集群的主复制单元接收第一索引表信息，将接收到的第一索引表信息与之前接收到的尚未用于数据同步的第一索引表信息合并，得到第二索引表信息。

S450，主集群的主复制单元定时获取主集群中节点的资源使用状况；

S460，在资源使用状况符合预设标准时，向从集群的主复制单元发送数据同步的消息。

S470，从集群的主复制单元接收到数据同步的消息后，执行依据第二索引表信息进行从主集群到从集群的数据同步的步骤。

S480，主集群的主复制单元获取从集群的主复制单元的数据同步状态信息；当数据同步状态信息为成功信息时，将第一索引表信息和第二索引表信息从当前数据索引表中删除。

上述流程仅为一个优选实施例，还可以采用其它方式，此处不再赘述。

应该理解的是，虽然2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本申请中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

上述方法实施例可以应用于多种应用场景，例如可以包括但不限于以下应用场景：

满足在百亿级文件量的分布式存储系统的远程复制操作中，主集群和从集群之间采用数据索引表的方式进行数据同步，减少远程操作对主集群业务情况的影响，从而达到提高分布式文件系统数据同步效率和稳定性的目的。

图5为本申请实施例提供的一种集群间数据同步的装置的结构示意图，该装置可以设置于图1所示的系统中，用以执行如图2中所示的方法流程。如图5所示，该装置应用于包括主集群和从集群的系统；主集群中的节点以及从集群中的节点设置有对应的复制单元，该装置设置于复制单元；该装置可以包括：第一同步模块501和第二同步模块503。其中各组成模块的主要功能如下：

第一同步模块501，用于在装置设置于主集群的复制单元时，从对应的节点获取元数据信息，将获取到的元数据信息写入数据索引表，得到第一索引表信息，并将第一索引表发送至从集群的复制单元；

第二同步模块503，用于在装置设置于从集群的复制单元时，接收来自主集群的复制单元的第一索引表信息，以利用第一索引表信息进行从主集群到从集群的数据同步。

在一些实施例中，该装置中的主集群的复制单元包括主复制单元和从复制单元；第一同步模块501，具体用于：

主集群的主复制单元接收主集群的从复制单元上报的元数据信息；

根据接收到的元数据信息和从主集群的主复制单元对应的节点获取的元数据信息对数据索引表进行增量记录，得到第一索引表信息；

主集群的主复制单元将第一索引表信息发送至从集群的复制单元。

在一些实施例中，该装置还包括：

若超过设定时长仍存在主集群的从复制单元未上报元数据信息，则主集群的主复制单元通过人机交互界面进行告警。

在一些实施例中，该装置中的从集群的复制单元包括主复制单元和从复制单元；第二同步模块503，具体用于：

从集群的主复制单元接收第一索引表信息，将接收到的第一索引表信息与之前接收到的尚未用于数据同步的第一索引表信息合并，得到第二索引表信息；

将第二索引表信息同步至从集群的从复制单元，依据第二索引表信息进行从主集群到从集群的数据同步。

在一些实施例中，第二同步模块503，具体还用于：

将第二索引表信息中同一数据文件对应的操作信息进行合并，依据合并后的操作信息进行对该数据文件的数据同步。

在一些实施例中，该装置还包括：

主集群的主复制单元定时获取主集群中节点的资源使用状况；

在资源使用状况符合预设标准时，向从集群的主复制单元发送数据同步的消息；

从集群的主复制单元接收到数据同步的消息后，执行依据第二索引表信息进行从主集群到从集群的数据同步的步骤。

在一些实施例中，该装置还包括：

在数据同步的过程中，主集群的主复制单元停止从主集群的从复制单元获取元数据信息。

上述各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如用户明确同意，对用户切实通知，用户明确授权等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。

根据本申请的实施例，本申请还提供了一种计算机设备、一种计算机可读存储介质。

如图6所示，是根据本申请实施例的计算机设备的框图。计算机设备旨在表示各种形式的数字计算机或移动装置。其中数字计算机可以包括台式计算机、便携式计算机、工作台、个人数字助理、服务器、大型计算机和其它适合的计算机。移动装置可以包括平板电脑、智能电话、可穿戴式设备等。

如图6所示，设备600包括计算单元601、ROM 602、RAM 603、总线604以及输入/输出(I/O)接口605，计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

计算单元601可以根据存储在只读存储器(ROM)602中的计算机指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机指令，来执行本申请方法实施例中的各种处理。计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601可以包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。在一些实施例中，本申请实施例提供的方法可被实现为计算机软件程序，其被有形地包含于计算机可读存储介质，例如存储单元608。

RAM 603还可存储设备600操作所需的各种程序和数据。计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。

设备600中的输入单元606、输出单元607、存储单元608和通信单元609可以连接至I/O接口605。其中，输入单元606可以是诸如键盘、鼠标、触摸屏、麦克风等；输出单元607可以是诸如显示器、扬声器、指示灯等。设备600能够通过通信单元609与其他设备进行信息、数据等的交换。

需要说明的是，该设备还可以包括实现正常运行所必需的其他组件。也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件和/或它们的组合中实现。

用于实施本申请的方法的计算机指令可以采用一个或多个编程语言的任何组合来编写。这些计算机指令可以提供给计算单元601，使得计算机指令当由诸如处理器等计算单元601执行时使执行本申请方法实施例中涉及的各步骤。

本申请提供的计算机可读存储介质可以是有形的介质，其可以包含或存储计算机指令，用以执行本申请方法实施例中涉及的各步骤。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的等形式的存储介质。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (8)

1.一种集群间数据同步的方法，其特征在于，应用于包括主集群和从集群的系统；所述主集群中的节点以及所述从集群中的节点设置有对应的复制单元，所述主集群的复制单元包括主复制单元和从复制单元，所述从集群的复制单元包括主复制单元和从复制单元，该方法包括：

所述主集群的主复制单元接收所述主集群的从复制单元上报的元数据信息；

根据接收到的所述元数据信息和从所述主集群的主复制单元对应的节点获取的元数据信息对数据索引表进行增量记录，得到第一索引表信息；

所述主集群的主复制单元将所述第一索引表信息发送至从集群的复制单元；

所述从集群的主复制单元接收所述第一索引表信息，将接收到的所述第一索引表信息与之前接收到的尚未用于数据同步的第一索引表信息合并，得到第二索引表信息；

将所述第二索引表信息同步至所述从集群的从复制单元，依据所述第二索引表信息进行从所述主集群到所述从集群的数据同步。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

若超过设定时长仍存在主集群的从复制单元未上报元数据信息，则所述主集群的主复制单元通过人机交互界面进行告警。

3.根据权利要求2所述的方法，其特征在于，所述依据所述第二索引表信息进行从所述主集群到所述从集群的数据同步，包括：

将所述第二索引表信息中同一数据文件对应的操作信息进行合并，依据合并后的操作信息进行对该数据文件的数据同步。

4.根据权利要求1所述的方法，其特征在于，该方法还包括：

主集群的主复制单元定时获取主集群中节点的资源使用状况；

在所述资源使用状况符合预设标准时，向从集群的主复制单元发送数据同步的消息；

所述从集群的主复制单元接收到所述数据同步的消息后，执行所述依据所述第二索引表信息进行从所述主集群到所述从集群的数据同步的步骤。

5.根据权利要求1所述方法，其特征在于，该方法还包括：

在所述数据同步的过程中，主集群的主复制单元停止从主集群的从复制单元获取元数据信息。

6.一种集群间数据同步的装置，其特征在于，应用于包括主集群和从集群的系统；所述主集群中的节点以及所述从集群中的节点设置有对应的复制单元，所述主集群的复制单元包括主复制单元和从复制单元，所述从集群的复制单元包括主复制单元和从复制单元，所述装置设置于所述主复制单元；所述装置包括：

第一同步模块，用于在所述装置设置于主集群的主复制单元时，接收所述主集群的从复制单元上报的元数据信息；根据接收到的所述元数据信息和从所述主集群的主复制单元对应的节点获取的元数据信息对数据索引表进行增量记录，得到第一索引表信息；所述主集群的主复制单元将所述第一索引表信息发送至从集群的复制单元；

第二同步模块，用于在所述装置设置于从集群的主复制单元时，接收所述第一索引表信息，将接收到的所述第一索引表信息与之前接收到的尚未用于数据同步的第一索引表信息合并，得到第二索引表信息；将所述第二索引表信息同步至所述从集群的从复制单元，依据所述第二索引表信息进行从所述主集群到所述从集群的数据同步。

7.一种计算机设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机指令，所述计算机指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令用于使计算机执行权利要求1至5中任一项所述的方法。