CN112187889A - 一种数据同步方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提供了一种数据同步方法，应用于第一集群中，该方法包括：判断该第一集群的节点中待同步数据是否满足同步条件，生成判断结果；在判断结果为满足同步的情况下，该第一集群的节点将待同步数据发送到消息队列，该待同步数据中携带有数据属性和时间戳；其中，该待同步数据用于第二集群中的节点进行数据同步。通过本发明实施例提供的数据同步方法，第一集群中的节点将待同步数据发送到消息队列，供第二集群中的节点获取，第二集群中的节点根据获取到的待同步数据进行集群内数据的同步更新，从而实现跨集群节点之间的数据同步。

Description

一种数据同步方法、装置及存储介质

技术领域

本发明涉及信息技术领域，具体涉及一种数据同步方法、装置及存储介质。

背景技术

相关技术可以实现同一个集群内部，各节点之间数据的自动分片和再平衡功能，但无法实现跨集群之间的数据同步。在一些要求比较高的场景，需要支持跨数据中心的异地灾备，如何实现跨集群的数据同步成为一个问题。

发明内容

本发明提供了一种数据同步方法、装置及存储介质，以实现跨集群节点之间的数据同步。

本发明实施例提供了一种数据同步方法，应用于第一集群中，包括：判断所述第一集群的节点中待同步数据是否满足同步条件，生成判断结果；在判断结果为满足同步的情况下，所述第一集群的节点将待同步数据发送到消息队列，所述待同步数据中携带有数据属性和时间戳；其中，所述待同步数据用于第二集群中的节点进行数据同步。

可选的，所述判断所述第一集群的节点中待同步数据是否满足同步条件，生成判断结果，包括：获取所述第一集群中的节点上一次发生数据同步的时间；判断上一次发生数据同步的时间与当前时间的间隔是否满足第一阈值；在判断结果为是的情况下，生成判断结果为满足同步；或者，判断所述第一集群的节点中待同步数据的数据量是否满足第二阈值；在判断结果为是的情况下，生成判断结果为满足同步。

可选的，在所述第一集群的节点将待同步数据发送到消息队列之前，所述方法还包括以下至少之一：对于所述待同步数据中同步方式为更新的第一数据，设置所述第一数据的数据属性为待更新，设置所述第一数据的时间戳为所述第一数据在所述第一集群的节点中发生更新的时间；对于所述待同步数据中同步方式为删除的第二数据，设置所述第二数据的数据属性为待删除，设置所述第二数据的时间戳为所述第二数据被所述第一集群的节点删除的时间；对于所述待同步数据中同步方式为添加的第三数据，设置所述第三数据的数据属性为待添加，设置所述第三数据的时间戳为所述第三数据被添加到所述第一集群的节点中的时间。

本发明实施例还提供了一种数据同步方法，应用于第二集群中，包括：从消息队列中获取第一集群的节点发送的待同步数据，所述待同步数据中携带有数据属性和时间戳；判断所述待同步数据是否满足同步条件，生成判断结果；在判断结果为满足同步的情况下，根据所述待同步数据对所述第二集群的节点中的数据进行同步。

可选的，所述判断所述待同步数据是否满足同步条件，生成判断结果，包括：在所述待同步数据的数据属性为待更新或者待删除的情况下，识别出存储于所述第二集群的节点中且与所述待同步数据对应的第四数据；判断所述待同步数据的时间戳是否晚于所述第四数据的时间戳；在判断结果为是的情况下，生成判断结果为满足同步。

可选的，所述根据所述待同步数据对所述第二集群的节点中的数据进行同步，包括：对于所述数据属性为待更新的待同步数据，将存储于所述第二集群的节点中且与所述待同步数据对应的数据更新为所述待同步数据；对于所述数据属性为待删除的待同步数据，对存储于所述第二集群的节点中且与所述待同步数据对应的数据进行删除。

可选的，所述判断所述待同步数据是否满足同步条件，生成判断结果，包括：在所述待同步数据的数据属性为待添加的情况下，判断所述第二集群的节点中是否存储有与所述待同步数据对应的数据；在判断结果为否的情况下，生成判断结果为满足同步。

可选的，所述根据所述待同步数据对所述第二集群的节点中的数据进行同步，包括：对于所述数据属性为待添加的待同步数据，在所述第二集群的对应节点中添加所述待同步数据。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例中的任意一种方法。

本发明实施例还提供了一种电子装置，包括存储器和处理器，所述处理器通过执行所述存储器中的程序实现本发明实施例中的任意一种方法。

通过本发明实施例提供的数据同步方法，第一集群中的节点将待同步数据发送到消息队列，供第二集群中的节点获取，第二集群中的节点根据获取到的待同步数据进行集群内数据的同步更新，从而实现跨集群节点之间的数据同步。

说明书附图

图1是本发明实施例提供的一种数据同步方法的流程图；

图2是本发明实施例提供的另一种数据同步方法的流程图；

图3是根据本发明实施例的一种数据同步装置的框架图；

图4是根据本发明实施例的另一种数据同步装置的框架图；

图5是本发明实施例提供的一种跨集群数据同步的系统架构图；

图6是本发明实施例提供的一种跨集群数据同步方法的流程图。

具体实施方法

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

另外，在本发明实施例中，“可选的”或者“示例性的”等词用于表示作例子、例证或说明。本发明实施例中被描述为“可选的”或者“示例性的”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“可选的”或者“示例性的”等词旨在以具体方式呈现相关概念。

本发明实施例提供了一种数据同步方法，该方法应用于第一集群中。图1是本发明实施例提供的一种数据同步方法的流程图，如图1所示，该方法可以包括如下步骤：

S102:判断该第一集群的节点中待同步数据是否满足同步条件，生成判断结果；

S104:在判断结果为满足同步的情况下，该第一集群的节点将待同步数据发送到消息队列，该待同步数据中携带有数据属性和时间戳；

其中，该待同步数据用于第二集群中的节点进行数据同步。

通过本发明实施例提供的数据同步方法，第一集群中的节点将待同步数据发送到消息队列，供第二集群中的节点获取，第二集群中的节点根据获取到的待同步数据进行集群内数据的同步更新，从而实现跨集群节点之间的数据同步。

可选的，该判断该第一集群的节点中待同步数据是否满足同步条件，生成判断结果，包括：获取该第一集群中的节点上一次发生数据同步的时间；判断上一次发生数据同步的时间与当前时间的间隔是否满足第一阈值；在判断结果为是的情况下，生成判断结果为满足同步。

可选的，该判断该第一集群的节点中待同步数据是否满足同步条件，生成判断结果，包括：判断该第一集群的节点中待同步数据的数据量是否满足第二阈值；在判断结果为是的情况下，生成判断结果为满足同步。

触发第一集群中的节点将待同步数据同步到消息队列的条件可以有两个：数据同步时间间隔或者待同步数据量。当距离上次数据同步的时间间隔达到第一阈值后，或者缓存中待同步的数据量达到第二阈值后，会触发数据同步。

可选的，在该第一集群的节点将待同步数据发送到消息队列之前，该方法还包括以下至少之一：对于该待同步数据中同步方式为更新的第一数据，设置该第一数据的数据属性为待更新，设置该第一数据的时间戳为该第一数据在该第一集群的节点中发生更新的时间；对于该待同步数据中同步方式为待删除的第二数据，设置该第二数据的数据属性为待删除，设置该第二数据的时间戳为该第二数据被该第一集群的节点删除的时间；对于该待同步数据中同步方式为待添加的第三数据，设置该第三数据的数据属性为待添加，设置该第三数据的时间戳为该第三数据被添加到该第一集群的节点中的时间。

数据的同步方式可以有三种：对已有数据的更新、对已有数据的删除或者新增数据。这里，更新指对已有数据的替换。

本发明实施例还提供了另一种数据同步方法，该方法应用于第二集群中。图2是本发明实施例提供的另一种数据同步方法的流程图，如图2所示，该方法可以包括如下步骤：

S202:从消息队列中获取第一集群的节点发送的待同步数据，该待同步数据中携带有数据属性和时间戳；

S204:判断该待同步数据是否满足同步条件，生成判断结果；

S206:在判断结果为满足同步的情况下，根据该待同步数据对该第二集群的节点中的数据进行同步。

通过本发明实施例提供的数据同步方法发送到消息队列，第二集群中的节点从消息队列中获取第一集群中的节点发送的待同步数据，在满足同步条件的情况下进行数据同步，从而实现跨集群节点之间的数据同步。

可选的，该判断该待同步数据是否满足同步条件，生成判断结果，包括：在该待同步数据的数据属性为待更新或者待删除的情况下，识别出存储于该第二集群的节点中且与该待同步数据对应的第四数据；判断该待同步数据的时间戳是否晚于该第四数据的时间戳；在判断结果为是的情况下，生成判断结果为满足同步。

对于待更新(这里更新指对已有数据的替换)或者待删除的待同步数据，首先需要确定第二集群的节点中是否存储有与该待同步数据对应的数据，在存储有对应数据的情况下，再去判断待同步数据的时间戳是否比该对应数据的时间戳更晚，即待同步数据是否比该对应数据更加新，如果是的话，就判定其满足数据同步的条件。

可选的，该根据该待同步数据对该第二集群的节点中的数据进行同步，包括：对于该数据属性为待更新的待同步数据，将存储于该第二集群的节点中且与该待同步数据对应的数据更新为该待同步数据；对于该数据属性为待删除的待同步数据，对存储于该第二集群的节点中且与该待同步数据对应的数据进行删除。

可选的，该判断该待同步数据是否满足同步条件，生成判断结果，包括：在该待同步数据的数据属性为待添加的情况下，判断该第二集群的节点中是否存储有与该待同步数据对应的数据；在判断结果为否的情况下，生成判断结果为满足同步。

对于待添加的待同步数据，首先需要确定第二集群的节点中是否存储有与该待同步数据对应的数据，在未存储有对应数据的情况下，就可以在第二集群的节点中添加该待同步数据了。

可选的，该根据该待同步数据对该第二集群的节点中的数据进行同步，包括：对于该数据属性为待添加的待同步数据，在该第二集群中的对应节点中添加该待同步数据。

第二集群中有多个节点，因此需要先确定对应添加该待同步数据的第二集群的节点，然后在该特定的节点中添加待同步数据。

本发明实施例还提供了一种数据同步装置，应用于第一集群中。图3是根据本发明实施例的一种数据同步装置的框架图，如图3所示，装置包括判断模块32和发送模块34，其中，

该判断模块32，用于判断该第一集群的节点中待同步数据是否满足同步条件，生成判断结果；

该发送模块34，用于在判断结果为满足同步的情况下，该第一集群的节点将待同步数据发送到消息队列，该待同步数据中携带有数据属性和时间戳；

其中，该待同步数据用于第二集群中的节点进行数据同步。

可选的，该判断模块32包括获取子模块和第一判断子模块和第一生成子模块，其中，该获取子模块，用于获取该第一集群中的节点上一次发生数据同步的时间；该第一判断子模块，用于判断上一次发生数据同步的时间与当前时间的间隔是否满足第一阈值；该第一生成子模块，用于在判断结果为是的情况下，生成判断结果为满足同步；

可选的，该判断模块32包括第二判断子模块和第二生成子模块，其中，该第二判断子模块，用于判断该第一集群的节点中待同步数据的数据量是否满足第二阈值；该第二生成子模块，用于在判断结果为是的情况下，生成判断结果为满足同步。

可选的，该装置还包括设置模块，其中，该设置模块，用于对于该待同步数据中同步方式为待更新的第一数据，设置该第一数据的数据属性为待更新，设置该第一数据的时间戳为该第一数据在该第一集群的节点中发生更新的时间；对于该待同步数据中同步方式为待删除的第二数据，设置该第二数据的数据属性为待删除，设置该第二数据的时间戳为该第二数据被该第一集群的节点删除的时间；对于该待同步数据中同步方式为待添加的第三数据，设置该第三数据的数据属性为待添加，设置该第三数据的时间戳为该第三数据被添加到该第一集群的节点中的时间。

本发明实施例还提供了另一种数据同步装置，应用于第二集群中。图4是根据本发明实施例的另一种数据同步装置的框架图，如图4所示，装置包括获取模块42、判断模块44和同步模块46，其中，

该获取模块42，用于从消息队列中获取第一集群的节点发送的待同步数据，该待同步数据中携带有数据属性和时间戳；

该判断模块44，用于判断该待同步数据是否满足同步条件，生成判断结果；

该同步模块46，用于在判断结果为满足同步的情况下，根据该待同步数据对该第二集群的节点中的数据进行同步。

可选的，该判断模块44包括识别子模块、第一判断子模块和第一生成子模块，其中，该识别子模块，用于在该待同步数据的数据属性为待更新或者待删除的情况下，识别出存储于该第二集群的节点中且与该待同步数据对应的第四数据；该第一判断子模块，用于判断该待同步数据的时间戳是否晚于该第四数据的时间戳；该第一生成子模块，用于在判断结果为是的情况下，生成判断结果为满足同步。

可选的，该同步模块46包括第一同步子模块和第二同步子模块，其中，该第一同步子模块，用于对于该数据属性为待更新的待同步数据，将存储于该第二集群的节点中且与该待同步数据对应的数据更新为该待同步数据；该第二同步子模块，用于对于该数据属性为待删除的待同步数据，对存储于该第二集群的节点中且与该待同步数据对应的数据进行删除。

可选的，该判断模块44包括第二判断子模块和第二生成子模块，其中，该第二判断子模块，用于在该待同步数据的数据属性为待添加的情况下，判断该第二集群的节点中是否存储有与该待同步数据对应的数据；该第二生成子模块，用于在判断结果为否的情况下，生成判断结果为满足同步。

可选的，该同步模块46包括第三同步子模块，其中，该第三同步子模块，用于对于该数据属性为待添加的待同步数据，在该第二集群的对应节点中添加该待同步数据。

以下结合具体场景对本发明实施例进行说明。

Ignite是一种内存分布式管理系统，在同一个Ignite集群内部，可以实现各节点之间的数据自动分片和再平衡功能，但不同Ignite集群之间尚无跨集群数据同步的解决方案。在一些高可用要求比较高的场景，需要支持跨数据中心异地灾备。实现跨数据中心Ignite主备集群之间的数据同步成为一个问题。

Ignite有一个后写机制，能实现缓存与数据库之间的数据同步。当开启后写机制后，Ignite后台启动两类独立线程：

1)监控线程：当数据满足触发条件时，监控线程触发数据同步线程，将待同步数据发送到数据库中。触发条件有两个：同步时间间隔和待同步数据量。当距离上次同步时间到达预设时间间隔后，或者缓存中待同步的数据量到达设定的数据量后，就会触发数据同步。

2)数据同步线程：监控线程触发数据同步线程后，数据同步线程被启动，并收到待更新或待删除的数据，数据同步线程将待更新的数据更新到数据库中，将待删除的数据从数据库中删除，从而实现了从缓存到数据库的数据同步。

本发明实施例利用Ignite后写机制，改写数据同步线程中数据同步逻辑，将原本同步数据库的逻辑变更为将待同步数据写到消息队列中，另外一个集群通过读取消息队列中的待同步数据来更新缓存，从而实现跨集群数据同步。

图5是本发明实施例提供的一种跨集群数据同步的系统架构图，如图5所示，Ignite集群1中的节点将待同步数据写入消息队列，Ignite集群2中的节点从消息队列中获取待同步数据，以实现数据同步。

图6是本发明实施例提供的一种跨集群数据同步方法的流程图，如图6所示，该方法包括如下步骤：

S61：开启Ignite集群1的后写机制，设置触发参数：更新时间间隔(同步时间间隔)和更新数据量(待同步数据量)。

S62：当满足触发条件时，Ignite集群1中每个节点的数据同步线程被激活，数据同步线程将更新(这里的更新包括对未有数据的新增，或者对已有数据的替换)或删除的数据信息写入到消息队列中。由于多线程处理可能存在乱序问题，缓存数据属性需要有一个时间戳，用于记录操作的先后顺序。同步线程写入消息队列的数据应包含数据更新或删除的时间戳。

S63：数据写入模块监控消息队列，一旦发现消息队列中有数据，从消息队列读取数据并同步至Ignite集群2。

如果是更新数据(包括对未有数据的新增，或者对已有数据的替换)，检查集群2中的缓存数据，如果集群2中不存在与该更新数据相对应的数据，或者集群2中存储的与该更新数据相对应的已有数据的时间戳比队列中的更新数据更早，则更新(包括新增或者替换)集群2中的数据，否则不更新；

如果是删除数据，检查集群2中的缓存数据，如果集群2中存储的与该删除数据相对应的已有数据的时间戳比队列中的删除数据更早，则删除数据，否则不删除。

本发明实施例还提供了一种电子装置，该电子装置包括处理器和存储器；电子装置中处理器的数量可以是一个或多个，存储器作为一种计算机可读存储介质，可用于存储计算机可执行程序。处理器通过运行存储在存储器中的软件程序、指令，从而执行电子装置的各种功能应用以及数据处理，即实现上述任一实施例中的方法。

本申请实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时实现上述任一实施例中的方法。

可选的，处理器通过执行指令实现一种数据同步方法，该方法包括：

S11:判断该第一集群的节点中待同步数据是否满足同步条件，生成判断结果；

S12:在判断结果为满足同步的情况下，该第一集群的节点将待同步数据发送到消息队列中，该待同步数据中携带有数据属性和时间戳；

其中，该待同步数据用于第二集群中的节点进行数据同步。

可选的，处理器通过执行指令实现另一种数据同步方法，该方法包括：

S21:从消息队列中获取第一集群的节点发送的待同步数据，该待同步数据中携带有数据属性和时间戳；

S22:判断该待同步数据是否满足同步条件，生成判断结果；

S23:在判断结果为满足同步的情况下，根据该待同步数据对该第二集群中的节点的数据进行同步。

以上仅为本申请的示例性实施例而已，并非用于限定本申请的保护范围。

一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。

本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。

本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(ROM)、随机访问存储器(RAM)、光存储器装置和系统(数码多功能光碟DVD或CD光盘)等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑器件(FGPA)以及基于多核处理器架构的处理器。

通过示范性和非限制性的示例，上文已提供了对本申请的示范实施例的详细描述。但结合附图和权利要求来考虑，对以上实施例的多种修改和调整对本领域技术人员来说是显而易见的，但不偏离本发明的范围。因此，本发明的恰当范围将根据权利要求确定。

Claims (10)

1.一种数据同步方法，应用于第一集群中，其特征在于，包括：

判断所述第一集群的节点中待同步数据是否满足同步条件，生成判断结果；

在判断结果为满足同步的情况下，所述第一集群的节点将待同步数据发送到消息队列，所述待同步数据中携带有数据属性和时间戳；

其中，所述待同步数据用于第二集群中的节点进行数据同步。

2.如权利要求1所述的方法，其特征在于，所述判断所述第一集群的节点中待同步数据是否满足同步条件，生成判断结果，包括：

获取所述第一集群中的节点上一次发生数据同步的时间；判断上一次发生数据同步的时间与当前时间的间隔是否满足第一阈值；在判断结果为是的情况下，生成判断结果为满足同步；或者，

判断所述第一集群的节点中待同步数据的数据量是否满足第二阈值；在判断结果为是的情况下，生成判断结果为满足同步。

3.如权利要求1或2所述的方法，其特征在于，在所述第一集群的节点将待同步数据发送到消息队列之前，所述方法还包括以下至少之一：

对于所述待同步数据中同步方式为更新的第一数据，设置所述第一数据的数据属性为待更新，设置所述第一数据的时间戳为所述第一数据在所述第一集群的节点中发生更新的时间；

对于所述待同步数据中同步方式为删除的第二数据，设置所述第二数据的数据属性为待删除，设置所述第二数据的时间戳为所述第二数据被所述第一集群的节点删除的时间；

对于所述待同步数据中同步方式为添加的第三数据，设置所述第三数据的数据属性为待添加，设置所述第三数据的时间戳为所述第三数据被添加到所述第一集群的节点中的时间。

4.一种数据同步方法，应用于第二集群中，其特征在于，包括：

从消息队列中获取第一集群的节点发送的待同步数据，所述待同步数据中携带有数据属性和时间戳；

判断所述待同步数据是否满足同步条件，生成判断结果；

在判断结果为满足同步的情况下，根据所述待同步数据对所述第二集群的节点中的数据进行同步。

5.如权利要求4所述的方法，其特征在于，所述判断所述待同步数据是否满足同步条件，生成判断结果，包括：

在所述待同步数据的数据属性为待更新或者待删除的情况下，识别出存储于所述第二集群的节点中且与所述待同步数据对应的第四数据；

判断所述待同步数据的时间戳是否晚于所述第四数据的时间戳；

在判断结果为是的情况下，生成判断结果为满足同步。

6.如权利要求4或5所述的方法，其特征在于，所述根据所述待同步数据对所述第二集群的节点中的数据进行同步，包括：

对于所述数据属性为待更新的待同步数据，将存储于所述第二集群的节点中且与所述待同步数据对应的数据更新为所述待同步数据；

对于所述数据属性为待删除的待同步数据，对存储于所述第二集群的节点中且与所述待同步数据对应的数据进行删除。

7.如权利要求4所述的方法，其特征在于，所述判断所述待同步数据是否满足同步条件，生成判断结果，包括：

在所述待同步数据的数据属性为待添加的情况下，判断所述第二集群的节点中是否存储有与所述待同步数据对应的数据；

在判断结果为否的情况下，生成判断结果为满足同步。

8.如权利要求4或7所述的方法，其特征在于，所述根据所述待同步数据对所述第二集群的节点中的数据进行同步，包括：

对于所述数据属性为待添加的待同步数据，在所述第二集群的对应节点中添加所述待同步数据。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的方法或者实现如权利要求4-8中任一项所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述处理器通过执行所述存储器中的计算机程序实现如权利要求1-3中任一项所述的方法或者实现如权利要求4-8中任一项所述的方法。

Images