CN112437142B - 多个数据中心的数据同步系统和方法 - Google Patents

Abstract

本发明提供了一种多个数据中心的数据同步系统和方法，包括：同步中心模块和多个子同步模块；其中，每个子同步模块分别与多个服务器相连接，同步中心模块分别与多个子同步模块相连接；子同步模块，用于获取目标服务器发送的待同步数据，并将待同步数据同步到与子同步模块相连接的除目标服务器之外的服务器；目标服务器为与子同步模块相连接的服务器中的一个服务器；子同步模块，还用于将待同步数据发送到同步中心模块；同步中心模块，用于获取待同步数据，并将待同步数据广播到除发送待同步数据的子同步模块之外的子同步模块。本发明缓解了现有技术中存在的单个同步中心模块同步效率低、容易发生事故的技术问题。

Description

多个数据中心的数据同步系统和方法

技术领域

本发明涉及数据同步技术领域，尤其是涉及一种多个数据中心的数据同步系统和方法。

背景技术

在业务开发推进中，部署在各个机房中的服务器有数据同步的需求。现有技术中的多个服务器数据同步方法为设置一个同步中心模块，然后连接所有服务器，对于服务器的数据同步过程都由同一个同步中心模块进行。然而现有技术中的这种设计方法存在着如下技术问题：

1、随着业务发展，部署的服务器增加，同步中心模块也接入更多的服务器，使得同步中心模块的连接数越来越多，增加了连接数。

2、一个服务器发送的数据的要同步到所有的连接的服务器，同步服务器广播数量也越来越多，势必导致同步的效率降低。

3、某个服务器断开重连后，在断开期间收不到其他服务器的同步信息，重连后再接收同步信息，由于自身保存的信息滞后，会导致收到的新的信息处理错误。

4、当同步中心模块发生故障，无法提供服务，所有的服务器都不能进行消息同步，导致整体功能的崩溃。发生生产事故。

发明内容

有鉴于此，本发明的目的在于提供一种多个数据中心的数据同步系统和方法，以缓解现有技术中存在的单个同步中心模块同步效率低、容易发生事故的技术问题。

第一方面，本发明实施例提供了一种多个数据中心的数据同步系统，包括：同步中心模块和多个子同步模块；其中，每个子同步模块分别与多个服务器相连接，所述同步中心模块分别与所述多个子同步模块相连接；所述子同步模块，用于获取目标服务器发送的待同步数据，并将所述待同步数据同步到与所述子同步模块相连接的除所述目标服务器之外的服务器；所述目标服务器为与所述子同步模块相连接的服务器中的一个服务器；所述子同步模块，还用于将所述待同步数据发送到所述同步中心模块；所述同步中心模块，用于获取所述待同步数据，并将所述待同步数据广播到除发送所述待同步数据的子同步模块之外的子同步模块。

进一步地，所述子同步模块，还用于：获取所述同步中心模块发送的待同步数据；将所述待同步数据同步到与所述子同步模块相连接的多个服务器。

进一步地，所述系统还包括多个第一数据库，每个第一数据库分别与一个子同步模块相连接，用于存储所述待同步数据。

进一步地，所述系统还包括第二数据库，所述第二数据库与所述同步中心模块相连接，用于存储所述待同步数据。

第二方面，本发明实施例还提供了一种多个数据中心的数据同步方法，应用于数据同步系统，所述数据同步系统包括：同步中心模块和多个子同步模块；其中，每个子同步模块分别与多个服务器相连接，所述同步中心模块分别与所述多个子同步模块相连接；所述方法包括：获取目标服务器发送的待同步数据；通过目标子同步模块将所述待同步数据同步到与所述目标子同步模块相连接的除所述目标服务器之外的服务器；所述目标子同步模块为与所述目标服务器相连接的子同步模块；将所述待同步数据发送到所述同步中心模块，并通过所述同步中心模块将所述待同步数据广播到除所述目标子同步模块之外的子同步模块。

进一步地，在通过所述同步中心模块将所述待同步数据广播到除所述目标子同步模块之外的子同步模块之后，所述方法还包括：将所述待同步数据同步到与所述子同步模块相连接的多个服务器。

进一步地，所述方法还包括：将所述待同步数据存储在第一数据库；所述第一数据库为与所述子同步模块相连接的数据库。

进一步地，将所述待同步数据存储在第二数据库；所述第二数据库为与所述同步中心模块相连接的数据库。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。

第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。

本发明实施例提供了一种多个数据中心的数据同步系统和方法，通过同步中心模块与子同步模块级联的方式，使得多个服务器之间的同步过程可以分级进行，而不再依赖单个同步模块，这样大大减少了同步中心模块的连接数，减小了同步中心模块的广播压力，进而缓解了现有技术中存在的单个同步中心模块同步效率低的技术问题；同时，各个子同步模块之间可以独立运行，提供了系统的稳定性，从而缓解了现有技术容易发生事故的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多个数据中心的数据同步系统的示意图；

图2为本发明实施例提供的另一种多个数据中心的数据同步系统的示意图；

图3为本发明实施例提供的一种多个数据中心的数据同步方法的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

图1是根据本发明实施例提供的一种多个数据中心的数据同步系统的示意图。如图1所示，该系统包括：同步中心模块10和多个子同步模块20；其中，每个子同步模块20分别与多个服务器相连接，同步中心模块10分别与多个子同步模块20相连接。

具体地，子同步模块20，用于获取目标服务器发送的待同步数据，并将待同步数据同步到与子同步模块相连接的除目标服务器之外的服务器；目标服务器为与子同步模块相连接的服务器中的一个服务器。

子同步模块20，还用于将待同步数据发送到同步中心模块。

同步中心模块10，用于获取待同步数据，并将待同步数据广播到除发送待同步数据的子同步模块之外的子同步模块。

可选地，子同步模块20，还用于：获取同步中心模块10发送的待同步数据；将待同步数据同步到与子同步模块相连接的多个服务器。

本发明实施例提供了一种多个数据中心的数据同步系统，通过同步中心模块与子同步模块级联的方式，使得多个服务器之间的同步过程可以分级进行，而不再依赖单个同步模块，这样大大减少了同步中心模块的连接数，减小了同步中心模块的广播压力，进而缓解了现有技术中存在的单个同步中心模块同步效率低的技术问题；同时，各个子同步模块之间可以独立运行，提供了系统的稳定性，从而缓解了现有技术容易发生事故的技术问题。

可选地，如图1所示，该系统还包括多个第一数据库30，每个第一数据库30分别与一个子同步模块20相连接，用于存储待同步数据。

可选地，如图1所示，该系统还包括第二数据库40，第二数据库40与同步中心模块10相连接，用于存储待同步数据。

下面举例说明本发明实施例提供的多个数据中心的数据同步系统的工作模式。例如，图2是根据本发明实施例提供的另一种多个数据中心的数据同步系统的示意图，如图2所示，每个子同步模块均位于不同的地区，包括：杭州同步模块、上海同步模块和其他子同步模块(即图2中的子同步模块n)，每个子同步模块均与N个服务器相连接，同步中心模块和多个子同步模块均与对应的数据库(Database，DB)相连接。

以与杭州同步模块相连接的服务器1(例如该服务器位于杭州)发送待同步数据为例：

1、杭州的服务器1将待同步数据发送到杭州同步模块，杭州同步模块对待同步数据进行更新持久化，将待同步数据存储到与杭州同步模块相连接的数据库中；

2、杭州同步模块把待同步数据同步广播到本地的其他服务器上；

3、杭州同步模块把待同步数据发送同步中心模块，由同步中心模块进行数据的更新持久化，将待同步数据存储到与同步中心模块相连接的数据库中；

4、同步中心模块把待同步数据广播到其他各地机房的子同步模块；

5、其他各地的子同步模块收到待同步数据后，各自进行数据的更新持久化；

6、各地的子同步模块把待同步数据广播到各自相连接的服务器，至此完成消息的同步过程。

如图2所示，本发明实施例在同步数据的基础功能之上,为每个子同步模块和同步中心模块配备了DB进行状态的冗余持久化，为系统的可用性进行保障，增加了系统的稳定性。

例如，若与杭州同步模块相连接的服务器1发生网络故障，断开重连，则在断开期间与杭州同步模块相连接的其他服务器的状态都保存在DB中，重连上来以后可以从杭州同步模块中获取最新的状态，更新到本地。

若杭州同步模块发送故障，不能提供服务，则只影响到杭州本地服务器上面的状态变化，其他地区的同步服务不受影响，缩小了影响范围。等杭州同步模块修复后，从同步中心模块获取最新的状态更新到本地，并且广播到本地服务器；之后本地服务器上最新的状态可以上传再同步到其它各地。

若同步中心模块发送故障；则各地的子同步模块可以独立完成本地区的同步工作，待同步中心模块修复完成后，同步中心模块再从各地的DB中获取到最新状态，并把合并后的最新状态同步回各个子同步模块，完成状态的同步。

由以上描述可知，本发明实施例提供的一种多个数据中心的数据同步系统，通过设置多个子同步模块与同步中心模块进行连接的级联模块，以及增加了DB进行数据的持久化的方式，增加了系统的可靠性与可用性。本发明实施例提供的系统具有如下技术效果：

(1)在增加各地的子同步模块以后，服务器不再与同步中心模块直连，大大减少了同步中心模块的连接数，而各地区的子同步模块数量较少且变化比较稳定，使得同步中心模块的广播数量减少，减少了同步中心模块的同步压力，提高了系统的稳定性。

(2)增加各地的子同步模块后，即对待同步数据进行分区，同一个区的待数据同步都是在本地机房进行内网同步，减少了同步时间。因为连接同步中心模块连接减少，同步中心模块的效率变高，即使同步到不同地区效率也能得到保障。

(3)增加了本地的子同步模块后，大大增加了系统的可用性，现有技术的同步方案中只要同步中心模块发送故障，整个同步系统就不能使用；而本申请中的同步中心模块发生故障，整个同步环境被分隔成一个个小的同步区域，各个区域依然能够进行同步工作，虽然数据有不一致或者错误的情况，但是系统还是能继续运行，提供一定能力的服务，也为同步中心模块的问题排查争取到时间。

(4)增加了本地的子同步模块及数据状态的持久化后，无论同步中心模块、各地的子同步模块还是同步的服务器发送故障，数据状态都未丢失，等到各个模块恢复正常后，可以相互合并，得到最新正确的数据，再同步回各个服务器。提高了整个系统的可靠性。

实施例二：

图3是根据本发明实施例提供的一种多个数据中心的数据同步方法的流程图，该方法应用于数据同步系统，其中，数据同步系统包括：同步中心模块和多个子同步模块；每个子同步模块分别与多个服务器相连接，同步中心模块分别与多个子同步模块相连接。如图3所示，该方法具体包括如下步骤：

步骤S302，获取目标服务器发送的待同步数据。

步骤S304，通过目标子同步模块将待同步数据同步到与目标子同步模块相连接的除目标服务器之外的服务器；目标子同步模块为与目标服务器相连接的子同步模块。

步骤S306，将待同步数据发送到同步中心模块，并通过同步中心模块将待同步数据广播到除目标子同步模块之外的子同步模块。

本发明实施例提供了一种多个数据中心的数据同步方法，通过利用同步中心模块与子同步模块级联的同步系统，使得多个服务器之间的同步过程可以分级进行，而不再依赖单个同步模块，这样大大减少了同步中心模块的连接数，减小了同步中心模块的广播压力，进而缓解了现有技术中存在的单个同步中心模块同步效率低的技术问题；同时，各个子同步模块之间可以独立运行，提供了系统的稳定性，从而缓解了现有技术容易发生事故的技术问题。

可选地，在步骤S306之后，该方法还包括：将待同步数据同步到与子同步模块相连接的多个服务器。

可选地，本发明实施例提供的方法还包括将待同步数据存储到数据库。具体地，包括：将待同步数据存储在第一数据库；第一数据库为与子同步模块相连接的数据库；将待同步数据存储在第二数据库；第二数据库为与同步中心模块相连接的数据库。

可选地，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明实施例提供的方法的步骤。

可选地，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行本发明实施例提供的方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种多个数据中心的数据同步系统，其特征在于，包括：同步中心模块和多个子同步模块；其中，每个子同步模块分别与多个服务器相连接，所述同步中心模块分别与所述多个子同步模块相连接；

所述子同步模块，用于获取目标服务器发送的待同步数据，并将所述待同步数据同步到与所述子同步模块相连接的除所述目标服务器之外的服务器；所述目标服务器为与所述子同步模块相连接的服务器中的一个服务器；

所述子同步模块，还用于将所述待同步数据发送到所述同步中心模块；

所述同步中心模块，用于获取所述待同步数据，并将所述待同步数据广播到除发送所述待同步数据的子同步模块之外的子同步模块。

2.根据权利要求1所述的系统，其特征在于，所述子同步模块，还用于：

获取所述同步中心模块发送的待同步数据；

将所述待同步数据同步到与所述子同步模块相连接的多个服务器。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括多个第一数据库，每个第一数据库分别与一个子同步模块相连接，用于存储所述待同步数据。

4.根据权利要求3所述的系统，其特征在于，所述系统还包括第二数据库，所述第二数据库与所述同步中心模块相连接，用于存储所述待同步数据。

5.一种多个数据中心的数据同步方法，其特征在于，应用于数据同步系统，所述数据同步系统包括：同步中心模块和多个子同步模块；其中，每个子同步模块分别与多个服务器相连接，所述同步中心模块分别与所述多个子同步模块相连接；所述方法包括：

获取目标服务器发送的待同步数据；

通过目标子同步模块将所述待同步数据同步到与所述目标子同步模块相连接的除所述目标服务器之外的服务器；所述目标子同步模块为与所述目标服务器相连接的子同步模块；

将所述待同步数据发送到所述同步中心模块，并通过所述同步中心模块将所述待同步数据广播到除所述目标子同步模块之外的子同步模块。

6.根据权利要求5所述的方法，其特征在于，在通过所述同步中心模块将所述待同步数据广播到除所述目标子同步模块之外的子同步模块之后，所述方法还包括：将所述待同步数据同步到与所述子同步模块相连接的多个服务器。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：将所述待同步数据存储在第一数据库；所述第一数据库为与所述子同步模块相连接的数据库。

8.根据权利要求5所述的方法，其特征在于，将所述待同步数据存储在第二数据库；所述第二数据库为与所述同步中心模块相连接的数据库。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求5至8任一项所述的方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求5至8任一项所述方法。

Images