CN113297316A - 一种实现数据同步的方法及装置和系统 - Google Patents

Abstract

本申请公开了一种实现数据同步的方法及装置和系统，由于同步任务在通知远端集群删除点位对应的日志记录时，也通知了同步任务自身的标识信息，使得源端集群后续的删除可以针对最小点位对应的日志记录进行，这样，不仅避免了同步数据的丢失，而且无需引入和维护公用存储来保存不同同步任务已应用的点位信息，降低了系统的复杂性，也大大降低了维护成本。

Description

一种实现数据同步的方法及装置和系统

技术领域

本申请涉及但不限于数据库技术，尤指一种实现数据同步的方法及装置和系统。

背景技术

数据分析特别是实时数据分析，已经越来越多的成为各行各业的分析要求与标准。binlog是二进制的日志(The Binary Log)的简称，binlog用于主从备份或者数据恢复用。具体来讲，对数据库修改的记录存储在binlog文件上，可以在数据库挂掉后用于恢复数据，也可以将源端数据库生成的binlog在目的端数据库重放，以达到数据同步的目的。binlog中每一条数据库修改记录给定一个序列号，序列号从小到大递增，这个序列号也称为点位。小的点位代表对应的记录为较久以前的写入的记录，大的点位代表对应的记录为较新的写入的记录。

图1为相关技术中从源端集群同步数据到一个目的端集群的情况下实现数据同步的实施例的示意图，如图1所示，假设集群A为源端集群，集群B为目的端集群，数据同步时，会使用一个同步任务R从集群A拉取binlog，并发送到集群B。同步任务是一个软件任务，也就是一个运维管控系统中可以添加一个同步任务，这个同步任务下发的工作是从源端集群同步数据至目的端集群。不同的同步任务具有唯一的标识信息。为了保证数据连续不丢失，同步任务R从集群A获得点位123对应的binlog(如图1中的步骤1)并已将拉取到的点位111以前的binlog应用至集群B(如图1中的步骤2)，那么，同步任务R会通知集群A删掉点位111之前的binlog(如图1中的步骤3)。要是同步任务R不通知集群A，那么，集群A会一直都不对binlog做删除处理，这样会导致集群A中的binlog文件越堆越多，最后把磁盘打爆。如果集群A不按照同步任务R的指示而是自行或提早对binlog进行删除处理，那么，可能导致同步任务R在还没有从集群A拿到点位124对应的记录时，点位124对应的binlog就提前被集群A删除了，进而导致同步任务R同步的数据不连续，有丢失。

发明内容

本申请提供一种实现数据同步的方法及装置和系统，能够降低同步任务的复杂度，提升同步任务的健壮性。

本发明实施例提供了一种实现数据同步的方法，包括：

同步任务从源端集群拉取日志记录并应用至该同步任务对应的目的端集群；

同步任务向源端集群通知拉取的日志记录在该同步任务对应的目的端集群中应用的点位信息和该同步任务的标识信息。

在一种示例性实例中，同一个所述同步任务对应一个目的端集群，不同的同步任务对应不同的目的端集群。

本申请提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项实现数据同步的方法。

本申请提供了一种实现数据同步的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的实现数据同步的方法的步骤。

本申请又提供了一种实现数据同步的方法，包括：

源端集群接收来自同步任务的通知，通知中包括拉取的日志记录在该同步任务对应的目的端集群中已应用的点位信息和该同步任务的标识信息；

源端集群根据同步任务的标识信息从不同同步任务通知的点位信息中确定最小点位信息；

源端集群删除小于确定出的最小点位对应的日志记录。

在一种示例性实例中，所述方法还包括：

所述源端集群接收到来自所述同步任务的通知，记录同步任务最后一次更新删除点位的时间；

在预设时长内所述同步任务都没有再进行更新，删除该同步任务的标识信息和该同步任务通知的点位信息。

在一种示例性实例中，同一个所述同步任务对应一个目的端集群。

本申请提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的源端集群实现数据同步的方法。

本申请提供了一种实现数据同步的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的源端集群实现数据同步的方法的步骤。

本申请还提供了一种实现数据同步的系统，包括：源端集群、多个同步任务、多个目的端集群，其中，

同步任务，用于从源端集群拉取日志记录并应用至该同步任务对应的目的端集群；向源端集群通知拉取的日志记录在该同步任务对应的目的端集群中应用的点位信息和该同步任务的标识信息；

源端集群，用于接收来自同步任务的通知，通知中包括拉取的日志记录在该同步任务对应的目的端集群中已应用的点位信息和该同步任务的标识信息；根据同步任务的标识信息从不同同步任务通知的点位信息中确定最小点位信息；删除小于确定出的最小点位对应的日志记录；

目的端集群，应用来自对应的同步任务拉取的日志记录并向对应的同步任务返回已应用的点位信息。

在一种示例性实例中，所述源端集群还用于：

接收到来自所述同步任务的通知，记录同步任务最后一次更新删除点位的时间；在预设时长内所述同步任务都没有再进行更新，删除该同步任务的标识信息和该同步任务通知的点位信息。

本申请实施例由于同步任务在通知远端集群删除点位对应的日志记录时，也通知了同步任务自身的标识信息，这样，源端集群就能区分出下发删除日志记录的点位信息的多个同步任务，并在这些同步任务下发的点位信息中寻找出最小的点位，也就意味着，源端集群后续删除的是该最小点位对应的日志记录，这样，不仅避免了同步数据的丢失，而且无需引入和维护公用存储来保存不同同步任务已应用的点位信息，降低了系统的复杂性，也大大降低了维护成本。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为相关技术中从源端集群同步数据到一个目的端集群的情况下实现数据同步的一种实施例的示意图；

图2为相关技术中从源端集群同步数据到多个目的端集群情况下实现数据同步的另一种实施例的示意图；

图3为相关技术中从源端集群同步数据到多个目的端集群情况下实现数据同步的又一种实施例的示意图；

图4为本申请一种实现数据同步的方法的流程示意图；

图5为本申请实现数据同步的实施例的示意图；

图6为本申请另一种实现数据同步的方法的流程示意图；

图7为本申请实现数据同步的系统的组成架构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在本申请一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如果数据同步是从一个源端集群同步到多个目的端集群，那么，问题会变得复杂化。

相关技术中，一种方式是在同一个同步任务中从源端集群拉取binlog，分发到每个目的端集群中，这样的好处是，该同步任务自身知道已应用到目的端集群的最小点位，可以正确通知源端集群删除到该最小点位对应的记录。如图2所示，假设集群A为源端集群，集群B、集群C和集群D为目的端集群，数据同步时，使用一个同步任务R从集群A拉取binlog，处理后分发到集群B、集群C、集群D；本实施例中，假设同步任务R在从集群A获得点位333对应的binlog(如图2中的步骤1)并已将拉取到的点位122以前的binlog应用至集群B(如图2中的步骤2)、已将拉取到的点位333以前的binlog应用至集群C(如图2中的步骤3)、已将拉取到的点位67以前的binlog应用至集群D(如图2中的步骤4)，那么，同步任务R会通知集群A删掉最小点位67之前的binlog(如图2中的步骤5)。但是，本申请发明人发现，一方面，集群B、集群C、集群D的规模和处理能力、网络情况可能都不一样，另一方面，集群B、集群C、集群D应用binlog的速度也可能差距很大，这样会造成在同一个同步任务R中出现管理复杂的问题，而且，如果同步任务R挂掉，由于多个目的端集群共享一个同步任务，那么，到集群B、集群C、集群D的三个同步任务都会受到影响，从而扩大了故障影响面。

如图3所示，假设集群A为源端集群，集群B、集群C和集群D为目的端集群，相关技术中的另一种方式是，针对不同目的端集群启动各自的同步任务如同步任务R(B)、同步任务R(C)、同步任务R(D)，三个同步任务均从集群A拉取binlog，并同步到相应的集群B、集群C、集群D。这种情况下，如果三个同步任务都各自给集群A发同步任务自身知道的已经应用至目的端集群的最小点位，同步任务R(B)向集群A发送的最小点位是点位122，同步任务R(C)向集群A发送的最小点位是点位333，同步任务R(D)向集群A发送的最小点位是点位67；集群A会按照收到点位信息进行记录删除处理，假设集群A收到R(B)发送的点位122，会删除点位122之前的binlog，但是，本申请发明人发现，由于此时同步任务R(D)才处理到点位67，则会导致同步任务R(D)无法获取到连续的binlog，从而出现了同步数据的丢失。此时，可以通过引入一个公用的存储S来辅助确定最小点位信息。在公用存储S中，同步任务R(B)、同步任务R(C)、同步任务R(D)分别写入自身已应用到集群B、集群C、集群D的位点信息(如图3中的步骤13、步骤23和步骤33)，公用存储S或其他任务如某一个或某些同步任务，计算出最小的可删除binlog的点位即最小点位，再通知到集群A(如图3中的步骤4)，以便集群A对binlog进行合理的删除。通过引入公用存储S虽然解耦了多个同步任务，但是，由于需要引入和维护公用存储本身，提升了系统的复杂性，也大大增加了维护成本。

为了提升同步任务的健壮性，降低同步任务的复杂度，本申请提供一种实现数据同步的方法，图4为本申请一种实现数据同步的方法的流程示意图，如图4所示，包括：

步骤400：同步任务从源端集群拉取日志记录并应用至该同步任务对应的目的端集群。

在一种示例性实例中，同步任务包括两个以上。

在一种示例性实例中，同一个同步任务对应一个目的端集群。

在一种示例性实例中，日志记录的一种常用实现方式可以包括如binlog。

步骤401：同步任务向源端集群通知拉取的日志记录在该同步任务对应的目的端集群中应用的点位信息和该同步任务的标识信息。

在一种示例性实例中，同步任务的标识信息是各同步任务的唯一的标识信息，比如：X1、X2、X3…。同步任务的标识信息可以在启动时分配。

在实际应用中，可以通过操作中心(或称为运维平台)，按照用户的意愿来启动同步任务，给同步任务下发的工作是从源端某指定集群同步数据至目的端某指定集群。启动同步任务的操作中心(或称为运维平台)负责给同步任务分配标识信息，运维平台可以记录和管理同步任务以及任务的标识信息。也可以是由同步任务自身生成一个独一无二的标识信息，这种情况下，会存储这个标识信息以便同步任务挂掉后恢复使用。同步任务的标识信息可以包括如通用唯一识别码(UUID，Universally Unique Identifier)、或全局唯一标识符(GUID,Globally Unique Identifier)等。

本申请中，由于同步任务在通知源端集群删除点位对应的日志记录时，也通知了同步任务自身的标识信息，这样，源端集群就能区分出下发删除日志记录的点位信息的多个同步任务，并在这些同步任务下发的点位信息中寻找出最小的点位，也就意味着，源端集群后续的删除的是该最小点位对应的日志记录，这样，不仅避免了同步数据的丢失，而且无需引入和维护公用存储，降低了系统的复杂性，也大大降低了维护成本。

本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行图4所示任一项的实现数据同步的方法。

本申请再提供一种实现数据同步的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行图4所示任一项所述的实现数据同步的方法的步骤。

本申请还提供一种实现数据同步的方法，图6为本申请另一种实现数据同步的方法的流程示意图，如图6所示，包括：

步骤600：源端集群接收来自同步任务的通知，通知中包括拉取的日志记录在该同步任务对应的目的端集群中已应用的点位信息和该同步任务的标识信息。

在一种示例性实例中，同步任务包括两个以上。

在一种示例性实例中，同一个同步任务对应一个目的端集群，不同的同步任务对应不同的目的端集群。

在一种示例性实例中，同步任务的标识信息是各同步任务的唯一的标识信息，比如：X1、X2、X3…。同步任务的标识信息可以在启动时分配。

需要说明的是，源端集群是一个软件集群(或称为应用集群)，也就是说，在一批机器上都分别部署了这个软件应用，对外共同提供服务，对外看上去就是对外提供同一个服务的服务端(server端)集群。

步骤601：源端集群根据同步任务的标识信息从不同同步任务通知的点位信息中确定最小点位信息。

在一种示例性实例中，源端集群可以定时执行步骤601。即定时会根据查看远端集群自身接收到的所有同步任务标识和对应的点位信息来找到最小点位信息。

图5为本申请实现数据同步的实施例的示意图，如图5所示，假设集群A为源端集群，集群B、集群C和集群D为目的端集群，同步任务R(B)对应目的端集群B、同步任务R(C)对应目的端集群C、同步任务R(D)对应目的端集群D。比如，如果同步任务R(B)先通知集群A删除至点位122对应的binlog(如图5中的步骤13)，即同步任务R(B)自身已应用的点位是点位122(也即已将拉取到的点位122以前的binlog应用至集群B)，然后同步任务R(C)再通知集群A删除至点位333对应的binlog(如图5中的步骤23)，即同步任务R(C)自身已应用的点位是点位333(也即已将拉取到的点位333以前的binlog应用至集群C)，接着同步任务R(D)通知集群A删除至点位67对应的binlog(如图5中的步骤33)，即同步任务R(D)自身已应用的点位是点位67(也即已将拉取到的点位67以前的binlog应用至集群D)；集群A根据同步任务R(B)、同步任务R(C)和同步任务R(D)的不同标识信息如X1、X2、X3，便可知道最小允许删除的点位是同步任务R(D)通知的点位67(如图5中的步骤4)，因此，集群A只会删除点位67之前的binlog，而不会进行点位333之前或点位122之前的删除处理，这样实现了在不引入额外公共存储的情况下，将多个同步任务解耦开来，不仅避免了同步数据的丢失，而且无需引入和维护公用存储，降低了系统的复杂性，也大大降低了维护成本。

步骤602：源端集群删除小于确定出的最小点位对应的日志记录。

本申请提供的实现数据同步的方法，通过给每个同步任务引入一个独一无二的标识信息，并在通知源端集群删除binlog时带上该标识信息，这样，在源端集群中维护多个标识信息对应的删除binlog的点位信息，实现了使用多个同步任务来互不关联，互不感知地从同一个集群同步数据到不同的目的端集群，降低了同步任务的复杂度，提升了同步任务的健壮性，同时也避免了引入一个公共存储而极大降低了同步系统的搭建成本、运维成本等问题。

在一种示例性实例中，本申请还可以包括：

源端集群接收到来自同步任务的通知，记录同步任务最后一次更新删除点位的时间；如果在预设时长内该同步任务都没有再进行更新，那么，源端集群自动删除该同步任务的标识信息和该同步任务通知的点位信息。这里需要说明的是，源端集群每次接收到一个通知，都会同时记录接收到这个通知的时间信息。

在一种示例性实例中，目的端集群会应用来自对应的同步任务拉取的日志记录并向对应的同步任务返回已应用的点位信息。

这样，结合图5所示，如果同步任务R(B)下发了删除至点位122的通知(如图5中的步骤13)后挂掉，由于集群A在接收到各个同步任务下发的删除点位信息和标识信息时，记录了这些标识信息对应的同步任务最后一次更新删除点位信息的时间(即最后一次向集群A发送通知的时间)，那么，在预设时间长度如6个小时内，集群A都没有再收到来自该同步任务更新删除点位信息的通知(如图5中的步骤5)，集群A会直接删除该标识信息对应的同步任务的标识信息及之前发来的删除点位信息，这样，很好地避免了以后一直只能删除至点位122对应的binlog的操作。

本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行图6所示任一项的实现数据同步的方法。

本申请再提供一种实现数据同步的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行图6所示任一项所述的实现数据同步的方法的步骤。

图7为本申请实现数据同步的系统的组成架构示意图，如图7所示，包括源端集群、多个同步任务(如图7中的同步任务R(1)、同步任务R(2)…同步任务R(n))、多个目的端集群(如图7中的目的端集群1、目的端集群2…目的端集群n)，其中，

同步任务，用于从源端集群拉取日志记录并应用至该同步任务对应的目的端集群；向源端集群通知拉取的日志记录在该同步任务对应的目的端集群中应用的点位信息和该同步任务的标识信息；

源端集群，用于接收来自同步任务的通知，通知中包括拉取的日志记录在该同步任务对应的目的端集群中已应用的点位信息和该同步任务的标识信息；根据同步任务的标识信息从不同同步任务通知的点位信息中确定最小点位信息；删除小于确定出的最小点位对应的日志记录；

目的端集群，用于应用来自对应的同步任务拉取的日志记录并向对应的同步任务返回已应用的点位信息。

在一种示例性实例中，源端集群还用于：

接收到来自同步任务的通知，记录同步任务最后一次更新删除点位的时间；在预设时长内该同步任务都没有再进行更新，自动删除该同步任务的标识信息和该同步任务通知的点位信息。

虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (11)

1.一种实现数据同步的方法，包括：

同步任务从源端集群拉取日志记录并应用至该同步任务对应的目的端集群；

同步任务向源端集群通知拉取的日志记录在该同步任务对应的目的端集群中应用的点位信息和该同步任务的标识信息。

2.根据权利要求1所述的方法，其中，同一个所述同步任务对应一个目的端集群，不同的同步任务对应不同的目的端集群。

3.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1或2所述的实现数据同步的方法。

4.一种实现数据同步的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求1或2所述的实现数据同步的方法的步骤。

5.一种实现数据同步的方法，包括：

源端集群接收来自同步任务的通知，通知中包括拉取的日志记录在该同步任务对应的目的端集群中已应用的点位信息和该同步任务的标识信息；

源端集群根据同步任务的标识信息从不同同步任务通知的点位信息中确定最小点位信息；

源端集群删除小于确定出的最小点位对应的日志记录。

6.根据权利要求5所述的方法，所述方法还包括：

所述源端集群接收到来自所述同步任务的通知，记录同步任务最后一次更新删除点位的时间；

在预设时长内所述同步任务都没有再进行更新，删除该同步任务的标识信息和该同步任务通知的点位信息。

7.根据权利要求5或6所述的方法，其中，同一个所述同步任务对应一个目的端集群。

8.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求5～权利要求7任一项所述的实现数据同步的方法。

9.一种实现数据同步的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求5～权利要求7任一项所述的实现数据同步的方法的步骤。

10.一种实现数据同步的系统，包括：源端集群、多个同步任务、多个目的端集群，其中，

同步任务，用于从源端集群拉取日志记录并应用至该同步任务对应的目的端集群；向源端集群通知拉取的日志记录在该同步任务对应的目的端集群中应用的点位信息和该同步任务的标识信息；

源端集群，用于接收来自同步任务的通知，通知中包括拉取的日志记录在该同步任务对应的目的端集群中已应用的点位信息和该同步任务的标识信息；根据同步任务的标识信息从不同同步任务通知的点位信息中确定最小点位信息；删除小于确定出的最小点位对应的日志记录；

目的端集群，应用来自对应的同步任务拉取的日志记录并向对应的同步任务返回已应用的点位信息。

11.根据权利要求10所述的系统，所述源端集群还用于：

接收到来自所述同步任务的通知，记录同步任务最后一次更新删除点位的时间；在预设时长内所述同步任务都没有再进行更新，删除该同步任务的标识信息和该同步任务通知的点位信息。

Images