CN115145944A - 一种基于令牌表的异构数据库双向同步方法及装置 - Google Patents

Abstract

本申请公开一种基于令牌表的异构数据库双向同步方法及装置。所述方法包括：在复制链路的目标端异构库内部创建只供同步链路访问的令牌表；监听并读取业务变更写入异构数据库后本地生成的数据库变更日志；在向目标端异构库同步时，获取同步链路编号，在业务变更事务中嵌入令牌信息；当反向同步链路以当前目标端异构库作为源端异构库时，自动过滤相关复制链路带有令牌信息的操作事务。本申请基于复制链路标识进行复制过滤，无需依赖业务特性，具备通用性，对业务没有明显的限制，相比“全局事务唯一标识”的方案，无需异构库代码层提供全局事务标识的支持，对所链接的异构数据库没有明显的限制。

Description

一种基于令牌表的异构数据库双向同步方法及装置

技术领域

本申请涉及数据处理领域，尤其涉及一种基于令牌表的异构数据库双向同步方法及装置。

背景技术

双向回环复制是异构数据库双向同步所必须解决的问题，即异构库A尝试的变更同步到异构库B后，如果相同的变更内容又从异构库B同步回异构库A的话，就会导致复制中断或复制数据错乱。

目前市面上的双向同步方案主要依赖业务特性做复制链路过滤或基于事务标识做过滤，典型的实现包括：

(1)双向复制链路复制不同的数据库对象。例如异构数据库A->异构数据库B的复制只复制库A或所有testA_前缀的表，而反方向的异构数据库B->异构数据库A的复制只复制库B或所有testB_前缀的表；通过正向和反向进行不同数据对象的复制，来避免双向回环复制。

(2)双向复制链路基于特定业务字段的值进行过滤。例如有一张表t1，里面有一列location存储了交易发生的地点，可选的值只有“北京”或“上海”； 异构数据库A->异构数据库B的复制只复制t1中location=”北京”的数据变更，而反方向的异构数据库B->异构数据库A的复制只复制t1中location=”上海”的数据变更。通过正向和反向进行不同业务数据筛选条件的复制，来避免双向回环复制。

（3）事务标识即给每个事务添加全局唯一的标识，类似MySQL数据库间复制的GTID信息，每个库记录执行过事务的事务标识，对于重复执行的事务进行忽略。通过记录全局事务唯一标识，来避免双向回环复制。该方案对异构数据库有较高的适配要求。

现有的双向同步方案都是依赖业务或依赖特定异构数据库强适配做复制链路过滤，避免双向回环复制，实质上对业务或异构数据库有不小的限制。如何更好地解决双向回环复制问题，并且避免对业务过多的感知，是本发明主要解决的问题。

发明内容

本申请提供了一种基于令牌表的异构数据库双向同步方法，包括：

在复制链路的目标端异构库内部创建只供同步链路访问的令牌表；

监听并读取业务变更写入异构数据库后本地生成的数据库变更日志；

在向目标端异构库同步时，获取同步链路编号，在业务变更事务中嵌入令牌信息；

当反向同步链路以当前目标端异构库作为源端异构库时，自动过滤相关复制链路带有令牌信息的操作事务。

如上所述的一种基于令牌表的异构数据库双向同步方法，其中，令牌表包括令牌id、复制链路编号以及令牌值：{token_id, channel_id, token_value}，令牌id在令牌表内唯一。

如上所述的一种基于令牌表的异构数据库双向同步方法，其中，嵌入的令牌信息包括随机分配的一个令牌id、获取的同步链路编号channel_id，以及设定的令牌token_value更新操作。

如上所述的一种基于令牌表的异构数据库双向同步方法，其中，令牌token_value更新操作为累加操作、或累减操作、或自定义更新操作。

如上所述的一种基于令牌表的异构数据库双向同步方法，其中，当反向同步链路以当前目标异构库作为源端库时，自动过滤掉相关复制链路带有令牌表channel_id的事务。

本申请还提供一种基于令牌表的异构数据库双向同步装置，包括：

令牌表创建模块，用于在复制链路的目标端异构库内部创建只供同步链路访问的令牌表；

事务监听模块，用于监听并读取业务变更写入异构数据库后本地生成的数据库变更日志；

业务变更事务构建模块，用于在向目标端异构库同步时，获取同步链路编号，在业务变更事务中嵌入令牌信息；

事务识别模块，用于当反向同步链路以当前目标端异构库作为源端异构库时，自动过滤相关复制链路带有令牌信息的操作事务。

如上所述的一种基于令牌表的异构数据库双向同步装置，其中，令牌表包括令牌id、复制链路编号以及令牌值：{token_id, channel_id, token_value}，令牌id在令牌表内唯一。

如上所述的一种基于令牌表的异构数据库双向同步装置，其中，嵌入的令牌信息包括随机分配的一个令牌id、获取的同步链路编号channel_id，以及设定的令牌token_value更新操作。

如上所述的一种基于令牌表的异构数据库双向同步装置，其中，令牌token_value更新操作为累加操作、或累减操作、或自定义更新操作。

如上所述的一种基于令牌表的异构数据库双向同步装置，其中，当反向同步链路以当前目标异构库作为源端库时，自动过滤掉相关复制链路带有令牌表channel_id的事务。

本申请实现的有益效果如下：

（1）基于复制链路标识进行复制过滤，无需依赖业务特性，具备通用性，对业务没有明显的限制。

（2）基于复制链路标识进行复制过滤，非常的轻量，相比“全局事务唯一标识”的方案，本申请无需异构库代码层提供全局事务标识的支持，对所链接的异构数据库没有明显的限制。

（3）本方案能够提供流控效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的一种基于令牌表的异构数据库双向同步示意图；

图2是一种基于令牌表的异构数据库双向同步方法流程图；

图3是在业务事务开始嵌入一端令牌表更新程序示意图；

图4是本申请实施例二提供的一种基于令牌表的异构数据库双向装置步示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本申请实施例一提供一种基于令牌表的异构数据库双向同步方法，如图1所示，异构数据库A和异构数据库B的双向同步链路包含两条复制链路，分别为正向同步和反向同步，异构数据库的变更分别为业务变更和复制同步变更，复制同步变更采用本申请的基于令牌表的异构数据库双向同步方法，也称“基于令牌的变更”；在异构数据库A和异构数据库B中分别创建令牌表，基于令牌的变更将在同步的业务变更操作中嵌入令牌信息，并基于令牌实现对异构库同步变更写入的流控；并且基于令牌信息，区分“业务变更”和“基于令牌的变更”，通过基于令牌信息的过滤解决双向回环复制问题。

如图2所示，所述基于令牌表的异构数据库双向同步方法包括：

步骤210、在复制链路的目标端异构库内部创建只供同步链路访问的令牌表；

令牌表存储在复制链路的目标端异构库上，对于异构库而言，令牌表在目标端异构库中是一张普通的数据表，但只供同步链路访问使用；令牌表包括令牌id、复制链路编号以及令牌值：{token_id, channel_id, token_value}，令牌id在令牌表内唯一。

每个令牌表的令牌数为令牌表的行数，由于每个同步操作都需要随机申请一个令牌id，如果令牌数少，那么多个同步并发将会碰撞到同一个令牌，因此令牌表行数越多令牌数据越多，那么写入速度可以越高，反之令牌数越少，那么写入速度就越低。然而令牌表的令牌数据并非无限大，需要受异构数据库性能数据决定，动态计算令牌表中令牌的最佳数量，若复制链路的事务数量

，P为异构数据库可分配的令牌区域比特数，该值为预设值，由各异构数据库自行设定，

为第i个事务的数据长度，i的取值为1到n，n为事务总数，floor(*)表示向下取整，则令牌数据

；若

，则令牌数据A=M。

步骤220、监听并读取业务变更写入异构数据库后本地生成的数据库变更日志；

具体地，在业务变更写入异构数据库后，本地会生成数据库变更日志，在数据同步过程中将实时监听并读取这些数据库变更日志，并将读取到的变更信息应用到目的异构库中。

步骤230、在向目标端异构库同步时，获取同步链路编号，在业务变更事务中嵌入令牌信息；

本申请实施例中，令牌信息包括随机分配的一个令牌id、获取的同步链路编号channel_id，以及设定的令牌token_value更新操作；

具体地，在往目标异构库的同步过程中，本申请会在业务事务的开始嵌入一段令牌表的更新操作，嵌入操作的前提是该事务操作本身不包含任何令牌信息。嵌入之前，需要获取同步链路编号channel_id，并为该同步链路随机分配一个令牌id（token_id），以及随机决定是对令牌token_value的更新操作；由于令牌的更新操作需要竞争数据表同一行的行锁，所以会形成排队，实现对目标库写入的流控效果。如图3所示，在业务事务开始嵌入一端令牌表更新程序：

其中，令牌token_value的更新操作包括但不限于累加操作、累减操作和自定义更新操作。累加操作和累减操作均为累加或累减预设步长，如依次对令牌id累加或累减2；自定义更新操作可以是按照一定规律进行令牌id变形，使令牌id的下一数值不能通过推导所得，例如使用复制链路编号对前一个令牌id进行加密运算所得，又例如对前一个令牌id前后加入预设位数的0后，再使用哈希运算计算得到的哈希结果截取预设长度等，在此不作限定。

其中，选择何种令牌token_value的更新操作由目的异构数据库对源异构数据库的安全程度决定。具体地，采用公式

计算目的异构数据库对源异构数据库的安全程度，其中，

表示目的异构数据库对源异构数据库的安全程度,e=2.718；

表示源异构数据库的业务种类属于目的异构数据库类别的业务总个数；

表示源异构数据库的业务种类不属于目的异构数据库类别的业务总个数；

为源异构数据库是否在目的异构数据库中已注册，若已注册则

=1，否则

=0。若安全程度大于等于目的异构数据库的预设安全值，则说明该源异构数据库相对于目的异构数据库安全程度较高，那么选择进行简单的累加或累减操作，其中，若为令牌id分配的值≥A/2，则做累减操作，若为令牌id分配的值＜A/2，则做累加操作；若计算目的异构数据库对源异构数据库的安全程度小于目的异构数据库的预设安全值，取值范围为1.648~1.762，则说明该源异构数据库相对于目的异构数据库安全程度较低，那么为防止令牌id被轻易识别导致伪造业务事务的问题，选择进行令牌id不能被轻易仿制的自定义更新操作。

步骤240、当反向同步链路以当前目标端异构库作为源端异构库时，自动过滤相关复制链路带有令牌信息的操作事务；

本申请实施例中，由同步链路对目标异构库的写入的变更日志都会带有对令牌表token_table的操作。令牌信息的实质是对复制链路与变更来源进行了标识，所以当反向同步链路以当前目标异构库作为源端库时，就会自动过滤掉相关复制链路带有令牌表token_table操作的事务；由于令牌信息中包含了channel_id，所以基于令牌的过滤后续可以实现更加精确的过滤以支持更加复杂的复制拓扑。

实施例二

如图4所示，本申请实施例二提供一种基于令牌表的异构数据库双向同步装置4，应用于异构数据库中，具体包括：

令牌表创建模块41，用于在复制链路的目标端异构库内部创建只供同步链路访问的令牌表；令牌表包括令牌id、复制链路编号以及令牌值：{token_id, channel_id,token_value}，令牌id在令牌表内唯一。

事务监听模块42，用于监听并读取业务变更写入异构数据库后本地生成的数据库变更日志；

业务变更事务构建模块43，用于在向目标端异构库同步时，获取同步链路编号，在业务变更事务中嵌入令牌信息；嵌入的令牌信息包括随机分配的一个令牌id、获取的同步链路编号channel_id，以及设定的令牌token_value更新操作，其中，令牌token_value更新操作为累加操作、或累减操作、或自定义更新操作。

事务识别模块44，用于当反向同步链路以当前目标端异构库作为源端异构库时，自动过滤相关复制链路带有令牌信息的操作事务。具体地，当反向同步链路以当前目标异构库作为源端库时，自动过滤掉相关复制链路带有令牌表channel_id的事务。

与上述实施例对应的，本发明实施例提供一种计算机存储介质，包括：至少一个存储器和至少一个处理器；

存储器用于存储一个或多个程序指令；

处理器，用于运行一个或多个程序指令，用以执行一种基于令牌表的异构数据库双向同步方法。

与上述实施例对应的，本发明实施例提供一种计算机可读存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被处理器执行一种基于令牌表的异构数据库双向同步方法。

本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的一种基于令牌表的异构数据库双向同步方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于令牌表的异构数据库双向同步方法，其特征在于，包括：

在复制链路的目标端异构库内部创建只供同步链路访问的令牌表；

监听并读取业务变更写入异构数据库后本地生成的数据库变更日志；

在向目标端异构库同步时，获取同步链路编号，在业务变更事务中嵌入令牌信息；

当反向同步链路以当前目标端异构库作为源端异构库时，自动过滤相关复制链路带有令牌信息的操作事务。

2.如权利要求1所述的一种基于令牌表的异构数据库双向同步方法，其特征在于，令牌表包括令牌id、复制链路编号channel_id以及令牌值token_value，令牌id在令牌表内唯一。

3.如权利要求2所述的一种基于令牌表的异构数据库双向同步方法，其特征在于，嵌入的令牌信息包括随机分配的一个令牌id、获取的同步链路编号channel_id，以及设定的令牌token_value更新操作。

4.如权利要求3所述的一种基于令牌表的异构数据库双向同步方法，其特征在于，令牌token_value更新操作为累加操作、或累减操作、或自定义更新操作。

5.如权利要求3所述的一种基于令牌表的异构数据库双向同步方法，其特征在于，当反向同步链路以当前目标异构库作为源端库时，自动过滤掉相关复制链路带有令牌表channel_id的事务。

6.一种基于令牌表的异构数据库双向同步装置，其特征在于，包括：

令牌表创建模块，用于在复制链路的目标端异构库内部创建只供同步链路访问的令牌表；

事务监听模块，用于监听并读取业务变更写入异构数据库后本地生成的数据库变更日志；

业务变更事务构建模块，用于在向目标端异构库同步时，获取同步链路编号，在业务变更事务中嵌入令牌信息；

事务识别模块，用于当反向同步链路以当前目标端异构库作为源端异构库时，自动过滤相关复制链路带有令牌信息的操作事务。

7.如权利要求6所述的一种基于令牌表的异构数据库双向同步装置，其特征在于，令牌表包括令牌id、复制链路编号channel_id以及令牌值token_value，令牌id在令牌表内唯一。

8.如权利要求7所述的一种基于令牌表的异构数据库双向同步装置，其特征在于，嵌入的令牌信息包括随机分配的一个令牌id、获取的同步链路编号channel_id，以及设定的令牌token_value更新操作。

9.如权利要求8所述的一种基于令牌表的异构数据库双向同步装置，其特征在于，令牌token_value更新操作为累加操作、或累减操作、或自定义更新操作。

10.如权利要求8所述的一种基于令牌表的异构数据库双向同步装置，其特征在于，当反向同步链路以当前目标异构库作为源端库时，自动过滤掉相关复制链路带有令牌表channel_id的事务。

Images