CN113918657B

CN113918657B - 一种并行高性能增量同步方法

Info

Publication number: CN113918657B
Application number: CN202111519022.5A
Authority: CN
Inventors: 赵伟; 田志敏
Original assignee: Tianjin Nankai University General Data Technologies Co ltd
Current assignee: Tianjin Nankai University General Data Technologies Co ltd
Priority date: 2021-12-14
Filing date: 2021-12-14
Publication date: 2022-03-15
Anticipated expiration: 2041-12-14
Also published as: CN113918657A

Abstract

本发明提供了一种并行高性能增量同步方法，包括并发预处理重排序队列模块；据原始事务缓存区中的原始事务中的每条SQL语句的表名和主键值计算hash值，通过hash值与并发预处理重排序队列模块中的队列数取模，根据取模值将原始事务中的每条SQL语句重新分配给与取模值对应的队列中；多线程写入模块把队列中的SQL语句通过写入线程写入到目标数据库；断点续传信息守护模块找出所有队列中增量信息对应的事务号最小的事务号，把该事务号记录到文件中，便于SQL写入目标数据库过程中断点后继续读取，不遗漏数据。本发明所述的一种并行高性能增量同步方法，在数据保证数据一致性的前提下实现目标库快速并发的增量同步。

Description

一种并行高性能增量同步方法

技术领域

本发明属于OLTP数据库领域同构数据库或异构数据库之间增量同步技术领域，尤其是涉及一种并行高性能增量同步方法。

背景技术

随着国产数据库市场的发展与成熟，企业在信息化建设过程中交易系统的数据库选择更加丰富，在一个企业中不同的信息化系统往往存在多套不同的数据库。随着企业信息化系统的发展，这些数据库之间的数据逐渐产生相互之间同步需求。OLTP数据库都有逻辑日志，这类数据库的增量同步为了减少对用户应用系统的入侵往往都采用基于解析逻辑日志获取增量的方式实现两个数据库之间的数据的增量同步，但是这种同步受限于逻辑日志的串行特性，往往无法解决向目标库写入的性能问题（通常只能单线程串行写入到目标库中），或者写入性能问题的时候无法实现断点续传等问题，其根本原因是，源数据库的逻辑日志往往是应用程序多个用户并发操作产生的，但是记录到逻辑日志的时是根据事务提交的顺序严格线性的，在通过解析逻辑日志得到的增量数据中只能单线层写入到目标库的情况才能保证数据一致性，断点续传等问题。如果采用多线程并行写入目标数据库，会引发事务乱序问题导致结果集不正确，就算是碰巧结果集正确了，如果并行写入的过程中一旦出现同步中断，由于多线程处理进度是确定的，所以等同步恢复时，无法确定从哪个时间点或者逻辑日志点开始做。

本发明通过在一种内存中依赖表名和主键值重排序特殊队列机制，结合多线程及幂等性写入基础，同时基于全局sequence机制来解决目标库并行写入性能和断点续传问题。

发明内容

有鉴于此，本发明旨在提出一种并行高性能增量同步方法，以解决目标库并行写入性能和断点续传问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种并行高性能增量同步方法，包括以下步骤：

S1、逻辑日志解析模块解析源数据库的原始事务增量信息，并将解析后的原始事务增量信息以事务为单位在原始事务缓存区中缓存；

S2、设置向目标数据库内写入数据的写入线程个数，根据写入线程个数初始化并发预处理重排序队列模块；

S3、根据原始事务缓存区中的原始事务增量信息中的每条SQL语句的表名和主键值计算hash值，通过hash值与并发预处理重排序队列模块中的队列数取模，根据取模值将原始事务增量信息中的每条SQL语句重新分配给与取模值对应的队列中；

S4、设置向目标数据库内写入数据的写入线程个数，并初始化多线程写入模块；

S5、将多线程写入模块中的多个写入线程分别绑定并发预处理重排序队列模块中对应的队列，并把队列中的SQL语句通过写入线程写入到目标数据库；

S6、设定断点续传信息守护模块的扫描周期，根据设定的周期定期扫描并发预处理重排序队列模块中的所有队列，并找出所有队列中增量信息对应的事务号最小的事务号，并把该事务号记录到文件中。

进一步的，步骤S1中增量信息解析过程包括以下两种情况：

第一，如果原始事务增量信息解析第一次启动，则从源数据库中的初始事务号开始解析逻辑日志，并把源数据库事务中每条SQL以事务为单位按照原来的事务发生顺序在原始事务缓存区中缓存；

第二，如果断点续传信息存储中保存有短信断点续传事务号，则使用短信断点续传事务号，从短信断点续传事务号开始解析逻辑日志。

进一步的，步骤S2中并发预处理重排序队列模块的初始化方法如下：

S21、根据设置的向目标数据库内写入线程个数a，初始化并发预处理重排序队列模块的b个消息队列，并指定队列的长度；

S22、并将初始化后的b个消息队列，按初始化顺序在内存中缓存;

其中，由于写入线程个数a要与n个消息队列个数一致，因此a与n的取值需要一致，保证每个线程对应一个消息队列，向消息队列中缓存原始事务增量信息。

进一步的，步骤S3中根据取模值将原始事务增量信息中的每条SQL语句重新分配给与取模值对应的队列的过程如下：

S31、按照源数据库的事务发生顺序，从原始事务缓存区单线程串行获取事务中的每一条SQL语句，并获取表名和主键值并计算hash值；

S32、使用S31计算的hash值与队列个数n取模，把当前SQL放入到队列号为hash/n的队列中，其中队列个数n则与n个消息队列相对应。

进一步的，步骤S4中多线程写入模块初始化过程：根据设置的写入线程个数，创建对应的写入线程，并将每个写入线程绑定并发预处理重排序队列模块中的对应的队列。

进一步的，步骤S5中，将队列中的SQL语句通过写入线程写入到目标数据库时，针对不同类型的SQL语句执行对应的幂等性操作，其中不同类型的SQL语句包括:insertSQL语句、UpdateSQL语句、DeleteSQL语句；

1）针对insertSQL语句幂等性操作具体为：如果插入成功则完成；如果插入失败，则把目标库中已经存在的数据删除，并把当前SQL的数据插入；

2）针对UpdateSQL语句幂等性操作具体为：如果Update成功则完成；如果Update失败，则把UpdateSQL对应更新列的更新后值和非更新列的更新前置拼装成InsertSQL，把该数据插入都目标库中；

3）针对DeleteSQL语句幂等性操作具体为：如果删除成功则完成；如果删除影响条数为0，则目标库中没有该条数据，不需要做任何操作。

相对于现有技术，本发明所述的一种并行高性能增量同步方法具有以下有益效果：

（1）本发明所述的一种并行高性能增量同步方法，在数据保证数据一致性的前提下实现目标库快速并发的曾量同步；

（2）本发明所述的一种并行高性能增量同步方法，支持根据客户的硬件及目标库负载情况指定目标库并发增量同步的并发数；

（3）本发明所述的一种并行高性能增量同步方法，相对传统的单线程串行目标库写入，整体同步性能根据目标库并发度准线性提升；

（4）本发明所述的一种并行高性能增量同步方法，能够保证增量同步中断后不丢失数据的断点续传；对源业务系统的数据库零入侵。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的一种并行高性能增量同步方法架构图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，一种并行高性能增量同步方法，包括以下步骤：

S1、通过逻辑日志解析模块解析源数据库的原始事务增量信息，并将解析后的原始事务增量信息以事务为单位在原始事务缓存区中缓存；

步骤S1中增量信息解析过程包括以下两种情况：

第一，如果原始事务增量信息解析第一次启动，则从当前事务号开始解析逻辑日志，并把源数据库事务中每条SQL以事务为单位按照原来的事务发生顺序在原始事务缓存区中缓存；

第二，如果断点续传信息存储中保存有短信断点续传事务号，则使用该事务号，从该事务号开始解析逻辑日志。

步骤S2中并发预处理重排序队列模块的初始化方法如下：

S21、根据设置的向目标数据库内写入线程个数n，初始化并发预处理重排序队列模块的n个消息队列，并指定队列的长度；

S22、并将初始化后的n个消息队列，按初始化顺序在内存中缓存。

步骤S3中根据取模值将原始事务增量信息中的每条SQL语句重新分配给与取模值对应的队列的过程如下：

S32、使用S31计算的hash值与队列个数n取模，把当前SQL放入到队列号为hash/n的队列中，其中队列号为：0,1,2……n。

步骤S4中多线程写入模块初始化过程：根据设置的写入线程个数，创建对应的写入线程，并将每个写入线程绑定并发预处理重排序队列模块中的对应的队列。

步骤S5中，将队列中的SQL语句通过写入线程写入到目标数据库时，针对不同类型的SQL语句执行对应的幂等性操作，具体为：

1）针对insertSQL语句，如果插入成功则完成；如果插入失败，则把目标库中已经存在的数据删除，并把当前SQL的数据插入；

2）针对UpdateSQL语句，如果Update成功则完成；如果Update失败，则把UpdateSQL对应更新列的更新后值和非更新列的更新前置拼装成InsertSQL，把该数据插入都目标库中；

3）针对DeleteSQL语句，如果删除成功则完成；如果删除影响条数为0，则目标库中没有该条数据，不需要做任何操作。

具体实施例：

一、首先在数据库创建事务场景：

1. 源数据库A，安装于服务器一上，服务器一的IP地址为192.168.1.5；

2.目标数据库B安装于服务器二上，服务器二的IP地址为192.168.2.5；

3.源数据库、目标数据库均对应包含表：T1，T2，T3，T4，T5；

4.源数据库业务系统3个用户同时各自的两笔业务，在源数据库共产生6个事务（tx1~tx6）每个事务包含若干DML语句；

其中源数据库状态代码如下：

mysql> select * from t1;

+------+------------+

| c1 | c2 |

+------+------------+

| tx1 | update_tx3 |

| tx2 | update_tx2 |

| tx5 | update_tx5 |

+------+------------+

3 rows in set (0.00 sec)

mysql> select * from t2;

+-----+--------+

| c1 | c2 |

+-----+--------+

| tx4 | add T2 |

| tx6 | add T2 |

+-----+--------+

2 rows in set (0.00 sec)

mysql> select * from t3;

Empty set (0.00 sec)

mysql> select * from t4;

+-----+--------+

| c1 | c2 |

+-----+--------+

| tx3 | add T4 |

+-----+--------+

1 row in set (0.00 sec)

mysql> select * from t5;

+-----+------------+

| c1 | c2 |

+-----+------------+

| tx2 | add T5 |

| tx3 | add T5 |

| tx4 | update tx4 |

| tx5 | add T3 |

| tx6 | update_tx6 |

+-----+------------+

5 rows in set (0.00 sec)；

5.设置目标库写入并行度设置为3。

上述数据库场景及设置完成；

二、对两个数据库并行增量同步：

根据如图1所示的框架，1）通过逻辑日志解析模块把源数据库A的增量操作解析，并以源数据库的事务为单位缓存在“原始事务缓存区”；源数据库事务发生顺序为：tx1，tx2，tx3，tx4，tx5，tx6，如下表1；

表1：原始事务缓存区数据表

2）根据设定的并行度3，初始化三个消息队列，key分别为0，1，2；

3）根据表1中的sql涉及的表名和主键值计算hash，并对3取模，把1-25 SQL重新分配到0，1，2三个队列中；

表2 原始事务写入并发预处理重排序队列模块表

4）多线程写入模块，把自己绑定的线程的SQL，写入到目标数据库中,实现3线程并行写入到目标库，性能对比单线程写入目标库性能提升接近3倍，且数据结果集正确。

以上执行数据库代码写入结果如下：

> select * from t1;

c1 tx1

c2 update_tx1

c1 tx2

c2 update_tx2

c1 tx5

c2 update_tx5

3 row(s) retrieved.

> select * from t2;

c1 tx6

c2 add T2

c1 tx4

c2 add T2

2 row(s) retrieved.

> select * from t3;

No rows found.

> select * from t4;

c1 tx3

c2 add T4

1 row(s) retrieved.

> select * from t5;

c1 tx2

c2 add T5

c1 tx5

c2 add T3

c1 tx3

c2 add T5

c1 tx6

c2 update_tx6

c1 tx4

c2 update tx4

5 row(s) retrieved。

5）断点续传处理

a)如果3个线程在并行写入的过程中，断点续传信息守护模块，根据设定的周期，扫描0，1，2三个队列，并记录待处理SQL对应的最小的事务编号，并记录到断点续传信息存储中；

b)如果异常中断，重启后，1在分析逻辑日志时，按照断点续传信息存储中的事务号开始分析，保证不会丢失数据；

c)在并行处理中，如果有的事务一部分SQL已经写入到数据库中，再次挖掘出来的数据依然会向目标库再次写入，有写入的幂等来保证数据最终一致。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种并行高性能增量同步方法，其特征在于包括以下步骤：

S1、逻辑日志解析模块解析源数据库的原始事务增量信息，并将解析后的所述原始事务增量信息以事务为单位在原始事务缓存区中缓存；

S3、根据所述原始事务缓存区中的原始事务增量信息中的每条SQL语句的表名和主键值计算hash值，通过hash值与所述并发预处理重排序队列模块中的队列数取模，根据取模值将原始事务增量信息中的每条SQL语句重新分配给与取模值对应的队列中；

S5、将所述多线程写入模块中的多个写入线程分别绑定并发预处理重排序队列模块中对应的队列，并把队列中的SQL语句通过所述写入线程写入到目标数据库；

S6、设定断点续传信息守护模块的扫描周期，根据设定的周期定期扫描所述并发预处理重排序队列模块中的所有队列，并找出所有队列中增量信息对应的事务号最小的事务号，并把该事务号记录到文件中。

2.根据权利要求1所述的一种并行高性能增量同步方法，其特征在于：步骤S1中增量信息解析过程包括以下两种情况：

3.根据权利要求1所述的一种并行高性能增量同步方法，其特征在于：步骤S2中并发预处理重排序队列模块的初始化方法如下：

S21、根据设置的向目标数据库内写入线程个数a，初始化并发预处理重排序队列模块的n个消息队列，并指定队列的长度,其中a与n取值相同；

4.根据权利要求3所述的一种并行高性能增量同步方法，其特征在于：步骤S3中根据取模值将原始事务增量信息中的每条SQL语句重新分配给与取模值对应的队列的过程如下：

S32、使用S31计算的hash值与队列个数n取模，把当前SQL放入到队列号为hash/n的队列中。

5.根据权利要求1所述的一种并行高性能增量同步方法，其特征在于：步骤S4中多线程写入模块初始化过程：根据设置的写入线程个数，创建对应的写入线程，并将每个写入线程绑定并发预处理重排序队列模块中的对应的队列。

6.根据权利要求1所述的一种并行高性能增量同步方法，其特征在于：步骤S5中，将队列中的SQL语句通过写入线程写入到目标数据库时，针对不同类型的SQL语句执行对应的幂等性操作，其中不同类型的SQL语句包括:insertSQL语句、UpdateSQL语句、DeleteSQL语句；