CN106777270A - 一种基于提交点时间线同步的异构数据库复制并行执行系统及方法 - Google Patents

Abstract

本发明公开了一种基于提交点时间线同步的异构数据库复制并行执行系统及方法，其系统包括源数据库、目的数据库、复制系统。本发明的优点在于：传统的基于日志的数据复制系统，为了防止目的端事务执行失败，需要按照日志的时间顺序(LSN号)串行的执行各个事务的日志，而没有考虑事务并行执行的可能性。本发明使用提交点时间线构成栅栏，利用两条时间线之间的所有更新操作互不冲突的特性，在目的端数据库并行执行这些操作，显著提高复制效率，解决了目的数据库事务串行执行导致复制效率低下的技术问题。

Description

一种基于提交点时间线同步的异构数据库复制并行执行系统 及方法

技术领域

本发明涉及一种异构数据库复制并行执行方法，尤指一种基于提交点时间线同步的异构数据库复制并行执行系统及方法。

背景技术

随着企业信息化系统的广泛应用，信息化系统已经成为企业维持业务运转的关键。企业多样化的业务类型导致数据访问需求日趋复杂化，同时数据量的急剧攀升也导致数据库服务器不堪重负。企业迫切需要提高信息系统的可用性，保证业务的连续性，最大限度地减少因灾难或故障所带来的损失。为此，分布式异构数据库的数据复制是一种常用的技术手段。

目前，抽取源数据库的事务日志，获得源数据库的数据操作，包括插入(INSERT)、删除(DELETE)、更新(UPDATE)，然后通过网络发送给复制系统的目的端，目的端恢复成原始的SQL语句在目的数据库上执行，是一种常用的数据库复制技术。它具有对源数据库的性能和数据模式影响小，可采用非常灵活的方式配置出各种拓扑结构，支持跨异构的操作系统和数据库平台复制等优点。

恢复后的SQL语句在目的数据库上执行的效率是如上所述的数据复制系统性能的关键，为此需要在目的端并行执行这些语句。然而，目的数据库可以采取各种并发控制机制，不加控制的并行执行将会导致某些语句的执行因为并发控制导致失败，从而破坏目的数据库与源数据库的事务一致性。因此，提供适当的机制，既保证语句执行的高并发性，又确保事务能正确执行，是这种复制系统需要考虑的重要问题。目前存在的一些数据复制系统，例如Oracle的GoldenGate，在执行端是串行执行恢复后的语句，虽然不会导致事务失败，但效率很低。

由此可见，传统的复制系统串行执行的问题，不能适应现代海量数据应用环境下、大规模用户、高并发的复制场景，需要发明新的异构数据库复制并行执行方法及系统。

发明内容

本发明的目的就是要提供一种基于提交点时间线同步的异构数据库复制并行执行系统及方法，在使用日志进行异构数据库复制环境中，利用提交点时间线构成栅栏，和两条时间线之间的所有更新操作互不冲突的特性，在目的端数据库并行执行这些操作，可以显著提高复制效率。其采用基于提交点时间线同步的异构数据库并行复制，解决了目的数据库事务串行执行导致复制效率低下的技术问题。

为实现上述目的，本发明所设计的一种基于提交点时间线同步的异构数据库复制并行执行系统，包括源数据库、目的数据库、复制系统；所述复制系统包括源端和目的端，所述目的端包括负责接收事务日志的日志接收线程，以及负责在目的数据库中并行执行相应数据操作的日志执行线程，所述日志执行线程有多个，所述事务日志包括提交日志和操作日志；所述源端将源数据库中的事务日志转发给目的端的日志接收线程，所述日志接收线程再将收到的事务日志投递给日志执行线程，所述日志执行线程接收并执行事务日志。

一种基于提交点时间线同步的异构数据库复制并行执行方法，包括如下步骤：

1)通过复制系统的源端将源数据库的事务日志转发给目的端；

2)目的端的日志接收线程反复接收从源数据库传来的事务日志，将事务日志缓存在内存中，积累事务日志直到碰到一个提交日志后，从内存中提取此事务的全部事务日志，投递给一个日志执行线程；

3)当日志执行线程接到一个事务的全部事务日志时被激活，如果早于其他日志执行线程所处理事务的提交日志所在时间点，则依次取出全部操作日志，执行操作日志的线程；否则将本次操作日志的线程挂起，等待其他日志执行线程所处理的事务日志执行完毕。

进一步地，所述步骤2中，所述日志接收线程的具体实现过程为：

1.1)日志接收线程接收一条来自于源数据库的事务日志；

1.2)将事务日志缓存在内存之中；

1.3)如果此事务日志不是提交日志，返回步骤1.1；否则，执行步骤1.4；

1.4)选择一个空闲的日志执行线程，将此事务全部的事务日志投递给它，返回步骤1.1；

更进一步地，所述步骤3中，所述日志执行线程的具体实现过程为：

2.1)日志执行线程接收一个事务的全部事务日志后被激活；

2.2)从收到的全部事务日志序列中依次取出一条日志；

2.3)检查活动的其他日志执行线程所执行的提交日志，如果存在其他日志执行线程所执行的提交日志时间早于取出的这条日志，则本执行线程挂起，延时执行步骤2.3)；

2.4)执行此事务日志。

实施本发明的基于提交点时间线同步的异构数据库复制并行执行系统及方法，具有以下有益效果：

传统的基于日志的数据复制系统，为了防止目的端事务执行失败，需要按照日志的时间顺序(LSN号)串行的执行各个事务的日志，而没有考虑事务并行执行的可能性。本发明使用提交点时间线构成栅栏，利用两条时间线之间的所有更新操作互不冲突的特性，在目的端数据库并行执行这些操作，显著提高复制效率，解决了目的数据库事务串行执行导致复制效率低下的技术问题。

附图说明

图1为本发明的模型示意图。

图2为日志接收线程和日志执行线程的关系示意图；

图3为本发明日志接收线程的流程示意图；

图4为本发明日志执行线程的流程示意图；

图5为本发明的一个实施例示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细描述：

如图1～4所示的一种基于提交点时间线同步的异构数据库复制并行执行系统，包括源数据库、目的数据库、复制系统；所述复制系统包括源端和目的端，所述目的端包括负责接收事务日志的日志接收线程，以及负责在目的数据库中并行执行相应数据操作的日志执行线程，所述日志执行线程有多个，所述事务日志包括提交日志和操作日志；所述源端将源数据库中的事务日志转发给目的端的日志接收线程，所述日志接收线程再将收到的事务日志投递给日志执行线程，所述日志执行线程接收并执行事务日志。

一种基于提交点时间线同步的异构数据库复制并行执行方法，包括如下步骤：

1)通过复制系统的源端将源数据库的事务日志转发给目的端；

2)目的端的日志接收线程反复接收从源数据库传来的事务日志，将事务日志缓存在内存中，积累事务日志直到碰到一个提交日志后，从内存中提取此事务的全部事务日志，投递给一个日志执行线程，其具体实现过程为：

2.1)接受线程接收一条来自于源端数据库的日志，日志内容如下表所示：

2.2)将日志缓存在内存之中，按照LSN顺序排列；

2.3)如果此日志不是事务提交日志，返回步骤2.1)；否则，执行步骤2.4)；

2.4)选择一个空闲的日志执行线程，将此ID对应的事务缓存的全部日志投递给它，返回步骤2.1)；

3)当日志执行线程接到一个事务的全部事务日志时被激活，如果早于其他日志执行线程所处理事务的提交日志所在时间点，则依次取出全部操作日志，执行操作日志的线程；否则将本次操作日志的线程挂起，等待其他日志执行线程所处理的事务日志执行完毕，其具体实现过程为：

3.1)执行线程接收一个事务全部日志后被激活；

3.2)从收到的事务日志序列中依次取出一条日志L1；

3.3)检查活动的其他执行线程所执行的事务，如果存在其他事务的提交日志L0，其时间早于取出的这条日志,即LSN(L0)<LSN(L1)，则本执行线程挂起，直到其他的执行线程执行完毕，即早于这条日志的提交日志L0进行了提交，然后本执行线程恢复执行，执行步骤3.3)；

这条步骤的实质是将日志序列中的每个提交日志看成是一个提交点时间线栅栏，栅栏之间的所有操作都可以并行执行，这一点为主流数据库的并发控制机制所保证。一旦遇到提交日志，其他事务的执行就需要停止下来，等到此事务提交完成，再并行执行下一个栅栏之前的全部操作。这样既保证事务之间不会因为冲突导致其中一个被回滚，又可以最大程度的提高并行性。

3.4)执行此日志L1。

实施例1：

如图5，日志接收线程接收到源数据库的事务日志序列：

W1(a)W2(b)W3(c)W1(d)W2(e)C1W2(a)W3(d)W2(f)C2W3(a)C3的执行过程。其中Wi(a)表示事务i对于数据项a进行写操作，Ci表示事务i的提交操作。

日志序列中有三个提交操作，它们作为提交点时间线栅栏把序列分成了三段，每一段内的所有操作都能够并行执行。

日志接收线程首先遇到的提交操作是C1，这时从缓存在内存的日志中取出事务1的全部操作W1(a)W1(d)C1，交给某个执行线程执行。之后到的提交操作是C2，同理取出事务2的全部操作W2(b)W2(e)W2(a)W2(f)C2，交给某个执行线程执行，最后取出事务3的全部操作W3(c)W3(d)W3(a)C3，交给某个执行线程执行。

第1个提交点时间线栅栏把事务2的日志序列分成了2段，W2(b)W2(e)和W2(a)W2(f)C2，前面一段可以与事务1的操作并行执行，后一段因为其LSN大于C1的LSN，要等到C1执行完毕后才能执行，如果事务2的执行线程工作得更快，那么当执行到W2(a)时，发现LSN(W2(a))>LSN(C1)，就会被挂起，直到C1执行完毕后被唤醒继续执行。

同理，事务3的日志序列分成了3段，第1段可以在第1个提交点时间线栅栏之前与其他执行线程并行执行；第2段可以在第1个提交点时间线栅栏之后、第2个提交点时间线栅栏之前与其他执行线程并行执行；第3段只能在第2个提交点时间线栅栏之后执行。

最后，应当指出，以上实施例仅是本发明较有代表性的例子。显然，本发明不限于上述实施例，还可以有许多变形。凡依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应认为属于本发明的保护范围。

Claims (4)

1.一种基于提交点时间线同步的异构数据库复制并行执行系统，其特征在于：包括源数据库、目的数据库、复制系统；

所述复制系统包括源端和目的端，所述目的端包括负责接收事务日志的日志接收线程，以及负责在目的数据库中并行执行相应数据操作的日志执行线程，所述日志执行线程有多个，所述事务日志包括提交日志和操作日志；

所述源端将源数据库中的事务日志转发给目的端的日志接收线程，所述日志接收线程再将收到的事务日志投递给日志执行线程，所述日志执行线程接收并执行事务日志。

2.一种基于提交点时间线同步的异构数据库复制并行执行方法，其特征在于：包括如下步骤：

1)通过复制系统的源端将源数据库的事务日志转发给目的端；

2)目的端的日志接收线程反复接收从源数据库传来的事务日志，将事务日志缓存在内存中，积累事务日志直到碰到一个提交日志后，从内存中提取此事务的全部事务日志，投递给一个日志执行线程；

3)当日志执行线程接到一个事务的全部事务日志时被激活，如果早于其他日志执行线程所处理事务的提交日志所在时间点，则依次取出全部操作日志，执行操作日志的线程；否则将本次操作日志的线程挂起，等待其他日志执行线程所处理的事务日志执行完毕。

3.根据权利要求2所述的基于提交点时间线同步的异构数据库复制并行执行方法，其特征在于：

所述步骤2中，所述日志接收线程的具体实现过程为：

1.1)日志接收线程接收一条来自于源数据库的事务日志；

1.2)将事务日志缓存在内存之中；

1.3)如果此事务日志不是提交日志，返回步骤1.1；否则，执行步骤1.4；

1.4)选择一个空闲的日志执行线程，将此事务全部的事务日志投递给它，返回步骤1.1。

4.根据权利要求3所述的基于提交点时间线同步的异构数据库复制并行执行方法，其特征在于：

所述步骤3中，所述日志执行线程的具体实现过程为：

2.1)日志执行线程接收一个事务的全部事务日志后被激活；

2.2)从收到的全部事务日志序列中依次取出一条日志；

2.3)检查活动的其他日志执行线程所执行的提交日志，如果存在其他日志执行线程所执行的提交日志时间早于取出的这条日志，则本执行线程挂起，延时执行步骤2.3)；

2.4)执行此事务日志。