CN101388759B - 实现数据的异步复制到同步复制的转换方法和系统 - Google Patents

Abstract

本发明公开了一种实现数据的异步复制到同步复制的转换方法和系统，所述方法的主要步骤：备用节点的异步复制单元接收到异步复制要求，向源节点的异步复制单元发出异步复制请求；源节点提交日志到备用节点，实时判断其提交的日志和已同步到备用节点的异步复制日志的偏差是否满足系统指定的范围，若是，备用节点的同步复制单元接收到同步复制要求，向主用节点的同步复制单元请求进行同步复制，否则，继续提交日志到备用节点；主用节点启动同步复制；备用节点接收到同步复制消息后，将同步来的日志缓存到追赶日志缓冲区。本发明加快了备用节点和主用节点的数据同步，减少了主备交互的过程，大大降低主用节点的负荷，维护系统的可靠性。

Description

实现数据的异步复制到同步复制的转换方法和系统

技术领域

本发明涉及数据库系统领域，具体涉及多数据库间数据的复制，尤其是数据的异步复制到同步复制的转换方法和系统。

背景技术

目前，为了提高数据库系统的可靠性，通常采用冗余备份的方式，即同时运行两个或两个以上包含相同内容的数据库节点来提高系统抗风险的能力，这样数据在多个节点内部的复制则是整个系统可靠工作的前提。

一般而言数据复制有同步和异步之分，同步复制保证各个节点的数据完全一致，异步复制则允许备用节点和主用节点间数据存在一定内容上的偏差。由于存在异常情况，平时进行同步复制的节点也会转换到采用异步复制的状态，然后根据情况再转换为同步复制状态。

在专利CN 1555530A中描述了一种复制协议，当主/备用节点出现数据不同步的情况下，依靠主用节点向备用节点间不停的心跳消息传递数据的版本信息，备用节点根据主用节点版本和备用节点版本进行比较，如果出现偏差则进行增量复制，同时备用节点也在接收主用节点不停的系统变化数据复制请求(可以是两阶段提交或单阶段提交等协议)。当增量复制的结果满足同步数据复制条件，则不再进行增量复制，开始正常的变化数据复制过程。

然而上述复制协议在异步复制过程中，同步复制的消息不停止(变化数据的复制消息)，备用节点始终处于一个变化的追赶状态，消息交互多，且流程复杂，当主用节点的数据变化非常快的时候，主/备用数据到达一致的时间比较长。并且如果一个分布式系统是多个备用节点的时候，每个备用节点的异步复制仍然需要通过主用节点，会引起主用节点的负荷增加，严重威胁系统的可靠性。

发明内容

本发明的目的是，提出一种实现数据的异步复制到同步复制的转换方法和系统，用以解决现有技术中数据库间数据的异步复制向同步复制转换的过程中，交互过多，流程复杂使系统可靠性大大降低的问题。

为了实现上述发明目的，本发明具体是这样实现的：

实现数据的异步复制到同步复制的转换方法包括，

步骤1，备用节点的异步复制单元接收到异步复制要求，向主用节点的异步复制单元发出异步复制请求；

步骤2，主用节点提交日志到备用节点，实时判断其提交的日志和已同步到备用节点的异步复制日志的偏差是否满足系统指定的范围，若是，则触发备用节点同步复制，转入步骤3，否则，继续提交日志到备用节点；

步骤3，备用节点的同步复制单元接收到同步复制要求，向主用节点的同步复制单元请求进行同步复制；

步骤4，主用节点启动同步复制；

步骤5，备用节点接收到同步复制消息后，将同步来的日志缓存到追赶日志缓冲区。

在所述的实现数据的异步复制到同步复制的转换方法的步骤1前增加如下步骤：

主用节点发现主/备用节点间存在日志偏差，判断该偏差是否满足系统指定的范围，若满足，向备用节点的异步复制单元发出异步复制要求，同时向备用节点的同步复制单元发出同步复制要求，然后跳转步骤3；否则，只向备用节点的异步复制单元发出异步复制要求。

在所述的实现数据的异步复制到同步复制的转换方法中的所述备用节点的异步复制单元接收到的异步复制要求，是主用节点的启动单元通过备用节点的启动单元发送的，或者是主用节点的心跳检测单元通过备用节点的心跳检测单元发送的。

在所述的实现数据的异步复制到同步复制的转换方法中的所述步骤2中触发备用节点的同步复制是这样实现的：

备用节点的异步复制单元接收到主用节点的异步复制单元发出的同步复制要求后，向其同步复制单元发出同步复制要求。

在所述的实现数据的异步复制到同步复制的转换方法中，所述备用节点的同步复制单元接收到的同步复制要求，是主用节点的启动单元通过备用节点的启动单元发送的，或者是主用节点的心跳检测单元通过备用节点的心跳检测单元发送的。

在所述的实现数据的异步复制到同步复制的转换方法中，所述步骤4中主用节点启动同步复制是指，主用节点的同步复制单元向备用节点的同步复制单元发送同步复制开始的日志编号；

所述备用节点的同步复制单元将接收到的同步复制开始的日志编号通知其异步复制单元，作为异步复制的结束条件。

在所述的实现数据的异步复制到同步复制的转换方法中，所述备用节点的异步复制单元收到其同步复制单元发送的异步复制结束条件后通知主用节点的异步复制单元异步复制结束。

在所述的实现数据的异步复制到同步复制的转换方法中，所述备用节点的同步复制单元收到其异步复制单元发送的同步复制结束通知，将缓存的主用节点发送来的同步复制日志全部提交到数据库单元，然后通知系统控制单元同步复制完成。

实现数据的异步复制到同步复制的转换系统，包括通过网络互相连接的主用节点和备用节点，

在所述主用节点和备用节点上设置的，用于对其所在节点在内存和硬盘上的数据进行管理的数据库管理单元；用于对其所在节点上产生的日志进行管理的日志管理单元；负责主用节点和备用节点间数据的同步复制交互的同步复制单元；负责其所在节点与系统内其它节点间数据的异步复制交互的异步复制单元；负责其所在节点启动的启动单元；负责其所在节点和系统内其他节点间的心跳消息维护的心跳检测单元；负责控制其所在节点的工作状态的系统控制单元；

以及设置在内存，用于存放备用节点上异步复制单元或同步复制单元所接收到的日志的日志缓冲区，和用于存放备用节点的同步复制单元从主用节点的同步复制单元接收的同步复制日志的追赶日志缓冲区。

进一步，所述的实现数据的异步复制到同步复制的转换系统，还包括：

在硬盘上设置的日志存储区和数据存储区，所述日志存储区和数据存储区均通过I/O通道与主用节点或者备用节点进行连接；

所述日志存储区用于对存放在日志缓冲区中的主用节点或者备用节点上发生变化的日志进行存储；

所述数据存储区用于对主用节点或者备用节点上的数据进行存储。

本发明将数据的异步复制和同步复制流程分离，而且在进行数据同步复制时，备用节点的同步复制单元在收到正常的同步复制消息后，将得到的同步日志缓存到追赶日志缓冲区，不提交到数据库，提高了系统数据同步复制的效率，加快了备用节点和主用节点的数据同步，使得备用节点能更快的对外提供应用服务；由于备用节点异步复制可以不依赖于主用节点，而是通过集群内其他任意一个正常工作的节点进行，减少了主备交互的过程，大大降低主用节点的负荷，维护系统的可靠性。

附图说明

图1为实现本发明一实施例的集群分布示意图；

图2为实现数据的异步复制到同步复制的转换系统结构框图；

图3为备用节点启动追赶复制流程；

图4为备用节点启动异步复制流程；

图5为主用节点的心跳检测单元在发现与备用节点通讯中断后的处理流程；

图6为失步备用节点通过异步复制进行主/备间数据校正流程；

图7为正常工作的备用节点的异步复制处理单元在收到失步备用节点的异步复制请求后的处理流程；

图8为失步备用节点的异步复制单元收到同步复制的处理流程；

图9为失步备用节点的同步复制单元在收到本节点的异步复制单元的发出的追赶请求后的处理流程；

图10为失步备用节点的异步复制单元收到异步复制结束的处理流程；

图11为失步备用节点的同步复制单元收到追赶结束的处理流程；

图12为主用节点的同步复制单元收到请求追赶的处理流程。

具体实施方式

本发明的主要技术思想是，本发明将数据的异步复制和同步复制流程分离，加快了备用节点和主用节点的数据同步，使得备用节点能更快的对外提供应用服务，并且备用节点异步复制可以不依赖于主用节点，而可以通过集群内其他任意一个正常工作的节点进行，这样能够大大降低主用节点的负荷。

本发明所述方法的主要步骤如下：

步骤1，备用节点的异步复制单元接收到异步复制要求，向源节点的异步复制单元发出异步复制请求；

步骤2，源节点提交日志到备用节点，实时判断其提交的日志和已同步到备用节点的异步复制日志的偏差是否满足系统指定的范围，若是，则触发备用节点同步复制，转入步骤3，否则，继续提交日志到备用节点；

步骤3，备用节点的同步复制单元接收到同步复制要求，向主用节点的同步复制单元请求进行同步复制；

步骤4，主用节点启动同步复制；

步骤5，备用节点接收到同步复制消息后，将同步来的日志缓存到追赶日志缓冲区。

下面结合附图对本发明的具体实施方式进行详细说明。

如图1所示为集群分布示意图，该集群包括，主用数据库节点1，备用数据库节点2和节点3，有两个客户端接入系统，备用数据库对客户端提供读操作的服务，主用数据库能对客户端提供读、写操作的服务，各个装置通过网络相互连接，当某些备用节点出现异常(比如备用节点重新启动)，使得主/备数据不一致，不能满足同步复制的要求，为此需启动异步复制，再过渡到同步复制。

图2为实现数据的异步复制到同步复制的系统结构框图，如图所示，本发明所述系统包括，在所述主用节点和备用节点上设置的，

用于对其所在节点在内存和硬盘上的数据进行管理的DBMS(数据库管理单元)，该单元负责数据在内存、硬盘上的数据组织管理，并提供操作数据的方法，并根据操作生成描述数据变化的日志，通知日志管理单元进行日志处理。；

用于对其所在节点由DBMS单元上产生的日志放入内存日志缓存区及硬盘日志存储区，并对这两个区域进行管理的日志管理单元，；

负责主用节点和备用节点间数据的同步复制交互的同步复制单元；

负责其所在节点与系统内其它节点间数据的异步复制交互的异步复制单元；

负责其所在节点启动的启动单元，包括系统运行环境的初始化及通过和其他节点交互确认本节点的初始状态，并负责触发相关单元的工作；

负责其所在节点和系统内其他节点间的心跳消息维护的心跳检测单元；

负责根据其他单元上报的工作情况来确定本节点的工作状态的系统控制单元，节点的工作状态包括：主、备状态、启动状态、正常工作状态、异步复制状态、数据追赶状态、各种非正常状态(比如和其他节点链接中断等)；

以及设置在内存，用于存放备用节点上异步复制单元或同步复制单元所接收到的日志的日志缓冲区，和用于存放备用节点的同步复制单元从主用节点的同步复制单元接收的同步复制日志的追赶日志缓冲区。

所述主用节点的同步复制单元和备用节点的同步复制单元之间通过同步复制协议进行交互，所述同步复制协议可以是单阶段、两阶段、三阶段等提交协议。

所述系统内各个节点上设置的异步复制单元之间通过异步复制协议进行交互，所述异步复制协议可以是采用停等、或收发分离方式的批量数据传送方式，比如专利申请CN200410060619.6和CN200410006155.2中公开的方法。

所述存放在日志缓冲区中的备用节点上异步复制单元或同步复制单元所接收到的日志，记录了备用节点的变化操作，所述日志缓冲区根据情况可实时或非实时的作用到硬盘的日志存储区。

所述追赶日志缓冲区上存放的备用节点的同步复制单元接收的同步复制日志，是不需要马上变更数据内容的，一般放置在内存中，这样可以提高系统同步复制的效率，同时为了系统中数据的持久化存储，在硬盘上设有日志存储区和数据存储区进行数据存储。

本系统的正常工作状态是主用节点和备用节点间采用同步复制，即主/备用节点的同步复制单元进行交互，完成同步复制功能，同时所有节点间存在不间断的心跳检测，当一备用节点重启后，该节点和主用节点的同步复制一般不能正常进行。

如图3和图4所示为备用节点启动后的处理流程。

S101，备用节点2的启动单元向主用节点1的启动单元进行登记，告知本节点当前数据的状态，即本节点已经提交的日志编号。

这样主用节点和备用节点使用同样的变化数据记录日志，每条日志有唯一的编号，根据编号可以确定任意两条日志的产生顺序，例如日志编号随产生的日志条数递增，且根据日志编号能够判断2个节点间的数据偏差度。

S102，当主用节点1判断主/备间的日志偏差是否在系统设定的范围内，若在系统设定的范围内，则转S103，否则，不在系统设定的范围内，则转S106。

S103，主用节点的启动单元直接要求备用节点2启动单元进行追赶复制。

S104，备用节点2的启动单元在收到追赶请求后，触发本节点的异步复制单元进行异步复制。

S105，备用节点2的启动单元在收到追赶请求后，触发本节点的同步复制单元进行同步复制。

S106，主备间的日志偏差不在系统设定的范围内，则主用节点启动单元要求备用节点2启动单元进行异步复制。

S107，备用节点2的启动单元触发本节点的异步复制单元进行异步复制。

如图5所示，当主/备用节点间的通讯出现异常主用节点的心跳检测单元发现和备用节点的通讯中断流程，主用节点将终止向该备用节点的数据同步复制。通讯恢复后的处理流程和备用节点重新启动后的处理流程是一样的，只是触发异步复制单元和同步复制的单元不是启动单元而是心跳检测单元。

如图6所示，失步备用节点(重新启动或者与主用节点恢复通讯正常后的备用节点)通过异步复制进行主/备间数据校正流程，具体校正步骤如下：

S201，备用节点2的异步复制单元接收到本节点的启动单元(或心跳检测单元)发出的异步复制要求。

S202，备用节点2的异步复制单元根据系统设定的原则(比如备用节点2优先从备用节点3进行异步复制，如果备用节点3不正常再向主用节点1要求异步复制)向备用节点3的异步复制单元发出异步复制请求。

S203，备用节点2的异步复制单元接收备用节点3的异步复制单元发出的异步复制信息(即批量传送日志数据)。

S204，备用节点2的异步复制单元接收到备用节点3的异步复制单元发出的异步复制结束通知，触发本节点的同步复制单元进行同步复制操作。

如图7所示，备用节点3的异步复制处理单元在收到失步备用节点2发出的异步复制请求后的处理流程：

S301，备用节点3在收到异步复制请求后，开始批量传送同步日志到备用节点2。

S302，备用节点3判断本节点提交的日志和已经同步到备用节点2异步复制的日志的偏差是否满足追赶条件，即判断日志编号的偏差是否小于系统设定的值，比如100，若满足，则转入S303，否则，返回S301。

S303，备用节点3向备用节点2的异步复制单元发送同步复制请求。

S304，备用节点3在收到对端的触发请求响应后(该响应带有异步复制的结束日志编号)，然后一直同步日志，并判断备用节点2是否满足已设定的异步复制结束条件，若不满足，则返回S301，否则，满足，则通知备用节点的异步复制单元，异步复制结束。

如图8所示为，失步备用节点2的异步复制单元收到追赶请求的处理流程：

S401，备用节点2的异步复制单元收到追赶请求。

S402，备用节点2的异步复制单元向本节点的同步复制单元发送追赶请求。

如图9所示为，失步备用节点2的同步复制单元在收到本节点的异步复制单元发出的追赶请求后的处理流程：

S501，备用节点2的同步复制单元收到追赶请求。

S502，备用节点2的同步复制单元向主用节点的同步复制单元要求开始进行同步复制。

S503，备用节点2的同步复制单元接收到了主用节点发来的同步复制开始日志编号。

S504，备用节点2的同步复制单元将同步复制开始日志编号通知本节点的异步复制单元，作为异步复制结束条件。

S505，备用节点2的同步复制单元收到正常的同步复制消息后，将同步来的日志缓存到追赶日志缓冲区，不提交到数据库，返回成功。

如图10所示为，失步备用节点2的异步复制单元收到异步复制结束的处理流程：

S601，备用节点2的异步复制单元收到本节点的同步复制单元发出的异步复制结束条件。

S602，备用节点2的异步复制单元通知备用节点3的异步复制单元异步复制结束。

如图11所示为，备用节点2的同步复制单元收到追赶结束后的处理流程：

S701，备用节点2的同步复制单元收到本节点的异步复制单元发来的追赶结束通知；

S702，备用节点2的同步复制单元将本节点的追赶日志缓冲区内的日志全部提交到数据存储区(该存储区根据系统需要位于内存、或硬盘等存储介质)。

S703，备用节点2的同步复制单元通知本节点的系统控制单元同步复制完成，可以正常对外提供服务。

如图12所示，主用节点的同步复制单元收到请求追赶的处理流程：

S801，主用节点的同步复制单元收到备用节点2的同步复制单元的追赶请求。

S802，主用节点将下一条需要同步的日志编号发送给备用节点2的同步复制单元。

S803，主用节点向备用节点2进行正常的同步复制。

如上所述，本发明实现了数据的异步复制到同步复制的转换，此外本发明不限于上面的实施例，可以在不偏离本发明的范围的情况下进行变形和修改。

Claims (10)

1.实现数据的异步复制到同步复制的转换方法，其特征在于包括，

步骤1，备用节点的异步复制单元接收到异步复制要求，向主用节点的异步复制单元发出异步复制请求；

步骤2，主用节点提交日志到备用节点，实时判断其提交的日志和已同步到备用节点的异步复制日志的偏差是否满足系统指定的范围，若是，则触发备用节点同步复制，转入步骤3，否则，继续提交日志到备用节点；

步骤3，备用节点的同步复制单元向主用节点的同步复制单元请求进行同步复制；

步骤4，主用节点启动同步复制；

步骤5，备用节点接收到同步复制消息后，将同步来的日志缓存到追赶日志缓冲区。

2.如权利要求1所述的实现数据的异步复制到同步复制的转换方法，其特征在于，在所述步骤1前增加如下步骤：

主用节点发现主/备用节点间存在日志偏差，判断该偏差是否满足系统指定的范围，若满足，向备用节点的异步复制单元发出异步复制要求，同时向备用节点的同步复制单元发出同步复制要求，然后跳转步骤3；否则，只向备用节点的异步复制单元发出异步复制要求。

3.如权利要求1或2所述的实现数据的异步复制到同步复制的转换方法，其特征在于：

所述备用节点的异步复制单元接收到的异步复制要求，是主用节点的启动单元通过备用节点的启动单元发送的，或者是主用节点的心跳检测单元通过备用节点的心跳检测单元发送的。

4.如权利要求1所述的实现数据的异步复制到同步复制的转换方法，其特征在于：

所述步骤2中触发备用节点的同步复制是这样实现的：

备用节点的异步复制单元接收到主用节点的异步复制单元发出的同步复制要求后，向其同步复制单元发出同步复制要求。

5.如权利要求2所述的实现数据的异步复制到同步复制的转换方法，其特征在于：

所述备用节点的同步复制单元接收到的同步复制要求，是主用节点的启动单元通过备用节点的启动单元发送的，或者是主用节点的心跳检测单元通过备用节点的心跳检测单元发送的。

6.如权利要求1所述的实现数据的异步复制到同步复制的转换方法，其特征在于：

所述步骤4中主用节点启动同步复制是指，主用节点的同步复制单元向备用节点的同步复制单元发送同步复制开始的日志编号；

所述备用节点的同步复制单元将接收到的同步复制开始的日志编号通知其异步复制单元，作为异步复制的结束条件。

7.如权利要求4所述的实现数据的异步复制到同步复制的转换方法，其特征在于，

所述备用节点的异步复制单元收到其同步复制单元发送的异步复制结束条件后通知主用节点的异步复制单元异步复制结束。

8.如权利要求1所述的实现数据的异步复制到同步复制的转换方法，其特征在于，

所述备用节点的同步复制单元收到其异步复制单元发送的同步复制结束通知，将缓存的主用节点发送来的同步复制日志全部提交到数据库单元，然后通知系统控制单元同步复制完成。

9.实现数据的异步复制到同步复制的转换系统，包括通过网络互相连接的主用节点和备用节点，其特征在于包括，

在所述主用节点和备用节点上设置的，用于对其所在节点在内存和硬盘上的数据进行管理的数据库管理单元；用于对其所在节点由数据库管理单元产生的日志存入日志缓冲区，并对日志缓冲区进行管理的日志管理单元；负责主用节点和备用节点间数据的同步复制交互的同步复制单元；负责其所在节点与系统内其它节点间数据的异步复制交互的异步复制单元；负责系统运行环境的初始化及通过和系统内其他节点交互确认其所在节点的初始状态的启动单元；负责其所在节点和系统内其他节点间的心跳消息维护的心跳检测单元；负责控制其所在节点的工作状态的系统控制单元；

以及设置在内存，用于接收日志管理单元，存放备用节点上异步复制单元或同步复制单元所接收到的日志的日志缓冲区，和用于存放备用节点的同步复制单元从主用节点的同步复制单元接收的同步复制日志的追赶日志缓冲区。

10.如权利要求9所述的实现数据的异步复制到同步复制的转换系统，其特征在于，还包括：

在硬盘上设置的日志存储区和数据存储区，所述日志存储区和数据存储区均通过I/O通道与主用节点或者备用节点进行连接；

所述日志存储区用于对日志管理单元发出的由数据库管理单元产生的日志进行存储；

所述数据存储区用于对主用节点或者备用节点上的数据进行存储。

Images