CN105095248A - 一种数据库集群系统及其恢复方法、管理节点 - Google Patents

Abstract

本发明提供了一种数据库集群系统及其恢复方法、管理节点。其中所述恢复方法包括：收集系统中各个数据库节点的事务日志；对收集的所有数据库节点的事务日志中的事务进行排序，得到事务列表；轮询事务列表中的事务，直至所有事务轮询完毕，其中，在轮询每个事务时，若当前轮询事务仅涉及一个相关数据库节，则将当前轮询事务的事务信息发送给相关数据库节点，并继续轮询所述事务列表中的下一个事务；否则，将当前轮询事务的事务信息发送给每个相关数据库节点，并在接收到所有相关数据库节点反馈的故障恢复完成消息后，才继续轮询所述事务列表中的下一个事务。本发明可以简便、高效地实现数据库恢复。

Description

一种数据库集群系统及其恢复方法、管理节点

技术领域

本发明涉及数据库技术领域，具体涉及一种数据库集群系统及其恢复方法、管理节点。

背景技术

数据库集群系统将集群技术与数据库系统相结合，其包括一组完整的、自治的计算处理单元(节点)，每个节点均有独自的CPU、内存以及磁盘等硬件资源，运行独立的操作系统和自治的数据库系统。各个节点通过高速专用网络或者商业通用网络互连，彼此协同计算，作为统一的数据库系统提供并行事务处理服务。

在现今大数据的环境下，对于数据库集群系统而言，除了正确、快速的处理用户的数据之外，还需要考虑数据库的可靠性，以及在故障出现后，如何迅速的处理故障以及时的提供服务。

在数据库系统中，数据库本身产生的事务日志是数据库自身可靠性保证的重要工具。每个节点的数据库系统都具有事务日志，用于记录所有事务以及每个事务对数据库所做的修改。事务日志是数据库的重要组件。如果系统出现故障，则可能需要使用事务日志进行故障恢复，将数据库恢复到一致状态。

因此，如何利用事务日志，实现简便、简便的数据库集群系统恢复，是个一个亟待解决的重要问题。

发明内容

本发明提供了一种数据库集群系统的恢复方法，可以简便、高效地实现数据库恢复。

为解决上述技术问题，本发明提供的数据库集群系统的恢复方法，所述数据库集群系统包括一个管理节点和多个数据库节点，所述恢复方法包括：

所述管理节点收集系统中各个数据库节点的事务日志；

根据事务的先后时序关系，对收集的所有数据库节点的事务日志中的事务进行排序，得到事务列表；

轮询所述事务列表中的事务，直至所有事务轮询完毕，其中，在轮询每个事务时，判断当前轮询事务是否仅涉及一个相关数据库节点：

若是，则将当前轮询事务的事务信息发送给相关数据库节点，由所述相关数据库节点根据该事务信息进行故障恢复，并继续轮询所述事务列表中的下一个事务；

否则，将当前轮询事务的事务信息发送给每个相关数据库节点，由每个相关数据库节点分分别根据该事务信息进行故障恢复，并在接收到所有相关数据库节点反馈的故障恢复完成消息后，才继续轮询所述事务列表中的下一个事务。

本发明实施例的上述的恢复方法中，在当前轮询事务仅涉及一个相关数据库节点时，将当前轮询事务的事务信息发送给所述相关数据库节点后，直接轮询所述事务列表中的下一个事务，而不等待接收所述相关数据库节点反馈的故障恢复完成消息。

本发明实施例的上述的恢复方法中，在轮询完所述事务列表中的所有事务后，所述恢复方法还包括：

接收到所述事务列表中的每个事务的所有相关数据库节点反馈的故障恢复完成消息，确定所述数据库集群系统的成功恢复。

本发明实施例的上述的恢复方法中，所述管理节点收集的数据库节点的事务日志包括：每条事务的全局事务号及事务时序信息；

所述根据事务的先后时序关系，对收集的所有数据库节点的事务日志中的事务进行排序，得到事务列表，包括：

根据事务的全局事务号，确定当前收集的所有不同事务，其中，具有相同全局事务号的事务为同一事务；

根据每条事务的事务时序信息，排序所述所有不同事务，得到事务列表。

本发明实施例的上述的恢复方法中，所述管理节点进一步根据当前轮询事务的全局事务号，是否仅存在一个数据库节点的事务日志中，来判断当前轮询事务是否仅涉及一个相关数据库节点

本发明实施例的上述的恢复方法中，所述管理节点收集的数据库节点的事务日志还包括：该数据库节点的节点标识、以及该事务日志在该数据库节点处的保存位置；

所述管理节点进一步根据相关数据库节点的节点标识，将当前轮询事务的事务信息发送给相关数据库节点，所述事务信息包括当前轮询事务的全局事务号以及在该相关数据库节点处的保存位置，以使该相关数据库节点据此从本地事务日志中读取相应的事务并进行故障恢复。

本发明还提供了一种管理节点，包括：

收集单元，用于收集所述数据库集群系统中各个数据库节点的事务日志；

排序单元，用于根据事务的先后时序关系，对收集的所有数据库节点的事务日志中的事务进行排序，得到事务列表；

轮询单元，用于轮询所述事务列表中的事务，直至所有事务轮询完毕，其中，在轮询每个事务时，判断当前轮询事务是否仅涉及一个相关数据库节点：若是，则将当前轮询事务的事务信息发送给相关数据库节点，由所述相关数据库节点根据该事务信息进行故障恢复，并继续轮询所述事务列表中的下一个事务；否则，将当前轮询事务的事务信息发送给每个相关数据库节点，由每个相关数据库节点分分别根据该事务信息进行故障恢复，并在接收到所有相关数据库节点反馈的故障恢复完成消息后，才继续轮询所述事务列表中的下一个事务。

本发明实施例的上述的管理节点中，所述轮询单元，在当前轮询事务仅涉及一个相关数据库节点时，将当前轮询事务的事务信息发送给所述相关数据库节点后，直接轮询所述事务列表中的下一个事务，而不等待接收所述相关节点反馈的故障恢复完成消息。

本发明实施例的上述的管理节点还包括：

确定单元，用于在所述轮询单元轮询完所述事务列表中的所有事务后，若接收到所述事务列表中的每个事务的所有相关数据库节点反馈的故障恢复完成消息后，则确定所述数据库集群系统的成功恢复。

本发明实施例的上述的管理节点中，所述收集单元收集的数据库节点的事务日志包括：每条事务的全局事务号及事务时序信息；

所述排序单元，进一步用于根据事务的全局事务号，确定当前收集的所有不同事务，其中，具有相同全局事务号的事务为同一事务；以及，根据每条事务的事务时序信息，排序所述所有不同事务，得到事务列表。

本发明实施例的上述的管理节点中，所述轮询单元还用于根据当前轮询事务的全局事务号，是否仅存在一个数据库节点的事务日志中，来判断当前轮询事务是否仅涉及一个相关数据库节点

本发明实施例的上述的管理节点中，所述收集单元收集的数据库节点的事务日志还包括：该数据库节点的节点标识、以及该事务日志在该数据库节点处的保存位置；

所述轮询单元还用于根据相关数据库节点的节点标识，将当前轮询事务的事务信息发送给相关数据库节点，所述事务信息包括当前轮询事务的全局事务号以及在该相关数据库节点处的保存位置，以使该相关数据库节点据此从本地事务日志中读取相应的事务并进行故障恢复。

本发明还提供了一种数据库集群系统，包括多个数据库节点，还包括以上所述的管理节点。

与现有技术相比，本发明实施例提供的数据库集群系统及其恢复方法、管理节点，具有以下有益效果：

本发明实施例采用了统一的资源管理节点来控制恢复操作，将集群的事务日志统一进行管理，在整体上进行组织，简化了数据库的恢复实现过程，并可以利用数据库节点的并行恢复以提高恢复效率。并且，本实施例可以避免在事务跨节点的时候不同数据库节点间相互通信的开销，从而减少了节点间的通信开销，因此在全局事务比较多的应用场景中，具有明显的优势。

附图说明

图1为本发明实施例所述恢复方法的数据库集群系统的应用环境示意图；

图2为本发明实施例所述恢复方法的流程示意图；

图3为本发明实施例提供的管理节点的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种数据库集群系统的恢复方法，能够实现数据库的快速恢复，该恢复方法可应用于图1所示的数据库集群系统。如图1所示，该系统包括一个全局资源管理节点、数据库节点1、数据库节点2至数据库节点n等多个处理节点。

其中，数据库节点具体可以是指提供数据库服务的服务器，用于接受用户的数据库查询请求并返回结果，它属于数据库集群系统的业务处理节点，可以有一个或多个。全局资源管理节点是指提供数据库集群系统共享资源管理服务的节点，它是数据库集群系统的核心组件。管理节点和数据库节点之间可以通过总线或高速互联网络设备交换信息。各个数据库节点上运行有数据库实例，每一个数据库实例运行在一个数据库节点上，每个数据库节点均设置有用以唯一标识该节点的节点标识，每个数据库节点均可以各自记录事务日志。

本发明实施例提供的数据库集群系统的恢复方法，包括两个阶段，其中第一阶段由管理节点进行事务日志采集，第二节点管理节点将收集到的事务日志按照事务的时序关系以事务为单位进行重新组织，得到事务列表，并对该事务列表中的事务控制相关节点进行恢复。具体的，请参考图2，本实施例所述恢复方法包括以下步骤：

步骤21，管理节点收集系统中各个数据库节点的事务日志。

本步骤作为事务日志信息的采集阶段，全局资源管理节点可以通过向各个数据库节点发送require消息来采集事务日志信息，各数据库节点接收到上述消息后，可以将本地事务日志信息中每条事务的全局事务号、事务时序信息、该事务日志在该数据库节点处的保存位置(如保存位置偏移量)等信息发送给全局资源管理节点。管理节点接收到上述信息后，保存各个数据库节点的事务日志信息，例如，记录数据库节点的节点标识，该数据库节点的事务日志在该数据库节点处的保存位置、该数据库节点额每条事务的全局事务号及事务时序信息。

步骤22，管理节点根据事务的先后时序关系，对收集的所有数据库节点的事务日志中的事务进行排序，得到事务列表。

本步骤中，管理节点对收集到的来自各个数据库节点的所有事务进行排序。每个事务可以由全局事务号唯一标识，具有具有相同全局事务号的事务为同一事务。同一个事务可能仅涉及一个数据库节点(即仅在一个数据库节点的事务日志中记录过)，也可能涉及多个数据库节点(即在多个数据库节点的事务日志中记录过)。这里，可以根据事务的全局事务号，确定管理节点当前收集的所有不同事务，然后根据每条事务的事务时序信息，排序所述所有不同事务，得到事务列表，其中时序信息靠前的事务，排在事务列表中的靠前位置。

步骤23，管理节点轮询所述事务列表中的事务，直至所有事务轮询完毕，其中，在轮询每个事务时，判断当前轮询事务是否仅涉及一个相关数据库节点，若是，进入步骤24，否则进入步骤25。

本步骤中，判断当前轮询事务是否仅涉及一个相关数据库节点，可以根据当前轮询事务的全局事务号，是否仅存在一个数据库节点的事务日志中，来进行判断，如仅存在于一个数据库节点，则当前轮询事务仅涉及一个相关数据库节点，否则，当前轮询事务涉及两个以上的相关数据库节点。

步骤24，管理节点将当前轮询事务的事务信息发送给相关数据库节点，由所述相关数据库节点根据该事务信息进行故障恢复，并继续轮询所述事务列表中的下一个事务。

步骤25，管理节点将当前轮询事务的事务信息发送给每个相关数据库节点，由每个相关数据库节点分分别根据该事务信息进行故障恢复，并在接收到所有相关数据库节点反馈的故障恢复完成消息后，才继续轮询所述事务列表中的下一个事务。

在以上步骤24、25中，管理节点可以根据相关数据库节点的节点标识，将当前轮询事务的事务信息发送给相关数据库节点，所述事务信息可以包括当前轮询事务的全局事务号以及在该相关数据库节点处的保存位置，以使该相关数据库节点根据所述保存位置和全局事务号，从本地事务日志中读取相应的事务并进行故障恢复。数据库节点在读取到相应事务并成功执行故障恢复处理后，可以向管理节点发送一确认消息，用于通知管理节点该事务对应的故障恢复已成功完成。

上述步骤24和步骤25中，相关数据库节点的恢复处理可以有所不同。例如，在步骤24中，为使各个数据库节点可以并行恢复，提高恢复效率，在当前轮询事务仅涉及一个相关数据库节点时，管理节点在将当前轮询事务的事务信息发送给所述相关数据库节点后，则可以直接轮询所述事务列表中的下一个事务，而不必等待接收所述相关数据库节点反馈的故障恢复完成消息后才进入下一个事务(当然，这里管理节点也可以等待收到相关数据库节点反馈的故障恢复完成消息后才进入下一个事务)。而在步骤25中，为保证跨节点事务的时序性，在当前轮询事务涉及多个相关数据库节点时，则管理节点需要等待接收到所有相关数据库节点反馈的故障恢复完成消息后才进入下一个事务。

可以看出，本实施例由于采用了统一的资源管理节点来控制恢复操作，将集群的事务日志统一进行管理，在整体上进行组织，简化了数据库的恢复实现过程，并可以利用数据库节点的并行恢复以提高恢复效率。并且，区别于传统的以数据库节点为恢复的控制点的实现方式，本实施例避免了在事务跨节点的时候不同数据库节点间相互通信的开销，从而减少了节点间的通信开销，因此在全局事务比较多的应用场景中，具有明显的优势。

基于以上实施例提供的恢复方法，本发明另一实施例还提供了一种数据库集群系统，该数据库集群系统包括一个管理节点和多个数据库节点。其中，该数据库集群系统的管理节点，如图3所示，具体包括：

收集单元，用于收集所述数据库集群系统中各个数据库节点的事务日志；

排序单元，用于根据事务的先后时序关系，对收集的所有数据库节点的事务日志中的事务进行排序，得到事务列表；

轮询单元，用于轮询所述事务列表中的事务，直至所有事务轮询完毕，其中，在轮询每个事务时，判断当前轮询事务是否仅涉及一个相关数据库节点：若是，则将当前轮询事务的事务信息发送给相关数据库节点，由所述相关数据库节点根据该事务信息进行故障恢复，并继续轮询所述事务列表中的下一个事务；否则，将当前轮询事务的事务信息发送给每个相关数据库节点，由每个相关数据库节点分分别根据该事务信息进行故障恢复，并在接收到所有相关数据库节点反馈的故障恢复完成消息后，才继续轮询所述事务列表中的下一个事务。

这里，所述轮询单元具体可以根据当前轮询事务的全局事务号，是否仅存在一个数据库节点的事务日志中，来判断当前轮询事务是否仅涉及一个相关数据库节点

本实施例中，为提高恢复效率，在当前轮询事务仅涉及一个相关数据库节点时，可以不必等待接收所述相关节点反馈的故障恢复完成消息，此时，所述轮询单元，在当前轮询事务仅涉及一个相关数据库节点时，将当前轮询事务的事务信息发送给所述相关数据库节点后，直接轮询所述事务列表中的下一个事务，以利用数据库节点间的并行恢复处理，提高恢复速度和效率。

本实施例中，所述管理节点还可以包括一确定单元，用于在所述轮询单元轮询完所述事务列表中的所有事务后，若接收到所述事务列表中的每个事务的所有相关数据库节点反馈的故障恢复完成消息后，则确定所述数据库集群系统的成功恢复。

本实施例中，所述收集单元收集的数据库节点的事务日志具体可以包括：每条事务的全局事务号及事务时序信息。此时，所述排序单元，进一步用于根据事务的全局事务号，确定当前收集的所有不同事务，其中，具有相同全局事务号的事务为同一事务；以及，根据每条事务的事务时序信息，排序所述所有不同事务，得到事务列表。

更进一步的，所述收集单元收集的数据库节点的事务日志还可以包括：该数据库节点的节点标识、以及该事务日志在该数据库节点处的保存位置。此时，所述轮询单元还用于根据相关数据库节点的节点标识，将当前轮询事务的事务信息发送给相关数据库节点，所述事务信息包括当前轮询事务的全局事务号以及在该相关数据库节点处的保存位置，以使该相关数据库节点据此从本地事务日志中读取相应的事务并进行故障恢复。

综上，本发明实施例提供的数据库集群系统及其恢复方法、管理节点，可以简便、高效地实现数据库恢复，并且，本发明实施例通过管理节点对恢复过程进行统一组织管理，可以减少数据库节点之间的通信开销。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种数据库集群系统的恢复方法，所述数据库集群系统包括一个管理节点和多个数据库节点，其特征在于，所述恢复方法包括：

所述管理节点收集系统中各个数据库节点的事务日志；

根据事务的先后时序关系，对收集的所有数据库节点的事务日志中的事务进行排序，得到事务列表；

轮询所述事务列表中的事务，直至所有事务轮询完毕，其中，在轮询每个事务时，判断当前轮询事务是否仅涉及一个相关数据库节点：

若是，则将当前轮询事务的事务信息发送给相关数据库节点，由所述相关数据库节点根据该事务信息进行故障恢复，并继续轮询所述事务列表中的下一个事务；

否则，将当前轮询事务的事务信息发送给每个相关数据库节点，由每个相关数据库节点分分别根据该事务信息进行故障恢复，并在接收到所有相关数据库节点反馈的故障恢复完成消息后，才继续轮询所述事务列表中的下一个事务。

2.如权利要求1所述的恢复方法，其特征在于，

在当前轮询事务仅涉及一个相关数据库节点时，将当前轮询事务的事务信息发送给所述相关数据库节点后，直接轮询所述事务列表中的下一个事务，而不等待接收所述相关数据库节点反馈的故障恢复完成消息。

3.如权利要求1所述的恢复方法，其特征在于，在轮询完所述事务列表中的所有事务后，所述恢复方法还包括：

接收到所述事务列表中的每个事务的所有相关数据库节点反馈的故障恢复完成消息，确定所述数据库集群系统的成功恢复。

4.如权利要求1所述的恢复方法，其特征在于，所述管理节点收集的数据库节点的事务日志包括：每条事务的全局事务号及事务时序信息；

所述根据事务的先后时序关系，对收集的所有数据库节点的事务日志中的事务进行排序，得到事务列表，包括：

根据事务的全局事务号，确定当前收集的所有不同事务，其中，具有相同全局事务号的事务为同一事务；

根据每条事务的事务时序信息，排序所述所有不同事务，得到事务列表。

5.如权利要求4所述的恢复方法，其特征在于，

所述管理节点进一步根据当前轮询事务的全局事务号，是否仅存在一个数据库节点的事务日志中，来判断当前轮询事务是否仅涉及一个相关数据库节点。

6.如权利要求4所述的恢复方法，其特征在于，

所述管理节点收集的数据库节点的事务日志还包括：该数据库节点的节点标识、以及该事务日志在该数据库节点处的保存位置；

所述管理节点进一步根据相关数据库节点的节点标识，将当前轮询事务的事务信息发送给相关数据库节点，所述事务信息包括当前轮询事务的全局事务号以及在该相关数据库节点处的保存位置，以使该相关数据库节点据此从本地事务日志中读取相应的事务并进行故障恢复。

7.一种数据库集群系统的管理节点，其特征在于，包括：

收集单元，用于收集所述数据库集群系统中各个数据库节点的事务日志；

排序单元，用于根据事务的先后时序关系，对收集的所有数据库节点的事务日志中的事务进行排序，得到事务列表；

轮询单元，用于轮询所述事务列表中的事务，直至所有事务轮询完毕，其中，在轮询每个事务时，判断当前轮询事务是否仅涉及一个相关数据库节点：若是，则将当前轮询事务的事务信息发送给相关数据库节点，由所述相关数据库节点根据该事务信息进行故障恢复，并继续轮询所述事务列表中的下一个事务；否则，将当前轮询事务的事务信息发送给每个相关数据库节点，由每个相关数据库节点分分别根据该事务信息进行故障恢复，并在接收到所有相关数据库节点反馈的故障恢复完成消息后，才继续轮询所述事务列表中的下一个事务。

8.如权利要求7所述的管理节点，其特征在于，

所述轮询单元，在当前轮询事务仅涉及一个相关数据库节点时，将当前轮询事务的事务信息发送给所述相关数据库节点后，直接轮询所述事务列表中的下一个事务，而不等待接收所述相关节点反馈的故障恢复完成消息。

9.如权利要求7所述的管理节点，其特征在于，还包括：

确定单元，用于在所述轮询单元轮询完所述事务列表中的所有事务后，若接收到所述事务列表中的每个事务的所有相关数据库节点反馈的故障恢复完成消息后，则确定所述数据库集群系统的成功恢复。

10.如权利要求7所述的管理节点，其特征在于，

所述收集单元收集的数据库节点的事务日志包括：每条事务的全局事务号及事务时序信息；

所述排序单元，进一步用于根据事务的全局事务号，确定当前收集的所有不同事务，其中，具有相同全局事务号的事务为同一事务；以及，根据每条事务的事务时序信息，排序所述所有不同事务，得到事务列表。

11.如权利要求10所述的管理节点，其特征在于，

所述轮询单元还用于根据当前轮询事务的全局事务号，是否仅存在一个数据库节点的事务日志中，来判断当前轮询事务是否仅涉及一个相关数据库节点。

12.如权利要求10所述的管理节点，其特征在于，

所述收集单元收集的数据库节点的事务日志还包括：该数据库节点的节点标识、以及该事务日志在该数据库节点处的保存位置；

所述轮询单元还用于根据相关数据库节点的节点标识，将当前轮询事务的事务信息发送给相关数据库节点，所述事务信息包括当前轮询事务的全局事务号以及在该相关数据库节点处的保存位置，以使该相关数据库节点据此从本地事务日志中读取相应的事务并进行故障恢复。

13.一种数据库集群系统，包括多个数据库节点，还包括如权利要求7-12任一项所述的管理节点。