CN106610876B - 数据快照的恢复方法及装置 - Google Patents

Abstract

本发明提供了一种数据快照的恢复方法及装置，其中，该方法包括：分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据；集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照，其中，事务日志为物理备份结束时刻至指定时刻之间归档的对数据进行的操作。通过本发明，解决了相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题。

Description

数据快照的恢复方法及装置

技术领域

本发明涉及数据库领域，具体而言，涉及一种数据快照的恢复方法及装置。

背景技术

目前业内的主流的数据库是单机数据库(Oracle、DB2、MySQL等)，而随着数据量膨胀，单机数据库越来越不能满足用户对于大存储和高性能的需求，分布式数据库的应用逐渐广泛起来。

相关技术中分布式数据库恢复历史时刻的数据库快照有两种主要方案：

方案一：在单节点使用备份工具进行逻辑备份恢复或是直接进行磁盘镜像备份并日常归档事务日志。利用备份数据恢复出各个节点备份数据后，各个节点分别利用事务日志重做到指定时刻。

该方案一存在的问题是：(1)不能保证恢复出的任意指定时刻数据库快照的全局一致性，因为采用的是各个节点分别备份恢复的方法，不采取任何机制去保证分布式数据库全局一致性；(2)在备份过程中对在线业务的性能影响很大，逻辑备份以文件为单位进行备份，多了查找等操作，降低了磁盘的吞吐量，备份效率较低；(3)利用镜像恢复数据库花费时间非常的长。

方案二：利用分布式事务管理器，在分布式数据库备份的时候做协调，只备份单节点事务和各个节点均成功提交的分布式事务。这只能保证在备份过程中和备份结束时刻的备份数据处于全局事务一致性(即恢复该时间段中的数据库快照才能处于全局事务一致性状态)。若要求恢复到任意时刻，则必须依赖事务日志和分布式事务管理器，在回放过程中通过资源池、加锁等机制实现回放过程中每一刻全局事务一致性。

该方案二存在的问题是：在备份过程中时刻控制数据一致性，导致性能下降，对在线业务的影响很大，在重做事务日志过程中也保证每一刻的数据一致性，需要对资源加锁，导致回放速度非常慢。

针对相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题，目前尚未存在有效的解决方案。

发明内容

本发明提供了一种数据快照的恢复方法及装置，以至少解决相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题。

根据本发明的一个方面，提供了一种数据快照的恢复方法，包括：分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据；所述集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到在所述指定时刻所述各个节点的数据快照，其中，所述事务日志为所述物理备份结束时刻至所述指定时刻之间归档的对数据进行的操作。

进一步地，所述分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据包括：所述集群管理器获取在所述指定时刻之前最近一次获取的所述各个节点的活跃事务列表快照，其中，所述活跃事务列表快照中记录有在所述指定时刻与所述集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务；所述集群管理器查找所述活跃事务列表中最先开始的活跃事务的开始时刻；在所述开始时刻小于所述物理备份结束时刻时，所述集群管理器对所述活跃事务列表快照中在所述物理备份结束时刻之前仍活跃的事务进行回滚得到所述最近一次物理备份结束时刻的数据；在所述开始时刻大于所述物理备份结束时刻时，所述集群管理器获取所述各个节点在指定时刻之前最近一次物理备份结束时刻的数据。

进一步地，所述集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到所述指定时刻所述各个节点的数据快照包括：所述集群管理器基于所述最近一次物理备份结束时刻的数据按照所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的所述各个节点的单机事务操作，以及按照在所述物理备份结束时刻到所述指定时刻之间所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的分布式事务操作得到所述指定时刻所述各个节点的数据快照。

进一步地，在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，所述方法还包括：所述集群管理器周期性向与所述集群管理器连接的各个节点发送物理备份指令，其中，所述物理备份指令包括：全量备份指令和/或增量备份指令。

进一步地，在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，所述方法还包括：所述集群管理器周期性对所述各个节点执行快照操作得到所述活跃事务列表快照。

根据本发明的另一个方面，提供了一种数据快照的恢复装置，应用于分布式数据库中的集群管理器侧，包括：恢复模块，用于将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据；重做模块，用于基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到在所述指定时刻所述各个节点的数据快照，其中，所述事务日志为所述物理备份结束时刻至所述指定时刻之间归档的对数据进行的操作。

进一步地，所述恢复模块包括：第一获取单元，用于获取在所述指定时刻之前最近一次获取的所述各个节点的活跃事务列表快照，其中，所述活跃事务列表快照中记录有在所述指定时刻与所述集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务；查找单元，用于查找所述活跃事务列表中最先开始的活跃事务的开始时刻；回滚单元，用于在所述开始时刻小于所述物理备份结束时刻时，对所述活跃事务列表快照中在所述物理备份结束时刻之前仍活跃的事务进行回滚得到所述最近一次物理备份结束时刻的数据；第二获取单元，用于在所述开始时刻大于所述物理备份结束时刻时，获取所述各个节点在指定时刻之前最近一次物理备份结束时刻的数据。

进一步地，所述重做模块，还用于基于所述最近一次物理备份结束时刻的数据按照所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的所述各个节点的单机事务操作，以及按照在所述物理备份结束时刻到所述指定时刻之间所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的分布式事务操作得到所述指定时刻所述各个节点的数据快照。

进一步地，在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，所述装置还包括：发送模块，用于周期性向与所述集群管理器连接的各个节点发送物理备份指令，其中，所述物理备份指令包括：全量备份指令和/或增量备份指令。

进一步地，在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，所述装置还包括：执行模块，用于周期性对所述各个节点执行快照操作得到所述活跃事务列表快照。

通过本发明，采用在分布式数据库中的集群管理器中将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据，并基于该数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照，即在本实施例中采用基于最近一次物理备份结束时刻的数据按照事务日志事务重做得到各个节点的数据快照，从而使得该快照满足了全局一致性，进而解决了相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据快照的恢复方法的流程图；

图2是根据本发明实施例的数据快照的恢复装置的结构框图；

图3是根据本发明实施例的数据快照的恢复装置的可选结构框图一；

图4是根据本发明实施例的数据快照的恢复装置的可选结构框图二；

图5是根据本发明实施例的数据快照的恢复装置的可选结构框图三；

图6是根据本发明可选实施例的数据库快照恢复系统的示意图；

图7是根据本发明可选实施例的数据库快照恢复方法的流程图；

图8是根据本发明可选实施例的数据库快照恢复的时间图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本实施例中提供了一种数据快照的恢复方法，图1是根据本发明实施例的数据快照的恢复方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据；

步骤S104，集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照，其中，事务日志为物理备份结束时刻至指定时刻之间归档的对数据进行的操作。

由本实施例的上述步骤S102至步骤S104可知，在分布式数据库中的集群管理器中将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据，并基于该数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照，即在本实施例中采用基于最近一次物理备份结束时刻的数据按照事务日志事务重做得到各个节点的数据快照，从而使得该快照满足了全局一致性，进而解决了相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题。

对于本实施例中上述步骤S102中涉及到的分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据的方式，在本实施例的可选实施方式中，可以通过如下方式来实现：

步骤S102-1：集群管理器获取在指定时刻之前最近一次获取的各个节点的活跃事务列表快照，其中，活跃事务列表快照中记录有在指定时刻与集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务；

步骤S102-2：集群管理器查找活跃事务列表中最先开始的活跃事务的开始时刻；

步骤S102-3：在开始时刻小于物理备份结束时刻时，集群管理器对活跃事务列表快照中在物理备份结束时刻之前仍活跃的事务进行回滚得到最近一次物理备份结束时刻的数据；

步骤S102-4：在开始时刻大于物理备份结束时刻时，集群管理器获取各个节点在指定时刻之前最近一次物理备份结束时刻的数据。

需要说明的是，对于上述步骤S102-1中涉及到的活跃事务列表，是通过周期性进行获取的，而获取到的活跃事务列表中的最早开始的活跃事务可以是在物理备份结束时刻之前或物理备份之后，进而根据不同的情况分别获取对应的事务日志。

对于本实施例中步骤S104中涉及到的集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照的方式，在本实施例的可选实施方式中，可以通过如下方式来实现：

集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中事务所指示的各个节点的单机事务操作，以及按照在物理备份结束时刻到指定时刻之间事务日志中的事务的执行时间的顺序重做事务日志中事务所指示的分布式事务操作得到指定时刻各个节点的数据快照。

也就是说，在活跃事务列表中最先开始的活跃事务是在物理备份结束之前时，在得到指定时刻的数据库快照时，需要对活跃事务列表中在开始时刻到物理备份结束时刻之间活跃事务进行回滚，这样才能保证物理备份结束前的快照的全局一致性，而对于物理备份结束之后到指定时刻的快照，只需要根据该段时间的事务日志进行前滚就能得到全局一致性的数据快照。

而在本实施例的步骤S102分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，本实施例的方法还可以包括：集群管理器周期性向与集群管理器连接的各个节点发送物理备份指令，其中，物理备份指令包括：全量备份指令和/或增量备份指令，通过本实施例的该备份方式，执行备份和恢复较逻辑备份都要快很多。除此之外，采取全量加增量的方式备份数据库，恢复的时候只需要一份全量的备份数据和一份增量的备份数据就可快速恢复数据库，而采用对数据库物理备份的方式，在备份过程中只是拷贝数据库文件，对在线业务影响极小。

而在本实施例的步骤S102分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，本实施例的方法还可以包括：集群管理器周期性对各个节点执行快照操作得到活跃事务列表快照

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

在本实施例中还提供了一种数据库快照的恢复装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明可选实施例的数据快照的恢复装置的结构框图，应用于分布式数据库中的集群管理器中，如图2所示，该装置包括：恢复模块22，用于将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据；重做模块24，与恢复模块22耦合连接，用于基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照，其中，事务日志为物理备份结束时刻至指定时刻之间归档的对数据进行的操作。

图3是根据本发明实施例的数据快照的恢复装置的可选结构框图一，如图3所示，恢复模块22包括：第一获取单元32，用于获取在指定时刻之前最近一次获取的各个节点的活跃事务列表快照，其中，活跃事务列表快照中记录有在指定时刻与集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务；查找单元34，与第一获取单元32耦合连接，用于查找活跃事务列表中最先开始的活跃事务的开始时刻；回滚单元36，与查找单元34耦合连接，用于在开始时刻小于物理备份结束时刻时，对活跃事务列表快照中在物理备份结束时刻之前仍活跃的事务进行回滚得到最近一次物理备份结束时刻的数据；第二获取单元38，与回滚单元36耦合连接，用于在开始时刻大于物理备份结束时刻时，获取各个节点在指定时刻之前最近一次物理备份结束时刻的数据。

基于图3中恢复模块22中的单元，本实施例中涉及到的重做模块24，还用于基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中事务所指示的各个节点的单机事务操作，以及按照在物理备份结束时刻到指定时刻之间事务日志中的事务的执行时间的顺序重做事务日志中事务所指示的分布式事务操作得到指定时刻各个节点的数据快照

图4是根据本发明实施例的数据快照的恢复装置的可选结构框图二，如图4所示，在分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，装置还包括：发送模块42，与恢复模块22耦合连接，用于周期性向与集群管理器连接的各个节点发送物理备份指令，其中，物理备份指令包括：全量备份指令和/或增量备份指令。

图5是根据本发明实施例的数据快照的恢复装置的可选结构框图三，如图5所示，在分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，装置还包括：执行模块52，与恢复模块22耦合连接，用于周期性对各个节点执行快照操作得到活跃事务列表快照。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述模块分别位于多个处理器中。

下面结合本发明的可选实施例对本发明进行举例说明；

本可选实施例采用了基于定期的分布式数据库物理备份(包括全量备份和增量备份)、日常归档的事务日志、按照某种频率抓取的活跃事务列表快照，这3种基础数据来可恢复出任意指定时刻且满足全局事务一致性的数据库快照，并且以上所有过程均对在线业务不产生影响。即本实施例中采用的是在单节点恢复的数据上，做全局一致性的处理。

对于本可选实施例中涉及到的快照时刻非正常结束的分布式事务引发的全局数据一致性问题场景包括：(1)存在部分节点提交成功而部分节点还未提交的分布式事务；(2)存在分布式事务在部分节点中提交成功而部分节点提交失败，且分布式数据库还未将提交成功的节点中该事务回滚；(3)存在所有节点均未提交或提交失败的事务。

此外，在本可选实施例中采用物理热备份的方法获取数据库备份，对结构化查询语言SQL的执行几乎不产生负面影响，并且利用一次全量和一次增量备份数据，可以快速恢复出备份数据。

图6是根据本发明可选实施例的数据库快照恢复系统的示意图，如图6所示，该系统包括：Data Node Cluster：数据节点集群，用于对数据进行存储；SQL Node Cluster：SQL节点集群，用于SQL拆分和解析；全局事务协调器GTM(Global Transaction Manager)：用于管理全局事务。Cluster Manager：集群管理器，用于管理Data Node Cluster和SQL NodeCluster。

基于图6中该系统的组成部分，图7是根据本发明可选实施例的数据库快照恢复方法的流程图，如图7所示，该方法的步骤包括：

步骤S41，获取活跃事务列表快照；

步骤S42，物理热备份数据库；

步骤S43，定时归档事务日志；

也就说，上述步骤S41至步骤S43是用来生成基础数据，Cluster Manager定期根据备份策略给各个节点下发全量或增量备份命令，Cluster Manager定时(可配置)向GTM获取活跃事务列表快照并持久化到磁盘文件(活跃事务列表文件)中；数据库节点定期归档数据库的事务日志。

该方法还包括：

步骤S44，获取备份数据库文件、日志文件和活跃事务列表文件；

步骤S45，恢复单节点一致性数据；

步骤S46，恢复全局一致性数据；

也就是说，该步骤S44至步骤S46是指恢复到任意指定时刻分布式数据库快照，其中，对每个数据库节点，根据全量+增量备份数据，把单节点数据库恢复到备份结束时刻的数据一致性状态。从活跃事务列表文件中检索到指定时刻的活跃事务列表快照，并取出对应的归档事务日志。根据活跃事务列表快照和事务日志，前滚或回滚从备份时刻到指定时刻的所有数据库事务，使得该快照满足分布式数据库的全局一致性。

通过本可选实施例采用对数据库物理热备份的方式，备份和恢复较逻辑备份都要快很多。除此之外，本可选实施例采取全量加增量的方式备份数据库，恢复的时候只需要一份全量的备份数据和一份增量的备份数据就可快速恢复数据库。本可选实施例采用对数据库物理热备份的方式，在备份过程中只是拷贝数据库文件，对在线业务影响极小。另外，使得数据库快照能够满足全局事务一致性，在该指定时刻的数据库快照，不存在部分数据节点已提交，部分数据节点未提交或提交失败的事务。可以恢复任意指定时刻(以获取活跃事务列表周期为粒度)的数据库快照。

下面结合本发明的具体实施例对本可选实施例进行详细的说明，需要说明的是以下可选实施例都是结合图8进行相应的说明，图8是根据本发明可选实施例的数据库快照恢复的时间图；

可选实施例一：

该可选实施例以以MariaDB分布式系统为例，获得数据库数据一致性快照方法的步骤包括：初始基础数据生成过程包括步骤S201至步骤S203，而基于初始基础数据恢复指定时刻t7的数据库快照的步骤包括步骤S204至步骤S211。

步骤S201，开启分布式数据库和管理程序(ClusterManager，GTM)，该时间点为t0，从t0时刻开始，ClusterManager定期向GTM获取活跃事务列表快照，写入文件，并持久化。

步骤S202，在t1时刻，Cluster Manager根据备份策略和上次备份的结果文件，分别向数据库节点发起备份请求，节点1的备份结束时刻为t3，节点2的备份结束时刻为t4，节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果，Cluster Manager记入结果文件并持久化。

步骤S203，数据节点日常归档事务日志文件，Cluster Manager归档活跃事务列表快照文件，其中，该归档周期可配置。

步骤S204，获取备份结果文件，并分析结果文件，之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件；

步骤S205，用物理热备份工具分别恢复各个节点备份数据，节点1恢复到时刻t3。

步骤S206，根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6，其中，恢复快照的粒度为获取活跃事务列表快照的周期；

步骤S207，分析t6时刻的活跃事务列表，得到该活跃事务列表中最先开始的事务的开始时间t2；

步骤S208，获取该节点时间为[tmin，tmax]的事务日志；

其中，tmin＝min{t2，t3}，tmax＝t7；

步骤S209，当tmin小于t3时，使用工具生成[tmin，t3]之间的在t6时刻仍活跃的分布式事务的回滚语句；当tmin不小于t3时，忽略该步骤；

步骤S210，使用工具重做[t3,t6]之间所有的单机事务和在集合：{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务；

步骤S211，执行生成的回滚语句。

可选实施例二：

该可选实施例的应用场景为：基于MySQL分布式集群数据库的在线支付系统灾难恢复；

在本可选实施例中，使用物理热备份工具备份单节点数据，ClusterManager定期向GTM获取活跃事务列表数据快照，并且日常归档binlog日志。恢复时，获取单节点备份数据、binlog日志和活跃事务列表快照，进行恢复、回滚和重做的操作，从而得到指定时刻或备份时刻全局事务一致性的数据库快照且不影响大数据量的在线支付系统正常运行，该可选实施例的步骤包括：

步骤S301，开启分布式数据库和管理程序(ClusterManager，GTM)，该时间点为t0，从t0时刻开始，ClusterManager定期向GTM获取活跃事务列表快照，写入文件，并持久化。

步骤S302，在t1时刻，Cluster Manager根据备份策略和上次备份的结果文件，分别向数据库节点发起备份请求，节点1的备份结束时刻为t3，节点2的备份结束时刻为t4，节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果，Cluster Manager记入结果文件并持久化。

步骤S303，数据节点日常归档事务日志文件，Cluster Manager归档活跃事务列表快照文件，其中，归档周期可以为10分钟。

对于本可选实施例中涉及到的恢复数据库快照，要求在其他生产环境或者中间机器恢复该集群数据库t7时刻快照，该恢复的步骤包括：

步骤S304，获取备份结果文件，并分析结果文件，之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件；

步骤S305，若需要恢复到最近十分钟之内的数据，则还需要手动将还未来得及归档的事务日志拷贝到目标机器；

步骤S306，用物理热备份工具分别恢复各个节点备份数据，新节点1恢复到时刻t3；

步骤S307，根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6。(恢复快照的粒度为获取活跃事务列表快照的周期)

步骤S308，分析t6时刻的活跃事务列表，得到该活跃事务列表中最先开始的事务的开始时间t2。

步骤S309，获取该节点时间为[tmin，tmax]的事务日志；

其中，tmin＝min{t2，t3}，tmax＝t7

步骤S310，当tmin小于t3时，使用工具生成[tmin，t3]之间的在t6时刻仍活跃的分布式事务的回滚语句；当tmin不小于t3时，忽略该步骤。

步骤S311，使用工具重做[t3,t6]之间所有的单机事务和在集合：{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务。

通过本可选实施例的上述步骤可以恢复到数据库当机之前的时刻。

可选实施例三

基于MariaDB分布式集群数据库用户储蓄系统单一数据表恢复

在可选实施例中，使用物理热备份工具备份单节点数据，ClusterManager定期向GTM获取活跃事务列表数据快照，并且日常归档binlog日志。恢复时，获取单节点备份数据、binlog日志和活跃事务列表快照，进行恢复、回滚和重做的操作，从而得到运维人员误删除数据表前时刻全局事务一致性的数据库快照。利用该快照，可以导出误删除数据表，由人工导入在线系统。具体步骤如下所示。

步骤S401，开启分布式数据库和管理程序(ClusterManager，GTM)，该时间点为t0，从t0时刻开始，ClusterManager定期向GTM获取活跃事务列表快照，写入文件，并持久化。

步骤S402，在t1时刻，Cluster Manager根据备份策略和上次备份的结果文件，分别向数据库节点发起备份请求，节点1的备份结束时刻为t3，节点2的备份结束时刻为t4，节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果，Cluster Manager记入结果文件并持久化。

步骤S403，数据节点日常归档事务日志文件，Cluster Manager归档活跃事务列表快照文件。归档周期为10分钟。

对于本可选实施例中涉及到的要求在其他生产环境或者中间机器恢复该集群数据库t7时刻快照，包括如下步骤：

步骤S404，获取备份结果文件，并分析结果文件，之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件。

步骤S405，若需要恢复到最近十分钟之内的数据，则还需要手动将还未来得及归档的事务日志拷贝到目标机器。

步骤S406，用物理热备份工具分别恢复各个节点备份数据。新节点1恢复到时刻t3。

步骤S407，根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6。(恢复快照的粒度为获取活跃事务列表快照的周期)

步骤S408，分析t6时刻的活跃事务列表，得到该活跃事务列表中最先开始的事务的开始时间t2。

步骤S409，获取该节点时间为[tmin，tmax]的事务日志；

其中，tmin＝min{t2，t3}，tmax＝t7

步骤S410，当tmin小于t3时，使用工具生成[tmin，t3]之间的在t6时刻仍活跃的分布式事务的回滚语句；当tmin不小于t3时，忽略该步骤。

步骤S411，使用工具重做[t3,t6]之间所有的单机事务和在集合：{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务。

通过本可选实施例的上述步骤可以导出被误删除的数据表文件。即可以恢复到数据库误删除之前的时刻。当运维人员误删除某些用户信息的场景中，可利用本可选实施例中的恢复删除信息之前时刻数据库快照。该时刻的数据库快照中被删除的数据表还存在，可以利用数据库工具导出该数据表，重新导入到当前时刻的数据库中。

可选实施例四

基于Oracle分布式集群数据库的在线购物系统

在本可选实施例中使用物理热备份工具备份单节点数据，ClusterManager定期向GTM获取活跃事务列表数据快照，并且日常归档redo日志。恢复时，获取单节点备份数据、redo日志和活跃事务列表快照，进行恢复、回滚和重做的操作，从而得到数据突变前时刻全局事务一致性的数据库快照。利用该快照，可以在改善数据分布后再次测试数据库和机房分别是否合理。该过程的步骤包括：

步骤S501，开启分布式数据库和管理程序(ClusterManager，GTM)，该时间点为t0，从t0时刻开始，ClusterManager定期向GTM获取活跃事务列表快照，写入文件，并持久化。

步骤S502，在t1时刻，Cluster Manager根据备份策略和上次备份的结果文件，分别向数据库节点发起备份请求，节点1的备份结束时刻为t3，节点2的备份结束时刻为t4，节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果，Cluster Manager记入结果文件并持久化。

步骤S503，数据节点日常归档事务日志文件，Cluster Manager归档活跃事务列表快照文件。归档周期为10分钟。

对于本可选实施例中涉及到的要求在其他生产环境或者中间机器恢复该集群数据库t7时刻快照的步骤包括：

步骤S504，获取备份结果文件，并分析结果文件，之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件。

步骤S505，若需要恢复到最近十分钟之内的数据，则还需要手动将还未来得及归档的事务日志拷贝到目标机器。

步骤S506，用物理热备份工具分别恢复各个节点备份数据。新节点1恢复到时刻t3。

步骤S507，根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6。(恢复快照的粒度为获取活跃事务列表快照的周期)

步骤S508，分析t6时刻的活跃事务列表，得到该活跃事务列表中最先开始的事务的开始时间t2。

步骤S509，获取该节点时间为[tmin，tmax]的事务日志；

其中，tmin＝min{t2，t3}，tmax＝t7

步骤S510，当tmin小于t3时，使用工具生成[tmin，t3]之间的在t6时刻仍活跃的分布式事务的回滚语句；当tmin不小于t3时，忽略该步骤。

步骤S512，使用工具重做[t3,t6]之间所有的单机事务和在集合：{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务。

可选实施例五

基于MySQL分布式集群数据库的交易系统

在本可选实施例中在升级之前使用物理热备份工具备份单节点数据，ClusterManager定期向GTM获取活跃事务列表数据快照，并且日常归档binlog日志。恢复时，获取单节点备份数据、binlog日志和活跃事务列表快照，进行恢复、回滚操作，从而得到升级前时刻全局事务一致性的数据库快照。升级失败的时刻，可以回退到该时刻。该过程的步骤包括：

步骤S601，开启分布式数据库和管理程序(ClusterManager，GTM)，该时间点为t0，从t0时刻开始，ClusterManager定期向GTM获取活跃事务列表快照，写入文件，并持久化。

步骤S602，在t1时刻，Cluster Manager根据备份策略和上次备份的结果文件，分别向数据库节点发起备份请求，节点1的备份结束时刻为t3，节点2的备份结束时刻为t4，节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果，Cluster Manager记入结果文件并持久化。

步骤S603，数据节点日常归档事务日志文件，Cluster Manager归档活跃事务列表快照文件。归档周期为10分钟。

对于本实施例中涉及到的要求在其他生产环境或者中间机器恢复该集群数据库t7时刻快照的步骤包括：

步骤S604，获取备份结果文件，并分析结果文件，之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件。

步骤S605，若需要恢复到最近十分钟之内的数据，则还需要手动将还未来得及归档的事务日志拷贝到目标机器。

步骤S606，用物理热备份工具分别恢复各个节点备份数据。新节点1恢复到时刻t3。

步骤S607，根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6。(恢复快照的粒度为获取活跃事务列表快照的周期)

步骤S608，分析t6时刻的活跃事务列表，得到该活跃事务列表中最先开始的事务的开始时间t2。

步骤S609，获取该节点时间为[tmin，tmax]的事务日志；

其中，tmin＝min{t2，t3}，tmax＝t7

步骤S610，当tmin小于t3时，使用工具生成[tmin，t3]之间的在t6时刻仍活跃的分布式事务的回滚语句；当tmin不小于t3时，忽略该步骤。

步骤S611，使用工具重做[t3,t6]之间所有的单机事务和在集合：{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务。

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

S1，分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据；

S2，集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照，其中，事务日志为物理备份结束时刻至指定时刻之间归档的对数据进行的操作。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据快照的恢复方法，其特征在于，包括：

分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据；

所述集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到在所述指定时刻所述各个节点的数据快照，其中，所述事务日志为所述物理备份结束时刻至所述指定时刻之间归档的对数据进行的操作；

其中，所述分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据包括：

所述集群管理器获取在所述指定时刻之前最近一次获取的所述各个节点的活跃事务列表快照，其中，所述活跃事务列表快照中记录有在所述指定时刻与所述集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务；

所述集群管理器查找所述活跃事务列表中最先开始的活跃事务的开始时刻；

在所述开始时刻小于所述物理备份结束时刻时，所述集群管理器对所述活跃事务列表快照中在所述物理备份结束时刻之前仍活跃的事务进行回滚得到所述最近一次物理备份结束时刻的数据；

在所述开始时刻大于所述物理备份结束时刻时，所述集群管理器获取所述各个节点在指定时刻之前最近一次物理备份结束时刻的数据。

2.根据权利要求1所述的方法，其特征在于，所述集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到所述指定时刻所述各个节点的数据快照包括：

所述集群管理器基于所述最近一次物理备份结束时刻的数据按照所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的所述各个节点的单机事务操作，以及按照在所述物理备份结束时刻到所述指定时刻之间所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的分布式事务操作得到所述指定时刻所述各个节点的数据快照。

3.根据权利要求1所述的方法，其特征在于，在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，所述方法还包括：

所述集群管理器周期性向与所述集群管理器连接的各个节点发送物理备份指令，其中，所述物理备份指令包括：全量备份指令和/或增量备份指令。

4.根据权利要求1所述的方法，其特征在于，在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，所述方法还包括：

所述集群管理器周期性对所述各个节点执行快照操作得到所述活跃事务列表快照。

5.一种数据快照的恢复装置，应用于分布式数据库中的集群管理器侧，其特征在于，包括：

恢复模块，用于将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据；

重做模块，用于基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到在所述指定时刻所述各个节点的数据快照，其中，所述事务日志为所述物理备份结束时刻至所述指定时刻之间归档的对数据进行的操作；

其中，所述恢复模块包括：

第一获取单元，用于获取在所述指定时刻之前最近一次获取的所述各个节点的活跃事务列表快照，其中，所述活跃事务列表快照中记录有在所述指定时刻与所述集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务；

查找单元，用于查找所述活跃事务列表中最先开始的活跃事务的开始时刻；

回滚单元，用于在所述开始时刻小于所述物理备份结束时刻时，对所述活跃事务列表快照中在所述物理备份结束时刻之前仍活跃的事务进行回滚得到所述最近一次物理备份结束时刻的数据；

第二获取单元，用于在所述开始时刻大于所述物理备份结束时刻时，获取所述各个节点在指定时刻之前最近一次物理备份结束时刻的数据。

6.根据权利要求5所述的装置，其特征在于，

所述重做模块，还用于基于所述最近一次物理备份结束时刻的数据按照所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的所述各个节点的单机事务操作，以及按照在所述物理备份结束时刻到所述指定时刻之间所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的分布式事务操作得到所述指定时刻所述各个节点的数据快照。

7.根据权利要求5所述的装置，其特征在于，在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，所述装置还包括：

发送模块，用于周期性向与所述集群管理器连接的各个节点发送物理备份指令，其中，所述物理备份指令包括：全量备份指令和/或增量备份指令。

8.根据权利要求5所述的装置，其特征在于，在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前，所述装置还包括：

执行模块，用于周期性对所述各个节点执行快照操作得到所述活跃事务列表快照。

Images