CN104750573B - 分布式数据系统数据节点的全局一致性备份和还原方法 - Google Patents

Abstract

一种分布式数据系统数据节点的全局一致性备份方法，包括如下步骤：创建ZFS文件系统；Standby数据库从需备份的目标数据节点中接收实时产生的xlog数据，根据xlog数据得到Standby数据文件；为Standby数据库的Standby数据文件所在的ZFS文件系统创建ZFS快照，并存放在ZFS文件系统中。本发明还涉及一种全局一致性还原方法。

Description

分布式数据系统数据节点的全局一致性备份和还原方法

技术领域

本发明涉及一种分布式数据系统数据节点处理方法，由其是一种分布式数据系统数据节点的全局一致性备份方法，以及一种分布式数据系统数据节点的全局一致性还原方法。

背景技术

分布式系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与存储资源的节点相连，一般的做法是，将多节点的数据库组合成一个大的数据库对外提供服务，其系统架构如图1所示，一般包括：

1、Load Balancer，负载均衡设备。

2、Global Transaction Manager，全局事务管理模块, 负责全局事务号的管理,全局事务镜像的管理, 以下简称GTM。

3、Coordinators，协处理模块, 负责接收客户端请求（SQL）, 解析客户端SQL, 重写SQL为分布式SQL, 并提交给响应的数据节点（Data Nodes）执行, 接收Data Nodes的返回结果, 如果需要聚合操作的话，则在处理完聚合之后再将数据返回给客户端。在一个分布式系统中，协处理模块一般部署有多台, 配合负载均衡设备，可以解决高可用和负载均衡的问题。

4、Data Nodes，用户数据节点，负责存储真正的用户数据, 接收来自Coordinators的SQL请求, 处理后返回给Coordinators。

现有技术中，分布式系统的数据节点备份方法需要不断的重复备份基础数据，操作频率较大，对备份容量的需求也随之增大。由于备份容量与还原事件成反比，要获得较快的还原事件，一般的做法是牺牲备份容量，从而对数据库产生大量的读请求。相反的，如果降低备份操作频率，一旦需要还原，则所需时间越长。

发明内容

本发明为了解决现有技术中存在的技术问题，提出了一种分布式数据系统数据节点的全局一致性备份方法、分布式数据系统数据节点的全局一致性还原方法。

为了达到上述发明目的，本发明所采用的技术方案是：

一种分布式数据系统数据节点的全局一致性备份方法，包括如下步骤：创建ZFS文件系统；Standby数据库从需备份的目标数据节点中接收实时产生的xlog数据，根据xlog数据得到Standby数据文件；为Standby数据库的Standby数据文件所在的ZFS文件系统创建ZFS快照，并存放在ZFS文件系统中。

上述技术方案还可以进一步完善：

作为优选，创建ZFS文件系统，具体包括：在备份机安装ZFS模块；在ZFS模块中创建ZFS文件系统。

作为优选，Standby数据库与需备份的目标数据节点一一对应。

作为优选，创建Standby数据库的步骤，具体包括：在备份机中创建目标数据节点的Standby数据库，Standby数据库的数据目录存放在ZFS文件系统中。

作为优选，上述方法还包括如下步骤：设定ZFS快照的创建频率。

作为优选，目标数据节点是Coordinator节点和datanode节点。

为达到上述发明目的，本发明所采用的第二个技术方案是：

一种分布式数据系统数据节点的全局一致性还原方法，包括如下步骤：选择一个barrier作为恢复目标；选择与数据节点对应的Standby数据库中恢复目标的前一个ZFS快照，根据ZFS快照创建一个克隆镜像，在克隆镜像中创建恢复文件，并指定恢复文件到恢复目标；当对所有的数据节点执行上一步操作后，激活数据节点，还原完成。

上述技术方案还可以进一步完善：

作为优选，创建barrier的步骤，具体包括：判断设定的判定条件是否满足，如满足则触发启动一次barrier创建；向数据节点提交堵塞未决事务请求，如果堵塞超时，则释放未决事务堵塞并结束此次barrier创建；如果堵塞未超时，则创建barrier，随后释放未决事务堵塞，结束此次barrier创建；循环执行上述步骤。

作为优选，克隆镜像对应Standby数据库从需备份的目标数据节点中拷贝的增量数据。

作为优选，数据节点是Coordinator节点和datanode节点。

由于上述技术方案的采用，本发明与现有技术相比，具有以下优点：

本发明的技术方案，利用流复制方式创建数据节点的Standby数据库，Standby数据库中仅存储增量数据，结合运用ZFS文件系统创建ZFS快照，达到了备份Standby数据库与备份数据节点的主数据库相同的效果，但却无需大量的向主数据库发起读请求；

本发明的技术方案，通过创建ZFS快照克隆镜像的方式，仅还原数据节点的增量数据部分，如果还原完成后认为数据节点还原有误，则无需将全部备份集重新拷贝，只需上述克隆镜像重新还原即可，对于一个1TB的备份集来说，采用现有技术中的还原方法，通过1GB网络传输需要1万秒，而是用本发明的技术方案，还原事件在1秒之内。

本发明的其他技术效果将在具体实施方式部分做详细的展开说明。

附图说明

图1为分布式系统的一种系统框架图；

图2是本发明备份方法的一种系统架构框图；

图3是本发明还原方法的一种系统架构框图；

图4是本发明的一种barrier创建方法的示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式做进一步解释说明。

实施例1

如图2所示的一种分布式数据系统数据节点的全局一致性备份方法，包括如下步骤：

1、创建ZFS文件系统，具体包括：在备份机安装ZFS模块；在ZFS模块中创建ZFS文件系统；

2、创建Standby数据库，Standby数据库从需备份的目标数据节点中接收实时产生的xlog数据，根据xlog数据得到Standby数据文件；standby数据文件即是需备份的目标数据节点的过去状态；

3、设定ZFS快照的创建频率；

4、为所述的Standby数据库的Standby数据文件所在的ZFS文件系统创建ZFS快照，并存放在所述的ZFS文件系统中, 创建快照即是达到备份目标数据节点数据目录的目的。

上述备份方法可以应用于分布式数据系统的datanode节点，也可以应用在Coordinator节点上。一种实施例中，Coordinator节点应用上述方法进行备份。另一种实施例中，不对Coordinator单独创建备份机和Standby数据库。

为了减少备份对数据库产生的大量读请求, 利用数据库的流复制, 创建Standby数据库, 备份Standby数据库的效果和备份主数据库的效果一样, 备份请求与主数据库无关。将流复制和ZFS快照结合, 利用ZFS快照来迅速完成任意大小的数据库（datanode和coordinator节点）的增量备份。

实施例2

分布式数据系统需要面对一致性还原问题，具体来说，所有数据节点必须还原到跨库事务一致的状态，一般来说，这需要对每个数据库提供一个还原点来实现。Barrier可以理解成一个隔离带，用来隔离一致性事务的提交交错状态，在一个barrier被创建后，事务的提交信息在xlog日志中的写入顺序是全局一致的，因此，当恢复到创建barrier的时间点时，即可确保全局状态一致性的还原（恢复）。

如图4所示，创建barrier的步骤，具体包括：判断设定的判定条件是否满足，如满足则触发启动一次barrier创建；向数据节点提交堵塞未决事务请求，如果堵塞超时，则释放未决事务堵塞并结束此次barrier创建；如果堵塞未超时，则创建barrier，随后释放未决事务堵塞，结束此次barrier创建；循环执行上述步骤。

上述创建barrier的过程，是一个自动触发barrier创建的过程，具体来说，触发barrier创建的判定条件可以包括时间窗口、事务窗口、状态开关中的一种或多种，其中，时间窗口是指，间隔多长时间后创建一个barrier，事务窗口是指间隔多少个全局事务后创建一个barrier，状态开关则是指检测到系统中不存在跨库事务时创建一个barrier；也就是说，barrier的信息粒度由系统根据设定参数自动控制。

上述创建barrier的过程中，还涉及一个堵塞时间控制的步骤，在创建barrier时，如果无法在配置时间内完成对其他未决跨库事务的隔离，则放弃barrier创建，基于此，有效的控制了堵塞的影响时间。

现有技术中的barrier创建一般由人工来完成，信息粒度一般比较粗，还原点的间隔也比较大，当需要还原时，可能需要丢弃的数据较多。也没有设立一个事务提交堵塞控制机制，因此，对性能影响较大。

如图3所示的一种分布式数据系统数据节点的全局一致性还原方法，包括如下步骤：

1、选择一个barrier作为恢复目标（举例来说，是barrier_a）；

2、选择与数据节点对应的standby数据库中恢复目标的前一个ZFS快照，根据ZFS快照创建一个克隆镜像，在克隆镜像中创建恢复文件，如，recovery.conf，并指定恢复文件到恢复目标；克隆镜像对应Standby数据库从需备份的目标数据节点中拷贝的增量数据；

3、当对所有的数据节点执行上一步操作后，激活数据节点，还原完成。

待恢复的数据节点可以访问xlog日志文件，例如NFS挂载。

上述还原方法可以应用于分布式数据系统的datanode节点，也可以应用在Coordinator节点上。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发

明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种分布式数据系统数据节点的全局一致性备份方法，其特征在于，包括如下步骤：

创建ZFS文件系统；

创建Standby数据库；

所述的Standby数据库从需备份的目标数据节点中接收实时产生的xlog数据，根据所述的xlog数据得到Standby数据文件；

为所述的Standby数据库的Standby数据文件所在的ZFS文件系统创建ZFS快照，并存放在所述的ZFS文件系统中；所述的创建ZFS文件系统，具体包括：

在备份机安装ZFS模块；

在所述的ZFS模块中创建ZFS文件系统。

2.根据权利要求1所述的分布式数据系统数据节点的全局一致性备份方法，其特征在于，所述的Standby数据库与需备份的目标数据节点一一对应。

3.根据权利要求2所述的分布式数据系统数据节点的全局一致性备份方法，其特征在于，所述的创建Standby数据库的步骤，具体包括：

在备份机中创建目标数据节点的Standby数据库，所述的Standby数据库的数据目录存放在所述的ZFS文件系统中。

4.根据权利要求1所述的分布式数据系统数据节点的全局一致性备份方法，其特征在于，它还包括如下步骤：

设定所述的ZFS快照的创建频率。

5.根据权利要求1～4中任意一条所述的分布式数据系统数据节点的全局一致性备份方法，其特征在于，所述的目标数据节点是Coordinator节点和Datanode节点。

6.一种分布式数据系统数据节点的全局一致性还原方法，包括如下步骤：

选择一个barrier作为恢复目标；

选择与数据节点对应的Standby数据库中所述的恢复目标的前一个ZFS快照，根据所述的ZFS快照创建一个克隆镜像，在所述的克隆镜像中创建恢复文件，并指定所述的恢复文件到所述的恢复目标；

当对所有的数据节点执行上一步操作后，激活数据节点，还原完成。

7.根据权利要求6所述的分布式数据系统数据节点的全局一致性还原方法，其特征在于，创建barrier的步骤，具体包括：

判断设定的判定条件是否满足，如满足则触发启动一次barrier创建；

向数据节点提交堵塞未决事务请求，如果堵塞超时，则释放未决事务堵塞并结束此次barrier创建；如果堵塞未超时，则创建barrier，随后释放未决事务堵塞，结束此次barrier创建；循环执行上述步骤。

8.根据权利要求6所述的分布式数据系统数据节点的全局一致性还原方法，其特征在于，所述的克隆镜像对应所述的Standby数据库从需备份的目标数据节点中拷贝的增量数据。

9.根据权利要求6所述的分布式数据系统数据节点的全局一致性还原方法，其特征在于，所述的数据节点是Coordinator节点和datanode节点。