CN105721582A - 多节点文件备份系统 - Google Patents

Abstract

本申请提供了一种多节点文件备份系统，该备份系统包括主控节点、多个待备份节点、分布式应用服务集群及分布式文件系统，其中，主控节点上部署有主控程序，每个待备份节点上均各自部署有受控程序，其中，主控程序可以通过分布式应用服务集群统一控制多个受控程序，从而各个待备份节点可以并行地将文件备份至分布式文件系统中。本申请以分布式文件系统作为文件的目标备份系统，并且采用主从架构控制的并行备份方式，从而提高了文件的备份效率。

Description

多节点文件备份系统

技术领域

本申请涉及数据安全技术领域，更具体地，涉及多节点文件备份系统。

背景技术

随着大数据时代的到来，各种应用程序时刻产生着大量的数据，这些数据被保存在计算机的文件中。数据文件是重要的信息资源，需要对文件进行备份。

可以知道的是，此些文件的数据量较大，且不断地在增长，并且，此些文件一般散落在不同的计算机节点上。目前，计算机节点备份文件的方式是，各个计算机节点独立地将文件备份至同一个网络硬盘上。

然而，由于计算机节点众多，每个计算机节点上的备份程序均需要独立设置并启动，且网络硬盘的读写速度较慢，导致备份效率较低。

发明内容

有鉴于此，本申请提供了一种多节点文件备份系统，用以提高多节点文件备份的效率。

为实现所述目的，本申请提供的技术方案如下：

本申请提供了一种多节点文件备份系统，包括：主控节点、多个待备份节点、分布式应用服务集群及分布式文件系统；其中：所述主控节点上部署有主控程序，每个所述待备份节点上均各自部署有受控程序；

所述主控节点用于，通过运行所述主控程序实现以下功能：

向所述分布式应用服务集群进行信息注册，以使所述主控节点通过所述分布式应用服务集群与所述待备份节点进行交互；

获取预设的配置文件中的备份类型，并依据所述备份类型生成备份指令；其中，所述备份类型为定时备份或即时备份；

通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点；

所述待备份节点用于，通过运行所述受控程序实现以下功能：

向所述分布式应用服务集群进行信息注册，以使所述待备份节点通过所述分布式应用服务集群与所述主控节点进行交互；

根据所述备份指令，将各自的待备份文件备份至所述分布式文件系统中。

可选地，上述的多节点文件备份系统中，所述主控节点上部署的主控程序为Master程序，所述待备份节点上部署的受控程序为Slave程序，所述分布式应用服务集群为Zookeeper集群，所述分布式文件系统为HDFS系统。

可选地，上述的多节点文件备份系统中，所述主控节点向所述分布式应用服务集群进行信息注册具体包括：

所述主控节点通过所述配置文件确定所述分布式应用服务集群，并获得所述分布式应用服务集群的主机信息；其中，所述主机信息用于链接所述分布式应用服务集群；

所述主控节点在所述分布式应用服务集群上创建主数据节点，并在所述主数据节点下创建父受控数据节点。

可选地，上述的多节点文件备份系统中，所述待备份节点向所述分布式应用服务集群进行信息注册具体包括：

各个所述待备份节点通过所述配置文件确定所述分布式应用服务集群，并获得所述分布式应用服务集群的所述主机信息；

每个所述待备份节点在所述父受控数据节点下创建各自的子受控数据节点，并通过各自的监听器监听各自的所述子受控数据节点。

可选地，上述的多节点文件备份系统中，所述主控节点通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点具体包括：

所述主控节点遍历所述父受控数据节点下的所有子受控数据节点，并在每个所述子受控数据节点下创建备份指令节点；

所述分布式应用服务集群向每个所述待备份节点的监听器发送触发事件，以使所述监听器捕获所述备份指令节点的创建事件。

可选地，上述的多节点文件备份系统中，各个所述待备份节点根据所述备份指令，将各自的待备份文件备份至所述分布式文件系统中具体包括：

各个所述待备份节点的监听器监听到备份指令节点的创建事件后，各个所述待备份节点将各自的待备份文件备份至所述分布式文件系统中；

各个所述待备份节点在备份开始时，向各自的子受控数据节点下的备份状态节点内写入当前状态，且在备份结束时，向各自的所述备份状态节点内写入结束状态。

可选地，上述的多节点文件备份系统中，所述待备份节点中的待备份文件的配置方式包括：

所述主控节点根据接收到的配置指令，在所述子受控数据节点下创建备份信息节点，所述备份信息节点用于指示待备份文件。

可选地，上述的多节点文件备份系统中，所述主控节点通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点具体包括：

所述主控节点判断所述备份指令为定时备份或者即时备份；

若所述备份指令为定时备份，则所述主控节点启动定时器，并在所述定时器到达发送时间时，所述主控节点通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点；

若所述备份指令为即时发送，则所述主控节点直接通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点。

可选地，上述的多节点文件备份系统还包括：

所述主控节点还用于，通过运行所述主控程序实现以下功能：

获取所述配置文件中的文件恢复指令，并通过所述分布式应用服务集群将所述文件恢复指令发送至各个所述待备份节点；

所述待备份节点还用于，通过运行所述受控程序实现以下功能：

根据所述文件恢复指令，从所述分布式文件系统中获取备份文件进行文件恢复。

可选地，上述的多节点文件备份系统还包括：

所述主控节点还用于，通过运行所述主控程序实现以下功能：

获取配置文件中的停机指令，并通过所述分布式应用服务集群将所述停机指令发送至各个所述待备份节点；

所述待备份节点还用于，通过运行所述受控程序实现以下功能：

根据所述停机指令，执行停机操作。

由以上的技术方案可知，本申请具有如下有益效果：

本申请提供了一种多节点文件备份系统，该备份系统包括主控节点、多个待备份节点、分布式应用服务集群及分布式文件系统，其中，主控节点上部署有主控程序，每个待备份节点上均各自部署有受控程序，其中，主控程序可以通过分布式应用服务集群统一控制多个受控程序，从而各个待备份节点可以并行地将文件备份至分布式文件系统中。本申请以分布式文件系统作为文件的目标备份系统，并且采用主从架构控制的并行备份方式，从而提高了文件的备份效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的多节点文件备份系统实施例1的结构示意图；

图2为本申请提供的多节点文件备份方法实施例1的流程图；

图3为本申请提供的主控节点在分布式应用服务集群上进行信息注册的流程示意图；

图4为本申请提供的待备份节点在分布式应用服务集群上进行信息注册的流程示意图；

图5为本申请提供的分布式应用服务集群上数据节点的一种树形结构图；

图6为本申请提供的定时备份或即时备份的流程示意图；

图7为本申请提供的分布式应用服务集群上数据节点的另一树形结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，其示出了本申请提供的多节点文件备份系统实施例1的结构示意图。如图1所示，本实施例可以具体包括主控节点1、多个待备份节点2、分布式应用服务集群3以及分布式文件系统4。

其中，待备份节点2上存储有数据文件，主控节点1统一控制各个待备份节点2将文件备份至分布式文件系统4中。需要说明的是，主控节点1通过分布式应用服务集群3实现对待备份节点2的备份控制。

具体地，主控节点1上部署有主控程序，待备份节点2上部署有受控程序。主控程序用于向受控程序发送指令以及收集受控程序的状态等，受控程序用于根据主控程序发送的指令，执行文件备份或者文件恢复等操作。

如图1所示，主控节点1上的主控程序可以为Master程序，待备份节点2上部署的受控程序可以为Slave程序。此种实施方式中，主控节点1可以称为Master节点，待备份节点2可以称为Slave节点。分布式应用服务集群3可以为Zookeeper集群，分布式文件系统4可以为HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)。

其中，Zookeeper是一个为分布式应用提供一致性服务的软件，Zookeeper集群是运行Zookeeper的计算机集群。其中，Zookeeper提供的功能包括：配置维护、名字服务、分布式同步、组服务等。HDFS系统提供有调用接口，各个受控程序可以通过调用该接口实现文件的存取。HDFS系统由分布式Hadoop集群提供，本申请中的HDFS系统仅涉及Hadoop集群中的文件系统。

基于图1所示的多节点文件备份系统，多节点文件备份方法实施例1参见图2，如图2所示，该方法可以包括步骤S201～步骤S203。

步骤S201：主控节点及各个待备份节点向分布式应用服务集群进行信息注册，以使主控节点与各个待备份节点通过分布式应用服务集群进行交互。

其中，主控节点与待备份节点之间的交互是通过分布式应用服务集群3实现的，因此，为了实现交互，主控节点及待备份节点需要在分布式应用服务集群3中进行信息注册。

步骤S202：主控节点获取配置文件中的备份类型，依据备份类型生成备份指令，并通过分布式应用服务集群将备份指令发送至各个待备份节点；其中，备份类型为定时备份或即时备份。

其中，注册完成后，主控节点便可以根据配置文件向待备份节点发送备份指令。具体地，配置文件中包含受控节点上待备份文件的目录，或者，还可以包括需要恢复的文件的目录。

待备份文件具有备份类型属性，用于表示在何时对待备份文件进行备份。备份类型可以是定时备份或者即时备份，其中，定时备份可以是在将来的某一个时间点进行备份，如五分钟以后进行备份，或者是在将来的多个固定时间点进行备份，如每天12点进行备份；即时备份表示立即进行备份。另外，配置文件中还可以包括恢复程序及停机等指令。当然，每个指令都可以是定时执行，也可以是即时执行。

步骤S203：各个待备份节点根据备份指令，将各自的待备份文件备份至分布式文件系统中。

其中，主控节点可以向每个在分布式应用服务集群中注册的待备份节点发送备份指令，如图1所示，多个待备份节点程序在Zookeeper集群中进行了信息注册，因此，各个待备份节点均可以接收到备份指令。各个待备份节点接收到备份指令后，便可以并行地对文件进行备份。另外，配置文件中还可以包括分布式文件系统的信息如HDFS信息，HDFS信息是待备份节点连接HDFS系统进行读写操作所必需的信息。

需要说明的是，主控节点通过运行主控程序实现上述步骤S201中的注册及步骤S202的功能，待备份节点通过运行受控程序实现上述步骤S201中的注册及步骤S203的功能。

由以上技术方案可知，本申请提供了一种多节点文件备份系统，该备份系统包括主控节点、多个待备份节点、分布式应用服务集群及分布式文件系统，其中，主控节点上部署有主控程序，每个待备份节点上均各自部署有受控程序，其中，主控程序可以通过分布式应用服务集群统一控制多个受控程序，从而各个待备份节点可以并行地将文件备份至分布式文件系统中。可见，一方面本实施例以分布式文件系统作为文件的目标备份系统，容错性高、可扩展性强且备份效率高，另一方面，本实施例采用多节点主从架构的协调框架，减少了备份系统的复杂性，且统一控制各节点的并行备份操作，进一步提高了备份效率。

具体地，如图3所示，上述步骤S201中主控节点向分布式应用服务集群进行信息注册的过程可以包括步骤S301～步骤S302。

步骤S301：主控节点通过配置文件确定分布式应用服务集群，并获得分布式应用服务集群的主机信息；其中，主机信息用于链接分布式应用服务集群。

其中，备份系统的配置文件中可以包括分布式应用服务集群信息，以及分布式应用服务集群的主机信息，主机信息是主控程序、待备份节点链接分布式应用服务集群的必需信息。

从而，主控节点便可以根据配置文件确定分布式分布应用服务集群，且可以获得连接该分布式应用服务集群的主机信息，如主控节点通过运行Master程序从配置文件获取Zookeeper信息，并获得主机信息ZKHost。

步骤S302：主控节点在分布式应用服务集群上创建主数据节点，并在主数据节点下创建父受控数据节点。

其中，父受控数据节点用于各个受控程序在该节点下创建相应的子受控数据节点。

例如，主控节点通过运行Master程序在Zookeeper集群中创建主数据节点如MasterZnode，并在主数据节点MasterZnode下创建父受控数据节点SlaveParentZnode。

另外，如图4所示，上述步骤S201中各个待备份节点向分布式应用服务集群进行信息注册的过程可以包括步骤S401～步骤S402。

步骤S401：各个待备份节点通过配置文件确定分布式应用服务集群，并获得分布式应用服务集群的主机信息。

例如，各个待备份节点通过运行Slave程序获取配置文件中Zookeeper信息并得到ZKHost。

步骤S402：每个待备份节点在父受控数据节点下创建各自的子受控数据节点，并通过各自的监听器监听各自的子受控数据节点。

例如，各个待备份节点通过运行Slave程序在父受控数据节点SlaveParentZnode下创建自身的子受控数据节点SlaveZnode，然后监听该子受控数据节点SlaveZnode，以等待备份指令的到来。

经过上述注册过程，分布式应用服务集群Zookeeper中的数据节点树形结构如图5所示。

其中，主数据节点MasterZnode由主控节点创建，由待备份节点监听，监听内容为父受控数据节点SlaveParentZnode的创建。

父受控数据节点SlaveParentZnode由主控节点创建，用于为子受控数据节点SlaveZnode提供父容器。

各个子受控数据节点如SlaveZnode_1、SlaveZnode_2、SlaveZnode_n由待备份节点创建，由待备份节点监听是否达到备份指令。

由以上可知，Zookeeper集群是Master程序和Slave程序交互的桥梁，通过Zookeeper集群中的数据节点传递信息、发送或接收指令，所有的指令均通过创建、删除或者修改数据节点从而触发监听器来完成，所有的消息是通过数据节点来传递。数据节点，在Zookeeper集群中类似文件系统，该文件系统中没有文件和目录，而是节点的概念。数据节点可以作为保存数据的容器，也可以作为保存其他数据节点的容器。

参见图6，基于上述树形结构的数据节点，上述图2所示的步骤S202中主控节点通过分布式应用服务集群将备份指令发送至各个待备份节点的具体实现方式包括以下步骤S601～步骤S604。

步骤S601：主控节点判断备份指令为定时备份或者即时备份，若备份指令为定时备份，则执行步骤S602；若备份指令为即时发送，则直接执行步骤S603。

步骤S602：主控节点启动定时器，并在定时器到达发送时间时，执行步骤S603。

步骤S603：主控节点遍历父受控数据节点下的所有子受控数据节点，并在每个子受控数据节点下创建备份指令节点。

例如，主控节点通过运行Master程序遍历父受控数据节点SlaveParentZnode下的各个子受控数据节点SlaveZnode，并在各个子受控数据节点SlaveZnode下创建备份指令节点C_znode。

参见图7，以子受控数据节点SlaveZnode_1为例，主控节点在子受控数据节点SlaveZnode_1下创建备份指令节点C_znode。

步骤S604：分布式应用服务集群向每个待备份节点的监听器发送触发事件，以使监听器捕获备份指令节点的创建事件。

其中，备份指令节点用于向待备份节点发送备份指令，具体地，待备份节点的监听器获取备份指令节点的创建事件。

例如，Zookeeper集群向各个待备份节点的监听器发送触发事件，由待备份节点的监听器捕获备份指令节点C_znode的创建事件。

待备份节点监听到备份指令节点的创建事件后，表示备份指令通过分布式应用服务集群发送至待备份节点。进一步地，上述图2所示的步骤S203(各个待备份节点根据备份指令，将各自的待备份文件备份至分布式文件系统中)的具体执行方式可以包括以下步骤A1～步骤A2。

步骤A1：各个待备份节点的监听器监听到备份指令节点的创建事件后，各个待备份节点将各自的待备份文件备份至分布式文件系统中。

如上，配置文件中包含分布式文件系统的连接信息，如HDFS系统的HDFS信息，待备份节点可以根据配置文件中的连接信息，连接至分布式文件系统，并将待备份文件备份至分布式文件系统中。

例如，待备份节点监听到备份指令节点C_znode的创建事件后，将待备份文件备份至分布式文件系统中。

另外，在待备份节点中配置待备份文件的方式为：主控节点通过运行主控程序根据接收到的配置指令，在子受控数据节点下创建备份信息节点，备份信息节点用于指示待备份文件。

如图7所示，以子受控数据节点SlaveZnode_1为例，主控节点通过运行Master程序在子受控数据节点SlaveZnode_1下创建备份信息节点Dir_info_znode。

步骤A2：各个待备份节点在备份开始时，向各自的子受控数据节点下的备份状态节点内写入当前状态，且在备份结束时，向各自的备份状态节点内写入结束状态。

其中，待备份节点需要在子受控数据节点下创建备份状态节点，并在该备份状态节点内写入当前的备份状态，并且在备份结束时，向备份状态节点内写入结束状态。

如图7所示，以子受控数据节点SlaveZnode_1为例，待备份节点在子受控数据节点SlaveZnode_1下创建备份状态节点State_info_znode。

在实际应用中，主控节点还可以通过运行主控程序控制备份文件的恢复，具体地：

主控获取配置文件中的文件恢复指令，并通过分布式应用服务集群将文件恢复指令发送至各个待备份节点，从而待备份节点通过运行受控程序根据文件恢复指令，从分布式文件系统中获取备份文件进行文件恢复。

另外，主控程序还可以通过运行主控程序控制待备份节点的停机，具体地：

主控节点获取配置文件中的停机指令，并通过分布式应用服务集群将停机指令发送至各个待备份节点，从而待备份节点通过运行受控程序根据停机指令，执行停机操作。

需要说明的是，文件恢复及停机的具体实现方式与上述备份相同，均是通过分布式应用服务集群中节点的创建、修改及删除等操作实现的，此处并不赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多节点文件备份系统，其特征在于，包括：主控节点、多个待备份节点、分布式应用服务集群及分布式文件系统；其中：所述主控节点上部署有主控程序，每个所述待备份节点上均各自部署有受控程序；

所述主控节点用于，通过运行所述主控程序实现以下功能：

向所述分布式应用服务集群进行信息注册，以使所述主控节点通过所述分布式应用服务集群与所述待备份节点进行交互；

获取预设的配置文件中的备份类型，并依据所述备份类型生成备份指令；其中，所述备份类型为定时备份或即时备份；

通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点；

所述待备份节点用于，通过运行所述受控程序实现以下功能：

向所述分布式应用服务集群进行信息注册，以使所述待备份节点通过所述分布式应用服务集群与所述主控节点进行交互；

根据所述备份指令，将各自的待备份文件备份至所述分布式文件系统中。

2.根据权利要求1所述的多节点文件备份系统，其特征在于，所述主控节点上部署的主控程序为Master程序，所述待备份节点上部署的受控程序为Slave程序，所述分布式应用服务集群为Zookeeper集群，所述分布式文件系统为HDFS系统。

3.根据权利要求1所述的多节点文件备份系统，其特征在于，所述主控节点向所述分布式应用服务集群进行信息注册具体包括：

所述主控节点通过所述配置文件确定所述分布式应用服务集群，并获得所述分布式应用服务集群的主机信息；其中，所述主机信息用于链接所述分布式应用服务集群；

所述主控节点在所述分布式应用服务集群上创建主数据节点，并在所述主数据节点下创建父受控数据节点。

4.根据权利要求3所述的多节点文件备份系统，其特征在于，所述待备份节点向所述分布式应用服务集群进行信息注册具体包括：

各个所述待备份节点通过所述配置文件确定所述分布式应用服务集群，并获得所述分布式应用服务集群的所述主机信息；

每个所述待备份节点在所述父受控数据节点下创建各自的子受控数据节点，并通过各自的监听器监听各自的所述子受控数据节点。

5.根据权利要求3所述的多节点文件备份系统，其特征在于，所述主控节点通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点具体包括：

所述主控节点遍历所述父受控数据节点下的所有子受控数据节点，并在每个所述子受控数据节点下创建备份指令节点；

所述分布式应用服务集群向每个所述待备份节点的监听器发送触发事件，以使所述监听器捕获所述备份指令节点的创建事件。

6.根据权利要求5所述的多节点文件备份系统，其特征在于，各个所述待备份节点根据所述备份指令，将各自的待备份文件备份至所述分布式文件系统中具体包括：

各个所述待备份节点的监听器监听到备份指令节点的创建事件后，各个所述待备份节点将各自的待备份文件备份至所述分布式文件系统中；

各个所述待备份节点在备份开始时，向各自的子受控数据节点下的备份状态节点内写入当前状态，且在备份结束时，向各自的所述备份状态节点内写入结束状态。

7.根据权利要求5所述的多节点文件备份系统，其特征在于，所述待备份节点中的待备份文件的配置方式包括：

所述主控节点根据接收到的配置指令，在所述子受控数据节点下创建备份信息节点，所述备份信息节点用于指示待备份文件。

8.根据权利要求1所述的多节点文件备份系统，其特征在于，所述主控节点通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点具体包括：

所述主控节点判断所述备份指令为定时备份或者即时备份；

若所述备份指令为定时备份，则所述主控节点启动定时器，并在所述定时器到达发送时间时，所述主控节点通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点；

若所述备份指令为即时发送，则所述主控节点直接通过所述分布式应用服务集群将所述备份指令发送至各个所述待备份节点。

9.根据权利要求1所述的多节点文件备份系统，其特征在于，还包括：

所述主控节点还用于，通过运行所述主控程序实现以下功能：

获取所述配置文件中的文件恢复指令，并通过所述分布式应用服务集群将所述文件恢复指令发送至各个所述待备份节点；

所述待备份节点还用于，通过运行所述受控程序实现以下功能：

根据所述文件恢复指令，从所述分布式文件系统中获取备份文件进行文件恢复。

10.根据权利要求1所述的多节点文件备份系统，其特征在于，还包括：

所述主控节点还用于，通过运行所述主控程序实现以下功能：

获取配置文件中的停机指令，并通过所述分布式应用服务集群将所述停机指令发送至各个所述待备份节点；

所述待备份节点还用于，通过运行所述受控程序实现以下功能：

根据所述停机指令，执行停机操作。