CN105260271A - 一种hdfs快照的实现方法及系统 - Google Patents

Abstract

本发明公开了一种HDFS快照的实现方法，包括：在定时启动脚本中添加创建快照程序，并设定定时启动所述创建快照程序的时间周期；根据用户操作创建进行快照的HDFS目录；调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照；该实现方法能够为用户指定的HDFS目录连续的创建快照，以保证数据的有效封存和不同版本的恢复；本发明还公开了一种HDFS快照的实现系统。

Description

一种HDFS快照的实现方法及系统

技术领域

本发明涉及数据安全领域，特别涉及一种HDFS快照的实现方法及系统。

背景技术

HDFS(HadoopDistributedFileSystem)是Hadoop底层的分布式文件系统，它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集(LargeDataSet)的应用处理带来了很多便利。

快照技术主要是在操作系统以及存储技术上实现的一种记录某一时间系统状态的技术，是关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。HDFS具有创建快照的功能，但是只支持采用人工输入命令的方式创建快照。因此，若出现数据误删除或者误修改之后再创建快照就为时已晚了。

因此，如何保证HDFS中数据安全，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种HDFS快照的实现方法及实现系统，能够为用户指定的HDFS目录连续的创建快照，以保证数据的有效封存和不同版本的恢复。

为解决上述技术问题，本发明提供一种HDFS快照的实现方法，包括：

在定时启动脚本中添加创建快照程序，并设定定时启动所述创建快照程序的时间周期；

根据用户操作创建进行快照的HDFS目录；

调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照。

其中，所述在定时启动脚本中添加创建快照程序，并设定启动所述创建快照程序的时间周期包括：

在shell指令中设置执行允许目录创建快照程序以及执行创建快照程序，其中，创建的快照以当前系统时间命名；

在crontab配置文件中添加定时调用所述shell指令任务，设置定时调用所述shell指令的时间周期，刷新crontab的配置。

其中，所述调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照包括：

按照所述时间周期，循环执行所述crontab配置文件调用的所述允许目录创建快照程序以及执行所述创建快照程序，对所述HDFS目录创建快照，并将创建的快照存储在用户指定的HDFS目录下的特定隐藏文件夹中。

其中，还包括：

监测所述特定隐藏文件夹，比较所述特定隐藏文件夹每个所述时间周期内增加的快照数量是否与所述HDFS目录数量相同；

若不相同时，发出提示信号。

其中，还包括：

根据用户操作对创建的所述HDFS目录进行修改，其中，所述修改包括删除，添加，重建。

本发明提供一种HDFS快照的实现系统，包括：

启动任务设置模块，用于在定时启动脚本中添加创建快照程序，并设定定时启动所述创建快照程序的时间周期；

创建目录模块，用于根据用户操作创建进行快照的HDFS目录；

创建快照模块，用于调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照。

其中，所述启动任务设置模块包括：

shell单元，用于在shell指令中设置执行允许目录创建快照程序以及执行创建快照程序，其中，创建的快照以当前系统时间命名；

crontab配置单元，用于在crontab配置文件中添加定时调用所述shell指令任务，设置定时调用所述shell指令的时间周期，刷新crontab的配置。

其中，所述创建快照模块包括：

创建快照单元，用于按照所述时间周期，循环执行所述crontab配置文件调用的所述允许目录创建快照程序以及执行所述创建快照程序，对所述HDFS目录创建快照；

存储单元，用于将创建的快照存储在用户指定的HDFS目录下的特定隐藏文件夹中。

其中，还包括：

检查模块，用于监测所述特定隐藏文件夹，比较所述特定隐藏文件夹每个所述时间周期内增加的快照数量是否与所述HDFS目录数量相同；

若不相同时，触发提示模块发出提示信号。

其中，还包括：

修改模块，用于根据用户操作对创建的所述HDFS目录进行修改，其中，所述修改包括删除，添加，重建。

本发明所提供的HDFS快照的实现方法及实现系统，该实现方法包括：在定时启动脚本中添加创建快照程序，并设定定时启动所述创建快照程序的时间周期；根据用户操作创建进行快照的HDFS目录；调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照；

该方法通过将创建快照程序保存在定时启动脚本中，通过启动定时启动脚本，定时执行创建快照的程序，实现对用户创建的HDFS目录进行快照；该实现方法能够为用户指定的HDFS目录连续的创建快照，以保证数据的有效封存和不同版本的恢复。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的HDFS快照的实现方法的流程图；

图2为本发明实施例所提供的HDFS快照的实现系统的结构框图；

图3为本发明实施例所提供的另一HDFS快照的实现系统的结构框图；

图4为本发明实施例所提供的又一HDFS快照的实现系统的结构框图。

具体实施方式

本发明的核心是提供一种HDFS快照的实现方法及实现系统，能够为用户指定的HDFS目录连续的创建快照，以保证数据的有效封存和不同版本的恢复。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的HDFS快照的实现方法的流程图；该实现方法可以包括：

s100、在定时启动脚本中添加创建快照程序，并设定定时启动所述创建快照程序的时间周期；

其中，定时启动脚本会将其内的程序定期启动执行，因此，这里要实现连续快照的功能，可以将创建快照程序添加到定时启动脚本中，使其定时启动执行，进行快照的创建。这里定时启动的时间周期可以根据用户需要进行设定。例如需要快照周期短则可以将时间周期设置小点如1秒。

s110、根据用户操作创建进行快照的HDFS目录；

其中，这里的HDFS目录也是根据用户的需要进行设置，用户将自己需要进行快照的目录进行添加指定。

上述两个步骤也可以得到，这里的HDFS目录的个数可以根据用户需要进行确定，每个HDFS目录中的目录个数也可以根据用户需要进行设定。例如用户需要两种时间周期，则可以每种时间周期下设定一个HDFS目录。

s120、调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照。

其中，经过步骤100和步骤110后，就设定好了创建快照的时间周期和HDFS目录，就可以按照设定的时间周期对HDFS目录中的目录创建连续的快照。就类似于设定好提示内容和提示时间周期，则每个周期都自行将提示内容进行提示。

基于上述技术方案，本发明实施例提供的HDFS快照的实现方法，该方法通过将创建快照程序保存在定时启动脚本中，通过启动定时启动脚本，定时执行创建快照的程序，实现对用户创建的HDFS目录进行快照；该实现方法能够为用户指定的HDFS目录连续的创建快照，以保证数据的有效封存和不同版本的恢复。

基于上述技术方案，所述在定时启动脚本中添加创建快照程序，并设定启动所述创建快照程序的时间周期可以包括：

在shell指令中设置执行允许目录创建快照程序以及执行创建快照程序，其中，创建的快照以当前系统时间命名；

在crontab配置文件中添加定时调用所述shell指令任务，设置定时调用所述shell指令的时间周期，刷新crontab的配置。

其中，每次执行创建快照的命令前，需要执行HDFS允许创建快照的命令“allowSnapshot”。允许创建快照的文件目录用户无法进行删除，所以快照内容用户不能删除。HDFS允许创建快照的命令和创建快照的命令都写在一个固定的shell命令中，在crontab中调用。

即用户在crontab配置文件中添加定时任务，设置定时任务的间隔，刷新crontab的配置；

crontab定时启动任务，首先执行“allowSnapshot”命令允许目录创建快照，然后执行“createSnapshot”命令创建快照，快照以当前系统时间命令。

基于上述技术方案，所述调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照可以包括：

按照所述时间周期，循环执行所述crontab配置文件调用的所述允许目录创建快照程序以及执行所述创建快照程序，对所述HDFS目录创建快照，并将创建的快照存储在用户指定的HDFS目录下的特定隐藏文件夹中。

其中，利用linux下的crontab命令建定时启动任务，时间由用户自己设置，定期的在用户指定的HDFS目录上创建连续快照。创建的快照以当前时间命名，存在用户指定的HDFS目录下的特定隐藏文件夹中例如.snapshot隐藏文件夹。

基于上述技术方案，该方法还可以包括：

监测所述特定隐藏文件夹，比较所述特定隐藏文件夹每个所述时间周期内增加的快照数量是否与所述HDFS目录数量相同；

若不相同时，发出提示信号。

其中，在每个时间周期内通过将隐藏文件夹中的文件数与HDFS目录数量进行比较，若相同，则说明HDFS目录下每个目录都创建了快照，若不相同，则证明存在漏创建快照的目录。这时会发出提示信号，提示用于创建快照有误，且可以将未创建快照的目录找到并提示给用户。

通过这样的技术方法，可以防止出现漏创建的情况，提高了快照创建的稳定性和可靠性。

基于上述任意技术方案，该方法还可以包括：

根据用户操作对创建的所述HDFS目录进行修改，其中，所述修改包括删除，添加，重建。

其中，用户可以随时对创建的HDFS目录进行修改，例如对HDFS目录进行添加目录，删除目录，重建HDFS目录等操作。方便用户随时根据自身情况对HDFS目录进行修改，使得满足用户的需求。

基于上述技术方案，本发明实施例提供的HDFS快照的实现方法，该方法通过将创建快照程序保存在定时启动脚本中，通过启动定时启动脚本，定时执行创建快照的程序，实现对用户创建的HDFS目录进行快照；以保证数据的有效封存和不同版本的恢复。即按照所述时间周期，循环执行所述crontab配置文件调用的所述允许目录创建快照程序以及执行所述创建快照程序，对所述HDFS目录创建快照，并将创建的快照存储在用户指定的HDFS目录下的特定隐藏文件夹中。

本发明实施例提供了HDFS快照的实现方法，通过上述方法能够为用户指定的HDFS目录连续的创建快照，以保证数据的有效封存和不同版本的恢复。

下面对本发明实施例提供的HDFS快照的实现系统进行介绍，下文描述的HDFS快照的实现系统与上文描述的HDFS快照的实现方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的HDFS快照的实现系统的结构框图；该系统可以包括：

启动任务设置模块100，用于在定时启动脚本中添加创建快照程序，并设定定时启动所述创建快照程序的时间周期；

创建目录模块200，用于根据用户操作创建进行快照的HDFS目录；

创建快照模块300，用于调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照。

可选的，所述启动任务设置模块100可以包括：

shell单元，用于在shell指令中设置执行允许目录创建快照程序以及执行创建快照程序，其中，创建的快照以当前系统时间命名；

crontab配置单元，用于在crontab配置文件中添加定时调用所述shell指令任务，设置定时调用所述shell指令的时间周期，刷新crontab的配置。

可选的，所述创建快照模块300可以包括：

创建快照单元，用于按照所述时间周期，循环执行所述crontab配置文件调用的所述允许目录创建快照程序以及执行所述创建快照程序，对所述HDFS目录创建快照；

存储单元，用于将创建的快照存储在用户指定的HDFS目录下的特定隐藏文件夹中。

基于上述技术方案，请参考图3该实现系统还可以包括：

检查模块400，用于监测所述特定隐藏文件夹，比较所述特定隐藏文件夹每个所述时间周期内增加的快照数量是否与所述HDFS目录数量相同；

若不相同时，触发提示模块500发出提示信号。

基于上述任意技术方案，请参考图4，该实现系统还可以包括：

修改模块600，用于根据用户操作对创建的所述HDFS目录进行修改，其中，所述修改包括删除，添加，重建。

基于上述技术方案，本发明实施例提供的HDFS快照的实现系统，该系统通过将创建快照程序保存在定时启动脚本中，通过启动定时启动脚本，定时执行创建快照的程序，实现对用户创建的HDFS目录进行快照；以保证数据的有效封存和不同版本的恢复。即按照所述时间周期，循环执行所述crontab配置文件调用的所述允许目录创建快照程序以及执行所述创建快照程序，对所述HDFS目录创建快照，并将创建的快照存储在用户指定的HDFS目录下的特定隐藏文件夹中。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的HDFS快照的实现方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种HDFS快照的实现方法，其特征在于，包括：

在定时启动脚本中添加创建快照程序，并设定定时启动所述创建快照程序的时间周期；

根据用户操作创建进行快照的HDFS目录；

调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照。

2.如权利要求1所述的实现方法，其特征在于，所述在定时启动脚本中添加创建快照程序，并设定启动所述创建快照程序的时间周期包括：

在shell指令中设置执行允许目录创建快照程序以及执行创建快照程序，其中，创建的快照以当前系统时间命名；

在crontab配置文件中添加定时调用所述shell指令任务，设置定时调用所述shell指令的时间周期，刷新crontab的配置。

3.如权利要求2所述的实现方法，其特征在于，所述调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照包括：

按照所述时间周期，循环执行所述crontab配置文件调用的所述允许目录创建快照程序以及执行所述创建快照程序，对所述HDFS目录创建快照，并将创建的快照存储在用户指定的HDFS目录下的特定隐藏文件夹中。

4.如权利要求3所述的实现方法，其特征在于，还包括：

监测所述特定隐藏文件夹，比较所述特定隐藏文件夹每个所述时间周期内增加的快照数量是否与所述HDFS目录数量相同；

若不相同时，发出提示信号。

5.如权利要求1至4任一项所述的实现方法，其特征在于，还包括：

根据用户操作对创建的所述HDFS目录进行修改，其中，所述修改包括删除，添加，重建。

6.一种HDFS快照的实现系统，其特征在于，包括：

启动任务设置模块，用于在定时启动脚本中添加创建快照程序，并设定定时启动所述创建快照程序的时间周期；

创建目录模块，用于根据用户操作创建进行快照的HDFS目录；

创建快照模块，用于调用所述定时启动脚本，按照所述时间周期对所述HDFS目录创建快照。

7.如权利要求6所述的实现系统，其特征在于，所述启动任务设置模块包括：

shell单元，用于在shell指令中设置执行允许目录创建快照程序以及执行创建快照程序，其中，创建的快照以当前系统时间命名；

crontab配置单元，用于在crontab配置文件中添加定时调用所述shell指令任务，设置定时调用所述shell指令的时间周期，刷新crontab的配置。

8.如权利要求7所述的实现系统，其特征在于，所述创建快照模块包括：

创建快照单元，用于按照所述时间周期，循环执行所述crontab配置文件调用的所述允许目录创建快照程序以及执行所述创建快照程序，对所述HDFS目录创建快照；

存储单元，用于将创建的快照存储在用户指定的HDFS目录下的特定隐藏文件夹中。

9.如权利要求8所述的实现系统，其特征在于，还包括：

检查模块，用于监测所述特定隐藏文件夹，比较所述特定隐藏文件夹每个所述时间周期内增加的快照数量是否与所述HDFS目录数量相同；

若不相同时，触发提示模块发出提示信号。

10.如权利要求6至9任一项所述的实现系统，其特征在于，还包括：

修改模块，用于根据用户操作对创建的所述HDFS目录进行修改，其中，所述修改包括删除，添加，重建。