CN107609176A - 一种本地存储快照分布式存储的方法及系统 - Google Patents

Abstract

本发明公开了一种本地存储快照分布式存储的方法及系统，该方法包括写入快照环节和快照恢复存储环节；该系统分为三个层次，上层为存储层，中间为快照层，最下面为本地物理存储层；所述的快照层包括快照管理模块，快照暂存模块，快照分布式存储管理模块，分布式存储插件管理模块。本发明的一种本地存储快照分布式存储的方法及系统和现有技术相比，解决了本地存储的快照存储空间不足、可靠性不够的问题，理论上提供了本地存储快照空间无限扩展的能力。

Description

一种本地存储快照分布式存储的方法及系统

技术领域

本发明涉及计算机存储技术领域，具体地说是一种本地存储快照分布式存储的方法及系统。

背景技术

在本地存储领域，快照技术可以快速恢复物理卷或者逻辑卷的数据，是一种非常重要的基础技术功能，由于本地存储的容量是一定的，所以本地存储的快照的大小也必然受限于本地存储的容量，而由于快照是记录本地存储的变化量，当要长期记录本地存储的变化时，就会出现记录的变化量超过了本地存储的上限，快照相关文件无法保存而导致快照失败的问题。

发明内容

本发明的技术任务是提供一种本地存储快照分布式存储的方法及系统。

本发明的技术任务是按以下方式实现的：

一种本地存储快照分布式存储的方法，包括，

写入快照环节和快照恢复存储环节；

所述的写入快照环节：通过快照暂存模块暂时存储快照层的时间，变化量和上一个快照层在分布式存储中的索引值，当快照暂存模块触发设定条件时，触发快照分布式存储模块通过分布式存储插件向分布式文件系统存储文件，并接受所述的分布式文件系统中返回的所述的快照层文件在分布式存储中的索引值；

所述的快照恢复存储环节：通过调用快照管理模块输入快照时间，快照管理模块调用快照分布式存储管理模块，调用快照暂存模块来获取最新的快照在分布式的存储中的索引，通过分布式存储插件来获取快照层，解析快照层中的时间、上一个快照层在分布式存储中索引值，比对快照层的时间，如果不是要查的快照的时间段，先根据当前的存储和当前的快照层，还原中间存储的状态，通过获取到的上一个快照在分布式存储中的索引值继续索引，在不断向上链接获取快照层的过程中，同时不断恢复中间存储过程，直到索引到要查的快照时间段，停止向上继续链接获取快照层，同时恢复当前的存储状态，此存储状态即为当前要获取的存储状态。

所述的设定条件为：快照暂存模块存储的快照层大小满足事先约定的快照层大小或者记录快照层的时间长度大于事先约定的快照层记录时长。

所述的写入快照环节的步骤如下：

1）本地存储层向快照管理模块发送写快照的请求；

2）快照管理模块向快照暂存模块发送写快照的请求；

3）快照暂存模块不断的写入存储变化到快照层文件中，同时记录该快照层的创建和更新时间，以及上一个快照层在分布式存储中的索引值；

4）快照暂存模块在侦测到快照文件触发所述的设定条件时，即触发打包当前快照层所有文件，并调用快照分布式存储模块进行存储；

5）快照分布式存储管理模块向分布式存储插件发送上传快照文件层的命令，上传成功后，分布式存储插件向快照分布式存储管理模块返回所述的快照文件层在分布式存储中的索引；

6）分布式存储模块把索引值返回给快照暂存模块，快照暂存模块继续下一个快照层的构建。

所述的步骤3）中，如果是第一个快照，则记录一个特定的索引值，代表这是第一个快照层文件。

所述的快照恢复存储环节步骤如下：

1）本地存储向快照管理模块发送恢复存储的请求；

2）快照管理模块向快照分布式存储管理模块发送恢复存储请求；

3）快照分布式存储管理模块向快照暂存模块发送请求获取当前快照层的信息；

4）快照暂存模块在侦测到快照文件大于一定大小或者快照持续的时间超过一定大小时，即触发打包当前快照层所有文件，同时调用快照分布式存储管理模块进行存储；

5）如果时间段不符合，则通过快照层记录的前一层在分布式存储中索引值，快照分布式管理模块通过分布式存储插件向分布式存储中获取前一层快照层，重复步骤4），直到所找到的快照层的时间段符合恢复存储的时间段，则此时恢复的存储状态即为当前要获取的存储状态。

一种本地存储快照分布式存储的系统，该系统分为三个层次，上层为存储层，中间为快照层，最下面为本地物理存储层；

所述的快照层包括快照管理模块，快照暂存模块，快照分布式存储管理模块，分布式存储插件管理模块。

所述的快照管理模块负责对存储层提供快照创建，删除，写入，恢复的功能，对本地物理存储层调用快照暂存模块写存储变化到快照中，调用快照分布式存储管理模块执行快照的恢复。

所述的快照暂存模块负责暂时存储不断写入的快照，和快照创建、更新的时间，上一个快照在分布式存储中的索引值，并在快照时间段结束或者快照大小超过一定值时触发，打包当前快照层所有文件，并调用快照分布式存储管理模块执行所述的快照层的存入分布式存储系统的操作。

所述的快照分布式存储管理模块负责调用分布式存储插件进行文件层的存取，并负责快照恢复存储，不断迭代从分布式文件存储系统中拉取快照层，并不断恢复中间存储状态，最终恢复存储。

所述的分布式存储插件模块用于对接不同的分布式存储，负责把快照分布式存储管理模块对分布式文件系统进行快照层存取语义、对不同的分布式文件系统进行特定的翻译。

本发明的一种本地存储快照分布式存储的方法及系统和现有技术相比，解决了本地存储的快照存储空间不足、可靠性不够的问题，理论上提供了本地存储快照空间无限扩展的能力。

附图说明

附图1为一种本地存储快照分布式存储的方法的流程示意图。

具体实施方式

实施例1：

创建本地存储快照分布式存储的系统，该系统分为三个层次，上层为存储层，中间为快照层，最下面为本地物理存储层；

所述的快照层包括快照管理模块，快照暂存模块，快照分布式存储管理模块，分布式存储插件管理模块。

所述的快照管理模块负责对存储层提供快照创建，删除，写入，恢复的功能，对本地物理存储层调用快照暂存模块写存储变化到快照中，调用快照分布式存储管理模块执行快照的恢复。

所述的快照暂存模块负责暂时存储不断写入的快照，和快照创建、更新的时间，上一个快照在分布式存储中的索引值，并在快照时间段结束或者快照大小超过一定值时触发，打包当前快照层所有文件，并调用快照分布式存储管理模块执行所述的快照层的存入分布式存储系统的操作。

所述的快照分布式存储管理模块负责调用分布式存储插件进行文件层的存取，并负责快照恢复存储，不断迭代从分布式文件存储系统中拉取快照层，并不断恢复中间存储状态，最终恢复存储。

所述的分布式存储插件模块用于对接不同的分布式存储，负责把快照分布式存储管理模块对分布式文件系统进行快照层存取语义、对不同的分布式文件系统进行特定的翻译。

本地存储快照分布式存储的方法，包括，

写入快照环节和快照恢复存储环节；

所述的写入快照环节：通过快照暂存模块暂时存储快照层的时间，变化量和上一个快照层在分布式存储中的索引值，当快照暂存模块触发存储的快照层大小满足事先约定的快照层大小或者记录快照层的时间长度大于事先约定的快照层记录时长时，触发快照分布式存储模块通过分布式存储插件向分布式文件系统存储文件，并接受所述的分布式文件系统中返回的所述的快照层文件在分布式存储中的索引值；

所述的写入快照环节的步骤如下：

1）本地存储层向快照管理模块发送写快照的请求；

2）快照管理模块向快照暂存模块发送写快照的请求；

3）快照暂存模块不断的写入存储变化到快照层文件中，同时记录该快照层的创建和更新时间，以及上一个快照层在分布式存储中的索引值；如果是第一个快照，则记录一个特定的索引值，代表这是第一个快照层文件；

4）快照暂存模块在侦测到快照文件触发所述的设定条件时，即触发打包当前快照层所有文件，并调用快照分布式存储模块进行存储；

5）快照分布式存储管理模块向分布式存储插件发送上传快照文件层的命令，上传成功后，分布式存储插件向快照分布式存储管理模块返回所述的快照文件层在分布式存储中的索引；

6）分布式存储模块把索引值返回给快照暂存模块，快照暂存模块继续下一个快照层的构建。

所述的快照恢复存储环节：通过调用快照管理模块输入快照时间，快照管理模块调用快照分布式存储管理模块，调用快照暂存模块来获取最新的快照在分布式的存储中的索引，通过分布式存储插件来获取快照层，解析快照层中的时间、上一个快照层在分布式存储中索引值，比对快照层的时间，如果不是要查的快照的时间段，先根据当前的存储和当前的快照层，还原中间存储的状态，通过获取到的上一个快照在分布式存储中的索引值继续索引，在不断向上链接获取快照层的过程中，同时不断恢复中间存储过程，直到索引到要查的快照时间段，停止向上继续链接获取快照层，同时恢复当前的存储状态，此存储状态即为当前要获取的存储状态。

所述的快照恢复存储环节步骤如下：

1）本地存储向快照管理模块发送恢复存储的请求；

2）快照管理模块向快照分布式存储管理模块发送恢复存储请求；

3）快照分布式存储管理模块向快照暂存模块发送请求获取当前快照层的信息；

4）快照暂存模块在侦测到快照文件大于一定大小或者快照持续的时间超过一定大小时，即触发打包当前快照层所有文件，同时调用快照分布式存储管理模块进行存储；

5）如果时间段不符合，则通过快照层记录的前一层在分布式存储中索引值，快照分布式管理模块通过分布式存储插件向分布式存储中获取前一层快照层，重复步骤4），直到所找到的快照层的时间段符合恢复存储的时间段，则此时恢复的存储状态即为当前要获取的存储状态。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (10)

1.一种本地存储快照分布式存储的方法，其特征在于，包括，

写入快照环节和快照恢复存储环节；

所述的写入快照环节：通过快照暂存模块暂时存储快照层的时间，变化量和上一个快照层在分布式存储中的索引值，当快照暂存模块触发设定条件时，触发快照分布式存储模块通过分布式存储插件向分布式文件系统存储文件，并接受所述的分布式文件系统中返回的所述的快照层文件在分布式存储中的索引值；

所述的快照恢复存储环节：通过调用快照管理模块输入快照时间，快照管理模块调用快照分布式存储管理模块，调用快照暂存模块来获取最新的快照在分布式的存储中的索引，通过分布式存储插件来获取快照层，解析快照层中的时间、上一个快照层在分布式存储中索引值，比对快照层的时间，如果不是要查的快照的时间段，先根据当前的存储和当前的快照层，还原中间存储的状态，通过获取到的上一个快照在分布式存储中的索引值继续索引，在不断向上链接获取快照层的过程中，同时不断恢复中间存储过程，直到索引到要查的快照时间段，停止向上继续链接获取快照层，同时恢复当前的存储状态，此存储状态即为当前要获取的存储状态。

2.根据权利要求1所述的方法，其特征在于，所述的设定条件为：快照暂存模块存储的快照层大小满足事先约定的快照层大小或者记录快照层的时间长度大于事先约定的快照层记录时长。

3.根据权利要求1所述的方法，其特征在于，所述的写入快照环节的步骤如下：

1）本地存储层向快照管理模块发送写快照的请求；

2）快照管理模块向快照暂存模块发送写快照的请求；

3）快照暂存模块不断的写入存储变化到快照层文件中，同时记录该快照层的创建和更新时间，以及上一个快照层在分布式存储中的索引值；

4）快照暂存模块在侦测到快照文件触发所述的设定条件时，即触发打包当前快照层所有文件，并调用快照分布式存储模块进行存储；

5）快照分布式存储管理模块向分布式存储插件发送上传快照文件层的命令，上传成功后，分布式存储插件向快照分布式存储管理模块返回所述的快照文件层在分布式存储中的索引；

6）分布式存储模块把索引值返回给快照暂存模块，快照暂存模块继续下一个快照层的构建。

4.根据权利要求3所述的方法，其特征在于，所述的步骤3）中，如果是第一个快照，则记录一个特定的索引值，代表这是第一个快照层文件。

5.根据权利要求1所述的方法，其特征在于，所述的快照恢复存储环节步骤如下：

1）本地存储向快照管理模块发送恢复存储的请求；

2）快照管理模块向快照分布式存储管理模块发送恢复存储请求；

3）快照分布式存储管理模块向快照暂存模块发送请求获取当前快照层的信息；

4）快照暂存模块在侦测到快照文件大于一定大小或者快照持续的时间超过一定大小时，即触发打包当前快照层所有文件，同时调用快照分布式存储管理模块进行存储；

5）如果时间段不符合，则通过快照层记录的前一层在分布式存储中索引值，快照分布式管理模块通过分布式存储插件向分布式存储中获取前一层快照层，重复步骤4），直到所找到的快照层的时间段符合恢复存储的时间段，则此时恢复的存储状态即为当前要获取的存储状态。

6.一种本地存储快照分布式存储的系统，其特征在于，该系统分为三个层次，上层为存储层，中间为快照层，最下面为本地物理存储层；

所述的快照层包括快照管理模块，快照暂存模块，快照分布式存储管理模块，分布式存储插件管理模块。

7.根据权利要求6所述的系统，其特征在于，所述的快照管理模块负责对存储层提供快照创建，删除，写入，恢复的功能，对本地物理存储层调用快照暂存模块写存储变化到快照中，调用快照分布式存储管理模块执行快照的恢复。

8.根据权利要求6所述的系统，其特征在于，所述的快照暂存模块负责暂时存储不断写入的快照，和快照创建、更新的时间，上一个快照在分布式存储中的索引值，并在快照时间段结束或者快照大小超过一定值时触发，打包当前快照层所有文件，并调用快照分布式存储管理模块执行所述的快照层的存入分布式存储系统的操作。

9.根据权利要求6所述的系统，其特征在于，所述的快照分布式存储管理模块负责调用分布式存储插件进行文件层的存取，并负责快照恢复存储，不断迭代从分布式文件存储系统中拉取快照层，并不断恢复中间存储状态，最终恢复存储。

10.根据权利要求6所述的系统，其特征在于，所述的分布式存储插件模块用于对接不同的分布式存储，负责把快照分布式存储管理模块对分布。