CN107609176B - 一种本地存储快照分布式存储的方法及系统 - Google Patents
一种本地存储快照分布式存储的方法及系统 Download PDFInfo
- Publication number
- CN107609176B CN107609176B CN201710907678.1A CN201710907678A CN107609176B CN 107609176 B CN107609176 B CN 107609176B CN 201710907678 A CN201710907678 A CN 201710907678A CN 107609176 B CN107609176 B CN 107609176B
- Authority
- CN
- China
- Prior art keywords
- snapshot
- storage
- layer
- distributed
- distributed storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 218
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000009825 accumulation Methods 0.000 claims abstract description 7
- 238000012432 intermediate storage Methods 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 7
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims 2
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical class [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 claims 1
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种本地存储快照分布式存储的方法及系统,该方法包括写入快照环节和快照恢复存储环节;该系统分为三个层次,上层为存储层,中间为快照层,最下面为本地物理存储层;所述的快照层包括快照管理模块,快照暂存模块,快照分布式存储管理模块,分布式存储插件管理模块。本发明的一种本地存储快照分布式存储的方法及系统和现有技术相比,解决了本地存储的快照存储空间不足、可靠性不够的问题,理论上提供了本地存储快照空间无限扩展的能力。
Description
技术领域
本发明涉及计算机存储技术领域,具体地说是一种本地存储快照分布式存储的方法及系统。
背景技术
在本地存储领域,快照技术可以快速恢复物理卷或者逻辑卷的数据,是一种非常重要的基础技术功能,由于本地存储的容量是一定的,所以本地存储的快照的大小也必然受限于本地存储的容量,而由于快照是记录本地存储的变化量,当要长期记录本地存储的变化时,就会出现记录的变化量超过了本地存储的上限,快照相关文件无法保存而导致快照失败的问题。
发明内容
本发明的技术任务是提供一种本地存储快照分布式存储的方法及系统。
本发明的技术任务是按以下方式实现的:
一种本地存储快照分布式存储的方法,包括,
写入快照环节和快照恢复存储环节;
所述的写入快照环节:通过快照暂存模块暂时存储快照层的时间,变化量和上一个快照层在分布式存储中的索引值,当快照暂存模块触发设定条件时,触发快照分布式存储模块通过分布式存储插件向分布式文件系统存储文件,并接受所述的分布式文件系统中返回的所述的快照层文件在分布式存储中的索引值;
所述的快照恢复存储环节:通过调用快照管理模块输入快照时间,快照管理模块调用快照分布式存储管理模块,调用快照暂存模块来获取最新的快照在分布式的存储中的索引,通过分布式存储插件来获取快照层,解析快照层中的时间、上一个快照层在分布式存储中索引值,比对快照层的时间,如果不是要查的快照的时间段,先根据当前的存储和当前的快照层,还原中间存储的状态,通过获取到的上一个快照在分布式存储中的索引值继续索引,在不断向上链接获取快照层的过程中,同时不断恢复中间存储过程,直到索引到要查的快照时间段,停止向上继续链接获取快照层,同时恢复当前的存储状态,此存储状态即为当前要获取的存储状态。
所述的设定条件为:快照暂存模块存储的快照层大小满足事先约定的快照层大小或者记录快照层的时间长度大于事先约定的快照层记录时长。
所述的写入快照环节的步骤如下:
1)本地存储层向快照管理模块发送写快照的请求;
2)快照管理模块向快照暂存模块发送写快照的请求;
3)快照暂存模块不断的写入存储变化到快照层文件中,同时记录该快照层的创建和更新时间,以及上一个快照层在分布式存储中的索引值;
4)快照暂存模块在侦测到快照文件触发所述的设定条件时,即触发打包当前快照层所有文件,并调用快照分布式存储模块进行存储;
5)快照分布式存储管理模块向分布式存储插件发送上传快照文件层的命令,上传成功后,分布式存储插件向快照分布式存储管理模块返回所述的快照文件层在分布式存储中的索引;
6)分布式存储模块把索引值返回给快照暂存模块,快照暂存模块继续下一个快照层的构建。
所述的步骤3)中,如果是第一个快照,则记录一个特定的索引值,代表这是第一个快照层文件。
所述的快照恢复存储环节步骤如下:
1)本地存储向快照管理模块发送恢复存储的请求;
2)快照管理模块向快照分布式存储管理模块发送恢复存储请求;
3)快照分布式存储管理模块向快照暂存模块发送请求获取当前快照层的信息;
4)快照暂存模块在侦测到快照文件大于一定大小或者快照持续的时间超过一定大小时,即触发打包当前快照层所有文件,同时调用快照分布式存储管理模块进行存储;
5)如果时间段不符合,则通过快照层记录的前一层在分布式存储中索引值,快照分布式管理模块通过分布式存储插件向分布式存储中获取前一层快照层,重复步骤4),直到所找到的快照层的时间段符合恢复存储的时间段,则此时恢复的存储状态即为当前要获取的存储状态。
一种本地存储快照分布式存储的系统,该系统分为三个层次,上层为存储层,中间为快照层,最下面为本地物理存储层;
所述的快照层包括快照管理模块,快照暂存模块,快照分布式存储管理模块,分布式存储插件管理模块。
所述的快照管理模块负责对存储层提供快照创建,删除,写入,恢复的功能,对本地物理存储层调用快照暂存模块写存储变化到快照中,调用快照分布式存储管理模块执行快照的恢复。
所述的快照暂存模块负责暂时存储不断写入的快照,和快照创建、更新的时间,上一个快照在分布式存储中的索引值,并在快照时间段结束或者快照大小超过一定值时触发,打包当前快照层所有文件,并调用快照分布式存储管理模块执行所述的快照层的存入分布式存储系统的操作。
所述的快照分布式存储管理模块负责调用分布式存储插件进行文件层的存取,并负责快照恢复存储,不断迭代从分布式文件存储系统中拉取快照层,并不断恢复中间存储状态,最终恢复存储。
所述的分布式存储插件模块用于对接不同的分布式存储,负责把快照分布式存储管理模块对分布式文件系统进行快照层存取语义、对不同的分布式文件系统进行特定的翻译。
本发明的一种本地存储快照分布式存储的方法及系统和现有技术相比,解决了本地存储的快照存储空间不足、可靠性不够的问题,理论上提供了本地存储快照空间无限扩展的能力。
附图说明
附图1为一种本地存储快照分布式存储的方法的流程示意图。
具体实施方式
实施例1:
创建本地存储快照分布式存储的系统,该系统分为三个层次,上层为存储层,中间为快照层,最下面为本地物理存储层;
所述的快照层包括快照管理模块,快照暂存模块,快照分布式存储管理模块,分布式存储插件管理模块。
所述的快照管理模块负责对存储层提供快照创建,删除,写入,恢复的功能,对本地物理存储层调用快照暂存模块写存储变化到快照中,调用快照分布式存储管理模块执行快照的恢复。
所述的快照暂存模块负责暂时存储不断写入的快照,和快照创建、更新的时间,上一个快照在分布式存储中的索引值,并在快照时间段结束或者快照大小超过一定值时触发,打包当前快照层所有文件,并调用快照分布式存储管理模块执行所述的快照层的存入分布式存储系统的操作。
所述的快照分布式存储管理模块负责调用分布式存储插件进行文件层的存取,并负责快照恢复存储,不断迭代从分布式文件存储系统中拉取快照层,并不断恢复中间存储状态,最终恢复存储。
所述的分布式存储插件模块用于对接不同的分布式存储,负责把快照分布式存储管理模块对分布式文件系统进行快照层存取语义、对不同的分布式文件系统进行特定的翻译。
本地存储快照分布式存储的方法,包括,
写入快照环节和快照恢复存储环节;
所述的写入快照环节:通过快照暂存模块暂时存储快照层的时间,变化量和上一个快照层在分布式存储中的索引值,当快照暂存模块触发存储的快照层大小满足事先约定的快照层大小或者记录快照层的时间长度大于事先约定的快照层记录时长时,触发快照分布式存储模块通过分布式存储插件向分布式文件系统存储文件,并接受所述的分布式文件系统中返回的所述的快照层文件在分布式存储中的索引值;
所述的写入快照环节的步骤如下:
1)本地存储层向快照管理模块发送写快照的请求;
2)快照管理模块向快照暂存模块发送写快照的请求;
3)快照暂存模块不断的写入存储变化到快照层文件中,同时记录该快照层的创建和更新时间,以及上一个快照层在分布式存储中的索引值;如果是第一个快照,则记录一个特定的索引值,代表这是第一个快照层文件;
4)快照暂存模块在侦测到快照文件触发所述的设定条件时,即触发打包当前快照层所有文件,并调用快照分布式存储模块进行存储;
5)快照分布式存储管理模块向分布式存储插件发送上传快照文件层的命令,上传成功后,分布式存储插件向快照分布式存储管理模块返回所述的快照文件层在分布式存储中的索引;
6)分布式存储模块把索引值返回给快照暂存模块,快照暂存模块继续下一个快照层的构建。
所述的快照恢复存储环节:通过调用快照管理模块输入快照时间,快照管理模块调用快照分布式存储管理模块,调用快照暂存模块来获取最新的快照在分布式的存储中的索引,通过分布式存储插件来获取快照层,解析快照层中的时间、上一个快照层在分布式存储中索引值,比对快照层的时间,如果不是要查的快照的时间段,先根据当前的存储和当前的快照层,还原中间存储的状态,通过获取到的上一个快照在分布式存储中的索引值继续索引,在不断向上链接获取快照层的过程中,同时不断恢复中间存储过程,直到索引到要查的快照时间段,停止向上继续链接获取快照层,同时恢复当前的存储状态,此存储状态即为当前要获取的存储状态。
所述的快照恢复存储环节步骤如下:
1)本地存储向快照管理模块发送恢复存储的请求;
2)快照管理模块向快照分布式存储管理模块发送恢复存储请求;
3)快照分布式存储管理模块向快照暂存模块发送请求获取当前快照层的信息;
4)快照暂存模块在侦测到快照文件大于一定大小或者快照持续的时间超过一定大小时,即触发打包当前快照层所有文件,同时调用快照分布式存储管理模块进行存储;
5)如果时间段不符合,则通过快照层记录的前一层在分布式存储中索引值,快照分布式管理模块通过分布式存储插件向分布式存储中获取前一层快照层,重复步骤4),直到所找到的快照层的时间段符合恢复存储的时间段,则此时恢复的存储状态即为当前要获取的存储状态。
通过上面具体实施方式,所述技术领域的技术人员可容易的实现本发明。但是应当理解,本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上,所述技术领域的技术人员可任意组合不同的技术特征,从而实现不同的技术方案。
Claims (4)
1.一种本地存储快照分布式存储的方法,其特征在于,包括,
写入快照环节和快照恢复存储环节;
所述的写入快照环节:通过快照暂存模块暂时存储快照层的时间,变化量和上一个快照层在分布式存储中的索引值,当快照暂存模块触发设定条件时,触发快照分布式存储模块通过分布式存储插件向分布式文件系统存储文件,并接受所述的分布式文件系统中返回的所述的快照层文件在分布式存储中的索引值;
所述的写入快照环节的步骤如下:
1)本地存储层向快照管理模块发送写快照的请求;
2)快照管理模块向快照暂存模块发送写快照的请求;
3)快照暂存模块不断的写入存储变化到快照层文件中,同时记录该快照层的创建和更新时间,以及上一个快照层在分布式存储中的索引值;
4)快照暂存模块在侦测到快照文件触发所述的设定条件时,即触发打包当前快照层所有文件,并调用快照分布式存储模块进行存储;
5)快照分布式存储管理模块向分布式存储插件发送上传快照文件层的命令,上传成功后,分布式存储插件向快照分布式存储管理模块返回所述的快照文件层在分布式存储中的索引;
6)分布式存储模块把索引值返回给快照暂存模块,快照暂存模块继续下一个快照层的构建;
所述的快照恢复存储环节:通过调用快照管理模块输入快照时间,快照管理模块调用快照分布式存储管理模块,调用快照暂存模块来获取最新的快照在分布式的存储中的索引,通过分布式存储插件来获取快照层,解析快照层中的时间、上一个快照层在分布式存储中索引值,比对快照层的时间,如果不是要查的快照的时间段,先根据当前的存储和当前的快照层,还原中间存储的状态,通过获取到的上一个快照在分布式存储中的索引值继续索引,在不断向上链接获取快照层的过程中,同时不断恢复中间存储过程,直到索引到要查的快照时间段,停止向上继续链接获取快照层,同时恢复当前的存储状态,此存储状态即为当前要获取的存储状态;
所述的快照恢复存储环节步骤如下:
(1)本地存储向快照管理模块发送恢复存储的请求;
(2)快照管理模块向快照分布式存储管理模块发送恢复存储请求;
(3)快照分布式存储管理模块向快照暂存模块发送请求获取当前快照层的信息;
(4)快照暂存模块在侦测到快照文件大于一定大小或者快照持续的时间超过一定大小时,即触发打包当前快照层所有文件,同时调用快照分布式存储管理模块进行存储;
(5)如果时间段不符合,则通过快照层记录的前一层在分布式存储中索引值,快照分布式管理模块通过分布式存储插件向分布式存储中获取前一层快照层,重复步骤4),直到所找到的快照层的时间段符合恢复存储的时间段,则此时恢复的存储状态即为当前要获取的存储状态。
2.根据权利要求1所述的方法,其特征在于,所述的设定条件为:快照暂存模块存储的快照层大小满足事先约定的快照层大小或者记录快照层的时间长度大于事先约定的快照层记录时长。
3.根据权利要求1所述的方法,其特征在于,所述的步骤3)中,如果是第一个快照,则记录一个特定的索引值,代表这是第一个快照层文件。
4.一种本地存储快照分布式存储的系统,其特征在于,该系统分为三个层次,上层为存储层,中间为快照层,最下面为本地物理存储层;
所述的快照层包括快照管理模块,快照暂存模块,快照分布式存储管理模块,分布式存储插件管理模块;
所述的快照管理模块负责对存储层提供快照创建,删除,写入,恢复的功能,对本地物理存储层调用快照暂存模块写存储变化到快照中,调用快照分布式存储管理模块执行快照的恢复;
所述的快照暂存模块负责暂时存储不断写入的快照,和快照创建、更新的时间,上一个快照在分布式存储中的索引值,并在快照时间段结束或者快照大小超过一定值时触发,打包当前快照层所有文件,并调用快照分布式存储管理模块执行所述的快照层的存入分布式存储系统的操作;
所述的快照分布式存储管理模块负责调用分布式存储插件进行文件层的存取,并负责快照恢复存储,不断迭代从分布式文件存储系统中拉取快照层,并不断恢复中间存储状态,最终恢复存储;
所述的分布式存储插件模块用于对接不同的分布式存储,负责把快照分布式存储管理模块对分布式文件系统进行快照层存取语义、对不同的分布式文件系统进行特定的翻译。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710907678.1A CN107609176B (zh) | 2017-09-29 | 2017-09-29 | 一种本地存储快照分布式存储的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710907678.1A CN107609176B (zh) | 2017-09-29 | 2017-09-29 | 一种本地存储快照分布式存储的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107609176A CN107609176A (zh) | 2018-01-19 |
CN107609176B true CN107609176B (zh) | 2019-09-13 |
Family
ID=61067307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710907678.1A Active CN107609176B (zh) | 2017-09-29 | 2017-09-29 | 一种本地存储快照分布式存储的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107609176B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722536A (zh) * | 2012-05-22 | 2012-10-10 | 中兴通讯股份有限公司 | 基于分布式文件系统的快照实现方法及装置 |
CN104714755A (zh) * | 2013-12-13 | 2015-06-17 | 华为技术有限公司 | 一种快照管理方法及装置 |
CN105302922A (zh) * | 2015-11-24 | 2016-02-03 | 无锡江南计算技术研究所 | 一种分布式文件系统快照实现方法 |
CN106156047A (zh) * | 2015-03-27 | 2016-11-23 | 中国移动通信集团福建有限公司 | 一种快照信息处理方法及装置 |
CN106909475A (zh) * | 2015-12-23 | 2017-06-30 | 中国移动通信集团重庆有限公司 | 基于对象存储进行数据备份、恢复的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8935205B2 (en) * | 2011-11-16 | 2015-01-13 | Sap Ag | System and method of performing snapshot isolation in distributed databases |
-
2017
- 2017-09-29 CN CN201710907678.1A patent/CN107609176B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722536A (zh) * | 2012-05-22 | 2012-10-10 | 中兴通讯股份有限公司 | 基于分布式文件系统的快照实现方法及装置 |
CN104714755A (zh) * | 2013-12-13 | 2015-06-17 | 华为技术有限公司 | 一种快照管理方法及装置 |
CN106156047A (zh) * | 2015-03-27 | 2016-11-23 | 中国移动通信集团福建有限公司 | 一种快照信息处理方法及装置 |
CN105302922A (zh) * | 2015-11-24 | 2016-02-03 | 无锡江南计算技术研究所 | 一种分布式文件系统快照实现方法 |
CN106909475A (zh) * | 2015-12-23 | 2017-06-30 | 中国移动通信集团重庆有限公司 | 基于对象存储进行数据备份、恢复的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107609176A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103761190B (zh) | 数据处理方法及装置 | |
CN107203345B (zh) | 一种多副本存储快速校验一致性方法及其装置 | |
CN107844268A (zh) | 一种数据分发方法、数据存储方法、相关装置以及系统 | |
CN113495889B (zh) | 一种分布式对象存储方法、装置、电子设备及存储介质 | |
CN103092687B (zh) | 一种应用程序管理装置和方法 | |
CN104571955A (zh) | 提高存储容量的方法和装置 | |
CN106294007B (zh) | 一种数据恢复方法及装置 | |
CN106227621A (zh) | 基于逻辑卷管理精简卷的数据备份方法及系统 | |
CN109558457A (zh) | 一种数据写入方法、装置、设备及存储介质 | |
CN109684271A (zh) | 快照数据管理方法、装置、电子设备及机器可读存储介质 | |
CN114003439B (zh) | 数据备份方法、装置、设备及存储介质 | |
CN110456984A (zh) | 一种对Ceph存储的块设备进行连续数据保护的方法 | |
WO2024077860A1 (zh) | 元数据的管理方法、装置和计算机设备和存储介质 | |
CN101689151B (zh) | 半导体存储器信息储存装置及其写入控制方法 | |
CN116088770B (zh) | 数据管理方法及装置、系统、电子设备、存储介质 | |
CN103019623A (zh) | 存储盘处理方法及装置 | |
CN110515550A (zh) | 一种sata固态硬盘冷热数据分离的方法及其装置 | |
CN101937378B (zh) | 一种对存储设备的数据进行备份保护的方法及计算机系统 | |
CN103092849A (zh) | 文件系统簇管理方法 | |
CN103744751B (zh) | 存储设备配置信息连续优化备份系统及其使用方法 | |
CN105138426A (zh) | 一种基于快照的业务级数据一致性保护方法及装置 | |
CN109753224B (zh) | 存储结构及存储结构配置方法 | |
CN107609176B (zh) | 一种本地存储快照分布式存储的方法及系统 | |
CN107315661A (zh) | 一种集群文件系统已删除文件恢复方法及装置 | |
CN108132759A (zh) | 一种文件系统中管理数据的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |