CN103116533A - 一种快照实现方法 - Google Patents

一种快照实现方法 Download PDF

Info

Publication number
CN103116533A
CN103116533A CN2012101676099A CN201210167609A CN103116533A CN 103116533 A CN103116533 A CN 103116533A CN 2012101676099 A CN2012101676099 A CN 2012101676099A CN 201210167609 A CN201210167609 A CN 201210167609A CN 103116533 A CN103116533 A CN 103116533A
Authority
CN
China
Prior art keywords
snapshot
data
bitmap
file system
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101676099A
Other languages
English (en)
Inventor
孙文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhiwang Science & Technology Co Ltd
Original Assignee
Beijing Zhiwang Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhiwang Science & Technology Co Ltd filed Critical Beijing Zhiwang Science & Technology Co Ltd
Priority to CN2012101676099A priority Critical patent/CN103116533A/zh
Publication of CN103116533A publication Critical patent/CN103116533A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明针对文件系统，提供了新型的存储快照方法，并进行了完整实现。本发明总结如下：1、本发明同时具有元数据位图和顺序日志记录，索引简单，有利于读写效率提升。2、本发明可以实现定时和连续的快照，方便文件系统对上层应用的功能支持。3、本发明将源数据依序写入顺序日志记录，采用位图与元数据相关进行校验比对，读取查询时间短，改善了写入速度。4、本发明历史状态点作为快照的日志索引，可以查询检索。

Description

一种快照实现方法
本发明涉及存储、文件系统、快照、即写即拷等技术，属于存储快照技术领域的创新。本发明完整地实现了针对文件系统的快照技术。 
一、背景技术
SNIA(存储网络行业协会)对快照(Snapshot)的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。而从具体的技术细节来讲，快照是指向保存在存储设备中的数据的引用标记或指针。我们可以这样理解，快照有点像是详细的目录表，但它被计算机作为完整的数据备份来对待。快照的作用主要是能够进行在线数据恢复，当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复，将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道，当原数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。 
二、发明内容
本发明针对文件系统，提供了新型的存储快照方法，并进行了完整实现。 
本发明采用即写即拷快照技术实现块数据复制和快照管理，即写即拷快照是表现数据外观特征的“照片”。这种方式通常也被称为“元数据”拷贝，即所有的数据并没有被真正拷贝到另一个位置，只是指示数据实际所处位置的指针被拷贝。在使用这项技术的情况下，当已经有了快照时，如果试图改写原始的文件系统卷上的数据，将首先将原始的数据块拷贝到一个新位置(专用于复制操作的存储资源池)，然后再进行写操作。以后当引用原始数据时，快照软件将指针映射到新位置，或者当引用快照时将指针映射到老位置。 
在采用写时拷贝算法的同时，将文件系统改为日志结构，新数据被写到日志的头部，而旧数据仍然保留(直到需要对旧数据进行垃圾收集)。由于旧数据仍被保留，因此可以在时间线上回滚，以检查文件系统的不同历史状态点。这些历史状态点作为文件系统的一部分，并以日志形式存储。每当文件系统数据发生改变时，文件系统都会创建这些历史状态点，并可以由这些历史状态点索引形成快照。 
这些历史状态点可以定时或连续的生成，如果连续生成，则元数据块固定大小，并按日志索引自动排列和记录；如果定时生成，则元数据块可以调整大小，按照快照间隔更新索引和日志数据。 
在实现中采用位图来表示快照之间的差异量数据。快照之间采用位图与日志的双索引结构，位图采用日志顺序记录，实现方法是创建一个快照点，那么源数据会将记录的位图信息交给快照点，然后将源数据的位图清空。这样在写源数据的时候，系统会检查写操作所在的位图是否在历史的某个时刻被写过，如果已经被写过，那么将源数据进行日志记录，并且将新的数据写入，然后再修改源数据的位图。这个过程就是快照的写时拷贝过程。 
参考图1所示。 
对于连续生成历史状态点，实现方法是历史状态点代替快照点，源数据会同时记录位图信息并写日志记录，然后将源数据的位图清空。这样在写源数据的时候，系统将不检查写操作所在的位图是否在历史的某个时刻被写过，所有源数据都进行日志记录，并且将新的数据写入，然后再修改源数据的位图。 
参考图2所示。 
总结，本发明具有如下技术特点： 
1、本发明方法同时具有元数据位图和顺序日志记录，索引简单，有利于读写效率提升。 
2、本发明方法可以实现定时和连续的快照，方便文件系统对上层应用的功能支持。 
3、本发明方法把所有数据与元数据依序写入一个顺序日志记录，连续或者非连续，因为是顺序写入的，所以读取查询时间短，改善了写入速度。 
4、应用本发明方法的文件系统崩溃恢复也比一般树状文件系统快照要快，且恢复的速度与文件系统大小无关。 
三、应用方式 
将本发明快找方法应用于文件系统，它能对整个文件系统做连续性的快照和进行版本管理。可以用来恢复删掉的文件，可以挽救不小心修改的档案，效率高于传统快照技术。 
本发明快照方法可以在发生硬盘写错误、文件损坏或程序故障时迅速地恢复数据。 
四、附图说明
图1定时快照实现原理 
图2连续快照实现原理 

Claims (4)

  1. 本发明权利要求内容如下：
    1.同时具有元数据位图和顺序日志记录，日志进行索引。
  2. 2.由文件系统定义同时实现定时和连续的快照。
  3. 3.源数据依序写入顺序日志记录，采用位图与元数据相关进行校验比对。
  4. 4.历史状态点作为快照的日志索引，可以查询检索。
CN2012101676099A 2012-05-28 2012-05-28 一种快照实现方法 Pending CN103116533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012101676099A CN103116533A (zh) 2012-05-28 2012-05-28 一种快照实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012101676099A CN103116533A (zh) 2012-05-28 2012-05-28 一种快照实现方法

Publications (1)

Publication Number Publication Date
CN103116533A true CN103116533A (zh) 2013-05-22

Family

ID=48414914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101676099A Pending CN103116533A (zh) 2012-05-28 2012-05-28 一种快照实现方法

Country Status (1)

Country Link
CN (1) CN103116533A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018077092A1 (zh) * 2016-10-31 2018-05-03 中兴通讯股份有限公司 应用于分布式文件系统的存盘方法、装置及分布式文件系统
CN112214471A (zh) * 2019-07-09 2021-01-12 浙江宇视科技有限公司 数据库管理方法、装置、计算机可读存储介质和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1553339A (zh) * 2003-06-05 2004-12-08 联想(北京)有限公司 细粒度快照实现方法
CN101183383A (zh) * 2007-12-17 2008-05-21 中国科学院计算技术研究所 一种快照系统及其使用方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1553339A (zh) * 2003-06-05 2004-12-08 联想(北京)有限公司 细粒度快照实现方法
CN101183383A (zh) * 2007-12-17 2008-05-21 中国科学院计算技术研究所 一种快照系统及其使用方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018077092A1 (zh) * 2016-10-31 2018-05-03 中兴通讯股份有限公司 应用于分布式文件系统的存盘方法、装置及分布式文件系统
CN108021562A (zh) * 2016-10-31 2018-05-11 中兴通讯股份有限公司 应用于分布式文件系统的存盘方法、装置及分布式文件系统
CN108021562B (zh) * 2016-10-31 2022-11-18 中兴通讯股份有限公司 应用于分布式文件系统的存盘方法、装置及分布式文件系统
CN112214471A (zh) * 2019-07-09 2021-01-12 浙江宇视科技有限公司 数据库管理方法、装置、计算机可读存储介质和电子设备
CN112214471B (zh) * 2019-07-09 2024-04-05 浙江宇视科技有限公司 数据库管理方法、装置、计算机可读存储介质和电子设备

Similar Documents

Publication Publication Date Title
US8352422B2 (en) Data restore systems and methods in a replication environment
US9002785B2 (en) Stubbing systems and methods in a data replication environment
US8725698B2 (en) Stub file prioritization in a data replication system
CN102012852B (zh) 一种增量写快照的实现方法
CN106662981B (zh) 存储设备、程序和信息处理方法
CN104850598B (zh) 一种实时数据库备份恢复方法
Shoshani et al. Scientific data management: challenges, technology, and deployment
CN106663047A (zh) 用于优化的签名比较和数据复制的系统和方法
JP6178859B2 (ja) 光ディスクに基づくデータベース記憶システム及びその利用方法
CN101777017B (zh) 一种连续数据保护系统的快速恢复方法
US20060277226A1 (en) System and method for controlling storage of electronic files
KR20110032343A (ko) 비휘발성 메모리를 이용한 로깅 최적화 장치 및 방법
CN101784996A (zh) 仿效存储系统
CN105493043A (zh) 用于虚拟机转换的系统和方法
US8825653B1 (en) Characterizing and modeling virtual synthetic backup workloads
CN103955530A (zh) 一种在线重复数据删除系统的数据重建优化方法
US10114576B2 (en) Storage device metadata synchronization
WO2017101505A1 (zh) 一种基于PostgreSQL块存储设备的迁移方法
CN101939737A (zh) 可扩展的重复数据删除机构
CN109598156A (zh) 一种写时重定向引擎快照流方法
CN104360914A (zh) 增量快照方法和装置
WO2017101478A1 (zh) 一种PostgreSQL块存储设备读写模块
CN105302665A (zh) 一种改进的写时拷贝快照方法及系统
WO2021068517A1 (zh) 一种存储数据整理方法与装置
WO2013107295A1 (zh) 硬盘数据恢复方法、服务器及分布式存储系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130522