CN104978241A - 一种cow类型文件系统的数据恢复方法及装置 - Google Patents

一种cow类型文件系统的数据恢复方法及装置 Download PDF

Info

Publication number
CN104978241A
CN104978241A CN201510287488.5A CN201510287488A CN104978241A CN 104978241 A CN104978241 A CN 104978241A CN 201510287488 A CN201510287488 A CN 201510287488A CN 104978241 A CN104978241 A CN 104978241A
Authority
CN
China
Prior art keywords
data
file system
type file
entrance
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510287488.5A
Other languages
English (en)
Other versions
CN104978241B (zh
Inventor
卢波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Software Co Ltd
Original Assignee
Shanghai Eisoo Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Software Co Ltd filed Critical Shanghai Eisoo Software Co Ltd
Priority to CN201510287488.5A priority Critical patent/CN104978241B/zh
Publication of CN104978241A publication Critical patent/CN104978241A/zh
Application granted granted Critical
Publication of CN104978241B publication Critical patent/CN104978241B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及一种COW类型文件系统的数据恢复方法及装置,用于对COW类型文件系统中已损坏的源数据进行恢复,所述恢复方法包括以下步骤:1)备份源数据存储介质;2)扫描源数据存储介质,获得一修改时间最近的可行恢复点;3)根据步骤2)获得的可行恢复点进行数据恢复。与现有技术相比,本发明针对COW(Copy On Write)类型文件系统的数据恢复方法,先通过对数据先进行备份,然后对该文件系统的元数据(superblock)进行扫描和分析,把主观或者客观因素造成的数据损坏,最大限度的、完整的恢复存储介质上可用的数据,避免或者大大降低数据损坏带来的损失。

Description

一种COW类型文件系统的数据恢复方法及装置
技术领域
本发明涉及计算机存储技术领域,尤其是涉及一种COW类型文件系统的数据恢复方法及装置。
背景技术
随着信息技术的飞速发展,云计算、虚拟化、社交、移动互联网等应用的大规模实施,无论是个人还是企业,数据都在呈现爆炸式的增长。存储规模的增大以及单个磁盘容量的增加,当发生系统故障或者由于软件缺陷或者错误操作导致数据无法访问时,如何进行数据恢复已经成为一个重要问题。
传统的对于COW类型文件系统的数据恢复技术都是针对数据层面的一种修复技术,存在修复成本高、时间长等不足,且无法保证100%的修复数据。因此,有必要研发一种新的数据恢复方法,以降低数据恢复的成本,减少恢复的时间,同时也在一定程度上保证修复数据的可用性(恢复到最近可用的恢复点)。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种安全有效的COW类型文件系统的数据恢复方法及装置。
本发明的目的可以通过以下技术方案来实现:
一种COW类型文件系统的数据恢复方法,用于对COW类型文件系统中已损坏的源数据进行恢复,包括以下步骤:
1)备份源数据存储介质;
2)扫描源数据存储介质,获得一修改时间最近的可行恢复点;
3)根据步骤2)获得的可行恢复点进行数据恢复。
所述步骤1)具体为:
通过存储介质备份的方式,将已损坏的源数据存储介质以裸设备的方式挂到备份系统上。
所述步骤2)具体为:
201)按照COW类型文件系统磁盘数据布局,获取所有COW类型文件系统的元数据入口;
202)根据各元数据入口的时间点,从最新时间点对应的入口往前遍历;
203)导入当前遍历的入口所对应的COW类型文件系统;
204)检查数据是否完整且无错误,若是,则结束,记录当前遍历的入口作为可行恢复点,若否,则执行步骤205);
205)记录当前遍历的入口为不可恢复点,选取下一个入口,返回步骤203)。
所述步骤3)具体为:
301)导入步骤2)获得的可行恢复点的元数据;
302)检查导入的数据是否完整,若是,则执行步骤303),若否,则返回步骤2);
303)进行数据修复操作。
一种COW类型文件系统的数据恢复装置,用于对COW类型文件系统中已损坏的源数据进行恢复,包括:
数据备份模块,用于备份源数据存储介质;
数据分析模块,用于扫描源数据存储介质,获得一修改时间最近的可行恢复点;
数据恢复模块,用于根据所述可行恢复点进行数据恢复。
所述数据分析模块包括:
元数据入口获取单元,用于按照COW类型文件系统磁盘数据布局,获取所有COW类型文件系统的元数据入口;
元数据入口遍历单元,用于根据各元数据入口的时间点,从最新时间点对应的入口往前遍历;
数据完整性和错误检查单元,用于检查数据是否完整、是否存在错误;
入口记录单元,用于根据数据完整性和错误检查单元的检查结果将对应的入口标记为可行恢复点或不可恢复点。
所述数据恢复模块包括:
元数据导入单元,导入所述可行恢复点的元数据;
数据完整性检查单元,用于检查导入的数据是否完整;
数据修复操作单元,用于进行数据修复操作。
与现有技术相比,本发明针对COW(Copy On Write)类型文件系统的数据恢复方法,先通过对数据先进行备份,然后对该文件系统的元数据(superblock)进行扫描和分析,把主观或者客观因素造成的数据损坏,最大限度的、完整的恢复存储介质上可用的数据,避免或者大大降低数据损坏带来的损失。
通过本发明,可以达到如下的效果:
1、数据恢复是在备份数据上进行的,即便数据恢复失败,依然保留了原始数据。
2、通过扫描分析元数据(superblock),可以将已损坏的数据块恢复到最近的一个可恢复点。
3、通过获取的可恢复点,能够有效的、安全的进行数据恢复,最大限度减少用户因数据完全丢失而带来的影响。
4、本发明在无需专业设备的情况下,针对COW类型文件系统的元数据,进行快速的数据修复,不但大大降低了数据恢复的成本,减少了恢复的时间,同时也在一定程度上保证修复数据的可用性(恢复到最近可用的恢复点)。
附图说明
图1为本发明装置的结构示意图;
图2为COW类型文件系统数据组织示意图;
图3为本发明数据分析流程示意图;
图4为本发明中COW类型文件系统数据恢复原理示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本发明实施例提供一种COW类型文件系统的数据恢复装置,用于对COW类型文件系统中已损坏的源数据进行恢复,针对COW(Copy On Write)类型的文件系统,我们需要首先找到文件系统上存放了哪些数据,然后根据对应数据更新记录进行分析。利用COW类型文件系统的天然特性,即写时拷贝技术,我们可以根据分析的结果将整个数据恢复到一个比较接近的更新点,本发明能有效的、安全的进行数据恢复,最大限度减少用户因数据完全丢失而带来的影响。
如图1所示,本发明COW类型文件系统的数据恢复装置包括数据备份模块1、数据分析模块2和数据恢复模块3,其中,数据备份模块1用于备份源数据存储介质;数据分析模块2用于扫描源数据存储介质,获得一修改时间最近的可行恢复点,主要完成损坏数据的评估,包括元数据、数据的损坏程度和可行的恢复点;数据恢复模块3用于根据所述可行恢复点进行数据恢复。
上述COW类型文件系统的数据恢复装置的恢复方法包括以下步骤:
1)备份源数据存储介质。
通过存储介质备份的方式,将已损坏的源数据存储介质以裸设备的方式挂到备份系统上。通过遍历存储介质所有块,将设备上所有的扇区读取出来,并写入到备份介质上,避免数据恢复过程中由于意外而导致源数据彻底损坏,即数据恢复前先做好数据备份。以硬盘数据为例,可以通过硬盘拷贝来实现数据的备份。
2)扫描源数据存储介质,获得一修改时间最近的可行恢复点。根据COW(CopyOn Write)类型文件系统的特点,对任何数据的写操作(包括元数据)都会重新分配磁盘空间进行写入,写入前的数据随着时间的推移被完整的保留了,如图2所示,而任何文件系统对数据的访问,都是通过元数据(superblock)索引,经过一层一层的查找(比如多级目录)定位到最终的数据块,根据需要访问数据块的大小计算物理磁盘的偏移量,然后对物理磁盘发起读操作从而获取对应的数据。根据这一特点,进行数据恢复时首要解决的问题是找到可恢复的元数据入口,从而恢复其管理的数据。
步骤2)具体如图3所示:
201)按照COW类型文件系统磁盘数据布局,读取所有超级块信息,获取所有COW类型文件系统的元数据入口;
202)根据各元数据入口的时间点,从最新时间点对应的入口往前遍历;
203)导入当前遍历的入口所对应的COW类型文件系统;
204)检查数据是否完整且无错误,若是,则结束,记录当前遍历的入口作为可行恢复点,若否,则执行步骤205);
205)记录当前遍历的入口为不可恢复点,选取下一个入口,返回步骤203)。
3)根据步骤2)获得的可行恢复点,通过修改文件系统模块,将最新的可访问的superblock修改为恢复点中的superblock,实现文件系统数据的恢复。考虑到数据的一致性,上述步骤2)中的元数据入口可能有多个,这时通过遍历最近的修改记录,找到数据一致的恢复点。通常我们采用的COW类型文件系统在实现时已经考虑了数据的一致性,也就是说已损坏数据的前一个修改记录(元数据入口)通常是一个完整的数据映像,这也是本发明可以实施的一个前提,否则恢复的数据不具备一致性,即便恢复了数据也不具有任何价值。
步骤3)具体为:
301)导入步骤2)获得的可行恢复点的元数据;
302)检查导入的数据是否完整,若是,则执行步骤303),若否,则返回步骤2);
303)进行数据修复操作,通常经过数据分析模块选取的恢复点,基本能保证元数据的完整性,这里的修复主要针对少量的数据错误。
步骤3)的具体原理如图4所示:假设损坏的数据块为time n时的data2,此时文件系统数据被损坏了,用户无法读取time n时的data2,通过选择time n之前的一个修改时间点,这里设为time 2,通过让文件系统从time2时的superblock进行索引,这时我们可以恢复data2在time2时的内容,从而达到恢复一个完整的文件系统数据的目的。
互联网时代最重要的可能就是数据了,而本发明的数据恢复方法和装置在某些情况下可以挽救一个公司,将损坏的数据恢复回来。

Claims (7)

1.一种COW类型文件系统的数据恢复方法,用于对COW类型文件系统中已损坏的源数据进行恢复,其特征在于,包括以下步骤:
1)备份源数据存储介质;
2)扫描源数据存储介质,获得一修改时间最近的可行恢复点;
3)根据步骤2)获得的可行恢复点进行数据恢复。
2.根据权利要求1所述的COW类型文件系统的数据恢复方法,其特征在于,所述步骤1)具体为:
通过存储介质备份的方式,将已损坏的源数据存储介质以裸设备的方式挂到备份系统上。
3.根据权利要求1所述的COW类型文件系统的数据恢复方法,其特征在于,所述步骤2)具体为:
201)按照COW类型文件系统磁盘数据布局,获取所有COW类型文件系统的元数据入口;
202)根据各元数据入口的时间点,从最新时间点对应的入口往前遍历;
203)导入当前遍历的入口所对应的COW类型文件系统;
204)检查数据是否完整且无错误,若是,则结束,记录当前遍历的入口作为可行恢复点,若否,则执行步骤205);
205)记录当前遍历的入口为不可恢复点,选取下一个入口,返回步骤203)。
4.根据权利要求1所述的COW类型文件系统的数据恢复方法,其特征在于,所述步骤3)具体为:
301)导入步骤2)获得的可行恢复点的元数据;
302)检查导入的数据是否完整,若是,则执行步骤303),若否,则返回步骤2);
303)进行数据修复操作。
5.一种COW类型文件系统的数据恢复装置,用于对COW类型文件系统中已损坏的源数据进行恢复,其特征在于,包括:
数据备份模块,用于备份源数据存储介质;
数据分析模块,用于扫描源数据存储介质,获得一修改时间最近的可行恢复点;
数据恢复模块,用于根据所述可行恢复点进行数据恢复。
6.根据权利要求5所述的COW类型文件系统的数据恢复装置,其特征在于,所述数据分析模块包括:
元数据入口获取单元,用于按照COW类型文件系统磁盘数据布局,获取所有COW类型文件系统的元数据入口;
元数据入口遍历单元,用于根据各元数据入口的时间点,从最新时间点对应的入口往前遍历;
数据完整性和错误检查单元,用于检查数据是否完整、是否存在错误;
入口记录单元,用于根据数据完整性和错误检查单元的检查结果将对应的入口标记为可行恢复点或不可恢复点。
7.根据权利要求5所述的COW类型文件系统的数据恢复装置,其特征在于,所述数据恢复模块包括:
元数据导入单元,导入所述可行恢复点的元数据;
数据完整性检查单元,用于检查导入的数据是否完整;
数据修复操作单元,用于进行数据修复操作。
CN201510287488.5A 2015-05-29 2015-05-29 一种cow类型文件系统的数据恢复方法及装置 Expired - Fee Related CN104978241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510287488.5A CN104978241B (zh) 2015-05-29 2015-05-29 一种cow类型文件系统的数据恢复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510287488.5A CN104978241B (zh) 2015-05-29 2015-05-29 一种cow类型文件系统的数据恢复方法及装置

Publications (2)

Publication Number Publication Date
CN104978241A true CN104978241A (zh) 2015-10-14
CN104978241B CN104978241B (zh) 2018-10-12

Family

ID=54274772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510287488.5A Expired - Fee Related CN104978241B (zh) 2015-05-29 2015-05-29 一种cow类型文件系统的数据恢复方法及装置

Country Status (1)

Country Link
CN (1) CN104978241B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297781A (zh) * 2019-07-02 2019-10-01 四川效率源信息安全技术股份有限公司 一种基于写时复制来恢复apfs中被删除数据的方法
CN110389855A (zh) * 2018-04-19 2019-10-29 浙江宇视科技有限公司 磁带库数据校验方法、装置、电子设备和可读存储介质
WO2020207010A1 (zh) * 2019-04-08 2020-10-15 平安科技(深圳)有限公司 数据备份方法、装置及计算机可读存储介质
CN113419897A (zh) * 2021-01-19 2021-09-21 阿里巴巴集团控股有限公司 一种文件处理方法、装置、电子设备及其存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587962B1 (en) * 1999-10-20 2003-07-01 Hewlett-Packard Development Company, L.P. Write request protection upon failure in a multi-computer system
CN101073064A (zh) * 2004-08-24 2007-11-14 塞门铁克操作公司 使用检查点从存储事务故障中恢复
CN101253484A (zh) * 2005-06-29 2008-08-27 伊姆西公司 利用客户端应用程序的单次客户端快照的创建
CN101258472A (zh) * 2005-09-06 2008-09-03 多特希尔系统公司 快照恢复方法和设备
CN103336728A (zh) * 2013-05-08 2013-10-02 上海爱数软件有限公司 一种磁盘数据恢复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587962B1 (en) * 1999-10-20 2003-07-01 Hewlett-Packard Development Company, L.P. Write request protection upon failure in a multi-computer system
CN101073064A (zh) * 2004-08-24 2007-11-14 塞门铁克操作公司 使用检查点从存储事务故障中恢复
CN101253484A (zh) * 2005-06-29 2008-08-27 伊姆西公司 利用客户端应用程序的单次客户端快照的创建
CN101258472A (zh) * 2005-09-06 2008-09-03 多特希尔系统公司 快照恢复方法和设备
CN103336728A (zh) * 2013-05-08 2013-10-02 上海爱数软件有限公司 一种磁盘数据恢复方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389855A (zh) * 2018-04-19 2019-10-29 浙江宇视科技有限公司 磁带库数据校验方法、装置、电子设备和可读存储介质
CN110389855B (zh) * 2018-04-19 2021-12-28 浙江宇视科技有限公司 磁带库数据校验方法、装置、电子设备和可读存储介质
WO2020207010A1 (zh) * 2019-04-08 2020-10-15 平安科技(深圳)有限公司 数据备份方法、装置及计算机可读存储介质
CN110297781A (zh) * 2019-07-02 2019-10-01 四川效率源信息安全技术股份有限公司 一种基于写时复制来恢复apfs中被删除数据的方法
CN110297781B (zh) * 2019-07-02 2023-05-02 四川效率源信息安全技术股份有限公司 一种基于写时复制来恢复apfs中被删除数据的方法
CN113419897A (zh) * 2021-01-19 2021-09-21 阿里巴巴集团控股有限公司 一种文件处理方法、装置、电子设备及其存储介质
CN113419897B (zh) * 2021-01-19 2023-12-22 阿里巴巴集团控股有限公司 一种文件处理方法、装置、电子设备及其存储介质

Also Published As

Publication number Publication date
CN104978241B (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
US9594652B1 (en) Systems and methods for decreasing RAID rebuilding time
JP6854885B2 (ja) 重複排除ストレージ内のイメージを修復するためのシステム及び方法
US8290915B2 (en) Retrieval and recovery of data chunks from alternate data stores in a deduplicating system
US8892941B2 (en) Recovering a volume table and data sets from a corrupted volume
US8954398B1 (en) Systems and methods for managing deduplication reference data
US20130151477A1 (en) Systems and methods for restoring application data
US8095510B2 (en) Data restoration in a storage system using multiple restore points
CN104360914B (zh) 增量快照方法和装置
CN103914359A (zh) 一种数据恢复方法及装置
CN104156174A (zh) 基于条带的固态硬盘raid实现方法及装置
US8229898B1 (en) Methods and systems for utilizing redundant data
CN104978241A (zh) 一种cow类型文件系统的数据恢复方法及装置
CN105573859A (zh) 一种数据库的数据恢复方法和设备
CN104077380A (zh) 一种重复数据删除方法、装置及系统
CN105593829A (zh) 从原始映像备份中排除文件系统对象
CN105045685A (zh) 缓存数据的备份方法及装置、缓存数据的恢复方法及装置
CN109086425B (zh) 用于数据库的数据处理方法和装置
CN104461773A (zh) 一种虚拟机备份去重的方法
US8707107B1 (en) Systems and methods for proactively facilitating restoration of potential data failures
CN103838645B (zh) 一种基于哈希的远程差异合成备份实现方法
CN104375905A (zh) 一种基于数据块的增量备份的方法和系统
US8341538B1 (en) Systems and methods for reducing redundancies in quality-assurance reviews of graphical user interfaces
US20190138386A1 (en) Recovering log-structured filesystems from physical replicas
CN107451014A (zh) 一种数据恢复方法及装置
CN105161138A (zh) 希捷硬盘固件管理器错误导致无法访问数据区的修复方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8

Applicant after: SHANGHAI EISOO INFORMATION TECHNOLOGY CO., LTD.

Address before: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8

Applicant before: Shanghai Eisoo Software Co.,Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181012

Termination date: 20190529

CF01 Termination of patent right due to non-payment of annual fee