CN101814043A - 一种使用快照技术进行在线恢复的方法 - Google Patents
一种使用快照技术进行在线恢复的方法 Download PDFInfo
- Publication number
- CN101814043A CN101814043A CN201010149537A CN201010149537A CN101814043A CN 101814043 A CN101814043 A CN 101814043A CN 201010149537 A CN201010149537 A CN 201010149537A CN 201010149537 A CN201010149537 A CN 201010149537A CN 101814043 A CN101814043 A CN 101814043A
- Authority
- CN
- China
- Prior art keywords
- data
- snapshot
- recovery
- write
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005516 engineering process Methods 0.000 title abstract description 3
- 230000003716 rejuvenation Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 241000700605 Viruses Species 0.000 description 2
- 230000009385 viral infection Effects 0.000 description 2
- 208000034657 Convalescence Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种使用快照技术进行在线恢复的方法，应用程序(1)是通过文件系统对数据进行操作的程序，通常情况下有两种数据读写方式，一种是通过调用应用程序开发接口(2)提供的接口，再一种是通过系统调用方式(B)直接访问虚拟文件系统(3)提供的接口，应用程序开发接口(2)也是通过系统调用方式(B)来完成数据读写的；虚拟文件系统(3)存在的目的就是屏蔽文件系统(4)的具体实现而对上层提供主要接口；快照源卷(5)和快照卷(6)是虚拟块设备。二者结合实现快照功能。当有写请求发送到快照源卷(5)时，它首先判断扇区中的旧数据是否已经复制到了快照卷(6)，否则通过Kcopyd方式(C)将数据复制到快照卷(6)然后再完成写操作。这就是所谓的COW，快照卷(6)也可以以块设备的形式提供对外的读写。
Description
技术领域
本发明涉及计算机系统及存储领域，具体涉及一种使用快照技术在线恢复的方法的方法。
背景技术
造成存储系统的数据不可用通常有两种主要的情况。一是，由于病毒感染造成数据中存在病毒或数据被异常修改；另一个原因是数据介质损坏。针对后一种原因造成的数据不可用有许多种方法，比如创建RAID，保证在一块磁盘损坏时不至于造成数据的丢失，从而降低数据不可用的机率，或者采用备份的方法将数据备份到其它存储设备，降低数据不可用的风险。而针对第一种情况，大多应用采用基于时间点的增量或差分备份方式，使得数据受到病毒破坏后恢复到最近可用的时间点。
但是，采用增量或差分备分的方式过行数据保护最大的缺点是，将生产机器上的数据恢复到正常状态需要相当长的一段时间，而且必须在业务中断的情况下进行。
发明内容
本发明是为COW(copy on write)快照增加在线恢复的能力。一旦出现病毒感染，便采用快照进行在线恢复方式。
本发明的目的是按以下方式实现的，在线恢复所用的软硬件包括：应用程序(1)，应用程序开发接口(2)，虚拟文件系统(3)，文件系统(4)，快照源卷(5)，快照卷(6)，在线恢复管理程序(7)，管理字符设备(8)，恢复线程(9)，具体步骤如下：
1)在快照的基础上增加快照在线恢复能力。
应用程序(1)是通过文件系统对数据进行操作的程序，通常情况下有两种数据读写方式，一种是通过调用应用程序开发接口(2)提供的接口，再一种是通过系统调用方式(B)直接访问虚拟文件系统(3)提供的接口，应用程序开发接口(2)也是通过系统调用方式(B)来完成数据读写的；
虚拟文件系统(3)存在的目的就是屏蔽文件系统(4)的具体实现而对上层提供主要接口；
快照源卷(5)和快照卷(6)是虚拟块设备。二者结合实现快照功能。当有写请求发送到快照源卷(5)时，它首先判断扇区中的旧数据是否已经复制到了快照卷(6)，否则通过Kcopyd方式(C)将数据复制到快照卷(6)然后再完成写操作。这就是所谓的COW(copy on write)，快照卷(6)也可以以块设备的形式提供对外的读写；
在线恢复管理程序(7)用于协调统一管理快照的在线恢复操作，它与多个模块都有接口，首先，它能够通知应用程序(1)准备恢复和开始恢复，以便应用程序(1)能够保证通过一些策略保证数据是可用的，以及处理底层数据的变更，同时，它通过管理字符设备(8)提供的接口进行数据恢复操作启动以及查看当前恢复的状态；
管理字符设备(8)用于提供给用户级进程管理接口，并具体实现数据恢复、状态查看等操作；
恢复线程(9)用于后台执行在线恢复功能；
2)数据恢复流程，具体如下：
a.用户通过在线恢复管理程序(7)启动数据恢复；
b.在线恢复管理程序(7)通知应用程序(1)准备开始数据恢复，使应用程序(1)有机会做一些保证数据一致性的操作。比如停止当前读写等；
c.在线恢复管理程序(7)通知管理字符设备(8)启动数据恢复；
d.管理字符设备(8)清空虚拟文件系统(3)或文件系统(4)的缓存，使恢复过程中的数据不至于造成不一致；
e.管理字符设备(8)通知快照源卷(5)将读写流程更改为“恢复过程中的读写”过程；
f.管理字符设备(8)启动恢复线程(9)进行真正的数据恢复；
g.这时在线恢复管理程序(7)对(8)的调用返回；
h.在线恢复管理程序(7)通知应用程序(1)正在恢复数据，使应用程序(1)有机会恢复正常业务，包括继续进行读写，事实上，从a-g的操作对应用程序(1)所运行的业务是完全忽略，认为是完全在线的，不至于导致长时间的离线操作；
恢复线程(9)的工作是将快照存在的数据复制到快照源卷中，对快照中所存在的每个块，包括相同大小的扇区的集合，操作如下：
a.将块索引加入正在恢复的列表，以便在线读写时查找；
b.通过Kcopyd方式(C)将数据复制到原来的扇区；
c.恢复完成后，将恢复位图中待恢复块所在的位置置0，恢复位图初始状态为，做过快照的块置1，其它置0；
d.将块索引从正在恢复列表中删除；
3)恢复过程中读写流程
数据恢复过程中，数据读写是采用特殊的读写流程，主要流程如下：
a.接收文件系统的块数据读写请求；
b.将数据读写请求指定的扇区转换为块trunk；
c.查找正在恢复列表，所要请求的数据是否正在被恢复，如果正在恢复则等待，至到恢复完成，否则转为函数ioctl方式(d)；
d.查找恢复位图代表该块的位是否为1
e.如果为1，从快照中进行数据读写，否则从源卷中进行读写，恢复位图某个位为0表示该trunk或者未被备份到快照卷，或者已经完成恢复，二必其1；
f.将读写完成的结果返回上层。
本发明的优异效果是在快照的基础上增加快照恢复的功能，其核心是管理字符设备(8)、启动恢复线程(9)所提供的功能以及快照源卷(5)和快照卷(6)提供的恢复期快照读写。快照源卷(5)和快照卷(6)并不依赖于某种特殊的实现。本发明旨在提供一种可通用的在线恢复方法。
附图说明
附图1在线快照恢复模块图；
附图2数据恢复流程；
附图3恢复过程中读写流程。
具体实施方式
参照附图对本发明的方法作以下详细的说明。
1)在快照的基础上增加快照在线恢复能力。
如附图1所示，应用程序(1)是通过文件系统对数据进行操作的程序。通常情况下有两种数据读写方式，一种是通过调用应用程序开发接口(2)提供的接口，再一种是通过系统调用方式(B)直接访问(3)提供的接口。事实上应用程序开发接口(2)也是通过(B)来完成数据读写的。
虚拟文件系统(3)存在的目的就是屏蔽文件系统(4)的具体实现而对上层提供主要接口。
快照源卷(5)和快照卷(6)是虚拟块设备。二者结合实现快照功能。当有写请求发送到(5)时，它首先判断扇区中的旧数据是否已经复制到了快照卷(6)，否则通过Kcopyd方式(C)将数据复制到快照卷(6)然后再完成写操作。这就是所谓的COW(copy on write)。快照卷(6)也可以以块设备的形式提供对外的读写。
在线恢复管理程序(7)用于协调统一管理快照的在线恢复操作，它与多个模块都有接口。首先，它能够通知(1)准备恢复和开始恢复，以便应用程序(1)能够保证通过一些策略保证数据是可用的，以及处理底层数据的变更(可选的)。同时，它通过管理字符设备(8)提供的接口进行数据恢复操作启动以及查看当前恢复的状态。
管理字符设备(8)用于提供给用户级进程管理接口，并具体实现数据恢复、状态查看等操作。
恢复线程(9)用于后台执行在线恢复功能。
2)数据恢复流程
数据恢复流程可参考图2，具体如下：
a.用户通过在线恢复管理程序(7)启动数据恢复
b.在线恢复管理程序(7)通知应用程序(1)准备开始数据恢复，使应用程序(1)有机会做一些保证数据一致性的操作。比如停止当前读写等。
c.在线恢复管理程序(7)通知(8)启动数据恢复
d.管理字符设备(8)清空虚拟文件系统(3)(有的实现中也可能是文件系统(4))的缓存，使恢复过程中的数据不至于造成不一致。
e.管理字符设备(8)通知快照源卷(5)将读写流程更改为“恢复过程中的读写”过程
f.管理字符设备(8)启动(9)进行真正的数据恢复
g.这时在线恢复管理程序(7)对管理字符设备(8)的调用返回
h.在线恢复管理程序(7)通知应用程序(1)正在恢复数据，使应用程序(1)有机会恢复正常业务，比如继续进行读写。事实上，从a-g的操作对应用程序(1)所运行的业务是完全可以忽略，认为是完全在线的。不至于导致长时间的离线操作。
恢复线程(9)的工作主要是将快照存在的数据复制到快照源卷中。对快照中所存在的每个块(相同大小的扇区的集合)操作如下：
a.将块索引加入正在恢复的列表，以便在线读写时查找
b.通过Kcopyd方式(C)将数据复制到原来的扇区
c.恢复完成后，将恢复位图中待恢复块所在的位置置0。恢复位图初始状态为，做过快照的块置1，其它置0。
d.将块索引从正在恢复列表中删除
3)恢复过程中读写流程
数据恢复过程中，数据读写是采用特殊的读写流程，主要流程如下：
a.接收文件系统的块数据读写请求
b.将数据读写请求指定的扇区转换为块(trunk)
c.查找正在恢复列表，所要请求的数据是否正在被恢复。如果正在恢复则等待，至到恢复完成，否则转为函数ioctl(d)方式；
d.查找恢复位图代表该块的位是否为1；
e.如果为1，从快照中进行数据读写，否则从源卷中进行读写(恢复位图某个位为0表示该trunk或者未被备份到快照卷，或者已经完成恢复，二必其一；
f.将读写完成的结果返回上层。
Claims (1)
1.一种使用快照技术进行在线恢复的方法，其特征在于在线恢复所用的软硬件及步骤包括：应用程序(1)，应用程序开发接口(2)，虚拟文件系统(3)，文件系统(4)，快照源卷(5)，快照卷(6)，在线恢复管理程序(7)，管理字符设备(8)，恢复线程(9)，具体步骤如下：
1)在快照的基础上增加快照在线恢复能力
应用程序(1)是通过文件系统对数据进行操作的程序，通常情况下有两种数据读写方式，一种是通过调用应用程序开发接口(2)提供的接口，再一种是通过系统调用方式(B)直接访问虚拟文件系统(3)提供的接口，应用程序开发接口(2)也是通过系统调用方式(B)来完成数据读写的；
虚拟文件系统(3)存在的目的就是屏蔽文件系统(4)的具体实现而对上层提供主要接口；
快照源卷(5)和快照卷(6)是虚拟块设备，二者结合实现快照功能。当有写请求发送到快照源卷(5)时，它首先判断扇区中的旧数据是否已经复制到了快照卷(6)，否则通过Kcopyd方式(C)将数据复制到快照卷(6)然后再完成写操作，这就是所谓的COW，快照卷(6)也可以以块设备的形式提供对外的读写；
在线恢复管理程序(7)用于协调统一管理快照的在线恢复操作，它与多个模块都有接口，首先，它能够通知应用程序(1)准备恢复和开始恢复，以便应用程序(1)能够保证通过一些策略保证数据是可用的，以及处理底层数据的变更，同时，它通过管理字符设备(8)提供的接口进行数据恢复操作启动以及查看当前恢复的状态；
管理字符设备(8)用于提供给用户级进程管理接口，并具体实现数据恢复、状态查看等操作；
恢复线程(9)用于后台执行在线恢复功能；
2)数据恢复流程，具体如下：
a.用户通过在线恢复管理程序(7)启动数据恢复；
b.在线恢复管理程序(7)通知应用程序(1)准备开始数据恢复，使应用程序(1)有机会做一些保证数据一致性的操作。比如停止当前读写等；
c.在线恢复管理程序(7)通知管理字符设备(8)启动数据恢复；
d.管理字符设备(8)清空虚拟文件系统(3)或文件系统(4)的缓存，使恢复过程中的数据不至于造成不一致；
e.管理字符设备(8)通知快照源卷(5)将读写流程更改为“恢复过程中的读写”过程；
f.管理字符设备(8)启动恢复线程(9)进行真正的数据恢复；
g.这时(7)对(8)的调用返回；
h.在线恢复管理程序(7)通知应用程序(1)正在恢复数据，使应用程序(1)有机会恢复正常业务，包括继续进行读写，事实上，从a-g的操作对应用程序(1)所运行的业务是完全忽略，认为是完全在线的，不至于导致长时间的离线操作；
恢复线程(9)的工作是将快照存在的数据复制到快照源卷中，对快照中所存在的每个块，包括相同大小的扇区的集合，操作如下：
a.将块索引加入正在恢复的列表，以便在线读写时查找；
b.通过Kcopyd方式(C)将数据复制到原来的扇区；
c.恢复完成后，将恢复位图中待恢复块所在的位置置0，恢复位图初始状态为，做过快照的块置1，其它置0；
d.将块索引从正在恢复列表中删除；
3)恢复过程中读写流程
数据恢复过程中，数据读写是采用特殊的读写流程，主要流程如下：
a.接收文件系统的块数据读写请求；
b.将数据读写请求指定的扇区转换为块trunk；
c.查找正在恢复列表，所要请求的数据是否正在被恢复，如果正在恢复则等待，至到恢复完成，否则转为函数ioctl方式(d)；
d.查找恢复位图代表该块的位是否为1
e.如果为1，从快照中进行数据读写，否则从源卷中进行读写(恢复位图某个位为0表示该trunk或者未被备份到快照卷，或者已经完成恢复，二必其一；
f.将读写完成的结果返回上层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010149537.6A CN101814043B (zh) | 2010-04-19 | 2010-04-19 | 一种使用快照技术进行在线恢复的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010149537.6A CN101814043B (zh) | 2010-04-19 | 2010-04-19 | 一种使用快照技术进行在线恢复的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101814043A true CN101814043A (zh) | 2010-08-25 |
| CN101814043B CN101814043B (zh) | 2014-07-16 |
Family
ID=42621304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010149537.6A Active CN101814043B (zh) | 2010-04-19 | 2010-04-19 | 一种使用快照技术进行在线恢复的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101814043B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779080A (zh) * | 2012-06-18 | 2012-11-14 | 上海爱数软件有限公司 | 生成快照的方法、利用快照进行数据恢复的方法及装置 |
| CN103098030A (zh) * | 2010-07-15 | 2013-05-08 | 赛门铁克公司 | 虚拟机感知复制方法和系统 |
| CN103176846A (zh) * | 2011-12-26 | 2013-06-26 | 中国银联股份有限公司 | 一种基于流水线的软硬件共享装置及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1842789A (zh) * | 2004-03-29 | 2006-10-04 | 微软公司 | 用于在数据库恢复期间快照查询的系统和方法 |
| US7246211B1 (en) * | 2003-07-22 | 2007-07-17 | Swsoft Holdings, Ltd. | System and method for using file system snapshots for online data backup |
| US7318135B1 (en) * | 2003-07-22 | 2008-01-08 | Acronis Inc. | System and method for using file system snapshots for online data backup |
| US20080082593A1 (en) * | 2006-09-28 | 2008-04-03 | Konstantin Komarov | Using shrinkable read-once snapshots for online data backup |
| CN101609419A (zh) * | 2009-06-29 | 2009-12-23 | 北京航空航天大学 | 虚拟机持续在线迁移的数据备份方法及装置 |
-
2010
- 2010-04-19 CN CN201010149537.6A patent/CN101814043B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7246211B1 (en) * | 2003-07-22 | 2007-07-17 | Swsoft Holdings, Ltd. | System and method for using file system snapshots for online data backup |
| US7318135B1 (en) * | 2003-07-22 | 2008-01-08 | Acronis Inc. | System and method for using file system snapshots for online data backup |
| CN1842789A (zh) * | 2004-03-29 | 2006-10-04 | 微软公司 | 用于在数据库恢复期间快照查询的系统和方法 |
| US20080082593A1 (en) * | 2006-09-28 | 2008-04-03 | Konstantin Komarov | Using shrinkable read-once snapshots for online data backup |
| CN101609419A (zh) * | 2009-06-29 | 2009-12-23 | 北京航空航天大学 | 虚拟机持续在线迁移的数据备份方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103098030A (zh) * | 2010-07-15 | 2013-05-08 | 赛门铁克公司 | 虚拟机感知复制方法和系统 |
| CN103176846A (zh) * | 2011-12-26 | 2013-06-26 | 中国银联股份有限公司 | 一种基于流水线的软硬件共享装置及方法 |
| CN102779080A (zh) * | 2012-06-18 | 2012-11-14 | 上海爱数软件有限公司 | 生成快照的方法、利用快照进行数据恢复的方法及装置 |
| CN102779080B (zh) * | 2012-06-18 | 2015-05-27 | 上海爱数软件有限公司 | 生成快照的方法、利用快照进行数据恢复的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101814043B (zh) | 2014-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101840362B (zh) | 一种改进的写时拷贝快照的实现方法和装置 | |
| CN101719165B (zh) | 一种实现数据库高效快速备份的方法 | |
| US8234469B2 (en) | Backup of virtual machines using cloned virtual machines | |
| JP5124183B2 (ja) | 非同期リモートコピーシステムの制御方法及び非同期リモートコピーシステム | |
| US8600945B1 (en) | Continuous data replication | |
| US8738575B2 (en) | Data recovery in a hierarchical data storage system | |
| US9501231B2 (en) | Storage system and storage control method | |
| US8732128B2 (en) | Shadow copy bookmark generation | |
| US8260752B1 (en) | Systems and methods for change tracking with multiple backup jobs | |
| CN102402471A (zh) | 基于存储阵列快照功能的数据实时备份方法及系统 | |
| CN101770410A (zh) | 基于客户操作系统的系统还原方法、虚拟机管理器及系统 | |
| TWI571749B (zh) | 備份系統及其備份方法 | |
| CN102262543B (zh) | 抗掉电的Linux系统启动方法 | |
| JP2007241486A (ja) | 記憶装置システム | |
| CN106815095A (zh) | 一种云平台环境下虚拟机数据保护方法 | |
| CN107402848A (zh) | 一种快照数据一致性的实现方法 | |
| CN106104515A (zh) | 利用非易失性存储器的文件系统设计和故障恢复方法 | |
| CN101814043B (zh) | 一种使用快照技术进行在线恢复的方法 | |
| CN104850628A (zh) | 一种数据库数据的同步方法及装置 | |
| CN104937576A (zh) | 协调存储在基于非易失性存储器的系统中的数据的复制 | |
| CN101937378A (zh) | 一种对存储设备的数据进行备份保护的方法及计算机系统 | |
| CN106293998A (zh) | 一种基于快照技术的系统备份方法 | |
| CN104424115A (zh) | 恢复电子设备的预设状态的方法、存储装置和电子设备 | |
| CN102024052B (zh) | 一种数据存储系统事务的实现方法和装置 | |
| CN109445909A (zh) | 虚拟机数据的备份方法、系统、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: SHANDONG LANGCHAO HUICAI INVESTMENT HOLDING CO., L Free format text: FORMER OWNER: SHANDONG HIGH-END SERVER + STORAGE RESEARCH INSTITUTE Effective date: 20120921 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 250014 JINAN, SHANDONG PROVINCE TO: 250101 JINAN, SHANDONG PROVINCE |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20120921 Address after: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 No. 1768 Qilu Software building B block 3 layer Applicant after: Shandong wave color Klc Holdings Ltd Address before: 250014 No. 224 mountain road, Lixia District, Shandong, Ji'nan Applicant before: Shandong High-End Server & Storage Research Institute |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: LANGCHAO ELECTRONIC INFORMATION INDUSTRY CO., LTD. Free format text: FORMER OWNER: SHANDONG LANGCHAO HUICAI INVESTMENT HOLDING CO., LTD. Effective date: 20130724 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20130724 Address after: 250101 Shandong Province, Ji'nan City hi tech Development Zone, Nga Road No. 1036 Applicant after: Langchao Electronic Information Industry Co., Ltd. Address before: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 No. 1768 Qilu Software building B block 3 layer Applicant before: Shandong wave color Klc Holdings Ltd |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |