CN101650679A - 一种基于磁盘io读写变化的高效快照技术 - Google Patents
一种基于磁盘io读写变化的高效快照技术 Download PDFInfo
- Publication number
- CN101650679A CN101650679A CN200910017345A CN200910017345A CN101650679A CN 101650679 A CN101650679 A CN 101650679A CN 200910017345 A CN200910017345 A CN 200910017345A CN 200910017345 A CN200910017345 A CN 200910017345A CN 101650679 A CN101650679 A CN 101650679A
- Authority
- CN
- China
- Prior art keywords
- snapshot
- disk
- write
- read
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 14
- 239000003550 marker Substances 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于磁盘IO读写变化的高效快照技术，该技术是通过在执行磁盘快照之前预先监控磁盘IP的变化，并且将磁盘IO变化作为一个特定的标志位记录起来，在创建新的快照时首先去读写IO状态标志位，以此来确定是否要进行快照，标志位为真则忽略此次快照，否则创建新的快照，从而有效的减少重复的快照数量，提供快照效率；本发明的有益效果是：基于磁盘IO读写变化的快照技术与不采用这种技术的系统相比，一般的系统能节约将近50％的快照空间，也大约能节约50％的冗余快照个数。从而有效的提高快照的效率，为企业降低整个IT总成本。
Description
技术领域
本发明是关于一种磁盘数据保护功能，主要是通过快照技术来实现对系统的保护。快照技术可在不中断当前业务的情况下生成存储系统在某个时间点即时一致的数据镜像。快照技术极大的丰富了存储系统的功能，因而被广泛的应用于当前的存储系统中。
背景技术
随着存储应用需求的提高，用户需要在线方式进行数据保护，快照就是在线存储设备防范数据丢失的有效方法之一，越来越多的设备都开始支持这项功能。
SNIA(存储网络行业协会)对快照(Snapshot)的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。而从具体的技术细节来讲，快照是指向保存在存储设备中的数据的引用标记或指针。我们可以这样理解，快照有点像是详细的目录表，但它被计算机作为完整的数据备份来对待。
快照的作用主要是能够进行在线数据恢复，当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复，将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道，当原数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。
但是快照的个数一般与磁盘空间的大小有关系，普通的快照实现方式一般快照的空间是实际使用存储空间的50％左右，在采用依赖快照的实现中，也会产生比较多的快照副本。这种情况下就遇到一个问题，如果再磁盘没有数据变化的情况下，比如很多系统夜间数据基本没有变化，这时候如果依然不断的去做快照必然会增加磁盘空间的压力，或者会产生一些无效多余的快照副本。
因此如何提供一种方法，使其应用在存储管理系统中，能够避免在使用快照技术过程中，如果在磁盘没有变化的情况下，避免产生多余的快照副本，从而提高快照的效率。
发明内容
本发明提供一种基于磁盘IO读写变化的高效快照技术，通过在执行磁盘快照之前预先监控磁盘IP的变化，并且将磁盘IO变化作为一个特定的标志位记录起来，在创建新的快照时首先去读写IO状态标志位，以此来确定是否要进行快照，如果标志位为真则忽略此次快照，否则创建新的快照，从而有效的减少重复的快照数量，提供快照效率。该系统体系结构包括：应用层、文件系统层、快照系统层、逻辑卷管理、磁盘监控管理和设备驱动层，其中：
应用层：主要为应用软件接口层，提供与用户交互，一般可采用C++、C#、PHP、Java等语言来实现，为用户提供一个功能演示和使用平台。
文件系统层：文件系统管理层，基于快照系统层之上，系统文件层。
快照系统层：此模块提供磁盘快照功能，主要包括快照创建，查询等功能，根据应用层(1)传递的命令执行快照命令，在执行快照之前先调用磁盘监控管理获取磁盘程序(5)读写标记位，然后根据读写“标记位”的状态，如果状态为真则调用逻辑卷管理(4)最终在磁盘上形成一个数据镜像，然后将“标记位”设置为假。
逻辑卷管理：调用系统逻辑卷管理的功能进行逻辑卷管理和快照管理的功能，一般可以通过使用LVM或者EVMS等卷管理接口进行管理和封装。
磁盘监控管理：此模块是最重要的模块，负责与设备驱动层交互实时监控磁盘IO读写的变化，每完成一次磁盘IO读写就与“标记位”进行校验，将“标记位”设置为真，每次IO读写都重新设置。
设备驱动层：设备驱动模块，主要以设备模式运行监控磁盘IO变化，然后将变化内容反馈到磁盘监控模块。
本发明的有益效果是：基于磁盘IO读写变化的快照技术与不采用这种技术的系统相比，一般的系统能节约将近50％的快照空间，也大约能节约50％的冗余快照个数。从而有效的提高快照的效率，为企业降低整个IT总成本。
附图说明
附图1为基于磁盘IO读写快照模式图；
附图2为基于磁盘IO实现的流程图。
具体实施方式
下面参照附图，对本发明的内容以一个具体实例来描述实现这一体系结构的过程。
正如发明内容中所描述的，本发明体系结构主要包括：应用层、文件系统层、快照系统层、逻辑卷管理、磁盘监控管理和设备驱动层。
在本体系结构中应用层的应用程序通过文件系统层与调用快照系统层的快照管理命令来执行快照功能。磁盘监控管理和设备驱动层负责监控磁盘IO读写的变化，并且记录到“标志位”中。此“标志位”可以保存在内存中也可以保存在文件中，以便于快照系统进行调用。
在附图2基于磁盘IO实现的流程图中，可以看到一般的数据写入，首先像系统请求磁盘写入。磁盘监控管理截获请求，并且在一次请求写入完成之后，认为整个磁盘IO写入已经完成，然后将标示磁盘IO是否变化的“标志位”设置为真，在下一次磁盘IO请求完成之后，继续将“标志位”设置为真。也就是说，每一次磁盘IO的读写都会将“标志位”设置为真。而在快照系统层中，每次为磁盘创建快照之前，首先将记录磁盘IO是否变化的“标志位”读出来，只有“标志位”为真，表示有磁盘IO变化才进行快照，否则认为磁盘IO没有变化，并不进行快照。并且每次进行快照之后，将“标志位”设置为假。
至此，快照系统层和磁盘监控管理实现了基于磁盘IO变化的高效快照过程。普通的快照实现方式一般快照的空间是实际使用存储空间的50％左右，在采用依赖快照的实现中，也会产生比较多的快照副本。在采用这种技术之后，如果再磁盘没有数据变化的情况下，比如很多系统夜间数据基本没有变化，这时候就不会去做快照，也就不会增加磁盘空间，造成无谓的空间浪费。也不会产生无效多余的快照副本，方便与快照的管理。
因此采用基于磁盘IO读写变化的高效快照技术，使其应用在存储管理系统中，能够避免在使用快照技术过程中，如果在磁盘没有变化的情况下，避免产生多余的快照副本，从而提高快照的效率。
Claims (4)
1、一种基于磁盘IO读写变化的高效快照技术，其特征在于，通过在执行磁盘快照之前预先监控磁盘IP的变化，并且将磁盘IO变化作为一个特定的标志位记录起来，在创建新的快照时首先去读写IO状态标志位，以此来确定是否要进行快照，标志位为真则忽略此次快照，否则创建新的快照，从而有效的减少重复的快照数量，提供快照效率；提高快照效率的系统体系结构包括：应用层、文件系统层、快照系统层、逻辑卷管理、磁盘监控管理和设备驱动层，其中：
应用层：为应用软件接口层，提供与用户交互，采用C++、C#、PHP、Java语言来实现，为用户提供一个功能演示和使用平台；
文件系统层：文件系统管理层，基于快照系统层之上，系统文件层；
快照系统层：此模块提供磁盘快照功能，包括快照创建，查询功能，根据应用层(1)传递的命令执行快照命令，在执行快照之前先调用磁盘监控管理获取磁盘程序(5)读写标记位，然后根据读写“标记位”的状态，状态为真则调用逻辑卷管理(4)最终在磁盘上形成一个数据镜像，然后将“标记位”设置为假；
逻辑卷管理：调用系统逻辑卷管理的功能进行逻辑卷管理和快照管理的功能，通过使用LVM或者EVMS卷管理接口进行管理和封装；
磁盘监控管理：负责与设备驱动层交互实时监控磁盘IO读写的变化，每完成一次磁盘IO读写就与“标记位”进行校验，将“标记位”设置为真，每次IO读写都重新设置；
设备驱动层：设备驱动模块，以设备模式运行监控磁盘IO变化，然后将变化内容反馈到磁盘监控模块；
快照步骤如下：首先像系统请求磁盘写入，磁盘监控管理截获请求，并且在一次请求写入完成之后，认为整个磁盘IO写入已经完成，然后将标示磁盘IO是否变化的“标志位”设置为真，在下一次磁盘IO请求完成之后，继续将“标志位”设置为真，也就是说，每一次磁盘IO的读写都会将“标志位”设置为真，而在快照系统层中，每次为磁盘创建快照之前，首先将记录磁盘IO是否变化的“标志位”读出来，只有“标志位”为真，表示有磁盘IO变化才进行快照，否则认为磁盘IO没有变化，并不进行快照，并且每次进行快照之后，将“标志位”设置为假。
2、根据权利要求1所述的快照系统层(3)，其特征在于，在体系结构中，快照执行是依赖于磁盘IO的变化进行，而不是每次都执行，只有磁盘IO在执行两次快照之间发生了变化才会调用快照程序，否则并不执行，从而提供快照执行效率，降低冗余快照，也降低因为快照而导致的磁盘空间的占用。
3、根据权利要求1所述的所述的快照系统层(3)，其特征在于在体系结构中，具有一个磁盘IO读写的“标记位”，其标记位保存在系统内存或者文件中，用于判断是否创建快照用。
4、根据权利要求1所述的磁盘监控管理(5)，其特征在于在体系结构中，磁盘监控模块与设备驱动层交互实时监控磁盘IO的读写。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910017345A CN101650679A (zh) | 2009-07-27 | 2009-07-27 | 一种基于磁盘io读写变化的高效快照技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910017345A CN101650679A (zh) | 2009-07-27 | 2009-07-27 | 一种基于磁盘io读写变化的高效快照技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101650679A true CN101650679A (zh) | 2010-02-17 |
Family
ID=41672918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910017345A Pending CN101650679A (zh) | 2009-07-27 | 2009-07-27 | 一种基于磁盘io读写变化的高效快照技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101650679A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104636125A (zh) * | 2013-11-13 | 2015-05-20 | 联想(北京)有限公司 | 一种信息处理方法及装置 |
| CN109491961A (zh) * | 2018-10-22 | 2019-03-19 | 郑州云海信息技术有限公司 | 一种文件系统快照的方法及快照设备 |
| WO2019080717A1 (zh) * | 2017-10-23 | 2019-05-02 | 阿里巴巴集团控股有限公司 | 一种磁盘快照的数据处理方法及装置 |
-
2009
- 2009-07-27 CN CN200910017345A patent/CN101650679A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104636125A (zh) * | 2013-11-13 | 2015-05-20 | 联想(北京)有限公司 | 一种信息处理方法及装置 |
| CN104636125B (zh) * | 2013-11-13 | 2018-03-23 | 联想(北京)有限公司 | 一种信息处理方法及装置 |
| WO2019080717A1 (zh) * | 2017-10-23 | 2019-05-02 | 阿里巴巴集团控股有限公司 | 一种磁盘快照的数据处理方法及装置 |
| CN109491961A (zh) * | 2018-10-22 | 2019-03-19 | 郑州云海信息技术有限公司 | 一种文件系统快照的方法及快照设备 |
| CN109491961B (zh) * | 2018-10-22 | 2022-02-18 | 郑州云海信息技术有限公司 | 一种文件系统快照的方法及快照设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8868858B2 (en) | Method and apparatus of continuous data backup and access using virtual machines | |
| CN101840362B (zh) | 一种改进的写时拷贝快照的实现方法和装置 | |
| US8812446B2 (en) | Block level backup and restore | |
| US8689047B2 (en) | Virtual disk replication using log files | |
| US7127578B2 (en) | Storage device and information management system | |
| US20080016390A1 (en) | Apparatus, system, and method for concurrent storage pool migration and backup | |
| CN102033786B (zh) | 一种对象存储系统中修复副本一致性的方法 | |
| CN102402471A (zh) | 基于存储阵列快照功能的数据实时备份方法及系统 | |
| US8095510B2 (en) | Data restoration in a storage system using multiple restore points | |
| CN103810058A (zh) | 虚拟机备份方法、设备及系统 | |
| CN103098030A (zh) | 虚拟机感知复制方法和系统 | |
| US7617373B2 (en) | Apparatus, system, and method for presenting a storage volume as a virtual volume | |
| US20130054529A1 (en) | Shadow copy bookmark generation | |
| CN102541691B (zh) | 面向内存数据库oltp应用的日志检查点恢复方法 | |
| US8140886B2 (en) | Apparatus, system, and method for virtual storage access method volume data set recovery | |
| JP2006268139A (ja) | データ複製装置、方法及びプログラム並びに記憶システム | |
| CN103049539A (zh) | 一种文件系统中文件数据的存储方法及其装置 | |
| CN104166605A (zh) | 基于增量数据文件的数据备份方法及系统 | |
| WO2021088423A1 (zh) | 一种用于raid io的内存管理方法、系统、终端及存储介质 | |
| CN101201767A (zh) | 计算机系统数据的磁盘镜像备份与恢复系统及方法 | |
| CN112181723A (zh) | 一种金融灾备方法、装置、存储介质及电子设备 | |
| CN101650679A (zh) | 一种基于磁盘io读写变化的高效快照技术 | |
| CN104615383A (zh) | 一种基于虚拟磁盘的软件运行方法及装置 | |
| CN104937576A (zh) | 协调存储在基于非易失性存储器的系统中的数据的复制 | |
| US8590042B2 (en) | Storage system, and encryption key management method and encryption key management program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20100217 |