CN114546244A - 一种基于块级别连续数据保护的缓存空间过滤方法 - Google Patents

一种基于块级别连续数据保护的缓存空间过滤方法 Download PDF

Info

Publication number
CN114546244A
CN114546244A CN202011295969.8A CN202011295969A CN114546244A CN 114546244 A CN114546244 A CN 114546244A CN 202011295969 A CN202011295969 A CN 202011295969A CN 114546244 A CN114546244 A CN 114546244A
Authority
CN
China
Prior art keywords
volume
cache
cache space
space
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011295969.8A
Other languages
English (en)
Other versions
CN114546244B (zh
Inventor
张海洋
商国贤
李少荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunwu Technology Beijing Co ltd
Original Assignee
Yunwu Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunwu Technology Beijing Co ltd filed Critical Yunwu Technology Beijing Co ltd
Priority to CN202011295969.8A priority Critical patent/CN114546244B/zh
Publication of CN114546244A publication Critical patent/CN114546244A/zh
Application granted granted Critical
Publication of CN114546244B publication Critical patent/CN114546244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种基于块级别连续数据保护的缓存空间过滤方法,步骤包括:步骤1)保护系统中需要保护的卷。步骤2)设置缓存空间;即需要把缓存空间设置到哪一个卷上,称这个卷为缓存卷。步骤3)过滤缓存空间。即过滤缓存空间中的数据变化,阻止由于缓存空间的数据变化引起的虚假的数据变化。

Description

一种基于块级别连续数据保护的缓存空间过滤方法
技术领域
本发明属于计算机数据容灾和备份领域,具体涉及一种基于块级别连续数据保护的缓存空间过滤方法。
背景技术
传统的计算机数据保护往往只保护系统中的某些文件或者某些具体应用,而且是定期备份的方式。显然这种传统的方式已经不能满足现代计算机数据保护的要求。现代计算机数据的保护,不仅仅要保护整个机器(系统中的每个卷,每一块数据,而不是目录),而且还要求对数据进行连续保护(CDP)。
基于整机连续块级别的保护(CDP),一个很关键的一点是要捕获系统中每个卷的数据的每一次变化(即每一块数据变化),并且将每次变化的数据存储下来,以便比较及时地发送到目的机器上,由于在很多情况下,网络的发送速度是要小于磁盘数据变化的速度的,因此,常常需要一个存储空间来存储还没有来得及发送的变化数据,这个用来暂存变化数据的存储空间,我们称之为缓存空间。
在传统的基于块级别的连续数据保护系统中,由于要监控系统中的每一个卷,系统中每一个卷的数据变化都会捕获。因此,缓存空间就没有办法设置到已经被保护的卷上了,比如要保护的卷为C:,D:,那么缓存空间就只能设置到卷E:或者F:上了。因为如果缓存空间设置到了C:或者D:卷上,那么,写入的缓存数据也会导致C:和E:的数据的变化,这样就导致系统进入了死循环,数据永不停止地产生了。因此,在传统的基于块级别的连续数据保护方案中,往往会拿出单独的卷来作为缓存空间以保证系统的正常工作。但是这样的问题是显而易见的,不但不能保护整个机器,而且还会额外增加用户的成本。
发明内容
因此,针对现有技术的中存在的问题,本发明提出了一种基于块级别的连续数据保护缓存空间过滤方法,实现真正的整机保护,并减少用户的计算机数据保护成本。
为实现上述目的,本发明所使用的技术方案如下:
一种基于块级别连续数据保护的缓存空间过滤方法,步骤包括:
步骤1)保护系统中需要保护的卷。
步骤2)设置缓存空间;即需要把缓存空间设置到哪一个卷上,称这个卷为缓存卷。
步骤3)过滤缓存空间。即过滤缓存空间中的数据变化,阻止由于缓存空间的数据变化引起的虚假的数据变化。
步骤2)、3)步过滤缓存空间的具体步骤包括:
过滤步骤1)在指定的用来作为缓存空间的卷上创建一个指定大小的文件,这个卷依然保留该卷原有的功能,比如原来存储的是数据库数据等。这个新创建的文件大小可以由用户设定,命名为cache.dat。
过滤步骤2)为cache.dat文件分配磁盘空间,用户设定了多大的空间,就分配多大的空间,也就是说,cache.dat将会真是占用缓存卷上的指定大小的磁盘空间。
过滤步骤3)获取cache.dat文件在对应的卷上所占空间的信息,具体为cache.dat文件在缓存卷上所占用的磁盘位图(bitmap)信息,即占用了缓存卷的哪些磁盘块,这个cache.dat文件所占的磁盘位图信息,称之为缓存文件位图信息。
过滤步骤4)将cache.dat文件进行分区格式化等操作,并创建出一个新的基于cache.dat文件的卷,捕获的系统中所有卷上的数据变化都临时存放到该卷上。
在捕获缓存卷的数据变化的时候,对变化的数据的位置信息与缓存文件位图信息进行比较,如果变化的数据信息不属于缓存文件位图信息,则认为这个变化的数据是有效的,并进行进一步处理,否则认为变化的数据是无效的,进行过滤掉,不进行进一步的处理。
附图说明
图1是cache.dat缓存文件在缓存卷上的位图信息图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
本发明一种基于块级别连续数据保护的缓存空间过滤方法,包括以下步骤:
步骤1)保护系统中需要保护的卷。
本步骤可由用户提前设定要保护系统中的哪些卷,一些不需要保护的卷可以不用选择。这些保护的卷将由本发明中的卷级驱动进行实时捕获所有保护卷上的数据变化。
步骤2)设置缓存空间;即需要把缓存空间设置到哪一个卷上,称这个卷为缓存卷。
由用户提前指定缓存空间的大小,如果缓存空间设置在没有保护的卷上,则不做任何处理,本发明处理的情况是当缓存空间设置在已经保护的卷的情况。
步骤3)过滤缓存空间。即过滤缓存空间中的数据变化,阻止由于缓存空间的数据变化引起的虚假的数据变化。
由于在缓存空间中写入数据,也会导致本发明的卷级驱动捕获到该卷的数据变化,本步骤的主要任务就是过滤掉缓存空间的数据变化,避免由于缓存空间的数据变化而产生无效的新的缓存数据。
步骤2)、3)步过滤缓存空间的具体步骤包括:
过滤步骤1)在指定的用来作为缓存空间的卷上创建一个指定大小的文件,这个卷依然保留该卷原有的功能,比如原来存储的是数据库数据等。这个新创建的文件大小可以由用户设定,命名为cache.dat。
过滤步骤2)为cache.dat文件分配磁盘空间,用户设定了多大的空间,就分配多大的空间,也就是说,cache.dat将会真是占用缓存卷上的指定大小的磁盘空间。
过滤步骤3)获取cache.dat文件在对应的卷上所占空间的信息,具体为cache.dat文件在缓存卷上所占用的磁盘位图(bitmap)信息,即占用了缓存卷的哪些磁盘块,这个cache.dat文件所占的磁盘位图信息,称之为缓存文件位图信息。
如图1所示,是cache.dat文件在缓存卷上的位图信息。
过滤步骤4)将cache.dat文件进行分区格式化等操作,并创建出一个新的基于cache.dat文件的卷,捕获的系统中所有卷上的数据变化都临时存放到该卷上。
过滤步骤5)在捕获缓存卷的数据变化的时候,对变化的数据的位置信息与缓存文件位图信息进行比较,如果变化的数据信息不属于缓存文件位图信息,则认为这个变化的数据是有效的,并进行进一步处理,否则认为变化的数据是无效的,进行过滤掉,不进行进一步的处理。
综上所述,本发明一种云迁移快速主机启动方法,有效地解决了云迁移或者容灾过程中云主机启动太慢的问题。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (3)

1.一种基于块级别连续数据保护的缓存空间过滤方法,包括如下步骤:
步骤1)保护系统中需要保护的卷;
步骤2)设置缓存空间;即需要把缓存空间设置到哪一个卷上,称这个卷为缓存卷;
步骤3)过滤缓存空间,即过滤缓存空间中的数据变化,阻止由于缓存空间的数据变化引起的虚假的数据变化。
2.如权利要求1所述的一种基于块级别连续数据保护的缓存空间过滤方法,其特征在于使用了一个文件来作为缓存空间,并将该文件挂载到系统(Windows以及Linux)作为一个正常的卷来使用。
3.如权利2所述的将文件挂载到系统作为卷使用,其特征在于并将该文件的位图信息进行过滤。
CN202011295969.8A 2020-11-18 2020-11-18 一种基于块级别连续数据保护的缓存空间过滤方法 Active CN114546244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011295969.8A CN114546244B (zh) 2020-11-18 2020-11-18 一种基于块级别连续数据保护的缓存空间过滤方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011295969.8A CN114546244B (zh) 2020-11-18 2020-11-18 一种基于块级别连续数据保护的缓存空间过滤方法

Publications (2)

Publication Number Publication Date
CN114546244A true CN114546244A (zh) 2022-05-27
CN114546244B CN114546244B (zh) 2023-11-03

Family

ID=81660506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011295969.8A Active CN114546244B (zh) 2020-11-18 2020-11-18 一种基于块级别连续数据保护的缓存空间过滤方法

Country Status (1)

Country Link
CN (1) CN114546244B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766845A (zh) * 2005-11-30 2006-05-03 吴晓栋 一种实现系统高度安全和可恢复的文件系统的方法
US20080201391A1 (en) * 2007-02-15 2008-08-21 Hiroshi Arakawa Methods and apparatus for adjusting a journal area for continuous data protection
CN101482838A (zh) * 2009-02-06 2009-07-15 杭州华三通信技术有限公司 基于写时拷贝的数据写入方法及设备
US20100005259A1 (en) * 2008-07-03 2010-01-07 Anand Prahlad Continuous data protection over intermittent connections, such as continuous data backup for laptops or wireless devices
CN103064766A (zh) * 2013-01-07 2013-04-24 天津火星科技有限公司 一种持续数据保护技术中数据快速同步方法
CN104407940A (zh) * 2014-11-26 2015-03-11 上海爱数软件有限公司 一种快速恢复cdp系统的方法
CN104866435A (zh) * 2015-06-06 2015-08-26 成都云祺科技有限公司 一种连续数据保护方法
US9432298B1 (en) * 2011-12-09 2016-08-30 P4tents1, LLC System, method, and computer program product for improving memory systems
CN107735774A (zh) * 2015-05-05 2018-02-23 华为技术有限公司 一种smr感知只追加文件系统
CN109669818A (zh) * 2018-12-20 2019-04-23 广州鼎甲计算机科技有限公司 无本地缓存的连续数据保护方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766845A (zh) * 2005-11-30 2006-05-03 吴晓栋 一种实现系统高度安全和可恢复的文件系统的方法
US20080201391A1 (en) * 2007-02-15 2008-08-21 Hiroshi Arakawa Methods and apparatus for adjusting a journal area for continuous data protection
US20100005259A1 (en) * 2008-07-03 2010-01-07 Anand Prahlad Continuous data protection over intermittent connections, such as continuous data backup for laptops or wireless devices
CN101482838A (zh) * 2009-02-06 2009-07-15 杭州华三通信技术有限公司 基于写时拷贝的数据写入方法及设备
US9432298B1 (en) * 2011-12-09 2016-08-30 P4tents1, LLC System, method, and computer program product for improving memory systems
CN103064766A (zh) * 2013-01-07 2013-04-24 天津火星科技有限公司 一种持续数据保护技术中数据快速同步方法
CN104407940A (zh) * 2014-11-26 2015-03-11 上海爱数软件有限公司 一种快速恢复cdp系统的方法
CN107735774A (zh) * 2015-05-05 2018-02-23 华为技术有限公司 一种smr感知只追加文件系统
CN104866435A (zh) * 2015-06-06 2015-08-26 成都云祺科技有限公司 一种连续数据保护方法
CN109669818A (zh) * 2018-12-20 2019-04-23 广州鼎甲计算机科技有限公司 无本地缓存的连续数据保护方法和系统

Also Published As

Publication number Publication date
CN114546244B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US20210157523A1 (en) Storage system
US11550675B2 (en) Remote data replication method and system
US10656859B2 (en) Efficient deduplication for storage systems
US7120767B2 (en) Snapshot creating method and apparatus
US10175894B1 (en) Method for populating a cache index on a deduplicated storage system
US7895394B2 (en) Storage system
US8924664B2 (en) Logical object deletion
KR101247006B1 (ko) 데이터 보안을 위한 비휘발성 디스크 캐시
CN102012852B (zh) 一种增量写快照的实现方法
US20090216973A1 (en) Computer system, storage subsystem, and data management method
EP2333653A1 (en) Information backup/restoring apparatus and information backup/restoring system
US7624243B2 (en) Apparatus and method for protecting system data on computer hard-disk
CN106776147B (zh) 一种差异数据备份方法和差异数据备份装置
US7673096B2 (en) Control apparatus for controlling virtual storage
US20100125588A1 (en) Modifying delete notifications in a storage stack
CN112612576B (zh) 虚拟机备份方法、装置、电子设备及存储介质
JP6089890B2 (ja) ストレージ制御装置、ストレージ制御装置の制御方法およびストレージ制御装置の制御プログラム
CN115328403A (zh) 一种数据重删方法、装置、设备及存储介质
JP2015049633A (ja) 情報処理装置、データ修復プログラム、及びデータ修復方法
US9798793B1 (en) Method for recovering an index on a deduplicated storage system
CN114546244A (zh) 一种基于块级别连续数据保护的缓存空间过滤方法
CN110362424B (zh) 一种基于连续数据保护的快速恢复方法和系统
US10204002B1 (en) Method for maintaining a cache index on a deduplicated storage system
CN105573862A (zh) 一种恢复文件系统的方法和设备
US10289307B1 (en) Method for handling block errors on a deduplicated storage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant