CN109582497B - 一种基于动态数据增量快速应急启动方法 - Google Patents
一种基于动态数据增量快速应急启动方法 Download PDFInfo
- Publication number
- CN109582497B CN109582497B CN201811379278.9A CN201811379278A CN109582497B CN 109582497 B CN109582497 B CN 109582497B CN 201811379278 A CN201811379278 A CN 201811379278A CN 109582497 B CN109582497 B CN 109582497B
- Authority
- CN
- China
- Prior art keywords
- emergency
- starting
- snapshot
- data
- service system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000011084 recovery Methods 0.000 claims abstract description 54
- 238000004519 manufacturing process Methods 0.000 claims abstract description 18
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 5
- 230000001066 destructive effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
- Retry When Errors Occur (AREA)
Abstract
本发明公开了一种基于动态数据增量快速应急启动方法,采用Near CDP数据保护技术,动态抓取底层块级数据变化,并实时记录当前时间戳下的数据状态,保存增量快照,提供特定任意历史时刻的数据恢复能力。针对服务器硬盘损坏或其操作系统故障,动态选择本地应急、P2V和SANBoot的应急启动技术将已备份到CDP存储空间的系统数据快照映射至前端目标物理服务器或虚拟服务器,作为主磁盘重新启动应用系统,快速上线恢复应用服务器的业务系统,将历史数据恢复至系统崩溃之前的业务系统,达到分钟级系统数据快速恢复效果。与现有技术相比,本发明利用快速应急启动技术可以使业务系统崩溃时系统的宕机时间在10分钟之内就可继续提供服务,简单快速地恢复生产,从而提高了应急启动的效率、避免了业务系统崩溃所带来的毁灭性后果。
Description
技术领域
本发明属于计算机信息存储技术领域,具体是一种基于动态数据增量快速应急启动方法。
背景技术
随着信息社会、大数据时代的到来,信息系统在IT信息产业的生产运转中扮演着越来越重要的角色。业务运行对数据的依赖达到前所未有的高度,业务系统数据逐渐成为核心资产之一。因此,对于业务数据以及业务运行平台的保护,成为当今IT信息产业建设的重点。
传统的冗余数据保护技术,在对磁盘数据进行了周全的保护后,若磁盘发生了紧急故障急需恢复数据,需要先将冗余磁盘取出,将其上的数据资源先拷贝到另一台设备上,再将该设备接入原有环境中,不同的文件系统、应用需要安装不同的备份代理,安装和操作都十分繁琐,这个过程将耗费大量的时间,导致数小时甚至数天的业务中断,而对业务系统具有高度连续性要求的应用系统根本无法忍受如此长时间的业务停机。正是由于上述制约,现有的冗余数据保护技术,仍无法进行良好的应用。因此如何减少大型数据中心的业务系统宕机时间和提高在数据丢失、业务系统中断的情况下进行快速恢复启动时的效率是一个迫切需要解决的问题。
发明内容
本发明公开一种基于动态数据增量快速应急启动方法,应用基于指定时间点快速恢复思想的持续数据保护Near CDP技术模型,动态抓取底层块级数据变化,并实时记录当前时间戳下的数据状态,保存增量快照,提供特定任意历史时刻的数据恢复能力,结合快速应急启动技术,针对业务系统故障的各种突发故障,应用实现不同类型故障的恢复技术,实现动态选择应急启动恢复方式,将已备份到CDP存储空间的系统数据快照映射至前端目标物理服务器或虚拟服务器,作为主系统磁盘重新启动应用系统,快速上线恢复应用服务器的业务系统,将历史数据恢复至系统崩溃之前的业务系统,达到分钟级系统数据快速恢复效果,简单快速地恢复生产,从而提高了应急启动的效率、避免业务系统崩溃的毁灭性后果。
本发明方法的具体步骤是:
步骤(1):业务系统发生故障,开启应急恢复来获取历史增量快照信息;
步骤(2):根据步骤(1)获取到的快照信息,选择系统崩溃时间相应的快照时间点,得到相应时间点的CDP快照;
步骤(3):根据步骤(2)获取得到的快照数据块,动态选择业务系统应急启动策略;
步骤(4):根据步骤(3)所得的应急启动策略,利用CDP快照恢复磁盘进行业务系统的快速应急启动并接入故障业务系统;
较佳地,在所述步骤(3)之后,该方法进一步包括:
步骤(5):选择本地应急启动策略后,根据所选择CDP快照,将业务系统数据恢复到本地KVM虚拟机中;
步骤(6):判断恢复系统的启动方式是否和源业务系统相同,若是,执行步骤(7),否则,执行步骤(8);
步骤(7):直接应急启动KVM,接入生产业务系统;
步骤(8):更改应急启动系统的启动项,应急启动KVM,接入生产业务系统;
较佳地,在所述步骤(3)之后,该方法进一步包括:
步骤(9):选择P2V应急启动策略后,判断是否存在未分配磁盘的虚拟机,若是,执行步骤(10),否则,执行步骤(11);
步骤(10):获取目标虚拟主机恢复通道,建立iSCSI/FC链路连接;
步骤(11):创建未分配磁盘的新虚拟机,获取当前虚拟主机恢复通道,建立iSCSI/FC链路连接;
步骤(12):将根据CDP快照所恢复的磁盘映射添加至未分配磁盘的目标虚拟机;
步骤(13):目标虚拟机适配源盘系统,修改虚拟机引导项、CHS值等配置;
步骤(14):应急启动目标虚拟机,接入生产业务系统;
较佳地,在所述步骤(3)之后,该方法进一步包括:
步骤(15):选择SANBoot应急启动策略后,判断应急恢复启动机器配置是否与故障机器相同,若是,执行步骤(16),否则,执行步骤(17);
步骤(16):获取目标物理主机恢复通道,建立iSCSI/FC链路连接;
步骤(17):更换应急启动机器的磁盘等配置,获取目标物理主机恢复通道,建立iSCSI/FC链路连接;
步骤(18):更改应急启动系统的启动项,应急启动目标物理主机,接入生产业务系统。
本发明的有益效果:
本发明采用Near CDP数据保护技术,动态抓取底层块级数据变化,并实时记录当前时间戳下的数据状态,保存增量快照,提供特定任意历史时刻的数据恢复能力。针对服务器硬盘损坏或其操作系统故障,动态选择本地应急、P2V和SANBoot的应急启动技术将已备份到CDP存储空间的系统数据快照映射至前端目标物理服务器或虚拟服务器,作为主磁盘重新启动应用系统,快速上线恢复应用服务器的业务系统,将历史数据恢复至系统崩溃之前的业务系统,达到分钟级系统数据快速恢复效果,使业务系统崩溃时系统的宕机时间降到最低,减少生产恢复所需要的时间,提高业务系统的稳定性和健壮性。
附图说明
图1为CDP结合不同应急恢复技术的流程图;
图2为CDP引擎快照恢复的流程图;
图3为CDP快照数据集结构的示意图;
图4为windows下的系统不同方式的恢复时间示意图;
图5为linux下的系统不同方式的恢复时间示意图。
具体实施方式
本发明主要是应用基于指定时间点快速恢复思想的持续数据保护Near CDP技术模型,动态抓取底层块级数据变化,并实时记录当前时间戳下的数据状态,保存增量快照,提供特定任意历史时刻的数据恢复能力,结合快速应急启动技术,针对业务系统故障的各种突发故障,应用实现不同类型故障的恢复技术,实现动态选择应急启动恢复方式,将已备份到CDP存储空间的系统数据快照映射至前端目标物理服务器或虚拟服务器,作为主系统磁盘重新启动应用系统,快速上线恢复应用服务器的业务系统,将历史数据恢复至系统崩溃之前的业务系统,达到分钟级系统数据快速恢复效果,简单快速地恢复生产,从而提高了应急启动的效率、避免业务系统崩溃的毁灭性后果。整个技术的流程图如图一所示。
参加图1-3,本发明方法的具体步骤是:
步骤(1):业务系统发生故障,开启应急恢复来获取历史增量快照信息;
步骤(2):根据步骤(1)获取到的快照信息,选择系统崩溃时间相应的快照时间点,得到相应时间点的CDP快照;
步骤(3):根据步骤(2)获取得到的快照数据块,动态选择业务系统应急启动策略;
步骤(4):根据步骤(3)所得的应急启动策略,利用CDP快照恢复磁盘进行业务系统的快速应急启动并接入故障业务系统,CDP快照恢复磁盘的具体实现如图2所示,包括以下步骤:
1)开启CDP恢复任务,判断CDP快照点是否处于激活状态,若是,执行步骤2),否则,重新开启CDP恢复任务;
2)CDP引擎发起读I/O请求,顺序读取CDP快照元数据设备,形成快照元数据设备数据块的更新数据块映射;
3)遍历并读取快照中的数据块记录集中存储的元数据信息;
4)分析快照数据块,获取增量快照Bitmap表,如图3所示,快照数据集中包括:快照数据集总长、CDP快照类型、系统UUID、系统块大小、状态、快照点时间戳和数据块偏移位置,快照数据集说明如下:
数据集总长:快照数据块中存储的数据总大小;
CDP快照类型:快照保存的方式是写时复制或者是写时重定向机制,决定了数据的读写方式;
系统UUID:保存着源系统的标识符号,保证系统空间和时间上的唯一性;
系统块大小:源文件系统下的一个block大小,多个扇区组成;
状态:快照处于可用状态还是非可用状态,确定快照的完整、可用性;
快照点时间戳:CDP快照记录的时间,用来确定指定时间点的恢复;
数据块偏移位置:记录快照数据块的偏移位置,根据偏移值进行快照的写入恢复。
5)CDP引擎发送写I/O请求,判断是否存在新磁盘,若存在,则执行步骤6),否则在,执行步骤7);
6)根据快照数据块偏移位置、偏移值来恢复丢失数据至新磁盘;
7)创建或更换新磁盘,完成之后执行步骤6);
8)判断是否覆盖快照点时间戳,若是,说明CDP元数据设备中的所有数据均已读出和写入完毕,结束恢复流程,否则,重新执行步骤2)。
步骤(5):选择本地应急启动策略后,根据所选择CDP快照,将业务系统数据恢复到本地KVM虚拟机中;
步骤(6):判断恢复系统的启动方式是否和源业务系统相同,若是,执行步骤(7),否则,执行步骤(8);
步骤(7):直接应急启动KVM,接入生产业务系统;
步骤(8):更改应急启动系统的启动项,应急启动KVM,接入生产业务系统;
步骤(9):选择P2V应急启动策略后,判断是否存在未分配磁盘的虚拟机,若是,执行步骤(10),否则,执行步骤(11);
步骤(10):获取目标虚拟主机恢复通道,建立iSCSI/FC链路连接;
步骤(11):创建未分配磁盘的新虚拟机,获取当前虚拟主机恢复通道,建立iSCSI/FC链路连接;
步骤(12):将根据CDP快照所恢复的磁盘映射添加至未分配磁盘的目标虚拟机;
步骤(13):目标虚拟机适配源盘系统,修改虚拟机引导项、CHS值等配置;
步骤(14):应急启动目标虚拟机,接入生产业务系统;
较佳地,在所述步骤(3)之后,该方法进一步包括:
步骤(15):选择SANBoot应急启动策略后,判断应急恢复启动机器配置是否与故障机器相同,若是,执行步骤(16),否则,执行步骤(17);
步骤(16):获取目标物理主机恢复通道,建立iSCSI/FC链路连接;
步骤(17):更换应急启动机器的磁盘等配置,获取目标物理主机恢复通道,建立iSCSI/FC链路连接;
步骤(18):更改应急启动系统的启动项,应急启动目标物理主机,接入生产业务系统。
下面结合附图和实施例对本发明进行进一步介绍。
本实施例是根据不同业务系统环境下的恢复启动时间测试,业务系统环境的相关配置见表1。
表1:业务系统环境
描述 | 配置1 | 配置2 |
操作系统 | windows2008r2 | rhel6.3 |
数据库、业务系统 | sqlserver | oracle |
本实施例分别使用三种方式进行应急恢复磁盘数据,得到在不同环境下的业务系统启动时间,如图3、4所示。在利用CDP快照结合不同快速方式来启动恢复系统的时候,可以看到在本地应急的方式下启动时间最少,P2V其次,SANBoot由于需要配置机器BIOS界面,所花费时间相对较多。各种方式的总启动时间在10分钟之内就完成,达到分钟级业务系统数据快速恢复生产效果,从而提高了应急启动的效率,减少了业务系统崩溃宕机所造成的损失。
应该理解到的是:上述实施例只是对本发明的说明,而不是对本发明的限制,任何不超出本发明实质精神范围内的发明创造,均落入本发明的保护范围之内。
Claims (1)
1.一种基于动态数据增量快速应急启动方法,其特征在于,包括以下步骤:
步骤(1):业务系统发生故障,开启应急恢复来获取历史增量快照信息;
步骤(2):根据步骤(1)获取到的快照信息,选择系统崩溃时间相应的快照时间点,得到相应时间点的CDP快照;
步骤(3):根据步骤(2)获取得到的快照数据块,动态选择业务系统应急启动策略;
步骤(4):根据步骤(3)所得的应急启动策略,利用CDP快照恢复磁盘进行业务系统的快速应急启动并接入故障业务系统;
在所述步骤(3)中,当选择本地应急启动策略时,该方法进一步包括:
步骤(5):选择本地应急启动策略后,根据所选择CDP快照,将业务系统数据恢复到本地KVM虚拟机中;
步骤(6):判断恢复系统的启动方式是否和源业务系统相同,若是,执行步骤(7),否则,执行步骤(8);
步骤(7):直接应急启动KVM,接入生产业务系统;
步骤(8):更改应急启动系统的启动项,应急启动KVM,接入生产业务系统;
在所述步骤(3)中,当选择P2V应急启动策略时,该方法进一步包括:
步骤(9):选择P2V应急启动策略后,判断是否存在未分配磁盘的虚拟机,若是,执行步骤(10),否则,执行步骤(11);
步骤(10):获取目标虚拟主机恢复通道,建立iSCSI/FC链路连接;
步骤(11):创建未分配磁盘的新虚拟机,获取当前虚拟主机恢复通道,建立iSCSI/FC链路连接;
步骤(12):将根据CDP快照所恢复的磁盘映射添加至未分配磁盘的目标虚拟机;
步骤(13):目标虚拟机适配源盘系统,修改虚拟机引导项、CHS值等配置;
步骤(14):应急启动目标虚拟机,接入生产业务系统;
在所述步骤(3)中,当选择SANBoot应急启动策略时,该方法进一步包括:
步骤(15):选择SANBoot应急启动策略后,判断应急恢复启动机器配置是否与故障机器相同,若是,执行步骤(16),否则,执行步骤(17);
步骤(16):获取目标物理主机恢复通道,建立iSCSI/FC链路连接;
步骤(17):更换应急启动机器的磁盘等配置,获取目标物理主机恢复通道,建立iSCSI/FC链路连接;
步骤(18):更改应急启动系统的启动项,应急启动目标物理主机,接入生产业务系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811379278.9A CN109582497B (zh) | 2018-11-19 | 2018-11-19 | 一种基于动态数据增量快速应急启动方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811379278.9A CN109582497B (zh) | 2018-11-19 | 2018-11-19 | 一种基于动态数据增量快速应急启动方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109582497A CN109582497A (zh) | 2019-04-05 |
CN109582497B true CN109582497B (zh) | 2023-05-09 |
Family
ID=65923312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811379278.9A Active CN109582497B (zh) | 2018-11-19 | 2018-11-19 | 一种基于动态数据增量快速应急启动方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109582497B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112023B (zh) | 2021-06-15 | 2021-08-31 | 苏州浪潮智能科技有限公司 | AIStation推理平台的推理服务管理方法和装置 |
CN113535475A (zh) * | 2021-07-05 | 2021-10-22 | 浙江中控技术股份有限公司 | 组态对象启动方法、装置、电子装置和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101909087A (zh) * | 2010-08-20 | 2010-12-08 | 北京联创信安科技有限公司 | 一种基于快照的应用服务器远程引导方法 |
CN104461776A (zh) * | 2014-11-26 | 2015-03-25 | 上海爱数软件有限公司 | 基于CDP和iSCSI虚拟磁盘技术的应用容灾方法 |
US9189345B1 (en) * | 2013-09-25 | 2015-11-17 | Emc Corporation | Method to perform instant restore of physical machines |
CN105389230A (zh) * | 2015-10-21 | 2016-03-09 | 上海爱数信息技术股份有限公司 | 一种结合快照技术的持续数据保护系统及方法 |
CN105550063A (zh) * | 2015-12-03 | 2016-05-04 | 上海爱数信息技术股份有限公司 | 一种基于持续数据保护与kvm虚拟化的容灾方法 |
US9547562B1 (en) * | 2010-08-11 | 2017-01-17 | Dell Software Inc. | Boot restore system for rapidly restoring virtual machine backups |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9384094B2 (en) * | 2013-01-08 | 2016-07-05 | Veritas Us Ip Holdings Llc | Method and system for instant restore of system volume from a backup image |
-
2018
- 2018-11-19 CN CN201811379278.9A patent/CN109582497B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9547562B1 (en) * | 2010-08-11 | 2017-01-17 | Dell Software Inc. | Boot restore system for rapidly restoring virtual machine backups |
CN101909087A (zh) * | 2010-08-20 | 2010-12-08 | 北京联创信安科技有限公司 | 一种基于快照的应用服务器远程引导方法 |
US9189345B1 (en) * | 2013-09-25 | 2015-11-17 | Emc Corporation | Method to perform instant restore of physical machines |
CN104461776A (zh) * | 2014-11-26 | 2015-03-25 | 上海爱数软件有限公司 | 基于CDP和iSCSI虚拟磁盘技术的应用容灾方法 |
CN105389230A (zh) * | 2015-10-21 | 2016-03-09 | 上海爱数信息技术股份有限公司 | 一种结合快照技术的持续数据保护系统及方法 |
CN105550063A (zh) * | 2015-12-03 | 2016-05-04 | 上海爱数信息技术股份有限公司 | 一种基于持续数据保护与kvm虚拟化的容灾方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109582497A (zh) | 2019-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8055631B2 (en) | Reducing data loss and unavailability by integrating multiple levels of a storage hierarchy | |
US7640412B2 (en) | Techniques for improving the reliability of file systems | |
US20110022811A1 (en) | Information backup/restoration processing apparatus and information backup/restoration processing system | |
US7107486B2 (en) | Restore method for backup | |
CN102033786B (zh) | 一种对象存储系统中修复副本一致性的方法 | |
CN103605588B (zh) | 一种虚拟机磁盘备份方法 | |
EP2425344B1 (en) | Method and system for system recovery using change tracking | |
CN102063348B (zh) | 分区表信息备份方法和装置以及存储系统 | |
US20130103902A1 (en) | Method and apparatus for implementing protection of redundant array of independent disks in file system | |
US20090070539A1 (en) | Automated File Recovery Based on Subsystem Error Detection Results | |
CN104050056A (zh) | 多存储介质设备的文件系统备份 | |
CN113626261A (zh) | 一种数据备份方法、装置、设备及计算机可读存储介质 | |
CN105302667A (zh) | 基于集群架构的高可靠性数据备份与恢复方法 | |
CN104077380A (zh) | 一种重复数据删除方法、装置及系统 | |
CN109582497B (zh) | 一种基于动态数据增量快速应急启动方法 | |
US20230020366A1 (en) | Using Data Mirroring Across Multiple Regions to Reduce the Likelihood of Losing Objects Maintained in Cloud Object Storage | |
CN111984365B (zh) | 一种虚拟机虚拟磁盘双活实现方法及系统 | |
CN116414616A (zh) | 一种固态硬盘ssd故障恢复方法、ssd及系统 | |
US7529776B2 (en) | Multiple copy track stage recovery in a data storage system | |
CN116204137B (zh) | 基于dpu的分布式存储系统、控制方法、装置及设备 | |
US20060041789A1 (en) | Storage system with journaling | |
CN104205097A (zh) | 一种去重方法装置与系统 | |
CN113190179B (zh) | 提升机械硬盘使用寿命的方法、存储设备及系统 | |
CN101739308B (zh) | 映像文件的生成方法及其存放系统 | |
WO2017041670A1 (zh) | 数据修复方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 311200, 2nd Floor, Building 2, No. 371 Mingxing Road, Xiaoshan Economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Xinhe Data Technology Co.,Ltd. Address before: Room 2102, Building 1, North District, United Center, No. 501, Minhe Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province, 311200 Patentee before: Hangzhou Xinhe Data Technology Co.,Ltd. |
|
CP02 | Change in the address of a patent holder |