CN108804248A - 一种卷实时保护数据的自动校验方法 - Google Patents

一种卷实时保护数据的自动校验方法 Download PDF

Info

Publication number
CN108804248A
CN108804248A CN201710310114.XA CN201710310114A CN108804248A CN 108804248 A CN108804248 A CN 108804248A CN 201710310114 A CN201710310114 A CN 201710310114A CN 108804248 A CN108804248 A CN 108804248A
Authority
CN
China
Prior art keywords
data
disk
powershadow
verification
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710310114.XA
Other languages
English (en)
Other versions
CN108804248B (zh
Inventor
付睿智
俞训峰
谢亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace One System (Jiangsu) Information Technology Co.,Ltd.
Original Assignee
Nanjing Basic Information Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Basic Information Technology Ltd By Share Ltd filed Critical Nanjing Basic Information Technology Ltd By Share Ltd
Priority to CN201710310114.XA priority Critical patent/CN108804248B/zh
Publication of CN108804248A publication Critical patent/CN108804248A/zh
Application granted granted Critical
Publication of CN108804248B publication Critical patent/CN108804248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0712—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种卷实时保护数据的自动校验方法，包括：通过策略自动校验卷实时保护生成的备份数据的一致性状态、系统日志、服务状态、数据库查询等，判断映射过来的系统盘视图和数据盘视图数据的完整性，保证卷实时保护生成的备份数据在恢复后的可用性，及时发现备份数据的问题，降低现有人工演练校验的技术要求和人工成本，增加演练校验的频率；本发明直接在生产环境影子系统中进行数据校验，校验项目更全面，可信程度更高。

Description

一种卷实时保护数据的自动校验方法
技术领域
本发明涉及数据保护以及灾难恢复技术领域，尤其涉及一种卷实时保护数据的自动校验方法。
背景技术
近年来，对数据卷实现粒度保护的技术已成为数据灾备的一种趋势，它通过给生产服务器安装卷过滤驱动，对卷的所有IO操作进行监控和截获，形成具有时间戳的IO日志记录并保存到备份存储，具有如下优点：第一，该方法与文件类型和数据类型无关；第二，该方法适用于海量文件，不存在海量文件备份效率低的问题；第三，该方法可以将备份数据生成卷视图挂进行挂载，挂载后可临时接替生产磁盘卷，也可以实现文件粒度恢复。
上述卷实时保护产生的备份数据，一般有两种方法对备份数据进行校验：
方法一，根据政策要求每年至少进行两次人工参与的数据恢复演练，确保备份数据的完整性与可用性。
方法二，在灾备系统中对每一次产生的IO日志记录计算校验，将备份数据传输到备份存储后，再在备份存储服务器定期进行校验和计算，如果校验一致则认为备份数据是完整的。
上述方法一，人工进行数据恢复演练具有如下缺点：
(1)人工进行数据恢复演练对企业或单位来说，增加人员成本，而且对操作人员的技术要求比较高，需要熟悉灾备系统，同时也需要熟悉生产服务器的应用系统。通常在企业或单位并不具备这样的专业人才，如果从灾备厂商购买服务，又会带来额外的成本。
(2)人工进行数据恢复演练的次数有限，也会因为缺乏监督导致遗忘未进行这项工作，导致备份数据出现不完整时不能及时发现。
上述方法二，通过备份服务器程序模块进行定期校验和计算，可以确保备份数据的完整性，避免因为备份存储系统损坏导致的备份数据的不可恢复，但是无法发现对IO操作监控和截获是否完整，因此还是存在备份数据恢复不可用的可能。
发明内容
为解决上述问题，本发明提供了一种卷实时保护数据的自动校验方法，包括以下步骤：
步骤一，在生产服务器安装卷级实时保护代理程序，同时安装虚拟化平台硬件驱动。
步骤二，根据生产服务器配置创建一台虚拟机作为生产服务器的影子系统，不创建磁盘。网络设置为演练专用网络，避免所述影子系统启动后与原生网络中生产服务器的IP地址冲突。
步骤三，通过卷级实时保护模块服务端提供的创建卷备份数据时间点磁盘视图接口，映射磁盘视图到虚拟机。
所述创建的卷备份数据时间点磁盘视图是一个虚拟磁盘，可以挂载到虚拟机中看作真实磁盘使用。
步骤四，自动校验程序模块在策略设定的时间点先创建系统盘和数据盘备份数据的当前时间点的磁盘视图，映射系统盘视图和数据盘视图到影子系统作为虚拟机磁盘，再打开影子系统。
步骤五，影子系统启动完成后，自动校验模块通过演练专用网络与影子系统进行TCP通讯，导入校验脚本，校验卷文件一致性状态、校验系统日志、服务状态、数据库查询等。
由于自动校验是在和原生产系统一样的环境中进行，如系统不能启动、数据库不能启动、应用相关的服务启动失败等可以快速被发现，从而及时发现映射过来磁盘视图数据不完整，也就是卷实时保护产生的备份数据不可用。
步骤六，校验完成，自动关闭影子系统，删除磁盘视图。返回校验报告，通过邮件将校验报告发送给管理员。
本发明所公开的方法，同现有技术相比，本发明有如下有益效果：
通过程序模块实现自动校验，降低现有人工演练校验的技术要求和人工成本；
增加演练校验的频率，及时发现备份数据的问题；
直接在生产环境的影子系统中进行数据校验，有效检测IO操作监控和截获完整性，校验更全面，更可靠。
附图说明
图1为一种卷实时保护数据的自动校验方法拓扑图
图2为一种卷实时保护数据的自动校验方法流程图
具体实施方式
本发明通过策略自动校验对数据卷实时保护生成的备份数据在恢复后的可用性，及时发现在对数据卷进行实时保护过程中出现的备份数据不完整问题，保证在灾难发生时进行数据恢复的成功率，降低现有人工演练校验的技术要求和人工成本。
下面结合附图对本发明的技术方案进行详细说明。
图1为一种卷实时保护数据的自动校验方法拓扑图。
图2为一种卷实时保护数据的自动校验方法流程图。
如图1所示，步骤一，在生产服务器安装卷级实时保护代理程序，同时安装虚拟化平台硬件驱动。
步骤二，根据生产服务器配置创建一台虚拟机作为生产服务器的影子系统，不创建磁盘，网络设置为演练专用网络，避免所述影子系统启动后与原生网络中生产服务器的IP地址冲突。
步骤三，在备份存储服务器中安装卷级实时保护模块服务端，通过创建卷备份数据时间点磁盘视图接口，可以映射磁盘视图到所述影子系统。
所述备份存储服务器包括系统盘和数据盘，所述备份数据存储在数据盘中，所述备份数据包括生产服务器的系统盘和数据盘的备份数据。
所述创建的时间点磁盘视图是一个虚拟磁盘，可以挂载到所述影子系统中作为真实磁盘使用。
步骤四，如图2所述，通过自动校验模块设定自动校验进行的时间点，按分钟、小时、天、周、月进行设置。
所述自动校验程序模块在策略设定的时间点先创建系统盘和数据盘备份数据的当前时间点的磁盘视图，映射系统盘视图和数据盘视图到所述影子系统作为虚拟机磁盘，再启动影子系统。
所述自动校验程序模块可以安装虚拟机中。
由于系统盘上已经安装有虚拟化平台的硬件驱动，所以影子系统可以成功启动，不会出现蓝屏崩溃现象。
步骤五，所述影子系统启动完成后，自动校验模块通过演练专用网络与影子系统进行TCP通讯，导入校验脚本，校验卷文件一致性状态、校验系统日志、服务状态、数据库查询等。
由于自动校验是在和原生产系统一样的环境中进行，如系统不能启动、数据库不能启动、应用相关的服务启动失败等可以快速被发现，从而及时发现映射过来的磁盘视图数据不完整，也就是卷实时保护产生的备份数据不可用。
假设，当前生产服务器的数据为2017年1月1日12点时的数据A，卷级实时保护代理程序将数据A备份到备份存储服务器的数据盘中，形成备份数据A’。
所述自动校验程序模块设定每天的12点创建系统盘和数据盘备份数据的当前时间点的磁盘视图，因此即创建生产服务器12点的备份数据的磁盘视图，映射当前12点的备份数据A’的磁盘视图到影子系统作为虚拟机磁盘，形成影子系统上的数据A”。
所述影子系统启动完成后，所述自动校验模块通过演练专用网络与影子系统进行TCP通讯，导入校验脚本，观察2017年1月1日12点这个时间点，影子系统是否可以正常启动、运行。如果出现系统不能启动、数据库不能启动、应用相关的服务启动失败，查询相关数据失败等，即可判断映射过来的磁盘视图数据不完整，也就是卷实时保护产生的2017年1月1日12点时备份数据A’不可用。
步骤六，校验完成，自动关闭影子系统，删除当前时间点的磁盘视图。返回校验报告，通过邮件将校验报告发送给管理员。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种卷实时保护数据的自动校验方法，其特征在于，包括以下步骤：
步骤一，在生产服务器安装卷级实时保护代理程序，同时安装虚拟化平台硬件驱动；
步骤二，根据所述生产服务器配置创建一台虚拟机作为所述生产服务器的影子系统；
步骤三，通过卷级实时保护模块服务端创建卷备份数据时间点的磁盘视图接口，映射磁盘视图到所述虚拟机；
步骤四，自动校验程序模块在策略设定的时间点创建所述生产服务器系统盘和数据盘的卷备份数据当前时间点的磁盘视图，映射所述系统盘视图和数据盘视图到所述影子系统作为虚拟机磁盘，然后启动影子系统；
步骤五，所述影子系统启动完成后，自动校验模块通过演练专用网络与影子系统进行TCP通讯，导入校验脚本，校验卷文件一致性状态、系统日志、服务状态、数据库查询等；
步骤六，校验完成，自动关闭影子系统，删除所述系统盘视图和数据盘视图，返回报告，并通过邮件将校验报告发送给管理员。
2.根据权利要求1所述的方法，其特征在于：所述影子系统，网络设置为演练专用网络，避免所述影子系统启动后与原生网络中生产服务器的IP地址冲突。
3.根据权利要求1所述的方法，其特征在于：所述影子系统，不创建磁盘。
4.根据权利要求1所述的方法，其特征在于：所述卷级实时保护模块服务端安装在备份存储服务器中，所述生产服务器系统盘和数据盘的备份数据存储在备份存储服务器数据盘。
5.根据权利要求1所述的方法，其特征在于：所述创建的卷备份数据时间点磁盘视图是一个虚拟磁盘，可以挂载到虚拟机中看作真实磁盘使用。
6.根据权利要求1所述的方法，其特征在于：当所述影子系统出现系统不能启动、数据库不能启动、应用相关的服务启动失败、查询相关数据失败等，可以判断映射过来的所述系统盘视图和数据盘视图数据不完整，即可以说明所述备份存储服务器的备份数据不可用，实现校验数据有效性的目的，保证灾难发生时进行数据恢复的成功率。
CN201710310114.XA 2017-04-28 2017-04-28 一种卷实时保护数据的自动校验方法 Active CN108804248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710310114.XA CN108804248B (zh) 2017-04-28 2017-04-28 一种卷实时保护数据的自动校验方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710310114.XA CN108804248B (zh) 2017-04-28 2017-04-28 一种卷实时保护数据的自动校验方法

Publications (2)

Publication Number Publication Date
CN108804248A true CN108804248A (zh) 2018-11-13
CN108804248B CN108804248B (zh) 2021-07-06

Family

ID=64054394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710310114.XA Active CN108804248B (zh) 2017-04-28 2017-04-28 一种卷实时保护数据的自动校验方法

Country Status (1)

Country Link
CN (1) CN108804248B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730095A (zh) * 2019-10-09 2020-01-24 北京华电天仁电力控制技术有限公司 一种面向云计算平台的数据安全应急演练方法和系统
CN112463042A (zh) * 2020-11-19 2021-03-09 苏州浪潮智能科技有限公司 一种数据卷导入数据校验方法、装置、终端及存储介质
CN112583671A (zh) * 2020-12-14 2021-03-30 上海英方软件股份有限公司 一种通过代理网关对虚拟机进行演练的方法及系统
CN112596948A (zh) * 2020-12-21 2021-04-02 深圳市科力锐科技有限公司 一种数据库集群数据备份方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414277A (zh) * 2008-11-06 2009-04-22 清华大学 一种基于虚拟机的按需增量恢复容灾系统及方法
CN101635638A (zh) * 2008-07-25 2010-01-27 中兴通讯股份有限公司 一种容灾系统及其容灾方法
CN101800730A (zh) * 2009-02-09 2010-08-11 国际商业机器公司 安全增强的虚拟机通信方法和虚拟机系统
US20100318991A1 (en) * 2009-06-15 2010-12-16 Vmware, Inc. Virtual Machine Fault Tolerance
CN102088490A (zh) * 2011-01-19 2011-06-08 华为技术有限公司 数据存储方法、设备和系统
US7971091B1 (en) * 2006-05-02 2011-06-28 Emc Corporation Network configuration backup and restore operations using continuous data protection
US20120159248A1 (en) * 2010-12-17 2012-06-21 Oracle International Corporation Diagnostic framework for use with application servers and virtual machines
CN103870362A (zh) * 2014-03-21 2014-06-18 华为技术有限公司 一种数据恢复方法、装置及备份系统
CN105022656A (zh) * 2014-04-21 2015-11-04 中国电信股份有限公司 虚拟机快照管理方法和装置
CN105786633A (zh) * 2016-02-26 2016-07-20 四川效率源信息安全技术股份有限公司 一种西数硬盘固件区虚拟方法
CN106126370A (zh) * 2016-06-15 2016-11-16 上海爱数信息技术股份有限公司 基于存储快照之间增量位图的Server‑free备份方法及系统
US20160350205A1 (en) * 2007-10-19 2016-12-01 Kubisys Inc. Concurrent execution of a first instance and a cloned instance of an application
CN205792734U (zh) * 2016-07-13 2016-12-07 袁凌 一种面向云计算的灾难恢复演练系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7971091B1 (en) * 2006-05-02 2011-06-28 Emc Corporation Network configuration backup and restore operations using continuous data protection
US20160350205A1 (en) * 2007-10-19 2016-12-01 Kubisys Inc. Concurrent execution of a first instance and a cloned instance of an application
CN101635638A (zh) * 2008-07-25 2010-01-27 中兴通讯股份有限公司 一种容灾系统及其容灾方法
CN101414277A (zh) * 2008-11-06 2009-04-22 清华大学 一种基于虚拟机的按需增量恢复容灾系统及方法
CN101800730A (zh) * 2009-02-09 2010-08-11 国际商业机器公司 安全增强的虚拟机通信方法和虚拟机系统
US20100318991A1 (en) * 2009-06-15 2010-12-16 Vmware, Inc. Virtual Machine Fault Tolerance
US20120159248A1 (en) * 2010-12-17 2012-06-21 Oracle International Corporation Diagnostic framework for use with application servers and virtual machines
CN102088490A (zh) * 2011-01-19 2011-06-08 华为技术有限公司 数据存储方法、设备和系统
CN103870362A (zh) * 2014-03-21 2014-06-18 华为技术有限公司 一种数据恢复方法、装置及备份系统
CN105022656A (zh) * 2014-04-21 2015-11-04 中国电信股份有限公司 虚拟机快照管理方法和装置
CN105786633A (zh) * 2016-02-26 2016-07-20 四川效率源信息安全技术股份有限公司 一种西数硬盘固件区虚拟方法
CN106126370A (zh) * 2016-06-15 2016-11-16 上海爱数信息技术股份有限公司 基于存储快照之间增量位图的Server‑free备份方法及系统
CN205792734U (zh) * 2016-07-13 2016-12-07 袁凌 一种面向云计算的灾难恢复演练系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIRK MEISTER: "A study on data deduplication in HPC storage systems", 《SC "12: PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON HIGH PERFORMANCE COMPUTING, NETWORKING, STORAGE AND ANALYSIS》 *
王欢，李战怀，张晓: "支持连续数据保护的云备份系统架构设计", 《计算机工程与应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730095A (zh) * 2019-10-09 2020-01-24 北京华电天仁电力控制技术有限公司 一种面向云计算平台的数据安全应急演练方法和系统
CN112463042A (zh) * 2020-11-19 2021-03-09 苏州浪潮智能科技有限公司 一种数据卷导入数据校验方法、装置、终端及存储介质
CN112463042B (zh) * 2020-11-19 2022-08-12 苏州浪潮智能科技有限公司 一种数据卷导入数据校验方法、装置、终端及存储介质
CN112583671A (zh) * 2020-12-14 2021-03-30 上海英方软件股份有限公司 一种通过代理网关对虚拟机进行演练的方法及系统
CN112583671B (zh) * 2020-12-14 2022-03-25 上海英方软件股份有限公司 一种通过代理网关对虚拟机进行演练的方法及系统
CN112596948A (zh) * 2020-12-21 2021-04-02 深圳市科力锐科技有限公司 一种数据库集群数据备份方法、装置、设备及存储介质
CN112596948B (zh) * 2020-12-21 2024-04-02 深圳市科力锐科技有限公司 一种数据库集群数据备份方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108804248B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN108255641B (zh) 一种基于云平台的cdp容灾方法
CN108804248A (zh) 一种卷实时保护数据的自动校验方法
CN105389230B (zh) 一种结合快照技术的持续数据保护系统及方法
CN102981931B (zh) 虚拟机备份方法及装置
US8359491B1 (en) Disaster recovery rehearsal using copy on write
CN104679611B (zh) 数据资源复制方法以及装置
CN105550062B (zh) 基于持续数据保护与时间点浏览恢复的数据回流方法
CN105468476B (zh) 基于hdfs的数据灾备系统
WO2020088533A1 (zh) 虚拟化平台的容灾方法及装置
CN103780417B (zh) 一种基于云硬盘的数据库故障转移方法及装置
US20070198610A1 (en) System and method for backing up a database
CN103530204B (zh) 一种实时数据备份方法及系统
WO2008092912A1 (en) System and method of error recovery for backup applications
JP2009507280A (ja) Ｉｄ保存を介するエンタープライズサービス利用可能性
CN105373899A (zh) 一种服务器资产管理的方法及装置
CN105117263B (zh) 一种unix环境软件系统升级方法
CN107203440A (zh) 一种一体化实时备份容灾系统及搭建方法
CN111966467B (zh) 基于kubernetes容器平台灾备的方法及装置
CN105446831A (zh) 一种结合SAN的Server-Free备份方法
US11494130B2 (en) Operation data accessing device and accessing method thereof
CN111177122A (zh) 一种数据库备份方法、装置、设备及计算机可读存储介质
WO2013113220A1 (zh) 一种网管配置数据备份恢复功能的方法及装置
CN103516734A (zh) 数据处理方法、设备和系统
CN114356654A (zh) 备份系统、备份方法、装置、计算机设备和存储介质
CN112948484A (zh) 分布式数据库系统和数据灾备演练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210032 9-10 / F, No.1 building, Changfeng building, No.14 Xinghuo Road, Jiangbei new district, Nanjing City, Jiangsu Province

Applicant after: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 3rd floor, building C, building 5, Baixia high tech park, No.5 Yongzhi Road, Qinhuai District, Nanjing

Applicant before: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Building 1, 6th Floor, Changfeng Building, No.14 Xinghuo Road, Research and Innovation Park, Jiangbei New District, Nanjing City, Jiangsu Province, 210000

Patentee after: Aerospace One System (Jiangsu) Information Technology Co.,Ltd.

Address before: 210032 9-10 / F, No.1 building, Changfeng building, No.14 Xinghuo Road, Jiangbei new district, Nanjing City, Jiangsu Province

Patentee before: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd.