CN108804248B - 一种卷实时保护数据的自动校验方法 - Google Patents
一种卷实时保护数据的自动校验方法 Download PDFInfo
- Publication number
- CN108804248B CN108804248B CN201710310114.XA CN201710310114A CN108804248B CN 108804248 B CN108804248 B CN 108804248B CN 201710310114 A CN201710310114 A CN 201710310114A CN 108804248 B CN108804248 B CN 108804248B
- Authority
- CN
- China
- Prior art keywords
- disk
- data
- volume
- real
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004519 manufacturing process Methods 0.000 claims abstract description 23
- 238000005553 drilling Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 abstract description 12
- 238000013524 data verification Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000011814 protection agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0712—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a virtual computing platform, e.g. logically partitioned systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种卷实时保护数据的自动校验方法，包括：通过策略自动校验卷实时保护生成的备份数据的一致性状态、系统日志、服务状态、数据库查询等，判断映射过来的系统盘视图和数据盘视图数据的完整性，保证卷实时保护生成的备份数据在恢复后的可用性，及时发现备份数据的问题，降低现有人工演练校验的技术要求和人工成本，增加演练校验的频率；本发明直接在生产环境影子系统中进行数据校验，校验项目更全面，可信程度更高。
Description
技术领域
本发明涉及数据保护以及灾难恢复技术领域，尤其涉及一种卷实时保护数据的自动校验方法。
背景技术
近年来，对数据卷实现粒度保护的技术已成为数据灾备的一种趋势，它通过给生产服务器安装卷过滤驱动，对卷的所有IO操作进行监控和截获，形成具有时间戳的IO日志记录并保存到备份存储，具有如下优点：第一，该方法与文件类型和数据类型无关；第二，该方法适用于海量文件，不存在海量文件备份效率低的问题；第三，该方法可以将备份数据生成卷视图挂进行挂载，挂载后可临时接替生产磁盘卷，也可以实现文件粒度恢复。
上述卷实时保护产生的备份数据，一般有两种方法对备份数据进行校验：
方法一，根据政策要求每年至少进行两次人工参与的数据恢复演练，确保备份数据的完整性与可用性。
方法二，在灾备系统中对每一次产生的IO日志记录计算校验，将备份数据传输到备份存储后，再在备份存储服务器定期进行校验和计算，如果校验一致则认为备份数据是完整的。
上述方法一，人工进行数据恢复演练具有如下缺点：
(1)人工进行数据恢复演练对企业或单位来说，增加人员成本，而且对操作人员的技术要求比较高，需要熟悉灾备系统，同时也需要熟悉生产服务器的应用系统。通常在企业或单位并不具备这样的专业人才，如果从灾备厂商购买服务，又会带来额外的成本。
(2)人工进行数据恢复演练的次数有限，也会因为缺乏监督导致遗忘未进行这项工作，导致备份数据出现不完整时不能及时发现。
上述方法二，通过备份服务器程序模块进行定期校验和计算，可以确保备份数据的完整性，避免因为备份存储系统损坏导致的备份数据的不可恢复，但是无法发现对IO操作监控和截获是否完整，因此还是存在备份数据恢复不可用的可能。
发明内容
为解决上述问题，本发明提供了一种卷实时保护数据的自动校验方法，包括以下步骤：
步骤一，在生产服务器安装卷级实时保护代理程序，同时安装虚拟化平台硬件驱动。
步骤二，根据生产服务器配置创建一台虚拟机作为生产服务器的影子系统，不创建磁盘。网络设置为演练专用网络，避免所述影子系统启动后与原生网络中生产服务器的IP地址冲突。
步骤三，通过卷级实时保护模块服务端提供的创建卷备份数据时间点磁盘视图接口，映射磁盘视图到虚拟机。
所述创建的卷备份数据时间点磁盘视图是一个虚拟磁盘，可以挂载到虚拟机中看作真实磁盘使用。
步骤四，自动校验程序模块在策略设定的时间点先创建系统盘和数据盘备份数据的当前时间点的磁盘视图，映射系统盘视图和数据盘视图到影子系统作为虚拟机磁盘，再打开影子系统。
步骤五，影子系统启动完成后，自动校验模块通过演练专用网络与影子系统进行TCP通讯，导入校验脚本，校验卷文件一致性状态、校验系统日志、服务状态、数据库查询等。
由于自动校验是在和原生产系统一样的环境中进行，如系统不能启动、数据库不能启动、应用相关的服务启动失败等可以快速被发现，从而及时发现映射过来磁盘视图数据不完整，也就是卷实时保护产生的备份数据不可用。
步骤六，校验完成，自动关闭影子系统，删除磁盘视图。返回校验报告，通过邮件将校验报告发送给管理员。
本发明所公开的方法，同现有技术相比，本发明有如下有益效果：
通过程序模块实现自动校验，降低现有人工演练校验的技术要求和人工成本；
增加演练校验的频率，及时发现备份数据的问题；
直接在生产环境的影子系统中进行数据校验，有效检测IO操作监控和截获完整性，校验更全面，更可靠。
附图说明
图1为一种卷实时保护数据的自动校验方法拓扑图
图2为一种卷实时保护数据的自动校验方法流程图
具体实施方式
本发明通过策略自动校验对数据卷实时保护生成的备份数据在恢复后的可用性，及时发现在对数据卷进行实时保护过程中出现的备份数据不完整问题，保证在灾难发生时进行数据恢复的成功率，降低现有人工演练校验的技术要求和人工成本。
下面结合附图对本发明的技术方案进行详细说明。
图1为一种卷实时保护数据的自动校验方法拓扑图。
图2为一种卷实时保护数据的自动校验方法流程图。
如图1所示，步骤一，在生产服务器安装卷级实时保护代理程序，同时安装虚拟化平台硬件驱动。
步骤二，根据生产服务器配置创建一台虚拟机作为生产服务器的影子系统，不创建磁盘，网络设置为演练专用网络，避免所述影子系统启动后与原生网络中生产服务器的IP地址冲突。
步骤三，在备份存储服务器中安装卷级实时保护模块服务端，通过创建卷备份数据时间点磁盘视图接口，可以映射磁盘视图到所述影子系统。
所述备份存储服务器包括系统盘和数据盘，所述备份数据存储在数据盘中，所述备份数据包括生产服务器的系统盘和数据盘的备份数据。
所述创建的时间点磁盘视图是一个虚拟磁盘，可以挂载到所述影子系统中作为真实磁盘使用。
步骤四，如图2所述，通过自动校验模块设定自动校验进行的时间点，按分钟、小时、天、周、月进行设置。
所述自动校验程序模块在策略设定的时间点先创建系统盘和数据盘备份数据的当前时间点的磁盘视图，映射系统盘视图和数据盘视图到所述影子系统作为虚拟机磁盘，再启动影子系统。
所述自动校验程序模块可以安装虚拟机中。
由于系统盘上已经安装有虚拟化平台的硬件驱动，所以影子系统可以成功启动，不会出现蓝屏崩溃现象。
步骤五，所述影子系统启动完成后，自动校验模块通过演练专用网络与影子系统进行TCP通讯，导入校验脚本，校验卷文件一致性状态、校验系统日志、服务状态、数据库查询等。
由于自动校验是在和原生产系统一样的环境中进行，如系统不能启动、数据库不能启动、应用相关的服务启动失败等可以快速被发现，从而及时发现映射过来的磁盘视图数据不完整，也就是卷实时保护产生的备份数据不可用。
假设，当前生产服务器的数据为2017年1月1日12点时的数据A，卷级实时保护代理程序将数据A备份到备份存储服务器的数据盘中，形成备份数据A’。
所述自动校验程序模块设定每天的12点创建系统盘和数据盘备份数据的当前时间点的磁盘视图，因此即创建生产服务器12点的备份数据的磁盘视图，映射当前12点的备份数据A’的磁盘视图到影子系统作为虚拟机磁盘，形成影子系统上的数据A”。
所述影子系统启动完成后，所述自动校验模块通过演练专用网络与影子系统进行TCP通讯，导入校验脚本，观察2017年1月1日12点这个时间点，影子系统是否可以正常启动、运行。如果出现系统不能启动、数据库不能启动、应用相关的服务启动失败，查询相关数据失败等，即可判断映射过来的磁盘视图数据不完整，也就是卷实时保护产生的2017年1月1日12点时备份数据A’不可用。
步骤六，校验完成，自动关闭影子系统，删除当前时间点的磁盘视图。返回校验报告，通过邮件将校验报告发送给管理员。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种卷实时保护数据的自动校验方法，其特征在于，包括以下步骤：
步骤一，在生产服务器安装卷级实时保护代理程序，同时安装虚拟化平台硬件驱动；
步骤二，根据所述生产服务器配置创建一台虚拟机作为所述生产服务器的影子系统；
步骤三，通过卷级实时保护模块服务端创建卷备份数据时间点的磁盘视图接口，映射磁盘视图到所述虚拟机；
步骤四，自动校验模块在策略设定的时间点通过备份数据创建系统盘和数据盘当前时间点的磁盘视图，映射系统盘视图和数据盘视图到所述影子系统作为虚拟机磁盘，然后启动影子系统；
步骤五，所述影子系统启动完成后，自动校验模块通过演练专用网络与影子系统进行TCP通讯，导入校验脚本，校验卷文件一致性状态、系统日志、服务状态、数据库查询等；
步骤六，校验完成，自动关闭影子系统，删除由备份数据生成的系统盘视图和数据盘视图，返回校验报告，并通过邮件将校验报告发送给管理员。
2.根据权利要求1所述的方法，其特征在于：所述影子系统，网络设置为演练专用网络，避免所述影子系统启动后与原生网络中生产服务器的IP地址冲突。
3.根据权利要求1所述的方法，其特征在于：所述影子系统，不创建磁盘。
4.根据权利要求1所述的方法，其特征在于：所述卷级实时保护模块服务端安装在备份存储服务器中，所述生产服务器系统盘和数据盘的备份数据存储在备份存储服务器数据盘。
5.根据权利要求1所述的方法，其特征在于：所述创建的卷备份数据时间点磁盘视图是一个虚拟磁盘，可以挂载到虚拟机中看作真实磁盘使用。
6.根据权利要求1所述的方法，其特征在于：当所述影子系统出现系统不能启动、数据库不能启动、应用相关的服务启动失败、查询相关数据失败等，可以判断映射过来的所述系统盘视图和数据盘视图数据不完整，即可以说明所述备份存储服务器的备份数据不可用，实现校验数据有效性的目的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710310114.XA CN108804248B (zh) | 2017-04-28 | 2017-04-28 | 一种卷实时保护数据的自动校验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710310114.XA CN108804248B (zh) | 2017-04-28 | 2017-04-28 | 一种卷实时保护数据的自动校验方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108804248A CN108804248A (zh) | 2018-11-13 |
| CN108804248B true CN108804248B (zh) | 2021-07-06 |
Family
ID=64054394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710310114.XA Active CN108804248B (zh) | 2017-04-28 | 2017-04-28 | 一种卷实时保护数据的自动校验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108804248B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110730095B (zh) * | 2019-10-09 | 2022-11-15 | 北京华电天仁电力控制技术有限公司 | 一种面向云计算平台的数据安全应急演练方法和系统 |
| CN112463042B (zh) * | 2020-11-19 | 2022-08-12 | 苏州浪潮智能科技有限公司 | 一种数据卷导入数据校验方法、装置、终端及存储介质 |
| CN112583671B (zh) * | 2020-12-14 | 2022-03-25 | 上海英方软件股份有限公司 | 一种通过代理网关对虚拟机进行演练的方法及系统 |
| CN112596948B (zh) * | 2020-12-21 | 2024-04-02 | 深圳市科力锐科技有限公司 | 一种数据库集群数据备份方法、装置、设备及存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7971091B1 (en) * | 2006-05-02 | 2011-06-28 | Emc Corporation | Network configuration backup and restore operations using continuous data protection |
| US9417895B2 (en) * | 2007-10-19 | 2016-08-16 | Kubisys Inc. | Concurrent execution of a first instance and a cloned instance of an application |
| CN101635638B (zh) * | 2008-07-25 | 2012-10-17 | 中兴通讯股份有限公司 | 一种容灾系统及其容灾方法 |
| CN101414277B (zh) * | 2008-11-06 | 2010-06-09 | 清华大学 | 一种基于虚拟机的按需增量恢复容灾系统及方法 |
| CN101800730B (zh) * | 2009-02-09 | 2013-02-27 | 国际商业机器公司 | 安全增强的虚拟机通信方法和虚拟机系统 |
| US8201169B2 (en) * | 2009-06-15 | 2012-06-12 | Vmware, Inc. | Virtual machine fault tolerance |
| US8645764B2 (en) * | 2010-12-17 | 2014-02-04 | Oracle International Corporation | Diagnostic framework for use with application servers and virtual machines |
| CN102088490B (zh) * | 2011-01-19 | 2013-06-12 | 华为技术有限公司 | 数据存储方法、设备和系统 |
| CN103870362B (zh) * | 2014-03-21 | 2017-08-04 | 华为技术有限公司 | 一种数据恢复方法、装置及备份系统 |
| CN105022656B (zh) * | 2014-04-21 | 2018-09-14 | 中国电信股份有限公司 | 虚拟机快照管理方法和装置 |
| CN105786633B (zh) * | 2016-02-26 | 2019-01-25 | 四川效率源信息安全技术股份有限公司 | 一种西数硬盘固件区虚拟方法 |
| CN106126370A (zh) * | 2016-06-15 | 2016-11-16 | 上海爱数信息技术股份有限公司 | 基于存储快照之间增量位图的Server‑free备份方法及系统 |
| CN205792734U (zh) * | 2016-07-13 | 2016-12-07 | 袁凌 | 一种面向云计算的灾难恢复演练系统 |
-
2017
- 2017-04-28 CN CN201710310114.XA patent/CN108804248B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108804248A (zh) | 2018-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108255641B (zh) | 一种基于云平台的cdp容灾方法 | |
| CN108804248B (zh) | 一种卷实时保护数据的自动校验方法 | |
| CN110647580B (zh) | 分布式容器集群镜像管理主节点、从节点、系统及方法 | |
| CN102609281B (zh) | 分布式软件补丁更新方法及系统 | |
| US8359491B1 (en) | Disaster recovery rehearsal using copy on write | |
| US20190037009A1 (en) | System and method for providing data and application continuity in a computer system | |
| CN110851302B (zh) | 一种数据库信息的备份方法及恢复方法 | |
| US9389892B2 (en) | Multiple points in time disk images for disaster recovery | |
| WO2020088533A1 (zh) | 虚拟化平台的容灾方法及装置 | |
| CN103677967B (zh) | 一种数据库的远程数据服务系统及任务调度方法 | |
| CN106339278A (zh) | 一种网络文件系统的数据备份及恢复方法 | |
| US7143121B2 (en) | Method and system for archiving and restoring data from an operations center in a utility data center | |
| CN105117263B (zh) | 一种unix环境软件系统升级方法 | |
| CN111371623B (zh) | 业务性能和安全的监测方法、装置、存储介质及电子设备 | |
| CN105912389A (zh) | 基于数据虚拟化实现混合云环境下的虚拟机迁移系统 | |
| CN110727547A (zh) | 一种保护Docker应用容器的系统及方法 | |
| CN112328366B (zh) | 一种高效的云平台主机保护方法及系统 | |
| CN108259569B (zh) | 一种基于ipsan共享存储的无代理连续数据保护方法及系统 | |
| CN104794143A (zh) | 一种无代理的备份技术 | |
| CN111125060A (zh) | 一种数据库管理方法、系统、设备及存储介质 | |
| CN101841425B (zh) | 一种无代理的网络备份方法、装置和系统 | |
| CN106802842A (zh) | 一种基于云平台的操作系统批量备份恢复方法和装置 | |
| CN110659161B (zh) | 一种基于Docker的备份数据有效性验证方法及系统 | |
| CN104461757A (zh) | 一种恢复虚拟机的方法及装置 | |
| US20230168816A1 (en) | Systems, methods and computer readable media for software defined storage security protection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 210032 9-10 / F, No.1 building, Changfeng building, No.14 Xinghuo Road, Jiangbei new district, Nanjing City, Jiangsu Province Applicant after: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd. Address before: 3rd floor, building C, building 5, Baixia high tech park, No.5 Yongzhi Road, Qinhuai District, Nanjing Applicant before: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Building 1, 6th Floor, Changfeng Building, No.14 Xinghuo Road, Research and Innovation Park, Jiangbei New District, Nanjing City, Jiangsu Province, 210000 Patentee after: Aerospace One System (Jiangsu) Information Technology Co.,Ltd. Address before: 210032 9-10 / F, No.1 building, Changfeng building, No.14 Xinghuo Road, Jiangbei new district, Nanjing City, Jiangsu Province Patentee before: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |