CN112817797A - 一种备份数据管理方法及系统 - Google Patents

一种备份数据管理方法及系统 Download PDF

Info

Publication number
CN112817797A
CN112817797A CN202110168078.4A CN202110168078A CN112817797A CN 112817797 A CN112817797 A CN 112817797A CN 202110168078 A CN202110168078 A CN 202110168078A CN 112817797 A CN112817797 A CN 112817797A
Authority
CN
China
Prior art keywords
mirror image
image file
backup
nbd
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110168078.4A
Other languages
English (en)
Inventor
胡红彬
姚国军
陈勇铨
周华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingfang Software Co ltd
Original Assignee
Shanghai Yingfang Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingfang Software Co ltd filed Critical Shanghai Yingfang Software Co ltd
Priority to CN202110168078.4A priority Critical patent/CN112817797A/zh
Publication of CN112817797A publication Critical patent/CN112817797A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种备份数据管理方法及系统，所述方法包括如下步骤：步骤S1，将生产服务器的数据迁移至备份服务器，并以镜像文件的格式作为后端镜像文件保存在所述备份服务器上；步骤S2，基于所述后端镜像文件在所述备份服务器创建对应的增量镜像；步骤S3，加载NBD设备，并将所述增量镜像与NBD设备连接；步骤S4，将已连接的NBD设备映射为一个存储空间提供给已连接认证后的客户端。

Description

一种备份数据管理方法及系统
技术领域
本发明涉及计算机容灾备份技术领域，特别是涉及一种用于备份数据管理的备份数据管理方法及系统。
背景技术
随着大数据时代的来临，很多企业面对市场的竞争，开始考虑如何提高数据的使用价值，挖掘出数据中隐藏的有效信息，从而快速提升企业的核心竞争力。
当企业的数据复制备份完成后，除了达到容灾的目的以外，很多企业更想合理利用备份数据。目前，企业的生产数据，已不仅仅用于业务生产，还有很多非生产环境中也需要这些数据支持，例如开发新系统时，需要复制生产数据到研发环境中用于开发；测试系统时，需要复制生产数据到测试环境中用于调试；数据统计和分析，需要复制生产数据到统计分析系统中进行处理。
因此，除了对数据安全的需求外，越来越多的企业希望在不破坏数据副本的情况下，合理利用这些备份数据。此时就有必要提出一种可以满足这些需求的备份数据管理的解决方案，以实现在不破坏数据副本的情况下满足各个阶段需求，将数据副本的价值最大化。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种备份数据管理方法及系统，以在不破坏数据副本的情况下，充分实现数据副本的价值最大化。
为达上述目的，本发明提出一种备份数据管理方法，包括如下步骤：
步骤S1，将生产服务器的数据迁移至备份服务器，并以镜像文件的格式作为后端镜像文件保存在所述备份服务器上；
步骤S2，基于所述后端镜像文件在所述备份服务器创建对应的增量镜像；
步骤S3，加载NBD设备，并将所述增量镜像与NBD设备连接；
步骤S4，将已连接的NBD设备映射为一个存储空间提供给已连接认证后的客户端。
优选地，于步骤S1中，将生产服务器的系统盘和数据盘迁移至备份服务器，分别以镜像文件的格式保存在所述备份服务器作为所述后端镜像文件。
优选地，于步骤S2中，通过磁盘管理工具qemu-img基于所述后端镜像文件创建对应的增量镜像。
优选地，于步骤S3中，通过qemu-nbd程序将后端镜像文件对应的增量镜像与NBD设备连接。
优选地，于步骤S4中，将已连接的NBD设备通过所述备份服务器的iSCSI映射为一个存储空间以供给已连接认证后的客户端。
优选地，于步骤S4后，当客户端认证并连接备份服务器后，将所述NBD块设备挂载到本地即可进行相应操作。
为达到上述目的，本发明还提供一种备份数据管理系统，包括：
迁移处理模块，用于获取生产服务器端迁移的数据，并以镜像文件的格式作为后端镜像文件保存在所述备份服务器上；
增量镜像创建模块，用于基于所述后端镜像文件在所述备份服务器创建对应的增量镜像；
块设备加载连接模块，用于加载NBD设备，并将所述增量镜像与NBD设备连接；
存储空间映射模块，用于将已连接的NBD设备映射为一个存储空间以提供给已连接认证后的客户端。
优选地，所述迁移处理模块获取迁移到备份服务器的生产服务器的系统盘和数据盘数据，并分别以镜像文件的格式保存在所述备份服务器作为所述后端镜像文件。
优选地，所述增量镜像创建模块通过磁盘管理工具qemu-img基于所述后端镜像文件创建对应的增量镜像。
优选地，当客户端认证并连接备份服务器后，将所述NBD块设备挂载到本地即可进行相应操作。
与现有技术相比，本发明一种备份数据管理方法及系统通过将生产服务器的数据迁移至备份服务器，并以镜像文件的格式作为后端镜像文件保存在所述备份服务器上，然后基于所述后端镜像文件在所述备份服务器创建对应的增量镜像，并加载NBD设备，将所述增量镜像与NBD设备连接；最后将已连接的NBD设备映射为一个存储空间提供给已连接认证后的客户端，可实现在不破坏数据副本的情况下满足各个阶段需求，将数据副本的价值最大化的目的。
附图说明
图1为本发明一种备份数据管理方法的步骤流程图；
图2为本发明一种备份数据管理系统的结构示意图；
图3为本发明实施例中用于备份数据管理的系统架构图；
图4为本发明实施例中备份数据管理的流程图；
图5为本发明实施例中备份数据管理的存储示意图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种备份数据管理方法的步骤流程图。如图1所示，本发明一种备份数据管理方法，包括如下步骤：
步骤S1，将生产服务器的数据迁移至备份服务器，并以镜像文件的格式作为后端镜像文件保存在所述备份服务器上。
具体地，将生产服务器的系统盘和数据盘迁移至备份服务器，并分别以镜像文件的格式保存在备份服务器，其中，所述镜像文件即为生产服务器数据的副本，以下称为后端镜像文件。由于本发明将生产服务器数据迁移至备份服务器采用的是现有技术，例如公开号为CN111459416A的中国专利申请“一种基于分布式存储的热迁移系统及其迁移方法”，在此不予赘述。
步骤S2，基于所述后端镜像文件在所述备份服务器创建对应的增量镜像。
在本发明中，可通过磁盘管理工具qemu-img基于后端镜像文件创建对应的增量镜像，具体地说，当用户选择需要连接的数据副本，通过磁盘管理工具qemu-img基于后端镜像文件创建对应的增量镜像，其中，所述增量镜像仅记录与后端镜像文件的差异部分(第一次迁移得到全量镜像文件，后续使用该磁盘镜像并对镜像进行修改时，就会产生差异，该差异则会记录到增量镜像中去，此时增量镜像结合全量镜像就是展示在用户面前的数据)，而后端镜像文件不会被修改，这样做的好处是用户在开发测试时只需操纵增量镜像，而不会修改后端镜像文件，因此可以使用备份服务器的数据副本进行恢复，对于后端镜像文件，不同用户可根据该后端镜像文件创建多个增量镜像(也就是说，该后端镜像文件可以同时提供给多个用户使用)，由于增量镜像只记录与后端镜像文件的差异部分，相对来说占用空间小很多，因此可以节省大量存储空间。
需说明的是，所述增量镜像是与后端镜像文件连接的，增量镜像不只记录了用户修改数据的操作，也记录该镜像对应的后端镜像文件位置。
步骤S3，加载NBD(Network Block Device，网络块设备)设备，并将所述增量镜像与NBD设备连接。
具体地，通过qemu-nbd程序将后端镜像文件对应的增量镜像与NBD设备连接，所述NBD设备可以将增量镜像文件还原为块设备。
步骤S4，将已连接的NBD设备映射为一个存储空间提供给已连接认证后的客户端。
具体地，将已连接的NBD设备通过备份服务器的iSCSI映射为一个存储空间提供给已连接认证后的客户端，其中，iSCSI是将现有的SCSI接口与以太网络技术结合，基于TCP/IP的协议连接iSCSI服务端(Target)和客户端(Initiator)，使得封装后的SCSI数据包可以在通用互联网传输，最终客户端可通过Initiator连接并使用备份服务器的块设备。
优选地，于步骤S4后，当客户端认证并连接备份服务器后，将所述NBD块设备挂载到本地即可进行相应操作。
图2为本发明一种备份数据管理系统的系统结构图。如图2所示，本发明一种备份数据管理系统，应用于备份服务器，包括：
迁移处理模块201，用于获取生产服务器端迁移的数据，并以镜像文件的格式作为后端镜像文件保存在所述备份服务器上。
具体地，当将生产服务器的系统盘和数据盘迁移至备份服务器，迁移处理模块201获取系统盘和数据盘数据后，分别以镜像文件的格式保存在备份服务器，其中，所述镜像文件即为生产服务器数据的副本，以下称为后端镜像文件。由于本发明将生产服务器数据迁移至备份服务器采用的是现有技术，例如公开号为CN111459416A的中国专利申请“一种基于分布式存储的热迁移系统及其迁移方法”，在此不予赘述。
增量镜像创建模块202，用于基于所述后端镜像文件在所述备份服务器创建对应的增量镜像。
在本发明中，增量镜像创建模块202通过磁盘管理工具qemu-img基于后端镜像文件创建对应的增量镜像，具体地说，当用户选择需要连接的数据副本，通过磁盘管理工具qemu-img基于后端镜像文件创建对应的增量镜像，其中，所述增量镜像仅记录与后端镜像文件的差异部分，而后端镜像文件不会被修改，这样做的好处是用户在开发测试时只需操纵增量镜像，而不会修改后端镜像文件，因此可以使用本分服务器的数据副本进行恢复，对于每个后端镜像文件，不同用户可根据该后端镜像文件创建多个增量镜像，由于增量镜像只记录与后端镜像文件的差异部分，因此可以节省大量存储空间。
块设备加载连接模块203，用于加载NBD(Network Block Device，网络块设备)设备，并将所述增量镜像与NBD设备连接。
具体地，块设备加载连接模块203通过qemu-nbd程序将后端镜像文件对应的增量镜像与NBD设备连接，所述NBD设备可以将增量镜像文件还原为块设备。
存储空间映射模块204，用于将已连接的NBD设备映射为一个存储空间以提供给已连接认证后的客户端。
具体地，存储空间映射模块204将已连接的NBD设备通过备份服务器的iSCSI映射为一个存储空间提供给已连接认证后的客户端，其中，iSCSI是将现有的SCSI接口与以太网络技术结合，基于TCP/IP的协议连接iSCSI服务端(Target)和客户端(Initiator)，使得封装后的SCSI数据包可以在通用互联网传输，最终客户端可通过Initiator连接并使用备份服务器的块设备。
优选地，当客户端认证并连接备份服务器后，将所述NBD块设备挂载到本地即可进行相应操作。
实施例
图3为本发明实施例中用于备份数据管理的系统架构图，图4为本发明实施例中备份数据管理的流程图。首先将生产服务器的系统盘和数据盘迁移到备份服务器，分别以镜像文件的格式保存在备份服务器，其中，所述镜像文件即为生产服务器数据副本，以下称为后端镜像文件。由于将生产服务器的数据迁移到备份服务器的具体实现方式可参见公开号为CN111459416A的中国专利申请“一种基于分布式存储的热迁移系统及其迁移方法”，在此不予赘述。
图5为本发明实施例中备份数据管理的存储示意图，当用户选择需要连接的数据副本，通过磁盘管理工具qemu-img基于后端镜像文件创建对应的增量镜像，其中，所述增量镜像仅记录与后端镜像文件的差异部分，而后端镜像文件不会被修改。请参见图5，过程S1通过qemu-nbd程序将后端镜像文件对应的增量镜像与NBD设备连接，其中，所述NBD设备指网络块设备，可以将增量镜像文件还原为块设备。
过程S2将已连接的NBD设备通过备份服务器的iSCSI映射为一个存储空间提供给已连接认证后的客户端，其中，iSCSI是将现有的SCSI接口与以太网络技术结合，基于TCP/IP的协议连接iSCSI服务端(Target)和客户端(Initiator)，使得封装后的SCSI数据包可以在通用互联网传输，最终客户端可通过Initiator连接并使用备份服务器的块设备。
当客户端认证并连接后，将块设备挂载到本地即可进行相应操作。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种备份数据管理方法，包括如下步骤：
步骤S1，将生产服务器的数据迁移至备份服务器，并以镜像文件的格式作为后端镜像文件保存在所述备份服务器上；
步骤S2，基于所述后端镜像文件在所述备份服务器创建对应的增量镜像；
步骤S3，加载NBD设备，并将所述增量镜像与NBD设备连接；
步骤S4，将已连接的NBD设备映射为一个存储空间提供给已连接认证后的客户端。
2.如权利要求1所述的一种备份数据管理方法，其特征在于：于步骤S1中，将生产服务器的系统盘和数据盘迁移至备份服务器，分别以镜像文件的格式保存在所述备份服务器作为所述后端镜像文件。
3.如权利要求2所述的一种备份数据管理方法，其特征在于：于步骤S2中，通过磁盘管理工具qemu-img基于所述后端镜像文件创建对应的增量镜像。
4.如权利要求3所述的一种备份数据管理方法，其特征在于：于步骤S3中，通过qemu-nbd程序将后端镜像文件对应的增量镜像与NBD设备连接。
5.如权利要求4所述的一种备份数据管理方法，其特征在于：于步骤S4中，将已连接的NBD设备通过所述备份服务器的iSCSI映射为一个存储空间以供给已连接认证后的客户端。
6.如权利要求5所述的一种备份数据管理方法，其特征在于：于步骤S4后，当客户端认证并连接备份服务器后，将所述NBD块设备挂载到本地即可进行相应操作。
7.一种备份数据管理系统，包括：
迁移处理模块，用于获取生产服务器端迁移的数据，并以镜像文件的格式作为后端镜像文件保存在所述备份服务器上；
增量镜像创建模块，用于基于所述后端镜像文件在所述备份服务器创建对应的增量镜像；
块设备加载连接模块，用于加载NBD设备，并将所述增量镜像与NBD设备连接；
存储空间映射模块，用于将已连接的NBD设备映射为一个存储空间以提供给已连接认证后的客户端。
8.如权利要求7所述的一种备份数据管理系统，其特征在于：所述迁移处理模块获取迁移到备份服务器的生产服务器的系统盘和数据盘数据，并分别以镜像文件的格式保存在所述备份服务器作为所述后端镜像文件。
9.如权利要求8所述的一种备份数据管理系统，其特征在于：所述增量镜像创建模块通过磁盘管理工具qemu-img基于所述后端镜像文件创建对应的增量镜像。
10.如权利要求8所述的一种备份数据管理系统，其特征在于：当客户端认证并连接备份服务器后，将所述NBD块设备挂载到本地即可进行相应操作。
CN202110168078.4A 2021-02-07 2021-02-07 一种备份数据管理方法及系统 Withdrawn CN112817797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110168078.4A CN112817797A (zh) 2021-02-07 2021-02-07 一种备份数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110168078.4A CN112817797A (zh) 2021-02-07 2021-02-07 一种备份数据管理方法及系统

Publications (1)

Publication Number Publication Date
CN112817797A true CN112817797A (zh) 2021-05-18

Family

ID=75862211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110168078.4A Withdrawn CN112817797A (zh) 2021-02-07 2021-02-07 一种备份数据管理方法及系统

Country Status (1)

Country Link
CN (1) CN112817797A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227621A (zh) * 2016-07-25 2016-12-14 北京飞杰信息技术有限公司 基于逻辑卷管理精简卷的数据备份方法及系统
CN106547641A (zh) * 2015-09-17 2017-03-29 南京壹进制信息技术股份有限公司 一种基于卷的cdp备份方法
CN108255643A (zh) * 2017-12-25 2018-07-06 南京壹进制信息技术股份有限公司 一种无代理的连续数据保护方法
CN109445986A (zh) * 2018-09-30 2019-03-08 南京壹进制信息技术股份有限公司 一种备份数据集挂载方法和备份数据集快速恢复、挂载系统
CN110837441A (zh) * 2019-11-14 2020-02-25 北京京航计算通讯研究所 基于脏数据位图和网络块设备的kvm虚拟机备份方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547641A (zh) * 2015-09-17 2017-03-29 南京壹进制信息技术股份有限公司 一种基于卷的cdp备份方法
CN106227621A (zh) * 2016-07-25 2016-12-14 北京飞杰信息技术有限公司 基于逻辑卷管理精简卷的数据备份方法及系统
CN108255643A (zh) * 2017-12-25 2018-07-06 南京壹进制信息技术股份有限公司 一种无代理的连续数据保护方法
CN109445986A (zh) * 2018-09-30 2019-03-08 南京壹进制信息技术股份有限公司 一种备份数据集挂载方法和备份数据集快速恢复、挂载系统
CN110837441A (zh) * 2019-11-14 2020-02-25 北京京航计算通讯研究所 基于脏数据位图和网络块设备的kvm虚拟机备份方法

Similar Documents

Publication Publication Date Title
US9250824B2 (en) Backing up method, device, and system for virtual machine
US10311028B2 (en) Method and apparatus for replication size estimation and progress monitoring
US8706694B2 (en) Continuous data protection of files stored on a remote storage device
US10353621B1 (en) File block addressing for backups
US20100211547A1 (en) File sharing system, file server, and method for managing files
CN109325016B (zh) 数据迁移方法、装置、介质及电子设备
CN104216801A (zh) 一种面向虚拟化环境的数据复制方法及系统
US20080033902A1 (en) A Method for Providing Live File Transfer Between Machines
US20110282843A1 (en) Method and system for data backup and replication
CN108427728A (zh) 元数据的管理方法、设备及计算机可读介质
CN113672350B (zh) 一种应用处理方法、装置及相关设备
CN113806300B (zh) 数据存储方法、系统、装置、设备及存储介质
CN111949515B (zh) 测试场景重现方法、装置及电子设备
CN102255866A (zh) 一种数据下载方法及装置
JP2015527620A (ja) 計算機システム、サーバ、及び、データ管理方法
CN108205482B (zh) 文件挂载恢复方法
CN114564339A (zh) 一种磁盘镜像文件跨平台迁移方法及系统
CN113448946B (zh) 数据迁移方法及装置、电子设备
CN113190384B (zh) 基于纠删码的数据恢复控制方法、装置、设备及介质
CN109416617A (zh) 异构存储系统之间的复制
CN114490540B (zh) 数据存储方法、介质、装置和计算设备
CN112817797A (zh) 一种备份数据管理方法及系统
CN114328007B (zh) 一种容器备份还原方法、装置及其介质
CN114238181B (zh) 多路径设备路径的物理链路信息的处理方法和获取方法
US11775394B2 (en) Size-based organization of backup files within an object storage for efficient object re-tiering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210518