CN101739307A - 基于嵌入式一体化虚拟磁带库的数据归档保护系统和方法 - Google Patents

Abstract

一种基于嵌入式一体化虚拟磁带库的数据归档保护系统和方法。该系统包含策略调度模块、迁移控制模块、数据传输模块、磁带映射模块、命令转发模块等逻辑功能模块。该系统可以将虚拟磁带库中虚拟磁带的数据导出到物理磁带上后，物理磁带可以离线保存。当虚拟磁带库里的数据遭到毁坏，可以将物理磁带上的数据先导入到虚拟磁带中。主机通过读取虚拟磁带的数据来恢复数据，也可以通过虚拟磁带库作为桥接，直接从物理磁带库上恢复数据。同时本发明为了能够缩小同一个虚拟磁带多次导出的时间，支持增量数据导出，即只导出虚拟磁带上更新备份的数据。

Description

基于嵌入式一体化虚拟磁带库的数据归档保护系统和方法

技术领域

本发明涉及计算机存储技术领域，尤其涉及一种基于嵌入式一体化虚拟磁带库的数据归档保护系统和方法。

背景技术

随着计算机信息系统的不断发展，用户的核心业务越来越依赖于信息系统的可靠运行，信息系统中的关键业务数据已经成为用户最为重要的资产。因此，对关键的业务数据进行备份保护刻不容缓。

是为了确保在出现数据丢失或系统灾难时将复制的数据恢复回来。用户大多采用备份技术，但备份技术关注的是业务信息的变化和更新，是短期的存储行为，并且经常被覆盖。比如银行每天要备份交易记录。当数据停止改变或不被频繁使用时，可以通过归档技术把它们转移到别的地方，让出主存储空间，并且使之处于日常的备份窗口之外，既节约了空间，又提升了备份的效率。归档技术则用于对数据进行有效的管理、保留和长期的访问与检索。企业可以将归档和备份结合起来用，以达到优化成本、改进存储基础设施的整体效力，使备份能够在有效的归档解决方案下变得更有效率，而归档也可以利用备份基础设施满足数据保护需要。目前磁带库仍然被各种规模的组织用在关键的任务数据保护和数据保存。

目前随着数据量的快速增长，当用户有大量慢服务器需要通过网络备份，同时，客户希望在发生灾难时，需要在一定时间内尽快恢复。而在传统的慢服务器备份中，这些服务器的备份速度很慢，而且需要顺序备份和恢复，因此，传统数据保护方式肯定无法满足客户要求。其次当用户有大量小文件需要备份，如果用户需要逐个备份与恢复，由于磁带逐个备份的速度非常慢。而且大多数用户如果需要持续的备份，不能有任何时间间歇，而基于磁带的备份是基于时间段的，无法持续进行。而且用户希望在备份不能影响应用服务器的性能，或者要减少备份对应用服务器性能的影响。中国专利申请CN200810167582.7公开了一种嵌入式一体化的虚拟磁带库系统和方法。该发明可使虚拟磁带库成为了一种独立的专用外设，其使用方式也更接近物理磁带库。在技术上虚拟磁带库是将磁盘作为备份介指，通过虚拟程序将磁盘解释成磁带的格式。每个虚拟带库厂商的虚拟磁带格式不尽相同。物理磁带离线的优势是虚拟磁带库无法比拟的，物理磁带由于是标准的数据格式，能够在不同的磁带机上读出数据。如果虚拟磁带库出现毁坏，那虚拟磁带库上的数据将会全部丢失，这也将给用户备份的数据造成严重丢失。

发明内容

本发明提出了一种基于嵌入式一体化虚拟磁带库的数据归档保护系统和方法。系统包括：策略调度模块、迁移控制模块、数据传输模块、磁带映射模块、命令转发模块等逻辑功能模块，其中：

策略调度模块设置虚拟磁带和物理磁带的对应关系，设置每个虚拟磁带导出的时间策略，设置导出时间策略后，到了设置的时间，策略调度模块调用迁移控制模块启动迁移任务；

迁移控制模块，启动和停止迁移任务、管理虚拟磁带索引、控制物理磁磁带的移动；本模块作为二进制程序的形式存在，根据用户指定的参数，进行工作。每次迁移之前，迁移控制模块将虚拟磁带头上的数据索引存放在指定目录下，通过虚拟磁带库系统的SCSI驱动，与物理磁带库进行通信。当虚拟磁带索引保存完毕，物理磁带移动到指定的驱动器中，迁移控制模块将通过虚拟磁带库系统的PROC文件系统(一个虚拟的文件系统)，向迁移数据传输模块发起传输指令，向磁带映射发起映射指令。当用户希望停止迁移任务时，迁移控制模块可以终止任务，将虚拟磁带头上的迁移记录恢复到任务开始前的状态。

数据传输模块，实施虚拟磁带和物理磁带之间的数据传输，数据传输模块作为虚拟磁带库系统的内核模块的形式存在，根据迁移控制模块传来的参数，启动不同的迁移任务，迁移任务分为全部迁移、增量迁移。数据传输模块通过虚拟磁带库系统内核的块设备接口，对虚拟磁带进行读写；通过虚拟磁带库系统内核SG(SCSI Generic)驱动，与物理磁带机设备通信，对物理磁带进行读写。数据传输模块通过虚拟磁带库的解压缩模块，将对数据进行压缩和解压缩。

磁带映射模块，将虚拟磁带与物理磁带建立关联，主机对建立关联的虚拟磁带的操作，本系统通过命令转化模块，将命令转化为对物理磁带的操作。本模块以虚拟磁带库系统的内核模块的形式存在，根据迁移控制模块的指令，对相应磁带进行关联。

命令转发模块，用于转发主机对物理磁带的操作。主机给关联的虚拟磁带发的命令，本模块直接转化为对后端物理磁带的操作。命令转发模块以虚拟磁带库系统的内核模块的形式存在。主机对虚拟磁带的读、写、移动，命令转发模块根据关联的规则，操作后端的机械手或驱动器，完成相应的操作。

虚拟磁带库通过自身的HBA(Host bus adapter，主机总线适配器)与物理磁带库或物理磁带驱动器连接，数据能够在虚拟磁带和物理磁带之间快速迁移。数据从虚拟磁带库迁移到物理磁带库上称为导出，数据从物理磁带库迁移到虚拟磁带库上称为导入。当虚拟磁带的数据导出到物理磁带上后，物理磁带可以离线保存。当虚拟磁带库里的数据毁坏，可以将物理磁带上的数据先导入到虚拟磁带中。主机通过读取虚拟磁带的数据来恢复数据，也可以通过虚拟磁带库作为桥接，直接从物理磁带库上恢复数据。为了能够缩小同一个虚拟磁带多次导出的时间，本发明支持增量数据导出，即只导出次盘虚拟磁带上新备份的数据。

本发明实施方案中包含开放系统主机、备份软件、虚拟磁带库、物理磁带库等。

附图说明

下面结合附图和具体实施方案对本发明作进一步详细说明。

图1是本发明虚拟磁带库数据保护系统结构示意图

图2是本发明系统逻辑结构示意图

图3是本发明系统中数据迁移调用层次示意图

图4是本发明系统中透明恢复调用层次示意图

图5是本发明系统中支持增量导出的虚拟磁带结构示意图

图6是本发明系统中数据迁移流程图

图7是本发明实施例结构示意图

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

首先，参照图1：虚拟磁带库数据保护系统结构示意图，备份服务器上安装备份软件，备份软件中保存有备份文件索引，索引记录了文件的相关属性和在物理磁带中的位置等信息，用来从磁带中恢复数据使用。系统主机通过将数据备份到虚拟磁带库中，虚拟磁带库通过迁移模块将数据迁移到物理磁带库中。当需要恢复已导出的数据时，本系统可以先把数据导入到虚拟磁带库中，主机恢复数据。主机也可以通过虚拟磁带库，直接把数据从物理磁带库中恢复。

参照图2：是本发明本发明系统逻辑结构示意图，步骤包括：

步骤201：策略调度模块给迁移控制模块发出迁移指令；

步骤202：迁移控制模块准备好物理磁带机和虚拟磁带的索引；

步骤203：迁移控制模块将物理磁带和虚拟磁带的信息发给磁带关联模块；

步骤204：数据传输模块将数据写入到物理磁带中；

步骤205：主机向磁带磁带库发起恢复数据的指令；

步骤206：命令转发模块受到主机的指令后，对后端的物理磁带库进行操作；

步骤207：物理磁带库将数据返回给虚拟磁带库；

步骤208：虚拟磁带库将数据返回给主机，完成主机的指令。

参照图3：是本发明数据迁移调用层次示意图，迁移控制模块通过PROC文件系统向数据传输模块传递参数，数据传输模块通过SG(SCSI Generic)驱动，对物理磁带机设备进行读写。迁移控制模块通过DEV文件系统，对物理磁带库设备进行控制。控制的指令通过SG驱动，传递给物理磁带库。步骤包括：

步骤301：迁移控制模块向DEV文件系统下的设备文件写入控制物理磁带库的SCSI指令；

步骤302：DEV文件系统将指令传给SG驱动；

步骤303：迁移控制模块将迁移指令写入PROC文件系统下的迁移设备文件；

步骤304：PROC文件系统将指令传给数据传输模块；

步骤305：数据传输模块将读写物理驱动器的SCSI指令传给SG驱动。

参照图4：是本发明透明恢复调用层次示意图，命令转化模块通过磁带的关联信息，分析出需要的物理磁带，并将主机对虚拟磁带的操作，转化为对后端物理磁带的操作。对物理磁带的操作是通过DEV文件系统下的物理机械手设备文件的操作完成的。设备文件通过SCSI驱动对实际的物理机械手进行操作。

步骤包括：

步骤401：命令转化模块将指令转化为对物理磁带的操作，写入SCSI中间层驱动；

步骤402：SCSI中间层驱动将指令传递给SCSI卡的驱动。

参照图5：是本发明系统支持增量导出的虚拟磁带结构示意图，其中：

1：虚拟磁带头，保存虚拟磁带的版本、写入次数、文件个数、剩余容量等基本信息；

2：FILEMARK信息，记录每个FILEMARK偏移，及之前的数据块个数；

3：导出索引，每次导出完毕后，将本次导出的文件个数，数据快的位置等信息，记导出索引中；

4：真实的数据存储区域；

5：每个数据块描述符，描述每个数据块的大小，位置等信息，描述符从后向前排列。

参照图6：是本发明系统数据迁移流程图，步骤包括：

步骤601：迁移控制模块检查物理磁带是否就绪；

步骤602：迁移控制模块处理虚拟磁带数据索引；

步骤603：迁移控制模块检查虚拟磁带导出索引；

步骤604：迁移控制模块判断导出类型；

步骤605：数据传输模块根据导出类型，将物理磁带定位要正确的位置；

步骤606：定位后，做数据读写；

步骤607：数据读写完成后，更新虚拟磁带头上的导出索引。

参照图7，是本发明实施例结构示意图，用户备份环境，UNIX服务器，运行Informix数据库，数据量约100GB。VTL容量6TB，光纤接口，后端连接SCSI接口的STKL20磁带库。主机通过光纤交换机连接存储设备，备份软件采用EMCNet worker，配置LAN FREE备份。开放系统主机BACKUP SERVER(Windows 2003)，型号DELL1850，虚拟磁带库通过SCSI连接将数据导入或导出到物理带库STKL20上。虚拟磁带是LTO-1类型的磁带，容量100G，物理磁带容量也是100G。用户每个月，将关键的虚拟磁带数据导出到物理磁带上。每次导出的物理磁带存储在安全的地方。某日，备份主机和虚拟磁带库被毁坏。通过保存的物理磁带恢复出备份软件的文件索引，又通过文件索引，恢复出保存在离线磁带内的关键数据。保护了用户的关键数据。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的系统及方法；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于嵌入式一体化虚拟磁带库的数据归档保护系统，其特征在于所述系统包括：策略调度模块、迁移控制模块、数据传输模块、磁带映射模块、命令转发模块等逻辑功能模块，其中：

策略调度模块设置虚拟磁带和物理磁带的对应关系，设置每个虚拟磁带导出的时间策略，设置导出时间策略后，到了设置的时间，策略调度模块调用迁移控制模块启动迁移任务；

迁移控制模块，启动和停止迁移任务、管理虚拟磁带索引、控制物理磁磁带的移动；

数据传输模块，实施虚拟磁带和物理磁带之间的数据传输；

磁带映射模块，将虚拟磁带与物理磁带建立关联；

命令转发模块，用于转发主机对物理磁带的操作。

2.根据权利要求1所述的系统，其特征在于，所述系统将虚拟磁带库中虚拟磁带的数据导出到物理磁带上后，物理磁带可以离线保存。

3.根据权利要求1所述的系统，其特征在于，所述系统运行程序在嵌入式一体化虚拟磁带库上操作。

4.根据权利要求3所述的系统，其特征在于，所述开放系统主机通过读取嵌入式一体化虚拟磁带库的数据来恢复数据，也可以通过嵌入式一体化虚拟磁带库作为桥接，直接从物理磁带库上恢复数据。

5.根据权利要求2所述的系统，其特征在所述系统支持增量数据导出，只导出虚拟磁带上更新备份的数据。

6.一种基于嵌入式一体化虚拟磁带库的数据归档保护方法，所述方法步骤包括：

通过开放系统主机将数据备份到嵌入式一体化虚拟磁带库中，数据在磁盘上保存；

迁移控制模块识别和控制后端物理磁带库；

数据传输模块实现数据在虚拟磁带库和物理磁带机设备之间的传输；

磁带映射模块将虚拟磁带和物理磁带建立关联；

命令转化模块将主机对物理磁带的操作，转发给后端的物理带库，并将物理磁带库的执行结果返回给主机。

7.根据权利要求6所述的方法，其特征在于，实现所述方法包括外部运行环境：开放系统主机、备份软件、嵌入式一体化虚拟磁带库和物理磁带库。

8.根据权利要求6所述的方法，其特征在于，所述方法通过运行所述系统的迁移模块，可将数据迁移到物理磁带库中。

9.根据权利要求7所述的方法，其特征在于，所述方法可先把数据导入到虚拟磁带库中，主机恢复数据。主机也可以通过虚拟磁带库，直接把数据从物理磁带库中恢复。

10.根据权利要求7所述的方法，其特征在于，所述方法支持增量数据导出，通过导出虚拟磁带上更新备份的数据，缩短同一个虚拟磁带多次数据导出的时间。

Images