CN105511986A - 一种基于磁带库的数据保护系统和方法 - Google Patents
一种基于磁带库的数据保护系统和方法 Download PDFInfo
- Publication number
- CN105511986A CN105511986A CN201510893902.7A CN201510893902A CN105511986A CN 105511986 A CN105511986 A CN 105511986A CN 201510893902 A CN201510893902 A CN 201510893902A CN 105511986 A CN105511986 A CN 105511986A
- Authority
- CN
- China
- Prior art keywords
- data
- time point
- tape library
- tape
- point object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Abstract
本发明涉及一种基于磁带库的数据保护系统及方法,其中,数据保护系统包括数据备份服务器和磁带库,所述数据备份服务器包括:备份数据存储模块,用于存储从生产服务器上备份的数据及相应的时间点数据集;数据归档模块,用于建立数据归档任务,并根据所述数据归档任务以时间点数据集为单位将存储于备份数据存储模块中的数据归档至磁带库中,同时记录每个数据对象在磁带库中的位置;位置数据库,用于存储数据对象在磁带库中的位置。与现有技术相比,本发明既能有效对数据进行保护,又能利用磁带的优势降低成本,同时方便的管理磁带中的数据。
Description
技术领域
本发明涉及数据归档、灾难恢复技术领域,尤其是涉及一种基于磁带库的数据保护系统和方法。
背景技术
磁带库是当前数据存储体系中非常重要的组成部分。磁带库不仅存储容量大,而且在成本、能耗、可靠性和移动性方面相对磁带机和硬盘有较大优势。
随着信息技术的发展,数据对于每个行业都越来越重要。因此很多企业和政府都会使用各种数据保护产品备份自己的数据。而现有备份产品大都是将备份数据保存到磁盘中。随着数据量的增加,成本随之飙升。与此相对的是磁盘中的大多数数据很少使用。因此将不常使用的数据归档到廉价的磁带中就成了自然而然的选择。
传统的磁带备份方法,只是将数据简单的写入磁带中。当归档的数据量变大时,维护磁带索引信息将极为困难,恢复磁带数据时需要耗费极大的人力来找到数据所在磁带的位置。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于磁带库的数据保护系统和方法,结合传统备份软件和磁带备份,并通过独立的数据库记录磁带中数据的索引信息,既能有效对数据进行保护,又能利用磁带的优势降低成本,同时方便的管理磁带中的数据,实现对数据廉价、高效的保护。
本发明的目的可以通过以下技术方案来实现:
一种基于磁带库的数据保护系统,包括通过光纤线连接的数据备份服务器和磁带库,所述数据备份服务器包括:
备份数据存储模块,用于存储从生产服务器上备份的数据及相应的时间点数据集;
数据归档模块,用于建立数据归档任务,并根据所述数据归档任务以时间点数据集为单位将存储于备份数据存储模块中的数据归档至磁带库中,同时记录每个数据对象在磁带库中的位置;
位置数据库,用于存储数据对象在磁带库中的位置。
所述数据归档模块包括:
时间点对象过滤单元,用于获取数据归档任务中需归档的时间点对象集,并过滤已写入磁带库的时间点对象;
磁带写入单元,用于根据过滤后的时间点对象集将时间点对象数据集写入磁带库;
位置记录单元,用于将每个数据对象在磁带库中的位置记录于位置数据库中。
所述磁带写入单元包括:
第一判断子单元,用于判断过滤后的时间点对象集是否为空集;
第二判断子单元,在第一判断子单元的判断结果为否时响应,用于判断归档的上一个时间点是否完整;
第一数据写入子单元,在第二判断子单元的判断结果为是时响应,用于将过滤后的时间点对象集对应的时间点对象数据集写入磁带库;
第二数据写入子单元,在第二判断子单元的判断结果为否时响应,用于在驱动器磁头调到上一个时间点开始位置后,将过滤后的时间点对象集对应的时间点对象数据集写入磁带库。
该数据保护系统还包括:
归档数据恢复模块,用于在获取恢复任务后查询位置数据库,获取待恢复数据在磁带库中的位置,根据该位置从磁带库中获取数据,恢复到目标服务器中。
一种基于磁带库的数据保护方法,用于将备份于数据备份服务器中归档至磁带库中,包括以下步骤:
1)建立数据归档任务,获取需归档的时间点对象集;
2)过滤时间点对象集中已写入磁带库的时间点对象;
3)判断过滤后的时间点对象集是否为空集,若是,则退出,若否,则执行步骤4);
4)判断归档的上一个时间点是否完整,若是,则直接执行步骤5),若否,则将驱动器磁头调到上一个时间点开始位置,然后执行步骤5);
5)将过滤后的时间点对象集对应的时间点对象数据集写入磁带库,同时将每个数据对象在磁带库中的位置记录于位置数据库中。
将所述磁带库中数据恢复至目标服务器时,首先获取恢复任务,根据恢复任务查询位置数据库,根据该位置从磁带库中获取数据,恢复到目标服务器中。
与现有技术相比,本发明具有以下有益效果:
1、结合了备份服务器备份数据对生产服务器影响小和磁带库存储廉价、可靠、易维护的优势,有效对数据进行保护。
2、使用光纤直接从数据备份服务器获取数据,充分利用了磁带库的读写性能,减少了对生产服务器性能和公共网络带宽的影响。
3、首先通过备份任务将需备份数据存储到备份服务器中,不从生产服务器中直接将数据写入磁带库,减少归档任务对生产服务器的资源消耗。
4、以时间点数据集为单位管理归档数据,保证了数据对象的完整性,同时减少了重复数据和损坏数据对磁带空间的占用。
5、通过使用数据库记录数据对象在磁带库中的位置,降低磁带数据维护成本,加快数据检索效率和磁带数据恢复速度,同时方便的管理磁带中的数据。
6、本发明在进行归档时,过滤掉重复时间点数据集并回收不完整的时间点数据集占用的空间,提高归档可靠性和效率。
附图说明
图1为本发明的业务流程示意图;
图2为本发明的数据归档过程示意图;
图3为本发明的数据恢复过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本实施例提供一种基于磁带库的数据保护系统,包括通过光纤线连接的数据备份服务器和磁带库,数据备份服务器包括备份数据存储模块、数据归档模块和位置数据库,其中:备份数据存储模块用于存储从生产服务器上备份的数据及相应的时间点数据集;数据归档模块用于建立数据归档任务,并根据数据归档任务以时间点数据集为单位将存储于备份数据存储模块中的数据归档至磁带库中,同时记录每个数据对象在磁带库中的位置;位置数据库用于存储数据对象在磁带库中的位置。该数据保护系统还可以包括归档数据恢复模块,用于在获取恢复任务后查询位置数据库,获取待恢复数据在磁带库中的位置,根据该位置从磁带库中获取数据,恢复到目标服务器中。
上述数据保护系统涉及的装置及工具包括:
1、数据备份服务器:专门用于存放备份数据的服务器。独立于生产环境中的服务器,拥有较大的存储及数据管理软件以存放需要备份的数据。
2、磁带库:大容量的廉价存储介质。通过光纤线与数据备份服务器相连,以提高读写性能,避免占用公共网络带宽。用于存放生产环境中最近不会用到,但需要长期保存的数据。
3、数据库:运行在数据备份服务器中,保存并管理磁带库中备份数据的索引信息。
4、生产服务器:安装有备份代理。可将需要保护的数据直接备份到备份服务器。
如图1所示为上述数据保护系统使用时业务流程图,在数据备份服务器2上建立数据备份任务,通过生产服务器1上的备份代理,将生产服务器1上的需要备份的数据保存到数据备份服务器2。每个数据备份任务的每次备份操作都会产生独立的时间点数据集,每一个时间点数据集保存完整的数据状态。数据备份服务器2通过数据归档任务将数据在磁带库3中进行归档,磁带库3中的数据再通过数据恢复任务将数据恢复至目标服务器4中,目标服务器可以是原生产服务器,也可以为另一生产服务器。
数据归档模块包括时间点对象过滤单元、磁带写入单元和位置记录单元,其中,时间点对象过滤单元用于获取数据归档任务中需归档的时间点对象集,并过滤已写入磁带库的时间点对象;磁带写入单元用于根据过滤后的时间点对象集将时间点对象数据集写入磁带库;位置记录单元用于将每个数据对象在磁带库中的位置记录于位置数据库中。磁带写入单元包括:
第一判断子单元,用于判断过滤后的时间点对象集是否为空集;
第二判断子单元,在第一判断子单元的判断结果为否时响应,用于判断归档的上一个时间点是否完整;
第一数据写入子单元,在第二判断子单元的判断结果为是时响应,用于将过滤后的时间点对象集对应的时间点对象数据集写入磁带库;
第二数据写入子单元,在第二判断子单元的判断结果为否时响应,用于在驱动器磁头调到上一个时间点开始位置后,将过滤后的时间点对象集对应的时间点对象数据集写入磁带库。
如图2所示,数据归档模块进行数据归档的过程具体为:
1)建立数据归档任务,获取需归档的时间点对象集。数据归档任务保证时间点数据集的唯一性和完整性。对于已归档到磁带的时间点数据集不会重复归档,对于没有完全写入磁带的时间点数据集回收所占空间。
2)过滤时间点对象集中已写入磁带库的时间点对象,过滤掉重复时间点数据集。
3)判断过滤后的时间点对象集是否为空集,若是,则退出,若否,则执行步骤4)。
4)判断归档的上一个时间点是否完整,若是,则直接执行步骤5),若否,则将驱动器磁头调到上一个时间点开始位置,回收不完整的时间点数据集占用的空间,然后执行步骤5)。
5)将过滤后的时间点对象集对应的时间点对象数据集写入磁带库,同时将每个数据对象在磁带库中的位置记录于位置数据库中。
如图3所示,归档数据恢复模块进行数据恢复的过程具体为:
1)数据恢复任务通过查询数据库信息获取写入磁带库数据的数据备份任务信息、时间点数据集信息和备份数据对象信息,并查询到数据对象在磁带中的位置信息。数据恢复任务可以一次将整个时间点数据集或目录数据对象恢复到生产环境。
2)根据获取的数据对象所在磁带带位置信息,从磁带库中获取数据对象,通过生产服务器中的备份代理将数据恢复到生产服务器中。
Claims (6)
1.一种基于磁带库的数据保护系统,包括通过光纤线连接的数据备份服务器和磁带库,其特征在于,所述数据备份服务器包括:
备份数据存储模块,用于存储从生产服务器上备份的数据及相应的时间点数据集;
数据归档模块,用于建立数据归档任务,并根据所述数据归档任务以时间点数据集为单位将存储于备份数据存储模块中的数据归档至磁带库中,同时记录每个数据对象在磁带库中的位置;
位置数据库,用于存储数据对象在磁带库中的位置。
2.根据权利要求1所述的基于磁带库的数据保护系统,其特征在于,所述数据归档模块包括:
时间点对象过滤单元,用于获取数据归档任务中需归档的时间点对象集,并过滤已写入磁带库的时间点对象;
磁带写入单元,用于根据过滤后的时间点对象集将时间点对象数据集写入磁带库;
位置记录单元,用于将每个数据对象在磁带库中的位置记录于位置数据库中。
3.根据权利要求2所述的基于磁带库的数据保护系统,其特征在于,所述磁带写入单元包括:
第一判断子单元,用于判断过滤后的时间点对象集是否为空集;
第二判断子单元,在第一判断子单元的判断结果为否时响应,用于判断归档的上一个时间点是否完整;
第一数据写入子单元,在第二判断子单元的判断结果为是时响应,用于将过滤后的时间点对象集对应的时间点对象数据集写入磁带库;
第二数据写入子单元,在第二判断子单元的判断结果为否时响应,用于在驱动器磁头调到上一个时间点开始位置后,将过滤后的时间点对象集对应的时间点对象数据集写入磁带库。
4.根据权利要求1所述的基于磁带库的数据保护系统,其特征在于,该数据保护系统还包括:
归档数据恢复模块,用于在获取恢复任务后查询位置数据库,获取待恢复数据在磁带库中的位置,根据该位置从磁带库中获取数据,恢复到目标服务器中。
5.一种基于磁带库的数据保护方法,用于将备份于数据备份服务器中归档至磁带库中,其特征在于,包括以下步骤:
1)建立数据归档任务,获取需归档的时间点对象集;
2)过滤时间点对象集中已写入磁带库的时间点对象;
3)判断过滤后的时间点对象集是否为空集,若是,则退出,若否,则执行步骤4);
4)判断归档的上一个时间点是否完整,若是,则直接执行步骤5),若否,则将驱动器磁头调到上一个时间点开始位置,然后执行步骤5);
5)将过滤后的时间点对象集对应的时间点对象数据集写入磁带库,同时将每个数据对象在磁带库中的位置记录于位置数据库中。
6.根据权利要求1所述的基于磁带库的数据保护方法,其特征在于,将所述磁带库中数据恢复至目标服务器时,首先获取恢复任务,根据恢复任务查询位置数据库,根据该位置从磁带库中获取数据,恢复到目标服务器中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510893902.7A CN105511986A (zh) | 2015-12-07 | 2015-12-07 | 一种基于磁带库的数据保护系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510893902.7A CN105511986A (zh) | 2015-12-07 | 2015-12-07 | 一种基于磁带库的数据保护系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105511986A true CN105511986A (zh) | 2016-04-20 |
Family
ID=55719988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510893902.7A Pending CN105511986A (zh) | 2015-12-07 | 2015-12-07 | 一种基于磁带库的数据保护系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105511986A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110704242A (zh) * | 2019-09-24 | 2020-01-17 | 上海爱数信息技术股份有限公司 | 一种基于Oracle日志捕获的连续数据保护系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1746856A (zh) * | 2004-09-09 | 2006-03-15 | 微软公司 | 用于在数据保护系统中保护数据的方法、系统和装置 |
US20070130232A1 (en) * | 2005-11-22 | 2007-06-07 | Therrien David G | Method and apparatus for efficiently storing and managing historical versions and replicas of computer data files |
CN101739307A (zh) * | 2008-11-04 | 2010-06-16 | 北京众志和达信息技术有限公司 | 基于嵌入式一体化虚拟磁带库的数据归档保护系统和方法 |
CN102012947A (zh) * | 2010-12-16 | 2011-04-13 | 创新科存储技术有限公司 | 一种数据库在线备份的方法及系统 |
CN102331955A (zh) * | 2011-09-14 | 2012-01-25 | 天津火星科技有限公司 | 一种多时间粒度的数据备份方法 |
CN104090828A (zh) * | 2014-07-24 | 2014-10-08 | 浪潮(北京)电子信息产业有限公司 | 一种实现数据实时备份的方法及系统 |
-
2015
- 2015-12-07 CN CN201510893902.7A patent/CN105511986A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1746856A (zh) * | 2004-09-09 | 2006-03-15 | 微软公司 | 用于在数据保护系统中保护数据的方法、系统和装置 |
US20070130232A1 (en) * | 2005-11-22 | 2007-06-07 | Therrien David G | Method and apparatus for efficiently storing and managing historical versions and replicas of computer data files |
CN101739307A (zh) * | 2008-11-04 | 2010-06-16 | 北京众志和达信息技术有限公司 | 基于嵌入式一体化虚拟磁带库的数据归档保护系统和方法 |
CN102012947A (zh) * | 2010-12-16 | 2011-04-13 | 创新科存储技术有限公司 | 一种数据库在线备份的方法及系统 |
CN102331955A (zh) * | 2011-09-14 | 2012-01-25 | 天津火星科技有限公司 | 一种多时间粒度的数据备份方法 |
CN104090828A (zh) * | 2014-07-24 | 2014-10-08 | 浪潮(北京)电子信息产业有限公司 | 一种实现数据实时备份的方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110704242A (zh) * | 2019-09-24 | 2020-01-17 | 上海爱数信息技术股份有限公司 | 一种基于Oracle日志捕获的连续数据保护系统及方法 |
CN110704242B (zh) * | 2019-09-24 | 2023-06-13 | 上海爱数信息技术股份有限公司 | 一种连续数据保护系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9703640B2 (en) | Method and system of performing incremental SQL server database backups | |
CN101777017B (zh) | 一种连续数据保护系统的快速恢复方法 | |
CN102521072B (zh) | 虚拟磁带库设备及数据恢复方法 | |
US20150193473A1 (en) | Database Storage System based on Optical Disk and Method Using the System | |
CN104461390A (zh) | 将数据写入叠瓦状磁记录smr硬盘的方法及装置 | |
CN103226965B (zh) | 基于时间位图的音视频数据存取方法 | |
CN104462563A (zh) | 一种文件存储方法和系统 | |
CN101916290B (zh) | 内存数据库的管理方法和装置 | |
CN103262043A (zh) | 从差异备份中执行数据库的精细恢复的方法和系统 | |
CN102314383A (zh) | 数据索引的故障恢复方法和装置 | |
CN102982067A (zh) | 以可重复方式遍历数据 | |
CN104883365A (zh) | 一种安全日志存储和读取方法、装置及安全管控系统 | |
CN102419775A (zh) | 一种海量小文件的存储与检索方法 | |
CN103034592A (zh) | 数据处理方法和装置 | |
CN103164528B (zh) | 一种音视频数据的索引建立方法 | |
CN104360914A (zh) | 增量快照方法和装置 | |
CN102779138A (zh) | 实时数据的硬盘存取方法 | |
CN103019891A (zh) | 一种还原被删除文件的方法及系统 | |
CN103544124B (zh) | Nand Flash存储器的访问方法 | |
CN103176867A (zh) | 一种快速文件差异备份方法 | |
CN107273449B (zh) | 一种基于内存数据库的断点处理方法及系统 | |
CN105787090A (zh) | 一种电力数据的olap系统的索引建立方法和系统 | |
CN109189724B (zh) | 提高视频监控系统音视频数据存储效率的方法及装置 | |
CN104636218B (zh) | 数据恢复方法及装置 | |
CN103645984A (zh) | 日志处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160420 |