CN106649467A - 一种蓝光光盘库归档管理方法及系统 - Google Patents

Abstract

本发明涉及一种蓝光光盘库归档管理方法及系统，所述方法包括：光盘库注册步骤，代理服务器根据收到的光盘库注册请求将对应的光盘库注册至备份服务器，注册完成后，备份服务器记录光盘库状态信息；卷创建步骤，备份服务器根据外部指令将注册至备份服务器的光盘库划分为不同的介质集，并在各介质集下创建至少一个卷，卷格式化步骤，卷创建完成后，由代理服务器创建s3ql网络文件系统实现卷格式化；数据归档步骤，根据归档任务读取备份服务器中的待归档数据，并通过Storage服务器缓存后同步刻录至光盘库中。与现有技术相比，本发明具有高效、简单、跨平台、易于使用等优点，能方便地将数据迁移至光盘库，同时提供快速查询光盘库中的对象的能力。

Description

一种蓝光光盘库归档管理方法及系统

技术领域

本发明属于数据存储领域，适用于将基于对象备份系统的数据归档到光盘库系统，尤其是涉及一种蓝光光盘库归档管理方法及系统。

背景技术

随着大数据时代的到来，各企业保存的数据也越来越多。一方面，企业可以对这些数据进行分析和挖掘，获取很多智能的、深入的、有价值的信息，从而制定新的盈利策略，提升服务水平。另一方面，各企业也必须将数据保留较长的一段时间，这是因为要遵守政府的规定、履行法律法规的责任。随着时间的推移，数据被修改的机率也越来越小并最终成为“固定”的数据，称之为冷数据。一般而言，数据中心80％以上的数据都是冷数据。将这些冷数据全部保存在在线存储系统中是不现实的，因为这即会增加企业的存储成本，还会增加生产系统的压力，导致数据维护难度的上升。这就需要寻找一种相对廉价的、安全可靠的、容易维护、能够长期保存的大容量存储设备，以便将冷数据从在线存储中迁移到这些存储设备中。这个过程，称之为归档。

目前常见的用来冷数据的存储设备有：磁带库和光盘库。相比磁带库，使用光盘库有以下优势：

1.寿命长。通过专业的实验证明，光盘的寿命一般都在50年以上，可以满足最为苛刻金融业对数据超长保存期限的要求。相比之下，磁带的寿命则只有5-10年左右，若使用磁盘作为数据长期保存介质，要求每隔5年进行数据迁移。

2.保存环镜要求不高。光盘只需要常温、防水、防尘。磁带则需要恒温恒湿保存，否则容易出现发霉、粘连、掉磁粉等现象。

3.可靠性高。光盘介质记录数据的原理是通过激光在光盘表面烧录出一些凹坑以达到记录数据0或者1，属于一种稳定的物理记录。而磁带记录的根本原理是通过改变磁粉的极性来记录数据0或者1，属于非物理性记录，所以耐电磁干扰的能力较差。

4.数据查询速度。相对磁带的线性读取，光盘可以直接定位到需要读取数据的位置，从而拥有较高的查询速度。

5.兼容性好。光盘是国际化标准，新一代的光驱总是保留向下的兼容性。

综上所述，光盘库是一种理想的、用来作为数据长期保存的设备。

在档案管理领域的数据保护中，磁盘和光盘库都是负责着各自重要的角色，磁盘一般是作为数据快速备份恢复的存储介质，光盘库一般是作为数据归档的存储介质，该数据流向是磁盘到磁盘再到光盘库的过程即D2D2B，或者直接的磁盘数据备份到光盘库的过程D2B。但现有的归档方法还存在不足，需要一种更为高效、简单的将数据归档到光盘库中的方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种高效的、简单的、跨平台的、易于使用的蓝光光盘库归档管理方法及系统，能方便地将基于对象备份系统中的数据迁移至光盘库，同时提供快速查询光盘库中的对象的能力。

本发明的目的可以通过以下技术方案来实现：

一种蓝光光盘库归档管理方法，包括：

光盘库注册步骤，代理服务器根据收到的光盘库注册请求将对应的光盘库注册至备份服务器，注册完成后，备份服务器记录光盘库状态信息；

卷创建步骤，备份服务器根据外部指令将注册至备份服务器的光盘库划分为不同的介质集，并在各介质集下创建至少一个卷，

卷格式化步骤，卷创建完成后，由代理服务器创建s3ql网络文件系统实现卷格式化；

数据归档步骤，根据归档任务读取备份服务器中的待归档数据，并通过Storage服务器缓存后同步刻录至光盘库中。

所述光盘库注册步骤具体为：

101)代理服务器在收到光盘库注册请求时，转发该请求至所有与代理服务器连接的Storage服务器，各所述Storage服务器中保存有通过间隔扫描获取的光盘库状态信息；

102)Storage服务器将保存的光盘库状态信息返回给代理服务器；

103)代理服务器在收到所有Storage服务器的返回信息后，转发该返回信息至备份服务器；

104)备份服务器保存并展示所有收到的光盘库状态信息，并根据用户选择指令将相应的光盘库注册到备份服务器中。

所述卷创建步骤具体为：

201)创建介质集；

202)在收到在某一介质集下创建卷指令后，遍历该介质集包含的光盘库，并向各光盘库所属的Storage服务器发起查询光盘匣请求；

203)展示Storage服务器返回的光盘匣信息；

204)根据用户选择指令对所创建的卷分配光盘匣，并将分配结果发送给Storage服务器；

205)Storage服务器执行相应的卷创建操作。

在执行所述数据归档步骤时，还包括：将所述待归档数据发送给搜索引擎服务器进行解析，解析后形成的索引数据同时保存于Storage服务器中。

还包括：

数据浏览下载步骤，搜索引擎服务器根据用户搜索关键字进行数据搜索，并根据用户下载请求，通过Storage服务器下载相应文件。

所述数据浏览下载步骤具体为：

301)搜索引擎服务器获取用户搜索关键字；

302)判断本地缓存中是否存在完整的索引数据，若是，则执行步骤304)，若否，则向Storage服务请求索引数据；

303)接收Storage服务器返回的完整的索引数据；

304)根据用户搜索关键字进行数据搜索并显示搜索结果；

305)将用户下载请求发送给Storage服务器，所述用户下载请求包括待下载文件和保存路径；

306)Storage服务器根据用户下载请求从光盘库中读取文件并根据所述保存路径发送文件。

一种蓝光光盘库归档管理系统，包括：

备份服务器，用于实现备份及归档任务；

光盘库，用于保存归档后的数据；

代理服务器，作为数据转发接口，用于实现备份服务器与光盘库的通信；

Storage服务器，连接于代理服务器与光盘库间，用于实现与光盘库的数据传输。

所述备份服务器包括：

光盘库状态信息存储模块，用于存储并展示注册至备份服务器的光盘库状态信息；

介质集维护模块，用于根据外部指令将光盘库划分为不同的介质集，所述介质集由至少一个卷组成，每个所述卷分配有至少零个光盘匣。

所述代理服务器包括：

s3ql网络文件接口模块，用于对上层应用提供通用的文件操作接口。

还包括：

搜索引擎服务器，用于解析归档数据，提供归档数据搜索接口，展示搜索结果，并根据所述搜索结果通过Storage服务器下载所需文件

与现有技术相比，本发明具有以下有益效果：

1、实现备份服务器中的数据归档到光盘库设备，光盘库并不直接连接到备份服务器上，将备份服务器与光盘库隔离开，不占用备份服务器的资源，同时方便扩展。

2、对应用透明，通过s3ql向归档应用提供了与本地文件系统一致的操作体验，屏蔽了光盘库与磁盘操作的差异性。归档应用不需要改动就可以直接将数据归档到光盘库中。

3、采用s3ql网络文件系统，提供对归档数据的压缩特性，减少带宽占用，提升传输效率。同样地，也减少了占用的光盘库空间，空间利用率提高。

4、提供对归档数据的加密特性，保障归档数据的安全性。

5、提供对归档数据的重删特性，提高空间利用率真。

6、设置搜索引擎节点，提供对归档数据的搜索功能。对归档数据的访问都是很久之后，用户并不能记得归档的数据放置在哪里，也不能够确定是否有符合某些条件的数据。通过搜索引擎提供的搜索功能，能够瞬间返回指定条件的数据，提高对归档数据的发现能力和利用率。

7、高性能。通过先将数据缓存到Storage服务器，然后再刻录到光盘库的步骤，有效屏蔽了光盘读写速度慢的缺点，加快了归档速度，提高了实际使用的效率。

8、可扩展。由于光盘库是通过代理服务器与备份服务器通信，因此，无论光盘库的物理架构、网络架构如何变化，都不会影响到备份服务器，因而当空间不足而需要扩展时，会比较简单。

附图说明

图1为备份服务器与光盘库的简单连接架构示意图；

图2为备份服务器与光盘库的另一种简单连接架构示意图；

图3为介质集、光盘库、卷和光盘匣的关系示意图；

图4为加入Storage节点后的架构示意图；

图5为加入搜索引擎节点后的架构示意图；

图6为本发明的数据流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种蓝光光盘库归档管理方法，采用以下技术方案和步骤实现：

1、注册光盘库

此步骤主要是扫描光盘库设备状态信息，将信息存储至备份服务器，建立介质集和光盘库的绑定关系。如图1所示，光盘库3并不直接连接到备份服务器1上，而是通过代理服务器2连接至备份服务器1上，是因为：

A.不占用备份服务器资源，这样就不会给备份服务器增加压力、影响备份服务器的正常运行。

B.方便扩展。光盘库连接到代理服务器，然后代理服务器连接到备份服务器。这样的连接形式，将备份服务器与光盘库隔离开，扩展光盘库就不会影响备份服务器。比如，原来只有一台光盘库，后来扩展到二台。新加入的光盘库，只需要通过代理服务器反馈给备份服务器即可。

图1的另一种扩展形式如图2所示，图2中所示光盘库设有多个。

注册时，备份服务器向代理服务器请求光盘库设备，代理服务器会扫描后端光盘库设备并将其状态信息返回给备份服务器。

备份服务器会记录下光盘库状态信息，并向用户展示该信息，然后依据用户的选择，将不同的光盘库划分为不同的介质集。每个介质集至少包含一个光盘库设备，也可以包含多个光盘库设备，但同一个光盘库设备不得同时包含在多个介质集中。

2、创建卷

介质集只是一个逻辑上的概念，应用并不能直接使用其存储数据。介质集需要进一步划分为卷，卷作为存储单元提供给上层应用使用，介质集并不为上层应用感知。在创建卷的时候，需要分配光盘匣给卷、指定raid级别、副本数目等信息。

一个卷可以拥有多个光盘匣(光盘匣是光盘的集合，包含多张光盘)，也可以不拥有任何光盘匣。不拥有任何光盘匣的卷容量为零，是无法存储数据的。由于卷的实际容量是由其包含的光盘匣决定的，因此，当卷的空间不足时，只需要简单的给卷分配更多的光盘匣即可以实现卷扩容。同样地，一个光盘匣也只能归属于一个卷。

介质集、光盘库、卷和光盘匣的关系如图3所示。

3、卷格式化

创建卷之后，还需要格式化，因为卷也只是一个逻辑上的概念，其本质上也只是一堆光盘匣的集合。而备份服务器也只使用文件系统提供的接口。因此，必须有一个中间层，对上层应用提供通用的文件操作接口，并将数据刻录到光盘库设备中以及从光盘库中读取出来。

由二个组件来实现这个功能，对上层应用提供通过的文件操作接口使用s3ql网络文件系统来实现，数据的刻录及读取由StorageService提供。

s3ql有以下特点：

a.透明性。s3ql文件系统提供与本地文件系统一致的接口和功能，对应用无须更改即可将数据保存到光盘库中。

b.压缩。在数据被实际传送到光盘库之前被压缩以节约带宽，提高传输效率。可以使用的压缩算法有：LAMZ、bzip2和gzip。

c.加密。保障数据传输的安全性，被加密的数据是压缩后的数据。

d.去重。对于相同的内容，只有一份数据被真实的传输到光盘库中。

e.Copy-On-Write。在s3ql文件系统中复制一份数据时，初始并不会占用任何额外的磁盘空间。只有当原数据或者被复制的数据发生了变更的时候，被变更的数据才会从原数据中分离，占用相应的磁盘空间。

StorageService主要有以下功能：

a.响应s3ql的请求，准备从s3ql接收数据、或者向s3ql返回被请求的文件内容。

b.将数据刻录到光盘库中。

c.从光盘库中读取数据。

基于以下因素的考虑，StorageService必须能够被单独安装运行：

a.由于光盘刻录是连续的，一旦开始刻录，数据必须被不断的送往光盘库，直到刻录完成。因此，StorageService在收到s3ql传送的数据时，不能立即开始刻录，需要等数据被全部接收完成后才可以开始刻录，从而StorageService需要开辟有磁盘缓存。这块缓存可能会比较大，若直接部署在代理服务器上面，可能会占用代理服务器较多的资源。

b.基于效率的考虑。相对磁盘读取速度来讲，无论是从光盘读、还是往光盘写，速度都太慢了。因此，若直接将接收到的数据刻录到光盘库，会拖慢系统的整体效率。更为严重的是，当一批数据刻录没有完成的时候，另一批数据无法开始刻录，从而造成所有的归档数据只有串行。

加入Storage节点后的架构图如图4所示，包括依次连接的备份服务器1、代理服务器2、Storage服务器4和光盘库3，代理服务器2可同时连接多个Storage服务器4，每个Storage服务器4连接有至少一个对应的光盘库。

4、数据迁移到光盘库

数据迁移到光盘库是通过在备份服务器上面创建的归档任务来完成的。在创建归档任务的时候，需要指定关联的备份任务，即哪些备份数据需要归档，一个归档任务可以归档多个备份任务；归档的目的是哪个卷，即数据保存在哪个卷中；归档的周期，即什么时候调度执行该归档任务。

归档的时候，除了将文件内容归档到光盘库之外，还需要将文件属性一并归档到光盘库。这样，当以后用户需要查看原始文件时，就可以获取与当时查看文件内容一致的体验。

5、数据查询下载

可以通过二种方式来查找蓝光光盘库中的对象。

a.通过绝对路径来下载文件

这种方式是指用户知道待下载的文件是在哪个备份任务在某个时间点备份的、是由哪个归档任务归档的。其操作方式类似于在windows系统中打开一个文件，即先进入D盘，然后双击进入某个目录，最后再双击打开文件。

从归档的数据中下载文件时，用户先指定归档任务，然后再选择备份任务，接着选择时间点，再进入文件所在目录，最后选中该文件，并指定下载的目的地，最后点击开始下载文件。

b.通过搜索来下载文件

这种方式是指用户并不知道待下载文件保存在什么路径，甚至不确定该文件是否存在。只能先借助搜索引擎，通过关键字来确定该文件是否在光盘库中。关键字包括但不限于：文件名字、文件大小、文件内容、归档日期、文件作者以及某些特殊的属性。这种操作方式类似于通过Google搜索某个资源，然后根据搜索引擎返回的链接来下载该资源。

为了实现这种下载方式，在数据被归档到当光盘库时，必须复制一份给搜索引擎进行解析。

加入搜索引擎节点后的架构图如图5所示，包括备份服务器1、代理服务器2、Storage服务器4、光盘库3和搜索引擎服务器5，备份服务器1、代理服务器2、Storage服务器4、光盘库3依次连接，搜索引擎服务器5分别连接备份服务器1和代理服务器2。

如图6所示，本发明的蓝光光盘库归档管理方法具体流程为：

1.Storage服务器上电的时候，启动扫描进程，在后台每隔一小段时间，尝试是否有光盘库连接到服务器上。若有光盘库连接到服务器上，则继续获取其状态信息并记录到数据库中。

2.用户通过备份控制台发起注册请求到代理服务器。

3.代理服务器收到注册请求后，转发该消息到所有的Storage服务器进行处理。由于代理服务器主要是进行消息转发，因为，为了使描述简洁，将略过这个步骤。

4.Storage服务器收到注册请求后，收集该服务器上管理的光盘库信息，并将结果返回给代理服务器。

5.代理器服务器在收集完所有Storage服务器返回的消息后，将该消息转发给备份服务器。同第3步一步，后续的描述中，将忽略这一步骤。

6.备份软件将收集到的光盘库信息展示给用户。用户可以选择注册所有的光盘库到备份服务器中，也可以只选择部分进行注册。未注册的光盘库，在后续依然可以进行注册。

7.备份软件将用户选择的光盘库信息注册到备份服务器中。

至此，注册光盘库到备份服务器中的流程已完成。这个流程可以多次执行，以注册新的光盘库到备份服务器中。下面描述创建卷的流程。

8.用户通过备份软件起起创建介质集操作。

9.备份软件向用户展示已注册到备份服务器中，并且没有被分配到任何介质集中的光盘库信息。

10.用户输入介质集名字、选择被划分给该介质集的光盘库等必要信息。

11.备份软件根据用户输入信息创建介质集。

12.用户选择介质集发起创建卷操作。

13.备份软件遍历该介质集包含的光盘库，并向该光盘库所属的Storage服务器发起查询光盘匣请求。

14.备份软件向用户展示Storage服务器返回的光盘匣信息。

15.用户选择被分配给该卷的的光盘匣。

16.备份软件向Storage服务器发起创建卷的请求。

17.待Storage服务器返回创建卷成功后，备份软件再向代理服务器请求创建s3ql文件系统。s3ql是一个网络文件系统，本质上可以安装在任何一台服务器上面，但为了使描述简洁，在这个实施例中，s3ql被安装在代理服务器上面。

至此，创建卷的流程已完成，光盘库已准备好，随时可以向应用提供服务。这个流程可以多次执行，以创建新的卷。下面描述数据归档过程。

18.用户通过备份软件发起创建归档任务操作，输入归档任务名、待归档的备份任务、归档任务调度周期和归档策略。

19.备份软件根据用户输入的信息创建归档任务。

20.待归档任务的调度周期来临，调度进程启动一个新的进程来执行该归档任务。

21.归档进程将待归档的数据从备份服务器中读出来，并根据归档策略过滤不满足归档策略的数据后，将数据分成二份，一份发送给Storage进行保存，另一份发送到搜索引擎进行解析。

22.搜索引擎将解析后形成的索引数据，也发送给Storage进行保存。

至此，创建数据已从备份服务器中归档到光盘库中。下面描述数据下载过程。

23.用户在浏览器中打开搜索服务地址，并向搜索引擎提供搜索关键字。

24.搜索引擎判断本地缓存中是否存在完整的索引，若不存在，则向Storage服务请求索引数据。同时，向用户提示，正在从光盘库中加载索引数据。

25.待Storage服务器返回了所有索引数据之后，搜索引擎根据用户输入的关键字进行搜索，返回满足条件的数据。

26.用户选择某些文件、下载路径，然后点击下载。

27.搜索引擎向Storage服务器发起文件下载请求，并将用户选择的待下载文件、保存路径等信息作为参数传递过去。

28.Storage服务器从光盘库中读取文件，并发送到用户指定的下载路径。

Claims (10)

1.一种蓝光光盘库归档管理方法，其特征在于，包括：

光盘库注册步骤，代理服务器根据收到的光盘库注册请求将对应的光盘库注册至备份服务器，注册完成后，备份服务器记录光盘库状态信息；

卷创建步骤，备份服务器根据外部指令将注册至备份服务器的光盘库划分为不同的介质集，并在各介质集下创建至少一个卷，

卷格式化步骤，卷创建完成后，由代理服务器创建s3ql网络文件系统通过Storage服务器实现卷格式化；

数据归档步骤，根据归档任务读取备份服务器中的待归档数据，并通过Storage服务器缓存后同步刻录至光盘库中。

2.根据权利要求1所述的蓝光光盘库归档管理方法，其特征在于，所述光盘库注册步骤具体为：

101)代理服务器在收到光盘库注册请求时，转发该请求至所有与代理服务器连接的Storage服务器，各所述Storage服务器中保存有通过间隔扫描获取的光盘库状态信息；

102)Storage服务器将保存的光盘库状态信息返回给代理服务器；

103)代理服务器在收到所有Storage服务器的返回信息后，转发该返回信息至备份服务器；

104)备份服务器保存并展示所有收到的光盘库状态信息，并根据用户选择指令将相应的光盘库注册到备份服务器中。

3.根据权利要求1所述的蓝光光盘库归档管理方法，其特征在于，所述卷创建步骤具体为：

201)创建介质集；

202)在收到在某一介质集下创建卷指令后，遍历该介质集包含的光盘库，并向各光盘库所属的Storage服务器发起查询光盘匣请求；

203)展示Storage服务器返回的光盘匣信息；

204)根据用户选择指令对所创建的卷分配光盘匣，并将分配结果发送给Storage服务器；

205)Storage服务器执行相应的卷创建操作。

4.根据权利要求1所述的蓝光光盘库归档管理方法，其特征在于，在执行所述数据归档步骤时，还包括：将所述待归档数据发送给搜索引擎服务器进行解析，解析后形成的索引数据同时保存于Storage服务器中。

5.根据权利要求4所述的蓝光光盘库归档管理方法，其特征在于，还包括：

数据浏览下载步骤，搜索引擎服务器根据用户搜索关键字进行数据搜索，并根据用户下载请求，通过Storage服务器下载相应文件。

6.根据权利要求5所述的蓝光光盘库归档管理方法，其特征在于，所述数据浏览下载步骤具体为：

301)搜索引擎服务器获取用户搜索关键字；

302)判断本地缓存中是否存在完整的索引数据，若是，则执行步骤304)，若否，则向Storage服务请求索引数据；

303)接收Storage服务器返回的完整的索引数据；

304)根据用户搜索关键字进行数据搜索并显示搜索结果；

305)将用户下载请求发送给Storage服务器，所述用户下载请求包括待下载文件和保存路径；

306)Storage服务器根据用户下载请求从光盘库中读取文件并根据所述保存路径发送文件。

7.一种蓝光光盘库归档管理系统，其特征在于，包括：

备份服务器，用于实现备份及归档任务；

光盘库，用于保存归档后的数据；

代理服务器，作为数据转发接口，用于实现备份服务器与光盘库的通信；

Storage服务器，连接于代理服务器与光盘库间，用于实现与光盘库的数据传输。

8.根据权利要求7所述的蓝光光盘库归档管理系统，其特征在于，所述备份服务器包括：

光盘库状态信息存储模块，用于存储并展示注册至备份服务器的光盘库状态信息；

介质集维护模块，用于根据外部指令将光盘库划分为不同的介质集，所述介质集由至少一个卷组成，每个所述卷分配有至少零个光盘匣。

9.根据权利要求7所述的蓝光光盘库归档管理系统，其特征在于，所述代理服务器包括：

s3ql网络文件接口模块，用于对上层应用提供通用的文件操作接口。

10.根据权利要求7所述的蓝光光盘库归档管理系统，其特征在于，还包括：

搜索引擎服务器，用于解析归档数据，提供归档数据搜索接口，展示搜索结果，并根据所述搜索结果通过Storage服务器下载所需文件。