CN106648961A - 一种一体化蓝光光盘库备份归档方法 - Google Patents

Abstract

本发明涉及一种一体化蓝光光盘库备份归档方法，包括以下步骤：步骤一、数据从生产系统备份到备份存储；步骤二、数据从备份存储原格式归档到蓝光光盘库，具体为：将蓝光光盘库与服务器连接；在服务器上部署归档客户端、swift对象存储模块和S3QL网络文件系统模块；通过swift对象存储模块创建与蓝光光盘库对应的光盘库磁盘缓冲；建立蓝光光盘库的卷与S3QL网络文件系统模块的关联；选取备份存储上需要归档的数据，写入S3QL网络文件系统模块中；将写入S3QL网络文件系统模块的数据存储到光盘库磁盘缓冲中；将光盘库磁盘缓冲中的数据同步刻录到蓝光光盘库。与现有技术相比，本发明具有一体化备份、电力资源消耗小等优点。

Description

一种一体化蓝光光盘库备份归档方法

技术领域

本发明属于计算机存储技术和数据生命周期管理相结合的交叉学科技术领域，涉及利用磁盘备份、蓝光光盘归档的一种光磁融合备份归档方法，具体是涉及一种一体化蓝光光盘库备份归档方法。

背景技术

随着信息化的发展，用户的IT数据呈爆炸性的增长；且随着发展进程的演进，需要有存储介质能长久地保存数据。相比于蓝光光盘，磁盘的使用寿命相对较短(通常为10年)，容易被电磁波损坏，且价格相对来说更昂贵；相比于蓝光光盘，磁带不能以原格式保存数据，与磁带机的兼容性不好(通常跨2代就无法兼容)，也是一种磁介质，对保存环境要求较高。正是因为蓝光光盘相对于以上两种存储介质，更有优势，因此在很多行业中，占据着重要的地位。一些行业机构此类需求最为明显：

1、银行：票据去纸质化，要求电子票据保存30年。

2、档案馆：档案需要进行长期保存。

3、公安、交警：比如交通卡口非常多，持续监测会产生大量的数据，因蓝光光盘价格低廉且随着其研究进展，存储容量也越来越大，适合将数据从磁盘迁过来。

4、政府涉密单位：因国家的法规要求，这些涉密单位的数据必须用蓝光光盘进行数据归档。

目前光盘库数据归档的存储方式主要采用的技术是：、以OpenStack swift对象存储为原型，将光盘库中的物理光盘匣格式化成逻辑卷，提供swift对象存储接口，将数据以对象存储特有的扁平文件系统存放在光盘卷中。归档数据的元数据需要归档产品自行维护，必须依赖归档产品才能将数据浏览、查找出来。这是一种为非原格式数据归档存储形态。

因为数据归档都要求将数据安全归档在光盘库中，且保存30年以上，这么长的时间，部署的归档产品可能很长时间无法维护，因此法规有明确要求以原格式保存形态。因此，需要对现有技术进行改进。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种一体化蓝光光盘库备份归档方法，将数据集中备份，冷、温数据归档，实现一、二、三级数据分级存储，从容面对大数据的挑战，有效降低用户对IT基础设施的投资；归档的数据以原格式保存，且具备WORM物理不可擦除特性，满足涉密、金融、档案等行业的法规要求；数据归档到蓝光光盘库中，数据保存时间长，电力资源消耗很小，打造真正的绿色数据中心；而且是真正的磁光融合一体化方案，磁盘和光盘库中多份副本，多份冗余数据，数据更加安全。

本发明的目的可以通过以下技术方案来实现：

一种一体化蓝光光盘库备份归档方法，包括以下步骤：

步骤一、数据从生产系统备份到备份存储；

步骤二、数据从备份存储原格式归档到蓝光光盘库，具体为：

201)将蓝光光盘库与服务器连接；

202)在所述服务器上部署归档客户端、swift对象存储模块和S3QL网络文件系统模块；

203)通过swift对象存储模块创建与所述蓝光光盘库对应的光盘库磁盘缓冲；

204)建立蓝光光盘库的卷与S3QL网络文件系统模块的关联；

205)选取备份存储上需要归档的数据，将该数据写入S3QL网络文件系统模块中；

206)swift对象存储模块将写入S3QL网络文件系统模块的数据存储到光盘库磁盘缓冲中；

207)将光盘库磁盘缓冲中的数据同步刻录到蓝光光盘库。

所述步骤一具体为：

101)生产系统中部署用于与备份一体机互通的备份客户端；

102)备份客户端将生产系统中需要备份的数据通过LAN网络或者FC光纤链路传输至备份一体机；

103)备份一体机中的介质服务器程序将收到的备份数据存储于备份存储上。

所述服务器为X86服务器，其上安装有centos7或redhat7 x64位的操作系统。

所述蓝光光盘库通过SAS线或者FC光纤线连接到服务器上。

所述步骤206)中，将数据存储到光盘库磁盘缓冲中时，同时记录一元数据文件，该元数据文件保存有备份文件的文件属性，一个备份时间点对应一个元数据文件。

所述步骤207)中，同步刻录过程还包括同步进度的检测。

还包括归档数据的查找和提取，具体为：

301)在归档客户端中浏览所需要的数据；

302)判断所需要的数据是否存在于光盘库磁盘缓冲中，或是，则直接进行文件下载提取，若否，则执行步骤303)；

303)判断所需要的数据所在的光盘匣是否在线，，或是，则直接进行文件下载提取，若否，则执行步骤304)；

304)将所需要的数据所在的光盘匣加载至服务器的光驱组件中后，进行文件下载提取。

与现有技术相比，本发明具有如下有益效果：

1、本发明实现统一的一体化数据备份，根据策略需求将所需要长期保存的冷、温数据归档到蓝光光盘库，是一种全数据生命周期的数据管理方法，解决大数据管理难题，包括连接、登录、浏览所有的光盘匣及其属性和状态、创建container、扩容container、挂载卷等。

2、归档到蓝光光盘中的数据不加载到光驱组件中，不消耗电力，且可以将光盘匣离线保存，降低了用户IT投资成本。

3、可完全自主管理。本发明以备份一体机作为磁盘备份介质，以蓝光光盘库为归档介质，实现真正的光磁融合存储，热数据从磁盘备份介质中提取，冷、温数据从光盘库中提取；既可以通过归档产品查找、下载数据，也可以脱机归档产品在X86服务器中查找、提取；多份数据副本，多份数据安全保障。

4、本发明采用的备份过程可以支持备份的一切特性，包括但不限于数据源端重删、数据压缩、加密等，并以在客户生产机中的存在形态存储在光盘库中。

5、本发明以文档备份时间点为一个单元，原格式归档到蓝光蓝光库中，达到的效果是脱离备份归档产品，用户也能浏览蓝光光盘库卷中的数据，多副本保存，多种方式提取数据。

6、本发明可实现在线数据的即时下载，通过归档产品能浏览归档到蓝光光盘库卷中的数据，而且能将浏览到的数据下载到部署有归档产品客户端的计算机上。

7、本发明可实现离线数据的智能发现，当用户需要查找某些文件，而存储这些文件的光盘匣离线时，能明确通知用户是哪批次的光盘匣离线了，智能管理已归档的在线、离线数据。

附图说明

图1为本发明的原理示意图；

图2为本发明元数据的各个目录、文件节点的存储格式示意图；

图3为本发明非结构化文件备份流程示意图；

图4为本发明归档到蓝光光盘库的流程示意图；

图5为本发明离线数据导入流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种一体化蓝光光盘库备份归档方法，借助S3QL网络文件系统，数据归档在S3QL文件系统之上，然后S3QL会将数据通过swift对象存储接口，通过http协议put到对象存储卷上。利用上述方法，可以脱离归档产品，而将数据浏览查找出来。为原格式数据归档存储形态。

本方法分为三部分内容：数据从生产机备份到备份存储、数据从备份存储原格式归档到蓝光光盘库、光盘匣离线和离线数据的导入。如图1所示，本方法数据归档的流程为：生产系统1的数据备份至备份一体机2中的备份存储中，服务器部署有归档客户端3，归档客户端3将需要归档的数据通过S3QL网络文件系统和swift对象存储方式归档至蓝光光盘库4中。

一、数据从生产系统备份到备份存储：首先需要在生产系统中部署备份用的客户端，客户端能与备份一体机互通，能通过TCP进行数据和消息传输。然后客户端将生产系统中需要备份的数据通过LAN网络或者FC光纤链路，把数据传输到备份一体机中。最后备份一体机中的mediaserver介质服务器程序将收到的备份数据，按照备份存储的特有格式存储在一体机的磁盘上，完成整个备份过程，是一种非结构化文件备份，流程如图3所示。

本方法可以支持备份的一切特性，包括但不限于数据源端重删、数据压缩、加密等。在归档以原格式存储时，会将这些特性解除掉，以在客户生产机中的存在形态存储在光盘库中。

二、数据从备份存储原格式归档到蓝光光盘库：

2.1、将蓝光光盘库通过SAS线或者FC光纤线连接到部署有SAS卡或FC卡的X86服务器上，保证蓝光光盘库中的机械手、光驱模块完好，并存放有光盘匣，满足数据归档的硬件条件。

2.2、X86服务器安装centos7或redhat7 x64位的操作系统，然后部署swift对象存储服务和S3QL网络文件系统安装程序，并安装。

安装openstack swift：

(1)下载swift源码，安装python setup.py install

(2)编辑/etc/swift/swift.conf的配置信息，加上如下配置信息

swift_hash_path_prefix＝`od-t x8-N 8-A n</dev/random`

swift_hash_path_suffix＝`od-t x8-N 8-A n</dev/random`

(3)更改权限

mkdir-p/var/run/swift

chown swift:swift/var/run/swift

(4)安装memcached，修改对应ip，并重启服务

apt-get install memcached

perl-pi–e"s/-l 127.0.0.1/-l$PROXY_LOCAL_NET_IP/"/etc/memcached.conf

servicememcached restart

(5)创建账户(account)、容器(container)、对象(object)、环(rings)

swift-ring-builder account.builder create 18 3 1

swift-ring-builder container.builder create 18 3 1

swift-ring-builder object.builder create 18 3 1

chown-R swift:swift/etc/swift

(6)启动proxy server和storage server

swift-init proxy start

swift-init all start

2.3、S3QL是开源的在线网络文件系统，从bitbucket.org中下载一个最新版本；并安装：

sudo yum install s3ql

2.4、创建蓝光光盘库的卷，通过如下swift接口：

2.5、将光盘库卷mount到S3QL上，建立光盘库卷与S3QL的关联：

mount.s3ql --cachedir $s3ql_cacche_dir --cachesize 1273741824--metadata-upload-interval＝$metadata_upload_interval --compress none--backend-options no-ssl,tcp-timeout＝0 --allow-other --debug --log$s3ql_log_dir/$container_name.log

swiftks://$keystone_address:5000/RegionOne:$container_name$mount_point_dir

2.6、如图1中的拓扑图，部署在X86服务器上的客户端通过LAN网络或者FC光纤链路从备份一体机请求到要归档的数据。然后根据一定的数据组织形式写入到S3QL中，然后S3QL将写入的数据通过swift put接口将数据写入到光盘库磁盘缓冲中。

同时记录备份文件的文件属性到时间点元数据文件，当需要下载提取光盘库中同平台的数据时保存对应文件属性；一个备份时间点一个元数据文件，保存与备份时间点同一级目录。元数据的各个目录、文件节点的存储格式如图2所示。

·一个时间点一个元数据索引文件，目录存放在S3QL时间点目录下，元数据文件名与时间点目录名一致，文件后缀为.met。

·元数据索引文件顺序读写，图中已标示各个目录、文件node中各个字段所占长度。

·目录、文件node的目录是相对目录，由上级的父目录拼接而成，可以减少node所占空间。

·目录node有起止位和结束位，这样可以在查找某个文件属性的时候，不需要依次遍历，提升查找效率。

·D2D2B元数据索引文件读写模块以组建的方式存在。

·元数据索引文件名字段区分备份数据源来自的操作系统，_win.met代表Windows，_linux.met代表Linux或Unix。比如：/var/share/samba/da/vol042D71/{05AC2948-90D7-42E6-A355-17860C3D1754}/{EC76089C-01D0-4046-B7F3-0AEC9C72FD91}/2016_08_0814_05_04(1470665104977878)complete_win.met说明备份源的系统是Windows。

2.7、数据归档到光盘库磁盘缓冲之后，需要将数据同步到光盘库的物理光盘匣内，只有同步完之后，才能保证数据完整地刻录到光盘库中，通过调用如下蓝光光盘库的同步接口实现：

2.8、因为可能数据量比较大，同步到光盘库中需要一定的时候，因为在同步过程中查询同步进度就有必要了，检测同步完成，通过调用如下蓝光光盘库的检测同步接口实现：

归档到蓝光光盘库流程如图4所示，具体为：

(1)在X86服务器上安装SAS卡或FC卡，将光盘库通过SAS线或FC光纤线连接到服务器上。

(2)在X86服务器上安装centos x64位的操作系统，并安装归档用的归档客户端。

(3)在X86服务器上部署swift对象存储模块。

(4)在X86服务器上部署S3QL网络文件系统模块。

(5)在备份一体机上选择需要归档的数据源，进行归档。数据经过S3QL到大swift，执行同步刻录最终数据存储在光盘库上。

三、光盘匣离线和离线数据的导入：

蓝光光盘库因为主要用于企业级而不是消费级数据归档；因此离线是卷中一组光盘库匣离线，不能仅离线某一个或某一部分光盘匣，卷中只有一个光盘匣的场景除外。

归档的数据通常需要保存很长时间，这么长的时间难免服务器会出现硬件故障或超过使用周期，因此在需要应用离线光盘匣中数据的时候可能需要将这组离线的光盘匣导入到别的X86服务器中。通过调用如下蓝光光盘库的导入光盘匣接口实现：

离线数据导入流程如图5所示，具体为：

(1)在归档产品中浏览所需要查找、提取的数据。

(2)对浏览到的文件进行下载，当下载的数据处于swift缓冲或者所在光盘匣在线，则直接下载出来。

(3)对浏览到的文件进行下载，当下载的数据所在的光盘匣离线。则可以将其加载到光驱组件中，置为在线，进行下载提取；也可以当之前连接的X86服务器挂掉情况下，将其连接到其他的服务器进行导入装载，最后再进行提取。

Claims (7)

1.一种一体化蓝光光盘库备份归档方法，其特征在于，包括以下步骤：

步骤一、数据从生产系统备份到备份存储；

步骤二、数据从备份存储原格式归档到蓝光光盘库，具体为：

201)将蓝光光盘库与服务器连接；

202)在所述服务器上部署归档客户端、swift对象存储模块和S3QL网络文件系统模块；

203)通过swift对象存储模块创建与所述蓝光光盘库对应的光盘库磁盘缓冲；

204)建立蓝光光盘库的卷与S3QL网络文件系统模块的关联；

205)选取备份存储上需要归档的数据，将该数据写入S3QL网络文件系统模块中；

206)swift对象存储模块将写入S3QL网络文件系统模块的数据存储到光盘库磁盘缓冲中；

207)将光盘库磁盘缓冲中的数据同步刻录到蓝光光盘库。

2.根据权利要求1所述的一体化蓝光光盘库备份归档方法，其特征在于，所述步骤一具体为：

101)生产系统中部署用于与备份一体机互通的备份客户端；

102)备份客户端将生产系统中需要备份的数据通过LAN网络或者FC光纤链路传输至备份一体机；

103)备份一体机中的介质服务器程序将收到的备份数据存储于备份存储上。

3.根据权利要求1所述的一体化蓝光光盘库备份归档方法，其特征在于，所述服务器为X86服务器，其上安装有centos7或redhat7x64位的操作系统。

4.根据权利要求1所述的一体化蓝光光盘库备份归档方法，其特征在于，所述蓝光光盘库通过SAS线或者FC光纤线连接到服务器上。

5.根据权利要求1所述的一体化蓝光光盘库备份归档方法，其特征在于，所述步骤206)中，将数据存储到光盘库磁盘缓冲中时，同时记录一元数据文件，该元数据文件保存有备份文件的文件属性，一个备份时间点对应一个元数据文件。

6.根据权利要求1所述的一体化蓝光光盘库备份归档方法，其特征在于，所述步骤207)中，同步刻录过程还包括同步进度的检测。

7.根据权利要求1所述的一体化蓝光光盘库备份归档方法，其特征在于，还包括归档数据的查找和提取，具体为：

301)在归档客户端中浏览所需要的数据；

302)判断所需要的数据是否存在于光盘库磁盘缓冲中，或是，则直接进行文件下载提取，若否，则执行步骤303)；

303)判断所需要的数据所在的光盘匣是否在线，，或是，则直接进行文件下载提取，若否，则执行步骤304)；

304)将所需要的数据所在的光盘匣加载至服务器的光驱组件中后，进行文件下载提取。