CN107704211B - 一种磁光电混合光盘库及其管理方法和管理系统 - Google Patents

Abstract

本发明提供了一种磁光电混合光盘库及其管理方法和管理系统，该光盘库包括光盘库控制器、固态盘、磁盘、多个光盘驱动器以及多个光盘，其中固态盘作为元数据区，磁盘作为数据缓存区，光盘作为长效存储区，所述光盘控制器与所述固态盘、所述磁盘以及所述光盘驱动器之间均通过高速数据通道连接，所述光盘库控制器用于将光盘库整体虚拟成文件卷，并控制数据的写入和读取，还用于提供对外的标准网络存储接口。本发明结合固态盘以及磁盘访问速度快和光盘长效存储数据的特点，构建分级存储系统，提供用户全局文件视图和在线数据访问，用户写入的文件数据存放在磁盘缓存中，而需要频繁读写的元数据则存放在固态盘构成的元数据区中，提升了数据的访问速度。

Description

一种磁光电混合光盘库及其管理方法和管理系统

技术领域

本发明涉及计算机数据存储领域，尤其涉及一种磁光电混合光盘库及其管理方法和管理系统。

背景技术

大数据时代数据总量不断增加，大数据分析技术也在进步，大数据分析程序能从大量的数据中来挖掘潜在的价值，所以需要一种能够廉价长期保存大量数据的存储系统。光盘是一种适合廉价长期存储数据的存储介质。大数据分析程序需要存储系统能提供在线的数据访问模式，而访问光盘存在秒级别的延时，访问速度也未能达到在线访问的要求，需要采用硬盘等存储介质来保证在线访问，采用光盘介质来保证数据长期存储。

蓝光光盘能够可靠地保存数据长达50年，而且它也是一种价格相对划算的存储介质。光盘有着很好的兼容性，30年前制造的光盘依然能被现有光驱读取。在洪水、地震、飓风等自然灾害或电磁脉冲等人为攻击中，光盘是唯一能保存下来的存储介质，提供了较高的数据保存的可靠性。光盘是由毫米级别的塑料片和微米级别的膜涂层构成，生产成本较低，在大量生产的情况下，光盘的成本可以降到很低。目前常用的蓝光光盘的容量为25、50、100GB等。容量为300GB的蓝光光盘也在逐渐进入消费者市场。25GB和100GB的蓝光光盘在光驱中的标准访问速度分别为26.9MB/s和17.9MB/s，最大访问速度分别为53.8MB/s和35.8MB/s。而硬盘容量一般为4TB和8TB，单个硬盘的访问速度为150MB/s。

为了克服单张光盘在容量和访问速度上的限制，人们提出了光盘库存储系统。光盘库存储系统是通过光盘驱动器存取光盘数据的计算机设备。光盘驱动器能够存取光盘介质上的数据，并通过数据接口和主机系统实现数据通讯。而光盘库系统通常包含一个或者多个片匣，一个或者多个光盘读写驱动器，光盘库控制器以及与之相对应的机械光盘交换装置组成。光盘库控制器能够从批量地将光盘在片匣和光盘驱动器之间传递。

现有大容量光盘库产品有松下公司的LB-DH8和索尼公司的Everspan两个产品。两种产品提供的都是离线式的文件管理服务，而且用户需要专门的备份软件来进行文件管理。

因此，迫切的需要一种新型的磁光电混合的光盘库设计，在光盘存储的基础上增加磁盘和固态盘存储介质来提供在线的数据访问，而且还能自动化管理数据在磁盘、固态盘和光盘上的分布。

发明内容

本发明的目的在于提供一种磁光电混合光盘库及其管理方法和管理系统，旨在用于解决现有的光盘库存储系统中文件无法在线访问、访问性能差的问题。

本发明是这样实现的：

本发明提供一种磁光电混合光盘库，包括光盘库控制器、固态盘、磁盘、多个光盘驱动器以及多个光盘，其中固态盘作为元数据区，磁盘作为数据缓存区，光盘作为长效存储区，所述光盘控制器与所述固态盘、所述磁盘以及所述光盘驱动器之间均通过高速数据通道连接，所述光盘库控制器用于将光盘库整体虚拟成文件卷，并控制数据的写入和读取，还用于提供对外的标准网络存储接口。

本发明还提供一种磁光电混合光盘库的管理方法，包括：

在磁盘和固态盘的整体上建立一个或多个本地文件系统，所述本地文件系统为全局文件镜像卷，用于保存对外的全局文件视图；

在磁盘和固态盘的整体上创建一个或者多个光盘镜像桶，每个光盘镜像桶具有唯一的ID，其容量和物理光盘容量相同，所有光盘镜像桶被格式化为桶光盘文件系统；

当用户在光盘库文件卷上创建文件时，在所述全局文件镜像卷中创建与该文件相应的索引文件，所述索引文件保存该文件数据集所保存的物理存储位置，同时在一个光盘镜像桶中创建与该文件相应的镜像文件，所述镜像文件保存该文件的实际数据；当文件写完成，在所述全局文件镜像卷的索引文件中增加一条映射关系，表明该文件实际记录的光盘镜像桶ID号以及在该桶光盘文件系统中的内部位置；

当用户读取光盘库中的文件时，首先存取全局文件镜像卷确定是否有该文件，如果有，直接把该文件发给用户；如果没有，在光盘中查找和读取相应的文件，通过光盘驱动器读取相应光盘，把用户请求的文件发给用户。

进一步地，写文件时，将外部写入文件依次写入多个光盘镜像桶，当一个光盘镜像桶写满时，关闭相应的光盘镜像桶，这个不可写的光盘镜像桶变成光盘镜像卷，该光盘镜像卷ID号等于光盘镜像桶ID号。

进一步地，当满足刻录条件时，将空白的物理光盘放入光盘驱动器中，把未刻录的光盘镜像卷完全刻录到物理光盘中，在刻录前修改该物理光盘卷号为光盘镜像桶ID号，在刻录完成后，记录光盘镜像卷为已刻录状态。

进一步地，当磁盘和固态盘剩余空间小于预先设定的阈值，根据预先设定的缓存替换算法，将最久没有使用的已刻录光盘镜像卷进行回收，释放相应存储空间。

进一步地，所述缓存替换算法具体为：记录所有光盘镜像卷近N次存取时间，首先根据最近一次存取时间从早到晚排序；其次，选取最久存取过的M个光盘镜像卷，M小于N，计算这M个光盘镜像卷平均未访问时间，并从大到小排序，最后，选取前K(K小于N)个光盘镜像卷删除，释放其存储空间。

进一步地，当用户请求为写请求时，具体操作过程如下：

根据写入文件的路径，在元数据区创建同样路径的索引文件，在索引文件中写入文件的基本属性信息；

找到当前使用的光盘镜像桶ID号，将写入文件的数据写入到光盘镜像桶中；

当目前的光盘镜像桶被写满后，文件系统分配一个新的光盘镜像桶，将已写满的光盘镜像桶转换为光盘镜像卷，文件数据写入到新光盘镜像桶中；

文件数据写入完成之后，将文件的大小、分布的光盘镜像桶ID号写入到索引文件中，返回用户写入成功。

进一步地，当用户请求为读请求时，具体操作过程如下：

根据读取文件的路径，在元数据区读取该文件的索引文件，获取文件所在的镜像ID号；

根据镜像ID号找到镜像存放的位置是在光盘组、磁盘缓存或在光盘驱动器的光盘组；

若所述镜像ID号对应的镜像位于光盘组中，文件系统发送取盘请求，等待机械操作完成并返回完成消息，光盘组已经被放入光盘驱动器后，挂载；

若所述镜像ID号对应的镜像位于磁盘缓存或在光盘驱动器的光盘组中，则挂载所述镜像，并且读取文件并返回数据。

进一步地，光盘组状态表在系统初始化时被写入“空”，状态表在后续使用过程中根据执行结果进行更新，光盘组状态表定期写入在元数据分区，具体包括：

当一次光盘组的刻录任务结束之后，若返回的刻录结果为“刻录失败”，则对应光盘组的状态被修改为“失效”；

若返回的刻录结果为“刻录成功”，则对应光盘组的状态被修改为“已使用”。

本发明还提供一种磁光电混合光盘库的管理系统，包括POSIX文件系统接口、光盘镜像桶管理模块、光盘镜像管理模块、机械动作管理模块、刻录任务管理模块、光盘刻录模块；

所述的光盘镜像桶管理模块，用于创建空光盘镜像桶、分配光盘镜像桶ID号、分配当前使用的光盘镜像桶ID号、转化已写满的光盘镜像桶为光盘镜像卷、回收已刻录的光盘镜像桶；

所述的光盘镜像管理模块，用于管理校验光盘镜像的生成、以光盘镜像为单位进行缓存管理、更新镜像位置映射表、发送光盘镜像刻录任务；

所述的刻录任务管理模块，用于接收光盘镜像刻录任务、发送取退盘消息到机械动作管理模块、接收机械动作管理模块的返回消息、接收光盘驱动器刻录模块的刻录结果消息；

所述的机械动作管理模块，用于接收刻录任务发送的取退盘动作消息、发送取退盘消息到机械手、接收机械手的动作执行结果、发送机械手的执行结果到刻录任务管理模块。

与现有技术相比，本发明具有以下有益效果：

1、本发明结合固态盘以及磁盘访问速度快和光盘长效存储数据的特点，构建了一个分级存储系统，并且提供用户全局文件视图和在线的数据访问。数据写入到磁盘缓存中的光盘镜像桶内，因此用户可以在线访问数据，然后再异步地刻录到光盘中，并且在光盘镜像组内产生校验镜像，提升数据的可靠性。

2、用户写入的文件数据存放在磁盘缓存中，而需要频繁读写的元数据则存放在固态盘构成的元数据区中，提升了数据的访问速度。另外元数据也定期刻录到光盘组中，从而保证元数据的可靠性。

3、数据分桶和光盘镜像中文件唯一路径机制。文件在光盘镜像桶以及光盘镜像中都保存了唯一绝对路径，在元数据区的索引文件的路径同样是该唯一路径。通过该唯一路径，可以在元数据区找到该文件的索引文件，从而定位到文件数据。即使元数据区丢失，通过汇集所有文件在光盘镜像中的唯一绝对路径即可恢复出全局文件视图，提升了数据的可靠性。

附图说明

图1为本发明实施例提供的磁光电混合光盘库的分级存储结构示意图；

图2为本发明实施例提供的索引文件的结构示意图；

图3为本发明实施例提供的镜像映射表的数据结构示意图；

图4为本发明实施例提供的数据分桶、光盘镜像、光盘组的示意图；

图5为本发明实施例提供的磁光电混合光盘库的数据写入流程图；

图6为本发明实施例提供的磁光电混合光盘库的数据读取流程图；

图7为本发明实施例提供的磁光电混合光盘库的管理系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

如图1所示，本发明实施例提供一种磁光电混合光盘库，包括光盘库控制器、固态盘、磁盘、多个光盘驱动器以及多个光盘，光盘能够按照需要放到相应的光盘驱动器中用于数据读取或者刻录，其中固态盘作为元数据区，固态盘的容量相对较小但读写速度快，元数据所占的存储空间很小但会被频繁的访问，采用固态盘存储这些会被频繁访问的数据能加快访问速度；磁盘作为数据缓存区，磁盘构成阵列存储作为数据缓存，提供用户；而光盘能可靠的保存数据长达50年，所以光盘作为长效存储区。所述光盘控制器与所述固态盘、所述磁盘以及所述光盘驱动器之间均通过高速数据通道连接，所述光盘库控制器用于将光盘库整体虚拟成文件卷，并控制数据的写入和读取，还用于提供对外的标准网络存储接口，如Samba和NFS等，一个或者多个应用程序能够通过标准接口方便存取光盘库中的数据，无需知道数据实际存储在固态盘、磁盘还是光盘上。

实施例2：

本发明实施例还提供一种磁光电混合光盘库的管理方法，包括：

在磁盘和固态盘的整体上建立一个或多个本地文件系统，所述本地文件系统为全局文件镜像卷，用于保存对外的全局文件视图，也就是用户在光盘库文件卷视图中创建一个目录或者文件，就实际在全局文件镜像卷中创建对应的目录和文件。

在磁盘和固态盘的整体上创建一个或者多个光盘镜像桶，每个光盘镜像桶具有唯一的ID，其容量和物理光盘容量相同，所有光盘镜像桶被格式化为桶光盘文件系统，例如UDF文件系统。

当用户在光盘库文件卷上创建文件时，在所述全局文件镜像卷中创建与该文件相应的索引文件，所述索引文件并不实际保存数据的内容，而仅仅保存该文件数据集所保存的物理存储位置，所述物理存储位置可以在固态盘、磁盘或者光盘上，同时在一个光盘镜像桶中创建与该文件相应的镜像文件，所述镜像文件保存该文件的实际数据；当文件写完成，在所述全局文件镜像卷的索引文件中增加一条映射关系，表明该文件实际记录的光盘镜像桶ID号以及在该桶光盘文件系统中的内部位置。

当用户读取光盘库中的文件时，首先存取全局文件镜像卷确定是否有该文件，如果有，直接把该文件发给用户；如果没有，在光盘中查找和读取相应的文件，通过光盘驱动器读取相应光盘，把用户请求的文件发给用户。

进一步地，写文件时，将外部写入文件依次写入多个光盘镜像桶，当一个光盘镜像桶写满时，关闭相应的光盘镜像桶，这个不可写的光盘镜像桶变成光盘镜像卷，该光盘镜像卷ID号等于光盘镜像桶ID号。

如图2所示，为本发明实施例提供的索引文件的结构示意图，所述索引文件中包含了文件的属性信息域：文件大小、所属的用户及用户组标识、文件权限；文件的数据信息域：文件所在镜像标识符、文件分布在该镜像的起始地址和结束地址。例如若一个文件被存放在两个或两个以上的镜像中，则该索引文件的数据信息域内会有多个标识符以及该文件在该镜像中的起始地址和结束地址。

如图4所示，为本发明实施例提供的数据分桶、光盘镜像、光盘组的示意图，进一步地，当满足刻录条件时，将空白的物理光盘放入光盘驱动器中，把未刻录的光盘镜像卷完全刻录到物理光盘中，在刻录前修改该物理光盘卷号为光盘镜像桶ID号，在刻录完成后，记录光盘镜像卷为已刻录状态。同时镜像映射表会添加一个表项来纪录光盘镜像标识符和物理位置的映射关系。如图3所示为本发明中镜像映射表的结构图，镜像映射表中每个表项记录了光盘组的镜像标识符和物理位置的映射关系，物理位置即光盘组在光盘转笼中的行列位置，通过镜像标识符可以定位光盘所处的物理位置。

进一步地，已刻录光盘镜像卷并不马上删除，当磁盘和固态盘剩余空间小于预先设定的阈值，根据预先设定的缓存替换算法，将最久没有使用的已刻录光盘镜像卷进行回收，释放相应存储空间。

进一步地，所述缓存替换算法具体为：记录所有光盘镜像卷近N次存取时间，首先根据最近一次存取时间从早到晚排序；其次，选取最久存取过的M个光盘镜像卷，M小于N，计算这M个光盘镜像卷平均未访问时间，并从大到小排序，最后，选取前K(K小于N)个光盘镜像卷删除，释放其存储空间。

如图5所示，进一步地，当用户请求为写请求时，具体操作过程如下：

根据写入文件的路径，在元数据区创建同样路径的索引文件，在索引文件中写入文件的基本属性信息；

找到当前使用的光盘镜像桶ID号，将写入文件的数据写入到光盘镜像桶中；

当目前的光盘镜像桶被写满后，文件系统会分配一个新的光盘镜像桶，将已写满的光盘镜像桶转换为光盘镜像卷，文件数据写入到新光盘镜像桶中；

文件数据写入完成之后，将文件的大小、分布的光盘镜像桶ID号写入到索引文件中，返回用户写入成功。

如图6所示，进一步地，当用户请求为读请求时，具体操作过程如下：

根据读取文件的路径，在元数据区读取该文件的索引文件，获取文件所在的镜像ID号；

根据镜像ID号找到镜像存放的位置是在光盘组、磁盘缓存或在光盘驱动器的光盘组；

若所述镜像ID号对应的镜像位于光盘组中，文件系统发送取盘请求，等待机械操作完成并返回完成消息，光盘组已经被放入光盘驱动器后，挂载；

若所述镜像ID号对应的镜像位于磁盘缓存或在光盘驱动器的光盘组中，则挂载所述镜像，并且读取文件并返回数据。

进一步地，光盘组状态表在系统初始化时被写入“空”，状态表在后续使用过程中根据执行结果进行更新，光盘组状态表定期写入在元数据分区，具体包括：

当一次光盘组的刻录任务结束之后，若返回的刻录结果为“刻录失败”，则对应光盘组的状态被修改为“失效”；

若返回的刻录结果为“刻录成功”，则对应光盘组的状态被修改为“已使用”。

进一步地，镜像位置映射表在初始化时为空，每进行一次刻录任务，镜像位置映射表会记录刻录光盘组所处的物理位置与光盘组中每个镜像标识符，从而保存该映射关系。

实施例3：

如图7所示，本发明还提供一种磁光电混合光盘库的管理系统，该系统运行在光盘库控制器上，该系统包括POSIX文件系统接口、光盘镜像桶管理模块、光盘镜像管理模块、机械动作管理模块、刻录任务管理模块、光盘刻录模块；

所述的光盘镜像桶管理模块，用于创建空光盘镜像桶、分配光盘镜像桶ID号、分配当前使用的光盘镜像桶ID号、转化已写满的光盘镜像桶为光盘镜像卷、回收已刻录的光盘镜像桶；

所述的光盘镜像管理模块，用于管理校验光盘镜像的生成、以光盘镜像为单位进行缓存管理、更新镜像位置映射表、发送光盘镜像刻录任务；

所述的刻录任务管理模块，用于接收光盘镜像刻录任务、发送取退盘消息到机械动作管理模块、接收机械动作管理模块的返回消息、接收光盘驱动器刻录模块的刻录结果消息；

所述的机械动作管理模块，用于接收刻录任务发送的取退盘动作消息、发送取退盘消息到机械手、接收机械手的动作执行结果、发送机械手的执行结果到刻录任务管理模块。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种磁光电混合光盘库的管理方法，其特征在于，包括：

在磁盘和固态盘的整体上建立一个或多个本地文件系统，所述本地文件系统为全局文件镜像卷，用于保存对外的全局文件视图；

在磁盘和固态盘的整体上创建一个或者多个光盘镜像桶，每个光盘镜像桶具有唯一的ID，其容量和物理光盘容量相同，所有光盘镜像桶被格式化为桶光盘文件系统；

当用户在光盘库文件卷上创建文件时，在所述全局文件镜像卷中创建与该文件相应的索引文件，所述索引文件保存该文件数据集所保存的物理存储位置，同时在一个光盘镜像桶中创建与该文件相应的镜像文件，所述镜像文件保存该文件的实际数据；当文件写完成，在所述全局文件镜像卷的索引文件中增加一条映射关系，表明该文件实际记录的光盘镜像桶ID号以及在该桶光盘文件系统中的内部位置；

当用户读取光盘库中的文件时，首先存取全局文件镜像卷确定是否有该文件，如果有，直接把该文件发给用户；如果没有，在光盘中查找和读取相应的文件，通过光盘驱动器读取相应光盘，把用户请求的文件发给用户；

写文件时，将外部写入文件依次写入多个光盘镜像桶，当一个光盘镜像桶写满时，关闭相应的光盘镜像桶，这个不可写的光盘镜像桶变成光盘镜像卷，该光盘镜像卷ID号等于光盘镜像桶ID号。

2.如权利要求1所述的磁光电混合光盘库的管理方法，其特征在于：当满足刻录条件时，将空白的物理光盘放入光盘驱动器中，把未刻录的光盘镜像卷完全刻录到物理光盘中，在刻录前修改该物理光盘卷号为光盘镜像桶ID号，在刻录完成后，记录光盘镜像卷为已刻录状态。

3.如权利要求2所述的磁光电混合光盘库的管理方法，其特征在于：当磁盘和固态盘剩余空间小于预先设定的阈值，根据预先设定的缓存替换算法，将最久没有使用的已刻录光盘镜像卷进行回收，释放相应存储空间。

4.如权利要求3所述的磁光电混合光盘库的管理方法，其特征在于：

所述缓存替换算法具体为：记录所有光盘镜像卷近N次存取时间，首先根据最近一次存取时间从早到晚排序；其次，选取最久存取过的M个光盘镜像卷，M小于N，计算这M个光盘镜像卷平均未访问时间，并从大到小排序，最后，选取前K，K小于N，个光盘镜像卷删除，释放其存储空间。

5.如权利要求1所述的磁光电混合光盘库的管理方法，其特征在于：

当用户请求为写请求时，具体操作过程如下：

根据写入文件的路径，在元数据区创建同样路径的索引文件，在索引文件中写入文件的基本属性信息；

找到当前使用的光盘镜像桶ID号，将写入文件的数据写入到光盘镜像桶中；

当目前的光盘镜像桶被写满后，文件系统分配一个新的光盘镜像桶，将已写满的光盘镜像桶转换为光盘镜像卷，文件数据写入到新光盘镜像桶中；

文件数据写入完成之后，将文件的大小、分布的光盘镜像桶ID号写入到索引文件中，返回用户写入成功。

6.如权利要求1所述的磁光电混合光盘库的管理方法，其特征在于：

当用户请求为读请求时，具体操作过程如下：

根据读取文件的路径，在元数据区读取该文件的索引文件，获取文件所在的镜像ID号；

根据镜像ID号找到镜像存放的位置是在光盘组、磁盘缓存或在光盘驱动器的光盘组；

若所述镜像ID号对应的镜像位于光盘组中，文件系统发送取盘请求，等待机械操作完成并返回完成消息，光盘组已经被放入光盘驱动器后，挂载；

若所述镜像ID号对应的镜像位于磁盘缓存或在光盘驱动器的光盘组中，则挂载所述镜像，并且读取文件并返回数据。

7.如权利要求1所述的磁光电混合光盘库的管理方法，其特征在于：

光盘组状态表在系统初始化时被写入“空”，状态表在后续使用过程中根据执行结果进行更新，光盘组状态表定期写入在元数据分区，具体包括：

当一次光盘组的刻录任务结束之后，若返回的刻录结果为“刻录失败”，则对应光盘组的状态被修改为“失效”；

若返回的刻录结果为“刻录成功”，则对应光盘组的状态被修改为“已使用”。

8.一种磁光电混合光盘库的管理系统，其特征在于：包括POSIX文件系统接口、光盘镜像桶管理模块、光盘镜像管理模块、机械动作管理模块、刻录任务管理模块、光盘刻录模块；

所述的光盘镜像桶管理模块，用于创建空光盘镜像桶、分配光盘镜像桶ID号、分配当前使用的光盘镜像桶ID号、转化已写满的光盘镜像桶为光盘镜像卷、回收已刻录的光盘镜像桶；

所述的光盘镜像管理模块，用于管理校验光盘镜像的生成、以光盘镜像为单位进行缓存管理、更新镜像位置映射表、发送光盘镜像刻录任务；

所述的刻录任务管理模块，用于接收光盘镜像刻录任务、发送取退盘消息到机械动作管理模块、接收机械动作管理模块的返回消息、接收光盘驱动器刻录模块的刻录结果消息；

所述的机械动作管理模块，用于接收刻录任务发送的取退盘动作消息、发送取退盘消息到机械手、接收机械手的动作执行结果、发送机械手的执行结果到刻录任务管理模块。

Images