CN105022697A - 基于磁盘缓存的虚拟光盘库存储系统替换算法 - Google Patents

Abstract

本发明提出了一种应用于虚拟光盘库存储系统的基于磁盘缓存的替换算法。该算法在磁盘空间上模拟光盘库存储，把磁盘当做光盘访问，从而实现用磁盘代替光盘来存储数据。主要技术优势：1、克服传统光盘存储的局限性，隐藏了多种存储介质，且没有机械臂、光驱等物理设备的运行时间，在数据读取速度上比直接访问光盘有大幅提高；2、通过虚拟光盘库模块将数据存储到光盘或光盘库中，光盘或者光盘库保持离线，即使物理存储体发生故障也不会影响整个物理存储系统的数据。因此，提高了整个存储系统的安全性和可靠性；3、光盘存储无需磁带库和磁盘阵列那样高额的维护费用，能源消耗低且使用寿命长，极大地降低了用户的使用成本。

Description

基于磁盘缓存的虚拟光盘库存储系统替换算法

【技术领域】

本次发明是高新科学技术项目，主题内容是应用于虚拟光盘库存储系统的基于磁盘缓存的替换算法。

【背景技术】

随着大数据时代的到来，全球数据总量呈现爆发式增长，2013年，全球数据总量达到3.5ZB，并以每两年翻一番的速度快速增长。如此浩瀚的数据中，80％以上属于归档类信息。

据IDC研究显示，数据存储行业将在2013-2018年快速增长，2015年，全球存储产品市场总量为541.78亿美元，并将以20.68％的年复合率增长。一方面是全球归档数据的快速增长，一方面是以磁盘/磁带为代表的磁介质存储弊端的凸显。大数据需要创新的存储介质和存储系统。

传统磁存储模式具有能耗过高、磁盘寿命短，不宜长期保存、数据安全性低和数据迁移难度高等弊端；随着蓝光光盘行业标准的确立，蓝光光盘迎来高速发展期。世界各国越来越重视数据的长期安全存储，美英等西方国家更是视数据为重要的战略资源，基于光存储的光盘库存储方案有诸多优势：1)光盘的能耗低，2)光盘寿命长，3)数据安全性高。

【发明内容】

本发明采用虚拟光盘库技术将磁盘技术与光盘库技术结合，在磁盘空间上模拟光盘库存储，把磁盘当做光盘访问，从而实现用磁盘代替光盘来存储数据。用户表面上访问到的是光盘或者光盘库，实际是通过虚拟光盘库模块将数据存储到磁盘上，因为是直接操作磁盘，没有机械臂、光驱等物理设备的运行时间，所以在继承传统基于光盘库的海量数据存储系统存储容量较大、总成本较低、存储寿命长等优点的基础上，明显增加了光盘数据的存取速度，在大数据时代具有重要的意义。基于虚拟光盘库的海量数据存储系统框图如附图1所示。

虚拟光盘库系统工作流程为：首先，对虚拟光盘库系统进行参数的设定，包括客户端的IP地址和端口地址、服务端的端口地址、添加用户名和日志文件等。参数设定后建立服务端与客户端的Socket通信，由服务端向光盘库发出光驱检测，如果光驱内存在光盘，则将光盘放入指定的光盘匣中。然后检测硬盘/磁盘阵列的存储空间，判断是否有足够的存储空间进行下面的存储操作，若存储空间不足则将错误写入日志文件中，并报告错误信息。

对数据的操作分为以下两种情况：数据存储方面，用户进行数据存储时，将向服务端发送数据传输命令，服务器在接到命令后，将对硬盘/磁盘阵列申请相应的磁盘空间，数据通过TCP协议传输至存储设备上。此时服务器将建立任务队列，并向光盘库申请相应的光盘，所要存储的数据将依次存储到光盘库中。此外，服务端将会通过相应的缓存策略，决定刻录的数据是否需要保存在硬盘/磁盘阵列中。数据查询方面，当用户需要对数据进行文件查询时，客户端通过数据库的检索，查询相应的文件信息，如果该文件在服务端的存储设备上，则将文件传输到客户端；如果该文件不在存储设备上，则向光盘库发出读取请求，并将数据传输到客户端中，以供用户查阅。虚拟光盘库系统工作流程框图如图2所示。

本发明提供了一种应用于虚拟光盘库存储系统的基于磁盘缓存的替换算法。替换策略(算法)是一种将“脏”数据替换出去，为新数据腾出空间的调度策略。这样做的目的是为了提高缓存的命中率。缓存命中率提高，系统对后备存储设备的访问就会减少，从而避免过多的I/O操作。处理机和存储系统中的缓存替换策略通常是一样的。本发明算法在磁盘空间上模拟光盘库存储，把磁盘当做光盘访问，从而实现用磁盘代替光盘来存储数据。所采用的MQ/F队列主要分为两个缓存队列。这些缓存队列不是以块进行存储，而是对文件所在的光盘进行存储。缓存队列分别是Q_fre队列和Q_out队列。当缓存不足且Q_fre队列占据过多缓存时，将Q_fre队列中的数据转移到Q_out队列中。当Qout队列中的缓存文件被访问时，将其转移到Q_fre队列中去。当缓存未命中时，则到光盘库中读取文件所在的光盘。具体的基于磁盘缓存的虚拟光盘库存储系统替换算法设计流程如附图3所示。

与现有方案对比，本发明具有以下显著有益效果：(1)克服了传统光盘存储的局限性，隐藏了多种存储介质，且没有机械臂、光驱等物理设备的运行时间，在数据读取速度上比直接访问光盘有大幅提高；(2)通过虚拟光盘库模块最终将数据存储到光盘或光盘库中，光盘或者光盘库就可以保持离线，即使物理存储体发生故障时，也不会影响整个物理存储系统的数据。因此，提高了整个存储系统的安全性和可靠性；(3)光盘存储无需磁带库和磁盘阵列那样高额的维护费用，能源消耗低且使用寿命长，极大地降低了用户的使用成本。

【附图说明】

图1是本发明专利所述基于虚拟光盘库的海量数据存储系统结构图；

图2是本发明专利所述虚拟光盘库系统工作流程框图；

图3是本发明专利的基于磁盘缓存的虚拟光盘库存储系统替换算法；

【具体实施方式】

本发明按照图1所示系统结构构、图2所示的虚拟光盘库系统工作流程框图和图3所示的基于磁盘缓存的虚拟光盘库存储系统替换算法相结合新型实现方案。基于磁盘缓存的虚拟光盘库存储系统替换算法步骤如下：

(1)、开始询问文件，假设被询问的文件为光盘cd中的文件f；

(2)、搜索Q_fre队列，判断是否能搜索出光盘cd中的文件f；

(3)、若f在Q_fre队列中，将f所在cd置于Q_fre队列前端，向用户返回文件f；

(4)、若在Q_fre队列中未搜索出f，则转至Q_out队列中继续搜索；

(5)、若f在Q_out队列中，将cd从Q_out队列中删除，并置于Q_fre队列前端，再向用户返回文件f；

(6)、若f不在Q_out队列中，则在光盘库中搜索；

(7)、判断是否在光盘库中cd中读取出文件f；

(8)、若未搜索出文件f，则在日志文件中报错，并结束此次操作；

(9)、若读取出光盘cd中的文件f，再判断缓存剩余空间是否足够；

(10)、若缓存剩余空间足够，则将cd放入Q_out队列前端，且TRF置0，转至(11)；

(11)、搜索结束，向用户返回文件f，将Q_out队列中每个cd的TRF值加1，结束此次操作；

(12)、若缓存空间剩余所剩不多，判断Q_out队列的剩余缓存空间是否大于某阈值；

(13)、若Q_out队列的剩余缓存空间大于某一阈值，则以Q_out队列缓存替换算法替换掉Q_out缓存，将cd加入Q_out队列前端，且TRF置0，再转至(14)；

(14)、搜索结束，向用户返回文件f。将Q_out队列中每个cd的TRF值加1，并结束此次操作；

(15)、若Q_out队列的剩余缓存空间小于某阈值，则从Q_fre队列末尾删除文件，并加入Q_out队列头部，直到该队列大小大于某一阈值，将cd的TRF值置0，再转至(16)；

(16)、搜索结束，向用户返回文件f。将Q_out队列中每个cd的TRF值加1，结束此次操作。

基于虚拟光盘库的海量数据存储系统，该存储系统将磁、光有效的结合，同时拥有磁存储与光存储的优势，数据存取速度达到磁盘阵列的数据存取速度，具有非常好的市场前景，可以有效促进安全、节能的光存储产品在我国的普及、推广。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (1)

1.一种应用于虚拟光盘库存储系统的缓存替换算法，其特征在于：其步骤为：

(1)、开始询问文件，假设被询问的文件为光盘cd中的文件f；

(2)、搜索Q_fre队列，判断是否能搜索出光盘cd中的文件f；

(3)、若f在Q_fre队列中，将f所在cd置于Q_fre队列前端，向用户返回文件f；

(4)、若在Q_fre队列中未搜索出f，则转至Q_out队列中继续搜索；

(5)、若f在Q_out队列中，将cd从Q_out队列中删除，并置于Q_fre队列前端，再向用户返回文件f；

(6)、若f不在Q_out队列中，则在光盘库中搜索；

(7)、判断是否在光盘库中cd中读取出文件f；

(8)、若未搜索出文件f，则在日志文件中报错，并结束此次操作；

(9)、若读取出光盘cd中的文件f，再判断缓存剩余空间是否足够；

(10)、若缓存剩余空间足够，则将cd放入Q_out队列前端，且TRF置0，转至(11)；

(11)、搜索结束，向用户返回文件f，将Q_out队列中每个cd的TRF值加1，结束此次操作；

(12)、若缓存空间剩余所剩不多，判断Q_out队列的剩余缓存空间是否大于某阈值；

(13)、若Q_out队列的剩余缓存空间大于某一阈值，则以Q_out队列缓存替换算法替换掉Q_out缓存，将cd加入Q_out队列前端，且TRF置0，再转至(14)；

(14)、搜索结束，向用户返回文件f。将Q_out队列中每个cd的TRF值加1，并结束此次操作；

(15)、若Q_out队列的剩余缓存空间小于某阈值，则从Q_fre队列末尾删除文件，并加入Q_out队列头部，直到该队列大小大于某一阈值，将cd的TRF值置0，再转至(16)；

(16)、搜索结束，向用户返回文件f。将Q_out队列中每个cd的TRF值加1，结束此次操作。