CN1601485A - 网络化光盘库 - Google Patents
网络化光盘库 Download PDFInfo
- Publication number
- CN1601485A CN1601485A CNA2004100096725A CN200410009672A CN1601485A CN 1601485 A CN1601485 A CN 1601485A CN A2004100096725 A CNA2004100096725 A CN A2004100096725A CN 200410009672 A CN200410009672 A CN 200410009672A CN 1601485 A CN1601485 A CN 1601485A
- Authority
- CN
- China
- Prior art keywords
- server
- network
- networked
- optical disc
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title abstract description 12
- 230000003139 buffering effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000006386 memory function Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000006855 networking Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 102100029074 Exostosin-2 Human genes 0.000 description 1
- 101000918275 Homo sapiens Exostosin-2 Proteins 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
网络化光盘库，属于光盘信息存储技术领域。传统的光盘库附属于服务器的存储方式，难以满足在高性能和高可扩展性的海量存储系统中应用的要求。为了解决上述问题，本发明提出了一种可直接接入网络提供存取服务的网络化光盘库，包括存储管理单元、网络服务单元、磁盘缓冲单元和光盘库存储单元，避免了服务器传输瓶颈。本发明引入了大容量磁盘缓冲单元充当网络化光盘库的缓存，然后将光盘库存储单元中访问频度较高的数据保存在磁盘缓冲单元后再对用户提供服务，从而解决了光盘库性能较低和多用户对同一张光盘同时访问时产生的性能瓶颈问题，提高了网络化光盘库的存储性能。
Description
技术领域
本发明属于光盘信息存储技术领域，特别涉及光盘库存储系统在海量存储系统中的应用技术。
背景技术
随着信息数字化进程的推进和人们对自然认知、探索能力的加强，科学研究中的存储系统需要在较长时间内对不断增长的大量数据进行存储。具有大容量、低成本和易保存特点的光盘非常适合长期保存这些历史数据文档，因此，光盘库是海量存储系统中的一个重要组成部分。传统的存储结构方案中，光盘库是通过SCSI/ATA或者其他I/O总线连接到服务器上，通过服务器对外提供存储服务，即光盘库附属于所连接的服务器，不能够脱离服务器而单独提供信息存储服务。在上述存储体系下，用户对信息的存取访问需要先访问服务器，然后通过服务器I/O总线才能访问存储设备上的数据，最后通过服务器将执行状态或数据转发给用户。服务器一方面要对用户提供计算和应用服务，另一方面还需要对其连接的所有存储设备执行存储管理任务，在某些要求高性能和高可扩展性的海量存储应用场合难以满足实际应用需求，所以本发明人对有效提高海量存储系统中光盘库性能的方法和技术进行研究，提出并设计实现了将带有大容量磁盘缓冲区的光盘库直接接入网络提供存取服务的网络化光盘库。
发明内容
传统的光盘库附属于服务器的存储方式，难以满足在高性能和高可扩展性的海量存储系统中应用的要求。为了解决上述问题，本发明提供了一种可直接接入网络提供存取服务的网络化光盘库，避免了服务器传输瓶颈，其特征在于：所述网络化光盘库包括存储管理单元、网络服务单元、磁盘缓冲单元和光盘库存储单元，所述网络服务单元、磁盘缓冲单元和光盘库存储单元通过系统总线与所述存储管理单元连接；
所述网络服务单元用于实现IP数据包的发送与接收，是客户端与存储设备之间数据交换的网络服务接口，它的核心是与所述系统总线连接的千兆以太网卡；
所述磁盘缓冲单元包括硬盘和接口适配卡，所述硬盘通过所述接口适配卡与系统总线连接；
所述存储管理单元包括通过内部总线连接的存储器和微处理器，所述存储器固化了只提供存储功能和网络通信功能的微核操作系统，在所述微核操作系统中，与存储服务无关的计算与服务都被卸载，仅保留了与存储服务和网络功能相关的网络存储软件模块；
所述光盘库存储单元采用通用的商业化光盘库，作为网络化光盘库的海量信息存储设备。
本发明中，所述接口适配卡为IDE接口适配卡或SCSI接口适配卡。
本发明引入了大容量磁盘缓冲单元充当网络化光盘库的缓存，然后将光盘库存储单元中访问频度较高的数据保存在磁盘缓冲单元后再对用户提供服务，从而解决了光盘库性能较低和多用户对同一张光盘同时访问时产生的性能瓶颈问题，提高了网络化光盘库的存储性能。
附图说明
图1为网络化光盘库系统结构示意图。
图2为海量存储系统应用网络化光盘库的层次存储结构示意图。
图3为微核操作系统平台上的网络化光盘库存储软件模型图。
具体实施方式
本发明设计了一种可直接接入网络提供存取服务的网络化光盘库，如图1所示，包括网络服务单元、磁盘缓冲单元、存储管理单元和光盘库存储单元，所述网络服务单元、磁盘缓冲单元和光盘库存储单元通过系统总线与所述存储管理单元连接。
其中，所述网络服务单元用于实现IP数据包的发送与接收，是客户端与存储设备之间数据交换的网络服务接口，它的核心是所述数据总线连接的千兆以太网卡；
所述磁盘缓冲单元包括硬盘和接口适配卡，所述硬盘通过所述接口适配卡与系统总线连接；普通光盘库中的光盘驱动器存取性能较低，相对磁盘驱动器属于慢速存储设备；另外，对于用户请求数据不在光盘库驱动器中的情况，由于光盘库机械手在加载盘库中盘片到驱动器中时引入的换盘操作时间延迟较大，所以如果直接将光盘库接入海量存储系统中的网络对外提供存储服务，常常会使网络化光盘库形成海量存储系统中的性能瓶颈。因此，在网络化光盘库中，设置了磁盘缓冲单元，用于提高网络化光盘库的数据传输性能。
所述存储管理单元包括通过内部总线连接的存储器和微处理器，所述存储器固化了只提供存储功能和网络通信功能的微核操作系统。在所述微核操作系统中，与存储服务无关的计算与服务都被卸载，仅保留了与存储服务和网络功能相关的操作系统软件模块；微核操作系统的应用可以有效减少存储管理软件占用的资源，在降低存储设备成本的同时，提高了存储设备的性能。
所述光盘库存储单元采用通用的商业化光盘库，作为网络化光盘库的海量信息存储设备。
本发明所述的网络化光盘库功能可以总结如下：网络服务单元接收客户端通过网络传送的IP数据包，如果请求的数据在网络化光盘库磁盘缓冲单元中，则将对应的请求数据从磁盘缓冲单元中读出并发送给网络用户；如果请求的数据在光盘库而不在磁盘缓冲单元中，则通过光盘库读取数据发送给用户；当光盘库中某一盘片数据有较高的访问频率时，系统可以通过存储管理单元采用一定的缓存调度策略将该部分数据迁移保存在磁盘缓冲单元中以提高以后该部分数据的读取性能。
考虑到光盘库中的光盘驱动器存取性能较低，相对磁盘驱动器属于慢速存储设备，所以光盘库的数据传输率不高。另外，对于用户请求数据不在光盘库驱动器中的情况，由于光盘库机械手在加载盘库中盘片到驱动器中时引入的换盘操作时间延迟较大，所以如果直接将光盘库接入海量存储系统中的网络对外提供存储服务，常常会使网络化光盘库形成海量存储系统中的性能瓶颈。
本发明引入了大容量高速磁盘充当光盘库的高速缓存，然后将光盘库中访问频度较高的数据保存在磁盘缓冲单元后再对用户提供服务，这相当于在网络化光盘库内部用快速的磁盘驱动器和慢速的光盘驱动器构建了具有层次存储体系结构的存储系统，解决了光盘库性能较低和多用户对同一张光盘同时访问时产生的性能瓶颈问题，提高了海量存储系统中网络化光盘库的存储性能。图2给出了引入磁盘缓冲区单元的网络化光盘库应用于海量存储系统中的层次存储结构示意图。
从图2中可以看出，磁盘缓冲单元中保存的数据处于光盘库存储的近线数据和SCSI磁盘阵列存储的在线数据之间，从而在传统的在线数据和近线数据之间形成了“准在线数据”。准在线数据的引入改变了海量存储系统的存储体系，形成了由在线数据、准在线数据、近线数据和离线数据组成的层次存储体系结构。
在上面的层次存储体系下，这种将常用数据通过从存取速度较慢的光盘库存储单元中转移到高速的磁盘缓冲单元中作为准在线数据保存的方案，与将同样数据通过网络迁移到SCSI磁盘阵列作为在线数据存储的方案相比，前者可以在提供相近的性能前提下，减少海量存储系统中网络的数据迁移量，大幅度节省网络带宽。另外，海量存储系统中的磁盘阵列在向光盘库进行数据备份时，磁盘缓冲单元也可以先对磁盘阵列迁移过来的备份数据进行暂时保存，等备份数据保存完毕后再慢慢写入光盘库中的盘片，从而减少网络中进行数据迁移的时间，这对于提高网络化光盘库在海量存储系统中的备份性能具有重要意义。
上述的缓存调度策略是在存储管理单元的支撑下实现的，网络化光盘库的存储管理单元与NAS(附网存储)类似，共同的特点在于采用了只提供存储功能和网络通信功能的微核操作系统。网络化光盘库作为海量存储系统中的一个存储设备，其存储管理软件只需提供存储管理和网络通信两种服务，而通用的Linux操作系统中包含有大量与存储和网络服务无关的服务和应用程序，它们一方面需要消耗系统有限的处理器和随机存储器资源，另外一方面也占用有限的只读存储器空间，所以本发明人在Linux基础上通过裁剪冗余模块和重新配置编译内核的方法设计微核操作系统，使网络化光盘库存储软件更加精干及高效，从而提高网络化光盘库存储软件的性能和降低硬件成本。图3所示的是经过优化配置后的存储管理单元软件模型，可以被划分为：Linux微核操作系统、文件系统、设备驱动程序和网络服务协议四个部分。其中，内存管理和进程管理是微核操作系统中最核心和重要的部分。内存管理模块在各个请求进程和Buffer Cache之间分配内存空间和交换分区的空间，进程管理模块则主要负责创建进程，并将有效的进程提交给处理器以实现多任务处理；文件系统部分采用了虚拟文件系统(VFS，Virtual File System)机制，对各种文件系统(如EXT2、VFAT、ISO9660等)的操作进行抽象，然后向用户提供一个统一接口。通过VFS，网络化光盘库可以对多种文件系统提供支持。设备驱动程序提供了对硬件操作接口；而网络服务协议则主要负责网络化光盘库的通信任务。
根据图3的网络化光盘库存储管理单元软件模型，以网络化光盘库的数据读出过程为例，存储管理单元的功能是：通过网络接口驱动程序处理网络硬件设备提交上来的I/O请求，然后再将I/O请求提交给网络服务协议和Linux文件系统处理后发送到对应的存储设备控制器驱动程序，由其将命令或操作发送给存储设备，最后将从存储设备中读取出来的数据通过网络发送给用户。
本发明所述的网络化光盘库的一个具体实施例硬件配置如下：光盘库存储单元选用JVC公司的MC-8100u型号光盘库。网络化光盘库的存储管理单元硬件平台由华硕公司的MEW主板、256M SDRAM和Intel公司的PIII 1G处理器组成。网络接口单元选用Cisco公司的千兆以太网卡。由于光盘库存储单元的对外接口是SCSI接口，因此存储管理单元的主板上安装了Adaptec公司最大数据传输率为160MB/s的Ultral60 SCSI适配器来连接光盘库。在磁盘缓冲单元中，采用通用大容量IDE硬盘，通过PCI-IDE适配卡连接到存储管理单元中主板的PCI总线上，从而实现扩充网络化光盘库的磁盘缓冲区容量和提高磁盘缓冲区性能的功能。
Claims (2)
1.一种可直接接入网络提供存取服务的网络化光盘库，其特征在于：所述网络化光盘库包括存储管理单元、网络服务单元、磁盘缓冲单元和光盘库存储单元，所述网络服务单元、磁盘缓冲单元和光盘库存储单元通过系统总线与所述存储管理单元连接；
所述网络服务单元用于实现IP数据包的发送与接收，是客户端与存储设备之间数据交换的网络服务接口，它的核心是与所述系统总线连接的千兆以太网卡；
所述磁盘缓冲单元包括硬盘和接口适配卡，所述硬盘通过所述接口适配卡与系统总线连接；
所述存储管理单元包括通过内部总线连接的存储器和微处理器，所述存储器固化了只提供存储功能和网络通信功能的微核操作系统，在所述微核操作系统中，与存储服务无关的计算与服务都被卸载，仅保留了与存储服务和网络功能相关的网络存储软件模块；
所述光盘库存储单元采用通用的商业化光盘库，作为网络化光盘库的海量信息存储设备。
2.根据权利要求1所述的网络化光盘库，其特征在于：所述接口适配卡为IDE接口适配卡或SCSI接口适配卡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100096725A CN1258714C (zh) | 2004-10-15 | 2004-10-15 | 网络化光盘库 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100096725A CN1258714C (zh) | 2004-10-15 | 2004-10-15 | 网络化光盘库 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1601485A true CN1601485A (zh) | 2005-03-30 |
| CN1258714C CN1258714C (zh) | 2006-06-07 |
Family
ID=34662567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004100096725A Expired - Fee Related CN1258714C (zh) | 2004-10-15 | 2004-10-15 | 网络化光盘库 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1258714C (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101551665B (zh) * | 2009-04-13 | 2011-01-12 | 北京理工大学 | 基于闭架光盘库的自动化光盘管理系统 |
| CN102624911A (zh) * | 2012-03-14 | 2012-08-01 | 中山大学 | 一种基于集群的可视媒体存储系统 |
| CN104217734B (zh) * | 2014-04-04 | 2016-09-14 | 叶小仁 | 一种光盘库文件系统及其设备 |
| CN106202414A (zh) * | 2016-07-12 | 2016-12-07 | 武汉光忆科技有限公司 | 一种基于大容量光盘库的文件系统及文件存储方法和系统 |
| CN113630431A (zh) * | 2020-05-09 | 2021-11-09 | 苏州互盟信息存储技术有限公司 | 一种全网络化光盘库集群 |
-
2004
- 2004-10-15 CN CNB2004100096725A patent/CN1258714C/zh not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101551665B (zh) * | 2009-04-13 | 2011-01-12 | 北京理工大学 | 基于闭架光盘库的自动化光盘管理系统 |
| CN102624911A (zh) * | 2012-03-14 | 2012-08-01 | 中山大学 | 一种基于集群的可视媒体存储系统 |
| CN104217734B (zh) * | 2014-04-04 | 2016-09-14 | 叶小仁 | 一种光盘库文件系统及其设备 |
| CN106202414A (zh) * | 2016-07-12 | 2016-12-07 | 武汉光忆科技有限公司 | 一种基于大容量光盘库的文件系统及文件存储方法和系统 |
| CN106202414B (zh) * | 2016-07-12 | 2019-11-22 | 武汉光忆科技有限公司 | 一种基于大容量光盘库的文件系统及文件存储方法和系统 |
| CN113630431A (zh) * | 2020-05-09 | 2021-11-09 | 苏州互盟信息存储技术有限公司 | 一种全网络化光盘库集群 |
| CN113630431B (zh) * | 2020-05-09 | 2024-04-05 | 苏州互盟信息存储技术有限公司 | 一种全网络化光盘库集群 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1258714C (zh) | 2006-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101566927B (zh) | 存储系统和存储控制器以及数据缓存方法 | |
| US7328307B2 (en) | Method and apparatus for improving update performance of non-uniform access time persistent storage media | |
| CN101419535B (zh) | 虚拟机的分布式虚拟磁盘系统 | |
| US7882304B2 (en) | System and method for efficient updates of sequential block storage | |
| US8341199B2 (en) | Storage system, a method of file data back up and a method of copying of file data | |
| US7272687B2 (en) | Cache redundancy for LSI raid controllers | |
| US6047356A (en) | Method of dynamically allocating network node memory's partitions for caching distributed files | |
| CN100362462C (zh) | 磁盘阵列缓存的管理方法 | |
| US8032610B2 (en) | Scalable high-speed cache system in a storage network | |
| CN100530195C (zh) | 一种分布式文件系统的文件读系统和方法 | |
| US20050144223A1 (en) | Bottom-up cache structure for storage servers | |
| US20130318196A1 (en) | Storage system and storage control method for using storage area based on secondary storage as cache area | |
| WO2015066489A2 (en) | Efficient implementations for mapreduce systems | |
| CN103870312B (zh) | 建立虚拟机共享存储缓存的方法及装置 | |
| US20050223168A1 (en) | Storage control device, control method and storage medium recording a control program | |
| CN1862476A (zh) | 一种超大容量的虚拟磁盘存储系统 | |
| CN101493795A (zh) | 存储系统和存储控制器以及存储系统中的缓存实现方法 | |
| CN103329111A (zh) | 一种基于块存储的数据处理方法、装置及系统 | |
| CN102063406A (zh) | 用于多核处理器的网络共享Cache及其目录控制方法 | |
| JP2004192174A (ja) | ディスクアレイ制御装置 | |
| FR2866132A1 (fr) | Systeme de memorisation | |
| US10572464B2 (en) | Predictable allocation latency in fragmented log structured file systems | |
| CN1258714C (zh) | 网络化光盘库 | |
| CN107479828A (zh) | 一种提高固态硬盘吞吐量性能的方法 | |
| US7502886B1 (en) | Data storage device with two-tier raid control circuitry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060607 Termination date: 20091116 |