CN100452861C - 分级存储管理系统 - Google Patents

分级存储管理系统 Download PDF

Info

Publication number
CN100452861C
CN100452861C CNB2005100001397A CN200510000139A CN100452861C CN 100452861 C CN100452861 C CN 100452861C CN B2005100001397 A CNB2005100001397 A CN B2005100001397A CN 200510000139 A CN200510000139 A CN 200510000139A CN 100452861 C CN100452861 C CN 100452861C
Authority
CN
China
Prior art keywords
module
storage
server
data
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100001397A
Other languages
English (en)
Other versions
CN1801923A (zh
Inventor
宋宜纯
季小军
赵严
王东向
袁辉
顾军
姚威
邓伟
王杰中
王靖
毛烨
骆萧萧
董屹
王国星
石国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Central TV Station
Beijing Dayang Technology Development Inc
Original Assignee
China Central TV Station
Beijing Dayang Technology Development Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Central TV Station, Beijing Dayang Technology Development Inc filed Critical China Central TV Station
Priority to CNB2005100001397A priority Critical patent/CN100452861C/zh
Publication of CN1801923A publication Critical patent/CN1801923A/zh
Application granted granted Critical
Publication of CN100452861C publication Critical patent/CN100452861C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种电视台数字化媒体资料分级存储管理系统。该系统由装有分级存储管理软件的存储调度服务器、数据迁移服务器集群及管理控制器、近线存储库控制器、以及FC盘阵、NAS存储设备、近线存储、离线存储和备份磁带库组成;采用服务器+多迁移器的分布式体系结构,迁移器构建在SAN环境下,可以根据需要进行任意扩充;采用FC+LAN的双网结构;采用面向对象的分级存储管理技术,通过分级存储管理软件实现在线、近线、离线三种存储数据方式和存储数据交换。本发明具有优异的容灾性能,为全数字化视音频媒体的存储、管理、查询和再利用,为系统非结构化媒体数据对象的存储迁移以及音像资料的有效保存,科学管理提供了基础保证。

Description

分级存储管理系统
技术领域
本发明属于广播电视媒体资产管理领域,特别涉及一种电视台数字化媒体资料分级存储管理系统。
技术背景
随着信息时代数据的爆炸性增长和针对电视台数字化媒体资料管理特殊需求的不断出现,对存储系统的管理提出了新的挑战。尤其对于视频应用领域中大量的视频音频素材的管理,需要有强大的存储管理系统来提供归档/回迁、备份/还原等功能,并且需要将存储管理系统同其他视频应用系统,如非线性编辑系统、新闻制作网络等方面进行很好的结合。
广播电视领域涉及的数据量大,技术复杂,很多项目只是以简单的数字化+存储的方式解决广播电视媒体资料的存储问题,由于关键技术和手段不成熟,因此也存在相应的技术问题,例如:中国上海音像资料馆原来基本采用传统的磁带存储管理方式,资料的查询和应用也采用传统图书馆的方式,后经过数字化改造,高码流采用DV格式,低码流采用MPEG1格式,基本实现了资料的数字化存储,但由于当时的技术所限,其系统整个构架建立在高速以太网络的基础上,存储系统也采用传统分级存储软件Petasite,无法实现基于LAN Free的数据迁移,使得系统的整个数据吞吐量较低。
发明内容
本发明的目的在于提供一种针对广播电视媒体数据分级存储管理系统,主要用于解决大量的视音频媒体资料数据的存储管理。
本发明的特征在于,分级存储管理系统由装有分级存储管理软件的存储调度服务器、数据迁移服务器集群及管理控制器、近线存储库控制器、以及FC磁盘阵、在线存储器、离线存储和备份磁带库组成;采用服务器+多迁移器的分布式体系结构,迁移器构建在SAN环境下,可以根据需要进行任意扩充;采用FC+LAN的双网结构;采用面向对象的分级存储管理技术,通过分级存储管理软件实现在线、近线、离线三种存储数据方式和存储数据交换。
在线存储体包括两个FC磁盘阵和一个NAS存储设备,其中一个FC磁盘阵用于保存存储码率视音频素材,另一个用于存储数据库和全文检索数据以及用作集群时的共享盘,NAS存储设备用于存储检索码率视音频素材和存放关键帧;FC磁盘阵与FC总线相连,在线NAS存储设备分别与FC总线和LAN总线相连,存储调度服务器分别与FC总线和LAN总线相连,数据迁移服务器集群及管理控制器分别与FC总线和LAN总线相连,近线存储分别与FC总线和LAN总线相连,离线存储分别与FC总线和LAN总线相连,备份磁带库与FC总线相连,近线存储库控制器分别与FC总线和LAN总线相连。
在线存储一般专指硬盘等高速存储设备,主要用于存储经常使用的各种数据对象,同时也作为整个存储系统的存储交换缓冲区。
近线存储则一般指磁带库,光盘库等超大容量全自动存储设备,其特点在于成本低,容量大,速度较在线存储慢。主要用于存储系统中所有需要永久存储和归档的数据对象。近线和在线存储通过LAN方式或FC方式进行连接,并由本系统完成相互之间的数据迁移,近线存储一般采用全自动设备完成存储介质的加载和读取,虽然速度较在线慢,但也不需要人工操作。
离线存储则一般指将近线存储系统的存储介质通过人工管理的方式离线保存,例如保存在排架,抽屉等,管理方式采用手工管理,当存储系统需要调用某个数据时,系统通知管理员将某个介质加载到近线系统中,实现数据的回调,离线存储最大的特点是存储容量可以完全不受设备限制,只受物理场所限制,成本非常低,但需要人工操作才能够完成数据的回调。
本发明特征在于:分级存储管理软件的主要组成部分包括:存储调度服务器模块(Manager)、存储数据迁移器模块(DataMover)、存储库控制服务器模块(LibController)、存储监控模块(Monitor)、存储策略服务器模块(Policy Server)以及系统对外接口模块(API)。
所述的存储调度服务器模块分为:存储任务调度模块、数据迁移策略模块两个部分。
1.存储任务调度模块:封装为一个服务程序,实现对完成存储任务所使用的资源的调度和分配,并实现对系统所有任务和资源的统一管理。这里描述的资源主要指完成存储任务涉及的硬件设备,包括:迁移器,数据流磁带,DVD光盘,磁带机,DVD驱动器,机械手等等。
2.数据迁移策略模块:封装为一个动态链接库(DLL),根据用户制定的策略自动生成相应的迁移任务,并通过系统对外接口将任务提交给存储任务调度模块。数据迁移策略模块用于提供自动的存储管理模式,并具有一定的灵活配置功能,用户也可以根据系统对外接口自行开发相应的策略。
所述的存储数据迁移器模块分为:数据迁移任务控制模块、驱动器控制模块以及磁带格式化读写模块。
1.数据迁移任务控制模块:封装为一个服务程序,与存储任务调度模块进行TCP/IP通信,向存储任务调度模块报告自身状态,执行存储任务调度模块发出的数据迁移命令,并返回执行结果。该模块主要工作就是获取任务,执行任务并返回结果。
2.驱动器控制模块:封装为一个动态库,实现对多种数据流磁带机、DVD驱动器等设备的控制。
3.磁带格式化读写模块:封装为一个动态库,实现对数据流磁带格式的读写操作。
所述的存储库控制服务器模块:主要用于实现系统对各种自动化海量存储库的控制。主要包含:近线存储库控制调度服务模块、近线存储设备控制驱动模块。
1.近线存储库控制调度服务模块:通过与存储任务调度模块进行TCP/IP通信,报告自身状态,执行存储任务调度模块发出的近线存储设备控制命令,并返回执行结果。
2近线存储设备控制驱动模块:封装为一个动态库,实现对多种近线存储设备的控制,近线存储设备包括各种自动数据流磁带库,DVD光盘库等。
所述的存储监控模块提供系统监控界面,含有:存储任务调度信息模块、近线存储设备信息模块、迁移器信息模块、存储介质信息模块。
1.存储任务调度信息模块,显示存储任务调度模块相关信息。包括任务分配,资源配置,各个模块的运行状态等。
2近线存储设备信息模块,显示系统中用于近线存储的设备的相关信息,近线存储设备包括数据流带库,DVD光盘库等。
3.迁移器信息模块,显示迁移器相关信息,包括当前执行的任务,进度以及迁移器状态等。
4.存储介质信息模块,显示系统中近线存储介质的相关信息。
所述的存储策略服务器模块用于实现各种存储策略,该模块主要用于和用户的实际存储需要进行接口,并通过API完成存储任务的生成。
所述的系统对外接口模块:对外提供存储系统的API,实现存储系统的对外接口,存储系统通过提供一系列API实现存储策略客户化,存储调度服务器通过控制API与该服务器进行TCP通讯。
本发明所述的分级存储管理软件,其特征还包括:
1.为确保系统的开放性,采用两级API与其他系统的连接,一级是存储调度API,采用标准C++接口插件。用户可以通过调用该插件对存储系统进行控制和调度;另一级是系统提供数据流磁带读写API,用户可以通过该API自行开发对数据流磁带文件的维护以及其他相关操作的开发。通过这两级API,系统可以十分方便的与第三方软件进行接口,或由用户自行开发一些应用软件。
2.对于视音频资料大数据对象的存储管理要求系统的存储结构完全采用SAN结构,数据通过FC通道进行数据存储交换。
3.数据的迁移由独立的数据迁移器完成,根据带宽,每3-4个数据流磁带机可以配置一台数据迁移器,形成了迁移服务器集群。所有的存储设备通过共享被所有的迁移器使用。并可以根据需要随时进行扩充。
4.存储系统与存储硬件无关,系统可以随时调整各个存储硬件设备,如磁带机,带库,光盘库等存储设备,软件上使用插件方式,或其他方式确保存储系统与设备的无关性。
5.数据文件归档存储格式,采用MTF标准格式,MTF是微软公开发布的数据流磁带数据存储格式,虽然格式复杂造成效率降低,但其优点在于格式公开,用户可以通过任何一个支持MTF的软件进行读写数据。
6.采用独立的数据库系统,数据库存储软件使用SQL Server,ORACLE,DB2三种标准数据库软件,且数据库服务器既可以与系统管理软件合并,也可以分离。此方式的优点在于用户可以将存储系统的数据库移植到内容管理平台上,这样,用户就可以维护一套数据库平台即可,降低了维护成本。
7.磁带组与存储任务可以并行处理,对于大容量大对象的处理,系统采用多个任务并行处理的模式,即当某个磁带组需要存储若干个任务时,系统可以根据情况分配不同的驱动器在若干个同组的磁带上同时进行归档。
8.支持多种驱动器和多种磁带库,数据流磁带驱动器包括:LTO,DTF2,AIT,AHDT,VXA,STK;数据流磁带库包括:SONY,IBM,ADIC,STK。
9.可以进行大容量数据的分段回调:通过在归档过程中创建帧索引和秒索引,系统可以对大容量数据进行分段回调,即根据请求的入点和长度,自动对大文件进行切割,并生成一个新的数据文件。
10.磁带库中磁带机采用动态共享与静态绑定两种方式:对于存储系统中驱动器的使用,系统采用共享方式(SAN环境共享,磁带机通过桥接器连接到FC上)和独占方式两种。共享方式的优点在于资源共享,设备利用率较高,且可以实现远程控制;独占方式的优点在于稳定可靠,磁带机的性能发挥较好。
11.采用对数据流磁带存储空间的整理,数据流磁带数据一旦被删除,如果不经过数据整理,则被删除数据所占据的磁带存储空间无法重新利用。本存储系统采用手动通过存储管理用户监控界面进行磁带存储空间的整理以及系统自动根据磁带存储死区进行整理两种机制,确保数据流磁带存储空间的有效利用。
本发明的有益效果是:
1.优异的容灾性能:由于该系统采用分布式结构以及任务传递支持事务处理,因此对于存储系统来说,工作过程中任意节点的损坏均不会造成灾难性结果。如:数据归档过程中,如果执行归档操作的迁移器损坏,则调度器会自动监测到,并分配另外的资源重新执行刚才中断的工作;如果此时调度器损坏,则迁移器会继续迁移归档动作直到任务完成。调度器损坏期间不再继续处理任务,一旦调度器恢复,则迁移调度也随之恢复,积累的工作不会丢失。如果介质发生损坏,则调度器会自动更换介质,同时给出提示并将坏的介质打上损坏标记。
2.由于采用面向对象的分级存储管理技术,实现了在线、近线、离线三种存储方式和存储数据交换,实现基于LAN Free的数据迁移,提高了系统的整个数据吞吐量。为全数字化视音频媒体的存储、管理、查询和再利用,为系统非结构化数据对象(媒体数据对象)的存储迁移以及音像资料的有效保存,科学管理提供了基础保证。
以下结合附图和实施例对本发明作一详细的说明。
附图说明
图1为系统结构示意图;
图2为系统软件模块关系示意图;
图3为系统整体业务流程示意图;
图4-1为存储服务器业务流程主线程示意图;
图4-2为存储服务器业务流程消息处理线程示意图;
图4-3为存储服务器业务流程任务测试线程示意图;
图4-4为存储服务器业务流程任务处理线程示意图;
图5为迁移服务器业务流程示意图;
图6为策略服务器业务流程示意图。
具体实施方式
分级存储管理系统结构如图1所示:在线存储体包括两个FC磁盘阵列和一个NAS存储设备,其中一个FC磁盘阵列用于保存存储码率视音频素材,另一个用于存储数据库和全文检索数据以及用作集群时的共享盘。NAS存储设备主要用于存储检索码率视音频素材和存放关键帧。图中1.1在线FC磁盘阵与FC总线相连,1.2在线FC磁盘阵与FC总线相连,1.3在线NAS存储设备分别与FC总线和LAN总线相连,1.4存储调度服务器分别与FC总线和LAN总线相连,1.5数据迁移服务器集群及管理控制器分别与FC总线和LAN总线相连,1.6近线存储分别与FC总线和LAN总线相连,1.7离线存储分别与FC总线和LAN总线相连,1.8备份磁带库与FC总线相连,1.9近线存储库控制器分别与FC总线和LAN总线相连。
分级存储管理系统软件模块关系如图2所示2.1存储监控模块(Monitor),2.2存储策略服务器模块(Policy Server):以及系统对外接口模块(API),2.3为存储调度服务器模块(Manager),2.4存储数据迁移器模块(DataMover),2.5存储库控制服务器模块(LibController)。
2.1存储监控模块(Monitor):提供系统监控界面,主要实现系统资源的配置和对系统资源状态、任务进度监控,包括存储调度服务器信息、近线存储设备信息、迁移器信息、存储介质信息模块,实现存储管理的状态,信息,控制,维护,配置等所有相关操作的人机界面。可对系统进行配置,管理,监测,控制,统计等等用户的操作管理。此软件模块采用Window标准界面,管理内容包括:
资源配置:配置迁移器、带库、驱动器、磁带及磁带分组;
系统参数配置:配置存储服务器IP、端口、并发任务数、磁盘缓冲、磁带缓冲等;
存储区配置:配置存储区及其策略,策略包括归档策略、备份策略等;
错误报告:来自各个模块所产生的运行报告、错误报告通过这个Monitor显示出来;
监控:监视系统所有资源的运行状况,包括带库、驱动器、迁移器等的运行状态,并且操作员可以通过执行相关操作命令来对系统各个资源控制,如添加归档任务、下载对象等。
2.2存储策略服务器模块(Policy Server)以及系统对外接口模块(API):对外提供存储系统的API,实现存储系统的对外接口,存储系统通过提供一系列API实现存储策略客户化,存储调度服务器通过控制API与该服务器进行TCP通讯。
2.3存储调度服务器模块(Manager):含有存储任务调度模块(迁移服务器和带库控制程序)、数据迁移策略模块,是整个软件的中枢,对内负责存储系统内磁带机、带库机械手、迁移器等资源的分配调度,对外负责接收和响应各种类型的请求和任务,其做用为:
资源管理和调度:通过存储管理用户监控界面配置资源,由任务调度和资源管理服务器进行统一的调配和管理。一旦发生存储要求(外部控制或内部触发),服务器根据系统所有资源的状态以及存储指令的要求进行资源分配。资源包括:驱动器,带库对象,迁移器等;
外部存储指令:存储调度服务器通过API的方式与外部应用进行接口,应用软件通过调用API与存储调度服务器进行TCP通讯,并发出相应的存储指令。例如:归档数据,迁移数据,近线恢复数据,离线恢复数据等。存储管理服务器每次接受外部存储控制后直接生成一个存储任务,并通过任务处理线程进行任务的优先级处理;
通知存储库控制服务器进行自动设备控制:根据资源分配以及存储指令的要求,对于一些自动化设备,如带库,光盘库,机械手,自动装载设备等发出控制要求。由于这类设备可能自带软件,因此存储调度服务器需要通过存储库控制服务器进行此类设备的控制。如果存储对象属于一个离线库房,则由存储库控制服务器向管理员发出申请添装数据流磁带;
通知数据迁移服务器进行数据迁移:资源分配完成,设备控制完成后,存储调度服务器通过TCP通讯通知存储数据迁移服务器进行数据的迁移操作。存储数据迁移服务器根据要求执行数据迁移后,返回相应的信息,存储调度服务器接受返回结果并进行相应的记录。
2.4存储数据迁移器模块(DataMover):含迁移控制模块,驱动器控制模块以及磁带格式化读写模块,负责数据的具体搬移,它接收存储调度服务器发送的任务,并具体执行该任务,由存储调度服务器进行控制,负责将存调度理服务器指定的数据迁移到存储调度服务器指定的设备中,并返回相应的结果,存储数据迁移服务器通过TCP与存储调度服务器进行通讯,并接收存储管理服务器的指令,同时通过SAN进行数据搬移和拷贝。
2.5存储库控制服务器模块(LibController):含近线存储库控制调度服务摸块、近线存储设备控制驱动模块,用于自动化设备的控制,如数据流磁带库,机械手,光盘库等,控制方式可以是RS422,LAN,FC等。存储调度服务器通过TCP与存储库控制服务器进行通讯,并向存储库控制服务器发出控制命令。存储库控制服务器执行并翻译控制信号,执行具体的控制动作。执行完毕后,返回存储库控制服务器控制结果或返回相应的控制信息。
图3是系统整体业务流程,3.1进入用户配置系统,3.2启动系统配置程序GUI,3.3进行系统的参数配置和3.4系统的资源配置,3.5启动存储服务器,3.6判断启动是否成功,不成功返回到3.2启动系统配置程序GUI,如果成功分别进行3.7启动迁移服务器,3 10判断启动是否成功,不成功返回到3.2启动系统配置程序GUI,如果成功进入到3.13系统启动,3.8启动带库控制程序,3.11判断启动是否成功,不成功返回到3.2启动系统配置程序GUI,如果成功进入到3.13系统启动,3.9启动策略服务器,3.12判断启动是否成功,不成功返回到3.2启动系统配置程序GUI,如果成功进入到3.13系统启动,3.14判断是否新任务?是新任务进行3.15任务处理,将处理结果送至3.16用户界面提交新任务到3.13系统启动或到3.17系统停止,3.14判断是否新任务,不是新任务,3.16用户界面提交新任务到3.13系统启动或系统停止用户界面提交新任务到3.13系统启动。
图4-1至4-4四个线程组成存储服务器业务流程图,
4-1.1主线程正常启动,4-1.2初始化资源状态,4-1.3初始化任务列表,4-1.4中间件、设置消息处理函数、开始监听端口,4-1.5开始任务检测线程,4-1.6终止、发出系统退出信号、待所有线程结束后、退出。
4-2.1进入消息中间件调用消息处理线程,4-2.2消息来源,来自API的消息,4-2.3增加任务,4-2.4修改任务,4-2.5查寻任务,4-2.6取消任务,来自带库控制器的消息,4-2.7通知准备,4-2.8通知更新Media状态,来自数据迁移器的消息,4-2.9通知准备,4-2.10通知任务、处理结果,来自系统的消息,4-2.11断开数据迁移器,4-2.12断开带库控制器。
4-3.1任务检测线程启动,4-3.2判断有无系统退出信号,有,4-3.7退出,没有退出信号,4-3.3判断是否有未处理任务,有,4-3.4判断是否具备处理任务条件,有,4-3.5锁定任务、开启一个任务处理线程,然后转回4-3.2判断有无系统退出信号,4-3.3和4-3.4的判断都是否则,4-3.6等待三秒,然后转到4-3.2判断有无系统退出信号。
4-4.1任务处理线程启动,4-4.2判断有无空闲驱动器,有,4-4.3判断有无空闲迁移器,有,4-4.4取得相应的磁带,取带成功,4-4.5选取合适的驱动器,选取成功,4-4.6选取空闲的迁移器,选取成功,4-4.7通知迁移器处理任务,4-4.8结束任务,如果4-4.2和4-4.3判断为否,4-4.4、4-4.5、4-4.6为不成功,则都进入4-4.9复原已分配资源的状态,4-4.10复原任务状态,进入4-4.8结束任务。
图5为迁移服务器业务流程,该流程由图5-1至5-2两个线程组成,
5-1.1主线程迁移器启动,5-1.2初始化数据库,成功,5-13初始化ASAPI,成功,5-1.4搜索磁带机设备,成功,5-1.5发送就绪消息给服务器,成功,5-1.6迁移器启动成功、开始接收消息,5-1.7程序正常退出,如果5-1.2,5-1。3,5-1.4,5-1.5,不成功,进入5-1.8程序非正常退出,5-1.9迁移器用户关闭命令,5-1.7程序正常退出。
5-2.1消息处理进入消息类型,进入磁带机扫描5-2.2磁带机扫描,5-2.3将磁带机ID返回给服务器,进入任务处理5-2.4处理任务,5-2.5搜索磁带机设备,未发现,5-2.13回设备错误,发现设备,5-2.6任务类型,上载,5-2.7处理上载任务,5-2.9判断任务处理完成否?完成,5-2.10发送任务执行成功给服务器,未完成,5-2.11分析错误原因并发送给服务器,5-2.6任务类型,下载,处理下载任务,5-2.9判断任务处理完成否?完成,5-2.10发送任务执行成功给服务器,未完成,5-2.11分析错误原因并发送给服务器,5-2.6任务类型,分段回调,5-2.8处理分段回调任务,5-2.9判断任务处理完成否?完成,5-2.10发送任务执行成功给服务器,未完成,5-2.11分析错误原因并发送给服务器,5-2.1消息类型,磁带弹出,5-2.14弹出磁带,5-2.15返回结果,5-2.1消息类型,任务进入查询,5-2.16返回任务进度,5-2.17将任务进度返回给服务器。
图6为策略服务器业务流程,6.1策略服务器启动,6.2连接数据库,连接成功,6.3连接服务器,连接成功,6.5启动成功,6.6查询正在处理的任务状态,6.7根据查询结果刷新任务状态,然后进入三个任务,6.8启动删除任务线程,6.9判断是否新任务?是,6.10删除相应文件,返回结果到6.8启动删除任务线程,6.9判断是否新任务?不是,返回到6.8启动删除任务线程,6.11启动归档任务线程,6.12判断是否新任务?是,6.13提交任务给存储服务器,将任务处理结果返回到6.7根据查询结果刷新任务状态,6.12判断是否新任务?不是,返回到6.11启动归档任务线程,6.14启动迁移任务线程,6.15判断是否新任务?是,6.13提交任务给存储服务器,将任务处理结果返回到6.7根据查询结果刷新任务状态,6.15判断是否新任务?不是,返回到6.14启动迁移任务线程,6.2和6.3连接失败,6.4退出。

Claims (8)

1.一种分级存储管理系统,其特征在于:该管理系统由装有分级存储管理软件的存储调度服务器、数据迁移服务器集群及管理控制器、近线存储库控制器、在线存储体、近线存储、离线存储和备份磁带库组成;采用服务器+多迁移器的分布式体系结构,迁移器构建在SAN环境下;采用FC+LAN的双网结构;采用面向对象的分级存储管理技术,通过分级存储管理软件实现在线、近线、离线三种存储数据方式和存储数据交换;
在线存储体包括两个FC磁盘阵和一个NAS存储设备,其中一个FC磁盘阵用于保存存储码率视音频素材,另一个用于存储数据库和全文检索数据以及用作集群时的共享盘,NAS存储设备用于存储检索码率视音频素材和存放关键帧;FC磁盘阵与FC总线相连,NAS存储设备分别与FC总线和LAN总线相连,存储调度服务器分别与FC总线和LAN总线相连,数据迁移服务器集群及管理控制器分别与FC总线和LAN总线相连,近线存储分别与FC总线和LAN总线相连,离线存储分别与FC总线和LAN总线相连,备份磁带库与FC总线相连,近线存储库控制器分别与FC总线和LAN总线相连。
2.根据权利要求1所述的分级存储管理系统,其特征在于,所述的分级存储管理软件由存储调度服务器模块(Manager)、存储数据迁移器模块(DataMover)、存储库控制服务器模块(LibController)、存储监控模块(Monitor)、存储策略服务器模块(Policy Server)和系统对外接口模块(API)组成。
3.根据权利要求2所述的分级存储管理系统,其特征在于,所述的存储调度服务器模块分为存储任务调度模块、数据迁移策略模块,(1)存储任务调度模块封装为一个服务程序,实现对完成存储任务所使用的资源的调度和分配,并实现对系统所有任务和资源的统一管理,这里描述的资源指完成存储任务涉及的硬件设备,包括:迁移器,数据流磁带,DVD光盘,磁带机,DVD驱动器,机械手;(2)数据迁移策略模块封装为一个动态链接库(DLL),根据用户制定的策略自动生成相应的迁移任务,并通过系统对外接口将任务提交给存储任务调度模块,数据迁移策略模块用于提供自动的存储管理模式,并具有一定的灵活配置功能,用户根据系统对外接口自行开发相应的策略。
4.根据权利要求2所述的分级存储管理系统,其特征在于,所述的存储数据迁移器模块分为:数据迁移任务控制模块、驱动器控制模块以及磁带格式化读写模块,(1)数据迁移任务控制模块封装为一个服务程序,与所述存储调度服务器模块中的存储任务调度模块进行TCP/IP通信,向存储任务调度模块报告自身状态,执行存储任务调度模块发出的数据迁移命令,并返回执行结果;(2)驱动器控制模块封装为一个动态库,实现对多种数据流磁带机、DVD驱动器设备的控制;(3)磁带格式化读写模块封装为一个动态库,实现对多种磁带格式的读写操作。
5.根据权利要求2所述的分级存储管理系统,其特征在于,所述的存储库控制服务器模块包含近线存储库控制调度服务模块、近线存储设备控制驱动模块,(1)近线存储库控制调度服务模块:通过与所述存储调度服务器模块中的存储任务调度模块进行TCP/IP通信,报告自身状态,执行存储任务调度模块发出的近线存储设备控制命令,并返回执行结果;(2)近线存储设备控制驱动模块封装为一个动态库,实现对多种近线存储设备的控制,近线存储设备包括各种自动数据流磁带库,DVD光盘库。
6.根据权利要求2所述的分级存储管理系统,其特征在于,所述的存储监控模块提供的系统监控界面含有:存储任务调度信息模块、近线存储设备信息模块、迁移器信息模块、存储介质信息模块,(1)存储任务调度信息模块,显示所述存储调度服务器模块中的存储任务调度模块相关信息,包括任务分配、资源配置、各个模块的运行状态;(2)近线存储设备信息模块,显示系统中用于近线存储设备的相关信息,近线存储设备包括数据流带库、DVD光盘库;(3)迁移器信息模块,显示迁移器相关信息,包括当前执行的任务、进度以及迁移器状态;(4)存储介质信息模块,显示系统中近线存储介质的相关信息。
7.根据权利要求2所述的分级存储管理系统,其特征在于,所述的存储策略服务器模块用于实现各种存储策略,该模块用于和用户的实际存储需要进行接口,并通过API完成存储任务的生成。
8.根据权利要求2所述的分级存储管理系统,其特征在于,所述的系统对外接口模块:对外提供存储系统的API,实现存储系统的对外接口。
CNB2005100001397A 2005-01-05 2005-01-05 分级存储管理系统 Expired - Fee Related CN100452861C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2005100001397A CN100452861C (zh) 2005-01-05 2005-01-05 分级存储管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005100001397A CN100452861C (zh) 2005-01-05 2005-01-05 分级存储管理系统

Publications (2)

Publication Number Publication Date
CN1801923A CN1801923A (zh) 2006-07-12
CN100452861C true CN100452861C (zh) 2009-01-14

Family

ID=36811639

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100001397A Expired - Fee Related CN100452861C (zh) 2005-01-05 2005-01-05 分级存储管理系统

Country Status (1)

Country Link
CN (1) CN100452861C (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5081498B2 (ja) * 2007-05-24 2012-11-28 株式会社日立製作所 計算機システム、および、その制御方法
US8700723B2 (en) * 2010-06-15 2014-04-15 Netzyn, Inc. Hierarchical display-server system and method
CN102163232B (zh) * 2011-04-18 2012-12-05 国电南瑞科技股份有限公司 一种支持iec61850对象查询的sql接口实现方法
CN102624911A (zh) * 2012-03-14 2012-08-01 中山大学 一种基于集群的可视媒体存储系统
CN103810059A (zh) * 2012-11-15 2014-05-21 国家电网公司 备份方法和装置
CN103067744B (zh) * 2012-12-28 2014-03-12 中央电视台 一种可实时动态调整优先级的媒体文件整备方法
CN103294794B (zh) * 2013-05-23 2017-07-28 上海爱数信息技术股份有限公司 一种在线归档和访问文件的系统
CN104199926B (zh) * 2014-09-01 2017-11-24 北京联创信安科技股份有限公司 文件归档实现方法和装置以及文件访问方法和装置
CN105404474A (zh) * 2015-12-07 2016-03-16 上海爱数信息技术股份有限公司 一种异构分布式存储系统的数据迁移方法
CN107132991B (zh) * 2016-02-26 2020-11-20 深信服科技股份有限公司 虚拟存储系统的分层存储方法及虚拟存储系统
CN108053843B (zh) * 2017-11-22 2019-08-27 苏州互盟信息存储技术有限公司 一种具有一维运动机械手的近线磁盘阵列库
CN108022607B (zh) * 2017-11-22 2019-08-27 苏州互盟信息存储技术有限公司 一种具有接触点的近线磁盘阵列库
CN107993681B (zh) * 2017-11-22 2019-10-15 苏州互盟信息存储技术有限公司 一种近线磁盘阵列库
CN111866038A (zh) * 2019-04-25 2020-10-30 华东计算技术研究所(中国电子科技集团公司第三十二研究所) 基于异构多副本的分布式存储动态防御系统及方法
CN112328692A (zh) * 2020-11-12 2021-02-05 桂林旅游学院 旅游大数据信息存储方法
CN116627349A (zh) * 2023-06-14 2023-08-22 富士胶片(中国)投资有限公司 医疗影像数据的处理方法、装置、设备、介质和计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020069280A1 (en) * 2000-12-15 2002-06-06 International Business Machines Corporation Method and system for scalable, high performance hierarchical storage management
CN1376993A (zh) * 2002-05-09 2002-10-30 邓祖道 远程教育数字化声像信息资源系统及其实现方法
US6804719B1 (en) * 2000-08-24 2004-10-12 Microsoft Corporation Method and system for relocating files that are partially stored in remote storage

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804719B1 (en) * 2000-08-24 2004-10-12 Microsoft Corporation Method and system for relocating files that are partially stored in remote storage
US20020069280A1 (en) * 2000-12-15 2002-06-06 International Business Machines Corporation Method and system for scalable, high performance hierarchical storage management
CN1376993A (zh) * 2002-05-09 2002-10-30 邓祖道 远程教育数字化声像信息资源系统及其实现方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CCTV音像资料馆业务系统的技术特点. 宋宜纯.世界广播电视,第18卷第5期. 2004
CCTV音像资料馆业务系统的技术特点. 宋宜纯.世界广播电视,第18卷第5期. 2004 *
以媒体资产管理为核心推动制播网络一体化建设. 张元文.电视技术,第255期. 2003
以媒体资产管理为核心推动制播网络一体化建设. 张元文.电视技术,第255期. 2003 *

Also Published As

Publication number Publication date
CN1801923A (zh) 2006-07-12

Similar Documents

Publication Publication Date Title
CN100452861C (zh) 分级存储管理系统
US20020194340A1 (en) Enterprise storage resource management system
EP1991936B1 (en) Network topology for a scalable data storage system
US11048591B1 (en) Efficient name space organization in a global name space cluster
JP5004975B2 (ja) データ記憶システム
US7941455B2 (en) Notification for a distributed file system
US20070061379A1 (en) Method and apparatus for sequencing transactions globally in a distributed database cluster
CN102594852A (zh) 数据访问方法、节点及系统
CN104469391B (zh) 一种基于云平台的数字电视内容分发系统及方法
CN101808127B (zh) 数据备份方法、系统和服务器
KR102119258B1 (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
CN102158540A (zh) 分布式数据库实现系统及方法
US20070214183A1 (en) Methods for dynamic partitioning of a redundant data fabric
US20170004153A1 (en) Parallel streams to maintain a target data transfer rate
US20070233953A1 (en) Distributed redundant adaptive cluster
KR20200056357A (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
Golubchik et al. Analysis of striping techniques in robotic storage libraries
US20110296422A1 (en) Switch-Aware Parallel File System
CN101370027A (zh) 网络存储系统、方法及应用服务器
CN108549659B (zh) 一种数据仓库管理系统及管理方法
CN100573462C (zh) 数据恢复系统和方法
CN107454171A (zh) 消息服务系统及其实现方法
CN111651302A (zh) 分布式数据库备份方法,装置及系统
Chen et al. Using rotational mirrored declustering for replica placement in a disk-array-based video server
CN116414624A (zh) 一种对象备份方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090114

Termination date: 20210105