CN101694635A - 基于虚拟磁带库备份的控制方法、系统及近线存储节点 - Google Patents

基于虚拟磁带库备份的控制方法、系统及近线存储节点 Download PDF

Info

Publication number
CN101694635A
CN101694635A CN200910173992A CN200910173992A CN101694635A CN 101694635 A CN101694635 A CN 101694635A CN 200910173992 A CN200910173992 A CN 200910173992A CN 200910173992 A CN200910173992 A CN 200910173992A CN 101694635 A CN101694635 A CN 101694635A
Authority
CN
China
Prior art keywords
scsi
module
instruction
backup
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910173992A
Other languages
English (en)
Other versions
CN101694635B (zh
Inventor
刘步荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN 200910173992 priority Critical patent/CN101694635B/zh
Publication of CN101694635A publication Critical patent/CN101694635A/zh
Application granted granted Critical
Publication of CN101694635B publication Critical patent/CN101694635B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于虚拟磁带库备份的控制方法、系统及近线存储节点,包括:主机通道接口驱动模块判断若SCSI指令的目的设备是Data Mover模块,则命令该模块接收指令,Data Mover模块将指令发送给SCSI指令处理模块;SCSI指令处理模块接收并解析指令且执行后,将结果反馈Data Mover模块;DataMover模块接收后,模仿实体Data Mover设备响应SCSI指令格式,并将相应的指令响应发送给主机通道接口驱动模块;主机通道接口驱动模块将接收到的指令响应根据目的设备地址发出。应用本发明,解决Data Mover设备和磁带库、虚拟磁带库间的兼容性问题,实现数据在SAN结构中的两个存储设备间直接传输。

Description

基于虚拟磁带库备份的控制方法、系统及近线存储节点
技术领域
本发明涉及通讯技术领域,尤其涉及一种基于VTL(Virtual TapeLibrary,虚拟磁带库)备份的控制方法、系统及近线存储节点。
背景技术
备份是用户保护用户重要的和不可替换的信息的最佳方式。一些用户为了可靠的保管数据,定期把最近生成的数据,从他们的计算机备份到一组磁盘或磁带上。备份是一种数据安全策略,是将原始数据完全一样地复制,严格来说应复制两份,保存在异地。在原始数据丢失或遭到破坏的情况下,利用备份数据把原始数据恢复出来,使系统能够正常工作。
传统的备份系统,包括以下几种方式:
1)基于主机的备份,需要在每台主机上安装磁带机备份本机系统,在这种结构中磁带库是直接接在应用服务器上,而且只为该服务器提供数据备份服务。在大多数情况下,这种备份大多是采用服务器自带的磁带机,而备份操作往往也是通过手工操作方式进行。
这种备份方式的缺点在于不利于备份系统的共享,不适合于现在大型的数据备份要求;并且生产节点服务器的CPU、内存以及I/O等主机系统资源会被备份工作占用。
2)基于网络的备份,系统中数据的传输是以网络为基础的,其中配置一台服务器作为备份服务器,由它负责整个系统的备份操作。磁带库则接在某台服务器上,在数据备份时备份对象把数据通过网络传输到磁带库中实现备份的;
这种备份方式的缺点在于对网络传输压力大,备份、镜像和复制操作对LAN的影响非常大;当需要备份的数据量较大,备份时间窗口紧张时,网络容易发生堵塞,从而降低整个系统的效率;并且生产节点服务器的CPU、内存以及I/O等主机系统资源会被备份工作占用。
3)基于Lan-Free的备份,就是指数据不经过局域网直接进行备份,即用户只需将磁带机或磁带库等备份设备连接到SAN中,各服务器就可把需要备份的数据直接发送到共享的备份设备上,不必再经过局域网链路。由于服务器到共享存储设备的大量数据传输是通过SAN(存储区域网络)进行的,局域网只承担各服务器之间的通信(而不是数据传输)任务;
这种备份方式的缺点在于在线存储磁盘阵列中的大量数据要备份到磁带库则需要经过应用服务器,所有的数据需要先读取到服务器内存,再通过FC SAN网络传输至磁带库,这种持续的数据流量会占用生产节点服务器的CPU、内存、I/O等主机系统资源。
4)基于Server-Free的备份,就是指数据不经过局域网直接进行备份,使数据能够在SAN结构中的两个存储设备之间直接传输,通常是在磁盘阵列和磁带库之间。业界主流Server-Free的实现方式是通过外置DataMover(数据移动设备)来实现数据从磁盘阵列传输到磁带库上的任务。
这种备份方式的缺点在于:外置Data Mover设备和磁带库、虚拟磁带库之间的兼容性存在问题;并且硬件成本较高,部署安装实施复杂、后期维护人力成本较高。
因此,当前需要提供一种控制备份数据的技术方案,能够实现数据在SAN结构中的两个存储设备之间直接传输,降低生产节点服务器的CPU、内存和I/O等主机系统资源,并且同时能够解决外置Data Mover设备和磁带库、虚拟磁带库之间的兼容性和部署安装实施复杂的问题。
发明内容
本发明所要解决的技术问题是提供一种基于虚拟磁带库备份的控制方法、系统及近线存储节点,解决了Data Mover设备和磁带库、虚拟磁带库之间的兼容性问题,实现数据在SAN结构中的两个存储设备之间直接传输,降低了生产节点服务器的CPU、内存和I/O等主机系统资源,安装实施简单。
为了解决上述问题,本发明提供了一种基于虚拟磁带库备份的控制方法,包括:
主机通道接口驱动模块判断若接收到备份节点服务器发送的SCSI指令的目的设备是Data Mover模块,则向该Data Mover模块发送接收SCSI指令的消息,该Data Mover模块将接收的该SCSI指令发送给SCSI指令处理模块;
所述SCSI指令处理模块接收所述SCSI指令并进行解析,执行所述解析后的SCSI指令后,将SCSI指令的执行结果反馈给所述Data Mover模块;该Data Mover模块接收该SCSI指令的执行结果后,模仿实体Data Mover设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给所述主机通道接口驱动模块;所述主机通道接口驱动模块将接收到的SCSI指令响应根据目的设备地址发出。
进一步地,上述控制方法还可包括,所述主机通道接口驱动模块判断若接收到备份节点服务器发送的SCSI指令的目的设备是磁带库磁带机模仿模块,则向该磁带库/磁带机模仿模块发送接收SCSI指令的消息,该磁带库/磁带机模仿模块将接收的该SCSI指令发送给SCSI指令处理模块;
所述SCSI指令处理模块接收所述SCSI指令并进行解析,模仿实体磁带装置执行解析后的所述SCSI指令,并将SCSI指令的执行结果反馈给所述磁带库/磁带机模仿模块;该磁带库/磁带机模仿模块接收该SCSI指令的执行结果后,模仿实体磁带装置设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给主机通道接口驱动模块;所述主机通道接口驱动模块将接收到的SCSI指令响应根据目的设备地址发出。
进一步地,上述控制方法还可包括,所述SCSI指令处理模块接收所述SCSI指令并进行解析,模仿实体磁带装置执行解析后的所述SCSI指令,并将SCSI指令的执行结果反馈给所述磁带库/磁带机模仿模块,是指:
所述SCSI指令处理模块接收所述SCSI指令并进行解析,模仿实体磁带装置处理系统的SCSI指令,发出读、写、配置、查询及其他SCSI指令操作到磁盘通道驱动模块执行;
所述磁盘通道驱动模块根据接收到的SCSI指令操作对后端存储中的硬盘执行相关读、写、配置、查询及其他SCSI指令操作后,将SCSI指令的执行结果反馈给所述SCSI指令处理模块;该SCSI命令处理模块将接收的SCSI指令的执行结果反馈给磁带库/磁带机模仿模块。
进一步地,上述控制方法还可包括,所述Data Mover模块判断若接收的所述SCSI指令是SCSI Extended Copy命令,还包括:
所述Data Mover模块解析接收到的SCSI Extended Copy命令,提出备份操作需要的信息,将该SCSI指令发给所述SCSI指令处理模块;
所述Data Mover模块检测若接收到SCSI指令处理模块处理完成后的SCSI指令的执行结果,则根据提出得到的所述信息,建立与目标近线存储节点的连接;该Data Mover模块判断若自己和目标近线存储节点的磁带库/磁带机模仿模块的SCSI连接成功,则检测若自己的Cache中已收到的备份数据容量在Cache的比例超过预先设置的阈值或已收到全部的备份数据,则根据之前提取得到的备份策略和备份存储介质属性,将所述Cache中的数据一次性写入到目标近线存储节点中SATA硬盘直到所有数据写入完成;然后该Data Mover模块将备份数据在SATA硬盘中存储地址和/或容量的元数据信息反馈给所述备份节点服务器。
本发明还提供了一种近线存储节点,用于控制基于虚拟磁带库技术的数据备份,包括:主机通道接口驱动模块、SCSI指令处理模块和Data Mover模块,其中,
所述主机通道接口驱动模块,用于判断若接收到备份节点服务器发送的SCSI指令的目的设备是Data Mover模块,则向该Data Mover模块发送接收SCSI指令的消息;接收所述Data Mover模块发送的所述SCSI指令响应,并根据目的设备地址发出;
所述SCSI指令处理模块,用于接收所述Data Mover模块发送的所述SCSI指令并进行解析,执行所述解析后的SCSI指令后,将SCSI指令的执行结果反馈给所述Data Mover模块;
Data Mover模块,用于接收所述主机通道接口驱动模块发送的接收SCSI指令的消息,并将接收的该SCSI指令发送给SCSI指令处理模块;接收所述SCSI指令处理模块发送的所述SCSI指令的执行结果后,模仿实体DataMover设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给所述主机通道接口驱动模块。
进一步地,上述近线存储节点还可包括,磁带库/磁带机模仿模块,用于接收所述主机通道接口驱动模块发送的接收SCSI指令的消息,并将接收的该SCSI指令发送给所述SCSI指令处理模块;接收所述SCSI指令处理模块发送的该SCSI指令的执行结果后,模仿实体磁带装置设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给主机通道接口驱动模块;
所述主机通道接口驱动模块,还用于判断若接收到备份节点服务器发送的SCSI指令的目的设备是所述磁带库/磁带机模仿模块,则向该磁带库/磁带机模仿模块发送接收SCSI指令的消息;接收到所述磁带库/磁带机模仿模块发送的SCSI指令响应,并根据目的设备地址发出;
所述SCSI指令处理模块,还用于接收所述磁带库/磁带机模仿模块发送的所述SCSI指令并进行解析,模仿实体磁带装置执行解析后的所述SCSI指令,并将SCSI指令的执行结果反馈给所述磁带库/磁带机模仿模块。
进一步地,上述近线存储节点还可包括,磁盘通道驱动模块,用于接收并根据所述SCSI指令处理模块发送的读、写、配置、查询及其他SCSI指令操作进行执行,将SCSI指令的执行结果反馈给所述SCSI指令处理模块;
所述SCSI指令处理模块,还用于接收所述SCSI指令并进行解析,模仿实体磁带装置处理系统的SCSI指令,发出读、写、配置、查询及其他SCSI指令操作到磁盘通道驱动模块执行。
进一步地,上述近线存储节点还可包括,SATA硬盘,用于所述近线存储节点中备份数据的存储;
所述Data Mover模块,还用于判断若接收的所述SCSI指令是SCSIExtended Copy命令,则解析接收到的SCSI Extended Copy命令,提出备份操作需要的信息,将该SCSI指令发给所述SCSI指令处理模块;
检测若接收到SCSI指令处理模块处理完成后的SCSI指令的执行结果,则根据提出得到的所述信息,建立与目标近线存储节点的连接;判断若自己和目标近线存储节点的磁带库磁带机模仿模块的SCSI连接成功,则检测若自己的Cache中已收到的备份数据容量在Cache的比例超过预先设置的阈值或已收到全部的备份数据,则根据之前提取得到的备份策略和备份存储介质属性,将所述Cache中的数据一次性写入到目标近线存储节点中SATA硬盘直到所有数据写入完成;然后将备份数据在SATA硬盘中存储地址和/或容量的元数据信息反馈给所述备份节点服务器;
检测若接收到SCSI指令处理模块处理完成后的SCSI指令的执行结果,则根据提出得到的所述信息,建立与目标在线存储节点的连接;判断若自己和目标在线存储节点的SCSI连接成功,则对目标在线存储节点中相应地址的数据发出读SCSI指令,指示目标在线存储节点将数据直接传输到DataMover模块;检测若自己的Cache中已收到的备份数据容量在Cache的比例超过预先设置的阈值或已收到全部的备份数据,则根据之前提取得到的备份策略和备份存储介质属性,将所述Cache中的数据一次性写入到所述近线存储节点中SATA硬盘直到所有数据写入完成;然后将备份数据在SATA硬盘中存储地址和/或容量的元数据信息反馈给所述备份节点服务器。
本发明还提供了一种备份系统,用于控制基于虚拟磁带库技术的数据备份,包括:备份节点服务器和近线存储节点,所述近线存储节点包括:主机通道接口驱动模块、SCSI指令处理模块和Data Mover模块,其中,
所述主机通道接口驱动模块,用于判断若接收到所述备份节点服务器发送的SCSI指令的目的设备是Data Mover模块,则向该Data Mover模块发送接收SCSI指令的消息;接收所述Data Mover模块发送的所述SCSI指令响应,并根据目的设备地址发出;
所述SCSI指令处理模块,用于接收所述Data Mover模块发送的所述SCSI指令并进行解析,执行所述解析后的SCSI指令后,将SCSI指令的执行结果反馈给所述Data Mover模块;
所述Data Mover模块,用于接收所述主机通道接口驱动模块发送的接收SCSI指令的消息,并将接收的该SCSI指令发送给SCSI指令处理模块;接收所述SCSI指令处理模块发送的所述SCSI指令的执行结果后,模仿实体Data Mover设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给所述主机通道接口驱动模块。
进一步地,上述备份系统还可包括,所述近线存储节点还包括:磁带库/磁带机模仿模块,用于接收所述主机通道接口驱动模块发送的接收SCSI指令的消息,并将接收的该SCSI指令发送给所述SCSI指令处理模块;接收所述SCSI指令处理模块发送的该SCSI指令的执行结果后,模仿实体磁带装置设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给主机通道接口驱动模块;
所述主机通道接口驱动模块,还用于判断若接收到所述备份节点服务器发送的SCSI指令的目的设备是所述磁带库磁带机模仿模块,则向该磁带库/磁带机模仿模块发送接收SCSI指令的消息;接收到所述磁带库/磁带机模仿模块发送的SCSI指令响应,并根据目的设备地址发出;
所述SCSI指令处理模块,还用于接收所述磁带库/磁带机模仿模块发送的所述SCSI指令并进行解析,模仿实体磁带装置执行解析后的所述SCSI指令,并将SCSI指令的执行结果反馈给所述磁带库/磁带机模仿模块。
与现有技术相比,应用本发明,实现了基于VTL技术的备份,通过在VTL虚拟磁带库中增加Data Mover功能,使备份数据能够直接在SAN结构中的主存储磁盘阵列和虚拟磁带库之间传输,将应用服务器从整个数据备份路径中解脱出来,在本发明的备份模式下,控制信息走LAN,数据只在FCSAN内进行流动,最大可能提高了备份和恢复速度,从而有效提高了备份性能,完全消除了备份数据对需要备份的应用服务器的CPU,Memory以及I/O等主机资源的占用,降低了对备份窗口的要求,提高整体系统的备份性能。在备份窗口方面,本发明将将生产节点服务器从整个数据备份路径中解脱出来,解决了系统备份窗口时间较长的问题,允许备份过程中应用仍能持续访问在线存储节点,有效缩短了备份窗口时间。在系统兼容性方面,本发明直接在VTL设备内部集成Data Mover模块,解决了传统外置Data Mover设备和和磁带库、虚拟磁带库之间的兼容性问题和安装维护复杂的问题,有效保证了系统兼容性和降低了系统的安装部署难度。
附图说明
图1是本发明的一种备份系统的结构示意图;
图2是本发明的近线存储节点的结构示意图;
图3是本发明的近线存储节点处理SCSI指令的流程图;
图4本发明的近线存储节点内部Data Mover模块处理备份请求的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本发明的主要构思是:主机通道接口驱动模块判断若接收到备份节点服务器发送的SCSI指令的目的设备是Data Mover模块,则向该Data Mover模块发送接收SCSI指令的消息,该Data Mover模块将接收的该SCSI指令发送给SCSI指令处理模块;
所述SCSI指令处理模块接收所述SCSI指令并进行解析,执行所述解析后的SCSI指令后,将SCSI指令的执行结果反馈给所述Data Mover模块;该Data Mover模块接收该SCSI指令的执行结果后,模仿实体Data Mover设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给所述主机通道接口驱动模块;所述主机通道接口驱动模块将接收到的SCSI指令响应根据目的设备地址发出。
如图1所示,本发明的一种备份系统,包括:通过外部LAN网络连接N个生产节点服务器和1个备份节点服务器,以及通过内部4G FC通道组成的SAN网络连接N个在线存储节点和1个近线存储节点,其中,
用于运行业务应用程序的节点称为生产节点服务器;用于运行备份Server软件管理控制备份任务执行的节点称为备份节点服务器;
用于存储生产应用数据的节点称为在线存储节点;用于将在线存储节点备份数据实施存储的虚拟磁带库称为近线存储节点。
所述生产节点服务器,用于运行业务应用程序,生成的数据存储到所述在线存储节点,当进行备份操作时,将指定备份的业务应用程序数据从所述在线存储节点发送到所述近线存储节点。所述生产节点服务器中还安装备份Agent软件,用于和备份节点服务器中的备份Server软件建立连接,产生数据备份、恢复信息,将相关的索引、数据定位信息发送给备份Server软件。所述生产节点服务器中还安装FC HBA卡驱动,用于识别出所述在线存储。
所述备份节点服务器,需要安装包括备份Server软件、磁带库驱动和Data Mover驱动等软件。所述备份Server软件,运行备份管理软件,用于制定备份策略,存储介质管理策略、文件索引管理程序。所述磁带库驱动用于识别所述近线存储节点中模拟出的虚拟磁带库和/或虚拟磁带机设备。
其中,所述Data Mover驱动用于在备份Server软件识别所述近线存储节点中的模拟出的Data Mover设备,具体驱动实现方式需要结合备份节点服务器的操作系统而定,可能是Windows、Linux或Unix操作系统,在此不做赘述。
所述在线存储节点,一般是FC(Fibre Channel)光纤磁盘阵列,用于存储生产节点服务器中运行的业务应用程序生成的数据,由于在线存储节点对性能要求较高,所以一般采用FC硬盘作为存储介质。
所述近线存储节点,包括磁带库/磁带机模仿模块,用于以磁盘空间仿真出可被视为实体的虚拟磁带库设备,存储在线存储节点中需要备份的数据。由于近线存储节点对性能的需求比在线节点低,对容量的需求较高,所以近线存储节点可以采用SATA硬盘作为存储介质。
其中,所述近线存储节点,包括Data Mover模块,用于模拟实现DataMover设备的功能,实现备份数据流从所述在线存储节点和所述近线存储节点之间的数据传输操作。
其中,所述Data Mover模块,还用于接收备份节点服务器备份Server软件发出的SCSI Extended Copy命令,担任SCSI(小型计算机系统专用接口)的启动者,建立与目标在线存储节点和近线存储节点的连接,并且发出读、写及其他SCSI指令到目标在线存储节点和近线存储节点,指示所述在线存储节点将数据传输到Data Mover模块中的Cache,当Cache中数据达到预定设置的阈值时,再把数据直接传输到所述近线存储节点。Data Mover模块完成将所述在线存储节点中需要备份数据直接传输到所述近线存储节点中的虚拟磁带库模块的数据移动任务。
图2描述了近线存储节点的内部详细结构,主要包括主机通道接口驱动模块1041、SATA硬盘1042、磁盘通道接口驱动模块1043、SCSI指令处理模块1044、磁带库/磁带机模仿模块1045和Data Mover模块1046,其中:
主机通道接口驱动模块1041,与磁带库/磁带机模仿模块1045和DataMover模块1046相连,用于将备份节点服务器102和在线存储节点103发送的SCSI指令传输给磁带库/磁带机模仿模块1045和Data Mover模块1046,并将相应的SCSI指令返回值反馈给备份节点服务器102和在线存储节点103。
SATA硬盘1042,与磁盘通道接口驱动模块1043相连,作为近线存储节点中存储备份数据的存储介质。
磁盘通道接口驱动模块1043,与SATA硬盘1042和SCSI指令处理模块1044相连,用于对SATA硬盘1042执行经过SCSI指令处理模块1044解析后的各种SCSI指令,并将执行结果反馈给SCSI指令处理模块1044。
SCSI指令处理模块1044,与磁盘通道接口驱动模块1043、磁带库/磁带机模仿模块1045和Data Mover模块1046相连,SCSI指令处理模块1044从磁带库/磁带机模仿模块1045和/或Data Mover模块1046中接收SCSI指令,对其进行解析,然后将读或写等任务打包,然后将信息字和状态字发送到磁盘通道接口驱动模块1043,从而完成SCSI指令的处理,然后将完成的SCSI返回命令反馈给磁带库/磁带机模仿模块1045和/或Data Mover模块。
SCSI指令处理模块1044是实现虚拟磁带功能的关键,其通过对SCSI指令的处理和返回,模仿实体磁带装置或Data Mover设备响应系统的SCSI指令格式,将具体操作传递给磁盘通道接口驱动模块1043执行,然后将磁盘通道接口驱动模块1043的执行结果根据磁带响应的装置型态码格式送回给磁带库/磁带机模仿模块1045。在具体实现过程中,SCSI指令处理模块1044除了对SCSI协议规定的INQUIRY、TEST UNIT READY、WRITE、READ、SPACE、REWIND或WRITE_FILEMARK等基本命令提供支持之外,还对常见备份软件中用到的MODE SENSE、MODE SELECT、LOADUNLOAD或PREVENT ALLOW MEDIUM REMOVAL等命令提供了支持,从而大大改善了兼容性。
磁带库磁带机模仿模块1045,与SCSI指令处理模块1044和主机通道接口驱动模块1041相连,由于SCSI指令都是以指令描述块(CDB,Commanddescriptor block)的格式来表示,磁带库/磁带机模仿模块1045维护虚拟磁带数据存储格式,对备份节点服务器102提供虚拟磁带库接口,将发送过来的SCSI指令解析拆封后发送给SCSI指令处理模块1044。磁带库/磁带机模仿模块1045将SCSI指令处理模块1044完成SCSI指令后的返回命令根据模拟的磁带设备填写相应厂商的参数封装后相应的CDB响应发送给主机通道接口驱动模块1041,再返回给备份节点服务器102,就能使备份节点服务器102将近线存储节点104视为实体的磁带装置,实现近线存储节点104对备份节点服务器102表现为物理磁带机的特性。
Data Mover模块1046,与SCSI指令处理模块1044和主机通道接口驱动模块1041相连,用于实现备份数据流从在线存储节点103和近线存储节点104之间的数据传输操作。Data Mover模块1046接收所述备份节点服务器102发出的SCSI指令集,担任SCSI的启动者,建立与目标在线存储103的连接和目标近线存储磁带库/磁带机模仿模块1045的连接,提取所述在线存储节点103磁盘设备中相应地址的数据,指示在线存储节点103把数据直接传输到Data Mover模块1046中的Cache;当Data Mover模块1046中Cache数据达到预定设置的阈值时,再把数据传输到所述近线存储节点磁带库/磁带机模仿模块1045,完成将所述在线存储节点中需要备份数据直接传输到所述近线存储节点中的虚拟磁带库设备的数据移动任务。
下面结合图3和图4对本发明的控制基于VTL技术的备份方法进行详细说明。
图3描述了近线存储节点处理SCSI指令的流程,主要包括以下步骤:
步骤301,近线存储节点处于正常运行过程中;
步骤302,主机通道接口驱动模块检测是否接收到备份节点服务器发送的SCSI指令包;如果检测接收到SCSI指令包,则执行步骤303;否则,返回步骤301;
步骤303,主机通道接口驱动模块检测SCSI指令包的目的设备是否为Data Mover模块;如果是,则执行步骤306;否则,执行步骤304;
步骤304,主机通道接口驱动模块检测SCSI指令包的目的设备是否为磁带库/磁带机模仿模块;如果是,则执行步骤310;否则,执行步骤305;
步骤305,丢弃该包,本流程结束;
步骤306,Data Mover模块接收备份节点服务器的备份Server软件发出的SCSI指令,将相应指令发送给SCSI指令处理模块;
步骤307,SCSI指令处理模块模仿Data Mover设备处理系统的SCSI指令;
步骤308,SCSI指令处理模块执行完SCSI指令后,将执行结果反馈给Data Mover模块;
步骤309,Data Mover模块接收SCSI反馈命令,模仿Data Mover设备响应系统的SCSI指令格式,并将相应反馈命令发送给主机通道接口驱动模块,完成后执行步骤317;
步骤310,磁带库/磁带机模仿模块接收备份节点服务器的备份Server软件发出的SCSI指令,将相应指令发送给SCSI指令处理模块;
步骤311,SCSI指令处理模块模仿实体磁带装置处理系统的SCSI指令;
步骤312,SCSI指令处理模块发出读、写、配置、查询及其他SCSI指令操作到磁盘通道驱动模块执行;
步骤313,磁盘通道驱动模块根据接收到的SCSI指令操作对后端存储中的硬盘执行相关读、写、配置、查询及其他SCSI操作;
步骤314,磁盘通道驱动模块执行完SCSI指令后,将执行结果反馈给SCSI指令处理模块;
步骤315,SCSI命令处理模块将相应的SCSI反馈命令发送给磁带库/磁带机模仿模块;
步骤316,磁带库磁带机模仿模块接收SCSI反馈命令,模仿实体磁带装置设备响应系统的SCSI指令格式,并将相应反馈命令包装成SCSI指令响应包发送给主机通道接口驱动模块;
步骤317,主机通道接口驱动模块将接收到SCSI指令响应包根据目的设备地址发出,本流程结束。
图4示出了近线存储节点内部Data Mover模块处理备份请求的流程示意图,主要包括以下步骤:
步骤401,Data Mover模块处于正常运行过程中;
步骤402,Data Mover模块检测是否接收到备份Server软件发出的SCSIExtended Copy命令;如果是,则执行步骤403;否则,返回步骤401;
步骤403,Data Mover模块解析接收到的SCSI Extended Copy命令;
步骤404,Data Mover模块提取出备份操作需要的信息,例如:备份数据存储源设备LUN地址,备份数据存储目的设备LUN地址,备份服务器网络地址,备份数据在存储设备中的块级地址索引,备份数据的总传输容量,备份策略属性和/或备份存储介质属性等;
步骤405,Data Mover模块将解析后的SCSI指令发给SCSI指令处理模块;
步骤406,Data Mover模块检测是否接收到SCSI指令处理模块处理完成后的SCSI指令响应包;如果是,则同时执行步骤407和步骤409;否则,返回步骤406;
步骤407,Data Mover模块担任SCSI的启动者,根据提出得到的地址信息,建立与目标近线存储节点的连接;
步骤408,Data Mover模块和近线存储节点的磁带库磁带机模仿模块的SCSI连接是否成功;如果连接成功,则执行步骤413;如果连接失败,则执行步骤417;
步骤409,Data Mover模块担任SCSI的启动者,根据提出得到的地址信息,建立与目标在线存储节点的连接;
步骤410,Data Mover模块检测和在线存储节点的SCSI连接是否成功;如果连接成功,则执行步骤412;如果连接失败,则执行步骤411;
步骤411,Data Mover模块和在线存储节点的SCSI连接失败,向用户发出告警,本流程结束;
步骤412,Data Mover模块对在线存储节点中相应地址的数据发出读SCSI指令,指示在线存储节点把数据直接传输到Data Mover模块;
步骤413,Data Mover模块检测Cache中已经接收到的备份数据容量在Cache的比例是否超过预先设置的阈值或已经接收到全部的备份数据;如果满足2种条件的一种,则执行步骤414;否则,执行步骤413;
步骤414,Data Mover模块根据之前提取得到的备份策略和备份存储介质属性,将Cache中的数据一次性写入到近线存储节点中SATA硬盘;
步骤415,Data Mover模块将Cache中数据都写入SATA硬盘后,检测所有的备份数据是否全部写入SATA硬盘;如果所有的备份数据是全部写入SATA硬盘,则执行步骤416;如果还有其他的备份数据需要写入SATA硬盘,则执行步骤413;
步骤416,Data Mover模块将备份数据在VTL内部的存储地址和/或容量等元数据信息反馈给备份Server软件,以便恢复时使用,本流程结束。
步骤417,Data Mover模块和磁带库/磁带机模仿模块的SCSI连接失败,向用户发出告警,本流程结束。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于虚拟磁带库备份的控制方法,其特征在于,包括:
主机通道接口驱动模块判断若接收到备份节点服务器发送的SCSI指令的目的设备是Data Mover模块,则向该Data Mover模块发送接收SCSI指令的消息,该Data Mover模块将接收的该SCSI指令发送给SCSI指令处理模块;
所述SCSI指令处理模块接收所述SCSI指令并进行解析,执行所述解析后的SCSI指令后,将SCSI指令的执行结果反馈给所述Data Mover模块;该Data Mover模块接收该SCSI指令的执行结果后,模仿实体Data Mover设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给所述主机通道接口驱动模块;所述主机通道接口驱动模块将接收到的SCSI指令响应根据目的设备地址发出。
2.如权利要求1所述的控制方法,其特征在于,
还包括:
所述主机通道接口驱动模块判断若接收到备份节点服务器发送的SCSI指令的目的设备是磁带库/磁带机模仿模块,则向该磁带库/磁带机模仿模块发送接收SCSI指令的消息,该磁带库/磁带机模仿模块将接收的该SCSI指令发送给SCSI指令处理模块;
所述SCSI指令处理模块接收所述SCSI指令并进行解析,模仿实体磁带装置执行解析后的所述SCSI指令,并将SCSI指令的执行结果反馈给所述磁带库/磁带机模仿模块;该磁带库/磁带机模仿模块接收该SCSI指令的执行结果后,模仿实体磁带装置设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给主机通道接口驱动模块;所述主机通道接口驱动模块将接收到的SCSI指令响应根据目的设备地址发出。
3.如权利要求2所述的控制方法,其特征在于,
所述SCSI指令处理模块接收所述SCSI指令并进行解析,模仿实体磁带装置执行解析后的所述SCSI指令,并将SCSI指令的执行结果反馈给所述磁带库/磁带机模仿模块,是指:
所述SCSI指令处理模块接收所述SCSI指令并进行解析,模仿实体磁带装置处理系统的SCSI指令,发出读、写、配置、查询及其他SCSI指令操作到磁盘通道驱动模块执行;
所述磁盘通道驱动模块根据接收到的SCSI指令操作对后端存储中的硬盘执行相关读、写、配置、查询及其他SCSI指令操作后,将SCSI指令的执行结果反馈给所述SCSI指令处理模块;该SCSI命令处理模块将接收的SCSI指令的执行结果反馈给磁带库/磁带机模仿模块。
4.如权利要求1所述的控制方法,其特征在于,
所述Data Mover模块判断若接收的所述SCSI指令是SCSI ExtendedCopy命令,还包括:
所述Data Mover模块解析接收到的SCSI Extended Copy命令,提出备份操作需要的信息,将该SCSI指令发给所述SCSI指令处理模块;
所述Data Mover模块检测若接收到SCSI指令处理模块处理完成后的SCSI指令的执行结果,则根据提出得到的所述信息,建立与目标近线存储节点的连接;该Data Mover模块判断若自己和目标近线存储节点的磁带库/磁带机模仿模块的SCSI连接成功,则检测若自己的Cache中已收到的备份数据容量在Cache的比例超过预先设置的阈值或已收到全部的备份数据,则根据之前提取得到的备份策略和备份存储介质属性,将所述Cache中的数据一次性写入到目标近线存储节点中SATA硬盘直到所有数据写入完成;然后该Data Mover模块将备份数据在SATA硬盘中存储地址和/或容量的元数据信息反馈给所述备份节点服务器。
5.一种近线存储节点,用于控制基于虚拟磁带库技术的数据备份,其特征在于,
包括:主机通道接口驱动模块、SCSI指令处理模块和Data Mover模块,其中,
所述主机通道接口驱动模块,用于判断若接收到备份节点服务器发送的SCSI指令的目的设备是Data Mover模块,则向该Data Mover模块发送接收SCSI指令的消息;接收所述Data Mover模块发送的所述SCSI指令响应,并根据目的设备地址发出;
所述SCSI指令处理模块,用于接收所述Data Mover模块发送的所述SCSI指令并进行解析,执行所述解析后的SCSI指令后,将SCSI指令的执行结果反馈给所述Data Mover模块;
Data Mover模块,用于接收所述主机通道接口驱动模块发送的接收SCSI指令的消息,并将接收的该SCSI指令发送给SCSI指令处理模块;接收所述SCSI指令处理模块发送的所述SCSI指令的执行结果后,模仿实体DataMover设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给所述主机通道接口驱动模块。
6.如权利要求5所述的近线存储节点,其特征在于,
还包括:磁带库/磁带机模仿模块,用于接收所述主机通道接口驱动模块发送的接收SCSI指令的消息,并将接收的该SCSI指令发送给所述SCSI指令处理模块;接收所述SCSI指令处理模块发送的该SCSI指令的执行结果后,模仿实体磁带装置设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给主机通道接口驱动模块;
所述主机通道接口驱动模块,还用于判断若接收到备份节点服务器发送的SCSI指令的目的设备是所述磁带库/磁带机模仿模块,则向该磁带库/磁带机模仿模块发送接收SCSI指令的消息;接收到所述磁带库/磁带机模仿模块发送的SCSI指令响应,并根据目的设备地址发出;
所述SCSI指令处理模块,还用于接收所述磁带库/磁带机模仿模块发送的所述SCSI指令并进行解析,模仿实体磁带装置执行解析后的所述SCSI指令,并将SCSI指令的执行结果反馈给所述磁带库/磁带机模仿模块。
7.如权利要求5所述的近线存储节点,其特征在于,
还包括:磁盘通道驱动模块,用于接收并根据所述SCSI指令处理模块发送的读、写、配置、查询及其他SCSI指令操作进行执行,将SCSI指令的执行结果反馈给所述SCSI指令处理模块;
所述SCSI指令处理模块,还用于接收所述SCSI指令并进行解析,模仿实体磁带装置处理系统的SCSI指令,发出读、写、配置、查询及其他SCSI指令操作到磁盘通道驱动模块执行。
8.如权利要求6所述的近线存储节点,其特征在于,
还包括SATA硬盘,用于所述近线存储节点中备份数据的存储;
所述Data Mover模块,还用于判断若接收的所述SCSI指令是SCSIExtended Copy命令,则解析接收到的SCSI Extended Copy命令,提出备份操作需要的信息,将该SCSI指令发给所述SCSI指令处理模块;
检测若接收到SCSI指令处理模块处理完成后的SCSI指令的执行结果,则根据提出得到的所述信息,建立与目标近线存储节点的连接;判断若自己和目标近线存储节点的磁带库/磁带机模仿模块的SCSI连接成功,则检测若自己的Cache中已收到的备份数据容量在Cache的比例超过预先设置的阈值或已收到全部的备份数据,则根据之前提取得到的备份策略和备份存储介质属性,将所述Cache中的数据一次性写入到目标近线存储节点中SATA硬盘直到所有数据写入完成;然后将备份数据在SATA硬盘中存储地址和/或容量的元数据信息反馈给所述备份节点服务器;
检测若接收到SCSI指令处理模块处理完成后的SCSI指令的执行结果,则根据提出得到的所述信息,建立与目标在线存储节点的连接;判断若自己和目标在线存储节点的SCSI连接成功,则对目标在线存储节点中相应地址的数据发出读SCSI指令,指示目标在线存储节点将数据直接传输到DataMover模块;检测若自己的Cache中已收到的备份数据容量在Cache的比例超过预先设置的阈值或已收到全部的备份数据,则根据之前提取得到的备份策略和备份存储介质属性,将所述Cache中的数据一次性写入到所述近线存储节点中SATA硬盘直到所有数据写入完成;然后将备份数据在SATA硬盘中存储地址和/或容量的元数据信息反馈给所述备份节点服务器。
9.一种备份系统,用于控制基于虚拟磁带库技术的数据备份,包括:备份节点服务器和近线存储节点,其特征在于,
所述近线存储节点包括:主机通道接口驱动模块、SCSI指令处理模块和Data Mover模块,其中,
所述主机通道接口驱动模块,用于判断若接收到所述备份节点服务器发送的SCSI指令的目的设备是Data Mover模块,则向该Data Mover模块发送接收SCSI指令的消息;接收所述Data Mover模块发送的所述SCSI指令响应,并根据目的设备地址发出;
所述SCSI指令处理模块,用于接收所述Data Mover模块发送的所述SCSI指令并进行解析,执行所述解析后的SCSI指令后,将SCSI指令的执行结果反馈给所述Data Mover模块;
所述Data Mover模块,用于接收所述主机通道接口驱动模块发送的接收SCSI指令的消息,并将接收的该SCSI指令发送给SCSI指令处理模块;接收所述SCSI指令处理模块发送的所述SCSI指令的执行结果后,模仿实体Data Mover设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给所述主机通道接口驱动模块。
10.如权利要求9所述的备份系统,其特征在于,
所述近线存储节点还包括:磁带库/磁带机模仿模块,用于接收所述主机通道接口驱动模块发送的接收SCSI指令的消息,并将接收的该SCSI指令发送给所述SCSI指令处理模块;接收所述SCSI指令处理模块发送的该SCSI指令的执行结果后,模仿实体磁带装置设备响应系统的SCSI指令格式,并将相应的SCSI指令响应发送给主机通道接口驱动模块;
所述主机通道接口驱动模块,还用于判断若接收到所述备份节点服务器发送的SCSI指令的目的设备是所述磁带库/磁带机模仿模块,则向该磁带库/磁带机模仿模块发送接收SCSI指令的消息;接收到所述磁带库/磁带机模仿模块发送的SCSI指令响应,并根据目的设备地址发出;
所述SCSI指令处理模块,还用于接收所述磁带库/磁带机模仿模块发送的所述SCSI指令并进行解析,模仿实体磁带装置执行解析后的所述SCSI指令,并将SCSI指令的执行结果反馈给所述磁带库/磁带机模仿模块。
CN 200910173992 2009-10-22 2009-10-22 基于虚拟磁带库备份的控制方法、系统及近线存储节点 Expired - Fee Related CN101694635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200910173992 CN101694635B (zh) 2009-10-22 2009-10-22 基于虚拟磁带库备份的控制方法、系统及近线存储节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200910173992 CN101694635B (zh) 2009-10-22 2009-10-22 基于虚拟磁带库备份的控制方法、系统及近线存储节点

Publications (2)

Publication Number Publication Date
CN101694635A true CN101694635A (zh) 2010-04-14
CN101694635B CN101694635B (zh) 2013-10-16

Family

ID=42093608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200910173992 Expired - Fee Related CN101694635B (zh) 2009-10-22 2009-10-22 基于虚拟磁带库备份的控制方法、系统及近线存储节点

Country Status (1)

Country Link
CN (1) CN101694635B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968722A (zh) * 2010-09-28 2011-02-09 天津火星科技有限公司 基于闪存的磁带仿真方法
CN102455986A (zh) * 2010-10-18 2012-05-16 英业达股份有限公司 指令传递机制
CN102591783A (zh) * 2010-11-03 2012-07-18 辉达公司 可编程存储器控制器
WO2013075516A1 (zh) * 2011-11-25 2013-05-30 华为技术有限公司 虚拟磁带库设备及数据恢复方法
WO2014059800A1 (zh) * 2012-10-17 2014-04-24 华为技术有限公司 数据交互方法及装置
CN105005515A (zh) * 2015-07-10 2015-10-28 上海爱数软件有限公司 一种LAN-free备份系统
WO2015180649A1 (zh) * 2014-05-30 2015-12-03 华为技术有限公司 存储设备间移动数据的方法、控制器和存储系统
US9384099B2 (en) 2011-11-25 2016-07-05 Huawei Technologies Co., Ltd. Virtual tape library device and data recovery method
CN107579849A (zh) * 2017-08-31 2018-01-12 郑州云海信息技术有限公司 一种基于scsi带内命令的存储设备管理方法
CN109558335A (zh) * 2018-10-17 2019-04-02 上海移芯通信科技有限公司 一种基于Nor Flash存储器的嵌入式系统的文件存储格式
CN110019233A (zh) * 2017-12-27 2019-07-16 浙江宇视科技有限公司 数据存储方法及系统
CN112764971A (zh) * 2021-01-25 2021-05-07 中水三立数据技术股份有限公司 一种基于光纤通道fc与磁带库的数据存储备份系统及备份方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7937547B2 (en) * 2005-06-24 2011-05-03 Syncsort Incorporated System and method for high performance enterprise data protection
CN101325610B (zh) * 2008-07-30 2011-12-28 杭州华三通信技术有限公司 虚拟磁带库备份系统以及磁盘电源控制方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968722A (zh) * 2010-09-28 2011-02-09 天津火星科技有限公司 基于闪存的磁带仿真方法
CN102455986A (zh) * 2010-10-18 2012-05-16 英业达股份有限公司 指令传递机制
CN102591783A (zh) * 2010-11-03 2012-07-18 辉达公司 可编程存储器控制器
CN102591783B (zh) * 2010-11-03 2015-08-26 辉达公司 可编程存储器控制器
WO2013075516A1 (zh) * 2011-11-25 2013-05-30 华为技术有限公司 虚拟磁带库设备及数据恢复方法
US9384099B2 (en) 2011-11-25 2016-07-05 Huawei Technologies Co., Ltd. Virtual tape library device and data recovery method
WO2014059800A1 (zh) * 2012-10-17 2014-04-24 华为技术有限公司 数据交互方法及装置
CN103780634A (zh) * 2012-10-17 2014-05-07 华为技术有限公司 数据交互方法及装置
WO2015180649A1 (zh) * 2014-05-30 2015-12-03 华为技术有限公司 存储设备间移动数据的方法、控制器和存储系统
CN105005515A (zh) * 2015-07-10 2015-10-28 上海爱数软件有限公司 一种LAN-free备份系统
CN105005515B (zh) * 2015-07-10 2018-01-30 上海爱数信息技术股份有限公司 一种LAN‑free备份系统
CN107579849A (zh) * 2017-08-31 2018-01-12 郑州云海信息技术有限公司 一种基于scsi带内命令的存储设备管理方法
CN110019233A (zh) * 2017-12-27 2019-07-16 浙江宇视科技有限公司 数据存储方法及系统
CN110019233B (zh) * 2017-12-27 2021-07-20 浙江宇视科技有限公司 数据存储方法及系统
CN109558335A (zh) * 2018-10-17 2019-04-02 上海移芯通信科技有限公司 一种基于Nor Flash存储器的嵌入式系统的文件存储格式
CN112764971A (zh) * 2021-01-25 2021-05-07 中水三立数据技术股份有限公司 一种基于光纤通道fc与磁带库的数据存储备份系统及备份方法

Also Published As

Publication number Publication date
CN101694635B (zh) 2013-10-16

Similar Documents

Publication Publication Date Title
CN101694635B (zh) 基于虚拟磁带库备份的控制方法、系统及近线存储节点
CN101398770B (zh) 迁移一个或多个虚拟机的系统和方法
EP1814033B1 (en) Storage system and data restoration method thereof
US8868858B2 (en) Method and apparatus of continuous data backup and access using virtual machines
US8291160B2 (en) Tape library emulation with automatic configuration and data retention
CN102024044B (zh) 分布式文件系统
CN100470490C (zh) 用于存储卷的一致拷贝的方法、系统和制造品
CN1983153B (zh) 数据处理系统中执行远程复制的方法和存储数据的方法
CN101512495B (zh) 用于改进的同步数据镜像交换的装置、系统和方法
CN102782639B (zh) 使复制目标能够回收瘦供给存储系统上未使用的存储空间的系统和方法
CN101755257B (zh) 管理在不同的网络上将写入从首要存储器拷贝到次要存储器
CN103929465A (zh) 用于远程环境的数据存储
CN103810058A (zh) 虚拟机备份方法、设备及系统
CN103793258A (zh) 基于管理程序的服务器复制系统及其方法
CN107203440A (zh) 一种一体化实时备份容灾系统及搭建方法
CN102187311A (zh) 用于使用存储区域网络恢复计算机系统的方法和系统
CN115098299B (zh) 一种虚拟机的备份方法、容灾方法、装置及设备
CN101815986A (zh) 在存储控制器和复制引擎之间分离写入
US7873864B2 (en) Restricting the execution of copy services commands
CN101878470B (zh) 用于管理存储拷贝服务系统的装置以及方法
JP2005122453A (ja) ストレージ装置のディスクコントローラ制御方式およびストレージ装置
CN102968358A (zh) 一种软raid1部署系统的快速恢复方法
CN102520880A (zh) 一种系统raid管理模块设计方法
CN102831036A (zh) 一种基于磁盘分区的持续数据保护方法
CN100353340C (zh) 可定制的网络存储系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131016

Termination date: 20191022