CN103034592A - 数据处理方法和装置 - Google Patents
数据处理方法和装置 Download PDFInfo
- Publication number
- CN103034592A CN103034592A CN2012105164244A CN201210516424A CN103034592A CN 103034592 A CN103034592 A CN 103034592A CN 2012105164244 A CN2012105164244 A CN 2012105164244A CN 201210516424 A CN201210516424 A CN 201210516424A CN 103034592 A CN103034592 A CN 103034592A
- Authority
- CN
- China
- Prior art keywords
- tape
- data
- virtual tape
- virtual
- lun
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 172
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000011084 recovery Methods 0.000 claims description 33
- 238000012986 modification Methods 0.000 claims description 23
- 230000004048 modification Effects 0.000 claims description 23
- 238000012546 transfer Methods 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 29
- 238000010586 diagram Methods 0.000 description 6
- 238000005265 energy consumption Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种数据处理方法和装置,该方法包括:判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的访问频率阈值;若第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的访问频率阈值,则将第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系;其中,第一虚拟磁带设置在虚拟磁带库上;第二虚拟磁带设置在虚拟磁带库上,且第二虚拟磁带的属性值小于第一虚拟磁带的属性值;物理磁带的属性值小于第一虚拟磁带的属性值。由于本发明通过磁带与LUN的映射关系来对数据进行处理,不需要设置第三方软件系统,提高了数据处理效率,同时也减少了硬件设备,降低了成本。
Description
技术领域
本发明实施例涉及存储技术,尤其涉及一种数据的处理方法和装置。
背景技术
存储设备可以分为硬盘和磁带等,其中,硬盘适合用于快速响应访问的场合,而磁带适合用于长期保存、快速进行大文件顺序读写的场合,并且磁带还具有成本低、能耗低、便于运输的优势,因此可以将硬盘和磁带结合为一个存储系统,用于存储数据。
现有技术中,主要通过将高速硬盘形成的常用在线数据库、低速硬盘形成的虚拟磁带库、物理磁带形成的物理磁带库和第三方软件系统共同组合成一个存储系统,其中,常用在线数据库存储常用的数据,成本以及能耗高;虚拟磁带库存储短期需要备份存储和归档存储的数据,成本以及能耗较高;物理磁带库存储长期需要备份存储和归档存储的数据,成本以及能耗低;然后通过第三方软件系统来实现常用在线数据库与虚拟磁带库之间数据的处理,从而可以在同一个存储系统中实现高速存储、备份存储和归档存储。
在实现本发明的过程中,发明人发现现有技术中的存储系统需要配置有复杂的硬件设备和第三方软件系统,从而导致成本升高,同时数据的处理过程需要通过第三方软件系统来实现,导致数据的处理效率低。
发明内容
本发明提供一种用于数据处理方法和装置,用以通过磁带与LUN的映射关系来对数据进行处理,实现了数据的分级存储,不需要设置第三方软件系统,提高了数据处理效率,同时也减少了硬件设备,降低了成本。
第一方面,本发明实施例提供一种数据的处理方法,包括:
判断第一虚拟磁带上的数据的访问频率是否小于所述第一虚拟磁带对应的第一访问频率阈值;
若所述第一虚拟磁带上的数据的访问频率小于所述第一虚拟磁带对应的第一访问频率阈值,则将所述第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系;
其中,所述第一虚拟磁带设置在虚拟磁带库上;所述第二虚拟磁带设置在所述虚拟磁带库上,且所述第二虚拟磁带的属性值小于所述第一虚拟磁带的属性值;所述物理磁带的属性值小于所述第一虚拟磁带的属性值。
在第一方面的第一种可能实现的方式中,当所述第一虚拟磁带对应的硬盘为高速硬盘时,所述将所述第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,包括:将所述第一虚拟磁带上的数据转存到所述第二虚拟磁带上;所述第二虚拟磁带对应的硬盘为低速硬盘;或者,
当所述第一虚拟磁带对应的硬盘为低速硬盘时,所述将所述第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,包括:将所述第一虚拟磁带上的数据转存到所述物理磁带上。
在第一方面的第二种可能实现的方式中,还包括:
若所述第一虚拟磁带上的数据的访问频率大于所述第一虚拟磁带对应的第二访问频率阈值,则将所述第一虚拟磁带上的数据转存到第三虚拟磁带上,并更新磁带和LUN的映射关系;
其中,所述第一虚拟磁带对应的硬盘为低速硬盘,所述第三虚拟磁带对应的硬盘为高速硬盘。
在第一方面的第三种可能实现的方式中,还包括:
接收数据修改指令,所述数据修改指令包括数据标识;
根据所述数据修改指令,查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第一数据所存储的第一磁带,并对所述第一磁带上的第一数据进行修改,生成第二数据;
将所述第二数据存储在第二磁带上,并删除所述第一磁带与所述第一磁带对应的LUN的映射关系,建立所述第二磁带和所述第一磁带对应的LUN的映射关系。
在第一方面的第四可能实现的方式中,还包括:
接收数据删除指令,所述数据删除指令包括数据标识;
根据所述数据删除指令,查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第一数据所存储的第一磁带,删除所述第一磁带上的第一数据,并删除所述第一磁带与所述第一磁带对应的LUN的映射关系。
在第一方面的第五种可能实现的方式中,还包括:
接收数据访问请求,所述数据访问请求包括数据标识;
查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第三数据所存储的第三磁带,若所述第三磁带为物理磁带,则采用恢复数据策略,将所述数据恢复到虚拟磁带上,并从所述虚拟磁带上访问所述数据;所述虚拟磁带对应的硬盘为低速硬盘;
更新所述磁带和LUN的映射关系。
结合第一方面或第一方面的第一种可能实现的方式或第一方面的第二种可能实现的方式或第一方面的第三种可能实现的方式或第一方面的第四种可能实现的方式或第一方面的第五种可能实现的方式,在第一方面的第六种可能实现的方式中,还包括:
判断所述第一虚拟磁带上的数据是否满足备份或归档策略,若满足,则将所述第一虚拟磁带上的数据备份或归档到所述物理磁带上,并更新所述磁带和LUN的映射关系。
结合第一方面的第六种可能实现的方式,在第一方面的第七种可能实现的方式中,还包括:
判断所述物理磁带上的数据是否满足恢复数据策略,若满足,则将所述物理磁带上的数据恢复到所述第一虚拟磁带上,并更新所述磁带和LUN的映射关系。
第二方面,本发明实施例提供一种数据处理装置,包括:
判断模块,用于判断第一虚拟磁带上的数据的访问频率是否小于所述第一虚拟磁带对应的第一访问频率阈值;
处理模块,用于若所述判断模块判断出所述第一虚拟磁带上的数据的访问频率小于所述第一虚拟磁带对应的第一访问频率阈值,则将所述第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系;
其中,所述第一虚拟磁带设置在虚拟磁带库上;所述第二虚拟磁带设置在所述虚拟磁带库上,且所述第二虚拟磁带的属性值小于所述第一虚拟磁带的属性值;所述物理磁带的属性值小于所述第一虚拟磁带的属性值。
在第二方面的第一种可能实现的方式中,所述处理模块具体用于当所述第一虚拟磁带对应的硬盘为高速硬盘时,将所述第一虚拟磁带上的数据转存到所述第二虚拟磁带上;所述第二虚拟磁带对应的硬盘为低速硬盘;或者,
所述处理模块具体用于当所述第一虚拟磁带对应的硬盘为低速硬盘时,将所述第一虚拟磁带上的数据转存到所述物理磁带上。
在第二方面的第二种可能实现的方式中,所述处理模块还用于若所述判断模块判断出所述第一虚拟磁带上的数据的访问频率大于所述第一虚拟磁带对应的第二访问频率阈值,则将所述第一虚拟磁带上的数据转存到第三虚拟磁带上,并更新磁带和LUN的映射关系;
其中,所述第一虚拟磁带对应的硬盘为低速硬盘,所述第三虚拟磁带对应的硬盘为高速硬盘。
在第二方面的第三种可能实现的方式中,还包括:
接收模块,用于接收数据修改指令,所述数据修改指令包括数据标识;
所述处理模块,还用于根据所述数据修改指令,查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第一数据所存储的第一磁带,并对所述第一磁带上的第一数据进行修改,生成第二数据;将所述第二数据存储在第二磁带上,并删除所述第一磁带与所述第一磁带对应的LUN的映射关系,建立所述第二磁带和所述第一磁带对应的LUN的映射关系。
在第二方面的第四种可能实现的方式中,还包括:
接收模块,用于接收数据删除指令,所述数据删除指令包括数据标识;
所述处理模块,还用于根据所述数据删除指令,查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第一数据所存储的第一磁带,删除所述第一磁带上的第一数据,并删除所述第一磁带与所述第一磁带对应的LUN的映射关系。
在第二方面的第五种可能实现的方式中,还包括:
接收模块,用于接收数据访问请求,所述数据访问请求包括数据标识;
所述处理模块,还用于查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第三数据所存储的第三磁带,若所述第三磁带为物理磁带,则采用恢复数据策略,将所述数据恢复到虚拟磁带上,并从所述虚拟磁带上访问所述数据;所述虚拟磁带对应的硬盘为低速硬盘;更新所述磁带和LUN的映射关系。
结合第二方面或第二方面的第一种可能实现的方式或第二方面的第二种可能实现的方式或第二方面的第三种可能实现的方式或第二方面的第四种可能实现的方式或第二方面的第五种可能实现的方式,在第二方面的第六种可能实现的方式中,所述判断模块,还用于判断所述第一虚拟磁带上的数据是否满足备份或归档策略;
所述处理模块,还用于若所述判断模块判断出所述第一虚拟磁带上的数据满足备份或归档策略,则将所述第一虚拟磁带上的数据备份或归档到所述物理磁带上,并更新所述磁带和LUN的映射关系。
结合第二方面的第六种可能实现的方式,在第二方面的第七种可能实现的方式中,所述判断模块还用于判断所述物理磁带上的数据是否满足恢复数据策略;
所述处理模块还用于若所述判断模块判断所述物理磁带上的数据满足恢复数据策略,则将所述物理磁带上的数据恢复到所述第一虚拟磁带上,并更新所述磁带和LUN的映射关系。
本发明提供的数据处理方法和装置,通过判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的第一访问频率阈值;若第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的第一访问频率阈值,则将第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系;其中,第一虚拟磁带设置在虚拟磁带库上;第二虚拟磁带设置在虚拟磁带库上,且第二虚拟磁带的属性值小于第一虚拟磁带的属性值;物理磁带的属性值小于第一虚拟磁带的属性值;由于本发明通过磁带与LUN的映射关系来对数据进行处理,实现了数据的分级存储,不需要设置第三方软件系统,提高了数据处理效率,同时也减少了硬件设备,降低了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明数据处理方法所基于的存储系统的架构示意图;
图2为本发明数据处理方法实施例一的流程图;
图3为本发明数据处理方法实施例二的流程图;
图4为本发明数据处理方法实施例三的流程图;
图5为本发明数据处理装置实施例一的结构示意图;
图6为本发明数据处理装置实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明数据处理方法所基于的存储系统的架构示意图,如图1所示,该存储系统包括:存储区域网络(Storage Area Network,简称为SAN)设备1和物理磁带库2,其中,该SAN设备1为基于磁带库的SAN设备,包括虚拟磁带库11,还提供逻辑单元号(Logical Unit Number,简称为LUN)接口12。该虚拟磁带库11包括虚拟磁带库接口111、高速硬盘112和低速硬盘113;物理磁带库2包括物理磁带21。具体的,虚拟磁带库11通过LUN接口12与数据库和文件系统等相连接;虚拟磁带库接口111与LUN接口12相连接,并分别与高速硬盘112和低速硬盘113相连接。高速硬盘112为高性能硬盘,属性值高,该属性值可以为读写速度;低速硬盘113为廉价、低性能硬盘,属性值低,该属性值也可以为读写速度,且该读写速度小于高速硬盘112的读写速度;物理磁带21为廉价、低性能、低能耗的磁带,属性值最低,该属性值也可以为读写速度,且该读写速度小于低速硬盘113的读写速度。
一个虚拟磁带中至少包括一个高速硬盘112或者一个低速硬盘113,即如果该虚拟磁带中包括至少一个硬盘,则每个硬盘均是高速硬盘112或者低速硬盘113。其中,虚拟磁带库11中的所有虚拟磁带的存储空间与高速硬盘112和低速硬盘113的存储空间之和相同,同时将虚拟磁带库11中的所有虚拟磁带和物理磁带库2中的物理磁带21可以设置成至少一个虚拟硬盘,而且将每一个虚拟硬盘分配一个LUN,因此,一个LUN对应着高速硬盘112、低速硬盘113和物理磁带21。同时,还建立LUN的元数据,该LUN的元数据包括该LUN所对应虚拟硬盘中所存储的数据、数据的存储位置(即存储在哪个磁带中以及该数据的起始位置)以及数据的长度等信息,即该LUN的元数据可以包括:LUN、数据的偏移量(offset)和数据的长度(length)等,对应地,通过该LUN的元数据中的LUN和数据的偏移量可以确定数据位于哪个磁带(虚拟磁带或物理磁带)中的具体位置(position),以该具体位置为起始位置从而可以获取到该数据的长度的数据,因此,本发明可以以磁带为单位,建立每一个磁带(即虚拟磁带和物理磁带)与LUN的映射关系。
图2为本发明数据的处理方法实施例一的流程图,结合上述图1所示的存储系统,如图2所示,本实施例的方法可以包括:
步骤201、判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的第一访问频率阈值。
本实施例中,在图1所示的存储系统的基础上,而且建立磁带与LUN的映射关系后,其中,该磁带包括虚拟磁带和物理磁带,统计一定时间内第一虚拟磁带上的数据的访问频率,并且判断第一虚拟磁带上的数据是否小于第一虚拟磁带对应的第一访问频率阈值,若判断出第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的第一访问频率阈值,则说明第一虚拟磁带上的数据的访问频率低,执行步骤202;若判断出第一虚拟磁带上的数据的访问频率不小于第一虚拟磁带对应的第一访问频率阈值,则说明第一虚拟磁带上的数据的访问频率高,不执行任何操作,结束。需要说明的是,上述的一定时间的大小根据实际应用场景而定,本发明在此不做限制,本领域普通技术人员可以理解,上述的第一访问频率阈值由实际应用场景和一定时间的大小来决定,本发明在此不做限制。
步骤202、若判断出第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的第一访问频率阈值,则将第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系。
其中,第一虚拟磁带设置在虚拟磁带库上;第二虚拟磁带设置在虚拟磁带库上,且第二虚拟磁带的属性值小于第一虚拟磁带的属性值;物理磁带的属性值小于第一虚拟磁带的属性值。
本实施例中,如果判断出第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的第一访问频率阈值,则说明第一虚拟磁带上的数据的访问频率低,也就是为不经常访问的数据,为了避免存储空间的浪费,将该第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,即将第一虚拟磁带上的数据转存至比第一虚拟磁带性能更低的第二虚拟磁带上或者物理磁带上,其中,性能高低可以通过属性值来判定,属性值高即说明磁带的性能高,该属性值可以为读写速度,因此,该第二虚拟磁带的属性值小于第一虚拟磁带的属性值,该物理磁带的属性值小于第一虚拟磁带的属性值,从而在第一虚拟磁带上的数据的访问频率小于访问频率阈值时,将第一虚拟磁带上的数据转存至属性值低的第二虚拟磁带或者物理磁带上。
当LUN所对应的数据从第一虚拟磁带中转存至第二虚拟磁带或者物理磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中转存至第二虚拟磁带或者物理磁带上之后,通过第一虚拟磁带与LUN的映射关系已经无法访问该数据,所以需要建立第二虚拟磁带或者物理磁带与LUN的映射关系以访问该数据,同时删除第一虚拟磁带与LUN的映射关系,从而实现了磁带和LUN的映射关系的更新。需要说明的是,上述的第一虚拟磁带与第二虚拟磁带均设置在虚拟磁带库上。
本发明实施例一提供的数据处理方法,通过判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的第一访问频率阈值;若第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的第一访问频率阈值,则将第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系;其中,第一虚拟磁带设置在虚拟磁带库上;第二虚拟磁带设置在虚拟磁带库上,且第二虚拟磁带的属性值小于第一虚拟磁带的属性值;物理磁带的属性值小于第一虚拟磁带的属性值;由于本发明通过磁带与LUN的映射关系实现了以磁带为单位对数据进行处理,且实现了数据的分级存储时不需要设置第三方软件系统,提高了数据处理效率,同时也减少了硬件设备,降低了成本。
图3为本发明数据处理方法实施例二的流程图,结合上述图1所示的存储系统,并以第一虚拟磁带对应的硬盘为高速硬盘为例,详细介绍本实施例的技术方案,如图3所示,本实施例的方法可以包括:
步骤301、判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的第一访问频率阈值。
本实施例中,第一虚拟磁带对应的硬盘为高速硬盘,即第一虚拟磁带的性能高,而且属性值高。统计一定时间内第一虚拟磁带上的数据的访问频率,并且判断第一虚拟磁带上的数据是否小于第一虚拟磁带对应的第一访问频率阈值,需要说明的是,虚拟磁带库中的虚拟磁带所对应的硬盘为高速硬盘或者低速硬盘,由于高速硬盘的性能高,所以高速硬盘所存储的数据为访问频率高的数据,而低速硬盘的性能低,所以低速硬盘所存储的数据为访问频率低的数据。而本实施例中的第一虚拟磁带对应的硬盘为高速硬盘,第一虚拟磁带对应的访问频率应为高速硬盘所对应的访问频率。
若判断出第一虚拟磁带上的数据小于第一虚拟磁带对应的第一访问频率阈值,则说明第一虚拟磁带上的数据的访问频率低,执行步骤302;若判断出第一虚拟磁带上的数据不小于第一虚拟磁带对应的第一访问频率阈值,则说明第一虚拟磁带上的数据的访问频率高,不执行任何操作,结束。需要说明的是,上述的一定时间的大小根据实际应用场景而定,本发明在此不做限制,本领域普通技术人员可以理解,上述的访问频率阈值由实际应用场景和一定时间的大小来决定,本发明在此不做限制。
步骤302、若判断出第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的第一访问频率阈值,则将第一虚拟磁带上的数据转存到第二虚拟磁带上;第二虚拟磁带对应的硬盘为低速硬盘;更新磁带和LUN的映射关系。
本实施例中,如果判断出第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的第一访问频率阈值,则说明第一虚拟磁带上的数据的访问频率低,也就是存储在第一虚拟磁带上的数据未达到存储在高速硬盘上的要求,为了避免存储空间的浪费,将该第一虚拟磁带上的数据转存到第二虚拟磁带,即将第一虚拟磁带上的数据转存至比第一虚拟磁带性能更低的第二虚拟磁带上,该第二虚拟磁带对应的硬盘为低速硬盘,该第二虚拟磁带的属性值小于第一虚拟磁带的属性值,从而在第一虚拟磁带上的数据的访问频率小于第一访问频率阈值时,将第一虚拟磁带上的数据转存至属性值低的第二虚拟磁带上。
当LUN所对应的数据从第一虚拟磁带中转存至第二虚拟磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中转存至第二虚拟磁带之后,通过第一虚拟磁带与LUN的映射关系已经无法访问该数据,所以需要建立第二虚拟磁带与LUN的映射关系以访问该数据,同时删除第一虚拟磁带与LUN的映射关系,从而实现了磁带和LUN的映射关系的更新。需要说明的是,上述的第一虚拟磁带与第二虚拟磁带均设置在虚拟磁带库上。
进一步,本发明实施例还可以执行步骤303。
步骤303、判断第一虚拟磁带上的数据是否满足备份或归档策略。
本实施例中,获取到备份或归档策略之后,根据备份或归档策略,判断第一虚拟磁带上的数据是否满足备份或归档策略;如果第一虚拟磁带上的数据不满足备份或归档策略,则不需要对该第一虚拟磁带上的数据做任何操作,即结束;如果第一虚拟磁带上的数据满足备份或归档策略,则执行步骤304。需要说明的是,本领域普通技术人员可以理解,数据的备份策略或归档策略与现有技术中一致,本发明在此不做详细介绍。
步骤304、若判断出第一虚拟磁带上的数据满足备份或归档策略,则将第一虚拟磁带上的数据备份或归档到物理磁带上,并更新磁带和LUN的映射关系。
本实施例中,物理磁带库主要用于存储备份的数据或归档的数据,因此,当判断出第一虚拟磁带上的数据满足备份或归档策略时,将第一虚拟磁带上的数据备份或归档到物理磁带上。需要说明的是,本领域普通技术人员可以理解,数据的备份过程或归档过程与现有技术中一致,本发明在此不做详细介绍。
当将第一虚拟磁带上的数据备份到物理磁带上时,该第一虚拟磁带上的数据不仅存储在第一虚拟磁带上而且还存储在物理磁带上;而LUN所对应的数据从第一虚拟磁带中备份至物理磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中备份至物理磁带之后,同样的数据存储在不同的硬件设备上,为了保证第一虚拟磁带上的数据丢失或损坏之后,还能获取到正确的数据,还需要建立物理磁带与LUN的映射关系以在第一虚拟磁带上的数据丢失或损坏之后还能访问该数据,从而实现了磁带和LUN的映射关系的更新。需要说明的是,对同样的数据来说,既存在第一虚拟磁带与LUN的映射关系,又存在物理磁带与LUN的映射关系,在第一虚拟磁带上的数据可以正常访问的情况下,只通过第一虚拟磁带与LUN的映射关系访问该数据;而在第一虚拟磁带上的数据丢失或损坏的情况下,才通过物理磁带与LUN的映射关系将该数据转存至虚拟磁带库中,从而实现该数据的访问。
当将第一虚拟磁带上的数据归档到物理磁带上时,作为第一种可行的实现方式:该第一虚拟磁带上的数据不仅存储在第一虚拟磁带上而且还存储在物理磁带上;而LUN所对应的数据从第一虚拟磁带中备份至物理磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中备份至物理磁带之后,同样的数据存储在不同的硬件设备上,为了保证第一虚拟磁带上的数据丢失或损坏之后,还能获取到正确的数据,还需要建立物理磁带与LUN的映射关系以在第一虚拟磁带上的数据丢失或损坏之后还能访问该数据,从而实现了磁带和LUN的映射关系的更新。需要说明的是,对同样的数据来说,既存在第一虚拟磁带与LUN的映射关系,又存在物理磁带与LUN的映射关系,在第一虚拟磁带上的数据可以正常访问的情况下,只通过第一虚拟磁带与LUN的映射关系访问该数据;而在第一虚拟磁带上的数据丢失或损坏的情况下,才通过物理磁带与LUN的映射关系将该数据转存至虚拟磁带库中,从而实现该数据的访问。作为第二种可行的实现方式:为了节省存储空间,删除了第一虚拟磁带上的数据,该第一虚拟磁带上的数据只存储在物理磁带上,而LUN所对应的数据从第一虚拟磁带中归档至物理磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中归档至物理磁带上之后,通过第一虚拟磁带与LUN的映射关系已经无法访问该数据,所以需要建立物理磁带与LUN的映射关系以访问该数据,同时删除第一虚拟磁带与LUN的映射关系,从而实现了磁带和LUN的映射关系的更新。
更进一步地,本发明实施例还可以执行步骤305。
步骤305、判断物理磁带上的数据是否满足恢复数据策略。
本实施例中,在将第一虚拟磁带上的数据备份或归档至物理磁带上后,获取到恢复数据策略之后,根据恢复数据策略,判断物理磁带上的数据是否满足恢复策略;如果物理磁带上的数据不满足恢复数据策略,则不需要对该物理磁带上的数据做任何操作,即结束;如果物理磁带上的数据满足恢复数据策略,则执行步骤306。需要说明的是,本领域普通技术人员可以理解,恢复数据策略与现有技术中一致,本发明在此不做详细介绍。
步骤306、若判断出物理磁带上的数据满足恢复数据策略,则将物理磁带上的数据恢复到第一虚拟磁带上,并更新磁带和LUN的映射关系。
本实施例中,根据备份策略或归档策略,该数据是从第一虚拟磁带备份或归档至物理磁带,当存储在物理磁带上的该数据满足恢复数据策略时,则将物理磁带上的该数据应恢复到第一虚拟磁带上,并且该第一虚拟磁带对应的硬盘应为高速硬盘。或者,在恢复策略中包括有将数据恢复到第一虚拟磁带的消息,该第一虚拟磁带对应的硬盘应为高速硬盘,从而根据该消息,可以将物理磁带上的该数据应恢复到第一虚拟磁带上。
当将物理磁带上的数据恢复到第一虚拟磁带上后,该物理磁带上的数据不仅存储在第一虚拟磁带上而且还存储在物理磁带上;同样的数据存储在不同的硬件设备上,因此,还需要建立第一虚拟磁带与LUN的映射关系以访问存储在第一虚拟磁带中的数据,从而实现了磁带和LUN的映射关系的更新。
本发明实施例二提供的数据处理方法,通过判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的访问频率阈值,若小于,则将第一虚拟磁带上的数据转存到第二虚拟磁带上;第二虚拟磁带对应的硬盘为低速硬盘;更新磁带和LUN的映射关系。进一步,判断第一虚拟磁带上的数据是否满足备份或归档策略,若满足,则将第一虚拟磁带上的数据备份或归档到物理磁带上,并更新磁带和LUN的映射关系。更进一步,判断物理磁带上的数据是否满足恢复数据策略;若满足,则将物理磁带上的数据恢复到第一虚拟磁带上,并更新磁带和LUN的映射关系。由于本发明通过磁带与LUN的映射关系来对数据进行处理,实现了数据的分级存储、备份或归档和恢复,不需要设置第三方软件系统,提高了数据处理效率,同时也减少了硬件设备,降低了成本。
图4为本发明数据处理方法实施例三的流程图,结合上述图1所示的存储系统,并以第一虚拟磁带对应的硬盘为低速硬盘为例,详细介绍本实施例的技术方案,如图4所示,本实施例的方法可以包括:
步骤401、判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的第一访问频率阈值。若小于,则执行步骤402;若不小于,则执行步骤403。
本实施例中,第一虚拟磁带对应的硬盘为低速硬盘,即第一虚拟磁带的性能低,而且属性值低。统计一定时间内第一虚拟磁带上的数据的访问频率,并且判断第一虚拟磁带上的数据是否小于第一虚拟磁带对应的第一访问频率阈值,需要说明的是,虚拟磁带库中的虚拟磁带所对应的硬盘为高速硬盘或者低速硬盘,由于高速硬盘的性能高,所以高速硬盘所存储的数据为访问频率高的数据,而低速硬盘的性能低,所以低速硬盘所存储的数据为访问频率低的数据。而本实施例中的第一虚拟磁带对应的硬盘为低速硬盘,第一虚拟磁带对应的访问频率应为低速硬盘所对应的访问频率。
若判断出第一虚拟磁带上的数据小于第一虚拟磁带对应的第一访问频率阈值,则说明第一虚拟磁带上的数据的访问频率低,执行步骤402;若判断出第一虚拟磁带上的数据不小于第一虚拟磁带对应的第一访问频率阈值,则说明第一虚拟磁带上的数据的访问频率较高,则执行步骤403。需要说明的是,上述的一定时间的大小根据实际应用场景而定,本发明在此不做限制,本领域普通技术人员可以理解,上述的访问频率阈值由实际应用场景和一定时间的大小来决定,本发明在此不做限制。
步骤402、将第一虚拟磁带上的数据转存到物理磁带上,并更新磁带和LUN的映射关系。执行步骤405。
本实施例中,如果判断出第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的第一访问频率阈值,则说明第一虚拟磁带上的数据的访问频率低,也就是存储在第一虚拟磁带上的数据未达到存储在低速硬盘上的要求,为了避免存储空间的浪费,将该第一虚拟磁带上的数据转存到物理磁带,即将第一虚拟磁带上的数据转存至比第一虚拟磁带性能更低的物理磁带上,该物理磁带的属性值小于第一虚拟磁带的属性值,从而在第一虚拟磁带上的数据的访问频率小于第一访问频率阈值时,将第一虚拟磁带上的数据转存至属性值低的物理磁带上。
当LUN所对应的数据从第一虚拟磁带中转存至物理磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中转存至物理磁带之后,通过第一虚拟磁带与LUN的映射关系已经无法访问该数据,所以需要建立物理磁带与LUN的映射关系,同时删除第一虚拟磁带与LUN的映射关系,从而实现了磁带和LUN的映射关系的更新。
步骤403、判断第一虚拟磁带上的数据的访问频率是否大于第一虚拟磁带对应的第二访问频率阈值。
本实施例中,当判断出第一虚拟磁带上的数据的访问频率不小于第一虚拟磁带对应的第一访问频率阈值时,则说明第一虚拟磁带上的数据的访问频率较高,需要判断第一虚拟磁带上的数据是否大于第一虚拟磁带对应的第二访问频率阈值,如果判断出第一虚拟磁带上的数据的访问频率大于第一虚拟磁带对应的第二访问频率阈值,则说明该第一虚拟磁带上的数据的访问频率高,执行步骤404;如果判断出第一虚拟磁带上的数据的访问频率不大于第一虚拟磁带对应的第二访问频率阈值,则说明第一虚拟磁带上的数据的访问频率还未达到转存至高速硬盘上的要求,因此不执行任何操作,结束。
需要说明的是,当第一虚拟磁带对应的硬盘为低速硬盘时,需要给第一虚拟磁带对应地设置第一访问频率阈值和第二访问频率阈值,其中,第二访问频率阈值大于第一访问频率阈值。
步骤404、若判断出第一虚拟磁带上的数据的访问频率大于第一虚拟磁带对应的第二访问频率阈值,则将第一虚拟磁带上的数据转存到第三虚拟磁带上,并更新磁带和LUN的映射关系。
本实施例中,如果判断出第一虚拟磁带上的数据的访问频率大于第一虚拟磁带对应的第二访问频率阈值,则说明第一虚拟磁带上的数据的访问频率高,也就是为经常访问的数据,为了提高该数据的访问效率,将该第一虚拟磁带上的数据转存到第三虚拟磁带,即将第一虚拟磁带上的数据转存至比第一虚拟磁带性能高的第三虚拟磁带上,其中,性能高低可以通过属性值来判定,属性值高即说明磁带的性能高,该属性值可以为读写速度,因此,该第三虚拟磁带的属性值大于第一虚拟磁带的属性值,从而在第一虚拟磁带上的数据的访问频率大于第二访问频率阈值时,将第一虚拟磁带上的数据转存至属性值高的第三虚拟磁带上,由于第一虚拟磁带对应的硬盘为低速硬盘,则该第三虚拟磁带对应的硬盘为高速硬盘。
当LUN所对应的数据从第一虚拟磁带中转存至第三虚拟磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中转存至第三虚拟磁带上之后,通过第一虚拟磁带与LUN的映射关系已经无法访问该数据,所以需要建立第三虚拟磁带与LUN的映射关系以访问该数据,同时删除第一虚拟磁带与LUN的映射关系,从而实现了磁带和LUN的映射关系的更新。需要说明的是,上述的第一虚拟磁带与第三虚拟磁带均设置在虚拟磁带库上。
进一步地,本发明实施例还可以包括步骤405。
步骤405、判断第一虚拟磁带上的数据是否满足备份或归档策略。
本实施例中,获取到备份或归档策略之后,根据备份或归档策略,判断第一虚拟磁带上的数据是否满足备份或归档策略;如果第一虚拟磁带上的数据不满足备份或归档策略,则不需要对该第一虚拟磁带上的数据做任何操作,即结束;如果第一虚拟磁带上的数据满足备份或归档策略,则执行步骤406。需要说明的是,本领域普通技术人员可以理解,数据的备份策略或归档策略与现有技术中一致,本发明在此不做详细介绍。
步骤406、若第一虚拟磁带上的数据满足备份或归档策略,则将第一虚拟磁带上的数据备份或归档到物理磁带上,并更新磁带和LUN的映射关系。
本实施例中,物理磁带库主要用于存储备份的数据或归档的数据,因此,当判断出第一虚拟磁带上的数据满足备份或归档策略时,将第一虚拟磁带上的数据备份或归档到物理磁带上。需要说明的是,本领域普通技术人员可以理解,数据的备份过程或归档过程与现有技术中一致,本发明在此不做详细介绍。
当将第一虚拟磁带上的数据备份到物理磁带上时,该第一虚拟磁带上的数据不仅存储在第一虚拟磁带上而且还存储在物理磁带上;而LUN所对应的数据从第一虚拟磁带中备份至物理磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中备份至物理磁带之后,同样的数据存储在不同的硬件设备上,为了保证第一虚拟磁带上的数据丢失或损坏之后,还能获取到正确的数据,还需要建立物理磁带与LUN的映射关系以在第一虚拟磁带上的数据丢失或损坏之后还能访问该数据,从而实现了磁带和LUN的映射关系的更新。需要说明的是,对同样的数据来说,既存在第一虚拟磁带与LUN的映射关系,又存在物理磁带与LUN的映射关系,在第一虚拟磁带上的数据可以正常访问的情况下,只通过第一虚拟磁带与LUN的映射关系访问该数据;而在第一虚拟磁带上的数据丢失或损坏的情况下,才通过物理磁带与LUN的映射关系将该数据转存至虚拟磁带库中,从而实现该数据的访问。
当将第一虚拟磁带上的数据归档到物理磁带上时,作为第一种可行的实现方式:该第一虚拟磁带上的数据不仅存储在第一虚拟磁带上而且还存储在物理磁带上;而LUN所对应的数据从第一虚拟磁带中备份至物理磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中备份至物理磁带之后,同样的数据存储在不同的硬件设备上,为了保证第一虚拟磁带上的数据丢失或损坏之后,还能获取到正确的数据,还需要建立物理磁带与LUN的映射关系以在第一虚拟磁带上的数据丢失或损坏之后还能访问该数据,从而实现了磁带和LUN的映射关系的更新。需要说明的是,对同样的数据来说,既存在第一虚拟磁带与LUN的映射关系,又存在物理磁带与LUN的映射关系,在第一虚拟磁带上的数据可以正常访问的情况下,只通过第一虚拟磁带与LUN的映射关系访问该数据;而在第一虚拟磁带上的数据丢失或损坏的情况下,才通过物理磁带与LUN的映射关系将该数据转存至虚拟磁带库中,从而实现该数据的访问。作为第二种可行的实现方式:为了节省存储空间,删除了第一虚拟磁带上的数据,该第一虚拟磁带上的数据只存储在物理磁带上,而LUN所对应的数据从第一虚拟磁带中归档至物理磁带上之前,主要通过磁带和LUN的映射关系中的第一虚拟磁带与LUN的映射关系来访问该数据,当数据从第一虚拟磁带中归档至物理磁带上之后,通过第一虚拟磁带与LUN的映射关系已经无法访问该数据,所以需要建立物理磁带与LUN的映射关系以访问该数据,同时删除第一虚拟磁带与LUN的映射关系,从而实现了磁带和LUN的映射关系的更新。
更进一步地,本发明实施例还可以包括步骤407。
步骤407、判断物理磁带上的数据是否满足恢复数据策略。
本实施例中,在将第一虚拟磁带上的数据备份或归档至物理磁带上后,获取到恢复数据策略之后,根据恢复数据策略,判断物理磁带上的数据是否满足恢复策略;如果物理磁带上的数据不满足恢复数据策略,则不需要对该物理磁带上的数据做任何操作,即结束;如果物理磁带上的数据满足恢复数据策略,则执行步骤408。需要说明的是,本领域普通技术人员可以理解,恢复数据策略与现有技术中一致,本发明在此不做详细介绍。
步骤408、若物理磁带上的数据满足恢复数据策略,则将物理磁带上的数据恢复到第一虚拟磁带上,并更新磁带和LUN的映射关系。
本实施例中,根据备份策略或归档策略,该数据是从第一虚拟磁带备份或归档至物理磁带,当存储在物理磁带上的该数据满足恢复数据策略时,则将物理磁带上的该数据应恢复到第一虚拟磁带上,并且该第一虚拟磁带对应的硬盘应为低速硬盘。或者,在恢复策略中包括有将数据恢复到第一虚拟磁带的消息,该第一虚拟磁带对应的硬盘应为高速硬盘,从而根据该消息,可以将物理磁带上的该数据应恢复到第一虚拟磁带上。
当将物理磁带上的数据恢复到第一虚拟磁带上后,该物理磁带上的数据不仅存储在第一虚拟磁带上而且还存储在物理磁带上;同样的数据存储在不同的硬件设备上,因此,还需要建立第一虚拟磁带与LUN的映射关系以访问存储在第一虚拟磁带中的数据,从而实现了磁带和LUN的映射关系的更新。
本发明实施例三提供的数据处理方法,通过判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的第一访问频率阈值,该第一虚拟磁带对应的硬盘为低速硬盘,若小于,将第一虚拟磁带上的数据转存到物理磁带上,并更新磁带和LUN的映射关系;若不小于,再判断第一虚拟磁带上的数据的访问频率是否大于第一虚拟磁带对应的第二访问频率阈值,若大于,将第一虚拟磁带上的数据转存到第三虚拟磁带上,并更新磁带和LUN的映射关系。进一步,判断第一虚拟磁带上的数据是否满足备份或归档策略;若满足,则将第一虚拟磁带上的数据备份或归档到物理磁带上,并更新磁带和LUN的映射关系。更进一步地,判断物理磁带上的数据是否满足恢复数据策略,若满足,则将物理磁带上的数据恢复到第一虚拟磁带上,并更新磁带和LUN的映射关系。由于本发明通过磁带与LUN的映射关系来对数据进行处理,实现了数据的分级存储、备份或归档和恢复,不需要设置第三方软件系统,提高了数据处理效率,同时也减少了硬件设备,降低了成本。
在上述所有本发明实施例的基础上,还可以对存储在虚拟磁带库或物理磁带库中的数据进行修改,具体实现方式可以为:接收数据修改指令,数据修改指令包括数据标识;根据数据修改指令,查询磁带和LUN的映射关系,获取与数据标识对应的第一数据所存储的第一磁带,并对第一磁带上的第一数据进行修改,生成第二数据;将第二数据存储在第二磁带上,并删除第一磁带与第一磁带对应的LUN的映射关系,建立第二磁带和第一磁带对应的LUN的映射关系。
在接收到数据修改指令后,获取数据修改指令中包括的数据标识,根据数据修改指令中,查询磁带和LUN的映射关系,可以确定到该数据标识对应的第一数据存储在第一磁带中,该第一磁带可以为虚拟磁带库的虚拟磁带,也可以为物理磁带库的物理磁带,然后获取到与数据标识对应的第一数据所存储的该第一磁带,根据数据修改指令,对第一磁带上的第一数据复制一份,将所复制的第一磁带上的第一数据进行修改,生成第二数据,然后将第二数据存储在第二磁带上,需要说明的是,原始的第一数据并没有被修改,还是存储在第一磁带上,生成第二数据后优先存储在第一磁带上,若第一磁带已无存储空间时,将第二数据存储在第二磁带上,同时第一数据和第二数据的具体物理位置信息都存储在LUN的元数据中。然后对磁带与LUN的映射关系进行更新,删除第一磁带与第一磁带对应的LUN的映射关系,建立第二磁带与第一磁带对应的LUN的映射关系,以通过第二磁带与LUN的映射关系访问修改后的数据。因此,通过更新磁带与LUN的映射关系,来实现了对修改后的数据的访问,由于没有修改原始的第一数据,还可以通过历史的第一磁带与LUN的映射关系找回被修改的原始的第一数据。
在上述本发明实施例的基础上,还可以对存储在虚拟磁带库中的数据进行删除,具体实现方式可以为:接收数据删除指令,数据删除指令包括数据标识;根据数据删除指令,查询磁带和LUN的映射关系,获取与数据标识对应的第一数据所存储的第一磁带,删除第一磁带上的第一数据,并删除第一磁带与第一磁带对应的LUN的映射关系。
在接收到数据删除指令后,获取数据修改指令中包括的数据标识,根据数据修改指令中,查询磁带和LUN的映射关系,可以确定到该数据标识对应的第一数据存储在第一磁带中,该第一磁带为虚拟磁带库的虚拟磁带,然后获取到与数据标识对应的第一数据所存储的该第一磁带,根据数据删除指令,对磁带与LUN的映射关系进行更新,即删除第一磁带与第一磁带对应的LUN的映射关系,以通过磁带与LUN的映射关系无法访问第一数据,实现了第一数据的删除。因此,通过更新磁带与LUN的映射关系,来实现对数据的删任职,由于没有删除第一数据,还可以通过历史的第一磁带与LUN的映射关系找回第一数据。
在上述本发明实施例的基础上,还可以对存储在虚拟磁带库或物理磁带库中的数据进行访问,具体实现方式可以为:接收数据访问请求,数据访问请求包括数据标识;查询磁带和LUN的映射关系,获取与数据标识对应的第三数据所存储的第三磁带,若第三磁带为物理磁带,则采用恢复数据策略,将数据恢复到虚拟磁带上,并从虚拟磁带上访问数据;虚拟磁带对应的硬盘为低速硬盘;更新磁带和LUN的映射关系。
在接收到数据访问请求后,获取数据访问请求中包括的数据标识,根据数据访问请求中,查询磁带和LUN的映射关系,可以确定到该数据标识对应的第三数据存储在第三磁带中,如果该第三磁带可以为虚拟磁带库的虚拟磁带时,则可以直接访问第三磁带中的数据。
如果第三磁带为物理磁带时,采用恢复数据策略,将该第三磁带中的数据恢复至虚拟磁带上,即可直接访问该虚拟磁带中的数据,然后对磁带与LUN的映射关系进行更新,建立该虚拟磁带与第三磁带对应的LUN的映射关系,以通过该虚拟磁带与LUN的映射关系访问该数据。因此,可以通过更新磁带与LUN的映射关系,来实现了对数据的访问。
图5为本发明数据处理装置实施例一的结构示意图,如图5所示,本实施例的装置可以包括:判断模块21和处理模块22,其中,判断模块21用于判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的第一访问频率阈值;处理模块22用于若判断模块21判断出第一虚拟磁带上的数据的访问频率小于第一虚拟磁带对应的第一访问频率阈值,则将第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系;其中,第一虚拟磁带设置在虚拟磁带库上;第二虚拟磁带设置在虚拟磁带库上,且第二虚拟磁带的属性值小于第一虚拟磁带的属性值;物理磁带的属性值小于第一虚拟磁带的属性值。
本实施例的数据处理装置,可以用于执行图2所示方法实施例的技术方案,其实现原理类似,详细可以参见上述实施例中的记载,此处不再赘述。
本发明实施例一提供的数据处理装置,通过判断模块判断第一虚拟磁带上的数据的访问频率是否小于第一虚拟磁带对应的第一访问频率阈值;若小于,则处理模块将第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系;其中,第一虚拟磁带设置在虚拟磁带库上;第二虚拟磁带设置在虚拟磁带库上,且第二虚拟磁带的属性值小于第一虚拟磁带的属性值;物理磁带的属性值小于第一虚拟磁带的属性值;由于本发明通过磁带与LUN的映射关系来对数据进行处理,实现了数据的分级存储,不需要设置第三方软件系统,提高了数据处理效率,同时也减少了硬件设备,降低了成本。
图6为本发明数据处理装置实施例二的结构示意图,如图6所示,本实施例的数据处理装置在上述图5所示装置实施例的基础上,还包括接收模块23。
上述的处理模块22具体用于当第一虚拟磁带对应的硬盘为高速硬盘时,将第一虚拟磁带上的数据转存到第二虚拟磁带上;第二虚拟磁带对应的硬盘为低速硬盘;或者,上述的处理模块22具体用于当第一虚拟磁带对应的硬盘为低速硬盘时,将第一虚拟磁带上的数据转存到物理磁带上。
上述的处理模块22还用于若判断模块21判断出第一虚拟磁带上的数据的访问频率大于第一虚拟磁带对应的第二访问频率阈值,则将第一虚拟磁带上的数据转存到第三虚拟磁带上,并更新磁带和LUN的映射关系;
其中,第一虚拟磁带对应的硬盘为低速硬盘,第三虚拟磁带对应的硬盘为高速硬盘。
在本实施例中,在第一种可行的实现方式中,接收模块23用于接收数据修改指令,数据修改指令包括数据标识。上述的处理模块22,还用于根据数据修改指令,查询磁带和LUN的映射关系,获取与数据标识对应的第一数据所存储的第一磁带,并对第一磁带上的第一数据进行修改,生成第二数据;将第二数据存储在第二磁带上,并删除第一磁带与第一磁带对应的LUN的映射关系,建立第二磁带和第一磁带对应的LUN的映射关系。
在第二种可行的实现方式中,接收模块23,用于接收数据删除指令,数据删除指令包括数据标识。上述的处理模块22,还用于根据数据删除指令,查询磁带和LUN的映射关系,获取与数据标识对应的第一数据所存储的第一磁带,删除第一磁带上的第一数据,并删除第一磁带与第一磁带对应的LUN的映射关系。
在第三种可行的实现方式中,接收模块23,用于接收数据访问请求,数据访问请求包括数据标识。上述的处理模块22,还用于查询磁带和LUN的映射关系,获取与数据标识对应的第三数据所存储的第三磁带,若第三磁带为物理磁带,则采用恢复数据策略,将数据恢复到虚拟磁带上,并从虚拟磁带上访问数据;虚拟磁带对应的硬盘为低速硬盘;更新磁带和LUN的映射关系。
进一步地,上述的判断模块21还用于判断第一虚拟磁带上的数据是否满足备份或归档策略。上述的处理模块22还用于若判断模块21判断出第一虚拟磁带上的数据满足备份或归档策略,则将第一虚拟磁带上的数据备份或归档到物理磁带上,并更新磁带和LUN的映射关系。
更进一步地,上述的判断模块21还用于判断物理磁带上的数据是否满足恢复数据策略。上述的处理模块22还用于若判断模块判断物理磁带上的数据满足恢复数据策略,则将物理磁带上的数据恢复到第一虚拟磁带上,并更新磁带和LUN的映射关系。
本实施例的数据处理装置,可以用于执行图3或图4所示方法实施例的技术方案,其实现原理类似,详细可以参见上述实施例中的记载,此处不再赘述。
本发明实施例二提供的数据处理装置,由于本发明通过磁带与LUN的映射关系来对数据进行处理,实现了数据的分级存储、备份或归档和恢复,不需要设置第三方软件系统,提高了数据处理效率,同时也减少了硬件设备,降低了成本。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (16)
1.一种数据处理方法,其特征在于,包括:
判断第一虚拟磁带上的数据的访问频率是否小于所述第一虚拟磁带对应的第一访问频率阈值;
若所述第一虚拟磁带上的数据的访问频率小于所述第一虚拟磁带对应的第一访问频率阈值,则将所述第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系;
其中,所述第一虚拟磁带设置在虚拟磁带库上;所述第二虚拟磁带设置在所述虚拟磁带库上,且所述第二虚拟磁带的属性值小于所述第一虚拟磁带的属性值;所述物理磁带的属性值小于所述第一虚拟磁带的属性值。
2.根据权利要求1所述的数据处理方法,其特征在于,当所述第一虚拟磁带对应的硬盘为高速硬盘时,所述将所述第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,包括:将所述第一虚拟磁带上的数据转存到所述第二虚拟磁带上;所述第二虚拟磁带对应的硬盘为低速硬盘;或者,
当所述第一虚拟磁带对应的硬盘为低速硬盘时,所述将所述第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,包括:将所述第一虚拟磁带上的数据转存到所述物理磁带上。
3.根据权利要求1所述的数据处理方法,其特征在于,还包括:
若判断出所述第一虚拟磁带上的数据的访问频率大于所述第一虚拟磁带对应的第二访问频率阈值,则将所述第一虚拟磁带上的数据转存到第三虚拟磁带上,并更新磁带和LUN的映射关系;
其中,所述第一虚拟磁带对应的硬盘为低速硬盘,所述第三虚拟磁带对应的硬盘为高速硬盘。
4.根据权利要求1所述的数据处理方法,其特征在于,还包括:
接收数据修改指令,所述数据修改指令包括数据标识;
根据所述数据修改指令,查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第一数据所存储的第一磁带,并对所述第一磁带上的第一数据进行修改,生成第二数据;
将所述第二数据存储在第二磁带上,并删除所述第一磁带与所述第一磁带对应的LUN的映射关系,建立所述第二磁带和所述第一磁带对应的LUN的映射关系。
5.根据权利要求1所述的数据处理方法,其特征在于,还包括:
接收数据删除指令,所述数据删除指令包括数据标识;
根据所述数据删除指令,查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第一数据所存储的第一磁带,删除所述第一磁带上的第一数据,并删除所述第一磁带与所述第一磁带对应的LUN的映射关系。
6.根据权利要求1所述的数据处理方法,其特征在于,还包括:
接收数据访问请求,所述数据访问请求包括数据标识;
查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第三数据所存储的第三磁带,若所述第三磁带为物理磁带,则采用恢复数据策略,将所述数据恢复到虚拟磁带上,并从所述虚拟磁带上访问所述数据;所述虚拟磁带对应的硬盘为低速硬盘;
更新所述磁带和LUN的映射关系。
7.根据权利要求1至6任一所述的数据处理方法,其特征在于,还包括:
判断所述第一虚拟磁带上的数据是否满足备份或归档策略,若满足,则将所述第一虚拟磁带上的数据备份或归档到所述物理磁带上,并更新所述磁带和LUN的映射关系。
8.根据权利要求7所述的数据处理方法,其特征在于,还包括:
判断所述物理磁带上的数据是否满足恢复数据策略,若满足,则将所述物理磁带上的数据恢复到所述第一虚拟磁带上,并更新所述磁带和LUN的映射关系。
9.一种数据处理装置,其特征在于,包括:
判断模块,用于判断第一虚拟磁带上的数据的访问频率是否小于所述第一虚拟磁带对应的第一访问频率阈值;
处理模块,用于若所述判断模块判断出所述第一虚拟磁带上的数据的访问频率小于所述第一虚拟磁带对应的第一访问频率阈值,则将所述第一虚拟磁带上的数据转存到第二虚拟磁带或者物理磁带上,并更新磁带和LUN的映射关系;
其中,所述第一虚拟磁带设置在虚拟磁带库上;所述第二虚拟磁带设置在所述虚拟磁带库上,且所述第二虚拟磁带的属性值小于所述第一虚拟磁带的属性值;所述物理磁带的属性值小于所述第一虚拟磁带的属性值。
10.根据权利要求9所述的数据处理装置,其特征在于,所述处理模块具体用于当所述第一虚拟磁带对应的硬盘为高速硬盘时,将所述第一虚拟磁带上的数据转存到所述第二虚拟磁带上;所述第二虚拟磁带对应的硬盘为低速硬盘;或者,
所述处理模块具体用于当所述第一虚拟磁带对应的硬盘为低速硬盘时,将所述第一虚拟磁带上的数据转存到所述物理磁带上。
11.根据权利要求9所述的数据处理装置,其特征在于,所述处理模块还用于若所述判断模块判断出所述第一虚拟磁带上的数据的访问频率大于所述第一虚拟磁带对应的第二访问频率阈值,则将所述第一虚拟磁带上的数据转存到第三虚拟磁带上,并更新磁带和LUN的映射关系;
其中,所述第一虚拟磁带对应的硬盘为低速硬盘,所述第三虚拟磁带对应的硬盘为高速硬盘。
12.根据权利要求9所述的数据处理装置,其特征在于,还包括:
接收模块,用于接收数据修改指令,所述数据修改指令包括数据标识;
所述处理模块,还用于根据所述数据修改指令,查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第一数据所存储的第一磁带,并对所述第一磁带上的第一数据进行修改,生成第二数据;将所述第二数据存储在第二磁带上,并删除所述第一磁带与所述第一磁带对应的LUN的映射关系,建立所述第二磁带和所述第一磁带对应的LUN的映射关系。
13.根据权利要求9所述的数据处理装置,其特征在于,还包括:
接收模块,用于接收数据删除指令,所述数据删除指令包括数据标识;
所述处理模块,还用于根据所述数据删除指令,查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第一数据所存储的第一磁带,删除所述第一磁带上的第一数据,并删除所述第一磁带与所述第一磁带对应的LUN的映射关系。
14.根据权利要求9所述的数据处理装置,其特征在于,还包括:
接收模块,用于接收数据访问请求,所述数据访问请求包括数据标识;
所述处理模块,还用于查询所述磁带和LUN的映射关系,获取与所述数据标识对应的第三数据所存储的第三磁带,若所述第三磁带为物理磁带,则采用恢复数据策略,将所述数据恢复到虚拟磁带上,并从所述虚拟磁带上访问所述数据;所述虚拟磁带对应的硬盘为低速硬盘;更新所述磁带和LUN的映射关系。
15.根据权利要求9至14任一所述的数据处理装置,其特征在于,
所述判断模块,还用于判断所述第一虚拟磁带上的数据是否满足备份或归档策略;
所述处理模块,还用于若所述判断模块判断出所述第一虚拟磁带上的数据满足备份或归档策略,则将所述第一虚拟磁带上的数据备份或归档到所述物理磁带上,并更新所述磁带和LUN的映射关系。
16.根据权利要求15所述的数据处理装置,其特征在于,所述判断模块还用于判断所述物理磁带上的数据是否满足恢复数据策略;
所述处理模块还用于若所述判断模块判断所述物理磁带上的数据满足恢复数据策略,则将所述物理磁带上的数据恢复到所述第一虚拟磁带上,并更新所述磁带和LUN的映射关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210516424.4A CN103034592B (zh) | 2012-12-05 | 2012-12-05 | 数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210516424.4A CN103034592B (zh) | 2012-12-05 | 2012-12-05 | 数据处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103034592A true CN103034592A (zh) | 2013-04-10 |
CN103034592B CN103034592B (zh) | 2016-09-28 |
Family
ID=48021503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210516424.4A Active CN103034592B (zh) | 2012-12-05 | 2012-12-05 | 数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103034592B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104679746A (zh) * | 2013-11-26 | 2015-06-03 | 南京中兴新软件有限责任公司 | 去重复数据的恢复方法及装置 |
CN106569577A (zh) * | 2016-10-18 | 2017-04-19 | 上海新储集成电路有限公司 | 一种异构存储系统及数据存储中心 |
CN104317675B (zh) * | 2014-11-21 | 2017-08-11 | 华为技术有限公司 | 应用的容灾处理方法和装置 |
CN107783974A (zh) * | 2016-08-24 | 2018-03-09 | 阿里巴巴集团控股有限公司 | 数据处理系统及方法 |
CN108415982A (zh) * | 2018-02-09 | 2018-08-17 | 上海商米科技有限公司 | 数据库的处理方法和装置 |
WO2019024673A1 (zh) * | 2017-08-02 | 2019-02-07 | 众安信息技术服务有限公司 | 一种区块链块数据的归档方法、装置及查询方法、装置 |
CN110647297A (zh) * | 2019-09-19 | 2020-01-03 | 中国工商银行股份有限公司 | 用于控制磁带转存的方法、装置、系统及介质 |
WO2020098654A1 (zh) * | 2018-11-13 | 2020-05-22 | 杭州海康威视系统技术有限公司 | 基于云存储的数据存储方法、装置和存储介质 |
CN111966533A (zh) * | 2020-07-23 | 2020-11-20 | 招联消费金融有限公司 | 电子文件管理方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1487419A (zh) * | 2002-08-29 | 2004-04-07 | �Ҵ���˾ | 用于返回物理卷的方法、系统和产品 |
CN1719422A (zh) * | 2005-08-18 | 2006-01-11 | 北京中星微电子有限公司 | 一种存储器文件数据虚拟存取方法 |
US20080263272A1 (en) * | 1998-07-06 | 2008-10-23 | Storage Technology Corporation | Data storage management method |
CN101976181A (zh) * | 2010-10-15 | 2011-02-16 | 杭州宏杉科技有限公司 | 一种存储资源的管理方法及管理装置 |
CN102156738A (zh) * | 2011-04-13 | 2011-08-17 | 成都市华为赛门铁克科技有限公司 | 数据块处理方法、数据块存储设备及系统 |
-
2012
- 2012-12-05 CN CN201210516424.4A patent/CN103034592B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080263272A1 (en) * | 1998-07-06 | 2008-10-23 | Storage Technology Corporation | Data storage management method |
CN1487419A (zh) * | 2002-08-29 | 2004-04-07 | �Ҵ���˾ | 用于返回物理卷的方法、系统和产品 |
CN1719422A (zh) * | 2005-08-18 | 2006-01-11 | 北京中星微电子有限公司 | 一种存储器文件数据虚拟存取方法 |
CN101976181A (zh) * | 2010-10-15 | 2011-02-16 | 杭州宏杉科技有限公司 | 一种存储资源的管理方法及管理装置 |
CN102156738A (zh) * | 2011-04-13 | 2011-08-17 | 成都市华为赛门铁克科技有限公司 | 数据块处理方法、数据块存储设备及系统 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104679746A (zh) * | 2013-11-26 | 2015-06-03 | 南京中兴新软件有限责任公司 | 去重复数据的恢复方法及装置 |
CN104317675B (zh) * | 2014-11-21 | 2017-08-11 | 华为技术有限公司 | 应用的容灾处理方法和装置 |
CN107783974A (zh) * | 2016-08-24 | 2018-03-09 | 阿里巴巴集团控股有限公司 | 数据处理系统及方法 |
CN107783974B (zh) * | 2016-08-24 | 2022-04-08 | 阿里巴巴集团控股有限公司 | 数据处理系统及方法 |
CN106569577A (zh) * | 2016-10-18 | 2017-04-19 | 上海新储集成电路有限公司 | 一种异构存储系统及数据存储中心 |
WO2019024673A1 (zh) * | 2017-08-02 | 2019-02-07 | 众安信息技术服务有限公司 | 一种区块链块数据的归档方法、装置及查询方法、装置 |
CN108415982A (zh) * | 2018-02-09 | 2018-08-17 | 上海商米科技有限公司 | 数据库的处理方法和装置 |
WO2020098654A1 (zh) * | 2018-11-13 | 2020-05-22 | 杭州海康威视系统技术有限公司 | 基于云存储的数据存储方法、装置和存储介质 |
CN110647297A (zh) * | 2019-09-19 | 2020-01-03 | 中国工商银行股份有限公司 | 用于控制磁带转存的方法、装置、系统及介质 |
CN110647297B (zh) * | 2019-09-19 | 2023-12-19 | 中国工商银行股份有限公司 | 用于控制磁带转存的方法、装置、系统及介质 |
CN111966533A (zh) * | 2020-07-23 | 2020-11-20 | 招联消费金融有限公司 | 电子文件管理方法、装置、计算机设备和存储介质 |
CN111966533B (zh) * | 2020-07-23 | 2024-06-04 | 招联消费金融股份有限公司 | 电子文件管理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103034592B (zh) | 2016-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103034592B (zh) | 数据处理方法和装置 | |
US9910620B1 (en) | Method and system for leveraging secondary storage for primary storage snapshots | |
US8856469B2 (en) | Apparatus and method for logging optimization using non-volatile memory | |
US9122692B1 (en) | Systems and methods for reducing file-system fragmentation when restoring block-level backups utilizing an identification module, an optimization module, and a restore module | |
US10649897B2 (en) | Access request processing method and apparatus, and computer device | |
US9690666B1 (en) | Incremental backup operations in a transactional file system | |
US8874522B2 (en) | Managing backups of data objects in containers | |
CN103049349B (zh) | 基于分层存储的快照方法及系统 | |
CN110998537B (zh) | 一种过期备份处理方法及备份服务器 | |
CN102591790B (zh) | 基于固态硬盘的数据存储快照实现方法及固态硬盘 | |
WO2016041384A1 (zh) | 重复数据删除方法和装置 | |
CN102667703A (zh) | 用于虚拟磁带库系统中的优化回收处理的系统和方法 | |
JP2017079053A (ja) | ストレージジャーナリングを改善する方法およびシステム | |
CN104360914A (zh) | 增量快照方法和装置 | |
CN104461773A (zh) | 一种虚拟机备份去重的方法 | |
CN111124258B (zh) | 全闪存阵列的数据存储方法、装置、设备及可读存储介质 | |
CN105493080A (zh) | 基于上下文感知的重复数据删除的方法和装置 | |
US11042296B1 (en) | System and method of handling journal space in a storage cluster with multiple delta log instances | |
US20240311346A1 (en) | Storage tiering for computing system snapshots | |
US8990528B2 (en) | Method for fast format of a fully allocated volume when copied from a space efficient volume | |
CN104484402B (zh) | 一种删除重复数据的方法及装置 | |
WO2014094259A1 (zh) | 存储空间对象的处理方法及设备 | |
US7865472B1 (en) | Methods and systems for restoring file systems | |
CN103902227A (zh) | 一种支持追加写和共享读的文件存储方式 | |
CN113625952B (zh) | 一种对象存储方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |