CN102369506B - 存储系统及存储系统的利用率管理方法 - Google Patents
存储系统及存储系统的利用率管理方法 Download PDFInfo
- Publication number
- CN102369506B CN102369506B CN200980157828.5A CN200980157828A CN102369506B CN 102369506 B CN102369506 B CN 102369506B CN 200980157828 A CN200980157828 A CN 200980157828A CN 102369506 B CN102369506 B CN 102369506B
- Authority
- CN
- China
- Prior art keywords
- memory storage
- user
- storage
- memory
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003860 storage Methods 0.000 title claims abstract description 149
- 238000007726 management method Methods 0.000 title claims description 17
- 230000005055 memory storage Effects 0.000 claims description 126
- 238000013508 migration Methods 0.000 claims description 42
- 230000005012 migration Effects 0.000 claims description 42
- 230000008859 change Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 5
- 241001269238 Data Species 0.000 claims 1
- 238000000034 method Methods 0.000 description 161
- 230000008569 process Effects 0.000 description 161
- 238000010586 diagram Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 12
- 238000012217 deletion Methods 0.000 description 10
- 230000037430 deletion Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
- G06F3/0649—Lifecycle management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种存储系统,对外部设备提供存储区域,所述存储系统包括:不同性能的多个存储装置和存储控制器,存储控制器保存:各个存储装置的存储成本系数3202,来自外部设备的用于每个用户使用存储系统的用户成本分配信息3302、以及对于每个用户定义分发给存储装置的可用空间量的比例的用户成本分发信息3402。存储控制器从存储成本系数3202和用户成本分发信息3402计算用于每个用户的理想利用率3502,并且存储控制器以性能从最高到最低的顺序对于每个用户分配每个存储装置的理想利用率3502。
Description
技术领域
本发明涉及存储系统及存储系统的利用率管理方法,并且特别涉及具有包括多个存储设备的分级结构的存储系统,以及存储系统的利用率管理方法,该存储系统及存储系统的利用率管理方法能够有效并公正地管理每个用户的存储资源利用率。
背景技术
称为NAS(网络附接存储)的网络存储设备正在被使用。NAS具有如下功能:使用例如NFS(网络文件系统)或CIFS(公共因特网文件系统)的协议,允许连接着网络的多个客户端设备中的每一个访问存储设备中存储的文件。一些存储设备以及适应它们的文件服务器具有在定额(quota)的基础上限制存储资源的利用率的功能,其中定额是用于用户、组、目录等的管理单元。PTL1公开了由多个网络存储设备形成的网络存储系统中使用以限制存储资源的利用率的技术。
包括NAS的存储设备在性能等级和容量上不同。通常,使用FC(光纤通道)、SAS(串行附接SCSI)等的高速磁盘的存储设备的I/O性能是高的但是成本也高,这反过来导致提供存储容量的装配成本也高。另一方面,使用SATA(串行高级技术附接)类型的磁盘、磁带等的设备的I/O性能是低的,但是容易以低成本提供大的存储容量。
称为分级存储管理(此后称为“HSM”)的技术已知为对这些存储设备分级连接及管理的一种技术。通常,在HSM中,在分级结构中在较高等级布置具有小存储容量的高速存储设备,并且在分级结构中在较低等级布置具有大存储容量的低速存储设备。HSM通过使用用户的存储资源利用率的频率等作为数据迁移的判断标准来将数据从较高等级存储设备迁移到较低等级存储设备,并且由此实现存储系统中利用率效率的改善。PTL2公开了在多个存储设备分等级地连接的分级存储系统中使用的用于将数据从一个存储设备迁移到另一个的技术。
此外,称为GNS(全域命名空间)的技术已知为用于统一管理由多个存储设备形成的存储系统中存储的文件的路径名称等的一种技术。GNS使得用户能够访问文件而不需要获知文件实际存储在哪个存储设备中。PTL3公开了用于包括GNS的NAS文件系统的虚拟化技术。
引用列表
专利文献
PTL1:日本专利申请公开No.2006-92322
PTL2:日本专利申请公开No.2006-195960
PTL3:日本专利申请公开No.2008-159027
发明内容
技术问题
具有不同数据I/O性能或容量的多个存储设备被用于配置分级存储系统,使得不同存储设备之间每单位存储容量的性能、价格等不同。由此,当现有技术被用于设置分级存储系统的利用率限制时,即使向用户分配了相同的空间量,在具有位于高等级的高性能存储设备中的数据的用户和具有位于低等级的低性能存储设备中的数据的用户之间性能是不相等的。
此外,在分级存储系统的用户中,一些用户可能需要小空间量但是高性能的存储区域,并且另外一些用户可能需要低性能但是大空间量的存储区域。在这样的情况下,很难通过个性化的设置来满足每个用户的需求。这样的设置的一个例子是对于每个用户设置在每个等级的存储设备中的空间量的限制。然而,在这种情况下,存在如下问题:如果分级存储系统是由多个存储设备形成的,则该设置变得复杂。
本发明用于解决前述和其他问题。本发明的目的在于提供一种具有分级结构的存储系统,包括多个存储设备,以及用于存储系统的利用率管理方法,该存储系统及存储系统的利用率管理方法能够有效且公平地管理每个用户的存储资源利用率。
问题的解决方案
为了实现上述和其他目标,本发明的一个方面是一种存储系统,通信地连接至外部设备并且提供由外部设备使用的存储区域,该存储系统包括:不同性能的多个存储装置,每个存储装置具有提供存储区域的存储介质;以及存储控制器,用于保存:各个存储装置的存储成本系数,所述存储成本系数是使用各个存储装置所需的利用率成本的指标并且根据各个存储装置的性能而被设置;关于从外部设备使用存储系统的每个用户的用户成本分配信息,所述用户成本分配信息是所有存储装置中用户可用的空间量的指标;以及用户成本分发信息,对每个用户定义了向存储装置分发的可用空间量的比例;其中,存储控制器从存储成本系数和用户成本分发信息计算每个用户的理想利用率,所述理想利用率是指示对于用户每个存储装置的理想利用率分派的信息,并且存储控制器以性能从最高到最低的顺序对每个用户分配对于每个存储装置的理想利用率。
有益效果
本发明可以提供一种包括多个存储设备的具有分级结构的存储系统,其能够有效且公平地管理每个用户的存储资源利用率。
附图说明
图1是示出根据本发明的一个实施例的分级存储系统1000的配置例子的图表。
图2是示出分级存储系统1000中包括的可用于存储设备1100、1200和1300中任一个的存储设备200的配置例子的图表。
图3是示出可用作使用分级存储系统1000的客户端设备1500的计算机10的配置例子的图表。
图4A是示出在分级存储系统1000中包括的分级存储控制器2000的配置例子的图表。
图4B是示出分级存储控制程序2600的配置例子的图表。
图5是示出在分级存储控制器2000中保存的分级存储利用率管理表3000的细节的图表。
图6是示出根据本发明的例子1的可用成本初始分发处理的过程的例子的流程图。
图7是示出根据本发明的例子1的理想利用率计算处理的过程的例子的流程图。
图8是示出根据本发明的例子1的初始容量检查处理的过程的例子的流程图。
图9是示出根据本发明的例子1的可用成本分配改变处理的过程的例子的流程图。
图10是示出根据本发明的例子1的容量改变检查处理的过程的例子的流程图。
图11是示出根据本发明的例子1的迁移文件选择处理的例子的流程图。
图12是示出根据本发明的例子1的文件迁移处理的过程的例子的流程图。
图13是示出根据本发明的例子1的文件加入处理的过程的例子的流程图。
图14是示出根据本发明的例子1的文件删除处理的过程的例子的流程图。
图15是示出根据本发明的例子1的删除时文件迁移处理的过程的例子的流程图。
图16是示出根据本发明的例子1的存储设备的容量追加处理的过程的例子的流程图。
图17是示出根据本发明的例子2的可去复制(de-duplication-capable)的分级存储系统15000的配置例子的图表。
图18是示出根据例子2的可去复制的分级存储控制器16000的配置例子的图表。
图19是示出在去复制操作时存储设备1200的文件存储条件的例子的图表。
图20是示出在去复制操作时存储设备1100和存储设备1200的文件存储条件的例子的图表。
具体实施方式
下面将结合附图描述承载本发明的实施例。注意在附图中相同的附图标记表示相同结构的元件,并且省略对其的描述。
例子1
首先,将在本发明的一个实施例的基础上描述本发明的配置、功能和效果。
根据例子1的信息处理系统1的配置
图1是示出根据本发明的例子1包括分级存储系统1000的信息处理系统1的配置的例子的图表。根据例子1的分级存储系统1000包括存储设备1100(S1)、存储设备1200(S2)、存储设备1300(S3)和分级存储控制器2000。注意当需要彼此区别形成分级结构的存储设备1100-1300作为不同性能和容量的存储资源时,应用附图标记S1-S3。
存储设备1100是具有例如SAS类型磁盘的结构的存储介质的存储设备,并且在I/O性能上是高速的,但是容量相对小。存储设备1200是具有例如SATA类型磁盘的结构的存储介质的存储设备,并且在I/O性能低于存储设备1100,但是容量相对大。存储设备1300是具有例如磁带类型磁盘的结构的存储介质的存储设备,在速度上比存储设备1200更低,但是提供最大的存储容量。存储设备1100到1300由分级存储控制器2000控制。注意根据例子1的分级存储系统1000具有三级存储设备S1至S3,但是可以具有超过三级存储设备的多级分级结构。
分级存储系统1000经由例如LAN(局域网)的网络1400连接着多个客户端设备1500(或外部设备)。信息处理系统1的管理者和使用者通过网络1400从客户端设备1500访问分级存储系统1000,以进行分级存储系统1000的设置和对分级存储系统1000中的存储设备1100-1300中存储的文件的读写。
存储设备1100到1300
图2示出可用作存储设备1100到1300中任一个的存储设备200的配置例子。存储设备200用作子系统以将数据存储区域提供给信息处理系统1中包括的客户端设备1500。如图2所示,存储设备200可以被配置为例如由包括多个HDD(硬盘驱动器)221的磁盘设备220组织的通用类型的RAID(独立(或廉价)磁盘冗余阵列)系统。注意在分级存储系统1000中使用的存储设备200被用于包括如前所述用作接口的SAS和SATA类型的混合HDD 221。此外,其他存储介质,例如磁带或SSD(固态驱动器,半导体驱动器)可以被恰当地使用。
存储设备200包括磁盘驱动器220、执行磁盘设备220的数据I/O处理的磁盘控制器210。
磁盘控制器210包括通信IF 211、CPU 212、高速缓存存储器(此后称为“CM”)213、共享存储器(此后称为“SM”)214和磁盘IF 215,它们通过内部总线230可通信地连接。
CM 213提供用于临时存储向HDD 211写入的数据或者从HDD 211读取的数据的存储区域。SM 214存储用于控制存储设备200的数据I/O的程序,和用于控制的各种管理表。
磁盘IF 215是磁盘适配器(“DKA”),作为磁盘控制器210和磁盘设备220之间使能通信的通信接口。通信IF 211具有控制与可通信地连接着稍后描述的分级存储控制器2000的内部网络通信的功能,并且是例如HBA(主机总线适配器)。
客户端设备1500
图3示出可用作连接着信息处理系统1的客户端设备1500的计算机10的配置例子。计算机10包括中央处理器11(例如CPU(中央处理单元)或MPU(微处理单元),为了简单的目的称为CPU),主存储设备12(例如RAM(随机访问存储器)或ROM(只读存储器)),辅助存储设备13(例如HDD),接收用户操作输入的输入设备14(例如键盘或鼠标),输出设备15(例如液晶显示监视器),以及与其他设备进行通信的通信接口16(例如NIC(网络接口卡)或HBA(主机总线适配器))。
在计算机10上运行的操作系统(OS)不局限于特定系统,然而,优选地使用基于例如UNIX(注册商标)的操作系统。此外,客户端设备1500在此实现为分级存储控制客户端程序,其允许用户或管理员通过输入设备14和输出设备15访问分级存储控制器2000的分级存储控制程序2600,从而执行稍后描述的分级存储利用率管理表3000的初始化和重新设置。可选地,任一个客户端设备1500可以被配置为分级存储系统1000的专用管理者。
分级存储控制器2000
图4A示出在分级存储系统1000中提供的分级存储控制器2000的配置实例。分级存储控制器2000包括CPU、MPU等结构的处理器2100、网络接口2200、磁盘接口2300和存储器2400。
分级存储控制器2000通过网络接口2200(例如NIC)和网络1400(例如LAN)可通信地连接至客户端设备1500。此外,分级存储控制器2000通过磁盘接口2300可通信地连接着存储设备1100到1300。注意磁盘接口2300可以是通信接口,例如当连接着具有图2的例子所示的结构的存储设备200时的HBA。此外,分级存储控制器2000还可以被配置为具有存储设备200的磁盘控制器210的功能。
由RAM、ROM等形成的存储器2400存储OS(例如UNIX(注册商标)),作为传统存储管理程序的基本程序2500,用于控制根据例子1的分级存储系统1000的分级存储控制程序2600,以及在执行分级存储控制程序2600时使用的分级存储利用率管理表3000。
分级存储控制器2000通过CPU 2100载入并执行的基本程序2500和分级存储控制程序2600来控制整个分级存储系统1000的功能。
分级存储控制程序2600
图4B示出了分级存储控制程序2600(或存储控制器)的配置例子。根据例子1的分级存储控制程序2600是由实现如下功能块的功能的程序构成:初始分发处理部2601、理想利用率计算处理部2602、初始容量检查处理部2603、分发改变处理部2604、容量改变检查处理部2605、迁移文件选择处理部2606、文件迁移处理部2607、文件追加处理部2608、文件删除处理部2609、删除时文件迁移处理部2610、以及容量追加处理部2611。下面将参考示出处理流程的流程图来描述由这些功能块执行的特定功能。
应该注意到分级存储控制程序2600不必须配置为被划分成这些功能块。分级存储控制程序2600可以具有任何配置,只要分级存储控制程序2600执行例子1的全部功能。此外,如上所述,由程序执行的功能在此称为“XX部”,模仿硬件的情况。
分级存储利用率管理表3000
图5示出分级存储利用率管理表3000的配置例子。分级存储利用率管理表3000存储由分级存储控制程序2600在处理执行时参考的数据。分级存储利用率管理表3000配置为包括存储空闲空间量表3100、存储成本系数表3200、用户成本分配表3300、用户成本分发表3400、用户理想利用率表3500和用户实际利用率表3600。
存储空闲空间量表3100具有存储设备ID列3101和空闲空间量列3102。存储设备ID列3101记录存储设备ID S1到S3,作为用于识别形成分级存储系统1000的存储设备1100到1300的标识。空闲空间量列3102以例如万亿比特(TB)记录每个存储设备S1到S3的空闲空间量3200。
存储设备S1到S3的空闲空间量由分级存储控制器2000的基本程序2500从存储设备S1到S3分别获取。
存储成本系数表3200
存储成本系数表3200存储对用户允许的每个存储设备中的每单位成本的空间量。成本通过管理员分配给每个用户。存储成本系数表3200具有存储设备ID列3201和存储成本系数列3202。
例如,在例子1中,如下所述每单位成本预先设置对用户允许的各个存储设备中的空间量:在存储设备S1中1GB(1100),在存储设备S2中10GB(1200),在存储设备S3中100GB(1300)。在这个例子中,设置使得存储设备S1、S2和S3以这样的顺序在性能上更高以及在每容量成本上更高。
存储成本系数表3200的值可以由管理员基于例如比特价格率或目录说明性能率来设置,比特价格率通过将存储设备S1到S3的容量除以获取的货币量而确定。可选地,分级存储控制器2000可以用于例如基本程序2500来实际测量每个存储设备S1到S3的I/O性能。在这种情况下,可以是指通过标准化每个存储设备的性能率而获得的值。在这个标准化中,存储设备的最低测量值被用作参考。
用户成本分配表3300
用户成本分配表3300存储由管理员分配给每个用户的对每个用户可用的成本。用户成本分配表3300具有作为用于识别用户的标识的用户ID列3301,以及可用成本列3302。可用成本列3302通过管理员基于用户A到C支付的费用来设置。如图5的例子所示,用户C的可用成本被设置为用户A和B的可用成本的80%。
用户成本分发表3400
用户成本分发表3400存储由用户A到C分发给存储设备S1到S3的可用成本。用户成本分发表3400具有存储设备ID列3401和分发成本列3402,指示由用户A到C分配给每个存储设备S1到S3的分发成本。
根据用户成本分配表3300中存储的分发给用户A、B或C的分发成本中的每个单个用户的需要来设置用户成本分发表3400。注意用户成本分发表3400中的初始值可以在管理员设置用户成本分配表3300时由分级存储控制器2000设置。具体地,可以通过将分配给用户的分发成本除以存储设备S1到S3的数目来获得初始值(在例子1的情况中分发成本被划分为三个相等部分)。
用户理想利用率表3500
对于每个存储设备S1到S3,用户理想利用率表3500存储对每个用户A到C可用的用户理想利用率。用户理想利用率表3500由分级存储控制器2000使用来限制分级存储系统1000的利用率。用户理想利用率表3500具有为每个用户A到C对存储设备S1到S3设置的存储设备ID列3501和理想利用率列3502。下面描述用户理想利用率表3500的值的设置和改变值的过程的细节。
用户实际利用率表3600
用户实际利用率表3600存储对每个存储设备S1到S3由用户实际使用的存储区域的空间量。用户实际利用率表3600具有存储设备ID列3601和指示对于每个用户A到C的存储设备S1到S3的实际利用率的实际利用率列3602。由例如分级存储控制器2000的基本程序2500从各个存储设备S1到S3获取由每个用户A到C对各个存储设备S1到S3的实际利用率。
分级存储系统1000执行的处理流程
下面将参考示出可用成本初始分发处理、可用成本分发改变处理、文件追加处理、文件删除处理,以及在容量被追加到存储设备S1到S3之后执行的处理的流程图来给出描述。所有这些处理都是在根据例子1的分级存储系统1000中执行的。如结合图4B所述,这些处理被实施为分级存储控制程序2600并且由分级存储控制器2000执行。注意假设在基本程序2500中实现与本发明的配置没有直接关系的现有存储设备控制处理,并且将省略其描述。在每个流程图中,附图标记S表示“步骤”。
可用成本初始分发处理
图6是示出根据例子1的可用成本初始分发处理的过程的例子的流程图。当用户或管理员通过客户端设备1500初始化可用成本分发时,这个处理由分级存储控制程序2600的初始分发处理部2601执行。
可用成本初始分发处理(S4000)涉及以下执行:首先,初始利用率计算处理(S5000),然后,初始容量检查处理(S6000)。下面将描述每个处理步骤。
理想利用率计算处理
图7是示出理想利用率计算处理的过程的例子的流程图。理想利用率计算处理(S5000)由分级存储控制器2600的理想利用率计算处理部2602执行。在处理(S5000)中,用于设置用户理想利用率表3500中存储的每个存储设备S1到S3的理想利用率3502的处理(S5100)对于所有存储设备从较高等级到较低等级进行重复(在例子1中,以从存储设备S1到S3的顺序)。在处理(S5100)中,通过将存储成本系数表3200中存储的管理员设置的成本系数3202乘以分发成本3402而获得理想利用率3502,其中分发成本是由用户分发的可用分发成本并且被存储在用户成本分发表3400中。
初始容量检查处理
图8是示出初始容量检查处理的过程的实例的流程图。通过分级存储控制器2600的初始容量检查处理部2603执行该过程。在该过程中使用被称为每个存储设备S1到S3的临时实际利用率的临时变量和溢出量。它们的初始值是零。在初始容量检查处理(S6000)中,对于所有存储设备S1到S3以从较高等级到较低等级的顺序重复下述过程。首先,对于通过将目标存储设备S1、S2或S3的临时实际利用率追加到用户理想利用率表3500中存储的目标存储设备S1、S2或S3的用户理想利用率而获得的值是否大于存储空闲空间量表3100中存储的目标存储设备S1、S2或S3的空闲空间量进行判断。
如果通过将临时实际利用率追加到理想利用率而获得的值等于或小于空闲空间量(在S6100中为否),然后对低一级的存储设备执行处理。如果通过将临时实际利用率追加到理想利用率而得到的值大于空闲空间量(S6100中为是),关于是否存在较低等级的存储设备进行判断(S6200)。如果不存在较低等级的存储设备(S6200为否),由指定的可用成本分发确定的理想利用率的总量的文件不能利用与存储设备S1到S3中每一个存储设备的当前空闲空间量来存储。由此,通过例如客户端设备1500的输出设备15向用户或管理员通知空间量短缺错误(S6300),并且处理结束。如果存在任何较低等级的存储设备(S6200为是),通过从临时实际利用率加上理想利用率而获得的值中减去空闲空间量获得溢出量(S6400)。然后,溢出量被追加到下一较低等级的存储设备S2或S3的临时实际利用率(S6500)。然后对低一级存储设备执行处理。
通过上述可用成本初始分发处理,分级存储控制器2000从给定的可用成本分发计算理想利用率,并且检查计算的理想利用率的总量的文件是否可以利用每个存储设备的当前空闲空间量来存储。如果不能存储理想利用率的总量的文件,向用户或管理员通知空间量短缺错误。
注意,分级存储控制器2000可以仅向管理员通知空间量短缺错误作为警告,并且允许设置用户理想利用率表3500。在这个例子中,当进行分级存储系统1000的操作时,管理员在用户A到C实际上追加文件以实际引起由于空间量短缺造成的错误之前采取措施,例如追加存储容量。
可用成本分发改变处理
图9是示出根据例子1的可用成本分发改变处理的过程的例子的流程图。当用户或管理员通过客户端设备1500在用户的基础上改变可用成本分发时由分级存储控制器2600的分发改变处理部2604执行处理。可用成本分发改变处理(S7000)涉及如下执行:首先理想利用率计算处理的执行(S5000),然后容量改变检查处理的执行(S8000),并且最后执行文件迁移处理(S10000)。下面将描述每个处理步骤。
容量改变检查处理
图10是示出容量改变检查处理的过程的例子的流程图。由分级存储控制器2600的容量改变检查处理部2605来执行该过程。在该过程中,使用称为每个存储设备S1到S3的临时利用率和溢出量的临时变量。临时利用率的初始值是在用户实际利用率表3600中存储的存储设备的用户实际利用率,并且溢出量的初始值是零。在容量改变检查处理(S8000)中,对于所有存储设备S1到S3从较高等级到较低等级重复下面的过程。
首先,关于目标存储设备的临时实际利用率是否大于存储空闲空间量表3100中存储的目标存储设备的空闲空间量作出判断(S8100)。如果临时实际利用率大于空闲空间量(S8100中为是),关于是否存在更低等级的存储设备作出判断(S8200)。如果不存在较低等级的存储设备(在S8200为是),通过例如客户端设备1500的输出设备15向用户或管理员通知空间量短缺错误(S8300),并且结束处理。如果存在较低等级的任何存储设备(S8200为是),通过从临时实际利用率中减去空闲空间量获得溢出量(S8400),并且执行稍后描述的迁移文件选择处理(S9000)。然后,当处理进行到与在第一判断步骤时执行的处理(S8100)相同的处理(S8500)时,临时实际利用率被判断为等于或小于空闲空间量。
如果在第一判断步骤(S8100)中临时实际利用率被判断为等于或小于空闲空间量(在S8100为否),进行目标存储设备S1、S2或S3的临时实际利用率是否大于用户理想利用率表3500中存储的目标存储设备的用户理想利用率3502的判断(S8500)。如果临时实际利用率大于理想利用率(S8500为是),关于是否存在更低等级的存储设备进行判断(S8600)。如果不存在较低等级的存储设备(S8600为否),通过例如客户端设备1500的输出设备15向用户或管理员通知空间量短缺错误(S8300),并且结束处理。如果存在较低等级的任何存储设备(S8600为是),通过从临时实际利用率中减去理想利用率获得溢出量(S8700),并且执行稍后描述的迁移文件选择处理(S9000)。然后,处理进行到用于低一级存储设备的处理。
迁移文件选择处理
图11是示出迁移文件选择处理的过程的例子的流程图。该过程由分级存储控制器2600的迁移文件选择处理部2606执行。在该过程中,从前面的过程接收溢出量作为执行自变量,并且使用称为迁移量的临时变量。迁移量的初始值是零。在迁移文件选择处理(S9000)中,首先关于是否存在没有被选择作为目标存储设备S1、S2或S3中的文件的迁移目标的未选择的文件进行判断(S9100)。在第一次执行过程中,在目标存储设备S1、S2或S3中存储的所有文件都处于未选择状态。
如果存在任何未选择文件(在S9100为是),从未选择文件中选择一个文件作为要被迁移的目标文件(S9200)。可以根据由管理员或用户定义的任何标准选择文件,然而,这里选择了最近没有被使用的上次访问的文件。然后,将选择的文件的大小加入到迁移量(S9300),并且判断迁移量是否小于溢出量(S9400)。如果迁移量小于溢出量(在S9400为是),处理返回到第一判断步骤(S9100)以选择另一个文件用于迁移。如果致力于等于或大于溢出量(在S9400为否),处理进行到与当第一判断步骤执行的处理(S9100)相同的处理(S9500)。不存在未选择的文件。
如果在第一判断步骤(S9100)中不存在未选择的文件(在S9100为否),从目标存储设备的临时实际利用率中减去迁移量(S9500)。然后,迁移量和溢出量中较大的一个被追加到直接低一级的存储设备的临时实际利用率(S9600),并且结束处理。通过这样的配置,在每个存储设备中,选择实际利用率超过理想利用率的适当量的文件以被迁移到更低等级的存储设备。
文件迁移处理
图12是示出文件迁移处理的过程的例子的流程图。文件迁移处理(S10000)由分级存储控制器2600的文件迁移处理部2607执行。在该过程中,对所有存储设备S1到S3从较高等级到较低等级重复下面的过程。首先,将迁移目标文件从直接高一级的存储设备迁移到目标存储设备(S10100)。此时,存储空闲空间量表3100中存储的迁移相关的存储设备的空闲空间量分别增加和减小了迁移目标文件的大小。然后,从用户实际利用率表3600中存储的直接高一级存储设备的用户实际利用率中减去迁移目标文件的大小(S10200)。最后,将迁移目标文件的大小追加到用户实际利用率表3600中存储的目标存储设备的用户实际利用率(S10300)。
通过上述可用成本分发改变处理,当基于用户改变可用成本分发时,分级存储控制器2000检查是否还可以在改变的设置中存储分级存储系统1000中已经存储的文件。如果文件不能被存储在改变的设置中,分级存储控制器2000不允许设置改变。
文件追加处理
图13是示出根据例子1的文件追加处理的过程的例子的流程图。该过程由分级存储控制器2600的文件追加处理部2608执行。在该过程中,使用称为每个存储设备的临时实际利用率的临时变量。临时实际利用率的初始值是用户实际利用率表3600中存储的目标存储设备的用户实际利用率。在文件追加处理(S11000)中,首先,将追加目标文件的大小追加到最高等级存储设备的临时实际利用率(S11100)。然后,关于临时实际利用率是否等于或小于用户理想利用率表3500中存储的存储设备的用户理想利用率3502,以及临时实际利用率是否还等于或小于存储空闲空间量表3100中存储的存储设备的空闲空间量(S11200)。
如果不满足上面的条件(S11200为否),执行容量改变检查处理(S8000)和文件迁移处理(S10000)。此后,处理进行到与满足该条件时执行的处理相同的处理。如果满足条件,追加目标文件被写入到最高等级的存储设备(S11300)。此时,存储空闲空间量表3100中存储的存储设备的空闲空间量3101减小了追加目标文件的大小。最后,追加目标文件的大小被追加到用户实际利用率表3600中存储的存储设备的用户实际利用率(S11400)。
通过上述文件追加处理,分级存储控制器2000执行容量改变检查处理(S8000)来检查是否可以追加超过存储空闲空间量表3100和用户理想利用率表3500的限制的大小的文件。然后,如果文件追加将引起空间量短缺,分级存储控制器2000可以通知这样的错误并且不允许文件追加。
文件删除处理
图14是示出根据例子1的文件删除处理的过程的例子的流程图。该过程由分级存储控制器2600的文件删除处理部2609执行。在该过程中,使用称为未使用的空间量的临时变量。未使用的空间量的初始值是零。在文件删除处理(S12000)中,首先,通过客户端设备1500的输入设备14,从存储删除目标文件的存储设备S1、S2或S3中删除由用户或管理员指定的删除目标文件(S12100)。此时,存储空闲空间量表3100中存储的存储设备S1、S2或S3的空闲空间量3101增加了删除目标文件的大小。然后,从用户实际利用率表3600中存储的存储设备的用户实际利用率中减去删除目标文件的大小(S12200)。
然后,关于是否存在任何较低等级的存储设备作出判断(S12300)。如果不存在处于较低等级的存储设备(在S12300为否),则结束处理。如果存在任何处于较低等级的存储设备(S12300为是),删除目标文件的大小被设置为未使用的空间量(S12400)。然后,对于直接低一级的存储设备执行稍后描述的删除时文件迁移处理(S13000),并且结束处理。
删除时文件迁移处理
图15是示出删除时文件迁移处理的过程的例子的流程图。该过程由分级存储控制器2600的删除时文件迁移处理部2610执行。在该过程中,从前一处理(即文件删除处理)接收未使用的空间量作为执行自变量。在删除时文件迁移处理中(S13000),首先,关于是否在目标存储设备S1、S2或S3中存在文件作出判断(S13100)。
如果在目标存储设备中不存在文件(S13100为否),关于在更低等级的存储设备中是否存在任何文件作出判断(S13200)。如果在更低等级的存储设备中不存在文件(S13200为否),则结束处理。如果在更低等级的存储设备中存在任何文件(步骤S13200为是),对于更低等级的存储设备执行删除时文件迁移处理(S13000)。
如果在目标存储设备S1、S2或S3中存在任何文件(在S13100为是),一个文件被选择作为迁移目标文件(S13300)。可以根据用户或管理员定义的任何标准选择该文件,然而,这里例如选择最近访问和使用的文件。然后,关于选择的文件的大小是否等于或小于未使用的空间量(S13400)。如果选择的文件的大小大于未使用的空间量(S13400为否),则结束处理。如果选择的文件的大小等于或小于未使用的空间量(S13400为是),选择的文件被迁移到直接高一级的存储设备(S13500)。此时,在存储空闲空间量表3100中存储的直接高一级存储设备空闲空间量3101减少了迁移目标文件的大小(在下面的处理S12000中追加目标存储设备的空闲空间量)。
然后,将迁移目标文件的大小追加到用户实际利用率表3600中存储的直接高一级存储设备的用户实际利用率3601(S13600)。然后,对于作为删除目标文件的迁移目标文件执行文件删除处理(S12000)。最后,从未使用的空间量中减去迁移目标文件的大小(S13800),并且处理返回到第一判断步骤(S13100)。
通过上述文件删除处理,当删除较高等级的存储设备中存储的文件时,分级存储控制器2000可以根据文件删除所生成的未使用的空间量将较低等级存储设备中存储的文件迁移到较高等级存储设备。
容量追加处理
图16是示出根据例子1的存储设备的容量追加处理的过程的例子的流程图。该过程由分级存储控制器2600的容量追加处理部2611执行。在该过程中,使用称为未使用的空间量的临时变量,如同在删除时迁移文件处理的情况中。未使用的空间量的初始值是零。注意假设将容量物理地追加到存储设备S1到S3的过程和用于管理现有存储设备的过程(其与本发明没有直接关系)由例如分级存储控制器2000的基本程序2500执行,并且省略对其的描述。
此外,可以对使用分级存储系统1000的每个用户A到C重复执行下面的处理。为了避免对用户A到C中特定的一个不均匀地执行处理,每次重复迁移一个文件时处理可以被切换到用户A到C中的下一个直到不再留下任何迁移目标文件或空闲空间量。在容量追加处理(S14000)中,首先,多于用于容量增大的每个存储设备S1到S3,它的容量增大量被追加到存储空闲空间量表3100中存储的空闲空间量3101(S14100)。
然后,关于用户实际利用率表3600中存储的目标存储设备的用户实际利用率是否小于用户理想利用率表3500中存储的存储设备的用户理想利用率作出判断(S14200)。如果实际利用率等于或大于理想利用率(S14200为否),则结束处理。如果实际利用率小于理想利用率(S14200为是),未使用的空间量被设置为通过从理想利用率减去实际利用率而获得的值(S14300)。
然后,关于未使用的空间量是否等于或小于存储空闲空间量表3100中存储的目标存储设备S1、S2或S3的空闲空间量3101作出判断(S14400)。如果未使用空间量大于空闲空间量(S14400为否),未使用空间量被设置为与空闲空间量3101对应的值(S14500),并且处理进行到与当未使用空间量等于或小于空闲空间量时执行的处理相同的处理。如果未使用的空间量等于或小于空闲空间量(在S14400为是),对直接低一级的存储设备执行删除时文件迁移处理(S13000)。
通过上述容量追加处理,分级存储控制器2000可以将文件从对其追加容量的某一等级的存储设备迁移到较低级别的存储设备。此外,当新的等级加入到分级存储系统1000时,分级存储控制器2000可以将新的存储等级的条目加入到用户成本分发表3400、用户理想利用率表3500和用户实际利用率表3600中的每一个,将它们的值设为零,并且执行上述容量追加处理。
总的来说,在根据例子1的分级存储系统1000中,分级存储系统1000使用用户理想利用率表3500和用户实际利用率表3600来限制利用率。通过使用管理员设置的存储成本系数表3200和用户成本分配表3300可以有效地限制利用率。
此外,根据预期的目的,用户可以设置用户成本分发表3400来灵活地将存储设备S1到S3的利用率的限制设置在被分配的可用成本内。
例子2
下面将关于基于另一实施例的本发明的分级存储系统给出描述。图17是示出信息处理系统1的配置例子,信息处理系统1包括根据本发明的例子2的可去复制分级存储系统15000。可去复制分级存储系统15000包括可去复制分级存储控制器16000来取代例子1的分级存储系统1000中包括的分级存储控制器2000。关于与例子1相同结构的元件,将省略对其的描述。
图18是示出可去复制分级存储控制器16000的配置实例的图表。可去复制分级存储控制器16000包括可去复制分级存储控制程序161000,来取代例子1的分级存储控制器2000中包括的分级存储控制程序2600。除了例子1中的分级存储控制程序2600的功能之外,可去复制分级存储控制程序16100具有在存储设备中和在存储设备之间的文件去复制的功能。本例子中描述的文件可去复制功能除了传统去复制功能之外,还具有更新分级存储利用率管理表3000的功能。在传统去复制功能中,如果在多个存储设备S1到S3中存在相同内容的文件,则删除复制的文件数据,保留相同内容文件的文件管理信息,例如GNS文件路径或创建日期,并且仅一条文件数据。注意传统去复制技术包括例如现有技术,例如涉及基于文件检测和删除复制的数据的单个实例存储器(SIS),省略对其的具体描述。
图19示出在去复制操作时的存储设备1200的文件存储条件。存储设备1200(S2)具有用户A使用的S2A区域17000,以及用户B使用的S2B区域17100。文件1(17200)存储在S2A区域17000中,并且文件2(17300)和文件3(17400)存储在S2B区域17100。
假设通过使用传统的去复制技术,文件1(17200)、文件2(17300)和文件3(17400)被检测为具有相同的内容,并且由此作为去复制的目标。当删除相同用户使用的区域中的被复制的文件时,根据例子2的可去复制分级存储控制器16000将用户实际利用率表3600中的存储设备的用户实际利用率3602减小被删除文件的大小。然而,当删除由不同用户使用的区域中的复制文件时,可去复制分级存储控制器1600不减少用户实际利用率表3600中为用户记录的实际利用率3602。具体地,假设执行去复制操作以保留文件1(17200)并且删除文件2(17300)和文件3(17400)。在这种情况下,在用户实际利用率表3600中存储的用户A的存储设备S2的实际利用率3602没有改变,而用户B的存储设备S2的实际利用率3602减小了由可去复制分级存储控制器删除的文件的大小。此外,可去复制分级存储控制器16000将在存储空闲空间量表3100中存储的存储设备S2的空闲空间量301增加被删除的文件的大小。
在去复制操作之后,完成设置使得对文件1(17200)执行从客户端设备1500对文件2(17300)或文件3(17400)的读取访问。此外,完成设置使得在文件1(17200)的数据被复制作为文件2(17300)或文件3(17400)之后执行从客户端设备1500对文件2(17300)或文件3(17400)的写访问。在这种情况下,用户实际利用率表3600没有改变,并且没有发生超过用户理想利用率表3500的限制之外的文件存储。
图20示出在去复制操作的时候存储设备1100(S1)和存储设备1200(S2)的文件存储条件。存储设备S1具有用户A使用的S1A区域18000,其中存储了文件4(18100)。此外,在作为直接低一级存储设备S1的存储设备S2中,文件5(18200)存储在用户A使用的S2A区域17000中,并且文件6(18300)存储在用户B使用的S2B区域17100。
假设通过使用传统去复制技术,文件4(18100)、文件5(18200)和文件6(18300)被检测为具有相同的内容,并且由此作为去复制的目标。当对于处于不同等级的存储设备S1和S2执行去复制时,根据例子2的可去复制分级存储控制器16000留下在较高等级的存储设备S1中存储的文件,并且删除在较低等级的存储设备S2中存储的复制文件。这里,没有减小在较低等级存储设备S2的用户实际利用率表3600中记录的实际利用率3602。由此,在这种情况下,去复制操作没有改变用户实际利用率表3600,并且将存储空闲空间量表3100中存储的存储设备S2的空闲空间量3101增加了两个被删除的文件的大小。
在去复制操作之后,完成设置使得对文件4(18100)执行从客户端设备1500对文件5(18200)或文件6(18300)的读取访问。此外,完成设置使得在文件4(18100)的数据被复制作为文件5(18200)或文件6(18300)之后执行从客户端设备1500对文件5(18200)或文件6(18300)的写访问。此外,在这种情况下,用户实际利用率表3600没有改变,并且没有发生超过用户理想利用率表3500的限制之外的文件存储。此外,为了从S1A区域(18000)删除文件4(18100),可去复制分级存储控制器16000可以复制文件4(18100)的内容作为文件5(18200)或文件6(18300)的内容,并且然后执行例子1中描述的文件删除处理。
总的来说,在根据例子2的可去复制分级存储系统15000中,由可去复制分级存储控制器16000执行的可去复制操作可以删除被复制的文件的数据,由此增加存储设备的空闲空间量,并且由此实现存储设备的区域的有效使用,同时通过使用例子1中的用户理想利用率表3500来实现利用率的限制。
简而言之,根据本发明的实施例,在分级存储系统中,管理员可以对于每个存储设备定义成本系数,并且将可用成本分配给每个用户。由此,可以有效地设置利用率的限制。此外,根据期望的目的,用户可以设置用户成本分发表3400来灵活地将存储设备的利用率的限制设置在被分配的可用成本内。
尽管基于例子参考附图描述的本申请的发明,应该理解到本发明不局限于这些例子,并且包括任何修改和等效替换而不偏离本发明的基本概念和范围。
Claims (15)
1.一种存储系统,通信地连接至外部设备并且提供由外部设备使用的存储区域,所述存储系统包括:
不同性能的多个存储装置(1100,1200,1300),每个存储装置具有提供存储区域的存储介质;以及
存储控制器(2000),用于保存:
各个存储装置的存储成本系数(3200),所述存储成本系数是使用各个存储装置(1100,1200,1300)所需的利用率成本的指标,并且根据各个存储装置(1100,1200,1300)的性能而被设置,
关于从外部设备使用存储系统的每个用户的用户成本分发信息(3300),所述用户成本分配信息是管理员分配给每个用户的可用成本指标;以及
用户成本分发信息(3400),对每个用户定义了分配给各个用户的可用成本比例,所述各个用户为被分配给存储装置(1100,1200,1300)中的每一个的各个用户,
其中,存储控制器(2000)用于基于存储成本系数(3200)和用户成本分发信息(3400),对每个存储装置(1100,1200,1300)计算每个用户的理想利用率,所述理想利用率指示对于各个用户,各个存储装置(1100,1200,1300)的可用容量;
当接收到用户的追加文件数据时,如果已经存储在具有最高性能的存储装置(1100)中的追加文件数据和用户的数据的总量小于用户对于具有最高性能的存储装置(1100)的理想利用率,则将用户的追加文件数据存储在具有最高性能的存储装置(1100)中,
当从多个存储装置(1100,1200,1300)的存储装置删除用户的数据时,将在具有比删除数据的存储装置更低性能的存储装置(1200,1300)中存储的用户的至少一个文件迁移至删除数据的存储装置。
2.根据权利要求1所述的存储系统,其中,
对于每个用户,存储控制器(2000)在多个存储装置(1100,1200,1300)之中将理想利用率分配给处于具有最高性能的最高等级的存储装置(1100),如果理想利用率超过存储装置的空闲空间量,则判断是否存在处于具有比处于最高等级的存储装置(1100)性能低的较低等级的存储装置,并且如果判断出存在较低等级的存储装置,则将从处于较高等级的存储装置的空闲空间量的溢出量分配给处于较低等级的存储装置,并且对于处于具有更低性能的更低等级的存储装置重复分配步骤;
如果判断出通过使用不超过各个存储装置的空闲空间总量的空间量不能将理想利用率分配给多个存储装置(1100,1200,1300),则存储控制器(2000)将指示存储装置(1100,1200,1300)中空间量短缺的空间量短缺错误信息发送给用户正在使用的外部设备;
如果改变用户成本分发信息(3400),则存储控制器(2000)使用改变后的用户成本分发信息(3400)和存储成本系数(3200)来计算每个存储装置(1100,1200,1300)的理想利用率,存储控制器(2000)将对每个用户获取的存储装置(1100,1200,1300)的实际利用率以从具有最高性能的存储装置的顺序分配给各个存储装置(1100,1200,1300),每个实际利用率以既不超过对应的一个存储装置(1100,1200,1300)的空闲空间量,也不超过分配给对应的一个存储装置(1100,1200,1300)的计算的理想利用率而被分配,并且存储控制器(2000)将大小等于实际利用率超过理想利用率的量的数据从存储装置(1100,1200,1300)中处于较高等级的存储装置迁移到处于较低等级的存储装置;
如果判断出通过使用不超过每个存储装置(1100,1200,1300)的空闲空间量和理想利用率中任一个的空间量不能将改变的实际利用率分配给多个存储装置(1100,1200,1300),则存储控制器(2000)将指示存储装置(1100,1200,1300)中空间量短缺的空间量短缺错误信息发送给用户正在使用的外部设备;以及
存储控制器(2000)基于各个存储装置(1100,1200,1300)的性能测量值的比例来设置存储成本系数(3200),并且性能测量值包括存储装置(1100,1200,1300)的数据I/O性能。
3.根据权利要求1所述的存储系统,其中,
所述多个存储装置(1100,1200,1300)中的任何一个包括SAS兼容磁盘设备、SATA兼容磁盘设备和磁带设备的组合中的至少任一个,
所述存储控制器(2000)包括:
存储成本系数表,存储所述存储成本系数(3200);
用户成本分配表,存储所述用户成本分配信息;
用户成本分发表,存储所述用户成本分发信息(3400);以及
存储空闲空间量表,保存从各个存储装置(1100,1200,1300)获取的空闲空间量,
对于每个用户,所述存储控制器(2000)根据从存储成本系数表读取的所述存储成本系数(3200)和从用户成本分发表读取的所述用户成本分发信息(3400),来计算每个存储装置(1100,1200,1300)的理想利用率;并且
对于每个用户,所述存储控制器(2000)以从最高到最低的性能的顺序设置作为存储装置(1100,1200,1300)而被包括的SAS兼容磁盘设备、SATA兼容磁盘设备和磁带设备中的每一个的理想利用率,理想利用率被设置为不超过从存储空闲空间量表读取的每个存储装置(1100,1200,1300)的空闲空间量的值。
4.根据权利要求1所述的存储系统,其中,
对于每个用户,存储控制器(2000)
向多个存储装置(1100,1200,1300)中处于具有最高性能的最高等级的存储装置(1100)分配理想利用率,
如果理想利用率超过存储装置的空闲空间量,则判断是否存在处于具有比处于最高等级的存储装置(1100)更低性能的较低等级的存储装置(1200,1300),并且
如果判断出存在处于较低等级的存储装置(1200,1300),则将处于较高等级的存储装置的空闲空间量的溢出量分配给处于较低等级的存储装置,并且对处于更低等级的存储装置重复分配步骤。
5.根据权利要求4所述的存储系统,其中,
如果判断出通过使用不超过各个存储装置(1100,1200,1300)的空闲空间总量的空间量不能将理想利用率分配给多个存储装置(1100,1200,1300),则存储控制器将指示存储装置(1100,1200,1300)中空间量短缺的空间量短缺错误信息发送给用户正在使用的外部设备。
6.根据权利要求1所述的存储系统,其中,
如果改变用户成本分发信息(3400),则存储控制器(2000)使用改变的用户成本分发信息(3400)和存储成本系数(3200)来计算每个存储装置(1100,1200,1300)的理想利用率,
存储控制器(2000)将对每个用户获取的存储装置(1100,1200,1300)的实际利用率以从具有最高性能的存储装置的顺序分配给各个存储装置(1100,1200,1300),每个实际利用率以既不超过对应的一个存储装置的空闲空间量,也不超过分配给对应的一个存储装置的计算的理想利用率而被分配,并且
存储控制器(2000)将大小等于实际利用率超过理想利用率的量的数据从存储装置中处于较高等级的存储装置迁移到处于较低等级的存储装置。
7.根据权利要求6所述的存储系统,其中,
如果判断出通过使用不超过每个存储装置(1100,1200,1300)的空闲空间量和理想利用率中任一个的空间量不能将改变的实际利用率分配给多个存储装置(1100,1200,1300),则存储控制器(2000)将指示存储装置(1100,1200,1300)中空间量短缺的空间量短缺错误信息发送给用户正在使用的外部设备。
8.根据权利要求1所述的存储系统,其中,
存储控制器(2000)基于各个存储装置(1100,1200,1300)的性能测量值的比例来设置存储成本系数(3200),并且
性能测量值包括存储装置(1100,1200,1300)的数据I/O性能。
9.根据权利要求1所述的存储系统,其中,
存储控制器(2000)具有判断在存储装置(1100,1200,1300)中是否存储了两个或更多相同的数据对象的去复制功能,并且如果判断出存储了两个或更多相同数据对象,则保持所述两个或更多相同数据对象中的一个相同数据对象以及该相同数据对象上的元数据,同时删除其他相同数据对象。
10.根据权利要求9所述的存储系统,其中,
每个存储装置(1100,1200,1300)中具有为从外部设备使用存储系统的每个用户设置的用户存储区域,并且存储控制器(2000)确定在任意存储装置(1100,1200,1300)的相同用户存储区域中是否存储了两个或更多相同数据对象,并且
如果判断出在相同用户存储区域中存储了两个或更多相同数据对象,则存储控制器(2000)保持所述两个或更多相同数据对象中的一个相同数据对象以及该相同数据对象上的元数据,同时删除其他相同数据,并且还从对每个存储装置(1100,1200,1300)获取的存储区域的实际利用率中减去与删除的数据对象的大小相等的空间量。
11.一种用于存储系统的利用率管理方法,所述存储系统通信地连接至外部设备并且提供由外部设备使用的存储区域,
所述存储系统包括:
不同性能的多个存储装置(1100,1200,1300),每个存储装置具有提供存储区域的存储介质;以及
存储控制器(2000),用于保存:
各个存储装置(1100,1200,1300)的存储成本系数(3200),所述存储成本系数(3200)是使用各个存储装置(1100,1200,1300)所需的利用成本的指标,并且根据各个存储装置(1100,1200,1300)的性能而被设置,
关于从外部设备使用存储系统的每个用户的用户成本分配信息(3300),所述用户成本分配信息(3300)是分配给每个用户的可用成本指标;以及
用户成本分发信息(3400),对每个用户定义了分配给各个用户的可用成本比例,所述各个用户为被分配给存储装置(1100,1200,1300)中的每一个的各个用户,
所述利用率管理方法包括:
存储控制器(2000)基于存储成本系数(3200)和用户成本分发信息(3400)为每个存储装置(1100,1200,1300)计算每个用户的理想利用率,所述理想利用率指示对于各个用户,各个存储装置(1100,1200,1300)的可用容量;
当接收到用户的追加文件数据时,如果已经存储在具有最高性能的存储装置(1100)中追加文件数据和用户的数据的总量小于用户对于具有最高性能的存储装置(1100)的理想利用率,则存储控制器(2000)将用户的追加文件数据存储在具有最高性能的存储装置(1100)中;以及
当从多个存储装置(1100,1200,1300)的存储装置删除用户的数据时,将在具有比删除数据的存储装置更低性能的存储装置(1200,1300)中存储的用户的至少一个文件迁移至删除数据的存储装置。
12.根据权利要求11所述的用于存储系统的利用率管理方法,其中,
对于每个用户,存储控制器(2000)向多个存储装置(1100,1200,1300)中处于具有最高性能的最高等级的存储装置(1100)分配理想利用率,
如果理想利用率超过存储装置的空闲空间量,则判断是否存在处于具有比处于最高等级的存储装置(1100)性能低的较低等级的存储装置,如果判断出存在处于较低等级的存储装置,则将从处于较高等级的存储装置(1100)的空闲空间量的溢出量分配给处于较低等级的存储装置,并且对于处于具有更低性能的更低等级的存储装置重复分配步骤。
13.根据权利要求12所述的用于存储系统的利用率管理方法,其中,
如果判断出通过使用不超过各个存储装置(1100,1200,1300)的空闲空间总量的空间量不能将理想利用率分配给多个存储装置(1100,1200,1300),则存储控制器(2000)将指示存储装置(1100,1200,1300)中空间量短缺的空间量短缺错误信息发送给用户正在使用的外部设备。
14.根据权利要求11所述的用于存储系统的利用率管理方法,其中,
如果改变用户成本分发信息(3400),则存储控制器(2000)使用改变的用户成本分发信息(3400)和存储成本系数(3200)来计算每个存储装置(1100,1200,1300)的理想利用率,存储控制器(2000)将对每个用户获取的存储装置(1100,1200,1300)的实际利用率以从具有最高性能的存储装置(1100)的顺序分配给各个存储装置(1100,1200,1300),每个实际利用率以既不超过对应的一个存储装置(1100,1200,1300)的空闲空间量,也不超过分配给对应的一个存储装置(1100,1200,1300)的计算的理想利用率而被分配,并且存储控制器(2000)将大小等于实际利用率超过理想利用率的量的数据从存储装置(1100,1200,1300)中处于具有较高性能的较高等级的存储装置迁移到处于具有较低性能的较低等级的存储装置。
15.根据权利要求14所述的用于存储系统的利用率管理方法,其中,
如果判断出通过使用不超过每个存储装置(1100,1200,1300)的空闲空间量和理想利用率中任一个的空间量不能将改变的实际利用率分配给多个存储装置(1100,1200,1300),则存储控制器(2000)将指示存储装置(1100,1200,1300)中空间量短缺的空间量短缺错误信息发送给用户正在使用的外部设备。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/002074 WO2010131292A1 (en) | 2009-05-13 | 2009-05-13 | Storage system and utilization management method for storage system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102369506A CN102369506A (zh) | 2012-03-07 |
CN102369506B true CN102369506B (zh) | 2015-05-20 |
Family
ID=41323596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980157828.5A Expired - Fee Related CN102369506B (zh) | 2009-05-13 | 2009-05-13 | 存储系统及存储系统的利用率管理方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8225066B2 (zh) |
EP (1) | EP2430516B1 (zh) |
JP (1) | JP5185445B2 (zh) |
CN (1) | CN102369506B (zh) |
WO (1) | WO2010131292A1 (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012008854A (ja) * | 2010-06-25 | 2012-01-12 | Hitachi Ltd | ストレージ仮想化装置 |
US9116850B2 (en) * | 2010-12-14 | 2015-08-25 | Commvault Systems, Inc. | Client-side repository in a networked deduplicated storage system |
US8996450B1 (en) * | 2011-12-31 | 2015-03-31 | Teradata Us, Inc. | System and method for allocating resources in a mixed SSD and HDD storage environment |
JP5998517B2 (ja) * | 2012-02-24 | 2016-09-28 | 日本電気株式会社 | ストレージシステム |
JP5798258B2 (ja) * | 2012-03-29 | 2015-10-21 | ヒタチ データ システムズ コーポレーションHitachi Datasystems Corporation | 記憶階層化のためのコンテンツ選択 |
CN104471524B (zh) * | 2012-07-18 | 2017-07-04 | 株式会社日立制作所 | 存储系统和存储控制方法 |
CN103577117B (zh) * | 2012-08-09 | 2017-07-25 | 深圳市腾讯计算机系统有限公司 | 数据存储方法及装置 |
US8930328B2 (en) | 2012-11-13 | 2015-01-06 | Hitachi, Ltd. | Storage system, storage system control method, and storage control device |
US9396459B2 (en) | 2013-03-12 | 2016-07-19 | Netapp, Inc. | Capacity accounting for heterogeneous storage systems |
JP5853996B2 (ja) * | 2013-06-10 | 2016-02-09 | コニカミノルタ株式会社 | 情報システム、情報機器およびコンピュータプログラム |
CN103530355A (zh) * | 2013-10-10 | 2014-01-22 | 曙光信息产业(北京)有限公司 | 数据对象的管理方法和装置 |
JP6075571B2 (ja) * | 2014-10-31 | 2017-02-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 階層型ストレージ・システムでのファイルの移動方法 |
JP6394315B2 (ja) * | 2014-11-20 | 2018-09-26 | 富士通株式会社 | ストレージ管理装置、性能調整方法及び性能調整プログラム |
CN105739911B (zh) * | 2014-12-12 | 2018-11-06 | 华为技术有限公司 | 存储数据的分配方法、装置以及存储系统 |
US11829333B2 (en) * | 2015-05-08 | 2023-11-28 | Chicago Mercantile Exchange Inc. | Thread safe lock-free concurrent write operations for use with multi-threaded in-line logging |
US11003381B2 (en) * | 2017-03-07 | 2021-05-11 | Samsung Electronics Co., Ltd. | Non-volatile memory storage device capable of self-reporting performance capabilities |
US10831371B2 (en) * | 2018-01-02 | 2020-11-10 | International Business Machines Corporation | Quota controlled movement of data in a tiered storage system |
CN111858144A (zh) * | 2019-04-25 | 2020-10-30 | 伊姆西Ip控股有限责任公司 | 存储管理的方法、设备和计算机程序产品 |
US11726684B1 (en) * | 2021-02-26 | 2023-08-15 | Pure Storage, Inc. | Cluster rebalance using user defined rules |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1570842A (zh) * | 2003-03-27 | 2005-01-26 | 株式会社日立制作所 | 存储装置系统 |
CN101311911A (zh) * | 2007-05-23 | 2008-11-26 | 株式会社日立制作所 | 分级存储系统及其数据迁移方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0792775B2 (ja) * | 1989-12-11 | 1995-10-09 | 株式会社日立製作所 | 外部記憶装置群のスペース管理方法 |
JPH09265416A (ja) * | 1996-03-28 | 1997-10-07 | Hitachi Ltd | 階層的情報管理方法及びその実施装置 |
US6330621B1 (en) * | 1999-01-15 | 2001-12-11 | Storage Technology Corporation | Intelligent data storage manager |
JP4677115B2 (ja) * | 2001-04-17 | 2011-04-27 | 株式会社日立製作所 | データ記憶装置の貸し出し課金方法 |
JP2004110290A (ja) * | 2002-09-17 | 2004-04-08 | Sony Corp | データストレージシステム |
JP4281658B2 (ja) | 2004-09-24 | 2009-06-17 | 日本電気株式会社 | ファイルアクセスサービスシステムとスイッチ装置及びクオータ管理方法並びにプログラム |
US7404039B2 (en) | 2005-01-13 | 2008-07-22 | International Business Machines Corporation | Data migration with reduced contention and increased speed |
JP4933861B2 (ja) * | 2005-09-22 | 2012-05-16 | 株式会社日立製作所 | ストレージ制御装置、データ管理システムおよびデータ管理方法 |
US20080155214A1 (en) | 2006-12-21 | 2008-06-26 | Hidehisa Shitomi | Method and apparatus for file system virtualization |
JP2010097359A (ja) | 2008-10-15 | 2010-04-30 | Hitachi Ltd | ファイル管理方法および階層管理ファイルシステム |
-
2009
- 2009-05-13 WO PCT/JP2009/002074 patent/WO2010131292A1/en active Application Filing
- 2009-05-13 EP EP09787879.7A patent/EP2430516B1/en not_active Not-in-force
- 2009-05-13 JP JP2011532397A patent/JP5185445B2/ja not_active Expired - Fee Related
- 2009-05-13 CN CN200980157828.5A patent/CN102369506B/zh not_active Expired - Fee Related
- 2009-05-13 US US12/526,779 patent/US8225066B2/en active Active
-
2012
- 2012-06-21 US US13/529,626 patent/US8612715B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1570842A (zh) * | 2003-03-27 | 2005-01-26 | 株式会社日立制作所 | 存储装置系统 |
CN101311911A (zh) * | 2007-05-23 | 2008-11-26 | 株式会社日立制作所 | 分级存储系统及其数据迁移方法 |
Also Published As
Publication number | Publication date |
---|---|
US20110179247A1 (en) | 2011-07-21 |
EP2430516A1 (en) | 2012-03-21 |
US20120265961A1 (en) | 2012-10-18 |
JP5185445B2 (ja) | 2013-04-17 |
EP2430516B1 (en) | 2018-07-11 |
US8612715B2 (en) | 2013-12-17 |
JP2012516479A (ja) | 2012-07-19 |
CN102369506A (zh) | 2012-03-07 |
WO2010131292A1 (en) | 2010-11-18 |
US8225066B2 (en) | 2012-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102369506B (zh) | 存储系统及存储系统的利用率管理方法 | |
US9477431B1 (en) | Managing storage space of storage tiers | |
US9395937B1 (en) | Managing storage space in storage systems | |
US9459809B1 (en) | Optimizing data location in data storage arrays | |
US10031703B1 (en) | Extent-based tiering for virtual storage using full LUNs | |
US7441096B2 (en) | Hierarchical storage management system | |
US9658779B2 (en) | Computer system and control method for computer system | |
US9710187B1 (en) | Managing data relocation in storage systems | |
US9817766B1 (en) | Managing relocation of slices in storage systems | |
US9529545B1 (en) | Managing data deduplication in storage systems based on storage space characteristics | |
US8402238B2 (en) | Storage apparatus and control method thereof | |
US8762639B2 (en) | Storage system, storage apparatus, and optimization method of storage areas of storage system | |
US9542125B1 (en) | Managing data relocation in storage systems | |
US20080168228A1 (en) | Virtualization engine and method, system, and computer program product for managing the storage of data | |
US10552056B2 (en) | Data storage system tiering accounting for limited write endurance | |
US9875043B1 (en) | Managing data migration in storage systems | |
US9250813B2 (en) | Storage system coupled to a host computer and a management device | |
US10481820B1 (en) | Managing data in storage systems | |
CN108628541A (zh) | 一种文件存储的方法、装置及存储系统 | |
US10048885B1 (en) | Managing reclaiming storage space in file systems | |
US10168959B2 (en) | Metadata-based bypassing in a controller | |
US10380066B2 (en) | File system with multi-class in situ tiered archiving | |
WO2019084917A1 (zh) | 存储系统可用容量计算方法及装置 | |
US20170060980A1 (en) | Data activity tracking | |
US20120254583A1 (en) | Storage control system providing virtual logical volumes complying with thin provisioning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150520 |