CN1794208A - 大容量存储设备和用于动态管理大容量存储设备的方法 - Google Patents

大容量存储设备和用于动态管理大容量存储设备的方法 Download PDF

Info

Publication number
CN1794208A
CN1794208A CNA2005101251690A CN200510125169A CN1794208A CN 1794208 A CN1794208 A CN 1794208A CN A2005101251690 A CNA2005101251690 A CN A2005101251690A CN 200510125169 A CN200510125169 A CN 200510125169A CN 1794208 A CN1794208 A CN 1794208A
Authority
CN
China
Prior art keywords
data
secondary storage
storage devices
logical volume
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101251690A
Other languages
English (en)
Other versions
CN100399301C (zh
Inventor
詹斯-彼得·阿克尔拜恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1794208A publication Critical patent/CN1794208A/zh
Application granted granted Critical
Publication of CN100399301C publication Critical patent/CN100399301C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24561—Intermediate data storage techniques for performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大容量存储设备和用于动态管理大容量存储设备的方法。本发明描述了一种用于管理大容量存储设备的方法，该大容量存储设备包括至少一个二级存储设备和至少一个可连接到所述二级存储设备的三级存储设备，其中二级存储设备被分区为独立的逻辑卷，逻辑卷被分配给用于存储不同应用的数据的不同文件系统。其中，计算在该二级存储设备上存储的每个数据的个体分数，如果超过由高阈值定义的二级存储设备的上限，则按照数据的个体分数顺序将数据交换到三级存储设备，直到达到由低阈值定义的二级存储设备的已用容量的数量的下限，其中逻辑卷的大小被动态改变，各个逻辑卷的大小被改变为与仍在二级存储设备上并且属于该特定逻辑卷的数据成正比。

Description

大容量存储设备和用于动态管理 大容量存储设备的方法
技术领域
本发明涉及根据权利要求1的用于管理大容量存储设备的方法，该大容量存储设备包括至少一个二级存储设备和至少一个可连接到所述二级存储设备的三级存储设备，其中所述二级存储设备被分区为独立的逻辑卷，这些独立的逻辑卷被分配给用来存储不同应用的数据的不同文件系统。此外，本发明还涉及根据权利要求12的计算机程序产品和根据权利要求13的大容量存储设备。
背景技术
现今，存储资源管理SRM和分级存储管理HSM是两个应用领域，在这两个应用领域中，用不同类型的软件管理大容量存储设备的资源。这些资源包括逻辑卷和分配到所述逻辑卷的文件系统。
逻辑卷驻留在物理存储设备上。它们被提供给一组主机，这组主机管理这些逻辑卷上的文件系统。主机可以独立地管理多个文件系统。需要多个逻辑卷来存储数据。在统一的存储环境中，它们驻留在单个存储设备上，例如企业存储服务器ESS。此外，通过使用存储区域网络，一组主机可以共享单个存储设备。提供给主机的所有逻辑卷共享存储设备内的同一物理盘空间/硬盘。如果单个文件系统需要更多空间，则可以扩展逻辑卷。如果需要更小的存储容量，则可以调整逻辑卷大小来满足需求。SRM软件就用于此。可以手动调整，或者监控并自动调整。
HSM解决方案允许通过定义存储策略，从而将文件存储到二级和三级存储设备，例如盘存储设备(二级)和磁带存储设备(三级)。HSM允许透明访问这种数据。如果文件驻留在磁带上，则其将自动调用，以使应用无需知道文件的存储位置。这使HSM不同于归档解决方案，在归档解决方案中应用需要知道归档数据的位置。
通常，根据文件的大小和年龄给出策略，但是也可以应用考虑更多文件属性的策略。旧并且很大的数据被称作参考数据，这是由于其存在是为了参考，例如在大多情形中实现由法律给出的保留策略。不常被访问的诸如文件的数据需要被保留，并且最好存储在三级存储设备上。
现今的HSM解决方案独自管理每个文件系统。可以定义高阈值和低阈值来保证在盘存储设备上驻留的最小和最大数据量。这允许文件系统不至于遇到盘空间用尽的状况。此外，文件系统被周期性地扫描，以确定迁移的候选。在这里，文件的大小也是有效标准，因为大文件消耗大量盘空间。如果它们被迁移到磁带，则可以节省大量盘空间。因此，HSM解决方案确定每个具体文件系统中的每个数据的分数，以定量度量迁移候选的资格。通过应用基于年龄和大小的策略，这些属性可以用来计算反映文件的资格的分数。也可以使用考虑了不同属性组的策略来计算各个文件的资格的定量度量。在已用盘存储容量的数量超过高阈值时，HSM应用迁移在每个具体文件系统中的具有最高分数的数据。只要已用盘容量的量在文件系统的低阈值之上，这就将进行。所以HSM应用要确保使已用盘容量的量在这两个阈值之间。代替阈值的其他触发器也可以基于为每个文件系统定义的策略而被应用来允许每个文件的迁移状态。
该现有技术的缺陷在于：如果文件系统包括大量频繁被访问的活动数据，这些数据中的某些也被HSM从盘存储设备迁移到磁带存储设备，这是由于HSM仅考虑具体文件系统内要被迁移的数据的分数。因为常使用这些数据，所以由于常在盘和磁带之间交换这些数据，这将损失物理存储设备的性能。该现有技术的另一个缺陷在于：分配的文件系统的逻辑卷的大小不能动态改变，这是由于在SRM做出反应并且自动调整分配的文件系统的逻辑卷的大小之前，HSM将会把活动数据从活动文件系统迁移到磁带。此外，不同文件系统的默认大小是无用的，这是由于在不同文件系统中包含的数据在不同的时期内可能更活动或更不活动。如果使用其他触发器而不是阈值用于数据迁移，则这导致相当的情形。
发明内容
本发明的技术目的
本发明的目的在于开发一种方法、一种计算机程序产品和大容量存储设备，该方法用于管理物理存储设备，确保在被分区为多于一个逻辑卷的分级存储系统上实现更好的活动数据和非活动数据的放置，以提高大容量存储设备的性能，所以计算机程序产品允许在计算机上执行该方法，大容量存储设备可以被用来执行所述方法。
本发明的公开和及其优点：
本发明的技术目的的第一部分由下面提出的方法满足，该方法用于管理大容量存储设备，该大容量存储设备包括至少一个二级存储设备和至少一个可连接到所述二级存储设备的三级存储设备，其中所述二级存储设备被分区为独立的逻辑卷，所述逻辑卷被分配给用于存储不同应用的数据的不同文件系统，所述方法的特征在于：
-针对在该二级存储设备上存储的每个数据计算个体分数或另一个资格标准，
-其中，如果超过由高阈值或另一个触发数据迁移的事件定义的所述二级存储设备的上限，则按照数据的个体分数的顺序将数据交换到所述三级存储设备，直到达到由低阈值定义的所述二级存储设备的已用容量的数量的下限，或者所有满足资格标准的文件都被迁移了，并且
-所述逻辑卷的大小动态改变，其中，所述各个逻辑卷的大小被调整为与仍在所述二级存储设备上并且属于所述特定逻辑卷的数据成正比。
因此，术语分数也包括例如从针对特定的大容量存储设备规定的策略导出的其他资格标准。
二级存储设备优选是盘存储设备，三级存储设备优选是磁带存储设备。高阈值优选定义为0到100％范围中的百分比，或者0到1之间的数字，其描述二级存储设备的已用容量的最大允许量与二级存储设备的总容量的比。类似的定义可以用于低阈值。采用这种定义，阈值也可以被用于一个逻辑卷，以使得当一个逻辑卷的已用容量数量超过该逻辑卷的存储容量的高阈值时，也可以执行数据交换和动态逻辑卷大小重调整。
同一方法也可以应用于这样的情形，其中不同类型的盘存储设备，例如企业级盘存储、廉价RAID阵列等被组合为分级存储系统。因此，也可以想出使用其他事件而不是二级存储设备的已用容量数量来触发第二和三级存储设备之间的数据迁移，所述其它事件例如触发第二和三级存储设备之间的数据迁移的周期性调度。
所提出的具有权利要求1的指定特征的用于管理物理设备的方法相对于现有技术具有这样的优点，根据数据总量而不是根据单个文件系统将最可行的参考数据组迁移到三级存储设备，例如磁带。这可以是在单个主机上或共享同一个二级存储设备(例如，盘存储设备)的一组主机上。该二级存储设备将用于一起管理的所有文件系统的最活动数据，而所有文件系统内的最消极的数据(例如，参考数据)被迁移到磁带。此外，最活动的文件系统大小将自动增长，而随着时间流逝，消极文件系统得到二级存储设备上的空间越来越少。因此，避免了二级存储设备和三级存储设备之间(例如，盘存储和磁带存储之间)的不必要的数据移动。可以考虑所有文件系统来实现最佳数据放置。利用该过程，物理存储设备的性能将不比将活动文件系统从盘交换到磁带以及从磁带交换到盘要求的永久数据交换所绝对需要的更受限制。
在本发明的优选实施例中，还针对在二级存储设备上存储的所有数据计算跨该二级存储设备上的逻辑卷的全局分数，或者从对大容量存储设备规定的策略导出全局资格标准，其中如果超过由高阈值定义的二级存储设备的已用容量的数量的上限，则个体分数高于所述全局分数的所有数据都被交换到所述三级存储设备。
核心思想是使用全局分数作为迁移标准。该新方法计算全局分数。所有文件系统内的具有大于等于该全局分数的分数的所有文件都被迁移。而如果所有数据都是参考数据则某些文件系统可以被清空接近0％，其他文件系统则可以保持原样。当物理存储设备的已用容量数量或一个逻辑卷的已用容量数量超过高阈值时，数据将被迁移到磁带，其中，只要存储设备上的足够的盘空间将被释放以达到低阈值，就通过添加具有最高的跨所有逻辑卷的全局分数的所有文件的大小，从而确定处数据的数量和类型。因此，二级存储设备上的所有逻辑卷的高阈值和低阈值被定义。
替换地，资格标准是针对每个独立的文件计算出的，反映当前策略设置。所有适于迁移的文件将在下一事件触发发生后被迁移。
在所有合格的文件被使用全局分数标准迁移后，或者利用资格标准选出后，调整所有逻辑卷的大小。重调整大小将逻辑卷调整到它们都具有相同百分比的自由盘空间。活动文件系统保持不变，或者其大小可以增加，而消极文件系统的大小被缩小。
在本发明的优选实施例中，当至少一个逻辑卷的已用容量的数量超过高阈值时，或者另一个事件触发数据交换时，将数据从二级存储设备交换到三级存储设备并动态改变所有逻辑卷的大小，其中高阈值优选定义为二级存储设备的已用容量的百分比。另外，调整逻辑卷大小在由事件触发的所有数据迁移结束之后才发生。
在本发明的优选实施例中，个体分数和/或所述全局分数总是在存储访问发生时被计算。
在本发明的另一优选实施例中，在关于特定数据的存储访问发生时，至少该数据的个体分数总是被计算。优选地，也同时计算全局分数。
在本发明的另一优选实施例中，个体分数和/或所述全局分数按照定义的周期被计算。除了计算个体和全局的分数，也可以设想按照定义的周期计算其他个体和全局的资格标准。
在本发明的另一优选实施例中，周期由超过高阈值的二级存储设备的已用容量数量定义。
在本发明的另外的优选实施例中，周期是时间周期。
在本发明的另外的优选实施例中，周期定义为在调度的或另一个外部事件发生时结束。
在本发明的另外的优选实施例中，每次数据从二级存储设备被交换到三级存储设备时，每个逻辑卷的大小动态改变为仍在二级存储设备上的逻辑卷的数据大小的1.25倍。
在本发明的其他优选实施例中，低阈值为二级存储设备的存储容量的80％。
在本发明的特定优选实施例中，所述方法由计算机程序产品执行，计算机程序产品存储在计算机可用介质上，并且包括计算机可读程序装置用于在该计算机程序产品在计算机上执行使计算机执行上述方法。
本发明的技术目的的最后部分由根据权利要求13的大容量存储设备满足。该大容量存储设备包括至少一个二级存储设备和至少一个三级存储设备，还包括管理在该大容量存储设备上存储的数据的装置，其中该大容量存储设备用于存储不同文件系统的数据，并且至少二级存储设备被分区为分配给不同文件系统的逻辑卷，所述大容量存储器的特征在于管理在大容量存储设备上存储的数据的装置包括：获得至少关于二级存储设备的已用容量数量的信息的装置；将二级存储设备的已用容量数量与高阈值相比较的装置；计算在低阈值处二级存储设备的已用容量数量的装置；计算在大容量存储设备上存储的每个具体数据的个体分数的装置；发起根据数据个体分数顺序将数据从二级存储设备迁移到三级存储设备直到达到低阈值为止的装置；以及与仍在二级存储设备上并且属于特定逻辑卷的数据成正比地改变二级存储设备上的该逻辑卷的大小的装置。
在根据本发明的大容量存储设备的优选实施例中，管理在大容量存储设备上存储的数据的装置还包括：计算跨二级存储设备上的所述逻辑卷的全局分数并定义具有比全局分数高的个体分数的数据被迁移以达到最低阈值的装置；将在二级存储设备上存储的数据的个体分数与全局分数相比较的装置；以及迁移个体分数高于全局分数的数据的装置。
在根据本发明的大容量存储设备的优选实施例中，管理在大容量存储设备上存储的数据的装置还包括获得关于二级存储装置上的特定逻辑卷的已用容量数量的信息的装置。
参考下面的说明、权利要求和附图，可以更好地理解本发明的前述目的、特性和优点以及其他目的、特性和优点。
附图说明
图1示出了分区为4个独立逻辑卷的网络存储设备的图示，这4个卷被分配给用于存储两个不同的文件服务器的数据的4个不同的文件系统，
图2示出了图1示出的物理存储设备的逻辑卷的已用容量数量，以及在这些逻辑卷中存储的数据类型的示意图，
图3示出了根据现有技术的情形的示意图，其中两个文件系统的已用容量数量已超过高阈值，并且使用分级存储管理开始迁移，
图4示出了根据现有技术的情形的示意图，其中两个文件系统的大小已被存储资源管理改变，
图5示出了根据本发明的使用全局分数将所有文件系统中的数据分类为参考数据和活动数据的示意图，
图6示出了根据本发明将具有大于等于全局分数的个数分数的数据从二级存储设备迁移到三级存储设备的示意图，
图7示出了根据本发明在迁移数据并且改变逻辑卷大小后的情形的示意图，
图8示出了执行根据本发明的方法的示意图。
具体实施方式
如图1所示，现在，单个文件服务器1可以管理多个文件系统2、2′，这多个文件系统驻留在例如ESS或SVC的单个物理存储设备5上的不同逻辑卷3、3′内。利用SAN，存储设备5也可以在不同的文件服务器1、1′之间共享，使得大量的文件系统2、2′、2″、2...驻留在同一个存储设备5上。
图1示出了每个都管理两个文件系统2、2′和2″、2的两台机器1，1′。文件系统2、2′、2″、2被分配给具体的逻辑卷3、3′、3″、3，其中在这些文件系统2、2′、2″、2中存储的所有数据4、4′、4″、4都驻留在同一存储设备5中，如图2所示。类似地，在同一个存储设备5上管理更多的文件系统2。
类似图2所示，所有的文件系统2、2′、2″、2包含相当频繁被改变和被访问的活动数据6、6′、6″、6(以暗灰色所示)和用于参考的其他数据7、7′、7″、7(以浅灰色所示)。其极少被访问和被改变。一般来说，可以发现从高度活动的数据6到几乎不被访问的参考数据7的范围(用从暗到亮连续变化的灰度改变表示)。
类似图2所示，活动数据对参考数据的分布随文件系统的变化而变化并且文件系统2、2′、2″、2的自由空间8、8′、8″、8(如白色所示)也不同。
在这种文件系统中，2、2′、2″、2由分级存储管理HSM管理，针对每个文件系统2、2′、2″、2定义高阈值和低阈值。这些阈值应当保证在每个文件系统2、2′、2″、2内自由空间8、8′、8″、8总是可用。如果逻辑卷3、3′、3″、3的已用容量的数量(例如文件系统2、2′、2″、2中的已存储数据4、4′、4″、4的数量)达到高阈值，则开始数据迁移以迁移超过高阈值的具体文件系统2、2′、2″、2内的通过文件系统扫描被标识为参考数据7、7′、7″、7的合格迁移候选。
图3示出了这样的情形，其中两个文件系统2、2″被填充到高过高阈值13。使用HSM开始数据迁移。在迁移过程的末尾，情形如图3所示。数据9、9′被迁移到第三磁带存储设备，直到达到低阈值14。如果在不同的文件系统2、2″内活动数据6、6′、6″、6和参考数据7、7′、7″、7分布不相等，则频繁被调用的活动数据6、6″将被迁移。图3中示出的情形对于根据现有技术的多个文件系统的不平衡利用是典型的。可识别出的问题在于某些文件系统2、2″需要更大的逻辑卷3、3″，因为它们填充了远比其他文件系统2′、2多的活动数据6、6″。后者可以更小，因为它们包含大量参考数据7′、7。
通过使用根据现有技术的存储资源管理(SRM)，将发生图4所示的情形。
图4示出了这样的场景，其中逻辑卷3、3′、3″、3的大小被SRM改变，以使得每个逻辑卷3、3′、3″、3具有同样数量的自由空间8、8′、8″、8。由于在图4中未使用HSM，所以在物理卷5上存储的数据4、4′、4″、4的数量保持相同。现在，所有的文件系统2、2′、2″、2再次具有足够的空间。不过，在该场景中大量的空间被参考数据7、7′、7″、7使用。
通过将HSM概念和利用SRM改变逻辑卷大小的功能组合，可以确定出将一组文件系统的最适合的数据存储到磁带上，而向要被填充的所有文件系统提供足够的自由空间。
这避免了这样的情形，在这种情形中，活动文件系统2、2″创建大量不必要的数据移动来访问迁移的数据，因为太少的盘空间被分配给该文件系统，而消极文件系统驻留在同一盘存储设备上消耗了盘空间，用于从未迁移的参考数据。
通过将参考数据从二级迁移到三级存储设备，并且改变逻辑卷的大小，从而合并了这两种概念的优点，这将使HSM能够迁移在整个图中的最可行的候选。这意味着只有基于HSM候选标准具有很高分数，即资格的数据被迁移。所以，如果不同文件系统的所有候选列表被放到一起，HSM可以确定全局分数，该全局分数定义被迁移的文件的最小分数。通常，只要达到低阈值，HSM就迁移数据。为了确定全局分数，具有最高分数的所有文件的大小都需要被加到候选列表。这允许只要达到给定的空间数据，例如所有文件系统的整个盘空间的20％，就添加由具有高的个体分数的文件所消耗的空间。替换地，满足基于策略的资格标准的所有文件都迁移，同时逻辑卷大小可以被调整到适当的大小。
图5中的界线15示出了在个体分数大于等于全局分数的所有文件系统中数据10、10′、10″、10的空间利用。每个数据的资格是该数据是存储在不同文件系统2、2′、2″、2中的参考数据的一部分的指示符，这些不同的文件系统被分配给逻辑卷3、3′、3″、3。在下一步骤中，将迁移个体分数大于全局分数的所有数据10、10′、10″、10，其中全局分数被确定为迁移水平。所以该迁移方法实现了“基于分数的迁移”或“总体阈值迁移”，而不是HSM针对一个文件系统实现的当前阈值迁移。
图6示出了个体分数大于等于全局分数的数据11、11′、11″、11从二级存储设备迁移到三级存储设备。在所有文件系统2、2′、2″、2中的最佳候选被迁移了。这些候选是图5中的数据10、10′、10″、10(浅灰)。该过程未导致调整阈值。可以看出，在逻辑卷3(标号3″)中只存在少量自由空间，而逻辑卷4(标号3)具有大量自由空间。所以，现在逻辑卷3、3′、3″、3的大小需要被调整。可以选择不同的方法。一种最简单的方法是以这样的方式调整逻辑卷3、3′、3″、3的大小，该方式是在所有逻辑卷3、3′、3″、3中，给定百分比的自由空间可用。
现在，与图3(HSM)相比，或者与类似图4所示的只用SRM重调整逻辑卷大小相比，图7示出的情形看起来好得多。在图7中，最可行数据11、11′、11″、11从第二盘存储设备被迁移到第三磁带存储设备。并且现在每个文件系统2、2′、2″、2中留下足够的自由空间8、8′、8″、8。利用20％的自由空间，获得了与80％低阈值相同的效果。如果更多的活动数据6、6′、6″、6存储在具体文件系统2、2′、2″、2中，则属于文件系统2、2′、2″、2的特定逻辑卷3、3′、3″、3将动态调整。在图7中，文件系统2和2″容纳更多活动数据6、6″，而文件系统2′和2容纳更多参考数据。由于与在文件系统2′和2中存储的数据相比，存储在文件系统2和2″中的数据将被更频繁地访问，所以大多数可进行迁移的数据来自文件系统2′和2。动态调整逻辑卷3、3′、3″、3的大小将导致逻辑卷3、3″的大小增加，而逻辑卷3′、3的大小减小。所以分配给文件系统2、2″的逻辑卷3、3″的大小现在更加适合，而包含较多参考数据7′、7的文件系统2′和2现在具有较小的逻辑卷3′、3。每次需要的时候可以重复同样的步骤，所以它们定义了一个工作流。
整个方法可以作为一种将不同的步骤编排到一个工作流中来执行。需要HSM来使得能够提供来自不同的HSM实例的所有候选列表。需要另一个实例来确定总体分数。该动作可以由高阈值对每个HSM实例触发。所以，如果一个实例达到该阈值，则工作流启动。该分数被分发回所有的HSM实例，其开始迁移候选，直到个体分数高于全局分数的所有数据都被迁移。在适当的候选被迁移后，可以重新调整逻辑卷3、3′、3″、3的大小。另外，如果文件系统2、2′、2″、2以快于该过程所能反应的速率被填满，则也需要迁移。
图8示出了根据本发明的方法的执行。在步骤I中，计算在二级存储设备中存储的所有数据的个体分数。这些分数被包括在每个文件系统2、2′、2″、2的各自的候选列表中。还获得根据逻辑卷3、3′、3″、3的文件系统2、2′、2″、2的大小和它们的利用，即特定逻辑卷3、3′、3″、3的已使用的容量的数量。此后，各个候选列表在步骤II中被合并到全局候选列表中。在步骤II中，还计算二级存储设备的已用容量的数量。如果二级存储设备5或者逻辑卷3、3′、3″、3中的至少一个的已用容量的数量超过由高阈值定义的二级存储设备的已用容量的数量的上限，则在步骤III中计算出全局分数，该全局分数确定要被迁移到三级存储设备的数据11、11′、11″、11。另外，在步骤III中确定文件系统2、2′、2″、2的新的大小。在步骤IV中，将进行组合的HSM和SRM编排，其中个体分数高于全局分数的所有数据都被交换到三级存储设备12，并且动态改变逻辑卷3、3′、3″、3的大小，其中，各个逻辑卷3、3′、3″、3的大小与根据仍在二级存储设备5上并且属于具体的逻辑卷3、3′、3″、3的数据13、13′、13″、13的文件系统2、2′、2″、2的新的大小成正比地被调整。
当前的根据现有技术的HSM解决方案应用这样的策略，这些策略用文件的不同的属性描述文件的资格。一般用来表征文件的属性是：文件大小、文件年龄、最后访问、访问频度、用户和组的所有权、文件类型、包含该文件的目录、服务质量(QoS)规范以及其他属性。策略被用来评估每个文件的组合的属性集合，并且确定一个文件作为迁移候选的在多大程度上合格的确定的标准。
作为示例，可以使用年龄和大小这两个属性来计算每个文件的分数。这由下面的公式确定：
(文件分数)：＝(文件年龄)×(年龄因子)+(文件大小)×(大小因子)
其中年龄因子和大小因子被调整来指定文件的年龄或大小对于作为迁移候选哪个更重要。候选搜索解析文件系统，并且创建利用文件分数排序的迁移候选的列表。可以从作为迁移标准评估的其他属性的组合导出类似的策略。只要文件系统利用率跌落到低阈值下，现今的HSM解决方案就通过将候选迁移到存储仓库中而使用文件系统的候选列表。
根据本发明，驻留在同一物理盘存储设备上的文件系统的所有候选列表被一起评估。随着在不同文件系统之间以及这些文件系统驻留在其中的逻辑卷中重分配存储，必需确定每个文件系统的阈值的绝对值。因此，必须首先确定要被迁移的存储的总量。
让CPtotal：＝SUM(CPFS1，...，CPFSi，...，CPFSn)+CPfree，其中CPtotal是存储设备的物理盘容量的总量，CPFSi是文件系统I的已用物理盘容量的数量，而CPfree是当前未用的物理盘容量。
让CUtotal：＝SUM(CUFS1，...，CUFSi，...，CUFSn)，其中CUtotal是已用物理盘容量的总量，CUFSi是文件系统I的已用物理盘容量的数量。
让CVtotal：＝SUM(CVFS1，...，CVFSi，...，CVFSn)，其中CVtotal是虚拟使用的已用容量的总量，其组合基于盘的存储和包含正被迁移的数据的后台存储仓库，并且CVFSi是文件系统I的虚拟使用的容量的数量。
让THtotal(0，...，1)为由在存储设备上驻留的所有文件系统的使用的盘容量的高阈值。
所以，对于文件系统1、...、n中的至少一个文件系统i，如果CUi/CPi＞THtotal为真，则应当执行循环步骤。
对于循环步骤，CDelta：＝CUtotal-CPtotal×THtotal，其中，CDelta是如果CDelta＞0时适于迁移的数据的数量，而对于CDelta＜＝0，只应对不同文件系统和它们下层的逻辑卷之间的物理盘存储进行重分配。
所以，如果CDelta＞0为真，则来自文件系统1、...、n的所有候选列表都被加入到一个利用每个独立文件的分数排序的候选列表。只要所有文件大小的总数＜CDelta，就从该列表的开头开始选出并迁移文件f1、...、fj、...、fm。当SUM(f1、...、fj、...、fm)＞＝CDelta＞0为真时，迁移过程结束。
对于任何文件系统，例如通过使用UNIX上的df命令，确定出下层的卷的新的盘容量CUFSi(t+1)。作为下一步骤，利用CPFSi(t+1)＝CUFSi(t+1)/THtotal计算每个文件系统i的新CPFSi。所有逻辑卷被调整到SPFSi(t+1).结束该步骤后，循环结束。
该算法适于作为利用公式来确定文件的分数所确定的分数的示例。对不能表示为基数的其他属性需要进行修改。
工业实用性：
本发明在商业上尤其适用于大容量存储设备的生产和操作领域，这种大容量存储设备包括第二和三级存储设备，例如企业存储服务器。

Claims (15)

1.一种用于管理大容量存储设备的方法，所述大容量存储设备包括至少一个二级存储设备和至少一个可连接到所述二级存储设备的三级存储设备，其中所述二级存储设备被分区为独立的逻辑卷，所述逻辑卷被分配给用于存储不同应用的数据的不同文件系统，所述方法的特征在于
-针对在该二级存储设备上存储的每个数据计算个体分数，
-其中，如果超过由高阈值定义的所述二级存储设备的上限，则按照数据个体分数顺序将数据交换到所述三级存储设备，直到达到由低阈值定义的所述二级存储设备的已用容量的数量的下限，并且
-所述逻辑卷的大小动态改变，其中，所述各个逻辑卷的大小被调整为与仍在所述二级存储设备上并且属于该特定逻辑卷的数据成正比。
2.如权利要求1所述的方法，其特征在于
-还针对在该二级存储设备上存储的所有数据计算跨所述二级存储设备上的逻辑卷的全局分数，
-其中，如果超过由高阈值定义的所述二级存储设备的已用容量的数量的上限，则个体分数高于所述全局分数的所有数据都被交换到所述三级存储设备。
3.如权利要求1或2所述的方法，其特征在于
当至少一个逻辑卷的已用容量的数量超过所述高阈值时，将数据从所述二级存储设备交换到所述三级存储设备并且动态调整所有逻辑卷的大小。
4.如权利要求1、2或3所述的方法，其特征在于
所述个体分数和/或所述全局分数总是在发生存储访问时被计算。
5.如权利要求1、2或3所述的方法，其特征在于
特定数据的个体分数总是在发生关于所述数据的存储访问时被计算。
6.如权利要求1、2或3所述的方法，其特征在于
所述个体分数和/或所述全局分数按照定义的周期被计算。
7.如权利要求6所述的方法，其特征在于
所述周期由超过所述高阈值的所述二级存储设备的已用容量的数量定义。
8.如权利要求6所述的方法，其特征在于
所述周期是时间周期。
9.如权利要求6到8中的一个所述的方法，其特征在于
所述周期定义为在调度的或另一个外部事件发生时结束。
10.如前面的任一个权利要求的方法，其特征在于
每次数据从所述二级存储设备被交换到所述三级存储设备时，每个逻辑卷的大小动态改变为仍在所述二级存储设备上的所述逻辑卷的数据大小的1.25倍。
11.如前面的任一个权利要求的方法，其特征在于
所述低阈值为80％。
12.一种在计算机可用介质上存储的计算机程序产品，该产品包括计算机可读程序装置，用于当所述计算机程序产品在计算机上执行时使计算机执行权利要求1到11中的任何一个所述的方法。
13.一种大容量存储设备，该大容量存储设备包括至少一个二级存储设备和至少一个三级存储设备，还包括管理在所述大容量存储设备上存储的数据的装置，其中所述大容量存储设备用于存储不同文件系统的数据，并且至少所述二级存储设备被分区为分配给不同文件系统的逻辑卷，所述大容量存储设备的特征在于
所述管理在所述大容量存储设备上存储的数据的装置包括：获得至少关于所述二级存储设备的已用容量的数量的信息的装置；将所述第二设备的已用容量的数量与高阈值相比较的装置；计算在低阈值处所述二级存储设备的已用容量的数量的装置；计算在所述大容量存储设备上存储的每个具体数据的个体分数的装置；发起根据数据个体分数顺序将所述数据从所述二级存储设备交换到所述三级存储设备直到达到所述低阈值的装置；以及与仍在所述二级存储设备上并且属于特定逻辑卷的数据成正比地改变所述二级存储设备上的所述逻辑卷的大小的装置。
14.如权利要求13所述的大容量存储设备，其特征在于
所述管理在所述大容量存储设备上存储的数据的装置包括：计算跨所述二级存储设备上的所述逻辑卷的全局分数的装置；将在所述二级存储设备上存储的数据的个体分数与所述全局分数相比较的装置；以及迁移其个体分数高于所述全局分数的数据的装置。
15.如权利要求13或14所述的大容量存储设备，其特征在于
所述管理在所述大容量存储设备上存储的数据的装置包括：获得关于所述特定逻辑卷的已用容量的数量的信息的装置。
CNB2005101251690A 2004-12-21 2005-11-21 大容量存储设备和用于动态管理大容量存储设备的方法 Expired - Fee Related CN100399301C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04106787.7 2004-12-21
EP04106787 2004-12-21

Publications (2)

Publication Number Publication Date
CN1794208A true CN1794208A (zh) 2006-06-28
CN100399301C CN100399301C (zh) 2008-07-02

Family

ID=36597454

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101251690A Expired - Fee Related CN100399301C (zh) 2004-12-21 2005-11-21 大容量存储设备和用于动态管理大容量存储设备的方法

Country Status (2)

Country Link
US (1) US20060136525A1 (zh)
CN (1) CN100399301C (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137345A (zh) * 2010-09-15 2011-07-27 华为技术有限公司 一种个性化铃音播放系统、方法和终端
CN101207513B (zh) * 2006-12-22 2012-09-05 中兴通讯股份有限公司 保存历史数据的方法及装置
CN105182845A (zh) * 2015-08-10 2015-12-23 常州安控电器成套设备有限公司 无负压供水系统中的信息采集与存储方法及装置
CN107357878A (zh) * 2017-07-06 2017-11-17 成都睿胜科技有限公司 可伸缩式微型文件系统及其实现方法
CN109901965A (zh) * 2017-12-08 2019-06-18 英业达科技有限公司 储存资源处理系统及其方法
WO2020151320A1 (zh) * 2019-01-25 2020-07-30 平安科技（深圳）有限公司 数据存储方法、装置、计算机设备及存储介质
CN111684779A (zh) * 2018-02-12 2020-09-18 国际商业机器公司 分层存储管理系统中的数据迁移

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008181243A (ja) * 2007-01-23 2008-08-07 Hitachi Ltd ストレージシステムのキャッシュパーティション領域の設定を制御するデータベース管理システム
US8903889B2 (en) * 2008-07-25 2014-12-02 International Business Machines Corporation Method, system and article for mobile metadata software agent in a data-centric computing environment
US8675875B2 (en) * 2010-05-18 2014-03-18 International Business Machines Corporation Optimizing use of hardware security modules
CN103036930B (zh) 2011-09-30 2015-06-03 国际商业机器公司 用于管理存储设备的方法和设备
CN103078933B (zh) * 2012-12-29 2015-12-02 深圳先进技术研究院 一种确定数据迁移时机的方法和装置
US9501426B1 (en) * 2013-02-08 2016-11-22 Workday, Inc. Dynamic two-tier data storage utilization
US9396131B1 (en) * 2013-02-08 2016-07-19 Workday, Inc. Dynamic three-tier data storage utilization
CN104636353B (zh) * 2013-11-07 2017-09-15 中国科学院沈阳自动化研究所 集成电路生产线搬运系统的高性能日志记录查询方法
JP5991701B2 (ja) 2014-10-28 2016-09-14 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ストレージ管理方法、ストレージ管理システム、コンピュータ・システムおよびプログラム
US9971995B2 (en) * 2015-06-18 2018-05-15 International Business Machines Corporation Prioritization of e-mail files for migration
CN105528302B (zh) * 2015-12-03 2019-09-10 Tcl集团股份有限公司 一种基于逻辑卷的动态管理磁盘的方法及系统
US20230161731A1 (en) * 2021-11-23 2023-05-25 International Business Machines Corporation Re-ordering files by keyword for migration

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367698A (en) * 1991-10-31 1994-11-22 Epoch Systems, Inc. Network file migration system
US5617566A (en) * 1993-12-10 1997-04-01 Cheyenne Advanced Technology Ltd. File portion logging and arching by means of an auxilary database
US5537585A (en) * 1994-02-25 1996-07-16 Avail Systems Corporation Data storage management for network interconnected processors
US5435004A (en) * 1994-07-21 1995-07-18 International Business Machines Corporation Computerized system and method for data backup
US5550970A (en) * 1994-08-31 1996-08-27 International Business Machines Corporation Method and system for allocating resources
US5564037A (en) * 1995-03-29 1996-10-08 Cheyenne Software International Sales Corp. Real time data migration system and method employing sparse files
US6061761A (en) * 1997-10-06 2000-05-09 Emc Corporation Method for exchanging logical volumes in a disk array storage device in response to statistical analyses and preliminary testing
US6463573B1 (en) * 1999-06-03 2002-10-08 International Business Machines Corporation Data processor storage systems with dynamic resynchronization of mirrored logical data volumes subsequent to a storage system failure
US6629202B1 (en) * 1999-11-29 2003-09-30 Microsoft Corporation Volume stacking model
BR0016186A (pt) * 1999-12-07 2003-05-27 Data Foundation Inc Arquitetura de armazenamento escalável
JP4419282B2 (ja) * 2000-06-14 2010-02-24 ソニー株式会社 情報処理装置、情報処理方法、および情報管理システム、並びにプログラム格納媒体
US6973553B1 (en) * 2000-10-20 2005-12-06 International Business Machines Corporation Method and apparatus for using extended disk sector formatting to assist in backup and hierarchical storage management
DE60128200T2 (de) * 2000-12-15 2008-01-24 International Business Machines Corp. Methode und System für skalierbare, hochperformante hierarchische Speicherverwaltung
KR100392382B1 (ko) * 2001-07-27 2003-07-23 한국전자통신연구원 동적 크기 변경 및 메타 데이터 양의 최소화를 위한 논리볼륨 관리 방법
US7509316B2 (en) * 2001-08-31 2009-03-24 Rocket Software, Inc. Techniques for performing policy automated operations
US6895466B2 (en) * 2002-08-29 2005-05-17 International Business Machines Corporation Apparatus and method to assign pseudotime attributes to one or more logical volumes
US7082573B2 (en) * 2003-07-30 2006-07-25 America Online, Inc. Method and system for managing digital assets

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207513B (zh) * 2006-12-22 2012-09-05 中兴通讯股份有限公司 保存历史数据的方法及装置
CN102137345A (zh) * 2010-09-15 2011-07-27 华为技术有限公司 一种个性化铃音播放系统、方法和终端
CN105182845A (zh) * 2015-08-10 2015-12-23 常州安控电器成套设备有限公司 无负压供水系统中的信息采集与存储方法及装置
CN107357878A (zh) * 2017-07-06 2017-11-17 成都睿胜科技有限公司 可伸缩式微型文件系统及其实现方法
CN109901965A (zh) * 2017-12-08 2019-06-18 英业达科技有限公司 储存资源处理系统及其方法
CN111684779A (zh) * 2018-02-12 2020-09-18 国际商业机器公司 分层存储管理系统中的数据迁移
CN111684779B (zh) * 2018-02-12 2023-02-03 国际商业机器公司 分层存储管理系统中的数据迁移
WO2020151320A1 (zh) * 2019-01-25 2020-07-30 平安科技（深圳）有限公司 数据存储方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN100399301C (zh) 2008-07-02
US20060136525A1 (en) 2006-06-22

Similar Documents

Publication Publication Date Title
CN1794208A (zh) 大容量存储设备和用于动态管理大容量存储设备的方法
CN109196459B (zh) 一种去中心化的分布式异构存储系统数据分布方法
CN103383653B (zh) 云资源管理和调度方法及系统
US8478731B1 (en) Managing compression in data storage systems
CN110058932B (zh) 一种用于数据流驱动计算的存储方法和存储系统
US10268726B1 (en) Partition key management for improved throughput
CN1079552C (zh) 采用稀疏文件的实时数据迁移系统和方法
CN111427969B (zh) 一种分级存储系统的数据替换方法
CN1722106A (zh) 一种嵌入式实时操作系统中内存分配的方法
WO2002039284A2 (en) Systems and methods for management of memory
US20090254523A1 (en) Hybrid term and document-based indexing for search query resolution
CN1147648A (zh) 数据存储装置及存储方法
CN1866217A (zh) 确定源服务器在目标服务器中的最佳分布的系统和方法
CN1675614A (zh) 在存储单元之间移动数据
JP4801761B2 (ja) データベース管理方法およびシステム並びにその処理プログラム
CN101039278A (zh) 数据管理方法及系统
CN1499382A (zh) 廉价冗余磁盘阵列系统中高效高速缓存的实现方法
CN106681668A (zh) 一种基于固态盘缓存的混合式存储系统及存储方法
CN109947363A (zh) 一种分布式存储系统的数据缓存方法
CN1955912A (zh) 海量存储系统中的资源分配方法
WO2017039728A1 (en) Transparent hybrid data storage
CN100458792C (zh) 用于管理海量存储系统的方法和数据处理系统
CN108900626A (zh) 一种云环境下数据存储方法、装置及系统
US20120290789A1 (en) Preferentially accelerating applications in a multi-tenant storage system via utility driven data caching
US10686721B2 (en) Storage device access mediation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080702

Termination date: 20091221