CN108228079B - 存储管理方法和设备 - Google Patents

存储管理方法和设备 Download PDF

Info

Publication number
CN108228079B
CN108228079B CN201611192933.0A CN201611192933A CN108228079B CN 108228079 B CN108228079 B CN 108228079B CN 201611192933 A CN201611192933 A CN 201611192933A CN 108228079 B CN108228079 B CN 108228079B
Authority
CN
China
Prior art keywords
allocation
storage
storage devices
uniformity
schemes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611192933.0A
Other languages
English (en)
Other versions
CN108228079A (zh
Inventor
李卫华
韩耕
高健
董继炳
高宏坡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201611192933.0A priority Critical patent/CN108228079B/zh
Priority to US15/846,330 priority patent/US10394478B2/en
Publication of CN108228079A publication Critical patent/CN108228079A/zh
Application granted granted Critical
Publication of CN108228079B publication Critical patent/CN108228079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0634—Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及存储管理方法和设备。例如，提出了一种方法，包括：响应于要将存储系统中的多个存储设备分配给未分配逻辑存储区，确定将该多个存储设备分配给该未分配逻辑存储区的多个分配方案；获取该多个存储设备相对于该存储系统的已分配逻辑存储区的分配均匀性；以及至少基于该分配均匀性，从该多个分配方案选择一个分配方案，使得该分配均匀性的变化最小。还公开了相应的设备和计算机程序产品。

Description

存储管理方法和设备
技术领域
本公开的实施例总体涉及存储管理，并且更具体地，涉及存储管理方法和设备。
背景技术
独立磁盘冗余阵列(RAID)是一种数据存储虚拟化技术，其将多个物理磁盘驱动器组合成单个逻辑单元，以提高数据冗余、可靠性和性能。取决于所需的冗余水平和性能，数据采用多种RAID级别之一跨多个物理磁盘驱动器分布，多种RAID级别是例如RAID 0-RAID50等。以传统的RAID 5为例，RAID 5包括具有分布式奇偶校验的块级条带化。奇偶校验信息分布在多个物理磁盘驱动器中。在单个物理磁盘驱动器故障时，后续读取的数据可以根据分布式奇偶校验来计算(例如，通过异或(XOR)运算)，使得数据不被丢失。同时，可以选择热备用物理磁盘驱动器来替换损坏的物理磁盘驱动器。损坏的物理磁盘驱动器上的所有数据被重建，并且被写入所选择的热备用物理磁盘驱动器中。
然而，随着新技术(例如，叠瓦式介质磁盘)的出现，磁盘容量增大，并且重建时间相应地增加。在这种情况下，如果不减少重建时间，则双磁盘故障的风险将增加。在采用例如RAID 5的传统RAID技术情况下，双磁盘故障将导致数据丢失。重建时间受制于热备用物理磁盘驱动器的写输入/输出带宽。因此，对于传统RAID技术，热备用物理磁盘驱动器的写输入/输出带宽已经成为瓶颈，使得传统RAID技术难以减少重建时间。
发明内容
本公开的实施例提供了存储管理方法、设备和相应的计算机程序产品。
在本公开的第一方面，提供了一种存储管理方法。该方法包括：响应于要将存储系统中的多个存储设备分配给未分配逻辑存储区，确定将该多个存储设备分配给该未分配逻辑存储区的多个分配方案；获取该多个存储设备相对于该存储系统的已分配逻辑存储区的分配均匀性；以及至少基于该分配均匀性，从该多个分配方案选择一个分配方案，使得该分配均匀性的变化最小。
在某些实施例中，该未分配逻辑存储区被组织为预定数目的块，并且确定该多个分配方案包括：基于该预定数目和该多个存储设备的数目，生成将该多个存储设备分配给该未分配逻辑存储区的多个候选分配方案；以及确定该多个候选分配方案的一个子集作为该多个分配方案，使得该子集覆盖该多个存储设备。
在某些实施例中，从该多个分配方案选择一个分配方案包括：获取该多个存储设备相对于该已分配逻辑存储区的分配状况和该多个存储设备的大小；基于该分配状况和该多个分配方案，生成该多个存储设备相对于该存储系统的已分配逻辑存储区和该未分配逻辑存储区的多个候选分配状况；基于该多个候选分配状况和该多个存储设备的大小，确定该多个存储设备相对于该存储系统的该已分配逻辑存储区和该未分配逻辑存储区的多个候选分配均匀性；从该多个分配方案选择一个分配方案，使得该多个候选分配均匀性中与该分配方案对应的候选分配均匀性与该分配均匀性之间的差异最小。
在某些实施例中，该分配状况表示为矩阵，该矩阵中的每个元素表示该多个存储设备中的两个存储设备中的块被分配给相同的已分配逻辑存储区的次数。
在某些实施例中，该分配均匀性被确定为：Ui,j＝Vi,j*Stypical*Stypical/(Si*Sj)，其中Ui,j表示该分配均匀性，Vi,j表示该分配状况，Stypical表示预定存储设备大小，Si和Sj表示该所述多个存储设备中第i个存储设备和第j个存储设备的大小，i和j为自然数。
在本公开的第二方面，提供了一种电子设备。该设备包括：至少一个处理单元；以及至少一个存储器，其耦合至该至少一个处理单元并且存储有机器可执行指令，当该指令由该至少一个处理单元执行时，使得该设备执行动作，该动作包括：响应于要将存储系统中的多个存储设备分配给未分配逻辑存储区，确定将该多个存储设备分配给该未分配逻辑存储区的多个分配方案；获取该多个存储设备相对于该存储系统的已分配逻辑存储区的分配均匀性；以及至少基于该分配均匀性，从该多个分配方案选择一个分配方案，使得该分配均匀性的变化最小。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了在存储系统中的多个存储设备上创建逻辑存储区的示例的示意图；
图2示出了在存储系统中的存储设备故障时替换存储设备的示例的示意图；
图3示出了根据本公开的实施例的存储管理过程或方法的流程图；
图4示出了根据本公开的实施例的用于从多个分配方案选择一个分配方案的过程或方法的流程图；
图5A-5B分别示出了非均匀的分配状况和均匀的分配状况的示意图；
图6示出了根据本公开的实施例的用于存储管理的装置的示意性框图；
图7示出了适合于用来实现本公开实施例的设备的示意性框图；以及
图8A-8C分别示出了根据本公开的实施例的存储设备利用率、分配状况和分配均匀性的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其它明确的和隐含的定义。
图1示出了在存储系统中的多个存储设备上创建逻辑存储区的示例的示意图。存储系统可以采用映射RAID来减少重建时间。映射RAID可以被创建在由多个存储设备组成的存储设备池上。存储设备可以被视为一组连续的、不重叠的的存储区域，其通常具有固定的大小或容量。存储设备的示例包括但不限于物理磁盘驱动器。在下文中，将以4D+1P RAID 5为例描述在映射RAID中在多个存储设备上创建逻辑存储区的示例。
图1示出了N个存储设备110-1至110-N(在下文中，统称为存储设备110)，其中N为大于5的自然数。逻辑存储区可以被创建在该N个存储设备上，并且可以被组织为5个块，包括4个数据块和1个奇偶校验块。可以从N个存储设备110中选择5个不同的存储设备中的5个块来创建逻辑存储区。图1示出了逻辑存储区120至130。逻辑存储区120被组织为块120-1至120-5，其中块120-1至120-4是数据块，而块120-5是奇偶校验块。逻辑存储区130被组织为块130-1至130-5，其中块130-1至130-4是数据块，而块130-5是奇偶校验块。此外，与传统RAID技术中保留整个存储设备作为热备用存储设备不同，映射RAID保留存储设备中的块作为热备用块。
图2示出了在存储系统中的存储设备故障时替换存储设备的示意图。当存储系统中的一个存储设备故障时，可以使用其他活动存储设备中的块替换故障存储设备中的块。如图2中所示，在存储设备110-4故障的情况下，可以使用存储设备110-3和存储设备110-N中的空闲块替换逻辑存储区120的块120-4和逻辑存储区130的块130-3。因为使用不同存储设备中的块替换故障存储设备中的块，因此映射RAID不再受制于单个存储设备的写输入/输出带宽。
然而，为了获得更好的重建性能，应该使尽可能多的存储设备参与重建过程，以从更多的存储设备读取数据和向更多的存储设备写入数据。为此，在创建映射RAID时，期望将逻辑存储区均匀地分布到多个存储设备中。此外，随着时间的推移，由于备用或扩展，具有不同大小的存储设备可能被替换或添加到创建映射RAID的存储设备池中。因此，还期望具有不同大小的存储设备可以在存储设备池中共存。
传统上，存在两种方式来实现上述目的。在一种方式中，根据存储设备的大小对存储设备进行分组，并且在分组上创建逻辑存储区。然而，由于根据存储设备大小对存储设备进行分组，因此相同分组中的存储设备数目受到限制，从而无法使尽可能多的存储设备参与重建过程。在另一种方式中，将较大的存储设备用作较小的存储设备，直到达到所要求的最小数目的存储设备。然而，这将浪费较大的存储设备的存储空间。因此，这两种方式都无法在将逻辑存储区均匀地分布到存储设备池中具有不同大小的存储设备中的同时，确保良好的存储设备利用率。
为了至少部分地解决上述以及其他潜在的问题和缺陷，本公开的实施例提供了一种用于存储管理的方案。图3示出了根据本公开的实施例的存储管理过程或方法300的流程图。在某些实施例中，过程300例如可以在图1和图2中示出的存储系统中被实施。
在310，响应于要将存储系统中的多个存储设备分配给未分配逻辑存储区，确定将多个存储设备分配给未分配逻辑存储区的多个分配方案。在某些实施例中，未分配逻辑存储区可以被组织为预定数目的块。可以基于该预定数目和多个存储设备的数目，生成将多个存储设备分配给未分配逻辑存储区的多个候选分配方案。
在某些实施例中，由于期望将未分配逻辑存储区尽可能均匀地分布到多个存储设备，因此可以从N个存储设备中选择M个不同的存储设备中的M个块来创建逻辑存储区。作为结果，存在
Figure BDA0001187473030000061
种可能的分配方案，其中N表示存储系统中的多个存储设备的数目，并且M表示未分配逻辑存储区被组织为的块的数目。例如，在16个存储设备上创建4D+1P映射RAIDR5的情况下，存在
Figure BDA0001187473030000062
种可能的分配方案。
然而，当存储系统中的多个存储设备的数目很大时，所得到的分配方案的数目是巨大的。例如，假设多个存储设备的数目为100，未分配逻辑存储区被组织为5块，则存在
Figure BDA0001187473030000063
种可能的分配方案。如果对于未分配逻辑存储区尝试所有可能的分配方案，则是非常耗时和低效的。
在某些实施例中，可以确定所有可能的分配方案的一个子集，使得该子集覆盖多个存储设备。可以随机地或者以任何其他适当方式选择所有可能的分配方案的子集，只要该子集覆盖多个存储设备。例如，在多个存储设备的数目为100，并且未分配逻辑存储区被组织为5块的情况下，可以从
Figure BDA0001187473030000064
种可能的分配方案中选择3000种分配方案，该3000种分配方案能够覆盖100个存储设备。
在320，获取多个存储设备相对于存储系统的已分配逻辑存储区的分配均匀性。在330，至少基于分配均匀性，从多个分配方案选择一个分配方案，使得分配均匀性的变化最小。
根据本公开的实施例，由于在将存储系统中的多个存储设备分配给未分配逻辑存储区时，使得在分配该未分配逻辑存储区之后，分配均匀性的变化最小，从而实现在将逻辑存储区均匀地分布到存储系统中具有不同大小的存储设备中的同时，确保良好的存储设备利用率。下面将参考图4对分配均匀性和对分配方案所进行的选择进行进一步详细描述。
图4示出了根据本公开的实施例的用于从多个分配方案选择一个分配方案的过程或方法400的流程图。将会理解，方法400可被视为上文描述的方法300中的框330的一种示例实现。
在410，获取多个存储设备相对于已分配逻辑存储区的分配状况和多个存储设备的大小。在某些实施例中，分配状况可以表示为矩阵，矩阵中的每个元素可以表示多个存储设备中的两个存储设备中的块被分配给相同的已分配逻辑存储区的次数。
例如，矩阵可以是N*N方阵，其中N表示存储系统中的多个存储设备的数目。可以将矩阵表示为Vi,j，并且将矩阵中的每个元素表示为V(i,j)。元素V(i,j)表示第i个存储设备与第j个存储设备中的块被分配给相同的已分配逻辑存储区的次数。在某些实施例中，可以将矩阵Vi,j初始化为全零。在将多个存储设备分配给逻辑存储区时，可以对被分配给该逻辑存储区的存储设备涉及的元素进行计数。例如，如果第i个存储设备与第j个存储设备被分配给相同的逻辑存储区，则将元素V(i,j)的值加1。应理解，由于元素V(i,j)与元素V(j,i)相等，因此矩阵Vi,j是对称矩阵。
在420，基于分配状况和多个分配方案，生成多个存储设备相对于存储系统的已分配逻辑存储区和未分配逻辑存储区的多个候选分配状况。在某些实施例中，对于多个分配方案中的一个分配方案，可以将对在该分配方案中被分配给未分配逻辑存储区的存储设备涉及的元素V(i,j)进行计数。例如，在该分配方案中，如果第i个存储设备与第j个存储设备被分配给未分配逻辑存储区，则将所获取的分配状况的矩阵Vi,j中的元素V(i,j)的值加1。作为结果，针对多个分配方案，可以生成多个候选分配状况的矩阵V′i,j。
如上所述，矩阵中的每个元素可以表示多个存储设备中的两个存储设备中的块被分配给相同的已分配逻辑存储区的次数。例如，返回参考图1，存储设备110-1、110-2、110-3、110-4和110-N被分配给相同的逻辑存储区120。因此，这些存储设备涉及的矩阵中的元素V(1,2),V(1,3),V(1,4),V(1,N),V(2,1),V(2,3),V(2,4),V(2,N),V(3,1),V(3,2),V(3,4),V(3,N),V(N,1),V(N,2),V(N,3),V(N,4)的值加1。由于期望将逻辑存储区均匀地分布到多个存储设备中，因此期望矩阵中的元素的值彼此更接近。作为示例，图5A-5B分别示出了非均匀的分配状况和均匀的分配状况的示意图。
如图5A中所示，分配状况的矩阵510A中的元素的值之间存在显著差异。更糟糕的是，矩阵510A中的一些元素的值是零，这意味着与这些元素对应的存储设备从未被分配给相同的逻辑存储区。在该情况下，如果一个存储设备故障，则一些存储设备将无法参与重建过程。相反，图5B中的分配状况的矩阵510B中的元素的值彼此更接近，元素的值的范围在19到21之间。这意味着多个存储设备被相对均匀地分配给逻辑存储区。图表520A和520B分别是矩阵510A和510B的可视化表示。可以看出，图表520B比图表520A更为“平坦”。图5A和图5B中所示的矩阵的元素的值仅是示例，任何其他适当的值可以作为矩阵的元素的值。
当矩阵表现为“平坦”时，多个存储设备被分配给逻辑存储区的次数是相似的。然而，这样的分配并未考虑存储设备的大小，即较大的存储设备与较小的存储设备被分配给逻辑存储区的次数是相似的。对于具有不同大小的存储设备的混合存储系统，这将浪费大量存储设备的存储空间。因此，难以在将逻辑存储区均匀地分布到存储系统中具有不同大小的存储设备中的同时，确保良好的存储设备利用率。
为此，根据本公开的实施例，可以进一步采用分配均匀性对分配方案进行选择。在某些实施例中，分配均匀性可以被确定为：
Ui,j＝Vi,j*Stypical*Stypical/(Si*Sj) (1)
其中Ui,j表示分配均匀性，Vi,j表示分配状况，Stypical表示预定存储设备大小，Si和Sj表示所述多个存储设备中第i个存储设备和第j个存储设备的大小，i和j为自然数。在某些实施例中，预定存储设备大小Stypical可以表示存储系统中的典型存储设备大小。例如，其可以是存储系统中的存储设备大小中的最小值或其他适当存储设备大小。
在分配均匀性的矩阵中，较大的存储设备与其他存储设备被分配到相同的逻辑存储区的次数被标准化。因此，为了使得分配均匀性的矩阵更为“平坦”，较大的存储设备被分配给更多的逻辑存储区，从而避免了对较大的存储设备的存储空间的浪费。
在430，基于多个候选分配状况和多个存储设备的大小，确定多个存储设备相对于存储系统的已分配逻辑存储区和未分配逻辑存储区的多个候选分配均匀性。在某些实施例中，可以利用等式(1)，基于如上所述的多个候选分配状况的矩阵V′i,j，来确定多个候选分配均匀性U′i,j。
在440，从多个分配方案选择一个分配方案，使得多个候选分配均匀性中与该分配方案对应的候选分配均匀性与分配均匀性之间的差异最小。在某些实施例中，可以选择一个分配方案，使得与该分配方案对应的候选分配均匀性的矩阵V′i,j与分配均匀性的矩阵Vi,j之间的方差最小。
根据本公开的实施例，对于一个未分配逻辑存储区，可以总是从多个分配分案中选择一个使矩阵更“平坦”的最优分配方案，从而实现局部优化解决方案。以此方式，当针对所有未分配逻辑存储区都选择最优分配方案时，预期最终矩阵也表现为“平坦”，从而实现接近全局优化解决方案。因此，在将逻辑存储区均匀地分布到存储系统中具有不同大小的存储设备中的同时，确保良好的存储设备利用率。
图6示出了根据本公开的实施例的用于存储管理的装置600的示意性框图。装置600例如可以在图1和图2中示出的存储系统中被实施，或者直接充当存储系统。如图所示，装置600包括确定单元610、获取单元620和选择单元630。
确定单元610被配置为响应于要将存储系统中的多个存储设备分配给未分配逻辑存储区，确定将多个存储设备分配给未分配逻辑存储区的多个分配方案。获取单元620被配置为获取多个存储设备相对于存储系统的已分配逻辑存储区的分配均匀性。选择单元630被配置为至少基于分配均匀性，从多个分配方案选择一个分配方案，使得分配均匀性的变化最小。
在某些实施例中，未分配逻辑存储区被组织为预定数目的块。确定单元610包括：被配置为基于预定数目和多个存储设备的数目，生成将多个存储设备分配给未分配逻辑存储区的多个候选分配方案的子单元；以及被配置为确定多个候选分配方案的一个子集作为多个分配方案，使得子集覆盖多个存储设备的子单元。
在某些实施例中，选择单元630包括：被配置为获取多个存储设备相对于已分配逻辑存储区的分配状况和多个存储设备的大小的子单元；被配置为基于分配状况和多个分配方案，生成多个存储设备相对于存储系统的已分配逻辑存储区和未分配逻辑存储区的多个候选分配状况的子单元；被配置为基于多个候选分配状况和多个存储设备的大小，确定多个存储设备相对于存储系统的已分配逻辑存储区和未分配逻辑存储区的多个候选分配均匀性的子单元；被配置为从多个分配方案选择一个分配方案，使得多个候选分配均匀性中与分配方案对应的候选分配均匀性与分配均匀性之间的差异最小的子单元。
在某些实施例中，分配状况表示为矩阵，矩阵中的每个元素表示多个存储设备中的两个存储设备中的块被分配给相同的已分配逻辑存储区的次数。在某些实施例中，分配均匀性被确定为：Ui,j＝Vi,j*Stypical*Stypical/(Si*Sj)，其中Ui,j表示分配均匀性，Vi,j表示分配状况，Stypical表示预定存储设备大小，Si和Sj表示多个存储设备中第i个存储设备和第j个存储设备的大小，i和j为自然数。
装置600中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一个实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置600中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。
图7示出了适合于用来实现本公开实施例的电子设备700的示意性框图。如图所示，设备700包括中央处理单元(CPU)710，其可以根据存储在只读存储器(ROM)720中的计算机程序指令或者从存储单元780加载到随机访问存储器(RAM)730中的计算机程序指令，来执行各种适当的动作和处理。在RAM 730中，还可存储设备700操作所需的各种程序和数据。CPU 710、ROM 720以及RAM 730通过总线740彼此相连。输入/输出(I/O)接口750也连接至总线740。
设备700中的多个部件连接至I/O接口750，包括：输入单元760，例如键盘、鼠标等；输出单元770，例如各种类型的显示器、扬声器等；存储单元780，例如磁盘、光盘等；以及通信单元790，例如网卡、调制解调器、无线通信收发机等。通信单元790允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如过程300和400，可由处理单元710执行。例如，在一些实施例中，过程300和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元780。在一些实施例中，计算机程序的部分或者全部可以经由ROM 720和/或通信单元790而被载入和/或安装到设备700上。当计算机程序被加载到RAM 730并由CPU 710执行时，可以执行上文描述的过程300和400的一个或多个步骤。备选地，在其他实施例中，CPU 710也可以以其他任何适当的方式被配置以实现上述过程。
图8A-8C分别示出了根据本公开的实施例的存储设备利用率810A-810C、分配状况820A-820C和分配均匀性830A-830C的示意图。在图8A的示例中，存储设备数目为16，其中15个存储设备具有100个逻辑存储区的大小，并且1个存储设备具有200个逻辑存储区的大小。此外，逻辑存储区被组织为6个块，包括4个数据库和2个奇偶校验块。
在图8B的示例中，存储设备数目为16，其中10个存储设备具有100个逻辑存储区的大小，1个存储设备具有150个逻辑存储区的大小，并且5个存储设备具有200个逻辑存储区的大小。此外，逻辑存储区被组织为6个块，包括4个数据库和2个奇偶校验块。
在图8C的示例中，存储设备数目为40，其中30个存储设备具有100个逻辑存储区的大小，并且10个存储设备具有200个逻辑存储区的大小。此外，逻辑存储区被组织为8个块，包括6个数据库和2个奇偶校验块。
在上述情况下，如存储设备利用率810A-810C所示，存储设备的存储空间几乎没有浪费，并且如分配均匀性830A-830C所示，逻辑存储区被均匀地分布到多个存储设备。
通过以上描述和相关附图中所给出的教导，这里所给出的本公开的许多修改形式和其它实施方式将被本公开相关领域的技术人员所意识到。因此，所要理解的是，本公开的实施方式并不局限于所公开的具体实施方式，并且修改形式和其它实施方式意在包括在本公开的范围之内。此外，虽然以上描述和相关附图在部件和/或功能的某些示例组合形式的背景下对示例实施方式进行了描述，但是应当意识到的是，可以由备选实施方式提供部件和/或功能的不同组合形式而并不背离本公开的范围。就这点而言，例如，与以上明确描述的有所不同的部件和/或功能的其它组合形式也被预期处于本公开的范围之内。虽然这里采用了具体术语，但是它们仅以一般且描述性的含义所使用而并非意在进行限制。

Claims (9)

1.一种存储管理方法，包括：
响应于要将存储系统中的多个存储设备分配给未分配逻辑存储区，确定将所述多个存储设备分配给所述未分配逻辑存储区的多个分配方案；
获取所述多个存储设备相对于所述存储系统的已分配逻辑存储区的分配均匀性；以及
至少基于所述分配均匀性，从所述多个分配方案选择一个分配方案，使得所述分配均匀性的变化最小，从所述多个分配方案选择一个分配方案包括：
获取所述多个存储设备相对于所述已分配逻辑存储区的分配状况和所述多个存储设备的大小；
基于所述分配状况和所述多个分配方案，生成所述多个存储设备相对于所述存储系统的已分配逻辑存储区和所述未分配逻辑存储区的多个候选分配状况；
基于所述多个候选分配状况和所述多个存储设备的大小，确定所述多个存储设备相对于所述存储系统的所述已分配逻辑存储区和所述未分配逻辑存储区的多个候选分配均匀性；以及
从所述多个分配方案选择一个分配方案，使得所述多个候选分配均匀性中与所述分配方案对应的候选分配均匀性与所述分配均匀性之间的差异最小，所述分配状况表示为矩阵，所述矩阵中的每个元素表示所述多个存储设备中的两个存储设备中的块被分配给相同的已分配逻辑存储区的次数。
2.根据权利要求1所述的方法，其中所述未分配逻辑存储区被组织为预定数目的块，并且确定所述多个分配方案包括：
基于所述预定数目和所述多个存储设备的数目，生成将所述多个存储设备分配给所述未分配逻辑存储区的多个候选分配方案；以及
确定所述多个候选分配方案的一个子集作为所述多个分配方案，使得所述子集覆盖所述多个存储设备。
3.根据权利要求1所述的方法，其中所述分配均匀性被确定为：
Ui，j＝Vi，j*Stypical*Stypical/(Si*Sj)，
其中Ui，j表示所述分配均匀性，Vi，j表示所述分配状况，Stypical表示预定存储设备大小，Si和Sj表示所述多个存储设备中第i个存储设备和第j个存储设备的大小，i和j为自然数。
4.一种电子设备，包括：
至少一个处理器；以及
至少一个存储器，其耦合至所述至少一个处理器并且存储有机器可执行指令，当所述指令由所述至少一个处理器执行时，使得所述设备执行动作，所述动作包括：
响应于要将存储系统中的多个存储设备分配给未分配逻辑存储区，确定将所述多个存储设备分配给所述未分配逻辑存储区的多个分配方案；
获取所述多个存储设备相对于所述存储系统的已分配逻辑存储区的分配均匀性；以及
至少基于所述分配均匀性，从所述多个分配方案选择一个分配方案，使得所述分配均匀性的变化最小，从所述多个分配方案选择一个分配方案包括：
获取所述多个存储设备相对于所述已分配逻辑存储区的分配状况和所述多个存储设备的大小；
基于所述分配状况和所述多个分配方案，生成所述多个存储设备相对于所述存储系统的已分配逻辑存储区和所述未分配逻辑存储区的多个候选分配状况；
基于所述多个候选分配状况和所述多个存储设备的大小，确定所述多个存储设备相对于所述存储系统的所述已分配逻辑存储区和所述未分配逻辑存储区的多个候选分配均匀性；以及
从所述多个分配方案选择一个分配方案，使得所述多个候选分配均匀性中与所述分配方案对应的候选分配均匀性与所述分配均匀性之间的差异最小，所述分配状况表示为矩阵，所述矩阵中的每个元素表示所述多个存储设备中的两个存储设备中的块被分配给相同的已分配逻辑存储区的次数。
5.根据权利要求4所述的设备，其中所述未分配逻辑存储区被组织为预定数目的块，并且确定所述多个分配方案包括：
基于所述预定数目和所述多个存储设备的数目，生成将所述多个存储设备分配给所述未分配逻辑存储区的多个候选分配方案；以及
确定所述多个候选分配方案的一个子集作为所述多个分配方案，使得所述子集覆盖所述多个存储设备。
6.根据权利要求4所述的设备，其中所述分配均匀性被确定为：
Ui，j＝Vi，j*Stypical*Stypical/(Si*Sj)，
其中Ui，j表示所述分配均匀性，Vi，j表示所述分配状况，Stypical表示预定存储设备大小，Si和Sj表示所述多个存储设备中第i个存储设备和第j个存储设备的大小，i和j为自然数。
7.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器：
响应于要将存储系统中的多个存储设备分配给未分配逻辑存储区，确定将所述多个存储设备分配给所述未分配逻辑存储区的多个分配方案；
获取所述多个存储设备相对于所述存储系统的已分配逻辑存储区的分配均匀性；以及
至少基于所述分配均匀性，从所述多个分配方案选择一个分配方案，使得所述分配均匀性的变化最小，其中所述机器可执行指令在被执行时使所述机器：
获取所述多个存储设备相对于所述已分配逻辑存储区的分配状况和所述多个存储设备的大小；
基于所述分配状况和所述多个分配方案，生成所述多个存储设备相对于所述存储系统的已分配逻辑存储区和所述未分配逻辑存储区的多个候选分配状况；
基于所述多个候选分配状况和所述多个存储设备的大小，确定所述多个存储设备相对于所述存储系统的所述已分配逻辑存储区和所述未分配逻辑存储区的多个候选分配均匀性；以及
从所述多个分配方案选择一个分配方案，使得所述多个候选分配均匀性中与所述分配方案对应的候选分配均匀性与所述分配均匀性之间的差异最小，其中所述分配状况表示为矩阵，所述矩阵中的每个元素表示所述多个存储设备中的两个存储设备中的块被分配给相同的已分配逻辑存储区的次数。
8.根据权利要求7所述的计算机程序产品，其中所述未分配逻辑存储区被组织为预定数目的块，并且所述机器可执行指令在被执行时使所述机器：
基于所述预定数目和所述多个存储设备的数目，生成将所述多个存储设备分配给所述未分配逻辑存储区的多个候选分配方案；以及
确定所述多个候选分配方案的一个子集作为所述多个分配方案，使得所述子集覆盖所述多个存储设备。
9.根据权利要求7所述的计算机程序产品，其中所述机器可执行指令在被执行时使所述机器：
Ui，j＝Vi，j*Stypical*Stypical/(Si*Sj)，
其中Ui，j表示所述分配均匀性，Vi，j表示所述分配状况，Stypical表示预定存储设备大小，Si和Sj表示所述多个存储设备中第i个存储设备和第j个存储设备的大小，i和j为自然数。
CN201611192933.0A 2016-12-21 2016-12-21 存储管理方法和设备 Active CN108228079B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611192933.0A CN108228079B (zh) 2016-12-21 2016-12-21 存储管理方法和设备
US15/846,330 US10394478B2 (en) 2016-12-21 2017-12-19 Method and apparatus for storage device allocation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611192933.0A CN108228079B (zh) 2016-12-21 2016-12-21 存储管理方法和设备

Publications (2)

Publication Number Publication Date
CN108228079A CN108228079A (zh) 2018-06-29
CN108228079B true CN108228079B (zh) 2021-01-22

Family

ID=62561639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611192933.0A Active CN108228079B (zh) 2016-12-21 2016-12-21 存储管理方法和设备

Country Status (2)

Country Link
US (1) US10394478B2 (zh)
CN (1) CN108228079B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135791A (ja) * 2020-02-27 2021-09-13 富士通株式会社 最適化装置、最適化方法、及び最適化プログラム
CN114661711B (zh) * 2022-03-11 2023-08-29 上海原能细胞生物低温设备有限公司 样本存储位置分配方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000515706A (ja) * 1997-05-26 2000-11-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ストリームサーバにおいてデータを取り出すシステム
US6370616B1 (en) * 2000-04-04 2002-04-09 Compaq Computer Corporation Memory interface controller for datum raid operations with a datum multiplier
US7346831B1 (en) * 2001-11-13 2008-03-18 Network Appliance, Inc. Parity assignment technique for parity declustering in a parity array of a storage system
US7499834B1 (en) 2004-09-30 2009-03-03 Emc Corporation System and methods for reporting device allocation
US8046560B1 (en) 2004-10-22 2011-10-25 Emc Corporation Serial number based storage device allocation
KR20090122675A (ko) * 2008-05-26 2009-12-01 주식회사 하이닉스반도체 상변화 메모리 소자 및 그의 제조 방법
JP5255127B2 (ja) * 2009-06-26 2013-08-07 株式会社日立製作所 ストレージシステム、及びストレージシステムの制御方法
US8856481B1 (en) 2009-09-17 2014-10-07 Emc Corporation Data processing system having host-controlled provisioning of data storage resources
US8762662B1 (en) 2011-06-24 2014-06-24 Emc Corporation Method and apparatus for application migration validation
US9015411B2 (en) * 2011-12-02 2015-04-21 Compellent Technologies System and method for unbalanced raid management
JP6073471B2 (ja) * 2013-05-17 2017-02-01 株式会社日立製作所 ストレージ装置
CN105573660B (zh) * 2014-09-30 2019-05-17 伊姆西公司 用于改善分簇磁盘阵列的性能的方法和装置
US9805044B1 (en) 2015-03-31 2017-10-31 EMC IP Holding Company LLC Window-based resource allocation in data storage systems
US9772792B1 (en) 2015-06-26 2017-09-26 EMC IP Holding Company LLC Coordinated resource allocation between container groups and storage groups
CN105138290A (zh) * 2015-08-20 2015-12-09 浪潮(北京)电子信息产业有限公司 一种高性能存储池组织方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cache probabilistic modeling for basic sparse algebra kernels involving matrices with a non-uniform distribution;R. Doallo等;《Proceedings. 24th EUROMICRO Conference (Cat. No.98EX204)》;20020806;第345-348页 *
改进的云存储系统数据分布策略;周敬利等;《改进的云存储系统数据分布策略》;20120201;第309-312页 *

Also Published As

Publication number Publication date
US10394478B2 (en) 2019-08-27
US20180173445A1 (en) 2018-06-21
CN108228079A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
US10146624B1 (en) Disk extent rebalancing in mapped RAID storage arrays
CN108228086B (zh) Raid重建的方法和设备
US10558383B2 (en) Storage system
US9798471B2 (en) Performance of de-clustered disk array by disk grouping based on I/O statistics
CN110413201B (zh) 用于管理存储系统的方法、设备和计算机程序产品
US8112553B2 (en) Data allocation in a distributed storage system
EP3665561B1 (en) A metadata control in a load-balanced distributed storage system
CN109725831A (zh) 管理存储系统的方法、系统和计算机程序产品
CN112764661B (zh) 用于管理存储系统的方法、设备和计算机程序产品
US11474919B2 (en) Method for managing multiple disks, electronic device and computer program product
US11188258B2 (en) Distributed storage system
US10310752B1 (en) Extent selection with mapped raid
US11281537B2 (en) Managing mapped raid extents in data storage systems
CN111124264A (zh) 用于重建数据的方法、设备和计算机程序产品
US9811280B2 (en) Efficient method of combining parity groups for uniform load distribution and maximizing parallelization in parity de-clustered and sliced disk raid architecture
CN112948279A (zh) 管理存储系统中的访问请求的方法、设备和程序产品
CN108228079B (zh) 存储管理方法和设备
CN108228085A (zh) 用于管理存储系统的方法和设备
CN106873903A (zh) 数据存储方法及装置
CN110096216B (zh) 用于管理数据存储系统中的数据存储的方法、装置以及计算机程序产品
CN108733307B (zh) 存储管理方法、设备以及计算机可读介质
CN111858188A (zh) 存储管理的方法、设备和计算机程序产品
CN106062721A (zh) 一种将数据写入存储系统的方法和存储系统
US10423506B1 (en) Fast rebuild using layered RAID
CN108932176B (zh) 数据降级存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant