CN112748849A - 用于存储数据的方法、设备和计算机程序产品 - Google Patents

用于存储数据的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN112748849A
CN112748849A CN201911039335.3A CN201911039335A CN112748849A CN 112748849 A CN112748849 A CN 112748849A CN 201911039335 A CN201911039335 A CN 201911039335A CN 112748849 A CN112748849 A CN 112748849A
Authority
CN
China
Prior art keywords
slice
sub
slices
metadata
given
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911039335.3A
Other languages
English (en)
Inventor
康剑斌
韩耕
高健
董继炳
徐鑫磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201911039335.3A priority Critical patent/CN112748849A/zh
Priority to US16/877,871 priority patent/US11287996B2/en
Publication of CN112748849A publication Critical patent/CN112748849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0646—Configuration or reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Abstract

本公开的实施例涉及一种用于存储数据的方法、设备和计算机程序产品。方法包括将独立盘冗余阵列(RAID)中的每个盘划分成多个切片，其中多个切片包括具有第一大小的用于存储用户数据的第一切片和用于存储元数据的第二切片，然后将第二切片划分成多个子切片，其中多个子切片中的每个子切片具有小于第一大小的第二大小。方法还包括使用第一切片形成用于存储用户数据的第一条带集，并且使用子切片形成用于存储元数据的第二条带集。与用户数据的条带集的切片相比，本公开的实施例为元数据的条带集设置更小的切片大小，减小了元数据的存储和迁移的粒度，并且能将元数据分散到RAID中的更多个盘中，由此提高了数据访问的速度。

Description

用于存储数据的方法、设备和计算机程序产品
技术领域
本公开的实施例总体上涉及数据存储技术领域，并且更具体地涉及用于存储数据的方法、设备以及计算机程序产品。
背景技术
独立盘冗余阵列(RAID)是一种数据备份技术，其能够把多个独立的物理盘按不同的方式组合起来形成一个盘的阵列(即，逻辑盘)，从而提供比单个盘更高的存储性能和更高的可靠性能。为了在RAID中的某个盘发生故障时对数据进行恢复，RAID中通常设置一个奇偶校验信息块(例如RAID 1、RAID 3或RAID 5等)或多个奇偶校验信息块(例如RAID 6)。以RAID 5为例，如果RAID中的某个盘发生故障，一个新的盘被添加到RAID中。然后，RAID能够通过分布式校验信息计算出故障盘中的数据，并在新的盘中对数据进行重建以恢复数据。
通常，在一个RAID中，可以存在等于或者大于RAID宽度的多个盘，其中每个盘被划分成多个切片，每个切片可以具有固定大小(例如4GB等)。RAID通常是通过条带来存储数据，例如，在RAID 5中，可以组合5个盘上的5个切片以形成一个RAID条带集，条带集也称为“Uber”，其包括多个条带。也即，4个数据块和1个奇偶校验信息块(即“4D+1P”)形成一个条带集，当RAID中的某个盘发生故障时，能够通过分布式校验信息来进行重建，使得数据能够被恢复并且不会被丢失。
发明内容
本公开的实施例提供了一种用于存储数据的方法、设备和计算机程序产品。
在本公开的一个方面，提供了一种用于存储数据的方法。该方法包括：将独立盘冗余阵列(RAID)中的盘划分成多个切片，其中多个切片包括具有第一大小的第一切片和第二切片；将第二切片划分成多个子切片，其中多个子切片中的子切片具有小于第一大小的第二大小；以及使用第一切片形成用于存储用户数据的第一条带集并且使用子切片形成用于存储元数据的第二条带集。
在本公开的另一方面，提供了一种用于存储数据的设备。该设备包括处理单元以及存储器，其中存储器被耦合至处理单元并且存储有指令。所述指令在由处理单元执行时执行以下动作：将独立盘冗余阵列(RAID)中的盘划分成多个切片，其中多个切片包括具有第一大小的第一切片和第二切片；将第二切片划分成多个子切片，其中多个子切片中的子切片具有小于第一大小的第二大小；以及使用第一切片形成用于存储用户数据的第一条带集并且使用子切片形成用于存储元数据的第二条带集。
在本公开的又一方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使得计算机执行根据本公开的实施例的方法或过程。
提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。本发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的各个实施例的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在本公开示例性实施例中，相同的附图标记通常代表相同的元素。
图1示出了根据本公开的实施例的存储系统的示例环境的示意图；
图2示出了根据本公开的实施例的用于使用不同的切片大小来存储不同类型的数据的方法的流程图；
图3示出了根据本公开的实施例的RAID盘中的切片和子切片的示意图；
图4示出了根据本公开的条带集元数据和切片元数据的示意图；
图5示出了根据本公开的实施例的用于分配元数据条带集的方法的流程图；
图6示出了根据本公开的实施例的用于释放元数据条带集的方法的流程图；以及
图7示出了可以用来实施本公开的实施例的设备的示意性块图。
具体实施例
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的一些具体实施例，然而应该理解，可以以各种形式实现本公开，而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象，除非明确指示不同。
传统地，RAID中的每个盘被划分成多个切片，每个切片具有固定的大小(例如4GB)。然而，本申请发明人发现映射器的元数据层通常远小于用户数据层，而元数据只占整个数据中的很小比例，例如5％或者其他值，但是对元数据层的I/O访问去比用户数据层大很多，而在传统的方法中，映射器的元数据层和映射器的用户数据层都是使用的相同的切片大小。因此，传统的方法存在可能影响系统性能的两方面的问题。第一，如果没有足够的用户数据，那么映射器元数据层就会太小，以至于无法分布在所有盘上。例如，对于25个盘的RAID弹性集(RRS)，如果用户数据很少，则映射器元数据层可能仅消耗1个条带集(即Uber)，即2个盘切片，造成只有2个盘将服务所有元数据的I/O。第二，对于小的热数据，元数据可能仅分布在仅有的一个或多个条带集上。在访问热数据时，只有很少的盘将提供元数据I/O，影响了访问速度。
为此，本公开的实施例提出了一种为不同的映射器层设置不同的动态切片大小的方案。与用户数据的条带集相比，本公开的实施例为元数据的条带集设置更小的切片大小，减小了元数据的存储和迁移的粒度，并且能将元数据分散到RAID中的更多个盘中，由此提高数据访问的速度，并且提高元数据层的性能。此外，本公开的一些实施例能够在数据迁移粒度、元数据的存储器消耗、以及条带集布局计算之间实现很好的平衡。因此，根据本公开的实施例，仅仅减小元数据层的切片大小，而保持用户数据的切片大小不变，因而能够使得元数据的存储消耗不会增加太多，并且总的条带集数目也不会增加太多。
以下参考图1至图7来说明本公开的基本原理和若干示例实现方式。应当理解，给出这些示例性实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开的实施例，而并非以任何方式限制本公开的范围。
图1示出了根据本公开的实施例的存储系统的示例环境100的示意图。如图1的示例环境100所示，存储池110包括多个RSS 111、112、113和114，每个RSS组成一个故障域，其意味着如果某个RSS中的一个盘驱动器发生故障，其不会影响其他RSS的可靠性。存储池110管理着存储系统中的所有盘驱动器。在本公开的实施例中，每个RSS可以包括多个盘驱动器，例如可以在5个与25个之间。在本公开的一些实施例中，每个RSS包括25个盘驱动器，然而，其他数目也是可能的。
每个盘可以被划分成固定大小的盘切片，例如可以被划分成4GB大小的切片。本公开的实施例引入了“子切片”的概念，并且提出了针对不同类型的数据，设置不同的切片大小。例如，针对用户数据，切片大小可以保持为4GB，然而，针对数据量较小并且访问频次较高的元数据，切片可以被进一步划分成子切片(每个子切片的大小可以仅为16MB)，然后通过子切片来形成用于存储元数据的条带集。
不同盘上的多个切片可以组成一个条带集(Uber)，多个条带集可以组成一个映射器层。例如，可以从存储池110中分配条带集，如果是RAID 5类型的RAID，创建一个条带集需要分配来自5个盘的5个空闲切片，以便组成一个RAID条带集，此外，需要保证一个条带集所包括的所有切片需要来自同一个RRS。每个条带集包括多个RAID条带。在一些实施例中，条带集中的每个条带的大小可以为2MB，也称为物理大块(PLB)。
存储池110将对外暴露一些层(例如用户数据层、元数据层等)，以供其他部件使用，每个层可以包括多个条带集。每个层中都基于其数据类型而应用各自的RAID策略，一个层中所有条带集应用相同的RAID策略，例如相同的RAID宽度和RAID类型。层可以按需扩展，因而可以动态分配新的条带集并且分配给相应层。如示例环境100所示，可以构建RAID数据库层120、用户数据层130以及元数据层140等，这些层被映射器150分别映射到命名空间160中，以供外部用户使用。其中存储池110、RAID数据库层120、用户数据层130、元数据层140、映射器150等可以构成整个RAID系统。映射器150是RAID中的核心组件，其将每一层都视为一个平面线性物理地址空间，此外，其还将单个平面线性逻辑地址空间暴露给命名空间160。例如，逻辑地址空间可能很大。在一些实施例中，映射器150使用B+树来维护页面粒度中逻辑地址和物理地址之间的映射。命名空间160消耗并管理映射器150暴露的线性逻辑空间，命名空间160将创建卷并将卷暴露给外部主机。
此外，虽然未示出，存储系统中还可以包括高速缓存、日志记录器、日志数据层、日志元数据层等模块和部件，其中高速缓存提供了存储器中缓存功能，其在系统中有2个实例，一个实例用于用户数据，另一个实例用于元数据，其为映射器150提供事务操作功能，以便加快数据的访问速度。
图2示出了根据本公开的实施例的用于使用不同的切片大小来存储不同类型的数据的方法200的流程图。为了更好地描述方法200，在此参考图1和图3一起进行描述。
在202，将RAID中的盘划分成多个切片，其中多个切片包括具有第一大小的第一切片和第二切片。例如，将图1的存储池110中的每个盘驱动器都划分成固定大小的多个切片，每个切片的大小例如可以为4GB。
参考图3，其示出了根据本公开的实施例的RAID盘中的切片和子切片的示意图示300。盘D0、D1、D2、D3、D4、D5、D6…D24可以为存储池中的一个RSS中的25个盘驱动器，每个盘(其大小例如可以为10TB)首先按照预定大小(例如4GB)划分成多个切片，如图3的箭头所示，盘D0被划分成多个切片，例如第一切片(即切片A1)、第二切片，等等。
返回图2，在204，将第二切片划分成多个子切片，其中多个子切片中的每个子切片具有小于第一大小的第二大小。本公开的实施例提出了切片的子切片的概念。例如，参考图3，盘D0中的第二切片由于需要被用于存储元数据，因而需要进一步被划分成第二大小的子切片(例如子切片B1)，第二大小例如可以为16MB。因此，在图3的示例中盘D0中的第二切片可以被分成256个子切片，其中子切片B1为其中的一个子切片。每个切片的子切片数目是可以配置的，例如可以配置最大数目256个，而每个映射器层可以选择2n个作为每个切片中的子切片数目，其中n在0到8之间。在本公开的一些实施例中，针对用户数据层，n设置为0，而针对元数据层，n设置为8。因此，用户数据层的每个切片大小为4GB，而元数据层的每个子切片大小为16MB。
在206，使用第一切片形成用于存储用户数据的第一条带集并且使用子切片形成用于存储元数据的第二条带集。参考图3，使用第一大小(例如4GB)的5个切片(来自盘D0的切片A1、来自盘D1的切片A2、来自盘D3的切片A3、来自盘D4的切片A4、来自盘D6的切片A5)来构成用户数据条带集(其大小为16GB)，使用第二大小(例如16MB)的2个子切片(来自盘D0的子切片B1、来自盘D1的子切片B2)来构成元数据条带集(其大小为16MB)，其中用户数据使用的RAID 5技术，而元数据使用的是RAID 1技术。然而，用户数据和/或元数据也可以使用其他级别的RAID来实现。
因此，与用户数据的条带集相比，本公开的实施例的方法200为元数据的条带集设置更小的切片大小，减小了元数据的存储和迁移的粒度，并且能将元数据分散到RAID中的更多个盘中，由此提高数据访问的速度。
在图3的示例中，切片A1、A2、A3、A4和A5构成一个用户数据条带集，而多个用户数据条带集可以构成用于映射器的用户数据层，例如图1所示出的用户数据层130。子切片B1和B2构成一个元数据条带集，而多个元数据条带集可以构成用于映射器的元数据层，例如图1所示出的元数据层140。通过这种方式，能够以不同的粒度和大小将用户数据和元数据提供给外部主机使用，并且将元数据更加分散地存储在多个盘中，由此在访问元数据时提高系统的性能。
图4示出了根据本公开的条带集元数据和切片元数据的示意图示400，可以在切片元数据420中添加子切片位图，其中子切片位图中每位指示每个子切片是否已经被分配，在条带集元数据410中记录子切片的子切片索引，使得能够基于切片的逻辑区块地址和子切片索引来确定子切片的逻辑区块地址。如图4所示，在条带集元数据410中记录切片0的元数据411以及切片1的元数据412，其子切片索引分别指向切片元数据420中对应的元数据421和422，如箭头423和424所示。切片元数据420中包括每个切片的子切片位图，其中的每位指示每个子切片是否已经被分配。当某个子切片被分配时，在条带集元数据410中记录该子切片的子切片索引，以指向子切片位图中对应的位。
需要使用单独的数据结构来存储子切片的元数据，其可以直接由各个切片来维护。在本公开的实施例中，可以在各个切片的元数据中添加32字节以作为子切片位图，32字节中的每位(即每个比特)表示各个子切片。因此，其可以表示最大的子切片数目为32×8＝256。如果某位为1，则说明对应的子切片已经被分配；反之，如果某位为0，则对应的子切片尚未被分配，即为空闲的。
条带集包含指向每个位置的切片的指针，本公开的实施例可以向每个位置添加1个字节，作为子切片索引。例如，如果该字节为0，则元数据条带集使用子切片0；如果该字节为0xff，则元数据条带集使用子切片0xff。
子切片的数目和每个子切片的大小存储在每个层的元数据中。同一层中的所有条带集共享相同的子切片大小。如果子切片的数目小于256，则可以使用32个字节中的仅一部分。例如，如果每个切片只有128个子切片，则将仅使用16个字节子切片位图，而其他16个字节需要清零以作其他用途。
如图4所示，子切片的基础LBA地址＝切片的基础LBA地址+子切片大小×子切片索引，其中切片的基础LBA地址是每个切片的开始LBA，其可以从切片的元数据而获得。
图5示出了根据本公开的实施例的用于分配元数据条带集的方法500的流程图。在502，确定需要分配元数据条带集，例如可以通过某些算法选择要分配的盘，使得整个RAID尽量均匀分配。在504，判断已分配切片的子切片位图中是否存在0。例如，针对每个盘，查找已经分配了子切片的切片。如果这个切片的子切片位图中显示某些位为0，则在506，选择该切片，从该切片分配一个新的16MB子切片，并且将该切片的子切片位图中对应位修改为1。然后，在508，修改子切片索引以指向该子切片。
如果在504判断为否，则说明没有任何切片中还存在空闲子切片，则在510，从盘分配一个新的4GB切片以用于存储元数据，然后执行上述506和508步骤。根据本公开的实施例的分配方法，在某个已使用的切片中存在可用子切片时，从已使用的切片分配新的子切片。通过这种方式，能够减少盘中的碎片化。
图6示出了根据本公开的实施例的用于释放元数据条带集的方法600的流程图。在602，确定需要释放元数据条带集。在604，针对元数据条带集所涉及的每个切片，将切片的子切片位图中的对应位修改为0。在606，判断每个切片的子切片位图中的所有位是否都为0。如果否，则在610清除条带集的元数据并且释放条带集。如果在606判断为是，则在608，首先将该切片释放给存储池，然后清除条带集的元数据并且释放条带集。通过这种方式，能够将未使用的切片还给存储池。
本公开的实施例为元数据的条带集设置更小的切片大小，减小了元数据的存储和迁移的粒度，并且能将元数据分散到RAID中的更多个盘中，由此提高数据访问的速度。此外，本公开的实施例仅需很少的改动，兼容性较高。本公开的实施例针对每个条带集元数据，仅增加很少的元数据占用。另外，由于元数据的比例很小，因而本公开的实施例增加的元数据条带集的数目较少。相反，如果在存储系统中减小所有切片大小，则会造成太多的条带集数目，增加元数据的消耗。
图7示出了可以用来实施本公开的实施例的设备700的示意性块图，设备700可以为本公开的实施例所描述的设备或装置。如图7所示，设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个方法或过程可由处理单元701来执行。例如，在一些实施例中，方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序被加载到RAM 703并由CPU 701执行时，可以执行上文描述的方法或过程中的一个或多个步骤或动作。
在一些实施例中，以上所描述的方法和过程可以被实现为计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或块图中的一个或多个方块中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或块图中的一个或多个方块中规定的功能/动作的各个方面的指令。
可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或块图中的一个或多个方块中规定的功能/动作。
附图中的流程图和块图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或块图中的每个方块可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方块中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方块实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这取决于所涉及的功能。也要注意的是，块图和/或流程图中的每个方块、以及块图和/或流程图中的方块的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使得本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (19)

1.一种用于存储数据的方法，包括：
将独立盘冗余阵列(RAID)中的盘划分成多个切片，所述多个切片包括具有第一大小的第一切片和第二切片；
将所述第二切片划分成多个子切片，所述多个子切片中的子切片具有小于所述第一大小的第二大小；以及
使用所述第一切片形成用于存储用户数据的第一条带集并且使用所述子切片形成用于存储元数据的第二条带集。
2.根据权利要求1所述的方法，其中使用所述第一切片形成用于存储用户数据的第一条带集并且使用所述子切片形成用于存储元数据的第二条带集包括：
使用所述RAID中的五个盘中的五个切片形成基于RAID 5的所述第一条带集；以及
使用所述RAID中的两个盘中的两个子切片形成基于RAID 1的所述第二条带集。
3.根据权利要求1所述的方法，所述第一条带集是第一类条带集，并且所述第二条带集是第二类条带集，所述方法还包括：
将多个第一类条带集组合成用于映射器的用户数据层；以及
将多个第二类条带集组合成用于所述映射器的元数据层。
4.根据权利要求3所述的方法，其中将所述第二切片划分成多个子切片包括：
在切片元数据中添加预定大小的存储空间；以及
使用所述存储空间来设置所述第二切片的子切片位图，所述子切片位图中每位指示每个子切片是否已经被分配。
5.根据权利要求4所述的方法，其中使用所述子切片形成用于存储元数据的第二条带集包括：
在条带集元数据中记录所述子切片的子切片索引，使得能够基于所述第二切片的逻辑区块地址和所述子切片索引来确定所述子切片的逻辑区块地址。
6.根据权利要求5所述的方法，还包括：
从给定盘中分配用于存储元数据的给定切片；
从所述给定切片中分配一个子切片；以及
将所述给定切片的子切片位图中与所述一个子切片相对应的位从第一值修改为第二值。
7.根据权利要求6所述的方法，还包括：
确定所述给定切片的所述子切片位图的所有位是否存在所述第一值；
根据确定所述给定切片的所述子切片位图的所有位都不存在所述第一值，从所述给定盘中分配第三切片以用于存储元数据；以及
根据确定所述给定切片的所述子切片位图中的一个或多个位存在所述第一值，从所述给定切片中分配另一子切片。
8.根据权利要求6所述的方法，还包括：
根据确定释放所述一个子切片，将所述给定切片的子切片位图中与所述一个子切片相对应的位从所述第二值修改为所述第一值。
9.根据权利要求8所述的方法，还包括：
根据确定所述给定切片的子切片位图中所有位都被设置为所述第一值，将所述给定切片释放给所述给定盘。
10.一种用于存储数据的设备，包括：
处理单元；以及
存储器，其耦合至所述处理单元并且存储有指令，所述指令在由所述处理单元执行时执行以下动作：
将独立盘冗余阵列(RAID)中的盘划分成多个切片，所述多个切片包括具有第一大小的第一切片和第二切片；
将所述第二切片划分成多个子切片，所述多个子切片中的子切片具有小于所述第一大小的第二大小；以及
使用所述第一切片形成用于存储用户数据的第一条带集并且使用所述子切片形成用于存储元数据的第二条带集。
11.根据权利要求10所述的设备，其中使用所述第一切片形成用于存储用户数据的第一条带集并且使用所述子切片形成用于存储元数据的第二条带集包括：
使用所述RAID中的五个盘中的五个切片形成基于RAID 5的所述第一条带集；以及
使用所述RAID中的两个盘中的两个子切片形成基于RAID 1的所述第二条带集。
12.根据权利要求10所述的设备，所述第一条带集是第一类条带集，并且所述第二条带集是第二类条带集，所述动作还包括：
将多个第一类条带集组合成用于映射器的用户数据层；以及
将多个第二类条带集组合成用于所述映射器的元数据层。
13.根据权利要求12所述的设备，其中将所述第二切片划分成多个子切片包括：
在切片元数据中添加预定大小的存储空间；以及
使用所述存储空间来设置所述第二切片的子切片位图，所述子切片位图中每位指示每个子切片是否已经被分配。
14.根据权利要求13所述的设备，其中使用所述子切片形成用于存储元数据的第二条带集包括：
在条带集元数据中记录所述子切片的子切片索引，使得能够基于所述第二切片的逻辑区块地址和所述子切片索引来确定所述子切片的逻辑区块地址。
15.根据权利要求14所述的设备，所述动作还包括：
从给定盘中分配用于存储元数据的给定切片；
从所述给定切片中分配一个子切片；以及
将所述给定切片的子切片位图中与所述一个子切片相对应的位从第一值修改为第二值。
16.根据权利要求15所述的设备，所述动作还包括：
确定所述给定切片的所述子切片位图的所有位是否存在所述第一值；
根据确定所述给定切片的所述子切片位图的所有位都不存在所述第一值，从所述给定盘中分配第三切片以用于存储元数据；以及
根据确定所述给定切片的所述子切片位图中的一个或多个位存在所述第一值，从所述给定切片中分配另一子切片。
17.根据权利要求15所述的设备，所述动作还包括：
根据确定释放所述一个子切片，将所述给定切片的子切片位图中与所述一个子切片相对应的位从所述第二值修改为所述第一值。
18.根据权利要求17所述的设备，所述动作还包括：
根据确定所述给定切片的子切片位图中所有位都被设置为所述第一值，将所述给定切片释放给所述给定盘。
19.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使计算机执行根据权利要求1至9中任一项所述的方法。
CN201911039335.3A 2019-10-29 2019-10-29 用于存储数据的方法、设备和计算机程序产品 Pending CN112748849A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911039335.3A CN112748849A (zh) 2019-10-29 2019-10-29 用于存储数据的方法、设备和计算机程序产品
US16/877,871 US11287996B2 (en) 2019-10-29 2020-05-19 Method, device and computer program product for storing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911039335.3A CN112748849A (zh) 2019-10-29 2019-10-29 用于存储数据的方法、设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN112748849A true CN112748849A (zh) 2021-05-04

Family

ID=75586772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911039335.3A Pending CN112748849A (zh) 2019-10-29 2019-10-29 用于存储数据的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11287996B2 (zh)
CN (1) CN112748849A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733311B (zh) * 2017-04-17 2021-09-10 伊姆西Ip控股有限责任公司 用于管理存储系统的方法和设备
CN114564144B (zh) 2020-11-27 2024-04-19 伊姆西Ip控股有限责任公司 在存储系统中创建区块阵列的方法、设备和程序产品
CN114721585A (zh) 2021-01-06 2022-07-08 伊姆西Ip控股有限责任公司 存储管理方法、设备和计算机程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020055929A1 (en) * 2000-11-06 2002-05-09 International Business Machines Corporation Computer system with multiple heaps
US20070294565A1 (en) * 2006-04-28 2007-12-20 Network Appliance, Inc. Simplified parity disk generation in a redundant array of inexpensive disks
JP2012014450A (ja) * 2010-06-30 2012-01-19 Toshiba Corp データ記憶装置及びスライス割り当て方法
US9395937B1 (en) * 2013-12-27 2016-07-19 Emc Corporation Managing storage space in storage systems
CN107250975A (zh) * 2014-12-09 2017-10-13 清华大学 数据存储系统和数据存储方法
US9817766B1 (en) * 2012-12-28 2017-11-14 EMC IP Holding Company LLC Managing relocation of slices in storage systems
US20190004900A1 (en) * 2017-06-30 2019-01-03 EMC IP Holding Company LLC Method, device and computer program product for managing a storage system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130111821A (ko) * 2012-04-02 2013-10-11 삼성전자주식회사 Ｒａｉｄ 메모리 시스템
US8782324B1 (en) 2012-06-28 2014-07-15 Emc Corporation Techniques for managing placement of extents based on a history of active extents
US20160048342A1 (en) * 2014-08-12 2016-02-18 Facebook, Inc. Reducing read/write overhead in a storage array
US10365847B1 (en) 2014-09-19 2019-07-30 EMC IP Holding Company LLC Creating an object in an object storage subsystem for managing paged metadata
US10372368B2 (en) * 2016-10-13 2019-08-06 International Business Machines Corporation Operating a RAID array with unequal stripes
US10146456B1 (en) 2016-12-30 2018-12-04 EMC IP Holding Company LLC Data storage system with multi-level, scalable metadata structure
US10152254B1 (en) 2017-04-28 2018-12-11 EMC IP Holding Company LLC Distributing mapped raid disk extents when proactively copying from an EOL disk
US10402262B1 (en) 2017-07-28 2019-09-03 EMC IP Holding Company LLC Fencing for zipheader corruption for inline compression feature system and method
US10782894B1 (en) 2017-07-31 2020-09-22 EMC IP Holding Company, LLC Reducing overlap through shuffle and keeping relationship balance on mapped RAID system and method
US10534539B1 (en) 2017-07-31 2020-01-14 EMC IP Holding Company, LLC Dynamic programming based extent selection for hybrid capacity extent pool system and method
US10540103B1 (en) 2017-07-31 2020-01-21 EMC IP Holding Company LLC Storage device group split technique for extent pool with hybrid capacity storage devices system and method
US10592138B1 (en) 2017-07-31 2020-03-17 EMC IP Holding Company LLC Avoiding storage device overlap in raid extent sub group and keeping relationship balance on mapped raid system and method
US10481802B1 (en) 2017-10-16 2019-11-19 EMC IP Holding Company LLC Balancing Mapped RAID background I/O with user I/O via dynamically changing background credits on Mapped RAID system and method
US10235082B1 (en) 2017-10-18 2019-03-19 EMC IP Holding Company LLC System and method for improving extent pool I/O performance by introducing disk level credits on mapped RAID
US10936195B2 (en) 2017-10-30 2021-03-02 EMC IP Holding Company LLC Data storage system using in-memory structure for reclaiming space from internal file system to pool storage
US10235286B1 (en) 2017-10-30 2019-03-19 EMC IP Holding Company LLC Data storage system dynamically re-marking slices for reclamation from internal file system to pool storage
US10592165B1 (en) 2018-02-02 2020-03-17 EMC IP Holding Company LLC Method, apparatus and computer program product for queueing I/O requests on mapped RAID
CN110413203B (zh) 2018-04-28 2023-07-18 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机可读介质
US10942808B2 (en) * 2018-12-17 2021-03-09 International Business Machines Corporation Adaptive data and parity placement using compression ratios of storage devices
US10908997B1 (en) * 2019-07-30 2021-02-02 EMC IP Holding Company LLC Simple and efficient technique to support disk extents of different sizes for mapped RAID

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020055929A1 (en) * 2000-11-06 2002-05-09 International Business Machines Corporation Computer system with multiple heaps
US20070294565A1 (en) * 2006-04-28 2007-12-20 Network Appliance, Inc. Simplified parity disk generation in a redundant array of inexpensive disks
JP2012014450A (ja) * 2010-06-30 2012-01-19 Toshiba Corp データ記憶装置及びスライス割り当て方法
US9817766B1 (en) * 2012-12-28 2017-11-14 EMC IP Holding Company LLC Managing relocation of slices in storage systems
US9395937B1 (en) * 2013-12-27 2016-07-19 Emc Corporation Managing storage space in storage systems
CN107250975A (zh) * 2014-12-09 2017-10-13 清华大学 数据存储系统和数据存储方法
US20190004900A1 (en) * 2017-06-30 2019-01-03 EMC IP Holding Company LLC Method, device and computer program product for managing a storage system
CN109213619A (zh) * 2017-06-30 2019-01-15 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品

Also Published As

Publication number Publication date
US11287996B2 (en) 2022-03-29
US20210124517A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
CN110413201B (zh) 用于管理存储系统的方法、设备和计算机程序产品
EP3100183B1 (en) Efficient data reads from distributed storage systems
CN109213619B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN109725823B (zh) 用于管理混合存储盘阵列的方法和设备
CN110058953B (zh) 用于改变存储系统的类型的方法、设备和存储介质
US11263080B2 (en) Method, apparatus and computer program product for managing cache
CN112748849A (zh) 用于存储数据的方法、设备和计算机程序产品
US9697079B2 (en) Protecting data integrity in de-duplicated storage environments in combination with software defined native raid
CN112748867B (zh) 用于存储管理的方法、电子设备以及计算机程序产品
US11947839B2 (en) Storage device, system, and method for customizable metadata
CN113126890A (zh) 用于存储的方法、设备和计算机程序产品
CN116974458A (zh) 用于处理数据的方法、电子设备和计算机程序产品
CN108733307B (zh) 存储管理方法、设备以及计算机可读介质
CN111857559A (zh) 用于管理元数据的方法、装置和计算机程序产品
CN111857557B (zh) Raid类型转换的方法、设备和计算机程序产品
CN114746850A (zh) 提供动态随机存取存储器高速缓存作为第二类型存储器
CN111124257B (zh) 用于管理独立盘冗余阵列的方法、设备和计算机程序产品
CN112748848A (zh) 用于存储管理的方法、设备和计算机程序产品
US9767029B2 (en) Data decompression using a construction area
US20210334042A1 (en) Data storage method, device and computer program product
CN111857560A (zh) 用于管理数据的方法、设备和计算机程序产品
US11481275B2 (en) Managing reconstruction of a malfunctioning disk slice
US11789622B2 (en) Method, device and computer program product for storage management
CN111124746A (zh) 管理独立盘冗余阵列的方法、设备和计算机可读介质
CN114385069B (zh) 存储管理的方法、设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination