CN111124249A - 用于数据处理的方法、设备和计算机程序产品 - Google Patents

用于数据处理的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN111124249A
CN111124249A CN201811278806.1A CN201811278806A CN111124249A CN 111124249 A CN111124249 A CN 111124249A CN 201811278806 A CN201811278806 A CN 201811278806A CN 111124249 A CN111124249 A CN 111124249A
Authority
CN
China
Prior art keywords
source
destination
identification information
block
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811278806.1A
Other languages
English (en)
Other versions
CN111124249B (zh
Inventor
高健
龚绍钦
杨利锋
徐鑫磊
李雄成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201811278806.1A priority Critical patent/CN111124249B/zh
Priority to US16/582,476 priority patent/US11216198B2/en
Publication of CN111124249A publication Critical patent/CN111124249A/zh
Application granted granted Critical
Publication of CN111124249B publication Critical patent/CN111124249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例提供了一种用于数据处理的方法、设备和计算机程序产品。该方法包括响应于接收到用于将盘阵列的第一宽度调整为第二宽度的第一请求，基于第一请求中的盘阵列中的源条带组的源标识信息，获得与源条带组相关联的源块的源块标识信息。该方法还包括确定与第二宽度相关联的可用于存储数据的目的地条带组的目的地标识信息。该方法还包括基于源块标识信息和目的地标识信息，将来自源块的源数据和针对源数据的元数据存储到目的地条带组的目的地块中，元数据包括用于访问源块的节点的节点标识信息。该方法还包括基于节点标识信息，将节点调整为访问目的地块。通过利用该方法，可以动态地对盘阵列的宽度进行调整，并且提高了盘阵列的存储效率。

Description

用于数据处理的方法、设备和计算机程序产品
技术领域
本公开的实施例涉及数据存储领域，并且更具体地，涉及用于数据处理的方法、设备和计算机程序产品。
背景技术
独立磁盘冗余阵列(RAID)是由多个独立的盘按不同的方式组合起来形成一个盘组。在用户看来，独立磁盘冗余阵列就像是一个盘，但是其可以提供比单个硬盘更高的存储能力，并且还可以提供数据备份。当盘区的数据被损坏时，利用数据备份还可以恢复损坏的数据，从而保护用户数据的安全性。磁盘阵列的不同组成方式被称为RAID级别(RAIDLevels)，如RAID0，RAID1，RAID5等。
随着RAID技术的发展，数据读取和写入在盘的切片级别上而不是在盘的级别上执行。根据这种技术，多个盘中的每个盘被划分为多个盘切片。通过以盘的切片为单位来创建RAID，实现了更灵活的盘管理和I/O控制、提高了系统的运行性能。然而，由于随着存储盘价格的降低，更多的盘被用于存储数据。因此，在RAID中存在如何利用更多的盘来存储数据的问题。
发明内容
本公开的实施例提供一种用于数据处理的方法、设备和计算机程序产品。
根据本公开的第一方面，提供了一种用于数据处理的方法。该方法包括：响应于接收到用于将盘阵列的第一宽度调整为第二宽度的第一请求，基于第一请求中的盘阵列中的源条带组的源标识信息，获得与源条带组相关联的源块的源块标识信息。该方法还包括确定与第二宽度相关联的可用于存储数据的目的地条带组的目的地标识信息。该方法还包括基于源块标识信息和目的地标识信息，将来自源块的源数据和针对源数据的元数据存储到目的地条带组的目的地块中，元数据包括用于访问源块的节点的节点标识信息。该方法还包括基于节点标识信息，将节点调整为访问目的地块。
根据本公开的第二方面，提供了一种用于访问服务的电子设备。该电子设备包括：处理器；以及存储器，存储有计算机程序指令，处理器运行存储器中的计算机程序指令控制电子设备执行动作，该动作包括：响应于接收到用于将盘阵列的第一宽度调整为第二宽度的第一请求，基于第一请求中的盘阵列中的源条带组的源标识信息，获得与源条带组相关联的源块的源块标识信息；确定与第二宽度相关联的可用于存储数据的目的地条带组的目的地标识信息；基于源块标识信息和目的地标识信息，将来自源块的源数据和针对源数据的元数据存储到目的地条带组的目的地块中，元数据包括用于访问源块的节点的节点标识信息；以及基于节点标识信息，将节点调整为访问目的地块。
根据本公开的第三方面，提供了一种计算机程序产品，该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行本公开的第一方面中的方法的步骤。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1图示了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境100的示意图；
图2图示了根据本公开的实施例的条带组结构的示例200的示意图；
图3图示了根据本公开的实施例的用于数据处理的过程300的示意图；
图4图示了根据本公开的实施例的用于调整宽度的过程400的示意图；
图5A-图5C图示了根据本公开的实施例的用于调整宽度的示例500的示意图；
图6图示了适于用来实施本公开内容的实施例的示例设备600的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例，但应当理解，描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
对于一些用户，在初始构建盘阵列时，由于盘的数目有限，用户在配置盘阵列时选择了较小的盘阵列的宽度，例如4+1RAID5。其中，盘阵列的宽度为组成盘阵列的条带的盘的数目。然而，随着盘阵列中存储数据的增多，客户可能会在将新的存储盘插入盘阵列以进行存储扩展。因此，如何将新插入的盘与原来的存储盘结合，通过改变盘阵列的结构来提高整个盘阵列的存储能力成为需要解决的问题。
在对增加的盘进行处理时，一盘会对其进行RAID迁移，在迁移的过程中一般只是对数据进行静态的转移。在转移数据时会停止外部对数据的操作。然而，对于一些正在提供服务的盘阵列来说是不方便的，同时也会导致服务能力下降。因此，如何在对盘阵列进行调整时而不影响对盘阵列的使用也是需要解决的问题。
为了解决上述问题，本公开了提出了一种用于数据处理的方法。在该方法中，通过动态的调整盘阵列的宽度来解决磁盘增加的问题。由于盘阵列的宽度增加了，提高了盘阵列的存储效率。此外，该方法是动态执行的方法，即在不中断外部使用该盘阵列数据的情形下可以对该盘阵列进行宽度调整。因此，该方法还改进了盘阵列提供服务的能力。
图1示出了根据本公开的实施例的存储系统100的架构图。如图1所示，存储系统100包括映射器102。映射器102用于将用户请求中的地址映射到存储数据的物理空间以便于用户读取或写入数据。
映射器102对上层应用可以提供预定大小的逻辑存储空间。在一些示例中，该逻辑存储空间的大小可以为8EB。上述示例仅是用于说明可以提供的逻辑存储空间的大小，而非对本公开的限定。可以基于需要设置任意大小的逻辑存储空间。
在映射器102中，可以采用任意合适的结构来维持逻辑地址与物理地址之间的映射。在一个示例中，其采用B+树来维持逻辑地址与物理地址之间的映射。该映射包括虚拟逻辑块到物理块的映射。虚拟逻辑块包括一个或多个节点。上述示例仅是用于说明，而非对本公开的限定。可以基于需要将映射器102内的逻辑地址与物理地址之间的映射关系设置为任意合适的结构。
在一个示例中，在该节点内存储物理块的地址。在一个示例中，该映射的最小粒度为4KB的页面。上述示例仅是用于说明，而非对本公开的限定。可以基于需要存储与物理块相关联的任意合适的信息和设置任意大小的映射粒度。
在一个示例中，如果映射器102接收到写请求，映射器102首先聚集足够多的4KB页面至一个2MB的物理大块(Physical Large Block，PLB)，然后以物理大块为单位执行写请求。而对于映射器102接收到读请求的情况，映射器102可以以小于等于2MB的物理地址为单位来执行读请求。
存储系统100还包括盘阵列104。在一个示例中，盘阵列可以为独立冗余盘阵列(RAID)。在另一示例中，盘阵列可以为任意合适类型的盘阵列。盘阵列具有预定的宽度。盘阵列的宽度是指组成盘阵列中的条带的盘的数目。在一个示例中，盘阵列的宽度为4+1的RAID5表明组成RAID5的条带的盘的数目为4+1，4个存储数据的盘，一个存储校验数据的盘。
盘阵列104包括切片池110。切片池110包括一个或多个盘108。每个盘108均被划分为一个或多个固定大小的盘切片。在图1中图示了一个盘104包括八个盘切片。上述示例仅是为了说明本公开，而非对本公开的限定。在其他实施例中，每个盘可以根据需要设置为包括任意数目的盘切片。
盘切片106的大小可以依据需要设置为任意值。在一个示例中，盘切片106的大小为4GB。上述示例仅是用于说明本公开，而非对本公开的限定。在其他实施例中，可以根据需要设置任意大小的盘切片106。
切片池110中的各个盘均被集合到一个或多个RAID弹性组(RAID ResilienceSet，RRS)106-1、106-2、……、106-N(在本文中可以统称为RAID弹性组106)中，N为大于1的正整数。
RAID弹性组106中的切片可用于形成一个或多个条带组。在一个示例中，一个条带组中的切片均来自一个RAID弹性组。一个条带组相当于一个传统的RAID。在一个示例中，在映射器102中存储条带组与物理大块的映射关系。上述示例仅是用于说明本公开，而非对本公开的限定。下面结合图2详细描述条带组。
图2中图示了条带组的设置的示例。在图2中，条带组的大小是预先设置好的。在一个示例中，条带组中用于存储数据的存储空间大小为64GB，用于存储校验数据的存储空间可以基于需要设置为合适的大小。例如盘阵列的宽度为4+1，则由盘片组成的一个条带包括五个盘片，其中有4个盘片用于存储数据，一个盘片用于存储校验数据。因此，在存储64GB的数据时，存储校验数据的空间大小为16GB。如果盘阵列的宽度为4+2，在存储64GB的数据时，则存储校验数据的空间大小为32GB。
在一个示例中，盘片的大小设置为4GB。因此，在盘阵列104的宽度为4+1时，一个条带中的4个盘片用于存储16GB的数据，一个盘片用于存储4GB的校验数据。因此，数据的存储空间为64GB大小的条带组可以包括4个条带。如图2所示，条带组202中的盘切片来自五个不同的盘208-1、208-2、208-3、208-4和208-5(可以统称为盘208)。此时，每一行盘切片构成一个条带。因此，条带组包括四个条带。
如图2所示，盘阵列104的宽度为8+1，则条带组204中的盘切片来自九个不同的盘210-1、210-2……210-9。每一行盘切片构成一个条带。此时，条带组包括两个条带。如图2所示，如果盘阵列宽度为16+1，则条带组206中的盘切片来自17个不同的盘212-1、212-2……212-17。此时，17个盘切片构成一个条带，即条带组只包括一个条带。上述示例仅是用于说明本公开，而非对本公开的限定。可以根据需要设置条带组中包括的条带的数目和条带组的大小。
返回图1，盘阵列104还包括一个或多个层。在图1中仅出于说明的目的示出了盘阵列包括层112。上述示例仅是用于说明本公开，而非对本公开的限定。可以基于需要设置任意合适数目的层。
层112由映射器102读取和/或调用。层112包括一个或多个条带组。备选地或附加地，层112中的条带组具有相同的盘阵列格式。在一个示例中，不同的层可以具有不同的盘阵列格式。在另一个示例中，不同的层可以具有相同的盘阵列格式。
在一些示例中，层112中的条带组可以为具有合适的盘阵列类型和/或盘阵列宽度。例如，条带组采用盘阵列宽度为4+1的RAID 5、盘阵列宽度为8+1的RAID 5或盘阵列宽度为16+1RAID 5。上述示例仅是用于说明，而非对本公开的限定。层中的条带组可以基于需要采用任意合适的盘阵列类型和盘阵列宽度。
上面图1和图2描述了示例存储系统100及条带组的结构，下面将结合图3详细描述数据处理方法的流程图。
如果需要调整盘阵列的宽度，需要确定盘阵列104是否有足够的空间可用于盘阵列宽度的调整。在一个示例中，盘阵列104需要确定是否有一个条带组的空间。如果盘阵列104有一个条带组的空间，则可以请求映射器102进行盘阵列的宽度的调整。在另一个示例中，盘阵列可以基于任意合适的条件确定是否进行盘阵列的宽度的调整。
如果盘阵列104中具有足够的空间进行盘阵列的宽度的调整，盘阵列104会向映射器102发送用于调整盘阵列的宽度的第一请求。在一个示例中，该请求中包括有盘阵列104中源条带组的源标识信息。备选地或附加地，该请求中还包括源条带组要被调整成的盘阵列的类型和/或盘阵列的宽度(也称为第二宽度)。备选地或附加地，该请求中还包括层标识信息。
在框302处，确定是否接收到用于将盘阵列的第一宽度调整为第二宽度的第一请求。如果接收到第一请求，在框304处，基于第一请求中的盘阵列中的源条带组的源标识信息，获得与源条带组相关联的源块的源块标识信息。盘阵列的宽度为组成盘阵列中的条带的盘的数目。
映射器102可以获得源条带组的源标识信息和源块的源块标识信息的映射关系。映射器102在接收到该请求后，会根据映射器102内存储的源标识信息与源块标识信息的映射关系，找到与源条带组相关联的源块标识信息。在一个示例中，映射器102内存储有源条带组的源标识信息和源块的源块标识信息的映射关系。在另一示例中，在与映射器102相关联的其他设备内存储有源条带组的源标识信息和源块的源块标识信息的映射关系。在一个示例中，源块为物理大块，大小为2MB。上述仅是示例，而非对本公开的限定。可以基于需要设置源块的大小为任意合适的值。
在框306处，确定与第二宽度相关联的可用于存储数据的目的地条带组的目的地标识信息。在调整盘阵列宽度时，还需要设置用于存储数据的具有第二宽度的目的地条带组。通过将源条带组中的数据存储到目的地条带组中来实现盘阵列宽度的转换。
在一个示例中，在映射器102获得与源条带组的源标识信息相关联的所有源块的源块标识信息后，映射器102向盘阵列发送用于获得目的地条带组的第二请求。备选地或附加地，该请求包括针对目的地条带组的盘阵列的类型和宽度。上述仅是示例，而非对本公开的限定。该请求可以包括生成目的地条带组所需的任意合适的信息。
在另一个示例中，映射器102可以在接收到第一请求时或其他任意合适的时间向盘阵列发送用于获得目的地条带组的请求。
盘阵列104基于接收的第二请求来创建第二宽度的目的地条带组。在创建完成目的地条带组后，盘阵列104会将目的地条带组的目的地标识信息发送给映射器102以供映射器102使用该目的地条带组。在一个示例中，该目的地条带组的目的地标识信息是地址信息。在另一个示例中，该目的地标识信息可以是其他任意的可以标识目的地条带组的信息。
在框308处，基于源块标识信息和目的地标识信息，将来自源块的源数据和针对源数据的元数据存储到目的地条带组的目的地块中。该元数据包括用于访问源块的节点的节点标识信息。
通过源块的标识信息，映射器102可以从盘阵列104内获得每个源块内存储的源数据和针对该源数据的元数据。在一个示例中，元数据存储在源块的头部内。在一个示例中，元数据内存储有访问该源块内的节点的地址信息。
然后，映射器102基于获得的目的地标识信息，将源数据和针对源数据的元数据存储到目的地条带组中的目的地块中。
在框310处，基于节点标识信息，将节点调整为访问目的地块。用户或其他进程通过节点访问盘阵列内的数据。因此，在将源块内的源数据和元数据调整到目的地块后，需要将节点内的源块标识信息调整为目的地块标识信息，以便于用户或其他进程访问存储位置调整后的数据。
通过上述方法，实现了对盘阵列的宽度进行动态调整。这种动态调整不仅提高了盘的利用效率，而且由于在调整盘阵列宽度时并不停止所有用户对盘阵列的使用，改进了盘阵列的性能，提高了盘阵列的服务能力。
上面图3描述了用于数据处理的方法，下面结合图4和图5的示例示详细描述上述框308和310中进行数据处理的过程。图4描述了如何实现源块中的数据存储到目的地条带组的过程，图5A-5C是用于描述与该过程相对应的一个示例500。
在框402处，映射器102基于源块标识信息可以从盘阵列获得与源块相关联的源数据及元数据。在一个示例中，映射器102可以将源块标识信息发送到盘阵列，盘阵列基于该源块标识信息获得与该源块标识信息相对应的块。备选地或附加的，该块为物理大块(PLB)，具有2MB的大小。该块内的数据分布在与条带组的宽度相对应的多个盘上。
在确定该源块后，将源块中存储的源数据及针对源数据的元数据加载到映射器102中。在一个示例中，元数据包括用于访问源块的节点的节点标识信息。
在用户或进程通过映射器102访问RAID内的数据时，会通虚拟逻辑块的节点来查找相应的物理块内的数据。在该虚拟逻辑块的节点内存储有该源块的源块标识信息以使得节点能够指向该源块。在源块中的元数据中还存储在能够访问该源块的节点标识信息。通过在元数据中存储的节点标识信息，可以确定哪些节点访向该源块。
如图5A所示的示例中，层502为盘阵列104中的层。层502包括一个或多个源条带组504-1、504-2……、504-N(可以统称为源条带组504)，N为大于1的正整数。在一个示例中，层502与源条带组504的映射关系存储在盘阵列内。
图5A中还示出了源条带组504-1的具体结构。与源条带组504-1对应的盘阵列宽度为4+1。源条带组504-1内存储有一个多个源块506-1、506-2、……和506-M(可以统称为源块506)，M为大于1的正整数。在一个示例中，源条带组504-1的源标识信息与源块506的源块标识信息的映射关系存储在映射器102内。在一个示例中，源条带组504-1的源标识信息与源块506的源块标识信息的映射关系存储在与映射器102相关联的存储器内。
用户或输入/输出请求通过映射器102内的逻辑地址块510来找到对应的源块。在图5A中，逻辑地址块中的第二个节点与源块506-1之间有映射关系。因此，与逻辑地址块中第二个节点相关联的数据存储在源块506-1内。逻辑地址块中的第四、第六和第八节点与源块506-3之间具有映射关系。
在框404处，基于目的地标识信息，将源数据和元数据存储到目的地条带组中的目的地块。映射器102在获得源块内的源数据和元数据后，将源数据和元数据存储到目的地条带组中目的地数据块中。
在一个示例中，在目的地条带组中，目的地数据块在目的地条带组中存储的逻辑块地址与源块在源条带组中的逻辑块地址相同。在一个示例中，节点中存储了源块标识信息、节内对应的数据的长度和节点对应的数据在块内的偏移。因此，通过上述设置，在转移完源数据和元数据之后，仅需要调整节点内的源块标识信息，而不需要调整其他信息，提高了数据调整的速度和效率。
如图5B所示，读取源块506-1中的源数据和针对源数据的元数据，然后将该源数据和元数据存储到目的地条带组516的目的地块518-1。该目的块518-1在目的地条带组516的逻辑地址空间514中具有与源块506-1在块源带组504-1的逻辑地址空间512中相同的逻辑块地址。例如，源条带组504-1中的第一个源块中的数据存储在目的地条带组516中的第一个目的地块。
在框406处，映射器102基于节点标识信息确定节点。在一个示例中，节点存储在外部存储设备中，通过元数据中的节点标识信息确定节点时，需要从外部存储设备中将节点读取到存储器中以对节点进行操作。上述示例仅是用于描述本公开，而非对本公开的限定。节点可以存储在任意合适的位置。
如图5A所示，源块506-1中的元数据还存储有指向源块506-1的节点的标识信息。基于该节点标识信息可以确定虚拟逻辑块510中的哪些节点指向源块506-1。
在框408处，将节点内的源块的源块标识信息修改为目的地块的目的地块标识信息。通过调整节点内的块的标识信息，使得节点指向目的地块。
如图5B所示，在将源块506-1中的数据存储到目的地块518-1之后，将指向源块506-1的节点内的源块506-1的源块标识信息修改为目的地块518-1的目的地块标识信息。因此，虚拟逻辑块510中的第二个节点指向了目的地块518-1。因此，用户访问与第二节点相关联的数据时可以到目的地块518-1查找相应的数据。
通过上述操作，可以将具有第一盘阵列宽度的条带组中的数据存储到具有第二盘阵列宽度的条带组中。从而实现了盘阵列的宽度的调整，提高了数据的存储能力。而且通过调整数据之间的映射关系，使得可以准确的找到调整后的数据。
在一个示例中，为了防止在对块中的数据进行宽度转换时其他应用或进程修改块中的数据，对该源块加读锁。备选地或附加地，在读取节点时，对节点加写锁。备选地或附加在，在完成将源块内的数据转移到目的地块并且将节点内的源块标识信息修改为目的地块标识信息后，对进行操作的节点释放写锁，对该源块释放读锁。
通过对上述操作，可以防止其他应用或进程对节点进行读或写操作。这样保证了数据的一致性，使得数据在调整过程中不会被改变。
在对源条带中的数据进行处理时，如果存在输入输出请求命中正被处理的源块中的源数据，则对这些输入输出请求进行排队。等针对该源数据的条带宽度的转换完成之后再按序对数据进行输入输出操作。
通过这种方式，可以保证在对数据块中的数据进行宽度转换时，避免输入输出请求对转换的数据进行的操作带来的数据不一致性问题，并且保证的数据的可用性。
上面图5B图示了转移一个源块中数据的过程，在图5C中，将所有源条带组504-1中的源块506-2、……、506-M中的数据转移到目的地条带组516中的目的地块518-2、……、518-M。
在盘阵列104中存储有层与源条带组的映射关系。如果在映射器102内完成了针对源条带组的宽度的调整，则将目的地标识信息发送到盘阵列，以将层与源条带组映射关系中的源条带组的源标识信息替换为目的地条带组的目的地标识信息。从而形成层与目的地条带组的目的地标识信息的映射关系。
如图5C所示，当将源条带组504-1中的数据转移到目的块518-1中后，映射器102会将新的目的地条带组516的目的地标识信息发送到盘阵列104中。盘阵列104中的层502与源条带组的映射关系中的源条带组504-1的源标识信息被修改为目的地条带组516的目的地标识信息。
通过上述操作，可以实现数据条带的宽度调整，并且可以及时更新映射关系，保证数据存储的准确性，以避免数据存储过程中产生的错误。
在将源条带组504-1的数据存储到目的地条带组516之后，与源条带组504-1相关联的存储空间可以被释放，作为新的存储空间。然后盘阵列102再发起层中的下一个条带组的宽度转换。直到所有的条带组的宽度转换完成。最终实现层中所有数据的盘阵列宽度的转换。
备选的或附加的，如果盘阵列中存在多个层，则可以在一个层的宽度转换完成后，对其他层进行宽度转换。
图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如，如图1所示的102、104、110和112的任一项可以由设备600来实施。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法300和400可由处理单元601执行。例如，在一些实施例中，方法300和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时，可以执行上文描述的方法300和400的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种用于数据处理的方法，包括：
响应于接收到用于将盘阵列的第一宽度调整为第二宽度的第一请求，基于所述第一请求中的所述盘阵列中的源条带组的源标识信息，获得与所述源条带组相关联的源块的源块标识信息；
确定与所述第二宽度相关联的可用于存储数据的目的地条带组的目的地标识信息；
基于所述源块标识信息和所述目的地标识信息，将来自所述源块的源数据和针对所述源数据的元数据存储到所述目的地条带组的目的地块中，所述元数据包括用于访问所述源块的节点的节点标识信息；以及
基于所述节点标识信息，将所述节点调整为访问所述目的地块。
2.根据权利要求1所述的方法，其中确定与所述第二宽度相关联的可用于存储数据的目的地条带组的目的地标识信息包括：
向所述盘阵列发送用于获得所述目的地条带组的第二请求；以及
从所述盘阵列接收基于所述第二请求而确定的所述目的地条带组的目的地标识信息。
3.根据权利要求1所述的方法，其中将来自所述源块的源数据和针对所述源数据的元数据存储到所述目的地条带组的目的地块中包括：
基于所述源块标识信息，从所述盘阵列获得与所述源块相关联的所述源数据及所述元数据；以及
基于所述目的地标识信息，将所述源数据和所述元数据存储到所述目的地条带组中的所述目的地块。
4.根据权利要求1所述的方法，其中将所述节点调整为访问所述目的地块包括：
基于所述节点标识信息确定所述节点；以及
将所述节点内的所述源块的所述源块标识信息修改为所述目的地块的目的地块标识信息。
5.根据权利要求1所述的方法，还包括：
响应于输入/输出(I/O)请求命中正被处理的所述源块中的所述源数据，对所述输入/输出请求进行排队。
6.根据权利要求1所述的方法，还包括：
响应于完成针对所述源条带组的宽度的调整，将所述目的地标识信息发送到所述盘阵列以替换与所述源条带组有关的映射中的所述源标识信息。
7.一种用于数据处理的电子设备，所述电子设备包括：
处理器；以及
存储器，存储有计算机程序指令，处理器运行存储器中的所述计算机程序指令控制所述电子设备执行动作，所述动作包括：
响应于接收到用于将盘阵列的第一宽度调整为第二宽度的第一请求，基于所述第一请求中的所述盘阵列中的源条带组的源标识信息，获得与所述源条带组相关联的源块的源块标识信息；
确定与所述第二宽度相关联的可用于存储数据的目的地条带组的目的地标识信息；
基于所述源块标识信息和所述目的地标识信息，将来自所述源块的源数据和针对所述源数据的元数据存储到所述目的地条带组的目的地块中，所述元数据包括用于访问所述源块的节点的节点标识信息；以及
基于所述节点标识信息，将所述节点调整为访问所述目的地块。
8.根据权利要求7所述的电子设备，其中确定与所述第二宽度相关联的可用于存储数据的目的地条带组的目的地标识信息包括：
向所述盘阵列发送用于获得所述目的地条带组的第二请求；以及
从所述盘阵列接收基于所述第二请求而确定的所述目的地条带组的目的地标识信息。
9.根据权利要求7所述的电子设备，其中将来自所述源块的源数据和针对所述源数据的元数据存储到所述目的地条带组的目的地块中包括：
基于所述源块标识信息，从所述盘阵列获得与所述源块相关联的所述源数据及所述元数据；以及
基于所述目的地标识信息，将所述源数据和所述元数据存储到所述目的地条带组中的所述目的地块。
10.根据权利要求7所述的电子设备，其中将所述节点调整为访问所述目的地块包括：
基于所述节点标识信息确定所述节点；以及
将所述节点内的所述源块的所述源块标识信息修改为所述目的地块的目的地块标识信息。
11.根据权利要求7所述的电子设备，该动作还包括：
响应于输入/输出(I/O)请求命中正被处理的所述源块中的所述源数据，对所述输入/输出请求进行排队。
12.根据权利要求7所述的电子设备，该动作还包括：
响应于完成针对所述源条带组的宽度的调整，将所述目的地标识信息发送到所述盘阵列以替换与所述源条带组有关的映射中的所述源标识信息。
13.一种计算机程序产品，所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至6中任一项所述的方法的步骤。
CN201811278806.1A 2018-10-30 2018-10-30 用于数据处理的方法、设备和计算机程序产品 Active CN111124249B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811278806.1A CN111124249B (zh) 2018-10-30 2018-10-30 用于数据处理的方法、设备和计算机程序产品
US16/582,476 US11216198B2 (en) 2018-10-30 2019-09-25 Method, device and computer program product for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811278806.1A CN111124249B (zh) 2018-10-30 2018-10-30 用于数据处理的方法、设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN111124249A true CN111124249A (zh) 2020-05-08
CN111124249B CN111124249B (zh) 2023-09-22

Family

ID=70326247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811278806.1A Active CN111124249B (zh) 2018-10-30 2018-10-30 用于数据处理的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11216198B2 (zh)
CN (1) CN111124249B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113568576A (zh) * 2021-07-23 2021-10-29 杭州朗和科技有限公司 数据处理方法及装置、存储介质、电子设备
CN115373609A (zh) * 2022-10-25 2022-11-22 浪潮电子信息产业股份有限公司 任务处理方法及相关设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112825052A (zh) * 2019-11-20 2021-05-21 华为技术有限公司 确定条带一致性的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8453036B1 (en) * 2010-02-01 2013-05-28 Network Appliance, Inc. System and method for dynamically resizing a parity declustered group
US20160306574A1 (en) * 2015-04-14 2016-10-20 E8 Storage Systems Ltd. Lockless distributed redundant storage and nvram caching of compressed data in a highly-distributed shared topology with direct memory access capable interconnect
US20170300393A1 (en) * 2016-04-13 2017-10-19 Dell Products L.P. Raid rebuild algorithm with low i/o impact
CN107870731A (zh) * 2016-09-23 2018-04-03 伊姆西Ip控股有限责任公司 独立盘冗余阵列系统的管理方法和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6530004B1 (en) * 2000-06-20 2003-03-04 International Business Machines Corporation Efficient fault-tolerant preservation of data integrity during dynamic RAID data migration
US7774542B2 (en) * 2005-07-06 2010-08-10 Ji Zhang System and method for adaptive operation of storage capacities of RAID systems
US10229022B1 (en) 2017-04-27 2019-03-12 EMC IP Holding Company LLC Providing Raid-10 with a configurable Raid width using a mapped raid group
CN111095217B (zh) 2017-11-13 2024-02-06 清华大学 资源全局共享的基于raid机制的数据存储系统
CN110058789B (zh) 2018-01-18 2022-06-03 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、存储系统以及计算机程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8453036B1 (en) * 2010-02-01 2013-05-28 Network Appliance, Inc. System and method for dynamically resizing a parity declustered group
US20160306574A1 (en) * 2015-04-14 2016-10-20 E8 Storage Systems Ltd. Lockless distributed redundant storage and nvram caching of compressed data in a highly-distributed shared topology with direct memory access capable interconnect
US20170300393A1 (en) * 2016-04-13 2017-10-19 Dell Products L.P. Raid rebuild algorithm with low i/o impact
CN107870731A (zh) * 2016-09-23 2018-04-03 伊姆西Ip控股有限责任公司 独立盘冗余阵列系统的管理方法和电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113568576A (zh) * 2021-07-23 2021-10-29 杭州朗和科技有限公司 数据处理方法及装置、存储介质、电子设备
CN113568576B (zh) * 2021-07-23 2024-07-30 杭州网易数之帆科技有限公司 数据处理方法及装置、存储介质、电子设备
CN115373609A (zh) * 2022-10-25 2022-11-22 浪潮电子信息产业股份有限公司 任务处理方法及相关设备

Also Published As

Publication number Publication date
US20200133493A1 (en) 2020-04-30
CN111124249B (zh) 2023-09-22
US11216198B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
CN109213619B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN109725830B (zh) 管理独立磁盘冗余阵列的方法、设备和存储介质
US10747460B2 (en) Method, device and computer program product for changing type of storage system
US11341049B2 (en) Method, apparatus, and computer program product for managing storage system
US11232005B2 (en) Method, device, and computer program product for managing storage system
CN111124249B (zh) 用于数据处理的方法、设备和计算机程序产品
CN112748867B (zh) 用于存储管理的方法、电子设备以及计算机程序产品
US11226778B2 (en) Method, apparatus and computer program product for managing metadata migration
CN113590019B (zh) 用于存储管理的方法、电子设备和计算机程序产品
US11287996B2 (en) Method, device and computer program product for storing data
US11340819B2 (en) Method, device and computer program product for locking at least two address references pointing to storage block in raid type conversion
CN112948279A (zh) 管理存储系统中的访问请求的方法、设备和程序产品
CN111857553A (zh) 管理盘阵列的方法、装置和计算机程序产品
US11287997B2 (en) Method, electronic device and computer program product for managing disk array
US11119703B2 (en) Utilizing a set of virtual storage units distributed across physical storage units
US11561859B2 (en) Method, device and computer program product for managing data
US11287993B2 (en) Method, device, and computer program product for storage management
CN111857560B (zh) 用于管理数据的方法、设备和计算机程序产品
CN111857547B (zh) 用于管理数据存储的方法、设备和计算机可读介质
US11385822B2 (en) Moving data from a first group of slices to a second group of slices
US20200159666A1 (en) Representing an address space of unequal granularity and alignment
US10795602B1 (en) Selectively destaging data updates from write caches across data storage locations
CN113590018A (zh) 用于存储管理的方法、电子设备和计算机程序产品
CN116521052A (zh) 用于扩展存储系统的方法、电子设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant