CN114442910A - 管理存储系统的方法、电子设备和计算机程序产品 - Google Patents

管理存储系统的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN114442910A
CN114442910A CN202011229505.7A CN202011229505A CN114442910A CN 114442910 A CN114442910 A CN 114442910A CN 202011229505 A CN202011229505 A CN 202011229505A CN 114442910 A CN114442910 A CN 114442910A
Authority
CN
China
Prior art keywords
priority
determining
space usage
threshold
data migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011229505.7A
Other languages
English (en)
Inventor
张悦
康剑斌
高宏坡
董继炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202011229505.7A priority Critical patent/CN114442910A/zh
Priority to US17/186,426 priority patent/US11403026B2/en
Publication of CN114442910A publication Critical patent/CN114442910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Abstract

本公开的实施例涉及用于管理存储系统的方法、电子设备和计算机程序产品。一种管理存储单元的方法包括确定存储系统的多个空间使用指标，其中该存储系统包括多个盘，每个盘被划分成多个盘切片，并且多个盘中的至少部分盘切片被组织成存储单元。该方法还包括基于多个空间使用指标，确定数据迁移任务的目标优先级，其中数据迁移任务用于将向至少一个存储单元分配的一组盘切片中的数据迁移至另一组盘切片。该方法还包括如果目标优先级与数据迁移任务的当前优先级不同，将数据迁移任务的当前优先级调整为目标优先级，并且基于该目标优先级，确定用于数据迁移任务的系统资源。本公开的实施例能够动态调整数据迁移任务的优先级以适应不同场景的需求。

Description

管理存储系统的方法、电子设备和计算机程序产品
技术领域
本公开的实施例总体涉及数据存储领域，具体涉及用于管理存储系统的方法、电子设备和计算机程序产品。
背景技术
在包括多个物理盘的存储系统中，每个物理盘可以被划分成多个盘切片，并且多个物理盘所划分的盘切片可以被组织成存储单元以向上层应用提供服务。当存储系统中的可用存储空间不足时，可以向存储系统添加新物理盘并且执行数据迁移任务来将部分盘切片中的数据迁移到新物理盘的盘切片中。数据迁移任务的执行使存储单元在多个物理盘中均匀分布，以避免输入/输出操作集中在若干物理盘上，从而提高存储系统的访问性能。
发明内容
本公开的实施例提供了用于管理存储系统的方法、电子设备和计算机程序产品。
在本公开的第一方面，提供了一种管理存储单元的方法。该方法包括：确定存储系统的多个空间使用指标，其中该存储系统包括多个盘，每个盘被划分成多个盘切片，并且多个盘中的至少部分盘切片被组织成存储单元；基于多个空间使用指标，确定数据迁移任务的目标优先级，其中数据迁移任务用于将向至少一个存储单元分配的一组盘切片中的数据迁移至另一组盘切片；如果目标优先级与数据迁移任务的当前优先级不同，将数据迁移任务的当前优先级调整为目标优先级；以及基于该目标优先级，确定用于数据迁移任务的系统资源。
在本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得装置执行动作，动作包括：确定存储系统的多个空间使用指标，其中该存储系统包括多个盘，每个盘被划分成多个盘切片，并且多个盘中的至少部分盘切片被组织成存储单元；基于多个空间使用指标，确定数据迁移任务的目标优先级，其中数据迁移任务用于将向至少一个存储单元分配的一组盘切片中的数据迁移至另一组盘切片；如果目标优先级与数据迁移任务的当前优先级不同，将数据迁移任务的当前优先级调整为目标优先级；以及基于该目标优先级，确定用于数据迁移任务的系统资源。
在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令。该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1A示出了本公开的实施例能够在其中被实施的示例存储系统的框图；
图1B示出了根据本公开的实施例的示例存储资源池的示意图；
图2示出了根据本公开的实施例的用于管理存储系统的示例方法的流程图；
图3示出了根据本公开的实施例的基于多个空间使用指标确定数据迁移任务的目标优先级的示意图；
图4示出了根据本公开的实施例的基于目标优先级确定用于数据迁移任务的系统资源的示意图；以及
图5示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上所述，当存储系统中的剩余存储空间不足时，可以向存储系统添加新物理盘并且执行数据迁移任务来将部分盘切片中的数据迁移到新物理盘的盘切片中。数据迁移任务的执行使存储单元在多个物理盘中均匀分布，以避免输入/输出操作集中在若干物理盘上，从而提高存储系统的访问性能。
数据迁移任务的优先级与其执行速度密切关联。当数据迁移任务的优先级较高时，数据迁移任务可以占用较多系统资源，因此其执行速度较快。这使得新物理盘能够快速投入使用，以缓解存储系统中存储空间的不足。然而，如果数据迁移任务的优先级过高，则可能影响针对存储系统的其他正常数据访问的性能。当数据迁移任务的优先级较低时，数据迁移任务可以占用的系统资源较少，因此其执行速度较慢。在这种情况下，数据迁移任务对存储系统的其他正常数据访问影响较小。然而，由于数据迁移任务的执行速度较慢，使得新物理盘不能够快速投入使用。在某些情况下，数据迁移任务的执行可能无法在存储系统的剩余存储空间被耗尽之前完成，这将严重影响存储系统的可用性。
一些传统方案将数据迁移任务的优先级设置为最高优先级和最低优先级之间的某个固定值。显然，这些方案无法很好地适应不同场景的需求。
本公开的实施例提出了一种管理存储系统的方案，以解决上述问题和其他潜在问题中的一个或多个。在该方案中，存储系统的多个空间使用指标被确定。基于多个空间使用指标，确定数据迁移任务的目标优先级。如果目标优先级与数据迁移任务的当前优先级不同，将数据迁移任务的当前优先级调整为目标优先级，并且基于该目标优先级，确定用于数据迁移任务的系统资源。以此方式，本公开的实施例能够动态调整数据迁移任务的优先级以适应不同场景的需求，从而在不影响正常数据访问操作的情况下尽可能提高调整数据迁移任务的执行速度。
以下将进一步结合附图来详细描述本公开的实施例。
图1A示出了本公开的实施例能够在其中被实现的示例存储系统100的框图。如图1A所示，存储系统100包括主机110、存储管理器120以及存储资源池130。应当理解，仅出于示例性的目的描述存储系统100的结构和功能，而不暗示对于本公开的范围的任何限制。例如，本公开的实施例还可以被应用到与存储系统100不同的存储系统中。
存储资源池130可以包括一个或多个物理盘，例如磁盘、光盘或固态盘(SSD)等。每个物理盘可以被划分成多个盘切片。例如，每个盘切片可以具有相同大小。分布在一个或多个物理盘上的多个盘切片可以被组织成存储单元，以用于存储数据。存储管理器120可以包括处理器121和存储器122。存储器122可以是任何目前已知或者将来开发的易失性存储介质、非易失性存储介质、或者两者的组合。存储管理器120可以被配置为管理存储资源池130，并且处理来自主机110的I/O请求。主机110可以是运行用户应用的任何物理计算机、虚拟机、服务器等等。
主机110可以向存储管理器120发送输入/输出(I/O)请求，例如用于从存储资源池130中的目标存储单元读取数据和/或向其写入数据等。目标存储单元的元数据可以被存储在元数据存储单元中。响应于接收到来自主机110的I/O请求，存储管理器120可以首先从元数据存储单元获取目标存储单元的元数据，该元数据可以指示目标存储单元到物理盘的映射信息等。响应于该I/O请求为读请求，存储管理器120可以基于所获取的元数据向目标存储单元转发该I/O请求以从目标存储单元读取数据，并且将所读取的数据返回给主机110。响应于该I/O请求为写请求，存储管理器120可以基于所获取的元数据向目标存储单元转发该I/O请求以向目标存储单元写入数据。
图1B示出了根据本公开的实施例的示例存储资源池130的示意图。如图1B所示，持久化存储设备130可以包括盘131-1、131-2……131-8(统称为“盘131”)。应当理解，图1B中所示的盘131的数目仅出于示例的目的示出，而不暗示对本公开范围的任何限制。
如图1B所示，每个盘131可以被划分成多个盘切片(例如，每个盘切片具有相同大小)。分布在一个或多个盘131上的多个盘切片可以被组织成存储单元，例如用于提供独立冗余磁盘阵列(RAID)的功能。在图1B的示例中，具有相同填充图案的盘切片属于同一存储单元，而具有不同填充图案的盘切片属于不同存储单元，未被填充的盘切片尚未被使用。根据所存储的不同数据类型，存储资源池130可以包括各种类型的存储单元，例如用于存储用户数据的存储单元(也称为“用户数据存储单元”)、用于存储多个存储单元的元数据的存储单元(也称为“元数据存储单元”)等。存储单元的元数据可以包括该存储单元到物理盘的映射信息(例如，指示该存储单元占用了哪些物理盘上的哪些盘切片)、该存储单元的状态(例如，正常状态或故障状态)等。
当存储资源池130中的可用存储空间不足时，用户可以向存储资源池130添加新的盘，存储管理器120可以执行数据迁移任务来将部分盘切片中的数据迁移到新盘的盘切片中，以使存储单元在存储资源池130的多个物理盘中均匀分布。存储管理器120可以设置数据迁移任务的优先级并且基于该优先级向数据迁移任务分配系统资源。
图2示出了根据本公开的实施例的用于管理存储系统的示例方法200的流程图。方法200例如可以由如图1所示的存储管理器120(例如，处理器121)来执行。应当理解，方法200还可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。以下结合图1来详细描述方法200。
如图2所示，在框210处，存储管理器120确定存储系统100的多个空间使用指标。
在一些实施例中，多个空间使用指标可以包括第一空间使用指标，其指示所述存储系统中能够用于分配新存储单元的可用存储空间大小。以图1B为例，第一空间使用指标可以指示图1B中未填充的盘切片所对应的存储空间大小。
附加地，在一些实施例中，多个空间使用指标还可以包括第二空间使用指标，其指示分配给元数据存储单元的存储空间中的空闲存储空间(也称为“元数据空闲空间”)的大小。例如，元数据空闲空间可以包括元数据存储单元中未被使用的存储空间和可回收的存储空间，其中可回收的存储空间是指其中的元数据已被删除但是尚未回收的存储空间。
附加地，在一些实施例中，多个空间使用指标还可以包括第三空间使用指标，其指示分配给用户数据存储单元的存储空间中的空闲存储空间(也称为“用户数据空闲空间”)的大小。例如，用户数据空闲空间可以包括用户数据存储单元中未被使用的存储空间。
应当理解，上述空间使用指标仅出于示例的目的示出。在其他实施例中，多个空间使用指标还可以包括其他空间使用指标，或者不包括上述空间使用指标中的一个或多个。
在框220处，存储管理器120基于多个空间使用指标，确定数据迁移任务的目标优先级。
图3示出了根据本公开的实施例的基于多个空间使用指标确定数据迁移任务的目标优先级的示意图。出于示例而非限制的目的，图3示出了基于上述第一空间使用指标、第二空间使用指标和第三空间使用指标来确定数据迁移任务的目标优先级的示例。应当理解，当存储管理器120所确定的空间使用指标不同时，存储管理器120可以以与图3所示不同的方式来确定数据迁移任务的目标优先级。本公开的实施例在此方面不受限制。
如图3所示，在一些实施例中，如果第一空间使用指标低于第一阈值并且第二空间使用指标低于第二阈值，则将数据迁移任务的目标优先级确定为最高优先级(本文中也称为“第一优先级”)。例如，在一些情况下，如果第一空间使用指标指示存储系统中可供分配的存储空间大小相对于存储系统所提供的总存储空间大小的比率低于15％，则表明第一空间使用指标低于第一阈值。又例如，在一些情况下，如果第一空间使用指标指示存储系统中可供分配的存储空间大小不足以分配预定数目的元数据存储单元或者预定数目的用户数据存储单元，则表明第一空间使用指标低于第一阈值。在一些实施例中，第二阈值可以基于系统所设置的元数据空间不足的告警门限来确定。例如，假定系统所设置的元数据空间不足的告警门限为3GB(即，当元数据空闲空间低于3GB时，系统产生告警)，则第二阈值可以被设置为等于或者略高于该告警门限，诸如4GB。应当理解，第一阈值和/或第二阈值也可以是与上述示例不同的数值或者可以按照其他方式来确定。
如图3所示，在一些实施例中，如果第一空间使用指标低于第一阈值并且第三空间使用指标低于第三阈值，则将数据迁移任务的目标优先级确定为最高优先级(也即，第一优先级)。在一些实施例中，第三阈值可以基于系统设置的用户数据空间扩展的门限来确定。例如，假定系统所设置的用户数据空间扩展的门限为60％(即，当分配给用户数据存储单元的存储空间中的占用比率达到60％时，系统需要扩展新的用户数据存储单元)，则第三阈值可以被设置为等于或者略低于该门限，诸如55％。应当理解，第三阈值也可以是与上述示例不同的数值或者可以按照其他方式来确定。
如图3所示，在一些实施例中，如果第一空间使用指标低于第一阈值、第二空间使用指标超过第二阈值并且第三空间使用指标超过第三阈值，则将数据迁移任务的目标优先级确定为高优先级(本文中也称为“第二优先级”，其低于第一优先级)。如果第一空间使用指标超过第一阈值、第二空间使用指标低于第二阈值并且第三空间使用指标低于第三阈值，则将数据迁移任务的目标优先级确定为中优先级(本文中也称为“第三优先级”，其低于第二优先级)。
如图3所示，在一些实施例中，如果第一空间使用指标超过第一阈值并且第二空间使用指标超过第二阈值，则将数据迁移任务的目标优先级确定为低优先级(本文中也称为“第四优先级”，其低于第三优先级)。如果第一空间使用指标超过第一阈值并且第三空间使用指标超过第三阈值，则将数据迁移任务的目标优先级确定为低优先级(也即，第四优先级)。
以此方式，本公开的实施例能够基于存储系统的不同空间使用指标来动态确定数据迁移任务的目标优先级。
在框230处，存储管理器120确定目标优先级是否与数据迁移任务的当前优先级不同。如果确定目标优先级是否与数据迁移任务的当前优先级不同，则在框240处，存储管理器120将所述数据迁移任务的所述当前优先级调整为所述目标优先级。
在框250处，存储管理器120基于目标优先级，确定用于数据迁移任务的系统资源。
在一些实施例中，用于数据迁移任务的系统资源包括确定以下至少一项：用于数据迁移任务的处理器核的数目；数据迁移任务中可并行执行的子任务数目(例如，每个子任务用于迁移一个盘切片中的数据)；以及在数据迁移任务的执行期间是否允许存储系统利用用于数据迁移任务的处理器核来响应其他数据访问请求。
图4示出了根据本公开的实施例的基于目标优先级确定用于数据迁移任务的系统资源的示意图。应当理解，图4中所示的系统资源的种类和数量仅是示例性的，而不暗示对本公开的范围的限制。在其他实施例中，基于不同的目标优先级所分配的系统资源的种类和数量可以与图4所示的示例不同。
如图4所示，如果目标优先级为低优先级(也即，第四优先级)，用于数据迁移任务的处理器核的数目为1，能够并行执行的子任务数目为1(也即，不允许并行迁移多个盘切片中的数据)，并且允许存储系统利用用于数据迁移任务的处理器核来响应其他数据访问请求。如果目标优先级为中优先级(也即，第三优先级)，用于数据迁移任务的处理器核的数目为1，能够并行执行的子任务数目为2(也即，允许并行迁移2个盘切片中的数据)，并且允许存储系统利用用于数据迁移任务的处理器核来响应其他数据访问请求。如果目标优先级为高优先级(也即，第二优先级)，用于数据迁移任务的处理器核的数目为1，能够并行执行的子任务数目为4(也即，允许并行迁移4个盘切片中的数据)，并且不允许存储系统利用用于数据迁移任务的处理器核来响应其他数据访问请求。如果目标优先级为最高优先级(也即，第一优先级)，用于数据迁移任务的处理器核的数目为2，能够并行执行的子任务数目为4(也即，允许并行迁移4个盘切片中的数据)，并且不允许存储系统利用用于数据迁移任务的处理器核来响应其他数据访问请求。
以此方式，本公开的实施例能够基于数据迁移任务的目标优先级来为其分配相应的系统资源，从而动态控制其执行速度。
在一些实施例中，方法200可以响应于数据迁移任务的启动而执行。附加地或备选地，方法200可以在数据迁移任务执行期间被多次执行。例如，方法200可以在数据迁移任务执行期间被周期性地执行，以实现对数据迁移任务的优先级的动态调整。
通过以上描述能够看出，本公开的实施例提供了一种管理存储系统的方案。在该方案中，存储系统的多个空间使用指标被确定。基于多个空间使用指标，确定数据迁移任务的目标优先级。如果目标优先级与数据迁移任务的当前优先级不同，将数据迁移任务的当前优先级调整为目标优先级，并且基于该目标优先级，确定用于数据迁移任务的系统资源。以此方式，本公开的实施例能够动态调整数据迁移任务的优先级以适应不同场景的需求，从而在不影响正常数据访问操作的情况下尽可能提高调整数据迁移任务的执行速度。
图5示出了可以用来实施本公开内容的实施例的示例设备500的示意性框图。例如，如图1所示的存储管理器120可以由设备500实施。如图5所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200，可由处理单元501执行。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到RAM 503并由CPU 501执行时，可以执行上文描述的方法200的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (17)

1.一种管理存储系统的方法，包括：
确定存储系统的多个空间使用指标，其中所述存储系统包括多个盘，每个盘被划分成多个盘切片，并且所述多个盘中的至少部分盘切片被组织成存储单元；
基于所述多个空间使用指标，确定数据迁移任务的目标优先级，其中所述数据迁移任务用于将向至少一个存储单元分配的一组盘切片中的数据迁移至另一组盘切片；
如果所述目标优先级与所述数据迁移任务的当前优先级不同，
将所述数据迁移任务的所述当前优先级调整为所述目标优先级；以及
基于所述目标优先级，确定用于所述数据迁移任务的系统资源。
2.根据权利要求1所述的方法，其中所述多个空间使用指标包括：
第一空间使用指标，指示所述存储系统中能够用于分配新存储单元的可用存储空间大小；
第二空间使用指标，指示分配给元数据存储单元的存储空间中的空闲存储空间大小；以及
第三空间使用指标，指示分配给用户数据存储单元的存储空间中的空闲存储空间大小。
3.根据权利要求1所述的方法，其中确定所述多个空间使用指标包括：
响应于所述数据迁移任务被启动，确定所述多个空间使用指标。
4.根据权利要求2所述的方法，其中确定所述目标优先级包括：
如果所述第一空间使用指标低于第一阈值并且所述第二空间使用指标低于第二阈值，将所述目标优先级确定为第一优先级；或者
如果所述第一空间使用指标低于所述第一阈值并且所述第三空间使用指标低于第三阈值，将所述目标优先级确定为所述第一优先级。
5.根据权利要求4所述的方法，其中确定所述目标优先级还包括：
如果所述第一空间使用指标低于所述第一阈值、所述第二空间使用指标超过所述第二阈值并且所述第三空间使用指标超过所述第三阈值，将所述目标优先级确定为低于所述第一优先级的第二优先级。
6.根据权利要求5所述的方法，其中确定所述目标优先级还包括：
如果所述第一空间使用指标超过所述第一阈值、所述第二空间使用指标低于所述第二阈值并且所述第三空间使用指标低于所述第三阈值，将所述目标优先级确定为低于所述第二优先级的第三优先级。
7.根据权利要求6所述的方法，其中确定所述目标优先级还包括：
如果所述第一空间使用指标超过所述第一阈值并且所述第二空间使用指标超过所述第二阈值，将所述目标优先级确定为低于所述第三优先级的第四优先级；或者
如果所述第一空间使用指标超过所述第一阈值并且所述第三空间使用指标超过所述第三阈值，将所述目标优先级确定为所述第四优先级。
8.根据权利要求1所述的方法，其中确定所述系统资源包括确定以下至少一项：
用于所述数据迁移任务的处理器核的数目；
所述数据迁移任务中可并行执行的子任务数目，其中每个子任务用于迁移一个盘切片中的数据；以及
在所述数据迁移任务的执行期间是否允许所述存储系统利用用于所述数据迁移任务的所述处理器核来响应其他数据访问请求。
9.一种电子设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述电子设备执行动作，所述动作包括：
确定存储系统的多个空间使用指标，其中所述存储系统包括多个盘，每个盘被划分成多个盘切片，并且所述多个盘中的至少部分盘切片被组织成存储单元；
基于所述多个空间使用指标，确定数据迁移任务的目标优先级，其中所述数据迁移任务用于将向至少一个存储单元分配的一组盘切片中的数据迁移至另一组盘切片；
如果所述目标优先级与所述数据迁移任务的当前优先级不同，
将所述数据迁移任务的所述当前优先级调整为所述目标优先级；以及
基于所述目标优先级，确定用于所述数据迁移任务的系统资源。
10.根据权利要求9所述的电子设备，其中所述多个空间使用指标包括：
第一空间使用指标，指示所述存储系统中能够用于分配新存储单元的可用存储空间大小；
第二空间使用指标，指示分配给元数据存储单元的存储空间中的空闲存储空间大小；以及
第三空间使用指标，指示分配给用户数据存储单元的存储空间中的空闲存储空间大小。
11.根据权利要求9所述的方法，其中确定所述多个空间使用指标包括：
响应于所述数据迁移任务被启动，确定所述多个空间使用指标。
12.根据权利要求10所述的电子设备，其中确定所述目标优先级包括：
如果所述第一空间使用指标低于第一阈值并且所述第二空间使用指标低于第二阈值，将所述目标优先级确定为第一优先级；或者
如果所述第一空间使用指标低于所述第一阈值并且所述第三空间使用指标低于第三阈值，将所述目标优先级确定为所述第一优先级。
13.根据权利要求12所述的电子设备，其中确定所述目标优先级还包括：
如果所述第一空间使用指标低于所述第一阈值、所述第二空间使用指标超过所述第二阈值并且所述第三空间使用指标超过所述第三阈值，将所述目标优先级确定为低于所述第一优先级的第二优先级。
14.根据权利要求13所述的电子设备，其中确定所述目标优先级还包括：
如果所述第一空间使用指标超过所述第一阈值、所述第二空间使用指标低于所述第二阈值并且所述第三空间使用指标低于所述第三阈值，将所述目标优先级确定为低于所述第二优先级的第三优先级。
15.根据权利要求14所述的电子设备，其中确定所述目标优先级还包括：
如果所述第一空间使用指标超过所述第一阈值并且所述第二空间使用指标超过所述第二阈值，将所述目标优先级确定为低于所述第三优先级的第四优先级；或者
如果所述第一空间使用指标超过所述第一阈值并且所述第三空间使用指标超过所述第三阈值，将所述目标优先级确定为所述第四优先级。
16.根据权利要求9所述的电子设备，其中确定所述系统资源包括确定以下至少一项：
用于所述数据迁移任务的处理器核的数目；
所述数据迁移任务中可并行执行的子任务数目，其中每个子任务用于迁移一个盘切片中的数据；以及
在所述数据迁移任务的执行期间是否允许所述存储系统利用用于所述数据迁移任务的所述处理器核来响应其他数据访问请求。
17.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行根据权利要求1-8中的任一项所述的方法。
CN202011229505.7A 2020-11-06 2020-11-06 管理存储系统的方法、电子设备和计算机程序产品 Pending CN114442910A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011229505.7A CN114442910A (zh) 2020-11-06 2020-11-06 管理存储系统的方法、电子设备和计算机程序产品
US17/186,426 US11403026B2 (en) 2020-11-06 2021-02-26 Method, device and computer program product for managing storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011229505.7A CN114442910A (zh) 2020-11-06 2020-11-06 管理存储系统的方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114442910A true CN114442910A (zh) 2022-05-06

Family

ID=81361275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011229505.7A Pending CN114442910A (zh) 2020-11-06 2020-11-06 管理存储系统的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11403026B2 (zh)
CN (1) CN114442910A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115794353B (zh) * 2022-12-30 2024-02-23 中国联合网络通信集团有限公司 云网业务服务质量优化处理方法、装置、设备及存储介质
CN116483740B (zh) * 2023-06-21 2023-09-05 苏州浪潮智能科技有限公司 内存数据的迁移方法、装置、存储介质及电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7080225B1 (en) * 2002-12-10 2006-07-18 Emc Corporation Method and apparatus for managing migration of data in a computer system
US20130067148A1 (en) * 2011-09-14 2013-03-14 Sony Corporation Information processing apparatus and information processing method
US9645761B1 (en) * 2016-01-28 2017-05-09 Weka.IO Ltd. Congestion mitigation in a multi-tiered distributed storage system
US20180075053A1 (en) * 2016-09-15 2018-03-15 Pure Storage, Inc. Distributed deletion of a file and directory hierarchy
US20190384515A1 (en) * 2018-06-15 2019-12-19 EMC IP Holding Company LLC Method for configuring resources, electronic device and computer program product
CN111857553A (zh) * 2019-04-30 2020-10-30 伊姆西Ip控股有限责任公司 管理盘阵列的方法、装置和计算机程序产品

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537585A (en) * 1994-02-25 1996-07-16 Avail Systems Corporation Data storage management for network interconnected processors
US6101585A (en) * 1997-11-04 2000-08-08 Adaptec, Inc. Mechanism for incremental backup of on-line files
US6871006B1 (en) 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
US6771703B1 (en) 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US6594744B1 (en) * 2000-12-11 2003-07-15 Lsi Logic Corporation Managing a snapshot volume or one or more checkpoint volumes with multiple point-in-time images in a single repository
US6959116B2 (en) 2001-09-18 2005-10-25 Emc Corporation Largest magnitude indices selection for (run, level) encoding of a block coded picture
US7421509B2 (en) 2001-09-28 2008-09-02 Emc Corporation Enforcing quality of service in a storage network
US6976134B1 (en) 2001-09-28 2005-12-13 Emc Corporation Pooling and provisioning storage resources in a storage network
US7773521B2 (en) 2004-04-30 2010-08-10 Emc Corporation Storage switch traffic bandwidth control
US7792882B2 (en) * 2007-09-27 2010-09-07 Oracle America, Inc. Method and system for block allocation for hybrid drives
JP4893716B2 (ja) * 2008-08-28 2012-03-07 富士通株式会社 バックアップ装置、バックアップ方法およびバックアッププログラム
US9106591B2 (en) * 2009-12-24 2015-08-11 Delphix Corporation Adaptive resource management using survival minimum resources for low priority consumers
US8327103B1 (en) 2010-06-28 2012-12-04 Emc Corporation Scheduling data relocation activities using configurable fairness criteria
US8589934B2 (en) * 2011-04-01 2013-11-19 Arm Limited Controlling priority levels of pending threads awaiting processing
US8868869B2 (en) * 2011-08-08 2014-10-21 International Business Machines Corporation Enhanced copy-on-write operation for solid state drives
US9830111B1 (en) * 2012-08-08 2017-11-28 Amazon Technologies, Inc. Data storage space management
CN104113843B (zh) * 2013-04-18 2020-09-11 索尼公司 频谱管理系统和方法
US10225162B1 (en) 2013-09-26 2019-03-05 EMC IP Holding Company LLC Methods and apparatus for array agnostic automated storage tiering
US8909829B1 (en) 2013-09-26 2014-12-09 Emc Corporation Methods and apparatus for storage pool selection
US9940073B1 (en) 2014-06-30 2018-04-10 EMC IP Holding Company LLC Method and apparatus for automated selection of a storage group for storage tiering
US10025518B1 (en) 2014-09-30 2018-07-17 EMC IP Holding Company LLC Methods and apparatus for system having change identification
US11150950B2 (en) * 2016-12-01 2021-10-19 Vmware, Inc. Methods and apparatus to manage workload domains in virtual server racks
US11132332B2 (en) * 2018-11-02 2021-09-28 International Business Machines Corporation Method to write data ahead to snapshot area to avoid copy-on-write

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7080225B1 (en) * 2002-12-10 2006-07-18 Emc Corporation Method and apparatus for managing migration of data in a computer system
US20130067148A1 (en) * 2011-09-14 2013-03-14 Sony Corporation Information processing apparatus and information processing method
US9645761B1 (en) * 2016-01-28 2017-05-09 Weka.IO Ltd. Congestion mitigation in a multi-tiered distributed storage system
US20180075053A1 (en) * 2016-09-15 2018-03-15 Pure Storage, Inc. Distributed deletion of a file and directory hierarchy
US20190384515A1 (en) * 2018-06-15 2019-12-19 EMC IP Holding Company LLC Method for configuring resources, electronic device and computer program product
CN111857553A (zh) * 2019-04-30 2020-10-30 伊姆西Ip控股有限责任公司 管理盘阵列的方法、装置和计算机程序产品

Also Published As

Publication number Publication date
US11403026B2 (en) 2022-08-02
US20220147260A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
CN110059037B (zh) 用于管理输入/输出的方法、设备和计算机程序产品
KR102031471B1 (ko) 자원 배치 최적화를 위한 기회적 자원 이주
US11150949B2 (en) Resource release method, resource allocation method, devices, and computer program products
CN109213696B (zh) 用于缓存管理的方法和设备
CN108984104B (zh) 用于缓存管理的方法和设备
CN111949605A (zh) 用于实现文件系统的方法、设备和计算机程序产品
US20130185531A1 (en) Method and apparatus to improve efficiency in the use of high performance storage resources in data center
CN114442910A (zh) 管理存储系统的方法、电子设备和计算机程序产品
CN112948279A (zh) 管理存储系统中的访问请求的方法、设备和程序产品
CN113590019B (zh) 用于存储管理的方法、电子设备和计算机程序产品
CN113126887A (zh) 用于重建盘阵列的方法、电子设备和计算机程序产品
US10776173B1 (en) Local placement of resource instances in a distributed system
CN112748849A (zh) 用于存储数据的方法、设备和计算机程序产品
CN111857559A (zh) 用于管理元数据的方法、装置和计算机程序产品
CN107329798B (zh) 数据复制的方法、装置和虚拟化系统
CN113535073B (zh) 管理存储单元的方法、电子设备和计算机可读存储介质
CN111124253B (zh) 管理存储设备的方法、装置和计算机程序产品
CN112748848A (zh) 用于存储管理的方法、设备和计算机程序产品
US10705742B2 (en) Managing input/output (I/O) concurrency numbers to control storage system responses
CN112748862A (zh) 用于管理盘的方法、电子设备和计算机程序产品
US11385822B2 (en) Moving data from a first group of slices to a second group of slices
US11481275B2 (en) Managing reconstruction of a malfunctioning disk slice
US11210237B2 (en) Integration of application indicated minimum and maximum time to cache for a two-tiered cache management mechanism
CN109840217B (zh) 一种缓存资源分配和装置
CN114780014A (zh) 管理元数据存储单元的方法、电子设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination