CN111104051B - 用于管理存储系统的方法、设备和计算机程序产品 - Google Patents

用于管理存储系统的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN111104051B
CN111104051B CN201811261807.5A CN201811261807A CN111104051B CN 111104051 B CN111104051 B CN 111104051B CN 201811261807 A CN201811261807 A CN 201811261807A CN 111104051 B CN111104051 B CN 111104051B
Authority
CN
China
Prior art keywords
block
blocks
storage
data
resource pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811261807.5A
Other languages
English (en)
Other versions
CN111104051A (zh
Inventor
刘冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201811261807.5A priority Critical patent/CN111104051B/zh
Priority to US16/284,562 priority patent/US11036587B2/en
Publication of CN111104051A publication Critical patent/CN111104051A/zh
Application granted granted Critical
Publication of CN111104051B publication Critical patent/CN111104051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/1092—Rebuilding, e.g. when physically replacing a failing disk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3485—Performance evaluation by tracing or monitoring for I/O devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开涉及一种用于管理存储系统的方法、设备和计算机程序产品。在一个实现中，提供了一种用于管理存储系统的方法，该存储系统中的区块来自与存储系统相关联的资源池中的多个存储设备。在该方法中，针对多个存储设备中的存储设备包括多个区块，获取多个区块的各自的使用状态。基于多个区块的各自的使用状态，确定多个区块中的各个区块的各自的特征。获取资源池中的存储设备中的区块中的故障与区块的特征之间的关联关系。基于多个区块的各自的特征和关联关系，从多个区块中标识将要出现故障的故障区块。可以监视在资源池中的各个存储设备中的区块是否出现故障，进而避免出现数据丢失。进一步，提供了一种用于管理存储系统的设备和计算机程序产品。

Description

用于管理存储系统的方法、设备和计算机程序产品
技术领域
本公开的各实现方式涉及存储管理，更具体地，涉及用于管理存储系统的资源池中的各个存储设备的方法、设备和计算机程序产品。
背景技术
随着数据存储技术的发展，各种数据存储设备已经能够向用户提供越来越高的数据存储能力，并且数据访问速度也有了很大程度的提高。目前已经提出了资源池的概念，在资源池中可以包括多个存储设备，并且多个存储设备中的每个存储设备可以包括多个区块(extent)。此时，可以向存储系统分配区块，以使得存储系统可以使用来自资源池中的各个存储设备的存储空间。
将会理解，由于资源池中的各个存储设备投入使用的时间以及使用状态等存在差异，各个存储设备的磨损程度(wear degree)可能是不同的。进一步，在一个存储设备中的各个部分的使用状态也可以有所不同，并且可能会出现存储设备中的一部分出现故障并且不能使用的情况。因而，如何预测资源池中的各个存储设备的潜在故障，进而避免存储系统中的数据丢失，成为一个技术难题。
发明内容
因而，期望能够开发并实现一种以更为有效的方式来管理存储系统的技术方案。期望该技术方案能够与现有的存储系统相兼容，并且通过改造现有存储系统的各种配置，来以更为有效的方式管理存储系统。
根据本公开的第一方面，提供了一种用于管理存储系统的方法。存储系统中的区块来自与存储系统相关联的资源池中的多个存储设备。在该方法中，针对多个存储设备中的存储设备包括多个区块，获取多个区块的各自的使用状态。基于多个区块的各自的使用状态，确定多个区块中的各个区块的各自的特征。获取资源池中的存储设备中的区块中的故障与区块的特征之间的关联关系。基于多个区块的各自的特征和关联关系，从多个区块中标识将要出现故障的故障区块。
根据本公开的第二方面，提供了一种用于管理存储系统的设备，存储系统中的区块来自与存储系统相关联的资源池中的多个存储设备。设备包括：至少一个处理器；易失性存储器；以及与至少一个处理器耦合的存储器，存储器具有存储于其中的指令，指令在被至少一个处理器执行时使得设备执行动作。该动作包括：针对多个存储设备中的存储设备包括多个区块，获取多个区块的各自的使用状态；基于多个区块的各自的使用状态，确定多个区块中的各个区块的各自的特征；获取资源池中的存储设备中的区块中的故障与区块的特征之间的关联关系；以及基于多个区块的各自的特征和关联关系，从多个区块中标识将要出现故障的故障区块。
根据本公开的第三方面，提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令用于执行根据本公开的第一方面的方法。
附图说明
结合附图并参考以下详细说明，本公开各实现方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本公开的若干实现方式。在附图中：
图1A和1B分别示意性示出了其中可以实现本公开的方法的存储系统的示意图；
图2示意性示出了其中可以实现本公开的方法的示例性环境的框图；
图3示意性示出了图2中的存储资源池的图示；
图4示意性示出了根据本公开的一个实现方式的用于管理存储系统的框图；
图5示意性示出了根据本公开的一个实现方式的用于管理存储系统的方法的流程图；
图6示意性示出了根据本公开的一个实现方式的针对存储设备执行后台介质扫描的扫描结果的框图；
图7示意性示出了根据本公开的一个实现方式的区块的特征的框图；
图8A和图8B分别示意性示出了根据本公开一个实现方式的用于基于拷贝操作来将故障区块中的数据重建至资源池中的存储设备中的空闲区块的框图；
图9示意性示出了根据本公开一个实现方式的用于基于恢复操作来将故障区块中的数据重建至资源池中的存储设备中的空闲区块的框图；以及
图10示意性示出了根据本公开的示例性实现的用于管理存储系统的设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实现。虽然附图中显示了本公开的优选实现，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实现所限制。相反，提供这些实现是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实现”和“一个实现”表示“至少一个示例实现”。术语“另一实现”表示“至少一个另外的实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
在本公开的上下文中，存储系统可以是基于独立磁盘冗余阵列(Redundant Arrayof Independent Disks，RAID)的存储系统。基于RAID的存储系统可以将多个存储设备组合起来，成为一个磁盘阵列。通过提供冗余的存储设备，可以使得整个磁盘组的可靠性大大超过单一的存储设备。RAID可以提供优于单一的存储设备的各种优势，例如，增强数据整合度，增强容错功能，增加吞吐量或容量，等等。RAID存在多个标准，例如RAID-1，RAID-2，RAID-3，RAID-4，RAID-5，RAID-6，RAID-10，RAID-50等等。关于RAID级别的更多细节，本领域技术人员例如可以参见https://en.wikipedia.org/wiki/Standard_RAID_levels、以及https://en.wikipedia.org/wiki/Nested_RAID_levels等。
将会理解，尽管在本公开的上下文中以基于RAID的存储系统的资源池为示例来描述了用于管理存储系统的实现方式。根据本公开的示例性实现还可以被实现在其他的包括多个存储设备的资源池中。例如，在此的存储系统的各个区块中的数据可以不包括冗余数据。进一步，在本公开的上下文中，并不限定存储系统的功能，而是在此描述的存储系统可以是通用存储系统、或者还可以是用于专用目的(例如备份服务)的定制的存储系统。
图1A示意性示出了其中可以实现本公开的方法的存储系统100A的示意图。在图1A所示的存储系统中，以包括五个独立存储设备(110、112、114、116以及118)的RAID-5(4D+1P，其中4D表示存储系统中包括四个存储设备来用于存储数据，1P表示存储系统中包括一个存储设备来用于存储P校验)阵列为示例，来说明RAID的工作原理。应当注意，尽管图1A中示意性示出了五个存储设备，在其他的实现方式中，根据RAID的等级不同，还可以包括更多或者更少的存储设备。尽管图1A中示出了条带120、122、124、…、126，在其他的示例中，RAID系统还可以包括不同数量的条带。
在RAID中，条带跨越多个物理存储设备(例如，条带120跨越存储设备110、112、114、116以及118)。可以简单地将条带理解为多个存储设备中的满足一定地址范围的存储区域。在条带120中存储的数据包括多个部分：存储在存储设备110上的数据块D00、存储在存储设备112上的数据块D01、存储在存储设备114上的数据块D02、存储在存储设备116上的数据块D03、以及存储在存储设备118上的数据块P0。在此示例中，数据块D00、D01、D02、以及D03是被存储的数据，而数据块P0是被存储数据的P校验。
在其他条带122和124中存储数据的方式也类似于条带120，不同之处在于，有关其他数据块的校验可以存储在不同于存储设备118的存储设备上。以此方式，当多个存储设备110、112、114、116以及118中的一个存储设备出现故障时，可以从其他的正常的存储设备中恢复出故障设备中的数据。
图1B示意性示出了存储系统110A的重建过程的示意图100B。如图1B所示，当一个存储设备(例如，以阴影示出的存储设备116)出现故障时，可以从其余的正常操作的多个存储设备110、112、114、118中恢复数据。此时，可以向RAID中加入新的后备存储设备118B来替代存储设备118，以此方式，可以将恢复的数据写入118B并实现系统的重建。
应当注意，尽管在上文中参见图1A和图1B描述了包括5个存储设备(其中4个存储设备用于存储数据，1个存储设备用于存储校验)的RAID-5的存储系统，根据其他RAID等级的定义，还可以存在包括其他数量的存储设备的存储系统。例如，基于RAID-6的定义，可以利用两个存储设备来分别存储校验P和Q。又例如，基于三重校验RAID的定义，可以利用三个存储设备来分别存储校验P、Q和R。
随着分布式存储技术的发展，图1A和1B所示的存储系统中的各个存储设备110、112、114、116以及118可以不再局限于物理存储设备，而是可以是虚拟存储设备。例如，存储设备110上的各个区块可以分别来自于资源池中的不同的物理存储设备(在下文中将简称为存储设备)。图2示意性示出了其中可以实现本公开的方法的示例性环境的框图。如图2所示，存储资源池270可以包括多个物理存储设备210、220、230、240、250、…、260。此时，该多个存储设备中的存储空间可以被分配给多个存储系统290、…、292。此时，存储系统290、…、292可以经由网络280来访问存储资源池270中的各个存储设备中的存储空间。
图3示意性示出了如图2所示的存储资源池270的更多信息的图示。资源池270可以包括多个存储设备210、220、230、240、250、…、260。每个存储设备可以包括多个区块，其中空白区块(如图例360所示)表示空闲的区块，以条纹示出的区块(如图例362所示)表示用于图1中的存储系统110A的第一条带的区块，而以阴影示出的区块(如图例364所示)表示用于图1中的存储系统110A的第二条带的区块。此时，用于第一条带的区块312、322、332、342、352分别用于存储第一条带的数据块D00、D01、D02、D03和校验P0。用于第二条带的区块324、334、344、366和314分别用于存储第二条带的数据块D10、D11、D12、D13和校验P1。
如图3所示，在各个存储设备中还可以存在预留的空闲部分370，以便用于在资源池中的一个存储设备出现故障时，可以选择各个存储设备中的空闲部分370中的区块，来重建故障存储设备中的各个区块。
应当注意，图3仅以4D+1P的RAID-5存储系统为示例示出了各个条带中的区块如何分布在资源池的多个存储系统中。当采用基于其他RAID等级时，本领域技术人员可以基于上文的原理来实现具体细节。例如，在6D+1P+1Q的RAID-6存储系统中，每个条带中的8个区块可以分布在多个存储设备上，进而保证多个存储设备的负载均衡。
将会理解，存储设备210至260并不是可以无限期地使用，而是存在一定的使用寿命。当存储设备的磨损水平达到一定程度时，可能会面临寿命终止(End of Life)。目前已经提出了用于控制存储资源池270中各个存储设备的磨损水平，进而管理存储资源池270并且进行设备更新的技术方案。
尽管这些技术方案可以确保存储资源池270中的各个存储设备的磨损水平在使用期间保持类似，并且在潜在故障存储设备面临寿命终止时采用正常存储设备来更新该存储设备。然而，在存储设备的使用期间，可能会出现存储设备中的一部分区域首先出现故障而其他区域保持正常的状况。此时，即使存储设备中仅有很小的一部分出现故障，也不得不替换整个存储设备。
为了解决上述缺陷，本公开的实现方式提供了一种用于管理存储系统的方法、设备和计算机程序产品。采用本公开的实现方式，可以确定存储设备中的一部分的故障。在下文中，将详细描述本公开的具体实现方式。根据本公开内容的一个实现方式，提供了一种用于管理存储系统的技术方案。具体地，提供了一种用于管理存储系统的方法，在此的存储系统中的区块来自与存储系统相关联的资源池中的多个存储设备。在该方法中，针对多个存储设备中的存储设备包括多个区块，获取多个区块的各自的使用状态；基于多个区块的各自的使用状态，确定多个区块中的各个区块的各自的特征；获取资源池中的存储设备中的区块中的故障与区块的特征之间的关联关系；以及基于多个区块的各自的特征和关联关系，从多个区块中标识将要出现故障的故障区块。
利用上述示例性实现，可以监视当资源池270中的各个存储设备210至260的使用状态，并且基于描述存储设备中的区块中的故障与区块的特征之间的关联关系，来确定在多个区块中的哪个/哪些区块中可能出现故障。以此方式，可以针对存储设备中的部分区域进行故障识别。相对于传统的以整个存储设备为单位来进行故障识别和替换的技术方案，利用上述示例性实现可以以更为精细的粒度，在存储设备中的一部分区域中识别潜在故障并且针对存在潜在故障的区域来进行后续处理。
图4示意性示出了根据本公开的一个实现方式的用于管理存储系统的框图400。如图4所示，存储系统中的区块可以来自于资源池270中的多个存储设备210至260。在资源池270中的各个存储设备210至260的运行期间，各个存储设备210至260可以涉及多方面的状态，例如驱动器温度、加电小时数(power on hours)、分配的扇区计数(allocated sectorscounter)等。进一步，存储设备210至260中的每个存储设备可以包括多个区块。根据本公开的示例性实现，针对多个存储设备中的存储设备包括多个区块，获取多个区块的各自的使用状态410。将会理解，每个区块可以具有相对应的使用状态。在此的使用状态可以包括区块所在的存储设备的上述状态。进一步，使用状态还可以包括区块本身的状态，例如，区块的地址，区块中是否存在故障等。
在已经获得了各个区块的使用状态的情况下，可以基于多个区块的各自的使用状态410，确定多个区块中的各个区块的各自的特征420。将会理解，在此的特征是指用于描述区块的当前的状态的指示。根据本公开的示例性实现，特征可以包括多个维度，并且每个维度可以表示使用状态中的一个方面的数据。在一个简单的示例中，可以采用三维矢量(地址，温度，是否存在故障)来表示区块的特征420。根据本公开的示例性实现，还可以采用更为复杂的数据结构来表示特征。
如图4所示，可以获取资源池270中的存储设备中的区块中的故障与区块的特征之间的关联关系432。将会理解，在此的关联关系432可以是基于特定型号的存储设备中的区块以及该区块中是否出现故障的历史经验来确定的。在此实现方式中，可以利用机器学习模块430来调用关联关系432。进一步，机器学习模块430可以基于多个区块的各自的特征420和关联关系432，从多个区块中标识将要出现故障的故障区块。
利用图4所示的实现方式，可以基于关联关系432来预测在资源池270中的多个存储设备210至260中的哪个/哪些区块可能出现故障。根据本公开的示例性实现，可以通过扫描各个区块来获取各个区块的故障标识符。假设采用三维矢量(地址，故障标识符，是否存在故障)来表示区块的特征420，并且关联关系432定义当故障标识符的取值为特定数值时，则区块面临故障风险。此时，可以将故障标识符为特定数值的区块标识为故障区块。
上文已经参见图4概括描述了本公开的实现方式，在下文中，将参见图5详细描述如何管理存储系统的更多细节。图5示意性示出了根据本公开的一个实现方式的用于管理存储系统的方法的流程图500。在框510处，针对多个存储设备中的存储设备包括多个区块，获取多个区块的各自的使用状态410。在本公开的上下文中，使用状态410可以包括多个方面。例如，可以包括有关区块所在的存储设备的状态信息，还可以包括区块本身的状态信息。
根据本公开的示例性实现，使用状态可以包括多个区块中的各个区块对于访问请求的响应时间。将会理解，由于存储设备中的某些区域可能出现故障并导致针对该区域的访问请求被延迟。因而，响应时间可以是表示存储设备是否出现故障的一个重要指标。基于各个区块的响应时间，可以更为准确地判断在各个区块中是否存在故障。
根据本公开的示例性实现，使用状态进一步包括多个区块中的各个区块的故障标识符以及故障信息。通常而言，通过扫描存储设备的各个区块，可以获取各个区块的故障标识符。在此的故障标识符可以概括地指示该区域是否存在故障、故障是否可恢复等。进一步，对于不同的设备提供者而言，还可以定义专用字段来表示与某个型号的存储设备相关联的、用于描述故障的更多细节的故障信息。利用上述示例性实现，可以以更为精细的粒度描述故障的多方面的信息，进而以更为准确的方式确定故障的类型。
根据本公开的示例性实现，可以针对存储设备执行后台介质扫描(BackgroundMedia Scan，BMS)以获得使用状态。后台介质扫描是一种用于对存储设备进行扫描从而获取存储设备中的各个地址段的使用状态的方式。通过对存储设备执行扫描，可以获取如图6所示的用于指示存储设备的使用状态的扫描结果。
图6示意性示出了根据本公开的一个实现方式的针对存储设备执行后台介质扫描的扫描结果600的框图。在图6所示的扫描结果600中，列表示数据结构中的各个字节的编号，而行表示在一个字节中的各个比特的编号。如图6所示，扫描结果600的第16至23字节(如附图标记630所示)示出了存储设备中的逻辑块地址，该地址可以标识区块的位置。扫描结果600的第8至10个字节(如附图标记610所示)示出了逻辑块地址630处的区块的故障标识符610。具体地，故障标识符610还可以包括：再分配状态、感测键、附加感测代码、附加感测代码限定符(additional sense code qualifier)等细化的信息。扫描结果的第11至15字节(如附图标记620所示)示出了提供者特定字段(vendor specific field)，该字段由存储设备的提供者自定义以用于描述有关故障的更多信息。本领域技术人员可以查阅有关BMS扫描结果的定义来获取有关上述维度的具体定义，在本公开的上下文中将不再赘述。
返回图5，在框520处，可以基于多个区块的各自的使用状态，确定多个区块中的各个区块的各自的特征。根据本公开的示例性实现，针对多个区块中的给定区块，响应于区块的响应时间高于预定阈值，确定多个区块中的各个区块的各自的特征。由于响应时间是指示区块是否存在潜在故障的关键指标，因而可以仅在响应时间较高时才触发后续的确定特征的操作。以此方式，可以更有效地检测故障区块。
根据本公开的示例性实现，可以针对多个区块中的每个区块来逐一确定每个区块的特征。具体地，针对给定区块，可以基于给定区块的故障标识符以及故障信息，确定给定区块的给定特征。由于故障标识符和故障信息是指示故障的关键指标，利用上述示例性实现，可以更加有效并且准确地确定故障区块。在下文中，将参见图7描述有关特征的更多细节。
图7示意性示出了根据本公开的一个实现方式的区块的特征的数据结构700的框图。如图7所示，特征可以采用矢量方式表示，并且矢量中的每个维度可以描述使用状态中的一个方面。根据本公开的示例性实现，特征可以包括五个维度：再分配状态710、感测键720、附加感测代码730、限定码740、提供者特定字段750。将会理解，图7仅示意性示出了用于表示特征的一个示例数据结构700。根据本公开的示例性实现，还可以采用其他数据结构。在一个示例中，用于描述特征的矢量可以包括更多或者更少的维度。例如，矢量还可以包括有关区块所在的存储设备的信息。
返回图5，在框530处，获取资源池270中的存储设备中的区块中的故障与区块的特征之间的关联关系432。根据本公开的示例性实现，可以基于一组样本存储设备中包括的多个样本区块的样本特征以及多个样本区块中的故障，训练关联关系。机器学习技术已经成为目前处理各种复杂问题的一种成熟技术方案，在此可以基于机器学习技术，利用历史操作中所获取的导致故障区块的样本特征和未导致故障区块的样本特征，来训练上述关联关系432。利用上述示例性实现，可以为后续的标识故障区块的操作提供更加可靠的依据。
将会理解，在本公开的上下文中并不限定关联关系432的具体类型，而是可以采用目前已知的或者将在未来开发的多种机器学习技术来定义关联关系432。根据本公开的一个示例性实现，可以基于神经网络模型来获得关联关系432。利用上述示例性实现，所获得的关联关系432可以描述具有何种特征的区块更易于出现故障，因而该关联关系可以用于预测在其他存储设备中的哪些区块中可能出现故障。以此方式，可以基于历史经验来以更加准确的方式确定存储设备中的可能出现故障的区块。
在框540处，基于多个区块的各自的特征420和关联关系432，从多个区块中标识将要出现故障的故障区块440。此时，可以向机器学习模块430分别输入每个区块的特征，机器学习模块430可以基于关联关系432来标识可能出现故障的故障区块440。
在上文中已经参见图4至图7详细描述了如何确定存储设备中的故障区块440。在已经确定故障区块440之后，还可以针对故障区块440进行进一步的处理，进而避免存储系统中的数据丢失。根据本公开的示例性实现，将故障区块中的数据重建至多个存储设备中的故障区块以外的空闲区块。利用上述示例性实现，可以提高存储设备的可靠性并且避免存储系统中丢失数据。
将会理解，故障区块440中的故障可以被进一步细分为不同的故障等级。例如，可以基于响应时间和/或故障标识符610中的其他参数来划分故障等级。根据本公开的示例性实现，当以响应时间作为划分故障的等级的依据时，如果响应时间变长但是仍然可以在可接受的时间范围内完成读写操作，则可以认为该故障属于较轻故障，并且可以以较低优先级来进行处理。如果响应时间变长并且已经到达“无响应”的程度，则可以认为该故障属于严重故障，并且需要优先处理。
根据本公开的示例性实现，对于较轻故障的情况，可以将故障区块440中的数据拷贝至空闲区块。此时，尽管故障区块440的响应时间变长，但是仍然能够执行读写操作，因而可以直接将故障区块440中的数据拷贝至正常区块处。在下文中，将参见图8A和图8B来描述有关处理的更多细节。
图8A示意性示出了根据本公开一个实现方式的用于基于拷贝操作来将故障区块中的数据重建至资源池中的存储设备中的空闲区块的框图800A。在图8A中，在存储设备210下方示意性示出了该存储设备210中包括的多个区块。图8A右侧的图例830示出了区块可能存在不同状态：网格图案示出了按照上文描述的方法而标识出的存储设备中的故障区块，阴影图案示出了存储设备中的正常区块，而空白图案示出了存储设备中的尚未被分配的空闲区块。
如图8A所示，假设确定存储设备210中的区块810属于故障区块，并且区块812属于空闲区块，此时可以将该故障区块810中的数据拷贝至(如箭头820所示)空闲区块812。进一步，可以将区块810标记为“故障”，以指示在资源池270的后续操作过程中不再使用区块810。将会理解，由于在同一存储设备之间拷贝数据的速度较快，因而可以优先考虑将故障区块中的数据拷贝至相同存储设备中的空闲区块。
根据本公开的示例性实现，基于其他方面的标准，还可以将故障区块中的数据拷贝至位于不同的存储设备中的空闲区块。根据本公开的示例性实现，可以基于故障区块所在的存储设备210中的故障区块的数量/比例，来确定是否将故障区块中的数据拷贝至存储设备210中的空闲区块。如果在存储设备210中已经存在大量故障区块，则可以认为整个存储设备210将面临崩溃，因而可以将故障区块中的数据拷贝至存储设备210以外的其他存储设备。
根据本公开的示例性实现，可以基于故障区块所在的存储设备210的工作负载，来确定是否将故障区块中的数据拷贝至存储设备210中的空闲区块。如果存储设备210的工作负载已经较重，则可以认为需要对资源池270中的各个存储设备执行负载平衡，因而可以将故障区块中的数据拷贝至资源池270中的工作负载较轻的其他存储设备。
根据本公开的示例性实现，可以基于故障区块所在的存储设备210的空闲存储空间，来确定是否将故障区块中的数据拷贝至存储设备210中的空闲区块。如果存储设备210的存储空间已经面临耗尽，则此时存储设备210已经不再有能力提供更多的存储空间，因而可以将故障区块中的数据拷贝至资源池270中的空闲存储空间较为充足的其他存储设备。
图8B示意性示出了根据本公开一个实现方式的用于基于拷贝操作来将故障区块中的数据重建至资源池中的其他存储设备中的空闲区块的框图800B。如图8B所示，假设确定存储设备210中的区块810属于故障区块，并且此时240中的区块814属于空闲区块。基于上文描述的标准，可以将该故障区块810中的数据拷贝至(如箭头822所示)空闲区块814。进一步，可以将区块810标记为“故障”，以指示在资源池270的后续操作过程中不再使用区块810。
在上文中已经描述了基于拷贝操作来重建故障区块中的数据的情况。将会理解，当存储系统是不包括冗余数据的存储系统时，可以基于上文参见图8A和8B描述的方法来执行重建操作。根据本公开的示例性实现，当存储系统是包括冗余数据的存储系统时，还可以基于存储系统中的与故障区块相关联的其他区块中的数据，将故障区块中的数据恢复至空闲区块。具体地，图9示意性示出了根据本公开一个实现方式的用于基于恢复操作来将故障区块中的数据重建至资源池中的存储设备中的空闲区块的框图900。
图9示意性示出了RAID存储系统中的一个条带910。该条带910跨越多个存储设备210、220、230、240、以及250(为简单起见，在图9中未示出上述多个存储设备)。在条带910中存储的数据包括多个区块：存储在存储设备210上的区块912、存储在存储设备220上的区块914、存储在存储设备230上的区块916、存储在存储设备240上的区块918、以及存储在存储设备250上的区块920。在此示例中，区块912、914、916和918是被存储的数据，而区块920是被存储数据的P校验。
假设区块810被确定为故障区块，并且基于存储系统的地址映射930可知，区块912的实际存储位置是区块810。此时，可以基于条带910中的其他区块914、916、918以及920中的数据，来将故障区块810中的数据恢复至空闲区块812(如箭头932所示)。利用上述示例性实现，即使在故障区块已经严重损坏并且不能被读取的情况下，也可以基于条带中的其他区块中的数据来恢复故障区块中的数据。
将会理解，在已经将故障区块中的数据恢复至其他空闲区块的情况下，还需要更新描述存储系统中的区块与资源池270中的存储设备中的区块之间的关联关系的地址映射。利用上述示例性实现，可以确保用户在访问存储系统中的数据时，可以基于更新的地址映射被引导至正确的地址。具体地，可以基于空闲区块的地址来更新存储系统的地址映射。在图9的示例中，可以基于区块812的地址来替换地址映射中的区块810的地址。
根据本公开的示例性实现，在资源池270的运行期间，还可以基于标识出的故障区块440来调整资源分配策略以及负载平衡策略。根据本公开的示例性实现，响应于接收到从资源池270中分配存储空间的分配请求，从资源池270中的故障区块以外的空闲区块中选择区块以用于分配。将会理解，由于故障区块440一方面会影响存储系统的响应速度，另一方面还会对存储系统中的数据可靠性产生不良影响。因而，在分配存储资源时，需要选择故障区块以外的空闲区块来进行分配，进而确保存储系统以更为可靠的方式运行。
将会理解，在资源池270的运行期间，资源池270中的存储设备的数量可能会出现变化。例如，可以向资源池270中加入一个或多个新的存储设备，或者还可以从资源池270中移除一个或多个已有的存储设备。根据本公开的示例性实现，响应于资源池270中的存储设备的数量的改变，可以基于故障区块的位置来针对资源池270中的存储设备中的数据执行负载平衡。
在下文中，将分别讨论增加存储设备和移除存储设备的情况。为方便描述，首先介绍向资源池270中增加一个存储设备的情况。此时，由于新增加的存储设备是空闲的存储设备并且其中的各个区块都是空闲的。因而，可以首先将存储设备210至260中的故障区块440中的数据迁移至新增加的存储设备中的空闲区块。进一步，还可以基于负载平衡原则来将存储设备210至260中的一部分正常区块中的数据迁移至新增加的存储设备中的空闲区块。
当从资源池270中移除一个指定存储设备时，则可以将该指定存储设备中的已经被分配的区块中的数据迁移至资源池270中的其他存储设备中的空闲区块。将会理解，当存储系统是如上文描述的基于RAID的存储系统的情况下，在数据迁移过程中还需要确保迁移后的各个区块的位置满足RAID存储系统的要求。换言之，需要确保一个条带中的各个区块分别位于不同的存储设备中。
在资源池270的操作期间，用户可能长时间没有访问某些区块中的数据，而当用户再次访问数据时可能会出现区块已经出现故障并且导致不可恢复数据的情况。可以将上述情况称为静默错误(silent error)。为了避免在资源池270中的存储设备中出现静默错误，可以定期地扫描各个存储设备中的区块。由于已经被标识为故障区块的区块可能会面临更高的风险，因而在已经按照上文描述的方法确定故障区块之后，可以以更高的频率来扫描故障区块440。在扫描期间，当发现读取时间的高于预定时间阈值，可以将故障区块440中的数据重建至多个存储设备中的故障区块以外的空闲区块。以此方式，可以更为及时地发现故障区块440的情况恶化，进而在导致不可恢复的故障之前，提前迁移故障区块440中的数据。
在上文中已经参见图2至图9详细描述了根据本公开的方法的示例，在下文中将描述相应的设备的实现。根据本公开的示例性实现，提供了用于管理存储系统的设备，该存储系统中的区块来自与存储系统相关联的资源池中的多个存储设备。该设备包括：状态获取模块，配置用于针对多个存储设备中的存储设备包括多个区块，获取多个区块的各自的使用状态；确定模块，配置用于基于多个区块的各自的使用状态，确定多个区块中的各个区块的各自的特征；关系获取模块，配置用于获取资源池中的存储设备中的区块中的故障与区块的特征之间的关联关系；以及标识模块，配置用于基于多个区块的各自的特征和关联关系，从多个区块中标识将要出现故障的故障区块。
根据本公开的示例性实现，使用状态包括多个区块中的各个区块对于访问请求的响应时间，该确定模块进一步配置用于针对多个区块中的给定区块，响应于区块的响应时间高于预定阈值，确定多个区块中的各个区块的各自的特征。
根据本公开的示例性实现，使用状态进一步包括多个区块中的各个区块的故障标识符以及故障信息，该确定模块进一步配置用于针对给定区块，基于给定区块的故障标识符以及故障信息，确定给定区块的给定特征。
根据本公开的示例性实现，关系获取模块进一步配置用于基于一组存储设备中包括的多个区块的特征以及一组设备中包括的多个区块中的故障，训练关联关系。
根据本公开的示例性实现，状态获取模块进一步配置用于针对存储设备执行后台介质扫描以获得使用状态。
根据本公开的示例性实现，该设备进一步包括处理模块，该处理模块配置用于：将故障区块中的数据重建至多个存储设备中的故障区块以外的空闲区块；以及基于空闲区块的地址来更新存储系统的地址映射，地址映射描述存储系统中的区块与资源池中的存储设备中的区块之间的关联关系。
根据本公开的示例性实现，该处理模块配置用于：将故障区块中的数据拷贝至空闲区块；以及基于存储系统中的与故障区块相关联的其他区块中的数据，将故障区块中的数据恢复至空闲区块。
根据本公开的示例性实现，该处理模块配置用于：响应于接收到从资源池中分配存储空间的分配请求，从资源池中的故障区块以外的空闲区块中选择区块以用于分配。
根据本公开的示例性实现，该处理模块配置用于：响应于资源池中的存储设备的数量的改变，基于故障区块的位置来针对资源池中的存储设备中的数据执行负载平衡。
根据本公开的示例性实现，该处理模块配置用于：周期性地读取故障区块中的数据；以及响应于读取时间的高于预定时间阈值，将故障区块中的数据重建至多个存储设备中的故障区块以外的空闲区块。
图10示意性示出了根据本公开的示例性实现的用于管理存储系统的设备1000的框图。如图所示，设备1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序指令或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序指令，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法500，可由处理单元1001执行。例如，在一些实现中，方法500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实现中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序被加载到RAM 1003并由CPU 1001执行时，可以执行上文描述的方法500的一个或多个步骤。备选地，在其他实现中，CPU 1001也可以以其他任何适当的方式被配置以实现上述过程/方法。
根据本公开的示例性实现，提供了一种用于管理存储系统的设备，存储系统中的区块来自与存储系统相关联的资源池中的多个存储设备。该设备包括：至少一个处理器；易失性存储器；以及与至少一个处理器耦合的存储器，存储器具有存储于其中的指令，指令在被至少一个处理器执行时使得设备执行动作。动作包括：针对多个存储设备中的存储设备包括多个区块，获取多个区块的各自的使用状态；基于多个区块的各自的使用状态，确定多个区块中的各个区块的各自的特征；获取资源池中的存储设备中的区块中的故障与区块的特征之间的关联关系；以及基于多个区块的各自的特征和关联关系，从多个区块中标识将要出现故障的故障区块。
根据本公开的示例性实现，使用状态包括多个区块中的各个区块对于访问请求的响应时间，其中确定多个区块中的各个区块的各自的特征包括：针对多个区块中的给定区块，响应于区块的响应时间高于预定阈值，确定多个区块中的各个区块的各自的特征。
根据本公开的示例性实现，使用状态进一步包括多个区块中的各个区块的故障标识符以及故障信息；以及其中确定多个区块中的各个区块的各自的特征包括：针对给定区块，基于给定区块的故障标识符以及故障信息，确定给定区块的给定特征。
根据本公开的示例性实现，获取关联关系包括：基于一组存储设备中包括的多个区块的特征以及一组设备中包括的多个区块中的故障，训练关联关系。
根据本公开的示例性实现，获取多个区块的各自的使用状态包括：针对存储设备执行后台介质扫描以获得使用状态。
根据本公开的示例性实现，该动作进一步包括：将故障区块中的数据重建至多个存储设备中的故障区块以外的空闲区块；以及基于空闲区块的地址来更新存储系统的地址映射，地址映射描述存储系统中的区块与资源池中的存储设备中的区块之间的关联关系。
根据本公开的示例性实现，将故障区块中的数据重建至空闲区块包括以下中的至少任一项：将故障区块中的数据拷贝至空闲区块；以及基于存储系统中的与故障区块相关联的其他区块中的数据，将故障区块中的数据恢复至空闲区块。
根据本公开的示例性实现，该动作进一步包括：响应于接收到从资源池中分配存储空间的分配请求，从资源池中的故障区块以外的空闲区块中选择区块以用于分配。
根据本公开的示例性实现，该动作进一步包括：响应于资源池中的存储设备的数量的改变，基于故障区块的位置来针对资源池中的存储设备中的数据执行负载平衡。
根据本公开的示例性实现，该动作进一步包括：周期性地读取故障区块中的数据；以及响应于读取时间的高于预定时间阈值，将故障区块中的数据重建至多个存储设备中的故障区块以外的空闲区块。
根据本公开的示例性实现，提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令用于执行根据本公开的方法。
根据本公开的示例性实现，提供了一种计算机可读介质。计算机可读介质上存储有机器可执行指令，当机器可执行指令在被至少一个处理器执行时，使得至少一个处理器实现根据本公开方法。
本公开可以是方法、设备、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实现中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实现。

Claims (19)

1.一种用于管理存储系统的方法，所述存储系统中的区块来自与所述存储系统相关联的资源池中的多个存储设备，所述方法包括：
针对所述多个存储设备中的存储设备包括多个区块，获取所述多个区块的各自的使用状态；
基于所述多个区块的各自的使用状态，确定所述多个区块中的各个区块的各自的特征；
获取所述资源池中的存储设备中的区块中的故障与所述区块的特征之间的关联关系；以及
基于所述多个区块的各自的特征和所述关联关系，从所述多个区块中标识将要出现故障的故障区块，
其中所述使用状态包括所述多个区块中的各个区块对于访问请求的响应时间，并且
其中确定所述多个区块中的各个区块的各自的特征包括：针对所述多个区块中的给定区块，
响应于所述区块的响应时间高于预定阈值，确定所述多个区块中的各个区块的各自的特征。
2.根据权利要求1所述的方法，其中所述使用状态进一步包括多个区块中的各个区块的故障标识符以及故障信息；以及
其中确定所述多个区块中的各个区块的各自的特征包括：针对所述给定区块，基于所述给定区块的故障标识符以及故障信息，确定所述给定区块的给定特征。
3.根据权利要求1所述的方法，其中获取所述关联关系包括：
基于一组存储设备中包括的多个区块的特征以及所述一组设备中包括的多个区块中的故障，训练所述关联关系。
4.根据权利要求1所述的方法，其中获取所述多个区块的各自的使用状态包括：
针对所述存储设备执行后台介质扫描以获得所述使用状态。
5.根据权利要求1所述的方法，进一步包括：
将所述故障区块中的数据重建至所述多个存储设备中的所述故障区块以外的空闲区块；以及
基于所述空闲区块的地址来更新所述存储系统的地址映射，所述地址映射描述所述存储系统中的区块与所述资源池中的存储设备中的区块之间的关联关系。
6.根据权利要求5所述的方法，其中将所述故障区块中的数据重建至所述空闲区块包括以下中的至少任一项：
将所述故障区块中的所述数据拷贝至所述空闲区块；以及
基于所述存储系统中的与所述故障区块相关联的其他区块中的数据，将所述故障区块中的所述数据恢复至所述空闲区块。
7.根据权利要求1所述的方法，进一步包括：
响应于接收到从所述资源池中分配存储空间的分配请求，从所述资源池中的所述故障区块以外的空闲区块中选择区块以用于分配。
8.根据权利要求1所述的方法，进一步包括：
响应于所述资源池中的存储设备的数量的改变，基于所述故障区块的位置来针对所述资源池中的存储设备中的数据执行负载平衡。
9.根据权利要求1所述的方法，进一步包括：
周期性地读取所述故障区块中的数据；以及
响应于读取时间的高于预定时间阈值，将所述故障区块中的数据重建至所述多个存储设备中的所述故障区块以外的空闲区块。
10.一种用于管理存储系统的设备，所述存储系统中的区块来自与所述存储系统相关联的资源池中的多个存储设备，所述设备包括：
至少一个处理器；
易失性存储器；以及
与所述至少一个处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被所述至少一个处理器执行时使得所述设备执行动作，所述动作包括：
针对所述多个存储设备中的存储设备包括多个区块，获取所述多个区块的各自的使用状态；
基于所述多个区块的各自的使用状态，确定所述多个区块中的各个区块的各自的特征；
获取所述资源池中的存储设备中的区块中的故障与所述区块的特征之间的关联关系；以及
基于所述多个区块的各自的特征和所述关联关系，从所述多个区块中标识将要出现故障的故障区块，
其中所述使用状态包括所述多个区块中的各个区块对于访问请求的响应时间，并且
其中确定所述多个区块中的各个区块的各自的特征包括：针对所述多个区块中的给定区块，
响应于所述区块的响应时间高于预定阈值，确定所述多个区块中的各个区块的各自的特征。
11.根据权利要求10所述的设备，其中所述使用状态进一步包括多个区块中的各个区块的故障标识符以及故障信息；以及
其中确定所述多个区块中的各个区块的各自的特征包括：针对所述给定区块，基于所述给定区块的故障标识符以及故障信息，确定所述给定区块的给定特征。
12.根据权利要求10所述的设备，其中获取所述关联关系包括：
基于一组存储设备中包括的多个区块的特征以及所述一组设备中包括的多个区块中的故障，训练所述关联关系。
13.根据权利要求10所述的设备，其中获取所述多个区块的各自的使用状态包括：
针对所述存储设备执行后台介质扫描以获得所述使用状态。
14.根据权利要求10所述的设备，其中所述动作进一步包括：
将所述故障区块中的数据重建至所述多个存储设备中的所述故障区块以外的空闲区块；以及
基于所述空闲区块的地址来更新所述存储系统的地址映射，所述地址映射描述所述存储系统中的区块与所述资源池中的存储设备中的区块之间的关联关系。
15.根据权利要求14所述的设备，其中将所述故障区块中的数据重建至所述空闲区块包括以下中的至少任一项：
将所述故障区块中的所述数据拷贝至所述空闲区块；以及
基于所述存储系统中的与所述故障区块相关联的其他区块中的数据，将所述故障区块中的所述数据恢复至所述空闲区块。
16.根据权利要求10所述的设备，其中所述动作进一步包括：
响应于接收到从所述资源池中分配存储空间的分配请求，从所述资源池中的所述故障区块以外的空闲区块中选择区块以用于分配。
17.根据权利要求10所述的设备，其中所述动作进一步包括：
响应于所述资源池中的存储设备的数量的改变，基于所述故障区块的位置来针对所述资源池中的存储设备中的数据执行负载平衡。
18.根据权利要求10所述的设备，其中所述动作进一步包括：
周期性地读取所述故障区块中的数据；以及
响应于读取时间的高于预定时间阈值，将所述故障区块中的数据重建至所述多个存储设备中的所述故障区块以外的空闲区块。
19.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质存储机器可执行指令，所述机器可执行指令在被执行时，使机器实现根据权利要求1-9中的任一项所述的方法。
CN201811261807.5A 2018-10-26 2018-10-26 用于管理存储系统的方法、设备和计算机程序产品 Active CN111104051B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811261807.5A CN111104051B (zh) 2018-10-26 2018-10-26 用于管理存储系统的方法、设备和计算机程序产品
US16/284,562 US11036587B2 (en) 2018-10-26 2019-02-25 Method, apparatus, and computer program product for managing storage system using partial drive failure prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811261807.5A CN111104051B (zh) 2018-10-26 2018-10-26 用于管理存储系统的方法、设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN111104051A CN111104051A (zh) 2020-05-05
CN111104051B true CN111104051B (zh) 2023-08-22

Family

ID=70326752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811261807.5A Active CN111104051B (zh) 2018-10-26 2018-10-26 用于管理存储系统的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11036587B2 (zh)
CN (1) CN111104051B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104047B (zh) * 2018-10-25 2023-08-25 伊姆西Ip控股有限责任公司 管理冗余磁盘阵列的方法、设备和计算机可读存储介质
CN111124263B (zh) * 2018-10-31 2023-10-27 伊姆西Ip控股有限责任公司 用于管理多个盘的方法、电子设备以及计算机程序产品
US11074130B2 (en) * 2019-03-28 2021-07-27 International Business Machines Corporation Reducing rebuild time in a computing storage environment
CN114168064A (zh) 2020-09-10 2022-03-11 伊姆西Ip控股有限责任公司 用于重建存储系统的方法、设备和计算机程序产品
CN115470009B (zh) * 2022-11-15 2023-03-24 浪潮电子信息产业股份有限公司 一种内存资源管理方法、系统、装置及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920167A (zh) * 2017-02-24 2017-07-04 北京航空航天大学 一种基于p2p金融的区块链机制与共识算法
EP3278224A1 (en) * 2016-04-29 2018-02-07 Hewlett-Packard Enterprise Development LP Storage device failure policies

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7434091B1 (en) * 2004-12-07 2008-10-07 Symantec Operating Corporation Flexibly combining mirroring, concatenation and striping in virtual storage devices
CN107515726B (zh) * 2016-06-16 2020-05-19 伊姆西Ip控股有限责任公司 用于管理存储设备的方法和系统
CN107870730B (zh) * 2016-09-23 2020-11-20 伊姆西Ip控股有限责任公司 用于管理存储系统的方法和系统
US10152254B1 (en) * 2017-04-28 2018-12-11 EMC IP Holding Company LLC Distributing mapped raid disk extents when proactively copying from an EOL disk
US10977130B2 (en) * 2018-01-24 2021-04-13 EMC IP Holding Company LLC Method, apparatus and computer program product for managing raid storage in data storage systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3278224A1 (en) * 2016-04-29 2018-02-07 Hewlett-Packard Enterprise Development LP Storage device failure policies
CN106920167A (zh) * 2017-02-24 2017-07-04 北京航空航天大学 一种基于p2p金融的区块链机制与共识算法

Also Published As

Publication number Publication date
US11036587B2 (en) 2021-06-15
CN111104051A (zh) 2020-05-05
US20200133778A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
CN111104051B (zh) 用于管理存储系统的方法、设备和计算机程序产品
US11163472B2 (en) Method and system for managing storage system
US11003556B2 (en) Method, device and computer program product for managing storage system
CN108733314B (zh) 用于独立冗余阵列(raid)重建的方法、设备和计算机可读存储介质
CN109725822B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN110413201B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN111104055B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN110737393B (zh) 数据读取方法、设备和计算机程序产品
CN109725831B (zh) 管理存储系统的方法、系统和计算机可读介质
CN110737390B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN110737391B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN110413208B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN110413198B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN110413203B (zh) 用于管理存储系统的方法、设备和计算机可读介质
CN112148204B (zh) 用于管理独立冗余盘阵列的方法、设备和介质
CN112764661A (zh) 用于管理存储系统的方法、设备和计算机程序产品
US10852982B2 (en) Method, system, and computer program product for managing storage system
CN113552998B (zh) 用于管理存储系统中的条带的方法、设备和程序产品
US10942826B2 (en) Method and device for managing storage system
CN112732168A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN113391945A (zh) 用于存储管理的方法、电子设备以及计算机程序产品
CN111104047B (zh) 管理冗余磁盘阵列的方法、设备和计算机可读存储介质
CN111857542A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN113590378A (zh) 存储管理的方法、设备和计算机程序产品
US11669262B2 (en) Method, device, and product for managing scrubbing operation in storage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant