CN111506450A - 用于数据处理的方法、设备和计算机程序产品 - Google Patents

用于数据处理的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN111506450A
CN111506450A CN201910103572.5A CN201910103572A CN111506450A CN 111506450 A CN111506450 A CN 111506450A CN 201910103572 A CN201910103572 A CN 201910103572A CN 111506450 A CN111506450 A CN 111506450A
Authority
CN
China
Prior art keywords
data
data blocks
error correction
storage unit
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910103572.5A
Other languages
English (en)
Other versions
CN111506450B (zh
Inventor
陈潇
张鹏博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201910103572.5A priority Critical patent/CN111506450B/zh
Priority to US16/457,043 priority patent/US11347418B2/en
Publication of CN111506450A publication Critical patent/CN111506450A/zh
Application granted granted Critical
Publication of CN111506450B publication Critical patent/CN111506450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/1088—Reconstruction on already foreseen single or plurality of spare disks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本公开的实施例涉及用于数据处理的方法、设备和计算机程序产品。该方法包括响应于确定存储第一多个数据块的存储单元损坏，确定与存储单元相关联的多个存储单元。该方法还包括从多个存储单元获取第二多个数据块，第二多个数据块和第一多个数据块是通过对数据应用第一格式的纠错码而生成的。该方法还包括基于第二多个数据块来恢复第一多个数据块。该方法还包括通过向恢复的第一多个数据块应用第二格式的纠错码来生成多个纠错块，第二格式不同于第一格式。通过采用上述方法，使得可以节省输入输出操作并缩短数据块的恢复时间，并且即使在非常差的情况下也可以降低数据丢失的风险。

Description

用于数据处理的方法、设备和计算机程序产品
技术领域
本公开的实施例涉及数据的管理领域，具体地涉及用于处理数据的方法、设备和计算机程序产品
背景技术
随着信息技术的发展，需要存储的数据量变得越来越大。为了将存储这些数据，开发了各种大容量的存储装置。为了提高数据的存储效率和利用率，设计人员开发了各种平台、硬件部件、软件部件来加快数据的处理。
为了保证数据的安全性，存储数据时一般通过对数据进行冗余的方式进行存储。这样的存储方式是便于在部分数据丢失时，可以通过冗余的数据来恢复。最初数据备份时会采用多副本策略，然而这种方式会导致磁盘的利用率比较低。现在，随着纠错码技术的发展，采用纠错码来存储数据被越来越多的用于存储大量的数据。然而，采用纠错码存储数据还存在许多问题需要处理。
发明内容
本公开的实施例提供一种用于处理数据的方法、设备和计算机程序产品。
根据本公开的第一方面，提供了一种用于访问服务的方法。该方法包括响应于确定存储第一多个数据块的存储单元损坏，确定与存储单元相关联的多个存储单元。该方法还包括从多个存储单元获取第二多个数据块，第二多个数据块和第一多个数据块是通过对数据应用第一格式的纠错码而生成的。该方法还包括基于第二多个数据块来恢复第一多个数据块。该方法还包括通过向恢复的第一多个数据块应用第二格式的纠错码来生成多个纠错块，第二格式不同于第一格式。
根据本公开的第二方面，提供了一种用于访问服务的电子设备。该电子设备包括处理器；以及存储器，存储有计算机程序指令，处理器运行存储器中的计算机程序指令控制电子设备执行动作，该动作包括：响应于确定存储第一多个数据块的存储单元损坏，确定与存储单元相关联的多个存储单元；从多个存储单元获取第二多个数据块，第二多个数据块和第一多个数据块是通过对数据应用第一格式的纠错码而生成的；基于第二多个数据块来恢复第一多个数据块；以及通过向恢复的第一多个数据块应用第二格式的纠错码来生成多个纠错块，第二格式不同于第一格式。
根据本公开的第三方面，提供了一种计算机程序产品，该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行本公开的第一方面中的方法的步骤。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1图示了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境100的示意图；
图2图示了根据本公开的实施例的用于处理数据的方法200的流程图；
图3图示了根据本公开的实施例的用于恢复数据和转储数据的方法300的流程图；
图4A-4C图示了根据本公开的实施例的用于处理数据的示意图；
图5图示了适于用来实施本公开内容的实施例的示例设备500的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例，但应当理解，描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
在存储数据时，存储装置会将数据(例如128M)存储在预定的存储空间。为了保证数据的安全性，会对数据应用纠错码。纠错码格式具有两个参数：第一参数k和第二参数m，k表示数据被划分为的数据段的数目，m表示为对划分的k个数据段进行编码时生成的纠错块的数目。为了便于描述，纠错码格式采用k+m的形式表示。
通常，对数据应用纠错码生成数据段和纠错块之后，会将数据段和纠错块存储到多个存储单元上。为了描述方便，将已经存储的数据段和纠错块统称数据块。由于纠错码格式的限制，由纠错码格式生成的数据块中最多只能损坏m个数据块。为了保证在存储单元损坏时能够恢复数据，每个存储单元上最多存储m个数据块。
在传统方案中，当有存储单元损坏时，会利用存储在其他存储单元上的数据段和纠错块来恢复损坏的存储单元上的数据段。由于重新恢复的数据段需要先存储在其他存储单元上，为了保证数据的可恢复性，此时需要对所有的数据段重新计算纠错块。然后再将恢复的数据段和重新计算的纠错块重新写到存储单元中。然而，这些操作会导致大量的输入输出(I/O)操作。由于恢复速度受可用I/O带宽的限制，在I/O负载相对较高。在数据量较大时，数据恢复越慢，数据丢失的风险就越高。
此外，在将恢复的数据段移回新增加的存储单元或重新可用的原来的存储单元的过程中，还需要再对数据的数据段重新计算纠错块进行存储。由于此时也需要较多的I/O操作且需要处理的数据比较多，因此调整纠错码的速度既耗费时间又耗费资源。因此，传统方案中的数据恢复和存储单元恢复过程耗费时间和资源，并且可能增加数据丢失的可能性。
为了解决上述问题，本公开提出了一种用于处理数据的方法。在该方法中，在存储单元故障时，通过利用其他存储单元的数据块来恢复故障存储单元上的数据块。然后仅对恢复的数据块应用第二编码格式进行编码以生成校验块。保需将恢复的数据块和校验块存储在未损坏的存储单元上。当有新的存储单元时，只需要将恢复的数据块从未损坏的存储单元存储到新节点上即可。这样，减少了数据恢复和存储到新节点上的数据的I/O的次数，提高了数据处理的效率和安全性。
下面图1图示了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境100的示意图。
计算环境100中包括管理设备101。管理设备101用于管理存储单元上的数据的装置或部件，例如数据的读、数据的写和数据的编码等。存储单元在存储数据时，会采用纠错码格式对数据进行处理。基于纠错码格式，将要存储的数据划分为多个数据段，然后对数据段应用纠错码编码以生成纠错块。然后，将数据段和纠错块存储在多个的存储单元上。为了便于描述。有时会将数据段和纠错块统称为数据块。由于纠错码格式的限制，在每个存储单元上存储的数据块的数目不超过纠错块的数目。
管理设备101可用于确定存储单元是否损坏。在管理设备101无法获取某一存储单元上的数据时将该存储单元确定为损坏。在一个示例中，与该存储单元相关联的磁盘损坏会导致存储单元损坏。在另一个示例中，与数据块相关联的磁道损坏会导致存储单元损坏。在又一个示例中，由于软件程序导致无法读取存储单元上的数据也可认为是存储单元损坏。上述示例仅是用于说明，而非对本公开的具体限定。本领域技术人员可以基于需要将无法获得存储单元的数据的时确定为存储单元损坏。
在确定存储单元损坏时，管理设备101会基于纠错格式使用存储在其他存储单元上的数据块来恢复损坏的存储单元上的数据块。然后将恢复的数据块存储在其他存储单元上。在有可用的存储单元后，将恢复的数据块存储到新的存储单元中，并删除存储在其他存储单元上的恢复的数据块。
计算环境100还包括与管理设备101相连接的多个存储单元。存储单元为用于存储数据的存储空间，其可以为存储数据的物理存储单元，也可以为逻辑存储单元。在存储单元为逻辑存储单元时，在一个示例中，存储单元可以映射到一个磁盘。在另一个示例中，存储单元映射到多个磁盘。在又一个示例中，存储单元映射到磁道上。上述示例仅是用于说明本公开，而非对本公开的具体限定。本领域技术人员可以基于需要设置存储单元与磁盘或其他特理存储装置之间的映射关系。
在图1中，示出了与管理设备101相连接的存储单元102、存储单元104、存储单元106和存储单元108。上述示例仅是用于说明本公开，而非对本公开的具体限定。本领域技术人员可以基于需要设置与管理设备101相连接的存储单元的数目。
要存储的数据通常被划分为多个数据段，然后对多个数据段应用预定格式的纠错码进行编码以生成纠错块。在图1中的示例中，对要存储的数据采用12+4的纠错码格式。要存储的数据(例如，大小为128M)被划分为12个数据段，生成4个纠错块。上述示例仅是用于说明本公开，而非对本公开的具体限定。本领域技术人员可以基于需要设置任意合适的纠错码格式，例如12+6格式和4+2格式。
采用纠错码格式生成的多个数据段和纠错块存储在多个存储单元上。为了保证数据的可恢复性，每个存储单元上存储的数据段和/或纠错块的数目不能超过纠错块的数目。
存储单元的数目可以基于纠错码格式设置为多个。在一个示例中，纠错码格式为12+4时，存储单元的数目为4的倍数。备选地或附加地，存在4个存储单元。每个存储单元上具有4个数据段和/或纠错块，如图1所示。上述示例仅是用于说明，而非对本公开的具体限定。本领域技术人员可以基于需要设置存储单元的数据目、每个存储单元存储的数据段和/或纠错块的数目。
在图1的示例中，采用12+4格式的纠错码时，12个数据段和4个纠错块分别存储在四个存储单元上：存储单元102中存储有数据段110、数据段112、数据段114和数据段116；存储单元104中存储有数据段118、数据段120、数据段122和数据段124；存储单元106中存储有数据段126、数据段128、数据段130和数据段132；存储单元108中存储有纠错块134、纠错块136、纠错块138和纠错块140。
数据段和纠错块可以以任意合适的方式存储在存储单元上。在一个示例中，多个存储单元中的一部分存储单元用于存储数据段，而另一部分存储单元用于存储纠错块。在另一个示例中，一个存储单元中可以同时存储有数据段和纠错块。上述示例仅是用于说明本公开，而非对本公开的具体限定。
在一个存储单元损坏时，可以通过其他存储单元上存储的数据块来恢复损坏的数据单元上的数据块。如在图1的示例中，如果存储单元106损坏，则可以通过对存储单元102、存储单元104和存储单元108上的数据块采用纠错码解码来恢复存储单元106上的数据块。
管理设备101可以对恢复的数据块应用第二格式的纠错码以生成针对恢复的数据块的纠错码。如图1的所示，恢复的数据块为四个数据块，其可以存储在存储单元102和存储单元104上。此时，可以采用的第二格式4+2的纠错码，对4个数据块进行编码生成2个纠错块。恢复的数据块存储在存储单元102和存储单元104上，生成的2个纠错块存储在存储单元108上。在有新的存储单元加入和原来的存储单元恢复可用时，直接将存储单元102和存储单元104上的数据块存储到可用的存储单元。然后，删除存储单元102和存储单元104上的数据块或纠错块。
上面图1示出了用于处理数据的系统环境100，下面结合图2和图4A-图4B详细描述用于处理数据的方法。应当理解，图2的方法可以由管理设备101执行，也可以由其他适当的设备执行。
在应用第一格式的纠错码对要存储的数据进行编码时，通常将要存储的数据依据第一纠错码格式划分为多个数据段。然后，对多个数据段应用预定格式的纠错码进行编码以生成纠错块。在图4A的示例中，应用12+4的纠错码格式处理128M的数据。要存储的数据被划分为12个数据块。基于12个数据块生成4个纠错块。上述示例仅是用于说明，而非对公开的具体限定。本领域技术人员可以基于需要采用任意合适的纠错码格式，如12+6或4+2。
然后，将数据段和纠错块存储在多个存储单元上。为了保证数据的可恢复性，每个存储单元上存储的数据块的数目不能超过纠错块的数目。例如，在12+4的纠错码格式中，每个存储单元上存储的数据块的数目不能超过4。此时，存储单元的数目为4的倍数。优选地，存储单元的数目为4，如图4A所示。
在一个示例中，数据段和纠错块分别存储在不同的存储单元上。在另一个示例中，数据段和纠错块可以存储在相同的存储单元上。备选地或附加地，数据段和纠错块平均地存储在多个存储单元上。
作为示例，在图4A中，12个数据段平均地存储在三个存储单元上：存储单元402存储数据段410、数据段412、数据段414和数据段416；存储单元404存储数据段418、数据段420、数据段422和数据段424；存储单元406存储数据段426、数据段428、数据段430和数据段432。由12个数据段生成的纠错块434、纠错块436、纠错块438和纠错块440存储在存储单元408中。上述示例仅是用于说明本公开，而非对本公开的具体限定。本领域技术人员可以基于需要设置数据段和纠错块在存储单元上的布置。为了描述方便，有时将采用纠错码的已存储的数据段和纠错块统称为数据块。
在框202，确定存储第一多个数据块的存储单元是否损坏。在一个示例中，与存储单元相对应的磁盘损坏会导致存储单元损坏。在另一个示例中，与存储单元相对应的磁道损坏会导致存储单元损坏。在又一示例中，与管理存储单元相关联的系统无法获得存储单元的数据导致存储单元损坏。上述示例仅是用于说明本公开，而非对本公开的具体限定。任何导致无法获得存储单元上的数据的情况均导致存储单元损坏。
在框204中，确定与存储单元相关联的多个存储单元。由于采用第一格式的纠错码处理的数据存储在不同的存储单元中。在存储单元损坏时，可以获得存储有其他数据块的数据单元。作为一个示例，如图4B所示，在存储单元406损坏时，可以确定其存储单元406相关联的存储单元402、存储单元404和存储单元408。
在框206，从多个存储单元获取第二多个数据块，该第二多个数据块和第一多个数据块是通过对数据应用第一格式的纠错码而生成的。由于相关联的采用纠错码格式的数据块分布在不同的存储单元上，所以可以从相关联的一组存储单元获得其他的数据块。如图4B所示，可以从存储单元402获得数据段410、数据段412、数据段414、数据段416；可以从存储单元404获得数据段418、数据段420、数据段422和数据段424；可以从存储单元408获得纠错块434、纠错块436、纠错块438和纠错块440。
在框208处，基于第二多个数据块来恢复第一多个数据块。由于获得的数据块是通过纠错码格式进行编码的，在恢复过程中，通过对第一多个数据块采用第一格式的纠错码来进行解码以获得恢复的数据块。纠错码解码过程中采用本领域常用的与第一格式的纠错码相应的各种合适的解码方法。
在图4B所示的示例中，由于存储数据块采用了12+4格式的纠错码，所以可以采用与16+4格式的纠错码来对存储单元402、存储单元404和存储单元408的数据块进行解码来恢复存储单元406上的数据块。在该示例中，存储单元402中的数据段444和数据段446和存储单元404上的数据段448和数据段450是恢复的数据段。
在框210处，通过向恢复的第一多个数据块应用第二格式的纠错码来生成多个纠错块，该第二格式不同于第一格式。在获得恢复的数据段后，与传统方案中重新向所有的数据段应用纠错码不同，本公开的仅向所恢复的数据块应用第二格式的纠错码。
在图4B所示的示例中，对恢复的数据段444、数段446、数据段448和数据段450应用4+2的编码格式，来获得两个纠错块452和454。上述示例仅是用于说明本公开，而非对本公开的具体限定。本领域技术人员可以基于需要对恢复的数据块采用任意合适的纠错码。
通过采用上述过程恢复了损坏的存储单元的数据块。通过仅对恢复数据块应用第二纠错码编码格式，使得在进行在存储恢复的数据块和纠错块时减少了写I/O的次数和存储的数据量，提高了数据处理的效率。
附加地或可选地，在一些实施例中，还可以将恢复的第一多个数据块和多个纠错块存储在多个存储单元中。存储在多个存储单元中的存储单元中的数据块和纠错块的数目不超过阈值数目。阈值数目是基于纠错码的格式而确定的。在一个示例中，阈值数目是第一纠错码格式的纠错块的数目和第二纠错码格式的纠错块的数目的和。
如图4B所示的示例中，恢复的数据段444、数据段446、数据段448和数据段450存储在存储单元402和存储单元404上。对这四个数据段采用4+2格式纠错码获得纠错块452和纠错块454。这两个纠错块存储在存储单元408。上述示例仅是用于说明本公开的实施例，而非对本公开的具体限定。
与传统方案中相比，上述实施例以减少恢复损坏数据块所花费的时间，进一步降低此情况下数据丢失的风险。例如，在对12+4格式中的存储单元的数据段恢复后，本公开仅需要存储6个数据块。而采用12+6格式对全部数据段重新编码却需要存储10个数据块，即在当实时存储单元从4个减少到3个时，此解决方案可节省40％的写I/O。
上面图2结合图4A和图4B描述了用于处理数据的过程，下面将结合图3和图4B和图4C描述利用可用存储单元来存储经恢复的数据块的过程。
在框304处，确定是否存在可用存储单元。在一个示例，当更换或增加了新的硬件存储资源，如增加了新的盘。此时，可以获得新的存储单元。在另一个示例，管理存储单元的系统重新启动，可以重新确定损坏的存储单元被恢复。上述示例仅是用于说明本公开，而非对本公开的具体限定。本领域技术人员可以基于需要设置任何合适的获得可用存储单元的方式。
在获得可用存储单元后，在框306处，从多个存储单元获得恢复的第一多个数据块。由于获得了新的存储单元，需要尽快将恢复的数据存储在新的存储单元中，从而使数据有更好的安全性。此外，增加新的存储单元恢复原来的存储方式，还可以降低磁盘的冗余度。
如在图4B中所示，在4个存储单元中的一个存储单元损坏时，数据块存储在了其他三个存储单元中。虽然在三个存储单元中一个再损坏时，还能恢复数据，但是这时安全性已经降低。另外，如图4B所示，3存储单元(12+6)的冗余度为50％，而4存储单元(12+4)的冗余度为33％。为了减少冗余数据的开销以及保证数据的安全性，系统需要添加新存储单元，需要及时的从12+6格式恢复到12+4格式。
在框308处，将恢复的第一多个数据块存储到可用存储单元。在将恢复的数据块存储到新的存储单元时，从该多个存储单元中读取恢复的数据段。将读取的数据段存储在新的存储单元中。然后删除存储多个存储单元中的相应数据段和纠错块。
在图4C所示的示例中，从存储单元402和存储单元404中读取出数据段444、数据段446、数据段448和数据段450。然后将读取的数据段存储在新的存储单元中456中。上述数据段存储在存储单元456中的形成数据段458、数据段460、数据段462和数据段464。然后将存储单元402和存储单元404中的数据段444、数据段446、数据段448和数据段450以及存储单元408中的纠错块452和纠错块454删除。
当恢复到原来的存储单元数目时，本公开的技术方案可以减少I/O操作的数目，降低恢复至原来的数据保护冗余的时间，从而提高空间消耗效率。例如，在12+4的编码格中，传统方案中将读取12个数据段。然后重新计算4个纠错块，然后将重新写4个恢复的数据段和4个重新得到的纠错块。因此，存在12次读I/O操作和8次写I/O操作。如图4B和4C所示，本公开的方案仅需要4个读取数据段的I/O操作以写数据段的4个I/O操作，而且还避免了EC重新计算。由于用于读的I/O操作从12个减少到4个，并且写入I/O操作从8个少到4个。因此，通过该案减少了大量的I/O操作。如针对12+4的编码格式，节省了66.6％的读I/O操作和50％的写I/O操作。
图5示出了可以用来实施本公开内容的实施例的示例设备500的示意性框图。例如，如图1所示的101、102、104、106和108的任一项可以由设备500来实施。如图所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200和300可由处理单元501执行。例如，在一些实施例中，方法200和300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到RAM 503并由CPU 501执行时，可以执行上文描述的方法200和300的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种用于处理数据的方法，所述方法包括：
响应于确定存储第一多个数据块的存储单元损坏，确定与所述存储单元相关联的多个存储单元；
从所述多个存储单元获取第二多个数据块，所述第二多个数据块和所述第一多个数据块是通过对数据应用第一格式的纠错码而生成的；
基于所述第二多个数据块来恢复所述第一多个数据块；以及
通过向恢复的所述第一多个数据块应用第二格式的纠错码来生成多个纠错块，所述第二格式不同于所述第一格式。
2.根据权利要求1所述的方法，还包括：
将恢复的所述第一多个数据块和所述多个纠错块存储在所述多个存储单元中，其中在每个存储单元中存储的数据块和纠错块的总数不超过阈值数目。
3.根据权利要求2所述的方法，还包括：
响应于确定存在可用存储单元，
从所述多个存储单元获得恢复的所述第一多个数据块，以及
将恢复的所述第一多个数据块存储到所述可用存储单元。
4.根据权利要求3所述的方法，还包括：
响应于确定损坏的所述存储单元被恢复或者检测到新的存储单元被添加，确定存在所述可用存储单元。
5.根据权利要求1所述的方法，其中基于所述第二多个数据块来恢复所述第一多个数据块包括：
基于所述第一格式的纠错码，对所述第二多个数据块进行解码以恢复所述第一多个数据块。
6.一种用于处理数据的电子设备，所述电子设备包括：
处理器；以及
存储器，存储有计算机程序指令，处理器运行存储器中的所述计算机程序指令控制所述电子设备执行动作，所述动作包括：
响应于确定存储第一多个数据块的存储单元损坏，确定与所述存储单元相关联的多个存储单元；
从所述多个存储单元获取第二多个数据块，所述第二多个数据块和所述第一多个数据块是通过对数据应用第一格式的纠错码而生成的；
基于所述第二多个数据块来恢复所述第一多个数据块；以及
通过向恢复的所述第一多个数据块应用第二格式的纠错码来生成多个纠错块，所述第二格式不同于所述第一格式。
7.根据权利要求6所述的电子设备，所述动作还包括：
将恢复的所述第一多个数据块和所述多个纠错块存储在所述多个存储单元中，其中在每个存储单元中存储的数据块和纠错块的总数不超过阈值数目。
8.根据权利要求7所述的电子设备，所述动作还包括：
响应于确定存在可用存储单元，
从所述多个存储单元获得恢复的所述第一多个数据块，以及
将恢复的所述第一多个数据块存储到所述可用存储单元。
9.根据权利要求8所述的电子设备，所述动作还包括：
响应于确定损坏的所述存储单元被恢复或者检测到新的存储单元被添加，确定存在所述可用存储单元。
10.根据权利要求6所述的电子设备，其中基于所述第二多个数据块来恢复所述第一多个数据块包括：
基于所述第一格式的纠错码，对所述第二多个数据块进行解码以恢复所述第一多个数据块。
11.一种计算机程序产品，所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至5中任一项所述的方法的步骤。
CN201910103572.5A 2019-01-31 2019-01-31 用于数据处理的方法、设备和计算机程序产品 Active CN111506450B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910103572.5A CN111506450B (zh) 2019-01-31 2019-01-31 用于数据处理的方法、设备和计算机程序产品
US16/457,043 US11347418B2 (en) 2019-01-31 2019-06-28 Method, device and computer program product for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910103572.5A CN111506450B (zh) 2019-01-31 2019-01-31 用于数据处理的方法、设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN111506450A true CN111506450A (zh) 2020-08-07
CN111506450B CN111506450B (zh) 2024-01-02

Family

ID=71837443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910103572.5A Active CN111506450B (zh) 2019-01-31 2019-01-31 用于数据处理的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11347418B2 (zh)
CN (1) CN111506450B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116909804A (zh) * 2023-09-13 2023-10-20 上海云豹创芯智能科技有限公司 一种存储访问控制系统、方法、芯片及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181299B (zh) * 2020-09-25 2022-02-25 杭州宏杉科技股份有限公司 数据修复方法及分布式存储集群

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040153479A1 (en) * 2002-11-14 2004-08-05 Mikesell Paul A. Systems and methods for restriping files in a distributed file system
US8484536B1 (en) * 2010-03-26 2013-07-09 Google Inc. Techniques for data storage, access, and maintenance
US9026729B1 (en) * 2011-11-15 2015-05-05 Emc Corporation Data recovery after triple disk failure
US20170010937A1 (en) * 2015-07-07 2017-01-12 Tidal Systems, Inc. System and method for improved data maintenance in a flash drive
CN107544862A (zh) * 2016-06-29 2018-01-05 中兴通讯股份有限公司 一种基于纠删码的存储数据重构方法和装置、存储节点
CN108170555A (zh) * 2017-12-21 2018-06-15 浙江大华技术股份有限公司 一种数据恢复方法及设备
CN108334419A (zh) * 2017-12-25 2018-07-27 华为技术有限公司 一种数据恢复的方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146524B2 (en) * 2001-08-03 2006-12-05 Isilon Systems, Inc. Systems and methods for providing a distributed file system incorporating a virtual hot spare
US7685126B2 (en) * 2001-08-03 2010-03-23 Isilon Systems, Inc. System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system
EP1547252A4 (en) * 2002-07-29 2011-04-20 Robert Halford MULTIDIMENSIONAL DATA PROTECTION AND MIRRORING METHOD FOR MICROBIAL DATA
US8276043B2 (en) * 2008-03-01 2012-09-25 Kabushiki Kaisha Toshiba Memory system
US8281227B2 (en) * 2009-05-18 2012-10-02 Fusion-10, Inc. Apparatus, system, and method to increase data integrity in a redundant storage system
US8819332B2 (en) * 2010-03-26 2014-08-26 Panasonic Corporation Nonvolatile storage device performing periodic error correction during successive page copy operations
WO2012029095A1 (en) * 2010-09-03 2012-03-08 Hitachi, Ltd. Storage apparatus and control method of storage apparatus
EP2643763B1 (en) * 2010-11-22 2019-09-04 Marvell World Trade Ltd. Sharing access to a memory among clients
WO2016159996A1 (en) * 2015-03-31 2016-10-06 Hewlett Packard Enterprise Development Lp Preventing data corruption and single point of failure in fault-tolerant memory fabrics
US10466913B2 (en) * 2015-04-29 2019-11-05 EMC IP Holding Company LLC Method and system for replicating and using grid level metadata in a storage system
US10185507B1 (en) * 2016-12-20 2019-01-22 Amazon Technologies, Inc. Stateless block store manager volume reconstruction
KR101990329B1 (ko) * 2017-08-10 2019-06-18 주식회사 티맥스데이터 로그 데이터 분석을 이용한 데이터베이스 복구 속도 향상 기법 및 장치
US10540227B2 (en) * 2018-01-03 2020-01-21 Hewlett Packard Enterprise Development Lp Sequential memory access on a high performance computing system
KR102571747B1 (ko) * 2018-04-06 2023-08-29 에스케이하이닉스 주식회사 데이터 저장 장치 및 그것의 동작 방법
US11216196B2 (en) * 2018-05-24 2022-01-04 Quantum Corporation Erasure coding magnetic tapes for minimum latency and adaptive parity protection feedback
US10901848B2 (en) * 2018-08-03 2021-01-26 Western Digital Technologies, Inc. Storage systems with peer data recovery
US10802910B2 (en) * 2018-09-17 2020-10-13 Intel Corporation System for identifying and correcting data errors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040153479A1 (en) * 2002-11-14 2004-08-05 Mikesell Paul A. Systems and methods for restriping files in a distributed file system
US8484536B1 (en) * 2010-03-26 2013-07-09 Google Inc. Techniques for data storage, access, and maintenance
US9026729B1 (en) * 2011-11-15 2015-05-05 Emc Corporation Data recovery after triple disk failure
US20170010937A1 (en) * 2015-07-07 2017-01-12 Tidal Systems, Inc. System and method for improved data maintenance in a flash drive
CN107544862A (zh) * 2016-06-29 2018-01-05 中兴通讯股份有限公司 一种基于纠删码的存储数据重构方法和装置、存储节点
CN108170555A (zh) * 2017-12-21 2018-06-15 浙江大华技术股份有限公司 一种数据恢复方法及设备
CN108334419A (zh) * 2017-12-25 2018-07-27 华为技术有限公司 一种数据恢复的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116909804A (zh) * 2023-09-13 2023-10-20 上海云豹创芯智能科技有限公司 一种存储访问控制系统、方法、芯片及存储介质
CN116909804B (zh) * 2023-09-13 2023-12-01 上海云豹创芯智能科技有限公司 一种存储访问控制系统、方法、芯片及存储介质

Also Published As

Publication number Publication date
US11347418B2 (en) 2022-05-31
CN111506450B (zh) 2024-01-02
US20200249840A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
US11003556B2 (en) Method, device and computer program product for managing storage system
CN109725822B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN108733314B (zh) 用于独立冗余阵列(raid)重建的方法、设备和计算机可读存储介质
US20170277915A1 (en) Data protection enhancement using free space
CN110389858B (zh) 存储设备的故障恢复方法和设备
US10387280B2 (en) Reporting defects in a flash memory back-up system
CN110058787B (zh) 用于写入数据的方法、设备和计算机程序产品
US11210003B2 (en) Method, device and computer program product for restoring data based on replacing child node identifiers with parent node identifier
CN111506450B (zh) 用于数据处理的方法、设备和计算机程序产品
CN113590019A (zh) 用于存储管理的方法、电子设备和计算机程序产品
US11269521B2 (en) Method, device and computer program product for processing disk unavailability states
CN108733307B (zh) 存储管理方法、设备以及计算机可读介质
CN113391945A (zh) 用于存储管理的方法、电子设备以及计算机程序产品
CN113448770A (zh) 用于恢复数据的方法、电子设备和计算机程序产品
CN110413207B (zh) 降低存储系统的数据恢复时间的方法、设备和程序产品
US11561859B2 (en) Method, device and computer program product for managing data
CN114385412A (zh) 存储管理方法、设备和计算机程序产品
CN113641298A (zh) 数据存储方法、设备和计算机程序产品
CN114253460A (zh) 管理存储池的方法、设备和计算机程序产品
CN113590378A (zh) 存储管理的方法、设备和计算机程序产品
US9959180B1 (en) Systems and methods for shipping an I/O operation to prevent replication failure
CN114115697B (zh) 云存储数据处理方法、装置、电子设备和存储介质
CN113377569B (zh) 用于恢复数据的方法、设备和计算机程序产品
JP2014170448A (ja) レプリケーションシステム、業務処理システム、レプリケーション方法、及びプログラム
CN115639945A (zh) 用于扩展存储系统的方法、设备和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant