CN108170555A - 一种数据恢复方法及设备 - Google Patents
一种数据恢复方法及设备 Download PDFInfo
- Publication number
- CN108170555A CN108170555A CN201711395260.3A CN201711395260A CN108170555A CN 108170555 A CN108170555 A CN 108170555A CN 201711395260 A CN201711395260 A CN 201711395260A CN 108170555 A CN108170555 A CN 108170555A
- Authority
- CN
- China
- Prior art keywords
- block
- data
- check
- check block
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据恢复方法及设备,用于提高数据恢复的可靠性及磁盘的容错能力。其中的数据恢复方法包括:对待存储数据进行分割处理,并将分割成的至少一个条带分布在至少一个存储域内;每个条带的数据块和校验块分别分布在不同的存储域;若任一存储域内未形成条带的数据块和校验块满足预设条件,则对任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块;若任一存储域内的坏块的数量不小于校验块的数量,则根据新的至少一个校验块,对坏块进行恢复,坏块包括损坏的数据块和损坏的校验块;其中,若坏块的数量小于校验块的数量,则利用存储域内的未损坏的数据块和校验块对坏块进行恢复。
Description
技术领域
本发明涉及分布式存储技术领域,特别涉及一种数据恢复方法及设备。
背景技术
纠删码(erasure coding,EC)是一种数据保护方法,它将原始数据分割成多个数据块(strip),将这多个数据块通过算法编码生成一个或多个校验块,并将由连续的多个数据块和相关联校验块组成的条带(stripe),存储在不同的存储空间,以实现部分存储空间故障后,数据可重建。例如,请参见图1,D0、D1、D2、D3、D4、D5为数据块,P0、P1、P2为通过算法计算而得到的校验块,组成一个纠删码存储组(n+m,n=6,m=3)。图1中所示,一行9个strip(数据块和校验块)组成一个stripe(条带),这个stripe中损坏strip的数量小于等于3个,即m的值,都可以通过n个数据块和校验块结合算法还原出损坏的strip。例如D0损坏,则通过剩余的8个数据块中的6个通过算法计算而还原出D0。比如读取D1、D2、D3、D4、D5、P0,重建D0(一般P0是由D0、D1、D2、D3、D4、D5通过异或计算得到,根据算法可恢复D0)。
一般而言,在分布式存储系统中,为保障在部分分布式存储节点故障时,存储业务不受影响,需要将各个数据块分布到网络中不同的主机上。这意味着在某主机上重建一个数据块,需要从网络上的其他主机读取多个关联数据块。例如在A主机重建D0时,需要通过网络从其他主机上读取D1、D2、D3、D4、D5、P0。一个n+m纠删码存储组,能够容忍m个错误,即检验块的总数量,m值越大,纠删码计算量越大,且呈指数上升,所以一般不会有m大于4的情况。
纠删码的可靠性高,数据容易恢复。现有技术中,通常通过提高数据恢复速度,来减小节点故障的几率,从而提高纠删码的可靠性。即若有节点发生故障,就较快地恢复该节点的数据,尽量在下一个节点发生故障之前,将上一个发生故障的节点的数据恢复,从而减小节点故障的几率。或者,现有技术可以通过降低磁盘利用率换取更高的可靠性,例如以n+m和副本混合的方案存储数据。其中,副本指包括n个数据块存储在一个存储单元,n+m和副本混合的方案,是指存储系统中至少存储一个未经纠删码编码的原始数据块,以及一组将原始数据块经过纠删码编码形成的n+m存储组。这种方案可以在n+m数据块损坏时,通过副本进行快速重建。如图1所示,在没有副本的情况下,任意一个strip损坏,都需要从网络上读取6倍的数据量,进行数据的恢复。如果在存储系统中另外存在单独存储一份副本(包括D0、D1、D2、D3、D4、D5),则任意一个strip,甚至多个strip的恢复,都可以通过此副本在副本所在节点内完成,即在节点内即可计算出P0、P1、P2的值。
由于提高数据恢复速度受到来自于网络的,硬件的,软件的各种因素的制约,因此,提高数据恢复速度的应用场景相当有限。
一个n+m的纠删码存储组,存储空间利用率为n/(n+m)。而n+m和副本的混合存储,尽管提高了数据恢复速度,但增加了数据冗余,磁盘容错能力上并没有提高很多。磁盘容错能力可以用容许发生故障的节点数量来表征,数量越大,容错能力越高。例如最优的数据块分布情况是n+m和副本,分布在n+m+1个不同节点的磁盘中,那么存储系统中任意的m+2个磁盘故障,就有可能导致数据损坏,而磁盘利用率仅为n/(2n+m),即在磁盘利用率降低的情况下,磁盘的容错能力的提高并没有达到预期效果。
发明内容
本发明实施例提供一种数据恢复方法及设备,用于提高数据恢复的可靠性及磁盘的容错能力。
第一方面,提供了一种数据恢复方法,该数据恢复方法包括:
对待存储数据进行分割处理,并将分割成的至少一个条带分布在至少一个存储域内;其中,每个条带包括n个数据块和m个校验块,每个条带的数据块和校验块分别分布在不同的存储域;n、m均为正整数;
若任一存储域内未形成条带的数据块和校验块满足预设条件,则对所述任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块;其中,所述未形成条带的数据块和校验块及所述新的至少一个校验块形成新的条带;
若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块,对所述坏块进行恢复,所述坏块包括损坏的数据块和损坏的校验块;其中,若坏块的数量小于校验块的数量,则利用所述存储域内的未损坏的数据块和校验块对所述坏块进行恢复。
可选的,若任一存储域内未形成条带的数据块和校验块满足预设条件,则对所述任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块,包括:
根据每个存储域的物理资源确定与所述每个存储域相匹配的数据块的数量i和校验块的数量j;i、j均为正整数;
若所述每个存储域内未组成条带的数据块和校验块的总数目达到所述i时,则根据纠删码算法对所述每个存储域内的数据块和校验块一起进行编码,生成新的j个校验块。
可选的,在生成新的j个校验块之后,还包括:
将所述新的j个校验块存储在所述每个存储域内的j个存储单元,其中,所述j个存储单元是独立于已存储数据块或校验块的存储单元,一个存储单元存储一个校验块。
可选的,所述n个数据块的数据属于同一个文件。
可选的,若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块,对所述坏块进行恢复,包括:
若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块在所述任一存储域内,对所述坏块进行恢复;
若所述坏块不能恢复,则根据所述新的至少一个校验块在独立于所述任一存储域的其他存储域内恢复所述坏块中一个或多个数据块和校验块;
根据所述新的至少一个校验块,及恢复后的一个或多个数据块和校验块在所述任一存储域,对所述坏块进行恢复。
第二方面,提供了一种数据恢复设备,该数据恢复设备包括:
分割单元,用于对待存储数据进行分割处理,并将分割成的至少一个条带分布在至少一个存储域内;其中,每个条带包括n个数据块和m个校验块,每个条带的数据块和校验块分别分布在不同的存储域;n、m均为正整数;
生成单元,用于若任一存储域内未形成条带的数据块和校验块满足预设条件,则对所述任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块;其中,所述未形成条带的数据块和校验块及所述新的至少一个校验块形成新的条带;
恢复单元,用于若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块,对所述坏块进行恢复,所述坏块包括损坏的数据块和损坏的校验块;其中,若坏块的数量小于校验块的数量,则利用所述存储域内的未损坏的数据块和校验块对所述坏块进行恢复。
可选的,所述生成单元具体用于:
根据每个存储域的物理资源确定与所述每个存储域相匹配的数据块的数量i和校验块的数量j;i、j均为正整数;
若所述每个存储域内未组成条带的数据块和校验块的总数目达到所述i时,则根据纠删码算法对所述每个存储域内的数据块和校验块一起进行编码,生成新的j个校验块。
可选的,所述生成单元还用于:
将所述新的j个校验块存储在所述每个存储域内的j个存储单元,其中,所述j个存储单元是独立于已存储数据块或校验块的存储单元,一个存储单元存储一个校验块。
可选的,所述n个数据块的数据属于同一个文件。
可选的,所述恢复单元具体用于:
若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块在所述任一存储域内,对所述坏块进行恢复;
若所述坏块不能恢复,则根据所述新的至少一个校验块在独立于所述任一存储域的其他存储域内恢复所述坏块中一个或多个数据块和校验块;
根据所述新的至少一个校验块,及恢复后的一个或多个数据块和校验块在所述任一存储域,对所述坏块进行恢复。
第三方面,提供一种数据恢复设备,该数据恢复设备包括:
至少一个处理器,以及
与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面任一项所述的方法。
第四方面,提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
本发明实施例中,待存储数据分割成每个条带的数据块和校验块分布在不同的存储域,如果任一存储域内未形成条带的数据块和校验块满足预设条件,则对任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块。由于任一存储域内的损坏的数据块和校验块的数量不小于校验块的数量时,仅通过存储域内原始的未损坏的数据块和校验块是恢复不了的。而本发明实施例中,在这种情况下,可以通过新的至少一个校验块,对损坏的数据块和校验块进行恢复,从而提高了数据恢复的可靠性。而且本发明实施例中,存储域内允许损坏的数据块和校验块即坏块的数量可以大于校验块的数量,即提高了存储域的容错能力。
附图说明
图1是现有技术中提供的磁盘存储结构的示意图;
图2为本发明实施例提供的系统架构的结构示意图;
图3为本发明实施例提供的数据恢复方法的流程图;
图4为本发明实施例提供的存储域的一种结构示意图;
图5为本发明实施例提供的存储域内生成新的校验块的一种结构示意图;
图6为本发明实施例提供的数据恢复设备的一种结构示意图;
图7为本发明实施例提供的数据恢复设备的一种结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
现有技术中,提高数据恢复可靠性的方法,要么增加了数据冗余,磁盘容错能力上并没有提高很多,要么降低了磁盘空间的利用率。
鉴于此,本发明实施例提供了一种数据恢复方法及设备,在本发明实施例中,待存储数据分割成每个条带的数据块和校验块分别分布在不同的存储域,如果任一存储域内未形成条带的数据块和校验块满足预设条件,则对任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块。由于任一存储域内的损坏的数据块和校验块的数量不小于校验块的数量时,仅通过存储域内原始的未损坏的数据块和校验块是恢复不了的。而本发明实施例中,在这种情况下,可以通过新的至少一个校验块,对损坏的数据块和校验块进行恢复,从而提高了数据恢复的可靠性。而且本发明实施例中,存储域内允许损坏的数据块和校验块即坏块的数量可以大于校验块的数量,即提高了存储域的容错能力。
请参见图2,首先介绍本发明实施例的一种系统架构,该系统架构至少包括两部分,分别为数据读写驱动和磁盘存储服务,其中数据读写驱动可以通过客户端实现,磁盘存储服务可以是多个以分布式分布在网络中,可以通过服务器实现,用于管理数据。客户端用于对待存储的数据进行分割处理,并分发至磁盘存储节点。服务器则管理存储的数据,将存储的数据发送给客户端。
下面结合说明书附图介绍本发明实施例提供的技术方案。
请参见图3,本发明实施例提供一种数据恢复方法,该方法可以应用于图2所示的系统中,该方法可以由客户端执行,该方法的流程描述如下:
S301:对待存储数据进行分割处理,并将分割成的至少一个条带分布在至少一个存储域内;其中,每个条带包括n个数据块和m个校验块,每个条带的数据块和校验块分别分布在不同的存储域;n、m均为正整数;
S302:若任一存储域内未形成条带的数据块和校验块满足预设条件,则对任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块;其中,未形成条带的数据块和校验块及新的至少一个校验块形成新的条带;
S303:若任一存储域内的坏块的数量不小于校验块的数量,则根据新的至少一个校验块,对坏块进行恢复,坏块包括损坏的数据块和校验块;其中,若坏块的数量小于校验块的数量,则利用存储域内的未损坏的数据块和校验块对坏块进行恢复。
在分布式存储系统中,通常将待存储的数据分割成多个部分,每个部分存储在不同的存储空间,以实现部分存储空间发生故障后,可以通过纠删码这种数据保护方法实现数据恢复。本发明实施例中,如果外部的设备需要存储数据,则外部的设备可以将待存储的数据发送给客户端,客户端可以对接收的待存储数据进行分割处理。
具体地,客户端可以根据待存储数据的数据量,从存储系统中确定与待存储数据的数据量相匹配的条带。存储系统中包括有多个不同条带深度的条带。每个条带均包括n个数据块和m个校验块,其中,m个校验块是基于n个数据块根据纠删码算法生成的,n、m均为正整数。在同一个条带中数据块和/或校验块的大小均是相同的。但是各个条带的条带深度是不同的。条带深度为磁盘的最小数据io(in/out,输入输出)单元。例如,以n=4,m=2为例,有两个条带,这两个条带的数据块的数量相同、校验块的数量也相同,但是这两个条带的任一数据块的数据量不同,则条带深度不同。
客户端将待存储数据分割成至少一个条带后,将至少一个条带分别存储在各个存储单元。现有技术中,为了提高恢复数据的可靠性,客户端在对待存储数据进行分割时,可以选择较小的n,这是因为n越小,也就是存储数据块的存储单元节点就越少,这就使得遇到故障的存储单元节点的概率要小一些,从而在存储单元节点发生故障时,比较容易恢复数据。或者,客户端也可以选择较大的m,m表示同时可以容忍发生故障的存储单元节点的数量,较大的m则表示可以容忍更多存储单元节点同时故障,降低数据丢失风险。但是较大的m在恢复数据时,计算量也较大。
本发明实施例中,客户端可以将分割成的至少一个条带分布在至少一个存储域内。存储域是指网络上物理位置相同或相近的一组具有存储能力的硬件,比如多块磁盘所在的同一个网络节点,或多个存储节点所在的同一个集群机架。若一个存储域故障,例如整个机架或机房停电,或对外的关键网络节点故障,则这个存储域内的所有磁盘或存储节点都不可访问。一个存储域可以包括至少一个存储单元,多个存储单元又可以形成一个存储单元组。客户端将至少一个条带分布在至少一个存储域内,其实是将至少一个条带包括的数据块和校验块分布在至少一个存储域包括的至少一个存储单元。且存储域的数据量与数据块和校验块的数量相同,以保证在任意不超过m个存储域发生故障后,数据都可以被恢复。
为了便于理解,请参见图4,图4为本发明实施例提供的存储域的一种结构示意图。下面以图4为例,介绍客户端如何存储分割后的待存储数据。客户端将待存储的数据分割成至少一个条带,每个条带包括n个数据块和m个校验块,分别存储在如图4所述的n+m个存储域,其中,每个存储域包括至少一个存储单元,一个存储单元存储一个数据块或校验块。在存储时,本发明实施例并没有在磁盘的io(in/out,输入输出)流程上增加额外的io操作。不会带来io延迟的增加,性能的下降。图4为了便于理解,对至少一个存储单元进行了分组,在图4中以一个存储域包括多个存储单元组,每个存储单元组又包括至少一个存储单元进行示意。
在本发明实施例中,如果任意一个存储域内未形成条带的数据块和校验块满足预设条件,则可以对该存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块。其中,未形成条带的数据块和校验块及新的至少一个校验块形成新的条带。具体地,客户端可以根据每个存储域的物理资源确定与每个存储域相匹配的数据块的数量i和校验块的数量j,i、j均为正整数。如果每个存储域内未形成条带的数据块和校验块的总数目量达到i时,则根据纠删码算法对每个存储域内的数据块和校验块一起进行编码,生成新的j个校验块。客户端可以将新的j个校验块存储在每个存储域内的j个存储单元,其中,j个存储单元是独立于已存储数据块或校验块的存储单元,一个存储单元存储一个校验块。
如果多个存储域内的未形成条带的数据块和校验块都满足预设条件,则这多个存储域采用异步方式各自生成新的校验块,将生成的校验块分散到各个存储域内原数据块所在存储单元之外的存储单元上。为了便于理解,请参见图5,图5为本发明实施例提供的存储域内生成新的校验块的一种结构示意图。下面以图5为例,介绍存储域内如何生成新的校验块并存储生成的新的校验块。
在图5中,数据块D1、D2、D3、P1形成一个3+1的纠删码组a,也称为条带,最多能够容忍一个数据块损坏,即校验块P1的数量。D1、D2、D3、P1在磁盘存储服务的调度下,分布在存储域1、存储域2、存储域3、存储域4的节点上,标记为存储单元1,即D1分布在存储域1的存储单元1上,D2分布在存储域2的存储单元1上,D3分布在存储域3的存储单元1上,P1分布在存储域4的存储单元1上。同样的,数据块D4、D5、D6、P2形成一个3+1的纠删码组b,分布在存储域1存储单元2、存储域2存储单元2、存储域4存储单元2、存储域3存储单元2上。数据块D7、P3、D8、D9形成一个3+1的纠删码组c,分布在存储域1存储单元3、存储域2存储单元3、存储域3存储单元3、存储域4存储单元3上。客户端或磁盘存储服务检测到组a、组b、组c的分布符合一个域内多个数据块大小相同或相近,且分布在不同的存储单元上,就可以触发域内重新计算纠删码,形成基于域内数据块的校验块,重新形成一个条带。例如,基于存储域1的分布在存储单元1的D1、存储单元2的D4、存储单元3的D7计算得到校验块P'1,将P'1存储在存储域1内独立于存储单元1-3的存储单元4上。
那么在图5中,有效数据为D1~D9,校验块为P1~P3、P'1~P'4,磁盘利用率为n*n/((n+m)(n+m))=9/16(n=3,m=1)。而任意不大于(m+1)(m+1)-1=3个存储单元故障,都可以基于如图5所示的存储结构进行数据恢复,即磁盘的容错能力对应(m+1)(m+1)-1。而现有技术中,纠删码n+m和副本的混合存储,分布在n+m+1个不同节点的磁盘中,磁盘利用率仅为n/(2n+m),而本发明实施例中,磁盘利用率为n*n/((n+m)(n+m)),可见,本发明实施例提供的技术方案相较于现有技术明显提高了磁盘利用率。且现有技术中,最多允许m+1个磁盘故障,否则数据就恢复不出来,即现有技术中,磁盘的容错能力对应m+1。可见,本发明实施例提供的技术方案相较于现有技术明显提高了磁盘的容错能力。
在存储数据时具体在每组写入数据时,组a、组b、组c、组d可以属于一个文件或不同文件。各个存储域内重新生成校验块,和其他存储域之间没有关联关系,即存储域1参与形成的P'1的数据块,可以不来源于组a、组b、组c、组d,而仅仅是域内有足够的分布在域内不同存储单元的数据块。为了便于文件生命周期管理,D1~D9同属于一个文件最好,这样就可以同时删除。否则当一个文件的部分有用,部分无用可以删除时,是无法删除的,若删除无用的,有用的部分也将不可以使用。这样就浪费了存储空间。当然组a、组b、组c可以分别属于多个不同的文件。
本发明实施例中,在恢复数据时,如果任意一个存储域内的坏块的数量不小于校验块的数量,则根据新的至少一个校验块在这个存储域内,对坏块进行恢复。坏块包括损坏的数据块和损坏的校验块。如果坏块不能恢复,则根据新的至少一个校验块在独立于这个存储域的其他存储域内恢复坏块中一个或多个数据块和校验块,再根据新的至少一个校验块,及恢复后的一个或多个数据块和校验块在这个存储域,对坏块进行恢复。
具体地,对一个损坏的数据块,优先在该损坏的数据块所在的存储域内对该损坏的数据块进行恢复,如果恢复不了,则可以在该损坏的数据块所在的存储域内及其他的存储域内该损坏的数据块进行恢复。请继续参见图5,如果存储域2内同时D5和P3损坏,那么在存储域2内同时损坏了2个块,而存储域2校验块P3的数量为1,即最多允许损坏1个块,这就使得在存储域2内通过D2和P'2是无法恢复出D5。此时,可以通过存储域1或存储域3内的数据块和校验块先恢复出P3,再在存储域2内通过P'2、D2和P3恢复出D5。
另外,在数据恢复时,本发明实施例可以综合考虑跨多存储域的数据恢复和存储域内数据恢复,以实现高速数据恢复。一般而言,存储域内的存储单元间io吞吐性能较高和延迟较小,网络影响小于存储域间的延迟。例如一个存储域由连接在同一交换机下,部署在一个机架内的多个存储节点组成,而上级网络交换机将多个存储域再连接在一起,显然一个交换机下节点间有更好的io吞吐性能,较小的延迟,网络流量也限于本交换机下,而不会冲击到整个网络。所以,在存储域内具备数据恢复能力时,即n+m纠删码组损坏块不大于m时,可以优先在存储域内进行数据恢复。同时,如果知晓存储域间数据块组成纠删码组的信息,可以评估存储域间纠删码组的负载情况,让部分存储域间数据块参与数据恢复。在数据损坏比较严重的情况下,可以联合多个存储域内的数据块和损坏数据块所在存储域内的数据块,实现较多数据块损坏时的数据恢复,以提高数据恢复的速度。
本发明实施中的数据存储结构,在文件删除时,可以先对数据块进行标记,而不直接删除组a或b或c内形成文件的数据块,只有在各个存储域内关联数据块所在文件删除量大于某个阈值,例如关联的文件完全删除时,才将相关的数据块一并删除,实现存储空间的回收利用。
本发明实施例可以实现文件的多组纠删码组,如图5中的组a-组d,多组纠删码分布在不同的多个存储域内,即每个存储域内都有同个文件相同个数的数据块,这几个数据块分布在存储域内不同的存储单元上。在各个存储域内通过异步计算重新生成各个存储域内的纠删码即校验块。这样,整个相关联的纠删码组属于同一个文件,拥有相同的生命周期。
另外,本发明实施例可以适用于视频监控系统中的录像存储,多个码流大小相近的通道同时进行数据存储时,采用相同的条带深度和条带宽度情况下,各个存储单元上的数据块大小相近,可以很好的进行异步校验块的计算,以实现较高的磁盘利用率,提高数据恢复的可靠性。同时各通道录像的存储周期相近,也便于数据的删除回收。较优的,视频监控录像文件较大,可以在一个文件内实现本方案。
综上所述,本发明实施例提供的数据恢复方法在保证存储域间数据块分布的容错能力不削弱的情况下,通过存储域内多个不同存储单元间的数据块重新生成校验块用于后续数据的恢复。增大了数据块损坏的数量,即显著提高容错能力。
本发明实施例提供的数据恢复方法,在各个存储域内通过异步机制实现存储域内校验块的生成,保证了数据写入IO的高性能和低延迟,确保了数据写入的可靠性不受影响。且由于新增加了校验块,实现了在部分提高数据冗余度的前提下,提高数据恢复的可靠性。在磁盘利用率为n*i/((i+j)*(n+m)时,如图4所示,存储域间纠删码采用n+m,存储域内采用i+j,现有技术中磁盘利用率为n/2n+m,从而提高了磁盘的利用率。且允许(m+1)(j+1)-1个存储单元发生故障,现有技术中,允许坏m个存储单元,提高了磁盘的容错能力。
本发明实施例提供的数据恢复方法,在存储单元发生故障时,可以通过存储域内数据恢复,结合存储域间数据恢复,进一步提高了数据可靠性。
下面结合说明书附图介绍本发明实施例提供的设备。
请参见图6,基于同一发明构思,本发明一实施例提供了一种数据恢复设备,该数据恢复设备可以包括分割单元601、生成单元602和恢复单元603。具体:
分割单元601,用于对待存储数据进行分割处理,并将分割成的至少一个条带分布在至少一个存储域内;其中,每个条带包括n个数据块和m个校验块,每个条带的数据块和校验块分别分布在不同的存储域;n、m均为正整数。
可选的,n个数据块的数据属于同一个文件。
生成单元602,用于若任一存储域内未形成条带的数据块和校验块满足预设条件,则对任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块;其中,未形成条带的数据块和校验块及新的至少一个校验块形成新的条带。
恢复单元603,用于若任一存储域内的坏块的数量不小于校验块的数量,则根据新的至少一个校验块,对坏块进行恢复,坏块包括损坏的数据块和校验块;其中,若坏块的数量小于校验块的数量,则利用存储域内的未损坏的数据块和校验块对坏块进行恢复。
可选的,生成单元602具体用于:
根据每个存储域的物理资源确定与每个存储域相匹配的数据块的数量i和校验块的数量j;i、j均为正整数;
若每个存储域内未组成条带的数据块和校验块的总数目达到i时,则根据纠删码算法对每个存储域内的数据块和校验块一起进行编码,生成新的j个校验块。
可选的,生成单元602还用于:
将新的j个校验块存储在每个存储域内的j个存储单元,其中,j个存储单元是独立于已存储数据块或校验块的存储单元,一个存储单元存储一个校验块。
可选的,恢复单元603具体用于:
若任一存储域内的损坏的数据块和校验块的数量不小于校验块的数量,则根据新的至少一个校验块在任一存储域内,对损坏的数据块和校验块进行恢复;
若损坏的数据块和校验块不能恢复,则根据新的至少一个校验块在独立于任一存储域的其他存储域内恢复损坏的数据块和校验块中的一个或多个坏块;
根据新的至少一个校验块,及恢复后的坏块在任一存储域,对损坏的数据块和校验块进行恢复。
请参见图7,基于同一发明构思,本发明一实施例提供一种数据恢复设备,该数据恢复设备可以是客户端,该数据恢复设备可以包括:至少一个处理器701,处理器701用于执行存储器中存储的计算机程序时实现本发明实施例提供的如图3所示的数据恢复方法的步骤。
可选的,处理器701具体可以是中央处理器、特定应用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC),可以是一个或多个用于控制程序执行的集成电路。
可选的,该数据恢复设备还包括与至少一个处理器连接的存储器702,存储器702可以包括只读存储器(英文:Read Only Memory,简称:ROM)、随机存取存储器(英文:RandomAccess Memory,简称:RAM)和磁盘存储器。存储器702用于存储处理器701运行时所需的数据,即存储有可被至少一个处理器701执行的指令,至少一个处理器701通过执行存储器702存储的指令,执行如图3所示的方法。其中,存储器702的数量为一个或多个。其中,存储器702在图7中一并示出,但需要知道的是存储器702不是必选的功能模块,因此在图7中以虚线示出。
其中,分割单元601、生成单元602和恢复单元603所对应的实体设备均可以是前述的处理器701。该数据恢复设备可以用于执行图3所示的实施例所提供的方法。因此关于该设备中各功能模块所能够实现的功能,可参考图3所示的实施例中的相应描述,不多赘述。
本发明实施例还提供一种计算机存储介质,其中,计算机存储介质存储有计算机指令,当计算机指令在计算机上运行时,使得计算机执行如图3所述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:通用串行总线闪存盘(Universal Serial Bus flash disk)、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种数据恢复方法,其特征在于,包括:
对待存储数据进行分割处理,并将分割成的至少一个条带分布在至少一个存储域内;其中,每个条带包括n个数据块和m个校验块,每个条带的数据块和校验块分别分布在不同的存储域;n、m均为正整数;
若任一存储域内未形成条带的数据块和校验块满足预设条件,则对所述任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块;其中,所述未形成条带的数据块和校验块及所述新的至少一个校验块形成新的条带;
若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块,对所述坏块进行恢复,所述坏块包括损坏的数据块和损坏的校验块;其中,若坏块的数量小于校验块的数量,则利用所述存储域内的未损坏的数据块和校验块对所述坏块进行恢复。
2.如权利要求1所述的方法,其特征在于,若任一存储域内未形成条带的数据块和校验块满足预设条件,则对所述任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块,包括:
根据每个存储域的物理资源确定与所述每个存储域相匹配的数据块的数量i和校验块的数量j;i、j均为正整数;
若所述每个存储域内未组成条带的数据块和校验块的总数目达到所述i时,则根据纠删码算法对所述每个存储域内的数据块和校验块一起进行编码,生成新的j个校验块。
3.如权利要求2所述的方法,其特征在于,在生成新的j个校验块之后,还包括:
将所述新的j个校验块存储在所述每个存储域内的j个存储单元,其中,所述j个存储单元是独立于已存储数据块或校验块的存储单元,一个存储单元存储一个校验块。
4.如权利要求1-3任一所述的方法,其特征在于,所述n个数据块的数据属于同一个文件。
5.如权利要求4所述的方法,其特征在于,若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块,对所述坏块进行恢复,包括:
若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块在所述任一存储域内,对所述坏块进行恢复;
若所述坏块不能恢复,则根据所述新的至少一个校验块在独立于所述任一存储域的其他存储域内恢复所述坏块中一个或多个数据块和校验块;
根据所述新的至少一个校验块,及恢复后的一个或多个数据块和校验块在所述任一存储域,对所述坏块进行恢复。
6.一种数据恢复设备,其特征在于,包括:
分割单元,用于对待存储数据进行分割处理,并将分割成的至少一个条带分布在至少一个存储域内;其中,每个条带包括n个数据块和m个校验块,每个条带的数据块和校验块分别分布在不同的存储域;n、m均为正整数;
生成单元,用于若任一存储域内未形成条带的数据块和校验块满足预设条件,则对所述任一存储域内未形成条带的数据块和校验块一起进行编码,生成新的至少一个校验块;其中,所述未形成条带的数据块和校验块及所述新的至少一个校验块形成新的条带;
恢复单元,用于若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块,对所述坏块进行恢复,所述坏块包括损坏的数据块和损坏的校验块;其中,若坏块的数量小于校验块的数量,则利用所述存储域内的未损坏的数据块和校验块对所述坏块进行恢复。
7.如权利要求6所述的设备,其特征在于,所述生成单元具体用于:
根据每个存储域的物理资源确定与所述每个存储域相匹配的数据块的数量i和校验块的数量j;i、j均为正整数;
若所述每个存储域内未组成条带的数据块和校验块的总数目达到所述i时,则根据纠删码算法对所述每个存储域内的数据块和校验块一起进行编码,生成新的j个校验块。
8.如权利要求7所述的设备,其特征在于,所述生成单元还用于:
将所述新的j个校验块存储在所述每个存储域内的j个存储单元,其中,所述j个存储单元是独立于已存储数据块或校验块的存储单元,一个存储单元存储一个校验块。
9.如权利要求6-8任一所述的设备,其特征在于,所述n个数据块的数据属于同一个文件。
10.如权利要求9所述的设备,其特征在于,所述恢复单元具体用于:
若任一存储域内的坏块的数量不小于校验块的数量,则根据所述新的至少一个校验块在所述任一存储域内,对所述坏块进行恢复;
若所述坏块不能恢复,则根据所述新的至少一个校验块在独立于所述任一存储域的其他存储域内恢复所述坏块中一个或多个数据块和校验块;
根据所述新的至少一个校验块,及恢复后的一个或多个数据块和校验块在所述任一存储域,对所述坏块进行恢复。
11.一种数据恢复设备,其特征在于,包括:
至少一个处理器,以及
与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-5任一项所述的方法。
12.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711395260.3A CN108170555B (zh) | 2017-12-21 | 2017-12-21 | 一种数据恢复方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711395260.3A CN108170555B (zh) | 2017-12-21 | 2017-12-21 | 一种数据恢复方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108170555A true CN108170555A (zh) | 2018-06-15 |
CN108170555B CN108170555B (zh) | 2021-07-20 |
Family
ID=62523093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711395260.3A Active CN108170555B (zh) | 2017-12-21 | 2017-12-21 | 一种数据恢复方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108170555B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110190926A (zh) * | 2019-04-26 | 2019-08-30 | 华中科技大学 | 基于网络计算的纠删码修复方法、纠删码更新方法及系统 |
CN110502365A (zh) * | 2019-07-11 | 2019-11-26 | 平安科技(深圳)有限公司 | 数据存储及恢复的方法、装置及计算机设备 |
CN110795269A (zh) * | 2018-08-03 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 一种数据恢复验证方法、装置及设备 |
CN110895497A (zh) * | 2019-12-09 | 2020-03-20 | 成都信息工程大学 | 一种分布式存储中降低纠删码修复的方法及装置 |
CN111045853A (zh) * | 2019-10-29 | 2020-04-21 | 烽火通信科技股份有限公司 | 一种提高纠删码恢复速度的方法、装置及后台服务器 |
CN111273862A (zh) * | 2020-01-16 | 2020-06-12 | 上海依图网络科技有限公司 | 数据存储方法及其装置、可读介质和系统 |
CN111382007A (zh) * | 2018-12-28 | 2020-07-07 | 深圳市茁壮网络股份有限公司 | 一种数据恢复方法、装置及电子设备 |
CN111400083A (zh) * | 2020-03-17 | 2020-07-10 | 上海七牛信息技术有限公司 | 数据存储方法及系统、存储介质 |
CN111399761A (zh) * | 2019-11-19 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 存储资源分配方法、装置及设备、存储介质 |
CN111506450A (zh) * | 2019-01-31 | 2020-08-07 | 伊姆西Ip控股有限责任公司 | 用于数据处理的方法、设备和计算机程序产品 |
CN113760186A (zh) * | 2019-07-30 | 2021-12-07 | 华为技术有限公司 | 数据存储方法、装置、计算设备、存储系统及存储介质 |
CN114281270A (zh) * | 2022-03-03 | 2022-04-05 | 山东云海国创云计算装备产业创新中心有限公司 | 一种数据存储方法、系统、设备以及介质 |
CN114691414A (zh) * | 2022-03-24 | 2022-07-01 | 阿里巴巴(中国)有限公司 | 一种校验块生成方法及一种数据恢复方法 |
WO2022174537A1 (zh) * | 2021-02-20 | 2022-08-25 | 华中科技大学 | 一种条带数据存储结构及其构建、修复和更新方法 |
WO2023138289A1 (zh) * | 2022-01-18 | 2023-07-27 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
CN116501262A (zh) * | 2023-06-19 | 2023-07-28 | 新华三信息技术有限公司 | 一种数据存储方法、装置、电子设备及存储介质 |
WO2023246240A1 (zh) * | 2022-06-20 | 2023-12-28 | 华为技术有限公司 | 一种数据重构方法及装置 |
WO2024040919A1 (zh) * | 2022-08-24 | 2024-02-29 | 华为技术有限公司 | 一种数据修复方法及存储设备 |
WO2024212602A1 (zh) * | 2023-12-14 | 2024-10-17 | 天翼云科技有限公司 | 一种用于ec副本混合冗余存储的数据恢复方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339524A (zh) * | 2008-05-22 | 2009-01-07 | 清华大学 | 大规模磁盘阵列存储系统的磁盘容错方法 |
CN101512492A (zh) * | 2005-12-15 | 2009-08-19 | 网络装置公司 | 用于实现从存储阵列中的三重故障中高效恢复的三重奇偶校验技术 |
CN101719086A (zh) * | 2009-11-30 | 2010-06-02 | 成都市华为赛门铁克科技有限公司 | 磁盘阵列容错处理方法和装置及容错系统 |
CN102043685A (zh) * | 2010-12-31 | 2011-05-04 | 成都市华为赛门铁克科技有限公司 | 独立磁盘冗余阵列系统及其数据恢复方法 |
US8370715B2 (en) * | 2007-04-12 | 2013-02-05 | International Business Machines Corporation | Error checking addressable blocks in storage |
CN103577274A (zh) * | 2012-07-31 | 2014-02-12 | 国际商业机器公司 | 管理存储器阵列的方法和装置 |
CN104461926A (zh) * | 2014-11-27 | 2015-03-25 | 记忆科技(深圳)有限公司 | 一种基于二维raid的固态硬盘数据保护方法 |
CN105960639A (zh) * | 2014-01-31 | 2016-09-21 | 谷歌公司 | 分布式存储系统中的优先化数据重构 |
CN107273048A (zh) * | 2017-06-08 | 2017-10-20 | 浙江大华技术股份有限公司 | 一种数据写入方法及装置 |
-
2017
- 2017-12-21 CN CN201711395260.3A patent/CN108170555B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101512492A (zh) * | 2005-12-15 | 2009-08-19 | 网络装置公司 | 用于实现从存储阵列中的三重故障中高效恢复的三重奇偶校验技术 |
US8370715B2 (en) * | 2007-04-12 | 2013-02-05 | International Business Machines Corporation | Error checking addressable blocks in storage |
CN101339524A (zh) * | 2008-05-22 | 2009-01-07 | 清华大学 | 大规模磁盘阵列存储系统的磁盘容错方法 |
CN101719086A (zh) * | 2009-11-30 | 2010-06-02 | 成都市华为赛门铁克科技有限公司 | 磁盘阵列容错处理方法和装置及容错系统 |
CN102043685A (zh) * | 2010-12-31 | 2011-05-04 | 成都市华为赛门铁克科技有限公司 | 独立磁盘冗余阵列系统及其数据恢复方法 |
CN103577274A (zh) * | 2012-07-31 | 2014-02-12 | 国际商业机器公司 | 管理存储器阵列的方法和装置 |
CN105960639A (zh) * | 2014-01-31 | 2016-09-21 | 谷歌公司 | 分布式存储系统中的优先化数据重构 |
CN104461926A (zh) * | 2014-11-27 | 2015-03-25 | 记忆科技(深圳)有限公司 | 一种基于二维raid的固态硬盘数据保护方法 |
CN107273048A (zh) * | 2017-06-08 | 2017-10-20 | 浙江大华技术股份有限公司 | 一种数据写入方法及装置 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110795269A (zh) * | 2018-08-03 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 一种数据恢复验证方法、装置及设备 |
CN110795269B (zh) * | 2018-08-03 | 2023-05-26 | 阿里巴巴集团控股有限公司 | 一种数据恢复验证方法、装置及设备 |
CN111382007A (zh) * | 2018-12-28 | 2020-07-07 | 深圳市茁壮网络股份有限公司 | 一种数据恢复方法、装置及电子设备 |
CN111382007B (zh) * | 2018-12-28 | 2024-04-30 | 深圳市茁壮网络股份有限公司 | 一种数据恢复方法、装置及电子设备 |
CN111506450B (zh) * | 2019-01-31 | 2024-01-02 | 伊姆西Ip控股有限责任公司 | 用于数据处理的方法、设备和计算机程序产品 |
CN111506450A (zh) * | 2019-01-31 | 2020-08-07 | 伊姆西Ip控股有限责任公司 | 用于数据处理的方法、设备和计算机程序产品 |
CN110190926A (zh) * | 2019-04-26 | 2019-08-30 | 华中科技大学 | 基于网络计算的纠删码修复方法、纠删码更新方法及系统 |
CN110502365A (zh) * | 2019-07-11 | 2019-11-26 | 平安科技(深圳)有限公司 | 数据存储及恢复的方法、装置及计算机设备 |
CN110502365B (zh) * | 2019-07-11 | 2024-03-01 | 平安科技(深圳)有限公司 | 数据存储及恢复的方法、装置及计算机设备 |
CN113760186A (zh) * | 2019-07-30 | 2021-12-07 | 华为技术有限公司 | 数据存储方法、装置、计算设备、存储系统及存储介质 |
CN111045853A (zh) * | 2019-10-29 | 2020-04-21 | 烽火通信科技股份有限公司 | 一种提高纠删码恢复速度的方法、装置及后台服务器 |
CN111399761A (zh) * | 2019-11-19 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 存储资源分配方法、装置及设备、存储介质 |
CN110895497A (zh) * | 2019-12-09 | 2020-03-20 | 成都信息工程大学 | 一种分布式存储中降低纠删码修复的方法及装置 |
CN111273862A (zh) * | 2020-01-16 | 2020-06-12 | 上海依图网络科技有限公司 | 数据存储方法及其装置、可读介质和系统 |
CN111400083A (zh) * | 2020-03-17 | 2020-07-10 | 上海七牛信息技术有限公司 | 数据存储方法及系统、存储介质 |
CN111400083B (zh) * | 2020-03-17 | 2024-02-23 | 上海七牛信息技术有限公司 | 数据存储方法及系统、存储介质 |
US12001278B2 (en) | 2021-02-20 | 2024-06-04 | Huazhong University Of Science And Technology | Wide stripe data storage and constructing, repairing and updating method thereof |
WO2022174537A1 (zh) * | 2021-02-20 | 2022-08-25 | 华中科技大学 | 一种条带数据存储结构及其构建、修复和更新方法 |
WO2023138289A1 (zh) * | 2022-01-18 | 2023-07-27 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
CN114281270B (zh) * | 2022-03-03 | 2022-05-27 | 山东云海国创云计算装备产业创新中心有限公司 | 一种数据存储方法、系统、设备以及介质 |
CN114281270A (zh) * | 2022-03-03 | 2022-04-05 | 山东云海国创云计算装备产业创新中心有限公司 | 一种数据存储方法、系统、设备以及介质 |
CN114691414A (zh) * | 2022-03-24 | 2022-07-01 | 阿里巴巴(中国)有限公司 | 一种校验块生成方法及一种数据恢复方法 |
WO2023246240A1 (zh) * | 2022-06-20 | 2023-12-28 | 华为技术有限公司 | 一种数据重构方法及装置 |
WO2024040919A1 (zh) * | 2022-08-24 | 2024-02-29 | 华为技术有限公司 | 一种数据修复方法及存储设备 |
CN116501262B (zh) * | 2023-06-19 | 2023-09-19 | 新华三信息技术有限公司 | 一种数据存储方法、装置、电子设备及存储介质 |
CN116501262A (zh) * | 2023-06-19 | 2023-07-28 | 新华三信息技术有限公司 | 一种数据存储方法、装置、电子设备及存储介质 |
WO2024212602A1 (zh) * | 2023-12-14 | 2024-10-17 | 天翼云科技有限公司 | 一种用于ec副本混合冗余存储的数据恢复方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108170555B (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108170555A (zh) | 一种数据恢复方法及设备 | |
CN109725822B (zh) | 用于管理存储系统的方法、设备和计算机程序产品 | |
US9916478B2 (en) | Data protection enhancement using free space | |
US9798620B2 (en) | Systems and methods for non-blocking solid-state memory | |
CN107484427B (zh) | 用于处理存储设备中分条的方法和存储设备 | |
US10877843B2 (en) | RAID systems and methods for improved data recovery performance | |
CN101916173B (zh) | 一种基于raid的数据读写方法及其系统 | |
CN111553473A (zh) | 数据冗余方法及执行数据冗余方法的神经网络处理器 | |
CN106685743A (zh) | 区块链集群处理系统和方法 | |
CN110089035B (zh) | 存储控制器、数据处理芯片及数据处理方法 | |
CN104765693A (zh) | 一种用于存储数据的方法、装置和系统 | |
CN104166606A (zh) | 文件备份方法和主存储设备 | |
US9529674B2 (en) | Storage device management of unrecoverable logical block addresses for RAID data regeneration | |
CN101488104A (zh) | 一种实现高效安全存储的系统和方法 | |
CN110750382A (zh) | 用于提高数据修复性能的最小存储再生码编码方法及系统 | |
CN101980137A (zh) | 廉价磁盘冗余阵列重构方法、装置及系统 | |
CN110597655B (zh) | 迁移和基于纠删码的重构相耦合快速预知修复方法及装置 | |
CN107391297A (zh) | 改善闪存中的数据刷新的系统和方法 | |
CN103049508B (zh) | 一种数据处理方法及装置 | |
CN108141229A (zh) | 损坏数据的高效检测 | |
CN103744751B (zh) | 存储设备配置信息连续优化备份系统及其使用方法 | |
CN103530206A (zh) | 一种数据恢复的方法和设备 | |
WO2019037587A1 (zh) | 一种数据恢复方法及装置 | |
CN113424262B (zh) | 一种存储校验方法及装置 | |
CN103812719B (zh) | 集群系统的失效预测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |