CN106911793A - I/o优化的分布式存储数据修复方法 - Google Patents
I/o优化的分布式存储数据修复方法 Download PDFInfo
- Publication number
- CN106911793A CN106911793A CN201710164230.5A CN201710164230A CN106911793A CN 106911793 A CN106911793 A CN 106911793A CN 201710164230 A CN201710164230 A CN 201710164230A CN 106911793 A CN106911793 A CN 106911793A
- Authority
- CN
- China
- Prior art keywords
- data block
- rbt
- data
- node
- help
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种I/O优化的分布式存储数据修复方法:包括如下任一个或任多个步骤:‑针对故障节点的RBT帮助数据块,可以利用修复故障节点时下载的数据计算得到数据块的内容,不需要读取或下载新的数据;‑对于非RBT帮助数据块,通过计算数据块的公共修复集合,减小从磁盘读取的数据。本发明实现了在节点故障和数据块损坏组合模式下数据修复时的I/O优化。
Description
技术领域
本发明属于存储编码技术领域,具体是一种I/O优化的分布式存储数据修复方法,该方法实现分布式存储中数据修复时的I/O优化。
背景技术
如今,在大型分布式存储中,存储数据的总量以指数级的方式增长着。存储系统会面临许多数据节点临时失效或永久失效的问题,为了保证系统的可靠性,大多数存储系统会选择给数据提供备份。例如Google文件系统就采用了3倍备份的方法。备份得到应用的原因是实现方便,易操作,数据恢复简单并且可靠。然而,由于数据量的极速增长,备份的方法给存储开销带来了极大的负担。
纠删码为存储系统提供了另一个选择,与备份相比,它能在低冗余的前提下,提供较好的数据可靠性。尤其是Reed-Solomon(RS)码在分布式存储中得到了大量的应用。据报道,Facebook通过采用RS码替代备份的方法,节约了PB级字节的存储开销。
在RS码中,文件被编码后存储到多个节点上,数据节点的个数为k,校验节点的个数为r。(k+r)个节点共同构成了分布式存储系统,(k+r)个节点中的任意k个节点都能用来恢复得到原始文件,存储系统的容错能力为r个节点。
RS码在修复节点故障时,是用k个节点先得到所有原始文件,然后再对节点损坏的数据进行修复。这个过程的传输带宽是k个节点上存储的数据总量。分布式存储中节点故障的情形大多为单节点故障,而这种以恢复原始文件来修复单个故障节点的方法,会对系统资源造成极大的负担。
再生码(Regenerating codes)很好的解决了节点修复时的带宽问题。再生码在节点数据下载前会在节点内部进行运算,下载的数据为运算后的结果。这样,再生码通过从d(>k)个节点分别下载一小部分数据来实现节点修复。再生码适用于带宽资源紧缺的分布式存储系统。
再生码能够优化节点修复过程中的带宽,但是再生码在节点内部的运算会首先读取整个节点上的数据,节点修复过程中的I/O是d个节点上的所有数据。这个值高于RS码的k个节点数据,对系统的I/O资源带来了较大的负担。随着存储系统计算能力的增强,影响节点修复性能的主导因素成为了I/O,即从磁盘上读取的数据量。I/O已经成为了分布式存储的重要资源,更是许多分布式系统的性能瓶颈。Reconstruct-by-Transfer(RBT)码实现了节点修复过程中的I/O优化。RBT码的结构基于再生码,其特点是存储数据为节点参与修复时的计算数据,而不直接存储编码数据。
相比于节点故障,更为常见的故障情形是数据块损坏。数据块损坏是节点上的某一块数据发生了丢失,而这种损坏在对数据块进行读取时才会被发现。数据块损坏不仅出现在磁盘中,在固态硬盘中,由于频繁的编程/擦除,数据块损坏的情形也很常见。因此,在考虑分布式存储中的数据修复时,需要考虑节点和数据块修复的组合情形。纠删码和再生码提供的数据冗余都是以数据节点为单位的,损坏的数据块会以数据节点故障的方式得到修复,显然,这会造成资源的浪费。
综上,应用于分布式存储中的存储编码,需要考虑如下几个方面:
第一,存储效率,代表编码方案为RS码;
第二,修复带宽,代表编码方案为再生码;
第三,I/O,代表编码方案为RBT码;
第四,损坏模式,包括存储节点故障和节点数据块损坏。
目前没有发现同本发明类似技术的说明或报道,也尚未收集到国内外类似的资料。
发明内容
针对现有技术中存在的上述不足,本发明的目的是提供了一种I/O优化的分布式存储数据修复方法。相比于数据运算,I/O往往是更为耗时的操作。I/O已经成为了衡量存储系统性能的重要指标,是决定数据修复性能表现的主导因素。本发明在数据修复时考虑节点故障和数据块损坏的组合情形,有效优化分布式存储中数据修复时的I/O。
为实现上述目的,本发明基于RBT码的结构分析,提出了两类数据块修复方法。针对故障节点的RBT帮助数据块,可以利用修复故障节点下载的数据,计算得到数据块的内容,不需要为修复数据块读取或下载新的数据。对于非RBT帮助数据块,通过计算数据块满足的线性关系集合,计算数据块的公共修复集合,从而减小从磁盘读取的数据量。
本发明是通过以下技术方案实现的。
一种I/O优化的分布式存储数据修复方法,包括如下任一个或任多个步骤:
-RBT帮助数据块修复步骤:
在RBT码中,根据RBT帮助数据块分配策略,故障节点查询对应的RBT帮助数据块在存储系统中的分布情况,并统计RBT帮助数据块的健康状态信息;
故障节点下载m个健康状态的RBT帮助数据块,并从d-m个未存储对应RBT帮助数据块的帮助节点上,计算得到帮助数据,其中,d为参与故障节点修复时帮助节点个数;
利用故障节点下载的帮助数据计算故障节点对应损坏的RBT帮助数据块,并对损坏的RBT帮助数据块进行数据修复。
-非RBT帮助数据块修复步骤:
对RBT码的消息矩阵和生成矩阵进行重排列,结合RBT码的性质,给出一个数据块可由d~kα个子数据块线性表示的结论,其中,d为参与故障节点修复时帮助节点个数,k为数据恢复时需要联系的帮助节点个数,α为帮助节点上存储的数据块个数;
计算数据块的线性关系集合;
利用数据块满足的线性关系集合计算公共修复集合,并确定I/O最优的修复策略。
优选地,所述RBT帮助数据块分配策略为:结合存储系统中系统节点和非系统节点的权重选择分配RBT帮助数据块。
优选地,所述线性关系集合为部分线性关系集合。
优选地,所述线性关系集合中不包含线性系数为0的子数据块。
优选地,所述I/O最优的修复策略的确定方法为:从待修复的数据块的线性关系集合中寻找一组修复方案,使得参与修复的不同数据块数量最少。
优选地,RBT码的编码方案C为:
C=ΨM,其中,M为消息矩阵,Ψ为生成矩阵。
优选地,所述生成矩阵Ψ的形式为:
Ψ=[Φ ΛΦ],其中,Φ为大小为n×α的范德蒙矩阵,n为存储系统中存储节点个数,α为帮助节点上存储的数据块个数,Λ为元素不重复的对角矩阵。
与现有技术相比,本发明具有如下有益效果:
1、针对故障节点的RBT帮助数据块,本发明可以利用修复故障节点下载的数据,计算得到数据块的内容,不需要为修复数据块读取或下载新的数据。
2、对于非RBT帮助数据块,本发明通过计算数据块满足的线性关系集合,计算数据块的公共修复集合,从而减小从磁盘读取的数据量。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是RBT帮助数据块修复策略图;
图2是RBT码生成矩阵、消息矩阵重排列示意图;
图3是RBT码生成矩阵、消息矩阵重排列实例图;
图4是本发明数据修复方法示意图;
图5是数据损坏模式样例图。
具体实施方式
下面对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
本实施例提供了一种I/0优化的分布式存储数据修复方法,包括如下任一个或任多个步骤:
-RBT帮助数据块修复步骤:
在RBT码中,根据RBT帮助数据块分配策略,故障节点查询对应的RBT帮助数据块在存储系统中的分布情况,并统计RBT帮助数据块的健康状态信息;
故障节点下载m个健康状态的RBT帮助数据块,并从d-m个未存储对应RBT帮助数据块的帮助节点上,计算得到帮助数据,其中,d为参与故障节点修复时帮助节点个数;
利用故障节点下载的帮助数据计算故障节点对应损坏的RBT帮助数据块,并对损坏的RBT帮助数据块进行数据修复。
-非RBT帮助数据块修复步骤:
对RBT码的消息矩阵和生成矩阵进行重排列,结合RBT码的性质,给出一个数据块可由d~kα个子数据块线性表示的结论,其中,d为参与故障节点修复时帮助节点个数,k为数据恢复时需要联系的帮助节点个数,α为帮助节点上存储的数据块个数;
计算数据块的线性关系集合;
利用数据块满足的线性关系集合计算公共修复集合,并确定I/0最优的修复策略。
进一步地,所述RBT帮助数据块分配策略为:结合存储系统中系统节点和非系统节点的权重选择分配RBT帮助数据块。
进一步地,所述线性关系集合为部分线性关系集合。
进一步地,所述线性关系集合中不包含线性系数为0的子数据块。
进一步地,所述I/O最优的修复策略的确定方法为:从待修复的数据块的线性关系集合中寻找一组修复方案,使得参与修复的不同数据块数量最少。
进一步地,RBT码的编码方案C为:
C=ΨM,其中,M为消息矩阵,Ψ为生成矩阵。
进一步地,所述生成矩阵Ψ的形式为:
Ψ=[Φ ΛΦ],其中,Φ为大小为n×α的范德蒙矩阵,n为存储系统中存储节点个数,α为帮助节点上存储的数据块个数,Λ为元素不重复的对角矩阵。
下面结合具体实例,详细介绍。本实例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体操作过程。
-RBT帮助数据块修复过程
RBT码的编码方案C为:
C=ΨM,其中,M为消息矩阵。
生成矩阵Ψ的形式为:
Ψ=[Φ ΛΦ],其中,Φ为大小为n×α的范德蒙矩阵,Λ为元素不重复的对角矩阵。
如图1所示,在(n=6,k=3,d=4)RBT码中,整个节点1发生故障,节点6的第二块数据发生损坏。节点6的第二块数据为节点1的RBT帮助数据块,其中,n为存储节点个数,k为数据恢复时需要联系的帮助节点个数,d为参与故障节点修复时帮助节点个数。
步骤S1.统计存储节点上RBT帮助数据块的健康状况
节点2和节点3上存储了节点1的RBT帮助数据块:和其中,ci表示第i个节点上存储的数据内容,φi为Φ的第i行向量,T表示转置,并且处于健康状态。节点4和节点5是正常的工作节点,通过在工作节点内部进行计算,提供帮助数据给节点1,计算过程为
步骤S2.获取帮助数据
在修复节点1的过程中,节点1从帮助节点i得到的帮助数据为节点1会联系d个帮助节点,从d个帮助节点获取的帮助数据表示为:
其中Ψd为生成矩阵Ψ的某d行:
步骤S3.RBT帮助数据块修复
Ψd大小为(d×d)。由于Ψ中任意d行线性无关,因此Ψd是可逆的,可计算得到:
假设节点6为节点1的RBT帮助节点,并且节点6上存储的节点1帮助数据发生了数据损坏。现在通过修复节点1时的中间计算值来修复该数据块。
可以表示为:
上面已经提到已经计算出,而ψ6表示生成矩阵的第6行,因此这个数据块是可以在修复节点1的过程中计算得到的,节点6损坏的数据块可以得到修复。
综上,当存储节点满足可修复的条件时,其对应的RBT帮助数据块都可以通过存储节点修复时下载的数据计算得到,不需要为修复RBT帮助数据块读取或下载额外的数据,优化了数据修复资源。
-非RBT帮助数据块修复过程
如图2所示,对(n=6,k=3,d=4)RBT码的生成矩阵和消息矩阵进行重排列,把消息矩阵重排列为基于数据块的单列形式,目的是为了给出基于数据块的分析。
步骤s1.分析数据块的线性关系
RBT码具有如下性质:
(i)RBT码的生成矩阵Ψ中任意d行线性无关;
(ii)利用RBT码编码后的任意k个节点可以得到原始消息;
生成矩阵Ψ的大小为n×d,其中任意d行都是相互独立的。从Ψ中取出d+1行构成的大小为(d+1)×d的子矩阵必定是行向量线性相关的。因此一个数据块存在由d个数据块线性表示的可能。
重排列后生成矩阵Ψ1大小为nα×kα,其中,α为节点上存储的数据块个数,由kα行行向量组成的子矩阵的大小为kα×kα,若这kα行线性无关,即子矩阵的秩为kα,那么任意一个行向量都可以由这kα行线性表示。而在RBT码中,由于RBT码的消息重建可以由任意k个节点完成,所以任意k个节点上的kα个数据块对应的行向量都是线性无关的。因此一个数据块必然可以由k个节点上存储的kα个数据块线性表示。
通过对生成矩阵行向量的线性分析,可知一个数据块可由存储系统中的d~kα个数据块线性表示。
步骤s2.计算数据块的部分线性关系集合
对于重排列后生成矩阵Ψ1,通过计算由矩阵行向量构成的子矩阵的秩可以判断数据块与其他数据块是否具备线性关系:若加入某行向量的矩阵秩不变,则该行向量可以由原矩阵中的行向量线性表示。如图3所示,与构成了大小为5×6的子矩阵M1,该子矩阵在F13上的秩为4,而构成的大小为4×6的子矩阵M2在F13上秩也为4,增加并没有增加矩阵M2的秩,也即没有增加极大无关组的个数,因此可以由另外4个矩阵行向量线性表出。
得到了与矩阵行向量满足线性关系后,需要计算线性关系表达式,得到线性关系系数的过程即为解线性方程组:
按照上述方法计算数据块的线性关系集合,若子数据块对应线性系数为0,计算线性关系集合时需要排除该子数据块,即线性关系集合不包含线性系数为0的子数据块。图3中数据块R1’,R2’,R3’对应的线性关系集合如表1所示,其中,S表示线性关系中元素个数,E(Ri’)表示数据块Ri’对应的线性关系集合:
表1.部分数据块线性关系集合
步骤s3.确定I/O优化的修复方案
数据块R1’和R3’分别满足如下的线性关系:
R′1=3R′4+5R′5+8R′6+11R′10
R′3=4R′4+R′5+10R′9+6R′10+6R′11
数据块R4’,R5’,R1o'是两者共同所需的数据块,因此当两个数据块同时发生损坏时,只需要对数据块R4’,R5’,R10'读取一次即可,通过寻找公共的修复数据块,可以减少从磁盘的数据读取,优化I/O。
从线性关系集合中寻找修复I/O最优解的方法为:从待修复的数据块的线性关系集合中寻找一组修复方案,使得参与修复的不同数据块数量最少。
图4是本发明提出的数据修复策略示意图,依据该修复策略可以对图5中的数据损坏模式进行修复。图5中节点1发生故障,数据块R3’和R11’发生了损坏,R3’为节点1的RBT帮助数据块。按照图4中的策略,确定节点1的修复方案和数据块R11’的线性关系集合,如表2所示:
表2.节点1修复方案集合和数据块R11’线性关系集合
从表2中筛选出的I/O最优修复模式为分别选取节点1和数据块R11’的最后一顶,在该修复模式中,节点1和数据块R11’需要的帮助数据块是一致的,共需要6个数据块的参与。最后利用节点1下载的数据计算RBT帮助数据块R3’的内容,完成数据修复操作。
数据修复是分布式存储系统中的重要操作。随着存储容量的扩展和计算能力的提升,I/O成为了影响数据修复性能表现的关键因素。目前,大量的研究集中在修复节点故障带来的数据损坏。相比于节点故障,更为常见的情况是节点上的数据块发生了损坏。本实施例提出了两类数据块修复方法:针对故障节点的RBT帮助数据块,可以利用修复故障节点时下载的数据计算得到数据块的内容,不需要读取或下载新的数据;对于非RBT帮助数据块,通过计算数据块的公共修复集合,减小从磁盘读取的数据。上述方法实现了在节点故障和数据块损坏组合模式下数据修复时的I/O优化。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (7)
1.一种I/O优化的分布式存储数据修复方法,其特征在于,包括如下任一个或任多个步骤:
-RBT帮助数据块修复步骤:
在RBT码中,根据RBT帮助数据块分配策略,故障节点查询对应的RBT帮助数据块在存储系统中的分布情况,并统计RBT帮助数据块的健康状态信息;
故障节点下载m个健康状态的RBT帮助数据块,并从d-m个未存储对应RBT帮助数据块的帮助节点上,计算得到帮助数据,其中,d为参与故障节点修复时帮助节点个数;
利用故障节点下载的帮助数据计算故障节点对应损坏的RBT帮助数据块,并对损坏的RBT帮助数据块进行数据修复;
-非RBT帮助数据块修复步骤:
对RBT码的消息矩阵和生成矩阵进行重排列,结合RBT码的性质,给出一个数据块可由其它d~kα个数据块线性表示的结论,其中,d为参与故障节点修复时帮助节点个数,k为数据恢复时需要联系的帮助节点个数,α为帮助节点上存储的数据块个数;
计算数据块的线性关系集合;
利用数据块满足的线性关系集合计算公共修复集合,并确定I/O最优的修复策略。
2.根据权利要求1所述的I/O优化的分布式存储数据修复方法,其特征在于,所述RBT帮助数据块分配策略为:结合存储系统中系统节点和非系统节点的权重选择分配RBT帮助数据块。
3.根据权利要求1所述的I/O优化的分布式存储数据修复方法,其特征在于,所述线性关系集合为部分线性关系集合。
4.根据权利要求1或3所述的I/O优化的分布式存储数据修复方法,其特征在于,所述线性关系集合中不包含线性系数为0的子数据块。
5.根据权利要求1所述的I/O优化的分布式存储数据修复方法,其特征在于,所述I/O最优的修复策略的确定方法为:从待修复的数据块的线性关系集合中寻找一组修复方案,使得参与修复的不同数据块数量最少。
6.根据权利要求1所述的I/O优化的分布式存储数据修复方法,其特征在于,RBT码的编码方案C为:
C=ΨM,其中,M为消息矩阵,Ψ为生成矩阵。
7.根据权利要求6所述的I/O优化的分布式存储数据修复方法,其特征在于,所述生成矩阵Ψ的形式为:
Ψ=[Φ ΛΦ],其中,Φ为大小为n×α的范德蒙矩阵,n为存储系统中存储节点个数,α为帮助节点上存储的数据块个数,Λ为元素不重复的对角矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710164230.5A CN106911793B (zh) | 2017-03-17 | 2017-03-17 | I/o优化的分布式存储数据修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710164230.5A CN106911793B (zh) | 2017-03-17 | 2017-03-17 | I/o优化的分布式存储数据修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106911793A true CN106911793A (zh) | 2017-06-30 |
CN106911793B CN106911793B (zh) | 2020-06-16 |
Family
ID=59187407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710164230.5A Active CN106911793B (zh) | 2017-03-17 | 2017-03-17 | I/o优化的分布式存储数据修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106911793B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110058961A (zh) * | 2018-01-18 | 2019-07-26 | 伊姆西Ip控股有限责任公司 | 用于管理存储系统的方法和设备 |
CN110168505A (zh) * | 2018-07-10 | 2019-08-23 | 深圳花儿数据技术有限公司 | 分布式存储系统的数据修复方法及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102624866A (zh) * | 2012-01-13 | 2012-08-01 | 北京大学深圳研究生院 | 一种存储数据的方法、装置及分布式网络存储系统 |
CN103336785A (zh) * | 2013-06-04 | 2013-10-02 | 华中科技大学 | 一种基于网络编码的分布式存储方法及其装置 |
CN103761171A (zh) * | 2014-02-11 | 2014-04-30 | 中国科学院成都生物研究所 | 一种针对二进制编码冗余存储系统的低带宽数据重构方法 |
US20160026543A1 (en) * | 2014-07-24 | 2016-01-28 | At&T Intellectual Property I, L.P. | Distributed Storage of Data |
-
2017
- 2017-03-17 CN CN201710164230.5A patent/CN106911793B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102624866A (zh) * | 2012-01-13 | 2012-08-01 | 北京大学深圳研究生院 | 一种存储数据的方法、装置及分布式网络存储系统 |
CN103336785A (zh) * | 2013-06-04 | 2013-10-02 | 华中科技大学 | 一种基于网络编码的分布式存储方法及其装置 |
CN103761171A (zh) * | 2014-02-11 | 2014-04-30 | 中国科学院成都生物研究所 | 一种针对二进制编码冗余存储系统的低带宽数据重构方法 |
US20160026543A1 (en) * | 2014-07-24 | 2016-01-28 | At&T Intellectual Property I, L.P. | Distributed Storage of Data |
Non-Patent Citations (1)
Title |
---|
QIYUAN HE,YANING XU,YUAN LUO: "I/O Optimized Recovery Algorithm in Vehicular Network Using PM-RBT Codes", 《2016 IEEE 83RD VEHICULAR TECHNOLOGY CONFERENCE》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110058961A (zh) * | 2018-01-18 | 2019-07-26 | 伊姆西Ip控股有限责任公司 | 用于管理存储系统的方法和设备 |
CN110168505A (zh) * | 2018-07-10 | 2019-08-23 | 深圳花儿数据技术有限公司 | 分布式存储系统的数据修复方法及存储介质 |
WO2020010504A1 (zh) * | 2018-07-10 | 2020-01-16 | 深圳花儿数据技术有限公司 | 分布式存储系统的数据修复方法及存储介质 |
CN110168505B (zh) * | 2018-07-10 | 2022-10-21 | 深圳花儿数据技术有限公司 | 分布式存储系统的数据修复方法及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106911793B (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105260259B (zh) | 一种基于系统最小存储再生码的局部性修复编码方法 | |
CN103336785B (zh) | 一种基于网络编码的分布式存储方法及其装置 | |
CN103944981B (zh) | 一种基于纠删码技术改进的云存储系统及实现方法 | |
WO2014153716A1 (zh) | 一种最小带宽再生码的编码和存储节点修复方法 | |
WO2020010505A1 (zh) | 分布式存储系统的数据同步修复方法及存储介质 | |
CN106100801A (zh) | 一种云存储系统的非均匀纠删编码方法 | |
CN101840366B (zh) | 环链式n+1位奇偶校验码的存储方法 | |
CN108540520A (zh) | 基于部分重复码的局部性修复编码及节点故障修复方法 | |
CN103106124B (zh) | 一种基于纠删码集群存储系统的交叉重构方法 | |
WO2023138289A1 (zh) | 一种数据存储方法、装置、设备及计算机可读存储介质 | |
WO2022174537A1 (zh) | 一种条带数据存储结构及其构建、修复和更新方法 | |
CN106776112A (zh) | 一种基于Pyramid码的局部性修复编码方法 | |
CN107689983B (zh) | 基于低修复带宽的云存储系统及方法 | |
CN101281788A (zh) | 闪存系统及其控制方法 | |
CN106911793A (zh) | I/o优化的分布式存储数据修复方法 | |
WO2023082556A1 (zh) | 一种面向内存键值纠删码的混合数据更新方法及存储系统 | |
CN108347306A (zh) | 分布式存储系统中类局部重构码编码及节点故障修复方法 | |
CN105808170A (zh) | 一种能够以最小磁盘读写修复单磁盘错误的raid6编码方法 | |
CN110895497B (zh) | 一种分布式存储中降低纠删码修复的方法及装置 | |
CN112131609A (zh) | 基于Merkle树的电能质量数据交换格式文件完整性校验方法及系统 | |
CN107153661A (zh) | 一种基于hdfs系统的数据的存储、读取方法及其装置 | |
CN113258936B (zh) | 一种基于循环移位的双重编码的构造方法 | |
CN108923960A (zh) | 一种基于代理协助再生码的存储节点修复方法 | |
CN111125014B (zh) | 一种基于u-型设计的柔性部分重复码的构造方法 | |
CN110781024B (zh) | 对称部分重复码的矩阵构造方法及故障节点修复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |