CN108347306B - 分布式存储系统中类局部重构码编码及节点故障修复方法 - Google Patents

分布式存储系统中类局部重构码编码及节点故障修复方法 Download PDF

Info

Publication number
CN108347306B
CN108347306B CN201810217605.4A CN201810217605A CN108347306B CN 108347306 B CN108347306 B CN 108347306B CN 201810217605 A CN201810217605 A CN 201810217605A CN 108347306 B CN108347306 B CN 108347306B
Authority
CN
China
Prior art keywords
local
node
data
check
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810217605.4A
Other languages
English (en)
Other versions
CN108347306A (zh
Inventor
王静
张崇
王珍珍
刘艳
余春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Yingxin Technology Co ltd
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201810217605.4A priority Critical patent/CN108347306B/zh
Publication of CN108347306A publication Critical patent/CN108347306A/zh
Application granted granted Critical
Publication of CN108347306B publication Critical patent/CN108347306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Detection And Correction Of Errors (AREA)

Abstract

本发明公开了一种分布式存储系统中类局部重构码编码及节点故障修复方法，分析其修复特点以及分布式存储系统对节点故障修复性能的要求，在增加部分存储开销的前提下，提供了一种所述的类局部重构码进行单节点故障修复的方法。在本发明构造的类局部重构码中，包含一个有局部校验块生成的全局校验块保证数据节点的修复性能，其他校验块全部有数据块通过异或运算编码生成。基于此编码结构，在单节点故障时只需连接较少的节点实现快速恢复，保证了数据文件的快速高效恢复，降低了修复带宽开销。

Description

分布式存储系统中类局部重构码编码及节点故障修复方法
技术领域
本发明涉及计算机分布式存储技术领域，具体涉及一种类局部重构码(SimilarLocal Reconstruction Code,SLRC)以及利用所述类局部重构码进行节点故障修复的方法。
背景技术
为了避免校验数据故障引发的数据传输量减少，只有通过加快校验数据更新，进而保证系统稳定性，对此已提出许多研究工作。其中James S.Plank等人分别从构造低密度编码矩阵和运算调度两个方面，对基于运算的纠删码校验数据计算和更新进行了优化。
对于故障节点修复，也有很多的研究工作。Xiang等人提出了一种针对采用RDP编码的RAID-6存储系统单盘故障修复算法(hybrid recovery scheme)，该算法同时利用行校验和对角线校验，使得单节点故障修复所需下载的数据量减少了25％。Zhu等人提出了一种针对运算编码的存储系统替换修复算法，使用该算法可以达到接近理论最优的修复性能。Plank等人针对运算的编码提出了一种存储和带宽开销折中的修复算法，并对传统的里德-所罗门码(RS codes)进行了改造，使得当发生磁盘故障时可以使用混合修复来减小修复开销。微软的Cheng等人提出，存储系统中节点故障90％以上都是单节点故障，所以他们在构建微软公司的云存储服务平台Azure时设计并采用了一种优化单节点故障修复的局部重构码(Local Reconstruction Code)。该编码可以认为是在RS编码的基础上增加了局部校验，使得发生单节点故障时，可以使用局部校验来恢复故障节点，由此可以大大减少单节点故障修复开销。
上面所提到的节点故障修复算法都只能对单个数据节点故障修复表现性能良好，当校验节点发生故障时，这些算法或编码在修复时需要较大的修复带宽开销，这样就导致校验块的修复带宽开销远远大于数据块的修复带宽开销。随着数据量的增长，校验节点的高效快速修复进而保证数据块及时快速恢复，对保证分布式存储系统的可靠性至关重要。
发明内容
本发明的目的是提供一种分布式存储系统中类局部重构码(Similar LocalReconstruction Code,SLRC)编码以及节点故障修复方法，用以降低任意单节点故障修复过程中的磁盘I/O开销，且具有较优的节点存储开销。
为了实现上述任务，本发明采用以下技术方案：
一种分布式存储系统中类局部重构码的编码方法，包括：
将数据文件分为多个数据块，将所述的多个数据块分别存储在多个数据节点，然后将所述的数据节点按照循环存储的方式分为局部组；
所述的每个局部组中的数据块均进行异或运算生成第一局部校验位，将所有局部组中对应位置的数据块均进行异或运算生成第二局部校验位，将所有局部组生成的第一局部校验位进行异或运算生成全局校验位。
进一步地，所述的数据块的个数为偶数。
一种利用所述的类局部重构码进行节点故障修复的方法，包括以下步骤：
利用类局部重构码的编码方法对分布式存储系统中所存储的数据文件进行编码；
分别记所述的第一局部校验位所在数据节点、第二局部校验位所在数据节点为第一局部校验节点、第二局部校验节点，全局校验位所在数据节点为全局校验节点，其他数据节点记为普通节点，则：
当所述普通节点发生故障时，通过该普通节点对应的第一局部校验节点和所述普通节点所在局部组中的其他普通节点进行异或运算，即可修复所述普通节点；
当第一局部校验节点发生故障时，通过该第一局部校验节点对应的局部组中的所有普通节点进行异或运算即可修复所述的第一局部校验节点；
当第二局部校验节点发生故障时，则将该第二局部校验节点在所有局部组中对应的普通节点进行异或运算即可修复所述的第二局部校验节点；
当全局校验节点发生故障时，通过对所有第一局部校验节点进行异或运算即可修复全局校验节点。
进一步地，当所述的普通节点发生故障时，还可通过该普通节点对应的第二局部校验节点与该普通节点在其他局部组中对应的普通节点进行异或运算来进行修复。
进一步地，当所述的普通节点发生故障时，还可通过全局校验节点和所述普通节点所在局部组中其他普通节点、其他局部组对应的第一局部校验节点进行异或运算进行修复。
进一步地，当第一局部校验节点发生故障时，还可通过全局校验节点与其他局部组对应的第一局部校验节点进行异或运算进行修复。
进一步地，当全局校验节点发生故障时，还可通过对所有普通节点进行异或运算进行修复。
本发明与现有技术相比具有以下技术特点：
1.考虑到分布式存储系统中存储的数据量巨大，每个节点存储的数据信息也逐渐增大，采用SLRC编码方案，将原文件分为k个数据块存储在k个存储节点，将数据块进行异或运算编码生成校验位，因此在节点发生故障时只需要简单的异或运算即可解码，降低了计算复杂度。
2.本发明中SLRC编码方案采用数据块循环存储的方案将数据存储与节点之中，保证了任意节点发生故障都具有相同修复带宽开销，并采用异或编码方法加入了三种不同的校验位，既包含有涵盖较少数据块信息的校验位，也包含覆盖所有数据块信息的全局校验位，这样保证了任意节点故障时都可以连接较少节点数据信息通过异或运算实现快速的修复，有效降低了故障节点的修复带宽开销。
3.考虑到用户在集中访问时能够快速有效的获取数据文件，因此在数据下载时只从存储数据块的节点下载数据。SLRC编码方案加入不同校验位保证了节点故障的可靠性恢复，保证了数据的可用性。校验节点故障的同时，用户集中访问数据节点，这时可以将故障节点闲置，让出带宽促进数据信息的传输，当数据闲暇时再通过简单的异或编码重新生成校验节点信息。
附图说明
图1为本发明的类局部重构码的编码结构示意图；
图2为实施例中所述的21个数据节点的编码结构示意图；
图3为实施例中修复普通节点故障时的结构示意图；
图4为实施例中修复第二局部校验节点故障时的结构示意图；
图5为实施例中修复第一局部校验节点故障时的结构示意图；
图6为实施例中修复全局校验节点故障时的结构示意图。
具体实施方式
本发明所指的修复，实际上是解码的过程，因为编码过程为异或运算编码，则修复过程即通过简单的异或运算即可实现修复的过程，本发明方法能够实现故障节点的快速修复并且保证较少节点参与修复过程。本发明首先提出了一种在分布式存储系统中用于节点故障修复的类局部重构码SLRC，所述的类局部重构码的编码方法包括：
将大小为M的数据文件分为多个数据块，如在图1给出的示例中，数据块的个数为k，k为偶数；将所述的多个数据块分别存储在多个数据节点，该数据节点即分布式存储系统中的存储节点，每个数据节点中存储一个所述的数据块，则数据节点的个数也为k；然后将所述的数据节点按照循环存储的方式分为l个局部组，则每个局部组中包含d个数据块，d＝k/l；将所述的l个局部组记为Ll。
所述的每个局部组中的数据块均进行异或运算生成第一局部校验位qi(0≤i≤l)，根据所述循环存储方式的存储规则，将所有局部组中对应位置的数据块均进行异或运算生成第二局部校验位pj(1≤j≤d)，第二局部校验位的个数为d；所述的循环存储方式是指将d个数据块存储为一个局部组，再将另外d个数据块存储为另外一个局部组，直至数据块存储完毕。所述的对应位置是指：当采用循环存储方式时，每个局部组中数据节点的个数是一致的，若果将每个数据组中的数据节点按照行列进行对齐排列，一个局部组中的数据节点记为一行，则所述的对应位置即为每一行中的相同列的位置。
例如图1给出的示例中，数据节点存储为了两个局部组，即为两行，每一行中有k/2个数据节点，则第一列的所有数据节点进行异或运算生成第一列数据节点的第二局部校验位，第二列所有数据节点进行异或运算生成第二列数据节点的第二局部校验位，以此类推。
将所有局部组生成的第一局部校验位进行运算生成全局校验位c。
所述的第一局部校验位、第二局部校验位以及全局校验位分别存储在不同的数据节点中。
以图1为例，具体的，将大小为M的数据件分为大小相等的k个数据块，按照如图1所示的方式循环存储于k个数据节点中，形成两个局部组L1、L2；
将数据块
Figure BDA0001598961980000051
和数据块
Figure BDA0001598961980000052
进行异或运算生成第二局部校验位pj(1≤j≤k/l)；并将L1中所包含的所有数据块进行异或运算对应生成第一局部校验位q0，并将L2中所包含的所有数据块进行异或运算对应生成第一局部校验位q1，将q0和q1进行异或运算生成全局校验位c。
本发明进一步提供了一种利用上述的类局部重构码进行单节点故障修复的方法，包括以下步骤：
利用类局部重构码的编码方法对分布式存储系统中所存储的数据文件进行编码；
按照上述SLRC编码方法可知，编码过后包含三种局部校验位，不同方案生成的校验位保证了节点故障时的修复具有多项选择，保证了分布式存储系统的可靠性。
因为SLRC编码方法保证了任意单节点故障都具有相同的修复带宽开销，且修复带宽较小，但是每个节点所包含的数据信息不同，所以具体的修复方式也不一样：
分别记所述的第一局部校验位所在节点、第二局部校验位所在节点为第一局部校验节点、第二局部校验节点，全局校验位所在节点为全局校验节点，其他数据节点记为普通节点，则：
(1)当普通节点发生故障时，有三种修复方式，即：
通过该(发生故障的)普通节点对应的第一局部校验节点和所述普通节点所在局部组中的其他普通节点进行异或运算，即可修复所述发生故障的普通节点；还可通过该普通节点对应的第二局部校验节点与该普通节点在其他局部组中对应的普通节点进行异或运算来进行修复，或通过全局校验节点和所述普通节点所在局部组中其他普通节点、其他局部组(即非所述普通节点所在的局部组)对应的第一局部校验节点进行异或运算进行修复。
(2)当第一局部校验节点发生故障时，有两种修复方式，即：
通过该(发生故障的)第一局部校验节点对应的局部组中的所有普通节点进行异或运算即可修复所述的第一局部校验节点；还可通过全局校验节点与其他局部组(非所述第一局部校验节点对应的局部组)对应的第一局部校验节点进行异或运算进行修复，即利用全局校验节点和未发生故障的其他第一局部校验节点进行异或运算，即可修复发生故障的第一局部校验节点。
(3)当第二局部校验节点发生故障时，修复方式为：
将该第二局部校验节点在所有局部组中对应的普通节点进行异或运算即可修复所述的第二局部校验节点。
(4)当全局校验节点发生故障时，有两种修复方式，即：
通过对所有第一局部校验节点进行异或运算即可修复全局校验节点；还可通过对所有普通节点进行异或运算进行修复。
需要说明的是，上述的单节点故障是指普通节点中的数据块、第一局部校验节点中的第一局部校验位、第二局部校验节点中的第二局部校验位以及全局校验节点中的全局校验位中的数据发生损坏、丢失等故障，而上述的异或运算，是指节点中的数据块、第一局部校验位、第二局部校验位以及全局校验位之间的异或运算；为了便于表述，前面采用节点之间进行异或运算来进行说明，实质上是指节点中数据的异或运算。
所述的修复，是指将异或运算后的结果替换故障节点中的数据。
如果分布式存储系统中出现两个数据节点发生故障，对于SLRC编码方法而言，任何数据块都有三个校验节点包含其数据信息，因此系统可以容任意三错，但是包含同一数据信息的三个校验节点相互独立，所以对于任意两节点故障可以也可以利用本方法实现快速修复。
实施例：
如图2所示，本实施例中，分布式存储系统中有21个数据节点，其中12个数据节点用来存储数据文件分成的12个数据块，其余数据节点存储第一局部校验位q0和q1、第二局部校验p1至p6位以及全局校验位c。考虑到单节点故障的修复效率对分布式存储系统性能的影响，接下来主要讨论单节点故障时的修复带宽开销：
(1)当普通节点发生故障时
如图3所示，例如当普通节点d1发生故障，则可通过其对应的第一局部校验节点q0和d1所在局部组中的其他普通节点d2、d3、d4、d5、d6通过异或运算进行修复；还可通过其对应的第二局部校验节点p1和d1在其他局部组中对应的普通节点d7进行异或运算修复，这种修复方式解码简单，保证了系统的高效性能；另外，还可通过全局校验节点c、d1所在局部组中的其他普通节点d2、d3、d4、d5、d6以及其他局部组对应的第一局部校验节点q1进行异或运算来修复。
分析发现在单数据节点故障时既能够快速地实现故障节点修复，而且在对应校验节点故障时提供了可修复保障，进而保证了系统的可靠性。
(2)当第一局部校验节点发生故障时
如图5所示，例如第一局部校验节点q0发生故障，可通过该第一局部校验节点对应的局部组中的所有普通节点d1、d2、d3、d4、d5、d6进行异或运算即可修复所述的第一局部校验节点q0；或通过全局校验节点c和其他局部组对应的第一局部校验节点q1进行异或运算来修复。
如图1中qi(0≤i≤1)通过异或运算生成了全局校验节点，则任意一个第一局部校验块故障时，都可以通过另外两个校验节点异或运算实现快速修复，其中qi也可以通过与之对应的数据块进行异或运算进行修复。因为三个校验节点在用户获取数据文件时不被集中访问，数据块可以优先利用系统带宽进行文件恢复，待系统空闲时，再对校验节点进行恢复。
(3)当第二局部校验节点发生故障时
如图4所示，例如第二局部校验节点p1故障，则当普通节点中的数据块不被访问时，将该第二局部校验节点在所有局部组中对应的普通节点d1和d7进行异或运算即可修复所述的第二局部校验节点p1。
当单个第二局部校验节点发生故障时：如果图1中校验块pj(0≤j≤5)失效，pj是通过数据块异或运算生成，因为校验节点数据节点故障时系统保证了其修复的高效性和可靠性，所以pj失效时可以通过两个数据块实现快速高效的修复。而且系统恢复原文件下载所有数据块即可，当系统空闲不被集中访问时通过两个数据块异或运算可实现故障校验节点的快速修复，这样保证了带宽被充分利用，也避免了系统带宽在同一时间内集中访问的瓶颈。
(4)当全局校验节点发生故障时
如图6所示，当c发生故障，因为全局校验节点c包含两个第一局部校验节点的数据信息，因此通过对两个第一局部校验节点q0和q1进行亦或运算即可修复；因为第一局部校验节点q0和q1包含了全部普通节点的数据信息，因此也可以通过对所有普通节点d1至d12进行异或运算修复。

Claims (7)

1.一种分布式存储系统中类局部重构码的编码方法，其特征在于，包括：
将数据文件分为多个数据块，将所述的多个数据块分别存储在多个数据节点，然后将所述的数据节点按照循环存储的方式分为局部组；
所述的每个局部组中的数据块均进行异或运算生成第一局部校验位，将所有局部组中对应位置的数据块均进行异或运算生成第二局部校验位，将所有局部组生成的第一局部校验位进行异或运算生成全局校验位；
所述的循环存储方式是指将d个数据块存储为一个局部组，再将另外d个数据块存储为另外一个局部组，直至数据块存储完毕；
所述的对应位置是指：当采用循环存储方式时，每个局部组中数据节点的个数是一致的，若果将每个数据组中的数据节点按照行列进行对齐排列，一个局部组中的数据节点记为一行，则所述的对应位置即为每一行中的相同列的位置。
2.如权利要求1所述的分布式存储系统中类局部重构码的编码方法，其特征在于，所述的数据块的个数为偶数。
3.一种基于权利要求1的编码方法进行节点故障修复的方法，其特征在于，包括以下步骤：
利用权利要求1的分布式存储系统中类局部重构码的编码方法对分布式存储系统中所存储的数据文件进行编码；
分别记所述的第一局部校验位所在数据节点、第二局部校验位所在数据节点为第一局部校验节点、第二局部校验节点，全局校验位所在数据节点为全局校验节点，其他数据节点记为普通节点，则：
当所述普通节点发生故障时，通过该普通节点对应的第一局部校验节点和所述普通节点所在局部组中的其他普通节点进行异或运算，即可修复所述普通节点；
当第一局部校验节点发生故障时，通过该第一局部校验节点对应的局部组中的所有普通节点进行异或运算即可修复所述的第一局部校验节点；
当第二局部校验节点发生故障时，则将该第二局部校验节点在所有局部组中对应的普通节点进行异或运算即可修复所述的第二局部校验节点；
当全局校验节点发生故障时，通过对所有第一局部校验节点进行异或运算即可修复全局校验节点。
4.如权利要求3所述的节点故障修复的方法，其特征在于，当所述的普通节点发生故障时，还可通过该普通节点对应的第二局部校验节点与该普通节点在其他局部组中对应的普通节点进行异或运算来进行修复。
5.如权利要求3所述的节点故障修复的方法，其特征在于，当所述的普通节点发生故障时，还可通过全局校验节点和所述普通节点所在局部组中其他普通节点、其他局部组对应的第一局部校验节点进行异或运算进行修复。
6.如权利要求3所述的节点故障修复的方法，其特征在于，当第一局部校验节点发生故障时，还可通过全局校验节点与其他局部组对应的第一局部校验节点进行异或运算进行修复。
7.如权利要求3所述的节点故障修复的方法，其特征在于，当全局校验节点发生故障时，还可通过对所有普通节点进行异或运算进行修复。
CN201810217605.4A 2018-03-16 2018-03-16 分布式存储系统中类局部重构码编码及节点故障修复方法 Active CN108347306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810217605.4A CN108347306B (zh) 2018-03-16 2018-03-16 分布式存储系统中类局部重构码编码及节点故障修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810217605.4A CN108347306B (zh) 2018-03-16 2018-03-16 分布式存储系统中类局部重构码编码及节点故障修复方法

Publications (2)

Publication Number Publication Date
CN108347306A CN108347306A (zh) 2018-07-31
CN108347306B true CN108347306B (zh) 2020-09-11

Family

ID=62957484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810217605.4A Active CN108347306B (zh) 2018-03-16 2018-03-16 分布式存储系统中类局部重构码编码及节点故障修复方法

Country Status (1)

Country Link
CN (1) CN108347306B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047707A1 (zh) * 2018-09-03 2020-03-12 深圳花儿数据技术有限公司 分布式存储系统的数据编码、解码及修复方法
CN111224747A (zh) * 2019-12-19 2020-06-02 湖北大学 可降低修复带宽和磁盘读取开销的编码方法及其修复方法
CN112463435A (zh) * 2020-12-07 2021-03-09 广东工业大学 一种基于数据块访问频度的局部修复方法
CN113258936B (zh) * 2021-06-03 2021-10-15 成都信息工程大学 一种基于循环移位的双重编码的构造方法
CN117370067B (zh) * 2023-12-07 2024-04-12 融科联创(天津)信息技术有限公司 一种大规模对象存储系统的数据布局和编码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461781A (zh) * 2014-12-01 2015-03-25 华中科技大学 一种基于纠删码的数据块重建方法
CN106788891A (zh) * 2016-12-16 2017-05-31 陕西尚品信息科技有限公司 一种适用于分布式存储的最优局部修复码构造方法
CN106776112A (zh) * 2017-02-09 2017-05-31 长安大学 一种基于Pyramid码的局部性修复编码方法
CN107656832A (zh) * 2017-09-18 2018-02-02 华中科技大学 一种低数据重建开销的纠删码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461781A (zh) * 2014-12-01 2015-03-25 华中科技大学 一种基于纠删码的数据块重建方法
CN106788891A (zh) * 2016-12-16 2017-05-31 陕西尚品信息科技有限公司 一种适用于分布式存储的最优局部修复码构造方法
CN106776112A (zh) * 2017-02-09 2017-05-31 长安大学 一种基于Pyramid码的局部性修复编码方法
CN107656832A (zh) * 2017-09-18 2018-02-02 华中科技大学 一种低数据重建开销的纠删码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Locally Minimum Storage Regenerating Codes in Distributed Cloud Storage Systems;Jing Wang;《China Communications》;20171130;全文 *
基于简单再生码的分段编码方案;王静;《计算机科学》;20160831;全文 *

Also Published As

Publication number Publication date
CN108347306A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN108347306B (zh) 分布式存储系统中类局部重构码编码及节点故障修复方法
US20210342223A1 (en) Systems and methods for adaptive error-correction coding
CN108170555B (zh) 一种数据恢复方法及设备
CN109643258B (zh) 使用高速率最小存储再生擦除代码的多节点修复
US11531593B2 (en) Data encoding, decoding and recovering method for a distributed storage system
US9600365B2 (en) Local erasure codes for data storage
CN103688515B (zh) 一种最小带宽再生码的编码和存储节点修复方法
CN110178122B (zh) 分布式存储系统的数据同步修复方法及存储介质
US9465692B2 (en) High reliability erasure code distribution
US20060242542A1 (en) Correcting multiple block data loss in a storage array using a combination of a single diagonal parity group and multiple row parity groups
WO2018171111A1 (zh) 多容错性的mds阵列码编码以及修复方法
US20120023362A1 (en) System and method for exact regeneration of a failed node in a distributed storage system
US11500725B2 (en) Methods for data recovery of a distributed storage system and storage medium thereof
JP2011504269A (ja) 並列リードソロモンｒａｉｄ（ｒｓ−ｒａｉｄ）アーキテクチャ、デバイス、および方法
CN105353974B (zh) 一种适用于磁盘阵列及分布式存储系统的二容错编码方法
Le Scouarnec Exact scalar minimum storage coordinated regenerating codes
CN106874140B (zh) 数据存储方法及装置
WO2018112980A1 (zh) 存储控制器、数据处理芯片及数据处理方法
US10817372B2 (en) Systems and methods for ultra fast ECC with parity
US20120198195A1 (en) Data storage system and method
CN105808170B (zh) 一种能够修复单磁盘错误的raid6编码方法
CN102843212B (zh) 编解码处理方法及装置
CN116501553B (zh) 数据恢复方法、装置、系统、电子设备及存储介质
CN106776129A (zh) 一种基于最小存储再生码的多节点数据文件的修复方法
CN108762978B (zh) 一种局部部分重复循环码的分组构造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240322

Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 710064 No. 126 central section of South Ring Road, Yanta District, Xi'an, Shaanxi

Patentee before: CHANG'AN University

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240517

Address after: 430000 No.1, 15th floor, unit 2, building C8, Rongke Zhigu industrial project (phase III), Liqiao village, Hongshan District, Wuhan City, Hubei Province

Patentee after: Wuhan Yingxin Technology Co.,Ltd.

Country or region after: China

Address before: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee before: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Country or region before: China