CN108628697A - 一种基于二进制的节点修复方法及系统 - Google Patents

一种基于二进制的节点修复方法及系统 Download PDF

Info

Publication number
CN108628697A
CN108628697A CN201711362784.2A CN201711362784A CN108628697A CN 108628697 A CN108628697 A CN 108628697A CN 201711362784 A CN201711362784 A CN 201711362784A CN 108628697 A CN108628697 A CN 108628697A
Authority
CN
China
Prior art keywords
node
parity check
repair
data packet
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711362784.2A
Other languages
English (en)
Other versions
CN108628697B (zh
Inventor
代明军
王霞
王晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201711362784.2A priority Critical patent/CN108628697B/zh
Publication of CN108628697A publication Critical patent/CN108628697A/zh
Application granted granted Critical
Publication of CN108628697B publication Critical patent/CN108628697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

本发明适用于布式存储技术改进领域，提供了一种基于二进制的节点修复方法，所述节点修复方法包括以下步骤：S1、在piggyback编码框架上对（n，k）码将系统节点分组并定义系统向量和编码矩阵；S2、将定义的编码矩阵代入编码结构中获取相应的编码方式；S3、根据编码方式通过zigzag解码对受损节点进行修复。在分布式存储系统中，根据其特殊的编码方式，使设计的码即满足（n，k）性质；而且在节点修复过程中，可以有效的减小数据的读取量和下载量，从而提高修复效率。

Description

一种基于二进制的节点修复方法及系统
技术领域
本发明属于分布式存储技术改进领域，尤其涉及一种基于二进制的节点修复方法及系统。
背景技术
在大型的分布式存储系统中，我们能存储和分析大规模的数据，然而在日常操作过程中，系统中的节点存在各种故障，例如：因磁盘损坏或者断线导致的数据丢失。因此，确保系统中节点的可靠性和可用性就显的尤为重要。
传统的分布式存储系统中，存储数据常常采用重复策略。即通过复制多个数据副本并存储在系统中的节点上。当有数据损坏需要进行数据恢复时，只需要找到对应的节点中所存储的数据，即可恢复。
近年来，相关学者提出了一种最大距离可分码(MDS)，通过增加冗余来减小存储开销，同时保证节点在修复时数据的可靠性。其编码方式是：将原始的数据等分成k个原始数据包，然后将这k个原始数据包映射成n (n≥k)个编码数据包，任取k个编码数据包都可以恢复出k个原始数据包。其中最典型的RS码已经广泛的应用在现代数字通信、分布式存储系统中。
重复制的存储方式：由于每个节点都需要备份相应的数据副本，这样不仅会产生大量的冗余数据，加重服务器的负担，并且节点的利用率不高，造成资源的浪费。此外，随着系统中数据量的增加，存储开销也会呈指数型增加。
(n，k)码的在节点修复的过程中，需要读取所选取的修复节点中的全部数据，并下载下来，下载的数据量是所需恢复的数据量的k倍。这样不仅加重了网络带宽的负担，易损坏磁盘的性能。在修复过程中还过多的占用了系统的I/O口资源。并且在实际操作过程中，在某一特定的时间点，分布式存储系统中节点可能会不允许某些数据的读取或者下载请求。
发明内容
本发明的目的在于提供一种基于二进制的节点修复方法及系统，旨在解决修复效率低的技术问题。
本发明是这样实现的，一种基于二进制的节点修复方法，所述节点修复方法包括以下步骤：
S1、在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a1 a2 … ak}T，b＝{b1 b2 … bk}T， c＝{c1 c2 … ck}T，d＝{d1 d2… dk}T；编码矩阵：
S2、将定义的编码矩阵代入编码结构中获取相应的编码方式；
S3、根据编码方式通过zigzag解码对受损节点进行修复；
其中，k表示系统节点的个数，r表示奇偶校验节点的个数，n＝k+r，n 表示总共节点个数，T代表向量的转置。
本发明的进一步技术方案是：所述步骤S1中r大于等于2，k/r为整数。
本发明的进一步技术方案是：所述步骤S1中在建立编码矩阵时通过移位生成存储开销，所述存储开销与奇偶校验节点和系统节点的个数有关，r 越大，存储开销越大，k越大，存储开销越大。
本发明的进一步技术方案是：所述步骤S3中受损节点修复包括系统节点修复和奇偶校验节点修复；所述系统节点修复时，故障节点时，修复系统节点需要m×(k+|S1|)个数据包修复故障节点；故障节点h∈Sr时，修复系统节点需要m×(k+|Sr|+r-2)个数据包修复故障节点，其中，m是任意的正整数。
本发明的进一步技术方案是：所述奇偶校验节点修复时，(n，k)码满足CP-BZD性质，若第一个奇偶校验节点(Node k+1)受损，需从剩余的n-1个节点中任取k个节点，每个节点存储2m个数据包，修复第一个奇偶校验节点需要2mk个数据包；若修复其他奇偶校验节点L， L∈{k+2，…，k+r}，其修复与r和m的值相关，当r＝2时，从每个系统节点中下载存储顺序为奇数的数据包和每个系统节点中存储的最后一个数据包，还需读取和下载节点k+1的第3个、第5个，第2m-1个数据包修复受损节点；当r≥3时，从每个系统节点中下载存储顺序为奇数的数据包 {qi}，i＝{1，…，k}和每个系统节点中存储的最后一个数据包，以及读取f1，f2∈{k+1，…，k+r}\L中存储顺序为偶数的数据包修复故障节点的所有信息位，其中，m是任意的正整数，f表示除去故障节点的其他奇偶校验节点。
本发明的另一目的在于提供一种基于二进制的节点修复系统，所述节点修复系统包括：
定义模块，用于在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a1 a2 … ak}T， b＝{b1 b2 … bk}T，c＝{c1 c2 … ck}T，d＝{d1 d2 … dk}T；编码矩阵：
编码方式获取模块，用于将定义的编码矩阵代入编码结构中获取相应的编码方式；
节点修复模块，用于根据编码方式通过zigzag解码对受损节点进行修复；
其中，k表示系统节点的个数，r表示奇偶校验节点的个数，n＝k+r，n 表示总共节点个数，T代表向量的转置。
本发明的进一步技术方案是：所述定义模块中r大于等于2，k/r为整数。
本发明的进一步技术方案是：所述定义模块中在建立编码矩阵时通过移位生成存储开销，所述存储开销与奇偶校验节点和系统节点的个数有关， r越大，存储开销越大，k越大，存储开销越大。
本发明的进一步技术方案是：所述节点修复模块中受损节点修复包括系统节点修复和奇偶校验节点修复；所述系统节点修复时，故障节点时，修复系统节点需要m×(k+|S1|)个数据包修复故障节点；故障节点h∈Sr时，修复系统节点需要m×(k+|Sr|+r-2)个数据包修复故障节点，其中，m是任意的正整数。
本发明的进一步技术方案是：所述奇偶校验节点修复时，(n，k)码满足CP-BZD性质，若第一个奇偶校验节点(Node k+1)受损，需从剩余的n-1个节点中任取k个节点，每个节点存储2m个数据包，修复第一个奇偶校验节点需要2mk个数据包；若修复其他奇偶校验节点L， L∈{k+2，…，k+r}，其修复与r和m的值相关，当r＝2时，从每个系统节点中下载存储顺序为奇数的数据包和每个系统节点中存储的最后一个数据包，还需读取和下载节点k+1的第3个、第5个，第2m-1个数据包修复受损节点；当r≥3时，从每个系统节点中下载存储顺序为奇数的数据包 {qi}，i＝{1，…，k}和每个系统节点中存储的最后一个数据包，以及读取 f1，f2∈{k+1，…，k+r}\L中存储顺序为偶数的数据包修复故障节点的所有信息位，其中，m是任意的正整数，f表示除去故障节点的其他奇偶校验节点。
本发明的有益效果是：在分布式存储系统中，根据其特殊的编码方式，使设计的码即满足(n，k)性质；而且在节点修复过程中，可以有效的减小数据的读取量和下载量，从而提高修复效率。
附图说明
图1是本发明实施例提供的基于二进制的节点修复方法的流程图。
图2是本发明实施例提供的64码示意图。
图3是本发明实施例提供的基于二进制的节点修复系统的结构框图。
具体实施方式
如图1-2所示，本发明提供的基于二进制的节点修复方法，其详述如下：
步骤S1，在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵；在piggyback的编码框架上，使用zigzag解码，由此来降低解码复杂度和提高故障节点的修复效率，是对K.V.Rashmi等人提出的节点修复方案的一个改进。提出的(n，k)码具有CP-BZD性质。
CP-BZD性质的(n，k)码是指在二进制域可以进行锯齿解码的码，它可以容忍最多n-k个节点同时发生故障。把原始信息s分成k个长度为L 比特的数据包，分别表示为的第j个比特表示为si，j，且 Si，j∈{0，1}。根据(n，k)码，将这k个数据包编码成n个数据包(n＞k)，分别表示为c1，…，cn。此外，我们有ci＝si，其中i＝1，…，k。我们把前k个节点包称为系统节点，其余n-k个数据包称为奇偶校验节点。
对于任意的(n，k)码，k表示系统节点的个数，系统节点中存储的数据包我们称之为原始数据包。r(r＝n-k)表示奇偶校验节点的个数，奇偶校验节点中存储的数据包我们称之为校验数据包，其中，原始数据包和校验数据包我们统称为数据包，每个节点中可以存储多个数据包。本发明中，要求r≥2，k/r为整数。我们将系统节点分为r组，表示为S1……Sr，其中
定义系统向量：a＝{a1 a2 … ak}T，b＝{b1 b2 … bk}T
c＝{c1 c2 … ck}T，d＝{d1 d2 … dk}T
T代表向量的转置，且每组系统分量之间相互独立。
编码矩阵P和Q中的每个元素表示相应的原始数据包在构成校验数据包时的移位位数。其中0表示移位是0比特，k表示移位是k比特，-1表示与之相应的原始数据包不参与运算。
步骤S2，将定义的编码矩阵代入编码结构中获取相应的编码方式；用 2m表示每个节点中存储的数据包的个数，其中m是任意的正整数，当m＝2 时，其中一般形式的编码方式如表1所示：
表1
其中：Vr＝Pr+qr，
存储开销是指编码矩阵通过移位而产生的存储冗余，在本发明中，存储开销由P矩阵中最大的元素确定。存储开销：O＝(r-1)×(k-1)。
因此，存储开销与奇偶校验节点和系统节点的个数有关，r越大，存储开销越大，k越大，存储开销越大。
步骤S3，根据编码方式通过zigzag解码对受损节点进行修复；基于 piggyback的编码框架，在单个节点发生故障时，可以通过读取和下载特定节点中存储的数据包来减少数据下载量，从而提高节点的平均修复效率。此外本发明中，当每个节点中存储的数据包可以扩展到2m时，编码规则与表1一致，需要改变的是奇偶校验节点k+1中存储的数据包，需要把奇偶校验节点k+2到k+r中存储的第j∈{2，4，…2m-2}个数据包全部相加至奇偶校验节点k+1的第j+1个数据包。
修复系统节点：
1、故障节点不失一般性，我们假设h∈S1，如表1所示，我们首先从分布式存储系统中下载k个数据包，这k个数据包包括 {b1，…，bh-1，bh+1，…，bk，P1a}，因此我们就可以解码bh，即得到系统向量 b＝{b1 b2 … bk}T，又因为ah可以通过下载数据包{ai}i∈S1\{h}，以及P2b+q2a得到，即k+S1个数据包就可以得到ah，bh。同理通过下载{d1，…，dh-1，dh+1，…，dk，p1d}，可以解码得出dh，最后ch可以由P2d+q2c和{ci}i∈S1解码得出，在修复过程中，只需要2×(k+|S1|)个数据包即可恢复故障系统节点h。当m是任意的正整数时，修复系统节点需要m×(k+|S1|)个数据包即可修复故障节点。
2、故障节点h∈Sr，如表1所示，我们首先从分布式存储系统中下载k 个数据包，这k个数据包包括{b1，…，bh-1，bh+1，…，bk，p1a}，因此我们就可以解码bh，再从奇偶校验节点k+r中下载Vra+Prb，同时读取并下载奇偶校验节点k+2 到奇偶校验节点k+r-1中存储的第二个数据包{pib+qia}i∈{2，…，r-1}，即可解码得出ah，修复ah，bh整个过程需要读取和下载的数据包的个数是k+|Sr|+r-2，如表1所示同理可以修复ch，dh，当m是任意的正整数时，修复系统节点需要m×(k+|Sr|+r-2)个数据包即可修复故障节点。
修复奇偶校验节点：
若第一个奇偶校验节点(Node k+1)受损，由于本发明的(n，k)码满足CP-BZD性质，需要从剩下的n-1个节点中任取k个节点，由于每个节点存储2m个数据包，则需要2mk个数据包才能恢复第一个奇偶校验节点。
修复其他的奇偶校验节点L，其中L∈{k+2，…，k+r}，其修复效率与r和m的值有关，当r＝2时，需要从每个系统节点中下载存储顺序为奇数的数据包{qi}，i＝{1，…，k}和每个系统节点中存储的最后一个数据包，此外还需要读取和下载节点k+1的第3个、第5个，第2m-1个数据包，即可修复受损节点。当r≥3时，我们需要从每个系统节点中下载存储顺序为奇数的数据包{qi}，i＝{1，…，k}和每个系统节点中存储的最后一个数据包，以及读取 f1，f2∈{k+1，…，k+r}\L中存储顺序为偶数的数据包。即可恢复故障节点的所有信息位，f表示除去故障节点的其他奇偶校验节点。
对于(6，4)码，k＝4，r＝6-4＝2.
我们首先将系统节点分为2组，S1＝{Nodel，Node2}S2＝{Node3，Node4}定义系统向量：a＝{a1，a2，a3，a4}T；b＝{b1，b2，b3，b4}T；c＝{c1，c2，c3，c4}T；d＝{d1，d2，d3，d4}T
编码矩阵为：
q2＝{O，1，-1，-1}
其中，0，1，2，3分别表示原始分量的移位是0比特，1个比特，2个比特， 3个比特，-1表示与之相对应的原始分量不参加编码运算。
相应的编码方式如下：
表2
CP-BZD性质：从6个节点中任取4个节点可以恢复出所有的信息，不失一般性，我们取
Node 3、Node 4、Node 5、Node 6，通过zigzag解码从剩下的节点中修复{ai，bj}i，j＝1，2，3，4，因为Node 3和Node 4是系统节点，存储的数据可以直接得到。所以我们只需在奇偶校验节点Node 5和Node 6中解码出 {ai，bj}i，j＝1，2，即可，在节点6的第一个编码数据包中，s1，5没有和其他比特位“重叠”，因此可以直接解码得出，我们标注为1，表示是第一个解码得出的比特位。将s1，5代入到节点5的第二个数据包，通过异或(XOR)运算可以解码得出s2，5，s2，5是第二个解码得到的比特位，我们标注为2，我们继续将s2，5代入到节点6的第一个编码数据包中，检验数据包的第二个比特位是 s2，5+s1，6，因此我们可以解码得到s1，6，标注为3。解码过程按照如上方式进行，我们可以恢复出系统中所有的信息。
节点修复过程：
若Node1受损，取数据包b2，b3，b4，p1b，我们就可以得到b1，再取a2，p2b+q2a即可修复a1。以同样的方式可以解码得出c1，d1。按照此修复方案，只需要12个数据包即可修复Node1，相对于传统的MDS码修复Node1需要16个数据包的情况，提高了25％的修复效率。同理，Node2，Node3，Node4发生故障时，也只需要12个数据包即可修复；
若Node5受损，与传统的MDS码一样，需要16个数据包才能修复故障节点；
若Node6受损，则需取数据包{ai ci di}i＝1，2，3.4，我们可以很容易的恢复出节点6的第3个和第4个数据包，即p2c+(p2d+q2c)和p2d+q2c，再取节点5 的第三个数据包p1c+(p2b+q1a)即可恢复出节点6，整个修复过程只需要13个数据包，相对于传统的MDS码需要16个数据包的情况，提高了近19％的修复效率
存储开销为：O＝(2-1)×(4-1)＝3。
如图3所示，本发明的另一目的在于提供一种基于二进制的节点修复系统，所述节点修复系统包括：
定义模块，用于在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a1 a2 … ak}T， b＝{b1 b2 … bk}T，c＝{c1 c2 … ck}T，d＝{d1 d2 … dk}T；编码矩阵：
编码方式获取模块，用于将定义的编码矩阵代入编码结构中获取相应的编码方式；
节点修复模块，用于根据编码方式通过zigzag解码对受损节点进行修复；
其中，k表示系统节点的个数，r表示奇偶校验节点的个数，n＝k+r，n 表示总共节点个数，T代表向量的转置。
所述定义模块中r大于等于2，k/r为整数。
所述定义模块中在建立编码矩阵时通过移位生成存储开销，所述存储开销与奇偶校验节点和系统节点的个数有关，r越大，存储开销越大，k越大，存储开销越大。
所述节点修复模块中受损节点修复包括系统节点修复和奇偶校验节点修复；所述系统节点修复时，故障节点时，修复系统节点需要m×(k+|S1|) 个数据包修复故障节点；故障节点h∈Sr时，修复系统节点需要m×(k+|Sr|+r-2) 个数据包修复故障节点，其中，m是任意的正整数。
所述奇偶校验节点修复时，(n，k)码满足CP-BZD性质，若第一个奇偶校验节点(Node k+1)受损，需从剩余的n-1个节点中任取k个节点，每个节点存储2m个数据包，修复第一个奇偶校验节点需要2mk个数据包；
其修复效率与r和m的值有关，当r＝2时，需要从每个系统节点中下载存储顺序为奇数的数据包{qi}，i＝{1，…，k}和每个系统节点中存储的最后一个数据包，此外还需要读取和下载节点k+1的第3个、第5个，第2m-1 个数据包，即可修复受损节点。当r≥3时，我们需要从每个系统节点中下载存储顺序为奇数的数据包{qi}，i＝{1，…，k}和每个系统节点中存储的最后一个数据包，以及读取f1，f2∈{k+1，…，k+r}\L中存储顺序为偶数的数据包。即可恢复故障节点的所有信息位，f表示除去故障节点的其他奇偶校验节点。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于二进制的节点修复方法，其特征在于，所述节点修复方法包括以下步骤：
S1、在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a1 a2 ... ak}T，b＝{b1 b2 ... bk}T，c＝{c1 c2 ... ck}T，d＝{d1 d2... dk}T；编码矩阵：
S2、将定义的编码矩阵代入编码结构中获取相应的编码方式；
S3、根据编码方式通过zigzag解码对受损节点进行修复；
其中，k表示系统节点的个数，r表示奇偶校验节点的个数，n＝k+r，n表示总共节点个数，T代表向量的转置。
2.根据权利要求1所述基于二进制的节点修复方法，其特征在于，所述步骤S1中r大于等于2，k/r为整数。
3.根据权利要求2所述基于二进制的节点修复方法，其特征在于，所述步骤S1中在建立编码矩阵时通过移位生成存储开销，所述存储开销与奇偶校验节点和系统节点的个数有关，r越大，存储开销越大，k越大，存储开销越大。
4.根据权利要求3所述基于二进制的节点修复方法，其特征在于，所述步骤S3中受损节点修复包括系统节点修复和奇偶校验节点修复；所述系统节点修复时，故障节点时，修复系统节点需要m×(k+|S1|)个数据包修复故障节点；故障节点h∈Sr时，修复系统节点需要m×(k+|Sr|+r-2)个数据包修复故障节点，其中，m是任意的正整数。
5.根据权利要求4所述基于二进制的节点修复方法，其特征在于，所述奇偶校验节点修复时，(n，k)码满足CP-BZD性质，若第一个奇偶校验节点(Node k+1)受损，需从剩余的n-1个节点中任取k个节点，每个节点存储2m个数据包，修复第一个奇偶校验节点需要2mk个数据包；若修复其他奇偶校验节点L，L∈{k+2，...，k+r}，其修复与r和m的值相关，当r＝2时，从每个系统节点中下载存储顺序为奇数的数据包和每个系统节点中存储的最后一个数据包，还需读取和下载节点k+1的第3个、第5个，第2m-1个数据包修复受损节点；当r≥3时，从每个系统节点中下载存储顺序为奇数的数据包{qi}，i＝{1，...，k}和每个系统节点中存储的最后一个数据包，以及读取f1，f2∈{k+1，...，k+r}\L中存储顺序为偶数的数据包修复故障节点的所有信息位，其中，m是任意的正整数，f表示除去故障节点的其他奇偶校验节点。
6.一种基于二进制的节点修复系统，其特征在于，所述节点修复系统包括：
定义模块，用于在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a1 a2 ... ak}T，b＝{b1 b2 ... bk}T，c＝{c1 c2 ... ck}T，d＝{d1 d2 ... dk}T；编码矩阵：
编码方式获取模块，用于将定义的编码矩阵代入编码结构中获取相应的编码方式；
节点修复模块，用于根据编码方式通过zigzag解码对受损节点进行修复；
其中，k表示系统节点的个数，r表示奇偶校验节点的个数，n＝k+r，n表示总共节点个数，T代表向量的转置。
7.根据权利要求6所述基于二进制的节点修复系统，其特征在于，所述定义模块中r大于等于2，k/r为整数。
8.根据权利要求7所述基于二进制的节点修复系统，其特征在于，所述定义模块中在建立编码矩阵时通过移位生成存储开销，所述存储开销与奇偶校验节点和系统节点的个数有关，r越大，存储开销越大，k越大，存储开销越大。
9.根据权利要求8所述基于二进制的节点修复系统，其特征在于，所述节点修复模块中受损节点修复包括系统节点修复和奇偶校验节点修复；所述系统节点修复时，故障节点时，修复系统节点需要m×(k+|S1|)个数据包修复故障节点；故障节点h∈Sr时，修复系统节点需要m×(k+|Sr|+r-2)个数据包修复故障节点，其中，m是任意的正整数。
10.根据权利要求9所述基于二进制的节点修复系统，其特征在于，所述奇偶校验节点修复时，(n，k)码满足CP-BZD性质，若第一个奇偶校验节点(Node k+1)受损，需从剩余的n-1个节点中任取k个节点，每个节点存储2m个数据包，修复第一个奇偶校验节点需要2mk个数据包；若修复其他奇偶校验节点L，L∈{k+2，...，k+r}，其修复与r和m的值相关，当r＝2时，从每个系统节点中下载存储顺序为奇数的数据包和每个系统节点中存储的最后一个数据包，还需读取和下载节点k+1的第3个、第5个，第2m-1个数据包修复受损节点；当r≥3时，从每个系统节点中下载存储顺序为奇数的数据包{qi}，i＝{1，...，k}和每个系统节点中存储的最后一个数据包，以及读取f1，f2∈{k+1，...，k+r}\L中存储顺序为偶数的数据包修复故障节点的所有信息位，其中，m是任意的正整数，f表示除去故障节点的其他奇偶校验节点。
CN201711362784.2A 2017-12-15 2017-12-15 一种基于二进制的节点修复方法及系统 Active CN108628697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711362784.2A CN108628697B (zh) 2017-12-15 2017-12-15 一种基于二进制的节点修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711362784.2A CN108628697B (zh) 2017-12-15 2017-12-15 一种基于二进制的节点修复方法及系统

Publications (2)

Publication Number Publication Date
CN108628697A true CN108628697A (zh) 2018-10-09
CN108628697B CN108628697B (zh) 2021-05-04

Family

ID=63705865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711362784.2A Active CN108628697B (zh) 2017-12-15 2017-12-15 一种基于二进制的节点修复方法及系统

Country Status (1)

Country Link
CN (1) CN108628697B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362537A (zh) * 2019-07-09 2019-10-22 深圳大学 基于锯齿解码的全参数私有信息检索方法
CN110362610A (zh) * 2019-07-09 2019-10-22 深圳大学 基于锯齿解码的适用于n＜2k的信息检索方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719086A (zh) * 2009-11-30 2010-06-02 成都市华为赛门铁克科技有限公司 磁盘阵列容错处理方法和装置及容错系统
CN105260259A (zh) * 2015-09-16 2016-01-20 长安大学 一种基于系统最小存储再生码的局部性修复编码方法
CN106776129A (zh) * 2016-12-01 2017-05-31 陕西尚品信息科技有限公司 一种基于最小存储再生码的多节点数据文件的修复方法
CN107241414A (zh) * 2017-06-09 2017-10-10 深圳大学 一种基于zigzag 解码的私人信息检索方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719086A (zh) * 2009-11-30 2010-06-02 成都市华为赛门铁克科技有限公司 磁盘阵列容错处理方法和装置及容错系统
CN105260259A (zh) * 2015-09-16 2016-01-20 长安大学 一种基于系统最小存储再生码的局部性修复编码方法
CN106776129A (zh) * 2016-12-01 2017-05-31 陕西尚品信息科技有限公司 一种基于最小存储再生码的多节点数据文件的修复方法
CN107241414A (zh) * 2017-06-09 2017-10-10 深圳大学 一种基于zigzag 解码的私人信息检索方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SIDDHARTHA KUMAR等: "A Famliy of Erasure Correcting Codes with Low Repair Bandwidth and Low Repair Complexity", 《IEEE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362537A (zh) * 2019-07-09 2019-10-22 深圳大学 基于锯齿解码的全参数私有信息检索方法
CN110362610A (zh) * 2019-07-09 2019-10-22 深圳大学 基于锯齿解码的适用于n＜2k的信息检索方法
CN110362537B (zh) * 2019-07-09 2021-12-28 深圳大学 基于锯齿解码的全参数私有信息检索方法
CN110362610B (zh) * 2019-07-09 2021-12-28 深圳大学 基于锯齿解码的适用于n＜2k的信息检索方法

Also Published As

Publication number Publication date
CN108628697B (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
US9722637B2 (en) Construction of MBR (minimum bandwidth regenerating) codes and a method to repair the storage nodes
CN105356968B (zh) 基于循环置换矩阵的网络编码的方法及系统
Shum et al. Exact minimum-repair-bandwidth cooperative regenerating codes for distributed storage systems
Cadambe et al. Optimal repair of MDS codes in distributed storage via subspace interference alignment
CN106776129B (zh) 一种基于最小存储再生码的多节点数据文件的修复方法
CN105356892B (zh) 网络编码的方法及系统
Zhu et al. General fractional repetition codes for distributed storage systems
CN108132854B (zh) 一种可同时恢复数据元素及冗余元素的纠删码解码方法
CN112799875B (zh) 基于高斯消元进行校验恢复的方法、系统、设备及介质
Shahabinejad et al. A class of binary locally repairable codes
CN105703782B (zh) 一种基于递增移位矩阵的网络编码方法及系统
CN108762978B (zh) 一种局部部分重复循环码的分组构造方法
CN108628697A (zh) 一种基于二进制的节点修复方法及系统
CN109358980A (zh) 一种对数据更新和单磁盘错误修复友好的raid6编码方法
US10187084B2 (en) Method of encoding data and data storage system
CN113258936B (zh) 一种基于循环移位的双重编码的构造方法
CN108199720B (zh) 一种减小存储开销和提高修复效率的节点修复方法及系统
CN104782101A (zh) 用于分布式网络存储的自修复码的编码、重构和恢复方法
WO2017041232A1 (zh) 一种二进制循环码的编解码框架
CN110781024B (zh) 对称部分重复码的矩阵构造方法及故障节点修复方法
CN108536555B (zh) 一种基于BCube（n,b）数据中心的数据存取方法
CN109521955B (zh) 基于分层交叉设计的异构部分重复码构造及转换方法
CN109257049B (zh) 一种修复二进制阵列码校验矩阵的构造方法及修复方法
CN113419895B (zh) 一种降低储存集群系统中修复开销的优化方法及装置
CN113258938B (zh) 一种单节点故障快速修复纠删码的构造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181009

Assignee: Shenzhen Yunchuang Netcom Information Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2023980047247

Denomination of invention: A Binary Based Node Repair Method and System

Granted publication date: 20210504

License type: Common License

Record date: 20231116

Application publication date: 20181009

Assignee: Yuncheng Holding (Shenzhen) Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2023980047231

Denomination of invention: A Binary Based Node Repair Method and System

Granted publication date: 20210504

License type: Common License

Record date: 20231116

Application publication date: 20181009

Assignee: Shenzhen Suowei Information Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2023980047180

Denomination of invention: A Binary Based Node Repair Method and System

Granted publication date: 20210504

License type: Common License

Record date: 20231115

Application publication date: 20181009

Assignee: Sankexiaocao (Shenzhen) Internet of Things Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2023980047154

Denomination of invention: A Binary Based Node Repair Method and System

Granted publication date: 20210504

License type: Common License

Record date: 20231115

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181009

Assignee: SHENZHEN MAGIC-RAY TECHNOLOGY Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2023980048336

Denomination of invention: A Binary Based Node Repair Method and System

Granted publication date: 20210504

License type: Common License

Record date: 20231127

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181009

Assignee: Shenzhen Huike Storage Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2023980050228

Denomination of invention: A Binary Based Node Repair Method and System

Granted publication date: 20210504

License type: Common License

Record date: 20231205

Application publication date: 20181009

Assignee: JIUZHOU YANGGUANG POWER SUPPLY (SHENZHEN) CO.,LTD.

Assignor: SHENZHEN University

Contract record no.: X2023980050235

Denomination of invention: A Binary Based Node Repair Method and System

Granted publication date: 20210504

License type: Common License

Record date: 20231206

Application publication date: 20181009

Assignee: Shenzhen Huike Energy Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2023980050230

Denomination of invention: A Binary Based Node Repair Method and System

Granted publication date: 20210504

License type: Common License

Record date: 20231206