CN113258936B - 一种基于循环移位的双重编码的构造方法 - Google Patents

一种基于循环移位的双重编码的构造方法 Download PDF

Info

Publication number
CN113258936B
CN113258936B CN202110617582.8A CN202110617582A CN113258936B CN 113258936 B CN113258936 B CN 113258936B CN 202110617582 A CN202110617582 A CN 202110617582A CN 113258936 B CN113258936 B CN 113258936B
Authority
CN
China
Prior art keywords
stripe
transverse
block
check
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110617582.8A
Other languages
English (en)
Other versions
CN113258936A (zh
Inventor
唐聃
耿微
蔡红亮
刘斌
刘龙祥
何瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202110617582.8A priority Critical patent/CN113258936B/zh
Publication of CN113258936A publication Critical patent/CN113258936A/zh
Application granted granted Critical
Publication of CN113258936B publication Critical patent/CN113258936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/11—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits using multiple parity bits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum

Abstract

本发明公开了一种基于循环移位的双重编码的构造方法，包括：分别在横向方向和垂直(纵向)方向进行编码，首先在横向方向上进行编码，生成横向局部校验和全局校验，保证编码的容错能力；其次在垂直方向上进行异或编码得到校验，使编码具有单节点快速修复能力。

Description

一种基于循环移位的双重编码的构造方法
技术领域
本发明涉及编码技术领域，特别涉及一种基于循环移位的双重编码的构造方法。
背景技术
随着信息技术在各个行业和领域的不断发展，数据量呈现出指数级增长的趋势，如何安全存放海量数据成为亟待解决的问题。存储数据量的持续增长导致分布式存储系统的规模越来越大，由于分布式存储系统具有地域的分散性，以及网特性，因此也面临着许多软硬件故障，病毒攻击，以及自然灾害等考验。这些因素都有可能导致多个数据节点失效，以致数据丢失。因此，如何安全的存放数据，让数据具有高可靠性和高可用性，成为了现阶段的分布式安全存储的一个重要课题。
纠删码技术是一种近年来日益引起业界重视的存储系统可靠性增强方法。与多副本技术相比，纠删码技术最大的优势在于保证容错能力的前提下可以大幅降低存储开销和更新代价，同时提高存储效率。因此，纠删码逐步成为了分布式存储系统可靠性增强的重要方法和研究热点。对数据中心产生的各种节点失效数据丢失的问题做出统计分析，其中单节点失效占比高达99.75%，因此如何快速修复单节点故障，降低修复带宽成为研究的重点。
现有技术方案主要分为两类：基于阵列纠删码的单节点修复和基于局部分组码的单节点修复。当前以降低读取数据总量为优化目标的纠删码，具有较高的容错能力和较低的数据读取总量，有的还具有MDS属性，但单节点故障修复的数据读取量和数据传输量仍然较高。
在优化单节点修复开销方面，存在着以下问题：
1）成多倍于原始数据的校验数据，存储开销大，空间利用率低；
2）修复单节点时需要读取所有节点数据，修复成本高；
3）基于构造的单节点错误重构仅对编码的标准形态有效，因此普适性较差；
4）阵列码容错能力有限，阵列尺寸有严格限制；
5）基于分组码的单节点修复，修复成本仍然较高。
发明内容
为解决上述技术问题，本发明提供了一种基于循环移位的双重编码的构造方法。
根据本发明实施例提供的一种基于循环移位的双重编码的构造方法，包括：
将分布式存储系统中的x原始数据节点进行分组和条带划分处理，得到包含y个第一条带的分组；
通过对所述分组内的每个包含原始数据块的第一条带进行横向编码处理，得到所述每个第一条带的横向局部校验块和横向全局校验块，并将所述横向局部校验块和所述横向全局校验块添加到对应的第一条带内，得到包含原始数据块、横向局部校验块和横向全局校验块的第二条带；
根据用户设定的条带集大小，将所有包含原始数据块、横向局部校验块和横向全局校验块的第二条带进行条带集划分处理，得到包含多个第二条带的条带集；
通过分别对所述条带集中的每个第二条带进行数据块旋转移位处理，得到第三条带，并生成包含所述第三条带的条带集；
通过对所述分组中每个包含所述第三条带的条带集进行纵向异或编码处理，得到多个纵向校验块，并根据所述多个纵向校验块构建一个新的纵向局部校验条带，并将所述纵向局部校验条带存放到所述条带集中。
优选地，所述通过对所述分组内的每个包含原始数据块的第一条带进行横向编码处理，得到所述每个第一条带的横向局部校验块和横向全局校验块包括：
通过对所述分组内的每个包含原始数据块的第一条带进行组内横向编码处理，得到所述每个第一条带的横向局部校验块；
通过对所述每个第一条带的横向局部校验块进行横向异或编码处理，得到所述每个第一条带的横向全局校验块。
优选地，所述通过对所述分组内的每个包含原始数据块的第一条带进行组内横向编码处理，得到所述每个第一条带的横向局部校验块包括：
通过对所述分组内每个第一条带的k个原始数据块按RS(k,r)进行编码，生成r个横向局部校验块；
其中，所述k和r均为正整数，且r<k。
优选地，当横向全局校验个数与每个分组内横向局部校验个数r相同时，所述通过对所述每个第一条带的横向局部校验块进行横向异或编码处理，得到所述每个第一条带的横向全局校验块包括：
将所有分组的第一条带的第一个横向局部校验块进行横向异或编码处理，得到所述每个第一条带的第一个横向全局校验块；
将所有分组的第一条带的第二个横向局部校验块进行横向异或编码处理，得到所述每个第一条带的第二个横向全局校验块；
依次遍历所有分组的第一条带的横向局部校验块，进行横向异或处理，得到所属分组第一条带的所有横向全局校验块；
依次遍历所有分组的每个条带的横向局部校验块，得到所有每个条带的横向全局校验块。
优选地，所述通过分别对所述条带集中的每个第二条带进行数据块旋转移位处理，得到第三条带，并生成包含所述第三条带的条带集包括：
按照数据块旋转移位公式对所述每个条带集中的每个第二条带进行数据块旋转移位处理，使所述每个条带集内的原始数据块和横向局部校验块均匀分布在每个纠删码节点内。
优选地，所述数据块旋转移位公式包括：
Figure DEST_PATH_IMAGE001
其中，所述
Figure 55189DEST_PATH_IMAGE002
是指数据块旋转移位后的横向坐标和纵向坐标；所述m是指数 据块的原始横向坐标；所述n是指数据块的原始纵向坐标；所述
Figure DEST_PATH_IMAGE003
是指数据块的 纵向坐标由原始的横纵坐标之和
Figure 234498DEST_PATH_IMAGE004
对组长
Figure DEST_PATH_IMAGE005
取模。
优选地，所述通过对所述分组中每个包含所述第三条带的条带集进行纵向异或编码处理，得到多个纵向校验块包括：
按照纵向异或编码公式对所述分组中每个包含所述第三条带的条带集进行纵向异或编码处理，得到多个纵向校验块；
优选地，所述纵向异或编码公式包括：
Figure 712884DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
是指分组内局部校验块，所述S是每个分组内局部校验块的横坐标；所 述j是每个分组内局部校验块的纵坐标；所述m是原始数据块的横坐标，所述
Figure 792573DEST_PATH_IMAGE008
是组长，
Figure DEST_PATH_IMAGE009
是原始数据块的纵坐标。
根据本发明实施例提供的方案，优化分组码编码的方式，分别在横向方向和垂直方向进行编码，首先进行横向方向上进行编码，生成横向局部校验和全局校验，保证编码的容错能力；第二步，在垂直方向上进行异或编码得到校验，使编码具有单节点快速修复能力。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于理解本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例提供的基于循环移位的双重编码的构造方法的流程图；
图2是本发明实施例提供的进行节点分组的示意图；
图3是本发明实施例提供的进行条带划分的示意图；
图4是本发明实施例提供的分组内编码得到横向局部校验的示意图；
图5是本发明实施例提供的分组内编码得到横向全局校验的示意图；
图6是本发明实施例提供的分组内划分条带集的示意图；
图7是本发明实施例提供的分组内的每个条带集内进行循环移位的示意图；
图8是本发明实施例提供的分组内的每个条带集进行纵向编码的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1是本发明实施例提供的基于循环移位的双重编码的构造方法的流程图，如图1所示，包括：
步骤S101：将分布式存储系统中的x原始数据节点进行分组和条带划分处理，得到包含y个第一条带的分组；
步骤S102：通过对所述分组内的每个包含原始数据块的第一条带进行横向编码处理，得到所述每个第一条带的横向局部校验块和横向全局校验块，并将所述横向局部校验块和所述横向全局校验块添加到对应的第一条带内，得到包含原始数据块、横向局部校验块和横向全局校验块的第二条带；
步骤S103：根据用户设定的条带集大小，将所有包含原始数据块、横向局部校验块和横向全局校验块的第二条带进行条带集划分处理，得到包含多个第二条带的条带集；
步骤S104：通过分别对所述条带集中的每个第二条带进行数据块旋转移位处理，得到第三条带，并生成包含所述第三条带的条带集；
步骤S105：通过对所述分组中每个包含所述第三条带的条带集进行纵向异或编码处理，得到多个纵向校验块，并根据所述多个纵向校验块构建一个新的纵向局部校验条带，并将所述纵向局部校验条带存放到所述条带集中。
优选地，所述通过对所述分组内的每个包含原始数据块的第一条带进行横向编码处理，得到所述每个第一条带的横向局部校验块和横向全局校验块包括：通过对所述分组内的每个包含原始数据块的第一条带进行组内横向编码处理，得到所述每个第一条带的横向局部校验块；通过对所述每个第一条带的横向局部校验块进行横向异或编码处理，得到所述每个第一条带的横向全局校验块。
其中，所述通过对所述分组内的每个包含原始数据块的第一条带进行组内横向编码处理，得到所述每个第一条带的横向局部校验块包括：通过对所述分组内每个第一条带的k个原始数据块按RS(k,r)进行编码，生成r个横向局部校验块；其中，所述k和r均为正整数，且r<k。
具体地说，当横向全局校验个数与每个分组内横向局部校验个数r相同时，所述通过对所述每个第一条带的横向局部校验块进行横向异或编码处理，得到所述每个第一条带的横向全局校验块包括：将所有分组的第一条带的第一个横向局部校验块进行横向异或编码处理，得到所述每个第一条带的第一个横向全局校验块；将所有分组的第一条带的第二个横向局部校验块进行横向异或编码处理，得到所述每个第一条带的第二个横向全局校验块；依次遍历所有分组的第一条带的横向局部校验块，进行横向异或处理，得到所属分组第一条带的所有横向全局校验块；依次遍历所有分组的每个条带的横向局部校验块，得到所有每个条带的横向全局校验块。
具体地说，所述通过分别对所述条带集中的每个第二条带进行数据块旋转移位处理，得到第三条带，并生成包含所述第三条带的条带集包括：按照数据块旋转移位公式对所述每个条带集中的每个第二条带进行数据块旋转移位处理，使所述每个条带集内的原始数据块和横向局部校验块均匀分布在每个纠删码节点内。其中，所述数据块旋转移位公式包括：
Figure 799843DEST_PATH_IMAGE010
其中，所述
Figure DEST_PATH_IMAGE011
是指数据块旋转移位后的横向坐标和纵向坐标；所述m是指数 据块的原始横向坐标；所述n是指数据块的原始纵向坐标；所述
Figure 466448DEST_PATH_IMAGE012
是指数据块的 纵向坐标由原始的横纵坐标之和
Figure DEST_PATH_IMAGE013
对组长
Figure 482946DEST_PATH_IMAGE014
取模。
具体地说，所述通过对所述分组中每个包含所述第三条带的条带集进行纵向异或编码处理，得到多个纵向校验块包括：按照纵向异或编码公式对所述分组中每个包含所述第三条带的条带集进行纵向异或编码处理，得到多个纵向校验块。其中，所述纵向异或编码公式包括：
Figure DEST_PATH_IMAGE015
其中，
Figure 688580DEST_PATH_IMAGE016
是指分组内局部校验块，所述S是每个分组内局部校验块的横坐标；所 述j是每个分组内局部校验块的纵坐标；所述m是原始数据块的横坐标，所述
Figure DEST_PATH_IMAGE017
是组长，
Figure 397910DEST_PATH_IMAGE018
是原始数据块的纵坐标。
下面结合附图2-附图8对本发明的技术方案进行详细的说明
实施例一
第一步，进行节点分组；
将x个节点，分为y组，每组k个原始数据节点，每个横向条带内含有y个分组，每组含有k个原始数据块。也就是说，如图2所示，将12个节点，分为2组，每组含有6个原始数据节点。
第二步，进行条带划分；
每个节点内含有若干个数据块（数据块包括原始数据块和校验块），每个节点中第一个数据块组成条带S0，每个节点中第2个数据块组成条带S1，每个节点中第z个数据块组成条带Sz-1，每个横向条带内含有y个分组，每组含有k个原始数据块。也就是说，如图3所示，每个节点内含有若干个数据块，每个节点中第一个数据块组成条带S0，每个节点中第2个数据块组成条带S1，每个横向条带内含有2个分组，每组含有6个原始数据块。
第三步，进行横向编码，得到横向局部校验；
每个横向分组进行组内编码，选择RS码进行编码，编码方程：C=UG（1）（U是原始数据向量1*k；G是生成矩阵，规模是k*n；C是生成的码字1*n），分组内每个条带中的每个分组按RS(k,r)进行编码，k个原始数据块通过编码产生r个横向局部校验块，（R的取值根据用户自己的容错需求进行设定，但是一般情况下，为了提升码率，r<k）。也就是说，如图4所示，分组内每个条带中的每个分组按RS(6,2)进行编码，6个原始数据块通过编码产生2个横向局部校验块。
第四步，进行横向编码，得到横向全局校验；
依次将第一个分组的第一个横向局部校验块与第二个分组的第一个横向局部校验块进行异或运算，得到第一个横向全局校验块P0；将第一个分组的第二个横向局部校验块与第二个分组的第二个横向局部校验块进行异或运算，得到第二个横向全局校验块P1，依次计算的到所有的横向全局校验块。也就是说，如图5所示，依次将第一个分组的第一个横向局部校验块Q0与第二个分组的第一个横向局部校验块Q2进行异或运算，得到第一个横向全局校验块P0；将第一个分组的第二个横向局部校验块Q1与第二个分组的第二个横向局部校验块Q3进行异或运算，得到第二个横向全局校验块P1。
第五步，划分条带集；
一个分组内若干个条带组成一个条带集（根据总的节点个数，自己设定条带集大小s，但是保证s<gl，若条带集s<<gl，则解码优势更加明显）且每个条带集大小相同，一个分组内提到及中的每个条带包含k个原始数据块和r个局部校验块，组长gl=k+r。也就是说，如图6所示，一个分组内4个条带组成一个条带集且每个条带集大小相同，一个分组内提到及中的每个条带包含6个原始数据块和2个局部校验块，组长gl=8。
其中，图6中t的取值：取决于几个因素：一个节点的总数据量X；每个节点有多少个数据块t；每个数据块大小size；t=X/size。
第六步:每个条带集内进行循环移位；
数据块和校验块的原始位置:(m,n)，最终位置按照式2计算得到:
Figure DEST_PATH_IMAGE019
（2）
每个条带所有块移位存放；数据块和校验块均匀分布在每个节点，如图7所示，按照式2进行移位，横坐标不变，纵坐标由式2计算得到。
第七步，每个条带集内进行纵向编码。
每个条带集内根据式3计算得到纵向校验块，8个纵向校验块构成条带集中第5个条带，并分别存放在不同的节点中，如图8所示；
Figure 20652DEST_PATH_IMAGE020
（3）
d(m,n)是数据块，m是数据块的横坐标，C(s,j)是校验块，s是校验块的横坐标，<n-m-j>mod(gl)是数据块纵坐标，每个校验块是根据式3进行计算，一个校验块有哪些数据块计算得到，选择横坐标由m从0到s，以及根据n，m，j关系计算得出纵坐标，确定数据块的位置。
实例二：
第一步，进行节点分组；
将18个节点，分为2组，每组9个原始数据节点。
第二步，进行条带划分；
每个节点内含有若干个数据块，每个节点中第一个数据块组成条带S0，每个节点中第2个数据块组成条带S1，每个横向条带内含有2个分组，每组含有9个原始数据块。
第三步，进行横向编码，得到横向局部校验；
每个横向分组进行组内编码，选择RS码进行编码，编码方程：C=UG （1），分组内每个条带中的每个分组按RS(9,3)进行编码，9个原始数据块通过编码产生3个横向局部校验块。
第四步，进行横向编码，得到横向全局校验；
依次将第一个分组的第一个横向局部校验块Q0与第二个分组的第一个横向局部校验块Q3进行异或运算，得到第一个横向全局校验块P0；将第一个分组的第二个横向局部校验块Q1与第二个分组的第二个横向局部校验块Q4进行异或运算，得到第二个横向全局校验块P1；将第一个分组的第二个横向局部校验块Q2与第二个分组的第二个横向局部校验块Q5进行异或运算，得到第二个横向全局校验块P2。
第五步，划分条带集；
一个分组内4个条带组成一个条带集且每个条带集大小相同，一个分组内提到及中的每个条带包含9个原始数据块和3个局部校验块，组长gl=12。
第六步:每个条带集内进行循环移位；
原始位置:(m,n)，最终位置按照式2计算:
Figure DEST_PATH_IMAGE021
（2）
每个条带所有块移位存放；数据块和校验块均匀分布在每个节点。
第七步，每个条带集内进行纵向编码。
每个条带集内根据式3计算得到纵向校验块，8个纵向校验跨构成条带集中第5个条带，并分别存放在不同的节点中。
Figure 106420DEST_PATH_IMAGE022
（3）
根据本发明实施例提供的方案，在构造分组码的时，首先，在横向方向以一个条带为单位进行组内划分，每个分组内在横向方向上分别在组内进行编码和整条带内进行编码；然后，在每个分组内划分条带集，多个条带组成一个条带集，每个条带集内的条带进行旋转移位，并按照一定的代数关系在垂直方向上进行异或编码，并将得到校验分别存储在每个节点中。在每个条带在横向方向上分别编码生成局部校验和全局校验后，在每个分组内部，将每个条带集内的条带按照一定的代数关系进行旋转和移位，使得数据块和校验块在每个节点上均分分布，平衡了每个节点的数据访问热度，从而实现负载均衡。
尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (5)

1.一种基于循环移位的双重编码的构造方法，其特征在于，包括：
将分布式存储系统中的x原始数据节点进行分组和条带划分处理，得到包含y个第一条带的分组；
通过对所述分组内的每个包含原始数据块的第一条带进行组内横向编码处理，得到所述每个第一条带的横向局部校验块，以及通过对所述每个第一条带的横向局部校验块进行横向异或编码处理，得到所述每个第一条带的横向全局校验块，并将所述横向局部校验块和所述横向全局校验块添加到对应的第一条带内，得到包含原始数据块、横向局部校验块和横向全局校验块的第二条带；
根据用户设定的条带集大小，将所有包含原始数据块、横向局部校验块和横向全局校验块的第二条带进行条带集划分处理，得到包含多个第二条带的条带集；
通过分别对所述条带集中的每个第二条带进行数据块旋转移位处理，得到第三条带，并生成包含所述第三条带的条带集，其包括：按照数据块旋转移位公式对所述每个条带集中的每个第二条带进行数据块旋转移位处理，使所述每个条带集内的原始数据块和横向局部校验块均匀分布在每个纠删码节点内；所述数据块旋转移位公式包括：
Figure DEST_PATH_IMAGE002A
其中，所述
Figure DEST_PATH_IMAGE004A
是指数据块旋转移位后的横向坐标和纵向坐标；所述m是指数据块的原始横向坐标；所述n是指数据块的原始纵向坐标；所述
Figure DEST_PATH_IMAGE006A
是指数据块的纵向坐标由原始的横纵坐标之和
Figure DEST_PATH_IMAGE008A
对组长
Figure DEST_PATH_IMAGE010A
取模；
通过对所述分组中每个包含所述第三条带的条带集进行纵向异或编码处理，得到多个纵向校验块，并根据所述多个纵向校验块构建一个新的纵向局部校验条带，并将所述纵向局部校验条带存放到所述条带集中。
2.根据权利要求1所述的基于循环移位的双重编码的构造方法，其特征在于，所述通过对所述分组内的每个包含原始数据块的第一条带进行组内横向编码处理，得到所述每个第一条带的横向局部校验块包括：
通过对所述分组内每个第一条带的k个原始数据块按RS(k,r)进行编码，生成r个横向局部校验块；
其中，所述k和r均为正整数，且r<k。
3.根据权利要求2所述的基于循环移位的双重编码的构造方法，其特征在于，当横向全局校验个数与每个分组内横向局部校验个数r相同时，所述通过对所述每个第一条带的横向局部校验块进行横向异或编码处理，得到所述每个第一条带的横向全局校验块包括：
将所有分组的第一条带的第一个横向局部校验块进行横向异或编码处理，得到所述每个第一条带的第一个横向全局校验块；
将所有分组的第一条带的第二个横向局部校验块进行横向异或编码处理，得到所述每个第一条带的第二个横向全局校验块；
依次遍历所有分组的第一条带的横向局部校验块，进行横向异或处理，得到所属分组第一条带的所有横向全局校验块；
依次遍历所有分组的每个条带的横向局部校验块，得到所有每个条带的横向全局校验块。
4.根据权利要求1所述的基于循环移位的双重编码的构造方法，其特征在于，所述通过对所述分组中每个包含所述第三条带的条带集进行纵向异或编码处理，得到多个纵向校验块包括：
按照纵向异或编码公式对所述分组中每个包含所述第三条带的条带集进行纵向异或编码处理，得到多个纵向校验块。
5.根据权利要求4所述的基于循环移位的双重编码的构造方法，其特征在于，所述纵向异或编码公式包括：
Figure DEST_PATH_IMAGE012A
其中，
Figure DEST_PATH_IMAGE014A
是指分组内局部校验块，所述s是每个分组内局部校验块的横坐标；所述j是每个分组内局部校验块的纵坐标；所述m是原始数据块的横坐标，所述
Figure DEST_PATH_IMAGE016A
是组长，
Figure DEST_PATH_IMAGE018A
是原始数据块的纵坐标。
CN202110617582.8A 2021-06-03 2021-06-03 一种基于循环移位的双重编码的构造方法 Active CN113258936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617582.8A CN113258936B (zh) 2021-06-03 2021-06-03 一种基于循环移位的双重编码的构造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617582.8A CN113258936B (zh) 2021-06-03 2021-06-03 一种基于循环移位的双重编码的构造方法

Publications (2)

Publication Number Publication Date
CN113258936A CN113258936A (zh) 2021-08-13
CN113258936B true CN113258936B (zh) 2021-10-15

Family

ID=77186326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617582.8A Active CN113258936B (zh) 2021-06-03 2021-06-03 一种基于循环移位的双重编码的构造方法

Country Status (1)

Country Link
CN (1) CN113258936B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115878366A (zh) * 2021-09-28 2023-03-31 华为技术有限公司 一种基于纠删码的编码方法以及相关设备
CN116112119A (zh) * 2021-11-11 2023-05-12 华为技术有限公司 处理数据的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9612906B1 (en) * 2013-02-08 2017-04-04 Quantcast Corporation Managing distributed system performance using accelerated data retrieval operations
CN106951340A (zh) * 2017-03-14 2017-07-14 华中科技大学 一种基于局部性优先的rs纠删码数据布局方法及系统
CN107748702A (zh) * 2015-06-04 2018-03-02 华为技术有限公司 数据存储方法、恢复方法、相关装置以及系统
CN108347306A (zh) * 2018-03-16 2018-07-31 长安大学 分布式存储系统中类局部重构码编码及节点故障修复方法
CN108733503A (zh) * 2017-04-24 2018-11-02 慧与发展有限责任合伙企业 在分布式存储系统中存储数据
CN110442535A (zh) * 2019-07-19 2019-11-12 华中科技大学 提高分布式固态盘键值缓存系统可靠性的方法及系统
US10761933B2 (en) * 2018-09-21 2020-09-01 EMC IP Holding Company LLC Prefill of raid stripes in a storage system by reading of existing data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452477B2 (en) * 2016-08-26 2019-10-22 Netapp, Inc. Multiple node repair using high rate minimum storage regeneration erasure code
CN106788891A (zh) * 2016-12-16 2017-05-31 陕西尚品信息科技有限公司 一种适用于分布式存储的最优局部修复码构造方法
CN108683422B (zh) * 2018-03-27 2021-08-27 长安大学 一种可容多错交叉循环卷积码的局部性修复编码方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9612906B1 (en) * 2013-02-08 2017-04-04 Quantcast Corporation Managing distributed system performance using accelerated data retrieval operations
CN107748702A (zh) * 2015-06-04 2018-03-02 华为技术有限公司 数据存储方法、恢复方法、相关装置以及系统
CN106951340A (zh) * 2017-03-14 2017-07-14 华中科技大学 一种基于局部性优先的rs纠删码数据布局方法及系统
CN108733503A (zh) * 2017-04-24 2018-11-02 慧与发展有限责任合伙企业 在分布式存储系统中存储数据
CN108347306A (zh) * 2018-03-16 2018-07-31 长安大学 分布式存储系统中类局部重构码编码及节点故障修复方法
US10761933B2 (en) * 2018-09-21 2020-09-01 EMC IP Holding Company LLC Prefill of raid stripes in a storage system by reading of existing data
CN110442535A (zh) * 2019-07-19 2019-11-12 华中科技大学 提高分布式固态盘键值缓存系统可靠性的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式存储系统中的低修复成本纠删码;唐聃等;《计算机应用》;20200525;第40卷(第10期);第2942-2950页 *

Also Published As

Publication number Publication date
CN113258936A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN108540520B (zh) 基于部分重复码的局部性修复编码及节点故障修复方法
CN109643258B (zh) 使用高速率最小存储再生擦除代码的多节点修复
US20160006463A1 (en) The construction of mbr (minimum bandwidth regenerating) codes and a method to repair the storage nodes
CN113258936B (zh) 一种基于循环移位的双重编码的构造方法
US20120173932A1 (en) Storage codes for data recovery
CN105356968B (zh) 基于循环置换矩阵的网络编码的方法及系统
CN109491835B (zh) 一种基于动态分组码的数据容错方法
US11500725B2 (en) Methods for data recovery of a distributed storage system and storage medium thereof
WO2013191658A1 (en) System and methods for distributed data storage
WO2023151290A1 (zh) 一种数据编码方法、装置、设备及介质
CN105356892B (zh) 网络编码的方法及系统
CN107395207A (zh) 多容错性的mds 阵列码编码以及修复方法
CN106788891A (zh) 一种适用于分布式存储的最优局部修复码构造方法
CN106484559A (zh) 一种校验矩阵的构造方法及水平阵列纠删码的构造方法
CN111831223B (zh) 提高数据去重系统可扩展性的容错编码方法、装置及系统
CN108762978B (zh) 一种局部部分重复循环码的分组构造方法
CN114116297B (zh) 一种数据编码方法、装置、设备及介质
CN112799604A (zh) 一种基于N-Code的RAID6磁盘阵列扩容方法及数据填充方法
CN114816278A (zh) 一种存储服务器的数据迁移方法、系统、设备及存储介质
US20150227425A1 (en) Method for encoding, data-restructuring and repairing projective self-repairing codes
WO2020029418A1 (zh) 一种修复二进制码生成矩阵构造方法及修复方法
CN113258938B (zh) 一种单节点故障快速修复纠删码的构造方法
CN111459710B (zh) 感知热度与风险的纠删码内存恢复方法、设备及内存系统
CN111125014B (zh) 一种基于u-型设计的柔性部分重复码的构造方法
CN109947587B (zh) 非均匀故障保护的分组修复码构造方法及故障修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant