CN107086870B - 修复多节点失效的mds阵列码编码以及解码方法 - Google Patents
修复多节点失效的mds阵列码编码以及解码方法 Download PDFInfo
- Publication number
- CN107086870B CN107086870B CN201710156631.6A CN201710156631A CN107086870B CN 107086870 B CN107086870 B CN 107086870B CN 201710156631 A CN201710156631 A CN 201710156631A CN 107086870 B CN107086870 B CN 107086870B
- Authority
- CN
- China
- Prior art keywords
- code
- polynomial
- coding
- information
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/02—Conversion to or from weighted codes, i.e. the weight given to a digit depending on the position of the digit within the block or code word
- H03M7/04—Conversion to or from weighted codes, i.e. the weight given to a digit depending on the position of the digit within the block or code word the radix thereof being two
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Error Detection And Correction (AREA)
- Detection And Correction Of Errors (AREA)
Abstract
本发明涉及数据处理领域,其公开了一种修复多节点失效的MDS阵列码编码,其组成部分为C(k,r,p)码,通过构建一个(p‑1)*(k+r)的矩阵来存储原始信息数据块和冗余块,其中p为质数,且p大于k和r,k和r小于为小于p大于0的任意整数;k列称为信息列,其对应为k个数据块;r列为冗余列,其对应为r个冗余块,C(k,r,p)码中的加法和减法运算均为异或运算。本发明的有益效果是:能修复任意n‑k个节点失效且编解码计算复杂度较低的新Cauchy阵列码,提高了系统的容错性。通过二进制异或运算实现了新Cauchy阵列码的编解码,与CRS码相比,编解码过程的计算复杂度更低。
Description
【技术领域】
本发明涉及数据处理领域,尤其涉及一种修复多节点失效的MDS阵列码编码以及解码方法。
【背景技术】
随着计算机网络应用的迅速发展,网络信息数据量变得越来越大,海量信息存储变得尤为重要,持续增长的数据存储压力推动着整个存储市场的快速发展。分布式存储以其高性价比、低初期投资、按需付费等优越的特点日益成为当今大数据存储的主流技术。
当前,分布式存储系统的存储节点失效已经成为一种常态。当系统所部署的存储节点变得不可靠时,必须引入冗余来提高节点失效时的可靠性。引入冗余最简单的方法就是对原始数据直接备份,直接备份虽然简单但是其存储效率和系统可靠性不高,而通过编码引入冗余的方法可以提高其存储效率,增强系统的可靠性。因此分布式存储的高概率可用性、可靠性以及安全性等均是分布式存储系统的关键技术问题。
在目前的存储系统中,编码方法一般采用MDS码,MDS码可以达到存储空间效率的最优化,一个(n,k)MDS码需要将一个原始数据文件分成k个大小相等的数据块,通过线性编码生成n个互不相关的编码块,并由n个节点存储n个编码块。若n个编码块中包含原始的k个数据块,其它n-k个编码块称为冗余块,包含k个数据块的MDS码称为系统MDS码。MDS码满足MDS属性:即从n个编码块中取任意k个即可解码出原始的k个数据块。这种编码技术在提供有效的网络存储编码中占有重要的地位,特别适合应用于存储大的文件以及档案数据备份。
在分布式存储系统中,把数据按某种方式编码,并把编码结果存储在n个存储节点中,这一过程称为编码过程。数据接收者只需连接并下载n个存储节点中的任意k个存储节点的数据即可恢复出原始数据,这一过程称为数据重建过程或解码过程。
不同的MDS码有不同的编码、解码计算复杂度。复杂度越高,计算量越大,计算时所消耗的时间就越长。设计出一种好的MDS码,能够降低计算量,缩短工作时间,减少资源的消耗,节省系统运行时需要的成本,使得运算和存储更加灵活。MDS阵列码是MDS码的一种,其特征是编解码过程中仅仅用到简单的二进制异或操作,因此可以很容易且高效的在系统中实现。本发明即是一种能容纳任意n-k个编码块的丢失,编码、解码计算复杂度低的二进制系统MDS阵列码。
EVENODD码,引自论文[M.Blaum,J.Brady,J.Bruck,and J.Menon,“EVENODD:Anefficient scheme for tolerating double disk fai lures in RAID architectures,”IEEE Transactions on Computers,vol.44,no.2,pp.192–202,1995]。
EVENODD码是能容纳2个编码块丢失的MDS阵列码。在EVENODD码中,其要求数据块个数必须为质数,冗余块个数为2。EVENODD码的编码过程只需要简单的二进制异或运算,并且两个检验块的每个冗余比特均是通过斜率为0和1的直线经过的信息比特异或结果。但是,EVENODD码存在着不可拓展性的缺陷:EVENODD码只有两个检验块,因此最多只能恢复两个存储节点失效的情况,不易于拓展。文献[M.Blaum,J.Bruck,and A.Vardy.MDS arraycodes with independent parity symbols.In IEEE Transactions on InformationTheory,vol.42,no.2,pp.529-542,1996]给出了EVENODD码的扩展,但是满足MDS属性的条件非常苛刻,且满足MDS属性的冗余块个数(n-k)最大为8。
CRS码,全称是Cauchy Reed-Solomon码,引自论文[Plank,J.S.,Xu,L.OptimizingCauchy Reed-Solomon codes for fault-tolerant network storage applications.InIEEE International Symposium on Network Computing and Applications,pp.173–180,2006]。它是基于有限域和Cauchy矩阵构造的MDS系统阵列码,可以容纳任意的n-k个编码块的丢失。在编码、解码过程中,它把一个有限域乘法运算转换为多个二进制异或运算。但是,CRS码依然存在着编码、解码计算复杂度高的缺点:CRS码在编解码过程中,把有限域乘法运算转换为多个二进制异或运算,因为二进制异或运算的个数就反应了其编解码计算复杂度,然而其对应的二进制异或运算的个数在编解码过程中是不可控的、很高的。对于一般的参数k和n,如何设计其编解码计算方法,降低二进制异或个数,即编解码计算复杂度,是CRS码急需解决的一大缺陷。
【发明内容】
为了解决现有技术中的问题,本发明提供了一种修复多节点失效的MDS阵列码编码以及解码方法,解决现有技术中编解码计算复杂度高的问题。
本发明是通过以下技术方案实现的:设计、制造了一种修复多节点失效的mds阵列码编码,其组成部分为C(k,r,p)码,通过构建一个(p-1)×(k+r)的矩阵来存储原始信息数据块和冗余块,其中p为质数,且p大于k和r,k和r小于为小于p大于0的任意整数;k列称为信息列,其对应为k个数据块;r列为冗余列,其对应为r个冗余块,C(k,r,p)码中的加法和减法运算均为异或运算。
作为本发明的进一步改进:C(k,r,p)码的构造过程为:给定k(p-1)个信息比特,计算并添加k个校验比特,得到k个数据多项式,通过计算出编码多项式,存储多项式的次数为从0到p-2的多项式的系数。
作为本发明的进一步改进:存储在第j信息列的p-1个信息比特和其校验比特表示的第一数据多项式为sj(x)=s0,j+s1,jx+…+sp-2,jxp-2+sp-1,jxp-1,其中,si,j表示阵列码C(k,r,p)的第j信息列的第i个比特;第三编码多项式为
作为本发明的进一步改进:C(k,r,p)码中的除法按以下方式进行:为每个数据多项式计算一个除法运算,然后把相应的数据多项式除法运算的结果相加。
作为本发明的进一步改进:C(k,r,p)码为二进制柯西阵列码,其生成矩阵为G=[IC],其中矩阵I表示k×k的单位阵,矩阵C为的k×r柯西矩阵,
本发明同时提供了一种修复多节点失效的mds阵列码编码的解码方法,包括如下步骤:当阵列码C(k,r,p)中有ρ≤r个列丢失时,设γ个信息列a1,a2,...,aγ和δ个冗余列b1,b2,...,bδ丢失,其中1≤a1<a2<...<aγ≤k,1≤b1<b2<...<bγ≤r,k≥γ≥0,r≥δ≥0且γ+δ=ρ≤r,把存活的没有丢失的信息列表示为M={1,2,...,k}\{a1,a2,...,aγ},把没有丢失的冗余列表示为P={1,2,...,r}\{b1,b2,...,bδ},首先下载存活的没有丢失的k-γ个信息列i1,i2,...,ik-γ∈M,和γ个冗余列l1,l2,...,lγ∈P,恢复出丢失的γ个信息列,然后把丢失冗余列的编码向量与k个数据多项式相乘计算出丢失的冗余多项式。
作为本发明的进一步改进:为信息列iτ添加一个校验比特并形成数据多项式
其中τ=1,2,...,k-γ;为冗余列lh添加比特零并形成编码多项式其中,h=1,2,...,γ;分别为γ个编码多项式减去k-γ个数据多项式所得到的多项式为
,通过求解线性方程组解出丢失的γ个数据多项式,其中线性方程组为
;然后获得γ个丢失的信息列。
作为本发明的进一步改进:丢失的δ个冗余列通过相应的编码向量与k个信息多项式相乘得到。
本发明的有益效果是:能修复任意n-k个节点失效且编解码计算复杂度较低的新Cauchy阵列码,提高了系统的容错性。通过二进制异或运算实现了新Cauchy阵列码的编解码,与CRS码相比,编解码过程的计算复杂度更低。
【附图说明】
图1为本发明阵列码C(p-4,4,p)、循环柯西码和CRS码在r=4时的单位编码计算复杂度示意图;
图2为本发明阵列码C(p-4,4,p)和、Rabin-Like码、循环柯西码和CRS码在r=4时的单位解码计算复杂度示意图;
图3为本发明阵列码C(p-5,5,p)、循环柯西码和CRS码在r=5时的单位解码计算复杂度示意图。
【具体实施方式】
下面结合附图说明及具体实施方式对本发明进一步说明。
缩略语和关键术语定义
MDS Maximum Distance Separable 最大距离可分离
RDP Row-Diagonal Parity 行对角线校验
一种修复多节点失效的mds阵列码编码,其组成部分为C(k,r,p)码,通过构建一个(p-1)×(k+r)的矩阵来存储原始信息数据块和冗余块,其中p为质数,且p大于k和r,k和r小于为小于p大于0的任意整数;k列称为信息列,其对应为k个数据块;r列为冗余列,其对应为r个冗余块,C(k,r,p)码中的加法和减法运算均为异或运算。
C(k,r,p)码的构造过程为:给定k(p-1)个信息比特,计算并添加k个校验比特,得到k个数据多项式,通过计算出编码多项式,存储多项式的次数为从0到p-2的多项式的系数。
存储在第j信息列的p-1个信息比特和其校验比特表示的第一数据多项式为sj(x)=s0,j+s1,jx+…+sp-2,jxp-2+sp-1,jxp-1,其中,si,j表示阵列码C(k,r,p)的第j信息列的第i个比特;第三编码多项式为
C(k,r,p)码中的除法按以下方式进行:为每个数据多项式计算一个除法运算,然后把相应的数据多项式除法运算的结果相加。
C(k,r,p)码为二进制柯西阵列码,其生成矩阵为G=[I C],其中矩阵I表示k×k的单位阵,矩阵C为的k×r柯西矩阵,
本发明同时提供了一种修复多节点失效的MDS阵列码编码的解码方法,包括如下步骤:当阵列码C(k,r,p)中有ρ≤r个列丢失时,设γ个信息列a1,a2,...,aγ和δ个冗余列b1,b2,...,bδ丢失,其中1≤a1<a2<...<aγ≤k,1≤b1<b2<...<bγ≤r,k≥γ≥0,r≥δ≥0且γ+δ=ρ≤r,把存活的没有丢失的信息列表示为M={1,2,...,k}\{a1,a2,...,aγ},把没有丢失的冗余列表示为P={1,2,...,r}\{b1,b2,...,bδ},首先下载存活的没有丢失的k-γ个信息列i1,i2,...,ik-γ∈M,和γ个冗余列l1,l2,...,lγ∈P,恢复出丢失的γ个信息列,然后把丢失冗余列的编码向量与k个数据多项式相乘计算出丢失的冗余多项式。
为信息列iτ添加一个校验比特并形成数据多项式其中τ=1,2,...,k-γ;为冗余列lh添加比特零并形成编码多项式其中,h=1,2,...,γ;分别为γ个编码多项式减去k-γ个数据多项式所得到的多项式为通过求解线性方程组解出丢失的γ个数据多项式,其中线性方程组为
然后获得γ个丢失的信息列。
丢失的δ个冗余列通过相应的编码向量与k个信息多项式相乘得到。
本发明中,这种新的基于二进制多项式环和Cauchy矩阵构造的MDS阵列码针对现有的MDS码一般容纳存储节点失效个数少、编解码计算复杂度高等问题,提出来了一种能修复任意n-k个节点失效且编解码计算复杂度较低的新Cauchy阵列码,提高了系统的容错性。通过二进制异或运算实现了新Cauchy阵列码的编解码,并且与CRS码相比,编解码过程的计算复杂度更低。
简称这种新Cauchy阵列码为C(k,r,p)码,本文的所有的加法运算和减法运算均指二进制异或运算,其中r=n-k。C(k,r,p)码通过构建一个(p-1)×(k+r)的矩阵来存储原始信息数据块和冗余块,其中p为质数,且p大于k和r,k和r小于为小于p大于0的任意整数。C(k,r,p)码的前k列称为信息列,对应为k个数据块,后r列为冗余列,对应为r个冗余块。
在一实施例中,C(k,r,p)码的构造过程如下:令i=0,1,...,p-2,j=1,2,...,k,用si,j表示阵列码C(k,r,p)的第j信息列的第i个比特。令i=0,1,...,p-2,l=1,2,...,r,用ci,j表示阵列码C(k,r,p)的第l冗余列的第i个比特。对于存储在第j信息列的p-1个信息比特s0,j,s1,j,…,sp-2,j,定义校验比特sp-1,j为
sp-1,j=s0,j+s1,j+…+sp-2,j。
令j=1,2,...,k,把存储在第j信息列的p-1个信息比特和其校验比特表示为数据多项式
sj(x)=s0,j+s1,jx+…+sp-2,jxp-2+sp-1,jxp-1。(1)
同样的,令l=1,2,...,r,定义冗余列l的校验比特cp-1,l为
cp-1,l=c0,l+c1,l+…+cp-2,l,
并把存储在第l冗余列的p-1个冗余比特和其校验比特表示为编码多项式
cl(x)=c0,l+c1,lx+…+cp-2,lxp-2+cp-1,lxp-1。(2)
因此,现在有多项式环F2[x]/(1+xp)中的k个数据多项式和r个编码多项式。而r个编码多项式是由以下等式计算而得
注意,以上计算均是多项式环F2[x]/(1+xp)中的运算。因此,阵列码C(k,r,p)的生成矩阵为
G=[I C],
其中矩阵I表示k×k的单位阵,矩阵C为的k×r柯西矩阵
二进制柯西阵列码C(k,r,p)的编码过程可以描述如下。给定k(p-1)个信息比特,计算并添加k个校验比特,得到k个如式(1)所示的数据多项式。通过计算出式(3)所示的编码多项式,忽略这些多项式中次数为p-1的项,然后存储多项式的次数为从0到p-2的多项式的系数。
在阵列码C(k,r,p)的编码过程中,需要在多项式环F2[x]/(1+xp)中计算很多形如
的除法运算,其中多项式s(x)有偶数个项,b是小于素数p的一个正整数。在以下引理中给出了如何有效的计算这种除法运算。
引理1.在多项式环F2[x]/(1+xp)中,多项式s(x)=s0+s1x+…+sp-1xp-1有偶数个项,给定正整数b和等式
其中b是小于素数p的一个正整数。则可以通过以下等式计算出多项式c(x)=c0+c1x+…+cp-1xp-1的系数。
证明:通过把等式s(x)=c(x)(1+xb)展开有,
选择多项式c(x)的一个系数为0,然后多项式c(x)的其它系数可以通过以上等式迭代的计算出。具体的讲,令系数cp-1等于0,然后可以计算出
cp-b-1=sp-1
和
cb-1=sb-1。
多项式c(x)的其它系数均可以通过一个异或运算迭代的计算出。证毕。
由引理1的证明过程知,在计算多项式c(x)的系数过程中需要p-3个异或。
以参数k=2,r=2,p=5为例,介绍柯西阵列码C(2,2,5)的编码过程。
在这个例子中,有两个数据多项式,如式(5)和式(6)所示。
s1(x)=s0,1+s1,1x+s2,1x2+s3,1x3+(s0,1+s1,1+s2,1+s3,1)x4 式(5)
s2(x)=s0,2+s1,2x+s2,2x2+s3,2x3+(s0,2+s1,2+s2,2+s3,2)x4 式(6)
两个编码多项式c1(x)和c2(x)由以下式(7)所示的等式计算而得。
根据引理1,在以上计算编码多项式的过程中,每个除法运算均涉及2个异或运算。表1列出了该例子的信息列比特和冗余列比特。在计算二进制柯西阵列码的编码多项式中,首先需要为每个数据多项式计算一个除法运算,然后把相应的数据多项式除法运算的结果相加。
表1阵列码C(2,2,5)的信息列和冗余列
信息列1 | 信息列2 | 冗余列1 | 冗余列2 |
s<sub>0,1</sub> | s<sub>0,2</sub> | (s<sub>0,1</sub>+s<sub>1,1</sub>+s<sub>3,1</sub>)+(s<sub>0,2</sub>+s<sub>2,2</sub>) | (s<sub>0,1</sub>+s<sub>1,1</sub>+s<sub>3,1</sub>)+(s<sub>0,2</sub>+s<sub>3,2</sub>) |
s<sub>1,1</sub> | s<sub>1,2</sub> | s<sub>1,1</sub>+(s<sub>0,2</sub>+s<sub>1,2</sub>+s<sub>2,2</sub>+s<sub>3,2</sub>) | s<sub>1,1</sub>+s<sub>2,2</sub> |
s<sub>2,1</sub> | s<sub>2,2</sub> | (s<sub>0,1</sub>+s<sub>1,1</sub>+s<sub>2,1</sub>+s<sub>3,1</sub>)+s<sub>2,2</sub> | (s<sub>0,1</sub>+s<sub>1,1</sub>+s<sub>2,1</sub>+s<sub>3,1</sub>)+s<sub>0,2</sub> |
s<sub>3,1</sub> | s<sub>3,2</sub> | (s<sub>1,1</sub>+s<sub>3,1</sub>)+(s<sub>0,2</sub>+s<sub>2,2</sub>+s<sub>3,2</sub>) | (s<sub>1,1</sub>+s<sub>3,1</sub>)+(s<sub>0,2</sub>+s<sub>1,2</sub>+s<sub>3,2</sub>) |
在又一实施例中,阵列码C(k,r,p)的解码过程如下:
当二进制柯西阵列码的一些数据列丢失时,想要从其他存活的数据列中下载数据并解码出丢失的数据。称这一过程为解码过程。本节给出阵列码C(k,r,p)的一种快速解码方法,这种方法是基于柯西矩阵的LU分解。该解码方法适用于任意数据列的丢失。首先来介绍柯西矩阵的LU分解。
给定2k个互不相等的变量x1,x2,...,xk,y1,y2,...,yk,柯西方阵被定义为如式(8)所示。
文献[T.Boros,T.Kailath and V.Olshevsky.A fast parallel bjorck-pereyra-type algorithm for solving cauchy linear equations.Elsevier LinearAlgebra and lts Applications,vol.1999,302(1):265-293.]中给出了柯西方阵的逆矩阵并提出了柯西矩阵逆矩阵的LU分解,主要结论如下。
定理2.柯西方阵C(x1:k,y1:k)的逆矩阵可以被分解为式(9)所示。
其中式(10)和式(11)满足。
其中i=1,2,...,k-1,和式(12)满足。
Dk=diag{(x1-y1) (x2-y2) … (xk-yk)} 式(12)
举例说明,当k=2时,柯西逆矩阵C(x1:2,y1:2)-1可以分解为式(13)所示。
基于定理2的结论,提出了一种快速求解柯西矩阵形式的线性方程组的方法。给定一个k×k柯西矩阵形式的线性方程组C(x1:k,y1:k)z=b,其中z=(z1,z2,...,zk)t和b=(b1,b2,...,bk)t均是长度为k的列向量。当给定向量b=(b1,b2,...,bk)t和矩阵C(x1:k,y1:k)的值时,可以求解出向量z=(z1,z2,...,zk)t的值,为式(14)所示。
算法的伪代码请见算法1。
在算法1中,需要处理三种运算:(i)多项式bl和xi的乘积,(ii)除法运算bl/(xj-yj-i),(iii)多项式的加法运算bi+bj。可以统计算法1中共有5k(k-1)次第一种类型乘法运算,k(k-1)次第二种类型除法运算和k+3k(k-1)次第三种类型加法运算。对应到阵列码C(k,r,p)的解码过程中,算法1中的xi和yi均被x的幂所代替,而变量bl和则被多项式环F2[x]/(1+xp)中的一个多项式代替。算法1中所有的类型二除法运算均可以通过引理1给出的方法计算出,且一个除法运算涉及p-3次异或运算。对于第一种类型乘法运算,在多项式环F2[x]/(1+xp)中,一个多项式乘以xi就是这个多项式的循环移位i位,因此没有涉及异或运算。在多项式环F2[x]/(1+xp)中,两个多项式相加会用到p次异或运算。
在算法1中,步骤5到7是计算矩阵的右矩阵和列向量b的乘积,共有3(k-i)个多项式加法运算,其计算复杂度最多为3p(k-i)次异或。步骤8到10则是计算矩阵的左矩阵和列向量b的乘积,其计算复杂度最多为3k(k-1)(p-3)/2次异或。因此,步骤5到10,计算矩阵和列向量b的乘积的计算复杂度最多为3pk(k-1)/2+3k(k-1)(p-3)/2次异或。步骤12到14是计算对角矩阵Dk和以上步骤得到的多项式向量的乘积,其计算复杂度最多为p+(k-1)(p-2)次异或。步骤16到18是计算矩阵的右矩阵和以上步骤得到的多项式向量的乘积,其计算复杂度最多为(k-3)k(k-1)/2次异或。步骤19到26则是计算矩阵的左矩阵和以上步骤得到的多项式向量的乘积,其计算复杂度最多为k(k-1)(3p-4)/2次异或。所以,在多项式环F2[x]/(1+xp)中,算法1的计算复杂度最多为式(15)所示。
考虑上文给出的例子,两个编码多项式是通过以下等式计算出式(16)所示等式。
假设两个数据多项式分别为s1(x)=1+x和s2(x)=x+x3。那么,可以得出其两个编码多项式分别为c1(x)=x和c2(x)=x+x2+x3。
根据定理1,这个2×2的柯西矩阵可以分解为式(17)所示。
可以验证两个数据多项式可以由两个编码多项式通过以下等式计算出式(18)。
在求解两个编码多项式的过程中,有32个异或运算。
当阵列码C(k,r,p)中有ρ≤r个列丢失时,接下来描述阵列码的解码过程。假设γ个信息列a1,a2,...,aγ和δ个冗余列b1,b2,...,bδ丢失,其中1≤a1<a2<...<aγ≤k,1≤b1<b2<...<bγ≤r,k≥γ≥0,r≥δ≥0且γ+δ=ρ≤r。把存活的没有丢失的信息列表示为式(19)。
M={1,2,...,k}\{a1,a2,...,aγ} 式(19)
把没有丢失的冗余列表示为式(20)。
P={1,2,...,r}\{b1,b2,...,bδ} 式(20)
首先下载存活的没有丢失的k-γ个信息列i1,i2,...,ik-γ∈M,和γ个冗余列l1,l2,...,lγ∈P,恢复出丢失的γ个信息列,然后把丢失冗余列的编码向量与k个数据多项式相乘计算出丢失的冗余多项式。下面详细的介绍其解码过程。
对于τ=1,2,...,k-γ,首先为信息列iτ添加一个校验比特并形成数据多项式如式(21)。
对于h=1,2,...,γ,为冗余列lh添加比特零并形成编码多项式如式(22)
令式(23)
分别为γ个编码多项式减去k-γ个数据多项式所得到的多项式,则有式(24)。
其中h=1,2,...,γ。然后,可以通过求解以下线性方程组解出丢失的γ个数据多项式。如式(25)所示。
通过调用算法1,可以得到γ个丢失的信息列。然后,丢失的δ个冗余列可以通过相应的编码向量与k个信息多项式相乘得到。
下面来分析编解码的复杂度。
下面统计下二进制柯西阵列码的解码复杂度。为k-γ个信息列添加校验比特并形成数据多项式用到了(k-γ)(p-2)次异或运算。计算式子(22)所表示的γ个多项式需要γ((k-γ)(p-3)+(k-γ)(p-1))=γ(k-γ)(2p-4)次异或运算。在求解γ×γ柯西形式的线性方程组时用到了4γ2p-3γp-5γ2+3γ+2次异或运算。在恢复δ个冗余列时需要δ(k(p-3)+(k-1)(p-1))次异或运算。因此,解码出γ个信息列和δ个冗余列的解码计算复杂度Dγ,δ,为式(26)。
次异或运算。当没有冗余列丢失,仅仅有信息列丢失时,解码复杂度为式(27)所示次异或运算。
Dγ=(k-γ)(p-2)+γ(k-γ)(2p-4)+4γ2p-3γp-5γ2+3γ+2 式(27)。
为方便比较,定义单位编码复杂度为编码过程中涉及到的异或运算的个数除以信息比特的个数,单位解码复杂度为解码过程中涉及到的异或运算的个数除以信息比特的个数。
相比于之前的编码方案,比如EVENODD码,阵列码C(k,r,p)的编解码复杂度几乎不变,但却能大大提升系统的容错能力,最多能修复任意r个节点失效;相比于CRS码,阵列码C(k,r,p)在同样能恢复多个节点失效的同时,编解码复杂度均很低。其次,C(k,r,p)码对原始信息数据块的数量不固定,取值更加灵活。而且,C(k,r,p)码的构造过程和重建过程均只涉及异或运算,所以计算复杂度很低、计算开销很小,很大程度上降低了系统计算时延,节省时间和资源,能减少成本的消耗,适合实际的存储系统;C(k,r,p)码可以满足MDS属性,在节省存储空间的同时,又让系统能够容纳多个结点故障,增加了数据的容错性和稳定性。
编码计算复杂度:
在阵列码C(k,r,p)中,有k个信息列,r个冗余列。首先,为每个信息列计算一个校验比特形成数据多项式,需要k(p-2)次异或运算。然后,根据编码计算公式计算出r个编码多项式。在计算每个编码多项式的过程中,需要计算k个除法运算,根据引理8知需要个k(p-3)异或运算。另外,根据引理1的结论,除法运算所得多项式的次数为p-1的系数为0。因此,在计算每个编码多项式的过程中的k-1个加法运算,需要(k-1)(p-1)次异或运算。所以,计算一个编码多项式需要的异或个数E1为式(28)所示。
E1=k(p-3)+(k-1)(p-1) 式(28)
计算r个冗余列需要的计算量Er,为式(29)所示。
Er=k(p-2)+r(2kp-4k-p+1) 式(29)
二进制柯西阵列码C(k,r,p)的单位编码计算复杂度NEC(k,r,p),为式(30)。
当给定冗余列的个数r时,循环柯西(Circulant Cauchy)阵列码[C.Schindelhauer and C.Ortolf.Maximum distance separable codes based oncirculant cauchy matrices.Structural Information and CommunicationComplexity.Springer,2013,3(1):334-345.]的单位编码计算复杂度为式(31)所示。
为了公平的比较柯西阵列码的编码复杂度,令参数k等于p-r,因此有阵列码C(k,r,p)的单位编码计算复杂度为式(32)所示。
当r=4时,对阵列码C(p-4,4,p),令k=p-4。当p取值范围从11到47时,阵列码C(p-4,4,p)、循环柯西阵列码和CRS码的单位编码计算复杂度如图1。对于CRS码,令k=p-4。
在图1中,CRS码的数值均是1000次运行数据的平均值。图1的结果表明阵列码C(p-4,4,p)的单位编码计算复杂度是三种阵列码中最低的,而CRS码的计算复杂度是三种阵列码中最大的。
解码计算复杂度:
同样的,令k=p-r,阵列码C(p-r,r,p)的单位解码计算复杂度NDC(p-r,r,p),为式(33)所示。
当r=4时,Rabin-Like码[G.L.Feng,R.H.Deng,F.Bao,et al.New efficient MDSarray codes for RAID.Part II.Rabin-like codes for tolerating multiple(≥4)disk failures.IEEE Transactions on Computers,2006,54(12):1473-1483]的解码计算复杂度为p(9k+95)异或运算,而当r大于4时,其解码计算复杂度会很大且作者并没有给出精确地异或个数。当循环柯西阵列码中有r个信息列丢失时,其单位解码计算复杂度NDCC,为式(34)所示。
当r=4时,且当参数p取值范围从11到37时,阵列码C(p-4,4,p)、Rabin-Like码、柯西循环码和CRS码的单位解码计算复杂度如图2。图2的结果表明,循环柯西码、Rabin-Like码和阵列码C(p-4,4,p)均是随着参数p的增加而减少,而CRS码则是随着参数p的增加而增加。这是因为CRS码的解码优化算法对参数值小时性能较好,而当参数值较大时,其优化效果不佳。因此,当参数较大时,CRS码的解码计算复杂度是最大的,而当参数较小时,CRS码的解码计算复杂度相对较低。在阵列码C(p-4,4,p)、Rabin-Like码和柯西循环码中,阵列码C(p-4,4,p)的解码计算复杂度是最低的,无论是当参数p取值小还是取值大。
当r=5时,且当参数p取值范围从11到59时,阵列码C(p-5,5,p)、柯西循环码和CRS码的单位解码计算复杂度如图3。与r等于4的情况类似,CRS码的解码计算复杂度随着参数p的增加而变大,而阵列码C(p-5,5,p)和柯西循环码的计算复杂度则随着参数p的增加而变小。在所有测试的数据点,阵列码C(p-5,5,p)的解码计算复杂度均是最低的。当参数p大于47时,CRS码的解码计算复杂度大于循环柯西码的解码计算复杂度。相反,当参数p小于47时,CRS码的解码计算复杂度则小于循环柯西码的解码计算复杂度。
阵列码C(k,r,p)相比于其他MDS码,如CRS码,最大的优势在于其编码计算复杂度和解码计算复杂度都低很多,而且对于原始信息数据块的数量没有固定,可取2到p内的任意整数。相比于能恢复两个结点的EVENODD码,阵列码C(k,r,p)在编解码复杂度几乎不变的情况下,提高了系统的容错性,最多能修复任意r个节点失效。
阵列码C(k,r,p)拥有较优的编解码复杂度,同时大大提升了系统的容错能力,而且对原始信息数据块的数量没有固定,可取2到p内的任意整数,更加灵活,达到存储开销与系统可靠性的最优折中。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (4)
1.一种修复多节点失效的MDS阵列码编码方法,其特征在于:修复多节点失效的MDS阵列码编码组成部分为C(k,r,p)码,通过构建一个(p-1)*(k+r)的矩阵来存储原始信息数据块和冗余块,其中p为质数,且p大于k和r,k和r均为小于p大于0的任意整数;k列称为信息列,其对应为k个数据块;r列为冗余列,其对应为r个冗余块,C(k,r,p)码中的加法和减法运算均为异或运算;C(k,r,p)码的构造过程为:给定k(p-1)个信息比特,计算并添加k个校验比特,得到k个数据多项式,通过计算出编码多项式,存储多项式的次数为从0到p-2的多项式的系数;存储在第j信息列的p-1个信息比特和其校验比特表示的第一数据多项式为sj(x)=s0,j+s1,jx+…+sp-2,jxp-2+sp-1,jxp-1,其中,si,j表示阵列码C(k,r,p)的第j信息列的第i个比特;第三编码多项式为
2.根据权利要求1所述的修复多节点失效的MDS阵列码编码方法,其特征在于:
C(k,r,p)码中的除法按以下方式进行:为每个数据多项式计算一个除法运算,然后把相应的数据多项式除法运算的结果相加,除法运算表示为s(x)/(1+xb),其中多项式s(x)有偶数个项,b是小于素数p的一个正整数。
3.根据权利要求1所述的修复多节点失效的MDS阵列码编码方法,其特征在于:
C(k,r,p)码为二进制柯西阵列码,其生成矩阵为G=[I C],其中矩阵I表示k×k的单位阵,矩阵C为的k×r柯西矩阵,
4.一种修复多节点失效的MDS阵列码编码的解码方法,其特征在于:包括如下步骤:当阵列码C(k,r,p)中有ρ≤r个列丢失时,设γ个信息列a1,a2,...,aγ和δ个冗余列b1,b2,...,bδ丢失,其中1≤a1<a2<...<aγ≤k,1≤b1<b2<...<bγ≤r,k≥γ≥0,r≥δ≥0且γ+δ=ρ≤r,把存活的没有丢失的信息列表示为M={1,2,...,k}\{a1,a2,...,aγ},把没有丢失的冗余列表示为P={1,2,...,r}\{b1,b2,...,bδ},首先下载存活的没有丢失的k-γ个信息列i1,i2,...,ik-γ∈M,和γ个冗余列l1,l2,...,lγ∈P,恢复出丢失的γ个信息列,然后把丢失冗余列的编码向量与k个数据多项式相乘计算出丢失的冗余多项式;为信息列iτ添加一个校验比特并形成数据多项式其中τ=1,2,...,k-γ;为冗余列lh添加比特零并形成编码多项式其中,h=1,2,...,γ;分别为γ个编码多项式减去k-γ个数据多项式所得到的多项式为
通过求解线性方程组解出丢失的γ个数据多项式,其中线性方程组为
然后获得γ个丢失的信息列。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710156631.6A CN107086870B (zh) | 2017-03-16 | 2017-03-16 | 修复多节点失效的mds阵列码编码以及解码方法 |
PCT/CN2017/087770 WO2018166078A1 (zh) | 2017-03-16 | 2017-06-09 | 修复多节点失效的mds阵列码编码以及解码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710156631.6A CN107086870B (zh) | 2017-03-16 | 2017-03-16 | 修复多节点失效的mds阵列码编码以及解码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107086870A CN107086870A (zh) | 2017-08-22 |
CN107086870B true CN107086870B (zh) | 2019-10-22 |
Family
ID=59615212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710156631.6A Active CN107086870B (zh) | 2017-03-16 | 2017-03-16 | 修复多节点失效的mds阵列码编码以及解码方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107086870B (zh) |
WO (1) | WO2018166078A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108199720B (zh) * | 2017-12-15 | 2021-02-19 | 深圳大学 | 一种减小存储开销和提高修复效率的节点修复方法及系统 |
CN108512553B (zh) * | 2018-03-09 | 2022-09-27 | 哈尔滨工业大学深圳研究生院 | 一种降低带宽消耗的截短再生码构造方法 |
CN109496298A (zh) * | 2018-06-01 | 2019-03-19 | 东莞理工学院 | 一种evenodd码的构造方法 |
CN109257049B (zh) * | 2018-08-09 | 2020-11-06 | 东莞理工学院 | 一种修复二进制阵列码校验矩阵的构造方法及修复方法 |
CN109062725A (zh) * | 2018-08-09 | 2018-12-21 | 东莞理工学院 | 一种二进制mds阵列编码的编码框架方法 |
CN109257050A (zh) * | 2018-08-09 | 2019-01-22 | 东莞理工学院 | 一种修复二进制码生成矩阵构造方法及修复方法 |
CN109445990A (zh) * | 2018-10-29 | 2019-03-08 | 哈尔滨工业大学(深圳) | 基于双倍复制的mds缓存方案 |
CN110457161A (zh) * | 2019-07-26 | 2019-11-15 | 成都信息工程大学 | 一种高效高可靠的大数据存储系统、方法、计算机程序 |
CN110289864A (zh) * | 2019-08-01 | 2019-09-27 | 东莞理工学院 | 二进制mds阵列码的最优修复访问变换方法及装置 |
CN111143108B (zh) * | 2019-12-09 | 2023-05-02 | 成都信息工程大学 | 一种降低阵列码Xcode修复的编译码方法及装置 |
CN111988437B (zh) * | 2020-09-15 | 2023-03-24 | 东莞理工学院 | 一种通用的Expanded-Blaum-Roth码的编码方法及其解码方法 |
CN113641531A (zh) * | 2021-07-27 | 2021-11-12 | 东莞理工学院 | Star码的编码方法及其解码方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8694866B2 (en) * | 2011-03-15 | 2014-04-08 | California Institute Of Technology | MDS array codes with optimal building |
CN102624866B (zh) * | 2012-01-13 | 2014-08-20 | 北京大学深圳研究生院 | 一种存储数据的方法、装置及分布式网络存储系统 |
CN103650462B (zh) * | 2012-04-27 | 2016-12-14 | 北京大学深圳研究生院 | 基于同态的自修复码的编码、解码和数据修复方法及其存储系统 |
CN102684836B (zh) * | 2012-05-15 | 2014-07-16 | 哈尔滨工程大学 | 基于网络编码的网络编码修复方法 |
US9647698B2 (en) * | 2013-02-26 | 2017-05-09 | Peking University Shenzhen Graduate School | Method for encoding MSR (minimum-storage regenerating) codes and repairing storage nodes |
CN103688515B (zh) * | 2013-03-26 | 2016-10-05 | 北京大学深圳研究生院 | 一种最小带宽再生码的编码和存储节点修复方法 |
US10187088B2 (en) * | 2014-04-21 | 2019-01-22 | The Regents Of The University Of California | Cost-efficient repair for storage systems using progressive engagement |
-
2017
- 2017-03-16 CN CN201710156631.6A patent/CN107086870B/zh active Active
- 2017-06-09 WO PCT/CN2017/087770 patent/WO2018166078A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN107086870A (zh) | 2017-08-22 |
WO2018166078A1 (zh) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107086870B (zh) | 修复多节点失效的mds阵列码编码以及解码方法 | |
CN101719086B (zh) | 磁盘阵列容错处理方法和装置及容错系统 | |
CN113297000B (zh) | 一种raid编码电路及编码方法 | |
CN103746774B (zh) | 一种高效数据读取的容错编码方法 | |
WO2016058289A1 (zh) | 一种能修复多个节点失效的mds纠删码 | |
CN111078460B (zh) | 一种快速纠删码计算方法 | |
CN105518996B (zh) | 一种基于二进制域里德所罗门码的数据编解码方法 | |
CN111682874A (zh) | 一种数据恢复的方法、系统、设备及可读存储介质 | |
CN111858142A (zh) | 一种数据处理方法、装置及电子设备和存储介质 | |
CN102843212B (zh) | 编解码处理方法及装置 | |
Venkatesan et al. | Effect of codeword placement on the reliability of erasure coded data storage systems | |
CN115454712B (zh) | 一种校验码恢复方法、系统、电子设备及存储介质 | |
CN113296999A (zh) | 一种raid6编码方法及编码电路 | |
CN113297001A (zh) | 一种raid编解码方法及编解码电路 | |
Qiu et al. | Ec-fusion: An efficient hybrid erasure coding framework to improve both application and recovery performance in cloud storage systems | |
CN114153651A (zh) | 一种数据编码方法、装置、设备及介质 | |
CN114895842A (zh) | 一种tp-raid编解码方法、系统、设备及存储介质 | |
CN115098295A (zh) | 数据局部恢复方法、设备及存储介质 | |
Gligoroski et al. | Repair duality with locally repairable and locally regenerating codes | |
CN103650462A (zh) | 基于同态的自修复码的编码、解码和数据修复方法及其存储系统 | |
CN108614749A (zh) | 一种数据处理方法及装置 | |
WO2017041232A1 (zh) | 一种二进制循环码的编解码框架 | |
Song et al. | A Low complexity design of reed solomon code algorithm for advanced RAID system | |
Rudow et al. | A locality-based lens for coded computation | |
CN108352845A (zh) | 用于对存储数据进行编码的方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |