CN113347026B - 基于立方体网络的部分重复码构造和故障节点修复方法 - Google Patents

Abstract

本发明属于计算机领域，公开了一种基于立方体网络的部分重复码构造和故障节点修复方法。构造方法用于构造节点存储容量同构或异构且具有任意大小编码数据块的可分解FRC，算法复杂度低，在修复故障节点时，运用平行类的修复方法可实现故障节点的精确无编码修复。

Description

基于立方体网络的部分重复码构造和故障节点修复方法

技术领域

本发明属于计算机领域，具体涉及一种基于立方体网络的部分重复码构造和故障节点修复方法。

背景技术

分布式存储系统中的传统再生码和局部修复码的编码方式，在修复故障节点时会涉及大量有限域计算和复杂的编码过程，计算复杂度高，修复局部性复杂，影响编码效率。为此，研究者们在MBR码的基础上提出了一种新的编码方式--部分重复码(FractionalRepetition Code，FRC)。针对目前部分重复码的构造算法复杂以及大部分的构造算法只能适用于节点存储容量同构的分布式存储系统。因此目前有些方案提出了满足实际分布式存储系统的存储需求的异构FRC，研究表明当前的异构FRC主要针对的是节点存储容量异构，且大多数的异构FRC的节点存储容量的种类少。

因此，如何构造结构简单和节点存储容量种类多样的异构FRC成为了研究的重点所在。

发明内容

本发明的目的在于提供一种基于立方体网络的部分重复码构造和故障节点修复方法，用以解决现有技术中的大部分的FRC都是同构的问题，缺少存储容量种类更加多样化的异构FRC的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于立方体网络的部分重复码构造方法，该方法用于获取数据包个数后对数据包个数进行整数分解，根据分解结果构造部分重复码；

若数据包个数能分解为a×b×c且a＝b＝c，则按照如下方案构造同构部分重复码：

构建长宽高分别为a个格点的立方体网络且所述的立方体网络共包括a³个格点，所述的立方体网络包括三类平行面，所述的平行面为同一个投影方向上的平面，将立方体网络的平行面总数作为存储节点数n，将立方体网络每个平行面上的格点数作为节点存储容量α，获得n＝3a,θ＝a³,α＝a²,ρ＝3的同构部分重复码，其中，ρ表示重复度，θ表示数据包个数；

若数据包个数能分解为a×b×c且a≠b≠c，则按照如下方案构造异构部分重复码：

构建长宽高分别为a、b、c个格点的立方体网络且所述的立方体网络共包括a×b×c个格点，将立方体网络的平行面总数作为存储节点数n，将立方体网络不同平行面上的格点数分别作为不同的节点存储容量α₁、α₂和α₃，获得n＝a+b+c,θ＝a×b×c,α₁＝a×b,α₂＝b×c,α₃＝a×c,ρ＝3的异构部分重复码；

若数据包个数能分解为a×b×c且a＝b≠c，则按照如下方案构造异构部分重复码：

构建长宽高分别为a、b、c个格点的立方体网络且所述的立方体网络共包括a×b×c个格点，将立方体网络的平面总数作为存储节点数n，将立方体网络不同平行面上的格点数分别作为不同的节点存储容量α₁和α₂，获得n＝2a+c,θ＝a²c,α₁＝a²,α₂＝a×c,ρ＝3的异构部分重复码；

若数据包个数为素数，则令数据包个数加1后将数据包个数分解为a×b×c，构建长宽高分别为a、b、c个格点的立方体网络并删除立方体网络任意位置的一个格点，获得包括(a×b×c-1)个格点的立方体网络，将立方体网络的平行面总数作为存储节点数n，将立方体网络不同平行面上的格点数分别作为不同的节点存储容量α₁、α₂、α₃、α₄和α₅，获得n＝a+b+c,θ＝a×b×c-1,α₁＝a×b,α₂＝a×c,α₃＝b×c,α₄＝a×b-1,α₅＝a×c-1,α₆＝b×c-1,ρ＝3的异构部分重复码。

一种故障节点修复方法，用于对基于立方体网络的部分重复码构造方法构造的同构部分重复码或同构部分重复码进行故障节点修复，将立方体网络中一类平行面上的节点作为一个平行类，建立新生节点并连接除故障节点所属的平行类之外的其余平行类上的存活节点，下载数据包完成修复。

本发明与现有技术相比具有以下技术特点：

(1)本发明符合实际的分布式存储系统节点存储容量异构的特性；

(2)本发明可以修复单节点或多节点故障，修复时只需按照平行类的修复方法直接从存活节点下载数据块即可修复；

(3)本发明采用立方体网络构造FRC，构造算法简单，无编码操作，节省时间。

附图说明

图1是本发明构造的同构(n＝9,θ＝27,α＝9,ρ＝3)CNFRC，其中，图1(a)是a＝b＝c＝3的分布式存储系统的立方体网络，图1(b)是分布式存储系统中FRC节点存储数据包的情况；

图2是本发明构造的异构(n＝9,θ＝24,α₁＝6；α₂＝8；α₃＝12,ρ＝3)CNFRC，其中，图2(a)是a＝3,b＝2,c＝4的分布式存储系统的立方体网络，图2(b)是分布式存储系统中FRC节点存储数据包的情况；

图3是本发明构造的异构(n＝7,θ＝11,α₁＝4；α₂＝6,ρ＝3)CNFRC，其中，图3(a)图是a＝b＝2,c＝3的分布式存储系统的立方体网络，图3(b)是分布式存储系统中FRC节点存储数据包的情况；

图4是本发明构造的数据包个数为素数情况下的异构(n＝7,θ＝11,α₁＝4；α₂＝6；α₃＝3；α₄＝5,ρ＝3)CNFRC，其中，图4(a)是a＝b＝2,c＝3的分布式存储系统的立方体网络，图4(b)是分布式存储系统中FRC节点存储数据包的情况；

图5是立方体网格结构示意图。

具体实施方式

首先对本发明中出现的技术词语进行解释：

立方体网络：单位正方体在三维空间作周期性重复排列组合而成的正方体或者长方体，称为立方体网络。如图5所示，其中给出了一个2×2×2的立方体网络，其中6个面v₁,v₂,...,v₆表示分布式存储系统中的6个存储节点，8个格点d₁,d₂,...,d₈代表DSS系统中存储的8个数据包。

平行面：以三视图观察方向为标准，平行面包括正视图方向上的投影面，左视图方向上的投影面和俯视图方向上的投影面，每类平行面的总数为该观察方向上平面的总数。

格点：立方体网络中的顶点。

重复度：FRC的不同数据包复制的次数，在本发明中用ρ表示重复度。

同构FRC：FRC中所有的节点存储容量相同且数据包的重复度也相同。

异构FRC：FRC中不同节点的存储容量不一样或者数据包的重复度不同。

FRC数据包：FRC中存储的数据表示数据包，在本发明中用θ表示数据包。

FRC存储节点：等价于分布式存储系统的节点，用于存储数据包。

节点存储容量：FRC存储节点中存储的数据包个数。

平行类可分解FRC：假设码C＝(Ω,U)是FRC，其中U＝{U₁,U₂,...U_n}。若将子集

的子集称为一个平行类，那么需要满足，在U_i∈R,U_j∈R,i≠j时，

且

把集合U能划分成λ个平行类的方法叫作分解，如果FRC至少存在一个这样的分解，那么该FRC是可分解FRC。

在本实施例中公开了一种基于立方体网络的部分重复码(Cube NetworkFractional Repetition Code,CNFRC)构造方法，该方法用于获取数据包个数后对数据包个数进行整数分解，根据分解结果构造部分重复码，该方法能构造重复度ρ＝3部分重复码，对于立方体网络而言有3类平行面，即FRC的重复度ρ＝3。且该方法既实现节点存储容量同构，也能实现节点存储容量异构，构造方法简单。

若数据包个数能分解为a×b×c且a＝b＝c，则按照如下方案构造同构部分重复码：

构建长宽高分别为a个格点的立方体网络，所述的立方体网络包括三类平行面，所述的平行面为一个投影方向上的平面，所述的立方体网络包括a³个格点，将立方体网络的平行面总数作为存储节点数n，将立方体网络每个平行面上的格点数作为节点存储容量α，获得n＝3a,θ＝a³,α＝a²,ρ＝3的同构部分重复码，其中，ρ表示重复度，θ表示数据包个数；该同构部分重复码是平行类λ＝ρ＝3的可分解FRC。

具体的，立方体网络中a＝b＝c的情况下，构造具体步骤如下：

步骤1，首先将a×b×c立方体网络中的格点d_i(1≤i≤a×b×c,i∈Z)按照d₁,d₂,...,d_a×b×c的顺序进行标号，立方体网络中格点d_i代表FRC的数据包，平面代表FRC的存储节点；

步骤2，确定FRC的存储节点数；由于a＝b＝c，可知立方体网络为一正方体，该正方体网络共有3a个平面，根据三视图观察方向，共有3个平行类的面，每个平行类包含a个面，每个平面代表分布式存储系统中的一个存储节点，将这些平面按照v₁,v₂,...v_3a顺序进行标号，即对应FRC节点数为n＝3a；

步骤3，确定FRC的数据包个数及存放规则，正方体网络共有a³个格点，每个格点代表FRC中的一个数据包，数据包的存放顺序与格点的排列顺序

保持一致，即可知FRC中数据包个数为θ＝a³；

步骤4：确定FRC的节点存储容量α；由于a＝b＝c，正方体网络每个面上的格点数都是a²，对应FRC每个存储节点容量为α＝a²。

若数据包个数能分解为a×b×c且a≠b≠c，则按照如下方案构造异构部分重复码：

构建长宽高分别为a、b、c个格点的立方体网络，所述的立方体网络包括a×b×c个格点，将立方体网络的平行面总数作为存储节点数n，将立方体网络不同平行面上的格点数分别作为不同的节点存储容量α₁、α₂和α₃，获得n＝a+b+c,θ＝a×b×c,α₁＝a×b,α₂＝b×c,α₃＝a×c,ρ＝3的异构部分重复码；该异构部分重复码是平行类λ＝ρ＝3的可分解FRC。

具体的，立方体网络中a≠b≠c的情况下，构造具体步骤如下：

步骤1，首先将a×b×c立方体网格中的格点d_i(1≤i≤abc,i∈Z)按照d₁,d₂,...,d_abc的顺序进行标号，立方体网络中格点d_i代表FRC的数据包，平面代表FRC的存储节点；

步骤2，确定FRC的存储节点数；由于a≠b≠c，可知立方体网络为一个长方体，该长方体网络共有a+b+c平面，根据三视图观察方向共有3个平行类的面，分别包含a个平面，b个平面和c个平面，每个平面代表分布式存储系统的一个存储节点，将这些节点按照v₁,v₂,...v_a+b+c顺序进行标号，即对应的FRC节点数为n＝a+b+c；

步骤3，确定FRC的数据包个数及存放规则；长方体网络共有a×b×c个格点，每个格点代表FRC中的一个数据包，数据包的存放顺序与格点的排列顺序d₁,d₂,...,d_abc保持一致，即可知FRC中数据包个数为θ＝abc；

步骤4，确定FRC的节点存储容量α；由于a≠b≠c，长方体网络所有平面上格点数会有a×b，a×c和b×c三种情况，那么对应FRC存储节点容量也有三种情况α₁＝a×b，α₂＝b×c和α₃＝a×c。

若数据包个数能分解为a×b×c且a＝b≠c或(a≠b＝c)，则按照如下方案构造异构部分重复码：

构建长宽高分别为a、b、c个格点的立方体网络，将立方体网络的平面总数作为存储节点数n，将立方体网络的格点数作为数据包个数θ，将立方体网格不同面上的格点数分别作为不同的节点存储容量α₁和α₂，构造出的FRC的存储节点数n＝2a+c，数据包个数为θ＝a²c，重复度ρ＝3。但是节点存储容量发生了变化，有两种情况α₁＝a²，α₂＝a×c，获得n＝2a+c,θ＝a²c,α₁＝a²,α₂＝a×c,ρ＝3的异构部分重复码。

若数据包个数为素数，则令数据包个数加1后将数据包个数分解为a×b×c，构建长宽高分别为a、b、c个格点的立方体网络并删除立方体网络任意位置的一个格点，获得包括(a×b×c-1)个格点的立方体网络，将立方体网络的平行面总数作为存储节点数n，将立方体网络不同平行面上的格点数分别作为不同的节点存储容量α₁、α₂、α₃、α₄和α₅，获得n＝a+b+c,θ＝a×b×c-1,α₁＝a×b,α₂＝a×c,α₃＝b×c,α₄＝a×b-1,α₅＝a×c-1,α₆＝b×c-1,ρ＝3的异构部分重复码。

在立方体网络中去掉任一格点，去掉的格点用空心点表示，代表该格点不存储数据包。最终可知去掉格点后的方形网络FRC的重复度和存储节点数保持不变，节点存储容量发生了变化。

在本实施例中公开了一种故障节点修复方法，用于对上述的基于立方体网络的部分重复码构造方法构造的同构部分重复码或同构部分重复码进行故障节点修复，将立方体网络中一类平行面上的节点作为一个平行类，建立新生节点并连接除故障节点所属的平行类之外的其余平行类上的存活节点，下载数据包完成修复。采用上述方法所构造同构和异构的FRC可以用于单节点和两个节点故障修复的应用，根据平行类λ＝ρ＝3，新生节点可以通过连接一个平行类或者连接多个平行类里的存活节点下载数据包进行快速修复，修复方式灵活。

以下给出具体实施例，需要说明的是本发明中的实施例是根据基于立方体网络构造的不同情况下的FRC，其中n表示分布式存储系统的节点数，α表示存储节点的容量，θ表示数据块的数量且可表示为[θ]＝{1,2,...,θ}，ρ表示重复度。对于a×b×c(a,b,c≥2，且a,b,c为整数)的立方体网络，其中a代表立方体网络长边上的格点数，b表示立方体网络中宽边上的格点数，c表示立方体网络的高所在边长上的格点数，同一条棱上相邻格点间距离相等。根据上面所给条件得，总的平面数为a+b+c，总的格点数为a×b×c。规定立方体网络中格点表示分布式存储系统中的数据包文件，立方体网络的面代表存储系统的节点。另外，分析了故障节点修复的方法及本发明构造的FRC的修复局部性的对比分析。

实施例1

建立一个a＝b＝c＝3的立方体网络，由上述实施例的方法得可构造同构的(n＝9,θ＝27,α＝9,ρ＝3)CNFRC，如图1所示，该立方体网络共有3a＝9个平面，根据三视图观察方向，共有3类平行面，每类包含3个面，每个平面代表分布式存储系统中的一个存储节点，故存储节点数为n＝9。总的格点数为a³＝27，即总的数据块个数为θ＝27；每个面的格点数均为a²＝9，即节点存储容量为α＝9。

实施例2

建立一个a＝3,b＝2,c＝4的立方体网络，由上述实施例的方法可构造节点存储容量异构的(n＝9,θ＝24,α₁＝12；α₂＝8；α₃＝6,ρ＝3)CNFRC，如图2所示，该立方体网络共有a+b+c＝9个平面，根据三视图观察方向，共有3类平行面，每类分别包含2个平面、3个平面和4个平面，每个平面代表分布式存储系统中的一个存储节点，故存储节点数为n＝9。总的格点数为abc＝24，即总的数据块个数为θ＝24；平面上格点数会有a×c＝12，b×c＝8和a×b＝6三种情况，即对应FRC存储节点容量也有三种情况α₁＝12，α₂＝8和α₃＝6。

实施例3

建立一个a＝b＝2,c＝3的立方体网络，由上述实施例的方法可构造节点存储容量异构的(n＝7,θ＝11,α₁＝4；α₂＝6,ρ＝3)CNFRC，如图3所示，该立方体网络共有a+b+c＝7个平面，根据三视图观察方向，共有3类平行面，每类分别包含2个平面、2个平面和3个平面，每个平面代表分布式存储系统中的一个存储节点，故存储节点数为n＝7。总的格点数为abc＝12，即总的数据块个数为θ＝12；平面上格点数会有a²＝4和两种a×c＝6种情况，即对应FRC存储节点容量也有两种情况α₁＝4和α₂＝6。

实施例4

若给定分布式存储系统中数据包θ＝11，可以在图3的基础上去掉某一个数据包，例如d₆格点并将去掉的格点用空心的圆圈表示，那么可得到的节点存储容量异构的(n＝7,θ＝11,α₁＝4；α₂＝6；α₃＝3；α₄＝5,ρ＝3)CNFRC，如图4所示。

实施例5

本实施例公开了一种故障节点进行修复方法，在上述实施例的基础上，当分布式存储系统中单节点故障时，根据平行类λ＝ρ＝3，新生节点可以通过连接一个平行类或者连接多个平行类里的存活节点下载数据包进行快速修复，修复方式灵活。如图2所示，当节点v₃发生故障，分两种情况讨论：

(1)新生节点可以连接第一个平行类里存活的节点{v₁,v₂}或者连接第三个平行类里存活的节点{v₅,v₆,v₇}下载数据包d₁,d₃,d₅,d₇,d₉,d₁₁，即可对故障节点v₃进行精确无编码修复；

(2)新生节点也可以连接第一个平行类里的存活节点{v₁}和第三个平行类里的存活节点{v₅,v₆,v₇}来来进行修复。即在基于立方体网络构造的FRC中，当单节点故障时，可以从剩下的平行类中下载数据进行精确修复。

当分布式存储系统中多节点发生故障时，分两种情况讨论。

(1)多个故障节点同时出现在同一个平行类，如图3所示，当节点v₅和v₆发生故障，修复方法和单故障节点修复方法一样，既新生节点可以从另外两个平行类里的存活节点直接下载数据块进行修复，例如从平行类1的存活节点v₁和v₂下载数据包{d₁,d₂,d₇,d₈}和{d₃,d₄,d₉,d₁₀}恢复节点v₅和v₆；

(2)故障节点出现在不同的平行类，如图2所示，若节点v₁和v₃发生故障，新生节点即可从第三个平行类下载数据进行修复。

Claims (2)

1.基于立方体网络的部分重复码构造方法，其特征在于，该方法用于分布式存储系统中获取数据包个数后对数据包个数进行整数分解，根据分解结果构造部分重复码；

若数据包个数能分解为a×b×c且a＝b＝c，则按照如下方案构造同构部分重复码：

构建长宽高分别为a个格点的立方体网络且所述的立方体网络共包括a³个格点，所述的立方体网络包括三类平行面，所述的平行面为同一个投影方向上的平面，将立方体网络的平行面总数作为存储节点数n，将立方体网络每个平行面上的格点数作为节点存储容量α，获得n＝3a,θ＝a³,α＝a²,ρ＝3的同构部分重复码，其中，ρ表示重复度，θ表示数据包个数；格点是指立方体网络中的顶点；重复度是指FRC的不同数据包复制的次数；节点存储容量是指FRC存储节点中存储的数据包个数；

若数据包个数能分解为a×b×c且a≠b≠c，则按照如下方案构造异构部分重复码：

构建长宽高分别为a、b、c个格点的立方体网络且所述的立方体网络共包括a×b×c个格点，将立方体网络的平行面总数作为存储节点数n，将立方体网络不同平行面上的格点数分别作为不同的节点存储容量α₁、α₂和α₃，获得n＝a+b+c,θ＝a×b×c,α₁＝a×b,α₂＝b×c,α₃＝a×c,ρ＝3的异构部分重复码；

若数据包个数能分解为a×b×c且a＝b≠c，则按照如下方案构造异构部分重复码：

构建长宽高分别为a、b、c个格点的立方体网络且所述的立方体网络共包括a×b×c个格点，将立方体网络的平面总数作为存储节点数n，将立方体网络不同平行面上的格点数分别作为不同的节点存储容量α₁和α₂，获得n＝2a+c,θ＝a²c,α₁＝a²,α₂＝a×c,ρ＝3的异构部分重复码；

若数据包个数为素数，则令数据包个数加1后将数据包个数分解为a×b×c，构建长宽高分别为a、b、c个格点的立方体网络并删除立方体网络任意位置的一个格点，获得包括(a×b×c-1)个格点的立方体网络，将立方体网络的平行面总数作为存储节点数n，将立方体网络不同平行面上的格点数分别作为不同的节点存储容量α₁、α₂、α₃、α₄和α₅，获得n＝a+b+c,θ＝a×b×c-1,α₁＝a×b,α₂＝a×c,α₃＝b×c,α₄＝a×b-1,α₅＝a×c-1,α₆＝b×c-1,ρ＝3的异构部分重复码；

a,b,c≥2，且a,b,c为整数，同一条棱上相邻格点间距离相等；

所述的基于立方体网络的部分重复码构造方法构造的同构部分重复码或同构部分重复码用于进行故障节点修复，将立方体网络中一类平行面上的节点作为一个平行类，建立新生节点并连接除故障节点所属的平行类之外的其余平行类上的存活节点，下载数据包完成修复。

2.故障节点修复方法，其特征在于，用于对如权利要求1所述的基于立方体网络的部分重复码构造方法构造的同构部分重复码或同构部分重复码进行故障节点修复，将立方体网络中一类平行面上的节点作为一个平行类，建立新生节点并连接除故障节点所属的平行类之外的其余平行类上的存活节点，下载数据包完成修复。

Images