CN111125014A - 一种基于u-型设计的柔性部分重复码的构造方法 - Google Patents

Abstract

本发明公开了一种基于U‑型设计的柔性部分重复码的构造方法，首先将原始文件M分成k个原始数据块，对k个原始数据块采用(n,k)系统MDS码进行编码，根据编码块数选取相关参数，构造U‑型设计表，得到一个n×m的矩阵，如果同一列中元素取相同水平，则将它们置于一个区组中，形成一个数据节点。若U‑型设计表是等水平设计表，则构造出的FR码是同构的，若U‑型设计表是混合水平设计表，则构造出的FR码是异构的。该方法构造FR码更加简单直观，并且可以通过调整U‑型设计表的参数构造同构和异构FR码。

Description

一种基于U-型设计的柔性部分重复码的构造方法

技术领域

本发明属于计算机领域，具体涉及一种基于U-型设计的柔性部分重复码的构造方法。

背景技术

目前，社会海量数据迅速增长，如何对这些海量数据进行高效可靠的存储成为一个重要的问题。通常所采用的分布式存储系统，存储容量和失效修复带宽是衡量系统存储性能的两大重要指标。分布式存储系统大多使用“复制”和“纠删码”的方法来确保系统的可靠性。与传统复制相比，纠删码虽然节约了存储开销，但在节点修复过程中修复带宽开销过大，修复较为复杂。

针对以上问题，Dimakis等人提出了再生码，包括最小存储再生(Minimum StorageRegenerating,MSR)码和最小带宽再生(MinimumBandwidth Regenerating,MBR)码，但上述两种编码的修复局部性大，计算复杂度较高。

Rouayheb和Ramchandran于2010年提出一种精确修复的部分重复(FractionalRepetition，FR)码，能够容忍多节点失效，复杂度低，极大提高了系统的可靠性。现有的FR码的构造方法有许多，如利用完全图，仿射置换等方法构造FR码。

发明内容

针对现有技术中存在缺陷或不足，本发明的目的在于，提出一种基于U-型设计的柔性部分重复(Fractional Repetition，FR)码的构造方法，该方法利用U-型设计表得到同构和异构FR码。

为了实现上述任务，本发明采用如下技术方案：

一种基于U-型设计的柔性部分重复码的构造方法，其特征在于，具体按以下步骤实施：

步骤1，将原始文件M分成k个数据块，k≥2，对k个原始数据块采用(n,k)MDS编码(n≥k)，得到n个编码数据块c₁,c₂,...,c_k,c_k+1,...,c_n，其中，n个编码数据块包括k个原始数据块和n-k个校验数据块；

步骤2，U-型设计表为：U((n；q₁,q₂,...,q_m)，其中，q₁,...,q_m为n的正约数(1<q<n)，

该U-型设计表对应一个n×m矩阵：X＝(X₁,X₂,...X_m)，且满足：

1)第i列X_i取元素q₁,q₂,...q_i，且这q_i个元素在该列中等重复出现；

2)X没有全混杂的列，即X中没有一列能够由另一列通过行变换得到；

对一个U-型设计表，如果它的所有因子水平组合等重复出现，则称之为正交表，记作L_n(q₁,...,q_m)，当对所有i＝1,...,m,q_i＝q时，记作Ln(q^m)；

步骤3，给定一个U-型设计表，若其任两行之间有λ个位置取相同水平，则可以构造平衡不完全的区组设计(n,s,m,t,λ)；其中：

λ表示任一处理都出现在λ个区组中；

步骤3.1，X的每一列X_i，如下构造一个由q_i个大小为n/q_i的不相关区组构成的平行类：如果X_i的第k个元素取第u个水平，则让第u个区组包含处理k，k＝1,...n,u＝1,...q_i；

步骤4，每个区组分别代表分布式存储系统中的一个节点，其中区组所包含的元素代表编码块，将区组中的元素存储到相应的节点上，每一列的所有区组构成部分重复码的一个平行类；相对应的FR码记为(n,s,m,t,λ)，其中：

n为编码块数，s为节点总数，m为复制倍数，t为节点的存储容量，λ表示任一对处理都出现在λ个区组中。

根据本发明，步骤2中所述的U-型设计表参数的选取为：

m≥2保证最小复制倍数为2，最大可根据实际系统选取；

当q₁＝q₂＝...＝q_m时，该U-型设计表是一个可分解的平衡不完全区组设计(n,mq,m,n/q,λ)，对应X的m列，一共有qm个大小为n/q的区组。

步骤2中，如果U-型设计表是等水平设计表，则构造出来的FR码是同构的；若U-型设计表是混合水平表，则可以构造异构FR码。

步骤4所述的编码块包括数据块和校验块。

进一步地，所述的区组设计是可分解不完全区组设计；定义为如果一个区组可以分成若干个组群，称为平行类，使得每个元素在每个平行类中都出现且只出现一次，则称之为是可分解的。

本发明的基于U-型设计的柔性部分重复码的构造方法，与现有技术相比，带来的技术效果是：

1、考虑到实际分布式存储系统，由于一些永久性的相关故障(例如硬盘驱动器上的坏扇区)，节点存储可能会减少。此外，从实际的角度来看，系统管理人员可能希望改变重复度，而采用本发明的构造方法，可以对重复度进行调整。

2、利用U-型设计表构造FR码，参数广泛，可用来设计同构和异构FR码，并且构造出来的FR码是普遍好的。

附图说明

图1是一个U(6；3⁵)等水平U-型设计表；

图2是由图1中U(6；3⁵)等水平U-型设计表得到的一个区组(6，15，5，2，1)；

图3是将数据存储到相应节点的同构FR码；

图4是一个U(6；2¹3³)混合水平的U-型设计表；

图5是由图4中U(6；2¹3³)设计表得到的一个区组(6，11，4，{3，2}，1)，图中的

表示第j个平行类中的第i个区组；

图6是将数据存储到节点上的异构FR码。

以下结合附图和实施例对本发明作进一步的详细说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

按照本发明的技术方案，本实施例给出一种基于U-型设计的柔性部分重复(Fractional Repetition，FR)码的构造方法，具体按以下步骤实施：

步骤1，将原始文件M分成k个数据块，k≥2，对k个原始数据块采用(n,k)MDS编码(n≥k)，得到n个编码数据块c₁,c₂,...,c_k,c_k+1,...,c_n，其中，n个编码数据块包括k个原始数据块和n-k个校验数据块；

步骤2，U-型设计表为：U((n；q₁,q₂,...,q_m)，其中，q₁,...,q_m为n的正约数(1<q<n)，

该U-型设计表对应一个n×m矩阵：X＝(X₁,X₂,...X_m)，且满足：

1)第i列X_i取元素q₁,q₂,...q_i，且这q_i个元素在该列中等重复出现；

2)X没有全混杂的列，即X中没有一列能够由另一列通过行变换得到；

对一个U-型设计表，如果它的所有因子水平组合等重复出现，则称之为正交表，记作L_n(q₁,...,q_m)，当对所有i＝1,...,m,q_i＝q时，记作Ln(q^m)；

步骤3，给定一个U-型设计表，若其任两行之间有λ个位置取相同水平，则可以构造平衡不完全的区组设计(n,s,m,t,λ)；其中：

λ表示任一处理都出现在λ个区组中；

步骤3.1，X的每一列X_i，如下构造一个由q_i个大小为n/q_i的不相关区组构成的平行类：如果X_i的第k个元素取第u个水平，则让第u个区组包含处理k，k＝1,...n,u＝1,...q_i.；

步骤4，每个区组分别代表分布式存储系统中的一个节点，其中区组所包含的元素代表编码块，将区组中的元素存储到相应的节点上，每一列的所有区组构成部分重复码的一个平行类；相对应的FR码记为(n,s,m,t,λ)，其中：

n为编码块数，s为节点总数，m为复制倍数，t为节点的存储容量，λ表示任一对处理都出现在λ个区组中。

其中，步骤2中所述U-型设计表参数的选取为：

m≥2保证最小复制倍数为2，最大可根据实际系统选取；

当q₁＝q₂＝...＝q_m时，该U-型设计表是一个可分解的平衡不完全区组设计(n,mq,m,n/q,λ)，对应X的m列，一共有qm个大小为n/q的区组。

其中，步骤2中，若U-型设计表是等水平设计表，则构造出来的FR码是同构的，若U-型设计表为混合水平设计表，则构造出来的FR码是异构的。

其中，步骤4中的编码块包括数据块和校验块。

本实施例中，所述的区组设计是可分解不完全区组设计；定义为如果一个区组可以分成若干个组群，称为平行类，使得每个元素在每个平行类中都出现且只出现一次，则称之为是可分解的。

以下是发明人按照上述技术方案给出的具体实施的例子。

实施例：

本实施例用于将原始文件M存储到分布式存储系统中的节点中，具体按以下步骤实施：

步骤1，将原始文件M分成k个数据块，k≥2，对k个原始数据块采用(n,k)MDS编码(n≥k)，得到n个编码数据块c₁,c₂,...,c_k,c_k+1,...,c_n，其中，n个编码数据块包括k个原始数据块和n-k个校验数据块；

构造(3,6)系统MDS码，用m＝(m₁,m₂,m₃)表示分布式存储系统中存储的原始文件，其中m1,m2,m3表示原始数据块；p₁,p₂,p₃,p4表示校验块；C(3,6)表示系统MDS码

步骤2，U-型设计表为：U((n；q₁,q₂,...,q_m)，其中，q₁，...，q_m为n的正约数，(1<q<n)，

该U-型设计表对应一个n×m矩阵：X＝(X₁,X₂,...X_m)，且满足：

1)第i列X_i取元素q₁,q₂,...q_i，且这q_i个元素在该列中等重复出现；

2)X没有全混杂的列，即X中没有一列能够由另一列通过行变换得到。

对一个U-型设计表，如果它的所有因子水平组合等重复出现，则称之为正交表，记作L_n(q₁,...,q_m)，当对所有i＝1,...,m,q_i＝q时，记作Ln(q^m)；

在本实施例中，U-型等水平设计表参数取V＝6,q＝3,m＝5，即总共有6个元素，5个平行类，每个平行类包含3个大小为2的区组。得到一个6×5的矩阵，每列的水平数为3，且这3个水平在该列中等重复实现。如图1所示。

步骤3，给定一个U-型设计表，若其任两行之间有λ个位置取相同水平，则可以构造平衡不完全的区组设计(n,s,m,t,λ)；其中：

λ表示任一处理都出现在λ个区组中；

步骤3.1，X的每一列X_i，如下构造一个由q_i个大小为n/q_i的不相关区组构成的平行类：如果X_i的第k个元素取第u个水平，则让第u个区组包含处理k，k＝1,...n,u＝1,...q_i.。

对其任一列X，存在着V＝{1,2,...,n}的一个划分，即大小为p＝n/q的q个区组，满足：如果X的第k个元素取水平u，则k包含在第u个区组中，显然这q个区组构成一个平行类。

取n＝12,q＝4,X＝{1,2,3,4,1,2,3,4,1,2,3,4}为例，则该列对应着4个大小为3的区组：{1,5,9},{2,6,10},{3,7,11},{4,8,12}构成一个平行类。

如图2所示，采用U(6；3⁵)的设计表，其中，取n＝6,q＝3，可以生成一个平衡不完全区组区组(6，15，5，2，1)。列1中的前两个元素取第一个水平，即水平“1”，于是把“1，2”放到相应的平行类P₁的第“1”个区组中，类似的，把“3，4”放到P₁的第“2”个区组中，把“5，6”放到P₁的第“3”个区组中，这三个区组构成图2中的设计平行类P₁。

按照这样的方法，由U(6；3⁵)的5列可以构造5个平行类。

步骤4，每个区组分别代表分布式存储系统中的一个节点，其中区组所包含的元素代表编码块，将区组中的元素存储到相应的节点上，每一列的所有区组构成部分重复码的一个平行类。相对应的FR码记为(n,s,m,t,λ)，其中：

n为编码块数，s为节点总数，m为复制倍数，t为节点的存储容量，λ表示任一对处理都出现在λ个区组中。

分布式存储系统中由节点(n＝15)形成的柔性FR码，其中每一个节点的存储容量为t＝2，其中{1，2，3，4，5，6}表示一组编码块(即θ＝12)，并且每个编码块的重复度ρ＝5。

分布式存储系统可容忍高达ρ-1＝4个节点故障，若需要将重复度ρ＝5更改为ρ＝4，只需从下面5行节点中的任意删除一行即可，得到的依旧是FR码。按此方法得到15个节点所存放的数据块，如下所示：

N₁＝{1,2},N₂＝{3,4},N₃＝{5,6},

N₄＝{1,3},N₅＝{2,5},N₆＝{4,6},

N₇＝{1,4},N₈＝{2,6},N₉＝{3,5},

N₁₀＝{1,5},N₁₁＝{2,4},N₁₂＝{3,6},

N₁₃＝{1,6},N₁₄＝{2,3},N₁₅＝{4,5}.

分布式存储系统中节点放置如图3所示。

接下来设计混合水平U-型设计表来构造异构FR码。

如图4所示，采用U(6；2¹3³)的设计表，其中，n＝6,q₁＝2,q₂＝q₃＝q₄＝3，可以生成一个平衡不完全区组区组(6，11，4，{3，2}，1)。列1中的前三个元素取第一个水平，即水平“1”，于是把“1，2，3”放到相应的平行类P₁的第“1”个区组中，类似的，把“4，5，6”放到P₁的第“2”个区组中，这两个区组构成图5中的设计平行类P₁。

按照这样的方法，由U(6；2¹3³)的4列可以构造4个平行类。

分布式存储系统中由节点((n＝11)形成的柔性FR码，其中两个节点的存储容量为t＝3，其他九个节点的存储容量为t＝2，其中{1，2，3，4，5，6}表示一组编码块(即θ＝6)，并且每个编码块的重复度ρ＝4。

分布式存储系统可容忍高达ρ-1＝3个节点故障，若需要将重复度ρ＝4更改为ρ＝3，只需从下面4行节点中的任意删除一行即可，得到的依旧是FR码。

按此方法得到11个节点所存放的数据块，如下所示：

N₁＝{1,2,3},N₂＝{4,5,6}.

N₃＝{1,4},N₄＝{2,5},N₅＝{3,6}.

N₆＝{3,5},N₇＝{1,6},N₈＝{2,4}.

N₉＝{2,6},N₁₀＝{3,4},N₁₁＝{1,5}。.

分布式存储系统中节点放置如图6所示。

可以看出，传统FR对每个数据节点都采用一样的存储容量，而利用本实施例的基于U-型设计的柔性部分重复码的构造方法，可以动态调整节点的存储容量和重复度，并且利用U-型设计表构造FR码也比较简单，此FR码比一般的FR码更适应实际的分布式存储系统，而且构造的FR码也是普遍好的码，可以对多节点失效进行修复。

Claims (5)

1.一种基于U-型设计的柔性部分重复码的构造方法，其特征在于，具体按以下步骤实施：

步骤1，将原始文件M分成k个数据块，k≥2，对k个原始数据块采用(n,k)MDS编码(n≥k)，得到n个编码数据块c₁,c₂,...,c_k,c_k+1,...,c_n，其中，n个编码数据块包括k个原始数据块和n-k个校验数据块；

步骤2，U-型设计表为：U((n；q₁,q₂,...,q_m)，其中，q₁,...,q_m为n的正约数(1<q<n)，

该U-型设计表对应一个n×m矩阵：X＝(X₁,X₂,...X_m)，且满足：

1)第i列X_i取元素q₁,q₂,...q_i，且这q_i个元素在该列中等重复出现；

2)X没有全混杂的列，即X中没有一列能够由另一列通过行变换得到；

对一个U-型设计表，如果它的所有因子水平组合等重复出现，则称之为正交表，记作L_n(q₁,...,q_m)，当对所有i＝1,...,m,q_i＝q时，记作Ln(q^m)；

步骤3，给定一个U-型设计表，若其任两行之间有λ个位置取相同水平，则可以构造平衡不完全的区组设计(n,s,m,t,λ)；其中：

λ表示任一处理都出现在λ个区组中；

步骤3.1，X的每一列X_i，如下构造一个由q_i个大小为n/q_i的不相关区组构成的平行类：如果X_i的第k个元素取第u个水平，则让第u个区组包含处理k，k＝1,...n,u＝1,...q_i；

步骤4，每个区组分别代表分布式存储系统中的一个节点，其中区组所包含的元素代表编码块，将区组中的元素存储到相应的节点上，每一列的所有区组构成部分重复码的一个平行类；相对应的FR码记为(n,s,m,t,λ)，其中：

n为编码块数，s为节点总数，m为复制倍数，t为节点的存储容量，λ表示任一对处理都出现在λ个区组中。

2.如权利要求1所述的方法，其特征在于，步骤2中，所述U-型设计表参数的选取为：

m≥2保证最小复制倍数为2，最大可根据实际系统选取；

当q₁＝q₂＝...＝q_m时，该U-型设计表是一个可分解的平衡不完全区组设计(n,mq,m,n/q,λ)，对应X的m列，一共有qm个大小为n/q的区组。

3.如权利要求1所述的方法，其特征在于，步骤2中，若U-型设计表是等水平设计表，则构造出来的FR码是同构的，若U-型设计表为混合水平设计表，则构造出来的FR码是异构的。

4.如权利要求1所述的方法，其特征在于，步骤4中的编码块包括数据块和校验块。

5.如权利要求1所述的方法，其特征在于，所述的区组设计是可分解不完全区组设计；定义为如果一个区组可以分成若干个组群，称为平行类，使得每个元素在每个平行类中都出现且只出现一次，则称之为是可分解的。

Images