CN108647108A - 一种基于循环vfrc的最小带宽再生码的构造方法 - Google Patents

Abstract

本发明公开了一种基于循环VFRC的最小带宽再生码的构造方法，该方法考虑到实际分布式存储系统中对于文件的原始数据块需求度较高的特点，本发明加入了热度不同的数据重复度也不同的思想，对原始数据块复制两次，总共存储原始数据块的三个副本，校验块复制一次，总共存储校验块的两个副本，使得热数据的容错性能更好。

Description

一种基于循环VFRC的最小带宽再生码的构造方法

技术领域

本发明属于计算机领域，涉及一种基于循环VFRC的最小带宽再生码的构造方法。

背景技术

现在的分布式存储系统中越来越多的采用“复制”和“纠删码”来确保数据存储的可靠性。然而“复制”需要较大的存储开销，“纠删码”需要进行编码和译码操作，计算复杂度较高，且纠删码策略在单节点修复过程中需要下载整个文件来修复数据，修复带宽开销过大。针对上述问题，Dimakis等人提出了再生码，包括最小存储再生(Minimum StorageRegenerating,MSR)码和最小带宽再生(Minimum Bandwidth Regenerating,MBR)码，但上述两种编码的修复局部性大，计算复杂度较高。现有的局部性修复编码虽然具有较小的修复局部性，但计算复杂。

发明内容

针对现有技术中存在的问题，本发明的目的在于，提供一种基于循环VFRC的最小带宽再生码的构造方法，该方法能够降低故障节点在修复过程中的磁盘I/O开销，且修复过程中无须进行编码操作。

为了实现上述目的，本发明采用如下技术方案：

一种基于循环VFRC的最小带宽再生码的构造方法，该方法用于将原始文件M存储到分布式存储系统中的节点中，分布式存储系统中的节点至少包括k+2个，包括以下步骤：

步骤1，将原始文件M分成k个原始数据块，k≥2，对k个原始数据块采用(k+3,k)系统MDS码进行编码，得到k+3个编码数据块c₀,…,c_k-1,c_k,c_k+1,c_k+2，k+3个编码数据块包括k个原始数据块和3个校验数据块；

步骤2，将k+3个编码数据块中的k个原始数据块复制2次，每个原始数据块形成3个副本；将k+3个编码数据块中3个校验数据块复制一次，每个校验数据块形成2个副本；

步骤3，将所有的原始数据块的3个副本、校验数据块的2个副本均存储到k+2个节点N₁,...,N_i,...N_k+2上，其中，N_i表示第i个节点；具体采用的方法如下：

对于节点N_i，当i≥3时，该节点N_i上存储的编码数据块是编码数据块c_i-3、编码数据块c_i-2和编码数据块c_i-1；当i＝2，该节点N_i上存储的编码数据块是编码数据块c_k+2、编码数据块c₀和编码数据块c₁；当i＝1，该节点N_i上存储的编码数据块是编码数据块c_k+1、编码数据块c_k+2和编码数据块c₀。

本发明还提供一种单节点故障修复方法，包括以下步骤：

按照权利要求1所述的基于循环VFRC的最小带宽再生码的构造方法将原始文件M存储到分布式存储系统中的k+2个节点中；

节点N_i发生故障，在k+2个节点中选择两个节点形成故障修复组，连接故障修复组内的两个节点，复制该两个节点中的发生故障的节点存储的编码数据块，并将复制后的编码数据块存储到发生故障的节点N_i上，即可修复发生故障的节点N_i；

其中，在k+2个节点中选择两个节点形成故障修复组，采用的方法如下：

若i＝1，则选择的两个节点为N₂和N_k+2；

若i＝2，则选择的两个节点为N₁和N₃或者N₁和N₄；

若i＝k+1，则选择的两个节点为N_k和N_k+2或者N_k-1和N_k+2；

若i＝k+2，则选择的两个节点为N_k+1和N₁；

若i∈{3,...,k}，则选择的两个节点为N_i-1和N_i+1或者N_i-1和N_i+2或者N_i-2和N_i+1。

本发明还提供一种恢复原始文件的方法，包括以下步骤：

原始文件M按照权利要求1所述的基于循环VFRC的最小带宽再生码的构造方法被存储到分布式存储系统中的k+2个节点中；

若k+2＝3t，k≥2，即k+2能够被3整除，则将节点分成三组，每组包含t个节点；第一组中包含的节点为N_1+3h，0≤h≤t-1，第二组中包含的节点为N_2+3h，0≤h≤t-1，第三组中包含的节点为N_3+3h，0≤h≤t-1；每个组中的节点共存储有k个不同的原始数据块；

连接3个组中的任意一组中的t个节点，下载节点中存储的k个不同的原始数据块，得到原始文件M；

若k+2＝3t+1，k≥2，即k+2被3整除后的余数为1，则将节点分成三组，第一组包含t+1个节点，其余两组分别包含t个节点；第一组中包含的节点为N_1+3h，0≤h≤t，第二组中包含的节点为N_2+3h，0≤h≤t-1，第三组包含的节点为N_3+3h，0≤h≤t-1；第二组和第三组中的节点均包含k个不同的原始数据块；

连接第二组和第三组中的任意一组中的t个节点，下载节点中存储的原始数据块得到原始文件M；

若k+2＝3t+2，k≥2，即k+2被3整除后的余数为2，则将节点分成三组，第一组和第二组分别包含t+1个节点，第三组包含t个节点；第一组中包含的节点为N_1+3h，0≤h≤t，第二组中包含的节点为N₂+_3h，0≤h≤t，第三组包含的节点为N₃+_3h，0≤h≤t-1；第三组包含k个不同的原始数据块；

连接第三组中的t个节点，下载节点中存储的原始数据块得到原始文件M。

与现有技术相比，本发明具有以下技术效果：

1、考虑到实际分布式存储系统中对于文件的原始数据块需求度较高的特点，本发明加入了热度不同的数据重复度也不同的思想，对原始数据块复制两次，总共存储原始数据块的三个副本，校验块复制一次，总共存储校验块的两个副本，使得热数据的容错性能更好。

2、本发明在对单节点进行修复时，只需要连接两个节点即可修复，修复局部性好，且直接从两个节点复制相应的数据即可恢复丢失的数据，不需要编码操作，计算复杂度低。

3、本发明将节点分为三组，在用户下载原始文件时连接任意一组中的所有节点就可获得原始数据块，即可下载原始文件，且不需要编码，节省了下载时间。

下面结合附图和实施例对本发明的方案做进一步详细地解释和说明。

附图说明

图1是将数据块存储到节点上的存储示意图；

图2是恢复原始文件的分组方式；(a)是情况一的分组示意图；(b)是情况二的分组示意图；(c)是情况三的分组示意图；

图3是实施例中构造的循环VFRC的存储方式图；

图4是实施例中下载原始文件的分组示意图；

具体实施方式

本发明提供一种基于循环VFRC(Variable Fractional Repetition Codes)的最小带宽再生码的构造方法，该方法用于将原始文件M存储到分布式存储系统中的节点中，分布式存储系统中的节点至少包括k+2个，具体包括以下步骤：

步骤1，将原始文件M分成k个原始数据块(k≥2)，k个原始数据块用m₀,…,m_k-1表示，对k个原始数据块采用(k+3,k)系统MDS码进行编码，得到k+3个编码数据块，k+3个编码数据块用c₀,…,c_k-1,c_k,c_k+1,c_k+2表示，k+3个编码数据块包括k个原始数据块和3个校验数据块，k个原始数据块用c₀,…,c_k-1,c_k表示，也就是m₀,…,m_k-1，校验数据块用c_k,c_k+1,c_k+2表示。

步骤2，将k+3个编码数据块中的k个原始数据块复制2次，每个原始数据块形成3个副本；将k+3个编码数据块中3个校验数据块复制一次，每个校验数据块形成2个副本；

步骤3，将原始数据块的3个副本、校验数据块的2个副本均存储到k+2个节点(N₁,...,N_i,...N_k+2)上，其中，N_i表示第i个节点，参见图1，具体采用的方法如下：

对于节点N_i，当i≥3时，该节点N_i上存储的编码数据块是编码数据块c_i-3、编码数据块c_i-2和编码数据块c_i-1；当i＝2，该节点N_i上存储的编码数据块是编码数据块c_k+2、编码数据块c₀和编码数据块c₁；当i＝1，该节点N_i上存储的编码数据块是编码数据块c_k+1、编码数据块c_k+2和编码数据块c₀。

本发明的第二个方面还提供一种单节点故障修复方法，包括以下步骤：

按照上述基于循环VFRC的最小带宽再生码的构造方法将原始文件M存储到分布式存储系统中的k+2个节点中；

节点N_i发生故障，在k+2个节点中选择两个节点形成故障修复组，连接故障修复组内的两个节点，该两个节点中存储有发生故障的节点中存储的编码数据块，复制该两个节点中的发生故障的节点存储的编码数据块，并将复制后的编码数据块存储到发生故障的节点N_i上，即可修复发生故障的节点N_i；

其中，在k+2个节点中选择两个节点形成故障修复组，采用的方法如下：

若i＝1，则选择的两个节点为N₂和N_k+2；

若i＝2，则选择的两个节点为N₁和N₃或者N₁和N₄；

若i＝k+1，则选择的两个节点为N_k和N_k+2或者N_k-1和N_k+2；

若i＝k+2，则选择的两个节点为N_k+1和N₁；

若i∈{3,...,k}，则选择的两个节点为N_i-1和N_i+1或者N_i-1和N_i+2或者N_i-2和N_i+1。

本发明的第三个方面还提供一种恢复原始文件的方法，该方法用于对存储到节点中的原始文件M进行恢复，具体包括以下步骤：

原始文件M按照上述基于循环VFRC的最小带宽再生码的构造方法被存储到分布式存储系统中的k+2个节点中；

参见图2中的(a),若k+2＝3t(k≥2)，即k+2能够被3整除，则将节点分成三组，每组包含t个节点；第一组中包含的节点为N_1+3h，(0≤h≤t-1)，第二组中包含的节点为N_2+3h，(0≤h≤t-1)，第三组中包含的节点为N_3+3h，(0≤h≤t-1)。经上述分组方式，每个组均存储有3t个不同的编码数据块，其中，包括k个不同的原始数据块；

连接3个组中的任意一组中的t个节点，下载节点中存储的k个不同的原始数据块，得到原始文件M；上述过程无需编码操作，简单可靠。

参见图2中的(b),若k+2＝3t+1(k≥2)，即k+2被3整除后的余数为1，则将节点分成三组，第一组包含t+1个节点，其余两组分别包含t个节点；第一组中包含的节点为N_1+3h(0≤h≤t)，第二组中包含的节点为N_2+3h(0≤h≤t-1)，第三组包含的节点为N_3+3h(0≤h≤t-1)。经过上述分组，第一组中存储有3t+3个编码数据块，其中下标为3t的编码数据块有两个，包含3t-1＝k个不同的原始数据块；其余两组中，每组都有3t个不同的编码数据块，其中包含3t-1＝k个不同的原始数据块。

为了使得消耗代价最小，连接第二组和第三组中的任意一组中的t个节点，下载节点中存储的原始数据块得到原始文件M；上述过程无需编码操作，简单可靠。

参见图2中的(c),若k+2＝3t+2(k≥2)，即k+2被3整除后的余数为2，则将节点分成三组，第一组和第二组分别包含t+1个节点，第三组包含t个节点；第一组中包含的节点为N_1+3h(0≤h≤t)，第二组中包含的节点为N_2+3h(0≤h≤t)，第三组包含的节点为N_3+3h(0≤h≤t-1)。经过上述分组，第一组和二组分别包含3t+3个不同的编码数据块，其中包含3t＝k个不同的原始数据块；第三组包含3t个不同的数据块，其中，包含3t＝k个不同的原始数据块。

为了使得消耗代价最小，连接第三组中的t个节点，下载节点中存储的原始数据块得到原始文件M；上述过程无需编码操作，简单可靠。

实施例

本实施例为构造(7,4)系统MDS码，用m＝(m₀,m₁,m₂,m₃)表示分布式存储系统中存储的原始文件，其中的m₀,m₁,m₂,m₃表示原始数据块；c＝(m₀,m₁,m₂,m₃,p₄,p₅,p₆)表示系统MDS码，且c＝m·G，这里(7,4)系统MDS码的生成矩阵G＝[I|P]_4×7，其中I为4×4单位矩阵，P为4×3维子矩阵。(7,4)系统MDS码可以表示为

c＝m·G＝m·[I|P]_4×7

设α₁,α₂,α₃为3个不同的非零元素，α₁＝1,α₂＝2,α₃＝3,则(7,4)系统MDS码的生成矩阵为

将构造出来的(7,4)系统MDS码作为基本码，将4个原始数据块复制两次，总共存储原始数据块的三个副本，校验块复制一次，总共存储校验块的两个副本，按照图3进行存储，构造相应的VFRC，然后存储这些数据块，如图3所示，可知下标为0、1、2、3的数据块为原始数据块，下标为4、5、6的数据块为校验块。

N₁、N₆只有一个故障修复组，N₁的故障修复组为(N₂,N₆)，N₆的故障修复组为(N₁,N₅)；N₂、N₅有两个故障修复组，N₂的故障修复组为(N₁,N₃)和(N₁,N₄)，N₅的故障修复组为(N₄,N₆)和(N₃,N₆)；N₃、N₄有三个故障修复组，N₃的故障修复组为(N₂,N₄)或者(N₂,N₅)或者(N₁,N₄)，N₄的故障修复组为(N₃,N₅)或者(N₃,N₆)或者(N₂,N₅)。因此，当单个节点N₃或N₄故障时有三种修复方式可供选择。

当用户下载原始文件时，将节点分为三大组，每组中都包含有4个不同的原始数据块，如图4所示。因此用户连接三组中任意一组都可以下载原始文件，即d_min＝2，且不需要编码解码操作。

Claims (3)

1.一种基于循环VFRC的最小带宽再生码的构造方法，该方法用于将原始文件M存储到分布式存储系统中的节点中，分布式存储系统中的节点至少包括k+2个，其特征在于，包括以下步骤：

步骤1，将原始文件M分成k个原始数据块，k≥2，对k个原始数据块采用(k+3,k)系统MDS码进行编码，得到k+3个编码数据块c₀,…,c_k-1,c_k,c_k+1,c_k+2，k+3个编码数据块包括k个原始数据块和3个校验数据块；

步骤2，将k+3个编码数据块中的k个原始数据块复制2次，每个原始数据块形成3个副本；将k+3个编码数据块中3个校验数据块复制一次，每个校验数据块形成2个副本；

步骤3，将所有的原始数据块的3个副本、校验数据块的2个副本均存储到k+2个节点N₁,...,N_i,...N_k+2上，其中，N_i表示第i个节点；具体采用的方法如下：

对于节点N_i，当i≥3时，该节点N_i上存储的编码数据块是编码数据块c_i-3、编码数据块c_i-2和编码数据块c_i-1；当i＝2，该节点N_i上存储的编码数据块是编码数据块c_k+2、编码数据块c₀和编码数据块c₁；当i＝1，该节点N_i上存储的编码数据块是编码数据块c_k+1、编码数据块c_k+2和编码数据块c₀。

2.一种单节点故障修复方法，其特征在于，包括以下步骤：

按照权利要求1所述的基于循环VFRC的最小带宽再生码的构造方法将原始文件M存储到分布式存储系统中的k+2个节点中；

节点N_i发生故障，在k+2个节点中选择两个节点形成故障修复组，连接故障修复组内的两个节点，复制该两个节点中的发生故障的节点存储的编码数据块，并将复制后的编码数据块存储到发生故障的节点N_i上，即可修复发生故障的节点N_i；

其中，在k+2个节点中选择两个节点形成故障修复组，采用的方法如下：

若i＝1，则选择的两个节点为N₂和N_k+2；

若i＝2，则选择的两个节点为N₁和N₃或者N₁和N₄；

若i＝k+1，则选择的两个节点为N_k和N_k+2或者N_k-1和N_k+2；

若i＝k+2，则选择的两个节点为N_k+1和N₁；

若i∈{3,...,k}，则选择的两个节点为N_i-1和N_i+1或者N_i-1和N_i+2或者N_i-2和N_i+1。

3.一种恢复原始文件的方法，其特征在于，包括以下步骤：

原始文件M按照权利要求1所述的基于循环VFRC的最小带宽再生码的构造方法被存储到分布式存储系统中的k+2个节点中；

若k+2＝3t，k≥2，即k+2能够被3整除，则将节点分成三组，每组包含t个节点；第一组中包含的节点为N_1+3h，0≤h≤t-1，第二组中包含的节点为N_2+3h，0≤h≤t-1，第三组中包含的节点为N_3+3h，0≤h≤t-1；每个组中的节点共存储有k个不同的原始数据块；

连接3个组中的任意一组中的t个节点，下载节点中存储的k个不同的原始数据块，得到原始文件M；

若k+2＝3t+1，k≥2，即k+2被3整除后的余数为1，则将节点分成三组，第一组包含t+1个节点，其余两组分别包含t个节点；第一组中包含的节点为N_1+3h，0≤h≤t，第二组中包含的节点为N_2+3h，0≤h≤t-1，第三组包含的节点为N_3+3h，0≤h≤t-1；第二组和第三组中的节点均包含k个不同的原始数据块；

连接第二组和第三组中的任意一组中的t个节点，下载节点中存储的原始数据块得到原始文件M；

若k+2＝3t+2，k≥2，即k+2被3整除后的余数为2，则将节点分成三组，第一组和第二组分别包含t+1个节点，第三组包含t个节点；第一组中包含的节点为N_1+3h，0≤h≤t，第二组中包含的节点为N_2+3h，0≤h≤t，第三组包含的节点为N_3+3h，0≤h≤t-1；第三组包含k个不同的原始数据块；

连接第三组中的t个节点，下载节点中存储的原始数据块得到原始文件M。