CN109491835A

CN109491835A - 一种基于动态分组码的数据容错方法

Info

Publication number: CN109491835A
Application number: CN201811250945.3A
Authority: CN
Inventors: 孟宇龙; 张玲玲; 徐东; 张子迎; 关智允; 王磊; 李贤�; 王岩俊; 宫思远; 任龙
Original assignee: Harbin Engineering University
Current assignee: Harbin Engineering University
Priority date: 2018-10-25
Filing date: 2018-10-25
Publication date: 2019-03-19
Anticipated expiration: 2038-10-25
Also published as: CN109491835B

Abstract

本发明提出了一种基于动态分组码的数据容错方法，属于数据存储技术领域，具体涉及分布式存储系统中数据的容错问题，利用基于动态分组码的数据容错方法恢复丢失或失效的数据。首先按照分布式系统中磁盘的分组对将要存储的数据进行分块存储。当一个条带的数据存储完全时，对这个条带上的数据块应用DLRC编码，生成全局校验块和局部校验块并存储到校验块的磁盘中。当发现有数据块失效时，读取参与重构的节点数据，利用DLRC编码进行反向计算，重构出丢失的数据并重新存储到磁盘。本发明实现了存储开销、容错能力和重构开销的动态平衡，可以适用于不同存储系统的需求。在消耗同样的存储空间的情况下，DLRC编码容错能力高、重构开销低，具有良好的实用价值。

Description

一种基于动态分组码的数据容错方法

技术领域

本发明属于数据存储技术领域，涉及一种基于动态分组码的数据容错方法，具体涉及分布式存储系统中数据的容错问题，利用一种基于动态分组码的数据容错方法恢复丢失或失效的数据。

背景技术

随着海量数据时代的到来，早期的单机系统已经无法适应高速增长的数据存储，现在越来越多的企业开始采用分布式存储系统。由于分布式存储系统普遍使用大量廉价商用服务器通过网络互联，因而可以提供较强的扩展和服务能力。然而，随着集群规模的变大、互联存储设备的增多，存储节点失效的情况越来越频繁出现。因此，如何保证分布式存储系统数据的可靠性已成为一个亟待解决的问题。目前，分布式存储系统常用的数据容错技术主要有两种，多副本技术和纠删码技术，其中，分组码是一种以分组思想为依据的新型纠删码。纠删码技术与多副本技术相比，在提供相同容错能力的前提下，所需的存储开销显著减少，因此被存储系统广泛采用。

一直以来，I/O带宽和网络是应用纠删码的分布式存储系统的稀缺资源，是整个容错过程的性能瓶颈所在。减少网络资源占用的主要方法是减少纠删码的重构开销，而重构开销是由纠删码本身的特性决定的，因此设计新型纠删码是从根本上降低重构开销的重要途径。而不同系统对性能的需求也不尽相同，如何动态地适应不同的性能需求也是设计纠删码的一个重点。

针对目前纠删码不能动态适应存储系统需求的问题，本发明提出了一种基于分组码思想的新型纠删码，DLRC码(Dynamic Local Reconstruction Codes，动态分组码)，用于取代传统的数据容错技术。

发明内容

本发明的目的在于提供一种可以满足存储系统对于存储开销、容错能力、重构开销等性能的不同需求，同时保证单个存储节点失效时，重构过程在组内进行，有效降低系统重构开销的基于动态分组码的数据容错方法。

本发明的目的是这样实现的：

本发明提出了一种基于动态分组码的数据容错方法，主要通过以下步骤实现：

(1)按照分布式系统中磁盘的分组对将要存储的数据分块存储到数据盘中；

(2)判断一个条带上的磁盘节点是否存储完全，如果存储完全执行步骤(4)，否则执行步骤(3)；

(3)继续等待新的文件数据，返回执行步骤(1)；

(4)利用DLRC编码对数据盘上同一条带上的数据块进行编码操作，得到全局校验块及局部校验块；

(5)将计算出的全局校验块和局部校验块分别存入对应的校验盘；

(6)判断是否有失效节点出现，其中，所述的失效节点为数据失效的存储节点；若出现失效节点执行步骤(7)，否则执行步骤(3)；

(7)根据失效节点的位置，读取与失效节点相关联的全部参与重构计算的节点数据；

(8)利用DLRC编码反向解码计算，重构出失效的数据内容；

(9)将重构出的数据存入对应的磁盘中。

优选的，步骤(4)中所述的DLRC编码包括四个参数k，m，n，l，记为DLRC(k，m，n，l)，其中，k表示初始数据块的个数，m表示全局校验块的个数，n表示参与计算每个局部校验码的编码块个数，l表示局部校验块的个数。

优选的，所述的DLRC编码满足条件：n×l整除k+m。

优选的，所述的DLRC编码将k个初始数据块进行运算，得到m个全局校验块，所述的m个全局校验块与k个初始数据块共同参与局部校验块的运算。

优选的，所述的DLRC编码进行局部校验块的运算时，每个编码块参与的次数为N；

其中，编码块包括k个初始数据块和每个全局校验块，

本发明的有益效果在于：

本发明提出的一种基于动态分组码的数据容错方法，实现了存储开销、容错能力和重构开销的动态平衡，可以适用于不同存储系统的需求。无论是想要达到较高的容错能力还是想要得到较低的重构开销，都能找到一组合适的参数来实现想要达到的效果；同时，在消耗同样的存储空间的情况下，DLRC编码具有较高的容错能力和较低的重构开销，构造灵活，编码规则简单，具有良好的实用价值。

附图说明

图1为本发明中基于动态分组码的数据容错方法的流程图；

图2为本发明中磁盘、条带、编码块之间的关系；

图3为本发明中DLRC(10，2，4，3)的构造示意图；

图4为本发明中DLRC(10，2，6，4)的构造示意图；

图5为本发明中DLRC(6，2，4，2)的构造示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

结合图1，本发明提出的DLRC编码可以作为一种数据容错技术参与到分布式系统的存储过程中。首先按照分布式系统中磁盘的分组对将要存储的数据进行分块存储。当一个条带的数据存储完全时，对这个条带上的数据块应用DLRC码的编码公式进行编码生成全局校验块和局部校验块并存储到校验块的磁盘中。磁盘、条带、块之间的关系如图2所示。当发现有数据块失效时，读取可以参与重构的节点数据，利用DLRC码的编码公式进行反向计算，重构出丢失的数据并重新存储到磁盘。

下面将通过参数定义、以及具体的编码方案为例来介绍DLRC码的设计方案以及编码公式：

DLRC编码包含四个参数k，m，n，l，记为DLRC(k，m，n，l)。其中k表示初始数据块的个数，m表示全局校验块的个数，n表示参与计算每个局部校验码的编码块个数，l表示局部校验块的个数。四个参数k，m，n，l需要满足条件：n×l可以整除k+m。

图3所示的DLRC(10，2，4，3)编码一共有10个数据块d₁-d₁₀，运算产生2个全局校验块q₁、q₂，分别与原始数据块一起参与两个分组校验码的计算。另外，每4个编码块运算产生一个局部校验块，共3个局部校验块p₁、p₂和p₃。其中，每个编码块参与一个局部校验块的计算。图4中的DLRC(10，2，6，4)与DLRC(10，2，4，3)同理，有10个数据块和2个全局校验块，不同之处在于，每次选取6个编码块产生局部校验块，共4个局部校验块，且每个编码块参与2个局部校验块的计算。

下面以图5所示的DLRC(6，2，4，2)编码为例说明DLRC码的编码公式以及编码系数的选取：

上述编码等式又可以转换为如下形式：

上述等式的矩阵形式为：

下面通过分析所有可能出现的4错情况，讨论编码系数需要满足的条件。

(1)出错的都是数据盘，即有4个数据盘发生故障。

①其中3个数据盘在同一组，1个数据盘属于另一组。假设d₁、d₂、d₃、d₄失效，则编码矩阵可以表示为：

该失效模式可以重构等价于数据块所在列向量有解，而列向量有解等价于编码矩阵的行列式不为0。

即

化简计算得到(α₂-α₁)·(α₃-α₁)·(α₃-α₂)≠0，即α₁≠α₂≠α₃。

其他可能的4数据块失效模式同理计算，可以得到系数需满足的条件为：

α_i≠α_j,β_i≠β_j,(i,j＝1,2,3,i≠j) (6)

②2个数据块属于一组，另外2个数据块属于另外一组。计算方式同上，以下省略具体计算过程。得到系数需要满足的条件为：

α_i≠α_j,β_m≠β_n,α_i+α_j≠β_m+β_n,(i,j＝1,2,3,i≠j,m≠n) (7)

(2)3个数据块和1个局部校验块失效。

①3个数据块和1个局部校验块同组是理论不可重构的情况，不予以讨论。

②3个数据块同组，1个局部校验块属于另外一组。

α_i≠α_j,β_i≠β_j,(i,j＝1,2,3,i≠j) (8)

③2个数据块和1个局部校验块在同一组，1个数据块属于另外一组。

α_i≠α_j≠0,β_i≠β_j≠0,(i,j＝1,2,3,i≠j) (9)

④2个数据块在同一组，1个数据块和1个局部校验块在另外一组。

β_k≠0,α_i≠α_j,α_i+α_j≠β_k,(i,j,k＝1,2,3,i≠j) (10)

(3)3个数据块和1个全局校验块失效。

①3个数据块和1个全局校验块同组是理论不可重构的情况，不予以讨论。

②3个数据块同组，1个全局校验块属于另外一组。

α_i≠α_j,β_i≠β_j,(i,j＝1,2,3,i≠j) (11)

③2个数据块和1个全局校验块在同一组，1个数据块属于另外一组。

α_i≠α_j,α_i+α_j+α_i×α_j≠0,β_i≠β_j,β_i×β_j≠1,(i,j＝1,2,3,i≠j) (12)

(4)2个数据块和2个局部校验块失效。

①2个数据块属于同一组。

α_i≠α_j≠0,β_i≠β_j≠0,(i,j＝1,2,3,i≠j) (14)

②2个数据块属于不同的组。

α_i≠β_k≠0,(i,k＝1,2,3) (15)

(5)2个数据块和2个全局校验块失效。

①2个数据块属于同一组。

α_i≠α_j,α_i+α_j+α_i×α_j≠0,β_i≠β_j,β_i×β_j≠1,(i,j＝1,2,3,i≠j) (16)

②2个数据块属于不同的组。

(6)2个数据块、1个全局校验块和1个局部校验块失效。

①2个数据块、1个全局校验块和1个局部校验块全部在同一组，此情况是理论不可重构的情况，不予以讨论。

②2个数据块和1个全局校验块在同一个组内，局部校验块在另外一个组。

α_i≠α_j,α_i+α_j+α_i×α_j≠0,β_i≠β_j,β_i×β_j≠1,(i,j＝1,2,3,i≠j) (18)

③2个数据块和1个局部校验块在同一个组内，全局校验块在另外一个组。

α_i≠α_j≠0,β_i≠β_j≠0,(i,j＝1,2,3,i≠j) (19)

④2个数据块在一个组内，全局校验块和1个局部校验块在另外一个组。

α_i≠α_j,β_i≠β_j,β_i+β_j≠0,(i,j＝1,2,3,i≠j) (20)

⑤1个数据块、1个全局校验块和1个局部校验块在同一个组内，另一个数据块在另一个组内。

α_k≠0,β_k≠0,(k＝1,2,3) (21)

⑥1个数据块和1个全局校验块在同一个组内，另一个数据块和1个局部校验块在另一个组内。

(7)1个数据块、2个全局校验块和1个局部校验块失效。

①1个数据块和1个局部校验块在同一组。

α_k≠0,β_k≠0,(k＝1,2,3) (23)

②1个数据块和1个局部校验块不在同一组。

(8)1个数据块、1个全局校验块和2个局部校验块失效。

①1个数据块和1个全局校验块在同一组。

α_k≠0,β_k≠0,(k＝1,2,3) (25)

②1个数据块和1个全局校验块不在同一组。

α_k≠0,β_k≠0,(k＝1,2,3) (26)

(9)2个全局校验块和2个局部校验块失效。用原始数据重新编码即可恢复。

综合上述不同条件下编码矩阵系数需要满足的条件，可以得到总体的编码矩阵系数需要满足的条件如下：

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于动态分组码的数据容错方法，其特征在于，主要通过以下步骤实现：

(3)继续等待新的文件数据，返回执行步骤(1)；

(8)利用DLRC编码反向解码计算，重构出失效的数据内容；

(9)将重构出的数据存入对应的磁盘中。

2.根据权利要求1所述的一种基于动态分组码的数据容错方法，其特征在于：步骤(4)中所述的DLRC编码包括四个参数k，m，n，l，记为DLRC(k，m，n，l)，其中，k表示初始数据块的个数，m表示全局校验块的个数，n表示参与计算每个局部校验码的编码块个数，l表示局部校验块的个数。

3.根据权利要求1或2所述的一种基于动态分组码的数据容错方法，其特征在于，所述的DLRC编码满足条件：n×l整除k+m。

4.根据权利要求1或2所述的一种基于动态分组码的数据容错方法，其特征在于：所述的DLRC编码将k个初始数据块进行运算，得到m个全局校验块，所述的m个全局校验块与k个初始数据块共同参与局部校验块的运算。

5.根据权利要求3所述的一种基于动态分组码的数据容错方法，其特征在于：所述的DLRC编码将k个初始数据块进行运算，得到m个全局校验块，所述的m个全局校验块与k个初始数据块共同参与局部校验块的运算。

6.根据权利要求1或2所述的一种基于动态分组码的数据容错方法，其特征在于：所述的DLRC编码进行局部校验块的运算时，每个编码块参与的次数为N；

其中，编码块包括k个初始数据块和每个全局校验块，

7.根据权利要求3所述的一种基于动态分组码的数据容错方法，其特征在于：所述的DLRC编码进行局部校验块的运算时，每个编码块参与的次数为N；

其中，编码块包括k个初始数据块和每个全局校验块，

8.根据权利要求4所述的一种基于动态分组码的数据容错方法，其特征在于：所述的DLRC编码进行局部校验块的运算时，每个编码块参与的次数为N；

其中，编码块包括k个初始数据块和每个全局校验块，

9.根据权利要求5所述的一种基于动态分组码的数据容错方法，其特征在于：所述的DLRC编码进行局部校验块的运算时，每个编码块参与的次数为N；

其中，编码块包括k个初始数据块和每个全局校验块，