CN103092716A - 纠删码参数获取方法和装置 - Google Patents

Abstract

本发明提供了一种纠删码参数获取方法，包括以下步骤：统计每个数据块的引用度r；基于引用度r计算每个数据块的冗余度k；基于冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n。

Description

纠删码参数获取方法和装置

技术领域

本发明总体上涉及计算机领域，更具体地，涉及纠删码参数获取方法和装置。

背景技术

申请号为201010171777.6的现有技术公开了一种信息处理技术领域的基于RS纠删码的数据存储方法，包括以下步骤：对待存储文件进行分块处理和分组处理；将每个数据组的原始数据块传送到数据节点并由数据节点进行RS编码，使每个数据组在原始数据块的基础上增加若干个冗余数据块，将编码后的同一数据组中的数据块存储的若干个机架上，且同一机架上中同一数据组的数据块不超过冗余数据块的数目，当存储文件中有数据块损坏时，采用RS纠删码恢复数据块，得到恢复后的数据块。

具体地，该专利申请涉及一种基于RS纠删码的数据存储方法，包括以下步骤：第一步，对待存储文件进行分块处理，从而得到N个大小相同的原始数据块，并对这些原始数据块进行分组处理，得到M个数据组；第二步，将每个数据组中的原始数据块逐块的从用户端传送到数据节点，当第i个数据组传输完毕后，接收到该数据组数据的数据节点将接收到的数据传送给管理节点指定的一个数据节点，该数据节点得到该组数据块的所有原始数据块信息，1≤i≤M；第三步，得到第i组数据块的所有原始数据块信息的数据节点对该数据组进行RS编码，使第i个数据组从Ki个原始数据块变为Ki个原始数据块和Ri个冗余数据块，Ki是编码前第i个数据组中原始数据块的数目；第四步，将编码后的同一数据组中的数据块存储的若干个机架上，且同一机架上中同一数据组的数据块不超过Ri个；第五步，当存储文件中有数据块损坏时，采用RS纠删码恢复数据块，得到恢复后的数据块。

重复数据删除技术会降低存储系统的可靠性，这是因为一个数据块的损坏可能造成多个文件不可用，为了弥补这一不可避免的缺陷，有人提出利用节省的部分空间对全部或者部分“重要”的数据块冗余复制来增强存储系统可靠性。

单纯的通过增加完全副本冗余并不能保证当错误发生时数据仍具有持久性和可靠性，这里使用纠删码技术对数据块做一定的冗余来增强储存系统的可靠性。

发明内容

为此，本发明提供了一种纠删码参数获取方法，包括以下步骤：统计每个数据块的引用度r；基于引用度r计算每个数据块的冗余度k；基于冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n，其中，m取函数

在[1，2，...，边界值]上最大值时的m值，n为m与冗余度k的乘积，其中，当冗余度k与可靠性概率p的乘积大于1时，边界值等于存储节点的数量N除以冗余度k，而当冗余度k与可靠性概率p的乘积小于1时，边界值等于第一值与第二值中的最小值，第一值为

向上取整的值，第二值为

向上取整的值。

其中，当冗余度k与可靠性概率p的乘积等于1时，m为1，n为冗余度k与存储节点的数量N中的最小值。

其中，以如下等式计算冗余度k：

$k=\max (2,\mathrm{round}\left(\frac{1}{M}\right[B+\frac{1}{\log (1-p)}\×(\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\log r}_j-M\×{\log r}_i)\left]\right))$

其中，max()是取最大值函数，round()是四舍五入取整函数，M是数据块个数，i是数据块的编号，j是[1，2，...，M]，B是存放数据块的个数。

此外，本发明还提供了一种纠删码参数获取装置，包括：引用度统计模块，用于统计每个数据块的引用度r；冗余度计算模块，用于基于引用度r计算每个数据块的冗余度k；纠删码参数计算模块，用于基于冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n，其中，m取函数

在[1，2，...，边界值]上最大值时的m值，n为m与冗余度k的乘积，其中，当冗余度k与可靠性概率p的乘积大于1时，边界值等于存储节点的数量N除以冗余度k，而当冗余度k与可靠性概率p的乘积小于1时，所述边界值等于第一值与第二值中的最小值，所述第一值为向上取整的值，所述第二值为

向上取整的值。

附图说明

当结合附图进行阅读时，根据下面详细的描述可以更好地理解本发明。应该强调的是，根据工业中的标准实践，各种部件没有被按比例绘制。实际上，为了清楚的讨论，各种部件的尺寸可以被任意增加或减少

图1示出了根据本发明的示例性实施例的纠删码参数获取方法；以及

图2示出了根据本发明的示例性实施例的纠删码参数获取装置。

具体实施方式

为了实施本发明的不同部件，以下描述提供了许多不同的实施例或示例。以下描述元件和布置的特定示例以简化本发明。当然这些仅仅是示例并不打算限定。再者，以下描述中第一部件形成在第二部件上可包括其中第一和第二部件以直接接触形成的实施例，并且也可包括其中额外的部件形成插入到第一和第二部件中的实施例，使得第一和第二部件不直接接触。为了简明和清楚，可以任意地以不同的尺寸绘制各种部件。

本发明提供了一种纠删码参数获取方法，包括以下步骤：S101，统计每个数据块的引用度r；S103，基于引用度r计算每个数据块的冗余度k；S105，基于冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n，其中，m取函数

在[1，2，...，边界值]上最大值时的m值，n为m与冗余度k的乘积，其中，当冗余度k与可靠性概率p的乘积大于1时，边界值等于存储节点的数量N除以冗余度k，而当冗余度k与可靠性概率p的乘积小于1时，边界值等于第一值与第二值中的最小值，第一值为

向上取整的值，第二值为

向上取整的值。

优选地，当冗余度k与可靠性概率p的乘积等于1时，m为1，n为冗余度k与存储节点的数量N中的最小值。

优选地，以如下等式计算冗余度k：

$k=\max (2,\mathrm{round}\left(\frac{1}{M}\right[B+\frac{1}{\log (1-p)}\×(\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\log r}_j-M\×{\log r}_i)\left]\right))$

其中，max()是取最大值函数，round()是四舍五入取整函数，M是数据块个数，i是数据块的编号，j是[1，2，...，M]，B是存放数据块的个数。

此外，本发明还提供了一种纠删码参数获取装置，包括：引用度统计模块201，用于统计每个数据块的引用度r；冗余度计算模块203，用于基于引用度r计算每个数据块的冗余度k；纠删码参数计算模块205，用于基于冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n，其中，m取函数

在[1，2，...，边界值]上最大值时的m值，n为m与冗余度k的乘积，其中，当冗余度k与可靠性概率p的乘积大于1时，边界值等于存储节点的数量N除以冗余度k，而当冗余度k与可靠性概率p的乘积小于1时，所述边界值等于第一值与第二值中的最小值，所述第一值为

向上取整的值，所述第二值为

向上取整的值。

具体地，申请人从实现的角度详细描述了本申请的实施例。

(1)统计每个数据块的引用度。

(2)计算每个数据块的冗余度k：

$k=\max (2,\mathrm{round}\left(\frac{1}{M}\right[B+\frac{1}{\log (1-p)}\×(\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\log r}_j-M\×{\log r}_i)\left]\right))$

(3)计算纠删码(m，n)中的参数m，n：

本发明使用纠删码技术增强重复数据删除系统的可靠性，结合重复数据删除技术的特点，发明了一种选取纠删码参数的算法，能够利用更少的存储空间获得比冗余复制技术更高的存储可靠性。

上面论述了若干实施例的部件，使得本领域普通技术人员可以更好地理解本发明的各个方面。本领域普通技术人员应该理解，可以很容易地使用本发明作为基础来设计或更改其他用于达到与这里所介绍实施例相同的目的和/或实现相同优点的处理和结构。本领域普通技术人员也应该意识到，这种等效构造并不背离本发明的精神和范围，并且在不背离本发明的精神和范围的情况下，可以进行多种变化、替换以及改变。

Claims (7)

1.一种纠删码参数获取方法，其特征在于，包括以下步骤： 

统计每个数据块的引用度r； 

基于所述引用度r计算所述每个数据块的冗余度k； 

基于所述冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n， 

其中，m取函数

在[1，2，...，边界值]上最大值时的m值，n为m与所述冗余度k的乘积， 

其中，当所述冗余度k与所述可靠性概率p的乘积大于1时，所述边界值等于所述存储节点的数量N除以所述冗余度k，而当所述冗余度k与所述可靠性概率p的乘积小于1时，所述边界值等于第一值与第二值中的最小值，所述第一值为

向上取整的值，所述第二值为

向上取整的值。 

2.根据权利要求1所述的方法，其特征在于，当所述冗余度k与所述可靠性概率p的乘积等于1时，m为1，n为所述冗余度k与所述存储节点的数量N中的最小值。 

3.根据权利要求1所述的方法，其特征在于，以如下等式计算所述冗余度k： 

其中，max()是取最大值函数，round()是四舍五入取整函数，M是数据块个数，i是数据块的编号，j是[1，2，...，M]，B是存放数据块的个数。 

4.一种纠删码参数获取装置，其特征在于，包括： 

引用度统计模块，用于统计每个数据块的引用度r； 

冗余度计算模块，用于基于所述引用度r计算所述每个数据块的冗余度k； 

纠删码参数计算模块，用于基于所述冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n， 

其中，m取函数

在[1，2，...，边界值]上最大值时的m值，n为m与所述冗余度k的乘积， 

其中，当所述冗余度k与所述可靠性概率p的乘积大于1时，所述边界值等于所述存储节点的数量N除以所述冗余度k，而当所述冗余度k与所述可靠性概率p的乘积小于1时，所述边界值等于第一值与第二值中的最小值，所述第一值为

向上取整的值，所述第二值为

向上取整的值。 

5.根据权利要求4所述的方法，其特征在于，当所述冗余度k与所述可靠性概率p的乘积等于1时，m为1，n为所述冗余度k与所述存储节点的数量N中的最小值。 

6.根据权利要求4所述的方法，其特征在于，以如下等式计算所述冗余度k： 

其中，max()是取最大值函数，round()是四舍五入取整函数，M是数据块个数，i是数据块的编号，j是[1，2，...，M]，B是存放数据块的个数。 

7.一种基于纠删码的增强系统可靠性的方法，其特征在于，根据权利要求1至3中任一项所述的方法获取纠删码参数。 

Images