CN110532128B - 一种降低数据更新代价的纠删码编码及数据重构方法 - Google Patents

Abstract

本发明公开了一种降低数据更新代价的纠删码编码及数据重构方法，为每个编码条带增加一个额外的对角线校验位，并设计各对角线校验位的编码规则，消除阵列纠删码中各校验位间存在的依赖关系，减少与每个原始数据位相关联的校验位个数，降低阵列纠删码在原始数据更新时引起的相关校验位更新代价；分别对单盘故障或双盘故障情况下的数据进行重构，在少于两个数据或校验盘故障时完成失效数据的恢复，实现数据容错的功能。本发明通过增加少量校验位的存储开销，拥有了更高的数据编码、数据重构速度，而且降低了纠删码系统在数据更新时对校验盘的额外更新代价，有利于减缓新型NVM/SSD等高速存储设备的磨损。

Description

一种降低数据更新代价的纠删码编码及数据重构方法

技术领域

本发明属于计算机存储系统技术领域，具体涉及一种降低数据更新代价的纠 删码编码及数据重构方法。

背景技术

RS、RDP等纠删码能够容忍多个磁盘同时发生故障，通常被用于保障RAID、 分布式存储等系统的可靠性和持久性。不同于传统副本容错技术保存原始数据的 多个镜像副本，纠删码编码技术会对原始数据进行编码，得到多份冗余校验数据 并将其和原始数据一同保存。当原始数据丢失时，通过读取剩余健康的原始数据 和校验数据，并利用相应的数据重构方法来解码恢复失效数据。

纠删码在编码时先以条带为单位划分原始数据，其中每个条带包含固定大小 的k个数据块，通常同一条带上的各数据块被存放在不同磁盘以支持数据的并发 访问、提高系统性能。针对每一个条带，纠删码可使用多种编码方法来计算生成 冗余校验块，用于磁盘故障后失效数据的重构。目前常用的纠删码可分为容两错 的阵列码(如RDP、EVENODD等)和容多错的RS类编码(如RS、CRS等)。 相较于RS类编码使用基于矩阵运算的编解码方法来实现容错，阵列码的编解码 过程中只执行简单的异或和运算和数据拷贝，因此，阵列码的编码速度远优于 RS类编码，受到广泛的关注和研究。

但RDP等阵列码拥有较高的数据更新代价。为了保证存储系统的数据一致 性，纠删码在执行对原始数据的更新操作时，需要同时重新编码更新相关的校验 块。而RDP、EVENODD等阵列码的编码条带中一个数据位会参与2到3个校验 位的编码过程。因此，传统阵列码更新一个原始数据位后平均会对相关的多于2 个的校验位同时更新，比如RDP码在更新一个数据位时平均会对相关的

个校验位同时更新。较高的数据更新代价不仅会影响一些写密集型存 储系统的性能提升，还会因频繁更新校验盘而降低SSD/NVM等擦写次数有限的 存储设备的使用寿命，不利于高性能SSD/NVM在存储系统的大量使用。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种降低 数据更新代价的纠删码编码及数据重构方法，相较于RDP等阵列码，仍可容忍 任意少于两个磁盘同时故障，且通过增加少量冗余校验有效地降低了数据更新代 价。

本发明采用以下技术方案：

一种降低数据更新代价的纠删码编码及数据重构方法，为每个编码条带增加 一个额外的对角线校验位，并设计各对角线校验位的编码规则，消除阵列纠删码 中各校验位间存在的依赖关系，减少与每个原始数据位相关联的校验位个数，降 低阵列纠删码在原始数据更新时引起的相关校验位更新代价；分别对单盘故障或 双盘故障情况下的数据进行重构，在少于两个数据或校验盘故障时完成失效数据 的恢复，实现数据容错的功能。

具体的，每个编码条带由一个(p-1)×(p-1)的数据阵列和一个p-1行的水平校 验列、一个p行的对角线校验列组成，p为一个大于2的质数；d_i,j表示编码条带 中第i行第j列的数据位，第p-1列的d_i,p-1为水平校验位，第p列的d_i,p为对角线 校验位。

进一步的，水平校验位d_i,p-1的编码计算规则为：

其中，0≤i≤p-2，

表示d₀,d₁,...,d_k执行异或和运算的结果。

进一步的，令a_p-1,j＝0，用a mod b表示a对b取模后的结果，对角线校验位d_i,p的编码计算规则为：

其中，0≤i≤p-1。

更进一步的，单磁盘disk_j故障时，0≤j≤p，重构过程为：

如果j＝p，即对角线校验发生故障，则

读取全部p-1个数据盘上的相关数据位，利用对角线校验位d_i,p重新编码计算 出全部对角线校验位d_i,p，并结束数据重构；

否则，从前p个磁盘中未故障的p-1个磁盘读取相关数据位，前p个磁盘包 括p–1个数据盘和1个水平校验盘，利用水平校验位d_i,p-1计算故障盘上全部数据 或校验位d_i,j，并结束数据重构。

更进一步的，双磁盘

故障时，0≤j₀＜j₁≤p，如果有校验盘故障， 重新执行水平校验位或对角线校验位的编码过程即可修复校验盘；

当双数据盘

失效时，0≤j₀＜j₁≤p-2，重构过程为：

对角线校验位

只受一个故障盘影响，读取剩余未故障数据和对角线校验盘的相关数据位，利用对角线校验位d_i,p恢复出故障数据位：

然后读取未故障数据盘和水平校验盘的相关数据位，利用上一步恢复出的数 据位和水平校验位d_i,p-1计算恢复出与其同行的故障数据位；

如果全部故障数据位都已经被恢复，则结束数据重构，否则转到下一步；

读取未故障数据盘和对角线校验盘的相关数据位，利用上一步恢复出的数据 位和对角线校验位d_i,p计算恢复出与其同对角线的故障数据位，然后转回重新读 取未故障数据盘和水平校验盘的相关数据位。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种降低数据更新代价的纠删码编码及数据重构方法，为每个编码条 带增加一个额外的对角线校验位，并设计各对角线校验位的编码规则，在保证阵 列纠删码容两错能力的同时，通过增加少量冗余校验，拥有远低于RDP等阵列 码的数据更新代价；与一个数据位关联的校验位数减少到阵列码理论最优的2位， 减少了数据编解码时执行的异或运算次数，拥有更高的数据编码和数据重构速 度。

进一步的，水平校验位d_i,p-1的计算不涉及跨行访问数据位，编解码的实现过 程简单。

进一步的，对角线校验位d_i,p依赖的数据位比水平校验位少，因此，编解码 执行的异或运算次数也得以减少，从而降低了数据更新时校验盘上的额外更新代 价。

进一步的，单磁盘disk_j故障的数据重构方法不同于传统阵列纠删码，优先使 用对角线校验盘代替水平校验盘来参与失效数据的解码过程，减少了数据重构恢 复时执行的异或运算次数，拥有更高的重构速度。

进一步的，双数据盘

故障的重构方法具有并行度高的特性，可从 两个故障位开始，通过并行解码两条对称且互补的数据恢复链来恢复全部失效数 据，便于使用多线程等技术来加速其重构过程。

综上所述，本发明通过增加少量校验位的存储开销，拥有了更高的数据编码、 数据重构速度，而且降低了纠删码系统在数据更新时对校验盘的额外更新代价， 有利于减缓新型NVM/SSD等高速存储设备的磨损。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明中降低数据更新代价的纠删码编码示意图；

图2为水平校验位的生成示意图；

图3为对角线校验位的生成示意图；

图4为单盘故障的数据重构流程；

图5为双数据盘故障的数据重构流程。

具体实施方式

本发明提供了一种降低数据更新代价的纠删码编码及数据重构方法，通过牺 牲少量存储利用率换取远低于RDP码等阵列纠删码的数据更新代价。通过为每 个编码条带增加一个额外的对角线校验位，并设计各对角线校验位的编码规则， 可消除阵列纠删码中各校验位间存在的依赖关系，从而减少与每个原始数据位相 关联的校验位个数，降低阵列纠删码在原始数据更新时引起的相关校验位更新代 价。此外，为该编码设计了在不同故障情况下的数据重构方法，能够在少于两个 数据或校验盘故障时完成失效数据的恢复，实现数据容错的功能。

条带：纠删码技术中编解码操作的基本执行单位，由多个数据块和相关校验 块组成。

数据块：原始数据被划分为大小相同的数据块，每个数据块包含固定个数的 (原始)数据位。

校验块：原始数据块经过编码后生成对应的校验块，每个校验块包含固定个 数的校验(数据)位。

EaR：本发明设计的降低数据更新代价的纠删码编码。

p：每个EaR编码条带都由一个(p+1)×(p-1)的数据位阵列组成，其中，p为 一个大于2的质数。

d_i,j：表示EaR编码条带中第i行第j列的数据位或校验位，其中，0≤i≤p-1， 0≤j≤p。

disk_f：表示编号为f的磁盘(数据盘或校验盘)，用于保存EaR编码条带中 的第f列的原始数据或校验数据。

水平校验位：由处于同一行的原始数据位执行异或和运算得到，被保存在 EaR编码条带中第p-1列。

对角线校验位：由处于同一对角线(斜率为1的斜线)的原始数据位执行异 或和运算得到，被保存在EaR编码阵列中第p列。

表示对x₀、x₁、...、x_t这t+1个数执行异或和运算的结果。

x mod t：表示取模运算，返回x对t取模后的值，其取值范围为[0,t-1]。

数据重构：读取健康(未失效)的原始数据或校验数据，并根据相应的解码 计算公式来恢复故障盘上的失效数据。

本发明一种降低数据更新代价的纠删码编码及数据重构方法，包括以下步 骤：

EaR码的编码实施方法

S1、水平校验位d_i,p-1(0≤i≤p-2)的编码过程为：

S101、置i、j为0，全部水平校验位d_i,p-1(0≤i≤p-2)为0；

S102、读取与水平校验位d_i,p-1在同行的数据位d_i,j，计算两者的异或和并 将结果赋值给校验位d_i,p-1；

S103、置j＝j+1；

S104、如果j＜p-1，则返回步骤S102，否则转到下一步；

S105、置i＝i+1，j＝0；

S106、如果i＜p-1，则返回步骤S102，否则结束数据编码。

请参阅图2，水平校验位由处于同行的各原始数据位执行异或和运算得到， 用

表示d₀,d₁,...,d_k执行异或和运算的结果，则水平校验位d_i,p-1的编码计算规 则为：

其中，0≤i≤p-2；

S2、对角线校验位d_i,p(0≤i≤p-1)的编码过程为：

S201、置i、j为0，全部对角线校验位d_i,p(0≤i≤p-1)为0；

S202、令id＝(i-j)mod p；

S203、如果id＜p-1，则转到下一步，否则转到步骤S205；

S204、读取与对角线校验位d_i,p在同一对角线的数据位d_id,j，计算两者的 异或和并将结果赋值给校验位d_i,p；

S205、置j＝j+1；

S206、如果j＜p-1，则返回步骤S202，否则转到下一步；

S207、置i＝i+1，j＝0；

S208、如果i<p，则返回步骤S202，否则结束数据编码。

请参阅图3，对角线校验位由处于同对角线(斜率为1)的各原始数据位执行异 或和运算得到；令a_p-1,j＝0，用a mod b表示a对b取模后的结果，则对角线校验位 d_i,p的编码计算规则为：

其中，0≤i≤p-1。

EaR码的数据重构实施方法

EaR码可容忍任意少于两个的磁盘发生故障。针对不同的故障情况，EaR编 码采用各自对应的数据重构方法来恢复失效数据，由于校验盘故障时的重构过程 等同于重新执行水平或对角线校验位的编码过程，在此不再赘述，具体的数据重 构方法为：

S3、单个盘disk_f故障(即数据位d_i,f失效)，如图4所示，重构过程如下：

S301、确定故障磁盘的编号f；

S302、置i、j为0，全部故障位为0；

S303、如果f＝p，则转到下一步，否则转到步骤S311；

S304、令id＝(i-j)mod p；

S305、如果id<p-1，则转到下一步，否则转到步骤S307；

S306、读取与故障校验位d_i,f在同一对角线的数据位d_id,j，计算两者的异 或和并将结果赋值给故障位d_i,f；

S307、置j＝j+1；

S308、如果j<p-1，则返回步骤S304，否则转到下一步；

S309、置i＝i+1，j＝0；

S310、如果i<p，则返回步骤S304，否则结束数据重构。

S311、如果j＝f，则转到步骤S313，否则转到下一步；

S312、读取与故障位d_i,f在同行的数据位或校验位d_i,j，计算两者的异或和 并将结果赋值给故障位d_i,f；

S313、置j＝j+1；

S314、如果j<p，则返回步骤S312，否则转到下一步；

S315、置i＝i+1，j＝0；

S316、如果i<p-1，则返回步骤S311，否则结束数据重构。

S4、两个数据盘(即0≤f₀、f₁≤p-2)同时故障(即数据位

失效)， 如图5所示，数据重构过程如下：

S401、置i、j为0，全部故障位为0；

S402、令i＝(f₁-f₀-1)modp；

S403、如果j＝f₀、f₁或p-1，则转到步骤S407，否则转到下一步；

S404、令id＝(i+f₀-j)modp；

S405、如果id<p-1，则转到下一步，否则转到步骤S407；

S406、计算故障位

与同对角线数据位或校验位d_id,j的异或和并将结果 赋值给故障位

S407、置j＝j+1；

S408、如果j<p+1，则返回步骤S403，否则转到下一步；

S409、置j＝0；

S410、如果j＝f₁，则转到步骤S412，否则转到下一步；

S411、计算故障位

与同行数据位d_i,j的异或和并将结果赋值给故障位

S412、置j＝j+1；

S413、如果j<p，则返回步骤S410，否则转到下一步；

S414、置j＝0；

S415、令i＝(i+f₁-f₀)modp；

S416、如果i<p-1，则转到步骤S403，否则结束数据重构。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图 中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护 的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都 属于本发明保护的范围。

下面以图1中p＝5的EaR码为例来说明本发明的编码和数据重构方法。

根据公式(1)、公式(2)编码计算图1中的两校验盘中的各校验位值。由 图2可知，Disk4上的水平校验位d_0,4通过计算同行的d_0,0、d_0,1、d_0,2、d_0,34个数据位 的异或和得到。同理，其它水平校验位d_1,4、d_2,4、d_3,4也分别通过计算与各自同行的 4个数据位的异或和得到。由图3可知，Disk5上的对角线校验位d_0,5通过计算同 对角线的d_0,0、d_3,2、d_2,33个数据位的异或和得到。同理，其它对角线校验位 d_1,5、d_2,5、d_3,5、d_4,5也分别通过计算与各自同对角线的数据位的异或和得到。特殊的 是，与校验位d_3,5同对角线的有d_3,0、d_2,1、d_1,2、d_0,34个数据位。

由于EaR码在校验盘故障时的数据重构过程等同于上述校验盘的编码过程， 这里只举例说明EaR码在单数据盘故障、双数据盘故障时的数据重构过程。假设 图1中数据盘Disk1发生故障，故障位d_0,1能够通过计算同对角线的健康数据位 d_1,0、d_3,3和对角线校验位d_1,5的异或和恢复出来。同理，其它故障位d_1,1、d_2,1、d_3,1也 通过计算各自同对角线的健康数据位和对角线校验位的异或和得到。假设图1中 数据盘Disk1、Disk3都发生故障，则故障位d_1,1将作为起点被首先恢复，通过计 算与d_1,1同对角线的健康数据位d_2,0、d_0,2和对角线校验位d_2,5的异或和即可恢复故 障位d_1,1；然后，开始利用行校验公式恢复与d_1,1同行的另一个故障位d_1,3，通过计 算与d_1,3同行的健康数据位d_1,0、d_1,2和健康校验位d_1,4以及已恢复出的数据位d_1,1的 异或和即可完成故障位d_1,3的恢复；之后，继续交叉地使用公式1、公式2来恢复 剩余全部的故障数据位，各故障位的恢复次序为： d_1,1、d_1,3、d_3,1、d_3,3、d_0,1、d_0,3、d_2,1、d_2,3。

本发明通过为每个条带增加一个额外的校验位，减少了平均与一个数据位相 关联的校验位数，从而降低了数据更新时为保障数据一致性而对校验盘执行的额 外更新代价。在上述p＝5的实例中，纠删码系统只增加了1/24的额外校验位存 储开销，却使数据更新代价由原来的2.5625降低为2。此外，由于校验位生成规 则的改变，纠删码的数据编码、数据重构速度都高于现有RDP等阵列码，而且 本发明的数据重构方法具有可并行执行的能力，在多核处理器上有进一步加速的 潜力。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡 是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发 明权利要求书的保护范围之内。

Claims (3)

1.一种降低数据更新代价的纠删码编码及数据重构方法，其特征在于，为每个编码条带增加一个额外的对角线校验位，并设计各对角线校验位的编码规则，消除阵列纠删码中各校验位间存在的依赖关系，减少与每个原始数据位相关联的校验位个数，降低阵列纠删码在原始数据更新时引起的相关校验位更新代价；分别对单盘故障或双盘故障情况下的数据进行重构，在少于两个数据或校验盘故障时完成失效数据的恢复，实现数据容错的功能；

每个编码条带由一个(p-1)×(p-1)的数据阵列和一个p-1行的水平校验列、一个p行的对角线校验列组成，p为一个大于2的质数；d_i,j表示编码条带中第i行第j列的数据位，第p-1列的d_i,p-1为水平校验位，第p列的d_i,p为对角线校验位；

水平校验位d_i,p-1的编码计算规则为：

其中，0≤i≤p-2，

表示d₀,d₁,...,d_k执行异或和运算的结果；

令a_p-1,j＝0，用a mod b表示a对b取模后的结果，对角线校验位d_i,p的编码计算规则为：

其中，0≤i≤p-1。

2.根据权利要求1所述的降低数据更新代价的纠删码编码及数据重构方法，其特征在于，单磁盘disk_j故障时，0≤j≤p，重构过程为：

如果j＝p，即对角线校验发生故障，则

读取全部p-1个数据盘上的相关数据位，利用对角线校验位d_i,p重新编码计算出全部对角线校验位d_i,p，并结束数据重构；

否则，从前p个磁盘中未故障的p-1个磁盘读取相关数据位，前p个磁盘包括p–1个数据盘和1个水平校验盘，利用水平校验位d_i,p-1计算故障盘上全部数据或校验位d_i,j，并结束数据重构。

3.根据权利要求1所述的降低数据更新代价的纠删码编码及数据重构方法，其特征在于，双磁盘

故障时，0≤j₀＜j₁≤p，如果有校验盘故障，重新执行水平校验位或对角线校验位的编码过程即可修复校验盘；

当双数据盘

失效时，0≤j₀＜j₁≤p-2，重构过程为：

对角线校验位

只受一个故障盘影响，读取剩余未故障数据和对角线校验盘的相关数据位，

S401、置i、j为0，全部故障位为0；

S402、令i＝(f₁-f₀-1)mod p；

S403、如果j＝f₀、f₁或p-1，则转到步骤S407，否则转到下一步；

S404、令id＝(i+f₀-j)mod p；

S405、如果id<p-1，则转到下一步，否则转到步骤S407；

S406、计算故障位

与同对角线数据位或校验位

的异或和并将结果赋值给故障位

S407、置j＝j+1；

S408、如果j<p+1，则返回步骤S403，否则转到下一步；

S409、置j＝0；

S410、如果j＝f₁，则转到步骤S412，否则转到下一步；

S411、计算故障位

与同行数据位d_i,j的异或和并将结果赋值给故障位

S412、置j＝j+1；

S413、如果j<p，则返回步骤S410，否则转到下一步；

S414、置j＝0；

S415、令i＝(i+f₁-f₀)mod p；

S416、如果i<p-1，则转到步骤S403，否则结束数据重构；

利用对角线校验位d_i,p恢复出故障数据位：

然后读取未故障数据盘和水平校验盘的相关数据位，利用上一步恢复出的数据位和水平校验位d_i,p-1计算恢复出与其同行的故障数据位；

如果全部故障数据位都已经被恢复，则结束数据重构，否则转到下一步；

读取未故障数据盘和对角线校验盘的相关数据位，利用上一步恢复出的数据位和对角线校验位d_i,p计算恢复出与其同对角线的故障数据位，然后转回重新读取未故障数据盘和水平校验盘的相关数据位。

Images