CN112000278A - 一种热数据存储的自适应局部重构码设计方法及云存储系统 - Google Patents

Abstract

本发明提供了一种热数据存储的自适应局部重构码设计方法及云存储系统，自适应局部重构码的码字组成包括数据块、局部校验块和全局校验块，能够根据不同热度的数据块读取到达率自适应调节编码参数，云存储系统使用本发明所述自适应局部重构码设计方法进行热点数据的存储。本发明的有益效果是：本发明相对于现有码字在相同的存储负载或重构代价时，根据码字参数的不同可以实现更大的局部最大吞吐量，达到百分之五十以上的性能提升，还具有更小的实现代价；本发明的自适应局部重构码更适合应用于云存储系统中。

Description

一种热数据存储的自适应局部重构码设计方法及云存储系统

技术领域

本发明涉及云存储技术领域，尤其涉及一种热数据存储的自适应局部重构码设计方法及云存储系统。

背景技术

云存储系统提供大规模的数据存储服务，已经成为企业进行数据存储的广泛方法，例如谷歌、Facebook、亚马逊和微软，都使用其支持来自客户的大量数据存储请求。由于采用价格低廉的磁盘对数据进行存储，在大型云存储系统中发生故障十分常见。存储系统通常采用复制或擦除编码等冗余方式保障数据的可靠性和可用性。传统复制方法会带来高额的冗余，擦除编码在保持相同的可靠性的前提下需要的存储空间远小于复制方法。局部重构码(Local Reconstruction Codes)就是一种已经得到广泛应用的擦除编码，其在修复时需要连接更少节点，从而可以降低额外连接的 I/O。

LRC(k,l,r)将k个数据块分为l组每组有k/l个数据块和一个局部校验块，还有r个全局校验块由所有数据块生成。

实际的存储系统中有百分之九十的故障是临时故障，这可能是由于系统重启或断电，失去网络连接，热点数据造成网络拥塞等原因。为了访问不可用的数据，使用擦除编码的系统需要执行降级读取操作。与复制方法可以直接检索另一个可用副本不同，擦除编码需要从幸存的节点检索数据，并重新解码出不可用数据。因此，尽管擦除编码提高了存储效率，但它在恢复期间触发了额外的I/O和带宽。研究表明，在擦除编码存储系统中，为恢复频繁的故障可以触发大量的网络流量。由于擦除编码已经在大量分布式存储系统中得到了使用，而其数据重构的问题已经成为了一个性能瓶颈。

现有的存储冷热数据的云存储系统的编码存在以下缺点：

1)现有的广泛应用的局部重构码没有考虑实际存储的数据之间的差异性会对系统造成的影响，如数据流行度，在编码结构的设计中，对所有数据块的保护程度相同。

2)冷热数据可能会带来系统的临时故障，需要采用降级读取的方法应对，编码方案中考虑降级读取才能更好的适应这一差异。

3)因为冷热数据的读取需求不同，不考虑数据冷热差异的存储方案无法更好的利用系统中的所有存储设备，而且可能会时常带来暂时故障。因此，在异构云存储系统中，需要设计一个可以应对热数据带来问题的编码方案。

发明内容

考虑到数据之间的冷热差异和其可能带来的临时故障，一种面向热数据和降级读取的容错编码方案是值得设计的。且针对以上现有编码技术的缺点，本发明设计的编码方案考虑了冷热数据的差异，局部重构码进行降级读取时的流量变化。本发明的编码方案的特点是在编码设计时根据数据差异和实际参数设定要求适应性的确定编码参数，优化了热数据可以实现的吞吐量和降级读取操作的代价，以实现适应热数据的编码方案。

本发明提供了一种适合热数据存储的自适应局部重构码设计方法，自适应局部重构码包括数据块、局部校验块和全局校验块，其中l₀定义为自适应局部重构码的适应性指数，表示仅为组内最热的数据块生成的局部校验块的个数，l-l₀-1个数据块分别与组内最热的数据块生成一个局部校验块，一共构成l-l₀-1个局部校验组，剩下的数据块生成一个局部校验块构成一个局部校验组

作为本发明的进一步改进，针对参数为(k,l,l₀,r)的自适应局部重构码，当其各个数据块的单位时间读取任务的需求量满足λ₁，λ₂，…，λ_k, (λ₁＞λ＞λ₂)有如下性质：热数据块的单位时间读取任务的需求量为

对应的实现代价为

λ为节点上某一个数据块在单位时间内可以负担的最大读取任务量。

作为本发明的进一步改进，给定需要满足的λ₁，如果所有局部校验块都不能满足λ₁的需求，那么选取可以选取的l₀最大值，即l₀＝l-1；否则依照其余数据块的单位时间读取任务的需求量，选取任务需求量最小的数据块，依次增加数据块的个数，直至得到满足λ₁需求的l₀。

作为本发明的进一步改进，确定了l₀之后，使l₀＝l-1，其他所有数据块共用一个局部校验块。

本发明还提供了一种云存储系统，该云存储系统使用本发明所述自适应局部重构码设计方法设计的自适应局部重构码进行数据的读取及存储。

本发明的有益效果是：本发明对于现有码字可以实现更大的单位时间内可以负担的最大读取任务量，有更小的实现代价，我们给出了k＝6时的仿真结果；同时，在不同的编码参数下，可以实现高于局部重构码百分之五十以上的单位时间内可以负担的最大读取任务量性能提升；本发明的自适应局部重构码更适合应用于云存储系统中。

附图说明

图1是ALRC(6,3,2,2)的结构示意图；

图2是不同参数LRC与ALRC的重构代价对比图；

图3是不同参数LRC与ALRC的存储负载对比图；

图4a是LMT与存储负载变化关系图；

图4b是LMT与重构代价变化关系图；

图4c是LMT与实现代价变化关系图。

具体实施方式

本发明公开了一种基于热数据存储和降级读取的自适应局部重构码设计方法，包括准备工作，码字定义描述、适应性参数的确定、性能分析四个部分。

(1)准备工作

云存储系统中数据的降级读取(degraded read)对应于数据的直接读取(directread)。当节点没有超出负载(无故障)时，读取数据可以直接从节点上读取，称为直接读取。当节点发生暂时故障导致无法直接从节点获取数据时，可以通过编码恢复的方式，从其他节点上读取数据之后解码得到原来需要的数据，此时称为降级读取。

我们以单位时间读取任务的需求量衡量，每个数据块有其单位时间读取任务的需求量，经过降级读取操作之后，实际负担的读取任务为实际读取任务量。

为了分析各个数据块的实际读取任务量以及降级读取操作的代价，我们给出以下定义：

定义1:λ被定义为(节点上)某一个数据块可在单位时间内可以负担的最大读取任务量。当单位时间内直接读取任务大于其时，认为数据块为热数据块，所在节点变为热节点，直接读取任务需要通过降级读取完成。

我们设定了阈值作为区分冷热数据的界限，以读取任务量衡量，方便对不同数据的比较分析。

定义2:单位时间内可以负担的最大读取任务量被定义为单个数据块在单位时间内可以完成的直接读取任务总和(包括自身直接读取任务完成的部分与降级读取操作完成的之和)。对于LRC的一个局部修复组，当组内各个数据块的任务量满足λ₁＞...＞λ_k/l时，则热数据块的单位时间内可以负担的最大读取任务量为：λ+(λ-λ₂)。

我们主要讨论热数据的单位时间内可负担的读取任务量，通过把其细化到单个的数据块，可以更好的关注不同数据的需求。热数据块具有多大的单位时间内可负担的读取任务量是衡量码字是适应性的重要指标。一个局部修复组可以通过降级读取提供的数据读取量是由需要参与的数据块中负担最大的数据读取任务量为λ₂的数据块整体的实际读取任务量达到了λ时，整个修复组便不能完成更多的降级读取任务。

定义3：实现代价(Penalty)被定义为当实现一数据块的LMT时，实现降级读取操作的组内其他数据块在单位时间内需要共同负担的额外的读取任务总和。与定义2对应的是，第一个数据块的实现代价为(k/l)(λ-λ₂)。

对于完成降级读取任务需要的额外开销，组内的每个数据块承担的是相同的，整体的实现代价与组内的数据块数量有关。降级读取任务不可避免的会带来额外的开销，我们在关注增大热数据块单位时间内可负担的读取任务量的同时，关注同时有更小的实现代价。

(2)码字定义

本发明给出自适应局部重构码(Adaptive Local Reconstruction Code，ALRC)的定义如下：

定义1：一个ALRC(k，l，l₀，r)由k个数据块，1个局部校验块，r个全局校验块组成。其中l₀定义为ALRC的适应性指数，表示仅为组内最热的数据块(下文中与第一个数据块同义)生成的局部校验块的个数，l-l₀-1个局部校验块与l-l₀-1个数据块分别与第一个数据块构成l-l₀-1个局部校验组，剩下的数据块与1个局部校验块构成一个局部校验组。

一个ALRC(6，3，2，2)如图1。X₁，...，X₆为数据块，Y₁，Y₂，Y₃为局部校验块，Z₁，Z₂为全局校验块。

针对参数为(k，l，l₀，r)ALRC有如下引理：

引理：(k，l，l₀，r)ALRC，当其各个数据块的单位时间读取任务需求量满足λ₁＞λ＞λ₂＞...＞λ_k有如下性质：

(1)热数据块的单位时间内可负担的读取任务量为

(2)对应的实现代价

(3)适应性参数的确定

可以看出，ALRC通过确定适应性参数l₀实现适应各种不同的情况，接下来我们给出两种情况下确定l₀的算法。

我们给定：

(1)数据块个数k，k为整数，满足k＞4；

(2)局部校验块个数l，l为整数，满足l∈[3，k-1]；

(3)一个数据块单位时间可以负担的最大读取任务量λ；

(4)各个数据块的单位时间读取任务需求量满足λ₁＞λ＞λ₂＞...＞λ_k。

算法1描述：选取能够满足实际需求的更小的l₀，可以为其他数据块保存相对多的校验空间，可以带来更好的重构代价。给定需要满足的λ₁，如果所有局部校验块都不能满足λ₁的需求，我们就选取可以选取的l₀最大值，即。否则我们依照其余数据块的任务需求量，选取任务量最小的数据块，依次增加数据块的个数，直至得到满足λ₁需求的l₀。

给出最小重构代价算法如下。

算法2描述：l₀的确定与算法1类似，区别在于，确定了l₀之后，我们可以使l＝l₀+1，其他所有数据块共用一个局部校验块，使得存储负载更小，不过这时的重构代价是相对更大的。

给出最小存储负载算法如下。

(4)性能分析

我们分析了ALRC传统的码字指标：存储负载、重构代价及单位时间内可负担的读取任务量和实现代价等指标的表现。

首先我们给出典型参数下LRC和ALRC的性能对比。图2和图3为 LRC(6,3,2),LRC(6,2,2)和ALRC(6,3,2,2)三种码字的存储负载和重构代价的对比。ALRC(6,3,2,2)与LRC(6,3,2)具有完全相同的存储负载只是码字结构有所差异。ALRC(6,3,2,2)与同样具有6块数据块的LRC(6,3,2)对比重构代价基本相同，小于LRC(6,2,2)。实际中我们可以通过选择适当的参数权衡存储负载和重构代价。

(1)存储负载:存储负载定义为实际存储的数据量与原始的数据量之比，是编码方案的重要性能，直接反映编码的效率和花费。在编码中可以组内所有块的个数之和与数据块个数之比表示。ALRC和LRC的存储负载都为(k+l+r)/k。

(2)重构代价:另一个非常重要的编码指标是重构代价。重构代价定义为每组内平均重构一个不可用的节点时需要连接的节点数。例如对于一组 LRC(k,l,r)，数据块和局部校验块修复时需要连接k/l个节点，全局校验块需要连k个节点。则其重构代价为(k/l(k+l)+rk)/n＝(k²/l+(l+r)k)/n。

在接下来这一部分，我们针对ALRC的所有码字情况进行分析。我们将除热数据外其他数据块的读取任务需求量归一化为1，λ为5，使其为λ的五分之一，模拟冷数据的情况，即单位时间内读取任务需求量没有达到负担上限。

如图4a所示，我们给出了不同k时，所有可能参数ALRC的存储负载与可负担任务量的分布。同样的存储负载下，更大的k带来更大的可负担任务量。图中我们还给出了LRC的情况，可以看出由于没有异构的设计，不同存储负载的LRC只能够实现相同的可负担任务量。

图4b中给出了不同k时，所有可能参数ALRC的重构代价与可负担任务量的分布。可以看出在k,l相同的情况下，l₀越大，可负担任务量越大，重构代价越大。且LMT取决于l₀的设置，与k,l无关。所以确定好l₀之后可以通过设置k,l更好的权衡其他指标。

LRC由于每个数据块只有一个局部重构组，每个块的可负担任务量和实现代价都是相同的，当存在热点数据时无法为其提供更大的可负担任务量。我们发现不同参数下ALRC的基本趋势是相同的，在图4c中，以k＝9, l＝3和k＝12,l＝4为例。可以看出，随着l₀的增长，可负担任务量和实现代价都会增长。

在本发明中，研究了存在热数据的云存储系统中的编码设计问题，考虑降级读取操作的影响和作用，提出了适应性局部重构码方案。不同与以往的工作，本发明在单一编码的设计中考虑了数据的冷热差异。本发明给出了衡量单个数据块读取任务量的指标，并且提出了一种新的码字。这种码字是基于局部重构码设计的，可以根据给出的条件适应性的调节参数，确定合适的编码方案。仿真分析表明，本发明的方案相对于现有码字可以实现更大的热数据的单位时间内可负担的读取任务量，有更小的实现代价。同时，在图4a中，根据不同的编码参数，本方案可以实现高于局部重构码百分之五十以上的热数据的单位时间内可负担的读取任务量。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种热数据存储的自适应局部重构码设计方法，其特征在于，自适应局部重构码(k，l，l₀，r)包括数据块k个、局部校验块l个和全局校验块r个，其中l₀定义为自适应局部重构码的适应性指数，表示仅为组内最热的数据块生成的局部校验块的个数，l-l₀-1个数据块分别与组内最热的数据块生成一个局部校验块，一共构成l-l₀-1个局部校验组，剩下的数据块生成一个局部校验块构成一个局部校验组。

2.根据权利要求1所述的自适应局部重构码设计方法，其特征在于，针对参数为(k,l,l₀,r)的自适应局部重构码，当其各个数据块的单位时间读取任务的需求量满足λ₁，λ₂，…，λ_k,(λ₁＞λ＞λ₂)有如下性质：热数据块的单位时间内可负担的读取任务量为

对应的实现代价为

定义λ为节点上某一个数据块在单位时间内可以负担的最大读取任务量，各个数据块的单位时间读取任务的需求量分别用λ₁，λ₂，...，λ_k表示，而且λ₁为热数据的单位时间读取任务的需求量。

3.根据权利要求2所述的自适应局部重构码设计方法，其特征在于，给定需要满足的λ₁，如果所有局部校验块都不能满足λ₁的需求，那么选取可以选取的l₀最大值，即l₀＝l-1；否则依照其余数据块的任务需求量，选取单位时间任务需求量最小的数据块，依次增加数据块的个数，直至得到满足λ₁需求的l₀。

4.根据权利要求3所述的自适应局部重构码设计方法，其特征在于，确定了l₀之后，使l₀＝l-1，其他所有数据块共用一个局部校验块。

5.一种云存储系统，其特征在于，该云存储系统使用权利要求1至4任一项所述自适应局部重构码设计方法设计的自适应局部重构码进行数据的读取及存储。

Images