CN107797884A - 一种基于复制和纠删码自适应切换的云存储容错方法 - Google Patents

Abstract

本发明公开了一种基于复制和纠删码自适应切换的云存储容错方法，首先对副本复制和纠删码进行了对比分析，在此基础上，提出了一个基于副本复制和纠删码自适应切换算法,自适应地切换容错策略，对于访问次数高的文件采用副本复制容错，对于访问次数低的文件采用纠删码容错，并构建了一个基于ASBRE算法的云存储容错框架，最后通过实验进行了评估验证。本发明提高了用户的访问质量，有效缓和了存储开销和高效访问之间的矛盾。

Description

一种基于复制和纠删码自适应切换的云存储容错方法

技术领域

本发明涉及一种基于复制和纠删码自适应切换的云存储容错方法。

背景技术

云存储为用户带来了低廉的运维成本，按需可扩展的性能配置以及更高效的存储能力，已被越来越多的用户所接受。然而，由于云存储环境的复杂性和开放性，数据失效问题也引起了广大用户的关注。例如：2011年，阿里云服务器磁盘出现故障，在维护过程中执行重启操作，导致期间的数据丢失；2012年，谷歌邮箱爆发大规模数据丢失，15万左右谷歌邮箱用户数据失效。云存储系统的首要任务是保证数据的高可用性和高可靠性，必须考虑构建一套高性能低开销的容错机制。

容错的数据冗余方法常用的有副本复制和纠删码两种。随着数据量的增长，云存储容错逐渐由复制向纠删码转变。纠删码有效地减少了冗余空间，但解码复杂，存在更多的延时。由此可见，单一的数据冗余方法已无法满足不同类型用户的特定容错需求，混合数据冗余方法将会成为未来云存储容错的研究热点。

通过混合冗余来实现云存储容错的主要文献有：Fan等人通过跟踪发现大多数的数据访问操作发生在数据创建后的较短的一段时间内，针对HDFS系统，将生命周期超过一定期限的文件通过一个后台进程写入纠删码数据块，将复制数据块转化为纠删码数据块以节省存储空间，并在此基础上测试了延迟编码的时间与带来的性能损耗之间的关系。微软研究院的Zhang等人将仅支持复制的HDFS改进为完全支持复制和纠删码两种方式，用户可根据自己的容错需求进行容错方式的选择，但对于一特定文件仍是单一的数据冗余方法，与时间、空间都不发生关系。Yadi等人提出一种云计算环境副本复制与纠删码相结合的容错方案，采用LRU(Least Recently Used)的方法进行替换，有效地实现了空间与时间的均衡，LRU方法存在时间的局部性，未考虑单位时间内的访问频率，而且是一次性永久转换，可能存在数据的二次污染。Aye等人针对HDFS提出了一种基于纠删码的副本复制方法，为增强可靠性，对事先存储纠删码进行hash，再进行副本复制，在访问延时控制在一定阈值范围内较完全复制技术节约33％的存储空间。Roy等人提出了一种柔性的复制纠删码方法，对于访问热度低的文件，以单一的纠删码方式存储，对于访问热度高的文件，为保证高访问质量，根据访问热度动态生成副本，也即对于访问热度高的文件是复制块与纠删码块共存。杨东日等人提出了一种副本复制和纠错码融合的云存储文件系统容错机制，提出了根 据访问频率来选择容错方式，并重点分析了系统的可靠性，但未对如何确定文件访问频率作过多描述。宋宝燕等人提出了利用RS编码优化HDFS的存储容错策略，并通过改变生成矩阵优化了RS编码在有限域上的乘法计算难的问题。

Bhagwat等人较早提出根据原始数据块的等级保存若干副本的容错方法。基于副本复制的容错策略简单、高效，容易实现和部署，由于每个复制数据块都是一个完整的备份，数据修复效率高，并可以很好地支持并发访问，因此在实际中得到了广泛的应用。在GFS和HDFS目前所采用的容错策略就是副本复制技术。

在基于纠删码的存储容错系统中，N个存储节点被分成数据节点和校验节点两部分，校验节点的数据由数据节点计算得来，定义纠删码为一个四元组(n,k,w,k’)，n表求数据节点的个数，k表示原始文件分片的个数，n-k表示校验节点个数，w表示每个数据块包含的比特数，k’表未任意获得一个条带上的k’个数据块即可修复受损的文件。为了使系统具有最优的存储效率，纠删码须具有MDS属性，即k＝k’。目前存在很多类型的纠删码，例如Reed-Solomon编码(简称RS编码)、LDPC码、阵列码等。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于复制和纠删码自适应切换的云存储容错方法。

为解决上述技术问题，本发明所采用的技术方案是：一种基于复制和纠删码自适应切换的云存储容错方法，包括以下步骤：

1)当编号为K的文件被访问之后，判断本时间间隔内文件的访问次数是否高于上一时间间隔内的访问次数，文件的访问次数是否高于替换阈值，当文件K在本时间间隔内的访问次数低于上一时间间隔内的访问次数时，或访问次数虽高于上一时间间隔内的访问次数，但访问次数低于替换阈值时，仍维持纠删码；否则，进入步骤2)；

2)查询下降集中的最低的访问次数的文件K'，若文件K的访问次数高于下降集中最低的访问次数，则将下降集中最低访问次数的文件K'移出下降集，并删除K'的相关副本，对K'做纠删码；将文件K放入下降集，并对K文件做3副本复制的容错方案，将原有纠删码删除；否则，进入步骤3)；

3)查询上升集中的最低的访问次数的文件K”，并与文件K的访问次数次数进行比较，若文件K的访问次数与文件K”的访问次数之差小于替换阈值，则维持纠删码，否则，进入步骤4)；

4)将上升集最低访问次数的文件K”移出下降集，并删除K”的相关副本，对K”做纠删码；将文件K放入上升集，并对该文件做3副本复制的容错方案，将原有纠删码删除。

所述替换阈值设定为所有文件访问次数的平均值。

所述上升集和下降集构建过程如下：

1)将系统周期分为N个片段；所述系统周期是指文件存储到统计访问频率时的时间；

2)全局数据文件集其中D_k＝＜S_k|F_ki＞，S_k表示D_k文件的大小，F_ki表示D_k文件的总访问次数，每次访问之后，F_ki加1；

3)一个时间间隔内某文件的被访问次数C_ki＝F_ki-F_ki-1；

4)相邻时间间隔内访问次数的增量R_ki＝C_ki-C_ki-1；

5)高访问量表空间的文件分成两个集合：Z_up＝{D_k|R_ki＞0}，Z_do＝{D_k|R_ki＜0}，Z_UP表示上升集，Z_do表示下降集。

与现有技术相比，本发明所具有的有益效果为：本发明提高了用户的访问质量，有效缓和了存储开销和高效访问之间的矛盾。

附图说明

图1为本发明方法流程图；

图2为本发明实施例系统存储开销对比；

图3(a)为本发明实施例单节点故障状态下文件访问的平均延时；图3(b)为本发明实施例双节点故障状态下文件访问的平均延时；

图4(a)为CPU负载情况对比；图4(b)为内存负载情况对比。

具体实施方式

越来越多的研究表明：云存储中数据文件的被访问频率呈现出显著的偏斜性，数据文件的被访问频率呈Zipf规则分布。若将N个文件按访问频率从大到小排序，则第i个文件的访问频率为：

对于访问频率较高的文件，用户关注的是访问带宽和修复性能，宜采用副本复制技术 进行容错，而对于访问频率较低的文件，用户更关注的是存储空间，宜采用纠删码技术进行容错。文件在生命周期中的访问频率可能随时发生变化，所以需要一个自适应切换算法来改变容错策略，以提升容错性能。

在计算机系统中，常用的切换方法有FIFO(First In First Out)、LRU(LeastRecently Used)、LFU(Least Frequently Used)3种^[18]。FIFO实现最简单，只需将最早进行入系统的对象替换出来，LRU考虑了时间的局部性，将最近未访问的对象替换出来，LFU是从访问频率的角度出发，将访问次数最少的对象替换出来。云存储容错系统中的文件的失效率与访问频率有着密切的关系，宜采用LFU方法。

为了避免访问局部性带来的影响，我们采用分片的LFU方法，将时间周期T分为等间隔的若干个片，根据分片的访问频率的权重来决定是否替换。此外，文件的失效率还与文件大小有关，文件越大，分块后存储的节点越多，故障概率越大。为此我们采用的算法是基于访问次数的自适应调整，访问次数含访问频率和文件大小两个因子。

本发明的相关定义如下：

(1)系统周期：

(2)全局数据文件集：其中D_k＝＜S_k|F_ki＞，S_k表示D_k文件的大小，F_ki表示D_k文件的总访问次数，每次访问之后，F_ki++。

(3)一个时间间隔内某文件的被访问次数：C_ki＝F_ki-F_ki-1

(4)文件访问次数的替换阈值：w

(5)相邻时间间隔内访问次数的增量：R_ki＝C_ki-C_ki-1

(6)高访问次数表空间的文件集：

(7)高访问次数表空间的文件分成两个集合：Z_up＝{D_k|R_ki＞0}，Z_do＝{D_k|R_ki＜0}，Z_UP表示上升集，Z_do表示下降集。

由于文件的访问存在局部性，即最近访问过的文件很有可能再次访问，所以统计访问频率时不是简单的相加，而是对最近的访问频率赋予更大的权重。用N_T表示已经过的时间间隔数，文件访问频率AF(D_k)公式(1)统计：

文件越大，分布节点更多，访问延时更长，所以也赋予更大的权重。文件访问次数A(D_k) 按式(2)统计：

A(D_k)＝S_k·AF(D_k) (2)

当第k个文件被访问时，如果文件不位于高访问次数表空间，判断是否满足替换条件R_ki＞0.and.A(D_k)＞w。其中R_ki＞0.是第一个判决条件，若它比上一个间隔访问次数还少，则维持原状。A(D_k)＞w是判断访问次数是否达到替换的阈值。

文件访问次数是达到替换的阈值后，文件也不一定切换，因为有可能高访问次数表空间中所有文件访问次数全部高于k文件的访问次数。有资料表明在相近的时间间隔内文件被访问次数相似，为加速k文件与访问次数表空间中的文件访问次数的比较，我们将高访问次数表空间中的文件分为上升集Z_UP和下降集Z_do，Z_do中的文件有退出表空间的趋势，若需替换Z_UP中的文件应要求高一些。替换步骤如下：

(1)查找Z_do中访问次数最少的文件D_k'：

(2)若满足A(D_k)＞A(D_k')，则将D_k'移出，将D_k移入。

(3)查找Z_UP中访问次数最少的文件D_k”：

(4)若满足A(D_k)-w＞A(D_k”)，则将D_k”移出，将D_k移入。

为验证方案的可行性，我们搭建了一个hadoop集群存储平台，平台服务器由2个nameNode和12个dataNode组成。服务器CPU主频2.6GHz、内存4GB、硬盘1TB，操作系统为ubuntu-11.10，JDK版本为6u30-linux-i586，hadoop版本为0.20.205，网络带宽为100Mbps。

实验中，调用hadoop测试基准程序SWIM(Statistical Workload Injector forMapReduce)[²⁰]进行测试，根据Facebook网600个集群节点跨越6个月的访问记录，将访问时间按20:1的比例调整重新生成模拟访问程序，对300GB的存储文件进行访问。容错模块中，副本复制的冗余度为3，纠删码采用RS(Reed-Solomon)编码，R(n,k)＝R(9,6)，高访问次数表中维持1000条文件记录。从存储开销、修复时间两个方面，将本文提出的ASBRE方案、纯副本复制方案(Allreplcatoin)、纯纠删码方案(Allcode)、文献[8]提出的CAROM方案和REC方案进行了对比，其中与CAROM，REC的对比是维持在相同的可靠性情况下进行比较。

取数据块的大小为64MB，不同时间段各种容错方案的存储开销如图2所示。

采用冗余度为3的纯副本复制存储开销恒定为原文件系统的3倍，大小是900GB，采用纯纠删码方案R(9,6)存储开销恒定为原文件系统的1.5倍，大小是450GB。CAROM方案采用LRU的方法进行复制和纠删码的静态切换，相对于完全复制方案平均节约存储空间25％左右，REC方案是先做纠删码，系统运行中对访问频率高的文件增加复制副本，相对于完全复制方案平均节约存储空间30％左右，ASBRE方案根据访问次数的大小进行复制和纠删码的自适应切换，相对于完全复制方案平均节约存储空间40％左右。

为了验证系统的容错时效，我们统计了文件在单节点故障和双节点故障下的访问延时。从访问记录集中随机抽取1000条不同的访问记录对文件进行访问，统计不同数据块大小情况下的文件平均访问延时，节点故障利用磁盘格式化模拟。客户端对文件访问的平均延时如图3(a)和图3(b)所示。

从图3(a)和图3(b)可得知：不考虑存储开销，完全复制方案是容错时效最好的，只需有一个存活节点就可快速修复，节点故障数对其影响不太；Allcode存在较为复杂的代数运算并且读取的节点数较多，所以不管是单节点故障还是双节点故障，其时效性是最差的；ASBRE采用混合冗余的策略，容错时效较Allcode提升了48％左右；CAROM，REC，ASBRE三方案都是属于混合冗余的范畴，其中ASBRE考虑了文件的大小，使用自适应切换降低了数据污染，故性能略优于前两者；Allcode，CAROM，REC，ASBRE的容错时效与数据块大小、故障节点数密切相关。

为了验证CPU和内存资源的消耗，我们在不同的平均故障间隔时间(MTBF)情况下，同样从访问记录集中随机抽取1000条不同的访问记录对文件进行访问，Allcode，ASBRE，Allreplcatoin三种算法的CPU和内存资源消耗进行了对比。

从图4(a)和图4(b)可知：在付出三倍存储开销的代价下，完全复制方案的调度算法复杂度最低，所以CPU和内存资源的消耗最小；在MTBF较长的情况下，由于ASBRE算法需要维护两个表以及表的查找，CPU和内存资源的消耗要比Allcode略高，但随着MTBF变小，由于Allcode的编码和译码的复杂度高，而ASBRE算法存在一部分复制方案的编码，所以ASBRE算法的CPU和内存资源的消耗要比Allcode算法低。

Claims (3)

1.一种基于复制和纠删码自适应切换的云存储容错方法，其特征在于，包括以下步骤：

1)当编号为K的文件被访问之后，判断本时间间隔内文件的访问次数是否高于上一时间间隔内的访问次数，文件的访问次数是否高于替换阈值，当文件K在本时间间隔内的访问次数低于上一时间间隔内的访问次数时，或访问次数虽高于上一时间间隔内的访问次数，但访问次数低于替换阈值时，仍维持纠删码；否则，进入步骤2)；

2)查询下降集中的最低的访问次数的文件K'，若文件K的访问次数高于下降集中最低的访问次数，则将下降集中最低访问次数的文件K'移出下降集，并删除K'的相关副本，对K'做纠删码；将文件K放入下降集，并对K文件做3副本复制的容错方案，将原有纠删码删除；否则，进入步骤3)；

3)查询上升集中的最低的访问次数的文件K”，并与文件K的访问次数次数进行比较，若文件K的访问次数与文件K”的访问次数之差小于替换阈值，则维持纠删码，否则，进入步骤4)；

4)将上升集最低访问次数的文件K”移出下降集，并删除K”的相关副本，对K”做纠删码；将文件K放入上升集，并对该文件做3副本复制的容错方案，将原有纠删码删除。

2.根据权利要求1所述的基于复制和纠删码自适应切换的云存储容错方法，其特征在于，所述替换阈值设定为所有文件访问次数的平均值。

3.根据权利要求1所述的基于复制和纠删码自适应切换的云存储容错方法，其特征在于，所述上升集和下降集构建过程如下：

1)将系统周期分为N个片段；所述系统周期是指文件存储到统计访问频率时的时间；

2)全局数据文件集其中D_k＝＜S_k|F_ki＞，S_k表示D_k文件的大小，F_ki表示D_k文件的总访问次数，每次访问之后，F_ki加1；

3)一个时间间隔内某文件的被访问次数C_ki＝F_ki-F_ki-1；

4)相邻时间间隔内访问次数的增量R_ki＝C_ki-C_ki-1；

5)高访问量表空间的文件分成两个集合：Z_up＝{D_k|R_ki＞0}，Z_do＝{D_k|R_ki＜0}，Z_UP表示上升集，Z_do表示下降集。