CN109783016A - 一种分布式存储系统中的弹性多维度冗余方法 - Google Patents

Abstract

本发明公开了一种分布式存储系统中的弹性多维度冗余方法，主要针对分布式存储系统中数据的冗余方式进行优化。目前，在分布式存储系统中，一般多采用数据冗余方式来保证数据的可靠性。实现数据冗余的方法主要有副本技术和纠删码技术。其中，副本技术可以提供更高效的数据访问，但存储空间开销较大；而纠删码技术相对于副本技术更加节约存储空间，同时写入速度较快，但在进行数据读取和恢复时需要占用更多的网络带宽。本策略结合副本技术与纠删码技术的优点进行设计，提出了在系统运行时的冗余方式动态转换策略。这种策略可以在在保证数据安全的同时减少对存储空间的占用，并且在数据访问性能上做出了优化。

Description

一种分布式存储系统中的弹性多维度冗余方法

技术领域

本发明涉及计算机存储领域，特别涉及一种分布式存储系统中的弹性多维度冗余方法。

背景技术

随着物联网、云计算的发展，数据呈现出爆炸性增长。海量数据的存储目前普遍使用分布式存储解决方案，比较著名的分布式存储系统有谷歌的GFS(Google File System)、GFS的开源版本HDFS(Hadoop Distributed File System)、微软的WAS(Windows AzureStorage)以及Ceph等。Ceph凭借其开放性、可扩展性和可靠性，目前在开源分布式存储领域得到很多学者和企业的关注。在大规模的分布式存储系统中，存储介质出错已是常态，为了保证系统的可靠性，需要采用冗余方式提来保证系统的可靠性。但数据冗余会占用额外的存储空间，以便于在部分数据丢失时能及时执行数据恢复，保证数据无损，这会给系统带来额外的性能损失和存储开销。因此，数据冗余必须在保证数据安全的同时尽可能减少对存储空间的占用，并提高系统的响应速度。

目前的冗余方式主要有副本和纠删码两种：

基于复制备份的容灾技术是目前较为成熟的分布式存储系统的容灾方法，该技术指分布式存储系统将数据的多个副本放置在不同的节点上。由于多份副本均可对外提供服务，该模式访问性能较好，且恢复时仅需将其副本拷贝至新加入的节点，故恢复恢复速度快，但会占用大量的数据存储空间。

纠删码凭借其高效的存储空间利用率、较低的存储开销，近年来被广泛应用于大规模分布式存储系统。纠删码的基本思想是通过对原始数据进行编码得到校验数据，当部分原始数据丢失时，可以使用校验数据进行解码从而得到原始数据，以达到容错的目的。由于纠删码产生的校验数据往往比原始数据更小，故纠删码模式占用的额外空间远远小于多副本模式。且在满足强一致性的分布式存储系统中，纠删码模式在进行数据写入时，进行的磁盘IO比副本模式要少，故写入速度更快。但纠删码会带来高昂的读延迟和较长的数据重构时间。读延迟是因为直接读取需要读取多个磁盘，并通过网络进行传输，还要占用系统资源进行数据恢复，而在进行这些的过程中，请求读取这个块的进程则一直在等待，这导致了高延迟，影响了系统的读性能。而纠删码在进行数据重构时，恢复时间比副本系统要长得多，即使恢复可以在后台进行，这也会严重影响系统的吞吐，增加降级读和系统重构的开销。

分布文件系统重复数据多，而且面临着软硬件故障，重启，维护等一系列会对数据产生破坏的问题。为保持高可靠和高可用，必然要结合副本技术与纠删码技术的优点。目前针对分布式存储系统冗余方式的优化主要集中在两个方面：一是根据数据的访问状况动态调整副本数量，二是针对纠删码进行优化，采用新的编码方式和编码参数，在恢复开销和存储空间占用之间做权衡。这些方法都不能很好地兼顾存储空间和系统性能。

发明内容

本发明的目的在于提供一种分布式存储系统中的弹性多维度冗余方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种分布式存储系统中的弹性多维度冗余方法，包括以下步骤：

步骤1：构建一个分布式存储系统，包含一个监控节点和N个存储节点，监控节点负责统计各存储节点的数据访问信息，并根据近期的数据访问情况，选择合适的冷热数据判别算法，将数据划分为冷数据，热数据，温数据三种；

步骤2：根据分布式存储系统的数据访问特征，选择三种性能差异较大但易于互相转换的冗余方式，包括副本、快速编码以及紧致编码三种；快速编码以及紧致编码为不同参数的纠删码；

步骤3：当监控节点发现新数据写入时，将该数据默认以写入速度最快且空间占用最少的紧致编码进行存储；

步骤4：某个以纠删码的形式储存的数据在短时间内被大量访问，冷热判别模块判断其为热数据，则将其冗余方式转变为读性能优越的副本模式；

步骤5：当分布式存储系统空载时，本策略会启动降级模式。在该模式下，监控节点会对所有以副本形式和快速编码形式储存的数据进行冷热检查，并据冷热判断结果进行相应的冗余方式转换。

进一步的，步骤1中，热数据是最近被大量访问的数据，冷数据是最近访问较少的数据，而温数据则是访问量介于冷热数据之间且呈增长趋势的数据。

进一步的，步骤3中，本策略会根据分布式存储系统的实际读写速度进行选择，若副本方式写入速度更优，则将默认冗余方式设置为副本模式。该默认冗余方式可由用户指定。

进一步的，步骤5中的冷热检查具体包括：

情况1：若冷热判别模块判断某个以副本形式储存数的据已经变为冷数据，则将其冗余方式转换为节省空间的紧致编码；

情况2：若某个以副本形式储存的数据访问频度已经达不到热数据，但最近的访问量呈增长趋势，则将其视为温数据，并采用占用空间比紧致编码较多，但读写性能更好，且更容易转换为副本模式的快速编码进行存储；

情况3：对温数据进行检查时，若发现其访问量不再符合温数据的条件，则将其冗余方式转换为紧致编码。

进一步的，步骤4和步骤5中的冗余方式转换具体包括：

情况1：纠删码转换为副本时，需将条带化的数据块重新解码为原始数据，并按照分布式存储集群的副本策略重新放置，然后删除原本纠删码形式的数据；

情况2：副本转换为纠删码时，需将该数据按照该纠删码的规则条带化并计算校验块，在分布式系统中完成放置后删除原本的副本数据；

情况3：快速编码和紧致编码之间进行转换时，则首先将条带化的数据块重新解码为原始数据，然后将原始数据按照新的纠删码规则条带化并计算校验块，在分布式系统中完成放置后删除原本的纠删码数据块及校验块。

进一步的，步骤1中的冷热判别方法为采用多版本哈希表的方法，选取合适数量的哈希函数，并在每次数据访问时将访问的索引通过这些哈希函数计算出对应的哈希结果，然后增加这些哈希结果在当前版本哈希表中对应位置的值；经过多次访问后，通过切换当前版本的哈希表以及移除所有版本哈希表的首位来进行衰减，以降低老旧信息的影响；最后通过统计所有版本哈希表中的数据访问信息来确定数据的冷热。

与现有技术相比，本发明有以下技术效果：

本发明能够在分布式存储系统中，针对存储空间占用和系统性能进行权衡，为数据选择合适的冗余策略，并根据系统的实际访问状况进行动态调整。本发明可以在保证数据安全性的前提下，使得冗余数据占用较少的存储空间，并提供相对出色的数据访问及恢复性能。

附图说明

图1是冗余方式转换示意图；

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。本实施例提供一种分布式存储系统中的弹性多维度冗余策略，如图1所示，具体包括以下步骤：

步骤1：构建一个分布式存储系统，包含一个监控节点和N个存储节点，所述监控节点负责统计各存储节点的数据访问信息。

步骤2：根据近期的数据访问情况，选择冷热数据判别方法，将数据划分为冷数据，热数据，温数据三种。该冷热判别方法需具备准确高效的特点。如采用多版本哈希表的方法，选取合适数量的哈希函数，并在每次数据访问时将访问的索引通过这些哈希函数计算出对应的哈希结果，然后增加这些哈希结果在当前版本哈希表中对应位置的值；经过多次访问后，通过切换当前版本的哈希表以及移除所有版本哈希表的首位来进行衰减，以降低老旧信息的影响；最后通过统计所有版本哈希表中的数据访问信息来确定数据的冷热。其中热数据是最近被大量访问的数据，冷数据是最近访问较少的数据，而温数据则是访问量介于冷热数据之间且呈增长趋势的数据。

步骤3：根据分布式存储系统的具体特征，选择三种性能差异较大但易于互相转换的冗余方式，本实施例选择了副本以及快速编码和紧致编码三种。在目前的分布式存储系统中，冗余方式主要包括副本和纠删码这两种。副本技术可以提供更高效的数据访问，但存储空间开销大；而纠删码技术的数据写入速度较快，且相对于副本技术能大量节约存储空间，但在进行数据读取和恢复时需要占用更多的网络带宽。其中，纠删码根据不同的编码方式和编码类型，可将其划分为紧致编码和快速编码。紧致编码是指存储开销比较小的编码方案，一般校验块的大小为数据块的0.3～0.6倍。快速编码是指恢复速度比较快的编码方案，一般校验块的大小为数据块的0.6～1.0倍。从性能角度分析，紧致编码可以提供比较高效的数据写入速度，但访问速度和恢复速度较慢；而快速编码则能够提供较为快速的数据访问速度和恢复速度，但写入过程相对慢一些。另一方面，快速编码转换为副本冗余方式的速度比紧致编码更快一些，更适用于过渡。

步骤4：当监控节点发现新数据写入时，将该数据默认以写入速度最快且空间占用最少的紧致编码进行存储(若系统为满足最终一致性的分布式系统，则副本模式的写入速度最快，系统会随之将默认冗余方式转变为副本模式，该默认冗余方式可由用户指定)。

步骤5：某个以纠删码的形式储存的数据在短时间内被大量访问，冷热判别模块判断其为热数据，则将其冗余方式转变为读性能优越的副本模式。

步骤6：当系统空载时，会启动降级模式，并对所有以副本形式和快速编码形式储存的数据进行冷热检查。

本实施例中，该冷热检查具体包括以下三种情况：

(1)情况1：若冷热判别模块判断某个以副本形式储存数的据已经变为冷数据，则将其冗余方式转换为节省空间的紧致编码

(2)情况2：若某个以副本形式储存的数据访问频度已经达不到热数据，但最近的访问量呈增长趋势，则将其视为温数据，并采用占用空间比紧致编码较多，但读写性能更好，且更容易转换为副本模式的快速编码进行存储。

(3)情况3：对温数据进行检查时，若发现其访问量不再符合温数据的条件，则将其冗余方式转换为紧致编码。

步骤7：冗余方式转换可归类为如下三种情况：

情况1：纠删码转换为副本时，需将条带化的数据块重新解码为原始数据，并按照分布式存储集群的副本策略重新放置，然后删除原本纠删码形式的数据；

情况2：副本转换为纠删码时，需将该数据按照该纠删码的规则条带化并计算校验块，在分布式系统中完成放置后删除原本的副本数据；

情况3：快速编码和紧致编码之间进行转换时，则首先将条带化的数据块重新解码为原始数据，然后将原始数据按照新的纠删码规则条带化并计算校验块，在分布式系统中完成放置后删除原本的纠删码数据块及校验块。

具体的，上述中的冷热数据判别方法，包括以下步骤：

步骤1：构建一个分布式存储系统，并确定该分布式系统的数据访问方式。目前主流的分布式存储系统主要包括文件存储，块存储和对象存储。根据文件存储系统中的路径名+文件名，或块存储系统中的数据块+偏移量，或对象存储系统中的存储池+对象名来确定文件访问的Data ID。根据Data ID，可以唯一确定某一数据。在分布式存储系统运行时，若有数据访问发生，则根据Data ID记录本次数据访问。

步骤2：在内存中建立一个散列表，用以记录该分布式系统的数据访问情况，如附图1所示。一共采用V个散列表，其中负责记录当前数据访问信息的散列表称为CurrentHash Table(CHT)，它共有共有M位，每一位大小都为Vbits，故其占用的空间大小为M×Vbits。其他版本的散列表每一位的大小依次递减。散列表位的大小代表着其权重，由于CHT中的信息均为最新的信息，理应占据最高的比重；其他散列表版本越靠前，其储存的信息就越老旧，其每一位的大小就应该越小。故多版本散列表中每一位的大小依次为V，V-1，V-2…1。总体来看，本方法需要在内存中开辟bits大小的空间。

步骤3：选取K个合适的哈希函数为Data ID进行散列。若将每个数据的访问路径都记录在内存中，将会产生大量的内存开销，故采用了散列的思想，将Data ID映射到哈希表对应的位置上。由于本方法对哈希碰撞带来的错误比较敏感，故选择了数据映射比较均匀的哈希算法，并同时采用了K个哈希函数进行映射，以减少Data ID在映射的过程中产生哈希碰撞的概率。

步骤4：将步骤3中的哈希结果映射到散列表的对应位置上。散列表共有M位，故需处理第二步中哈希函数的结果，使其均匀的分布在0到M-1之间。这里与布隆过滤器比较相似，不同之处在于，布隆过滤器的每一位大小都是1bit，而我们采用的散列表的每一位大小都为Vbits，用于统计映射到这一位的数据被访问的总次数。由于采用了K个哈希函数，故产生了K个哈希结果，这K个结果在散列表中对应的K位均增加1，以记录该次访问。若有某一位的Vbits已经全部置为1，表明其被访问的频率很高，超过了可记录上限，一定会被判断为热数据，故这一位保持不变；

步骤5：经过访问周期T后，执行散列表切换。步骤3、4重复进行T次以后，CHT已经基本写满，产生了较严重的哈希碰撞。这时需要切换当前的散列表。由于CHT中储存的是0～T内的访问信息，CHT之后的散列表依次存储了(V-1)T～VT，(V-2)T～(V-1)T…2T～T内的数据访问信息，故需将CHT切换为储存信息最老旧的散列表，即采用轮询方式选定下一个散列表。新的CHT需要将其每一位的大小置为Vbits，并将其内容全部置为0。其他散列表则需要进行降级，将其首位全部置为0，以降低其权重。

步骤6：进行数据冷热判断。首先根据数据的Data ID进行K次哈希计算，再根据计算的结果访问散列表对应的K个位置，将这K个位置的访问记录转换为整形，并选出其中的最小值作为数据在该时间段内的访问频度。使用该方法依次得出数据在其他版本的散列表中的访问频度，然后加和，计算出数据的热度H。最后将H与设定的阈值S比较，如果大于S，则认为该数据是热数据，否则视为冷数据。

Claims (6)

1.一种分布式存储系统中的弹性多维度冗余方法，其特征在于，包括以下步骤：

步骤1：构建一个分布式存储系统，包含一个监控节点和N个存储节点，监控节点负责统计各存储节点的数据访问信息，并根据近期的数据访问情况，选择冷热数据判别算法，将数据划分为冷数据，热数据，温数据三种；

步骤2：根据分布式存储系统的数据访问特征，选择三种性能差异较大但易于互相转换的冗余方式，包括副本、快速编码以及紧致编码三种；快速编码以及紧致编码为不同参数的纠删码；

步骤3：当监控节点发现新数据写入时，将该数据默认以写入速度最快且空间占用最少的紧致编码进行存储；

步骤4：某个以纠删码的形式储存的数据在短时间内被大量访问，冷热判别模块判断其为热数据，则将其冗余方式转变为读性能优越的副本模式；

步骤5：当分布式存储系统空载时，本策略会启动降级模式；在该模式下，监控节点会对所有以副本形式和快速编码形式储存的数据进行冷热检查，并据冷热判断结果进行相应的冗余方式转换。

2.根据权利要求1所述的一种分布式存储系统中的弹性多维度冗余方法，其特征在于，步骤1中，热数据是最近被大量访问的数据，冷数据是最近访问较少的数据，而温数据则是访问量介于冷热数据之间且呈增长趋势的数据。

3.根据权利要求1所述的一种分布式存储系统中的弹性多维度冗余方法，其特征在于，步骤3中，本策略会根据分布式存储系统的实际读写速度进行选择，若副本方式写入速度更优，则将默认冗余方式设置为副本模式；该默认冗余方式可由用户指定。

4.根据权利要求1所述的一种分布式存储系统中的弹性多维度冗余方法，其特征在于，步骤5中的冷热检查具体包括：

情况1：若冷热判别模块判断某个以副本形式储存数的据已经变为冷数据，则将其冗余方式转换为节省空间的紧致编码；

情况2：若某个以副本形式储存的数据访问频度已经达不到热数据，但最近的访问量呈增长趋势，则将其视为温数据，并采用占用空间比紧致编码较多，但读写性能更好，且更容易转换为副本模式的快速编码进行存储；

情况3：对温数据进行检查时，若发现其访问量不再符合温数据的条件，则将其冗余方式转换为紧致编码。

5.根据权利要求1所述的一种分布式存储系统中的弹性多维度冗余方法，其特征在于，步骤4和步骤5中的冗余方式转换具体包括：

情况1：纠删码转换为副本时，需将条带化的数据块重新解码为原始数据，并按照分布式存储集群的副本策略重新放置，然后删除原本纠删码形式的数据；

情况2：副本转换为纠删码时，需将该数据按照该纠删码的规则条带化并计算校验块，在分布式系统中完成放置后删除原本的副本数据；

情况3：快速编码和紧致编码之间进行转换时，则首先将条带化的数据块重新解码为原始数据，然后将原始数据按照新的纠删码规则条带化并计算校验块，在分布式系统中完成放置后删除原本的纠删码数据块及校验块。

6.根据权利要求1所述的一种分布式存储系统中的弹性多维度冗余方法，其特征在于，步骤1中的冷热判别方法为采用多版本哈希表的方法，选取若干数量的哈希函数，并在每次数据访问时将访问的索引通过这些哈希函数计算出对应的哈希结果，然后增加这些哈希结果在当前版本哈希表中对应位置的值；经过多次访问后，通过切换当前版本的哈希表以及移除所有版本哈希表的首位来进行衰减，以降低老旧信息的影响；最后通过统计所有版本哈希表中的数据访问信息来确定数据的冷热。