CN110032470A

CN110032470A - 一种基于哈夫曼树的异构部分重复码的构造方法

Info

Publication number: CN110032470A
Application number: CN201910204203.5A
Authority: CN
Inventors: 王静; 余春雷; 刘艳; 王秘
Original assignee: Changan University
Current assignee: Changan University
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2019-07-19
Anticipated expiration: 2039-03-18
Also published as: CN110032470B

Abstract

本发明公开了一种基于哈夫曼树的异构部分重复(Huffman Variable Fractional Repetition,HVFR)码的构造方法，包括以下步骤：将一定时间内的分布式系统的轨迹数据进行统计分析，分为不同访问频率的数据块；将这些不同访问频率的数据块当作哈夫曼树带有确定权值的叶子结点，根据哈夫曼算法构造哈夫曼树；再根据构造的哈夫曼树来确定不同访问频率数据块的重复度；对不同访问频率的数据块进行MDS编码，最后，利用成对平衡设计构造异构FR码。本发明的方法避免了热数据并行访问的瓶颈，达到负载均衡，同时提高系统存储效率，降低故障节点的修复局部性与修复带宽，且计算复杂度低，构造更加简单直观。

Description

一种基于哈夫曼树的异构部分重复码的构造方法

技术领域

本发明属于计算机领域，涉及一种基于哈夫曼树的异构部分重复码的构造方法。

背景技术

在分布式存储系统中，Rouayheb和Ramchandran于2010年提出一种精确修复的部分重复(Fractional Repetition，FR)码。FR码能容忍多故障节点的低复杂度无编码修复，使修复带宽开销和磁盘I/O开销最小，系统故障修复性能得到明显改进。但传统FR码主要针对静态分布式存储系统，节点存储容量和数据块重复度保持不变。然而，实际的分布式存储系统大多属于动态存储系统，节点存储容量也不一样，且分布式存储系统对数据的访问往往是不均衡的，“热”数据经常被访问，“冷”数据很少被访问。如果单单使用一种存储机制，往往会限制存储系统某方面的表现，如系统的存储空间占用，整体的数据访问吞吐量等。

发明内容

本发明的目的在于提供一种基于哈夫曼树的异构部分重复码的构造方法，解决现有技术存在冷热数据采用一样的重复度，存储开销大，热数据访问拥挤的瓶颈问题。

一种基于哈夫曼树的异构部分重复码的构造方法，包括以下步骤：

步骤1，对一定时间内的分布式存储系统的轨迹数据进行统计分析，得到不同访问频率的k个数据块；

步骤2，将不同访问频率的k个数据块作为哈夫曼树的叶子结点，通过哈夫曼算法构造得到哈夫曼树；

步骤3，根据公式

得到第i个数据块的重复度ρ_i，i＝1,2,…k，其中L_i表示哈夫曼树的第i个数据块的路径长度，ε为重复度因子，l为修正因子，表示向下取整；

步骤4，对不同访问频率的k个数据块进行MDS编码产生p个校验块，并将第y个校验块的重复度设置为ρ_y，y＝1,2,…p；

步骤5，通过成对平衡设计算法构造异构FR码：

步骤5.1，将得到的p个校验块及其重复度添加到不同访问频率的k个数据块及其重复度，得到p+k个数据节点及第x个数据节点对应的重复度ρ_x，x＝1,2,…p+k；

步骤5.2，定义一个成对平衡设计，并将成对平衡设计中的区组B的大小设置为第x个数据节点对应的重复度ρ_x即|B_x|＝ρ_x；

步骤5.3，根据以下公式构造异构FR码：

N_j＝{x:j∈B_x}

其中，N_j表示第j个异构FR的存储节点，j＝1,2…v，x表示第x个数据节点。

进一步地，步骤4所述的将第y个校验块的重复度设置为ρ_y具体为min(ρi)≤ρ_y≤max(ρi)-1，i＝1,2,…,k。

进一步地，所述的成对平衡设计具体为定义一个V集合，V集合中的元素个数为v，Ω为V的区组集合，Ω＝{B₁,…,B_p+k}，当Ω中区组的大小(数)均在某个正整数集合S中，V的任意两个元素恰含于Ω的λ个区组中，则将二元组(V，Ω)称为成对平衡设计。

进一步地，步骤5所述的数据节点包括数据块和校验块。

与现有技术相比，本发明的有益效果是：

(1)考虑到实际分布式存储系统中不同数据块的访问频率不一样的特点，本发明加入了热度不同数据块重复度也不同的思想。对于热数据块，可以采用重复度较高的复制，从而提高热数据的并行访问速度，使系统负载均衡。对于冷数据块，可以采用重复度较低的复制，从而提高空间利用率。

(2)本发明利用成对平衡设计构造一种新的成对平衡设计(New PairwiseBalanced Design,NPBD)算法，利用该算法来构造FR码更加简单高效。

附图说明

图1是不同访问频率数据块构造的一棵哈夫曼树；

图2是由哈夫曼树确定数据块的重复度示意图；

图3是成对平衡设计构造异构FR的转换图；

图4是由NPBD算法对哈夫曼树构造不同重复度数据块的存储；

图5是基于哈夫曼树可变重复度的异构FR码与一般FR码存储效率比较。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在过去一段时间内，对分布式存储系统中的轨迹数据进行统计分析，分为不同访问频率的k个数据块{d₁,d₂,…,d_k}，在本实施例中k＝8，在一定时间内8个数据块的访问次数分别是d₁＝10，d₂＝20，d₃＝50，d₄＝60，d₅＝70，d₆＝90，d₇＝150，d₈＝200。

哈夫曼树，指的是给定n个权值作为n个叶子结点，构造一棵二叉树，若该树的带权路径长度达到最小，称这样的二叉树为哈夫曼树(Huffman Tree)。

如图1，将步骤1得到的不同访问频率的数据块当做哈夫曼树带有确定权值的叶子结点，根据哈夫曼算法，即将确定权值的叶子结点中最小的两个结点作为左右子树构造一棵二叉树，构造的二叉树的结点为左右子树权值之和；再将这二个权值最小的叶子结点删除，把新生成的二叉树节点跟剩余的叶子节点继续通过哈夫曼算法构造，以此循环直至仅剩一棵树，即为哈夫曼树。

步骤3，根据公式

得到第i个数据块的重复度ρ_i，i＝1,2,…k，其中k为不同访问频率的数据块的数量，即哈夫曼树的叶子节点的个数，L_i为哈夫曼树的第i个数据块的路径长度，即第i个叶子节点的路径长度，ε为重复度因子(ε∈N⁺)，l为修正因子(l∈Z)，在本实施例中ε＝2，l＝1，表示向下取整，得到重复度如图2所示。

为了增加数据的鲁棒性，对步骤1中不同访问频率的数据块采用MDS编码，设置第y个校验块的重复度为ρ_y，其中第y个校验块的重复度ρ_y的取值范围是min(ρi)≤ρ_y≤max(ρi)-1，i＝1,2,…,k。在本实施例中，对8个不同访问频率的数据块分别产生2个校验块P₁和P₂，它们的重复度分别是3和2。

步骤5，通过成对平衡设计算法构造异构FR码：

如图2所示，本实施例中为8个数据块及其重复度和2个校验块及其重复度，将其进行叠加，得到10个数据节点及数据节点对应的重复度ρ_x，x＝1,2,…10，在这里数据节点的包括数据块与校验块。

步骤5.2，定义一个成对平衡设计，并将成对平衡设计中的区组B的大小设置为第x个数据节点对应的重复度ρ_x,具体地，第x个区组B_x的大小设置为第x个数据节点对应的重复度ρ_x，即|B_x|＝ρ_x,x＝1,2,…p+k；

成对平衡设计(pairwise balanced design)指的是，定义一个V集合，V集合中的元素个数为v，Ω为V的区组集合，Ω＝{B₁,…,B_p+k}，Ω中区组的大小(数)均在某个正整数集合S中，若V的任意两个元素恰含于Ω的λ个区组中，则将二元组(V，Ω)称为成对平衡设计，记为(v,S,λ)-PBD。其中v叫做成对平衡设计的阶，λ叫做相遇数。

即：

(1)|V|＝v；

(2)对任意区组B∈Ω，都有|B|＝S；

(3)V中任意一对不同的点都恰好同时包含在λ个区组中。

在本实施例中，采用(6,{2,3,4},2)-PBD为一个成对平衡设计，如图3(a)，其中V＝{1,2，…，6}，S＝{2,3,4}，λ＝2即任意二个元素存在2个块中，，V每个元素的对应的重复度为r₁＝4，r₂＝5，r₃＝5，r₄＝5，r₅＝4，r₆＝6，根据|B_x|＝ρ_x可以得到集合(6,{2,3,4},2)生成的区组集合Ω＝{B₁,…,B₁₀}具体为：

B₁＝{3,6}，B₂＝{4,6}，B₃＝{2,3,4}，B₄＝{3,4,5}，B₅＝{2,5,6}B₆＝{1,4,6}，B₇＝{1,3,5,6}，B₈＝{1,2,4,5}，B₉＝{1,2,3}，B₁₀＝{2,6}

步骤5.3，根据以下公式构造异构FR码：

N_j＝{x:j∈B_x} (2)

j＝1,2…v，其中N_j表示异构FR的存储节点，每个节点存储容量是V每个元素的对应的重复度，且FR每个数据节点的重复度是每个区组的元素个数。x表示第x个数据节点，j表示第j个FR节点，即V的元素个数，j＝1,2…,6。

如图3(b)，根据公式2得到

N₁＝{6,7,8,9}

N₂＝{3,5,8,9,10}

N₃＝{1,3,4,7,9}

N₄＝{2,3,4,6,8}

N₅＝{4,5,7,8}

N₆＝{1,2,5,6,7,10}

可以看出第一个节点存储容量是4，第二个节点存储容量是5，第三个节点存储容量是5，第四个节点存储容量是5，第五个节点存储容量是4，第六个节点存储容量是6。

最后利用生成的异构FR码对10个数据节点，即8个数据块和2个校验块，进行存储。数据节点与异构FR码中数据块的对应关系如图4(a)，数据节点在由NPBD算法构造的异构FR码中的存储结构如图4(b)所示。

可以看出传统FR对每个数据块都采用一样的重复度复制，而HVFR码采用的是可变的重复度。对于热数据采用较高的重复度，对于冷数据采用较低的重复度，这样不但可以提高热数据的并行读取效率，还可以提高系统的存储利用率。假设存储10个数据块，传统FR码如果对每个数据都复制3份，总共需要存储30个数据块，对每个数据块复制4份，总共需要存储40个数据块；如果采用图4(b)的HVFR码，只需要存储29个数据块。如图5所示是他们的对比图，明显可见，HVFR码在较高重复度时存储效率大大提高了。HVFR码在提高存储效率的同时，也保证了热数据的并行读取，比一般的FR码更适应实际的分布式存储系统，而且花费的存储成本更低。

Claims

1.一种基于哈夫曼树的异构部分重复码的构造方法，其特征在于，包括以下步骤：

步骤3，根据公式

步骤5，通过成对平衡设计算法构造异构FR码：

步骤5.3，根据以下公式构造异构FR码：

N_j＝{x:j∈B_x}

2.如权利要求1所述的一种基于哈夫曼树的异构部分重复码的构造方法，其特征在于，步骤4所述的将第y个校验块的重复度设置为ρ_y具体为min(ρ_i)≤ρ_y≤max(ρ_i)-1，i＝1,2,…,k。

3.如权利要求1所述的一种基于哈夫曼树的异构部分重复码的构造方法，其特征在于，所述的成对平衡设计具体为定义一个V集合，V集合中的元素个数为v，Ω为V的区组集合，Ω＝{B₁,…,B_p+k}，当Ω中区组的大小(数)均在某个正整数集合S中，V的任意两个元素恰含于Ω的λ个区组中，则将二元组(V，Ω)称为成对平衡设计。

4.如权利要求1所述的一种基于哈夫曼树的异构部分重复码的构造方法，其特征在于，步骤5所述的数据节点包括数据块和校验块。