CN107317844A - 基于锯齿可解码的最小存储开销的分布式存储方法及系统 - Google Patents

Abstract

本发明提供了一种基于锯齿可解码的最小存储开销的分布式存储方法及系统，该分布式存储方法包括：将原文件分割为n=2k份原始数据，然后将分割后的原始数据编码为n个编码数据包，分别存储在n个节点中，每个节点中包含一个原始数据包和一个编码后的数据包。本发明的有益效果是：本发明保留了OPDRC码的高效率的“热数据”检索能力，相比OPDRC来讲编解码效率提高，存储的开销也相对的减少。

Description

基于锯齿可解码的最小存储开销的分布式存储方法及系统

技术领域

本发明涉及云存储技术领域，尤其涉及基于锯齿可解码的最小存储开销的分布式存储方法及系统。

背景技术

分布式存储，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

MDS性质，一个码具有MDS性质即是它将K个数据块映射为N个编码数据块，然后取N个编码数据块中的任意一个即可恢复出K个原始数据块。

网络编码，它是一种融合了路由和编码的信息交换技术，其核心思想是在网络中的各个节点上对接收到的数据进行编码处理，然后再进行存储，而不是简单的进行存储转发。

目前技术的缺陷和不足如下：

1.最优贪婪策略(optimal greedy strategy)，其虽然优化了数据检索的性能但是也极大的浪费了存储开销。

2.现有的最优性能检索码(OPDRC)码，其编码的效率相对较低而且其存储开销相对较大。

3.OPDRC码中的编码方式是以代数相乘的方式来进行源数据包的编码，这样会极大的消耗存储空间，造成极大的存储空间开销。

发明内容

本发明提供了一种基于锯齿可解码的最小存储开销的分布式存储方法，将原文件分割为n＝2k份原始数据，然后将分割后的原始数据编码为n个编码数据包，分别存储在n个节点中，每个节点中包含一个原始数据包和一个编码后的数据包。

作为本发明的进一步改进，所述k＝3,4,5,6或7。

作为本发明的进一步改进，令节点i存储[S_i,c_i],其中i＝1,2，…，n，则有：

c_i＝a₁S_mod(i+1)+a₂S_mod(i+2)+,...,a_kS_mod(i+k)

其中mod表示对n取余，且(a₁，a₂,...,a_k)表示编码数据包的编码移位系数。

作为本发明的进一步改进，令α表示编码数据包的下表索引的集合，假设只考虑编码数据包的移位矩阵为M，则

对于任何的p∈α，i，j∈n，M中第(i，j)个元素用M_i，j来表示，定义：

只有在Δ^p _i,j≠Δ^q _i,j的情况下，利用移位矩阵M进行的编码才是所需要的编码数据包，其中对所有的i≠j，p≠q，i，j∈n且p，q∈α。

作为本发明的进一步改进，利用ZigZag解码能够恢复出原始数据包，进而恢复出原始文件。

本发明还提供了一种基于锯齿可解码的最小存储开销的分布式存储系统，该分布式存储系统包括处理模块，在所述处理模块中，将原文件分割为n＝2k份原始数据，然后将分割后的原始数据编码为n个编码数据包，分别存储在n个节点中，每个节点中包含一个原始数据包和一个编码后的数据包。

作为本发明的进一步改进，所述k＝3,4,5,6或7。

作为本发明的进一步改进，令节点i存储[S_i,c_i],其中i＝1,2，…，n，则有：

c_i＝a₁S_mod(i+1)+a₂S_mod(i+2)+,...,a_kS_mod(i+k)

其中mod表示对n取余，且(a₁，a₂,...,a_k)表示编码数据包的编码移位系数。

作为本发明的进一步改进，令α表示编码数据包的下表索引的集合，假设只考虑编码数据包的移位矩阵为M，则

对于任何的p∈α，i，j∈n，M中第(i，j)个元素用M_i，j来表示，定义：

只有在Δ^p _i,j≠Δ^q _i,j的情况下，利用移位矩阵M进行的编码才是所需要的编码数据包，其中对所有的i≠j，p≠q，i，j∈n且p，q∈α。

作为本发明的进一步改进，该分布式存储系统还包括解码模块，在所述解码模块中，利用ZigZag解码能够恢复出原始数据包，进而恢复出原始文件。

本发明的有益效果是：本发明保留了OPDRC码的高效率的“热数据”检索能力，相比OPDRC来讲编解码效率提高，存储的开销也相对的减少。

附图说明

图1是k＝5时码的构建图。

具体实施方式

本发明公开了一种基于锯齿可解码的最小存储开销的分布式存储方法，将原文件分割为n＝2k份，即原始数据包(其中k＝3,4,5,6,7)，然后将分割后的原始数据编码为n个编码数据包。分别存储在n个节点中，每个节点中包含一个原始数据包和一个编码后数据包。

令节点i存储[S_i,c_i],其中i＝1,2，…，n。则有：

c_i＝a₁S_mod(i+1)+a₂S_mod(i+2)+,...,a_kS_mod(i+k)

其中mod表示对n取余，且(a₁，a₂,...,a_k)表示编码数据包的编码移位系数。

编码移位系数的设计：

我们的目的是设计具有最小开销的编码方案，接下来的所要描述的是该编码方案的移位系数所要满足的一个必要条件。

令α表示编码数据包的下表索引的集合即n。假设只考虑编码数据包的移位矩阵为M，则

对于任何的p∈α，i，j∈n，M中第(i，j)个元素用M_i，j来表示，定义：

定理1：只有在Δ^p _i,j≠Δ^q _i,j的情况下，利用移位矩阵M进行的编码才是所需要的编码数据包即才是本文中所提出的编码。其中对所有的i≠j，p≠q，i，j∈n且p，q∈α。

已找出的编码移位系数：

当k＝3时，(a₁，a₂,a₃)＝(0,1,1)；

当k＝4时，(a₁，a₂,a₃,,a₄)＝(0，1,1,0)；

当k＝5时，(a₁，a₂,a₃,,a₄,a₅)＝(0,2,1,2,0)；

当k＝6时，(a₁，a₂,a₃,,a₄,a₅，a₆)＝(0,3,1,1,3,0)；

当k＝7时，(a₁，a₂,a₃,,a₄,a₅，a₆，a₇)＝(0,6,3,1,1,3,6)。

以k＝5为例说明：

则可得到2k＝10个存储节点中，每个节点存储两个数据包，其中一个是原始数据包，一个是编码后数据包。具体的码的建立如图1所示。

由图1可以得到该码编码的移位矩阵T，则有：

由于该码具有MDS的性质，所以在10个节点中任意选取5个节点，利用ZigZag解码即可以恢复出原始数据包，进而恢复出原始文件。

本发明还公开了一种基于锯齿可解码的最小存储开销的分布式存储系统，该分布式存储系统包括处理模块，在所述处理模块中，将原文件分割为n＝2k份原始数据，然后将分割后的原始数据编码为n个编码数据包，分别存储在n个节点中，每个节点中包含一个原始数据包和一个编码后的数据包。

所述k＝3,4,5,6或7。

令节点i存储[S_i,c_i],其中i＝1,2，…，n，则有：

c_i＝a₁S_mod(i+1)+a₂S_mod(i+2)+,...,a_kS_mod(i+k)

其中mod表示对n取余，且(a₁，a₂,...,a_k)表示编码数据包的编码移位系数。

令α表示编码数据包的下表索引的集合，假设只考虑编码数据包的移位矩阵为M，则

对于任何的p∈α，i，j∈n，M中第(i，j)个元素用M_i，j来表示，定义：

只有在Δ^p _i,j≠Δ^q _i,j的情况下，利用移位矩阵M进行的编码才是所需要的编码数据包，其中对所有的i≠j，p≠q，i，j∈n且p，q∈α。

该分布式存储系统还包括解码模块，在所述解码模块中，利用ZigZag解码能够恢复出原始数据包，进而恢复出原始文件。

本发明主要是在OPDRC的基础之上，将原来的简单的线性编码变为二进制的移位编码，并利用ZigZag解码。这样做的优点是：

1.保留了OPDRC码的高效率的“热数据”检索能力。

2.相比OPDRC来讲编解码效率提高。

3.存储的开销也相对的减少。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于锯齿可解码的最小存储开销的分布式存储方法，其特征在于：将原文件分割为n＝2k份原始数据，然后将分割后的原始数据编码为n个编码数据包，分别存储在n个节点中，每个节点中包含一个原始数据包和一个编码后的数据包。

2.根据权利要求1所述的分布式存储方法，其特征在于，所述k＝3,4,5,6或7。

3.根据权利要求1所述的分布式存储方法，其特征在于：

令节点i存储[S_i,c_i],其中i＝1,2，…，n，则有：

c_i＝a₁S_mod(i+1)+a₂S_mod(i+2)+,...,a_kS_mod(i+k)

其中mod表示对n取余，且(a₁，a₂,...,a_k)表示编码数据包的编码移位系数。

4.根据权利要求1所述的分布式存储方法，其特征在于：

令α表示编码数据包的下表索引的集合，假设只考虑编码数据包的移位矩阵为M，则

对于任何的p∈α，i，j∈n，M中第(i，j)个元素用M_i，j来表示，定义：

<mrow> <msub> <msup> <mi>&amp;Delta;</mi> <mi>p</mi> </msup> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mover> <mo>=</mo> <mi>&amp;Delta;</mi> </mover> <msub> <mi>M</mi> <mrow> <mi>p</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>M</mi> <mrow> <mi>p</mi> <mi>i</mi> </mrow> </msub> </mrow>

只有在Δ^p _i,j≠Δ^q _i,j的情况下，利用移位矩阵M进行的编码才是所需要的编码数据包，其中对所有的i≠j，p≠q，i，j∈n且p，q∈α。

5.根据权利要求1至4任一项所述的分布式存储方法，其特征在于，利用ZigZag解码能够恢复出原始数据包，进而恢复出原始文件。

6.一种基于锯齿可解码的最小存储开销的分布式存储系统，其特征在于，该分布式存储系统包括处理模块，在所述处理模块中，将原文件分割为n＝2k份原始数据，然后将分割后的原始数据编码为n个编码数据包，分别存储在n个节点中，每个节点中包含一个原始数据包和一个编码后的数据包。

7.根据权利要求6所述的分布式存储系统，其特征在于，所述k＝3,4,5,6或7。

8.根据权利要求6所述的分布式存储系统，其特征在于：

令节点i存储[S_i,c_i],其中i＝1,2，…，n，则有：

c_i＝a₁S_mod(i+1)+a₂S_mod(i+2)+,...,a_kS_mod(i+k)

其中mod表示对n取余，且(a₁，a₂,...,a_k)表示编码数据包的编码移位系数。

9.根据权利要求6所述的分布式存储系统，其特征在于：

令α表示编码数据包的下表索引的集合，假设只考虑编码数据包的移位矩阵为M，则

对于任何的p∈α，i，j∈n，M中第(i，j)个元素用M_i，j来表示，定义：

<mrow> <msub> <msup> <mi>&amp;Delta;</mi> <mi>p</mi> </msup> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mover> <mo>=</mo> <mi>&amp;Delta;</mi> </mover> <msub> <mi>M</mi> <mrow> <mi>p</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>M</mi> <mrow> <mi>p</mi> <mi>i</mi> </mrow> </msub> </mrow>

只有在Δ^p _i,j≠Δ^q _i,j的情况下，利用移位矩阵M进行的编码才是所需要的编码数据包，其中对所有的i≠j，p≠q，i，j∈n且p，q∈α。

10.根据权利要求6至9任一项所述的分布式存储系统，其特征在于，该分布式存储系统还包括解码模块，在所述解码模块中，利用ZigZag解码能够恢复出原始数据包，进而恢复出原始文件。