CN106383669A - 一种基于(n,k,m)编码的分布式存储方法及系统 - Google Patents

Abstract

本发明涉及一种基于(n,k,m)编码的分布式存储方法及系统，其特征在于，包括如下步骤：步骤1、把m×k个原始数据符号分成m组，则每组包含k个原始数据符号；步骤2、应用系统的(n,k)‑MDS编码器将每组k个原始数据符号编码得到n个码符号，由此，m组原始数据符号一共得到m×n个码符号；步骤3、将步骤2中得到的m×n个码符号存储在n个分布式的磁盘中，每个磁盘存储m个码符号，其中：k个磁盘用于存储码符号中的系统部分，即m×k个原始数据符号，另外n‑k个磁盘用于存储码符号中的非系统部分。其降低了对存储空间的占用，同时减小了更新带宽和修复带宽。

Description

一种基于(n,k,m)编码的分布式存储方法及系统

技术领域

本发明涉及一种基于(n,k,m)编码的分布式存储方法，属于计算机和通信网络技术领域。

背景技术

传统的数据中心把客户数据集中存储在一个房间或一栋建筑内的磁盘阵列中，这种方式的优点是便于管理，但明显的缺点就是随着业务量的增加，数据中心负荷急剧增加，瓶颈效应明显；数据中心的另一个缺点是应对突发事件能力较脆弱，一旦出现地震、火灾等灾害，数据中心损毁，用户数据无法恢复，损失巨大。随着互联网技术的飞速发展，数据存储方式逐渐从集中式转变为分布式。与数据中心不同，分布式云存储把客户数据分散存储在空间上相分离且相距较远的若干个磁盘驱动器内，这些磁盘可能分布在一个城市的各个角落，或者位于各个城市，甚至是各个国家。分布式存储最大的特点就是把通信负荷分散到各个存储节点，从而有效解决了数据传输的瓶颈问题。分布式云存储已经取代数据中心成为市场上主流的存储技术，商用的云存储产品包括如Dropbox，微软OneDrive，亚马逊S3，百度云盘等等。

分布式存储系统的一个基本要求是数据的可靠性，即当一部分数据损毁后，能否被恢复。冗余存储可以提高可靠性，实现冗余存储的一个最简单的思路就是为数据存储多个拷贝，但这种单纯依靠复制的方法效率太低，无论是在理论上还是在工程应用中都已经证明基于编码的存储方式的效率远远高于基于拷贝的存储方式。所谓基于编码的分布式存储是指在磁盘中存储的不是原始的用户数据，而是把用户数据经过某种编码处理后得到的码字。如图1示意了一个编码存储系统的基本构成，用户数据d₁,…,d_k首先送入编码器，编码器的输出为码字c₁,…,c_n，这些码字分布式地存储在若干个磁盘中，当用户想要得到原始数据时，可以从磁盘中读取一部分码字并送入译码器，经译码得到用户数据。以(n,k)最大距离可分码(MDS码)为例，k个数据符号d₁,…,d_k被编码成n个码符号c₁,…,c_n，从c₁,…,c_n中任意选择k个码符号即可通过译码恢复d₁,…,d_k。

一个分布式存储系统必然要消耗一些资源，考察分布式存储系统的主要性能指标包括存储空间、更新带宽和修复带宽等。其中：存储空间是指对原始用户数据编码之后得到的码符号所占用的总的存储空间；数据更新是指当用户的数据符号发生变化后，需要修改存储在磁盘驱动器中的码符号以反映这种变化，在这个过程产生的通信数据量被称为更新带宽；数据修复是指当某些个磁盘遭到破坏导致存储的码符号数据丢失时，要通过其他磁盘中存储的码符号数据恢复这些丢失的码符号数据并将其存储到新磁盘中，在数据修复过程中产生的通信数据量被称为修复带宽。毫无疑问，一个高效的分布式存储系统应该占用较少的存储空间，消耗较小的更新带宽和修复带宽，而现有的基于编码的分布式存储方法在以上三点均有待改进。

发明内容

本发明的目的在于为分布式存储系统提供一种高效的编码方法，即提供一种基于(n,k,m)编码的分布式存储方法及系统，降低对存储空间的占用，同时减小更新带宽和修复带宽。

本发明的技术方案是：

一种基于(n,k,m)编码的分布式存储方法，其特征在于，包括如下步骤：

步骤1、把m×k个原始数据符号分成m组，则每组包含k个原始数据符号；

步骤2、应用系统的(n,k)-MDS编码器将每组k个原始数据符号编码得到n个码符号，由此，m组原始数据符号一共得到m×n个码符号，所述原始数据符号和码符号定义在同样的有限域GF(q)中；

步骤3、将步骤2中得到的m×n个码符号存储在n个分布式的磁盘中，每个磁盘存储m个码符号，其中：k个磁盘用于存储码符号中的系统部分，即m×k个原始数据符号，另外n-k个磁盘用于存储码符号中的非系统部分。

上述的基于(n,k,m)编码的分布式存储方法，步骤2中，把m组原始数据符号一一对应地送入m个系统的(n,k)-MDS码编码器中，每个编码器输出的码符号由第1至第k个系统码符号和第1至第(n-k)个非系统码符号组成，并将其输出的第1至第k个系统码符号依次对应存储于第1至第k个磁盘，将第1至第(n-k)个非系统码符号依次对应存储于第k+1至第n个磁盘。

一种基于(n,k,m)编码的分布式存储系统，其特征在于：由n个分布式的磁盘组成，共存储有m×n个码符号，所述m×n个码符号由m×k个原始数据符号利用m个系统的(n,k)-MDS码编码器编码得到，每个编码器输出的码符号由第1至第k个系统码符号和第1至第(n-k)个非系统码符号组成，并将其输出的第1至第k个系统码符号依次对应存储于第1至第k个磁盘，将第1至第(n-k)个非系统码符号依次对应存储于第k+1至第n个磁盘。

本发明的有益效果是：

1、由于采用了系统的(n,k)-MDS编码器编码，所以大大降低了编译码的复杂度。

2、数据更新非常容易且更新带宽较小。由于每组的k个原始数据符号只参与本组的(n,k)-MDS编码，与其他组MDS编码无关，所以某个数据符号的更新不会造成其他组的码符号的变化，因此本方法大大减小了更新带宽；另外，由于本方法采用的是系统的(n,k)-MDS编码器，该编码器的输出分为系统部分和非系统部分，其中：系统部分即k个原始数据符号，非系统部分包括(n-k)个码符号，由此，某个数据符号的变化只需要更新该数据符号和非系统部分的(n-k)个码符号，也就是说一个数据符号所对应的更新带宽为(n-k+1)个码符号。

3、数据修复能力非常强。本方法可修复任意的多达n-k个磁盘的同时损坏，依靠剩余的k个磁盘中的数据即可恢复全部磁盘数据；其次，数据修复非常容易且修复带宽较小，由于采用的是(n,k)-MDS编码方式，因此依靠n个数据符号中的任何k个符号都可以通过线性运算恢复全部n个符号。因此，修复n-k个磁盘损坏或等价的m(n-k)个符号损坏所需要的修复带宽为mk个符号。

附图说明

图1是基于编码的分布式存储系统示意图；

图2是本发明的编码和存储过程示意图；

图3是采用本方法得到的一种(5,3,2)存储码的编码和存储过程示意图。

具体实施方式

如图2所示，该基于(n,k,m)编码的分布式存储系统，由n个分布式的磁盘组成，共存储有m×n个码符号，所述m×n个码符号由m×k个原始数据符号利用m个系统的(n,k)-MDS码编码器编码得到，每个编码器输出的码符号由第1至第k个系统码符号和第1至第(n-k)个非系统码符号组成，并将其输出的第1至第k个系统码符号依次对应存储于第1至第k个磁盘，将第1至第(n-k)个非系统码符号依次对应存储于第k+1至第n个磁盘。图2中每一列代表一个磁盘，每一行代表由一组k个原始数据符号经过(n,k)-MDS编码得到的n个码符号。全部原始数据符号存储在k个磁盘中，这被称为系统部分；剩余的n-k个磁盘存储了码符号，这被称为非系统部分。

该基于(n,k,m)编码的分布式存储方法，具体包括如下步骤：

步骤1、把m×k个原始数据符号分成m组，则每组包含k个原始数据符号，分别记为(β₁₁,…,β_1k)，(β₂₁,…,β_2k)，…，(β_m1,…,β_mk)。

步骤2、应用系统的(n,k)-MDS编码器将每组k个原始数据符号编码得到n个码符号，由此，m组原始数据符号一共得到m×n个码符号，所述原始数据符号和码符号定义在同样的有限域GF(q)中。

步骤3、将步骤2中得到的m×n个码符号存储在n个分布式的磁盘中，每个磁盘存储m个码符号，其中：k个磁盘用于存储码符号中的系统部分，即m×k个原始数据符号，另外n-k个磁盘用于存储码符号中的非系统部分。

步骤2中，把m组原始数据符号一一对应地送入m个系统的(n,k)-MDS码编码器中，每个编码器输出的码符号由第1至第k个系统码符号和第1至第(n-k)个非系统码符号组成，并将其输出的第1至第k个系统码符号依次对应存储于第1至第k个磁盘，将第1至第(n-k)个非系统码符号依次对应存储于第k+1至第n个磁盘。以图2中第1行为例，该编码器的输出为k个系统码符号和(n-k)个非系统码符号，其中：系统码符号即原始的数据符号(β₁₁,…,β_1k)，把非系统码符号标记为(c₁₁,…,c_1(n-k))。

本实施例中应用本方法得到的一种(n,k,m)＝(5,3,2)存储码。本实施例中有限域取为GF(7)，因此本例中涉及到的全部代数运算，如矩阵乘积和矩阵求逆等，都是在GF(7)上进行。

第1步，把6个原始数据符号分为两组，分别为(β₁₁,β₁₂,β₁₃)和(β₂₁,β₂₂,β₂₃)。

第2步，把这两组原始数据符号分别送入两个系统的(5,3)-MDS码编码器。本实施例中取这两个编码器的编码矩阵分别为：

$\begin{array}{cc}{G}_1=\left(\begin{array}{ccccc}1& 0& 0& 1& 1\\ 0& 1& 0& 1& 2\\ 0& 0& 1& 1& 3\end{array}\right)& G_2=\left(\begin{array}{ccccc}1& 0& 0& 1& 1\\ 0& 1& 0& 1& 3\\ 0& 0& 1& 3& 4\end{array}\right)\end{array}$

不难验证，G₁，G₂符合MDS码的要求，即编码矩阵的任意三列(k＝3)都线性无关。参见图3，编码过程如下：

$\left(\begin{array}{ccccc}{\mathrm{\β}}_{11}& {\mathrm{\β}}_{12}& {\mathrm{\β}}_{13}& c_{11}& c_{12}\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\β}}_{11}& {\mathrm{\β}}_{12}& {\mathrm{\β}}_{13}\end{array}\right)G_1=\left(\begin{array}{ccc}{\mathrm{\β}}_{11}& {\mathrm{\β}}_{12}& {\mathrm{\β}}_{13}\end{array}\right)\left(\begin{array}{ccccc}1& 0& 0& 1& 1\\ 0& 1& 0& 1& 2\\ 0& 0& 1& 1& 3\end{array}\right)---\left(1\right)$

$\left(\begin{array}{ccccc}{\mathrm{\β}}_{21}& {\mathrm{\β}}_{22}& {\mathrm{\β}}_{23}& c_{21}& c_{22}\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\β}}_{21}& {\mathrm{\β}}_{22}& {\mathrm{\β}}_{23}\end{array}\right)G_2=\left(\begin{array}{ccc}{\mathrm{\β}}_{21}& {\mathrm{\β}}_{22}& {\mathrm{\β}}_{23}\end{array}\right)\left(\begin{array}{ccccc}1& 0& 0& 1& 1\\ 0& 1& 0& 1& 3\\ 0& 0& 1& 3& 4\end{array}\right)---\left(2\right)$

由此可得编码后非系统部分的码符号(c₁₁,c₁₂)和(c₂₁,c₂₂)如图3所示。

第3步，把编码后得到的码符号按照系统部分和非系统部分的划分，如图3所示排列并存储在5个磁盘中。

在本实施例中，用于存储mk＝6个原始数据符号所需要的存储空间为nm＝10个码符号。此外，此实施例可以修复全部5个磁盘中最多n-k＝2个磁盘故障造成的数据丢失，即任意1个或2个磁盘发生故障，其中存储的码符号可以由其余3个磁盘中存储的码符号加以恢复，修复带宽为6个码符号。不失一般性，假设图3中前两个磁盘出现故障，为了修复其中存储的数据，即(β₁₁,β₂₁)和(β₁₂,β₂₂)，可以应用剩余三个磁盘中存储的码符号(β₁₃,β₂₃)、(c₁₁,c₂₁)、(c₁₂,c₂₂)通过如下译码过程恢复全部原始数据：

$\left(\begin{array}{ccc}{\mathrm{\β}}_{11}& {\mathrm{\β}}_{12}& {\mathrm{\β}}_{13}\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\β}}_{13}& c_{11}& c_{12}\end{array}\right){\left(\begin{array}{ccc}0& 1& 1\\ 0& 1& 2\\ 1& 1& 3\end{array}\right)}^{-1}---\left(3\right)$

$\left(\begin{array}{ccc}{\mathrm{\β}}_{21}& {\mathrm{\β}}_{22}& {\mathrm{\β}}_{23}\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\β}}_{23}& c_{21}& c_{22}\end{array}\right){\left(\begin{array}{ccc}0& 1& 1\\ 0& 1& 3\\ 1& 3& 4\end{array}\right)}^{-1}---\left(4\right)$

在(3)(4)两式中逆矩阵的存在是由MDS码的特性保证的，即MDS码生成矩阵G₁，G₂的任意三列都线性无关。

最后，某个原始数据符号更新所需要的更新带宽为3个码符号，以图3中的β₁₁为例，更新β₁₁所需要更新的码符号为β₁₁，c₁₁和c₁₂，其他码符号保持不变。

以上所述为本发明的某些网络实施例而已，本发明不应该局限于这些实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (3)

1.一种基于(n,k,m)编码的分布式存储方法，其特征在于，包括如下步骤：

步骤1、把m×k个原始数据符号分成m组，则每组包含k个原始数据符号；

步骤2、应用系统的(n,k)-MDS编码器将每组k个原始数据符号编码得到n个码符号，由此，m组原始数据符号一共得到m×n个码符号，所述原始数据符号和码符号定义在同样的有限域GF(q)中；

步骤3、将步骤2中得到的m×n个码符号存储在n个分布式的磁盘中，每个磁盘存储m个码符号，其中：k个磁盘用于存储码符号中的系统部分，即m×k个原始数据符号，另外n-k个磁盘用于存储码符号中的非系统部分。

2.根据权利要求1所述的基于(n,k,m)编码的分布式存储方法，其特征在于：步骤2中，把m组原始数据符号一一对应地送入m个系统的(n,k)-MDS码编码器中，每个编码器输出的码符号由第1至第k个系统码符号和第1至第(n-k)个非系统码符号组成，并将其输出的第1至第k个系统码符号依次对应存储于第1至第k个磁盘，将第1至第(n-k)个非系统码符号依次对应存储于第k+1至第n个磁盘。

3.一种基于(n,k,m)编码的分布式存储系统，其特征在于：由n个分布式的磁盘组成，共存储有m×n个码符号，所述m×n个码符号由m×k个原始数据符号利用m个系统的(n,k)-MDS码编码器编码得到，每个编码器输出的码符号由第1至第k个系统码符号和第1至第(n-k)个非系统码符号组成，并将其输出的第1至第k个系统码符号依次对应存储于第1至第k个磁盘，将第1至第(n-k)个非系统码符号依次对应存储于第k+1至第n个磁盘。