WO2014005279A1

WO2014005279A1 - 一种可精确再生的分布式存储码的构建方法及装置

Info

Publication number: WO2014005279A1
Application number: PCT/CN2012/078100
Authority: WO
Inventors: 李挥; 侯韩旭; 缪伟豪; 李硕彦; 朱兵; 郭涵
Original assignee: 北京大学深圳研究生院
Priority date: 2012-07-03
Filing date: 2012-07-03
Publication date: 2014-01-09

Abstract

提供一种可精确再生的分布式存储码的构建方法，包括如下步骤：将要存储的文件构建为其大小一定的信息矩阵M，其中，所述文件中的每个数据均为所述信息矩阵中的某一元素；设定编码矩阵Ψ，所述编码矩阵Ψ包括n行向量；其中，n是用于存储的分布式存储节点数；将所述信息矩阵M和所述编码矩阵Ψ相乘，得到码字矩阵C；所述码字矩阵同样包括n行向量；将所述码字矩阵C的n行向量分别存储在n个存储节点上；其中，上述所有矩阵中的元素均属于大小为q的有限域F_q。另外还提供一种实现上述方法的装置。实施可精确再生的分布式存储码的构建方法及装置，具有以下有益效果：其实现较为容易、所需的有限域也较小。

Description

一种可精确再生的分布式存储码的构建方法及装置

技术领域

本发明涉及网络分布式存储领域，更具体地说，涉及一种可精确再生的分布式存储码的构建方法及装置。

背景技术

本发明是在发明人先前的发明基础上一种存储数据的方法、装置及分布式网络存储系统" ，（PCT/CN2012/071177)的进一步发明。

2000年诞生的网络编码（ Network Coding , NC ) 是继 C.E.Shannon发表《A Mathematical Theory of Communication》解决信道容量极限问题后的一个全新突破，它解决了网络通信中单 /多源对多接收点组 /广播如何达到网络容量极限的问题。传统网络通信节点上的路由交换机只完成存储转发功能。 NC指出如果允许路由交换机对输入信息流进行编码再发送，将使得网络节点既实现路由功能又实现编码功能。在这种全新的体系结构下，网络性能可以达到最大流传输的理论极限。

伴随存储系统规模的发展，故障概率也显著提高，人们对存储系统也提出了更高的容错要求。现有技术主要是通过纠错码来实现分布式存储的可靠性。比之于 RAID 系统，常用的 RAID-5产品只能提供单盘故障的修复，能够修复双盘故障的恢复的 RAID-6 逐渐也走入了实用。容单盘错的 RAID-5 系统原理来自于奇偶校验，而为达到各方面性能的优化，容双盘故障的 RAID-6系统需要采用"特制"的纠错编码。

在分布式存储系统中，原始的数据文件被编码成若干小块并分别存储在各个存储节点，用户在需要该数据文件时只需要下载部分存储节点的数据即可。而编码方式一般为最大距离码 maximum-distance-separable (MDS), 比如 RS ( Reed-Solomon )码。首先，我们用有限域 F_q中的元素个数来表示数据文件的大小， B表示文件包含的原始个数，其中有限域的大小为 q。使用 RS编码， k个元素的数据被编码成 n个元素并分别存储在 n 个存储节点，用户只需要下载 n中的任意 k个存储节点的数据即可获得该 k个元素的数据文件，我们称这一过程为数据重建。目前使用 RS编码存储数据的分布式存储系统有 RAID-6 [1], OceanStore[2] 和 Total Recall [3]。

当存储系统中有存储节点失效时，为了维持系统的可靠性和相应的容错性，我们必须修复失效节点，恢复失效节点的数据并存储在一个新的存储节点，该新节点为失效节点的替代节点。在自修复过程中，很筒单的方法是新的替代节点下载任意的现存 k 个存储节点的所有数据并重建原始数据，然后为新节点使用 RS编码，精确恢复出失效节点的数据。但是这样做的缺点是：为恢复一个存储节点的数据而下载整个数据文件 B , 对于修复带宽来说是一种浪费。再生码就是解决该问题的有效方法。

在传统的 RS编码中，存储在存储节点的每个数据块被看作为有限域 F_q的一个信息符号，每个节点中的信息符号只允许在有限域 F_q的线性操作，为修复一个失效节点的数据，修复带宽不可能小于整个数据文件的大小 B。相反，再生码的码字是一个向量字母，因此每个数据块都可以看作是由有限域 F_q中的《个符号组成的。这样有限域中的线性操作允许存储节点传输存储数据中的一部分。除了参数《外， d和也是再生码的参数。才艮据文 [A. G. Dimakis, P. B. Godfrey, M. Wainwright, and K. Ramchandran, "Network coding for distributed storage systems," in Proc. 26th IEEE Int. Conf. Computer Communications (INFOCOM), Anchorage, AK, May 2007, pp. 2000-2008.]的介绍，失效节点会从现存存储节点中的 d个节点各自下载 ^≤«个符号，该过程为自修复过程，自修复过程中需要下载的数据总量 d y^称为修复带宽。另外，在自修复过程中下载数据的 d 个存储节点称为帮助节点。一般情况下，再生码的平均修复带宽小于文件大小^

在再生码中，功能修复是指新节点 f 代替失效节点 f并且 n个存储节点能够保持数据重建和再生特性；而精确修复是指新节点 f 代替失效节点 f并且 f 节点存储的数据与失效节点 f存储的数据完全一样。相比于功能修复，精确修复有以下优势。首先，在存储系统中，服务器是知道全局的编码系数的，而功能修复则需要服务器更新修复节点的编码系数。其次，在功能修复中，因为编码系数地的变更，修复函数和数据重建的解码函数均需要重新调整。另外，对于功能修复，每次修复过程均需要增加包头以更新编码系数。而精确修复则不需要以上操作，而且精确修复码可以编码成系统码。系统再生码是指在 k个存储节点存储了 k 个没有经过任何编码操作的码字符号。对于再生码的系统码部分，精确修复系统码是一定的。

再生码的概念是由文 [A. G. Dimakis, P. B. Godfrey, M. Wainwright, and K. Ramchandran, "Network coding for distributed storage systems," in Proc. 26th IEEE Int. Conf. Computer Communications (INFOCOM), Anchorage, AK, May 2007, pp. 2000-2008.] 给出的，文中指出如果允许存储节点存储的数据量大于 B/k,那么就可以减少修复带宽。文 [A. G. Dimakis, P. B. Godfrey, M. Wainwright, and K. Ramchandran, "Network coding for distributed storage systems," in Proc. 26th IEEE Int. Conf. Computer Communications (INFOCOM), Anchorage, AK, May 2007, pp. 2000-2008]提出了失效节点功能修复的最小带宽问题，数据重建的条件转化为网络编码的组播问题，通过分析该网络的最小割得到了式 ( 2 )。文 [A. Duminuco and E. Biersack, "A practical study of regenerating codes for peer-to-peer backup systems," in Proc. 29th IEEE Int. Conf. Distributed Computing Systems (ICDCS), Jun. 2009, pp. 376-384]研究了再生码的计算复杂度问题，文中考虑的是使用随机线性网络编码的功能修复。

奇确再生码问题首先由文 [Y. Wu and A. Dimakis, "Reducing repair traffic for erasure coding-based storage via interference alignment," in Proc. IEEE Int. Symp. Information Theory (ISIT), Seoul, South Korea, Jul. 2009, pp. 2276— 2280]给出。文中指出，当 k=2,d=n-l 时可以构造出 MSR精确码，其中编码策略是基于无线网络中干扰队列的概念。但是文中并没有精确的构造出 MSR码而且构造该码需要相当大的有限域。

对于一般化参数的精确再生码，文 [K. V. Rashmi, N. B. Shah, P. V. Kumar, and K. Ramchandran, "Explicit construction of optimal exact regenerating codes for distributed storage," in Proc. 47th Annu. Allerton Conf. Communication, Control, and Computing, Urbana-Champaign, IL, Sep. 2009, pp. 1243- 1249]给出了 d=n-l , k为任意值的 MBR码。在文中提出的 MBR码中，因为在失效节点的精确再生过程中没有涉及计算，所以构造该码的复杂度很低，有限域的大小也仅需要 n²。另夕卜，该文还构造了 d=k+l的精确 MSR码。文 [Y.Wu, "A construction of systematic MDS codes with minimum repair bandwidth," IEEE Trans. Inf. Theory, 2012]综合考虑了功能修复和精确修复，其中参数 d=k+l , n>2k。但是构造该码的复杂度 4艮高而且需要 4艮大的有限域。

综上所述，在现有技术中，虽然对精确再生码有所研究，但普遍缺乏较为具体的实现方法、所需的有限域较大。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺乏具体的实现方法、所需有限域较大的缺陷，提供一种容易实现、所需有限域较小的一种可精确再生的分布式存储码的构建方法及装置。本发明解决其技术问题所采用的技术方案是：构造一种可精确再生的分布式存储码的构建方法，所述分布式存储码为最小修复带宽再生码或最小存储带宽再生码，所述构建方法包括如下步骤：

A)将要存储的文件构建为其大小一定的信息矩阵 M, 其中，所述文件中的每个数据均为所述信息矩阵中的某一元素；

B)设定编码矩阵 ί , 所述编码矩阵 ί 包括 η行向量；其中， η是用于存储的分布式存储节点数；

C)将所述信息矩阵 Μ和所述编码矩阵 ^相乘，得到码字矩阵 C; 所述码字矩阵同样包括 η行向量；

D)将所述码字矩阵 C的 η行向量分别存储在 η个存储节点上；

其中，上述所有矩阵中的元素均属于大小为 q的有限域 F_q。

更进一步地，所述编码矩阵 ^的为矩阵，所述信息矩阵 M为 ί χ«矩阵；所述编码矩阵 ^为事先确定且独立于所述存储文件；

其中， d是所述数据再生时的帮助节点数，是所述码字矩阵 C中每个数据块包含的有限域 Fq中的元的个数。

更进一步地，所述编码矩阵 ^由两个子矩阵组合或运算后组合而成；所述信息矩阵 M由两个子矩阵组合而成，信息矩阵 M的元素是对称的。

更进一步地，所述分布式存储码为最小修复带宽再生码；所述步骤 A ) 中，所述

S Τ

信息矩阵 M为的对称矩阵， Μ 所述 S为的矩阵，其上三角部分共

Τ' 0 有个不同元素，其下三角部分与其上三角部分对称；所述 T为 W -fc)矩阵，其具有 fcW -fc)个元；所述 Γ'为所述 T的转置矩阵；所述 + fcW -W为所述信息矩阵 M 包括的信息符号个数；

所述步骤 B )中，其编码矩阵 ^ = [ Δ] ; 其中，为（/ix fc)矩阵， Δ为（"x W -fc))矩阵；且矩阵和矩阵 Δ满足：矩阵中的任意 d行线性独立以及矩阵 Δ中的任意 k行线性独立, 更进一步地，所述矩阵和矩阵 Δ分别为柯西矩阵或范德蒙德矩阵。

更进一步地，所述分布式存储码为最小存储带宽再生码；所述步骤 Α) 中，其信息矩阵 Μ

不同信息符号填充，选择和的下三角部分使得和均为对称矩阵；所述步骤 Β ) 中，编码矩阵 ^ = [ Λ^], 其中，为（/ίχα)矩阵， Λ为 ίχ/ί)的对

矩阵中的任意 a行向量线性独立以及矩阵 Λ中的 n个对角元素均不同。更进一步地，所述编码矩阵 ^为范德蒙德矩阵；所述编码矩阵 ^的第 i行向量为 ψ_ί = [l ,. ... ¹ j (i = l,...,n)；矩阵

,···, }; 其中，有限域的大小不小于 n(d-k + i) , 其元素表示为 , = g" , g为有限域^ 的乘法群的生成元。本发明还涉及一种实现上述可精确再生的分布式存储码的构建方法的装置，所述分布式存储码为最小修复带宽再生码或最小存储带宽再生码；所述构建装置包括：信息矩阵构建单元：用于将要存储的文件构建为其大小一定的信息矩阵 M, 其中，所述文件中的每个数据均为所述信息矩阵中的某一元素；

编码矩阵设置单元：用于设定编码矩阵所述编码矩阵 ίΛ包括 n行向量；其中， n是用于存储的分布式存储节点数；

码字矩阵取得单元：用于将所述信息矩阵 M和所述编码矩阵 ^相乘，得到码字矩阵 C; 所述码字矩阵同样包括 n行向量；

存储分配单元：用于将所述码字矩阵 C的 n行向量分别存储在 n个存储节点上；

其中，上述所有矩阵中的元素均属于大小为 q的有限域 F_q。

更进一步地，所述分布式存储码为最小修复带宽再生码；所述信息矩阵构建单元包括信息矩阵形成模块、矩阵 S形成模块、矩阵 T形成模块及矩阵 T转置模块；所述

S T

信息矩阵形成模块按照 M 得到其大小为 d> ^的、对称的信息矩阵 M; 所述矩

Τ' 0 阵 S形成模块用于形成 S矩阵；所述矩阵 T形成模块用于形成 T矩阵；所述矩阵 T转置模块用于由所述矩阵 T得到其转置矩阵 Γ' ; 所述矩阵 S为的矩阵，其上三角部分共有个不同元素，其下三角部分与其上三角部分对称；所述矩阵 T为 W-fc)矩阵，其具有个元；所述信息矩阵 M包括的信息符号个数为 + k(d - k) ;其中，

2 J

d是所述数据再生时的帮助节点数，是所述码字矩阵 C 中每个数据块包含的有限域

F_q中的元的个数； k是数据重构时需要下载其码字的存储节点数；

所述编码矩阵设置单元包括编码矩阵 ψ形成模块、矩阵形成模块和矩阵 Δ形成模块；其中，所述编码矩阵 ί 形成模块用于按照编码矩阵 ^ = [ Δ]得到编码矩阵；所述矩阵形成模块用于形成矩阵矩阵 Δ形成模块用于形成矩阵 Δ ; 为（M x fc)矩阵， Δ为 («xW- fc))矩阵；且矩阵和矩阵 Δ满足：矩阵中的任意 d行线性独立以及矩阵 Δ中的任意 k行线性独立。

更进一步地，所述分布式存储码为最小存储带宽再生码；所述信息矩阵构建单元包括矩阵形成模块、矩阵形成模块和信息矩阵 M形成模块；其中，所述信息矩阵

S₁

M形成模块用于按照 M 得到信, 矩阵；所述矩阵 A形成模块用于形成 A矩阵； s 所述矩阵形成模块用于形成矩阵；矩阵和均为（《x«)矩阵，矩阵和的上三角部分分别由选择矩阵和的下三角部分使得矩阵和

均为对称矩阵；

所述编码矩阵设置单元包括编码矩阵形成模块、矩阵形成模块、对角矩阵形成模块以及矩阵元素选择模块；其中，所述编码矩阵形成模块用于按照 ^ = [ Λ ]得到编码矩阵 ί ; 所述矩阵形成模块用于得到其大小为（《χα)的矩阵；所述对角矩阵形成模块用于得到其大小为（《x«)的对角矩阵 Λ , 并将其与所述矩阵相乘得到所述矩阵元素选择模块用于选择编码矩阵包括的元素使得所述编码矩阵 ί 中的任意 d行向量线性独立、所述矩阵中的任意 α行向量线性独立以及所述矩阵 Λ中的 η个对角元素均不同。实施本发明的可精确再生的分布式存储码的构建方法及装置，具有以下有益效果：由于采用设定的编码矩阵，并通过该编码矩阵与信息矩阵相乘得到码字矩阵，将码字矩阵不同的行向量作为编码模块分配到不同的存储节点储存，这使得其实现较为容易、所需的有限域也较小。

附图说明

图 1 是本发明可精确再生的分布式存储码的构建方法及装置第一实施例中方法的流程图；

图 2是所述第一实施例中信息矩阵的构建流程图；

图 3是所述第一实施例中编码矩阵的构建流程图；

图 4是所述第一实施例中存储节点 1数据失效后精确再生的示意图；

图 5是所述第一实施例中装置的结构示意图；

图 6是本发明可精确再生的分布式存储码的构建方法及装置第二实施例中存储节点 1数据失效后精确再生的示意图；

图 7是所述第二实施例中装置的结构示意图。

具体实施方式

下面将结合附图对本发明实施例作进一步说明。

如图 1 所示，在本发明可精确再生的分布式存储码的构建方法及装置第一实施例中，其分布式存储码的构建方法包括如下步骤：

步骤 S11 将大小为 Β的文件构建为一定大小的信息矩阵 Μ, 信息矩阵 Μ中的元素均属于有限域 F_q: 在本步骤中，将需要存储的文件（其大小为 B )转换为信息矩阵 M, 该信息矩阵具有设定的大小和形式，在不同的情况下，该信息矩阵的大小和格式不同；这与希望构建的码的类型有关。在第一实施例中，以构建一个 MBR码为例，说明了其信息矩阵 M的具体构建方法；在第二实施例中，则以一个构建一个 MSR码为例，说明其信息矩阵的具体构建方法及大小。关于具体的步骤，稍后将分别描述。

步骤 S12设置编码矩阵：在本步骤中，设置编码矩阵 ^，该编码矩阵 ^同样与不同类型的码有关，因此，在第一实施例和第二实施例中其构建的步骤及得到的编码矩阵 ^ 也是稍有不同。关于其具体步骤，同样在稍后分别描述。

步骤 S13 将信息矩阵 M与编码矩阵相乘得到码字矩阵，码字矩阵包括 n行向量：在本步骤中，将上述得到的信息矩阵和编码矩阵相乘，得到码字矩阵 C , 该码字矩阵 C 包括了 n个行向量。

步骤 S 14将码字矩阵的 n行向量分别存储到 n个存储节点：在本步骤中，将，上述得到的码字矩阵 C的 n个行向量分别取出，并存储到不同的储存节点中。这些行向量作为存储节点存储的编码模块被存储。

在第一实施例中，希望得到并存储在各存储节点中的是 RS再生码的一种， MBR 码。这种码是 RS码的一个子集，其自然满足再生码的一些共性。具体来讲，在第一实施例中，于 [n,k,d]再生码的参数， k和 d满足 ≤ ί ≤/ι— 1 ( 1 )

其中， k是正常下载时需要由该节点下载存储编码模块内容的存储节点数， d是修复数据需要下载的存储节点数（即失效节点需要下载的节点数），而 n是存储该文件内容的总的存储节点数。

文 [Y. Wu, A. G. Dimakis, and K. Ramchandran, "Deterministic regenerating codes for distributed storage," in Proc. 45th Annu. Allerton Conf. Control, Computing, and Communication, Urbana-Champaign, IL, Sep. 2007.]给出了再生码的参数所必须要满足的 k-l

条件： Β < \Ώΐη{α, {ά - ΐ)β) ( 2 )

i=0

该条件也是再生码的主要结论。显然，我们想同时减小参数"和^的值。最小化" 值就得到了最小存储的方法，最小化 ^可以得到最小修复带宽的方法。从式（2 ) 可以推导出参数"和^不可能同时减小，因此在参数"和 ?的选择上有一个折中。该折中曲线上的两个极点码分别称为最小存储码 ( minimum storage regeneration , MSR)和最 'J、修复带宽码（ minimum bandwidth regeneration , MBR)。最小化《得到 MSR码的参数满足

a= ^2dB =άβ (4)

k(2d-k + l) 最佳的 [n,k,d]再生码的参数 ( O ,β ,B) 满足以下两个条件：

1 ) 参数（"，^,Β)在式（1 ) 中取等号；

2) 减少"或者^会导致新的参数不满足式（ 1 ) 。

MSR再生码码的参数（ "，， Β)满足（ 3 ) ,而 MBR码的参数 ( ,β ,Β)满足（ 4 )。显然， MSR再生码和 MBR再生码均是最佳再生码。在本发明实施例中，由于任意的正整数均可以由并行的多个 =1组成，取 ? =1。

=1, (3)和（4)分别为 a二 d_k + l (5) B = k(d-k + l) (6) 以及

a— d 7 )

由于在本发明实施例中使用矩阵乘积框架构造精确修复码（包括 MBR码和 MSR 码），在该框架下，存储节点中的每个码字可以用码字矩阵 C(«^x«)的第 i行表示，码字矩阵 C的每一行均有 c个符号，而码字矩阵 C是由

C二 ψΜ _{( 9 )} 求出，其中 ^为的编码矩阵， M为的信息矩阵。编码矩阵 ^是事先就确定的且独立于信息符号 B。信息矩阵 M包含了 B个信息符号，其中的符号有可能是一样的。码字矩阵 C的第 i行可以表示为

c; =^M _{( 10 )} , 其中^^为编码矩阵^ "的第 i行，字母 "t" 用来表示矩阵的转置。在本发明具体实施例中，所有的符号均属于大小为 q的有限域 F_q。数据重建是指客户端从任意的 k个存储节点获取 ^a符号并解码出信息矩阵 M。客户端下载的 k个存储节点用 ,i₂ i_k}表示，第 j节点将信息向量^'，^^传输给客户端。这样客户端可以收到数据矩阵^^ ^Μ ,其中是矩阵^ ^々k行 {^"•••' } 子矩阵。所以，客户端就可以利用矩阵^ ^口 M 的特性解码出信息码字。这个过程并不涉及数据或存储节点上的数据失效。当数据失效时，需要再生该存储节点的失效数据。在存储节点的失效数据的再生过程中， ^^'为长度为"的向量，它为向量 ^^'的一部分。为了恢复失效节点 f, 代替节点 f的新节点需要从现存存储节点中选择 d个 {h_l ... ,h_d}并各下载一个符号，这 d个节点称为帮助节点，每个帮助节点传输一个符号 _f给新节点，该符号为其存储的个符号的内部运算，帮助节点 1¾传输的符号为 ^{M /}。因此代替节点可以获得矩阵 ^Ψ—^Μ ，其中^ ^ 为矩阵^ "的 d行，…，^^子矩阵。在再生过程中，各个帮助节点只需要知道失效节点 f的编码系数并不需要其他的编码系数。

为了能够修复失效节点的数据，帮助节点的个数 d必须满足第一个不等式。有限域

Fq中的再生码的参数集合为 {n,k, d, ,β ,Β}, 其中 {n,k,d}为主参数，而{ α ,β ,Β} 为辅参数。在第一实施例中，为构造的精确 MBR码，使参数 ?=1, k≤d≤n— i。参数 ,Β} 满足式（7) (8 ), ( 8 )可以写成 + k(4— k 。所以 [_n， k， d]MBR码的参数为

+ k(d-k) )。令 s为 kxk的矩阵，该矩阵的上三角部分

，选择矩阵的下三角部分的元素是的矩阵 S为对称矩阵， B中

剩下的 k (d-k)符号用来填充矩阵 T(kx(d— k))。信息矩阵 M为 (< X )的对称矩阵 ,

信息矩阵 Μ的对称性会在失效节点的恢复过程中用到。请参见图 2, 在图 2中，示出了第一实施例中信息矩阵 Μ的一个具体的构建流程，其具体包括：

步骤 S21分别形成矩阵 S的上、下三角部分：在本步骤中，按照上述构建矩阵 S 的方法，先构建该矩阵的上三角部分，并使其与该矩阵的下三角部分对称，进而得到矩阵 S。

步骤 S22形成矩阵 T: 在本步骤中，将构建上述矩阵 S后还没有用到的、原文件中包括的 k (d-k)个符号用于填充矩阵 T, 进而得到其大小为 kX(d-k)的矩阵 T。

步骤 S23得到矩阵 Τ的转置矩阵：由于已经得到矩阵 Τ, 在本步骤中，求得矩阵 Τ 的转置矩阵。

步骤 S24组合上述矩阵 S、矩阵 T以及矩阵 T的转置矩阵，得到信息矩阵 M: 在本步骤中，按照上面所述的信息矩阵的构成方法（公式 11 ) , 由上述步骤 S21-S23中得到的各矩阵求得信息矩阵。

对于第一实施例中的编码矩阵而言，编码矩阵^ "为^ ^)矩阵 ^ ⁼ [ί^^Δ] , 其中 ^为（ xW矩阵， A为 ^χ^— 》矩阵。矩阵和 Δ满足以下两个条件：矩阵 ^中的任意 d行线性独立；矩阵 Δ中的任意 k行线性独立；这两个条件可以通过选择柯西（cauchy)矩阵或者范德蒙德矩阵来满足。请参见图 3, 在图 3中，示出了第一实施例中编码信息矩阵 ^ 的一个具体的构建流程，包括：

步骤 S31 形成矩阵在本步骤中，按照上述要求得到 nxk的矩阵 ^；该矩阵当然需要满足上面所讲的两个条件。

步骤 S32 形成矩阵 Δ: 在本步骤中，按照上述要求得到 ηχ (d-k)的矩阵 Δ; 同样，该矩阵同样需要满足上面所讲的两个条件。

步骤 S33 组合上述矩阵得到编码矩阵 ^ ：由于已经得到上述的两个矩阵，在本步骤中，按照上述公式 ^ = ! △]得到编码矩阵。

当得到上述的信息矩阵 M和编码矩阵 ^ 后，将其相乘，就得到码字矩阵 C, 将得到的码字矩阵 C的 n个行向量分别存储到 n个存储节点，即完成分布式网络存储的编码过程。

对于以上给出的精确再生码（MBR码），任意失效节点的精确再生通过从 (n-1 )现存节点中任选 d个节点并各下载一个信息符号。其过程如下：令为为失效节点 f 的编码向量，所以存储在节点 f 的 d个信息符号为

Ψ Μ (12)。

为恢复失效节点 f 存储数据的新节点连接任意 d个帮助节点 {hj|j=l， … ， d}，而后帮助节点 hj计算该节点的内部乘积 _fM _f并将其传输给替代节点，在该恢复过程中

向量〃最终替代节点获得了 d个符号

在构造过程中易知矩阵 Ψ repair可逆，所以替代节点可以通过左乘矩阵 ψ _repair获得

M /_f 。又因为 M是对称的，所 My/_fy =y_fM , ( 13) 而 ψ Μ即为存储在失效节点的数据。当所有存储节点上（或下载所述涉及的存储节点）的数据都没有失效时，对以上给出的精确再生码，客户端可以通过下载任意的 k 个存储节点的数据即可获得所有的信息符号 B。其过程如下：客户端下载的 k个存储节点数据的编码矩阵为

ί^ 为矩阵^ ^ （^^{Χ β} 子矩阵，也就是矩阵 ^的 k 行向量组成的子矩阵。所以客户端可以获得 DC^M =

Φο ( 15)。由以上构造过程知矩阵 ί^χ;是可逆的，用矩阵 _DCM左乘矩阵可以计算出原始数据 T以及 S。此外，在第一实施例中，一个具体的失效数据修复的例子如图 4所示，在图 4 中， n=6, k=3, d=4, 以及 =d=4, B=9。选择有限域的大小 q=7。矩阵 S和 T分别为

所以信息矩阵 M为

^3 u₇

4 ^U5

M =

( 17)_c

u₇ M_{8 9} 0 编码向量 ^为（6x4)的范德蒙德矩阵

1 1 1 1

1 2 4 1

1 3 2 6

Ψ二

1 4 2 1 ( 18)。

1 5 4 6

1 6 1 6 图 4给出了该例子的码字矩阵 C= ψΜ并给出了当节点 1失效时的精确再生过程为了再生出节点 1的存储信息，帮助节点（在该例子中为节点 2, 4， 5, 6)各自传本它们的内部乘积 1 1 l ( 1=2 , 4 , 5 , 6 X然后替代节点即可通过乘 ^ repair t灰复出失效节点的数据，其中

repair

( 1 9 )。

在第一实施例中，还涉及一种实现上述方法的装置。如图 5 所示，该装置包括信息矩阵构建单元 51、编码矩阵设置单元 52、码字矩阵取得单元 53 以及存储分配单元 54。其中，信息矩阵构建单元 51用于将要存储的文件构建为其大小一定的信息矩阵 M, 其中，该文件中的每个数据均为所述信息矩阵中的某一元素；编码矩阵设置单元 52用于设定编码矩阵 ^，编码矩阵 ^包括 n行向量， n是用于存储的分布式存储节点数；码字矩阵取得单元 53用于将上述信息矩阵 M和编码矩阵 ^相乘，得到码字矩阵 C; 所述码字矩阵 C同样包括 η行向量；存储分配单元 54用于将所述码字矩阵 C的 η行向量分别存储在 η个存储节点上；在第一实施例中，上述所有矩阵中的元素均属于大小为 q 的有限域 F_q。

在第一实施例中，信息矩阵构建单元 51包括信息矩阵形成模块 511、矩阵 S形成模块 512、矩阵 T形成模块 513及矩阵 T转置模块 514; 信息矩阵形成模块 511按照

S T

M 得到其大小为的、对称的信息矩阵 M; 矩阵 S形成模块 512用于形成 S Τ' 0 矩阵（如何形成的步骤已在上面的描述中记载）；矩阵 T形成模块 513用于形成 T矩阵；而矩阵 T转置模块 514用于由所述矩阵 T得到其转置矩阵 Γ' ;其中，上述矩阵 S为 χ 的矩阵，其上三角其下三角部分与其上三角部分对称；矩

阵 T 为 W - fc)矩阵，其具有 fcW - fc)个元；信息矩阵 M 包括的信息符号个数为 2 i + ^ - fc) ; 其中， d是所述数据再生时的帮助节点数，是所述码字矩阵 C中每个数据块包含的有限域 F_q中的元的个数; k是数据重构时需要下载其码字的存储节点数; 而编码矩阵设置单元包括编码矩阵 _Ψ形成模块 521、矩阵 ^形成模块 522和矩阵 Δ形成模块 523;其中，编码矩阵 ^形成模块 521用于按照编码矩阵 ^ = [ Δ]得到编码矩阵；矩阵 ^形成模块 522用于形成矩阵矩阵 Δ形成模块 523用于形成矩阵 Δ; 其中，正如上面所述，为（/ixfc)矩阵， Δ为（"xW-fc))矩阵；且矩阵 ^和矩阵 Δ满足：矩阵中的任意 d行线性独立以及矩阵 Δ中的任意 k行线性独立。

在第二实施例中，以一个 MSR码为例，说明精确修复分布式存储码的构建方法及装置。其与第一实施例有较多的相同之处，但是，由于编码的不同，使得其方法中的一些步骤或装置中的一些模块细节有一些差别。为此，将较为仔细地描述这些差别。在第二实施例中， MSR再生码的参数为 ^ = 1以及 [n， k, d≥2k-2],参数 {", }满足式（ 5 )和（ 6 )。以 d=2k-2的 MSR精确再生码为例详细说明如下：

当 d=2k-2时有

a = d-k + l = k-l ( 20 ) 以及

d = 2a ( 21 ),

B = ka = a(a + V) ( 22)。

^i

定义 (d x a)信息矩阵 M为 ^M

5. ( 23 ), 其中

S₂均是（《x«)矩阵， Si a + 1

和 S₂的上三角部分分别由

2 个不同信息符号填充。所以，所有的 B 息符号都已经填充到矩阵 S₂中。然后选择矩阵 S₂的下三角部分使得矩阵 S₂均是对称矩阵。在第二实施例中，编码矩阵 (wxd)为

ψ = [φ Λ^] ( 24)。其中 ^为 Οχ«)矩阵， Λ为 < ^χ")的对角矩阵。选择 ^合适的元素以满足以下条件：矩阵 ^中的任意 d行向量线性独立；矩阵 ^中的任意 < 行向量线性独立；矩阵

Λ中的 η个对角元素均不同。

以上三个条件可以通过合适的选择矩阵 ^为范德蒙德矩阵来满足。也就是令矩阵 ^ 的第 i 行向量为 = [1 … -^ "¹ ] ( i = 1, … ， n ) , 矩阵 Λ为 Λ = { ， , ..., }。为了满足第三个条件，需要选择有限域 F_q的大小不小于 n (d-k+1) , 可以用 Xi=gi— ¹表示有限域的元素，其中 g为有限域^的乘法群的生成元。在第二实施例的 MSR码构造框架中，码字矩阵（为 0= ^ ，矩阵 C中第 i行包含有个码字符号，这"个码字符号存储在第 i个存储节点中。值得一提的是，在第二实施例中，当构建信息矩阵和编码矩阵时，同样也具有与第一实施例中相似的步骤。只不过由于其编码矩阵和信息矩阵的结构或表示不同，构建时的具体步骤也稍有不同。例如，在第二实施例中，构建信息矩阵时，不是如第一实施例中一样通过矩阵 S、矩阵 T以及矩阵 T的转置矩阵来得到信息矩阵，而是通过先构建矩阵 Sl、矩阵 S2, 然后再得到信息矩阵；在第二实施例中构建编码矩阵时，也是先得到符合上述定义的矩阵 , 得到对角矩阵 Λ , 之后再按照上述公式 24, 得到编码矩阵 ^ 。由此可知，除了具体内容不同，上述步骤还是与第一实施例中相似的。所以，在第二实施例中不再具体描述信息矩阵 M和编码矩阵 ^得到的具体步骤。

在第二实施例中得到的 [n， k, d] MSR码的精确恢复过程和数据重建过程分别为描述

:¾口下。

对于第二实施例中构造出的 MSR精确修复码，为了精确再生出失效节点的存储数据，可以从（n-1 ) 个现存节点中选择 d=2k-2 个存储节点并各自下载一个符号即可精确再生该失效数据。令失效节点的编码向量为 Φ

= + » S₂。（25 )

失效节点 f 的替代节点连接任意的 d个帮助节点 {hj | j=l， … ， d} , 然后帮助节点计算其内部的乘积 ¾^.M^并将其发送给替代节点。因此，在这里向量 ^ = 。替代节点可以从 d个帮助节点获得 d个信息符号^^

通过以上构造方法知（dxd)矩阵^ ^_fli 是可逆的。因此，替代节点获得了 ^^ =

f 因为矩阵 s₂是对称矩阵，所以替代节点可以通过转置得到和。这样，替代节点可以得到

/^ίΞ₁+ _{/ /} ^ίΞ₂ , (26)

这也就是失效节点存储的数据。

对于第二实施例中构造出的 MSR精确修复码，客户端可以通过连接并下载任意 k个存储节点的数据即可重建出所有 B个信息符号。令客户端下载的数据的编码向量为 DC = [ οα ϋ οα] (27)

矩阵 ί^ζ 为矩阵 Ψ d)子矩阵， ^的 k行向量对应为客户端下载的 k个存储节点的编码向量。因此，客户端可以得到符号

然后客户端计算

令矩阵 ρ和 Q分别为

Ρ =

( 30) Q = Φο^ιΦοα。（ 31 )

因为矩阵 S₂是对称矩阵，所以矩阵 P和 Q也都是对称矩阵。所以式（ 29 )可以写成矩阵

P + cQ。 ( 32)

令该矩阵的第（ i, j )元素为

同样的，该矩阵的第（ j, i )元素为

Ρ^λβ^Ρ^λβ^ ( 34),

式（35 ) 中等号是因为矩阵 Ρ和 Q的对称性。因为在构造码字的时候，我们选择 Λ·互不相同，因此根据式（33)和（34 )客户端可以解码出 Pij和 Qij对于 ≠ j。

首先考虑矩阵 P, 客户端收到的编码矩阵 Φϋ。为

矩阵 Ρ的所有非对角元素都是可解的，除了对角元素外，第 i行向量的元素为

[Φι … Φι-ι Φι₊ι … _α+ι] . ( 36)

然而，因为在构造码字的时候编码矩阵的所有子矩阵均是可逆的，所以客户端可以得到

{^11≤ ≤" + 1}。（₃₇₎

选择其中的前行，也就是 ( 38)。

式（ 38 )左边的矩阵是可逆的，所以客户端可以计算出 Si。同样的道理，客户端也可以计算出数据 S₂。

请参见图 6, 在图 6中，示出了第二实施例中一个 n=6, k=3, d=4, =d-k+l=2, B=k Of =6的具体例子中的数据修复过程。选择有限域的大小

S₂分别为

所以信息矩阵 M为

( 40)。

选择

( 41)。

所以 (6 x 2) 和（⁶ χ 6)对角矩阵 Λ分别为

— 2

图 6给出了（6 x 2)码字矩阵(^ = ^ 以及节点失效后的精确修复过程。当节点 1 失效时，为了再生出节点 1的码字，帮助节点 ² , 4 , 5 , 6分别传输其各自的内部乘积的符号即可解码出 ^S

在第二实施例中还涉及一种实现上述方法的装置，如图 7所示，该装置包括信息矩阵构建单元 71、编码矩阵设置单元 72、码字矩阵取得单元 ⁷3以及存储分配单元 ⁷⁴。其中，信息矩阵构建单元 71用于将要存储的文件构建为其大小一定的信息矩阵 M, 其中，该文件中的每个数据均为所述信息矩阵中的某一元素；编码矩阵设置单元 72用于设定编码矩阵 ^，编码矩阵 ^包括 n行向量， n是用于存储的分布式存储节点数；码字矩阵取得单元 73用于将上述信息矩阵 M和编码矩阵 ί 相乘，得到码字矩阵 C; 所述码字矩阵 C同样包括 η行向量；存储分配单元 74用于将所述码字矩阵 C的 η行向量分别存储在 η个存储节点上；在第一实施例中，上述所有矩阵中的元素均属于大小为 q的有限域 F_q。

所述信息矩阵构建单元 71包括矩阵形成模块 712、矩阵形成模块 713和信息矩阵形成模块 711 ; 其中，信息矩阵形成模块 711用于按照 M 得到信息矩阵；矩

阵形成模块 712用于形成矩阵；矩阵形成模块 713用于形成矩阵；矩阵和矩阵均为（《x«)矩阵，矩阵和的上三角部分分别由 ^ + ^个不同信息符号填充，选择矩阵和的下三角部分使得矩阵和均为对称矩阵；编码矩阵设置单元 72包括编码矩阵形成模块 721、矩阵形成模块 722、对角矩阵形成模块 723以及矩阵元素选择模块 724; 其中，编码矩阵形成模块 721用于按照 ^ = [ Λ ]得到编码矩阵矩阵形成模块 722用于得到其大小为（《_{χ α})的矩阵；对角矩阵形成模块 723用于得到其大小为的对角矩阵 Λ , 并将其与矩阵 ^相乘得到矩阵元素选择模块 724用于选择编码矩阵 ί 包括的元素使得所述编码矩阵 ί 中的任意 d行向量线性独立、矩阵中的任意行向量线性独立以及矩阵 Λ中的 n个对角元素均不同。

不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

权利要求书

1、一种可精确再生的分布式存储码的构建方法，其特征在于，所述分布式存储码为最小修复带宽再生码或最小存储带宽再生码，所述构建方法包括如下步骤：

B)设定编码矩阵 ^，所述编码矩阵 ^包括 n行向量；其中， n是用于存储的分布式存储节点数；

C)将所述信息矩阵 M和所述编码矩阵 ^相乘，得到码字矩阵 C; 所述码字矩阵同样包括 n行向量；

D)将所述码字矩阵 C的 n行向量分别存储在 n个存储节点上；

其中，上述所有矩阵中的元素均属于大小为 q的有限域 F_q。

2、根据权利要求 1 所述的可精确再生的分布式存储码的构建方法，其特征在于，所述编码矩阵 ί 的为矩阵，所述信息矩阵 M为^ «矩阵；所述编码矩阵 ^为事先确定且独立于所述存储文件；

3、根据权利要求 2所述的可精确再生的分布式存储码的构建方法，其特征在于，所述编码矩阵 ^由两个子矩阵组合或运算后组合而成；所述信息矩阵 M由两个子矩阵组合而成，信息矩阵 M的元素是对称的。

4、根据权利要求 3 所述的可精确再生的分布式存储码的构建方法，其特征在于，所述分布式存储码为最小修复带宽再生码；所述步骤 A )中，所述信息矩阵 M为 d d 的

S T

对称矩阵， Μ 所述 S为 ) ^的矩阵，其上三角部分共有个不同元素,

Τ' 0 其下三角部分与其上三角部分对称；所述 Τ为 W - fc)矩阵，其具有 fcW - fc)个元素；所述 Γ'为所述 T的转置矩阵； + fcW - fc)为所述信息矩阵 M包括的信息符号个数；

所述步骤 B )中，其编码矩阵 ^ = [ Δ] ; 其中，为（ x fc)矩阵， Δ为（w x (rf - fc))矩阵；且矩阵和矩阵 Δ满足：矩阵中的任意 d行线性独立以及矩阵 Δ中的任意 k行线性独立。

5、根据权利要求 4所述的可精确再生的分布式存储码的构建方法，其特征在于，所述矩阵和矩阵 Δ分别为柯西矩阵或范德蒙德矩阵。

6、根据权利要求 3 所述的可精确再生的分布式存储码的构建方法，其特征在于，所述分布式存储码为最小存储带宽再生码；所述步骤 A) 其中，和均为（《x«)矩阵，和的上三角部分分别由，

选择和的下三角部分使得和均为对称矩阵；所述步骤 B) 中，编码矩阵 ^ = [ Λ^], 其中，为（/ίχα)矩阵， Λ为 ίχ/ί)的对

矩阵中的任意 a行向量线性独立以及矩阵 Λ中的 n个对角元素均不同。

7、根据权利要求 6所述的可精确再生的分布式存储码的构建方法，其特征在于，所述编码矩阵 ί 为范德蒙德矩阵；所述编码矩阵 ίΛ的第 i 行向量为 = |ΐ , ... Λ (i = l,...,n)；矩阵八=^^{ % 其中，有限域^ 的大小不小于 + , 其元素表示为 _Xi=g", g为有限域^ 的乘法群的生成元。

8、一种可精确再生的分布式存储码的构建装置，其特征在于，所述分布式存储码为最小修复带宽再生码或最小存储带宽再生码；所述构建装置包括：

信息矩阵构建单元：用于将要存储的文件构建为其大小一定的信息矩阵 M, 其中，所述文件中的每个数据均为所述信息矩阵中的某一元素；

编码矩阵设置单元：用于设定编码矩阵 ^，所述编码矩阵 ^包括 n行向量；其中， n是用于存储的分布式存储节点数；

码字矩阵取得单元：用于将所述信息矩阵 M和所述编码矩阵 ίΛ相乘，得到码字矩阵 C; 所述码字矩阵同样包括 η行向量；

存储分配单元：用于将所述码字矩阵 C的 η行向量分别存储在 η个存储节点上；

其中，上述所有矩阵中的元素均属于大小为 q的有限域 F_q。

9、根据权利要求 8所述的分布式存储码的构建装置，其特征在于，所述分布式存储码为最小修复带宽再生码；所述信息矩阵构建单元包括信息矩阵形成模块、矩阵 S

S T

形成模块、矩阵 T形成模块及矩阵 T转置模块；所述信息矩阵形成模块按照 M

Τ' 0 得到其大小为的、对称的信息矩阵 M; 所述矩阵 S形成模块用于形成 S矩阵；所述矩阵 T形成模块用于形成 T矩阵；所述矩阵 T转置模块用于由所述矩阵 T得到其转置矩阵所述矩阵 S为的矩阵，其上三角个不同元素，其下三角

部分与其上三角部分对称；所述矩阵 T为 W - fc)矩阵，其具有 fcW - fc)个元；所述信息矩阵 M包括的信息符号个数为 + fcW -W ; 其中， d是所述数据再生时的帮助节点

数，《是所述码字矩阵 C中每个数据块包含的有限域 F_q中的元的个数； k是数据重构时需要下载其码字的存储节点数；

所述编码矩阵设置单元包括编码矩阵 ψ形成模块、矩阵形成模块和矩阵 Δ形成模块；其中，所述编码矩阵 ^形成模块用于按照编码矩阵 ^ = [ Δ]得到编码矩阵；所述矩阵形成模块用于形成矩阵矩阵 Δ形成模块用于形成矩阵 Δ ; 为（zi x fc)矩阵， Δ为 ix W - fc))矩阵；且矩阵和矩阵 Δ满足：矩阵中的任意 d行线性独立以及矩阵 Δ中的任意 k行线性独立。

10、根据权利要求 8所述的分布式存储码的构建装置，其特征在于，所述分布式存储码为最小存储带宽再生码；所述信息矩阵构建单元包括矩阵形成模块、矩阵形成模块和信息矩阵 M形成模块；其中，所述信息矩阵 M形成模块用于按照 M 得

S. 到信息矩阵；所述矩阵形成模块用于形成矩阵；所述矩阵形成模块用于形成矩阵；矩阵和均为（《x «)矩阵，矩阵和的上三角部分分别由个不同信息符

号填充，选择矩阵和的下三角部分使得矩阵和 s₂均为对称矩阵；

所述编码矩阵设置单元包括编码矩阵形成模块、矩阵形成模块、对角矩阵形成模块以及矩阵元素选择模块；其中，所述编码矩阵形成模块用于按照 ^ = [ Λ ]得到编码矩阵所述矩阵形成模块用于得到其大小为（《χ α)的矩阵；所述对角矩阵形成模块用于得到其大小为（《x «)的对角矩阵 Λ , 并将其与所述矩阵相乘得到所述矩阵元素选择模块用于选择编码矩阵 ί 包括的元素使得所述编码矩阵 ί 中的任意 d行向量线性独立、所述矩阵中的任意 α行向量线性独立以及所述矩阵 Λ中的 η个对角元素均不同。