CN104035732B - 一种面向纠删码的数据放置方法 - Google Patents

Abstract

本发明公开了一种面向纠删码的数据放置方法，目的是提高大规模分布存储系统的容错能力。技术方案是先构建由一个控制节点和M个机架(每个机架上安装N个存储节点)组成的分布存储系统，控制节点上安装有数据写入管理程序，存储节点上安装有数据写入程序；控制节点执行数据写入管理程序，接收用户提交的数据对象写入请求，对数据对象进行分块和编码计算，得到原始数据块和冗余数据块，且向各存储节点分发数据块写入请求；存储节点的数据写入程序接收来自控制节点的数据块写入请求，将原始数据块或冗余数据块写入本地磁盘。本发明有效兼顾了分布存储系统的数据访问效率、数据可靠性和数据修复效率，最大限度地提升了大规模分布存储系统的容错能力。

Description

一种面向纠删码的数据放置方法

技术领域

本发明涉及分布存储系统的数据容错技术，尤其是面向纠删码的数据放置方法。

背景技术

数据容错是海量数据分布存储的关键技术之一，数据容错对于提高系统的可用性和可靠性至关重要。目前，数据容错技术主要包括基于复制的容错技术和基于纠删码的容错技术。

基于复制的容错技术简单直观，易于实现和部署，需要为每个数据对象创建若干同样大小的副本，存储空间开销较大。基于纠删码的容错技术通过将数据对象分割为多个数据块，通过利用纠删码算法对原始的数据块进行编码得到冗余的数据块，把多个数据块的信息融合到较少的冗余信息中，有效节省存储空间。与基于复制的容错技术相比，基于纠删码的容错技术具有冗余度低、存储空间利用率高等优点，已经逐步成为大数据时代数据容错的主流技术。

基于纠删码的容错技术的基本思想是对k个原始数据块进行编码计算得到m个冗余数据块；只需k+m个数据块中的任意k个数据块，就可通过解码计算恢复得到原始的k个数据块。

具体而言，每个冗余数据块C_j(j＝1,2,…,m)都是k个原始数据块D_i(i＝1,2,…,k)的线性组合，编码计算可表示为公式(1)，其中，G_ji(j＝1,2,…,m，i＝1,2,…,k)是数据块编码系数。也就是说，对于冗余数据块C_j(j＝1,2,…,m)而言，首先，编码系数G_ji(i＝1,2,…,k)与数据块D_i(i＝1,2,…,k)进行逐位相乘，得到k个新数据块T_ji＝G_ji×D_i(i＝1,2,…,k)；然后，k个新数据块T_ji(i＝1,2,…,k)进行逐位相加，得到冗余数据块

G_j1×D₁+…+G_ji×D_i+…+G_jk×D_k＝C_j (1)

每个原始数据块D_i(i＝1,2,…,k)都是其它任意k个可用数据块E_j(j＝1,2,…,k)(原始数据块或者冗余数据块)的线性组合，解码计算可表示为公式(2)，其中，H_ij(i＝1,2,…,k，j＝1,2,…,k)是数据块解码系数。也就是说，对于原始数据块D_i(i＝1,2,…,k)而言，首先，解码系数H_ij(j＝1,2,…,k)与可用数据块E_j(j＝1,2,…,k)进行逐位相乘，得到k个新数据块S_ij＝H_ij×E_j(j＝1,2,…,k)；然后，k个新数据块S_ij(j＝1,2,…,k)进行逐位相加，得到原始数据块

H_i1×E₁+…+H_ij×E_j+…+H_ik×E_k＝D_i (2)

尽管随着技术的进步，各种软硬件资源的可靠性得到了显著提高，但是，随着存储资源规模的不断扩大，资源的失效概率明显上升。在大规模分布存储系统中，资源失效是一种常态行为。在数据块失效时，基于纠删码的容错技术需要多个数据块才能解码恢复失效的原始数据块，需要占用较多的网络带宽资源。

如何放置数据块对分布存储系统的数据访问效率、数据可靠性和数据修复效率等系统性能都将产生重要影响。多存储节点同时失效大多是由电源故障或网络故障引起的，失效的多个存储节点在拓扑上相距较近，如同一个机架中的存储节点或连接于同一个交换机上的存储节点。因此，数据放置越分散，数据的可靠性就会越高，但是，数据访问效率就会越低，数据修复效率也会越低。但是，数据可靠性和数据访问效率之间也不是完全矛盾的。如果数据访问效率越高，那么，数据修复效率就会越高，在数据修复完成之前再次发生失效的概率就会越小，从而提高数据可靠性。

现有的数据放置方法主要是针对基于复制的容错技术中的数据副本放置，以提高数据可靠性为首要目标，同时兼顾数据访问效率。基于纠删码的容错技术中的数据块放置主要是采用随机放置方法将数据对象的原始数据块和冗余数据块分配到多个存储节点上。虽然随机放置方法能够在一定程度上兼顾数据可靠性和数据访问效率，但是难以有效满足大规模分布存储系统对数据访问效率和数据可靠性的性能需求，并且无法对提高数据修复效率提供有效支撑。

因此，如何针对纠删码的特点，设计面向纠删码的数据放置方法，有效兼顾大规模分布存储系统的数据访问效率、数据可靠性和数据修复效率，有效提高大规模分布存储系统的容错能力，已经成为分布存储领域的热点研究问题。

发明内容

本发明要解决的技术问题是：针对纠删码的特点，提出一种面向纠删码的数据放置方法，有效兼顾大规模分布存储系统的数据访问效率、数据可靠性和数据修复效率，有效提高大规模分布存储系统的容错能力。

本发明技术方案包括以下步骤：

第一步，构建一个分布存储系统，它由多个节点构成，每个节点都是一台可独立运行的计算机，各节点通过网络设备互连。

分布存储系统中的节点分为两类：控制节点和存储节点。控制节点和存储节点上均安装有操作系统、TCP/IP协议软件，配置了网络环境。

分布存储系统包括一个控制节点，负责与用户交互，控制节点上安装有数据写入管理程序。数据写入管理程序接收用户提交的数据对象写入请求，负责存储编码系数，对数据对象进行分块和编码计算，向各存储节点分发数据块写入请求。

分布存储系统包括M个机架(M为正整数)，每个机架上安装N个存储节点(N为正整数)，存储节点负责存储数据对象的原始数据块和冗余数据块，执行数据块写入任务。在分布存储系统中，每个数据块(指原始数据块和冗余数据块)拥有唯一的数据块编号。

存储节点上安装有数据写入程序。数据写入程序负责接收来自控制节点的数据块写入请求，完成数据块写入任务。

第二步，控制节点执行数据写入管理程序，接收用户提交的数据对象DO，对数据对象进行分块和编码计算，得到原始数据块和冗余数据块。具体步骤如下：

2.1控制节点的数据写入管理程序接收用户提交的数据对象DO写入请求。

2.2控制节点的数据写入管理程序将数据对象DO分割为k个原始数据块D₁～D_k，记D_i(1≤i≤k)。

2.3控制节点的数据写入管理程序利用存储的编码系数对k个原始数据块D₁～D_k进行编码计算，得到m个冗余数据块C₁～C_m，记C_j(1≤j≤m)，具体步骤如下：

2.3.1初始化信息，具体包括：

2.3.1.1令冗余数据块C_j的序号j＝1。

2.3.1.2令原始数据块D_i的序号i＝1。

2.3.2控制节点的数据写入管理程序进行编码计算，将编码系数G_ji与原始数据块D_i进行逐位相乘，即，T_ji＝G_ji×D_i，得到新数据块T_ji。

2.3.3如果i＝1，那么，令C_j＝T_ji，转第2.3.4步；否则，将T_ji与C_j进行逐位相加，即，C_j＝C_j+T_ji，转第2.3.4步。

2.3.4更新原始数据块D_i的序号，i＝i+1。

2.3.5如果i＞k，则令i＝1，j＝j+1。

2.3.6如果j＞m，则说明编码计算生成冗余数据块结束，转第三步；否则，转第2.3.2步，继续编码计算生成冗余数据块。

第三步，控制节点执行数据写入管理程序，将编码计算得到的k个原始数据块(即，D₁～D_k)和m个冗余数据块(即，C₁～C_m)分别写入不同的存储节点。具体步骤如下：

3.1初始化信息，具体包括：

3.1.1分布存储系统的机架记为R_z，z为机架序号(1≤z≤M)，分布存储系统的M个机架构成机架集合RSet。

3.1.2分布存储系统中每个机架R_z的N个存储节点构成存储节点集合SNSet_z。

3.1.3令原始数据块D_x的序号x＝1。

3.1.4令写入同一机架的原始数据块数目sum＝m。

3.1.5令冗余数据块C_y的序号y＝1。

3.2控制节点的数据写入管理程序从RSet中任意选择一个机架R_z(1≤z≤M)，将sum个原始数据块写入从R_z的存储节点集合SNSet_z中任意选择的sum个存储节点，具体步骤如下：

3.2.1初始化信息，令写入机架R_z的原始数据块数目dn＝1。

3.2.2控制节点的数据写入管理程序从SNSet_z中任意选择一个存储节点SN，控制节点的数据写入管理程序向存储节点SN发送D_x的写入请求，将存储节点SN从SNSet_z中删除，即，SNSet_z＝SNSet_z-{SN}。

3.2.3存储节点SN的数据写入程序接收来自控制节点的D_x写入请求，将D_x写入本地磁盘。

3.2.4更新D_x的序号，x＝x+1。

3.2.5更新写入机架R_z的原始数据块数目dn＝dn+1。

3.2.6如果dn＞sum，则说明sum个原始数据块已经分别写入机架R_z中的不同存储节点，转第3.2.7步；否则，转第3.2.2步，继续将原始数据块写入机架R_z中的存储节点。

3.2.7将机架R_z从RSet中删除，即，RSet＝RSet-{R_z}。

3.3如果(k-x+1)≥m，则转第3.2步，继续将原始数据块写入到不同机架的存储节点；否则，转第3.4步。

3.4如果0＜(k-x+1)＜m，则令sum＝k-x+1，转到第3.2步，继续将原始数据块写入到不同机架的存储节点；否则，说明k个原始数据块已经分别写入不同机架的存储节点，转第3.5步。

3.5控制节点的数据写入管理程序从RSet中任意选择一个机架R_z，将m个冗余数据块(即，C₁～C_m)写入从SNSet_z中任意选择的m个存储节点，具体步骤如下：

3.5.1初始化信息，令写入机架R_z的冗余数据块数目cn＝1。

3.5.2控制节点的数据写入管理程序从SNSet_z中任意选择一个存储节点SN，控制节点的数据写入管理程序向存储节点SN发送C_y的写入请求，将存储节点SN从SNSet_z中删除，即，SNSet_z＝SNSet_z-{SN}。

3.5.3存储节点SN的数据写入程序接收来自控制节点的C_y写入请求，将C_y写入本地磁盘。

3.5.4更新C_y的序号，y＝y+1。

3.5.5更新写入机架R_z的冗余数据块数目cn＝cn+1。

3.5.6如果cn≤m，则转第3.5.2步，继续将冗余数据块写入机架R_z中的存储节点；否则，说明m个冗余数据块已经分别写入机架R_z中的不同存储节点，执行第四步。

第四步，控制节点执行数据写入管理程序，向用户发送数据写入成功信息。

与现有技术相比，本发明具有以下技术优点：

1.本发明3.2.2步控制节点将原始数据块写入不同机架的不同存储节点，有效兼顾了分布存储系统的数据访问效率和数据可靠性。

2.本发明3.2.6步控制节点至多向每个机架分配m个原始数据块(m是允许失效的数据块数目的最大值)，有效避免机架失效对数据可靠性的影响，最大限度提升大规模分布存储系统的容错能力。

3.本发明3.5步控制节点将冗余数据块写入同一机架的不同存储节点，有效兼顾了分布存储系统的数据可靠性和数据修复效率。

附图说明

图1是本发明第一步构建的分布存储系统的物理结构图。

图2是本发明分布存储系统的软件部署图。

图3是本发明总流程图。

具体实施方式

图1是本发明第一步构建的分布存储系统的物理结构图。分布存储系统的节点由控制节点和存储节点组成。控制节点和存储节点均是包含处理器、存储器、磁盘和网络接口的计算机。控制节点和存储节点之间通过互连网络相连。

图2是本发明分布存储系统的软件部署图。控制节点上安装有操作系统、TCP/IP网络软件、数据写入管理程序。其中操作系统、TCP/IP网络软件是通用软件，从公开发行的软件包中获得；数据写入管理程序是本发明的专用软件。存储节点上安装有操作系统、TCP/IP网络软件、数据写入程序。其中操作系统、TCP/IP网络软件是通用软件，从公开发行的软件包中获得；数据写入程序是本发明的专用软件。

图3是本发明总流程图。具体流程如下：

第一步，构建一个分布存储系统，它由多个节点构成，每个节点都是一台可独立运行的计算机，各节点通过网络设备互连。

第二步，控制节点执行数据写入管理程序，接收用户提交的数据对象DO，对数据对象进行分块和编码计算，得到原始数据块和冗余数据块。

第三步，控制节点执行数据写入管理程序，将编码计算得到的k个原始数据块(即，D₁～D_k)和m个冗余数据块(即，C₁～C_m)分别写入不同的存储节点。

第四步，控制节点执行数据写入管理程序，向用户发送数据写入成功信息。

Claims (3)

1.一种面向纠删码的数据放置方法，其特征在于包括以下步骤：

第一步，构建一个分布存储系统，它由多个节点构成，每个节点都是一台可独立运行的计算机，各节点通过网络设备互连；

分布存储系统中的节点分为两类：控制节点和存储节点，控制节点和存储节点上均安装有操作系统、TCP/IP协议软件，配置了网络环境；

分布存储系统包括一个控制节点，负责与用户交互，控制节点上安装有数据写入管理程序；数据写入管理程序接收用户提交的数据对象写入请求，负责存储编码系数，对数据对象进行分块和编码计算，向各存储节点分发数据块写入请求；所述编码系数是指纠删码编码计算公式G_j1×D₁+…+G_ji×D_i+…+G_jk×D_k＝C_j中的系数G_ji，j＝1,2,…,m，i＝1,2,…,k；

分布存储系统包括M个机架，每个机架上安装N个存储节点，存储节点负责存储数据对象的原始数据块和冗余数据块，执行数据块写入任务；在分布存储系统中，每个原始数据块和冗余数据块均拥有唯一的数据块编号，M为正整数，N为正整数；

存储节点上安装有数据写入程序，数据写入程序负责接收来自控制节点的数据块写入请求，完成数据块写入任务；

第二步，控制节点执行数据写入管理程序，接收用户提交的数据对象DO，对数据对象DO进行分块和编码计算，得到原始数据块和冗余数据块，具体步骤如下：

2.1控制节点的数据写入管理程序接收用户提交的数据对象DO写入请求；

2.2控制节点的数据写入管理程序将数据对象DO分割为k个原始数据块D₁～D_k，记D_i，1≤i≤k；

2.3控制节点的数据写入管理程序利用编码系数对k个原始数据块D₁～D_k进行编码计算，得到m个冗余数据块C₁～C_m，记C_j，1≤j≤m；

第三步，控制节点执行数据写入管理程序，将编码计算得到的k个原始数据块即D₁～D_k和m个冗余数据块即C₁～C_m分别写入不同的存储节点，具体步骤如下：

3.1初始化信息，具体包括：

3.1.1分布存储系统的机架记为R_z，z为机架序号，1≤z≤M，分布存储系统的M个机架构成机架集合RSet；

3.1.2分布存储系统中每个机架R_z的N个存储节点构成存储节点集合SNSet_z；

3.1.3令原始数据块D_x的序号x＝1；

3.1.4令写入同一机架的原始数据块数目sum＝m；

3.1.5令冗余数据块C_y的序号y＝1；

3.2控制节点的数据写入管理程序从RSet中任意选择一个机架R_z，将sum个原始数据块写入从R_z的存储节点集合SNSet_z中任意选择的sum个存储节点，方法是：

3.2.1初始化信息，令写入机架R_z的原始数据块数目dn＝1；

3.2.2控制节点的数据写入管理程序从SNSet_z中任意选择一个存储节点SN，控制节点的数据写入管理程序向存储节点SN发送D_x的写入请求，将存储节点SN从SNSet_z中删除，即，SNSet_z＝SNSet_z-{SN}；

3.2.3存储节点SN的数据写入程序接收来自控制节点的D_x写入请求，将D_x写入本地磁盘；

3.2.4更新D_x的序号，x＝x+1；

3.2.5更新写入机架R_z的原始数据块数目dn＝dn+1；

3.2.6如果dn＞sum，则说明sum个原始数据块已经分别写入机架R_z中的不同存储节点，转第3.2.7步；否则，转第3.2.2步；

3.2.7将机架R_z从RSet中删除，即，RSet＝RSet-{R_z}

3.3如果(k-x+1)≥m，则转第3.2步，继续将原始数据块写入到不同机架的存储节点；否则，转第3.4步；

3.4如果0＜(k-x+1)＜m，则令sum＝k-x+1，转到第3.2步，继续将原始数据块写入到不同机架的存储节点；否则，说明k个原始数据块已经分别写入不同机架的存储节点，转第3.5步；

3.5控制节点的数据写入管理程序从RSet中任意选择一个机架R_z，将m个冗余数据块C₁～C_m写入从SNSet_z中任意选择的m个存储节点；

第四步，控制节点执行数据写入管理程序，向用户发送数据写入成功信息。

2.如权利要求1所述的一种面向纠删码的数据放置方法，其特征在于2.3步中所述控制节点的数据写入管理程序利用编码系数对k个原始数据块D₁～D_k进行编码计算的具体方法是：

2.3.1初始化信息，具体包括：

2.3.1.1令冗余数据块C_j的序号j＝1；

2.3.1.2令原始数据块D_i的序号i＝1；

2.3.2控制节点的数据写入管理程序进行编码计算，将编码系数G_ji与原始数据块D_i进行逐位相乘，即，T_ji＝G_ji×D_i，得到新数据块T_ji；

2.3.3如果i＝1，那么，令C_j＝T_ji，转第2.3.4步；否则，将T_ji与C_j进行逐位相加，即，C_j＝C_j+T_ji，转第2.3.4步；

2.3.4更新原始数据块D_i的序号，i＝i+1；

2.3.5如果i＞k，则令i＝1，j＝j+1；

2.3.6如果j＞m，则编码计算生成冗余数据块结束；否则，转第2.3.2步。

3.如权利要求1所述的一种面向纠删码的数据放置方法，其特征在于3.5步中控制节点的数据写入管理程序从RSet中任意选择一个机架R_z，将m个冗余数据块C₁～C_m写入从SNSet_z中任意选择的m个存储节点的具体步骤是：

3.5.1初始化信息，令写入机架R_z的冗余数据块数目cn＝1；

3.5.2控制节点的数据写入管理程序从SNSet_z中任意选择一个存储节点SN，控制节点的数据写入管理程序向存储节点SN发送C_y的写入请求，将存储节点SN从SNSet_z中删除，即，SNSet_z＝SNSet_z-{SN}；

3.5.3存储节点SN的数据写入程序接收来自控制节点的C_y写入请求，将C_y写入本地磁盘；

3.5.4更新C_y的序号，y＝y+1；

3.5.5更新写入机架R_z的冗余数据块数目，cn＝cn+1；

3.5.6如果cn≤m，则转第3.5.2步，继续将冗余数据块写入机架R_z中的存储节点；否则，说明m个冗余数据块已经分别写入机架R_z中的不同存储节点，结束。