CN102681793A - 一种基于纠删码集群存储系统的局部式数据更新方法 - Google Patents

Abstract

本发明公开了一种基于纠删码集群存储系统的局部式数据更新方法，包括以下步骤：接收用户发出的对数据D₀的更新请求，并根据更新请求将数据D₀更新为D₀’，将更新后的数据D₀’发送到待更新的数据节点，待更新的数据节点从本地磁盘读取数据D₀到内存中，在待更新的数据节点的内存中计算出所有m个冗余节点需要的临时数据块集合，数据节点将更新后的数据D₀’写入本地磁盘，数据节点将m个临时数据块通过网络并行发送至m个冗余节点上，第j个冗余节点从本地磁盘读取原始的冗余数据P_j，并计算出新的校验数据P_j’，第j个冗余节点将计算得到的校验数据块P_j’写到本地磁盘上。本发明能有效减小带宽的消耗，降低更新服务器的负载压力，从而提高数据更新性能。

Description

一种基于纠删码集群存储系统的局部式数据更新方法

技术领域

本发明属于数据存储领域，更具体地，涉及一种基于纠删码集群存储系统的局部式数据更新方法。

背景技术

近年来，多址传输已成为互联网的一个重要组成成分，大型软件通过互联网传送给众多用户时要求用多址传输或广播传输。这些传输必须是完全可靠的，同时要有小的网络开销和支持众多各类用户的随机访问。达成这种目的需要借助一种编码的方法，即把传输的k比特的原数据编码为n(n＞k)比特的数据后发送出去，若接受方接受到足够量的数据，则运用适当的译码方法就可恢复k个比特的源数据，称这种码为前向纠错码，或称纠删码。

正是因为纠删码的这种高容错特性，其被广泛应用于大规模的集群存储系统之中。如图1所示，纠删码集群存储系统的磁盘被划分为k个数据节点和m个校验节点(k+m＝n为总节点数)。其中k个数据节点存放的数据块为原始的数据，m个校验节点存放的数据块是经过特定矩阵运算出来的校验数据，其中，k+m个数据块组成的集合称之为条带。这样便保证了即使集群中m个任意节点发生故障的情况下，系统都能够做出正确的相应并且能够自我从故障中恢复。

然而，现有纠删码集群存储系统存在着以下问题：对于数据更新的策略只采用简单的更新管理器来进行管理，并没有对消耗的网络带宽及数据更新的耗时进行足够的优化；此外，由于纠删码的编码特性，当有数据更新时除了影响到自身数据节点的更新，也要对所有的校验节点更新，如果按照传统的更新方式，即在客户端读数据，计算出新的数据再写回，需要频繁的进行网络传输，则使得数据的更新很大程度受到网络带宽的影响，也就影响到了整个系统的响应时间和带宽损耗。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于纠删码集群存储系统的局部式数据更新方法，其能够在只有小型数据更新的情况下有效地提高系统的响应时间，并能有效减小带宽的消耗，减小更新服务器的负载，从而提高系统性能。

为实现上述目的，本发明提供了一种基于纠删码集群存储系统的局部式数据更新方法，包括以下步骤：

(1)接收用户发出的对数据D₀的更新请求，并根据更新请求将数据D₀更新为D₀’；

(2)将更新后的数据D₀’发送到待更新的数据节点；

(3)待更新的数据节点从本地磁盘读取数据D₀到内存中；

(4)利用等式P_j ^*＝a_j，0*(D₀’-D₀)在待更新的数据节点的内存中计算出所有m个冗余节点需要的临时数据块集合{P₀ ^*，P₁ ^*，...，P_m-1 ^*}，其中j＝0，...，m-1，P_j ^*表示第j个冗余节点所需要的临时数据块，a_j，0表示纠删码的生成矩阵第j行第0列的元素；

(5)数据节点将更新后的数据D₀’写入本地磁盘；

(6)数据节点将m个临时数据块通过网络并行发送至m个冗余节点上；

(7)第j个冗余节点从本地磁盘读取原始的冗余数据P_j，并利用接收到的临时数据块P_j ^*以及等式P_j’＝P_j ^*+P_j计算出新的校验数据P_j’，其中j＝0，...，m-1；

(8)第j个冗余节点将计算得到的校验数据P_j’写到本地磁盘上，并向数据节点发送更新完毕的信号；

(9)重复步骤(7)和(8)，直到所有m个冗余节点都处理完毕为止；

(10)数据节点接收完所有冗余节点发送的更新完毕的信号后，向纠删码集群存储系统发送更新完毕的信号。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：

(1)节约带宽，减少了由更新带来的写回操作(即缩短了更新链)，有效减少了数据在网络中的传输，节约了带宽；

(2)分散计算，充分利用存储节点的计算能力，有效降低更新服务器负载，更新的计算并非全部集中于更新服务器上，而是被分散到各个存储节点(数据节点以及冗余节点)上计算，这样在一定程度上避免了更新服务器成为系统的瓶颈；

(3)响应增速：本发明通过利用纠删码的数学特性，通过特定策略使得进行局部式数据更新时减小了整个集群存储的读写操作，而系统的响应时间与读写操作的次数密切相关，因此采用此方法的系统能在数据局部式更新有着更加的响应性能，从而也提高了集群存储系统的读写速度与更新效率。

附图说明

图1是现有技术中纠删码集群存储系统的架构图。

图2是本发明基于纠删码集群存储系统的局部式数据更新方法的示意图。

图3是本发明基于纠删码集群存储系统的局部式数据更新方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图2和图3所示，本发明纠删码集群存储的局部式数据更新方法包括以下步骤：

(1)接收用户发出的对数据D₀的更新请求，并根据更新请求将数据D₀更新为D₀’；需要理解的是，本发明出于示例清楚的目的，仅仅使用数据节点D₀的数据更新方法来进行说明，但本发明绝不局限于此；

(2)将更新后的数据D₀’发送到待更新的数据节点；

(3)待更新的数据节点从本地磁盘读取数据D₀到内存中；若采用传统的更新方法，D₀’会被节点0通过网络发送到专门的更新服务器上，而且所有的计算操作都将在更新服务器上进行，对于本发明的更新方法而言，本步骤的计算是在数据节点上实现的，并且没有通过网络，所以它有效减少了网络通信、分散了计算以及降低了更新服务器负载；

(4)利用等式P_j ^*＝a_j，0*(D₀’-D₀)在待更新的数据节点的内存中计算出所有m个冗余节点需要的临时数据块集合{P₀ ^*，P₁ ^*，...，P_m-1 ^*}，其中j＝0，...，m-1，P_j ^*表示第j个冗余节点所需要的临时数据块，a_j，0表示纠删码的变换矩阵第j行第0列的元素；

(5)数据节点将更新后的数据D₀’写入本地磁盘；

(6)数据节点将m个临时数据块通过网络并行发送至m个冗余节点上；

(7)第j个冗余节点从本地磁盘读取原始的冗余数据P_j，并利用接收到的临时数据块P_j ^*以及等式P_j’＝P_j ^*+P_j计算出新的校验数据P_j’，其中j＝0，...，m-1；在传统的更新方法中，这一步P_j同样是会被第j个冗余节点通过网络发送到专门的更新服务器上，而且该步的计算操作也将在更新服务器上进行，而对于本发明的更新方法，本步骤中的计算是在冗余节点上实现的，并且没有通过网络，所以它能有效减少了网络通信、分散了计算以及降低了更新服务器负载；

(8)第j个冗余节点将计算得到的校验数据P_j’写到本地磁盘上，并向数据节点发送更新完毕的信号；

(9)重复步骤(7)和(8)，直到所有m个冗余节点都处理完毕为止；

(10)数据节点接收完所有冗余节点发送的更新完毕的信号后，向纠删码集群存储系统发送更新完毕的信号。

下面对本发明方法中用到的公式做出详细的推导：

原始的校验数据是原始数据根据纠删码的算法特性经过矩阵变化而来的：

$P_j={\mathrm{\Σ}}_{x=0}^{k-1}{a}_{j,x}{D}_x,j\∈\{\mathrm{0,1},...,m-1\}---\left(1\right)$

其中P_j表示校验数据，D_x表示原始的数据，a_j，x表示纠删码的变换矩阵第j行第x列的元素。

如果数据从D₀更新为D₀’，根据公式1，每个校验数据都需重新计算如下：

${P_j}^{,}={\mathrm{\Σ}}_{x=0}^{i-1}{a}_{j,x}{D}_x+a_{j,i}{D}_i^{\′}+{\mathrm{\Σ}}_{x=i}^{k-1}{a}_{j,x}{D}_i,j\∈\{0,1,...,m-1\}---\left(2\right)$

其中P_j’表示新的校验数据。

则由公式2减去公式1可得：

P_j’＝a_j，0*(D₀’-D₀)+P_j    j∈{0，1，...，m-1}(3)

在传统的更新方法中，该公式中所有的计算都是在更新服务器上完成的。对于本发明的方法，我们假设

P_j ^*＝a_j，0*(D₀’-D₀)，j∈{0，1，...，m-1}(4)

这样将公式分成两个部分P_j ^*＝a_j，0*(D₀’-D₀)，P_j’＝P_j ^*+P_j，其中，前一部分由数据节点计算，后一部分由冗余节点计算。

至此，本发明基于纠删码集群存储系统的局部式数据更新方法全部结束。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于纠删码集群存储系统的局部式数据更新方法，其特征在于，包括以下步骤：

(1)接收用户发出的对数据D₀的更新请求，并根据所述更新请求将数据D₀更新为D₀’；

(2)将更新后的数据D₀’发送到待更新的数据节点；

(3)所述待更新的数据节点从本地磁盘读取数据D₀到内存中；

(4)利用等式P_j ^*＝a_j，0*(D₀’-D₀)在所述待更新的数据节点的内存中计算出所有m个冗余节点需要的临时数据块集合{P₀ ^*，P₁ ^*，...，P_m-1 ^*}，其中j＝0，…，m-1，P_j ^*表示第j个冗余节点所需要的临时数据块，a_j，0表示纠删码的生成矩阵第j行第0列的元素；

(5)所述数据节点将所述更新后的数据D₀’写入本地磁盘；

(6)所述数据节点将m个临时数据块通过网络并行发送至m个冗余节点上；

(7)第j个冗余节点从本地磁盘读取原始的冗余数据P_j，并利用接收到的临时数据块P_j ^*以及等式P_j’＝P_j ^*+P_j计算出新的校验数据块P_j’，其中j＝0，…，m-1；

(8)第j个冗余节点将计算得到的校验数据P_j’写到本地磁盘上，并向所述数据节点发送更新完毕的信号；

(9)重复步骤(7)和(8)，直到所有m个冗余节点都处理完毕为止；

(10)所述数据节点接收完所有冗余节点发送的更新完毕的信号后，向纠删码集群存储系统发送更新完毕的信号。

Images