CN103209210B - 一种提高基于纠删码的存储集群恢复性能的方法 - Google Patents

Abstract

本发明公开了一种提高基于纠删码的存储集群恢复性能的方法，包括：重构控制节点向重构源节点发送重构读请求，同时向重构目的节点发送重构写请求，所有的重构源节点根据重构读请求执行重构读优化，同时所有的重构目的节点根据重构写请求执行重构写优化，每个重构源节点分别从磁盘读取参与此次重构的数据，并分别将数据分成多个数据块，所有的重构源节点分别将多个数据块通过网络同时传输到对应的重构目的节点上，每个重构目的节点分别采用重构算法将接收到的来自所有重构源节点的数据块进行重构，每一个重构目的节点分别将重构得到的数据块返回客户端。本发明能够解决现有集中式解码方法中存在的会导致大量额外的数据传输的问题。

Description

一种提高基于纠删码的存储集群恢复性能的方法

技术领域

本发明属于计算机存储领域，更具体地，涉及一种提高基于纠删码的存储集群恢复性能的方法。

背景技术

在今天的大型数据中心，数据集的规模和复杂性急剧增加，由数百到数千节点组成的大规模存储集群部署提供在线服务与庞大的数据容量，以满足需求。这样的大型系统，故障并不少见。它的关键是确保数据的可用性，这通常是由存储集群的冗余技术实现。

施罗德在故障统计分析中发现，在五个不同的大型集群中，根据他们的观察，磁盘故障率远远高于制造商声称的故障率。年故障率为2～4％的磁盘，实际故障率通常可提高到13％，即相应磁盘平均故障时间约为8～50年。他们还发现，一个磁盘发生故障，那么很有可能短期内另一个磁盘会发生故障。

此外，大规模存储集群在复杂的环境中因为其它如硬件，软件，网络和电源等的问题会引起系统不可用。不可用事件的发生概率远高于磁盘故障（节点的平均故障时间约为4.3月）。大约有10％的这类事件可以维持10分钟以上。

作为一种流行的数据冗余方案，多副本技术将数据块被复制到整个节点和集群在许多系统中被广泛采用，包括谷歌文件系统和Hadoop分布式文件系统（Hadoop Distribution File System，简称HDFS），用以提供高可用性和可靠性。然而，在即将到来的云时代，随着大数据应用迅速增加，多副本技术在今天的大型数据中心，负责管理大数据的代价是非常昂贵的。例如，谷歌每天处理超过20PB的数据。Facebook的存储用户上传的照片在2010年超过650亿张，此外每周上传的新照片约为十亿张，合60TB的数据，峰值为每秒访问百万张。在2011年4月，美国国会图书馆收集235TB的数据。对于如此大的数据量（数十到数百PB的数据），复制成N份将会带来巨大的额外开销。

作为一种替代多副本技术的方法，纠删码可以以较低的成本提供高可靠性和可用性。纠删码的基本思想是：从一组数据块（也被称为数据条带单元）生成校验条带单元；这些数据条带单元与他们相关联的校验条带一起形成条带，当条带单元发生故障时其可用于恢复数据；数据和校验条带单元分布在不同存储节点上，从而实现高可靠性。近年来，学术界和工业界正试图在大型系统中使用纠删码取代多副本技术。

在数据中心使用纠删码所面临的最大挑战之一是由于其复杂的编码/解码操作所带来的性能问题。例如，从故障节点访问数据时，复杂的解码操作需要从其它存储群集群节点来恢复数据，这种操作采用传统的集中式解码方法会导致大量额外的数据传输。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种提高基于纠删码的存储集群恢复性能的方法，旨在解决现有集中式解码方法中存在的会导致大量额外的数据传输的问题。

为实现上述目的，本发明提供了一种提高基于纠删码的存储集群恢复性能的方法，包括以下步骤：

（1）重构控制节点向重构源节点SN₁，SN₂，...，SN_x发送重构读请求，同时向重构目的节点DN₁，DN₂，...，DN_y发送重构写请求，其中x为重构源节点的数量，y为重构目的节点的数量；

（2）所有的重构源节点SN₁，SN₂，...，SN_x根据重构读请求执行重构读优化，同时所有的重构目的节点DN₁，DN₂，...，DN_y根据重构写请求执行重构写优化；

（3）每个重构源节点SN₁，SN₂，...，SN_x分别从磁盘读取参与此次重构的数据data₁、data₂、...、data_y，并分别将数据分成y个数据块（data₁₁，data₁₂，data₁₃，...，data_1y）、（data₂₁，data₂₂，data₂₃，...，data_2y）…（data_x1，data_x2，data_x3，...，data_xy）；

（4）所有的重构源节点SN₁，SN₂，...，SN_x分别将此次参与重构的数据的y个数据块（data₁₁，data₁₂，data₁₃，...，data_1y）、（data₂₁，data₂₂，data₂₃，...，data_2y）…（data_x1，data_x2，data_x3，...，data_xy）通过网络同时传输到对应的重构目的节点DN₁，DN₂，...，DN_y上；

（5）每个重构目的节点DN₁，DN₂，...，DN_y分别采用重构算法将接收到的来自所有重构源节点SN₁，SN₂，...，SN_x的数据块（data₁₁，data₂₁，…data_x1）、（data₁₂，data₂₂，…data_x2）…（data_1y，data_2y，…data_xy）进行重构，以得到完整有效的数据块C₁、C₂…C_y；

（6）每一个重构目的节点DN₁，DN₂，...，DN_y分别将重构得到的数据块C₁、C₂、…C_y返回客户端。

步骤（2）具体为，所有的重构源节点SN₁，SN₂，...，SN_x提高重构读请求的优先级，根据不同的优先级设置读任务队列，将重构读请求在读任务队列中提高至最高优先级处，使得重构源节点SN₁，SN₂，...，SN_x会优先执行重构读请求，并暂停通过网络发送正常的数据，当本机上的重构任务完成后，所有的重构源节点SN₁，SN₂，...，SN_x恢复正常工作流程，所有的重构目的节点DN₁，DN₂，...，DN_y暂停通过网络接收正常的写数据，当本机上的重构任务完成后，所有的重构目的节点DN₁，DN₂，...，DN_y恢复正常的写流程。

重构的数据包括基于纠删码的存储集群并通过纠删码算法将原数据进行编码得到的少量冗余数据以及原数据。

重构算法是根据不同纠删码的解码矩阵，利用该数据通过异或操作或查表操作重新计算出不可用数据块。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：

（1）克服大量额外的数据传输：通过步骤（3）和步骤（4），采用分布式解码算法，将同源节点的失效数据分块，并将不同的块传到不同的目的节点参与重构，使得重构目的节点能够并行地接收重构所需的数据，从而克服大量额外的数据传输，提高重构效率。

（2）加快读取参与重构数据的速度：由于重构源节点在进行重构任务时，正常的工作任务也需要读取磁盘步骤，通过（2）步骤提高了重构任务对磁盘读取请求的优先级，从而提高了重构源节点从磁盘读取参与重构的数据的速度。

（3）充分利用网络带宽：由于在步骤（2）中暂停了重构源节点对网络正常的输出，同时暂停重构目的节点从网络接收正常的写数据，减少了正常进程对网络带宽的占用，从而提高了参与重构的数据在网络中的传输速度。

附图说明

图1是本发明基于纠删码的存储集群失效数据重构方法的示意图。

图2是本发明提高基于纠删码的存储集群恢复性能的基本流程图。

图3为本发明方法在一种简单情况下的示意图。

图4为本发明方法执行重构读优化和重构写优化的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

首先给出本发明相关术语的定义：

●重构源节点：存储部分参与此次重构的数据的节点，本说明书使用SN_i表示第i个重构源节点。对于不同的SN_p和SN_q，可能属于同一台物理机器。记SN_i上存储的参与此次重构的数据为data_i。

●重构目的节点：失效数据块进行重构的节点，本说明书使用DN_i来表示第i个重构目的节点。对于不同的DN_p和DN_q，可能属于同一台物理机器。

●失效数据：集群中某节点由于存储介质损坏、网络故障或者宕机等原因而不可使用的数据。

●有效数据：进行重构后所恢复的数据块，本说明书使用C_i来表示恢复所得数据的第i个数据分块。

●重构控制节点：当客户端向集群请求数据不可用时，由重构控制节点向各节点发出重构控制命令，重构控制节点可以是客户端。

●重构控制命令：各节点根据重构控制命令完成整个数据重构过程。

●重构：在重构目的节点上进行的恢复失效数据的操作。

如图1所示，本发明提高基于纠删码的存储集群恢复性能的方法是应用到一种基于纠删码的存储集群中，该存储集群包括重构源节点SN_i和重构目的节点DN_j（其中i和j为正整数）以及其它节点。如图1所示，整个集群的磁盘空间由一个个相互独立的数据块组成。本发明采用分布式解码算法，将同源节点的失效数据分块，并将不同的块传到不同的节点参与重构，能够并行地接收重构所需的数据。

如图2所示，本发明提高基于纠删码的存储集群恢复性能的方法包括以下步骤：

（1）重构控制节点向重构源节点SN₁，SN₂，...，SN_x（其中x为重构源节点的数量，且为正整数）发送重构读请求，同时向重构目的节点DN₁，DN₂，...，DN_y（其中y为重构目的节点的数量，且为正整数）发送重构写请求；具体而言，集群中每个重构源节点和重构目的节点都执行本发明方法所示的步骤。在本实施方式中，重构控制节点是客户端PC；

（2）所有的重构源节点SN₁，SN₂，...，SN_x根据重构读请求执行重构读优化，同时，所有的重构目的节点DN₁，DN₂，...，DN_y根据重构写请求执行重构写优化；具体而言，所有的重构源节点SN₁，SN₂，...，SN_x提高重构读请求的优先级，根据不同的优先级设置读任务队列，将重构读请求在读任务队列中提高至最高优先级处，使得重构源节点SN₁，SN₂，...，SN_x会优先执行重构读请求，并暂停通过网络发送正常的数据，当本机上的重构任务完成后，所有的重构源节点SN₁，SN₂，...，SN_x恢复正常工作流程；所有的重构目的节点DN₁，DN₂，...，DN_y暂停通过网络接收正常的写数据，当本机上的重构任务完成后，所有的重构目的节点DN₁，DN₂，...，DN_y恢复正常的写流程。

如图4所示，本步骤通过对重构源节点进行重构读优化和对重构目的节点进行重构写优化，可以有效提高源节点执行重构读的效率，同时可以有效提高目的节点接收重构源数据的效率。

（3）每个重构源节点SN₁，SN₂，...，SN_x分别从磁盘读取参与此次重构的数据data₁、data₂、...、data_y，并分别将数据分成y个数据块（data₁₁，data₁₂，data₁₃，...，data_1y）、（data₂₁，data₂₂，data₂₃，...，data_2y）…（data_x1，data_x2，data_x3，...，data_xy）；该数据包括基于纠删码的存储集群并通过纠删码算法将原数据进行编码得到的少量冗余数据以及原数据；具体而言，SN₁将data₁分成y块，用（data₁₁，data₁₂，data₁₃，...，data_1y）表示，SN₂将data₂分成y块，用（data₂₁，data₂₂，data₂₃，...，data_2y）表示，SN₃将data₃分成y块，用（data₃₁，data₃₂，data₃₃，...，data_3y）表示，SN_x将data_x分成y块，用（data_x1，data_x2，data_x3，...，data_xy）表示。

特别地，此处分块不一定要求均匀分块，不同的分块可以有交集，只需保证data_1i，data_2i，data_3i，...，data_xi根据重构算法可以恢复得到有效数据。

（4）所有的重构源节点SN₁，SN₂，...，SN_x将此次参与重构的数据的y个数据块通过网络同时传输到对应的重构目的节点DN₁，DN₂，...，DN_y上；具体而言，所有的重构源节点SN₁，SN₂，...SN_x中的每一个重构源节点同时将从磁盘读取参与此次重构的数据的第1个数据块data₁₁，data₂₁，…data_x1通过网络发送到DN₁，第2个数据块data₁₂，data₂₂，…data_x2通过网络发送到DN₂，...第y个数据块data_1y，data_2y，…data_xy通过网络发送到DN_y。

本步骤采用分布式解码算法，将同源节点的失效数据分块，并将不同的块传到不同的节点参与重构，能够并行地接收重构所需的数据，从而提高重构效率。

（5）每个重构目的节点DN₁，DN₂，...，DN_y分别采用重构算法将接收到的来自所有重构源节点SN₁，SN₂，...，SN_x的数据块（data₁₁，data₂₁，…data_x1）、（data₁₂，data₂₂，…data_x2）…（data_1y，data_2y，…data_xy）进行重构，以得到完整有效的数据块C₁、C₂…C_y。具体而言，重构算法（Reconstruction algorithm）是根据不同纠删码的解码矩阵，利用该数据通过异或操作或查表操作重新计算出不可用数据块；当DN₁接收到data₁₁，data₂₁，data₃₁，...，data_x1后根据重构算法进行重构得到有效的数据分块C₁，当DN₁接收到data₁₁，data₂₁，data₃₁，...，data_x1后根据重构算法进行重构得到有效的数据分块C₁，当DN₂接收到data₁₂，data₂₂，data₃₂，...，data_x2后根据重构算法进行重构得到有效的数据分块C₂，...，当DN_y接收到data_1y，data_2y，data_3y，...，data_xy后根据重构算法进行重构得到有效的数据分块C_y；

（6）每一个重构目的节点DN₁，DN₂，...，DN_y分别将重构得到的数据块C₁、C₂、…C_y返回客户端；

特别地，DN和SN仅代表逻辑节点，即SN_p与DN_q可能为同一物理节点。如存储集群中某实际物理节点既是重构源节点节点SN₂同时又是重构目的节点DN₁，则该节点在接收到重构控制命令后需要先暂停通过网络接收正常的写数据，即暂停网络对该节点的正常写入，同时暂停对网络的正常输出并提高重构读请求的优先级；然后磁盘读取参与此次重构的数据并分块；然后发送数据块时，该节点作为SN₂，将数据的第2个数据块通过网络发送到DN₂，...第y个数据块通过网络发送到DN_y，以上发送任务同时进行；该节点作为DN₁，保留数据的第1个数据块，同时接收从SN₁，SN₃，...SN_x-1传来的参与此次重构的数据的第1个数据块，最后将所有第1个数据块重构恢复得到有效数据块C₁，并返回给客户端。

为了使本发明方法更容易理解，下面结合图3所示的实例来说明。图3为两个重构源节点和三个目的节点的情况下，本发明方法的数据流向示意图。

当SN₁收到重构控制命令后,SN₁提高重构读请求优先级,并暂停对网络的正常传输，然后从磁盘读取参与此次重构的数据,并将第1个数据块通过网络发送到DN₁,同时将第2个数据块通过网络发送到DN₂,同时将第3个数据块通过网络发送到DN₃；当SN₂收到重构控制命令后,SN₂提高重构读请求优先级,并暂停对网络的正常传输，然后从磁盘读取参与此次重构的数据,并将第1个数据块通过网络发送到DN₁,同时将第2个数据块通过网络发送到DN₂,同时将第3个数据块通过网络发送到DN₃。

当DN₁收到重构控制命令后,暂停接收从网络传过来的正常写数据,并接收从SN₁，SN₂传来的参与此次重构的数据的第1个数据块；当DN₂收到重构控制命令后,暂停接收从网络传过来的正常写数据,并接收从SN₁，SN₂传来的参与此次重构的数据的第2个数据块；当DN₃收到重构控制命令后,暂停接收从网络传过来的正常写数据,并接收从SN₁，SN₂传来的参与此次重构的数据的第3个数据块。

当DN₁接收到由SN₁，SN₂传来的第1个数据块后进行重构得到有效数据分块C₁；当DN₂接收到由SN₁，SN₂传来的第2个数据块后进行重构得到有效数据分块C₂；当DN₃接收到由SN₁，SN₂传来的第3个数据块后进行重构得到有效数据分块C₃。

综上所述，本发明的方法具有以下的优点：

（1）并行处理来自同源节点的重构所需数据：通过步骤（3）和步骤（4），采用分布式解码算法，将来自同源节点的重构所需数据分块，并将不同的块传到不同的目的节点参与重构，使得重构目的节点能够并行地接收重构所需的数据，有效提高重构带宽，从而加快重构速度。

（2）加快读取参与重构数据的速度：由于重构源节点在进行重构任务时，正常的工作任务也需要读取磁盘步骤，通过（2）步骤提高了重构任务对磁盘读取请求的优先级，从而提高了重构源节点从磁盘读取参与重构的数据的速度。

（3）充分利用网络带宽：由于在步骤（2）中暂停了重构源节点对网络正常的输出，同时暂停重构目的节点从网络接收正常的写数据，减少了正常进程对网络带宽的占用，从而提高了参与重构的数据在网络中的传输速度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种提高基于纠删码的存储集群恢复性能的方法，其特征在于，包括以下步骤：

(1)重构控制节点向重构源节点SN₁，SN₂，...，SN_x发送重构读请求，同时向重构目的节点DN₁，DN₂，...，DN_y发送重构写请求，其中x为重构源节点的数量，y为重构目的节点的数量；

(2)所有的重构源节点SN₁，SN₂，...，SN_x根据重构读请求执行重构读优化，同时所有的重构目的节点DN₁，DN₂，...，DN_y根据重构写请求执行重构写优化；

(3)每个重构源节点SN₁，SN₂，...，SN_x分别从磁盘读取参与此次重构的数据data₁、data₂、...、data_y，并分别将数据分成y个数据块data₁₁，data₁₂，data₁₃，...，data_1y、data₂₁，data₂₂，data₂₃，...，data_2y…data_x1，data_x2，data_x3，...，data_xy；

(4)所有的重构源节点SN₁，SN₂，...，SN_x分别将此次参与重构的数据的y个数据块data₁₁，data₁₂，data₁₃，...，data_1y、data₂₁，data₂₂，data₂₃，...，data_2y…data_x1，data_x2，data_x3，...，data_xy通过网络同时传输到对应的重构目的节点DN₁，DN₂，...，DN_y上；

(5)每个重构目的节点DN₁，DN₂，...，DN_y分别采用重构算法将接收到的来自所有重构源节点SN₁，SN_2，...，SN_x的数据块data₁₁，data₂₁，…data_x1、data₁₂，data₂₂，…data_x2…data_1y，data_2y，…data_xy进行重构，以得到完整有效的数据块C₁、C₂…C_y；

(6)每一个重构目的节点DN₁，DN₂，...，DN_y分别将重构得到的数据块C₁、C₂、…C_y返回客户端。

2.根据权利要求1所述的方法，其特征在于，步骤(2)具体为，所有的重构源节点SN₁，SN₂，...，SN_x提高重构读请求的优先级，根据不同的优先级设置读任务队列，将重构读请求在读任务队列中提高至最高优先级处，使得重构源节点SN₁，SN₂，...，SN_x会优先执行重构读请求，并暂停通过网络发送正常的数据，当本机上的重构任务完成后，所有的重构源节点SN₁，SN₂，...，SN_x恢复正常工作流程，所有的重构目的节点DN₁，DN₂，...，DN_y暂停通过网络接收正常的写数据，当本机上的重构任务完成后，所有的重构目的节点DN₁，DN₂，...，DN_y恢复正常的写流程。

3.根据权利要求1所述的方法，其特征在于，参与此次重构的数据包括基于纠删码的存储集群通过纠删码算法将原数据进行编码得到的少量冗余数据以及原数据。

4.根据权利要求1所述的方法，其特征在于，重构算法是根据不同纠删码的解码矩阵，利用参与此次重构的数据通过异或操作或查表操作重新计算出不可用数据块。