CN112783688A - 一种基于可用分区级的纠删码数据恢复方法及装置 - Google Patents

Abstract

本申请公开了一种基于可用分区级的纠删码数据恢复方法及装置，该方法包括：获取数据恢复请求；响应所述数据恢复请求，在数据恢复过程中若发生节点故障，则确定节点故障类型；根据所述节点故障类型，选择对应的目标恢复策略；根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复。通过实施本申请，能有效解决数据恢复过程中出现的节点故障问题，减少数据恢复所占的带宽、减少网络延迟，还能加快数据恢复效率，提升数据恢复性能。

Description

一种基于可用分区级的纠删码数据恢复方法及装置

技术领域

本申请涉及云存储技术领域，特别是涉及一种基于可用分区级的纠删码数据恢复方法及装置。

背景技术

现代数据存储系统使用擦除码来提供高可靠性和低存储开销。当前擦除编码技术的主要问题是在恢复节点故障时，会产生很高的网络流量。最近开发的可用区AZ(Availability Zones)-Recovery纠删码架构能找到最佳恢复路径，以减少各种网络配置情况下的带宽占用率。但随着存储系统的容量越来越大，节点故障出现的概率愈加频繁，所以在数据恢复过程中发生故障的情况也会越来越多。

因此，在数据恢复过程中发生节点故障时如何提供一种更高效地数据恢复方案是目前亟需解决的问题。

发明内容

为克服上述现有技术存在的不足，本申请之目的在于提供一种基于可用分区AZ级的纠删码数据恢复方法及装置，能减少网络时延、提高数据恢复性能，从而加快数据恢复效率。

为达上述及其它目的，本申请提出一种基于可用分区级的纠删码数据恢复方法，包括如下步骤：

获取数据恢复请求，所述数据恢复请求用于请求恢复第一节点的丢失数据块；

响应所述数据恢复请求，在数据恢复过程中若发生节点故障，则确定节点故障类型；

根据所述节点故障类型，选择对应的目标恢复策略；

根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复。

可选的，所述数据恢复请求具体用于请求从目标分区中读取存储于第二节点的目标数据块，以基于读取的所述目标数据块实现所述第一节点的数据恢复；且支持跨可用分区或同一可用分区的数据恢复。

可选的，所述节点故障类型为主节点故障，所述目标恢复策略为第一恢复策略，则所述根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复包括：

在云存储系统拉起新的主节点后，重新根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中。

可选的，所述节点故障类型为已缓存节点故障，所述目标恢复策略为第二恢复策略，则所述根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复包括：

根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

根据所述第二恢复策略的指示，从所述数据缓存模块中获取已缓存节点的目标数据块，并将所述已缓存节点的目标数据块写入云存储系统新拉起的已缓存节点中，以实现所述已缓存节点的数据恢复；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中；

其中，所述已缓存节点故障用于指示在数据恢复过程中主节点已缓存所述已缓存节点的目标数据块后，所述已缓存节点发生了故障；所述已缓存节点为所述第二节点中的任一节点。

可选的，所述节点故障类型为未缓存节点故障，所述目标恢复策略为第三恢复策略，则所述根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复包括：

根据所述第三恢复策略的指示，为所述第一节点和所述未缓存节点生成新的数据恢复请求；

响应所述新的数据恢复请求，实现所述第一节点和所述未缓存节点的数据恢复；

其中，所述未缓存节点故障用于指示在数据恢复过程中主节点未缓存完所述未缓存节点的目标数据块时，所述未缓存节点发生了故障；所述未缓存节点为所述第二节点中的任一节点。

为达上述及其它目的，本申请还提供一种基于可用分区级的纠删码数据恢复装置，包括：

获取单元，用于获取数据恢复请求，所述数据恢复请求用于请求恢复第一节点的丢失数据块；

确定单元，用于响应所述数据恢复请求，在数据恢复过程中若发生节点故障，则确定节点故障类型；

选择单元，用于根据所述节点故障类型，选择对应的目标恢复策略；

恢复单元，用于根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复。

可选的，所述数据恢复请求具体用于请求从目标分区中读取存储于第二节点的目标数据块，以基于读取的所述目标数据块实现所述第一节点的数据恢复；且支持跨可用分区或同一可用分区的数据恢复。

可选的，所述节点故障类型为主节点故障，所述目标恢复策略为第一恢复策略，所述恢复单元具体用于：

在云存储系统拉起新的主节点后，重新根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中。

可选的，所述节点故障类型为已缓存节点故障，所述目标恢复策略为第二恢复策略，所述恢复单元具体用于：

根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

根据所述第二恢复策略的指示，从所述数据缓存模块中获取已缓存节点的目标数据块，并将所述已缓存节点的目标数据块写入云存储系统新拉起的已缓存节点中，以实现所述已缓存节点的数据恢复；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中；

其中，所述已缓存节点故障用于指示在数据恢复过程中主节点已缓存所述已缓存节点的目标数据块后，所述已缓存节点发生了故障；所述已缓存节点为所述第二节点中的任一节点。

可选的，所述节点故障类型为未缓存节点故障，所述目标恢复策略为第三恢复策略，所述恢复单元具体用于：

根据所述第三恢复策略的指示，为所述第一节点和所述未缓存节点生成新的数据恢复请求；

响应所述新的数据恢复请求，实现所述第一节点和所述未缓存节点的数据恢复；

其中，所述未缓存节点故障用于指示在数据恢复过程中主节点未缓存完所述未缓存节点的目标数据块时，所述未缓存节点发生了故障；所述未缓存节点为所述第二节点中的任一节点。

由上可见本申请提供了一种基于可用分区级的纠删码数据恢复方法及装置，能达到以下有益效果：能有效解决数据恢复过程中出现的节点故障问题，减少数据恢复所占的带宽、减少网络延迟，还能加快数据恢复效率，提升数据恢复性能。

附图说明

图1是本申请实施例提供的一种基于可用分区级的纠删码数据恢复方法的流程示意图。

图2是本申请实施例提供的一种基于可用分区级的纠删码数据恢复装置的结构示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本申请的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本申请的其它优点与功效。本申请亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本申请的精神下进行各种修饰与变更。

本申请在研究了如何使AZ-Recovery架构在应对数据恢复过程中发生的节点故障时更有效，同时调查分析了针对出现不同节点故障情况下如何减少网络延迟并加快数据恢复过程中的现有策略，在此基础上本申请设计提出一种在数据恢复过程中出现节点故障时能够提供最优数据恢复性能的方法及装置，即本申请针对复杂的网络架构设计了专属的可用分区级别的纠删码数据恢复策略。

请参见图1，是本申请实施例提供的一种基于可用分区级的纠删码数据恢复方法的流程示意图。如图1所示的方法包括如下实施步骤：

S101、获取数据恢复请求，所述数据恢复请求用于请求恢复第一节点的丢失数据块。

在可用分区的云存储系统中的任一节点发生故障后，云存储系统可拉起一个新节点来替代原始节点，并发起对应的数据恢复请求，以恢复原始节点中的丢失数据，进而继续提供相应的业务服务。

本申请涉及的可用分区中部署有多个节点，这些节点中有一个为主节点(masternode)，其它剩余的节点可称为从节点。所述节点可包括但不限于服务器、计算机等网络设备。

具体地，本申请可获取云存储系统中任一第一节点发起的数据恢复请求，该数据恢复请求可用于请求恢复第一节点的丢失数据块，其具体可用于请求从目标分区中读取存储于第二节点的目标数据块，便于后续基于所读取的目标数据块实现第一节点中丢失数据块的恢复。其中，所述目标分区可为所述第一节点所在的可用分区，或者也可为其他可用分区，换句话说即是本申请支持同一可用分区或者跨可用分区的数据读取和恢复。

S102、响应所述数据恢复请求，在数据恢复过程中若发生节点故障，则确定节点故障类型。

本申请在响应数据恢复请求进行数据恢复的过程中还可能发生(节点)故障，此时需确定对应的节点故障类型。通常分为两大类：主节点故障和缓存节点的节点故障。如果是主节点在数据恢复过程中发生故障，则它管理缓存的所有数据块都将丢失、以及可能正在传输的来自其他分区的数据块也将丢失。如果其他故障涉及已经缓存的节点(可称为已缓存节点)，即主节点已从已缓存节点中读取相应地数据块后，该已缓存节点才发生故障。则系统新拉起的节点可立即通过从主节点中复制相应地数据块来恢复。如果其他故障涉及未缓存的节点(可称为未缓存节点)，即主节点并未从未缓存节点中读取完相应地数据块，此时该未缓存节点就发生了故障。则本申请需重新设计相应地数据恢复策略，生成新的数据恢复请求，进而依据新的数据恢复请求进行相应节点中数据块的恢复。

S103、根据所述节点故障类型，选择对应的目标恢复策略。

S104、根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复。

作为一种可能的实施方式，若所述节点故障类型为主节点故障，所述目标恢复策略为第一恢复策略，则依据所述第一恢复策略的指示，在云存储系统拉起新的主节点后，主节点重新响应所述数据恢复请求，从目标(可用)分区中读取存储于第二节点的目标数据块，该目标分区可为主节点所在的可用分区，也可为其他分区，且所述目标分区的数量不做限定，其根据实际需求设定。进一步可选地，主节点可将读取的目标数据块存储于自身的数据缓存模块中，便于后续使用。接着，主节点可对读取的目标数据块进行恢复计算，恢复得到第一节点的丢失数据块，然后将该丢失数据块重新写入到第一节点中，从而实现第一节点的数据丢失恢复。

作为另一种可能的实施方式，若所述节点故障类型为已缓存节点故障，所述目标恢复策略为第二恢复策略，则可确定主节点中已缓存了发生故障的已缓存节点的数据块。相应地当云存储系统拉起新的已缓存节点后，该新的已缓存节点可直接从主节点的数据缓存模块中复制之前存储的相应数据块，从而实现已缓存节点的数据恢复。此外由于这种情况下主节点并未发生故障，主节点仍可继续响应所述数据恢复请求，从目标分区中读取存储于第二节点的目标数据块，并将所读取的目标数据块写入数据缓存模块中。进而对所读取的目标数据块进行恢复计算，得出第一节点的丢失数据块。最后将恢复出的丢失数据块写入第一节点中，从而完成第一节点的数据恢复。

作为另一种可能的实施方式，若所述节点故障类型为未缓存节点故障，所述目标恢复策略为第三恢复策略，由于此时主节点中并未完全缓存未缓存节点的目标数据块，进而无法使用该目标数据块实现第一节点的数据恢复。因此，本申请可根据第三恢复策略的指示，为第一节点和未缓存节点重新生成新的数据恢复请求，该新的数据恢复请求用于请求恢复第一节点和未缓存节点中的丢失数据块。在实际应用中，该新的数据恢复请求具体可用于请求从新可用分区中读取存储于目标节点的数据块，便于后续基于读取的数据块实现相应节点的数据恢复，关于如何实现数据恢复可具体参考前文的相关介绍，这里不再赘述。

通过实施本申请实施例，相比于现有技术而言，本申请对数据恢复过程中发生的节点故障做了相应研究，考虑了数据恢复过程中发生节点故障的各种情况，并对其进行分类总结及提供了相应地数据恢复策略，进而按照对应的数据恢复策略可更高效地实现相应节点的数据恢复，此外还能减少数据恢复占用的网络带宽和网络时延，提高数据恢复性能，加快数据恢复效率。

请参见图2，是本申请实施例提供的一种基于可用分区级的纠删码数据恢复装置的结构示意图。如图2所示的装置包括获取单元201、确定单元202、选择单元203以及恢复单元204。其中，

所述获取单元201，用于获取数据恢复请求，所述数据恢复请求用于请求恢复第一节点的丢失数据块；

所述确定单元202，用于响应所述数据恢复请求，在数据恢复过程中若发生节点故障，则确定节点故障类型；

所述选择单元203，用于根据所述节点故障类型，选择对应的目标恢复策略；

所述恢复单元204，用于根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复。

可选的，所述数据恢复请求具体用于请求从目标分区中读取存储于第二节点的目标数据块，以基于读取的所述目标数据块实现所述第一节点的数据恢复；且支持跨可用分区或同一可用分区的数据恢复。

可选的，所述节点故障类型为主节点故障，所述目标恢复策略为第一恢复策略，所述恢复单元204具体用于：

在云存储系统拉起新的主节点后，重新根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中。

可选的，所述节点故障类型为已缓存节点故障，所述目标恢复策略为第二恢复策略，所述恢复单元204具体用于：

根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

根据所述第二恢复策略的指示，从所述数据缓存模块中获取已缓存节点的目标数据块，并将所述已缓存节点的目标数据块写入云存储系统新拉起的已缓存节点中，以实现所述已缓存节点的数据恢复；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中；

其中，所述已缓存节点故障用于指示在数据恢复过程中主节点已缓存所述已缓存节点的目标数据块后，所述已缓存节点发生了故障；所述已缓存节点为所述第二节点中的任一节点。

可选的，所述节点故障类型为未缓存节点故障，所述目标恢复策略为第三恢复策略，所述恢复单元204具体用于：

根据所述第三恢复策略的指示，为所述第一节点和所述未缓存节点生成新的数据恢复请求；

响应所述新的数据恢复请求，实现所述第一节点和所述未缓存节点的数据恢复；

其中，所述未缓存节点故障用于指示在数据恢复过程中主节点未缓存完所述未缓存节点的目标数据块时，所述未缓存节点发生了故障；所述未缓存节点为所述第二节点中的任一节点。

通过实施本申请实施例，相比于现有技术而言，本申请对数据恢复过程中发生的节点故障做了相应研究，考虑了数据恢复过程中发生节点故障的各种情况，并对其进行分类总结及提供了相应地数据恢复策略，进而按照对应的数据恢复策略可更高效地实现相应节点的数据恢复，此外还能减少数据恢复占用的网络带宽和网络时延，提高数据恢复性能，加快数据恢复效率。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何本领域技术人员均可在不违背本申请的精神及范畴下，对上述实施例进行修饰与改变。因此，本申请的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于可用分区级的纠删码数据恢复方法，其特征在于，包括：

获取数据恢复请求，所述数据恢复请求用于请求恢复第一节点的丢失数据块；

响应所述数据恢复请求，在数据恢复过程中若发生节点故障，则确定节点故障类型；

根据所述节点故障类型，选择对应的目标恢复策略；

根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复。

2.根据权利要求1所述的基于可用分区级的纠删码数据恢复方法，其特征在于，所述数据恢复请求具体用于请求从目标分区中读取存储于第二节点的目标数据块，以基于读取的所述目标数据块实现所述第一节点的数据恢复；且支持跨可用分区或同一可用分区的数据恢复。

3.根据权利要求2所述的基于可用分区级的纠删码数据恢复方法，其特征在于，所述节点故障类型为主节点故障，所述目标恢复策略为第一恢复策略，则所述根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复包括：

在云存储系统拉起新的主节点后，重新根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中。

4.根据权利要求2所述的基于可用分区级的纠删码数据恢复方法，其特征在于，所述节点故障类型为已缓存节点故障，所述目标恢复策略为第二恢复策略，则所述根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复包括：

根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

根据所述第二恢复策略的指示，从所述数据缓存模块中获取已缓存节点的目标数据块，并将所述已缓存节点的目标数据块写入云存储系统新拉起的已缓存节点中，以实现所述已缓存节点的数据恢复；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中；

其中，所述已缓存节点故障用于指示在数据恢复过程中主节点已缓存所述已缓存节点的目标数据块后，所述已缓存节点发生了故障；所述已缓存节点为所述第二节点中的任一节点。

5.根据权利要求2所述的基于可用分区级的纠删码数据恢复方法，其特征在于，所述节点故障类型为未缓存节点故障，所述目标恢复策略为第三恢复策略，则所述根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复包括：

根据所述第三恢复策略的指示，为所述第一节点和所述未缓存节点生成新的数据恢复请求；

响应所述新的数据恢复请求，实现所述第一节点和所述未缓存节点的数据恢复；

其中，所述未缓存节点故障用于指示在数据恢复过程中主节点未缓存完所述未缓存节点的目标数据块时，所述未缓存节点发生了故障；所述未缓存节点为所述第二节点中的任一节点。

6.一种基于可用分区级的纠删码数据恢复装置，其特征在于，包括：

获取单元，用于获取数据恢复请求，所述数据恢复请求用于请求恢复第一节点的丢失数据块；

确定单元，用于响应所述数据恢复请求，在数据恢复过程中若发生节点故障，则确定节点故障类型；

选择单元，用于根据所述节点故障类型，选择对应的目标恢复策略；

恢复单元，用于根据所述目标恢复策略，恢复所述节点故障对应的节点数据，并实现所述第一节点的丢失数据块的恢复。

7.根据权利要求6所述的基于可用分区级的纠删码数据恢复装置，其特征在于，所述数据恢复请求具体用于请求从目标分区中读取存储于第二节点的目标数据块，以基于读取的所述目标数据块实现所述第一节点的数据恢复；且支持跨可用分区或同一可用分区的数据恢复。

8.根据权利要求7所述的基于可用分区级的纠删码数据恢复装置，其特征在于，所述节点故障类型为主节点故障，所述目标恢复策略为第一恢复策略，所述恢复单元具体用于：

在云存储系统拉起新的主节点后，重新根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中。

9.根据权利要求7所述的基于可用分区级的纠删码数据恢复装置，其特征在于，所述节点故障类型为已缓存节点故障，所述目标恢复策略为第二恢复策略，所述恢复单元具体用于：

根据所述数据恢复请求的指示从目标分区中读取存储于第二节点中的目标数据块，并将读取的所述目标数据块存储于数据缓存模块中；

根据所述第二恢复策略的指示，从所述数据缓存模块中获取已缓存节点的目标数据块，并将所述已缓存节点的目标数据块写入云存储系统新拉起的已缓存节点中，以实现所述已缓存节点的数据恢复；

对读取的所述目标数据块进行恢复计算，得到所述丢失数据块，并将所述丢失数据块写入所述第一节点中；

其中，所述已缓存节点故障用于指示在数据恢复过程中主节点已缓存所述已缓存节点的目标数据块后，所述已缓存节点发生了故障；所述已缓存节点为所述第二节点中的任一节点。

10.根据权利要求7所述的基于可用分区级的纠删码数据恢复装置，其特征在于，所述节点故障类型为未缓存节点故障，所述目标恢复策略为第三恢复策略，所述恢复单元具体用于：

根据所述第三恢复策略的指示，为所述第一节点和所述未缓存节点生成新的数据恢复请求；

响应所述新的数据恢复请求，实现所述第一节点和所述未缓存节点的数据恢复；

其中，所述未缓存节点故障用于指示在数据恢复过程中主节点未缓存完所述未缓存节点的目标数据块时，所述未缓存节点发生了故障；所述未缓存节点为所述第二节点中的任一节点。

Images