CN114064362B - 用于分布式存储中的数据恢复方法、系统及计算机可读存储介质 - Google Patents

Abstract

本公开的实施例涉及分布式存储中的数据恢复方法及系统。在该方法中，包括：获取数据存储节点的状态信息；基于状态信息，通过数据恢复服务节点生成数据恢复任务，并且将数据恢复任务发送到数据存储节点；获取数据存储节点的当前业务负载指标和当前数据恢复速率；将当前业务负载指标和当前数据恢复速率与预配置的阈值进行比较，获得比较结果；根据比较结果调整数据存储节点的当前数据恢复限速值；基于当前数据恢复限速值执行数据恢复任务。通过使用这种方法，可以针对数据存储节点的状态生成数据恢复任务，还可以通过弹性限速的方式减少数据恢复任务对业务的影响并且同时提供良好的数据恢复性能。

Description

用于分布式存储中的数据恢复方法、系统及计算机可读存储 介质

技术领域

本公开的实施例主要涉及数据处理技术领域。并且更具体地，涉及用于分布式存储中的数据恢复方法、系统以及计算机可读存储介质。

背景技术

分布式存储系统将分布在集群中多个物理节点的存储资源聚合为一个统一的资源池，对外提供虚拟块设备服务。在分布式存储系统中，虚拟块设备会拆分为多个固定大小的数据块，便于统一管理。每个数据块以多副本形式存储到不同的数据存储节点上，保证故障冗余。常见的副本数量为两个或以上，只要其中一个副本有效，数据就不会丢失。

当集群发生节点失联、磁盘数据损坏等事件，位于故障节点或者磁盘的数据副本将无法访问。数据恢复是应对副本故障的一种常用技术。存储系统发现有数据副本故障，触发数据恢复动作，以现存有效副本所在的数据存储节点作为源节点，从集群中选择一个数据存储节点作为目的节点，将副本数据拷贝到目的节点，以恢复数据块的期望数据副本数量。对于单个数据块的数据副本数量恢复过程可以被称为数据恢复任务。

如果在恢复期间剩余的有效副本再次发生故障，导致所有副本都丢失，则数据将难以挽回。因此，当数据副本发生丢失时，数据恢复任务需要尽快完成。另一方面，数据恢复任务会占用源节点和目的节点的网络和存储带宽，如果数据恢复过于激进，可能会影响数据存储节点上的用户的业务I/O。

发明内容

本公开的实施例提供了一种用于分布式存储中的数据恢复方法、系统、电子设备、计算机可读存储介质和计算机程序产品。

在本公开的第一方面中，提供了一种用于分布式存储中的数据恢复方法。该方法包括：获取数据存储节点的状态信息；基于状态信息，通过数据恢复服务节点生成数据恢复任务，并且将数据恢复任务发送到数据存储节点；获取数据存储节点的当前业务负载指标和当前数据恢复速率；将当前业务负载指标和当前数据恢复速率与预配置的阈值进行比较，获得比较结果；根据比较结果调整数据存储节点的当前数据恢复限速值；基于当前数据恢复限速值执行数据恢复任务。

在本公开的第二方面中，提供了一种用于分布式存储中的数据恢复系统。该系统包括：数据存储节点，被配置为管理数据存储节点的状态信息并且以弹性限速方式执行数据恢复任务；数据恢复服务节点，被配置为获取数据存储节点的状态信息并且基于状态信息生成数据恢复任务，以及将数据恢复任务发送到数据存储节点。

在本公开的第三方面中，提供了一种电子设备。该电子设备包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面的方法。

在本公开的第五方面中，提供了一种计算机程序产品。该计算机程序产品包括一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面的方法。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了根据本公开的实施例的示例性用于分布式存储中的数据恢复架构100的示意性框图；

图2示出了根据本公开的实施例的示例性用于分布式存储中的数据恢复方法200的流程图；

图3示出了根据本公开的实施例的示例性弹性限速方式的示意图；

图4示出了根据本公开的实施例的示例性数据恢复任务源节点和目的节点确定方法400的流程图；

图5示出了根据本公开的实施例的用于分布式存储中的数据恢复系统500的示意性框图；以及

图6示出了可以用来实现本公开的实施例的示例电子设备600的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本文中使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。

发明人注意到，在分布式块存储系统中，数据恢复是应对副本故障的一种常用技术。数据恢复任务是对于单个数据块的数据恢复过程。数据恢复任务以现存有效数据副本所在的数据存储节点作为源节点，从集群中选择一个数据存储节点作为目的节点，将副本数据拷贝到目的节点，以达到期望副本数量。当数据副本发生丢失时，数据恢复任务需要尽快完成以避免副本全部丢失的情况。另一方面，数据恢复任务会占用源节点和目的节点的网络和存储带宽，如果数据恢复过于激进，可能会影响用户的业务I/O。

发明人还注意到，数据存储节点通常以固定的保守限速执行数据恢复任务。即便在节点业务空闲的情况下，数据恢复任务依旧保持保守的速率，无法充分利用节点的I/O能力。这会增加由于数据副本的故障叠加而带来的数据损失风险。

另外，现有的在分布式块存储系统中通常采用随机方式选择数据恢复任务的源节点和目的节点，没有考虑每个节点的实时负载情况。在数据恢复期间，有的节点可能同时承载着较大的业务I/O压力，将影响集群的整体恢复性能，此时应该减少对其分配的数据恢复任务量。

为了至少部分地解决上述问题中的一些问题，本公开的实施例提供了一种用于分布式存储中的数据恢复方案，可以根据数据存储节点的状态生成数据恢复任务，并且可以动态调节数据存储节点执行数据恢复任务的速率。

图1示出了根据本公开的实施例的用于分布式存储中的数据恢复架构100的示意性框图。本公开提供的数据恢复方法和/或设备和/或系统可以在数据恢复架构100中被实施。

示例性的，数据恢复架构100包括数据存储节点106、108、110、112和数据恢复服务节点102、104。其中，数据恢复服务节点102为运行的数据恢复服务节点，数据恢复服务节点104为备份的数据恢复服务节点。将理解的是，所示出的数据存储节点和数据恢复服务节点的数目仅是为了便于说明，该系统可以包括更多的数据存储节点和/或数据恢复服务节点。

数据存储节点106、108、110、112用于存放数据块的副本，管理数据存储节点的状态以及执行数据恢复任务。数据存储节点106、108、110、112可以跟据其自身的负载情况动态调节数据恢复任务的限速，以实现既能保证业务繁忙时业务性能不受较大影响，又能保证业务空闲时尽快完成数据恢复。

数据恢复服务节点102、104用于生成数据恢复任务以及调度数据恢复任务到各个数据存储节点。数据恢复服务节点102、104可以根据每个数据存储节点的负载情况分配和调度数据恢复任务，充分发挥各个数据存储节点的处理能力，提高恢复性能。

如图1中所示，当数据存储节点106中的数据块1副本114和数据块2副本116发生故障的情况下，数据恢复服务节点102将根据各个数据存储节点的状态生成数据恢复任务并下发到作为源节点的数据存储节点108。数据存储节点108根据数据恢复任务的指示将其具有的数据块1副本118和数据块2副本120拷贝到数据存储节点110和112，以实现数据块1和数据块2的副本数量的恢复。在数据恢复的过程中，数据存储节点108、110以及112以其负载情况动态调节当前数据恢复任务的限速。

下文将结合附图详细来描述根据本公开的实施例的用于分布式存储中的数据恢复方案。为了便于理解，在下文描述中提及的具体数据均是示例性的，并不用于限定本公开的保护范围。应当理解，所描述的方法可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。

图2示出了根据本公开的实施例的示例性用于分布式存储中的数据恢复方法200的流程图。

在框202处，获取数据存储节点的状态信息。

在一些实施例中，数据存储节点周期性地采集其状态信息并上报到数据恢复服务节点。

在一些实施例中，数据存储节点通过心跳机制上报状态信息。

在一些实施例中，数据存储节点的状态信息可以包括负载信息和数据副本信息。

在一些实施例中，负载信息可以包括该数据存储节点的当前数据恢复任务数量、剩余缓存容量和剩余存储容量。

在框204处，基于状态信息，通过数据恢复服务节点生成数据恢复任务，并且将数据恢复任务发送到数据存储节点。

在一些实施例中，数据恢复服务节点周期性地基于收到的数据存储节点的状态信息检查是否存在数据副本故障并且确定待恢复数据块。示例性地，当有数据块副本在较长的时间内(例如，10分钟)没有被数据存储节点上报数据副本信息，则该副本被视为无效副本。数据恢复服务节点定期检查系统中的每个数据块的有效数据副本数量。如果有效副本数小于预期的副本数，则相应的数据块将被加入待恢复队列中。示例性地，检查间隔可以为可配置值的时间(例如，1分钟)。在系统数据块数量较大的情况下，可以采取分多轮扫描的方式。

如果待恢复队列中存在数据块，则生成数据恢复任务，之后基于待恢复数据块查找具有该数据块的有效数据副本的数据存储节点，并且根据相应的负载信息从具有有效数据副本的数据存储节点中确定数据恢复任务的源节点以及从源节点以外的其他数据存储节点确定数据恢复任务的目的节点。具体的源节点和目的节点确定方法将在下文中更详细地描述。

在一些实施例中，数据恢复服务节点通过心跳机制发送数据恢复任务到相应的数据存储节点。

在框206处，获取数据存储节点的当前业务负载指标和当前数据恢复速率。

由于系统的I/O可以划分为业务I/O和数据恢复I/O两类。在数据副本的发送过程中，为了在加速数据恢复任务的同时避免影响业务I/O性能，本公开提出了一种动态调节当前数据恢复限速值的策略，即弹性限速方式。弹性限速的目标是遵循业务I/O优先的原则，根据业务I/O的繁忙情况，通过动态调整当前数据恢复限速值，实现对数据恢复I/O的速率进行弹性调节。因此，数据存储节点需要获取其当前业务负载指标和当前数据恢复速率。

在一些实施例中，数据存储节点的当前业务负载指标包括业务I/O每秒操作数量IOPS(I/O per Second)和业务I/O每秒传输字节数BPS(Bytes per Second)。

在一些实施例中，数据存储节点以可配置的周期获取当前业务负载指标和当前数据恢复速率。

在框208处，将当前业务负载指标和当前数据恢复速率与预配置的阈值进行比较，获得比较结果。

在一些实施例中，预配置的阈值包括第一阈值、第二阈值、第三阈值以及第四阈值。

在一些实施例中，第一阈值是基于可配置的基础业务I/O每秒操作数量IOPS值和可配置的繁忙因子而确定的。第一阈值作为业务I/O的IOPS阈值，以评判业务I/O是否繁忙。示例性的，第一阈值可以取值为：1000*繁忙因子。

在一些实施例中，第二阈值是基于可配置的基础业务I/O每秒传输字节数BPS和可配置的繁忙因子而确定的。第二阈值作为业务I/O的BPS阈值，以评判业务I/O是否繁忙。示例性的，第二阈值可以取值为：100MB/s*繁忙因子。

在一些实施例中，第三阈值是基于当前数据恢复限速值和可配置的第一比例值而确定的，以判断当前数据恢复速率是否接近当前数据恢复限速值。示例性的，第一比例值可以是80％。

在一些实施例中，第四阈值是基于数据存储节点的带宽(例如，数据存储节点的多个磁盘的BPS之和与数据存储节点的网卡带宽的较小值)和第二比例值而确定的。第四阈值表示每个数据存储节点所允许的最大恢复速率。该速率不能完全占满磁盘和网络带宽，否则当数据恢复任务以该速率全速运行时，业务I/O可能无法进入到系统中竞争带宽。示例性的，第二比例值可以是40％。

示例性的，表1示出了用于计算上述数据存储节点带宽的不同磁盘介质的单个磁盘BPS，以及用于计算上述第一阈值和第二阈值的不同磁盘介质的繁忙因子。

表1：

磁盘介质	单个磁盘BPS	繁忙因子
			SATA HDD	30MB/s	1
SATA SSD	250MB/s	1.5
			NVMe SSD	600MB/s	5
PMEM	700MB/s	7

在框210处，根据比较结果调整数据存储节点的当前数据恢复任务限速。

当第一负载指标大于等于第一阈值或者第二负载指标大于等于第二阈值时，表示当前业务I/O负载较高，因此将当前数据恢复限速值调整为可配置的默认恢复速率。在一些实施例中，默认恢复速率可以基于第四阈值确定。示例性的，默认恢复速率＝0.2*第四阈值。

当第一负载指标小于第一阈值并且第二负载指标小于第二阈值，同时当前数据恢复速率大于第三阈值并且最高恢复限速小于第四阈值时，表明数据恢复速度快要达到当前数据恢复限速值，但并未达到所允许的最大恢复速率。因此可以提高当前数据恢复限速值，起到加速数据恢复的目的。在一些实施例中，可以通过可配置的倍数调整当前数据恢复限速值。示例性的，可配置的倍数可以是1.5倍。

以上步骤实现了以弹性限速的方式调整数据存储节点的当前数据恢复限速值。

在框212处，基于当前数据恢复限速值执行数据恢复任务。

数据存储节点根据接收到数据恢复任务和当前数据恢复限速值，将相应的本地数据副本拷贝到目的数据存储节点。

在一些实施例中，数据存储节点在完成数据恢复服务后将任务状态汇报给数据恢复服务节点。数据恢复服务节点在数据恢复失败的情况下，重新传送数据恢复任务。

图3示出了根据本公开的实施例的示例性弹性限速方式的示意图。

如图3所示，在数据存储节点所允许的最大恢复速率(第四阈值)被设置为500MB/s的情况下，默认恢复速率被配置为100MB/s，初始的数据存储节点的当前数据恢复限速值为100MB/s。在数据恢复初始阶段，由于数据存储节点的业务I/O压力比较小，该数据存储节点的当前数据恢复限速值很快攀升，直到达到所允许的最大恢复速率(第四阈值)500MB/s，(示例性的，每次判断是否需要提升限速的检查间隔为4s，每次提升至原值的1.5倍)，并以此恢复速度尽力恢复数据。当检测到数据存储节点的业务I/O压力变大时，数据存储节点的当前数据恢复限速值立刻降低到100MB/s(默认恢复速率)，以保证业务I/O运行。当业务I/O变小后，当前数据恢复限速值则又开始提高。

图4示出了根据本公开的实施例的示例性数据恢复任务源节点和目的节点确定方法400的流程图。

在框402处，将具有待恢复数据块的有效副本的数据存储节点作为数据恢复任务的候选源节点，以及将候选源节点以外的其他数据存储节点作为数据恢复任务的候选目的节点。

在框404处，将具有更低当前数据恢复任务数量的候选源节点/候选目的节点作为数据恢复任务的源节点/目的节点。

在一些实施例中，数据恢复服务节点首先统计各个候选源节点当前正在处理的恢复任务数量，并选择任务数量较少的节点，以便加速恢复。在数据存储节点作为源节点时，需要从磁盘中读取数据；在数据存储节点作为目的节点时，需要向磁盘中写入数据，两种情况都需要占用数据存储节点的磁盘带宽。因此，无论数据存储节点作为源节点还是目的节点，其正在执行的数据恢复任务都会计算到该节点当前数据恢复任务数量中。

在框406处，在候选源节点/候选目的节点的当前数据恢复任务数量相同的情况下，将具有更高的剩余缓存容量的候选源节点/候选目的节点作为数据恢复任务的源节点/目的节点。

剩余缓存容量越大，恢复速率越快。因此优选缓存容量更大的节点。

在框408处，在候选源节点/候选目的节点中的剩余缓存容量相同的情况下，将具有更高的剩余存储容量的候选源节点/候选目的节点作为数据恢复任务的源节点/目的节点。

优先选择剩余存储容量更多的节点，以平衡分布式存储中的数据分布。

通过上述技术方案，可以根据每个数据存储节点的负载情况分配和调度数据恢复任务，充分发挥各个数据存储节点的处理能力，提高分布式块存储系统的恢复性能，并且可以根据每个数据存储节点的负载情况动态调节数据恢复的速率，实现弹性限速方式，既能保证业务繁忙时业务性能不受较大影响，又能保证业务空闲时尽快完成数据恢复。

图5示出了根据本公开的实施例的用于分布式存储中的数据恢复系统500的示意性框图。应当理解，所示出的数据恢复系统500中节点的数目仅是为了便于说明，该系统可以包括更多的节点。

数据恢复系统500包括：数据存储节点516、526，被配置为管理数据存储节点的状态信息并且以弹性限速方式执行数据恢复任务；数据恢复服务节点502、504，被配置为获取状态信息并且基于状态信息生成数据恢复任务，以及将数据恢复任务发送到数据存储节点。

在一些实施例中，数据存储节点516、526进一步包括：状态信息管理模块520、528，被配置为以可配置的周期获取数据存储节点的状态信息并且向数据恢复服务节点上报状态信息；弹性限速控制模块522、530，被配置为以可配置的周期获取数据存储节点的业务负载指标和当前数据恢复速率，并且将当前业务负载指标和当前数据恢复速率与预配置的阈值进行比较，获得比较结果，以及根据比较结果调整数据存储节点的当前数据恢复限速值。

在一些实施例中，当前业务负载指标进一步被配置为包括第一业务负载指标和第二业务负载指标，预配置的阈值被配置为包括第一阈值、第二阈值、第三阈值以及第四阈值。

在一些实施例中，弹性限速控制模块522、530进一步被配置为：当第一负载指标大于等于第一阈值或者第二负载指标大于等于第二阈值时，将当前数据恢复限速值调整为可配置的默认恢复速率；以及当第一负载指标小于第一阈值并且第二负载指标小于第二阈值，同时当前数据恢复速率大于第三阈值并且当前数据恢复限速值小于第四阈值时，通过可配置的倍数调整当前数据恢复限速值。

在一些实施例中，第一负载指标被配置为业务I/O每秒操作数量IOPS(I/O perSecond)，第二负载指标被配置为业务I/O每秒传输字节数BPS(Bytes per Second)。

在一些实施例中，第一阈值被配置为基于可配置的基础业务I/O每秒操作数量IOPS(I/O per Second)和可配置的繁忙因子而确定，第二阈值被配置为基于可配置的基础业务I/O每秒传输字节数BPS(Bytes per Second)和可配置的繁忙因子而确定，第三阈值被配置为基于当前数据恢复限速值和可配置的第一比例值而确定，第四阈值被配置为基于数据存储节点的带宽和可配置的第二比例值而确定。

在一些实例中，数据恢复服务节点502、504进一步包括：数据块检查模块508、512，被配置为获取数据存储节点的状态信息，状态信息包括数据负载信息和数据副本信息，并且基于数据副本信息确定待恢复数据块；数据恢复任务生成模块510、514，被配置为基于待恢复数据块生成数据恢复任务，并且根据数据负载信息确定数据恢复任务的源节点和目的节点。

在一些实施例中，负载信息进一步被配置为包括数据存储节点的当前数据恢复任务数量、数据存储节点的剩余缓存容量以及数据存储节点的剩余存储容量。

在一些实施例中，数据恢复任务生成模块510、514进一步被配置为：将具有待恢复数据块的活跃副本的数据存储节点作为数据恢复任务的候选源节点，以及将候选源节点以外的其他数据存储节点作为数据恢复任务的候选目的节点；将具有更低的当前数据恢复任务数量的候选源节点/候选目的节点作为数据恢复任务的源节点/目的节点；在候选源节点/候选目的节点的当前数据恢复任务数量相同的情况下，将具有更高的剩余缓存容量的候选源节点/候选目的节点作为数据恢复任务的源节点/目的节点；在候选源节点和候选目的节点中的剩余缓存容量相同的情况下，将具有更高的剩余存储容量的候选源节点/候选目的节点作为数据恢复任务的源节点/目的节点。

在一些实施例中，数据恢复任务生成模块510、514进一步被配置为基于部分待恢复数据块生成数据恢复任务。

图6示出了可以用来实现本公开的实施例的示例电子设备600的示意性框图。例如，电子设备600可被用于实现图5中所示的数据存储节点和数据恢复服务节点。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元601执行上文所描述的方法和处理，例如过程200和过程400。例如，在一些实施例中，过程200和过程400可以被实现为计算机软件程序或计算机程序产品，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时，可以执行上文描述的过程200和过程400中的任何过程中的一个或多个步骤。备选地，在其他实施例中，CPU 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200和过程400。

本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。在一些实施例中，本公开所描述的方法可以在分布式块存储系统中使用。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、任意的非暂时性存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (14)

1.一种用于分布式存储中的数据恢复方法，包括：

获取数据存储节点的状态信息；

基于所述状态信息，通过数据恢复服务节点生成数据恢复任务，并且将所述数据恢复任务发送到所述数据存储节点；

获取所述数据存储节点的当前业务负载指标和当前数据恢复速率；

将所述当前业务负载指标和所述当前数据恢复速率与预配置的阈值进行比较，获得比较结果；

基于所述比较结果调整所述数据存储节点的当前数据恢复限速值；以及

基于所述当前数据恢复限速值执行所述数据恢复任务；

其中所述当前业务负载指标包括第一业务负载指标和第二业务负载指标，所述预配置的阈值包括第一阈值、第二阈值、第三阈值以及第四阈值，根据所述比较结果调整所述当前数据恢复限速值，包括：

当所述第一负载指标大于等于所述第一阈值或者所述第二负载指标大于等于所述第二阈值时，将所述当前数据恢复限速值调整为可配置的默认数据恢复速率；以及

当所述第一负载指标小于所述第一阈值并且所述第二负载指标小于所述第二阈值，同时所述当前数据恢复速率大于所述第三阈值并且所述当前数据恢复限速值小于所述第四阈值时，通过可配置的倍数调整所述当前数据恢复限速值；

其中所述第一阈值是基于可配置的基础业务I/O每秒操作数量和可配置的繁忙因子而确定的，所述第二阈值是基于可配置的基础业务I/O每秒传输字节数和所述可配置的繁忙因子而确定的，所述第三阈值是基于所述当前数据恢复限速值和可配置的第一比例值而确定的，所述第四阈值是基于所述数据存储节点的带宽和可配置的第二比例值而确定的；

其中所述繁忙因子是不同磁盘介质的繁忙程度上限。

2.根据权利要求1所述的方法，其中所述第一负载指标是业务I/O 每秒操作数量，所述第二负载指标是业务I/O每秒传输字节数。

3.根据权利要求1所述的方法，其中所述数据存储节点的状态信息包括数据负载信息和数据副本信息；所述数据负载信息包括所述数据存储节点的当前数据恢复任务数量、所述数据存储节点的剩余缓存容量以及所述数据存储节点的剩余存储容量。

4.根据权利要求3所述的方法，其中生成所述数据恢复任务包括：

根据所述数据副本信息确定待恢复数据块；

基于所述待恢复数据块生成所述数据恢复任务；以及

根据所述数据负载信息确定所述数据恢复任务的源节点和目的节点。

5.根据权利要求4所述的方法，其中确定所述数据恢复任务的源节点和目的节点包括：

将具有所述待恢复数据块的活跃副本的所述数据存储节点作为所述数据恢复任务的候选源节点，以及将所述候选源节点以外的其他所述数据存储节点作为所述数据恢复任务的候选目的节点；

将具有更低的所述当前数据恢复任务数量的所述候选源节点/所述候选目的节点作为所述数据恢复任务的源节点/目的节点；

在所述候选源节点/所述候选目的节点的所述当前数据恢复任务数量相同的情况下，将具有更高的所述剩余缓存容量的所述候选源节点/所述候选目的节点作为所述数据恢复任务的源节点/目的节点；以及

在所述候选源节点/所述候选目的节点中的所述剩余缓存容量相同的情况下，将具有更高的所述剩余存储容量的所述候选源节点和所述候选目的节点作为所述数据恢复任务的源节点/目的节点。

6.根据权利要求4所述的方法，进一步包括基于部分所述待恢复数据块生成所述数据恢复任务。

7.一种用于分布式存储中的数据恢复系统，包括：

数据存储节点，被配置为管理所述数据存储节点的状态信息并且以弹性限速方式执行数据恢复任务；以及

数据恢复服务节点，被配置为获取所述状态信息并且基于所述状态信息生成所述数据恢复任务，以及将所述数据恢复任务发送到所述数据存储节点；

其中所述数据存储节点包括：

状态信息管理模块，被配置为以可配置的周期获取所述数据存储节点的状态信息并且向所述数据恢复服务节点上报所述状态信息；以及

弹性限速控制模块，被配置为以可配置的周期获取所述数据存储节点的业务负载指标和当前数据恢复速率，并且将所述当前业务负载指标和所述当前数据恢复速率与预配置的阈值进行比较，获得比较结果，以及根据所述比较结果调整所述数据存储节点的当前数据恢复限速值；

其中所述当前业务负载指标被配置为包括第一业务负载指标和第二业务负载指标，所述预配置的阈值被配置为包括第一阈值、第二阈值、第三阈值以及第四阈值；

其中所述弹性限速控制模块进一步被配置为：

当所述第一负载指标大于等于所述第一阈值或者所述第二负载指标大于等于所述第二阈值时，将所述当前数据恢复限速值调整为可配置的默认恢复速率；以及

当所述第一负载指标小于所述第一阈值并且所述第二负载指标小于所述第二阈值，同时所述当前数据恢复速率大于所述第三阈值并且所述当前数据恢复限速值小于所述第四阈值时，通过可配置的倍数调整所述当前数据恢复限速值；

其中所述第一阈值被配置为基于可配置的基础业务I/O每秒操作数量和可配置的繁忙因子而确定，所述第二阈值被配置为基于可配置的基础业务I/O每秒传输字节数和所述可配置的繁忙因子而确定，所述第三阈值被配置为基于所述当前数据恢复限速值和可配置的第一比例值而确定，所述第四阈值被配置为基于所述数据存储节点的网卡带宽和可配置的第二比例值而确定；

其中所述繁忙因子是不同磁盘介质的繁忙程度上限。

8.根据权利要求7所述的系统，其中所述第一负载指标被配置为业务I/O每秒操作数量，所述第二负载指标被配置为业务I/O每秒传输字节数。

9.根据权利要求7所述的系统，其中所述数据恢复服务节点包括：

数据块检查模块，被配置为获取所述数据存储节点的状态信息，所述状态信息包括数据负载信息和数据副本信息，并且基于所述数据副本信息确定待恢复数据块；以及

数据恢复任务生成模块，被配置为基于所述待恢复数据块生成所述数据恢复任务，并且根据所述数据负载信息确定所述数据恢复任务的源节点和目的节点。

10.根据权利要求9所述的系统，其中所述负载信息被配置为所述数据存储节点的当前数据恢复任务数量、所述数据存储节点的剩余缓存容量以及所述数据存储节点的剩余存储容量；

其中所述数据恢复任务生成模块进一步被配置为：

将所述待恢复数据块的活跃副本所在的所述数据存储节点作为所述数据恢复任务的候选源节点，以及将所述候选源节点以外的其他所述数据存储节点作为所述数据恢复任务的候选目的节点；

将具有更低的所述当前数据恢复任务数量的所述候选源节点/所述候选目的节点作为所述数据恢复任务的源节点/目的节点；

在所述候选源节点/所述候选目的节点的所述当前数据恢复任务数量相同的情况下，将具有更高的所述剩余缓存容量的所述候选源节点/所述候选目的节点作为所述数据恢复任务的源节点/目的节点；以及

在所述候选源节点/所述候选目的节点中的所述剩余缓存容量相同的情况下，将具有更高的所述剩余存储容量的所述候选源节点/所述候选目的节点作为所述数据恢复任务的源节点/目的节点。

11.根据权利要求9所述的系统，其中所述数据恢复任务生成模块进一步被配置为基于部分所述待恢复数据块生成所述数据恢复任务。

12.一种电子设备，包括：

存储器和处理器；

其中所述存储器用于存储一条或多条计算机指令，其中所述一条或多条计算机指令被所述处理器执行以使分布式存储系统实现根据权利要求1至6中任一项所述的方法。

13.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中所述一条或多条计算机指令被处理器执行以使分布式存储系统实现根据权利要求1至6中任一项所述的方法。

14.一种分布式计算机程序产品，包括一条或多条计算机指令，其中所述一条或多条计算机指令被处理器执行以使分布式存储系统实现根据权利要求1至6中任一项所述的方法。

Images