CN108958975A - 一种控制数据恢复速度的方法、装置及设备 - Google Patents

Abstract

本发明公开了一种控制数据恢复速度的方法、装置、设备及计算机可读存储介质，该方法包括：基于分布式系统当前的繁忙程度确定对应的集群恢复速度；确定任一需恢复数据的存储节点为目标节点，将目标节点需恢复数据个数与分布式系统需恢复数据个数的比值乘以集群恢复速度得到对应节点恢复速度，基于节点恢复速度确定单位时间内分配给目标节点的令牌数量为当前可用的令牌数量；接收到数据恢复请求时，判断当前单位时间内分配给目标节点的令牌数量是否达到当前可用的令牌数量，若是，则拒绝为目标节点发放令牌，若否，则为目标节点发放令牌，以指示目标节点实现数据恢复。达到基于分布式系统当前的情况控制数据恢复速度的目的。

Description

一种控制数据恢复速度的方法、装置及设备

技术领域

本发明涉及分布式存储系统技术领域，更具体地说，涉及一种控制数据恢复速度的方法、装置、设备及计算机可读存储介质。

背景技术

随着云计算技术的兴起和普及，分布式存储系统越来越开始受到业界的关注。在分布式存储系统中，如果出现数据损坏或者数据丢失，则需要由对应备份中获取数据实现数据恢复，通常为了避免数据丢失，需要尽快完成数据恢复和均衡，但是数据恢复通常会对分布式存储系统的性能造成一定的影响，进而可能会影响业务访问，因此如果能够通过对数据恢复速度的控制达到符合当前分布式存储系统的情况，就能够有效避免上述两种问题，但是现有技术中并不存在能够实现上述目的的技术方案。

综上所述，如何提供一种能够基于分布式存储系统当前的情况控制数据恢复的速度的技术方案，是目前本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种控制数据恢复速度的方法、装置、设备及计算机可读存储介质，能够基于分布式存储系统当前的情况控制数据恢复的速度的技术方案。

为了实现上述目的，本发明提供如下技术方案：

一种控制数据恢复速度的方法，包括：

基于分布式系统当前的繁忙程度确定对应的集群恢复速度，其中，所述分布式系统越繁忙对应的集群恢复速度越低；

确定所述分布式系统中任一需恢复数据的存储节点为目标节点，将所述目标节点需恢复数据个数与所述分布式系统需恢复数据个数的比值乘以所述集群恢复速度得到对应节点恢复速度，并基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量；

接收到数据恢复请求时，判断当前单位时间内分配给所述目标节点的令牌数量是否达到当前可用的令牌数量，若是，则拒绝为所述目标节点发放令牌，若否，则为所述目标节点发放令牌，以指示所述目标节点实现数据恢复。

优选的，基于所述节点恢复速度确定单位时间内分配给所述目标节点的令牌数量之后，还包括：

判断分配给所述目标节点的令牌数量是否大于预先设置的与所述目标节点对应的节点最大令牌数量，如果是，则确定所述目标节点对应的节点最大令牌数量为单位时间内分配给所述目标节点的令牌数量，如果否，则确定所述目标节点的令牌分配完成。

优选的，基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量之后，还包括：

由当前时刻开始经过预设时间段后，返回执行所述基于分布式系统当前的繁忙程度确定对应的集群恢复速度的步骤至所述基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量的步骤。

优选的，基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量，包括：

确定所述目标节点中存储的单个对象的占用空间，将所述节点恢复速度除以所述占用空间得到单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量。

优选的，基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量之后，还包括：

将分配给所述分布式系统中全部需恢复数据的存储节点的令牌统一放置在预先设置的令牌桶中，以在需要时由所述令牌桶中获取相应的令牌。

一种控制数据恢复速度的装置，包括：

第一确定模块，用于：基于分布式系统当前的繁忙程度确定对应的集群恢复速度，其中，所述分布式系统越繁忙对应的集群恢复速度越低；

第二确定模块，用于：确定所述分布式系统中任一需恢复数据的存储节点为目标节点，将所述目标节点需恢复数据个数与所述分布式系统需恢复数据个数的比值乘以所述集群恢复速度得到对应节点恢复速度，并基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量；

令牌发放模块，用于：接收到数据恢复请求时，判断当前单位时间内分配给所述目标节点的令牌数量是否达到当前可用的令牌数量，若是，则拒绝为所述目标节点发放令牌，若否，则为所述目标节点发放令牌，以指示所述目标节点实现数据恢复。

优选的，还包括：

判断模块，用于：判断分配给所述目标节点的令牌数量是否大于预先设置的与所述目标节点对应的节点最大令牌数量，如果是，则确定所述目标节点对应的节点最大令牌数量为单位时间内分配给所述目标节点的令牌数量，如果否，则确定所述目标节点的令牌分配完成。

优选的，还包括：

循环模块，用于：基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量之后，由当前时刻开始经过预设时间段后，返回执行所述基于分布式系统当前的繁忙程度确定对应的集群恢复速度的步骤至所述基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量的步骤。

一种控制数据恢复速度的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述控制数据恢复速度的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述控制数据恢复速度的方法的步骤。

本发明提供了一种控制数据恢复速度的方法、装置、设备及计算机可读存储介质，其中该方法包括：基于分布式系统当前的繁忙程度确定对应的集群恢复速度，其中，所述分布式系统越繁忙对应的集群恢复速度越低；确定所述分布式系统中任一需恢复数据的存储节点为目标节点，将所述目标节点需恢复数据个数与所述分布式系统需恢复数据个数的比值乘以所述集群恢复速度得到对应节点恢复速度，并基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量；接收到数据恢复请求时，判断当前单位时间内分配给所述目标节点的令牌数量是否达到当前可用的令牌数量，若是，则拒绝为所述目标节点发放令牌，若否，则为所述目标节点发放令牌，以指示所述目标节点实现数据恢复。本发明的技术方案中，通过分布式系统繁忙程度确定集群恢复速度，其中分布式系统越繁忙集群恢复速度越低，基于集群恢复速度确定每个需实现数据恢复的存储节点的节点恢复速度，进而基于节点恢复速度确定分配给对应存储节点能够在单位时间内用于实现数据恢复的令牌数量，使得存储节点实现数据恢复时的数据恢复速度与分布式系统的繁忙程度对应，即分布式系统越繁忙，存储节点实现数据恢复的数据恢复速度越低，通过这种方式达到基于分布式系统当前的情况控制数据恢复速度的目的，进而保证了分布式系统繁忙时数据恢复速度较低、不影响分布式系统的业务，分布式系统不繁忙时能够快速实现数据恢复。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的本发明实施例提供的一种控制数据恢复速度的方法的流程图；

图2为本发明实施例提供的本发明实施例提供的一种控制数据恢复速度的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种控制数据恢复速度的方法的流程图，可以包括：

S11：基于分布式系统当前的繁忙程度确定对应的集群恢复速度，其中，分布式系统越繁忙对应的集群恢复速度越低。

本申请中分布式系统即为分布式存储系统的简称。需要说明的是，本发明实施例提供的一种控制数据恢复速度的方法的执行主语可以为对应的装置，而该装置可以设置于分布式系统中，因此，本发明实施例提供的一种控制数据恢复速度的方法的执行主语可以为分布式系统。集群恢复速度即为分布式系统的数据恢复速度，分布式系统的繁忙程度可以指当前客户端访问分布式系统所占用的分布式系统资源与分布式系统能够提供的全部资源的比值，该比值越大，说明分布式系统越繁忙，具体的分布式系统的繁忙程度与集群恢复速度的对应关系可以由工作人员根据实际需要进行设定，设定规则为集群恢复速度需为不会影响分布式系统的业务访问的值。

S12：确定分布式系统中任一需恢复数据的存储节点为目标节点，将目标节点需恢复数据个数与分布式系统需恢复数据个数的比值乘以集群恢复速度得到对应节点恢复速度，并基于该节点恢复速度确定单位时间内分配给目标节点的令牌数量为当前可用的令牌数量。

确定出集群恢复速度后，可以确定分布式系统中每个需要实现数据恢复的存储节点的数据恢复速度、即节点恢复速度；对应的，本申请中需要选取分布式系统中每个需恢复数据的存储节点需作为目标节点实现对应节点恢复速度的确认，进而实现令牌分配。其中，基于节点恢复速度确定单位时间内分配给目标节点的令牌数量，一般原则为节点恢复速度越高对应令牌数量越大，以使得节点能够在单位时间内使用令牌恢复数据达到对应节点恢复速度。

S13：接收到数据恢复请求时，判断当前单位时间内分配给目标节点的令牌数量是否达到当前可用的令牌数量，若是，则拒绝为目标节点发放令牌，若否，则为目标节点发放令牌，以指示目标节点实现数据恢复。

其中接收到数据恢复请求时指每次接收到数据恢复请求都会执行步骤S13中的判断及后续步骤。如果接收到数据恢复请求，则全部需要实现数据恢复的节点都需实现数据恢复，而每个实现数据恢复的节点均可以作为目标节点，从而通过令牌数量的判断确定是否能够继续给目标节点发放令牌，以使得其在令牌触发下实现对应数据恢复。

另外需要说明的是，接收数据恢复请求也即为检测当前是否需要进行数据恢复，如果接收到数据恢复请求则说明需要实现数据恢复，执行步骤S13中后续判断相关步骤，否则，则说明无需实现数据恢复，等待至下一次接收到数据请求、即检测到需要实现数据恢复再执行步骤S13中后续判断相关步骤。另外，分布式系统中实现数据恢复的原理与现有技术中对应技术方案的实现原理一致，在此不再赘述，对应需要说明的一点时，通常为发起数据恢复的存储节点为需要获取令牌发起数据恢复的存储节点。

另外，如果判断出目标节点已经没有可用令牌，则可以将数据恢复请求放入预先设置的请求队列中，经过预先设定的时间间隔后再基于该数据恢复请求实现步骤S13中后续判断相关步骤，当然也可以根据实际需要进行其他设定，均在本发明的保护范围之内。

本发明的技术方案中，通过分布式系统繁忙程度确定集群恢复速度，其中分布式系统越繁忙集群恢复速度越低，基于集群恢复速度确定每个需实现数据恢复的存储节点的节点恢复速度，进而基于节点恢复速度确定分配给对应存储节点能够在单位时间内用于实现数据恢复的令牌数量，使得存储节点实现数据恢复时的数据恢复速度与分布式系统的繁忙程度对应，即分布式系统越繁忙，存储节点实现数据恢复的数据恢复速度越低，通过这种方式达到基于分布式系统当前的情况控制数据恢复速度的目的，进而保证了分布式系统繁忙时数据恢复速度较低、不影响分布式系统的业务，分布式系统不繁忙时能够快速实现数据恢复。

本发明实施例提供的一种控制数据恢复速度的方法，基于节点恢复速度确定单位时间内分配给目标节点的令牌数量之后，还可以包括：

判断分配给目标节点的令牌数量是否大于预先设置的与目标节点对应的节点最大令牌数量，如果是，则确定目标节点对应的节点最大令牌数量为单位时间内分配给目标节点的令牌数量，如果否，则确定目标节点的令牌分配完成。

需要说明的是，为了维持存储节点较好的业务提供性能(本申请中的业务包括读写业务等)，通常还可以为每个需要实现数据恢复的存储节点设定一个与对存储节点需要实现的业务提供性能对应的节点最大令牌数量，该节点最大令牌数量的具体取值可以由工作人员根据实际对业务提供性能的要求设置，即对存储节点的业务提供性能要求越高，该存储节点的节点最大令牌数量的值设置的越低，由此在分配给目标节点的令牌数量大于对应节点最大令牌数量时，通过减少分配的令牌数量，使得目标节点的数据恢复速度降低，进而保证目标节点能够具有较好的业务提供性能。

本发明实施例提供的一种控制数据恢复速度的方法，基于该节点恢复速度确定单位时间内分配给目标节点的令牌数量之后，还可以包括：

由当前时刻开始经过预设时间段后，返回执行基于分布式系统当前的繁忙程度确定对应的集群恢复速度的步骤至基于该节点恢复速度确定单位时间内分配给目标节点的令牌数量为当前可用的令牌数量的步骤。

需要说明的是，由于分布式系统中各存储节点需恢复的数据及分布式系统的繁忙程度是经常会随着时间发生变化的，因此本申请中可以将确定当前需要实现数据恢复的各存储节点的令牌数量的步骤作为一个定时任务，由此每经过根据实际需要设定的预设时间段，则执行一次确定分配给对应存储节点的令牌数量的步骤，进一步保证了数据恢复速度与分布式系统的情况相符合，提高了令牌分配的准确性。

本发明实施例提供的一种控制数据恢复速度的方法，基于该节点恢复速度确定单位时间内分配给目标节点的令牌数量为当前可用的令牌数量，可以包括：

确定目标节点中存储的单个对象的占用空间，将节点恢复速度除以占用空间得到单位时间内分配给目标节点的令牌数量为当前可用的令牌数量。

一般存储于同一个目标节点中的对象占用空间是相同的，通过上述方式实现令牌数量的分配能够使得分配的令牌一般情况下能够满足目标节点的数据恢复需求；当然也可以根据实际需要进行其他设定，均在本发明的保护范围之内。另外确定出每个存储节点的令牌数量后还可以将该令牌数量进行存储，以供查询等操作。

本发明实施例提供的一种控制数据恢复速度的方法，基于该节点恢复速度确定单位时间内分配给目标节点的令牌数量为当前可用的令牌数量之后，还可以包括：

将分配给分布式系统中全部需恢复数据的存储节点的令牌统一放置在预先设置的令牌桶中，以在需要时由令牌桶中获取相应的令牌。

将令牌统一放置在令牌桶中，能够在需要时直接由令牌桶中获取相应的令牌，方便了对于令牌的统一管理。当然也可以根据实际需要进行其他设定，均在本发明的保护范围之内。

本发明实施例还提供了一种控制数据恢复速度的装置，如图2所示，可以包括：

第一确定模块11，用于：基于分布式系统当前的繁忙程度确定对应的集群恢复速度，其中，分布式系统越繁忙对应的集群恢复速度越低；

第二确定模块12，用于：确定分布式系统中任一需恢复数据的存储节点为目标节点，将目标节点需恢复数据个数与分布式系统需恢复数据个数的比值乘以集群恢复速度得到对应节点恢复速度，并基于该节点恢复速度确定单位时间内分配给目标节点的令牌数量为当前可用的令牌数量；

令牌发放模块13，用于：接收到数据恢复请求时，判断当前单位时间内分配给目标节点的令牌数量是否达到当前可用的令牌数量，若是，则拒绝为目标节点发放令牌，若否，则为目标节点发放令牌，以指示目标节点实现数据恢复。

本发明实施例提供的一种控制数据恢复速度的装置，还可以包括：

判断模块，用于：判断分配给目标节点的令牌数量是否大于预先设置的与目标节点对应的节点最大令牌数量，如果是，则确定目标节点对应的节点最大令牌数量为单位时间内分配给目标节点的令牌数量，如果否，则确定目标节点的令牌分配完成。

本发明实施例提供的一种控制数据恢复速度的装置，还可以包括：

循环模块，用于：基于该节点恢复速度确定单位时间内分配给目标节点的令牌数量之后，由当前时刻开始经过预设时间段后，返回执行基于分布式系统当前的繁忙程度确定对应的集群恢复速度的步骤至基于该节点恢复速度确定单位时间内分配给目标节点的令牌数量为当前可用的令牌数量的步骤。

本发明实施例提供的一种控制数据恢复速度的装置，第二确定模块可以包括：

确定单元，用于：确定目标节点中存储的单个对象的占用空间，将节点恢复速度除以占用空间得到单位时间内分配给目标节点的令牌数量为当前可用的令牌数量。

本发明实施例提供的一种控制数据恢复速度的装置，还可以包括：

放置模块，用于：基于该节点恢复速度确定单位时间内分配给目标节点的令牌数量为当前可用的令牌数量之后，将分配给分布式系统中全部需恢复数据的存储节点的令牌统一放置在预先设置的令牌桶中，以在需要时由令牌桶中获取相应的令牌。

本发明实施例还提供了一种控制数据恢复速度的设备，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上任一项控制数据恢复速度的方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一项控制数据恢复速度的方法的步骤。

需要说明的是，本发明实施例提供的一种控制数据恢复速度的装置、设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种控制数据恢复速度的方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种控制数据恢复速度的方法，其特征在于，包括：

基于分布式系统当前的繁忙程度确定对应的集群恢复速度，其中，所述分布式系统越繁忙对应的集群恢复速度越低；

确定所述分布式系统中任一需恢复数据的存储节点为目标节点，将所述目标节点需恢复数据个数与所述分布式系统需恢复数据个数的比值乘以所述集群恢复速度得到对应节点恢复速度，并基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量；

接收到数据恢复请求时，判断当前单位时间内分配给所述目标节点的令牌数量是否达到当前可用的令牌数量，若是，则拒绝为所述目标节点发放令牌，若否，则为所述目标节点发放令牌，以指示所述目标节点实现数据恢复。

2.根据权利要求1所述的方法，其特征在于，基于所述节点恢复速度确定单位时间内分配给所述目标节点的令牌数量之后，还包括：

判断分配给所述目标节点的令牌数量是否大于预先设置的与所述目标节点对应的节点最大令牌数量，如果是，则确定所述目标节点对应的节点最大令牌数量为单位时间内分配给所述目标节点的令牌数量，如果否，则确定所述目标节点的令牌分配完成。

3.根据权利要求1所述的方法，其特征在于，基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量之后，还包括：

由当前时刻开始经过预设时间段后，返回执行所述基于分布式系统当前的繁忙程度确定对应的集群恢复速度的步骤至所述基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量的步骤。

4.根据权利要求3所述的方法，其特征在于，基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量，包括：

确定所述目标节点中存储的单个对象的占用空间，将所述节点恢复速度除以所述占用空间得到单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量。

5.根据权利要求4所述的方法，其特征在于，基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量之后，还包括：

将分配给所述分布式系统中全部需恢复数据的存储节点的令牌统一放置在预先设置的令牌桶中，以在需要时由所述令牌桶中获取相应的令牌。

6.一种控制数据恢复速度的装置，其特征在于，包括：

第一确定模块，用于：基于分布式系统当前的繁忙程度确定对应的集群恢复速度，其中，所述分布式系统越繁忙对应的集群恢复速度越低；

第二确定模块，用于：确定所述分布式系统中任一需恢复数据的存储节点为目标节点，将所述目标节点需恢复数据个数与所述分布式系统需恢复数据个数的比值乘以所述集群恢复速度得到对应节点恢复速度，并基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量；

令牌发放模块，用于：接收到数据恢复请求时，判断当前单位时间内分配给所述目标节点的令牌数量是否达到当前可用的令牌数量，若是，则拒绝为所述目标节点发放令牌，若否，则为所述目标节点发放令牌，以指示所述目标节点实现数据恢复。

7.根据权利要求6所述的装置，其特征在于，还包括：

判断模块，用于：判断分配给所述目标节点的令牌数量是否大于预先设置的与所述目标节点对应的节点最大令牌数量，如果是，则确定所述目标节点对应的节点最大令牌数量为单位时间内分配给所述目标节点的令牌数量，如果否，则确定所述目标节点的令牌分配完成。

8.根据权利要求6所述的装置，其特征在于，还包括：

循环模块，用于：基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量之后，由当前时刻开始经过预设时间段后，返回执行所述基于分布式系统当前的繁忙程度确定对应的集群恢复速度的步骤至所述基于该节点恢复速度确定单位时间内分配给所述目标节点的令牌数量为当前可用的令牌数量的步骤。

9.一种控制数据恢复速度的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述控制数据恢复速度的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述控制数据恢复速度的方法的步骤。