CN107959635A

CN107959635A - 一种基于令牌桶算法的iops控制方法及装置

Info

Publication number: CN107959635A
Application number: CN201711183823.2A
Authority: CN
Inventors: 朱行武
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-11-23
Filing date: 2017-11-23
Publication date: 2018-04-24
Anticipated expiration: 2037-11-23
Also published as: CN107959635B

Abstract

本发明公开了一种基于令牌桶算法的IOPS控制方法，在Ceph存储集群卷IOPS控制过程中，通过本方案公开的细化时间粒度的令牌桶算法，可以抑制读写压力在IOPS限定值上下波动、读写调度时间过长等随机扰动因素对卷IOPS控制的影响，显著地降低实际IOPS波动幅度，从而提高Ceph存储集群中对卷IOPS控制的鲁棒性及控制精度；本发明还公开了一种基于令牌桶算法的IOPS控制装置、设备及计算机可读存储介质，同样可以实现上述技术效果。

Description

一种基于令牌桶算法的IOPS控制方法及装置

技术领域

本发明涉及IOPS控制技术领域，更具体地说，涉及一种基于令牌桶算法的IOPS控制方法、装置、设备及计算机可读存储介质。

背景技术

目前，Ceph存储集群对卷的一种IOPS控制方法是基于令牌桶算法实现的。具体控制方法如下：IOPS令牌桶中的每一个令牌代表允许进行一次读写操作。当执行一次读写操作时，首先要去IOPS令牌桶中申请一支令牌，如果申请不到，本次读写便会被阻塞，直到获取到对应的令牌后，本次读写才会继续执行。如此，可以通过控制令牌桶的令牌数来控制IOPS。但是这种基于令牌桶算法的Ceph存储集群卷IOPS控制方法，在读写过程中随机扰动因素影响下，实际IOPS控制效果与预期值偏差较大，鲁棒性较差，不适用于实际生产环境。

因此，如何降低在随机扰动因素下IOPS令牌桶中的令牌累积量，从而抑制扰动因素对实际IOPS控制的影响，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种基于令牌桶算法的IOPS控制方法、装置、设备及计算机可读存储介质，以降低在随机扰动因素下IOPS令牌桶中的令牌累积量，从而抑制扰动因素对实际IOPS控制的影响。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于令牌桶算法的IOPS控制方法，包括：

确定每秒内IOPS令牌桶的时间粒度值；

利用所述时间粒度值以及每秒的令牌添加最大值，确定每秒内的时间间隔值及每个时间间隔添加的令牌值；

利用所述每秒的时间间隔值及每个时间间隔添加的令牌值，向所述IOPS令牌桶添加令牌，以在执行存储读写操作时向所述IOPS令牌桶申请令牌。

其中，利用所述时间粒度值以及每秒的令牌添加最大值，确定每秒内的时间间隔值及每个时间间隔添加的令牌值，包括：

利用所述时间粒度值N确定每秒内的时间间隔值1/N；

根据所述时间粒度值N以及每秒的令牌添加最大值V，确定每个时间间隔添加的令牌值V/N。

其中，本方案还包括：

检测所述IOPS令牌桶内的令牌数是否大于最大令牌阈值；

若是，则发出提示信息。

其中，本方案还包括：

确定所述IOPS令牌桶的IOPS最大上浮比率Ratio_MAX；

Ratio_MAX＝α/N；其中，α为令牌桶容纳系数，N为时间粒度值N；

若所述IOPS最大上浮比率Ratio_MAX大于预定上浮比率阈值，则按照预定规则调整所述时间粒度值N。

一种基于令牌桶算法的IOPS控制装置，包括：

第一确定模块，用于确定每秒内IOPS令牌桶的时间粒度值；

第二确定模块，用于利用所述时间粒度值以及每秒的令牌添加最大值，确定每秒内的时间间隔值及每个时间间隔添加的令牌值；

令牌添加模块，用于利用所述每秒的时间间隔值及每个时间间隔添加的令牌值，向所述IOPS令牌桶添加令牌，以在执行存储读写操作时向所述IOPS令牌桶申请令牌。

其中，所述第二确定模块包括：

第一确定单元，用于利用所述时间粒度值N确定每秒内的时间间隔值1/N；

第二确定单元，用于根据所述时间粒度值N以及每秒的令牌添加最大值V，确定每个时间间隔添加的令牌值V/N。

其中，本方案还包括：

检测模块，用于检测所述IOPS令牌桶内的令牌数是否大于最大令牌阈值；

提示模块，用于所述IOPS令牌桶内的令牌数大于最大令牌阈值时，发出提示信息。

其中，本方案还包括：

最大上浮比率确定模块，用于确定所述IOPS令牌桶的IOPS最大上浮比率Ratio_MAX；Ratio_MAX＝α/N；其中，α为令牌桶容纳系数，N为时间粒度值N；

时间粒度值调整模块，用于若所述IOPS最大上浮比率Ratio_MAX大于预定上浮比率阈值，则按照预定规则调整所述时间粒度值N。

一种基于令牌桶算法的IOPS控制设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述IOPS控制方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述IOPS控制方法的步骤。

通过以上方案可知，本发明实施例提供的一种基于令牌桶算法的IOPS控制方法，包括：确定每秒内IOPS令牌桶的时间粒度值；利用所述时间粒度值以及每秒的令牌添加最大值，确定每秒内的时间间隔值及每个时间间隔添加的令牌值；利用所述每秒的时间间隔值及每个时间间隔添加的令牌值，向所述IOPS令牌桶添加令牌，以在执行存储读写操作时向所述IOPS令牌桶申请令牌；

可见，在Ceph存储集群卷IOPS控制过程中，通过本方案公开的细化时间粒度的令牌桶算法，可以抑制读写压力在IOPS限定值上下波动、读写调度时间过长等随机扰动因素对卷IOPS控制的影响，显著地降低实际IOPS波动幅度，从而提高Ceph存储集群中对卷IOPS控制的鲁棒性及控制精度；本发明还公开了一种基于令牌桶算法的IOPS控制装置、设备及计算机可读存储介质，同样可以实现上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中的IOPS控制流程图；

图2为现有技术中的扰动因素下的令牌数变化示意图；

图3为本发明实施例公开的一种基于令牌桶算法的IOPS控制方法流程示意图；

图4为本发明实施例公开的细化时间粒度的令牌桶算法IOPS控制流程图；

图5为本发明实施例公开的细化时间粒度后扰动因素下的令牌数变化示意图；

图6为本发明实施例公开的一种基于令牌桶算法的IOPS控制装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，IOPS(Input/Output Operations Per Second，每秒读写操作的次数)令牌桶中的每一个令牌代表允许进行一次读写操作。当执行一次读写操作时，首先要去IOPS令牌桶中申请一支令牌，如果申请不到，本次读写便会被阻塞，直到获取到对应的令牌后，本次读写才会继续执行。现有方案中IOPS控制方法对卷读写操作控制流程如图1所示，具体包括如下几个步骤：

1、每次执行存储读写操作时，首先要到令牌桶申请令牌；

2、若令牌桶中令牌个数不为0，则可申请到令牌，则将当前令牌桶中令牌数量减1，并继续后面的读写流程；

3、若令牌桶中令牌个数为0，即申请不到令牌，则该次读写操作阻塞；

4、每秒时间到时，令牌桶中令牌数量得到更新，再次进行上述判断。

但是，该控制方式在随机扰动因素下，如读写压力在IOPS限定值V上下波动、读写调度时间过长等，将无法正常控制卷IOPS，令牌桶中的令牌数在扰动因素下的令牌数变化情况示意图如图2所示。

可以看出，在正常读写过程中，当在t+5秒出现随机扰动因素，则会造成t+5秒添加到令牌桶中的V个令牌无法消耗完并积累R个令牌。而在t+6秒，读写压力足够大且卷读写调度无阻塞时，将会消耗前面积累的令牌，从而造成t+6秒实际的IOPS大于设定值V。

若令牌桶最大容量为MAX＝α*V，其中α为令牌桶容纳系数，V为IOPS每秒的令牌添加最大值。

由此，某一时刻(单位：秒)可能的最大IOPS为令牌桶里累积的最大令牌数与该时刻新增的令牌数之和：

IOPS_MAX＝MAX+V＝α*V+V；

即IOPS最大上浮比率为：

Ratio_MAX＝IOPS_MAX-V＝α；

其中，当α＞1时，实际IOPS最大上浮百分比将超过100％；

当α＝1时，实际IOPS最大上浮百分比将为100％；

当α＜1时，可以降低实际IOPS上浮百分比，但会造成整体IOPS低于设定值V，则使得整体IOPS与预期值有较大的偏差。

可见，现有技术中IOPS控制方法在随机扰动因素下，其控制效果与预期值偏差较大。

因此，本发明实施例公开了一种基于令牌桶算法的IOPS控制方法、装置、设备及计算机可读存储介质，以降低在随机扰动因素下IOPS令牌桶中的令牌累积量，从而抑制扰动因素对实际IOPS控制的影响。

参见图3，本发明实施例提供的一种基于令牌桶算法的IOPS控制方法，包括：

S101、确定每秒内IOPS令牌桶的时间粒度值；

具体的，本方案中的时间粒度值为每秒内添加令牌的次数，该时间粒度值可以根据具体的应用情况适应性调整，并且可以预先设定调整策略，这样在令牌桶出现情况后，并可以自适应的调整时间粒度值。

S102、利用所述时间粒度值以及每秒的令牌添加最大值，确定每秒内的时间间隔值及每个时间间隔添加的令牌值；

利用所述时间粒度值N确定每秒内的时间间隔值1/N；

需要说明的是，在随机扰动因素下，IOPS上浮百分比与令牌桶中的令牌累积量成正比。因此，在本实施例中通过降低令牌桶中的令牌累积量来减小IOPS波动。为了降低令牌桶累积量，就需要降低令牌桶允许容纳的最大令牌数MAX。令牌桶最大容纳令牌量为MAX＝α*V。

但是，在保证不降低整体IOPS的前提下，α的取值应不小于1。即使α的取值为1，也可能产生100％的上浮。因此，我们可以考虑减小V的方法来降低MAX值。而实际上V为IOPS限定值(即每秒钟添加到令牌桶的令牌数)，我们不能实质上减小V，即不能减小一秒钟内添加到令牌桶中的令牌数。因此，可以细化向令牌桶添加令牌的时间粒度，并引入细化时间粒度值N。即在一秒钟内，分N次向令牌桶添加令牌，而每次添加的令牌数为V/N。

S103、利用所述每秒的时间间隔值及每个时间间隔添加的令牌值，向所述IOPS令牌桶添加令牌，以在执行存储读写操作时向所述IOPS令牌桶申请令牌。

具体的，确定每秒的时间间隔值及每个时间间隔添加的令牌值后，便可根据此向令牌桶添加令牌，通过细化时间粒度令牌桶算法对IOPS控制的流程图如图4所示。具体包括如下步骤：

1、执行存储读写操作时，首先要到令牌桶申请令牌；

4、将每秒应添加的令牌数，通过细化时间粒度值N，分多次添加到令牌桶，令牌桶中令牌数量得到更新，再次进行上述判断。

通过以上策略，可以在保证一秒时间段内向令牌桶中添加令牌的总量不变的前提下，降低令牌桶中的令牌累积量。由此可见，在对Ceph存储集群卷IOPS控制中，提出细化时间粒度的令牌桶控制算法对卷IOPS进行控制。即在令牌桶更新过程中，引入细化时间粒度值N以降低令牌累积量，从而降低当存在读写压力在IOPS限定值上下波动、读写调度时间过长等随机扰动因素时的实际IOPS浮动幅度，提高IOPS控制精度。

基于上述实施例，在本实施例中，还包括：

确定所述IOPS令牌桶的IOPS最大上浮比率Ratio_MAX；

Ratio_MAX＝α/N；其中，α为令牌桶容纳系数，N为时间粒度值；

可以理解的是，调整后的令牌桶最大容纳令牌量为：MAX＝α*V/N，本方案引入细化时间粒度值N降低了令牌桶最大容纳令牌量，此时，IOPS令牌桶中的令牌数在扰动因素下的变化情况示意图如图5所示。当在t+1+((N-1)/N)秒时，出现一个扰动因素(读写压力波动谷值小于限定值V/N、卷IO调度阻塞等)，则会造成此刻添加到令牌桶中的V/N个令牌无法消耗完并积累r个令牌。而在t+2秒，IO压力足够大且卷IO调度无阻塞时，将会消耗前面积累的令牌，则实际的IOPS大于V。此时，累积到t+2的最大令牌数为：MAX＝α*V/N。

由此，某一时刻(单位：秒)可能的最大IOPS为桶里累积的令牌数与该时刻新增的令牌数之和：

IOPS_MAX＝MAX+V＝α*V/N+V；

即IOPS最大上浮比率为：

Ratio_MAX＝IOPS_MAX-V＝α/N；

因此，在令牌桶算法中，通过引入细化时间粒度值，通过细化时间粒度的令牌桶更新策略，来降低令牌累积量，从而降低IOPS最大上浮比率。IOPS最大上浮比率可按照以下公式调节：

Ratio_MAX＝α/N；

也就是说，当IOPS最大上浮比率大于预定上浮比率阈值时，可以调整时间粒度值，根据上述公式可以看出，当N越大时，IOPS最大上浮比率越小，从而实现了对IOPS最大上浮比率的调节。进而，本方案还可以检测IOPS令牌桶内的令牌数是否大于最大令牌阈值；若是，则发出提示信息。

需要说明的是，发出提示信息之前，可以设定一个时间长度阈值，若IOPS最大上浮比率大于预定上浮比率阈值的时长大于该时间长度阈值，则说明通过预先设定的调节策略没有降低IOPS最大上浮比率，则发出提示信息，以通知管理人员查看。并且，在调整过程中，可以通过记录日志信息来保存调整记录。

综上可见，对比原来的IOPS控制方法，当令牌桶最大容纳的令牌系数相同时，通过细化时间粒度的令牌桶算法，可以显著地降低IOPS在随机扰动因素下的浮动比率，从而提高IOPS控制的鲁棒性及控制精度。

下面对本发明实施例提供的IOPS控制装置进行介绍，下文描述的IOPS控制装置与上文描述的IOPS控制装置可以相互参照。

参见图6，本发明实施例提供的一种基于令牌桶算法的IOPS控制装置，包括：

第一确定模块100，用于确定每秒内IOPS令牌桶的时间粒度值；

第二确定模块200，用于利用所述时间粒度值以及每秒的令牌添加最大值，确定每秒内的时间间隔值及每个时间间隔添加的令牌值；

令牌添加模块300，用于利用所述每秒的时间间隔值及每个时间间隔添加的令牌值，向所述IOPS令牌桶添加令牌，以在执行存储读写操作时向所述IOPS令牌桶申请令牌。

其中，所述第二确定模块包括：

其中，还包括：

本方案还公开了一种基于令牌桶算法的IOPS控制设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述IOPS控制方法的步骤。

本方案还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述IOPS控制方法的步骤。

具体的，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于令牌桶算法的IOPS控制方法，其特征在于，包括：

确定每秒内IOPS令牌桶的时间粒度值；

2.根据权利要求1所述的IOPS控制方法，其特征在于，利用所述时间粒度值以及每秒的令牌添加最大值，确定每秒内的时间间隔值及每个时间间隔添加的令牌值，包括：

利用所述时间粒度值N确定每秒内的时间间隔值1/N；

3.根据权利要求2所述的IOPS控制方法，其特征在于，还包括：

检测所述IOPS令牌桶内的令牌数是否大于最大令牌阈值；

若是，则发出提示信息。

4.根据权利要求1至3中任意一项所述的IOPS控制方法，其特征在于，还包括：

确定所述IOPS令牌桶的IOPS最大上浮比率Ratio_MAX；

5.一种基于令牌桶算法的IOPS控制装置，其特征在于，包括：

第一确定模块，用于确定每秒内IOPS令牌桶的时间粒度值；

6.根据权利要求5所述的IOPS控制装置，其特征在于，所述第二确定模块包括：

7.根据权利要求6所述的IOPS控制装置，其特征在于，还包括：

8.根据权利要求5至7中任意一项所述的IOPS控制装置，其特征在于，还包括：

9.一种基于令牌桶算法的IOPS控制设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述IOPS控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述IOPS控制方法的步骤。