CN108804043A

CN108804043A - 分布式块存储系统带宽流量控制方法、装置、设备及介质

Info

Publication number: CN108804043A
Application number: CN201810668252.XA
Authority: CN
Inventors: 冯龙; 王利朋
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2018-06-26
Filing date: 2018-06-26
Publication date: 2018-11-13

Abstract

本发明实施例公开了一种分布式块存储系统的带宽流量控制方法、装置、设备及计算机可读存储介质。其中，方法包括将用户的待读写数据块根据预设切片容量值进行切片处理，若带宽令牌桶中的当前令牌数不小于目标数据片所需令牌数，则下发目标数据片的IO操作；若小于目标数据片所需令牌数，则阻塞目标数据片的IO操作，直至带宽令牌桶中当前令牌数不小于目标数据片所需令牌数再执行IO操作；带宽令牌桶根据带宽配额值确定令牌生成速率，目标数据片所需令牌数由切片容量值和各令牌对应的容量值决定。本申请实现了分布式块存储系统的带宽上限控制，在对外提供带宽限流的基础上，实时性能抖动较小，提升了分布式块存储系统的稳定性。

Description

分布式块存储系统带宽流量控制方法、装置、设备及介质

技术领域

本发明实施例涉及分布式存储技术领域，特别是涉及一种分布式块存储系统的带宽流量控制方法、装置、设备及计算机可读存储介质。

背景技术

块存储一般是指由控制器和一组磁盘驱动器组成一个独立磁盘冗余阵列，并对外提供固定大小的RAID(Redundant Array of Independent Disks，磁盘存储阵列)块作为LUN(logical unit number，逻辑单元号)的卷。分布式块存储系统为将多块硬盘通过一定规则组合起来，成为一个大容量的逻辑盘，逻辑盘能够继续切分为用户定制的一组数据卷，并对外提供服务。分布式块存储系统要考虑数据冗余、故障恢复、卷数据克隆快照等高级特性。

对存储系统来说，提升系统IOPS(Input/Output Operations Per Second，每秒进行读写(I/O)操作的次数)、带宽等性能指标，增加存储系统的稳定性，以更好、更快地服务前端服务器的IO请求，至关重要。而在实际应用中，存在一种限定性能的用户需求，也称为配额，即针对不同用户或者不同数据流采用不同的优先级，或者是根据应用程序的要求，保证数据流的性能达到一定的水准。配额对于性能有限的分布式存储系统十分重要的，特别在需要存储系统提供固定的流量的应用场景中，例如流多媒体VoIP和IPTV等。

在一些块存储系统应用的业务场景中，尤其是高并发、事务型的核心业务场景中，需要给上层客户端提供足够大的IO压力，且保证下层存储能够提供稳定IO服务，当使用限流措施对指定的块存储设备的带宽进行限定时，观测实时IO性能，常会出现性能剧烈抖动的现象。

鉴于此，如何能够在对外提供带宽限流的基础上，分布式存储系统的实时性能也能保持稳定，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种分布式块存储系统的带宽流量控制方法、装置、设备及计算机可读存储介质，实现了分布式块存储系统的带宽上限控制，在对外提供带宽限流的基础上，实时性能抖动较小，提升了分布式块存储系统的稳定性。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种分布式块存储系统的带宽流量控制方法，包括：

获取用户的待读写数据块和预设带宽配额值；

根据预设切片容量值对所述待读写数据块进行切片处理；

判断带宽令牌桶中的当前令牌数是否不小于目标数据片所需令牌数；

若是，则下发所述目标数据片的IO操作；

若否，则阻塞所述目标数据片的IO操作，直至所述带宽令牌桶中当前令牌数不小于所述目标数据片所需令牌数；

其中，所述带宽令牌桶根据所述带宽配额值确定令牌生成速率，所述目标数据片所需令牌数由所述切片容量值和各令牌对应的容量值决定。

可选的，在所述根据预设切片容量值对所述待读写数据块进行切片处理之前，还包括：

按照下述公式更新所述带宽令牌桶中的最大令牌数：

式中，MAX为所述带宽令牌桶中的最大令牌数，L为所述待读写数据块的长度值，SEG为所述切片容量值，a为常数，V为所述带宽配额值。

可选的，所述带宽令牌桶每秒以所述带宽配额值增加桶内令牌的数量；一支令牌对应1Byte数据。

可选的，所述判断带宽令牌桶中的当前令牌数是否不小于目标数据片所需令牌数包括：

根据下述公式更新当前所述带宽令牌桶中的令牌数：

T(i+1)＝T(i)+V*Interval；

式中，T(i+1)为当前所述带宽令牌桶中的令牌数，MAX为所述带宽令牌桶中的最大令牌数，V为所述带宽配额值；T(i)为第i次IO操作时所述带宽令牌桶中的令牌数，Interval为当前时间与上一次迭代时间之间的时间差；

判断带宽令牌桶中包含的令牌数是否不小于目标数据片所需令牌数。

可选的，所述下发所述目标数据片的IO操作包括：

将所述带宽令牌桶中令牌数减去所述目标数据片所需令牌数，以更新所述带宽令牌桶中令牌数；

下发所述目标数据片的IO操作。

可选的，SEG＝4MB，a＝1.5或a＝1.2。

可选的，所述带宽配额值作为卷属性存储在后端分布式存储集群。

本发明实施例另一方面提供了一种分布式块存储系统的带宽流量控制装置，包括：

获取模块，用于获取用户的待读写数据块和预设带宽配额值；

数据切片模块，用于根据预设切片容量值对所述待读写数据块进行切片处理；

判断模块，用于判断带宽令牌桶中的当前令牌数是否不小于目标数据片所需令牌数；所述带宽令牌桶根据所述带宽配额值确定令牌生成速率；所述目标数据片所需令牌数由所述切片容量值和各令牌对应的容量值决定；

数据下发模块，用于当带宽令牌桶中的当前令牌数不小于所述目标数据片所需令牌数，则下发所述目标数据片的IO操作；

数据延缓模块，用于当带宽令牌桶中的当前令牌数小于所述目标数据片所需令牌数，阻塞所述目标数据片的IO操作，直至所述带宽令牌桶中当前令牌数不小于所述目标数据片所需令牌数。

本发明实施例还提供了一种分布式块存储系统的带宽流量控制设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述分布式块存储系统的带宽流量控制方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式块存储系统的带宽流量控制程序，所述分布式块存储系统的带宽流量控制程序被处理器执行时实现如前任一项所述分布式块存储系统的带宽流量控制方法的步骤。

本发明实施例提供了一种分布式块存储系统的带宽流量控制方法，将用户的待读写数据块根据预设切片容量值进行切片处理，若带宽令牌桶中的当前令牌数不小于目标数据片所需令牌数，则下发目标数据片的IO操作；若小于目标数据片所需令牌数，则阻塞目标数据片的IO操作，直至带宽令牌桶中当前令牌数不小于目标数据片所需令牌数再执行IO操作；带宽令牌桶根据带宽配额值确定令牌生成速率，目标数据片所需令牌数由切片容量值和各令牌对应的容量值决定。

本申请提供的技术方案的优点在于，对分布式存储中块数据执行读写操作时，基于令牌桶算法将数据块的带宽限定到用户指定的范围内，且只对上限进行限定，执行没有超过带宽限制的IO操作，而对超出流量带宽的IO请求进行阻塞，延缓IO下发速度，进而达到控制带宽流量的目的，实现了分布式块存储系统的带宽上限控制，在对外提供带宽限流的基础上，实时性能抖动较小，提升了分布式块存储系统的稳定性。

此外，本发明实施例还针对分布式块存储系统的带宽流量控制方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式块存储系统的带宽流量控制方法的流程示意图；

图2为本发明实施例提供的另一种分布式块存储系统的带宽流量控制方法的流程示意图；

图3为本发明实施例提供的分布式块存储系统的带宽流量控制装置的一种具体实施方式结构图；

图4为本发明实施例提供的分布式块存储系统的带宽流量控制装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先请参见图1，图1为本发明实施例提供的一种分布式块存储系统的带宽流量控制方法的流程示意图，本发明实施例可包括以下内容：

S101：获取用户的待读写数据块和预设带宽配额值。

S102：根据预设切片容量值对待读写数据块进行切片处理。

S103：判断带宽令牌桶中的当前令牌数是否不小于目标数据片所需令牌数，若是，则执行S104，若否，则执行S105。

S104：下发目标数据片的IO操作。

S105：阻塞目标数据片的IO操作。

待读写数据块为用户进行IO操作的文件数据。

带宽配额值为用户想要限定IO操作是带宽的数值大小，可根据实际需求和应用场景进行确定，例如用户设置带宽大小为15B/S，则带宽配额值为15。带宽配额值可作为卷属性存储在后端分布式存储集群中，以避免该值丢失。

一般情况下，在对一个卷执行IO操作时，例如写一个长度为L的数据块，首先对数据块进行切分，切成大小为SEG的一组数据切片，然后将这些数据切片依次执行数据下发流程。SEG即为切片容量值，切片容量值该可设置为4MB，该值为经验常量，本领域技术人员可根据实际情况和应用场景进行选取，本申请对此不作任何限定。举例来说，待写入数据块的长度为12MB，切片容量值为4MB，那么进行切片处理后，得到3个片数据，每个数据片的大小均为4MB。

目标数据片为将待读写数据块切片处理之后得到的任何一个片数据，目标数据片所需令牌数由切片容量值和各令牌对应的容量值决定，如一支令牌对应1Byte数据，切片容量值为4MB，那么目标数据片需要4*1048576个令牌。

在令牌桶算法中，令牌就是分布式存储系统中控制IO是否执行的标记，带宽令牌桶则是存储令牌的容器，带宽令牌桶中存储的令牌数具有最大容量的限制。

在利用令牌桶算法实现带宽限流管理时，带宽令牌桶在根据IO请求从带宽令牌桶中取出令牌的同时以一定速率向带宽令牌桶中填充令牌，带宽令牌桶可根据带宽配额值确定令牌生成速率，具体的，带宽令牌桶每秒可以带宽配额值增加桶内令牌的数量；一支令牌对应1Byte数据(当然，一支令牌也可对应其他字节的数据，本申请对此不作任何限定)，也就是每发送m Bytes的数据，便需要m支令牌，否则便会阻塞IO，一直等到带宽令牌桶中生成所需的令牌数为止。举例来说，带宽配额值为10B/s，一支令牌对应1Byte数据，那么令牌桶中的令牌数会按1秒生成10个令牌速度生成令牌，但不能超过令牌桶的最大容量。

待下发的数据所需令牌数由数据容量值和各令牌对应的容量值决定，在令牌桶已经存在本次IO所需的令牌数的时候，可将带宽令牌桶中令牌数减去m，以更新带宽令牌桶中的令牌数，然后继续执行后续IO操作。如一支令牌对应1Byte数据，数据容量值为4B，那么需要4个令牌，带宽令牌桶中有10个令牌，在带宽令牌桶中令牌数减去4后执行后续IO操作。

例如，在执行一次写IO时，写入数据的长度为L，存储客户端首先要从令牌桶中获得L个令牌，如果当前令牌桶中的令牌数少于L个令牌，则本次IO将会被阻塞。后台线程一直按照一定速率在向令牌桶中添加令牌，一直等到令牌桶中生成了L个令牌后，才会允许本次IO执行。如果设定带宽的配额为M(bytes/s)，令牌桶中的令牌数会按1秒生成M个令牌速度生成令牌，但不能超过令牌桶的最大容量。

加入带宽控制策略后，对一个卷执行IO操作时，首先对读写IO的数据长度L执行判断，以确定令牌桶最大容量MAX的数值，更新算法如下：

式中，MAX为带宽令牌桶中的最大令牌数，L为待读写数据块的长度值，SEG为切片容量值，a为常数，V为带宽配额值。a主要运用应对IO洪峰，具体的，该数值可设置为a＝1.5或a＝1.2。

带宽令牌桶中的令牌数可按照设定的带宽配额按时间递增令牌桶中的令牌数，具体的，可根据下述公式更新当前带宽令牌桶中的令牌数：

T(i+1)＝T(i)+V*Interval；

式中，T(i+1)为当前带宽令牌桶中的令牌数，MAX为带宽令牌桶中的最大令牌数，V为带宽配额值；T(i)为第i次IO操作时带宽令牌桶中的令牌数，Interval为当前时间与上一次迭代时间之间的时间差，以秒为单位，第一次迭代时，该数值为1。

在对待读写数据块进行IO操作时，需要依次对每个切片处理得到的数据片进行判断，然后执行IO操作，直至完成所有数据片的IO操作。

在本发明实施例提供的技术方案中，对分布式存储中块数据执行读写操作时，基于令牌桶算法将数据块的带宽限定到用户指定的范围内，且只对上限进行限定，执行没有超过带宽限制的IO操作，而对超出流量带宽的IO请求进行阻塞，延缓IO下发速度，进而达到控制带宽流量的目的，实现了分布式块存储系统的带宽上限控制，在对外提供带宽限流的基础上，实时性能抖动较小，提升了分布式块存储系统的稳定性。

本申请还提供了另外一个实施例，请参见图2，图2为本发明实施例提供的另一种分布式块存储系统的带宽流量控制方法的流程示意图，本发明实施例例如可应用于分布式存储集群，具体的可包括以下内容：

S201：获取用户的待读写数据块和预设带宽配额值，并将带宽配额值作为卷属性存储在后端分布式存储集群。

S202：更新带宽令牌桶中的最大令牌数。

S203：根据预设切片容量值对待读写数据块进行切片处理，遍历每个数据片。

S204：更新带宽令牌桶中的令牌数。

S205：判断带宽令牌桶中包含的令牌数是否不小于当前数据片所需令牌数，若是，则执行S206，若否，等待一段时间，并返回S204。

等待的这段时间即为带宽令牌桶中填充令牌数直至不小于当前数据片所需令牌数的时间。

S206：将带宽令牌桶中令牌数减去当前数据片所需令牌数。

以更新带宽令牌桶中令牌数

S207：下发当前数据片的IO操作。

S208：判断是否遍历完所有的数据片，若否，则返回S203。

由上可知，本发明实施例实现了分布式块存储系统的带宽上限控制，在对外提供带宽限流的基础上，实时性能抖动较小，提升了分布式块存储系统的稳定性；此外，以卷为单位进行配额控制，一个卷配额故障不会传递给另外一个卷，进一步提升分布式存储系统的稳定性，配额值作为块数据属性，同真实数据一起存储在后端分布式存储集群中，可保证带宽配额值不丢失。

本发明实施例还针对分布式块存储系统的带宽流量控制方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的分布式块存储系统的带宽流量控制装置进行介绍，下文描述的分布式块存储系统的带宽流量控制装置与上文描述的分布式块存储系统的带宽流量控制方法可相互对应参照。

参见图3，图3为本发明实施例提供的分布式块存储系统的带宽流量控制装置在一种具体实施方式下的结构图，该装置可包括：

获取模块301，用于获取用户的待读写数据块和预设带宽配额值。

数据切片模块302，用于根据预设切片容量值对待读写数据块进行切片处理。

判断模块303，用于判断带宽令牌桶中的当前令牌数是否不小于目标数据片所需令牌数；带宽令牌桶根据带宽配额值确定令牌生成速率；目标数据片所需令牌数由切片容量值和各令牌对应的容量值决定。

数据下发模块304，用于当带宽令牌桶中的当前令牌数不小于目标数据片所需令牌数，则下发目标数据片的IO操作。

数据延缓模块305，用于当带宽令牌桶中的当前令牌数小于目标数据片所需令牌数，阻塞目标数据片的IO操作，直至带宽令牌桶中当前令牌数不小于目标数据片所需令牌数。

可选的，在本实施例的一些实施方式中，请参阅图4，所述装置例如还可以包括：

更新模块306，用于按照下述公式更新带宽令牌桶中的最大令牌数：

式中，MAX为带宽令牌桶中的最大令牌数，L为待读写数据块的长度值，SEG为切片容量值，a为常数，V为带宽配额值。

此外，在本实施例的另一些实施方式中，所述判断模块303还可以包括：

更新子模块，用于根据下述公式更新当前带宽令牌桶中的令牌数：

T(i+1)＝T(i)+V*Interval；

式中，T(i+1)为当前带宽令牌桶中的令牌数，MAX为带宽令牌桶中的最大令牌数，V为带宽配额值；T(i)为第i次IO操作时带宽令牌桶中的令牌数，Interval为当前时间与上一次迭代时间之间的时间差；

判断子模块，用于判断带宽令牌桶中包含的令牌数是否不小于目标数据片所需令牌数。

具体的，在一种具体的实施方式中，数据下发模块304可为将带宽令牌桶中令牌数减去目标数据片所需令牌数，以更新带宽令牌桶中令牌数；下发目标数据片的IO操作的模块。

本发明实施例所述分布式块存储系统的带宽流量控制装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现了分布式块存储系统的带宽上限控制，在对外提供带宽限流的基础上，实时性能抖动较小，提升了分布式块存储系统的稳定性。

本发明实施例还提供了一种分布式块存储系统的带宽流量控制设备，具体可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如上任意一实施例所述分布式块存储系统的带宽流量控制方法的步骤。

本发明实施例所述分布式块存储系统的带宽流量控制设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本发明实施例还提供了一种计算机可读存储介质，存储有分布式块存储系统的带宽流量控制程序，所述分布式块存储系统的带宽流量控制程序被处理器执行时如上任意一实施例所述分布式块存储系统的带宽流量控制方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种分布式块存储系统的带宽流量控制方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种分布式块存储系统的带宽流量控制方法，其特征在于，包括：

获取用户的待读写数据块和预设带宽配额值；

根据预设切片容量值对所述待读写数据块进行切片处理；

若是，则下发所述目标数据片的IO操作；

2.根据权利要求1所述的分布式块存储系统的带宽流量控制方法，其特征在于，在所述根据预设切片容量值对所述待读写数据块进行切片处理之前，还包括：

按照下述公式更新所述带宽令牌桶中的最大令牌数：

3.根据权利要求2所述的分布式块存储系统的带宽流量控制方法，其特征在于，所述带宽令牌桶每秒以所述带宽配额值增加桶内令牌的数量；一支令牌对应1Byte数据。

4.根据权利要求3所述的分布式块存储系统的带宽流量控制方法，其特征在于，所述判断带宽令牌桶中的当前令牌数是否不小于目标数据片所需令牌数包括：

根据下述公式更新当前所述带宽令牌桶中的令牌数：

T(i+1)＝T(i)+V*Interval；

5.根据权利要求1至4任意一项所述的分布式块存储系统的带宽流量控制方法，其特征在于，所述下发所述目标数据片的IO操作包括：

下发所述目标数据片的IO操作。

6.根据权利要求5所述的分布式块存储系统的带宽流量控制方法，其特征在于，SEG＝4MB，a＝1.5或a＝1.2。

7.根据权利要求1至4任意一项所述的分布式块存储系统的带宽流量控制方法，其特征在于，所述带宽配额值作为卷属性存储在后端分布式存储集群。

8.一种分布式块存储系统的带宽流量控制装置，其特征在于，包括：

9.一种分布式块存储系统的带宽流量控制设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7任一项所述分布式块存储系统的带宽流量控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有分布式块存储系统的带宽流量控制程序，所述分布式块存储系统的带宽流量控制程序被处理器执行时实现如权利要求1至7任一项所述分布式块存储系统的带宽流量控制方法的步骤。