CN114500406B - 一种云文件存储细粒度QoS控制方法及系统 - Google Patents

Abstract

本发明特别涉及一种云文件存储细粒度QoS控制方法及系统。该云文件存储细粒度QoS控制方法及系统，在Samba配置文件导出后端存储的部分中读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值四个配置项；在Samba服务器启动时将配置项读到内存中，后续操作不再与磁盘交互；在Samba中增加令牌池模块、限速模块及API模块，以读取配置文件中每个SMB文件系统的QoS设置，并保存在内存的令牌池中，分别限制每个SMB文件系统每秒钟处理的数据包总大小和IO数量。该云文件存储细粒度QoS控制方法及系统，能够针对各SMB文件系统分别设置吞吐量及IOPS，防止单个SMB文件系统占用过多资源，影响其他SMB文件系统性能，从而实现了资源的按需分配，使每个文件系统都能合理的占用资源。

Description

一种云文件存储细粒度QoS控制方法及系统

技术领域

本发明涉及分布式存储技术领域，特别涉及一种云文件存储细粒度QoS控制方法及系统。

背景技术

Samba是一个在Linux系统上实现SMB协议的软件，支持将多种存储后端对外导出，提供SMB协议文件系统服务。存储后端的文件系统需要满足POSIX语义，例如CephFS、ext4等。一个Samba服务器可以导出多个SMB文件系统，它们共享Samba服务器及后端存储的计算、存储、网络资源。

QoS(Quality of Service，即服务质量)是指一个通信网络能利用各种基础技术，为特定应用提供更好服务的能力。对于文件存储来说，QoS旨在合理分配有限的IO资源，实现资源的按需分配，使每个文件系统都能合理的占用资源。

伴随着云计算的逐渐兴起，对分布式存储系统提出了更高的要求，存储系统需要在保证性能、可靠性等不受影响的前提下，对有限的资源更加合理的分配。在云场景下，一个Samba服务器可以导出多个SMB文件系统供多个租户使用，可能会出现单个SMB文件系统占用过多资源，导致其他SMB文件系统吞吐量、IOPS、延迟受到影响，进而影响用户体验。此外，在某些应用场景下，还需要对某些SMB文件系统分配更多资源，以便提供更好的服务质量。

传统的QoS一般在网络及协议层面实现，仅能限制文件系统服务端整体吞吐量及IOPS，无法针对租户进行细粒度QoS。基于此，本发明提出了一种云文件存储细粒度QoS控制方法及系统。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的云文件存储细粒度QoS控制方法及系统。

本发明是通过如下技术方案实现的：

一种云文件存储细粒度QoS控制方法，其特征在于：为实现SMB文件系统的QoS，在Samba配置文件导出后端存储的部分中新增四个配置项，分别是读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值；

为了尽可能减少QoS对SMB文件系统的性能损耗，在Samba服务器启动时将配置项读到内存中，后续操作不再与磁盘交互；

在Samba中增加令牌池模块、限速模块及API模块，以读取配置文件中每个SMB文件系统的QoS设置，并保存在内存的令牌池中，分别限制每个SMB文件系统每秒钟处理的数据包总大小和IO数量。

所述令牌池模块在内存中开辟令牌池，保存每个SMB文件系统的QoS配置项；所述令牌池由原始令牌池和剩余令牌池组成，所述原始令牌池保存从配置文件中读取的原始数据，所述剩余令牌池保存当前剩余吞吐量和IOPS；所述令牌池模块启动一个异步线程，每隔一秒钟使用原始令牌池中的数据刷新一次剩余令牌池中的数据。

所述原始令牌池保存读吞吐量原始值、写吞吐量原始值、读IOPS原始值和写IOPS原始值四个值；所述剩余令牌池保存读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余四个值。

为了增加QoS配置的灵活性，在不重启Samba的情况下修改QoS配置，在Samba中新增API模块。所述API模块对外提供API接口，调用API接口可以对内存中的原始令牌池进行修改，并同步修改配置文件中配置的读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值，从而实时修改SMB文件系统的QoS配置，并将配置持久化。

在处理客户端请求前，所述限速模块根据客户端请求的操作类型更新剩余令牌池，具体步骤如下：

S1.从数据包中解析出此次客户端请求的SMB文件系统、请求数据长度以及操作类型，操作类型包括但不限于读取文件、写入文件、创建目录与删除目录；

S2.从内存中的令牌池中找到此次客户端请求的SMB文件系统对应的剩余令牌池，获取当前读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余，如果找不到此次客户端请求的SMB文件系统对应的令牌池，则认为当前SMB文件系统不需要QoS控制，进入步骤S5；

S3.检查是否可以处理客户端请求，若可以处理则根据操作类型更新对应剩余令牌池，否则重试步骤S3，再次检查是否可以处理客户端请求；

S4.判断重试次数是否小于10，若小于10，等待一秒后重新执行步骤S3，再次检查是否可以处理客户端请求；若重试次数超过10，直接进入步骤S5；不再检查是否可以处理客户端请求，原因在于防止某些客户端请求一直无法得到处理，产生无法预知的错误；

S5.对客户端请求进行处理。

所述步骤S3中，当客户端请求操作类型为读取文件时，先判断剩余令牌池中的读吞吐量剩余是否大于请求数据长度，若剩余令牌池中的读吞吐量剩余大于请求数据长度再判断读IOPS剩余是否大于1，若读IOPS剩余仍大于1，则将剩余令牌池中读吞吐量剩余减去请求数据长度，读IOPS剩余减去1，然后进入步骤S5，否则进入步骤S4；

当客户端请求操作类型为写入文件时，先判断剩余令牌池中的写吞吐量剩余是否大于请求数据长度，若剩余令牌池中的写吞吐量剩余大于请求数据长度再判断写IOPS剩余是否大于1，若写IOPS剩余仍大于1，则将剩余令牌池的写吞吐量剩余减去请求数据长度，写IOPS剩余减去1，然后进入步骤S5；否则进入步骤S4；

由于创建目录与删除目录操作不涉及数据操作只涉及元数据操作，因而不再判断剩余令牌池中的写吞吐量剩余是否充足；

当客户端请求操作类型为创建目录时，只判断写IOPS剩余是否大于1，若写IOPS剩余不大于1则进入步骤S4，否则则将剩余令牌池中写IOPS剩余减去1，然后进入步骤S5；

当客户端请求操作类型为删除目录时，判断写IOPS剩余是否大于1，若写IOPS剩余不大于1则进入步骤S4，否则在将剩余令牌池写IOPS剩余减去1，然后进入步骤S5。

基于本发明云文件存储细粒度QoS控制方法的系统，其特征在于：包括令牌池模块、限速模块及API模块；

所述令牌池模块负责在内存中开辟令牌池，用于保存每个SMB文件系统的QoS配置项；所述令牌池由原始令牌池和剩余令牌池组成，所述原始令牌池负责保存从配置文件中读取的原始数据，所述剩余令牌池负责保存当前剩余吞吐量和IOPS；所述令牌池模块通过异步线程使用原始令牌池中的数据刷新剩余令牌池中的数据；

所述原始令牌池保存读吞吐量原始值、写吞吐量原始值、读IOPS原始值和写IOPS原始值四个值；所述剩余令牌池保存读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余四个值；

所述API模块负责对外提供API接口，调用API接口可以对内存中的原始令牌池进行修改，并同步修改配置文件中配置的读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值，从而实时修改SMB文件系统的QoS配置，并将配置持久化。

所述限速模块负责在处理客户端请求前根据客户端请求的操作类型更新剩余令牌池。

所述限速模块通过解析客户端请求得到SMB文件系统、请求数据长度以及操作类型，从内存中的令牌池中找到此次客户端请求的SMB文件系统对应的剩余令牌池，获取当前读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余，如果找不到此次客户端请求的SMB文件系统对应的令牌池，则认为当前SMB文件系统不需要QoS控制，直接对客户端请求进行处理；

所述限速模块检查是否可以处理客户端请求，若可以处理则根据操作类型更新对应剩余令牌池，否则重试检查是否可以处理客户端请求；

若重试次数小于10，则等待一秒后重新检查是否可以处理客户端请求，若重试次数超过10，则直接对客户端请求进行处理。

本发明的有益效果是：该云文件存储细粒度QoS控制方法及系统，不仅能够针对各SMB文件系统分别设置吞吐量及IOPS，防止单个SMB文件系统占用过多资源，影响其他SMB文件系统性能，从而了实现资源的按需分配，使每个文件系统都能合理的占用资源。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图1为本发明令牌池内存结构示意图。

附图2为本发明云文件存储细粒度QoS控制流程示意图。

附图3为本发明云文件存储细粒度QoS控制系统示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

Samba是一个可以在Linux系统上实现SMB协议的软件，使用SMB协议可以很方便在Windows系统之间共享文件，就像操作本地文件系统的文件一样，可以在Linux系统上使用Samba搭建一个共享文件服务器，供多个Windows系统计算机之间共享文件。

Samba可以将多种后端存储导出为多个SMB文件系统供多个租户使用，这些SMB文件系统会共享Samba服务器以及后端存储的计算、存储、网络资源，不可避免产生资源竞争，如果单个SMB文件系统占用过多资源，会导致其他SMB文件系统吞吐量、IOPS、延迟受到影响。为了保证每个SMB文件系统占用合理的Samba服务器以及后端存储的计算、存储、网络资源，需要对每个SMB文件系统的吞吐量、IOPS进行限制。

描述一个文件系统性能主要有吞吐量和IOPS两个维度，吞吐量就是文件系统每秒处理数据的总大小，IOPS就是文件系统每秒处理的客户端请求数。

经分析发现，SMB文件系统客户端发给Samba服务器的的数据包中包含length字段，该字段表示数据包中包含数据的长度，可以通过累加这个字段的值来计算SMB文件系统吞吐量；客户端每发来一个数据包，就可以认为Samba服务器处理了一次客户端请求，进而可以计算SMB文件系统的IOPS。

该云文件存储细粒度QoS控制方法，为实现SMB文件系统的QoS，在Samba配置文件导出后端存储的部分中新增四个配置项，分别是读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值；

为了尽可能减少QoS对SMB文件系统的性能损耗，在Samba服务器启动时将配置项读到内存中，后续操作不再与磁盘交互；

在Samba中增加令牌池模块、限速模块及API模块，以读取配置文件中每个SMB文件系统的QoS设置，并保存在内存的令牌池中，分别限制每个SMB文件系统每秒钟处理的数据包总大小和IO数量。

所述令牌池模块在内存中开辟令牌池，保存每个SMB文件系统的QoS配置项；所述令牌池由原始令牌池和剩余令牌池组成，所述原始令牌池保存从配置文件中读取的原始数据，所述剩余令牌池保存当前剩余吞吐量和IOPS；所述令牌池模块启动一个异步线程，每隔一秒钟使用原始令牌池中的数据刷新一次剩余令牌池中的数据。

所述原始令牌池保存读吞吐量原始值、写吞吐量原始值、读IOPS原始值和写IOPS原始值四个值；所述剩余令牌池保存读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余四个值。

为了增加QoS配置的灵活性，在不重启Samba的情况下修改QoS配置，在Samba中新增API模块。所述API模块对外提供API接口，调用API接口可以对内存中的原始令牌池进行修改，并同步修改配置文件中配置的读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值，从而实时修改SMB文件系统的QoS配置，并将配置持久化。

在处理客户端请求前，所述限速模块根据客户端请求的操作类型更新剩余令牌池，具体步骤如下：

S1.从数据包中解析出此次客户端请求的SMB文件系统、请求数据长度以及操作类型，操作类型包括但不限于读取文件、写入文件、创建目录与删除目录；

S2.从内存中的令牌池中找到此次客户端请求的SMB文件系统对应的剩余令牌池，获取当前读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余，如果找不到此次客户端请求的SMB文件系统对应的令牌池，则认为当前SMB文件系统不需要QoS控制，进入步骤S5；

S3.检查是否可以处理客户端请求，若可以处理则根据操作类型更新对应剩余令牌池，否则重试步骤S3，再次检查是否可以处理客户端请求；

S4.判断重试次数是否小于10，若小于10，等待一秒后重新执行步骤S3，再次检查是否可以处理客户端请求；若重试次数超过10，直接进入步骤S5；不再检查是否可以处理客户端请求，原因在于防止某些客户端请求一直无法得到处理，产生无法预知的错误；

S5.对客户端请求进行处理。

所述步骤S3中，当客户端请求操作类型为读取文件时，先判断剩余令牌池中的读吞吐量剩余是否大于请求数据长度，若剩余令牌池中的读吞吐量剩余大于请求数据长度再判断读IOPS剩余是否大于1，若读IOPS剩余仍大于1，则将剩余令牌池中读吞吐量剩余减去请求数据长度，读IOPS剩余减去1，然后进入步骤S5，否则进入步骤S4；

当客户端请求操作类型为写入文件时，先判断剩余令牌池中的写吞吐量剩余是否大于请求数据长度，若剩余令牌池中的写吞吐量剩余大于请求数据长度再判断写IOPS剩余是否大于1，若写IOPS剩余仍大于1，则将剩余令牌池的写吞吐量剩余减去请求数据长度，写IOPS剩余减去1，然后进入步骤S5；否则进入步骤S4；

由于创建目录与删除目录操作不涉及数据操作只涉及元数据操作，因而不再判断剩余令牌池中的写吞吐量剩余是否充足；

当客户端请求操作类型为创建目录时，只判断写IOPS剩余是否大于1，若写IOPS剩余不大于1则进入步骤S4，否则则将剩余令牌池中写IOPS剩余减去1，然后进入步骤S5；

当客户端请求操作类型为删除目录时，判断写IOPS剩余是否大于1，若写IOPS剩余不大于1则进入步骤S4，否则在将剩余令牌池写IOPS剩余减去1，然后进入步骤S5。

基于该云文件存储细粒度QoS控制方法的系统，包括令牌池模块、限速模块及API模块；

所述令牌池模块负责在内存中开辟令牌池，用于保存每个SMB文件系统的QoS配置项；所述令牌池由原始令牌池和剩余令牌池组成，所述原始令牌池负责保存从配置文件中读取的原始数据，所述剩余令牌池负责保存当前剩余吞吐量和IOPS；所述令牌池模块通过异步线程使用原始令牌池中的数据刷新剩余令牌池中的数据；

所述原始令牌池保存读吞吐量原始值、写吞吐量原始值、读IOPS原始值和写IOPS原始值四个值；所述剩余令牌池保存读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余四个值；

所述API模块负责对外提供API接口，调用API接口可以对内存中的原始令牌池进行修改，并同步修改配置文件中配置的读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值，从而实时修改SMB文件系统的QoS配置，并将配置持久化。

所述限速模块负责在处理客户端请求前根据客户端请求的操作类型更新剩余令牌池。

所述限速模块通过解析客户端请求得到SMB文件系统、请求数据长度以及操作类型，从内存中的令牌池中找到此次客户端请求的SMB文件系统对应的剩余令牌池，获取当前读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余，如果找不到此次客户端请求的SMB文件系统对应的令牌池，则认为当前SMB文件系统不需要QoS控制，直接对客户端请求进行处理；

所述限速模块检查是否可以处理客户端请求，若可以处理则根据操作类型更新对应剩余令牌池，否则重试检查是否可以处理客户端请求；

若重试次数小于10，则等待一秒后重新检查是否可以处理客户端请求，若重试次数超过10，则直接对客户端请求进行处理。

传统QoS只能限制Samba服务器的总带宽，无法实现多租户场景下细粒度QoS。与传统在网络及协议层面实现的QoS相比，该云文件存储细粒度QoS控制方法及系统，具有以下特点：

第一、不再限制文件系统服务端整体吞吐量及IOPS，而是针对各SMB文件系统分别设置吞吐量及IOPS，防止单个SMB文件系统占用过多资源，影响其他SMB文件系统性能。在某些特定场景下，可以为某些SMB文件系统分配更多资源，以提供更好的服务质量。

第二、通过API接口修改的QoS配置实时生效，无需重启Samba，可以灵活设置QoS，甚至可以做到QoS的实时动态修改。

第三、由于令牌池的设置、修改和读取操作均在内存中进行，不涉及磁盘IO或网络IO等耗时操作，所以对Samba处理客户端请求性能影响不大，经过测试，设置QoS前后CPU利用率相差在5％以内。

以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (5)

1.一种云文件存储细粒度QoS控制方法，其特征在于：为实现SMB文件系统的QoS，在Samba配置文件导出后端存储的部分中新增四个配置项，分别是读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值；

为了尽可能减少QoS对SMB文件系统的性能损耗，在Samba服务器启动时将配置项读到内存中，后续操作不再与磁盘交互；

在Samba中增加令牌池模块、限速模块及API模块，以读取配置文件中每个SMB文件系统的QoS设置，并保存在内存的令牌池中，分别限制每个SMB文件系统每秒钟处理的数据包总大小和IO数量；

所述令牌池模块在内存中开辟令牌池，保存每个SMB文件系统的QoS配置项；所述令牌池由原始令牌池和剩余令牌池组成，所述原始令牌池保存从配置文件中读取的原始数据，所述剩余令牌池保存当前剩余吞吐量和IOPS；所述令牌池模块启动一个异步线程，每隔一秒钟使用原始令牌池中的数据刷新一次剩余令牌池中的数据；

所述原始令牌池保存读吞吐量原始值、写吞吐量原始值、读IOPS原始值和写IOPS原始值四个值；所述剩余令牌池保存读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余四个值；

所述API模块对外提供API接口，调用API接口可以对内存中的原始令牌池进行修改，并同步修改配置文件中配置的读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值，从而实时修改SMB文件系统的QoS配置，并将配置持久化。

2.根据权利要求1所述的云文件存储细粒度QoS控制方法，其特征在于：在处理客户端请求前，所述限速模块根据客户端请求的操作类型更新剩余令牌池，具体步骤如下：

S1. 从数据包中解析出此次客户端请求的SMB文件系统、请求数据长度以及操作类型，操作类型包括但不限于读取文件、写入文件、创建目录与删除目录；

S2. 从内存中的令牌池中找到此次客户端请求的SMB文件系统对应的剩余令牌池，获取当前读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余，如果找不到此次客户端请求的SMB文件系统对应的令牌池，则认为当前SMB文件系统不需要QoS控制，进入步骤S5；

S3. 检查是否可以处理客户端请求，若可以处理则根据操作类型更新对应剩余令牌池，否则重试步骤S3，再次检查是否可以处理客户端请求；

S4. 判断重试次数是否小于10，若小于10，等待一秒后重新执行步骤S3，再次检查是否可以处理客户端请求；若重试次数超过10，直接进入步骤S5；

S5. 对客户端请求进行处理。

3.根据权利要求2所述的云文件存储细粒度QoS控制方法，其特征在于：所述步骤S3中，当客户端请求操作类型为读取文件时，先判断剩余令牌池中的读吞吐量剩余是否大于请求数据长度，若剩余令牌池中的读吞吐量剩余大于请求数据长度再判断读IOPS剩余是否大于1，若读IOPS剩余仍大于1，则将剩余令牌池中读吞吐量剩余减去请求数据长度，读IOPS剩余减去1，然后进入步骤S5，否则进入步骤S4；

当客户端请求操作类型为写入文件时，先判断剩余令牌池中的写吞吐量剩余是否大于请求数据长度，若剩余令牌池中的写吞吐量剩余大于请求数据长度再判断写IOPS剩余是否大于1，若写IOPS剩余仍大于1，则将剩余令牌池的写吞吐量剩余减去请求数据长度，写IOPS剩余减去1，然后进入步骤S5；否则进入步骤S4；

由于创建目录与删除目录操作不涉及数据操作只涉及元数据操作，因而不再判断剩余令牌池中的写吞吐量剩余是否充足；

当客户端请求操作类型为创建目录时，只判断写IOPS剩余是否大于1，若写IOPS剩余不大于1则进入步骤S4，否则则将剩余令牌池中写IOPS剩余减去1，然后进入步骤S5；

当客户端请求操作类型为删除目录时，判断写IOPS剩余是否大于1，若写IOPS剩余不大于1则进入步骤S4，否则在将剩余令牌池写IOPS剩余减去1，然后进入步骤S5。

4.一种基于云文件存储细粒度QoS控制方法的系统，其特征在于：包括令牌池模块、限速模块及API模块；

所述令牌池模块负责在内存中开辟令牌池，用于保存每个SMB文件系统的QoS配置项；所述令牌池由原始令牌池和剩余令牌池组成，所述原始令牌池负责保存从配置文件中读取的原始数据，所述剩余令牌池负责保存当前剩余吞吐量和IOPS；所述令牌池模块通过异步线程使用原始令牌池中的数据刷新剩余令牌池中的数据；

所述原始令牌池保存读吞吐量原始值、写吞吐量原始值、读IOPS原始值和写IOPS原始值四个值；所述剩余令牌池保存读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余四个值；

所述API模块负责对外提供API接口，调用API接口可以对内存中的原始令牌池进行修改，并同步修改配置文件中配置的读吞吐量最大值、写吞吐量最大值、读IOPS最大值和写IOPS最大值，从而实时修改SMB文件系统的QoS配置，并将配置持久化；

所述限速模块负责在处理客户端请求前根据客户端请求的操作类型更新剩余令牌池。

5.根据权利要求4所述的基于云文件存储细粒度QoS控制方法的系统，其特征在于：

所述限速模块通过解析客户端请求得到SMB文件系统、请求数据长度以及操作类型，从内存中的令牌池中找到此次客户端请求的SMB文件系统对应的剩余令牌池，获取当前读吞吐量剩余、写吞吐量剩余、读IOPS剩余和写IOPS剩余，如果找不到此次客户端请求的SMB文件系统对应的令牌池，则认为当前SMB文件系统不需要QoS控制，直接对客户端请求进行处理；

所述限速模块检查是否可以处理客户端请求，若可以处理则根据操作类型更新对应剩余令牌池，否则重试检查是否可以处理客户端请求；

若重试次数小于10，则等待一秒后重新检查是否可以处理客户端请求，若重试次数超过10，则直接对客户端请求进行处理。