CN103124296B - 用于分布式文件系统的带宽资源的动态自适应分配方法 - Google Patents

Abstract

本发明公开了一种用于分布式文件系统的带宽资源的动态自适应分配方法，它包括：初始化：设置各客户端带宽值；复位考察对象：锁定考察对象；采集数据：采集并记录当前客户端带宽使用值；判断达标：判断当前带宽使用值是否达带宽设置值；判断限低：判断上一轮带宽分配方案中是否对低于当前优先级的客户端进行过降低带宽的设置操作；判断增长：判断当前带宽使用值是否大于上次采集的带宽使用值；判断存在更低优先级：判断当前客户端是否为最低优先级。本发明无需明确知道存储系统所能提供的最大带宽，智能感知客户端需求的变化，并对存储系统带宽资源进行动态自适应分配，方法简单易行，执行效率高，具有很强的实用性。

Description

用于分布式文件系统的带宽资源的动态自适应分配方法

技术领域

本发明涉及一种用于分布式文件系统的带宽资源的动态自适应分配方法。

背景技术

随着计算机应用范围的扩展，广播电视、军事、安防监控、互联网视频点播等领域对存储系统的容量、扩展性、性价比、性能、管理性、稳定性等都提出了更高的要求。为满足这些要求，解决海量数据存储、检索等难题，分布式文件系统被提出。分布式文件系统将文件系统管理的物理存储资源分散到多个通过计算机网络相连的存储节点上，对这些节点的资源进行统一的管理与分配，并向用户提供文件系统访问接口。由于分布式文件系统采用多客户端共享访问存储服务的模式，当所有客户端存取数据的网络带宽需求总和大于了存储服务系统所能提供的带宽极限时，就会引起部分客户端的带宽需求不能得到满足，导致其中对带宽要求敏感的客户端不能正常工作，为解决上述问题，分布式文件系统中会加入带宽资源分配机制。

目前分布式文件系统中采用的带宽资源分配机制主要有以下两类：

第一类分配机制是在分布式文件系统的存储服务器上为特定客户端指定并预留能满足其最大需求的私有带宽，从而保障这些客户端在任意时刻的文件存取请求都能得到满足。但是私有带宽即使在未被完全利用时也不能被其他客户端共享，因此该类机制对分布式文件系统有限的带宽资源造成了浪费。

第二类分配机制是分布式文件系统限定部分客户端的带宽使用上限，以此确保这些客户端不会和其他客户端争夺带宽资源。由于限定了最大带宽使用量，即使存储服务器有空闲带宽，客户端在带宽使用达到上限后也不能继续增加对带宽的使用量，该种机制同样不能充分利用分布式文件系统的带宽资源。

该两种机制都不能实现对分布式文件系统带宽资源的按需、实时调配，而且以上两种方案的实施都需要以明确知道存储系统所能提供的最大服务带宽的准确值为前提。然而，存储系统能提供的最大带宽并不是一个常量，它会随存储系统当前所提供服务中读请求与写请求所占比例的改变而产生非线性的变化。由于存储系统提供的最大带宽的不确知性，给以上两种方案的准确实施带来了障碍。

发明内容

本发明的目的在于克服现有技术的不足，提供一种适用于分布式文件系统的，无需明确知道存储系统所能提供的最大带宽，智能感知客户端需求的变化，并对存储系统带宽资源进行动态自适应分配的方法的用于分布式文件系统的带宽资源的动态自适应分配方法。

本发明的目的是通过以下技术方案来实现的：用于分布式文件系统的带宽资源的动态自适应分配方法，它包括以下步骤：

S1：初始化：设置所有客户端的初始带宽值及各客户端的优先级；

S2：复位考察对象：将具有最高优先级的客户端作为当前的考察对象；

S3：采集数据：采集并记录当前时刻所有客户端的实际带宽使用值；

S4：判断达标：根据采集得到的客户端带宽实际使用值，分析当前优先级客户端的带宽使用值是否达到了对它的带宽设置值，如果达到，则对当前优先级客户端实施增加带宽增的操作，并转至步骤S2继续执行，如果未达到，则进入步骤S5继续执行；

S5：判断限低：判断上一轮产生的带宽分配方案中是否对低于当前优先级的客户端进行过降低带宽设置的操作，如果未进行该操作，则对低于当前优先级的客户端进行降低带宽的操作，并转步骤S2继续执行，如果进行过该操作，则进入步骤S6继续执行；

S6：判断增长：比较当前优先级客户端此轮采集到的实际带宽使用值和记录中上次采集的客户端实际带宽使用值，如果当前实际带宽使用值大于记录中上次采集的客户端实际带宽使用值，则对低于当前优先级的客户端进行降低带宽的操作，并转步骤S2继续执行，如果当前实际带宽使用值小于记录中上次采集的客户端实际带宽使用值，则进入步骤S7继续执行；

S7：判断存在更低优先级：如果存在低于当前优先级的客户端未作考察，则把优先级仅次于当前优先级的客户端作为当前考察对象，转至步骤S4继续执行；否则，转步骤S2继续执行。

进一步的，步骤S5和步骤S6中降低带宽的操作步骤包括以下子步骤：

S501：将具有最低优先级的客户端作为当前的考察对象；

S502：如果当前优先级的客户端的带宽设置达到了带宽设置的下限，则进入步骤S503继续执行；否则，则设置减少其带宽，转至步骤S504；

S503：将优先级仅高于当前优先级的客户端作为当前考察对象，转至步骤S502继续执行；

S504：降低带宽操作完成。

其中，上述步骤中，客户端实际带宽使用值的采集通过分布式文件系统提供的客户端实时带宽使用量监视接口获取；客户端带宽的设置、增加带宽、减少带宽通过分布式文件系统对客户端的带宽限制接口实现。

持续执行上述步骤实质是在一个动态的过程中分析客户端之间对带宽使用的相互影响，判断客户端自身对带宽的即时需求，从而构建出按照从高到低的优先级满足客户端带宽需求，并能在客户端需求发生变化时即时生成适应的分配方案。

在实际操作中还可以对每个客户端设置带宽调控的上下限，将带宽动态调控值限制在上下限所确定的范围之内。

本发明的有益效果是：本发明适用于分布式文件系统的，无需明确知道存储系统所能提供的最大带宽，智能感知客户端需求的变化，并对存储系统带宽资源进行动态自适应分配的方法，方法简单易行，执行效率高，具有很强的实用性。

附图说明

图1为本发明动态自适应分配系统结构示意框图；

图2为本发明动态自适应分配方法流程图；

图3为降低带宽步骤的操作流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案：

如图1所示，用于分布式文件系统的带宽资源的动态自适应分配方法，M个客户端101（图中C1、C2、……C_m-1、C_m）通过分布式文件系统103共享访问物理存储设备104，在客户端对存储的访问过程中，本发明中的带宽资源动态自适应分配方法108周期性地通过分布式文件系统提供的客户端实时带宽使用量监视接口获取客户端的实时带宽使用数据105，并动态生成带宽分配策略106，最后通过分布式文件系统对客户端的带宽限制接口设置客户端带宽107。根据实际需要，M个客户端101被划分到具有N个不同优先级的客户端组102，用向量A=(a₁,a₂,…,a_n,…,a_N)表示这N个客户端组102，其中1≤n≤N，并且从a₁到a_N按优先级依次递减的关系进行排列，与各个不同优先级客户端对应的带宽分配方案组用向量J=(j₁,j₂,…,j_n,…,j_N)表示，其中1≤n≤N ，j_n表示对应于客户端组a_n的带宽分配方案。

如图2所示：用于分布式文件系统的带宽资源的动态自适应分配方法，它包括以下步骤：

S1：初始化201：设置所有M个客户端的初始带宽值为W₀，并设定各客户端的优先级；

S2：复位考察对象202：设置客户端a_n为考察对象，具有最高优先级的客户端即是当前的考察对象，令n=1；

S3：采集数据203：采集并记录当前时刻所有M个客户端的实际带宽使用值；

S4：判断达标205：根据采集得到的客户端带宽实际使用值，分析客户端a_n的带宽使用值是否达到了对它的带宽设置值，如果达到，则对客户端a_n进行带宽增加Δ的操作206，得到j_n，方案组中J中其他分量不变，并转至步骤S2继续执行，如果未达到,则进入步骤S5继续执行；

S5：判断限低207：判断上一轮产生的带宽分配方案中是否对优先级在a_n+1到a_N中的客户端进行过降低带宽设置的操作，如果未进行该操作，则对优先级在a_n+1到a_N中的客户端施以降低带宽δ的操作209，并转至步骤S2继续执行，如果进行过该操作，则进入步骤S6继续执行；

S6：判断增长208：比较客户端a_n此轮采集到的实际带宽使用值和记录中上次采集的客户端实际带宽使用值，如果当前带宽使用值大于记录中上次采集的客户端实际带宽使用值，则对优先级在a_n+1到a_N中的客户端施以降低带宽δ的操作209，并转至步骤S2继续执行，如果当前实际带宽使用值小于记录中上次采集的客户端实际带宽使用值,则进入步骤S7继续执行；

S7：判断存在更低优先级210:若n+1≤N，则令n=n+1，切换考察对象204，把优先级仅次于当前优先级的客户端作为当前考察对象，转至步骤（4）继续执行；否则，转至步骤（2）继续执行。

如图3所示：步骤S5和步骤S6中降低带宽的操作的具体步骤为：

S501：令m=N，当前考察对象为a_m，即是将具有最低优先级的客户端作为当前的考察对象；

S502：如果a_m中的客户端的带宽设置达到了带宽设置的下限，则进入步骤S503继续执行；否则，则设置a_m的带宽减少δ，得到j_m，方法组J中其他分量不变，转步骤S504；

S503：若n+1≤m-1，则令m=m-1，即将优先级仅高于当前优先级的客户端作为当前考察对象，继续执行；

S504：降低带宽操作完成。

Claims (1)

1.用于分布式文件系统的带宽资源的动态自适应分配方法，其特征在于：它包括以下步骤：

S1：初始化：设置所有客户端的初始带宽值及各客户端的优先级；

S2：复位考察对象：将具有最高优先级的客户端作为当前的考察对象；

S3：采集数据：采集并记录当前时刻所有客户端的实际带宽使用值；

S4：判断达标：根据采集得到的客户端实际带宽使用值，分析当前优先级客户端的实际带宽使用值是否达到了对它的带宽设置值，如果达到，则对当前优先级客户端实施增加带宽的操作，并转至步骤S2继续执行，如果未达到，则进入步骤S5继续执行；

S5：判断限低：判断上一轮产生的带宽分配方案中是否对低于当前优先级的客户端进行过降低带宽的操作，如果未进行该操作，则对低于当前优先级的客户端进行降低带宽的操作，并转步骤S2继续执行，如果进行过该操作，则进入步骤S6继续执行；

S6：判断增长：比较当前优先级客户端此轮采集到的实际带宽使用值和记录中上次采集的当前优先级客户端实际带宽使用值，如果当前实际带宽使用值大于记录中上次采集的当前优先级客户端实际带宽使用值，则对低于当前优先级的客户端进行降低带宽的操作，并转步骤S2继续执行，如果当前实际带宽使用值小于记录中上次采集的当前优先级客户端实际带宽使用值，则进入步骤S7继续执行；

S7：判断存在更低优先级：如果存在低于当前优先级的客户端未作考察，则把优先级仅次于当前优先级的客户端作为当前考察对象，转至步骤S4继续执行；否则，转步骤S2继续执行；所述的步骤S5和步骤S6中降低带宽的操作步骤包括以下子步骤：

S501：将具有最低优先级的客户端作为当前的考察对象；

S502：如果当前优先级的客户端的实际带宽使用值达到了带宽设置值的下限，则进入步骤S503继续执行；否则，则设置减少其带宽，转至步骤S504；

S503：将优先级仅高于当前优先级的客户端作为当前考察对象，转至步骤S502继续执行；

S504：降低带宽操作完成。