CN106961398B - 一种分布式文件系统的带宽控制方法及装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统的带宽控制方法及装置，通过采集samba网络层的当前数据量和当前数据包个数；根据当前数据量以及当前数据包个数，分别计算当前网络带宽和当前包速率；比较当前网络带宽与预设带宽大小；当前网络带宽大于预设带宽，根据当前包速率、当前网络带宽以及预设带宽，计算得出额定包速率；调用时延函数，控制samba网络层的TCP接口的包流入速率，使包流入速率等于额定包速率。本申请在当前网络带宽大于预设带宽时，控制samba网络层的TCP接口的包流入速率等于额定包速率，以控制samba网络接口流量，实现分布式文件系统带宽控制，降低分布式文件系统的流量压力，进而提高分布式文件系统的稳定性。

Description

一种分布式文件系统的带宽控制方法及装置

技术领域

本发明涉及文件系统领域，特别是涉及一种分布式文件系统的带宽控制方法及装置。

背景技术

随着存储技术的发展进步，分布式文件系统的应用越来越广泛。

在AS13000产品中，客户端到底层文件系统的整个功能链中并未实现带宽控制。此时，当客户端短时间高业务量访问AS13000时，会对AS13000的文件系统产生较高的业务流量压力，可能会引起数据不能及时落盘，缓存过大等问题，进而降低AS13000分布式系统的稳定性。

发明内容

本发明的目的是提供一种分布式文件系统的带宽控制方法及装置，目的在于解决现有技术的分布式系统中没有实现带宽控制导致的稳定性较低的问题。

为解决上述技术问题，本发明提供一种分布式文件系统的带宽控制方法，该方法包括：

采集samba网络层的当前数据量以及当前数据包个数；

根据所述当前数据量以及所述当前数据包个数，分别计算得出当前网络带宽和当前包速率；

比较所述当前网络带宽与预设带宽的大小；

当所述当前网络带宽大于所述预设带宽时，根据所述当前包速率、所述当前网络带宽以及所述预设带宽，计算得出额定包速率；

调用时延函数，控制所述samba网络层的TCP接口的包流入速率，使所述包流入速率等于所述额定包速率。

可选地，所述根据所述当前数据量以及所述当前数据包个数，分别计算得出当前网络带宽和当前包速率包括：

根据前一次采集的所述samba网络层的数据量、所述当前数据量以及前一次采集和当前采集之间的时间间隔，计算出所述当前网络带宽；

根据前一次采集的所述samba网络层的数据包个数、所述当前数据包个数以及所述时间间隔，计算出所述当前包速率。

可选地，所述当所述当前网络带宽大于所述预设带宽时，根据所述当前包速率、所述当前网络带宽以及所述预设带宽，计算得出额定包速率包括：

当所述当前网络带宽大于所述预设带宽时，计算出所述当前网络带宽和所述预设带宽的比值；

将所述比值和所述当前包速率相乘，得出所述额定包速率。

可选地，所述调用时延函数，控制所述samba网络层的TCP接口的包流入速率，使所述包流入速率等于所述额定包速率包括：

调用usleep函数，控制所述TCP接口的所述包流入速率，使所述包流入速率等于所述额定包速率。

可选地，所述采集samba网络层的当前数据量以及当前数据包个数包括：

根据预先采集周期，采集AS13000分布式系统中的samba网络层的所述当前数据量以及所述当前数据包个数。

此外，本发明还提供了一种分布式文件系统的带宽控制装置，该装置包括：

采集模块，用于采集samba网络层的当前数据量以及当前数据包个数；

第一计算模块，用于根据所述当前数据量以及所述当前数据包个数，分别计算得出当前网络带宽和当前包速率；

比较模块，用于比较所述当前网络带宽与预设带宽的大小；

第二计算模块，用于当所述当前网络带宽大于所述预设带宽时，根据所述当前包速率、所述当前网络带宽以及所述预设带宽，计算得出额定包速率；

控制模块，用于调用时延函数，控制所述samba网络层的TCP接口的包流入速率，使所述包流入速率等于所述额定包速率。

可选地，所述第一计算模块包括：

带宽计算单元，用于根据前一次采集的所述samba网络层的数据量、所述当前数据量以及前一次采集和当前采集之间的时间间隔，计算出所述当前网络带宽；

包速率计算单元，用于根据前一次采集的所述samba网络层的数据包个数、所述当前数据包个数以及所述时间间隔，计算出所述当前包速率。

可选地，所述第二计算模块包括：

比值计算单元，用于当所述当前网络带宽大于所述预设带宽时，计算出所述当前网络带宽和所述预设带宽的比值；

相乘单元，用于将所述比值和所述当前包速率相乘，得出所述额定包速率。

可选地，所述控制模块包括：

时延控制单元，用于调用usleep函数，控制所述TCP接口的所述包流入速率，使所述包流入速率等于所述额定包速率。

可选地，所述采集模块包括：

周期采集单元，用于根据预先采集周期，采集AS13000分布式系统中的samba网络层的所述当前数据量以及所述当前数据包个数。

本发明所提供的一种分布式文件系统的带宽控制方法及装置，通过采集samba网络层的当前数据量以及当前数据包个数；根据当前数据量以及当前数据包个数，分别计算得出当前网络带宽和当前包速率；比较当前网络带宽与预设带宽的大小；当当前网络带宽大于预设带宽时，根据当前包速率、当前网络带宽以及预设带宽，计算得出额定包速率；调用时延函数，控制samba网络层的TCP接口的包流入速率，使包流入速率等于额定包速率。本申请在当前网络带宽大于预设带宽时，通过控制samba网络层的TCP接口的包流入速率等于额定包速率，以控制samba的网络接口流量，实现对分布式文件系统的带宽控制，降低了分布式文件系统的业务流量压力，进而提高了分布式文件系统的稳定性。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的分布式文件系统的带宽控制方法的一种具体实施方式的流程示意图；

图2为本发明实施例所提供的分布式文件系统的带宽控制装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1为本发明实施例所提供的分布式文件系统的带宽控制方法的一种具体实施方式的流程示意图，该方法包括以下步骤：

步骤101：采集samba网络层的当前数据量以及当前数据包个数。

需要说明的是，上述samba网络层可以是指AS13000分布式文件系统中的网络层，即AS13000分布式文件系统中没有实现带宽控制，可以通过控制其samba网络层的收发速率，达到控制其带宽的目的；当然，上述samba网络层也可以是指其它分布式文件系统中的网络层，在此不作限定。

上述当前数据量可以是指samba网络层当前所接收到的总字节数，可以记为total_bytes。上述当前数据包个数可以是指samba网络层当前所接收到的总数据包个数，可以记为total_packets。

为了实现带宽的动态调整，以适应各种状况，可以周期性采集当前数据量和当前数据包个数。

作为一种具体实施方式，上述采集samba网络层的当前数据量以及当前数据包个数的过程可以具体为：根据预先采集周期，采集AS13000分布式系统中的samba网络层的所述当前数据量以及所述当前数据包个数。

对于AS13000分布式系统，每隔一个预先设定的采集周期，则采集一次当前数据量和当前数据包个数。

上述预先采集周期可以根据具体需求，进行任意设定，在此不作限定。

周期性采集数据量和数据包个数，可以动态更新后续的额定包速率，而带宽控制可以使得网络层的包流入速率为额定包速率，则动态调整额定包速率的值，即可实现带宽的动态调整。

步骤102：根据所述当前数据量以及所述当前数据包个数，分别计算得出当前网络带宽和当前包速率。

具体地，可以基于前一次采集的数据量和当前数据包个数，来计算当前网络带宽和当前包速率。

作为一种具体实施方式，上述根据所述当前数据量以及所述当前数据包个数，分别计算得出当前网络带宽和当前包速率的过程可以具体为：根据前一次采集的所述samba网络层的数据量、所述当前数据量以及前一次采集和当前采集之间的时间间隔，计算出所述当前网络带宽；根据前一次采集的所述samba网络层的数据包个数、所述当前数据包个数以及所述时间间隔，计算出所述当前包速率。

可以理解的是，可以将前一次采集的数据量记为total_bytes_last，前一次采集的数据包个数记为total_packets_last，两次采集之间的时间间隔记为time_interval。

此时，当前网络带宽S_bps_current＝(total_bytes—total_bytes_last)/time_interval。而当前包速率S_packets_current＝(total_packets—total_packets_last)/time_interval。

步骤103：比较所述当前网络带宽与预设带宽的大小。

可以理解的是，上述预设带宽可以根据实际需求进行任意设定，在此不作限定。

步骤104：当所述当前网络带宽大于所述预设带宽时，根据所述当前包速率、所述当前网络带宽以及所述预设带宽，计算得出额定包速率。

具体地，可以通过当前网络带宽和预设带宽的比值以及当前包速率，来计算出额定包速率。

作为一种具体实施方式，上述当所述当前网络带宽大于所述预设带宽时，根据所述当前包速率、所述当前网络带宽以及所述预设带宽，计算得出额定包速率的过程可以具体为：当所述当前网络带宽大于所述预设带宽时，计算出所述当前网络带宽和所述预设带宽的比值；将所述比值和所述当前包速率相乘，得出所述额定包速率。

可以将预设带宽记为S_bps_rate，此时，额定包速率S_packets_rate＝S_bps_rate/S_bps_current*S_packets_current。

步骤105：调用时延函数，控制所述samba网络层的TCP接口的包流入速率，使所述包流入速率等于所述额定包速率。

上述时延函数可以是指usleep函数，每隔一定的周期，则调用usleep函数，以达到控制带宽的目的。

作为一种具体实施方式，上述调用时延函数，控制所述samba网络层的TCP接口的包流入速率，使所述包流入速率等于所述额定包速率具体可以包括：调用usleep函数，控制所述TCP接口的所述包流入速率，使所述包流入速率等于所述额定包速率。

具体地，上述usleep函数可以具体表现为usleep(1000)，即每隔S_packets_rate/1000，则调用usleep(1000)函数；也即当每读取packets_count＝S_packets_rate/1000个数据包后，则运行usleep函数。

本发明实施例所提供的分布式文件系统的带宽控制方法，通过采集samba网络层的当前数据量以及当前数据包个数；根据当前数据量以及当前数据包个数，分别计算得出当前网络带宽和当前包速率；比较当前网络带宽与预设带宽的大小；当当前网络带宽大于预设带宽时，根据当前包速率、当前网络带宽以及预设带宽，计算得出额定包速率；调用时延函数，控制samba网络层的TCP接口的包流入速率，使包流入速率等于额定包速率。该方法在当前网络带宽大于预设带宽时，通过控制samba网络层的TCP接口的包流入速率等于额定包速率，以控制samba的网络接口流量，实现对分布式文件系统的带宽控制，降低了分布式文件系统的业务流量压力，进而提高了分布式文件系统的稳定性。

下面对本发明实施例提供的分布式文件系统的带宽控制装置进行介绍，下文描述的分布式文件系统的带宽控制装置与上文描述的分布式文件系统的带宽控制方法可相互对应参照。

图2为本发明实施例所提供的分布式文件系统的带宽控制装置的结构框图，参照图2分布式文件系统的带宽控制装置可以包括：

采集模块21，用于采集samba网络层的当前数据量以及当前数据包个数；

第一计算模块22，用于根据当前数据量以及当前数据包个数，分别计算得出当前网络带宽和当前包速率；

比较模块23，用于比较当前网络带宽与预设带宽的大小；

第二计算模块24，用于当当前网络带宽大于预设带宽时，根据当前包速率、当前网络带宽以及预设带宽，计算得出额定包速率；

控制模块25，用于调用时延函数，控制samba网络层的TCP接口的包流入速率，使包流入速率等于额定包速率。

可选地，上述第一计算模块包括：

带宽计算单元，用于根据前一次采集的samba网络层的数据量、当前数据量以及前一次采集和当前采集之间的时间间隔，计算出当前网络带宽；

包速率计算单元，用于根据前一次采集的samba网络层的数据包个数、当前数据包个数以及时间间隔，计算出当前包速率。

可选地，上述第二计算模块包括：

比值计算单元，用于当当前网络带宽大于所述预设带宽时，计算出当前网络带宽和预设带宽的比值；

相乘单元，用于将比值和当前包速率相乘，得出额定包速率。

可选地，上述控制模块包括：

时延控制单元，用于调用usleep函数，控制TCP接口的包流入速率，使包流入速率等于额定包速率。

可选地，上述采集模块包括：

周期采集单元，用于根据预先采集周期，采集AS13000分布式系统中的samba网络层的当前数据量以及当前数据包个数。

本发明实施例所提供的分布式文件系统的带宽控制装置，该装置在当前网络带宽大于预设带宽时，通过控制samba网络层的TCP接口的包流入速率等于额定包速率，以控制samba的网络接口流量，实现对分布式文件系统的带宽控制，降低了分布式文件系统的业务流量压力，进而提高了分布式文件系统的稳定性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的分布式文件系统的带宽控制方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种分布式文件系统的带宽控制方法，其特征在于，包括：

采集samba网络层的当前数据量以及当前数据包个数；

根据所述当前数据量以及所述当前数据包个数，分别计算得出当前网络带宽和当前包速率；

比较所述当前网络带宽与预设带宽的大小；

当所述当前网络带宽大于所述预设带宽时，根据所述当前包速率、所述当前网络带宽以及所述预设带宽，计算得出额定包速率；

调用时延函数，控制所述samba网络层的TCP接口的包流入速率，使所述包流入速率等于所述额定包速率；

其中，所述根据所述当前数据量以及所述当前数据包个数，分别计算得出当前网络带宽和当前包速率包括：

根据前一次采集的所述samba网络层的数据量、所述当前数据量以及前一次采集和当前采集之间的时间间隔，计算出所述当前网络带宽；

根据前一次采集的所述samba网络层的数据包个数、所述当前数据包个数以及所述时间间隔，计算出所述当前包速率；

所述当所述当前网络带宽大于所述预设带宽时，根据所述当前包速率、所述当前网络带宽以及所述预设带宽，计算得出额定包速率包括：

当所述当前网络带宽大于所述预设带宽时，计算出所述当前网络带宽和所述预设带宽的比值；

将所述比值和所述当前包速率相乘，得出所述额定包速率。

2.如权利要求1所述的带宽控制方法，其特征在于，所述调用时延函数，控制所述samba网络层的TCP接口的包流入速率，使所述包流入速率等于所述额定包速率包括：

调用usleep函数，控制所述TCP接口的所述包流入速率，使所述包流入速率等于所述额定包速率。

3.如权利要求1和2任一项所述的带宽控制方法，其特征在于，所述采集samba网络层的当前数据量以及当前数据包个数包括：

根据预先采集周期，采集AS13000分布式系统中的samba网络层的所述当前数据量以及所述当前数据包个数。

4.一种分布式文件系统的带宽控制装置，其特征在于，包括：

采集模块，用于采集samba网络层的当前数据量以及当前数据包个数；

第一计算模块，用于根据所述当前数据量以及所述当前数据包个数，分别计算得出当前网络带宽和当前包速率；

比较模块，用于比较所述当前网络带宽与预设带宽的大小；

第二计算模块，用于当所述当前网络带宽大于所述预设带宽时，根据所述当前包速率、所述当前网络带宽以及所述预设带宽，计算得出额定包速率；

控制模块，用于调用时延函数，控制所述samba网络层的TCP接口的包流入速率，使所述包流入速率等于所述额定包速率；

其中，所述第一计算模块包括：

带宽计算单元，用于根据前一次采集的所述samba网络层的数据量、所述当前数据量以及前一次采集和当前采集之间的时间间隔，计算出所述当前网络带宽；

包速率计算单元，用于根据前一次采集的所述samba网络层的数据包个数、所述当前数据包个数以及所述时间间隔，计算出所述当前包速率；

所述第二计算模块包括：

比值计算单元，用于当所述当前网络带宽大于所述预设带宽时，计算出所述当前网络带宽和所述预设带宽的比值；

相乘单元，用于将所述比值和所述当前包速率相乘，得出所述额定包速率。

5.如权利要求4所述的带宽控制装置，其特征在于，所述控制模块包括：

时延控制单元，用于调用usleep函数，控制所述TCP接口的所述包流入速率，使所述包流入速率等于所述额定包速率。

6.如权利要求4和5任一项所述的带宽控制装置，其特征在于，所述采集模块包括：

周期采集单元，用于根据预先采集周期，采集AS13000分布式系统中的samba网络层的所述当前数据量以及所述当前数据包个数。

Images