CN105208121A - 基于分布式文件系统的文件访问流量控制方法及系统 - Google Patents

Abstract

本发明涉及一种基于分布式文件系统的文件访问流量控制方法及系统，其中所述方法应用于分布式文件系统中的服务器中，所述方法包括：配置各终端访问分布式文件系统中文件的第一流量阈值；将所述第一流量阈值发送至所述终端，使得所述终端根据所述第一流量阈值控制对文件的访问；获取所述终端发送的对文件访问进行流量统计得到的第一实际流量值；根据第一实际流量值重新调整第一流量阈值；将所述调整后的第一流量阈值发送至所述终端，使得所述终端根据调整后的第一流量阈值控制对文件的访问。该分布式文件系统的流量控制方法能够有效提高带宽分配合理性、合理利用带宽资源。上述方法及系统提高了带宽资源分配的合理性。

Description

基于分布式文件系统的文件访问流量控制方法及系统

技术领域

本发明涉及数据通信领域，特别是涉及一种基于分布式文件系统的文件访问流量控制方法及系统。

背景技术

分布式文件系统(DistributedFileSystem)是指文件系统管理的物理资源不一定直接连接到本地节点上，而是散布在不同的服务器上，通过计算机网络使各服务器互联，共同管理物理资源提供存储服务。分布式文件系统对外提供的是文件系统挂载服务，用户挂载分布式文件系统后，即可访问文件系统中全局的文件，效果等同于访问本地文件系统。

分布式文件系统对外提供挂载服务，即各终端均可挂载，各终端均可访问文件系统全局文件。由于终端对文件访问的流量不相同，而网络带宽资源是有限的，必然会存在各终端对网络资源的抢夺，往往会呈现有的终端能快速访问到文件，而有的终端却访问文件的速度很慢，对客户不公平。

举例一，如果分布式文件系统中存在业务A(数据库业务)、B(公司CI业务)、C(电子流业务)，各业务对应不同的目录，其中业务A业务重要性高，时延小，如果B和C的业务流量大，访问频繁，那么A的带宽资源将受挤压，网络时延将增大。

举例二，如果分布式文件系统上只运行同一个业务，比如：虚拟机业务，但虚拟机存在服务器级别的虚拟机和普通级别的虚拟机，普通级别的虚拟机流业务量太大，将影响到服务器级别的虚拟机的带宽资源。

举例三，如果分布式文件系统上只运行同一个业务，比如：虚拟机业务，但虚拟机都是普通级别的虚拟机，某些普通虚拟机的业务流量太大，导致其他同等级的虚拟机业务受影响。

发明内容

基于此，有必要针对上述问题，提供一种提高带宽分配合理性的基于分布式文件系统的文件访问流量控制方法及系统。

一种基于分布式文件系统的文件访问流量控制方法，所述方法应用于分布式文件系统中的服务器中，所述方法包括:

配置各终端访问分布式文件系统中文件的第一流量阈值；

将所述第一流量阈值发送至所述终端，使得所述终端根据所述第一流量阈值控制对文件的访问；

获取所述终端发送的对文件访问进行流量统计得到的第一实际流量值；

根据第一实际流量值重新调整第一流量阈值；

将所述调整后的第一流量阈值发送至所述终端，使得所述终端根据调整后的第一流量阈值控制对文件的访问。

在其中一个实施例中，所述获取所述终端发送的对文件访问进行统计获得第一实际流量值的步骤，包括：

在预设的时间周期向终端发送流量获取请求；

接收所述终端根据流量获取请求返回的第一实际流量值，所述第一实际流量值是指终端在预设的固定时间段内统计对文件实际访问的流量获得的。

在其中一个实施例中，所述根据第一实际流量值重新调整第一流量阈值的步骤，包括:

计算所述第一实际流量值与第一流量阈值之间的差值；

根据所述差值调整第一流量阈值的大小，以使得流量阈值与实际流量的大小相匹配。

在其中一个实施例中，所述方法还包括：

配置所述服务器包含的各存储节点的第二流量阈值，所述第二流量阈值是指存储节点为访问分布式文件系统中文件提供的最大流量值；

将所述第二流量阈值发送至各存储节点，使得所述存储节点按照第二流量阈值控制对文件的访问；

获取所述存储节点发送的对文件访问进行流量统计得到的第二实际流量值；

根据第二实际流量值重新调整第二流量阈值；

将所述调整后的第二流量阈值发送至所述存储节点，使得所述存储节点根据调整后的第二流量阈值控制对文件的访问。

在其中一个实施例中，所述存储节点包含若干的备份存储节点，在所述根据第二实际流量值重新调整第二流量阈值的步骤之后，还包括：

将重新调整后的第二流量阈值发送至备份存储节点，使得所述备份存储节点在存储节点存在访问故障时，根据调整后的第二流量阈值控制对文件的访问。

一种基于分布式文件系统的文件访问流量控制系统，所述系统包括:

第一配置模块，用于配置各终端访问分布式文件系统中文件的第一流量阈值；

第一发送模块，用于将所述第一流量阈值发送至所述终端，使得所述终端根据所述第一流量阈值控制对文件的访问；

第一获取模块，用于获取所述终端发送的对文件访问进行流量统计得到的第一实际流量值；

第一调整模块，用于根据第一实际流量值重新调整第一流量阈值；

第一发送模块还用于将所述调整后的第一流量阈值发送至所述终端，使得所述终端根据调整后的第一流量阈值控制对文件的访问。

在其中一个实施例中，所述流第一获取模块包括：

请求发送模块，用于在预设的时间周期向终端发送流量获取请求；

流量值接收模块，用于接收所述终端根据流量获取请求返回的第一实际流量值，所述第一实际流量值是指终端在预设的固定时间段内统计对文件实际访问的流量获得的。

在其中一个实施例中，所述第一调整模块包括:

差值计算模块，用于计算所述第一实际流量值与第一流量阈值之间的差值；

阈值调整模块，用于根据所述差值调整第一流量阈值的大小，以使得流量阈值与实际流量的大小相匹配。9、根据权利要求6所述的系统，其特征在于，所述系统还包括：

第二配置模块，用于配置所述服务器包含的各存储节点的第二流量阈值，所述第二流量阈值是指存储节点为访问分布式文件系统中文件提供的最大流量值；

第二发送模块，用于将所述第二流量阈值发送至各存储节点，使得所述存储节点按照第二流量阈值控制对文件的访问；

第二获取模块，用于获取所述存储节点发送的对文件访问进行流量统计得到的第二实际流量值；

第二调整模块，用于根据第二实际流量值重新调整第二流量阈值；

第二发送模块还用于将所述调整后的第二流量阈值发送至所述存储节点，使得所述存储节点根据调整后的第二流量阈值控制对文件的访问。

在其中一个实施例中，所述存储节点包含若干的备份存储节点，第二发送模块还用于将重新调整后的第二流量阈值发送至备份存储节点，使得所述备份存储节点在存储节点存在访问故障时，根据后的第二流量阈值控制对文件的访问。

上述基于分布式文件系统的文件访问流量控制方法及系统，可以通过服务器配置访问分布式文件系统的第一流量阈值，并结合各终端对文件访问的第一实际流量，动态的调整各终端对分布式文件系统中文件访问的流量控制，由于对文件访问的流量是可控的，有效避免了各终端访问文件时对网络带宽资源的抢夺，因此上述方法及系统提高了带宽资源分配的合理性。

附图说明

图1为一个实施例中基于分布式文件系统的文件访问流量控制方法的流程图；

图2为一个实施例中基于分布式文件系统的文件访问流量控制方法的流程示意图；

图3为一个实施例中基于分布式文件系统的文件访问流量控制方法的应用示例图；

图4为另一个实施例中基于分布式文件系统的文件访问流量控制方法的应用示例图；

图5为一个实施例中基于分布式文件系统的文件访问流量控制系统的结构示意图；

图6为一个实施例中第一获取模块的结构示意图；

图7为一个实施例中第一调整模块的结构示意图；

图8为一个实施例中基于分布式文件系统的文件访问流量控制系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，在一个实施例中，提供了一种基于分布式文件系统的文件访问流量控制方法，方法应用于分布式文件系统中的服务器中，该方法包括如下步骤:

步骤101，配置各终端访问分布式文件系统中文件的第一流量阈值。

具体的，分布式文件系统中的服务器用于提供文件访问服务，并控制终端对文件的访问流量。第一流量阈值是指终端对分布式文件系统中文件的最大流量值。通过配置终端的最大访问流量值使得终端分配的带宽资源更均衡。

在一个实施例中，服务器既可以为各终端配置相同的第一流量阈值，也可以为各终端配置不相同的第一流量阈值。例如，服务器可以为同一级别的用户对应的终端配置相同的第一流量阈值，也可以根据用户级别的高低为高级别的用户对应的终端配置较大的第一流量阈值，为低级别的用户对应的终端配置较小的第一流量阈值。

步骤102，将第一流量阈值发送至终端，使得终端根据第一流量阈值控制对文件的访问。

具体的，终端对文件访问的流量根具体业务需求有关，若服务器完全按照终端业务的需求分配带宽，必然会导致其它终端的文件访问受影响。本实施例中，由于服务器为终端配置了第一流量阈值，即可有效的将终端的访问流量限制在第一流量阈值以内。在一个实施例中，终端对流量的控制采用令牌桶的方式控制访问文件的流量。

步骤103，获取终端发送的对文件访问进行流量统计得到的第一实际流量值。

终端实际访问文件的需求流量存在大于或者小于第一流量阈值的情况。本实施例中，终端将实时记录对文件访问的需求流量，通过对需求流量的统计计算得到第一实际流量值。进一步的，终端将第一实际流量值上报至服务器，由服务器为下一轮的第一流量阈值调整提供数据参考。

具体的，步骤103获取终端发送的对文件访问进行流量统计得到的第一实际流量值包括：在预设的时间周期向终端发送流量获取请求；接收终端根据流量获取请求返回的第一实际流量值，第一实际流量值是指终端在预设的固定时间段内统计对文件实际访问的流量获得的。

步骤104，根据第一实际流量值重新调整第一流量阈值。

在一个实施例中，步骤104，根据第一实际流量值重新调整第一流量阈值的过程如下：计算第一实际流量值与第一流量阈值之间的差值；根据差值调整第一流量阈值的大小，以使得第一流量阈值与实际流量的大小相匹配。本实施例中，当第一实际流量值大于第一流量阈值时，服务器将调高第一流量阈值；当第一实际流量值小于第一流量阈值时，服务器调低第一流量阈值。

具体的，服务器获取各终端上报来的第一实际流量值并计算平均值(Req_average)，计算第一流量阈值的平均值(Tgt_average)。当Req_average>Tgt_average：即流量需求值大于流量阈值。服务器的调整策略为：若终端的第一流量阈值>第一实际流量值时，下调第一流量阈值；若终端的第一流量阈值<＝第一实际流量值时：上调第一流量阈值。当调整后的第一流量阈值的总和超过调整之前，则减少实际流量需求小的终端的第一流量阈值。当调整后的第一流量阈值总和小于调整前的，将多余的流量值用于提高实际流量需求大的终端的第一流量阈值。

当Req_average<＝Tgt_average：即流量需求值小于流量阈值，服务器的流量调整策略为：将多余的流量均匀或者非均匀的分配至第一实际流量值大于第一流量阈值的终端。以上只是列举了一个服务器对第一流量阈值调整策略的，具体的流量调整策略远不止这些，因此这里对流量调整策略不做任何限制。

步骤105，将调整后的第一流量阈值发送至终端，使得终端根据调整后的第一流量阈值控制对文件的访问。

当服务器首次为终端配置的第一流量阈值不适应终端需求时，后续服务器还可根据终端反馈的实际流量需求再次对第一流量阈值进行调整，终端会根据新的第一流量阈值重新控制文件访问。通过这种自适应的流量控制调整方式使得网络宽带资源被合理分配，满足了各终端对分布式文件系统中文件的正常访问需求。

上述基于分布式文件系统的文件访问流量控制方法，可以通过服务器配置访问分布式文件系统的第一流量阈值，并结合各终端对文件访问的实际流量，动态的调整各终端对分布式文件系统中文件访问的流量控制，由于对文件访问的流量是可控的，有效避免了各终端访问文件时对网络带宽资源的抢夺，因此上述方法和系统提高了带宽资源分配的合理性。

如图2所示，在一个实施例中，提供的一种基于分布式文件系统的文件访问流量控制方法还包括：

步骤201，配置服务器包含的各存储节点的第二流量阈值。本实施例中，第二流量阈值是指存储节点为访问分布式文件系统中文件提供的最大流量值。本实施例中，服务器还可以通过为各存储节点配置流量阈值来实现对存储节点的流量控制。

步骤202，将第二流量阈值发送至各存储节点，使得存储节点按照第二流量阈值控制对文件的访问。

步骤203，获取存储节点发送的对文件访问进行流量统计得到的第二实际流量值。本实施例中，第二实际流量值是指存储节点实际接收到终端访问时的流量值。

步骤204，根据第二实际流量值重新调整第二流量阈值。

步骤205，将调整后的第二流量阈值发送至存储节点，使得存储节点根据调整后的第二流量阈值控制对文件的访问。

本实施例中，服务器不但可以配置终端访问文件的流量阈值还可以配置存储节点的流量阈值。通过为终端和存储节点的流量配置流量阈值实现了服务器对分布式文件系统全局进行文件级别的流量控制。

在一个实施例中，存储节点包含若干的备份存储节点，基于分布式文件系统的文件访问流量控制方法还包括：将重新调整后的第二流量阈值发送至备份存储节点，使得备份存储节点在存储节点存在访问故障时，根据调整后的第二流量阈值控制对文件的访问。

本实施例中，当存储节点中的文件发生数据修改时，服务器会将修改后的文件同步至备份存储节点中，提高了数据存储的安全性。同时服务器还会将第二流量阈值发送至备份存储节点，确保存储节点出现单点故障或者多点故障时，服务器仍然可以对文件访问的流量进行控制，提高了系统的稳定性。需要说明的是，通常情况下只由存储节点响应终端的文件访问请求，只有当存储节点出现故障不能正常访问的情况下才切换至备份存储节点来响应终端的文件访问请求。

上述分布式文件系统的文件访问的流量控制方法，当多个不同终端访问分布式文件系统中的同一个文件时，分布式文件系统的流量控制方法可对被访问文件进行正确的流量控制；而当同一个终端访问分布式文件系统中的不同文件时，分布式文件系统的流量控制方法仍然可对不同文件进行流量控制，避免网络带宽资源的抢夺导致延某些终端访问文件延时大，而导致的客户体验差的问题。

下面结合一个应用场景来说明下本发明的技术方案，如图3所示，服务器包括存储服务器以及客户服务器，存储服务器包含主存储服务器(Master)和备份存储服务器(Slave)，存储服务器包括多个存储节点(server1、server2以及server3)。存储服务器上运行着流量控制服务端(Qos-Server)，客户服务器上运行着流量控制客户端(Qos-client)，其中客户服务器与多个终端通信，终端中运行着文件访问客户端(client1、client2)。服务器预先配置第一流量阈值，并通过Qos-Server将其发送至Qos-client，由Qos-client分发至各个终端，终端中运行的client1获取到第一流量阈值后开始对访问文件的流量进行控制，并统计固定时间段内对各文件的第一实际流量值。Qos-Client周期性的从Client1获取第一实际流量值，并将其反馈至Qos-Server，由Qos-Server根据收集到的第一实际流量值重新调整第一流量阈值，再反馈至Qos-Client。图3中的备份存储服务器在主存储服务器出现故障后，仍然可以实现对文件访问的流量控制。

在另一个应用场下，如图4所示，存储服务器上也运行着流量控制客户端(Qos-Client)用来控制各存储节点之间的第二流量阈值。其中Qos-Server预先配置第二流量阈值，并将其发送至运行在存储服务器上的Qos-Client，由其分配至各存储节点(server1、server2以及server3)。当Qos-Sever获取到终端对各存储节点的第二实际流量值后，重新调整各存储节点的第二流量阈值，并将其发送至Qos-Client，由Qos-Client将重新调整好的第二流量阈值分配至对应的存储节点。

如图5所示，在一个实施例中，提供的一种基于分布式文件系统的文件访问流量控制系统，该系统包括如下模块:

第一配置模块50，用于配置各终端访问分布式文件系统中文件的第一流量阈值。

第一发送模块51，用于将所述第一流量阈值发送至所述终端，使得所述终端根据所述第一流量阈值控制对文件的访问。

第一获取模块52，用于获取所述终端发送的对文件访问进行流量统计得到的第一实际流量值。

第一调整模块53，用于根据第一实际流量值重新调整第一流量阈值。

第一发送模块51还用于将所述调整后的第一流量阈值发送至所述终端，使得所述终端根据调整后的第一流量阈值控制对文件的访问。

如图6所示，在一个实施例中，第一获取模块52包括：

请求发送模块521，用于在预设的时间周期向终端发送流量获取请求。

流量值接收模块522，用于接收所述终端根据流量获取请求返回的第一实际流量值，所述第一实际流量值是指终端在预设的固定时间段内统计对文件实际访问的流量获得的。

如图7所示，在一个实施例中，第一调整模块53包括:

差值计算模块531，用于计算所述第一实际流量值与第一流量阈值之间的差值。

阈值调整模块532，用于根据所述差值调整第一流量阈值的大小，以使得流量阈值与实际流量的大小相匹配。

如图8所示，在一个实施例中，提供的基于分布式文件系统的文件访问流量控制访问的流量控制系统还包括如下模块：

第二配置模块80，用于配置所述服务器包含的各存储节点的第二流量阈值，所述第二流量阈值是指存储节点为访问分布式文件系统中文件提供的最大流量值。

第二发送模块81，用于将所述第二流量阈值发送至各存储节点，使得所述存储节点根据第二流量阈值控制对文件的访问。

第二获取模块82，用于获取所述存储节点发送的对文件访问进行流量统计得到的第二实际流量值。

第二调整模块83，用于根据第二实际流量值重新调整第二流量阈值。

第二发送模块81还用于将所述调整后的第二流量阈值发送至所述存储节点，使得所述存储节点在存储节点存在访问故障时，根据调整后的第二流量阈值控制对文件的访问。

在一个实施例中，基于分布式文件系统的文件访问流量控制系统存储节点包含若干的备份存储节点，第二发送模块81还用于将重新调整后的第二流量阈值发送至备份存储节点，使得所述备份存储节点调整后的第二流量阈值控制对文件的访问。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于分布式文件系统的文件访问流量控制方法，所述方法应用于分布式文件系统中的服务器中，所述方法包括:

配置各终端访问分布式文件系统中文件的第一流量阈值；

将所述第一流量阈值发送至所述终端，使得所述终端根据所述第一流量阈值控制对文件的访问；

获取所述终端发送的对文件访问进行流量统计得到的第一实际流量值；

根据第一实际流量值重新调整第一流量阈值；

将所述调整后的第一流量阈值发送至所述终端，使得所述终端根据调整后的第一流量阈值控制对文件的访问。

2.根据权利要求1所述的方法，其特在于，所述获取所述终端发送的对文件访问进行统计获得第一实际流量值的步骤，包括：

在预设的时间周期向终端发送流量获取请求；

接收所述终端根据流量获取请求返回的第一实际流量值，所述第一实际流量值是指终端在预设的固定时间段内统计对文件实际访问的流量获得的。

3.根据权利要求1所述的方法，其特征在于，所述根据第一实际流量值重新调整第一流量阈值的步骤，包括:

计算所述第一实际流量值与第一流量阈值之间的差值；

根据所述差值调整第一流量阈值的大小，以使得流量阈值与实际流量的大小相匹配。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

配置所述服务器包含的各存储节点的第二流量阈值，所述第二流量阈值是指存储节点为访问分布式文件系统中文件提供的最大流量值；

将所述第二流量阈值发送至各存储节点，使得所述存储节点按照第二流量阈值控制对文件的访问；

获取所述存储节点发送的对文件访问进行流量统计得到的第二实际流量值；

根据第二实际流量值重新调整第二流量阈值；

将所述调整后的第二流量阈值发送至所述存储节点，使得所述存储节点根据调整后的第二流量阈值控制对文件的访问。

5.根据权利要求4所述的方法，其特征在于，所述存储节点包含若干的备份存储节点，在所述根据第二实际流量值重新调整第二流量阈值的步骤之后，还包括：

将重新调整后的第二流量阈值发送至备份存储节点，使得所述备份存储节点在存储节点存在访问故障时，根据调整后的第二流量阈值控制对文件的访问。

6.一种基于分布式文件系统的文件访问流量控制系统，其特征在于，所述系统包括:

第一配置模块，用于配置各终端访问分布式文件系统中文件的第一流量阈值；

第一发送模块，用于将所述第一流量阈值发送至所述终端，使得所述终端根据所述第一流量阈值控制对文件的访问；

第一获取模块，用于获取所述终端发送的对文件访问进行流量统计得到的第一实际流量值；

第一调整模块，用于根据第一实际流量值重新调整第一流量阈值；

第一发送模块还用于将所述调整后的第一流量阈值发送至所述终端，使得所述终端根据调整后的第一流量阈值控制对文件的访问。

7.根据权利要求6所述的系统，其特在于，所述流第一获取模块包括：

请求发送模块，用于在预设的时间周期向终端发送流量获取请求；

流量值接收模块，用于接收所述终端根据流量获取请求返回的第一实际流量值，所述第一实际流量值是指终端在预设的固定时间段内统计对文件实际访问的流量获得的。

8.根据权利要求6所述的系统，其特征在于，所述第一调整模块包括:

差值计算模块，用于计算所述第一实际流量值与第一流量阈值之间的差值；

阈值调整模块，用于根据所述差值调整第一流量阈值的大小，以使得流量阈值与实际流量的大小相匹配。

9.根据权利要求6所述的系统，其特征在于，所述系统还包括：

第二配置模块，用于配置所述服务器包含的各存储节点的第二流量阈值，所述第二流量阈值是指存储节点为访问分布式文件系统中文件提供的最大流量值；

第二发送模块，用于将所述第二流量阈值发送至各存储节点，使得所述存储节点按照第二流量阈值控制对文件的访问；

第二获取模块，用于获取所述存储节点发送的对文件访问进行流量统计得到的第二实际流量值；

第二调整模块，用于根据第二实际流量值重新调整第二流量阈值；

第二发送模块还用于将所述调整后的第二流量阈值发送至所述存储节点，使得所述存储节点根据调整后的第二流量阈值控制对文件的访问。

10.根据权利要求9所述的系统，其特征在于，所述存储节点包含若干的备份存储节点，第二发送模块还用于将重新调整后的第二流量阈值发送至备份存储节点，使得所述备份存储节点在存储节点存在访问故障时，根据调整后的第二流量阈值控制对文件的访问。