CN104023088A - 一种应用于分布式文件系统的存储服务器选择方法 - Google Patents

Abstract

一种应用于分布式文件系统的存储服务器选择方法，属于分布式存储技术领域。在分布式集群环境中，针对客户端的写文件请求，元数据管理服务器在选择数据存储服务器时，综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率，动态评价当前服务器的整体性能，作为数据存储服务器选择方法的评价依据，避免因为存储空间不足、服务器CPU、内存这些属性的满载节点而导致数据存储任务的延迟以及失败，提高分布式文件系统存储任务的效率。

Description

一种应用于分布式文件系统的存储服务器选择方法

技术领域

本发明涉及分布式存储技术领域，更确切的说，是一种应用于分布式文件系统的存储服务器选择方法。

背景技术

随着云计算迅速发展，IT界进入“云”时代，云计算中会产生海量的数据存储，传统的文件系统已不能满足其性能要求，作为云存储的核心基础平台，分布式文件系统的重要性日益凸显。分布式文件系统是将分布于不同服务器上的文件组合为单一的名称空间，并使得在网络上建立一个单一的、层次化的文件系统。

分布式文件系统采用可扩展的系统结构，可以实现冗余存储、文件同步、系统容错、故障恢复等原本需要人工手动才能实现的功能，大大降低维护难度，不但提高了系统的可靠性、可用性和存取效率，更易于扩展，可以有效存储并管理利用海量数据。

分布式文件系统主要采用的是主从式服务器架构，将文件数据分成固定大小文件块分散存储在多台通过网络连接起来的计算机节点上,这种模式存在一些节点分配的文件块过多,而另外一些节点却是空闲的,导致系统的数据存储服务器之间数据块分配不均衡问题。数据存储服务器选择方法是分布式文件系统的研究核心之一，是否有好的数据存储服务器选择方法直接影响系统的性能。

现有的应用在分布式文件系统的存储服务器选择方法，当系统进行写文件操作选择存储服务器时，对存储服务器性能的评价标准较为单一，无法综合反映当前存储服务器的性能。申请号为201110259333.2、发明名称为【一种分布式系统的服务负载均衡方法及装置】的发明专利，公开了一种分布式系统的服务负载均衡方法，在进行负载均衡时考虑了服务器的负荷情况和对应的各网口流量，但是没有考虑存储服务器的存储空间利用率，针对分布式存储问题，不能保证存储容量大小对存储节点选择的影响。其他已有的分布式文件系统架构，考虑了存储服务器的存储空间，却没有考虑服务器的负荷性能，在进行分布式存储处理时不能综合考量服务器性能。

发明内容

针对以上缺陷和不足，本发明提出了一种应用于分布式文件系统的存储服务器选择方法，以解决在分布式文件系统中存储服务器选择方法评价标准较为单一的问题。

为了达到上述目的，本发明采用如下的技术方案：

一种应用于分布式文件系统的存储服务器选择方法，在分布式集群环境中，针对客户端的写文件请求，元数据管理服务器在选择数据存储服务器时，综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率，采用线性评价函数模型计算存储器性能权值，动态评价当前服务器的整体性能，作为数据存储服务器选择方法的评价依据，该方法步骤如下：

(1)为数据存储服务器的性能评价值C_i赋初值

C_I初始值为大于0小于1的随机数，当客户端发起写文件请求时，元数据管理服务器对数据存储服务器进行轮询，选择评价值C_i>1的数据存储服务器进行写文件操作，当评价值C_i>1的数据存储服务器个数小于所需文件副本数时，则根据存储服务器的性能权重值w_i更新存储服务器的性能评价值C_i；

(2)计算存储服务器的性能权重值w_i

综合考虑服务器的性能评价标准，存储服务器的性能权重用以下几个指标综合量度：存储空间空闲率s_i，内存利用率mem_i,CPU利用率cpu_i，采用线性加权评价函数模型，存储服务器的性能权值w_i可以表示为：

w_i＝k₁×s_i+k₂(1-mem_i)+k₃(1-cpu_i)

其中，存储空间空闲率totalspace_i表示存储服务器的总存储空间，usedspace_i表示存储服务器已使用存储空间，k₁、k₂、k₃分别为节点状态存储空间空闲率、内存使用率和CPU使用率的加权系数，k₁、k₂、k₃的值根据经验确定，并且满足k₁+k₂+k₃＝1；

由w_i的计算公式可以看出，存储服务器的存储空间空闲率越大，内存利用率越小，CPU利用率越小，w_i的权值越大；

(3)更新存储服务器的性能评价值

根据上述计算的存储服务器的性能权值w_i与存储服务器的性能评价值C_i相加，以更新存储服务器的性能评价值，即C_i＝C_i+w_i，直至性能评价值C_i大于1的存储服务器个数等于所需文件副本数；

(4)对存储服务器性能评价值C_i排序并选出最大值进行写文件操作

将存储服务器性能评价值C_i从大到小进行排序，选出性能评价值C_i最大的存储服务器，进行写文件操作，将客户端所要写入的文件块存入所选的数据存储服务器；

(5)写文件操作结束后，将所选的数据存储服务器的性能评价值C_i减1，即更新为C_i＝C_i-1，然后转入步骤(1)，更新后的C_i作为下一次循环的初始值。

本发明的有益效果如下，针对分布式文件系统中客户端的写文件操作，在选择数据存储服务器时考虑存储服务器存储空间空闲率，服务器内存使用率、CPU使用率等服务器节点状态，采用线性评价函数模型计算存储器性能权值，动态评价当前服务器的整体性能，作为数据存储服务器选择方法的评价依据。避免因为存储空间利用率、CPU使用率、内存使用率这些属性的满载节点而导致数据传输任务的延迟以及失败，提高存储任务的效率。

附图说明

图1为本发明方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，但不限于此。

实施例：

本发明实施例如图1所示，一种应用于分布式文件系统的存储服务器选择方法，在分布式集群环境中，针对客户端的写文件请求，元数据管理服务器在选择数据存储服务器时，综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率，采用线性评价函数模型计算存储器性能权值，动态评价当前服务器的整体性能，作为数据存储服务器选择方法的评价依据，该方法步骤如下：

(1)为数据存储服务器的性能评价值C_i赋初值

C_i初始值为大于0小于1的随机数，当客户端发起写文件请求时，元数据管理服务器对数据存储服务器进行轮询，选择评价值C_i>1的数据存储服务器进行写文件操作，当评价值C_i>1的数据存储服务器个数小于所需文件副本数时，则根据存储服务器的性能权重值w_i更新存储服务器的性能评价值C_i；

(2)计算存储服务器的性能权重值w_i

综合考虑服务器的性能评价标准，存储服务器的性能权重用以下几个指标综合量度：存储空间空闲率s_i，内存利用率mem_i,CPU利用率cpu_i，采用线性加权评价函数模型，存储服务器的性能权值w_i可以表示为：

w_i＝k₁×s_i+k₂(1-mem_i)+k₃(1-cpu_i)

其中，存储空间空闲率totalspace_i表示存储服务器的总存储空间，usedspace_i表示存储服务器已使用存储空间，k₁、k₂、k₃分别为节点状态存储空间空闲率、内存使用率和CPU使用率的加权系数，k₁、k₂、k₃的值根据经验确定，并且满足k₁+k₂+k₃＝1；

由w_i的计算公式可以看出，存储服务器的存储空间空闲率越大，内存利用率越小，CPU利用率越小，w_i的权值越大；

(3)更新存储服务器的性能评价值

根据上述计算的存储服务器的性能权值w_i与存储服务器的性能评价值C_i相加，以更新存储服务器的性能评价值，即C_i＝C_i+w_i，直至性能评价值C_i大于1的存储服务器个数等于所需文件副本数；

(4)对存储服务器性能评价值C_i排序并选出最大值进行写文件操作

将存储服务器性能评价值C_i从大到小进行排序，选出性能评价值C_i最大的存储服务器，进行写文件操作，将客户端所要写入的文件块存入所选的数据存储服务器；

(5)写文件操作结束后，将所选的数据存储服务器的性能评价值C_i减1，即更新为C_i＝C_i-1，然后转入步骤(1)，更新后的C_i作为下一次循环的初始值。

Claims (1)

1.一种应用于分布式文件系统的存储服务器选择方法，在分布式集群环境中，针对客户端的写文件请求，元数据管理服务器在选择数据存储服务器时，综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率，采用线性评价函数模型计算存储器性能权值，动态评价当前服务器的整体性能，作为数据存储服务器选择方法的评价依据，该方法步骤如下：

(1)为数据存储服务器的性能评价值C_i赋初值

C_i初始值为大于0小于1的随机数，当客户端发起写文件请求时，元数据管理服务器对数据存储服务器进行轮询，选择评价值C_i>1的数据存储服务器进行写文件操作，当评价值C_i>1的数据存储服务器个数小于所需文件副本数时，则根据存储服务器的性能权重值w_i更新存储服务器的性能评价值C_i；

(2)计算存储服务器的性能权重值w_i

综合考虑服务器的性能评价标准，存储服务器的性能权重用以下几个指标综合量度：存储空间空闲率s_i，内存利用率mem_i,CPU利用率cpu_i，采用线性加权评价函数模型，存储服务器的性能权值w_i可以表示为：

w_i＝k₁×s_i+k₂(1-mem_i)+k₃(1-cpu_i)

其中，存储空间空闲率totalspace_i表示存储服务器的总存储空间，usedspqce_i表示存储服务器已使用存储空间，k₁、k₂、k₃分别为节点状态存储空间空闲率、内存使用率和CPU使用率的加权系数，k₁、k₂、k₃的值根据经验确定，并且满足k₁+k₂+k₃＝1；

由w_i的计算公式可以看出，存储服务器的存储空间空闲率越大，内存利用率越小，CPU利用率越小，w_i的权值越大；

(3)更新存储服务器的性能评价值

根据上述计算的存储服务器的性能权值w_i与存储服务器的性能评价值C_i相加，以更新存储服务器的性能评价值，即C_i＝C_i+w_i，直至性能评价值C_i大于1的存储服务器个数等于所需文件副本数；

(4)对存储服务器性能评价值C_i排序并选出最大值进行写文件操作

将存储服务器性能评价值C_i从大到小进行排序，选出性能评价值C_i最大的存储服务器，进行写文件操作，将客户端所要写入的文件块存入所选的数据存储服务器；

(5)写文件操作结束后，将所选的数据存储服务器的性能评价值C_i减1，即更新为C_i＝C_i-1，然后转入步骤(1)，更新后的C_i作为下一次循环的初始值。