CN103973583B - 分布式文件系统优化负载均衡的方法及系统 - Google Patents

Abstract

本发明涉及一种分布式文件系统优化负载均衡的方法及系统，其系统包括元数据服务器、存储服务器及数据库服务器，数据库服务器在接收客户端发送的文件写入请求，根据文件写入请求写入文件，并为每一文件的各分片打上标签；元数据服务器当监控到存储服务器状态异常时，向存储服务器发起分片迁移请求；存储服务器根据本地存储文件的各分片的标签以及分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将分片新的位置信息上报至数据库服务器。本发明在存储服务器异常以及硬盘故障和扩容情况下，对分片进行重新调整，达到了优化负载均衡的效果，节省了元数据服务器的开支，提高了小文件模型下的整体性能。

Description

分布式文件系统优化负载均衡的方法及系统

技术领域

本发明涉及分布式文件系统负载均衡技术领域，尤其涉及一种通过自动调整分布式文件系统文件分片的分布来优化负载均衡的方法及系统。

背景技术

与传统磁阵设备相比，分布式文件系统具有兼容不同型号设备、易于接入、易于扩容等优点。由于协同大量的存储设备共同为用户提供服务，因此分布式文件系统对于负载均衡要求很高。

分布式文件系统通常将大文件切割成相同大小的分片，然后将这些分片分别存放在待提供服务的存储设备中。如果需要实现负载均衡，必须解决以下两个问题：

第一，当用户请求写或者读时，元数据服务器必须权衡现有存储服务器的资源信息，选择一个更有利于整体优化的存储服务器为用户提供服务；

第二，文件分片存放的位置必须合理，否则无论元数据服务器如何优化选择存储服务器，还是必须从存放相应数据的存储服务器获取数据。

针对上述第二个问题，当文件分片存放位置已经不合理的情况下，如何进行二次调整，优化负载均衡成为待解决的问题。

文件分片存放位置会产生不合理绝大多数情况是因为硬盘故障和扩容而造成的。在硬盘故障和扩容的过程中，有两种情况会影响文件分片分布均匀。一种情况是，硬盘状态正常，但读写慢，这样原先数据库根据负载均衡分配的方案，会被迫重新调整；另外一种情况是，硬盘状态坏和扩容，需要将部分分片重新调整到新增加或者换上的硬盘上。

现有的解决方法是，由存储服务器上报硬盘空间利用率，元数据服务器定时轮询，当发现硬盘空间利用率大于一定的阈值后，由元数据服务器发起分片迁移。但是，现有的这种解决方法存在以下缺陷：

第一、硬盘空间利用率只能反映硬盘上分片的数量，并不能代表文件在所有硬盘上的分布情况。因此，分片迁移后，会造成大量的文件只存放于少量硬盘上，而不能使得所有硬盘协同为用户服务。

第二、硬盘空间利用率不能反映文件的第一块分片的存放信息，迁移可能造成许多文件的第一块分片集中存放到少数硬盘上。当用户读文件时，都是从第一块分片开始，由此会产生能力不足的现象。

第三、所有的迁移由元数据服务器完成，这无疑增加了元数据服务器的负担。尤其在小文件占比例较大的模型下，会影响文件系统的整体性能。

发明内容

本发明的主要目的在于提供一种分布式文件系统优化负载均衡的方法及系统，旨在解决迁移分片后，负载均衡失效的问题。

为了达到上述目的，本发明提出一种分布式文件系统优化负载均衡的方法，包括：

当元数据服务器监控到存储服务器状态异常时，向所述存储服务器发起分片迁移请求；

所述存储服务器根据本地存储文件的各分片的标签以及所述分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将所述分片新的位置信息上报数据库服务器。

优选地，所述当元数据服务器监控到存储服务器状态异常时，向所述存储服务器发起分片迁移请求的步骤之前还包括：

所述数据库服务器接收客户端发送的文件写入请求，根据所述文件写入请求写入文件，并为每一文件的各分片打上标签。

优选地，所述数据库服务器为每一文件的各分片打上标签的步骤包括：

所述数据库服务器写入第一个文件时，给该文件打上标签1，后续每增加一个文件，标签则增加1，当标签达到65535时再循环打标签。

优选地，所述存储服务器状态异常至少包括存储服务器的增加、删除以及硬盘故障或者扩容。

优选地，所述元数据服务器监控到所述硬盘故障的步骤包括：

所述存储服务器在侦听到硬盘故障时，将硬盘异常信息发送给所述元数据服务器；

所述元数据服务器接收到所述硬盘异常信息后，监控到所述硬盘故障。

优选地，所述当元数据服务器监控到存储服务器状态异常时，向所述存储服务器发起分片迁移请求的步骤包括：

当元数据服务器监控到存储服务器状态异常，且异常时间大于预定阈值时，向所述存储服务器发起分片迁移请求。

本发明还提出一种优化负载均衡的分布式文件系统，包括：元数据服务器、存储服务器及数据库服务器，其中：

所述元数据服务器用于当监控到所述存储服务器状态异常时，向所述存储服务器发起分片迁移请求；

所述存储服务器用于根据本地存储文件的各分片的标签以及所述分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将所述分片新的位置信息上报至所述数据库服务器。

优选地，所述数据库服务器还用于接收客户端发送的文件写入请求，根据所述文件写入请求写入文件，并为每一文件的各分片打上标签。

优选地，所述数据库服务器还用于在写入第一个文件时，给该文件打上标签1，后续每增加一个文件，标签则增加1，当标签达到65535时再循环打标签。

优选地，所述存储服务器状态异常至少包括存储服务器的增加、删除以及硬盘故障或者扩容。

优选地，所述存储服务器还用于在侦听到硬盘故障时，将硬盘异常信息发送给所述元数据服务器；

所述元数据服务器还用于在接收到所述硬盘异常信息后，监控到所述硬盘故障。

优选地，所述元数据服务器还用于当监控到存储服务器状态异常，且异常时间大于预定阈值时，向所述存储服务器发起分片迁移请求。

本发明提出的一种分布式文件系统优化负载均衡的方法及系统，当元数据服务器监控到存储服务器状态异常时，向存储服务器发起分片迁移请求；存储服务器根据本地存储文件的各分片的标签以及分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将分片新的位置信息上报数据库服务器，由此在存储服务器异常以及硬盘故障和扩容情况下，对分片进行重新调整，达到了优化负载均衡的效果，节省了元数据服务器的开支，提高了小文件模型下的整体性能。

附图说明

图1是本发明优化负载均衡的分布式文件系统一实施例的结构示意图；

图2是本发明实施例中硬盘故障分片迁移流程图；

图3是本发明实施例中硬盘扩容分片迁移流程图；

图4是本发明分布式文件系统优化负载均衡的方法一实施例的流程示意图。

具体实施方式

本发明实施例的解决方案主要思路是：当元数据服务器监控到存储服务器状态异常时，向存储服务器发起分片迁移请求；存储服务器根据本地存储文件的各分片的标签以及分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将分片新的位置信息上报数据库服务器，以达到优化负载均衡的目的，节省元数据服务器的开支，提高小文件模型下的整体性能。

如图1所示，本发明一实施例提出的一种优化负载均衡的分布式文件系统，包括：元数据服务器10、存储服务器20及数据库服务器30，其中：

所述数据库服务器30用于接收客户端40发送的文件写入请求，根据所述文件写入请求写入文件，并为每一文件的各分片打上标签；

所述元数据服务器10用于当监控到所述存储服务器20状态异常时，向所述存储服务器20发起分片迁移请求；

所述存储服务器20用于根据本地存储文件的各分片的标签以及所述分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将所述分片新的位置信息上报至所述数据库服务器30。

具体地，在本实施例中，存储服务器20包括存储服务器监控模块202、存储服务器上报模块201以及重置分片模块203，其中：

存储服务器监控模块202用于监控存储服务器20上硬盘、网络资源信息，当状态发生异常时立即上报存储服务器上报模块201；

存储服务器上报模块201用于接收存储服务器监控模块202的消息，在硬盘和网络异常时，向元数据服务器10上报存储服务器监控模块202监控的信息。

重置分片模块203用于根据首次存放文件时分片的标签，以及元数据服务器10触发机制下发的当前存储服务器20和硬盘状态参数，判断分片应该存放的最佳位置信息，发起分片迁移。

元数据服务器10包括元数据服务器监控模块101和迁移触发模块102，其中：

元数据服务器监控模块101用于监控每个存储服务器20的状态，发现存储服务器20离线或者新增的情况，即负责监控所有存储服务器20的增加、删除、异常等改变信息，以及接收存储服务器上报模块201的硬盘状态信息；

迁移触发模块102用于当存储服务器20离线或者新增，或者硬盘异常或者扩容发生时，在规定的阈值范围时间后，向存储服务器20发起重新调整分片的请求，触发分片迁移。

数据库服务器30包括：打标签模块301和数据库模块302，其中：

打标签模块301用于在客户端40请求首次写入某文件时，向文件的每个分片下发一个标签，将所有分片打上标签。在打标签时，对每个文件打上1～65535范围内的标签，且按照请求写入的顺序逐个循环增加。

具体地，在写入第一个文件时，给该文件打上标签1，后续每增加一个文件，标签则增加1，当标签达到65535时再循环打标签。

数据库模块302用于记录分片的存放信息和存储服务器20、硬盘的状态信息。

下面以硬盘异常迁移流程和扩容迁移流程分别举例进行说明。

如图2所示，硬盘故障触发分片自动迁移的流程具体如下：

步骤一：在硬盘异常后，存储服务器监控模块202将硬盘异常的信息发送给存储服务器上报模块201。

步骤二：存储服务器上报模块201搜集该存储服务器20上的所有硬盘异常消息，并将硬盘异常信息转发给元数据服务器监控模块101。

步骤三：元数据服务器监控模块101在搜集到硬盘异常后，在异常时间大于阈值的情况下，发送消息给迁移触发模块102，并且携带异常硬盘信息。

步骤四：迁移触发模块102向重置分配模块发送迁移请求，并携带异常硬盘信息。

步骤五：存储服务器20的重置分片模块203根据异常硬盘信息和标签，重新计算分片应该存放的位置信息，并直接发起迁移。

步骤六：在迁移成功后，将分片新的位置信息上报给数据库模块302存储。

如图3所示，硬盘扩容触发分片自动迁移流程具体如下：

步骤一：元数据服务器监控模块101发现硬盘扩容或有存储服务器20异常(发现其增加或者减少)，且超过时间阈值。

步骤二：元数据服务器监控模块101在发现异常后，向迁移触发模块102发送迁移请求，并且携带异常存储服务器20信息。

步骤三：迁移触发模块102向重置分配模块发送迁移请求，并携带异常存储服务器20信息。

步骤四：重置分片模块203根据异常存储服务器20信息和标签，决定哪些分片需要重新调整，进而重新分配分片位置，并发起迁移。

步骤五：存储服务器20之间发起迁移请求，在迁移成功后，将分片新的位置信息上报数据库模块302。

相比现有技术，本实施例通过上述方案取得了存储服务器20异常以及硬盘故障和扩容情况下分片重新调整均衡的进步，达到了优化负载均衡的效果，节省了元数据服务器10的开支，提高了小文件模型下的整体性能。

如图4所示，本发明一实施例提出的一种分布式文件系统优化负载均衡的方法，基于上述实施例分布式文件系统而实施，该方法包括：

步骤S101，当元数据服务器监控到存储服务器状态异常时，向所述存储服务器发起分片迁移请求；

步骤S102，所述存储服务器根据本地存储文件的各分片的标签以及所述分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将所述分片新的位置信息上报数据库服务器。

具体地，在本实施例中，数据库服务器在接收客户端发送的文件写入请求，根据所述文件写入请求写入文件，并为每一文件的各分片打上标签。其中，数据库服务器在为每一文件的各分片打上标签时，具体采用以下方案：数据库服务器写入第一个文件时，给该文件打上标签1，后续每增加一个文件，标签则增加1，当标签达到65535时再循环打标签。

存储服务器监控模块实时监控存储服务器上硬盘、网络资源信息，当状态发生异常时立即上报存储服务器上报模块；存储服务器上报模块接收存储服务器监控模块的消息，在硬盘和网络异常时，向元数据服务器上报存储服务器监控模块监控的信息。

元数据服务器监控模块负责监控所有存储服务器的增加、删除、异常等改变信息，以及接收存储服务器上报模块的硬盘状态信息；在接收到硬盘状态改变(包括硬盘故障或扩容)或服务器异常时，由迁移触发模块在规定的阈值范围时间后，向存储服务器发起重新调整分片的请求，触发分片迁移。

存储服务器的重置分片模块根据首次存放文件时分片的标签，以及元数据服务器触发机制下发的当前存储服务器和硬盘状态参数，判断分片应该存放的最佳位置信息，发起分片迁移，在迁移成功后，将分片新的位置信息上报给数据库模块存储。

下面以硬盘异常迁移流程和扩容迁移流程分别举例进行说明。

如图2所示，硬盘故障触发分片自动迁移的流程具体如下：

步骤一：在硬盘异常后，存储服务器监控模块将硬盘异常的信息发送给存储服务器上报模块。

步骤二：存储服务器上报模块搜集该存储服务器上的所有硬盘异常消息，并将硬盘异常信息转发给元数据服务器监控模块。

步骤三：元数据服务器监控模块在搜集到硬盘异常后，在异常时间大于阈值的情况下，发送消息给迁移触发模块，并且携带异常硬盘信息。

步骤四：迁移触发模块向重置分配模块发送迁移请求，并携带异常硬盘信息。

步骤五：存储服务器的重置分片模块根据异常硬盘信息和标签，重新计算分片应该存放的位置信息，并直接发起迁移。

步骤六：在迁移成功后，将分片新的位置信息上报给数据库模块存储。

如图3所示，硬盘扩容触发分片自动迁移流程具体如下：

步骤一：元数据服务器监控模块发现硬盘扩容或有存储服务器异常(发现其增加或者减少)，且超过时间阈值。

步骤二：元数据服务器监控模块在发现异常后，向迁移触发模块发送迁移请求，并且携带异常存储服务器信息。

步骤三：迁移触发模块向重置分配模块发送迁移请求，并携带异常存储服务器信息。

步骤四：重置分片模块根据异常存储服务器信息和标签，决定哪些分片需要重新调整，进而重新分配分片位置，并发起迁移。

步骤五：存储服务器之间发起迁移请求，在迁移成功后，将分片新的位置信息上报数据库模块。

本实施例通过上述方案，在存储服务器异常以及硬盘故障和扩容情况下，对分片进行重新调整，达到了优化负载均衡的效果，节省了元数据服务器的开支，提高了小文件模型下的整体性能。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式文件系统优化负载均衡的方法，其特征在于，包括：

数据库服务器接收客户端发送的文件写入请求，根据所述文件写入请求写入文件，并为每一文件的各分片打上标签；

当元数据服务器监控到存储服务器状态异常时，向所述存储服务器发起分片迁移请求；

所述存储服务器根据本地存储文件的各分片的标签以及所述分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将所述分片新的位置信息上报数据库服务器。

2.根据权利要求1所述的方法，其特征在于，所述数据库服务器为每一文件的各分片打上标签的步骤包括：

所述数据库服务器写入第一个文件分片时，给该文件分片打上标签1，后续每增加一个文件分片，标签则增加1，当标签达到65535时再循环打标签。

3.根据权利要求1或2所述的方法，其特征在于，所述存储服务器状态异常至少包括存储服务器的增加、删除以及硬盘故障或者扩容。

4.根据权利要求3所述的方法，其特征在于，所述元数据服务器监控到所述硬盘故障的步骤包括：

所述存储服务器在侦听到硬盘故障时，将硬盘异常信息发送给所述元数据服务器；

所述元数据服务器接收到所述硬盘异常信息后，监控到所述硬盘故障。

5.根据权利要求1所述的方法，其特征在于，所述当元数据服务器监控到存储服务器状态异常时，向所述存储服务器发起分片迁移请求的步骤包括：

当元数据服务器监控到存储服务器状态异常，且异常时间大于预定阈值时，向所述存储服务器发起分片迁移请求。

6.一种优化负载均衡的分布式文件系统，其特征在于，包括：元数据服务器、存储服务器及数据库服务器，其中：

所述元数据服务器用于当监控到所述存储服务器状态异常时，向所述存储服务器发起分片迁移请求；

所述存储服务器用于根据本地存储文件的各分片的标签以及所述分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将所述分片新的位置信息上报至所述数据库服务器；

所述数据库服务器还用于接收客户端发送的文件写入请求，根据所述文件写入请求写入文件，并为每一文件的各分片打上标签。

7.根据权利要求6所述的系统，其特征在于，所述数据库服务器还用于在写入第一个文件分片时，给该文件分片打上标签1，后续每增加一个文件分片，标签则增加1，当标签达到65535时再循环打标签。

8.根据权利要求6或7所述的系统，其特征在于，所述存储服务器状态异常至少包括存储服务器的增加、删除以及硬盘故障或者扩容。

9.根据权利要求8所述的系统，其特征在于，

所述存储服务器还用于在侦听到硬盘故障时，将硬盘异常信息发送给所述元数据服务器；

所述元数据服务器还用于在接收到所述硬盘异常信息后，监控到所述硬盘故障。

10.根据权利要求6所述的系统，其特征在于，所述元数据服务器还用于当监控到存储服务器状态异常，且异常时间大于预定阈值时，向所述存储服务器发起分片迁移请求。