CN110351119A - 一种分布式文件存储系统及文件存储方法 - Google Patents

Abstract

本发明公开了一种分布式文件存储系统及文件存储方法，涉及存储技术领域。其中，系统包括多个负载节点，运行负载程序，均衡负载客户端请求并分发到各个网关节点；多个网关节点，运行文件存储服务，响应所述负载节点分发的客户端请求，为客户端提供文件系统挂载服务。本发明通过负载节点均衡负载客户端请求并分发到各个网关节点，网关节点响应负载节点分发的客户端请求，为客户端提供文件系统挂载服务。克服了现有技术中单网关故障导致文件存储服务停止甚至丢失数据，以及多网关无法均衡负载客户端请求等技术问题，从而提供了一种具有高可用性的分布式文件存储系统。

Description

一种分布式文件存储系统及文件存储方法

技术领域

本发明涉及存储技术领域，尤其是涉及一种分布式文件存储系统及文件存储方法。

背景技术

挂载：指由操作系统使一个存储设备(诸如硬盘、CD-ROM或共享资源)上的计算机文件和目录可供用户通过计算机的文件系统访问的过程。

互联网技术的发展使得信息访问和交互十分方便快捷，网络信息对人们的日常生活起着重要的作用。同时，人们要求在不同时间、不同地点、针对不同业务对数据进行访问及编辑，并且对数据存储系统容量、效率、安全性和稳定性的要求也逐步提高。

目前许多企业对中心存储集群的要求较高，比如在业务上连续可用，那就需要具有不间断提供服务的高可用性的服务器来支撑业务系统。考虑到服务器的连续性及在异常发生时的资源切换管理，需要多台服务器组建集群系统，以到达相互备份、不间断提供服务的目的。由于企业对服务器的需求，云服务器的出现满足了大多数企业对服务器的需求，云服务器作为一个整体为前端业务机提供服务，但是云服务器与前端业务机(客户端)直接连接时，会出现连接异常的情况，导致整个服务器不可使用。

因此在文件存储系统中，文件存储网关起着提供文件存储服务的重要作用，后端通过万兆网卡映射云服务器的卷，提供卷服务供客户端挂载使用。但单网关故障将导致文件存储服务停止甚至丢失数据等严重问题。多网关模式可以有效防止单网关故障，但是多网关之间的高可用性仍存在风险。若多网关下无法均衡负载请求，将导致单个网关节点压力过大，而其他网关压力偏小，甚至没有压力；若单网关故障不能快速准确切换，导致业务中断时间过长；当发生网关切换时，客户端不能立即重连，必须等待客户端连接超时后重新发起请求，导致业务异常中断等。

针对以上问题，目前尚未提出有效的解决方案。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种分布式文件存储系统，能够提高系统可用性。

为此，本发明的第二个目的是提供一种分布式文件存储方法，发送故障时能够快速重连客户端。

本发明所采用的技术方案是：

第一方面，本发明提供一种分布式文件存储系统，包括：

多个负载节点，运行负载程序，均衡负载客户端请求并分发到各个网关节点；

多个网关节点，运行文件存储服务，响应所述负载节点分发的客户端请求，为客户端提供文件系统挂载服务。

进一步地，所述负载节点包括：

配置单元，配置所述负载节点的负载模式；

心跳单元，在所述多个负载节点之间发送心跳信息，向所述网关节点发送心跳检查信息；

负载单元，根据所述负载模式将所述客户端请求均衡负载到各个所述网关节点；

检测单元，检测所述负载节点的目的网关节点是否存活。

进一步地，所述负载模式包括均衡负载模式和轮询负载模式。

进一步地，所述网关节点包括：

服务控制单元，控制存储服务状态。

文件系统服务单元，提供文件存储服务。

进一步地，所述服务控制单元包括：

选举单元，选举出故障恢复主节点；

恢复单元，当其中一个网关节点发生故障时，触发集群恢复；

恢复锁单元，持有锁文件的网关节点定时发送更新锁文件请求，若当前持有锁文件的网关节点预设时间内没有更新锁文件，锁文件将被自动释放，其他网关节点获取该锁文件，开始集群恢复。

进一步地，所述文件系统服务单元包括：

启动单元，当所述网关节点正常时，启动所述网关节点，绑定公共IP到所述网关节点；

停止单元，当所述网关节点发生故障时，停止所述网关节点，切换公共IP绑定到其他正常网关节点；

监控单元，监控各个网关节点是否正常：

卷服务单元，提供文件系统共享服务。

进一步地，所述卷服务单元包括NFS卷服务单元、CIFS卷服务单元和FTP卷服务单元。

第二方面，本发明提供一种分布式文件存储方法，包括步骤：

运行负载程序，均衡负载客户端请求并分发到各个网关节点；

运行文件存储服务，响应所述负载节点分发的客户端请求，为客户端提供文件系统挂载服务。

进一步地，所述分布式文件存储方法还包括步骤：

网关节点获取客户端IP信息；

将所述客户端IP信息进行广播；

其他网关节点接收所述客户端IP信息；

网关节点发生服务切换，触发客户端重连。

进一步地，所述步骤网关节点发生服务切换，触发客户端重连具体包括：

当网关节点发生故障时，网关节点将进行服务切换，同时触发公共IP切换；

公共IP切换完成后，绑定公共IP的正常网关节点获取客户端IP信息，根据所述客户端IP信息向对应的客户端发送重连请求。

本发明的有益效果是：

本发明通过提供一种由多个负载节点和多个网关节点组成的分布式文件存储系统，负载节点均衡负载客户端请求并分发到各个网关节点，网关节点响应负载节点分发的客户端请求，为客户端提供文件系统挂载服务。克服了现有技术中单网关故障将导致文件存储服务停止甚至丢失数据，以及多网关无法均衡负载客户端请求等技术问题，从而提供了一种具有高可用性的分布式文件存储系统。

另外，本发明还通过监控网关各服务的运行状态，当其中一个网关节点发生故障时，自动进行服务切换，漂移公共IP到正常工作的网关节点，网关节点将客户端IP信息记录到内存中，当发生公共IP漂移时，主动向客户端发起重连请求，以加速客户端重连速度，大幅缩减对业务的影响时间。

附图说明

图1是本发明中一种分布式文件存储系统的一实施例的结构示意图；

图2是本发明中负载节点的一实施例的结构示意图；

图3是本发明中网关节点的一实施例的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了一种分布式文件存储系统，如图1所示，是该实施例中分布式文件存储系统的结构示意图。参照图1，该分布式文件存储系统包括：

多个负载节点，运行负载程序，均衡负载客户端请求并分发到各个网关节点；

多个网关节点，运行文件存储服务，响应负载节点分发的客户端请求，为客户端提供文件系统挂载服务。

本实施例中，只示出五个负载节点和五个网关节点作为示例。具体的，由若干个主机组成的多个负载节点运行负载程序，对客户端提供统一访问IP，统一接收客户端请求，均衡负载客户端请求并分发到各个网关节点。各个网关节点运行文件存储服务，响应负载节点分发的客户端请求，为客户端提供文件系统挂载服务。

此外，网关节点还监控网关各服务运行状态，并在发生故障时进行切换操作。

更进一步地，如图2所示，负载节点包括：

配置单元，配置负载节点的负载模式，获取网关节点的配置信息；

心跳单元，在多个负载节点之间发送心跳信息，向网关节点发送心跳检查信息；

负载单元，根据负载模式将客户端请求均衡负载到各个网关节点；

检测单元，检测所述负载节点的目的网关节点是否存活。

具体的，配置单元通过配置设定负载节点的工作状态，配置负载节点的负载模式。本实施例中，负载模式包括均衡负载模式和轮询负载模式。多个负载节点之间，使用相同的配置。在负载节点启动时，从多个负载节点中选举出一个主节点即MASTER节点来承载公共IP。配置选项需要指定目的网关节点的IP和端口即PORT。心跳单元在多个负载节点之间定时发送心跳信息，以保持心跳信息的更新，确保各负载节点工作正常。当MASTER节点出现异常(发生故障)时，心跳信息将丢失，当心跳信息丢失次数达到5次时，触发其他负载节点重新选举，新的MASTER节点承载公共IP，继续提供服务；心跳单元还向各个网关节点定时发送心跳检查信息，确保网关节点服务状态正常。负载单元负责分发客户端请求，根据负载模式决定分配客户端请求到哪个网关节点，并将客户端请求发送给网关节点，并建立连接。当工作的负载节点接收到客户端请求时，首先获取已有的连接，选择一个压力最小的网关节点，将客户端请求转发到该网关节点并建立连接。当连接建立后，最多可以保持连接15分钟，如果有新的客户端请求到达，则刷新连接时间；如果15分钟内没有新的客户端请求到达，则说明该连接已不再活跃，负载节点将主动关闭该连接，释放连接资源。检测单元根据配置的目的网关节点(即负载节点分发客户端请求的网关节点)的IP和PORT，定时向目的网关节点的IP发送连接请求，以确保目的网关节点的IP存活即正在正常工作。如果连接成功，说明目的网关节点一切正常，随即立刻关闭连接；如果连接失败，说明目的网关节点出现异常，负载节点将发出告警。

更进一步地，如图3所示，网关节点包括：

服务控制单元，控制存储服务状态。

文件系统服务单元，提供文件存储服务。

服务控制单元控制文件系统存储服务的启动或停止，根据心跳信息判断各网关节点状态是否正常。文件系统服务单元根据服务控制单元的判断结果，提供文件存储服务给客户端。

更进一步地，服务控制单元包括：

选举单元，选举出故障恢复主节点；

恢复单元，当其中一个网关节点发生故障时，触发集群恢复；

恢复锁单元，持有锁文件的网关节点定时发送更新请求，若当前持有锁文件的网关节点预设时间内没有更新锁文件，锁文件将被自动释放，其他网关节点获取该锁文件，踢出异常的网关节点，开始集群恢复。

具体的，选举单元负责选举出故障恢复主节点即RECOVERY MASTER节点。网关节点的集群信息将记录在节点的tdb数据库(临时数据库)中，由选举出的RECOVERY MASTER节点统一管理调度。当其中一个网关节点发生故障时，触发集群恢复，恢复单元从tdb数据库中取出集群信息用于集群恢复。值得说明的是，必须成功获取到锁文件之后，才能开始集群恢复。锁文件存放于分布式文件存储系统集群中，持有锁文件的网关节点定时(每隔2秒，可调)发送更新锁文件请求，以刷新锁文件的持续时间。若当前持有锁文件的网关节点预设时间(5秒，可调)内没有更新锁文件，锁文件将被自动释放，其他网关节点得以获取该锁文件，从而踢出故障网关节点，开始集群恢复，重新恢复业务。

更进一步地，文件系统服务单元包括：

启动单元，当网关节点正常时，启动网关节点，绑定公共IP到网关节点；

停止单元，当网关节点发生故障时，停止网关节点，切换公共IP绑定到其他正常网关节点；

监控单元，监控各个网关节点是否正常：

卷服务单元，提供文件系统共享服务。

具体的，每隔5秒检测卷服务单元是否正常提供文件系统共享服务，即正常映射云服务器的卷目录供客户端挂载。如果发现提供服务异常，则将该网关节点置为UNHEALTH状态，而后执行启动单元，重启该网关节点。若重启成功，则将该网关节点重置回OK状态。当网关节点持续为UNHEALTH状态超过预设时间(10秒，可调)，则执行停止单元，停止该网关节点，释放该网关节点上的公共IP，公共IP将漂移绑定到其他正常的网关节点。当网关节点回到OK状态时，将重新申请公共IP绑定，继续正常提供服务。

本实施例中，卷服务单元包括NFS卷服务单元、CIFS卷服务单元和FTP卷服务单元。即卷服务单元提供文件系统共享服务，支持的协议有NFS、CIFS和FTP。

实施例二

本实施例提供了一种分布式文件存储方法，包括步骤：

运行负载程序，均衡负载客户端请求并分发到各个网关节点；

运行文件存储服务，响应负载节点分发的客户端请求，为客户端提供文件系统挂载服务。

具体的，客户端发起连接请求，通过负载节点运行负载程序发送到某一个网关节点。该网关节点运行文件存储服务，接收并响应客户端请求，允许客户端建立连接，为客户端提供文件系统挂载服务。

作为该技术方案的改进，该分布式文件存储方法还包括步骤：

网关节点获取客户端IP信息；

将客户端IP信息进行广播；

其他网关节点接收客户端IP信息；

网关节点发生服务切换，触发客户端重连。

更进一步地，步骤网关节点发生服务切换，触发客户端重连具体包括：

当网关节点发生故障时，网关节点将进行服务切换，同时触发公共IP切换；

公共IP切换完成后，绑定公共IP的正常网关节点获取客户端IP信息，根据客户端IP信息向对应的客户端发送重连请求。

具体的，网关节点接收客户端请求，与客户端之间的连接建立成功之后，获取并记录客户端IP/PORT信息及连接到服务端的IP/PORT信息，组装成内部进程通信消息。通过RPC调用(远程过程调用)发送该消息到服务控制单元，服务控制单元接收到消息后，保存到网关节点的运行态内存中。网关节点保存客户端IP/PORT信息后，将客户端IP/PORT信息包装成广播消息，发送到集群网络，以告知其他网关节点本次连接的客户端IP/PORT信息。其他网关节点接收到该广播消息后，首先查找该广播消息记录的客户端IP/PORT信息是否已经保存，若已保存，则丢弃该广播消息；若未保存，则保存到自身的运行态内存中。

在运行过程中，如果接收客户端请求并与客户端建立连接的网关节点发生故障，预设时间(5秒，可调)后将触发公共IP漂移切换。在公共IP漂移切换成功之后，触发重连。网关节点查询内存中保存的所有客户端IP/PORT信息，根据该信息，组装TCP RST请求(重连请求)并依次发送给对应的客户端。当客户端在等待网关节点响应时，会收到网关节点发送的RST重连请求，而后客户端重新发起连接请求，该连接请求将被发送到公共IP漂移切换完成之后的正常网关节点上。新的绑定公共IP的正常网关节点从该连接请求中获取客户端IP信息，根据客户端IP信息向对应的客户端发送重连请求，以实现客户端连接断开时的快速重连，大幅缩减对业务的影响时间。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种分布式文件存储系统，其特征在于，包括：

多个负载节点，运行负载程序，均衡负载客户端请求并分发到各个网关节点；

多个网关节点，运行文件存储服务，响应所述负载节点分发的客户端请求，为客户端提供文件系统挂载服务。

2.根据权利要求1所述的一种分布式文件存储系统，其特征在于，所述负载节点包括：

配置单元，配置所述负载节点的负载模式；

心跳单元，在所述多个负载节点之间发送心跳信息，向所述网关节点发送心跳检查信息；

负载单元，根据所述负载模式将所述客户端请求均衡负载到各个所述网关节点；

检测单元，检测所述负载节点的目的网关节点是否存活。

3.根据权利要求2所述的一种分布式文件存储系统，其特征在于，所述负载模式包括均衡负载模式和轮询负载模式。

4.根据权利要求1所述的一种分布式文件存储系统，其特征在于，所述网关节点包括：

服务控制单元，控制存储服务状态；

文件系统服务单元，提供文件存储服务。

5.根据权利要求4所述的一种分布式文件存储系统，其特征在于，所述服务控制单元包括：

选举单元，选举出故障恢复主节点；

恢复单元，当其中一个网关节点发生故障时，触发集群恢复；

恢复锁单元，持有锁文件的网关节点定时发送更新锁文件请求，若当前持有锁文件的网关节点预设时间内没有更新锁文件，锁文件将被自动释放，其他网关节点获取该锁文件，开始集群恢复。

6.根据权利要求4所述的一种分布式文件存储系统，其特征在于，所述文件系统服务单元包括：

启动单元，当所述网关节点正常时，启动所述网关节点，绑定公共IP到所述网关节点；

停止单元，当所述网关节点发生故障时，停止所述网关节点，切换公共IP绑定到其他正常网关节点；

监控单元，监控各个网关节点是否正常：

卷服务单元，提供文件系统共享服务。

7.根据权利要求6所述的一种分布式文件存储系统，其特征在于，所述卷服务单元包括NFS卷服务单元、CIFS卷服务单元和FTP卷服务单元。

8.一种分布式文件存储方法，其特征在于，包括步骤：

运行负载程序，均衡负载客户端请求并分发到各个网关节点；

运行文件存储服务，响应负载节点分发的客户端请求，为客户端提供文件系统挂载服务。

9.根据权利要求8所述的一种分布式文件存储方法，其特征在于，还包括步骤：

网关节点获取客户端IP信息；

将所述客户端IP信息进行广播；

其他网关节点接收所述客户端IP信息；

网关节点发生服务切换，触发客户端重连。

10.根据权利要求9所述的一种分布式文件存储方法，其特征在于，所述步骤网关节点发生服务切换，触发客户端重连具体包括：

当网关节点发生故障时，网关节点将进行服务切换，同时触发公共IP切换；

公共IP切换完成后，绑定公共IP的正常网关节点获取客户端IP信息，根据所述客户端IP信息向对应的客户端发送重连请求。