CN111488324B - 一种基于消息中间件的分布式网络文件系统及其工作方法 - Google Patents

Abstract

本申请公开了一种基于消息中间件的分布式网络文件系统及其工作方法，包括：数据存储服务，由多台离散的NFS服务器构成，用于采用scale out架构搭建分布式网络文件系统；其中，每台NFS服务器作为一个节点，用于存放数据的多份副本；NFS客户端，用于通过NFS协议访问分布式网络文件系统；读写控制模块，由消息中间件构成，用于实现NFS客户端和NFS服务器之间的待处理消息的传递任务。本申请将网络文件系统改造为scale out架构的分布式网络文件系统，通过多副本的机制和采用消息中间件，可以提高文件系统的性能、可靠性和并发性，在系统容量和性能不足时，可以通过增加节点的方式进行扩容，扩展性强。

Description

一种基于消息中间件的分布式网络文件系统及其工作方法

技术领域

本发明涉及网络文件系统领域，特别是涉及一种基于消息中间件的分布式网络文件系统及其工作方法。

背景技术

在有线网络、无线网络速度快速发展的当今，网络带宽逐渐不再成为瓶颈时，文件存储于服务器，远程打开并远程使用是一种更加高效的使用方式，网络文件系统(NetworkFile System，简称NFS)正是远程使用文件的经典方式。

目前，NFS系统为单机的scale up架构，在服务器的磁盘容量，网络带宽或者系统性能不足时，通常的解决思路是在系统中添加磁盘，更换更快的网卡等，但这种方式容量和性能受限于单台服务器，扩展性较差。当多个客户端同时修改同一个文件时，NFS会通过排他锁，防止文件内容不一致，但这样会降低系统性能和并发能力，导致读取文件的可靠性和并发性能存在较大的局限。

因此，如何解决NFS系统扩展性差，可靠性低，并发性能存在局限等问题，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于消息中间件的分布式网络文件系统及其工作方法，可以提高文件系统的性能、可靠性、并发性和扩展性。

其具体方案如下：

一种基于消息中间件的分布式网络文件系统，包括：

数据存储服务，由多台离散的NFS服务器构成，用于采用scale out架构搭建分布式网络文件系统；其中，每台所述NFS服务器作为一个节点，用于存放数据的多份副本；

NFS客户端，用于通过NFS协议访问所述分布式网络文件系统；

读写控制模块，由消息中间件构成，用于实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务。

优选地，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，所述NFS客户端，具体用于通过NFS协议执行挂载所述分布式网络文件系统的命令，向所述读写控制模块发送文件操作请求。

优选地，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，所述读写控制模块，具体用于通过NFS接口将所述NFS客户端发送的所述文件操作请求封装为消息，发送到所述消息中间件中进行处理。

优选地，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，所述消息中间件，用于通过消息队列选择空闲的所述NFS服务器中存放的可用副本，执行读写热点分散操作或读写限流操作。

优选地，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，还包括：

目录服务，用于存放所述分布式网络文件系统中的元数据信息，以及对外提供所述元数据信息的查询修改创建操作。

优选地，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，所述读写控制模块，还用于将所述文件操作请求发送到所述目录服务上，查询所述NFS客户端所需的文件或目录，并将待访问的所述文件操作请求路由到指定的所述NFS服务器上。

优选地，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，所述目录服务使用的是基于内存的key-value存储系统，构建的是统一的所述分布式网络文件系统视图。

本发明实施例还提供了一种本发明实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法，包括：

由多台离散的NFS服务器构成的数据存储服务采用scale out架构搭建分布式网络文件系统；其中，每台所述NFS服务器作为一个节点来存放数据的多份副本；

NFS客户端通过NFS协议访问所述分布式网络文件系统；

采用消息中间件设计读写控制模块来实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务。

优选地，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法中，所述NFS客户端通过NFS协议访问所述分布式网络文件系统，包括：

所述NFS客户端通过NFS协议执行挂载所述分布式网络文件系统的命令，向所述读写控制模块发送文件操作请求。

优选地，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法中，所述采用消息中间件设计读写控制模块来实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务，包括：

所述读写控制模块通过NFS接口将所述NFS客户端发送的所述文件操作请求封装为消息，发送到所述消息中间件中；

所述消息中间件通过消息队列选择空闲的所述NFS服务器中存放的可用副本，执行读写热点分散操作或读写限流操作。

从上述技术方案可以看出，本发明所提供的一种基于消息中间件的分布式网络文件系统及其工作方法，包括：数据存储服务，由多台离散的NFS服务器构成，用于采用scaleout架构搭建分布式网络文件系统；其中，每台NFS服务器作为一个节点，用于存放数据的多份副本；NFS客户端，用于通过NFS协议访问分布式网络文件系统；读写控制模块，由消息中间件构成，用于实现NFS客户端和NFS服务器之间的待处理消息的传递任务。

本发明将网络文件系统改造为scale out架构的分布式网络文件系统，在兼顾网络文件系统的前提下，通过多副本的机制和采用消息中间件，可以提高文件系统的性能、可靠性和并发性，在系统容量和性能不足时，可以通过增加节点的方式进行扩容，扩展性强。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的基于消息中间件的分布式网络文件系统的结构示意图；

图2为本发明实施例提供的基于消息中间件的分布式网络文件系统的工作方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于消息中间件的分布式网络文件系统，如图1所示，包括：

数据存储服务1，由多台离散的NFS服务器构成，用于采用scale out架构搭建分布式网络文件系统；其中，每台NFS服务器作为一个节点，用于存放数据的多份副本；

NFS客户端2，用于通过NFS协议访问分布式网络文件系统；

读写控制模块3，由消息中间件构成，用于实现NFS客户端2和NFS服务器之间的待处理消息的传递任务。

需要说明的是，现有的网络文件系统通常使用一台服务器存储文件，磁盘空间、带宽受限于单台的服务器的资源，而本发明加入了多台离散的服务器组成数据存储服务，数据以多副本存储在多台服务器上，可避免单台服务器磁盘和网络带宽的限制，也可防止单点故障，避免多个客户端读写相同文件时，引起的文件锁导致文件读写并发性低的问题，从而提高文件系统的稳定性；在系统容量不足时，可通过增加节点的方式进行扩容，并且可通过利用已存在的NFS服务器，节省开支。本发明除了兼容NFS服务端，也兼容NFS客户端，采用NFS客户端作为文件系统的客户端，可避免客户端软件的安装等运维工作，降低维护费用，并提高系统的兼容性。

另外，需要注意的是，鉴于NFS的客户端和服务器端遵循NFS协议(如NFSv2RFC1094，NFSv3 RFC1813，NFSv4 RFC3010，RFC5661或RFC7862)，所以采用消息中间件设计读写控制模块，作为NFS客户端和NFS服务器的桥梁。

在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，数据存储服务，由多台离散的NFS服务器构成，用于采用scale out架构搭建分布式网络文件系统；其中，每台NFS服务器作为一个节点，用于存放数据的多份副本；NFS客户端，用于通过NFS协议访问分布式网络文件系统；读写控制模块，由消息中间件构成，用于实现NFS客户端和NFS服务器之间的待处理消息的传递任务。本发明将网络文件系统改造为scale out架构的分布式网络文件系统，在兼顾网络文件系统的前提下，通过多副本的机制和采用消息中间件，可以提高文件系统的性能、可靠性和并发性，在系统容量和性能不足时，可以通过增加节点的方式进行扩容，扩展性强。

在具体实施时，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，NFS客户端，具体可以用于通过NFS协议执行挂载分布式网络文件系统的命令，向读写控制模块发送文件操作请求。也就是说，可将分布式网络文件系统挂载到NFS客户端上，NFS客户端可以如同访问本地文件一样，在分布式网络文件系统中创建文件，查看文件，读写文件。

在具体实施时，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，读写控制模块，具体可以用于通过NFS接口将NFS客户端发送的文件操作请求封装为消息，发送到消息中间件中进行处理。需要说明的是，NFS接口是基于NFS协议开发兼容NFS客户端的接口；具体地，文件操作请求(如读写操作请求)可以被图1中所示的“NFS接口”封装为消息，发送到消息中间件上。

进一步地，在具体实施时，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，消息中间件，可以用于通过消息队列选择空闲的NFS服务器中存放的可用副本，执行读写热点分散操作或读写限流操作。具体地，消息中间件提供读写热点分散，限流等读写优化功能；通过消息中间件选择可用副本，较为空闲的NFS服务器，从而支持读写热点的分散，读写限流等操作，进而提供高可靠的文件读写服务，提高读写性能。

在具体实施时，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，如图1所示，还可以包括：目录服务4，用于存放分布式网络文件系统中的元数据信息，以及对外提供元数据信息的查询修改创建操作。具体地，目录服务可以使用的是基于内存的key-value存储系统，构建的是统一的分布式网络文件系统视图，并与所管理的NFS服务器保持一致，对外提供文件系统元数据的查询修改创建操作。而数据则以多份副本形式分散存放于不同的节点，以便读写加速，防止单点故障。为了节省成本，原NFS服务器可作为一个节点加入到分布式网络系统中，加入操作将扫描该服务器上的文件系统，将文件和目录信息写入目录服务中。

进一步地，在具体实施时，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统中，读写控制模块，还可以用于将文件操作请求发送到目录服务上，查询NFS客户端所需的文件或目录，并将待访问的文件操作请求路由到指定的NFS服务器上。

可以理解的是，当前网络文件系统中，客户端主动查看才能知道文件或目录是否变化，该方式效率低且给服务器带来压力，采用消息中间件的“生产者-消费者”模式，将文件和目录发布为消息中间件的主题(topic)，当用户访问过的文件或目录变更之后，消息中间件主动告知NFS客户端软件，通知已访问过的内容发生了变化，这种方式效率高，也扩展了网络文件系统的功能。

基于同一发明构思，本发明实施例还提供了一种基于消息中间件的分布式网络文件系统的工作方法，由于该方法解决问题的原理与前述一种基于消息中间件的分布式网络文件系统相似，因此该基于方法的实施可以参见基于消息中间件的分布式网络文件系统的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的基于消息中间件的分布式网络文件系统的工作方法，如图2所示，具体包括以下步骤：

S201、由多台离散的NFS服务器构成的数据存储服务采用scale out架构搭建分布式网络文件系统；其中，每台NFS服务器作为一个节点来存放数据的多份副本；

S202、NFS客户端通过NFS协议访问分布式网络文件系统；

S203、采用消息中间件设计读写控制模块来实现NFS客户端和NFS服务器之间的待处理消息的传递任务。

在本发明实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法中，通过多副本的机制和采用消息中间件，可以提高文件系统的性能、可靠性和并发性，在系统容量和性能不足时，可以通过增加节点的方式进行扩容，扩展性强。

在具体实施时，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法中，步骤S202中NFS客户端通过NFS协议访问分布式网络文件系统，可以包括：NFS客户端通过NFS协议执行挂载分布式网络文件系统的命令，向读写控制模块发送文件操作请求。

在具体实施时，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法中，步骤S203中采用消息中间件设计读写控制模块来实现NFS客户端和NFS服务器之间的待处理消息的传递任务，可以包括：首先，读写控制模块通过NFS接口将NFS客户端发送的文件操作请求封装为消息，发送到消息中间件中；然后，消息中间件通过消息队列选择空闲的NFS服务器中存放的可用副本，执行读写热点分散操作或读写限流操作。

另外，在具体实施时，在本发明实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法中，还可以包括：目录服务存放分布式网络文件系统中的元数据信息，以及对外提供元数据信息的查询修改创建操作。此时，读写控制模块可以将NFS客户端发送的文件操作请求发送到目录服务上，查询NFS客户端所需的文件或目录，并将待访问的文件操作请求路由到指定的NFS服务器上。

相应地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的基于消息中间件的分布式网络文件系统的工作方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

综上，本发明实施例提供的一种基于消息中间件的分布式网络文件系统及其工作方法，包括：数据存储服务，由多台离散的NFS服务器构成，用于采用scale out架构搭建分布式网络文件系统；其中，每台NFS服务器作为一个节点，用于存放数据的多份副本；NFS客户端，用于通过NFS协议访问分布式网络文件系统；读写控制模块，由消息中间件构成，用于实现NFS客户端和NFS服务器之间的待处理消息的传递任务。本发明将网络文件系统改造为scale out架构的分布式网络文件系统，在兼顾网络文件系统的前提下，通过多副本的机制和采用消息中间件，可以提高文件系统的性能、可靠性和并发性，在系统容量和性能不足时，可以通过增加节点的方式进行扩容，扩展性强。

最后，还需要说明的是，在本文中，关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的基于消息中间件的分布式网络文件系统及其工作方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种基于消息中间件的分布式网络文件系统，其特征在于，包括：

数据存储服务，由多台离散的NFS服务器构成，用于采用scale out架构搭建分布式网络文件系统；其中，每台所述NFS服务器作为一个节点，用于存放数据的多份副本；

NFS客户端，用于通过NFS协议执行挂载所述分布式网络文件系统的命令，向读写控制模块发送文件操作请求；

读写控制模块，由消息中间件构成，用于通过NFS接口将所述NFS客户端发送的所述文件操作请求封装为消息，发送到所述消息中间件中进行处理，实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务；所述消息中间件，用于通过消息队列选择空闲的所述NFS服务器中存放的可用副本，执行读写热点分散操作或读写限流操作；

目录服务，用于存放所述分布式网络文件系统中的元数据信息，以及对外提供所述元数据信息的查询修改创建操作；

所述读写控制模块，还用于将所述文件操作请求发送到所述目录服务上，查询所述NFS客户端所需的文件或目录，并将待访问的所述文件操作请求路由到指定的所述NFS服务器上。

2.根据权利要求1所述的基于消息中间件的分布式网络文件系统，其特征在于，所述目录服务使用的是基于内存的key-value存储系统，构建的是统一的所述分布式网络文件系统视图。

3.一种如权利要求1或2所述基于消息中间件的分布式网络文件系统的工作方法，其特征在于，包括：

由多台离散的NFS服务器构成的数据存储服务采用scale out架构搭建分布式网络文件系统；其中，每台所述NFS服务器作为一个节点来存放数据的多份副本；

NFS客户端通过NFS协议执行挂载所述分布式网络文件系统的命令，向所述读写控制模块发送文件操作请求；

采用消息中间件设计读写控制模块通过NFS接口将所述NFS客户端发送的所述文件操作请求封装为消息，发送到所述消息中间件中；所述消息中间件通过消息队列选择空闲的所述NFS服务器中存放的可用副本，执行读写热点分散操作或读写限流操作，实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务；

利用目录服务存放所述分布式网络文件系统中的元数据信息，以及对外提供所述元数据信息的查询修改创建操作；

所述读写控制模块将所述文件操作请求发送到所述目录服务上，查询所述NFS客户端所需的文件或目录，并将待访问的所述文件操作请求路由到指定的所述NFS服务器上。