CN109783438B - 基于librados的分布式NFS系统及其构建方法 - Google Patents

Abstract

本发明提出一种基于librados的分布式NFS系统及其构建方法，所述系统包括客户端、NFS服务端、RADOS对象存储集群、迁移统计信息数据库，所述NFS服务端中集成有NFS服务功能、文件系统接口功能和元数据管理功能，并与RADOS对象存储集群和迁移统计信息数据库相连，向客户端提供服务。该系统可减少NFS读写IO的路径，降低读写延迟，提高读写性能，对高并发创建大量小文件的场景提供较好的支持，并且各NFS服务节点上的元数据可保持一致。系统支持多实例的分布式NFS服务，访问请求被负载均衡到各个服务节点，提高访问性能。系统还支持冷热池机制，根据访问情况将冷热数据进行定时迁移，始终在热池中存放访问频率最高的数据，有效提升热数据访问速度。

Description

基于librados的分布式NFS系统及其构建方法

技术领域

本发明涉及分布式文件系统，具体涉及一种分布式NFS文件系统及其构建方法。

背景技术

网络文件系统(Network File System，NFS)是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。参照图1和图2，当在NFS服务器设置好一个共享目录/home/public后，其他的有权访问NFS服务器的NFS客户端就可以将这个目录挂载到自己文件系统的某个挂载点，这个挂载点可以自己定义，如图1中客户端A与客户端B挂载的目录就不相同。并且挂载好后客户端在本地能够看到服务端/home/public的所有数据。如果服务器端配置的客户端只读，那么客户端就只能够只读。如果配置读写，客户端就能够进行读写。

NFS通信过程基于远程过程调用协议(Remote Procedure Call Protocol，RPC)，主要过程如下：a)首先服务器端启动RPC服务，并开启111端口；b)启动NFS服务，并向RPC注册端口信息；c)客户端启动RPC(portmap服务)，向服务端的RPC(portmap)服务请求服务端的NFS端口；d)服务端的RPC(portmap)服务反馈NFS端口信息给客户端；e)客户端通过获取的NFS端口来建立和服务端的NFS连接并进行数据的传输。

尽管NFS文件系统是使用广泛的文件系统，但是由于NFS文件系统是基于单机文件系统设计，NFS文件服务只能作为一个单服务实例导出，单服务端性能较低，且可靠性无法保证。

Ceph是一种为高性能、高可靠性和高可扩展性而设计的分布式存储系统，其核心为RADOS(Reliable,Autonomic Distributed Object Store)存储系统，能够在动态变化和异质结构的存储设备机群之上提供一种稳定、可扩展、高性能的单一逻辑对象存储接口和能够实现节点的自适应和自管理的存储系统。Ceph以RADOS作为核心存储系统同时提供对象存储、块存储和文件系统存储三种功能，以便在满足不同应用需求的前提下简化部署和运维。Ceph文件系统(Ceph FS)是个POSIX兼容的文件系统，它使用Ceph存储集群来存储数据，在RADOS之上提供文件存储。参照图3，Ceph通过两种类型的实体合作来提供文件系统接口：客户端和元数据服务器(Metadata Server，MDS)。因为文件系统的元数据操作通常占到了文件系统将近一半的工作量，因此高效的元数据管理对整个系统的性能起着重要的作用。MDS是文件系统中所有元数据的同步点和缓存层，其主要功能是允许客户端安全地存储关于文件系统的元数据而不会变得不一致。

目前主流使用cephfs或者分布式块设备RBD作为NFS服务的存储后端。如图4所示，客户端通过挂载NFS服务访问分布式文件系统。可进行的操作包括文件系统的所有操作：获取文件属性，读文件，写文件，创建文件，创建目录等。通过将分布式文件系统或者分布式块设备挂载在本地，然后重新导出NFS服务的方式，由于客户端访问NFS服务时，首先通过网络调用RPC访问NFS服务节点，然后再通过NFS服务去调用cephfs文件系统的接口libcephfs，然后再通过libcephfs的网络接口去访问MDS，网络服务路径较长，IO性能较低，对于高并发创建大量小文件的场景支持较差。如使用多NFS服务，由于原生NFS服务基于本地数据，分布式文件系统挂载到本地后，则系统内核会生成缓存用以加速，导致分布式文件系统的元数据在不同的NFS服务节点上不一致。此外，现有的基于librados的文件系统没有冷热池机制，不能有效地分离冷数据和热数据到不同的物理介质上面，未能充分地利用硬件资源。

发明内容

发明目的：针对现有技术的不足，本发明提出一种基于librados的分布式NFS系统，能够减少NFS读写IO的路径，降低读写延迟，提高读写性能，对高并发创建大量小文件的场景提供较好的支持，并且多个不同NFS服务节点上的元数据可保持一致。

本发明的另一目的在于提供一种基于librados的分布式NFS系统的构建方法。

技术方案：根据本发明的第一方面，提供了一种基于librados的分布式NFS系统，所述系统包括客户端、若干个NFS服务端、RADOS对象存储集群，所述若干个NFS服务端中的每一个均集成有NFS服务功能、文件系统接口功能和元数据管理功能，并均与RADOS对象存储集群相连，其中NFS文件系统直接挂载到客户端，向客户端提供服务。

优选地，所述NFS服务端与客户端通过NFSV3协议进行文件操作。

当客户端访问服务端时，服务端建立客户端缓存机制，记录已访问过的客户端信息；建立文件元数据缓存机制，记录最近访问的元数据信息；建立直接查找类型的元数据管理机制，使得能够直接根据文件fileID找到对应的元数据位置。

优选地，所述NFS服务端包括：

portmap模块：用于注册NFS相关的服务端口，包括mount服务端口和NFS读写服务端口；

NFS协议处理模块：用于接收客户端的NFS请求，并交由核心处理模块进行处理，在处理完成后，将响应封装成RPC报文返回给客户端；

核心处理模块：用于处理NFS请求，根据请求类型使用客户端缓存模块、元数据管理模块、rados连接池模块进行相关读写操作或者元数据修改操作；

客户端缓存模块：用于管理客户端的连接数据，以保存客户端的相关信息以及客户端最近操作的元数据信息；

元数据管理模块：用于根据客户端请求建立或修改元数据，其中元数据的单个文件块大小为1M，文件块的名称依次递增，单个元数据长度为512字节；

rados连接池模块：用于维护一定数量的存储集群的rados连接，对外提供rados连接的获取和返回方法。

优选地，所述客户端缓存模块中以key-value键值对形式保存每个客户端的连接信息，其中key是客户端IP地址，value是客户端连接信息。

优选地，所述元数据管理模块还被配置为：基于LRU算法保存最近使用的一定数量的元数据的连接信息。所述元数据管理模块通过key-value键值对形式保存元数据连接信息，其中key是文件ID，value是文件元数据信息。

优选地，所述系统还包括迁移统计信息数据库，所述迁移统计信息数据库与NFS服务端相连，用于统计整个分布式NFS系统的数据访问信息。所述NFS服务端还包括迁移模块，用于定期访问迁移统计信息数据库，将低于一定频率的数据过滤掉，只保留高频访问文件的统计信息存入数据库。

根据本发明的第二方面，提供了一种基于librados的分布式NFS的构建方法，所述方法通过在NFS服务端中集成NFS服务功能、文件系统接口功能和元数据管理功能，向客户端提供服务，具体包括以下步骤：

1)建立一个ceph集群，启动两个基本服务ceph-mon和ceph-osd；

2)在ceph集群中创建元数据池、冷数据池、热数据池；

3)在NFS服务端节点上面安装rados连接库模块librados，将集群连接相关配置拷贝到NFS配置节点上面；

4)配置NFS服务相关冷热池信息、冷热统计信息数据库，启动NFS服务。

有益效果：

1、针对NFS服务读写IO路径过长的问题，本发明提供了一个NFS分布式服务系统，将提供NFS服务部分、元数据管理部分结合在一起变成一个系统，有效减少IO延迟，创建文件速度变快。同时，建立哈希表元数据管理结构，降低元数据访问的IO路径，提升高并发处理元数据性能，在大批量创建小文件的场景下，性能表现良好。

2、本发明利用的NFSV3协议是无状态协议，可以直接通过负载分担方式，将NFS的相关请求分配给多个不同的NFS服务节点，保证可靠性的同时，扩展NFS的性能。多个NFS服务同时启动，可以提供多服务实例的NFS服务，数据可以同时在不同的服务节点上面并发访问，可以进行负载分担，且不同服务实例的元数据能够保持同步。

3、本发明通过结合内存和数据库，管理最近访问的数据文件统计信息，创建冷热数据池，冷热数据根据用户访问情况进行定时迁移，始终在热池中存放访问频率最高的数据，保持成本的同时，有效提升热数据访问速度，同时客户不感知。

附图说明

图1是NFS服务挂载原理示意图；

图2是NFS工作原理简图；

图3是Ceph的文件系统接口示意图；

图4是当前使用cephfs或RBD作为NFS服务存储后端的系统架构图；

图5是根据本发明实施例的分布式NFS服务系统总体架构图；

图6是根据本发明实施例的分布式NFS数据服务结构框图；

图7是根据本发明实施例的rados分布式文件系统中实际存储的结构模型；

图8是根据本发明实施例的文件系统中核心处理模块接收到一个NFS请求之后的处理流程图；

图9是根据本发明实施例的冷热池迁移场景示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参照图5，根据本发明的一个实施例，提供了一种基于librados的文件系统架构，在原先的整体架构中，将NFS单机服务、libcephfs、MDS服务合并成为一个整体的分布式NFS服务，对外直接向客户端提供服务，对内直接连接RADOS对象存储集群，同时新增统计数据库，用于永久化需要数据迁移的热数据的统计信息。通过该整体的NFS分布式服务系统可有效减少IO延迟。同时，通过建立哈希表元数据管理结构，提高元数据访问速度。

参照图6，分布式NFS数据服务主要分为如下几个部分：

portmap模块：用于注册NFS相关的服务端口，包括mount服务端口和NFS读写服务端口。

NFS协议处理模块：负责接收用户的NFS请求，整个协议处理模块的处理流程包括：验证构造RPC帧，解析RPC消息，交由核心线程池处理NFS请求，处理完成后，将响应封装成RPC报文返回给客户端。

核心处理模块：主要是处理NFS的各种请求，进行相关读写操作或者元数据修改操作，在处理的过程中会使用到客户端缓存、元数据管理模块、rados连接池模块。

客户端缓存模块：主要负责管理客户端的连接数据，目的是为了保存客户端的相关信息以及客户端最近操作的元数据缓存信息。客户端缓存机制是利用一个哈希存储方法存储客户端信息，利用IP便于查找的方式，存储信息包括IP，读写权限，编码格式。当客户端访问服务端进行任意请求时，服务端根据客户端IP地址，从哈希存储中直接获取到客户端信息，避免再去对比网段获取读写权限信息。客户端缓存主要通过key-value键值对保存每个客户端的连接信息，其中key是客户端IP地址，value是客户端连接信息。

客户端连接信息的数据成员主要如下：

数据	说明
		private String ClientIP；	客户端IP
private String Encoding；	客户端操作系统编码(UTF-8或者GBK32)
		public boolean CanWrite；	是否有写权限
public boolean CanRead；	是否有读权限

元数据管理模块分成2部分：元数据读写单元和元数据缓存单元。每个文件的元数据包含了文件id，父目录id，文件名，拥有者，权限等信息，为提升性能和效率，单个元数据长度进行对齐，全部统一限制为512字节，元数据的内容以及偏移、长度分别如下表所示：

实际使用时，创建文件后，元数据的文件id总是自增的，以方便获取文件元数据信息。为了提高元数据读写性能，结合rados的特性，由于rados的单文件分片大小在1M的时候读写性能最高，故设计rados元数据的单个文件块大小为1M，文件块的名称依次递增。读取在rados分布式文件系统中实际存储的结构模型如图7所示，1MB的块中保存2048个元数据。

通过这种结构化设计元数据，获取元数据过程避免了级联查表操作，直接根据文件的fileID，做取模和取余运算即可得到元数据所在的位置。

举例：

如fileId为111111，则用取模运算获取元数据文件块的id：

block_id＝fileId/2048＝54；

用取余运算获取对应文件元数据所在文件块的偏移量：

offset＝fileId％2048＝519；

则由以上结果，得到fileId为111111的元数据所在的位置为名称为54的元数据文件，位置从519*512Byte开始，长度为512字节。

通过这种方式，理论上文件数量可以无限扩展，性能不受文件规模大小限制。

为了进一步提高获取元数据的性能，加上客户端操作文件在一定的时间范围内有重复性，因此加入文件元数据缓存单元，用以提高获取文件元数据性能，避免反复读取元数据文件。元数据缓存主要通过key-value键值对采用LRU算法保存最近使用的一定数量的元数据的连接信息。其中key是文件ID，value是文件元数据信息。

rados连接池模块用于维护一定数量的存储集群的rados连接，对外提供rados连接的获取和返回方法，避免在读写操作的时候对rados连接资源进行频繁地建立和关闭的开销，使得rados连接可以高效、安全地复用。

核心模块处理NFS的读请求的同时，记录文件的读写频率，迁移模块汇总分析文件的读写频率，同时定期对冷热数据进行迁移。

在该分布式NFS服务系统中，客户端和服务端通过NFSV3协议进行通信，NFSV3协议是无状态协议，服务端不需要保存客户端的操作缓存，每个请求都可以独立执行，前后没有关系。

该基于librados的分布式NFS系统的构建，包括以下步骤：

1)建立一个ceph集群，启动两个基本服务ceph-mon和ceph-osd。

2)在ceph集群中创建自定义名称元数据池、冷数据池、热数据池，如分别创建3个池metadata、cold_data、hot_data。

3)在NFS服务端节点上面安装rados连接库模块librados，集群连接相关配置拷贝到NFS配置节点上面。NFS配置节点是提供NFS服务的节点(即配置NFS服务在其之上的节点)，该节点底层通过librados连接存储集群，对外提供NFS服务。

4)配置NFS服务相关冷热池信息、冷热统计信息数据库，启动NFS服务，即可向客户端提供存储服务。

系统建立后，客户端访问过程中，服务端会建立客户端缓存，记录已访问过的客户端信息；并建立文件元数据缓存来记录最近访问的元数据信息，同时建立直接查找类型的元数据管理机制，使得能够直接根据文件fileID找到对应的元数据位置。如上所述，缓存的内容通过key-value键值对来保存。

以简单的获取NFS文件系统的状态接口FSSTAT为例，简单描述核心处理模块接收到一个NFS请求之后的处理过程，如图8所示，接收到一个请求后，处理模块直接将请求分配给线程池，线程池调用其中的一个线程去处理这个请求。首先创建响应，然后依次检查访问权限，获取客户端信息，检查文件系统状态，获取文件系统相关属性，然后将获取的信息封装到响应中，返回给客户端，过程中如果出错，则封装出错信息返回。

以一个文件读操作为一次访问过程为例，描述上述分布式NFS系统的处理过程如下。客户端读请求传递到核心处理模块，核心处理模块直接从线程池中分配一个核心处理线程，传入参数为客户端的请求消息体和客户端的地址信息，线程相关操作步骤如下：

1)线程首先根据请求创建响应；

2)获取客户端的地址信息，根据IP地址调用客户端缓存模块，获取客户端缓存信息，如获取不到，则将新的客户端信息加入缓存。

3)检查客户端IP地址是否满足权限要求，如不满足，则直接返回失败。

4)对客户端请求进行解码，获取读取内容的偏移量offset和长度len。

5)根据客户端请求中的文件ID从元数据缓存模块中获取文件元数据缓存内容，如果获取不到，则根据文件ID进行取模运算和取余运算，获取文件元数据所在数据元数据文件的名称和偏移量，调用rados连接池模块，连接元数据池，进行元数据读操作，读取后加入元数据缓存模块中。

6)获取元数据信息之后，即可判断操作有无权限，如无权限，则直接返回失败。

7)调用rados连接池模块，连接冷/热数据池，进行相关的读写操作，最后将读取的内容写入响应消息中。

由于NFSV3协议是无状态协议，同一个客户端向不同的服务端发送请求，从而可以降低单个服务端的负载，增加读写性能。

在冷热池机制的建立上，对于经常访问的数据放到访问速度较快的热池中，不经常访问的数据放在冷池中，平衡硬件成本和IO性能，充分利用硬件资源。具体实施时，通过建立冷热池和迁移模块，对数据访问的情况进行统计，然后定期根据实际情况进行迁移。本发明中的冷热池主要是根据访问热度、频度进行区分冷热数据的场景，冷池和热池均是持久化数据，冷池主要由普通磁盘组成，容量大、读写吞吐量小、IOPS低；热池由SATA SSD甚至PCIE SSD等高速磁盘组成，容量小，价格高，读写吞吐量大，IOPS高。访问场景为需要以天为单位进行统计访问频度。

如图9所示，Redis集群负责统计整个NFS服务集群的数据访问信息，由于redis更新查询速度快，可以方便地更新文件统计信息。

迁移模块根据redis数据库统计的信息，定期(例如，按天)从redis中统计周期内的访问信息，将低于一定频率不需要关注的数据过滤掉，只保留高频访问文件的统计信息存入数据库；例如，以天为单位，当统计周期完成后，如果访问频率高于5次，可以将对应文件的统计信息存入数据库，如果已有对应条目，则需要更新，如无则加入。

迁移模块定期访问数据库统计信息，根据文件访问的频度，以及变化趋势，动态的重新计算哪些文件需要保留在热池，哪些数据需要从热池中删除；

根据操作策略，迁移模块选择在访问量较低的时候，将数据逐步从冷热池中迁移，并且修改元数据里面的相关标志位。

Claims (4)

1.一种基于librados的分布式NFS系统，其特征在于，所述系统包括客户端、若干个NFS服务端、RADOS对象存储集群，所述若干个NFS服务端中的每一个均集成有NFS服务功能、文件系统接口功能和元数据管理功能，并均与RADOS对象存储集群相连，其中NFS文件系统直接挂载到客户端，向客户端提供服务；

当客户端访问服务端时，服务端建立客户端缓存机制，记录已访问过的客户端信息；建立文件元数据缓存机制，记录最近访问的元数据信息；建立直接查找类型的元数据管理机制，使得能够直接根据文件fileID找到对应的元数据位置；

所述NFS服务端包括：

portmap模块：用于注册NFS相关的服务端口，包括mount服务端口和NFS读写服务端口；

NFS协议处理模块：用于接收客户端的NFS请求，并交由核心处理模块进行处理，在处理完成后，将响应封装成RPC报文返回给客户端；

核心处理模块：用于处理NFS请求，根据请求类型使用客户端缓存模块、元数据管理模块、rados连接池模块进行相关读写操作或者元数据修改操作；

客户端缓存模块：用于管理客户端的连接数据，以保存客户端的相关信息以及客户端最近操作的元数据信息；

元数据管理模块：用于根据客户端请求建立或修改元数据，其中元数据的单个文件块大小为1M，文件块的名称依次递增，单个元数据长度为512字节；

rados连接池模块：用于维护一定数量的存储集群的rados连接，对外提供rados连接的获取和返回方法；

所述NFS服务端与客户端通过NFSV3协议进行文件操作；

所述客户端缓存模块中以key-value键值对形式保存每个客户端的连接信息，其中key是客户端IP地址，value是客户端连接信息；

所述元数据管理模块还被配置为：基于LRU算法保存最近使用的一定数量的元数据的连接信息，所述元数据管理模块通过key-value键值对形式保存元数据连接信息，其中key是文件ID，value是文件元数据信息。

2.根据权利要求1所述的基于librados的分布式NFS系统，其特征在于，所述系统还包括迁移统计信息数据库，所述迁移统计信息数据库与NFS服务端相连，用于统计整个分布式NFS系统的数据访问信息。

3.根据权利要求2所述的基于librados的分布式NFS系统，其特征在于，所述NFS服务端还包括迁移模块，用于定期访问迁移统计信息数据库，将低于一定频率的数据过滤掉，只保留高频访问文件的统计信息存入数据库。

4.一种如权利要求1-3中任一项所述的基于librados的分布式NFS系统的构建方法，其特征在于，所述方法通过在NFS服务端中集成NFS服务功能、文件系统接口功能和元数据管理功能，向客户端提供服务，具体包括以下步骤：

1)建立一个ceph集群，启动两个基本服务ceph-mon和ceph-osd；

2)在ceph集群中创建元数据池、冷数据池、热数据池；

3)在NFS服务端节点上面安装rados连接库模块librados，将集群连接相关配置拷贝到NFS配置节点上面；

4)配置NFS服务相关冷热池信息、冷热统计信息数据库，启动NFS服务。

Images