CN113032356B - 一种客舱分布式文件存储系统及实现方法 - Google Patents

Abstract

本发明公开了一种客舱分布式文件存储系统及实现方法，涉及网络通信技术领域，其技术方案要点是：该客舱分布式文件存储系统配置有至少一个客户端、客舱网络以及多个存储服务器，客户端与存储服务器通过客舱网络通信连接，存储服务器配置有接口模块和缓存模块。本发明提供的客舱分布式文件存储系统在存储服务器中增加一个缓存目录及相应元数据的缓存模块，客户端的请求下发到缓存模块时，直接根据缓存信息处理请求并返回，无须继续下发到服务端的本地文件系统，从而以访问高速缓存替代低速磁盘，减少了用户态与内核态交互的方式。

Description

一种客舱分布式文件存储系统及实现方法

技术领域

本发明涉及网络通信技术领域，更具体地说，它涉及一种客舱分布式文件存储系统及实现方法。

背景技术

随着信息化时代的高速发展，互联网已影响着我们生活的方方面面。乘客对机载娱乐的要求也随之不断提升。数据在机载网络上所呈现的形式趋于多样化，数据的规模也以超出想象的速度增长。使用传统的单台或多台机载服务器集中存储的方式将导致机载服务器成为性能瓶颈的关键点以及存在单点故障的问题，不能满足大规模存储应用的需要。因此，如何研究设计一种客舱分布式文件存储系统及实现方法是我们目前急需解决的问题。

发明内容

为解决现有技术中的不足，本发明的目的是提供一种客舱分布式文件存储系统及实现方法。

本发明的上述技术目的是通过以下技术方案得以实现的：

第一方面，提供了一种客舱分布式文件存储系统的实现方法，该客舱分布式文件存储系统配置有至少一个客户端、客舱网络以及多个存储服务器，客户端与存储服务器通过客舱网络通信连接，存储服务器配置有接口模块和缓存模块，具体实现方法包括以下步骤：

客户端根据输入的目标文件信息生成文件列表信息访问请求；

客户端采用一致性哈希算法确定目标文件在存储服务器中的位置，得到待访问目标文件的定位信息；

通过客舱网络将文件列表信息访问请求传输至与定位信息匹配的存储服务器；

缓存模块接收到文件列表信息访问请求后通过存储服务进程访问预构建的目录结构信息，并在目标文件访问成功后向客户端发出访问成功反馈信息；

客户端依据访问成功反馈信息生成操作目标文件的读/写执行命令，并将读/写执行命令传输至相应的存储服务器；

接口模块接收到读/写执行命令后，以调用存储服务进程进行通信的方式在本地文件系统中对目标文件执行读/写操作。

进一步的，该客舱分布式文件存储系统以全局统一命名空间将磁盘和内存资源聚集成一个单一的虚拟存储池，虚拟存储池对上层用户和应用屏蔽底层的物理硬件，存储资源根据需要和哈希值定位在虚拟存储池中进行弹性扩展。

进一步的，所述文件列表信息访问请求经虚拟文件系统解析成大小为4K的多次连续的在读目录请求，并将多次的在读目录请求分别传输至定位信息中定位的存储服务器，解析后的在读目录请求次数与定位的存储服务器数量相同。

进一步的，所述目标文件在存储服务器中的定位过程具体为：

获取目标文件的父目录信息；

采用一致性哈希算法分别计算出目标文件的文件哈希值和对应父目录信息的父目录哈希值；

将父目录哈希值与所有存储服务器的哈希值范围对比分析，确定包含父目录信息的所有存储服务器；

将文件哈希值与父目录信息、确定的存储服务器进行匹配分析，得到待访问目标文件在所有存储服务器中的定位信息。

进一步的，所述定位信息包括文件哈希值、父目录哈希值、逻辑卷到存储服务器的映射关系、存储服务器的ip地址和端口号、目标文件在存储服务器中本地文件系统的元数据信息、目标文件在存储服务器中本地文件系统的绝对路径。

进一步的，所述缓存模块配置有预加载单元、任务处理单元、目录处理单元；

预加载单元在存储服务器启动时加载存储服务器已有的目录项、对应的目录元数据信息分别到内存目录结构、kv存储LevelDB中，并采用深度优先算法DFS从内存目录结构的根目录开始遍历所有目录项完成目录结构信息的构建；

任务处理单元采用同步处理方式处理与目录项增删相关的ops操作，以及采用异步聚合处理机制处理与目录元数据信息增删改相关的ops操作；

目录处理单元以建立游标结构方式处理开发目录、访问目录、关闭目录的执行逻辑。

进一步的，该客舱分布式文件存储系统还配置有对逻辑卷进行弹性和自动化管理的存储网关，客户端对存储服务器进行直接访问或通过存储网关以NFS/CIFS标准协议进行代理访问。

进一步的，所述逻辑卷为EC逻辑卷，EC逻辑卷采用RS类纠删码进行数据删除或恢复操作以实现最小化冗余存储开销。

进一步的，所述EC逻辑卷的冗余度范围具体为：

1≤R≤(B-1)/2

其中，R表示逻辑卷提供容错机制的冗余度；B表示存储服务器的数量。

第二方面，提供了一种客舱分布式文件存储系统，包括至少一个客户端、客舱网络以及多个存储服务器，客户端与存储服务器通过客舱网络通信连接，存储服务器配置有接口模块和缓存模块；

客户端，用于根据输入的目标文件信息生成文件列表信息访问请求，并采用一致性哈希算法确定目标文件在存储服务器中的位置，得到待访问目标文件的定位信息，以及通过客舱网络将文件列表信息访问请求传输至与定位信息匹配的存储服务器；且依据访问成功反馈信息生成操作目标文件的读/写执行命令，并将读/写执行命令传输至相应的存储服务器；

缓存模块，用于接收到文件列表信息访问请求后通过存储服务进程访问预构建的目录结构信息，并在目标文件访问成功后向客户端发出访问成功反馈信息；

接口模块，用于接收到读/写执行命令后，以调用存储服务进程进行通信的方式在本地文件系统中对目标文件执行读/写操作。

与现有技术相比，本发明具有以下有益效果：

1、本发明提供的客舱分布式文件存储系统中的多个存储服务器通过客户端或存储网关上的卷管理器组成集群，集群采用全对等式架构，存储服务器均拥有整个集群的配置信息，具有高度的独立自治性，信息可以本地查询；

2、本发明提供的客舱分布式文件存储系统在全局统一的命名空间中使用NFS/CIFS等标准协议来访问应用数据，利用普通配置的机载服务器来部署可集中管理、横向扩展、虚拟化的存储池，存储容量可扩展至TB级；

3、本发明提供的客舱分布式文件存储系统在存储服务器中增加一个缓存目录及相应元数据的缓存模块，客户端的请求下发到此模块时，直接根据缓存信息处理请求并返回，无须继续下发到服务端的本地文件系统，从而以访问高速缓存替代低速磁盘，减少了用户态与内核态交互的方式。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1是本发明实施例中客舱分布式文件存储系统的系统架构图；

图2是本发明实施例中目标文件的定位流程示意图；

图3是本发明实施例中存储服务器的结构示意图；

图4是本发明实施例中目录结构信息的访问流程图；

图5是本发明实施例中缓存模块中内存目录结构的结构示意图；

图6是本发明实施例中游标的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图1-6，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例：一种客舱分布式文件存储系统的实现方法，如图1所示，该客舱分布式文件存储系统配置有至少一个客户端、客舱网络、存储网关以及多个存储服务器，客户端与存储服务器通过客舱网络通信连接，存储服务器配置有接口模块和缓存模块。具体实现由以下几个步骤实现。

步骤一，客户端根据输入的目标文件信息生成文件列表信息访问请求，文件列表信息访问请求包括但不限于查看目标文件、读取目标文件、存储目标文件等请求。文件列表信息访问请求经虚拟文件系统解析成大小为4K的多次连续的在读目录请求，并将多次的在读目录请求分别传输至定位信息中定位的存储服务器，解析后的在读目录请求次数与定位的存储服务器数量相同。

步骤二，客户端采用一致性哈希算法确定目标文件在存储服务器中的位置，得到待访问目标文件的定位信息。

如图2所示，目标文件在存储服务器中的定位过程具体为：获取目标文件的父目录信息；采用一致性哈希算法分别计算出目标文件的文件哈希值和对应父目录信息的父目录哈希值；将父目录哈希值与所有存储服务器的哈希值范围对比分析，确定包含父目录信息的所有存储服务器；将文件哈希值与父目录信息、确定的存储服务器进行匹配分析，得到待访问目标文件在所有存储服务器中的定位信息。客户端将数据及操作发给对应存储服务器所在的存储服务进程；存储服务进程对本地文件系统进行具体的操作。

定位信息包括文件哈希值、父目录哈希值、逻辑卷到存储服务器的映射关系、存储服务器的ip地址和端口号、目标文件在存储服务器中本地文件系统的元数据信息、目标文件在存储服务器中本地文件系统的绝对路径。

步骤三，通过客舱网络将文件列表信息访问请求传输至与定位信息匹配的存储服务器。

步骤四，缓存模块接收到文件列表信息访问请求后通过存储服务进程访问预构建的目录结构信息，并在目标文件访问成功后向客户端发出访问成功反馈信息；

步骤五，客户端依据访问成功反馈信息生成操作目标文件的读/写执行命令，并将读/写执行命令传输至相应的存储服务器；

步骤六，目标文件接口模块接收到读/写执行命令后，以调用存储服务进程进行通信的方式在本地文件系统中对目标文件执行读/写操作。

如图3与图4所示，缓存模块配置有预加载单元、任务处理单元、目录处理单元。

预加载单元在存储服务器启动时加载存储服务器已有的目录项、对应的目录元数据信息分别到内存目录结构、kv存储LevelDB中，并采用深度优先算法DFS从内存目录结构的根目录开始遍历所有目录项完成目录结构信息的构建。缓存目录项以及相应的目录元数据采用了非持久化结构，所以每次启动都需要重新对目录项及目录元数据进行加载，而不依赖于服务进程上一次运行的缓存结果，减少了设计与实现的复杂度。

获取目录项的处理步骤如下：从磁盘读取目录项属性和扩展属性；为该目录项创建其对应的内存结构；该目录项ID为key，属性和扩展属性为value存储到数据库当中。不断重复以上步骤直到遍历结束。以上步骤在加载阶段不影响系统对外提供的服务。

任务处理单元采用同步处理方式处理与目录项增删相关的ops操作，以便每次执行查看目录列表信息都能获取到最新的结果。以及采用异步聚合处理机制处理与目录元数据信息增删改相关的ops操作，以便减少此类操作造成的性能影响。目录项增删相关的ops主要包括create、mkdir、rmdir、unlink、rename、mknode。目录项元数据增删改相关的ops主要包括open(O_TRUNC)、writev、setattr、xattrop、fallocate等。

目录处理单元以建立游标结构方式处理开发目录、访问目录、关闭目录的执行逻辑。如图5所示，该结构中设计中并无off，所以无法记录上次readdir的位置。并且同一个目录被多个客户端查看目录列表信息时，每个客户端需要持有自己的off，并且在readdir过程中有目录项的增删也会对off造成影响。针对该情况，考虑设计了游标结构cfd来标记readdir的位置。在opendir时，创建该游标并把游标保存于opendir的DIR结构当中，游标随着readdir移动。当游标返回到尾部时，readdir返回结束标志，收到closedir时，释放该游标。如图6所示，当执行opendir时，cfd指向其打开目录的dentry。如图6所示，当执行opendir时，cfd指向其打开目录的dentry。

逻辑卷在新增一个节点的时候，哈希值映射空间将会发生变化，现在的文件目录可能会被重新定位到其它的存储服务器，从而导致定位失败。有效解决的办法就是重新分布，把文件移动到正确的存储服务器上，此操作会大大加重系统负载。而客舱分布式文件存储系统的哈希分布是以目录为基本单位的，文件的父目录利用扩展属性记录了子卷映射信息，子文件在父目录所属存储服务器中进行分布。由于文件目录事先保存了分布信息，因此新增节点不会影响现有文件存储分布，将从此后的新创建目录开始参与存储分布调度。

需要注意的是，所有数据储存在逻辑卷中，逻辑卷可以从虚拟化的物理存储池进行独立逻辑划分而得到。在本实施例中，逻辑卷为EC逻辑卷，EC逻辑卷采用RS类纠删码进行数据删除或恢复操作以实现最小化冗余存储开销。

C逻辑卷的冗余度范围具体为：1≤R≤(B-1)/2；其中，R表示逻辑卷提供容错机制的冗余度；B表示存储服务器的数量。R的最小值不为0的原因在于当R的值为0时，该逻辑卷就无法提供容错机制了。当R的值为B/2时，其存储利用率和采用副本机制基本相同，但是性能远不如采用副本机制，所以限定其值为(B-1)/2。

该客舱分布式文件存储系统以全局统一命名空间将磁盘和内存资源聚集成一个单一的虚拟存储池，虚拟存储池对上层用户和应用屏蔽底层的物理硬件，存储资源根据需要和哈希值定位在虚拟存储池中进行弹性扩展，存储容量可扩展至TB级，整个客舱分布式文件存储系统采用无中心对称式架构，没有专用的元数据存储系统，即不采用google的GFS架构模型，而采用master统一管理元数据，所以不存在单点故障，也不会因为master存在性能瓶颈。

由于采用无元数据的方式，客户端承担了更多的功能，包括数据卷管理、I/O调度、文件定位、数据缓存等功能。传统的文件系统开发基本都是基于内核态的，开发过程太过复杂，从而增加了开发难度。因此，客户端在用户空间实现时基于开源用户级文件系统(“Filesystem in User Space”，简称FUSE)构建，提升开发效率。

在本实施例中，存储服务器主要提供基本的数据存储功能，存储服务器运行着集群管理系统进程，负责处理来自客户端的数据服务请求，管理本地的服务进程状态，与其他存储服务器节点进行通信。多个存储服务器可以通过客户端或存储网关上的卷管理器组成集群。集群采用全对等式架构，存储服务器均拥有整个集群的配置信息，具有高度的独立自治性，信息可以本地查询。

存储网关对逻辑卷进行弹性和自动化管理，不需要中断数据服务或上层应用业务，客户端对存储服务器进行直接访问。或通过存储网关以NFS/CIFS标准协议进行代理访问，这时存储网关被配置成NFS服务器。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种客舱分布式文件存储系统的实现方法，其特征是，该客舱分布式文件存储系统配置有至少一个客户端、客舱网络以及多个存储服务器，客户端与存储服务器通过客舱网络通信连接，存储服务器配置有接口模块和缓存模块，具体实现方法包括以下步骤：

客户端根据输入的目标文件信息生成文件列表信息访问请求；

客户端采用一致性哈希算法确定目标文件在存储服务器中的位置，得到待访问目标文件的定位信息；

通过客舱网络将文件列表信息访问请求传输至与定位信息匹配的存储服务器；

缓存模块接收到文件列表信息访问请求后通过存储服务进程访问预构建的目录结构信息，并在目标文件访问成功后向客户端发出访问成功反馈信息；内存目录结构保存于存储服务器，目录元数据信息保存到kv存储LevelDB中；

客户端依据访问成功反馈信息生成操作目标文件的读/写执行命令，并将读/写执行命令传输至相应的存储服务器；

接口模块接收到读/写执行命令后，以调用存储服务进程进行通信的方式在本地文件系统中对目标文件执行读/写操作；

所述文件列表信息访问请求经虚拟文件系统解析成大小为4K的多次连续的在读目录请求，并将多次的在读目录请求分别传输至定位信息中定位的存储服务器，解析后的在读目录请求次数与定位的存储服务器数量相同。

2.根据权利要求1所述的一种客舱分布式文件存储系统的实现方法，其特征是，该客舱分布式文件存储系统以全局统一命名空间将磁盘和内存资源聚集成一个单一的虚拟存储池，虚拟存储池对上层用户和应用屏蔽底层的物理硬件，存储资源根据需要和哈希值定位在虚拟存储池中进行弹性扩展。

3.根据权利要求1所述的一种客舱分布式文件存储系统的实现方法，其特征是，所述目标文件在存储服务器中的定位过程具体为：

获取目标文件的父目录信息；

采用一致性哈希算法分别计算出目标文件的文件哈希值和对应父目录信息的父目录哈希值；

将父目录哈希值与所有存储服务器的哈希值范围对比分析，确定包含父目录信息的所有存储服务器；

将文件哈希值与父目录信息、确定的存储服务器进行匹配分析，得到待访问目标文件在所有存储服务器中的定位信息。

4.根据权利要求1所述的一种客舱分布式文件存储系统的实现方法，其特征是，所述定位信息包括文件哈希值、父目录哈希值、逻辑卷到存储服务器的映射关系、存储服务器的ip地址和端口号、目标文件在存储服务器中本地文件系统的元数据信息、目标文件在存储服务器中本地文件系统的绝对路径。

5.根据权利要求1所述的一种客舱分布式文件存储系统的实现方法，其特征是，所述缓存模块配置有预加载单元、任务处理单元、目录处理单元；

预加载单元在存储服务器启动时加载存储服务器已有的目录项、对应的目录元数据信息分别到内存目录结构、kv存储LevelDB中，并采用深度优先算法DFS从内存目录结构的根目录开始遍历所有目录项完成目录结构信息的构建；

任务处理单元采用同步处理方式处理与目录项增删相关的ops操作，以及采用异步聚合处理机制处理与目录元数据信息增删改相关的ops操作；

目录处理单元以建立游标结构方式处理开发目录、访问目录、关闭目录的执行逻辑。

6.根据权利要求1-5任意一项所述的一种客舱分布式文件存储系统的实现方法，其特征是，该客舱分布式文件存储系统还配置有对逻辑卷进行弹性和自动化管理的存储网关，客户端对存储服务器进行直接访问或通过存储网关以NFS/CIFS标准协议进行代理访问。

7.根据权利要求6所述的一种客舱分布式文件存储系统的实现方法，其特征是，所述逻辑卷为EC逻辑卷，EC逻辑卷采用RS类纠删码进行数据删除或恢复操作以实现最小化冗余存储开销。

8.根据权利要求7所述的一种客舱分布式文件存储系统的实现方法，其特征是，所述EC逻辑卷的冗余度范围具体为：

1≤R≤(B-1)/2

其中，R表示逻辑卷提供容错机制的冗余度；B表示存储服务器的数量。

9.一种客舱分布式文件存储系统，其特征是，包括至少一个客户端、客舱网络以及多个存储服务器，客户端与存储服务器通过客舱网络通信连接，存储服务器配置有接口模块和缓存模块；

客户端，用于根据输入的目标文件信息生成文件列表信息访问请求，并采用一致性哈希算法确定目标文件在存储服务器中的位置，得到待访问目标文件的定位信息，以及通过客舱网络将文件列表信息访问请求传输至与定位信息匹配的存储服务器；且依据访问成功反馈信息生成操作目标文件的读/写执行命令，并将读/写执行命令传输至相应的存储服务器；

缓存模块，用于接收到文件列表信息访问请求后通过存储服务进程访问预构建的目录结构信息，并在目标文件访问成功后向客户端发出访问成功反馈信息；内存目录结构保存于存储服务器，目录元数据信息保存到kv存储LevelDB中；

接口模块，用于接收到读/写执行命令后，以调用存储服务进程进行通信的方式在本地文件系统中对目标文件执行读/写操作；

所述文件列表信息访问请求经虚拟文件系统解析成大小为4K的多次连续的在读目录请求，并将多次的在读目录请求分别传输至定位信息中定位的存储服务器，解析后的在读目录请求次数与定位的存储服务器数量相同。

Images