CN110347656A - 文件存储系统中请求的管理方法和装置 - Google Patents

Abstract

本申请公开了一种文件存储系统中请求的管理方法和装置。所述方法包括：获取网络附属存储NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息；根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点；控制所述目标物理节点响应所述NAS共享请求。

Description

文件存储系统中请求的管理方法和装置

技术领域

本申请涉及信息处理领域，尤指一种文件存储系统中请求的管理方法和装置。

背景技术

云计算(Cloud Computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

对云计算的定义，现阶段广为接受的是美国国家标准与技术研究院定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池，其中资源包括网络、服务器、存储、应用软件和服务等，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。在数据中心建设的初期主要是完成网络、计算、存储的搭建，构建统一的资源管理平台，完成资源的统一化管理和自主服务；在后续的发展过程中用户逐渐关注资源的真正使用情况，以便更好的规划资源和控制资源的使用。

随着当前云计算等应用的发展，存储系统成为IT基础设施领域的重要组成部分，入门级NAS(Network Attached Storage：网络附属存储)系统通常使用服务器或单控制器的物理架构，选用的文件系统可以为extfs(Linux extended file system,Linux扩展文件系统)第三代或第四代系统ext3/ext4等本地文件系统。在物理节点宕机的情况下，会造成客户端应用的中断。为提高服务的可靠性，NAS存储逐渐使用多节点来实现，底层文件系统通常选用并行文件系统或者分布式文件系统，来支持多个物理节点对文件系统的并发访问。如何有效地响应多个物理节点的并行访问访问是亟待解决的问题。

发明内容

为了解决上述技术问题，本申请提供了一种文件存储系统中请求的管理方法和装置，能够提高NAS共享请求的处理效率。

为了达到本申请目的，本申请提供了一种文件存储系统中请求的管理方法，包括：

获取网络附属存储NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息；

根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点；

控制所述目标物理节点响应所述NAS共享请求。

在一个示例性实施例中，所述根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点，包括：

根据所述NAS共享请求中索引的指示信息，确定所需文件的索引；

在预先记录的全局文件的映射信息中，利用所述索引查找对应的存储管理信息，其中所述存储管理信息包括目标物理节点的标识信息。

在一个示例性实施例中，所述全局文件的映射信息是通过如下方式进行管理的，包括：

当检测到对新增文件执行文件系统挂载操作时，在全局文件的映射信息中增加所述新增文件的索引项；当文件系统卸载文件时，则在全局文件的映射信息中删除被卸载的文件对应的索引项；

在检测到物理节点记录的索引信息发生变化时，将发生变化的索引信息在物理节点间进行信息同步。

在一个示例性实施例中，所述存储管理信息还包括记录挂载所述所需文件的子目录、存储所需文件的底层块设备的设备标识和所述文件的访问权限中的至少一个。

在一个示例性实施例中，所述控制所述目标物理节点响应所述NAS共享请求，包括：

如果所述目标物理节点为所述获取到所述NAS共享请求的物理节点，则响应所述NAS共享请求；否则，将所述NAS共享请求发送至所述目标物理节点，并控制所述目标物理节点对所述NAS共享请求进行响应。

一种文件存储系统中请求的管理装置，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现如下操作，包括：

获取网络附属存储NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息；

根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点；

控制所述目标物理节点响应所述NAS共享请求。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点的操作，包括：

根据所述NAS共享请求中索引的指示信息，确定所需文件的索引；

在预先记录的全局文件的映射信息中，利用所述索引查找对应的存储管理信息，其中所述存储管理信息包括目标物理节点的标识信息。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现对全局文件的映射信息的管理操作，包括：

当检测到对新增文件执行文件系统挂载操作时，在全局文件的映射信息中增加所述新增文件的索引项；当文件系统卸载文件时，则在全局文件的映射信息中删除被卸载的文件对应的索引项；

在检测到物理节点记录的索引信息发生变化时，将发生变化的索引信息在物理节点间进行信息同步。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现查找的存储管理信息还包括记录挂载所述所需文件的子目录、存储所需文件的底层块设备的设备标识和所述文件的访问权限中的至少一个。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现控制所述目标物理节点响应所述NAS共享请求的操作，包括：

如果所述目标物理节点为所述获取到所述NAS共享请求的物理节点，则响应所述NAS共享请求；否则，将所述NAS共享请求发送至所述目标物理节点，并控制所述目标物理节点对所述NAS共享请求进行响应。

本申请提供的实施例，获取NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息，并根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点，再控制所述目标物理节点响应所述NAS共享请求，通过确定目标物理节点实现对并行访问的NAS共享请求的处理，提高NAS共享请求的处理效率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请提供的文件存储系统中请求的管理方法的流程图；

图2为本申请实施例提供的文件存储系统的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本申请提供的文件存储系统中请求的管理方法的流程图。图1所示方法包括：

步骤101、获取NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息；

在一个示例性实施例中，文件存储系统中客户端通过发送NAS共享请求获取所需的文件，为了进一步提升访问效率，可以多个客户端同时向文件存储系统发送NAS共享请求。由于文件存储系统采用分布式网络结构或并行文件系统，NAS共享请求会按照预先存储的请求分发策略，发送至一个物理节点，由该物理节点对该物理节点进行响应。

在一个示例性实施例中，用于确定所需文件的索引的指示信息可以为精确搜索所需的关键词信息和/或模糊搜索所需的描述信息。关键词信息可以为文件名称、文件存储路径、文件修改时间或文件作者信息；描述信息可以为内容的中所包含的字词信息等。

步骤102、根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点；

在一个示例性实施例中，由于文件存储系统采用分布式网络结构或并行文件系统，每个物理节点所存储的文件均为该文件存储系统的部分数据，通过根据索引的指示信息，确定存储所需文件的目标物理节点，保证接收到NAS共享请求的物理节点能够通过本申请提供的方法完成对该NAS共享请求的响应。

步骤103、控制所述目标物理节点响应所述NAS共享请求。

在一个示例性实施例中，在确定能够响应所述NAS共享请求的目标物理节点，通过控制该目标物理节点进行响应操作，可以有效地保证并行的多个NAS共享请求均能够得到响应。

在一个示例性实施例中，所述控制所述目标物理节点响应所述NAS共享请求，包括：

如果所述目标物理节点为所述获取到所述NAS共享请求的物理节点，则响应所述NAS共享请求；否则，将所述NAS共享请求发送至所述目标物理节点，并控制所述目标物理节点对所述NAS共享请求进行响应。

如果所需的文件在本物理节点，则将文件读写、目录访问等请求提交给本地文件系统进行处理，否则找到请求访问的文件系统所在的物理节点，然后将请求进行转发处理。

在控制所述目标物理节点对所述NAS共享请求进行响应时，可以接收所述目标物理节点对所述NAS共享请求反馈的NAS共享响应，并发送所述NAS共享响应。

本申请提供的方法实施例，获取NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息，并根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点，再控制所述目标物理节点响应所述NAS共享请求，通过确定目标物理节点实现对并行访问的NAS共享请求的处理，提高NAS共享请求的处理效率。

下面对本申请提供的方法作进一步说明：

在一个示例性实施例中，所述根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点，包括：

根据所述NAS共享请求中索引的指示信息，确定所需文件的索引；

在预先记录的全局文件的映射信息中，利用所述索引查找对应的存储管理信息，其中所述存储管理信息包括目标物理节点的标识信息。

在一个示例性实施例中，当协议层收到nfs/cifs/ftp等服务请求时，对请求报文进行解析，确定需要访问的文件及目录，然后在全局文件系统映射表中查找此次访问的文件根目录所在的物理节点及是否具有读写权限。如果访问的是本节点，则将读写请求提交给本地文件系统处理；如果访问的文件系统是远端的其他物理节点，则通过请求转发层发送到远端进行处理，远端完成文件数据读写后，将数据或者命令操作的执行结果再发送到本节点，由本节点的协议层向客户端反馈请求的执行结果。

在一个示例性实施例中，文件请求在节点间的转发方式依赖于节点间的链接方式，如果物理节点通过以太网方式互联，则文件请求直接通过tcp/ip协议转发。如果底层采用pcie(peripheral component interconnect express，高速串行计算机扩展总线标准)等其他方式互联，需要对链路层进行协议封装后进行转发。

在一个示例性实施例中，所述全局文件的映射信息是通过如下方式进行管理的，包括：

当检测到对新增文件执行文件系统挂载操作时，在全局文件的映射信息中增加所述新增文件的索引项；当文件系统卸载文件时，则在全局文件的映射信息中删除被卸载的文件对应的索引项；

在检测到物理节点记录的索引信息发生变化时，将发生变化的索引信息在物理节点间进行信息同步。

在一个示例性实施例中，当每个节点的文件系统执行挂载操作时，挂载根目录、底层块设备、物理节点Id都会向全局文件的映射信息进行注册，并向所有的节点进行同步，当上层的nfs/cifs/ftp等服务收到读写请求时，进行查询对应节点文件系统。当本节点执行文件系统挂载时，在全局映射表中增加新的索引项，记录挂载点子目录、底层块设备、访问权限、所属物理节点Id等信息，当文件系统卸载时则删除此索引项。全局文件系统映射表记录了各个物理节点的挂载状态，并在节点间保持同步。

在一个示例性实施例中，所述存储管理信息还包括记录挂载所述所需文件的子目录、存储所需文件的底层块设备的设备标识和所述文件的访问权限中的至少一个。

在一个示例性实施例中，预先设置文件存储系统中存储数据的根挂载点，后续各个物理节点的文件系统均挂载在此根目录下。在内存中建立全局文件的映射信息，映射信息记录了根挂载点每个子目录对应的实际块设备及其所属物理节点，允许访问的读写权限等。当每个物理节点的文件系统执行挂载操作时，在根挂载点下创建子目录，执行本地挂载操作，然后在全局文件系统映射表中增加一条索引，记录挂载点位置、底层块设备、物理主机Id，初始访问权限。

下面对本申请实施例提供的方法进行说明：

图2为本申请实施例提供的文件存储系统的结构示意图。如图2所示，在传统的NAS共享服务例如nfs/cifs/ftp等协议层之下，实现了文件请求转发层，及通过对nfs/cifs/ftp等请求报文的解析，来判断需要访问的文件系统是否在本节点，如果在本节点，则将文件读写、目录访问等请求提交给本地文件系统进行处理，否则查找文件系统映射表，找到请求访问的文件系统所在的物理节点，然后将请求进行转发处理。

步骤A01、在每个物理节点的内存中预先存储全局文件系统映射表，用于记录每个物理节点的本地文件系统挂载的子目录、访问权限、物理节点id。

其中，该全局文件系统映射表通过如下方式进行维护，包括：

当每个节点的文件系统执行挂载操作时，挂载根目录，底层块设备,物理节点Id都会向全局的文件系统映射表进行注册，并向所有的节点进行同步，当上层的nfs/cifs/ftp等服务收到读写请求时，进行查询对应节点文件系统。

步骤A02、当收到客户端nas共享请求时，通过查找文件系统映射表，确定需要访问的是本节点或远端的其他物理节点。

如果是本节点处理，则执行步骤A03；否则，执行步骤A04；

步骤A03、将请求提交给本地文件系统处理；

步骤A04、控制对应的物理节点处理请求。

本节点将请求转发至远端节点，远端节点将文件/目录读写请求提交到远端节点的文件系统，完成读写后将数据或操作执行结果再发送到本节点，由本节点向客户端反馈NAS共享请求数据或状态。

由上可以看出，在收到客户端发送的共享访问请求时，通过查找全局文件系统映射表确定文件读写请求在本节点处理还是需要转发给远端节点处理，如果需要远端物理节点处理，远端节点将读写请求提交给本地文件系统，在操作返回时将数据或执行结果再发送到接收客户端请求的节点，在整个操作过程中文件系统层面不依赖于分布式锁的处理，传统的本地文件系统即可支持多节点间的访问，降低了对文件系统的要求。

本申请实施例提供的方法，支持跨节点文件系统访问方法，对底层文件系统没有特殊要求，使用ext3/ext4本地文件系统即可，通过引入一个全局的文件系统映射表和一个请求转发层实现对文件系统的多节点访问，提高了服务的可靠性，实现支持跨节点访问的文件系统共享。

本专利通过请求转发的方式来实现了另外一种文件系统的多节点访问机制。

本申请实施例提供一种文件存储系统中请求的管理装置，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现如下操作，包括：

获取NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息；

根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点；

控制所述目标物理节点响应所述NAS共享请求。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点的操作，包括：

根据所述NAS共享请求中索引的指示信息，确定所需文件的索引；

在预先记录的全局文件的映射信息中，利用所述索引查找对应的存储管理信息，其中所述存储管理信息包括目标物理节点的标识信息。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现对全局文件的映射信息的管理操作，包括：

当检测到对新增文件执行文件系统挂载操作时，在全局文件的映射信息中增加所述新增文件的索引项；当文件系统卸载文件时，则在全局文件的映射信息中删除被卸载的文件对应的索引项；

在检测到物理节点记录的索引信息发生变化时，将发生变化的索引信息在物理节点间进行信息同步。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现查找的存储管理信息还包括记录挂载所述所需文件的子目录、存储所需文件的底层块设备的设备标识和所述文件的访问权限中的至少一个。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现控制所述目标物理节点响应所述NAS共享请求的操作，包括：

如果所述目标物理节点为所述获取到所述NAS共享请求的物理节点，则响应所述NAS共享请求；否则，将所述NAS共享请求发送至所述目标物理节点，并控制所述目标物理节点对所述NAS共享请求进行响应。

本申请提供的装置实施例，获取NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息，并根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点，再控制所述目标物理节点响应所述NAS共享请求，通过确定目标物理节点实现对并行访问的NAS共享请求的处理，提高NAS共享请求的处理效率。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种文件存储系统中请求的管理方法，其特征在于，包括：

获取网络附属存储NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息；

根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点；

控制所述目标物理节点响应所述NAS共享请求。

2.根据权利要求1所述的方法，其特征在于，所述根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点，包括：

根据所述NAS共享请求中索引的指示信息，确定所需文件的索引；

在预先记录的全局文件的映射信息中，利用所述索引查找对应的存储管理信息，其中所述存储管理信息包括目标物理节点的标识信息。

3.根据权利要求2所述的方法，其特征在于，所述全局文件的映射信息是通过如下方式进行管理的，包括：

当检测到对新增文件执行文件系统挂载操作时，在全局文件的映射信息中增加所述新增文件的索引项；当文件系统卸载文件时，则在全局文件的映射信息中删除被卸载的文件对应的索引项；

在检测到物理节点记录的索引信息发生变化时，将发生变化的索引信息在物理节点间进行信息同步。

4.根据权利要求2或3所述的方法，其特征在于，所述存储管理信息还包括记录挂载所述所需文件的子目录、存储所需文件的底层块设备的设备标识和所述文件的访问权限中的至少一个。

5.根据权利要求1所述的方法，其特征在于，所述控制所述目标物理节点响应所述NAS共享请求，包括：

如果所述目标物理节点为所述获取到所述NAS共享请求的物理节点，则响应所述NAS共享请求；否则，将所述NAS共享请求发送至所述目标物理节点，并控制所述目标物理节点对所述NAS共享请求进行响应。

6.一种文件存储系统中请求的管理装置，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现如下操作，包括：

获取网络附属存储NAS共享请求，其中所述NAS共享请求包括用于确定所需文件的索引的指示信息；

根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点；

控制所述目标物理节点响应所述NAS共享请求。

7.根据权利要求6所述的装置，其特征在于，所述处理器调用所述存储器中的计算机程序以实现根据所述索引的指示信息，确定存储有所述NAS共享请求中所需文件的目标物理节点的操作，包括：

根据所述NAS共享请求中索引的指示信息，确定所需文件的索引；

在预先记录的全局文件的映射信息中，利用所述索引查找对应的存储管理信息，其中所述存储管理信息包括目标物理节点的标识信息。

8.根据权利要求7所述的装置，其特征在于，所述处理器调用所述存储器中的计算机程序以实现对全局文件的映射信息的管理操作，包括：

当检测到对新增文件执行文件系统挂载操作时，在全局文件的映射信息中增加所述新增文件的索引项；当文件系统卸载文件时，则在全局文件的映射信息中删除被卸载的文件对应的索引项；

在检测到物理节点记录的索引信息发生变化时，将发生变化的索引信息在物理节点间进行信息同步。

9.根据权利要求7或8所述的装置，其特征在于，所述处理器调用所述存储器中的计算机程序以实现查找的存储管理信息还包括记录挂载所述所需文件的子目录、存储所需文件的底层块设备的设备标识和所述文件的访问权限中的至少一个。

10.根据权利要求6所述的装置，其特征在于，所述处理器调用所述存储器中的计算机程序以实现控制所述目标物理节点响应所述NAS共享请求的操作，包括：

如果所述目标物理节点为所述获取到所述NAS共享请求的物理节点，则响应所述NAS共享请求；否则，将所述NAS共享请求发送至所述目标物理节点，并控制所述目标物理节点对所述NAS共享请求进行响应。