CN105701156B - 一种分布式文件系统管理方法及装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统管理方法及装置，该方法包括元数据管理器接收FTP服务器发送的文件存储指令，然后校验目录路径信息是否已存储，若未存储，则将待存储的文件发送至FastDFS中进行持久化存储，接收FastDFS发送的文件存储信息，建立文件存储信息与目录路径信息的对应关系，生成待存储的文件的元数据，并将待存储的文件的元数据进行缓存。FTP服务器通过与元数据管理器的交互，将文件存储在FastDFS中，并通过文件的元数据查找到文件存储在FastDFS中的存储信息，以使FTP服务器根据该存储信息从FastDFS中访问已经存储的文件，提高FTP服务器的存储稳定性和降低FTP服务器维护的成本。

Description

一种分布式文件系统管理方法及装置

技术领域

本发明涉及分布式文件系统领域，尤其涉及一种分布式文件系统管理方法及装置。

背景技术

FTP(File Transfer Protocol、文件传输协议)用于因特网上的控制文件的双向传输。FTP服务作为文件传输服务在各行各业有着广泛的应用。随着近年来信息技术的发展，各行各业都先后跨入一个新的时代——大数据时代。

传统FTP文件传输服务的应用方式在大数据时代遇到了很多问题，例如：智能交通应用中，过车图片与违法图片需要通过FTP进行存取。随着城市级过车图片数据的爆炸式增长，最近两年中等城市过车图片与违法图片的存储规模已从总量的百TB级跃升至每三个月PB级，每年存储文件数量超过百亿级别。一般的解决方案是将存储图片的设备分区，每个区部署一套或多套FTP服务，并挂载基于SAN存储服务。此方案一方面对于存储单元划分超过16TB时，会存在不稳定问题，对业务应用造成很大的隐患。另一方面，在每个区部署一套或多套FTP服务实施维护的成本也在不断变高。

发明内容

本发明实施例提供一种分布式文件系统管理方法及装置，用以提高FTP服务的存储稳定性和降低FTP服务维护的成本。

本发明实施例提供的一种分布式文件系统管理方法，包括：

元数据管理器接收FTP服务器发送的文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息；

所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储；

若未存储，则所述元数据管理器将所述待存储的文件发送至FastDFS(FastDistributed File System，快速分布式文件系统)中进行持久化存储；

所述元数据管理器接收所述FastDFS发送的文件存储信息，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的；

所述元数据管理器建立所述文件存储信息与所述待存储的文件在所述FTP服务器中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。

较佳地，所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储，包括：

所述元数据管理器包括热数据缓存器和数据库；

所述元数据管理器从所述热数据缓存器中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则所述元数据管理器校验所述待存储的文件已存储；

若未查找到，则所述元数据管理器从所述数据库中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则所述元数据管理器校验所述待存储的文件已存储，若未查找到，则所述元数据管理器校验所述待存储的文件未存储。

较佳地，在将所述待存储的文件的元数据进行缓存之后，还包括：

在第一设定时间段之后，所述元数据管理器将所述待存储的文件的元数据进行持久化存储；和/或

所述元数据管理器在缓存的元数据超过设定数量后，将所述待存储的文件的元数据进行持久化存储。

较佳地，还包括：

所述元数据管理器接收所述FTP服务器发送的文件访问指令，所述文件访问指令中包括所述待访问的文件在所述FTP服务器中的目录路径信息；

所述元数据管理器查找所述待访问的文件在所述FTP服务器中的目录路径信息所对应的所述待访问的文件的文件存储信息；

所述元数据管理器将所述待访问的文件的文件存储信息发送至所述FTP服务器，以使所述FTP服务器根据所述待访问的文件的文件存储信息从所述FastDFS中访问所述待访问的文件。

较佳地，所述元数据管理器将所述待存储的文件发送至快速分布式文件系统FastDFS中进行持久化存储，包括：

所述FastDFS根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在所述FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

较佳地，在将所述待存储的文件的元数据进行缓存之后，还包括：

在第二设定时间段之后，所述元数据管理器将所述待存储的文件的元数据标记为待删除的元数据；

所述元数据管理器向所述FastDFS发送文件删除请求，所述文件删除请求用于指示所述FastDFS删除所述待删除的元数据对应的文件；

所述元数据管理器在接收到所述FastDFS删除完成通知之后，将所述待删除的元数据删除。

相应地，本发明实施例还提供了一种分布式文件系统管理方法，包括：

FTP服务器向元数据管理器发送文件访问指令，所述文件访问指令中包括待访问的文件在所述FTP服务器中的目录路径信息；

所述FTP服务器接收所述元数据管理器发送的所述待访问的文件的文件存储信息，所述待访问的文件的文件存储信息是所述元数据管理器根据所述待访问的文件在所述FTP服务器中的目录路径信息查找到的；

所述FTP服务器根据所述待访问的文件的文件存储信息，访问FastDFS中存储的所述待访问的文件。

较佳地，还包括：

所述FTP服务器向所述元数据管理器发送文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息。

相应地，本发明实施例了一种分布式文件系统管理方法，包括：

FastDFS接收元数据管理器发送的待存储的文件，所述待存储的文件是文件传输协议FTP服务器向元数据管理器发送的文件存储指令中包含的；

所述FastDFS根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在所述FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；

所述FastDFS向所述元数据管理器发送文件存储信息，以使所述元数据管理器生成所述待存储的文件的元数据，其中，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的，所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

较佳地，还包括：

所述FastDFS接收所述元数据管理器发送文件删除请求，所述文件删除请求用于指示所述FastDFS删除待删除的元数据对应的文件；

所述FastDFS删除所述待删除的元数据对应的文件后，向所述元数据管理器发送删除完成通知，以使所述元数据管理器删除所述待删除的元数据。

相应地，本发明实施例提供了一种分布式文件系统管理装置，包括：

第一接收单元，用于接收FTP服务器发送的文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息；

校验单元，用于校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储；

发送单元，用于若所述待存储的文件在所述FTP服务器中的目录路径信息未存储，则将所述待存储的文件发送至FastDFS中进行持久化存储；

第二接收单元，用于接收所述FastDFS发送的文件存储信息，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的；

存储单元，用于建立所述文件存储信息与所述待存储的文件在所述FTP服务器中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。

较佳地，所述校验单元具体用于：

元数据管理器包括热数据缓存器和数据库；

从所述热数据缓存器中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则校验所述待存储的文件已存储；

若未查找到，则从所述数据库中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则校验所述待存储的文件已存储，若未查找到，则校验所述待存储的文件未存储。

较佳地，在将所述待存储的文件的元数据进行缓存之后，所述存储单元还用于：

在第一设定时间段之后，将所述待存储的文件的元数据进行持久化存储；和/或

在缓存的元数据超过设定数量后，将所述待存储的文件的元数据进行持久化存储。

较佳地，还包括：第三接收单元和查找单元；

所述第三接收单元具体用于接收所述FTP服务器发送的文件访问指令，所述文件访问指令中包括所述待访问的文件的文件在所述FTP服务器中的目录路径信息；

所述查找单元具体用于查找所述待访问的文件的文件在所述FTP服务器中的目录路径信息所对应的所述待访问的文件的文件存储信息；

所述发送单元还用于将所述待访问的文件存储信息发送至所述FTP服务器，以使所述FTP服务器根据所述待访问的文件存储信息从所述FastDFS中访问所述待访问的文件。

较佳地，所述发送单元具体用于：

将所述待存储的文件发送至所述FastDFS，以使所述FastDFS根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在所述FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

较佳地，还包括：标记单元和删除单元；

在将所述文件的元数据进行缓存之后，所述标记单元具体用于在第二设定时间段之后，将所述待存储的文件的元数据标记为待删除的元数据；

所述发送单元还用于向所述FastDFS发送文件删除请求，所述文件删除请求用于指示所述FastDFS删除所述待删除的元数据对应的文件；

所述删除单元具体用于在接收到所述FastDFS删除完成通知之后，将所述待删除的元数据删除。

相应地，本发明实施例还提供了一种分布式文件系统管理装置，包括：

发送单元，用于向元数据管理器发送文件访问指令，所述文件访问指令中包括待访问的文件在FTP服务器中的目录路径信息；

接收单元，用于接收所述元数据管理器发送的所述待访问的文件的文件存储信息，所述待访问的文件的文件存储信息是所述元数据管理器根据所述待访问的文件在所述FTP服务器中的目录路径信息查找到的；

访问单元，用于根据所述待访问的文件的文件存储信息，访问FastDFS中存储的所述待访问的文件。

较佳地，所述发送单元还用于：

向所述元数据管理器发送文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息。

相应地，本发明实施例还提供了一种分布式文件系统管理装置，包括：

接收单元，用于接收元数据管理器发送的待存储的文件，所述待存储的文件是文件传输协议FTP服务器向元数据管理器发送的文件存储指令中包含的；

存储单元，用于根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；

发送单元，用于向所述元数据管理器发送文件存储信息，以使所述元数据管理器生成所述待存储的文件的元数据，其中，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的，所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

较佳地，所述接收单元还用于接收所述元数据管理器发送文件删除请求，所述文件删除请求用于指示所述FastDFS删除待删除的元数据对应的文件；

所述发送单元还用于删除所述待删除的元数据对应的文件后，向所述元数据管理器发送删除完成通知，以使所述元数据管理器删除所述待删除的元数据。

本发明实施例表明，元数据管理器接收FTP服务器发送的文件存储指令，元数据管理器校验待存储的文件在FTP服务器中的目录路径信息是否已存储，若未存储，则元数据管理器将待存储的文件发送至FastDFS中进行持久化存储，元数据管理器接收FastDFS发送的文件存储信息，文件存储信息是FastDFS将待存储的文件进行存储之后生成的，元数据管理器建立文件存储信息与待存储的文件在FTP服务器中的目录路径信息的对应关系，生成待存储的文件的元数据，并将待存储的文件的元数据进行缓存。FTP服务器通过与元数据管理器的交互，可以将文件存储在FastDFS中，并可以通过文件的元数据查找到文件存储在FastDFS中的存储信息，以使FTP服务器根据该存储信息从FastDFS中访问已经存储的文件，提高FTP服务器的存储稳定性和降低FTP服务器维护的成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构图；

图2为本发明实施例提供的一种分布式文件系统管理方法的流程示意图；

图3为本发明实施例提供的一种分布式文件系统管理方法的流程示意图；

图4为本发明实施例提供的一种分布式文件系统管理方法的流程示意图；

图5为本发明实施例提供的一种分布式文件系统管理装置的结构示意图；

图6为本发明实施例提供的一种分布式文件系统管理装置的结构示意图；

图7为本发明实施例提供的一种分布式文件系统管理装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的一种适用于分布式文件系统管理的系统架构，该系统架构具体包括：元数据管理器101、FTP服务器102和FastDFS103。

FTP服务器102可以是一个服务器，也可以是服务器集群，通过服务器集群可以解决高并发情况下，单节点的接入能力及输入输出的吞吐能力的瓶颈问题。

元数据管理器101可以由热数据缓存和数据库组成，热数据缓存可以用于存储文件在FTP服务器102中目录路径信息，和最近的文件的元数据。元数据管理器101可以与FTP服务器102进行交互。

FastDFS103是适合海量小文件存储的轻量级的分布式文件系统，能够通过应用程序编程接口实现对存储文件的存储。FastDFS103可以被FTP服务器调用。FastDFS103可以与元数据管理器进行交互。

基于上述描述，图2示出了本发明实施例提供的一种分布式文件系统管理的流程，该流程可以由分布式文件系统管理装置执行，该装置可以位于元数据管理器内，也可以是该元数据管理器。

如图2所示，该流程具体步骤包括：

步骤201，元数据管理器接收FTP服务器发送的文件存储指令。

步骤202，所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储，若是，则转入步骤201，若否，则转入步骤203。

步骤203，所述元数据管理器将所述待存储的文件发送至FastDFS中进行持久化存储。

步骤204，所述元数据管理器接收所述FastDFS发送的文件存储信息。

步骤205，所述元数据管理器建立所述文件存储信息与所述待存储的文件在所述FTP服务器中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。

在步骤201中，该文件存储指令包括待存储的文件和该待存储的文件在FTP服务器中的目录路径信息。该待存储的文件在FTP服务器中的目录路径信息可以用于在元数据管理器中查找是否有存储的文件，或是通过该在FTP服务器中的目录路径信息查找其对应的在FastDFS中的文件存储信息。

在步骤202中，元数据管理器包括热数据缓存器和数据库，元数据管理器在接收到FTP发送的文件存储指令之后，可以从热数据缓存器中查找该待存储的文件在FTP服务器中的目录路径信息，若查找到，则元数据管理器可以校验该待存储的文件已经存储了。若没有查找到，则元数据管理器从数据库中查找待存储的文件在FTP服务器中的目录路径信息，若在数据库中查找到，则元数据管理器校验该待存储的文件已经被存储，若没有查找到，则元数据管理器校验该待存储的文件没有被存储。此时可以存储FTP服务器发送过来的待存储的文件。

在步骤203中，当步骤202中元数据管理器校验未存储该待存储的文件时，元数据管理器将FTP服务器发送过来的待存储的文件发送至FastDFS进行持久化存储。

具体的，FastDFS在接收到元数据管理器发送的待存储的文件之后，FastDFS根据待存储的文件的存储需要的存储空间，将该待存储文件划分为N份，并分别存储在FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点。该一组虚拟存储节点也可以称为存储卷，一个存储卷由一个或多个虚拟的存储节点组成，可以是一个或多个服务节点。

FastDFS在存储完该待存储的文件之后，将生成的文件存储信息发送给元数据管理器，以使元数据管理器根据该存储信息生成该待存储的文件的元数据，该待存储的文件的元数据为针对一组虚拟存储节点的元数据。

在步骤204中，元数据管理器接收FastDFS发送的文件存储信息，该文件存储信息是该FastDFS将待存储的文件进行存储之后生成的。

在步骤205中，元数据管理器根据步骤204中接收到的文件存储信息和该待存储的文件在FTP服务器中的目录路径信息的对应关系，生成该待存储的文件的元数据，并将该待存储的文件的元数据进行缓存。元数据管理器可以通过该待存储的文件的元数据查找到文件存储信息和该待存储的文件在FTP服务请求中的目录路径信息，便于FTP服务器管理存储在FastDFS中的文件。

该文件的元数据还包括该文件的文件名称、文件后缀、存储的组信息、创建时间、更新时间、访问次数、删除标记以及自定义的标签。

FTP服务器在接收到一个待存储的文件时，在FTP服务器上建立一个该待存储的文件对应的目录路径信息，然后将该待存储的文件和目录路径信息一起发送至元数据管理器，元数据管理器校验该目录路径信息是否已存储，若未存储，则将该待存储的文件发送至FastDFS进行存储，元数据管理器将返回的文件存储信息和目录路径信息一起生成元数据，进行缓存。

在将该待存储的文件的元数据进行缓存之后，元数据管理器在第一设定时间段之后，将待存储的文件的元数据进行持久化存储，即将该待存储的文件的元数据存储在数据库中。该第一设定时间段可以是3个月，在3个月内，该待存储的文件的元数据是存储在热数据缓存中的，3个月之后是存储在数据库中的。该第一设定时间可以依据经验进行设置。

在将该待存储的文件的元数据进行缓存之后，元数据也可以在缓存在热数据缓存中的元数据超过设定数量时，将该待存储的文件的元数据进行持久化存储，即存储在数据库中。该设定数量可以是100万个，热数据缓存中只存储100万个元数据，当超过100万个之后，按照存储的时间的先后顺序将最早存储的元数据进行持久化存储。该设定数量可以依据经验进行设置。

在将该待存储的文件的元数据进行缓存之后，元数据管理器在第二设定时间段之后，将待存储的文件的元数据标记为待删除的元数据，然后，所述元数据管理器向FastDFS发送文件删除请求，文件删除请求用于指示FastDFS删除所述待删除的元数据对应的文件。FastDFS接收到元数据管理器发送文件删除请求之后，删除该待删除的元数据对应的文件，并向元数据管理器发送删除完成通知，以使所述元数据管理器删除该待删除的元数据。元数据管理器在接收到FastDFS发送的删除完成通知之后，将该待删除的元数据进行删除。

在将文件进行存储之后，FTP服务器还可以访问已经存储的文件。

具体的，元数据管理器接收FTP服务器发送的文件访问指令，文件访问指令中包括待访问的文件在FTP服务器中的目录路径信息。然后，元数据管理器在热数据缓存或者数据库中查找待访问的文件在FTP服务器中的目录路径信息所对应的所述待访问的文件的文件存储信息，即查找该待访问的文件的元数据。待访问的文件的文件存储信息是该待访问的文件在FastDFS中存储的文件编号。元数据管理器将查找到的该待访问的文件的文件存储信息发送给FTP服务器，以使该FTP服务器根据该待访问的文件的文件存储信息从FastDFS中访问该待访问的文件。

上述实施例表明，元数据管理器接收FTP服务器发送的文件存储指令，元数据管理器校验待存储的文件在FTP服务器中的目录路径信息是否已存储，若未存储，则元数据管理器将待存储的文件发送至FastDFS中进行持久化存储，元数据管理器接收FastDFS发送的文件存储信息，文件存储信息是FastDFS将待存储的文件进行存储之后生成的，元数据管理器建立文件存储信息与待存储的文件在FTP服务器中的目录路径信息的对应关系，生成待存储的文件的元数据，并将待存储的文件的元数据进行缓存。FTP服务器通过与元数据管理器的交互，可以将文件存储在FastDFS中，并可以通过文件的元数据查找到文件存储在FastDFS中的存储信息，以使FTP服务器根据该存储信息从FastDFS中访问已经存储的文件，提高FTP服务器的存储稳定性和降低FTP服务器维护的成本。

基于相同的技术构思，图3示出了本发明实施例提供的一种分布式文件系统管理的流程，该流程可以由分布式文件系统管理装置执行，该装置可以位于FTP服务器内，也可以是该FTP服务器。

如图3所示，该流程具体步骤包括：

步骤301，FTP服务器向元数据管理器发送文件访问指令。

步骤302，所述FTP服务器接收所述元数据管理器发送的所述待访问的文件的文件存储信息。

步骤303，所述FTP服务器根据所述待访问的文件的文件存储信息，访问FastDFS中存储的所述待访问的文件。

在步骤301中，FTP服务器向元数据管理器发送文件访问指令，该文件访问指令中包括待访问的文件在FTP服务器中的目录路径信息。元数据管理器在接收到FTP服务器发送的文件访问指令之后，在热数据缓存或者数据库中查找待访问的文件在FTP服务器中的目录路径信息所对应的所述待访问的文件的文件存储信息，即查找该待访问的文件的元数据。待访问的文件的文件存储信息是该待访问的文件在FastDFS中存储的文件编号。元数据管理器将查找到的该待访问的文件的文件存储信息发送给FTP服务器，以使该FTP服务器根据该待访问的文件的文件存储信息从FastDFS中访问该待访问的文件。

在步骤302中，FTP服务器接收元数据管理器发送的待访问的文件存储信息，该待访问的文件的文件存储信息是元数据管理器根据待访问的文件在FTP服务器中的目录路径信息查找到的。

在步骤303中，FTP服务器据待访问的文件的文件存储信息，访问FastDFS中存储的所述待访问的文件。

该FTP服务器还向元数据管理器发送文件存储指令，该文件存储指令包括待存储的文件和待存储的文件在所述FTP服务器中的目录路径信息。该待存储的文件在FTP服务器中的目录路径信息可以用于在元数据管理器中查找是否有存储的文件，或是通过该在FTP服务器中的目录路径信息查找其对应的在FastDFS中的文件存储信息。

上述实施例表明，FTP服务器向元数据管理器发送文件访问指令，文件访问指令中包括待访问的文件在FTP服务器中的目录路径信息，FTP服务器接收元数据管理器发送的待访问的文件的文件存储信息，待访问的文件的文件存储信息是元数据管理器根据待访问的文件在FTP服务器中的目录路径信息查找到的，FTP服务器根据待访问的文件的文件存储信息，访问FastDFS中存储的待访问的文件。FTP服务器通过与元数据管理器的交互，可以将文件存储在FastDFS中，并可以通过文件的元数据查找到文件存储在FastDFS中的存储信息，以使FTP服务器根据该存储信息从FastDFS中访问已经存储的文件，提高FTP服务器的存储稳定性和降低FTP服务器维护的成本。

基于相同的技术构思，图4示出了本发明实施例提供的一种分布式文件系统管理的流程，该流程可以由分布式文件系统管理装置执行，该装置可以位于FastDFS内，也可以是该FastDFS。

如图4所示，该流程具体步骤包括：

步骤401，FastDFS接收元数据管理器发送的待存储文件。

步骤402，所述FastDFS根据所述待存储文件的存储需要的存储空间，将所述待存储文件划分为N份，并分别存储在所述FastDFS的N个服务节点上。

步骤403，所述FastDFS向所述元数据管理器发送文件存储信息，以使所述元数据管理器生成所述待存储的文件的元数据。

在步骤401中，FastDFS接收元数据管理器发送的待存储文件，该待存储的文件是FTP服务器向元数据管理器发送的文件存储指令中包含的。

在步骤402中，根据所述待存储文件的存储需要的存储空间，将待存储的文件划分为N份，并分别存储在FastDFS的N个服务节点上，N个服务节点组成一组虚拟存储节点，该N个服务节点组成一组虚拟存储节点。该一组虚拟存储节点也可以称为存储卷，一个存储卷由一个或多个虚拟的存储节点组成，可以是一个或多个服务节点。

在步骤403中，FastDFS在将待存储的文件进行存储之后生成文件存储信息，FastDFS将该文件存储信息发送给元数据管理器，以使元数据管理器生成待存储的文件的元数据。该待存储的文件的元数据为针对一组虚拟存储节点的元数据。

基于相同的技术构思，图5示出了本发明实施例提供的一种分布式文件系统管理装置，该装置可以执行分布式文件系统管理的流程，该装置可以位于元数据管理器501内，也可以是元数据管理器501。

如图5所示，该装置具体包括：

第一接收单元5011，用于接收文件传输协议FTP服务器502发送的文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器502中的目录路径信息；

校验单元5012，用于校验所述待存储的文件在所述FTP服务器502中的目录路径信息是否已存储；

发送单元5013，用于若所述待存储的文件在所述FTP服务器502中的目录路径信息未存储，则将所述待存储的文件发送至快速分布式文件系统FastDFS503中进行持久化存储；

第二接收单元5014，用于接收所述FastDFS503发送的文件存储信息，所述文件存储信息是所述FastDFS503将所述待存储的文件进行存储之后生成的；

存储单元5015，用于建立所述文件存储信息与所述待存储的文件在所述FTP服务器502中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。

优选地，所述校验单元5012具体用于：

元数据管理器501包括热数据缓存器和数据库；

从所述热数据缓存器中查找所述待存储的文件在所述FTP服务器502中的目录路径信息，若查找到，则校验所述待存储的文件已存储；

若未查找到，则从所述数据库中查找所述待存储的文件在所述FTP服务器502中的目录路径信息，若查找到，则校验所述待存储的文件已存储，若未查找到，则校验所述待存储的文件未存储。

优选地，在将所述待存储的文件的元数据进行缓存之后，所述存储单元5015还用于：

在第一设定时间段之后，将所述待存储的文件的元数据进行持久化存储；和/或

在缓存的元数据超过设定数量后，将所述待存储的文件的元数据进行持久化存储。

优选地，还包括：第三接收单元5016和查找单元5017；

所述第三接收单元5016具体用于接收所述FTP服务器502发送的文件访问指令，所述文件访问指令中包括所述待访问的文件在所述FTP服务器502中的目录路径信息；

所述查找单元5017具体用于查找所述待访问的文件在所述FTP服务器502中的目录路径信息所对应的所述待访问的文件的文件存储信息；

所述发送单元5013还用于将所述待访问的文件的文件存储信息发送至所述FTP服务器502，以使所述FTP服务器502根据所述待访问的文件的文件存储信息从所述FastDFS503中访问所述待访问的文件。

优选地，所述发送单元5013具体用于：

将所述待存储的文件发送至所述FastDFS503，以使所述FastDFS503根据所述待存储的文件的存储需要的存储空间，将所述待存储文件划分为N份，并分别存储在所述FastDFS503的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

优选地，还包括：标记单元5018和删除单元5019；

在将所述文件的元数据进行缓存之后，所述标记单元5018具体用于在第二设定时间段之后，将所述待存储的文件的元数据标记为待删除的元数据；

所述发送单元5013还用于向所述FastDFS503发送文件删除请求，所述文件删除请求用于指示所述FastDFS503删除所述待删除的元数据对应的文件；

所述删除单元5019具体用于在接收到所述FastDFS删除完成通知之后，将所述待删除的元数据删除。

基于相同的技术构思，图6示出了本发明实施例提供的一种分布式文件系统管理装置，该装置可以执行分布式文件系统管理的流程，该装置可以位于FTP服务器602内，也可以是FTP服务器602。

如图6所示，该装置具体包括：

发送单元6021，用于向元数据管理器601发送文件访问指令，所述文件访问指令中包括待访问的文件在FTP服务器602中的目录路径信息；

接收单元6022，用于接收所述元数据管理器601发送的所述待访问的文件的文件存储信息，所述待访问的文件的文件存储信息是所述元数据管理器601根据所述待访问的文件在所述FTP服务器602中的目录路径信息查找到的；

访问单元6023，用于根据所述待访问的文件的文件存储信息，访问FastDFS603中存储的所述待访问的文件。

优选地，所述发送单元6021还用于：

向所述元数据管理器601发送文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器602中的目录路径信息。

基于相同的技术构思，图7示出了本发明实施例提供的一种分布式文件系统管理装置，该装置可以执行分布式文件系统管理的流程，该装置可以位于FastDFS703内，也可以是FastDFS703。

如图7所示，该装置具体包括：

接收单元7031，用于接收元数据管理器701发送的待存储的文件，所述待存储的文件是FTP服务器向元数据管理器701发送的文件存储指令中包含的；

存储单元7032，用于根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在FastDFS703的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；

发送单元7033，用于向所述元数据管理器701发送文件存储信息，以使所述元数据管理器701生成所述待存储的文件的元数据，其中，所述文件存储信息是所述FastDFS703将所述待存储的文件进行存储之后生成的，所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

优选地，所述接收单元7031还用于接收所述元数据管理器701发送文件删除请求，所述文件删除请求用于指示所述FastDFS703删除待删除的元数据对应的文件；

所述发送单元7033还用于删除所述待删除的元数据对应的文件后，向所述元数据管理器701发送删除完成通知，以使所述元数据管理器701删除所述待删除的元数据。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种分布式文件系统管理方法，其特征在于，包括：

元数据管理器接收文件传输协议FTP服务器发送的文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息；

所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储；

若未存储，则所述元数据管理器将所述待存储的文件发送至快速分布式文件系统FastDFS中进行持久化存储；

所述元数据管理器接收所述FastDFS发送的文件存储信息，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的；

所述元数据管理器建立所述文件存储信息与所述待存储的文件在所述FTP服务器中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。

2.如权利要求1所述的方法，其特征在于，所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储，包括：

所述元数据管理器包括热数据缓存器和数据库；

所述元数据管理器从所述热数据缓存器中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则所述元数据管理器校验所述待存储的文件已存储；

若未查找到，则所述元数据管理器从所述数据库中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则所述元数据管理器校验所述待存储的文件已存储，若未查找到，则所述元数据管理器校验所述待存储的文件未存储。

3.如权利要求1所述的方法，其特征在于，在将所述待存储的文件的元数据进行缓存之后，还包括：

在第一设定时间段之后，所述元数据管理器将所述待存储的文件的元数据进行持久化存储；和/或

所述元数据管理器在缓存的元数据超过设定数量后，将所述待存储的文件的元数据进行持久化存储。

4.如权利要求1所述的方法，其特征在于，还包括：

所述元数据管理器接收所述FTP服务器发送的文件访问指令，所述文件访问指令中包括待访问的文件在所述FTP服务器中的目录路径信息；

所述元数据管理器查找所述待访问的文件在所述FTP服务器中的目录路径信息所对应的所述待访问的文件的文件存储信息；

所述元数据管理器将所述待访问的文件的文件存储信息发送至所述FTP服务器，以使所述FTP服务器根据所述待访问的文件的文件存储信息从所述FastDFS中访问所述待访问的文件。

5.如权利要求1所述的方法，其特征在于，所述元数据管理器将所述待存储的文件发送至快速分布式文件系统FastDFS中进行持久化存储，包括：

所述FastDFS根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在所述FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

6.如权利要求1或5所述的方法，其特征在于，在将所述待存储的文件的元数据进行缓存之后，还包括：

在第二设定时间段之后，所述元数据管理器将所述待存储的文件的元数据标记为待删除的元数据；

所述元数据管理器向所述FastDFS发送文件删除请求，所述文件删除请求用于指示所述FastDFS删除所述待删除的元数据对应的文件；

所述元数据管理器在接收到所述FastDFS删除完成通知之后，将所述待删除的元数据删除。

7.一种分布式文件系统管理方法，其特征在于，包括：

文件传输协议FTP服务器向元数据管理器发送文件访问指令，所述文件访问指令中包括待访问的文件在所述FTP服务器中的目录路径信息；

所述FTP服务器接收所述元数据管理器发送的所述待访问的文件的文件存储信息，所述待访问的文件的文件存储信息是所述元数据管理器根据所述待访问的文件在所述FTP服务器中的目录路径信息查找到的；

所述FTP服务器根据所述待访问的文件的文件存储信息，访问快速分布式文件系统FastDFS中存储的所述待访问的文件。

8.如权利要求7所述的方法，其特征在于，还包括：

所述FTP服务器向所述元数据管理器发送文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息。

9.一种分布式文件系统管理方法，其特征在于，包括：

快速分布式文件系统FastDFS接收元数据管理器发送的待存储的文件，所述待存储的文件是文件传输协议FTP服务器向元数据管理器发送的文件存储指令中包含的；

所述FastDFS根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；

所述FastDFS向所述元数据管理器发送文件存储信息，以使所述元数据管理器生成所述待存储的文件的元数据，其中，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的，所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

10.如权利要求9所述的方法，其特征在于，还包括：

所述FastDFS接收所述元数据管理器发送文件删除请求，所述文件删除请求用于指示所述FastDFS删除待删除的元数据对应的文件；

所述FastDFS删除所述待删除的元数据对应的文件后，向所述元数据管理器发送删除完成通知，以使所述元数据管理器删除所述待删除的元数据。

11.一种分布式文件系统管理装置，其特征在于，包括：

第一接收单元，用于接收文件传输协议FTP服务器发送的文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息；

校验单元，用于校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储；

发送单元，用于若所述待存储的文件在所述FTP服务器中的目录路径信息未存储，则将所述待存储的文件发送至快速分布式文件系统FastDFS中进行持久化存储；

第二接收单元，用于接收所述FastDFS发送的文件存储信息，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的；

存储单元，用于建立所述文件存储信息与所述待存储的文件在所述FTP服务器中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。

12.如权利要求11所述的装置，其特征在于，所述校验单元具体用于：

元数据管理器包括热数据缓存器和数据库；

从所述热数据缓存器中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则校验所述待存储的文件已存储；

若未查找到，则从所述数据库中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则校验所述待存储的文件已存储，若未查找到，则校验所述待存储的文件未存储。

13.如权利要求11所述的装置，其特征在于，在将所述待存储的文件的元数据进行缓存之后，所述存储单元还用于：

在第一设定时间段之后，将所述待存储的文件的元数据进行持久化存储；和/或

在缓存的元数据超过设定数量后，将所述待存储的文件的元数据进行持久化存储。

14.如权利要求11所述的装置，其特征在于，还包括：第三接收单元和查找单元；

所述第三接收单元具体用于接收所述FTP服务器发送的文件访问指令，所述文件访问指令中包括待访问的文件在所述FTP服务器中的目录路径信息；

所述查找单元具体用于查找所述待访问的文件在所述FTP服务器中的目录路径信息所对应的所述待访问的文件的文件存储信息；

所述发送单元还用于将所述待访问的文件的文件存储信息发送至所述FTP服务器，以使所述FTP服务器根据所述待访问的文件的文件存储信息从所述FastDFS中访问所述待访问的文件。

15.如权利要求11所述的装置，其特征在于，所述发送单元具体用于：

将所述待存储的文件发送至所述FastDFS，以使所述FastDFS根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在所述FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

16.如权利要求11或15所述的装置，其特征在于，还包括：标记单元和删除单元；

在将所述文件的元数据进行缓存之后，所述标记单元具体用于在第二设定时间段之后，将所述待存储的文件的元数据标记为待删除的元数据；

所述发送单元还用于向所述FastDFS发送文件删除请求，所述文件删除请求用于指示所述FastDFS删除所述待删除的元数据对应的文件；

所述删除单元具体用于在接收到所述FastDFS删除完成通知之后，将所述待删除的元数据删除。

17.一种分布式文件系统管理装置，其特征在于，包括：

发送单元，用于向元数据管理器发送文件访问指令，所述文件访问指令中包括待访问的文件在文件传输协议FTP服务器中的目录路径信息；

接收单元，用于接收所述元数据管理器发送的所述待访问的文件的文件存储信息，所述待访问的文件的文件存储信息是所述元数据管理器根据所述待访问的文件在所述FTP服务器中的目录路径信息查找到的；

访问单元，用于根据所述待访问的文件的文件存储信息，访问快速分布式文件系统FastDFS中存储的所述待访问的文件。

18.如权利要求17所述的装置，其特征在于，所述发送单元还用于：

向所述元数据管理器发送文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息。

19.一种分布式文件系统管理装置，其特征在于，包括：

接收单元，用于接收元数据管理器发送的待存储的文件，所述待存储的文件是文件传输协议FTP服务器向元数据管理器发送的文件存储指令中包含的；

存储单元，用于根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；

发送单元，用于向所述元数据管理器发送文件存储信息，以使所述元数据管理器生成所述待存储的文件的元数据，其中，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的，所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。

20.如权利要求19所述的装置，其特征在于，所述接收单元还用于接收所述元数据管理器发送文件删除请求，所述文件删除请求用于指示所述FastDFS删除待删除的元数据对应的文件；

所述发送单元还用于删除所述待删除的元数据对应的文件后，向所述元数据管理器发送删除完成通知，以使所述元数据管理器删除所述待删除的元数据。