CN103399941A - 一种分布式文件处理方法、装置及系统 - Google Patents

Abstract

本申请提供了一种分布式文件处理方法、装置及系统，所述方法包括接收用户的文件处理请求，所述文件处理请求包括待处理文件的文件标识；获取元数据服务器中与所述文件标识相对应的文件操作信息；对所述待处理文件执行与所述文件操作信息相对应的操作动作。本申请实施例在能够实现文件处理的前提下，将请求接收及文件操作等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高了文件处理的效率。

Description

一种分布式文件处理方法、装置及系统

技术领域

本申请涉及计算机应用技术领域，特别涉及一种分布式文件处理方法、装置及系统。

背景技术

随着企业的业务种类和数据不断增多，信息化的文件数据量以爆炸性的趋势增长，而单纯的通过对文件存储硬件设备进行升级或提高硬件设计的性能来解决存储空间不足的问题时，必然会导致系统成本的巨额增加，管理难度加大，无法广泛应用。

目前，主流的文件存储解决方案是使用分布式存储系统来代替传统的存储系统。如图1中所示，分布式存储系统中包括元数据服务器和多个存储服务器，元数据服务器用来存储整个文件系统的元数据，该元数据即为每个存储服务器中存储文件的文件目录及文件地址等文件关键信息，该元数据服务器负责整个存储系统中所有文件的命名空间及用户对文件的访问，存储服务器即负责管理器自身节点上的存储文件，其中，文件在存储时通常先将大文件分成一个或多个文件块，再将这些文件块存储至存储服务器中。

但上述方案中，由元数据服务器处理对文件的访问请求，包括接收请求及对请求中的文件写入、读取等操作，在请求较多时，元数据服务器存在低延时甚至宕机情况，降低文件处理的效率。

发明内容

本申请所要解决的技术问题是提供一种分布式文件处理方法、装置及系统，用以解决现有技术中由元数据服务器处理对文件的访问请求，在请求较多时元数据服务器存在低延时甚至宕机情况，降低文件处理效率的技术问题。

本申请提供了一种分布式文件处理方法，包括：

接收用户的文件处理请求，所述文件处理请求包括待处理文件的文件标识；

获取元数据服务器中与所述文件标识相对应的文件操作信息；

对所述待处理文件执行与所述文件操作信息相对应的操作动作。

上述方法，优选的，所述文件处理请求包括文件写入请求，其中：

所述对所述待处理文件执行与所述文件操作信息相对应的操作动作，包括：

提取所述文件操作信息中的文件分块规则及所述待处理文件被分块写入的写入地址；

依据所述文件分块规则，将所述待处理文件进行文件块划分，得到至少一个待写入文件块；

将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中。

上述方法，优选的，在所述得到至少一个待写入文件块之后，在所述将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中之前，所述方法还包括：

分别对每个所述待写入文件块进行加密和/或压缩。

上述方法，优选的，所述文件处理请求包括文件读取请求，其中：

所述对所述待处理文件执行与所述文件操作信息相对应的操作动作，包括：

提取所述文件操作信息中所述待处理文件对应的至少一个文件块的存储地址；

在每个所述存储地址对应的存储服务器中，分别读取与每个所述存储地址相对应的目标文件块；

将读取到的每个所述目标文件块进行合并，得到目标文件。

上述方法，优选的，在所述分别读取与每个所述存储地址相对应的目标文件块之后，在所述将读取到的每个所述文件块进行合并之前，所述方法还包括：

分别对每个所述目标文件块进行解压和/或解密。

上述方法，优选的，所述文件处理请求包括文件删除请求，其中：

所述对是待处理文件执行与所述文件操作信息相对应的操作动作，包括：

提取所述文件操作信息中所述待处理文件对应的至少一个文件块的目标地址；

在每个所述目标地址对应的存储服务器中，分别删除与每个所述目标地址相对应的存储文件块。

上述方法，优选的，所述方法还包括：

监测所述元数据服务器及存储服务器的当前工作状态；

判断所述当前工作状态是否超出预设阀值范围，如果是，生成表明系统发生异常的报警信息。

本申请还提供了一种分布式文件处理装置，包括：

请求接收单元，用于接收用户的文件处理请求，所述文件处理请求包括待处理文件的文件标识；

信息获取单元，用于获取元数据服务器中与所述文件标识相对应的文件操作信息；

文件操作单元，用于对所述待处理文件执行与所述文件操作信息相对应的操作动作。

上述装置，优选的，所述文件处理请求包括文件写入请求，其中，所述文件操作单元包括：

第一提取子单元，用于提取所述文件操作信息中的文件分块规则及所述待处理文件被分块写入的写入地址；

文件块划分子单元，用于依据所述文件分块规则，将所述待处理文件进行文件块划分，得到至少一个待写入文件块；

文件块写入子单元，用于将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中。

上述装置，优选的，所述文件操作单元还包括：

第一转换子单元，用于在所述文件块划分子单元得到至少一个待写入文件块之后，在所述文件块写入子单元将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中之前，分别对每个所述待写入文件块进行加密和/或压缩。

上述装置，优选的，所述文件处理请求包括文件读取请求，其中，所述文件操作单元包括：

第二提取子单元，用于提取所述文件操作信息中所述待处理文件对应的至少一个文件块的存储地址；

文件块读取子单元，用于在每个所述存储地址对应的存储服务器中，分别读取与每个所述存储地址相对应的目标文件块；

文件块合并子单元，用于将读取到的每个所述目标文件块进行合并，得到目标文件。

上述装置，优选的，所述文件操作单元还包括：

第二转换子单元，用于在所述文件块读取子单元分别读取与每个所述存储地址相对应的目标文件块之后，在所述文件块合并子单元将读取到的每个所述目标文件块进行合并之前，分别对每个所述目标文件块进行解压和/或解密。

上述装置，优选的，所述文件处理请求包括文件删除请求，其中，所述文件操作单元包括：

第三提取子单元，用于提取所述文件操作信息中所述待处理文件对应的至少一个文件块的目标地址；

文件块删除子单元，用于在每个所述目标地址对应的存储服务器中，分别删除与每个所述目标地址相对应的存储文件块。

上述装置，优选的，还包括：

状态监测单元，用于监测所述元数据服务器及存储服务器的当前工作状态；

状态报警单元，用于判断所述当前工作状态是否超出预设阀值范围，如果是，生成表明系统发生异常的报警信息。

本申请还提供了一种分布式文件处理系统，包括元数据服务器、至少一个存储服务器、及上述任意一项所述的分布式文件处理装置。

由上述方案可知，本申请提供的一种分布式文件处理方法、装置及系统，通过接收包含有待处理文件的文件标识的用户文件处理请求，并获取元数据服务器中与所述文件标识相对应的文件操作信息，进而，对对所述待处理文件执行与所述文件操作信息相对应的操作动作，实现对文件的操作处理。相对于现有技术中由元数据服务器处理每个用户请求导致元数据服务器存在低延时甚至宕机的方案，本申请在能够实现文件处理的前提下，将请求接收及文件操作等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高了文件处理的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中文件存储系统的结构示意图；

图2为本申请提供的一种分布式文件处理方法实施例一的流程图；

图3为本申请提供的一种分布式文件处理方法实施例二的部分流程图；

图4为本申请实施例二的另一部分流程图；

图5为本申请提供的一种分布式文件处理方法实施例三的部分流程图；

图6为本申请实施例三的另一部分流程图；

图7为本申请提供的一种分布式文件处理方法实施例四的部分流程图；

图8为本申请提供的一种分布式文件处理方法实施例五的流程图；

图9为本申请提供的一种分布式文件处理装置实施例六的结构示意图；

图10为本申请提供的一种分布式文件处理装置实施例七的部分结构示意图；

图11为本申请实施例七的另一部分结构示意图；

图12为本申请提供的一种分布式文件处理装置实施例八的部分结构示意图；

图13为本申请实施例八的另一部分结构示意图；

图14为本申请提供的一种分布式文件处理装置实施例九的部分结构示意图；

图15为本申请提供的一种分布式文件处理装置实施例十的结构示意图；

图16为本申请提供的一种分布式文件处理系统实施例十二的系统架构图；

图17为本申请提供的一种分布式文件处理系统实施例十二的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图2，为本申请提供的一种分布式文件处理方法实施例一的流程图，所述方法可以包括以下步骤：

步骤201：接收用户的文件处理请求，所述文件处理请求包括待处理文件的文件标识。

其中，所述文件包括可以为待处理文件的文件名称和/或文件内容的关键字等。

需要说明的是，所述步骤201由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中由元数据服务器实现文件处理请求的接收。用户在需要进行文件处理时，生成包含有待处理文件的文件标识的文件处理请求，由本申请步骤201中进行接收。

步骤202：获取元数据服务器中与所述文件标识相对应的文件操作信息。

其中，所述元数据服务器与多个存储服务器相连接，所述存储服务器呈分布式部署。

需要说明的是，所述元数据服务器中存储有各个存储服务器存储的文件块的文件目录数据及文件地址等元数据信息，且所述元数据服务器设置有文件写入规则等，即在需要进行文件写入时，对待写入文件进行分块进而依次分配写入地址的写入规则。

在所述步骤201中接收到待写入文件的文件标识之后，所述步骤201的执行主体如客户端等将该文件标识传送至元数据服务器，由元数据服务器依据该文件标识确定需要对待处理文件的操作动作，生成文件操作信息，如文件写入操作信息、文件读取操作信息或文件删除操作信息等，此时，在所述步骤202中，对所述文件操作信息进行获取。

其中，所述步骤202由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中由元数据服务器实现文件操作信息的获取。而所述文件操作信息的具体生成过程由元数据服务器执行。

步骤203：对所述待处理文件执行与所述文件操作信息相对应的操作动作。

其中，所述操作动作可以为写入、读取、删除（回收）等操作动作。

需要说明的是，所述步骤203由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中由元数据服务器实现对文件的各类操作动作，如写入或读取等。

由上述方案可知，本申请提供的一种分布式文件处理方法实施例一，通过接收包含有待处理文件的文件标识的用户文件处理请求，并获取元数据服务器中与所述文件标识相对应的文件操作信息，进而，对对所述待处理文件执行与所述文件操作信息相对应的操作动作，实现对文件的操作处理。相对于现有技术中由元数据服务器处理每个用户请求导致元数据服务器存在低延时甚至宕机的方案，本申请在能够实现文件处理的前提下，将请求接收及文件操作等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高文件处理的效率。

另外，本申请中可以设置备用元数据服务器，该备用元数据服务器区别于当前的元数据服务器，存储有相同于当前元数据服务器中数据的所有元数据。其中，当前元数据服务器与所述备用元数据服务器采用Active-Standby模式，当作为Active端的元数据服务器发生故障时，将作为Standby端的备用元数据服务器切换为Active模式，作为Active端的元数据服务器。由此，当前元数据服务器与备用服务器之间相互切换，保证元数据服务器的对外服务功能。因此，本申请的运行状态与元数据服务器的运行正常与否无关，当主元数据服务器出现无法正常运行如宕机等状态出现时，系统会通过监控自动切换备用元数据服务器，接替主元数据服务器继续工作，从而不会使整个文件系统处于瘫痪状态，避免单点故障问题。

在实际应用中，所述文件处理请求包括文件写入请求，即为用户需要将待处理文件（待写入文件）写入至存储服务器中，此时所述文件写入请求中包括待写入文件的文件标识，如所述待写入文件的文件大小、文件目录和/或文件关键字等。而此时所述待写入文件本身缓存在所述步骤201的执行主体中，如缓存在客户端的存储区域（如内存或磁盘等）中。对应的，所述步骤202中获取到的文件操作信息，即为：所述元数据服务器依据所述文件写入请求中的待写入文件的文件大小、文件目录等生成的文件分块规则及分块之后的文件块的写入地址信息等。

需要说明的是，在所述元数据服务器生成文件操作信息的同时，所述元数据服务器将所述待写入文件对应的元数据写入至自身的元数据存储区域中。

其中，参考图3，为本申请提供的一种分布式文件处理方法实施例二中所述步骤203的流程图，所述步骤203具体通过以下步骤实现：

步骤301：提取所述文件操作信息中的文件分块规则及所述待处理文件被分块写入的写入地址。

其中，所述文件操作信息包括待写入文件的文件分块规则、及所述待写入文件被分块写入的写入地址，需要说明的是，该写入地址包括所述待处理文件被分块之后每个文件块的写入地址。

需要说明的是，所述步骤301由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中由元数据服务器实现提取动作。

步骤302：依据所述文件分块规则，将所述待处理文件进行文件块划分，得到至少一个待写入文件块。

需要说明的是，所述步骤302由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中元数据服务器实现对待写入文件的分块操作。

步骤303：将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中。

需要说明的是，所述步骤303由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中元数据服务器实现对待写入文件的每个文件块的写入操作。

由上述具体实现方案可知，本申请提供的一种分布式文件处理方法实施例二，通过接收包含有待处理文件的文件标识的用户文件写入请求，并获取元数据服务器中与所述文件标识相对应的文件操作信息，如文件写入操作信息，进而，依据所述文件写入操作信息中文件分块规则，将所述待处理文件进行文件块划分，得到至少一个待写入文件块，之后，将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中，实现对文件的写入处理。相对于现有技术中由元数据服务器处理每个用户请求导致元数据服务器存在低延时甚至宕机的方案，本申请在能够实现文件处理的前提下，将请求接收及文件写入等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高了文件处理的效率。

其中，在上述实施例中，参考图4，为本申请实施例二中所述步骤203的流程图，在所述步骤302之后，在所述步骤303之前，所述步骤203中还可以包括以下步骤：

步骤S304：分别对每个所述待写入文件块进行加密和/或压缩。

其中，所述步骤S304由区别于所述元数据服务器的装置执行，如设置在客户端的装置等或设置于所述元数据服务器上的装置。

在实际应用中，所述文件处理请求包括文件读取请求，即为用户需要将待处理文件（待读取文件）由所述存储服务器中读取，此时所述文件读取请求中包括待读取文件的文件标识，如所述待读取文件的文件目录、文件名称和/或文件关键字等。对应的，所述步骤202中获取到的文件操作信息，即为：所述元数据服务器依据所述文件读取请求中的待读取文件的文件目录、文件名称等查询到的所述待读取文件中每个待读取文件块的存储地址等。

其中，参考图5，为本申请提供的一种分布式文件处理方法实施例三中所述步骤203的流程图，所述步骤203具体通过以下步骤实现：

步骤501：提取所述文件操作信息中所述待处理文件对应的至少一个文件块的存储地址。

其中，所述文件操作信息包括待读取文件对应的至少一个文件块的存储地址，所述存储地址即为所述待读取文件中每个待读取文件块的存储地址。

需要说明的是，所述步骤501由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中由元数据服务器实现提取动作。

步骤502：在每个所述存储地址对应的存储服务器中，分别读取与每个所述存储地址相对应的目标文件块。

需要说明的是，所述步骤502由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中元数据服务器实现对待读取文件的读取操作。

步骤503：将读取到的每个所述目标文件块进行合并，得到目标文件。

需要说明的是，所述步骤503由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中元数据服务器实现对目标文件块的合并操作。

由上述具体实现方案可知，本申请提供的一种分布式文件处理方法实施例三，通过接收包含有待处理文件的文件标识的用户文件读取请求，并获取元数据服务器中与所述文件标识相对应的文件操作信息，如文件读取操作信息，进而，在每个所述存储地址对应的存储服务器中，分别读取与所述文件读取操作信息中每个所述存储地址相对应的目标文件块，之后，将读取到的每个所述目标文件块进行合并，得到目标文件，实现对文件的读取处理。相对于现有技术中由元数据服务器处理每个用户请求导致元数据服务器存在低延时甚至宕机的方案，本申请在能够实现文件处理的前提下，将请求接收及文件读取等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高了文件处理的效率。

其中，在上述实施例中，参考图6，为本申请实施例三中所述步骤203的流程图，在所述步骤502之后，在所述步骤503之前，所述步骤203中还可以包括以下步骤：

步骤S504：分别对每个所述目标文件块进行解压和/或解密。

其中，所述步骤S504由区别于所述元数据服务器的装置执行，如设置在客户端的装置等或设置于所述元数据服务器上的装置。

在实际应用中，所述文件处理请求包括文件删除请求，即为用户需要将待处理文件（待删除文件）由所述存储服务器中删除，此时所述文件删除请求中包括待删除文件的文件标识，如所述待删除文件的文件目录、文件名称和/或文件关键字等。对应的，所述步骤202中获取到的文件操作信息，即为所述元数据服务器依据所述文件删除请求中的待删除文件的文件目录、文件名称等查询到的所述待删除文件中每个待删除文件块的存储地址等。

需要说明的是，在所述元数据服务器生成文件操作信息之后，所述元数据服务器将所述待删除文件对应的元数据由自身的元数据存储区域中删除。

其中，参考图7，为本申请提供的一种分布式文件处理方法实施例四中所述步骤203的流程图，所述步骤203具体通过以下步骤实现：

步骤701：提取所述文件操作信息中所述待处理文件对应的至少一个文件块的目标地址。

其中，所述文件操作信息包括待删除文件对应的至少一个文件块的目标地址，所述目标地址即为所述删除文件中每个待删除文件块的目标地址。

需要说明的是，所述步骤701由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中由元数据服务器实现提取动作。

步骤702：在每个所述目标地址对应的存储服务器中，分别删除与每个所述目标地址相对应的存储文件块。

需要说明的是，所述步骤702由区别于所述元数据服务器的装置执行，如设置在客户端的装置等，代替现有技术中元数据服务器实现对待删除文件的删除操作。

由上述具体实现方案可知，本申请提供的一种分布式文件处理方法实施例四，通过接收包含有待处理文件的文件标识的用户文件删除请求，并获取元数据服务器中与所述文件标识相对应的文件操作信息，如文件删除操作信息，进而，在所述文件操作信息中每个所述目标地址对应的存储服务器中，分别删除与每个所述目标地址相对应的存储文件块，实现对文件的删除处理。相对于现有技术中由元数据服务器处理每个用户请求导致元数据服务器存在低延时甚至宕机的方案，本申请在能够实现文件处理的前提下，将请求接收及文件删除等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高了文件处理的效率。

参考图8，为本申请提供的一种分布式文件处理方法实施例五的流程图，所述方法还可以包括：

步骤204：监测所述元数据服务器及存储服务器的当前工作状态。

其中，所述当前工作状态信息包括元数据服务器及存储服务器中每个服务器的CPU使用率、内存使用率、磁盘使用率及各个服务进程等的任意一项或任意多项组合。

步骤205：判断所述当前工作状态是否超出预设阀值范围，如果是，执行步骤206。

其中，所述预设阀值范围可以由用户根据需求进行设置。

需要说明的是，所述当前工作状态中的每一项如CPU使用率或磁盘使用率等均有一个预设阀值范围与其相对应。

步骤206：生成表明系统发生异常的报警信息。

其中，所述报警信息可以表明所述当前工作状态信息中每一项的报警状态信息。

需要说明的是，所述报警信息可以以邮件或短消息的形式提示给用户。

参考图9，为本申请提供的一种分布式文件处理装置实施例六的结构示意图，所述装置可以包括：

请求接收单元901，用于接收用户的文件处理请求，所述文件处理请求包括待处理文件的文件标识。

其中，所述文件包括可以为待处理文件的文件名称和/或文件内容的关键字等。

需要说明的是，所述请求接收单元901为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中由元数据服务器实现文件处理请求的接收。用户在需要进行文件处理时，生成包含有待处理文件的文件标识的文件处理请求，由本申请中所述请求接收单元901中进行接收。

信息获取单元902，用于获取元数据服务器中与所述文件标识相对应的文件操作信息。

需要说明的是，所述元数据服务器中存储有各个存储服务器存储的文件块的文件目录数据及文件地址等元数据信息，且所述元数据服务器设置有文件写入规则等，即在元数据服务器需要进行文件写入时，对待写入文件进行分块进而依次分配写入地址的写入规则。

在所述请求接收单元901中接收到待写入文件的文件标识之后，所述请求接收单元901的载体如客户端等将该文件标识传送至元数据服务器，由元数据服务器依据该文件标识确定需要对待处理文件的操作动作，生成文件操作信息，如文件写入操作信息、文件读取操作信息或文件删除操作信息等，此时，在所述信息获取单元902中，对所述文件操作信息进行获取。

其中，所述信息获取单元902为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中由元数据服务器实现文件操作信息的获取。而所述文件操作信息的具体生成过程由元数据服务器执行。

文件操作单元903，用于对所述待处理文件执行与所述文件操作信息相对应的操作动作。

其中，所述操作动作可以为写入、读取、删除（回收）等操作动作。

需要说明的是，所述信息获取单元902为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中由元数据服务器实现对文件的各类操作动作，如写入或读取等。

由上述方案可知，本申请提供的一种分布式文件处理装置实施例六，通过接收包含有待处理文件的文件标识的用户文件处理请求，并获取元数据服务器中与所述文件标识相对应的文件操作信息，进而，对对所述待处理文件执行与所述文件操作信息相对应的操作动作，实现对文件的操作处理。相对于现有技术中由元数据服务器处理每个用户请求导致元数据服务器存在低延时甚至宕机的方案，本申请在能够实现文件处理的前提下，将请求接收及文件操作等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高文件处理的效率。

另外，本申请中可以设置备用元数据服务器，该备用元数据服务器区别于当前的元数据服务器，存储有相同于当前元数据服务器中数据的所有元数据。其中，当前元数据服务器与所述备用元数据服务器采用Active-Standby模式，当作为Active端的元数据服务器发生故障时，将作为Standby端的备用元数据服务器切换为Active模式，作为Active端的元数据服务器。由此，当前元数据服务器与备用服务器之间相互切换，保证元数据服务器的对外服务功能。因此，本申请的运行状态与元数据服务器的运行正常与否无关，当主元数据服务器出现无法正常运行如宕机等状态出现时，系统会通过监控自动切换备用元数据服务器，接替主元数据服务器继续工作，从而不会使整个文件系统处于瘫痪状态，避免单点故障问题。

在实际应用中，所述文件处理请求包括文件写入请求，即为用户需要将待处理文件（待写入文件）写入至存储服务器中，此时所述文件写入请求中包括待写入文件的文件标识，如所述待写入文件的文件大小、文件目录和/或文件关键字等。而此时所述待写入文件本身缓存在所述请求接收单元901的执行载体中，如缓存在客户端的存储区域（如内存或磁盘等）中。对应的，所述信息获取单元902中获取到的文件操作信息，即为所述元数据服务器依据所述文件写入请求中的待写入文件的文件大小、文件目录等生成的文件分块规则及分块之后的文件块的写入地址信息等。

需要说明的是，在所述元数据服务器生成文件操作信息的同时，所述元数据服务器将所述待写入文件对应的元数据写入至自身的元数据存储区域中。

其中，参考图10，为本申请提供的一种分布式文件处理装置实施例七中所述文件操作单元903的结构示意图，所述文件操作单元903可以包括：

第一提取子单元931，用于提取所述文件操作信息中的文件分块规则及所述待处理文件被分块写入的写入地址。

其中，所述文件操作信息包括待写入文件的文件分块规则、及所述待写入文件被分块写入的写入地址，需要说明的是，该写入地址包括所述待处理文件被分块之后每个文件块的写入地址。

需要说明的是，所述第一提取子单元931可以为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中由元数据服务器实现提取动作。

文件块划分子单元932，用于依据所述文件分块规则，将所述待处理文件进行文件块划分，得到至少一个待写入文件块。

需要说明的是，所述文件块划分子单元932可以为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中元数据服务器实现对待写入文件的分块操作。

文件块写入子单元933，用于将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中。

需要说明的是，所述文件块写入子单元933可以为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中元数据服务器实现对待写入文件的每个文件块的写入操作。

由上述具体实现方案可知，本申请提供的一种分布式文件处理装置实施例七，通过接收包含有待处理文件的文件标识的用户文件写入请求，并获取元数据服务器中与所述文件标识相对应的文件操作信息，如文件写入操作信息，进而，依据所述文件写入操作信息中文件分块规则，将所述待处理文件进行文件块划分，得到至少一个待写入文件块，之后，将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中，实现对文件的写入处理。相对于现有技术中由元数据服务器处理每个用户请求导致元数据服务器存在低延时甚至宕机的方案，本申请在能够实现文件处理的前提下，将请求接收及文件写入等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高了文件处理的效率。

其中，在上述实施例中，参考图11，为本申请实施例七中所述文件操作单元903的另一结构示意图，所述文件操作单元903还可以包括：

第一转换子单元934，用于在所述文件块划分子单元932得到至少一个待写入文件块之后，在所述文件块写入子单元933将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中之前，分别对每个所述待写入文件块进行加密和/或压缩。

其中，所述第一转换子单元934可以为区别于所述元数据服务器的装置，如设置在客户端的装置等或设置于所述元数据服务器上的装置。

在实际应用中，所述文件处理请求包括文件读取请求，即为用户需要将待处理文件（待读取文件）由所述存储服务器中读取，此时所述文件读取请求中包括待读取文件的文件标识，如所述待读取文件的文件目录、文件名称和/或文件关键字等。对应的，所述信息获取单元902中获取到的文件操作信息，即为所述元数据服务器依据所述文件读取请求中的待读取文件的文件目录、文件名称等查询到的所述待读取文件中每个待读取文件块的存储地址等。

其中，参考图12，为本申请提供的一种分布式文件处理装置实施例八中所述文件操作单元903的结构示意图，所述文件操作单元903可以包括：

第二提取子单元935，用于提取所述文件操作信息中所述待处理文件对应的至少一个文件块的存储地址。

其中，所述文件操作信息包括待读取文件对应的至少一个文件块的存储地址，所述存储地址即为所述待读取文件中每个待读取文件块的存储地址。

需要说明的是，所述第二提取子单元935可以为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中由元数据服务器实现提取动作。

文件块读取子单元936，用于在每个所述存储地址对应的存储服务器中，分别读取与每个所述存储地址相对应的目标文件块。

需要说明的是，所述文件块读取子单元936可以为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中元数据服务器实现对待读取文件的读取操作。

文件块合并子单元937，用于将读取到的每个所述目标文件块进行合并，得到目标文件。

需要说明的是，所述文件块合并子单元937可以为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中元数据服务器实现对目标文件块的合并操作。

由上述具体实现方案可知，本申请提供的一种分布式文件处理装置实施例八，通过接收包含有待处理文件的文件标识的用户文件读取请求，并获取元数据服务器中与所述文件标识相对应的文件操作信息，如文件读取操作信息，进而，在每个所述存储地址对应的存储服务器中，分别读取与所述文件读取操作信息中每个所述存储地址相对应的目标文件块，之后，将读取到的每个所述目标文件块进行合并，得到目标文件，实现对文件的读取处理。相对于现有技术中由元数据服务器处理每个用户请求导致元数据服务器存在低延时甚至宕机的方案，本申请在能够实现文件处理的前提下，将请求接收及文件读取等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高了文件处理的效率。

其中，在上述实施例中，参考图13，为本申请实施例八中所述文件操作单元903的另一结构示意图，所述文件操作单元903还可以包括：

第二转换子单元938，用于在所述文件块读取子单元936分别读取与每个所述存储地址相对应的目标文件块之后，在所述文件块合并子单元937将读取到的每个所述目标文件块进行合并之前，分别对每个所述目标文件块进行解压和/或解密。

其中，所述第二转换子单元938可以为区别于所述元数据服务器的装置，如设置在客户端的装置等或设置于所述元数据服务器上的装置。

在实际应用中，所述文件处理请求包括文件删除请求，即为用户需要将待处理文件（待删除文件）由所述存储服务器中删除，此时所述文件删除请求中包括待删除文件的文件标识，如所述待删除文件的文件目录、文件名称和/或文件关键字等。对应的，所述信息获取单元902中获取到的文件操作信息，即为所述元数据服务器依据所述文件删除请求中的待删除文件的文件目录、文件名称等查询到的所述待删除文件中每个待删除文件块的存储地址等。

需要说明的是，在所述元数据服务器生成文件操作信息之后，所述元数据服务器将所述待删除文件对应的元数据由自身的元数据存储区域中删除。

其中，参考图14，为本申请提供的一种分布式文件处理装置实施例九中所述文件操作单元903的结构示意图，所述文件操作单元903可以包括：

第三提取子单元939，用于提取所述文件操作信息中所述待处理文件对应的至少一个文件块的目标地址。

其中，所述文件操作信息包括待删除文件对应的至少一个文件块的目标地址，所述目标地址即为所述删除文件中每个待删除文件块的目标地址。

需要说明的是，所述第三提取子单元939可以为由区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中由元数据服务器实现提取动作。

文件块删除子单元940，用于在每个所述目标地址对应的存储服务器中，分别删除与每个所述目标地址相对应的存储文件块。

需要说明的是，所述文件块删除子单元940可以为区别于所述元数据服务器的装置，如设置在客户端的装置等，代替现有技术中元数据服务器实现对待删除文件的删除操作。

由上述具体实现方案可知，本申请提供的一种分布式文件处理装置实施例九，通过接收包含有待处理文件的文件标识的用户文件删除请求，并获取元数据服务器中与所述文件标识相对应的文件操作信息，如文件删除操作信息，进而，在所述文件操作信息中每个所述目标地址对应的存储服务器中，分别删除与每个所述目标地址相对应的存储文件块，实现对文件的删除处理。相对于现有技术中由元数据服务器处理每个用户请求导致元数据服务器存在低延时甚至宕机的方案，本申请在能够实现文件处理的前提下，将请求接收及文件删除等的处理任务从元数据服务器的工作任务中分离，减少元数据服务器的工作量，从而避免元数据服务器的低延时及宕机的情况发生，提高了文件处理的效率。

参考图15，为本申请提供的一种分布式文件处理装置实施例十的结构示意图，所述装置还可以包括：

状态监测单元904，用于监测所述元数据服务器及存储服务器的当前工作状态。

其中，所述当前工作状态信息包括元数据服务器及存储服务器中每个服务器的CPU使用率、内存使用率、磁盘使用率及各个服务进程等的任意一项或任意多项组合。

状态报警单元905，用于判断所述当前工作状态是否超出预设阀值范围，如果是，生成表明系统发生异常的报警信息。

其中，所述预设阀值范围可以由用户根据需求进行设置。

需要说明的是，所述当前工作状态中的每一项如CPU使用率或磁盘使用率等均有一个预设阀值范围与其相对应。

而所述报警信息可以表明所述当前工作状态信息中每一项的报警状态信息。

需要说明的是，所述报警信息可以以邮件或短消息的形式提示给用户。

参考图16，为本申请提供的一种文件处理系统实施例十二的系统架构图，其中，所述系统可以包括元数据服务器1601、至少一个存储服务器1602及上述装置实施例中任意一项所述的分布式文件处理装置1603。

其中，所述分布式文件处理装置1603，用于接收用户的文件处理请求，所述文件处理请求包括待处理文件的文件标识，获取元数据服务器中与所述文件标识相对应的文件操作信息，对所述待处理文件执行与所述文件操作信息相对应的操作动作。

其中，所述分布式文件处理装置1603可以将除了状态监控的功能单元之外的功能单元集成于图16中所示的客户端中，将状态监控的功能单元集成于监控服务器中。

需要说明的是，集成有所述分布式文件处理装置1603的客户端同存储服务器1602进行文件数据的交互，包括文件数据的读写、对象属性的改变等；同元数据服务器1601进行元数据的交互，包括目录管理、命名空间管理等。客户端在需要访问文件系统的文件数据时，先访问元数据服务器1601，获取文件相关的元数据信息，然后就直接和相关的存储服务器1602通信，取得文件的实际数据。客户端专注于用户和应用程序的请求。存储服务器端1602的数据备份和存储配置以及存储服务器1602扩充等操作不会影响到客户端。

而所述元数据服务器1601可以看做一个中心服务器，负责管理文件系统的命名空间和客户端对文件的访问。元数据服务器1601存储整个文件系统的元数据。任何对文件元数据产生修改的操作，元数据服务器1601都会记录在事务日志中。元数据服务器1601在内存中保存着整个文件系统名字空间和文件的映像。

其中，所述元数据服务器1601采用Active-Standby模式，存储服务器1602同时向Active元数据服务器1601和Standby元数据服务器1601发送心跳信息。当Active元数据服务器1601发生故障后，将Standby元数据服务器1601切换为Active元数据服务器1601。由于Standby元数据服务器1601内存中保存了所有元数据的最新信息，因此可直接对外提供服务，大大缩短了切换时间。

所述存储服务器1602在集群中有多个，一般是一个节点存在一个，负责管理其自身节点上它们附带的存储。存储服务器1602在元数据服务器1601的指挥下进行块的创建、删除和复制。元数据服务器1601负责保管和管理所有的文件系统的元数据，因而客户端在请求元数据服务器得到文件的位置后就不需要通过元数据服务器参与而直接从存储服务器进行。

其中，所述分布式文件处理装置1603在进行文件写入时，还用于在得到至少一个待写入文件块之后，在所述将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中之前，分别对每个所述待写入文件块进行加密和/或压缩。

如图17中所示，所述分布式文件处理装置1603通过Translators模块中的每个Translator子模块实现对每个请求的操作响应。

其中，所述Translators模块是文件系统的一种强大文件系统功能扩展机制，这种良好定义的接口可以高效简便地扩展文件系统的功能。服务端与客户端模块接口是兼容的，同一个Translator子模块可同时在两边加载，即所述分布式文件处理装置1603中进行加密和/或压缩的Translator子模块可以设置在客户端也可以设置在元数据服务器中。每个Translator子模块都是SO动态库，运行时根据配置动态加载。每个子模块实现特定基本功能，例如文件加密，压缩等。文件中所有的功能都是通过Translator实现的，基本简单的模块可以通过堆栈式的组合来实现复杂的功能。

另外，所述分布式文件处理装置1603还用于监测所述元数据服务器1601及存储服务器1602的当前工作状态，判断所述当前工作状态是否超出预设阀值范围，如果是，生成表明系统发生异常的报警信息。

其中，所述分布式文件处理装置1603中进行监测及报警信息生成的单元作为独立的监控模块，对存储服务器和元数据服务器进行实时监控。监控模块所在服务器可以对文件系统中各个服务器的CPU，内存，硬盘进行监控，管理员只要设置好相关阀值便可实现自动化监控管理。系统一旦发现异常情况就会触发警报机制，发送邮件通知管理员。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种文件处理方法、装置及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种分布式文件处理方法，其特征在于，包括：

接收用户的文件处理请求，所述文件处理请求包括待处理文件的文件标识；

获取元数据服务器中与所述文件标识相对应的文件操作信息；

对所述待处理文件执行与所述文件操作信息相对应的操作动作。

2.根据权利要求1所述的方法，其特征在于，所述文件处理请求包括文件写入请求，其中：

所述对所述待处理文件执行与所述文件操作信息相对应的操作动作，包括：

提取所述文件操作信息中的文件分块规则及所述待处理文件被分块写入的写入地址；

依据所述文件分块规则，将所述待处理文件进行文件块划分，得到至少一个待写入文件块；

将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中。

3.根据权利要求2所述的方法，其特征在于，在所述得到至少一个待写入文件块之后，在所述将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中之前，所述方法还包括：

分别对每个所述待写入文件块进行加密和/或压缩。

4.根据权利要求1所述的方法，其特征在于，所述文件处理请求包括文件读取请求，其中：

所述对所述待处理文件执行与所述文件操作信息相对应的操作动作，包括：

提取所述文件操作信息中所述待处理文件对应的至少一个文件块的存储地址；

在每个所述存储地址对应的存储服务器中，分别读取与每个所述存储地址相对应的目标文件块；

将读取到的每个所述目标文件块进行合并，得到目标文件。

5.根据权利要求4所述的方法，其特征在于，在所述分别读取与每个所述存储地址相对应的目标文件块之后，在所述将读取到的每个所述文件块进行合并之前，所述方法还包括：

分别对每个所述目标文件块进行解压和/或解密。

6.根据权利要求1所述的方法，其特征在于，所述文件处理请求包括文件删除请求，其中：

所述对是待处理文件执行与所述文件操作信息相对应的操作动作，包括：

提取所述文件操作信息中所述待处理文件对应的至少一个文件块的目标地址；

在每个所述目标地址对应的存储服务器中，分别删除与每个所述目标地址相对应的存储文件块。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述方法还包括：

监测所述元数据服务器及存储服务器的当前工作状态；

判断所述当前工作状态是否超出预设阀值范围，如果是，生成表明系统发生异常的报警信息。

8.一种分布式文件处理装置，其特征在于，包括：

请求接收单元，用于接收用户的文件处理请求，所述文件处理请求包括待处理文件的文件标识；

信息获取单元，用于获取元数据服务器中与所述文件标识相对应的文件操作信息；

文件操作单元，用于对所述待处理文件执行与所述文件操作信息相对应的操作动作。

9.根据权利要求8所述的装置，其特征在于，所述文件处理请求包括文件写入请求，其中，所述文件操作单元包括：

第一提取子单元，用于提取所述文件操作信息中的文件分块规则及所述待处理文件被分块写入的写入地址；

文件块划分子单元，用于依据所述文件分块规则，将所述待处理文件进行文件块划分，得到至少一个待写入文件块；

文件块写入子单元，用于将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中。

10.根据权利要求9所述的装置，其特征在于，所述文件操作单元还包括：

第一转换子单元，用于在所述文件块划分子单元得到至少一个待写入文件块之后，在所述文件块写入子单元将每个所述待写入文件块按照其各自对应的写入地址写入至对应的存储服务器中之前，分别对每个所述待写入文件块进行加密和/或压缩。

11.根据权利要求8所述的装置，其特征在于，所述文件处理请求包括文件读取请求，其中，所述文件操作单元包括：

第二提取子单元，用于提取所述文件操作信息中所述待处理文件对应的至少一个文件块的存储地址；

文件块读取子单元，用于在每个所述存储地址对应的存储服务器中，分别读取与每个所述存储地址相对应的目标文件块；

文件块合并子单元，用于将读取到的每个所述目标文件块进行合并，得到目标文件。

12.根据权利要求11所述的装置，其特征在于，所述文件操作单元还包括：

第二转换子单元，用于在所述文件块读取子单元分别读取与每个所述存储地址相对应的目标文件块之后，在所述文件块合并子单元将读取到的每个所述目标文件块进行合并之前，分别对每个所述目标文件块进行解压和/或解密。

13.根据权利要求8所述的装置，其特征在于，所述文件处理请求包括文件删除请求，其中，所述文件操作单元包括：

第三提取子单元，用于提取所述文件操作信息中所述待处理文件对应的至少一个文件块的目标地址；

文件块删除子单元，用于在每个所述目标地址对应的存储服务器中，分别删除与每个所述目标地址相对应的存储文件块。

14.根据权利要求8至13中任意一项所述的装置，其特征在于，还包括：

状态监测单元，用于监测所述元数据服务器及存储服务器的当前工作状态；

状态报警单元，用于判断所述当前工作状态是否超出预设阀值范围，如果是，生成表明系统发生异常的报警信息。

15.一种分布式文件处理系统，其特征在于，包括元数据服务器、至少一个存储服务器、及上述权利要求8至14中任意一项所述的分布式文件处理装置。

Images