CN117331905A - 一种分布式文件系统的信息处理方法、读写方法及设备 - Google Patents

Abstract

本发明涉及分布式文件系统技术领域，公开了一种分布式文件系统的信息处理方法、读写方法及设备。名称节点可以根据客户端的元数据请求，确定出待操作文件的文件类型以及第一块池标识，确定与待操作文件的文件类型对应的目标读写方式，即与待操作文件的文件类型对应的较高效率的读写方式，之后构建包括有目标读写方式的块池信息，并返回给客户端，以使客户端根据块池信息中的目标读写方式和第一块池标识执行读写操作，有效保障与待操作文件的文件类型对应的业务场景的读写效率。本发明对于不同的文件类型即不同的业务场景，均可以确定出相应的读写方式并根据确定出的读写方式来执行读写操作，可以有效保障不同业务场景中的读写效率。

Description

一种分布式文件系统的信息处理方法、读写方法及设备

技术领域

本发明涉及分布式文件系统技术领域，具体涉及一种分布式文件系统的信息处理方法、读写方法及设备。

背景技术

分布式文件系统中，名称节点(NameNode，NN)可以提供元数据服务，数据节点(DataNode，DN)可以为客户端提供数据的读写服务。

其中，客户端在进行文件读写操作时，需先行向NN发送元数据请求，获取NN返回的块池信息，之后客户端可以根据块池信息与DN进行交互，由DN实现文件读写操作。需要说明的是，在不同的业务场景中，读写方式的选择会影响读写效率，比如，对于大文件或涉及随机访问的业务场景，随机读和跳读可能更为高效。

但是，现有技术在不同的业务场景中采用的是同一种读写方式进行读写操作，无法有效保障读写效率。

发明内容

有鉴于此，本发明提供了一种分布式文件系统的信息处理方法、读写方法及设备，以解决在不同的业务场景中采用的是同一种读写方式进行读写操作，无法有效保障读写效率的问题。

第一方面，本发明提供了一种分布式文件系统的信息处理方法，所述方法包括：

名称节点根据客户端发送的元数据请求，获取待操作文件的文件标识；所述元数据请求中包括所述文件标识；

所述名称节点根据所述文件标识，确定待操作文件的文件类型以及第一块池标识；其中，所述第一块池标识用于标识存储有所述待操作文件的第一块池；

所述名称节点从目标对应关系中确定出与所述待操作文件的文件类型对应的目标读写方式；其中，所述目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系；

所述名称节点构建包含所述目标读写方式和所述第一块池标识的块池信息；

所述名称节点将所述块池信息返回至所述客户端，以使所述客户端：解析所述块池信息得到所述第一目标读写方式和所述第一块池标识，根据所述第一块池标识确定所述第一块池，并在所述第一块池中根据所述目标读写方式执行读写操作。

在一种可选的实施方式中，所述名称节点从目标对应关系中确定出与所述待操作文件的文件类型对应的目标读写方式，包括：

所述名称节点从所述目标对应关系的所述至少两个文件类型中，确定出与所述待操作文件的文件类型匹配的文件类型并作为目标文件类型；

所述名称节点从所述目标对应关系的所述至少两个读写方式中，确定出与所述目标文件类型对应的读写方式并作为所述目标读写方式。

在一种可选的实施方式中，所述元数据请求包括文件读取相关的第一元数据请求以及文件写入相关的第二元数据请求；

所述目标对应关系包括第一对应关系和第二对应关系，所述目标对应关系中的所述文件类型包括第一文件类型和第二文件类型，所述目标对应关系中的所述读写方式包括读取方式和写入方式；

其中，所述第一对应关系为至少两个第一文件类型与至少两个读取方式之间的一一对应关系，所述第二对应关系为至少两个第二文件类型与至少两个写入方式之间的一一对应关系；

其中，当所述元数据请求为所述第一元数据请求时，所述目标对应关系为所述第一对应关系，所述目标对应关系的所述至少两个文件类型为所述第一对应关系的所述至少两个第一文件类型，所述目标文件类型为与所述待操作文件的文件类型匹配的所述第一文件类型，所述目标对应关系的所述至少两个读写方式为所述第一对应关系的所述至少两个读取方式，所述目标读写方式为与所述目标文件类型对应的所述读取方式；

其中，当所述元数据请求为所述第二元数据请求时，所述目标对应关系为所述第二对应关系，所述目标对应关系的所述至少两个文件类型为所述第二对应关系的所述至少两个第二文件类型，所述目标文件类型为与所述待操作文件的文件类型匹配的所述第二文件类型，所述目标对应关系的所述至少两个读写方式为所述第二对应关系的所述至少两个写入方式，所述目标读写方式为与所述目标文件类型对应的所述写入方式。

在一种可选的实施方式中，在所述名称节点构建包含所述目标读写方式和所述第一块池标识的块池信息之前，所述方法还包括：

所述名称节点通过远程调用协议与所述客户端交互，并确定用户信息；

所述名称节点构建包含所述目标读写方式和所述第一块池标识的块池信息，包括：

所述名称节点构建包含所述目标读写方式、所述第一块池标识和所述用户信息的块池信息。

在一种可选的实施方式中，在所述名称节点构建包含所述目标读写方式、所述第一块池标识和所述用户信息的块池信息之前，所述方法还包括：

所述名称节点利用所述文件标识，确定基础块池标识符；

所述名称节点获取块池信息结构的版本标识；

所述名称节点构建包含所述目标读写方式、所述第一块池标识和所述用户信息的块池信息，包括：

所述名称节点构建包含所述目标读写方式、所述第一块池标识、所述用户信息、所述基础块池标识符和所述版本标识的块池信息。

在一种可选的实施方式中，当所述文件标识为待操作文件的文件路径时，所述文件路径中包括待操作文件的文件名，所述名称节点根据所述文件标识，确定待操作文件的文件类型，包括：

所述名称节点从所述文件路径中获取所述待操作文件的文件名；

所述名称节点根据所述待操作文件的文件名确定所述待操作文件的文件类型。

第二方面，本发明提供了一种分布式文件系统的读写方法，所述方法包括：

客户端向名称节点发送元数据请求；所述元数据请求中包括待操作文件的文件标识；

所述客户端接收所述名称节点返回的块池信息；其中，所述块池信息为所述名称节点构建，所述块池信息中包括目标读写方式和第一块池标识，所述目标读写方式为所述名称节点从目标对应关系中确定出的与待操作文件的文件类型对应的读写方式，所述第一块池标识用于标识存储有所述待操作文件的第一块池，所述待操作文件的文件类型以及所述第一块池标识为所述名称节点在根据所述元数据请求获取所述文件标识后根据所述文件标识确定；其中，所述目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系；

所述客户端解析所述块池信息得到所述第一目标读写方式和所述第一块池标识；

所述客户端根据所述第一块池标识确定所述第一块池，并在所述第一块池中根据所述目标读写方式执行读写操作。

第三方面，本发明提供了一种分布式文件系统中的信息处理装置，所述装置包括：

第一获取模块，用于根据客户端发送的元数据请求，获取待操作文件的文件标识；所述元数据请求中包括所述文件标识；

第一确定模块，用于根据所述文件标识，确定待操作文件的文件类型以及第一块池标识；其中，所述第一块池标识用于标识存储有所述待操作文件的第一块池；

第二确定模块，用于从目标对应关系中确定出与所述待操作文件的文件类型对应的目标读写方式；其中，所述目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系；

信息构建模块，用于构建包含所述目标读写方式和所述第一块池标识的块池信息；

信息返回模块，用于将所述块池信息返回至所述客户端，以使所述客户端：解析所述块池信息得到所述第一目标读写方式和所述第一块池标识，根据所述第一块池标识确定所述第一块池，并在所述第一块池中根据所述目标读写方式执行读写操作。

第四方面，本发明提供了一种分布式文件系统中的读写装置，所述装置包括：

请求发送模块，用于向名称节点发送元数据请求；所述元数据请求中包括待操作文件的文件标识；

信息接收模块，用于接收所述名称节点返回的块池信息；其中，所述块池信息为所述名称节点构建，所述块池信息中包括目标读写方式和第一块池标识，所述目标读写方式为所述名称节点从目标对应关系中确定出的与待操作文件的文件类型对应的读写方式，所述第一块池标识用于标识存储有所述待操作文件的第一块池，所述待操作文件的文件类型以及所述第一块池标识为所述名称节点在根据所述元数据请求获取所述文件标识后根据所述文件标识确定；其中，所述目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系；

信息解析模块，用于解析所述块池信息得到所述第一目标读写方式和所述第一块池标识；

块池确定模块，用于根据所述第一块池标识确定所述第一块池；

读写操作模块，用于在所述第一块池中根据所述目标读写方式执行读写操作。

第五方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的分布式文件系统的信息处理方法，或者执行上述第二方面或其对应的任一实施方式的分布式文件系统的读写方法。

第六方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的分布式文件系统的信息处理方法，或者执行上述第二方面或其对应的任一实施方式的分布式文件系统的读写方法。

本发明提出的分布式文件系统的信息处理方法、读写方法及设备，名称节点可以根据客户端的元数据请求，确定出待操作文件的文件类型以及第一块池标识，从目标对应关系中确定出与待操作文件的文件类型对应的目标读写方式，即与待操作文件的文件类型对应的较高效率的读写方式，之后构建包括有目标读写方式的块池信息，并返回给客户端，以使客户端解析块池信息并得到目标读写方式和第一块池标识，根据第一块池标识确定第一块池并在第一块池中根据目标读写方式执行读写操作，有效保障与待操作文件的文件类型对应的业务场景的读写效率。本实施例对于不同的文件类型即不同的业务场景，均可以确定出相应的读写方式并根据确定出的读写方式来执行读写操作，可以有效保障不同业务场景中的读写效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种分布式文件系统的信息处理方法的流程示意图。

图2是根据本发明实施例的一种块池信息的结构框图。

图3是根据本发明实施例的另一种分布式文件系统的信息处理方法的流程示意图。

图4是根据本发明实施例的一种分布式文件系统的读写方法的流程示意图。

图5是根据本发明实施例的一种分布式文件系统中信息处理装置的结构框图。

图6是根据本发明实施例的一种分布式文件系统中读写装置的结构框图。

图7是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种分布式文件系统的信息处理方法，应用于名称节点，可以有效保障不同业务场景中的读写效率。

如图1所示，本发明提出第一种分布式文件系统的信息处理方法，该方法包括以下步骤：

S101、名称节点根据客户端发送的元数据请求，获取待操作文件的文件标识。元数据请求中包括文件标识。

其中，元数据请求可以为与文件读取相关的元数据请求，也可以为与文件写入相关的元数据请求。

其中，待操作文件即为客户端想要读取或者写入的文件。

其中，待操作文件的文件标识可以唯一标识待操作文件。

可选的，待操作文件的文件标识可以为待操作文件的文件名。

可选的，待操作文件的文件标识可以为待操作文件的文件路径。该文件路径中可以包括目录信息和待操作文件的文件名。

需要说明的是，客户端在要对文件的数据块进行读取或写入操作时，需先行向名称节点发送元数据请求。

S102、名称节点根据文件标识，确定待操作文件的文件类型以及第一块池标识。其中，第一块池标识用于标识存储有待操作文件的第一块池。

具体的，名称节点可以根据待操作文件的文件标识，确定待操作文件的文件类型以及第一块池标识。

其中，第一块池标识用于标识第一块池，即第一块池标识即为第一块池的块池ID。第一块池为分布式文件系统中存储有待操作文件的某个块池，即第一块池为待操作文件的数据块所属的块池。

可以理解的是，不同类型的文件其命名规则不同，名称节点可以根据待操作文件的文件名，确定其文件类型。

可选的，当待操作文件的文件标识为其文件名时，名称节点可以直接根据待操作文件的文件标识，来确定待操作文件的文件类型。

可选的，在本实施例提出的其他分布式文件系统的信息处理方法中，当待操作文件的文件标识为文件名时，名称节点可以在自身存储的元数据中查找是否包括该文件名，若是，则可以确定该文件名为有效文件名并可以执行步骤S103。若否，则确定该文件名为无效文件名并停止执行后续步骤。

可选的，当文件标识为待操作文件的文件路径时，文件路径中包括待操作文件的文件名，此时步骤S102可以包括：

名称节点从文件路径中获取待操作文件的文件名。

名称节点根据待操作文件的文件名确定待操作文件的文件类型。

可选的，名称节点在从文件路径中获取待操作文件的文件名之前，还可以包括：

名称节点可以在自身存储的元数据中查找是否存在待操作文件的文件路径，若是，则可以确定该文件路径为有效路径，从该文件路径中获取出待操作文件的文件名，并执行步骤S103。若否，则可以确定该文件路径为无效路径，并停止执行后续步骤。

S103、名称节点从目标对应关系中确定出与待操作文件的文件类型对应的目标读写方式。其中，目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系。

在实际应用中，一个类型的文件可以对应一种业务场景，即一个文件类型可以对应一种业务场景。

具体的，本实施例可以预先确定出不同文件类型所对应的高效读写方式，即不同业务场景所对应的高效读写方式。并在不同文件类型与其高效读写方式之间构建对应关系，使得后续可以根据文件类型来确定出相应的高效读写方式。

具体的，名称节点可以先行获取目标对应关系，之后从目标对应关系中确定出与待操作文件的文件类型对应的读写方式即目标读写方式，即确定出与待操作文件的文件类型对应的高效读写方式。

S104、名称节点构建包含目标读写方式和第一块池标识的块池信息。

可选的，名称节点可以根据目标读写方式创建包括目标读写方式和第一块池标识的块池信息。

需要说明的是，在相关技术中，块池ID中可以包括集群ID和块池名称，集群ID和块池名称用于唯一标识一个块池，即待操作文件的数据块所属的块池。在相关技术中，名称节点在接收到客户端发送的元数据请求时，可以确定块池ID并返回给客户端。而本实施例可以在确定第一块池ID的情况下，还确定目标读写方式，基于第一块池ID和目标读写方式构建出块池信息并返回给客户端，以使客户端根据块池信息执行读写操作。

S105、名称节点将块池信息返回至客户端，以使客户端：解析块池信息得到第一目标读写方式和第一块池标识，根据第一块池标识确定第一块池，并在第一块池中根据目标读写方式执行读写操作。

具体的，名称节点在构建出块池信息后，可以将块池信息返回至客户端。

可选的，客户端可以通过数据节点来执行读写操作。

具体的，客户端可以在接收到块池信息时，生成包括块池信息的文件读写请求并发送至数据节点，使得数据节点可以从文件读写请求中获取块池信息，解析块池信息并获取块池信息中的目标读写方式和第一块池标识，根据第一块池标识确定第一块池，在第一块池中按照目标读写方式执行相应的读写操作。比如，当目标读写方式为顺序读取时，数据节点可以按照顺序读取执行读取操作。再比如，当目标读写方式为随机写入时，数据节点可以按照随机写入执行写入操作。

具体的，名称节点在接收到客户端的元数据请求时，还可以根据元数据请求中的文件标识，查找到相匹配的元数据信息，从元数据信息中确定出集群ID、块池名称、数据块ID以及存储有相关数据块的数据节点的位置信息。并将集群ID、数据块ID、目标读写方式、第一块池标识和数据节点的位置信息构建出块池信息并返回给客户端。

可选的，名称节点可以在构建出包括有集群ID、第一块池标识和目标读写方式的块池信息后，再构建包含该块池信息以及块相关信息的block信息即块信息，其中，该块相关信息可以包括块的高度和块的哈希值等信息。之后，名称节点可以通过向客户端返回该块信息，来向客户端返回该块池信息。此时，客户端在接收到该块信息时，可以从该块信息中获取块池信息。

具体的，客户端根据数据节点的位置信息确定出要交互的目标数据节点，并根据集群ID、第一块池标识和数据块ID确定出要操作的第一块池和目标数据块，向目标数据节点发送文件读写请求，以使目标数据节点根据目标读写方式对第一块池中的目标数据块执行读写操作。

需要说明的是，名称节点可以根据客户端的元数据请求，确定出待操作文件的文件类型，从目标对应关系中确定出与待操作文件的文件类型对应的目标读写方式，即与待操作文件的文件类型对应的较高效率的读写方式，之后构建包括有目标读写方式和第一块池标识的块池信息，并返回给客户端，以使客户端根据块池信息中的目标读写方式和第一块池标识执行读写操作，有效保障与待操作文件的文件类型对应的业务场景的读写效率。

可以理解的是，本实施例对于不同的文件类型即不同的业务场景，均可以确定出相应的读写方式并根据确定出的读写方式来执行读写操作，可以有效保障不同业务场景中的读写效率，提升分布式文件系统对不同业务场景的兼容性，提升在不同业务场景中的可用性以及性能稳定性。

本实施例提出的分布式文件系统的信息处理方法，名称节点可以根据客户端的元数据请求，确定出待操作文件的文件类型以及第一块池标识，从目标对应关系中确定出与待操作文件的文件类型对应的目标读写方式，即与待操作文件的文件类型对应的较高效率的读写方式，之后构建包括有目标读写方式和第一块池标识的块池信息，并返回给客户端，以使客户端根据块池信息中的第一块池标识和目标读写方式执行读写操作，有效保障与待操作文件的文件类型对应的业务场景的读写效率。本实施例对于不同的文件类型即不同的业务场景，均可以确定出相应的读写方式并根据确定出的读写方式来执行读写操作，可以有效保障不同业务场景中的读写效率。

基于图1，本实施例提出第二种分布式文件系统的信息处理方法。在该方法中，步骤S103可以包括：

名称节点从目标对应关系的至少两个文件类型中，确定出与待操作文件的文件类型匹配的文件类型并作为目标文件类型。

名称节点从目标对应关系的至少两个读写方式中，确定出与目标文件类型对应的读写方式并作为目标读写方式。

具体的，名称节点可以先行从目标对应关系所包含的上述至少两个文件类型中，确定出与待操作文件的文件类型相匹配的文件类型，并将确定出的文件类型作为目标文件类型。

具体的，名称节点可以在确定出目标文件类型后，从目标对应关系所包含的上述至少两个读写方式中，确定出与目标文件类型对应的读写方式，并将确定出的读写方式作为目标读写方式。

可选的，元数据请求包括文件读取相关的第一元数据请求以及文件写入相关的第二元数据请求。

目标对应关系包括第一对应关系和第二对应关系，目标对应关系中的文件类型包括第一文件类型和第二文件类型，目标对应关系中的读写方式包括读取方式和写入方式。

其中，第一对应关系为至少两个第一文件类型与至少两个读取方式之间的一一对应关系，第二对应关系为至少两个第二文件类型与至少两个写入方式之间的一一对应关系。

其中，当元数据请求为第一元数据请求时，目标对应关系为第一对应关系，目标对应关系的至少两个文件类型为第一对应关系的至少两个第一文件类型，目标文件类型为与待操作文件的文件类型匹配的第一文件类型，目标对应关系的至少两个读写方式为第一对应关系的至少两个读取方式，目标读写方式为与目标文件类型对应的读取方式。

其中，当元数据请求为第二元数据请求时，目标对应关系为第二对应关系，目标对应关系的至少两个文件类型为第二对应关系的至少两个第二文件类型，目标文件类型为与待操作文件的文件类型匹配的第二文件类型，目标对应关系的至少两个读写方式为第二对应关系的至少两个写入方式，目标读写方式为与目标文件类型对应的写入方式。

具体的，当客户端发送的元数据请求为文件读取相关的第一元数据请求时，目标对应关系可以为上述第一对应关系。此时，名称节点可以在接收到第一元数据请求时，从第一元数据请求中获取待操作文件的文件标识，根据该文件标识确定待操作文件的文件类型，获取第一对应关系，在第一对应关系的上述至少两个第一文件类型中，查找出与待操作文件的文件类型匹配的第一文件类型并作为目标文件类型，在第一对应关系的上述至少两个读取方式中，查找出与目标文件类型对应的读取方式并作为目标读写方式。

具体的，当客户端发送的元数据请求为文件写入相关的第二元数据请求时，目标对应关系可以为上述第二对应关系。此时，名称节点可以在接收到第二元数据请求时，从第二元数据请求中获取待操作文件的文件标识，根据该文件标识确定待操作文件的文件类型，获取第二对应关系，在第二对应关系的上述至少两个第二文件类型中，查找出与待操作文件的文件类型匹配的第二文件类型并作为目标文件类型，在第一对应关系的上述至少两个写入方式中，查找出与目标文件类型对应的读取方式并作为目标读写方式。

其中，文件写入相关的第二元数据请求可以为写入新文件相关的元数据请求，也可以为追加写入相关的元数据请求。

本实施例提出的分布式文件系统的信息处理方法，可以在不同的文件读取或写入相关业务场景中，根据文件标识确定相应的高效读取或写入方式，并作为目标读写方式，根据目标读写方式执行读写操作，可以有效保障在不同的文件读取或写入相关业务场景中的读写效率。

基于图1，本实施例提出第三种分布式文件系统的信息处理方法，该方法在上述步骤S104之前，还可以包括：

名称节点通过远程调用协议与客户端交互，并确定用户信息。

此时，步骤S104可以包括：

名称节点构建包含目标读写方式、第一块池标识和用户信息的块池信息。

具体的，名称节点可以在接收到客户端发送的元数据请求时，通过远程过程调用(Remote Procedure Call，RPC)协议与客户端进行交互，确定客户端发送元数据请求所使用的用户信息。

其中，用户信息可以为个人用户信息，也可以为用户组信息。

具体的，名称节点可以在确定用户信息后，根据目标读写方式以及用户创建块池信息。此时，块池信息中包括目标读写方式、第一块池标识和块池信息。

具体的，名称节点可以将块池信息发送至客户端，客户端可以通过数据节点，根据块池信息中的目标读写方式执行读写操作，以及根据块池信息中的用户信息进行性能统计、读写审计和服务质量(Quality of Service，QoS)管理等操作，统计各个用户或用户组的读写性能，进行Qos管理。

其中，本实施例在进行读写审计时，可以记录单次IO的操作用户信息，以便审计和问题排查。

具体的，数据节点可以根据不同的用户进行性能统计、读写审计和QoS管理等操作。

其中，数据节点在进行性能统计时，可以收集和记录与用户相关的性能指标，比如读写速度和响应时间，并将其存储在日志或监控系统中。数据节点可以根据用户的ID、IP地址或其他身份标识来区分不同的用户，以便单独统计其性能指标。

其中，数据节点在进行读写审计时，可以在读写操作执行时记录详细的日志以实现读写审计。该日志中可以包括用户ID、操作类型、时间戳和文件路径等信息，以便追踪和审计每个用户的读写行为，有效保障数据安全性和合规性。

其中，数据节点在进行QoS管理时，可以基于用户信息进行QoS管理，以提供不同的服务质量。数据节点可以为每个用户或用户组设置特定的带宽限制、数据传输速率和并发连接数等。通过该种限制和管理，可以确保资源公平分配，并为关键用户提供更高的优先级。

可选的，在本实施例提出的其他分布式文件系统的信息处理方法中，在上述构建包含目标读写方式、第一块池标识和用户信息的块池信息之前，还可以包括：

名称节点利用文件标识，确定基础块池标识符。

名称节点获取块池信息结构的版本标识。

需要说明的是，本实施例可以根据客户端发送的元数据请求确定用户信息，根据用户信息生成块池信息并返回至客户端，使得客户端可以通过数据节点，根据块池信息中的用户信息进行性能统计、读写审计和服务质量管理等操作，提升业务运行性能，提升分布式文件系统的可用性。

此时，上述名称节点构建包含目标读写方式、第一块池标识和用户信息的块池信息，包括：

名称节点构建包含目标读写方式、第一块池标识、用户信息、基础块池标识符和版本标识的块池信息。

其中，块池信息结构的版本标识可以用于标识块池信息的结构，当块池信息的结构发生变化时，该版本标识可以发生变化。

其中，基础块池标识符即为块池标识，可以用于唯一标识一个块池。

具体的，名称节点可以根据块池信息结构的版本标识、基础块池标识符、目标读写方式以及用户信息，构建块池信息。

如图2所示，块池信息中可以包括块池信息结构的版本标识、基础块池标识符、目标读写方式、第一块池标识以及用户信息。

具体的，客户端在接收到名称节点返回的块池信息时，可以通过数据节点，根据块池信息中的不同信息执行相应的操作，提升分布式文件系统的功能多样性以及可用性。

可以理解的是，本实施例通过构建块池信息，可以将名称节点识别到的相关信息传递到客户端，进而传递到数据节点，使得数据节点可以根据相关信息提升读写效率以及实现相关功能。

本实施例提出的分布式文件系统的信息处理方法，可以提升分布式文件系统的功能多样性以及可用性。

基于上述方法，如图3所示，本实施例还提出另一种分布式文件系统的信息处理方法。

参照图3，客户端可以向名称节点发送读写相关的元数据请求。

名称节点可以根据元数据请求识别目标读写方式、用户信息和块池相关信息(如第一块池标识)，以及识别块相关信息。之后，名称节点可以构建包含目标读写方式、用户信息和该块池相关信息的块池信息，并可以构建包含该块池信息和该块相关信息的block信息即块信息，并将该block信息返回至客户端。

客户端生成包括block信息的读写请求并发送至数据节点，即携带block信息请求数据节点。

数据节点从读写请求中获取block信息，进行block信息处理以从block信息中获取块池信息，进行块池信息处理，识别目标读写方式，即解析块池信息，从块池信息中获取目标读写方式、用户信息和其他相关信息，根据目标读写方式执行读写操作，根据用户信息进行性能统计、读写审计和服务质量管理等操作，根据其他相关信息执行相关操作，并通过数据流向客户端返回各种操作的相关执行结果信息，比如执行结果是否成功，再比如统计信息。

需要说明的是，本实施例分布式文件系统可以在对接大数据平台，面对复杂多变的业务场景中具有兼容性、性能稳定性及功能多样性等优势。

如图4所示，本实施例提出一种分布式文件系统的读写方法，该方法可以包括：

S401、客户端向名称节点发送元数据请求。元数据请求中包括待操作文件的文件标识。

S402、客户端接收名称节点返回的块池信息。其中，块池信息为名称节点构建，块池信息中包括目标读写方式和第一块池标识，目标读写方式为名称节点从目标对应关系中确定出的与待操作文件的文件类型对应的读写方式，第一块池标识用于标识存储有待操作文件的第一块池，待操作文件的文件类型以及第一块池标识为名称节点在根据元数据请求获取文件标识后根据文件标识确定。其中，目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系。

S403、客户端解析块池信息得到第一目标读写方式和第一块池标识。

S404、客户端根据第一块池标识确定第一块池。

S405、客户端在第一块池中根据目标读写方式执行读写操作。

具体的，客户端可以先行向名称节点发送元数据请求，元数据请求中包括待操作文件的文件标识。名称节点在接收到元数据请求时，可以从元数据请求中获取待操作文件的文件标识，根据该文件标识确定待操作文件的文件类型以及第一块池标识，从目标对应关系中确定出与该文件类型对应的目标读写方式。其中，目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系。

具体的，名称节点根据目标读写方式和第一块池标识创建块池信息，块池信息中包括目标读写方式和第一块池标识。名称节点将块池信息返回至客户端。

具体的，客户端在接收到块池信息后，可以向数据节点发送文件读写请求，文件读写请求中包括块池信息。数据节点可以在接收到客户端的文件读写请求时，解析文件读写请求，获取文件读写请求中的块池信息，并解析块池信息，获取块池信息中的目标读写方式和第一块池标识，根据目标读写方式和第一块池标识执行读写操作。

可以理解的是，名称节点在接收到客户端的元数据请求时，还可以根据元数据请求确定出集群ID、第一块池标识和数据块ID等信息并返回给客户端。客户端也可以在向数据节点发送文件读写请求时，一并发送这些信息，使得数据节点可以根据集群ID、第一块池标识和数据块ID确定待操作的数据块，并对该数据块执行读写操作。

本实施例提出的分布式文件系统的读写方法，对于不同的文件类型即不同的业务场景，均可以确定出相应的读写方式并根据确定出的读写方式来执行读写操作，可以有效保障不同业务场景中的读写效率，提升分布式文件系统对不同业务场景的兼容性，提升在不同业务场景中的可用性以及性能稳定性。

与图1所示方法相对应，如图5所示，本实施例提出一种分布式文件系统中的信息处理装置，装置包括：

第一获取模块501，用于根据客户端发送的元数据请求，获取待操作文件的文件标识。元数据请求中包括文件标识。

第一确定模块502，用于根据文件标识，确定待操作文件的文件类型以及第一块池标识。其中，第一块池标识用于标识存储有待操作文件的第一块池。

第二确定模块503，用于从目标对应关系中确定出与待操作文件的文件类型对应的目标读写方式。其中，目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系。

信息构建模块504，用于构建包含目标读写方式和第一块池标识的块池信息。

信息返回模块505，用于将块池信息返回至客户端，以使客户端：解析块池信息得到第一目标读写方式和第一块池标识，根据第一块池标识确定第一块池，并在第一块池中根据目标读写方式执行读写操作。

可选的，第二确定模块503还用于从目标对应关系的至少两个文件类型中，确定出与待操作文件的文件类型匹配的文件类型并确定为目标文件类型。

可选的，第二确定模块503还用于从目标对应关系的至少两个读写方式中，确定出与目标文件类型对应的读写方式并确定为目标读写方式。

可选的，元数据请求包括文件读取相关的第一元数据请求以及文件写入相关的第二元数据请求。

目标对应关系包括第一对应关系和第二对应关系，目标对应关系中的文件类型包括第一文件类型和第二文件类型，目标对应关系中的读写方式包括读取方式和写入方式。

其中，第一对应关系为至少两个第一文件类型与至少两个读取方式之间的一一对应关系，第二对应关系为至少两个第二文件类型与至少两个写入方式之间的一一对应关系。

其中，当元数据请求为第一元数据请求时，目标对应关系为第一对应关系，目标对应关系的至少两个文件类型为第一对应关系的至少两个第一文件类型，目标文件类型为与待操作文件的文件类型匹配的第一文件类型，目标对应关系的至少两个读写方式为第一对应关系的至少两个读取方式，目标读写方式为与目标文件类型对应的读取方式。

其中，当元数据请求为第二元数据请求时，目标对应关系为第二对应关系，目标对应关系的至少两个文件类型为第二对应关系的至少两个第二文件类型，目标文件类型为与待操作文件的文件类型匹配的第二文件类型，目标对应关系的至少两个读写方式为第二对应关系的至少两个写入方式，目标读写方式为与目标文件类型对应的写入方式。

可选的，上述装置还包括第三确定模块。

第三确定模块，用于在构建包含目标读写方式和第一块池标识的块池信息之前，通过远程调用协议与客户端交互，并确定用户信息。

信息构建模块504，还用于构建包含目标读写方式、第一块池标识和用户信息的块池信息。

可选的，上述装置还包括：第四确定模块和第三获取模块。

第四确定模块，用于在构建包含目标读写方式、第一块池标识和用户信息的块池信息之前，利用文件标识，确定基础块池标识符。

第三获取模块，用于获取块池信息结构的版本标识。

信息构建模块504，还用于构建包含目标读写方式、第一块池标识、用户信息、基础块池标识符和版本标识的块池信息。

可选的，当文件标识为待操作文件的文件路径时，文件路径中包括待操作文件的文件名。

第一确定模块502，还用于从文件路径中获取待操作文件的文件名，根据待操作文件的文件名确定待操作文件的文件类型。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例提出的分布式文件系统中的名称节点，对于不同的文件类型即不同的业务场景，均可以确定出相应的读写方式并根据确定出的读写方式来执行读写操作，可以有效保障不同业务场景中的读写效率。

与图4所示方法相对应，如图6所示，本实施例提出一种分布式文件系统中的读写装置，该装置包括：

请求发送模块601，用于向名称节点发送元数据请求。元数据请求中包括待操作文件的文件标识。

信息接收模块602，用于接收名称节点返回的块池信息。其中，块池信息为名称节点构建，块池信息中包括目标读写方式和第一块池标识，目标读写方式为名称节点从目标对应关系中确定出的与待操作文件的文件类型对应的读写方式，第一块池标识用于标识存储有待操作文件的第一块池，待操作文件的文件类型以及第一块池标识为名称节点在根据元数据请求获取文件标识后根据文件标识确定。其中，目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系。

信息解析模块603，用于解析块池信息得到第一目标读写方式和第一块池标识。

块池确定模块604，用于根据第一块池标识确定第一块池。

读写操作模块605，用于在第一块池中根据目标读写方式执行读写操作。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例提出的分布式文件系统中的读写装置，对于不同的文件类型即不同的业务场景，均可以确定出相应的读写方式并根据确定出的读写方式来执行读写操作，可以有效保障不同业务场景中的读写效率，提升分布式文件系统对不同业务场景的兼容性，提升在不同业务场景中的可用性以及性能稳定性。

本实施例中的信息处理装置或读写装置是以功能单元的形式来呈现，这里的单元是指ASIC(Application Specific Integrated Circuit，专用集成电路)电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

本发明实施例还提供一种计算机设备，具有上述图5所示的信息处理装置或图6所示的读写装置。

请参阅图7，图7是本发明可选实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种分布式文件系统的信息处理方法，其特征在于，所述方法包括：

名称节点根据客户端发送的元数据请求，获取待操作文件的文件标识；所述元数据请求中包括所述文件标识；

所述名称节点根据所述文件标识，确定待操作文件的文件类型以及第一块池标识；其中，所述第一块池标识用于标识存储有所述待操作文件的第一块池；

所述名称节点从目标对应关系中确定出与所述待操作文件的文件类型对应的目标读写方式；其中，所述目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系；

所述名称节点构建包含所述目标读写方式和所述第一块池标识的块池信息；

所述名称节点将所述块池信息返回至所述客户端，以使所述客户端：解析所述块池信息得到所述第一目标读写方式和所述第一块池标识，根据所述第一块池标识确定所述第一块池，并在所述第一块池中根据所述目标读写方式执行读写操作。

2.根据权利要求1所述的方法，其特征在于，所述名称节点从目标对应关系中确定出与所述待操作文件的文件类型对应的目标读写方式，包括：

所述名称节点从所述目标对应关系的所述至少两个文件类型中，确定出与所述待操作文件的文件类型匹配的文件类型并作为目标文件类型；

所述名称节点从所述目标对应关系的所述至少两个读写方式中，确定出与所述目标文件类型对应的读写方式并作为所述目标读写方式。

3.根据权利要求2所述的方法，其特征在于，所述元数据请求包括文件读取相关的第一元数据请求以及文件写入相关的第二元数据请求；

所述目标对应关系包括第一对应关系和第二对应关系，所述目标对应关系中的所述文件类型包括第一文件类型和第二文件类型，所述目标对应关系中的所述读写方式包括读取方式和写入方式；

其中，所述第一对应关系为至少两个第一文件类型与至少两个读取方式之间的一一对应关系，所述第二对应关系为至少两个第二文件类型与至少两个写入方式之间的一一对应关系；

其中，当所述元数据请求为所述第一元数据请求时，所述目标对应关系为所述第一对应关系，所述目标对应关系的所述至少两个文件类型为所述第一对应关系的所述至少两个第一文件类型，所述目标文件类型为与所述待操作文件的文件类型匹配的所述第一文件类型，所述目标对应关系的所述至少两个读写方式为所述第一对应关系的所述至少两个读取方式，所述目标读写方式为与所述目标文件类型对应的所述读取方式；

其中，当所述元数据请求为所述第二元数据请求时，所述目标对应关系为所述第二对应关系，所述目标对应关系的所述至少两个文件类型为所述第二对应关系的所述至少两个第二文件类型，所述目标文件类型为与所述待操作文件的文件类型匹配的所述第二文件类型，所述目标对应关系的所述至少两个读写方式为所述第二对应关系的所述至少两个写入方式，所述目标读写方式为与所述目标文件类型对应的所述写入方式。

4.根据权利要求1所述的方法，其特征在于，在所述名称节点构建包含所述目标读写方式和所述第一块池标识的块池信息之前，所述方法还包括：

所述名称节点通过远程调用协议与所述客户端交互，并确定用户信息；

所述名称节点构建包含所述目标读写方式和所述第一块池标识的块池信息，包括：

所述名称节点构建包含所述目标读写方式、所述第一块池标识和所述用户信息的块池信息。

5.根据权利要求4所述的方法，其特征在于，在所述名称节点构建包含所述目标读写方式、所述第一块池标识和所述用户信息的块池信息之前，所述方法还包括：

所述名称节点利用所述文件标识，确定基础块池标识符；

所述名称节点获取块池信息结构的版本标识；

所述名称节点构建包含所述目标读写方式、所述第一块池标识和所述用户信息的块池信息，包括：

所述名称节点构建包含所述目标读写方式、所述第一块池标识、所述用户信息、所述基础块池标识符和所述版本标识的块池信息。

6.根据权利要求1至5中任一项所述的方法，其特征在于，当所述文件标识为待操作文件的文件路径时，所述文件路径中包括待操作文件的文件名，所述名称节点根据所述文件标识，确定待操作文件的文件类型，包括：

所述名称节点从所述文件路径中获取所述待操作文件的文件名；

所述名称节点根据所述待操作文件的文件名确定所述待操作文件的文件类型。

7.一种分布式文件系统的读写方法，其特征在于，所述方法包括：

客户端向名称节点发送元数据请求；所述元数据请求中包括待操作文件的文件标识；

所述客户端接收所述名称节点返回的块池信息；其中，所述块池信息为所述名称节点构建，所述块池信息中包括目标读写方式和第一块池标识，所述目标读写方式为所述名称节点从目标对应关系中确定出的与待操作文件的文件类型对应的读写方式，所述第一块池标识用于标识存储有所述待操作文件的第一块池，所述待操作文件的文件类型以及所述第一块池标识为所述名称节点在根据所述元数据请求获取所述文件标识后根据所述文件标识确定；其中，所述目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系；

所述客户端解析所述块池信息得到所述第一目标读写方式和所述第一块池标识；

所述客户端根据所述第一块池标识确定所述第一块池，并在所述第一块池中根据所述目标读写方式执行读写操作。

8.一种分布式文件系统中的信息处理装置，其特征在于，所述装置包括：

第一获取模块，用于根据客户端发送的元数据请求，获取待操作文件的文件标识；所述元数据请求中包括所述文件标识；

第一确定模块，用于根据所述文件标识，确定待操作文件的文件类型以及第一块池标识；其中，所述第一块池标识用于标识存储有所述待操作文件的第一块池；

第二确定模块，用于从目标对应关系中确定出与所述待操作文件的文件类型对应的目标读写方式；其中，所述目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系；

信息构建模块，用于构建包含所述目标读写方式和所述第一块池标识的块池信息；

信息返回模块，用于将所述块池信息返回至所述客户端，以使所述客户端：解析所述块池信息得到所述第一目标读写方式和所述第一块池标识，根据所述第一块池标识确定所述第一块池，并在所述第一块池中根据所述目标读写方式执行读写操作。

9.一种分布式文件系统中的读写装置，其特征在于，所述装置包括：

请求发送模块，用于向名称节点发送元数据请求；所述元数据请求中包括待操作文件的文件标识；

信息接收模块，用于接收所述名称节点返回的块池信息；其中，所述块池信息为所述名称节点构建，所述块池信息中包括目标读写方式和第一块池标识，所述目标读写方式为所述名称节点从目标对应关系中确定出的与待操作文件的文件类型对应的读写方式，所述第一块池标识用于标识存储有所述待操作文件的第一块池，所述待操作文件的文件类型以及所述第一块池标识为所述名称节点在根据所述元数据请求获取所述文件标识后根据所述文件标识确定；其中，所述目标对应关系中包括至少两个文件类型和至少两个读写方式之间的一一对应关系；

信息解析模块，用于解析所述块池信息得到所述第一目标读写方式和所述第一块池标识；

块池确定模块，用于根据所述第一块池标识确定所述第一块池；

读写操作模块，用于在所述第一块池中根据所述目标读写方式执行读写操作。

10.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至6中任一项所述的分布式文件系统的信息处理方法，或执行权利要求7所述的分布式文件系统的信息处理方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的分布式文件系统的信息处理方法，或执行权利要求7所述的分布式文件系统的信息处理方法。