CN114840487A - 分布式文件系统的元数据管理方法和装置 - Google Patents

Abstract

说明书披露一种分布式文件系统的元数据管理方法和装置。应用于分布式文件系统，所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，其中，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成，所述方法包括：从文件路径中提取出各级目录的目录名称；按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

Description

分布式文件系统的元数据管理方法和装置

技术领域

本说明书涉及存储技术领域，尤其涉及一种分布式文件系统的元数据管理方法和装置。

背景技术

在传统的分布式文件系统中，元数据往往存储在中心节点，受中心节点磁盘容量等限制，这种元数据管理方式已无法适用于海量文件的应用场景。

发明内容

有鉴于此，本说明书提供一种分布式文件系统的元数据管理方法和装置。

具体地，本说明书是通过如下技术方案实现的：

一种分布式文件系统的元数据管理方法，应用于分布式文件系统，所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，其中，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成，所述方法包括：

从文件路径中提取出各级目录的目录名称；

按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；

基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；

基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

当本级目录是一级目录时，基于所述目录名称和预设字符生成本级目录的关键字。

可选的，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

基于预设的顺序拼接所述目录名称和上级目录元数据的索引节点编号，以生成本级目录的关键字。

可选的，所述基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据，包括：

在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节点编号；

判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号是否相同；

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号相同的情况下，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，还包括：

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号不同的情况下，基于云数据库中查找到的索引节点编号更新所述映射关系。

可选的，还包括：

基于云数据库中查找到的文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，还包括：

若基于所述关键字无法在所述映射关系中查找到本级目录元数据的索引节点编号，则基于所述关键字从云数据库中查找本级目录元数据的索引节点编号，并基于查找到的索引节点编号更新所述映射关系。

一种分布式文件系统的数据访问方法，应用于分布式文件系统，包括：

响应于客户端发送的数据访问请求，根据待访问数据的路径查询对应的元数据；

将所述元数据返回给客户端，以供客户端基于所述元数据进行数据访问；

其中，采用前述元数据管理方法基于所述路径进行元数据的查询。

一种分布式文件系统的元数据管理装置，应用于分布式文件系统，所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，其中，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成，所述装置包括：

名称获取单元，从文件路径中提取出各级目录的目录名称；

关键字生成单元，按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；

编号查找单元，基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；

元数据获取单元，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

一种分布式文件系统的数据访问装置，应用于分布式文件系统，包括：

元数据查询单元，响应于客户端发送的数据访问请求，根据待访问数据的路径查询对应的元数据；

数据访问单元，将所述元数据返回给客户端，以供客户端基于所述元数据进行数据访问；

其中，采用前述元数据管理方法基于所述路径进行元数据的查询。

一种分布式文件系统的元数据管理装置，包括：

处理器；

用于存储机器可执行指令的存储器；

其中，所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成，通过读取并执行所述存储器存储的与分布式文件系统的元数据管理逻辑对应的机器可执行指令，所述处理器被促使：

从文件路径中提取出各级目录的目录名称；

按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；

基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；

基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述元数据管理方法。

采用本说明书提供的上述分布式文件系统元数据管理方案，在分布式文件系统本地存储各级目录关键字与目录元数据的索引节点编号之间的映射关系，在进行元数据获取时，可先在本地查找到各级目录元数据的索引节点编号，然后基于索引节点编号在云数据库中查找元数据。采用分布式文件系统本地与云数据库联合存储元数据的方式，解决了单机元数据服务的性能瓶颈，提高了系统的可扩展性，可提供十亿级以上规模的文件存储。

附图说明

图1是相关技术中分布式文件系统的架构示意图。

图2是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理方法的流程示意图。

图3是本说明书一示例性实施例示出的另一种分布式文件系统的元数据管理方法的流程示意图。

图4是本说明书一示例性实施例示出的一种分布式文件系统的架构示意图。

图5是本说明书一示例性实施例示出的一种分布式文件系统的数据访问方法的流程示意图。

图6是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理装置所在电子设备的一种硬件结构图。

图7是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理装置的框图。

图8是本说明书一示例性实施例示出的一种分布式文件系统的数据访问装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是本说明书一示例性实施例示出的一种分布式文件系统的架构示意图。

请参考图1，分布式文件系统可包括名字节点和数据节点。

其中，名字节点(Namenode)负责管理分布式文件系统的命名空间(Namespace)，维护有文件系统树，以及文件系统中各文件和文件夹的元数据。

数据节点(Datanode)用于存储数据，将数据以块(block)的形式存储。

分布式文件系统客户端在进行数据访问时，可发送访问请求至名字节点。以数据读请求为例，名字节点会查找对应的元数据，并将元数据返回给客户端，客户端进而可根据元数据获取到数据所在的数据块，然后基于数据块到数据节点中读取相应数据。以数据写请求为例，名字节点也会查找对应的元数据，若查找到元数据，可将元数据返回给客户端，客户端进而可根据元数据获取到数据所在的数据块，然后基于数据块到数据节点中写入相应数据；若未查找到元数据，可创建新的索引节点编号，并编写数据块位置等元数据，然后将这些元数据返回给客户端，客户端进而可以在对应数据块中进行数据写入。

在传统的分布式文件系统中，元数据往往存储在名字节点，受名字节点磁盘容量等限制，这种元数据管理方式已无法适用于海量文件的应用场景。

本说明书提供一种分布式文件系统的元数据管理方案，分布式文件系统可联合云数据库共同实现元数据的存储，从而解决磁盘容量对元数据存储的限制。

其中，元数据是数据的数据，可用于描述数据属性，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

在分布式文件系统中，路径、目录、文件、链接等均可具有元数据，元数据中包括进行读写时必要的描述性信息，例如，真实路径、大小、创建时间、权限等。

文件路径通常可指向某具体的文件，通过文件路径可实现对文件的访问。一条路径通常会包括多级目录，每级目录均可对应有目录名称。

目录	目录级别	目录名称
			/user	一级目录	user
/user/hive	二级目录	hive
			/user/hive/warehouse	三级目录	warehouse
/user/hive/warehouse/file	四级目录	file

表1

举例来说，假设某文件路径是/user/hive/warehouse/file，请参考表1的示例，该文件路径包括有4级目录，这4级目录的名称即为文件夹名称，分别为user、hive、warehouse和file。

在本说明书中，分布式文件系统中可存储各级目录的关键字与目录元数据的索引节点编号之间的映射关系，无需存储全量元数据。

所述映射关系可以key-value的形式存储，例如存储在名字节点Namenode中。

所述索引节点编号为Inode(index node，索引节点)编号，即Inode ID。索引节点是一种数据结构，基于索引节点编号可查找到元数据。

所述关键字可基于上级目录元数据的索引节点编号与本级目录名称生成。

例如，基于预设的顺序拼接本级目录名称和上级目录元数据的索引节点编号，得到本级目录的关键字。

举例来说，假设本级目录名称为hive，上级目录元数据的索引节点编号为100，则可生成关键字100hive。

再例如，基于预设的算法对本级目录名称和上级目录元数据的索引节点编号进行运算，得到本级目录的关键字。

当然，还可采用其他方式生成各级目录的关键字，本说明书对此不作特殊限制。

对于一级目录而言，其不存在上级目录，在生成一级目录的关键字时，可基于一级目录名称和预设字符生成一级目录的关键字。

以文件路径/user/hive/warehouse/file为例，其一级目录为/user，可基于预设字符0与目录名称user生成关键字0user。

在本说明书中，云数据库中可存储全量元数据，还可存储各级目录的关键字与目录元数据的索引节点编号之间的映射关系，以供分布式文件系统更新其存储的映射关系。

本说明书分布式文件系统联合云数据库共同实现元数据的存储，无需在分布式文件系统中存储全量元数据，这种分布式元数据存储方式可有效解决分布式文件系统磁盘容量对元数据的存储限制，适用数据湖等海量文件的应用场景。

图2是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理方法的流程示意图。

请参考图2，所述分布式文件系统的元数据管理方法可应用于分布式文件系统，例如应用于分布式文件系统中的名字节点，包括有以下步骤：

步骤202，从文件路径中提取出各级目录的目录名称。

在本说明书中，在进行文件的读写时，用户侧客户端可发送读写请求至分布式文件系统，分布式文件系统通常需查找文件的元数据、文件路径的元数据，有时还需要查找文件所在目录的元数据、文件上级目录的元数据等，进而可基于这些元数据获取到文件类型，文件大小，创建时间，修改时间，所属用户，可执行权限等信息。

在本说明书中，在进行元数据查找时，分布式文件系统可先从文件路径中提取出各级目录的目录名称。

以前述文件路径/user/hive/warehouse/file为例，可提取出各级目录名称user、hive、warehouse和file。

步骤204，按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字。

步骤206，基于所述关键字在映射关系中查找本级目录元数据的索引节点编号。

在本说明书中，分布式文件系统可基于本地存储的各级目录的关键字与目录元数据的索引节点编号之间的映射关系查找到文件路径上各级目录的索引节点编号。

在进行查找前，分布式文件系统可先生成查找索引节点编号所需的关键字。

由于本说明书中关键字基于上级目录元数据的索引节点编号生成，在进行索引节点编号查询时，可按照目录从上级至下级的顺序，依次生成各级目录的关键字，以进行各级目录索引节点编号的查询。

例如，可先生成一级目录的关键字，然后基于一级目录的关键字在分布式文件系统本地存储的上述映射关系中查找到一级目录元数据的索引节点编号。然后，可基于二级目录的目录名称和一级目录元数据的索引节点编号在上述映射关系中查找到二级目录元数据的索引节点编号。接着，可基于三级目录的目录名称和二级目录元数据的索引节点编号在上述映射关系中查找到三级目录元数据的索引节点编号。依次类推，可查找到文件路径上各级目录元数据的索引节点编号。

以前述文件路径/user/hive/warehouse/file为例，假设其一级目录元数据至四级目录元数据的索引节点编号为100-103，分布式文件系统可以key-value的形式存储如下表2所示的映射关系。

目录	Key	Value
			/user	0user	id:100
/user/hive	100hive	id:101
			/user/hive/warehouse	101warehouse	id:102
/user/hive/warehouse/file	102file	id:103

表2

值得注意的是，表2仅仅为示例性说明，在实际应用中，无需存储左侧目录列。并且，value字段中除了存储索引节点编号外，还可存储目录的部分元数据，例如：目录名称、目录大小等。

在本实施例中，在进行索引节点编号查询时，可先基于一级目录名称user和预设字符0生成一级目录的关键字0user，并基于关键字0user查询表2所示的映射关系，进而查找到一级目录元数据的索引节点编号100。

然后，可基于二级目录名称hive和一级目录元数据的索引节点编号100生成二级目录关键字100hive，并基于关键字100hive查询表2所示的映射关系，进而查找到二级目录元数据的索引节点编号101。

接着，可基于三级目录名称warehouse和二级目录元数据的索引节点编号101生成三级目录关键字101warehouse，并基于关键字101warehouse查询表2所示的映射关系，进而查找到三级目录元数据的索引节点编号102。

最后，可基于四级目录名称file和三级目录元数据的索引节点编号102生成四级目录关键字102file，并基于关键字102file查询表2所示的映射关系，进而查找到四级目录元数据的索引节点编号103。

需要说明的是，本实施例中步骤202可在步骤204之前执行，即在进行关键字的生成之前，从文件路径中提取出各级目录的目录名称。步骤202也可配合步骤204-206的循环过程来执行，即在步骤202中先从文件路径中提取出一级目录名称，然后执行步骤204-206，生成一级目录关键字，并查找一级目录元数据的索引节点编号；接着可返回执行步骤202从文件路径中提取出二级目录名称，然后执行步骤204-206，生成二级目录的关键字，并查找二级目录元数据的索引节点编号，依次类推，循环执行步骤202-206，本说明书对此不作特殊限制。

步骤208，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

基于前述步骤，在查找到文件路径上各级目录元数据的索引节点编号后，分布式文件系统可从云数据库中获取到索引节点编号指向的全量元数据。

在本实施例中，可基于访问需求获取在云数据库中获取元数据。

以前述文件路径/user/hive/warehouse/file为例，若无需获取文件上级目录的元数据，可基于索引编号103获取文件路径/user/hive/warehouse/file的元数据，若需获取文件上级目录的元数据，可基于索引节点编号102获取三级目录/user/hive/warehouse的元数据，或者在此基础上，基于索引节点编号101获取二级目录/user/hive的元数据等。

采用本说明书提供的上述分布式文件系统元数据管理方案，在分布式文件系统本地存储各级目录关键字与目录元数据的索引节点编号之间的映射关系，在进行元数据获取时，可先在本地查找到各级目录元数据的索引节点编号，然后基于索引节点编号在云数据库中查找元数据。采用分布式文件系统本地与云数据库联合存储元数据的方式，解决了单机元数据服务的性能瓶颈，提高了系统的可扩展性，可提供十亿级以上规模的文件存储。

并且，在基于本地存储的映射关系查找到各级目录的索引节点编号后，可采用batch批处理的方式，合并需要查询的多个索引节点编号，然后一次性从云数据库中获取这些索引节点编号指向的元数据。采用批处理的方式从云数据库中获取元数据，相较于传统技术中将元数据存储至云数据库时，需要多次从云数据库中递归查询各级目录元数据，可大大节省查询过程的开销，提高元数据的获取效率，进而提高后续文件访问效率。

在本说明书中，若前述步骤206中基于生成的关键字无法在映射关系中查找到目录元数据的索引节点编号，可说明分布式文件系统尚未将云数据库中存储的各级目录关键字与目录元数据的索引节点编号之间的映射关系存储到本地；或，原目录名称被修改，分布式文件系统采用新目录名称生成的关键字无法查找到对应的索引节点编号。

分布式文件系统基于生成的关键字无法在本地映射关系中查找到目录元数据的索引节点编号时，可基于生成的关键字从云数据库中查找索引节点编号，以更新本地映射关系，并可基于云数据库中查找到的索引节点编号获取目录元数据。

仍以前述文件路径/user/hive/warehouse/file为例，假设二级目录名称hive被修改为hive001，分布式文件系统本地存储的映射关系未更新，仍是表2。

云数据库中存储的是最新的映射关系，在将hive修改为hive001的例子中，采用本说明书提供的关键字和索引节点编号之间映射关系的存储方式，仅需修改云数据库映射关系中二级目录的关键字(key值)即可，即将100hive修改为100hive001即可，相较于将各级目录作为关键字的映射关系存储方式，无需递归修改各级目录的关键字，大大减少了重命名导致的关键字修改开销。

在本实施例中，云数据库中存储的最新映射关系如下表3所示。

Key	Value
		0user	id:100
100hive001	id:101
		101warehouse	id:102
102file	id:103

表3

在本实施例中，分布式文件系统在获取新文件路径/user/hive001/warehouse/file上各级目录元数据的索引节点编号时，先基于一级目录名称user和预设字符0生成一级目录的关键字0user，并基于关键字0user查询本地存储的表2所示的映射关系，进而查找到一级目录元数据的索引节点编号100。

然后，基于二级目录名称hive001和一级目录元数据的索引节点编号100生成二级目录关键字100hive001，基于该关键字100hive001无法在本地存储的表2中查询到对应的索引节点编号。分布式文件系统进而可于云数据库中进行索引节点编号的查询。即在云数据库中存储的表3所示的映射关系中查询该关键字100hive001对应的索引节点编号101。

分布式文件系统还可基于云数据库中查询到的关键字100hive001与索引节点编号101之间的对应关系更新本地存储的映射关系，即将本地存储的表2所示的映射关系更新为表3所示的映射关系。对于分布式文件系统而言，在目录名称被修改的情况下，也仅需修改对应目录的关键字即可。

需要说明的是，为确保查询结果准确，分布式文件系统还可在云数据库中查询二级目录的各下级目录元数据的索引节点编号，即在云数据库中进一步查询三级目录和四级目录元数据的索引节点编号，并基于查询结果更新本地存储的映射关系，以避免下级目录名称也被修改所导致的本地查询不到或查询不准确等问题。

可选的，在其他例子中，分布式文件系统也可定期从云数据库中获取最新的映射关系，并将最新的映射关系更新到本地，本说明书对此不作特殊限制。

采用本说明书提供的分布式文件系统的元数据管理方案，在元数据发生变化时，还可确保分布式文件系统获取到准确的元数据，避免未及时更新本地存储的映射关系导致获取到错误元数据的问题。

图3是本说明书一示例性实施例示出的另一种分布式文件系统的元数据管理方法的流程示意图。

请参考图3，所述分布式文件系统的元数据管理方法可应用于分布式文件系统，包括有以下步骤：

步骤302，从文件路径中提取出各级目录的目录名称。

步骤304，按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字。

步骤306，基于所述关键字在本地映射关系中查找本级目录元数据的索引节点编号。

在本实施例中，步骤302-306的实现方式可参考前述图2所示实施例中步骤202-206的实现方式，本说明书在此不再一一赘述。

步骤308，在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节点编号。

在本实施例中，分布式文件系统基于本地存储的映射关系查找到文件路径上各级目录元数据的索引节点编号后，可基于生成的各级目录的关键字在云数据库中也查询各级目录的索引节点编号。

例如，采用批处理的方式，合并需要查询的多个索引节点编号，然后进行云数据库的查询。

仍以文件路径/user/hive/warehouse/file为例，分布式文件系统在本地存储的映射关系中查找到各级目录元数据的索引节点编号100-103后，可基于各级目录的关键字0user、100hive、101warehouse和102file在云数据库中查询各级目录元数据的索引节点编号。即基于云数据库中存储的各级目录关键字与索引节点编号之间的映射关系进行索引节点编号的查询。

步骤310，判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号是否相同。

基于前述步骤308，分布式文件系统在云数据库中查找到各级目录元数据的索引节点编号后，判断在本地映射关系中查找到的索引节点编号与云数据库中查找到的索引节点编号是否相同。

若相同，可执行步骤312。

若不相同，可执行步骤314。

步骤312，在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号相同的情况下，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

基于前述步骤310的判断结果，若在本地映射关系中查找到的索引节点编号与云数据库中查找到的索引节点编号相同，可说明本地存储的映射关系即为最新映射关系，云数据库中存储的元数据未发生变化，可基于索引节点编号从云数据库中获取元数据。

步骤314，在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号不同的情况下，基于云数据库中查找到的索引节点编号更新所述映射关系，并基于云数据库中查询到的索引节点编号获取元数据。

基于前述步骤310的判断结果，若在本地映射关系中查找到的索引节点编号与云数据库中查找到的索引节点编号不相同，即相同的目录关键字对应的元数据索引节点编号不同，说明云数据库中的目录名称可能有更新，本地映射关系未及时更新，基于新的目录名称在本地映射关系中查找到的索引节点编号不是想要查找的更新后的目录元数据的索引节点编号，可能为原云数据库中历史目录元数据的索引节点编号。

仍以前述目录名称hive被修改为hive001为例，若在本地存储的映射关系中可以查找到关键字100hive001对应的索引节点编号，例如在本地存储的映射关系中查找到的索引节点编号为200，与云数据库中存储的100hive001的索引节点编号101不同，可说明本地映射关系未及时更新，200可能为云数据库中历史目录/user/hive001的索引节点编号，目前可能已不存在或被修改。

在这种情况下，分布式文件系统一方面可基于云数据库中查询到的索引节点编号更新本地存储的映射关系，另一方面可基于云数据库中查询到的索引节点编号进行元数据获取。

Key	Value(本地映射关系)	Value(云数据库)
			0user	id:100	id:100
100hive	id:101	id:101
			101warehouse	id:102	id:105
102file	id:103	id:106

表4

举例来说，请参考表4的示例，分布式文件系统在本地存储的映射关系中查找到各级目录元数据的索引节点编号为100-103，而云数据库中查找到的索引节点编号为100、101、105和106，即三级目录元数据和四级目录元数据的索引节点编号与本地存储的不同，分布式文件系统可基于云数据库的查询结果，将本地映射关系中存储的三级目录元数据的索引节点编号102修改为105，将本地映射关系中存储的四级目录元数据的索引节点编号103修改为106。

当然，在value字段还存储其他元数据的情况下，若其他元数据发生变化，也需要同步进行更新。

分布式文件系统还可基于索引节点编号105和106获取三级目录元数据和四级目录元数据。

采用本说明书提供的分布式文件系统的元数据管理方案，分布式文件系统在从云数据库中获取元数据前，判断在云数据库中查询到的索引节点编号与基于本地映射关系查询到的索引节点编号是否相同，并在索引节点编号相同的情况下进行元数据获取。在云数据库中的元数据发生变化时，仍然可获取到准确的元数据，可有效避免高并发场景下分布式文件系统本地映射关系未及时更新所导致的元数据获取错误等问题。

在前述分布式文件系统的元数据管理方法的基础上，本说明书还提供一种分布式文件系统的数据访问方法，可应用于分布式文件系统中的名字节点，请参考图4和图5，包括有以下步骤：

步骤502，响应于客户端发送的数据访问请求，根据待访问数据的路径查询对应的元数据。

在本实施例中，所述数据访问请求可以为数据读请求或者数据写请求。以数据读请求为例，名字节点根据待读取数据路径查询对应的元数据。其中，该元数据的查询可基于本说明书前述图2或图3实施例中记载的元数据查询方案实现。例如，名字节点先在本地存储的各级目录关键字与元数据索引节点编号之间的映射关系中查询路径的索引节点编号，然后再从云数据库中获取对应的元数据。

步骤504，将所述元数据返回给客户端，以供客户端基于所述元数据进行数据访问。

基于前述步骤502，在从云数据库获取到元数据后，可将元数据返回给客户端，仍以数据读请求为例，客户端进而可根据元数据获取到数据所在的数据块，然后基于数据块到数据节点中读取相应数据。

在本实施例中，针对数据写请求，名字节点也可基于本说明书前述图2或图3实施例中记载的元数据查询方案实现元数据的查询，其他数据写入过程可参考相关技术，本说明书在此不再一一赘述。

与前述分布式文件系统的元数据管理方法的实施例相对应，本说明书还提供了分布式文件系统的元数据管理装置的实施例。

本说明书分布式文件系统的元数据管理装置的实施例可以应用在电子设备中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本说明书分布式文件系统的元数据管理装置所在电子设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

图7是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理装置的框图。

请参考图7，所述分布式文件系统的元数据管理装置700可以应用在前述图3所示的电子设备上，该电子设备可以为分布式文件系统的名字节点。所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成。所述装置700包括有：

名称获取单元701，从文件路径中提取出各级目录的目录名称；

关键字生成单元702，按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；

编号查找单元703，基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；

元数据获取单元704，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

当本级目录是一级目录时，基于所述目录名称和预设字符生成本级目录的关键字。

可选的，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

基于预设的顺序拼接所述目录名称和上级目录元数据的索引节点编号，以生成本级目录的关键字。

可选的，所述基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据，包括：

在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节点编号；

判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号是否相同；

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号相同的情况下，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，还包括：

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号不同的情况下，基于云数据库中查找到的索引节点编号更新所述映射关系。

可选的，还包括：

基于云数据库中查找到的文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，还包括：

若基于所述关键字无法在所述映射关系中查找到本级目录元数据的索引节点编号，则基于所述关键字从云数据库中查找本级目录元数据的索引节点编号，并基于查找到的索引节点编号更新所述映射关系。

与前述分布式文件系统的数据访问方法的实施例相对应，本说明书还提供了分布式文件系统的数据访问装置的实施例。

本说明书分布式文件系统的数据访问装置的实施例可以应用在电子设备中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，本说明书分布式文件系统的数据访问装置所在电子设备的硬件结构可与图6所示的电子设备类似，本说明书对此不作特殊限制。

图8是本说明书一示例性实施例示出的一种分布式文件系统的数据访问装置的框图。

请参考图8，所述分布式文件系统的元数据管理装置800可以应用在分布式文件系统的名字节点中，包括有：

元数据查询单元801，响应于客户端发送的数据访问请求，根据待访问数据的路径查询对应的元数据。

其中，所述元数据的查询可采用本说明书提供的元数据管理方法实现。

数据访问单元802，将所述元数据返回给客户端，以供客户端基于所述元数据进行数据访问。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

与前述分布式文件系统的元数据管理方法的实施例相对应，本说明书还提供一种分布式文件系统的元数据管理装置，该装置包括：处理器以及用于存储机器可执行指令的存储器。其中，处理器和存储器通常借由内部总线相互连接。在其他可能的实现方式中，所述设备还可能包括外部接口，以能够与其他设备或者部件进行通信。

在本实施例中，所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，其中，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成。通过读取并执行所述存储器存储的与分布式文件系统的元数据管理逻辑对应的机器可执行指令，所述处理器被促使：

从文件路径中提取出各级目录的目录名称；

按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；

基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；

基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

当本级目录是一级目录时，基于所述目录名称和预设字符生成本级目录的关键字。

可选的，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

基于预设的顺序拼接所述目录名称和上级目录元数据的索引节点编号，以生成本级目录的关键字。

可选的，所述基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据，包括：

在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节点编号；

判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号是否相同；

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号相同的情况下，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，还包括：

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号不同的情况下，基于云数据库中查找到的索引节点编号更新所述映射关系。

可选的，还包括：

基于云数据库中查找到的文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，还包括：

若基于所述关键字无法在所述映射关系中查找到本级目录元数据的索引节点编号，则基于所述关键字从云数据库中查找本级目录元数据的索引节点编号，并基于查找到的索引节点编号更新所述映射关系。

与前述分布式文件系统的数据访问方法的实施例相对应，本说明书还提供一种分布式文件系统的数据访问装置，该装置包括：处理器以及用于存储机器可执行指令的存储器。其中，处理器和存储器通常借由内部总线相互连接。在其他可能的实现方式中，所述设备还可能包括外部接口，以能够与其他设备或者部件进行通信。

在本实施例中，通过读取并执行所述存储器存储的与分布式文件系统的数据访问逻辑对应的机器可执行指令，所述处理器被促使：

响应于客户端发送的数据访问请求，根据待访问数据的路径查询对应的元数据；

将所述元数据返回给客户端，以供客户端基于所述元数据进行数据访问；

其中，所述元数据的查询可采用本说明书提供的元数据管理方法实现。

与前述分布式文件系统的元数据管理方法的实施例相对应，所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，其中，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成。本说明书还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下步骤：

从文件路径中提取出各级目录的目录名称；

按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；

基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；

基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

当本级目录是一级目录时，基于所述目录名称和预设字符生成本级目录的关键字。

可选的，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

基于预设的顺序拼接所述目录名称和上级目录元数据的索引节点编号，以生成本级目录的关键字。

可选的，所述基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据，包括：

在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节点编号；

判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号是否相同；

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号相同的情况下，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，还包括：

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号不同的情况下，基于云数据库中查找到的索引节点编号更新所述映射关系。

可选的，还包括：

基于云数据库中查找到的文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

可选的，还包括：

若基于所述关键字无法在所述映射关系中查找到本级目录元数据的索引节点编号，则基于所述关键字从云数据库中查找本级目录元数据的索引节点编号，并基于查找到的索引节点编号更新所述映射关系。

与前述分布式文件系统的数据访问方法的实施例相对应，本说明书还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下步骤：

响应于客户端发送的数据访问请求，根据待访问数据的路径查询对应的元数据；

将所述元数据返回给客户端，以供客户端基于所述元数据进行数据访问；

其中，所述元数据的查询可采用本说明书提供的元数据管理方法实现。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (12)

1.一种分布式文件系统的元数据管理方法，应用于分布式文件系统，所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，其中，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成，所述方法包括：

从文件路径中提取出各级目录的目录名称；

按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；

基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；

基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

2.根据权利要求1所述的方法，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

当本级目录是一级目录时，基于所述目录名称和预设字符生成本级目录的关键字。

3.根据权利要求1所述的方法，所述基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字，包括：

基于预设的顺序拼接所述目录名称和上级目录元数据的索引节点编号，以生成本级目录的关键字。

4.根据权利要求1所述的方法，所述基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据，包括：

在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节点编号；

判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号是否相同；

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号相同的情况下，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

5.根据权利要求4所述的方法，还包括：

在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中查找到的索引节点编号不同的情况下，基于云数据库中查找到的索引节点编号更新所述映射关系。

6.根据权利要求5所述的方法，还包括：

基于云数据库中查找到的文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

7.根据权利要求1所述的方法，还包括：

若基于所述关键字无法在所述映射关系中查找到本级目录元数据的索引节点编号，则基于所述关键字从云数据库中查找本级目录元数据的索引节点编号，并基于查找到的索引节点编号更新所述映射关系。

8.一种分布式文件系统的数据访问方法，应用于分布式文件系统，包括：

响应于客户端发送的数据访问请求，根据待访问数据的路径查询对应的元数据；

将所述元数据返回给客户端，以供客户端基于所述元数据进行数据访问；

其中，采用如权利要求1-7中任一项所述的方法基于所述路径进行元数据的查询。

9.一种分布式文件系统的元数据管理装置，应用于分布式文件系统，所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，其中，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成，所述装置包括：

名称获取单元，从文件路径中提取出各级目录的目录名称；

关键字生成单元，按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；

编号查找单元，基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；

元数据获取单元，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

10.一种分布式文件系统的数据访问装置，应用于分布式文件系统，包括：

元数据查询单元，响应于客户端发送的数据访问请求，根据待访问数据的路径查询对应的元数据；

数据访问单元，将所述元数据返回给客户端，以供客户端基于所述元数据进行数据访问；

其中，采用如权利要求1-7中任一项所述的方法基于所述路径进行元数据的查询。

11.一种分布式文件系统的元数据管理装置，包括：

处理器；

用于存储机器可执行指令的存储器；

其中，所述分布式文件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成，通过读取并执行所述存储器存储的与分布式文件系统的元数据管理逻辑对应的机器可执行指令，所述处理器被促使：

从文件路径中提取出各级目录的目录名称；

按照目录从上级至下级的顺序，针对提取出的各目录名称，基于所述目录名称和上级目录元数据的索引节点编号生成本级目录的关键字；

基于所述关键字在所述映射关系中查找本级目录元数据的索引节点编号；

基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的元数据。

12.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如权利要求1-7任一所述的元数据管理方法。

Images