CN103631820A - 分布式文件系统的元数据管理方法及设备 - Google Patents

Abstract

本申请提供一种分布式文件系统的元数据管理设备及方法。该分布式文件系统的元数据管理设备包括：计算机集群，其包括多个计算机节点，所述多个计算机节点用于获取其所在计算机的操作系统中的存储文件的元数据信息；集群管理单元，用于对所述多个计算机节点的注册信息进行登记，且检测并保持所述多个计算机节点的在线状况；以及信息浏览单元，用于根据所述多个计算机节点的注册信息并基于来自客户端的元数据访问请求，访问所述计算机集群中的关联的且为在线状态的计算机节点来获取元数据信息，并将元数据信息格式转换为元数据后，返回给客户端。

Description

分布式文件系统的元数据管理方法及设备

技术领域

本申请涉及分布式文件系统，尤其涉及一种分布式文件系统的元数据管理方法及设备。

背景技术

目前，市场上已有的分布式文件系统的实现方法，主要有google公司提出的GFS的论文理论和以按照该论文实现的hadoop的HDFS（HadoopDistributed File System）分布式文件系统。在HDFS文件系统中，Namenode（名称节点）是分布式文件元数据管理的中心服务器，负责管理文件系统的目录命名和客户端对文件的访问。

在HDFS分布式文件系统中，当客户端存储文件时，将文件内容拆分成多个块，这些块数据散落地存储在不同的计算机节点上，而该文件的路径目录名称等元数据以及该文件被拆分的块位置信息等被存放在Namenode机器上。当客户端读取该文件时，会访问Namenode查找该文件路径并获取拆分的块位置信息，然后分别直接到存放各块的计算机上读取块的内容，并将各块的内容合并得到要读取的文件。可见，Namenode负责保存和管理所有的GFS元数据，它维持着一个象操作系统文件资源管理器一样的树状目录结构，可以访问、查询、获取文件的元数据。

由于Hadoop的HDFS中包含一个Namenode和多个Datanode（数据节点），因此Namenode的单一设计会严重制约了整个Hadoop的可扩展性和可靠性。首先，Namenode是整个系统中明显的单点故障源。其次，Namenode的内存容量是有限的，这使得Hadoop集群的节点数量被限制到2000个左右，能支持的文件系统大小被限制在10-50PB,最多能支持的文件数量大约为1.5亿左右（注：实际数量取决于Namenode的内存大小）。再次，由于单一的Namenode定期地接收来自多个Datanode的心跳报告，这也会对Namenode的性能造成严重的影响。例如，系统有1800个Datanode,每个Datanode有3T存储，整个集群大约有1.8P有效存储（1800*3T/3，在此假设每个数据块有3份备份）。那么，每个Datanode上大约有50000个左右的数据块（假设数据块大小是64M，然而有的数据块并没有达到64M大小），假设Datanode每小时会发送一次块信息的心跳报告，那么Namenode每两秒会收到一次报告信息，每个报告信息包含50000条数据，处理这些数据无疑会占用相当多的资源。实际上，集群的Namenode重启需要数小时，这大大降低了系统的可用性。

由此可见，现有技术如Hadoop的Namenode管理文件元数据的方式中存在单点故障、容量限制、内存限制、性能限制等问题。

发明内容

本申请的主要目的在于提供一种松耦合、高可用、高扩展性的元数据管理方法及设备，以解决现有技术存在的单点故障、容量限制、内存限制、性能限制等问题，其中：

本申请提供一种用于分布式文件系统的元数据管理设备，其特征在于，包括：计算机集群，其包括多个计算机节点，所述多个计算机节点用于获取其所在计算机的操作系统中的存储文件的元数据信息；集群管理单元，用于对所述多个计算机节点的注册信息进行登记，且检测并保持所述多个计算机节点的在线状况；以及信息浏览单元，用于根据所述多个计算机节点的注册信息并基于来自客户端的元数据访问请求，访问所述计算机集群中的关联的且为在线状态的计算机节点来获取元数据信息，并将元数据信息格式转换为元数据后返回给客户端。

根据本申请的实施例，在该设备中，所述信息浏览单元进一步包括：接收单元，用于接收来自客户端的元数据访问请求，并且从所述集群管理单元获取所述多个计算机节点的注册信息并按照预定的规则显示所述注册信息；解析单元，用于对所述元数据访问请求进行解析，并访问所述计算机集群中与解析的结果相关联的且为在线状态的计算机节点；以及获取单元，用于从所述关联的且为在线状态的计算机节点获取与所述元数据访问请求对应的元数据信息，将所述元数据信息格式转换为所述元数据，并将所述元数据返回给客户端。

根据本申请的实施例，在该设备中，所述集群管理单元包括一个主用单元和多个备用单元，所述主用单元在更新注册信息时实时地将更新信息发送到所述多个备用单元，以使得当主用单元发生故障时从其他备用单元中获取注册信息。

根据本申请的实施例，在该设备中，所述元数据访问请求是基于FTTP文件协议的元数据访问请求。

根据本申请的实施例，在该设备中，所述多个计算机节点的注册信息是用于存储元数据的多个计算机节点的IP地址。

根据本申请的实施例，在该设备中，所述信息浏览单元和所述客户端位于同一设备中。

根据本申请的实施例，在该设备中，所述信息浏览单元和所述客户端位于不同的设备中。

在本申请的另一方面，提供一种用于分布式文件系统的元数据管理方法，其特征在于，包括以下步骤：在集群管理单元中登记计算机集群的多个计算机节点的注册信息，且检测并保持所述多个计算机节点的在线状况；以及根据所述多个计算机节点的注册信息并基于来自客户端的元数据访问请求，由信息浏览单元访问所述计算机集群中的关联的且为在线状态的计算机节点来获取元数据信息，并将所述元数据信息转换为元数据后返回给客户端；其中，所述计算机集群包括多个计算机节点，所述多个计算机节点用于获取其所在计算机的操作系统中的存储文件的元数据信息。

根据本申请的实施例，在该方法中，所述信息浏览单元获取元数据的步骤进一步包括：接收所述客户端发出的元数据访问请求；从所述集群管理单元获取所述多个计算机节点的注册信息，并按照预定的规则显示所述注册信息；对所述元数据访问请求进行解析，并访问所述计算机集群中与解析的结果相关联的且为在线状态的计算机节点；从所述关联的且为在线状态的计算机节点获取与所述元数据访问请求对应的元数据信息，将所述元数据信息格式转换为所述元数据，并将所述元数据返回给客户端。

根据本申请的实施例，在该方法中，所述集群管理单元包括一个主用单元和多个备用单元，所述主用单元在更新注册信息时实时地将更新信息发送到所述多个备用单元，以使得当主用单元发生故障时从其他备用单元中获取注册信息。

根据本申请的实施例，在该方法中，所述元数据访问请求是基于FTTP文件协议的元数据访问请求。

根据本申请的实施例，在该方法中，所述多个计算机节点的注册信息是用于存储元数据的多个计算机节点的IP地址。

根据本申请的实施例，在该方法中，所述信息浏览单元和所述客户端位于同一设备中。

根据本申请的实施例，在该方法中，所述信息浏览单元和所述客户端位于不同的设备中。

与现有技术相比，根据本申请的技术方案，能够有效地克服单点故障、容量限制、内存限制、性能限制等问题，实现了松耦合、高可用、高扩展性的元数据管理。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是表示本申请实施例涉及的元数据管理设备的结构框图。

图2是表示本申请实施例涉及的元数据管理方法的流程图。

图3是表示图2中的步骤S02的详细处理的流程图。

图4是表示本申请实施例的示意图。

具体实施方式

本申请的主要思想在于，在底层利用操作系统本身已有的文件元数据，在上层构建虚拟动态的元数据管理服务器。即，本申请提出一种新的分布式文件系统的元数据管理的实现方法，它自己不维持庞大的文件元数据存储与管理，而将操作系统本身的文件元数据信息进行利用，在此基础之上建立一个松耦合、高可用、高扩充性的元数据管理设备。

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。

参照图1，图1是表示本申请实施例涉及的元数据管理设备的结构框图。

如图1所示，元数据管理设备10可以包括计算机集群101、集群管理单元102以及信息浏览单元103。

计算机集群101可以包括多个计算机节点。计算机集群也可简称为集群。计算机节点用于从其所在计算机的操作系统获取文件的元数据信息。除此之外，计算机节点还用于对其所在计算机的操作系统中的存储文件进行读写操作。另外，计算机节点可以部署在多台机器中，这里所说的机器可以是服务器、个人电脑、移动电话、多媒体播放器等。

集群管理单元102可以用于对加入计算机集群101的计算机节点的注册信息进行登记。因而，集群管理单元102总是维持着最新的集群中计算机节点的注册信息。此外，集群管理单元102还可以检测并保持各存储计算机节点的在线状况。也就是说，集群管理单元102每隔预定期间就会检测计算机集群101中的各计算机节点的在线状态，删除处于非在线状态的计算机节点的注册信息，而保持处于在线状态的各计算机节点的注册信息。在此，检测并保持各计算机节点的在线状况的目的在于，可以向信息浏览单元103提供可用于存储元数据及存储文件的计算机节点。这里登记的注册信息是各计算机节点的IP地址。集群管理单元102包括一个主用单元和多个备用单元（未示出）。每当更新主用单元的注册信息时，实时地将所更新的注册信息发送到多个备用单元。因此，当主用单元发生故障时，能够及时地从备用单元之一取得所需的注册信息。

信息浏览单元103是集群所存储的元数据及存储文件的浏览器，用于获取并浏览集群中的计算机节点所在操作系统的文件元数据。具体而言，信息浏览单元103根据多个计算机节点的注册信息，并基于来自客户端的元数据访问请求，访问计算机集群101中的关联的且为在线状态的计算机节点来获取元数据信息，并将该元数据信息格式转换为元数据后返回给客户端。

信息浏览单元103看似提供一个完整的文件目录树结构，该文件目录树结构包括了整个集群文件的目录，但实际上它只是一个虚拟、动态的目录，其本身不维持集群的文件元数据的存储。换句话说，每当接收到来自客户端的元数据访问请求时，信息浏览单元103就会从集群管理单元102获取处于在线状态的各计算机节点的注册信息。信息浏览单元103进一步包括接收单元1031、解析单元1032以及获取单元1033。

接收单元1031用于接收来自客户端的元数据访问请求，并且从集群管理单元102获取多个计算机节点的注册信息，并按照预定的规则显示该注册信息。换句话说，接收单元1031从集群管理单元102获取多个计算机节点的IP地址，并可按顺序显示该IP地址。

解析单元1032用于对来自客户端的元数据访问请求进行解析，并访问计算机集群101中与解析的结果相关联的且为在线状态的计算机节点。具体来说，客户端的元数据访问请求可以是基于FTTP文件协议的元数据访问请求。在后面将详细描述FTTP文件协议。由于客户端需要通过统一的FTTP文件协议来访问元数据，而基于FTTP文件协议的元数据访问请求表现为用于存储元数据的计算机节点的IP地址和元数据被存储于计算机节点所在操作系统中的存储路径的组合的路径结构，因此，解析单元1032通过解析来自客户端的元数据访问请求，就会得到要访问的元数据所在计算机节点的IP地址，然后根据该IP地址找到相对应的计算机节点。进而，由相对应的计算机节点根据元数据的存储路径找到元数据本身。获取单元1033用于从关联的且为在线状态的计算机节点获取与客户端的元数据访问请求对应的元数据信息，并将元数据信息格式转换为元数据后，将元数据返回给客户端。

在此，详细说明元数据信息与元数据的区别。由于从计算机节点获取来的数据信息不能直接在客户端显示，所以需要将该数据信息进行适当的格式转换而使之成为适于客户端显示的数据信息。因而，为了便于区分，将从计算机节点直接获取的数据信息称作元数据信息，将格式转换后的适于客户端显示的数据信息称作元数据。

另外，信息浏览单元103与客户端既可以位于同一设备中，也可以位于不同的设备中。在信息浏览单元103与客户端位于不同的设备中的情况下，信息浏览单元103可以位于网站服务器中。

下面，详细说明FTTP文件协议。

客户端需要通过统一的FTTP文件协议访问元数据，FTTP文件协议是一种用于访问元数据的标准格式规范，其表现为用于存储元数据的计算机节点的IP地址和元数据被存储在计算机节点的操作系统中的存储路径的组合的路径结构，该路径结构保持着操作系统文件目录的原始结构，例如：

在Windows操作系统下：fttp://ip/d:/log/

在Linux操作系统下：fttp://ip/home/dir/log/。

本申请涉及的FTTP与FTP、HTTP存在本质上的不同。FTP是一种文件上传下载的协议，有一套完整的命令规范，比如登陆、put、get等，但是它不能用于获取文件元数据信息，并且也只支持本地服务器的两台计算机之间的文件传输，FTP不用于分布式文件系统。超文本传送协议（HTTP）是一种通信协议，它允许将超文本标记语言（HTML）文档从Web服务器传送到Web浏览器。HTTP允许以二进制的方式上传下载文件，但是封装在HTTP报文里，并指定特定的内容格式的方式。但是它也只支持Web浏览器和Web服务器两者之间的文件内容的上传下载，不能获取文件元数据和管理文件元数据，它也不是用于分布式文件系统。而本申请涉及的FTTP是用于访问元数据的专用的文件协议。

图2是表示本申请实施例涉及的元数据管理方法的流程图，图3是表示图2中的步骤S02的具体流程图。下面，结合图1至图3来具体说明本申请实施例涉及的元数据管理方法。

首先，在步骤S01中，在集群管理单元102中登记计算机集群101的多个计算机节点的注册信息，且检测并保持多个计算机节点的在线状况。

然后，在步骤S02中，根据多个计算机节点的注册信息并基于来自客户端的元数据访问请求，由信息浏览单元103访问计算机集群101中的关联的且为在线状态的计算机节点来获取元数据信息，并将元数据信息格式转换为元数据后返回给客户端，其中，所述计算机集群101包括多个计算机节点，多个计算机节点用于获取其所在计算机的操作系统中的存储文件的元数据信息。这里所说的“多个计算机节点的注册信息”例如可以是可用于存储元数据及存储文件的多个计算机节点的IP地址。

具体来说，如图3所示，在步骤S21中，信息浏览单元103接收客户端发出的元数据访问请求。由于客户端需要通过统一的FTTP文件协议访问元数据，所以该元数据访问请求是基于FTTP文件协议的元数据访问请求。关于FTTP文件协议的具体内容如上所述，在此不再累述。

在步骤S22中，信息浏览单元103从集群管理单元102获取多个计算机节点的注册信息，并按照预定的规则显示该注册信息。也就是说，从集群管理单元102获取多个计算机节点的IP地址，并按顺序显示该IP地址。

在步骤S23中，信息浏览单元103对客户端发出的元数据访问请求进行解析，然后及时访问计算机集群101中与解析的结果相关联的且为在线状态的计算机节点。也就是说，由于基于FTTP文件协议的元数据访问请求表现为用于存储元数据的计算机节点的IP地址和元数据被存储于计算机节点所在操作系统中的存储路径的组合的路径结构，因此，通过信息浏览单元103解析来自客户端的元数据访问请求，就会得到要访问的元数据所在计算机节点的IP地址，然后根据该IP地址找到相对应的计算机节点。进而，由相对应的计算机节点根据元数据的存储路径找到元数据本身。

在步骤S24中，信息浏览单元103从关联的且为在线状态的计算机节点获取与来自客户端的元数据访问请求对应的元数据信息，并将该元数据信息格式转换为元数据后，将该元数据返回给客户端。由此完成元数据的管理。

如上所述，客户端以FTTP文件协议访问元数据，发送请求给信息浏览单元103,信息浏览单元103解析客户端的访问请求并返回客户端需要的元数据，在整个过程中客户端不需要与后台的各计算机节点直接交互真实文件数据。信息浏览单元103对客户端来说就是一个庞大的虚拟的集群目录，可以获取到客户端需要的一切分布式文件元数据。

综上所述，本申请对于分布式文件系统的元数据管理设备的设计不同于Hadoop的Namenode，元数据管理设备本身不维持一个随着扩容而逐渐扩大的元数据的存储，而是底层利用操作系统本身已有的文件元数据，因为操作系统本身已经实现了对所有文件的元数据管理和存储，所以象Namenode这样自身维持一个庞大的分布式元数据信息是一种重复建设，而且实现复杂，容易产生问题。如果利用操作系统已有的元数据，就会大大减少目录节点（相当于Namenode）的存储量，本申请涉及的元数据管理设备仅仅只需要维持一个计算机集群的地址信息，它后台联系着集群中每台存储计算机节点的元数据信息，这样不存在节点数量限制，可以无限扩充。当客户端需要获取文件元数据时，就向元数据管理设备发出一个基于FTTP文件协议的访问请求，通过元数据管理设备解析该路径，并找到后台关联的存储计算机上的文件元数据，然后将其返回给客户端。在整个过程中元数据管理设备只是一个解析和中转的角色，它本身不维持元数据存储，它是虚拟的、松耦合的，所以也不存在由于过多数量的数据块元数据心跳报告导致性能低下的问题。

图4是表示本申请实施例涉及的优选实施例的示意图。如图4所示，例如，计算机节点为FttpNode，集群管理单元为FttpAdmin，信息浏览单元为FttpExploer。在此，来自客户端的元数据访问请求可以是基于FTTP文件协议的访问请求。具体的元数据管理的实现过程如下。

具体来说，首先，在FttpAdmin中登记作为计算机集群中的各FttpNode的注册信息的IP地址，且检测并保持各FttpNode的在线状况。接着，客户端向FttpExploer发出基于FTTP文件协议的元数据访问请求。然后，FttpExploer从FttpAdmin获取各FttpNode的IP地址，并按顺序显示各FttpNode的IP地址。接着，FttpExploer对客户端提出的元数据访问请求进行FTTP文件协议的解析，即从该元数据访问请求中解析出要访问的元数据所在的FttpNode的IP地址，然后根据该IP地址访问相关联的FttpNode。之后，FttpExploer从相关联的FttpNode获取其所在操作系统的文件元数据信息，并将该元数据信息格式转换为元数据后，将该元数据返回给客户端。

通过本申请的元数据管理设备及方法，能够获得以下的有益的技术效果。

1、关于单点问题：

由于信息浏览单元103是一个虚拟动态的实现，它可以随时被复制和替换，所以不存在单点问题。信息浏览单元103获取集群文件元数据时会依赖集群管理单元102，集群管理单元102存储着最新的集群中计算机节点的注册信息，由于集群管理单元102是一主多备的关系，所以在集群管理单元102出现故障时，可以及时从它的备份中获取所需的信息，如图4所示那样。因此，整体设计结构有效的避免了单点故障问题。

2、关于文件拆分的问题：

如果将一个大的文件拆分后散落地保存在不同的计算机节点所在计算机的操作系统上，那么他们的元数据如何保存呢？对于信息浏览单元来说，它仅增加一些文件拆分的信息的存储，而每个拆分的块文件元数据也保存在计算机节点的操作系统上，信息浏览单元本身不维持这些块文件的元数据的存储，因此，信息浏览单元没有容量的限制。

3、关于增容减容的问题：

由于计算机节点和信息浏览单元之间是一个松散的结构关系，计算机节点可以自由增加或者减少，信息浏览单元会及时地获取集群中计算机节点的改变。这些改变对元数据的管理没有影响，因为信息浏览单元本身不维持整个分布式文件系统的元数据的存储，所以计算机节点的增加或减少对信息浏览单元没有太大影响，信息浏览单元会动态的获取最新的元数据状况，计算机节点所在计算机的操作系统维持着文件元数据的原始存储。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种用于分布式文件系统的元数据管理设备，其特征在于，包括：

计算机集群，其包括多个计算机节点，所述多个计算机节点用于获取其所在计算机的操作系统中的存储文件的元数据信息；

集群管理单元，用于对所述多个计算机节点的注册信息进行登记，且检测并保持所述多个计算机节点的在线状况；以及

信息浏览单元，用于根据所述多个计算机节点的注册信息并基于来自客户端的元数据访问请求，访问所述计算机集群中的关联的且为在线状态的计算机节点来获取元数据信息，并将元数据信息格式转换为元数据后返回给客户端。

2.根据权利要求1所述的设备，其特征在于，所述信息浏览单元进一步包括：

接收单元，用于接收来自客户端的元数据访问请求，并且从所述集群管理单元获取所述多个计算机节点的注册信息并按照预定的规则显示所述注册信息；

解析单元，用于对所述元数据访问请求进行解析，并访问所述计算机集群中与解析的结果相关联的且为在线状态的计算机节点；以及

获取单元，用于从所述关联的且为在线状态的计算机节点获取与所述元数据访问请求对应的元数据信息，将所述元数据信息格式转换为所述元数据，并将所述元数据返回给客户端。

3.根据权利要求1或2所述的设备，其特征在于，

所述集群管理单元包括一个主用单元和多个备用单元，所述主用单元在更新注册信息时实时地将更新信息发送到所述多个备用单元，以使得当主用单元发生故障时从其他备用单元中获取注册信息。

4.根据权利要求1或2所述的设备，其特征在于，

所述元数据访问请求是基于FTTP文件协议的元数据访问请求。

5.根据权利要求1或2所述的设备，其特征在于，

所述多个计算机节点的注册信息是用于存储元数据的多个计算机节点的IP地址。

6.根据权利要求1或2所述的设备，其特征在于，所述信息浏览单元和所述客户端位于同一设备中。

7.根据权利要求1或2所述的设备，其特征在于，所述信息浏览单元和所述客户端位于不同的设备中。

8.一种用于分布式文件系统的元数据管理方法，其特征在于，包括以下步骤：

在集群管理单元中登记计算机集群的多个计算机节点的注册信息，且检测并保持所述多个计算机节点的在线状况；以及

根据所述多个计算机节点的注册信息并基于来自客户端的元数据访问请求，由信息浏览单元访问所述计算机集群中的关联的且为在线状态的计算机节点来获取元数据信息，并将所述元数据信息转换为元数据后，返回给客户端；

其中，所述计算机集群包括多个计算机节点，所述多个计算机节点用于获取其所在计算机的操作系统中的存储文件的元数据信息。

9.根据权利要求8所述的方法，其特征在于，所述信息浏览单元获取元数据的步骤进一步包括：

接收所述客户端发出的元数据访问请求；

从所述集群管理单元获取所述多个计算机节点的注册信息，并按照预定的规则显示所述注册信息；

对所述元数据访问请求进行解析，并访问所述计算机集群中与解析的结果相关联的且为在线状态的计算机节点；

从所述关联的且为在线状态的计算机节点获取与所述元数据访问请求对应的元数据信息，将所述元数据信息格式转换为所述元数据，并将所述元数据返回给客户端。

10.根据权利要求8或9所述的方法，其特征在于，

所述集群管理单元包括一个主用单元和多个备用单元，所述主用单元在更新注册信息时实时地将更新信息发送到所述多个备用单元，以使得当主用单元发生故障时从其他备用单元中获取注册信息。

11.根据权利要求8或9所述的方法，其特征在于，

所述元数据访问请求是基于FTTP文件协议的元数据访问请求。

12.根据权利要求8或9所述的方法，其特征在于，

所述多个计算机节点的注册信息是用于存储元数据的多个计算机节点的IP地址。

13.根据权利要求8或9所述的方法，其特征在于，所述信息浏览单元和所述客户端位于同一设备中。

14.根据权利要求8或9所述的方法，其特征在于，所述信息浏览单元和所述客户端位于不同的设备中。

Images