CN107920131A - 一种hdfs存储系统的元数据管理方法及装置 - Google Patents

Abstract

本发明公开了一种HDFS存储系统的元数据管理方法，应用于HDFS存储系统的第一管理节点，HDFS存储系统包含多个共享同一元数据信息池的管理节点，第一管理节点为HDFS存储系统包含的多个管理节点中的任意一个，该方法可以包括以下步骤：接收客户端针对目标元数据的服务请求；基于元数据信息池，响应服务请求。应用本发明实施例所提供的技术方案，多个管理节点共享同一元数据信息池，可以避免出现数据不一致问题，多个管理节点同时对外提供服务，可以避免出现单个管理节点负载过重问题，使得HDFS存储系统能够长久处于高可用状态，提升了存储性能。本发明还公开了一种HDFS存储系统的元数据管理装置，具有相应技术效果。

Description

一种HDFS存储系统的元数据管理方法及装置

技术领域

本发明涉及计算机存储技术领域，特别是涉及一种HDFS存储系统的元数据管理方法及装置。

背景技术

随着计算机技术的快速发展，大数据应用越来越广泛，对存储的性能要求越来越高。HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)为一种分布式统一存储系统，是大数据处理Hadoop的存储组件。

目前，在HDFS存储系统中，多是基于主从模式配置两个管理节点，即主管理节点和从管理节点，管理节点也可称为NameNode。同一时间，主管理节点负责大数据的数据存储服务，其操作过程记录在日志中，按照一定的时间间隔进行日志的导出。如果主管理节点出现问题，从管理节点会读取日志，接管主管理节点的服务，变成主管理节点。

这种方法存在一定的缺点，因为日志是按照一定的时间间隔导出的，主管理节点出现问题之前的一小段时间的操作过程可能并未被记录，存在数据丢失与不一致的问题，而且，同一时间只有一个管理节点对外提供服务，很容易因负载过重导致管理节点出现异常，使得HDFS存储系统处于不可用状态，影响存储性能。

发明内容

本发明的目的是提供一种HDFS存储系统的元数据管理方法及装置，以避免出现数据不一致问题，及避免出现单个管理节点负载过重问题，使得HDFS存储系统处于高可用状态，提升存储性能。

为解决上述技术问题，本发明提供如下技术方案：

一种HDFS存储系统的元数据管理方法，应用于HDFS存储系统的第一管理节点，所述HDFS存储系统包含多个共享同一元数据信息池的管理节点，所述第一管理节点为所述HDFS存储系统包含的多个管理节点中的任意一个，所述方法包括：

接收客户端针对目标元数据的服务请求；

基于所述元数据信息池，响应所述服务请求。

在本发明的一种具体实施方式中，所述基于所述元数据信息池，响应所述服务请求，包括：

如果所述服务请求为写入请求，则将所述目标元数据写入至所述元数据信息池中。

在本发明的一种具体实施方式中，所述基于所述元数据信息池，响应所述服务请求，包括：

如果所述服务请求为读取请求，则从所述元数据信息池中读取所述目标元数据。

在本发明的一种具体实施方式中，在所述从所述元数据信息池中读取所述目标元数据之前，还包括：

利用paxos协议对所述元数据信息池中的元数据信息进行一致性检测；

确定一致性检测是否通过；

如果是，则执行所述从所述元数据信息池中读取所述目标元数据的步骤。

在本发明的一种具体实施方式中，在确定一致性检测未通过时，还包括：

输出告警信息。

一种HDFS存储系统的元数据管理装置，应用于HDFS存储系统的第一管理节点，所述HDFS存储系统包含多个共享同一元数据信息池的管理节点，所述第一管理节点为所述HDFS存储系统包含的多个管理节点中的任意一个，所述装置包括：

服务请求接收模块，用于接收客户端针对目标元数据的服务请求；

服务请求响应模块，用于基于所述元数据信息池，响应所述服务请求。

在本发明的一种具体实施方式中，所述服务请求响应模块，具体用于：

如果所述服务请求为写入请求，则将所述目标元数据写入至所述元数据信息池中。

在本发明的一种具体实施方式中，所述服务请求响应模块，具体用于：

如果所述服务请求为读取请求，则从所述元数据信息池中读取所述目标元数据。

在本发明的一种具体实施方式中，还包括一致性检测模块，用于：

在所述从所述元数据信息池中读取所述目标元数据之前，利用paxos协议对所述元数据信息池中的元数据信息进行一致性检测；

确定一致性检测是否通过；

如果是，则触发所述服务请求响应模块执行所述从所述元数据信息池中读取所述目标元数据的步骤。

在本发明的一种具体实施方式中，还包括告警信息输出模块，用于：

在确定一致性检测未通过时，输出告警信息。

应用本发明实施例所提供的技术方案，HDFS存储系统包含多个管理节点，同时对外提供服务，且多个管理节点共享同一元数据信息池，其中任意一个管理节点在接收到客户端针对目标元数据的服务请求时，基于元数据信息池，响应该服务请求。多个管理节点共享同一元数据信息池，可以避免出现数据不一致问题，多个管理节点同时对外提供服务，可以避免出现单个管理节点负载过重问题，使得HDFS存储系统能够长久处于高可用状态，提升了存储性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种HDFS存储系统的结构示意图；

图2为本发明实施例中一种HDFS存储系统的元数据管理方法的实施流程图；

图3为本发明实施例中一种HDFS存储系统的元数据管理装置的结构示意图。

具体实施方式

本发明的核心是提供一种HDFS存储系统的元数据管理方法，该方法可以应用于HDFS存储系统的第一管理节点，HDFS存储系统包含多个共享同一元数据信息池的管理节点，第一管理节点为HDFS存储系统包含的多个管理节点中的任意一个。

如图1所示，为本发明实施例所提供的一种HDFS存储系统的一种结构示意图，HDFS存储系统包括多个管理节点NameNode，多个管理节点共享同一元数据信息池，均可与客户端Client连接，可以同时对外提供服务，HDFS存储系统中的任意一个管理节点在接收到客户端针对目标元数据的服务请求时，可以基于元数据信息池，响应服务请求，并通过数据节点DataNode访问目标元数据对应的目标数据。当某个管理节点出现问题时，其服务可自动切换到其他管理节点上。

具体的，基于协议限制，HDFS存储系统中包含的多个管理节点可以为奇数个。

多个管理节点共享同一元数据信息池，可以避免出现数据不一致问题，多个管理节点同时对外提供服务，可以避免出现单个管理节点负载过重问题，使得HDFS存储系统能够长久处于高可用状态，提升了存储性能。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图2所示，为本发明实施例所提供的一种HDFS存储系统的元数据管理方法的实施流程图，该方法可以包括以下步骤：

S210：接收客户端针对目标元数据的服务请求。

在实际应用中，用户可根据实际需要通过客户端向HDFS存储系统的管理节点发送针对目标元数据的服务请求。在HDFS存储系统中，多个管理节点可同时对外提供服务，避免单一管理节点因负载压力过重出现问题。客户端可以依据预定规则确定向哪个管理节点发送服务请求。比如，可以根据通信代价的大小，向通信代价最小的管理节点发送服务请求，或者，可以根据业务类别、属性等向相应的管理节点发送服务请求，或者，可以随机选择一个管理节点发送服务请求。当然，还可以根据实际情况，设定其他规则，本发明实施例对此不做限制。

第一管理节点为HDFS存储系统包含的多个管理节点中的任意一个，第一管理节点接收到客户端针对目标元数据的服务请求时，可以继续执行步骤S220的操作。

S220：基于元数据信息池，响应服务请求。

在本发明实施例中，HDFS存储系统包含的多个管理节点共享同一元数据信息池，即各个管理节点统一维护一套元数据信息。第一管理节点在接收到客户端针对目标元数据的服务请求时，可以基于元数据信息池，响应服务请求。

在本发明的一种具体实施方式中，如果服务请求为写入请求，则将目标元数据写入至元数据信息池中。

即第一管理节点接收到客户端针对目标元数据的写入请求时，将目标元数据写入至元数据信息池中，更新元数据信息池中相关元数据信息。这样，其他管理节点在对外提供服务时可以获取到元数据信息池中最新的元数据信息。

在本发明的另一种具体实施方式中，如果服务请求为读取请求，则从元数据信息池中读取目标元数据。

即第一管理节点接收到客户端针对目标元数据的读取请求时，可以从元数据信息池中读取目标元数据。第一管理节点为HDFS存储系统中的任意一个管理节点，每个管理节点在接收到相应的客户端发送的针对元数据的写入请求时，都可以将相应的元数据写入至元数据信息池中，更新元数据信息池中的相关元数据信息。第一管理节点接收到客户端发送的针对目标元数据的服务请求为读取请求时，可以从元数据信息池中获取到最新的相关元数据信息，读取到最新的目标元数据。这样可以避免为客户端提供错误信息，提高存储性能。

在本发明的一个实施例中，在从元数据信息池中读取目标元数据之前，该方法还可以包括以下步骤：

步骤一：利用paxos协议对元数据信息池中的元数据信息进行一致性检测；

步骤二：确定一致性检测是否通过，如果是，则执行从元数据信息池中读取目标元数据的步骤。

为便于描述，将上述两个步骤结合起来进行说明。

第一管理节点接收到客户端针对目标元数据的读取请求时，可以先利用paxos协议对元数据信息池中的元数据信息进行一致性检测。paxos协议为一种消息一致性算法，用于保证分布式存储系统中某个值是一定的。

具体的，HDFS存储系统的每个管理节点可以通过paxos协议协商当前处于工作状态的管理节点有哪些，从而进行元数据信息池中元数据信息的一致性检测。

利用paxos协议对元数据信息池中的元数据信息进行一致性检测，如果确定一致性检测通过，则可以继续执行从元数据信息池中读取目标元数据的步骤，进一步保证读取到最新的元数据，如果确定一致性检测未通过，则可以输出告警信息，如通过日志记录方式输出告警信息，或者通过短信、邮件等方式输出告警信息，以便管理人员及时进行问题排查。

应用本发明实施例所提供的方法，HDFS存储系统包含多个管理节点，同时对外提供服务，且多个管理节点共享同一元数据信息池，其中任意一个管理节点在接收到客户端针对目标元数据的服务请求时，基于元数据信息池，响应该服务请求。多个管理节点共享同一元数据信息池，可以避免出现数据不一致问题，多个管理节点同时对外提供服务，可以避免出现单个管理节点负载过重问题，使得HDFS存储系统能够长久处于高可用状态，提升了存储性能。

相应于上面的方法实施例，本发明实施例还提供了一种HDFS存储系统的元数据管理装置，应用于HDFS存储系统的第一管理节点，HDFS存储系统包含多个共享同一元数据信息池的管理节点，第一管理节点为HDFS存储系统包含的多个管理节点中的任意一个，下文描述的一种HDFS存储系统的元数据管理装置与上文描述的一种HDFS存储系统的元数据管理方法可相互对应参照。

参见图3所示，该装置可以包括以下模块：

服务请求接收模块310，用于接收客户端针对目标元数据的服务请求；

服务请求响应模块320，用于基于元数据信息池，响应服务请求。

应用本发明实施例所提供的装置，HDFS存储系统包含多个管理节点，同时对外提供服务，且多个管理节点共享同一元数据信息池，其中任意一个管理节点在接收到客户端针对目标元数据的服务请求时，基于元数据信息池，响应该服务请求。多个管理节点共享同一元数据信息池，可以避免出现数据不一致问题，多个管理节点同时对外提供服务，可以避免出现单个管理节点负载过重问题，使得HDFS存储系统能够长久处于高可用状态，提升了存储性能。

在本发明的一种具体实施方式中，服务请求响应模块320，具体用于：

如果服务请求为写入请求，则将目标元数据写入至元数据信息池中。

在本发明的一种具体实施方式中，服务请求响应模块320，具体用于：

如果服务请求为读取请求，则从元数据信息池中读取目标元数据。

在本发明的一种具体实施方式中，还包括一致性检测模块，用于：

在从元数据信息池中读取目标元数据之前，利用paxos协议对元数据信息池中的元数据信息进行一致性检测；

确定一致性检测是否通过；

如果是，则触发服务请求响应模块320执行从元数据信息池中读取目标元数据的步骤。

在本发明的一种具体实施方式中，还包括告警信息输出模块，用于：

在确定一致性检测未通过时，输出告警信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种HDFS存储系统的元数据管理方法，其特征在于，应用于HDFS存储系统的第一管理节点，所述HDFS存储系统包含多个共享同一元数据信息池的管理节点，所述第一管理节点为所述HDFS存储系统包含的多个管理节点中的任意一个，所述方法包括：

接收客户端针对目标元数据的服务请求；

基于所述元数据信息池，响应所述服务请求。

2.根据权利要求1所述的方法，其特征在于，所述基于所述元数据信息池，响应所述服务请求，包括：

如果所述服务请求为写入请求，则将所述目标元数据写入至所述元数据信息池中。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述元数据信息池，响应所述服务请求，包括：

如果所述服务请求为读取请求，则从所述元数据信息池中读取所述目标元数据。

4.根据权利要求3所述的方法，其特征在于，在所述从所述元数据信息池中读取所述目标元数据之前，还包括：

利用paxos协议对所述元数据信息池中的元数据信息进行一致性检测；

确定一致性检测是否通过；

如果是，则执行所述从所述元数据信息池中读取所述目标元数据的步骤。

5.根据权利要求4所述的方法，其特征在于，在确定一致性检测未通过时，还包括：

输出告警信息。

6.一种HDFS存储系统的元数据管理装置，其特征在于，应用于HDFS存储系统的第一管理节点，所述HDFS存储系统包含多个共享同一元数据信息池的管理节点，所述第一管理节点为所述HDFS存储系统包含的多个管理节点中的任意一个，所述装置包括：

服务请求接收模块，用于接收客户端针对目标元数据的服务请求；

服务请求响应模块，用于基于所述元数据信息池，响应所述服务请求。

7.根据权利要求6所述的装置，其特征在于，所述服务请求响应模块，具体用于：

如果所述服务请求为写入请求，则将所述目标元数据写入至所述元数据信息池中。

8.根据权利要求6或7所述的装置，其特征在于，所述服务请求响应模块，具体用于：

如果所述服务请求为读取请求，则从所述元数据信息池中读取所述目标元数据。

9.根据权利要求8所述的装置，其特征在于，还包括一致性检测模块，用于：

在所述从所述元数据信息池中读取所述目标元数据之前，利用paxos协议对所述元数据信息池中的元数据信息进行一致性检测；

确定一致性检测是否通过；

如果是，则触发所述服务请求响应模块执行所述从所述元数据信息池中读取所述目标元数据的步骤。

10.根据权利要求9所述的装置，其特征在于，还包括告警信息输出模块，用于：

在确定一致性检测未通过时，输出告警信息。