CN105187517A - 一种实现元数据集群的方法及元数据集群 - Google Patents

Abstract

本发明公开了一种实现元数据集群的方法及元数据集群，所述方法包括：主节点接收客户端发送的操作元数据命令；在根据操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，组播包中携带元数据修改信息，指示从节点修改元数据；接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认组播包发送成功，向客户端返回成功结果，并记录返回成功消息的从节点的目录。本发明为分布式系统以及分布式文件系统的元数据信息查询、定位和修改等提供了优越的性能和高可用性。本发明在权衡性能和一致性的前提下，实现了工业上的应用需求。

Description

一种实现元数据集群的方法及元数据集群

技术领域

本发明涉及数据管理技术，尤指一种实现元数据集群的方法及元数据集群。

背景技术

现如今大数据时代的兴起，不仅引起了海量数据的数据挖掘，同样也带动了海量数据的存储。在移动互联网爆发的同时，大量的数据的存储变成了业内普遍存在的问题。如何保证千万级，亿级的数据量，PB级的存储的可靠性，高效性，成了业内普遍研究的问题。从小规模公司到大规模公司，都会存在这样的问题，尤其是互联网公司每日产生的用户日志、数据和信息等等的存储。

一般在分布式系统中，尤其是分布式文件系统中，对于元数据的存储是独立存储。在分布式文件系统中，元数据只是描述文件存储位置、属性以及文件副本等信息的数据。这些数据一般是独立存储在单独的服务器中。例如，HDFS、lustre分布式文件系统，但是以上文件系统为防止单点故障，均采用的是HA，双机互备的方案，但是往往两个节点无法满足继续扩展的集群规模，所以一些分布式文件系统例如，ceph等，采用的集群式的管理元数据。但是，在集群中的元数据服务器实现性能和一致性的双重保证往往是个难题。

发明内容

为了解决上述技术问题，本发明提供了一种实现元数据集群的方法及元数据集群，能够实现元数据集群性能的线性扩展，以及极高的可用性和可靠性。

为了达到本发明目的，本发明提供了一种实现元数据集群的方法，所述元数据集群包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，所述方法包括：

所述主节点接收客户端发送的操作元数据命令；

所述主节点在根据所述操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，所述组播包中携带元数据修改信息，指示所述从节点修改元数据；

所述主节点接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认所述组播包发送成功，向所述客户端返回成功结果，并记录返回成功消息的从节点的目录。

进一步地，所述方法还包括：

如果所述主节点宕机，则多个节点编号靠前的从节点协商获取主节点权限，所述多个节点编号靠前的从节点为所述目录中的从节点。

进一步地，所述方法还包括：

所述主节点接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。

进一步地，一种实现元数据集群的方法，所述元数据集群包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，所述方法包括：

所述从节点接收主节点发送的组播包，所述组播包中携带元数据修改信息，根据所述组播包修改元数据；

所述从节点向所述主节点返回成功消息。

进一步地，所述方法还包括：

所述从节点接收主节点采用哈希的方式转发的查询命令，根据所述查询命令完成客户端请求的查询。

进一步地，一种元数据集群，包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，其中：

所述主节点，用于接收客户端发送的操作元数据命令，在根据所述操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，所述组播包中携带元数据修改信息，指示所述从节点修改元数据；并接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认所述组播包发送成功，向所述客户端返回成功结果，并记录返回成功消息的从节点的目录。

进一步地，所述从节点，用于在所述主节点宕机时，多个节点编号靠前的从节点协商获取主节点权限，所述多个节点编号靠前的从节点为所述目录中的从节点。

进一步地，所述主节点，还用于接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。

进一步地，所述从节点，用于接收主节点发送的组播包，所述组播包中携带元数据修改信息，根据所述组播包修改元数据；并向所述主节点返回成功消息。

进一步地，所述从节点，还用于接收主节点采用哈希的方式转发的查询命令，根据所述查询命令完成客户端请求的查询。

与现有技术相比，本发明包括主节点接收客户端发送的操作元数据命令；在根据操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，组播包中携带元数据修改信息，指示从节点修改元数据；接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认组播包发送成功，向客户端返回成功结果，并记录返回成功消息的从节点的目录。本发明通过构建一个可以实现线性扩展的元数据服务集群，采用的是集群一主多备，分工合作，内部协商的方式，实现了sale-out扩展方式，为分布式系统以及分布式文件系统的元数据信息查询、定位和修改等提供了优越的性能和高可用性。本发明在权衡性能和一致性的前提下，实现了工业上的应用需求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明的实现元数据集群的方法的流程图；

图2为本发明的元数据集群的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1所示为本发明的实现元数据集群的方法，元数据集群包含N(N＞1)个节点，N个节点共享同一个虚拟IP地址，N个节点中包含一个主节点和至少一个从节点，本发明的方法包括：

步骤101：主节点接收客户端发送的操作元数据命令；

本发明中在N个节点的元数据集群中，N个节点共享一个虚拟IP地址，此IP也是提供给客户端和存储节点的IP地址。

客户端发起创建和删除文件的操作的时候，去元数据集群操作元数据，主(master)节点接收客户端发送的操作元数据命令。

步骤102：主节点在根据操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，组播包中携带元数据修改信息，指示从节点修改元数据；

master节点修改元数据的同时，发组播包给元数据集群其他从(slave)节点。

步骤103：主节点接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认组播包发送成功，向客户端返回成功结果，并记录返回成功消息的从节点的目录。

master节点接收到的返回成功的数目为配置的M的数量即算成功，则master节点返回给客户端成功结果，并且此时master节点记录成功的slave节点目录。

进一步的，如果主节点宕机，则多个节点编号靠前的从节点协商获取主节点权限，多个节点编号靠前的从节点为上述目录中的从节点。

在正常情况下master节点一直在发组播包给元数据集群中的其他slave节点，并携带了元数据修改信息，如果master宕机，则由事先约定好的编号大的节点协商获取master权限，当然这个slave节点是上述的正常返回给master节点的正常节点。

进一步的，主节点接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。

如果客户端执行查询操作，则master获取查询命令后，采用哈希的方式直接转发给正常slave节点，如果客户端频繁的查询，单个master对于简单的查询操作的转发能力是很强大的，可以实现千万级的转发，将高负载分散到其他节点。

本发明实现了密集查询的负载均衡，同时实现了密集查询的性能的线性扩展。也实现了对于元数据修改、增加和删除操作的强一致性，保证了元数据集群的高性能的同时，也高可用性的需求。

本发明还提供了另一种实现元数据集群的方法，元数据集群包含N(N＞1)个节点，N个节点共享同一个虚拟IP地址，N个节点中包含一个主节点和至少一个从节点，所述方法包括：

从节点接收主节点发送的组播包，组播包中携带元数据修改信息，根据组播包修改元数据；

从节点向主节点返回成功消息。

进一步的，从节点接收主节点采用哈希的方式转发的查询命令，根据查询命令完成客户端请求的查询。

本发明还提供了一种元数据集群，本发明中集群中至少存在两个节点，并且可以根据实际性能需求进行扩展，master节点为管理节点，根据配置文件的nodenumber进行指定，数字大的为master，保证集群中的节点号不重复，master宕机保证下一个节点号大的数字的节点接管，以此类推。

Slave节点为热备节点，在正常情况下进行的是提供客户端的查询服务和实现master节点异步同步数据服务，master节点实现的是转发客户端的查询服务和实现客户端的修改元数据并且同步发送给集群其他节点的修改请求等待修改成功返回。

如图2所示，本发明的元数据集群包含N(N＞1)个节点，N个节点共享同一个虚拟IP地址，N个节点中包含一个主节点和至少一个从节点，其中：

主节点，用于接收客户端发送的操作元数据命令，在根据操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，组播包中携带元数据修改信息，指示从节点修改元数据；并接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认组播包发送成功，向客户端返回成功结果，并记录返回成功消息的从节点的目录。

进一步的，从节点，用于在主节点宕机时，多个节点编号靠前的从节点协商获取主节点权限，多个节点编号靠前的从节点为目录中的从节点。

进一步的，主节点，还用于接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。

进一步的，从节点，用于接收主节点发送的组播包，组播包中携带元数据修改信息，根据组播包修改元数据；并向主节点返回成功消息。

进一步的，从节点，还用于接收主节点采用哈希的方式转发的查询命令，根据查询命令完成客户端请求的查询。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种实现元数据集群的方法，其特征在于，所述元数据集群包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，所述方法包括：

所述主节点接收客户端发送的操作元数据命令；

所述主节点在根据所述操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，所述组播包中携带元数据修改信息，指示所述从节点修改元数据；

所述主节点接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认所述组播包发送成功，向所述客户端返回成功结果，并记录返回成功消息的从节点的目录。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述主节点宕机，则多个节点编号靠前的从节点协商获取主节点权限，所述多个节点编号靠前的从节点为所述目录中的从节点。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述主节点接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。

4.一种实现元数据集群的方法，其特征在于，所述元数据集群包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，所述方法包括：

所述从节点接收主节点发送的组播包，所述组播包中携带元数据修改信息，根据所述组播包修改元数据；

所述从节点向所述主节点返回成功消息。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述从节点接收主节点采用哈希的方式转发的查询命令，根据所述查询命令完成客户端请求的查询。

6.一种元数据集群，其特征在于，包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，其中：

所述主节点，用于接收客户端发送的操作元数据命令，在根据所述操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，所述组播包中携带元数据修改信息，指示所述从节点修改元数据；并接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认所述组播包发送成功，向所述客户端返回成功结果，并记录返回成功消息的从节点的目录。

7.根据权利要求6所述的元数据集群，其特征在于：

所述从节点，用于在所述主节点宕机时，多个节点编号靠前的从节点协商获取主节点权限，所述多个节点编号靠前的从节点为所述目录中的从节点。

8.根据权利要求6所述的元数据集群，其特征在于：

所述主节点，还用于接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。

9.根据权利要求6所述的元数据集群，其特征在于：

所述从节点，用于接收主节点发送的组播包，所述组播包中携带元数据修改信息，根据所述组播包修改元数据；并向所述主节点返回成功消息。

10.根据权利要求8所述的元数据集群，其特征在于：

所述从节点，还用于接收主节点采用哈希的方式转发的查询命令，根据所述查询命令完成客户端请求的查询。