CN107066867A - 一种大数据集群资源分配方法及装置 - Google Patents

Abstract

本发明涉及集群管理领域，公开一种大数据集群资源分配方法，包括以下步骤：管理员通过Kerberos统一管理大数据集群资源组件的认证登录；管理员通过Apache Ranger实现对大数据集群资源的权限管控；用户对大数据集群资源进行订阅；用户获得对订阅的大数据集群资源进行管理的权限；用户对订阅的大数据集群资源进行管理。还公开一种大数据集群资源分配装置，包括：认证登录模块；权限管控模块；订阅模块；获得管理权限模块；管理模块。本发明通过整合大数据集群资源组件的认证和授权，使用统一的策略进行资源分配，实现不同用户订阅和管理大数据集群资源，达到了分配大数据集群资源的目的。

Description

一种大数据集群资源分配方法及装置

技术领域

本发明涉及集群管理领域，尤其涉及一种大数据集群资源分配方法及装置。

背景技术

大数据时代带给社会各个层面的变革是深入持久的，在新的形势下资源分配将会发生怎样的变化，大数据又在这一变化中发挥怎样作用，如何利用好大数据让资源分配更优化是中国乃至整个人类社会必须当前面临的问题。

目前，搭建Hadoop的大数据集群组件如HDFS、Yarn、Hive、Hbase等，本身有自己的权限管控方法，难以统一管理和进行资源分配。故如何整合大数据集群组件的认证和授权方法，使用统一的策略进行资源分配是目前亟需解决的技术问题。

发明内容

本发明针对目前需求以及现有技术发展的不足之处，提供一种大数据集群资源分配方法及装置，本发明通过整合大数据集群资源组件的认证和授权，使用统一的策略进行资源分配，实现不同的用户订阅大数据集群资源，达到了分配大数据集群资源的目的。

为了实现上述目的，本发明采用以下的技术方案：

一种大数据集群资源分配方法，包括以下步骤：

管理员通过Kerberos统一管理大数据集群资源组件的认证登录；

管理员通过Apache Ranger实现对大数据集群资源的权限管控；

用户对大数据集群资源进行订阅；

用户获得对订阅的大数据集群资源进行管理的权限；

用户对订阅的大数据集群资源进行管理。

优选地，所述集群为多个搭建Hadoop的服务器。

优选地，所述大数据集群资源组件包括HDFS、YARN、HIVE及Hbase。

优选地，在管理员通过Kerberos统一管理大数据集群资源组件的认证登录之前，还包括：为集群搭建Kerberos。

优选地，在管理员通过Apache Ranger实现对大数据集群资源的权限管控之前，还包括：为集群安装Apache Ranger。

优选地，在用户对大数据集群资源进行订阅之前，还包括：

创建不同用户；

将不同用户的信息同步到Apache Ranger；

创建不同用户对应的大数据集群资源组件。

优选地，用户对订阅的大数据集群资源进行管理，包括：

用户对订阅的大数据集群资源进行读、写和分享管理；

其他用户对该用户分享的大数据集群资源进行读管理。

本发明还提供了基于上述的一种大数据集群资源分配方法的一种大数据集群资源分配装置，包括：

认证登录模块，用于管理员通过Kerberos统一管理大数据集群资源组件的认证登录；

权限管控模块，用于管理员通过Apache Ranger实现对大数据集群资源的权限管控；

订阅模块，用于用户对大数据集群资源进行订阅；

获得管理权限模块，用于用户获得对订阅的大数据集群资源进行管理的权限；

管理模块，用于用户对订阅的大数据集群资源进行管理。

优选地，还包括：

搭建模块，用于为集群搭建Kerberos。

优选地，还包括：

安装模块，用于为集群安装Apache Ranger。

优选地，还包括：

第一创建模块，用于创建不同用户。

优选地，还包括：

同步模块，用于将不同用户的信息同步到Apache Ranger。

优选地，还包括：

第二创建模块，用于创建不同用户对应的大数据集群资源组件。

优选地，所述管理模块进一步包括：

管理子模块，用于用户对订阅的大数据集群资源进行读、写和分享管理；

读管理模块，用于其他用户对该用户分享的大数据集群资源进行读管理。

本发明的有益效果：

本发明提供一种大数据集群资源分配方法及装置，通过Kerberos统一管理大数据集群资源组件的认证登录，并通过Apache Ranger授权实现对大数据集群资源的权限管控，实现不同的用户订阅大数据集群资源，并对订阅的大数据资源进行管理，达到分配大数据集群资源的目的。

用户可以根据自己的喜好选择订阅的大数据集群资源，用户可以对自己订阅的资源进行读、写和分享管理，其他用户可以对被分享的大数据集群资源进行读管理。

附图说明

图1为本发明一种大数据集群资源分配方法的流程示意图之一。

图2为本发明一种大数据集群资源分配装置的结构示意图之一。

图3为本发明一种大数据集群资源分配方法的流程示意图之二。

图4为本发明一种大数据集群资源分配装置的结构示意图之二。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，对本发明中出现的部分名词作以下解释说明：

Apache Ranger：提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。

Kerberos：是一种网络认证协议，其设计目标是通过密钥系统为客户机/服务器应用程序提供强大的认证服务。使用Kerberos时，一个客户端需要经过三个步骤来获取服务：认证：客户端向认证服务器发送一条报文，并获取一个含时间戳的Ticket-GrantingTicket（TGT）；授权：客户端使用TGT向Ticket-Granting Server（TGS）请求一个服务Ticket；服务请求：客户端向服务器出示服务Ticket，以证实自己的合法性。该服务器提供客户端所需服务，在Hadoop应用中，服务器可以是Namenode或Jobtracker。为此，Kerberos需要The Key Distribution Centers（KDC）来进行认证。KDC只有一个Master，可以带多个Slaves机器。Slaves机器仅进行普通验证。Mater上做的修改需要自动同步到Slaves。另外，KDC需要一个admin，来进行日常的管理操作。这个admin可以通过远程或者本地方式登录。

HDFS：Hadoop Distributed File System 的缩写，是Hadoop分布式文件系统，被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合大规模数据集上的应用，放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。一个HDFS集群是由一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器，负责管理文件系统的 namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个，负责管理节点上它们附带的存储。在内部，一个文件其实分成一个或多个block，这些block存储在Datanode集合里。Namenode执行文件系统的namespace操作，例如打开、关闭、重命名文件和目录，同时决定block到具体Datanode节点的映射。Datanode在Namenode的指挥下进行block的创建、删除和复制。Namenode和Datanode都是设计成可以跑在普通的廉价的运行Linux的机器上。

YARN：Yet Another Resource Negotiator的缩写，是一种新的Hadoop资源管理器，YARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

HIVE：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类sql语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

MapReduce：是一种编程模型，用于大规模数据集的并行运算。方便编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数，用来保证所有映射的键值对中的每一个共享相同的键组。

HBase：是一个分布式的、面向列的开源数据库，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase不同于一般的关系数据库，它是一个适合非结构化数据存储的数据库，并且采用基于列的而不是基于行的模式。

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述：

实施例一：

如图1所示，本发明的一种大数据集群资源分配方法，包括以下步骤：

步骤S101：为集群搭建Kerberos。

步骤S102：管理员通过Kerberos统一管理大数据集群资源组件的认证登录。

步骤S103：为集群安装Apache Ranger。

步骤S104：管理员通过Apache Ranger实现对大数据集群资源的权限管控。

步骤S105：创建不同用户。

步骤S106：将不同用户的信息同步到Apache Ranger。

步骤S107：创建不同用户对应的大数据集群资源组件。

步骤S108：用户对大数据集群资源进行订阅。

步骤S109：用户获得对订阅的大数据集群资源进行管理的权限。

步骤S110：用户对订阅的大数据集群资源进行读、写和分享管理。

步骤S111：其他用户对该用户分享的大数据集群资源进行读管理。

作为一种可实施的方式，选取同一局域网内的5台搭建了Hadoop的服务器作为本实施例中的集群。

值得说明的是，大数据集群资源组件包括HDFS、YARN、HIVE及Hbase。

实施例二：

如图2所示，本发明的一种大数据集群资源分配装置，包括：搭建模块201、认证登录模块202、安装模块203、权限管控模块204、第一创建模块205、同步模块206、第二创建模块207、订阅模块208、获得管理权限模块209、管理模块中的管理子模块210和管理模块中的读管理模块211，搭建模块201依次连接认证登录模块202、安装模块203、权限管控模块204、第一创建模块205、同步模块206、第二创建模块207、订阅模块208、获得管理权限模块209、管理模块中的管理子模块210和管理模块中的读管理模块211。

搭建模块201，用于为集群搭建Kerberos；认证登录模块202，用于管理员通过Kerberos统一管理大数据集群资源组件的认证登录；安装模块203，用于为集群安装ApacheRanger；权限管控模块204，用于管理员通过Apache Ranger实现对大数据集群资源的权限管控；第一创建模块205，用于创建不同用户；同步模块206，用于将不同用户的信息同步到Apache Ranger；第二创建模块207，用于创建不同用户对应的大数据集群资源组件；订阅模块208，用于用户对大数据集群资源进行订阅；获得管理权限模块209，用于用户获得对订阅的大数据集群资源进行管理的权限；管理模块中的管理子模块210，用于用户对订阅的大数据集群资源进行读、写和分享管理；管理模块中的读管理模块211，用于其他用户对该用户分享的大数据集群资源进行读管理。

实施例三：

如图3所示，本发明的另一种大数据集群资源分配方法，包括以下步骤：

步骤S301：管理员通过Kerberos统一管理大数据集群资源组件的认证登录。

步骤S302：管理员通过Apache Ranger实现对大数据集群资源的权限管控。

步骤S303：用户对大数据集群资源进行订阅。

步骤S304：用户获得对订阅的大数据集群资源进行管理的权限。

步骤S305：用户对订阅的大数据集群资源进行管理。

作为一种可实施的方式，选取同一局域网内的5台搭建了Hadoop的服务器作为本实施例中的集群。

值得说明的是，大数据集群资源组件包括HDFS、YARN、HIVE及Hbase。

实施例四：

如图4所示，本发明的另一种大数据集群资源分配装置，包括：认证登录模块401、权限管控模块402、订阅模块403、获得管理权限模块404和管理模块405，认证登录模块401依次连接权限管控模块402、订阅模块403、获得管理权限模块404和管理模块405。

认证登录模块401，用于管理员通过Kerberos统一管理大数据集群资源组件的认证登录；权限管控模块402，用于管理员通过Apache Ranger实现对大数据集群资源的权限管控；订阅模块403，用于用户对大数据集群资源进行订阅；获得管理权限模块404，用于用户获得对订阅的大数据集群资源进行管理的权限；管理模块405，用于用户对订阅的大数据集群资源进行管理。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的算法步骤及模块，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。而这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种大数据集群资源分配方法，其特征在于，包括以下步骤：

管理员通过Kerberos统一管理大数据集群资源组件的认证登录；

管理员通过Apache Ranger实现对大数据集群资源的权限管控；

用户对大数据集群资源进行订阅；

用户获得对订阅的大数据集群资源进行管理的权限；

用户对订阅的大数据集群资源进行管理。

2.根据权利要求1所述的一种大数据集群资源分配方法，其特征在于，所述集群为多个搭建Hadoop的服务器。

3.根据权利要求1所述的一种大数据集群资源分配方法，其特征在于，所述大数据集群资源组件包括HDFS、YARN、HIVE及Hbase。

4.根据权利要求1所述的一种大数据集群资源分配方法，其特征在于，在管理员通过Kerberos统一管理大数据集群资源组件的认证登录之前，还包括：为集群搭建Kerberos。

5.根据权利要求1所述的一种大数据集群资源分配方法，其特征在于，在管理员通过Apache Ranger实现对大数据集群资源的权限管控之前，还包括：为集群安装ApacheRanger。

6.根据权利要求1所述的一种大数据集群资源分配方法，其特征在于，在用户对大数据集群资源进行订阅之前，还包括：

创建不同用户；

将不同用户的信息同步到Apache Ranger；

创建不同用户对应的大数据集群资源组件。

7.根据权利要求1所述的一种大数据集群资源分配方法，其特征在于，用户对订阅的大数据集群资源进行管理，包括：

用户对订阅的大数据集群资源进行读、写和分享管理；

其他用户对该用户分享的大数据集群资源进行读管理。

8.基于权利要求1-7中任一所述的一种大数据集群资源分配方法的一种大数据集群资源分配装置，其特征在于，包括：

认证登录模块，用于管理员通过Kerberos统一管理大数据集群资源组件的认证登录；

权限管控模块，用于管理员通过Apache Ranger实现对大数据集群资源的权限管控；

订阅模块，用于用户对大数据集群资源进行订阅；

获得管理权限模块，用于用户获得对订阅的大数据集群资源进行管理的权限；

管理模块，用于用户对订阅的大数据集群资源进行管理。

9.根据权利要求8所述的一种大数据集群资源分配装置，其特征在于，还包括：

搭建模块，用于为集群搭建Kerberos。

10.根据权利要求8所述的一种大数据集群资源分配装置，其特征在于，还包括：

安装模块，用于为集群安装Apache Ranger；

优选地，还包括：

第一创建模块，用于创建不同用户；

优选地，还包括：

同步模块，用于将不同用户的信息同步到Apache Ranger；

优选地，还包括：

第二创建模块，用于创建不同用户对应的大数据集群资源组件；

优选地，所述管理模块进一步包括：

管理子模块，用于用户对订阅的大数据集群资源进行读、写和分享管理；

读管理模块，用于其他用户对该用户分享的大数据集群资源进行读管理。