CN102917006A

CN102917006A - 一种实现计算资源和对象权限的统一控制管理方法及装置

Info

Publication number: CN102917006A
Application number: CN2012103171262A
Authority: CN
Inventors: 李达; 赵俊凤
Original assignee: HANGZHOU SKY-MOBI TECHNOLOGY Co Ltd
Current assignee: HANGZHOU SKY-MOBI TECHNOLOGY Co Ltd
Priority date: 2012-08-31
Filing date: 2012-08-31
Publication date: 2013-02-06
Anticipated expiration: 2032-08-31
Also published as: CN102917006B

Abstract

本发明公开了一种实现计算资源和对象权限的统一控制管理方法及装置，意在提供一种有效快速处理数据集群的超大数据集的应用程序，实现数据集计算资源和对象权限的统一控制管理一种实现计算资源和对象权限的统一控制管理方法及装置。包括以下步骤：对象权限差异化管理步骤：把对象授权给某个Hive角色，每个Hive角色均设一个唯一的Hive角色端口，linux系统用户通过该linux系统用户所对应的Hive角色端口来启动一个hive服务器侦听，外部访问用户采用JDBC或Thrift方式进行配置，指定一个Hive角色端口来连接Hive对象，然后执行数据检索请求语句；包括：对象权限差异化管理层，资源共享限制管理层，操作系统层，访问接入层。本发明主要用在资源与权限管理技术中。

Description

一种实现计算资源和对象权限的统一控制管理方法及装置

技术领域

本发明涉及资源与权限管理技术领域，尤其涉及一种实现计算资源和对象权限的统一控制管理方法及装置。

背景技术

随着信息时代的发展，数据资源以数据集群的方式出现，因此，如何有效快速处理这些数据集群的超大数据集的应用程序，实现这些数据集计算资源和对象权限的统一控制管理，已经成为当前计算机领域的一项重大技术难题。

Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop充分利用集群的威力进行高速运算和存储，实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且能够设计部署在低廉的硬件上。而且Hadoop提供高传输率来访问应用程序的数据。因此，Hadoop适合那些有着超大数据集的应用程序。Hadoop 由许多元素构成。其最底层部是分布式文件系统，该分布式文件系统存储 Hadoop 集群中所有存储节点上的文件。该分布式文件系统的上一层是 MapReduce编程模型，该MapReduce编程模型由工作跟踪器 JobTrackers 和任务跟踪器 TaskTrackers 组成。

Hive是基于Hadoop的一个数据仓库工具，Hive可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce编程模型任务进行运行。 Hive学习成本低，可以通过类似SQL语句快速实现简单的MapReduce编程模型统计，不必开发专门的MapReduce编程模型应用，Hive十分便于对数据仓库的统计分析。Hive权限控制方式包括：

1）、为不同日志的元数据表建立不同的数据库。

2）、为不同的外部访问用户建立单独的目录。

3）、在单独的目录下，能修改Hive对象来配置相应的数据库。

4）、启动单独的Hive服务器实例，并监听不同的端口。

5）、在JDBC中连接自己对应的端口。

通过Hive权限控制方式，我们能够实现不同用户对不同数据库的访问控制。但表对象的授权及更细粒度的列对象的授权灵活性还不够，同时，还不能通过指定端口访问的方式来控制该端口所对应的用户还有多少个可以使用的计算资源。

Hadoop及Hive都需要结合Linux系统用户来对资源进行管理控制。其中，Hadoop可以通过公平调度器实现对各个不同用户的资源进行共享限制管理。公平调度是指随着时间的推移平均分配工作，这样每个作业都能平均地共享到资源。Hive允许创建对象，并将该对象授予用户，同时能够对该对象所包含的表、数据库、视图等对象进行授权。

因此，利用Hadoop对数据资源的共享和Hive对数据资源的权限管理的优点，形成一个组织协调、效快速处理集群数据资源的超大数据集的应用程序，实现数据集计算资源和对象权限的统一控制管理。

中国专利公开号CN101034990A，公开日是2007年9月12日，名称为“权限管理方法及装置”的方案中公开了一种权限管理方法，该方法包括步骤：查询用户的角色是否有对应的资源访问权限；当用户的角色没有对应的资源访问权限时，继续查询用户是否有对应的资源访问条件；如果用户没有对应的资源访问条件，拒绝用户对资源的访问；如果用户有对应的资源访问条件，对资源访问条件评估成功时允许用户对资源的访问；对资源访问条件评估失败时拒绝用户对资源的访问。不足之处是，这种权限管理方法，不能对数据资源进行一对一配置和管理，无法统一对分布式计算系统的数据资源和对象权限进行限制，无法直接查询外部系统用户是否符合数据资源访问的权限限制条件，无法做到灵活细化的权限管理。

发明内容

本发明是为了克服现有技术不能对数据资源进行一对一配置和管理，无法统一对分布式计算系统的数据资源和对象权限进行限制，无法直接查询外部系统用户是否符合数据资源访问的权限限制条件，无法做到灵活细化的权限管理的这些不足，提供一种有效快速处理数据集群的超大数据集的应用程序，实现数据集计算资源和对象权限的统一控制管理，能对数据资源进行一对一配置和管理，对分布式计算系统的数据资源和对象权限进统一行限制管理，能够直接查询外部系统用户是否符合数据资源访问的权限限制条件，灵活强，细化度高的一种实现计算资源和对象权限的统一控制管理方法及装置。

为了实现上述目的，本发明提供一种实现计算资源和对象权限的统一控制管理方法，包括以下步骤：

对象权限差异化管理步骤：把对象授权给某个Hive角色，每个Hive角色均设一个唯一的Hive角色端口，将Hive角色授予其对应的Linux系统用户，Linux系统用户再通过其所对应的Hive角色端口来启动一个Hive服务器侦听，外部访问用户采用JDBC或Thrift方式进行配置，指定一个Hive角色端口来连接Hive对象，然后执行数据检索请求语句；

资源共享限制管理步骤：把从数据检索请求后发来的数据检索请求任务，让该任务在分布式系统基础架构Hadoop的Hive服务器侦听端口处，由Hive将数据检索请求语句转换为MapReduce任务，然后按照数据检索请求任务所对应的linux系统用户的启动来对资源队列进行限制管理；

操作系统步骤：Linux系统用户对Hive角色进行管理。

用户登录HiveAdmin管理系统时，HiveAdmin管理系统首先会读取Hive的元数据表判断该用户是否已经被授权（即是否已拥有Hive角色），若没有则进入用户登陆授权流程。首先判断是否存在相匹配的角色，若没有则需要新增角色。新增角色时首先需要在Hive里创建角色对象。然后到角色管理模块，修改其对应的端口号，主要是记录角色id及启动端口号的一对一对应关系。同时记录操作用户及操作时间等信息。其次需要到Linux主服务器上新增对应的系统用户，并授权HDFS的访问权限给该用户，通过公平调度器配置该用户的资源限制数，并将新创建角色授予给该用户。最后Linux切换到该用户下，按新配置端口后启动Hive服务器。在用户登录成功后，可以在数据库查询窗口编辑好查询语句，执行查询语句操作后，Hive仓库会判断该端口对应的用户是否有对指定表或视图的操作权限，若没有则需要管理员通过授权操作对其进行授权，授权完成后，Hive将提交该计算任务给hadoop。在Hadoop接收到Hive提交的计算任务后，会判断该对应系统用户是否还有空余的计算资源数，如果有则直接执行。若没有则继续判断该用户是否已分配计算资源，如果有则等待上一个任务完成并释放资源；若没有则需要新增配置其对应系统用户的资源数。

作为优选，所述的资源队列由Hadoop的公平调度器对资源队列进行限制管理。

作为优选，所述的Hive角色与所述的Linux系统用户采用一对一的关系进行配置，并将该Hive角色授权给与该Hive角色对应的Linux系统用户。

相应地，本发明提供一种实现计算资源和对象权限的统一控制管理装置，包括：

对象权限差异化管理层，用于对Hive对象的权限差异化进行管理；

资源共享限制管理层，用于对资源队列进行有效的限制管理；

操作系统层，用于对Hive角色进行管理；

访问接入层，用于外部访问用户对Hive对象的访问。

作为优选，所述的Hive角色与Linux系统用户采用一对一的对应关系进行配置，并将该Hive角色授权给与该Hive角色对应的Linux系统用户。

本发明能够达到如下效果：

1、本发明由于利用了Hadoop对数据资源的共享和Hive对数据资源的权限管理的优点，形成了一个组织协调、效快速处理集群数据资源的超大数据集的应用程序，实现数据集计算资源和对象权限的统一控制管理。

2、进一步，由于Hadoop计算资源及Hive对象访问权限，都实现了应用系统的用户级绑定，因此，Hive能够控制到表及列等较小粒度对象的访问，从而实现对外各基于Hive数据仓库的应用系统的统一权限服务接口功能的限制管理。

3、再进一步，由于分布式文件系统有着高容错性的特点，并且能够设计部署在低廉的硬件上，Hive学习成本低，易于掌握Hive技术，从而使得本发明部署配置简单高效。

附图说明

图1是本发明的一种Hive权限控制示意框图。

图2是本发明的一种装置实施例组成示意图。

图3是本发明的一种流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种实现计算资源和对象权限的统一控制管理方法，包括以下步骤：

对象权限差异化管理步骤：把对象授权给某个Hive角色，每个Hive角色均设一个唯一的Hive角色端口，将Hive角色授予其对应的Linux系统用户，Linux系统用户再通过其所对应的Hive角色端口来启动一个Hive服务器侦听，外部访问用户采用JDBC或Thrift方式进行配置，指定一个Hive角色端口来连接Hive对象，然后执行数据检索请求语句。

资源共享限制管理步骤：把从数据检索请求后发来的数据检索请求任务，让该任务在分布式系统基础架构Hadoop的Hive服务器侦听端口处，由Hive将数据检索请求语句转换为MapReduce任务，然后按照数据检索请求任务所对应的linux系统用户的启动来对资源队列进行限制管理。

操作系统步骤：Linux系统用户对Hive角色进行管理。

管理方法中的资源队列由Hadoop的公平调度器对资源队列进行限制管理。Hive角色与Linux系统用户采用一对一的关系进行配置，并将该Hive角色授权给与该Hive角色对应的Linux系统用户。

相应地，本发明提供一种实现计算资源和对象权限的统一控制管理装置，如图2所示，包括：

访问接入层S1，用于外部访问用户对Hive对象的访问。

对象权限差异化管理层S2，用于对Hive对象的权限差异化进行管理；

资源共享限制管理层S3，用于对资源队列进行有效的限制管理；

操作系统层S4，用于对Hive角色进行管理；

资源队列由Hadoop的公平调度器对资源队列进行限制管理。Hive角色与Linux系统用户采用一对一的对应关系进行配置，并将该Hive角色授权给与该Hive角色对应的Linux系统用户。

工作过程：如图1、图3所示。

HiveAdmin管理系统是一个基于Hive开发的数据库管理工具，HiveAdmin管理系统主要实现了在web系统中对Hive数据仓库的可视化管理，支持SQL的在线编辑，包括执行表、视图等对象的浏览操作。HiveAdmin管理系统的权限控制如下：

用户登录：用户登录HiveAdmin管理系统时，HiveAdmin管理系统首先会读取Hive的元数据表判断该用户是否已经被授权（即是否已拥有Hive角色），若没有则进入用户登陆授权流程。开始，用户登录需进行用户身份验证，输入用户名及密码点击进入，判断用户是否有Hive权限。

用户登陆授权：首先判断是否存在相匹配的角色，若没有则需要新增角色。新增角色时首先需要在Hive里创建角色对象。然后到角色管理模块，修改其对应的端口号，主要是记录角色id及启动端口号的一对一对应关系。同时记录操作用户及操作时间等信息。其次需要到Linux主服务器上新增对应的系统用户，并授权hdfs的访问权限给该用户，通过Fair Scheduler配置该用户的资源限制数，并将新创建角色授予给该用户。最后Linux切换到该用户下，按新配置端口后启动Hive服务器。判断系统中是否存在新增授权与用户身份相匹配的对象，若不存在则需要进入用户登录授权流程模块进行新增加对象。新增授权后，要判断角色是否存在，如果角色不存在则要新增角色，新增授权的用户具有角色后，就对新增授权用户进行角色授权操作。在新增加对象时首先需要在Hive里创建对象。包括建立Hive数据库、建立数据表、建立视图、建立函数、建立用户对象。

对象权限管理：用户登录成功后，可以在SQL查询窗口编辑好查询语句，执行查询语句操作后，Hive仓库会判断该端口对应的用户是否有对指定表或视图的操作权限，若没有则需要管理员通过授权操作对其进行授权，授权完成后，Hive将提交该计算任务给hadoop。在新增授权用户的角色授权操作完成后进入到用户登录处进行登录，在登录后，用户采用JDBC或Thrift方式进行配置，指定一个Hive角色端口来连接Hive对象，然后进入到Hive对象管理流程，执行SQL数据检索请求语句，判断对象权限是否拥有，如果对象没有拥有权限，则要进行对象权限操作，使对象拥有权限。

Hadoop资源管理：在Hadoop接收到Hive提交的计算任务后，会判断该对应系统用户是否还有空余的计算资源数，如果有则直接执行。若没有则继续判断该用户是否已分配计算资源，如果有则等待上一个任务完成并释放资源；若没有则需要新增配置其对应系统用户的资源数。在对象拥有权限后，Hive对象管理流程就提交任务给对象。对象随即进入到Hadoop资源管理流程，首先判断节点空余计算资源是否拥有，如果节点没有空余计算资源，则判断用户是否已分配计算资源，如果用户已分配计算资源，则等待资源释放，在等待资源释放完成后，再次判断空余计算资源是否拥有并是否够用，如果够用，则执行任务。如果用户没有分配计算资源，则进行资源上限配置，在资源上限配置完成后，执行任务并结束。

上面结合附图描述了本发明的实施方式，但实现时不受上述实施例限制，本领域普通技术人员可以在所附权利要求的范围内做出各种变化或修改。

Claims

1. 一种实现计算资源和对象权限的统一控制管理方法，其特征在于，包括以下步骤：

操作系统步骤：linux系统用户对Hive角色进行管理。

2.根据权利要求1所述的一种实现计算资源和对象权限的统一控制管理方法，其特征在于，所述的资源队列由Hadoop的公平调度器对资源队列进行限制管理。

3.根据权利要求1所述的一种实现计算资源和对象权限的统一控制管理方法，其特征在于，所述的Hive角色与所述的Linux系统用户采用一对一的关系进行配置，并将该Hive角色授权给与该Hive角色对应的Linux系统用户。

4.一种实现计算资源和对象权限的统一控制管理装置，其特征在于，包括：

操作系统层，用于对Hive角色进行管理；

访问接入层，用于外部访问用户对Hive对象的访问。

5.根据权利要求4所述的一种实现计算资源和对象权限的统一控制管理装置，其特征在于，所述的资源队列由Hadoop的公平调度器对资源队列进行限制管理。

6.根据权利要求4所述的一种实现计算资源和对象权限的统一控制管理装置，其特征在于，所述的Hive角色与Linux系统用户采用一对一的对应关系进行配置，并将该Hive角色授权给与该Hive角色对应的Linux系统用户。