CN111049869B

CN111049869B - 一种Hadoop集群中用户管理方法及系统

Info

Publication number: CN111049869B
Application number: CN201811197279.1A
Authority: CN
Inventors: 邓应强; 王杰斌; 赖新明; 孔令熙; 杨硕
Original assignee: Aisino Corp
Current assignee: Aisino Corp
Priority date: 2018-10-15
Filing date: 2018-10-15
Publication date: 2022-09-02
Anticipated expiration: 2038-10-15
Also published as: CN111049869A

Abstract

本发明涉及大数据处理技术领域，公开了一种Hadoop集群中用户管理方法及系统，用于简化Hadoop集群中用户管理流程，方便Hadoop集群中用户的管理以及提升管理效率。所述方法包括：获得虚拟用户组对应的业务需要Hadoop集群中多个应用模块的使用权限的第一信息，将所述第一信息存储在数据库中；当获得基于所述虚拟用户组添加至少一个用户的第二信息时，根据所述第一信息，授权所述至少一个用户使用所述多个应用模块以处理所述业务。

Description

一种Hadoop集群中用户管理方法及系统

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种Hadoop集群中用户管理方法及系统。

背景技术

大数据时代，Hadoop集群应用越来越广泛，在实际应用中，当使用Hadoop集群处理一个业务，需要多个用户使用Hadoop集群的多个应用模块，这首先需要在Hadoop集群中添加处理业务所需的用户，且每个新添加的用户都要在获得其使用到的集群中的应用模块的权限才能开始处理业务。现有技术中，每添加一个用户就需要为该用户逐一添加需要使用的Hadoop集群中应用模块的权限，随着Hadoop集群功能的丰富，使用的Hadoop集群的应用模块越来越多，需要为用户添加的权限也越来越多，用户体系的管理越来越复杂。

发明内容

本发明实施例提供了一种Hadoop集群中用户管理方法及系统，用于简化Hadoop集群中用户管理流程，方便Hadoop集群中用户的管理以及提升管理效率。

第一方面，本发明实施例提供了一种Hadoop集群中用户管理方法，包括：

获得虚拟用户组对应的业务需要Hadoop集群中多个应用模块的使用权限的第一信息，将所述第一信息存储在数据库中；

当获得基于所述虚拟用户组添加至少一个用户的第二信息时，根据所述第一信息，授权所述至少一个用户使用所述多个应用模块以处理所述业务。

可选的，所述根据所述第一信息，授权所述至少一个用户使用所述多个应用模块以处理所述业务，具体包括：

针对所述至少一个用户中的任一个用户，为所述任一个用户在搭建Hadoop集群的环境中新建用户帐号，以及分配所述多个应用模块中每个应用模块对应的应用帐号，共分配获得与所述多个应用模块数目对应的至少一个应用帐号，其中，每一个应用帐号用于授权用户使用对应的应用模块；

绑定为所述任一个用户新建的所述用户帐号与所述至少一个应用帐号，以使所述任一个用户通过为其新建的所述用户帐号使用所述多个应用模块以处理所述业务。

可选的，若所述第一信息携带针对所述多个应用模块的配置要求时，所述获得基于所述虚拟用户组添加至少一个用户的第二信息之后，所述方法还包括：按照所述配置要求配置所述多个应用模块。

可选的，所述授权所述用户使用所述多个应用模块之后，所述方法还包括：

获得删除所述虚拟用户组的第三信息，删除基于所述虚拟用户组添加的所述至少一个用户的用户帐号以及至少一个应用帐号。

可选，不同虚拟用户组对应不同业务。

第二方面，本发明实施例提供了一种Hadoop集群中用户管理系统，包括：

获取单元，用于获得虚拟用户组对应的业务需要Hadoop集群中多个应用模块的使用权限的第一信息，将所述第一信息存储在数据库中；

授权单元，用于当获得基于所述虚拟用户组添加至少一个用户的第二信息时，根据所述第一信息，授权所述至少一个用户使用所述多个应用模块以处理所述业务。

可选的，所述授权单元，还用于：

可选的，所述系统还包括配置单元，用于在若所述第一信息携带针对所述多个应用模块的配置要求时，所述获得基于所述虚拟用户组添加至少一个用户的第二信息之后，按照所述配置要求配置所述多个应用模块。

可选的，所述获取单元，还用于获得删除所述虚拟用户组的第三信息，删除基于所述虚拟用户组添加的所述至少一个用户的用户帐号以及至少一个应用帐号。

可选的，不同虚拟用户组对应不同业务。

在本发明实施例中，首先在获得虚拟用户组对应业务所需Hadoop集群中多个应用模块的使用权限的第一信息时，将获得的业务处理所需使用的应用模块的使用权限的第一信息存储到数据库中；然后，当获得基于所述虚拟用户组添加至少一个用户的第二信息时，根据所述第一信息，统一授权所述用户使用所述多个应用模块以处理所述业务；最后，在获得删除所述虚拟用户组的第三信息，删除基于所述虚拟用户组添加的所述至少一个用户的用户帐号以及所述至少一个应用帐号。这样就可以统一的为添加到虚拟用户组中的所有用户，即业务对应的所有用户，分配使用Hadoop集群中多个应用模块的权限，并且仅需一次操作，就将业务对应的用户帐号信息和权限全部删除，实现对Hadoop集群中用户的相同业务对应用户的统一管理，使得Hadoop集群中用户管理更简便，提升了Hadoop集群中用户管理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明实施例提供的一种Hadoop集群中用户管理方法的流程图；

图2为本发明实施例提供授权用户使用应用模块以处理业务的流程图；

图3为本发明实施例提供一种Hadoop集群中用户管理系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明技术方案保护的范围。

下面对本发明实施例中涉及的部分概念进行介绍。

Hadoop集群是一种专门为存储和分析海量非结构化数据而设计的特定类型的集群。本质上，它是一种计算集群，即将数据分析的工作分配到多个集群节点上，从而并行处理数据。Hadoop集群非常适合大数据分析，且可扩展性大，故障容错性高。Hadoop集群由多个服务器组成，多个服务器又分为主控服务和从服务器，主控服务器用于统一管理Hadoop集群。本发明实施例中的包括分布式存储系统和常用的软件及安全架构，包括HDFS，Hive，HBase，Spark和kerberos认证等应用模块。

在具体的实践过程中，本发明的发明人发现，在使用Hadoop集群对一个业务的数据进行分析时，首先要新建与该业务对应的用户，然后再为新建的用户添加需要使用的Hadoop集群中的多个应用模块的权限，以便该用户可以使用Hadoop集群中的多个应用模块。为此，本发明的发明人考虑到，随着Hadoop集群功能的丰富，在一个业务需要多个用户使用集群的多个功能模块时，而多个用户需要使用的Hadoop集群中的应用模块相同，但却需要分别为这多个用户中的每一个用户单独执行申请多个应用模块的权限的过程，且删除多个用户的权限时又需要分别针对每个用户执行删除的过程，操作起来重复、繁琐、效率低，且不利于对Hadoop集群中用户的管理。

基于此，本发明实施例提供了一种Hadoop集群中用户管理方法，该方法在获得虚拟用户组对应的业务需要使用Hadoop集群中的多个应用模块的使用权限的第一信息时，可将第一信息存储在数据库中，当获得基于虚拟用户组添加至少一个用户的第二信息时，根据存储在数据库中的第一信息，统一为至少一个用户分配使用Hadoop集群中多个应用模块的权限，即处理对应业务的权限，从而实现了统一授权给业务中多个用户使用Hadoop集群中的多个应用模块的权限，所以具有操作简单、效率高，且方便了Hadoop集群中用户的管理。

进一步的，本发实施例当获得删除通过虚拟用户组添加至少一个用户的第三信息时，可以直接删除至少一个用户的系统帐号以及至少一个应用帐号时，进而实现批量删除具有相同应用模块使用权限的所有新建用户的帐号信息、权限信息，所以，进一步简化了操作，提高了效率以及方便了Hadoop集群中用户的管理。

下面结合说书附图介绍本发明实施例提供的技术方案。

请参见图1，本发明实施例提供一种Hadoop集群中用户管理方法，该方法的流程描述如下。

步骤101:获得虚拟用户组对应的业务需要Hadoop集群中多个应用模块的使用权限的第一信息，将第一信息存储在数据库中。

在本发明实施例中，Hadoop集群可以是基于Linux操作系统搭建而成，也可以是基于Unix操作系统或其他操作系统搭建而成，具体基于哪一系统搭建Hadoop集群根据实际情况而定，本发明实施例中以基于Linux操作系统搭建的Hadoop集群为例，来对本发明实施例中的方法进行说明。

在具体的实践过程中，使用Hadoop集群执行一个业务时，该业务可能需要使用Hadoop集群的多个应用模块，基于该业务新建的一个或者多个用户，新建的用户所需获得的Hadoop集群中应用模块的权限是相同的。因此，可以通过在与Hadoop集群相连的前端设备的页面中添加针对该业务的虚拟用户组的方式，使Hadoop集群的主控服务器获得虚拟用户组对应的业务需要使用的Hadoop集群中多个应用模块的使用权限的第一信息，并将获得的第一信息存储到数据库中。

其中，在前端设备的页面中添加虚拟用户组的同时，会添加虚拟用户组对应的业务所需用到的Hadoop集群中多个应用模块的使用权限，Hadoop集群的主控服务器就可基于添加虚拟用户组的方式，获得代表虚拟用户组对应业务需要Hadoop集群中多个应用模块的使用权限的第一信息，其中，虚拟用户组并不是在Linux操作系统中新建的一个系统用户组，而是为了让Hadoop集群的主控服务器获取虚拟用户组对应业务所需使用的Hadoop集群中者多个应用模块的使用权限信息的一种方式。

例如，业务A需要使用基于Linux操作系统搭建的Hadoop集群处理数据，首先需要在与Hadoop集群连接的前端设备的页面中添加一个与业务A对应的虚拟用户组，并添加业务A所需使用的Hadoop集群中多个应用模块的权限。Hadoop集群的主控服务器就会获得业务A需要使用到的Hadoop集群中的多个应用模块的权限的第一信息，并将获取的第一信息存储到一个数据库中，如，存储到Hadoop集群中的mysql数据库中。

步骤102：当获得基于虚拟用户组添加至少一个用户的第二信息时，根据第一信息，授权至少一个用户使用多个应用模块以处理业务。

在本发明实施例中，一个业务对应一个虚拟用户组，即不同的业务添加的虚拟用户组不同，每个虚拟用户组因处理业务的不同所需获取的Hadoop集群中应用模块的使用权限的信息也不同。其中，每个虚拟用户组中又可以添加多个用户，添加用户的个数根据业务实际需求而确定，即每个业务可能包含多个用户，每个用户所需获取的使用Hadoop集群中应用模块的权限是相同的。

在本发明实施例中，一个业务需要至少一个用户来使用Hadoop集群中的多个应用模块对业务中海量数据的处理，因此，针对一个业务，可以将处理该业务的至少一个用户添加到前端设备的页面中与待处理业务对应的虚拟组中。当在虚拟用户组中添加至少一个用户时，前端设备可向Hadoop集群的主控服务器发送在该虚拟用户组中添加至少一个用户的第二信息，Hadoop集群主控服务器接收到该第二信息之后，从存储在数据库中获取之前存储的与该虚拟用户组对应的第一信息，并根据第一信息，授权至少一个用户使用多个应用模块以处理业务。

其中，在本发明实施例中，根据第一信息授权至少一个用户使用多个应用模块以处理业务可以按照图2所示的流程执行，图2所示的流程，包括：

步骤201：针对至少一个用户中的任一个用户，为任一个用户在搭建Hadoop集群的环境中新建用户帐号，以及分配多个应用模块中每个应用模块对应的应用帐号，共分配获得与多个应用模块数目对应的至少一个应用帐号，其中，每一个应用帐号用于授权用户使用对应的应用模块；

步骤202：绑定为任一个用户新建的用户帐号与至少一个应用帐号，以使任一个用户通过为其新建的用户帐号使用多个应用模块以处理业务。

在本发明实施例中，因为一个虚拟用户组对应一个业务，所以同一虚拟用户组中的用户对应的Linux用户帐号属于一个业务，管理虚拟用户组中的用户就相当于管理Linux用户帐号。用户在前端设备的页面的虚拟用户组中添加用户时，相应的Hadoop集群的主控服务器会在搭建Hadoop集群的Linux系统中为添加的用户新建Linux用户帐号即用户账号，若在前端设备的页面的虚拟用户组中添加多个用户，对应的可新建多少个Linux用户帐号。Hadoop集群的主控服务器会为新建的Linux用户帐号分配业务所需用到的Hadoop集群中多个应用模块中每个应用模块对应的应用帐号，每一个应用帐号用于授权用户使用与期其对应的应用模块。

例如，A业务需要使用Hadoop集群中的HDFS应用模块和Hive应用模块，为完成A业务，在虚拟用户组中添加了用户1，相应的Hadoop集群的主控服务器会在Hadoop集群所在的Linux系统中新建一个Linux用户帐号1，然后Hadoop集群的主控服务器就会为用户1分配一个HDFS应用模块的应用帐号1和一个Hive应用模块的应用帐号1，这就相当于用户1获得了使用HDFS应用模块和Hive应用模块的权限。

在本发明实施例中，为了进一步便于管理用户即管理用户对应的多个用户账号，可将用户对应的Linux用户帐号与为用户分配的多个应用帐号绑定在一起，使得用户可以通过Linux用户帐号，使用与Linux用户帐号绑定的多个应用帐号对应的多个应用模块处理业务。承接上例，为用户1分配好HDFS应用模块的应用帐号1和Hive应用模块的应用帐号1后，将Linux用户帐号1与HDFS应用模块的应用帐号1和Hive应用模块的应用帐号1绑定在一起，因此，用户1可以通过Linux用户帐号1使用HDFS应用模块和Hive应用模块处理业务。

同样的，当在一个虚拟用户组中添加有多个用户来共同处理业务时，Hadoop集群的主控服务器将会在Hadoop集群所在的Linux系统中新建多个Linux用户帐号，并分别为多个Linux用户帐号中每个Linux用户帐号分配完成业务所需使用的Hadoop集群中多个应用模块的多个应用帐号，使新建的多个Linux用户帐号中的每个Linux用户帐号可以使用Hadoop集群中多个应用模块处理业务，具体方法与上述在虚拟用户组中添加一个用户的方法相同，在此不再赘述。

例如，继续以处理上文叙述的A业务为例，当在A业务对应的虚拟用户组中同时添加用户1和用户2两个用户时，对应的Hadoop集群的主控服务器会在Hadoop集群所在的Linux系统中同时新建Linux用户帐号1和Linux用户帐号2，为添加的用户1即Linux用户帐号1分配HDFS应用模块的应用帐号1和Hive应用模块的应用帐号1，为用户2即Linux用户帐号2分配HDFS应用模块的应用帐号2和Hive应用模块的应用帐号2，并将Linux用户帐号1与HDFS应用模块的应用帐号1、Hive应用模块的应用帐号1绑定在一起，将Linux用户帐号2与HDFS应用模块的应用帐号2、Hive应用模块的应用帐号2绑定在一起。这样用户1和用户2就可以分别通过Linux用户帐号1和Linux用户帐号2来分别使用HDFS应用模块和Hive应用模块处理业务。

一种可选的实施方式，在本发明实施例中，当上述的第一信息中携带有针对多个应用模块的配置要求时，在Hadoop集群的主控服务器获得在虚拟用户组中添加至少一个用户的第二信息后，可以按照第一信息中携带的关于多个应用模块的配置要求来为添加的用户配置应用模块。例如，第一信息中携带有针对2个应用模块的配置要求，Hadoop集群的主控服务器在获得第二信息后就按照配置要求为用户配置2个应用模块。

步骤103：获得删除虚拟用户组的第三信息，删除基于虚拟用户组添加的所述至少一个用户的用户帐号以及至少一个应用帐号。

在本发明实施例中，当至少一个用户基于上述步骤101和步骤102获得多个应用模块的使用权限以及使用Hadoop集群中的多个应用模块完成业务处理后，为了避免浪费Hadoop集群资源和进一步方便Hadoop集群中用户的管理，可以删除基于上述步骤101和步骤102建立的至少一个用户中每个用户对应的系统帐号以及至少一个应用帐号。删除的方式可以是在前端设备的页面中的虚拟用户组(该虚拟用户组也为添加该至少一个用户时的用户组)删除至少一个用户，前端设备可将在虚拟用户组删除至少一个用户的信息发送给Hadoop集群的主控服务器，从而使获得删除该虚拟用户组的消息即步骤103中的第三消息，然后将虚拟用户组中至少一个用户中的每个用户对应的Linux用户帐号以及与Linux用户帐号绑定在一起的Hadoop集群中多个应用模块的多个应用帐号都删除，即删除至少一个用户中每个用户的用户帐号和获得的使用Hadoop集群中多个应用模块的权限。这样只需操作一次就可将一个业务中所有用户的Linux用户帐号和与Linux用户帐号使用Hadoop集群中应用模块的权限全部删除，不用一个一个的单独删除。

所以，通过上述方法在获得虚拟用户组对应业务所需Hadoop集群中多个应用模块的使用权限的第一信息时，将获得的业务处理所需使用的应用模块的使用权限的第一信息存储到数据库中；当获得基于所述虚拟用户组添加至少一个用户的第二信息时，根据所述第一信息，统一授权所述用户使用所述多个应用模块以处理所述业务；在获得删除所述虚拟用户组的第三信息，删除基于所述虚拟用户组添加的至少一个用户的用户帐号以及至少一个应用帐号。这样就可以统一的为添加到虚拟用户组中的所有用户，即业务对应的所有用户，分配使用Hadoop集群中多个应用模块的权限，并且仅需一次操作，就将业务对应的用户帐号信息和权限全部删除，从而实现了统一授权给业务中多个用户使用Hadoop集群中的多个应用模块的权限，所以具有操作简单、效率高，且方便了Hadoop集群中用户的管理。

基于同一发明构思，本发明实施例中提供了一种Hadoop集群中用户管理系统，该系统的Hadoop集群中用户管理方法的具体实施可参见上述方法实施例部分的描述，重复之处不再赘述，如图3所述该系统包括：

获取单元30，用于获得虚拟用户组对应的业务需要Hadoop集群中多个应用模块的使用权限的第一信息，将所述第一信息存储在数据库中；

授权单元31，用于当获得基于所述虚拟用户组添加至少一个用户的第二信息时，根据所述第一信息，授权所述至少一个用户使用所述多个应用模块以处理所述业务。

可选的，所述授权单元31，还用于：

可选的，所述系统还包括配置单元32，用于在若所述第一信息携带针对所述多个应用模块的配置要求时，所述获得基于所述虚拟用户组添加至少一个用户的第二信息之后，按照所述配置要求配置所述多个应用模块。

可选的，所述获取单元30，还用于获得删除所述虚拟用户组的第三信息，删除基于所述虚拟用户组添加的所述至少一个用户的用户帐号以及至少一个应用帐号。

可选的，不同虚拟用户组对应不同业务。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种Hadoop集群中用户管理方法，其特征在于，包括：

当获得基于所述虚拟用户组添加至少一个用户的第二信息时，根据所述第一信息，授权所述至少一个用户使用所述多个应用模块以处理所述业务；

其中，根据所述第一信息，授权所述至少一个用户使用所述多个应用模块以处理所述业务，具体包括：

2.如权利要求1所述的方法，其特征在于，若所述第一信息携带针对所述多个应用模块的配置要求时，所述获得基于所述虚拟用户组添加至少一个用户的第二信息之后，所述方法还包括：按照所述配置要求配置所述多个应用模块。

3.如权利要求1所述的方法，其特征在于，所述授权所述至少一个用户使用所述多个应用模块之后，所述方法还包括：

4.如权利要求1所述的方法，其特征在于，不同虚拟用户组对应不同业务。

5.一种Hadoop集群中用户帐号管理系统，其特征在于，包括：

授权单元，用于当获得基于所述虚拟用户组添加至少一个用户的第二信息时，根据所述第一信息，授权所述至少一个用户使用所述多个应用模块以处理所述业务；

其中，所述授权单元还用于：

6.如权利要求5所述的系统，其特征在于，所述系统还包括配置单元，用于在若所述第一信息携带针对所述多个应用模块的配置要求时，所述获得基于所述虚拟用户组添加至少一个用户的第二信息之后，按照所述配置要求配置所述多个应用模块。

7.如权利要求5所述的系统，其特征在于，所述获取单元，还用于获得删除所述虚拟用户组的第三信息，删除基于所述虚拟用户组添加的所述至少一个用户的用户帐号以及至少一个应用帐号。

8.如权利要求5所述的系统，其特征在于，不同虚拟用户组对应不同业务。