CN109189594A - 一种安全模式下添加Hadoop集群用户的方法 - Google Patents

一种安全模式下添加Hadoop集群用户的方法 Download PDF

Info

Publication number
CN109189594A
CN109189594A CN201811025790.3A CN201811025790A CN109189594A CN 109189594 A CN109189594 A CN 109189594A CN 201811025790 A CN201811025790 A CN 201811025790A CN 109189594 A CN109189594 A CN 109189594A
Authority
CN
China
Prior art keywords
user
added
hadoop cluster
safe mode
hadoop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811025790.3A
Other languages
English (en)
Inventor
李富裕
张立勇
王晓恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Wave Cloud Mdt Infotech Ltd
Original Assignee
Shandong Wave Cloud Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Wave Cloud Mdt Infotech Ltd filed Critical Shandong Wave Cloud Mdt Infotech Ltd
Priority to CN201811025790.3A priority Critical patent/CN109189594A/zh
Publication of CN109189594A publication Critical patent/CN109189594A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/541—Client-server

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明特别涉及一种安全模式下添加Hadoop集群用户的方法。该安全模式下添加Hadoop集群用户的方法，采用B/S架构，在web界面发送添加用户请求，基于需要添加的用户信息，调用REST API查看集群上计算节点上是否存在该用户；如果用户不存在，调用Python语言实现用户添加脚本，将用户添加进Hadoop集群当中，并将添加成功或者失败的运行结果返回后台服务器。该安全模式下添加Hadoop集群用户的方法，提供了可视化操作界面，可以将用户实时添加进Secure Mode下的Hadoop集群中，提高了用户添加的时效性、易用性。

Description

一种安全模式下添加Hadoop集群用户的方法
技术领域
本发明涉及大数据技术领域，特别涉及一种安全模式下添加Hadoop集群用户的方法。
背景技术
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。
Hadoop主要有以下几个优点：
（1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
（2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（3）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
（4）高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
（5）低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
在安全模式（Secure Mode）下的Hadoop集群，Linux Container Executor要求所有提交任务的用户在集群的计算节点上创建，完成用户创建才能保证container正常启动。因此，需要去每一个节点上创建用户，并为用户创建主目录。目前的操作方式是在每一个节点上执行添加用户的操作，缺乏统一的入口完成用户的添加。如果集群规模非常大，操作的难度可想而知。
基于上述情况，本发明提出了一种安全模式下添加Hadoop集群用户的方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的安全模式下添加Hadoop集群用户的方法。
本发明是通过如下技术方案实现的：
一种安全模式下添加Hadoop集群用户的方法，其特征在于：采用B/S架构，在web界面发送添加用户请求，基于需要添加的用户信息，调用REST API查看集群上计算节点上是否存在该用户；如果用户不存在，调用Python语言实现用户添加脚本，将用户添加进Hadoop集群当中，并将添加成功或者失败的运行结果返回后台服务器。
具体包括以下步骤：
（1）由客服端发送添加用户请求，并将所添加用户信息作为参数传给后台服务器；
（2）后台服务器获取Hadoop集群的计算节点；
（3）调用Python实现查询脚本，查询请求添加的用户是否为节点存在用户，如果用户不存在，添加用户，继续执行下一步，如果用户存在则直接执行下一步；
（4）判断是否还有剩余未添加用户的计算节点，如果存在剩余计算节点则跳转到步骤（2）继续执行，如果不存在剩余计算节点则完成用户添加。
所述步骤（1）中，客服端通过REST API接口将所添加用户信息作为参数传给后台服务器。
所述步骤（2）中，后台服务器调取Amabari的接口获取Hadoop集群的计算节点。
本发明的有益效果是：该安全模式下添加Hadoop集群用户的方法，提供了可视化操作界面，可以将用户实时添加进Secure Mode下的Hadoop集群中，提高了用户添加的时效性、易用性。
附图说明
附图1为本发明安全模式下添加Hadoop集群用户的方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该安全模式下添加Hadoop集群用户的方法，采用B/S架构，在web界面发送添加用户请求，基于需要添加的用户信息，调用REST API查看集群上计算节点上是否存在该用户；如果用户不存在，调用Python语言实现用户添加脚本，将用户添加进Hadoop集群当中，并将添加成功或者失败的运行结果返回后台服务器。
具体包括以下步骤：
（1）由客服端发送添加用户请求，并将所添加用户信息作为参数传给后台服务器；
（2）后台服务器获取Hadoop集群的计算节点；
（3）调用Python实现查询脚本，查询请求添加的用户是否为节点存在用户，如果用户不存在，添加用户，继续执行下一步，如果用户存在则直接执行下一步；
（4）判断是否还有剩余未添加用户的计算节点，如果存在剩余计算节点则跳转到步骤（2）继续执行，如果不存在剩余计算节点则完成用户添加。
所述步骤（1）中，客服端通过REST API接口将所添加用户信息作为参数传给后台服务器。
所述步骤（2）中，后台服务器调取Amabari的接口获取Hadoop集群的计算节点。

Claims (4)

1.一种安全模式下添加Hadoop集群用户的方法，其特征在于：采用B/S架构，在web界面发送添加用户请求，基于需要添加的用户信息，调用REST API查看集群上计算节点上是否存在该用户；如果用户不存在，调用Python语言实现用户添加脚本，将用户添加进Hadoop集群当中，并将添加成功或者失败的运行结果返回后台服务器。
2.根据权利要求1所述的安全模式下添加Hadoop集群用户的方法，其特征在于，具体包括以下步骤：
（1）由客服端发送添加用户请求，并将所添加用户信息作为参数传给后台服务器；
（2）后台服务器获取Hadoop集群的计算节点；
（3）调用Python实现查询脚本，查询请求添加的用户是否为节点存在用户，如果用户不存在，添加用户，继续执行下一步，如果用户存在则直接执行下一步；
（4）判断是否还有剩余未添加用户的计算节点，如果存在剩余计算节点则跳转到步骤（2）继续执行，如果不存在剩余计算节点则完成用户添加。
3.根据权利要求2所述的安全模式下添加Hadoop集群用户的方法，其特征在于：所述步骤（1）中，客服端通过REST API接口将所添加用户信息作为参数传给后台服务器。
4.根据权利要求2所述的安全模式下添加Hadoop集群用户的方法，其特征在于：所述步骤（2）中，后台服务器调取Amabari的接口获取Hadoop集群的计算节点。
CN201811025790.3A 2018-09-04 2018-09-04 一种安全模式下添加Hadoop集群用户的方法 Pending CN109189594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811025790.3A CN109189594A (zh) 2018-09-04 2018-09-04 一种安全模式下添加Hadoop集群用户的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811025790.3A CN109189594A (zh) 2018-09-04 2018-09-04 一种安全模式下添加Hadoop集群用户的方法

Publications (1)

Publication Number Publication Date
CN109189594A true CN109189594A (zh) 2019-01-11

Family

ID=64914362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811025790.3A Pending CN109189594A (zh) 2018-09-04 2018-09-04 一种安全模式下添加Hadoop集群用户的方法

Country Status (1)

Country Link
CN (1) CN109189594A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160147749A1 (en) * 2011-05-04 2016-05-26 Yahoo! Inc. Dynamically determining the relatedness of web objects
CN106648801A (zh) * 2016-12-30 2017-05-10 广东浪潮大数据研究有限公司 一种Hadoop集群自动添加删除节点的方法
CN107241422A (zh) * 2017-06-23 2017-10-10 郑州云海信息技术有限公司 一种实时将外部用户及用户组信息同步进Apache Ranger的方法
CN107734035A (zh) * 2017-10-17 2018-02-23 华南理工大学 一种云计算环境下的虚拟集群自动伸缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160147749A1 (en) * 2011-05-04 2016-05-26 Yahoo! Inc. Dynamically determining the relatedness of web objects
CN106648801A (zh) * 2016-12-30 2017-05-10 广东浪潮大数据研究有限公司 一种Hadoop集群自动添加删除节点的方法
CN107241422A (zh) * 2017-06-23 2017-10-10 郑州云海信息技术有限公司 一种实时将外部用户及用户组信息同步进Apache Ranger的方法
CN107734035A (zh) * 2017-10-17 2018-02-23 华南理工大学 一种云计算环境下的虚拟集群自动伸缩方法

Similar Documents

Publication Publication Date Title
US8584136B2 (en) Context-aware request dispatching in clustered environments
US9378042B2 (en) Virtual machine multicast/broadcast in virtual network
CN108667925B (zh) 一种web应用无缝接入分布式系统的方法和系统
US8819210B2 (en) Multi-tenant infrastructure
US10936659B2 (en) Parallel graph events processing
US20130067100A1 (en) Multi-desktop interaction using nested remote desktop sessions
WO2017172557A1 (en) High performance query processing and data analytics
CN103873534A (zh) 一种应用集群迁移方法及装置
CN109814978A (zh) 基于多OpenStack平台的跨集群迁移方法及系统
US10255049B2 (en) Non-blocking application object framework and dependency model management
US10642648B2 (en) Auto-adaptive serverless function management
US11620345B2 (en) Method and apparatus for a mechanism for event replay when a reroute of recordation of the event occurred in a multiplexed event recordation system
US20140331078A1 (en) Elastic Space-Based Architecture application system for a cloud computing environment
CN112787999A (zh) 跨链调用方法、装置、系统与计算机可读存储介质
US20110153826A1 (en) Fault tolerant and scalable load distribution of resources
US9854047B2 (en) Service pool for multi-tenant applications
US10078652B2 (en) Reducing latency in performing a task among distributed systems
US10346155B1 (en) Compilation optimization via dynamic server cloning
US11601495B2 (en) Mechanism for a work node scan process to facilitate cluster scaling
CN109189594A (zh) 一种安全模式下添加Hadoop集群用户的方法
US20200257574A1 (en) Method and system for detection and handling of discontinuities in event delivery systems
US11128701B1 (en) Cooperative preemption in a distributed multi-tenant resource pool
CN116861397A (zh) 一种请求处理方法、装置、电子设备及计算机可读介质
US11100106B1 (en) Query engine virtualization
US20090094314A1 (en) Reroute of a web service in a web based application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111

RJ01 Rejection of invention patent application after publication