CN111427589B - 一种大数据集群资源管理系统的数据空间部署方法和装置 - Google Patents

一种大数据集群资源管理系统的数据空间部署方法和装置 Download PDF

Info

Publication number
CN111427589B
CN111427589B CN202010177875.4A CN202010177875A CN111427589B CN 111427589 B CN111427589 B CN 111427589B CN 202010177875 A CN202010177875 A CN 202010177875A CN 111427589 B CN111427589 B CN 111427589B
Authority
CN
China
Prior art keywords
hadoop
user experience
data
installation package
security management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010177875.4A
Other languages
English (en)
Other versions
CN111427589A (zh
Inventor
朱永芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010177875.4A priority Critical patent/CN111427589B/zh
Publication of CN111427589A publication Critical patent/CN111427589A/zh
Application granted granted Critical
Publication of CN111427589B publication Critical patent/CN111427589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Storage Device Security (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种大数据集群资源管理系统的数据空间部署方法和装置，该方法包括：激活Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件以提供权限控制；安装与其它节点的使用版本相同的java开发者工具包，并基于java开发者工具包安装网络认证协议并提供可信的第三方认证服务；向数据库中导入数据空间，以基于网页控制台、Hadoop集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据。本发明能够自动部署数据空间并检查部署情况，降低出错率，节约人力资源，并提高工作效率。

Description

一种大数据集群资源管理系统的数据空间部署方法和装置
技术领域
本发明涉及计算机技术领域，更具体地，特别是指一种大数据集群资源管理系统的数据空间部署方法和装置。
背景技术
大数据集群资源管理系统DataSpace(数据空间)允许用户通过界面或 Rest API轻松创建并共享给其他用户使用。但是DataSpace的安装部署却有些复杂，因为它依赖于较多组件，且对安装环境有一定的要求。部署人员要依次检查多个配置项，很是耗时耗力。
针对现有技术中数据空间部署困难的问题，目前尚无有效的解决方案。
发明内容
有鉴于此，本发明实施例的目的在于提出一种大数据集群资源管理系统的数据空间部署方法和装置，能够自动部署数据空间并检查部署情况，降低出错率，节约人力资源，并提高工作效率。
基于上述目的，本发明实施例的第一方面提供了一种大数据集群资源管理系统的数据空间部署方法，包括在大数据集群资源管理系统中的每个节点上分别执行以下步骤：
获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件，并激活Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；
获取集中式安全管理框架安装包并安装集中式安全管理框架，集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件以提供权限控制；
安装与其它节点的使用版本相同的java开发者工具包，并基于java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；
向数据库中导入数据空间，以基于网页控制台、Hadoop集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据。
在一些实施方式中，在存储大数据集群资源管理系统的元数据的元数据先检查数据空间是否部署完成，包括：
在大数据组件的安装路径的/hue、/ranger、和/kerberos位置下检查是否分别存在相应的Hadoop用户体验组件安装包、集中式安全管理框架安装包、和网络认证协议安装包；
检查所有节点的java开发者工具包的版本是否一致；
进入mysql数据库以检查数据空间的数据库是否存在；
响应于上述检查均通过而确认数据空间部署完成。
在一些实施方式中，响应于检查到Hadoop用户体验组件安装包或集中式安全管理框架安装包不存在而重新安装Hadoop用户体验组件或集中式安全管理框架，其中在安装Hadoop用户体验组件或集中式安全管理框架的过程中避免手动修改配置文件、手动安装依赖包、手动启动进程、和手动下载驱动包。
在一些实施方式中，Hadoop用户体验组件包括以下至少之一：Hive、 Hbase、HDFS；Hadoop集群交互式数据分析处理功能包括以下至少之一：操作HDFS上的数据、运行MapReduce Job；集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件包括：为不同的用户和组设置访问 HDFS文件夹、HDFS文件、数据库、表、字段的权限策略。
在一些实施方式中，可信的第三方认证服务包括执行基于共享密钥的传统认证服务。
本发明实施例的第二方面提供了一种大数据集群资源管理系统的数据空间部署装置，包括：
处理器；和
存储器，存储有处理器可运行的程序代码，程序代码在被运行时在大数据集群资源管理系统中的每个节点上分别执行以下步骤：
获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件，并激活Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；
获取集中式安全管理框架安装包并安装集中式安全管理框架，集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件以提供权限控制；
安装与其它节点的使用版本相同的java开发者工具包，并基于java 开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；
向数据库中导入数据空间，以基于网页控制台、Hadoop集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据。
在一些实施方式中，在存储大数据集群资源管理系统的元数据的元数据先检查数据空间是否部署完成，包括：
在大数据组件的安装路径的/hue、/ranger、和/kerberos位置下检查是否分别存在相应的Hadoop用户体验组件安装包、集中式安全管理框架安装包、和网络认证协议安装包；
检查所有节点的java开发者工具包的版本是否一致；
进入mysql数据库以检查数据空间的数据库是否存在；
响应于上述检查均通过而确认数据空间部署完成。
在一些实施方式中，响应于检查到Hadoop用户体验组件安装包或集中式安全管理框架安装包不存在而重新安装Hadoop用户体验组件或集中式安全管理框架，其中在安装Hadoop用户体验组件或集中式安全管理框架的过程中避免手动修改配置文件、手动安装依赖包、手动启动进程、和手动下载驱动包。
在一些实施方式中，Hadoop用户体验组件包括以下至少之一：Hive、 Hbase、HDFS；Hadoop集群交互式数据分析处理功能包括以下至少之一：操作HDFS上的数据、运行MapReduce Job；集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件包括：为不同的用户和组设置访问 HDFS文件夹、HDFS文件、数据库、表、字段的权限策略。
在一些实施方式中，可信的第三方认证服务包括执行基于共享密钥的传统认证服务。
本发明具有以下有益技术效果：本发明实施例提供的大数据集群资源管理系统的数据空间部署方法和装置，通过获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件，并激活Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；获取集中式安全管理框架安装包并安装集中式安全管理框架，集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件以提供权限控制；安装与其它节点的使用版本相同的java开发者工具包，并基于java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；向数据库中导入数据空间，以基于网页控制台、Hadoop集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据的技术方案，能够自动部署数据空间并检查部署情况，降低出错率，节约人力资源，并提高工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的大数据集群资源管理系统的数据空间部署方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种能够自动部署数据空间并检查部署情况的数据空间部署方法的一个实施例。图1示出的是本发明提供的大数据集群资源管理系统的数据空间部署方法的流程示意图。
所述的大数据集群资源管理系统的数据空间部署方法，如图1所示，包括在大数据集群资源管理系统中的每个节点上分别执行以下步骤：
步骤S101：获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件，并激活Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；
步骤S103：获取集中式安全管理框架安装包并安装集中式安全管理框架，集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件以提供权限控制；
步骤S105：安装与其它节点的使用版本相同的java开发者工具包，并基于java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；
步骤S107：向数据库中导入数据空间，以基于网页控制台、Hadoop 集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM) 或随机存储记忆体(RAM)等。所述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
在一些实施方式中，在存储大数据集群资源管理系统的元数据的元数据先检查数据空间是否部署完成，包括：
在大数据组件的安装路径的/hue、/ranger、和/kerberos位置下检查是否分别存在相应的Hadoop用户体验组件安装包、集中式安全管理框架安装包、和网络认证协议安装包；
检查所有节点的java开发者工具包的版本是否一致；
进入mysql数据库以检查数据空间的数据库是否存在；
响应于上述检查均通过而确认数据空间部署完成。
在一些实施方式中，响应于检查到Hadoop用户体验组件安装包或集中式安全管理框架安装包不存在而重新安装Hadoop用户体验组件或集中式安全管理框架，其中在安装Hadoop用户体验组件或集中式安全管理框架的过程中避免手动修改配置文件、手动安装依赖包、手动启动进程、和手动下载驱动包。
在一些实施方式中，Hadoop用户体验组件包括以下至少之一：Hive、 Hbase、HDFS；Hadoop集群交互式数据分析处理功能包括以下至少之一：操作HDFS上的数据、运行MapReduce Job；集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件包括：为不同的用户和组设置访问 HDFS文件夹、HDFS文件、数据库、表、字段的权限策略。
在一些实施方式中，可信的第三方认证服务包括执行基于共享密钥的传统认证服务。
根据本发明实施例公开的方法还可以被实现为由CPU(中央处理器) 执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
本发明使用shell为主要实现语言，从而完成DataSpace的安装部署配置，自动依此检测其所依赖的组件是否安装，并给出相应的提示，部署人员只需要根据提示来进行相应的操作即可，而非手动去一项一项地检查，如此便可节约大量的时间。下面根据具体实施例进一步阐述本发明的具体实施方式。
受限检查是否安装HUE(Hadoop用户体验组件)。HUE提供了Insight 应用的图形化用户操作界面，而DataSpace依赖于HUE在浏览器端的Web 控制台与Hadoop集群交互式分析处理数据的功能，例如操作HDFS上的数据、运行MapReduce Job等，极大的方便用户使用大数据平台提供的服务。进入大数据组件安装路径下，检查hue的安装包是否存在，如果存在，则证明hue已安装，否则未安装：
Figure BDA0002411412020000071
Insight平台在安装HUE时优化了安装流程，只需要在前端界面选择hue然后点击下一步即可，不需要在后台修改配置文件、手动安装依赖包、手动启动进程等操作。
然后检查是否安装Ranger(集中式安全管理框架)。Ranger可以对 Hadoop生态的组件如Hive、Hbase、HDFS等进行细粒度的数据访问控制。通过操作系统控制台，安全管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段等权限，这些策略可以为不同的用户和组来设置，同时权限可与Hadoop无缝对接。而DataSpace 部分功能依赖于其权限控制。进入大数据组件安装路径下，检查Ranger的安装包是否存在，如果存在，则证明Ranger已安装，否则未安装：
Figure BDA0002411412020000081
Insight平台在安装Ranger时优化了安装流程，只需要在前端界面选择 ranger然后点击下一步即可，不需要手动下载驱动包、修改配置文件等操作。
然后使用命令之间检查所有节点JDK版本是否一致：
java-version；
然后检查是否安装Kerberos。Kerberos是一种网络认证协议，目标是通过密钥系统为客户机/服务器应用程序提供强大的认证服务，而DataSpace将Kerberos认为是一种可信任的第三方认证服务，通过传统的密码技术(如共享密钥)执行认证服务。进入大数据组件安装路径下，检查Kerberos的安装包是否存在，如果存在，则证明Kerberos已安装，否则未安装：
echo"------开始检测是否安装Kerberos------"
cd/home
if[！-d"/kerberos"]；then
echo"Kerberos未安装，请安装Ranger"
else
echo"Kerberos已安装，请进行下一步检测"
fi
最后检查DataSpace数据库是否存在。DataSpace用数据库来存储其所有元数据。进入mysql数据库，使用命令检查dataspace数据库是否存在：
mysql–uroot–p
show databases；
从上述实施例可以看出，本发明实施例提供的大数据集群资源管理系统的数据空间部署方法，通过获取Hadoop用户体验组件安装包以安装 Hadoop用户体验组件，并激活Hadoop用户体验组件中的网页控制台与 Hadoop集群交互式数据分析处理功能；获取集中式安全管理框架安装包并安装集中式安全管理框架，集中式安全管理框架以细粒度的数据访问控制 Hadoop用户体验组件以提供权限控制；安装与其它节点的使用版本相同的 java开发者工具包，并基于java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；向数据库中导入数据空间，以基于网页控制台、Hadoop集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据的技术方案，能够自动部署数据空间并检查部署情况，降低出错率，节约人力资源，并提高工作效率。
需要特别指出的是，上述大数据集群资源管理系统的数据空间部署方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于大数据集群资源管理系统的数据空间部署方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种能够自动部署数据空间并检查部署情况的数据空间部署装置的一个实施例。大数据集群资源管理系统的数据空间部署装置包括：
处理器；和
存储器，存储有处理器可运行的程序代码，程序代码在被运行时在大数据集群资源管理系统中的每个节点上分别执行以下步骤：
获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件，并激活Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；
获取集中式安全管理框架安装包并安装集中式安全管理框架，集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件以提供权限控制；
安装与其它节点的使用版本相同的java开发者工具包，并基于java 开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；
向数据库中导入数据空间，以基于网页控制台、Hadoop集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据。
在一些实施方式中，在存储大数据集群资源管理系统的元数据的元数据先检查数据空间是否部署完成，包括：
在大数据组件的安装路径的/hue、/ranger、和/kerberos位置下检查是否分别存在相应的Hadoop用户体验组件安装包、集中式安全管理框架安装包、和网络认证协议安装包；
检查所有节点的java开发者工具包的版本是否一致；
进入mysql数据库以检查数据空间的数据库是否存在；
响应于上述检查均通过而确认数据空间部署完成。
在一些实施方式中，响应于检查到Hadoop用户体验组件安装包或集中式安全管理框架安装包不存在而重新安装Hadoop用户体验组件或集中式安全管理框架，其中在安装Hadoop用户体验组件或集中式安全管理框架的过程中避免手动修改配置文件、手动安装依赖包、手动启动进程、和手动下载驱动包。
在一些实施方式中，Hadoop用户体验组件包括以下至少之一：Hive、 Hbase、HDFS；Hadoop集群交互式数据分析处理功能包括以下至少之一：操作HDFS上的数据、运行MapReduce Job；集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件包括：为不同的用户和组设置访问 HDFS文件夹、HDFS文件、数据库、表、字段的权限策略。
在一些实施方式中，可信的第三方认证服务包括执行基于共享密钥的传统认证服务。
从上述实施例可以看出，本发明实施例提供的大数据集群资源管理系统的数据空间部署装置，通过获取Hadoop用户体验组件安装包以安装 Hadoop用户体验组件，并激活Hadoop用户体验组件中的网页控制台与 Hadoop集群交互式数据分析处理功能；获取集中式安全管理框架安装包并安装集中式安全管理框架，集中式安全管理框架以细粒度的数据访问控制 Hadoop用户体验组件以提供权限控制；安装与其它节点的使用版本相同的 java开发者工具包，并基于java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；向数据库中导入数据空间，以基于网页控制台、Hadoop集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据的技术方案，能够自动部署数据空间并检查部署情况，降低出错率，节约人力资源，并提高工作效率。
需要特别指出的是，上述大数据集群资源管理系统的数据空间部署装置的实施例采用了所述大数据集群资源管理系统的数据空间部署方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到所述大数据集群资源管理系统的数据空间部署方法的其他实施例中。当然，由于所述大数据集群资源管理系统的数据空间部署方法实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于所述大数据集群资源管理系统的数据空间部署装置也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和 /或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种大数据集群资源管理系统的数据空间部署方法，其特征在于，包括在所述大数据集群资源管理系统中的每个节点上分别执行以下步骤：
获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件，并激活所述Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；
获取集中式安全管理框架安装包并安装集中式安全管理框架，所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件以提供权限控制；
安装与其它节点的使用版本相同的java开发者工具包，并基于所述java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；
向数据库中导入所述数据空间，以基于所述网页控制台、所述Hadoop集群交互式数据分析处理功能、所述权限控制、和所述第三方认证服务来存储所述大数据集群资源管理系统的元数据。
2.根据权利要求1所述的方法，其特征在于，在存储所述大数据集群资源管理系统的元数据的所述元数据先检查所述数据空间是否部署完成，包括：
在大数据组件的安装路径的/hue、/ranger、和/kerberos位置下检查是否分别存在相应的所述Hadoop用户体验组件安装包、所述集中式安全管理框架安装包、和所述网络认证协议安装包；
检查所有节点的java开发者工具包的版本是否一致；
进入mysql数据库以检查所述数据空间的数据库是否存在；
响应于上述检查均通过而确认所述数据空间部署完成。
3.根据权利要求2所述的方法，其特征在于，响应于检查到所述Hadoop用户体验组件安装包或所述集中式安全管理框架安装包不存在而重新安装Hadoop用户体验组件或集中式安全管理框架，其中在安装Hadoop用户体验组件或集中式安全管理框架的过程中避免手动修改配置文件、手动安装依赖包、手动启动进程、和手动下载驱动包。
4.根据权利要求1所述的方法，其特征在于，所述Hadoop用户体验组件包括以下至少之一：Hive、Hbase、HDFS；所述Hadoop集群交互式数据分析处理功能包括以下至少之一：操作HDFS上的数据、运行MapReduce Job；所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件包括：为不同的用户和组设置访问HDFS文件夹、HDFS文件、数据库、表或字段的权限策略。
5.根据权利要求1所述的方法，其特征在于，可信的所述第三方认证服务包括执行基于共享密钥的传统认证服务。
6.一种大数据集群资源管理系统的数据空间部署装置，其特征在于，包括：
处理器；和
存储器，存储有处理器可运行的程序代码，所述程序代码在被运行时依次执行以下步骤：
获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件，并激活所述Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；
获取集中式安全管理框架安装包并安装集中式安全管理框架，所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件以提供权限控制；
安装与其它节点的使用版本相同的java开发者工具包，并基于所述java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；
向数据库中导入所述数据空间，以基于所述网页控制台、所述Hadoop集群交互式数据分析处理功能、所述权限控制、和所述第三方认证服务来存储所述大数据集群资源管理系统的元数据。
7.根据权利要求6所述的装置，其特征在于，在存储所述大数据集群资源管理系统的元数据的所述元数据先检查所述数据空间是否部署完成，包括：
在大数据组件的安装路径的/hue、/ranger、和/kerberos位置下检查是否分别存在相应的所述Hadoop用户体验组件安装包、所述集中式安全管理框架安装包、和所述网络认证协议安装包；
检查所有节点的java开发者工具包的版本是否一致；
进入mysql数据库以检查所述数据空间的数据库是否存在；
响应于上述检查均通过而确认所述数据空间部署完成。
8.根据权利要求6所述的装置，其特征在于，响应于检查到所述Hadoop用户体验组件安装包或所述集中式安全管理框架安装包不存在而重新安装Hadoop用户体验组件或集中式安全管理框架，其中在安装Hadoop用户体验组件或集中式安全管理框架的过程中避免手动修改配置文件、手动安装依赖包、手动启动进程、和手动下载驱动包。
9.根据权利要求6所述的装置，其特征在于，所述Hadoop用户体验组件包括以下至少之一：Hive、Hbase、HDFS；所述Hadoop集群交互式数据分析处理功能包括以下至少之一：操作HDFS上的数据、运行MapReduce Job；所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件包括：为不同的用户和组设置访问HDFS文件夹、HDFS文件、数据库、表或字段的权限策略。
10.根据权利要求6所述的装置，其特征在于，可信的所述第三方认证服务包括执行基于共享密钥的传统认证服务。
CN202010177875.4A 2020-03-13 2020-03-13 一种大数据集群资源管理系统的数据空间部署方法和装置 Active CN111427589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010177875.4A CN111427589B (zh) 2020-03-13 2020-03-13 一种大数据集群资源管理系统的数据空间部署方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010177875.4A CN111427589B (zh) 2020-03-13 2020-03-13 一种大数据集群资源管理系统的数据空间部署方法和装置

Publications (2)

Publication Number Publication Date
CN111427589A CN111427589A (zh) 2020-07-17
CN111427589B true CN111427589B (zh) 2022-12-06

Family

ID=71547924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010177875.4A Active CN111427589B (zh) 2020-03-13 2020-03-13 一种大数据集群资源管理系统的数据空间部署方法和装置

Country Status (1)

Country Link
CN (1) CN111427589B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066867A (zh) * 2017-03-11 2017-08-18 郑州云海信息技术有限公司 一种大数据集群资源分配方法及装置
CN107194239A (zh) * 2017-05-24 2017-09-22 郑州云海信息技术有限公司 一种权限管理方法及装置
CN110705712A (zh) * 2018-12-24 2020-01-17 杭州中软安人网络通信股份有限公司 面向第三方社会服务的人工智能基础资源与技术开放平台

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066867A (zh) * 2017-03-11 2017-08-18 郑州云海信息技术有限公司 一种大数据集群资源分配方法及装置
CN107194239A (zh) * 2017-05-24 2017-09-22 郑州云海信息技术有限公司 一种权限管理方法及装置
CN110705712A (zh) * 2018-12-24 2020-01-17 杭州中软安人网络通信股份有限公司 面向第三方社会服务的人工智能基础资源与技术开放平台

Also Published As

Publication number Publication date
CN111427589A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
US10791145B2 (en) Attaching web service policies to a group of policy subjects
CN109478149B (zh) 混合云计算系统中的访问服务
US9558343B2 (en) Methods and systems for controlling access to resources and privileges per process
US20180307860A1 (en) Managing configurations of computing terminals
US10924554B2 (en) Application customization
CN109479062B (zh) 混合云计算系统中的使用跟踪
US20120331518A1 (en) Flexible security token framework
CN108351769B (zh) 作为远程计算服务的仪表板
US20160125191A1 (en) Self-removal of enterprise app data
US9619631B1 (en) Role-based permissions for accessing computing resources
JP4848430B2 (ja) 仮想役割
CN108351923A (zh) 与统一可扩展固件接口系统可执行的脚本有关的阈值
US7950000B2 (en) Architecture that restricts permissions granted to a build process
US20190268349A1 (en) System and method for unified secure remote configuration and management of multiple applications on embedded device platform
US20210243085A1 (en) Deploying data-loss-prevention policies to user devices
CN111427589B (zh) 一种大数据集群资源管理系统的数据空间部署方法和装置
US10158531B2 (en) Leveraging and extending mobile operating system MDM protocol
RU2573782C1 (ru) Система и способ настройки компьютерной системы в соответствии с политикой безопасности
O'Leary et al. Network Services
Dingare Creating an Auto-Trigger Free-Style Job to Manage Java API Releases
Verginadis et al. A Context-Aware Service for Authorizing Multi-cloud Deployments
Simpkins et al. Least-Privileged SharePoint Builds
Matam et al. Troubleshooting JMeter
Paz et al. Deploying the Application
Leung et al. Deploying Your Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant