CN109740373A - 一种Hadoop集群管理方法、系统及平台 - Google Patents
一种Hadoop集群管理方法、系统及平台 Download PDFInfo
- Publication number
- CN109740373A CN109740373A CN201811555942.0A CN201811555942A CN109740373A CN 109740373 A CN109740373 A CN 109740373A CN 201811555942 A CN201811555942 A CN 201811555942A CN 109740373 A CN109740373 A CN 109740373A
- Authority
- CN
- China
- Prior art keywords
- cluster
- hadoop
- account
- access role
- sensitive data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Storage Device Security (AREA)
Abstract
本发明涉及大数据领域，一种Hadoop多集群管理方法，包括：设定访问角色，为访问角色分配至少一个从账号；为从账号分配集群权限，从账号对分配到权限的集群进行操作；配置敏感数据，对集群中涉及的敏感数据进行处理；为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，对集群进行操作。
Description
技术领域
本发明涉及大数据领域，具体涉及到Hadoop集群管理方法、系统及平台。
背景技术
随着信息技术的飞速发展，信息时代产生的数据日益在膨胀，Hadoop作为解决大数据领域的重要技术手段，目前被广泛应用着。在大型数据应用环境下往往存在一个以上的Hadoop集群，这些集群提供了对海量业务数据的离线处理分析能力。在实际的生产运行过程中，通常涉及到多个Hadoop大数据集群平台，而大数据集群平台的技术决定其安全建设工作的复杂性，安全建设的重要性毋庸置疑。市面上已存在用于管理Hadoop平台，可以实现Hadoop生态系统组件MapReduce,Hive,Hbase及HDFS的可视化管理界面，如Hue，用户可以在Hue提供的管理界面上实现MapReduce任务提交，Hive查询，Hbase表的查看以及HDFS文件的浏览。但是现有的管理平台存在着以下缺点，1、仅支持单个Hadoop集群，无法处理多个Hadoop集群进行管理，更无法对多个集群的跨版本实现自由管控，无法满足当前大数据形势下，多集群的统一管理。2：对于集群中的敏感数据的访问，仅支持对于应用层面的管理，无法实现对于应用中的数据进行管理控制，从而难以对用户的访问行为进行完全掌控，存在数据安全隐患。
发明内容
为克服现有技术中存在的缺陷，本发明提供一种可配置多Hadoop集群以及不同版本Hadoop集群的管理平台。
本发明的技术方案如下：
一种Hadoop多集群管理方法，包括：
设定访问角色，为访问角色分配至少一个从账号；
为从账号分配集群权限，从账号对分配到权限的集群进行操作；
配置敏感数据，对集群中涉及的敏感数据进行处理；
为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，对集群进行操作。
其中，所述多集群管理方法还包括，对集群配置对应版本依赖的jar包。
其中，所述对集群中涉及的敏感数据进行处理的方式包括：对数据进行过滤或加密。
其中，所述对集群配置对应版本依赖的jar包，还包括：设置自定义类加载器，实现自由加载对应版本依赖的jar包，并使用对应版本依赖的jar包生成对应版本的业务逻辑操作实例，用于打开对应版本的集群。
其中，所述对集群配置对应版本依赖的jar包后还包括，将集群对应的版本依赖的jar包以及集群的类加载器保存到系统缓存中。
其中，所述对集群进行操作前还包括对用户账号进行鉴权认证：利用加载预先配置的keytab路径文件在服务器中进行认证，若认证通过，则对集群进行操作，若认证不通过，不能对集群进行操作。
一种Hadoop多集群管理系统，包括：
访问角色配置模块，用于设定访问角色，为访问角色分配至少一个从账号；
从账号权限分配模块，用于为从账号分配集群权限，对分配到权限的集群进行操作；
敏感数据配置模块，用于配置敏感数据，对集群中涉及的敏感数据进行处理；
用户账号配置模块，用于为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，对集群进行操作。
一种Hadoop多集群管理系统，所述敏感数据配置模块对敏感数据处理的方式包括：对数据进行过滤或加密。
一种Hadoop多集群管理系统，还包括集群版本配置模块，对集群配置对应版本依赖的文件包。
一种Hadoop多集群管理平台，包括Hadoop多集群管理系统。
本发明与现有技术相比，具有如下有益效果：
本发明通过为用户设定访问角色，为访问角色配置多个从账号，通过从账号的集群权限来对集群进行操作，从而实现用户对多个Hadoop集群进行访问；本发明通过对集群配置对应版本依赖的文件包，实现对不同版本的集群均可进行操作；本发明对集群中的敏感数据进行权限设置，实现集群信息安全的管控。
附图说明
图1为本发明集群管理方法流程图。
具体实施方式
以下结合附图对本发明作进一步的说明。
参见图1，一种Hadoop多集群管理方法，包括：
S1：设定访问角色，为访问角色分配至少一个从账号；
S2：为从账号分配集群权限，从账号可对分配到权限的集群进行操作；
S3：配置敏感数据，对集群中涉及的敏感数据进行处理；
S4：为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，在可视化界面中对集群进行操作，选择了集群后，系统加载集群配置信息；
具体为，若用户账号预设的访问角色关联了多个从账号，登录用户账号后，用户可以获取所述多个从账号分配得到的集群权限，在可视化界面中选择某一个有操作权限的集群；
若用户账号预设的访问角色只关联了一个从账号，则表示当前用户只存在一个从账号分配得到的集群的权限。
所述多集群管理方法还包括，对集群配置对应版本依赖的jar包。
所述对集群配置对应版本依赖的jar包，还包括：设置自定义类加载器，实现自由加载对应版本依赖的jar包，并使用对应版本依赖的jar包生成对应版本的业务逻辑操作实例，用于打开对应版本的集群。
具体为：选择了集群后，可获取集群的配置信息，包括core-site.xml、mapred-site.xml、yarn-site.xml、hdfs-site.xml、hbase-site.xml等集群配置文件，以及集群对应版本依赖的jar文件包；
根据集群的配置信息，到系统缓存中检查是否存在该集群对应的类加载器，如果存在该集群的类加载器，获取类加载器；如果不存在，使用自定义的类加载器加载集群依赖的jar包，并使用这个类加载器利用反射机制，修改业务操作类实例中使用的集群API，如MapReduce任务运行使用的YarnClient、Configuration等关联对象，得到一个当前集群对应版本的业务逻辑操作实例。
所述对集群配置对应版本依赖的jar包后还包括，将集群版本对应的版本依赖的jar包、集群对应的类加载器以及集群配置信息保存到系统缓存中，以供后续处理操作时使用，减少重复加载。
所述对集群进行操作前还包括对用户账号进行鉴权认证：利用加载预先配置的keytab路径文件在服务器中进行认证，若认证通过，则对集群进行操作，若认证不通过，不能对集群进行操作。
具体步骤为：将用户账号对应的从账号在上述步骤中获得的操作实例对集群进行打开操作，安全打开后，使用keytab文件通过Kerberos服务器进行认证，通过账号认证以后系统可以进行后续的操作，这些操作包括以下内容
a)MapReduce：任务提交，任务历史查看以及MapReduce任务终止操作；
b)HDFS：文件的新增、查看、修改、删除、权限修改、复制、移动及内容下载操作，文件夹的新增、删除、移动、权限修改操作；
c)Hive：脚本查询、查询结果下载、查询历史记录、Hive表元数据查看；
d)Hbase：表信息查询、新增及删除，表数据查询、新增、删除。
所述对集群中涉及的敏感数据进行处理的方式包括：对数据进行过滤或加密。
根据用户对应从账号的敏感数据配置信息，对查询结果数据进行过滤，对于需要输入密码才能显示的内容，按配置信息做加密处理。
一种Hadoop多集群管理系统，包括：
访问角色配置模块，用于设定访问角色，为访问角色分配至少一个从账号；
从账号权限分配模块，用于为从账号分配集群权限，对分配到权限的集群进行操作；
敏感数据配置模块，用于配置敏感数据，对集群中涉及的敏感数据进行处理；
用户账号配置模块，用于为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，对集群进行操作。
一种Hadoop多集群管理系统，所述敏感数据配置模块对敏感数据处理的方式包括：对数据进行过滤或加密。
一种Hadoop多集群管理系统，还包括集群版本配置模块，对集群配置对应版本依赖的文件包。
一种Hadoop多集群管理平台，包括Hadoop多集群管理系统。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种Hadoop多集群管理方法，其特征在于：包括：
设定访问角色，为访问角色分配至少一个从账号；
为从账号分配集群权限，从账号对分配到权限的集群进行操作；
配置敏感数据，对集群中涉及的敏感数据进行处理；
为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，对集群进行操作。
2.如权利要求1所述的一种Hadoop多集群管理方法，其特征在于：所述多集群管理方法还包括，对集群配置对应版本依赖的jar包。
3.如权利要求1所述的一种Hadoop多集群管理方法，其特征在于：所述对集群中涉及的敏感数据进行处理的方式包括：对数据进行过滤或加密。
4.如权利要求1所述的一种Hadoop多集群管理方法，其特征在于：所述对集群配置对应版本依赖的jar包，还包括：设置自定义类加载器，实现自由加载对应版本依赖的jar包，并使用对应版本依赖的jar包生成对应版本的业务逻辑操作实例，用于打开对应版本的集群。
5.如权利要求1所述的一种Hadoop多集群管理方法，其特征在于：所述对集群配置对应版本依赖的jar包后还包括，将集群对应的版本依赖的jar包以及集群的类加载器保存到系统缓存中。
6.如权利要求1所述的一种Hadoop多集群管理方法，其特征在于：所述对集群进行操作前还包括对用户账号进行鉴权认证：利用加载预先配置的keytab路径文件在服务器中进行认证，若认证通过，则对集群进行操作，若认证不通过，不能对集群进行操作。
7.一种Hadoop多集群管理系统，其特征在于：包括：
访问角色配置模块，用于设定访问角色，为访问角色分配至少一个从账号；
从账号权限分配模块，用于为从账号分配集群权限，对分配到权限的集群进行操作；
敏感数据配置模块，用于配置敏感数据，对集群中涉及的敏感数据进行处理；
用户账号配置模块，用于为用户账号预设访问角色，使用用户账号登录集群管理平台，基于访问角色配置的从账号获得的集群权限，对集群进行操作。
8.如权利要求7所述的一种Hadoop多集群管理系统，其特征在于：所述敏感数据配置模块对敏感数据处理的方式包括：对数据进行过滤或加密。
9.如权利要求8所述的一种Hadoop多集群管理系统，其特征在于：一种Hadoop多集群管理系统，还包括集群版本配置模块，对集群配置对应版本依赖的文件包。
10.一种Hadoop多集群管理平台，其特征在于：包括Hadoop多集群管理系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811555942.0A CN109740373A (zh) | 2018-12-19 | 2018-12-19 | 一种Hadoop集群管理方法、系统及平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811555942.0A CN109740373A (zh) | 2018-12-19 | 2018-12-19 | 一种Hadoop集群管理方法、系统及平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109740373A true CN109740373A (zh) | 2019-05-10 |
Family
ID=66360646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811555942.0A Withdrawn CN109740373A (zh) | 2018-12-19 | 2018-12-19 | 一种Hadoop集群管理方法、系统及平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109740373A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209107A (zh) * | 2019-12-26 | 2020-05-29 | 中科曙光国际信息产业有限公司 | 多集群操作方法 |
| CN114489833A (zh) * | 2021-12-31 | 2022-05-13 | 武汉达梦数据库股份有限公司 | 一种在应用程序中提交flink作业到yarn集群的实现方法与装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9390285B1 (en) * | 2015-06-09 | 2016-07-12 | Hortonworks, Inc. | Identifying inconsistent security policies in a computer cluster |
| CN106250776A (zh) * | 2016-07-25 | 2016-12-21 | 北京集奥聚合科技有限公司 | 一种多维度的hadoop权限控制方法和系统 |
| CN107358069A (zh) * | 2017-07-16 | 2017-11-17 | 塞纳德（北京）信息技术有限公司 | 一种基于Hue的权限管理系统 |
| CN107895113A (zh) * | 2017-12-06 | 2018-04-10 | 北京搜狐新媒体信息技术有限公司 | 一种支持hadoop多集群的细粒度数据权限控制方法及系统 |
-
2018
- 2018-12-19 CN CN201811555942.0A patent/CN109740373A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9390285B1 (en) * | 2015-06-09 | 2016-07-12 | Hortonworks, Inc. | Identifying inconsistent security policies in a computer cluster |
| CN106250776A (zh) * | 2016-07-25 | 2016-12-21 | 北京集奥聚合科技有限公司 | 一种多维度的hadoop权限控制方法和系统 |
| CN107358069A (zh) * | 2017-07-16 | 2017-11-17 | 塞纳德（北京）信息技术有限公司 | 一种基于Hue的权限管理系统 |
| CN107895113A (zh) * | 2017-12-06 | 2018-04-10 | 北京搜狐新媒体信息技术有限公司 | 一种支持hadoop多集群的细粒度数据权限控制方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王拓 等: ""Java类动态加载机制在铁路互联网售票中的设计与实现"", 《铁路计算机应用》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209107A (zh) * | 2019-12-26 | 2020-05-29 | 中科曙光国际信息产业有限公司 | 多集群操作方法 |
| CN114489833A (zh) * | 2021-12-31 | 2022-05-13 | 武汉达梦数据库股份有限公司 | 一种在应用程序中提交flink作业到yarn集群的实现方法与装置 |
| CN114489833B (zh) * | 2021-12-31 | 2022-12-23 | 武汉达梦数据库股份有限公司 | 一种在应用程序中提交flink作业到yarn集群的实现方法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11675918B2 (en) | Policy-based user device security checks | |
| US10848520B2 (en) | Managing access to resources | |
| Awaysheh et al. | Next-generation big data federation access control: A reference model | |
| US8863299B2 (en) | Secure virtual file management system | |
| EP3398091B1 (en) | System and method for unified access control on federated database | |
| US8990950B2 (en) | Enabling granular discretionary access control for data stored in a cloud computing environment | |
| US11232215B2 (en) | Electronic laboratory notebook system and method | |
| US20100241668A1 (en) | Local Computer Account Management at Domain Level | |
| US20140351895A1 (en) | Method and apparatus for process enforced configuration management | |
| DE112013002544T5 (de) | Cloudbasiertes Teilen von Datenpunkten und Zusammenarbeit unter Benutzergruppen | |
| US9235584B2 (en) | Self-removal of enterprise app data | |
| US20100281173A1 (en) | Delegated administration for remote management | |
| US20140250505A1 (en) | Multi-user use of single-user apps | |
| US20140173720A1 (en) | System and method for controlling the on and off state of features at runtime | |
| US20210286890A1 (en) | Systems and methods for dynamically applying information rights management policies to documents | |
| US20220337578A1 (en) | Integrated authentication and authorization for cloud data lakes | |
| CN106529324B (zh) | 一种用户身份切换方法及装置 | |
| US9619631B1 (en) | Role-based permissions for accessing computing resources | |
| US11790058B2 (en) | Automated role management for resource accessing code | |
| EP2718848A2 (de) | Zugriffskontrolle auf in einer cloud gespeicherte daten | |
| US20170270287A1 (en) | Methods and apparatus for using credentials to access computing resources | |
| CN109740373A (zh) | 一种Hadoop集群管理方法、系统及平台 | |
| US20100030805A1 (en) | Propagating information from a trust chain processing | |
| US11636068B2 (en) | Distributed file locking for a network file share | |
| Lakhe et al. | Introducing Hadoop |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190510 |
|
| WW01 | Invention patent application withdrawn after publication |