CN107241422B - 一种实时将外部用户及用户组信息同步进Apache Ranger的方法 - Google Patents

一种实时将外部用户及用户组信息同步进Apache Ranger的方法 Download PDF

Info

Publication number
CN107241422B
CN107241422B CN201710485533.7A CN201710485533A CN107241422B CN 107241422 B CN107241422 B CN 107241422B CN 201710485533 A CN201710485533 A CN 201710485533A CN 107241422 B CN107241422 B CN 107241422B
Authority
CN
China
Prior art keywords
user
user group
file
range
apache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710485533.7A
Other languages
English (en)
Other versions
CN107241422A (zh
Inventor
孙运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN201710485533.7A priority Critical patent/CN107241422B/zh
Publication of CN107241422A publication Critical patent/CN107241422A/zh
Application granted granted Critical
Publication of CN107241422B publication Critical patent/CN107241422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种实时将外部用户及用户组信息同步进Apache Ranger的方法，其特征在于，所述的方法包括以下步骤：步骤1：用户/用户组添加请求；步骤2：查询请求添加的用户/用户组；步骤3：生成用户/用户组信息文件；步骤4：用户/用户组信息同步至Apache Ranger。本发明可以实时的将用户/用户组添加进Apache Ranger当中，提高了用户/用户组添加的时效性。

Description

一种实时将外部用户及用户组信息同步进Apache Ranger的 方法
技术领域
本发明涉及服务器技术领域，具体的说是一种实时将外部用户及用户组信息同步进Apache Ranger的方法。
背景技术
在B/S架构的服务器系统中，Apache Ranger用于提供用户/用户组管理的web界面，但是，现有的系统中仅能添加内部用户/用户组(Internal)，对于外部用户/用户组(External)，Apache Ranger虽然提供用户同步的服务(UserSync)，即启动UserSync之后，Apache Ranger会定期的从LDAP和Unix中加载用户到Apache Ranger当中，然而，目前Apache Ranger无法做到实时的将制定的外部用户/用户组添加到Apache Ranger当中。
发明内容
为了解决上述问题，本发明提供了一种实时将外部用户及用户组信息同步进Apache Ranger的方法，可以实时的将用户/用户组添加进Apache Ranger当中，提高了用户/用户组添加的时效性。
本发明采用以下技术方案：
一种实时将外部用户及用户组信息同步进Apache Ranger的方法，其特征在于，所述的方法包括以下步骤：
步骤1：用户/用户组添加请求；
步骤2：查询请求添加的用户/用户组；
步骤3：生成用户/用户组信息文件；
步骤4：用户/用户组信息同步至Apache Ranger。
进一步的，步骤1的具体实现过程为：由客服端发送添加用户/用户组的请求，并将所添加用户/用户组的信息作为参数传给后台REST API接口。
进一步的，步骤2的具体实现过程为：后台服务调用Apache Ranger的查询接口，查询请求添加的用户/用户组是否为Aapche Ranger已经存在的用户，如果用户/用户组存在，则拒绝添加；如果用户不存在，则继续下一步。
进一步的，步骤3的具体实现过程为：后台服务将所要添加的用户/用户组信息生成文件保存在自定义的目录下，如果文件保存失败，则拒绝添加；如果文件保存成功，则继续下一步。
进一步的，步骤3中，生成文件的内容格式为JSON串，文件名的后缀为json。
进一步的，步骤4的具体实现过程为：后台服务调用自实现的Python脚本，将用户/用户组的文件拷贝到Apahce Ranger所在的服务器，然后调用Apache Ranger的方法类，将用户/用户组添加进Aapche Ranger。
本发明的有益效果是：
1、通过本方法的步骤设置，用户通过简单操作就可以将指定的外部用户/用户组实时添加进Apache Ranger当中，提高了用户/用户组添加的时效性，同时，本方法基于原有的B/S架构和系统，自带审计功能，可以记录由哪些用户做了哪些操作。
2、通过设置查询这一步骤，一方面，避免用户/用户组信息重复添加占用存储空间；另一方面，避免后续的添加操作占用系统资源。
3、通过限定文件格式，确保所有文件格式一致，提高识别和读取的效率。
4、通过服务器对用户/用户组信息进行中转，可以有效利用服务器中自带的Python脚本和Apache Ranger的方法类实现操作，减少了对原有系统的改造，提高了存储效率。
附图说明
图1是本发明方法的流程图。
具体实施方式
为了使本领域的技术人员能够更好地理解、实现本发明，下面通过具体实施例对本发明进行详细说明。
本发明中的重要英文缩写及单词说明：
LDAP的含义为：轻量级目录访问协议，以树状的层次结构来存储数据；AapacheRanger的含义为：提供一个集中式安全管理框架,并解决授权和审计；UserSync的含义为：用户同步。
如图1所示的一种实时将外部用户及用户组信息同步进Apache Ranger的方法，所述的方法包括以下步骤：
一种实时将外部用户及用户组信息同步进Apache Ranger的方法，其特征在于，所述的方法包括以下步骤：
步骤1：用户/用户组添加请求，具体实现过程为：由客服端发送添加用户/用户组的请求，并将所添加用户/用户组的信息作为参数传给后台REST API接口。
步骤2：查询请求添加的用户/用户组，具体实现过程为：后台服务调用ApacheRanger的查询接口，查询请求添加的用户/用户组是否为Aapche Ranger已经存在的用户，如果用户/用户组存在，则拒绝添加；如果用户不存在，则继续下一步。
步骤3：生成用户/用户组信息文件，具体实现过程为：后台服务将所要添加的用户/用户组信息生成文件保存在自定义的目录下，文件内容的格式为JSON串，文件名的后缀为json，如果文件保存失败，则拒绝添加；如果文件保存成功，则继续下一步。
步骤4：用户/用户组信息同步至Apache Ranger，具体实现过程为：后台服务调用自实现的Python脚本，将用户/用户组的文件拷贝到Apahce Ranger所在的服务器，然后调用Apache Ranger的方法类，将用户/用户组添加进Aapche Ranger。在此步骤中，对于同步是否成功需要进一步判定，如果同步成功，就会完成整个同步过程，如果不成功，最后也会拒绝添加。
尽管说明书及附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换；而一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造专利的保护范围当中。

Claims (1)

1.一种实时将外部用户及用户组信息同步进Apache Ranger的方法，其特征在于，所述的方法包括以下步骤：
步骤1：用户/用户组添加请求；步骤1的具体实现过程为：由客服端发送添加用户/用户组的请求，并将所添加用户/用户组的信息作为参数传给后台REST API接口；
步骤2：查询请求添加的用户/用户组；步骤2的具体实现过程为：后台服务调用ApacheRanger的查询接口，查询请求添加的用户/用户组是否为Aapche Ranger已经存在的用户，如果用户/用户组存在，则拒绝添加；如果用户不存在，则继续下一步；
步骤3：生成用户/用户组信息文件；步骤3的具体实现过程为：后台服务将所要添加的用户/用户组信息生成文件保存在自定义的目录下，如果文件保存失败，则拒绝添加；如果文件保存成功，则继续下一步；步骤3中，生成文件的内容格式为JSON串，文件名的后缀为json；
步骤4：用户/用户组信息同步至Apache Ranger，步骤4的具体实现过程为：后台服务调用自实现的Python脚本，将用户/用户组的文件拷贝到Apahce Ranger所在的服务器，然后调用Apache Ranger的方法类，将用户/用户组添加进Aapche Ranger。
CN201710485533.7A 2017-06-23 2017-06-23 一种实时将外部用户及用户组信息同步进Apache Ranger的方法 Active CN107241422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710485533.7A CN107241422B (zh) 2017-06-23 2017-06-23 一种实时将外部用户及用户组信息同步进Apache Ranger的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710485533.7A CN107241422B (zh) 2017-06-23 2017-06-23 一种实时将外部用户及用户组信息同步进Apache Ranger的方法

Publications (2)

Publication Number Publication Date
CN107241422A CN107241422A (zh) 2017-10-10
CN107241422B true CN107241422B (zh) 2020-08-11

Family

ID=59986714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710485533.7A Active CN107241422B (zh) 2017-06-23 2017-06-23 一种实时将外部用户及用户组信息同步进Apache Ranger的方法

Country Status (1)

Country Link
CN (1) CN107241422B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309582A (zh) * 2018-08-23 2019-02-05 深圳点猫科技有限公司 一种基于教育操作系统的云端同步方法及电子设备
CN109189594A (zh) * 2018-09-04 2019-01-11 山东浪潮云投信息科技有限公司 一种安全模式下添加Hadoop集群用户的方法
CN110519285A (zh) * 2019-08-30 2019-11-29 浙江大搜车软件技术有限公司 用户认证方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546247A (zh) * 2011-12-29 2012-07-04 华中科技大学 一种适用流式处理的大规模数据连续分析系统
CN105956082A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 实时数据处理与存储系统
CN106162639A (zh) * 2015-11-25 2016-11-23 北京邮电大学 基于Floodlight的SDN无线网络管理平台及认证方法
CN106294496A (zh) * 2015-06-09 2017-01-04 北京京东尚科信息技术有限公司 一种基于hadoop集群的数据迁移方法和工具
CN106445962A (zh) * 2015-08-10 2017-02-22 北京国双科技有限公司 一种数据导入方法及装置
CN106503158A (zh) * 2016-10-31 2017-03-15 深圳中兴网信科技有限公司 数据同步方法及装置
CN106843981A (zh) * 2017-02-06 2017-06-13 郑州云海信息技术有限公司 一种基于Apache Ambari的Hue服务自动化配置处理办法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104503967A (zh) * 2014-10-24 2015-04-08 浪潮电子信息产业股份有限公司 一种基于hadoop的网络推荐方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546247A (zh) * 2011-12-29 2012-07-04 华中科技大学 一种适用流式处理的大规模数据连续分析系统
CN106294496A (zh) * 2015-06-09 2017-01-04 北京京东尚科信息技术有限公司 一种基于hadoop集群的数据迁移方法和工具
CN106445962A (zh) * 2015-08-10 2017-02-22 北京国双科技有限公司 一种数据导入方法及装置
CN106162639A (zh) * 2015-11-25 2016-11-23 北京邮电大学 基于Floodlight的SDN无线网络管理平台及认证方法
CN105956082A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 实时数据处理与存储系统
CN106503158A (zh) * 2016-10-31 2017-03-15 深圳中兴网信科技有限公司 数据同步方法及装置
CN106843981A (zh) * 2017-02-06 2017-06-13 郑州云海信息技术有限公司 一种基于Apache Ambari的Hue服务自动化配置处理办法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Rsync的远程文件同步优化模型;王宾 等;《计算机与现代化》;20150429(第4期);第10-13页 *

Also Published As

Publication number Publication date
CN107241422A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
US20170235818A1 (en) Object-backed block-based distributed storage
US10951395B2 (en) Data fetching in data exchange networks
US8171171B2 (en) Data synchronization method and system between devices
WO2019057212A1 (zh) Cdn节点内服务调度方法、装置、设备及存储介质
US10579595B2 (en) Method and device for calling a distributed file system
US8352931B2 (en) Data push service method and system using data pull model
JP2005535947A (ja) 異なるタイプのバックエンド・データ・ストアにアクセスするためのシステムおよび方法
CN107241422B (zh) 一种实时将外部用户及用户组信息同步进Apache Ranger的方法
CN103605798A (zh) 一种直接操作云端存储文件的方法
WO2011038628A1 (zh) 数据获取方法、接入节点和系统
US10262024B1 (en) Providing consistent access to data objects transcending storage limitations in a non-relational data store
EP2778968A1 (en) Mobile telecommunication device remote access to cloud-based or virtualized database systems
US20080120412A1 (en) System and method for providing a hypertext transfer protocol service multiplexer
CN111427613B (zh) 一种应用程序接口api管理方法和装置
CN102932443A (zh) 基于hdfs集群的分布式云存储系统
CN109241712B (zh) 一种用于访问文件系统的方法和装置
CN109189590A (zh) 基于RESTful服务的存储管理方法及装置
WO2023207529A1 (zh) 数据处理方法、装置及设备、介质、产品
US11818112B2 (en) Directory service user synchronization
US20170364293A1 (en) Method and apparatus for data processing
JP2007035053A (ja) 異なる端末器間のセッション保持方法
US20130024543A1 (en) Methods for generating multiple responses to a single request message and devices thereof
CN114338130A (zh) 信息的处理方法、装置、服务器及存储介质
CN107528797B (zh) 数据处理方法、装置及系统
CN114462076B (zh) 一种文件权限的控制方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200522

Address after: 250101 floor 27, S01, Inspur Science Park, No. 1036, Inspur Road, Jinan City, Shandong Province

Applicant after: Tidal Cloud Information Technology Co.,Ltd.

Address before: 450018 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601

Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 27th floor, S01 building, Inspur Science Park, 1036 Inspur Road, hi tech Zone, Jinan City, Shandong Province

Applicant after: Inspur cloud Information Technology Co., Ltd

Address before: 250101 floor 27, S01, Inspur Science Park, No. 1036, Inspur Road, Jinan City, Shandong Province

Applicant before: Tidal Cloud Information Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant