CN109343863B - 一种hdfs权限的界面配置方法及系统 - Google Patents
一种hdfs权限的界面配置方法及系统 Download PDFInfo
- Publication number
- CN109343863B CN109343863B CN201811035164.2A CN201811035164A CN109343863B CN 109343863 B CN109343863 B CN 109343863B CN 201811035164 A CN201811035164 A CN 201811035164A CN 109343863 B CN109343863 B CN 109343863B
- Authority
- CN
- China
- Prior art keywords
- user
- permission
- hdfs
- interface
- directory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Storage Device Security (AREA)
Abstract
本发明提供一种HDFS权限的界面配置方法，需提供用户同步插件、hdfs权限管理插件和权限管理系统；该方法包括：通过用户同步插件按间隔时间同步linux系统用户和用户组到数据库；在权限管理系统中设置权限配置界面，获取数据库中用户和用户组信息，从hdfs文件系统获取目录信息显示在该界面上，并显示目录权限，用户在该界面对用户、用户组信息、目录信息和目录权限做选择与绑定，得到权限验证规则。通过hdfs权限管理插件定期同步权限验证规则到本地缓存，根据本地缓存的权限验证规则判断用户是否有权限来实现控制，并生成审计数据写入数据库。本发明还提供一种HDFS权限的界面配置系统，降低用户配置hdfs权限的门槛，并提供后续追踪和查阅的数据。
Description
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种HDFS权限的界面配置方法及系统。
背景技术
HDFS支持权限控制，是基于POSIX模型的，支持按用户、用户组、其他用户的读、写、执行控制权限。在linux命令行下，可使用命令进行修改。但这种采用命令行进行的权限修改操作对于普通用户存在一定难度，使用门槛要求较高，不利于进行权限配置。
发明内容
本发明要解决的技术问题之一，在于提供一种HDFS权限的界面配置方法，降低了用户配置hdfs权限的门槛，同时提供审计数据供后续追踪和查阅。
本发明要解决的技术问题之一是这样实现的：一种HDFS权限的界面配置方法，需提供用户同步插件、hdfs权限管理插件以及权限管理系统；所述方法包括如下步骤：
步骤10、在linux系统中安装用户同步插件，通过所述用户同步插件按一定间隔时间同步linux系统用户和用户组到数据库中；
步骤20、在权限管理系统中设置一权限配置界面，获取数据库中的用户和用户组信息，并从hdfs文件系统获取目录信息，将用户、用户组信息、目录信息以及目录权限显示在所述权限配置界面上，用户通过在所述权限配置界面中对用户、用户组信息、目录信息以及目录权限进行选择与绑定操作，得到对应的权限验证规则，所述目录权限包括读、写和执行权限。
步骤30、在hdfs文件系统中植入hdfs权限管理插件，通过所述hdfs权限管理插件定期使用权限管理系统提供的restful接口，同步权限验证规则到本地缓存，当用户访问hdfs目录时，根据本地缓存的权限验证规则判断用户是否有权限，实现对用户的目录权限的控制，并在用户访问目录时记录用户访问操作生成审计数据写入数据库中。
进一步的，所述审计数据包括用户对hdfs目录的访问时间、访问类型、权限验证结果，所述访问类型包括读、写和执行。
进一步的，步骤20还包括：提供审计查看界面，从数据库中获取用户每次访问的hdfs目录、访问类型、访问时间、权限结果在所述审计查看界面上显示，供用户进行查看与分析。
进一步的，步骤20还包括：提供权限验证规则的查看和管理界面，在所述查看和管理界面上显示权限验证规则，并对所述权限验证规则设置启用、禁用和删除选项，供用户进行权限修改。
本发明要解决的技术问题之二，在于提供一种HDFS权限的界面配置系统，降低了用户配置hdfs权限的门槛，同时提供审计数据供后续追踪和查阅。
本发明要解决的技术问题之二是这样实现的：一种HDFS权限的界面配置系统，需提供用户同步插件、hdfs权限管理插件以及权限管理系统，所述界面配置系统包括用户数据同步模块、权限配置模块和权限控制模块：
所述用户数据同步模块，用于在linux系统中安装用户同步插件，通过所述用户同步插件按一定间隔时间同步linux系统用户和用户组到数据库中；
所述权限配置模块，用于在权限管理系统中设置一权限配置界面，获取数据库中的用户和用户组信息，并从hdfs文件系统获取目录信息，将用户、用户组信息、目录信息以及目录权限显示在所述权限配置界面上，用户通过在所述权限配置界面中对用户、用户组信息、目录信息以及目录权限进行选择与绑定操作，得到对应的权限验证规则，所述目录权限包括读、写和执行权限。
所述权限控制模块，用于在hdfs文件系统中植入hdfs权限管理插件，通过所述hdfs权限管理插件定期使用权限管理系统提供的restful接口，同步权限验证规则到本地缓存，当用户访问hdfs目录时，根据本地缓存的权限验证规则判断用户是否有权限，实现对用户的目录权限的控制，并在用户访问目录时记录用户访问操作生成审计数据写入数据库中。
进一步的，所述审计数据包括用户对hdfs目录的访问时间、访问类型、权限验证结果，所述访问类型包括读、写和执行。
进一步的，所述权限配置模块还包括审计查询模块，用于提供审计查看界面，从数据库中获取用户每次访问的hdfs目录、访问类型、访问时间、权限结果在所述审计查看界面上显示，供用户进行查看与分析。
进一步的，所述权限配置模块还包括权限查看与管理模块，用于提供权限验证规则的查看和管理界面，在所述查看和管理界面上显示权限验证规则，并对所述权限验证规则设置启用、禁用和删除选项，供用户进行权限修改。
本发明具有如下优点：通过用户同步插件将用户、用户组信息同步到数据库中，并实时获取目录信息以界面形式展现给用户，供用户进行权限配置，通过将权限配置结果同步到本地缓存中实现权限判断，同时获取审计数据写入数据库中共后续分析，实现可视化配置过程以及信息追踪功能。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种HDFS权限的界面配置方法的执行流程图。
图2为本发明的一种HDFS权限的界面配置系统结构示意图。
图3为本发明的系统框架图。
具体实施方式
如图1和图3所示，本发明的一种HDFS权限的界面配置方法，需提供用户同步插件、hdfs权限管理插件以及权限管理系统；所述方法包括如下步骤：
步骤10、在linux系统中安装用户同步插件，通过所述用户同步插件按一定间隔时间同步linux系统用户和用户组到数据库中，所述一定间隔时间可配置，为了减少数据库和linux系统的用户不一致时间，可配置为30秒；
步骤20、在权限管理系统中设置一权限配置界面，获取数据库中的用户和用户组信息，并从hdfs文件系统获取目录信息，将用户、用户组信息、目录信息以及目录权限显示在所述权限配置界面上，用户通过在所述权限配置界面中对用户、用户组信息、目录信息以及目录权限进行选择与绑定操作，得到对应的权限验证规则，所述目录权限包括读、写和执行权限，可对任意hdfs目录配置用户、用户组的读、写和执行权限，且支持递归配置，比如设置了根目录有读的权限，则其子目录也有读的权限。权限管理系统还提供restful接口给hdfs权限管理插件同步权限验证规则时使用。
步骤30、在hdfs文件系统中植入hdfs权限管理插件，通过所述hdfs权限管理插件定期使用权限管理系统提供的restful接口，同步权限验证规则到本地缓存，同步权限验证规则的时间可配，一般为一分钟，当用户访问hdfs目录时，根据本地缓存的权限验证规则判断用户是否有权限，实现对用户的目录权限的控制，并在用户访问目录时记录用户访问操作生成审计数据写入数据库中。
较佳的，所述审计数据包括用户对hdfs目录的访问时间、访问类型、权限验证结果，所述访问类型包括读、写和执行。
较佳的，步骤20还包括：提供审计查看界面，从数据库中获取用户每次访问的hdfs目录、访问类型、访问时间、权限结果在所述审计查看界面上显示，供用户进行查看与分析。
较佳的，步骤20还包括：提供权限验证规则的查看和管理界面，在所述查看和管理界面上显示权限验证规则，并对所述权限验证规则设置启用、禁用和删除选项，供用户进行权限修改。
如图2和图3所示，本发明的一种HDFS权限的界面配置系统，需提供用户同步插件、hdfs权限管理插件以及权限管理系统，所述界面配置系统包括用户数据同步模块、权限配置模块和权限控制模块：
所述用户数据同步模块，用于在linux系统中安装用户同步插件，通过所述用户同步插件按一定间隔时间同步linux系统用户和用户组到数据库中，所述一定间隔时间可配置，为了减少数据库和linux系统的用户不一致时间，可配置为30秒；
所述权限配置模块，用于在权限管理系统中设置一权限配置界面，获取数据库中的用户和用户组信息，并从hdfs文件系统获取目录信息，将用户、用户组信息、目录信息以及目录权限显示在所述权限配置界面上，用户通过在所述权限配置界面中对用户、用户组信息、目录信息以及目录权限进行选择与绑定操作，得到对应的权限验证规则，所述目录权限包括读、写和执行权限，可对任意hdfs目录配置用户、用户组的读、写和执行权限，且支持递归配置，比如设置了根目录有读的权限，则其子目录也有读的权限。权限管理系统还提供restful接口给hdfs权限管理插件同步权限验证规则时使用。
所述权限控制模块，用于在hdfs文件系统中植入hdfs权限管理插件，通过所述hdfs权限管理插件定期使用权限管理系统提供的restful接口，同步权限验证规则到本地缓存，同步权限验证规则的时间可配，一般为一分钟，当用户访问hdfs目录时，根据本地缓存的权限验证规则判断用户是否有权限，实现对用户的目录权限的控制，并在用户访问目录时记录用户访问操作生成审计数据写入数据库中。
较佳的，所述审计数据包括用户对hdfs目录的访问时间、访问类型、权限验证结果，所述访问类型包括读、写和执行。
较佳的，所述权限配置模块还包括审计查询模块，用于提供审计查看界面，从数据库中获取用户每次访问的hdfs目录、访问类型、访问时间、权限结果在所述审计查看界面上显示，供用户进行查看与分析。
较佳的，所述权限配置模块还包括权限查看与管理模块，用于提供权限验证规则的查看和管理界面，在所述查看和管理界面上显示权限验证规则，并对所述权限验证规则设置启用、禁用和删除选项，供用户进行权限修改。
本发明通过用户同步插件将用户、用户组信息同步到数据库中，并通过实时获取hdfs目录信息，将这些信息以界面形式展现给用户，供用户进行权限配置，实现可视化配置，并通过将权限配置结果同步到本地缓存中执行权限控制，同时将执行过程记录得到审计数据写入数据库中供后续查看与分析，实现可视化权限配置以及信息追踪功能。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (8)
1.一种HDFS权限的界面配置方法，其特征在于：需提供用户同步插件、hdfs权限管理插件以及权限管理系统；所述方法包括如下步骤：
步骤10、在linux系统中安装用户同步插件，通过所述用户同步插件按一定间隔时间同步linux系统用户和用户组到数据库中；
步骤20、在权限管理系统中设置一权限配置界面，获取数据库中的用户和用户组信息，并从hdfs文件系统获取目录信息，将用户、用户组信息、目录信息以及目录权限显示在所述权限配置界面上，用户通过在所述权限配置界面中对用户、用户组信息、目录信息以及目录权限进行选择与绑定操作，得到对应的权限验证规则，所述目录权限包括读、写和执行权限；
步骤30、在hdfs文件系统中植入hdfs权限管理插件，通过所述hdfs权限管理插件定期使用权限管理系统提供的restful接口，同步权限验证规则到本地缓存，当用户访问hdfs目录时，根据本地缓存的权限验证规则判断用户是否有权限，实现对用户的目录权限的控制，并在用户访问目录时记录用户访问操作生成审计数据写入数据库中。
2.根据权利要求1所述的一种HDFS权限的界面配置方法，其特征在于：所述审计数据包括用户对hdfs目录的访问时间、访问类型、权限验证结果，所述访问类型包括读、写和执行。
3.根据权利要求2所述的一种HDFS权限的界面配置方法，其特征在于：步骤20还包括：提供审计查看界面，从数据库中获取用户每次访问的hdfs目录、访问类型、访问时间、权限结果在所述审计查看界面上显示，供用户进行查看与分析。
4.根据权利要求1所述的一种HDFS权限的界面配置方法，其特征在于：步骤20还包括：提供权限验证规则的查看和管理界面，在所述查看和管理界面上显示权限验证规则，并对所述权限验证规则设置启用、禁用和删除选项，供用户进行权限修改。
5.一种HDFS权限的界面配置系统，其特征在于：需提供用户同步插件、hdfs权限管理插件以及权限管理系统，所述界面配置系统包括用户数据同步模块、权限配置模块和权限控制模块：
所述用户数据同步模块，用于在linux系统中安装用户同步插件，通过所述用户同步插件按一定间隔时间同步linux系统用户和用户组到数据库中；
所述权限配置模块，用于在权限管理系统中设置一权限配置界面，获取数据库中的用户和用户组信息，并从hdfs文件系统获取目录信息，将用户、用户组信息、目录信息以及目录权限显示在所述权限配置界面上，用户通过在所述权限配置界面中对用户、用户组信息、目录信息以及目录权限进行选择与绑定操作，得到对应的权限验证规则，所述目录权限包括读、写和执行权限；
所述权限控制模块，用于在hdfs文件系统中植入hdfs权限管理插件，通过所述hdfs权限管理插件定期使用权限管理系统提供的restful接口，同步权限验证规则到本地缓存，当用户访问hdfs目录时，根据本地缓存的权限验证规则判断用户是否有权限，实现对用户的目录权限的控制，并在用户访问目录时记录用户访问操作生成审计数据写入数据库中。
6.根据权利要求5所述的一种HDFS权限的界面配置系统，其特征在于：所述审计数据包括用户对hdfs目录的访问时间、访问类型、权限验证结果，所述访问类型包括读、写和执行。
7.根据权利要求6所述的一种HDFS权限的界面配置系统，其特征在于：所述权限配置模块还包括审计查询模块，用于提供审计查看界面，从数据库中获取用户每次访问的hdfs目录、访问类型、访问时间、权限结果在所述审计查看界面上显示，供用户进行查看与分析。
8.根据权利要求5所述的一种HDFS权限的界面配置系统，其特征在于：所述权限配置模块还包括权限查看与管理模块，用于提供权限验证规则的查看和管理界面，在所述查看和管理界面上显示权限验证规则，并对所述权限验证规则设置启用、禁用和删除选项，供用户进行权限修改。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811035164.2A CN109343863B (zh) | 2018-09-06 | 2018-09-06 | 一种hdfs权限的界面配置方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811035164.2A CN109343863B (zh) | 2018-09-06 | 2018-09-06 | 一种hdfs权限的界面配置方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109343863A CN109343863A (zh) | 2019-02-15 |
| CN109343863B true CN109343863B (zh) | 2022-01-04 |
Family
ID=65292186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811035164.2A Active CN109343863B (zh) | 2018-09-06 | 2018-09-06 | 一种hdfs权限的界面配置方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109343863B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902497A (zh) * | 2019-02-26 | 2019-06-18 | 南威软件股份有限公司 | 一种面向大数据集群的访问权限管理方法及系统 |
| CN111814185B (zh) * | 2020-07-08 | 2021-10-15 | 北京嘀嘀无限科技发展有限公司 | 一种权限处理方法、装置、电子设备和存储介质 |
| CN112905978B (zh) * | 2021-02-20 | 2023-06-06 | 成都新希望金融信息有限公司 | 权限管理方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546664A (zh) * | 2012-02-27 | 2012-07-04 | 中国科学院计算技术研究所 | 用于分布式文件系统的用户与权限管理方法及系统 |
| CN103150497A (zh) * | 2013-04-07 | 2013-06-12 | 网宿科技股份有限公司 | Web应用开发的可视化权限配置方法、校验方法和系统 |
| CN103729450A (zh) * | 2013-12-31 | 2014-04-16 | 深圳市科漫达智能管理科技有限公司 | 一种集中管理功能权限的方法及装置 |
| CN106060041A (zh) * | 2016-05-30 | 2016-10-26 | 北京琵琶行科技有限公司 | 企业网络访问权限的控制方法及装置 |
| CN106790027A (zh) * | 2016-12-15 | 2017-05-31 | 国家计算机网络与信息安全管理中心 | Hdfs文件系统的多租户网盘权限管理方法及系统 |
| CN107895113A (zh) * | 2017-12-06 | 2018-04-10 | 北京搜狐新媒体信息技术有限公司 | 一种支持hadoop多集群的细粒度数据权限控制方法及系统 |
| WO2018149289A1 (zh) * | 2017-02-17 | 2018-08-23 | 西门子公司 | 一种现场数据处理方法、设备和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107409126B (zh) * | 2015-02-24 | 2021-03-09 | 思科技术公司 | 用于保护企业计算环境安全的系统和方法 |
| CN104951527A (zh) * | 2015-06-12 | 2015-09-30 | 深圳互娱网络科技有限公司 | 一种快速配置数据库管理后台的系统和方法 |
| US10331759B2 (en) * | 2016-12-29 | 2019-06-25 | Wipro Limited | Methods and system for controlling user access to information in enterprise networks |
| CN108319827B (zh) * | 2018-01-25 | 2020-06-02 | 烽火通信科技股份有限公司 | 一种基于osgi框架的api权限管理系统及方法 |
-
2018
- 2018-09-06 CN CN201811035164.2A patent/CN109343863B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546664A (zh) * | 2012-02-27 | 2012-07-04 | 中国科学院计算技术研究所 | 用于分布式文件系统的用户与权限管理方法及系统 |
| CN103150497A (zh) * | 2013-04-07 | 2013-06-12 | 网宿科技股份有限公司 | Web应用开发的可视化权限配置方法、校验方法和系统 |
| CN103729450A (zh) * | 2013-12-31 | 2014-04-16 | 深圳市科漫达智能管理科技有限公司 | 一种集中管理功能权限的方法及装置 |
| CN106060041A (zh) * | 2016-05-30 | 2016-10-26 | 北京琵琶行科技有限公司 | 企业网络访问权限的控制方法及装置 |
| CN106790027A (zh) * | 2016-12-15 | 2017-05-31 | 国家计算机网络与信息安全管理中心 | Hdfs文件系统的多租户网盘权限管理方法及系统 |
| WO2018149289A1 (zh) * | 2017-02-17 | 2018-08-23 | 西门子公司 | 一种现场数据处理方法、设备和系统 |
| CN107895113A (zh) * | 2017-12-06 | 2018-04-10 | 北京搜狐新媒体信息技术有限公司 | 一种支持hadoop多集群的细粒度数据权限控制方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 【Hadoop十九】HDFS权限设置;axxbc123;《https://blog.csdn.net/axxbc123/article/details/84805709》;20160608;1-3 * |
| 云计算平台的访问控制模型的设计与实现;李西予;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150815(第08期);I139-191 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109343863A (zh) | 2019-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3539021B1 (en) | Formation and manipulation of test data in a database system | |
| JP5931973B2 (ja) | 仮想データベースシステム | |
| US9927992B2 (en) | Segmented database migration | |
| CN109343863B (zh) | 一种hdfs权限的界面配置方法及系统 | |
| JP5908494B2 (ja) | 位置ベースの画像編成 | |
| US20200125660A1 (en) | Quick identification and retrieval of changed data rows in a data table of a database | |
| US9396074B2 (en) | Virtual database rewind | |
| US11934847B2 (en) | System for data aggregation and analysis of data from a plurality of data sources | |
| CN111324610A (zh) | 一种数据同步的方法及装置 | |
| EP2763055B1 (en) | A telecommunication method and mobile telecommunication device for providing data to a mobile application | |
| US11816426B2 (en) | Systems and methods for collaborative data entry and integration | |
| US10621071B2 (en) | Formation and manipulation of test data in a database system | |
| CN102272751B (zh) | 在数据库环境通过背景同步的数据完整性 | |
| US9454667B2 (en) | Granting object authority via a multi-touch screen to a collaborator | |
| CN110084341A (zh) | 一种智能档案资料管理系统 | |
| US11853284B2 (en) | In-place updates with concurrent reads in a decomposed state | |
| CN111090803A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN110704442A (zh) | 一种大数据的实时获取方法及装置 | |
| CN106682158A (zh) | 湿地公园可视化系统 | |
| US20220164465A1 (en) | Controlling access to electronic data assets | |
| CN102004677B (zh) | 海量数据分级存储评测系统 | |
| CN111831527A (zh) | 扫描数据库性能问题的方法、装置、电子设备、及介质 | |
| US20200104391A1 (en) | Ensuring integrity of records in a not only structured query language database | |
| WO2014009999A1 (en) | Database system and database management method | |
| CN114168566A (zh) | 应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 350000 21 / F, building 5, f District, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province Applicant after: FUJIAN SINOREGAL SOFTWARE CO.,LTD. Address before: Floor 20-21, building 5, area F, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province 350000 Applicant before: FUJIAN SINOREGAL SOFTWARE CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |