CN106790027B - Hdfs文件系统的多租户网盘权限管理方法及系统 - Google Patents

Hdfs文件系统的多租户网盘权限管理方法及系统 Download PDF

Info

Publication number
CN106790027B
CN106790027B CN201611157700.7A CN201611157700A CN106790027B CN 106790027 B CN106790027 B CN 106790027B CN 201611157700 A CN201611157700 A CN 201611157700A CN 106790027 B CN106790027 B CN 106790027B
Authority
CN
China
Prior art keywords
user
network disk
subdirectory
file
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611157700.7A
Other languages
English (en)
Other versions
CN106790027A (zh
Inventor
金暐
舒敏
邹潇湘
云晓春
高昕
王锟
王中华
董琳
彭义刚
李海灵
侯美佳
李佳
王坤
曹强
徐娟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN201611157700.7A priority Critical patent/CN106790027B/zh
Publication of CN106790027A publication Critical patent/CN106790027A/zh
Application granted granted Critical
Publication of CN106790027B publication Critical patent/CN106790027B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0807—Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/104—Grouping of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种HDFS文件系统的多租户网盘权限管理方法及系统。所述方法包括：针对任一网盘，在HDFS文件系统的NameNode节点创建与所述网盘名称一致的操作系统用户组；在所述HDFS文件系统中创建子目录作为所述网盘；将所述子目录的根权限赋予所述网盘的使用用户组。本发明中方法及系统实现了上层业务系统用户、上层业务系统用户组与操作系统用户、操作系统用户组以及HDFS数据用户、用户组的统一，既保证了权限管理的简单清晰，又实现了在Hadoop集群中可靠的数据权限隔离；有效解决了现有技术不能通过Hadoop原生API的方式直接读写网盘数据的问题。

Description

HDFS文件系统的多租户网盘权限管理方法及系统
技术领域
本发明涉及网络技术领域，特别是涉及一种HDFS文件系统的多租户网盘权限管理方法及系统。
背景技术
Hadoop的分布式文件系统(HDFS)是一个高度容错性的文件系统，部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。网盘是指把HDFS文件系统按需分隔成多个逻辑上独立的数据存储空间，对多个独立的业务用户提供海量数据的云存储服务，包括空间配额管理和权限管理。可以通过WEB界面以及后台API的方式，供不同的业务部门、个人使用。网盘相关的业务需求：一个网盘属于一个用户组使用(如公司、业务部门)；一个用户组有多个用户；一个用户组可拥有多个网盘；一个用户可属于多个用户组；一个用户组的多个网盘中，允许部分用户有权使用部分网盘。
原生的Hadoop(Apache基金会所开发的分布式系统基础架构)，不管是通过操作系统方式登录到集群的Datanode节点上，还是通过Hadoop的REST API对数据进行操作，底层执行操作的用户往往都是HDFS、Hive、Hbase等Hadoop内置用户，无法与实际业务的用户进行映射。
如果把Hadoop作为云存储平台，现有技术中，当网盘用户需要通过API方式直接操作网盘数据时，底层使用的仍然是HDFS等超级用户的权限，网盘用户无法使用自身用户的权限通过Hadoop的原生读写API或使用集群的HDFS文件系统查询命令来(如Hadoop fs–ls)查看到自己所属的网盘数据。
发明内容
为了克服上述现有技术的缺陷，本发明要解决的技术问题是提供一种HDFS文件系统的多租户网盘权限管理方法及系统。
为解决上述技术问题，本发明中的一种HDFS文件系统的多租户网盘权限管理方法，包括：
针对任一网盘，在HDFS文件系统的NameNode节点创建与所述网盘名称一致的操作系统用户组；
在所述HDFS文件系统中创建子目录作为所述网盘；
将所述子目录的根权限赋予所述网盘的使用用户组。
可选地，所述将所述子目录的根权限赋予所述网盘的使用用户组之后，还包括：
当在所述网盘的WEB界面创建使用用户时，在所述NameNode节点创建与所述使用用户名称一致的操作系统用户。
具体地，所述当在所述网盘的WEB界面创建使用用户时，在所述NameNode节点创建与所述使用用户名称一致的操作系统用户之后，还包括：
当在所述WEB界面上监测到所述使用用户建立的文件或文件夹时，获取所述使用用户对所述文件或所述文件夹设置的第一读写权限；
将所述文件或所述文件夹存储在所述子目录下；
根据所述第一读写权限设置所述子目录下的所述文件或所述文件夹的第二读写权限。
具体地，所述根据获取的读写权限设置将所述子目录下的所述文件或所述文件夹的读写权限之后，还包括：
将所述使用用户注册为Kerberos用户；
启动Kerberos鉴权模式；
调用所述操作系统用户根据所述第二读写权限访问所述子目录下的所述文件或所述文件夹。
可选地，所述在所述HDFS文件系统中创建子目录作为所述网盘，还包括：
根据所述网盘名称设置所述子目录的路径。
为解决上述技术问题，本发明中的一种HDFS文件系统的多租户网盘权限管理系统，包括：
用户管理模块，用于针对任一网盘，在HDFS文件系统的NameNode节点创建与所述网盘名称一致的操作系统用户组；
创建模块，用于在所述HDFS文件系统中创建子目录作为所述网盘；
权限管理模块，用于将所述子目录的根权限赋予所述网盘的使用用户组。
可选地，所述用户管理模块，还用于当在所述网盘的WEB界面创建使用用户时，在所述NameNode节点创建与所述使用用户名称一致的操作系统用户。
具体地，所述用户管理模块，还用于当在所述WEB界面上监测到所述使用用户建立的文件或文件夹时，获取所述使用用户对所述文件或所述文件夹设置的第一读写权限；
将所述文件或所述文件夹存储在所述子目录下；
根据所述第一读写权限设置所述子目录下的所述文件或所述文件夹的第二读写权限。
具体地，所述系统还包括：
鉴权模块，用于将所述使用用户注册为Kerberos用户；
启动Kerberos鉴权模式；
调用所述操作系统用户根据所述第二读写权限访问所述子目录下的所述文件或所述文件夹。
可选地，所述用户管理模块，还用于根据所述网盘名称设置所述子目录的路径。
本发明有益效果如下：
本发明中方法及系统实现了上层业务系统用户、上层业务系统用户组与操作系统用户、操作系统用户组以及HDFS数据用户、用户组的统一，既保证了权限管理的简单清晰，又实现了在Hadoop集群中可靠的数据权限隔离；有效解决了现有技术不能通过Hadoop原生API的方式直接读写网盘数据的问题。
附图说明
图1是本发明实施例中HDFS文件系统的总体存储结构示意图；
图2是本发明实施例中HDFS文件系统中一可选网盘的存储结构示意图；
图3是本发明实施例中HDFS文件系统中另一可选网盘的存储结构示意图。
具体实施方式
为了解决现有技术的问题，本发明提供了一种HDFS文件系统的多租户网盘权限管理方法及系统，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。
本发明实施例中一种HDFS文件系统的多租户网盘权限管理方法，其包括：
针对任一网盘，在HDFS文件系统的NameNode节点创建与所述网盘名称一致的操作系统用户组；
在所述HDFS文件系统中创建子目录作为所述网盘；
将所述子目录的根权限赋予所述网盘的使用用户组。
也就是说，为了支持网盘用户既能在WEB界面上操作网盘数据，也能通过Hadoop原生API的方式直接读写网盘数据，本发明提出如下思路：
1、在Hadoop集群的NameNode(管理文件系统的命名空间)所在服务器上创建与网盘名称一致的linux操作系统用户组(DataNode节点上无需创建)，创建与网盘使用用户的名称一致的Linux操作系统用户；DataNode节点为文件系统的工作节点。
2、Hadoop集群启动Kerberos(网络认证协议)鉴权模式，每个网盘使用用户都注册为kerberos用户，这样，在操作系统层面，操作系统用户需要先执行Kinit命令才能以网盘用户的身份访问网盘数据；
3、在HDFS文件系统中创建子目录作为网盘，将该网盘对应的子目录权限赋予某个Linux用户组--即为网盘使用用户组，如某网盘HDFS路径为/disk/abc，该子目录的属主为超级用户hdfs，用户组即为未来拥有权限的网盘用户组abc(亦为NameNode节点上的Linux用户组)，读写权限设置为770，即只允许同用户组的用户进入该网盘，其它用户组禁止访问。
进一步说，所述将所述子目录的根权限赋予所述网盘的使用用户组之后，还包括：
当在所述网盘的WEB界面创建使用用户时，在所述NameNode节点创建与所述使用用户名称一致的操作系统用户。
其中，所述当在所述网盘的WEB界面创建使用用户时，在所述NameNode节点创建与所述使用用户名称一致的操作系统用户之后，还包括：
当在所述WEB界面上监测到所述使用用户建立的文件或文件夹时，获取所述使用用户对所述文件或所述文件夹设置的第一读写权限；
将所述文件或所述文件夹存储在所述子目录下；
根据所述第一读写权限设置所述子目录下的所述文件或所述文件夹的第二读写权限。
其中，所述根据获取的读写权限设置将所述子目录下的所述文件或所述文件夹的读写权限之后，还包括：
将所述使用用户注册为Kerberos用户；
启动Kerberos鉴权模式；
调用所述操作系统用户根据所述第二读写权限访问所述子目录下的所述文件或所述文件夹。
进一步说，所述在所述HDFS文件系统中创建子目录作为所述网盘，还包括：
根据所述网盘名称设置所述子目录的路径。
详细说，一个网盘对应HDFS文件系统的一个子目录。HDFS文件系统(存储系统)为每个网盘默认创建一个用户组(即资源ID)，同一网盘的实验操作者(使用用户)，均属于这个用户组。
实验操作者与网盘的关系，在存储系统中映射为用户与用户组的关系。
网盘中子目录和文件可以有不同的属主(即操作者)，属主自行设置是否允许同组读写。
若一个操作者在上层业务系统中可使用多个网盘，则在存储系统中被加入到对应网盘的用户组。
如图1所示，在HDFS文件系统中创建网盘abc、bcd、cde，并分别设置配额、属主、用户组、根权限。
其中，在网盘abc中，用户组名也叫做abc。
如图2所示，在abc组中的两个用户user1和user2分别创建了自己的文件夹或文件，可以设置各自的文件夹或文件的权限属性，允许或限制同组其它用户对数据的读写操作，如750是允许同组可读，770是同组可写，700则是禁止同组读写。
如图3所示，网盘cde中，对应用户组cde，组中包含了用户user2和user5，其中user2有权操作。
本发明中方法及系统实现了上层业务系统用户、上层业务系统用户组与操作系统用户、操作系统用户组以及HDFS数据用户、用户组的统一，既保证了权限管理的简单清晰，又实现了在Hadoop集群中可靠的数据权限隔离。本发明中方法及系统实现了网盘使用用户既能在WEB界面上操作网盘数据，也能通过Hadoop原生API的方式直接读写网盘数据。
本发明进一步提出一种HDFS文件系统的多租户网盘权限管理系统。
本发明实施例中一种HDFS文件系统的多租户网盘权限管理系统，包括：
用户管理模块，用于针对任一网盘，在HDFS文件系统的NameNode节点创建与所述网盘名称一致的操作系统用户组；
创建模块，用于在所述HDFS文件系统中创建子目录作为所述网盘；
权限管理模块，用于将所述子目录的根权限赋予所述网盘的使用用户组。
进一步说，所述用户管理模块，还用于当在所述网盘的WEB界面创建使用用户时，在所述NameNode节点创建与所述使用用户名称一致的操作系统用户。
具体说，所述用户管理模块，还用于当在所述WEB界面上监测到所述使用用户建立的文件或文件夹时，获取所述使用用户对所述文件或所述文件夹设置的第一读写权限；
将所述文件或所述文件夹存储在所述子目录下；
根据所述第一读写权限设置所述子目录下的所述文件或所述文件夹的第二读写权限。
具体说，所述系统还包括：
鉴权模块，用于将所述使用用户注册为Kerberos用户；
启动Kerberos鉴权模式；
调用所述操作系统用户根据所述第二读写权限访问所述子目录下的所述文件或所述文件夹。
进一步说，所述用户管理模块，还用于根据所述网盘名称设置所述子目录的路径。
本发明中系统实现了上层业务系统用户、上层业务系统用户组与操作系统用户、操作系统用户组以及HDFS数据用户、用户组的统一，既保证了权限管理的简单清晰，又实现了在Hadoop集群中可靠的数据权限隔离。本发明中方法及系统实现了网盘使用用户既能在WEB界面上操作网盘数据，也能通过Hadoop原生API的方式直接读写网盘数据。
虽然本申请描述了本发明的特定示例，但本领域技术人员可以在不脱离本发明概念的基础上设计出来本发明的变型。
本领域技术人员在本发明技术构思的启发下，在不脱离本发明内容的基础上，还可以对本发明做出各种改进，这仍落在本发明的保护范围之内。

Claims (9)

1.一种HDFS文件系统的多租户网盘权限管理方法，其特征在于，所述方法包括：
针对任一网盘，在HDFS文件系统的NameNode节点创建与所述网盘名称一致的操作系统用户组；
在所述HDFS文件系统中创建子目录作为所述网盘；
将所述子目录的根权限赋予所述网盘的使用用户组。
2.如权利要求1所述的方法，其特征在于，所述将所述子目录的根权限赋予所述网盘的使用用户组之后，还包括：
当在所述网盘的WEB界面创建使用用户时，在所述NameNode节点创建与所述使用用户名称一致的操作系统用户。
3.如权利要求2所述的方法，其特征在于，所述当在所述网盘的WEB界面创建使用用户时，在所述NameNode节点创建与所述使用用户名称一致的操作系统用户之后，还包括：
当在所述WEB界面上监测到所述使用用户建立的文件或文件夹时，获取所述使用用户对所述文件或所述文件夹设置的第一读写权限；
将所述文件或所述文件夹存储在所述子目录下；
根据所述第一读写权限设置所述子目录下的所述文件或所述文件夹的第二读写权限。
4.如权利要求1-3中任意一项所述的方法，其特征在于，所述在所述HDFS文件系统中创建子目录作为所述网盘，还包括：
根据所述网盘名称设置所述子目录的路径。
5.一种HDFS文件系统的多租户网盘权限管理系统，其特征在于，所述系统包括：
用户管理模块，用于针对任一网盘，在HDFS文件系统的NameNode节点创建与所述网盘名称一致的操作系统用户组；
创建模块，用于在所述HDFS文件系统中创建子目录作为所述网盘；
权限管理模块，用于将所述子目录的根权限赋予所述网盘的使用用户组。
6.如权利要求5所述的系统，其特征在于，所述用户管理模块，还用于当在所述网盘的WEB界面创建使用用户时，在所述NameNode节点创建与所述使用用户名称一致的操作系统用户。
7.如权利要求6所述的系统，其特征在于，所述用户管理模块，还用于当在所述WEB界面上监测到所述使用用户建立的文件或文件夹时，获取所述使用用户对所述文件或所述文件夹设置的第一读写权限；
将所述文件或所述文件夹存储在所述子目录下；
根据所述第一读写权限设置所述子目录下的所述文件或所述文件夹的第二读写权限。
8.如权利要求7所述的系统，其特征在于，所述系统还包括：
鉴权模块，用于将所述使用用户注册为Kerberos用户；
启动Kerberos鉴权模式；
调用所述操作系统用户根据所述第二读写权限访问所述子目录下的所述文件或所述文件夹。
9.如权利要求5-8中任意一项所述的系统，其特征在于，所述用户管理模块，还用于根据所述网盘名称设置所述子目录的路径。
CN201611157700.7A 2016-12-15 2016-12-15 Hdfs文件系统的多租户网盘权限管理方法及系统 Expired - Fee Related CN106790027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611157700.7A CN106790027B (zh) 2016-12-15 2016-12-15 Hdfs文件系统的多租户网盘权限管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611157700.7A CN106790027B (zh) 2016-12-15 2016-12-15 Hdfs文件系统的多租户网盘权限管理方法及系统

Publications (2)

Publication Number Publication Date
CN106790027A CN106790027A (zh) 2017-05-31
CN106790027B true CN106790027B (zh) 2020-09-11

Family

ID=58889055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611157700.7A Expired - Fee Related CN106790027B (zh) 2016-12-15 2016-12-15 Hdfs文件系统的多租户网盘权限管理方法及系统

Country Status (1)

Country Link
CN (1) CN106790027B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002730A (zh) * 2018-07-26 2018-12-14 郑州云海信息技术有限公司 一种文件系统目录权限管理方法、装置、设备及存储介质
CN109343863B (zh) * 2018-09-06 2022-01-04 福建星瑞格软件有限公司 一种hdfs权限的界面配置方法及系统
CN113076552B (zh) * 2020-01-03 2022-10-18 中国移动通信集团广东有限公司 一种hdfs资源的访问权限校验方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187930A (zh) * 2007-12-04 2008-05-28 浙江大学 分布式文件系统虚拟目录及命名空间的实现方法
CN101430655A (zh) * 2008-11-19 2009-05-13 北京飞天诚信科技有限公司 模拟全局共享内存的方法和装置
CN102307185A (zh) * 2011-06-27 2012-01-04 北京大学 适用于存储云内的数据隔离方法
CN104050201A (zh) * 2013-03-15 2014-09-17 伊姆西公司 用于多租户分布式环境中的数据管理的方法和设备
CN104935590A (zh) * 2015-06-10 2015-09-23 南京航空航天大学 一种基于角色和用户信任值的hdfs访问控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187930A (zh) * 2007-12-04 2008-05-28 浙江大学 分布式文件系统虚拟目录及命名空间的实现方法
CN101430655A (zh) * 2008-11-19 2009-05-13 北京飞天诚信科技有限公司 模拟全局共享内存的方法和装置
CN102307185A (zh) * 2011-06-27 2012-01-04 北京大学 适用于存储云内的数据隔离方法
CN104050201A (zh) * 2013-03-15 2014-09-17 伊姆西公司 用于多租户分布式环境中的数据管理的方法和设备
CN104935590A (zh) * 2015-06-10 2015-09-23 南京航空航天大学 一种基于角色和用户信任值的hdfs访问控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Advanced Resource Management with Access Control for Multitenant Hadoop;Heesun Won,et al.;《Journal of Communications and Networks》;20151231;第17卷(第6期);第592-601页 *

Also Published As

Publication number Publication date
CN106790027A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
US20200334373A1 (en) Nested namespaces for selective content sharing
US9294485B2 (en) Controlling access to shared content in an online content management system
US20150324381A1 (en) Multi-level namespace management system and method thereof for hybrid cloud storage systems
US9992068B2 (en) Rule based mobile device management delegation
US10356161B2 (en) System and method for classloading in a multitenant application server environment
CN109656879B (zh) 大数据资源管理方法、装置、设备及存储介质
DE112013002542T5 (de) Cloud-basierte Anwendungsressourcendateien
US20100262632A1 (en) Data transfer from on-line to on-premise deployment
US20160156631A1 (en) Methods and systems for shared file storage
US20180067951A1 (en) Computer-implemented object management via tags
CN109542861B (zh) 一种文件管理方法、装置和系统
CN104852965B (zh) 一种用户账号项目管理方法及系统
CN106790027B (zh) Hdfs文件系统的多租户网盘权限管理方法及系统
US11126460B2 (en) Limiting folder and link sharing
US11463446B2 (en) Team member transfer tool
US20200336485A1 (en) Access permissions management system and method
KR20140033056A (ko) 클라우드 서비스 재접속 자동화 방법
CN113986528A (zh) 一种多租户空间资源管理的方法、系统、设备和存储介质
KR20130114575A (ko) 프로비저닝 서비스를 위한 리더 중재
CN111522869A (zh) 适用于多租户的整定计算云数据管理方法和整定计算系统
CN102932443A (zh) 基于hdfs集群的分布式云存储系统
CN105022779A (zh) 一种利用Filesystem API实现HDFS文件存取方法
WO2023109934A1 (zh) 一种对象存储桶的数据访问方法以及云管理平台
CN107479827A (zh) 一种基于io和元数据分离的混合存储系统实现方法
US11973761B2 (en) Access control for private channels in a channel-based discussion system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200911

Termination date: 20201215