CN109643242A - 用于多租户hadoop集群的安全设计和架构 - Google Patents

用于多租户hadoop集群的安全设计和架构 Download PDF

Info

Publication number
CN109643242A
CN109643242A CN201780044056.9A CN201780044056A CN109643242A CN 109643242 A CN109643242 A CN 109643242A CN 201780044056 A CN201780044056 A CN 201780044056A CN 109643242 A CN109643242 A CN 109643242A
Authority
CN
China
Prior art keywords
tenant
application program
group
user
catalogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780044056.9A
Other languages
English (en)
Other versions
CN109643242B (zh
Inventor
A·古普塔
R·班尔吉
J·P·库迪希
J·拉贾拉姆
R·米什拉
S·K·阿达基
M·阿古林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JPMorgan Chase Bank NA
Original Assignee
JPMorgan Chase Bank NA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JPMorgan Chase Bank NA filed Critical JPMorgan Chase Bank NA
Priority to CN202310618267.6A priority Critical patent/CN116743440A/zh
Publication of CN109643242A publication Critical patent/CN109643242A/zh
Application granted granted Critical
Publication of CN109643242B publication Critical patent/CN109643242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0807—Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Storage Device Security (AREA)

Abstract

本申请公开了用于多租户Hadoop集群的安全设计和架构。在一个实施例中，在包括多个租户和多个应用程序的多租户Hadoop集群中，一种用于在多租户Hadoop集群中标识、命名和创建多租户目录结构的方法可以包括：(1)标识选自由超级用户组、多个租户组和至少一个应用程序组组成的组的目录结构的多个组；(2)为所述组中的每一个创建有效目录；(3)将多个用户中的每一个添加到所述多个租户组和所述应用程序组中的一个；(4)为所述用户创建租户目录和主目录；以及(5)将所有者、组所有者、默认权限和扩展访问控制列表分配给所述租户目录和所述主目录。

Description

用于多租户HADOOP集群的安全设计和架构
相关申请
本申请要求2016年5月23日提交的序列号为62/340,284的美国临时专利申请的优先权，该专利申请的公开内容通过引用以其整体并入本文。
技术领域
本发明总体涉及用于多租户Hadoop集群的安全设计和架构。
背景技术
多租户是其中软件应用程序的单个实例可以为多个客户端或租户提供服务的架构。多租户可以是经济的，因为软件开发、更新成本和维护成本是共享的。在美国专利申请公开号2010/0005055中公开了多租户的示例，所述专利申请的公开内容通过引用以其整体并入本文。
发明内容
本发明公开了用于多租户Hadoop集群的安全设计和架构。在一个实施例中，在包括多个租户和多个应用程序的多租户Hadoop集群中，一种用于在多租户Hadoop集群中标识、命名和创建多租户目录结构的方法可以包括：(1)租户或应用程序中的一个标识选自包括超级用户组、多个租户组和至少一个应用程序组的组的目录结构的多个组；(2)租户或应用程序中的一个为所述组中的每一个创建有效目录；(3)租户或应用程序中的一个将多个用户中的每个添加到多个租户组和应用程序组中的一个；(4)租户或应用程序中的一个为所述用户创建租户目录和主目录；以及(5)租户或应用程序中的一个将所有者、组所有者、默认权限和扩展访问控制列表分配给租户目录和主目录。
在一个实施例中，目录结构可以是HDFS目录结构。
在一个实施例中，应用程序组可以包括应用程序功能组和应用程序人类用户组。
在一个实施例中，添加到租户组的用户可访问租户的共享资源。
在一个实施例中，添加到应用程序组的用户可访问租户的应用程序资源和共享资源。
在一个实施例中，第一租户的共享资源与第二租户的共享资源隔离开。
在一个实施例中，第一租户无法访问第二租户的资源。
在一个实施例中，第一应用程序的共享资源与第二应用程序的共享资源隔离开。
根据另一个实施例，在包括多个租户和多个应用程序的多租户Hadoop集群中，一种向多租户Hadoop集群中的HDFS应用程序提供安全性的方法可以包括：(1)租户或应用程序中的一个针对客户端认证客户端进程；(2)租户或应用程序中的一个从客户端接收请求，该请求包括来自密钥分发中心的会话票证和临时会话密钥中的至少一个；以及(3)租户或应用程序中的一个基于至少一个客户端授权以及会话票证和临时会话密钥中的至少一个来认证客户端。
在一个实施例中，密钥分发中心可以是Kerberos密钥分发中心。
在一个实施例中，客户端可以通过提供用户名和密码与所述密钥分发中心进行验证。
在一个实施例中，方法还可以包括租户或应用程序中的一个确定选自包括超级用户组、多个租户组和至少一个应用程序组的组中的客户端的至少一个组。
根据另一个实施例，在包括多个租户和多个应用程序的多租户Hadoop集群中，一种用于为多租户Hadoop集群中的应用程序提供安全性的方法可以包括：(1)租户或应用程序中的一个为多个租户标识多个组和角色并标识所述角色与至少一个有效目录组之间的交叉引用；(2)租户或应用程序中的一个为组中的每一个创建有效目录；(3)租户或应用程序中的一个将多个用户中的每一个添加到租户组和应用程序组；(4)租户或应用程序中的一个为应用程序模式创建基目录；以及(5)租户或应用程序中的一个向租户分配角色和特权。
在一个实施例中，应用程序可以是Apache HIVE或Cloudera Impala。
在一个实施例中，角色和特权可以基于至少一个租户应用程序要求。
在一个实施例中，方法还可以包括租户或应用程序中的一个通过用户名和密码来认证用户；以及租户或应用程序中的一个授权用户使用基于角色的精细粒度授权。
根据另一个实施例，在包括多个租户和多个应用程序的多租户Hadoop集群中，一种用于为多租户Hadoop集群中的应用程序提供安全性的方法可以包括：(1)租户或应用程序中的一个标识具有对Hbase命名空间的权限的多个Hbase命名空间和组；(2)租户或应用程序中的一个为所述组中的每一个创建有效目录；(3)租户或应用程序中的一个创建Hbase命名空间以满足至少一个租户要求；以及(4)租户或应用程序中的一个为具有至少一个特权的每个应用程序创建默认角色。
在一个实施例中，至少一个特权可以控制对应用程序的访问。
在一个实施例中，方法还可以包括所述租户或应用程序中的一个使用访问控制列表来授权客户端动作。
在一个实施例中，方法还可以包括租户或应用程序中的一个使用基于角色的访问控制来授予客户端权限。
附图说明
为了更完全地理解本发明、其目的和优点，现在参考结合附图进行的以下描述，在所述附图中：
图1描绘了根据一个实施例的多租户集群；
图2描绘了根据一个实施例的多租户对象分层结构；
图3描绘了根据一个实施例的有效目录中的逻辑组结构；
图4描绘了根据一个实施例的用户到组映射；
图5描绘了根据一个实施例的用于创建HDFS的目录结构的方法；
图6描绘了根据一个实施例的HDFS目录结构；
图7示出了根据一个实施例的HDFS目录结构中的目录的所有权和访问控制列表；
图8描绘了根据一个实施例的在多租户集群中为HDFS提供安全性的方法；
图9描绘了根据一个实施例的在多租户集群中为HIVE或Impala提供安全性的方法；
图10描绘了根据一个实施例的HIVE数据库和父目录的结构；
图11描绘了根据一个实施例的在多租户集群中为Hbase提供安全性的方法；
图12描绘了根据一个实施例的Sentry DBA和租户DBA的职责以及如何将必要的特权授予适当组；以及
图13示出了根据一个实施例的租户DBA如何将必要的特权授予适当组。
具体实施方式
根据实施例，多租户集群可以使得多个租户能够使用例如强认证策略和授权策略而不是物理分离来安全地共享公共集群资源集。在一个实施例中，系统和方法可以实现以下中的一些或全部：(1)对现有服务水平协议(SLA)的负面影响很小或没有；(2)不违反现有的安全要求和安全策略；(3)不必揭示驻留在该多租户环境中的每个租户的存在；(4)审核用户的实际数据访问的能力(人力和功能)；(5)报告对数据集的当前许可的能力；(6)通过有保证的资源来运行多个并发应用程序的能力。
参考图1，根据一个实施例公开了多租户集群。在一个实施例中，多租户计算环境100可以包括多租户Hadoop集群110。在一个实施例中，可以提供Hadoop集群以用于开发、生产、质量保证等。
在一个实施例中，多租户Hadoop集群110可以存储、处理和分析大量数据。多租户Hadoop集群110可以支持包括Hive、yarn、Impala、Hbase、HDFS等的多种服务。
在一个实施例中，可以提供多个实用节点1201、1202等，并且可以支持一个或多个租户1301、1302、…130n。例如，实用节点1201可以支持租户1301，而实用节点1202可以支持租户1302和1303。可以根据需要和/或期望使用任何合适的支持布置。
在一个实施例中，实用节点1201、1202等可以是多租户Hadoop集群110与外部网络之间的接口。在一个实施例中，实用节点1201、1202等可以被用来运行客户端应用程序和集群管理工具。实用节点1201、1202等也可以被用作转移到多租户Hadoop集群110中的数据的暂存区域。
在一个实施例中，“租户”可以是组织、垂面或应用程序内的任何商业实体，其可以对多租户计算环境100中的资源付费、负责等。租户的示例性特征可以包括：(1)多个租户驻留在单个大型集群中(例如，Hadoop集群)；(2)每个租户可以具有一个或多个应用程序；(3)每个应用程序可以对集群具有特定要求以满足其需要；以及(4)集群中可能存在不同类型的用户帐户。例如，可能存在服务帐户(例如，可用于运行服务(例如，Hadoop服务)的帐户)、个人帐户(例如，可由访问集群的人使用的帐户)和功能帐户(例如，可用于运行应用程序的帐户)。个人帐户可以访问多个或单个租户/多个或单个应用程序。
参考图2，根据一个实施例公开了多租户分层结构。如图所示，每个租户1301、1302可以具有可由一个或多个用户(例如，用户1-用户13)访问的一个或多个应用程序(例如，应用程序1(App 1)、应用程序2(App 2)、…应用程序n(App n))。
参考图3和图4，其公开了一种根据一个实施例的用于租户组的组映射的方法。在一个实施例中，组映射策略可以是基于轻量级目录访问协议(或LDAP)的组映射和静态绑定的组合。LDAP组可以用于个人帐户和功能帐户，因为用户可以在有效目录(“AD”)中进行管理。静态绑定可以用于服务帐户(例如，HDFS、Hive、Impala等)，因为这些是有限的并且可以在Hadoop配置文件中进行管理。
下面的表I示出了根据一个实施例的用于多租户安全性要求的不同类型的组：
表I
在一个实施例中，将用户添加到租户组将允许用户仅访问租户的共享资源，而不访问应用程序资源。将用户添加到应用程序组将只允许用户访问应用程序资源，而不允许访问租户的共享资源。
参考图3，其示出了有效目录中的逻辑组结构，并且在图4中，示出了用户到组的映射。在图4中，实线指示用户属于该组，并且虚线指示用户属于管理组。如图所示，用户1是租户组、应用程序1组和管理组的成员；用户2是租户组和应用程序N组的成员；并且用户3是租户组、应用程序2组和应用程序N组的成员。
参考图5，其提供了一种根据一个实施例的用于创建HDFS的目录结构的方法。
在步骤510中，可以按照命名约定来标识组。在一个实施例中，可以使用表II的示例性命名约定：
表II
应当注意的是，这种命名约定仅是示例性的，并且可以根据需要和/或期望使用任何合适的命名约定。
在步骤520中，可以创建有效目录组，并且可以将用户添加到组。加载的代表应用程序的任何用户可以是至少两个组—租户组和应用程序组的一部分。
在步骤530中，可以为用户创建租户目录和主目录。在一个实施例中，可以使用特定的HDFS目录结构。在图6和图7中示出了示例性目录结构，并且在下面的表III中显示细节：
表III
如图6和图7所示，在一个实施例中，租户可以支持可能需要完全隔离的多个应用程序。此外，可以在相同租户下的多个应用程序之间共享数据。
在步骤540中，可以将所有者、组所有者、默认权限和扩展访问控制列表(ACL)分配给目录。如表III所指示的，在一个实施例中，租户、应用程序和共享目录连同ACL的所有权被建模，使得租户无法删除其自身的基目录，但仍然能够访问数据以满足其应用程序要求。
图7示出了/user下的用户目录的所有权以及设置的ACL。在一个实施例中，用户将不具有删除其自身的主目录的能力，但将能够访问其主目录下的所有数据。
在一个实施例中，可以提供安全性。在一个实施例中，可以使用例如ACL和Sentry来实现对文件的权限的精细粒度控制。在一个实施例中，可以取决于(多个)安全要求来应用ACL。Sentry可以被用于使用例如Hive、Impala等来管理的结构化数据。
此外，HDFS可以被配置成允许来自属于租户的有效目录组的用户的通信。在一个实施例中，默认情况下，多租户环境中的HDFS可以拒绝除了来自允许的有效目录组的用户之外的所有通信。
参考图8，其公开了根据一个实施例的一种在Hadoop多租户集群中向应用程序提供安全性的方法。在一个实施例中，应用程序可以是Hadoop分发文件系统或HDFS。HDFS被设计用于存储具有流数据访问模式的非常大的文件，用于在商用硬件集群上运行。HDFS是文件的逻辑集合，在若干块上被分割和分布，其元数据被存储在“Namenode”中。
Hadoop支持两种用于确定用户身份的操作模式，其可以由属性hadoop.安全.认证来指定。首先，可以使用简单认证，由此客户端进程的身份可以由主机操作系统确定。其次，可以使用Kerberos认证来认证用户。
在一个实施例中，一旦确定了用户的用户名，就可以通过组映射服务来确定组列表，所述组映射服务可以通过hadoop安全.组.映射属性来配置。示例性组匹配选项可以包括：静态绑定(即，在Hadoop配置文件中限定用户到组的映射)；基于shell的组映射(即，使用命令“bash-c groups”或“net group”在主节点(Namenode/资源管理器)上解析组)；以及LDAP组映射(即，其直接连接到LDAP服务器以解析组列表)。
在一个实施例中，多租户集群810可以处理来自客户端830的请求，所述客户端830已经使用来自客户端830的用户名和密码针对密钥分发中心(KDC)840(诸如Kerberos KDC)进行认证。KDC 840可以通过用户目录820来验证用户名/密码。如果成功验证，则KDC可以向客户端830提供一个或多个会话票证和/或临时会话密钥。客户端830可以将会话票证/临时会话密钥提供给多租户集群810。在一个实施例中，多租户集群810可以使用临时会话密钥对客户端830进行认证并基于客户端830的授权来兑现来自客户端的请求。
参考图9，其公开了根据另一个实施例的一种用于在Hadoop多租户集群中向应用程序提供安全性的方法。在一个实施例中，应用程序可以是用于提供数据摘要、查询和分析的Apache HIVE数据仓库基础结构。Hive查询语言(HiveQL)包括SQL的子集和可用于对存储在HDFS中的大型数据集运行分析查询的一些扩展。Hive可以将数据结构化为易于理解的数据库概念，如表、列、行和分区。
在另一个实施例中，应用程序可以是Cloudera Impala。Impala是用于存储在运行Apache Hadoop的计算机集群中的数据的开源大规模并行处理(MPP)SQL查询引擎。Impala与Apache Hive元存储数据库集成以在两个部件之间共享数据库和表。与Hive的高度集成以及与HiveQL语法的兼容性允许用户使用Impala或Hive来创建表、发出查询、加载数据等。
在一个实施例中，可以使用认证(例如，使用由LDAP支持的Kerberos或用户/密码验证)和授权(例如，使用Sentry以用于基于角色的精细粒度授权)来实现Hive和Impala的安全性。在一个实施例中，预限定的目录结构可以隔离由每个租户存储的结构化数据。可以为每个租户创建一个基目录，其中租户可以在HDFS中存储多个结构化数据模式。
在步骤910中，可以按照命名约定来标识组和角色。在一个实施例中，可以标识角色与有效目录组之间的交叉引用。在一个实施例中，可以使用表IV的示例性命名约定：
表IV
应当注意的是，该命名约定仅是示例性的，并且可以根据需要和/或期望使用任何合适的命名约定。
在步骤920中，可以创建有效目录组，并且可以将用户添加到组。代表应用程序机载的任何用户可以是至少两个组—租户组和应用程序组的一部分。
在步骤930中，可以针对模式创建结构化数据的基目录。在一个实施例中，可以使用特定目录结构。在图10中示出了示例性目录结构，并且在下面的表V中显示出细节：
表V
图10示出了HIVE数据库连同父目录的结构。它示出了每个租户的HIVE基目录位于其自己的租户目录中。在表V中示出了hive模式目录上的所有者、组和权限。
可以将基目录所有权给予用户HIVE和组HIVE。可以使用例如Sentry中设置的精细粒度授权来控制对这些HIVE模式上的租户用户的权限。Sentry授权可以自动转换成HDFS文件和目录上的扩展ACL。
在一个实施例中，子目录的属性可以包括从父、ACL和Sentry策略继承的权限。
在步骤940中，可以设置具有特权的角色。在一个实施例中，角色和与角色一起的特权的输入可以由租户的一个或多个应用程序的要求来驱动。
在一个实施例中，每个租户可以被赋予具有对其自身模式的所有特权的DBA角色。这将使租户自己管理对其模式的授权。可以将DBA角色分配到特定有效目录组，其中仅具有附加特权的服务帐户作为成员被机载。
在一个实施例中，在创建角色之后，可以将这些角色分配到在先前步骤910和920中提供的有效目录组。
在一个实施例中，分配可以导致将特权作为HDFS ACL自动分配到文件和目录。这可以向数据提供一致的授权，无论是从HIVE、Impala还是直接通过HDFS接口访问数据。
参考图11，根据另一个实施例公开了一种在Hadoop多租户集群中向应用程序提供安全性的方法。在一个实施例中，应用程序可以是Hbase，Hbase是提供对那些大数据集的实时读/写访问的开源NoSQL数据库。
在一个实施例中，Kerberos可以用于认证，由此Hbase服务器和客户端可以利用HDFS、ZooKeeper和彼此来安全地标识其自身。访问控制列表或ACL可以用于按列、列族和列族限定符来授权各种操作(读取(READ)、写入(WRITE)、创建(CREATE)、管理(ADMIN))。可以向用户和组两者授予和撤销Hbase ACL。
在一个实施例中，Hbase安全模型可以使用RBAC(基于角色的访问控制)，由此访问权限可以将访问权限存储在元数据层处并且可以在用户试图访问表或列时应用该访问权限。
在一个实施例中，Hbase可以在系统、命名空间、表和列族级别对ACL使用相同的权限集。在较高级别下授予的权限可以由处于较低级别的对象继承。例如，如果向组授予了命名空间级别读取权限，则该组的成员可以读取该命名空间中的所有表。
可以为组分配有效地使得对命名空间的所有权达到租户级别的特权。租户管理员/数据库管理员可以控制谁可以访问其命名空间内的哪些表。在一个实施例中，可能需要环境中的每个级别的不同组来管理Hbase结构化数据。
下面的表VI示出了根据一个实施例的不同组类型和职责。
表VI
下面的表VII描述了根据一个实施例的不同类型的用户或组的目标和责任。表VII仅是示例性的；可以根据租户的应用需求创建访问模型。
表VII
在步骤1110中，可以按照命名约定来标识Hbase命名空间和组的名称以及对它们的权限。在一个实施例中，可以使用表VII的示例性命名约定：
表VIII
应当注意的是，该命名约定仅是示例性的，并且可以根据需要和/或期望使用任何合适的命名约定。
在步骤1120中，可以创建有效目录组，并且可以将用户添加到组。在一个实施例中，可以标识拥有和管理命名空间的用户，并且可以根据需要创建有效目录中的Hadoop组。
在步骤1130中，可以创建满足租户要求的命名空间。
在步骤1140中，可以针对每个应用程序创建默认角色，并且默认角色可以具有读取和/或写入特权中的一个或多个。
提供以下非限制性示例。
示例1：HDFS场景—将两个租户机载到多租户Hadoop集群—零售银行业务和企业营销。
这些租户中的每一个都具有它们希望在多租户集群上运行并具有特定安全要求的多个应用程序：
表IX
要求如下：将两个租户与表IX中列出的应用程序一起添加，并向信用卡应用程序提供对个人银行业务应用程序中的数据的只读访问。
在一个实施例中，Hadoop超群可以是下面描述的解决方案的先决条件。该过程的概述如下：(1)标识租户和应用程序的有效目录组；(2)为租户创建有效目录组；(3)为用户创建必要的目录和主目录；(4)向目录分配所有者、组和权限；以及(4)ACL。
首先，可以根据上面讨论的命名约定来标识表X中的组。
类型 名称 Hadoop组
租户 零售银行业务 ND-MT-RTLBNK
租户 企业营销 ND-MT-CORPMKT
应用程序 信用卡 ND-MT-RTLBNK-CC/ND-MT-RTLBNK-CC-F
应用程序 个人银行业务 ND-MT-RTLBNK-PBANK/ND-MT-RTLBNK-PBANK-F
应用程序 抵押 ND-MT-RTLBNK-MTG/ND-MT-RTLBNK-MTG-F
应用程序 运动 ND-MT-CORPMKT-CAMP/ND-MT-CORPMKT-CAMP-F
应用程序 总体营销 ND-MT-CORPMKT-GMKT/ND-MT-CORPMKT-GMKT-F
表X
接下来，可以创建有效目录组。
接下来，可以将用户添加到组。
接下来，可以通过具有适当权限的超级用户权力来创建表XI中的HDFS目录。
表XI
示例2：使两个租户(零售银行业务和企业营销)加入到多租户Hadoop集群。此外，如表XII所示，这些租户中的每一个可能具有它们希望在多租户集群上运行并具有特定安全要求的多个应用程序：
表XII
要求：(1)标识拥有和管理数据库的用户并在必要时在有效目录中创建Hadoop组；(2)为每个租户创建DBA角色并附加特定数据库；以及(3)为具有读取特权、写入特权或两者特权的每个应用程序创建默认角色。
在一个实施例中，可以设置Sentry管理组，其可以被命名为“ND-MT-ADMIN”。
在使用Sentry管理用户的情况下，可以为每个租户设置DBA角色，并且可以将角色分配给Hadoop组。例如，在下面的表XIII中示出了租户DBA和相关角色。
租户 租户DBA Hadoop组 具有授予选项的角色
零售银行业务 ND-MT-RTLBNK-DBA mt_rtlbnk_dba
企业营销 ND-MT-CORPMKT-DBA mt_corpmkt_dba
表XIII
在下面的表XIV中示出了示例性Hadoop组以及此解决方案中的每个租户应用程序的数据库的名称。
表XIV
在一个实施例中，为了建立“零售银行业务”租户帐户和数据库，可以使用以下步骤：(1)通过授权选项创建名为“mt_rtlbnk_dba”的角色；(2)将角色“mt_rtlbnk_dba”授予组“ND-MT-DIG-DBA”；以及(3)将对URI(HDFS中的用于存储此租户的结构化数据的位置)的完全权限授予角色“mt_rtlbnk_dba”。这允许一个或多个租户级别DBA访问指定HDFS位置中的数据，并且组ND-MT-RTLBNK-DBA中的任何用户都可以当做用于零售银行业务的租户DBA。
接下来，(4)创建数据库“db_rtlbnk_cc”；(5)将对数据库“db_rtlbnk_cc”的所有特权授予租户dba角色“mt_rtlbnk_dba”；(6)创建数据库“db_rtlbnk_pbank”；以及(7)将对数据库“db_rtlbnk_pbank”的所有特权授予租户dba角色“mt_rtlbnk_dba”。
在一个实施例中，为了设置“公司营销”租户DBA角色和数据库，可以使用以下步骤：(1)创建具有授予特权的名为“mt_corpmkt_dba”的角色；(2)将角色“mt_rsk_dba”授予组“ND-MT-CORPMKT-DBA”；以及(3)将对URI(HDFS中的用于存储该租户的结构化数据的位置)的完全权限授予角色“mt_corpmkt_dba”。这允许一个或多个租户级别dba访问指定HDFS位置中的数据，并且组ND-MT-CORPMKT-DBA中的任何用户都可以作为用于风险的租户DBA工作。
接下来，(4)创建数据库“db_corpmkt_camp”；(5)将数据库“db_corpmkt_camp”的所有特权授予租户dba角色“mt_corpmkt_dba”；(6)创建数据库“db_corpmkt_gmkt”；以及(7)将数据库“db_corpmkt_gmkt”的所有特权授予租户dba角色“mt_corpmkt_dba”。
在一个实施例中，每个租户可能具有特定于应用程序的安全性要求，并且它们在每个应用程序中需要以下三个角色-只读、写入和全部。这些角色可以是租户的应用程序级sentry角色和特权。
在一个实施例中，可以通过例如Sentry管理创建以下角色：用于“信用卡”应用程序的角色(“mt_rtlbnk_cc_insert”；“mt_rtlbnk_cc_read”；和“mt_rtlbnk_cc_all”)；用于“个人银行业务”应用程序的角色(“mt_rtlbnk_pbank_insert”；“mt_rtlbnk_pbank_read”；“mt_rtlbnk_pbank_all”)。在一个实施例中，Sentry DBA可以创建应用程序安全性要求所需要的任何附加角色。
图12描绘了根据一个实施例的Sentry DBA和租户DBA的职责以及如何将必要的特权授予适当组。
图13示出了根据一个实施例的租户DBA如何将必要的特权授予适当组。
应当注意的是，尽管已经公开了若干实施例，但本文公开的实施例并非互相排斥。
在下文中，将描述本发明的系统和方法的实施方式的总体方面。
例如，本发明的系统或本发明的系统的部分可以处于“处理机”(诸如通用计算机)的形式。如这本文所使用的，术语“处理机”应当被理解为包括使用至少一个存储器的至少一个处理器。至少一个存储器存储指令集。指令可以永久地或临时地存储在处理机的一个或多个存储器中。处理器执行存储在一个或多个存储器中的指令用于处理数据。指令集可以包括执行一个或多个特定任务(诸如以上描述的那些任务)的各种指令。这种用于执行特定任务的指令集可以被表征为程序、软件程序或简单地表征为软件。
在一个实施例中，处理机可以是专用处理器。
如以上所指出的，处理机执行存储在一个或多个存储器中的指令以处理数据。例如，这种数据处理可以响应于处理机的一个或多个用户的命令，响应于先前的处理，响应于另一个处理机的请求和/或任何其他输入。
如以上所指出的，用于实现本发明的处理机可以是通用计算机。然而，上述处理机还可以利用各种其他技术中的任何一种，包括专用计算机，计算机系统(包括例如微型计算机、小型计算机或主机、编程微处理器、微控制器)，外围集成电路元件，CSIC(客户专用集成电路)或ASIC(专用集成电路)或其他集成电路，逻辑电路，数字信号处理器，可编程逻辑装置(诸如FPGA、PLD、PLA或PAL)，或者能够实现本发明的过程的步骤的任何其他装置或装置布置。
用于实现本发明的处理机可以利用合适的操作系统。因此，本发明的实施例可以包括运行以下的处理机：iOS操作系统、OS X操作系统、Android操作系统、MicrosoftWindowsTM操作系统、Unix操作系统、Linux操作系统、Xenix操作系统、IBM AIXTM操作系统、Hewlett-Packard UXTM操作系统、Novell NetwareTM操作系统、Sun MicrosystemsSolarisTM操作系统、OS/2TM操作系统、BeOSTM操作系统、Macintosh操作系统、Apache操作系统、OpenStepTM操作系统或其他操作系统或平台。
应当理解的是，为了实践如上所述的本发明的方法，处理机的处理器和/或存储器物理上不必位于相同地理位置。也就是说，由处理机使用的处理器和存储器中的每一个可以位于地理上不同的位置并且被连接以便以任何合适的方式通信。附加地，应当理解的是，处理器和/或存储器中的每一个可以由不同的物理件设备组成。因此，处理器不必是一个位置中的一个单件设备，并且存储器不必是另一个位置中的另一个单件设备。也就是说，预期处理器可以是两个不同物理位置中的两件设备。两件不同设备可能以任何合适的方式连接。附加地，存储器可以包括两个或更多个物理位置中的两个或更多个存储器部分。
为了进一步说明，如上所述，处理由各种部件和各种存储器执行。然而，应当理解的是，根据本发明的另一实施例，如上所述的由两个不同部件执行的处理可以由单个部件执行。另外，如上所述的由一个不同部件执行的处理可以由两个不同的部件执行。以类似的方式，根据本发明的另一实施例，如上所述的由两个不同存储器部分执行的存储器存储可以由单个存储器部分执行。另外，如上所述的由一个不同的存储器部分执行的存储器存储可以由两个存储器部分执行。
另外，可以使用各种技术来提供各种处理器和/或存储器之间的通信，以及允许本发明的处理器和/或存储器与任何其他实体通信；即例如获得进一步的指令或访问和使用远程存储器存储。例如，用于提供这种通信的此类技术可以包括网络、互联网、内联网、外联网、LAN、以太网、经由小区塔或卫星的无线通信、或者提供通信的任何客户端服务器系统。此类通信技术可以使用任何合适的协议，诸如TCP/IP、UDP或OSI。
如上所述，可以在本发明的处理中使用指令集。指令集可以呈程序或软件的形式。例如，软件可以呈系统软件或应用程序软件的形式。例如，软件也可以呈单独程序的集合、较大程序内的程序模块、或程序模块的一部分的形式。所使用的软件还可以包括以面向对象编程形式的模块化编程。软件告诉处理机如何应对正在处理的数据。
此外，应当理解的是，在本发明的实现和操作中使用的指令或指令集可以呈合适的形式以使得处理机可以读取指令。例如，形成程序的指令可以呈合适编程语言的形式，所述编程语言被转换为机器语言或目标代码以允许一个或多个处理器读取指令。也就是说，使用编译器、汇编器或解释器将以特定编程语言编写的编程代码或源代码的行转换为机器语言。机器语言是特定于具体类型的处理机(即例如特定于具体类型的计算机)的二进制编码的机器指令。计算机理解机器语言。
可以根据本发明的各种实施例使用任何合适的编程语言。示意性地，所使用的编程语言可以例如包括汇编语言、Ada、APL、Basic、C、C++、COBOL、dBase、Forth、Fortran、Java、Modula-2、Pascal、Prolog、REXX、Visual Basic和/或JavaScript。此外，不必将单一类型的指令或单一编程语言与本发明的系统和方法的操作结合使用。而是，可以根据需要和/或期望使用任何数量的不同编程语言。
而且，在本发明的实践中使用的指令和/或数据可以根据需要利用任何压缩或加密技术或算法。加密模块可以用于加密数据。此外，例如，可以使用合适的解密模块来解密文件或其他数据。
如上所述，本发明可以示意性地以处理机的形式实现，包括例如包括至少一个存储器的计算机或计算机系统。应当理解的是，根据需要，使得计算机操作系统能够执行上述操作的指令集(即例如，软件)可以包含在一个或多个各种介质中的任一个上。另外，由指令集处理的数据也可以包含在一个或多个各种介质中的任一个上。也就是说，用于保存本发明中使用的指令集和/或数据的特定介质(即处理机中的存储器)可以例如采用各种物理形式或传输中的任一个。示意性地，介质可以成以下的形式：纸、纸透明胶片、光盘、DVD、集成电路、硬盘、软盘、光盘、磁带、RAM、ROM、PROM、EPROM、电线、电缆、光纤、通信信道、卫星传输、存储卡、SIM卡或其他远程传输、以及可由本发明的处理器读取的任何其他数据介质或数据源。
此外，在实现本发明的处理机中使用的一个或多个存储器可以成各种形式中的任一个以根据需要允许存储器保存指令、数据或其他信息。因此，存储器可以呈数据库的形式以保存数据。例如，数据库可以使用任何期望的文件布置，诸如平面文件布置或关系数据库布置。
在本发明的系统和方法中，可以利用各种“用户接口”来允许用户与用于实现本发明的一个或多个处理机接口连接。如本文所使用的，用户接口包括由处理机使用的任何硬件、软件、或硬件和软件的组合，其允许用户与处理机交互。例如，用户接口可以呈对话屏幕的形式。用户接口还可以包括以下中的任一个：鼠标、触摸屏、键盘、小键盘、语音阅读器、语音识别器、对话屏、菜单框、列表、复选框、切换开关、按钮、或允许用户在其处理指令集和/或向处理机提供信息时接收关于处理机操作的信息的任何其他装置。因此，用户接口是提供用户与处理机之间的通信的任何装置。例如，用户通过用户接口提供给处理机的信息可以呈命令、数据选择、或某个其他输入的形式。
如上所述，用户接口由处理机利用，所述处理机执行指令集以使得处理机为用户处理数据。用户接口通常由处理机使用以用于与用户交互以便传送信息或从用户接收信息。然而，应当理解的是，根据本发明的系统和方法的一些实施例，人类用户实际上不必与本发明的处理机所使用的用户接口交互。相反，还预期本发明的用户接口可以与另一个处理机(而不是人类用户)交互，即传送和接收信息。因此，其他处理机可以被表征为用户。此外，预期本发明的系统和方法中利用的用户接口可以部分地与一个或多个其他处理机交互，同时还部分地与人类用户交互。
本领域技术人员将容易理解的是，本发明易于广泛使用和应用。在不脱离本发明的实质和范围的情况下，除了本文中描述的那些之外，本发明的许多实施例和改编，以及许多变化、修改和等同布置将在本发明及其前面的描述中显而易见或被合理建议。
因此，尽管这里已经关于本发明的示例性实施例详细描述了本发明，但应当理解的是，本公开仅是本发明的说明和示例并且用于提供本发明的可实现的公开。因此，前述公开内容不旨在被解释或限制本发明或者以其他方式排除任何其他此类实施例、改编、变化、修改或等同布置。

Claims (21)

1.一种用于在多租户Hadoop集群中标识、命名和创建多租户目录结构的方法，其包括：
在包括多个租户和多个应用程序的多租户Hadoop集群中：
所述租户或应用程序中的一个标识目录结构的多个组，所述多个组选自包括超级用户组、多个租户组和至少一个应用程序组的组；
所述租户或应用程序中的一个为所述组中的每一个创建有效目录；
所述租户或应用程序中的一个将多个用户中的每一个添加到所述多个租户组和所述应用程序组中的一个；
所述租户或应用程序中的一个为所述用户创建租户目录和主目录；以及
所述租户或应用程序中的一个将所有者、组所有者、默认权限和扩展访问控制列表分配给所述租户目录和所述主目录。
2.根据权利要求1所述的方法，其中所述目录结构是HDFS目录结构。
3.根据权利要求1所述的方法，其中所述应用程序组包括应用程序功能组和应用程序人类用户组。
4.根据权利要求1所述的方法，其中添加到所述租户组的用户可访问所述租户的共享资源。
5.根据权利要求1所述的方法，其中添加到所述应用程序组的用户可访问所述租户的应用程序资源和共享资源。
6.根据权利要求1所述的方法，其中第一租户的共享资源与第二租户的共享资源隔离开。
7.根据权利要求1所述的方法，其中第一租户无法访问第二租户的资源。
8.根据权利要求1所述的方法，其中第一应用程序组的共享资源与第二应用程序组的共享资源隔离开。
9.一种向多租户Hadoop集群中的HDFS应用程序提供安全性的方法，其包括：
在包括多个租户和多个应用程序的多租户Hadoop集群中：
所述租户或应用程序中的一个为客户端认证客户端进程；
所述租户或应用程序中的一个从所述客户端接收请求，所述请求包括来自密钥分发中心的会话票证和临时会话密钥中的至少一个；以及
所述租户或应用程序中的一个基于至少一个客户端授权以及所述会话票证和所述临时会话密钥中的至少一个来认证所述客户端。
10.根据权利要求9所述的方法，其中所述密钥分发中心是Kerberos密钥分发中心。
11.根据权利要求9所述的方法，其中所述客户端通过提供用户名和密码与所述密钥分发中心进行验证。
12.根据权利要求11所述的方法，其还包括：
所述租户或应用程序中的一个确定选自包括超级用户组、多个租户组和至少一个应用程序组的组的客户端的至少一个组。
13.一种用于为多租户Hadoop集群中的应用程序提供安全性的方法，其包括：
在包括多个租户和多个应用程序的多租户Hadoop集群中：
所述租户或应用程序中的一个为多个租户标识多个组和角色并且标识所述角色与至少一个有效目录组之间的交叉引用；
所述租户或应用程序中的一个为所述组中的每一个创建有效目录；
所述租户或应用程序中的一个将多个用户中的每一个添加到租户组和应用程序组；
所述租户或应用程序中的一个为所述应用程序模式创建基目录；以及
所述租户或应用程序中的一个向所述租户分配角色和特权。
14.根据权利要求13所述的方法，其中所述应用程序是Apache HIVE。
15.根据权利要求13所述的方法，其中所述应用程序是Cloudera Impala。
16.根据权利要求13所述的方法，其中所述角色和特权基于至少一个租户应用程序要求。
17.根据权利要求13所述的方法，其还包括：
所述租户或应用程序中的一个通过用户名和密码来认证用户；以及
所述租户或应用程序中的一个使用基于角色的精细粒度认证授权所述用户。
18.一种用于为多租户Hadoop集群中的Hbase提供安全性的方法，其包括：
在包括多个租户和多个应用程序的多租户Hadoop集群中：
所述租户或应用程序中的一个标识具有对Hbase命名空间的权限的多个Hbase命名空间和组；
所述租户或应用程序中的一个为所述组中的每一个创建有效目录；
所述租户或应用程序中的一个创建所述Hbase命名空间，以满足至少一个租户要求；以及
所述租户或应用程序中的一个为具有至少一个特权的每个应用程序创建默认角色。
19.根据权利要求18所述的方法，其中所述至少一个特权控制对应用程序的访问。
20.根据权利要求18所述的方法，其还包括：
所述租户或应用程序中的一个使用访问控制列表来授权客户端动作。
21.根据权利要求18所述的方法，其还包括：
所述租户或应用程序中的一个使用基于角色的访问控制来授予客户端权限。
CN201780044056.9A 2016-05-23 2017-05-23 用于多租户hadoop集群的安全设计和架构 Active CN109643242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310618267.6A CN116743440A (zh) 2016-05-23 2017-05-23 用于多租户hadoop集群的安全设计和架构

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662340284P 2016-05-23 2016-05-23
US62/340,284 2016-05-23
PCT/US2017/033913 WO2017205317A1 (en) 2016-05-23 2017-05-23 Security design and architecture for a multi-tenant hadoop cluster

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310618267.6A Division CN116743440A (zh) 2016-05-23 2017-05-23 用于多租户hadoop集群的安全设计和架构

Publications (2)

Publication Number Publication Date
CN109643242A true CN109643242A (zh) 2019-04-16
CN109643242B CN109643242B (zh) 2023-06-27

Family

ID=60331007

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780044056.9A Active CN109643242B (zh) 2016-05-23 2017-05-23 用于多租户hadoop集群的安全设计和架构
CN202310618267.6A Pending CN116743440A (zh) 2016-05-23 2017-05-23 用于多租户hadoop集群的安全设计和架构

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310618267.6A Pending CN116743440A (zh) 2016-05-23 2017-05-23 用于多租户hadoop集群的安全设计和架构

Country Status (6)

Country Link
US (2) US10873582B2 (zh)
EP (1) EP3465431A4 (zh)
CN (2) CN109643242B (zh)
AU (2) AU2017272079A1 (zh)
CA (1) CA3024987A1 (zh)
WO (1) WO2017205317A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471732A (zh) * 2019-08-15 2019-11-19 浪潮云信息技术有限公司 一种Linux Kerberos Principal的操作控制方法
CN111259378A (zh) * 2020-01-08 2020-06-09 中国建设银行股份有限公司 多租户管理系统和多租户管理系统的实现方法
CN111428256A (zh) * 2020-03-30 2020-07-17 北京东方金信科技有限公司 一种大数据平台多租户管理系统
WO2020238359A1 (zh) * 2019-05-27 2020-12-03 深圳前海微众银行股份有限公司 分区授权方法、装置、设备及计算机可读存储介质
CN112241313A (zh) * 2020-10-27 2021-01-19 浪潮云信息技术股份公司 基于Ambari的Hadoop集群多租户管理服务方法及系统
CN112311830A (zh) * 2019-07-31 2021-02-02 华为技术有限公司 基于云存储的Hadoop集群的多租户认证系统及方法
CN113132295A (zh) * 2019-12-30 2021-07-16 北京懿医云科技有限公司 集群内网访问外网的方法及装置、存储介质、电子设备
CN113297589A (zh) * 2021-03-31 2021-08-24 阿里巴巴新加坡控股有限公司 设置集群权限的方法、装置及系统
CN115952228A (zh) * 2023-03-09 2023-04-11 山东浪潮超高清智能科技有限公司 一种数据库连接池连接Impala的方法及系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10601827B2 (en) * 2017-04-07 2020-03-24 JumpCloud, Inc. Integrated hosted directory
US10548005B2 (en) * 2016-07-18 2020-01-28 Lg Electronics Inc. Method for security of user equipment connection identifier in wireless communication system and apparatus therefor
JP6957223B2 (ja) * 2017-06-16 2021-11-02 キヤノン株式会社 情報処理システム、制御方法及びそのプログラム
US10764299B2 (en) * 2017-06-29 2020-09-01 Microsoft Technology Licensing, Llc Access control manager
US20190005066A1 (en) * 2017-06-29 2019-01-03 International Business Machines Corporation Multi-tenant data service in distributed file systems for big data analysis
US10693882B2 (en) * 2017-10-31 2020-06-23 Microsoft Technology Licensing, Llc Resource-based selection of identity provider
US11144325B2 (en) * 2017-12-15 2021-10-12 Jpmorgan Chase Bank, N.A. Systems and methods for optimized cluster resource utilization
US10713092B2 (en) 2018-01-02 2020-07-14 Jpmorgan Chase Bank, N.A. Dynamic resource management of a pool of resources for multi-tenant applications based on sample exceution, query type or jobs
CN110457307B (zh) * 2018-05-03 2023-10-24 阿里巴巴集团控股有限公司 元数据管理系统、用户集群创建方法、装置、设备和介质
CN108920698B (zh) * 2018-07-16 2020-11-03 京东数字科技控股有限公司 一种数据同步方法、装置、系统、介质及电子设备
WO2020112993A1 (en) * 2018-11-28 2020-06-04 Jpmorgan Chase Bank, N.A. Systems and methods for data usage monitoring in multi-tenancy enabled hadoop clusters
US11403412B2 (en) 2019-02-12 2022-08-02 Citrix Systems, Inc. Accessing encrypted user data at a multi-tenant hosted cloud service
CN109815219B (zh) * 2019-02-18 2021-11-23 国家计算机网络与信息安全管理中心 支持多数据库引擎的数据生命周期管理的实现方法
CN109992416B (zh) * 2019-03-20 2022-03-18 跬云(上海)信息科技有限公司 基于预计算olap模型的多租户服务方法及装置
US11429441B2 (en) 2019-11-18 2022-08-30 Bank Of America Corporation Workflow simulator
US11106509B2 (en) 2019-11-18 2021-08-31 Bank Of America Corporation Cluster tuner
US11677754B2 (en) * 2019-12-09 2023-06-13 Daniel Chien Access control systems and methods
CN111259356B (zh) * 2020-02-17 2022-09-02 北京百度网讯科技有限公司 授权方法、辅助授权组件、管理服务器和计算机可读介质
US11514186B2 (en) * 2021-04-14 2022-11-29 Sap Se Integrated database user privilege management
US20230110527A1 (en) * 2021-10-08 2023-04-13 Kasten, Inc. Role-based access control using cloud-native objects in multi-tenant environments
CN114462069B (zh) * 2022-04-12 2022-07-22 北京天维信通科技有限公司 多级租户资源访问管理方法、系统、智能终端及存储介质
CN115865502B (zh) * 2022-12-07 2024-04-30 中国联合网络通信集团有限公司 权限管控方法、装置、设备及存储介质
JP7430020B1 (ja) 2023-08-14 2024-02-09 久米機電工業株式会社 権限管理アプリケーション及び権限管理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703443A (zh) * 2011-03-22 2014-04-02 亚马逊技术股份有限公司 针对计算应用程序功能的强大权限管理
US20140196115A1 (en) * 2013-01-07 2014-07-10 Zettaset, Inc. Monitoring of Authorization-Exceeding Activity in Distributed Networks
US20150121371A1 (en) * 2013-10-25 2015-04-30 Vmware, Inc. Multi-tenant distributed computing and database
US20150120791A1 (en) * 2013-10-24 2015-04-30 Vmware, Inc. Multi-tenant production and test deployments of hadoop
US20150363167A1 (en) * 2014-06-16 2015-12-17 International Business Machines Corporation Flash optimized columnar data layout and data access algorithms for big data query engines

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620609B (zh) 2008-06-30 2012-03-21 国际商业机器公司 多租户数据存储和访问方法和装置
US9253053B2 (en) * 2012-10-11 2016-02-02 International Business Machines Corporation Transparently enforcing policies in hadoop-style processing infrastructures
US9727355B2 (en) * 2013-08-23 2017-08-08 Vmware, Inc. Virtual Hadoop manager
US10193963B2 (en) * 2013-10-24 2019-01-29 Vmware, Inc. Container virtual machines for hadoop
US10310911B2 (en) 2014-03-14 2019-06-04 Google Llc Solver for cluster management system
US9985953B2 (en) * 2014-11-10 2018-05-29 Amazon Technologies, Inc. Desktop application fulfillment platform with multiple authentication mechanisms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703443A (zh) * 2011-03-22 2014-04-02 亚马逊技术股份有限公司 针对计算应用程序功能的强大权限管理
US20140196115A1 (en) * 2013-01-07 2014-07-10 Zettaset, Inc. Monitoring of Authorization-Exceeding Activity in Distributed Networks
US20150120791A1 (en) * 2013-10-24 2015-04-30 Vmware, Inc. Multi-tenant production and test deployments of hadoop
US20150121371A1 (en) * 2013-10-25 2015-04-30 Vmware, Inc. Multi-tenant distributed computing and database
US20150363167A1 (en) * 2014-06-16 2015-12-17 International Business Machines Corporation Flash optimized columnar data layout and data access algorithms for big data query engines

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PARESH WANKHEDE: "Secure and multi-tenant Hadoop Cluster-An Experience", 《2016 2ND INTERNATIONAL CONFERENCE ON GREEN HIGH PERFORMANCE COMPUTING (ICGHPC)》 *
谷红勋等: "基于大数据的移动用户行为分析系统与应用案例", 《电信科学》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238359A1 (zh) * 2019-05-27 2020-12-03 深圳前海微众银行股份有限公司 分区授权方法、装置、设备及计算机可读存储介质
CN112311830A (zh) * 2019-07-31 2021-02-02 华为技术有限公司 基于云存储的Hadoop集群的多租户认证系统及方法
CN112311830B (zh) * 2019-07-31 2022-03-01 华为云计算技术有限公司 基于云存储的Hadoop集群的多租户认证系统及方法
CN110471732A (zh) * 2019-08-15 2019-11-19 浪潮云信息技术有限公司 一种Linux Kerberos Principal的操作控制方法
CN113132295B (zh) * 2019-12-30 2023-04-28 北京懿医云科技有限公司 集群内网访问外网的方法及装置、存储介质、电子设备
CN113132295A (zh) * 2019-12-30 2021-07-16 北京懿医云科技有限公司 集群内网访问外网的方法及装置、存储介质、电子设备
CN111259378B (zh) * 2020-01-08 2023-04-07 建信金融科技有限责任公司 多租户管理系统和多租户管理系统的实现方法
CN111259378A (zh) * 2020-01-08 2020-06-09 中国建设银行股份有限公司 多租户管理系统和多租户管理系统的实现方法
CN111428256A (zh) * 2020-03-30 2020-07-17 北京东方金信科技有限公司 一种大数据平台多租户管理系统
CN111428256B (zh) * 2020-03-30 2023-05-05 北京东方金信科技股份有限公司 一种大数据平台多租户管理系统
CN112241313A (zh) * 2020-10-27 2021-01-19 浪潮云信息技术股份公司 基于Ambari的Hadoop集群多租户管理服务方法及系统
CN112241313B (zh) * 2020-10-27 2022-04-12 浪潮云信息技术股份公司 基于Ambari的Hadoop集群多租户管理服务方法及系统
CN113297589A (zh) * 2021-03-31 2021-08-24 阿里巴巴新加坡控股有限公司 设置集群权限的方法、装置及系统
CN113297589B (zh) * 2021-03-31 2024-04-16 阿里巴巴创新公司 设置集群权限的方法、装置及系统
CN115952228A (zh) * 2023-03-09 2023-04-11 山东浪潮超高清智能科技有限公司 一种数据库连接池连接Impala的方法及系统
CN115952228B (zh) * 2023-03-09 2023-06-20 山东浪潮超高清智能科技有限公司 一种数据库连接池连接Impala的方法及系统

Also Published As

Publication number Publication date
US10873582B2 (en) 2020-12-22
EP3465431A4 (en) 2020-03-25
CA3024987A1 (en) 2017-11-30
AU2017272079A1 (en) 2018-12-13
CN109643242B (zh) 2023-06-27
US20170339156A1 (en) 2017-11-23
WO2017205317A1 (en) 2017-11-30
US11616783B2 (en) 2023-03-28
CN116743440A (zh) 2023-09-12
US20210105278A1 (en) 2021-04-08
AU2022204259A1 (en) 2022-07-07
EP3465431A1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
CN109643242A (zh) 用于多租户hadoop集群的安全设计和架构
CN105429999B (zh) 基于云平台的统一身份认证系统
JP5423397B2 (ja) アクセス権限管理システム、アクセス権限管理方法及びアクセス権限管理用プログラム
CN105074685B (zh) 企业社交商业计算的多租户支持方法、计算机可读介质及系统
CN109670768A (zh) 多业务域的权限管理方法、装置、平台及可读存储介质
CN109639687A (zh) 用于提供基于云的身份和访问管理的系统、方法和介质
CN104769908A (zh) 基于ldap的多租户云中身份管理系统
WO2013138954A1 (zh) 一种计算机账户管理系统及其实现方法
US20070260875A1 (en) Method and apparatus for preferred business partner access in public wireless local area networks (LANS)
CN106992988A (zh) 一种跨域匿名资源共享平台及其实现方法
CN109413080A (zh) 一种跨域动态权限控制方法及系统
EP4158518A1 (en) Secure resource authorization for external identities using remote principal objects
CN111274569A (zh) 统一登录认证的研发运维集成系统及其登录认证方法
CN106559389A (zh) 一种服务资源发布、调用方法、装置、系统及云服务平台
Pérez-Méndez et al. Identity federations beyond the web: A survey
CN110881039B (zh) 一种云安全管理系统
CN103152319A (zh) 云维护和授权方法及其系统
Thakur et al. User identity & lifecycle management using LDAP directory server on distributed network
Derek Halling et al. Bringing interlibrary loan services under a single sign‐on umbrella
CN109905365A (zh) 一种可分布式部署的单点登录及服务授权系统和方法
CN109150909A (zh) 一种校园统一身份认证系统
CN110414213A (zh) 一种基于keycloak的对运维管理系统中权限管理的方法及装置
CN111064695A (zh) 一种认证方法及认证系统
CN102833226A (zh) 一种信息访问系统及其安全控制方法
Gaikwad et al. Network Security Enhancement in Hadoop Clusters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40007284

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant