CN111428256A - 一种大数据平台多租户管理系统 - Google Patents

一种大数据平台多租户管理系统 Download PDF

Info

Publication number
CN111428256A
CN111428256A CN202010235838.4A CN202010235838A CN111428256A CN 111428256 A CN111428256 A CN 111428256A CN 202010235838 A CN202010235838 A CN 202010235838A CN 111428256 A CN111428256 A CN 111428256A
Authority
CN
China
Prior art keywords
authority
users
data platform
big data
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010235838.4A
Other languages
English (en)
Other versions
CN111428256B (zh
Inventor
朱加周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dongfang Jinxin Technology Co ltd
Original Assignee
Beijing Dongfang Jinxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dongfang Jinxin Technology Co ltd filed Critical Beijing Dongfang Jinxin Technology Co ltd
Priority to CN202010235838.4A priority Critical patent/CN111428256B/zh
Publication of CN111428256A publication Critical patent/CN111428256A/zh
Application granted granted Critical
Publication of CN111428256B publication Critical patent/CN111428256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2113—Multi-level security, e.g. mandatory access control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种大数据平台多租户管理系统，其包括：Web UI界面展示模块，用于页面控制和管理；Linux操作系统集群，用于对所有需要访问大数据平台多租户管理系统以及外部大数据平台的用户进行管理；权限管控模块，用于根据Linux操作系统集群对所有用户与不同角色和权限之间的配置关系，对各用户发出的资源访问权限申请进行审计，当审计合法时，为其开放相应的资源访问权限；资源管理模块，用于为审计合法的用户提供不同的资源访问服务；桥接模块作为大数据平台多租户管理系统的外部数据接口，用于和外部大数据平台进行数据访问和交互。本发明可以广泛应用于大数据技术领域。

Description

一种大数据平台多租户管理系统
技术领域
本发明涉及一种大数据平台多租户管理系统，属于大数据平台技术领域。
背景技术
随着大数据平台的普及，越来越多的业务数据和业务场景，都不断迁移到了大数据平台上。以现有的大数据平台(以Hadoop为典型代表)为例进行介绍，其上汇集了多种类型的数据资源，而不同类型的数据资源往往通过大数据平台中的不同的数据管理组件来分别进行管理。例如：分布式文件系统(以HDFS为典型代表)管理着诸如目录和文件这样的文件型数据对象；分布式列式数据库系统(以Hbase为代表)则管理着名字空间、表、列族、列等数据对象；而分布式表格系统(以Hive为典型代表)则管理着数据库、表格、字段等数据对象。与此同时，不同的数据管理组件又使用了不同的访问控制策略来保护其管理的数据对象不受未经授权的访问操作。
这使得对于大数据平台上的分布式存储资源、计算资源、服务资源，以多租户形式，统一分配、管理变得非常困难，给用户带来了许多不便。
发明内容
针对上述问题，本发明的目的是提供一种大数据平台多租户管理系统，该系统能够实现大数据平台中的多租户资源隔离，使得对多租户的管理更加便捷。
为实现上述目的，本发明采取以下技术方案：一种大数据平台多租户管理系统，其包括：WEB UI界面展示模块、权限管控模块、Linux操作系统集群、资源管理模块、数据库以及桥接模块；所述Web UI界面展示模块用于页面控制和管理，包括增删各个模块的页面请求路径，进而管理各个模块的页面是否能够正常访问；所述Linux操作系统集群用于对所有需要访问大数据平台多租户管理系统以及外部大数据平台的用户进行管理，包括在不同的用户与不同的角色之间建立关联，以及在不同角色与不同的资源访问权限之间建立关联，并存储到所述数据库中；所述权限管控模块用于根据所述Linux操作系统集群对所有用户与不同角色和权限之间的配置关系，对各用户发出的资源访问权限申请进行审计，当审计合法时，为其开放相应的资源访问权限；所述资源管理模块用于为审计合法的用户提供不同的资源访问服务，以便对外部大数据平台中的不同类型的数据资源进行管理；所述桥接模块作为大数据平台多租户管理系统的外部数据接口，用于和外部大数据平台进行数据访问和交互。
进一步的，所述Linux操作系统集群包括用户管理模块、角色管理模块和权限管理模块；所述用户管理模块用于对所有需要访问多租户管理系统和外部大数据平台的用户进行管理，包括增加/删除用户和用户群；所述角色管理模块用于建立和维护用户与角色之间的映射关系表，包括根据不同用户的职责为该用户赋予不同的角色；所述权限管理模块用于建立和维护不同角色与资源访问权限之间的映射关系表，包括为任一角色赋予不同的资源访问权限。
进一步的，所述用户管理模块对用户进行管理时，将用户分为系统类型和业务类型两类；所述系统类型用户是指用于对大数据平台多租户管理系统进行管理的用户和群组，且系统类型用户设置有系统管理员、用户群管理员以及群内用户，所述系统管理员用于对所有系统类型用户进行管理，包括增加或删除所有用户群管理员以及各用户群内用户，所述用户群管理员用于对各自群内的用户进行管理，包括增加或删除群内用户；所述业务类型指的是用于对外部大数据平台中资源进行管理的用户，且业务类型用户的相关数据存储在大数据平台多租户管理系统的数据库内，对业务类型用户进行增删改操作时，相关的用户信息除了在大数据平台多租户管理系统的数据库内修改外，还需要同步到外部大数据平台，进而实现对外部大数据平台的管控。
进一步的，所述角色管理模块将角色分为系统类型和业务类型两种；所述系统类型角色是指能够对大数据平台多租户管理系统自身进行管理的角色；所述业务类型角色是指能够对外部大数据平台中进行管理的角色。
进一步的，所述权限管理模块将权限分为系统权限和业务权限；所述系统权限指的是对于大数据平台多租户管理系统自身用户和角色管理、菜单权限的管理以及操作权限的管理；所述业务权限指的是对外部大数据平台中不同数据类型进行的不同权限的管理。
进一步的，所述权限管理模块在为拥有业务权限类型的角色分配资源访问权限时，采用细粒度分配机制将外部大数据平台的存储资源、计算资源和服务资源进行分配。
进一步的，所述权限管理模块对外部大数据平台中的存储资源进行分配时：首先，将“HDFS磁盘目录”的每一条目录作为最小分配单元，实现对整个HDFS存储资源的划分，进而得到多个最小分配单元；然后，将不同角色所对应的访问权限与其能够访问的HDFS磁盘目录进行组合，得到相应角色的权限分配资源，该角色在该HDFS磁盘目录上享有相应的访问权限；最后，进行用户与角色之间的关联，若用户为HDFS磁盘目录路径的角色，则该用户能够享有HDFS集群提供的相应服务，进而实现用户的权限对HDFS的目录管理的粒度划分。
进一步的，所述权限管理模块对外部大数据平台中的计算资源进行分配时：首先，将YARN队列资源权限划分为admin权限和submit权限，拥有admin权限的角色对相应的YARN队列有完整的操作管理权限，拥有submit权限的角色具有提交job到队列的权限；其次，为不同角色赋予不同的权限，并进行角色与用户之间的关联，实现用户对队列资源权限的粒度划分。
进一步的，所述权限管理模块对外部大数据平台中的服务资源进行分配时，包括以下内容：首先，对服务资源中的Hive、Hbase、Solr和Kafka数据资源所对应的操作权限进行细化，得到每一种数据资源所包括的多种单项操作权限；其次，为不同角色赋予不同的操作权限，其中，每一角色能够拥有多种单项操作权限中的一种或几种；最后，进行用户与角色之间的关联，若用户属于某一类操作权限的角色，则该用户能够享有相应服务组件提供的相应服务。
进一步的，对服务资源中的Hive、Hbase、Solr和Kafka数据资源所对应的操作权限进行细化时，各操作权限包括：Hive数据资源包括表、表字段、存在表中行数据，Hive数据资源的所有单项操作权限包括：建立在表、表字段上的单项操作权限，即：select查询权限、update数据修改权限、create创建操作权限、drop删除操作权限、alter修改表或者字段操作权限、index创建索引权限，其中，当为表字段进行select查询操作权限划分时，需要保证对表字段对应的父表也分配select查询权限；建立在表、存在表中行数据上的单项操作权限：lock锁表和数据行操作权限；Hbase数据资源包括表、列族、列，且所述表和列族是一对多的关系，所述列族和列也是一对多的关系，所述表、列族、列是一一对应的父级和子集关系；Hbase数据资源的所有单项操作权限包括：Table读/读权限、Table创建权限、Table管理员权限、列族读/读权限、列族创建权限、列族管理员权限、列读/读权限、列创建权限、列管理员权限，且需保证当对子集进行权限分配时，保证对应的父级也有相应操作权限；Kafka数据资源包括Top主题资源，Kafka数据资源的单项操作权限包括：发布权限、消费权限、配置权限、描述权限、创建权限、删除权限、管理员权限、读写权限、描述配置权限、修改配置权限、选择/不选择全部权限；Solr数据资源包括collection集合，Solr数据资源的单项操作权限包括查询权限、集合更新权限和管理员权限。
本发明由于采取以上技术方案，其具有以下优点：1、本发明提出的大数据平台多租户管理系统，在用户与大数据平台之间建立了联系，为不同用户分配不同的角色以及资源访问权限，使得不同用户能够对大数据平台中的资源进行访问，实现了大数据平台的资源共享。2、本发明在为不同角色分配资源访问权限时，采用了细粒度分配机制，使得对于大数据平台资源的访问的细粒度权限管控，进一步保证了对大数据平台资源访问的隔离性。3、本发明将所有用户分配为系统类型和业务类型，进而对角色和权限也分配为系统类型和业务类型，使得各类型用户分别对多租户管理系统和大数据平台进行管理，隔离型好，同一运营成本下支持的用户多，运营成本低。本发明提出的多租户管理系统，隔离性好，性价比高，初始成本低，可以广泛应用于大数据技术领域。
附图说明
图1是本发明大数据平台多租户管理系统架构图；
图2是本发明大数据平台多租户管理系统的整体权限模型。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本发明提供的一种大数据平台多租户管理系统(以下简称多租户管理系统)，其包括WEB UI界面展示模块、权限管控模块(SSM)、Linux操作系统集群、资源管理模块、数据库以及桥接模块。其中，Web UI界面展示模块用于页面控制和管理，包括增删各个模块的页面请求路径，进而管理各个模块的页面是否可以正常访问；Linux操作系统集群用于对所有需要访问多租户管理系统以及外部大数据平台的用户进行管理，包括在不同的用户与不同的角色之间建立关联，以及在不同角色与不同的资源访问权限之间建立关联，并存储到数据库中；权限管控模块用于根据Linux操作系统集群对所有用户与不同角色和权限之间的配置关系，对各用户发出的资源访问权限申请进行审计，当审计合法时，为其开放相应的资源访问权限；资源管理模块用于为审计合法的用户提供不同的资源访问服务，以便对外部大数据平台中的不同类型的数据资源进行管理；桥接模块作为多租户管理系统的外部数据接口，用于和外部大数据平台进行数据访问和交互。
进一步的，Linux操作系统集群包括用户管理模块、角色管理模块和权限管理模块。其中，用户管理模块用于对所有需要访问多租户管理系统和外部大数据平台的用户进行管理，包括增加/删除用户和用户群；角色管理模块用于建立和维护用户与角色之间的映射关系表，例如根据不同用户的职责为该用户赋予不同的角色，某一用户可以属于某一个或多个角色，某一角色也可以属于一个或多个用户；权限管理模块用于建立和维护不同角色与资源访问权限之间的映射关系表，例如为某一角色赋予不同的资源访问权限。
进一步的，用户管理模块对用户进行管理时，将用户分为系统类型和业务类型两类。系统类型用户是指用于对多租户管理系统中的资源进行管理的用户和群组，且系统类型用户设置有系统管理员、用户群管理员以及群内用户，系统管理员可以对所有系统类型用户进行管理，包括增加或删除所有用户群管理员以及各用户群内用户，用户群管理员可以对各自群内的用户进行管理，包括增加或删除群内用户；业务类型指的是用于对外部大数据平台中资源进行管理的用户，且业务类型用户的相关数据存储在多租户管理系统的数据库内，对业务用户进行增删改操作时，相关的用户信息除了在多租户管理系统的数据库内修改外，还需要同步到外部的大数据平台，进而实现对外部大数据平台的管控。
进一步的，角色管理模块也将角色分为系统类型和业务类型两种。其中，系统类型角色是指能够对多租户管理系统自身进行管理的角色，与系统类型用户相对应；业务类型角色是指能够对外部大数据平台中进行管理的角色。
进一步的，权限管理模块将权限分为系统权限和业务权限，系统权限指的是对于多租户管理系统自身用户和角色管理、菜单权限的管理以及操作权限的管理；而业务权限指的是对外部大数据平台中不同数据类型进行的不同权限的管理。
进一步的，权限管理模块在为拥有业务权限类型的角色分配资源访问权限时，采用的是粒度的分配机制。
具体的，存储资源管理模块对存储资源即HDFS磁盘目录进行权限分配时，将“HDFS磁盘目录”的每一条目录作为最小分配单元，实现对整个HDFS存储资源的划分，进而得到多个最小分配单元；然后，将不同角色所对应的访问权限(例如读/写、只读)与其能够访问的HDFS磁盘目录进行组合，得到相应角色的权限分配资源，该角色在该HDFS磁盘目录上享有相应的访问权限；最后，进行用户与角色之间的关联，若用户为HDFS磁盘目录路径的角色，则该用户可以享有HDFS集群提供的相应服务，进而实现用户的权限对HDFS的目录管理的粒度划分。
对计算资源即YARN队列资源进行权限分配时：首先，将YARN队列资源权限划分为admin权限和submit权限，拥有admin权限的角色对相应的YARN队列有完整的操作管理权限，拥有submit权限的角色具有提交job到队列的权限；其次，为不同角色赋予不同的权限，并进行角色与用户之间的关联，实现用户对队列资源权限的粒度划分。
由于服务资源包括Hive、Hbase、Solr和Kafka四种资源，下面分别对其进行介绍：
对Hive数据资源进行权限分配时，首先，根据Hive数据资源包括的不同数据类型将Hive数据资源的操作权限进行细化，由于Hive数据资源包括表、表字段、存在表中行数据，因此，本发明将对表、表字段的操作权限划分为select查询权限、update数据修改权限、create创建操作权限、drop删除操作权限、alter修改表或者字段等操作权限、index创建索引权限等单项操作权限，其中，由于表和表字段的关系为一对多，当为表字段进行select查询操作权限划分时，需要保证对表字段对应的父表也分配select查询权限；对表和存在表中行数据的操作权限还包括lock锁表和数据行操作权限单项操作权限；其次，为不同角色赋予不同的操作权限，其中，每一角色可以拥有上述操作权限中的一种或几种；最后，进行用户与角色之间的关联，若用户属于某一类操作权限的角色，则该用户可以享有Hive服务组件提供的相应服务。
对Hbase数据资源进行权限分配时，首先，根据Hbase数据资源包括的不同数据类型对Hbase数据资源的操作权限进行细化，由于Hbase数据资源包括表、列族、列(kv，对应一个kv形式的键值对)，其中，表和列族是一对多的关系，列族和列也是一对多的关系，表、列族、列是一一对应的父级和子集关系，因此，本发明将对Hbase数据资源的操作权限划分为：Table读/读权限、Table创建权限、Table管理员权限、列族读/读权限、列族创建权限、列族管理员权限、列读/读权限、列创建权限、列管理员权限等单项操作权限，且需保证当对子集进行权限分配时，保证对应的父级也有相应操作权限；其次，为不同角色赋予不同的操作权限，其中，每一角色可以拥有上述操作权限中的一种或几种；最后，进行用户与角色之间的关联，若用户属于某一类操作权限的角色，则该用户可以享有Hbase服务组件提供的相应服务。
对Kafka数据资源进行权限分配时，首先，由于Kafka数据资源包括Top主题资源，因此本发明将对Kafka数据资源的操作权限划分为：发布权限、消费权限、配置权限、描述权限、创建权限、删除权限、管理员权限、读写权限、描述配置权限、修改配置权限、选择/不选择全部权限等单项操作权限；其次，为不同角色赋予不同的操作权限，其中，每一角色可以拥有上述操作权限中的一种或几种；最后，进行用户与角色之间的关联，若用户属于某一类操作权限的角色，则该用户可以享有Kafka服务组件提供的相应服务。
对Solr数据资源进行权限分配时，首先，由于Solr数据资源为collection集合，本发明将对Solr数据资源的操作权限划分为查询权限、集合更新权限和管理员权限等单项操作权限；其次，为不同角色赋予不同的操作权限，其中，每一角色可以拥有上述操作权限中的一种或几种；最后，进行用户与角色之间的关联，若用户属于某一类操作权限的角色，则该用户可以享有Solr服务组件提供的相应服务。
进一步的，本发明外部大数据平台中涉及的资源包括存储资源、计算资源和服务资源，其中，存储资源指的是分布式文件存储系统HDFS；计算资源指统一由Yarn队列形式实现的YARN队列资源；服务资源指的是Hive、Hbase、Solr和Kafka服务组件。
进一步的，资源管理模块包括存储资源管理模块、计算资源管理模块和服务资源管理模块。其中，存储资源管理模块用于在外部大数据平台的存储资源“分布式文件存储系统HDFS”与大数据平台的“HDFS集群服务”之间建立联系，实现业务类型的用户和群组对大数据平台中的HDFS中存储资源的管理；计算资源管理模块用于在“YARN队列资源”与“SMCS队列管理服务”之间建立联系，实现对YARN队列资源的管理；服务资源管理模块用于在不同的服务资源和服务组件之间建立联系，实现对大数据平台中各服务资源的管理。其中，大数据平台中的服务资源包括Hive、Hbase、Solr和Kafka服务，与之对应的各服务组件分别为Hive Server服务组件、HbaseMaster服务组件、Solrserver服务组件和Kafka集群服务组件。
本发明还提供一种大数据平台多租户管理方法，包括以下步骤：
1)对所有需要访问多租户管理系统和外部大数据平台的用户，根据该用户的职责分配不同的角色以及资源访问权限；
2)当用户通过大数据平台多租户管理系统对外部大数据平台进行访问时，对该用户发出的资源访问权限申请进行审计；
3)审计合法时，为用户提供与其资源访问权限申请相匹配的资源访问服务。
上述步骤1)中，对所有需要访问多租户管理系统和外部大数据平台的用户，根据该用户的职责分配不同的角色以及资源访问权限的方法，包括以下步骤：
1.1)对所有需要访问多租户管理系统和外部大数据平台的用户进行管理，包括增加/删除用户和用户群；
1.2)建立和维护用户与角色之间的映射关系表，根据不同用户的职责为该用户赋予不同的角色，其中，一个用户能够属于一个或多个角色，一个角色能够属于一个或多个用户；
1.3)建立和维护不同角色与资源访问权限之间的映射关系表，为各角色赋予不同的资源访问权限。
上述步骤1.1)中，用户管理模块对用户进行管理时，将用户分为系统类型和业务类型两类：系统类型用户是指用于对多租户管理系统中的资源进行管理的用户和群组，且系统类型用户设置有系统管理员、用户群管理员以及群内用户，系统管理员对所有系统类型用户进行管理，包括增加或删除所有用户群管理员以及各用户群内用户，用户群管理员可以对各自群内的用户进行管理，包括增加或删除群内用户；业务类型指的是用于对外部大数据平台中资源进行管理的用户，且业务类型用户的相关数据存储在多租户管理系统的数据库内，对业务用户进行增删改操作时，相关的用户信息除了在多租户管理系统的数据库内修改外，还需要同步到外部的大数据平台。
上述步骤1.2)中，将角色分为系统类型和业务类型两种：系统类型角色是指能够对多租户管理系统自身进行管理的角色；业务类型角色是指能够对外部大数据平台中进行管理的角色。
以上给出一种具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变形仍落入本发明的保护范围内。

Claims (10)

1.一种大数据平台多租户管理系统，其特征在于：其包括：WEB UI界面展示模块、权限管控模块、Linux操作系统集群、资源管理模块、数据库以及桥接模块；
所述Web UI界面展示模块用于页面控制和管理，包括增删各个模块的页面请求路径，进而管理各个模块的页面是否能够正常访问；
所述Linux操作系统集群用于对所有需要访问大数据平台多租户管理系统以及外部大数据平台的用户进行管理，包括在不同的用户与不同的角色之间建立关联，以及在不同角色与不同的资源访问权限之间建立关联，并存储到所述数据库中；
所述权限管控模块用于根据所述Linux操作系统集群对所有用户与不同角色和权限之间的配置关系，对各用户发出的资源访问权限申请进行审计，当审计合法时，为其开放相应的资源访问权限；
所述资源管理模块用于为审计合法的用户提供不同的资源访问服务，以便对外部大数据平台中的不同类型的数据资源进行管理；
所述桥接模块作为大数据平台多租户管理系统的外部数据接口，用于和外部大数据平台进行数据访问和交互。
2.如权利要求1所述的一种大数据平台多租户管理系统，其特征在于：所述Linux操作系统集群包括用户管理模块、角色管理模块和权限管理模块；
所述用户管理模块用于对所有需要访问多租户管理系统和外部大数据平台的用户进行管理，包括增加/删除用户和用户群；
所述角色管理模块用于建立和维护用户与角色之间的映射关系表，包括根据不同用户的职责为该用户赋予不同的角色；
所述权限管理模块用于建立和维护不同角色与资源访问权限之间的映射关系表，包括为任一角色赋予不同的资源访问权限。
3.如权利要求2所述的一种大数据平台多租户管理系统，其特征在于：所述用户管理模块对用户进行管理时，将用户分为系统类型和业务类型两类；
所述系统类型用户是指用于对大数据平台多租户管理系统进行管理的用户和群组，且系统类型用户设置有系统管理员、用户群管理员以及群内用户，所述系统管理员用于对所有系统类型用户进行管理，包括增加或删除所有用户群管理员以及各用户群内用户，所述用户群管理员用于对各自群内的用户进行管理，包括增加或删除群内用户；
所述业务类型指的是用于对外部大数据平台中资源进行管理的用户，且业务类型用户的相关数据存储在大数据平台多租户管理系统的数据库内，对业务类型用户进行增删改操作时，相关的用户信息除了在大数据平台多租户管理系统的数据库内修改外，还需要同步到外部大数据平台，进而实现对外部大数据平台的管控。
4.如权利要求2所述的一种大数据平台多租户管理系统，其特征在于：所述角色管理模块将角色分为系统类型和业务类型两种；
所述系统类型角色是指能够对大数据平台多租户管理系统自身进行管理的角色；
所述业务类型角色是指能够对外部大数据平台中进行管理的角色。
5.如权利要求2所述的一种大数据平台多租户管理系统，其特征在于：所述权限管理模块将权限分为系统权限和业务权限；
所述系统权限指的是对于大数据平台多租户管理系统自身用户和角色管理、菜单权限的管理以及操作权限的管理；
所述业务权限指的是对外部大数据平台中不同数据类型进行的不同权限的管理。
6.如权利要求5所述的一种大数据平台多租户管理系统，其特征在于：所述权限管理模块在为拥有业务权限类型的角色分配资源访问权限时，采用细粒度分配机制将外部大数据平台的存储资源、计算资源和服务资源进行分配。
7.如权利要求6所述的一种大数据平台多租户管理系统，其特征在于：所述权限管理模块对外部大数据平台中的存储资源进行分配时：首先，将“HDFS磁盘目录”的每一条目录作为最小分配单元，实现对整个HDFS存储资源的划分，进而得到多个最小分配单元；然后，将不同角色所对应的访问权限与其能够访问的HDFS磁盘目录进行组合，得到相应角色的权限分配资源，该角色在该HDFS磁盘目录上享有相应的访问权限；最后，进行用户与角色之间的关联，若用户为HDFS磁盘目录路径的角色，则该用户能够享有HDFS集群提供的相应服务，进而实现用户的权限对HDFS的目录管理的粒度划分。
8.如权利要求6所述的一种大数据平台多租户管理系统，其特征在于：所述权限管理模块对外部大数据平台中的计算资源进行分配时：首先，将YARN队列资源权限划分为admin权限和submit权限，拥有admin权限的角色对相应的YARN队列有完整的操作管理权限，拥有submit权限的角色具有提交job到队列的权限；其次，为不同角色赋予不同的权限，并进行角色与用户之间的关联，实现用户对队列资源权限的粒度划分。
9.如权利要求6所述的一种大数据平台多租户管理系统，其特征在于：所述权限管理模块对外部大数据平台中的服务资源进行分配时，包括以下内容：
首先，对服务资源中的Hive、Hbase、Solr和Kafka数据资源所对应的操作权限进行细化，得到每一种数据资源所包括的多种单项操作权限；
其次，为不同角色赋予不同的操作权限，其中，每一角色能够拥有多种单项操作权限中的一种或几种；
最后，进行用户与角色之间的关联，若用户属于某一类操作权限的角色，则该用户能够享有相应服务组件提供的相应服务。
10.如权利要求9所述的一种大数据平台多租户管理系统，其特征在于：对服务资源中的Hive、Hbase、Solr和Kafka数据资源所对应的操作权限进行细化时，各操作权限包括：
Hive数据资源包括表、表字段、存在表中行数据，Hive数据资源的所有单项操作权限包括：建立在表、表字段上的单项操作权限，即：select查询权限、update数据修改权限、create创建操作权限、drop删除操作权限、alter修改表或者字段操作权限、index创建索引权限，其中，当为表字段进行select查询操作权限划分时，需要保证对表字段对应的父表也分配select查询权限；建立在表、存在表中行数据上的单项操作权限：lock锁表和数据行操作权限；
Hbase数据资源包括表、列族、列，且所述表和列族是一对多的关系，所述列族和列也是一对多的关系，所述表、列族、列是一一对应的父级和子集关系；Hbase数据资源的所有单项操作权限包括：Table读/读权限、Table创建权限、Table管理员权限、列族读/读权限、列族创建权限、列族管理员权限、列读/读权限、列创建权限、列管理员权限，且需保证当对子集进行权限分配时，保证对应的父级也有相应操作权限；
Kafka数据资源包括Top主题资源，Kafka数据资源的单项操作权限包括：发布权限、消费权限、配置权限、描述权限、创建权限、删除权限、管理员权限、读写权限、描述配置权限、修改配置权限、选择/不选择全部权限；
Solr数据资源包括collection集合，Solr数据资源的单项操作权限包括查询权限、集合更新权限和管理员权限。
CN202010235838.4A 2020-03-30 2020-03-30 一种大数据平台多租户管理系统 Active CN111428256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010235838.4A CN111428256B (zh) 2020-03-30 2020-03-30 一种大数据平台多租户管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010235838.4A CN111428256B (zh) 2020-03-30 2020-03-30 一种大数据平台多租户管理系统

Publications (2)

Publication Number Publication Date
CN111428256A true CN111428256A (zh) 2020-07-17
CN111428256B CN111428256B (zh) 2023-05-05

Family

ID=71549159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010235838.4A Active CN111428256B (zh) 2020-03-30 2020-03-30 一种大数据平台多租户管理系统

Country Status (1)

Country Link
CN (1) CN111428256B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100584A (zh) * 2020-08-13 2020-12-18 上海微亿智造科技有限公司 机器学习应用服务集群的多租用户权限管理方法及系统
CN112182619A (zh) * 2020-09-30 2021-01-05 澳优乳业（中国）有限公司 基于用户权限的业务处理方法、系统及电子设备和介质
CN112637430A (zh) * 2020-12-31 2021-04-09 北京捷通华声科技股份有限公司 语音外呼系统及方法
CN112926068A (zh) * 2021-02-25 2021-06-08 平安普惠企业管理有限公司 权限管理方法、管理服务器、业务服务器及可读存储介质
CN113190529A (zh) * 2021-04-29 2021-07-30 电子科技大学 一种适用MongoDB数据库的多租户数据共享存储系统
CN113542419A (zh) * 2021-07-16 2021-10-22 深圳银兴智能数据有限公司 跨平台多租户管控系统
CN114285850A (zh) * 2021-12-27 2022-04-05 北银金融科技有限责任公司 一种基于容器平台的跨集群多租户资源管理系统
CN114546563A (zh) * 2022-02-23 2022-05-27 北京京航计算通讯研究所 一种多租户页面访问控制方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183820A (zh) * 2015-08-28 2015-12-23 广东创我科技发展有限公司 一种支持多租户的大数据平台及租户访问方法
US20170373940A1 (en) * 2016-06-23 2017-12-28 Sap Se Container-based multi-tenant computing infrastructure
CN109525593A (zh) * 2018-12-20 2019-03-26 中科曙光国际信息产业有限公司 一种对hadoop大数据平台集中安全管控系统及方法
CN109643242A (zh) * 2016-05-23 2019-04-16 摩根大通国家银行 用于多租户hadoop集群的安全设计和架构
CN109784090A (zh) * 2018-12-27 2019-05-21 浪潮软件股份有限公司 一种基于云消息服务实现多租户控制的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183820A (zh) * 2015-08-28 2015-12-23 广东创我科技发展有限公司 一种支持多租户的大数据平台及租户访问方法
CN109643242A (zh) * 2016-05-23 2019-04-16 摩根大通国家银行 用于多租户hadoop集群的安全设计和架构
US20170373940A1 (en) * 2016-06-23 2017-12-28 Sap Se Container-based multi-tenant computing infrastructure
CN109525593A (zh) * 2018-12-20 2019-03-26 中科曙光国际信息产业有限公司 一种对hadoop大数据平台集中安全管控系统及方法
CN109784090A (zh) * 2018-12-27 2019-05-21 浪潮软件股份有限公司 一种基于云消息服务实现多租户控制的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PARESH WANKHEDE等: "Secure and multi-tenant Hadoop cluster - an experience" *
何美斌;胡精英;: "基于Hadoop的大数据平台多租户管理策略研究" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100584A (zh) * 2020-08-13 2020-12-18 上海微亿智造科技有限公司 机器学习应用服务集群的多租用户权限管理方法及系统
CN112182619A (zh) * 2020-09-30 2021-01-05 澳优乳业（中国）有限公司 基于用户权限的业务处理方法、系统及电子设备和介质
CN112637430A (zh) * 2020-12-31 2021-04-09 北京捷通华声科技股份有限公司 语音外呼系统及方法
CN112926068A (zh) * 2021-02-25 2021-06-08 平安普惠企业管理有限公司 权限管理方法、管理服务器、业务服务器及可读存储介质
CN112926068B (zh) * 2021-02-25 2023-10-20 陕西合友网络科技有限公司 权限管理方法、管理服务器、业务服务器及可读存储介质
CN113190529A (zh) * 2021-04-29 2021-07-30 电子科技大学 一种适用MongoDB数据库的多租户数据共享存储系统
CN113190529B (zh) * 2021-04-29 2023-09-19 电子科技大学 一种适用MongoDB数据库的多租户数据共享存储系统
CN113542419A (zh) * 2021-07-16 2021-10-22 深圳银兴智能数据有限公司 跨平台多租户管控系统
CN114285850A (zh) * 2021-12-27 2022-04-05 北银金融科技有限责任公司 一种基于容器平台的跨集群多租户资源管理系统
CN114546563A (zh) * 2022-02-23 2022-05-27 北京京航计算通讯研究所 一种多租户页面访问控制方法和系统
CN114546563B (zh) * 2022-02-23 2023-04-28 北京京航计算通讯研究所 一种多租户页面访问控制方法和系统

Also Published As

Publication number Publication date
CN111428256B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111428256B (zh) 一种大数据平台多租户管理系统
US10367824B2 (en) Policy management, enforcement, and audit for data security
US8850041B2 (en) Role based delegated administration model
US8789132B2 (en) Enterprise model for provisioning fine-grained access control
US20120271854A1 (en) Optimizing A Compiled Access Control Table In A Content Management System
US7657925B2 (en) Method and system for managing security policies for databases in a distributed system
KR101101085B1 (ko) 데이터 아이템의 구역 기반 보안 관리
CN111159134A (zh) 面向多租户的分布式文件系统安全访问控制方法及系统
WO2016069034A1 (en) Data management for tenants
US11675927B2 (en) System and method for external users in groups of a multitenant system
US20230061347A1 (en) Multiple access points for data containers
CN112230832B (zh) 一种跨组织用户的分级管理系统
Shermin An access control model for nosql databases
Sharma et al. A survey of distributed data storage in the cloud for multitenant applications
CN113420269B (zh) 基于大数据平台管理多租户的方法、系统、设备及介质
US11609770B2 (en) Co-managing links with a link platform and partner service
CN107766001A (zh) 一种基于用户群组的存储配额方法
CN114491495A (zh) 一种信息系统权限管理装置及方法
CN117272397B (zh) 一种基于文件设计的rbac的角色权限修改方法
Mohamed et al. Authorization and access control for different database models: Requirements and current state of the art
Costa et al. Attribute based access control in federated clouds: A case study in bionformatics
US20230315893A1 (en) Row, Column Level Security for Data Lakes and its Uniform Enforcement Across Analytic Query Engines
US20240020407A1 (en) Node and edge deduplication for a privilege graph
US20220414176A1 (en) Proxy links to support legacy links
US20230195924A1 (en) Database Management Tool

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 301, 3rd Floor, Building F, Zhizao Street, Zhongguancun, No. 45 Chengfu Road, Haidian District, Beijing, 100080

Applicant after: Beijing Dongfang Jinxin Technology Co.,Ltd.

Address before: 9 / F, Jiahe Guoxin building, 15 Baiqiao street, Dongcheng District, Beijing 100062

Applicant before: Beijing Dongfang Jinxin Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant