CN109656879A - 大数据资源管理方法、装置、设备及存储介质 - Google Patents

大数据资源管理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109656879A
CN109656879A CN201811531238.1A CN201811531238A CN109656879A CN 109656879 A CN109656879 A CN 109656879A CN 201811531238 A CN201811531238 A CN 201811531238A CN 109656879 A CN109656879 A CN 109656879A
Authority
CN
China
Prior art keywords
resource
big data
user
tenant
permission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811531238.1A
Other languages
English (en)
Other versions
CN109656879B (zh
Inventor
林子康
谢健
邸帅
卢道和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201811531238.1A priority Critical patent/CN109656879B/zh
Publication of CN109656879A publication Critical patent/CN109656879A/zh
Application granted granted Critical
Publication of CN109656879B publication Critical patent/CN109656879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0645—Rental transactions; Leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Bioethics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据资源管理方法，该方法包括：当侦测到用户登录大数据资源管理系统时，确定登录用户的角色，所述登录用户的角色为平台管理员、租户管理员和租户用户中的一种，其中平台管理员用于管理大数据平台上的所有租户，租户管理员用于管理单个租户下的租户用户；获取预设的与所述登录用户的角色对应的资源管理权限；根据所述资源管理权限对大数据平台上的大数据资源进行管理。本发明还公开了一种大数据资源管理装置、设备和一种存储介质。本发明能够实现多租户场景下对大数据平台上的大数据资源进行统一管理。

Description

大数据资源管理方法、装置、设备及存储介质
技术领域
本发明涉及大数据技术领域，尤其涉及大数据资源管理方法、装置、设备及存储介质。
背景技术
随着业务的快速发展，大数据平台组件构成越来越丰富，汇集的数据资源种类也越来越多，常见的资源有HIVE(一个基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL(Structured Query Language，结构化查询语言)查询功能)，HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)存储资源和YARN(Yet Another Resource Negotiator，另一种资源协调者)队列计算资源等。存在资源种类多、数据分散、数据质量不高等问题，导致资源数据难以管理，严重影响到数据资源的共享、开发、利用。同时，大数据平台作为资源的提供方，需适用于被多个租户共同使用，且需要实现不同租户之间的资源隔离。因此迫切的需要一款数据管理平台，具有面向多租户的特点，同时便利于对海量数据资源的统一管理。
发明内容
本发明的主要目的在于提出一种大数据资源管理方法、装置、设备及存储介质，旨在实现多租户场景下对大数据平台上的大数据资源进行统一管理。
为实现上述目的，本发明提供一种大数据资源管理方法，所述大数据资源管理方法包括如下步骤：
当侦测到用户登录大数据资源管理系统时，确定登录用户的角色，所述登录用户的角色为平台管理员、租户管理员和租户用户中的一种，其中平台管理员用于管理大数据平台上的所有租户，租户管理员用于管理单个租户下的租户用户；
获取预设的与所述登录用户的角色对应的资源管理权限；
根据所述资源管理权限对大数据平台上的大数据资源进行管理。
优选地，所述当侦测到用户登录大数据资源管理系统时，确定登录用户的角色的步骤包括：
当侦测到用户登录大数据资源管理系统时，获取登录用户的用户名；
根据所述用户名查询预设的用户名与角色之间的关系映射表，得到所述登录用户的角色。
优选地，所述资源管理权限包括资源查询权限，所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：
当接收到所述登录用户的资源查询指令时，根据所述资源查询权限查询对应的租户和/或租户用户的资源信息，所述资源信息包括资源的配置信息和资源的当前使用情况信息；
将查询到的所述资源信息以资源列表的形式进行显示。
优选地，所述资源管理权限包括HIVE资源读写权限，所述当侦测到用户登录大数据资源管理系统时，确定登录用户的角色的步骤之前，还包括：
获取预设的不同用户角色对HIVE资源的读写权限信息，以及所述HIVE资源的HDFS存储路径，将所述不同用户角色对HIVE资源的读写权限信息和所述HIVE资源的HDFS存储路径进行关联后，保存至预设的HDFS权限配置库中；
所述获取预设的与所述登录用户的角色对应的资源管理权限的步骤包括：
当接收到所述登录用户的HIVE资源读写指令时，获取待读写的HIVE资源的HDFS存储路径，判断所述待读写的HIVE资源的HDFS存储路径是否为预设路径，若是，则根据所述待读写的HIVE资源的HDFS存储路径查询所述HDFS权限配置库，以判断所述登录用户对所述待读写的HIVE资源是否具备读写权限；若具备，则获得与所述登录用户的角色对应的HIVE资源读写权限；
所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：
根据获取到的与所述登录用户的角色对应的HIVE资源读写权限，执行对所述待读写的HIVE资源的读写操作。
优选地，所述资源管理权限包括资源申请权限，所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：
当接收到所述登录用户的资源申请指令时，根据所述资源申请权限为相应的租户和/或租户用户申请大数据资源，所述大数据资源包括存储资源和计算资源。
优选地，所述资源管理权限包括租户用户的增删权限，所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：
当接收到所述登录用户的增加/删除租户用户的指令时，根据所述租户用户的增删权限，在所述大数据资源管理系统中增加/删除对应的租户用户。
优选地，所述在所述大数据资源管理系统中增加/删除对应的租户用户的步骤包括：
获取待增加/删除的租户用户的用户名；
根据获取到的所述待增加/删除的租户用户的用户名，查询所述待增加/删除的租户用户对应的资源；
在所述大数据资源管理系统中增加/删除所述待增加/删除的租户用户，并将查询到的所述待增加的租户用户对应的资源与所述增加的租户用户所属的租户进行关联，将查询到的所述待删除的租户用户对应的资源与所述删除的租户用户所属的租户进行解绑。
此外，为实现上述目的，本发明还提供一种大数据资源管理装置，所述大数据资源管理装置包括：
确定模块，用于当侦测到用户登录大数据资源管理系统时，确定登录用户的角色，所述登录用户的角色为平台管理员、租户管理员和租户用户中的一种，其中平台管理员用于管理大数据平台上的所有租户，租户管理员用于管理单个租户下的租户用户；
获取模块，用于获取预设的与所述登录用户的角色对应的资源管理权限；
管理模块，用于根据所述资源管理权限对大数据平台上的大数据资源进行管理。
此外，为实现上述目的，本发明还提供一种大数据资源管理设备，所述大数据资源管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数据资源管理程序，所述大数据资源管理程序被所述处理器执行时实现如上所述的大数据资源管理方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有大数据资源管理程序，所述大数据资源管理程序被处理器执行时实现如上所述的大数据资源管理方法的步骤。
本发明提出的大数据资源管理方法，通过将用户划分为平台管理员、租户管理员和租户用户三种角色，当用户登录大数据资源管理系统时，首先确定登录用户的角色，然后获取与角色对应的资源管理权限，并根据获取到的资源管理权限对大数据平台上的大数据资源进行管理。通过这种方式，实现了多租户场景下对大数据平台上的大数据资源进行统一管理。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明大数据资源管理方法第一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例大数据资源管理设备可以是PC机或服务器设备，且该大数据资源管理设备上搭载有大数据资源管理系统。
如图1所示，该大数据资源管理设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及大数据资源管理程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的大数据资源管理程序，并执行大数据资源管理方法实施例中的操作。
基于上述硬件结构，提出本发明大数据资源管理方法实施例。
参照图2，图2为本发明大数据资源管理方法第一实施例的流程示意图，所述方法包括：
步骤S10，当侦测到用户登录大数据资源管理系统时，确定登录用户的角色，所述登录用户的角色为平台管理员、租户管理员和租户用户中的一种，其中平台管理员用于管理大数据平台上的所有租户，租户管理员用于管理单个租户下的租户用户；
本实施例大数据资源管理方法应用于大数据资源管理系统，该大数据组员管理系统具有面向多租户的特点，即同时为多个租户同时提供软件服务，其中每一租户下又包含若干个具有共性需求的租户用户。在本发明实施例中，租户概念仅作为对全部资源分配的一个标识，不参与资源的管理和再分配，而是基于多角色用户的方式来进行管理。在大数据资源管理系统上，用户角色被划分为平台管理员、租户管理员和租户用户三种，其中平台管理员具有最高权限，用于管理大数据平台上的所有租户，而租户管理员用于管理单个租户下的租户用户。具体地，权限分配平台管理员具有查看和操作全部租户资源的权限及增删租户的权限，租户管理员具有查看和操作所属租户下的资源(包括自己及租户用户的资源)及增删租户用户的权限，而租户用户作为三种角色中权限最小的一种，仅能够查看和操作与自己相关的数据资源。
本实施例中，当侦测到用户登录大数据资源管理系统时，首先确定登录用户的角色，即登录用户是平台管理员、租户管理员，还是租户用户。
进一步地，所述当侦测到用户登录大数据资源管理系统时，确定登录用户的角色的步骤可以包括：当侦测到用户登录大数据资源管理系统时，获取登录用户的用户名；根据所述用户名查询预设的用户名与角色之间的关系映射表，得到所述登录用户的角色。
具体地，为识别登录用户的角色，可以预先设置用户名与角色之间的关系映射表，后续当侦测到用户以用户名加密码的方式登录大数据资源管理系统时，首先对用户名和密码进行校验，校验通过后，系统获取该登录用户的用户名，然后根据用户名查询预设的用户名与角色之间的关系映射表，从而可以得到该登录用户的角色。
除上述方式外，用户在登录大数据资源管理系统时，也可以直接输入自己的角色、用户名和密码，由系统对该角色、用户名和密码进行校验，校验通过后，即将用户输入的该角色作为当前登录用户的角色。
步骤S20，获取预设的与所述登录用户的角色对应的资源管理权限；
在确定登录用户的角色后，获取预设的与该登录用户的角色对应的资源管理权限，该资源管理权限为对大数据平台上的大数据资源进行管理的权限。具体实施时，可预先为不同的角色设置不同的资源管理权限，该资源管理权限包括但不限于资源查询权限、HIVE(基于Hadoop(一个能够对大量数据进行分布式处理的软件框架)的一个数据仓库工具)资源读写权限、资源申请权限和租户用户的增删权限等，本实施例中，不同的角色共享同一数据库，在操作逻辑上相互隔离，即不同角色的用户根据其所具备的权限，可以对大数据平台上的大数据资源进行个性化管理。
步骤S30，根据所述资源管理权限对大数据平台上的大数据资源进行管理。
该步骤中，大数据资源管理系统根据登录用户的权限为登录用户提供相应的大数据资源管理功能，其中大数据资源包括但限于HIVE存储资源、HDFS存储资源和YARN(Hadoop中提供作业调度和集群资源管理的框架)计算资源等。根据资源管理权限对大数据平台上的大数据资源进行管理包括但不限于：当接收到登录用户的资源查询指令时，根据登录用户的资源查询权限查询相应的资源信息；当接收到登录用户的HIVE资源读写指令时，根据登录用户的HIVE资源读写权限执行对待读写的HIVE资源的读写操作；当接收到登录用户的资源申请指令时，根据资源申请权限为相应的租户和/或租户用户申请大数据资源；当接收到增加/删除租户用户的指令时，根据租户用户的增删权限，在大数据资源管理系统中增加/删除对应的租户用户，等等。
需要说明的是，本实施例首先通过一层数据库层的逻辑隔离，实现用户的角色及权限确认，再通过大数据组件层权限隔离，实现用户根据权限对大数据资源的操作，这种方式区别于传统通过数据库表获得权限之后，根据权限操作其它的数据表而仅实现单层的数据库层隔离的方式；也区别通过首层数据库确定多租户关系之后，再通过数据库关系映射来确定大数据资源操作权限的双层数据库隔离方式(这种多租户的隔离方式，是利用资源管理模块来隔离hadoop集群，但是hadoop集群包括yarn，hdfs和MapReduce组件并未能有效支持文件权限控制，该方案的操作hadoop集群资源仍然是通过数据库映射获得用户的操作路径，即采用两层数据库方式隔离来隔离租户和区分资源)。本发明实施例采用租户及其角色进行联合标识用户身份的方式，提高了共享数据库方式的隔离级别，同时减少了数据库数量及维护成本。
本实施例提出的大数据资源管理方法，通过将用户划分为平台管理员、租户管理员和租户用户三种角色，当用户登录大数据资源管理系统时，首先确定登录用户的角色，然后获取与角色对应的资源管理权限，并根据获取到的资源管理权限对大数据平台上的大数据资源进行管理。通过这种方式，实现了多租户场景下对大数据平台上的大数据资源进行统一管理。
进一步地，基于本发明大数据资源管理方法第一实施例，提出本发明大数据资源管理方法第二实施例。
在本实施例中，所述资源管理权限包括资源查询权限，对应地，所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤可以包括：当接收到所述登录用户的资源查询指令时，根据所述资源查询权限查询对应的租户和/或租户用户的资源信息，所述资源信息包括资源的配置信息和资源的当前使用情况信息；将查询到的所述资源信息以资源列表的形式进行显示。
当大数据资源管理系统接收到登录用户的资源查询指令时，根据该登录用户的资源查询权限查询对应的租户和/或租户用户的资源信息，比如当登录用户为平台管理员时，其可以查询系统中所有租户及所有租户用户的资源信息，当登录用户为租户管理员时，其可以查询单一租户下的所有租户用户的资源信息，当登录用户为租户用户时，其仅可以查询自身的资源信息。其中，资源信息包括资源的配置信息和资源的当前使用情况信息，资源的配置信息主要包括HIVE、HDFS和YARN三种资源的配置，资源的当前使用情况信息包括已使用的CPU、内存数，使用率等。之后，将查询到的资源信息以资源列表的形式进行显示，通过这种方式，不同的用户可以查看到与其权限对应的不同的资源列表，从而实现了资源信息的个性化展示，这种展示方式也可以让资源详情更加透明化，从而方便数据管理。
进一步地，基于本发明大数据资源管理方法第一实施例，提出本发明大数据资源管理方法第三实施例。
在本实施例中，所述资源管理权限包括HIVE资源读写权限，对应地，所述当侦测到用户登录大数据资源管理系统时，确定登录用户的角色的步骤之前，还可以包括：获取预设的不同用户角色对HIVE资源的读写权限信息，以及所述HIVE资源的HDFS存储路径，将所述不同用户角色对HIVE资源的读写权限信息和所述HIVE资源的HDFS存储路径进行关联后，保存至预设的HDFS权限配置库中；其中，所述将所述不同用户角色对HIVE资源的读写权限信息和所述HIVE资源的HDFS存储路径进行关联后，保存至预设的HDFS权限配置库中的步骤包括：将所述Hive表的权限信息转换为所述HDFS文件对应的访问权限，即，将HIVE的SELECT、ALL等权限，转换为HDFS的读、写权限，并保存到HDFS权限配置库中。
所述获取预设的与所述登录用户的角色对应的资源管理权限的步骤包括：当接收到所述登录用户的HIVE资源读写指令时，获取待读写的HIVE资源的HDFS存储路径，判断所述待读写的HIVE资源的HDFS存储路径是否为预设路径，若是，则根据所述待读写的HIVE资源的HDFS存储路径查询所述HDFS权限配置库，以判断所述登录用户对所述待读写的HIVE资源是否具备读写权限；若具备，则获得与所述登录用户的角色对应的HIVE资源读写权限；
所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：根据获取到的与所述登录用户的角色对应的HIVE资源读写权限，执行对所述待读写的HIVE资源的读写操作。
在本实施例中，考虑到HIVE是数据仓库工具，具有文件权限控制功能，而HDFS是分布式文件存储系统，不支持文件权限控制。但HIVE组件仅是客户端组件，不提供存储的功能，其最终数据仍然要存储在HDFS上，由于HIVE和HDFS两者是不同组件，作用性质不用，权限并不一致。因此，本发明基于中间层HDFS权限配置库的方式，来确保HIVE和HDFS的权限一致性。
首先，需获取预设的不同用户角色对HIVE资源的读写权限信息，以及所述HIVE资源的HDFS存储路径，并将获取到的不同用户角色对HIVE资源的读写权限信息和HIVE资源的HDFS存储路径进行关联，关联后保存至预设的HDFS权限配置库中；当后续接收到登录用户的HIVE资源读写指令时，先获取待读写的HIVE资源的HDFS存储路径，然后判断该待读写的HIVE资源的HDFS存储路径是否为预设路径，比如预设路径可以是/user/hive/warehouse/，若为预设路径，则根据该待读写的HIVE资源的HDFS存储路径查询HDFS权限配置库，此时通过HDFS权限配置库中的关联信息可以判断该登录用户对该待读写的HIVE资源是否具备读写权限，若具备，则自动获得该登录用户对待读写的HIVE资源的读写权限，并执行对待读写的HIVE资源的读写操作。例如，当用户操作存储资源的时候，先获得HIVE资源的路径，将其放入HDFS权限配置库中进行权限的查询，若存在权限，则在HIVE中对表进行授权，基于上述过程，使得HIVE和HDFS存储资源的权限上保持一致性。
需要说明的是，本发明中管理的资源主要为HIVE和HDFS资源，通过与HIVE权限结合，控制自定义HDFS文件路径下的读写权限，优化多用户访问HDFS文件的权限判断逻辑。一般，HIVE组件和HDFS组件拥有不同的权限隔离的办法，本发明采用HDFS文件读写权限与HIVE权限结合，即拥有HIVE权限的用户，将自动获取对应HDFS路径上的权限，通过这种方式，实现了HIVE和HDFS的权限保持一致性。
将以上HIVE和HDFS的权限一致性功能的实现代码打包成hadoop-hdfs.jar，将该依赖包更新到hadoop安装目录下，在部署时可先部署一台NameNode(管理节点)，然后通过NameNode高可用机制进行切换，即验证通过后再部署另一台NameNode，在当前节点故障时切换到另一节点，做到对用户无感知部署。
进一步地，基于本发明大数据资源管理方法第一实施例，提出本发明大数据资源管理方法第四实施例。
在本实施例中，所述资源管理权限包括资源申请权限，对应地，所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：当接收到所述登录用户的资源申请指令时，根据所述资源申请权限为相应的租户和/或租户用户申请大数据资源，所述大数据资源包括存储资源和计算资源。
当大数据资源管理系统接收到登录用户的资源申请指令时，根据该资源申请权限为相应的租户和/或租户用户申请大数据资源，该大数据资源包括存储资源(如HIVE、HDFS)和计算资源(如YARN)。比如当登录用户为平台管理员时，其可为租户申请存储资源和计算资源；当登录用户为租户管理员时，其可以为自己或租户用户申请存储资源和计算资源，增加系统的内聚性，当登录用户为租户用户时，其可以为自己申请存储资源和计算资源，等等。通过这种方式，实现了多租户资源动态管理，大大提高了资源管理系统的效率。
进一步地，基于本发明大数据资源管理方法第一实施例，提出本发明大数据资源管理方法第五实施例。
在本实施例中，所述资源管理权限包括租户用户的增删权限，对应地，所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：当接收到所述登录用户的增加/删除租户用户的指令时，根据所述租户用户的增删权限，在所述大数据资源管理系统中增加/删除对应的租户用户。
其中，所述在所述大数据资源管理系统中增加/删除对应的租户用户的步骤可以进一步包括：获取待增加/删除的租户用户的用户名；根据获取到的所述待增加/删除的租户用户的用户名，查询所述待增加/删除的租户用户对应的资源；在所述大数据资源管理系统中增加/删除所述待增加/删除的租户用户，并将查询到的所述待增加的租户用户对应的资源与所述增加的租户用户所属的租户进行关联，将查询到的所述待删除的租户用户对应的资源与所述删除的租户用户所属的租户进行解绑。
具体地，当大数据资源管理系统接收到登录用户的增加/删除租户用户的指令时，即在大数据资源管理系统中增加/删除对应的租户用户。比如当登录用户为平台管理员时，其可以增加/删除所有租户下的租户用户；当登录用户为租户管理员是，其可以增加/删除单一租户下的租户用户。在增加/删除租户用户时，首先获取待增加/删除的租户用户的用户名，然后根据获取到的用户名去查询待增加/删除的租户用户对应的资源，资源名中包含该用户名的资源即作为该待增加/删除的租户用户对应的资源，之后，在大数据资源管理系统中增加/删除租户用户，并将查询到的待增加的租户用户对应的资源与增加的租户用户所属的租户进行关联，将查询到的待删除的租户用户对应的资源与删除的租户用户所属的租户进行解绑。比如，租户管理员创建租户用户A，则需将A已有的资源关联到对应的租户下，同理，在删除用户A的时候，则需要将A的数据与租户进行解绑。通过这种方式，实现了资源的自动关联和解绑，进一步提高了资源管理系统的效率。
本发明还提供一种大数据资源管理装置。本发明实施例大数据资源管理装置包括：
确定模块，用于当侦测到用户登录大数据资源管理系统时，确定登录用户的角色，所述登录用户的角色为平台管理员、租户管理员和租户用户中的一种，其中平台管理员用于管理大数据平台上的所有租户，租户管理员用于管理单个租户下的租户用户；
获取模块，用于获取预设的与所述登录用户的角色对应的资源管理权限；
管理模块，用于根据所述资源管理权限对大数据平台上的大数据资源进行管理。
上述各程序模块所执行的操作可参照本发明大数据资源管理方法实施例，此处不再赘述。
本发明还提供一种大数据资源管理设备。
本发明大数据资源管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数据资源管理程序，所述大数据资源管理程序被所述处理器执行时实现如上所述的大数据资源管理方法的步骤。
其中，在所述处理器上运行的大数据资源管理程序被执行时所实现的方法可参照本发明大数据资源管理方法各个实施例，此处不再赘述。
本发明还提供一种存储介质。
本发明存储介质上存储有大数据资源管理程序，所述大数据资源管理程序被处理器执行时实现如上所述的大数据资源管理方法的步骤。
其中，在所述处理器上运行的大数据资源管理程序被执行时所实现的方法可参照本发明大数据资源管理方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种大数据资源管理方法，其特征在于，所述大数据资源管理方法包括如下步骤：
当侦测到用户登录大数据资源管理系统时，确定登录用户的角色，所述登录用户的角色为平台管理员、租户管理员和租户用户中的一种，其中平台管理员用于管理大数据平台上的所有租户，租户管理员用于管理单个租户下的租户用户；
获取预设的与所述登录用户的角色对应的资源管理权限；
根据所述资源管理权限对大数据平台上的大数据资源进行管理。
2.如权利要求1所述的大数据资源管理方法，其特征在于，所述当侦测到用户登录大数据资源管理系统时，确定登录用户的角色的步骤包括：
当侦测到用户登录大数据资源管理系统时，获取登录用户的用户名；
根据所述用户名查询预设的用户名与角色之间的关系映射表，得到所述登录用户的角色。
3.如权利要求1或2所述的大数据资源管理方法，其特征在于，所述资源管理权限包括资源查询权限，所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：
当接收到所述登录用户的资源查询指令时，根据所述资源查询权限查询对应的租户和/或租户用户的资源信息，所述资源信息包括资源的配置信息和资源的当前使用情况信息；
将查询到的所述资源信息以资源列表的形式进行显示。
4.如权利要求1或2所述的大数据资源管理方法，其特征在于，所述资源管理权限包括HIVE资源读写权限，所述当侦测到用户登录大数据资源管理系统时，确定登录用户的角色的步骤之前，还包括：
获取预设的不同用户角色对HIVE资源的读写权限信息，以及所述HIVE资源的HDFS存储路径，将所述不同用户角色对HIVE资源的读写权限信息和所述HIVE资源的HDFS存储路径进行关联后，保存至预设的HDFS权限配置库中；
所述获取预设的与所述登录用户的角色对应的资源管理权限的步骤包括：
当接收到所述登录用户的HIVE资源读写指令时，获取待读写的HIVE资源的HDFS存储路径，判断所述待读写的HIVE资源的HDFS存储路径是否为预设路径，若是，则根据所述待读写的HIVE资源的HDFS存储路径查询所述HDFS权限配置库，以判断所述登录用户对所述待读写的HIVE资源是否具备读写权限；若具备，则获得与所述登录用户的角色对应的HIVE资源读写权限；
所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：
根据获取到的与所述登录用户的角色对应的HIVE资源读写权限，执行对所述待读写的HIVE资源的读写操作。
5.如权利要求1或2所述的大数据资源管理方法，其特征在于，所述资源管理权限包括资源申请权限，所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：
当接收到所述登录用户的资源申请指令时，根据所述资源申请权限为相应的租户和/或租户用户申请大数据资源，所述大数据资源包括存储资源和计算资源。
6.如权利要求1或2所述的大数据资源管理方法，其特征在于，所述资源管理权限包括租户用户的增删权限，所述根据所述资源管理权限对大数据平台上的大数据资源进行管理的步骤包括：
当接收到所述登录用户的增加/删除租户用户的指令时，根据所述租户用户的增删权限，在所述大数据资源管理系统中增加/删除对应的租户用户。
7.如权利要求6所述的大数据资源管理方法，其特征在于，所述在所述大数据资源管理系统中增加/删除对应的租户用户的步骤包括：
获取待增加/删除的租户用户的用户名；
根据获取到的所述待增加/删除的租户用户的用户名，查询所述待增加/删除的租户用户对应的资源；
在所述大数据资源管理系统中增加/删除所述待增加/删除的租户用户，并将查询到的所述待增加的租户用户对应的资源与所述增加的租户用户所属的租户进行关联，将查询到的所述待删除的租户用户对应的资源与所述删除的租户用户所属的租户进行解绑。
8.一种大数据资源管理装置，其特征在于，所述大数据资源管理装置包括：
确定模块，用于当侦测到用户登录大数据资源管理系统时，确定登录用户的角色，所述登录用户的角色为平台管理员、租户管理员和租户用户中的一种，其中平台管理员用于管理大数据平台上的所有租户，租户管理员用于管理单个租户下的租户用户；
获取模块，用于获取预设的与所述登录用户的角色对应的资源管理权限；
管理模块，用于根据所述资源管理权限对大数据平台上的大数据资源进行管理。
9.一种大数据资源管理设备，其特征在于，所述大数据资源管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数据资源管理程序，所述大数据资源管理程序被所述处理器执行时实现如权利要求1至7中任一项所述的大数据资源管理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有大数据资源管理程序，所述大数据资源管理程序被处理器执行时实现如权利要求1至7中任一项所述的大数据资源管理方法的步骤。
CN201811531238.1A 2018-12-13 2018-12-13 大数据资源管理方法、装置、设备及存储介质 Active CN109656879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811531238.1A CN109656879B (zh) 2018-12-13 2018-12-13 大数据资源管理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811531238.1A CN109656879B (zh) 2018-12-13 2018-12-13 大数据资源管理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109656879A true CN109656879A (zh) 2019-04-19
CN109656879B CN109656879B (zh) 2023-06-13

Family

ID=66114146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811531238.1A Active CN109656879B (zh) 2018-12-13 2018-12-13 大数据资源管理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109656879B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414252A (zh) * 2019-08-02 2019-11-05 湖南御家科技有限公司 一种业务处理方法、系统及电子设备和存储介质
CN111538592A (zh) * 2020-04-21 2020-08-14 上海思询信息科技有限公司 一种OpenStack单租户实现企业多用户资源管理的方法
CN111865943A (zh) * 2020-07-02 2020-10-30 北京同创永益科技发展有限公司 一种基于微服务的多层级租户鉴权方法及装置
CN112019543A (zh) * 2020-08-27 2020-12-01 四川长虹电器股份有限公司 一种基于brac模型的多租户权限系统
CN112633764A (zh) * 2020-12-31 2021-04-09 北京捷通华声科技股份有限公司 智能客服系统及客户服务方法
CN112637430A (zh) * 2020-12-31 2021-04-09 北京捷通华声科技股份有限公司 语音外呼系统及方法
CN112668906A (zh) * 2020-12-31 2021-04-16 北京捷通华声科技股份有限公司 语音分析系统及方法
CN112833902A (zh) * 2020-12-31 2021-05-25 北京捷通华声科技股份有限公司 智能语音导航系统及语音导航方法
CN115460022A (zh) * 2022-11-11 2022-12-09 广州中长康达信息技术有限公司 一种对智能辅助平台的资源管理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306393A1 (en) * 2009-05-26 2010-12-02 Microsoft Corporation External access and partner delegation
CN105183820A (zh) * 2015-08-28 2015-12-23 广东创我科技发展有限公司 一种支持多租户的大数据平台及租户访问方法
CN107659450A (zh) * 2017-09-29 2018-02-02 深圳索信达数据技术股份有限公司 大数据集群资源的分配方法、分配装置及存储介质
CN108037984A (zh) * 2017-11-28 2018-05-15 深圳前海微众银行股份有限公司 数据分析的资源管理方法、系统以及可读存储介质
US20180217784A1 (en) * 2017-02-02 2018-08-02 International Business Machines Corporation Aligning tenant resource demand in a multi-tier storage environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306393A1 (en) * 2009-05-26 2010-12-02 Microsoft Corporation External access and partner delegation
CN105183820A (zh) * 2015-08-28 2015-12-23 广东创我科技发展有限公司 一种支持多租户的大数据平台及租户访问方法
US20180217784A1 (en) * 2017-02-02 2018-08-02 International Business Machines Corporation Aligning tenant resource demand in a multi-tier storage environment
CN107659450A (zh) * 2017-09-29 2018-02-02 深圳索信达数据技术股份有限公司 大数据集群资源的分配方法、分配装置及存储介质
CN108037984A (zh) * 2017-11-28 2018-05-15 深圳前海微众银行股份有限公司 数据分析的资源管理方法、系统以及可读存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414252A (zh) * 2019-08-02 2019-11-05 湖南御家科技有限公司 一种业务处理方法、系统及电子设备和存储介质
CN111538592A (zh) * 2020-04-21 2020-08-14 上海思询信息科技有限公司 一种OpenStack单租户实现企业多用户资源管理的方法
CN111865943A (zh) * 2020-07-02 2020-10-30 北京同创永益科技发展有限公司 一种基于微服务的多层级租户鉴权方法及装置
CN112019543A (zh) * 2020-08-27 2020-12-01 四川长虹电器股份有限公司 一种基于brac模型的多租户权限系统
CN112633764A (zh) * 2020-12-31 2021-04-09 北京捷通华声科技股份有限公司 智能客服系统及客户服务方法
CN112637430A (zh) * 2020-12-31 2021-04-09 北京捷通华声科技股份有限公司 语音外呼系统及方法
CN112668906A (zh) * 2020-12-31 2021-04-16 北京捷通华声科技股份有限公司 语音分析系统及方法
CN112833902A (zh) * 2020-12-31 2021-05-25 北京捷通华声科技股份有限公司 智能语音导航系统及语音导航方法
CN115460022A (zh) * 2022-11-11 2022-12-09 广州中长康达信息技术有限公司 一种对智能辅助平台的资源管理方法

Also Published As

Publication number Publication date
CN109656879B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN109656879A (zh) 大数据资源管理方法、装置、设备及存储介质
AU2017203703B2 (en) Automated data synchronization
US10616129B2 (en) Automated desktop placement
US9047462B2 (en) Computer account management system and realizing method thereof
US8615528B2 (en) Cloud database sharing
AU2014249681B2 (en) Automated data center selection
US11128660B2 (en) Methods and systems for accessing a resource with multiple user identities
CN102523304B (zh) 一种应用云平台和云平台的实现方法
JP5787640B2 (ja) 認証システムおよび認証方法およびプログラム
CN103984600B (zh) 一种基于云计算的财务数据处理方法
US10296440B2 (en) Multi-tenant aware debugging methods and systems
US20120204235A1 (en) Updating Resource Access Permissions in a Virtual Computing Environment
KR102508177B1 (ko) 데이터베이스 통합을 위한 자격증명이 없는 외부 스테이지
US20120185528A1 (en) Session allocation for distributed virtual desktop architecture
CN110659095B (zh) 一种桌面虚拟化系统和用于桌面虚拟化的方法
JP5377616B2 (ja) 情報流通システムとそのアクセス制御方法
US20230138622A1 (en) Emergency Access Control for Cross-Platform Computing Environment
CN118170493A (zh) 云桌面系统及云桌面创建及预约、授权和预授权方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant