CN107659450A - 大数据集群资源的分配方法、分配装置及存储介质 - Google Patents

大数据集群资源的分配方法、分配装置及存储介质 Download PDF

Info

Publication number
CN107659450A
CN107659450A CN201710911630.8A CN201710911630A CN107659450A CN 107659450 A CN107659450 A CN 107659450A CN 201710911630 A CN201710911630 A CN 201710911630A CN 107659450 A CN107659450 A CN 107659450A
Authority
CN
China
Prior art keywords
information
data cluster
tenant
resource
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710911630.8A
Other languages
English (en)
Other versions
CN107659450B (zh
Inventor
袁海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Cable Xinda Data Technology Ltd By Share Ltd
Original Assignee
Shenzhen Cable Xinda Data Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Cable Xinda Data Technology Ltd By Share Ltd filed Critical Shenzhen Cable Xinda Data Technology Ltd By Share Ltd
Priority to CN201710911630.8A priority Critical patent/CN107659450B/zh
Publication of CN107659450A publication Critical patent/CN107659450A/zh
Application granted granted Critical
Publication of CN107659450B publication Critical patent/CN107659450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051Service on demand, e.g. definition and deployment of services in real time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102Entity profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105Multiple levels of security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种大数据集群资源的分配方法、分配装置及存储介质,其中,该方法包括:安装Apache Ranger,并通过Apache Ranger实现对大数据集群资源的权限管控;创建多个不同的租户,每个租户对应不同的租户信息,租户信息包括关键信息;同步每个租户的租户信息至Apache Ranger;获取用户输入的每个租户的第一需求信息,并发送至Apache Ranger,其中,第一需求信息包括当前关键信息和第一所需资源信息;通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息;若存在,则为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。

Description

大数据集群资源的分配方法、分配装置及存储介质
技术领域
本发明涉及集群管理领域,尤其涉及一种大数据集群资源的分配方法、分配装置及存储介质。
背景技术
随着大数据技术的普及,催生了大量的企业级大数据平台应用。这样的情况下,大量的企业级大数据平台应用仍采用传统的方式,共享大数据集群资源组件。因此,经常会出现资源竞争激烈和资源被抢占的问题,从而如何利用好大数据,让资源分配更优化是当前亟待解决的技术问题。
发明内容
本发明的目的在于提供一种大数据集群资源的分配方法、分配装置及存储介质,以解决现有的大数据平台资源竞争激烈和资源被抢占的问题。
为了解决上述问题,本发明提供了一种大数据集群资源的分配方法,其包括如下步骤:
安装Apache Ranger,并通过Apache Ranger实现对大数据集群资源的权限管控;
创建多个不同的租户,每一个租户对应不同的租户信息,租户信息包括关键信息;
同步每一个租户的租户信息至Apache Ranger;
获取用户输入的每一个租户的第一需求信息,并发送第一需求信息至ApacheRanger,其中,第一需求信息包括当前关键信息和第一所需资源信息;
通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息;
若存在与当前关键信息匹配的目标关键信息,则为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。
作为本发明的进一步改进,第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
作为本发明的进一步改进,为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件的步骤之后,还包括:
创建多个不同的角色,每一个租户对应多个不同的角色,每一个角色对应不同的角色信息;
同步每一个角色的角色信息至Apache Ranger;
获取用户输入的每一个角色的第二需求信息,并发送第二需求信息至ApacheRanger,其中,第二需求信息包括当前角色信息和第二所需资源信息;
通过Apache Ranger确定是否存在与当前角色信息对应的目标角色信息;
若存在与当前角色信息对应的目标角色信息,则为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件,第一大数据集群资源组件包括第二大数据集群资源组件。
作为本发明的进一步改进,为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件的步骤之后,还包括:
创建多个不同的用户,每一个角色对应多个不同的用户,每一个用户对应不同的等级信息;
同步每一个用户的等级信息至Apache Ranger,Apache Ranger给予每一个用户与每一个用户的等级信息对应的第二大数据集群资源组件的访问权限。
为了解决上述问题,本发明还提供了一种大数据集群资源的分配装置,其包括:
安装模块,用于安装Apache Ranger,并通过Apache Ranger实现对大数据集群资源的权限管控;
第一创建模块,用于创建多个不同的租户,每一个租户对应不同的租户信息,租户信息包括关键信息;
第一同步模块,用于同步每一个租户的租户信息至Apache Ranger;
第一需求信息处理模块,用于获取用户输入的每一个租户的第一需求信息,并发送第一需求信息至Apache Ranger,其中,第一需求信息包括当前关键信息和第一所需资源信息;
第一确定模块,用于通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息;
第一分配模块,用于若存在与当前关键信息匹配的目标关键信息,则为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。
作为本发明的进一步改进,第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
作为本发明的进一步改进,其还包括:
第二创建模块,用于创建多个不同的角色,每一个租户对应多个不同的角色,每一个角色对应不同的角色信息;
第二同步模块,用于同步每一个角色的角色信息至Apache Ranger;
第二需求信息处理模块,用于获取用户输入的每一个角色的第二需求信息,并发送第二需求信息至Apache Ranger,其中,第二需求信息包括当前角色信息和第二所需资源信息;
第二确定模块,用于通过Apache Ranger确定是否存在与当前角色信息对应的目标角色信息;
第二分配模块,用于若存在与当前角色信息对应的目标角色信息,则为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件,第一大数据集群资源组件包括第二大数据集群资源组件。
作为本发明的进一步改进,其还包括:
第三创建模块,用于创建多个不同的用户,每一个角色对应多个不同的用户,每一个用户对应不同的等级信息;
同步及权限管理模块,用于同步每一个用户的等级信息至Apache Ranger,ApacheRanger给予每一个用户与每一个用户的等级信息对应的第二大数据集群资源组件的访问权限。
一种存储介质,其上存储有程序数据,其特征在于,程序数据被处理器执行时实现上述大数据集群资源的分配方法中的步骤。
与现有技术相比,本发明创建不同的租户,根据不同的租户的不同所需资源信息分配不同的大数据集群资源组件,因此,不同的租户具有不同的大数据集群资源组件,达到了资源隔离的目的,以致不会出现不同的租户之间的资源竞争以及抢占问题,从而提升了大数据平台对每一个租户的请求响应速率。
附图说明
图1为本发明大数据集群资源的分配方法第一个实施例的流程示意图;
图2为本发明大数据集群资源的分配方法第二个实施例的流程示意图;
图3为本发明大数据集群资源的分配方法第三个实施例的流程示意图;
图4为本发明大数据集群资源的分配装置第一个实施例的功能模块示意图;
图5为本发明大数据集群资源的分配装置第二个实施例的功能模块示意图;
图6为本发明大数据集群资源的分配装置第三个实施例的功能模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用来限定本发明。
Apache Ranger:提供一种集中式安全管理框架,并解决授权和审计。ApacheRanger可以对大数据集群资源组件(譬如:HDFS、YARN、HIVE和Hbase)等进行细粒度的数据访问控制。
HDFS,Hadoop Distributed File System的缩写,是Hadoop分布式文件系统,被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。同时,它和其他的分布式文件系统的区别也是很明显,具体地,HDFS是一个高度容错性的系统,适合部署在廉价的机器上。
YARN:Yet Another Resource Negotiator的缩写,是一种新的Hadoop资源管理器,YARN是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
HIVE:是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类sql语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
MapReduce:是一种编程模型,用于大规模数据集的并行运算。方便编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map函数,用来把一组键值对映射成二组新的键值对,指定并发的Reduce函数,用来保证所有映射的键值对中的每一个共享相同的键组。
HBase:是二个分布式的、面向列的开源数据库,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase不同于二般的关系数据库,它是一个适合非结构化数据存储的数据库,并且采用基于列的丽不是基于行的模式。
具体地,图1展示了本发明大数据集群资源的分配方法的一个实施例。在本实施例中,该大数据集群资源的分配方法包括如下步骤:
步骤S1,安装Apache Ranger,并通过Apache Ranger实现对大数据集群资源的权限管控。
步骤S2,创建多个不同的租户,每一个租户对应不同的租户信息,租户信息包括关键信息。
需要说明的是,本实施中的租户可以理解为一个企业。譬如:企业A、企业B、公司A或公司B。此外,本实施例中的租户信息包括企业名称、企业营业执照信息,企业代码。因此,本实施例中的关键信息可以为企业代码。
步骤S3,同步每一个租户的租户信息至Apache Ranger。
步骤S4,获取用户输入的每一个租户的第一需求信息,并发送第一需求信息至Apache Ranger,其中,第一需求信息包括当前关键信息和第一所需资源信息。
步骤S5,通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息;若存在与当前关键信息匹配的目标关键信息,则执行步骤S6。
步骤S6,为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。
需要说明的是,第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
其中,HDFS:分配文件数量配额和空间配额
YARN:分配队列、资源百分比、最大资源百分比、最大应用数量、每个用户最低资源保障百分比
HIVE:数据库名、目录、表数配额、空间配额
Hbase:表空间、最大表数量、最大region数量、QPS:Query Per Second的缩写,每秒查询率。
本实施例创建不同的租户,根据不同的租户的不同所需资源信息分配不同的大数据集群资源组件,因此,不同的租户具有不同的大数据集群资源组件,达到了资源隔离的目的,以致不会出现不同的租户之间的资源竞争以及抢占问题,从而提升了大数据平台对每一个租户的请求响应速率。
将本发明的大数据集群资源的分配方法应用于大数据集群资源的分配装置的使用过程中,需要为每一个租户的每一个角色分配不同的大数据集群资源组件。因此,上述实施例的基础上,其他实施例中,参见图2,步骤S6之后,还包括:
步骤S10,创建多个不同的角色,每一个租户对应多个不同的角色,每一个角色对应不同的角色信息。
需要说明的是,假设租户为一个企业,则一个角色可以为一个企业内设置的一个部门。譬如:研发部、软件测试部或财务部。
步骤S11,同步每一个角色的角色信息至Apache Ranger。
步骤S12,获取用户输入的每一个角色的第二需求信息,并发送第二需求信息至Apache Ranger,其中,第二需求信息包括当前角色信息和第二所需资源信息。
步骤S13,通过Apache Ranger确定是否存在与当前角色信息对应的目标角色信息。若存在与当前角色信息对应的目标角色信息,则执行步骤S14。
步骤S14,为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件,第一大数据集群资源组件包括第二大数据集群资源组件。
本实施例为不同的角色分配不同的大数据集群资源组件,以满足不同的角色的不同需求,从而进一步达到了隔离的目的,避免了不同角色之间的资源竞争以及资源抢占,从而进一步提升了大数据平台对该租户内的角色的请求响应速率。
将本发明的大数据集群资源的分配方法应用于大数据集群资源的分配装置的使用过程中,需要为每一个角色创建多个不同等级的用户,并根据等级分配不同的访问权限。因此,上述实施例的基础上,其他实施例中,参见图3,步骤S14之后,还包括:
步骤S20,创建多个不同的用户,每一个角色对应多个不同的用户,每一个用户对应不同的等级信息。
需要说明的是,假设角色为部门,则用户则可以为一个部门内不同等级的用户,譬如:经理、组长等。
步骤S21,同步每一个用户的等级信息至Apache Ranger,Apache Ranger给予每一个用户与每一个用户的等级信息对应的第二大数据集群资源组件的访问权限。
本实施例为不同的角色创建不同等级的用户,降低了同一个数据集群资源组件被多人访问的现象发生概率,从而从另一个方面来说,整体上提升了每一个用户的访问请求的响应速率。
图4展示了大数据集群资源的分配装置的一个实施例。在本实施例中,该大数据集群资源的分配装置包括安装模块10、第一创建模块11、第一同步模块12、第一需求信息处理模块13、第一确定模块14和第一分配模块15。
其中,安装模块10,用于安装Apache Ranger,并通过Apache Ranger实现对大数据集群资源的权限管控;第一创建模块11,用于创建多个不同的租户,每一个租户对应不同的租户信息,租户信息包括关键信息;第一同步模块12,用于同步每一个租户的租户信息至Apache Ranger;第一需求信息处理模块13,用于获取用户输入的每一个租户的第一需求信息,并发送第一需求信息至Apache Ranger,其中,第一需求信息包括当前关键信息和第一所需资源信息;第一确定模块14,用于通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息;第一分配模块15,用于若存在与当前关键信息匹配的目标关键信息,则为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。
在上述实施例的基础上,其他实施例中,第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
在上述实施例的基础上,其他实施例中,参见图5,该大数据集群资源的分配装置还包括第二创建模块20、第二同步模块21、第二需求信息处理模块22、第二确定模块23和第二分配模块24。
其中,第二创建模块20,用于创建多个不同的角色,每一个租户对应多个不同的角色,每一个角色对应不同的角色信息;第二同步模块21,用于同步每一个角色的角色信息至Apache Ranger;第二需求信息处理模块22,用于获取用户输入的每一个角色的第二需求信息,并发送第二需求信息至Apache Ranger,其中,第二需求信息包括当前角色信息和第二所需资源信息;第二确定模块23,用于通过Apache Ranger确定是否存在与当前角色信息对应的目标角色信息;第二分配模块24,用于若存在与当前角色信息对应的目标角色信息,则为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件,第一大数据集群资源组件包括第二大数据集群资源组件。
在上述实施例的基础上,其他实施例中,参见图6,该大数据集群资源的分配装置还包括第三创建模块30和同步及权限管理模块31。
其中,第三创建模块30,用于创建多个不同的用户,每一个角色对应多个不同的用户,每一个用户对应不同的等级信息;同步及权限管理模块31,用于同步每一个用户的等级信息至Apache Ranger,Apache Ranger给予每一个用户与每一个用户的等级信息对应的第二大数据集群资源组件的访问权限。
关于上述三个实施例移动终端中各模块实现技术方案的其他细节,可参见上述实施例中的大数据集群资源的分配方法中的描述,此处不再赘述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例还提供了一种存储介质,用于存储程序数据,其包含用于执行本申请上述大数据集群资源的分配方法实施例所设计的程序数据。通过执行该存储介质中存储的程序数据,可以实现本申请提供的大数据集群资源的分配方法。
以上对发明的具体实施方式进行了详细说明,但其只作为范例,本发明并不限制与以上描述的具体实施方式。对于本领域的技术人员而言,任何对该发明进行的等同修改或替代也都在本发明的范畴之中,因此,在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等,都应涵盖在本发明的范围内。

Claims (9)

1.一种大数据集群资源的分配方法,其特征在于,其包括如下步骤:
安装Apache Ranger,并通过所述Apache Ranger实现对大数据集群资源的权限管控;
创建多个不同的租户,每一个租户对应不同的租户信息,所述租户信息包括关键信息;
同步每一个租户的租户信息至所述Apache Ranger;
获取用户输入的每一个租户的第一需求信息,并发送所述第一需求信息至所述ApacheRanger,其中,所述第一需求信息包括当前关键信息和第一所需资源信息;
通过所述Apache Ranger确定是否存在与所述当前关键信息匹配的目标关键信息;
若存在与所述当前关键信息匹配的目标关键信息,则为与所述目标关键信息对应的租户分配与所述第一所需资源信息对应的第一大数据集群资源组件。
2.根据权利要求1所述的大数据集群资源的分配方法,其特征在于,所述第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
3.根据权利要求1或2所述的大数据集群资源的分配方法,其特征在于,所述为与所述目标关键信息对应的租户分配与所述第一所需资源信息对应的第一大数据集群资源组件的步骤之后,还包括:
创建多个不同的角色,每一个租户对应所述多个不同的角色,每一个角色对应不同的角色信息;
同步每一个角色的角色信息至所述Apache Ranger;
获取用户输入的每一个角色的第二需求信息,并发送所述第二需求信息至所述ApacheRanger,其中,所述第二需求信息包括当前角色信息和第二所需资源信息;
通过所述Apache Ranger确定是否存在与所述当前角色信息对应的目标角色信息;
若存在与所述当前角色信息对应的目标角色信息,则为与所述目标角色信息对应的目标角色分配与所述第二所需资源信息对应的第二大数据集群资源组件,所述第一大数据集群资源组件包括所述第二大数据集群资源组件。
4.根据权利要求3所述的大数据集群资源的分配方法,其特征在于,所述为与所述目标角色信息对应的目标角色分配与所述第二所需资源信息对应的第二大数据集群资源组件的步骤之后,还包括:
创建多个不同的用户,每一个角色对应所述多个不同的用户,每一个用户对应不同的等级信息;
同步所述每一个用户的等级信息至所述Apache Ranger,所述ApacheRanger给予每一个用户与每一个用户的等级信息对应的所述第二大数据集群资源组件的访问权限。
5.一种大数据集群资源的分配装置,其特征在于,
安装模块,用于安装Apache Ranger,并通过所述Apache Ranger实现对大数据集群资源的权限管控;
第一创建模块,用于创建多个不同的租户,每一个租户对应不同的租户信息,所述租户信息包括关键信息;
第一同步模块,用于同步每一个租户的租户信息至所述Apache Ranger;
第一需求信息处理模块,用于获取用户输入的每一个租户的第一需求信息,并发送所述第一需求信息至所述Apache Ranger,其中,所述第一需求信息包括当前关键信息和第一所需资源信息;
第一确定模块,用于通过所述Apache Ranger确定是否存在与所述当前关键信息匹配的目标关键信息;
第一分配模块,用于若存在与所述当前关键信息匹配的目标关键信息,则为与所述目标关键信息对应的租户分配与所述第一所需资源信息对应的第一大数据集群资源组件。
6.根据权利要求5所述的大数据集群资源的分配装置,其特征在于,所述第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
7.根据权利要求5或6所述的大数据集群资源的分配装置,其特征在于,其还包括:
第二创建模块,用于创建多个不同的角色,每一个租户对应所述多个不同的角色,每一个角色对应不同的角色信息;
第二同步模块,用于同步每一个角色的角色信息至所述Apache Ranger;
第二需求信息处理模块,用于获取用户输入的每一个角色的第二需求信息,并发送所述第二需求信息至所述Apache Ranger,其中,所述第二需求信息包括当前角色信息和第二所需资源信息;
第二确定模块,用于通过所述Apache Ranger确定是否存在与所述当前角色信息对应的目标角色信息;
第二分配模块,用于若存在与所述当前角色信息对应的目标角色信息,则为与所述目标角色信息对应的目标角色分配与所述第二所需资源信息对应的第二大数据集群资源组件,所述第一大数据集群资源组件包括所述第二大数据集群资源组件。
8.根据权利要求7所述的大数据集群资源的分配装置,其特征在于,其还包括:
第三创建模块,用于创建多个不同的用户,每一个角色对应所述多个不同的用户,每一个用户对应不同的等级信息;
同步及权限管理模块,用于同步所述每一个用户的等级信息至所述ApacheRanger,所述Apache Ranger给予每一个用户与每一个用户的等级信息对应的所述第二大数据集群资源组件的访问权限。
9.一种存储介质,其特征在于,其上存储有程序数据,其特征在于,所述程序数据被处理器执行时实现权利要求1-4任一项所述大数据集群资源的分配方法中的步骤。
CN201710911630.8A 2017-09-29 2017-09-29 大数据集群资源的分配方法、分配装置及存储介质 Active CN107659450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710911630.8A CN107659450B (zh) 2017-09-29 2017-09-29 大数据集群资源的分配方法、分配装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710911630.8A CN107659450B (zh) 2017-09-29 2017-09-29 大数据集群资源的分配方法、分配装置及存储介质

Publications (2)

Publication Number Publication Date
CN107659450A true CN107659450A (zh) 2018-02-02
CN107659450B CN107659450B (zh) 2020-07-14

Family

ID=61116882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710911630.8A Active CN107659450B (zh) 2017-09-29 2017-09-29 大数据集群资源的分配方法、分配装置及存储介质

Country Status (1)

Country Link
CN (1) CN107659450B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309686A (zh) * 2018-11-01 2019-02-05 浪潮软件集团有限公司 一种多租户管理方法及装置
CN109656879A (zh) * 2018-12-13 2019-04-19 深圳前海微众银行股份有限公司 大数据资源管理方法、装置、设备及存储介质
CN110134511A (zh) * 2019-04-12 2019-08-16 浪潮软件集团有限公司 一种OpenTSDB共享存储优化方法
CN110717153A (zh) * 2019-09-30 2020-01-21 新华三大数据技术有限公司 一种权限验证方法和装置
CN110717192A (zh) * 2019-09-11 2020-01-21 南京工业职业技术学院 基于Key-Value加速器的面向大数据安全的访问控制方法
CN113420269A (zh) * 2021-05-14 2021-09-21 济南浪潮数据技术有限公司 基于大数据平台管理多租户的方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150007261A1 (en) * 2005-11-25 2015-01-01 Continuity Software Ltd. System and method of assessing data protection status of data protection resources
CN106569895A (zh) * 2016-10-24 2017-04-19 华南理工大学 一种基于容器的多租户大数据平台构建方法
CN107066867A (zh) * 2017-03-11 2017-08-18 郑州云海信息技术有限公司 一种大数据集群资源分配方法及装置
CN107104931A (zh) * 2016-02-23 2017-08-29 中兴通讯股份有限公司 一种访问控制方法及平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150007261A1 (en) * 2005-11-25 2015-01-01 Continuity Software Ltd. System and method of assessing data protection status of data protection resources
CN107104931A (zh) * 2016-02-23 2017-08-29 中兴通讯股份有限公司 一种访问控制方法及平台
CN106569895A (zh) * 2016-10-24 2017-04-19 华南理工大学 一种基于容器的多租户大数据平台构建方法
CN107066867A (zh) * 2017-03-11 2017-08-18 郑州云海信息技术有限公司 一种大数据集群资源分配方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309686A (zh) * 2018-11-01 2019-02-05 浪潮软件集团有限公司 一种多租户管理方法及装置
CN109656879A (zh) * 2018-12-13 2019-04-19 深圳前海微众银行股份有限公司 大数据资源管理方法、装置、设备及存储介质
CN109656879B (zh) * 2018-12-13 2023-06-13 深圳前海微众银行股份有限公司 大数据资源管理方法、装置、设备及存储介质
CN110134511A (zh) * 2019-04-12 2019-08-16 浪潮软件集团有限公司 一种OpenTSDB共享存储优化方法
CN110717192A (zh) * 2019-09-11 2020-01-21 南京工业职业技术学院 基于Key-Value加速器的面向大数据安全的访问控制方法
CN110717153A (zh) * 2019-09-30 2020-01-21 新华三大数据技术有限公司 一种权限验证方法和装置
CN110717153B (zh) * 2019-09-30 2021-08-24 新华三大数据技术有限公司 一种权限验证方法和装置
CN113420269A (zh) * 2021-05-14 2021-09-21 济南浪潮数据技术有限公司 基于大数据平台管理多租户的方法、系统、设备及介质

Also Published As

Publication number Publication date
CN107659450B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN107659450A (zh) 大数据集群资源的分配方法、分配装置及存储介质
US20210385087A1 (en) Zero-knowledge identity verification in a distributed computing system
US11082226B2 (en) Zero-knowledge identity verification in a distributed computing system
US8850041B2 (en) Role based delegated administration model
US20180227369A1 (en) Converged service computing platform
US10826844B2 (en) Transmission of tags and policies with data objects
US8843648B2 (en) External access and partner delegation
US20140075445A1 (en) Mechanism for providing a routing framework for facilitating dynamic workload scheduling and routing of message queues for fair management of resources for application sercers in an on-demand services environment
CN108737176B (zh) 一种数据网关控制方法、电子设备、存储介质及架构
SG181621A1 (en) Unified user login for co-location facilities
CN107066867A (zh) 一种大数据集群资源分配方法及装置
US10656861B1 (en) Scalable distributed in-memory computation
CN102611699A (zh) 一种云操作系统中访问控制的方法和系统
CN111581635B (zh) 一种数据处理方法及系统
US11126460B2 (en) Limiting folder and link sharing
CN110245499B (zh) Web应用权限管理方法及系统
CN110430180A (zh) 一种基于热插拔的物联网平台及实现方法
US11341192B2 (en) Cross platform collaborative document management system
US20150156193A1 (en) Creating and managing certificates in a role-based certificate store
US11233787B2 (en) Automated on call and ad hoc access to restricted resources
US20080178255A1 (en) Method for document oriented adaptive security management
CN105809345A (zh) 一种基于api管理与虚拟化的面向服务平台及控制方法
CN107360103A (zh) 一种操作维护系统和资源调度方法
CN106789267B (zh) 公有云管理系统及管理方法
CN104166581B (zh) 一种面向增量制造设备的虚拟化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 1301a, 13 / F, maikelong building, No. 6, Gaoxin South 6th Road, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen suoxinda Data Technology Co., Ltd

Address before: 518000 Guangdong city of Shenzhen province Nanshan District six South Road to Kelon building 1301

Applicant before: Shenzhen cable XinDa data technology Limited by Share Ltd

GR01 Patent grant
GR01 Patent grant