CN107659450B - 大数据集群资源的分配方法、分配装置及存储介质 - Google Patents

大数据集群资源的分配方法、分配装置及存储介质 Download PDF

Info

Publication number
CN107659450B
CN107659450B CN201710911630.8A CN201710911630A CN107659450B CN 107659450 B CN107659450 B CN 107659450B CN 201710911630 A CN201710911630 A CN 201710911630A CN 107659450 B CN107659450 B CN 107659450B
Authority
CN
China
Prior art keywords
information
data cluster
big data
role
tenant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710911630.8A
Other languages
English (en)
Other versions
CN107659450A (zh
Inventor
袁海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Suoxinda Data Technology Co ltd
Original Assignee
Shenzhen Suoxinda Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Suoxinda Data Technology Co ltd filed Critical Shenzhen Suoxinda Data Technology Co ltd
Priority to CN201710911630.8A priority Critical patent/CN107659450B/zh
Publication of CN107659450A publication Critical patent/CN107659450A/zh
Application granted granted Critical
Publication of CN107659450B publication Critical patent/CN107659450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051—Service on demand, e.g. definition and deployment of services in real time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105—Multiple levels of security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据集群资源的分配方法、分配装置及存储介质，其中，该方法包括：安装Apache Ranger，并通过Apache Ranger实现对大数据集群资源的权限管控；创建多个不同的租户，每个租户对应不同的租户信息，租户信息包括关键信息；同步每个租户的租户信息至Apache Ranger；获取用户输入的每个租户的第一需求信息，并发送至Apache Ranger，其中，第一需求信息包括当前关键信息和第一所需资源信息；通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息；若存在，则为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。

Description

大数据集群资源的分配方法、分配装置及存储介质
技术领域
本发明涉及集群管理领域，尤其涉及一种大数据集群资源的分配方法、分配装置及存储介质。
背景技术
随着大数据技术的普及，催生了大量的企业级大数据平台应用。这样的情况下，大量的企业级大数据平台应用仍采用传统的方式，共享大数据集群资源组件。因此，经常会出现资源竞争激烈和资源被抢占的问题，从而如何利用好大数据,让资源分配更优化是当前亟待解决的技术问题。
发明内容
本发明的目的在于提供一种大数据集群资源的分配方法、分配装置及存储介质，以解决现有的大数据平台资源竞争激烈和资源被抢占的问题。
为了解决上述问题，本发明提供了一种大数据集群资源的分配方法，其包括如下步骤：
安装Apache Ranger，并通过Apache Ranger实现对大数据集群资源的权限管控；
创建多个不同的租户，每一个租户对应不同的租户信息，租户信息包括关键信息；
同步每一个租户的租户信息至Apache Ranger；
获取用户输入的每一个租户的第一需求信息，并发送第一需求信息至ApacheRanger，其中，第一需求信息包括当前关键信息和第一所需资源信息；
通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息；
若存在与当前关键信息匹配的目标关键信息，则为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。
作为本发明的进一步改进，第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
作为本发明的进一步改进，为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件的步骤之后，还包括：
创建多个不同的角色，每一个租户对应多个不同的角色，每一个角色对应不同的角色信息；
同步每一个角色的角色信息至Apache Ranger；
获取用户输入的每一个角色的第二需求信息，并发送第二需求信息至ApacheRanger，其中，第二需求信息包括当前角色信息和第二所需资源信息；
通过Apache Ranger确定是否存在与当前角色信息对应的目标角色信息；
若存在与当前角色信息对应的目标角色信息，则为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件，第一大数据集群资源组件包括第二大数据集群资源组件。
作为本发明的进一步改进，为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件的步骤之后，还包括：
创建多个不同的用户，每一个角色对应多个不同的用户，每一个用户对应不同的等级信息；
同步每一个用户的等级信息至Apache Ranger，Apache Ranger给予每一个用户与每一个用户的等级信息对应的第二大数据集群资源组件的访问权限。
为了解决上述问题，本发明还提供了一种大数据集群资源的分配装置，其包括：
安装模块，用于安装Apache Ranger，并通过Apache Ranger实现对大数据集群资源的权限管控；
第一创建模块，用于创建多个不同的租户，每一个租户对应不同的租户信息，租户信息包括关键信息；
第一同步模块，用于同步每一个租户的租户信息至Apache Ranger；
第一需求信息处理模块，用于获取用户输入的每一个租户的第一需求信息，并发送第一需求信息至Apache Ranger，其中，第一需求信息包括当前关键信息和第一所需资源信息；
第一确定模块，用于通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息；
第一分配模块，用于若存在与当前关键信息匹配的目标关键信息，则为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。
作为本发明的进一步改进，第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
作为本发明的进一步改进，其还包括：
第二创建模块，用于创建多个不同的角色，每一个租户对应多个不同的角色，每一个角色对应不同的角色信息；
第二同步模块，用于同步每一个角色的角色信息至Apache Ranger；
第二需求信息处理模块，用于获取用户输入的每一个角色的第二需求信息，并发送第二需求信息至Apache Ranger，其中，第二需求信息包括当前角色信息和第二所需资源信息；
第二确定模块，用于通过Apache Ranger确定是否存在与当前角色信息对应的目标角色信息；
第二分配模块，用于若存在与当前角色信息对应的目标角色信息，则为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件，第一大数据集群资源组件包括第二大数据集群资源组件。
作为本发明的进一步改进，其还包括：
第三创建模块，用于创建多个不同的用户，每一个角色对应多个不同的用户，每一个用户对应不同的等级信息；
同步及权限管理模块，用于同步每一个用户的等级信息至Apache Ranger，ApacheRanger给予每一个用户与每一个用户的等级信息对应的第二大数据集群资源组件的访问权限。
一种存储介质，其上存储有程序数据，其特征在于，程序数据被处理器执行时实现上述大数据集群资源的分配方法中的步骤。
与现有技术相比，本发明创建不同的租户，根据不同的租户的不同所需资源信息分配不同的大数据集群资源组件，因此，不同的租户具有不同的大数据集群资源组件，达到了资源隔离的目的，以致不会出现不同的租户之间的资源竞争以及抢占问题，从而提升了大数据平台对每一个租户的请求响应速率。
附图说明
图1为本发明大数据集群资源的分配方法第一个实施例的流程示意图；
图2为本发明大数据集群资源的分配方法第二个实施例的流程示意图；
图3为本发明大数据集群资源的分配方法第三个实施例的流程示意图；
图4为本发明大数据集群资源的分配装置第一个实施例的功能模块示意图；
图5为本发明大数据集群资源的分配装置第二个实施例的功能模块示意图；
图6为本发明大数据集群资源的分配装置第三个实施例的功能模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明。
Apache Ranger：提供一种集中式安全管理框架，并解决授权和审计。ApacheRanger可以对大数据集群资源组件(譬如：HDFS、YARN、HIVE和Hbase)等进行细粒度的数据访问控制。
HDFS，Hadoop Distributed File System的缩写，是Hadoop分布式文件系统，被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。同时，它和其他的分布式文件系统的区别也是很明显，具体地，HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
YARN:Yet Another Resource Negotiator的缩写，是一种新的Hadoop资源管理器，YARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
HIVE：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类sql语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
MapReduce：是一种编程模型，用于大规模数据集的并行运算。方便编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map函数，用来把一组键值对映射成二组新的键值对，指定并发的Reduce函数，用来保证所有映射的键值对中的每一个共享相同的键组。
HBase：是二个分布式的、面向列的开源数据库，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase不同于二般的关系数据库，它是一个适合非结构化数据存储的数据库，并且采用基于列的丽不是基于行的模式。
具体地，图1展示了本发明大数据集群资源的分配方法的一个实施例。在本实施例中，该大数据集群资源的分配方法包括如下步骤：
步骤S1，安装Apache Ranger，并通过Apache Ranger实现对大数据集群资源的权限管控。
步骤S2，创建多个不同的租户，每一个租户对应不同的租户信息，租户信息包括关键信息。
需要说明的是，本实施中的租户可以理解为一个企业。譬如：企业A、企业B、公司A或公司B。此外，本实施例中的租户信息包括企业名称、企业营业执照信息，企业代码。因此，本实施例中的关键信息可以为企业代码。
步骤S3，同步每一个租户的租户信息至Apache Ranger。
步骤S4，获取用户输入的每一个租户的第一需求信息，并发送第一需求信息至Apache Ranger，其中，第一需求信息包括当前关键信息和第一所需资源信息。
步骤S5，通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息；若存在与当前关键信息匹配的目标关键信息，则执行步骤S6。
步骤S6，为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。
需要说明的是，第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
其中，HDFS：分配文件数量配额和空间配额
YARN：分配队列、资源百分比、最大资源百分比、最大应用数量、每个用户最低资源保障百分比
HIVE：数据库名、目录、表数配额、空间配额
Hbase：表空间、最大表数量、最大region数量、QPS：Query Per Second的缩写，每秒查询率。
本实施例创建不同的租户，根据不同的租户的不同所需资源信息分配不同的大数据集群资源组件，因此，不同的租户具有不同的大数据集群资源组件，达到了资源隔离的目的，以致不会出现不同的租户之间的资源竞争以及抢占问题，从而提升了大数据平台对每一个租户的请求响应速率。
将本发明的大数据集群资源的分配方法应用于大数据集群资源的分配装置的使用过程中，需要为每一个租户的每一个角色分配不同的大数据集群资源组件。因此，上述实施例的基础上，其他实施例中，参见图2，步骤S6之后，还包括：
步骤S10，创建多个不同的角色，每一个租户对应多个不同的角色，每一个角色对应不同的角色信息。
需要说明的是，假设租户为一个企业，则一个角色可以为一个企业内设置的一个部门。譬如：研发部、软件测试部或财务部。
步骤S11，同步每一个角色的角色信息至Apache Ranger。
步骤S12，获取用户输入的每一个角色的第二需求信息，并发送第二需求信息至Apache Ranger，其中，第二需求信息包括当前角色信息和第二所需资源信息。
步骤S13，通过Apache Ranger确定是否存在与当前角色信息对应的目标角色信息。若存在与当前角色信息对应的目标角色信息，则执行步骤S14。
步骤S14，为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件，第一大数据集群资源组件包括第二大数据集群资源组件。
本实施例为不同的角色分配不同的大数据集群资源组件，以满足不同的角色的不同需求，从而进一步达到了隔离的目的，避免了不同角色之间的资源竞争以及资源抢占，从而进一步提升了大数据平台对该租户内的角色的请求响应速率。
将本发明的大数据集群资源的分配方法应用于大数据集群资源的分配装置的使用过程中，需要为每一个角色创建多个不同等级的用户，并根据等级分配不同的访问权限。因此，上述实施例的基础上，其他实施例中，参见图3，步骤S14之后，还包括：
步骤S20，创建多个不同的用户，每一个角色对应多个不同的用户，每一个用户对应不同的等级信息。
需要说明的是，假设角色为部门，则用户则可以为一个部门内不同等级的用户，譬如：经理、组长等。
步骤S21，同步每一个用户的等级信息至Apache Ranger，Apache Ranger给予每一个用户与每一个用户的等级信息对应的第二大数据集群资源组件的访问权限。
本实施例为不同的角色创建不同等级的用户，降低了同一个数据集群资源组件被多人访问的现象发生概率，从而从另一个方面来说，整体上提升了每一个用户的访问请求的响应速率。
图4展示了大数据集群资源的分配装置的一个实施例。在本实施例中，该大数据集群资源的分配装置包括安装模块10、第一创建模块11、第一同步模块12、第一需求信息处理模块13、第一确定模块14和第一分配模块15。
其中，安装模块10，用于安装Apache Ranger，并通过Apache Ranger实现对大数据集群资源的权限管控；第一创建模块11，用于创建多个不同的租户，每一个租户对应不同的租户信息，租户信息包括关键信息；第一同步模块12，用于同步每一个租户的租户信息至Apache Ranger；第一需求信息处理模块13，用于获取用户输入的每一个租户的第一需求信息，并发送第一需求信息至Apache Ranger，其中，第一需求信息包括当前关键信息和第一所需资源信息；第一确定模块14，用于通过Apache Ranger确定是否存在与当前关键信息匹配的目标关键信息；第一分配模块15，用于若存在与当前关键信息匹配的目标关键信息，则为与目标关键信息对应的租户分配与第一所需资源信息对应的第一大数据集群资源组件。
在上述实施例的基础上，其他实施例中，第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
在上述实施例的基础上，其他实施例中，参见图5，该大数据集群资源的分配装置还包括第二创建模块20、第二同步模块21、第二需求信息处理模块22、第二确定模块23和第二分配模块24。
其中，第二创建模块20，用于创建多个不同的角色，每一个租户对应多个不同的角色，每一个角色对应不同的角色信息；第二同步模块21，用于同步每一个角色的角色信息至Apache Ranger；第二需求信息处理模块22，用于获取用户输入的每一个角色的第二需求信息，并发送第二需求信息至Apache Ranger，其中，第二需求信息包括当前角色信息和第二所需资源信息；第二确定模块23，用于通过Apache Ranger确定是否存在与当前角色信息对应的目标角色信息；第二分配模块24，用于若存在与当前角色信息对应的目标角色信息，则为与目标角色信息对应的目标角色分配与第二所需资源信息对应的第二大数据集群资源组件，第一大数据集群资源组件包括第二大数据集群资源组件。
在上述实施例的基础上，其他实施例中，参见图6，该大数据集群资源的分配装置还包括第三创建模块30和同步及权限管理模块31。
其中，第三创建模块30，用于创建多个不同的用户，每一个角色对应多个不同的用户，每一个用户对应不同的等级信息；同步及权限管理模块31，用于同步每一个用户的等级信息至Apache Ranger，Apache Ranger给予每一个用户与每一个用户的等级信息对应的第二大数据集群资源组件的访问权限。
关于上述三个实施例移动终端中各模块实现技术方案的其他细节，可参见上述实施例中的大数据集群资源的分配方法中的描述，此处不再赘述。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例还提供了一种存储介质，用于存储程序数据，其包含用于执行本申请上述大数据集群资源的分配方法实施例所设计的程序数据。通过执行该存储介质中存储的程序数据，可以实现本申请提供的大数据集群资源的分配方法。
以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制与以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。

Claims (5)

1.一种大数据集群资源的分配方法，其特征在于，其包括如下步骤：
安装Apache Ranger，并通过所述Apache Ranger实现对大数据集群资源的权限管控；
创建多个不同的租户，每一个租户对应不同的租户信息，所述租户信息包括关键信息；
同步每一个租户的租户信息至所述Apache Ranger；
获取用户输入的每一个租户的第一需求信息，并发送所述第一需求信息至所述ApacheRanger，其中，所述第一需求信息包括当前关键信息和第一所需资源信息；
通过所述Apache Ranger确定是否存在与所述当前关键信息匹配的目标关键信息；
若存在与所述当前关键信息匹配的目标关键信息，则为与所述目标关键信息对应的租户分配与所述第一所需资源信息对应的第一大数据集群资源组件，其中，不同的租户被分配不同的大数据集群资源组件；
创建多个不同的角色，每一个租户对应所述多个不同的角色，每一个角色对应不同的角色信息；
同步每一个角色的角色信息至所述Apache Ranger；
获取用户输入的每一个角色的第二需求信息，并发送所述第二需求信息至所述ApacheRanger，其中，所述第二需求信息包括当前角色信息和第二所需资源信息；
通过所述Apache Ranger确定是否存在与所述当前角色信息对应的目标角色信息；
若存在与所述当前角色信息对应的目标角色信息，则为与所述目标角色信息对应的目标角色分配与所述第二所需资源信息对应的第二大数据集群资源组件，所述第一大数据集群资源组件包括所述第二大数据集群资源组件，其中，不同的角色被分配不同的大数据集群资源组件；
创建多个不同的用户，每一个角色对应所述多个不同的用户，每一个用户对应不同的等级信息；
同步所述每一个用户的等级信息至所述Apache Ranger，所述Apache Ranger给予每一个用户与每一个用户的等级信息对应的所述第二大数据集群资源组件的访问权限。
2.根据权利要求1所述的大数据集群资源的分配方法，其特征在于，所述第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
3.一种大数据集群资源的分配装置，其特征在于，所述装置包括：
安装模块，用于安装Apache Ranger，并通过所述Apache Ranger实现对大数据集群资源的权限管控；
第一创建模块，用于创建多个不同的租户，每一个租户对应不同的租户信息，所述租户信息包括关键信息；
第一同步模块，用于同步每一个租户的租户信息至所述Apache Ranger；
第一需求信息处理模块，用于获取用户输入的每一个租户的第一需求信息，并发送所述第一需求信息至所述Apache Ranger，其中，所述第一需求信息包括当前关键信息和第一所需资源信息；
第一确定模块，用于通过所述Apache Ranger确定是否存在与所述当前关键信息匹配的目标关键信息；
第一分配模块，用于若存在与所述当前关键信息匹配的目标关键信息，则为与所述目标关键信息对应的租户分配与所述第一所需资源信息对应的第一大数据集群资源组件，其中，不同的租户被分配不同的大数据集群资源组件；
第二创建模块，用于创建多个不同的角色，每一个租户对应所述多个不同的角色，每一个角色对应不同的角色信息；
第二同步模块，用于同步每一个角色的角色信息至所述Apache Ranger；
第二需求信息处理模块，用于获取用户输入的每一个角色的第二需求信息，并发送所述第二需求信息至所述Apache Ranger，其中，所述第二需求信息包括当前角色信息和第二所需资源信息；
第二确定模块，用于通过所述Apache Ranger确定是否存在与所述当前角色信息对应的目标角色信息；
第二分配模块，用于若存在与所述当前角色信息对应的目标角色信息，则为与所述目标角色信息对应的目标角色分配与所述第二所需资源信息对应的第二大数据集群资源组件，所述第一大数据集群资源组件包括所述第二大数据集群资源组件，其中，不同的角色被分配不同的大数据集群资源组件；
第三创建模块，用于创建多个不同的用户，每一个角色对应所述多个不同的用户，每一个用户对应不同的等级信息；
同步及权限管理模块，用于同步所述每一个用户的等级信息至所述Apache Ranger，所述Apache Ranger给予每一个用户与每一个用户的等级信息对应的所述第二大数据集群资源组件的访问权限。
4.根据权利要求3所述的大数据集群资源的分配装置，其特征在于，所述第一大数据集群资源组件包括HDFS、YARN、HIVE和Hbase。
5.一种存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现权利要求1-2任一项所述大数据集群资源的分配方法中的步骤。
CN201710911630.8A 2017-09-29 2017-09-29 大数据集群资源的分配方法、分配装置及存储介质 Active CN107659450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710911630.8A CN107659450B (zh) 2017-09-29 2017-09-29 大数据集群资源的分配方法、分配装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710911630.8A CN107659450B (zh) 2017-09-29 2017-09-29 大数据集群资源的分配方法、分配装置及存储介质

Publications (2)

Publication Number Publication Date
CN107659450A CN107659450A (zh) 2018-02-02
CN107659450B true CN107659450B (zh) 2020-07-14

Family

ID=61116882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710911630.8A Active CN107659450B (zh) 2017-09-29 2017-09-29 大数据集群资源的分配方法、分配装置及存储介质

Country Status (1)

Country Link
CN (1) CN107659450B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309686A (zh) * 2018-11-01 2019-02-05 浪潮软件集团有限公司 一种多租户管理方法及装置
CN109656879B (zh) * 2018-12-13 2023-06-13 深圳前海微众银行股份有限公司 大数据资源管理方法、装置、设备及存储介质
CN110134511A (zh) * 2019-04-12 2019-08-16 浪潮软件集团有限公司 一种OpenTSDB共享存储优化方法
CN110717192B (zh) * 2019-09-11 2021-05-18 南京工业职业技术大学 基于Key-Value加速器的面向大数据安全的访问控制方法
CN110717153B (zh) * 2019-09-30 2021-08-24 新华三大数据技术有限公司 一种权限验证方法和装置
CN113420269B (zh) * 2021-05-14 2023-02-28 济南浪潮数据技术有限公司 基于大数据平台管理多租户的方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569895A (zh) * 2016-10-24 2017-04-19 华南理工大学 一种基于容器的多租户大数据平台构建方法
CN107066867A (zh) * 2017-03-11 2017-08-18 郑州云海信息技术有限公司 一种大数据集群资源分配方法及装置
CN107104931A (zh) * 2016-02-23 2017-08-29 中兴通讯股份有限公司 一种访问控制方法及平台

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411969B2 (en) * 2005-11-25 2016-08-09 Continuity Software Ltd. System and method of assessing data protection status of data protection resources

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107104931A (zh) * 2016-02-23 2017-08-29 中兴通讯股份有限公司 一种访问控制方法及平台
CN106569895A (zh) * 2016-10-24 2017-04-19 华南理工大学 一种基于容器的多租户大数据平台构建方法
CN107066867A (zh) * 2017-03-11 2017-08-18 郑州云海信息技术有限公司 一种大数据集群资源分配方法及装置

Also Published As

Publication number Publication date
CN107659450A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
CN107659450B (zh) 大数据集群资源的分配方法、分配装置及存储介质
US11514046B2 (en) Tiering with pluggable storage system for parallel query engines
EP3726411A1 (en) Data desensitising method, server, terminal, and computer-readable storage medium
US9086902B2 (en) Sending tasks between virtual machines based on expiration times
US20130263117A1 (en) Allocating resources to virtual machines via a weighted cost ratio
CN108009261B (zh) 一种数据同步方法、装置及电子设备
US8712994B2 (en) Techniques for accessing a parallel database system via external programs using vertical and/or horizontal partitioning
CN106933664B (zh) 一种Hadoop集群的资源调度方法及装置
CN105468720A (zh) 集成分布式数据处理系统的方法、相应系统及其数据处理方法
US10656861B1 (en) Scalable distributed in-memory computation
US20200167444A1 (en) Systems and methods for software license management
US11120049B2 (en) Concurrent data imports
US10831709B2 (en) Pluggable storage system for parallel query engines across non-native file systems
CN111163186B (zh) 一种id生成方法、装置、设备和存储介质
US10944814B1 (en) Independent resource scheduling for distributed data processing programs
CN111752539B (zh) Bi服务集群系统及其搭建方法
CN111885184A (zh) 高并发场景下热点访问关键字处理方法和装置
WO2020163166A1 (en) Resource and operation management on a cloud platform
CN111984686A (zh) 一种数据处理的方法和装置
US20140280347A1 (en) Managing Digital Files with Shared Locks
US11882008B1 (en) Workload classes for tenant-level resource isolation
CN111221847A (zh) 监控数据存储方法、装置及计算机可读存储介质
EP4030311A1 (en) A distributed database system
CN116827939A (zh) 基于大数据下集群资源管理分配方法、设备及存储介质
CN108762929B (zh) 在sql数据库下管理处理器核心数的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 1301a, 13 / F, maikelong building, No. 6, Gaoxin South 6th Road, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen suoxinda Data Technology Co., Ltd

Address before: 518000 Guangdong city of Shenzhen province Nanshan District six South Road to Kelon building 1301

Applicant before: Shenzhen cable XinDa data technology Limited by Share Ltd

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant