CN109936471A - 一种多集群的资源分配方法和装置 - Google Patents

一种多集群的资源分配方法和装置 Download PDF

Info

Publication number
CN109936471A
CN109936471A CN201711362538.7A CN201711362538A CN109936471A CN 109936471 A CN109936471 A CN 109936471A CN 201711362538 A CN201711362538 A CN 201711362538A CN 109936471 A CN109936471 A CN 109936471A
Authority
CN
China
Prior art keywords
cluster
computing resource
data
scheduler task
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711362538.7A
Other languages
English (en)
Other versions
CN109936471B (zh
Inventor
符宇晖
张皓天
苏磊
靳江明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Future Technology Co Ltd filed Critical Beijing Tusimple Future Technology Co Ltd
Priority to CN201711362538.7A priority Critical patent/CN109936471B/zh
Publication of CN109936471A publication Critical patent/CN109936471A/zh
Application granted granted Critical
Publication of CN109936471B publication Critical patent/CN109936471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种多集群的资源分配方法，用于解决现有技术中通过人工处理来实现多集群资源分配，并且处理繁重、处理效率低的问题。包括：资源分配装置分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。

Description

一种多集群的资源分配方法和装置
技术领域
本发明涉及计算机技术领域，特别涉及一种多集群的资源分配方法和装置。
背景技术
近年来，随着人工智能技术的兴起，对可靠高效的集群计算技术的需求愈发强烈，因而各大开源社区推出了自己的集群框架，如以Spark为例的集群计算引擎是为大规模数据处理而设计的集群技术，而以Kubernetes为例的容器集群编排则是虚拟化容器管理的集群技术。以上集群技术皆在人工智能企业有着广泛的应用，目前主流的趋势是使其合为同一集群，使用统一的调度器管理多个集群。但是由于现实原因，很多企业无法轻松地将自身原有的多集群迁移到统一管理的单集群。因此，在企业中的多集群协调往往是由人工控制的。
而人工控制的最大问题就是效率问题。首先，因为主要用于大数据计算的计算引擎集群所需的资源是由每次任务的计算量来决定的，因而每次运算任务所需的资源往往是不一样的，所以在计算任务较多企业中，手动调整集群间资源分配的频率是非常高的，这对于运维人员来说是一个沉重的负担。其次，由于不同的集群在资源使用上有着不同的特点，如集群计算引擎的任务往往是短期内完成的，而容器集群其他应用则是长期服务于用户，因而不同种类的集群对资源分配的策略的需求存在着很大的差异，由人工决策资源的分配往往难以满足现实需求。
可见，在现有的多集群资源分配方案主要依靠人工处理，并且处理繁重、处理效率低。
发明内容
有鉴于此，本发明提供了一种多集群的资源分配方法，用于解决现有技术中通过人工处理来实现多集群资源分配，并且处理繁重、处理效率低的问题。
根据本申请的一个方面，提供了一种多集群的资源分配方法，包括：
资源分配装置分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
在一个实施例中，分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，所述方法还包括：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
在一个实施例中，确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
在一个实施例中，为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请的另一个方面，提供了一种多集群的资源分配装置，包括：
获取模块，用于分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
确定模块，用于根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
分配模块，用于根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
在一个实施例中，获取模块分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，获取模块还用于：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，获取模块分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
在一个实施例中，确定模块确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
在一个实施例中，分配模块为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请的另一个方面，提供了一种多集群的资源分配装置，包括一个处理器和至少一个存储器，至少一个存储器用于存储至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
根据本申请提供的技术方案，通过一个资源分配装置获取各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，以及实现较高的处理效率。
在一个实施例中，处理器执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器执行至少一条机器可执行指令还实现：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器执行至少一条机器可执行指令实现确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源
在一个实施例中，处理器执行至少一条机器可执行指令实现为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请实施例提供的技术方案，通过一个资源分配装置根据各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，能够实现较高的处理效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请实施例提供的多集群的资源分配方法的处理流程图；
图2为本申请实施例提供的多集群的资源分配装置的结构框图；
图3为本申请实施例提供的多集群的资源分配装置的结构框图；
图4为本申请实施例提供的多集群的资源分配装置的结构框图；
图5为图4中监视器的工作流程图；
图6为图4中分析器的结构框图；
图7为图4中调度器的工作流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
针对现有技术中通过人工处理来实现多集群资源分配，并且处理繁重、处理效率低的问题，本申请提供了一种多集群的资源分配方法和装置，用以解决该问题。
根据本申请提供的方法，资源分配装置分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源，根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。使用该技术方案，通过一个资源分配装置根据各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，能够实现较高的处理效率。
下面对本申请的技术方案进行说明。
图1示出了本申请实施例提供的多集群的资源分配方法的处理流程，该方法包括：
步骤101、资源分配装置分别获取多个集群中各集群的计算资源使用数据和待调度任务数据。
在一个实施例中，资源分配装置按照预定时间间隔分别获取各集群的计算资源使用数据和待调度任务数据；由于各集群中待调度的任务是动态变化的，需要定时的获取更新的计算资源使用数据和待调度任务数据。
在一个实施例中，由于各集群之间并不是采用统一的系统实现方式，需要针对各集群进行相应的查询和调度，也即，资源分配装置分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求，并且接收各集群反馈的计算资源使用数据和待调度任务数据。从而，在具体实现的场景中，不需要对各集群进行侵入性的修改，就能获取个各集群的资源使用信息和待调度的任务信息。
在一个实施例中，上述获取到的各集群的计算资源使用数据和待调度任务数据具有不同的数据格式，为了对数据进行统一处理，资源分配装置还将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据，以便于资源分配装置进行后续的分析和处理。
步骤102、根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源。
由于资源分配装置在不断的根据预定的时间间隔获取各集群的计算资源使用数据，获取到的计算资源使用数据可以累积作为历史数据，作为后期的资源预测处理所依赖的历史计算资源使用数据。
在一个实施例中，资源分配装置根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；也即，预测处理基于历史计算资源使用数据来针对待调度任务分配相应的计算资源。在具体的应用场景中，实现预测的算法可以包括：灰色预测模型、微分方程模型、回归分析预测、马尔科夫预测，或者结合机器学习的方法来实现预测处理，本申请不对具体算法进行限制。
并且，根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。在具体的应用场景中，决策待分配计算资源的算法可以包括：基于队列的贪心算法，或者基于最小消耗最大流的算法。
步骤103、根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
如上所述，各集群之间并不是采用统一的系统实现方式，从而在一个实施例中，资源分配装置使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据上述技术方案，通过一个资源分配装置获取各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，以及实现较高的处理效率。
基于相同的发明构思，本申请实施例还提出了一种多集群的资源分配装置。
图2示出了本申请实施例提供的多集群的资源分配装置的结构，包括：
获取模块21，用于分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
在一个实施例中，获取模块21分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，获取模块21还用于：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，获取模块21分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
确定模块23，用于根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
在一个实施例中，确定模块23确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
分配模块25，用于根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
在一个实施例中，分配模块25为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请实施例提供的装置，通过获取各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，以及实现较高的处理效率。
基于相同的发明构思，本申请实施例还提供了一种多集群的资源分配装置。
图3示出了本申请实施例提供的多集群的资源分配装置的结构，包括：一个处理器31和至少一个存储器33，至少一个存储器33用于存储至少一条机器可执行指令，处理器31执行至少一条机器可执行指令以实现：
分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
在一个实施例中，处理器31执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器31执行至少一条机器可执行指令还实现：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器31执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器31执行至少一条机器可执行指令实现确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
在一个实施例中，处理器31执行至少一条机器可执行指令实现为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请实施例提供的装置，通过获取各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，以及实现较高的处理效率。
下面对本申请提供的技术方案在具体应用中的情况进行说明。
图4示出了本申请实施例提供的多集群的资源分配装置的结构，该装置包括：监视器41、分析器43和调度器45。多个集群中可以包括多个集群计算引擎和/或多个容器集群。
监视器41中包括多个监视插件411、412、…、41n(图中未示出)，这些监视插件分别与多个集群相对应，监视插件用于通过与一个集群对应的命令和/或数据格式，对集群的资源使用情况和待调度的任务进行查询和/或监控，例如，监视插件根据预定的时间间隔向一个集群发送与该集群对应的计算资源查询请求和/或计算资源监控请求，并获取集群反馈的计算资源使用数据和待调度任务数据。
监视器41将多个监视插件获取的多个集群的不同数据格式的计算资源使用数据和待调度任务数据转换为相同数据格式的计算资源使用数据和待调度任务数据。
图5中示出了监视器的工作流程，包括监视器启动和监视器运行两部分。
监视器启动部分包括：监视器读取配置文件，并载入分别与各集群对应的各监视插件。
监视器运行部分包括：
步骤501、监视器判断配置文件是否更新，在判断无更新的情况下，处理进行到步骤504，在判断有更新的情况下，处理进行到步骤502；
步骤502、监视器载入新的配置文件；
步骤503、载入新的集群监控插件；
步骤504、按照预定时间间隔依次调用监视插件，获取各个集群的计算资源使用数据和待调度任务数据，并转换数据格式；
步骤505、监视器判断被监控的信息是否已更新，在判断无更新的情况下，处理返回步骤501，在判断有更新的情况下处理进行到步骤506；
步骤506、监视器将获取到的计算资源使用数据和待调度任务数据推送给分析器，处理返回步骤501。
分析器43中包括预测器431和决策器433，如图6所示。
其中，预测器431根据针对一个集群的历史获取的计算资源使用数据和待调度任务数据，针对该集群的待调度任务预测对应的计算资源，决策器433用于根据当前获取到的一个集群的计算资源使用数据以及预测的计算资源，确定为该集群分配的计算资源，具体地，可以根据取到的计算资源使用数据，确定集群可以使用和分配的计算资源，并对比可使用和分配的计算资源以及预测的计算资源，最后确定为集群分配的计算资源。
预测器431可以采用灰色预测模型、微分方程模型、回归分析预测、马尔科夫预测，或者结合机器学习的方法进行预测处理。
决策器433可以采用基于队列的贪心算法或者基于最小消耗最大流的算法。
调度器45包括多个调度接口，例如调度插件451、452、…、45n(图中未示出)，每个调度接口与一个集群相对应，调度器45分别通过这些调度接口为相应的集群分配对应的计算资源。
调度器45的工作原理如图7所示，包括调度器启动部分和调度器运行部分。
调度器启动部分包括：调度器读取配置文件，并载入调度插件。
调度器运行部分如下流程：
步骤701、调度器接收到来自分析器的信息后，判断配置文件是否更新，在判断更新的情况下，处理进行到步骤702，在判断无更新的情况下，处理进行到步骤704；
步骤702、调度器读取新的配置文件；
步骤703、调度器载入新的调度插件；
步骤704、调度器依次调用调度插件，为各集群分配对应的计算资源；
步骤705、调度器判断调用是否调用分配失败，在判断失败的情况下，处理进行到步骤706，在判断成功的情况下，处理返回步骤701；
步骤706、调用回滚，处理返回步骤701。
通过上述处理，本申请提供的多集群的资源分配装置能够实时监控集群内部运行状态，判断集群是否存储空闲资源，或者需要更多的资源，并通过调度算法来动态调度资源，对集群本身无侵入式修改，并且能够提高资源的使用效率。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种多集群的资源分配方法，其特征在于，包括：
资源分配装置分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
2.根据权利要求1所述的方法，其特征在于，分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：
分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；
接收各集群反馈的计算资源使用数据和待调度任务数据。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
4.根据权利要求1所述的方法，其特征在于，分别获取多个集群中各集群的计算资源使用数据，包括：
按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
5.根据权利要求1所述的方法，其特征在于，确定各集群的待分配计算资源，包括：
根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；
根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
6.根据权利要求1所述的方法，其特征在于，为各集群分配对应的计算资源，包括：
使用与各集群对应的调度接口为各集群分配对应的计算资源。
7.一种多集群的资源分配装置，其特征在于，包括：
获取模块，用于分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
确定模块，用于根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
分配模块，用于根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
8.根据权利要求7所述的装置，其特征在于，获取模块分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：
分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；
接收各集群反馈的计算资源使用数据和待调度任务数据。
9.根据权利要求8所述的装置，其特征在于，获取模块还用于：
将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
10.根据权利要求7所述的装置，其特征在于，获取模块分别获取多个集群中各集群的计算资源使用数据，包括：
按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
11.根据权利要求7所述的装置，其特征在于，确定模块确定各集群的待分配计算资源，包括：
根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；
根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
12.根据权利要求7所述的装置，其特征在于，分配模块为各集群分配对应的计算资源，包括：
使用与各集群对应的调度接口为各集群分配对应的计算资源。
13.一种多集群的资源分配装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器用于存储至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
14.根据权利要求13所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：
分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；
接收各集群反馈的计算资源使用数据和待调度任务数据。
15.根据权利要求14所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：
将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
16.根据权利要求13所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据，包括：
按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
17.根据权利要求13所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现确定各集群的待分配计算资源，包括：
根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；
根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
18.根据权利要求13所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现为各集群分配对应的计算资源，包括：
使用与各集群对应的调度接口为各集群分配对应的计算资源。
CN201711362538.7A 2017-12-18 2017-12-18 一种多集群的资源分配方法和装置 Active CN109936471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711362538.7A CN109936471B (zh) 2017-12-18 2017-12-18 一种多集群的资源分配方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711362538.7A CN109936471B (zh) 2017-12-18 2017-12-18 一种多集群的资源分配方法和装置

Publications (2)

Publication Number Publication Date
CN109936471A true CN109936471A (zh) 2019-06-25
CN109936471B CN109936471B (zh) 2022-05-24

Family

ID=66982283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711362538.7A Active CN109936471B (zh) 2017-12-18 2017-12-18 一种多集群的资源分配方法和装置

Country Status (1)

Country Link
CN (1) CN109936471B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752706A (zh) * 2020-05-29 2020-10-09 北京沃东天骏信息技术有限公司 资源配置方法、装置及存储介质
CN113553166A (zh) * 2020-04-26 2021-10-26 广州汽车集团股份有限公司 一种跨平台高性能计算集成方法及系统
CN113886050A (zh) * 2021-10-21 2022-01-04 中国联合网络通信集团有限公司 压力测试方法、装置、设备和存储介质
CN115373825A (zh) * 2022-10-25 2022-11-22 中国铁塔股份有限公司 一种资源调度方法、装置、设备及可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780759A (zh) * 2012-06-13 2012-11-14 合肥工业大学 基于调度目标空间的云计算资源调度方法
US20140044085A1 (en) * 2011-05-02 2014-02-13 Pantech Co., Ltd Apparatus and method for transmitting resource allocation information
US8706798B1 (en) * 2013-06-28 2014-04-22 Pepperdata, Inc. Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system
CN103856512A (zh) * 2012-11-30 2014-06-11 华为技术有限公司 云计算的管理服务器、工作和闲置主机以及资源调度方法
CN104065745A (zh) * 2014-07-07 2014-09-24 电子科技大学 云计算动态资源调度系统和方法
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
KR20160083989A (ko) * 2015-01-02 2016-07-13 한국전자통신연구원 다중 서비스 클러스터에 대한 자원 할당 방법 및 그 장치
US20160301624A1 (en) * 2015-04-10 2016-10-13 International Business Machines Corporation Predictive computing resource allocation for distributed environments
CN106161525A (zh) * 2015-04-03 2016-11-23 阿里巴巴集团控股有限公司 一种多集群管理方法与设备
CN106161485A (zh) * 2015-03-23 2016-11-23 腾讯科技（深圳）有限公司 一种基础服务集群的资源调度方法、装置和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140044085A1 (en) * 2011-05-02 2014-02-13 Pantech Co., Ltd Apparatus and method for transmitting resource allocation information
CN102780759A (zh) * 2012-06-13 2012-11-14 合肥工业大学 基于调度目标空间的云计算资源调度方法
CN103856512A (zh) * 2012-11-30 2014-06-11 华为技术有限公司 云计算的管理服务器、工作和闲置主机以及资源调度方法
US8706798B1 (en) * 2013-06-28 2014-04-22 Pepperdata, Inc. Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system
CN104065745A (zh) * 2014-07-07 2014-09-24 电子科技大学 云计算动态资源调度系统和方法
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
KR20160083989A (ko) * 2015-01-02 2016-07-13 한국전자통신연구원 다중 서비스 클러스터에 대한 자원 할당 방법 및 그 장치
CN106161485A (zh) * 2015-03-23 2016-11-23 腾讯科技（深圳）有限公司 一种基础服务集群的资源调度方法、装置和系统
CN106161525A (zh) * 2015-04-03 2016-11-23 阿里巴巴集团控股有限公司 一种多集群管理方法与设备
US20160301624A1 (en) * 2015-04-10 2016-10-13 International Business Machines Corporation Predictive computing resource allocation for distributed environments

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553166A (zh) * 2020-04-26 2021-10-26 广州汽车集团股份有限公司 一种跨平台高性能计算集成方法及系统
CN111752706A (zh) * 2020-05-29 2020-10-09 北京沃东天骏信息技术有限公司 资源配置方法、装置及存储介质
CN111752706B (zh) * 2020-05-29 2024-05-17 北京沃东天骏信息技术有限公司 资源配置方法、装置及存储介质
CN113886050A (zh) * 2021-10-21 2022-01-04 中国联合网络通信集团有限公司 压力测试方法、装置、设备和存储介质
CN115373825A (zh) * 2022-10-25 2022-11-22 中国铁塔股份有限公司 一种资源调度方法、装置、设备及可读存储介质
CN115373825B (zh) * 2022-10-25 2022-12-20 中国铁塔股份有限公司 一种资源调度方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN109936471B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
Bhattacharjee et al. Barista: Efficient and scalable serverless serving system for deep learning prediction services
US9207993B2 (en) Dynamic application placement based on cost and availability of energy in datacenters
CN109034396B (zh) 用于处理分布式集群中的深度学习作业的方法和装置
CN109491790A (zh) 基于容器的工业物联网边缘计算资源分配方法及系统
CN109936471A (zh) 一种多集群的资源分配方法和装置
CN101957780B (zh) 一种基于资源状态信息的网格任务调度处理器及方法
WO2020263723A1 (en) Machine-learning and combinatorial optimization framework for managing tasks of a dynamic system with limited resources
CN107003887A (zh) Cpu超载设置和云计算工作负荷调度机构
CN105893158A (zh) 私有云条件下的大数据混合调度模型
CN110502349A (zh) 一种构建云端容器应用的编排方法
CN112685153A (zh) 微服务调度方法、装置以及电子设备
CN107317836A (zh) 一种混合云环境下时间可感知的请求调度方法
Tuli et al. GOSH: Task scheduling using deep surrogate models in fog computing environments
Zeng et al. Airport ground workforce planning with hierarchical skills: a new formulation and branch-and-price approach
Biswas et al. Automatic resource provisioning: a machine learning based proactive approach
Alsurdeh et al. Hybrid workflow scheduling on edge cloud computing systems
CN105491079B (zh) 云计算环境中调整应用所需资源的方法及装置
CN113190342B (zh) 用于云-边协同网络的多应用细粒度卸载的方法与系统架构
CN109976873A (zh) 容器化分布式计算框架的调度方案获取方法及调度方法
Bu et al. Task scheduling in the internet of things: challenges, solutions, and future trends
CN110096339A (zh) 一种基于系统负载实现的扩缩容配置推荐系统及方法
CN110389817A (zh) 多云系统的调度方法、装置和计算机程序产品
CN102333088B (zh) 服务器资源管理系统
Antamoshkina et al. Multi-agent automation system for monitoring, forecasting and managing emergency situations
Zhang et al. A scalable lnternet-of-Vehicles service over joint clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200330

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant