CN109936471B - 一种多集群的资源分配方法和装置 - Google Patents

一种多集群的资源分配方法和装置 Download PDF

Info

Publication number
CN109936471B
CN109936471B CN201711362538.7A CN201711362538A CN109936471B CN 109936471 B CN109936471 B CN 109936471B CN 201711362538 A CN201711362538 A CN 201711362538A CN 109936471 B CN109936471 B CN 109936471B
Authority
CN
China
Prior art keywords
cluster
scheduled
computing
computing resource
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711362538.7A
Other languages
English (en)
Other versions
CN109936471A (zh
Inventor
符宇晖
张皓天
苏磊
靳江明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201711362538.7A priority Critical patent/CN109936471B/zh
Publication of CN109936471A publication Critical patent/CN109936471A/zh
Application granted granted Critical
Publication of CN109936471B publication Critical patent/CN109936471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种多集群的资源分配方法，用于解决现有技术中通过人工处理来实现多集群资源分配，并且处理繁重、处理效率低的问题。包括：资源分配装置分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。

Description

一种多集群的资源分配方法和装置
技术领域
本发明涉及计算机技术领域，特别涉及一种多集群的资源分配方法和装置。
背景技术
近年来，随着人工智能技术的兴起，对可靠高效的集群计算技术的需求愈发强烈，因而各大开源社区推出了自己的集群框架，如以Spark为例的集群计算引擎是为大规模数据处理而设计的集群技术，而以Kubernetes为例的容器集群编排则是虚拟化容器管理的集群技术。以上集群技术皆在人工智能企业有着广泛的应用，目前主流的趋势是使其合为同一集群，使用统一的调度器管理多个集群。但是由于现实原因，很多企业无法轻松地将自身原有的多集群迁移到统一管理的单集群。因此，在企业中的多集群协调往往是由人工控制的。
而人工控制的最大问题就是效率问题。首先，因为主要用于大数据计算的计算引擎集群所需的资源是由每次任务的计算量来决定的，因而每次运算任务所需的资源往往是不一样的，所以在计算任务较多企业中，手动调整集群间资源分配的频率是非常高的，这对于运维人员来说是一个沉重的负担。其次，由于不同的集群在资源使用上有着不同的特点，如集群计算引擎的任务往往是短期内完成的，而容器集群其他应用则是长期服务于用户，因而不同种类的集群对资源分配的策略的需求存在着很大的差异，由人工决策资源的分配往往难以满足现实需求。
可见，在现有的多集群资源分配方案主要依靠人工处理，并且处理繁重、处理效率低。
发明内容
有鉴于此，本发明提供了一种多集群的资源分配方法，用于解决现有技术中通过人工处理来实现多集群资源分配，并且处理繁重、处理效率低的问题。
根据本申请的一个方面，提供了一种多集群的资源分配方法，包括：
资源分配装置分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
在一个实施例中，分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，所述方法还包括：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
在一个实施例中，确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
在一个实施例中，为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请的另一个方面，提供了一种多集群的资源分配装置，包括：
获取模块，用于分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
确定模块，用于根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
分配模块，用于根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
在一个实施例中，获取模块分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，获取模块还用于：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，获取模块分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
在一个实施例中，确定模块确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
在一个实施例中，分配模块为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请的另一个方面，提供了一种多集群的资源分配装置，包括一个处理器和至少一个存储器，至少一个存储器用于存储至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
根据本申请提供的技术方案，通过一个资源分配装置获取各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，以及实现较高的处理效率。
在一个实施例中，处理器执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器执行至少一条机器可执行指令还实现：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器执行至少一条机器可执行指令实现确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源
在一个实施例中，处理器执行至少一条机器可执行指令实现为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请实施例提供的技术方案，通过一个资源分配装置根据各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，能够实现较高的处理效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请实施例提供的多集群的资源分配方法的处理流程图；
图2为本申请实施例提供的多集群的资源分配装置的结构框图；
图3为本申请实施例提供的多集群的资源分配装置的结构框图；
图4为本申请实施例提供的多集群的资源分配装置的结构框图；
图5为图4中监视器的工作流程图；
图6为图4中分析器的结构框图；
图7为图4中调度器的工作流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
针对现有技术中通过人工处理来实现多集群资源分配，并且处理繁重、处理效率低的问题，本申请提供了一种多集群的资源分配方法和装置，用以解决该问题。
根据本申请提供的方法，资源分配装置分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源，根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。使用该技术方案，通过一个资源分配装置根据各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，能够实现较高的处理效率。
下面对本申请的技术方案进行说明。
图1示出了本申请实施例提供的多集群的资源分配方法的处理流程，该方法包括：
步骤101、资源分配装置分别获取多个集群中各集群的计算资源使用数据和待调度任务数据。
在一个实施例中，资源分配装置按照预定时间间隔分别获取各集群的计算资源使用数据和待调度任务数据；由于各集群中待调度的任务是动态变化的，需要定时的获取更新的计算资源使用数据和待调度任务数据。
在一个实施例中，由于各集群之间并不是采用统一的系统实现方式，需要针对各集群进行相应的查询和调度，也即，资源分配装置分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求，并且接收各集群反馈的计算资源使用数据和待调度任务数据。从而，在具体实现的场景中，不需要对各集群进行侵入性的修改，就能获取个各集群的资源使用信息和待调度的任务信息。
在一个实施例中，上述获取到的各集群的计算资源使用数据和待调度任务数据具有不同的数据格式，为了对数据进行统一处理，资源分配装置还将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据，以便于资源分配装置进行后续的分析和处理。
步骤102、根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源。
由于资源分配装置在不断的根据预定的时间间隔获取各集群的计算资源使用数据，获取到的计算资源使用数据可以累积作为历史数据，作为后期的资源预测处理所依赖的历史计算资源使用数据。
在一个实施例中，资源分配装置根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；也即，预测处理基于历史计算资源使用数据来针对待调度任务分配相应的计算资源。在具体的应用场景中，实现预测的算法可以包括：灰色预测模型、微分方程模型、回归分析预测、马尔科夫预测，或者结合机器学习的方法来实现预测处理，本申请不对具体算法进行限制。
并且，根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。在具体的应用场景中，决策待分配计算资源的算法可以包括：基于队列的贪心算法，或者基于最小消耗最大流的算法。
步骤103、根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
如上所述，各集群之间并不是采用统一的系统实现方式，从而在一个实施例中，资源分配装置使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据上述技术方案，通过一个资源分配装置获取各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，以及实现较高的处理效率。
基于相同的发明构思，本申请实施例还提出了一种多集群的资源分配装置。
图2示出了本申请实施例提供的多集群的资源分配装置的结构，包括：
获取模块21，用于分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
在一个实施例中，获取模块21分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，获取模块21还用于：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，获取模块21分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
确定模块23，用于根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
在一个实施例中，确定模块23确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
分配模块25，用于根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
在一个实施例中，分配模块25为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请实施例提供的装置，通过获取各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，以及实现较高的处理效率。
基于相同的发明构思，本申请实施例还提供了一种多集群的资源分配装置。
图3示出了本申请实施例提供的多集群的资源分配装置的结构，包括：一个处理器31和至少一个存储器33，至少一个存储器33用于存储至少一条机器可执行指令，处理器31执行至少一条机器可执行指令以实现：
分别获取多个集群中各集群的计算资源使用数据和待调度任务数据；
根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
根据所确定的各集群的待分配计算资源为各集群分配对应的计算资源。
在一个实施例中，处理器31执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；接收各集群反馈的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器31执行至少一条机器可执行指令还实现：将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器31执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据，包括：按照预定的时间间隔分别获取各个集群的计算资源使用数据和待调度任务数据。
在一个实施例中，处理器31执行至少一条机器可执行指令实现确定各集群的待分配计算资源，包括：根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
在一个实施例中，处理器31执行至少一条机器可执行指令实现为各集群分配对应的计算资源，包括：使用与各集群对应的调度接口为各集群分配对应的计算资源。
根据本申请实施例提供的装置，通过获取各集群的资源使用情况，为各集群中待调度的任务分配相应的计算资源，能够实现自动化的多集群资源分配，以及实现较高的处理效率。
下面对本申请提供的技术方案在具体应用中的情况进行说明。
图4示出了本申请实施例提供的多集群的资源分配装置的结构，该装置包括：监视器41、分析器43和调度器45。多个集群中可以包括多个集群计算引擎和/或多个容器集群。
监视器41中包括多个监视插件411、412、…、41n(图中未示出)，这些监视插件分别与多个集群相对应，监视插件用于通过与一个集群对应的命令和/或数据格式，对集群的资源使用情况和待调度的任务进行查询和/或监控，例如，监视插件根据预定的时间间隔向一个集群发送与该集群对应的计算资源查询请求和/或计算资源监控请求，并获取集群反馈的计算资源使用数据和待调度任务数据。
监视器41将多个监视插件获取的多个集群的不同数据格式的计算资源使用数据和待调度任务数据转换为相同数据格式的计算资源使用数据和待调度任务数据。
图5中示出了监视器的工作流程，包括监视器启动和监视器运行两部分。
监视器启动部分包括：监视器读取配置文件，并载入分别与各集群对应的各监视插件。
监视器运行部分包括：
步骤501、监视器判断配置文件是否更新，在判断无更新的情况下，处理进行到步骤504，在判断有更新的情况下，处理进行到步骤502；
步骤502、监视器载入新的配置文件；
步骤503、载入新的集群监控插件；
步骤504、按照预定时间间隔依次调用监视插件，获取各个集群的计算资源使用数据和待调度任务数据，并转换数据格式；
步骤505、监视器判断被监控的信息是否已更新，在判断无更新的情况下，处理返回步骤501，在判断有更新的情况下处理进行到步骤506；
步骤506、监视器将获取到的计算资源使用数据和待调度任务数据推送给分析器，处理返回步骤501。
分析器43中包括预测器431和决策器433，如图6所示。
其中，预测器431根据针对一个集群的历史获取的计算资源使用数据和待调度任务数据，针对该集群的待调度任务预测对应的计算资源，决策器433用于根据当前获取到的一个集群的计算资源使用数据以及预测的计算资源，确定为该集群分配的计算资源，具体地，可以根据取到的计算资源使用数据，确定集群可以使用和分配的计算资源，并对比可使用和分配的计算资源以及预测的计算资源，最后确定为集群分配的计算资源。
预测器431可以采用灰色预测模型、微分方程模型、回归分析预测、马尔科夫预测，或者结合机器学习的方法进行预测处理。
决策器433可以采用基于队列的贪心算法或者基于最小消耗最大流的算法。
调度器45包括多个调度接口，例如调度插件451、452、…、45n(图中未示出)，每个调度接口与一个集群相对应，调度器45分别通过这些调度接口为相应的集群分配对应的计算资源。
调度器45的工作原理如图7所示，包括调度器启动部分和调度器运行部分。
调度器启动部分包括：调度器读取配置文件，并载入调度插件。
调度器运行部分如下流程：
步骤701、调度器接收到来自分析器的信息后，判断配置文件是否更新，在判断更新的情况下，处理进行到步骤702，在判断无更新的情况下，处理进行到步骤704；
步骤702、调度器读取新的配置文件；
步骤703、调度器载入新的调度插件；
步骤704、调度器依次调用调度插件，为各集群分配对应的计算资源；
步骤705、调度器判断调用是否调用分配失败，在判断失败的情况下，处理进行到步骤706，在判断成功的情况下，处理返回步骤701；
步骤706、调用回滚，处理返回步骤701。
通过上述处理，本申请提供的多集群的资源分配装置能够实时监控集群内部运行状态，判断集群是否存储空闲资源，或者需要更多的资源，并通过调度算法来动态调度资源，对集群本身无侵入式修改，并且能够提高资源的使用效率。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种多集群的资源分配方法，其特征在于，包括：
资源分配装置按照预定的时间间隔分别获取多个集群中各集群更新的计算资源使用数据和待调度任务数据，所述多个集群中包括多个集群计算引擎和多个容器集群；
所述资源分配装置根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
所述资源分配装置根据所确定的各集群的待分配计算资源，使用与各集群对应的调度接口为各集群分配对应的计算资源；
其中，所述资源分配装置包括监视器，所述监视器包括多个监视插件，所述多个监视插件分别与多个集群相对应，分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：
各监视插件分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；
各监视插件接收各集群反馈的计算资源使用数据和待调度任务数据；
所述监视器将各监视插件接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
2.根据权利要求1所述的方法，其特征在于，确定各集群的待分配计算资源，包括：
根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；
根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
3.一种多集群的资源分配装置，其特征在于，包括：
监视器，用于按照预定的时间间隔分别获取多个集群中各集群更新的计算资源使用数据和待调度任务数据，所述多个集群中包括多个集群计算引擎和多个容器集群；
分析器，用于根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
调度器，用于根据所确定的各集群的待分配计算资源，使用与各集群对应的调度接口为各集群分配对应的计算资源；
其中，所述监视器包括多个监视插件，所述多个监视插件分别与多个集群相对应，监视器分别获取多个集群中各集群更新的计算资源使用数据和待调度任务数据，包括：
各监视插件分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；
各监视插件接收各集群反馈的计算资源使用数据和待调度任务数据；
所述监视器将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
4.根据权利要求3所述的装置，其特征在于，分析器确定各集群的待分配计算资源，包括：
根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；
根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
5.一种多集群的资源分配装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器用于存储至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
按照预定的时间间隔分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，所述多个集群中包括多个集群计算引擎和/或多个容器集群；
根据各集群的计算资源使用数据和待调度任务数据，确定各集群的待分配计算资源；
根据所确定的各集群的待分配计算资源，使用与各集群对应的调度接口为各集群分配对应的计算资源；
其中，处理器执行至少一条机器可执行指令实现分别获取多个集群中各集群的计算资源使用数据和待调度任务数据，包括：
分别向各集群发送与集群对应的计算资源查询请求和/或计算资源监控请求；
接收各集群反馈的计算资源使用数据和待调度任务数据；
将接收到的各集群的不同格式的计算资源使用数据和待调度任务数据转换为相同格式的计算资源使用数据和待调度任务数据。
6.根据权利要求5所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现确定各集群的待分配计算资源，包括：
根据各集群的待调度任务数据和历史计算资源使用数据，预测各集群所需要的计算资源；
根据预测的各集群所需要的计算资源和获取的各集群的计算资源使用数据，确定各集群的待分配计算资源。
CN201711362538.7A 2017-12-18 2017-12-18 一种多集群的资源分配方法和装置 Active CN109936471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711362538.7A CN109936471B (zh) 2017-12-18 2017-12-18 一种多集群的资源分配方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711362538.7A CN109936471B (zh) 2017-12-18 2017-12-18 一种多集群的资源分配方法和装置

Publications (2)

Publication Number Publication Date
CN109936471A CN109936471A (zh) 2019-06-25
CN109936471B true CN109936471B (zh) 2022-05-24

Family

ID=66982283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711362538.7A Active CN109936471B (zh) 2017-12-18 2017-12-18 一种多集群的资源分配方法和装置

Country Status (1)

Country Link
CN (1) CN109936471B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553166A (zh) * 2020-04-26 2021-10-26 广州汽车集团股份有限公司 一种跨平台高性能计算集成方法及系统
CN111752706B (zh) * 2020-05-29 2024-05-17 北京沃东天骏信息技术有限公司 资源配置方法、装置及存储介质
CN113886050B (zh) * 2021-10-21 2024-06-04 中国联合网络通信集团有限公司 压力测试方法、装置、设备和存储介质
CN114185679B (zh) * 2021-12-15 2024-07-26 中国工商银行股份有限公司 容器资源调度方法、装置、计算机设备和存储介质
CN115373825B (zh) * 2022-10-25 2022-12-20 中国铁塔股份有限公司 一种资源调度方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780759A (zh) * 2012-06-13 2012-11-14 合肥工业大学 基于调度目标空间的云计算资源调度方法
US8706798B1 (en) * 2013-06-28 2014-04-22 Pepperdata, Inc. Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system
CN104065745A (zh) * 2014-07-07 2014-09-24 电子科技大学 云计算动态资源调度系统和方法
KR20160083989A (ko) * 2015-01-02 2016-07-13 한국전자통신연구원 다중 서비스 클러스터에 대한 자원 할당 방법 및 그 장치
CN106161485A (zh) * 2015-03-23 2016-11-23 腾讯科技（深圳）有限公司 一种基础服务集群的资源调度方法、装置和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140044085A1 (en) * 2011-05-02 2014-02-13 Pantech Co., Ltd Apparatus and method for transmitting resource allocation information
CN103856512A (zh) * 2012-11-30 2014-06-11 华为技术有限公司 云计算的管理服务器、工作和闲置主机以及资源调度方法
CN104461740B (zh) * 2014-12-12 2018-03-20 国家电网公司 一种跨域集群计算资源聚合和分配的方法
CN106161525B (zh) * 2015-04-03 2019-09-17 阿里巴巴集团控股有限公司 一种多集群管理方法与设备
US10031785B2 (en) * 2015-04-10 2018-07-24 International Business Machines Corporation Predictive computing resource allocation for distributed environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780759A (zh) * 2012-06-13 2012-11-14 合肥工业大学 基于调度目标空间的云计算资源调度方法
US8706798B1 (en) * 2013-06-28 2014-04-22 Pepperdata, Inc. Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system
CN104065745A (zh) * 2014-07-07 2014-09-24 电子科技大学 云计算动态资源调度系统和方法
KR20160083989A (ko) * 2015-01-02 2016-07-13 한국전자통신연구원 다중 서비스 클러스터에 대한 자원 할당 방법 및 그 장치
CN106161485A (zh) * 2015-03-23 2016-11-23 腾讯科技（深圳）有限公司 一种基础服务集群的资源调度方法、装置和系统

Also Published As

Publication number Publication date
CN109936471A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
CN109936471B (zh) 一种多集群的资源分配方法和装置
US10719343B2 (en) Optimizing virtual machines placement in cloud computing environments
JP6490913B2 (ja) グリッドコンピューティングシステムの遊休リソースによるタスク実行
US10977070B2 (en) Control system for microkernel architecture of industrial server and industrial server comprising the same
CN112134802A (zh) 一种基于终端触发式的边缘算力资源调度方法及系统
Jung et al. Synchronous parallel processing of big-data analytics services to optimize performance in federated clouds
CN109564528B (zh) 分布式计算中计算资源分配的系统和方法
EP4383074A1 (en) Service processing method and apparatus, server, storage medium, and computer program product
CN109672709B (zh) 一种混合云业务调度系统及方法
CN111026553B (zh) 离线混部作业的资源调度方法及服务器系统
CN112685153A (zh) 微服务调度方法、装置以及电子设备
CN105893158A (zh) 私有云条件下的大数据混合调度模型
CN111258746A (zh) 资源分配方法和服务设备
CN111767145A (zh) 容器调度系统、方法、装置和设备
CN116010064A (zh) Dag作业调度和集群管理的方法、系统及装置
CN115686830A (zh) 边缘计算资源弹性调度方法及系统
CN111355751A (zh) 任务调度方法及装置
CN113419842A (zh) 一种基于JavaScript构建边缘计算微服务的方法、装置
US10503548B2 (en) Resource and latency estimation-based scheduling in a distributed computing environment
EP4300305A1 (en) Methods and systems for energy-efficient scheduling of periodic tasks on a group of processing devices
US10877800B2 (en) Method, apparatus and computer-readable medium for application scheduling
CN116962532A (zh) 集群任务调度方法、装置、计算机设备及存储介质
CN114466014B (zh) 一种服务调度方法、装置、电子设备及存储介质
CN114035940A (zh) 资源分配方法以及装置
CN113010290A (zh) 一种任务管理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200330

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant