CN112328378B - 任务调度方法、计算机设备及存储介质 - Google Patents

任务调度方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN112328378B
CN112328378B CN202011223198.1A CN202011223198A CN112328378B CN 112328378 B CN112328378 B CN 112328378B CN 202011223198 A CN202011223198 A CN 202011223198A CN 112328378 B CN112328378 B CN 112328378B
Authority
CN
China
Prior art keywords
resource
task
resource allocation
available
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011223198.1A
Other languages
English (en)
Other versions
CN112328378A (zh
Inventor
唐剑飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinghuan Intelligent Technology Co ltd
Original Assignee
Nanjing Xinghuan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinghuan Intelligent Technology Co ltd filed Critical Nanjing Xinghuan Intelligent Technology Co ltd
Priority to CN202011223198.1A priority Critical patent/CN112328378B/zh
Publication of CN112328378A publication Critical patent/CN112328378A/zh
Application granted granted Critical
Publication of CN112328378B publication Critical patent/CN112328378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种任务调度方法、计算机设备及存储介质。该方法包括：获取待调度任务，并确定所述待调度任务的目标资源需求；遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。上述任务调度方案适用于大规模异构并行集群，能够对集群资源进行更加精细的调度管理，提高了集群的整体运行效率。

Description

任务调度方法、计算机设备及存储介质
技术领域
本发明实施例涉及任务调度技术领域，尤其涉及一种任务调度方法、计算机设备及存储介质。
背景技术
随着大数据技术的普及，现代集群的规模越来越大，集群中运行任务的种类越来越多，运行的周期越来越长。在集群的整个生命周期中，集群中机器硬件可能存在差异，并非是单一同构的，而且在同一集群上运行混合负载也成为一种趋势。
一般来讲，任务调度指的是为任务进行资源分配。在传统的应用场景中，集群机器和运行任务都是单一同构的，调度粒度较粗，通常是基于内存或CPU(Central ProcessingUnit，中央处理器)将主机资源切分为一个或多个分组，组与组之间并没有能力上的差别，然后以组为单位进行资源调度。出于性能考虑，传统的任务调度方法也会在调度过程进行一些简单的约束，例如，Yarn会优先将任务调度到存放相应数据的机器上，Spark执行任务时会尽量将后序子任务调度到前序子任务输出数据所在的机器上。但总体来讲，传统调度方法所使用的约束条件比较简单，仅能考虑诸如靠近存储节点、节点有无GPU(GraphicsProcessing Unit，图形处理器)之类的简单约束。
如今大规模异构并行集群需要考虑的资源不再局限于CPU、磁盘、内存等，不同集群机器之间资源也有较大差异，目前仅使用通用简单约束的任务调度方法已不再适用于当下复杂的应用场景。因此，如何实现适用于大规模异构并行集群的任务调度是亟待解决的问题。
发明内容
本发明实施例提供一种任务调度方法、计算机设备及存储介质，以适用于大规模异构并行集群，提高对集群资源调度管理的精细程度。
第一方面，本发明实施例提供了一种任务调度方法，包括：
获取待调度任务，并确定所述待调度任务的目标资源需求；
遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；
在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
第二方面，本发明实施例还提供了一种任务调度装置，包括：
待调度任务获取并分析模块，设置为获取待调度任务，并确定所述待调度任务的目标资源需求；
资源分配候选子图生成模块，设置为遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；
待调度任务资源分配模块，设置为在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当计算机程序执行时使得处理器执行以下操作：
获取待调度任务，并确定所述待调度任务的目标资源需求；
遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；
在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序用于执行：
获取待调度任务，并确定所述待调度任务的目标资源需求；
遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；
在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
在本发明实施例中，获取待调度任务之后，首先分析该待调度任务的目标资源需求，然后遍历当前时刻的可用资源属性图，生成满足目标资源需求的多个资源分配候选子图，并在多个资源分配候选子图中确定一个资源分配目标子图，进而按照资源分配目标子图对待调度任务进行部署，其中，可用资源属性图以及资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息。上述任务调度方案，适用于大规模异构并行集群，能够对集群资源进行更加精细的调度管理，将资源数量以及不同资源之间的关联限制都纳入调度管理，降低了任务间出现资源冲突的可能性，提高了集群的整体运行效率。
附图说明
图1是本发明实施例一提供的一种任务调度方法的流程图；
图2是本发明实施例一提供的一种可用资源属性图的示例；
图3是本发明实施例二提供的一种任务调度方法的流程图；
图4是本发明实施例二提供的一种可用资源属性图的示例；
图5是本发明实施例二提供的一种资源分配候选子图的示例；
图6是本发明实施例二提供的一种资源分配候选子图的示例；
图7是本发明实施例二提供的一种资源分配候选子图的示例；
图8是本发明实施例二提供的一种资源分配候选子图的示例；
图9是本发明实施例三提供的一种任务调度方法的流程图；
图10是本发明实施例四提供的一种任务调度装置的结构示意图；
图11为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本文使用的术语“待调度任务”指的是需要进行资源调度的任务。
本文使用的术语“目标资源需求”指的是集群执行待调度任务所需要的资源。
本文使用的术语“可用资源属性图”是用于表示集群中空闲可用资源之间关联关系的一种抽象数据结构，顶点(Vertex)表示可用空闲资源，边(Edge)表示可用空闲可用资源之间的关系。
本文使用的术语“资源分配候选子图”是根据可用资源属性图生成的，用于表示为待调度任务分配的空闲可用资源之间关联关系的一种可选的抽象数据结构，顶点表示分配的可用空闲资源，边表示分配的可用空闲可用资源之间的关系。
本文使用的术语“资源分配目标子图”是在多个资源分配候选子图中选取的一个资源分配候选子图，是对待调度任务进行部署的资源分配依据。
为了便于理解，将本发明实施例的主要发明构思进行简述。
在集群的整个生命周期中，由于集群可能由分布在不同地理位置的小型集群组成，同时可能经历多个批次的机器更新，使集群中的硬件会存在一定的差异；在同一集群上运行混合负载也已经成为一种趋势，混合负载可以带来提高资源利用率、共享数据、降低运维成本等好处。同时，多样的数据处理任务，最适合运行的硬件不尽相同，集群中主机也需要针对不同的任务进行差异化配置，以提高性价比。
如今大规模异构并行集群需要考虑的资源不再局限于CPU、磁盘、内存，还需要针对不同任务的特点，综合考虑GPU、FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)、总线带宽、网络等其他资源，而不同集群机器之间资源有较大差异，使用简单约束的任务调度方法不再适用于当下复杂的应用场景。目前使用简单约束的任务调度方法考虑到的约束条件较少，仅能考虑诸如靠近存储节点、节点有无GPU之类的简单约束，而异构计算任务越来越复杂，可能不是在单台机器上执行，需要多台机器、多种资源的协同配合，且不同的资源之间是有可能相互影响的，约束更加复杂，在存在显式约束条件的同时还存在一些隐式约束条件，传统任务调度方法在处理这些约束时常常顾此失彼，不能做出最优判断，进而会降低集群整体的运行效率。
基于上述思考，发明人针对传统任务调度方法不能胜任如今大规模异构并行集群的任务调度的现状，创造性地提出了一种任务调度方法，也可以称之为一种基于图计算的大规模异构并行集群的任务调度方法，具体包括：获取待调度任务，并确定所述待调度任务的目标资源需求；遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
实施例一
图1是本发明实施例一提供的一种任务调度方法的流程图，本实施例可适用于大规模异构并行集群中进行任务调度的情况，例如可以应用于大数据、人工智能、云计算等场景中的大规模异构并行集群任务调度中，该方法可以由任务调度装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在集群计算机设备中。
如图1所示，本实施例提供的任务调度方法，包括如下操作：
步骤110、获取待调度任务，并确定待调度任务的目标资源需求。
待调度任务，指的是需要进行资源调度的任务。待调度任务放入待执行任务队列中，系统在待执行任务队列中取出待调度任务并执行，可选的，根据任务优先级在待执行任务队列中取出待调度任务。
目标资源需求，指的是集群执行待调度任务所需要的资源，至少包括资源类型及资源数量需求等，其中，资源数量例如可以是CPU的核数、磁盘大小、GPU数量等。
待调度任务的目标资源需求可以是依据经验预先设置的静态数据，在后续的执行过程中也可以根据实际执行情况对待调度任务的目标资源需求进行修正。例如，待调度任务的目标资源需求为：CPU核6颗，GPU2块，存128G，同时需要读取文件(File)01与File02。
步骤120、遍历当前时刻的可用资源属性图，生成满足目标资源需求的至少两个资源分配候选子图；其中，可用资源属性图以及资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息。
可用资源属性图，是用于表示集群中空闲可用资源之间关联关系的一种抽象数据结构，顶点(Vertex)表示可用空闲资源，边(Edge)表示可用空闲可用资源之间的关系。其中，可用资源属性图中顶点的属性表示资源数量信息，边的属性表示资源关联信息，具体可以表示资源关联限制信息，比如调用资源需要依赖的其他资源。
举个例子，可以将集群中的主机、CPU、磁盘(Disk)、内存、GPU、FPGA等资源作为图中的顶点，这些资源的具体可用数量作为这些顶点的属性，如CPU的核数，磁盘的大小，GPU数量、算力等。在主机和主机所属的资源之间用边进行连接，这些边的属性表明了调用这些主机的资源需要依赖的其他资源，如主机与Disk之间的边拥有I/O速率的属性，表示主机总的I/O速率，主机与GPU之间的边拥有PCIE(Peripheral Component InterconnectExpress，高速串行计算机扩展总线标准)带宽属性，表示PCIE带宽，其他资源类似；同理，主机与主机之间也用边进行连接，这类边的属性表示主机之间的网络带宽；如果其他资源之间也有类似的关联关系，也需要用边进行关联，并标注上可用资源限制，如图2所示的空闲资源。
在本实施例中，采用可用资源属性图对集群中的每一种具体的资源进行管理，不仅对资源类型、数量进行管理，还将资源之间的关联关系纳入调度管理的范畴，提高了资源调度的细粒度。
资源分配候选子图，是根据可用资源属性图生成的，用于表示为待调度任务分配的空闲可用资源之间关联关系的一种可选的抽象数据结构，顶点表示分配的可用空闲资源，边表示分配的可用空闲可用资源之间的关系。其中，资源分配候选子图中顶点的属性表示分配的资源数量信息，边的属性表示资源关联信息，具体可以表示资源关联需求信息，如调用资源需要占用的其他资源。
在本实施例中，资源分配候选子图中的空闲可用资源需满足待调度任务的目标资源需求，例如满足执行待调度任务所需的资源类型及资源数量需求等，资源关联需求还应小于等于相应的资源关联限制，如主机之间的网络带宽需求应该小于等于相应的空闲网络带宽。
在一个可选实施例中，在获取待调度任务之前，还包括：创建与集群对应的可用资源属性图。
任务调度装置对集群中的资源进行的分析，确定集群中的可用资源，并根据可用资源的属性信息创建与集群对应的可用资源属性图。可选的，在集群启动时，集群中的所有机器主动上报各自的属性信息，以使任务调度装置可以对集群中的资源进行的分析，确定集群中的可用资源并创建与集群对应的可用资源属性图。可选的，在集群启动时，任务调用装置向集群中的所有机器发送资源询问请求，并接收各台机器反馈的资源属性信息，进而可以对集群中的资源进行的分析，确定集群中的可用资源并创建与集群对应的可用资源属性图。
在一个可选实施例中，可以将遍历当前时刻的可用资源属性图，生成满足目标资源需求的至少两个资源分配候选子图，具体为：遍历当前时刻的可用资源属性图，生成满足目标资源需求的预设数量个资源分配候选子图。
遍历可用资源属性图，通常可以生成多个满足目标资源需求的资源分配候选子图，为了降低系统计算时间，提高系统运行效率，可以生成预设数量个资源分配候选子图作为备选，无需生成满足目标资源需求的所有资源分配候选子图。例如，将预设数量设置为四个，进而遍历当前时刻的可用资源属性图，生成满足目标资源需求的四个资源分配候选子图。其中，当满足目标资源需求的资源分配候选子图的数量小于预设数量时，可以生成满足目标资源需求的所有资源分配候选子图。当满足目标资源需求的资源分配候选子图的数量大于预设数量时，可以按照预设图计算策略生成预设数量个资源分配候选子图。
步骤130、在至少两个资源分配候选子图中确定一个资源分配目标子图，并按照资源分配目标子图对待调度任务进行部署。
在作为备选的多个资源分配候选子图中选取一个作为资源分配目标子图，例如选取资源分配最合理的一个资源分配候选子图作为资源分配目标子图，并按照该资源分配目标资源对待调度任务进行部署。
进一步的，在按照资源分配目标子图对待调度任务进行部署之后，还包括：根据待调度任务的资源消耗情况，对当前时刻的可用资源属性图进行更新。
在对待调度任务进行部署之后，待调度任务开始执行，当前时刻集群内的可用资源发生了变化，消耗的资源可以根据资源分配目标子图确定，进而可以根据资源分配目标子图对可用资源属性图进行更新，确保当前时刻的可用资源属性图的准确性，以为新的待调度任务做好准备。
在一个可选实施例中，在所述至少两个资源分配候选子图中确定一个资源分配目标子图，可以具体为：根据预设评估模型，分别对每个资源分配候选子图进行评估；将评估结果最优的一个资源分配候选子图作为资源分配目标子图。
进一步的，在一个可选实施例中，根据预设评估模型，分别对每个所述资源分配候选子图进行评估，可以具体为：根据预设评估模型，分别对与每个所述资源分配候选子图对应的资源占用情况和/或资源分布集中程度进行评估。
在一个可选实施例中，在遍历当前时刻的可用资源属性图，生成满足目标资源需求的至少两个资源分配候选子图之前，还包括：如果确定当前可用资源无法满足目标资源需求，则按照预设资源抢占策略释放被执行中任务占用的资源，更新当前时刻的可用资源属性图。
进一步的，在一个可选实施例中，按照预设资源抢占策略释放被执行中任务占用的资源，可以具体为：如果存在优先级低于所述待调度任务的执行中任务，则将所述执行中任务挂起，并释放被所述执行中任务占用的资源。
在本发明实施例中，获取待调度任务之后，首先分析该待调度任务的目标资源需求，然后遍历当前时刻的可用资源属性图，生成满足目标资源需求的多个资源分配候选子图，并在多个资源分配候选子图中确定一个资源分配目标子图，进而按照资源分配目标子图对待调度任务进行部署，其中，可用资源属性图以及资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息。上述任务调度方案，适用于大规模异构并行集群，能够对集群资源进行更加精细的调度管理，将资源数量以及不同资源之间的关联限制都纳入调度管理，降低了任务间出现资源冲突的可能性，提高了集群的整体运行效率。
实施例二
图3是本发明实施例二提供的一种任务调度方法的流程图，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，根据预设评估模型，分别对每个资源分配候选子图进行评估；将评估结果最优的一个资源分配候选子图作为资源分配目标子图。
如图3所示，本实施例提供的任务调度方法，包括如下操作：
步骤210、获取待调度任务，并确定待调度任务的目标资源需求。
步骤220、遍历当前时刻的可用资源属性图，生成满足目标资源需求的预设数量个资源分配候选子图；其中，可用资源属性图以及资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息。
步骤230、根据预设评估模型，分别对每个资源分配候选子图进行评估，并将评估结果最优的一个资源分配候选子图作为资源分配目标子图。
预设评估模型，指的是预设的用于评估资源分配合理性的模型。可选的，使用预设评估模型分别对每个资源分配候选子图进行评分，将评分最低(评分越低表示评估结果越优)或评分最高(评分越高表示评估结果越优)的一个资源分配候选子图作为资源分配目标子图。
可选的，根据预设评估模型，分别对与每个资源分配候选子图对应的资源占用情况和/或资源分布集中程度进行评估。
示例性的，可以使用公式
Figure GDA0003970264860000121
或/>
Figure GDA0003970264860000122
分别对与每个资源分配候选子图对应的资源占用情况进行评估，评估得分越低表示评估结果越优。其中，Req_resourcei表示第i项资源的请求量，Free_resourcei表示第i项资源的空闲量，λi表示第i项资源的权重。
示例性的，还可以使用一些公式或模型计算请求资源的分布集中程度，请求资源分布越集中，评估得分越高，评估结果越优。
除此之外，也可以根据集群的实际情况预设评估模型的评估方向、评估标准等，本实施例对此不作具体限定。
举个例子，假设当前时刻的可用资源属性图如图4所示，待调度任务的目标资源需求为：CPU核6颗，GPU2块，存128G，同时需要读取File01与File02，其中，File01和File02各有两个副本(参见图4)。
遍历当前时刻的可用资源属性图，生成满足目标资源需求的预设数量个(假设为四个)资源分配候选子图，参见图5-图8所示。如图5所示的资源分配候选子图，主机(Host)01分配6核CPU，128G内存，读取File01、File02，Host02分配2颗GPU；如图6所示的资源分配候选子图，Host02分配6核CPU，128G内存，读取File02，分配2颗GPU，Host01读取File01；如图7所示的资源分配候选子图，Host02分配6核CPU，128G内存，读取File02，分配2颗GPU，Host03读取File01；如图8所示的资源分配候选子图，Host03分配6核CPU，128G内存，读取File01，分配1颗GPU，Host02读取File02,分配1颗GPU。
在待调度任务本身的资源需求之外，由于带宽等限制，待调度任务也产生了其他一些消耗。针对如图5所示的资源分配候选子图，需要消耗Host01与Host02之间的网络带宽500M/s，Host01的I/O带宽1G/s，Host02的PCIE带宽16G/s；针对如图6所示的资源分配候选子图，需要消耗Host01与Host02之间的网络带宽250M/s，Host01的I/O带宽500M/s，Host02的I/O带宽500M/s、PCIE带宽16G/s；针对如图7所示的资源分配候选子图，需要消耗Host01与Host03之间的网络带宽250M/s，Host02的I/O带宽500M/s、PCIE带宽16G/s，需要Host03的I/O带宽500M/s；针对如图8所示的资源分配候选子图，需要Host02的I/O带宽500M/s，需要PCIE带宽8G/s，需要Host03的I/O带宽500M/s、PCIE带宽8G/s。这些资源关联需求也必须满足，否则资源分配候选子图无效。
例如，使用公式
Figure GDA0003970264860000131
分别如图4-图8所示的每个资源分配候选子图进行评估，评估得分越低表示评估结果越优。
针对如图5所示的资源分配候选子图，其评分S1＝6/32+128/256+1/6+0.5/1+16/32+2/4＝2.35；针对如图6所示的资源分配候选子图，其评分S2＝6/32+128/256+0.5/6+16/32+2/4+0.5/6+0.25/1＝2.10；针对如图7所示的资源分配候选子图，其评分S3＝6/32+128/256+0.5/6+16/32+2/4+0.25/0.3+0.5/6＝2.69；针对如图8所示的资源分配候选子图，其评分S4＝6/32+128/256+0.5/6+8/32+1/1+0.3/0.3+0.5/6+8/32+1/4＝3.60。
由此可知，如图6所示的资源分配候选子图的评分S2最低，也即评估结果最优，进而将如图6所示的资源分配候选子图作为资源分配目标子图。
步骤240、按照资源分配目标子图对待调度任务进行部署，并根据待调度任务的资源消耗情况，对当前时刻的可用资源属性图进行更新。
本实施例提供的技术方案，将集群中的可用资源表示为可用资源属性图，以更细的粒度、更多的维度表示集群中资源存量的同时也表示了各资源之间的关联关系。在进行任务调度时，将任务调度转化为求可用资源属性图的最优子图的过程，将资源调度的一些隐含约束也纳入了计算，进而在满足约束条件的情况下找到任务最合适的调度方法，任务间资源出现冲突的可能性更小，也提高了集群整体的运行效率。
实施例三
图9是本发明实施例三提供的一种任务调度方法的流程图，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，在遍历当前时刻的可用资源属性图，生成满足目标资源需求的至少两个资源分配候选子图之前，还包括：如果确定当前可用资源无法满足目标资源需求，则按照预设资源抢占策略释放被执行中任务占用的资源，更新当前时刻的可用资源属性图。
如图9所示，本实施例提供的任务调度方法，包括如下操作：
步骤310、获取待调度任务，并确定待调度任务的目标资源需求。
步骤320、判断当前可用资源是否能够满足目标资源需求，若否，则执行步骤330，若是，则执行步骤340。
可选的，当前可用资源是否能够满足目标资源需求可以通过“遍历当前时刻的可用资源属性图，是否能够给生成满足目标资源需求的资源分配候选子图”来判断，如果遍历当前时刻的可用资源属性图，能够给生成满足目标资源需求的资源分配候选子图，则确定当前可用资源能够满足目标资源需求，否则确定当前可用资源无法满足目标资源需求。
步骤330、按照预设资源抢占策略释放被执行中任务占用的资源，更新当前时刻的可用资源属性图，执行步骤340。
如果当前可用资源无法满足目标资源需求，则按照预设资源抢占策略释放被执行中任务占用的资源，并更新当前时刻的可用资源属性图。
在一个可选实施例中，按照预设资源抢占策略释放被执行中任务占用的资源，可以具体为：如果存在优先级低于待调度任务的执行中任务，则将所述执行中任务挂起，并释放被所述执行中任务占用的资源。
在一示例中，如果存在运行时间过长的执行中任务，则可以将该执行中任务的优先级调低，进而在当前可用资源无法满足待调度任务的目标资源需求时，如果待调度任务的优先级比该执行中任务的优先级高时，可以将该执行中任务挂起，释放被该执行中任务占用的资源，以使待调度任务可以被执行。当该待调度任务执行完毕后，被挂起的任务恢复执行。
步骤340、遍历当前时刻的可用资源属性图，生成满足目标资源需求的至少两个资源分配候选子图；其中，可用资源属性图以及资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息。
步骤350、根据预设评估模型，分别对每个资源分配候选子图进行评估，并将评估结果最优的一个资源分配候选子图作为资源分配目标子图。
步骤360、按照资源分配目标子图对待调度任务进行部署，并根据待调度任务的资源消耗情况，对当前时刻的可用资源属性图进行更新。
在一个可选实施例中，在当前可用资源无法满足待调度任务的目标资源需求时，可以扫描正在运行的优先级较低且可被抢占的执行中任务的资源分配目标子图，并结合当前时刻的可用资源属性图，计算满足目标资源需求的多个资源分配候选子图，在多个资源分配候选子图确定出待调度任务的资源分配目标子图。此时，将与扫描的资源分配目标子图对应的执行中任务(优先级较低且可被抢占)挂起，释放被该执行中任务占用的资源，进而根据待调度任务的资源分配目标子图对待调度任务进行部署，执行该待调度任务。当该待调度任务执行完毕后，被挂起的任务恢复执行。
上述技术方案，在当前可用资源无法满足待调度任务的目标资源需求的情况下，支持资源抢占，例如根据任务优先级进行资源抢占。本实施例中的任务调度方法与传统的任务调度方法有很好的兼容性，如支持任务的静态、动态优先级调度等。
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
实施例四
图10是本发明实施例四提供的一种任务调度装置的结构示意图。如图10所示，所述装置包括：执行任务获取并分析模块410、资源分配候选子图生成模块420以及待调度任务资源分配模块430，其中：
待调度任务获取并分析模块410，设置为获取待调度任务，并确定所述待调度任务的目标资源需求；
资源分配候选子图生成模块420，设置为遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；
待调度任务资源分配模块430，设置为在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
在本发明实施例中，获取待调度任务之后，首先分析该待调度任务的目标资源需求，然后遍历当前时刻的可用资源属性图，生成满足目标资源需求的多个资源分配候选子图，并在多个资源分配候选子图中确定一个资源分配目标子图，进而按照资源分配目标子图对待调度任务进行部署，其中，可用资源属性图以及资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息。上述任务调度方案，适用于大规模异构并行集群，能够对集群资源进行更加精细的调度管理，将资源数量以及不同资源之间的关联限制都纳入调度管理，降低了任务间出现资源冲突的可能性，提高了集群的整体运行效率。
可选的，待调度任务资源分配模块430，包括：资源分配候选子图评估单元和资源分配目标子图确定单元，其中，
所述资源分配候选子图评估单元，设置为根据预设评估模型，分别对每个所述资源分配候选子图进行评估；
所述资源分配目标子图确定单元，设置为将评估结果最优的一个所述资源分配候选子图作为所述资源分配目标子图。
可选的，所述资源分配候选子图评估单元，具体设置为根据预设评估模型，分别对与每个所述资源分配候选子图对应的资源占用情况和/或资源分布集中程度进行评估。
可选的，资源分配候选子图生成模块420，具体设置为遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的预设数量个资源分配候选子图。
可选的，上述装置还包括：可用资源抢占模块，设置为在遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图之前，如果确定当前可用资源无法满足所述目标资源需求，则按照预设资源抢占策略释放被执行中任务占用的资源，更新当前时刻的可用资源属性图。
可选的，可用资源抢占模块，具体设置为如果存在优先级低于所述待调度任务的执行中任务，则将所述执行中任务挂起，并释放被所述执行中任务占用的资源。
可选的，上述装置还包括：可用资源属性图创建模块和可用资源属性图更新模块，其中，
所述可用资源属性图创建模块，设置为在获取待调度任务之前，创建与集群对应的可用资源属性图；
所述可用资源属性图更新模块，设置为在按照所述资源分配目标子图对所述待调度任务进行部署之后，根据所述待调度任务的资源消耗情况，对当前时刻的所述可用资源属性图进行更新。
上述任务调度装置可执行本发明任意实施例所提供的任务调度方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的任务调度方法。
由于上述所介绍的任务调度装置为可以执行本发明实施例中的任务调度方法的装置，故而基于本发明实施例中所介绍的任务调度方法，本领域所属技术人员能够了解本实施例的任务调度装置的具体实施方式以及其各种变化形式，所以在此对于该任务调度装置如何实现本发明实施例中的任务调度方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中任务调度方法所采用的装置，都属于本申请所欲保护的范围。
实施例五
图11为本发明实施例五提供的一种计算机设备的结构示意图。如图11所示，该计算机设备包括：
一个或多个处理器510，图11中以一个处理器510为例；
存储器520；
所述计算机设备还可以包括：输入装置530和输出装置540。
所述计算机设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图11中以通过总线连接为例。
存储器520作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种任务调度方法对应的程序指令/模块(例如，附图10所示的执行任务获取并分析模块410、资源分配候选子图生成模块420以及待调度任务资源分配模块430)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种任务调度方法。
存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器520可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
也即，处理器510执行所述程序时实现：获取待调度任务，并确定所述待调度任务的目标资源需求；遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
在上述各实施例的基础上，处理器510设置为通过以下方式实现在所述至少两个资源分配候选子图中确定一个资源分配目标子图的操作：根据预设评估模型，分别对每个所述资源分配候选子图进行评估；将评估结果最优的一个所述资源分配候选子图作为所述资源分配目标子图。
在上述各实施例的基础上，处理器510设置为通过以下方式实现根据预设评估模型，分别对每个所述资源分配候选子图进行评估的操作：根据预设评估模型，分别对与每个所述资源分配候选子图对应的资源占用情况和/或资源分布集中程度进行评估。
在上述各实施例的基础上，处理器510设置为通过以下方式实现遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图的操作：遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的预设数量个资源分配候选子图。
在上述各实施例的基础上，处理器510设置为通过以下方式实现在遍历当前时刻的可用资源属性图生成满足所述目标资源需求的至少两个资源分配候选子图之前的操作：如果确定当前可用资源无法满足所述目标资源需求，则按照预设资源抢占策略释放被执行中任务占用的资源，更新当前时刻的可用资源属性图。
在上述各实施例的基础上，处理器510设置为通过以下方式实现按照预设资源抢占策略释放被执行中任务占用的资源的操作：如果存在优先级低于所述待调度任务的执行中任务，则将所述执行中任务挂起，并释放被所述执行中任务占用的资源。
在上述各实施例的基础上，处理器510设置为通过以下方式实现在获取待调度任务之前的操作：创建与集群对应的可用资源属性图；处理器510设置为通过以下方式实现在按照所述资源分配目标子图对所述待调度任务进行部署之后的操作：根据所述待调度任务的资源消耗情况，对当前时刻的所述可用资源属性图进行更新。
实施例六
本发明实施例六还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的任务调度方法：获取待调度任务，并确定所述待调度任务的目标资源需求；遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable Read OnlyMemory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种任务调度方法，其特征在于，包括：
获取待调度任务，并确定所述待调度任务的目标资源需求；
遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图，是用于表示集群中空闲可用资源之间关联关系的一种抽象数据结构，所述可用资源属性图的顶点表示可用空闲资源，所述可用资源属性图的边表示可用空闲资源之间的关系；
在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署；
所述至少两个资源分配候选子图中确定一个资源分配目标子图，包括：
根据预设评估模型，分别对每个所述资源分配候选子图进行评估；其中，预设评估模型，指的是预设的用于评估资源分配合理性的模型；
将评估结果最优的一个所述资源分配候选子图作为所述资源分配目标子图；
根据预设评估模型，分别对每个所述资源分配候选子图进行评估，包括：
根据预设评估模型，分别对与每个所述资源分配候选子图对应的资源占用情况和/或资源分布集中程度进行评估；
在遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图之前，还包括：
如果确定当前可用资源无法满足所述目标资源需求，则按照预设资源抢占策略释放被执行中任务占用的资源，更新当前时刻的可用资源属性图。
2.根据权利要求1所述的方法，其特征在于，遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图，包括：
遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的预设数量个资源分配候选子图。
3.根据权利要求1所述的方法，其特征在于，按照预设资源抢占策略释放被执行中任务占用的资源，包括：
如果存在优先级低于所述待调度任务的执行中任务，则将所述执行中任务挂起，并释放被所述执行中任务占用的资源。
4.根据权利要求1所述的方法，其特征在于，在获取待调度任务之前，还包括：创建与集群对应的可用资源属性图；
在按照所述资源分配目标子图对所述待调度任务进行部署之后，还包括：
根据所述待调度任务的资源消耗情况，对当前时刻的所述可用资源属性图进行更新。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述计算机程序执行时使得所述处理器执行以下操作：
获取待调度任务，并确定所述待调度任务的目标资源需求；
遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图，是用于表示集群中空闲可用资源之间关联关系的一种抽象数据结构，所述可用资源属性图的顶点表示可用空闲资源，可用资源属性图的边表示可用空闲资源之间的关系；
在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署；
所述处理器设置为通过以下方式实现在所述至少两个资源分配候选子图中确定一个资源分配目标子图的操作：
根据预设评估模型，分别对每个所述资源分配候选子图进行评估；
将评估结果最优的一个所述资源分配候选子图作为所述资源分配目标子图；
所述处理器设置为通过以下方式实现根据预设评估模型，分别对每个所述资源分配候选子图进行评估的操作：
根据预设评估模型，分别对与每个所述资源分配候选子图对应的资源占用情况和/或资源分布集中程度进行评估；
所述处理器设置为通过以下方式实现在遍历当前时刻的可用资源属性图生成满足所述目标资源需求的至少两个资源分配候选子图之前的操作：
如果确定当前可用资源无法满足所述目标资源需求，则按照预设资源抢占策略释放被执行中任务占用的资源，更新当前时刻的可用资源属性图。
6.根据权利要求5所述的计算机设备，其特征在于，所述处理器设置为通过以下方式实现遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图的操作：
遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的预设数量个资源分配候选子图。
7.根据权利要求5所述的计算机设备，其特征在于，所述处理器设置为通过以下方式实现按照预设资源抢占策略释放被执行中任务占用的资源的操作：
如果存在优先级低于所述待调度任务的执行中任务，则将所述执行中任务挂起，并释放被所述执行中任务占用的资源。
8.根据权利要求7所述的计算机设备，其特征在于，所述处理器设置为通过以下方式实现在获取待调度任务之前的操作：
创建与集群对应的可用资源属性图；
所述处理器设置为通过以下方式实现在按照所述资源分配目标子图对所述待调度任务进行部署之后的操作：
根据所述待调度任务的资源消耗情况，对当前时刻的所述可用资源属性图进行更新。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的任务调度方法。
CN202011223198.1A 2020-11-05 2020-11-05 任务调度方法、计算机设备及存储介质 Active CN112328378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011223198.1A CN112328378B (zh) 2020-11-05 2020-11-05 任务调度方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011223198.1A CN112328378B (zh) 2020-11-05 2020-11-05 任务调度方法、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112328378A CN112328378A (zh) 2021-02-05
CN112328378B true CN112328378B (zh) 2023-03-24

Family

ID=74317092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011223198.1A Active CN112328378B (zh) 2020-11-05 2020-11-05 任务调度方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112328378B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915630B (zh) * 2021-02-10 2023-10-31 中国移动通信有限公司研究院 基于物联网设备的任务分配方法、网络训练方法及装置
CN114915629B (zh) * 2021-02-10 2023-08-15 中国移动通信有限公司研究院 信息处理方法、装置、系统、电子设备及存储介质
CN113052514B (zh) * 2021-05-21 2021-10-29 深圳市海柔创新科技有限公司 资源分配的方法、装置、设备、存储介质及程序产品
CN113296913A (zh) * 2021-05-25 2021-08-24 未鲲(上海)科技服务有限公司 基于单集群的数据处理方法、装置、设备及存储介质
CN113254178B (zh) 2021-06-01 2021-10-29 苏州浪潮智能科技有限公司 一种任务调度方法、装置、电子设备及可读存储介质
CN113722067A (zh) * 2021-08-24 2021-11-30 咪咕音乐有限公司 信息任务调度方法、装置、设备及存储介质
CN114201278B (zh) * 2021-12-07 2023-12-15 北京百度网讯科技有限公司 任务处理方法、任务处理装置、电子设备以及存储介质
CN114492737B (zh) * 2021-12-31 2022-12-09 北京百度网讯科技有限公司 数据处理方法、装置及电子设备、存储介质及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149722A (zh) * 2018-02-12 2019-08-20 普天信息技术有限公司 一种业务调度方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6332023B1 (en) * 1998-06-04 2001-12-18 Mci Communications Corporation Method of and system for providing services in a communications network
CN108924192B (zh) * 2018-06-15 2021-02-26 中国人民解放军国防科技大学 数据中心网络下基于伪树结构的最优任务调度方法及系统
CN111506423B (zh) * 2020-04-09 2023-06-30 网易（杭州）网络有限公司 一种资源的调度方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149722A (zh) * 2018-02-12 2019-08-20 普天信息技术有限公司 一种业务调度方法和装置

Also Published As

Publication number Publication date
CN112328378A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112328378B (zh) 任务调度方法、计算机设备及存储介质
Yan et al. Blogel: A block-centric framework for distributed computation on real-world graphs
WO2022262167A1 (zh) 集群资源调度方法及装置、电子设备和存储介质
US8949847B2 (en) Apparatus and method for managing resources in cluster computing environment
CN104050042B (zh) Etl作业的资源分配方法及装置
US20150309842A1 (en) Core Resource Allocation Method and Apparatus, and Many-Core System
Shi et al. Energy-aware container consolidation based on PSO in cloud data centers
Hashem et al. MapReduce scheduling algorithms: a review
CN114610474B (zh) 一种异构超算环境下多策略的作业调度方法及系统
Song et al. Gaia scheduler: A kubernetes-based scheduler framework
WO2021143590A1 (zh) 一种分布式容器镜像构建调度系统及方法
De Souza et al. Boosting big data streaming applications in clouds with BurstFlow
US20190272201A1 (en) Distributed database system and resource management method for distributed database system
US20140129811A1 (en) Multi-core processor system and control method
CN111404818A (zh) 一种面向通用多核网络处理器的路由协议优化方法
US20210390405A1 (en) Microservice-based training systems in heterogeneous graphic processor unit (gpu) cluster and operating method thereof
CN106844024B (zh) 一种自学习运行时间预测模型的gpu/cpu调度方法及系统
Bu et al. Task scheduling in the internet of things: challenges, solutions, and future trends
CN112596904A (zh) 一种基于量子云平台量子服务资源调用优化的方法
CN109408230B (zh) 基于能耗优化的Docker容器部署方法及系统
Yang et al. Study on static task scheduling based on heterogeneous multi-core processor
CN113225269B (zh) 基于容器的工作流调度方法、装置、系统及存储介质
Du et al. A combined priority scheduling method for distributed machine learning
KR101558807B1 (ko) 호스트 프로세서와 협업 프로세서 간에 협업 처리를 위한 프로세서 스케줄링 방법 및 그 방법을 수행하는 호스트 프로세서
JPWO2014027444A1 (ja) スケジューリング装置、及び、スケジューリング方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant