CN113448743A - 用于任务处理的方法、电子设备以及计算机程序产品 - Google Patents

用于任务处理的方法、电子设备以及计算机程序产品 Download PDF

Info

Publication number
CN113448743A
CN113448743A CN202010220468.7A CN202010220468A CN113448743A CN 113448743 A CN113448743 A CN 113448743A CN 202010220468 A CN202010220468 A CN 202010220468A CN 113448743 A CN113448743 A CN 113448743A
Authority
CN
China
Prior art keywords
task
scheduled
tasks
computing resources
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010220468.7A
Other languages
English (en)
Other versions
CN113448743B (zh
Inventor
李锦�
刘金鹏
王汇泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202010220468.7A priority Critical patent/CN113448743B/zh
Priority to US16/845,682 priority patent/US11507419B2/en
Publication of CN113448743A publication Critical patent/CN113448743A/zh
Application granted granted Critical
Publication of CN113448743B publication Critical patent/CN113448743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Abstract

本公开的实施例及用于任务调度的方法、设备和计算机程序产品。该方法包括响应于接收到处理多个任务集合的请求，基于所述多个任务集合的优先级和所述多个任务集合中的任务，在任务处理系统中创建当前待调度任务队列，所述当前待调度任务队列中的多个待调度任务在同一轮调度中被调度；分配用于调度所述多个待调度任务的计算资源以及使得所述当前待调度任务队列中的所述多个待调度任务利用所述计算资源而被调度。以此方式，本公开的实施例能够根据用户的SLA水平调度具有不同优先级和配额的多任务，并通过运行时负载平衡调度解决方案来提高云计算深度学习模型并行服务的效率和可伸缩性。

Description

用于任务处理的方法、电子设备以及计算机程序产品
技术领域
本公开的实施例总体涉及数据存储领域，更具体地，涉及用于任务处理的方法、电子设备和计算机程序产品。
背景技术
基于用户任务的资源需求和专用处理单元的可用资源来调度深度学习(DL)模型的并行划分的方案。该方案能够以正确维持任务之间的依赖关系的方式调度并行任务，同时能够最大化利用当前可用资源。
上述方案能够并行调度来自单一用户的任务集合。然而为了在云计算服务中将DL模型并行被实现为“一切皆服务”(X as a Service，XaaS),具有不同服务水平分配(SLA)的多用户是最基本的功能。此外，针对多用户的任务所需的计算资源，任务处理系统中的可用资源的负载均衡也是一个值得考虑的问题。
发明内容
本公开的实施例及用于任务处理的方法、电子设备和计算机程序产品。
在本公开实施例的第一方面，提供了一种用于任务处理的方法。该方法包括响应于接收到处理多个任务集合的请求，基于所述多个任务集合的优先级和所述多个任务集合中的任务，在任务处理系统中创建当前待调度任务队列，所述当前待调度任务队列中的多个待调度任务在同一轮调度中被调度；分配用于调度所述多个待调度任务的计算资源；以及使得所述多个待调度任务利用所述计算资源而被调度。
在本公开实施例的第二方面，提供了一种电子设备。该设备包括处理器；以及与所述处理器耦合的存储器，所述存储器保存需要执行的指令，所述指令在被处理器执行时使所述电子设备执行动作，所述动作包括响应于接收到处理多个任务集合的请求，基于所述多个任务集合的优先级和所述多个任务集合中的任务，在任务处理系统中创建当前待调度任务队列，所述当前待调度任务队列中的多个待调度任务在同一轮调度中被调度；分配用于调度所述多个待调度任务的计算资源；以及使得所述多个待调度任务利用所述计算资源而被调度。
在本公开的第三方面，提供一种计算机程序产品，该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行上述第一方面的方法的步骤。
提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开内容的关键特征或主要特征，也无意限制本公开内容的范围。
附图说明
图1示出了可以在其中实施本公开实施例的示例性运行环境的示意图；
图2示出了根据本公开的实施例的并行执行多个任务集合的示意图；
图3示出了根据本公开的实施例的并行执行来自多个用户的多个任务集合的示意图；
图4示出了根据本公开的实施例的用于均衡计算资源的分配的示意图；
图5示出了根据本公开的实施例的用于任务处理的方法的流程图；以及
图6示出了可以用来实施本公开的实施例的示例设备的框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
在下文中，将参考附图详细描述本公开的各个示例性实施例。应当注意，这些附图和描述涉及的仅仅是作为示例性的实施例。应该指出的是，根据随后描述，很容易设想出此处公开的结构和方法的替换实施例，并且可以在不脱离本公开要求保护的原理的情况下使用这些替代实施例。
应当理解，给出这些示例性实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
在此使用的术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”。术语“基于”是“至少部分地基于”。术语“一些实施例”表示“至少一些实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
图1示出了根据本公开的实施例的任务处理环境100的示例的示意图。任务处理环境100包括控制设备110以及专用处理单元120-1至120-4。一个或多个专用处理单元120可以组成任务处理系统。应当理解，在任务处理环境100中可以包括任意数目个专用处理单元。
控制设备110例如但不限于是中央处理器(CPU)。专用处理单元120例如但不限于是图形处理器(GPU)。控制设备110与一个或专用处理单元120-1至120-4可以位于相同节点，例如服务器。控制设备110可以耦合到专用处理单元120-1至120-4，例如通过总线。
控制设备110用于从所请求的任务集合中确定要调度的当前待调度任务队列以及用于调度该当前待调度任务队列中的任务的计算资源需求。此外，控制设备110还可以知晓可以用于调度任务的当前可用计算资源，例如专用处理单元120-1至120-4上的当前可用资源，例如GPU上的存储器资源和/或线程资源。
专用处理单元120-1至120-4中的计算资源可以在控制设备110的分配下用于调度执行当前待调度任务队列中的任务。
如上文所述，基于用户任务的资源需求和专用处理单元的可用资源来调度深度学习(DL)模型的并行划分的方案。该方案能够以正确维持多个任务之间的依赖关系的方式调度并行任务。并行任务的调度例如可以通过在图1中示出的控制设备110来实现。图2示出了根据本公开的实施例的并行执行任务集合的示意图。以下结合图2阐述并行任务的调度过程。
在图2中示出了多个任务，即任务A 201、任务B 202、任务C 203、任务D 204、任务E205、任务F 206、任务G 207以及任务H 208。上述任务可以被划分为第一任务集合[任务A201，任务B 202，任务C 203，任务D 204]、第二任务集合[任务E 205，任务F 206]、第三任务集合[任务G 207]以及第四任务集合[任务H 208]。
每个任务集合中的任务是彼此独立的，而各个任务集合之间存在依赖关系。例如，在第二任务集合[任务E 205，任务F 206]中，任务E 205和任务F 206可以彼此独立地被执行，然而要执行任务E 205和任务F 206前提是第一任务集合中的任务A 201，任务B 202，任务C 203，任务D 204均被执行完成。对于第三任务集合[任务G 207]而言，执行其任务的前提是第二任务集合中任务E 205和任务F 206均被执行完成。类似地，对于第四任务集合[任务H 208]而言，执行其任务的前提是第三任务集合中的任务G 207被执行完成。
上文描述的方案能够并行调度来自单一用户的任务集合。然而如上文所述，为了在云计算服务中将DL模型并行被实现为“一切皆服务”(X as a Service，XaaS),具有不同服务水平分配(SLA)的多用户是最基本的功能。上述方案并未考虑调度多用户的任务集合的可能性。由于无法安排多个任务的调度以支持多用户场景，因此也无法实现针对用于调度任务的计算资源的划分，难以实现负载平衡。
因此，本公开的实施例提出一种用于任务处理的方法。该方法能够根据为多个用户分配的SLA的级别来安排用户任务的调度。与此同时在调度过程中实现了良好的负载均衡。
图3示出了根据本公开的实施例的并行执行来自多个用户的多个任务集合的示意图。以下结合图3对根据本公开的实施例的任务集合调度进行进一步的详细阐述。为了方便描述，仍以在图1示出的任务处理环境100为例进行阐述。
图1中的控制设备110可以接收来自不同用户的针对多个任务集合的处理请求。控制设备110可以根据接收到的多个任务集合来创建待调度的任务队列“task_queue”。在创建待调度的任务队列期间，控制设备110可以考虑不同的用户可能具有不同的SLA水平，而具有SLA水平越高的用户应当享有更高的任务处理的优先级。
如图3所示，例如，控制设备110可以接收来自用户310的针对任务组311的处理请求。该任务组311例如可以包括任务1到任务j。任务1到任务j中的每个任务还可以包括多个任务集合312。例如，任务组311中的任务1包括任务集合1到任务集合l。又例如，任务组311中的任务j可以包括任务集合1到任务集合l。任务组311中的任务集合1到任务集合l是彼此独立的。
要调度任务组311或其任务集合1到任务集合l，实际上是调度计算资源来计算其所包括的函数集313。例如，调度任务组311中的任务1的任务集合1实际上是调度用于计算函数1到函数p的计算资源。
类似地，在图3中还示出了来自用户320的针对任务组321和来自用户320的针对任务组330的任务组331。
任务组321例如可以包括任务1到任务i。任务1到任务i中的每个任务还可以包括多个任务集合322。例如，任务组321中的任务1包括任务集合1到任务集合m。任务组321中的任务集合1到任务集合m是彼此独立的。
任务组331例如可以包括任务1到任务k。任务1到任务k中的每个任务还可以包括多个任务集合332。例如，任务组331中的任务1包括任务集合1到任务集合n。任务组331中的任务集合1到任务集合n是彼此独立的。
同样地，要调度任务组321或其任务集合1到任务集合m，实际上是调度计算资源来计算其所包括的函数集323。例如，调度任务组321中的任务1的任务集合1实际上是调度用于计算函数1到函数q的计算资源。
要调度任务组331或其任务集合1到任务集合n，实际上是调度计算资源来计算其所包括的函数集333。例如，调度任务组331中的任务1的任务集合1实际上是调度用于计算函数1到函数r的计算资源。
假设用户310具有最高的SLA水平(以下称为SLA1)，用户320具有低于用户310的SLA水平(以下称为SLA2)，而用户330具有低于用户320的SLA水平(以下称为SLA3)，则控制设备110可以根据用户的SLA水平来在任务处理环境100中创建当前待调度任务队列。
应当理解，图3仅仅示出了来自具有不同SLA水平的用户的任务组的示例，任务处理环境100还可以包括来自其他具有相应的SLA水平的用户的任务。
在一些实施例中，控制设备110可以确定在任务处理环境100中是否存在未被调度的历史任务。未被调度的历史任务例如可以是在上一轮调度中未被调度成功的任务。例如，由于该任务所需的计算资源较大，而在上一轮调度中的空闲计算资源能满足其对计算资源的需求，则该任务将被跳过。
例如，在任务处理环境100中存在用于收集未被调度的历史任务列表“skip_list”。在控制设备110将要对多个任务集合中的任务进行调度之前，可以检查该未被调度的历史任务列表是否为空。
如果控制设备110确定在任务处理环境100中存在未被调度的历史任务，即历史任务列表不为空，则可以在对多个任务集合中的任务进行调度之前，首先调度未被调度的历史任务列表中的历史任务。
如果控制设备110确定在任务处理环境100中不存在未被调度的历史任务，即历史任务列表为空，则可以开始进行针对多个任务集合中的任务的调度。
如上文所述，假设用户310具有最高的SLA水平(以下称为SLA1)，用户320具有低于用户310的SLA水平(以下称为SLA2)，而用户330具有低于用户320的SLA水平(以下称为SLA3)。因此，在控制设备110创建待调度的任务列表时，任务组311中的任务集合1至任务集合l将被优先调度。
在一些实施例中，控制设备110可以首先对任务组311中的每个任务进行循环检索。在第一次循环检索时，控制设备可以将任务组311中的每个任务的任务集合1的第一个函数加入待调度的任务列表。在第一次循环检索之后，该当前待调度的任务列表例如可以包括任务组311的任务1的任务集合1的函数1、任务组311的任务2的任务集合1的函数1、…、任务组311的任务i的任务集合1的函数1。
在第二次循环检索中，控制设备110可以再次对任务组311中的每个任务进行循环检索。同时，在本次循环检索中，控制设备110还可以对任务组321中的每个任务进行循环检索。控制设备可以将任务组311中的每个任务的任务集合1的第二个函数以及任务组321中的每个任务的任务集合1的第一个函数加入待调度的任务列表。
在第二次循环检索之后，该当前待调度的任务列表例如可以加入任务组311的任务1的任务集合1的函数2、任务组311的任务2的任务集合1的函数2、…、任务组311的任务i的任务集合1的函数2、任务组321的任务1的任务集合1的函数1、任务组321的任务2的任务集合1的函数1、…、任务组321的任务j的任务集合1的函数1。
在一些实施例中，控制设备110还可以进行第三次循环检索。在本次循环检索中，控制设备110可以再次对任务组311和任务组321中的每个任务进行循环检索。此外，控制设备110还可以对任务组331中的每个任务进行循环检索。控制设备可以将任务组311中的每个任务的任务集合1的第三个函数、任务组321中的每个任务的任务集合1的第二个函数以及任务组331中的每个任务的任务集合1的第三个函数加入待调度的任务列表。
在第三次循环检索之后，该当前待调度的任务列表例如可以加入任务组311的任务1的任务集合1的函数3、任务组311的任务2的任务集合1的函数3、…、任务组311的任务i的任务集合1的函数3、任务组321的任务1的任务集合1的函数2、任务组321的任务2的任务集合1的函数2、…、任务组321的任务j的任务集合1的函数2、以及任务组331的任务1的任务集合1的函数1、任务组331的任务1的任务集合2的函数1、…、任务组331的任务k的任务集合1的函数1。
因此，在三次循环检索之后，被创建的待调度的任务列表包括从任务组311的每个任务的每个第一任务集合中取出的函数1至函数3、从任务组321的每个任务的每个第一任务集合中取出的函数1至函数2以及任务组331的每个任务的每个第一任务集合中取出的函数1。
上述三次循环检索可以被视作一轮调度。由此创建的待调度的任务列表中的任务(函数)在同一轮调度中被调度。可以看出，具有较高优先级的用户请求执行的任务集合的任务在同一轮调度中被调度的数目高于具有较高优先级的用户请求执行的任务集合的任务被调度的数目。以此方式，在能够确保任务被并列调度的同时，实现了针对具有不同SLA水平的多用户场景。
应当理解，上文中所述的SLA水平仅仅出于示意性的目的，可以划分更多或更少的SLA水平，因此执行循环检索的次数也可以根据SLA水平的划分进行变化。也就是说，一轮调度可以包括更多词或更少次的循环检索。
在一些实施例中，控制设备110还可以在一轮调度之后使用标记“stop_point”来记录在本轮调度中停止的调度位置。以便在下一轮调度中能够快速找到继续调度的位置。
在一些实施例中，直到所有任务组中的所有任务的每个集合中的每个函数均被调度成功，控制设备110才停止调度。在一些实施例中，如果控制设备110发现专用处理单元120中没有空闲的计算资源，控制设备110也将停止调度。在一些实施例中，如果控制设备110发现不存在能够与已经被调度的任务(函数)并行执行的任务(函数)，则控制设备110同样将停止调度。
在创建了待调度的任务列表之后，控制设备110可以分配用于调度该列表中的待调度任务的计算资源，并且使得待调度任务利用所分配的计算资源而被调度。图4示出了根据本公开的实施例的用于均衡计算资源的分配的示意图。
以下结合图4进一步阐述为待调度任务分配计算资源的过程。例如，图1中的专用处理单元120-1和专用处理单元120-2具有可以用于分配的空闲计算资源。图4示出了分配专用处理单元120-1和专用处理单元120-2空闲计算单元的场景。
如图4所示，当前待调度的任务列表可以包括任务401至任务405。控制设备110可以确定任务401至任务405所需的计算资源量。控制设备110还可以确定专用处理单元120-1和专用处理单元120-2各自具有的空闲计算资源量。控制设备110可以根据定任务401至任务405各自所需的计算资源量以及专用处理单元120-1和专用处理单元120-2各自的空闲计算资源量来分配计算资源。
例如，任务401至任务405分别需要10个单位、1个单位、29个单位、41个单位以及30个单位的计算资源量。专用处理单元120-1剩余299个单位的空闲计算资源量以及专用处理单元120-2剩余300个单位的空闲计算资源量。
可以将任务401至任务405按照它们分别所需的计算资源量进行排序，即任务404、任务405、任务403、任务401以及任务402。控制设备110总是将具有最大空闲计算资源量的专用处理单元中的空闲计算资源量分配给需要最大计算资源量的任务。
例如，首先将专用处理单元120-2中的空闲计算资源量分配给任务404。在分配之后，专用处理单元120-2具有259个单位的空闲计算资源量，专用处理单元120-1具有299个单位的空闲计算资源量。之后将专用处理单元120-1的空闲计算资源量分配给任务405。在分配之后，专用处理单元120-2具有259个单位的空闲计算资源量，专用处理单元120-1具有269个单位的空闲计算资源量。
接下来，以此类推，将专用处理单元120-1的空闲计算资源量分配给任务403，在分配之后，专用处理单元120-2具有259个单位的空闲计算资源量，专用处理单元120-1具有240个单位的空闲计算资源量。最终，专用处理单元120-1的空闲计算资源量被分配给403和任务405。专用处理单元120-2的空闲计算资源量被分配给401、402和任务404。
以此方式，通过总是将具有最大空闲计算资源量的专用处理单元中的空闲计算资源量分配给需要最大计算资源量的任务，能够保证空闲计算资源的均衡分配，从而实现各个专用处理单元的负载均衡。
此外，在一些实施例中，控制设备110如果确定环境100中的专用处理单元中的空闲计算资源量均无法满足某个任务所需的计算资源量，则跳过该任务。该被跳过的任务无法在该轮调度中被实现。可以将该跳过的任务加入到上文所述的未被调度的历史任务列表“skip_list”，以便在专用处理单元重新存在满足该任务所需的计算资源量再调度该任务。
以此方式，本公开的实施例能够根据用户的SLA水平调度具有不同优先级和配额的多任务，并通过运行时负载平衡调度解决方案来提高云计算深度学习模型并行服务的效率和可伸缩性。
图5示出了根据本公开的一些实施例的用于任务处理的方法500的流程图。方法500可以被实现在图1所示的控制设备110处。方法500例如可以由在图1中示出的运行环境100的任何组成部分来执行，也可以通过在图1中运行环境100的其他专用处理单元来执行。
在框510，如果控制设备110接收到处理多个任务集合的请求，控制设备110基于多个任务集合的优先级和多个任务集合中的任务在任务处理系统中创建当前待调度任务队列。当前待调度任务队列中的多个待调度任务在同一轮调度中被调度。
在一些实施例中，控制设备110确定在所述任务处理系统中是否存在未被调度的历史任务以及根据确定不存在待被调度的历史任务，创建所述当前待调度任务队列。
在一些实施例中，控制设备110根据确定存在待被调度的历史任务，在调度所述多个任务集合中的所述任务之前，调度所述历史任务。
在一些实施例中，控制设备110确定为与所述多个任务集合相关联的用户所对应的服务水平并且基于所述服务水平确定所述多个任务集合的优先级。
在框520，控制设备110分配用于调度所述多个待调度任务的计算资源。
在一些实施例中，多个任务集合至少包括第一任务集合和第二任务集合，第一任务集合具有第一优先级，第二任务集合具有第二优先级，第一优先级高于第二优先级。控制设备110可以确定所述第一任务集合中的任务的第一数目和所述第二任务集合中的任务的第二数目以及基于所述第一优先级、所述第二优先级、所述第一数目以及所述第二数据创建所述当前待调度任务队列，以使得在所述当前待调度任务队列中的所述第一任务集合中的任务的第三数目超出所述第二任务集合中的任务的第四数目。
在框530，控制设备110使得所述多个待调度任务利用所述计算资源而被调度。
在一些实施例中，任务处理系统包括多个专用处理单元，控制设备110可以确定所述多个待调度任务所需的计算资源量和多个专用处理单元的空闲计算资源量。控制设备110可以基于所述空闲计算资源量以及所述多个待调度任务所需的计算资源量，分配所述计算资源。
在一些实施例中，多个专用处理单元至少包括第一专用处理单元和第二专用处理单元，控制设备110可以比较所述第一专用处理单元的第一空闲计算资源量和所述第二设备的第二空闲计算资源量并且根据确定所述第一空闲计算资源量超出所述第二空闲计算资源量，从所述多个待调度任务中确定第一待调度任务。第一待调度任务所需的计算资源量超出阈值资源量。控制设备110可以从所述第一空闲计算空间中分配用于调度所述第一待调度任务的计算资源量。
在一些实施例中，控制设备110可以确定所述空闲计算资源量是否满足所述多个待调度任务中的第一待调度任务所需的计算资源量。根据确定所述空闲计算资源量不满足所述第一待调度任务所需的所述计算资源量，控制设备110将所述第一待调度任务加入下一轮待调度任务队列。
图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如，如图1所示的控制设备110可以由设备600来实施。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储单元600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键物理盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁物理盘、光物理盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法500可由处理单元601执行。例如，在一些实施例中，方法500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时，可以执行上文描述的方法500的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储单元、磁存储单元、光存储单元、电磁存储单元、半导体存储单元或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机物理盘、硬物理盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩物理盘只读存储器(CD-ROM)、数字多功能物理盘(DVD)、记忆棒、软物理盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储单元。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (17)

1.一种用于任务调度的方法，包括：
响应于接收到处理多个任务集合的请求，基于所述多个任务集合的优先级和所述多个任务集合中的任务，在任务处理系统中创建当前待调度任务队列，所述当前待调度任务队列中的多个待调度任务在同一轮调度中被调度；
分配用于调度所述多个待调度任务的计算资源；以及
使得所述多个待调度任务利用所述计算资源而被调度。
2.根据权利要求1所述的方法，其中创建所述当前待调度任务队列包括：
确定在所述任务处理系统中是否存在未被调度的历史任务；以及
根据确定不存在待被调度的历史任务，创建所述当前待调度任务队列。
3.根据权利要求2所述的方法，还包括：
根据确定存在待被调度的历史任务，在调度所述多个任务集合中的所述任务之前，调度所述历史任务。
4.根据权利要求1所述的方法，还包括：
确定为与所述多个任务集合相关联的用户所对应的服务水平；以及
基于所述服务水平确定所述多个任务集合的优先级。
5.根据权利要求1所述的方法，其中所述多个任务集合至少包括第一任务集合和第二任务集合，所述第一任务集合具有第一优先级，所述第二任务集合具有第二优先级，所述第一优先级高于所述第二优先级，并且其中创建所述当前待调度任务队列包括：
确定所述第一任务集合中的任务的第一数目和所述第二任务集合中的任务的第二数目；以及
基于所述第一优先级、所述第二优先级、所述第一数目以及所述第二数据创建所述当前待调度任务队列，以使得在所述当前待调度任务队列中的所述第一任务集合中的任务的第三数目超出所述第二任务集合中的任务的第四数目。
6.根据权利要求1所述的方法，其中所述任务处理系统包括多个专用处理单元，并且其中分配所述计算资源包括：
确定所述多个待调度任务所需的计算资源量；
确定所述多个专用处理单元的空闲计算资源量；以及
基于所述空闲计算资源量以及所述多个待调度任务所需的计算资源量，分配所述计算资源。
7.根据权利要求6所述的方法，其中所述多个专用处理单元至少包括第一专用处理单元和第二专用处理单元，其中基于所述空闲计算资源量以及所述多个待调度任务所需的计算资源量分配所述计算资源包括：
比较所述第一专用处理单元的第一空闲计算资源量和所述第二设备的第二空闲计算资源量；
根据确定所述第一空闲计算资源量超出所述第二空闲计算资源量，从所述多个待调度任务中确定第一待调度任务，所述第一待调度任务所需的计算资源量超出阈值资源量；以及
从所述第一空闲计算空间中分配用于调度所述第一待调度任务的计算资源量。
8.根据权利要求6所述的方法，还包括：
确定所述空闲计算资源量是否满足所述多个待调度任务中的第一待调度任务所需的计算资源量；以及
根据确定所述空闲计算资源量不满足所述第一待调度任务所需的所述计算资源量，将所述第一待调度任务加入下一轮待调度任务队列。
9.一种电子设备，包括：
至少一个处理单元；以及
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行以下步骤：
响应于接收到处理多个任务集合的请求，基于所述多个任务集合的优先级和所述多个任务集合中的任务，在任务处理系统中创建当前待调度任务队列，所述当前待调度任务队列中的多个待调度任务在同一轮调度中被调度；
分配用于调度所述多个待调度任务的计算资源；以及
使得所述多个待调度任务利用所述计算资源而被调度。
10.根据权利要求9所述的设备，其中通过以下方式创建所述当前待调度任务队列：
确定在所述任务处理系统中是否存在未被调度的历史任务；以及
根据确定不存在待被调度的历史任务，创建所述当前待调度任务队列。
11.根据权利要求10所述的设备，所述动作还包括：
根据确定存在待被调度的历史任务，在调度所述多个任务集合中的所述任务之前，调度所述历史任务。
12.根据权利要求9所述的设备，所述动作还包括：
确定为与所述多个任务集合相关联的用户所对应的服务水平；以及
基于所述服务水平确定所述多个任务集合的优先级。
13.根据权利要求9所述的设备，其中所述多个任务集合至少包括第一任务集合和第二任务集合，所述第一任务集合具有第一优先级，所述第二任务集合具有第二优先级，所述第一优先级高于所述第二优先级，并且其中通过以下方式创建所述当前待调度任务队列：
确定所述第一任务集合中的任务的第一数目和所述第二任务集合中的任务的第二数目；以及
基于所述第一优先级、所述第二优先级、所述第一数目以及所述第二数据创建所述当前待调度任务队列，以使得在所述当前待调度任务队列中的所述第一任务集合中的任务的第三数目超出所述第二任务集合中的任务的第四数目。
14.根据权利要求9所述的设备，其中所述任务处理系统包括多个专用处理单元，并且其中通过以下方式分配所述计算资源：
确定所述多个待调度任务所需的计算资源量；
确定所述多个专用处理单元的空闲计算资源量；以及
基于所述空闲计算资源量以及所述多个待调度任务所需的计算资源量，分配所述计算资源。
15.根据权利要求14所述的设备，其中所述多个专用处理单元至少包括第一专用处理单元和第二专用处理单元，其中通过以下方式基于所述空闲计算资源量以及所述多个待调度任务所需的计算资源量分配所述计算资源：
比较所述第一专用处理单元的第一空闲计算资源量和所述第二设备的第二空闲计算资源量；
根据确定所述第一空闲计算资源量超出所述第二空闲计算资源量，从所述多个待调度任务中确定第一待调度任务，所述第一待调度任务所需的计算资源量超出阈值资源量；以及
从所述第一空闲计算空间中分配用于调度所述第一待调度任务的计算资源量。
16.根据权利要求14所述的设备，所述动作还包括：
确定所述空闲计算资源量是否满足所述多个待调度任务中的第一待调度任务所需的计算资源量；以及
根据确定所述空闲计算资源量不满足所述第一待调度任务所需的所述计算资源量，将所述第一待调度任务加入下一轮待调度任务队列。
17.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被机器执行时实现根据权利要求1至8中任一项所述的方法。
CN202010220468.7A 2020-03-25 2020-03-25 用于任务处理的方法、电子设备以及计算机程序产品 Active CN113448743B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010220468.7A CN113448743B (zh) 2020-03-25 2020-03-25 用于任务处理的方法、电子设备以及计算机程序产品
US16/845,682 US11507419B2 (en) 2020-03-25 2020-04-10 Method,electronic device and computer program product for scheduling computer resources in a task processing environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010220468.7A CN113448743B (zh) 2020-03-25 2020-03-25 用于任务处理的方法、电子设备以及计算机程序产品

Publications (2)

Publication Number Publication Date
CN113448743A true CN113448743A (zh) 2021-09-28
CN113448743B CN113448743B (zh) 2024-02-23

Family

ID=77807501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010220468.7A Active CN113448743B (zh) 2020-03-25 2020-03-25 用于任务处理的方法、电子设备以及计算机程序产品

Country Status (2)

Country Link
US (1) US11507419B2 (zh)
CN (1) CN113448743B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210406075A1 (en) * 2020-06-27 2021-12-30 Intel Corporation Apparatus and method for a resource allocation control framework using performance markers
CN112463334B (zh) * 2020-12-04 2023-08-18 苏州浪潮智能科技有限公司 一种训练任务排队原因分析方法、系统、设备以及介质
CN113971519B (zh) * 2021-10-25 2023-06-23 上海擎朗智能科技有限公司 一种机器人调度方法、装置、电子设备和存储介质
CN114168302A (zh) * 2021-12-28 2022-03-11 中国建设银行股份有限公司 任务调度方法、装置、设备及存储介质
CN116974778A (zh) 2022-04-22 2023-10-31 戴尔产品有限公司 用于数据共享的方法、电子设备和计算机程序产品
CN115576685A (zh) * 2022-09-26 2023-01-06 京东科技信息技术有限公司 容器的调度方法、装置及计算机设备
CN115951988B (zh) * 2023-03-03 2023-05-12 北京并行科技股份有限公司 一种作业调度方法、计算设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130152097A1 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Resource Health Based Scheduling of Workload Tasks
CN105760234A (zh) * 2016-03-17 2016-07-13 联动优势科技有限公司 一种线程池管理方法及装置
CN107291548A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 任务的资源调度方法及装置
US20190034227A1 (en) * 2017-07-26 2019-01-31 Bank Of America Corporation System and method of task execution
CN110347602A (zh) * 2019-07-11 2019-10-18 中国工商银行股份有限公司 多任务脚本执行方法及装置、电子设备及可读存储介质
CN110515716A (zh) * 2019-08-29 2019-11-29 中国科学院软件研究所 一种支持优先级和反亲和的云优化调度方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389763B (zh) 2018-04-20 2023-06-16 伊姆西Ip控股有限责任公司 用于调度专用处理资源的方法、设备和计算机可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130152097A1 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Resource Health Based Scheduling of Workload Tasks
CN105760234A (zh) * 2016-03-17 2016-07-13 联动优势科技有限公司 一种线程池管理方法及装置
CN107291548A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 任务的资源调度方法及装置
US20190034227A1 (en) * 2017-07-26 2019-01-31 Bank Of America Corporation System and method of task execution
CN110347602A (zh) * 2019-07-11 2019-10-18 中国工商银行股份有限公司 多任务脚本执行方法及装置、电子设备及可读存储介质
CN110515716A (zh) * 2019-08-29 2019-11-29 中国科学院软件研究所 一种支持优先级和反亲和的云优化调度方法及系统

Also Published As

Publication number Publication date
CN113448743B (zh) 2024-02-23
US11507419B2 (en) 2022-11-22
US20210303344A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
CN113448743B (zh) 用于任务处理的方法、电子设备以及计算机程序产品
CN108537543B (zh) 区块链数据的并行处理方法、装置、设备和存储介质
US11509596B2 (en) Throttling queue for a request scheduling and processing system
US10003500B2 (en) Systems and methods for resource sharing between two resource allocation systems
EP3770774B1 (en) Control method for household appliance, and household appliance
US20200065135A1 (en) Optimal dynamic placement of virtual machines in geographically distributed cloud data centers
US9052932B2 (en) Hybrid virtual machine configuration management
CN110753131A (zh) 微服务分布式限流方法及装置、存储介质和电子设备
US11150951B2 (en) Releasable resource based preemptive scheduling
US20090282413A1 (en) Scalable Scheduling of Tasks in Heterogeneous Systems
CN111399970A (zh) 一种预留资源管理方法、装置和存储介质
WO2023169329A1 (en) Resource utilization efficiency based job scheduling
CN106775975B (zh) 进程调度方法及装置
CA2631255A1 (en) Scalable scheduling of tasks in heterogeneous systems
US20200142822A1 (en) Multi-tenant cloud elastic garbage collector
US10956228B2 (en) Task management using a virtual node
CN112214318A (zh) 一种任务调度方法、系统、设备以及介质
CN112860421A (zh) 用于作业处理的方法、设备和计算机程序产品
CN115878333A (zh) 进程组间的一致性判断方法、装置及设备
US11556387B2 (en) Scheduling jobs
CN115878309A (zh) 资源分配方法、装置、处理核、设备和计算机可读介质
CN114116150A (zh) 一种任务调度方法、装置以及相关设备
US20210011848A1 (en) Data processing for allocating memory to application containers
CN113127178B (zh) 资源抢占方法及装置、计算机可读存储介质、电子设备
US20240103903A1 (en) Dynamic pod priority inference utilizing service mesh telemetry data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant