CN113391905B - 基于多gpu的任务调度方法、装置 - Google Patents

基于多gpu的任务调度方法、装置 Download PDF

Info

Publication number
CN113391905B
CN113391905B CN202110709270.XA CN202110709270A CN113391905B CN 113391905 B CN113391905 B CN 113391905B CN 202110709270 A CN202110709270 A CN 202110709270A CN 113391905 B CN113391905 B CN 113391905B
Authority
CN
China
Prior art keywords
task
gpu
gpus
type
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110709270.XA
Other languages
English (en)
Other versions
CN113391905A (zh
Inventor
龙利民
李强
胡勇超
阚德军
徐克�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuling Artificial Intelligence Institute Nanjing Co ltd
Original Assignee
Tuling Artificial Intelligence Institute Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tuling Artificial Intelligence Institute Nanjing Co ltd filed Critical Tuling Artificial Intelligence Institute Nanjing Co ltd
Priority to CN202110709270.XA priority Critical patent/CN113391905B/zh
Publication of CN113391905A publication Critical patent/CN113391905A/zh
Application granted granted Critical
Publication of CN113391905B publication Critical patent/CN113391905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多GPU的任务调度方法、装置，所述方法包括：为不同任务类型分别分配最小GPU占用数量和最大GPU占用数量；数据库中任务加载至任务队列，按照任务类型的优先级顺序，将可用资源中的GPU依序进行分配；若运行任务中的GPU数量已经达到各任务类型的最小GPU占用数量，或者满足了任务类型的所有任务，可用资源按照任务队列中任务类型的优先级顺序重新进行GPU分配；每个任务类型所分配的GPU数量不超过对应的最大GPU占用数量。采用上述技术方案，不进行模型和GPU资源的绑定，满足各种模型数量的需求；设定最小和最大资源分配数量，可以在各类型模型请求数量不确定时，降低因任务过多而导致的堵塞风险，并且充分利用资源，提升运行效率。

Description

基于多GPU的任务调度方法、装置
技术领域
本发明涉及GPU调度技术领域，尤其涉及基于多GPU的任务调度方法、装置。
背景技术
随着深度学习的广泛应用，越来越多的人工智能模型应用在各种场景之中。不同的场景会需要不同的深度学习模型，模型在运行、推理过程中往往需要消耗大量的GPU(graphics processing unit，GPU，图形处理器)资源，GPU的资源相对是稀缺的，合理的调度和分配，可以极大的降低硬件投入的成本，提升资源的使用率。
模型推理也可以称为模型预测，在实际运行过程中，绝大部分的模型需要使用GPU进行预测。一个模型至少需要一个GPU设备资源，现有的调度方案中，将模型和GPU绑定，当模型数量大于GPU设备资源数量，则无法满足所有模型的运行请求；在某类模型的请求数量存在严重倾斜的时候，仅绑定的GPU运行，GPU资源存在浪费，进而导致运行效率的降低；不能根据当前的资源调整并发请求数量，一旦请求数量激增将会令GPU超负荷，硬件性能下降。
发明内容
发明目的：本发明旨在提供一种基于多GPU的任务调度方法、装置。
技术方案：本发明提供一种基于多GPU的任务调度方法，包括：
确定任务类型的优先级，为不同任务类型分别分配最小GPU占用数量和最大GPU占用数量；所有任务类型对应的最小GPU占用数量之和，不超过GPU的总数；
随着数据库中等待任务不断加载至任务队列，根据任务队列中任务的任务类型进行GPU分配，按照任务类型的优先级顺序，将可用资源中的GPU依序进行分配，每个任务类型分配的GPU数量以对应的最小GPU占用数量为限；已经分配GPU的任务退出任务队列；
若运行任务中的GPU数量已经达到各任务类型的最小GPU占用数量，或者满足了任务类型的所有任务，且任务队列中还有任务，可用资源中还有GPU时，可用资源按照任务队列中任务类型的优先级顺序进行GPU分配；每个任务类型所分配的GPU数量不超过对应的最大GPU占用数量。
具体的，相同类型的任务，按照加载至任务队列的前后顺序进行GPU分配。
具体的，GPU运行任务之后，若任务的状态为重试，则将状态为重试的任务再次放入任务队列之中，相应的GPU放回可用资源之中。
具体的，任务运行完成后，相应的GPU放回可用资源之中。
具体的，运行相同类型任务的已经运行完成，且任务队列中没有相应类型的任务，则释放运行相应类型的任务的GPU为空闲状态；运行任务的时间超过预设阈值的GPU，释放为空闲状态；可用资源中的GPU为占用状态，优先将占用状态的GPU进行任务分配。
具体的，根据各任务类型的历史任务数量，分配各任务类型的最小GPU占用数量和最大GPU占用数量；根据数据库加载至任务队列的各类型任务的数量，动态调整各任务类型的最小GPU占用数量和最大GPU占用数量。
本发明还提供一种基于多GPU的任务调度装置，包括：分配单元、第一调度单元和第二调度单元，其中：
所述分配单元，用于确定任务类型的优先级，为不同任务类型分别分配最小GPU占用数量和最大GPU占用数量；所有任务类型对应的最小GPU占用数量之和，不超过GPU的总数；
所述第一调度单元，用于随着数据库中等待任务不断加载至任务队列，根据任务队列中任务的任务类型进行GPU分配，按照任务类型的优先级顺序，将可用资源中的GPU依序进行分配，每个任务类型分配的GPU数量以对应的最小GPU占用数量为限；已经分配GPU的任务退出任务队列；
所述第二调度单元，用于若运行任务中的GPU数量已经达到各任务类型的最小GPU占用数量，或者满足了任务类型的所有任务，且任务队列中还有任务，可用资源中还有GPU时，可用资源按照任务队列中任务类型的优先级顺序进行GPU分配；每个任务类型所分配的GPU数量不超过对应的最大GPU占用数量。
具体的，所述第一调度单元，用于相同类型的任务，按照加载至任务队列的前后顺序进行GPU分配。
具体的，所述第一调度单元和第二调度单元，均用于运行相同类型任务的已经运行完成，且任务队列中没有相应类型的任务，则释放运行相应类型的任务的GPU为空闲状态；运行任务的时间超过预设阈值的GPU，释放为空闲状态；可用资源中的GPU为占用状态，优先将占用状态的GPU进行任务分配。
具体的，所述分配单元，用于根据各任务类型的历史任务数量，分配各任务类型的最小GPU占用数量和最大GPU占用数量；根据数据库加载至任务队列的各类型任务的数量，动态调整各任务类型的最小GPU占用数量和最大GPU占用数量。
有益效果：与现有技术相比，本发明具有如下显著优点：不进行模型和GPU资源的绑定，在模型数量大于资源数量时也可以进行合理的资源分配，满足各种模型数量的需求；设定最小和最大资源分配数量，可以在当各类型模型请求数量不确定时，降低因任务过多而导致的堵塞风险；根据历史请求数量确定模型运行所需的最大算力，控制并发数，避免超负荷；增加了资源的释放时间，避免因频繁切换模型而产生时间消耗。
附图说明
图1为本发明中提供的基于多GPU的任务调度方法的流程示意图；
图2为本发明中提供的资源分配示意图；
图3为本发明中提供的任务库中任务加载至任务队列的示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1和图2，分别为本发明中提供的基于多GPU的任务调度方法的流程示意图，和本发明中提供的资源分配示意图(图2示例中GPU总数为10)。
步骤1，确定任务类型的优先级，为不同任务类型分别分配最小GPU占用数量和最大GPU占用数量。
本发明实施例中，所有运行中的任务类型对应的最小GPU占用数量之和，不超过GPU的总数；每一个任务类型对应的最大GPU占用数量均不超过GPU的总数，且大于该任务类型的最小GPU占用数量。
在具体实施中，不同的任务类型对应着不同的模型。例如，图2中任务队列A中的任务，均为来自模型A的任务。
在具体实施中，根据所要运行的模型的重要程度，或者根据历史运行过程中，模型的运行算力、运行资源需求和任务请求数量，确定各个任务类型的优先级，每个任务类型的优先级可以均不相同。
在具体实施中，设定最小GPU占用数量，可以同时处理各模型的任务，充分利用GPU资源，且在各类型模型任务的数量不确定时，降低因任务过多而导致的堵塞风险。所有运行中的任务类型对应的最小GPU占用数量之和，不超过GPU的总数，即GPU实际运行的所有任务类型的最小GPU占用数量之和不超过GPU的总数，例如图2中，资源队列A、B、C和D，分别对应GPU实际运行的任务类型A、B、C和D，最小GPU占用数量分别为2、1、3和4，总数为10，等于GPU总数。在某一类型模型的任务运行完毕，或者暂时不进行运行时，可以引入新类型模型的任务进入资源队列进行任务运行，可以重新调整各类型任务的最小GPU占用数量和最大GPU占用数量。设定最大GPU占用数量，可以将运行资源充分分配至各类型模型任务，图2所示中，资源队列A、B、C和D对应的最大GPU占用数量分别为6、5、4和7。
在具体实施中，不将模型任务和资源形成绑定，按实际模型任务需求量和GPU配置数量分配模型所需的资源，可以在当模型数量大于GPU资源数时，也能满足资源的合理分配。
本发明实施例中，根据各任务类型的历史任务数量，分配各任务类型的最小GPU占用数量和最大GPU占用数量。
本发明实施例中，根据数据库加载至任务队列的各类型任务的数量，动态调整各任务类型的最小GPU占用数量和最大GPU占用数量。
在具体实施中，各任务类型的最小GPU占用数量，表示着该模型可以占用的最小资源，因此，受该任务类型的历史任务请求数量的影响，若该任务类型的历史任务数量较多，则最小GPU占用数量可以较大，以适配即将产生的较多的任务请求，但是在实际运行中发现，任务队列中该任务类型的任务没有达到预期，则可以将该任务类型的最小GPU占用数量调低，为其他任务类型提供运行资源。具体的GPU占用数量的分配，可以通过数学模型根据各类型任务的历史任务请求数量进行训练学习后实现，具体的GPU占用数量的动态调整，可以通过数学模型根据实际任务队列中各类型的任务数量和加载至任务队列的频率，并结合该类型任务的运行时间以及现有的GPU占用数量实现。
在具体实施中，设定最小和最大GPU占用数量的动态调整，可以在当各类型模型请求数量不确定且实际数量发生变化时，降低因任务过多而导致的堵塞风险，或者资源分配不均导致某类型任务的运行效率降低。
步骤2，参阅图3，随着数据库中等待任务不断加载至任务队列，根据任务队列中任务的任务类型进行GPU分配，按照任务类型的优先级顺序，将可用资源中的GPU依序进行分配，每个任务类型分配的GPU数量以对应的最小GPU占用数量为限。
在具体实施中，图2和图3中的任务类型A、B、C和D以及优先级仅用于示例说明，在实际应用中任务类型可以为其他数量，优先级排序也可以为其他顺序。
本发明实施例中，已经分配GPU的任务退出任务队列，可以加入相应的资源队列。例如任务队列中的任务队列A，任务队列A中的任务均为A类型任务，其中某一A类型任务加入相应的资源队列A，分配相应的GPU进行运行。
在具体实施中，优先将GPU分配至优先级较高的任务类型。例如图2所示，任务队列中包括任务队列A、B、C和D(其中的任务分别为A、B、C和D类型任务)，优先级排序依次为A、B、C和D，则先向A分配GPU，如果任务队列A中A类型的任务只有一个，则向A类型任务分配一个GPU，资源队列A中只一个GPU运行A类型任务，如果任务队列中A类型的任务有三个，由于A类型任务的最小GPU占用数量为2，则只向A类型任务分配两个GPU，然后开始向B类型任务开始分配，依次类推。
本发明实施例中，相同类型的任务，按照加载至任务队列的前后顺序进行GPU分配。
在具体实施中，先加载至任务队列的任务，先为其分配GPU进行运行。
步骤3，若运行任务中的GPU数量已经达到各任务类型的最小GPU占用数量，或者满足了任务类型的所有任务，且任务队列中还有任务，可用资源中还有GPU时，可用资源按照任务队列中任务类型的优先级顺序重新进行GPU分配；每个任务类型所分配的GPU数量不超过对应的最大GPU占用数量。
在具体实施中，例如图2所示，经过每个任务类型分配的GPU数量以对应的最小GPU占用数量为限后，A资源队列中分配2个GPU进行任务运行，B资源队列中分配1个GPU进行任务运行，C资源队列中分配3个GPU进行任务运行，D资源队列中分配3个GPU进行任务运行，其中D类型任务的最小GPU占用数量为4，但是在为3个D类型的任务分配3个GPU之后，假设任务队列中不再有D类型任务了，因此满足了D任务类型的所有任务。而此时在任务队列中，A、B和C类型任务还有任务存在，资源队列中还存在有1个GPU，则可以根据任务类型的优先级，将GPU分配至优先级最高的A类型任务。
在具体实施中，通过任务调度方案，可以灵活分配当前任务所需的资源，不固定模型运行时的资源数，使得资源使用率和任务运行效率显著提升。
本发明实施例中，在任务运行过程中，GPU运行任务之后，若任务的状态为重试，则将状态为重试的任务再次放入任务队列之中，相应的GPU放回可用资源之中。
在具体实施中，当运行的任务的状态为重试，表明该任务需要重新进行运行，本次运行可能失败了，因此将任务放回任务列队中等待下次分配GPU进行运行，而原来运行该任务的GPU也放回可用资源中等待分配，避免资源的浪费。
本发明实施例，任务运行完成后，相应的GPU放回可用资源之中。
在具体实施中，任务运行完成后，原来运行该任务的GPU也放回可用资源中等待分配，避免资源的浪费。
本发明实施例中，运行相同类型任务的已经运行完成，且任务队列中没有相应类型的任务，则释放运行相应类型的任务的GPU为空闲状态；运行任务的时间超过预设阈值的GPU，释放为空闲状态。
本发明实施例中，可用资源中的GPU为占用状态，优先将占用状态的GPU进行任务分配。
在具体实施中，例如A类型任务已经运行完成，并且任务队列中已经没有A类型任务时，可以将资源队列A中所有原来运行A任务的GPU释放为空闲状态。如果运行任务的时间已经超时，超过预设阈值，则需要强制释放，将该GPU释放为空闲状态。
在具体实施中，将GPU状态划分为运行、占用和空闲，运行状态是指运行任务时的GPU状态，占用状态指GPU随着准备进入运行任务状态，空闲状态为可调度状态，可以切换进入占用状态。设定优先将占用状态的GPU进行任务分配，增加了资源的释放空闲时间，避免因频繁切换模型而产生时间消耗。
在具体实施中，设定一组任务，分别是A、B、C和D，耗时分别是(A，2分钟)，(B，2分钟)，(C，2分钟)，(D，5分钟)，测试条件是12个GPU，分别并发50个任务。
在基准环境测试下，12个GPU条件下按3、3、3、3固定分配，总耗时由最大耗时决定，大概是5*50＝250分钟。
在适用本发明提供的方案下，队列配置最小GPU占用数量和最大GPU占用数量，配置为A(20％，100％)，B(30％，100％)，C(20％，100％)，D(20％，100％)。在任务调度下的耗时接近所有任务的平均值，为(2*50+2*50+2*50+5*50)/4＝100分钟。
由此可见，本发明提供的方案，可有明显有助于GPU运行模型的性能提升，任务调度方案可以将模型总运行耗时(不计算任务等待时间)降低60％。
本发明还提供一种基于多GPU的任务调度装置，包括：分配单元、第一调度单元和第二调度单元，其中：
所述分配单元，用于确定任务类型的优先级，为不同任务类型分别分配最小GPU占用数量和最大GPU占用数量；所有任务类型对应的最小GPU占用数量之和，不超过GPU的总数；
所述第一调度单元，用于随着数据库中等待任务不断加载至任务队列，根据任务队列中任务的任务类型进行GPU分配，按照任务类型的优先级顺序，将可用资源中的GPU依序进行分配，每个任务类型分配的GPU数量以对应的最小GPU占用数量为限；已经分配GPU的任务退出任务队列；
所述第二调度单元，用于若运行任务中的GPU数量已经达到各任务类型的最小GPU占用数量，或者满足了任务类型的所有任务，且任务队列中还有任务，可用资源中还有GPU时，可用资源按照任务队列中任务类型的优先级顺序进行GPU分配；每个任务类型所分配的GPU数量不超过对应的最大GPU占用数量。
本发明实施例中，所述第一调度单元，用于相同类型的任务，按照加载至任务队列的前后顺序进行GPU分配。
本发明实施例中，所述第一调度单元和第二调度单元，用于GPU运行任务之后，若任务的状态为重试，则将状态为重试的任务再次放入任务队列之中，相应的GPU放回可用资源之中。
本发明实施例中，所述第一调度单元和第二调度单元，用于任务运行完成后，相应的GPU放回可用资源之中。
本发明实施例中，所述第一调度单元和第二调度单元，运行相同类型任务的已经运行完成，且任务队列中没有相应类型的任务，则释放运行相应类型的任务的GPU为空闲状态；运行任务的时间超过预设阈值的GPU，释放为空闲状态；可用资源中的GPU为占用状态，优先将占用状态的GPU进行任务分配。
本发明实施例中，所述调度单元，用于根据各任务类型的历史任务数量，分配各任务类型的最小GPU占用数量和最大GPU占用数量；根据数据库加载至任务队列的各类型任务的数量，动态调整各任务类型的最小GPU占用数量和最大GPU占用数量。

Claims (10)

1.一种基于多GPU的任务调度方法，其特征在于，包括：
确定任务类型的优先级，为不同任务类型分别分配最小GPU占用数量和最大GPU占用数量；所有任务类型对应的最小GPU占用数量之和，不超过GPU的总数；
随着数据库中等待任务不断加载至任务队列，根据任务队列中任务的任务类型进行GPU分配，按照任务类型的优先级顺序，将可用资源中的GPU依序进行分配，每个任务类型分配的GPU数量以对应的最小GPU占用数量为限；已经分配GPU的任务退出任务队列；
若运行任务中的GPU数量已经达到各任务类型的最小GPU占用数量，或者满足了任务类型的所有任务；且任务队列中还有任务，可用资源中还有GPU时，可用资源按照任务队列中任务类型的优先级顺序进行GPU分配；每个任务类型所分配的GPU数量不超过对应的最大GPU占用数量。
2.根据权利要求1所述的基于多GPU的任务调度方法，其特征在于，所述按照任务类型的优先级顺序，将可用资源中的GPU依序进行分配，包括：
相同类型的任务，按照加载至任务队列的前后顺序进行GPU分配。
3.根据权利要求2所述的基于多GPU的任务调度方法，其特征在于，GPU运行任务之后，若任务的状态为重试，则将状态为重试的任务再次放入任务队列之中，相应的GPU放回可用资源之中。
4.根据权利要求3所述的基于多GPU的任务调度方法，其特征在于，任务运行完成后，相应的GPU放回可用资源之中。
5.根据权利要求4所述的基于多GPU的任务调度方法，其特征在于，运行相同类型任务的已经运行完成，且任务队列中没有相应类型的任务，则释放运行相应类型的任务的GPU为空闲状态；运行任务的时间超过预设阈值的GPU，释放为空闲状态；可用资源中的GPU为占用状态，优先将占用状态的GPU进行任务分配。
6.根据权利要求5所述的基于多GPU的任务调度方法，其特征在于，所述为不同任务类型分别分配最小GPU占用数量和最大GPU占用数量，包括：
根据各任务类型的历史任务数量，分配各任务类型的最小GPU占用数量和最大GPU占用数量；根据数据库加载至任务队列的各类型任务的数量，动态调整各任务类型的最小GPU占用数量和最大GPU占用数量。
7.一种基于多GPU的任务调度装置，其特征在于，包括：分配单元、第一调度单元和第二调度单元，其中：
所述分配单元，用于确定任务类型的优先级，为不同任务类型分别分配最小GPU占用数量和最大GPU占用数量；所有任务类型对应的最小GPU占用数量之和，不超过GPU的总数；
所述第一调度单元，用于随着数据库中等待任务不断加载至任务队列，根据任务队列中任务的任务类型进行GPU分配，按照任务类型的优先级顺序，将可用资源中的GPU依序进行分配，每个任务类型分配的GPU数量以对应的最小GPU占用数量为限；已经分配GPU的任务退出任务队列；
所述第二调度单元，用于若运行任务中的GPU数量已经达到各任务类型的最小GPU占用数量，或者满足了任务类型的所有任务；且任务队列中还有任务，可用资源中还有GPU时，可用资源按照任务队列中任务类型的优先级顺序进行GPU分配；每个任务类型所分配的GPU数量不超过对应的最大GPU占用数量。
8.根据权利要求7所述的基于多GPU的任务调度装置，其特征在于，所述第一调度单元，用于相同类型的任务，按照加载至任务队列的前后顺序进行GPU分配。
9.根据权利要求8所述的基于多GPU的任务调度装置，其特征在于，所述第一调度单元和第二调度单元，均用于运行相同类型任务的已经运行完成，且任务队列中没有相应类型的任务，则释放运行相应类型的任务的GPU为空闲状态；运行任务的时间超过预设阈值的GPU，释放为空闲状态；可用资源中的GPU为占用状态，优先将占用状态的GPU进行任务分配。
10.根据权利要求9所述的基于多GPU的任务调度装置，其特征在于，所述分配单元，用于根据各任务类型的历史任务数量，分配各任务类型的最小GPU占用数量和最大GPU占用数量；根据数据库加载至任务队列的各类型任务的数量，动态调整各任务类型的最小GPU占用数量和最大GPU占用数量。
CN202110709270.XA 2021-06-25 2021-06-25 基于多gpu的任务调度方法、装置 Active CN113391905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110709270.XA CN113391905B (zh) 2021-06-25 2021-06-25 基于多gpu的任务调度方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110709270.XA CN113391905B (zh) 2021-06-25 2021-06-25 基于多gpu的任务调度方法、装置

Publications (2)

Publication Number Publication Date
CN113391905A CN113391905A (zh) 2021-09-14
CN113391905B true CN113391905B (zh) 2024-05-14

Family

ID=77623850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110709270.XA Active CN113391905B (zh) 2021-06-25 2021-06-25 基于多gpu的任务调度方法、装置

Country Status (1)

Country Link
CN (1) CN113391905B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156264A (zh) * 2014-08-01 2014-11-19 西北工业大学 一种基于多gpu的基带信号处理任务并行实时调度方法
CN111158879A (zh) * 2019-12-31 2020-05-15 上海依图网络科技有限公司 一种系统资源的调度方法，装置、机器可读介质和系统
CN111176852A (zh) * 2020-01-15 2020-05-19 上海依图网络科技有限公司 资源分配方法、装置、芯片及计算机可读存储介质
CN111400022A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种资源调度方法、装置及电子设备
CN112181613A (zh) * 2020-09-09 2021-01-05 国家计算机网络与信息安全管理中心 异构资源分布式计算平台批量任务调度方法及存储介质
WO2021092634A2 (en) * 2021-03-05 2021-05-14 Futurewei Technologies, Inc. Acceleration of gpus in cloud computing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900064B (zh) * 2014-11-19 2019-05-03 华为技术有限公司 调度数据流任务的方法和装置
US11372683B2 (en) * 2019-07-12 2022-06-28 Vmware, Inc. Placement of virtual GPU requests in virtual GPU enabled systems using a requested memory requirement of the virtual GPU request

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156264A (zh) * 2014-08-01 2014-11-19 西北工业大学 一种基于多gpu的基带信号处理任务并行实时调度方法
CN111400022A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种资源调度方法、装置及电子设备
CN111158879A (zh) * 2019-12-31 2020-05-15 上海依图网络科技有限公司 一种系统资源的调度方法，装置、机器可读介质和系统
CN111176852A (zh) * 2020-01-15 2020-05-19 上海依图网络科技有限公司 资源分配方法、装置、芯片及计算机可读存储介质
CN112181613A (zh) * 2020-09-09 2021-01-05 国家计算机网络与信息安全管理中心 异构资源分布式计算平台批量任务调度方法及存储介质
WO2021092634A2 (en) * 2021-03-05 2021-05-14 Futurewei Technologies, Inc. Acceleration of gpus in cloud computing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
云计算环境下多GPU资源调度机制研究;吕相文;袁家斌;张玉洁;;小型微型计算机系统(04);全文 *
深度学习云平台中GPU调度策略及任务并行化方法研究与应用;耿欣;中国优秀硕士学位论文全文数据库 信息科技辑(第05期);全文 *

Also Published As

Publication number Publication date
CN113391905A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN108345501B (zh) 一种分布式资源调度方法和系统
JP4112420B2 (ja) 重みを使用してアプリケーションにシステム資源を割当てる方法およびシステム
CN111782355B (zh) 一种基于混合负载的云计算任务调度方法及系统
US7225223B1 (en) Method and system for scaling of resource allocation subject to maximum limits
CN110543352B (zh) 调度系统的任务分配方法及其相关的装置
CN111104211A (zh) 基于任务依赖的计算卸载方法、系统、设备及介质
KR20130087257A (ko) Ｇｐｕ의 자원 할당을 위한 방법 및 장치
CN112181613B (zh) 异构资源分布式计算平台批量任务调度方法及存储介质
CN103455375B (zh) Hadoop云平台下基于负载监控的混合调度方法
CN112667380B (zh) 多处理器任务调度方法、装置及存储介质
CN116708451B (zh) 一种边云协同调度方法及系统
CN112817722A (zh) 一种基于优先级的分时调度方法、终端及存储介质
CN106775975B (zh) 进程调度方法及装置
CN109189581B (zh) 一种作业调度方法和装置
CN105320565A (zh) 一种针对多种应用软件的计算机资源调度方法
CN116610422A (zh) 一种任务调度方法、装置和系统
CN113391905B (zh) 基于多gpu的任务调度方法、装置
CN112445618A (zh) 多服务器集群任务分配方法、装置、设备及可读存储介质
CN117453360A (zh) 计算任务的资源调度方法及装置
CN104731662B (zh) 一种可变并行作业的资源分配方法
CN115712501A (zh) 一种适用于工程机械的云仿真方法和系统
CN115391020A (zh) 基于线程池的优先队列调度方法、系统、设备及存储介质
CN114265676A (zh) 集群资源调度方法、装置、设备及介质
CN112395063A (zh) 一种动态多线程调度方法及系统
CN111382139A (zh) 对数据库中同一账户的并行访问方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant