CN113742059B - 任务分配方法、装置、计算机设备和存储介质 - Google Patents
任务分配方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113742059B CN113742059B CN202110799030.3A CN202110799030A CN113742059B CN 113742059 B CN113742059 B CN 113742059B CN 202110799030 A CN202110799030 A CN 202110799030A CN 113742059 B CN113742059 B CN 113742059B
- Authority
- CN
- China
- Prior art keywords
- task
- operand
- processed
- tasks
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 48
- 238000004590 computer program Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 21
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000000977 initiatory effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本申请涉及一种任务分配方法、装置、计算机设备和存储介质。所述方法包括：接收待处理任务；获取各个运算元对应的工作状态和/或运算元类型；根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数；根据所述任务启动参数将所述待处理任务分配给所述目标运算元。采用本方法能够根据目前各个工业工作终端运算情况，更智能的调整启动参数，有效分配运算能力。智能的分配运算力，能使运算更快，更迅速的完成运算任务。智能的分配运算力，能有效的使用计算元的硬件成本。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种任务分配方法、装置、计算机设备和存储介质。
背景技术
卷积神经网络(Convolutional Neural Network,CNN)受生物自然视觉认识启发而来，对于大规模图像处理有出色表现，在图像分类、目标识别、目标定位以及语义分割等领域有着广泛应用。
在实际生产应用中，根据产品类型、生产条件、缺陷类型等，卷积神经网络需使用不同的网络模型才能达到最佳预测结果。此外，神经网络模型需要经过一定数据的训练才能部署到生产环境进行使用，因而图像分类任务常常分为两类：模型训练以及模型预测。模型训练任务需要将建模资料输入神经网络，根据输出和实际值的差异反向传播调整神经网络参数，经过反复调整，可以生成可供产线使用的AI模型；模型预测任务在产线辅助完成质量检测流程，其效果需依赖前序模型训练效果。
然而，目前的针对模型训练和模型预测任务均是采用专卡专用，即通过人工来指定某一运算元所执行的任务，这样需要耗费大量的人力，效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高分配效率，充分利用运算元的资源的任务分配方法、装置、计算机设备和存储介质。
一种任务分配方法，所述任务分配方法包括：
接收待处理任务；
获取各个运算元对应的工作状态和/或运算元类型；
根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数；
根据所述任务启动参数将所述待处理任务分配给所述目标运算元。
在其中一个实施例中，所述根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数，包括：
获取预先存储的各类型任务对应的任务大小；
根据所述各类型任务对应的任务大小、所述待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数。
在其中一个实施例中，所述根据所述各类型任务对应的任务大小、所述待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数，包括：
获取剩余使用量最多的运算元，并判断所获取的运算元的剩余使用量是否大于所述待处理任务对应的任务大小；
当所获取的运算元的剩余使用量小于等于所述待处理任务对应的任务大小时，计算所获取的运算元的剩余使用量小于等于所述待处理任务对应的任务大小的差值；
当根据所述各类型任务对应的任务大小确定所述差值对应的空间仍能处理任务时，则生成与所述待处理任务对应的任务大小对应的使用量参数，并确定所获取的运算元为目标运算元；
当根据所述各类型任务对应的任务大小确定所述差值对应的空间不能处理任务时，则生成与所获取的运算元的剩余使用量对应的使用量参数，并确定所获取的运算元为目标运算元。
在其中一个实施例中，所述运算元类型包括指定优先、占比例优先、依序优先以及训练优先中的至少一种；所述根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数，包括：
当所述运算元类型为指定优先时，选取与指定优先的任务类型对应的待处理任务分配给所述运算元，并根据所选取的运算元生成任务启动参数；
当所述运算元类型为占比例优先时，则获取待处理任务的任务类型的比例，根据待处理任务的任务类型的比例计算得到目标运算元以及任务启动参数；
当所述运算元类型为依序优先时，则依次获取待处理任务，并将所述待处理任务分配对应的目标运算元，并生成任务启动参数；
当所述运算元类型为训练优先时，则从所述待处理任务中获取训练任务，将所述训练任务分配对应的目标运算元，并生成任务启动参数。
在其中一个实施例中，所述工作状态包括日夜模式；所述根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数，包括：
根据所述待处理任务的类型以及所述日夜模式计算得到目标运算元以及任务启动参数。
在其中一个实施例中，所述方法还包括：
当分配器故障时，启动监控器，并通过所述监控器监控各运算元是否正常运行；
当所述运算元故障时，重启所述运算元。
一种任务分配装置，所述装置包括：
接收模块，用于接收待处理任务；
获取模块，用于获取各个运算元对应的工作状态和/或运算元类型；
计算模块，用于根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数；
分配模块，用于根据所述任务启动参数将所述待处理任务分配给所述目标运算元。
在其中一个实施例中，所述计算模块包括：
任务大小获取单元，用于获取预先存储的各类型任务对应的任务大小；
第一确定单元，用于根据所述各类型任务对应的任务大小、所述待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一个实施例中的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
上述任务分配方法、装置、计算机设备和存储介质，通过获取各个运算元对应的工作状态和/或运算元类型，然后根据工作状态和/或运算元类型来计算与待处理任务对应的目标运算元以及任务启动参数，不需要人工来进行分配，提高效率，此外，根据工作状态和/或运算元类型充分利用每个运算元的资源，提高资源的使用率。
附图说明
图1为一个实施例中任务分配方法的应用环境图；
图2为一个实施例中任务分配方法的流程示意图；
图3为一个实施例中任务分配的参考示意图；
图4为另一个实施例中监控器的工作任务图；
图5为一个实施例中任务分配装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的任务分配方法，可以应用于如图1所示的应用环境中。其中，终端、机台通过网络与分配器相连接，分配器与各个工业工作终端相连接，每个工业工作终端内安装有至少一张运算元卡，例如GPU卡，其中每一张GPU卡可以执行同个或者不同的人工智能模型，人工智能模型分为预测和训练两类，对单一或多个GPU卡做单类或者是同时两个类型的人工智能模型的工作分配。其中每个工业工作终端对应一个智能控制模块，该智能控制模块用于负责控制该工业工作终端中GPU的工作状态。分配器还与工作资料存仓促装置相通信以存取工作状态的资料。
具体地，终端和机台可以发送待处理任务，例如训练任务或者是预测任务给分配器，分配器缓存该些任务，例如将该些任务存储至对应的处理队列中，然后分配器获取各个运算元对应的工作状态和/或运算元类型，根据各个运算元对应的工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，这样分配器将任务启动参数和待处理任务分配给对应的工业工作终端的智能控制模块，该智能控制模块根据任务启动参数来控制对应的运算元执行待处理任务。
其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，分配器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种任务分配方法，以该方法应用于图1中的分配器为例进行说明，包括以下步骤：
S202：接收待处理任务。
具体地，待处理任务可以是机台或者是终端送给分配器的，该待处理任务可以为模型训练任务和/或模型预测任务。其中机台或终端可以通过网络将该待处理任务发送给分配器，分配器在接收到该些任务时，先将该些任务存储至任务队列中，然后按照时间顺序或者是按照各个运算元的运算元类型来对待处理任务进行分配，以使得对待处理任务进行动态分配，保证各个运算元的计算资源被充分利用。
S204：获取各个运算元对应的工作状态和/或运算元类型。
具体地，结合图3所示，该运算元的工作状态包括闲置、正在处理的任务以及日夜模式(图中标注在运算元参数中)，其中根据正在处理的任务可以确定运算元的剩余使用量。该运算元类型包括指定优先、占比例优先、依序优先以及训练优先中的至少一种。如图3所示，其中运算元类型和运算元参数是由用户预先设定的，其中指定优先是指用户指定了训练任务或预测任务优先。占比例优先是指根据任务队列中预测任务和训练任务的比例来确定优先处理的任务，依序优先是指按照任务队列中的任务的排列顺序来处理待处理任务，训练优先是指优先训练任务队列中的训练任务。运算元参数包括但不限于GPU编号、存储使用量、通信信息以及日夜模式。其中，任务的状态是指记录的工作列表中的各个任务的存储状态，包括执行中、排队和取消，分配器可以根据工作列表中的各个任务的存储状态来确定各个运算元的工作状态，并获取到工作列表中的任务进行分配，优先地，该工作列表是用于记录任务队列中的任务的。
S206：根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数。
其中，任务启动参数是触发运算元工作的必须参数，6)触发GPU运算时，必须获得触发的一些基本的条件：设定哪一张GPU卡；使用内存量；以后使用的运算元模型的数据从哪里获得；日夜模式(白天/夜晚切换工作模式)。
具体地，分配器根据各个运算元工作状态和/或运算元类型来计算得到目标运算元，并生成对应的任务启动参数，以实现对运算元的动态分配。
其中分配器可以根据各个工业工作电脑上报的GPU的工作状态，选取剩余使用量最大的GPU作为目标运算元，并根据待处理任务的任务大小和所选取的GPU的剩余使用量来生成对应的任务启动参数，该任务启动参数包括GPU的编号、所需要使用的存储量、待处理任务对应的数据的存储位置以及日夜模式。
其中分配器在对待处理任务进行分配时，还充分考虑到各个GPU对应的运算元类型，以将合适的任务分配给对应的GPU。例如根据运算元类型的设置选取合适的待处理任务分配给对应的运算元，并根据所选取的合适的待处理任务生成任务启动参数。
S208：根据任务启动参数将待处理任务分配给目标运算元。
具体地，分配器将任务启动参数发送给对应的工业工作终端，以使得工业工作终端根据任务启动参数控制对应的目标运算元的工作。
需要特别说明的是，分配器所接收的待处理任务是仅包括待处理任务，并不具有任务启动参数，即其并没有指示分配给某一个运算元，分配器是根据目前运算元的工作状态和/或运算元类型来进行自我调适，以获取到合适的目标运算元，并根据调适结果来确定对应的任务启动参数，最后根据所生成的任务启动参数来分配该待处理任务的。
上述任务分配方法，通过获取各个运算元对应的工作状态和/或运算元类型，然后根据工作状态和/或运算元类型来计算与待处理任务对应的目标运算元以及任务启动参数，不需要人工来进行分配，提高效率，此外，根据工作状态和/或运算元类型充分利用每个运算元的资源，提高资源的使用率。
在其中一个实施例中，根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，包括：获取预先存储的各类型任务对应的任务大小；根据各类型任务对应的任务大小、待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数。
具体地，各个类型的任务的大小基本是固定不变的，因此分配器中可以接收预先设置的各个类型的任务所对应的任务大小，例如预测任务需要4000M的GPU存储，训练任务需要5000M的GPU存储，在其他的实施例中，各个类型任务的任务大小可以随时间变化，其通过用户来进行预先设置。其中为了保证各个GPU的正常运行，分配器通过工业工作终端获取到各个运算元的当前使用量，并根据各个GPU的额定使用量来计算得到各个运算元对应的剩余使用量，例如一个GPU的额定使用量为16000M，其正在处理的任务为6000M，则其剩余使用量为10000M。分配器根据各类型任务对应的任务大小、待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元，并根据各运算元的剩余使用量和待处理任务对应的任务大小来确定任务启动参数中的使用参数。
上述实施例中，在进行任务分配的时候，充分考虑到各个运算元的剩余使用量以及各类型任务对应的任务大小，以实现对待处理任务的动态分配。
在其中一个实施例中，根据各类型任务对应的任务大小、待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数，包括：获取剩余使用量最多的运算元，并判断所获取的运算元的剩余使用量是否大于待处理任务对应的任务大小；当所获取的运算元的剩余使用量小于等于待处理任务对应的任务大小时，计算所获取的运算元的剩余使用量小于等于待处理任务对应的任务大小的差值；当根据各类型任务对应的任务大小确定差值对应的空间仍能处理任务时，则生成与待处理任务对应的任务大小对应的使用量参数，并确定所获取的运算元为目标运算元；当根据各类型任务对应的任务大小确定差值对应的空间不能处理任务时，则生成与所获取的运算元的剩余使用量对应的使用量参数，并确定所获取的运算元为目标运算元。
其中，在实际应用中，为了适配运算，分配器选择剩余使用量最多的运算元，然后判断所获取的运算元的剩余使用量是否大于待处理任务对应的任务大小，若是小于，则分配器可以将待处理任务进行拆分以得到多个子任务，然后将子任务进行分配，以完成任务的执行，其中子任务的分配的方法与原来的任务相同，仅是在子任务处理完成后，需要将处理完成的子任务进行组合，在此不再赘述。
分配器计算所获取的运算元的剩余使用量小于等于待处理任务对应的任务大小的差值，根据该差值判断是否还可以执行其他的任务，若是可以，则仅根据待处理任务的大小来生成启动参数，若是不能执行其他的任务，则根据剩余的实力能量来生成启动参数，以保证运算元资源的充分利用。
在实际应用中以，任务类型仅有A,B,C三种类型，其分别需要4000MB、5000MB、6000MB的GPU运算空间为例进行说明。
用户设定一待处理任务A，该待处理任务需要GPU运算，已知该类型运算至少需要4000MB GPU存储器，此信息发送给分配器。
分配器收到待处理任务，将该待处理任务发派给具有GPU与且剩余4000MB GPU存储器空间的工业工作终端，若该工业工作终端剩余GPU存储器空间为7000MB，考虑任务分别载入4000～6000MB，7000-4000后仅剩余3000MB，若使用4000MB启动，剩余3000MB无法启动任何ABC任务，故分配器将采用8000MB启动任务A待处理任务，使其运算更快，且更节省运算成本，避免3000MB运算存储器的闲置浪费。最终工业工作终端启用GPU与7000MB GPU存储器，执行运算。
上述实施例中，分配器根据目前各个工业工作终端运算情况，更智能的调整启动参数，有效分配运算能力。智能的分配运算力，能使运算更快，更迅速的完成运算任务。智能的分配运算力，能有效的使用计算元的硬件成本。
在其中一个实施例中，运算元类型包括指定优先、占比例优先、依序优先以及训练优先中的至少一种；根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，包括：当运算元类型为指定优先时，选取与指定优先的任务类型对应的待处理任务分配给运算元，并根据所选取的运算元生成任务启动参数当运算元类型为占比例优先时，则获取待处理任务的任务类型的比例，根据待处理任务的任务类型的比例计算得到目标运算元以及任务启动参数；当运算元类型为依序优先时，则依次获取待处理任务，并将待处理任务分配对应的目标运算元，并生成任务启动参数；当运算元类型为训练优先时，则从待处理任务中获取训练任务，将训练任务分配对应的目标运算元，并生成任务启动参数。
具体地，GPU卡工作的运算元类型定义工作模式，运算元有训练数据的话优先做训练。GPU卡闲置时若发现有训练代办，优先做训练。可依据以下条件安排训练顺序：机台训练资料量；待办训练/预测量；运算元的类型；接收资料时间；指定layer(半导体制程的层)。
GPU卡工作的运算元参数，可存储在存储装置里或其它方式进行储存，拥有GPU编号。参数包含：工作主机ID对应GPU的ID对应运算元类型；内存使用量；通信信息。
具体地，当分配给运算元的任务处理完成时，此时还存在其他待处理任务时，则根据运算元的类型进行任务分配。
例如若是指定优先，则根据运算元所指定的优先处理的类型来进行任务的分配，例如，若是运算元指定的类型为预测类型，则优先获取任务队列中的预测类型的待处理任务分配给该运算元，并根据运算元的工作状态来生成任务启动参数。
例如，若是运算元类型为占比例优先时，则获取到任务队列中的待处理任务的类型，并统计待处理任务的类型的比例，获取比例满足要求，例如比较最高的一种类型的任务的其中一个分配给该运算元，并根据运算元的工作状态来生成任务启动参数。
例如，若是运算元类型为依序优先时，则获取队列中的待处理任务的顺序，获取顺序排在前边的待处理任务分配给运算元，并根据运算元的工作状态来生成任务启动参数。
例如，若是运算元类型为训练优先时，则获取队列中的训练任务，并将所获取的训练任务分配给对应的运算元，并根据运算元的工作状态来生成任务启动参数。
在其中一个实施例中，工作状态包括日夜模式；根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，包括：根据待处理任务的类型以及日夜模式计算得到目标运算元以及任务启动参数。
其中，分配器还可以根据待处理任务的类型以及运算元的工作状态来进行分配，例如若是运算元设置成为日夜模式，也就是说为了保证预测任务的顺利执行，将训练任务设置为晚上执行，即优先执行预测任务。因此分配器可以根据需要结合各个任务的执行时间来对任务进行分配，以保证运算元在各个时间段的计算资源均被充分利用。
在其中一个实施例中，结合图4所示，该任务分配方法还包括：当分配器故障时，启动监控器，并通过监控器监控各运算元是否正常运行；当运算元故障时，重启运算元。
具体地，当分配器存在故障时，也即通过监控器来监控分配器是否故障，以做备源切换，且在存在故障的时候，重启运算元，以保证工作的正常进行。
其中，若是分配器存在问题，则可以重启整个系统，若是某个工业工作电脑存在问题，则可以单独启动该工业工作电脑。具体的启动的方案可以根据需要进行设置，以尽量减少对系统的影响为准。
其中，为了使得本领域技术人员充分理解本申请，下文将介绍一个详细的实施例进行说明：
首先分配器可以接收机台或者是终端发送的待处理任务，分配器将该些任务存储至任务队列中，并通过工作列表来记录该些任务的状态，包括执行中、排队中以及取消等，其中取消是机台或者终端对其自身发送的任务所进行的操作。
其次，分配器可以对该些待处理任务进行分配，其中分配可以是根据每个工业工作电脑所获取的其所对应的GPU的工作状态和/或运算元类型进行分配的。
其中具体的分配方式可以是，首先根据运算元类型获取适合执行该待处理任务的运算元，然后根据运算元的工作状态来继续选择合适的运算元。优先选择剩余使用量大的运算元作为目标运算元，且根据剩余使用量的大小与各个类型的任务大小进行比较以调整合适的使用量，例如若是剩余使用量的大小与待处理任务的任务大小的差值小于任意类型的任务大小时，则将剩余使用量作为该待处理任务的使用量，以提高该待处理任务的执行效率，若是剩余使用量的大小与待处理任务的任务大小的差值大于等于任意类型的任务大小，则仅获取与待处理任务的大小对应大小的使用量来执行该待处理任务，以使得GPU的资源被充分利用。
此外若是运算元执行完所分配的任务时，该运算元还可以主动获取待处理任务，具体地，可以根据运算元类型来从任务队列中获取对应的待处理任务以执行，具体可以参见上文中的指定优先、占比例优先、依序优先以及训练优先的处理方式。
在分配器确定了目标运算元后，还根据所生成的待处理任务的使用量、该待处理任务的数据存储地址生成任务启动参数，以保证对应的运算元的正常执行。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种任务分配装置，包括：接收模块100、获取模块200、计算模块300和分配模块400，其中：
接收模块100，用于接收待处理任务；
获取模块200，用于获取各个运算元对应的工作状态和/或运算元类型；
计算模块300，用于根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数；
分配模块400，用于根据任务启动参数将待处理任务分配给目标运算元。
在其中一个实施例中，计算模块300包括：
任务大小获取单元，用于获取预先存储的各类型任务对应的任务大小；
第一确定单元，用于根据各类型任务对应的任务大小、待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数。
在其中一个实施例中，上述第一确定单元包括：
第一获取单元，用于获取剩余使用量最多的运算元，并判断所获取的运算元的剩余使用量是否大于待处理任务对应的任务大小；
差值计算单元，用于当所获取的运算元的剩余使用量小于等于待处理任务对应的任务大小时，计算所获取的运算元的剩余使用量小于等于待处理任务对应的任务大小的差值；
第一分配单元，用于当根据各类型任务对应的任务大小确定差值对应的空间仍能处理任务时，则生成与待处理任务对应的任务大小对应的使用量参数，并确定所获取的运算元为目标运算元；当根据各类型任务对应的任务大小确定差值对应的空间不能处理任务时，则生成与所获取的运算元的剩余使用量对应的使用量参数，并确定所获取的运算元为目标运算元。
在其中一个实施例中，运算元类型包括指定优先、占比例优先、依序优先以及训练优先中的至少一种；计算模块300包括：
第二分配单元，用于当运算元类型为指定优先时，选取与指定优先的任务类型对应的待处理任务分配给运算元，并根据所选取的运算元生成任务启动参数；当运算元类型为占比例优先时，则获取待处理任务的任务类型的比例，根据待处理任务的任务类型的比例计算得到目标运算元以及任务启动参数；当运算元类型为依序优先时，则依次获取待处理任务，并将待处理任务分配对应的目标运算元，并生成任务启动参数；当运算元类型为训练优先时，则从待处理任务中获取训练任务，将训练任务分配对应的目标运算元，并生成任务启动参数。
在其中一个实施例中，工作状态包括日夜模式；上述计算模块300还用于根据待处理任务的类型以及日夜模式计算得到目标运算元以及任务启动参数。
在其中一个实施例中，上述分配装置还包括：
监控模块，用于当分配器故障时，启动监控器，并通过监控器监控各运算元是否正常运行；
重启模块，用于当运算元故障时，重启运算元。
关于任务分配装置的具体限定可以参见上文中对于任务分配方法的限定，在此不再赘述。上述任务分配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各个运算元的工作状态和运算元类型的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务分配方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：接收待处理任务；获取各个运算元对应的工作状态和/或运算元类型；根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数；根据任务启动参数将待处理任务分配给目标运算元。
在一个实施例中，处理器执行计算机程序时所涉及的根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，包括：获取预先存储的各类型任务对应的任务大小；根据各类型任务对应的任务大小、待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数。
在一个实施例中，处理器执行计算机程序时所涉及的根据各类型任务对应的任务大小、待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数，包括：获取剩余使用量最多的运算元，并判断所获取的运算元的剩余使用量是否大于待处理任务对应的任务大小；当所获取的运算元的剩余使用量小于等于待处理任务对应的任务大小时，计算所获取的运算元的剩余使用量小于等于待处理任务对应的任务大小的差值；当根据各类型任务对应的任务大小确定差值对应的空间仍能处理任务时，则生成与待处理任务对应的任务大小对应的使用量参数，并确定所获取的运算元为目标运算元；当根据各类型任务对应的任务大小确定差值对应的空间不能处理任务时，则生成与所获取的运算元的剩余使用量对应的使用量参数，并确定所获取的运算元为目标运算元。
在一个实施例中，处理器执行计算机程序时所涉及的运算元类型包括指定优先、占比例优先、依序优先以及训练优先中的至少一种；处理器执行计算机程序时所涉及的根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，包括：当运算元类型为指定优先时，选取与指定优先的任务类型对应的待处理任务分配给运算元，并根据所选取的运算元生成任务启动参数；当运算元类型为占比例优先时，则获取待处理任务的任务类型的比例，根据待处理任务的任务类型的比例计算得到目标运算元以及任务启动参数；当运算元类型为依序优先时，则依次获取待处理任务，并将待处理任务分配对应的目标运算元，并生成任务启动参数；当运算元类型为训练优先时，则从待处理任务中获取训练任务，将训练任务分配对应的目标运算元，并生成任务启动参数。
在一个实施例中，处理器执行计算机程序时所涉及的工作状态包括日夜模式；处理器执行计算机程序时所涉及的根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，包括：根据待处理任务的类型以及日夜模式计算得到目标运算元以及任务启动参数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当分配器故障时，启动监控器，并通过监控器监控各运算元是否正常运行；当运算元故障时，重启运算元。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收待处理任务；获取各个运算元对应的工作状态和/或运算元类型；根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数；根据任务启动参数将待处理任务分配给目标运算元。
在一个实施例中，计算机程序被处理器执行时所涉及的根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，包括：获取预先存储的各类型任务对应的任务大小；根据各类型任务对应的任务大小、待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数。
在一个实施例中，计算机程序被处理器执行时所涉及的根据各类型任务对应的任务大小、待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数，包括：获取剩余使用量最多的运算元，并判断所获取的运算元的剩余使用量是否大于待处理任务对应的任务大小；当所获取的运算元的剩余使用量小于等于待处理任务对应的任务大小时，计算所获取的运算元的剩余使用量小于等于待处理任务对应的任务大小的差值；当根据各类型任务对应的任务大小确定差值对应的空间仍能处理任务时，则生成与待处理任务对应的任务大小对应的使用量参数，并确定所获取的运算元为目标运算元；当根据各类型任务对应的任务大小确定差值对应的空间不能处理任务时，则生成与所获取的运算元的剩余使用量对应的使用量参数，并确定所获取的运算元为目标运算元。
在一个实施例中，计算机程序被处理器执行时所涉及的运算元类型包括指定优先、占比例优先、依序优先以及训练优先中的至少一种；计算机程序被处理器执行时所涉及的根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，包括：当运算元类型为指定优先时，选取与指定优先的任务类型对应的待处理任务分配给运算元，并根据所选取的运算元生成任务启动参数；当运算元类型为占比例优先时，则获取待处理任务的任务类型的比例，根据待处理任务的任务类型的比例计算得到目标运算元以及任务启动参数；当运算元类型为依序优先时，则依次获取待处理任务，并将待处理任务分配对应的目标运算元，并生成任务启动参数；当运算元类型为训练优先时，则从待处理任务中获取训练任务，将训练任务分配对应的目标运算元，并生成任务启动参数。
在一个实施例中，计算机程序被处理器执行时所涉及的工作状态包括日夜模式；计算机程序被处理器执行时所涉及的根据工作状态和/或运算元类型计算得到目标运算元以及任务启动参数，包括：根据待处理任务的类型以及日夜模式计算得到目标运算元以及任务启动参数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当分配器故障时，启动监控器，并通过监控器监控各运算元是否正常运行；当运算元故障时，重启运算元。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种任务分配方法，其特征在于，所述任务分配方法包括：
接收待处理任务，将所述待处理任务存储至任务队列中；
获取各个运算元对应的工作状态和/或运算元类型；
根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数；
根据所述任务启动参数将所述待处理任务分配给所述目标运算元；
所述根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数，包括：
获取预先存储的各类型任务对应的任务大小；
根据所述各类型任务对应的任务大小、所述待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数；
所述根据所述各类型任务对应的任务大小、所述待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数，包括：
获取剩余使用量最多的运算元，并判断所获取的运算元的剩余使用量是否大于所述待处理任务对应的任务大小；
当所获取的运算元的剩余使用量大于所述待处理任务对应的任务大小时，计算所获取的运算元的剩余使用量与所述待处理任务对应的任务大小的差值；
当根据所述各类型任务对应的任务大小确定所述差值对应的空间仍能处理所述任务队列中其他任务时，则生成与所述待处理任务对应的任务大小对应的使用量参数，并确定所获取的运算元为目标运算元；
当根据所述各类型任务对应的任务大小确定所述差值对应的空间不能处理所述任务队列中其他任务时，则生成与所获取的运算元的剩余使用量对应的使用量参数，并确定所获取的运算元为目标运算元。
2.根据权利要求1所述的方法，其特征在于，所述运算元类型包括指定优先、占比例优先、依序优先以及训练优先中的至少一种；所述根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数，包括：
当所述运算元类型为指定优先时，选取与指定优先的任务类型对应的待处理任务分配给所述运算元，并根据所选取的运算元生成任务启动参数；
当所述运算元类型为占比例优先时，则获取待处理任务的任务类型的比例，根据待处理任务的任务类型的比例计算得到目标运算元以及任务启动参数；
当所述运算元类型为依序优先时，则依次获取待处理任务，并将所述待处理任务分配对应的目标运算元，并生成任务启动参数；
当所述运算元类型为训练优先时，则从所述待处理任务中获取训练任务，将所述训练任务分配对应的目标运算元，并生成任务启动参数。
3.根据权利要求1至2任意一项所述的方法，其特征在于，所述工作状态包括日夜模式；所述根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数，包括：
根据所述待处理任务的类型以及所述日夜模式计算得到目标运算元以及任务启动参数。
4.根据权利要求1至2任意一项所述的方法，其特征在于，所述方法还包括：
当分配器故障时，启动监控器，并通过所述监控器监控各运算元是否正常运行；
当所述运算元故障时，重启所述运算元。
5.一种任务分配装置，其特征在于，所述装置包括：
接收模块，用于接收待处理任务，将所述待处理任务存储至任务队列中；
获取模块，用于获取各个运算元对应的工作状态和/或运算元类型；
计算模块，用于根据所述工作状态和/或所述运算元类型计算得到目标运算元以及任务启动参数；
分配模块，用于根据所述任务启动参数将所述待处理任务分配给所述目标运算元；
所述计算模块包括：
任务大小获取单元，用于获取预先存储的各类型任务对应的任务大小；
第一确定单元，用于根据所述各类型任务对应的任务大小、所述待处理任务对应的任务大小以及各运算元的剩余使用量确定目标运算元以及任务启动参数；
所述第一确定单元具体用于：
获取剩余使用量最多的运算元，并判断所获取的运算元的剩余使用量是否大于所述待处理任务对应的任务大小；
当所获取的运算元的剩余使用量大于所述待处理任务对应的任务大小时，计算所获取的运算元的剩余使用量与所述待处理任务对应的任务大小的差值；
当根据所述各类型任务对应的任务大小确定所述差值对应的空间仍能处理所述任务队列中其他任务时，则生成与所述待处理任务对应的任务大小对应的使用量参数，并确定所获取的运算元为目标运算元；
当根据所述各类型任务对应的任务大小确定所述差值对应的空间不能处理所述任务队列中其他任务时，则生成与所获取的运算元的剩余使用量对应的使用量参数，并确定所获取的运算元为目标运算元。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110799030.3A CN113742059B (zh) | 2021-07-15 | 2021-07-15 | 任务分配方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110799030.3A CN113742059B (zh) | 2021-07-15 | 2021-07-15 | 任务分配方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113742059A CN113742059A (zh) | 2021-12-03 |
| CN113742059B true CN113742059B (zh) | 2024-03-29 |
Family
ID=78728667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110799030.3A Active CN113742059B (zh) | 2021-07-15 | 2021-07-15 | 任务分配方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113742059B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116302404B (zh) * | 2023-02-16 | 2023-10-03 | 北京大学 | 面向资源解耦合数据中心的服务器无感知计算调度方法 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070025667A (ko) * | 2005-09-05 | 2007-03-08 | 주식회사 태울엔터테인먼트 | 클러스터 시스템을 제어하는 방법 |
| CN103227838A (zh) * | 2013-05-10 | 2013-07-31 | 中国工商银行股份有限公司 | 一种多重负载均衡处理装置与方法 |
| CN106911772A (zh) * | 2017-02-20 | 2017-06-30 | 联想(北京)有限公司 | 服务器分配方法、服务器分配装置以及电子设备 |
| CN108132840A (zh) * | 2017-11-16 | 2018-06-08 | 浙江工商大学 | 一种分布式系统中的资源调度方法及装置 |
| CN109345108A (zh) * | 2018-09-26 | 2019-02-15 | 湖南人文科技学院 | 任务分配方法、装置、设备及存储介质 |
| CN109471705A (zh) * | 2017-09-08 | 2019-03-15 | 杭州海康威视数字技术股份有限公司 | 任务调度的方法、设备及系统、计算机设备 |
| CN110347515A (zh) * | 2019-07-17 | 2019-10-18 | 国网四川省电力公司电力科学研究院 | 一种适合边缘计算环境的资源优化分配方法 |
| CN110362407A (zh) * | 2019-07-19 | 2019-10-22 | 中国工商银行股份有限公司 | 计算资源调度方法及装置 |
| CN111158879A (zh) * | 2019-12-31 | 2020-05-15 | 上海依图网络科技有限公司 | 一种系统资源的调度方法，装置、机器可读介质和系统 |
| CN111176852A (zh) * | 2020-01-15 | 2020-05-19 | 上海依图网络科技有限公司 | 资源分配方法、装置、芯片及计算机可读存储介质 |
| CN111190712A (zh) * | 2019-12-25 | 2020-05-22 | 北京推想科技有限公司 | 一种任务调度方法、装置、设备及介质 |
| CN111190718A (zh) * | 2020-01-07 | 2020-05-22 | 第四范式（北京）技术有限公司 | 实现任务调度的方法、装置及系统 |
| CN111221631A (zh) * | 2018-11-23 | 2020-06-02 | 中国移动通信集团有限公司 | 一种任务调度方法、装置及存储介质 |
| CN111738404A (zh) * | 2020-05-08 | 2020-10-02 | 深圳市万普拉斯科技有限公司 | 模型训练任务处理方法、装置、电子设备和存储介质 |
| CN112001659A (zh) * | 2020-09-02 | 2020-11-27 | 平安养老保险股份有限公司 | 共享任务分配方法、装置、计算机设备及计算机可读介质 |
| CN112148468A (zh) * | 2019-06-28 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 一种资源调度方法、装置、电子设备及存储介质 |
| CN112416599A (zh) * | 2020-12-03 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 一种资源调度方法、装置、设备及计算机可读存储介质 |
| CN112579304A (zh) * | 2020-12-30 | 2021-03-30 | 成都佳华物链云科技有限公司 | 基于分布式平台的资源调度方法、装置、设备及介质 |
| CN112905350A (zh) * | 2021-03-22 | 2021-06-04 | 北京市商汤科技开发有限公司 | 任务调度方法及装置、电子设备和存储介质 |
| CN112948111A (zh) * | 2021-02-26 | 2021-06-11 | 北京奇艺世纪科技有限公司 | 一种任务分配方法、装置、设备及计算机可读介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6316522B1 (ja) * | 2017-01-25 | 2018-04-25 | 三菱電機株式会社 | 計算機装置、タスク起動方法およびタスク起動プログラム |
-
2021
- 2021-07-15 CN CN202110799030.3A patent/CN113742059B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070025667A (ko) * | 2005-09-05 | 2007-03-08 | 주식회사 태울엔터테인먼트 | 클러스터 시스템을 제어하는 방법 |
| CN103227838A (zh) * | 2013-05-10 | 2013-07-31 | 中国工商银行股份有限公司 | 一种多重负载均衡处理装置与方法 |
| CN106911772A (zh) * | 2017-02-20 | 2017-06-30 | 联想(北京)有限公司 | 服务器分配方法、服务器分配装置以及电子设备 |
| CN109471705A (zh) * | 2017-09-08 | 2019-03-15 | 杭州海康威视数字技术股份有限公司 | 任务调度的方法、设备及系统、计算机设备 |
| CN108132840A (zh) * | 2017-11-16 | 2018-06-08 | 浙江工商大学 | 一种分布式系统中的资源调度方法及装置 |
| CN109345108A (zh) * | 2018-09-26 | 2019-02-15 | 湖南人文科技学院 | 任务分配方法、装置、设备及存储介质 |
| CN111221631A (zh) * | 2018-11-23 | 2020-06-02 | 中国移动通信集团有限公司 | 一种任务调度方法、装置及存储介质 |
| CN112148468A (zh) * | 2019-06-28 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 一种资源调度方法、装置、电子设备及存储介质 |
| CN110347515A (zh) * | 2019-07-17 | 2019-10-18 | 国网四川省电力公司电力科学研究院 | 一种适合边缘计算环境的资源优化分配方法 |
| CN110362407A (zh) * | 2019-07-19 | 2019-10-22 | 中国工商银行股份有限公司 | 计算资源调度方法及装置 |
| CN111190712A (zh) * | 2019-12-25 | 2020-05-22 | 北京推想科技有限公司 | 一种任务调度方法、装置、设备及介质 |
| CN111158879A (zh) * | 2019-12-31 | 2020-05-15 | 上海依图网络科技有限公司 | 一种系统资源的调度方法，装置、机器可读介质和系统 |
| CN111190718A (zh) * | 2020-01-07 | 2020-05-22 | 第四范式（北京）技术有限公司 | 实现任务调度的方法、装置及系统 |
| CN111176852A (zh) * | 2020-01-15 | 2020-05-19 | 上海依图网络科技有限公司 | 资源分配方法、装置、芯片及计算机可读存储介质 |
| CN111738404A (zh) * | 2020-05-08 | 2020-10-02 | 深圳市万普拉斯科技有限公司 | 模型训练任务处理方法、装置、电子设备和存储介质 |
| CN112001659A (zh) * | 2020-09-02 | 2020-11-27 | 平安养老保险股份有限公司 | 共享任务分配方法、装置、计算机设备及计算机可读介质 |
| CN112416599A (zh) * | 2020-12-03 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 一种资源调度方法、装置、设备及计算机可读存储介质 |
| CN112579304A (zh) * | 2020-12-30 | 2021-03-30 | 成都佳华物链云科技有限公司 | 基于分布式平台的资源调度方法、装置、设备及介质 |
| CN112948111A (zh) * | 2021-02-26 | 2021-06-11 | 北京奇艺世纪科技有限公司 | 一种任务分配方法、装置、设备及计算机可读介质 |
| CN112905350A (zh) * | 2021-03-22 | 2021-06-04 | 北京市商汤科技开发有限公司 | 任务调度方法及装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 在线多任务异构云服务器负载均衡算法研究;徐爱萍;吴笛;徐武平;陈军;;计算机科学;20160615(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113742059A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108845884B (zh) | 物理资源分配方法、装置、计算机设备和存储介质 | |
| CN107688492B (zh) | 资源的控制方法、装置和集群资源管理系统 | |
| CN111104208B (zh) | 进程调度管理方法、装置、计算机设备及存储介质 | |
| US10884667B2 (en) | Storage controller and IO request processing method | |
| CN111813523A (zh) | 时长预估模型生成方法、系统资源调度方法、装置、电子设备和存储介质 | |
| CN107480078A (zh) | 一种总线带宽分配方法、装置及芯片 | |
| US20140137122A1 (en) | Modified backfill scheduler and a method employing frequency control to reduce peak cluster power requirements | |
| CN112486642B (zh) | 资源调度方法、装置、电子设备及计算机可读存储介质 | |
| CN104598311A (zh) | 一种面向Hadoop的实时作业公平调度的方法和装置 | |
| CN111190739A (zh) | 一种资源分配方法、装置、电子设备及存储介质 | |
| CN111338779A (zh) | 资源分配方法、装置、计算机设备和存储介质 | |
| CN113742059B (zh) | 任务分配方法、装置、计算机设备和存储介质 | |
| CN116743825A (zh) | 服务器管理方法、装置、计算机设备和存储介质 | |
| CN110308991A (zh) | 一种基于随机任务的数据中心节能优化方法及系统 | |
| CN115421920A (zh) | 金融产品的任务管理方法及装置、电子设备、存储介质 | |
| CN115952054A (zh) | 一种仿真任务资源管理方法、装置、设备及介质 | |
| CN113220429B (zh) | Java线程池的任务处理方法、装置、设备和介质 | |
| Bagga et al. | Moldable load scheduling using demand adjustable policies | |
| JP6773229B2 (ja) | ストレージコントローラおよびｉｏリクエスト処理方法 | |
| CN115564635A (zh) | 一种gpu资源调度方法、装置、电子设备及存储介质 | |
| Zhang et al. | An effective heuristic for due-date-constrained bag-of-tasks scheduling problem for total cost minimization on hybrid clouds | |
| CN112860442A (zh) | 资源配额调整方法、装置、计算机设备和存储介质 | |
| Khojasteh et al. | Characterizing energy consumption of IaaS clouds in non-saturated operation | |
| US20190294474A1 (en) | Predictive queue map for parallel computing resource management | |
| CN110955644A (zh) | 一种存储系统的io控制方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |