CN114461384A - 任务执行方法、装置、计算机设备和存储介质 - Google Patents

任务执行方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114461384A
CN114461384A CN202111631224.9A CN202111631224A CN114461384A CN 114461384 A CN114461384 A CN 114461384A CN 202111631224 A CN202111631224 A CN 202111631224A CN 114461384 A CN114461384 A CN 114461384A
Authority
CN
China
Prior art keywords
task
resource
target task
target
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111631224.9A
Other languages
English (en)
Inventor
王新乐
吴立
郑溢淳
江达秀
俞昊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111631224.9A priority Critical patent/CN114461384A/zh
Publication of CN114461384A publication Critical patent/CN114461384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种任务执行方法、装置、计算机设备和存储介质。所述方法包括：基于任务队列中待处理任务的优先级确定目标任务；判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；若匹配，则执行所述目标任务。上述任务执行方法根据用户的优先级对算法任务的调度次序进行自适应调整，并且依据任务需求与当前资源自适应的对待处理任务进行逐一调度，能有效的降低服务器资源的空置率，提升资源的利用效能。

Description

任务执行方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种任务执行方法、装置、计算机设备和存储介质。
背景技术
目前，随着人工智能逐步深入各个行业领域，行业专家也趋向于从人工智能的角度来去解决那些复杂的问题，各种算法框架被应用到各个领域中，同时算法模型也正在不断地被算法工程师改进，这些变化需要强大的算力去支持。
在深度学习技术领域，深度学习模型的训练过程是必不可少的。深度学习模型的训练过程可以看成深度学习训练任务。深度学习训练任务的管理系统可以对多个深度学习训练任务的训练过程进行管理，使得多个深度学习训练任务按照顺序进行训练。
目前的训练任务依赖于用户手动创建并设置启动时间，但每个训练任务的结束时间具有不确定性，按固定时间启动和结束，会导致在两个训练任务之间存在空档，导致服务器资源空置，资源利用率低。
发明内容
基于此，有必要针对上述技术问题，提供一种任务执行方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种任务执行方法。所述方法包括：
基于任务队列中待处理任务的优先级确定目标任务；
判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；
若匹配，则执行所述目标任务。
在其中一个实施例中，所述基于任务队列中待处理任务的优先级确定目标任务之前包括：
基于所述待处理任务对应的用户权限以及排队时间确定权重值；
基于所述权重值确定所述待处理任务的优先级。
在其中一个实施例中，所述目标任务包括多个集群的目标任务，判断所述目标任务的资源需求与当前可用资源是否匹配包括：
基于集群优先级进行轮询，判断每个集群的所述目标任务的资源需求与当前集群的实时资源是否匹配；
若匹配，则判断所述目标任务的资源需求与实时配额是否匹配。
在其中一个实施例中，所述判断所述目标任务的资源需求与当前可用资源是否匹配包括：
获取所述目标任务的资源需求类型以及资源需求数量；
基于所述资源需求类型获取所述当前可用资源；
判断所述资源需求数量与所述当前可用资源是否匹配。
在其中一个实施例中，所述判断所述目标任务的资源需求与当前可用资源是否匹配之后还包括：
若不匹配，则基于所述待处理任务的优先级重新确定目标任务。
在其中一个实施例中，所述判断所述目标任务的资源需求与当前可用资源是否匹配之后还包括：
若不匹配，则将所述匹配结果以及不匹配原因展示在显示界面上。
在其中一个实施例中，所述待处理任务包括深度学习的训练任务。
第二方面，本申请还提供了一种任务执行装置。所述装置包括：
任务确定模块，用于基于任务队列中待处理任务的优先级确定目标任务；
判断模块，用于判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；
执行模块，用于若匹配，则执行所述目标任务。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
基于任务队列中待处理任务的优先级确定目标任务；
判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；
若匹配，则执行所述目标任务。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
基于任务队列中待处理任务的优先级确定目标任务；
判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；
若匹配，则执行所述目标任务。
上述任务执行方法、装置、计算机设备和存储介质，通过基于任务队列中待处理任务的优先级确定目标任务；判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；若匹配，则执行所述目标任务的方式，根据用户的优先级对算法任务的调度次序进行自适应调整，并且依据任务需求与当前资源自适应的对待处理任务进行逐一调度，能有效的降低服务器资源的空置率，提升资源的利用效能。
附图说明
图1为本发明一个实施例中任务执行方法的应用环境图；
图2为本发明一个实施例中任务执行方法的流程示意图；
图3为本发明另一个实施例中任务执行方法的流程示意图；
图4为本发明一个实施例中任务执行方法的任务队列的示意图；
图5为本发明一个实施例中任务执行装置的结构框图；
图6为本发明一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的任务执行方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种任务执行方法，包括以下步骤：
步骤S201，基于任务队列中待处理任务的优先级确定目标任务。
可以理解的，任务队列中的任务为用户提交的需要进行处理的任务，在不同的应用场景下，可以为不同类型的任务，例如深度学习的训练任务、图像识别任务等，需要占用服务器的算力资源进行处理，此处不作具体限定。示例性地，每个待处理任务具有不同的优先级，可以与任务类型、提交时间、用户权限等因素有关，此处不作具体限定。在本实施例中，将待处理任务中优先级高的确定为目标任务。
步骤S202，判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额。
示例性地，当前可用资源为当前可以供给给所述目标任务使用的服务器资源，具体的，服务器的部分资源会用在处理任务之外的其他地方，此时能供给给所述目标任务使用的服务器资源的上限为总的服务器资源减去已使用的服务器资源，可以理解的，当服务器未处理其他事务时，服务器的实时资源即为服务器总资源；同时，不同用户具有不同权限，根据用户权限给用户分配不同的资源配额，用户的部分资源配额会用在处理任务之外的其他地方，此时能供给给所述目标任务使用的实时配额为总的资源配额减去已使用的资源配额，可以理解的，当用户未处理其他事务时，目标任务的实时配额即为用户权限对应的资源配额。
步骤S203，若匹配，则执行所述目标任务。
在本实施例中，仅在服务器的实时资源以及所述目标任务的实时配额均满足目标任务的资源需求时，则匹配完成，调用对应的服务器资源执行所述目标任务。
上述任务执行方法，通过基于任务队列中待处理任务的优先级确定目标任务；判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；若匹配，则执行所述目标任务的方式，根据用户的优先级对算法任务的调度次序进行自适应调整，并且依据任务需求与当前资源自适应的对待处理任务进行逐一调度，能有效的降低服务器资源的空置率，提升资源的利用效能。
在另一个实施例中，所述基于任务队列中待处理任务的优先级确定目标任务之前包括如下步骤：
步骤1，基于所述待处理任务对应的用户权限以及排队时间确定权重值；
步骤2，基于所述权重值确定所述待处理任务的优先级。
可以理解的，每个用户具有不同用户权限，对应的，具有不同的优先级等级。示例性地，用户权限越大的用户，优先级越高。在本实施例中，用户权限为同一级别的用户提交的任务，根据排队时间确定权重值，先排队的任务权重值更高；用户权限级别不同的用户提交的任务，结合待处理任务提交时间的先后顺序和用户自身优先级赋予每个待处理任务一个新权重值。在本实施例中，权重值越高的待处理任务，优先级越高。可以理解的，计算权重值时，用户权限以及排队时间的比例可以根据实际需求进行设定，此处不做具体限定。
上述实施例，同时考虑用户权限与排队时间两个因素进行权重值计算，以确定任务的优先级，综合考虑待处理任务的重要程度以及等待时间，以对待处理任务进行排序，排序更加合理。
在另一个实施例中，所述目标任务包括多个集群的目标任务，判断所述目标任务的资源需求与当前可用资源是否匹配包括如下步骤：
步骤1，基于集群优先级进行轮询，判断每个集群的所述目标任务的资源需求与当前集群的实时资源是否匹配；
步骤2，若匹配，则判断所述目标任务的资源需求与实时配额是否匹配。
在本实施例中，服务器包括多个集群，每个集群分配有对应额度的资源，且具有不同的优先级。示例性地，先根据集群的优先级进行横向轮询，从优先级高的集群开始，依次判断每个集群中优先级最高的目标任务所需的资源是否超过集群的实时资源，此处的实时资源可以为服务器实时分配给该集群的资源配额，也可以为该集群的资源配额减去已使用的资源配额，即当前可用资源，本实施例中不作具体限定；若目标任务所需的资源未超过集群的实时资源，则继续判断目标任务所需的资源是否超过该任务对应的用户的实时配额，若未超过，则执行该目标任务；若目标任务所需的资源超过集群的实时资源，则直接跳过该集群，继续横向轮询下一个优先级的集群，该集群的后续任务全部等待，当集群的资源满足后才进行后续任务的调度。
在其他实施例中，也可以先判断该集群的目标任务所需的资源是否超过用户的实施配额，再判断目标任务所需的资源是否超过集群的实时资源，此处不再赘述。
在另一个实施例中，所述判断所述目标任务的资源需求与当前可用资源是否匹配包括如下步骤：
步骤1，获取所述目标任务的资源需求类型以及资源需求数量；
步骤2，基于所述资源需求类型获取所述当前可用资源；
步骤3，判断所述资源需求数量与所述当前可用资源是否匹配。
可以理解的，不同的任务需求的资源类型可能不同，服务器中可调动的各类型的资源数量也不同，因此，先获取目标任务需求的资源类型以及对该类型资源的需求数量，再获取服务器中该类型资源的可用数量，再判断两者是否匹配。
示例性地，以资源为显卡资源为例，目标任务需要调动两张GTX 1080ti的显卡，服务器中可用资源为3张GTX 1070ti的显卡和1张GTX 1080ti的显卡，此时，虽然服务器全部的可用显卡数量满足要求，但满足目标任务需求类型的GTX 1080ti的显卡仅有一张，不满足目标任务的需求，也无法执行目标任务。
上述实施例，在判断目标任务的需求时，具体考虑需求类型以及对应的需求数量，判断更加准确，处理效率更高。
在另一个实施例中，所述判断所述目标任务的资源需求与当前可用资源是否匹配之后还包括如下步骤：
若不匹配，则基于所述待处理任务的优先级重新确定目标任务。
可以理解的，若所述目标任务的资源需求与当前可用资源不匹配，则当前目标任务无法执行，将该任务搁置，从任务队列中的其他待处理任务中根据优先级重新选择目标任务。
在另一个实施例中，所述判断所述目标任务的资源需求与当前可用资源是否匹配之后还包括如下步骤：
若不匹配，则将所述匹配结果以及不匹配原因展示在显示界面上。
在本实施例中，记录不匹配的待处理任务的不匹配原因，例如由于用户配额不足导致不匹配，由于服务器实时资源不足导致不匹配等原因，并将不匹配原因展示在与用户的交互界面上。
上述实施例，通过记录待处理任务的不匹配原因并展示给用户，用户可根据不匹配原因对待处理任务或可用资源进行灵活调整，提高运行效率。
在另一个实施例中，所述待处理任务包括深度学习的训练任务。
可以理解的，待处理任务在不同的应用场景下，可以为不同类型的任务，例如深度学习的训练任务、图像识别任务等，需要占用服务器的算力资源进行处理。在本实施例中，待处理任务为深度学习的训练任务。
在另一个实施例中，所述任务执行方法还包括：
用户通过网页提交算法任务，任务信息中表明算法任务所需gpu卡数，gpu卡类型，cpu核数，运行的镜像环境和算法demo存放的工作目录等所需资源信息。同时每个用户有自己的优先级等级，该优先级等级会赋予到用户提交的算法任务上。算法任务提交成功后，每个算法任务所需的资源信息会与算法任务一起根据优先级存放在redis任务队列中。中心任务调度服务的监控进程不停的对每个算法任务的内容作进一步确认，若满足资源和配额条件则进行调度工作，若不满足则继续轮询直至条件满足。
示例性地，中心任务调度服务的监控进程不停的轮巡redis任务队列中权重值最大的算法任务，对权重值最大的算法任务进行用户配额，用户的显卡类型配额和集群的剩余配额的校验。当用户配额，用户的显卡类型配额和集群的剩余配额不满足时，该任务将不予调度训练，继续轮询后续的算法任务，同时会在redis任务队列中生成任务排队原因的哈希表，即排队原因队列。
在排队原因队列中，记录了每个任务具体的排队原因，如：因用户配额不足排队，因对应类型配额不足排队和因集群资源不足排队等。任务的排队原因将通过网页展示给用户。
请参阅图3，图3为本发明另一实施例的任务执行方法的流程示意图。在本实施例中，所述任务执行方法还包括：
监控进程遍历所有的集群并查询redis任务队列中的全部待处理任务，当任务队列为空时，则不存在排队任务，监控进程继续轮询。当任务队列不为空时，则获取每个集群的任务队列中权重值最高的任务，判断当前权重值最高的任务对应的用户各项配额是否满足需求，当不满足时，监控进程继续轮巡。当用户各项配额满足时，判断当前任务提交所需的gpu资源是否超过集群的最大gpu配额，当超过集群的最大gpu配额时，监控进程继续轮巡。当集群的最大配额也满足需求时，则将该任务放进调度队列中进行调度和算法训练等后续工作，同时将该任务从redis任务队列删除。
请参阅图4，图4为本发明一实施例的任务执行方法的任务队列的示意图。在本实施例中，存在集群1、集群2以及集群3三个集群，每个集群有对应的任务队列，其中每个任务携带有资源需求，例如任务1需要8卡的资源，即需要8张显卡的资源才能执行；其中，任务1同时存在于集群1和集群2的任务队列中。在本实施例中，三个集群的优先级顺序从高到低依次为集群1、集群2、集群3，集群1的任务队列中的任务的优先级顺序从高到低依次为任务1、任务4、任务5、任务6，集群2的任务队列中的任务的优先级顺序从高到低依次为任务1、任务7、任务8，集群3的任务队列中仅存在任务2。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的任务执行方法的任务执行装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个任务执行装置实施例中的具体限定可以参见上文中对于任务执行方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种任务执行装置，包括：任务确定模块10、判断模块20和执行模块30，其中：
任务确定模块10，用于基于任务队列中待处理任务的优先级确定目标任务。
任务确定模块10，还用于：
若不匹配，则基于所述待处理任务的优先级重新确定目标任务。
判断模块20，用于判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额。
判断模块20，还用于：
基于集群优先级进行轮询，判断每个集群的所述目标任务的资源需求与当前集群的实时资源是否匹配；
若匹配，则判断所述目标任务的资源需求与实时配额是否匹配。
判断模块20，还用于：
获取所述目标任务的资源需求类型以及资源需求数量；
基于所述资源需求类型获取所述当前可用资源；
判断所述资源需求数量与所述当前可用资源是否匹配。
执行模块30，用于若匹配，则执行所述目标任务。
所述任务执行装置，还包括：优先级确定模块。
优先级确定模块，用于：
基于所述待处理任务对应的用户权限以及排队时间确定权重值；
基于所述权重值确定所述待处理任务的优先级。
所述任务执行装置，还包括：展示模块。
展示模块，用于：
若不匹配，则将所述匹配结果以及不匹配原因展示在显示界面上。
上述任务执行装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理任务的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务执行方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
基于任务队列中待处理任务的优先级确定目标任务；
判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；
若匹配，则执行所述目标任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于所述待处理任务对应的用户权限以及排队时间确定权重值；
基于所述权重值确定所述待处理任务的优先级。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于集群优先级进行轮询，判断每个集群的所述目标任务的资源需求与当前集群的实时资源是否匹配；
若匹配，则判断所述目标任务的资源需求与实时配额是否匹配。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取所述目标任务的资源需求类型以及资源需求数量；
基于所述资源需求类型获取所述当前可用资源；
判断所述资源需求数量与所述当前可用资源是否匹配。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若不匹配，则基于所述待处理任务的优先级重新确定目标任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若不匹配，则将所述匹配结果以及不匹配原因展示在显示界面上。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
基于任务队列中待处理任务的优先级确定目标任务；
判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；
若匹配，则执行所述目标任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于所述待处理任务对应的用户权限以及排队时间确定权重值；
基于所述权重值确定所述待处理任务的优先级。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于集群优先级进行轮询，判断每个集群的所述目标任务的资源需求与当前集群的实时资源是否匹配；
若匹配，则判断所述目标任务的资源需求与实时配额是否匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取所述目标任务的资源需求类型以及资源需求数量；
基于所述资源需求类型获取所述当前可用资源；
判断所述资源需求数量与所述当前可用资源是否匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若不匹配，则基于所述待处理任务的优先级重新确定目标任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若不匹配，则将所述匹配结果以及不匹配原因展示在显示界面上。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种任务执行方法，其特征在于，所述方法包括：
基于任务队列中待处理任务的优先级确定目标任务；
判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；
若匹配，则执行所述目标任务。
2.根据权利要求1所述的任务执行方法，其特征在于，所述基于任务队列中待处理任务的优先级确定目标任务之前包括：
基于所述待处理任务对应的用户权限以及排队时间确定权重值；
基于所述权重值确定所述待处理任务的优先级。
3.根据权利要求1所述的任务执行方法，其特征在于，所述目标任务包括多个集群的目标任务，判断所述目标任务的资源需求与当前可用资源是否匹配包括：
基于集群优先级进行轮询，判断每个集群的所述目标任务的资源需求与当前集群的实时资源是否匹配；
若匹配，则判断所述目标任务的资源需求与实时配额是否匹配。
4.根据权利要求1或3所述的任务执行方法，其特征在于，所述判断所述目标任务的资源需求与当前可用资源是否匹配包括：
获取所述目标任务的资源需求类型以及资源需求数量；
基于所述资源需求类型获取所述当前可用资源；
判断所述资源需求数量与所述当前可用资源是否匹配。
5.根据权利要求1所述的任务执行方法，其特征在于，所述判断所述目标任务的资源需求与当前可用资源是否匹配之后还包括：
若不匹配，则基于所述待处理任务的优先级重新确定目标任务。
6.根据权利要求1所述的任务执行方法，其特征在于，所述判断所述目标任务的资源需求与当前可用资源是否匹配之后还包括：
若不匹配，则将所述匹配结果以及不匹配原因展示在显示界面上。
7.根据权利要求1所述的任务执行方法，其特征在于，所述待处理任务包括深度学习的训练任务。
8.一种任务执行装置，其特征在于，所述装置包括：
任务确定模块，用于基于任务队列中待处理任务的优先级确定目标任务；
判断模块，用于判断所述目标任务的资源需求与当前可用资源是否匹配，所述当前可用资源包括服务器的实时资源以及所述目标任务的实时配额；
执行模块，用于若匹配，则执行所述目标任务。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的任务执行方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的任务执行方法的步骤。
CN202111631224.9A 2021-12-28 2021-12-28 任务执行方法、装置、计算机设备和存储介质 Pending CN114461384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111631224.9A CN114461384A (zh) 2021-12-28 2021-12-28 任务执行方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111631224.9A CN114461384A (zh) 2021-12-28 2021-12-28 任务执行方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114461384A true CN114461384A (zh) 2022-05-10

Family

ID=81407817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111631224.9A Pending CN114461384A (zh) 2021-12-28 2021-12-28 任务执行方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114461384A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311123A (zh) * 2022-08-11 2022-11-08 浙江中测新图地理信息技术有限公司 一种像素流gpu资源调度方法及装置
CN116107761A (zh) * 2023-04-04 2023-05-12 阿里云计算有限公司 性能调优方法、系统、电子设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311123A (zh) * 2022-08-11 2022-11-08 浙江中测新图地理信息技术有限公司 一种像素流gpu资源调度方法及装置
CN116107761A (zh) * 2023-04-04 2023-05-12 阿里云计算有限公司 性能调优方法、系统、电子设备及可读存储介质
CN116107761B (zh) * 2023-04-04 2023-08-22 阿里云计算有限公司 性能调优方法、系统、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN107659433B (zh) 一种云资源调度方法及设备
CN114461384A (zh) 任务执行方法、装置、计算机设备和存储介质
CN114610474B (zh) 一种异构超算环境下多策略的作业调度方法及系统
CN104102693A (zh) 对象处理方法和装置
CN101963969B (zh) Oracle RAC系统中实现负载均衡的方法和数据库服务器
CN114816711A (zh) 批量任务处理方法、装置、计算机设备和存储介质
CN117271100B (zh) 算法芯片集群调度方法、装置、计算机设备和存储介质
CN115729687A (zh) 任务调度方法、装置、计算机设备、存储介质
CN112363831B (zh) 风控处理方法、装置、计算机设备和存储介质
CN115658292A (zh) 资源调度方法、装置、计算机设备和存储介质
CN114881761A (zh) 相似样本的确定方法与授信额度的确定方法
CN114331198A (zh) 工单分配方法、设备及存储介质
CN116032928B (zh) 数据协同计算方法、装置、系统、电子装置和存储介质
CN113641670B (zh) 数据存储及数据检索方法、装置、电子设备及存储介质
CN117453759B (zh) 业务数据处理方法、装置、计算机设备和存储介质
CN118012618A (zh) 接口请求的调度方法、装置、计算机设备、存储介质
US20240028397A1 (en) Computational resource allocation advisor for elastic cloud databases
CN117391330A (zh) 金融业务办理顺序确定方法、装置和计算机设备
CN117314067A (zh) 工单分配方法、装置、设备、存储介质和程序产品
WO2021128079A1 (zh) 数据处理及图像识别方法、处理服务器、系统及电子设备
CN116820758A (zh) 作业处理方法、装置、计算机设备、存储介质和程序产品
CN117151885A (zh) 基于手机银行的虚拟资源转移方法、装置和计算机设备
CN114706687A (zh) 计算任务的分配方法、装置、计算机设备和存储介质
CN118154035A (zh) 业务数据的价值评估方法、装置、设备、存储介质和产品
CN116501466A (zh) 任务处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination