CN111221631A - 一种任务调度方法、装置及存储介质 - Google Patents
一种任务调度方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111221631A CN111221631A CN201811407606.1A CN201811407606A CN111221631A CN 111221631 A CN111221631 A CN 111221631A CN 201811407606 A CN201811407606 A CN 201811407606A CN 111221631 A CN111221631 A CN 111221631A
- Authority
- CN
- China
- Prior art keywords
- task
- target node
- type
- alternative
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000015654 memory Effects 0.000 claims description 41
- 238000007726 management method Methods 0.000 description 10
- 230000003068 static effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013468 resource allocation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种任务调度方法，所述方法包括：基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务；根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务；调度所述目标节点运行所述第一任务。本发明实施例还公开了一种任务调度装置及存储介质。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种任务调度方法、装置及存储介质。
背景技术
云计算技术的革新使得分布式集群系统大规模地投入企业生产使用，而云 环境下对集群资源管理及任务调度等基础能力需要重点提升。尤其是，企业级 应用软件引入到集群系统中，如何对资源高效、合理的使用成为关注对象。
但是，现有技术中一般仅能够对集群各节点当前可使用资源进行分配，未 能使资源得到最大化利用。
发明内容
有鉴于此，本发明实施例提供了一种任务调度的方法、装置及存储介质。
本发明的技术方案是这样实现的：
一种任务调度方法，所述方法包括：
基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所 述目标节点中运行的第一类任务；
根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务 选择出第一任务；
调度所述目标节点运行所述第一任务。
上述方案中，所述根据与所述第一类任务同类型的历史任务的作业质量， 从所述第一类任务选择出第一任务，包括：
根据所述历史任务的运行成功概率，从所述第一类任务选择出大于第一概 率阈值的所述运行成功概率对应的所述第一任务。
上述方案中，所述方法还包括：
若所述目标节点未运行过与所述第一类任务同类型的历史任务，将所述第 一类任务视为所述第一任务。
上述方案中，所述方法还包括：
获取所述备选任务运行所需的主导资源的资源使用参数；
基于所述资源使用参数，确定所述备选任务的优先级顺序；
基于包含所述目标节点的集群的剩余资源以及所述优先级顺序，形成所述 预调度队列。
上述方案中，所述基于所述资源使用参数，确定所述备选任务的优先级顺 序，包括：
基于所述主导资源的资源使用量和/或使用时长，确定所述备选任务的优先 级顺序。
上述方案中，所述主导资源包括：中央处理器CPU使用量、网络带宽使用 量、磁盘I/O使用量、内存使用量。
上述方案中，所述基于目标节点的资源信息，确定包括多个备选任务的预 调度队列中能在所述目标节点中运行的第一类任务，包括：
获取预调度队列中所述备选任务的预分配的主导资源的总量；
若所述目标节点的资源信息中对应的主导资源的总量大于或等于所述备选 任务的主导资源的总量，则确定所述备选任务能在所述目标节点中运行；
其中，能够在目标节点运行的备选任务为所述第一类任务。
上述方案中，所述基于目标节点的资源信息，确定包括多个备选任务的预 调度队列中能在所述目标节点中运行的第一类任务，包括：
根据所述备选任务运行所需的主导资源使用量，确定所述目标节点运行备 选任务时的预期负载率是否大于所述目标节点的平均历史负载率；
若所述预期负载率小于所述平均历史负载率，则确定所述备选任务为第一 类任务。
上述方案中，所述根据所述备选任务运行所需的主导资源使用量，确定所 述目标节点运行备选任务时的预期负载率是否大于所述目标节点的平均历史负 载率，包括：
根据所述备选任务运行所需的线程数和CPU个数，确定所述目标节点运行 所述备选任务时的预期负载率。
上述方案中，所述调度所述目标节点运行所述第一任务，包括：根据分配 策略，调度所述目标节点运行所述第一任务；
其中，所述分配策略包括：先进先出策略、主导资源公平性策略、短作业 优先调度策略。
上述方案中，所述方法还包括：
更新第二类任务在预调度队列的位置；其中，所述第二类任务为所述第一 类任务以外的备选任务；
更新后的所述预调度队列中，所述第一类任务的调度优先级高于所述第二 类任务的调度优先级。
一种任务调度装置，所述装置包括：
第一确定单元，用于基于目标节点的资源信息，确定包括多个备选任务的 预调度队列中能在所述目标节点中运行的第一类任务；
第二确定单元，用于根据与所述第一类任务同类型的历史任务的作业质量， 从所述第一类任务选择出第一任务；
第一处理单元，用于调度所述目标节点运行所述第一任务。
上述方案中，所述第二确定单元，用于根据所述历史任务的运行成功概率， 从所述第一类任务选择出大于第一概率阈值的所述运行成功概率对应的所述第 一任务。
上述方案中，所述第二确定单元，还用于若所述目标节点未运行过与所述 第一类任务同类型的历史任务，将所述第一类任务视为所述第一任务。
上述方案中，所述装置，还包括：获取单元、第三确定单元、第二处理单 元；
所述获取单元，用于获取所述备选任务运行所需的主导资源的资源使用参 数；其中，
所述第三确定单元，用于基于所述资源使用参数，确定所述备选任务的优 先级顺序；
所述第二处理单元，用于基于包含所述目标节点的集群的剩余资源以及所 述优先级顺序，形成所述预调度队列。
上述方案中，所述第三确定单元，还用于基于所述主导资源的资源使用量 和/或使用时长，确定所述备选任务的优先级顺序。
上述方案中，所述主导资源包括：中央处理器CPU使用量、网络带宽使用 量、磁盘I/O使用量、内存使用量。
上述方案中，所述第一确定单元，用于获取预调度队列中所述备选任务的 预分配的主导资源的总量；若所述目标节点的资源信息中对应的主导资源的总 量大于或等于所述备选任务的主导资源的总量，则确定所述备选任务能在所述 目标节点中运行；
其中，能够在目标节点运行的备选任务为所述第一类任务。
上述方案中，所述第一确定单元，还用于根据所述备选任务运行所需的主 导资源使用量，确定所述目标节点运行备选任务时的预期负载率是否大于所述 目标节点的平均历史负载率；
若所述预期负载率小于所述平均历史负载率，则确定所述备选任务为第一 类任务。
上述方案中，所述第一确定单元，还用于根据所述备选任务运行所需的线 程数和CPU个数，确定所述目标节点运行所述备选任务时的预期负载率。
上述方案中，所述第一处理模块，还用于根据分配策略，调度所述目标节 点运行所述第一任务；
其中，所述分配策略包括：先进先出策略、主导资源公平性策略、短作业 优先调度策略。
上述方案中，所述装置，还包括：第三处理模块；
所述第三处理单元，用于更新第二类任务在预调度队列的位置；其中，所 述第二类任务为所述第一类任务以外的备选任务；
更新后的所述预调度队列中，所述第一类任务的调度优先级高于所述第二 类任务的调度优先级。
本发明实施例还提供了一种计算机存储介质，所述存储介质中有计算机可 执行指令，所述计算机可执行指令被处理器执行实现本发明实施例任一项所述 任务调度方法。
本发明实施例提供的任务调度方法、装置及存储介质，通过基于目标节点 的资源信息，确定包括多个备选任务的与调度队列中能在所述目标节点运行的 第一类任务，因而可以通过目标节点当前的资源情况来确定预调度队列中的备 选任务是否可以在所述目标节点中运行，若从第一类任务中选择任务由目标节 点运行，相对于忽略目标节点的资源信息随机分配任务，第一类任务是有更高 的概率在目标节点中运行成功的，故提升了调度后的任务在目标节点中运行成 功的概率；与此同时，进一步会根据与所述第一类任务同类型的历史任务的作 业质量，从所述第一类任务选择出第一任务，调度所述目标节点运行所述第一 任务，从而可以进一步确定所述第一类任务是否为可以成功运行的第一任务， 若为第一任务，则实现任务调度，从而完成任务的调度。基于上述对任务的预 调度以及调度，充分考虑集群资源全局分配的合理性，使资源尽可能的最大化 利用。
且，可以根据历史任务的作业质量来调度任务，从而不需要人工干预，能 够实现自适应的资源调度，实现实时根据资源变化而进行任务资源使用的调整， 提升了任务执行效率，能够更加智能化。
附图说明
图1为本发明任务调度方法的流程示意图；
图2为本发明任务调度方法的流程示意图；
图3为本发明任务调度方法的流程示意图；
图4为本发明一实施例中任务调度方法的流程示意图；
图5为本发明一实施例中任务调度方法的流程示意图；
图6为本发明一实施例中任务调度装置的结构示意图；
图7为本发明一实施例中任务调度装置的结构示意图；
图8为本发明一实施例中任务调度方法硬件结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处 所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供的一种任务调度方法可以应用于集群中的管理节点，所 述管理节点可以是服务器，该方法所需实现的功能可以通过终端中的处理器调 用程序代码实现，当然程序代码可以保存在计算机存储介质中，可见，该服务 器至少包括处理器和存储介质。
可以理解的是，集群可以是基于Hadoop构架模式的集群，也可以是基于 Oracle构架模式的集群，还可以是基于其它构架模式的集群。其中，一个集群 包括多个节点；所述节点可以是服务器，也可以是其它电子设备。
如图1所示，本发明实施例提供了一种任务调度方法，所述方法包括：
步骤101，基于目标节点的资源信息，确定包括多个备选任务的预调度队 列中能在所述目标节点中运行的第一类任务。
这里，所述目标节点为集群中的一个或多个节点；所述目标节点可以是预 备分配任务的节点。
所述目标节点可以是正在运行任务的节点，也可以是没有运行任务的节点。
这里，所述资源，可以包括多种类型，比如提供计算能力的计算资源(如 CPU资源)、用于存储能力的存储资源(内存资源)、用于提供传输通道的网络 资源(网路带宽资源)，等等。
这里，所述目标节点的资源信息，包括目标节点的静态资源信息和动态资 源信息；所述资源信息包括：CPU的总数、CPU的平均功率、内存容量、网络 带宽，等等。
这里，所述预调度队列是集群中准备调度的作业队列；其中，所述预调度 队列中包括多个备选任务。其中，所述备选任务可以为一个作业；也可以是一 个作业中的子作业，总之所述备选任务为待执行的任务。
这里，确定所述备选任务是否能在目标节点中运行，是确定所述目标节点 当前的剩余资源是否大于或等于运行所述备选任务需要的资源。其中，运行所 述任务需要的资源可基于历史数据得到，例如，可通过获取所述备选任务在所 述集群的之前调度中被分配的资源而得到。
在一些实施例中，所述步骤101，可包括：
获取预调度队列中所述备选任务的预分配的主导资源的总量；
若所述目标节点的资源信息中对应的主导资源的总量大于或等于所述备选 任务的主导资源的总量，则确定所述备选任务能在所述目标节点中运行；
其中，能够在目标节点运行的备选任务为所述第一类任务。
这里，所述主导资源为：任务所需的每一类资源中分别占集群中对应的该 类资源的比例中比例最大的资源。例如，有一个总共有1000个CPU和100TB 的集群。任务A所需的每份容器资源为20个CPU和3000GB内存，任务B所 需请求的每份容器资源为60个CPU和1000GB内存。任务A所需请求的资源 在集群资源中占比分别为2％和3％，由于内存占比3％大于CPU占比2％，所 以内存是任务A所需请求的主导资源。任务B所需请求的资源在集群资源中占 比分别为6％和1％，所以CPU是任务B所需请求的主导资源。
进一步地，所述主导资源包括：中央处理器CPU使用量、网络带宽使用量、 磁盘I/O使用量、内存使用量。
如此，可以基于不同类型的主导资源，实现对所述备选任务是否能够在所 述目标节点上运行的判断，一方面能够进一步确保分配资源的合理性，另一方 面可基于不同类型的资源的动态调度。
在另一些实施例中，所述步骤101，可包括：
根据所述备选任务运行所需的主导资源使用量，确定所述目标节点运行备 选任务时的预期负载率是否大于所述目标节点的平均历史负载率；
若所述预期负载率小于所述平均历史负载率，则确定所述备选任务为第一 类任务。
所述根据所述备选任务运行所需的主导资源使用量，确定所述目标节点运 行备选任务时的预期负载率是否大于所述目标节点的平均历史负载率，包括：
根据所述备选任务运行所需的每个CPU使用的线程数和CPU个数，确定 所述目标节点运行所述备选任务时的预期负载率。
如此，可以基于CPU该主导资源，实现对所述备选任务是否能够在所述目 标节点上运行的判断；具体地，可基于备选任务运行所预期使用的负载率以及 所述目标节点的平均负历史负载率，确定所述备选任务在所述目标节点运行是 否过载，进一步确定能够在所述目标节点运行的所述第一类任务的结果的正确 性以及精细化。
步骤103，根据与所述第一类任务同类型的历史任务的作业质量，从所述 第一类任务选择出第一任务。
这里，与所述第一类任务同类型的历史任务，可以是在所述集群中历史调 度中与第一类任务相同的任务，或者，与第一类任务类型相同的任务。
这里，任务的作业质量，可以是表征所述任务在所述集群的历史调度中在 目标节点运行成功的概率。
在具体实现中，上述步骤103可以是：基于与第一类任务同类型的历史任 务在历史调度中在所述目标节点运行成功的概率，而预判所述第一类任务能在 所述目标节点运行成功的概率，若成功的概率达到一定的阈值，则确认所述第 一类任务为第一任务。
实现上述步骤103的方式还可以是：通过判断所述第一类任务是否为优质 任务，来确定所述第一类任务是否为第一任务。例如，所述第一类任务或者与 所述第一类任务相同的类型的数据在历史调度中出现过100次，其中，有80 次以上在所述集群中成功运行，则可认为所述第一类任务为优质任务。当所述 第一类任务为优质任务时，则认为所述第一类认为为第一任务。
当然，实现上述步骤103的方式还有很多种。例如，作业质量可以由同类 型的历史任务运行的成功率，和/或，运行所述任务在同样的资源前提下的使用 时长的长短等来确定；当所述作业质量大于第二阈值时，则确定所述任务为第 一任务。
在一些实施例中，所述步骤103，包括：
根据所述历史任务的运行成功概率，从所述第一类任务选择出大于第一概 率阈值的所述运行成功概率对应的所述第一任务。
在一些实施例中，若所述目标节点为运行过与所述第一类任务同类型的历 史任务，将所述第一类任务视为所述第一任务。
步骤105，调度所述目标节点运行所述第一任务。
具体地，集群的管理节点调度所述目标节点运行所述第一任务。
在一些实施例中，所述步骤105，可包括：
根据分配策略，调度所述目标节点运行所述第一任务；
其中，所述分配策略包括：先进先出策略、主导资源公平性策略、短作业 优先调度策略。
这里，所述先进先出策略为调度顺序按照任务到达的时间顺序，先到达到 先分配资源的策略。
这里，所述主导资源公平性调度策略为根据任务所述主导资源在集群总共 资源的比例，按照比例给所述任务调度资源的策略。例如，根据内存和CPU资 源各自集群占比确定用户的主导资源，如果用户A的主导资源是内存，每个容 器内存占比6％；用户B的主导资源是CPU，每个容器CPU占比3％；则A的 容器申请资源是B容器的2倍，如果公平调度资源，即A占内存的资源比例＝B 占CPU的资源比例，则用户A占1/3数量容器，B占2/3数量容器。
这里，所述短作业优先调度策略为从备选队列中挑选出资源占用时长(任 务完成时长)最短的任务，优先分配资源的策略。
在具体实现中，所述步骤101-105可以是：集群的管理节点基于心跳信息， 获取目标节点的资源信息；通过比较所述目标节点当前的剩余资源与预调度队 列中的运行备选节点所需资源的大小，从所述备选节点中选择可以在所述目标 节点运行的第一类任务；所述管理节点对所述第一类任务进行模式分类，确定 所述第一类任务是否为优质任务；其中，所述优质任务是所述第一类任务或者 与第一类认为相同类型的任务在所述集群成功运行的概率达到一定阈值的任 务；若所述第一类任务为优质任务，则确定所述第一类任务为第一任务；管理 节点调度所述目标节点运行所述第一任务；并将所述目标节点运行第一任务的 心跳信息返回给集群中的其他节点。
本实施例中，由于在可以通过目标节点当前的负载情况来确定预调度队列 中的备选任务是否可以在所述目标节点中运行，因而可以实现满足集群的可用 性，实现资源的预调度；由于可以根据与所述第一类任务同类型的历史任务的 作业质量，进一步确定所述第一类任务是否为可以运行的第一任务，从而可以 动态的调整资源的调度。基于上述的预调度以及调度，充分考虑集群资源全局 分配的合理性，使资源尽可能的最大化利用。
本实施例中，可以根据历史任务的作业质量来调度任务，从而不需要人工 干预，能够实现自适应的资源调度，实现实时根据资源变化进行任务资源使用 的调整，提升了任务执行效率，能够更加智能化，实现了集群系统的高效低成 本运营。
如图2所示，在所述步骤101之前，所述方法，还包括以下步骤。
步骤201，获取所述备选任务运行所需的主导资源的资源使用参数。
这里，所述主导资源为：任务所需的每一类资源中分别占集群中对应的该 类资源的比例中比例最大的资源。
这里，所述备选任务可以是租户的自身任务；所述获取所述资源使用参数， 可以是根据租户提出的请求而获取的所述自身任务的资源使用参数。
步骤203，基于所述资源使用参数，确定所述备选任务的优先级顺序。
这里，所述资源的使用参数，包括资源的总量和/或使用时长。
这里，基于所述资源使用参数，确定所述备选任务的优先级顺序，可以是： 根据资源的总量，确定资源总量越小的备选任务优先级越高；或者，根据资源 的使用时长，确定使用时长越短的备选任务优先级越高；或者，根据申请的时 间顺序，确定最先申请的备选任务优先级越高；等等。
在一些实施例中，上述步骤201还包括：
基于所述主导资源的资源使用量和/或使用时长，确定所述备选任务的优先 级顺序。
进一步地，所述主导资源包括：中央处理器CPU使用量、网络带宽使用量、 磁盘I/O使用量、内存使用量。
步骤205，基于包含所述目标节点的集群的剩余资源以及所述优先级顺序， 形成所述预调度队列。
这里，集群的剩余资源为集群中空闲资源。
这里，若所述集群的剩余资源大于或等于所述备选任务申请的资源总量， 则给所述备选任务都预分配相应资源；若所述集群的剩余资源小于或等于所述 备选任务申请的资源总量，则根据任务的优先级顺序，依次给所述备选任务预 分配相应的资源；或者，可以返回分配任务失败的心跳信息，使租户根据任务 重新申请资源。
在具体实现中，上述步骤201-205中的资源可以是指主导资源、剩余资源 可以是指剩余主导资源；具体地，管理节点接收租户申请备选任务的主导资源 请求，根据所述请求确定各备选任务请求的主导资源的总量和/或使用时长；根 据各备选任务请求的主导资源的总量和/或使用时长，确定所述备选任务的优先 级顺序；集群节点确定所述集群中剩余主导资源的总量；根据剩余主导资源的 总量与所述备选任务优先级，给所述备选任务预分配资源，形成所述备选任务 的预调度队列。
本实施例中，由于可以通过租户申请资源请求中获取备选任务的请求资源 以及集群的管理节点预分配资源，实现了资源请求与集群调度的双向协同反馈 机制，可以允许租户根据任务资源使用量以及使用时长来调整资源。
本实施例中，由于可以根据使用时长来预分配资源，因而可以根据任务完 成时间等指标动态调整资源，可达到作业质量精细化控制的要求。
本实施例中，可以根据各备选任务的主导资源不相同，按所述各备选任务 的具体使用需求进行优先级划分，实现了按照主导资源对可利用的资源进行动 态申请以及预分配，实现了作业的资源类型的精细化以及更加灵活的预分配方 式。
如图3所示，所述方法，还包括：
步骤102，更新第二类任务在预调度队列的位置；其中，所述第二类任务 为所述第一类任务以外的备选任务；
更新后的所述预调度队列中，所述第一类任务的调度优先级高于所述第二 类任务的调度优先级。
这里，所述第二类任务为备选任务中不能在所述目标节点上运行的任务。
本实施例中，可以更新预调度队列中备选任务的优先级顺序，实现资源的 动态预分配。
以下通过具体实施例对本发明实施例的技术方案作进一步详细说明。
如图4所示，本发明实施例还提供了一种任务调度方法；所述方法包括以 下步骤。
步骤S101：各租户请求确认主导资源；
可选地，集群中各节点对应的租户根据自身的任务，请求所需的主导资源 wi；其中，所述主导资源可以为一种类型的资源，也可以为多种类型资源的组 合。
这里，当所述主导资源为多种类型资源的组合时，还可对所述多种类型的 资源进行排序。
步骤S102：计算单位时间内各租户请求的资源之和；
可选地，计算各租户在单位时间内的请求资源之和sum(wi)。
这里，所述请求资源包括各种类型的主导资源。
例如，在一集群中，有租户1-6通过所述集群中节点申请资源；其中，对 于租户1，请求的主导资源为CPU使用量；对于租户2，请求的主导资源为内 存使用量；对于租户3，请求的主导资源为磁盘I/O使用量和CPU；对于租户4， 请求的主导资源为CPU使用量；对于租户5，请求的主导资源为内存使用量； 对于租户6，请求的主导资源为网络带宽使用量。则，一种计算各组合的请求 资源之和的方式是：将各主导资源进行分类，分别计算各主导资源的总和，此 时，对于请求CPU使用量的资源之和为租户1、租户3、租户4请求的CPU使 用量的资源之和；对于请求内存使用量的资源之和为租户2和租户5请求的内 存使用量的资源之和；对于请求磁盘I/O使用量的资源之和为租户3请求的磁 盘I/O使用量；对于请求网络带宽使用量的资源之和为租户6请求的网络带宽 使用量。
当然，计算请求资源之和的方式有多种，这里只做示例性的说明。
步骤S103：确定各租户申请的资源的优先级顺序；
可选地，根据租户所申请的主导资源总量，以及所述使用的时长等，给各 租户所申请的资源确定优先级顺序Swi，形成申请资源的优先级队列。
步骤S104：计算集群的剩余资源；
可选地，计算集群中的剩余资源sum'(wi)。
计算集群中剩余资源的一种方式也可以是，对不同类型的资源分别计算。
步骤S105：判断所申请的资源是否小于剩余资源；
可选地，判断各租户所请求的资源之和sum(wi)是否小于所述剩余资源 sum'(wi)；若是，则执行步骤S106；若否，则执行步骤S107。
步骤S106：分配各租户资源；
可选地，如果各租户所请求的资源之和sum(wi)是小于所述剩余资源 sum'(wi)；则给各租户分配相应的主导资源。
可选地，对于每个请求资源的请求者租户i，还可计算其已经分配资源ri×ci； 其中，ri为所述请求者租户i的请求资源大小比率，ci为所述请求者租户i正在 使用的容器数据。如此，可根据所述请求者租户i已分配的资源，计算所述请 求者租户i还需分配的资源，从而进一步根据各租户还需分配的资源来判断步 骤S105中所申请的资源是否小于剩余资源。
步骤S107：重新申请；
可选地，如果各租户所请求的资源之和sum(wi)是大于所述剩余资源 sum'(wi)，则各租户重新申请。
这里，在一可选实施例中，还可以根据优先级顺序，对租户申请资源进行 分配，对于优先级较高的资源对应的租户先分配；具体地，对于请求者组户i 的优先级最高，可对其分配ri/sum(p)×l；其中，ri为所述请求者租户i的请求 资源大小比率，l为集群中资源分配容器的数量。对于剩余资源，则再扣除已分 配的租户i的资源，对下一个优先级较高的租户进行资源分配，直到该剩余资 源不再大于下一个优先级较高的租户所请求的资源。
这里，对于租户申请资源进行分配，根据资源优先级的分配，可以是根据 同类资源优先级进行分配。
步骤S108：计算已经分配的资源；
可选地，计算已分配资源之和load(wi)*t；其中，load(wi)为已加载资源， 其中t为使用资源的时长10s至60s。
步骤S109：对已分配资源的租户的任务进行排序，形成预调度队列。
可选地，对已分配资源的租户任务进行排序，形成预调度队列；具体地， 可根据先进先出FIFO形成任务的预调度队列。
这里，在一可选实施中，还可对于主导资源进行排序；具体地，对于各任 务所申请的主导资源进行排序o1,o2,...,oi，形成主导资源的预调度队列。
这里，对于主导资源进行排序时，可以按照不同类型的主导资源，分别形 成预调度队列。
本实施例中，可使得每个租户通过动态调整资源请求量来满足对任务运行 的要求；具体地，可使得在一定的预约资源请求下，每个租户拥有资源请求上 线，根据租户允许请求资源大小比率来分配资源。且，集群管理节点可根据资 源总量为每个租户分配的一定的可请求资源量和单位时间长度。
本实施例中，可使得租户根据任务完成时间等指标动态调整资源，可达到 作业质量精细化控制的要求。
本实施例中，由于租户可根据主导资源进行请求，因而可实现任务根据主 导资源预分配，能进一步满足实现系统资源的最大化利用。
如图5所示，本发明实施例还提供了一种任务调度方法，所述方法包括以 下步骤。
步骤S201：接收节点心跳信息；
可选地，接收节点心跳信息，从所述心跳信息中获取所述节点的资源信息。
这里，所述节点的资源信息可以由节点特征来表征；其中，所述节点特征 (NodeFeatures，NF)包括静态特征和动态特征；这里，可以用节点特征集合 表征所述节点的特征，例如节点特征集合NF＝{NF1,NF2,...,NFn}，其中，n为特 征数量；可以用节点静态特征集合NFs表征所述节点的静态特征，用节点动态特 征集合NFd表征所述节点的动态特征；其中，对于任意NFi的取值集合 f(NFi)∈NFs∪NFd，i∈(0,n)。
这里，所述节点静态特征包括：CPU线程数，总物理内存、网络最大带宽、 磁盘总量，等等。在一些实施例中，所述节点静态特征集合NFs＝{numcpu, memtotal,cpufreq}；其中，所述numcpu为CPU总线数，所述memtotal为内存 总量，所述cpufreq为CPU主频。
这里，所述节点动态特征包括：CPU平均负载、CPU使用量、磁盘I/O使 用量。
如下表1所示，公开了一部分节点特征变量。
表1节点特征变量
这里，在一些实施例中，还需判断所述节点是否存储执行所述任务的数据， 若否，则可由备份系统中所述节点对应的异地节点所执行；其中，所述异地节 点存储执行所述任务的数据。
步骤S202：确定特征变量；
这里，可以基于预调度队列，获取备选任务运行所需的资源使用参数。
这里，任务运行的所需的资源使用参数可以用作业特征(Job Features，JF) 表征。这里，可以用作业特征集合表征所述任务的资源使用参数，例如作业特 征集合JF＝{JF1,JF2,...,JFn}，其中，n为特征数量例如作业特征集合；又如作业 特征集合JFd＝{ucpu,unet,udisk,umem}，这里，所述ucpu表征任务所需平均 使用率，所述unet表征任务网络带宽平均使用率，所述udisk表征任务所需磁 盘I/O平均使用率；所述umem表征任务所需内存使用率。
这里，可以根据节点特征与作业特征确定特征变量。例如，对于任意特征 变量S(vfi)∈NF∪JF；其中，NF表征节点特征集合，JF表征作业特征集合。
步骤S203：判断是否超载；
可选地，根据特征变量，确定所述备选任务在所述节点上是否超载运行； 若是，则确定所述备选任务不能在所述节点上运行；若否，则确定是所述任务 可以在所述节点上运行。
可选地，基于CPU使用量，确定uload是否大于或等于procspercpu× numcpu；其中，所述uload为所述节点的平均负载率，所述procspercpu为所述 备选任务运行所需的每个CPU使用的线程数，所述numcpu为所述备选任务所 需的CPU个数。
可以理解的是，在本实施中是基于主导资源CPU使用量来确定所述备选任 务在所述节点是否超载运行；而在其它实施例中也可以根据其它的主导资源， 例如内存使用量、磁盘I/O使用量、或网络带宽使用量等来确定所述备选任务 在所述节点是否超载运行。
步骤S204：进行模式分类；
可选地，若确定所述备选任务能在所述节点上运行，则选择能在所述节点 上运行的备选任务作为第一类任务，进入模式分类；其中，所述模式分类用于 确定所述第一类任务是否为优质任务；若是，则执行步骤S205；若否，则执行 步骤S206。
其中，确定所述第一类任务是否为优质任务的方式有多种；以下介绍一种 基于贝叶斯Naive Bayesian定律的分类算法以实现对第一类任务的分类：
(1)计算质量因子Q(J)。
U(J)为资源分配策略函数，其中，U(J)＝{Fifo,Drf,Shortjob}；τJ＝good为优 质资源任务；P(F1,F2,...,Fn|τJ＝good)为第一类任务J为优质资源任务下 P(F1,F2,...,Fn)的概率，P(F1,F2,...,Fn)为特征变量；则根据Naive Bayesian Classification算法，质量因子Q(J)的计算结果为：
(2)计算(F1,F2,...,Fn|τJ＝good)。
质量因子Q(J)的变化取决于公式计算P(τJ＝good|F1,F2,...,Fn)和 P(τJ＝bad|F1,F2,...,Fn)的概率情况，这里，根据贝叶斯分类Naive Bayesian Classification算法时间的独立性得出：
(3)计算Q*(J)。
可知，P(F1,F2,...,Fn)为一个常量，对于固定的一个第一类任务以及节点， 所述P(F1,F2,...,Fn)值不变。可得出表征集群所有的第一类任务的作业质量Q*(J) 的计算结果为：
从上述公式中，若Q*(J)大于一定的阈值，则确定所述第一类任务为优质任 务，否则，所述第一类任务为劣质任务。
步骤205：更新优先级顺序；
可选地，若确定所述备选任务在所述节点上不能运行，则对所述备选任务 的为第二类任务，更新所述第二类任务在预调度队列中优先级顺序；更新后的 所述预调度队列中，所述第一类任务的调度优先级高于所述第二类任务的调度 优先级。
步骤S206：调度任务；
可选地，基于分配策略，调度所述节点运行所述第一类任务。
这里，若有多个第一类任务为优质任务，则可根据分配策略，最大化满足 可用作业。例如，任务中任务J1、任务J2、……、任务Jm、……、任务Jn均 为第一类任务，其中，m、n为自然数，1≤m≤n；可基于分配策略，选择任务 Jm在所述节点上运行。
步骤S207：暂时略过任务；
可选地，所述第一类任务为劣质任务，则暂时略过该任务，不对该任务进 行调度。
步骤S208：返回分配任务的心跳。
可选地，返回所述节点分配所述第一类任务的心跳信息给集群中其它节点。
本实施例中，可以基于集群的节点的特征与所述任务的特征，确定集群是 否超载运行；可以基于自学习的方式对能够在所节点运行的第一类任务进行分 类，从而预判所述第一类任务是否能够在所述节点上成功运行；基于分配策略， 可以从预期能够在所述节点上成功运行的第一类任务中选择更加符合集群资源 利用最大化的第一类任务进行调度，从而使集群资源得到充分利用，实现了系 统高效低成本运行。并且，由于可以根据历史任务的作业质量调度任务，能够 实现自适应的资源调度，使得系统更加智能化，提升了任务执行效率。并且， 还能实现基于不同类型的资源的调度，进一步确保资源的合理化利用。
这里需要指出的是：以下任务调度装置项的描述，与上述任务调度方法项 描述是类似的，同方法的有益效果描述，不做赘述。对于本发明任务调度装置 实施例中未披露的技术细节，请参照本发明任务调度方法实施例的描述。
本发明一实施例还公开了一种任务调度装置，如图6所示，所述装置包括： 第一确定单元31、第二确定单元32和第一处理单元33；其中，
第一确定单元31，用于基于目标节点的资源信息，确定包括多个备选任务 的预调度队列中能在所述目标节点中运行的第一类任务；
第二确定单元32，用于根据与所述第一类任务同类型的历史任务的作业质 量，从所述第一类任务选择出第一任务；
第一处理单元33，用于调度所述目标节点运行所述第一任务。
可选地，所述第二确定单元32，用于根据所述历史任务的运行成功概率， 从所述第一类任务选择出大于第一概率阈值的所述运行成功概率对应的所述第 一任务。
可选地，所述第二确定单元32，还用于若所述目标节点未运行过与所述第 一类任务同类型的历史任务，将所述第一类任务视为所述第一任务。
可选地，如图7所示，所述装置，还包括：获取单元34、第三确定单元35、 第二处理单元36；其中，
所述获取单元34，用于获取所述备选任务运行所需的主导资源的资源使 用参数；其中，
所述第三确定单元35，用于基于所述资源使用参数，确定所述备选任务的 优先级顺序；
所述第二处理单元36，用于基于包含所述目标节点的集群的剩余资源以及 所述优先级顺序，形成所述预调度队列。
可选地，所述第三确定单元36，还用于基于所述主导资源的资源使用量和 /或使用时长，确定所述备选任务的优先级顺序。
可选地，所述主导资源包括：中央处理器CPU使用量、网络带宽使用量、 磁盘I/O使用量、内存使用量。
可选地，所述第一确定单元31，用于获取预调度队列中所述备选任务的预 分配的主导资源的总量；若所述目标节点的资源信息中对应的主导资源的总量 大于或等于所述备选任务的主导资源的总量，则确定所述备选任务能在所述目 标节点中运行；
其中，能够在目标节点运行的备选任务为所述第一类任务。
可选地，所述第一确定单元31，还用于根据所述备选任务运行所需的主导 资源使用量，确定所述目标节点运行备选任务时的预期负载率是否大于所述目 标节点的平均历史负载率；
若所述预期负载率小于所述平均历史负载率，则确定所述备选任务为第一 类任务。
可选地，所述第一确定单元31，还用于根据所述备选任务运行所需的线程 数和CPU个数，确定所述目标节点运行所述备选任务时的预期负载率。
可选地，所述第一处理模块，还用于根据分配策略，调度所述目标节点运 行所述第一任务；
其中，所述分配策略包括：先进先出策略、主导资源公平性策略、短作业 优先调度策略。
可选地，请再次参照图7，所述装置，还包括：第三处理模,37；其中，
所述第三处理单元37，用于更新第二类任务在预调度队列的位置；其中， 所述第二类任务为所述第一类任务以外的备选任务；
更新后的所述预调度队列中，所述第一类任务的调度优先级高于所述第二 类任务的调度优先级。
本发明一实施例还公开了一种终端，如图8所示，所述终端包括：处理器 41和用于存储能够在处理器上运行的计算机程序的存储器42；其中，所述处理 器41用于运行计算机程序时，实现本发明任一实施例所提供的任务调度方法。
在一些实施例中，本发明实施例中的存储器42可以是易失性存储器或非易 失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器 可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器 (Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM， EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪 存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)， 其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用， 例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器 (Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM， SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM， DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM， ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和 直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的 系统和方法的存储器42旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器41可能是一种集成电路芯片，具有信号的处理能力。在实现过程 中，上述方法的各步骤可以通过处理器31中的硬件的集成逻辑电路或者软件形 式的指令完成。上述的处理器31可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其 他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或 者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是 微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公 开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器 中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只 读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成 熟的存储介质中。该存储介质位于存储器42，处理器41读取存储器42中的信 息，结合其硬件完成上述方法的步骤。
在一些实施例中，本文描述的这些实施例可以用硬件、软件、固件、中间 件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专 用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器 (DigitalSignal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、 可编程逻辑设备(Programmable Logic Device，PLD)、现场可编程门阵列 (Field-Programmable GateArray，FPGA)、通用处理器、控制器、微控制器、 微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来 实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器 可以在处理器中或在处理器外部实现。
本发明又一实施例提供了一种计算机存储介质，该计算机可读存储介质存 储有可执行程序，所述可执行程序被处理器41执行时，可实现任务调度方法的 以下步骤：
基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所 述目标节点中运行的第一类任务；
根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务 选择出第一任务；
调度所述目标节点运行所述第一任务。
可选地，所述可执行程序被处理器41执行时，可实现任务调度方法的以下 步骤：
根据所述历史任务的运行成功概率，从所述第一类任务选择出大于第一概 率阈值的所述运行成功概率对应的所述第一任务。
可选地，所述可执行程序被处理器41执行时，可实现任务调度方法的以下 步骤：
若所述目标节点未运行过与所述第一类任务同类型的历史任务，将所述第 一类任务视为所述第一任务。
可选地，所述可执行程序被处理器41执行时，可实现任务调度方法的以下 步骤：
获取所述备选任务运行所需的主导资源的资源使用参数；
基于所述资源使用参数，确定所述备选任务的优先级顺序；
基于包含所述目标节点的集群的剩余资源以及所述优先级顺序，形成所述 预调度队列。
可选地，所述可执行程序被处理器41执行时，可实现任务调度方法的以下 步骤：
基于所述主导资源的资源使用量和/或使用时长，确定所述备选任务的优先 级顺序。
可选地，所述可执行程序被处理器41执行时，可实现任务调度方法的以下 步骤：
获取预调度队列中所述备选任务的预分配的主导资源的总量；
若所述目标节点的资源信息中对应的主导资源的总量大于或等于所述备选 任务的主导资源的总量，则确定所述备选任务能在所述目标节点中运行；
其中，能够在目标节点运行的备选任务为所述第一类任务。
可选地，所述可执行程序被处理器41执行时，可实现任务调度方法的以下 步骤：
根据所述备选任务运行所需的主导资源使用量，确定所述目标节点运行备 选任务时的预期负载率是否大于所述目标节点的平均历史负载率；
若所述预期负载率小于所述平均历史负载率，则确定所述备选任务为第一 类任务。
可选地，所述可执行程序被处理器41执行时，可实现任务调度方法的以下 步骤：
根据所述备选任务运行所需的每个CPU使用的线程数和CPU个数，确定 所述目标节点运行所述备选任务时的预期负载率。
可选地，所述可执行程序被处理器41执行时，可实现任务调度方法的以下 步骤：
更新第二类任务在预调度队列的位置；其中，所述第二类任务为所述第一 类任务以外的备选任务；
更新后的所述预调度队列中，所述第一类任务的调度优先级高于所述第二 类任务的调度优先级。
可选地，所述可执行程序被处理器41执行时，可实现任务调度方法的以下 步骤：
根据分配策略，调度所述目标节点运行所述第一任务；
其中，所述分配策略包括：先进先出策略、主导资源公平性策略、短作业 优先调度策略。
在一些实施例中，所述计算机存储介质可以包括：U盘、移动硬盘、只读 存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：本发明实施例所记载的技术方案之间，在不冲突的情况下， 可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应 以所述权利要求的保护范围为准。
Claims (13)
1.一种任务调度方法，其特征在于，所述方法包括：
基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务；
根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务；
调度所述目标节点运行所述第一任务。
2.根据权利要求1所述的方法，其特征在于，
所述根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务，包括：
根据所述历史任务的运行成功概率，从所述第一类任务选择出大于第一概率阈值的所述运行成功概率对应的所述第一任务。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述目标节点未运行过与所述第一类任务同类型的历史任务，将所述第一类任务视为所述第一任务。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述备选任务运行所需的主导资源的资源使用参数；
基于所述资源使用参数，确定所述备选任务的优先级顺序；
基于包含所述目标节点的集群的剩余资源以及所述优先级顺序，形成所述预调度队列。
5.根据权利要求4所述的方法，其特征在于，
所述基于所述资源使用参数，确定所述备选任务的优先级顺序，包括：
基于所述主导资源的资源使用量和/或使用时长，确定所述备选任务的优先级顺序。
6.根据权利要求4所述的方法，其特征在于，
所述主导资源包括：中央处理器CPU使用量、网络带宽使用量、磁盘I/O使用量、内存使用量。
7.根据权利要求1或6所述的方法，其特征在于，
所述基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务，包括：
获取预调度队列中所述备选任务的预分配的主导资源的总量；
若所述目标节点的资源信息中对应的主导资源的总量大于或等于所述备选任务的主导资源的总量，则确定所述备选任务能在所述目标节点中运行；
其中，能够在目标节点运行的备选任务为所述第一类任务。
8.根据权利要求1或6所述的方法，其特征在于，
所述基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务，包括：
根据所述备选任务运行所需的主导资源使用量，确定所述目标节点运行备选任务时的预期负载率是否大于所述目标节点的平均历史负载率；
若所述预期负载率小于所述平均历史负载率，则确定所述备选任务为第一类任务。
9.根据权利要求8所述的方法，其特征在于，
所述根据所述备选任务运行所需的主导资源使用量，确定所述目标节点运行备选任务时的预期负载率是否大于所述目标节点的平均历史负载率，包括：
根据所述备选任务运行所需的每个CPU使用的线程数和CPU个数，确定所述目标节点运行所述备选任务时的预期负载率。
10.根据权利要求1所述的方法，其特征在于，
所述调度所述目标节点运行所述第一任务，包括：根据分配策略，调度所述目标节点运行所述第一任务；
其中，所述分配策略包括：先进先出策略、主导资源公平性策略、短作业优先调度策略。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
更新第二类任务在预调度队列的位置；其中，所述第二类任务为所述第一类任务以外的备选任务；
更新后的所述预调度队列中，所述第一类任务的调度优先级高于所述第二类任务的调度优先级。
12.一种任务调度装置，其特征在于，所述装置包括：
第一确定单元，用于基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务；
第二确定单元，用于根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务；
第一处理单元，用于调度所述目标节点运行所述第一任务。
13.一种存储介质，所述存储介质中有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行实现权利要求1-10任一项所述任务调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811407606.1A CN111221631A (zh) | 2018-11-23 | 2018-11-23 | 一种任务调度方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811407606.1A CN111221631A (zh) | 2018-11-23 | 2018-11-23 | 一种任务调度方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111221631A true CN111221631A (zh) | 2020-06-02 |
Family
ID=70827020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811407606.1A Pending CN111221631A (zh) | 2018-11-23 | 2018-11-23 | 一种任务调度方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111221631A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738446A (zh) * | 2020-06-12 | 2020-10-02 | 北京百度网讯科技有限公司 | 深度学习推理引擎的调度方法、装置、设备和介质 |
| CN112527486A (zh) * | 2020-12-17 | 2021-03-19 | 航天信息股份有限公司 | 调度优化方法及装置 |
| CN113742059A (zh) * | 2021-07-15 | 2021-12-03 | 上海朋熙半导体有限公司 | 任务分配方法、装置、计算机设备和存储介质 |
| CN114039962A (zh) * | 2021-11-04 | 2022-02-11 | 北京知道创宇信息技术股份有限公司 | 节点选取方法、系统、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101202765A (zh) * | 2007-12-19 | 2008-06-18 | 苏州大学 | 一种基于历史反馈的服务网格调度方法 |
| CN105389204A (zh) * | 2015-10-26 | 2016-03-09 | 清华大学 | 一种多资源偏序调度策略 |
| CN105718317A (zh) * | 2016-01-15 | 2016-06-29 | 浪潮(北京)电子信息产业有限公司 | 一种任务调度方法及装置 |
| CN106790368A (zh) * | 2016-11-17 | 2017-05-31 | 北京奇艺世纪科技有限公司 | 一种分布式系统中的资源调度方法和装置 |
-
2018
- 2018-11-23 CN CN201811407606.1A patent/CN111221631A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101202765A (zh) * | 2007-12-19 | 2008-06-18 | 苏州大学 | 一种基于历史反馈的服务网格调度方法 |
| CN105389204A (zh) * | 2015-10-26 | 2016-03-09 | 清华大学 | 一种多资源偏序调度策略 |
| CN105718317A (zh) * | 2016-01-15 | 2016-06-29 | 浪潮(北京)电子信息产业有限公司 | 一种任务调度方法及装置 |
| CN106790368A (zh) * | 2016-11-17 | 2017-05-31 | 北京奇艺世纪科技有限公司 | 一种分布式系统中的资源调度方法和装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738446A (zh) * | 2020-06-12 | 2020-10-02 | 北京百度网讯科技有限公司 | 深度学习推理引擎的调度方法、装置、设备和介质 |
| CN111738446B (zh) * | 2020-06-12 | 2023-11-03 | 北京百度网讯科技有限公司 | 深度学习推理引擎的调度方法、装置、设备和介质 |
| CN112527486A (zh) * | 2020-12-17 | 2021-03-19 | 航天信息股份有限公司 | 调度优化方法及装置 |
| CN113742059A (zh) * | 2021-07-15 | 2021-12-03 | 上海朋熙半导体有限公司 | 任务分配方法、装置、计算机设备和存储介质 |
| CN113742059B (zh) * | 2021-07-15 | 2024-03-29 | 上海朋熙半导体有限公司 | 任务分配方法、装置、计算机设备和存储介质 |
| CN114039962A (zh) * | 2021-11-04 | 2022-02-11 | 北京知道创宇信息技术股份有限公司 | 节点选取方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111221631A (zh) | 一种任务调度方法、装置及存储介质 | |
| US8997107B2 (en) | Elastic scaling for cloud-hosted batch applications | |
| CN111400022A (zh) | 一种资源调度方法、装置及电子设备 | |
| US8984521B2 (en) | Computer system performance by applying rate limits to control block tenancy | |
| CN109992418B (zh) | Sla感知的多租户大数据平台资源优先级调度方法及系统 | |
| CN109564528B (zh) | 分布式计算中计算资源分配的系统和方法 | |
| CN113055308A (zh) | 带宽调度方法、流量传输方法及相关产品 | |
| CN111225050B (zh) | 云计算资源分配方法及装置 | |
| CN114528092A (zh) | 边缘节点任务调度方法、装置、计算机设备和存储介质 | |
| EP3251021A1 (en) | Memory network to prioritize processing of a memory access request | |
| US9817698B2 (en) | Scheduling execution requests to allow partial results | |
| CN114265679A (zh) | 数据处理方法、装置和服务器 | |
| CN112749002A (zh) | 一种集群资源动态管理的方法和装置 | |
| CN112463044A (zh) | 一种保证分布式存储系统服务器端读尾延迟的方法及系统 | |
| CN117608840A (zh) | 一种智能监控系统资源综合管理的任务处理方法及系统 | |
| CN112368681A (zh) | 消息的非对称协作队列管理 | |
| CN115640113A (zh) | 多平面弹性调度方法 | |
| KR101595967B1 (ko) | 데드라인 부여된 작업의 분산 처리 성능 향상을 위한 맵리듀스 스케쥴링 시스템 및 방법 | |
| CN114138428A (zh) | 多优先级任务的slo保障方法、装置、节点及存储介质 | |
| CN117519930A (zh) | 批量任务的执行方法、装置及电子设备 | |
| CN112817722A (zh) | 一种基于优先级的分时调度方法、终端及存储介质 | |
| US8087028B2 (en) | Computing device resource scheduling | |
| CN115658292A (zh) | 资源调度方法、装置、计算机设备和存储介质 | |
| CN115809014A (zh) | 一种调度控制方法、设备及计算机存储介质 | |
| CN114489463A (zh) | 动态调整存储卷qos的方法、装置及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200602 |