CN111625337A - 一种任务调度方法、装置、电子设备和可读存储介质 - Google Patents
一种任务调度方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111625337A CN111625337A CN202010469727.XA CN202010469727A CN111625337A CN 111625337 A CN111625337 A CN 111625337A CN 202010469727 A CN202010469727 A CN 202010469727A CN 111625337 A CN111625337 A CN 111625337A
- Authority
- CN
- China
- Prior art keywords
- scheduling
- task
- determining
- optimal weight
- target node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 45
- 238000011156 evaluation Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种任务调度方法，包括：接收调度任务，并获取集群监控参数，其中，调度任务配置有类型参数；基于类型参数和集群监控参数，确定多个调度策略的最佳权重组合；基于多个调度策略和对应的最佳权重组合，从节点集中确定调度任务对应的目标节点；将调度任务下发至目标节点。可见，本申请通过类型参数和集群监控参数，确定最佳权重组合，通过组合的调度策略和最佳权重组合从节点集中确定目标节点，将调度任务下发至目标节点，提高调度的合理性，实现平台整体资源利用率的提升。本申请同时还提供了一种任务调度装置、电子设备和计算机可读存储介质，均具有上述有益效果。
Description
技术领域
本申请涉及调度技术领域，特别涉及一种任务调度方法、任务调度装置、电子设备和计算机可读存储介质。
背景技术
在人工智能的时代，由于深度学习平台的资源的昂贵和稀缺，所以深度学习的应用平台中资源管理尤为重要，好的资源管理可以提高平台的资源利用率，直接节约了成本。深度学习的应用平台中，资源主要应用于深度学习任务，所以资源管理中任务调度策略是平台的核心能力。
kubernetes是流行的docker编排容器，提供了自定义资源类型，可以通过kubernetes的operator实现应用级别的资源类型，可以把一个深度学习任务定义为一个operator，所以kubernetes被广泛应用于深度学习的资源管理平台。但是，kubernetes自带的调度算法是单一且固定的，不能满足用户的实际需求，在实际调度过程中会存在调度不合理的现象的发生。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种任务调度方法、任务调度装置、电子设备和计算机可读存储介质，通过类型参数和集群监控参数，确定最佳权重组合，通过组合的调度策略和最佳权重组合从节点集中确定目标节点，将调度任务下发至目标节点，提高调度的合理性，实现平台整体资源利用率的提升。其具体方案如下：
本申请公开了一种任务调度方法，包括：
接收调度任务，并获取集群监控参数，其中，所述调度任务配置有类型参数；
基于所述类型参数和所述集群监控参数，确定多个调度策略的最佳权重组合；
基于多个所述调度策略和对应的所述最佳权重组合，从节点集中确定所述调度任务对应的目标节点；
将所述调度任务下发至所述目标节点。
可选的，所述基于多个所述调度策略和对应的所述最佳权重组合，从节点集中确定所述调度任务对应的目标节点，包括：
确定所述节点集中的每个节点的每个所述调度策略对应的评估值；
基于每个所述调度策略的所述评估值和所述最佳权重组合确定每个所述节点的加权值；
根据所有所述节点的所述加权值，确定所述目标节点。
可选的，所述基于每个所述调度策略的所述评估值和所述最佳权重组合确定每个节点的加权值，包括：
基于所述评估值和所述最佳权重组合，利用非线性加权调度策略，确定每个所述节点的所述加权值。
可选的，所述基于所述类型参数和所述集群监控参数，确定多个调度策略的最佳权重组合之后，还包括：
确定同时满足所述类型参数和所述集群监控参数的所述节点集。
可选的，所述类型参数包括：标签、任务种类、任务体量。
可选的，所述基于所述类型参数和所述集群监控参数，确定多个调度策略的最佳权重组合，包括：
基于所述类型参数和所述集群监控参数，确定多个所述调度策略；
基于所述调度策略确定对应的最佳权重组合。
可选的，所述将所述调度任务下发至所述目标节点，包括：
调用kubernetes的operator接口把所述调度任务发送至所述目标节点。
本申请公开了一种任务调度装置，包括：
调度任务接收模块，用于接收调度任务，并获取集群监控参数，其中，所述调度任务配置有类型参数；
最佳权重组合获得模块，用于基于所述类型参数和所述集群监控参数，确定多个调度策略的最佳权重组合；
目标节点确定模块，用于基于多个所述调度策略和对应的所述最佳权重组合，从节点集中确定所述调度任务对应的目标节点；
下发模块，用于将所述调度任务下发至所述目标节点。
本申请公开了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述任务调度方法的步骤。
本申请公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述任务调度方法的步骤。
本申请提供了一种任务调度方法，包括：接收调度任务，并获取集群监控参数，其中，所述调度任务配置有类型参数；基于所述类型参数和所述集群监控参数，确定多个调度策略的最佳权重组合；基于多个所述调度策略和对应的所述最佳权重组合，从节点集中确定所述调度任务对应的目标节点；将所述调度任务下发至所述目标节点。
可见，本申请通过类型参数和集群监控参数，确定最佳权重组合，通过组合的调度策略和最佳权重组合从节点集中确定目标节点，将调度任务下发至目标节点，提高调度的合理性，实现平台整体资源利用率的提升。
本申请同时还提供了一种任务调度装置、电子设备和计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种任务调度方法的流程图；
图2为本申请实施例提供的一种实现任务调度的结构图；
图3为本申请实施例提供的一种任务调度装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
kubernetes被广泛应用于深度学习的资源管理平台。但是，kubernetes自带的调度算法是单一且固定的，不能满足用户的实际需求，在实际调度过程中会存在调度不合理的现象的发生。基于上述技术问题，本实施例提供一种任务调度方法，具体请参考图1，图1为本申请实施例提供的一种任务调度方法的流程图，具体包括：
S101、接收调度任务，并获取集群监控参数，其中，调度任务配置有类型参数；
用户设备使用yaml文件配置所选调度器，配置深度学习任务的operator(kubernetes提供的应用开发框架)类型，并根据判断配置调度任务的类型参数，该类型参数包括但是不限定于标签、任务种类、任务体量。该标签包括优先级(紧急、高、中、低)、类别(图像检测、图像识别)、自然语言(语音、文字)；任务种类包括训练、开发、推理；任务体量包括大任务、普通任务，具体体现在需要几个节点。本实施例中对集群进行实时监控，得到集群监控参数，其中，集群监控参数包括但是不限定于集群规模、GPU单卡性能、网络资源类型、节点资源类型异构比例等。
S102、基于类型参数和集群监控参数，确定多个调度策略的最佳权重组合；
具体的，本实施例可以是将类型参数和集群监控参数，传递给权重分析器；权重分析器根据一定量的if-then规则，设置多种策略的权重组合模式；权重计算过程中，根据配置的参数类型和监控获取的集群监控参数，根据内置的if-then策略得到最佳权重组合。当然，该最佳权重组合也可以改进为使用深度学习训练不同模式下确定最佳权重组合。
在一种可实现的实施方式中，系统内置有多种最佳权重组合，根据参数类型和集群监控参数进行匹配，得到最佳权重组合。在另一种可实现的实施方式中，根据参数类型和集群监控参数先确定调度策略，再基于调度策略确定最佳权重组合。当然还可能存在其他的形式，用户可自定义设置，只要是能够实现本实施例的目的即可。
进一步的，本实施例提供一种具体的最佳权重组合确定方法，步骤S102，包括：基于类型参数和集群监控参数，确定多个调度策略；基于调度策略确定对应的最佳权重组合。
具体的，基于类型参数和集群监控参数，确定针对当前的调度任务需要的多个调度策略，并且基于多个调度策略，直接进行查询得到对应的最佳权重组合。具体的，在系统中预设有策略-最佳权重组合信息，也就是说，当确定多个调度策略具体是哪些调度策略后，基于策略-最佳权重组合信息，得到对应的最佳权重组合。
进一步的，为了提高调度任务下发的效率，基于类型参数和集群监控参数，确定多个调度策略的最佳权重组合之后，还包括：确定同时满足类型参数和集群监控参数的节点集。
本实施例中通过过滤器首先完成基本的gang-schedule功能，首先根据operator设置的类型参数和集群监控参数过滤满足条件的节点，也就是判断调度任务是否该节点满足运行条件，若是，则将该节点加入节点集中，最终得到完整的节点集。可见，通过筛选，减少了进行评估值计算的过程，提高了调度任务下发的效率。
S103、基于多个调度策略和对应的最佳权重组合，从节点集中确定调度任务对应的目标节点；
本步骤的目的是为了调度任务对应的确定目标节点。可以理解的是，当调度策略包括三种，具体为DRF、binpack、proportion，对应的最佳权重组合分别为a、b、c，其中a+b+c＝1，且a、b、c均为非负数。根据每种调度策略和对应的权重对调度任务进行任务评估，根据评估结果确定目标节点，该目标节点的数量可以根据实际情况进行设置。当第一节点基于DRF、binpack、proportion对调度任务进行评估，得到评估值为A1、B1、C1，得到第一节点的评估结果为P1＝a*A1+b*B1+c*C1；第二节点基于DRF、binpack、proportion对调度任务进行评估得到评估值为A2、B2、C2，得到第二节点的评估结果为P2＝a*A2+b*B2+c*C2，以此类推，得到节点集中所有节点的评估结果，评估结果越大，则证明该节点更加适用本次调度任务，根据评估结果的大小进行排列，得到目标节点。具体的，如果调度任务需要三个节点，则从评估结果中确定最大的三个评估结果，并将对应的三个节点作为目标节点。
进一步的，基于多个调度策略和对应的最佳权重组合，从节点集中确定调度任务对应的目标节点，包括：确定节点集中的每个节点的每个调度策略对应的评估值；基于每个调度策略的评估值和最佳权重组合确定每个节点的加权值；根据所有节点的加权值，确定目标节点。
具体的，节点集可以包括所有的节点，还可以是初步筛选后的所有节点，用户可自定义设置，只要是能够实现本实施例的目的即可。对应每个调度策略，依次对节点集中的节点进行评估，得到评估值。再利用最佳权重组合确定每个节点的加权值，基于加权值确定目标节点，可以是对加权值进行排列，按照加权值的高低确定目标节点。也就是说，多种调度策略对某一节点针对该调度任务的情况进行打分，得到评估值；再根据权重分析器给出的最佳权重组合，综合多种调度策略的评估值，得到每个节点的加权值，基于加权值，确定目标节点，得到最终节点队列。
具体的，本实施例中基于调度策略预设有不同的标准调度任务确定的评估值，具体可以根据当前的调度任务匹配标准调度任务，然后将标准调度任务对应的评估值作为该节点的评估值。根据不同的调度策略对节点进行评估，以调度策略包括DRF、binpack、proportion为例，当然还可以包括其他的调度策略，本实施例不再进行限定，只要是能够实现本实施例的目的即可。DRF策略主要思想是节点的资源越少，该节点的优先级越高，评估值越高；binpack的主要思想是尽量把已有节点填满，尽量不往空白节点投任务，假设放在当前节点后，节点当前存储量越大，评估值越高；proportion的主要作用是控制集群总资源分配比例，考虑共享资源的不同项目组的影响，用户可确定每一分配的评估值。
进一步的，为了保证加权值的有效性，基于每个调度策略的评估值和最佳权重组合确定每个节点的加权值，包括：基于评估值和最佳权重组合，利用非线性加权调度策略，确定加权值。
本实施例中加入了非线性加权策略，方便支持插件式的策略模块和策略组合实验，最终得到的打分用来获取目标节点对应的节点队列，得到的加权值更加准确，进而目标节点的确定更加合理。
S104、将调度任务下发至目标节点。
其中，配置多种调度策略的权重，最终把多个调度策略的队列结果加权求和，得到最终的目标节点，该目标节点可以是一个，可以是两个，根据用户的实际需求进行设定，最终将调度任务下发至目标节点，实现任务调度。本实施例实现了基本的批调度功能的基础上，结合了多种调度策略，既减小了使用难度，又保留了不同策略的多种功能。
进一步的，将调度任务下发至目标节点，包括：调用kubernetes的operator接口把调度任务发送至目标节点。
基于上述技术方案，本实施例通过类型参数和集群监控参数，确定最佳权重组合，通过组合的调度策略和最佳权重组合从节点集中确定目标节点，将调度任务下发至目标节点，提高调度的合理性，实现平台整体资源利用率的提升。
请参考图2，图2为本申请实施例提供的一种实现任务调度的结构图。
1、用户设备使用yaml文件配置所选调度器，配置深度学习任务(调度任务)的operator类型，并根据主观判断配置任务的类型参数即模式标签；
2、权重计算过程中，根据配置的参数类型和监控获取的环境参数(集群监控参数)，根据内置的if-then策略得到最佳权重组合；
3、过滤器首先根据operator设置的参数类型和环境参数过滤满足条件的节点，得到所有满足条件的节点，并作为节点集；
4、根据不同的策略(调度策略)对节点集中的节点进行评估即打分：本申请中以调度策略具体为策略1、策略2、策略3为例；
5、多个调度策略单独对每个节点(node)打分后，使用权重分析器获得的最佳权重组合，对策略得分进行加权求和，得到加权值，这里加入了非线性加权策略，方便支持插件式的策略模块，和策略组合实验。最终得到的打分用来获取节点队列也就是得到目标节点；
6、根据节点队列，operator被部署到kubernetes集群上。
可见，本实施例用加权的思想，组合多种不同类型的调度策略，方便弥补各自的不足，覆盖更多种类型的调度情况，不同的调度任务对应不同的调度情况，每一种调度情况对应有最佳权重组合；使用参数组合模式的思想，根据不同的环境参数和主观判断来模式识别不同情况，对当前调度问题进行分类；使用if-then方法，根据不同调度问题，吸收工业实验得到的最佳权重组合。
本实施例提供一种应用于kubernetes平台的深度学习任务批调度器，使深度学习任务的调度得到优化，满足了针对深度学习任务的调度要求，从而增加整个集群资源利用率，既简单好用，又功能丰富。而且方便支持插件式的调度策略的添加和删除，可以进行策略的实验，内置权重分析器是一个经验参数，可以吸收工程上的最佳组合参数，以便根据参数类型和集群监控参数确定当前的调度任务的最佳权重组合。
下面对本申请实施例提供的一种任务调度装置进行介绍，下文描述的任务调度装置与上文描述的任务调度方法可相互对应参照，参考图3，图3为本申请实施例提供的一种任务调度装置的结构示意图，包括：
调度任务接收模块301，用于接收调度任务，并获取集群监控参数，其中，调度任务配置有类型参数；
最佳权重组合获得模块302，用于基于类型参数和集群监控参数，确定多个调度策略的最佳权重组合；
目标节点确定模块303，用于基于多个调度策略和对应的最佳权重组合，从节点集中确定调度任务对应的目标节点；
下发模块304，用于将调度任务下发至目标节点。
进一步的，目标节点确定模块303，包括：
评估值确定单元，用于确定节点集中的每个节点的每个调度策略对应的评估值；
加权值确定单元，用于基于每个调度策略的评估值和最佳权重组合确定每个节点的加权值；
目标节点确定单元，用于根据所有节点的加权值，确定目标节点。
进一步的，加权值确定单元，包括：
加权值确定子单元，用于基于评估值和最佳权重组合，利用非线性加权调度策略，确定加权值。
进一步的，还包括：
节点集确定模块，用于确定同时满足类型参数和集群监控参数的节点集。
进一步的，类型参数包括：标签、任务种类、任务体量。
进一步的，最佳权重组合获得模块302，包括：
调度策略确定单元，用于基于类型参数和集群监控参数，确定多个调度策略；
最佳权重组合获得单元，用于基于调度策略确定对应的最佳权重组合。
进一步的，下发模块304，包括：
下发单元，用于调用kubernetes的operator接口把调度任务发送至目标节点。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的任务调度方法可相互对应参照。请参考图4，图4为本申请实施例提供的一种电子设备的结构示意图，包括：
存储器401，用于存储计算机程序；
处理器402，用于执行计算机程序时实现如上任务调度方法的步骤。
由于电子设备部分的实施例与任务调度方法部分的实施例相互对应，因此电子设备部分的实施例请参见任务调度方法部分的实施例的描述，这里暂不赘述。
在上述实施例的基础上，作为优选实施方式，本申请实施例提供另一种电子设备，该电子设备还包括：
输入接口，与处理器相连，用于获取外部导入的计算机程序、参数和指令，经处理器控制保存至存储器中。该输入接口可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。
显示单元，与处理器相连，用于显示处理器发送的数据。该显示单元可以为PC机上的显示屏、液晶显示屏或者电子墨水显示屏等。
网络端口，与处理器相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。
本申请公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任务调度方法的步骤。
由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种任务调度方法、任务调度装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种任务调度方法，其特征在于，包括：
接收调度任务，并获取集群监控参数，其中，所述调度任务配置有类型参数；
基于所述类型参数和所述集群监控参数，确定多个调度策略的最佳权重组合；
基于多个所述调度策略和对应的所述最佳权重组合，从节点集中确定所述调度任务对应的目标节点；
将所述调度任务下发至所述目标节点。
2.根据权利要求1所述的任务调度方法，其特征在于，所述基于多个所述调度策略和对应的所述最佳权重组合，从节点集中确定所述调度任务对应的目标节点，包括：
确定所述节点集中的每个节点的每个所述调度策略对应的评估值；
基于每个所述调度策略的所述评估值和所述最佳权重组合确定每个所述节点的加权值；
根据所有所述节点的所述加权值，确定所述目标节点。
3.根据权利要求2所述的任务调度方法，其特征在于，所述基于每个所述调度策略的所述评估值和所述最佳权重组合确定每个所述节点的加权值，包括：
基于所述评估值和所述最佳权重组合，利用非线性加权调度策略，确定每个所述节点的所述加权值。
4.根据权利要求3所述的任务调度方法，其特征在于，所述基于所述类型参数和所述集群监控参数，确定多个调度策略的最佳权重组合之后，还包括：
确定同时满足所述类型参数和所述集群监控参数的所述节点集。
5.根据权利要求1所述的任务调度方法，其特征在于，所述类型参数包括：标签、任务种类、任务体量。
6.根据权利要求1所述的任务调度方法，其特征在于，所述基于所述类型参数和所述集群监控参数，确定多个调度策略的最佳权重组合，包括：
基于所述类型参数和所述集群监控参数，确定多个所述调度策略；
基于所述调度策略确定对应的所述最佳权重组合。
7.根据权利要求1所述的任务调度方法，其特征在于，所述将所述调度任务下发至所述目标节点，包括：
调用kubernetes的operator接口把所述调度任务发送至所述目标节点。
8.一种任务调度装置，其特征在于，包括：
调度任务接收模块，用于接收调度任务，并获取集群监控参数，其中，所述调度任务配置有类型参数；
最佳权重组合获得模块，用于基于所述类型参数和所述集群监控参数，确定多个调度策略的最佳权重组合；
目标节点确定模块，用于基于多个所述调度策略和对应的所述最佳权重组合，从节点集中确定所述调度任务对应的目标节点；
下发模块，用于将所述调度任务下发至所述目标节点。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述任务调度方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述任务调度方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010469727.XA CN111625337A (zh) | 2020-05-28 | 2020-05-28 | 一种任务调度方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010469727.XA CN111625337A (zh) | 2020-05-28 | 2020-05-28 | 一种任务调度方法、装置、电子设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111625337A true CN111625337A (zh) | 2020-09-04 |
Family
ID=72259223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010469727.XA Withdrawn CN111625337A (zh) | 2020-05-28 | 2020-05-28 | 一种任务调度方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625337A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965795A (zh) * | 2021-02-23 | 2021-06-15 | 卓望数码技术（深圳）有限公司 | 集群调度方法、电子设备及存储介质 |
| CN113296913A (zh) * | 2021-05-25 | 2021-08-24 | 未鲲(上海)科技服务有限公司 | 基于单集群的数据处理方法、装置、设备及存储介质 |
| CN113342477A (zh) * | 2021-07-08 | 2021-09-03 | 河南星环众志信息科技有限公司 | 一种容器组部署方法、装置、设备及存储介质 |
| CN113391890A (zh) * | 2021-04-16 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种任务处理方法、装置、设备和计算机存储介质 |
| CN113687936A (zh) * | 2021-05-31 | 2021-11-23 | 杭州云栖智慧视通科技有限公司 | 在tvm中加速调优收敛的调度方法、存储介质和电子设备 |
| CN114356587A (zh) * | 2022-03-17 | 2022-04-15 | 梯度云科技(北京)有限公司 | 算力任务跨区域调度方法、系统及设备 |
| CN115473834A (zh) * | 2022-09-14 | 2022-12-13 | 中国电信股份有限公司 | 监控任务调度方法和系统 |
| US11768704B2 (en) | 2021-04-28 | 2023-09-26 | Red Hat, Inc. | Increase assignment effectiveness of kubernetes pods by reducing repetitive pod mis-scheduling |
| CN117112191A (zh) * | 2022-05-16 | 2023-11-24 | 荣耀终端有限公司 | 信息处理方法和电子设备 |
| CN117421107A (zh) * | 2023-12-14 | 2024-01-19 | 江西飞尚科技有限公司 | 监测平台调度方法、系统、可读存储介质及计算机 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060280119A1 (en) * | 2005-06-10 | 2006-12-14 | Christos Karamanolis | Weighted proportional-share scheduler that maintains fairness in allocating shares of a resource to competing consumers when weights assigned to the consumers change |
| CN107665144A (zh) * | 2016-07-29 | 2018-02-06 | 北京京东尚科信息技术有限公司 | 分布式任务的均衡调度中心、方法、系统和装置 |
| CN109684065A (zh) * | 2018-12-26 | 2019-04-26 | 北京云联万维技术有限公司 | 一种资源调度方法、装置及系统 |
| CN109784687A (zh) * | 2018-12-27 | 2019-05-21 | 南京邮电大学 | 智慧云制造任务调度方法、可读存储介质和终端 |
| CN109976917A (zh) * | 2019-04-08 | 2019-07-05 | 科大讯飞股份有限公司 | 一种负载调度方法、装置、负载调度器、存储介质及系统 |
| US20190303196A1 (en) * | 2018-01-30 | 2019-10-03 | Pusan National University Industry-University Cooperation Foundation | Method and apparatus for automatically scheduling jobs in computer numerical control machines using machine learning approaches |
| CN110968424A (zh) * | 2019-09-12 | 2020-04-07 | 广东浪潮大数据研究有限公司 | 一种基于K8s的资源调度方法、装置和存储介质 |
| CN111090502A (zh) * | 2018-10-24 | 2020-05-01 | 阿里巴巴集团控股有限公司 | 一种流数据任务调度方法和装置 |
-
2020
- 2020-05-28 CN CN202010469727.XA patent/CN111625337A/zh not_active Withdrawn
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060280119A1 (en) * | 2005-06-10 | 2006-12-14 | Christos Karamanolis | Weighted proportional-share scheduler that maintains fairness in allocating shares of a resource to competing consumers when weights assigned to the consumers change |
| CN107665144A (zh) * | 2016-07-29 | 2018-02-06 | 北京京东尚科信息技术有限公司 | 分布式任务的均衡调度中心、方法、系统和装置 |
| US20190303196A1 (en) * | 2018-01-30 | 2019-10-03 | Pusan National University Industry-University Cooperation Foundation | Method and apparatus for automatically scheduling jobs in computer numerical control machines using machine learning approaches |
| CN111090502A (zh) * | 2018-10-24 | 2020-05-01 | 阿里巴巴集团控股有限公司 | 一种流数据任务调度方法和装置 |
| CN109684065A (zh) * | 2018-12-26 | 2019-04-26 | 北京云联万维技术有限公司 | 一种资源调度方法、装置及系统 |
| CN109784687A (zh) * | 2018-12-27 | 2019-05-21 | 南京邮电大学 | 智慧云制造任务调度方法、可读存储介质和终端 |
| CN109976917A (zh) * | 2019-04-08 | 2019-07-05 | 科大讯飞股份有限公司 | 一种负载调度方法、装置、负载调度器、存储介质及系统 |
| CN110968424A (zh) * | 2019-09-12 | 2020-04-07 | 广东浪潮大数据研究有限公司 | 一种基于K8s的资源调度方法、装置和存储介质 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965795A (zh) * | 2021-02-23 | 2021-06-15 | 卓望数码技术（深圳）有限公司 | 集群调度方法、电子设备及存储介质 |
| CN112965795B (zh) * | 2021-02-23 | 2024-06-07 | 卓望数码技术（深圳）有限公司 | 集群调度方法、电子设备及存储介质 |
| CN113391890A (zh) * | 2021-04-16 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种任务处理方法、装置、设备和计算机存储介质 |
| US11768704B2 (en) | 2021-04-28 | 2023-09-26 | Red Hat, Inc. | Increase assignment effectiveness of kubernetes pods by reducing repetitive pod mis-scheduling |
| CN113296913A (zh) * | 2021-05-25 | 2021-08-24 | 未鲲(上海)科技服务有限公司 | 基于单集群的数据处理方法、装置、设备及存储介质 |
| CN113687936A (zh) * | 2021-05-31 | 2021-11-23 | 杭州云栖智慧视通科技有限公司 | 在tvm中加速调优收敛的调度方法、存储介质和电子设备 |
| CN113342477B (zh) * | 2021-07-08 | 2024-05-10 | 河南星环众志信息科技有限公司 | 一种容器组部署方法、装置、设备及存储介质 |
| CN113342477A (zh) * | 2021-07-08 | 2021-09-03 | 河南星环众志信息科技有限公司 | 一种容器组部署方法、装置、设备及存储介质 |
| CN114356587A (zh) * | 2022-03-17 | 2022-04-15 | 梯度云科技(北京)有限公司 | 算力任务跨区域调度方法、系统及设备 |
| CN117112191A (zh) * | 2022-05-16 | 2023-11-24 | 荣耀终端有限公司 | 信息处理方法和电子设备 |
| CN115473834A (zh) * | 2022-09-14 | 2022-12-13 | 中国电信股份有限公司 | 监控任务调度方法和系统 |
| CN115473834B (zh) * | 2022-09-14 | 2024-04-02 | 中国电信股份有限公司 | 监控任务调度方法和系统 |
| CN117421107B (zh) * | 2023-12-14 | 2024-03-08 | 江西飞尚科技有限公司 | 监测平台调度方法、系统、可读存储介质及计算机 |
| CN117421107A (zh) * | 2023-12-14 | 2024-01-19 | 江西飞尚科技有限公司 | 监测平台调度方法、系统、可读存储介质及计算机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111625337A (zh) | 一种任务调度方法、装置、电子设备和可读存储介质 | |
| CN108628674A (zh) | 基于云平台的任务调度方法、云平台及计算机存储介质 | |
| CN113157410A (zh) | 线程池调节方法、装置、存储介质及电子设备 | |
| CN110795203B (zh) | 资源调度方法、装置、系统和计算设备 | |
| CN108563500A (zh) | 基于云平台的任务调度方法、云平台及计算机存储介质 | |
| CN111459665A (zh) | 一种分布式边缘计算系统及分布式边缘计算方法 | |
| CN110389816B (zh) | 用于资源调度的方法、装置以及计算机可读介质 | |
| CN109446041B (zh) | 一种服务器压力预警方法、系统及终端设备 | |
| US20180260746A1 (en) | Job allocation | |
| CN115543577B (zh) | 基于协变量的Kubernetes资源调度优化方法、存储介质及设备 | |
| CN112187859B (zh) | 物联网业务与边缘网络能力动态映射的方法及电子设备 | |
| CN111176840A (zh) | 分布式任务的分配优化方法和装置、存储介质及电子装置 | |
| CN109960581B (zh) | 硬件资源配置方法、装置、移动终端及存储介质 | |
| CN109657892A (zh) | 基于数据分析的机器行为识别方法、装置、设备和介质 | |
| CN117290090A (zh) | 节点协同资源分配方法、装置、设备及存储介质 | |
| CN117149665B (zh) | 持续集成方法、控制设备、持续集成系统及存储介质 | |
| CN114676892A (zh) | 一种基于智能匹配的服务派单方法、系统及设备 | |
| CN108985556B (zh) | 流量调度的方法、装置、设备和计算机存储介质 | |
| CN113535379A (zh) | 一种基于物联网的变电边缘计算方法、系统及设备 | |
| CN107122464A (zh) | 一种辅助决策系统及方法 | |
| CN116450290A (zh) | 计算机资源的管理方法、装置、云服务器及存储介质 | |
| CN115373826A (zh) | 一种基于云计算的任务调度方法及装置 | |
| CN103955802A (zh) | 一种参与式感知数据系统及其促进用户贡献数据的方法 | |
| CN114546647A (zh) | 调度方法和调度装置 | |
| CN114518798A (zh) | 设备集群的低功耗控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200904 |