CN116932171A - 一种任务调度方法、装置、存储介质及电子设备 - Google Patents
一种任务调度方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116932171A CN116932171A CN202310939822.5A CN202310939822A CN116932171A CN 116932171 A CN116932171 A CN 116932171A CN 202310939822 A CN202310939822 A CN 202310939822A CN 116932171 A CN116932171 A CN 116932171A
- Authority
- CN
- China
- Prior art keywords
- predicted value
- task
- time predicted
- arrival time
- workflow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012544 monitoring process Methods 0.000 claims description 5
- 239000002699 waste material Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种任务调度方法、装置、存储介质及电子设备，可应用于大数据领域或金融领域，该方法包括：在接收到调度请求的情况下，确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源；确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值；根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序；根据所述调度方案对各个所述工作流任务进行调度。应用本发明实施例提供的方法，能够避免服务资源浪费，提高工作流任务处理效率。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种任务调度方法、装置、存储介质及电子设备。
背景技术
目前，在对工作流任务的数据进行处理时，通常按照各个工作流任务的标识、数据量大小、工作流任务创建时间等排序方式，依次为各个工作流任务分配服务资源，以处理工作流任务的数据。然而，采用此种方式，容易出现已为工作流任务分配服务资源，但工作流任务的数据仍未到达的情况；即工作流任务无法运行，但是该工作流任务仍然占用服务资源，从而造成服务资源浪费和工作流任务处理效率低等问题。
发明内容
本发明所要解决的技术问题是提供一种任务调度方法、装置、存储介质及电子设备，能够避免服务资源浪费，提高工作流任务处理效率。
本发明还提供了一种任务调度装置，用以保证上述方法在实际中的实现及应用。
一种任务调度方法，包括：
在接收到调度请求的情况下，确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源；
确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值；
根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序；
根据所述调度方案对各个所述工作流任务进行调度。
上述的方法，可选的，所述确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值，包括：
应用预先构建的预测模型预测出每个所述工作流任务的最小到达时间预测值和最大到达时间预测值、最小任务处理时间预测值以及最大任务处理时间预测值；
根据每个所述工作流任务的最小到达时间预测值和最大到达时间预测值，确定出每个所述工作流任务的数据到达时间预测值；
根据每个所述最小任务处理时间预测值以及最大任务处理时间预测值，确定出每个所述工作流任务的任务处理时间预测值。
上述的方法，可选的，所述根据每个所述工作流任务的最小到达时间预测值和最大到达时间预测值，确定出每个所述工作流任务的数据到达时间预测值，包括：
确定每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值；
基于每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值，对每个所述工作流任务的最小到达时间预测值和最大到达时间预测值进行计算，获得每个所述工作流任务的数据到达时间预测值。
上述的方法，可选的，所述调度方案还包括所述云服务平台的资源调整方式；
所述根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案之后，还包括：
按所述资源调整方式对所述云服务平台的空闲服务资源进行调整。
上述的方法，可选的，所述确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，包括：
对所述调度请求进行解析，获得所述调度请求中包含的平台标识；
基于所述平台标识确定出所述调度请求对应的云服务平台；
对所述云服务平台进行监控，以确定出所述云服务平台中的各个待处理的工作流任务。
一种任务调度装置，包括：
第一确定单元，用于在接收到调度请求的情况下，确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源；
第二确定单元，用于确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值；
生成单元，用于根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序；
调度单元，用于根据所述调度方案对各个所述工作流任务进行调度。
上述的装置，可选的，所述第二确定单元，包括：
预测子单元，用于应用预先构建的预测模型预测出每个所述工作流任务的最小到达时间预测值和最大到达时间预测值、最小任务处理时间预测值以及最大任务处理时间预测值；
第一确定子单元，用于根据每个所述工作流任务的最小到达时间预测值和最大到达时间预测值确定出每个所述工作流任务的数据到达时间预测值；
第二确定子单元，用于根据每个所述最小任务处理时间预测值以及最大任务处理时间预测值确定出每个所述工作流任务的任务处理时间预测值。
上述的装置，可选的，所述第一确定子单元，包括：
确定模块，用于确定每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值；
计算模块，用于基于每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值，对每个所述工作流任务的最小到达时间预测值和最大到达时间预测值进行计算，获得每个所述工作流任务的数据到达时间预测值。
一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的任务调度方法。
一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的任务调度方法。
与现有技术相比，本发明包括以下优点：
本发明提供了一种任务调度方法、装置、存储介质及电子设备，其中，可以在接收到调度请求的情况下，确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源；确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值；根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序；根据所述调度方案对各个所述工作流任务进行调度。能够避免服务资源浪费，提高工作流任务处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种任务调度方法的方法流程图；
图2为本发明提供的一种确定数据到达时间预测值和任务处理时间预测值的过程的流程图；
图3为本发明提供的一种确定每个工作流任务的数据到达时间预测值的过程的流程图；
图4为本发明提供的一种任务调度过程的流程图；
图5为本发明提供的一种任务调度装置的结构示意图；
图6为本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前，在对工作流任务的数据进行处理时，通常按照各个工作流任务的标识、数据量大小、工作流任务创建时间等排序方式，依次为各个工作流任务分配服务资源，以处理工作流任务的数据。然而，采用此种方式，容易出现已为工作流任务分配服务资源，但工作流任务的数据仍未到达的情况；即工作流任务无法运行，但是该工作流任务仍然占用服务资源，从而造成服务资源浪费和工作流任务处理效率低等问题。
基于此，本发明实施例提供了一种任务调度方法，该方法可以应用于电子设备，所述方法的方法流程图如图1所示，具体包括：
S101：在接收到调度请求的情况下，确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源。
在本实施例中，工作流任务可以用于指示对工作流数据进行处理。
其中，云服务平台中的空闲服务资源可以是云服务平台中当前剩余的未被分配用于处理工作流数据的资源。
可选的，可以对云服务平台进行监控，确定出云服务平台中的各个待处理的工作流任务以及空闲服务资源。
S102：确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值。
在本实施例中，可以根据预先构建的预测模型获得每个工作流任务的数据到达时间预测值以及任务处理时间预测值。
S103：根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序。
在本实施例例中，可以根据各个工作流任务的数据到达时间预测值的先后顺序、任务处理时间预测值的大小以及空闲服务资源的资源量确定出各个工作流任务的最优处理顺序。
可选的，该调度方案还可以包括资源调整方式，该资源调整方式可以是对云平台的服务资源进行扩增或缩减中的一种，以使得调整后的服务资源可以满足当前各个工作流任务的需求。
S104：根据所述调度方案对各个所述工作流任务进行调度。
在本实施例中，可以根据调度方案中的各个工作流任务的最优处理顺序对各个工作流任务进行调度。
可选的，可以将空闲服务资源按各个工作流任务的最优处理顺序分配给各个工作流任务。
在本实施例中，该最优处理顺序可以是耗时最短的工作流任务处理顺序，通过确定每个工作流任务的数据到达时间预测值以及任务处理时间预测值；根据每个工作流任务的所述数据到达时间预测值、任务处理时间预测值以及空闲服务资源生成调度方案，调度方案至少包括各个工作流任务的最优处理顺序；根据调度方案对各个所述工作流任务进行调度。可以避免数据未到达的工作流任务占用服务资源，提升工作流任务的处理效率。
在本发明实施例提供的方法中，基于上述的实施过程，可选的，所述确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值的过程，如图2所示，包括：
S201：应用预先构建的预测模型预测出每个所述工作流任务的最小到达时间预测值和最大到达时间预测值、最小任务处理时间预测值以及最大任务处理时间预测值。
在本实施例中，该预测模型可以是预先构建的不确定因素度量模型。
可选的，可以通过该预测模型对每个工作流任务进行预测，获得每个工作流任务的到达时间最佳乐观值、到达时间最佳悲观值、任务处理时间最佳乐观值以及任务处理时间最佳悲观值，将到达时间最佳乐观值作为最小到达时间预测值，将到达时间最佳悲观值作为最大到达时间预测值；将任务处理时间最佳乐观值作为最小任务处理时间预测值，将任务处理时间最佳悲观值作为最大任务处理时间预测值。
在本实施例中，可以通过预测模块观测与工作流任务相同数据量、相同环境的多组历史工作流任务的数据到达时间以及任务处理，得到该工作流任务的到达时间最佳乐观值、到达时间最佳悲观值、任务处理时间最佳乐观值以及任务处理时间最佳悲观值。
S202：根据每个所述工作流任务的最小到达时间预测值和最大到达时间预测值，确定出每个所述工作流任务的数据到达时间预测值。
在本实施例中，对于每个工作流任务，对该工作流任务的最小到达时间预测值和最大到达时间预测值进行加权求和，获得该工作流任务的数据到达时间预测值。
S203：根据每个所述最小任务处理时间预测值以及最大任务处理时间预测值，确定出每个所述工作流任务的任务处理时间预测值。
在本实施例中，对于每个工作流任务，对该工作流任务的最小任务处理时间预测值和最大任务处理时间预测值进行加权求和，获得该工作流任务的任务处理时间预测值。
图2仅为示例性的，本发明实施例不对S202和S203的执行顺序做限定，例如，在另一种可行的方式中，可以先执行S203，再执行S202，也可以同时执行S202和S203。
在一些实施例中，可以采用预先训练好的第一神经网络模型对每个工作流任务的第一任务特征进行处理，获得第一预测结果，第一预测结果包含工作流任务的数据到达时间预测值，任务特征可以包括数据量、工作流任务的网络环境、系统配置等。可以采用预先训练好的第二神经网络模型对每个工作流任务的第二任务特征进行处理，获得第二预测结果，第二预测结果可以包括任务处理时间预测值，该第二任务特征可以包括数据量、当前空闲的服务资源等。
在本发明实施例提供的方法中，基于上述的实施过程，可选的，所述根据每个所述工作流任务的最小到达时间预测值和最大到达时间预测值，确定出每个所述工作流任务的数据到达时间预测值的过程，如图3所示，包括：
S301：确定每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值。
在本发明提供的实施例中，该权重值可以由技术人员预先设定，也可以通过预设的机器学习算法基于历史数据计算得到。
S302：基于每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值，对每个所述工作流任务的最小到达时间预测值和最大到达时间预测值进行计算，获得每个所述工作流任务的数据到达时间预测值。
在本发明提供的实施例中，可以根据基于每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值，对每个所述工作流任务的最小到达时间预测值和最大到达时间预测值进行加权求和，获得每个所述工作流任务的数据到达时间预测值。
在一些实施例中，根据每个所述最小任务处理时间预测值以及最大任务处理时间预测值，确定出每个所述工作流任务的任务处理时间预测值的过程可以包括：确定每个所述工作流任务的最小任务处理时间预测值对应的权重值，以及每个所述工作流任务的最大任务处理时间预测值对应的权重值；基于每个所述工作流任务的最小任务处理时间预测值对应的权重值，以及每个所述工作流任务的最大任务处理时间预测值对应的权重值，对每个所述工作流任务的最小任务处理时间预测值和最大任务处理时间预测值进行加权求和，获得每个所述工作流任务的任务处理时间预测值。
在本发明实施例提供的方法中，基于上述的实施过程，可选的，所述调度方案还包括所述云服务平台的资源调整方式；
所述根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案之后，还包括：
按所述资源调整方式对所述云服务平台的空闲服务资源进行调整。
在本发明提供的实施例中，该资源调整方式可以是扩增服务资源或缩减回收服务资源，通过调整云服务平台的空闲服务资源，能够使得云服务平台的空闲服务资源与工作流任务的需求匹配，避免服务资源不足或服务资源过剩。
在本发明实施例提供的方法中，基于上述的实施过程，可选的，所述确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，包括：
对所述调度请求进行解析，获得所述调度请求中包含的平台标识；
基于所述平台标识确定出所述调度请求对应的云服务平台；
对所述云服务平台进行监控，以确定出所述云服务平台中的各个待处理的工作流任务。
在本发明提供的实施例中，可以通过平台标识在各个候选云服务平台中确定出该调度请求对应的云服务平台，对该云服务平台进行监控，可以确定该云服务平台中的各个待处理的工作流任务以及服务资源占用情况。
在一些实施例中，如图4所示，在接收到用户的调度请求后，基于调度系统收集到的数据，利用不确定因素度量模型对工作流数据到达时间、任务处理时间进行预测，具体预测方法可为：观测相同数据量，相同环境的多组工作流的数据到达时间和任务处理时间，利用算法计算得到同数据量的数据到达时间和任务处理时间的最佳乐观值和最佳悲观值，预测值是二值根据不同的权重(权重的计算可根据经验，也可利用机器学习计算历史数据得到)相加得到，并返回预测值给调度系统。获取调度系统实时的服务器资源与任务执行情况的信息，并更新资源的最新情况。基于获取的当前时间下资源的最新情况与工作流的数据到达时间、任务处理时间的预测值，可以计算当前情况下系统中预测的各工作流开始运行时间，得到最优的工作流运行顺序，返回调度优化并发方案并实时更新。
在本实施例中，可以对工作流任务在调度资源上的优化，在持续接受到用户调度请求时，通过不确定因素度量模型，对数据到达时间、任务处理时间进行估值或者不确定化处理后，对调度周期内所收集的数据进行收集，基于给定的预测值或不确定值，计算任务所需要的服务器计算资源，同时根据实时监控模块获取实时的服务器资源与任务执行情况的信息，更新资源的最新情况，应用优化算法，可以计算得到当前情况下工作流运行排序的调度优化方案。通过调度资源的优化分配，节省成本，增加调度引擎运行效率，减少用户等待时间，提高用户体验感。
与图1所述的方法相对应，本发明实施例还提供了一种任务调度装置，用于对图1中方法的具体实现，本发明实施例提供的任务调度装置可以应用于电子设备中，其结构示意图如图5所示，具体包括：
第一确定单元501，用于在接收到调度请求的情况下，确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源；
第二确定单元502，用于确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值；
生成单元503，用于根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序；
调度单元504，用于根据所述调度方案对各个所述工作流任务进行调度。
在本发明实施例提供的方法中，基于上述的方案，可选的，所述第二确定单元，包括：
预测子单元，用于应用预先构建的预测模型预测出每个所述工作流任务的最小到达时间预测值和最大到达时间预测值、最小任务处理时间预测值以及最大任务处理时间预测值；
第一确定子单元，用于根据每个所述工作流任务的最小到达时间预测值和最大到达时间预测值确定出每个所述工作流任务的数据到达时间预测值；
第二确定子单元，用于根据每个所述最小任务处理时间预测值以及最大任务处理时间预测值确定出每个所述工作流任务的任务处理时间预测值。
在本发明实施例提供的方法中，基于上述的方案，可选的，所述第一确定子单元，包括：
确定模块，用于确定每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值；
计算模块，用于基于每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值，对每个所述工作流任务的最小到达时间预测值和最大到达时间预测值进行计算，获得每个所述工作流任务的数据到达时间预测值。
在本发明实施例提供的方法中，基于上述的方案，可选的，所述调度方案还包括所述云服务平台的资源调整方式；
上述的任务调度装置，还包括：
调整单元，用于按所述资源调整方式对所述云服务平台的空闲服务资源进行调整。
在本发明实施例提供的方法中，基于上述的方案，可选的，所述第一确定单元，包括：
解析子单元，用于对所述调度请求进行解析，获得所述调度请求中包含的平台标识；
第三确定子单元，用于基于所述平台标识确定出所述调度请求对应的云服务平台；
第四确定子单元，用于对所述云服务平台进行监控，以确定出所述云服务平台中的各个待处理的工作流任务。
上述本发明实施例公开的任务调度装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的任务调度方法相同，可参见上述本发明实施例提供的任务调度方法中相应的部分，这里不再进行赘述。
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述任务调度方法。
本发明实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器601，以及一个或者一个以上的指令602，其中一个或者一个以上指令602存储于存储器601中，且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602进行以下操作：
在接收到调度请求的情况下，确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源；
确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值；
根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序；
根据所述调度方案对各个所述工作流任务进行调度。
需要说明的是，本发明提供的一种任务调度方法、装置、存储介质及电子设备可用于金融领域或大数据领域。上述仅为示例，并不对本发明提供的一种任务调度方法、装置、存储介质及电子设备的应用领域进行限定。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种任务调度方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种任务调度方法，其特征在于，包括：
在接收到调度请求的情况下，确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源；
确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值；
根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序；
根据所述调度方案对各个所述工作流任务进行调度。
2.根据权利要求1所述的方法，其特征在于，所述确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值，包括：
应用预先构建的预测模型预测出每个所述工作流任务的最小到达时间预测值和最大到达时间预测值、最小任务处理时间预测值以及最大任务处理时间预测值；
根据每个所述工作流任务的最小到达时间预测值和最大到达时间预测值，确定出每个所述工作流任务的数据到达时间预测值；
根据每个所述最小任务处理时间预测值以及最大任务处理时间预测值，确定出每个所述工作流任务的任务处理时间预测值。
3.根据权利要求2所述的方法，其特征在于，所述根据每个所述工作流任务的最小到达时间预测值和最大到达时间预测值，确定出每个所述工作流任务的数据到达时间预测值，包括：
确定每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值；
基于每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值，对每个所述工作流任务的最小到达时间预测值和最大到达时间预测值进行计算，获得每个所述工作流任务的数据到达时间预测值。
4.根据权利要求1所述的方法，其特征在于，所述调度方案还包括所述云服务平台的资源调整方式；
所述根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案之后，还包括：
按所述资源调整方式对所述云服务平台的空闲服务资源进行调整。
5.根据权利要求1所述的方法，其特征在于，所述确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，包括：
对所述调度请求进行解析，获得所述调度请求中包含的平台标识；
基于所述平台标识确定出所述调度请求对应的云服务平台；
对所述云服务平台进行监控，以确定出所述云服务平台中的各个待处理的工作流任务。
6.一种任务调度装置，其特征在于，包括：
第一确定单元，用于在接收到调度请求的情况下，确定所述调度请求对应的云服务平台中的各个待处理的工作流任务，以及所述云服务平台中的空闲服务资源；
第二确定单元，用于确定每个所述工作流任务的数据到达时间预测值以及任务处理时间预测值；
生成单元，用于根据每个所述工作流任务的所述数据到达时间预测值、所述任务处理时间预测值以及所述空闲服务资源生成调度方案，所述调度方案至少包括各个所述工作流任务的最优处理顺序；
调度单元，用于根据所述调度方案对各个所述工作流任务进行调度。
7.根据权利要求6所述的装置，其特征在于，所述第二确定单元，包括：
预测子单元，用于应用预先构建的预测模型预测出每个所述工作流任务的最小到达时间预测值和最大到达时间预测值、最小任务处理时间预测值以及最大任务处理时间预测值；
第一确定子单元，用于根据每个所述工作流任务的最小到达时间预测值和最大到达时间预测值确定出每个所述工作流任务的数据到达时间预测值；
第二确定子单元，用于根据每个所述最小任务处理时间预测值以及最大任务处理时间预测值确定出每个所述工作流任务的任务处理时间预测值。
8.根据权利要求7所述的装置，其特征在于，所述第一确定子单元，包括：
确定模块，用于确定每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值；
计算模块，用于基于每个所述工作流任务的最小到达时间预测值对应的权重值，以及每个所述工作流任务的最大到达时间预测值对应的权重值，对每个所述工作流任务的最小到达时间预测值和最大到达时间预测值进行计算，获得每个所述工作流任务的数据到达时间预测值。
9.一种存储介质，其特征在于，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1～5任意一项所述的任务调度方法。
10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1～5任意一项所述的任务调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310939822.5A CN116932171A (zh) | 2023-07-28 | 2023-07-28 | 一种任务调度方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310939822.5A CN116932171A (zh) | 2023-07-28 | 2023-07-28 | 一种任务调度方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116932171A true CN116932171A (zh) | 2023-10-24 |
Family
ID=88393993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310939822.5A Pending CN116932171A (zh) | 2023-07-28 | 2023-07-28 | 一种任务调度方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116932171A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117473257A (zh) * | 2023-10-30 | 2024-01-30 | 成都康胜思科技有限公司 | 一种监测数据分析方法、系统、电子设备及存储介质 |
-
2023
- 2023-07-28 CN CN202310939822.5A patent/CN116932171A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117473257A (zh) * | 2023-10-30 | 2024-01-30 | 成都康胜思科技有限公司 | 一种监测数据分析方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tuli et al. | COSCO: Container orchestration using co-simulation and gradient based optimization for fog computing environments | |
| CN110737529B (zh) | 一种面向短时多变大数据作业集群调度自适应性配置方法 | |
| Bhattacharjee et al. | Barista: Efficient and scalable serverless serving system for deep learning prediction services | |
| US9755988B2 (en) | Method and system for arbitraging computer resources in a cloud computing environment | |
| CN103136039B (zh) | 用于平衡能量消耗和调度性能的作业调度方法和系统 | |
| US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
| Goswami et al. | Prediction-based dynamic load-sharing heuristics | |
| Salehi et al. | Stochastic-based robust dynamic resource allocation for independent tasks in a heterogeneous computing system | |
| Tran et al. | A proactive cloud scaling model based on fuzzy time series and SLA awareness | |
| CN109960573B (zh) | 一种基于智能感知的跨域计算任务调度方法及系统 | |
| CN112685153A (zh) | 微服务调度方法、装置以及电子设备 | |
| CN109857535B (zh) | 面向Spark JDBC的任务优先级控制的实现方法及装置 | |
| CN116932171A (zh) | 一种任务调度方法、装置、存储介质及电子设备 | |
| Tuli et al. | GOSH: Task scheduling using deep surrogate models in fog computing environments | |
| Kapur | A workload balanced approach for resource scheduling in cloud computing | |
| CN108132840B (zh) | 一种分布式系统中的资源调度方法及装置 | |
| CN113191533A (zh) | 仓库用工预测方法、装置、设备及存储介质 | |
| Alsurdeh et al. | Hybrid workflow scheduling on edge cloud computing systems | |
| CN117370065B (zh) | 一种异常任务确定方法、电子设备及存储介质 | |
| CN114298402A (zh) | 预测模型的训练方法及装置、存储介质及电子设备 | |
| Naik | A deadline-based elastic approach for balanced task scheduling in computing cloud environment | |
| CN102184124A (zh) | 任务调度方法及系统 | |
| CN108268313A (zh) | 数据处理的方法和装置 | |
| CN108052378B (zh) | 一种面向复杂仿真工作流应用的利润敏感的任务调度方法 | |
| Abba et al. | Design, development and performance analysis of deadline based priority heuristic for job scheduling on a grid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |