CN114579270A - 一种基于资源需求预测的任务调度方法及系统 - Google Patents

一种基于资源需求预测的任务调度方法及系统 Download PDF

Info

Publication number
CN114579270A
CN114579270A CN202210172467.9A CN202210172467A CN114579270A CN 114579270 A CN114579270 A CN 114579270A CN 202210172467 A CN202210172467 A CN 202210172467A CN 114579270 A CN114579270 A CN 114579270A
Authority
CN
China
Prior art keywords
executed
task
tasks
scheduling
resource demand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210172467.9A
Other languages
English (en)
Inventor
金福生
彭青峰
滕腾
王树良
张卫炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Surui Data Intelligent Technology Research Institute
Beijing Institute of Technology BIT
Original Assignee
Shenzhen Surui Data Intelligent Technology Research Institute
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Surui Data Intelligent Technology Research Institute, Beijing Institute of Technology BIT filed Critical Shenzhen Surui Data Intelligent Technology Research Institute
Priority to CN202210172467.9A priority Critical patent/CN114579270A/zh
Publication of CN114579270A publication Critical patent/CN114579270A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051—Service on demand, e.g. definition and deployment of services in real time
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于资源需求预测的任务调度方法及系统，包括：获取待执行任务；通过预测模型对待执行任务进行预测，得到待执行任务的资源需求量，以及执行待执行任务所需时间；根据预测得到的待执行任务的资源需求量，以及执行待执行任务所需时间，同时结合所有执行器的工作状态，通过调度模型对待执行任务进行调度；通过该方法能够对用户提交的任务进行合理调度，进而最大化利用云、网、端资源，并尽量缩短任务的整体执行时间，提高任务调度系统的响应速度。

Description

一种基于资源需求预测的任务调度方法及系统
技术领域
本发明属于体系工程技术领域，特别是一种基于资源需求预测的任务调度方法及系统。
背景技术
随着云计算、区块链、边缘计算等产业的发展和成熟，采用云计算、区块链和边缘计算等技术进行云网端数据资源共享和计算能力整合成为业界发展的重要趋势。云、网、端数据的及时传输、业务的正常运转、资源的高效利用都依赖于调度系统进行的业务的分发和协同。
目前，Hadoop、Spark、Kubernetes等框架包含了任务调度的功能，以实现任务和资源的调度。Azkaban、XXL-JOB等分布式任务调度平台也被大量的应用于云计算、数据中台等，以实现任务的分发调度。任务调度的核心是任务调度算法，当前，任务调度系统的研究重点是在保证服务质量的情况下，尽可能的提高资源的利用率。常用的调度算法包括先到先服务、循环调度、最短作业优先、模拟退火、蚁群优化、粒子群优化等。
以Azkaban为例，其典型的调度策略采用了先进先出的调度算法，即首先获得待执行任务队列的任务，然后根据当前所有执行器的状态进行判断，最终将待执行任务分发到执行器，以完成任务的执行。上述调度方法中，一方面，任务调度公平的算法，存在资源碎片化现象严重，不能最大化地利用云、网、端的计算和网络等资源的情况；另一方面，任务调度高效算法的算法，也存在任务调度以高资源为目标，部分任务等待时间过长，系统整体服务能力低下的问题。
因此，如何对用户提交的任务进行合理调度，进而最大化利用云、网、端资源，并尽量缩短任务的整体执行时间，提高任务调度系统的响应速度，成为当前研究的关键问题。
发明内容
鉴于上述问题，本发明提供一种至少解决上述部分技术问题的一种基于资源需求预测的任务调度方法及系统，通过该方法可以对用户提交的任务进行合理调度，进而最大化利用云、网、端资源，并尽量缩短任务的整体执行时间，提高任务调度系统的响应速度。
第一方面，本发明实施例提供了一种基于资源需求预测的任务调度方法，包括：
S1、获取待执行任务；通过预测模型对所述待执行任务进行预测，得到所述待执行任务的资源需求量，以及执行所述待执行任务所需时间；
S2、根据S1中预测得到的所述待执行任务的资源需求量，以及执行所述待执行任务所需时间，同时结合所有执行器的工作状态，通过调度模型对所述待执行任务进行调度。
进一步地，其中S1中所述预测模型的构建方法为：
S11、获取历史已执行任务、所述历史已执行任务的资源需求量，以及执行所述历史已执行任务所需时间；
S12、根据S11获得的所述历史已执行任务、所述历史已执行任务的资源需求量，以及执行所述历史已执行任务时所需时间，采用SVR算法构建预测模型。
进一步地，所述S2具体包括：
S21、构建待执行任务调度队列TaskList；所述待执行任务包括多个待执行子任务；
S22、将任务信息输入至所述TaskList中；所述任务信息包括所述待执行任务、所述待执行任务的权重信息、所述待执行任务的资源需求量，以及执行所述待执行任务所需时间；
S23、结合所有执行器的工作状态，通过调度模型将所述多个待执行子任务分配到相应的执行器中。
进一步地，所述S23包括：
S231、接收所述执行器的心跳包：当接收到其中执行器j的心跳包时，对记录数组进行初始化，并遍历所述TaskList中的任务信息，得到所述多个待执行子任务中的一个待执行子任务i；
S232、根据所述执行器j的心跳包，对所述执行器j的可用资源进行判断：如果所述执行器j的可用资源大于所述待执行子任务i的资源需求量，则通过公式
Figure BDA0003518865570000031
对所述待执行子任务i进行计算，并将计算结果放入到所述记录数组中，继续遍历所述TaskList中的任务信息，此时i＝i+1，直到遍历结束后执行S233；其中，Tasklnfoi表示待执行子任务i；weight表示待执行子任务i的权重信息；TotalD(i,j)表示待执行子任务i在执行器j上的最大资源需求量；
S233、遍历所述记录数组，找到所述计算结果值最小的待执行子任务i，所述调度器将所述计算结果值最小的待执行子任务i分配到执行器j，并从所述TaskList中移除有关所述待执行子任务i的信息；继续执行S231，此时j＝j+1，直到所述TaskList中的多个待执行子任务全部被分配到对应的执行器后停止循环。
进一步地，所述调度模型表示为：
Figure BDA0003518865570000032
其中，
Figure BDA0003518865570000033
表示执行器j在t0到t时间内资源k的平均剩余量的占比；
Figure BDA0003518865570000034
表示执行器j在t0到t时间内资源k的平均剩余量；
Figure BDA0003518865570000035
表示执行器j在t0到t时间内资源k的总量。
进一步地，每调度完一个待执行子任务后，所述TaskList中剩余所述待执行任务的权重信息变更为之前的N倍，N>1。
进一步地，所述S2还包括：
当所述执行器j在对所述待执行子任务i进行执行过程中，通过所述调度模型对所述待执行子任务i进行调度；具体步骤如下：
当所述执行器j在对所述待执行子任务i进行执行过程中，通过所述调度模型对所述待执行子任务i进行调度；具体步骤如下：
S234、实时监测所述执行器j对所述待执行子任务i的实际执行时长；
S235、如果S234中监测到的所述实际执行时长大于预设时长，则停止向所述执行器j下发新的任务，并将等待所述执行器j执行的任务全部退回至所述TaskList中；
S236、将所述执行器j的所有资源都分配给所述待执行子任务i；
S237、对S235中退回至所述TaskList中的任务进行重新分配。
第二方面，本发明实施例提供了一种基于资源需求预测的任务调度系统，包括预测模块和调度模块；
其中，所述预测模块，用于对待执行任务进行预测，得到所述待执行任务的资源需求量，以及执行所述待执行任务所需时间；
所述调度模块，用于根据预测得到的所述待执行任务的资源需求量，以及执行所述待执行任务所需时间，同时结合所有执行器的工作状态，通过调度模型对所述待执行任务进行调度。
与现有技术人相比，本发明记载的一种基于资源需求预测的任务调度方法，具有如下有益效果：
可以有效缩短任务执行的等待时间；
可以进一步提升设备的物理资源利用效率；
可以实时调节，防止预测与实际偏差较大，而发生系统问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的一种基于资源需求预测的任务调度方法流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参见图1所示，本发明实施例提供了一种基于资源需求预测的任务调度方法，具体包括如下步骤：
S1、获取待执行任务；通过预测模型对所述待执行任务进行预测，得到所述待执行任务的资源需求量，以及执行所述待执行任务所需时间；
S2、根据S1中预测得到的所述待执行任务的资源需求量，以及执行所述待执行任务所需时间，同时结合所有执行器的工作状态，通过调度模型对所述待执行任务进行调度。
通过该方法，能够对用户提交的任务进行合理调度，进而最大化利用云、网、端资源，并尽量缩短任务的整体执行时间，提高任务调度系统的响应速度。
下面分别对上述各个步骤进行详细的说明。
在上述步骤S1中，为了在任务调度过程中，提高资源利用率、减少资源浪费，本发明实施例中增加了预测模块，用于对待执行任务所需资源进行预测(包括CPU、内存和网络等)；为了提高对待执行任务预测的准确性，本发明实施例还在预测模块中构建了预测模型，具体构建步骤为：
S11、获取历史已执行任务、历史已执行任务的资源需求量，以及执行历史已执行任务所需时间；
S12、根据S11获得的历史已执行任务、历史已执行任务的资源需求量，以及执行历史已执行任务时所需时间，采用SVR算法，以及深度学习等构建预测模型；其中SVR算法为支持向量回归算法，主要是通过升维后，在高维空间中构造线性决策函数来实现线性回归。
预测模型构建完成后，根据待执行任务的类型进行预测，得到所述待执行任务的资源需求量，以及执行所述待执行任务所需时间；由于该待执行任务包括多个待执行子任务，所以经过预测后，最终可获取到多个待执行子任务中的一个待执行子任务i对于一个执行器j的资源k，则在t0到t实现减的调度需求可表示为
Figure BDA0003518865570000051
在上述步骤S2中，本发明还基于资源需求预测模块在调度模块中构建了调度模型，用于定义执行器平均资源的剩余情况，具体表示为：
Figure BDA0003518865570000052
其中，
Figure BDA0003518865570000053
表示执行器j在t0到t时间内资源k的平均剩余量的占比；
Figure BDA0003518865570000054
表示执行器j在t0到t时间内资源k的平均剩余量；
Figure BDA0003518865570000055
表示执行器j在t0到t时间内资源k的总量；
假设在将待执行子任务i分配搭到执行器j后，公式(1)变化为：
Figure BDA0003518865570000061
其中，
Figure BDA0003518865570000062
表示待执行子任务i，在执行器j上，对于资源k的资源需求总量；
Figure BDA0003518865570000063
表示执行器j在t0到t时间内资源k的平均剩余量；
Figure BDA0003518865570000064
表示待执行子任务i在t0到t时间内资源k的平均需求量；
Figure BDA0003518865570000065
表示执行器j在t0到t时间内资源k的总量；
本发明实施例中，将待执行子任务i在执行器j上的最大资源需求量作为其总需求量，具体表示为：
Figure BDA0003518865570000066
根据上述定义，步骤S2的具体步骤为：
S21、在调度模块中构建待执行任务调度队列TaskList；其中，待执行任务包括多个待执行子任务；
S22、将任务信息(TaskInfo)输入至TaskList中；该任务信息包括待执行任务信息(RunInfo)、待执行任务的权重信息(Weight，初始值为1)、待执行任务的资源需求量(ResDemandInfo)，以及执行待执行任务所需时间；
S23、结合所有执行器的工作状态，通过调度模型将多个待执行子任务分配到相应的执行器中；此处执行器的工作状态包括执行器的执行状态和空闲状态。
其中，步骤S23具体为：
S231、接收所述执行器的心跳包：当接收到其中执行器j的心跳包时，对记录数组(Record)进行初始化，并遍历所述TaskList中的任务信息，得到所述多个待执行子任务中的一个待执行子任务i；
S232、根据所述执行器j的心跳包，对所述执行器j的可用资源(Availablej)进行判断：如果所述执行器j的可用资源大于所述待执行子任务i的资源需求量，则通过公式
Figure BDA0003518865570000067
对所述待执行子任务i进行计算，并将计算结果放入到所述记录数组中，继续遍历所述TaskList中的任务信息，此时i＝i+1，直到遍历结束后执行S233；其中，Tasklnfoi表示待执行子任务i；weight表示待执行子任务i的权重信息；TotalD(i,j)表示待执行子任务i在执行器j上的最大资源需求量；在该步骤中，通过公式
Figure BDA0003518865570000071
对所述待执行子任务i进行计算后，所得到的计算结果为一个优先级的权重值，值越大，应当优先被执行；
S233、遍历所述记录数组，找到所述计算结果值最小的待执行子任务i，所述调度器将所述计算结果值最小的待执行子任务i分配到执行器j，并从所述TaskList中移除有关所述待执行子任务i的信息；继续执行S231，此时j＝j+1，直到所述TaskList中的多个待执行子任务全部被分配到对应的执行器后停止循环。
当调度器将待执行子任务i分配到执行器j后，执行器j的可用资源变更为Availablej-max(TaskInfoi·ResDemandInfo)；TaskList中剩余所述待执行任务的权重信息Weight变更为之前的N倍，N>1；在本实施例中，TaskList中剩余所述待执行任务的权重信息Weight变更为之前的2倍，即2Weight。
当执行器j在对待执行子任务i进行执行过程中，由于物理硬件、软件、数据、网络等条件限制，实际执行时长和预设时长或许存在偏差；当预估执行时间偏低，当前某一任务一直执行不完，为了避免该任务造成该执行器的其它任务等待，则放弃其它待执行任务，将所有资源给正在执行的该任务，让该任务快速执行完成；同时，其它待执行任务，回去重新排队，以分配到执行器；具体步骤如下：
本发明实施例在执行器j在对待执行子任务i进行执行过程中，通过调度模型对待执行子任务i进行调度：
S234、实时监测执行器j对待执行子任务i的实际执行时长；
S235、如果S234中监测到的实际执行时长大于预设时长，则停止向执行器j下发新的任务，并将等待执行器j执行的任务全部退回至TaskList中；此处需注意的是，当执行器处于执行状态时，还应当评估等待队列；也就是说，当执行器处于执行状态时，执行状态实际上是正在执行+等待队列，不能简单的理解，执行状态就是正在执行；
S236、将执行器j的所有资源都分配给待执行子任务i；
S237、对S235中退回至TaskList中的任务进行重新分配。
本发明实施例还提供了一种基于资源需求预测的任务调度系统，包括预测模块和调度模块；
其中，预测模块，用于对待执行任务进行预测，得到待执行任务的资源需求量，以及执行待执行任务所需时间；
调度模块，用于根据预测得到的待执行任务的资源需求量，以及执行待执行任务所需时间，同时结合所有执行器的工作状态，通过调度模型对待执行任务进行调度。
本发明实施例提供了一种基于资源需求预测的任务调度方法及系统，针对任务调度导致资源利用率较低，存在资源浪费的情况，利用历史任务运行情况进行建模，获取任务预估调度时间，需要根据任务的类型，预估任务资源的使用情况，并根据资源在未来一段时间的剩余尽快进行任务与资源的匹配，尽可能提高任务下发后，云网端资源的使用效率；针对任务等待时间过长，影响用户体验的问题，需要在整体任务调度的优先级计算过程中，增加时间等待因子，保证在任务执行资源相同或任务等待时间过长的情况下，该任务可以得到运行资源，优先执行。本发明通过在流程、算法等方面对任务调度系统的改进，以达到在保障服务质量的前提下，提高云网端资源利用效率的目的。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于资源需求预测的任务调度方法，其特征在于，包括：
S1、获取待执行任务；通过预测模型对所述待执行任务进行预测，得到所述待执行任务的资源需求量，以及执行所述待执行任务所需时间；
S2、根据S1中预测得到的所述待执行任务的资源需求量，以及执行所述待执行任务所需时间，同时结合所有执行器的工作状态，通过调度模型对所述待执行任务进行调度。
2.如权利要求1所述的一种基于资源需求预测的任务调度方法，其特征在于，其中S1中所述预测模型的构建方法为：
S11、获取历史已执行任务、所述历史已执行任务的资源需求量，以及执行所述历史已执行任务所需时间；
S12、根据S11获得的所述历史已执行任务、所述历史已执行任务的资源需求量，以及执行所述历史已执行任务时所需时间，采用SVR算法构建预测模型。
3.如权利要求1所述的一种基于资源需求预测的任务调度方法，其特征在于，所述S2具体包括：
S21、构建待执行任务调度队列TaskList；所述待执行任务包括多个待执行子任务；
S22、将任务信息输入至所述TaskList中；所述任务信息包括所述待执行任务、所述待执行任务的权重信息、所述待执行任务的资源需求量，以及执行所述待执行任务所需时间；
S23、结合所有执行器的工作状态，通过调度模型将所述多个待执行子任务分配到相应的执行器中。
4.如权利要求3所述的一种基于资源需求预测的任务调度方法，其特征在于，所述S23包括：
S231、接收所述执行器的心跳包：当接收到其中执行器j的心跳包时，对记录数组进行初始化，并遍历所述TaskList中的任务信息，得到所述多个待执行子任务中的一个待执行子任务i；
S232、根据所述执行器j的心跳包，对所述执行器j的可用资源进行判断：如果所述执行器j的可用资源大于所述待执行子任务i的资源需求量，则通过公式
Figure FDA0003518865560000021
对所述待执行子任务i进行计算，并将计算结果放入到所述记录数组中，继续遍历所述TaskList中的任务信息，此时i＝i+1，直到遍历结束后执行S233；其中，Tasklnfoi表示待执行子任务i；weight表示待执行子任务i的权重信息；TotalD(i,j)表示待执行子任务i在执行器j上的最大资源需求量；
S233、遍历所述记录数组，找到所述计算结果值最小的待执行子任务i，所述调度器将所述计算结果值最小的待执行子任务i分配到执行器j，并从所述TaskList中移除有关所述待执行子任务i的信息；继续执行S231，此时j＝j+1，直到所述TaskList中的多个待执行子任务全部被分配到对应的执行器后停止循环。
5.如权利要求1所述的一种基于资源需求预测的任务调度方法，其特征在于，所述调度模型表示为：
Figure FDA0003518865560000022
其中，
Figure FDA0003518865560000023
表示执行器j在t0到t时间内资源k的平均剩余量的占比；
Figure FDA0003518865560000024
表示执行器j在t0到t时间内资源k的平均剩余量；
Figure FDA0003518865560000025
表示执行器j在t0到t时间内资源k的总量。
6.如权利要求4所述的一种基于资源需求预测的任务调度方法，其特征在于，每调度完一个待执行子任务后，所述TaskList中剩余所述待执行任务的权重信息变更为之前的N倍，N>1。
7.如权利要求4所述的一种基于资源需求预测的任务调度方法，其特征在于，所述S2还包括：
当所述执行器j在对所述待执行子任务i进行执行过程中，通过所述调度模型对所述待执行子任务i进行调度；具体步骤如下：
S234、实时监测所述执行器j对所述待执行子任务i的实际执行时长；
S235、如果S234中监测到的所述实际执行时长大于预设时长，则停止向所述执行器j下发新的任务，并将等待所述执行器j执行的任务全部退回至所述TaskList中；
S236、将所述执行器j的所有资源都分配给所述待执行子任务i；
S237、对S235中退回至所述TaskList中的任务进行重新分配。
8.一种基于资源需求预测的任务调度系统，其特征在于，包括预测模块和调度模块；
其中，所述预测模块，用于对待执行任务进行预测，得到所述待执行任务的资源需求量，以及执行所述待执行任务所需时间；
所述调度模块，用于根据预测得到的所述待执行任务的资源需求量，以及执行所述待执行任务所需时间，同时结合所有执行器的工作状态，通过调度模型对所述待执行任务进行调度。
CN202210172467.9A 2022-02-24 2022-02-24 一种基于资源需求预测的任务调度方法及系统 Pending CN114579270A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210172467.9A CN114579270A (zh) 2022-02-24 2022-02-24 一种基于资源需求预测的任务调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210172467.9A CN114579270A (zh) 2022-02-24 2022-02-24 一种基于资源需求预测的任务调度方法及系统

Publications (1)

Publication Number Publication Date
CN114579270A true CN114579270A (zh) 2022-06-03

Family

ID=81773560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210172467.9A Pending CN114579270A (zh) 2022-02-24 2022-02-24 一种基于资源需求预测的任务调度方法及系统

Country Status (1)

Country Link
CN (1) CN114579270A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934300A (zh) * 2023-03-08 2023-04-07 浙江九州云信息科技有限公司 一种云计算平台巡检任务调度方法及系统
CN115934362A (zh) * 2023-02-27 2023-04-07 北京大学 面向深度学习的服务器无感知计算集群调度方法及产品
CN117407178A (zh) * 2023-12-14 2024-01-16 成都凯迪飞研科技有限责任公司 一种自适应负载分配的加速子卡管理方法及系统
CN117707747A (zh) * 2024-02-06 2024-03-15 山东省计算中心（国家超级计算济南中心） 基于资源使用率预测的作业超量分配调度方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016082370A1 (zh) * 2014-11-25 2016-06-02 中国科学院声学研究所 一种分布式节点组内任务调度方法及系统
KR101695238B1 (ko) * 2016-06-29 2017-01-11 한국과학기술정보연구원 다중 컴퓨팅 자원을 이용한 작업 스케줄링 시스템 및 방법
CN111061565A (zh) * 2019-12-12 2020-04-24 湖南大学 一种Spark环境下的两段式流水线任务调度方法及系统
CN111625331A (zh) * 2020-05-20 2020-09-04 拉扎斯网络科技（上海）有限公司 任务调度方法、装置、平台、服务器及存储介质
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质
CN113886029A (zh) * 2021-10-15 2022-01-04 中国科学院信息工程研究所 一种跨地域分布数据中心任务调度方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016082370A1 (zh) * 2014-11-25 2016-06-02 中国科学院声学研究所 一种分布式节点组内任务调度方法及系统
KR101695238B1 (ko) * 2016-06-29 2017-01-11 한국과학기술정보연구원 다중 컴퓨팅 자원을 이용한 작업 스케줄링 시스템 및 방법
CN111061565A (zh) * 2019-12-12 2020-04-24 湖南大学 一种Spark环境下的两段式流水线任务调度方法及系统
CN111625331A (zh) * 2020-05-20 2020-09-04 拉扎斯网络科技（上海）有限公司 任务调度方法、装置、平台、服务器及存储介质
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质
CN113886029A (zh) * 2021-10-15 2022-01-04 中国科学院信息工程研究所 一种跨地域分布数据中心任务调度方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934362A (zh) * 2023-02-27 2023-04-07 北京大学 面向深度学习的服务器无感知计算集群调度方法及产品
CN115934300A (zh) * 2023-03-08 2023-04-07 浙江九州云信息科技有限公司 一种云计算平台巡检任务调度方法及系统
CN117407178A (zh) * 2023-12-14 2024-01-16 成都凯迪飞研科技有限责任公司 一种自适应负载分配的加速子卡管理方法及系统
CN117407178B (zh) * 2023-12-14 2024-04-02 成都凯迪飞研科技有限责任公司 一种自适应负载分配的加速子卡管理方法及系统
CN117707747A (zh) * 2024-02-06 2024-03-15 山东省计算中心（国家超级计算济南中心） 基于资源使用率预测的作业超量分配调度方法及系统
CN117707747B (zh) * 2024-02-06 2024-05-24 山东省计算中心（国家超级计算济南中心） 基于资源使用率预测的作业超量分配调度方法及系统

Similar Documents

Publication Publication Date Title
CN114579270A (zh) 一种基于资源需求预测的任务调度方法及系统
US20150074679A1 (en) Dynamic Scaling for Multi-Tiered Distributed Computing Systems
CN111782355B (zh) 一种基于混合负载的云计算任务调度方法及系统
CN111104211A (zh) 基于任务依赖的计算卸载方法、系统、设备及介质
CN116302578B (zh) 一种QoS约束的流应用延迟确保方法及系统
CN116643844B (zh) 面向电力超算云资源自动扩展的智能化管理系统及方法
Venugopal et al. A deadline and budget constrained scheduling algorithm for eScience applications on data grids
Shen et al. Goodbye to fixed bandwidth reservation: Job scheduling with elastic bandwidth reservation in clouds
CN110519386B (zh) 云环境下基于数据聚类的弹性资源供应方法和装置
CN102043676B (zh) 虚拟化数据中心调度方法及系统
Song et al. A deep reinforcement learning-based task scheduling algorithm for energy efficiency in data centers
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备
Hussin et al. Efficient energy management using adaptive reinforcement learning-based scheduling in large-scale distributed systems
CN113535387B (zh) 一种异构感知的gpu资源分配与调度方法及系统
CN116028193B (zh) 一种混部集群的大数据任务动态高能效调度方法和系统
CN111930485B (zh) 一种基于性能表现的作业调度方法
US20240004707A1 (en) Methods and systems for energy-efficient scheduling of periodic tasks on a group of processing devices
Lin et al. Two-tier project and job scheduling for SaaS cloud service providers
Stavrinides et al. Scheduling a time-varying workload of multiple types of jobs on distributed resources
Murad et al. Priority based fair scheduling: Enhancing efficiency in cloud job distribution
Skulysh et al. Management of multiple stage queuing systems
Liu et al. Resource management in cloud based on deep reinforcement learning
CN115454640B (zh) 任务处理系统及自适应任务调度的方法
Quan et al. Power aware scheduling for real-time systems with (m, k)-guarantee
Pace et al. Dynamic Resource Shaping for Compute Clusters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination