CN109298921B - 一种基于贝叶斯网络的分布式计算任务调度算法 - Google Patents

一种基于贝叶斯网络的分布式计算任务调度算法 Download PDF

Info

Publication number
CN109298921B
CN109298921B CN201810989541.XA CN201810989541A CN109298921B CN 109298921 B CN109298921 B CN 109298921B CN 201810989541 A CN201810989541 A CN 201810989541A CN 109298921 B CN109298921 B CN 109298921B
Authority
CN
China
Prior art keywords
scheduling
directed acyclic
data set
acyclic graph
bayesian network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810989541.XA
Other languages
English (en)
Other versions
CN109298921A (zh
Inventor
辛宇
王亚迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201810989541.XA priority Critical patent/CN109298921B/zh
Publication of CN109298921A publication Critical patent/CN109298921A/zh
Application granted granted Critical
Publication of CN109298921B publication Critical patent/CN109298921B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明是一种基于贝叶斯网络的分布式计算任务调度算法，利用HEFT算法对有向无环图调度，得到调度结果，进一步构建数据集D1；利用贝叶斯网络模型计算数据集D1每个子任务在不同CPU上处理的概率，构建数据集D2；计算数据集D2中每个任务调度到不同CPU上的先验概率；计算待调度有向无环图所有子任务调度到不同CPU上的条件概率；利用贝叶斯网络模型对待调度有向无环图所有子任务的调度结果进行预测，输出甘特图，完成任务调度。本发明实现了对HEFT算法的模拟，具有普遍适应性，并且解决了传统算法操作繁琐和时间复杂度高的问题。

Description

一种基于贝叶斯网络的分布式计算任务调度算法
一、技术领域
本发明涉及分布式计算任务调度技术领域，是一种基于贝叶斯网络的分布式计算任务调度算法。
二、背景技术
随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。分布式计算，就是使用高速的网络，将许多不同的但内部又有关联的资源联系在一起，它可以为用户提供有强大的并行计算，并具有任务分配能力。其中，衡量分布式计算的能力的一个重要指标，就是分布式计算时对任务的调度效率。总的来说，分布式计算资源调度所面临的的主要问题：任务是否能分配到合适的资源上以及任务在各个资源上执行的顺序是否合适。
分布式计算任务常用有向无环图来表示。其中有向无环图图中的节点，表示任务；边表示任务间的依赖关系。每一个节点都已知计算该任务所耗费的时间，并且每一个边都已知它若迁移到别的资源上时，所消耗的时间成本。目前针对分布式计算任务已有许多传统的算法，用于解决分布式任务的调度问题。例如HEFT算法，用于解决云计算资源调度时，主要包含两个步骤：利用Rank值确定任务的优先级和为任务分配合适的CPU资源。但是这类传统的调度方法，往往存在着操作复杂和时间复杂度高的问题。
本发明提出的一种基于贝叶斯网络的分布式计算任务调度方法，这种方法构建了一个贝叶斯网络，这个贝叶斯网络把影响调度结果的任务在CPU上的处理时间、Rank值和任务分配到不同CPU上处理的概率作为训练集的属性，充分考虑了调度过程中上一个任务的调度结果对下一个任务的影响。在这种前提下，本发明使用贝叶斯网络，对待调度任务进行调度判别。这种方法使用了较低的时间复杂度，实现了对传统算法(如HEFT调度算法)的模拟，解决了传统调度算法存在的操作繁琐和时间复杂度高的问题。
三、发明内容
为了解决了传统调度算法的存在的操作繁琐和时间复杂度高的问题，设计了一种基于贝叶斯网络的分布式计算任务调度算法。本发明有以下技术特征：
一种基于贝叶斯网络的分布式计算任务调度算法，包括以下步骤：
步骤一：利用HEFT调度算法对随机生成的有向无环图进行调度，得到每个有向无环图所有的子任务分配不同CPU编号的结果所述每个有向无环图所有的子任务分配不同CPU编号的结果为HEFT调度算法的调度结果；
步骤二：取待调度的有向无环图中的单个子任务，取所述单个任务在不同CPU上的处理时间和Rank值，作为数据集D1的特征值,取HEFT算法的调度结果作为数据集D1的分类结果，生成数据集D1；
步骤三：利用构建的贝叶斯网络模型对数据集D1进行处理，得到数据集D1每个子任务在不同CPU上处理的概率；
步骤四：将步骤三中得到数据集D1里的每个子任务在不同CPU上处理的概率作为新的特征，加入到数据集D1中，构成新的数据集D2；
步骤五：计算数据集D2中每个任务调度到不同CPU上的先验概率P(c)；
步骤六：取待调度的有向无环图中的一个子任务，计算所述子任务在数据集D2中在不同CPU上的处理时间和Rank值，再计算所述子任务调度到不同CPU上的条件概率P(xi|c)；
步骤七：待得到所述子任务调度到不同CPU上的先验概率和条件概率后，利用贝叶斯网络模型对所述有向无环图中子任务调度到不同CPU的结果进行预测；
步骤八:重复步骤六到七，直至待调度的有向无环图中的所有子任完成条件概率的计算，并完成贝叶斯网络模型对所述有向无环图中所有子任务的调度到不同CPU结果的预测；
步骤九：当对待调度的有向无环图的所有子任调度结果预测结束，输出甘特图，完成调度任务。
优选地，通过下式求取计算调度结果中调度到不同CPU的先验概率P(c)：
Figure BDA0001780472650000021
其中，Dc是训练集D2中第c类样本组成的集合。
优选地，通过下式求取调度到不同CPU上的条件概率P(xi|c)：
Figure BDA0001780472650000022
其中，μc,i和
Figure BDA0001780472650000023
分别是第c类样本在第i个属性上取值的均值和方差。
优选地，通过下式进行贝叶斯网络模型对有向无环图中所有子任务的调度到不同CPU 结果的预测：
Figure BDA0001780472650000031
其中，y是任务调度的所有结果组成的集合，b是属性数目。
优选地，所述有向无环图中有10个任务，在3个不同的CPU上进行处理。
另外，本实用新型还有以下有益效果：
本发明利用了贝叶斯网络，构建了一个考虑了任务处理先后顺序的影响的数据集，实现对传统的机器学习算法(HEFT调度算法)的模拟，使对传统的调度算法的模拟更为准确。
本发明的使用的范围广，可以广泛的对传统调度算法进行学习和模拟，具有普遍适用性。
本发明使用贝叶斯网络模型进行任务的调度，解决了传统算法的操作繁琐和时间复杂度高的问题，具有操作简单和时间复杂度低的优点。
四、附图说明
图1是贝叶斯网络模型图。
图2是待调度任务的有向无环图。
图3是待调度的任务在不同的CPU上的处理时间。
图4是使用HEFT算法对附图1和附图2所示任务，调度的甘特图。
图5是使用本发明对附图1和附图2所示任务，调度的甘特图。
五、具体实施方式
一种基于贝叶斯网络的分布式计算任务调度算法，其步骤是：
步骤一：利用HEFT调度算法对随机生成的有向无环图进行调度，得到每个有向无环图所有的子任务分配不同CPU编号的结果，所述每个有向无环图所有的子任务分配不同CPU 编号的结果为HEFT调度算法的调度结果。如附图2和3所示，即为一个分布式计算中待调度任务的DAG图及其在不同CPU上的处理时间。图中共有10个任务，可以在3个不同的 CPU上进行处理，每个任务所具有的的属性不同；图2中箭头的首尾代表处理该任务所需要的先后顺序，不同任务间连接箭头边上的权重，代表从当前任务转换到箭头所指任务所需要的迁移时间。
步骤二：取待调度的有向无环图中的单个子任务，取所述单个任务在不同CPU上的处理时间和Rank值，作为数据集D1的特征值,取HEFT算法的调度结果作为数据集D1的分类结果，生成数据集D1。选取特训集D1中的一个，展示训练集D1的构成，如表1所示：
表1训练集D1的构成图示例
Figure BDA0001780472650000041
步骤三：利用构建的贝叶斯网络模型对数据集D1进行处理，得到数据集D1每个子任务在不同CPU上处理的概率。贝叶斯网络模型如附图1所示，附图1中T1，T2,T3直至Tn代表的是任务在不同CPU上的处理时间，Rank代表的是任务的秩。C代表父节点，C’代表的是子节点，如附图1所示，C的预测结果将会传递给C’，对其预测产生影响。
步骤四：将步骤三中得到的所述数据集D1中的每个子任务在不同CPU上处理的概率作为新的特征，加入到数据集D1中，构成新的数据集D2。选取特训集D2中的一个，展示训练集D2的构成，如表2所示：
表2训练集D2的构成图示例
Figure BDA0001780472650000042
Figure BDA0001780472650000051
步骤五：计算数据集D2中每个任务调度到不同CPU上的先验概率P(c)。
步骤六：取待调度的有向无环图中的一个子任务，计算所述子任务在数据集D2中在不同CPU上的处理时间和Rank值，再计算所述子任务调度到不同CPU上的条件概率P(xi|c)。
步骤七：待得到所述子任务调度到不同CPU上的先验概率和条件概率后，利用贝叶斯网络模型对所述有向无环图中子任务调度到不同CPU的结果进行预测。
步骤八：重复步骤六到七，直至待调度的有向无环图中的所有子任完成条件概率的计算，并完成贝叶斯网络模型对所述有向无环图中所有子任务的调度到不同CPU结果的预测。调度的结果如表3所示：
表3调度结果
Figure BDA0001780472650000052
步骤九：当对待调度的有向无环图的所有子任调度结果预测结束，输出甘特图。如附图 5所示。
以上所述仅是基于贝叶斯网络的分布式计算任务调度算法的优选实施方式，基于贝叶斯网络的分布式计算任务调度算法的保护范围并不仅局限于上述实施例，凡属于思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (3)

1.一种基于贝叶斯网络的分布式计算任务调度算法，其特征是：包括以下步骤：
步骤一：利用HEFT调度算法对随机生成的有向无环图进行调度，得到每个有向无环图所有的子任务分配不同CPU编号的结果，所述每个有向无环图所有的子任务分配不同CPU编号的结果为HEFT调度算法的调度结果；
步骤二：取待调度的有向无环图中的单个子任务，取所述单个子任务在不同CPU上的处理时间和Rank值，作为数据集D1的特征值,取HEFT算法的调度结果作为数据集D1的分类结果，生成数据集D1；
步骤三：利用构建的贝叶斯网络模型对数据集D1进行处理，得到数据集D1每个子任务调度到不同CPU上处理的概率；
步骤四：将步骤三中得到的所述数据集D1中的每个子任务在不同CPU上处理的概率作为新的特征，加入到数据集D1中，构成新的数据集D2；
步骤五：计算数据集D2中每个任务调度到不同CPU上的先验概率P(c)；
步骤六：取待调度的有向无环图中的一个子任务，计算所述子任务在数据集D2中在不同CPU上的处理时间和Rank值，再计算所述子任务调度到不同CPU上的条件概率P(xi|c)；
步骤七：待得到所述子任务调度到不同CPU上的先验概率和条件概率后，利用贝叶斯网络模型对所述有向无环图中子任务调度到不同CPU的结果进行预测；
步骤八:重复步骤六到七，直至待调度的有向无环图中的所有子任务完成条件概率的计算，并完成贝叶斯网络模型对所述有向无环图中所有子任务的调度到不同CPU结果的预测；
步骤九：当对待调度的有向无环图的所有子任务调度结果预测结束，输出甘特图，完成调度任务；
通过下式求取调度到不同CPU上的条件概率p(xi|c)：
Figure FDA0002409702540000011
其中，μc,i和
Figure FDA0002409702540000012
分别是第c类样本在第i个属性上取值的均值和方差，xi为待调度的子任务的在第i个特征上的取值；
通过下式进行贝叶斯网络模型对有向无环图中所有子任务的调度到不同CPU结果的预测：
Figure FDA0002409702540000013
其中，y是任务调度的所有结果组成的集合，b是属性数目，d为训练集中所选取的特征的数量。
2.根据权利要求1所述的一种基于贝叶斯网络的分布式计算任务调度算法，其特征是：通过下式求取调度到不同CPU的先验概率P(c)：
Figure FDA0002409702540000021
其中，Dc是数据集D2中第c类样本组成的集合，|D|为训练集中所有子任务的数量。
3.根据权利要求1所述的一种基于贝叶斯网络的分布式计算任务调度算法，其特征是：所述有向无环图中有10个任务，在3个不同的CPU上进行处理。
CN201810989541.XA 2018-08-28 2018-08-28 一种基于贝叶斯网络的分布式计算任务调度算法 Expired - Fee Related CN109298921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810989541.XA CN109298921B (zh) 2018-08-28 2018-08-28 一种基于贝叶斯网络的分布式计算任务调度算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810989541.XA CN109298921B (zh) 2018-08-28 2018-08-28 一种基于贝叶斯网络的分布式计算任务调度算法

Publications (2)

Publication Number Publication Date
CN109298921A CN109298921A (zh) 2019-02-01
CN109298921B true CN109298921B (zh) 2020-04-28

Family

ID=65165567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810989541.XA Expired - Fee Related CN109298921B (zh) 2018-08-28 2018-08-28 一种基于贝叶斯网络的分布式计算任务调度算法

Country Status (1)

Country Link
CN (1) CN109298921B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626305A (zh) * 2008-07-09 2010-01-13 同济大学 一种提高网络环境安全性的可信动态级调度方法
CN103076870A (zh) * 2013-01-08 2013-05-01 北京邮电大学 数据中心中能耗驱动的应用融合调度和资源动态配置方法
CN105007176A (zh) * 2015-06-04 2015-10-28 河海大学 一种基于分层贝叶斯网络模型的云服务QoS预测方法
CN106126317A (zh) * 2016-06-24 2016-11-16 安徽师范大学 应用于云计算环境的虚拟机调度方法
CN106155791A (zh) * 2016-06-30 2016-11-23 电子科技大学 一种分布式环境下的工作流任务调度方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942102A (zh) * 2014-04-14 2014-07-23 桂林电子科技大学 基于双优先级的实时任务调度方法
EP3289449A4 (en) * 2015-04-28 2018-12-05 Blazer and Flip Flops, Inc. dba The Experience Engine Intelligent prediction of queue wait times
CN105117292B (zh) * 2015-07-31 2018-09-14 华南理工大学 随机扩散动态负载均衡方法
US10663185B2 (en) * 2016-07-07 2020-05-26 Enerallies, Inc. Forecast-based automatic scheduling of a distributed network of thermostats with learned adjustment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626305A (zh) * 2008-07-09 2010-01-13 同济大学 一种提高网络环境安全性的可信动态级调度方法
CN103076870A (zh) * 2013-01-08 2013-05-01 北京邮电大学 数据中心中能耗驱动的应用融合调度和资源动态配置方法
CN105007176A (zh) * 2015-06-04 2015-10-28 河海大学 一种基于分层贝叶斯网络模型的云服务QoS预测方法
CN106126317A (zh) * 2016-06-24 2016-11-16 安徽师范大学 应用于云计算环境的虚拟机调度方法
CN106155791A (zh) * 2016-06-30 2016-11-23 电子科技大学 一种分布式环境下的工作流任务调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Task scheduling using Bayesian optimization algorithm for heterogeneous computing environments;Jiadong Yang等;《Applied Soft Computing》;20110601;第11卷(第4期);第2-4节 *

Also Published As

Publication number Publication date
CN109298921A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN103631657B (zh) 一种基于MapReduce的任务调度方法
Chen et al. Deep learning research and development platform: Characterizing and scheduling with qos guarantees on gpu clusters
Xiao et al. A cooperative coevolution hyper-heuristic framework for workflow scheduling problem
Mahmoud et al. Multiobjective task scheduling in cloud environment using decision tree algorithm
CN110187965B (zh) 神经网络的运行优化及数据处理方法、设备及存储介质
Chakravarthi et al. TOPSIS inspired budget and deadline aware multi-workflow scheduling for cloud computing
Gu et al. Maximizing workflow throughput for streaming applications in distributed environments
Han et al. Scheduling placement-sensitive BSP jobs with inaccurate execution time estimation
Li et al. Endpoint-flexible coflow scheduling across geo-distributed datacenters
Zhou et al. DPS: Dynamic pricing and scheduling for distributed machine learning jobs in edge-cloud networks
CN111930485B (zh) 一种基于性能表现的作业调度方法
Wang et al. A study on heuristic task scheduling optimizing task deadline violations in heterogeneous computational environments
Han et al. An adaptive scheduling algorithm for heterogeneous Hadoop systems
Cao et al. Throughput optimization for Storm-based processing of stream data on clouds
Nasr et al. Task scheduling algorithm for high performance heterogeneous distributed computing systems
Yi et al. Research on scheduling of two types of tasks in multi-cloud environment based on multi-task optimization algorithm
CN109298921B (zh) 一种基于贝叶斯网络的分布式计算任务调度算法
CN115098240B (zh) 一种多处理器应用调度方法和系统及存储介质
Zohrati et al. Flexible approach to schedule tasks in cloud‐computing environments
Abba et al. Design, development and performance analysis of deadline based priority heuristic for job scheduling on a grid
Fan et al. Associated task scheduling based on dynamic finish time prediction for cloud computing
CN114980216A (zh) 基于移动边缘计算的依赖型任务卸载系统及方法
Nasr et al. Task scheduling optimization in heterogeneous distributed systems
CN117251258A (zh) 任务分配的方法、电子设备和计算机程序产品
Le Hai et al. Deviation Backfilling: A Robust Backfilling Scheme for Improving the Efficiency of Job Scheduling on High Performance Computing Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200428

Termination date: 20200828