CN108009023A - 混合云中基于bp神经网络时间预测的任务调度方法 - Google Patents

混合云中基于bp神经网络时间预测的任务调度方法 Download PDF

Info

Publication number
CN108009023A
CN108009023A CN201711230353.0A CN201711230353A CN108009023A CN 108009023 A CN108009023 A CN 108009023A CN 201711230353 A CN201711230353 A CN 201711230353A CN 108009023 A CN108009023 A CN 108009023A
Authority
CN
China
Prior art keywords
task
mrow
resource
msub
cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711230353.0A
Other languages
English (en)
Other versions
CN108009023B (zh
Inventor
李春林
孟川力
毛习均
杜书猛
赵亚辉
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201711230353.0A priority Critical patent/CN108009023B/zh
Publication of CN108009023A publication Critical patent/CN108009023A/zh
Application granted granted Critical
Publication of CN108009023B publication Critical patent/CN108009023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种混合云中基于BP神经网络时间预测的任务调度方法，本发明提出的调度方法模型由3部分组成：(1)BP神经网络时间预测，根据Map和Reduce任务的影响因素训练BP神经网络模型，然后用此模型进行Map和Reduce任务的执行时间预测。(2)私有云中任务调度，为了提高私有云资源利用率的同时节约公有云成本，任务首先在私有云中调度，根据预测任务的执行时间，把任务调度到最早完成时间的资源。将不能满足截止时间的任务调度到公有云资源执行。(3)公有云中任务调度，预测任务在公有云资源的执行时间，求解满足截止时间且成本最小的公有云资源。本发明降低了任务的响应时间，提高了QoS满意率，达到了最大化私有云利用率和最小化公有云成本的目的。

Description

混合云中基于BP神经网络时间预测的任务调度方法
技术领域
本发明涉及计算机云存储技术领域，特别涉及一种混合云中基于BP神经网络时间预测的任务调度方法。
背景技术
目前云计算模式主要有三类:私有云、公有云和混合云。私有云是针对持定的组织或企业内部提供云计算服务的一种云计算模式，能够根据资源节点数量、性能等不同的建设需求而定制，具有数据安全性好、服务质量高、单次计算成本较低的特点；公有云是在公共网络环境(Internet)上，以第三方服务供应商的方式，为用户提供可租用服务及基础设施，具有节点数量大、可用资源多、按计算使用情况计费、对通信质量较为敏感等持点；混合云融合了公有云和私有云，是近年来云计算的主要模式和发展方向。私有云主要是面向企业用户，出于安全考虑，企业更愿意将数据存放在私有云中，但是同时又希望可以获得公有云的计算资源，在这种情况下混合云越来越多的被采用，它将公有云和私有云进行混合和匹配，以获得最佳的效果，这种个性化的解决方案，达到了既省钱又安全的目的。在没有充足私有云资源的情况下，付费使用的公有云能解决难以预测的高负载应用场景。只有在公共云处理超负载工作期间才花费额外的成本。正常负载情况下，应用私有云资源就能满足需求，而不必建设和维护那些只有在超负载情况下才使用的资源。从而避免了部署成本和维护成本的浪费。大数据应用既有实时要求高的在线服务，比如电商网站的商品推荐等。同时也有对截止时间要求不高的离线服务，电子邮件、短信的推荐消息。因此用户会根据作业的紧急程度以及重要性规定截止时间，由于可能会出现负载高峰，私有云资源无法在截止时间内完成的作业将考虑花费额外成本使用公有云，比如电商网站促销推荐服务。
迄今为止，学者们提出了很多有关云资源调度的算法。但是这些算法并不较好适用于混合云环境下的大数据应用任务调度。
发明内容
本发明的目的是针对现有技术的不足，提出一种混合云中基于BP神经网络时间预测的任务调度方法，能满足作业的截止时间和成本约束的同时，使得私有云资源利用率最大和公有云资源成本最小。
为实现上述目的，本发明所设计的混合云中基于BP神经网络时间预测的任务调度方法，其特殊之处在于，所述方法包括如下步骤：
1)根据用户提交的作业和QoS需求计算优先级，选择优先级高的作业调度，按优先级降序遍历作业中的所有任务；
2)遍历资源池私有云资源，根据BP神经网络模型对每个任务的执行时间进行预测，找出最小资源完成时间，更新资源的完成时间；
3)判断资源的完成时间是否小于作业的截止时间，如果满足则分配任务给私有云，否则增加任务到集合MPi，重置资源的完成时间；
4)遍历集合MPi中的任务，分配给公有云资源，具体包括：
41)遍历公有云资源，基于BP神经网络预测任务的执行时间，计算任务在公有云资源上执行的成本；
42)找出最优公有云资源，即遍历寻找出价格最低且满足截止时间约束的公有云资源，如果存在此公有云资源，则创建公有云实例，并且分配任务到公有云，否则分配失败，返回消息给用户；
5)所有需要公有云资源的任务分配完后，比较公有云总成本是否小于成本约束，如果满足调度成功，否则调度失败，返回消息给用户。
优选地，所述步骤1)中基于QoS的作业优先级定义为：
MapReduce作业Ji＝(mi1,mi2,...,mim,ri1,ri2,...,rir)，作业Ji包含m个Map任务和r个Reduce任务，Map任务mik＝{mWik,mDik}，其中k＝1,2,...,m，mWik代表作业i中第k个Map任务的工作负载大小可简单的用任务所包含的指令数量表示。mDik代表第k个Map任务的输入数据大小，Reduce任务ril＝{rWil,rDil}，其中l＝1,2,...,r，rWil代表作业i中第l个Reduce任务的工作负载大小，它影响任务的传输时间，rDil代表第l个Reduce任务的输入数据的大小，Di和Ci分别表示第i个作业的截止时间和成本约束，λ代表权重。
优选地，所述步骤2)的具体步骤包括：
21)利用历史数据训练BP神经网络模型，BP神经网络根据影响Map任务和Reduce任务执行时间的因素来预测.其执行时间；
22)根据神经网络模型，输入Map任务执行时间影响因素Xmap、Reduce任务执行时间影响因素为Xreduce，第i个作业的第k个Map任务和第l个Reduce任务，在资源j上的执行时间进行预测，得到Map任务执行时间mEEt[i,k,j]或Reduce任务执行时间rEEt[i,l,j]；
23)找出最小完成时间的资源j_min，分配任务到资源j_min，记录映射Zi。
24)更新资源的完成时间Rftj。
优选地，所述步骤41)中计算任务在公有云资源上执行的成本的计算方法为：Map任务和Reduce任务在公有云资源j的成本分别为：
mCostF[i,k,j]＝Costj×mWik+Stgj×mDttik+mDttik×(Cinj+Coutj)
rCostF[i,l,j]＝Costj×rWil+Stgj×rDttil+rDttil×(Cinj+Coutj)
式中，对于资源j，Costj代表计算代价，Stgj代表存储代价，Cinj代表输入传输代价，Coutj代表输出传输代价；mDttik代表Map任务的传输时间，rDttil代表Reduce任务的传输时间。
优选地，所述Map任务和Reduce任务的传输时间的计算方法为：
其中，Bandj代表资源j的网络带宽，w表示一个Reduce任务要处理的Map任务数，f代表Map任务的输出数据大小和输入数据大小的比值。
优选地，所述步骤2)中使用Max-Min算法寻找具有最高优先级的任务调度到最小完成时间的资源。
传统的任务调度算法鲜有考虑用户的需求，并且混合云环境中的任务调度很少有考虑针对任务执行时间预测进行优化。在混合云环境中，考虑到企业的经济效益和资源效用，需要最大化私有云利用率并且最小化公有云成本。在任务调度过程中，满足截止时间前提下，尽可能把任务调度到私有云中，否则需要申请最优的公有云资源同时满足作业的截止时间和成本约束。以此为目标深入分析和研究任务执行特征，建立任务预测模型，求解成本最低的公有云资源，使任务调度达到最优。本发明提出基于BP神经网络时间预测的任务调度方法，该方法能满足作业的截止时间和成本约束的同时，使得私有云资源利用率最大和公有云资源成本最小。
本发明结合调度算法和混合云资源调度的特性提出来基于BP神经网络时间预测的任务调度方法。本调度方法适用于混合云环境下MapReduce任务的资源调度，它综合考虑了MapReduce任务和混合云环境的特点以及任务的执行时间影响因素，提出基于BP神经网络预测任务执行时间。在私有云调度中把优先级高的任务调度到最早完成时间的资源。私有云不能满足截止时间，求解满足截止时间的最小成本的公有云资源。这一优化调度方法降低了任务的响应时间，提高了QoS满意率，达到了最大化私有云利用率和最小化公有云成本目的。
附图说明
图1为本发明混合云中基于BP神经网络时间预测的任务调度方法的流程图。
图2为混合云环境下基于BP神经网络时间预测的任务调度模型。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明提出的混合云中基于BP神经网络时间预测的任务调度方法，包括如下步骤：
1)根据用户提交的作业和QoS需求计算优先级，选择优先级高的作业调度，按优先级降序遍历作业中的所有任务；
2)遍历资源池私有云资源，根据BP神经网络模型对每个任务的执行时间进行预测，找出最小资源完成时间，更新资源的完成时间；
3)判断资源的完成时间是否小于作业的截止时间，如果满足则分配任务给私有云，否则增加任务到集合MPi，重置资源的完成时间；
4)遍历集合MPi中的任务，分配给公有云资源，具体包括：
41)遍历公有云资源，基于BP神经网络预测任务的执行时间，计算任务在公有云资源上执行的成本；
42)找出最优公有云资源，即遍历寻找出价格最低且满足截止时间约束的公有云资源，如果存在此公有云资源，则创建公有云实例，并且分配任务到公有云，否则分配失败，返回消息给用户；
5)所有需要公有云资源的任务分配完后，比较公有云总成本是否小于成本约束，如果满足调度成功，否则调度失败，返回消息给用户。
下面详述本发明的研究过程：
1问题分析和描述
在混合云中进行任务调度之前，需要对任务进行时间预测，从而合理资源分配，降低作业的执行时间，提高资源利用率。对于MapReduce任务执行时间预测已有学者研究，但在混合云环境下的MapReduce任务执行时间预测少有研究。常见估计任务执行时间的方法是通过任务长度和机器执行速度的比值实现的，这种方法实现简单，并且任务调度模型容易建立，但是如果任务使用第三方软件库时，这种方法很难实现。有的方法考虑使用任务总工作负载和该任务所在资源槽的执行速率来求得任务的预计执行时间，这种方法实现的算法复杂度低且适用于云计算的任务调度场景，但是Reduce任务的执行依赖Map任务的输出结果，一旦有些资源性能下降，将会导致预测的任务执行时间误差增加，这种方法不适合MapReduce任务执行时间预测。多元线性回归的预测方法是一种通过多元线性回归方法，建立配置参数与作业执行时间之间的关系模型，进而达到预测作业执行时间的一种方法。基于代价优化的预测方法找到MapReduce作业的较优的配置参数，使得MapReduce作业的执行时间相对较短。混合云环境是比较复杂的应用场景，对于任务执行时间预测不仅要考虑任务在异构私有云资源的执行时间，还要考虑任务在不同公有云服务商的不同资源类型的执行时间，所以预测任务的执行时间比较复杂，且最近的研究也很少有考虑混合云环境下基于时间预测的任务调度，也很少考虑任务在不同云服务商的不同资源类型的执行时间的差异分析。BP神经网络通过迭代学习带正确答案的训练集获取规则确定网络权值，并具有泛化能力，同时输入变量和输出变量的数目是任意的。BP神经网络具有自适应能力和概括能力，并具有泛化能力，它也可以在线学习。Map任务和Reduce任务的中间执行过程复杂，不易建立模型，而MapReduce任务可能会出现大量重复执行，所以充分利用历史日志信息，分析MapReduce执行时间的影响因素，应用BP神经网络预测Map任务和Reduce任务的执行时间。根据时间预测，首先进行私有云中任务调度，然后将私有云不能满足用户需求的任务调整到公有云进行公有云中任务调度。该调度方法能提高作业的QoS满意率，节约公有云成本。
2混合云中基于BP神经网络时间预测的任务调度方法分析
2.1调度模型描述
本发明提出的混合云环境下基于BP神经网络时间预测的任务调度方法模型由3部分组成：(1)BP神经网络时间预测，根据Map和Reduce任务的影响因素训练BP神经网络模型，然后用此模型进行Map和Reduce任务的执行时间预测。(2)私有云中任务调度，为了提高私有云资源利用率的同时节约公有云成本，任务首先在私有云中调度，根据预测任务的执行时间，把任务调度到最早完成时间的资源。将不能满足截止时间的任务调度到公有云资源执行。(3)公有云中任务调度，预测任务在公有云资源的执行时间，求解满足截止时间且成本最小的公有云资源。其调度模型如图1所示。
2.2调度方法中的相关参数定义
MapReduce参数影响任务执行时间，可以通过合理的配置MapReduce参数来提高MapReduce的性能。同时考虑到私有云资源的异构性以及公有云资源存在较大的差异性，所以任务分配的资源情况，包括节点性能、节点负载、节点带宽、任务计算复杂度和任务数据量等也是MapReduce任务执行时间的主要影响因素。由于Reduce任务依赖Map任务，本专利分别介绍Map任务和Reduce任务执行时间的主要影响因素。Map任务执行时间影响因素为Xmap，Reduce任务执行时间影响因素为Xreduce。基于BP神经网络预测的Map任务和Reduce任务的执行时间分别为mEEt[i,k,j]和rEEt[i,l,j]。BP神经网络根据影响Map任务和Reduce任务执行时间的因素来预测其执行时间。首先，利用历史数据训练BP神经网络。然后，将新任务的执行时间影响因素Xmap或Xreduce输入到已训练好的BP神经网络中预测任务执行时间。Map任务和Reduce任务执行时间的主要影响因素Xmap和Xreduce如下所示，
表1 Map任务执行时间影响因素
表2 Reduce任务执行时间影响因素
本发明中，动态提交的MapReduce作业Ji＝(mi1,mi2,...,mim,ri1,ri2,...,rir)。作业Ji包含m个Map任务和r个Reduce任务。提交作业同时附加用户的QoS需求，Di和Ci分别表示作业的截止时间和成本约束。MapReduce任务分别定义为Map任务任务mik＝{mWik,mDik}，其中k＝1,2,...,m和Reduce任务ril＝{rWil,rDil}，其中l＝1,2,...,r。mWik代表作业i中第k个Map任务的工作负载大小可简单的用任务所包含的指令数量表示。mDik代表第k个Map任务的输入数据大小。rWil代表作业i中第l个Reduce任务的工作负载大小。它影响任务的传输时间。rDil代表第l个Reduce任务的输入数据的大小。
资源定义为：Containerj＝{Mipsj,Costj,Stgj,Cinj,Coutj,Bandj}，其中表示Mipsj主机的计算能力，即在单位时间内的可执行的百万条指令数。Costj计算代价，Stgj存储代价，Cinj输入传输代价，Coutj输出传输代价，Bandj网络带宽，Estj资源的完成时间，即资源的释放时间。私有云的操作和维护成本非常低可以忽略不计，所以设置私有云资源的计算代价，存储代价和输入输出传输代价为零。
Map任务和Reduce任务的传输时间分别定义为：
公式(2)中w表示一个Reduce任务要处理的Map任务数。f代表Map任务的输出数据大小和输入数据大小的比值。
公有云代价分为计算代价，存储代价和传输代价，其中Map任务和Reduce任务在公有云资源j的成本分别为：
mCostF[i,k,j]＝Costj×mWik+Stgj×mDttik+mDttik×(Cinj+Coutj) (3)
rCostF[i,l,j]＝Costj×rWil+Stgj×rDttil+rDttil×(Cinj+Coutj) (4)
目前普遍云应用场景是多用户多作业云应用场景，Fair Scheduler给每个作业分配同样的资源池。本专利基于QoS的MapReduce作业优先级定义为：
公式(5)中λ代表权重。作业的数据量越大，成本约束越小，截止时间越短，优先级越高。
集合MPi：第i个作业需要申请公有云资源的任务集合，初始化为空。
调度映射Zi：第i个作业的任务与所分配的资源映射关系的集合。3混合云中基于BP神经网络时间预测的任务优化调度方法的实现
3.1方法思想描述
本专利提出的混合云环境下基于BP神经网络时间预测的任务调度方法，是以BP神经网络时间预测为基础并结合混合云资源的特性而提出来的。本方法首先根据作业的QoS约束计算作业的优先级，从而确定作业的调度顺序，优先级计算见公式(6)。MapReduce作业的可调度任务分为Map Task，Failed Map Task和Reduce Task，它们的优先级分别为5，20，10。在私有云调度过程中，根据BP神经网络预测任务执行时间把优先级高的可调度任务优先调度到完成时间最早的资源。私有云不能满足所有任务的截止时间，需要申请成本最低且满足QoS约束的公有云资源。本方法具体描述如下：
(1)根据作业提交的QoS约束计算优先级，选择优先级高的作业调度。按优先级降序遍历作业的所有任务。
(2)遍历资源池私有云资源，根据神经网络模型对Map任务执行时间mEEt[i,k,j]或Reduce任务执行时间rEEt[i,l,j]进行预测，找出最小资源完成时间，更新资源的完成时间Rftj。
(3)判断资源的完成时间是否小于作业的截止时间。如果满足则分配任务给私有云，否则增加任务到集合MPi，重置资源完成时Rftj。
(4)遍历集合MPi中的任务，分配给公有云资源。
(5)遍历公有云资源，计算任务在公有云资源上执行的成本，基于BP神经网络预测任务的执行时间。
(6)找出最优公有云资源rjbest，即遍历寻找出价格最低且满足截止时间约束的公有云资源。如果存在此公有云资源，则创建公有云实例，并且分配任务到此公有云。
(7)所有有需要公有云的任务分配完后，比较公有云总成本是否小于成本约束，如果满足调度成功，否则调度失败，返回消息给用户。
3.2调度方法的伪代码描述
由算法的伪代码描述可以得到，第1行调度优先级高的作业，排序可调度任务，初始化资源完成时间；第2到8行，将优先级最高的任务映射到最早完成时间的资源上；第9到10行私有云资源能满足QoS约束；第11到12行调整部分任务申请公有云资源。第13到24行找出满足截止时间的最小成本的公有云资源，记录映射，并累加成本。第25到27行判断总公有云成本是否满足作业的成本约束。按照QoS约束对作业优先级定义由高到低依次进行调度。对于可调度任务，使用Max-Min算法寻找具有最高优先级的任务调度到最小完成时间的资源。私有云不满足截止时间时，需要申请满足QoS的最小成本的公有云资源。从而保证在满足QoS约束的情况下，最大化私有云使用率和最小化公有云成本。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (6)

1.一种混合云中基于BP神经网络时间预测的任务调度方法，其特征在于：所述方法包括如下步骤：
1)根据用户提交的作业和QoS需求计算优先级，选择优先级高的作业调度，按优先级降序遍历作业中的所有任务；
2)遍历资源池私有云资源，根据BP神经网络模型对每个任务的执行时间进行预测，找出最小资源完成时间，更新资源的完成时间；
3)判断资源的完成时间是否小于作业的截止时间，如果满足则分配任务给私有云，否则增加任务到集合MPi，重置资源的完成时间；
4)遍历集合MPi中的任务，分配给公有云资源，具体包括：
41)遍历公有云资源，基于BP神经网络预测任务的执行时间，计算任务在公有云资源上执行的成本；
42)找出最优公有云资源，即遍历寻找出价格最低且满足截止时间约束的公有云资源，如果存在此公有云资源，则创建公有云实例，并且分配任务到公有云，否则分配失败，返回消息给用户；
5)所有需要公有云资源的任务分配完后，比较公有云总成本是否小于成本约束，如果满足调度成功，否则调度失败，返回消息给用户。
2.根据权利要求1所述的混合云中基于BP神经网络时间预测的任务调度方法，其特征在于：所述步骤1)中基于QoS的作业优先级定义为：
<mrow> <msub> <mi>priority</mi> <mi>i</mi> </msub> <mo>=</mo> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msub> <mi>mD</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>r</mi> </munderover> <msub> <mi>rD</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <mfrac> <mi>&amp;lambda;</mi> <msub> <mi>C</mi> <mi>i</mi> </msub> </mfrac> <mo>+</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>&amp;lambda;</mi> </mrow> <msub> <mi>D</mi> <mi>i</mi> </msub> </mfrac> <mo>)</mo> </mrow> </mrow>
MapReduce作业Ji＝(mi1,mi2,...,mim,ri1,ri2,...,rir)，作业Ji包含m个Map任务和r个Reduce任务，Map任务mik＝{mWik,mDik}，其中k＝1,2,...,m，mWik代表作业i中第k个Map任务的工作负载大小可简单的用任务所包含的指令数量表示。mDik代表第k个Map任务的输入数据大小，Reduce任务ril＝{rWil,rDil}，其中l＝1,2,...,r，rWil代表作业i中第l个Reduce任务的工作负载大小，它影响任务的传输时间，rDil代表第l个Reduce任务的输入数据的大小，Di和Ci分别表示第i个作业的截止时间和成本约束，λ代表权重。
3.根据权利要求1所述的混合云中基于BP神经网络时间预测的任务调度方法，其特征在于：所述步骤2)的具体步骤包括：
21)利用历史数据训练BP神经网络模型，BP神经网络根据影响Map任务和Reduce任务执行时间的因素来预测.其执行时间；
22)根据神经网络模型，输入Map任务执行时间影响因素Xmap、Reduce任务执行时间影响因素为Xreduce，第i个作业的第k个Map任务和第l个Reduce任务，在资源j上的执行时间进行预测，得到Map任务执行时间mEEt[i,k,j]或Reduce任务执行时间rEEt[i,l,j]；
23)找出最小完成时间的资源j_min，分配任务到资源j_min，记录映射Zi。
24)更新资源的完成时间Rftj。
4.根据权利要求2所述的混合云中基于BP神经网络时间预测的任务调度方法，其特征在于：所述步骤41)中计算任务在公有云资源上执行的成本的计算方法为：Map任务和Reduce任务在公有云资源j的成本分别为：
mCostF[i,k,j]＝Costj×mWik+Stgj×mDttik+mDttik×(Cinj+Coutj)
rCostF[i,l,j]＝Costj×rWil+Stgj×rDttil+rDttil×(Cinj+Coutj)
式中，对于资源j，Costj代表计算代价，Stgj代表存储代价，Cinj代表输入传输代价，Coutj代表输出传输代价；mDttik代表Map任务的传输时间，rDttil代表Reduce任务的传输时间。
5.根据权利要求4所述的混合云中基于BP神经网络时间预测的任务调度方法，其特征在于：所述Map任务和Reduce任务的传输时间的计算方法为：
<mrow> <msub> <mi>mDtt</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>mD</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>Band</mi> <mi>j</mi> </msub> </mrow> </mfrac> </mrow>
<mrow> <msub> <mi>rDtt</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mi>f</mi> <mo>&amp;times;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>w</mi> </munderover> <msub> <mi>mD</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> </mrow> <mrow> <mi>w</mi> <mo>&amp;times;</mo> <msub> <mi>Band</mi> <mi>j</mi> </msub> </mrow> </mfrac> </mrow>
其中，Bandj代表资源j的网络带宽，w表示一个Reduce任务要处理的Map任务数，f代表Map任务的输出数据大小和输入数据大小的比值。
6.根据权利要求1所述的混合云中基于BP神经网络时间预测的任务调度方法，其特征在于：所述步骤2)中使用Max-Min算法寻找具有最高优先级的任务调度到最小完成时间的资源。
CN201711230353.0A 2017-11-29 2017-11-29 混合云中基于bp神经网络时间预测的任务调度方法 Active CN108009023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711230353.0A CN108009023B (zh) 2017-11-29 2017-11-29 混合云中基于bp神经网络时间预测的任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711230353.0A CN108009023B (zh) 2017-11-29 2017-11-29 混合云中基于bp神经网络时间预测的任务调度方法

Publications (2)

Publication Number Publication Date
CN108009023A true CN108009023A (zh) 2018-05-08
CN108009023B CN108009023B (zh) 2022-06-03

Family

ID=62054888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711230353.0A Active CN108009023B (zh) 2017-11-29 2017-11-29 混合云中基于bp神经网络时间预测的任务调度方法

Country Status (1)

Country Link
CN (1) CN108009023B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109347974A (zh) * 2018-11-16 2019-02-15 北京航空航天大学 一种提高在线服务质量和集群资源利用率的在线离线混合调度系统
CN109376012A (zh) * 2018-10-10 2019-02-22 电子科技大学 一种针对异构环境的基于Spark的自适应任务调度方法
CN109375506A (zh) * 2018-10-18 2019-02-22 北京工业大学 一种基于rbf神经网络的云服务资源精确控制方法
CN109587217A (zh) * 2018-11-06 2019-04-05 华中科技大学 一种大规模分布式系统的智能监控与管理方法及系统
CN109710392A (zh) * 2018-12-21 2019-05-03 万达信息股份有限公司 一种基于混合云的异构资源调度方法
CN109783225A (zh) * 2018-12-12 2019-05-21 华南理工大学 一种多租户大数据平台的租户优先级管理方法及系统
CN109816225A (zh) * 2019-01-11 2019-05-28 郑州嘉晨电器有限公司 一种基于叉车云平台的任务调度方法
CN109981749A (zh) * 2019-01-30 2019-07-05 北京理工大学 一种基于极限梯度提升的云工作流任务执行时间预测方法
CN110209467A (zh) * 2019-05-23 2019-09-06 华中科技大学 一种基于机器学习的弹性资源扩展方法和系统
CN110704180A (zh) * 2019-09-10 2020-01-17 郑州轻工业学院 基于混合云的工作流调度方法
CN112039714A (zh) * 2020-11-05 2020-12-04 中国人民解放军国防科技大学 基于sla最小化跨站点数据分析成本的方法及装置
CN112286658A (zh) * 2020-10-28 2021-01-29 北京字节跳动网络技术有限公司 一种集群任务调度方法、装置、计算机设备及存储介质
CN112395311A (zh) * 2019-08-13 2021-02-23 阿里巴巴集团控股有限公司 一种请求的处理时长的预测方法及装置
CN112929293A (zh) * 2019-12-05 2021-06-08 金色熊猫有限公司 任务执行方法、装置、设备、平台及介质
CN113238839A (zh) * 2021-04-26 2021-08-10 深圳微品致远信息科技有限公司 一种基于云计算数据管理方法及装置
CN113590571A (zh) * 2021-09-29 2021-11-02 睿至科技集团有限公司 一种私有云资源和公有云资源的共享方法及系统
CN113687938A (zh) * 2021-10-27 2021-11-23 之江实验室 一种医疗数据计算任务智能调度方法及系统
CN114157683A (zh) * 2022-02-10 2022-03-08 华谱科仪(北京)科技有限公司 一种在线色谱仪数据存储方法、装置、存储介质
CN114936086A (zh) * 2022-07-26 2022-08-23 之江实验室 一种多计算中心场景下的任务调度器、调度方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130219401A1 (en) * 2010-10-19 2013-08-22 International Business Machines Corporation Prioritizing jobs within a cloud computing environment
CN104239194A (zh) * 2014-09-12 2014-12-24 上海交通大学 基于bp神经网络的任务完成时间预测方法
CN104657220A (zh) * 2015-03-12 2015-05-27 广东石油化工学院 混合云中基于截止时间和费用约束的调度模型及方法
CN106600058A (zh) * 2016-12-13 2017-04-26 北京理工大学 一种制造云服务QoS的组合预测方法
CN106603438A (zh) * 2016-12-21 2017-04-26 云南电网有限责任公司信息中心 一种基于成本的混合云资源利用和分配评估方法
CN106611277A (zh) * 2016-05-13 2017-05-03 四川用联信息技术有限公司 混合云模式下的一种云资源调度方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130219401A1 (en) * 2010-10-19 2013-08-22 International Business Machines Corporation Prioritizing jobs within a cloud computing environment
CN104239194A (zh) * 2014-09-12 2014-12-24 上海交通大学 基于bp神经网络的任务完成时间预测方法
CN104657220A (zh) * 2015-03-12 2015-05-27 广东石油化工学院 混合云中基于截止时间和费用约束的调度模型及方法
CN106611277A (zh) * 2016-05-13 2017-05-03 四川用联信息技术有限公司 混合云模式下的一种云资源调度方法
CN106600058A (zh) * 2016-12-13 2017-04-26 北京理工大学 一种制造云服务QoS的组合预测方法
CN106603438A (zh) * 2016-12-21 2017-04-26 云南电网有限责任公司信息中心 一种基于成本的混合云资源利用和分配评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIJUN MAO等: "Optimal Scheduling Algorithm of MapReduce", 《2016 17TH INTERNATIONAL CONFERENCE ON PARALLEL AND DISTRIBUTED COMPUTING, APPLICATIONS AND TECHNOLOGIES》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376012A (zh) * 2018-10-10 2019-02-22 电子科技大学 一种针对异构环境的基于Spark的自适应任务调度方法
CN109375506A (zh) * 2018-10-18 2019-02-22 北京工业大学 一种基于rbf神经网络的云服务资源精确控制方法
CN109375506B (zh) * 2018-10-18 2022-06-07 北京工业大学 一种基于rbf神经网络的云服务资源精确控制方法
CN109587217A (zh) * 2018-11-06 2019-04-05 华中科技大学 一种大规模分布式系统的智能监控与管理方法及系统
CN109347974A (zh) * 2018-11-16 2019-02-15 北京航空航天大学 一种提高在线服务质量和集群资源利用率的在线离线混合调度系统
CN109347974B (zh) * 2018-11-16 2020-10-13 北京航空航天大学 提高在线服务质量和集群资源利用率的混合调度系统
CN109783225A (zh) * 2018-12-12 2019-05-21 华南理工大学 一种多租户大数据平台的租户优先级管理方法及系统
CN109783225B (zh) * 2018-12-12 2023-09-08 华南理工大学 一种多租户大数据平台的租户优先级管理方法及系统
CN109710392A (zh) * 2018-12-21 2019-05-03 万达信息股份有限公司 一种基于混合云的异构资源调度方法
CN109710392B (zh) * 2018-12-21 2023-08-01 万达信息股份有限公司 一种基于混合云的异构资源调度方法
CN109816225A (zh) * 2019-01-11 2019-05-28 郑州嘉晨电器有限公司 一种基于叉车云平台的任务调度方法
CN109981749A (zh) * 2019-01-30 2019-07-05 北京理工大学 一种基于极限梯度提升的云工作流任务执行时间预测方法
CN110209467B (zh) * 2019-05-23 2021-02-05 华中科技大学 一种基于机器学习的弹性资源扩展方法和系统
CN110209467A (zh) * 2019-05-23 2019-09-06 华中科技大学 一种基于机器学习的弹性资源扩展方法和系统
CN112395311A (zh) * 2019-08-13 2021-02-23 阿里巴巴集团控股有限公司 一种请求的处理时长的预测方法及装置
CN110704180B (zh) * 2019-09-10 2021-04-06 郑州轻工业学院 基于混合云的工作流调度方法
CN110704180A (zh) * 2019-09-10 2020-01-17 郑州轻工业学院 基于混合云的工作流调度方法
CN112929293A (zh) * 2019-12-05 2021-06-08 金色熊猫有限公司 任务执行方法、装置、设备、平台及介质
CN112286658A (zh) * 2020-10-28 2021-01-29 北京字节跳动网络技术有限公司 一种集群任务调度方法、装置、计算机设备及存储介质
CN112039714A (zh) * 2020-11-05 2020-12-04 中国人民解放军国防科技大学 基于sla最小化跨站点数据分析成本的方法及装置
CN112039714B (zh) * 2020-11-05 2021-01-15 中国人民解放军国防科技大学 基于sla最小化跨站点数据分析成本的方法及装置
CN113238839A (zh) * 2021-04-26 2021-08-10 深圳微品致远信息科技有限公司 一种基于云计算数据管理方法及装置
CN113590571B (zh) * 2021-09-29 2022-01-18 睿至科技集团有限公司 一种私有云资源和公有云资源的共享方法及系统
CN113590571A (zh) * 2021-09-29 2021-11-02 睿至科技集团有限公司 一种私有云资源和公有云资源的共享方法及系统
CN113687938A (zh) * 2021-10-27 2021-11-23 之江实验室 一种医疗数据计算任务智能调度方法及系统
CN113687938B (zh) * 2021-10-27 2022-02-22 之江实验室 一种医疗数据计算任务智能调度方法及系统
CN114157683A (zh) * 2022-02-10 2022-03-08 华谱科仪(北京)科技有限公司 一种在线色谱仪数据存储方法、装置、存储介质
CN114157683B (zh) * 2022-02-10 2022-05-13 华谱科仪(北京)科技有限公司 一种在线色谱仪数据存储方法、装置、存储介质
CN114936086A (zh) * 2022-07-26 2022-08-23 之江实验室 一种多计算中心场景下的任务调度器、调度方法及装置

Also Published As

Publication number Publication date
CN108009023B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN108009023A (zh) 混合云中基于bp神经网络时间预测的任务调度方法
Tan et al. A trust service-oriented scheduling model for workflow applications in cloud computing
CN106155791B (zh) 一种分布式环境下的工作流任务调度方法
US20180270121A1 (en) Information processing architecture for network edge-based optimization problems
CN109165808B (zh) 一种电力通信网现场运维工单派发方法
Kamalinia et al. Hybrid task scheduling method for cloud computing by genetic and DE algorithms
CN109922152A (zh) 一种移动边缘计算中的计算卸载方法及系统
CN108182109A (zh) 一种云环境下的工作流调度与数据分配方法
Liu et al. Minimization of offloading delay for two-tier UAV with mobile edge computing
Yeh et al. Economic-based resource allocation for reliable Grid-computing service based on Grid Bank
CN104102544A (zh) 混合云环境下多QoS约束的并行任务调度成本优化方法
Wang et al. Multi-user-oriented manufacturing service scheduling with an improved NSGA-II approach in the cloud manufacturing system
CN104199820A (zh) 云平台MapReduce工作流调度优化方法
CN109710372A (zh) 一种基于猫头鹰搜索算法的计算密集型云工作流调度方法
Huang et al. Platform profit maximization on service provisioning in mobile edge computing
Ye et al. SHWS: Stochastic hybrid workflows dynamic scheduling in cloud container services
CN115271227A (zh) 云环境下的资源调度方法
Nawrocki et al. Data-driven adaptive prediction of cloud resource usage
Tao et al. Congestion-aware traffic allocation for geo-distributed data centers
Li et al. Cost-aware scheduling for ensuring software performance and reliability under heterogeneous workloads of hybrid cloud
CN110297694A (zh) 一种基于资源分类和任务优先级的启发式云计算调度方法
Kamalinia et al. Hybrid task scheduling method for cloud computing by genetic and PSO algorithms
Caux et al. Smart datacenter electrical load model for renewable sources management
Ye et al. Dynamic Scheduling Stochastic Multiworkflows With Deadline Constraints in Clouds
Sang et al. RALaaS: Resource-aware learning-as-a-service in edge-cloud collaborative smart connected communities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant