CN113419854A - 一种面向不平衡多目标优化的云资源调度方法 - Google Patents

一种面向不平衡多目标优化的云资源调度方法 Download PDF

Info

Publication number
CN113419854A
CN113419854A CN202110698428.8A CN202110698428A CN113419854A CN 113419854 A CN113419854 A CN 113419854A CN 202110698428 A CN202110698428 A CN 202110698428A CN 113419854 A CN113419854 A CN 113419854A
Authority
CN
China
Prior art keywords
population
cloud resource
resource scheduling
task
physical machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110698428.8A
Other languages
English (en)
Other versions
CN113419854B (zh
Inventor
马连博
王若宇
王兴伟
黄敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202110698428.8A priority Critical patent/CN113419854B/zh
Publication of CN113419854A publication Critical patent/CN113419854A/zh
Application granted granted Critical
Publication of CN113419854B publication Critical patent/CN113419854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种面向不平衡多目标优化的云资源调度方法,涉及云计算技术领域。该方法首先统计云计算中心中可用的物理机数和需处理的任务数,并估算每台物理机处理各个任务所需要花费的时间;设定调度方案为每个任务仅由一台物理机处理,将每种调度方案用调度矩阵来表示,矩阵中每个元素的取值为1或0;根据所有物理机处理任务花费的时间及调度方案,将云资源调度问题转化为三个目标函数和一个约束函数;采用多目标进化算法对云资源调度问题进行求解,得到当前云资源调度问题的参考解决方案。该方法能够解决云资源调度中不平衡问题,给决策者更好地提供一组解决方案,使决策者能够得到更适合于当前物理机情况和任务情况的解决方案。

Description

一种面向不平衡多目标优化的云资源调度方法
技术领域
本发明涉及云计算技术领域,尤其涉及一种面向不平衡多目标优化的云资源调度方法。
背景技术
近年来,分布式计算、并行计算和网络技术逐渐发展,云计算技术也随之新兴起来,云计算技术致力于解决传统计算机工作模式的局限性、减少用户的计算成本和时间。云计算技术将分散在各处的资源组合在一起,构成一个虚拟的资源池,并根据不同用户对计算能力、带宽、存储等需求进行统一的分配调度。如何对数据中心的资源进行管理调度是一项重要的工作,也是相关人员研究的关键之一。原则上,云资源调度的基本任务是将用户的不同任务分配给数据中心的不同物理机来完成。因此如何高效地将任务合理地分配给物理机是云资源调度的关键问题。云资源调度问题往往需要考虑多个方向(如能耗,时间等)同时进行优化,是一个多目标问题,解决多目标问题的一个有效方法便是使用多目标进化算法。近年来,研究人员提出许多方法来解决云资源调度问题。
中国专利“CN110321217A一种多目标的云资源调度方法、装置、设备及存储介质”将云资源调度优化问题看作一个三目标的优化问题,分别将总服务质量、总响应时间和总响应成本作为优化目标,并使用差分算法对云资源调度问题进行优化,直到达到迭代代数阈值。
中国专利“CN108762927A移动云计算的多目标任务调度方法”,分别将时间适应度函数、代价适应度函数和能量适应度函数作为调度任务的三个优化目标,以帕累托占优作为环境选择标准进行优化,并以迭代次数作为优化方法的停止标准。
现有的调度优化方法虽然能解决一些云资源的调度问题,但还存在一些问题:现有的研究大多考虑物理机的能量消耗,与完成任务的时间这两个目标。然而在计算物理机能量消耗时,往往使用简单的功率计算获得,然而这样的能量消耗计算误差十分大,实际中能量的消耗往往需要电度表等传感器进行测量,然而这样的测量开销是不可忽略的,不能过多次测量;同时每个任务的处理时间的估算往往是相对准确的,可以进行多次评估,这就使得时间花费和能量消耗的计算变得不平衡起来,这也是多目标进化算法的一个挑战,因为多目标进化算法隐含假设所有目标的评估花费相同。所以,目前对云资源调度问题没有一个更加准确高效的问题模型和更加合理高效准确的解决方法。
云资源调度中,往往把能量消耗作为调度任务的约束条件,即处理某批任务时的能量消耗不能超过一个预设值、把其他相关目标作为优化目标来进行优化。然而由于约束的昂贵性,现有的多目标优化技术无法解决这种约束昂贵而目标便宜的不平衡问题。
多目标进化算法(multi-objective evolutionary algorithms,MOEA)是解决多目标优化问题(multi-objective problem,MOP)的有利工具,近些年来得到了广泛的发展并在资源调度、电气工程及自动化、机器人、飞行器制造,交通运输、矿物挖掘等领域得到广泛应用。
多目标进化算法是一种基于种群的算法,如图1所示,首先生成一个包含N个个体的初始P种群,每一个个体代表一种方案及其目标值,接着根据某种准则对当前种群P进行交叉变异操作产生子代种群Q。通过环境选择(某种比较个体之间优劣的方法)从P∪Q中选取N个个体作为下一代种群。重复交叉变异和环境选择的过程直到达到最大的迭代次数。在设计一个新MOEA时,要同时考虑解的收敛性与分布性,解的收敛性保障了解的质量,而解的分布性可以为决策者提供更多差异性较大的参考解。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足,提供一种面向不平衡多目标优化的云资源调度方法,将云资源调度优化问题建模成一个包含三个目标和一个约束的优化问题,其中约束和目标之间存在不平衡关系;然后使用一种新型的目标驱动的多目标进化算法对云资源调度问题进行求解,有效地解决优化过程中的不平衡问题,并获得合理的云资源调度参考方案供决策者选择。
为解决上述技术问题,本发明所采取的技术方案是:一种面向不平衡多目标优化的云资源调度方法,具体包括:
统计云计算中心中可用的物理机数和需处理的任务数,并估算每台物理机处理各个任务所需要花费的时间;
设定调度方案为每个任务仅由一台物理机处理,将每种调度方案用调度矩阵来表示,矩阵中每个元素的取值为1或0;
根据所有物理机处理任务花费的时间及调度方案,将云资源调度问题转化为三个目标函数和一个约束函数;
采用多目标进化算法对云资源调度问题进行求解,得到当前云资源调度问题的参考解决方案。
进一步地,所述云资源调度方法将任务和物理机集合分别表示为M={M1,M2...Mm}和PM={PM1,PM2...PMn},m和n分别表示需处理的任务数和可用的物理机数量,则物理机处理任务花费的时间通过如下矩阵T表示:
Figure BDA0003128749450000031
其中,tmn表示物理机PMn处理任务Mm所花费的时间;
则调度矩阵为一个m*n的矩阵,如下公式所示:
Figure BDA0003128749450000032
其中,D为调度矩阵,每个元素的取值为1或0,当dmn=1时,表示任务Mm由物理机PMn来处理,由于每个任务仅由一台物理机处理,故有
Figure BDA0003128749450000033
Figure BDA0003128749450000034
进一步地,所述三个目标函数分别为最小化处理任务的总耗时、最小化处理任务耗时最大的物理机耗时、最小化每个物理机任务耗时的标准差,所述约束函数为完成所有任务所需能耗小于预设的能量消耗。
进一步地,所述处理任务的总耗时,是指物理机处理所有任务花费时间的总和,如下公式所示:
Figure BDA0003128749450000035
其中,TTS为云计算中心处理所有任务花费时间的总和,tij为第i台物理机处理第j个任务花费的时间;
所述处理任务耗时最大的物理机耗时,如下公式所示:
Figure BDA0003128749450000036
其中,MTS为处理任务耗时最大的物理机耗时;
所述每个物理机任务耗时的标准差,是指每个物理机完成其任务的耗时的标准差,如下公式所示:
Figure BDA0003128749450000037
其中,SDTD为每个物理机完成其任务的耗时的标准差,std表示标准差公式;
所述约束函数,是指所有物理机的总能量消耗不能高于预设的能量消耗阈值,如下公式所示:
E≤Emax
其中,E为云计算中心所有物理机实际消耗的能量,Emax为预设的能量消耗阈值。
进一步地,所述采用多目标进化算法对云资源调度问题进行求解,得到当前云资源调度问题的参考解决方案的具体方法为:
步骤S1:随机生成初始种群,并带入云资源调度问题转换的三个目标函数和约束函数中,获得种群的目标值,将初始种群作为训练集,为约束函数建立代理模型;初始种群中包含若干个体,每个个体为一个m*n的矩阵,代表一种调度方案;
步骤S2:从初始种群种选取r个个体作为参考点,并依据每个个体到参考点的角度值将初始种群分为r类;设立r个最优档案A={A1,A2,...,Ar}用于保存r类种群中的最优子种群,最优档案初始值设为r类的初始种群,并且用每一类种群中能耗最低值代表最优档案中这一类种群的约束可行性;
步骤S3:将每一类种群中的个体作为父代,通过交叉变异产生数量与父代相同的子代个体,将子代个体与父代个体合并成为新种群;
步骤S4:对合并后的新种群采用CDA准则进行环境选择,选取与初始种群数量相同的个体作为下一代父代种群;
步骤S5:重复进行步骤S3和步骤S4,直到达到设定的小循环迭代次数,获得末代种群;
步骤S6:更新最优档案和约束函数的代理模型;
步骤S7:迭代步骤S3-步骤S6直到达到设定的大循环迭代次数,优化结束,求解云资源调度问题完成,最优档案中的种群即为当前云资源调度问题的参考解决方案。
进一步地,所述步骤S3的具体方法为:
步骤S3.1:对种群进行交叉操作:首先从种群中随机选取两个个体,并从[1,m]中生成一个随机数w,将两个随机个体的第w行进行交换,生成两个新个体;
步骤S3.2:再对种群进行变异操作:首先从种群中随机选取一个个体,从[1,m]中生成一个随机数q,并从[1,n]中生成一个随机数h,将这个个体的第q行元素全部置为0,并将第q行第h列元素置为1,即将这种调度方案中的第q个任务交给第h个物理机来执行。
进一步地,所述步骤S4的具体方法为:
步骤S4.1:将合并后的新种群基于参考点分成r类,在每一类新种群中计算个体到所属类的参考点的角度,记为θ;以及个体到坐标原点的距离,记为dic,如下公式所示:
Figure BDA0003128749450000051
步骤S4.2:根据获得的距离及角度,计算每一个个体的CDA值,在每一类中依此选取CDA值最小的个体作为下一代父代种群中的个体,直到选取的个体数量达到初始种群中这一类的个体数,得到包含新个体的下一代父代种群;
所述CDA值为进行个体选择的标准,如下公式所示:
CDA=(2-α*θ)*dic
其中,α为一个可调参数,用于调控角度θ对CDA值的影响程度。
进一步地,所述步骤S6的具体方法为:
步骤S6.1:将步骤S5迭代结束后的末代种群依据参考点,分为r类,在每一类种群中,使用代理模型估计新个体的约束值,选出每一类中约束值最小的个体,计算这种调度方案的能耗来代表此类末代种群的约束可行性,如果能耗小于能耗阈值或约束可行性优于最优档案中此类末代种群的可行性,则将最优档案中的这一类种群替换成此类末代种群;
步骤S6.2:将步骤S6.1中计算的r种调度方案的能耗值添加到训练集中,更新代理模型。
采用上述技术方案所产生的有益效果在于:本发明提供的一种面向不平衡多目标优化的云资源调度方法,采用解决不平衡问题的多目标进化算法,能够解决云资源调度中不平衡问题,使用三个时间目标驱动进化,同时对种群进行了分类,每一代中每类种群中选取预测能耗值最小的个体来评价整个此类种群的可行性。与现有的解决云资源调度的优化算法明显不同,可以考虑计算能量消耗与时间消耗的不同,给决策者更好地提供一组解决方案,使决策者能够得到更适合于当前物理机情况和任务情况的解决方案。
附图说明
图1为本发明背景技术提供的多目标进化算法的流程图;
图2为本发明实施例提供的一种面向不平衡多目标优化的云资源调度方法的流程图;
图3为本发明实施例提供的种群分类示意图
图4为本发明实施例提供的交叉原理示意图;
图5为本发明实施例提供的变异原理示意图;
图6为本发明实施例提供的CDA指标参数示意图;
图7为本发明实施例提供的种群迭代更新示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本实施例中,一种面向不平衡多目标优化的云资源调度方法,如图2所示,包括以下步骤:
步骤1:统计云计算中心中可用的物理机数和需处理的任务数,并估算每台物理机处理各个任务所需要花费的时间;
将任务和物理机集合分别表示为M={M1,M2...Mm}和PM={PM1,PM2...PMn},m和n分别表示需处理的任务数和可用的物理机数量,则物理机处理任务花费的时间通过如下矩阵T表示:
Figure BDA0003128749450000061
其中,tmn表示物理机PMn处理任务Mm所花费的时间;
本实施例中,共设有10台性能各异的物理机和30个任务序列,任务和物理机集合表分别示为M={M1,M2...M30}和PM={PM1,PM2...PM10},物理机处理任务的时间花费通过如下矩阵表示:
Figure BDA0003128749450000062
步骤2:设定每个任务仅由一台物理机处理,将每种调度方案用调度矩阵D来表示,D中每个元素的取值为1或0;
调度矩阵D为一个m*n的矩阵,如下公式所示:
Figure BDA0003128749450000063
其中,D中每个元素的取值为1或0,当dmn=1时,表示任务Mm由物理机PMn来处理,由于每个任务仅由一台物理机处理,故有
Figure BDA0003128749450000064
Figure BDA0003128749450000065
本实施例中,
Figure BDA0003128749450000071
Figure BDA0003128749450000072
步骤3:根据所有物理机处理任务花费的时间及调度方案,将云资源调度问题转化为三个目标函数和一个约束函数;
所述三个目标函数分别为最小化处理任务的总耗时、最小化处理任务耗时最大的物理机耗时、最小化每个物理机任务耗时的标准差,约束函数为完成所有任务所需能耗小于预设的能量消耗;
所述处理任务的总耗时,是指物理机处理所有任务花费时间的总和,如下公式所示:
Figure BDA0003128749450000073
其中,TTS为云计算中心处理所有任务花费时间的总和,tij为第i台物理机处理第j个任务花费的时间;
所述处理任务耗时最大的物理机耗时,是为了避免一个物理机过度使用,同时也是将所有任务作为一个整体的完成时间,如下公式所示:
Figure BDA0003128749450000074
其中,MTS为处理任务耗时最大的物理机耗时;
所述每个物理机任务耗时的标准差,是指每个物理机完成其任务的耗时的标准差,如下公式所示:
Figure BDA0003128749450000075
其中,SDTD为每个物理机完成其任务的耗时的标准差,std表示标准差公式;
所述约束函数,是指处于环保或经济方面考虑,所有物理机的总能量消耗不能高于预设的能量消耗阈值,如下公式所示:
E≤Emax
其中,E为云计算中心所有物理机实际消耗的能量,由电度表等传感器或通过代理模型预测值获得,Emax为预设的能量消耗阈值;
步骤4:采用处理不平衡问题的多目标进化算法对云资源调度问题进行求解,直到达到规定的迭代次数,得到当前云资源调度问题的参考解决方案;
步骤4.1:随机生成初始种群,并带入云资源调度问题转换的三个目标函数和约束函数中,获得种群(即每种调度方案)的目标值,将初始种群作为训练集,为约束函数(能耗)建立代理模型;初始种群中包含若干个体,每个个体为一个m*n的矩阵,代表一种调度方案;
本实施例中,每个个体为一个30*10的矩阵,代表一种调度方案;
步骤4.2:从初始种群种选取r个个体作为参考点,并依据每个个体到参考点的角度值将初始种群分为r类;设立r个最优档案A={A1,A2,...,Ar}用于保存r类种群中的最优子种群,最优档案初始值设为r类的初始种群,并且用每一类种群中能耗最低值代表最优档案中这一类种群的约束可行性;
本实施例中,从初始种群种选取6个参考点,这6个参考点代表6种收敛性和分布性都很好的调度方案,并依据到参考点的角度将种群分为6类。为了便于理解,图3给出两目标优化问题中,通过3个参考点将整个种群分为3类的例子,其中f1,f2分别代表两个最小化优化目标。设立6个最优档案A={A1,A2,...,A6}用于保存最优种群,最优档案初始值设为分为6类的初始种群,并且用每一类中能耗最低值代表最优档案中这一类种群的可行性。
步骤4.3:将每一类种群中的个体作为父代,通过交叉变异产生数量与父代相同的子代个体,将子代个体与父代个体合并成为新种群;
步骤4.3.1:对种群进行如图4所示的交叉操作:首先从种群中随机选取两个个体,并从[1,m]中生成一个随机数w,将两个随机个体的第w行进行交换,生成两个新个体;
步骤4.3.2:再对种群进行如图5所示的变异操作:首先从种群中随机选取一个个体,从[1,m]中生成一个随机数q,并从[1,n]中生成一个随机数h,将这个个体的第q行元素全部置为0,并将第q行第h列元素置为1,即将这种调度方案中的第q个任务交给第h个物理机来执行;
步骤4.4:对合并后的新种群采用CDA准则进行环境选择,选取与初始种群数量相同的个体作为下一代父代种群;
步骤4.4.1:将合并后的新种群基于参考点分成r类,在每一类新种群中计算个体到所属类的参考点的角度,记为θ;以及个体到坐标原点的距离,记为dic,如图6所示;
每一类新种群中,个体到坐标原点的距离dic如下公式所示:
Figure BDA0003128749450000081
步骤4.4.2:根据获得的距离及角度,计算每一个个体的CDA值,在每一类中依此选取CDA值最小的个体作为下一代父代种群中的个体,直到选取的个体数量达到初始种群中这一类的个体数,得到包含新个体的下一代父代种群,显而易见环境选择后的新种群与初始种群的个体数相同;
所述CDA值为进行个体选择的标准,如下公式所示:
CDA=(2-α*θ)*dic
其中,α为一个可调参数,用于调控角度θ对CDA值的影响程度,dic越小解的收敛性越好,而θ帮助选取一些分布性更好的个体。
步骤4.5:重复进行步骤4.3和步骤4.4,直到达到设定的小循环迭代次数,获得末代种群;
步骤4.6:更新最优档案和约束函数的代理模型;
步骤4.6.1:将步骤4.5迭代结束后的末代种群依据参考点,分为r类,在每一类种群中,使用代理模型估计新个体的约束值,选出每一类中约束值最小的个体,计算这种调度方案的能耗来代表此类末代种群的约束可行性,如果能耗小于能耗阈值或约束可行性优于最优档案中此类末代种群的可行性,则将最优档案中的这一类种群替换成此类末代种群;
步骤4.6.2:将步骤4.6.1中计算的r种调度方案的能耗值添加到训练集中,更新代理模型,并在接下来的阶段使用新的代理模型;
步骤4.7:迭代步骤4.2-步骤4.6直到达到设定的大循环迭代次数,优化结束,求解云资源调度问题完成,最优档案中的种群即为当前云资源调度问题的参考解决方案。
本实施例中,图7展示了此调度方法的一个例子,阴影部分为可行区域(即能耗小于阈值的区域)。初始种群P0被分为3类,此时最优档案与初始种群相同。每一类中的初始种群经过若干次交叉变异选择的小循环(步骤4.3-4.5)后,产生新种群P1,从P1的每一类种群中选取一个个体计算他的能耗值,由于第一类中能耗大于阈值且可行性没有变好,最优档案第一类不变;P1的第二类能耗小于阈值,故最优档案第二类替换为P1的第二类;P1的第三类中能耗大于阈值且可行性没有变好,故最优档案第一类不变。最优档案更新之后,进行下一轮小循环生成新种群P2并更新最优档案。多次进行上述操作直到达到大循环的最大评估次数,最优档案中的种群即为云资源调度问题的参考方案,如表1所示:
表1最优档案更新过程
末代种群P 最优种群Pbest
P0 P0 P0 P0
P1 P0 P1 P0
P2 P2 P1 P0
P3 P3 P3 P3
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (8)

1.一种面向不平衡多目标优化的云资源调度方法,其特征在于:
统计云计算中心中可用的物理机数和需处理的任务数,并估算每台物理机处理各个任务所需要花费的时间;
设定调度方案为每个任务仅由一台物理机处理,将每种调度方案用调度矩阵来表示,矩阵中每个元素的取值为1或0;
根据所有物理机处理任务花费的时间及调度方案,将云资源调度问题转化为三个目标函数和一个约束函数;
采用多目标进化算法对云资源调度问题进行求解,得到当前云资源调度问题的参考解决方案。
2.根据权利要求1所述的一种面向不平衡多目标优化的云资源调度方法,其特征在于:所述云资源调度方法将任务和物理机集合分别表示为M={M1,M2...Mm}和PM={PM1,PM2...PMn},m和n分别表示需处理的任务数和可用的物理机数量,则物理机处理任务花费的时间通过如下矩阵T表示:
Figure FDA0003128749440000011
其中,tmn表示物理机PMn处理任务Mm所花费的时间;
则调度矩阵为一个m*n的矩阵,如下公式所示:
Figure FDA0003128749440000012
其中,D为调度矩阵,每个元素的取值为1或0,当dmn=1时,表示任务Mm由物理机PMn来处理,由于每个任务仅由一台物理机处理,故有
Figure FDA0003128749440000013
Figure FDA0003128749440000014
3.根据权利要求1所述的一种面向不平衡多目标优化的云资源调度方法,其特征在于:所述三个目标函数分别为最小化处理任务的总耗时、最小化处理任务耗时最大的物理机耗时、最小化每个物理机任务耗时的标准差,所述约束函数为完成所有任务所需能耗小于预设的能量消耗。
4.根据权利要求3所述的一种面向不平衡多目标优化的云资源调度方法,其特征在于:
所述处理任务的总耗时,是指物理机处理所有任务花费时间的总和,如下公式所示:
Figure FDA0003128749440000021
其中,TTS为云计算中心处理所有任务花费时间的总和,tij为第i台物理机处理第j个任务花费的时间;
所述处理任务耗时最大的物理机耗时,如下公式所示:
Figure FDA0003128749440000022
其中,MTS为处理任务耗时最大的物理机耗时;
所述每个物理机任务耗时的标准差,是指每个物理机完成其任务的耗时的标准差,如下公式所示:
Figure FDA0003128749440000023
其中,SDTD为每个物理机完成其任务的耗时的标准差,std表示标准差公式;
所述约束函数,是指所有物理机的总能量消耗不能高于预设的能量消耗阈值,如下公式所示:
E≤Emax
其中,E为云计算中心所有物理机实际消耗的能量,Emax为预设的能量消耗阈值。
5.根据权利要求4所述的一种面向不平衡多目标优化的云资源调度方法,其特征在于:所述采用多目标进化算法对云资源调度问题进行求解,得到当前云资源调度问题的参考解决方案的具体方法为:
步骤S1:随机生成初始种群,并带入云资源调度问题转换的三个目标函数和约束函数中,获得种群的目标值,将初始种群作为训练集,为约束函数建立代理模型;初始种群中包含若干个体,每个个体为一个m*n的矩阵,代表一种调度方案;
步骤S2:从初始种群种选取r个个体作为参考点,并依据每个个体到参考点的角度值将初始种群分为r类;设立r个最优档案A={A1,A2,...,Ar}用于保存r类种群中的最优子种群,最优档案初始值设为r类的初始种群,并且用每一类种群中能耗最低值代表最优档案中这一类种群的约束可行性;
步骤S3:将每一类种群中的个体作为父代,通过交叉变异产生数量与父代相同的子代个体,将子代个体与父代个体合并成为新种群;
步骤S4:对合并后的新种群采用CDA准则进行环境选择,选取与初始种群数量相同的个体作为下一代父代种群;
步骤S5:重复进行步骤S3和步骤S4,直到达到设定的小循环迭代次数,获得末代种群;
步骤S6:更新最优档案和约束函数的代理模型;
步骤S7:迭代步骤S3-步骤S6直到达到设定的大循环迭代次数,优化结束,求解云资源调度问题完成,最优档案中的种群即为当前云资源调度问题的参考解决方案。
6.根据权利要求4所述的一种面向不平衡多目标优化的云资源调度方法,其特征在于:所述步骤S3的具体方法为:
步骤S3.1:对种群进行交叉操作:首先从种群中随机选取两个个体,并从[1,m]中生成一个随机数w,将两个随机个体的第w行进行交换,生成两个新个体;
步骤S3.2:再对种群进行变异操作:首先从种群中随机选取一个个体,从[1,m]中生成一个随机数q,并从[1,n]中生成一个随机数h,将这个个体的第q行元素全部置为0,并将第q行第h列元素置为1,即将这种调度方案中的第q个任务交给第h个物理机来执行。
7.根据权利要求6所述的一种面向不平衡多目标优化的云资源调度方法,其特征在于:所述步骤S4的具体方法为:
步骤S4.1:将合并后的新种群基于参考点分成r类,在每一类新种群中计算个体到所属类的参考点的角度,记为θ;以及个体到坐标原点的距离,记为dic,如下公式所示:
Figure FDA0003128749440000031
步骤S4.2:根据获得的距离及角度,计算每一个个体的CDA值,在每一类中依此选取CDA值最小的个体作为下一代父代种群中的个体,直到选取的个体数量达到初始种群中这一类的个体数,得到包含新个体的下一代父代种群;
所述CDA值为进行个体选择的标准,如下公式所示:
CDA=(2-α*θ)*dic
其中,α为一个可调参数,用于调控角度θ对CDA值的影响程度。
8.根据权利要求5所述的一种面向不平衡多目标优化的云资源调度方法,其特征在于:所述步骤S6的具体方法为:
步骤S6.1:将步骤S5迭代结束后的末代种群依据参考点,分为r类,在每一类种群中,使用代理模型估计新个体的约束值,选出每一类中约束值最小的个体,计算这种调度方案的能耗来代表此类末代种群的约束可行性,如果能耗小于能耗阈值或约束可行性优于最优档案中此类末代种群的可行性,则将最优档案中的这一类种群替换成此类末代种群;
步骤S6.2:将步骤S6.1中计算的r种调度方案的能耗值添加到训练集中,更新代理模型。
CN202110698428.8A 2021-06-23 2021-06-23 一种面向不平衡多目标优化的云资源调度方法 Active CN113419854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698428.8A CN113419854B (zh) 2021-06-23 2021-06-23 一种面向不平衡多目标优化的云资源调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698428.8A CN113419854B (zh) 2021-06-23 2021-06-23 一种面向不平衡多目标优化的云资源调度方法

Publications (2)

Publication Number Publication Date
CN113419854A true CN113419854A (zh) 2021-09-21
CN113419854B CN113419854B (zh) 2023-09-22

Family

ID=77716341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698428.8A Active CN113419854B (zh) 2021-06-23 2021-06-23 一种面向不平衡多目标优化的云资源调度方法

Country Status (1)

Country Link
CN (1) CN113419854B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845642A (zh) * 2017-01-22 2017-06-13 北京科技大学 一种带约束云工作流调度的自适应多目标进化方法
CN108334986A (zh) * 2018-02-06 2018-07-27 东华大学 一种基于可塑性机制的重调度方法的多智能体多目标优化方法
CN108762927A (zh) * 2018-05-29 2018-11-06 武汉轻工大学 移动云计算的多目标任务调度方法
CN109522104A (zh) * 2018-10-15 2019-03-26 华南理工大学 利用差分进化算法优化Iaas两目标任务调度的方法
CN110445566A (zh) * 2019-08-07 2019-11-12 东北大学 一种面向工业物联网数据可靠传输的资源分配方法
CN112463386A (zh) * 2020-12-08 2021-03-09 内蒙古大学 用于异构云环境下在线游戏应用的虚拟机管理方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845642A (zh) * 2017-01-22 2017-06-13 北京科技大学 一种带约束云工作流调度的自适应多目标进化方法
CN108334986A (zh) * 2018-02-06 2018-07-27 东华大学 一种基于可塑性机制的重调度方法的多智能体多目标优化方法
CN108762927A (zh) * 2018-05-29 2018-11-06 武汉轻工大学 移动云计算的多目标任务调度方法
CN109522104A (zh) * 2018-10-15 2019-03-26 华南理工大学 利用差分进化算法优化Iaas两目标任务调度的方法
CN110445566A (zh) * 2019-08-07 2019-11-12 东北大学 一种面向工业物联网数据可靠传输的资源分配方法
CN112463386A (zh) * 2020-12-08 2021-03-09 内蒙古大学 用于异构云环境下在线游戏应用的虚拟机管理方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FATEMEH EBADIFARD等: "Optimizing multi objective based workflow scheduling in cloud computing using black hole algorithm", 《 2017 3TH INTERNATIONAL CONFERENCE ON WEB RESEARCH (ICWR)》, pages 102 - 108 *
付亚平等: "混合并行机调度问题的多目标优化模型及算法", 《控制理论与应用》, vol. 31, no. 11, pages 1510 - 1516 *
廖大强;: "面向多目标的云计算资源调度算法", 《计算机系统应用》, vol. 25, no. 02, pages 180 - 189 *
张小庆;安春玲;胡亚捷;: "移动云计算多目标任务调度进化算法", 《微电子学与计算机》, no. 10, pages 83 - 90 *
张照胜;李蜀瑜;: "云计算环境下基于改进粒子群算法的任务调度", 《电子设计工程》, no. 15, pages 11 - 14 *
韩于芳: "基于多目标优化的云任务调度算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 3, pages 140 - 74 *

Also Published As

Publication number Publication date
CN113419854B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
Yuan et al. Research on intelligent workshop resource scheduling method based on improved NSGA-II algorithm
Zhou et al. A multi-objective differential evolution algorithm for parallel batch processing machine scheduling considering electricity consumption cost
Chen et al. Applications of multi-objective dimension-based firefly algorithm to optimize the power losses, emission, and cost in power systems
Tao et al. CLPS-GA: A case library and Pareto solution-based hybrid genetic algorithm for energy-aware cloud service scheduling
Jia et al. Multi-objective energy-aware batch scheduling using ant colony optimization algorithm
Tarplee et al. Energy and makespan tradeoffs in heterogeneous computing systems using efficient linear programming techniques
CN111693931A (zh) 智能电能表误差远程计算方法、装置和计算机设备
CN103345384B (zh) 一种基于分解的变邻域多目标测试任务调度方法及平台
Zhang et al. MOEA/D with many-stage dynamical resource allocation strategy to solution of many-objective OPF problems
Qian et al. A multi-objective evolutionary algorithm based on adaptive clustering for energy-aware batch scheduling problem
Li et al. Knee point-guided multiobjective optimization algorithm for microgrid dynamic energy management
Chang et al. Multi-objective real-time dispatching for integrated delivery in a Fab using GA based simulation optimization
CN113805138A (zh) 一种基于参数有向遍历的智能电表误差估计方法及装置
CN116914751A (zh) 一种智能配电控制系统
Nourianfar et al. A new technique for investigating wind power prediction error in the multi-objective environmental economics problem
CN111864728B (zh) 一种可重构配电网重要设备识别方法和系统
Su et al. Optimal placement and capacity sizing of energy storage systems via NSGA-II in active distribution network
CN113419854A (zh) 一种面向不平衡多目标优化的云资源调度方法
CN111859242A (zh) 一种家庭电力能效优化方法及系统
Yu [Retracted] Research on Optimization Strategy of Task Scheduling Software Based on Genetic Algorithm in Cloud Computing Environment
CN115629576A (zh) 非侵入式柔性负荷聚合特性辨识与优化方法、装置及设备
Zhu et al. Application of machine learning and its improvement technology in modeling of total energy consumption of air conditioning water system
Liu et al. An improved quantum particle swarm algorithm for solving multi-objective fuzzy flexible job shop scheduling problem
Ding et al. Redundancy optimization for multi-performance multi-state series-parallel systems considering reliability requirements
CN114548828A (zh) 一种分布式光伏电源的选址和定容方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant