CN110908800B - 边云协同环境中基于调度熵的调度优化方法 - Google Patents
边云协同环境中基于调度熵的调度优化方法 Download PDFInfo
- Publication number
- CN110908800B CN110908800B CN201911098738.5A CN201911098738A CN110908800B CN 110908800 B CN110908800 B CN 110908800B CN 201911098738 A CN201911098738 A CN 201911098738A CN 110908800 B CN110908800 B CN 110908800B
- Authority
- CN
- China
- Prior art keywords
- task
- scheduling
- resource
- entropy
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title claims abstract description 26
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种边云协同环境中基于调度熵的任务调度优化方法,包括获取调度任务;建立任务资源树模型;计算所述任务资源树模型中的任务资源对的调度熵;根据所述调度任务和调度熵阈值对任务资源树进行遍历搜索,获取调度熵最大值对应的任务资源对,即最优调度。
Description
技术领域
本发明涉及云计算技术领域,具体涉及一种边云协同环境中基于调度熵的调度优化方法。
背景技术
云计算提供了高效的计算、存储等服务平台,且目前已有很多成功的商业应用实例,但是由于各种应用的复杂性和公共网络的带宽速度、成本等使得云计算在该领域应用中还有一些共性难题,如任务差异导致的云资源和费用的浪费;数据安全、隐私保护问题;云计算中公共网络的延迟问题;云计算平台运行时可能由于断电、设备故障等问题。
因此,边云协同成为一个发展趋势,即边缘计算和云计算结合为应用服务。根据应用任务需要,有选择的使用边缘或云资源。将边缘与云资源结合,可使二者相辅相成,优势互补,云计算丰富的资源弥补了边缘设备计算、存储能力上的不足,而边缘设备因为贴近用户可以提供云计算无法提供的低延迟服务,同时也增强了隐私安全保护和整个系统的稳定可靠性,无论是网络还是设备故障均可选择备用资源。
应用任务对资源需求的多样性以及边云协同环境的复杂性,使得传统的调度方法很难满足其需求,且调度效率较低,因此需要更能适应边云协同环境的调度方法,边云协同环境中资源的多样性使得调度变得更为困难。
发明内容
针对现有技术的不足,本发明的目的在于提供一种边云协同环境中基于调度熵的调度优化方法,以解决现有技术中存在的调度效率较低的问题。
为解决上述技术问题,本发明所采用的技术方案是:
一种边云协同环境中基于调度熵的调度优化方法,所述方法包括:
获取调度任务;
建立任务资源树模型;
计算所述任务资源树模型中的任务资源集的调度熵;
根据所述调度任务和调度熵阈值对任务资源树进行遍历搜索,获取调度熵最大值对应的任务资源对,即最优调度。
进一步的,所述调度熵通过如下公式表示:
其中,Pa(i)为第a批任务中第i个任务与第n类资源组合集的调度熵,Ru为资源利用率,N为资源总数,Gan为第a批任务对第n类资源的需求量,M为第a批任务的总数,Gjn表示任务j对第n类资源的需求量。
进一步的,所述调度熵阈值的计算方法如下:
其中,Paθ为调度熵阈值,α为随机选取范围为[0,1]的值,Paj为第a批任务与N个资源的调度熵,Gjn表示任务j对第n类资源的需求量,N为资源总数,M为第a批任务的总数。
进一步的,所述遍历搜索的过程如下:
将资源树模型分为H层{k0,k1,…,kh},设每层有nk个任务资源组合对;
设置调度熵阈值Paθ=0.1,起始层k0=0,当前层数h=0,任务序号i=0;
设任务序号i=1;任务资源组合对s=1;
在每一个层kh中,用任务资源组合对s的子任务资源组合对替换原来的s;
计算Pa(i);
开始下一任务资源组合匹配,继续遍历,即
s=s+1;
s=s+1;
如果本层任务资源对还没遍历完成,即s≤nk,则换本层下一子树任务资源对,继续在本层用任务资源组合对s的子任务资源组合对替换原来的s,计算Pa(i);
如果本层任务资源对已经遍历完成,即s>nk,则转至下一层,即
h=h+1;
进一步的,所述任务资源树模型包括多批任务和多个资源簇;每批所述任务和其中一个资源簇构成一个子树,每批所述任务的第i个任务与第n个资源簇组成一个任务资源组合集,遍历任务资源组合集中的每一个任务资源组合对。
进一步的,所述资源簇根据资源的计算、存储和带宽能力划分。
一种边云协同环境中基于调度熵的调度优化系统,所述系统包括:
获取模块:用于获取调度任务;
建模模块:用于建立任务资源树模型;
计算模块:用于计算所述任务资源树模型中的任务资源集的调度熵;
搜索模块:用于根据所述调度任务对任务资源树进行遍历搜索,获取调度熵最大值对应的任务资源对,即最优调度。
一种边云协同环境中基于调度熵的调度优化系统,所述系统包括处理器和存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据上述所述方法的步骤。
计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所述方法的步骤。
与现有技术相比,本发明所达到的有益效果:
(1)本发明根据调度熵概念模型,优化调度问题,提高边云协同环境中应用任务的调度效率;(2)本发明中的调度熵概念可以更好的衡量任务需求和资源的动态使用情况,从而能更好提高资源利用率,实现边云协同这种异构、动态计算环境下的负载均衡,从而给云计算提供商节省能耗,降低费用成本;(3)任务需求与资源的最佳匹配组合能大大提高调度效率,减少任务等待和执行时间,从而节省用户租用云计算的费用;(4)本发明的调度熵概念模型可以为边云协同环境中任务在边缘与云计算间的迁移提供支持。
附图说明
图1是边云协同环境中基于调度熵的调度优化方法示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
边云协同环境中基于调度熵的调度优化方法,首先提出调度熵概念模型,通过它来更准确的衡量任务需求与资源的使用情况,从而为任务调度、边云之间的任务迁移提供支持。将调度熵概念模型应用于调度优化问题,通过任务资源树模型,结合调度熵寻找最佳的任务资源组合,从而实现任务到边缘和云资源间的协同调度优化。
该方法的关键是调度熵概念模型,并利用调度熵概念模型实现调度优化问题,解决任务与边云资源的优化调度问题。
(1)提出调度熵的概念模型,使用调度熵来衡量调度系统中任务需求与资源使用的合理性,调度熵值越大,说明整个调度系统中的资源使用更均匀充分、资源使用率越高,任务与资源的匹配度越高,系统越稳定。
(2)调度熵在调度问题中的应用。通过将任务资源网络建立为一个复杂系统,将任务资源组合对以分层树的形式自顶向下进行搜索,以找到最佳的任务资源组合使调度熵最大化,且不超过最大熵阈值。
(3)资源集为边缘与云资源的集合,将任务集和资源集建立任务资源网络从而建立边云调度的复杂系统,利用调度熵概念模型实现任务在边云协同环境中的调度优化。
(4)任务资源树模型,如图1所示。
(5)利用调度熵概念和任务资源树模型实现边云协同环境中调度优化问题的求解过程。
本发明的调度优化方法是基于边云协同应用场景和调度熵概念模型,如图1所示,是边云协同环境中基于调度熵的调度优化方法示意图。具体操作步骤如下:
步骤一:调度网络模型。将整个边缘资源与可用云资源虚拟为一个资源池,根据资源的计算、存储和带宽能力等指标将资源聚类划分为几个资源簇,其中边缘与云资源在带宽指标方面进行详细明显区分,设置边缘资源的带宽指标权重大于云资源带宽指标权重,突出边缘计算在传输方面的优势。
将每簇资源与任务组成的映射对组成一个无权网络图,表示为G=G(s,p)
其中s为任务资源对,p为调度熵,调度熵概念模型见步骤二。
将该无权网络图以任务资源树模型表示,如图1任务资源树所示,该树模型分为H层{k0,k1,…,kh},每层有nk个任务资源组合对。
步骤二:调度熵概念模型。调度熵是用来衡量任务与资源之间调度效果的一个概念模型。
首先,将任务和某一资源簇建立为一个任务资源网络组成的复杂系统。将任务根据到达时间分为多个批次,用Gjn表示任务j对第n类资源的需求量,则第a批任务对第n类资源的需求量为Gan,N为资源总数,M为第a批任务的总数,则
则调度熵可表示为
其中,Pa(i)为第a批任务中第i个任务与第n类资源组合集的调度熵,Ru为资源利用率,调度熵值越小,表示资源利用率越低,负载越不均衡,且资源数量超出任务需求越多。
因此,为实现更优的调度性能,需要尽可能使得调度熵Pa(i)最大化,并根据资源个数和任务总数差值情况设定一个调度熵阈值Paθ,即Pa(i)≤Paθ。
调度熵阈值Paθ的设置如下:
α随机选取范围为[0,1]的值。
步骤三:从顶层到底层对任务资源树进行搜索,寻找最佳的任务资源组合使得调度熵最大化,且不超过最大熵阈值Paθ。
步骤四:应用基于调度熵模型的调度优化算法实现任务到边云资源的优化调度。算法具体实现过程如下:
(1)调度系统分层。将调度系统分为H层{k0,k1,…,kh},每层有nk个任务资源组合对;
(3)分层遍历开始。调度批次i=1;任务资源组合对s=1;
(4)在每一个层kh中,用任务资源组合对s的子任务资源组合对替换原来的s,计算Pa(i);
开始下一任务资源组合匹配,继续遍历,即
s=s+1;
s=s+1;
(7)如果本层任务资源对还没遍历完成,即s≤nk,则换本层下一子树任务资源对,继续在本层用任务资源组合对s的子任务资源组合对替换原来的s,计算Pa(i);
(8)如果本层任务资源对已经遍历完成,即s>nk,则转至下一层,即
h=h+1
(10)i=i+1,转至(4),进行下一批次任务调度。
一种边云协同环境中基于调度熵的调度优化系统,所述系统包括:
获取模块:用于获取调度任务;
建模模块:用于建立任务资源树模型;
计算模块:用于计算所述任务资源树模型中的任务资源对的调度熵;
搜索模块:用于根据所述调度任务对任务资源树进行遍历搜索,获取调度熵最大值对应的任务资源对,即最优调度。
一种边云协同环境中基于调度熵的调度优化系统,所述系统包括处理器和存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行上述所述方法的步骤。
计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所述方法的步骤。
为更好的实现资源共享,提高资源利用率,本发明提出基于调度熵的调度优化方法,能够更适合边云协同环境,并为边云协同环境中任务的迁移提供支持。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (6)
1.一种边云协同环境中基于调度熵的调度优化方法,其特征在于,所述方法包括:
获取调度任务;
建立任务资源树模型;
计算所述任务资源树模型中的任务资源集的调度熵;
根据所述调度任务和调度熵阈值对任务资源树进行遍历搜索,获取调度熵最大值对应的任务资源对,即最优调度;
所述调度熵通过如下公式表示:
其中,Pa(i)为第a批任务中第i个任务与第n类资源组合集的调度熵,Ru为资源利用率,N为资源总数,Gan为第a批任务对第n类资源的需求量,M为第a批任务的总数,Gjn表示任务j对第n类资源的需求量;
所述遍历搜索的过程如下:
将资源树模型分为H层{k0,k1,…,kh},设每层有nk个任务资源组合对;
设置调度熵阈值Paθ=0.1,起始层k0=0,当前层数h=0,任务序号i=0;
设任务序号i=1;任务资源组合对s=1;
在每一个层kh中,用任务资源组合对s的子任务资源组合对替换原来的s;
计算Pa(i);
开始下一任务资源组合匹配,继续遍历,即
s=s+1;
s=s+1;
如果本层任务资源对还没遍历完成,即s≤nk,则换本层下一子树任务资源对,继续在本层用任务资源组合对s的子任务资源组合对替换原来的s,计算Pa(i);
如果本层任务资源对已经遍历完成,即s>nk,则转至下一层,即
h=h+1;
所述任务资源树模型包括多批任务和多个资源簇;每批所述任务和其中一个资源簇构成一个子树,每批所述任务的第i个任务与第n个资源簇组成一个任务资源组合集,遍历任务资源组合集中的每一个任务资源组合对。
3.根据权利要求1所述的一种边云协同环境中基于调度熵的调度优化方法,其特征在于,所述资源簇根据资源的计算、存储和带宽能力划分。
4.一种边云协同环境中基于调度熵的调度优化系统,其特征在于,所述系统包括:
获取模块:用于获取调度任务;
建模模块:用于建立任务资源树模型;
计算模块:用于计算所述任务资源树模型中的任务资源集的调度熵;
搜索模块:用于根据所述调度任务对任务资源树进行遍历搜索,获取调度熵最大值对应的任务资源对,即最优调度;
所述调度熵通过如下公式表示:
其中,Pa(i)为第a批任务中第i个任务与第n类资源组合集的调度熵,Ru为资源利用率,N为资源总数,Gan为第a批任务对第n类资源的需求量,M为第a批任务的总数,Gjn表示任务j对第n类资源的需求量;
所述遍历搜索的过程如下:
将资源树模型分为H层{k0,k1,…,kh},设每层有nk个任务资源组合对;
设置调度熵阈值Paθ=0.1,起始层k0=0,当前层数h=0,任务序号i=0;
设任务序号i=1;任务资源组合对s=1;
在每一个层kh中,用任务资源组合对s的子任务资源组合对替换原来的s;
计算Pa(i);
开始下一任务资源组合匹配,继续遍历,即
s=s+1;
s=s+1;
如果本层任务资源对还没遍历完成,即s≤nk,则换本层下一子树任务资源对,继续在本层用任务资源组合对s的子任务资源组合对替换原来的s,计算Pa(i);
如果本层任务资源对已经遍历完成,即s>nk,则转至下一层,即
h=h+1;
所述任务资源树模型包括多批任务和多个资源簇;每批所述任务和其中一个资源簇构成一个子树,每批所述任务的第i个任务与第n个资源簇组成一个任务资源组合集,遍历任务资源组合集中的每一个任务资源组合对。
5.一种边云协同环境中基于调度熵的调度优化系统,其特征在于,所述系统包括处理器和存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1-3任一项所述方法的步骤。
6.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-3任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911098738.5A CN110908800B (zh) | 2019-11-11 | 2019-11-11 | 边云协同环境中基于调度熵的调度优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911098738.5A CN110908800B (zh) | 2019-11-11 | 2019-11-11 | 边云协同环境中基于调度熵的调度优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110908800A CN110908800A (zh) | 2020-03-24 |
CN110908800B true CN110908800B (zh) | 2023-04-18 |
Family
ID=69817149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911098738.5A Active CN110908800B (zh) | 2019-11-11 | 2019-11-11 | 边云协同环境中基于调度熵的调度优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110908800B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113630383B (zh) * | 2021-07-08 | 2023-03-28 | 杨妍茜 | 一种边云协同的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109240795A (zh) * | 2018-08-10 | 2019-01-18 | 南瑞集团有限公司 | 一种适用于超融合it基础设施的云计算资源池模型的资源调度方法 |
CN109783235A (zh) * | 2018-12-29 | 2019-05-21 | 西安交通大学 | 一种基于最大熵原理的负载均衡调度方法 |
-
2019
- 2019-11-11 CN CN201911098738.5A patent/CN110908800B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109240795A (zh) * | 2018-08-10 | 2019-01-18 | 南瑞集团有限公司 | 一种适用于超融合it基础设施的云计算资源池模型的资源调度方法 |
CN109783235A (zh) * | 2018-12-29 | 2019-05-21 | 西安交通大学 | 一种基于最大熵原理的负载均衡调度方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110908800A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Load balancing task scheduling based on genetic algorithm in cloud computing | |
WO2016165392A1 (zh) | 一种基于遗传算法的云计算资源调度方法 | |
US20200081898A1 (en) | A Method for Constructing Electricity Transaction Index System Based on Big Data Technology | |
CN104331321B (zh) | 基于禁忌搜索和负载均衡的云计算任务调度方法 | |
CN105159762B (zh) | 基于贪心策略的启发式云计算任务调度方法 | |
CN102567080B (zh) | 一种云计算环境中的面向负载均衡的虚拟机择位系统 | |
CN111221624B (zh) | 一种针对基于Docker容器技术的调控云平台的容器管理方法 | |
US11055139B2 (en) | Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster | |
CN106412124B (zh) | 一种并序化云服务平台任务分配系统及任务分配方法 | |
CN103916438B (zh) | 基于负载预测的云测试环境调度方法及其系统 | |
CN105049536A (zh) | IaaS云环境中的负载均衡系统和负载均衡方法 | |
CN103338228A (zh) | 基于双加权最小连接算法的云计算负载均衡调度算法 | |
CN106130960B (zh) | 盗号行为的判断系统、负载调度方法和装置 | |
Lin et al. | Novel algorithms and equivalence optimisation for resource allocation in cloud computing | |
CN110908800B (zh) | 边云协同环境中基于调度熵的调度优化方法 | |
CN115277692A (zh) | 边缘网络计算终端设备自动运维方法、装置和系统 | |
CN111242801A (zh) | 一种电力系统调控云电网运行分析平台 | |
CN113342526A (zh) | 云计算移动网络资源动态管控方法、系统、终端及介质 | |
CN110958192B (zh) | 一种基于虚拟交换机的虚拟数据中心资源分配系统及方法 | |
Vigliotti et al. | Energy-efficient virtual machines placement | |
CN107277824B (zh) | 一种c-ran架构下的虚拟基站分簇方法 | |
Lin et al. | A workload-driven approach to dynamic data balancing in MongoDB | |
Yang et al. | Yun: a high-performance container management service based on openstack | |
Liang et al. | A heuristic virtual machine scheduling algorithm in cloud data center | |
Jiang et al. | An optimized resource scheduling strategy for Hadoop speculative execution based on non-cooperative game schemes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |