CN112087509A - 一种边缘计算平台中任务迁移方法 - Google Patents

一种边缘计算平台中任务迁移方法 Download PDF

Info

Publication number
CN112087509A
CN112087509A CN202010917559.6A CN202010917559A CN112087509A CN 112087509 A CN112087509 A CN 112087509A CN 202010917559 A CN202010917559 A CN 202010917559A CN 112087509 A CN112087509 A CN 112087509A
Authority
CN
China
Prior art keywords
node
migration
task
server
edge computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010917559.6A
Other languages
English (en)
Other versions
CN112087509B (zh
Inventor
张伟哲
何慧
方滨兴
王德胜
彭佳滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010917559.6A priority Critical patent/CN112087509B/zh
Publication of CN112087509A publication Critical patent/CN112087509A/zh
Application granted granted Critical
Publication of CN112087509B publication Critical patent/CN112087509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Abstract

一种边缘计算平台中任务迁移方法,属于边缘计算技术领域,用以解决在边缘计算平台中进行任务迁移时减小能耗开销、通信开销、迁移开销以及三者的综合开销。本发明方法步骤包括将物理网络拓扑各服务器节点按照CPU资源利用率分为hotspot节点、warmspot节点和coldspot节点;对物理网络拓扑进行预处理;对hotspot节点和coldspot节点分别进行短期内资源利用率预测;对需要进行任务迁移的hotspot节点和coldspot节点分别进行任务迁移,获取迁移后各任务所在服务器位置。本发明方法用于消除边缘计算平台中超过资源利用率上限及低于资源利用率下限的服务器,有效减少系统的能耗开销、计算时延、数据传输压力,充分利用边缘服务器的存储和计算能力并缓解云计算中心压力。

Description

一种边缘计算平台中任务迁移方法
技术领域
本发明涉及边缘计算技术领域,具体涉及一种边缘计算平台中任务迁移方法。
背景技术
边缘计算是继分布式计算、网格计算、云计算之后的一种新型计算模型,通过在边缘计算平台上对任务进行迁移,能够使任务更合理平均的分配到各边缘以及云中心服务器,从而实现边缘计算平台中各服务器资源的高效合理使用,进而有效减少系统的计算时延、数据传输压力,充分利用边缘服务器的存储和计算能力并缓解云计算中心压力。此外,实现边缘计算平台中任务的迁移过程,能够有限避免因为硬件故障所引发的任务处理响应中断等情况。但是现有的边缘计算平台中任务迁移方法能耗开销大、计算时延长、数据传输压力大,导致边缘计算平台中出现过多的“过载”及“欠载”服务器,不能充分合理地利用服务器资源。
发明内容
本发明要解决的技术问题是:鉴于以上问题,本发明要解决的技术问题是在边缘计算平台中进行任务迁移时减小能耗开销、通信开销、迁移开销以及三者的综合开销。
本发明为解决上述技术问题所采用的技术方案是:本发明所述的一种边缘计算平台中任务迁移方法包括,步骤一、获取物理网络拓扑、虚拟网络拓扑以及各任务所在服务器位置;其中,物理网络拓扑为边缘计算平台中的底层服务器网络拓扑,虚拟网络拓扑为任务之间的通信关系;步骤二、将物理网络拓扑各服务器节点按照CPU资源利用率分为hotspot节点、warmspot节点和coldspot节点;其中,满足资源利用率达到或超过上限的节点为hotspot节点;满足CPU资源利用率低于下限的节点为coldspot节点;满足CPU资源利用率高于下限且未达到上限的节点为warmspot节点;步骤三、对所述物理网络拓扑进行预处理,包括将物理网络拓扑转化为完全图结构,并按照规则对完全图结构中任意两个服务器节点之间的链路进行涂色处理;步骤四、对hotspot节点和coldspot节点分别进行短期内资源利用率预测,将预测结果为未来短期内资源利用率达到或超过上限的节点确定为需要进行任务迁移的hotspot节点;将预测结果为未来短期内资源利用率低于下限的节点确定为需要进行任务迁移的coldspot节点;步骤五、对需要进行任务迁移的hotspot节点和coldspot节点分别进行任务迁移,获取迁移后各任务所在服务器位置。
进一步地,步骤二中CPU资源利用率上限为0.8,下限为0.2。进一步地,步骤三中按照规则对完全图结构中任意两个服务器节点之间的链路进行涂色处理的所述规则为,对于两端节点都是hotspot节点的链路或者dis值为∞的链路,将其涂色为红色;对于一端节点是hotspot节点或者coldspot节点、另一端节点是warmspot节点的链路,将其涂为绿色;对于一端节点是hotspot节点、另一端节点是coldspot节点的链路,将其涂为蓝色;对于两端节点都是coldspot节点的链路,将其涂为黄色;其余情况不进行涂色处理;其中,dis表示通过Dijkstra(迪克斯特拉)算法计算出的两个节点之间最短路径的长度,dis值为∞表示两个服务器节点之间没有可达路径。进一步地,步骤四中对hotspot节点和coldspot节点分别进行短期内资源利用率预测的方法为通过线性回归模型对服务器节点的CPU资源利用率进行预测,线性回归预测函数为:
Figure BDA0002665552490000021
其中,s表示服务器节点;Ut+1(s)表示服务器节点在t+1时刻的资源利用率;βi,i∈{0,…m}表示由n个最近被观测到的资源使用量确定的线性回归系数,n>m;m+1是预测模型中回归器的大小。进一步地,步骤四中对hotspot节点和coldspot节点分别进行短期内资源利用率预测的方法为通过线性回归模型对服务器节点的CPU资源利用率进行多次预测以得到稳定的资源使用情况。进一步地,步骤五中对需要进行任务迁移的hotspot节点进行任务迁移包括首先对hotspot节点依据使任务迁移传输数据开销t[i,j]最小的原则选择待迁移任务,然后根据步骤二中获得的涂色后完全图结构为待迁移任务选择合适的迁移目标服务器以及迁移路径;其中,任务迁移传输数据开销t[i,j]为在服务器节点上CPU资源利用率超过上限的值为j时,从任务i中选择一个或不超过i的若干个,所能产生的最小的传输数据开销。进一步地,任务迁移传输数据开销t[i,j]的计算公式为:1)当待迁移任务只有一个任务时,任务迁移传输数据开销t[i,j]为:
Figure BDA0002665552490000022
2)当待迁移任务包含多个任务时,任务迁移传输数据开销t[i,j]为:
Figure BDA0002665552490000023
其中,CPUi表示所需的CPU资源大小;memi表示任务i的内存数据大小。进一步地,对于hotspot节点为待迁移任务选择合适的迁移目标服务器的顺序为,依次选择涂色后完全图结构中颜色为绿色、蓝色、黄色的边并按照路径长度递增的顺序进行搜索选择。进一步地,步骤五中对需要进行任务迁移的coldspot节点进行任务迁移包括根据步骤二中获得的涂色后完全图结构为待迁移任务选择合适的迁移目标服务器以及迁移路径;其中,选择合适的迁移目标服务器的顺序为,选择涂色后完全图结构中颜色为绿色的边并按照路径长度递增的顺序进行搜索选择。进一步地,步骤五中对需要进行任务迁移的hotspot节点和coldspot节点分别进行任务迁移的顺序为,对于所有hotspot节点,任务迁移的顺序为按照节点温度值降序进行迁移处理;对于所有coldspot节点,任务迁移的顺序为按照节点温度值升序进行迁移处理。
本发明具有以下有益技术效果:
本发明所述的一种边缘计算平台中任务迁移方法,通过有效算法合理实现任务的均匀分配,首先,本发明方法中对物理网络拓扑进行预处理,避免了大量重复计算所造成时间上的浪费,其中涂色处理进一步提高了目标服务器的选取速度,极大的缩短了迁移决策所需的时间;其次本发明方法中短期内资源利用率预测具有较高的准确率,通过准确的资源预测减少了整个迁移过程中的迁移次数;再次,本发明方法中优先处理CPU使用率最高的任务,能够优先降低较多的SLA冲突,从而减少通信开销;最后,本发明方法中选择待迁移任务使总的数据传输量较小,从而减少迁移开销。综上,本发明方法消除了平台中超过资源利用率上限即“过载”及低于资源利用率下限即“欠载”的服务器,有效减少了系统的能耗开销、计算时延、数据传输压力,充分地利用边缘服务器的存储和计算能力并缓解云计算中心压力。
附图说明
图1示出了根据本发明实施例一种边缘计算平台中任务迁移方法的示意性流程图。图2示出了根据本发明实施例一种边缘计算平台中任务迁移方法的物理网络拓扑转化过程示意图。图3示出了根据本发明实施例一种边缘计算平台中任务迁移方法中对物理网络拓扑进行预处理结果示意图。图4示出了根据本发明实施例一种边缘计算平台中任务迁移方法中迁移决策制定的示意性流程图。图5示出了根据本发明实施例一种边缘计算平台中任务迁移方法中hotspot节点任务迁移的基本规则示意图。图6示出了根据本发明实施例一种边缘计算平台中任务迁移方法中coldspot节点任务迁移的基本规则示意图。图7示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移能耗开销对比结果图。图8示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移通信开销对比结果图。图9示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移迁移开销对比结果图。图10示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移平均迁移开销对比结果图。图11示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移综合开销对比结果图。图12示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移能耗开销对比结果图。图13示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移通信开销对比结果图。图14示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移迁移开销对比结果图。图15示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移平均迁移开销对比结果图。图16示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移综合开销对比结果图。图17示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移能耗开销对比结果图。图18示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移通信开销对比结果图。图19示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移迁移开销对比结果图。图20示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移平均迁移开销对比结果图。图21示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移综合开销对比结果图。图22示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移能耗开销对比结果图。图23示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移通信开销对比结果图。图24示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移迁移开销对比结果图。图25示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移平均迁移开销对比结果图。图26示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移综合开销对比结果图。
具体实施方式
在边缘计算平台中进行任务迁移的过程具体可以分成when、which以及how三部分,其分别对应迁移条件的触发时间、待迁移任务的选择以及具体的迁移决策。针对上述过程,为了减小在制定迁移决策时的时间开销,避免由于大量重复计算所造成的资源浪费,提出一种边缘计算平台中任务迁移方法,用以解决边缘计算平台中的任务迁移问题。图1示出了根据本发明实施例一种边缘计算平台中任务迁移方法的示意性流程图。
如图1所示,该任务迁移方法包括,步骤一、获取物理网络拓扑、虚拟网络拓扑以及各任务所在服务器位置;其中,物理网络拓扑为边缘计算平台中的底层服务器网络拓扑,虚拟网络拓扑为任务之间的通信关系;步骤二、将物理网络拓扑各服务器节点按照CPU资源利用率分为hotspot节点、warmspot节点和coldspot节点;其中,满足资源利用率达到或超过上限的节点为hotspot节点;满足CPU资源利用率低于下限的节点为coldspot节点;满足CPU资源利用率高于下限且未达到上限的节点为warmspot节点;步骤三、对物理网络拓扑进行预处理,包括将物理网络拓扑转化为完全图结构,并按照规则对完全图结构中任意两个服务器节点之间的链路进行涂色处理;步骤四、对hotspot节点和coldspot节点分别进行短期内资源利用率预测,将预测结果为未来短期内资源利用率达到或超过上限的节点确定为需要进行任务迁移的hotspot节点;将预测结果为未来短期内资源利用率低于下限的节点确定为需要进行任务迁移的coldspot节点;步骤五、对需要进行任务迁移的hotspot节点和coldspot节点分别进行任务迁移,获取迁移后各任务所在服务器位置。
根据本发明实施例,首先进行定义描述介绍。将边缘计算平台中的底层服务器网络拓扑定义为无向带权图GS=(NS,ES),其中,NS=NSC∪NSE代表平台中的服务器集合,NSC和NSE分别代表云中心服务器集合和边缘服务器集合;ES代表各服务器节点之间链路的集合。对于任意服务器都有
Figure BDA0002665552490000041
或者
Figure BDA0002665552490000042
其中∈[0,|NS|-1],表示平台中服务器节点的唯一编号,|NS|代表边缘计算平台中服务器的总数量;对于物理网络拓扑中任意不同的两节点i,j之间若存在链路关系,则将其表示为
Figure BDA0002665552490000051
|ES|代表边缘计算平台中链路连接的总数量。定义集合ReCapi={rcpu,rmem,rsto……}代表服务器节点i的剩余资源能力,其资源类型分别为CPU,内存,存储资源等;i代表服务器节点i在运行状态的能耗,Ni.c、Ni.mem和Ni.sto分别代表服务器节点i的CPU资源、内存资源以及存储资源总量;ReBWi,j代表服务器节点i,j之间的剩余带宽。
虚拟网络拓扑上承载着各个任务,任务就是虚拟网络拓扑中的虚拟机。将任务之间的通信关系,即虚拟网络拓扑定义为无向带权图GT=(NT,ET),其中NT是边缘计算平台中任务的集合,ET代表各任务之间的通信链路关系集合。平台中的每一个任务都有唯一确定的编号i与之对应,i∈[0,|NT|-1]且ti∈NT,|NT|表示部署在平台中任务的个数;对于虚拟网络拓扑中任意不同的两任务节点i,j之间若存在链路关系,则将其表示为
Figure BDA0002665552490000052
|ET|代表边缘计算平台中各任务之间链路连接的总数量。考虑到真实情况下在,平台中的各任务状态的动态性,故在不同时刻各任务的资源需求也会发生一定的变化。在t时刻,任务节点ti所处的物理主机为ti.loc,边缘计算平台所能为其提供的CPU资源为ti.a(t),各任务所需求的CPU,内存,存储资源等资源的数量为集合Capi.r(t)={rcpu,rmem,rsto……},BWi,j代表任务i,j之间的通信带宽需求。
本发明任务迁移方法实际上是一种基于图着色的高效任务迁移算法GC-ETM,实现过程如算法1所示。首先,根据任务的初始部署情况,将各服务器按照资源使用情况分为hotspot节点、warmspot节点以及coldspot节点,并分别存入集合Hot、Warm和Cold中;然后利用Coloring算法进行物理网络拓扑的预处理,得到处理结果
Figure BDA0002665552490000053
接着利用UP算法对hotspot节点和coldspot节点进行短期内资源使用情况进行预测,确定是否该节点在一段时间内仍然“过载”或者“欠载”,进而确定该节点是否为需要进行迁移的hotspot节点或者coldspot节点。最后开始利用Decision-Making算法制定整体的迁移决策方案,在制定hotspot节点的迁移决策方案时,需要根据预测结果更新节点状态,并据此利用TaskChoose算法进行迁移任务的选择。
Figure BDA0002665552490000054
Figure BDA0002665552490000061
因此,整个算法可以分为物理网络拓扑的预处理、资源预测、待迁移任务的选择以及最终迁移决策的制定四个部分。下面对本发明这四个部分进行具体介绍。
(1)物理网络拓扑的预处理:物理网络拓扑的预处理过程实质是将物理网络拓扑转化为其完全图的结构,并按照一定的规则对其链路进行“着色”处理,以方便记录链路及其两端节点的状态;同时也能通过这种完全图的结构来对边缘计算平台上各服务器的资源情况进行实时的记录,避免了大规模的重复计算所造成时间上的浪费。考虑到在进行任务迁移时,为了使某一选定的任务的迁移开销最小,目标服务器以及迁移路径的选择过程需要进行大量重复的计算,给快速制定合理准确的迁移决策带来了很大的困难。实际应用中,迁移决策的响应时间过长会严重影响整个边缘计算平台的服务性能。因此,有效缩短制定迁移决策过程的时间是边缘计算平台中任务迁移问题的关键之一,本发明提出的图着色算法能够有效解决这一问题。
根据上述分析,若触发了迁移过程,在进行迁移决策制定的过程中,首先需要完成目标服务器的选择,再进行迁移路径的选择。为了较小迁移开销,在选定较小的由于在源服务器和目标服务器之间进行任务传输过程中,优先选择的是距离最短的路径进行传输。但这两部分选择过程需要进行所有可达路径的选择和比较,在最坏的情况下,源服务器可能和所有其他服务器都可达,但可能部分可达的目标服务器已经是hotspot节点,这部分计算不仅没有意义,而且无形的延长了制定迁移决策的时间。
在进行迁移过程中,每次制定迁移决策都会重复进行大量的路径长度计算,为了缩短这部分所需要的时间,提升边缘计算平台在任务迁移时的服务性能,考虑一种特殊的结构来对路径长度进行保存记录。由于任意两服务器节点之间是否可达的不确定性,为了避免存储冲突,对于有|NS|个服务器节点的边缘计算平台,采用|NS|个节点、
Figure BDA0002665552490000062
条边的带权完全图结构来对任意可达的两点之间的最短路径长度进行记录,即
Figure BDA0002665552490000063
过程,其中,NK代表边缘计算平台中服务器节点的集合,EK代表任意两节点之间的链路的集合,即各服务器之间都存在一个“虚拟的”通信关系;链路的权重是一个{dis,C}构成的二元组,dis代表通过Dijkstra(迪克斯特拉算法)算法计算出的两个节点之间的最短路径的长度,C代表该条路径上的最小信道容量Cmin,如果某两个服务器节点之间找不到可达路径,则其dis值为∞,C值为0。图2示出了根据本发明实施例一种边缘计算平台中任务迁移方法的物理网络拓扑转化过程示意图。
完全图结构避免了大量重复计算,提升了路径选择的速度,但选取目标服务器仍旧是一个需要贪心遍历的过程,其时间复杂度仍旧为
Figure BDA0002665552490000071
根据本发明实施例,本发明研究的边缘计算平台上的任务迁移问题中,假设资源类型是memory(内存)、storage(存储)和bandwidth(带宽)的资源充足,而资源使用阈值主要是由于CPU资源的限制。由此,hotspot节点出现的阈值是CPU资源利用率达到0.8;coldspot节点出现的阈值是CPU资源利用率不足0.2,介于二者之间的为CPU资源利用率适中的warmspot节点。为了解决目标服务器选取复杂度问题,本发明将所有的服务器节点按照其资源使用率情况,将coldspot节点、warmspot节点和hotspot节点分别存入cold、warm和hot三个集合中,根据本发明的假设可理解为,任务迁移过程应尽可能使hot集合和cold集合变为空集,而作为目标服务器的节点应优先从warm集合中进行选取。因此,为了提高目标服务器的选取速度,考虑对各集合中的元素进行标记处理,来减小寻找目标服务器时遍历的范围。
结合上述的
Figure BDA0002665552490000072
完全图结构,对其上的链路进行涂色处理。整个预处理过程如算法2所示,对于两端节点都是hotspot的链路或者dis值为∞的链路,将其涂色为red;对于一个节点是hotspot或者coldspot,另一个节点是warmspot节点的链路,将其涂为green;对于一个节点是hotspot,另一个节点是coldspot节点的链路,将其涂为blue;对于两个节点都是coldspot节点的链路,将其涂为黄色;其余情况不进行涂色处理。图3示出了根据本发明实施例一种边缘计算平台中任务迁移方法中对物理网络拓扑进行预处理结果示意图。
Figure BDA0002665552490000073
Figure BDA0002665552490000081
在此部分中,为了尽可能减少迁移决策的时长,提升整个边缘计算平台的服务性能,采用完全图来记录整个边缘计算平台的资源使用情况以及各个服务器之间的通信情况。在进行迁移过程中,只需要更新
Figure BDA0002665552490000082
的涂色结果即可完成链路关系以及节点状态的记录,省去了迁移过程中的大量重复计算所造成的时间上的浪费,极大的缩短了迁移决策所需的时间。此部分整体的时间复杂度为
Figure BDA0002665552490000083
而且在整个平台上的任务迁移过程中,物理网络拓扑只需要进行一次预处理的过程。
(2)短期内资源的预测:在实际的边缘计算平台中部署任务的资源需求量通常是不断变化的,这也导致了边缘计算平台上服务器的使用资源处于不断变化的状态。基于图着色的高效任务迁移算法主要是发现边缘计算平台中资源利用率较高的hotspot节点以及资源利用率较低的coldspot节点,并选取其中的任务进行迁移的机制。在进行资源利用率判断时,如果只是简单的在服务器资源使用量达到阈值上限或下限就将其认定为需要处理的hotspot节点或者coldspot节点则忽略了任务的动态性,将会导致大量服务器都被判定为hotspot节点,这也将带来大量的没有意义的任务迁移,造成了很大程度的资源浪费也严重影响了整个边缘计算平台的服务性能。
基于上述原因,算法在进行动态任务迁移时,引入了资源预测算法来配合迁移决策算法进行工作,以提高整个系统的服务质量。资源预测算法实现的前提是在边缘计算系统中部署任务是动态变化的,主要实现思路是对目前资源利用率达到上限或下限的服务器节点进行未来一段时间的资源使用情况预测,如果未来一段时间服务器上的任务对资源的需求量之和仍旧使服务器处于“过载”或“欠载”状态,才将此节点认定为hotspot节点或者coldspot节点,才能对此节点进行处理,开始相应的任务迁移操作。在基于图着色的高效任务迁移算法中,各数据中心为一系列任务按照其需求提供相应的计算资源。因此,服务器的资源使用情况主要是由部署在服务器上的任务的资源需求量决定的,所以在进行资源预测是可以通过预测服务器的资源使用情况来量化任务的资源需求情况。
根据本发明实施例,边缘计算平台中有|Ns|台服务器,用集合
Figure BDA0002665552490000091
来表示;每一个服务器实体都有s=<si,task,ccpu>来表示服务器节点si上部署的任务集合task以及其CPU资源使用量ccpu。相似地,用集合
Figure BDA0002665552490000092
来表示部署在边缘计算平台上的|NT|个任务,每一个任务实体都有唯一确定的t=<ti,rcpu>来表示任务i的CPU资源量。根据上文的定义,hotspot节点和coldspot节点的发现主要是对物理节点的计算资源利用率进行考量,因此在进行资源预测时需要对各时刻服务器上CPU资源使用率Ut(s)进行计算,时刻t的资源使用率可以表示为所用资源量与总资源量的比值,具体计算公式如下式所示:
Figure BDA0002665552490000093
其中,服务器所用资源量为部署在服务器上的任务的CPU需求量与服务器本身消耗的CPU资源之和。在对t时刻服务器s的资源使用量进行预测时,假设前n个被观测到的资源使用量U(t+1)-n(s),…,Ut(s)对资源预测器是已知的,资源预测器存在的目的是用前n个时刻的资源使用量的数据对在t+1时刻的资源使用情况进行预测。出于这种考虑,采用线性回归模型来对输入变量和输出变量之间的关系进行刻画和描述。在大规模任务和服务器存在的场景下,相比于其他资源预测方法,这种方法在时间复杂度上具有明显的优势,有利于快速确定hotspot节点和coldspot节点,也更有利于快速准确的制定迁移决策。
CPU使用量预测(Usage Prediction,UP)算法如算法3所示。可以将某个服务器的资源使用量情况近似为一条马尔可夫链,因此在进行预测时遵循的基本原则是下一时刻服务器CPU资源使用量只和当前时刻的使用量有关。所以服务器s在t+1时刻的资源使用量Ut+1(s)可由最近该服务器上的m(m<n)个时刻的资源使用情况U(s)=[1,U(t+1)-m(s),…,Ut(s)]T预测得到,具体的线性预测函数如下式所示:
Figure BDA0002665552490000094
其中,βi,i∈{0,…m}是由n个最近被观测到的资源使用量确定的回归系数;m+1是预测模型中回归器的大小。为了使模型能够更好的适应训练数据,上述公式中的回归模型是通过确定系数参数β=[β0,…,βm]T得到的;(m+1)维的向量可以利用最小二乘法来进行确定,具体如下式所示:
β←(XTX)-1XTy
其中,X是(n-m)×(m+1)的输入变量矩阵,y是(n-m)×1的输出向量。
Figure BDA0002665552490000101
在任务迁移过程中,只预测出下一时刻的资源使用情况还不能准确得到服务器在接下来一段时间内比较稳定的资源使用情况,因此本发明考虑进行k次预测来得到一组比较稳定的资源使用情况的变化趋势,为了在每一步预测过程中能够使平方误差最小,在资源预测器的实现上将上一次预测结果作为本次预测输入。对于一个资源利用率过高的服务器,资源预测器会对其进行k次资源预测,如果每次的预测结果都显示为“过载”,则判定为hotspot节点,需要进行部分任务的迁移操作,反之,则不被认定为hotspot节点;近似地,对于一个资源利用率过低的服务器,资源预测器也会对其进行k次资源预测,如果每次的预测结果不存在资源使用量量大的情况,则判定为coldspot节点,需要进行全部任务的迁移操作,反之,则不被认定为coldspot节点。短期内多次进行资源预测的MUP算法的具体实现过程如算法4所示。在这一过程中的时间复杂度为O(n·(m+k))。
Figure BDA0002665552490000102
Figure BDA0002665552490000111
(3)待迁移任务的选取:需要分别对coldspot节点和hotspot节点上的任务进行迁移。处理coldspot节点是为了关闭利用率较低的服务器节点以达到节约能耗的效果,处理hotspot节点主要是为了平衡整个边缘计算平台的计算压力。因此,在coldspot节点和hotspot节点上进行待迁移任务选择的关注点也有所差异。
对于hotspot节点h,一旦该节点被认定为“过载”的节点,其CPU资源的使用量就已经成为其处理任务的瓶颈。出于这一考虑,下一步需要选择运行在h节点上的部分任务进行迁移以降低资源负载。在选取待迁移任务时,遵循“最大资源温度”优先处理的原则。首先将所有物理节点按照各节点的温度值构成的集合T中的temperature值降序排列,在通过进行任务迁移来降低hotspot节点的负载过程中,优先处理temperature值较高的节点,主要原因如下:temperature值较高可以分为两种情况,一种是CPU资源需求量较大,此时需要迁移走部分虚拟机;另一种是内存或存储资源需求量比较大,优先处理能够有更大的可能在同一数据中心找到目标服务器,有效减少迁移过程中传输的数据量并缩短传输路径长度,从而降低传输时延。这两种情况下,通过迁移出部分虚拟机,都能够在一定程度上降低整个系统的SLA冲突。上述温度值的计算公式为:
Figure BDA0002665552490000112
其中,R表示边缘和中心服务器上的资源类型;r表示各服务器要考虑的资源类型的资源使用百分比;rt为迁移决策中心为各种资源设定的阈值上限;αi为每种资源类型所占的权重。
对于coldspot节点c,优先将temperature值最低的服务器优先处理。节点c在关闭进入sleep状态之前,需要将部署在节点c上的全部任务迁移至其它服务器,无需进行任务的选择;如果无法找到合适的warmspot节点,则保留原服务器处于active状态。
根据本发明实施例,在进行hotspot节点上任务选择时,考虑到有可能一个任务不能满足条件,需要迁移多个任务或者多个任务的组合才能够使迁移数据量最小。因此在这个过程中本发明主要是在某个hotspot节点上找出若干个任务,使这些任务的CPU请求量大于该节点上CPU的过载量CPU_over,同时使迁移的数据总量最少。在同一数据中心内发生的迁移,只需要传输内存数据;但跨数据中心发生的迁移,不仅要传输内存数据,还需要对存储数据进行传输。因此,将此问题描述为下式:
Figure BDA0002665552490000121
Figure BDA0002665552490000122
xi,yi∈{0,1}1≤i≤|NT|
其中,memi、stoi和CPUi分别对应于任务的内存数据大小、存储数据大小以及所需的CPU资源大小。当任务i被选择时xi=1,否则xi=0;当任务将要在不同的数据中心之间进行迁移时yi=1,否则yi=0。对于hotspot节点,在其上进行待迁移任务选择的算法即TaskChoose算法见算法5所示,任务迁移传输数据开销t[i,j]定义为在该服务器上CPU过载量为j时,从前i个任务中选择一个或不超过i的若干个,所能产生的最小的传输数据开销。因此,可以将此过程近似看成装箱问题。在这一过程中,当可选择任务只有任务n时,任务迁移传输数据开销t[n,j]的定义如下所示:
Figure BDA0002665552490000123
当存在其它任务可被选择时,即从前i个任务中选取j个任务来进行迁移,此时t[i,j]的定义如下所示:
Figure BDA0002665552490000124
Figure BDA0002665552490000125
Figure BDA0002665552490000131
算法5主要是通过采用动态规划的思想来得到待迁移任务的选择队列,即在task[]中标记为true的任务,具体的任务选择过程如算法5的7-14行所示,主要是在hotspot节点上选择任务迁移传输数据开销t[i,j]尽可能小的组合。当所选组合中包括任务i时,将相应的任务选择情况标记为true,并将其加入到任务选择队列。在这一过程中,每处理一个过载服务器,其算法的时间复杂度为O(n·m),其中n为该服务器上任务的总数量,m为在该服务器上CPU的过载量。
(4)迁移决策的制定:此部分将综合物理网络拓扑的预处理以及任务的选择,进行整个平台上任务迁移的决策,图4示出了根据本发明实施例一种边缘计算平台中任务迁移方法中迁移决策制定的示意性流程图。
优先处理Hot集合中的hotspot节点。“过载”服务器的处理程序应该重复执行直至Hot集合中的所有节点都被处理。如果服务器hi过载,下一步会选择部署在hi上的任务进行迁移。图5示出了根据本发明实施例一种边缘计算平台中任务迁移方法中hotspot节点任务迁移的基本规则示意图。在hotspot节点上进行任务迁移的基本规则是选出任务进行迁移,但不能产生新的hotspot节点。根据本发明实施例,待迁移的任务组合会由上文所述的算法5(TaskChoose算法)按照一定的“装箱”规则返回,选定任务ti之后,会根据预处理后的完全图
Figure BDA0002665552490000141
存储的信息,优先在距离较近的同一数据中心中寻找目标warmspot节点,其次是跨数据中心的warmspot节点,即先进行与hi相连的green颜色的边的判断;如果没有可用的warmspot节点作为目标服务器,则先后依次在同一数据中心和不同的数据中心中选择coldspot节点,即对
Figure BDA0002665552490000142
中与hi相连的blue颜色的边的判断;如果没有可用的coldspot节点,则通过对
Figure BDA0002665552490000143
中与hi相连的yellow颜色的边来进行遍历以寻找目标服务器,并将选定的服务器的状态变为active。在寻找目标服务器的过程当中,无论是与源服务器相连的何种颜色的边,dis的大小是决定是否被选定作为目标服务器的关键因素,也就是说,在各种颜色的边的遍历过程中,CPU资源能够满足条件的且距离hi最短的节点将作为目标节点,之后进行Hot集合和ti.loc值的更新,并更新与hi以及目标服务器相连的链路的颜色。
当Hot集合为空时,开始处理Cold集合中的coldspot节点。与hotspot节点的处理类似,“欠载”服务器的处理程序应该重复执行直至Cold集合中的所有节点都被处理。如果服务器ci欠载,无需进行任务的选择,将会把ci上部署的全部任务迁移至其它服务器。图6示出了根据本发明实施例一种边缘计算平台中任务迁移方法中coldspot节点任务迁移的基本规则示意图,即其上的任务全部进行迁移,但不能产生新的hotspot节点。目标服务器的选择过程与处理hotspot节点类似,依次对与ci相连的green颜色的边进行遍历,如果能够找到符合CPU资源要求的目标节点,则将ci上的任务迁移至该服务器,进行Cold集合和ci.loc值的更新,并更新与ci以及目标服务器相连的链路的颜色。如果不能找到合适的warmspot节点,将保持ci节点的active状态不变。
根据本发明实施例,待迁移任务主要是hotspot节点过载的任务,以及coldspot节点上的全部任务。前者任务迁移主要是为了提升整个边缘计算平台的服务性能,实现任务在整个平台上的均匀分配并在一定程度上减小SLAV;后者任务迁移主要是将服务器上数量不多的任务迁移到其他服务器,空出整个服务器上的资源,使服务器的状态变为休眠状态以节约能耗。任务迁移的目标服务器只要是能继续部署其他任务的warmspot节点,当无法找到合适的warmspot节点时,选择合适的coldspot节点作为目标服务器或者保持coldspot节点的active状态不变。具体的迁移决策算法如算法6所示。
Figure BDA0002665552490000144
Figure BDA0002665552490000151
在上述算法6即Decision-Making算法中,2到16行主要是解决hotspot节点上的任务迁移问题,17到27行主要是解决coldspot节点上的任务迁移问题。在算法6中,check_edge()函数主要是实现在完全图
Figure BDA0002665552490000152
中进行迁移路径的搜索。在物理网络拓扑的预处理过程中对完全图进行着色,并且对其路径进行搜索,得到了可达的两个节点之间的最短路径。在check_edge()中进行路径搜索时,按照上述规则,hotspot节点上任务进行目标服务器选择时依次选择颜色为green、blue、yellow按照路径长度递增的顺序依次来进行搜索,一旦找到剩余资源量满足要求的目标服务器,即可返回搜索结果;coldspot节点上任务进行目标服务器选择时只需选择颜色为green的边按照路径长度递增的顺序依次来进行搜索,一旦找到剩余资源量满足要求的目标服务器,即可返回搜索结果。在这一过程当中,算法6的时间复杂度为O(|NS|·|NVM|,其中,|NVM|为待处理服务器上任务的数量。
具体实施例一
首先,使用BRITE拓扑生成器依次生成在小规模、中规模以及大规模任务对应的虚拟网络拓扑,节点数量分别为百级、千级和万级;然后,虚拟网络拓扑中各参数说明如表1所示,Pc、Pu、Pr和Pk分别对应于任务的创建、更新、稳定运行以及消亡的概率。
表1虚拟网络拓扑实验参数表
Figure BDA0002665552490000161
接着,构建用于小规模任务处理的物理网络拓扑,其服务器总量为50台,服务器资源量如表2所示。CPUC、CPUe分别对应云中心服务器和边缘服务器的CPU资源量;MemC、Meme分别对应云中心服务器和边缘服务器的内存资源量;StoC、Stoe分别对应云中心服务器和边缘服务器的存储资源量;云中心服务器之间、云边之间以及边缘服务器之间的链路带宽分别对应c-c、c-e和e-e。
表2小规模任务迁移实验服务器资源表
Figure BDA0002665552490000162
Figure BDA0002665552490000171
接着,构建服务器总量为200台,其网络拓扑结构中链路带宽与小规模相同,各种资源总量为小规模的3倍的用于中规模任务处理的物理网络拓扑;最后,构建服务器总量为1000台,其网络拓扑结构中链路带宽与小规模相同,各种资源总量为小规模6倍的用于大规模任务处理的物理网络拓扑。
验证过程中需要比较以下指标:(1)能耗开销(Energy consumption,Ce),包括启动物理节点的能耗开销以及计算任务的开销。后者和CPU的处理能力呈线性相关,由于这部分开销并不会伴随系统中任务的迁移发生变化,因此,能耗开销部分只考虑在系统中启动物理节点的开销。能耗开销的定义如下:
Figure BDA0002665552490000172
Ej=∫(Pidle(j)+(Pmax(j)-Pidle(j))·uj(t))dt
Figure BDA0002665552490000173
其中,ej∈{0,1},当物理节点处于active状态时,ej=1;当物理节点处于sleep状态时,ej=0;Pmax和Pidle分别对应于服务器的CPU资源使用量为100%和0%时的能耗开销;ui(t)代表在t时刻,服务器节点i的资源利用率;1{·}为Iverson括号,当条件满足时其值为1,否则为0。
(2)迁移开销(Migration cost,Cm),主要指任务在迁移过程中的开销,由于任务在平台中的迁移会造成一定的时延,与之相比,迁移决策的时间相对较短,因此,迁移开销主要体现在任务在不同物理主机之间进行传输所带来的时延。用如下所示的香农-哈特利定律(Shannon-Hartley Theorem)公式来量化信道容量:
Figure BDA0002665552490000174
其中,C代表在迁移过程中的信道容量;B代表网络传输带宽,即
Figure BDA0002665552490000175
Figure BDA0002665552490000176
为信噪比。由于边缘计算平台中的任务迁移需要在分散的数据中心进行,因此任务在不同物理主机之间进行传输时,既有内存数据的迁移,也有存储数据的迁移。因此通过时间量化的迁移开销如下所示:
Figure BDA0002665552490000177
其中,mem为传输任务的内存数据的大小;sto为存储数据的大小;dis代表在边缘计算平台上待迁移任务从源服务器到目的服务器之间的距离。当任务在同一数据中心进行迁移时,其传输的数据量只有内存数据;当在不同的数据中心之间进行迁移时,在传输内存数据的同时要传输相应的存储数据。
(3)通信开销(Communication cost,Cc),用整个边缘计算平台上的通信等待时延来对通信开销进行量化,通信等待时延可以用服务等级协议(SLAV)来进行衡量。根据本发明实施例,SLA冲突主要是由于任务对资源的需求量大于平台所能提供的资源量而引发的,因此,SLAV的量化公式如下所示:
Figure BDA0002665552490000181
可以用SLAV来衡量通信延迟的原因具体如下:如果不存在SLA冲突,则该任务需求的资源r(t)和平台为其分配的资源a(t)相等,即SLAV=0。通常来说,在边缘计算平台中,在正式处理任务请求之前,平台会为每一个任务预先分配一定量的CPU资源。假设在时间t,某任务节点ti的瞬时资源需求量为均值是ri的随机变量Xi。为了避免SLA冲突,提高平台的服务质量,平台会分配比Xi稍大的资源量,假设分配的资源是Xii.因此各任务因等待足够的CPU资源而被耽搁的期望如下所示:
Figure BDA0002665552490000182
由于平台中各个任务的资源需求量是相互独立的,因此可以得到:
Figure BDA0002665552490000183
所以,边缘计算平台中的通信时延可以用SLAV来进行量化,相应地,本发明利用SLAV来量化系统中的通信开销。
(4)平均迁移开销:任务迁移总开销与迁移次数的比值。(5)综合开销:能耗开销、通信开销、以及迁移开销三者的综合开销。
针对静态任务迁移问题,将本发明方法与三个由传统方法演变为符合解决本发明技术问题的方法进行比较。图7示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移能耗开销对比结果图。由于在真实的边缘计算环境中,coldspot节点出现的频率相对不大,且在初始任务部署时使各服务器的资源得到了充分的利用,故能够关闭的coldspot节点数量相对较少。因此在静态任务迁移过程中各任务的能耗开销会区别不是十分明显,能耗开销在任务数量大于300后出现跳跃式增长是由于任务的部署方式决定了随着任务的增加,所用的服务器数量也会逐渐增多,也就是在400个任务时所用服务器数量大于300个任务时的数量,从而能耗开销增长较大。从图7中可以看出,本发明方法相对于其他方法在能耗开销上具有一定优势,主要是因为本发明方法将闲散资源得以充分利用,所用的服务器数量也就相应减少,能耗开销较之其他算法也会变低。图8示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移通信开销对比结果图。从图8中可以看出,当任务数量大于300时,本发明方法在降低通信开销方面具有较好的性能。主要是因为相对于其他方法,本发明方法在任务处理时,优先处理CPU使用率最高的任务,更能够优先降低较多的SLA冲突,从而减少通信开销。图9示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移迁移开销对比结果图。从图9中可以看出,本发明方法具有明显较小的迁移开销。相比于BGM-BLA算法和AVMM算法,本发明方法在传输数据量上进行了更多的考虑;本发明方法和VMCUP-M算法都同时处理hotspot节点和coldspot节点,但本发明方法明显优于后者,主要是在迁移任务选择过程中,本发明方法具备一定的优势,选出的迁移任务总的数据传输量较小,从而使迁移开销最小。图10示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移平均迁移开销对比结果图。从图10中可以看出,在迁移开销比较的结果中,相比其他三种方法,随着任务数量的增多,BGM-BLA方法的迁移开销增大较为明显,主要是因为在算法的实现过程中,随着任务的增多,遗传算法在处理具体的迁移任务过程中,会产生更多次数的迁移以寻求最优的迁移方案,因此,比较平均迁移开销,即计算在边缘计算平台中,发生一次迁移所产生的开销也是有必要的。从图10中可以看出本发明方法在总开销较低的三种方法中,具有较小的平均迁移开销。图11示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模静态任务迁移综合开销对比结果图。从图11中可以看出,综合考虑能耗、通信以及迁移三者的综合影响,综合开销的结果表明本发明方法在任务数量大于300时,相比BGM-BLA方法、AVMM方法以及VMCUP-M方法,明显具有较小的总开销。因此通过以上可以证明,本发明方法在解决边缘计算平台上的静态任务迁移问题具有良好的性能优势。
具体实施例二
针对动态任务迁移问题,将本发明方法与两个由传统方法演变为符合解决本发明技术问题的方法进行比较。
(一)小规模动态任务迁移
图12示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移能耗开销对比结果图。从图12中可以看出,在进行小规模动态任务迁移时,相比于静态方法,本发明方法具有更明显的优势,主要是任务状态变化时,其资源需求量可能减小,使相应服务器变为了可以进行关闭的coldspot节点,相应的能耗开销就会降低。图13示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移通信开销对比结果图。从图13中可以看出,相比于VMCUP-M算法,本发明方法具有明显较小的通信开销。在任务数量为100-700时,其通信开销与AVMM算法的通信开销接近,而在任务数量增大时略高于AVMM算法主要是因为前两个算法存在着资源预测的过程,SLA冲突的处理相对不够及时;另一方面主要是因为AVMM算法优先迁移通信需求较大的任务,因此会有较小的通信开销,但本发明方法与AVMM算法的差距相对较小。图14示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移迁移开销对比结果图。从图14中可以看出,AVMM算法由于没有预测过程,相比本发明方法会发生更多的迁移,相应的迁移开销也会增大;而在任务数量在400-800之间时,VMCUP-M的性能较差主要是由于资源预测的误差导致迁移开销增大。因此,可以证明本发明方法具有较小的迁移开销,同时也从一个侧面反映了本发明方法中资源预测函数相对来说具有较高的准确率。图15示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移平均迁移开销对比结果图。从图15中可以看出,本发明方法在平均迁移开销上相比AVMM和VMCUP-M方法具有较为明显的优势。也能从一定角度上证明,本发明方法通过准确的资源预测减少了整个迁移过程中的迁移次数。图16示出了根据本发明实施例一种边缘计算平台中任务迁移方法的小规模动态任务迁移综合开销对比结果图。从图16中可以看出,本发明方法比AVMM和VMCUP-M方法具有较小的综合开销,证明了本发明方法在处理小规模动态任务迁移问题时的高效性。
(二)中规模动态任务迁移
图17示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移能耗开销对比结果图。从图17中可以看出,在处理中规模任务动态任务迁移问题时,本发明方法能够通过处理coldspot节点,在一定程度上降低能耗开销。由于任务部署过程中服务器数量差异较大,在处理中规模任务动态任务迁移问题时,相比于不进行coldspot节点处理的AVMM方法和进行coldspot节点处理的VNCUP-M算法,本发明方法具有最小的能耗开销。图18示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移通信开销对比结果图。从图18中可以看出,在处理中规模动态任务迁移问题时,与小规模的结果类似,本发明方法的通信开销与AVMM方法较为接近,明显低于VNCUP-M算法。证明本发明方法在降低通信开销方面表现较好。图19示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移迁移开销对比结果图。从图19中可以看出,在处理中规模动态任务迁移问题时,本发明方法的迁移开销明显低于AVMM方法和VNCUP-M算法。VNCUP-M算法和GC-ETM算法都会对coldspot节点进行处理,相应的迁移任务数量可能会增大,但本发明方法在进行迁移任务选择时,尽量减少传输数据量以及迁移路径长度,使其在整体迁移开销方面仍具有明显优势。图20示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移平均迁移开销对比结果图。从图20中可以看出,在处理中规模动态任务迁移问题时,本发明方法的平均迁移开销明显低于AVMM方法和VNCUP-M算法。也能从一个侧面反映出本发明方法在充分利用零散的服务器资源的同时,迁移次数的增加值仍旧在一个合理范围内。图21示出了根据本发明实施例一种边缘计算平台中任务迁移方法的中规模动态任务迁移综合开销对比结果图。从图21中可以看出,通过对中规模动态任务迁移的实验,本发明方法的综合开销明显低于AVMM方法和VNCUP-M算法,因此综合上述验证结果,可以证明本发明方法在解决中规模动态任务迁移问题时具有良好的性能。
(三)大规模动态任务迁移
图22示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移能耗开销对比结果图。从图22中可以看出,本发明方法和VMCUP-M方法通过处理coldspot节点能够有效降低系统的能耗开销;而且本发明方法相比于VMCUP-M方法,其降低能效开销的效果更为明显。图23示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移通信开销对比结果图。从图23中可以看出,在处理大规模动态任务迁移问题时,与小、中规模的结果类似,本发明方法的通信开销与AVMM方法较为接近,明显低于VNCUP-M算法。可以证明本发明方法在降低通信开销方面具有一定的性能优势。图24示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移迁移开销对比结果图。从图24中可以看出,通过比较分析,可以发现本发明方法具有最小的迁移开销。证明了本发明方法在降低迁移开销方面具有较为显著的性能优势。图25示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移平均迁移开销对比结果图。从图25中可以看出,在处理大规模动态任务迁移问题时,与中规模任务迁移问题相似,本发明方法的平均迁移开销明显低于AVMM方法和VNCUP-M算法。图26示出了根据本发明实施例一种边缘计算平台中任务迁移方法的大规模动态任务迁移综合开销对比结果图。从图26中可以看出,通过对大规模动态任务迁移的实验,本发明方法的综合开销明显低于AVMM方法和VNCUP-M算法,因此综合上述验证结果,可以证明本发明方法在解决大规模动态任务迁移问题时仍然具有良好的性能。
分别通过小规模、中规模以及大规模任务迁移实验对本发明方法进行验证,验证结果表明,本发明方法能够解决边缘计算平台上的动态任务迁移问题,并且在各种任务规模下性能方面都具有一定的优势。同时,本发明方法在解决动态任务迁移和静态任务迁移方面都具有较好的迁移效果,也在一定程度上说明了本发明方法在解决任务迁移问题时的普适性。

Claims (10)

1.一种边缘计算平台中任务迁移方法,其特征在于,包括,
步骤一、获取物理网络拓扑、虚拟网络拓扑以及各任务所在服务器位置;其中,物理网络拓扑为边缘计算平台中的底层服务器网络拓扑,虚拟网络拓扑为任务之间的通信关系;
步骤二、将物理网络拓扑各服务器节点按照CPU资源利用率分为hotspot节点、warmspot节点和coldspot节点;其中,满足资源利用率达到或超过上限的节点为hotspot节点;满足CPU资源利用率低于下限的节点为coldspot节点;满足CPU资源利用率高于下限且未达到上限的节点为warmspot节点;
步骤三、对所述物理网络拓扑进行预处理,包括将物理网络拓扑转化为完全图结构,并按照规则对完全图结构中任意两个服务器节点之间的链路进行涂色处理;
步骤四、对hotspot节点和coldspot节点分别进行短期内资源利用率预测,将预测结果为未来短期内资源利用率达到或超过上限的节点确定为需要进行任务迁移的hotspot节点;将预测结果为未来短期内资源利用率低于下限的节点确定为需要进行任务迁移的coldspot节点;
步骤五、对需要进行任务迁移的hotspot节点和coldspot节点分别进行任务迁移,获取迁移后各任务所在服务器位置。
2.根据权利要求1所述一种边缘计算平台中任务迁移方法,其特征在于,步骤二中CPU资源利用率上限为0.8,下限为0.2。
3.根据权利要求1所述一种边缘计算平台中任务迁移方法,其特征在于,步骤三中按照规则对完全图结构中任意两个服务器节点之间的链路进行涂色处理的所述规则为,对于两端节点都是hotspot节点的链路或者dis值为∞的链路,将其涂色为红色;对于一端节点是hotspot节点或者coldspot节点、另一端节点是warmspot节点的链路,将其涂为绿色;对于一端节点是hotspot节点、另一端节点是coldspot节点的链路,将其涂为蓝色;对于两端节点都是coldspot节点的链路,将其涂为黄色;其余情况不进行涂色处理;其中,dis表示通过Dijkstra(迪克斯特拉)算法计算出的两个节点之间最短路径的长度,dis值为∞表示两个服务器节点之间没有可达路径。
4.根据权利要求1所述一种边缘计算平台中任务迁移方法,其特征在于,步骤四中对hotspot节点和coldspot节点分别进行短期内资源利用率预测的方法为通过线性回归模型对服务器节点的CPU资源利用率进行预测,线性回归预测函数为:
Figure FDA0002665552480000011
其中,s表示服务器节点;Ut+1(s)表示服务器节点在t+1时刻的资源利用率;βi,i∈{0,…m}表示由n个最近被观测到的资源使用量确定的线性回归系数,n>m;m+1是预测模型中回归器的大小。
5.根据权利要求1所述一种边缘计算平台中任务迁移方法,其特征在于,步骤四中对hotspot节点和coldspot节点分别进行短期内资源利用率预测的方法为通过线性回归模型对服务器节点的CPU资源利用率进行多次预测以得到稳定的资源使用情况。
6.根据权利要求1所述一种边缘计算平台中任务迁移方法,其特征在于,步骤五中对需要进行任务迁移的hotspot节点进行任务迁移包括首先对hotspot节点依据使任务迁移传输数据开销t[i,j]最小的原则选择待迁移任务,然后根据步骤二中获得的涂色后完全图结构为待迁移任务选择合适的迁移目标服务器以及迁移路径;其中,任务迁移传输数据开销t[i,j]为在服务器节点上CPU资源利用率超过上限的值为j时,从任务i中选择一个或不超过i的若干个,所能产生的最小的传输数据开销。
7.根据权利要求6所述一种边缘计算平台中任务迁移方法,其特征在于,任务迁移传输数据开销t[i,j]的计算公式为:1)当待迁移任务只有一个任务时,任务迁移传输数据开销t[i,j]为:
Figure FDA0002665552480000021
2)当待迁移任务包含多个任务时,任务迁移传输数据开销t[i,j]为:
Figure FDA0002665552480000022
其中,CPUi表示所需的CPU资源大小;memi表示任务i的内存数据大小。
8.根据权利要求6所述一种边缘计算平台中任务迁移方法,其特征在于,对于hotspot节点为待迁移任务选择合适的迁移目标服务器的顺序为,依次选择涂色后完全图结构中颜色为绿色、蓝色、黄色的边并按照路径长度递增的顺序进行搜索选择。
9.根据权利要求1所述一种边缘计算平台中任务迁移方法,其特征在于,步骤五中对需要进行任务迁移的coldspot节点进行任务迁移包括根据步骤二中获得的涂色后完全图结构为待迁移任务选择合适的迁移目标服务器以及迁移路径;其中,选择合适的迁移目标服务器的顺序为,选择涂色后完全图结构中颜色为绿色的边并按照路径长度递增的顺序进行搜索选择。
10.根据权利要求1所述一种边缘计算平台中任务迁移方法,其特征在于,步骤五中对需要进行任务迁移的hotspot节点和coldspot节点分别进行任务迁移的顺序为,对于所有hotspot节点,任务迁移的顺序为按照节点温度值降序进行迁移处理;对于所有coldspot节点,任务迁移的顺序为按照节点温度值升序进行迁移处理。
CN202010917559.6A 2020-09-03 2020-09-03 一种边缘计算平台中任务迁移方法 Active CN112087509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010917559.6A CN112087509B (zh) 2020-09-03 2020-09-03 一种边缘计算平台中任务迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010917559.6A CN112087509B (zh) 2020-09-03 2020-09-03 一种边缘计算平台中任务迁移方法

Publications (2)

Publication Number Publication Date
CN112087509A true CN112087509A (zh) 2020-12-15
CN112087509B CN112087509B (zh) 2022-04-19

Family

ID=73731419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010917559.6A Active CN112087509B (zh) 2020-09-03 2020-09-03 一种边缘计算平台中任务迁移方法

Country Status (1)

Country Link
CN (1) CN112087509B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433858A (zh) * 2020-12-17 2021-03-02 济南浪潮数据技术有限公司 一种负载分配方法、装置、设备及可读存储介质
CN112511649A (zh) * 2020-12-21 2021-03-16 新疆品宣生物科技有限责任公司 多接入边缘计算方法及设备
CN112788109A (zh) * 2020-12-29 2021-05-11 哈尔滨工业大学 一种基于移动预测和多层服务部署的服务迁移方法和系统
CN113037805A (zh) * 2021-05-11 2021-06-25 福州大学 面向移动边缘计算的多实例微服务迁移方法
CN113612650A (zh) * 2021-06-07 2021-11-05 北京东方通科技股份有限公司 一种对边缘计算设备的监测方法
CN113747554A (zh) * 2021-08-11 2021-12-03 中标慧安信息技术股份有限公司 边缘计算网络任务调度与资源分配方法和装置
CN114172817A (zh) * 2021-10-18 2022-03-11 中标慧安信息技术股份有限公司 一种边缘计算的虚拟网络功能部署方法与系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385398A (zh) * 2016-01-12 2017-02-08 涂旭平 实时视频转码任务无缝迁移方法
CN106658598A (zh) * 2016-12-08 2017-05-10 南京邮电大学 一种基于内容缓存和网络状态感知的业务迁移方法
CN106844051A (zh) * 2017-01-19 2017-06-13 河海大学 一种边缘计算环境中功耗优化的负载任务迁移算法
CN107197233A (zh) * 2017-06-23 2017-09-22 安徽大学 基于边缘计算模型的监控视频数据质量评测方法及装置
CN107846704A (zh) * 2017-10-26 2018-03-27 北京邮电大学 一种基于移动边缘计算的资源分配及基站服务部署方法
CN108174421A (zh) * 2018-03-05 2018-06-15 重庆邮电大学 一种5g网络中基于mec辅助的数据分流方法
WO2019191108A1 (en) * 2018-03-30 2019-10-03 Intel Corporation Multi-access management services packet recovery mechanisms
EP3605329A1 (en) * 2018-07-31 2020-02-05 Commissariat à l'énergie atomique et aux énergies alternatives Connected cache empowered edge cloud computing offloading

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385398A (zh) * 2016-01-12 2017-02-08 涂旭平 实时视频转码任务无缝迁移方法
CN106658598A (zh) * 2016-12-08 2017-05-10 南京邮电大学 一种基于内容缓存和网络状态感知的业务迁移方法
CN106844051A (zh) * 2017-01-19 2017-06-13 河海大学 一种边缘计算环境中功耗优化的负载任务迁移算法
CN107197233A (zh) * 2017-06-23 2017-09-22 安徽大学 基于边缘计算模型的监控视频数据质量评测方法及装置
CN107846704A (zh) * 2017-10-26 2018-03-27 北京邮电大学 一种基于移动边缘计算的资源分配及基站服务部署方法
CN108174421A (zh) * 2018-03-05 2018-06-15 重庆邮电大学 一种5g网络中基于mec辅助的数据分流方法
WO2019191108A1 (en) * 2018-03-30 2019-10-03 Intel Corporation Multi-access management services packet recovery mechanisms
EP3605329A1 (en) * 2018-07-31 2020-02-05 Commissariat à l'énergie atomique et aux énergies alternatives Connected cache empowered edge cloud computing offloading

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王妍,韩笑,曾辉,刘荆欣,夏长清: "边缘计算环境下服务质量可信的任务迁移节点选择", 《计算机科学》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433858A (zh) * 2020-12-17 2021-03-02 济南浪潮数据技术有限公司 一种负载分配方法、装置、设备及可读存储介质
CN112511649A (zh) * 2020-12-21 2021-03-16 新疆品宣生物科技有限责任公司 多接入边缘计算方法及设备
CN112788109A (zh) * 2020-12-29 2021-05-11 哈尔滨工业大学 一种基于移动预测和多层服务部署的服务迁移方法和系统
CN112788109B (zh) * 2020-12-29 2022-04-19 哈尔滨工业大学 一种基于移动预测和多层服务部署的服务迁移方法和系统
CN113037805A (zh) * 2021-05-11 2021-06-25 福州大学 面向移动边缘计算的多实例微服务迁移方法
CN113037805B (zh) * 2021-05-11 2022-07-08 福州大学 面向移动边缘计算的多实例微服务迁移方法
CN113612650A (zh) * 2021-06-07 2021-11-05 北京东方通科技股份有限公司 一种对边缘计算设备的监测方法
CN113612650B (zh) * 2021-06-07 2022-09-30 北京东方通科技股份有限公司 一种对边缘计算设备的监测方法
CN113747554A (zh) * 2021-08-11 2021-12-03 中标慧安信息技术股份有限公司 边缘计算网络任务调度与资源分配方法和装置
CN114172817A (zh) * 2021-10-18 2022-03-11 中标慧安信息技术股份有限公司 一种边缘计算的虚拟网络功能部署方法与系统

Also Published As

Publication number Publication date
CN112087509B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN112087509B (zh) 一种边缘计算平台中任务迁移方法
CN108260169B (zh) 一种基于QoS保障的服务功能链动态部署方法
CN110275758B (zh) 一种虚拟网络功能智能迁移方法
CN111694636B (zh) 一种面向边缘网络负载均衡的电力物联网容器迁移方法
CN113490254B (zh) 一种基于联邦学习双向gru资源需求预测的vnf迁移方法
CN108182105B (zh) 基于Docker容器技术的局部动态迁移方法及控制系统
CN110769059A (zh) 一种面向区域性边缘计算物联网的协作服务部署与业务分配方法
WO2019134197A1 (zh) 基于朴素贝叶斯分类器的最小负载路由选择方法及系统
CN106775949B (zh) 感知复合应用特征与网络带宽的虚拟机在线迁移优化方法
CN111538570A (zh) 一种面向节能和QoS保障的VNF部署方法及装置
WO2020134133A1 (zh) 一种资源配置方法、变电站及计算机可读存储介质
CN114595049A (zh) 一种云边协同任务调度方法及装置
CN104104621A (zh) 一种基于非线性降维的虚拟网络资源动态自适应调节方法
Wen et al. Load balancing job assignment for cluster-based cloud computing
CN110597598B (zh) 一种云环境中的虚拟机迁移的控制方法
Chai et al. A parallel placement approach for service function chain using deep reinforcement learning
CN114780247A (zh) 一种流速和资源感知的流应用调度方法及系统
Suzuki et al. Multi-agent deep reinforcement learning for cooperative offloading in cloud-edge computing
CN114205317A (zh) 基于sdn与nfv的服务功能链sfc资源分配方法及电子设备
WO2021115082A1 (zh) 作业调度方法以及作业调度装置
CN110308965B (zh) 云数据中心的基于规则的启发式虚拟机分配方法及系统
Zhang Reliable virtual network mapping algorithm with network characteristics and associations
CN116954905A (zh) 一种面向Flink大数据的任务编排与迁移方法
CN115809148A (zh) 一种面向边缘计算的负载均衡任务调度方法及装置
CN111245701A (zh) 一种基于最大加权匹配的链路优先虚拟网络映射方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant