CN116132439B - 基于雾节点协作的异质资源协同调度方法、系统和装置 - Google Patents
基于雾节点协作的异质资源协同调度方法、系统和装置 Download PDFInfo
- Publication number
- CN116132439B CN116132439B CN202211682292.2A CN202211682292A CN116132439B CN 116132439 B CN116132439 B CN 116132439B CN 202211682292 A CN202211682292 A CN 202211682292A CN 116132439 B CN116132439 B CN 116132439B
- Authority
- CN
- China
- Prior art keywords
- fog
- content
- node
- user
- version
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 11
- 238000013468 resource allocation Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 abstract description 18
- 230000005540 biological transmission Effects 0.000 description 11
- 238000009826 distribution Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000009977 dual effect Effects 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/101—Server selection for load balancing based on network conditions
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了基于雾节点协作的异质资源协同调度方法、系统和装置,属于无线通信领域。本发明方法通过各个雾节点之间协作缓存和协作转码,实现了各个雾节点间分配的异质资源共享,同时能够实现流量均衡,在更好地满足用户不同的QoE需求的前提下,提升了雾计算网络的性能,有效降低了网络时延,提高了资源利用率;通过本发明方法构建的异质资源调度系统,相邻的雾节点在面向雾计算平台的资源编排器的统筹协调下能够相互协作,当不同雾节点所分配的异质资源与其所关联的用户的请求到达率不匹配时,可以通过请求转发来实现协作缓存和协作转码,实现了各个雾节点间分配的异质资源共享和流量均衡,与此同时,在有限的内存下增加了缓存内容的多样性。
Description
技术领域
本发明属于无线通信技术领域,更具体地,涉及基于雾节点协作的异质资源协同调度方法、系统和装置。
背景技术
随着计算密集型和时延敏感型业务需求持续高速增长,以及垂直行业典型应用在各种移动设备上的无处不在的渗透,吸引了海量移动设备接入无线网络,伴随而来的是数据流量的指数级增长。由于设备异构和网络环境的动态变化,需要根据用户不同的需求提供定制化的服务,尽管可以通过回传网络从远程数据中心获取特定内容,但伴随而来的是长距离和链路拥塞导致的服务时延瓶颈,与此同时不可避免地带来大量的计算和传输能耗。
鉴于此,近年来提出了算力网络技术,实现泛在计算互联,通过云、网、边高效协同,以提高网络资源、计算资源利用效率。基于通信、计算、存储异质资源之间的折衷互补特性,通过将用户请求卸载到网络边缘来避免回程链路的高延迟和低可靠性。此外,由于网络中的移动数据流量主要来源于一些热点内容的重复下载请求,因此事先将某些流行内容存储在边缘侧能够有效降低内容传输时延。在实际场景下,由于信道条件差或者存储有限等原因,用户可能更偏好某种比特率版本的内容,为了满足差异化的QoE需求,网络边缘应当按需将视频内容转换成不同的比特率版本,以适应不同的用户设备。
现有算力网络仅根据在网络边缘提供服务所需的资源数量对边缘侧的各个雾节点分配各类异质资源。随着接入网络的用户设备的增多,以及各类新兴应用提出了更低延迟和更高可靠性的要求,现有分配方法可能带来成本过高和资源浪费的问题,从而影响用户体验。如何利用通信、计算、缓存之间存在折衷互补关系,根据差异化的用户需求为网络边缘各个雾节点分配各类异质资源,有效缓解单一类型资源短缺带来的性能瓶颈,是一个极具挑战性的问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了基于雾节点协作的异质资源协同调度方法、系统和装置,其目的在于利用雾节点之间的协作缓存和协作计算,以及异质资源的折衷互补关系,优化用户请求服务的平均时延,在满足用户差异化QoE需求的基础上提升算力网络的性能。
为实现上述目的,按照本发明的一个方面,提供了一种基于雾节点协作的异质资源协同调度方法,包括:
S1.将到达各个雾节点的用户请求划分为本地缓存命中、协作缓存命中、本地转码命中、协作转码命中和未命中五个子队列,对到达不同雾节点的用户请求建立排队模型;其中,本地缓存命中是指当前雾节点缓存有用户请求内容的指定版本,由当前雾节点直接提供给用户;协作缓存命中是指达到到达当前雾节点的用户请求内容的指定版本缓存在其它雾节点,由其他雾节点提供给用户;本地转码命中是指当前雾节点缓存有用户请求内容的高比特率版本,通过计算转码提供用户所需版本;协作转码命中是指达到到达当前雾节点的用户请求内容的高比特率版本缓存在其它雾节点,由其他雾节点转码后提供给用户;未命中是指用户请求内容的指定比特率版本或者更高比特率版本在各个雾节点都没有缓存,通过远程数据中心获取请求内容;
S2.基于排队模型计算用户请求平均时延,以各个雾节点之间的异质资源分配策略作为优化对象,以最小化到达所有雾节点的用户请求的平均时延作为目标函数,以异质资源限制作为约束条件,构建基于雾节点间协作的异质资源协同调度优化模型;
S3.求解上述优化模型,得到最小化用户请求平均时延及其对应的各雾节点间的异质资源分配策略,根据用户所需时延目标确定最终分配于各个雾节点的异质资源比例。
进一步地,所述基于雾节点间协作的异质资源协同调度优化模型为:
D为到达所有雾节点的用户请求的平均时延,为内容库,内容的版本库,/>为雾节点集群,ci(m,k)指示内容m是否在雾节点i中缓存,ci(m,k)=1表示内容m的版本k缓存在雾节点i,ci(m,k)=0表示内容m的版本k未缓存在雾节点i,S为内容大小,z为转码单位比特所需要的CPU周期数,Ci、Qi分别为雾节点i所分配的缓存资源、计算资源大小,Pr(m,k)表示用户请求第m个内容的第k个版本的概率,/>表示对随机变量求均值,λn为到达雾节点i的用户请求的到达率。
进一步地,到达所有雾节点的用户请求的总平均时延D计算表达式为:
其中,λi为雾节点i处的用户请求到达率,Di为雾节点i所关联用户请求的平均时延。
进一步地,所述方法还包括,如果某种资源存在稀缺,则以成本更低的方式选择其他类型的资源进行补偿。
进一步地,本地缓存命中、协作缓存命中、本地转码命中、协作转码命中和未命中五个子队列建模为M/M/1排队模型。
本发明还提供了一种基于雾节点协作的异质资源协同调度系统,包括:
用户终端层,包含随机接入网络的用户设备,通过无线链路向网络边缘的雾节点集群请求内容文件;
雾节点层,包括多个雾节点组成的集群以及资源编排器;各个雾节点间的异质资源采用上述基于雾节点协作的异质资源协同调度方法进行分配;一个雾节点对于同一内容至多只缓存该内容的一个版本,该内容其他版本的请求通过雾节点间协作或计算转码来服务;
当用户请求的内容缓存在雾节点时,若恰好是对应版本时,雾节点直接传输给用户;若只缓存有更高的版本内容,则雾节点进行计算转码后传输给用户;若相邻雾节点恰好缓存有对应版本的内容,则该节点直接将内容传输给请求用户,若相邻雾节点缓存有高版本内容,则在该节点处转码处理后传输给用户;否则,请求内容需从远程数据中心传输;
资源编排器,通过转发用户请求来协调相邻雾节点之间的协作缓存和协作转码,以共享分配的异质资源,同时实现流量均衡。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,,能够取得下列有益效果。
本发明方法通过各个雾节点之间协作缓存和协作转码,实现了各个雾节点间分配的异质资源共享,同时能够更好的实现流量均衡,在更好地满足用户不同的QoE需求的前提下,提升了雾计算网络的性能,有效降低了网络时延,提高了资源利用率,为算力网络中异质资源分配调度提供一种可行的思路。
通过本发明方法构建的的异质资源调度系统,相邻的雾节点在面向雾计算平台的资源编排器的统筹协调下能够相互协作,当不同雾节点所分配的异质资源与其所关联的用户的请求到达率不匹配时,可以通过请求转发来实现协作缓存和协作转码,实现了各个雾节点间分配的异质资源共享,同时能够更好的实现流量均衡,与此同时,在有限的内存下增加了缓存内容的多样性。
附图说明
图1为本发明实施例提供的基于雾节点协作的异质资源协同调度方法流程图;
图2为本发明实施例提供的基于ADMM的缓存策略制定的流程图;
图3为本发明实施例提供的基于雾节点协作的异质资源协同调度系统示意图;
图4为本发明实施例提供的一种基于雾节点协作的异质资源协同调度系统为用户提供服务的示意图;
图5为本发明实施例提供的基于ADMM的缓存算法收敛性能的仿真图。
图6为本发明实施例提供的最佳平均时延与网络异质资源的关系变化图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
首先,对本发明涉及的术语进行如下解释:
算力网络,是指一种在云、边、端之间按需分配和灵活调度计算资源、存储资源以及网络资源的新型信息基础设施。
网络边缘,是指网络的接入层(汇接层)。就是靠近用户端,用于汇聚用户网络(LAN)的网络层面。
协作缓存,是指在网络边缘多个基站形成基站集群,彼此之间可以通过有线链路将缓存的内容共享。
异质资源,是指为网络边缘处部署的边缘服务器集群所分配的不同类型的资源,包含通信、计算、缓存资源等。
雾计算,是指将数据、处理和应用程序集中在网络边缘的设备中,而不是全部保存在云端数据中心。
如图1所示,本发明公开了一种基于雾节点协作的异质资源协同调度方法,包括以下步骤:
S1.将到达各个雾节点的用户请求划分为本地缓存命中、协作缓存命中、本地转码命中、协作转码命中和未命中五个子队列,对到达不同雾节点的用户请求建立排队模型;其中,本地缓存命中是指当前雾节点缓存有用户请求内容的指定版本,由当前雾节点直接提供给用户;协作缓存命中是指达到到达当前雾节点的用户请求内容的指定版本缓存在其它雾节点,由其他雾节点提供给用户;本地转码命中是指当前雾节点缓存有用户请求内容的高比特率版本,通过计算转码提供用户所需版本;协作转码命中是指达到到达当前雾节点的用户请求内容的高比特率版本缓存在其它雾节点,由其他雾节点转码后提供给用户;未命中是指用户请求内容的指定比特率版本或者更高比特率版本在各个雾节点都没有缓存,通过远程数据中心获取请求内容;具体地,雾节点组成集群并且每个雾节点都分配了一定的通信、缓存、计算资源以支持数据传输、数据缓存和数据计算。对于每一个雾节点/>首先为其分配了一定通信带宽,用于从云端向边缘以及从边缘向用户提供内容传输服务,链路传输速率分别为Rb和Re。然后为其分配了一定的存储容量Ci,用于对事先缓存流行内容。另外,为了满足用户对不同分辨率格式的内容需求,需要为其分配一定的计算资源以在网络边缘实现自适应比特率流媒体技术,表示为Qi。雾节点之间通过高容量链路来进行协作内容缓存与内容转码,共同为区域内的随机到达的用户请求提供服务。
用户可以请求同一个内容的不同版本,其中内容库可以表示为用来表示由低到高排序的所有比特率版本。假设内容请求和版本请求相互独立,其中内容请求概率服从参数为α的Zipf分布,版本请求概率服从均匀分布。对于任意到达请求,该请求内容为第m个内容的第k个版本的概率为:
由于只有小部分内容的尺寸比较大,大多数内容的大小都是有限的,因此采用长尾式分布来描述内容大小分布,如用户请求内容的尺寸S服从指数分布,其均值为概率分布函数为f(S)。
假设ci(m,k)指示雾节点i中是否缓存内容(m,k),其中ci(m,k)=1表示内容m的第k个版本缓存在雾节点i,而ci(m,k)=0表示未缓存,通过制定缓存策略来优化网络边缘服务提供模型的平均时延。
为了提升缓存多样性进而保证用户时延,假设内容m在各基站最多只有一个版本被缓存,该内容的其他版本的请求通过基站间协作或者计算转码来服务,从而有:
考虑一个典型雾节点i,对于与其相连的任意用户的内容请求,根据雾节点集群是否缓存有相应内容,可以分别得到其通过不同方式获取服务的概率:
本地缓存命中率定义为当雾节点i请求内容(m,k)时,该内容缓存在雾节点i的概率,表示为:
协作缓存命中率定义为当雾节点i请求内容(m,k)时,该内容缓存在其他雾节点j的概率,其中表示为:
本地转码命中率定义为当雾节点i请求内容(m,k)时,该内容的任意高比特率版本缓存在雾节点i的概率,表示为:
协作转码命中率定义为当雾节点i请求内容(m,k)时,该内容的任意高比特率版本缓存在其他雾节点j的概率,其中表示为:
缓存错失率定义为当雾节点i请求内容(m,k)时,该内容的对应或者更高版本都没有缓存在网络边缘的概率,表示为:
对于典型雾节点i,用户请求到达过程服从参数为λi的平稳泊松过程。由于用户终端发送的请求信号尺寸较小,因此忽略了将请求信号从用户终端发送到基站,基站之间请求信号的传递,以及请求信号从基站发送到云数据中心的时延。
当用户请求到达关联雾节点后,在各个基站处构建多类处理器排队模型,并形成五个子队列:本地缓存命中、协作缓存命中、本地转码命中、协作转码命中和未命中。
对于雾节点i处的缓存命中队列,队列中的来自本雾节点的请求和来自其他雾节点的用户请求的服务时间都为从网络边缘到用户的传输时延,且服从指数分布,表示为
服务时间的均值表示为
其中,为雾节点i处缓存命中队列的服务提供率。
对于雾节点i处的转码命中队列,队列中的来自本雾节点的转码请求和来自其他雾节点的转码请求的服务时间都为计算转码时延与从网络边缘到用户的传输时延之和,且服从指数分布,表示为
其中,z为转码单位比特内容所需要的CPU周期数。
服务时间的均值表示为
其中,μc i为雾节点i处转码命中队列的服务提供率。
对于雾节点i的未命中队列,用户请求的服务时间为云端到网络边缘的传输时延和网络边缘到用户的传输时延,且服从指数分布,表示为
服务时间的均值表示为
其中,为雾节点i的未命中队列的服务提供率。
对于各个雾节点处的五个子队列,由于顾客请求的到达过程为泊松过程,服务时间服从指数分布,且不同顾客请求之间相互独立,则五个子队列都可以建模为M/M/1排队模型。
雾节点i处的缓存命中队列,转码命中队列,未命中队列的请求到达率分别表示为:
队列的流量强度定义为平均服务时间与平均到达时间的比值,雾节点i处总流量强度表示为:
为保证雾节点i处队列的稳定,需保证ρi<1,即有
对于与雾节点i相连的所有用户的内容请求,若请求的内容缓存在雾节点j,其中对应本地缓存命中请求或协作缓存命中请求,则所有在雾节点j处理的缓存命中请求需要一起排队,对应的平均响应时延为
若请求的内容的高比特率版本缓存在雾节点j,其中对应本地转码命中请求或协作转码命中请求,则所有在雾节点j处理的转码命中请求需要一起排队,对应的平均响应时延为
对于未命中的内容请求,所关联用户的平均响应时延表示为
对于雾节点i,所关联用户的内容请求平均响应时延为
所有雾节点关联用户的总平均时延为
算力网络通信、计算、存储异质资源协同调度策略需要满足以下通信、计算、缓存等不同类型资源的约束:
雾节点i缓存内容的大小不超过雾节点i的缓存资源:
单位时间内到达雾节点i的所有雾节点的转码请求所需计算资源不超过单位时间雾节点i所提供的CPU周期数:
内容m在各个雾节点最多只有一个版本被缓存,以有效利用缓存,提高内容多样性:
优化变量为二元决策变量:
算力网络通信、计算、存储异质资源协同调度优化问题可以表示为
S2.基于排队模型计算用户请求平均时延,以各个雾节点之间的异质资源分配策略作为优化对象,以最小化到达所有雾节点的用户请求的平均时延作为目标函数,以异质资源限制作为约束条件,构建基于雾节点间协作的异质资源协同调度优化模型;
该问题为整数非线性问题,通常为NP-hard。该问题通常需要整数时间才能求解,通常做法为将整数变量放松为连续变量的方法,放松后的连续变量表示在基站缓存内容的比例,即
将缓存策略变量用向量表示,为则所提问题的松弛问题对应D关于p的凸优化,证明过程如下:
令其中k=0,1,...,K-1,j=1,...,N,缓存策略变量表示为/>
对于任意矩阵Ak,j变量表示为
矩阵Bk变量表示为
对于i,缓存命中率、转码命中率、未命中率分别表示为
关于p的二阶导数都为0。
由/>复合而成,且/>为凸,其中/>一阶导数和二阶导数都大于0,则/>为凸。
同理可证和/>为凸。
由凸函数的非负加权和仍为凸函数,可得Di和D均为凸函数。
ADMM算法适用于求解目标函数为凸函数,约束条件为等式的优化问题,具有收敛速度快,收敛性能好的优势。为了解决所提问题,提出了一种基于ADMM的缓存制定算法,由于约束条件形式比较复杂,首先对其进行了转化。
定义矩阵各元素满足
则缓存约束条件转化为
Ap≤C
定义一系列矩阵对于Bk,各元素满足
其中k=1,2,…,K-1。
则计算约束条件转化为
同样的,定义矩阵各元素满足
则缓存单一版本的约束条件转化为
Ep≤F
其中F=[1,…,1]T
放松后的优化问题转化为
为了将问题中的不等式约束转化为等式约束,引入了指示函数
其中为缓存向量p的可行集,z为定义的辅助向量。优化问题可以转化为
增广拉格朗日函数可以表示为
其中,ρ为增广拉格朗日因子,u为对偶向量。
利用ADMM算法求解所提优化问题,得到时延最优下的缓存策略,以及对应的最优时延,算法流程如图2所示,包含以下步骤:
01.定义最大迭代次数max_iteration,原始可行性容忍εpri,对偶可行性容忍εdual,初始化缓存向量p0,辅助向量z0,对偶向量u0;
02.循环迭代直到达到最大迭代次数,每次迭代后依次更新缓存向量,辅助向量,对偶向量;
uk+1=uk+pk+1-zk+1
03.分别计算原始残差||pt+1-zt+1||和对偶残差||-ρ(zt+1-zt)||,当两者同时满足小于εpri和εdual时,停止迭代,否则继续进入步骤02;
增加任意一种资源,都会带来时延的降低,继续增加直到平均时延收敛,即达到该种资源所对应的网络性能瓶颈;
S3.求解上述优化模型,得到最小化用户请求平均时延及其对应的各雾节点间的异质资源分配策略,根据用户所需时延目标确定最终分配于各个雾节点的异质资源比例。
在某一种资源稀缺时,为了保证算力网络性能不受影响,通过增加其他类型的资源进行一定的补偿;比较以上补偿方式的成本或者代价,选一种成本最低的方式,调整所分配通信、计算、存储资源的比例。
如图3所示,在上述方法的基础上,本发明公开了一种基于雾节点协作的异质资源协同调度系统,该系统由边缘至远端分别是用户终端层、雾节点层及云数据中心。
用户终端层包含随机接入网络的用户设备,通过无线链路向网络边缘的雾节点集群请求内容文件。
雾节点层包括多个雾节点组成的集群以及面向雾计算平台的资源编排器,其中,
每个雾节点都与一个边缘服务器相连,分配有一定量的通信、计算、存储资源,具体分配比例采用上述基于雾节点协作的异质资源协同调度方法计算得到;一个雾节点对于同一内容至多只缓存该内容的一个版本,该内容其他版本的请求通过雾节点间协作或计算转码来服务;
面向雾计算平台的资源编排器,具有缓存策略制定和异质资源分配的作用,通过将内容请求转发给其他雾节点,统筹雾计算集群的协作缓存和协作转码。
云数据中心中存储全网可能请求的内容,并通过骨干IP网向网络边缘传输内容文件。
本发明考虑多个雾节点组成的集群为随机到达的用户提供服务的场景,如图4所示,根据网络边缘的内容缓存和通信、计算、缓存资源分配情况,通过不同方式为用户提供服务。
考虑到实际场景下雾节点的处理能力有限,因此从排队的角度考虑了到达率和流量动态。通过各个雾节点之间协作缓存和协作转码,实现了各个雾节点间分配的异质资源共享和流量均衡,在更好地满足用户不同的QoE需求的前提下,提升了雾计算网络的性能,有效地避免了高延迟、高能耗的远程资源访问。
雾计算提供服务的过程具体为:当用户请求的内容缓存在雾节点时,若恰好是对应版本时,雾节点直接传输给用户,对应本地缓存命中队列,若只缓存有更高的版本内容,则雾节点进行计算转码后传输给用户,对应本地转码命中队列。若相邻雾节点恰好缓存有对应版本的内容,则该节点直接将内容传输给请求用户,对应协作缓存命中队列;若相邻雾节点缓存有高版本内容,则在该节点处转码处理后传输给用户,对应协作转码命中队列;否则,请求内容需从远程数据中心传输,对应未命中队列。通过将雾节点划分为集群,可以在有限的内存下增加缓存内容的多样性。
以下结合仿真对本发明进行详细说明:
仿真参数设置如下:内容总数M=20,内容版本总数K=2,雾节点集群大小N=2,内容尺寸的均值为内容请求分布指数α=0.6,通信链路传输速率Re=100Mbit/s、Rb=500Mbit/s,转码单位比特所需CPU周期数z=1cycle/bit,请求到达率λ=[0.05,0.05]/s,分配的缓存资源C=[5,10]Gbit,分配的计算资源Q=[3.4,3.4]GHz。
如图5所示,将利用ADMM算法求解基于雾节点协作的异质资源协同调度优化问题的收敛性能与内点法(IPM)进行了比较,以及与其他缓存策略进行了比较。其中,全局最优解为原始整数问题的解,但迭代次数超过1000次。对于随机缓存策略,随机选择内容的高比特率版本进行缓存;对于最大流行度缓存,在各个雾节点的服务器中缓存高流行度的高比特率版本的内容。可以观察到,本发明和内点法都可以收敛到全局最优解,但本发明收敛速度更快,此外,本发明的时延都优于其他基准算法。缓存最流行内容的最高版本并不一定使得时延更低,相反,会带来更高的时延,因为网络边缘会有更多的缓存命中或转码命中请求进行排队,这会带来额外的排队时延。因此,在设计缓存策略时不能过度追求缓存更流行内容以及更高比特率的版本。
如图6所示,分别增加为网络边缘分配的通信、计算、缓存资源,得到对应异质资源分配下最优的平均时延,进而揭示出通信、计算、缓存之间的权衡和互补关系。增加任意一种资源都可以实现时延的降低,如:增加缓存资源,有更多的内容可以缓存在边缘服务器,从而避免了从远端获取内容所需要的时延;增加计算资源,降低了雾节点计算转码所需时延;增加通信资源,可以有效降低链路传输能耗。但通过增加单一资源并不能一直带来网络性能的无限提升,当增加某种资源直到网络性能上限后,可以通过增加其他类型的网络资源来打破当前的网络瓶颈。此外,当某种资源的稀缺时,可以通过其他资源在一定程度上进行补偿,从而有效缓解一种资源的稀缺性造成的性能瓶颈。
通过以上仿真,有效地证明了通信、计算、缓存之间的折衷互补关系,通过对算力网络进行异质资源的协同调度,在网络出现某种资源带来的性能瓶颈或者资源短缺时,增加其他类型资源直到再次达到网络性能瓶颈,最后得到最佳的异质资源协同调度策略。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于雾节点协作的异质资源协同调度方法,其特征在于,包括:
S1.将到达各个雾节点的用户请求划分为本地缓存命中、协作缓存命中、本地转码命中、协作转码命中和未命中五个子队列,对到达不同雾节点的用户请求建立排队模型;其中,本地缓存命中是指当前雾节点缓存有用户请求内容的指定版本,由当前雾节点直接提供给用户;协作缓存命中是指到达当前雾节点的用户请求内容的指定版本缓存在其它雾节点,由其他雾节点提供给用户;本地转码命中是指当前雾节点缓存有用户请求内容的高比特率版本,通过计算转码提供用户所需版本;协作转码命中是指到达当前雾节点的用户请求内容的高比特率版本缓存在其它雾节点,由其他雾节点转码后提供给用户;未命中是指用户请求内容的指定比特率版本或者更高比特率版本在各个雾节点都没有缓存,通过远程数据中心获取请求内容;
S2.基于排队模型计算用户请求平均时延,以各个雾节点之间的异质资源分配策略作为优化对象,以最小化到达所有雾节点的用户请求的平均时延作为目标函数,以异质资源限制作为约束条件,构建基于雾节点间协作的异质资源协同调度优化模型;
所述基于雾节点间协作的异质资源协同调度优化模型为:
D为到达所有雾节点的用户请求的平均时延,为内容库,内容的版本库,/>为雾节点集群,ci(m,k)指示内容m是否在雾节点i中缓存,ci(m,k)=1表示内容m的版本k缓存在雾节点i,ci(m,k)=0表示内容m的版本k未缓存在雾节点i,S为内容大小,z为转码单位比特所需要的CPU周期数,Ci、Qi分别为雾节点i所分配的缓存资源、计算资源大小,Pr(m,k)表示用户请求第m个内容的第k个版本的概率,/>表示对随机变量求均值,λn为到达雾节点i的用户请求的到达率;
S3.求解上述优化模型,得到最小化用户请求平均时延及其对应的各雾节点间的异质资源分配策略,根据用户所需时延目标确定最终分配于各个雾节点的异质资源比例。
2.根据权利要求1所述的一种基于雾节点协作的异质资源协同调度方法,其特征在于,到达所有雾节点的用户请求的总平均时延D计算表达式为:
其中,λi为雾节点i处的用户请求到达率,Di为雾节点i所关联用户请求的平均时延。
3.根据权利要求1所述的一种基于雾节点协作的异质资源协同调度方法,其特征在于,所述方法还包括,如果某种资源存在稀缺,则以成本更低的方式选择其他类型的资源进行补偿。
4.根据权利要求1-3任一项所述的一种基于雾节点协作的异质资源协同调度方法,其特征在于,本地缓存命中、协作缓存命中、本地转码命中、协作转码命中和未命中五个子队列建模为M/M/1排队模型。
5.一种基于雾节点协作的异质资源协同调度系统,其特征在于,包括:
用户终端层,包含随机接入网络的用户设备,通过无线链路向网络边缘的雾节点集群请求内容文件;
雾节点层,包括多个雾节点组成的集群以及资源编排器;各个雾节点间的异质资源采用权利要求1-4任一项所述的基于雾节点协作的异质资源协同调度方法进行分配;一个雾节点对于同一内容至多只缓存该内容的一个版本,该内容其他版本的请求通过雾节点间协作或计算转码来服务;
当用户请求的内容缓存在雾节点时,若恰好是对应版本时,雾节点直接传输给用户;若只缓存有更高的版本内容,则雾节点进行计算转码后传输给用户;若相邻雾节点恰好缓存有对应版本的内容,则该节点直接将内容传输给请求用户,若相邻雾节点缓存有高版本内容,则在该节点处转码处理后传输给用户;否则,请求内容需从远程数据中心传输;
资源编排器,通过转发用户请求来协调相邻雾节点之间的协作缓存和协作转码,以共享分配的异质资源,同时实现流量均衡。
6.一种基于雾节点协作的异质资源协同调度装置,其特征在于,包括:计算机可读存储介质和处理器;
所述计算机可读存储介质用于存储可执行指令;
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令,执行权利要求1至4任一项所述的基于雾节点协作的异质资源协同调度方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211682292.2A CN116132439B (zh) | 2022-12-27 | 2022-12-27 | 基于雾节点协作的异质资源协同调度方法、系统和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211682292.2A CN116132439B (zh) | 2022-12-27 | 2022-12-27 | 基于雾节点协作的异质资源协同调度方法、系统和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116132439A CN116132439A (zh) | 2023-05-16 |
CN116132439B true CN116132439B (zh) | 2024-05-14 |
Family
ID=86298528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211682292.2A Active CN116132439B (zh) | 2022-12-27 | 2022-12-27 | 基于雾节点协作的异质资源协同调度方法、系统和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116132439B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111935783A (zh) * | 2020-07-09 | 2020-11-13 | 华中科技大学 | 一种基于流量感知的边缘缓存系统和方法 |
CN112887314A (zh) * | 2021-01-27 | 2021-06-01 | 重庆邮电大学 | 一种时延感知的云雾协作视频分发方法 |
CN114449671A (zh) * | 2022-01-17 | 2022-05-06 | 华中科技大学 | 一种网络边缘异质资源协同调度方法 |
WO2022257348A1 (zh) * | 2021-06-08 | 2022-12-15 | 重庆邮电大学 | 一种不确定网络环境中的任务卸载和资源分配方法 |
-
2022
- 2022-12-27 CN CN202211682292.2A patent/CN116132439B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111935783A (zh) * | 2020-07-09 | 2020-11-13 | 华中科技大学 | 一种基于流量感知的边缘缓存系统和方法 |
CN112887314A (zh) * | 2021-01-27 | 2021-06-01 | 重庆邮电大学 | 一种时延感知的云雾协作视频分发方法 |
WO2022257348A1 (zh) * | 2021-06-08 | 2022-12-15 | 重庆邮电大学 | 一种不确定网络环境中的任务卸载和资源分配方法 |
CN114449671A (zh) * | 2022-01-17 | 2022-05-06 | 华中科技大学 | 一种网络边缘异质资源协同调度方法 |
Non-Patent Citations (1)
Title |
---|
Capacity-Aware Edge Caching in Fog Computing Networks;Qiang Li,Et.AL;《 IEEE Transactions on Vehicular Technology 》;20200610;第69卷(第8期);9244 - 9248 * |
Also Published As
Publication number | Publication date |
---|---|
CN116132439A (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Adaptive wireless video streaming based on edge computing: Opportunities and approaches | |
CN110417847B (zh) | 无人机通信网络用户接入和内容缓存的方法及装置 | |
Xu et al. | GrIMS: Green information-centric multimedia streaming framework in vehicular ad hoc networks | |
CN109951849B (zh) | 一种在f-ran架构中联合资源分配和内容缓存的方法 | |
CN113810931B (zh) | 一种面向移动边缘计算网络的自适应视频缓存方法 | |
CN111432270B (zh) | 一种基于分层缓存的实时业务时延优化方法 | |
WO2023108718A1 (zh) | 一种云边协同光载网络频谱资源分配方法及系统 | |
JP2011515908A (ja) | 分散型階層構造クラスタ化ピアツーピア・ライブ・ストリーミング・システム | |
EP2249549A1 (en) | Method for optimizing delivery of content from cache regarding cost | |
CN111935783A (zh) | 一种基于流量感知的边缘缓存系统和方法 | |
Zheng et al. | 5G network-oriented hierarchical distributed cloud computing system resource optimization scheduling and allocation | |
CN111698732B (zh) | 微蜂窝无线网中面向时延的协作缓存优化方法 | |
Zhang et al. | QoS-aware virtualization resource management mechanism in 5G backhaul heterogeneous networks | |
CN110913239B (zh) | 一种精细化的移动边缘计算的视频缓存更新方法 | |
CN114449671A (zh) | 一种网络边缘异质资源协同调度方法 | |
Abbasi et al. | Multimedia streaming using D2D in 5G ultra dense networks | |
CN112887314B (zh) | 一种时延感知的云雾协作视频分发方法 | |
CN116132439B (zh) | 基于雾节点协作的异质资源协同调度方法、系统和装置 | |
CN111447506B (zh) | 云边环境下基于延迟和成本均衡的流媒体内容放置方法 | |
Gomaa et al. | Media caching support for mobile transit clients | |
Wang et al. | A qoe-based 360 video adaptive bitrate delivery and caching scheme for c-ran | |
CN113709853B (zh) | 面向云边协同的网络内容传输方法、装置及存储介质 | |
Sun et al. | Communications-caching-computing tradeoff analysis for bidirectional data computation in mobile edge networks | |
CN116056156A (zh) | 一种支持自适应比特率视频的mec辅助协同缓存系统 | |
CN114245422A (zh) | 一种基于簇内智能共享的边缘主动缓存方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |