CN112039943A - 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法 - Google Patents
一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法 Download PDFInfo
- Publication number
- CN112039943A CN112039943A CN202010716362.6A CN202010716362A CN112039943A CN 112039943 A CN112039943 A CN 112039943A CN 202010716362 A CN202010716362 A CN 202010716362A CN 112039943 A CN112039943 A CN 112039943A
- Authority
- CN
- China
- Prior art keywords
- node
- user
- request
- service
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004069 differentiation Effects 0.000 title claims description 12
- 230000004044 response Effects 0.000 claims abstract description 30
- 230000009471 action Effects 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000008901 benefit Effects 0.000 claims description 29
- 230000009191 jumping Effects 0.000 claims description 27
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000007983 Tris buffer Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer And Data Communications (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,包括以下步骤:S1:定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数;S2:参数初始化,执行边缘协作缓存流程,并调用负载均衡策略、差异化服务策略。本发明通过在边缘协作缓存系统统中采用差异化服务策略满足了在互联网场景中不同用户的不同服务等级的需求,通过负载均衡策略降低用户请求的排队延迟,提高了节点响应请求延迟的稳定性,提升了用户体验。
Description
技术领域
本发明涉及边缘协作缓存技术领域,更具体地,涉及一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法。
背景技术
在大数据时代,随着互联网数据的爆炸式增长,IDC预测,到2020年将超过500亿设备连入互联网,并且互联网数据也将达到44ZB,其中70%的数据需要在边缘设备中进行处理。此外,大量的互联网用户频繁地向云请求/获取内容,这给网络服务提供商SP的服务器带来了巨大的负载压力。在此大数据背景的网络数据传输高峰期,由于云服务器承受了巨大的负载压力,传统的云计算技术难以满足QoS和QoE。
大量的研究表明,边缘缓存将云数据中心的文件或服务等内容下沉至网络边缘,能有效地降低云数据中心服务器负载压力,降低服务提供商运营成本,增加服务提供商收益,提升用户体验。然而,互联网内容暴增、用户偏好多样且多变、互联网对差异化服务的需求,影响了边缘缓存内容放置和替换策略的有效性。在此现实应用场景下,为了优化服务提供商收益和用户体验,边缘服务器应缓存哪些内容,边缘服务器如何进行协作缓存,是一个关键问题。
现有技术中,申请号为CN201910277048.X的发明专利公开了一种基于机器学习的移动网络边缘协作缓存模型构造方法,其通过Zipf模型生成用户对内容的请求分布,并进一步地使用机器学习的方法,根据用户请求建立网络训练模型,使用该模型将用户请求自适应地选择至本地基站或协作基站或云以得到快速响应;另外,本地基站或协作基站将根据该网络训练模型进行缓存替换,以提高本地基站或协作基站的缓存命中率,以降低用户请求响应时间。但该发明存在以下缺点,首先,专利[1]采用机器学习的方法训练网络模型,而生成网络模型需要耗费一定的时间;其次,在训练完网络训练模型后,网络训练模型也需要进行多次迭代以达到收敛,这也需要耗费一定的时间;再次,互联网场景中,用户偏好(用户对内容的爱好)多样且多变,使得Zipf分布模型不一定适用于互联网场景下用户的请求分布,即该专利中的用Zipf定律生成的用户请求的模型未必有效;再者,未考虑不同的用户请求应具有不同的服务等级需求,即差异化服务需求,即高服务等级的用户请求应得到相对更快的响应,即其请求的内容应有更大的概率放置在离用户端更近的(协作)基站中;另外,该专利只是单纯地对基站进行查询是否缓存命中,进而选中基站对用户请求进行服务,而未考虑基站的负载均衡,这可能使得原本负载繁重的基站的负载加剧,使得用户请求在这些基站中进行排队处理的时间增长,增加了用户请求的排队延迟,增大了用户平均访问延迟,降低了用户体验。
发明内容
本发明为克服上述现有技术中基于互联网在线请求服务及多节点协作边缘缓存场景,针对用户差异化服务需求和边缘服务器负载不均衡带来的请求排队延迟导致用户请求的平均访问延迟大,用户体验不佳问题,提供一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法。
本发明的首要目的是为解决上述技术问题,本发明的技术方案如下:
一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,包括以下步骤:
S1:定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数;
S2:参数初始化,执行边缘协作缓存流程,并调用负载均衡策略、差异化服务策略。
本方案中,所述负载均衡策略用于选择缓存的边缘节点,所述差异化服务策略用于确定替换或放置的文件槽。
本方案中,所述定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作共包括有四种响应,同时响应中参数定义如下:将用户请求记为:r:=(f,s,p),请求的服务记为f,边缘节点/服务器记为s,请求的优先级记为p。;
本方案中,所述四种响应具体为:
用户发出请求r:=(f,s,p),若本地边缘节点s(如用户所接入网络的基站、路由器等带有存储能力的设备)已部署服务f,那么我们称用户请求r本地命中,记本地命中请求访问延迟为tl;
用户发出请求r:=(f,s,p),若本地边缘节点s未命中,而邻居节点s'已有部署服务f,那么本地节点将请求r转发(relay)至s',那么我们称用户请求r转发命中,记转发命中请求访问延迟为tr;
用户发出请求r:=(f,s,p),若在边缘节点均不命中,本地节点s则将请求r旁路(bypass)到云数据中心,那么我们称用户请求r节点未命中,记请求访问延迟为tb;
若用户请求r:=(f,s,p)在本地节点s或邻居节点s'未命中一次或多次,那么边缘节点s和s'将从云中下载服务应用源代码/应用安装包并配置到节点中,记该动作为fetch,时间开销/延迟为tf。
本方案中,定义的缓存参数包括有:
用户请求的平均阻塞率ppending,如公式(1)所示
其中,npending表示阻塞的请求数量,nrequest表示请求的数量;
节点中发生的请求排队总延迟Tqueueing如公式(2)所示:
其中,tavgQ为平均排队延迟,其通常设为100毫秒(ms);
缓存命中率hr,如公式(3)所示:
其中hlocal表示本地节点缓存命中次数,hrelay表示邻居节点缓存命中次数,nrequest表示请求的数量;
平均访问延迟tavg,定义如公式(4)所示:
其中,表示本地节点将用户请求旁路(bypass)至云进行服务的比例,其中旁路次数为nbypass,表示边缘节点(包括本地节点和邻居节点)将用户请求的服务配置安装到边缘节点中的比例,其中nfetch为配置安装服务的次数,表示用户请求在节点中需要排队处理的比例,也叫平均阻塞率ppending,其中nqueueing表示在节点中进行排队的用户请求数量;tl表示用户请求在本地节点的访问延迟,tr表示用户请求在邻居节点得到响应的访问延迟,tb表示用户请求在云得到响应的访问延迟,tf表示将用户请求访问的服务/应用安装配置到边缘节点的所耗费的时间;
边缘节点负载方差va来观察节点的负载均衡情况,其定义如公式(5)所示,其表征节点响应请求延迟的稳定性:
其中AVG(hc)表示求出所有的节点负载计数的平均数的函数;
用户请求的服务等级定义如公式(6)所示:
ulevel=frequence*priority (6)
其中,ulevel表示用户请求的服务等级,frequence表示用户请求的频率,priority表示用户请求的优先级;
用户请求r:=(f,s,p)在缓存系统(如图1所示)中得到响应时,依据其服务等级和得到的响应动作,将其用户效益urequest定义如公式(7)所示:
本方案中,参数初始化,执行边缘协作缓存流程具体为:
S201-1:初始化所有的边缘节点中的参数,所述参数包括:S1(f),S2(r),hc(si)=0,U=0,其中其中η是可取得的最小整数,S1(f)和S2(r)分别为记录f和r的请求队列,初始化为空,节点服务负载计数hc(si)初始化为0,其中i=1,...,m,m表示边缘缓存系统中的边缘节点个数,用户效益总和为U=0;
S201-2:用户终端发出的请求r:=(f,s,p)指向边缘节点s以期望获取内容f,s将f添加到队列S1(f)中,将r添加到队列S2(r)中;
S201-3:判断边缘节点s是否有一文件槽q存有f,是则跳至步骤S201-4,否则跳至步骤S201-5;
S201-4:执行hc(s)+=1,U+=getUtility(f,p,'local'),节点s响应r且该延迟为tl,其中getUtility(f,p,'local')表示用公式(7)计算f在用户请求优先级为p、在本地节点s进行服务(local server)时的用户效益;
S201-5:节点s将该请求relay(转发)至其邻居节点s',判断节点s'中是否有一文件槽q存有f,是则跳至步骤S201-6,否则跳至步骤S201-7;
S201-6:执行hc(s')+=1,U+=getUtility(f,p,'relay'),邻居节点s'响应r且该延迟为tl+tr,其中getUtility(f,p,'relay')表示用公式(7)计算f在用户请求优先级为p、在节点s'进行服务(relay server)时的用户效益,执行完S201-6后跳至S201-8;
S201-7:节点s'执行计算U+=getUtility(f,p,'bypass'),并将该请求bypass(旁路)至云中心,云响应r且延迟为tl+tr+tb,其中U+=getUtility(f,p,'bypass')表示用公式(7)计算f在用户请求优先级为p、在云进行服务(bypass server)时的用户效益;
S201-8:由s或s'或云响应完请求r后,将在节点s或s'处进行缓存更新,如步骤S201-9~S201-17所示;
S201-9:判断请求内容f的队列S1(f)的长度|S1(f)|是否等于μ,是则跳至步骤S201-10,否则跳至步骤S201-13;
S201-10:调用负载均衡策略,执行完负载均衡策略返回此处;
S201-11:调用差异化服务策略,执行完差异化服务策略返回此处;
S201-12:清空队列S1(f),使其队列长度为0;
S201-13:判断队列S2(r)的长度|S2(r)|是否等于λ,是则跳至步骤S201-14,否则跳至步骤S201-17;
S201-14:将当前节点s设置为选中的节点s”;
S201-15:调用差异化服务策略,执行完差异化服务策略再返回此处;
S201-16:清空队列S2(r),使其队列长度为0;
S201-17:边缘协作缓存策略结束。
本方案中,所述负载均衡策略执行流程包括:
S202-1:统计所有边缘节点si(i=1,...,m)的负载计数hc(si)
S202-2:记所有节点中的最大负载计数hcmax=MAX(hc);
S202-5:计算出randomnum=RANDOM(0,randomsize),其中RANDOM(0,randomsize)表示从区间[0,randomsize]中均匀地随机选取一个值;
S202-6:将randomnum与prk(k=1,...m)依次进行比较,若randomnum≥prk且randomnum<prk,则选中的节点s”=k;
S202-7:输出选中的节点s”,负载均衡策略结束。
本方案中,差异化服务策略的流程包括:
S203-1:选中的边缘节点为s”,对于用户请求r:=(f,s,p),判断s”中是否有一文件槽q存有f,是则跳至步骤S203-8;否则跳至步骤S203-2;
S203-2:判断边缘节点s”的缓存空间是否已满,是则跳至步骤S203-3,否则跳至步骤S203-7;
S203-3:找出边缘节点s”中所有的最近最小用户效益的服务/应用fmin,判断fmin的数量是否大于1个,是则跳至步骤S3-4,否则跳至步骤S3-5;
S203-4:在S203-3中找到的所有最近最小用户效益的服务/应用fmin中,利用传统缓存算法LRU,找出一个最近最少使用的服务/应用,并将其标记为fselected;
S203-5:节点s”中最近最小用户效益的服务/应用fmin只有一个,则将该服务/应用fmin标记为fselected;
S203-6:将S203-4或S203-5中的fselected从边缘节点s”替换出去;
S203-7:将用户请求的服务/应用f缓存至节点s”;
S203-8:差异化服务策略结束。
与现有技术相比,本发明技术方案的有益效果是:
本发明通过在边缘协作缓存系统中采用差异化服务策略满足了在互联网场景中不同用户的不同服务等级的需求,通过负载均衡策略降低用户请求的排队延迟,提高了节点响应请求延迟的稳定性,提升了用户体验。
附图说明
图1为本发明实施例提供的一种边缘协作缓存系统模型图。
图2为本发明面向互联网场景差异化服务的负载均衡的边缘协作缓存方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示,本发明采用的是基于边云协同与边边协同模式的边缘缓存系统,在所述边缘缓存系统中,研究互联网服务应用在边缘节点协作缓存策略。设定云数据中心拥有/配置了所有的互联网服务应用,由于边缘节点存储容量有限,仅只能从云数据中心下载/获取源文件(或应用安装包)后在节点中进行安装配置。通常情况下,由于边缘节点容量有限,在安装完新的服务应用后,边缘节点将会把源文件(或应用安装包)丢弃。
如图2所示,一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,包括以下步骤:
S1:定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数;
S2:参数初始化,执行边缘协作缓存流程,并调用负载均衡策略、差异化服务策略,所述负载均衡策略用于选择缓存的边缘节点,所述差异化服务策略用于确定替换或放置的文件槽。
如图1所示,一个互联网用户发出应用服务(已部署在云或者边缘节点中)请求,边缘节点将做出对应四种响应请求的动作。同时响应中参数定义如下:将用户请求记为:r:=(f,s,p),请求的服务记为f,边缘节点/服务器记为s,请求的优先级记为p。
本方案中,所述四种响应具体为:
用户发出请求r:=(f,s,p),若本地边缘节点s(如用户所接入网络的基站、路由器等带有存储能力的设备)已部署服务f,那么我们称用户请求r本地命中,记本地命中请求访问延迟为tl通常而言tl很小;
用户发出请求r:=(f,s,p),若本地边缘节点s未命中,而邻居节点s'已有部署服务f,那么本地节点将请求r转发(relay)至s',那么我们称用户请求r转发命中,记转发命中请求访问延迟为tr,通常tr较小;
用户发出请求r:=(f,s,p),若在边缘节点均不命中,本地节点s则将请求r旁路(bypass)到云数据中心,那么我们称用户请求r节点未命中,记请求访问延迟为tb,通常tb较大;
若用户请求r:=(f,s,p)在本地节点s或邻居节点s'未命中一次或多次,那么边缘节点s和s'将从云中下载服务应用源代码/应用安装包并配置到节点中,记该动作为fetch,时间开销/延迟为tf,通常tf很大。
本方案中,定义的缓存参数包括有:
用户请求的平均阻塞率ppending,如公式(1)所示
其中,npending表示阻塞的请求数量,nrequest表示请求的数量;
由于请求在节点中阻塞,将产生排队延迟,因此定义节点中发生的请求排队总延迟Tqueueing如公式(2)所示:
其中,tavgQ为平均排队延迟,其通常设为100毫秒(ms);
在缓存场景中,缓存命中率hr是缓存系统评估必不可少的性能指标,其定义如公式(3)所示:
其中hlocal表示本地节点缓存命中次数,hrelay表示邻居节点缓存命中次数,nrequest表示请求的数量;
平均访问延迟tavg,定义如公式(4)所示:
其中,表示本地节点将用户请求旁路(bypass)至云进行服务的比例,其中旁路次数为nbypass,表示边缘节点(包括本地节点和邻居节点)将用户请求的服务配置安装到边缘节点中的比例,其中nfetch为配置安装服务的次数,表示用户请求在节点中需要排队处理的比例,也叫平均阻塞率ppending,其中nqueueing表示在节点中进行排队的用户请求数量;tl表示用户请求在本地节点的访问延迟,tr表示用户请求在邻居节点得到响应的访问延迟,tb表示用户请求在云得到响应的访问延迟,tf表示将用户请求访问的服务/应用安装配置到边缘节点的所耗费的时间;
其中AVG(hc)表示求出所有的节点负载计数的平均数的函数;
差异化服务常见于互联网场景,为了满足差异化服务的需求,我们综合考虑了用户请求的优先级与频率,故用户请求的服务等级定义如公式(6)所示:
ulevel=frequence*priority (6)
其中,ulevel表示用户请求的服务等级,frequence表示用户请求的频率,priority表示用户请求的优先级;
用户请求r:=(f,s,p)在缓存系统(如图1所示)中得到响应时,依据其服务等级和得到的响应动作,将其用户效益urequest定义如公式(7)所示:
鉴于不同的服务请求有着不同的用户效益,为了提高用户效益,故我们在进行缓存替换的时候,可以优先将累计效益较低的服务替换出来,若效益相同再考虑LRU(最近最少使用)策略将最近最少使用的服务替换出来。
在多个边缘节点协作缓存的场景中,用户终端发出请求,如图1所示,其请求的网络路径为“端-边-云”。即“边”(边缘节点)将响应大部分的请求,若边缘节点中无该请求的内容,才将该请求bypass(旁路)至云以使该请求得到响应。以下我们将阐述:用户终端发出请求r:=(f,s,p)后,边缘协作缓存策略是如何控制边缘节点进行协作的且达到一定的效果。
本方案中,参数初始化,执行边缘协作缓存流程具体为:
S201-1:初始化所有的边缘节点中的参数S1(f),S2(r),hc(si)=0,U=0,其中其中η是可取得的最小整数,S1(f)和S2(r)分别为记录f和r的请求队列,初始化为空,节点服务负载计数hc(si)初始化为0,其中i=1,...,m,m表示边缘缓存系统中的边缘节点个数,用户效益总和为U=0;
S201-2:用户终端发出的请求r:=(f,s,p)指向边缘节点s以期望获取内容f,s将f添加到队列S1(f)中,将r添加到队列S2(r)中;
S201-3:判断边缘节点s是否有一文件槽q存有f,是则跳至步骤S1-4,否则跳至步骤S1-5;
S201-4:执行hc(s)+=1,U+=getUtility(f,p,'local'),节点s响应r且该延迟为tl,其中getUtility(f,p,'local')表示用公式(7)计算f在用户请求优先级为p、在本地节点s进行服务(local server)时的用户效益;
S201-5:节点s将该请求relay(转发)至其邻居节点s',判断节点s'中是否有一文件槽q存有f,是则跳至步骤S1-6,否则跳至步骤S1-7;
S201-6:执行hc(s')+=1,U+=getUtility(f,p,'relay'),邻居节点s'响应r且该延迟为tl+tr,其中getUtility(f,p,'relay')表示用公式(7)计算f在用户请求优先级为p、在节点s'进行服务(relay server)时的用户效益,执行完S201-6后跳至S201-8;
S201-7:节点s'执行计算U+=getUtility(f,p,'bypass'),并将该请求bypass(旁路)至云中心,云响应r且延迟为tl+tr+tb,其中U+=getUtility(f,p,'bypass')表示用公式(7)计算f在用户请求优先级为p、在云进行服务(bypass server)时的用户效益;
S201-8:由s或s'或云响应完请求r后,将在节点s或s'处进行缓存更新,如步骤S201-9~S201-17所示;
S201-9:判断请求内容f的队列S1(f)的长度|S1(f)|是否等于μ,是则跳至步骤S201-10,否则跳至步骤S201-13;
S201-10:调用负载均衡策略,执行完负载均衡策略返回此处;
S201-11:调用差异化服务策略,执行完差异化服务策略返回此处;
S201-12:清空队列S1(f),使其队列长度为0;
S201-13:判断队列S2(r)的长度|S2(r)|是否等于λ,是则跳至步骤S201-14,否则跳至步骤S201-17;
S201-14:将当前节点s设置为选中的节点s”;
S201-15:调用差异化服务策略,执行完差异化服务策略再返回此处;
S201-16:清空队列S2(r),使其队列长度为0;
S201-17:边缘协作缓存策略结束。
本方案中,所述负载均衡策略执行流程包括:
S202-1:统计所有边缘节点si(i=1,...,m)的负载计数hc(si)
S202-2:记所有节点中的最大负载计数hcmax=MAX(hc);
S202-5:计算出randomnum=RANDOM(0,randomsize),其中RANDOM(0,randomsize)表示从区间[0,randomsize]中均匀地随机选取一个值;
S202-6:将randomnum与prk(k=1,...m)依次进行比较,若randomnum≥prk且randomnum<prk,则选中的节点s”=k;
S202-7:输出选中的节点s”,负载均衡策略结束。
本方案中,在缓存替换/更新阶段的采用差异化服务策略,所述差异化服务策略称其为最近最小用户效益-最近最少使用替换算法(LUULRU-Fetch),差异化服务策略的流程包括:
S203-1:选中的边缘节点为s”,对于用户请求r:=(f,s,p),判断s”中是否有一文件槽q存有f,是则跳至步骤S203-8;否则跳至步骤S203-2;
S203-2:判断边缘节点s”的缓存空间是否已满,是则跳至步骤S203-3,否则跳至步骤S3-7;
S203-3:找出边缘节点s”中所有的最近最小用户效益的服务/应用fmin,判断fmin的数量是否大于1个,是则跳至步骤S203-4,否则跳至步骤S203-5;
S203-4:在S203-3中找到的所有最近最小用户效益的服务/应用fmin中,利用传统缓存算法LRU,找出一个最近最少使用的服务/应用,并将其标记为fselected;
S203-5:节点s”中最近最小用户效益的服务/应用fmin只有一个,则将该服务/应用fmin标记为fselected;
S203-6:将S203-4或S203-5中的fselected从边缘节点s”替换出去;
S203-7:将用户请求的服务/应用f缓存至节点s”;
S203-8:差异化服务策略结束。
本发明考虑了互联网场景中不同用户有着不同服务等级的需求,将不同服务等级的用户请求的内容缓存至边缘节点中,使得高等级用户请求的内容相比于低等级用户请求的内容将在节点中保留的时间(缓存替换轮次)更久,使得高服务等级用户请求的平均访问延迟相比低等级用户短,满足了互联网场景下的差异化服务需求;
其次,本发明考虑了互联网场景下,时常发生大量突发的用户请求流量,使得这些用户请求在边缘节点中需要进行排队处理,即产生了排队延迟的现象。本发明对边缘节点的负载情况进行统计分析,提出一种边缘节点负载均衡策略,降低用户请求的排队延迟,提高了节点响应请求延迟的稳定性,提升了用户体验。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,其特征在于,包括以下步骤:
S1:定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数;
S2:参数初始化,执行边缘协作缓存流程,并调用负载均衡策略、差异化服务策略。
2.根据权利要求1所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,其特征在于,所述负载均衡策略用于选择缓存的边缘节点,所述差异化服务策略用于确定替换或放置的文件槽。
3.根据权利要求1所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,其特征在于,所述定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作共包括有四种响应,同时响应中参数定义如下:将用户请求记为:r:=(f,s,p),请求的服务记为f,边缘节点/服务器记为s,请求的优先级记为p。;
4.根据权利要求3所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,其特征在于,所述四种响应具体为:
用户发出请求r:=(f,s,p),若本地边缘节点s(如用户所接入网络的基站、路由器等带有存储能力的设备)已部署服务f,那么我们称用户请求r本地命中,记本地命中请求访问延迟为tl;
用户发出请求r:=(f,s,p),若本地边缘节点s未命中,而邻居节点s'已有部署服务f,那么本地节点将请求r转发(relay)至s',那么我们称用户请求r转发命中,记转发命中请求访问延迟为tr;
用户发出请求r:=(f,s,p),若在边缘节点均不命中,本地节点s则将请求r旁路(bypass)到云数据中心,那么我们称用户请求r节点未命中,记请求访问延迟为tb;
若用户请求r:=(f,s,p)在本地节点s或邻居节点s'未命中一次或多次,那么边缘节点s和s'将从云中下载服务应用源代码/应用安装包并配置到节点中,记该动作为fetch,时间开销/延迟为tf。
5.根据权利要求4所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,其特征在于,定义的缓存参数包括有:
用户请求的平均阻塞率ppending,如公式(1)所示
其中,npending表示阻塞的请求数量,nrequest表示请求的数量;
节点中发生的请求排队总延迟Tqueueing如公式(2)所示:
其中,tavgQ为平均排队延迟,其通常设为100毫秒(ms);
缓存命中率hr,如公式(3)所示:
其中hlocal表示本地节点缓存命中次数,hrelay表示邻居节点缓存命中次数,nrequest表示请求的数量;
平均访问延迟tavg,定义如公式(4)所示:
其中,表示本地节点将用户请求旁路(bypass)至云进行服务的比例,其中旁路次数为nbypass,表示边缘节点(包括本地节点和邻居节点)将用户请求的服务配置安装到边缘节点中的比例,其中nfetch为配置安装服务的次数,表示用户请求在节点中需要排队处理的比例,也叫平均阻塞率ppending,其中nqueueing表示在节点中进行排队的用户请求数量;tl表示用户请求在本地节点的访问延迟,tr表示用户请求在邻居节点得到响应的访问延迟,tb表示用户请求在云得到响应的访问延迟,tf表示将用户请求访问的服务/应用安装配置到边缘节点的所耗费的时间;边缘节点负载方差va来观察节点的负载均衡情况,其定义如公式(5)所示,其表征节点响应请求延迟的稳定性:
其中AVG(hc)表示求出所有的节点负载计数的平均数的函数;
用户请求的服务等级定义如公式(6)所示:
ulevel=frequence*priority (6)
其中,ulevel表示用户请求的服务等级,frequence表示用户请求的频率,priority表示用户请求的优先级;
用户请求r:=(f,s,p)在缓存系统(如图1所示)中得到响应时,依据其服务等级和得到的响应动作,将其用户效益urequest定义如公式(7)所示:
6.根据权利要求5所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,其特征在于,参数初始化,执行边缘协作缓存流程具体为:
S201-1:初始化所有的边缘节点中的参数,所述参数包括:S1(f),S2(r),hc(si)=0,U=0,其中其中η是可取得的最小整数,S1(f)和S2(r)分别为记录f和r的请求队列,初始化为空,节点服务负载计数hc(si)初始化为0,其中i=1,...,m,m表示边缘缓存系统中的边缘节点个数,用户效益总和为U=0;
S201-2:用户终端发出的请求r:=(f,s,p)指向边缘节点s以期望获取内容f,s将f添加到队列S1(f)中,将r添加到队列S2(r)中;
S201-3:判断边缘节点s是否有一文件槽q存有f,是则跳至步骤S201-4,否则跳至步骤S201-5;
S201-4:执行hc(s)+=1,U+=getUtility(f,p,'local'),节点s响应r且该延迟为tl,其中getUtility(f,p,'local')表示用公式(7)计算f在用户请求优先级为p、在本地节点s进行服务(local server)时的用户效益;
S201-5:节点s将该请求relay(转发)至其邻居节点s',判断节点s'中是否有一文件槽q存有f,是则跳至步骤S201-6,否则跳至步骤S201-7;
S201-6:执行hc(s')+=1,U+=getUtility(f,p,'relay'),邻居节点s'响应r且该延迟为tl+tr,其中getUtility(f,p,'relay')表示用公式(7)计算f在用户请求优先级为p、在节点s'进行服务(relay server)时的用户效益,执行完S201-6后跳至S201-8;
S201-7:节点s'执行计算U+=getUtility(f,p,'bypass'),并将该请求bypass(旁路)至云中心,云响应r且延迟为tl+tr+tb,其中U+=getUtility(f,p,'bypass')表示用公式(7)计算f在用户请求优先级为p、在云进行服务(bypass server)时的用户效益;
S201-8:由s或s'或云响应完请求r后,将在节点s或s'处进行缓存更新,如步骤S201-9~S201-17所示;
S201-9:判断请求内容f的队列S1(f)的长度|S1(f)|是否等于μ,是则跳至步骤S201-10,否则跳至步骤S201-13;
S201-10:调用负载均衡策略,执行完负载均衡策略返回此处;
S201-11:调用差异化服务策略,执行完差异化服务策略返回此处;
S201-12:清空队列S1(f),使其队列长度为0;
S201-13:判断队列S2(r)的长度|S2(r)|是否等于λ,是则跳至步骤S201-14,否则跳至步骤S201-17;
S201-14:将当前节点s设置为选中的节点s”;
S201-15:调用差异化服务策略,执行完差异化服务策略再返回此处;
S201-16:清空队列S2(r),使其队列长度为0;
S201-17:边缘协作缓存策略结束。
7.根据权利要求6所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,其特征在于,所述负载均衡策略执行流程包括:
S202-1:统计所有边缘节点si(i=1,...,m)的负载计数hc(si)
S202-2:记所有节点中的最大负载计数hcmax=MAX(hc);
S202-4:计算每一个节点sk(k=1,...,m)的在随机区间randomsize的长度为prk将作为基于节点热度进行概率选取节点的一个依据;S202-5:计算出randomnum=RANDOM(0,randomsize),其中RANDOM(0,randomsize)表示从区间[0,randomsize]中均匀地随机选取一个值;
S202-6:将randomnum与prk(k=1,...m)依次进行比较,若randomnum≥prk且randomnum<prk,则选中的节点s”=k;
S202-7:输出选中的节点s”,负载均衡策略结束。
8.根据权利要求7所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法,其特征在于,差异化服务策略的流程包括:
S203-1:选中的边缘节点为s”,对于用户请求r:=(f,s,p),判断s”中是否有一文件槽q存有f,是则跳至步骤S203-8;否则跳至步骤S203-2;
S203-2:判断边缘节点s”的缓存空间是否已满,是则跳至步骤S3-3,否则跳至步骤S3-7;
S203-3:找出边缘节点s”中所有的最近最小用户效益的服务/应用fmin,判断fmin的数量是否大于1个,是则跳至步骤S203-4,否则跳至步骤S203-5;
S203-4:在S203-3中找到的所有最近最小用户效益的服务/应用fmin中,利用传统缓存算法LRU,找出一个最近最少使用的服务/应用,并将其标记为fselected;
S203-5:节点s”中最近最小用户效益的服务/应用fmin只有一个,则将该服务/应用fmin标记为fselected;
S203-6:将S203-4或S203-5中的fselected从边缘节点s”替换出去;
S203-7:将用户请求的服务/应用f缓存至节点s”;
S203-8:差异化服务策略结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010716362.6A CN112039943B (zh) | 2020-07-23 | 2020-07-23 | 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010716362.6A CN112039943B (zh) | 2020-07-23 | 2020-07-23 | 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112039943A true CN112039943A (zh) | 2020-12-04 |
CN112039943B CN112039943B (zh) | 2021-11-26 |
Family
ID=73582972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010716362.6A Active CN112039943B (zh) | 2020-07-23 | 2020-07-23 | 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112039943B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112887992A (zh) * | 2021-01-12 | 2021-06-01 | 滨州学院 | 基于接入均衡核和置换率的密集无线网络边缘缓存方法 |
CN114500389A (zh) * | 2022-04-06 | 2022-05-13 | 北京智维盈讯网络科技有限公司 | 基于负载均衡连接信息与旁路流量实现流量缝合的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018120802A1 (zh) * | 2016-12-30 | 2018-07-05 | 北京邮电大学 | 协同内容缓存控制系统和方法 |
CN109831806A (zh) * | 2019-03-06 | 2019-05-31 | 西安电子科技大学 | 密集场景下面向用户优先级的基站协同缓存方法 |
CN109936633A (zh) * | 2019-03-11 | 2019-06-25 | 重庆邮电大学 | 内容中心网络中基于内容重要度的协作缓存策略 |
CN110881054A (zh) * | 2018-09-05 | 2020-03-13 | 中国移动通信有限公司研究院 | 一种边缘缓存方法、设备及系统 |
CN111432004A (zh) * | 2020-03-27 | 2020-07-17 | 北京邮电大学 | 一种移动通信系统及其缓存方法 |
-
2020
- 2020-07-23 CN CN202010716362.6A patent/CN112039943B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018120802A1 (zh) * | 2016-12-30 | 2018-07-05 | 北京邮电大学 | 协同内容缓存控制系统和方法 |
CN110881054A (zh) * | 2018-09-05 | 2020-03-13 | 中国移动通信有限公司研究院 | 一种边缘缓存方法、设备及系统 |
CN109831806A (zh) * | 2019-03-06 | 2019-05-31 | 西安电子科技大学 | 密集场景下面向用户优先级的基站协同缓存方法 |
CN109936633A (zh) * | 2019-03-11 | 2019-06-25 | 重庆邮电大学 | 内容中心网络中基于内容重要度的协作缓存策略 |
CN111432004A (zh) * | 2020-03-27 | 2020-07-17 | 北京邮电大学 | 一种移动通信系统及其缓存方法 |
Non-Patent Citations (1)
Title |
---|
葛志诚等: ""一种移动内容分发网络的分层协同缓存机制"", 《计算机学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112887992A (zh) * | 2021-01-12 | 2021-06-01 | 滨州学院 | 基于接入均衡核和置换率的密集无线网络边缘缓存方法 |
CN112887992B (zh) * | 2021-01-12 | 2022-08-12 | 滨州学院 | 基于接入均衡核和置换率的密集无线网络边缘缓存方法 |
CN114500389A (zh) * | 2022-04-06 | 2022-05-13 | 北京智维盈讯网络科技有限公司 | 基于负载均衡连接信息与旁路流量实现流量缝合的方法 |
CN114500389B (zh) * | 2022-04-06 | 2022-07-22 | 北京智维盈讯网络科技有限公司 | 基于负载均衡连接信息与旁路流量实现流量缝合的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112039943B (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Badov et al. | Congestion-aware caching and search in information-centric networks | |
US10305968B2 (en) | Reputation-based strategy for forwarding and responding to interests over a content centric network | |
CN112039943B (zh) | 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法 | |
US20030229760A1 (en) | Storage-assisted quality of service (QoS) | |
EP1678642A1 (en) | Method for prioritizing segments of multimedia content in a proxy cache | |
CN103347068A (zh) | 一种基于代理集群网络缓存加速方法 | |
CN101232339A (zh) | 动态服务水平协议控制系统及控制方法 | |
Kim et al. | Differentiated forwarding and caching in named-data networking | |
CN110913430B (zh) | 无线网络中文件的主动式协作缓存方法及缓存管理装置 | |
US7240115B2 (en) | Programmatically allocating memory among competing services in a distributed computing environment | |
CN115714817A (zh) | 一种动态反馈加权云存储资源调度方法、装置及设备 | |
CN115361710A (zh) | 一种边缘缓存中的内容放置方法 | |
CN118102318A (zh) | 一种基于5g技术的数据传输系统 | |
KR102172056B1 (ko) | Icn 라우터 및 콘텐츠 제공자 단말을 포함하는 토큰 기반 캐싱 시스템의 제어 방법, 장치 및 프로그램 | |
CN117376133A (zh) | 基于机器学习的流量融合云加速方法及平台 | |
CN113672819A (zh) | 一种基于推荐感知和协作边缘缓存的内容请求处理系统 | |
CN115190121B (zh) | 基于跨地域的微服务过量负载调度系统、方法及设备 | |
Shuai et al. | A cost-based distributed algorithm for load balancing in content delivery network | |
CN107528742B (zh) | 一种面向云数据中心网络优化的虚拟机部署方法 | |
CN113271339B (zh) | 一种用户偏好未知的边缘基站缓存部署方法 | |
JP6146279B2 (ja) | データ配信装置及びデータ配信方法 | |
Vicari et al. | Dynamic replica placement and traffic redirection in content delivery networks | |
Li et al. | Optimal placement of web proxies for tree networks | |
Mehrabi et al. | Cache-aware QoE-traffic optimization in mobile edge assisted adaptive video streaming | |
Gupta et al. | Cost-aware and Time-Varying Request Rate-based Dynamic Cache Provisioning over CCDN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |