CN112039943B - 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法 - Google Patents

一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法 Download PDF

Info

Publication number
CN112039943B
CN112039943B CN202010716362.6A CN202010716362A CN112039943B CN 112039943 B CN112039943 B CN 112039943B CN 202010716362 A CN202010716362 A CN 202010716362A CN 112039943 B CN112039943 B CN 112039943B
Authority
CN
China
Prior art keywords
node
user
request
service
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010716362.6A
Other languages
English (en)
Other versions
CN112039943A (zh
Inventor
刘芳
张振源
蔡振华
苏屹宏
黄志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010716362.6A priority Critical patent/CN112039943B/zh
Publication of CN112039943A publication Critical patent/CN112039943A/zh
Application granted granted Critical
Publication of CN112039943B publication Critical patent/CN112039943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，包括以下步骤：S1：定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数；S2：参数初始化，执行边缘协作缓存流程，并调用负载均衡策略、差异化服务策略。本发明通过在边缘协作缓存系统统中采用差异化服务策略满足了在互联网场景中不同用户的不同服务等级的需求，通过负载均衡策略降低用户请求的排队延迟，提高了节点响应请求延迟的稳定性，提升了用户体验。

Description

一种面向互联网场景差异化服务的负载均衡的边缘协作缓存 方法
技术领域
本发明涉及边缘协作缓存技术领域，更具体地，涉及一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法。
背景技术
在大数据时代，随着互联网数据的爆炸式增长，IDC预测，到2020年将超过500亿设备连入互联网，并且互联网数据也将达到44ZB，其中70％的数据需要在边缘设备中进行处理。此外，大量的互联网用户频繁地向云请求/获取内容，这给网络服务提供商SP的服务器带来了巨大的负载压力。在此大数据背景的网络数据传输高峰期，由于云服务器承受了巨大的负载压力，传统的云计算技术难以满足QoS和QoE。
大量的研究表明，边缘缓存将云数据中心的文件或服务等内容下沉至网络边缘，能有效地降低云数据中心服务器负载压力，降低服务提供商运营成本，增加服务提供商收益，提升用户体验。然而，互联网内容暴增、用户偏好多样且多变、互联网对差异化服务的需求，影响了边缘缓存内容放置和替换策略的有效性。在此现实应用场景下，为了优化服务提供商收益和用户体验，边缘服务器应缓存哪些内容，边缘服务器如何进行协作缓存，是一个关键问题。
现有技术中，申请号为CN201910277048.X的发明专利公开了一种基于机器学习的移动网络边缘协作缓存模型构造方法，其通过Zipf模型生成用户对内容的请求分布，并进一步地使用机器学习的方法，根据用户请求建立网络训练模型，使用该模型将用户请求自适应地选择至本地基站或协作基站或云以得到快速响应；另外，本地基站或协作基站将根据该网络训练模型进行缓存替换，以提高本地基站或协作基站的缓存命中率，以降低用户请求响应时间。但该发明存在以下缺点，首先，专利[1]采用机器学习的方法训练网络模型，而生成网络模型需要耗费一定的时间；其次，在训练完网络训练模型后，网络训练模型也需要进行多次迭代以达到收敛，这也需要耗费一定的时间；再次，互联网场景中，用户偏好(用户对内容的爱好)多样且多变，使得Zipf分布模型不一定适用于互联网场景下用户的请求分布，即该专利中的用Zipf定律生成的用户请求的模型未必有效；再者，未考虑不同的用户请求应具有不同的服务等级需求，即差异化服务需求，即高服务等级的用户请求应得到相对更快的响应，即其请求的内容应有更大的概率放置在离用户端更近的(协作)基站中；另外，该专利只是单纯地对基站进行查询是否缓存命中，进而选中基站对用户请求进行服务，而未考虑基站的负载均衡，这可能使得原本负载繁重的基站的负载加剧，使得用户请求在这些基站中进行排队处理的时间增长，增加了用户请求的排队延迟，增大了用户平均访问延迟，降低了用户体验。
发明内容
本发明为克服上述现有技术中基于互联网在线请求服务及多节点协作边缘缓存场景，针对用户差异化服务需求和边缘服务器负载不均衡带来的请求排队延迟导致用户请求的平均访问延迟大，用户体验不佳问题，提供一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，包括以下步骤：
S1：定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数；
S2：参数初始化，执行边缘协作缓存流程，并调用负载均衡策略、差异化服务策略。
本方案中，所述负载均衡策略用于选择缓存的边缘节点，所述差异化服务策略用于确定替换或放置的文件槽。
本方案中，所述定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作共包括有四种响应，同时响应中参数定义如下：将用户请求记为：r:＝(f,s,p)，请求的服务记为f，边缘节点/服务器记为s，请求的优先级记为p。
本方案中，所述四种响应具体为：
用户发出请求r:＝(f,s,p)，若本地边缘节点s(如用户所接入网络的基站、路由器等带有存储能力的设备)已部署服务f，那么我们称用户请求r本地命中，记本地命中请求访问延迟为tl；
用户发出请求r:＝(f,s,p)，若本地边缘节点s未命中，而邻居节点s'已有部署服务f，那么本地节点将请求r转发(relay)至s'，那么我们称用户请求r转发命中，记转发命中请求访问延迟为tr；
用户发出请求r:＝(f,s,p)，若在边缘节点均不命中，本地节点s则将请求r旁路(bypass)到云数据中心，那么我们称用户请求r节点未命中，记请求访问延迟为tb；
若用户请求r:＝(f,s,p)在本地节点s或邻居节点s'未命中一次或多次，那么边缘节点s和s'将从云中下载服务应用源代码/应用安装包并配置到节点中，记该动作为fetch，时间开销/延迟为tf。
本方案中，定义的缓存参数包括有：
用户请求的平均阻塞率ppending，如公式(1)所示
Figure BDA0002598274160000031
其中，npending表示阻塞的请求数量，nrequest表示请求的数量；
节点中发生的请求排队总延迟Tqueueing如公式(2)所示：
Figure BDA0002598274160000032
其中，tavgQ为平均排队延迟，其通常设为100毫秒(ms)；
缓存命中率hr，如公式(3)所示：
Figure BDA0002598274160000033
其中hlocal表示本地节点缓存命中次数，hrelay表示邻居节点缓存命中次数，nrequest表示请求的数量；
平均访问延迟tavg，定义如公式(4)所示：
Figure BDA0002598274160000034
其中，
Figure BDA0002598274160000035
表示本地节点将用户请求旁路(bypass)至云进行服务的比例，其中旁路次数为nbypass，
Figure BDA0002598274160000041
表示边缘节点(包括本地节点和邻居节点)将用户请求的服务配置安装到边缘节点中的比例，其中nfetch为配置安装服务的次数，
Figure BDA0002598274160000042
表示用户请求在节点中需要排队处理的比例，也叫平均阻塞率ppending，其中nqueueing表示在节点中进行排队的用户请求数量；tl表示用户请求在本地节点的访问延迟，tr表示用户请求在邻居节点得到响应的访问延迟，tb表示用户请求在云得到响应的访问延迟，tf表示将用户请求访问的服务/应用安装配置到边缘节点的所耗费的时间；
边缘节点负载方差va来观察节点的负载均衡情况，其定义如公式(5)所示，其表征节点响应请求延迟的稳定性：
Figure BDA0002598274160000043
其中AVG(hc)表示求出所有的节点负载计数的平均数的函数；
用户请求的服务等级定义如公式(6)所示：
ulevel＝frequence*priority (6)
其中，ulevel表示用户请求的服务等级，frequence表示用户请求的频率，priority表示用户请求的优先级；
用户请求r:＝(f,s,p)在缓存系统(如图1所示)中得到响应时，依据其服务等级和得到的响应动作，将其用户效益urequest定义如公式(7)所示：
Figure BDA0002598274160000044
本方案中，参数初始化，执行边缘协作缓存流程具体为：
S201-1：初始化所有的边缘节点中的参数，所述参数包括：
Figure BDA0002598274160000045
S1(f),S2(r),hc(si)＝0,U＝0，其中
Figure BDA0002598274160000046
其中η是可取得的最小整数，S1(f)和S2(r)分别为记录f和r的请求队列，初始化为空，节点服务负载计数hc(si)初始化为0，其中i＝1,...,m，m表示边缘缓存系统中的边缘节点个数，用户效益总和为U＝0；
S201-2：用户终端发出的请求r:＝(f,s,p)指向边缘节点s以期望获取内容f， s将f添加到队列S1(f)中，将r添加到队列S2(r)中；
S201-3:判断边缘节点s是否有一文件槽q存有f，是则跳至步骤S201-4，否则跳至步骤S201-5；
S201-4：执行hc(s)+＝1,U+＝getUtility(f,p,'local')，节点s响应r且该延迟为tl，其中getUtility(f,p,'local')表示用公式(7)计算f在用户请求优先级为p、在本地节点s进行服务(local server)时的用户效益；
S201-5：节点s将该请求relay(转发)至其邻居节点s'，判断节点s'中是否有一文件槽q存有f，是则跳至步骤S201-6，否则跳至步骤S201-7；
S201-6：执行hc(s')+＝1,U+＝getUtility(f,p,'relay')，邻居节点s'响应r且该延迟为tl+tr，其中getUtility(f,p,'relay')表示用公式(7)计算f在用户请求优先级为p、在节点s'进行服务(relay server)时的用户效益，执行完S201-6后跳至S201-8；
S201-7:节点s'执行计算U+＝getUtility(f,p,'bypass')，并将该请求 bypass(旁路)至云中心，云响应r且延迟为tl+tr+tb，其中 U+＝getUtility(f,p,'bypass')表示用公式(7)计算f在用户请求优先级为p、在云进行服务(bypass server)时的用户效益；
S201-8：由s或s'或云响应完请求r后，将在节点s或s'处进行缓存更新，如步骤S201-9～S201-17所示；
S201-9：判断请求内容f的队列S1(f)的长度|S1(f)|是否等于μ，是则跳至步骤S201-10，否则跳至步骤S201-13；
S201-10：调用负载均衡策略，执行完负载均衡策略返回此处；
S201-11：调用差异化服务策略，执行完差异化服务策略返回此处；
S201-12：清空队列S1(f)，使其队列长度为0；
S201-13：判断队列S2(r)的长度|S2(r)|是否等于λ，是则跳至步骤S201-14，否则跳至步骤S201-17；
S201-14：将当前节点s设置为选中的节点s”；
S201-15：调用差异化服务策略，执行完差异化服务策略再返回此处；
S201-16：清空队列S2(r)，使其队列长度为0；
S201-17：边缘协作缓存策略结束。
本方案中，所述负载均衡策略执行流程包括：
S202-1：统计所有边缘节点si(i＝1,...,m)的负载计数hc(si)
S202-2：记所有节点中的最大负载计数hcmax＝MAX(hc)；
S202-3：统计所有的节点si的负载hc(si)与hcmax累加差值
Figure BDA0002598274160000061
并设置随机区间的大小
Figure BDA0002598274160000062
S202-4：计算每一个节点sk(k＝1,...,m)的在随机区间randomsize的长度为
Figure BDA0002598274160000063
prk将作为基于节点热度进行概率选取节点的一个依据；
S202-5：计算出randomnum＝RANDOM(0,randomsize)，其中 RANDOM(0,randomsize)表示从区间[0,randomsize]中均匀地随机选取一个值；
S202-6：将randomnum与prk(k＝1,...m)依次进行比较，若randomnum≥prk且randomnum＜prk，则选中的节点s”＝k；
S202-7：输出选中的节点s”，负载均衡策略结束。
本方案中，差异化服务策略的流程包括：
S203-1：选中的边缘节点为s”，对于用户请求r:＝(f,s,p)，判断s”中是否有一文件槽q存有f，是则跳至步骤S203-8；否则跳至步骤S203-2；
S203-2：判断边缘节点s”的缓存空间是否已满，是则跳至步骤S203-3，否则跳至步骤S203-7；
S203-3：找出边缘节点s”中所有的最近最小用户效益的服务/应用fmin，判断fmin的数量是否大于1个，是则跳至步骤S3-4，否则跳至步骤S3-5；
S203-4：在S203-3中找到的所有最近最小用户效益的服务/应用fmin中，利用传统缓存算法LRU，找出一个最近最少使用的服务/应用，并将其标记为fselected；
S203-5：节点s”中最近最小用户效益的服务/应用fmin只有一个，则将该服务/应用fmin标记为fselected；
S203-6：将S203-4或S203-5中的fselected从边缘节点s”替换出去；
S203-7：将用户请求的服务/应用f缓存至节点s”；
S203-8：差异化服务策略结束。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过在边缘协作缓存系统中采用差异化服务策略满足了在互联网场景中不同用户的不同服务等级的需求，通过负载均衡策略降低用户请求的排队延迟，提高了节点响应请求延迟的稳定性，提升了用户体验。
附图说明
图1为本发明实施例提供的一种边缘协作缓存系统模型图。
图2为本发明面向互联网场景差异化服务的负载均衡的边缘协作缓存方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示，本发明采用的是基于边云协同与边边协同模式的边缘缓存系统，在所述边缘缓存系统中，研究互联网服务应用在边缘节点协作缓存策略。设定云数据中心拥有/配置了所有的互联网服务应用，由于边缘节点存储容量有限，仅只能从云数据中心下载/获取源文件(或应用安装包)后在节点中进行安装配置。通常情况下，由于边缘节点容量有限，在安装完新的服务应用后，边缘节点将会把源文件(或应用安装包)丢弃。
如图2所示，一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，包括以下步骤：
S1：定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数；
S2：参数初始化，执行边缘协作缓存流程，并调用负载均衡策略、差异化服务策略，所述负载均衡策略用于选择缓存的边缘节点，所述差异化服务策略用于确定替换或放置的文件槽。
如图1所示，一个互联网用户发出应用服务(已部署在云或者边缘节点中) 请求，边缘节点将做出对应四种响应请求的动作。同时响应中参数定义如下：将用户请求记为：r:＝(f,s,p)，请求的服务记为f，边缘节点/服务器记为s，请求的优先级记为p。
本方案中，所述四种响应具体为：
用户发出请求r:＝(f,s,p)，若本地边缘节点s(如用户所接入网络的基站、路由器等带有存储能力的设备)已部署服务f，那么我们称用户请求r本地命中，记本地命中请求访问延迟为tl通常而言tl很小；
用户发出请求r:＝(f,s,p)，若本地边缘节点s未命中，而邻居节点s'已有部署服务f，那么本地节点将请求r转发(relay)至s'，那么我们称用户请求r转发命中，记转发命中请求访问延迟为tr，通常tr较小；
用户发出请求r:＝(f,s,p)，若在边缘节点均不命中，本地节点s则将请求r旁路(bypass)到云数据中心，那么我们称用户请求r节点未命中，记请求访问延迟为tb，通常tb较大；
若用户请求r:＝(f,s,p)在本地节点s或邻居节点s'未命中一次或多次，那么边缘节点s和s'将从云中下载服务应用源代码/应用安装包并配置到节点中，记该动作为fetch，时间开销/延迟为tf，通常tf很大。
本方案中，定义的缓存参数包括有：
用户请求的平均阻塞率ppending，如公式(1)所示
Figure BDA0002598274160000081
其中，npending表示阻塞的请求数量，nrequest表示请求的数量；
由于请求在节点中阻塞，将产生排队延迟，因此定义节点中发生的请求排队总延迟Tqueueing如公式(2)所示：
Figure BDA0002598274160000082
其中，tavgQ为平均排队延迟，其通常设为100毫秒(ms)；
在缓存场景中，缓存命中率hr是缓存系统评估必不可少的性能指标，其定义如公式(3)所示：
Figure BDA0002598274160000091
其中hlocal表示本地节点缓存命中次数，hrelay表示邻居节点缓存命中次数，nrequest表示请求的数量；
平均访问延迟tavg，定义如公式(4)所示：
Figure BDA0002598274160000092
其中，
Figure BDA0002598274160000093
表示本地节点将用户请求旁路(bypass)至云进行服务的比例，其中旁路次数为nbypass，
Figure BDA0002598274160000094
表示边缘节点(包括本地节点和邻居节点)将用户请求的服务配置安装到边缘节点中的比例，其中nfetch为配置安装服务的次数，
Figure BDA0002598274160000095
表示用户请求在节点中需要排队处理的比例，也叫平均阻塞率ppending，其中nqueueing表示在节点中进行排队的用户请求数量；tl表示用户请求在本地节点的访问延迟，tr表示用户请求在邻居节点得到响应的访问延迟，tb表示用户请求在云得到响应的访问延迟，tf表示将用户请求访问的服务/应用安装配置到边缘节点的所耗费的时间；
Figure BDA0002598274160000096
其中AVG(hc)表示求出所有的节点负载计数的平均数的函数；
差异化服务常见于互联网场景，为了满足差异化服务的需求，我们综合考虑了用户请求的优先级与频率，故用户请求的服务等级定义如公式(6)所示：
ulevel＝frequence*priority (6)
其中，ulevel表示用户请求的服务等级，frequence表示用户请求的频率， priority表示用户请求的优先级；
用户请求r:＝(f,s,p)在缓存系统(如图1所示)中得到响应时，依据其服务等级和得到的响应动作，将其用户效益urequest定义如公式(7)所示：
Figure BDA0002598274160000101
鉴于不同的服务请求有着不同的用户效益，为了提高用户效益，故我们在进行缓存替换的时候，可以优先将累计效益较低的服务替换出来，若效益相同再考虑LRU(最近最少使用)策略将最近最少使用的服务替换出来。
在多个边缘节点协作缓存的场景中，用户终端发出请求，如图1所示，其请求的网络路径为“端-边-云”。即“边”(边缘节点)将响应大部分的请求，若边缘节点中无该请求的内容，才将该请求bypass(旁路)至云以使该请求得到响应。以下我们将阐述：用户终端发出请求r:＝(f,s,p)后，边缘协作缓存策略是如何控制边缘节点进行协作的且达到一定的效果。
本方案中，参数初始化，执行边缘协作缓存流程具体为：
S201-1：初始化所有的边缘节点中的参数
Figure BDA0002598274160000102
S1(f),S2(r),hc(si)＝0,U＝0，其中
Figure BDA0002598274160000103
其中η是可取得的最小整数，S1(f)和S2(r)分别为记录f和r的请求队列，初始化为空，节点服务负载计数hc(si)初始化为0，其中i＝1,...,m，m表示边缘缓存系统中的边缘节点个数，用户效益总和为U＝0；
S201-2：用户终端发出的请求r:＝(f,s,p)指向边缘节点s以期望获取内容f， s将f添加到队列S1(f)中，将r添加到队列S2(r)中；
S201-3:判断边缘节点s是否有一文件槽q存有f，是则跳至步骤S1-4，否则跳至步骤S1-5；
S201-4：执行hc(s)+＝1,U+＝getUtility(f,p,'local')，节点s响应r且该延迟为tl，其中getUtility(f,p,'local')表示用公式(7)计算f在用户请求优先级为p、在本地节点s进行服务(local server)时的用户效益；
S201-5：节点s将该请求relay(转发)至其邻居节点s'，判断节点s'中是否有一文件槽q存有f，是则跳至步骤S1-6，否则跳至步骤S1-7；
S201-6：执行hc(s')+＝1,U+＝getUtility(f,p,'relay')，邻居节点s'响应r且该延迟为tl+tr，其中getUtility(f,p,'relay')表示用公式(7)计算f在用户请求优先级为p、在节点s'进行服务(relay server)时的用户效益，执行完S201-6后跳至S201-8；
S201-7:节点s'执行计算U+＝getUtility(f,p,'bypass')，并将该请求 bypass(旁路)至云中心，云响应r且延迟为tl+tr+tb，其中 U+＝getUtility(f,p,'bypass')表示用公式(7)计算f在用户请求优先级为p、在云进行服务(bypass server)时的用户效益；
S201-8：由s或s'或云响应完请求r后，将在节点s或s'处进行缓存更新，如步骤S201-9～S201-17所示；
S201-9：判断请求内容f的队列S1(f)的长度|S1(f)|是否等于μ，是则跳至步骤S201-10，否则跳至步骤S201-13；
S201-10：调用负载均衡策略，执行完负载均衡策略返回此处；
S201-11：调用差异化服务策略，执行完差异化服务策略返回此处；
S201-12：清空队列S1(f)，使其队列长度为0；
S201-13：判断队列S2(r)的长度|S2(r)|是否等于λ，是则跳至步骤S201-14，否则跳至步骤S201-17；
S201-14：将当前节点s设置为选中的节点s”；
S201-15：调用差异化服务策略，执行完差异化服务策略再返回此处；
S201-16：清空队列S2(r)，使其队列长度为0；
S201-17：边缘协作缓存策略结束。
本方案中，所述负载均衡策略执行流程包括：
S202-1：统计所有边缘节点si(i＝1,...,m)的负载计数hc(si)
S202-2：记所有节点中的最大负载计数hcmax＝MAX(hc)；
S202-3：统计所有的节点si的负载hc(si)与hcmax累加差值
Figure BDA0002598274160000111
并设置随机区间的大小
Figure BDA0002598274160000112
S202-4：计算每一个节点sk(k＝1,...,m)的在随机区间randomsize的长度为
Figure BDA0002598274160000121
prk将作为基于节点热度进行概率选取节点的一个依据；
S202-5：计算出randomnum＝RANDOM(0,randomsize)，其中 RANDOM(0,randomsize)表示从区间[0,randomsize]中均匀地随机选取一个值；
S202-6：将randomnum与prk(k＝1,...m)依次进行比较，若randomnum≥prk且randomnum＜prk，则选中的节点s”＝k；
S202-7：输出选中的节点s”，负载均衡策略结束。
本方案中，在缓存替换/更新阶段的采用差异化服务策略，所述差异化服务策略称其为最近最小用户效益-最近最少使用替换算法(LUULRU-Fetch)，差异化服务策略的流程包括：
S203-1：选中的边缘节点为s”，对于用户请求r:＝(f,s,p)，判断s”中是否有一文件槽q存有f，是则跳至步骤S203-8；否则跳至步骤S203-2；
S203-2：判断边缘节点s”的缓存空间是否已满，是则跳至步骤S203-3，否则跳至步骤S3-7；
S203-3：找出边缘节点s”中所有的最近最小用户效益的服务/应用fmin，判断fmin的数量是否大于1个，是则跳至步骤S203-4，否则跳至步骤S203-5；
S203-4：在S203-3中找到的所有最近最小用户效益的服务/应用fmin中，利用传统缓存算法LRU，找出一个最近最少使用的服务/应用，并将其标记为fselected；
S203-5：节点s”中最近最小用户效益的服务/应用fmin只有一个，则将该服务/应用fmin标记为fselected；
S203-6：将S203-4或S203-5中的fselected从边缘节点s”替换出去；
S203-7：将用户请求的服务/应用f缓存至节点s”；
S203-8：差异化服务策略结束。
本发明考虑了互联网场景中不同用户有着不同服务等级的需求，将不同服务等级的用户请求的内容缓存至边缘节点中，使得高等级用户请求的内容相比于低等级用户请求的内容将在节点中保留的时间(缓存替换轮次)更久，使得高服务等级用户请求的平均访问延迟相比低等级用户短，满足了互联网场景下的差异化服务需求；
其次，本发明考虑了互联网场景下，时常发生大量突发的用户请求流量，使得这些用户请求在边缘节点中需要进行排队处理，即产生了排队延迟的现象。本发明对边缘节点的负载情况进行统计分析，提出一种边缘节点负载均衡策略，降低用户请求的排队延迟，提高了节点响应请求延迟的稳定性，提升了用户体验。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (2)

1.一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，其特征在于，包括以下步骤：
S1：定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作及缓存参数；
所述定义用户发出应用服务请求后边缘协作缓存系统中的边缘节点做出的响应动作共包括有四种响应，同时响应中参数定义如下：将用户请求记为：r:＝(f,s,p)，请求的服务记为f，边缘节点/服务器记为s，请求的优先级记为p；
所述四种响应具体为：
用户发出请求r:＝(f,s,p)，若本地边缘节点s已部署服务f，那么我们称用户请求r本地命中，记本地命中请求访问延迟为tl，所述本地边缘节点包括：用户所接入网络的基站、路由器；
用户发出请求r:＝(f,s,p)，若本地边缘节点s未命中，而邻居节点s'已有部署服务f，那么本地节点将请求r转发relay至s'，那么我们称用户请求r转发命中，记转发命中请求访问延迟为tr；
用户发出请求r:＝(f,s,p)，若在边缘节点均不命中，本地节点s则将请求r旁路bypass到云数据中心，那么我们称用户请求r节点未命中，记请求访问延迟为tb；
若用户请求r:＝(f,s,p)在本地节点s或邻居节点s'未命中一次或多次，那么边缘节点s和s'将从云中下载服务应用源代码/应用安装包并配置到节点中，记该动作为fetch，时间开销/延迟为tf；
定义的缓存参数包括有：
用户请求的平均阻塞率ppending，如公式(1)所示
Figure FDA0003305541780000011
其中，npending表示阻塞的请求数量，nrequest表示请求的数量；
节点中发生的请求排队总延迟Tqueueing如公式(2)所示：
Figure FDA0003305541780000021
其中，tavgQ为平均排队延迟，其通常设为100毫秒(ms)，K表示请求的总数量；
缓存命中率hr，如公式(3)所示：
Figure FDA0003305541780000022
其中hlocal表示本地节点缓存命中次数，hrelay表示邻居节点缓存命中次数，nrequest表示请求的数量；
平均访问延迟tavg，定义如公式(4)所示：
Figure FDA0003305541780000023
其中，
Figure FDA0003305541780000024
表示本地节点将用户请求旁路bypass至云进行服务的比例，其中旁路次数为nbypass，
Figure FDA0003305541780000025
表示边缘节点将用户请求的服务配置安装到边缘节点中的比例，边缘节点包括：本地节点和邻居节点，其中nfetch为配置安装服务的次数，
Figure FDA0003305541780000026
表示用户请求在节点中需要排队处理的比例，也叫平均阻塞率ppending，其中nqueueing表示在节点中进行排队的用户请求数量；tl表示用户请求在本地节点的访问延迟，tr表示用户请求在邻居节点得到响应的访问延迟，tb表示用户请求在云得到响应的访问延迟，tf表示将用户请求访问的服务/应用安装配置到边缘节点的所耗费的时间，tq表示在所有的边缘节点中，所有的用户请求的排队延迟时间总和；
边缘节点负载方差va来观察节点的负载均衡情况，其定义如公式(5)所示，其表征节点响应请求延迟的稳定性：
Figure FDA0003305541780000027
其中AVG(hc)表示求出所有的节点负载计数的平均数的函数，m表示整个应用系统中的边缘节点的个数，hc(si) 表示第i个边缘节点，即si的负载计数；用户请求的服务等级定义如公式(6)所示：
ulevel＝frequence*priority (6)
其中，ulevel表示用户请求的服务等级，frequence表示用户请求的频率，priority表示用户请求的优先级；
用户请求r:＝(f,s,p)在缓存系统中得到响应时，依据其服务等级和得到的响应动作，将其用户效益urequest定义如公式(7)所示：
Figure FDA0003305541780000031
S2：参数初始化，执行边缘协作缓存流程，并调用负载均衡策略、差异化服务策略；参数初始化，执行边缘协作缓存流程具体为：
S201-1：初始化所有的边缘节点中的参数，所述参数包括：
Figure FDA0003305541780000032
S1(f),S2(r),hc(si)＝0,U＝0，其中
Figure FDA0003305541780000033
λ表示阈值，其中η是可取得的最小整数，S1(f)和S2(r)分别为记录f和r的请求队列，初始化为空，节点服务负载计数hc(si)初始化为0，其中i＝1,...,m，m表示边缘缓存系统中的边缘节点个数，用户效益总和为U＝0；
S201-2：用户终端发出的请求r:＝(f,s,p)指向边缘节点s以期望获取内容f，s将f添加到队列S1(f)中，将r添加到队列S2(r)中；
S201-3:判断边缘节点s是否有一文件槽q存有f，是则跳至步骤S201-4，否则跳至步骤S201-5；
S201-4：执行hc(s)+＝1,U+＝getUtility(f,p,'local')，节点s响应r且延迟为tl，其中getUtility(f,p,'local')表示用公式(7)计算f在用户请求优先级为p、在本地节点s进行服务时的用户效益；
S201-5：节点s将该请求转发relay转发至其邻居节点s'，判断节点s'中是否有一文件槽q存有f，是则跳至步骤S201-6，否则跳至步骤S201-7；
S201-6：执行hc(s')+＝1,U+＝getUtility(f,p,'relay')，邻居节点s'响应r且延迟为tl+tr，其中getUtility(f,p,'relay')表示用公式(7)计算f在用户请求优先级为p、在节点s'进行服务时的用户效益，执行完S201-6后跳至S201-8；
S201-7:节点s'执行计算U+＝getUtility(f,p,'bypass')，并将该请求旁路bypass至云中心，云响应r且延迟为tl+tr+tb，其中U+＝getUtility(f,p,'bypass')表示用公式(7)计算f在用户请求优先级为p、在云进行服务时的用户效益；
S201-8：由s或s'或云响应完请求r后，将在节点s或s'处进行缓存更新，如步骤S201-9～S201-17所示；
S201-9：判断请求内容f的队列S1(f)的长度|S1(f)|是否等于μ，是则跳至步骤S201-10，否则跳至步骤S201-13；
S201-10：调用负载均衡策略，执行完负载均衡策略返回此处；
S201-11：调用差异化服务策略，执行完差异化服务策略返回此处；
S201-12：清空队列S1(f)，使其队列长度为0；
S201-13：判断队列S2(r)的长度|S2(r)|是否等于λ，是则跳至步骤S201-14，否则跳至步骤S201-17；
S201-14：将当前节点s设置为选中的节点s”；
S201-15：调用差异化服务策略，执行完差异化服务策略再返回此处；
S201-16：清空队列S2(r)，使其队列长度为0；
S201-17：边缘协作缓存策略结束；
所述负载均衡策略执行流程包括：
S202-1：统计所有边缘节点si(i＝1,...,m)的负载计数hc(si)
S202-2：记所有节点中的最大负载计数hcmax＝MAX(hc)；
S202-3：统计所有的节点si的负载hc(si)与hcmax累加差值
Figure FDA0003305541780000041
并设置随机区间的大小
Figure FDA0003305541780000042
S202-4：计算每一个节点sk(k＝1,...,m)的在随机区间randomsize的长度为
Figure FDA0003305541780000043
prk将作为基于节点热度进行概率选取节点的一个依据；
S202-5：计算出randomnum＝RANDOM(0,randomsize)，其中RANDOM(0,randomsize)表示从区间[0,randomsize]中均匀地随机选取一个值；
S202-6：将randomnum与prk(k＝1,...m)依次进行比较，若randomnum≥prk且randomnum＜prk，则选中的节点s”＝k；
S202-7：输出选中的节点s”，负载均衡策略结束；
差异化服务策略的流程包括：
S203-1：选中的边缘节点为s”，对于用户请求r:＝(f,s,p)，判断s”中是否有一文件槽q存有f，是则跳至步骤S203-8；否则跳至步骤S203-2；
S203-2：判断边缘节点s”的缓存空间是否已满，是则跳至步骤S203-3，否则跳至步骤S203-7；
S203-3：找出边缘节点s”中所有的最近最小用户效益的服务/应用fmin，判断fmin的数量是否大于1个，是则跳至步骤S203-4，否则跳至步骤S203-5；
S203-4：在S203-3中找到的所有最近最小用户效益的服务/应用fmin中，利用传统缓存算法LRU，找出一个最近最少使用的服务/应用，并将其标记为fselected；
S203-5：节点s”中最近最小用户效益的服务/应用fmin只有一个，则将该服务/应用fmin标记为fselected；
S203-6：将S203-4或S203-5中的fselected从边缘节点s”替换出去；
S203-7：将用户请求的服务/应用f缓存至节点s”；
S203-8：差异化服务策略结束。
2.根据权利要求1所述的一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法，其特征在于，所述负载均衡策略用于选择缓存的边缘节点，所述差异化服务策略用于确定替换或放置的文件槽。
CN202010716362.6A 2020-07-23 2020-07-23 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法 Active CN112039943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010716362.6A CN112039943B (zh) 2020-07-23 2020-07-23 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010716362.6A CN112039943B (zh) 2020-07-23 2020-07-23 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法

Publications (2)

Publication Number Publication Date
CN112039943A CN112039943A (zh) 2020-12-04
CN112039943B true CN112039943B (zh) 2021-11-26

Family

ID=73582972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010716362.6A Active CN112039943B (zh) 2020-07-23 2020-07-23 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法

Country Status (1)

Country Link
CN (1) CN112039943B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887992B (zh) * 2021-01-12 2022-08-12 滨州学院 基于接入均衡核和置换率的密集无线网络边缘缓存方法
CN114500389B (zh) * 2022-04-06 2022-07-22 北京智维盈讯网络科技有限公司 基于负载均衡连接信息与旁路流量实现流量缝合的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120802A1 (zh) * 2016-12-30 2018-07-05 北京邮电大学 协同内容缓存控制系统和方法
CN109831806A (zh) * 2019-03-06 2019-05-31 西安电子科技大学 密集场景下面向用户优先级的基站协同缓存方法
CN109936633A (zh) * 2019-03-11 2019-06-25 重庆邮电大学 内容中心网络中基于内容重要度的协作缓存策略
CN111432004A (zh) * 2020-03-27 2020-07-17 北京邮电大学 一种移动通信系统及其缓存方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110881054B (zh) * 2018-09-05 2022-07-15 中国移动通信有限公司研究院 一种边缘缓存方法、设备及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120802A1 (zh) * 2016-12-30 2018-07-05 北京邮电大学 协同内容缓存控制系统和方法
CN109831806A (zh) * 2019-03-06 2019-05-31 西安电子科技大学 密集场景下面向用户优先级的基站协同缓存方法
CN109936633A (zh) * 2019-03-11 2019-06-25 重庆邮电大学 内容中心网络中基于内容重要度的协作缓存策略
CN111432004A (zh) * 2020-03-27 2020-07-17 北京邮电大学 一种移动通信系统及其缓存方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"一种移动内容分发网络的分层协同缓存机制";葛志诚等;《计算机学报》;20181231;全文 *

Also Published As

Publication number Publication date
CN112039943A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
Badov et al. Congestion-aware caching and search in information-centric networks
EP2975820B1 (en) Reputation-based strategy for forwarding and responding to interests over a content centric network
CN112039943B (zh) 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法
US9065809B2 (en) Method and node for distributing electronic content in a content distribution network
EP3032805B1 (en) Method and system for optimal caching of content in an information centric network (icn)
CN102447973B (zh) 一种缓存调整的方法、装置和系统
US20030229760A1 (en) Storage-assisted quality of service (QoS)
CN107911711A (zh) 一种考虑分区的边缘缓存替换改进方法
CN103347068A (zh) 一种基于代理集群网络缓存加速方法
Kim et al. Differentiated forwarding and caching in named-data networking
CN115361710A (zh) 一种边缘缓存中的内容放置方法
CN109951317B (zh) 一种基于用户驱动的流行度感知模型的缓存替换方法
George et al. Cooperative caching strategy for video streaming in mobile networks
CN110913430B (zh) 无线网络中文件的主动式协作缓存方法及缓存管理装置
KR102172056B1 (ko) Icn 라우터 및 콘텐츠 제공자 단말을 포함하는 토큰 기반 캐싱 시스템의 제어 방법, 장치 및 프로그램
Shuai et al. A cost-based distributed algorithm for load balancing in content delivery network
Naz et al. A resource efficient multi-dimensional cache management strategy in content centric networks
CN112925472A (zh) 请求处理方法、装置、电子设备及计算机存储介质
CN115190121B (zh) 基于跨地域的微服务过量负载调度系统、方法及设备
Pacifici et al. Cache capacity allocation for BitTorrent-like systems to minimize inter-ISP traffic
CN110943927A (zh) 基于时延管理的命名数据网络传输控制方法、装置和设备
KR102235622B1 (ko) IoT 환경에서의 협력 에지 캐싱 방법 및 그를 위한 장치
CN111835750B (zh) SDN中基于ARIMA模型的DDoS攻击防御方法
Kim et al. Comprehensive analysis of caching performance under probabilistic traffic patterns for content centric networking
Nakagawa et al. Mitigating congestion with explicit cache placement notification for adaptive video streaming over ICN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant