CN111565419A - 一种超密集网络中面向延迟优化的协作式边缘缓存算法 - Google Patents

一种超密集网络中面向延迟优化的协作式边缘缓存算法 Download PDF

Info

Publication number
CN111565419A
CN111565419A CN202010542169.5A CN202010542169A CN111565419A CN 111565419 A CN111565419 A CN 111565419A CN 202010542169 A CN202010542169 A CN 202010542169A CN 111565419 A CN111565419 A CN 111565419A
Authority
CN
China
Prior art keywords
content
time slot
agent
user equipment
base station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010542169.5A
Other languages
English (en)
Other versions
CN111565419B (zh
Inventor
韩光洁
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN202010542169.5A priority Critical patent/CN111565419B/zh
Publication of CN111565419A publication Critical patent/CN111565419A/zh
Application granted granted Critical
Publication of CN111565419B publication Critical patent/CN111565419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints
    • H04W28/14—Flow control between communication endpoints using intermediate storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种超密集网络中面向延迟优化的协作式边缘缓存算法，具体步骤如下：步骤1：设置系统模型的各参数；步骤2：采用基于博弈论的多智能体强化学习算法来为每个SBS做出最优缓存决策，以最大化每个SBS的内容缓存命中率；步骤3：采用改进的分支定界法来为每个SBS做出最优带宽资源分配决策，以最小化所有用户设备的总内容下载延迟。本发明可有效减少超密集网络中所有用户的内容下载延迟，提高内容缓存命中率和频谱资源利用率，且具有良好的鲁棒性和可扩展性，适用于大规模用户密集型的超密集网络。

Description

一种超密集网络中面向延迟优化的协作式边缘缓存算法
技术领域
本发明涉及一种超密集网络中面向延迟优化的协作式边缘缓存算法，属于超密集网络的边缘缓存领域。
背景技术
在5G时代，随着智能移动设备和移动应用的普及，移动数据流量呈爆炸性增长。为了满足5G网络高容量、高吞吐量、高用户体验速率、高可靠性、广覆盖等需求，超密集网络(Ultra-Dense Networks，UDN)应运而生。UDN在MBS(Macro Base Station，MBS)覆盖范围内的室内外热点区域(如办公大楼、商场、地铁、机场、隧道内等)密集部署低功率的小型基站(Small Base Stations，SBS)，以提高网络容量和空间复用度，同时弥补了MBS无法覆盖的盲区。
然而，UDN中的SBS是通过回程链路连接到核心网，随着SBS数量和用户数量的增加，使得回程数据流量急剧增加，造成回程链路拥塞和更大的服务延迟，从而降低服务质量(Quality of Service，QoS)和用户体验质量(Quality of Experience，QoE)。因此，回程网络问题已经成为限制UDN发展的性能瓶颈。
针对以上问题，边缘缓存技术已经成为一种有前景的解决方案，该技术通过在SBS中缓存流行内容，使得用户可以直接从本地SBS获取请求内容，而无需通过回程链路从远程云服务器中下载内容，从而减轻回程链路和核心网的流量负载，降低内容下载延迟，提升QoS和用户QoE。然而，由于单个SBS的缓存容量有限，边缘缓存的性能可能会受到限制。为了扩大缓存容量和增加缓存多样性，可采用一种协作式边缘缓存方案，即多个SBS以协作的方式执行内容缓存，且彼此共享其缓存的内容，以提高内容缓存命中率，降低内容下载延迟。
现有的协作式内容缓存研究大多需要内容流行度的概率分布(如Zipf分布)和用户偏好模型等先验知识，但事实上，内容流行度具有复杂的时空动态特性，通常是一个非平稳的随机过程，因此难以对内容流行度进行准确预测和建模。此外，现有研究大多基于单智能体强化学习算法，该算法是一种集中式算法，需要一个集中式控制中心来收集所有用户的内容请求信息和所有SBS的内存信息，然而该算法的鲁棒性(即集中式控制中心出现故障会导致系统故障)和可扩展性较差(即收敛时间会随着SBS数量的增加而迅速增长)，特别是对于多个SBS的场景，集中式控制中心的位置确定将变得更加复杂，因此不适用于UDN。
发明内容
针对现有技术的不足，本发明提供了一种超密集网络中面向延迟优化的协作式边缘缓存算法，是一种分布式算法。该算法无需内容流行度的概率分布和用户偏好模型等先验知识，而是利用用户的瞬时内容请求来计算内容流行度，从而简化了内容流行度的建模过程。然后，每个SBS根据本地内容流行度信息和其他SBS的缓存决策来做出最优缓存决策，目标是最大化所有SBS的总内容缓存命中率。最后，在确定了每个SBS的最优缓存决策后，每个SBS根据其带宽资源来做出最优资源分配决策，目标是最小化所有用户设备的总内容下载延迟。该算法具有良好的鲁棒性和可扩展性，适用于大规模用户密集型的UDN。
为达到上述目的，本发明的技术方案是这样实现的：
一种超密集网络中面向延迟优化的协作式边缘缓存算法：
步骤1：设置系统模型的各参数；
步骤2：采用基于博弈论的多智能体强化学习(Multi-Agent ReinforcementLearning，MARL)算法来为每个SBS做出最优缓存决策，以最大化每个SBS的内容缓存命中率，包括被本地SBS所命中的缓存命中率和被其他SBS所命中的缓存命中率；
步骤3：采用改进的分支定界法来为每个SBS做出最优带宽资源分配决策，以最小化所有用户设备的总内容下载延迟。该方法将分支定界法和线性下逼近法相结合，适用于决策变量较多的大规模可分离凹整数规划问题。
优选地，所述步骤1的具体步骤如下：
1.1设置网络模型：分为三层，即用户设备层、MEC层和云层，其中，用户设备层包含多个用户设备(UE)，每个UE只能连接到一个SBS；MEC层包含M个SBS和一个MBS，MBS覆盖了所有的SBS，每个SBS覆盖多个UE(每个SBS代表一个小型小区)，SBS之间的覆盖范围不相互重叠，每个SBS上都部署了一个MEC服务器m∈M，其存储容量为scm，所有MEC服务器的存储容量构成一个存储容量大小向量sc＝[sc1,sc2,...,scM]，MEC服务器负责为UE提供边缘缓存资源，同时，负责收集每个小型小区的状态信息(如每个请求内容的大小和流行度、信道增益)并为每个SBS做出相应的缓存决策和信道资源分配决策，SBS之间可以通过MBS进行相互通信，且共享其缓存资源，MBS通过核心骨干网(如光纤回程链路)连接到云层；云层包括若干个云服务器，具有丰富的计算和缓存资源，用于缓存所有的内容；
1.2将整个时间轴划分为T个长度相同的时隙，t∈T表示时隙索引，且采用准静态模型，即在一个时隙内，所有系统状态参数(如每个内容请求的流行度、用户设备的位置、信道增益)保持不变，而不同时隙参数不同；
1.3设置内容流行度模型：共有F个内容，每个内容f∈F的大小为zf，且每个内容的大小不同，所有内容的大小构成一个内容大小向量z＝[z1,z2,...,zf,...,zF]。定义在时隙t每个内容f在小区m内的流行度为
Figure BDA0002539293440000031
在时隙t在小区m内请求内容f的总次数为
Figure BDA0002539293440000032
在时隙t在小区m内所有UE的内容请求总次数为
Figure BDA0002539293440000033
因此
Figure BDA0002539293440000034
小区m内所有内容的流行度
Figure BDA0002539293440000035
构成一个内容流行度向量
Figure BDA0002539293440000036
1.4设置内容请求模型：共有U个UE发送内容请求，定义在时隙t在小区m内发送内容请求的所有UE的集合为
Figure BDA0002539293440000037
在时隙t在小区m内发送内容请求的UE的数量为
Figure BDA0002539293440000038
假设在时隙t每个UE对每个内容最多请求一次，定义在时隙t在小区m内的每个UE
Figure BDA0002539293440000039
的内容请求向量为
Figure BDA00025392934400000310
其中每个元素
Figure BDA00025392934400000311
Figure BDA00025392934400000312
表示在时隙t在小区m内的UE u请求内容f，
Figure BDA00025392934400000313
表示在时隙t在小区m内的UE u没有请求内容f，在时隙t在小区m内的所有UE的内容请求向量构成一个内容请求矩阵
Figure BDA00025392934400000314
即
Figure BDA0002539293440000041
1.5设置缓存模型：定义在时隙t每个MEC服务器m的缓存区维护一个内容缓存决策向量
Figure BDA0002539293440000042
其中每个元素
Figure BDA0002539293440000043
表示在时隙t将内容f缓存在MEC服务器m上，
Figure BDA0002539293440000044
表示在时隙t不将内容f缓存在MEC服务器m上，且每个MEC服务器中缓存内容的总大小不能超过其存储容量scm；
1.6设置通信模型：假设每个SBS工作在相同的频带上，且频带宽度为B，MBS和SBS之间采用有线光纤进行通信，因此SBS和MBS之间的数据传输速率很大。采用正交频分复用技术将频带宽度B划分成β个正交子信道，定义在时隙t在小区m内的每个UE u可以被分配若干个正交子信道
Figure BDA00025392934400000412
每个子信道带宽为
Figure BDA0002539293440000045
由于SBS之间的覆盖范围不相互重叠，因此不同SBS之间和同一SBS的不同UE之间均不存在同频干扰。定义在时隙t UE u与本地SBS m之间的下行SNR值为
Figure BDA0002539293440000046
且
Figure BDA0002539293440000047
其中，
Figure BDA0002539293440000048
表示在时隙t SBS m的发射功率，
Figure BDA0002539293440000049
表示在时隙t SBS m与UE u之间的信道增益，且
Figure BDA00025392934400000410
表示在时隙t SBS m与UE u之间的距离，α表示路径损耗因子，σ2表示加性高斯白噪声的方差。因此，定义在时隙t UE u与本地SBS m之间的下载速率为
Figure BDA00025392934400000411
且
Figure BDA0002539293440000051
定义每个SBS m和MBS n之间的数据传输速率均为常数
Figure BDA0002539293440000052
MBS n和云服务器c之间的数据传输速率为常数
Figure BDA0002539293440000053
且
Figure BDA0002539293440000054
因此，定义在时隙t UE u从本地MEC服务器m中获取内容f所需要的下载延迟为
Figure BDA0002539293440000055
且
Figure BDA0002539293440000056
定义在时隙t UE u从其他非本地MEC服务器-m中获取内容f所需要的下载延迟为
Figure BDA0002539293440000057
且
Figure BDA0002539293440000058
定义在时隙t UE u从云服务器c中获取内容f所需要的下载延迟为
Figure BDA0002539293440000059
且
Figure BDA00025392934400000510
因此，
Figure BDA00025392934400000511
1.7设置内容交付模型：内容交付的基本过程是，每个UE独立地向本地MEC服务器请求若干个内容，若在本地MEC服务器的缓存区已经缓存了该内容，则直接由本地MEC服务器传输给UE；若在本地MEC服务器未缓存该内容，则可以通过MBS从其他SBS的MEC服务器上获取，再由本地MEC服务器传输给UE；若所有的MEC服务器都未缓存该内容，则通过核心网络从云服务器将内容中继到MBS，再由MBS传输到本地MEC服务器，最后由本地MEC服务器将内容交付给UE。定义在时隙t UE u是否从本地MEC服务器m中获取内容f为二元变量
Figure BDA00025392934400000512
其中
Figure BDA00025392934400000513
表示在时隙t UE u从本地服务器m中获取内容f，否则
Figure BDA00025392934400000514
定义在时隙t UE u是否从非本地服务器-m中获取内容f为二元变量
Figure BDA0002539293440000061
其中
Figure BDA0002539293440000062
表示在时隙t UE u从非本地服务器-m中获取内容f，否则
Figure BDA0002539293440000063
定义在时隙t UE u是否从云服务器c中获取内容f为二元变量
Figure BDA0002539293440000064
其中
Figure BDA0002539293440000065
表示在时隙t UE u从云服务器c中获取内容f，否则
Figure BDA0002539293440000066
优选地，所述步骤2中基于博弈论的多智能体强化学习算法的具体步骤如下：
2.1将M个SBS的内容缓存决策问题描述为具有M个智能体的带约束的随机博弈(Constrained Stochastic Game，CSG)问题，该问题可用元组＜M,S,A1,...,AM,r1,...,rM,Pr,c1,c2,...,cM＞来表示，优化目标是最大化每个智能体的长期累积折扣奖励，其中
2.1.1 M表示智能体的个数(即SBS的个数)；
2.1.2 S表示状态空间，st∈S表示在时隙t所有智能体的状态集合，包括在时隙t所有智能体的内容流行度向量
Figure BDA0002539293440000067
因此
Figure BDA0002539293440000068
2.1.3 A1,...,AM表示M个智能体的联合动作空间，定义
Figure BDA0002539293440000069
表示在时隙t智能体m所选择的动作，即
Figure BDA00025392934400000610
2.1.4 r1,...,rM表示M个智能体的奖励函数，定义在时隙t智能体m的奖励函数为
Figure BDA00025392934400000611
表示在状态st下所有智能体执行联合动作
Figure BDA00025392934400000612
之后智能体m所获得的即时奖励，且
Figure BDA00025392934400000613
其中w1和w2表示权重，满足w1+w2＝1且w1＞w2，可以令w1＝0.8，
Figure BDA0002539293440000071
表示被本地MEC服务器m所命中的内容命中率，
Figure BDA0002539293440000072
表示被非本地MEC服务器-m所命中的内容命中率。因此，定义在联合策略(π1,π2,...,πM)下智能体m的状态st的值函数为vm(st,π1,π2,...,πM)，且
Figure BDA0002539293440000073
其中，πm表示在状态st下智能体m的策略，即智能体m从状态到动作概率的映射，δ∈[0,1)表示折扣因子，因此状态值函数vm(st,π1,π2,...,πM)表示智能体m在联合策略(π1,π2,...,πM)下的长期累积折扣奖励的数学期望；
2.1.5 Pr表示状态转移函数，即所有智能体从当前状态st下执行联合动作
Figure BDA0002539293440000074
之后，转移到下一状态st+1的概率，且
Figure BDA0002539293440000075
2.1.6 c1,c2,...,cM表示M个智能体的约束，定义在时隙t智能体m的约束为
Figure BDA0002539293440000076
表示在状态st下智能体m执行动作
Figure BDA0002539293440000077
之后必须满足所缓存内容的总大小不超过其存储容量scm，即满足
Figure BDA0002539293440000078
2.2采用基于博弈论的MARL算法，即Nash Q-learning算法。若对于
Figure BDA0002539293440000079
和
Figure BDA00025392934400000710
均满足
Figure BDA0002539293440000081
则称
Figure BDA0002539293440000082
为智能体m的纳什均衡策略，其中Πm表示智能体m满足约束
Figure BDA0002539293440000083
的可用策略集合，因此，定义在状态st和联合动作
Figure BDA0002539293440000084
下智能体m的Nash Q函数为
Figure BDA0002539293440000085
且
Figure BDA0002539293440000086
其中，
Figure BDA0002539293440000087
表示在状态st下所有智能体执行联合动作
Figure BDA0002539293440000088
之后智能体m所获得的即时奖励，
Figure BDA0002539293440000089
表示在联合纳什均衡策略
Figure BDA00025392934400000810
下智能体m的状态st+1的状态值函数；
2.3在算法的初始化阶段：令时隙t＝0，获取所有智能体的初始状态集合为
Figure BDA00025392934400000811
并且对于
Figure BDA00025392934400000812
和
Figure BDA00025392934400000813
均令
Figure BDA00025392934400000814
2.4在每个时隙t∈T均执行以下步骤：
2.4.1每个智能体m均根据当前状态st、约束条件以及ε-贪婪策略来选择动作
Figure BDA00025392934400000815
并执行，其中ε-贪婪策略是指智能体m每隔一段时间以较小的概率ε来随机选择动作，其他时间以概率1-ε来选择具有最高Q值的动作；
2.4.2观察所有智能体执行的联合动作
Figure BDA00025392934400000816
所有智能体所获得的即时奖励
Figure BDA00025392934400000817
以及下一时隙的状态st+1；
2.4.3定义联合策略
Figure BDA00025392934400000818
为单阶段博弈
Figure BDA00025392934400000819
的纳什均衡策略，并且采用二次规划求出该纳什均衡策略；
2.4.4每个智能体m均根据公式(12)和(13)来更新自身和其他智能体的Q值，即
Figure BDA0002539293440000091
Figure BDA0002539293440000092
其中，ζt∈(0,1)表示学习率，并且每个智能体m均采用异步更新的方式来更新自身的Q值，即每个智能体只更新当前状态和动作所对应的Q值，
Figure BDA0002539293440000093
表示智能体m在状态st+1下选择纳什均衡策略(π1(st+1),...,πM(st+1))所获得的奖励；
2.4.5如果t<T，则令t←t+1，并返回2.4.1；否则，算法结束。
优选地，所述步骤3的具体步骤如下：
3.1在确定了每个SBS m的最佳内容缓存决策向量
Figure BDA0002539293440000094
后，将每个SBS的带宽资源分配问题均描述为非线性整数规划问题P，即对于
Figure BDA0002539293440000095
均要求
Figure BDA0002539293440000096
其中，目标函数和约束函数都可以表示成关于所有决策变量
Figure BDA0002539293440000097
的一元函数求和的形式，即
Figure BDA0002539293440000098
Figure BDA0002539293440000099
并且所有
Figure BDA00025392934400000910
在定义域内均为凹函数，因此目标函数在定义域内是一个可分离的凹函数，约束函数在定义域内是一个线性约束，因此该问题是一个可分离的凹整数规划问题；
3.2每个SBS均采用改进的分支定界法来解决上述可分离的凹整数规划问题，该方法的具体流程为：
3.2.1将原问题P进行连续松弛，即去掉整数约束，并对目标函数进行线性下逼近，从而得到原问题P的连续松弛&线性逼近子问题LSP，LSP是一个可分离的线性规划问题；
3.2.2利用KKT条件求解LSP的连续最优解，如果该连续最优解是整数解，则该连续最优解即为原问题P的最优解，否则该连续最优解的目标函数值就是原问题P最优值的一个下界；
3.2.3然后从该连续最优解出发，进行分支，其中每一分支对应一个子问题，然后解决这些子问题的连续松弛问题，直到找到一个可行整数解为止，该可行整数解的目标函数值为原问题P提供了一个上界，而每个子问题的连续最优解的目标函数值为相应子问题提供了一个下界。如果某一分支无可行解、或连续最优解是整数解、或者其下界超过了上界，就可以剪掉这一分支。而对于没有剪掉的分支，则重复分枝、剪枝的过程，直到所有分支都被剪掉为止。如果某一分支有可行整数解，必要的话需要更新上界，以确保上界等于现有的可行整数解的最小目标函数值；
3.2.4算法结束时，当前最好的可行整数解就是原问题P的最优解。
有益效果：本发明提供了一种超密集网络中面向延迟优化的协作式边缘缓存算法，可以有效减少超密集网络中所有用户的内容下载延迟，提高内容缓存命中率和频谱资源利用率，且具有良好的鲁棒性和可扩展性，适用于大规模用户密集型的超密集网络。
附图说明
图1为步骤1.1中采用边缘缓存技术的UDN的网络模型。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
一种超密集网络中面向延迟优化的协作式边缘缓存算法，具体步骤如下：
步骤1：设置系统模型的各参数；
步骤2：采用基于博弈论的多智能体强化学习算法来为每个SBS做出最优缓存决策，以最大化每个SBS的内容缓存命中率，包括被本地SBS所命中的缓存命中率和被其他SBS所命中的缓存命中率；
步骤3：采用改进的分支定界法来为每个SBS做出最优带宽资源分配决策，以最小化所有用户设备的总内容下载延迟。该方法将分支定界法和线性下逼近法相结合，适用于决策变量较多的大规模可分离凹整数规划问题。
优选地，所述步骤1中具体步骤如下：
1.1设置网络模型：分为三层，即用户设备层、MEC层和云层，其中，用户设备层包含多个用户设备(UE)，每个UE只能连接到一个SBS；MEC层包含M个SBS和一个MBS，MBS覆盖了所有的SBS，每个SBS覆盖多个UE(每个SBS代表一个小型小区)，SBS之间的覆盖范围不相互重叠，每个SBS上都部署了一个MEC服务器m∈M，其存储容量为scm，所有MEC服务器的存储容量构成一个存储容量大小向量sc＝[sc1,sc2,...,scM]，MEC服务器负责为UE提供边缘缓存资源，同时，负责收集每个小型小区的状态信息(如每个请求内容的大小和流行度、信道增益)并为每个SBS做出相应的缓存决策和信道资源分配决策，SBS之间可以通过MBS进行相互通信，且共享其缓存资源，MBS通过核心骨干网(如光纤回程链路)连接到云层；云层包括若干个云服务器，具有丰富的计算和缓存资源，用于缓存所有的内容；
1.2将整个时间轴划分为T个长度相同的时隙，t∈T表示时隙索引，且采用准静态模型，即在一个时隙内，所有系统状态参数(如每个内容请求的流行度、用户设备的位置、信道增益)保持不变，而不同时隙参数不同；
1.3设置内容流行度模型：共有F个内容，每个内容f∈F的大小为zf，且每个内容的大小不同，所有内容的大小构成一个内容大小向量z＝[z1,z2,...,zf,...,zF]。定义在时隙t每个内容f在小区m内的流行度为
Figure BDA0002539293440000111
在时隙t在小区m内请求内容f的总次数为
Figure BDA0002539293440000112
在时隙t在小区m内所有UE的内容请求总次数为
Figure BDA0002539293440000113
因此
Figure BDA0002539293440000114
小区m内所有内容的流行度
Figure BDA0002539293440000115
构成一个内容流行度向量
Figure BDA0002539293440000121
1.4设置内容请求模型：共有U个UE发送内容请求，定义在时隙t在小区m内发送内容请求的所有UE的集合为
Figure BDA0002539293440000122
在时隙t在小区m内发送内容请求的UE的数量为
Figure BDA0002539293440000123
假设在时隙t每个UE对每个内容最多请求一次，定义在时隙t在小区m内的每个
Figure BDA0002539293440000124
的内容请求向量为
Figure BDA0002539293440000125
其中每个元素
Figure BDA0002539293440000126
Figure BDA0002539293440000127
表示在时隙t在小区m内的UE u请求内容f，
Figure BDA0002539293440000128
表示在时隙t在小区m内的UE u没有请求内容f，在时隙t在小区m内的所有UE的内容请求向量构成一个内容请求矩阵
Figure BDA0002539293440000129
1.5设置缓存模型：定义在时隙t每个MEC服务器m的缓存区维护一个内容缓存决策向量
Figure BDA00025392934400001210
其中每个元素
Figure BDA00025392934400001211
表示在时隙t将内容f缓存在MEC服务器m上，
Figure BDA00025392934400001212
表示在时隙t不将内容f缓存在MEC服务器m上，且每个MEC服务器中缓存内容的总大小不能超过其存储容量scm；
1.6设置通信模型：假设每个SBS工作在相同的频带上，且频带宽度为B，MBS和SBS之间采用有线光纤进行通信，因此SBS和MBS之间的数据传输速率很大。采用正交频分复用技术将频带宽度B划分成β个正交子信道，定义在时隙t在小区m内的每个UE u可以被分配若干个正交子信道
Figure BDA00025392934400001213
每个子信道带宽为
Figure BDA00025392934400001214
由于SBS之间的覆盖范围不相互重叠，因此不同SBS之间和同一SBS的不同UE之间均不存在同频干扰。定义在时隙t UE u与本地SBS m之间的下行SNR值为
Figure BDA00025392934400001215
且
Figure BDA00025392934400001216
其中，
Figure BDA00025392934400001217
表示在时隙t SBS m的发射功率，
Figure BDA00025392934400001218
表示在时隙t SBS m与UE u之间的信道增益，且
Figure BDA0002539293440000131
表示在时隙t SBS m与UE u之间的距离，α表示路径损耗因子，σ2表示加性高斯白噪声的方差。因此，定义在时隙t UE u与本地SBS m之间的下载速率为
Figure BDA0002539293440000132
且
Figure BDA0002539293440000133
定义每个SBS m和MBS n之间的数据传输速率均为常数
Figure BDA0002539293440000134
MBS n和云服务器c之间的数据传输速率为常数
Figure BDA0002539293440000135
且
Figure BDA0002539293440000136
因此，定义在时隙t UE u从本地MEC服务器m中获取内容f所需要的下载延迟为
Figure BDA0002539293440000137
且
Figure BDA0002539293440000138
定义在时隙t UE u从其他非本地MEC服务器-m中获取内容f所需要的下载延迟为
Figure BDA0002539293440000139
且
Figure BDA00025392934400001310
定义在时隙t UE u从云服务器c中获取内容f所需要的下载延迟为
Figure BDA00025392934400001311
且
Figure BDA00025392934400001312
因此，
Figure BDA00025392934400001313
1.7设置内容交付模型：定义在时隙t UE u是否从本地MEC服务器m中获取内容f为二元变量
Figure BDA00025392934400001314
其中
Figure BDA00025392934400001315
表示在时隙t UE u从本地服务器m中获取内容f，否则
Figure BDA00025392934400001316
定义在时隙t UE u是否从非本地服务器-m中获取内容f为二元变量
Figure BDA00025392934400001317
其中
Figure BDA00025392934400001318
表示在时隙tUE u从非本地服务器-m中获取内容f，否则
Figure BDA0002539293440000141
定义在时隙t UE u是否从云服务器c中获取内容f为二元变量
Figure BDA0002539293440000142
其中
Figure BDA0002539293440000143
表示在时隙t UE u从云服务器c中获取内容f，否则
Figure BDA0002539293440000144
优选地，所述步骤2中，具体步骤如下：
2.1将M个SBS的内容缓存决策问题描述为具有M个智能体的带约束的随机博弈(Constrained Stochastic Game，CSG)问题，该问题可用元组＜M,S,A1,...,AM,r1,...,rM,Pr,c1,c2,...,cM＞来表示，优化目标是最大化每个智能体的长期累积折扣奖励，其中
2.1.1 M表示智能体的个数(即SBS的个数)；
2.1.2 S表示状态空间，st∈S表示在时隙t所有智能体的状态集合，包括在时隙t所有智能体的内容流行度向量
Figure BDA0002539293440000145
因此
Figure BDA0002539293440000146
2.1.3 A1,...,AM表示M个智能体的联合动作空间，定义
Figure BDA0002539293440000147
表示在时隙t智能体m所选择的动作，即
Figure BDA0002539293440000148
2.1.4 r1,...,rM表示M个智能体的奖励函数，定义在时隙t智能体m的奖励函数为
Figure BDA0002539293440000149
表示在状态st下所有智能体执行联合动作
Figure BDA00025392934400001410
之后智能体m所获得的即时奖励，且
Figure BDA00025392934400001411
其中w1和w2表示权重，满足w1+w2＝1且w1＞w2，可以令w1＝0.8，
Figure BDA0002539293440000151
表示被本地MEC服务器m所命中的内容命中率，
Figure BDA0002539293440000152
表示被非本地MEC服务器-m所命中的内容命中率。因此，定义在联合策略(π1,π2,...,πM)下智能体m的状态st的值函数为vm(st,π1,π2,...,πM)，且
Figure BDA0002539293440000153
其中，πm表示在状态st下智能体m的策略，即智能体m从状态到动作概率的映射，δ∈[0,1)表示折扣因子，因此状态值函数vm(st,π1,π2,...,πM)表示智能体m在联合策略(π1,π2,...,πM)下的长期累积折扣奖励的数学期望；
2.1.5Pr表示状态转移函数，即所有智能体从当前状态st下执行联合动作
Figure BDA0002539293440000154
之后，转移到下一状态st+1的概率，且
Figure BDA0002539293440000155
2.1.6 c1,c2,...,cM表示M个智能体的约束，定义在时隙t智能体m的约束为
Figure BDA0002539293440000156
表示在状态st下智能体m执行动作
Figure BDA0002539293440000157
之后必须满足所缓存内容的总大小不超过其存储容量scm，即满足
Figure BDA0002539293440000158
2.2采用基于博弈论的MARL算法，即Nash Q-learning算法。若对于
Figure BDA0002539293440000159
和
Figure BDA00025392934400001510
均满足
Figure BDA0002539293440000161
则称
Figure BDA0002539293440000162
为智能体m的纳什均衡策略，其中Πm表示智能体m满足约束
Figure BDA0002539293440000163
的可用策略集合，因此，定义在状态st和联合动作
Figure BDA0002539293440000164
下智能体m的Nash Q函数为
Figure BDA0002539293440000165
且
Figure BDA0002539293440000166
其中，
Figure BDA0002539293440000167
表示在状态st下所有智能体执行联合动作
Figure BDA0002539293440000168
之后智能体m所获得的即时奖励，
Figure BDA0002539293440000169
表示在联合纳什均衡策略
Figure BDA00025392934400001610
下智能体m的状态st+1的状态值函数；
2.3在算法的初始化阶段：令时隙t＝0，获取所有智能体的初始状态集合为
Figure BDA00025392934400001611
并且对于
Figure BDA00025392934400001612
和
Figure BDA00025392934400001613
均令
Figure BDA00025392934400001614
2.4在每个时隙t∈T均执行以下步骤：
2.4.1每个智能体m均根据当前状态st、约束条件以及ε-贪婪策略来选择动作
Figure BDA00025392934400001615
并执行，其中ε-贪婪策略是指智能体m每隔一段时间以较小的概率ε来随机选择动作，其他时间以概率1-ε来选择具有最高Q值的动作；
2.4.2观察所有智能体执行的联合动作
Figure BDA00025392934400001616
所有智能体所获得的即时奖励
Figure BDA00025392934400001617
以及下一时隙的状态st+1；
2.4.3定义联合策略(π1(st+1),...,πM(st+1))为单阶段博弈
Figure BDA00025392934400001618
的纳什均衡策略，并且采用二次规划求出该纳什均衡策略；
2.4.4每个智能体m均根据公式(12)和(13)来更新自身和其他智能体的Q值，即
Figure BDA0002539293440000171
Figure BDA0002539293440000172
其中，ζt∈(0,1)表示学习率，并且每个智能体m均采用异步更新的方式来更新自身的Q值，即每个智能体只更新当前状态和动作所对应的Q值，
Figure BDA0002539293440000173
表示智能体m在状态st+1下选择纳什均衡策略(π1(st+1),...,πM(st+1))所获得的奖励；
2.4.5如果t<T，则令t←t+1，并返回2.4.1；否则，算法结束。
优选地，所述步骤3中，具体步骤如下：
3.1在确定了每个SBS m的最佳内容缓存决策向量
Figure BDA0002539293440000174
后，将每个SBS的带宽资源分配问题均描述为非线性整数规划问题P，即对于
Figure BDA0002539293440000175
均要求
Figure BDA0002539293440000176
其中，目标函数和约束函数都可以表示成关于所有决策变量
Figure BDA0002539293440000177
的一元函数求和的形式，即
Figure BDA0002539293440000178
Figure BDA0002539293440000179
并且所有
Figure BDA00025392934400001710
在定义域内均为凹函数，因此目标函数在定义域内是一个可分离的凹函数，约束函数在定义域内是一个线性约束，因此该问题是一个可分离的凹整数规划问题；
3.2每个SBS均采用改进的分支定界法来解决上述可分离的凹整数规划问题，该方法的具体流程为：
3.2.1将原问题P进行连续松弛，即去掉整数约束，并对目标函数进行线性下逼近，从而得到原问题P的连续松弛&线性逼近子问题LSP，LSP是一个可分离的线性规划问题；
3.2.2利用KKT条件求解LSP的连续最优解，如果该连续最优解是整数解，则该连续最优解即为原问题P的最优解，否则该连续最优解的目标函数值就是原问题P最优值的一个下界；
3.2.3然后从该连续最优解出发，进行分支，其中每一分支对应一个子问题，然后解决这些子问题的连续松弛问题，直到找到一个可行整数解为止，该可行整数解的目标函数值为原问题P提供了一个上界，而每个子问题的连续最优解的目标函数值为相应子问题提供了一个下界。如果某一分支无可行解、或连续最优解是整数解、或者其下界超过了上界，就可以剪掉这一分支。而对于没有剪掉的分支，则重复分枝、剪枝的过程，直到所有分支都被剪掉为止。如果某一分支有可行整数解，必要的话需要更新上界，以确保上界等于现有的可行整数解的最小目标函数值；
3.2.4算法结束时，当前最好的可行整数解就是原问题P的最优解。
本发明中提及的方法均属于本领域技术人员掌握的常规技术手段，故而未加详述。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种超密集网络中面向延迟优化的协作式边缘缓存算法，其特征在于，具体步骤如下：
步骤1：设置系统模型的各参数；
1.1设置网络模型：分为三层，即用户设备层、MEC层和云层，其中，用户设备层包含多个用户设备，每个用户设备只能连接到一个小型基站；MEC层包含M个小型基站和一个宏基站，宏基站覆盖了所有的小型基站，每个小型基站覆盖多个用户设备，每个小型基站代表一个小型小区，小型基站之间的覆盖范围不相互重叠，每个小型基站上都部署了一个MEC服务器m∈M，其存储容量为scm，所有MEC服务器的存储容量构成一个存储容量大小向量sc＝[sc1,sc2,...,scM]，MEC服务器负责为用户设备提供边缘缓存资源，同时，负责收集每个小型小区的状态信息，并为每个小型基站做出相应的缓存决策和信道资源分配决策，小型基站之间通过宏基站进行相互通信，且共享其缓存资源，宏基站通过核心骨干网连接到云层；云层包括若干个云服务器，具有丰富的计算和缓存资源，用于缓存所有的内容；
1.2将整个时间轴划分为T个长度相同的时隙，t∈T表示时隙索引，且采用准静态模型，即在一个时隙内，所有系统状态参数保持不变，而不同时隙参数不同；
1.3设置内容流行度模型：共有F个内容，每个内容f∈F的大小为zf，且每个内容的大小不同，所有内容的大小构成一个内容大小向量z＝[z1,z2,...,zf,...,zF]，定义在时隙t每个内容f在小区m内的流行度为
Figure FDA0002539293430000011
在时隙t在小区m内请求内容f的总次数为
Figure FDA0002539293430000012
在时隙t在小区m内所有用户设备的内容请求总次数为
Figure FDA0002539293430000013
因此
Figure FDA0002539293430000014
小区m内所有内容的流行度
Figure FDA0002539293430000015
构成一个内容流行度向量
Figure FDA0002539293430000016
1.4设置内容请求模型：共有U个用户设备发送内容请求，定义在时隙t在小区m内发送内容请求的所有用户设备的集合为
Figure FDA0002539293430000017
在时隙t在小区m内发送内容请求的用户设备的数量为
Figure FDA0002539293430000021
假设在时隙t每个UE对每个内容最多请求一次，定义在时隙t在小区m内的每个UE
Figure FDA0002539293430000022
的内容请求向量为
Figure FDA0002539293430000023
其中每个元素
Figure FDA0002539293430000024
Figure FDA0002539293430000025
表示在时隙t在小区m内的用户设备u请求内容f，
Figure FDA0002539293430000026
表示在时隙t在小区m内的用户设备u没有请求内容f，在时隙t在小区m内的所有用户设备的内容请求向量构成一个内容请求矩阵
Figure FDA0002539293430000027
1.5设置缓存模型：定义在时隙t每个MEC服务器m的缓存区维护一个内容缓存决策向量
Figure FDA0002539293430000028
其中每个元素
Figure FDA0002539293430000029
Figure FDA00025392934300000210
表示在时隙t将内容f缓存在MEC服务器m上，
Figure FDA00025392934300000211
表示在时隙t不将内容f缓存在MEC服务器m上，且每个MEC服务器中缓存内容的总大小不能超过其存储容量scm；
1.6设置通信模型：采用正交频分复用技术将频带宽度B划分成β个正交子信道，定义在时隙t在小区m内的每个用户设备u被分配若干个正交子信道
Figure FDA00025392934300000212
每个子信道带宽为
Figure FDA00025392934300000213
定义在时隙t用户设备u与本地小型基站m之间的下行SNR值为
Figure FDA00025392934300000214
且
Figure FDA00025392934300000215
其中，
Figure FDA00025392934300000216
表示在时隙t小型基站m的发射功率，
Figure FDA00025392934300000217
表示在时隙t小型基站m与用户设备u之间的信道增益，且
Figure FDA00025392934300000218
lu,m表示在时隙t小型基站m与用户设备u之间的距离，α表示路径损耗因子，σ2表示加性高斯白噪声的方差；定义在时隙t用户设备u与本地小型基站m之间的下载速率为
Figure FDA00025392934300000219
且
Figure FDA00025392934300000220
定义每个小型基站m和宏基站n之间的数据传输速率均为常数θm,n，宏基站n和云服务器c之间的数据传输速率为常数θn,c，且θm,n＞θn,c；定义在时隙t用户设备u从本地MEC服务器m中获取内容f所需要的下载延迟为
Figure FDA0002539293430000031
且
Figure FDA0002539293430000032
定义在时隙t用户设备u从其他非本地MEC服务器-m中获取内容f所需要的下载延迟为
Figure FDA0002539293430000033
且
Figure FDA0002539293430000034
定义在时隙t用户设备u从云服务器c中获取内容f所需要的下载延迟为
Figure FDA0002539293430000035
且
Figure FDA0002539293430000036
因此，
Figure FDA0002539293430000037
1.7设置内容交付模型：内容交付的基本过程是，每个用户设备独立地向本地MEC服务器请求若干个内容，若在本地MEC服务器的缓存区已经缓存了该内容，则直接由本地MEC服务器传输给用户设备；若在本地MEC服务器未缓存该内容，则可以通过宏基站从其他小型基站的MEC服务器上获取，再由本地MEC服务器传输给用户设备；若所有的MEC服务器都未缓存该内容，则通过核心网络从云服务器将内容中继到宏基站，再由宏基站传输到本地MEC服务器，最后由本地MEC服务器将内容交付给用户设备；
定义在时隙t用户设备u是否从本地MEC服务器m中获取内容f为二元变量
Figure FDA0002539293430000038
其中
Figure FDA0002539293430000039
表示在时隙t用户设备u从本地服务器m中获取内容f，否则
Figure FDA00025392934300000310
定义在时隙t用户设备u是否从非本地服务器-m中获取内容f为二元变量
Figure FDA00025392934300000311
其中
Figure FDA00025392934300000312
表示在时隙t用户设备u从非本地服务器-m中获取内容f，否则
Figure FDA0002539293430000041
定义在时隙t用户设备u是否从云服务器c中获取内容f为二元变量
Figure FDA0002539293430000042
其中
Figure FDA0002539293430000043
表示在时隙t用户设备u从云服务器c中获取内容f，否则
Figure FDA0002539293430000044
步骤2：采用基于博弈论的多智能体强化学习算法来为每个小型基站做出最优缓存决策，以最大化每个小型基站的内容缓存命中率，包括被本地小型基站所命中的缓存命中率和被其他小型基站所命中的缓存命中率；
步骤3：采用改进的分支定界法来为每个小型基站做出最优带宽资源分配决策，以最小化所有用户设备的总内容下载延迟。
2.根据权利要求1所述的一种超密集网络中面向延迟优化的协作式边缘缓存算法，其特征在于，所述步骤2中基于博弈论的多智能体强化学习算法的具体步骤如下：
2.1将M个小型基站的内容缓存决策问题描述为具有M个智能体的带约束的随机博弈问题，问题用元组＜M,S,A1,...,AM,r1,...,rM,Pr,c1,c2,...,cM＞来表示，优化目标是最大化每个智能体的长期累积折扣奖励，其中
2.1.1 M表示智能体的个数，即小型基站的个数；
2.1.2 S表示状态空间，st∈S表示在时隙t所有智能体的状态集合，包括在时隙t所有智能体的内容流行度向量
Figure FDA0002539293430000045
因此
Figure FDA0002539293430000046
2.1.3 A1,...,AM表示M个智能体的联合动作空间，定义
Figure FDA0002539293430000047
表示在时隙t智能体m所选择的动作，即
Figure FDA0002539293430000048
2.1.4 r1,...,rM表示M个智能体的奖励函数，定义在时隙t智能体m的奖励函数为
Figure FDA0002539293430000049
表示在状态st下所有智能体执行联合动作
Figure FDA00025392934300000410
之后智能体m所获得的即时奖励，且
Figure FDA0002539293430000051
其中w1和w2表示权重，满足w1+w2＝1且w1＞w2，令w1＝0.8，
Figure FDA0002539293430000052
表示被本地MEC服务器m所命中的内容命中率，
Figure FDA0002539293430000053
表示被非本地MEC服务器-m所命中的内容命中率；定义在联合策略(π1,π2,...,πM)下智能体m的状态st的值函数为vm(st,π1,π2,...,πM)，且
Figure FDA0002539293430000054
其中，πm表示在状态st下智能体m的策略，即智能体m从状态到动作概率的映射，δ∈[0,1)表示折扣因子，因此状态值函数vm(st,π1,π2,...,πM)表示智能体m在联合策略(π1,π2,...,πM)下的长期累积折扣奖励的数学期望；
2.1.5 Pr表示状态转移函数，即所有智能体从当前状态st下执行联合动作
Figure FDA0002539293430000055
之后，转移到下一状态st+1的概率，且
Figure FDA0002539293430000056
2.1.6 c1,c2,...,cM表示M个智能体的约束，定义在时隙t智能体m的约束为
Figure FDA0002539293430000057
表示在状态st下智能体m执行动作
Figure FDA0002539293430000061
之后必须满足所缓存内容的总大小不超过其存储容量scm，即满足
Figure FDA0002539293430000062
2.2采用基于博弈论的MARL算法，即Nash Q-learning算法；若对于
Figure FDA0002539293430000063
Figure FDA0002539293430000064
和
Figure FDA0002539293430000065
均满足
Figure FDA0002539293430000066
则称
Figure FDA0002539293430000067
为智能体m的纳什均衡策略，其中Πm表示智能体m满足约束
Figure FDA0002539293430000068
的可用策略集合，因此，定义在状态st和联合动作
Figure FDA0002539293430000069
下智能体m的Nash Q函数为
Figure FDA00025392934300000610
且
Figure FDA00025392934300000611
其中，
Figure FDA00025392934300000612
表示在状态st下所有智能体执行联合动作
Figure FDA00025392934300000613
之后智能体m所获得的即时奖励，
Figure FDA00025392934300000614
表示在联合纳什均衡策略
Figure FDA00025392934300000615
下智能体m的状态st+1的状态值函数；
2.3在算法的初始化阶段：令时隙t＝0，获取所有智能体的初始状态集合为
Figure FDA00025392934300000616
并且对于
Figure FDA00025392934300000617
和
Figure FDA00025392934300000618
均令
Figure FDA00025392934300000619
2.4在每个时隙t∈T均执行以下步骤：
2.4.1每个智能体m均根据当前状态st、约束条件以及ε-贪婪策略来选择动作
Figure FDA00025392934300000620
并执行，其中ε-贪婪策略是指智能体m每隔一段时间以较小的概率ε来随机选择动作，其他时间以概率1-ε来选择具有最高Q值的动作；
2.4.2观察所有智能体执行的联合动作
Figure FDA00025392934300000621
所有智能体所获得的即时奖励
Figure FDA0002539293430000071
以及下一时隙的状态st+1；
2.4.3定义联合策略(π1(st+1),...,πM(st+1))为单阶段博弈
Figure FDA0002539293430000072
的纳什均衡策略，并且采用二次规划求出该纳什均衡策略；
2.4.4每个智能体m均根据公式(12)和(13)来更新自身和其他智能体的Q值，即
Figure FDA0002539293430000073
Figure FDA0002539293430000074
其中，ζt∈(0,1)表示学习率，并且每个智能体m均采用异步更新的方式来更新自身的Q值，即每个智能体只更新当前状态和动作所对应的Q值，
Figure FDA0002539293430000075
表示智能体m在状态st+1下选择纳什均衡策略(π1(st+1),...,πM(st+1))所获得的奖励；
2.4.5如果t<T，则令t←t+1，并返回2.4.1；否则，算法结束。
3.根据权利要求1所述的一种超密集网络中面向延迟优化的协作式边缘缓存算法，其特征在于，所述步骤3中具体步骤如下：
3.1在确定了每个小型基站m的最佳内容缓存决策向量
Figure FDA0002539293430000076
后，将每个小型基站的带宽资源分配问题均描述为非线性整数规划问题P，即对于
Figure FDA0002539293430000077
均要求
Figure FDA0002539293430000078
其中，目标函数和约束函数都可以表示成关于所有决策变量
Figure FDA0002539293430000079
的一元函数求和的形式，即
Figure FDA0002539293430000081
Figure FDA0002539293430000082
并且所有
Figure FDA0002539293430000083
在定义域内均为凹函数，因此目标函数在定义域内是一个可分离的凹函数，约束函数在定义域内是一个线性约束，因此该问题是一个可分离的凹整数规划问题；
3.2每个小型基站均采用改进的分支定界法来解决上述可分离的凹整数规划问题，具体流程为：
3.2.1将原问题P进行连续松弛，即去掉整数约束，并对目标函数进行线性下逼近，从而得到原问题P的连续松弛&线性逼近子问题LSP，LSP是一个可分离的线性规划问题；
3.2.2利用KKT条件求解LSP的连续最优解，如果该连续最优解是整数解，则该连续最优解即为原问题P的最优解，否则该连续最优解的目标函数值就是原问题P最优值的一个下界；
3.2.3然后从该连续最优解出发，进行分支，其中每一分支对应一个子问题，然后解决这些子问题的连续松弛问题，直到找到一个可行整数解为止，该可行整数解的目标函数值为原问题P提供了一个上界，而每个子问题的连续最优解的目标函数值为相应子问题提供了一个下界；如果某一分支无可行解、或连续最优解是整数解、或者其下界超过了上界，就可以剪掉这一分支；而对于没有剪掉的分支，则重复分枝、剪枝的过程，直到所有分支都被剪掉为止；如果某一分支有可行整数解，必要的话需要更新上界，以确保上界等于现有的可行整数解的最小目标函数值；
3.2.4算法结束时，当前最好的可行整数解就是原问题P的最优解。
CN202010542169.5A 2020-06-15 2020-06-15 一种超密集网络中面向延迟优化的协作式边缘缓存方法 Active CN111565419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010542169.5A CN111565419B (zh) 2020-06-15 2020-06-15 一种超密集网络中面向延迟优化的协作式边缘缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010542169.5A CN111565419B (zh) 2020-06-15 2020-06-15 一种超密集网络中面向延迟优化的协作式边缘缓存方法

Publications (2)

Publication Number Publication Date
CN111565419A true CN111565419A (zh) 2020-08-21
CN111565419B CN111565419B (zh) 2024-03-19

Family

ID=72072652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010542169.5A Active CN111565419B (zh) 2020-06-15 2020-06-15 一种超密集网络中面向延迟优化的协作式边缘缓存方法

Country Status (1)

Country Link
CN (1) CN111565419B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188560A (zh) * 2020-09-08 2021-01-05 北京科技大学 一种边缘协同的计算资源分配方法
CN112218337A (zh) * 2020-09-04 2021-01-12 暨南大学 一种移动边缘计算中的缓存策略决策方法
CN112819285A (zh) * 2021-01-05 2021-05-18 北京百度网讯科技有限公司 航班的匹配处理、训练方法、装置和设备
CN112887992A (zh) * 2021-01-12 2021-06-01 滨州学院 基于接入均衡核和置换率的密集无线网络边缘缓存方法
CN113225584A (zh) * 2021-03-24 2021-08-06 西安交通大学 一种基于编码和缓存的跨层联合的视频传输方法、系统
CN113490219A (zh) * 2021-07-06 2021-10-08 香港中文大学（深圳） 一种面向超密集组网的动态资源分配方法
CN113573324A (zh) * 2021-07-06 2021-10-29 河海大学 工业物联网中协作式任务卸载和资源分配的联合优化方法
CN115065728A (zh) * 2022-06-13 2022-09-16 福州大学 一种基于多策略强化学习的多目标内容存储方法
CN116112708A (zh) * 2022-12-30 2023-05-12 山东大学 一种面向自适应流媒体的联合内容存储、码率转换与功率分配资源优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110445825A (zh) * 2018-05-04 2019-11-12 东南大学 基于强化学习的超密集网络小站编码协作缓存方法
CN111163521A (zh) * 2020-01-16 2020-05-15 重庆邮电大学 移动边缘计算中一种分布式异构环境下的资源分配方法
CN111262940A (zh) * 2020-01-17 2020-06-09 中南大学 一种车载边缘计算应用缓存方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110445825A (zh) * 2018-05-04 2019-11-12 东南大学 基于强化学习的超密集网络小站编码协作缓存方法
CN111163521A (zh) * 2020-01-16 2020-05-15 重庆邮电大学 移动边缘计算中一种分布式异构环境下的资源分配方法
CN111262940A (zh) * 2020-01-17 2020-06-09 中南大学 一种车载边缘计算应用缓存方法、装置及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI LIU等: "Performance Modelling of Representative Load Sharing Schemes for Clustered Servers in Multi-access Edge Computing", 《IEEE》 *
PANKAJ KUMAR KASHYAP等: "Deep Learning Based Offloading scheme for IoT Networks Towards Green Computing", 《IEEE》 *
ZIDONG ZHANG等: "Deep Reinforcement Learning for Power System: An Overview", 《IEEE》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112218337A (zh) * 2020-09-04 2021-01-12 暨南大学 一种移动边缘计算中的缓存策略决策方法
CN112218337B (zh) * 2020-09-04 2023-02-28 暨南大学 一种移动边缘计算中的缓存策略决策方法
CN112188560B (zh) * 2020-09-08 2021-11-30 北京科技大学 一种边缘协同的计算资源分配方法
CN112188560A (zh) * 2020-09-08 2021-01-05 北京科技大学 一种边缘协同的计算资源分配方法
CN112819285A (zh) * 2021-01-05 2021-05-18 北京百度网讯科技有限公司 航班的匹配处理、训练方法、装置和设备
CN112819285B (zh) * 2021-01-05 2023-09-26 北京百度网讯科技有限公司 航班的匹配处理、训练方法、装置和设备
CN112887992B (zh) * 2021-01-12 2022-08-12 滨州学院 基于接入均衡核和置换率的密集无线网络边缘缓存方法
CN112887992A (zh) * 2021-01-12 2021-06-01 滨州学院 基于接入均衡核和置换率的密集无线网络边缘缓存方法
CN113225584A (zh) * 2021-03-24 2021-08-06 西安交通大学 一种基于编码和缓存的跨层联合的视频传输方法、系统
CN113490219B (zh) * 2021-07-06 2022-02-25 香港中文大学（深圳） 一种面向超密集组网的动态资源分配方法
CN113573324A (zh) * 2021-07-06 2021-10-29 河海大学 工业物联网中协作式任务卸载和资源分配的联合优化方法
CN113490219A (zh) * 2021-07-06 2021-10-08 香港中文大学（深圳） 一种面向超密集组网的动态资源分配方法
CN115065728A (zh) * 2022-06-13 2022-09-16 福州大学 一种基于多策略强化学习的多目标内容存储方法
CN115065728B (zh) * 2022-06-13 2023-12-08 福州大学 一种基于多策略强化学习的多目标内容存储方法
CN116112708A (zh) * 2022-12-30 2023-05-12 山东大学 一种面向自适应流媒体的联合内容存储、码率转换与功率分配资源优化方法
CN116112708B (zh) * 2022-12-30 2024-05-07 山东大学 一种面向自适应流媒体的联合内容存储、码率转换与功率分配资源优化方法

Also Published As

Publication number Publication date
CN111565419B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN111565419A (zh) 一种超密集网络中面向延迟优化的协作式边缘缓存算法
CN111970733B (zh) 超密集网络中基于深度强化学习的协作式边缘缓存算法
Hu et al. Twin-timescale artificial intelligence aided mobility-aware edge caching and computing in vehicular networks
Fadlullah et al. HCP: Heterogeneous computing platform for federated learning based collaborative content caching towards 6G networks
Huang et al. Multi-agent deep reinforcement learning for computation offloading and interference coordination in small cell networks
CN109194763B (zh) 一种超密集网络中基于小型基站自组织协作的缓存方法
CN110769514A (zh) 一种异构蜂窝网络d2d通信资源分配方法及系统
Wang et al. On the design of computation offloading in cache-aided D2D multicast networks
Qi et al. Energy-efficient resource allocation for UAV-assisted vehicular networks with spectrum sharing
Mirzaei et al. Towards optimal configuration in MEC Neural networks: deep learning-based optimal resource allocation
Mehrabi et al. A survey on mobility management for MEC-enabled systems
CN116916390A (zh) 一种结合资源分配的边缘协作缓存优化方法及装置
Sai et al. Cooperative and efficient content caching and distribution mechanism in 5G network
CN116582860A (zh) 一种基于信息年龄约束的链路资源分配方法
Dai et al. Proactive caching over cloud radio access network with user mobility and video segment popularity awared
Sun et al. A DQN-based cache strategy for mobile edge networks
CN109068356A (zh) 一种用于认知无线电网络中的无线缓存分配方法
Al-Hilo et al. Cooperative content delivery in UAV-RSU assisted vehicular networks
CN112689296B (zh) 一种异构IoT网络中的边缘计算与缓存方法及系统
CN106304307B (zh) 一种异构网络融合下的资源分配方法
Qureshi et al. Distributed self optimization techniques for heterogeneous network environments using active antenna tilt systems
Zhang et al. Energy efficient resource allocation in millimeter-wave-based fog radio access networks
CN115173922A (zh) 基于cmaddqn网络的多波束卫星通信系统资源分配方法
Rashidi et al. Multi-agent learning algorithms for content placement in cache-enabled small cell networks: 4G and 5G use cases
CN115412936A (zh) 一种基于多智能体dqn的irs辅助d2d系统资源分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant