CN113382059B - 一种雾无线接入网中基于联邦强化学习的协作缓存方法 - Google Patents

一种雾无线接入网中基于联邦强化学习的协作缓存方法 Download PDF

Info

Publication number
CN113382059B
CN113382059B CN202110634682.1A CN202110634682A CN113382059B CN 113382059 B CN113382059 B CN 113382059B CN 202110634682 A CN202110634682 A CN 202110634682A CN 113382059 B CN113382059 B CN 113382059B
Authority
CN
China
Prior art keywords
content
cache
node
user
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110634682.1A
Other languages
English (en)
Other versions
CN113382059A (zh
Inventor
蒋雁翔
张敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110634682.1A priority Critical patent/CN113382059B/zh
Publication of CN113382059A publication Critical patent/CN113382059A/zh
Application granted granted Critical
Publication of CN113382059B publication Critical patent/CN113382059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints
    • H04W28/14—Flow control between communication endpoints using intermediate storage

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种雾无线接入网中基于联邦强化学习的协作缓存方法，包括：1、根据全局内容流行度来初始化缓存节点的本地缓存内容，初始化总的模型训练周期和模型权重参数；2、每一个缓存节点把自身的缓存内容状态信息给邻近的缓存节点和云端服务器；3、根据时隙内接收到的用户请求信息，缓存节点会在本地缓存，临近节点缓存和云端服务器之间做出决策应答用户请求；4、计算缓存命中率和用户的内容请求延迟；5、缓存节点根据本地内容缓存状态和用户的内容请求信息，更新本地缓存内容和训练模型参数。6、训练一个周期之后，对各个缓存节点的训练模型权重参数进行联合更新。本发明提高缓存命中率和降低用户请求延迟，更好的保护用户隐私。

Description

一种雾无线接入网中基于联邦强化学习的协作缓存方法
技术领域
本发明属于移动通信系统中边缘网络的协作缓存领域，尤其涉及一种雾无线接入网中基于联邦强化学习的协作缓存方法。
背景技术
随着5G时代的到来，移动设备和应用数量迅速增加，产生的海量数据给无线蜂窝网络带来了巨大的流量压力。雾无线接入网是解决蜂窝网络通信链路拥塞问题的一种很有前景的方法。在雾无线接入网中，边缘缓存将流行的内容放在离用户更近的雾无线接入点中，也称为缓存节点。缓存节点的引入可以有效降低回程链路的负载压力和内容传输延迟。由于缓存节点的通信资源和本地存储容量有限，如何缓存最流行的内容是目前边缘缓存研究的重要方向。
近年来，强化学习已成为优化雾无线接入网中内容协作缓存的重要工具。但是，大多数强化学习方法都是直接使用用户数据对模型进行训练，同时，这些方法将学习代理部署在单个用户或单个缓存节点中。低相关性的学习代理的单独训练，可能会破坏用户的敏感数据，特别是在一些商业和工业场景中。同时，学习代理的单独训练也会导致资源的加性浪费。如果能够对获取到的网络信息充分利用，能预测用户下一时刻的可能请求内容，使得缓存节点能够始终缓存热点内容，提高缓存命中率和降低用户请求延迟。同时，对节点之间的缓存进行协作，减小缓存资源的加性浪费，用模型参数的传输代替用户数据的传输，可以更好的保护用户隐私。
发明内容
本发明目的在于提供一种雾无线接入网中基于联邦强化学习的协作缓存方法,以解决内容缓存命中率低，用户内容请求延迟高，资源加性浪费高，不能很好保护用户隐私的技术问题。
为解决上述技术问题，本发明的具体技术方案如下：
一种雾无线接入网中基于联邦强化学习的协作缓存方法，包括以下步骤：
步骤1、根据全局内容流行度Pf(0)，初始化缓存节点的本地缓存内容状态s(0)，总的模型训练周期T和训练模型的权重参数θ；
步骤2、在第t个时隙，缓存节点n的状态空间s(t)＝[i1,i2,...,ic,...,iC],
Figure BDA0003105036110000021
其中，ic表示内容c在缓存节点n中的缓存索引，F表示内容库中内容的总个数；缓存节点n的动作空间a(t)∈{0,1}，其中，a(t)＝1表示在第t个时隙缓存节点中的内容需要被替换，a(t)＝0表示在第t个时隙缓存节点中的内容不需要被替换；
步骤3、缓存节点各自计算周期内的内容流行度pnf(t)，收集用户的内容请求信息，并基于本地内容缓存状态，做出应答决策；
步骤4、基于步骤3缓存节点做出的应答决策，和周期内的内容流行度pnf(t)，计算出缓存命中率hn(t)和用户的内容请求延迟DF-U(t)，DF-F-U(t)和DC-F-U(t)，DF-U(t)表示用户直接从本地缓存节点获取的它的请求内容所产生的请求延迟，DF-F-U(t)表示用户需要从邻近的缓存节点获取它的请求内容所产生的请求延迟，DC-F-U(t)表示用户需要从云端服务器获取它的请求内容所产生的请求延迟；
步骤5、缓存节点更新本地缓存内容状态s(t)和训练模型参数θ，进入下一个时隙；
步骤6、一个训练周期结束后，对各个缓存节点的模型权重参数θ进行联合更新，进入下一个周期。
进一步的，步骤2具体包括以下步骤：
步骤2.1、缓存节点n的状态空间s(t)是已经缓存内容的索引集，根据内容请求频率，状态空间中的内容索引被降序排列，可以减小低频率的内容索引出现在状态空间中的概率；
步骤2.2、内容库C中没有缓存在节点n中的内容组成一个集合
Figure BDA0003105036110000031
若a(t)＝1，将随机从集合
Figure BDA0003105036110000032
中选取k个内容，替换掉在节点缓存中最后的k个内容；
若a(t)＝0，缓存节点n不需要进行缓存替代操作；
步骤2.3、在步骤2.2中的缓存替代操作之后，对缓存节点n中的内容索引进行降序更新，得到一个新的状态空间s(t+1)。
进一步的，步骤3具体包括以下步骤：
步骤3.1、用户发出请求内容f，若内容f缓存在本地节点中，那么本地节点直接将内容f发送给用户，产生的内容请求延迟为dn1，dn1表示将内容从本地节点发送给用户所需要的时间；
步骤3.2、若本地节点没有缓存内容f，而邻近的缓存节点存储了内容f，那么用户将从邻近的缓存节点中去得到它的请求内容f，产生的内容请求延迟为dn1+dn2，dn2表示两个相邻的节点之间传输内容所需要的时间；
步骤3.3、若本地节点和邻近的缓存节点都没有存储内容f，那么用户将从云端服务器去得到请求内容f，产生的内容请求延迟为dn1+dn3，dn3表示从云端将内容发送到缓存节点需要的传输时间。
进一步的，步骤4将计算缓存命中率和用户总的内容请求延迟，具体包括以下步骤：
步骤4.1、根据用户做出的缓存决策，在时隙t中，用户从本地节点获取内容的总的请求延迟为：
Figure BDA0003105036110000041
其中，N表示缓存节点的个数，pnf(t)表示缓存节点n中，内容f被用户请求的概率分布，mf,n(t)＝1表示用户能够从本地节点n得到请求内容f，mf,n(t)＝0表示用户不能从本地节点n中得到请求内容f；
步骤4.2、根据用户做出的缓存决策，在时隙t中，用户从邻近的节点获取内容的总的请求延迟为：
Figure BDA0003105036110000042
其中，
Figure BDA0003105036110000043
是缓存节点集，mf,n,k＝1表示用户可以从邻近的缓存节点中获取请求内容f，mf,n,k＝0表示用户不能从邻近的缓存节点中获取请求内容f；
步骤4.3、根据用户做出的缓存决策，在时隙t中，用户从云端服务器获取内容的总的请求延迟为：
Figure BDA0003105036110000044
其中，mf,n,C＝1表示用户需要从云端服务器获取它的请求内容，mf,n,C＝0表示用户不需要从云端服务器获取请求内容；
步骤4.4、在时隙t中，对于节点n中，一个给定的缓存状态，计算出用户总的内容请求延迟：Dtotal(t)＝DF-U(t)+DF-F-U(t)+DC-F-U(t)，缓存命中率：
Figure BDA0003105036110000045
进一步的，步骤5中缓存节点更新自身的缓存内容状态，具体包括以下步骤：
步骤5.1、在第t个时隙结束时刻，根据事先设定的贪婪算法的贪婪因子ε，进行缓存动作a(t)的选取：
Figure BDA0003105036110000051
其中，Q(s(t),a(t)；θ)是动作值函数，w.r.tε表示以概率ε在动作空间中随机选取缓存动作a(t)，否则选取使得动作值函数Q(s(t),a(t)；θ)取得最大值的动作a(t)；
步骤5.2、执行选取的动作a(t)，得到一个新的状态s(t+1)，计算奖励r(t)：
Figure BDA0003105036110000052
其中，λ1+λ2+λ3＝1，λ1＜λ2＜＜λ3；
步骤5.3、缓存节点根据得到的新状态s(t+1)来更新本地缓存内容，更新网络权重参数θ，并令s(t)＝s(t+1)，进入下一个时隙。
进一步的，步骤6中将各个缓存节点的权重参数进行联合更新，具体包括以下步骤：
步骤6.1、经过一个周期的训练之后，云端服务器收集来自每个缓存节点的权重参数
Figure BDA0003105036110000053
Figure BDA0003105036110000054
表示节点n更新之后的权重参数；
步骤6.2、计算并更新全局模型的权重参数：
Figure BDA0003105036110000055
其中，
Figure BDA0003105036110000056
是更新的全局模型权重参数，Dn是缓存节点n的本地数据集；
步骤6.3、云端服务器将全局权重参数发送给每个缓存节点，并令
Figure BDA0003105036110000057
进入下一个周期。
本发明的一种雾无线接入网中基于联邦强化学习的协作缓存方法具有以下优点：
1、在每个缓存节点中，深度强化学习学习到一个局部缓存模型，它可以根据用户内容请求和内容流行度做出最优缓存决策，避免了大量的信息交互。
2、横向联邦学习通过将每个缓存节点的所有本地缓存模型聚合到云端服务器的全局缓存模型中，增强了缓存节点之间的缓存协作，减小缓存资源的加性浪费。
3、在全局模型训练过程中，用模型参数代替用户数据进行传输，让用户数据始终停留在在各自的缓存节点中，没有被发送到云端，很好的保护了用户数据隐私。
附图说明
图1为本发明的雾无线接入网中基于联邦强化学习的协作缓存方法流程示意图；
图2为本发明与传统边缘缓存策略对缓存命中率进行对比的仿真结果图；
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种雾无线接入网中基于联邦强化学习的协作缓存方法做进一步详细的描述。
如图1所示为本发明的雾无线接入网中基于联邦强化学习的协作缓存方法流程图，包括如下步骤：
S1：根据the Mandelbrot-Zipf分布来计算全局内容流行度Pf(0)，然后初始化缓存节点的本地缓存内容状态s(0)和系统的权重参数θ；
S2：在第t个时隙，缓存节点n的状态空间s(t)＝[i1,i2,...,ic,...,iC],
Figure BDA0003105036110000061
其中，ic表示内容c在缓存节点n中的缓存索引，F表示内容库中内容的个数。缓存节点n的动作空间a(t)∈{0,1}，其中，a(t)＝1表示在第t个时隙缓存节点中的内容需要被替换，a(t)＝0表示在第t个时隙缓存节点中的内容不需要被替换；具体包括：
S2-1：缓存节点n的状态空间s(t)是已经缓存内容的索引集，根据内容请求频率，状态空间中的内容索引被降序排列，可以减小低频率的内容索引出现在状态空间中的概率。
S2-2：内容库C中没有缓存在节点n中的内容组成一个集合
Figure BDA0003105036110000071
如果a(t)＝1，将随机从集合
Figure BDA0003105036110000072
中选取k个内容，替换掉在节点缓存中最后的k个内容。如果a(t)＝0，缓存节点n不需要进行缓存替代操作。
S2-3：在S2-2中的缓存替代操作之后，对缓存节点n中的内容索引进行降序更新，会得到一个新的状态空间s(t+1)。
S3：本地节点各自计算周期内的内容流行度pnf(t)，收集用户的内容请求信息，并基于本地内容缓存状态，做出应答决策；具体包括：
S3-1：假设用户发出请求内容f，如果内容f缓存在本地节点中，那么本地节点直接将内容f发送给用户，产生的内容请求延迟为dn1，dn1表示将内容从本地节点发送给用户所需要的时间。
S3-2：如果本地节点没有缓存内容f，而邻近的缓存节点存储了内容f，那么用户将从邻近的缓存节点中去得到它的请求内容f，产生的内容请求延迟为dn1+dn2，dn2表示两个相邻的节点之间传输内容所需要的时间。
S3-3：如果本地节点和邻近的缓存节点都没有存储内容f，那么用户将从云端服务器去得到请求内容f，产生的内容请求延迟为dn1+dn3，dn3表示从云端将内容发送到缓存节点需要的传输时间。
S4：基于S3缓存节点做出的应答决策，和周期内的内容流行度pnf(t)，计算出缓存命中率hn(t)和用户的内容请求延迟DF-U(t)，DF-F-U(t)和DC-F-U(t)，DF-U(t)表示用户直接从本地缓存节点存储获取的它的请求内容所产生的请求延迟，DF-F-U(t)表示用户需要从邻近的缓存节点获取它的请求内容所产生的请求延迟，DC-F-U(t)表示用户需要从云端服务器获取它的请求内容所产生的请求延迟；具体包括：
S4-1：根据用户做出的缓存决策，在时隙t中，用户从本地节点获取内容的总的请求延迟为：
Figure BDA0003105036110000081
其中，N表示缓存节点的个数，pnf(t)表示缓存节点n中，内容f被用户请求的概率分布，mf,n(t)＝1表示用户能够从本地节点n得到请求内容f，mf,n(t)＝0表示用户不能从本地节点n中得到请求内容f。
S4-2：根据用户做出的缓存决策，在时隙t中，用户从邻近的节点获取内容的总的请求延迟为：
Figure BDA0003105036110000082
其中，
Figure BDA0003105036110000083
是缓存节点集，mf,n,k＝1表示用户可以从邻近的缓存节点中获取请求内容f，mf,n,k＝0表示用户不能从邻近的缓存节点中获取请求内容f。
S4-3：根据用户做出的缓存决策，在时隙t中，用户从云端服务器获取内容的总的请求延迟为：
Figure BDA0003105036110000084
其中，mf,n,C＝1表示用户需要从云端服务器获取它的请求内容，mf,n,C＝0表示用户不需要从云端服务器获取请求内容。
S4-4：在时隙t中，对于节点n中，一个给定的缓存状态，计算出用户总的内容请求延迟：Dtotal(t)＝DF-U(t)+DF-F-U(t)+DC-F-U(t)，缓存命中率
Figure BDA0003105036110000091
S5：缓存节点更新本地缓存内容状态，进入下一个时隙。具体包括：
S5-1：在第t个时隙结束时刻，根据事先设定的贪婪算法的贪婪因子ε，进行缓存动作的选取：
Figure BDA0003105036110000092
其中，Q(s(t),a(t)；θ)是动作值函数；
S5-2：执行选取的动作a(t)，得到一个新的状态s(t+1)，计算奖励r(t)：
Figure BDA0003105036110000093
其中，λ1+λ2+λ3＝1，λ1＜λ2＜＜λ3；
S5-3：缓存节点根据得到的新状态s(t+1)来更新本地缓存内容，更新网络权重参数θ，并令s(t)＝s(t+1)，进入下一个时隙。
S6：一个训练周期结束后，对各个缓存节点的系统权重参数进行联合更新，进入下一个周期。具体包括：
S6-1：经过一个周期的训练之后，云端服务器收集来自每个缓存节点的权重参数
Figure BDA0003105036110000094
Figure BDA0003105036110000095
表示节点n更新之后的权重参数。；
S6-2：计算并更新全局模型的权重参数：
Figure BDA0003105036110000096
其中，
Figure BDA0003105036110000097
是更新的全局模型权重参数，Dn是缓存节点n的本地数据集；
S6-3：云端服务器将全局权重参数发送给每个缓存节点，并令
Figure BDA0003105036110000101
进入下一个周期。
由附图2的仿真结果可得，与先入先出缓存方法(First In First Out,FIFO),最近最少使用缓存方法(Least Recently Used，LRU)，和最近最不常用缓存方法(LeastFrequently Used，LFU)这三种传统的缓存方法比较，本发明所述的联邦强化学习方法的缓存命中率性能明显更优，其中所述强化学习方法具体为基于竞争深度Q网络(Dueling DeepQ Network,DDQN)和横向联邦学习(Horizontal Federated Learning,HFL)。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (6)

1.一种雾无线接入网中基于联邦强化学习的协作缓存方法，其特征在于，包括以下步骤：
步骤1、根据全局内容流行度Pf(0)，初始化缓存节点的本地缓存内容状态s(0)，总的模型训练周期T和训练模型的权重参数θ；
步骤2、在第t个时隙，缓存节点n的状态空间s(t)＝[i1,i2,...,ic,...,iC],
Figure FDA0003105036100000011
其中，ic表示内容c在缓存节点n中的缓存索引，F表示内容库C 中内容的总个数；缓存节点n的动作空间a(t)∈{0,1}，其中，a(t)＝1表示在第t个时隙缓存节点中的内容需要被替换，a(t)＝0表示在第t个时隙缓存节点中的内容不需要被替换；
步骤3、缓存节点各自计算周期内的内容流行度pnf(t)，收集用户的内容请求信息，并基于本地内容缓存状态，做出应答决策；
步骤4、基于步骤3缓存节点做出的应答决策，和周期内的内容流行度pnf(t)，计算出缓存命中率hn(t)和用户的内容请求延迟DF-U(t)，DF-F-U(t)和DC-F-U(t)，DF-U(t)表示用户直接从本地缓存节点获取的它的请求内容所产生的请求延迟，DF-F-U(t)表示用户需要从邻近的缓存节点获取它的请求内容所产生的请求延迟，DC-F-U(t)表示用户需要从云端服务器获取它的请求内容所产生的请求延迟；
步骤5、缓存节点更新本地缓存内容状态s(t)和训练模型参数θ，进入下一个时隙；
步骤6、一个训练周期结束后，对各个缓存节点的模型权重参数θ进行联合更新，进入下一个周期。
2.根据权利要求1所述的雾无线接入网中基于联邦强化学习的协作缓存方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1、缓存节点n的状态空间s(t)是已经缓存内容的索引集，根据内容请求频率，状态空间中的内容索引被降序排列，可以减小低频率的内容索引出现在状态空间中的概率；
步骤2.2、内容库C中没有缓存在节点n中的内容组成一个集合
Figure FDA0003105036100000021
若a(t)＝1，将随机从集合
Figure FDA0003105036100000022
中选取k个内容，替换掉在节点缓存中最后的k个内容；
若a(t)＝0，缓存节点n不需要进行缓存替代操作；
步骤2.3、在步骤2.2中的缓存替代操作之后，对缓存节点n中的内容索引进行降序更新，得到一个新的状态空间s(t+1)。
3.根据权利要求2所述的雾无线接入网中基于联邦强化学习的协作缓存方法，其特征在于，所述步骤3具体包括以下步骤：
步骤3.1、用户发出请求内容f，若内容f缓存在本地节点中，那么本地节点直接将内容f发送给用户，产生的内容请求延迟为dn1，dn1表示将内容从本地节点发送给用户所需要的时间；
步骤3.2、若本地节点没有缓存内容f，而邻近的缓存节点存储了内容f，那么用户将从邻近的缓存节点中去得到它的请求内容f，产生的内容请求延迟为dn1+dn2，dn2表示两个相邻的节点之间传输内容所需要的时间；
步骤3.3、若本地节点和邻近的缓存节点都没有存储内容f，那么用户将从云端服务器去得到请求内容f，产生的内容请求延迟为dn1+dn3，dn3表示从云端将内容发送到缓存节点需要的传输时间。
4.根据权利要求3所述的雾无线接入网中基于联邦强化学习的协作缓存方法，其特征在于，所述步骤4将计算缓存命中率和用户总的内容请求延迟，具体包括以下步骤：
步骤4.1、根据用户做出的缓存决策，在时隙t中，用户从本地节点获取内容的总的请求延迟为：
Figure FDA0003105036100000031
其中，N表示缓存节点的个数，pnf(t)表示缓存节点n中，内容f被用户请求的概率分布，mf,n(t)＝1表示用户能够从本地节点n得到请求内容f，mf,n(t)＝0表示用户不能从本地节点n中得到请求内容f；
步骤4.2、根据用户做出的缓存决策，在时隙t中，用户从邻近的节点获取内容的总的请求延迟为：
Figure FDA0003105036100000032
其中，
Figure FDA0003105036100000033
是缓存节点集，mf,n,k＝1表示用户可以从邻近的缓存节点中获取请求内容f，mf,n,k＝0表示用户不能从邻近的缓存节点中获取请求内容f；
步骤4.3、根据用户做出的缓存决策，在时隙t中，用户从云端服务器获取内容的总的请求延迟为：
Figure FDA0003105036100000034
其中，mf,n,C＝1表示用户需要从云端服务器获取它的请求内容，mf,n,C＝0表示用户不需要从云端服务器获取请求内容；
步骤4.4、在时隙t中，对于节点n中，一个给定的缓存状态，计算出用户总的内容请求延迟：Dtotal(t)＝DF-U(t)+DF-F-U(t)+DC-F-U(t)，缓存命中率：
Figure FDA0003105036100000035
5.根据权利要求4所述的雾无线接入网中基于联邦强化学习的协作缓存方法，其特征在于，所述步骤5中缓存节点更新自身的缓存内容状态，具体包括以下步骤：
步骤5.1、在第t个时隙结束时刻，根据事先设定的贪婪算法的贪婪因子ε，进行缓存动作a(t)的选取：
Figure FDA0003105036100000041
其中，Q(s(t),a(t)；θ)是动作值函数，w.r.tε表示以概率ε在动作空间中随机选取缓存动作a(t)，否则，选取使得动作值函数Q(s(t),a(t)；θ)取得最大值的动作a(t)；
步骤5.2、执行选取的动作a(t)，得到一个新的状态s(t+1)，计算奖励r(t)：
Figure FDA0003105036100000042
其中，λ1+λ2+λ3＝1，λ1＜λ2＜＜λ3；
步骤5.3、缓存节点根据得到的新状态s(t+1)来更新本地缓存内容，更新网络权重参数θ，并令s(t)＝s(t+1)，进入下一个时隙。
6.根据权利要求5所述的雾无线接入网中基于联邦强化学习的协作缓存方法，其特征在于，所述步骤6中将各个缓存节点的权重参数进行联合更新，具体包括以下步骤：
步骤6.1、经过一个周期的训练之后，云端服务器收集来自每个缓存节点的权重参数
Figure FDA0003105036100000043
表示节点n更新之后的权重参数；
步骤6.2、计算并更新全局模型的权重参数：
Figure FDA0003105036100000044
其中，
Figure FDA0003105036100000051
是更新的全局模型权重参数，Dn是缓存节点n的本地数据集；
步骤6.3、云端服务器将全局权重参数发送给每个缓存节点，并令
Figure FDA0003105036100000052
进入下一个周期。
CN202110634682.1A 2021-06-08 2021-06-08 一种雾无线接入网中基于联邦强化学习的协作缓存方法 Active CN113382059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110634682.1A CN113382059B (zh) 2021-06-08 2021-06-08 一种雾无线接入网中基于联邦强化学习的协作缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110634682.1A CN113382059B (zh) 2021-06-08 2021-06-08 一种雾无线接入网中基于联邦强化学习的协作缓存方法

Publications (2)

Publication Number Publication Date
CN113382059A CN113382059A (zh) 2021-09-10
CN113382059B true CN113382059B (zh) 2022-04-22

Family

ID=77576167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110634682.1A Active CN113382059B (zh) 2021-06-08 2021-06-08 一种雾无线接入网中基于联邦强化学习的协作缓存方法

Country Status (1)

Country Link
CN (1) CN113382059B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923128B (zh) * 2021-10-27 2024-02-13 东南大学 雾无线接入网中基于联邦强化学习的智能编码缓存方法
CN113965937B (zh) * 2021-10-27 2024-02-13 东南大学 一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法
CN113992770B (zh) * 2021-10-29 2024-02-09 东南大学 雾无线接入网中基于策略的联邦强化学习的协作缓存方法
CN114916015A (zh) * 2022-05-12 2022-08-16 东南大学 雾无线接入网中基于量化的联邦强化学习的协作缓存方法
CN115065728B (zh) * 2022-06-13 2023-12-08 福州大学 一种基于多策略强化学习的多目标内容存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Cooperative Edge Caching via Federated Deep Reinforcement Learning in Fog-RANs";Min Zhang等;《2021 IEEE International Conference on Communications Workshops (ICC Workshops)》;20210709;全文 *

Also Published As

Publication number Publication date
CN113382059A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113382059B (zh) 一种雾无线接入网中基于联邦强化学习的协作缓存方法
CN111836283B (zh) 一种基于mec多服务器的车联网资源分配方法
CN109218747B (zh) 超密集异构网络中基于用户移动性的视频业务分类缓存方法
CN112995950B (zh) 一种车联网中基于深度强化学习的资源联合分配方法
Jiang et al. Deep Q-learning-based content caching with update strategy for fog radio access networks
CN114641041B (zh) 一种面向边缘智能的车联网切片方法及装置
Majidi et al. HFDRL: An intelligent dynamic cooperate cashing method based on hierarchical federated deep reinforcement learning in edge-enabled IoT
CN114205782B (zh) 基于云边协同的时延最优缓存和路由方法、装置及系统
Li et al. An optimized content caching strategy for video stream in edge-cloud environment
Li et al. DQN-enabled content caching and quantum ant colony-based computation offloading in MEC
CN113993168A (zh) 一种雾无线接入网中基于多智能体强化学习的协作缓存方法
CN103052114B (zh) 数据缓存放置系统及数据缓存的方法
Xu et al. Intelligent edge content caching: A deep recurrent reinforcement learning method
CN110784881B (zh) 一种物联终端多级边缘节点主动缓存方法、设备及介质
Wu et al. Collaborative caching relay algorithm based on recursive deep reinforcement learning in mobile vehicle edge network
CN114916015A (zh) 雾无线接入网中基于量化的联邦强化学习的协作缓存方法
Ugwuanyi et al. A novel predictive-collaborative-replacement (PCR) intelligent caching scheme for multi-access edge computing
CN111556531A (zh) 一种微蜂窝无线网中的协作缓存优化方法
CN103491128B (zh) 一种对等网络中流行资源副本的优化放置方法
Yang et al. Hybrid cooperative caching based iot network considering the data cold start
Zhang et al. A composite service provisioning mechanism in edge computing
CN113423091B (zh) 一种车载算力网络的多维资源智能联合优化方法、系统
Fang et al. Offloading strategy for edge computing tasks based on cache mechanism
Liu et al. Proactive data caching and replacement in the edge computing environment
Zhao et al. Improve the performance of data grids by value-based replication strategy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant