CN113687960A - 一种基于深度强化学习的边缘计算智能缓存方法 - Google Patents
一种基于深度强化学习的边缘计算智能缓存方法 Download PDFInfo
- Publication number
- CN113687960A CN113687960A CN202110923203.8A CN202110923203A CN113687960A CN 113687960 A CN113687960 A CN 113687960A CN 202110923203 A CN202110923203 A CN 202110923203A CN 113687960 A CN113687960 A CN 113687960A
- Authority
- CN
- China
- Prior art keywords
- cache
- resource
- action
- popularity
- reinforcement learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/544—Buffers; Shared memory; Pipes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度强化学习的边缘计算智能缓存方法,其特点是将流行度模型与深度强化学习结合来对当前资源进行边缘缓存的方法,智能体会判断短时间内该资源是否可能被再次请求,并且会选择缓存被再次请求可能性更高的资源,该方法分析用户请求资源的属性,根据流行度模型,利用该资源的属性得到对应的流行度,再利用深度强化学习的决策能力,分析该资源是否需要被加入缓存或者从缓存中剔除。本发明与现有技术相比具有更少的缓存置换次数和更高的缓存命中次数,大大减少传播时延和服务器的能源损耗,进一步提高边缘缓存的命中率和性能,能显著提高用户的体验质量,为相关领域的技术提供技术支撑。
Description
技术领域
本发明涉及边缘计算技术领域,具体的说是一种基于深度强化学习的边缘计算智能缓存策略。
背景技术
随着移动数据流量的高速增长,为了满足用户多样化的体验质量要求(QoE),网络带宽和服务器资源面临着巨大的挑战。在传统云计算网络结构中,终端设备发起的数据服务请求可以得到有效解决,但远离云服务器的用户容易出现网络延迟高、体验质量差的情况。而将一部分数据缓存至网络边缘,能大幅减少响应用户请求的网络时延,以及服务器资源的损耗,进而能很好地提升用户的体验质量。在网络边缘缓存数据的解决方案中,缓存策略是一种影响缓存效果的关键因素。因此,边缘计算的缓存策略值得研究。
目前,边缘计算的缓存策略可分为传统缓存策略和基于机器学习的缓存策略两种类别。传统的缓存策略,如最近最少使用策略(LRU)和最不常用策略(LFU)以及先进先出策略(FIFO),对于大小相同的内容,这些策略简单有效,但是当缓存内容的大小有很大差异时,它们忽略的传输延迟这一影响缓存效率的关键因素。因此传统的缓存策略在边缘计算缓存的场景中,性能并不能令人满意。基于机器学习的缓存策略又可以根据学习方式分为基于深度学习的缓存策略和基于强化学习的缓存策略。基于深度学习的缓存策略主要是基于样本输入输出,学习输入到输出的映射,但是在实践中,出于对用户隐私的保护,并不能搜集到足够的先验知识支持学习。基于强化学习的缓存策略,主要关注的是智能体如何确定正确的策略来优化其性能,但普通的强化学习通过有限的表格来存储状态,而边缘缓存中的状态是连续的无限的,为了解决这个问题,需要将深度学习和强化学习结合,从而得到另一种学习方式,即深度强化学习。虽然深度强化学习可以解决边缘缓存中无线状态不能存储在有限表格中的问题,但是如让智能体更好地理解内容的流行度是另一个重要的问题。
现有技术的缓存策略在面对缓存内容大小差异很大时会忽略传输延迟,从而无法有效提高缓存效率的问题。因此,如何在复杂的边缘计算网络环境中有效提高缓存的命中率以及性能是目前相关领域研究的难点,研制出一种能动态分析用户请求资源并制定正确缓存策略的边缘缓存方案是相关领域研究人员致力攻克的难点之一。
发明内容
本发明的目的是针对现有技术的不足而提供的一种基于深度强化学习的边缘计算智能缓存方法,采用将资源的大小和属性都考虑其中的缓存方法,利用流行度模型来计算当前资源的流行度,智能体会判断短时间内该资源是否可能被再次请求,使资源在将来会以更高的概率被再次请求,有效提高边缘缓存的命中率和性能,在制定缓存策略时,将资源的大小和属性都考虑其中,因此在识别对节省传播时延和能源的资源上具有更强大的优势,方法简便,实用性强,能显著提高用户的体验质量,为相关领域的技术提供技术支撑。
实现本发明目的的具体技术方案是:一种基于深度强化学习的边缘计算智能缓存方法,其特点是采用流行度模型对当前资源进行边缘计算的方法,智能体会判断短时间内该资源是否可能被再次请求,使资源以更高的概率被再次请求,其边缘计算和智能缓存具体包括以下步骤:
1)初始化阶段,利用给定的参数初始化DQN(Deep Q Network)的Q网络和经验回放池,所述初始化的具体内容为神经网络的更新率设为0.0001,每次训练的样本数量设为8,更新神经网络的频率设为5,即每处理5次请求就更新一次神经网络;所述经验回放池的大小为30000。
2)系统开始工作,在收到用户的资源请求时,利用流行度模型计算用户请求资源的流行度,所述流行度模型基于牛顿冷却定律,其流行度由下述a式计算:
P(t)=(α+β)÷T(t) (a);
其中:P(t)表示资源在t时刻的流行度;α为资源的初始流行度;β为用户行对资源流行度的影响因子;T(t)为物体在t时刻的温度。
所述流行度模型是基于下述b式的牛顿冷却定律,其流行度计算公式的具体推导过程为:
其中:T(t)表示物体在t时刻的温度;H表示物体所处环境的温度;k为线性常数,表示环境温度与降温速率之间的比例关系,不同的物质有不同的k值,通过该定律可以得到如下c式:
ln(T(t)-H0=-kt+B (c);
通过恒等变形,可以得到下述d式:
T(t)=H+Ce-kt (d);
将上式用初始时刻t0代替t可以得到下述d-1式:
所以可以将C定义为下述e式:
将e式代入d式可以进一步得到下述d-2式:
根据资源流行度的变化可以理解为一个自然冷却的过程。因此,如果没有任何干预,资源的流行度最终会变成零,即与周围环境温度相同。所以可以推断出上述d-2式中的H数值应当为0,得到下述d-3式:
在此基础上,考虑到用户行为对资源流行度的影响,当用户对资源的请求数量增加时,表明资源的流行度正在抵抗时间带来的自然冷却。也就是说,内容的流行度会提高,内容的冷却速度会减慢。因此,将用户行为对资源的影响定义为下述f式:
β=(arequest+aother}÷μ (f);
其中:β表示用户行为对资源流行度造成的影响;arequest表示用户请求该资源;aother表示用户对该资源的其他操作;μ表示人群规模。
上述内容解释了资源以初始流行度为基础的流行度变化过程,也就是说,资源的流行度不仅与外界的影响有关,还与其自身初始流行度有关,而初始流行度是由资源的类型决定的。不同的资源类型可能具有不同的初始流行度,例如,与体育赛事相关的资源流行度和与新闻相关的资源不同。
综上所述流行度模型可以将资源流行度随时间变化的过程与资源初始状态结合,为下述a式动态地描述资源在任何时候的流行程度:
P(t)=(α+β)÷T(t) (a);
其中:P(t)表示资源在t时刻的流行度;α表示资源的初始流行度。
3)判断当前请求的资源是否已经被缓存,并根据缓存的结果得到智能体上一次决策对应的奖励,之后将上一次的决策连同奖励与资源信息一起存储在经验回放池中,所述存储在经验回放池中的内容具体为当前环境的状态、智能体在当前状态下选择的动作、该动作对应的奖励、执行该动作后得到的下一个状态。
所述DQN状态为:{P(t),g},其中:P(t)和g分别表示资源在t时刻的流行度和自身大小;所述智能体有添加缓存、删除缓存和保持缓存不变三种类型的操作,智能体根据动作价值函数输出每个动作的一个独热码,并选择最合适的值来执行相应的动作;所述价值函数由下述g式定义:
4)将当前资源的流行度、资源本身的大小、资源类型作为输入,传入Q网络,得到智能体每个动作的独热码,所述Q网络使用的DQN(Deep Q Network)是强化学习算法中的一种,强化学习可以被描述为一个马尔科夫决策过程,在马尔可夫决策模型中,状态空间、动作空间和奖励空间是相对关键的组成部分;所述状态空间由下述h式表示为:
S={s1,s2,…,sn} (h);
其中:s1,s2,…,sn表示由所有请求构成的可能的状态。
所述动作空间由下述i式表示为:
X={x1,x2,…,xn} (i);
其中:{x1,x2,…,xn}表示所有动作的集合,当智能体处于状态st时,会执行动作xt,当前环境会随之切换到下一个状态st+1。
所述奖励空间由下述j式表示为:
R={r1,r2,…,rn} (j);
其中:{r1,r2,…,rn}表示所有奖励的集合;rt表示智能体在状态st下执行动作xt得到的奖励。在DQN中,奖励函数是最重要的部分,它直接决定了要执行的动作,并且最终影响算法的有效性。为了使最终的回报最大化,智能体不仅要考虑当前的奖励,还要考虑未来的奖励。未来的奖励会按一定的比例减少,这个比例被称为折扣率,表示为γ,并且0<γ<1。因此,未来的折扣奖励可以被下述k式定义为:
所述智能体目标是选择一种在每种状态下都能获得最大收益的最优策略,从而在长期内使累积收益最大化;所述动作价值函数描述了智能体在状态s时,执行策略π得到的奖励,具体由下述m式定义为:
最佳动作价值函数表示了在所有动作值中最佳的一种,具体由下述n式定义为:
本发明的DQN算法中,使用了一种非线性的函数逼近来估计动作价值函数,这个函数逼近通常是一种被称为Q网络的神经网络Q(s,x,θ)≈Q(s,x)。其中,参数θ表示神经网络中的权重。通过Q网络对Q(s,x)的评估由下述p式表示为:
Q(sx,xt)=Q(st,xt)+ζ[rt+γ*maxQ(st+1,xt+1)-Q(st,xt)] (p);
其中:ζ∈(0,1)表示学习率。
5)根据随机的探测机制,智能体会在步骤4)中已经得到的最优动作和以当前时间作为随机种子随机产生的动作,这两者之间选择一个动作并执行。
所述选择一个动作的具体流程为以当前时间作为随机种子得到一个随机数,并将其与给定的探测随机参数比较,若该随机数大于探测随机参数,则从每个动作的独热码中选择最合适的一个并让智能体执行对应的动作;若该随机值小于探测随机参数,则从动作空间中随机挑选一个动作并让智能体执行。
6)在不超过当前缓存容量的前提下,执行步骤5)中最终得到的动作,其具体流程为,如果当前被请求的资源需要被加入边缘缓存中,并且当前边缘缓存的空间已经被占满,则从当前缓存空间中删除最小奖励对应的资源;如果当前被请求的资源不需要被加入缓存或者缓存空间有足够的容量,则允许智能体直接执行步骤5)中得到的动作;
7)通过下述q式定义的最小化损失函数对Q网络不断更新:
L(θ+)=E[(rt+ζ*maxQ(st+1,xt+1,θ)-Q(s,x,θ+))2] (q)。
本发明使用的DQN算法中有两个结构相同但参数不同的神经网络,即评价网络和目标网络。评价网络和目标网络的参数分别定义为θ+和θ,评估网络使用参数θ+计算当前动作值Q(s,x,θ+),并且θ+在每一次循环中都会得到更新,目标网络使用参数θ计算下一个动作值Q(s,x,θ),并且θ每隔一段时间更新一次值,目标网络可以降低Q值与目标Q值之间的相关性,使DQN更容易收敛。
8)不断重复步骤1)至步骤7),持续地优化缓存决策的准确性,并最终得到准确的结果。
本发明与现有技术相比具有更少的缓存置换次数,大大减少更多的传播时延和服务器的能源损耗,进一步提高边缘缓存的命中率和性能,方法简便,实用性强,在缓存命中次数和缓存命中率上都更有优势,能显著提高用户的体验质量,为相关领域的技术提供技术支撑。
附图说明
图1为本发明的流程图;
图2为实施例示意图。
具体实施方式
下面以具体实施对本发明作进一步详细描述和说明:
实施例1
参阅图1~图2,按下述步骤进行边缘计算的智能缓存:
1)初始化阶段,利用给定的参数初始化DQN的Q网络和经验回放池。其中神经网络的更新率为0.0001,每次训练的样本数量为8,更新神经网络的频率为5,也就是每处理5次请求就更新一次神经网络,经验回放池的大小为30000。
2)运行系统在收到用户的资源请求时,利用流行度模型计算用户请求资源的流行度,流行度模型由下述a式定义为:
P(t)=(α+β)÷T(t) (a);
其中:P(t)表示资源在t时刻的流行度;α为资源的初始流行度;β为用户行对资源流行度的影响因子;T(t)为物体在t时刻的温度。
3)判断当前请求的资源是否已经被缓存,并根据缓存的结果得到智能体上一次决策对应的奖励,之后将上一次的决策连同奖励与资源信息一起存储在经验回放池中。存储在经验回放池中的内容具体为当前环境的状态、智能体在当前状态下选择的动作、该动作对应的奖励、执行该动作后得到的下一个状态。
本发明中定义的DQN状态为:{P(t),g},其中:P(t)和g分别表示资源在t时刻的流行度和自身大小;所述智能体有添加缓存、删除缓存和保持缓存不变三种类型的操作,智能体根据动作价值函数输出每个动作的一个独热码,并选择最合适的值来执行相应的动作;所述价值函数由下述g式定义为:
4)将当前资源的流行度、资源本身的大小、资源类型作为输入,传入Q网络,得到智能体每个动作的独热码。DQN是强化学习算法中的一种,强化学习可以被描述为一个马尔科夫决策过程,在马尔可夫决策模型中,状态空间、动作空间和奖励空间是相对关键的组成部分,所述状态空间由下述h式表示为:
S={s1,s2,…,sn} (h);
其中:s1,s2,…,sn表示由所有请求构成的可能的状态。
所述动作空间由下述i式表示为:
X={x1,x2,…,xn} (i);
其中:{x1,x2,…,xn}表示所有动作的集合,当智能体处于状态st时,会执行动作xt,当前环境会随之切换到下一个状态st+1。
所述奖励空间由下述j式表示为:
R={r1,r2,…,rn} (j);
其中:{r1,r2,…,rn}表示所有奖励的集合;rt表示智能体在状态st下执行动作xt得到的奖励。在DQN中,奖励函数是最重要的部分,它直接决定了要执行的动作,并且最终影响算法的有效性。为了使最终的回报最大化,智能体不仅要考虑当前的奖励,还要考虑未来的奖励。未来的奖励会按一定的比例减少,这个比例被称为折扣率,表示为γ,并且0<γ<1。因此,未来的折扣奖励可以被下述k式定义为:
本发明中的智能体目标是选择一种在每种状态下都能获得最大收益的最优策略,从而在长期内使累积收益最大化。动作价值函数描述了智能体在状态s时,执行策略π得到的奖励,具体定义为下述m式:
最佳动作价值函数表示了在所有动作值中最佳的一种,具体定义为下述n式:
本发明的DQN算法中使用了一种非线性的函数逼近来估计动作价值函数,这个函数逼近通常是一种被称为Q网络的神经网络Q(s,x,θ0≈Q(s,x)。其中参数e表示神经网络中的权重。通过Q网络对Q(s,x)的评估表示为下述p式:
Q(st,xt)=Q(st,xt)+ζ[rt+γ*maxQ(st+1,xt+1)-Q(st,xt)] (p);
其中:ζ∈(0,1)表示学习率。
5)根据随机的探测机制,智能体在步骤4)中得到的最优动作和随机动作之间选择一种执行。以当前时间作为随机种子得到一个随机数,并将其与给定的探测随机参数比较,若该随机数大于探测随机参数,则从每个动作的独热码中选择最合适的一个并让智能体执行对应的动作;若该随机值小于探测随机参数,则从动作空间中随机挑选一个动作并让智能体执行。
Claims (6)
1.一种基于深度强化学习的边缘计算智能缓存方法,其特征在于采用流行度模型对当前资源进行边缘计算的方法,智能体会判断短时间内该资源是否可能被再次请求,并选择缓存被再次请求可能性更高的资源,其智能缓存具体包括以下步骤:
1)利用给定的参数初始化DQN的Q网络和经验回放池;
2)系统在收到用户的资源请求时,利用流行度模型计算用户请求资源的流行度;
3)判断当前请求的资源是否已经被缓存,并根据缓存的结果得到智能体上一次决策对应的奖励,之后将上一次的决策连同奖励与资源信息一起存储在经验回放池中;
4)将当前资源的属性作为输入,传入Q网络,得到智能体每个动作的独热码;
5)根据随机的探测机制,智能体在步骤4)中得到的最优动作和随机动作之间选择一种;
6)在不超过当前缓存容量的前提下,执行步骤5)中最终得到的动作;
7)系统通过最小化损失函数不断更新Q网络;
8)重复上述步骤1)~步骤7)对Q网络不断更新,最终得到最优缓存决策。
2.根据权利要求1所述基于深度强化学习的边缘计算智能缓存方法,其特征在于所述步骤1)的Q网络更新率为0.0001,更新频率为5,每次训练的样本数量为8;所述经验回放池的大小为30000。
3.根据权利要求1所述基于深度强化学习的边缘计算智能缓存方法,其特征在于所述步骤2)的流行度由下述a式计算:
P(t)=(α+β)÷T(t) (a);
其中:P(t)表示资源在t时刻的流行度;α为资源的初始流行度;β为用户行对资源流行度的影响因子;T(t)为物体在t时刻的温度。
4.根据权利要求1所述基于深度强化学习的边缘计算智能缓存方法,其特征在于所述步骤3)的存储在经验回放池中的内容具体为当前环境的状态、智能体在当前状态下选择的动作、该动作对应的奖励、执行该动作后得到的下一个状态。
5.根据权利要求1所述基于深度强化学习的边缘计算智能缓存方法,其特征在于所述步骤6)在不超过当前缓存容量的前提下,执行步骤5)中最终得到的动作,如果当前被请求的资源需要被加入边缘缓存中,并且当前边缘缓存的空间已经被占满,系统就会从当前缓存空间中删除最小奖励对应的资源;如果当前被请求的资源不需要被加入缓存或者缓存空间有足够的容量,系统会允许智能体直接执行步骤(5)中得到的动作。
6.根据权利要求1所述基于深度强化学习的边缘计算智能缓存方法,其特征在于所述步骤7)通过下述q式定义的最小化损失函数对Q网络不断更新:
L(θ+)=E[(rt+ζ*maxQ(st+1,xt+1,θ)-Q(s,x,θ+))2] (q)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110923203.8A CN113687960B (zh) | 2021-08-12 | 2021-08-12 | 一种基于深度强化学习的边缘计算智能缓存方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110923203.8A CN113687960B (zh) | 2021-08-12 | 2021-08-12 | 一种基于深度强化学习的边缘计算智能缓存方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113687960A true CN113687960A (zh) | 2021-11-23 |
CN113687960B CN113687960B (zh) | 2023-09-29 |
Family
ID=78579496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110923203.8A Active CN113687960B (zh) | 2021-08-12 | 2021-08-12 | 一种基于深度强化学习的边缘计算智能缓存方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113687960B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114785858A (zh) * | 2022-06-20 | 2022-07-22 | 武汉格蓝若智能技术有限公司 | 应用于互感器在线监测系统的资源主动缓存方法及装置 |
CN115714814A (zh) * | 2022-05-11 | 2023-02-24 | 重庆大学 | 一种基于多智能体强化学习的边缘缓存替换方法 |
CN116166691A (zh) * | 2023-04-21 | 2023-05-26 | 中国科学院合肥物质科学研究院 | 一种基于数据划分的数据归档系统、方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108549719A (zh) * | 2018-04-23 | 2018-09-18 | 西安交通大学 | 一种移动边缘计算网络中基于聚类的自适应缓存方法 |
WO2020000399A1 (zh) * | 2018-06-29 | 2020-01-02 | 东莞理工学院 | 一种基于智能电网的多智能体深度强化学习代理方法 |
CN111970733A (zh) * | 2020-08-04 | 2020-11-20 | 河海大学常州校区 | 超密集网络中基于深度强化学习的协作式边缘缓存算法 |
CN113114756A (zh) * | 2021-04-08 | 2021-07-13 | 广西师范大学 | 一种移动边缘计算中自适应码率选择的视频缓存更新方法 |
-
2021
- 2021-08-12 CN CN202110923203.8A patent/CN113687960B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108549719A (zh) * | 2018-04-23 | 2018-09-18 | 西安交通大学 | 一种移动边缘计算网络中基于聚类的自适应缓存方法 |
WO2020000399A1 (zh) * | 2018-06-29 | 2020-01-02 | 东莞理工学院 | 一种基于智能电网的多智能体深度强化学习代理方法 |
CN111970733A (zh) * | 2020-08-04 | 2020-11-20 | 河海大学常州校区 | 超密集网络中基于深度强化学习的协作式边缘缓存算法 |
CN113114756A (zh) * | 2021-04-08 | 2021-07-13 | 广西师范大学 | 一种移动边缘计算中自适应码率选择的视频缓存更新方法 |
Non-Patent Citations (1)
Title |
---|
宋旭鸣;沈逸飞;石远明;: "基于深度学习的智能移动边缘网络缓存", 中国科学院大学学报, no. 01 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115714814A (zh) * | 2022-05-11 | 2023-02-24 | 重庆大学 | 一种基于多智能体强化学习的边缘缓存替换方法 |
CN115714814B (zh) * | 2022-05-11 | 2024-05-07 | 重庆大学 | 一种基于多智能体强化学习的边缘缓存替换方法 |
CN114785858A (zh) * | 2022-06-20 | 2022-07-22 | 武汉格蓝若智能技术有限公司 | 应用于互感器在线监测系统的资源主动缓存方法及装置 |
CN116166691A (zh) * | 2023-04-21 | 2023-05-26 | 中国科学院合肥物质科学研究院 | 一种基于数据划分的数据归档系统、方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113687960B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | Dynamic content update for wireless edge caching via deep reinforcement learning | |
CN113687960B (zh) | 一种基于深度强化学习的边缘计算智能缓存方法 | |
CN109660598B (zh) | 一种物联网暂态数据的缓存替换方法及系统 | |
CN109639760B (zh) | 一种基于深度强化学习的d2d网络中的缓存策略方法 | |
CN115809147B (zh) | 多边缘协作缓存调度优化方法、系统及模型训练方法 | |
CN112752308B (zh) | 一种基于深度强化学习的移动预测无线边缘缓存方法 | |
CN115344395B (zh) | 面向异质任务泛化的边缘缓存调度、任务卸载方法和系统 | |
Yan et al. | Distributed edge caching with content recommendation in fog-rans via deep reinforcement learning | |
Qiu et al. | Oa-cache: Oracle approximation based cache replacement at the network edge | |
CN117221403A (zh) | 一种基于用户移动和联邦缓存决策的内容缓存方法 | |
Zhang et al. | Optimizing video caching at the edge: A hybrid multi-point process approach | |
CN115361710A (zh) | 一种边缘缓存中的内容放置方法 | |
CN111629218A (zh) | 一种vanet中基于时变线性的加速强化学习边缘缓存方法 | |
CN113114762B (zh) | 一种数据缓存方法及系统 | |
Fan et al. | Pa-cache: Learning-based popularity-aware content caching in edge networks | |
CN114697394B (zh) | 基于离散maddpg的边缘缓存决策模型、方法和系统 | |
CN115484314B (zh) | 一种移动边缘计算网络下推荐赋能的边缘缓存优化方法 | |
Xu et al. | An incremental learning based edge caching system: From modeling to evaluation | |
Hatami et al. | Online caching policy with user preferences and time-dependent requests: A reinforcement learning approach | |
Songwattana et al. | A learning-based approach for web cache management | |
Mi et al. | Joint caching and transmission in the mobile edge network: An multi-agent learning approach | |
CN111901394A (zh) | 一种联合考虑用户偏好及活跃程度的移动边缘缓存的方法及系统 | |
Mao et al. | Dynamic Edge Caching via Online Meta-RL | |
CN117251296B (zh) | 一种具有缓存机制的移动边缘计算任务卸载方法 | |
Xu et al. | Fair resource allocation based on deep reinforcement learning in fog networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |