CN110290510A - 支持d2d通信的分层无线网络下的边缘协作缓存方法 - Google Patents
支持d2d通信的分层无线网络下的边缘协作缓存方法 Download PDFInfo
- Publication number
- CN110290510A CN110290510A CN201910378071.8A CN201910378071A CN110290510A CN 110290510 A CN110290510 A CN 110290510A CN 201910378071 A CN201910378071 A CN 201910378071A CN 110290510 A CN110290510 A CN 110290510A
- Authority
- CN
- China
- Prior art keywords
- request content
- content
- request
- hit
- wireless networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
- H04W16/22—Traffic simulation tools or models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/14—Flow control between communication endpoints using intermediate storage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种支持D2D通信的分层无线网络下的边缘协作缓存方法，包括：根据内容请求查看接收所述内容请求的设备的本地缓存中是否包含请求内容；如果包含，则命中所述请求内容；如果不包含，则基于深度强化学习算法进行路由选择以命中所述请求内容；命中所述请求内容后更新所述深度强化学习算法的模型。该方法将深度强化学习算法应用到了移动无线网络中的用户设备层的协作缓存配置，实现了用户设备协作缓存的无监督学习，以最大化缓存的命中率为优化目标，尽可能的将流量卸载到用户周围，从而大大降低了蜂窝网络中的流量传输，并缩短了用户请求内容的传输时延。
Description
技术领域
本发明涉及无线通信和移动计算领域，具体而言，涉及一种支持D2D 通信的分层无线网络下的边缘协作缓存方法。
背景技术
近年来，随着智能手机和其它智能移动设备数量的快速增长，人们在 使用移动网络时，对多媒体业务的需求正在不断飙升，严峻的流量压力迫 切要求网络运营商寻找行而有效的解决方案。移动网络运营商(MNOs)和 网络设备供应商也采用了一系列复杂的技术应用到物理层和数据链路层 的下半部分——介质访问控制层，用来提高无线链路的带宽，如大规模的 多输入多输出(MIMO)、载波聚合和多点协作传输(CoMP)等等，但这些目 前已经达到了其理论上线，依然无法很好地解决流量爆炸问题。相关研究 表明，排名前10％的视频请求占据流量的80％，换而言之，相同内容的重 复下载是流量爆炸的主要原因。
D2D(Device-to-Device，设备到设备)通信技术，是一种在近距离范围 内设备到设备直连接通信的技术。作为5G无线通信技术中的关键技术之 一，相比传统且较昂贵的蜂窝移动网络的数据传输，D2D通信技术不需要 消耗蜂窝流量，从而可以达到卸载主干网流量，平衡网络流量过载，降低 通信延迟和功耗的功能，能够为用户提供更好的服务质量(QoS)。相比于 Wi-Fi直连和蓝牙技术，蜂窝D2D通信能够工作在许可频段，提供干扰可 控的传输环境。
缓存技术被广泛应用于无线网络中，如较早也比较成熟的 CDN(ContentDelivery Network，内容分发网络)服务器，它被部署在内容 服务器附近，用于减少附近的流量拥塞，使用户可以就近取得所需的内容， 这种技术还可以有效地降低网络时延。以4G架构为例，由于移动网络体 系架构的集中性，内容终究需要通过EPC(Evolved PacketCore，分组的演 进核心)和RAN(Radio Access Network，无线接入网络)传输到用户。流量传输过程中的设备被称为中间件，在这些中间件中部署缓存被认为是一种 有效的解决方案。目前基于这种分层的无线网络下的缓存工作流程可以表 示为：(1)用户产生请求，首先查看本地缓存中是否包含被请求内容，如 果没有，则向临近的设备发送请求。(2)如果临近设备不包含被请求内容， 则向临近的基站发送请求。(3)基站查询本地缓存，如果缓存中不包含被 请求内容，则向临近基站进行请求。(4)如果相邻基站均不包含被请求内 容，则将请求转发到核心网络。协作的缓存技术可以有效地提高缓存的命 中率。基站，特别是用户设备中的缓存容量往往很小，这就容易导致缓存 的内容命中率较低或相邻设备缓存了同样的内容。协作缓存的配置实际上 是多重背包问题，在理论上已经被证明是NP-hard问题。
人工智能(AI)和机器学习(Machine Learning)在无线网络中的应用受到 越来越多的关注。其中，无监督学习凭借其大规模训练、无需标签的特性 在复杂、动态的无线网络中获得了更多的青睐。Q-Learning作为一种强化 学习算法，可以在不了解网络状况的情况下进行学习并动态地调整策略。 但主流的Q-Learning算法是通过Q-Table来记录动作的Q值。以内容为中 心的无线网络包含数以亿计的文件，用Q-Table来记录是不现实的。深度强化学习算法可以通过CNN(Convolutional Neural Network，卷积神经网络) 逼近行为值函数，将近似的缓存替换动作进行拟合，从而大大地减少状态 空间。DQN作为深度强化学习算法中的代表之一，主体框架依然是 Q-Learning，因此，依然无法克服Q-Learning本身的缺点——过估计。 Double DQN算法将动作的选择和动作的评估分别用不同的值函数来实现，有效地解决了这一问题。
发明内容
(一)要解决的技术问题
本发明提供了一种支持D2D通信的分层无线网络下的边缘协作缓存 方法，以至少部分解决以上所提出的技术问题。
(二)技术方案
根据本发明的一方面，提供一种支持D2D通信的分层无线网络下的 边缘协作缓存方法，包括：
根据内容请求查看接收所述内容请求的设备的本地缓存中是否包含 请求内容；
如果包含，则命中所述请求内容；如果不包含，则基于深度强化学习 算法进行路由选择以命中所述请求内容；
命中所述请求内容后更新所述深度强化学习算法的模型。
在进一步的实施方案中，所述基于深度强化学习算法进行路由选择以 命中所述请求内容包括：
将内容请求转发到D2D通信范围内的其他一台或多台设备，查看接 收到所述内容请求的设备是否包含所述请求内容；
如果包含，则命中所述请求内容；如果不包含，则将请求转发至相邻 基站以命中所述请求内容；
本设备缓存替换命中所述请求内容。
在进一步的实施方案中，所述缓存命中所述请求内容之前还包括：
检测本地缓存是否已满；
若是，则先缓存配置算法，再进行下一步；若否，则直接进行下一步。
在进一步的实施方案中，所述缓存替换命中所述请求内容由所述深度 强化学习算法的模型控制。
在进一步的实施方案中，所述深度强化学习算法包括：
获得本设备的当前状态；
针对当前状态，从Q-Table中选择奖励值最高的动作，并执行该动作；
进入下一状态，根据下一状态的命中率情况和奖惩函数对当前状态的 所述动作进行奖惩；
根据所述奖惩更新Q-Table。
在进一步的实施方案中，根据下一状态的命中率情况和奖惩函数对动 作进行奖惩包括：
若所述动作合理，即所述下一状态的命中率提升，则对该动作进行奖 励：
若所述动作不合理，即所述下一状态的命中率下降，则对该动作进行 惩罚。
在进一步的实施方案中，所述奖惩函数为：
其中，χi为当前状态；Φ(χi)为动作空间；为奖励函数；为惩 戒函数；为请求通过D2D链路处理；表示请求通过蜂窝链路处理。
在进一步的实施方案中，通过DQN中的神经网络来近似估计近似的值 函数其包括：
用神经网络的方法来估计值函数：
用方差公式来定义损失函数，并使用梯度下降GD来更新参数；
Agent获取所有的Q(χ，Φ)，并利用∈-greedy选择Φ并做出决策。
在进一步的实施方案中，所述当前状态包括：当前请求内容和当前缓 存情况。
(三)有益效果
本发明提供的一种支持D2D通信的分层无线网络下的边缘协作缓存 方法，该方法将深度强化学习算法应用到了移动无线网络中的用户设备层 的协作缓存配置，实现了用户设备协作缓存的无监督学习，以最大化缓存 的命中率为优化目标，尽可能的将流量卸载到用户周围，从而大大降低了 蜂窝网络中的流量传输，并缩短了用户请求内容的传输时延。
附图说明
图1是用户设备层的协作缓存体系架构示意图；
图2是本发明提供的支持D2D通信的分层无线网络下的边缘协作缓 存方法的流程图；
图3是本发明提供的支持D2D通信的分层无线网络下的边缘协作缓 存方法的模型训练原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明作进一步的详细说明。
如图1所示，图1是用户设备层的协作缓存体系架构示意图，其中， 第一层为互联网，第二层为移动网络运营商核心，第三层为基站，第四层 为终端设备。本发明提供的支持D2D通信的分层无线网络下的边缘协作 缓存方法仅需要工作于第三层和第四层之间，截止于基站即可完成请求内 容的缓存，可节约蜂窝网络资源。
如图2所示，图2是本发明提供的支持D2D通信的分层无线网络下 的边缘协作缓存方法的流程图，该方法将深度强化学习算法应用到了移动 无线网络中的用户设备层的协作缓存配置，实现了用户设备协作缓存的无 监督学习，以最大化缓存的命中率为优化目标，尽可能的将流量卸载到用 户周围，从而大大降低了蜂窝网络中的流量传输，并缩短了用户请求内容 的传输时延。该方法包括：
S1：根据内容请求查看接收所述内容请求的设备的本地缓存中是否包 含请求内容；
S2：如果包含，则命中所述请求内容；如果不包含，则基于深度强化 学习算法进行路由选择以命中所述请求内容；
S3：命中所述请求内容后更新所述深度强化学习算法的模型。
在步骤S1中，用户主动或设备被动产生内容请求，设备首先根据请 求内容的唯一表示查看接收所述内容请求的设备的本地缓存中是否包含 该内容副本。实际上，是查看用户在最近是否查看过或缓存过相同的内容。
在步骤S2中，如果该设备被查看过或缓存过所述请求内容，则直接 从本地缓存中获取请求内容。如果本地缓存中不包含请求内容，则该设备 将基于深度强化学习算法请求转发到D2D通信范围内的其他一台或多台设 备或基站，在命中存在所述请求内容后从相应设备或基站获取所述请求内 容。
在步骤S3中，在命中所述请求内容后训练迭代的目标是增大缓存命 中率，直至所述模型趋于稳定收敛，即命中率趋于稳定，并近似最优。
在本实施例中，所述基于深度强化学习算法进行路由选择以命中所述 请求内容包括：
S21：将内容请求转发到D2D通信范围内的其他一台或多台设备，查 看接收到所述内容请求的设备是否包含所述请求内容；
S22：如果包含，则命中所述请求内容；如果不包含，则将请求转发 至相邻基站以命中所述请求内容；
S23：缓存命中所述请求内容。
在步骤S21中，基于深度强化学习算法进行路由选择时，先将内容请 求发给协作设备，在这些协作设备中查找是否包含所述请求内容。
在步骤S22中，当在协作设备中包含所述请求内容，则进行缓存命中 的请求内容。当在协作设备中不包含所述请求内容，则将内容请求发送至 费用附近的基站，命中基站的请求内容后进行缓存。
在步骤S23中，从协作设备或相邻基站命中请求内容后进行缓存。
在本实施例中，所述缓存命中所述请求内容之前还包括：
检测本地缓存是否已满；
若是，则先缓存配置算法，再进行下一步；
若否，则直接进行下一步。
在本实施例中，缓存替换过程同样由训练的模型进行控制。若所选动 作为不替换，则保存之前的缓存状态。若动作为替换某个内容，则基站执 行替换策略
在本实施例中，所述深度强化学习算法包括：
S31：获得本设备的当前状态；
S32：针对当前状态，从Q-Table中选择奖励值最高的动作，并执行该 动作；
S33：进入下一状态，根据下一状态的命中率情况和奖惩函数对当前 状态的所述动作进行奖惩；
S34：根据所述奖惩更新Q-Table。
在步骤S31中，获得本设备的当前状态，即获取当前请求内容和当前 缓存情况。
在步骤S32中，根据当前状态从其中选择出奖励值最高的动作执行以 达到最快速度命中请求内容。其中，所述Q-Table作为深度强化学习用来 存储q值的表，记录了各动作的奖励值。
在步骤S33中，根据下一状态的命中率情况和奖惩函数对所述动作进 行奖惩包括：若所述动作合理，即所述下一状态的命中率提升，则对该动 作进行奖励；若所述动作不合理，即所述下一状态的命中率下降，则对该 动作进行惩罚。
在步骤S34中，根据之前对各动作的奖惩情况更新Q-Table，以使其 得到优化，并趋于稳定。
在本实施例中，将缓存替换和路由选择过程建模为马尔可夫决策过 程，优化目标是最大化缓存的命中率，并定义状态空间、动作空间和奖惩 函数如下：
a)状态空间每个决策阶段的状态：
其中表示用户r在第i个时间段产生的请求，表示当前缓存状态。
b)动作空间Φ(χi)：
1)表示请求通过D2D链路处理；
2)表示请求通过蜂窝链路处理。
C)奖惩函数
其中，χi为当前状态；Φ(χi)为动作空间；为奖励函数；为惩 戒函数。
在本实施例中，通过DQN中的神经网络来近似估计近似的值函数其包括：
用神经网络的方法来估计值函数：
用方差公式来定义损失函数，并使用梯度下降GD来更新参数；
Agent获取所有的Q(χ，Φ)，并利用∈-greedy选择Φ并做出决策。
其中，Agent为代理，Q(χ，Φ)为Q值函数。
如图3所示，图3是本发明提供的支持D2D通信的分层无线网络下 的边缘协作缓存方法的模型训练原理图。其中，外部网络将状态输入到只 能内部，智能体返回Q值最大的动作。智能体内部包含两个结构完全相同 的神经网络，一个当前值网络，一个目标值网络。当前值网络通过随机获 取存储在记忆单元中的四元组数据来训练，通过损失函数来调整参数。当 前值网络定期更新目标值网络的参数。这样就会使目标值网络参数一段时 间保持不变的，一定程度降低了当前Q值和目标Q值得相关性，提高了 算法稳定性。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已， 并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、 等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，包括：
根据内容请求查看本设备的本地缓存中是否包含请求内容，其中本设备为接收所述内容请求的设备；
如果包含，则命中所述请求内容；如果不包含，则基于深度强化学习算法进行路由选择以命中所述请求内容；
命中所述请求内容后更新所述深度强化学习算法的模型。
2.根据权利要求1所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述基于深度强化学习算法进行路由选择以命中所述请求内容包括：
将内容请求转发到D2D通信范围内的其他一台或多台设备，查看接收到所述内容请求的设备是否包含所述请求内容；
如果包含，则命中所述请求内容；如果不包含，则将请求转发至相邻基站以命中所述请求内容；
本设备缓存替换命中所述请求内容。
3.根据权利要求2所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述缓存命中所述请求内容之前还包括：
检测本地缓存是否已满；
若是，则先缓存配置算法，再进行下一步；若否，则直接进行下一步。
4.根据权利要求3所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述缓存替换命中所述请求内容由所述深度强化学习算法的模型控制。
5.根据权利要求1-4任一项所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述深度强化学习算法包括：
获得本设备的当前状态；
针对当前状态，从Q-Table中选择奖励值最高的动作，并执行该动作；
进入下一状态，根据下一状态的命中率情况和奖惩函数对当前状态的所述动作进行奖惩；
根据所述奖惩更新Q-Table。
6.根据权利要求5所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，根据下一状态的命中率情况和奖惩函数对动作进行奖惩包括：
若所述动作合理，即所述下一状态的命中率提升，则对该动作进行奖励；
若所述动作不合理，即所述下一状态的命中率下降，则对该动作进行惩罚。
7.根据权利要求6所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述奖惩函数为：
其中，χi为当前状态；Φ(χi)为动作空间；为奖励函数；为惩戒函数；为请求通过D2D链路处理；表示请求通过蜂窝链路处理。
8.根据权利要求7所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，通过DQN中的神经网络来近似估计近似的值函数其包括：
用神经网络的方法来估计值函数：
用方差公式来定义损失函数，并使用梯度下降GD来更新参数；
Agent获取所有的Q(χ，Φ)，并利用∈-greedy选择Φ并做出决策。
9.根据权利要求5所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述当前状态包括：当前请求内容和当前缓存情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378071.8A CN110290510A (zh) | 2019-05-07 | 2019-05-07 | 支持d2d通信的分层无线网络下的边缘协作缓存方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378071.8A CN110290510A (zh) | 2019-05-07 | 2019-05-07 | 支持d2d通信的分层无线网络下的边缘协作缓存方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110290510A true CN110290510A (zh) | 2019-09-27 |
Family
ID=68002147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910378071.8A Pending CN110290510A (zh) | 2019-05-07 | 2019-05-07 | 支持d2d通信的分层无线网络下的边缘协作缓存方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110290510A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968816A (zh) * | 2019-12-23 | 2020-04-07 | 广东技术师范大学 | 一种基于强化学习的内容缓存方法、装置及存储介质 |
| CN111211984A (zh) * | 2020-04-20 | 2020-05-29 | 中国人民解放军国防科技大学 | 优化cdn网络的方法、装置及电子设备 |
| CN111901392A (zh) * | 2020-07-06 | 2020-11-06 | 北京邮电大学 | 一种面向移动边缘计算的内容部署与分发方法及系统 |
| CN113094368A (zh) * | 2021-04-13 | 2021-07-09 | 成都信息工程大学 | 一种提升缓存访问命中率的系统及方法 |
| CN113395333A (zh) * | 2021-05-31 | 2021-09-14 | 电子科技大学 | 基于智能体深度增强学习的多边缘基站联合缓存替换方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104066122A (zh) * | 2014-07-09 | 2014-09-24 | 东南大学 | 一种蜂窝与d2d混合网络中的拥塞控制和传输调度方法 |
| CN104918257A (zh) * | 2015-05-08 | 2015-09-16 | 上海交通大学 | 中继协同异构蜂窝网络d2d通信资源分配方法 |
| CN108471609A (zh) * | 2018-03-17 | 2018-08-31 | 西南大学 | 基于d2d认知无线网络的缓存部署方法 |
| CN109120457A (zh) * | 2018-09-13 | 2019-01-01 | 余利 | 基于分布式软件定义架构的智能云的业务处理方法 |
| CN109302709A (zh) * | 2018-09-14 | 2019-02-01 | 重庆邮电大学 | 面向移动边缘计算的车联网任务卸载与资源分配策略 |
| CN109361601A (zh) * | 2018-10-31 | 2019-02-19 | 浙江工商大学 | 一种基于强化学习的sdn路由规划方法 |
| CN109639760A (zh) * | 2018-11-02 | 2019-04-16 | 西北工业大学 | 一种基于深度强化学习的d2d网络中的缓存策略方法 |
-
2019
- 2019-05-07 CN CN201910378071.8A patent/CN110290510A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104066122A (zh) * | 2014-07-09 | 2014-09-24 | 东南大学 | 一种蜂窝与d2d混合网络中的拥塞控制和传输调度方法 |
| CN104918257A (zh) * | 2015-05-08 | 2015-09-16 | 上海交通大学 | 中继协同异构蜂窝网络d2d通信资源分配方法 |
| CN108471609A (zh) * | 2018-03-17 | 2018-08-31 | 西南大学 | 基于d2d认知无线网络的缓存部署方法 |
| CN109120457A (zh) * | 2018-09-13 | 2019-01-01 | 余利 | 基于分布式软件定义架构的智能云的业务处理方法 |
| CN109302709A (zh) * | 2018-09-14 | 2019-02-01 | 重庆邮电大学 | 面向移动边缘计算的车联网任务卸载与资源分配策略 |
| CN109361601A (zh) * | 2018-10-31 | 2019-02-19 | 浙江工商大学 | 一种基于强化学习的sdn路由规划方法 |
| CN109639760A (zh) * | 2018-11-02 | 2019-04-16 | 西北工业大学 | 一种基于深度强化学习的d2d网络中的缓存策略方法 |
Non-Patent Citations (1)
| Title |
|---|
| WENKAI LI: "Edge Caching for D2D Enabled Hierarchical Wireless Networks with Deep Reinforcement Learning", 《HINDAWI WIRELESS COMMUNICATIONS AND MOBILE COMPUTING》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968816A (zh) * | 2019-12-23 | 2020-04-07 | 广东技术师范大学 | 一种基于强化学习的内容缓存方法、装置及存储介质 |
| CN110968816B (zh) * | 2019-12-23 | 2023-11-28 | 广东技术师范大学 | 一种基于强化学习的内容缓存方法、装置及存储介质 |
| CN111211984A (zh) * | 2020-04-20 | 2020-05-29 | 中国人民解放军国防科技大学 | 优化cdn网络的方法、装置及电子设备 |
| CN111901392A (zh) * | 2020-07-06 | 2020-11-06 | 北京邮电大学 | 一种面向移动边缘计算的内容部署与分发方法及系统 |
| CN113094368A (zh) * | 2021-04-13 | 2021-07-09 | 成都信息工程大学 | 一种提升缓存访问命中率的系统及方法 |
| CN113094368B (zh) * | 2021-04-13 | 2022-08-05 | 成都信息工程大学 | 一种提升缓存访问命中率的系统及方法 |
| CN113395333A (zh) * | 2021-05-31 | 2021-09-14 | 电子科技大学 | 基于智能体深度增强学习的多边缘基站联合缓存替换方法 |
| CN113395333B (zh) * | 2021-05-31 | 2022-03-25 | 电子科技大学 | 基于智能体深度增强学习的多边缘基站联合缓存替换方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110290510A (zh) | 支持d2d通信的分层无线网络下的边缘协作缓存方法 | |
| Sadeghi et al. | Deep reinforcement learning for adaptive caching in hierarchical content delivery networks | |
| CN104683485B (zh) | 一种基于c‑ran的互联网内容缓存预加载方法和系统 | |
| CN105791391B (zh) | 基于文件流行度的d2d融合网络最优协作距离的计算方法 | |
| CN106331083B (zh) | 一种考虑内容分发能耗的异构网络选择方法 | |
| CN109639760A (zh) | 一种基于深度强化学习的d2d网络中的缓存策略方法 | |
| CN108093435B (zh) | 基于缓存流行内容的蜂窝下行链路网络能效优化系统及方法 | |
| CN109660598A (zh) | 一种物联网暂态数据的缓存替换方法及系统 | |
| CN109120457A (zh) | 基于分布式软件定义架构的智能云的业务处理方法 | |
| CN110312277B (zh) | 一种基于机器学习的移动网络边缘协作缓存模型构造方法 | |
| Li et al. | Deep reinforcement learning for cooperative edge caching in future mobile networks | |
| Zhao et al. | Towards cooperative caching for vehicular networks with multi-level federated reinforcement learning | |
| CN108153830A (zh) | 无线通信网络中基于学习的主动缓存控制方法 | |
| Zheng et al. | 5G network-oriented hierarchical distributed cloud computing system resource optimization scheduling and allocation | |
| Zhang et al. | A reinforcement learning-based user-assisted caching strategy for dynamic content library in small cell networks | |
| CN105227396B (zh) | 一种面向移动通信网络的次等内容推荐分发系统及其方法 | |
| Somesula et al. | Cooperative cache update using multi-agent recurrent deep reinforcement learning for mobile edge networks | |
| Jiang et al. | Cooperative content distribution for 5G systems based on distributed cloud service network | |
| Xiong et al. | Distributed caching in converged networks: A deep reinforcement learning approach | |
| CN108541025A (zh) | 一种面向无线异构网络的基站与d2d共同缓存方法 | |
| Xu et al. | Collaborative multi-agent reinforcement learning of caching optimization in small-cell networks | |
| Li et al. | Adaptive per-user per-object cache consistency management for mobile data access in wireless mesh networks | |
| CN104159316B (zh) | 一种lte基站上层多用户的调度方法 | |
| CN108390936A (zh) | 一种基于缓存分布感知的概率缓存算法 | |
| Sadeghi et al. | Optimal dynamic proactive caching via reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190927 |
|
| WD01 | Invention patent application deemed withdrawn after publication |