CN113271339B - 一种用户偏好未知的边缘基站缓存部署方法 - Google Patents

一种用户偏好未知的边缘基站缓存部署方法 Download PDF

Info

Publication number
CN113271339B
CN113271339B CN202110445943.5A CN202110445943A CN113271339B CN 113271339 B CN113271339 B CN 113271339B CN 202110445943 A CN202110445943 A CN 202110445943A CN 113271339 B CN113271339 B CN 113271339B
Authority
CN
China
Prior art keywords
cache
edge server
popularity
user
reward
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110445943.5A
Other languages
English (en)
Other versions
CN113271339A (zh
Inventor
吴俊�
韩雨琪
胡蝶
刘典
徐跃东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110445943.5A priority Critical patent/CN113271339B/zh
Publication of CN113271339A publication Critical patent/CN113271339A/zh
Application granted granted Critical
Publication of CN113271339B publication Critical patent/CN113271339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明属于无线传输技术领域，具体为一种用户偏好未知的边缘基站缓存部署方法。本发明针对在无线网络中用户密度和各个文件流行度未知的场景，利用扩展多臂赌博机模型选择缓存部署策略；本发明同时考虑了全局参数即用户密度，和局部参数即文件的流行度的优化，并考虑未知场景下探索和利用的平衡，每一轮迭代优化全局参数和局部参数，在不断学习的过程中推导出最优的缓存部署方案。

Description

一种用户偏好未知的边缘基站缓存部署方法
技术领域
本发明属于无线传输技术领域，具体涉及在用户偏好未知场景的边缘缓存网络的优化方法。
背景技术
现有的大部分缓存部署的工作，都假设在设计缓存策略时用户的偏好是预先知道的。一般来说，这种假设在实际的无线系统中是很难实现的。如果错误地假设用户对传输内容请求的偏好，缓存部署策略的性能可能会严重下降。为了解决这个问题，本发明提出了一种基于扩展多臂赌博机模型的策略来优化缓存部署，这种方法不需要预先假设网络的用户密度和内容的流行度。为实现这一算法，我们利用扩展多臂赌博机模型同时学习全局参数和独立参数，因此可以同时估计用户密度和内容的流行度，从而根据未知参数推算出的最优的缓存部署方法。边缘服务器可以逐渐学习到环境中的用户密度和各个文件的流行度，并推导出最优的缓存策略。
发明内容
本发明的目的在于提供一种不需要预先假设网络的用户密度和内容的流行度的用户偏好未知的边缘基站缓存部署方法。
本发明的网络中，中央服务器部署在远端，其具有强大的计算和存储能力，可以存储网络中的所有文件；而边缘服务器距离用户更近，但计算能力和存储能力有限，只能缓存一部分内容。因此边缘服务器需要优化的缓存策略提高网络性能。将边缘服务器看作一个可以独立做出决定的智能体(agent)，该智能体自主地选择缓存部署策略。
本发明提供的用户偏好未知的边缘基站缓存部署方法，是基于扩展多臂赌博机算法的；所述扩展多臂赌博机包含一个全局参数用户密度和多个局部参数文件流行度；
所述的扩展多臂赌博机，将每一个缓存空间看作多臂赌博机可选的一个臂，每次扩展多臂赌博机选择多个臂进行缓存部署；
所述扩展多臂赌博机的每个臂的奖赏值为未知的全局参数和局部参数的乘积；
所述全局参数决定了用户密度的分布函数，在用户的全局参数确定时，可以得到该区域内用户数量的期望；
所述局部参数为各个文件的流行度，即请求各个文件的概率，所有的文件流行度之和为1；
基于所述的扩展多臂赌博机模型，边缘服务器可以逐渐学习到环境中的用户密度和各个文件的流行度，并推导出最优的缓存策略。基于响应的用户数，由边缘服务器估计用户密度和内容流行度，以进一步优化缓存放置解决方案。
本发明提出的面向用户偏好未知的缓存部署方法，具体步骤为：
(1)初始化时，边缘服务器以某一概率随机选择缓存部署，在完全未知的环境中，边缘服务器每个时刻选择一个摇臂作为行为(action)并得到奖励(reward)；算法初始时，智能体不知道每个摇臂带来的奖励，因此需要通过随机选择摇臂来探索环境并获得奖励，从而获得环境的知识。通过对每只摇臂的知识的积累，智能体可以选择最优的摇臂来最大限度地积累奖励。然而，如果智能体过早地选择了当前最佳的摇臂，可能会因为对环境的了解不足而导致奖赏的损失。如果智能体总是随机选择一个摇臂，就不能充分利用已获得的环境知识，因此没有选择奖赏值最大的摇臂；因此，在进行探索-利用权衡时，如果时间t满足log2(t)属于自然数集合，则选择随机缓存放置组合。否则，边缘服务器根据估计的参数选择具有最高流行度的文件组合。
(2)边缘服务器广播缓存的内容并获得用户的响应，计算满足的用户数。在每个时隙，边缘服务器向其服务区域中的所有用户广播缓存内容，并且可以成功地接收缓存内容。在这种情况下，如果请求的内容缓存在边缘服务器中，则直接满足请求，而不需要从中心服务器获取内容。其他请求被发送到中央服务器并由回程传输响应。由于这种情况与缓存放置无关，因此我们不在下面讨论它。只有当用户设备对缓存内容满意时，边缘服务器才会接收信号。基于满意的用户数，由边缘服务器估计用户密度和内容流行度，以进一步优化缓存放置解决方案。
(3)根据满足的用户数估计全局参数用户密度，随后进行参数估计。设网络中有N个文件，每个边缘服务器有K个缓存空间，C表示所有缓存组合的总数，Ct表示t时刻选择的缓存组合的索引。μ(θ)表示网络中的用户密度函数，实际的网络密度由θ决定，而θ在实际的网络中并不能预先知道。因此，在进行参数估计时，需要估计θ的值。我们称θ为全局参数。
全局参数估计：基站每次选择一个文件组合，基于先前获得的奖励和当前的奖励计算。一旦选择了一个组合，则预期奖励将更新为组合
Figure BDA0003036903920000021
的预期奖励
Figure BDA0003036903920000022
基于先前获得的奖励和当前的奖励计算。我们使用
Figure BDA0003036903920000023
来表示组合
Figure BDA0003036903920000024
更新后的预期回报。一旦选择了组合
Figure BDA0003036903920000025
则在时间t预期的
Figure BDA0003036903920000026
的预期奖励将更新为：
Figure BDA0003036903920000027
式中，
Figure BDA0003036903920000028
表示直到t-1时刻，选择
Figure BDA0003036903920000029
的次数。
随后利用下式进行全局参数
Figure BDA00030369039200000210
的估计：
Figure BDA0003036903920000031
(4)局部参数估计
在给定全局参数的估计参数后，对每一个缓存组合c的流行度，即局部参数，进行估计，由下式得到：
Figure BDA0003036903920000032
(5)循环更新缓存策略，利用估计的全局密度估计各个文件的流行度，将每个边缘服务器识别为一个智能体(Agent)，智能体根据新的参数进行缓存策略部署，并跳转至步骤2。
本发明主要创新点在于提出了一种在用户偏好未知的场景下，利用扩展多臂赌博机模型进行缓存部署的方法。在算法初始化时，边缘服务器不知道各个内容的信息，也不缓存任何内容。每个时间t，区域中的用户向边缘服务器发送请求，于是边缘服务器从中央服务器获取请求的内容。每个内容的用户密度和流行度的估计参数初始化为0。探索和利用之间的权衡遵循一个既定的规则。如果时间满足log2(t)属于自然数集合，则选择随机缓存放置组合。否则，边缘服务器根据估计的参数选择具有最高流行度的文件组合。通过该策略，当参数被正确估计时，该策略减少了随机性，并根据估计的参数做出缓存放置决策。在参数估计阶段，缓存部署组合的预期奖励基于先前获得的奖励和当前的奖励计算。根据其估计的参数选择在下一个时刻选择当前估计的最好的缓存策略。
附图说明
图1为不同算法获得的平均奖赏值。
具体实施方式
本发明提出一种用户偏好未知的边缘基站缓存部署方案，所述缓存部署方案包含一个扩展多臂赌博机，该扩展多臂赌博机包含一个全局参数用户密度和多个局部参数文件流行度；
基于所述的扩展多臂赌博机模型，边缘服务器可以逐渐学习到环境中的用户密度和各个文件的流行度并推导出最优的缓存策略。只有当用户设备对缓存内容满意时，边缘服务器才会接收信号。基于满意的用户数，我们让边缘服务器估计用户密度和内容流行度，以进一步优化缓存放置解决方案。
下文举例说明面向用户偏好未知的基于扩展多臂赌博机算法的缓存部署策略，其工作流程如下：
(1)设网络中共有10个文件，边缘服务器可以缓存2个文件，因此共有
Figure BDA0003036903920000033
种缓存组合。初始时，边缘服务器以某一概率随机选择缓存部署，在完全未知的环境中，边缘服务器作为智能体(agent)，每个时刻选择一个摇臂作为行为(action)并会得到奖励(reward)，智能体不知道每个摇臂带来的奖励，因此需要通过随机选择摇臂来探索环境并获得奖励，从而获得环境的知识。通过对每只摇臂的知识的积累，智能体可以选择最优的摇臂来最大限度地积累奖励。如果时间t满足log2(t)属于自然数集合，则选择随机缓存放置组合。否则，边缘服务器根据估计的参数选择具有最高流行度的文件组合。每次选择结束后边缘服务器缓存2个选择的文件。
(2)边缘服务器广播缓存的2个内容，计算这2个文件满足的用户数。在每个时隙，边缘服务器向其服务区域中的所有用户广播缓存内容，并且可以成功地接收缓存内容。在这种情况下，如果请求的内容缓存在边缘服务器中，则直接满足请求，而不需要从中心服务器获取内容。只有当用户设备对缓存内容满意时，边缘服务器才会接收信号。基于满意的用户数，我们让边缘服务器估计用户密度和内容流行度，以进一步优化缓存放置解决方案。
(3)根据满足的用户数估计全局参数用户密度，随后进行参数估计。
全局参数估计：基站每次选择一个文件组合，设2个文件组成的组合在t时刻满足的用户数
Figure BDA0003036903920000041
即奖励设为
Figure BDA0003036903920000042
基于先前获得的奖励和当前的奖励计算。一旦选择了一个组合，则预期奖励将更新为组合
Figure BDA0003036903920000043
的预期奖励
Figure BDA0003036903920000044
基于先前获得的奖励和当前的奖励计算。我们使用
Figure BDA0003036903920000045
来表示组合
Figure BDA0003036903920000046
更新后的预期回报。此时，C作为所有的缓存组合总数，为
Figure BDA0003036903920000047
一旦选择了组合
Figure BDA0003036903920000048
则在时间t预期的
Figure BDA0003036903920000049
的预期奖励将更新为：
Figure BDA00030369039200000410
式中，
Figure BDA00030369039200000411
表示直到t-1时刻，选择
Figure BDA00030369039200000412
的次数。
随后利用下式进行全局参数估计:
Figure BDA00030369039200000413
(4)局部参数估计
在给定全局参数的估计参数后，计算每个缓存组合的流行度。
Figure BDA00030369039200000414
利用上式对每个缓存内容的流行度，即局部参数进行估计。
(5)循环更新缓存策略，利用估计的全局密度估计各个文件的流行度，将每个边缘服务器识别为一个智能体(Agent)，智能体根据新的参数进行缓存策略部署，并跳转至步骤2。
在进行缓存策略对比时，我们采用平均奖赏值(Average reward)作为评价指标，策略带来的average reward越高，则说明性能越好。我们采用四种常用的基准算法与提出的算法进行比较，分别为上置信确界赌博机(UCB)算法，∈-贪心(∈-greedy)算法，最近最少使用(LRU)算法和最不经常使用(LRU)算法。
不同算法获得的平均奖赏值，参见图1所示。由图1可知，随着迭代次数(Iterationtimes)的增加，Extended MAB的算法远优于其他的基准算法。与其他算法相比，该算法具有更好的平均回报率和更快的收敛速度。随着迭代次数的增加，基于Extended-MAB的缓存部署方案的平均奖赏值高于其他几个基准算法且稳定在一个最高值。

Claims (1)

1.一种用户偏好未知的边缘基站缓存部署方法，网络中的中央服务器部署在远端，其具有强大的计算和存储能力，可以存储网络中的所有文件；而边缘服务器距离用户更近，但计算能力和存储能力有限，只能缓存一部分内容；因此边缘服务器需要优化的缓存策略提高网络性能；将边缘服务器看作一个可以独立做出决定的智能体，该智能体自主地选择缓存部署策略；其特征在于：
采用扩展多臂赌博机算法；所述扩展多臂赌博机包含一个全局参数用户密度和多个局部参数文件流行度；
所述的扩展多臂赌博机，将每一个缓存空间看作多臂赌博机可选的一个臂，每次扩展多臂赌博机选择多个臂进行缓存部署；
所述扩展多臂赌博机的每个臂的奖赏值为未知的全局参数和局部参数的乘积；
所述全局参数决定了用户密度的分布函数，在用户的全局参数确定时，得到用户数量的期望；
所述局部参数为各个文件的流行度，即请求各个文件的概率，所有的文件流行度之和为1；
基于所述扩展多臂赌博机算法模型，边缘服务器逐渐学习到环境中的用户密度和各个文件的流行度，并推导出最优的缓存策略；基于响应的用户数，由边缘服务器估计用户密度和内容流行度，以进一步优化缓存放置解决方案；
具体步骤为：
(1)边缘服务器以某一概率随机选择缓存部署，在完全未知的环境中，边缘服务器每个时刻选择一个摇臂作为行为并得到奖励，从而获得环境的知识；通过对每只摇臂的知识的积累，智能体可以选择最优的摇臂来最大限度地积累奖励；在进行探索-利用权衡时，如果时间t满足log2(t)属于自然数集合，则选择随机缓存放置组合；否则，边缘服务器根据估计的参数选择具有最高流行度的文件组合；
(2)边缘服务器广播缓存的内容并获得用户的响应，计算满足的用户数；在每个时隙，边缘服务器向其服务区域中的所有用户广播缓存内容，并且可以成功地接收缓存内容；在这种情况下，如果请求的内容缓存在边缘服务器中，则直接满足请求，而不需要从中心服务器获取内容；其他请求被发送到中央服务器并由回程传输响应；当用户设备对缓存内容满意时，边缘服务器会接收信号；基于满意的用户数，由边缘服务器估计用户密度和内容流行度，以进一步优化缓存放置解决方案；
(3)根据满足的用户数估计全局参数用户密度，随后进行参数估计；设网络中有N个文件，每个边缘服务器有K个缓存空间，C表示所有缓存组合的总数，Ct表示t时刻选择的缓存组合的索引；μ(θ)表示网络中的用户密度函数，网络密度由θ决定，而θ在实际的网络中并不能预先知道；在进行参数估计时，需要估计θ的值，称θ为全局参数；
全局参数估计：基站每次选择一个文件组合，基于先前获得的奖励和当前的奖励计算；一旦选择了一个组合，则预期奖励将更新为组合
Figure FDA0003434246980000021
的预期奖励
Figure FDA0003434246980000022
基于先前获得的奖励和当前的奖励计算；使用
Figure FDA0003434246980000023
来表示组合
Figure FDA0003434246980000024
更新后的预期回报；一旦选择了组合
Figure FDA0003434246980000025
则在时间t预期的
Figure FDA0003434246980000026
的预期奖励更新为：
Figure FDA0003434246980000027
式中，
Figure FDA0003434246980000028
表示直到t-1时刻，选择
Figure FDA0003434246980000029
的次数；
随后利用下式进行全局参数
Figure FDA00034342469800000210
的估计:
Figure FDA00034342469800000211
(4)局部参数估计
在给定全局参数的估计参数后，对每一个缓存组合c的流行度，即局部参数，进行估计，由下式得到：
Figure FDA00034342469800000212
(5)循环更新缓存策略，利用估计的全局密度估计各个文件的流行度，将每个边缘服务器识别为一个智能体，智能体根据新的参数进行缓存策略部署，并跳转至步骤2。
CN202110445943.5A 2021-04-25 2021-04-25 一种用户偏好未知的边缘基站缓存部署方法 Active CN113271339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110445943.5A CN113271339B (zh) 2021-04-25 2021-04-25 一种用户偏好未知的边缘基站缓存部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110445943.5A CN113271339B (zh) 2021-04-25 2021-04-25 一种用户偏好未知的边缘基站缓存部署方法

Publications (2)

Publication Number Publication Date
CN113271339A CN113271339A (zh) 2021-08-17
CN113271339B true CN113271339B (zh) 2022-03-18

Family

ID=77229379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110445943.5A Active CN113271339B (zh) 2021-04-25 2021-04-25 一种用户偏好未知的边缘基站缓存部署方法

Country Status (1)

Country Link
CN (1) CN113271339B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111740794A (zh) * 2020-06-04 2020-10-02 中山大学 一种多用户能量收集认知无线电系统
CN111901392A (zh) * 2020-07-06 2020-11-06 北京邮电大学 一种面向移动边缘计算的内容部署与分发方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170278114A1 (en) * 2016-03-24 2017-09-28 Xerox Corporation Adaptive collaborative filtering with extended kalman filters and multi-armed bandits
CN108990111B (zh) * 2018-06-13 2021-06-11 东南大学 一种内容流行度随时间变化下的基站缓存方法
US11288699B2 (en) * 2018-07-13 2022-03-29 Pubwise, LLLP Digital advertising platform with demand path optimization
US10878451B2 (en) * 2018-09-04 2020-12-29 Adobe Inc. Change point detection in a multi-armed bandit recommendation system
US11379727B2 (en) * 2019-11-25 2022-07-05 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for enhancing a distributed medical network
CN111865826B (zh) * 2020-07-02 2022-01-04 大连理工大学 一种基于联邦学习的主动内容缓存方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111740794A (zh) * 2020-06-04 2020-10-02 中山大学 一种多用户能量收集认知无线电系统
CN111901392A (zh) * 2020-07-06 2020-11-06 北京邮电大学 一种面向移动边缘计算的内容部署与分发方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于软件定义网络的对等网传输调度优化;向雄等;《计算机应用》;20190927(第03期);全文 *

Also Published As

Publication number Publication date
CN113271339A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN111901392B (zh) 一种面向移动边缘计算的内容部署与分发方法及系统
Yu et al. Federated learning based proactive content caching in edge computing
CN109656702B (zh) 一种基于强化学习的跨数据中心网络任务调度方法
CN113407249B (zh) 一种面向位置隐私保护的任务卸载方法
CN114185677A (zh) 基于多智能体强化学习模型的边缘缓存方法和装置
CN111314862A (zh) 雾无线接入网中深度强化学习下带有推荐的缓存方法
CN116321307A (zh) 一种无蜂窝网络中基于深度强化学习的双向缓存放置方法
CN113411826A (zh) 一种基于注意力机制强化学习的边缘网络设备缓存方法
Li et al. DQN-enabled content caching and quantum ant colony-based computation offloading in MEC
CN115884094A (zh) 一种基于边缘计算的多场景协作优化缓存方法
CN113271339B (zh) 一种用户偏好未知的边缘基站缓存部署方法
CN113993168B (zh) 一种雾无线接入网中基于多智能体强化学习的协作缓存方法
CN113114762B (zh) 一种数据缓存方法及系统
CN112039943B (zh) 一种面向互联网场景差异化服务的负载均衡的边缘协作缓存方法
CN111917529B (zh) 一种基于改进exp3算法的水声ofdm资源分配方法
CN113672819A (zh) 一种基于推荐感知和协作边缘缓存的内容请求处理系统
US10291474B2 (en) Method and system for distributed optimal caching of content over a network
Garg et al. Content placement learning for success probability maximization in wireless edge caching networks
Liu et al. Contextual learning for content caching with unknown time-varying popularity profiles via incremental clustering
CN108990111B (zh) 一种内容流行度随时间变化下的基站缓存方法
CN110913430A (zh) 无线网络中文件的主动式协作缓存方法及缓存管理装置
CN113141634B (zh) 基于移动边缘计算网络的vr内容缓存方法
CN114125745A (zh) MQTT协议功率控制与QoS机制选择方法
Maghsudi et al. A bandit learning approach to energy-efficient Femto-caching under uncertainty
CN115134418B (zh) 一种多接入边缘计算的协同存储方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant