CN109982389B - 一种基于多目标多臂赌博机在线学习的无线缓存方法 - Google Patents
一种基于多目标多臂赌博机在线学习的无线缓存方法 Download PDFInfo
- Publication number
- CN109982389B CN109982389B CN201910162550.6A CN201910162550A CN109982389B CN 109982389 B CN109982389 B CN 109982389B CN 201910162550 A CN201910162550 A CN 201910162550A CN 109982389 B CN109982389 B CN 109982389B
- Authority
- CN
- China
- Prior art keywords
- files
- file
- caching
- cache
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/14—Flow control between communication endpoints using intermediate storage
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于多目标多臂赌博机在线学习的无线缓存方法,属于移动通信领域,主要涉及移动通信中基站在无线网络闲暇时从内容提供商处提前缓存附近用户所需求内容并同时考虑了内容提供商收益的方法。本方法简单、算法复杂度为对数函数级别。其次,在优先考虑了无线缓存的核心目标的同时,(即在有限时间内,最大化卸载回程链路中的累计流量),还考虑了内容提供商的收益,即具体表现在文件价值的重要性上。本方法兼顾多个目标,能较好符合无线通信收发双方的需求。
Description
技术领域
本发明属于移动通信领域,主要涉及移动通信中基站在无线网络闲暇时从内容提供商处提前缓存附近用户所需求内容并同时考虑了内容提供商收益的方法。该方法具体为一种基于多目标多臂赌博机在线学习(Learning-Based Multi-Objective Multi-ArmedBandits,LB-MOMAB)的无线缓存方法。
背景技术
近年来,随着带有多媒体功能的移动设备(如智能手机,平板电脑等)逐渐普及,新型的无线服务应用也大量涌现,如微信,视频,淘宝,微博等。这使得无线移动通信的功能由最初的通话渗透到了娱乐,办公,社交领域等方方面面。与此同时,这也促使了在无线网络中数据流量的急速增长。
移动数据流量的爆发式增长对现有的蜂窝网络基础设施是个巨大的负担,特别是在通信的高峰期,容易出现延迟、中断等状况,导致用户体验变差。同时,根据最新的2018年思科移动流量趋势表明,在未来移动数据流量中,移动视频流量比重将超过七成。因此,基于视频本身的特性以及硬盘存储的现实,有学者提出了一种名为无线缓存的解决方案,其基本思想是在无线接入点处配置大容量的存储器,利用非高峰时段(如夜间)将受欢迎的视频提前缓存到接入点处的存储器中。通过这样的方式,用户在请求视频文件时,若缓存中有请求文件,无线接入点可以直接将文件传输给用户,使流量本地化。这种处理方式不仅能够大大降低数据在回程链路及核心网络的延迟,而且也降低了高峰期时回程链路及核心网络的负载。同时,这也降低了回程链路容量的占用量,可以释放更多的网络资源来为其他业务服务,间接地提升了系统的吞吐量。
另外,文件内容属性也是一个不能忽略的因素,目前各大视频网站(比如,爱奇艺,腾讯视频,优酷等)版权费用逐年提升,内容提供商们会将优质、热门的影片采用分级的方式进行播出,比如用劵、会员、收费等方式来赚取视频文件的费用,并且不同的视频的来源很可能不一样,这是由于版权决定的。以及各大移动网络运营商(移动、联通、电信)也与内容提供商们合作,采取定向流量包的方式吸引用户群,使之能培养用户的习惯,从而占据更高的流量入口。综上,这些都说明了不同视频文件的价值是不同的,而且文件价值的属性与用户、微基站、内容提供商的这三者的利益都息息相关。
传统上,以获取最大卸载网络流量为单目标进行缓存策略研究,常见的有两张方式,即等概率随机缓存(Equal Probability Random Caching,EPRC)和截断式随机缓存策略(Cut-off Random Caching,CTRC)。在等概率随机缓存中,所有文件都以相同的概率被用户随机缓存;而在截断式随机缓存策略中,通过截去文件库中的一部分请求概率较低的文件,形成一个缓存候选子文件库,用户可在该文件库中随机缓存文件,缓存命中率也优于等概率随机缓存。
尽管如此,这两种缓存方案也无法在实际系统中被采用。主要原因是因为它们仅仅考虑了卸载网络流量,它们都是用户、微基站的角度来考虑收益。这不可避免地忽略了文件价值的重要性,而文件价值属性取决于文件的来源,即内容提供商。
发明内容
为了解决以上问题,本发明提出了该方法具体为一种基于多目标的多臂老虎机在线学习的无线缓存方法。该方法在保证最大化卸载网络流量损失较小的情况下,同时考虑到不同文件价值差异的情况下,尽量最大化文件价值的累计收益。为了方便地描述本发明的内容,首先对本发明所使用的模型进行介绍,对本发明所使用的术语进行定义。
系统模型介绍:如图1所示,该模型的意义是:在闲暇时间段内,微基站的缓存控制器根据当前文件流行度趋势分析,从内容提供商处下载所需的缓存文件,当小区内的用户请求网络下载所需文件时,若该文件在微基站的存储内,则微基站服务于该用户,若否,则宏基站服务于该用户。一般来说,在无线电覆盖区域中,基站(Base Station,BS)是终端之间进行信息传输的无线收发电台。本发明考虑在基站中配置具有缓存一定数量文件能力的储存器,对流行文件进行缓存。假设文件集合为F={f1,f2,...fn},且所有文件的大小相同。基站的容量可描述为基站最大可在文件集合中缓存m个文件。时间间隙设置为t=1,2,...,T,其中T表示时间终点,也可表示时隙长度。本发明的解决的问题是:在时间T内,保证在通信高峰期内卸载回程链路上的文件流量最大化(主目标:从通信运营商角度),同时也能保证其卸载文件的收益最大化(次目标:从内容提供商角度)。
定义2、定义当前时刻缓存文件的集合为Mt={f1 *,...,fm *},该集合中的元素个数为m且m<|F|。
定义3、定义每个文件的观察反馈奖赏值为rf t=(rf 1,rf 2),其中rf 1,rf 2分别表示当前时刻下的文件f的请求量、文件f的价值。
定义5、定义文件的帕累托(Pareto)集合为A*,满足该集合的文件的条件是:对于任意文件u,v,有Xu(t)=(Xu 1,Xu 2),Xv(t)=(Xv 1,Xv 2)。若至少存在一个维度j,j∈{1,2}有Xu j>Xv j,表示为则文件u属于集合A*。
本发明技术方案如下:
该方法具体为一种基于多目标多臂赌博机在线学习的无线缓存方法,该方法是对标准UCB1(upper confidence bound)方法的改进,通过该改进的方法能够解决无线缓存中多目标优化问题:即保证在通信高峰期内卸载回程链路上的视频流量最大化(主目标:从通信运营商角度),同时也能保证其卸载视频的收益最大化(次目标:从内容提供商角度)。
本方法是一种基于多目标多臂赌博机的在线学习无线缓存策略的方法,具体包括以下步骤:
步骤1、缓存当前内容提供商的所有文件至少一次,观察反馈奖赏向量rf t,并且更新值和Tf值,其中,表示文件f的估计奖赏值,Tf代表的是文件f被缓存控制器选择的次数;设置t←F+1,其中文件集合为F={f1,f2,...fn},其中上标1,2分别表示当前时刻下的文件f的期望请求数、文件的期望价值;
步骤3、判断u≥m是否为真;若是,则从A*集合中随机选择m个文件进行缓存,m表示当前时刻缓存文件库中文件的个数;若为否,将集合A*中的u个文件放入缓存文件库中,即为集合Mt u,然后再进行步骤4;
步骤4、计算遍历所有的文件,按照降序方式排列不同文件的估计奖赏区间数值,然后选择前(m-u)个文件加入当前时刻的缓存文件库中;其中,F\{f1 *,...,fu *}表示的是从文件集合F中去掉步骤2中帕累托集合A*中的文件后而余下的文件;
步骤7、设置t=t+1,返回步骤2。
本方法的有益效果:首先,本方法简单、算法复杂度为对数函数级别。其次,在优先考虑了无线缓存的核心目标的同时,(即在有限时间内,最大化卸载回程链路中的累计流量),还考虑了内容提供商的收益,即具体表现在文件价值的重要性上。本方法兼顾多个目标,能较好符合无线通信收发双方的需求。
附图说明
图1为无线缓存场景图;
图2为本发明算法流程图;
图3为本发明的算法仿真图,图3-1为主目标累计收益图,图3-2为次目标累计收益图。
具体实施方式
下面根据一个具体实施案例详细叙述本发明的技术方案。但不应该将此理解为本发明上述主体的范围仅限于以下实例,凡基于本发明内容所实现的技术均属于本发明的范围。
首先对本发明的具体实施范例的数据设置进行介绍。假设本发明中的文件流行度与文件的价值皆服从Zipf分布。文件流行度Zipf值设置为0.58;文件价值Zipf值为0.95。时间T=8000,用户人数为250,缓存文件数为m=60,文件数为F=1000。
如图2所示为算法的流程图,具体包括以下步骤:
步骤3、判断u≥m?,若是,则从A*集合中随机选择m个文件(即当前时刻,执行缓存文件的集合Mt)进行缓存。若为否,将集合A*中的u个文件放入缓存文件库中,即为集合Mt u,然后再进行步骤4。
步骤4、计算遍历所有的文件,按照降序方式排列不同文件的估计奖赏区间数值,然后选择前(m-u)个文件,从而构成当前时刻的缓存文件集Mt={f1 *,...,fu *,fu+1 *,...,fm *},其中,F\{f1 *,...,fu *}表示的是从文件库F中去掉步骤2中帕累托集合A*中的文件后而余下的文件。
步骤7、若t<8000,则t=t+1,返回步骤2。
算法的仿真性能如附图3所示,算法仿真分析如下:
仿真结果分析:从附图3中可知。在主目标(卸载流量)的累计收益图上,显然地,仅考虑了单目标的置信上界算法和贪婪算法的收益要略好于考虑了多目标的所提算法。而本专利提出的算法的性能分别在置信上界算法和贪婪算法上损失性能大约为10.6%和5.1%。至于随机算法,它的性能明显差于前面三种算法。另外,在次目标为文件价值的收益上,考虑了多目标的所提算法明显好于仅考虑单目标的其它算法,具体地,所提算法的累计收益优于贪婪算法和置信上界算法分别约为738.9%,787.9%。同时,所提算法的累计收益超过随机算法约为372.1%。
综上所述,本专利提出的LB-MOMAB方法在主目标损失不大的情况下(最大损失约为10.6%),相较于其它算法,能较大提升了次目标文件累计收益的性能(上述已分析)。
Claims (1)
1.一种基于多目标多臂赌博机在线学习的无线缓存方法,该方法是对标准UCB1(upperconfidence bound)方法的改进,通过该改进的方法能够解决无线缓存中多目标优化问题:即保证在通信高峰期内卸载回程链路上的视频流量最大化,同时也能保证其卸载视频的收益最大化;
具体包括以下步骤:
步骤1、缓存当前内容提供商的所有文件至少一次,观察反馈奖赏向量rf t,并且更新值和Tf值,其中,表示文件f的估计奖赏值,Tf代表的是文件f被缓存控制器选择的次数;设置t←F+1,其中文件集合为F={f1,f2,...fn},其中上标1,2分别表示当前时刻下的文件f的期望请求数、文件的期望价值;
则fi∈A*,遍历完所有文件,找出符合条件的文件并放入帕累托集合A*;设置u=size(A*),u表示的是集合A*中元素的个数,其中,表示的是臂l的预估平均值,表示的是臂i的预估平均值;Ti表示臂i被选中的次数,Tl表示臂l被选中的次数;
步骤3、判断u≥m是否为真;若是,则从A*集合中随机选择m个文件进行缓存,m表示当前时刻缓存文件库中文件的个数;若为否,将集合A*中的u个文件放入缓存文件库中,即为集合Mt u,然后再进行步骤4;
步骤4、计算f∈F\{f1 *,...,fu *},遍历所有的文件,按照降序方式排列不同文件的估计奖赏区间数值,然后选择前(m-u)个文件加入当前时刻的缓存文件库中,构成当前时刻的缓存文件集Mt={f1 *,...,fu *,fu+1 *,...,fm *};其中,F\{f1 *,...,fu *}表示的是从文件集合F中去掉步骤2中帕累托集合A*中的文件后而余下的文件;
步骤7、设置t=t+1,返回步骤2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910162550.6A CN109982389B (zh) | 2019-03-05 | 2019-03-05 | 一种基于多目标多臂赌博机在线学习的无线缓存方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910162550.6A CN109982389B (zh) | 2019-03-05 | 2019-03-05 | 一种基于多目标多臂赌博机在线学习的无线缓存方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109982389A CN109982389A (zh) | 2019-07-05 |
CN109982389B true CN109982389B (zh) | 2021-04-30 |
Family
ID=67077862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910162550.6A Active CN109982389B (zh) | 2019-03-05 | 2019-03-05 | 一种基于多目标多臂赌博机在线学习的无线缓存方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109982389B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112256739B (zh) * | 2020-11-12 | 2022-11-18 | 同济大学 | 一种基于多臂赌博机的动态流大数据中数据项筛选方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130071837A1 (en) * | 2004-10-06 | 2013-03-21 | Stephen N. Winters-Hilt | Method and System for Characterizing or Identifying Molecules and Molecular Mixtures |
CN101572922B (zh) * | 2008-04-28 | 2011-04-13 | 大唐移动通信设备有限公司 | 切换过程中用户平面处理方法及设备 |
US9241049B2 (en) * | 2011-04-27 | 2016-01-19 | Thomas E. Darcie | System and method for efficient networking for large file transactions |
CN104901318B (zh) * | 2014-10-23 | 2021-01-26 | 南方电网科学研究院有限责任公司 | 求解Pareto最优解集的多目标无功优化方法 |
CN105208096A (zh) * | 2015-08-24 | 2015-12-30 | 用友网络科技股份有限公司 | 分布式缓存系统和方法 |
CN107491341B (zh) * | 2017-08-31 | 2018-09-18 | 福州大学 | 一种基于粒子群优化的虚拟机分配方法 |
CN108810139B (zh) * | 2018-06-12 | 2021-02-02 | 电子科技大学 | 一种基于蒙特卡洛树搜索辅助的无线缓存方法 |
CN108901047B (zh) * | 2018-06-15 | 2022-05-24 | 无锡北邮感知技术产业研究院有限公司 | 基于内容流行度变化的基站与终端协作缓存方法及装置 |
CN109408211A (zh) * | 2018-09-28 | 2019-03-01 | 桂林电子科技大学 | 一种多目标优化的对等网络流媒体系统数据调度算法 |
-
2019
- 2019-03-05 CN CN201910162550.6A patent/CN109982389B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109982389A (zh) | 2019-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Multi-agent reinforcement learning based cooperative content caching for mobile edge networks | |
US8355384B2 (en) | System and method of handover in wireless network | |
Jiang et al. | Learning-based cooperative content caching policy for mobile edge computing | |
CN105979274B (zh) | 动态自适应视频流媒体的分布式缓存放置方法 | |
KR101785221B1 (ko) | 무선 통신에서 파일의 전송 성공 확률을 고려하여 캐싱 확률을 결정하는 방법 및 장치 | |
US8787882B2 (en) | Resource profile adjustment for pre-fetching of assets to user equipment | |
CN106851741B (zh) | 蜂窝网络中基于社交关系的分布式移动节点文件缓存方法 | |
Huang et al. | Delay-aware caching in internet-of-vehicles networks | |
CN101800749A (zh) | 管理对等端之间的数据传输的方法和管理设备 | |
CN107949007A (zh) | 无线缓存系统中基于拍卖理论的一种资源分配算法 | |
CN110248206A (zh) | 一种用于边缘网络系统的资源分配方法、装置及电子设备 | |
CN108810139B (zh) | 一种基于蒙特卡洛树搜索辅助的无线缓存方法 | |
CN110972227B (zh) | 通过机会移动网络卸载蜂窝流量的种子节点选择方法 | |
CN109348454A (zh) | 一种d2d缓存通信内容共享方法 | |
CN109982389B (zh) | 一种基于多目标多臂赌博机在线学习的无线缓存方法 | |
CN110012299B (zh) | 一种基于线性加权原则的多目标主动缓存的在线学习方法 | |
Li et al. | A novel cooperative cache policy for wireless networks | |
KR101937558B1 (ko) | 저장 장치 활용 기지국의 저장 용량 및 백홀 사용량 최적화 방법 및 송신 장치 | |
WO2023045253A1 (zh) | 分布式移动网络视频缓存放置方法、系统及相关设备 | |
CN110247953B (zh) | 一种基于超级帕累托原则的多目标在线学习的无线缓存方法 | |
CN114245422A (zh) | 一种基于簇内智能共享的边缘主动缓存方法 | |
CN113115362A (zh) | 协同边缘缓存方法及装置 | |
Fang et al. | Distributed caching popular services by using deep Q-learning in converged networks | |
CN112822726B (zh) | 一种Fog-RAN网络缓存放置问题的建模和决策方法 | |
Chen et al. | QoE‐Driven D2D Media Services Distribution Scheme in Cellular Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |