CN112911614B - 基于动态请求d2d网络中的协作编码缓存方法 - Google Patents
基于动态请求d2d网络中的协作编码缓存方法 Download PDFInfo
- Publication number
- CN112911614B CN112911614B CN202110036543.9A CN202110036543A CN112911614B CN 112911614 B CN112911614 B CN 112911614B CN 202110036543 A CN202110036543 A CN 202110036543A CN 112911614 B CN112911614 B CN 112911614B
- Authority
- CN
- China
- Prior art keywords
- content
- user
- network
- caching
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000005540 biological transmission Effects 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000006399 behavior Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 14
- 230000001413 cellular effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims 1
- 230000007704 transition Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/0215—Traffic management, e.g. flow control or congestion control based on user or device properties, e.g. MTC-capable devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
- H04W28/18—Negotiating wireless communication parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Mobile Radio Communication Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明请求保护一种基于动态请求D2D网络中的协作编码缓存方法,其包括以下步骤:步骤1、搭建网络架构;步骤2、建立D2D网络中的用户内容分享模型;步骤3、将网络中的内容通过最大可分码MDS处理;步骤4、用户获得内容包;步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时;步骤6、分析用户的动态请求;步骤7、将D2D网络中的编码缓存问题建立为马尔科夫决策过程MDP;步骤8、计算缓存奖励的平均值;步骤9、以最大化总时间缓存奖励的平均值为优化目标,建立优化问题;步骤10、提出基于Q‑learning的协作编码缓存算法进行求解。本发明方法减少了缓存冗余,缓解了基站流量负载压力。
Description
技术领域
本发明属于无线通信技术领域,具体涉及一种基于动态请求D2D网络中的协作编码缓存方法。
背景技术
随着无线网络技术的发展和云应用的普及,内容多样性和移动数据流量呈爆炸式增长。移动数据流量目前呈指数级的速度增长,这种快速增长导致回程链路负担加重,降低了移动蜂窝网络中用户的服务质量(Quality of service,QoS),为了解决这个问题,缓存技术引起了极大的关注,因为它可以通过消除流行内容的多次重复数据传输来有效地减少回程流量。缓存技术的核心思想是将内容放在不同的位置,以避免出现因同时请求该内容所导致的通信链路拥堵,其本质是以空间换取时间的技术。
移动端设备发展之迅猛已经使我们不能忽视未来移动设备在网络中的作用,以移动设备为中心的设备直通(Device-to-Device,D2D)通信由于可以使设备的直接相互通信成为研究热点。尤其,D2D通信作为蜂窝网络的底层网络,可帮助蜂窝网络负担较高的流量卸载,为用户带来更快、更好的体验质量(Quality of Experience,QoE)。缓存技术因可在非顶峰时期将核心网中流行内容与放置在小型基站、用户设备中,以减少顶峰时期用户的大量请求带来的网络拥堵。将缓存技术应用在D2D网络中可大大加强缓存技术的优势。
目前,在这大数据时代,流媒体视频内容越来越大。但是用户的存储空间有限,用户无法缓存所有需要的内容。同时,由于传输容易中断,用户很难从其他用户那里获得完整的内容。将内容分段编码是解决这些问题的一种很有前途的方法,可以有效地提高缓存空间的利用率,提高用户的QoE。当将完整的内容分割成多个内容段,便于用户通过D2D获取和内容传输。
但是,针对D2D网络中的缓存研究研究仍存在一些不足,D2D网络中用户缺乏有效的协作方式,且在用户请求状态动态变化条件下的编码缓存策略如何制定是研究较少的,这导致D2D网络中用户设备缓存效率降低,同时产生大量缓存冗余,进而产生用户设备的缓存容量被浪费的情况。所以,本发明将以此为切入点,提出一种基于动态请求D2D网络中的协作编码缓存方法,挖掘D2D网络中用户间的协作性,以减少内容传输延时、提高缓存命中率作为目标,设计协作编码缓存算法。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种减少缓存冗余,缓解基站流量负载压力的基于动态请求D2D网络中的协作编码缓存方法。本发明的技术方案如下:
一种基于动态请求D2D网络中的协作编码缓存方法,其包括以下步骤:
步骤1、搭建网络架构;基于动态请求D2D网络包括两层网络,由基站构成的蜂窝网络与用户设备组成的D2D网络,其中用户对内容的请求具有动态变化的特征,基站可满足用户对内容的需求;
步骤2、建立D2D网络中的用户内容分享模型;
步骤4、用户获得内容包;
步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时;
步骤6、分析用户的动态请求,用户请求将受内容流行度会影响有多个请求状态,该现象遵循有限状态的马尔可夫过程,为了获得用户变化的请求状态,通过观察实时内容请求来判断每个内容的受欢迎程度;
步骤8、计算缓存奖励的平均值;
步骤9、以最大化总时间缓存奖励的平均值为优化目标,建立优化问题;
步骤10、为寻找最优缓存策略,同时为应对网络中的大量用户和内容,提出基于Q-learning的协作编码缓存算法进行求解。
进一步的,所述步骤2、建立D2D网络中的用户内容分享模型,具体如下:
步骤2-1、判断网络中的用户能否建立D2D通信,判断过程如下:
||li-lj||<Rd (1)
其中,i表示用户ui,j表示用户uj,li表示用户ui的物理位置,lj表示用户uj的物理位置,Rd是D2D通信的最大距离;
步骤2-2、为每个用户寻找可建立D2D通信的潜在用户集合,表示为如下:
N(i)={i|i∈U,||li-lj||<Rd} (2)
其中,U表示所有用户的集合;
进一步的,所述步骤4、用户获得内容包过程如下:
步骤4-1、当用户ui对内容fk发出请求时,用户ui首先查看本地缓存中是否缓存了fk的内容包;
步骤4-2、然后通过D2D网络从其他用户处获取内容包;
进一步的,所述步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时,具体如下:
步骤5-1、利用信噪比来估算内容传输的传输速率,则D2D链路以及基站的信噪比分别表示为:
步骤5-2、计算D2D和基站的信道增益,表示如下:
GD2D=κ·dD2D -ε (5)
GBS=κ·dBS -ε (6)
其中,κ表示路径损耗常数,ε表示路径损耗指数,d表示路径距离;
步骤5-3、计算用户通过D2D或者基站获得内容的下载速率,表示如下:
RD2D=WD2D log2(1+SNRD2D) (7)
RBS=WBS log2(1+SNRBS) (8)
其中,WD2D,WBS表示D2D链路和基站与用户间链路的分配带宽;
步骤5-4、得到用户ui通过D2D链路或者基站获得内容包的传输延时,表示如下:
步骤5-5、以用户从基站获取内容的下载速率为标准,排除下载速率低于用户从基站获取内容的下载速率,筛选传输内容的用户,基于用户ui的潜在用户集合,得到用户ui的邻近用户集合N′(i),表示如下:
进一步的,所述步骤6为了获得用户变化的请求状态,可以通过观察实时内容请求来判断每个内容的受欢迎程度;,表示如下:
进一步的,所述步骤8、计算缓存奖励的平均值,过程如下:
步骤8-1、每次缓存行为带来的网络中可减少的平均传输延时作为缓存奖励,在时间周期t内用户ui请求内容fk的第g个内容包可减少的内容传输延时,表示如下:
步骤8-2、计算用户ui恢复内容fk的可减少的内容传输延时,表示如下:
步骤8-3、计算用户ui多次恢复请求的内容可减少的内容传输延时,表示如下:
F表示网络中所有内容的集合;
步骤8-4、计算总时间缓存奖励,表示如下:
步骤8-4、计算总时间缓存奖励的平均值,表示如下:
进一步的,所述步骤9、以最大化总时间缓存奖励的平均值为优化目标,建立优化问题,表示如下:
其中限制条件C1为缓存容量的限制,限制条件C2为二元缓存变量;
进一步的,所述步骤10、为寻找最优缓存策略,同时为应对网络中的大量用户和内容,提出基于Q-learning的协作编码缓存算法进行求解,具体包括:
步骤10-1、设定初始参数;
设定初始时间周期,设定用户的请求初始状态、折扣参数和学习速率,设定网络内用户数量及内容数量,设定初始Q值;
步骤10-2、通过∈-greedy算法来选择用户的缓存行为;
步骤10-3、缓存内容包决策;
基于用户的缓存行为,在满足用户缓存空间的限制下,寻找使优化目标可减少的延时边际值最大的和内容包,具体如下:
步骤10-4、评估每一次缓存行为获得的缓存奖励;
步骤10-5、更新Q表以及策略;
步骤10-6、判断迭代次数是否达到最大时间周期数,若是执行步骤10-7,否则,返回步骤10-2;
步骤10-7、得到最优的缓存策略。
进一步的,所述步骤10-2、通过∈-greedy算法来选择用户的缓存行为;
首先选择一个随机的概率θ,将θ与网络中设定的探索概率进行比较,如果θ<ε那么系统会选择用户已有的缓存行为再次学习,反之,当(1-θ)<ε时,系统会选择用户的一个新缓存行为进行学习。
本发明的优点及有益效果如下:
本发明为一种基于动态请求D2D网络中的协作编码缓存方法,是在D2D通信技术与无线网络缓存技术的基础上提出的。首先,网络中的内容通常被考虑成完整的,但是随着大数据时代的到来,内容变得越来越大,有时会造成D2D通信的中断,所以本方案利用内容编码的方式解决这个问题,同时又发现网络中不同的用户会缓存相同的内容,造成缓存冗余,这就需要加强用户间的协作,通过信息交互降低缓存冗余;此外目前大量缓存方案设计中往往以齐夫分布来描述用户的内容请求规律,即设定网络在某个时间内的流行度是不会发生改变的,但这与现实生活相违背,因为用户的请求状态是实时变化的。所以,本发明通过对用户请求状态动态变化进行分析,实时对用户请求状态进行学习预测,以此为基础,设计协作编码缓存策略。首先采用编码缓存,利用MDS将内容进行分段编码处理后,可满足用户的多样性需求、节省用户设备的缓存空间,提高传输的可靠性,降低链路拥堵情况,同时又加强了用户之间协作性,降低网络的缓存冗余度,提升缓存命中率,为网络中的用户带来更好地体验质量。其次,设计的协作编码缓存算法可以应用于大规模的网络,收敛速度较快,解决了算法维数爆炸的问题。因此本发明可以满足用户对内容的多样性需求,有效降低了内容传输延时、提高缓存命中率。
附图说明
图1是本发明提供优选实施例的网络系统架构示意图;
图2为本发明一种实施例的用户缓存决策过程图;
图3为本发明一种实施例的D2D网络中智能体与环境交互图;
图4为本发明一种实施例的平均传输延时与用户缓存空间大小关系曲线图;
图5为本发明一种实施例的缓存命中率与用户缓存空间大小关系曲线图;
图6为本发明一种实施例的平均传输延时与网络中内容数量关系曲线图;
图7为本发明一种实施例的缓存命中率与网络中内容数量关系曲线图;
图8为基于动态请求D2D网络中的协作编码缓存方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
本发明基于D2D网络的系统模型,其中包括基站以及大量用户设备,用户之间可进行D2D通信进行内容的分享。本发明主要解决用户间的缓存资源分配问题,以提高网络的缓存资源利用率和用户的QoE。利用强化学习中的Q-learning算法对用户的动态请求进行学习预测,随后利用MDS编码对内容分段编码处理得到内容包。以此为基础设计基于动态请求D2D网络中的协作编码缓存方法,降低了内容传输延时、提高缓存命中率。
一种基于动态请求D2D网络中的协作编码缓存方法,包括以下步骤:
步骤1、搭建网络架构;基于动态请求的D2D网络架构如图1所示,该架构包括两层网络,由基站构成的蜂窝网络与用户设备组成的D2D网络,其中用户对内容的请求具有动态变化的特征,基站可满足用户对内容的需求;
步骤2、建立D2D网络中的用户内容分享模型,具体如下:
在D2D网络中,每个用户都是具有移动的特性,此时建立D2D就需要感知周围有哪些用户。通过发现这些用户,建立D2D通信链路进行内容分享和数据资源传输。如今,网络中的用户密度变得越来越紧密。考虑用户在移动过程的物理位置作为度量,因为用户是不断移动的,物理位置所对应的坐标就会实时变化,而D2D通信是有物理距离的限制的。当在D2D网络中包含大量的移动用户,移动用户间的距离便决定了它们之间是否有建立D2D的可能性。
步骤2-1、判断网络中的用户能否建立D2D通信,判断过程如下:
||li-lj||<Rd (1)
其中,其中,i表示用户ui,j表示用户uj,li表示用户ui的物理位置,lj表示用户uj的物理位置,Rd是D2D通信的最大距离;
步骤2-2、为每个用户寻找可建立D2D通信的潜在用户集合,表示为如下:
N(i)={i|i∈U,||li-lj||<Rd} (2)
步骤3、将网络中的内容通过最大可分码(maximum distance separable,MDS)处理,得到多个内容包,MDS编码将内容fk先分成个相等内容片段再编为个互相独立、无重复的内容包,用户收集任意个内容包就可以恢复出完整的内容fk;
步骤4、用户获得内容包过程如下:
步骤4-1、当用户ui对内容fk发出请求时,用户ui首先查看本地缓存中是否缓存了fk的内容包;
步骤4-2、然后通过D2D网络从其他用户处获取内容包;
步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时,表示如下:
步骤5-1、利用信噪比来估算内容传输的传输速率,D2D链路以及基站的信噪比分别表示为:
步骤5-2、计算D2D和基站的信道增益,表示如下:
GD2D=κ·dD2D -ε (5)
GBS=κ·dBS -ε (6)
其中,κ表示路径损耗常数,ε表示路径损耗指数,d表示路径距离;
步骤5-3、计算用户通过D2D或者基站获得内容的下载速率,表示如下:
RD2D=WD2D log2(1+SNRD2D) (7)
RBS=WBS log2(1+SNRBS) (8)
其中,WD2D,WBS表示D2D链路和基站与用户间链路的分配带宽;
步骤5-4、得到用户ui通过D2D链路或者基站获得内容包的传输延时,表示如下:
步骤5-5、以用户从基站获取内容的下载速率为标准,排除下载速率低于用户从基站获取内容的下载速率,进一步筛选传输内容的用户,基于用户ui的潜在用户集合,得到用户ui的邻近用户集合N′(i),表示如下:
步骤6、分析用户的动态请求;
将时间分成多个时间周期,即t=1,2,...,T,并假设每个时间周期足够大,在一个时间周期内可以完成内容的检索和交付。每当一个时间周期结束后,网络中的用户会更新自己所缓存的内容方便下一个时间周期的传输。
在现实生活中,用户的请求状态是会随时间变化的,也就是说一天内的内容流行度会不断发生变化。在凌晨的时候,用户都处于睡眠状态,对内容的请求都较少,随着时间推移,当到了白天工作学习和晚上休息的时候,网络的负载将达到最大,此时用户的请求也会达到顶峰,对流行的内容需求更大。还有一种特殊情况是当出现某些受关注度较高的事件时,多数用户都会因好奇而打开该视频,此时该内容的流行度较高。所以内容的流行度会影响用户对内容的请求状态,也是用户决定是否缓存内容的标准之一。
内容流行度是符合Zipf分布的,内容受欢迎的程度可表示为:
其中,r是分布参数,决定内容受欢迎的程度;fv是内容被用户请求频率的排序。需要注意的是每个内容的内容包在网络用户中的受欢迎程度是相同的,但不同的用户的请求是相互独立的。
用户请求将受内容流行度会影响有多个请求状态,该现象遵循有限状态的马尔可夫过程,首先定义时间周期t内的用户ui请求内容的行为可以描述为1×G的请求向量Pi t,其中的组成元素表示时间周期t内的用户ui请求内容fk的内容包g平均期望。所以用户的请求状态遵循状态集合为的马尔可夫过程,其中,Pm(rm)代表用户请求状态中的第m个状态由Zipf分布Pk的分布参数r构造,且用户的请求状态共有M个。为了获得用户变化的请求状态,可以通过观察实时内容请求来判断每个内容的受欢迎程度,表示如下:
是网络中所有用户可能状态的集合,定义si为用户ui的状态集合,可表示为si={si(P1(r1)),...,si(Pm(rm)),...,si(PM(rM))},用户们si的所有状态构成了整个系统的状态。
是所有用户的可行缓存行为的行为集合,D2D网络中的用户ui将是否缓存内容fk的第g个内容包的决策视为一个动作,该动作可表示为且当时,代表用户ui缓存内容fk的第g个内容包,反之,用户ui不缓存内容fk的第g个内容包时,用户ui可以缓存多个内容包,但不能超过自身的缓存容量Ci,该限制条件可以表示为:
所以,所有用户的缓存行为表示为
如图2所示,用户ui在时间周期t内的MDP可以描述为:
步骤8、计算系统缓存奖励的平均值,过程如下:
步骤8-1、每次缓存行为带来的网络中可减少的平均传输延时作为缓存奖励,在时间周期t内用户ui请求内容fk的第g个内容包可减少的内容传输延时,表示如下:
步骤8-2、计算用户ui恢复内容fk的可减少的内容传输延时,表示如下:
步骤8-3、计算用户ui多次恢复请求的内容可减少的内容传输延时,表示如下:
步骤8-4、计算总时间缓存奖励,表示如下:
其中,α为折扣系数,可以确定当前缓存行为对未来奖励的影响,且0≤α≤1;
步骤8-4、计算总时间缓存奖励的平均值,表示如下:
为了找到最优策略π*,就是使总时间的系统奖励的平均值达到最大,表示如下:
其中,Π是所有策略的集合,表示为Π={π(s1),....,π(si),....,π(sn)}。
步骤9、以最大化总时间缓存奖励的平均值为优化目标,建立优化问题,表示如下:
其中限制条件C1为缓存容量的限制,限制条件C2为二元缓存变量;
步骤10、为寻找最优缓存策略,同时为应对网络中的大量用户和内容,提出基于Q-learning的协作编码缓存算法进行求解;
如图3所示,智能体表示的是D2D网络中的用户设备,而除了智能体以外的一切便是环境,在智能体与环境的交互中,智能体从环境中获取到状态信息,根据状态信息采取行动在计算行为的奖励,以此不断更新行为-状态值,即Q值,从而获得策略。
步骤10-1、设定初始参数;
设定初始时间周期,设定用户的请求初始状态、折扣参数和学习速率,设定网络内用户数量及内容数量,设定初始Q值;
步骤10-2、通过∈-greedy算法来选择用户的缓存行为;
根据梯度下降算法,迭代方程表示如下:
在Q-learning算法中通过随机梯度下降的方法不断更新Q值,Q值更新公式如下:
步骤10-3、缓存内容包决策;
基于用户的缓存行为,在满足用户缓存空间的限制下,寻找使优化目标可减少的延时边际值最大的和内容包,具体如下:
步骤10-5、更新Q表以及策略,表示如下:
更新Q表通过:
更新策略通过:
步骤10-6、判断迭代次数是否达到最大时间周期数,若是执行步骤10-7,否则,返回步骤10-2;
步骤10-7、得到最优的缓存策略;
对本发明提出的基于动态请求D2D网络中的协作编码缓存方法的整体性能进行比较分析,具体如下:
图4为本发明一种实施例的平均传输延时与用户缓存空间大小关系曲线图。随着用户缓存容量的增加,五种缓存策略的内容平均传输延时都逐渐下降,其中已知状态转移概率情况的内容平均传输延时是最低的,其次是我们提出的策略,接下来分别是用户无协作情况和最大流行度编码缓存策略,而随机编码缓存策略的内容平均传输延时是最高的。已知状态转移概率情况的内容平均传输延时是最低的原因是该策略已经提前知道了用户请求状态的转移概率,利用该信息缓存内容,但我们提出的策略可以通过在线学习的方式学习用户的请求状态,从而缓存用户最需要的内容。由此,可以验证我们提出的策略是可以准确预测到习用户的请求状态的,同时也说明该策略最大程度的利用用户的缓存容量满足用户的需求,并加强用户间的协作,减少缓存冗余。
用户无协作情况的内容平均传输延时是略高于我们提出的策略,因为忽略了用户间的协作,用户间会缓存大量相同的内容包造成缓存冗余,导致延时的增长。而最大流行度编码缓存策略每次都选择最流行的内容缓存起来,但是最流行的内容并不代表了用户所有的请求,若用户请求不流行的内容时,该策略的缺点便显现出来。同时,随机编码缓存策略是随机缓存内容,这完全忽略了用户的请求状态,造成较高的内容平均传输延时。
图5为本发明一种实施例的缓存命中率与用户缓存空间大小关系曲线图。随着用户的缓存容量的增加,用户可缓存的内容包数量是不断增加的,但是内容数量是没有发生变化的,所以,用户的缓存容量的增加导致缓存命中率的增长。可以直观的观察到我们提出的策略的命中率与已知状态转移概率情况基本保持一致,说明我们的算法可以较好地预测用户请求状态,缓存用户最需要的内容,从而有效提高了缓存命中率。我们提出的策略的命中率比用户无协作情况高5%左右,说明我们提出的策略可以在本地缓存满足大部分用户的需求,以此充分发挥D2D通信技术的优势,提升用户间的内容分享与协作能力,减少BS的传输压力。
此外,提出的策略的命中率高于最大流行度编码缓存策略20%左右,与随机编码缓存策略相比则高于30%左右,其增长趋势也较高于最大流行度编码缓存策略、随机编码缓存策略,因为这两种策略分别是根据高的流行度和随机的概率缓存内容包,而忽略了用户在不同时间周期的请求状态的变化,缓存的内容不是用户所需求的,造成命中率较低。
图6为本发明一种实施例的平均传输延时与网络中内容数量关系曲线图。其中,随机编码缓存策略的内容平均传输延时高于其他四种缓存策略,因为该策略是随机的缓存内容包,忽略了用户的实际需求,很多时候不能够满足用户的需要,造成了缓存容量的浪费。同时,最大流行度编码缓存策略的内容平均传输延时是高于其他三种缓存策略而略低于随机编码缓存策略,因为它只考虑了最流行的内容,而忽略了用户需求的多样性,只缓存流行内容会造成网络中的用户会缓存相同的流行内容的情况,这样不仅造成了大量相同内容的缓存冗余,也浪费了宝贵的缓存容量。
对于已知状态转移概率情况策略和用户无协作情况策略,提出的策略的内容平均传输延时略高于已知状态转移概率情况,因为已知状态转移概率情况利用已知的用户请求状态的转移概率提前对内容包进行预缓存。另外,可以观察到提出的策略在内容数量较大的情况下,依然保持着较好的性能,内容平均传输延时始终是低于用户无协作情况,因为该策略有效地减少了缓存内容包的冗余。换句话说,提出的策略通过学习用户不同时间周期的请求状态,确定缓存决策,让有更多不同的内容包有机会被缓存,在满足用户的多样性需求下,有效减少了缓存重复内容的冗余度,间接提升了网络中用户间D2D通信协作能力,为网络中的用户带来了更好的体验质量。
图7为本发明一种实施例的缓存命中率与网络中内容数量关系曲线图。与内容平均传输延时分析相一致的是,内容数量越多,缓存命中率就越低。原因与之前的解释是相同的,内容数量的激增导致用户的请求变得更加广泛,但是用户的缓存空间却是固定不变的,这就需要更加精准的确认该缓存哪些内容包可以为D2D网络中的用户带来最好的效果,缓存决策就变得尤为重要。可以发现随机编码缓存策略的命中率最低的,随后是最大流行度编码缓存策略、用户无协作情况,然后是我们提出的策略,命中率最高的是已知状态转移概率情况。我们提出的策略在小规模、大规模内容两种情况下的性能都是较好的。
通过上述的仿真比较,可知本发明提出的基于动态请求D2D网络中的协作编码缓存方法是有效的,本发明算法针对用户对网络中热点内容的动态请求进行预测,对内容缓存部署进行优化,充分发挥了D2D网络中用户间的协作性,降低了缓存冗余,提升了网络的整体存储空间,从而降低了内容传输延时、提高缓存命中率。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (8)
1.一种基于动态请求D2D网络中的协作编码缓存方法,其特征在于,包括以下步骤:
步骤1、搭建网络架构;基于动态请求D2D网络包括两层网络,由基站构成的蜂窝网络与用户设备组成的D2D网络,其中用户对内容的请求具有动态变化的特征,基站可满足用户对内容的需求;
步骤2、建立D2D网络中的用户内容分享模型;
步骤3、将网络中的内容通过最大可分码MDS处理,得到多个内容包,MDS编码将内容fk先分成Lfk个相等内容片段再编为Gfk个互相独立、无重复的内容包;
步骤4、用户获得内容包;
步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时;
步骤6、分析用户的动态请求,用户请求将受内容流行度会影响有多个请求状态,该现象遵循有限状态的马尔可夫过程,为了获得用户变化的请求状态,通过观察实时内容请求来判断每个内容的受欢迎程度;
步骤8、计算缓存奖励的平均值;
步骤9、以最大化总时间缓存奖励的平均值为优化目标,建立优化问题;
步骤10、为寻找最优缓存策略,同时为应对网络中的大量用户和内容,提出基于Q-learning的协作编码缓存算法进行求解;
所述步骤8、计算缓存奖励的平均值,过程如下:
步骤8-1、每次缓存行为带来的网络中可减少的平均传输延时作为缓存奖励,在时间周期t内用户ui请求内容fk的第g个内容包可减少的内容传输延时,表示如下:
步骤8-2、计算用户ui恢复内容fk的可减少的内容传输延时,表示如下:
步骤8-3、计算用户ui多次恢复请求的内容可减少的内容传输延时,表示如下:
F表示网络中所有内容的集合;
步骤8-4、计算总时间缓存奖励,表示如下:
步骤8-4、计算总时间缓存奖励的平均值,表示如下:
2.根据权利要求1所述的基于动态请求D2D网络中的协作编码缓存方法,其特征在于,所述步骤2、建立D2D网络中的用户内容分享模型,具体如下:
步骤2-1、判断网络中的用户能否建立D2D通信,判断过程如下:
||li-lj||<Rd (1)
其中,i表示用户ui,j表示用户uj,li表示用户ui的物理位置,lj表示用户uj的物理位置,Rd是D2D通信的最大距离;
步骤2-2、为每个用户寻找可建立D2D通信的潜在用户集合,表示为如下:
N(i)={i|i∈U,||li-lj||<Rd} (2),
其中,U表示所有用户的集合。
3.根据权利要求1所述的基于动态请求D2D网络中的协作编码缓存方法,其特征在于,所述步骤4、用户获得内容包过程如下:
步骤4-1、当用户ui对内容fk发出请求时,用户ui首先查看本地缓存中是否缓存了fk的内容包;
步骤4-2、然后通过D2D网络从其他用户处获取内容包;
步骤4-3、如果用户ui收集的内容包总数大于Lfk,则用户ui将能够恢复出完整的内容fk,否则,用户ui将从基站获取其他内容包以到达到Lfk来恢复内容。
4.根据权利要求1所述的基于动态请求D2D网络中的协作编码缓存方法,其特征在于,所述步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时,具体如下:
步骤5-1、利用信噪比来估算内容传输的传输速率,则D2D链路以及基站的信噪比分别表示为:
步骤5-2、计算D2D和基站的信道增益,表示如下:
GD2D=κ·dD2D -ε (5)
GBS=κ·dBS -ε (6)
其中,κ表示路径损耗常数,ε表示路径损耗指数,d表示路径距离;
步骤5-3、计算用户通过D2D或者基站获得内容的下载速率,表示如下:
RD2D=WD2Dlog2(1+SNRD2D) (7)
RBS=WBSlog2(1+SNRBS) (8)
其中,WD2D,WBS表示D2D链路和基站与用户间链路的分配带宽;
步骤5-4、得到用户ui通过D2D链路或者基站获得内容包的传输延时,表示如下:
其中,Sfk,g为内容fk的第g个内容包的尺寸大小;
步骤5-5、以用户从基站获取内容的下载速率为标准,排除下载速率低于用户从基站获取内容的下载速率,筛选传输内容的用户,基于用户ui的潜在用户集合,得到用户ui的邻近用户集合N′(i),表示如下:
7.根据权利要求6所述的基于动态请求D2D网络中的协作编码缓存方法,其特征在于,所述步骤10、为寻找最优缓存策略,同时为应对网络中的大量用户和内容,提出基于Q-learning的协作编码缓存算法进行求解,具体包括:
步骤10-1、设定初始参数;
设定初始时间周期,设定用户的请求初始状态、折扣参数和学习速率,设定网络内用户数量及内容数量,设定初始Q值;
步骤10-2、通过∈-greedy算法来选择用户的缓存行为;
步骤10-3、缓存内容包决策;
基于用户的缓存行为,在满足用户缓存空间的限制下,寻找使优化目标可减少的延时边际值最大的和内容包,具体如下:
步骤10-4、评估每一次缓存行为获得的缓存奖励;
步骤10-5、更新Q表以及策略;
步骤10-6、判断迭代次数是否达到最大时间周期数,若是执行步骤10-7,否则,返回步骤10-2;
步骤10-7、得到最优的缓存策略。
8.根据权利要求7所述的基于动态请求D2D网络中的协作编码缓存方法,其特征在于,所述步骤10-2、通过∈-greedy算法来选择用户的缓存行为;
首先选择一个随机的概率θ,将θ与网络中设定的探索概率进行比较,如果θ<ε那么系统会选择用户已有的缓存行为再次学习,反之,当(1-θ)<ε时,系统会选择用户的一个新缓存行为进行学习。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110036543.9A CN112911614B (zh) | 2021-01-12 | 2021-01-12 | 基于动态请求d2d网络中的协作编码缓存方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110036543.9A CN112911614B (zh) | 2021-01-12 | 2021-01-12 | 基于动态请求d2d网络中的协作编码缓存方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112911614A CN112911614A (zh) | 2021-06-04 |
CN112911614B true CN112911614B (zh) | 2022-05-03 |
Family
ID=76112502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110036543.9A Active CN112911614B (zh) | 2021-01-12 | 2021-01-12 | 基于动态请求d2d网络中的协作编码缓存方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112911614B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113542351B (zh) * | 2021-06-07 | 2022-11-25 | 北京邮电大学 | 一种基于车载网络的内容缓存方法及装置 |
CN113783933B (zh) * | 2021-08-10 | 2022-05-24 | 中山大学 | 基于编码缓存的双层网络通信方法、装置及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107548102A (zh) * | 2017-08-16 | 2018-01-05 | 北京邮电大学 | 一种边缘缓存网络中最小化用户时延的基站缓存方法 |
CN108668287A (zh) * | 2018-04-19 | 2018-10-16 | 西安交通大学 | 一种基于用户内容流行度和移动规则的主动缓存方法 |
CN109639760A (zh) * | 2018-11-02 | 2019-04-16 | 西北工业大学 | 一种基于深度强化学习的d2d网络中的缓存策略方法 |
CN110445825A (zh) * | 2018-05-04 | 2019-11-12 | 东南大学 | 基于强化学习的超密集网络小站编码协作缓存方法 |
WO2020071882A1 (en) * | 2018-10-05 | 2020-04-09 | Samsung Electronics Co., Ltd. | Method and system for enabling distributed caching in wireless network |
-
2021
- 2021-01-12 CN CN202110036543.9A patent/CN112911614B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107548102A (zh) * | 2017-08-16 | 2018-01-05 | 北京邮电大学 | 一种边缘缓存网络中最小化用户时延的基站缓存方法 |
CN108668287A (zh) * | 2018-04-19 | 2018-10-16 | 西安交通大学 | 一种基于用户内容流行度和移动规则的主动缓存方法 |
CN110445825A (zh) * | 2018-05-04 | 2019-11-12 | 东南大学 | 基于强化学习的超密集网络小站编码协作缓存方法 |
WO2020071882A1 (en) * | 2018-10-05 | 2020-04-09 | Samsung Electronics Co., Ltd. | Method and system for enabling distributed caching in wireless network |
CN109639760A (zh) * | 2018-11-02 | 2019-04-16 | 西北工业大学 | 一种基于深度强化学习的d2d网络中的缓存策略方法 |
Non-Patent Citations (6)
Title |
---|
amp ; lt ; /a amp ; amp ; gt ; .《IETF 》.2019, * |
amp ; lt ; a href= amp ; quot ; ./draft-ietf-ipwave-vehicular-networking-08 amp * |
J. Jeong等.IP Wireless Access in Vehicular Environments (IPWAVE): Problem Statement and Use Cases amp * |
quot ; amp ; amp ; gt ; draft-ietf-ipwave-vehicular-networking-08 amp * |
基于Q-learning的分布式基站缓存替换策略;房晓阳等;《信息工程大学学报》;20171015(第05期);全文 * |
带有特征感知的D2D内容缓存策略;杨静等;《电子与信息学报》;20200915(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112911614A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Safavat et al. | Recent advances in mobile edge computing and content caching | |
Zhong et al. | A deep reinforcement learning-based framework for content caching | |
CN112020103B (zh) | 一种移动边缘云中的内容缓存部署方法 | |
CN112995950B (zh) | 一种车联网中基于深度强化学习的资源联合分配方法 | |
Yovita et al. | Caching on Named Data Network: a Survey and Future Research. | |
CN108600998B (zh) | 超密度蜂窝与d2d异构融合网络缓存优化决策方法 | |
WO2018120802A1 (zh) | 协同内容缓存控制系统和方法 | |
CN112911614B (zh) | 基于动态请求d2d网络中的协作编码缓存方法 | |
Dai et al. | Edge intelligence for adaptive multimedia streaming in heterogeneous internet of vehicles | |
CN112218337A (zh) | 一种移动边缘计算中的缓存策略决策方法 | |
Guo et al. | Dueling deep-Q-network based delay-aware cache update policy for mobile users in fog radio access networks | |
CN111885648A (zh) | 基于边缘缓存的能量有效的网络内容分发机制构建方法 | |
CN113472420B (zh) | 一种基于区域用户兴趣感知的卫星网络缓存放置方法 | |
Zheng et al. | 5G network-oriented hierarchical distributed cloud computing system resource optimization scheduling and allocation | |
Anamalamudi et al. | Cooperative caching scheme for machine-to-machine information-centric IoT networks | |
CN116321307A (zh) | 一种无蜂窝网络中基于深度强化学习的双向缓存放置方法 | |
Bruno et al. | Optimal content placement in ICN vehicular networks | |
Shashidhara et al. | A novel location aware content prefetching technique for mobile adhoc network | |
Tang et al. | Optimal multilevel media stream caching in cloud-edge environment | |
CN114245422A (zh) | 一种基于簇内智能共享的边缘主动缓存方法 | |
Zhou | D2D communication meets big data: From theory to application | |
Fan et al. | Identifying influential users in mobile device-to-device social networks to promote offline multimedia content propagation | |
CN118250665B (zh) | 基于用户兴趣偏好和活跃度水平的v2v协同缓存方法 | |
CN113271338B (zh) | 一种移动增强现实场景的智能预加载方法 | |
Li et al. | Latency-aware content caching and cost-aware migration in SDN based on MEC |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |