CN107909108B - 基于内容流行度预测的边缘缓存系统及其方法 - Google Patents
基于内容流行度预测的边缘缓存系统及其方法 Download PDFInfo
- Publication number
- CN107909108B CN107909108B CN201711129878.5A CN201711129878A CN107909108B CN 107909108 B CN107909108 B CN 107909108B CN 201711129878 A CN201711129878 A CN 201711129878A CN 107909108 B CN107909108 B CN 107909108B
- Authority
- CN
- China
- Prior art keywords
- content
- cache
- request
- user
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 26
- 230000003993 interaction Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于内容流行度预测的边缘缓存系统及其方法,包含如下步骤:(1)根据用户历史请求信息,线下训练节点覆盖区域内每个用户的偏好模型;(2)当请求到达时,如果请求内容不在缓存区,依据用户偏好模型在线预测内容流行度;(3)比较内容流行度预测值与缓存区内容流行度最低值两者大小,做出相应缓存决策;(4)更新当前时刻内容流行度值,并对用户偏好模型进行评估,确定是否启动线下用户偏好模型学习。本发明可以使边缘节点在线预测内容流行度并实时追踪内容流行度变化,并基于预测的内容流行度做出对应的缓存决策,从而确保边缘节点持续缓存热点内容,获得渐近于理想的缓存方法的缓存命中率。
Description
技术领域
本发明涉及一种基于内容流行度预测的边缘缓存系统及其方法,属于移动通信中的边缘缓存技术领域。
背景技术
随着各种智能设备和先进移动应用服务的持续迅速地增加,近年来无线网络正在遭受空前的数据传输压力。持续增加的数据传输量给容量有限的回传链路带来了巨大的压力,尤其在业务传输峰值时刻。边缘缓存技术通过放置最流行的内容到更靠近请求用户的节点上,从而可以有效地降低回传负载,近年来受到了业界和学术界的广泛关注。由于节点的存储空间有限且内容流行度随时间和空间变化,边缘缓存技术面临各种各样的挑战,诸如,为使得节点的缓存命中率尽可能地高,应该在何时存放什么内容到本地节点。
传统的缓存策略诸如先入先出缓存策略、最近最少使用缓存策略、最近最不常用缓存策略以及这些算法的变体已经广泛应用于有线网络,然而,由于无线网络中边缘节点的覆盖范围和存储空间有限,以上传统的缓存策略不能直接对内容流行度进行提前预测,这些传统的缓存策略在无线网络中可能遭受严重的性能下降,因此,这些传统的缓存策略不再适用于无线网络。目前的研究工作正在转向基于流行度的边缘缓存策略,但是对内容流行度的预测复杂度较高且并不能对流行度的变化进行实时的追踪,缓存性能提升有限。如果能保证较为精准的流行度预测以及确保对流行度进行很好地实时跟踪,边缘节点可以保证持续缓存热点内容,从而实现逼近理想缓存策略的缓存命中率,最大程度降低回传负载和通信时延。
发明内容
本发明为克服现有技术中存在的技术缺陷,在无线网络中,提供一种可以高效利用节点存储和计算资源以尽可能降低回传负载和通信时延的边缘缓存技术,所提出的边缘缓存技术利用监测到的区域用户集以及区域用户自身对内容访问的某种偏好,对内容在节点覆盖区域的流行度进行预测和跟踪,同时,对用户偏好模型的平均预测误差进行实时监测,当预测误差超过某个设定的阈值时自启动地对用户偏好模型进行重新学习,这种自启动式的模型更新确保了内容流行度的预测具有较高的精度。在对缓存设计时,本发明结合实时的内容流行度值,选择当前最流行的内容进行缓存,确保此边缘缓存方案可以持续地缓存热点内容,从而渐近逼近理想情况下的缓存命中率,最大程度降低回传负载和通信时延。
为解决上述技术问题,本发明提供了一种基于内容流行度预测的边缘缓存系统,包括用户接口、请求处理、缓存管理和本地缓存模块,还包括:
信息监测和交互模块,实现区域邻近节点间的定期信息监测和交互;
线下模型学习模块,将收集到的特征数据库信息和请求数据库信息通过线下模型学习算法对当前用户偏好模型进行学习;
数据更新模块,将当前请求的内容特征数据和用户访问信息分别更新到线下模型学习模块的特征数据库和请求数据库里,实现请求信息的收集和更新,该用户访问信息包括访问内容编号和访问时间;
缓存信息模块,负责存放和更新区域缓存内容的当前内容流行度信息、初始缓存时间和缓存内容编号;
缓存监测模块,负责监测缓存信息,捕捉当前本地缓存需要清理的内容,通知缓存管理模块;和
在线流行度预测模块,利用学习数据库信息和在线流行度预测算法预测当前请求内容的流行度,在线缓存决策机制将当前流行度信息与缓存信息进行比较,做出相应的缓存决策,当累积的平均预测误差较大时,启动线下模型学习模块,所述数据库信息包括请求的内容特征数据和已经学习好的用户的偏好模型参数。
本发明还公开了一种基于内容流行度预测的边缘缓存方法,包括以下步骤:
S1、初始化监测周期时长,并对本地节点和邻近节点设置相同的监测周期,在每个监测周期,本地节点和邻近节点分别监测和收集自身覆盖区域用户集,并通过节点间的信息交互得知当前周期M个边缘节点总覆盖区域的用户集;
S2、以第t个监测周期为例,收集到的区域用户集标记为Ut={1,2,…,u,…,Ut};
S3、对单个监测周期内的每个请求,节点对请求内容进行判断,并做出相应的缓存决策,以第t个监测周期内的第d个请求为例,请求表示为reqt,d=<f(d),t(d),x(d)>,其中,f(d)为第d个请求的请求内容,t(d)为第d个请求的请求时间,x(d)为第d个请求的请求内容特征矢量,当请求到达本地节点时,节点查看请求内容是否在本地缓存,若在本地缓存,则本地节点和邻近节点协作地传输内容f(d)到用户端,并更新请求内容的内容流行度值到M个边缘节点的缓存信息中;若请求内容不在本地缓存,则节点通过在线流行度预测算法对请求内容的流行度值进行预测,并从区域的缓存信息中查找本地缓存流行度最低的内容中缓存时长最长的内容作为待清理内容,节点通过比较流行度预测值大于缓存区的内容的流行度最低值,做出相应的缓存决策,决定是否需要缓存请求内容;
S4、当节点决定缓存请求内容时,则M个边缘节点删除待清理内容,对请求内容进行分段并将分段后的内容协作地缓存到节点各自的缓存空间内,并更新请求内容的内容流行度值以及请求时间和请求内容特征到M个边缘节点的缓存信息中,同时节点间共享缓存信息。
进一步的,步骤S3具体包括如下步骤:
S3-1、记录请求信息,包括请求时间、请求内容信息、请求用户信息;
S3-2、读取第d个请求的请求时间t(d)时刻的本地缓存内容集Gt,d;
S3-4、若第d个请求的请求内容f(d)不属于本地缓存内容集Gt,d,执行如下操作:
S3-4a)本地节点协同邻近节点从云内容中心或其他外部节点提取f(d)协作地服务用户;
S3-4b)基于当前的f(d)的N维特征矢量x(d)和区域用户偏好模型参数集本地节点通过在线内容流行度预测算法预测f(d)在当前t(d)时刻的流行度值其中,wu为用户u∈Ut的偏好模型参数矢量,为所有用户u∈Ut的偏好模型参数集;
S3-4c)依次按照tf和对本地节点的信息队列Qt,d进行排序,其中,f∈Gt,d,f为当前时刻的本地缓存内容,tf为f的初始缓存时间,为内容f在t(d)时刻的流行度值,Qt,d为信息队列,存放缓存区所有内容的tf和f;
S3-4d)提取信息队列Qt,d的顶部元素Pleast和fleast,其中,Pleast为本地缓存内容的当前流行度最低值,fleast为当前本地缓存中流行度值最低的内容中初始缓存时间最早的内容;
进一步的,步骤S3-4e)中本地节点和邻近节点进行缓存更新,包括以下步骤:
S3-4eiv)对f(d)进行分段,并将分段后的f(d)协作地缓存到本地缓存和邻近缓存中,同时,将当前缓存内容广播给区域用户。
进一步的,步骤S3-4b)中的在线内容流行度预测算法如下:
本地节点对区域内的每个用户u∈Ut,若用户u已经访问过内容f(d),则在t(d)时刻用户u对内容的访问可能性为若用户u未访问过内容f(d),本地节点从自身或邻近节点获得已经训练好的用户偏好模型,根据f(d)的N维特征矢量x(d)和用户u∈Ut的偏好模型参数矢量wu预测用户u对内容f(d)的访问可能性并观察内容f(d)的实际分类标签y(d),若用户在设定时间内访问了内容f(d),认为内容f(d)为用户喜欢的内容类别,标记y(d)=1,否则,标记y(d)=0,并将特征-标签对(x(d),y(d))定义为用户的一个历史访问数据样本;
收集新样本其中,Kt,u,d=Kt,u,d-1+1,Kt,u,d-1为从最近一次用户u偏好模型更新时刻到t(d-1)时刻累积的样本数,Kt,u,d为从最近一次用户u偏好模型更新时刻到当前t(d)时刻累积的样本数,为第Kt,u,d个样本的内容特征矢量,为第Kt,u,d个样本的分类标签;
若平均预测误差ξt,u,d不小于设定的阈值γ,则启动用户u的线下用户偏好模型学习算法,对用户的偏好模型进行重新训练和更新,其中,0≤γ≤1,γ取值越接近于0则要求训练后的用户偏好模型越接近于真实用户偏好模型;
进一步的,线下用户偏好模型学习算法,具体包括以下步骤:
(h1)初始化参数α、β、λ1、λ2、z(0)=q(0)=0∈RN,其中,α、β、λ1、λ2为模型学习过程中需要调节的参数,为初始的用户偏好模型参数,z(0)为初始的模型中间参数矢量,q(0)为初始的梯度和矢量;
(h2c)对第k=2,3,…,K时依次进行迭代运算,重复执行步骤(h2a)和(h2b);
所述步骤h2b更新操作如下:
有益效果:本发明与现有技术相比,本发明具有以下优点:
(1)本发明实现了区域的内容流行度预测,通过反馈机制、在线预测、线下模型训练,保证预测具有较好的准确性、实时性和低计算复杂度特性。
(2)本发明解决了区域用户访问时间差异、人流量差异和流动性高低等变化特性对缓存命中率的影响,通过针对区域用户的缓存、定期用户监测、缓存时长控制,给出了性能较为稳定且适应不同场景的动态缓存方案。
(3)本发明从理论上给出了预测误差、缓存命中率上下界和缓存命中率随请求数的变化趋势分析,并在试验中进一步验证了理论性能,确保了方案的可行性。
(4)本发明对计算资源和存储资源要求不大,可以在边缘节点上直接进行,同时,未来可扩展到用户终端进行偏好模型生成。
(5)本发明在区域热点感知的边缘缓存设计上考虑到了节点间的协作,在内容缓存布置时采取分段缓存的方式,有效避免了节点间的缓存内容冗余,同时提高了存储空间的利用率。
附图说明
图1是基于内容流行度预测的边缘缓存方法在节点内部的实施结构图。
图2是基于内容流行度预测的边缘缓存方法流程图。
图3是内容流行度在线预测流程图。
图4是线下用户偏好模型学习流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
附图1为基于内容流行度预测的边缘缓存方法在单节点内部的实施结构图,其中单节点的内部结构中除了包含传统的用户接口、请求处理、缓存管理和本地缓存模块外,为了使节点能更好地进行在线内容流行度预测以及基于当前内容流行度信息实施节点间协作动态缓存和智能更新,我们在节点的内部缓存结构设计上,增加了相应的信息监测和交互模块、线下模型学习模块、数据更新模块、缓存信息模块、缓存监测模块和在线流行度预测模块。其中:
信息监测和交互模块主要负责实现区域邻近节点间的定期信息监测和交互,一方面,信息监测和交互模块定期收集邻近节点当前接入用户信息和本节点的当前接入用户集,并将收集的用户信息数据存储到学习数据库。另一方面,信息监测和交互模块也定期将本节点的当前接入用户信息发送给邻近节点,最终,实现区域节点间当前接入用户信息的监测和共享,该用户信息包括用户集和用户偏好模型。
线下学习模块主要负责将目前为止收集到的特征数据库信息和请求数据库信息通过线下模型学习算法对当前用户偏好模型进行学习。
数据更新模块主要负责将当前请求的内容特征数据和用户访问信息分别更新到线下模型学习模块的特征数据库和请求数据库里,实现请求信息的收集和更新,该用户访问信息包括访问内容编号和访问时间。
缓存信息模块主要负责存放和更新区域缓存内容的当前内容流行度信息、初始缓存时间和缓存内容编号。
缓存监测模块主要负责监测缓存信息,捕捉当前本地缓存需要清理的内容,通知缓存管理模块。
在线流行度预测模块主要负责利用学习数据库信息和在线流行度预测算法预测当前请求内容的流行度,在线缓存决策机制将当前流行度信息与缓存信息进行比较,做出相应的缓存决策。同时,当累积的平均预测误差较大时,启动线下模型学习模块。
现详见图1各模块之间信号传递如下:
a:信息监测和交互模块定期从用户接口模块收集本节点的当前接入用户集,同时从邻近节点获得邻近节点的当前接入用户信息,信息监测和交互模块初始化一个大约的时段,每间隔这个时段周期的监测和收集区域用户集。
b:信息监测和交互模块将定期收集到的区域用户信息更新到在线预测模块的学习数据库。
c:信息监测和交互模块从学习数据库获得本节点的当前接入用户信息。
d:信息监测和交互模块将本节点当前接入用户信息传送给区域邻近节点。
1:用户接口将用户请求信息传送给请求处理模块,等待请求处理;
2:请求处理模块根据接收到的用户请求信息启动一个数据更新过程;
3:数据更新模块对请求内容特征进行数值处理并将处理后的特征数据写入线下学习模块的特征数据库,同时将请求内容信息更新到用户请求数据库。
4:如果请求内容在本地缓存,则从本地缓存提取内容传送给请求处理模块,同时更新缓存信息模块内的此请求内容的当前流行度值。
A:请求处理模块服务用户。
5:如果请求内容不在本地缓存,请求处理模块触发在线流行度预测模块对请求内容进行流行度在线预测。
6:在线流行度预测模块从学习数据库提取用户偏好模型参数和请求内容特征,对请求内容流行度进行预测。
7;流行度预测模块反馈当前请求内容的流行度预测值给请求处理模块,并通过请求处理模块反馈给缓存管理模块。
8:缓存管理模块触发缓存监测模块,启动对缓存内容信息的监测和更新。
9:缓存监测模块从缓存信息中提取待清除的内容信息,并将信息反馈给缓存管理器。
10:缓存管理器根据反馈信息对请求内容做出相应的缓存决策。
11:将当前的本地缓存内容信息广播给用户。
节点间协作缓存和信息同步:
B:缓存管理模块执行本节点的缓存决策,并通知区域邻近节点执行缓存决策。如果内容需要缓存,缓存管理模块从外部接口或数据中心等内容库提取热点内容,分段缓存到区域各个节点的本地缓存空间内。
C:缓存管理模块更新本地节点的缓存信息。
D:缓存管理模块更新和同步区域邻近节点的缓存信息。
自启动的线下模型训练:
E:当基于某个用户偏好模型下累积的平均预测误差较大时,流行度在线预测模块启动线下学习模块。
F:线下模型学习模块从特征数据库和请求数据库提取当前收集到的针对此用户的历史访问数据,生成新的训练样本集,通过线下用户偏好模型学习算法对此用户偏好模型进行重新学习。
G:将训练好的用户偏好模型参数更新到学习数据库。
H:对收集到的此用户的历史访问数据进行释放。
如附图2所示,执行过程包含以下几个步骤:
S1、初始化监测周期时长,并对本地节点和邻近节点设置相同的监测周期。在每个监测周期,本地节点和邻近节点分别监测和收集自身覆盖区域用户集,并通过节点间的信息交互得知当前周期M个边缘节点总覆盖区域的用户集。
S2、以第t个监测周期为例,收集到的区域用户集标记为Ut={1,2,…,u,…,Ut}。
S3、对单个监测周期内的每个请求,节点对请求内容进行判断,并做出相应的缓存决策。以第t个监测周期内的第d个请求为例,请求表示为reqt,d=<f(d),t(d),x(d)>,其中,f(d)为第d个请求的请求内容,t(d)为第d个请求的请求时间,x(d)为第d个请求的请求内容特征矢量,当请求到达本地节点时,节点查看请求内容是否在本地缓存,如果在本地缓存,则本地节点和邻近节点协作地传输内容f(d)到用户端,并更新请求内容的内容流行度值到M个边缘节点的缓存信息中。
S4、如果请求内容不在本地缓存,则节点通过在线流行度预测算法对请求内容的流行度值进行预测,并从区域的缓存信息中查找本地缓存中的流行度最低且缓存时长相对较长的内容作为待清理内容,节点通过比较两者的流行度值做出相应的缓存决策,决定是否需要缓存请求内容。
S5、当节点决定缓存请求内容时,则M个边缘节点删除待清理内容,对请求内容进行分段并将分段后的内容协作地缓存到节点各自的缓存空间内,并更新请求内容的内容流行度值以及请求时间和请求内容特征到M个边缘节点的缓存信息中,同时节点间共享缓存信息。
参见图3,针对上述中提到的在线流行度预测算法做进一步说,不失一般性,以节点对第t个监测周期内的第d个请求内容f(d)的流行度预测过程为例,基于线下模型学习算法得到的用户偏好模型,在线流行度预测过程包含以下步骤:
本地节点对区域内的每个用户u∈Ut,执行如下:
否则,本地节点从自身或邻近节点获得已经训练好的用户偏好模型,根据x(d)和wu预测用户u对内容f(d)的访问可能性并在一定时间后观察内容f(d)的实际分类标签y(d),如果用户在限定时间内访问了内容f(d),认为内容f(d)为用户喜欢的内容类别,标记y(d)=1。否则,标记y(d)=0,并将特征-标签对(x(d),y(d))定义为用户的一个历史访问数据样本。
收集新样本其中,Kt,u,d=Kt,u,d-1+1,Kt,u,d-1为从最近一次用户u偏好模型更新时刻到t(d-1)时刻累积的样本数,Kt,u,d为从最近一次用户u偏好模型更新时刻到当前t(d)时刻累积的样本数,为第Kt,u,d个样本的内容特征矢量,为第Kt,u,d个样本的分类标签。
结合新样本的预测误差,计算用户u在t(d)时刻基于当前用户u偏好模型下累积的平均预测误差ξt,u,d,计算方法为:
其中,ξt,u,d-1表示用户u在t(d-1)时刻基于当前用户u偏好模型下累积的平均预测误差。
如果ξt,u,d-1≥γ,则启动用户u的线下用户偏好模型学习算法,对用户的偏好模型进行重新训练和更新。其中,γ为设定的阈值且0≤γ≤1,γ取值越接近于0则要求训练后的用户偏好模型越接近于真实用户偏好模型。
附图4为自启动的线下用户偏好模型学习算法的实施流程图,当某个用户基于自身的偏好模型对内容访问可能性预测的累积误差较大时,启动线下用户偏好模型学习算法对用户偏好模型进行重新学习,以用户u为例,其模型重新学习过程如下:
I、初始化参数α、β、λ1、λ2、z(0)=q(0)=0∈RN,其中,α、β、λ1、λ2为模型学习过程中需要调节的参数,为初始的用户偏好模型参数,一般初始化0-1间的随机数,z(0)为初始的模型中间参数矢量,q(0)为初始的梯度和矢量。另外,初始化k=1,其中,k为样本标号,即模型学习从第1个样本开始。
其中,sgn函数是符号函数。
II-5、令k=k+1,判断当前k是否满足条件k>K,如果不满足则重复执行操作II-1、II-1、II-2、II-3、II-4。
Claims (6)
1.基于内容流行度预测的边缘缓存系统,包括用户接口、请求处理、缓存管理和本地缓存模块,其特征在于:还包括:
信息监测和交互模块,实现区域邻近节点间的定期信息监测和交互;
线下模型学习模块,将收集到的特征数据库信息和请求数据库信息通过线下模型学习算法对当前用户偏好模型进行学习,得到已经学习好的用户偏好模型参数;
数据更新模块,将当前请求的内容特征数据和用户访问信息分别更新到线下模型学习模块的特征数据库和请求数据库里,实现请求信息的收集和更新,该用户访问信息包括访问内容编号和访问时间;
缓存信息模块,负责存放和更新区域缓存内容的当前内容流行度信息、初始缓存时间和缓存内容编号;
缓存监测模块,负责监测缓存信息,捕捉当前本地缓存需要清理的内容,通知缓存管理模块;和
在线流行度预测模块,利用学习信息和在线流行度预测算法预测当前请求内容的流行度,在线缓存决策机制将当前流行度信息与缓存信息进行比较,做出相应的缓存决策,当存在累积的平均预测误差时,启动线下模型学习模块,所述学习信息包括请求的内容特征数据和已经学习好的用户偏好模型参数。
2.根据权利要求1所述的基于内容流行度预测的边缘缓存系统的边缘缓存方法,其特征在于:包括以下步骤:
S1、初始化监测周期时长,并对本地节点和邻近节点设置相同的监测周期,在每个监测周期,本地节点和邻近节点分别监测和收集自身覆盖区域用户集,并通过节点间的信息交互得知当前周期M个边缘节点总覆盖区域的用户集;
S3、对单个监测周期内的每个请求,节点对请求内容进行判断,并做出相应的缓存决策,以第t个监测周期内的第d个请求为例,请求表示为reqt,d=<f(d),t(d),x(d)>,其中,f(d)为第d个请求的请求内容,t(d)为第d个请求的请求时间,x(d)为第d个请求的请求内容特征矢量,当请求到达本地节点时,节点查看请求内容是否在本地缓存,若在本地缓存,则本地节点和邻近节点协作地传输内容f(d)到用户端,并更新请求内容的内容流行度值到M个边缘节点的缓存信息中;若请求内容不在本地缓存,则节点通过在线流行度预测算法对请求内容的流行度值进行预测,并从区域的缓存信息中查找本地缓存流行度最低的内容中缓存时长最长的内容作为待清理内容,节点通过比较流行度预测值大于缓存区的内容的流行度最低值,做出相应的缓存决策,决定是否需要缓存请求内容;
S4、当节点决定缓存请求内容时,则M个边缘节点删除待清理内容,对请求内容进行分段并将分段后的内容协作地缓存到节点各自的缓存空间内,并更新请求内容的内容流行度值以及请求时间和请求内容特征到M个边缘节点的缓存信息中,同时节点间共享缓存信息。
3.根据权利要求2所述的基于内容流行度预测的边缘缓存方法,其特征在于:
其中,步骤S3具体包括如下步骤:
S3-1、记录请求信息,包括请求时间、请求内容信息、请求用户信息;
S3-4a)本地节点协同邻近节点从云内容中心或其他外部节点提取f(d)协作地服务用户;
S3-4b)基于当前的f(d)的N维特征矢量x(d)和区域用户偏好模型参数集本地节点通过在线内容流行度预测算法预测f(d)在当前t(d)时刻的流行度值其中,wu为用户的偏好模型参数矢量,为所有用户的偏好模型参数集;
S3-4c)依次按照tf和对本地节点的信息队列Qt,d进行排序,其中,f为当前时刻的本地缓存内容,tf为f的初始缓存时间,为内容f在t(d)时刻的流行度值,Qt,d为信息队列,存放缓存区所有内容的tf和f;
S3-4d)提取信息队列Qt,d的顶部元素Pleast和fleast,其中,Pleast为本地缓存内容的当前流行度最低值,fleast为当前本地缓存中流行度值最低的内容中初始缓存时间最早的内容;
5.根据权利要求3所述的基于内容流行度预测的边缘缓存方法,其特征在于:所述步骤S3-4b)中的在线内容流行度预测算法如下:
本地节点对区域内的每个用户若用户u已经访问过内容f(d),则在t(d)时刻用户u对内容的访问可能性为若用户u未访问过内容f(d),本地节点从自身或邻近节点获得已经训练好的用户偏好模型,根据f(d)的N维特征矢量x(d)和用户的偏好模型参数矢量wu预测用户u对内容f(d)的访问可能性并观察内容f(d)的实际分类标签y(d),若用户在设定时间内访问了内容f(d),认为内容f(d)为用户喜欢的内容类别,标记y(d)=1,否则,标记y(d)=0,并将特征-标签对(x(d),y(d))定义为用户的一个历史访问数据样本;
收集新样本其中,Kt,u,d=Kt,u,d-1+1,Kt,u,d-1为从最近一次用户u偏好模型更新时刻到t(d-1)时刻累积的样本数,Kt,u,d为从最近一次用户u偏好模型更新时刻到当前t(d)时刻累积的样本数,为第Kt,u,d个样本的内容特征矢量,为第Kt,u,d个样本的分类标签;
若平均预测误差ξt,u,d不小于设定的阈值γ,则启动用户u的线下用户偏好模型学习算法,对用户的偏好模型进行重新训练和更新,其中,0≤γ≤1,γ取值越接近于0则要求训练后的用户偏好模型越接近于真实用户偏好模型;
6.根据权利要求5所述的基于内容流行度预测的边缘缓存方法,其特征在于:所述线下用户偏好模型学习算法,具体包括以下步骤:
(h2c)对第k=2,3,…,K时依次进行迭代运算,重复执行步骤(h2a)和(h2b);
所述步骤h2b更新操作如下:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711129878.5A CN107909108B (zh) | 2017-11-15 | 2017-11-15 | 基于内容流行度预测的边缘缓存系统及其方法 |
PCT/CN2017/112079 WO2019095402A1 (zh) | 2017-11-15 | 2017-11-21 | 基于内容流行度预测的边缘缓存系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711129878.5A CN107909108B (zh) | 2017-11-15 | 2017-11-15 | 基于内容流行度预测的边缘缓存系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107909108A CN107909108A (zh) | 2018-04-13 |
CN107909108B true CN107909108B (zh) | 2021-06-11 |
Family
ID=61844226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711129878.5A Active CN107909108B (zh) | 2017-11-15 | 2017-11-15 | 基于内容流行度预测的边缘缓存系统及其方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107909108B (zh) |
WO (1) | WO2019095402A1 (zh) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108600365B (zh) * | 2018-04-20 | 2020-05-22 | 西安交通大学 | 一种基于排序学习的无线异构网络缓存方法 |
CN108549719A (zh) * | 2018-04-23 | 2018-09-18 | 西安交通大学 | 一种移动边缘计算网络中基于聚类的自适应缓存方法 |
CN108769729B (zh) * | 2018-05-16 | 2021-01-05 | 东南大学 | 基于遗传算法的缓存布置系统及缓存方法 |
CN108848395B (zh) * | 2018-05-28 | 2020-08-25 | 东南大学 | 基于果蝇优化算法的边缘协作缓存布置方法 |
CN108809728B (zh) * | 2018-06-19 | 2021-06-04 | 中国联合网络通信集团有限公司 | 内容分发网络数据转发方法和内容分发网络数据转发系统 |
CN109274414B (zh) * | 2018-07-26 | 2021-07-09 | 厦门大学 | 网络编码与边缘缓存在多向无线中继交互信道协作的方法 |
CN110881054B (zh) * | 2018-09-05 | 2022-07-15 | 中国移动通信有限公司研究院 | 一种边缘缓存方法、设备及系统 |
CN111104528B (zh) * | 2018-10-29 | 2023-05-16 | 浙江宇视科技有限公司 | 图片获取方法、装置及客户端 |
CN110213627B (zh) * | 2019-04-23 | 2020-09-01 | 武汉理工大学 | 一种基于多小区用户移动性的流媒体缓存分配方法 |
CN110022579A (zh) * | 2019-04-23 | 2019-07-16 | 重庆邮电大学 | 基于基站协作的内容缓存管理方法 |
CN110400219B (zh) * | 2019-06-14 | 2024-05-17 | 创新先进技术有限公司 | 业务处理方法及系统、交易监控方法及系统 |
CN111491175B (zh) * | 2019-10-18 | 2021-08-20 | 北京大学 | 一种基于视频内容特征的边缘网络缓存方法和装置 |
CN110913239B (zh) * | 2019-11-12 | 2021-03-02 | 西安交通大学 | 一种精细化的移动边缘计算的视频缓存更新方法 |
CN112862060B (zh) * | 2019-11-28 | 2024-02-13 | 南京大学 | 一种基于深度学习的内容缓存方法 |
CN113051298A (zh) * | 2019-12-27 | 2021-06-29 | 中国联合网络通信集团有限公司 | 内容缓存方法及装置 |
CN111629218A (zh) * | 2020-04-29 | 2020-09-04 | 南京邮电大学 | 一种vanet中基于时变线性的加速强化学习边缘缓存方法 |
CN111901392B (zh) * | 2020-07-06 | 2022-02-25 | 北京邮电大学 | 一种面向移动边缘计算的内容部署与分发方法及系统 |
CN111901394B (zh) * | 2020-07-07 | 2023-05-02 | 哈尔滨工业大学(深圳) | 一种联合考虑用户偏好及活跃程度的移动边缘缓存的方法及系统 |
CN111866952B (zh) * | 2020-07-10 | 2021-10-01 | 中山大学 | 一种基于用户组偏好集中度差异的d2d概率式缓存放置方法 |
CN113630742B (zh) * | 2020-08-05 | 2023-02-17 | 北京航空航天大学 | 采用信源发布内容的请求率与动态性的移动边缘缓存替换方法 |
CN112529737A (zh) * | 2020-12-28 | 2021-03-19 | 山东鲁能软件技术有限公司 | 一种适用于电力信息系统的智能化缓存管理方法与系统 |
CN112887992B (zh) * | 2021-01-12 | 2022-08-12 | 滨州学院 | 基于接入均衡核和置换率的密集无线网络边缘缓存方法 |
CN112948289B (zh) * | 2021-03-03 | 2022-09-30 | 上海天旦网络科技发展有限公司 | 一种基于机器学习的缓存预测调度方法、系统及介质 |
CN113315978B (zh) * | 2021-05-13 | 2022-03-15 | 江南大学 | 一种基于联邦学习的协作式在线视频边缘缓存方法 |
CN114154060B (zh) * | 2021-11-23 | 2024-07-16 | 浙江大学 | 融合信息年龄和动态图神经网络的内容推荐系统及方法 |
CN116260873B (zh) * | 2021-12-01 | 2023-10-13 | 中国科学院声学研究所 | 一种icn网络中基于热度的随路协同缓存方法 |
CN114337916B (zh) * | 2021-12-03 | 2023-06-27 | 广州杰赛科技股份有限公司 | 一种网络传输速率调整方法、装置、设备及存储介质 |
CN115102974A (zh) * | 2021-12-08 | 2022-09-23 | 湘潭大学 | 基于双边匹配博弈的协同内容缓存方法 |
CN114462590B (zh) * | 2021-12-13 | 2024-05-10 | 之江实验室 | 一种重要性感知的深度学习数据缓存管理方法和系统 |
CN114500529A (zh) * | 2021-12-28 | 2022-05-13 | 航天科工网络信息发展有限公司 | 一种基于可感知冗余的云边协同缓存方法及系统 |
CN115002138B (zh) * | 2022-03-04 | 2023-07-04 | 昆明理工大学 | 一种基于终端无人机巡航视频数据的边缘缓存方法 |
CN115037958B (zh) * | 2022-03-22 | 2023-06-23 | 电子科技大学 | 一种基于5g网络的mec协作传输vr视频的方法 |
CN115278290B (zh) * | 2022-06-30 | 2024-04-19 | 华中科技大学 | 一种基于边缘节点的虚拟现实视频缓存方法及装置 |
CN115314944A (zh) * | 2022-08-10 | 2022-11-08 | 西南科技大学 | 基于移动车辆社会关系感知的车联网协作缓存方法 |
CN115408618B (zh) * | 2022-09-26 | 2023-10-20 | 南京工业职业技术大学 | 一种基于社交关系融合位置动态流行度和地理特征的兴趣点推荐方法 |
CN115866051A (zh) * | 2022-11-15 | 2023-03-28 | 重庆邮电大学 | 一种基于内容流行度的边缘缓存方法 |
CN116069529B (zh) * | 2023-03-16 | 2023-06-23 | 天翼云科技有限公司 | 一种动态缓存方法、装置、电子设备及计算机可读介质 |
CN116320004B (zh) * | 2023-05-22 | 2023-08-01 | 北京金楼世纪科技有限公司 | 一种内容缓存方法及缓存服务系统 |
CN116866995B (zh) * | 2023-09-05 | 2023-12-01 | 江西师范大学 | 一种基于移动车辆的内容分层边缘缓存策略 |
CN116915781B (zh) * | 2023-09-14 | 2023-12-12 | 南京邮电大学 | 一种基于区块链的边缘协作缓存系统及方法 |
CN117235088B (zh) * | 2023-11-09 | 2024-02-13 | 苏州元脑智能科技有限公司 | 一种存储系统的缓存更新方法、装置、设备、介质及平台 |
CN117528589B (zh) * | 2023-12-29 | 2024-03-22 | 江西师范大学 | 一种基于边缘计算的移动感知层次缓存容错方法 |
CN117708179B (zh) * | 2024-02-02 | 2024-05-03 | 成都深瑞同华科技有限公司 | 电力综合监控系统测点数据缓存方法、装置、设备及介质 |
CN118396668B (zh) * | 2024-06-25 | 2024-09-20 | 泉州悟凡文化科技有限公司 | 一种基于预测模型的文化创意设计系统及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104166668A (zh) * | 2014-06-09 | 2014-11-26 | 南京邮电大学 | 基于folfm模型的新闻推荐系统及方法 |
CN104281890A (zh) * | 2014-10-08 | 2015-01-14 | 电子科技大学 | 电子商务系统中预测流行商品的方法和系统 |
CN105049326A (zh) * | 2015-06-19 | 2015-11-11 | 清华大学深圳研究生院 | 一种边缘网络区域中社交内容缓存方法 |
WO2016049333A1 (en) * | 2014-09-24 | 2016-03-31 | Interdigital Patent Holdings, Inc. | Method and system for creating a pre-fetching list for managed caching in small cell networks |
CN106453495A (zh) * | 2016-08-31 | 2017-02-22 | 北京邮电大学 | 一种基于内容流行度预测的信息中心网络缓存方法 |
CN107124630A (zh) * | 2017-03-30 | 2017-09-01 | 华为技术有限公司 | 节点数据管理的方法及装置 |
CN107171961A (zh) * | 2017-04-28 | 2017-09-15 | 中国人民解放军信息工程大学 | 基于内容流行度的缓存方法及其装置 |
CN107222787A (zh) * | 2017-06-02 | 2017-09-29 | 中国科学技术大学 | 视频资源流行度预测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160198016A1 (en) * | 2015-01-05 | 2016-07-07 | Onavo Mobile Ltd. | Techniques for network resource caching using partial updates |
-
2017
- 2017-11-15 CN CN201711129878.5A patent/CN107909108B/zh active Active
- 2017-11-21 WO PCT/CN2017/112079 patent/WO2019095402A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104166668A (zh) * | 2014-06-09 | 2014-11-26 | 南京邮电大学 | 基于folfm模型的新闻推荐系统及方法 |
WO2016049333A1 (en) * | 2014-09-24 | 2016-03-31 | Interdigital Patent Holdings, Inc. | Method and system for creating a pre-fetching list for managed caching in small cell networks |
CN104281890A (zh) * | 2014-10-08 | 2015-01-14 | 电子科技大学 | 电子商务系统中预测流行商品的方法和系统 |
CN105049326A (zh) * | 2015-06-19 | 2015-11-11 | 清华大学深圳研究生院 | 一种边缘网络区域中社交内容缓存方法 |
CN106453495A (zh) * | 2016-08-31 | 2017-02-22 | 北京邮电大学 | 一种基于内容流行度预测的信息中心网络缓存方法 |
CN107124630A (zh) * | 2017-03-30 | 2017-09-01 | 华为技术有限公司 | 节点数据管理的方法及装置 |
CN107171961A (zh) * | 2017-04-28 | 2017-09-15 | 中国人民解放军信息工程大学 | 基于内容流行度的缓存方法及其装置 |
CN107222787A (zh) * | 2017-06-02 | 2017-09-29 | 中国科学技术大学 | 视频资源流行度预测方法 |
Non-Patent Citations (2)
Title |
---|
Edge Popularity Prediction Based on Social-Driven Propagation Dynamics;Shuo He 等;《IEEE Communication Letters》;20170531;第21卷(第5期);1027-1030 * |
基于收视行为的互联网电视节目流行度预测模型;朱琛刚 等;《电子与信息学报》;20171031;第39卷(第10期);2504-2512 * |
Also Published As
Publication number | Publication date |
---|---|
CN107909108A (zh) | 2018-04-13 |
WO2019095402A1 (zh) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107909108B (zh) | 基于内容流行度预测的边缘缓存系统及其方法 | |
Jiang et al. | User preference learning-based edge caching for fog radio access network | |
Zhong et al. | A deep reinforcement learning-based framework for content caching | |
CN110275758B (zh) | 一种虚拟网络功能智能迁移方法 | |
CN114219097B (zh) | 一种基于异构资源之上的联邦学习训练和预测方法及系统 | |
CN111553213B (zh) | 移动边缘云中实时分布式的身份感知行人属性识别方法 | |
Jiang et al. | A novel caching policy with content popularity prediction and user preference learning in fog-RAN | |
CN110188919A (zh) | 一种基于长短期记忆网络的负荷预测方法 | |
CN115809147B (zh) | 多边缘协作缓存调度优化方法、系统及模型训练方法 | |
CN111159063A (zh) | 一种面向多层Sketch网络测量的缓存分配方法 | |
Chen et al. | One for all: Traffic prediction at heterogeneous 5g edge with data-efficient transfer learning | |
CN112862060B (zh) | 一种基于深度学习的内容缓存方法 | |
CN116346837A (zh) | 一种基于深度强化学习的物联网边缘协同缓存方法 | |
CN113992753A (zh) | 一种天地一体化卫星网络节点的智能缓存策略 | |
CN113271631B (zh) | 基于用户请求可能性与时空特性的新型内容缓存部署方案 | |
CN113225380B (zh) | 一种基于谱聚类的内容分发网络缓存方法及系统 | |
CN113676357B (zh) | 面向电力物联网中边缘数据处理的决策方法及其应用 | |
CN117858109A (zh) | 基于数字孪生的用户关联、任务卸载和资源分配优化方法 | |
CN118317372A (zh) | 基于多智能体联邦强化学习的数据协作缓存方法 | |
CN117675918A (zh) | 基于多智能体深度强化学习的边缘区域协作缓存更新方法 | |
CN114298278A (zh) | 一种基于预训练模型的电工装备性能预测方法 | |
Fan et al. | Pa-cache: Learning-based popularity-aware content caching in edge networks | |
CN108600365A (zh) | 一种基于排序学习的无线异构网络缓存方法 | |
CN117528658A (zh) | 基于联邦深度强化学习的边缘协作缓存方法及系统 | |
CN116760722A (zh) | 一种存储辅助mec任务卸载系统及资源调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |