CN110381540A - 基于dnn的实时响应时变文件流行度的动态缓存更新方法 - Google Patents
基于dnn的实时响应时变文件流行度的动态缓存更新方法 Download PDFInfo
- Publication number
- CN110381540A CN110381540A CN201910659927.9A CN201910659927A CN110381540A CN 110381540 A CN110381540 A CN 110381540A CN 201910659927 A CN201910659927 A CN 201910659927A CN 110381540 A CN110381540 A CN 110381540A
- Authority
- CN
- China
- Prior art keywords
- file
- base station
- probability
- popularity
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/14—Flow control between communication endpoints using intermediate storage
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种基于DNN的实时响应时变文件流行度的动态缓存更新方法,包括下列步骤:动态文件库建模;适应用户请求分布变化的部分缓存更新,整个缓存更新问题分为两个阶段:第一阶段静态完全缓存更新问题,第二阶段动态部分缓存更新问题;深度学习方法求解动态缓存更新问题:实现实时响应时变文件流行度的动态缓存更新,以适应用户请求分布不断变化,即期望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下,优化当前时刻基站文件缓存概率,使用多层神经网络来求解动态缓存更新问题。
Description
技术领域
本发明属于无线异质网络边缘缓存技术领域,涉及一种动态缓存更新方法。
背景技术
伴随5G通信时代的临近,对回程链路带宽占用较多的视频流量成为移动数据流量的主要形式,移动端硬件设备所需的数据流量呈现指数式爆炸增长,这导致基站与核心网之间的回程链路在数据流量峰值时不堪重负,超密度多层异质网络(UDHNs)和网络边缘缓存技术是满足日益增长的无线数据需求的关键技术。
基于随机几何为多层超密度异质网络进行建模,使得对于多层异质网络的分析简单化,并且更易于获得相应的解析特性。通常采用泊松点分布对宏基站的分布进行精确的建模,并引入泊松聚类过程以刻画基站和用户的聚类特性。
网络边缘缓存的作用类似于一个局域代理服务器,即在基站中存储一部分较流行的(使用率较高的)文件,当用户请求的文件被基站所缓存时(该情况称为缓存命中),基站直接将缓存命中的文件发送给用户即可,无需通过回程链路向核心网请求文件。关于网络边缘缓存的研究需要考虑一种动态的长期的演进模型,即在文件流行度不断演进的情况下,更新基站文件缓存,这就需要对于文件流行度作出精确预测,以具备适应未来一段时间内用户请求的能力。潮汐流量问题是关于文件流行度周期性演进的典型例子:白天的用户移动数据流量远高于凌晨的移动数据流量。
发明内容
由于基站的缓存能力相对有限,而待缓存的文件库通常是无限的,本发明提出了一种基于DNN的实时响应时变文件流行度的动态缓存更新方法,希望最大化利用基站的缓存容量以实现最大可能的系统性能。技术方案如下:
一种基于DNN的实时响应时变文件流行度的动态缓存更新方法,包括下列步骤:
第一步:动态文件库建模
对动态文件库进行建模,即用数学模型表示基站文件缓存概率:考虑超密度多层异质网络,认为各层的基站分布为独立均匀泊松点过程,第k层基站激活密度表示为λk;对一个含有F个文件的动态文件库按照文件流行度的递减顺序排列,然后对文件大小做归一化处理,设不同的用户集群中同一文件的流行度各不相同,第e个集群中的文件库在时间t的第f个文件表示为则基于用户聚类的多集群模型中,具有K层基站的文件缓存概率可以表示为如下的概率矩阵:
其中表示k层中的文件的文件缓存概率;
第二步:适应用户请求分布变化的部分缓存更新
整个缓存更新问题分为两个阶段:
(1)第一阶段静态完全缓存更新问题目标是在可以无限制利用回程链路的高峰时段实现基站所缓存文件完全任意的更新:给定第e个集群中第f个文件的初始的文件库流行度需要优化第k层基站激活密度λke和初始文件缓存概率
(2)第二阶段动态部分缓存更新问题目标是在用户请求分布不断变化并且回程链路资源匮乏情况下的基站文件缓存动态更新,即使用一定量的回程链路带宽来追踪文件流行度的变化,基于第一阶段完全缓存更新问题对基站中缓存的文件进行微调,抽象为数学模型为:给定第e个集群中第f个文件当前的文件流行度以及上一时刻的基站文件缓存概率即第一阶段优化中所获得的基站文件缓存概率,优化当前时刻的基站文件缓存概率
第三步:深度学习方法求解动态缓存更新问题
实现实时响应时变文件流行度的动态缓存更新,以适应用户请求分布不断变化,即期望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下,优化当前时刻基站文件缓存概率,使用多层神经网络来求解动态缓存更新问题方法为:
(1)为每一个集群构建其独有的全连接层深度神经网络DNN,神经元的激活函数采用sigmoid函数;损失函数定义为平均绝对值误差;
(2)优化问题的输入为当前的文件流行度以及上一时刻的基站文件缓存概率输出为当前时刻的基站文件缓存概率
(3)对DNN的输出做归一化处理,然后乘以缓存容量得到最终结果,即当前时刻基站文件缓存概率。
本发明提出的基于动态的文件流行度的基站缓存更新方法,为每一个cluster构造一个DNN结构来学习文件缓存概率的模式。这一方法不仅能够节约计算资源,同时可以保证基站中的文件缓存概率能够紧紧追踪文件库文件流行度的变化。为满足日益增长的以视频数据为代表的无线数据需求提出了一种行之有效的解决方案。数值模拟的结果(见附图2)显示DNN具有良好的泛化能力,能够提供对测试数据的精确的近似,实现对于文件流行度的精准的追踪。
附图说明
图1:DNN网络结构。网络具有1层输入层,4层隐藏层,1层输出层。
图2:DNN方法对于时变文件流行度追踪的数值模拟结果。证明DNN网络对于测试数据的精确追踪能力。
具体实施方式
第一步:动态文件库建模
对动态文件库进行建模,主要包括基站激活密度和文件缓存概率:认为各层的基站分布为独立均匀泊松点过程,第k层基站激活密度表示为λk;对一个含有F个文件的动态文件库按照文件流行度的递减顺序排列,然后对文件大小做归一化处理,假设不同的cluster中同一文件的流行度各不相同,第e个cluster中的文件库在时间t的第f个文件表示为则基于用户聚类的多cluster模型(mCP)中的具有K层基站的文件缓存概率可以表示为如下的概率矩阵:
其中表示k层中的文件的文件缓存概率。
第二步:多cluster缓存更新第一阶段完全缓存更新模型
对基站激活密度和文件缓存概率进行动态联合优化,分为两个阶段:
(1)第一阶段静态完全缓存更新问题实现在可以无限制利用回程链路的高峰时段实现基站所缓存文件完全任意的更新,抽象为数学模型为:给定第e个cluster中第f个文件的初始的文件库流行度需要优化第k层基站激活密度λke和初始文件缓存概率即:
(2)第二阶段动态部分缓存更新问题实现在用户请求分布不断变化并且回程链路资源匮乏情况下的基站文件缓存动态更新,即使用一定量的回程链路带宽来追踪文件流行度的变化,基于第一阶段完全缓存更新问题对基站中缓存的文件进行微调,抽象为数学模型为:给定第e个cluster中第f个文件当前的文件流行度以及上一时刻的基站文件缓存概率即第一阶段优化中所获得的基站文件缓存概率,优化当前时刻的基站文件缓存概率即:
第三步:深度学习方法求解动态缓存更新问题
为了适应用户请求分布不断变化,希望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下,预测当前时刻基站文件缓存概率,即可实现实时响应时变文件流行度的动态缓存更新。
本发明使用多层神经网络来解决上述问题,即学习优化问题的输入和输出之间的映射关系,具体步骤为:
(1)为每一个cluster构建其独有的全连接层深度神经网络(DNN)。对于每一个cluster,采用的DNN结构含有4层隐藏层,1层输入层,1层输出层;神经元的激活函数采用sigmoid函数;损失函数定义为平均绝对值误差。
(2)优化问题的输入为当前的文件流行度以及上一时刻的基站文件缓存概率利用CVX工具箱产生的数据作为神经网络的训练数据,所使用的文件流行度为随机产生的Zipf分布;输出为当前时刻的基站文件缓存概率
(3)由于基站的缓存容量限制,最后需要对DNN的输出做归一化处理,然后乘以缓存容量得到最终结果,即当前时刻基站文件缓存概率。实现实时响应时变文件流行度的动态缓存更新。
Claims (1)
1.一种基于DNN的实时响应时变文件流行度的动态缓存更新方法,包括下列步骤:
第一步:动态文件库建模
对动态文件库进行建模,即用数学模型表示基站文件缓存概率:考虑超密度多层异质网络,认为各层的基站分布为独立均匀泊松点过程,第k层基站激活密度表示为λk;对一个含有F个文件的动态文件库按照文件流行度的递减顺序排列,然后对文件大小做归一化处理,设不同的用户集群中同一文件的流行度各不相同,第e个集群中的文件库在时间t的第f个文件表示为则基于用户聚类的多集群模型中,具有K层基站的文件缓存概率可以表示为如下的概率矩阵:
其中表示k层中的文件的文件缓存概率;
第二步:适应用户请求分布变化的部分缓存更新
整个缓存更新问题分为两个阶段:
(1)第一阶段静态完全缓存更新问题目标是在可以无限制利用回程链路的高峰时段实现基站所缓存文件完全任意的更新:给定第e个集群中第f个文件的初始的文件库流行度需要优化第k层基站激活密度λke和初始文件缓存概率
(2)第二阶段动态部分缓存更新问题目标是在用户请求分布不断变化并且回程链路资源匮乏情况下的基站文件缓存动态更新,即使用一定量的回程链路带宽来追踪文件流行度的变化,基于第一阶段完全缓存更新问题对基站中缓存的文件进行微调,抽象为数学模型为:给定第e个集群中第f个文件当前的文件流行度以及上一时刻的基站文件缓存概率即第一阶段优化中所获得的基站文件缓存概率,优化当前时刻的基站文件缓存概率
第三步:深度学习方法求解动态缓存更新问题
实现实时响应时变文件流行度的动态缓存更新,以适应用户请求分布不断变化,即期望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下,优化当前时刻基站文件缓存概率,使用多层神经网络来求解动态缓存更新问题方法为:
(1)为每一个集群构建其独有的全连接层深度神经网络DNN,神经元的激活函数采用sigmoid函数;损失函数定义为平均绝对值误差;
(2)优化问题的输入为当前的文件流行度以及上一时刻的基站文件缓存概率输出为当前时刻的基站文件缓存概率
(3)对DNN的输出做归一化处理,然后乘以缓存容量得到最终结果,即当前时刻基站文件缓存概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910659927.9A CN110381540B (zh) | 2019-07-22 | 2019-07-22 | 基于dnn的实时响应时变文件流行度的动态缓存更新方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910659927.9A CN110381540B (zh) | 2019-07-22 | 2019-07-22 | 基于dnn的实时响应时变文件流行度的动态缓存更新方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110381540A true CN110381540A (zh) | 2019-10-25 |
CN110381540B CN110381540B (zh) | 2021-05-28 |
Family
ID=68254650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910659927.9A Active CN110381540B (zh) | 2019-07-22 | 2019-07-22 | 基于dnn的实时响应时变文件流行度的动态缓存更新方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110381540B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111629218A (zh) * | 2020-04-29 | 2020-09-04 | 南京邮电大学 | 一种vanet中基于时变线性的加速强化学习边缘缓存方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106570597A (zh) * | 2016-11-14 | 2017-04-19 | 广州大学 | 一种sdn架构下基于深度学习的内容流行度预测方法 |
US20170257452A1 (en) * | 2016-03-02 | 2017-09-07 | Huawei Technologies Canada Co., Ltd. | Systems and methods for data caching in a communications network |
CN109617991A (zh) * | 2018-12-29 | 2019-04-12 | 东南大学 | 基于值函数近似的超密集异构网络小站编码协作缓存方法 |
CN109995851A (zh) * | 2019-03-05 | 2019-07-09 | 东南大学 | 基于深度学习的内容流行度预测及边缘缓存方法 |
-
2019
- 2019-07-22 CN CN201910659927.9A patent/CN110381540B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170257452A1 (en) * | 2016-03-02 | 2017-09-07 | Huawei Technologies Canada Co., Ltd. | Systems and methods for data caching in a communications network |
CN106570597A (zh) * | 2016-11-14 | 2017-04-19 | 广州大学 | 一种sdn架构下基于深度学习的内容流行度预测方法 |
CN109617991A (zh) * | 2018-12-29 | 2019-04-12 | 东南大学 | 基于值函数近似的超密集异构网络小站编码协作缓存方法 |
CN109995851A (zh) * | 2019-03-05 | 2019-07-09 | 东南大学 | 基于深度学习的内容流行度预测及边缘缓存方法 |
Non-Patent Citations (3)
Title |
---|
W. LIU 等: "Content Popularity Prediction and Caching for ICN: A Deep Learning Approach With SDN", 《IEEE ACCESS》 * |
张超 等: "基于协作小小区与流行度预测的在线热点视频缓存更新策略", 《计算机应用》 * |
黄国豪: "基于用户中心点访问上下文的边缘缓存应用研究", 《中国优秀硕士学位论文全文数据库(信息科技I辑)》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111629218A (zh) * | 2020-04-29 | 2020-09-04 | 南京邮电大学 | 一种vanet中基于时变线性的加速强化学习边缘缓存方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110381540B (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022077797A1 (zh) | 量子线路的确定方法、装置、设备及存储介质 | |
Grace et al. | Dynamic replica placement and selection strategies in data grids—a comprehensive survey | |
CN108460121B (zh) | 智慧城市中时空数据小文件合并方法 | |
CN109240946A (zh) | 数据的多级缓存方法及终端设备 | |
CN111737168B (zh) | 一种缓存系统、缓存处理方法、装置、设备及介质 | |
US11381506B1 (en) | Adaptive load balancing for distributed systems | |
Lin et al. | Feedback delay-tolerant proactive caching scheme based on federated learning at the wireless edge | |
CN111488528A (zh) | 内容缓存管理方法及装置、电子设备 | |
CN103118102B (zh) | 一种在云计算环境下空间数据访问规律的统计与控制系统及方法 | |
CN118227337B (zh) | 一种键值对存储系统的处理方法和装置 | |
Zhou et al. | Sacc: A size adaptive content caching algorithm in fog/edge computing using deep reinforcement learning | |
CN104572504B (zh) | 一种实现数据预读的方法及装置 | |
CN117459112A (zh) | 基于图卷积网络的leo卫星网络中的移动边缘缓存方法及设备 | |
Li et al. | Neighborhood search-based job scheduling for IoT big data real-time processing in distributed edge-cloud computing environment | |
WO2022148306A1 (zh) | 一种淘汰数据的方法、装置、缓存节点以及缓存系统 | |
CN110062356B (zh) | 一种d2d网络中的缓存副本布设方法 | |
CN108173958A (zh) | 一种多云环境下基于蚁群算法的数据优化存储方法 | |
Zhang et al. | Efficient hierarchical storage management empowered by reinforcement learning | |
CN110381540A (zh) | 基于dnn的实时响应时变文件流行度的动态缓存更新方法 | |
CN103984737A (zh) | 一种基于计算相关度的多数据中心数据布局优化方法 | |
Zhang et al. | A locally distributed mobile computing framework for DNN based android applications | |
Xiong et al. | A small file merging strategy for spatiotemporal data in smart health | |
Kadhum et al. | Cloud-edge network data processing based on user requirements using modify mapreduce algorithm and machine learning techniques | |
Liu et al. | Proactive data caching and replacement in the edge computing environment | |
Pérez et al. | MAPFS: A flexible multiagent parallel file system for clusters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |