CN110381540B - 基于dnn的实时响应时变文件流行度的动态缓存更新方法 - Google Patents

基于dnn的实时响应时变文件流行度的动态缓存更新方法 Download PDF

Info

Publication number
CN110381540B
CN110381540B CN201910659927.9A CN201910659927A CN110381540B CN 110381540 B CN110381540 B CN 110381540B CN 201910659927 A CN201910659927 A CN 201910659927A CN 110381540 B CN110381540 B CN 110381540B
Authority
CN
China
Prior art keywords
file
base station
cache
dynamic
popularity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910659927.9A
Other languages
English (en)
Other versions
CN110381540A (zh
Inventor
杨嘉琛
门垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910659927.9A priority Critical patent/CN110381540B/zh
Publication of CN110381540A publication Critical patent/CN110381540A/zh
Application granted granted Critical
Publication of CN110381540B publication Critical patent/CN110381540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints
    • H04W28/14—Flow control between communication endpoints using intermediate storage

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于DNN的实时响应时变文件流行度的动态缓存更新方法，包括下列步骤：动态文件库建模；适应用户请求分布变化的部分缓存更新，整个缓存更新问题分为两个阶段：第一阶段静态完全缓存更新问题，第二阶段动态部分缓存更新问题；深度学习方法求解动态缓存更新问题:实现实时响应时变文件流行度的动态缓存更新，以适应用户请求分布不断变化，即期望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下，优化当前时刻基站文件缓存概率，使用多层神经网络来求解动态缓存更新问题。

Description

基于DNN的实时响应时变文件流行度的动态缓存更新方法
技术领域
本发明属于无线异质网络边缘缓存技术领域，涉及一种动态缓存更新方法。
背景技术
伴随5G通信时代的临近，对回程链路带宽占用较多的视频流量成为移动数据流量的主要形式，移动端硬件设备所需的数据流量呈现指数式爆炸增长，这导致基站与核心网之间的回程链路在数据流量峰值时不堪重负，超密度多层异质网络(UDHNs)和网络边缘缓存技术是满足日益增长的无线数据需求的关键技术。
基于随机几何为多层超密度异质网络进行建模，使得对于多层异质网络的分析简单化，并且更易于获得相应的解析特性。通常采用泊松点分布对宏基站的分布进行精确的建模，并引入泊松聚类过程以刻画基站和用户的聚类特性。
网络边缘缓存的作用类似于一个局域代理服务器，即在基站中存储一部分较流行的(使用率较高的)文件，当用户请求的文件被基站所缓存时(该情况称为缓存命中)，基站直接将缓存命中的文件发送给用户即可，无需通过回程链路向核心网请求文件。关于网络边缘缓存的研究需要考虑一种动态的长期的演进模型，即在文件流行度不断演进的情况下，更新基站文件缓存，这就需要对于文件流行度作出精确预测，以具备适应未来一段时间内用户请求的能力。潮汐流量问题是关于文件流行度周期性演进的典型例子：白天的用户移动数据流量远高于凌晨的移动数据流量。
发明内容
由于基站的缓存能力相对有限，而待缓存的文件库通常是无限的，本发明提出了一种基于DNN的实时响应时变文件流行度的动态缓存更新方法，希望最大化利用基站的缓存容量以实现最大可能的系统性能。技术方案如下：
一种基于DNN的实时响应时变文件流行度的动态缓存更新方法，包括下列步骤：
第一步：动态文件库建模
对动态文件库进行建模，即用数学模型表示基站文件缓存概率：考虑超密度多层异质网络，认为各层的基站分布为独立均匀泊松点过程，第k层基站激活密度表示为λk；对一个含有F个文件的动态文件库按照文件流行度的递减顺序排列，然后对文件大小做归一化处理，设不同的用户集群中同一文件的流行度各不相同，第e个集群中的文件库在时间t的第f个文件表示为
Figure GDA0003003387140000021
则基于用户聚类的多集群模型中，具有K层基站的文件缓存概率可以表示为如下的概率矩阵：
Figure GDA0003003387140000022
其中
Figure GDA0003003387140000023
表示k层中的文件
Figure GDA0003003387140000024
的文件缓存概率；
第二步：适应用户请求分布变化的部分缓存更新
整个缓存更新问题分为两个阶段：
(1)第一阶段静态部分缓存更新问题
Figure GDA0003003387140000025
目标是在可以无限制利用回程链路的高峰时段实现基站所缓存文件任意的更新：给定第e个集群中第f个文件的初始的文件库流行度
Figure GDA0003003387140000026
需要优化第k层基站激活密度λke和初始文件缓存概率
Figure GDA0003003387140000027
(2)第二阶段动态部分缓存更新问题
Figure GDA0003003387140000028
目标是在用户请求分布不断变化并且回程链路资源匮乏情况下的基站文件缓存动态更新，即使用回程链路带宽来追踪文件流行度的变化，基于第一阶段静态部分缓存更新问题
Figure GDA0003003387140000029
对基站中缓存的文件进行微调，抽象为数学模型为：给定第e个集群中第f个文件当前的文件流行度
Figure GDA00030033871400000210
以及上一时刻的基站文件缓存概率
Figure GDA00030033871400000211
即第一阶段优化中所获得的基站文件缓存概率，优化当前时刻的基站文件缓存概率
Figure GDA00030033871400000212
第三步：深度学习方法求解动态部分缓存更新问题
Figure GDA00030033871400000213
实现实时响应时变文件流行度的动态缓存更新，以适应用户请求分布不断变化，即期望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下，优化当前时刻基站文件缓存概率，使用多层神经网络来求解动态部分缓存更新问题
Figure GDA00030033871400000214
方法为：
(1)为每一个集群构建其独有的全连接层深度神经网络DNN，神经元的激活函数采用sigmoid函数；损失函数定义为平均绝对值误差；
(2)优化问题
Figure GDA00030033871400000215
的输入为当前的文件流行度
Figure GDA00030033871400000216
以及上一时刻的基站文件缓存概率
Figure GDA00030033871400000217
输出为当前时刻的基站文件缓存概率
Figure GDA00030033871400000218
(3)对DNN的输出做归一化处理，然后乘以缓存容量得到最终结果，即当前时刻基站文件缓存概率。
本发明提出的基于动态的文件流行度的基站缓存更新方法，为每一个集群(cluster)构造一个DNN结构来学习文件缓存概率的模式。这一方法不仅能够节约计算资源，同时可以保证基站中的文件缓存概率能够紧紧追踪文件库文件流行度的变化。为满足日益增长的以视频数据为代表的无线数据需求提出了一种行之有效的解决方案。数值模拟的结果(见附图2)显示DNN具有良好的泛化能力，能够提供对测试数据的精确的近似，实现对于文件流行度的精准的追踪。
附图说明
图1：DNN网络结构。网络具有1层输入层，4层隐藏层，1层输出层。
图2：DNN方法对于时变文件流行度追踪的数值模拟结果。证明DNN网络对于测试数据的精确追踪能力。
具体实施方式
第一步：动态文件库建模
对动态文件库进行建模，主要包括基站激活密度和文件缓存概率：认为各层的基站分布为独立均匀泊松点过程，第k层基站激活密度表示为λk；对一个含有F个文件的动态文件库按照文件流行度的递减顺序排列，然后对文件大小做归一化处理，假设不同的集群(cluster)中同一文件的流行度各不相同，第e个集群(cluster)中的文件库在时间t的第f个文件表示为
Figure GDA0003003387140000031
则基于用户聚类的多集群(cluster)模型(mCP)中的具有K层基站的文件缓存概率可以表示为如下的概率矩阵：
Figure GDA0003003387140000032
其中
Figure GDA0003003387140000033
表示k层中的文件
Figure GDA0003003387140000034
的文件缓存概率。
第二步：多集群(cluster)缓存更新第一阶段缓存更新模型
对基站激活密度和文件缓存概率进行动态联合优化，分为两个阶段：
(1)第一阶段静态部分缓存更新问题
Figure GDA0003003387140000035
实现在可以无限制利用回程链路的高峰时段实现基站所缓存文件完全任意的更新，抽象为数学模型为：给定第e个集群(cluster)中第f个文件的初始的文件库流行度
Figure GDA0003003387140000036
需要优化第k层基站激活密度λke和初始文件缓存概率
Figure GDA0003003387140000037
即：
Figure GDA0003003387140000041
(2)第二阶段动态部分缓存更新问题
Figure GDA0003003387140000042
实现在用户请求分布不断变化并且回程链路资源匮乏情况下的基站文件缓存动态更新，即使用回程链路带宽来追踪文件流行度的变化，基于第一阶段静态部分缓存更新问题
Figure GDA0003003387140000043
对基站中缓存的文件进行微调，抽象为数学模型为：给定第e个集群(cluster)中第f个文件当前的文件流行度
Figure GDA0003003387140000044
以及上一时刻的基站文件缓存概率
Figure GDA0003003387140000045
即第一阶段优化中所获得的基站文件缓存概率，优化当前时刻的基站文件缓存概率
Figure GDA0003003387140000046
即：
Figure GDA0003003387140000047
第三步：深度学习方法求解动态部分缓存更新问题
Figure GDA0003003387140000048
为了适应用户请求分布不断变化，希望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下，预测当前时刻基站文件缓存概率，即可实现实时响应时变文件流行度的动态缓存更新。
本发明使用多层神经网络来解决上述问题，即学习优化问题
Figure GDA0003003387140000049
的输入和输出之间的映射关系，具体步骤为：
(1)为每一个集群(cluster)构建其独有的全连接层深度神经网络(DNN)。对于每一个集群(cluster)，采用的DNN结构含有4层隐藏层，1层输入层，1层输出层；神经元的激活函数采用sigmoid函数；损失函数定义为平均绝对值误差。
(2)优化问题
Figure GDA00030033871400000410
的输入为当前的文件流行度
Figure GDA00030033871400000411
以及上一时刻的基站文件缓存概率
Figure GDA00030033871400000412
利用CVX工具箱产生的数据作为神经网络的训练数据，所使用的文件流行度为随机产生的Zipf分布；输出为当前时刻的基站文件缓存概率
Figure GDA00030033871400000413
(3)由于基站的缓存容量限制，最后需要对DNN的输出做归一化处理，然后乘以缓存容量得到最终结果，即当前时刻基站文件缓存概率。实现实时响应时变文件流行度的动态缓存更新。

Claims (1)

1.一种基于DNN的实时响应时变文件流行度的动态缓存更新方法，包括下列步骤：
第一步：动态文件库建模
对动态文件库进行建模，即用数学模型表示基站文件缓存概率：考虑超密度多层异质网络，认为各层的基站分布为独立均匀泊松点过程，第k层基站激活密度表示为λk；对一个含有F个文件的动态文件库按照文件流行度的递减顺序排列，然后对文件大小做归一化处理，设不同的用户集群中同一文件的流行度各不相同，第e个集群中的文件库在时间t的第f个文件表示为
Figure FDA0003003387130000011
则基于用户聚类的多集群模型中，具有K层基站的文件缓存概率可以表示为如下的概率矩阵：
Figure FDA0003003387130000012
其中
Figure FDA0003003387130000013
表示k层中的文件
Figure FDA0003003387130000014
的文件缓存概率；
第二步：适应用户请求分布变化的部分缓存更新
整个缓存更新问题分为两个阶段：
(1)第一阶段静态部分缓存更新问题
Figure FDA0003003387130000015
目标是在可以无限制利用回程链路的高峰时段实现基站所缓存文件任意的更新：给定第e个集群中第f个文件的初始的文件库流行度
Figure FDA0003003387130000016
需要优化第k层基站激活密度λke和初始文件缓存概率
Figure FDA0003003387130000017
(2)第二阶段动态部分缓存更新问题
Figure FDA0003003387130000018
目标是在用户请求分布不断变化并且回程链路资源匮乏情况下的基站文件缓存动态更新，即使用回程链路带宽来追踪文件流行度的变化，基于第一阶段静态部分缓存更新问题
Figure FDA0003003387130000019
对基站中缓存的文件进行微调，抽象为数学模型为：给定第e个集群中第f个文件当前的文件流行度
Figure FDA00030033871300000110
以及上一时刻的基站文件缓存概率
Figure FDA00030033871300000111
即第一阶段优化中所获得的基站文件缓存概率，优化当前时刻的基站文件缓存概率
Figure FDA00030033871300000112
第三步：深度学习方法求解动态部分缓存更新问题
Figure FDA00030033871300000113
实现实时响应时变文件流行度的动态缓存更新，以适应用户请求分布不断变化，即期望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下，优化当前时刻基站文件缓存概率，使用多层神经网络来求解动态部分缓存更新问题
Figure FDA00030033871300000114
方法为：
(1)为每一个集群构建其独有的全连接层深度神经网络DNN，神经元的激活函数采用sigmoid函数；损失函数定义为平均绝对值误差；
(2)优化问题
Figure FDA0003003387130000021
的输入为当前的文件流行度
Figure FDA0003003387130000022
以及上一时刻的基站文件缓存概率
Figure FDA0003003387130000023
输出为当前时刻的基站文件缓存概率
Figure FDA0003003387130000024
(3)对DNN的输出做归一化处理，然后乘以缓存容量得到最终结果，即当前时刻基站文件缓存概率。
CN201910659927.9A 2019-07-22 2019-07-22 基于dnn的实时响应时变文件流行度的动态缓存更新方法 Active CN110381540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910659927.9A CN110381540B (zh) 2019-07-22 2019-07-22 基于dnn的实时响应时变文件流行度的动态缓存更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910659927.9A CN110381540B (zh) 2019-07-22 2019-07-22 基于dnn的实时响应时变文件流行度的动态缓存更新方法

Publications (2)

Publication Number Publication Date
CN110381540A CN110381540A (zh) 2019-10-25
CN110381540B true CN110381540B (zh) 2021-05-28

Family

ID=68254650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910659927.9A Active CN110381540B (zh) 2019-07-22 2019-07-22 基于dnn的实时响应时变文件流行度的动态缓存更新方法

Country Status (1)

Country Link
CN (1) CN110381540B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629218A (zh) * 2020-04-29 2020-09-04 南京邮电大学 一种vanet中基于时变线性的加速强化学习边缘缓存方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570597A (zh) * 2016-11-14 2017-04-19 广州大学 一种sdn架构下基于深度学习的内容流行度预测方法
CN109617991A (zh) * 2018-12-29 2019-04-12 东南大学 基于值函数近似的超密集异构网络小站编码协作缓存方法
CN109995851A (zh) * 2019-03-05 2019-07-09 东南大学 基于深度学习的内容流行度预测及边缘缓存方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10057367B2 (en) * 2016-03-02 2018-08-21 Huawei Technologies Canada Co., Ltd. Systems and methods for data caching in a communications network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570597A (zh) * 2016-11-14 2017-04-19 广州大学 一种sdn架构下基于深度学习的内容流行度预测方法
CN109617991A (zh) * 2018-12-29 2019-04-12 东南大学 基于值函数近似的超密集异构网络小站编码协作缓存方法
CN109995851A (zh) * 2019-03-05 2019-07-09 东南大学 基于深度学习的内容流行度预测及边缘缓存方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Content Popularity Prediction and Caching for ICN: A Deep Learning Approach With SDN;W. Liu 等;《IEEE Access》;20180228;第6卷;全文 *
基于协作小小区与流行度预测的在线热点视频缓存更新策略;张超 等;《计算机应用》;20190710;第39卷(第7期);全文 *
基于用户中心点访问上下文的边缘缓存应用研究;黄国豪;《中国优秀硕士学位论文全文数据库（信息科技I辑）》;20190115;全文 *

Also Published As

Publication number Publication date
CN110381540A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
Elgendy et al. Joint computation offloading and task caching for multi-user and multi-task MEC systems: reinforcement learning-based algorithms
Jiang et al. User preference learning-based edge caching for fog radio access network
Li et al. A deep learning method based on an attention mechanism for wireless network traffic prediction
CN111445111B (zh) 一种基于边缘协同的电力物联网任务分配方法
Zhang et al. Deep learning for wireless coded caching with unknown and time-variant content popularity
Zhang et al. Federated learning with adaptive communication compression under dynamic bandwidth and unreliable networks
CN113114756A (zh) 一种移动边缘计算中自适应码率选择的视频缓存更新方法
CN113778683B (zh) 一种基于神经网络的Handle标识体系解析负载均衡方法
CN105976020B (zh) 一种考虑小波跨层关联性的网络流量预测方法
CN113779302B (zh) 基于值分解网络和多智能体的半分布式协作存储方法
CN112364913A (zh) 一种基于核心数据集的联邦学习通信量优化方法及系统
Lin et al. Feedback delay-tolerant proactive caching scheme based on federated learning at the wireless edge
Chen et al. Deep-broad learning system for traffic flow prediction toward 5G cellular wireless network
CN110381540B (zh) 基于dnn的实时响应时变文件流行度的动态缓存更新方法
CN115359298A (zh) 基于稀疏神经网络的联邦元学习图像分类方法
CN117459112A (zh) 基于图卷积网络的leo卫星网络中的移动边缘缓存方法及设备
CN115034507A (zh) 一种充电桩的电力负荷预测方法及相关组件
Cui et al. Resource-Efficient DNN Training and Inference for Heterogeneous Edge Intelligence in 6G
Chen et al. A Data Propagation Method of Internet of Vehicles Based on Sharding Blockchain
CN111901394A (zh) 一种联合考虑用户偏好及活跃程度的移动边缘缓存的方法及系统
Zhao et al. Caching salon: From classical to learning-based approaches
Cakir et al. AI in Energy Digital Twining: A Reinforcement Learning-based Adaptive Digital Twin Model for Green Cities
Zhang et al. A Highly Reliable Data Storage Method for Power Data Centers with Hyper-Converged Architectures
Zhang et al. Research on Intelligent Scheduling Mechanism in Edge Network for Industrial Internet of Things
Zhao et al. A Unified Federated Deep Q Learning Caching Scheme for Scalable Collaborative Edge Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant