CN110381540A - 基于dnn的实时响应时变文件流行度的动态缓存更新方法 - Google Patents

基于dnn的实时响应时变文件流行度的动态缓存更新方法 Download PDF

Info

Publication number
CN110381540A
CN110381540A CN201910659927.9A CN201910659927A CN110381540A CN 110381540 A CN110381540 A CN 110381540A CN 201910659927 A CN201910659927 A CN 201910659927A CN 110381540 A CN110381540 A CN 110381540A
Authority
CN
China
Prior art keywords
file
base station
probability
popularity
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910659927.9A
Other languages
English (en)
Other versions
CN110381540B (zh
Inventor
杨嘉琛
门垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910659927.9A priority Critical patent/CN110381540B/zh
Publication of CN110381540A publication Critical patent/CN110381540A/zh
Application granted granted Critical
Publication of CN110381540B publication Critical patent/CN110381540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints
    • H04W28/14—Flow control between communication endpoints using intermediate storage

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于DNN的实时响应时变文件流行度的动态缓存更新方法，包括下列步骤：动态文件库建模；适应用户请求分布变化的部分缓存更新，整个缓存更新问题分为两个阶段：第一阶段静态完全缓存更新问题，第二阶段动态部分缓存更新问题；深度学习方法求解动态缓存更新问题:实现实时响应时变文件流行度的动态缓存更新，以适应用户请求分布不断变化，即期望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下，优化当前时刻基站文件缓存概率，使用多层神经网络来求解动态缓存更新问题。

Description

基于DNN的实时响应时变文件流行度的动态缓存更新方法
技术领域
本发明属于无线异质网络边缘缓存技术领域，涉及一种动态缓存更新方法。
背景技术
伴随5G通信时代的临近，对回程链路带宽占用较多的视频流量成为移动数据流量的主要形式，移动端硬件设备所需的数据流量呈现指数式爆炸增长，这导致基站与核心网之间的回程链路在数据流量峰值时不堪重负，超密度多层异质网络(UDHNs)和网络边缘缓存技术是满足日益增长的无线数据需求的关键技术。
基于随机几何为多层超密度异质网络进行建模，使得对于多层异质网络的分析简单化，并且更易于获得相应的解析特性。通常采用泊松点分布对宏基站的分布进行精确的建模，并引入泊松聚类过程以刻画基站和用户的聚类特性。
网络边缘缓存的作用类似于一个局域代理服务器，即在基站中存储一部分较流行的(使用率较高的)文件，当用户请求的文件被基站所缓存时(该情况称为缓存命中)，基站直接将缓存命中的文件发送给用户即可，无需通过回程链路向核心网请求文件。关于网络边缘缓存的研究需要考虑一种动态的长期的演进模型，即在文件流行度不断演进的情况下，更新基站文件缓存，这就需要对于文件流行度作出精确预测，以具备适应未来一段时间内用户请求的能力。潮汐流量问题是关于文件流行度周期性演进的典型例子：白天的用户移动数据流量远高于凌晨的移动数据流量。
发明内容
由于基站的缓存能力相对有限，而待缓存的文件库通常是无限的，本发明提出了一种基于DNN的实时响应时变文件流行度的动态缓存更新方法，希望最大化利用基站的缓存容量以实现最大可能的系统性能。技术方案如下：
一种基于DNN的实时响应时变文件流行度的动态缓存更新方法，包括下列步骤：
第一步：动态文件库建模
对动态文件库进行建模，即用数学模型表示基站文件缓存概率：考虑超密度多层异质网络，认为各层的基站分布为独立均匀泊松点过程，第k层基站激活密度表示为λk；对一个含有F个文件的动态文件库按照文件流行度的递减顺序排列，然后对文件大小做归一化处理，设不同的用户集群中同一文件的流行度各不相同，第e个集群中的文件库在时间t的第f个文件表示为则基于用户聚类的多集群模型中，具有K层基站的文件缓存概率可以表示为如下的概率矩阵：
其中表示k层中的文件的文件缓存概率；
第二步：适应用户请求分布变化的部分缓存更新
整个缓存更新问题分为两个阶段：
(1)第一阶段静态完全缓存更新问题目标是在可以无限制利用回程链路的高峰时段实现基站所缓存文件完全任意的更新：给定第e个集群中第f个文件的初始的文件库流行度需要优化第k层基站激活密度λke和初始文件缓存概率
(2)第二阶段动态部分缓存更新问题目标是在用户请求分布不断变化并且回程链路资源匮乏情况下的基站文件缓存动态更新，即使用一定量的回程链路带宽来追踪文件流行度的变化，基于第一阶段完全缓存更新问题对基站中缓存的文件进行微调，抽象为数学模型为：给定第e个集群中第f个文件当前的文件流行度以及上一时刻的基站文件缓存概率即第一阶段优化中所获得的基站文件缓存概率，优化当前时刻的基站文件缓存概率
第三步：深度学习方法求解动态缓存更新问题
实现实时响应时变文件流行度的动态缓存更新，以适应用户请求分布不断变化，即期望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下，优化当前时刻基站文件缓存概率，使用多层神经网络来求解动态缓存更新问题方法为：
(1)为每一个集群构建其独有的全连接层深度神经网络DNN，神经元的激活函数采用sigmoid函数；损失函数定义为平均绝对值误差；
(2)优化问题的输入为当前的文件流行度以及上一时刻的基站文件缓存概率输出为当前时刻的基站文件缓存概率
(3)对DNN的输出做归一化处理，然后乘以缓存容量得到最终结果，即当前时刻基站文件缓存概率。
本发明提出的基于动态的文件流行度的基站缓存更新方法，为每一个cluster构造一个DNN结构来学习文件缓存概率的模式。这一方法不仅能够节约计算资源，同时可以保证基站中的文件缓存概率能够紧紧追踪文件库文件流行度的变化。为满足日益增长的以视频数据为代表的无线数据需求提出了一种行之有效的解决方案。数值模拟的结果(见附图2)显示DNN具有良好的泛化能力，能够提供对测试数据的精确的近似，实现对于文件流行度的精准的追踪。
附图说明
图1：DNN网络结构。网络具有1层输入层，4层隐藏层，1层输出层。
图2：DNN方法对于时变文件流行度追踪的数值模拟结果。证明DNN网络对于测试数据的精确追踪能力。
具体实施方式
第一步：动态文件库建模
对动态文件库进行建模，主要包括基站激活密度和文件缓存概率：认为各层的基站分布为独立均匀泊松点过程，第k层基站激活密度表示为λk；对一个含有F个文件的动态文件库按照文件流行度的递减顺序排列，然后对文件大小做归一化处理，假设不同的cluster中同一文件的流行度各不相同，第e个cluster中的文件库在时间t的第f个文件表示为则基于用户聚类的多cluster模型(mCP)中的具有K层基站的文件缓存概率可以表示为如下的概率矩阵：
其中表示k层中的文件的文件缓存概率。
第二步：多cluster缓存更新第一阶段完全缓存更新模型
对基站激活密度和文件缓存概率进行动态联合优化，分为两个阶段：
(1)第一阶段静态完全缓存更新问题实现在可以无限制利用回程链路的高峰时段实现基站所缓存文件完全任意的更新，抽象为数学模型为：给定第e个cluster中第f个文件的初始的文件库流行度需要优化第k层基站激活密度λke和初始文件缓存概率即：
(2)第二阶段动态部分缓存更新问题实现在用户请求分布不断变化并且回程链路资源匮乏情况下的基站文件缓存动态更新，即使用一定量的回程链路带宽来追踪文件流行度的变化，基于第一阶段完全缓存更新问题对基站中缓存的文件进行微调，抽象为数学模型为：给定第e个cluster中第f个文件当前的文件流行度以及上一时刻的基站文件缓存概率即第一阶段优化中所获得的基站文件缓存概率，优化当前时刻的基站文件缓存概率即：
第三步：深度学习方法求解动态缓存更新问题
为了适应用户请求分布不断变化，希望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下，预测当前时刻基站文件缓存概率，即可实现实时响应时变文件流行度的动态缓存更新。
本发明使用多层神经网络来解决上述问题，即学习优化问题的输入和输出之间的映射关系，具体步骤为：
(1)为每一个cluster构建其独有的全连接层深度神经网络(DNN)。对于每一个cluster，采用的DNN结构含有4层隐藏层，1层输入层，1层输出层；神经元的激活函数采用sigmoid函数；损失函数定义为平均绝对值误差。
(2)优化问题的输入为当前的文件流行度以及上一时刻的基站文件缓存概率利用CVX工具箱产生的数据作为神经网络的训练数据，所使用的文件流行度为随机产生的Zipf分布；输出为当前时刻的基站文件缓存概率
(3)由于基站的缓存容量限制，最后需要对DNN的输出做归一化处理，然后乘以缓存容量得到最终结果，即当前时刻基站文件缓存概率。实现实时响应时变文件流行度的动态缓存更新。

Claims (1)

1.一种基于DNN的实时响应时变文件流行度的动态缓存更新方法，包括下列步骤：
第一步：动态文件库建模
对动态文件库进行建模，即用数学模型表示基站文件缓存概率：考虑超密度多层异质网络，认为各层的基站分布为独立均匀泊松点过程，第k层基站激活密度表示为λk；对一个含有F个文件的动态文件库按照文件流行度的递减顺序排列，然后对文件大小做归一化处理，设不同的用户集群中同一文件的流行度各不相同，第e个集群中的文件库在时间t的第f个文件表示为则基于用户聚类的多集群模型中，具有K层基站的文件缓存概率可以表示为如下的概率矩阵：
其中表示k层中的文件的文件缓存概率；
第二步：适应用户请求分布变化的部分缓存更新
整个缓存更新问题分为两个阶段：
(1)第一阶段静态完全缓存更新问题目标是在可以无限制利用回程链路的高峰时段实现基站所缓存文件完全任意的更新：给定第e个集群中第f个文件的初始的文件库流行度需要优化第k层基站激活密度λke和初始文件缓存概率
(2)第二阶段动态部分缓存更新问题目标是在用户请求分布不断变化并且回程链路资源匮乏情况下的基站文件缓存动态更新，即使用一定量的回程链路带宽来追踪文件流行度的变化，基于第一阶段完全缓存更新问题对基站中缓存的文件进行微调，抽象为数学模型为：给定第e个集群中第f个文件当前的文件流行度以及上一时刻的基站文件缓存概率即第一阶段优化中所获得的基站文件缓存概率，优化当前时刻的基站文件缓存概率
第三步：深度学习方法求解动态缓存更新问题
实现实时响应时变文件流行度的动态缓存更新，以适应用户请求分布不断变化，即期望在已知当前文件流行度以及上一时刻的基站文件缓存概率的情况下，优化当前时刻基站文件缓存概率，使用多层神经网络来求解动态缓存更新问题方法为：
(1)为每一个集群构建其独有的全连接层深度神经网络DNN，神经元的激活函数采用sigmoid函数；损失函数定义为平均绝对值误差；
(2)优化问题的输入为当前的文件流行度以及上一时刻的基站文件缓存概率输出为当前时刻的基站文件缓存概率
(3)对DNN的输出做归一化处理，然后乘以缓存容量得到最终结果，即当前时刻基站文件缓存概率。
CN201910659927.9A 2019-07-22 2019-07-22 基于dnn的实时响应时变文件流行度的动态缓存更新方法 Active CN110381540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910659927.9A CN110381540B (zh) 2019-07-22 2019-07-22 基于dnn的实时响应时变文件流行度的动态缓存更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910659927.9A CN110381540B (zh) 2019-07-22 2019-07-22 基于dnn的实时响应时变文件流行度的动态缓存更新方法

Publications (2)

Publication Number Publication Date
CN110381540A true CN110381540A (zh) 2019-10-25
CN110381540B CN110381540B (zh) 2021-05-28

Family

ID=68254650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910659927.9A Active CN110381540B (zh) 2019-07-22 2019-07-22 基于dnn的实时响应时变文件流行度的动态缓存更新方法

Country Status (1)

Country Link
CN (1) CN110381540B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629218A (zh) * 2020-04-29 2020-09-04 南京邮电大学 一种vanet中基于时变线性的加速强化学习边缘缓存方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570597A (zh) * 2016-11-14 2017-04-19 广州大学 一种sdn架构下基于深度学习的内容流行度预测方法
US20170257452A1 (en) * 2016-03-02 2017-09-07 Huawei Technologies Canada Co., Ltd. Systems and methods for data caching in a communications network
CN109617991A (zh) * 2018-12-29 2019-04-12 东南大学 基于值函数近似的超密集异构网络小站编码协作缓存方法
CN109995851A (zh) * 2019-03-05 2019-07-09 东南大学 基于深度学习的内容流行度预测及边缘缓存方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170257452A1 (en) * 2016-03-02 2017-09-07 Huawei Technologies Canada Co., Ltd. Systems and methods for data caching in a communications network
CN106570597A (zh) * 2016-11-14 2017-04-19 广州大学 一种sdn架构下基于深度学习的内容流行度预测方法
CN109617991A (zh) * 2018-12-29 2019-04-12 东南大学 基于值函数近似的超密集异构网络小站编码协作缓存方法
CN109995851A (zh) * 2019-03-05 2019-07-09 东南大学 基于深度学习的内容流行度预测及边缘缓存方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
W. LIU 等: "Content Popularity Prediction and Caching for ICN: A Deep Learning Approach With SDN", 《IEEE ACCESS》 *
张超 等: "基于协作小小区与流行度预测的在线热点视频缓存更新策略", 《计算机应用》 *
黄国豪: "基于用户中心点访问上下文的边缘缓存应用研究", 《中国优秀硕士学位论文全文数据库（信息科技I辑）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629218A (zh) * 2020-04-29 2020-09-04 南京邮电大学 一种vanet中基于时变线性的加速强化学习边缘缓存方法

Also Published As

Publication number Publication date
CN110381540B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
Elgendy et al. Joint computation offloading and task caching for multi-user and multi-task MEC systems: reinforcement learning-based algorithms
WO2022077797A1 (zh) 量子线路的确定方法、装置、设备及存储介质
Grace et al. Dynamic replica placement and selection strategies in data grids—a comprehensive survey
CN108460121B (zh) 智慧城市中时空数据小文件合并方法
Li et al. A prefetching model based on access popularity for geospatial data in a cluster-based caching system
CN109240946A (zh) 数据的多级缓存方法及终端设备
CN108418858B (zh) 一种面向Geo-distributed云存储的数据副本放置方法
CN111737168A (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
Souri et al. A survey for replica placement techniques in data grid environment
CN106528451A (zh) 针对小文件的二级缓存预取的云存储框架及构建方法
Zhou et al. SACC: A size adaptive content caching algorithm in fog/edge computing using deep reinforcement learning
CN110062356B (zh) 一种d2d网络中的缓存副本布设方法
CN108173958A (zh) 一种多云环境下基于蚁群算法的数据优化存储方法
Zhang et al. Efficient hierarchical storage management empowered by reinforcement learning
CN110381540A (zh) 基于dnn的实时响应时变文件流行度的动态缓存更新方法
CN107426315A (zh) 一种基于BP神经网络的分布式缓存系统Memcached的改进方法
CN103984737A (zh) 一种基于计算相关度的多数据中心数据布局优化方法
Jing et al. Improved U-Net model for remote sensing image classification method based on distributed storage
US11381506B1 (en) Adaptive load balancing for distributed systems
CN117459112A (zh) 基于图卷积网络的leo卫星网络中的移动边缘缓存方法及设备
CN117473616A (zh) 一种基于多智能体强化学习的铁路bim数据边缘缓存方法
Han et al. Access trends of in-network cache for scientific data
Zhang et al. A novel cloud model based data placement strategy for data-intensive application in clouds
Li et al. Federated learning communication-efficiency framework via corset construction
Pan et al. An enhanced active caching strategy for data-intensive computations in distributed GIS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant