CN114860168A - 长短时隙结合优化的缓存放置方法、系统及介质 - Google Patents

长短时隙结合优化的缓存放置方法、系统及介质 Download PDF

Info

Publication number
CN114860168A
CN114860168A CN202210494126.3A CN202210494126A CN114860168A CN 114860168 A CN114860168 A CN 114860168A CN 202210494126 A CN202210494126 A CN 202210494126A CN 114860168 A CN114860168 A CN 114860168A
Authority
CN
China
Prior art keywords
files
disk
clustering
hdd
ssd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210494126.3A
Other languages
English (en)
Inventor
唱佳玲
杨俊逸
陶梅霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202210494126.3A priority Critical patent/CN114860168A/zh
Publication of CN114860168A publication Critical patent/CN114860168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种长短时隙结合优化的缓存放置方法、系统及介质，涉及计算机通信技术领域，包括：边缘缓存服务器，所述边缘缓存服务器包括HDD盘和SSD盘，所述HDD盘决策视频文件的流行度，进而从源站将流行视频文件存入HDD盘，同时HDD盘将自主剔除多余的不流行文件；所述SSD盘则存储HDD盘内的高热度文件；方法包括以下步骤：步骤S1：进行长周期HDD盘的缓存替换；步骤S2：完成长周期HDD盘缓存替换后，再针对SSD盘进行短期的缓存替换。本发明能够提高边缘缓存服务器的命中率，缓解请求高峰时期的网络拥堵与传输负担，降低分发时延，改善用户体验。

Description

长短时隙结合优化的缓存放置方法、系统及介质
技术领域
本发明涉及计算机通信技术领域，具体地，涉及一种长短时隙结合优化的缓存放置方法、系统及介质。
背景技术
内容分发网络(CDN)是提供在线视频服务的有效技术，它通过将流行的视频预先缓存到边缘服务器中来保证高峰期服务大量用户请求的能力，同时节省网络流量。但是近年来，在线视频服务需求呈爆炸性增长的趋势，爱奇艺等在线视频网站的单台服务器每天都需要处理对数百万个视频的大量请求，加之边缘服务器存储空间和读取速度的有限性，传统的被动式缓存替换方案，如最近最少使用(LRU)、最不经常使用(LFU)等虽具备简单、高效等优点，但其缓存命中率已无法满足实际需求。因此，缓存领域的研究热点逐渐转向主动缓存和分发策略。众多预测模型的出现与应用表明，优秀的内容流行度预测模型和缓存替换方案可以有效提高CDN边缘节点的缓存命中率，缓解CDN的传输负担，提高终端用户接收文件的效率，极大的改善用户体验。
据了解，以往的研究均未考虑到实际中的边缘缓存服务器的读取速度。在实际CDN服务器中边缘缓存服务器由机械盘(HDD)和固态盘(SSD)组成。HDD盘从源站直接获取视频文件，其容量大但读取速度慢。而SSD盘从HDD盘中读取数据，容量小但读取速度快，用于存储高热度视频。由于读取速度的限制，HDD盘通常每天甚至每周才更新一次，而SSD盘可以做到每分钟更新一次。
目前，HDD盘和SSD盘读取速度并以提高边缘缓存命中率为目标而设计适用于实际CDN系统的结合优化策略的研究非常少，大多未考虑实际CDN组成情况，或仅从提高盘使用寿命的角度出发，因此需要设计新的缓存替换策略来满足现实需求。
公开号为CN107171961B的发明专利，公开了一种基于内容流行度的缓存方法及其装置，包含：将时间划分为多个时隙，该多个时隙为当前时隙的前k个时隙，时隙长度为T；学习前k个时隙的内容对象，获取内容对象前k个时隙的历史流行度，k为自然数；根据历史流行度预测内容对象在未来时隙的流行度，获取预测流行度；根据预测流行度，将内容对象的缓存决策建模为0-1背包模型；通过流行度优先级贪婪缓存算法对0-1背包模型进行求解，根据求解结果获取缓存优先级，并根据缓存优先级对内容对象进行缓存。
缩略语和关键术语定义：
CDN Content Delivery Network 内容分发网络
LRU Least Recently Used 最近最少使用
LFU Least Frequently Used 最不经常使用
HDD Hard Disk Drive 机械盘
SSD Solid State Disk 固态盘
MLR Multiple Linear Regression 多元线性回归
RSC multiple linear Regression model based on video ageSegmentationand Clustering 基于视频年龄分割与聚类的多元线性回归模型
VGP Video file Group Prediction 视频文件分组预测
发明内容
针对现有技术中的缺陷，本发明提供一种长短时隙结合优化的缓存放置方法、系统及介质。
根据本发明提供的一种长短时隙结合优化的缓存放置方法、系统及介质，所述方案如下：
第一方面，提供了一种长短时隙结合优化的缓存放置方法，所述方法包括：
边缘缓存服务器，所述边缘缓存服务器包括HDD盘和SSD盘，所述HDD盘决策视频文件的流行度，进而从源站将流行视频文件存入HDD盘，同时HDD盘将自主剔除多余的不流行文件；所述SSD盘则存储HDD盘内的高热度文件；方法包括以下步骤：
步骤S1：进行长周期HDD盘的缓存替换；
步骤S2：完成长周期HDD盘缓存替换后，再针对SSD盘进行短期的缓存替换。
优选地，所述步骤S1中基于视频年龄分割与聚类的多元线性回归模型RSC作为长期预测算法，包括：离线准备和在线预测两个过程；
所述离线准备过程主要提取各文件一定长度的历史请求量序列以及发布时间在内的相关信息标签，然后对文件进行年龄分组、聚类以及线性拟合。
优选地，所述步骤S1具体包括：
步骤S1.1：按视频年龄分组；根据各文件的发布时间进行分组，将相近年龄段的文件分为同一组；
步骤S1.2：依据流行度变化趋势相似性聚类；分别在每个年龄组内依据历史请求序列对该组内的文件进行K-means序列聚类，将流行度变化趋势相似的时间序列聚类到一个簇中；其中，使用欧式距离作为时间序列相似性的衡量准则，聚类个数由肘部法则确定；
步骤S1.3：训练模型；聚类完成后，各个组内均包含多个聚类簇，分别针对各聚类簇建立多元线性回归模型，使用相应簇中的请求量时间序列进行训练，训练完成后每个聚类簇都获得一组拟合参数；
步骤S1.4：测试；依据测试文件的发布时间，计算测试文件与测试文件对应年龄分组内几个聚类中心的欧式距离，找到与该序列流行度趋势最相似的聚类中心，然后使用该聚类簇的拟合参数对序列进行预测，得到下一更新周期的请求量；
步骤S1.5：缓存替换；根据预测得到的请求量排名，将预测请求量最高的视频存储到HDD盘，剔除排名低的视频。
优选地，所述步骤S2中针对SSD盘进行短期的缓存替换，采用视频文件分组预测VGP算法，主要基于请求量对文件进行分类处理，不同种类的文件将采用不同的判决流程，包括如下步骤：
步骤S2.1：根据文件最近几个周期的请求情况将文件分组，在该时间段被请求复数次则归为热门文件，否则归为冷门文件；
步骤S2.2：预测；在每个新时刻，使用各文件长时预测的请求量减去当前时刻的累积请求次数，能够预测各文件直到下一次主动更新前还会被请求的次数；
步骤S2.3：将热门文件分配至SSD盘中，部分冷门文件虽然在过去未被频繁请求，但若在前一时刻被请求，则认为该冷门文件存在一定的未来请求期望，也需要分配至SSD盘；
步骤S2.4：若步骤S2.3完成后SSD盘中仍有剩余空间，则根据步骤S2.2预测的各文件未来请求量，将未来请求量较高且目前不在SSD盘中的若干文件分配至SSD盘；
若步骤S2.3完成后SSD盘缓存空间溢出，则同样根据步骤S2.2预测的各文件未来请求量，将未来请求量较少的若干文件从SSD盘剔除。
第二方面，提供了一种长短时隙结合优化的缓存放置系统，所述系统包括：
边缘缓存服务器，所述边缘缓存服务器包括HDD盘和SSD盘，所述HDD盘决策视频文件的流行度，进而从源站将流行视频文件存入HDD盘，同时HDD盘将自主剔除多余的不流行文件；所述SSD盘则存储HDD盘内的高热度文件；系统包括以下模块：
模块M1：进行长周期HDD盘的缓存替换；
模块M2：完成长周期HDD盘缓存替换后，再针对SSD盘进行短期的缓存替换。
优选地，所述模块M1中基于视频年龄分割与聚类的多元线性回归模型RSC作为长期预测算法，包括：离线准备和在线预测两个过程；
所述离线准备过程主要提取各文件一定长度的历史请求量序列以及发布时间在内的相关信息标签，然后对文件进行年龄分组、聚类以及线性拟合。
优选地，所述模块M1具体包括：
模块M1.1：按视频年龄分组；根据各文件的发布时间进行分组，将相近年龄段的文件分为同一组；
模块M1.2：依据流行度变化趋势相似性聚类；分别在每个年龄组内依据历史请求序列对该组内的文件进行K-means序列聚类，将流行度变化趋势相似的时间序列聚类到一个簇中；其中，使用欧式距离作为时间序列相似性的衡量准则，聚类个数由肘部法则确定；
模块M1.3：训练模型；聚类完成后，各个组内均包含多个聚类簇，分别针对各聚类簇建立多元线性回归模型，使用相应簇中的请求量时间序列进行训练，训练完成后每个聚类簇都获得一组拟合参数；
模块M1.4：测试；依据测试文件的发布时间，计算测试文件与测试文件对应年龄分组内几个聚类中心的欧式距离，找到与该序列流行度趋势最相似的聚类中心，然后使用该聚类簇的拟合参数对序列进行预测，得到下一更新周期的请求量；
模块M1.5：缓存替换；根据预测得到的请求量排名，将预测请求量最高的视频存储到HDD盘，剔除排名低的视频。
优选地，所述模块M2中针对SSD盘进行短期的缓存替换，采用视频文件分组预测VGP算法，主要基于请求量对文件进行分类处理，不同种类的文件将采用不同的判决流程，包括：
模块M2.1：根据文件最近几个周期的请求情况将文件分组，在该时间段被请求复数次则归为热门文件，否则归为冷门文件；
模块M2.2：预测；在每个新时刻，使用各文件长时预测的请求量减去当前时刻的累积请求次数，能够预测各文件直到下一次主动更新前还会被请求的次数；
模块M2.3：将热门文件分配至SSD盘中，部分冷门文件虽然在过去未被频繁请求，但若在前一时刻被请求，则认为该冷门文件存在一定的未来请求期望，也需要分配至SSD盘；
模块M2.4：若模块M2.3完成后SSD盘中仍有剩余空间，则根据模块M2.2预测的各文件未来请求量，将未来请求量较高且目前不在SSD盘中的若干文件分配至SSD盘；
若模块M2.3完成后SSD盘缓存空间溢出，则同样根据模块M2.2预测的各文件未来请求量，将未来请求量较少的若干文件从SSD盘剔除。
第三方面，提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述方法中的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明考虑了实际CDN边缘缓存系统的组成，基于SSD盘和HDD盘的性质(缓存大小，读取速度和更新周期)分别为其设计了缓存替换算法，实现了结合优化，与原有的仅使用被动式或仅使用主动式算法相比，能够提高边缘服务器整体的命中率，缓解网络拥堵与传输负担；
2、本发明整体提升了SSD盘的缓存命中率，特别是请求高峰时期的命中率，相比传统的LRU、LFU，能够大大地降低内容分发时延，改善用户体验。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为实际CDN服务器的缓存替换方式示意图；
图2为VGP算法主流程图；
图3为VGP算法子流程图；
图4为肘部法则实例图；
图5为VGP算法延时缓存示意图；
图6为本发明实施例所述的RSC模型与现有的四种基准算法在平均缓存命中率上的比较；
图7为本发明实施例所述的VGP模型与现有的两种基准算法在一天内的命中率变化趋势上的比较；
图8为本发明实施例所述的VGP模型与现有的两种基准算法在平均缓存命中率上的比较；
图9为本发明实施例所述的结合优化算法RSC+VGP与现有的基准算法在一天内的命中率变化趋势上的比较；
图10为本发明实施例所述的结合优化算法RSC+VGP与现有的两种基准算法在平均缓存命中率上的比较。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种长短时隙结合优化的缓存放置方法，可以切实运用于CDN系统。如图1所示，本申请考虑具有有限缓存大小的单台CDN边缘缓存服务器，该节点处具备一个HDD盘和一个SSD盘。HDD盘采用长时隙-主动预测算法决策视频文件的流行度，进而从源站将流行视频文件存入HDD盘，同时HDD盘将自主剔除多余的不流行文件；针对SSD盘则设计短时隙-被动替换算法存储HDD盘内的高热度文件。包括以下步骤：
步骤S1：进行长周期HDD盘的缓存替换。
步骤S2：完成长周期HDD盘缓存替换后，再针对SSD盘进行短期的缓存替换。
具体地，首先进行HDD盘的缓存替换。综合前述，本发明提出基于视频年龄分割与聚类的多元线性回归模型(RSC)作为长期预测算法。该算法分为离线准备以及在线预测两个过程，离线准备过程主要提取各文件一定长度的历史请求量序列以及发布时间等信息标签，然后对文件进行年龄分组、聚类以及线性拟合。主要包括如下步骤：
步骤S1.1：按视频年龄分组。一般来说，视频发布时间越久远，用户请求的可能性越低，视频流行度排名越靠后，而发布时间越近，用户越有可能请求。长时预测算法首先根据各文件的发布时间进行分组，将相近年龄段的文件分为同一组。
步骤S1.2：依据流行度变化趋势相似性聚类；分别在每个年龄组内依据历史请求序列对该组内的文件进行K-means序列聚类，将流行度变化趋势相似的时间序列聚类到一个簇中；其中，使用欧式距离作为时间序列相似性的衡量准则，聚类个数由肘部法则确定。
步骤S1.3：训练模型；聚类完成后，各个组内均包含多个聚类簇，分别针对各聚类簇建立多元线性回归模型，使用相应簇中的请求量时间序列进行训练，训练完成后每个聚类簇都获得一组拟合参数。
步骤S1.4：测试；依据测试文件的发布时间，计算测试文件与测试文件对应年龄分组内几个聚类中心的欧式距离，找到与该序列流行度趋势最相似的聚类中心，然后使用该聚类簇的拟合参数对序列进行预测，得到下一更新周期的请求量。
步骤S1.5：缓存替换；根据预测得到的请求量排名，将预测请求量最高的视频存储到HDD盘，剔除排名低的视频。
完成长周期HDD盘缓存替换后，再针对SSD盘进行短期的缓存替换。本发明提出了视频文件分组预测(VGP)算法。该算法主要基于请求量对文件进行分类处理，不同种类的文件将采用不同的判决流程。主要包括如下步骤：
步骤S2.1：根据文件最近几个周期的请求情况将文件分组，在该时间段被请求复数次则归为“热门”文件，否则归为“冷门”文件。
步骤S2.2：预测。在每个新时刻，使用各文件长时预测的请求量减去当前时刻的累积请求次数，即可预测各文件直到下一次主动更新前还可能会被请求的次数。这样预测得到的未来请求次数可以粗略估计比较当前时刻各文件的流行度差异。
步骤S2.3：将“热门”文件分配至SSD盘中，部分“冷门”文件虽然在过去未被频繁请求，但倘若在前一时刻被请求，则认为该“冷门”文件存在一定的未来请求期望，也需要分配至SSD盘。
步骤S2.4：若步骤S2.3完成后SSD盘中仍有剩余空间，则根据步骤S2.2预测的各文件未来请求量，将未来请求量较高且目前不在SSD盘中的若干文件分配至SSD盘；
若步骤S2.3完成后SSD盘缓存空间溢出，则同样根据步骤S2.2预测的各文件未来请求量，将未来请求量较少的若干文件从SSD盘剔除。
参照图2和图3所示，详细展示了短期缓存替换的操作过程，整体由主流程嵌套一个子流程构成，两者分别从全局和个体角度针对文件进行操作。
接下来，对本发明进行更为具体的说明。
本发明实施例提供的一种长短时隙结合优化的缓存放置方法，适用于具有有限缓存大小的单台CDN边缘缓存服务器。如图1所示，边缘缓存服务器具备一个源站，一个HDD盘，一个SSD盘和一些终端用户。假设用户可请求的文件集为F＝{1,2,…,F}，F内所有文件在源站均有存储，且文件大小均归一化为1。定义TSSD和THDD分别代表SSD盘和HDD盘的更新周期大小，且TSSD＜＜THDD，在本例中取TSSD为1分钟，取THDD为1天。在用户发出请求后，首先在SSD盘中寻找目标文件，若命中则将快速分发到对应的用户终端；若未命中则进一步HDD盘中搜索。若边缘服务器均未命中，则由源站直接向用户传送文件。
针对HDD盘，首先将视频集依据发布时间分成N组(N＞3)，组与组之间的时间间隔可以从短到长，如1个月内发布的视频为Segment1，1～3个月内发布的视频为Segment 2，和3～6个月内发布的视频为Segment 3，以此类推。
任取N组视频中的其中第n组为例，n∈{1,2,…,N}，定义用户在该组内可请求视频总个数为Mn，视频集合为
Figure BDA0003628387310000084
历史播放量统计时间共T天，记视频fi在第j天的请求量为vi,j,j∈{1,2,…,T}，则视频fi的长度为T的播放量时间序列Vi,T可表示为：
Vi,T＝{vi,1,vi,2,…,vi,T} (1)
进而，在每个分组上应用K-means聚类算法，将请求量变化趋势相似的时间序列聚为一类。假设从视频集合中任取两个视频fp和fq，使用欧式距离衡量两个时间序列间的相似性为：
Figure BDA0003628387310000081
但是，由于K-means算法需要提前设置聚类个数值K，且不同K值得到的结果可能相差较大，因此我们选择使用肘部法则来确定K值。肘部法则计算每个簇的质点与簇内样本点的平方距离误差和，并称为畸变程度。畸变程度会随着类别的增加而降低，但对于有一定区分度的数据，在达到某个临界点时畸变程度会得到极大改善，之后缓慢下降，这个临界点就可以考虑为聚类性能较好的点，肘部法则将其称之为“肘部”。如图4为对发布时间在一个月内的视频聚类时畸变程度随聚类中心数量的变化曲线，观察该曲线并使用肘部法则可以锁定最佳聚类数目K值，显然在此图中最佳聚类数目为6。
在对训练集中的N组数据分别进行聚类后，将分别得到K1,K2,…,Kn,…,KN个簇和质心时间序列。考虑到视频文件过去和未来的流行度之间存在很强的线性相关性，因此分别利用每个簇内的时间序列训练一个多元线性回归(MLR)模型，利用前t天的历史播放量作为输入预测第t+1天的请求数量进行预测。定义使用MLR模型得到该视频在第t+1天的预测播放量
Figure BDA0003628387310000082
为：
Figure BDA0003628387310000083
其中，Θn,k,t＝{θn,k,,1,θn,k,2,…,θn,k,t},k∈{1,2,…,Kn}表示利用第n组中第k个簇中的时间序列训练得到的模型参数。
进一步，计算测试集中的每个组的时间序列与其对应训练集组中的质心之间的欧式距离来衡量相似度，将其归类，并利用对应的MLR模型进行预测，得到预测值并进行排名，将流行度高的视频进行存储，流行度低的视频淘汰。
针对SSD盘，为了方便表述，我们假定是在t+1天的第r分钟进行缓存替换。短期缓存替换强调实时性，而在实际替换过程中，由于算法以及缓存替换等操作存在延时，因此各操作都需要在第τ分钟结束前开始进行，在决定第r+1分钟需要缓存的文件时只能利用第r-1分钟及之前的请求量数据，具体示意说明见图5。首先根据文件请求量分布、缓存容量等因素设定一个观察周期TB，需要满足0＜TB＜THDD。每次针对SSD盘文件进行缓存更新时，首先观察从前一时刻r-1到过去TB时刻这一段时间段内各个文件的请求量分布，在这段时间内被请求复数次的文件将被归为“热门”文件，否则归为“冷门”文件。
另外，还需要统计各文件从上一次长期缓存替换结束后到前一时刻r-1被请求次数，使用ci,r-1表示第i个文件到r-1时刻为止的请求次数，则根据长期缓存预测算法结果
Figure BDA0003628387310000091
可以大致估计该文件到下一次长期缓存替换之前还会被请求次数，即未来剩余请求量
Figure BDA0003628387310000092
Figure BDA0003628387310000093
完成文件分类和未来请求量估计后，首先将所有“热门”文件存入缓存，这些文件在过去TB时间段内被频繁请求，存在较高的请求量期望。同时部分“冷门”虽然在过去未被频繁请求，但倘若在前一时刻r-1内被请求，则同样存在一定请求量期望，也需要存入缓存。
将以上拥有请求量期望的文件存入缓存后。若SSD盘缓存空间仍有剩余，则将所有HDD盘中未存入缓存的文件根据未来剩余请求量
Figure BDA0003628387310000094
进行排名，根据结果选择未来请求量较高的若干文件加入缓存；若SSD盘缓存空间容量溢出，则将所有SSD盘中的文件根据未来剩余请求量
Figure BDA0003628387310000095
进行排名，根据结果选择未来请求量较低的若干文件进行剔除。
为了进一步说明本发明的技术效果，在此还对本发明实施例所提出的结合优化方法进行了仿真。我们选择缓存命中率作为评价标准，其计算公式为式(5)，其中L为总预测的个数。
Figure BDA0003628387310000096
对于长时算法RSC的仿真，共选择4种对比算法，分别为LRU、Szabo-Huberman模型(SH)、基于聚类的多元线性回归模型(MLC)以及基于视频年龄分割但不聚类的多元线性回归模型(MLAS)。
图6为长时预测算法RSC模型和四种基准方法的仿真结果，横轴为HDD盘的缓存尺寸，表示可缓存文件数占总文件数的百分比，纵轴为平均命中率，在本次仿真中，L＝24。从图6中可以看出，本发明所提出的RSC模型相较于其他四种方法效果更佳，MLC的效果次之，这是因为聚类操作对不同视频流行度趋势起到了一定的区分作用。MLAS性能也优于传统算法，这表明视频年龄对视频流行度是有影响的。而LFU和SH模型效果最差，这是由于仅考虑前一天的播放量或者认为播放量与之前的总播放量呈简单的线性关系是不够充分的。从图中也可以看出，在不断增大缓存大小的过程中，命中率虽然一直在增大，但增长速率也逐渐变慢。这是由于流行的视频个数是有限的，而不流行的视频事实上是占大多数的，因此不能仅通过一味地增大缓存尺寸来换取命中率的提高。
对于短时算法VGP仿真，选择传统的2Q算法和LRU-LFU算法作为对比模型。
图7和图8为单独运行短时预测算法VGP模型的仿真结果，同样选择缓存命中率作为评价标准。由于命中率实际上是一种统计概率，因此计算时如果数据量过小则容易因为偶然性而产生误差，因此在短时请求预测的仿真分析中，每5个更新周期(分钟)统计一次平均命中率，并且还统计总体所有请求的命中率以及每天请求量高峰时期的总命中率。假设缓存的存储容量为20％，即最多可以存储所有文件中20％的视频，此时各预测算法得到的相应命中率随一天内时间的变化曲线如图7所示。首先，整体上可以明显观察到VGP、2Q算法性能远优于LRU-LFU。其次，高峰时期(20:00～22:00)的请求量命中率是评价边缘服务器缓存方案的重要指标。图7表明，从午后直到深夜时段，视频文件请求量逐渐进入高峰时期，此时VGP算法相较于2Q算法的优势也更为明显。
图8显示了随着SSD缓存大小从0％～100％变化时各类算法在一天时间内的总体命中率，可以看出当缓存容量逐渐上升时，各算法仿真得到的命中率也逐步攀高。当存储容量为100％时意味着所有视频文件都可以存入缓存且不会溢出，可以观察到此时VGP以及LRU-LFU算法均可以达到100％命中率，而由于2Q算法将缓存空间划分为了两份，在缓存过程中反而会不必要的将一些视频文件剔除，导致未能达到100％命中率。从图中结果看来，VGP算法由于对视频文件进行了可随时调整的灵活分类，性能比起传统的2Q、LRU-LFU算法更为优秀。
最后，我们聚焦于各短时预测算法在与长时预测算法结合后的性能表现。此处需要说明的是，由于SSD盘存储内容与服务器整体(HDD盘)之间为包含关系，因此SSD盘命中率始终不可能超过HDD盘。以服务器一整天的请求数据作为样本，图9为设定HDD盘存储容量为所有文件的50％，SSD盘缓存大小为HDD盘的10％时，各预测算法得到的相应命中率随一天内时间的变化曲线。从中可以看出，在请求高峰时期，本发明提出的结合算法RSC+VGP性能明显优于2Q和LRU-LFU。
图10展示了当SSD盘存储容量占总存储容量15％时，服务器内各盘命中率随服务器整体(HDD盘)存储容量的变化趋势。各短期预测算法仿真得到的SSD盘命中率曲线将会逐渐逼近HDD盘曲线。
本发明考虑了实际CDN边缘缓存系统的组成，基于SSD盘和HDD盘的性质(缓存大小，读取速度和更新周期)分别为其设计了缓存替换算法，实现了结合优化。与原有的仅使用被动式或仅使用主动式算法相比，能够提高边缘服务器整体的命中率，缓解网络拥堵与传输负担，如图6、9、10仿真结果所示。
此外，本发明提出的结合优化方法，提升了SSD盘的缓存命中率，特别是请求高峰时期(20:00-21:00)的命中率，相比传统的LRU、LFU，能够大大地降低内容分发时延，改善用户体验，如图7、8仿真结果所示。
本发明实施例提供了一种长短时隙结合优化的缓存放置方法、系统及介质，考虑了实际CDN网络中边缘缓存服务器的缓存架构、更新周期以及运行性能等因素，仅从服务器请求日志中提取了少量的必要信息进行处理实现了长短时结合的缓存替换，与目前CDN服务器常用的LRU、LFU等替换算法相比，系统性能得到提升。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种长短时隙结合优化的缓存放置方法，其特征在于，包括：边缘缓存服务器，所述边缘缓存服务器包括HDD盘和SSD盘，所述HDD盘决策视频文件的流行度，进而从源站将流行视频文件存入HDD盘，同时HDD盘将自主剔除多余的不流行文件；所述SSD盘则存储HDD盘内的高热度文件；方法包括以下步骤：
步骤S1：进行长周期HDD盘的缓存替换；
步骤S2：完成长周期HDD盘缓存替换后，再针对SSD盘进行短期的缓存替换。
2.根据权利要求1所述的长短时隙结合优化的缓存放置方法，其特征在于，所述步骤S1中基于视频年龄分割与聚类的多元线性回归模型RSC作为长期预测算法，包括：离线准备和在线预测两个过程；
所述离线准备过程主要提取各文件一定长度的历史请求量序列以及发布时间在内的相关信息标签，然后对文件进行年龄分组、聚类以及线性拟合。
3.根据权利要求2所述的长短时隙结合优化的缓存放置方法，其特征在于，所述步骤S1具体包括：
步骤S1.1：按视频年龄分组；根据各文件的发布时间进行分组，将相近年龄段的文件分为同一组；
步骤S1.2：依据流行度变化趋势相似性聚类；分别在每个年龄组内依据历史请求序列对该组内的文件进行K-means序列聚类，将流行度变化趋势相似的时间序列聚类到一个簇中；其中，使用欧式距离作为时间序列相似性的衡量准则，聚类个数由肘部法则确定；
步骤S1.3：训练模型；聚类完成后，各个组内均包含多个聚类簇，分别针对各聚类簇建立多元线性回归模型，使用相应簇中的请求量时间序列进行训练，训练完成后每个聚类簇都获得一组拟合参数；
步骤S1.4：测试；依据测试文件的发布时间，计算测试文件与测试文件对应年龄分组内几个聚类中心的欧式距离，找到与该序列流行度趋势最相似的聚类中心，然后使用该聚类簇的拟合参数对序列进行预测，得到下一更新周期的请求量；
步骤S1.5：缓存替换；根据预测得到的请求量排名，将预测请求量最高的视频存储到HDD盘，剔除排名低的视频。
4.根据权利要求1所述的长短时隙结合优化的缓存放置方法，其特征在于，所述步骤S2中针对SSD盘进行短期的缓存替换，采用视频文件分组预测VGP算法，主要基于请求量对文件进行分类处理，不同种类的文件将采用不同的判决流程，包括如下步骤：
步骤S2.1：根据文件最近几个周期的请求情况将文件分组，在该时间段被请求复数次则归为热门文件，否则归为冷门文件；
步骤S2.2：预测；在每个新时刻，使用各文件长时预测的请求量减去当前时刻的累积请求次数，能够预测各文件直到下一次主动更新前还会被请求的次数；
步骤S2.3：将热门文件分配至SSD盘中，部分冷门文件虽然在过去未被频繁请求，但若在前一时刻被请求，则认为该冷门文件存在一定的未来请求期望，也需要分配至SSD盘；
步骤S2.4：若步骤S2.3完成后SSD盘中仍有剩余空间，则根据步骤S2.2预测的各文件未来请求量，将未来请求量较高且目前不在SSD盘中的若干文件分配至SSD盘；
若步骤S2.3完成后SSD盘缓存空间溢出，则同样根据步骤S2.2预测的各文件未来请求量，将未来请求量较少的若干文件从SSD盘剔除。
5.一种长短时隙结合优化的缓存放置系统，其特征在于，包括：边缘缓存服务器，所述边缘缓存服务器包括HDD盘和SSD盘，所述HDD盘决策视频文件的流行度，进而从源站将流行视频文件存入HDD盘，同时HDD盘将自主剔除多余的不流行文件；所述SSD盘则存储HDD盘内的高热度文件；系统包括以下模块：
模块M1：进行长周期HDD盘的缓存替换；
模块M2：完成长周期HDD盘缓存替换后，再针对SSD盘进行短期的缓存替换。
6.根据权利要求5所述的长短时隙结合优化的缓存放置系统，其特征在于，所述模块M1中基于视频年龄分割与聚类的多元线性回归模型RSC作为长期预测算法，包括：离线准备和在线预测两个过程；
所述离线准备过程主要提取各文件一定长度的历史请求量序列以及发布时间在内的相关信息标签，然后对文件进行年龄分组、聚类以及线性拟合。
7.根据权利要求6所述的长短时隙结合优化的缓存放置系统，其特征在于，所述模块M1具体包括：
模块M1.1：按视频年龄分组；根据各文件的发布时间进行分组，将相近年龄段的文件分为同一组；
模块M1.2：依据流行度变化趋势相似性聚类；分别在每个年龄组内依据历史请求序列对该组内的文件进行K-means序列聚类，将流行度变化趋势相似的时间序列聚类到一个簇中；其中，使用欧式距离作为时间序列相似性的衡量准则，聚类个数由肘部法则确定；
模块M1.3：训练模型；聚类完成后，各个组内均包含多个聚类簇，分别针对各聚类簇建立多元线性回归模型，使用相应簇中的请求量时间序列进行训练，训练完成后每个聚类簇都获得一组拟合参数；
模块M1.4：测试；依据测试文件的发布时间，计算测试文件与测试文件对应年龄分组内几个聚类中心的欧式距离，找到与该序列流行度趋势最相似的聚类中心，然后使用该聚类簇的拟合参数对序列进行预测，得到下一更新周期的请求量；
模块M1.5：缓存替换；根据预测得到的请求量排名，将预测请求量最高的视频存储到HDD盘，剔除排名低的视频。
8.根据权利要求5所述的长短时隙结合优化的缓存放置系统，其特征在于，所述模块M2中针对SSD盘进行短期的缓存替换，采用视频文件分组预测VGP算法，主要基于请求量对文件进行分类处理，不同种类的文件将采用不同的判决流程，包括：
模块M2.1：根据文件最近几个周期的请求情况将文件分组，在该时间段被请求复数次则归为热门文件，否则归为冷门文件；
模块M2.2：预测；在每个新时刻，使用各文件长时预测的请求量减去当前时刻的累积请求次数，能够预测各文件直到下一次主动更新前还会被请求的次数；
模块M2.3：将热门文件分配至SSD盘中，部分冷门文件虽然在过去未被频繁请求，但若在前一时刻被请求，则认为该冷门文件存在一定的未来请求期望，也需要分配至SSD盘；
模块M2.4：若模块M2.3完成后SSD盘中仍有剩余空间，则根据模块M2.2预测的各文件未来请求量，将未来请求量较高且目前不在SSD盘中的若干文件分配至SSD盘；
若模块M2.3完成后SSD盘缓存空间溢出，则同样根据模块M2.2预测的各文件未来请求量，将未来请求量较少的若干文件从SSD盘剔除。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202210494126.3A 2022-05-05 2022-05-05 长短时隙结合优化的缓存放置方法、系统及介质 Pending CN114860168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210494126.3A CN114860168A (zh) 2022-05-05 2022-05-05 长短时隙结合优化的缓存放置方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210494126.3A CN114860168A (zh) 2022-05-05 2022-05-05 长短时隙结合优化的缓存放置方法、系统及介质

Publications (1)

Publication Number Publication Date
CN114860168A true CN114860168A (zh) 2022-08-05

Family

ID=82635868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210494126.3A Pending CN114860168A (zh) 2022-05-05 2022-05-05 长短时隙结合优化的缓存放置方法、系统及介质

Country Status (1)

Country Link
CN (1) CN114860168A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472285A (zh) * 2023-12-26 2024-01-30 深圳市领德创科技有限公司 固态硬盘用智能运行加速方法、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472285A (zh) * 2023-12-26 2024-01-30 深圳市领德创科技有限公司 固态硬盘用智能运行加速方法、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US10057367B2 (en) Systems and methods for data caching in a communications network
CN102511043B (zh) 缓存文件替换方法、装置及系统
US9892150B2 (en) Unified data management for database systems
CN109344092B (zh) 一种提高冷存储数据读取速度的方法和系统
CN109982104A (zh) 一种移动边缘计算中移动感知的视频预取与缓存替换决策方法
US10326854B2 (en) Method and apparatus for data caching in a communications network
CN102129472A (zh) 面向语义搜索引擎的高效混合存储结构的构建方法
CN109033298A (zh) 一种在异构hdfs集群下的数据分配方法
CN114611572B (zh) 基于改进rbf神经网络的数据分级存储算法
CN112051968B (zh) 基于Kafka的分布式数据流分级缓存自动迁移方法
CN114860168A (zh) 长短时隙结合优化的缓存放置方法、系统及介质
CN111881358A (zh) 一种对象推荐系统、方法、装置、电子设备和存储介质
Akhtar et al. Avic: a cache for adaptive bitrate video
CN115361710A (zh) 一种边缘缓存中的内容放置方法
CN111491175A (zh) 一种基于视频内容特征的边缘网络缓存方法和装置
CN113271631B (zh) 基于用户请求可能性与时空特性的新型内容缓存部署方案
CN113419976B (zh) 一种基于分类预测的自适应分段缓存方法及系统
Koch et al. Mira: Proactive music video caching using convnet-based classification and multivariate popularity prediction
CN117499484A (zh) 一种基于深度强化学习的边缘缓存替换方法
CN106131118B (zh) 一种分布式缓存的方法、装置和系统
CN109284072B (zh) 一种针对异构存储系统的自适应数据动态调度方法和系统
Wu et al. Reuse time based caching policy for video streaming
CN113268458A (zh) 一种基于代价敏感分类算法的缓存方法及系统
KR101913969B1 (ko) 디스크 기반 비디오 저장 서버에서 ssd 수명을 보장하는 ssd 캐시 관리 방법 및 장치
CN113704220A (zh) 一种基于LSTM和遗传算法的Ceph参数调优方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination