CN111343006B - 一种cdn峰值流量预测方法、装置及存储介质 - Google Patents

一种cdn峰值流量预测方法、装置及存储介质 Download PDF

Info

Publication number
CN111343006B
CN111343006B CN202010089181.5A CN202010089181A CN111343006B CN 111343006 B CN111343006 B CN 111343006B CN 202010089181 A CN202010089181 A CN 202010089181A CN 111343006 B CN111343006 B CN 111343006B
Authority
CN
China
Prior art keywords
value
flow
cdn
historical
peak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010089181.5A
Other languages
English (en)
Other versions
CN111343006A (zh
Inventor
闫威
苏毅
樊刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010089181.5A priority Critical patent/CN111343006B/zh
Publication of CN111343006A publication Critical patent/CN111343006A/zh
Application granted granted Critical
Publication of CN111343006B publication Critical patent/CN111343006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Abstract

本发明实施例涉及网络技术领域，公开了一种CDN峰值流量预测方法、装置及存储介质，包括：获取各省的历史流量值；根据各省的历史流量值分别预测未来时间内各省的峰值流量值；将未来时间内各省的峰值流量值累加得到未来时间内全国峰值流量的第一预测值；获取全国的历史流量值；根据全国的历史流量值预测未来时间内全国峰值流量的第二预测值；根据第一预测值和第二预测值确定未来时间内的全国峰值流量预测值。预测的有效时间较长，且得到的全国峰值流量的预测结果较为准确。

Description

一种CDN峰值流量预测方法、装置及存储介质
技术领域
本发明实施例涉及网络技术领域，特别涉及一种CDN峰值流量预测方法、装置及存储介质。
背景技术
内容分发网络(CDN，Content Delivery Network)通过实现用户对内容的就近访问来减少核心网流量以及中心服务器负载，从而大大提高用户的感受度，从技术层面上解决了由于网络带宽小、用户访问量大、网点分布不均匀、单点失效等导致的服务质量差的问题。
目前，基于CDN的流量预测分两类：实时预测和离线预测。
当前较成熟的技术多属于实时预测，如根据系统负载，缓存文件请求调度等相关性建立预测模型，并根据预测结果进行实时调度的调整。
至于离线预测，是基于历史大数据进行趋势预测，其特点是所参考的历史数据具有时间序列的特点。基于时序数据的预测方法简单的有趋势预测如整合移动平均自回归模型(ARIMA，Autoregressive Integrated Moving Average model)等；还有时间序列模型(Prophet)可以基于一维数据进行时序预测；相对复杂的模型还有基于循环神经网络(Recurrent Neural Network,RNN)的长短期记忆网络模型(Long short-term memory,LSTM)等，支持输入不同时序下的多维度的特征向量包括用户数、流量、峰值、主机节点数等等，输出最终的峰值流量预测值。
然而，发明人发现现有技术中至少存在如下问题：现有的实时预测模型预测的有效时间较短，离线预测模型是将全国的历史峰值流量输入预测模型预测全国的峰值流量，但由于全国各地的流量值不同，因此利用全国的流量进行预测的结果并不准确。
发明内容
本发明实施方式的目的在于提供一种CDN峰值流量预测方法、装置及存储介质，预测的有效时间较长，且得到的全国峰值流量的预测结果较为准确。
为解决上述技术问题，本发明的实施方式提供了一种CDN峰值流量预测方法，包括：获取各省的历史流量值；根据各省的历史流量值分别预测未来时间内各省的峰值流量值；将未来时间内各省的峰值流量值累加得到未来时间内全国峰值流量的第一预测值；获取全国的历史流量值；根据全国的历史流量值预测未来时间内全国峰值流量的第二预测值；根据第一预测值和第二预测值确定未来时间内的全国峰值流量预测值。
本发明的实施方式还提供了一种CDN峰值流量预测装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的CDN峰值流量预测方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述CDN峰值流量预测方法。
本发明实施方式相对于现有技术而言提供了一种CDN峰值流量预测方法，根据各省的历史流量值分别预测未来时间内各省的峰值流量值，根据全国的历史流量值来预测未来时间内全国峰值流量的第二预测值，即就是说利用离线预测模型进行预测，使得预测的时间较长；且将未来时间内各省的峰值流量值累加起来得到未来时间内全国峰值流量的第一预测值，并结合第一预测值和第二预测值来共同确定未来时间内的全国峰值流量预测值，使得最终得到的全国流量的预测值更加的准确。
另外，根据第一预测值和第二预测值确定未来时间内的全国峰值流量预测值，具体包括：为第一预测值分配第一权重，并为第二预测值分配第二权重；根据第一权重、第二权重、第一预测值和第二预测值确定未来时间内的全国峰值流量预测值。
另外，根据第一预测值和第二预测值确定未来时间内的全国峰值流量预测值之后，还包括：判断未来时间内是否存在重大活动；若判定存在重大活动，则确定重大活动的流量值放大倍数；将全国峰值流量预测值乘以流量值放大倍数得到重大活动的全国峰值流量预测值。该方案中当未来时间内有重大活动发生时，先确定该重大活动的流量值放大倍数，之后将预测得到的该未来时间内的全国峰值流量预测值乘以流量值放大倍数来得到该重大活动的全国峰值流量预测值，使得未来时间内的全国峰值流量预测值更加的准确。
另外，确定重大活动的流量值放大倍数，具体包括：预计重大活动的特征参数；将特征参数输入预先训练好的权重模型预测得到特征参数的权重值；根据特征参数及特征参数的权重值确定重大活动的流量值放大倍数。
另外，预先训练好的权重模型通过以下步骤进行训练：获取历史重大活动的历史特征参数、以及历史重大活动的实际峰值流量值；确定历史重大活动的峰值流量预测值；根据实际峰值流量值和峰值流量预测值确定历史重大活动的实际流量值放大倍数；根据历史特征参数以及实际流量值放大倍数训练权重模型。
另外，流量值放大倍数通过以下公式确定：
α＝ΣWi×fi+b
其中，α表示放大倍数、i表示特征参数的个数、Wi表示特征参数的权重值、fi表示特征参数、b表示偏置项，其中，∑Wi＝1。
另外，获取各省的历史流量值，具体包括：获取各省的主CDN的历史流量值；判断是否获取到每个省的主CDN的历史流量值；若未获取到任意一个省的主CDN的历史流量值，则获取任意一个省的辅助CDN的历史流量值和第三方CDN的历史流量值；根据辅助CDN的历史流量值和第三方CDN的历史流量值确定任意一个省的主CDN的历史流量预测值；将主CDN的历史流量预测值作为任意一个省的历史流量值。该方案中在某一个省的主CDN的历史流量数据丢失时，根据辅助CDN的历史流量值和第三方CDN的历史流量数据来确定该省的主CDN的历史流量数据，保障了全国峰值流量预测值的准确性。
另外，根据辅助CDN的历史流量值和第三方CDN的历史流量值确定任意一个省的主CDN的历史流量预测值，具体为：确定辅助CDN的历史流量值和第三方CDN的历史流量值的流量值之和；根据流量值之和以及预设的流量值之和与主CDN的历史流量值的映射关系，确定任意一个省的主CDN的历史流量预测值。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式的CDN峰值流量预测方法的流程示意图；
图2是根据本发明第二实施方式的CDN峰值流量预测方法的流程示意图；
图3是根据本发明第三实施方式的CDN峰值流量预测方法的流程示意图；
图4是根据本发明第四实施方式的CDN峰值流量预测方法的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种CDN峰值流量预测方法，本实施方式的核心在于获取各省的历史流量值；根据各省的历史流量值分别预测未来时间内各省的峰值流量值；将未来时间内各省的峰值流量值累加得到未来时间内全国峰值流量的第一预测值；获取全国的历史流量值；根据全国的历史流量值预测未来时间内全国峰值流量的第二预测值；根据第一预测值和第二预测值确定未来时间内的全国峰值流量预测值。根据各省的历史流量值分别预测未来时间内各省的峰值流量值，根据全国的历史流量值来预测未来时间内全国峰值流量的第二预测值，即就是说利用离线预测模型进行预测，使得预测的时间较长；且将未来时间内各省的峰值流量值累加起来得到未来时间内全国峰值流量的第一预测值，并结合第一预测值和第二预测值来共同确定未来时间内的全国峰值流量预测值，使得最终得到的全国流量的预测值更加的准确。
下面对本实施方式的CDN峰值流量预测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施方式中的CDN峰值流量预测方法的流程示意图如图1所示：
步骤101：获取各省的历史流量值。
具体地说，CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。由于各省均部署有CDN服务器，而对于CDN服务器的每个访问都有相关记录的访问日志，每条访问日志里有时间戳、流量值、IP地址、省份、以及访问内容等等。因此，本实施方式中可通过查询各省CDN服务器的访问日志来根据时间戳对流量值进行累计，获取各省的历史流量值。
步骤102：根据各省的历史流量值分别预测未来时间内各省的峰值流量值。
具体地说，本实施方式中的预测模型以时间序列模型(Prophet)为例进行说明。将各省的历史流量值分别输入预先训练好的各省的时序模型中，预测得到未来时间内各省的峰值流量值。每个分省CDN服务器的流量由于运营内容、地域文化背景和用户群等的不同，其波动趋势也有所不同，本实施方式中为各个分省建立独立的时间序列模型可以更好的描述各分省的CDN峰值和流量趋势。
时间序列模型模型将时间序列分成3个部分的叠加，如公式(1)所示：
y(t)＝g(t)+s(t)+h(t)+εt (1)
其中，g(t)为线性增长函数，用来拟合流量长期上涨趋势；s(t)为傅立叶级数，表示周期性变化，用于拟合周、月、季节或者年的流量波动趋势；h(t)表示重大活动、节假日等特殊原因等造成的流量突增；εt表示噪声项，用来表示随机无法预测的波动。
由于时间序列模型引入了周期函数和节假日或重大活动的效应函数，较好地弥补了预测周期性或重大节日活动导致峰值激增的问题，因此本实施方式中利用时间序列模型进行预测准确性较佳。
步骤103：将未来时间内各省的峰值流量值累加得到未来时间内全国峰值流量的第一预测值。
具体地说，在对每个省的峰值流量值进行预测后得到每个省未来时间内的峰值流量值，将每个省的峰值流量值进行叠加便可得到未来时间内全国峰值流量的第一预测值，该第一预测值能够体现出各省的流量变化的具体细节。
步骤104：获取全国的历史流量值。
具体地说，通过查询各省CDN服务器的访问日志，将各省的流量值根据时间戳进行累加，便可得到全国的历史流量值。
步骤105：根据全国的历史流量值预测未来时间内全国峰值流量的第二预测值。
具体地说，采取与预测各省的峰值流量值相同的时序模型，但直接获取全国的历史流量值来预测未来时间内全国峰值流量的第二预测值，该第二预测值展现的是全国流量的总体趋势。
步骤106：根据第一预测值和第二预测值确定未来时间内的全国峰值流量预测值。
具体地说，本实施方式中通过将各省未来时间内的峰值流量值汇总得到的第一预测值，具备流量变化的细节；但在总体趋势变化幅度的准确性上还需要依靠根据全国的历史流量值预测得到的第二预测值来进行约束，结合第一预测值和第二预测值来共同确定未来时间内的全国峰值流量预测值，使得最终得到的全国流量的预测值更加的准确。
具体地，本实施方式中根据第一预测值和第二预测值确定未来时间内的全国峰值流量预测值，具体包括：为第一预测值分配第一权重，并为第二预测值分配第二权重；根据第一权重、第二权重、第一预测值和第二预测值确定未来时间内的全国峰值流量预测值。该方案中通过为第一预测值和第二预测值分配权重值来加权确定未来时间内的全国峰值流量预测值。
本实施方式中的第一权重和第二权重通过以下方式确定：
对历史时间内的各省的峰值流量值进行预测，累加得到历史时间内的全国峰值流量的第一预测值；对历史时间内的全国的峰值流量值进行预测得到第二预测值，根据第一预测值、第二预测值、初始化的第一权重和初始化的第二权重确定历史时间内的全国峰值流量预测值。将加权得到的历史时间内的全国峰值流量预测值与历史时间内的实际全国峰值流量值做验证，取最小方差，例如采用岭回归的方法，不断对模型进行持续训练并调整权重，得到最优的且没有过拟合的历史最优权重。将优化后的权重带入公式中，用来预测未来时间内的全国峰值流量预测值。
本实施方式中全国峰值流量预测值通过以下公式(2)确定：
m(t)＝a×y(t)+b×y`(t)+c (2)
其中，m(t)表示全国峰值流量预测值、a表示第一权重、b表示第二权重、y(t)表示第一预测值、y`(t)表示第二预测值、c为常数。
本实施方式中经过第一预测值和第二预测值的加权与拟合，基于各省的历史海量数据，兼顾增长趋势、节假日和周期性的重大活动的突发影响，可基本满足对日常经营活动的CDN全国峰值流量预测的需要。且本实施方式中使用嵌套合成模型，分别计算各省的预测数据，结合各省的预测数据以及全国预测数据将模型融合并不断优化权重，在逼近实际值的同时减少过拟合。
值得说明的是，具体如何训练时间序列模型的方法属于现有技术，本实施方式中不进行过多赘述。
与现有技术相比，本发明实施方式提供了一种CDN峰值流量预测方法，根据各省的历史流量值分别预测未来时间内各省的峰值流量值，根据全国的历史流量值来预测未来时间内全国峰值流量的第二预测值，即就是说利用离线预测模型进行预测，使得预测的时间较长；且将未来时间内各省的峰值流量值累加起来得到未来时间内全国峰值流量的第一预测值，并结合第一预测值和第二预测值来共同确定未来时间内的全国峰值流量预测值，使得最终得到的全国流量的预测值更加的准确。
本发明的第二实施方式涉及一种CDN峰值流量预测方法。第二实施方式是对第一实施方式的进一步改进，主要改进之处在于，本方案中当未来时间内有重大活动发生时，先确定该重大活动的流量值放大倍数，之后将预测得到的该未来时间内的全国峰值流量预测值乘以流量值放大倍数来得到该重大活动的全国峰值流量预测值。
本实施方式中的CDN峰值流量预测方法的流程示意图如图2所示，具体包括：
步骤201：获取各省的历史流量值。
步骤202：根据各省的历史流量值分别预测未来时间内各省的峰值流量值。
步骤203：将未来时间内各省的峰值流量值累加得到未来时间内全国峰值流量的第一预测值。
步骤204：获取全国的历史流量值。
步骤205：根据全国的历史流量值预测未来时间内全国峰值流量的第二预测值。
步骤206：根据第一预测值和第二预测值确定未来时间内的全国峰值流量预测值。
值得说明的是，上述步骤201至步骤206与第一实施方式中的步骤101值步骤106大致相同，在此不再赘述。
步骤207：判断未来时间内是否存在重大活动。若判定为是，则进入步骤208，若判定为否，则该流程结束。
具体地说，离线预测主要依据历史时序数据拟合出未来的趋势和规律，但若遇到首次出现的、一场史无前例超大型活动，由于上述步骤获取的未来时间内的全国峰值流量预测值为日常情况下的预测值，很可能并不适用于重大活动发生的情况，此时历史数据并不能够提供很好的趋势判断，给模型的预测带来影响。因此，本实施方式中对于需要预测的未来时间内存在重大活动的情况进行特殊考量，当未来时间内存在重大活动时，进入步骤208：确定重大活动的流量值放大倍数；若不存在重大活动，则该流程结束。
步骤208：确定重大活动的流量值放大倍数。
本实施方式中确定重大活动的流量值放大倍数，具体包括：预计重大活动的特征参数；将特征参数输入预先训练好的权重模型预测得到特征参数的权重值；根据特征参数及特征参数的权重值确定重大活动的流量值放大倍数。
具体地说，本实施方式中重大活动的特征参数包括但不限于：1、预计用户增长倍数；2、CDN承载容量增长倍数；3、CDN临时扩充服务器数量的倍数；4、CDN临时库扩充节点数的倍数；5、活动重要级别(1，2，3)；6、活动视频播放持续时长等级(等级1：30分钟以内；等级2：30分钟至2小时；等级3：2小时以上)。
本实施方式中根据历史重大活动的特征参数来预计未来时间内要发生的重大活动的特征参数，并将预计得到的特征参数输入训练好的权重模型预测得到各特征参数的权重值，并根据特征参数及特征参数的权重值确定重大活动的流量值放大倍数。具体的流量值放大倍数通过以下公式(3)确定：
α＝∑Wi×fi+b (3)
其中，α表示放大倍数、i表示特征参数的个数、Wi表示特征参数的权重值、fi表示特征参数、b表示偏置项，其中，∑Wi＝1。
其中，预先训练好的权重模型通过以下步骤进行训练：获取历史重大活动的历史特征参数、以及历史重大活动的实际峰值流量值；确定历史重大活动的峰值流量预测值；根据实际峰值流量值和峰值流量预测值确定历史重大活动的实际流量值放大倍数；根据历史特征参数以及实际流量值放大倍数训练权重模型。
具体地说，针对历史已有的不同重大活动，使用历史特征参数和实际流量值放大倍数对权重模型进行训练，权重模型可使用但不限于简单的最小二乘线性模型或复杂的深度学习模型等，经过训练得到各特征的历史最优权重，从而得到放大系数α。
步骤209：将全国峰值流量预测值乘以流量值放大倍数得到重大活动的全国峰值流量预测值。
具体地说，训练出未来时间内重大活动的各特征参数的权重值后，利用上述公式(3)计算得到放大系倍数α，从而得到重大活动时的全国峰值流量预测值(重大活动的全国峰值流量预测值＝日常峰值流量预测值×α)。
与现有技术相比，本发明实施方式中提供了一种CDN峰值流量预测方法，通过对重大活动时的流量值放大倍数的预测，既满足了日常运营的流量预测，又满足了无参考的超大型活动的流量预测。其中，日常运营预测包含对常规节假日和有历史参考的周期性重大活动的峰值预测；而无参考的超大活动预测则提供了对无历史数据参考的或准备一次性投入的超大型活动所需流量的预测，使得未来时间内的全国峰值流量预测值更加的准确。
本发明的第三实施方式涉及一种CDN峰值流量预测方法。第三实施方式是第二施方式的进一步改进，主要改进之处在于：本实施方式中在某一个省的主CDN的历史流量数据丢失时，利用该省的辅助CDN的历史流量值和第三方CDN的历史流量值来确定该省的主CDN的历史流量预测值，从而在某一个省的主CDN的历史流量数据丢失时，仍然能够保障全国峰值流量预测值较为准确。
本实施方式中的CDN峰值流量预测方法的流程示意图如图3所示，具体包括：
步骤301：获取各省的主CDN的历史流量值。
具体地说，通过查询各省主CDN服务器的访问日志来根据时间戳对流量值进行累计，获取各省的历史流量值。
步骤302：判断是否获取到每个省的主CDN的历史流量值。若判定为否，则进入步骤303；若判定为是，则进入步骤306。
具体地说，现实场景中CDN服务器的使用通常是多个系统或供应商混合使用，比如一个CDN服务器可由一个主CDN服务器和一个辅助CDN服务器，甚至还包括第三方CDN服务器，从而在访问并发量激增时能够及时导流到辅助CDN服务器或第三方CDN服务器，确保主CDN服务器不被冲垮。由于CDN服务器的数据缺失率是一直存在的，因此在获取各省的主CDN的历史流量值时，不一定能够获取到完整的历史流量值。若未获取到某个省的主CDN的历史流量值，则进入步骤303：获取未获取到主CDN的历史流量值的任意一个省的辅助CDN的历史流量值和第三方CDN的历史流量值；若获取到所有省的主CDN的历史流量值，则进入步骤306：根据各省的历史流量值分别预测未来时间内各省的峰值流量。
步骤303：获取未获取到主CDN的历史流量值的任意一个省的辅助CDN的历史流量值和第三方CDN的历史流量值。
具体地说，由于CDN服务器的数据缺失率是一直存在的，若某省的主CDN由于服务器故障或日志缺失导致无法获取时，那么基于该省的主CDN的历史流量值进行的流量趋势预测就会严重偏离，给基于时序数据的预测带来噪声，会造成第一预测值和第二预测值的不准确。因此，本实施方式中可通过辅助CDN服务器的流量数据和三方CDN服务器的流量数据，根据预设的映射关系，获取该省主CDN的预测流量值。
步骤304：根据辅助CDN的历史流量值和第三方CDN的历史流量值确定任意一个省的主CDN的历史流量预测值。
本实施方式中根据辅助CDN的历史流量值和第三方CDN的历史流量值确定任意一个省的主CDN的历史流量预测值，具体包括：确定辅助CDN的历史流量值和第三方CDN的历史流量值的流量值之和；根据流量值之和以及预设的流量值之和与主CDN的历史流量值的映射关系，确定任意一个省的主CDN的历史流量预测值。
具体的说，基于历史大数据的积累，可根据实际历史数据结果设计成使用但不限于阶跃函数进行映射关系的上限预测，主CDN的历史流量预测值通过以下公式确定：
Figure BDA0002383137440000091
其中，t表示辅助CDN的历史流量值和第三方CDN的历史流量值的流量值之和，S(t)表示主CDN的历史流量预测值。
步骤305：将主CDN的历史流量预测值作为任意一个省的历史流量值。
具体地说，将以上步骤获得的主CDN的历史流量预测值输入该省训练好的时间序列模型中，获得该省的峰值流量预测值；在步骤308中将以上步骤获得的主CDN的历史流量预测值与全国历史流量值相加，获得修正后的全国历史流量值，然后输入训练好的全国时间序列模型。
步骤306：根据各省的历史流量值分别预测未来时间内各省的峰值流量值。
步骤307：将未来时间内各省的峰值流量值累加得到未来时间内全国峰值流量的第一预测值。
步骤308：获取全国的历史流量值。
步骤309：根据全国的历史流量值预测未来时间内全国峰值流量的第二预测值。
步骤310：根据第一预测值和第二预测值确定未来时间内的全国峰值流量预测值。
值得说明的是，上述步骤306至步骤310与第一实施方式中的步骤102值步骤106大致相同，在此不再赘述。
与现有技术相比，本发明实施方式中提供了一种CDN峰值流量预测方法，通过建立各省主CDN与辅助CDN和第三方CDN之间的流量映射关系，弥补了由于主CDN的历史流量数据缺失带来的预测趋势偏差，从而在某一个省的主CDN的历史流量数据丢失时，仍然能够保障全国峰值流量预测值较为准确。
综上所述，本提案提出了一种离线预测方法，在应用Prophet时序模型的基础上进行了完善和创新，实现了在数据来源分散、且出现大量缺失，甚至无历史参考经验时，整合多个CDN，完成最终的CDN峰值流量预测。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第四实施方式涉及一种CDN峰值流量预测装置，如图4所示，包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述任一实施方式中的CDN峰值流量预测方法。
其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。
处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时、外围接口、电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述CDN峰值流量预测。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种CDN峰值流量预测方法，其特征在于，包括：
获取各省的历史流量值；
根据所述各省的历史流量值分别预测未来时间内各省的峰值流量值；
将所述未来时间内各省的峰值流量值累加得到未来时间内全国峰值流量的第一预测值；
获取全国的历史流量值；
根据所述全国的历史流量值预测未来时间内全国峰值流量的第二预测值；
根据所述第一预测值和所述第二预测值确定未来时间内的全国峰值流量预测值。
2.根据权利要求1所述的CDN峰值流量预测方法，其特征在于，所述根据所述第一预测值和所述第二预测值确定未来时间内的全国峰值流量预测值，具体包括：
为所述第一预测值分配第一权重，并为所述第二预测值分配第二权重；
根据所述第一权重、所述第二权重、所述第一预测值和所述第二预测值确定未来时间内的全国峰值流量预测值。
3.根据权利要求1所述的CDN峰值流量预测方法，其特征在于，所述根据所述第一预测值和所述第二预测值确定未来时间内的全国峰值流量预测值之后，还包括：
判断所述未来时间内是否存在重大活动；
若判定存在所述重大活动，则确定所述重大活动的流量值放大倍数；
将所述全国峰值流量预测值乘以所述流量值放大倍数得到所述重大活动的全国峰值流量预测值。
4.根据权利要求3所述的CDN峰值流量预测方法，其特征在于，所述确定所述重大活动的流量值放大倍数，具体包括：
预计所述重大活动的特征参数；
将所述特征参数输入预先训练好的权重模型预测得到所述特征参数的权重值；
根据所述特征参数及所述特征参数的权重值确定所述重大活动的流量值放大倍数。
5.根据权利要求4所述的CDN峰值流量预测方法，其特征在于，所述预先训练好的权重模型通过以下步骤进行训练：
获取历史重大活动的历史特征参数、以及所述历史重大活动的实际峰值流量值；
确定所述历史重大活动的峰值流量预测值；
根据所述实际峰值流量值和所述峰值流量预测值确定所述历史重大活动的实际流量值放大倍数；
根据所述历史特征参数以及所述实际流量值放大倍数训练所述权重模型。
6.根据权利要求4所述的CDN峰值流量预测方法，其特征在于，所述流量值放大倍数通过以下公式确定：
α＝ΣWi×fi+b
其中，α表示所述放大倍数、i表示特征参数的个数、Wi表示所述特征参数的权重值、fi表示所述特征参数、b表示偏置项，其中，ΣWi＝1。
7.根据权利要求1所述的CDN峰值流量预测方法，其特征在于，所述获取各省的历史流量值，具体包括：
获取各省的主CDN的历史流量值；
判断是否获取到每个省的主CDN的历史流量值；
若未获取到任意一个省的主CDN的历史流量值，则获取所述任意一个省的辅助CDN的历史流量值和第三方CDN的历史流量值；
根据所述辅助CDN的历史流量值和第三方CDN的历史流量值确定所述任意一个省的主CDN的历史流量预测值；
将所述主CDN的历史流量预测值作为所述任意一个省的历史流量值。
8.根据权利要求7所述的CDN峰值流量预测方法，其特征在于，所述根据所述辅助CDN的历史流量值和第三方CDN的历史流量值确定所述任意一个省的主CDN的历史流量预测值，具体包括：
确定所述辅助CDN的历史流量值和第三方CDN的历史流量值的流量值之和；
根据所述流量值之和及预设的流量值之和与主CDN的历史流量值的映射关系，确定所述任意一个省的主CDN的历史流量预测值。
9.一种CDN峰值流量预测装置，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的CDN峰值流量预测方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的CDN峰值流量预测方法。
CN202010089181.5A 2020-02-12 2020-02-12 一种cdn峰值流量预测方法、装置及存储介质 Active CN111343006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010089181.5A CN111343006B (zh) 2020-02-12 2020-02-12 一种cdn峰值流量预测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010089181.5A CN111343006B (zh) 2020-02-12 2020-02-12 一种cdn峰值流量预测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111343006A CN111343006A (zh) 2020-06-26
CN111343006B true CN111343006B (zh) 2023-01-03

Family

ID=71186846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010089181.5A Active CN111343006B (zh) 2020-02-12 2020-02-12 一种cdn峰值流量预测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111343006B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115802366B (zh) * 2023-02-13 2023-04-28 网络通信与安全紫金山实验室 网络流量预测方法、装置、计算机设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238584A (zh) * 2010-05-04 2011-11-09 中国移动通信集团安徽有限公司 区域客流量监测装置、系统与方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580012B (zh) * 2013-10-14 2018-08-07 深圳市腾讯计算机系统有限公司 一种内容分发网络节点的选择方法及装置
US9451473B2 (en) * 2014-04-08 2016-09-20 Cellco Partnership Analyzing and forecasting network traffic
CN107171848B (zh) * 2017-05-27 2020-07-07 华为技术有限公司 一种流量预测方法和装置
CN107832866A (zh) * 2017-09-26 2018-03-23 晶赞广告（上海）有限公司 一种流量预测方法及装置、存储介质、终端
CN110290598B (zh) * 2018-03-16 2022-12-16 中国移动通信有限公司研究院 数据业务的调度方法、装置及终端
CN108259376A (zh) * 2018-04-24 2018-07-06 北京奇艺世纪科技有限公司 服务器集群业务流量的控制方法及相关设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238584A (zh) * 2010-05-04 2011-11-09 中国移动通信集团安徽有限公司 区域客流量监测装置、系统与方法

Also Published As

Publication number Publication date
CN111343006A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN108846517B (zh) 一种分位数概率性短期电力负荷预测集成方法
CN111447083B (zh) 动态带宽和不可靠网络下的联邦学习架构及其压缩算法
CN110460880B (zh) 基于粒子群和神经网络的工业无线流媒体自适应传输方法
CN109617826B (zh) 一种基于布谷鸟搜索的storm动态负载均衡方法
CN111091199A (zh) 一种基于差分隐私的联邦学习方法、装置及存储介质
CN108810140B (zh) 云存储系统中基于动态阈值调整的高性能分级存储优化方法
CN113315978B (zh) 一种基于联邦学习的协作式在线视频边缘缓存方法
CN107483292B (zh) 用于云平台的动态监控方法
CN111343006B (zh) 一种cdn峰值流量预测方法、装置及存储介质
CN112243025A (zh) 节点成本的调度方法、电子设备及存储介质
CN113691594B (zh) 一种基于二阶导数解决联邦学习中数据不平衡问题的方法
CN113543160B (zh) 5g切片资源配置方法、装置、计算设备及计算机存储介质
CN108234151B (zh) 一种云平台资源分配方法
CN109194759B (zh) 一种在前端降级的网络访问方法及系统
CN114500561B (zh) 电力物联网网络资源分配决策方法、系统、设备及介质
CN111724176A (zh) 店铺流量调节方法、装置、设备及计算机可读存储介质
Barros et al. A strategy to the reduction of communication overhead and overfitting in federated learning
CN113298115A (zh) 基于聚类的用户分组方法、装置、设备和存储介质
CN114401192A (zh) 一种多sdn控制器协同训练方法
WO2020246973A1 (en) Network optimization systems
CN115115064B (zh) 一种半异步联邦学习方法及系统
CN110062042B (zh) 一种移动众包支持的去中心化的视频流服务方法及系统
CN114363219B (zh) 数据处理方法及装置
CN111694595B (zh) 基于误差容忍的软件行为调节方法
CN116416006A (zh) 一种广告投放方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant