CN114465915A - 一种cdn带宽预测方法、装置、系统和电子设备 - Google Patents
一种cdn带宽预测方法、装置、系统和电子设备 Download PDFInfo
- Publication number
- CN114465915A CN114465915A CN202111577826.0A CN202111577826A CN114465915A CN 114465915 A CN114465915 A CN 114465915A CN 202111577826 A CN202111577826 A CN 202111577826A CN 114465915 A CN114465915 A CN 114465915A
- Authority
- CN
- China
- Prior art keywords
- bandwidth
- edge cluster
- upper limit
- cluster
- cdn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 110
- 238000010801 machine learning Methods 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 35
- 230000015654 memory Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种CDN带宽预测方法、装置、系统和电子设备,该系统包括:边缘集群和中央处理集群,边缘集群通过历史数据训练用于预测带宽上限的机器识别模型,历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限;边缘集群基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的机器识别模型识别出目标带宽上限;边缘集群基于目标带宽上限生成带宽请求,并将带宽请求发送至中央处理集群;中央处理集群接收到边缘集群发送的带宽请求,并根据带宽请求中的目标带宽上限通知外部调度系统为所述边缘集群分配处理任务。本发明提供的技术方案,提高了CND带宽分配的准确率。
Description
技术领域
本发明涉及网络设计领域,具体涉及一种CDN带宽预测方法、装置、系统和电子设备。
背景技术
CDN(Content Delivery Network,内容分发网络)是通过在现有的中央处理集群中增加一层新的网络组成的架构,如图1所示,将网站的内容发布到最接近用户的网络“边缘”即边缘集群,使用户可以就近取得所需的内容,解决网络拥挤的状况,提高用户访问网站的响应速度。CDN网络中存在大量的缓存机器集群,机器数量、承载业务混跑等不同因素决定了该集群的业务资源承载上限,超过上限会影响客户质量,同时客户质量要求动态变化,因此需要有科学的方法预测评估该集群承载能力,从而为外部机器分配合适的带宽。现有技术均是基于历史值或某次参考业务压测值作为单集群资源上限的参考基线,但是在实际使用过程中,不同客户业务不同,都会导致实际业务可承载与预测偏差较大,带宽分配不合理,导致访问质量下降。当客户质量要求变化时,原来的集群可承载业务参考基线也需要跟着变化,此时重新测试参考基线需要较长的时间以及较广的测试范围,在此期间的带宽已经不准确,导致访问质量下降。因此,如何提高CND带宽分配的准确率是亟待解决的问题。
发明内容
有鉴于此,本发明实施方式提供了一种CDN带宽预测方法、装置、系统和电子设备,从而提高了CND带宽分配的准确率。
根据第一方面,本发明提供了一种CDN带宽预测方法,应用于边缘集群,所述方法包括:通过历史数据训练用于预测带宽上限的机器识别模型,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限;基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的所述机器识别模型识别出目标带宽上限;基于所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群,以使所述中央处理集群根据所述带宽请求中目标带宽上限通知所述外部调度系统为所述边缘集群分配处理任务。
可选地,所述通过历史数据训练用于预测带宽上限的机器识别模型,包括:以预设时间段内CDN命中率、带宽上限和机器数量作为输入,通过所述机器学习模型计算预测首包时限;根据所述预测首包时限和预设时间段内的首包时限之间的误差,调整所述机器学习模型的模型参数;对调整模型参数后的机器学习模型进行表达式变换,以将带宽上限转换为所述机器学习模型的输出,首包时限转换为所述机器学习模型的输入。
可选地,所述基于所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群,包括:基于硬件信息、所述机器学习模型和所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群,以使所述中央处理集群基于所述目标带宽上限通知所述外部调度系统为所述边缘集群分配处理任务,并保存所述硬件信息和所述机器学习模型,以在新增第二边缘集群时为第二边缘集群发送与所述边缘集群相同的机器学习模型并通知所述外部调度系统为所述第二边缘集群分配与所述边缘集群相同流量的处理任务,所述硬件信息是所述边缘集群的硬件信息,所述第二边缘集群是与所述边缘集群硬件信息相同的新增边缘集群。
根据第二方面,本发明提供了一种CDN带宽预测方法,应用于中央处理集群,所述方法包括:接收边缘集群发送的带宽请求;根据所述带宽请求中的目标带宽上限通知外部调度系统为所述边缘集群分配处理任务,所述目标带宽上限是所述边缘集群基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的机器识别模型识别出的结果,所述机器识别模型是通过所述边缘集群的历史数据训练生成的,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征所述外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限。
可选地,所述边缘集群发送的带宽请求中还包括所述边缘集群的硬件信息和机器学习模型,所述方法还包括:当新增第二边缘集群时,判断所述第二边缘集群的第二硬件信息与保存的所述硬件信息是否相同;若相同,则将所述机器学习模型发送至所述第二边缘集群,并通知所述外部调度系统为所述第二边缘集群分配与所述边缘集群相同流量的处理任务。
根据第三方面,本发明提供了一种CDN带宽预测装置,应用于边缘集群,所述装置包括:训练模块,用于通过历史数据训练用于预测带宽上限的机器识别模型,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限;识别模块,用于基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的所述机器识别模型识别出目标带宽上限;请求模块,用于基于所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群,以使所述中央处理集群根据所述带宽请求中目标带宽上限通知所述外部调度系统为所述边缘集群分配处理任务。
根据第四方面,本发明提供了一种CDN带宽预测装置,应用于中央处理集群,所述装置包括:请求接收模块,用于接收边缘集群发送的带宽请求;带宽分配模块,用于根据所述带宽请求中的目标带宽上限通知外部调度系统为所述边缘集群分配处理任务,所述目标带宽上限是所述边缘集群基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的机器识别模型识别出的结果,所述机器识别模型是通过所述边缘集群的历史数据训练生成的,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征所述外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限。
根据第五方面,本发明提供了一种CDN带宽预测系统,所述系统包括边缘集群和中央处理集群,其中,所述边缘集群通过历史数据训练用于预测带宽上限的机器识别模型,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限;所述边缘集群基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的所述机器识别模型识别出目标带宽上限;所述边缘集群基于所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群;所述中央处理集群接收到所述边缘集群发送的带宽请求,并根据所述带宽请求中的目标带宽上限通知所述外部调度系统为所述边缘集群分配处理任务。
根据第六方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面、第二方面,或者第一方面以及第二方面任意一种可选实施方式中所述的方法。
根据第七方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机从而执行第一方面、第二方面,或者第一方面以及第二方面任意一种可选实施方式中所述的方法。
本申请提供的技术方案,具有如下优点:
本申请提供的技术方案,为了提高边缘集群预测带宽的准确率,首先通过边缘集群特有的大量历史数据构建训练样本,包括CDN命中率、机器数量、带宽上限和首包时限,训练出能够进行带宽预测的机器学习模型。相比传统技术基于历史经验分配带宽的方法,本方法通过历史大数据分析,使得带宽分配准确率更高,之后边缘集群通过自身存储的机器学习模型计算得到准确度较高的目标带宽上限,并基于该目标带宽上限生成带宽请求发送到中央处理集群,使中央处理集群依据带宽请求通知外部调度系统为边缘集群分配适量的、不超过目标带宽上限的处理任务。
此外,边缘集群除了将目标带宽上限发送至中央处理集群,还将边缘集群的硬件信息和训练好的机器学习模型发送到中央处理集群,在边缘集群数量较多时,中央处理集群可以收集到大量硬件信息以及机器学习模型。当需要添加新的边缘集群时,中央处理集群首先在保存的大量硬件信息中搜索是否存在某个硬件信息与新增边缘集群的硬件信息相同,如果相同,则认为新增的边缘集群与现有的某个边缘集群是相同的,其现有的机器学习模型和带宽上限也是适用的,中央处理集群直接将搜索到的边缘集群对应的机器学习模型发送给新增的边缘集群,使外部调度系统分配相同流量的处理任务给新增的边缘集群,大大提高了带宽分配效率,节省了新增边缘集群的训练时间。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了现有技术中CDN结构示意图;
图2示出了本发明一个实施方式中一种CDN带宽预测系统的结构示意图;
图3示出了本发明一个实施方式中一种CDN带宽预测方法的机器模型训练流程示意图;
图4示出了本发明一个实施方式中一种CDN带宽预测方法的机器模型识别带宽的流程示意图;
图5示出了本发明一个实施方式中一种CDN带宽预测方法的步骤示意图;
图6示出了本发明一个实施方式中一种CDN带宽预测装置的结构示意图;
图7示出了本发明一个实施方式中一种CDN带宽预测装置的另一个结构示意图;
图8示出了本发明一个实施方式中一种电子设备的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
请参阅图2,在一个实施方式中,一种CDN带宽预测系统,包括边缘集群1和中央处理集群2,其中具体工作流程如下:
边缘集群1通过历史数据训练用于预测带宽上限的机器识别模型,历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,机器数量是通过边缘集群1访问网络的外部机器的数量,首包时限是边缘集群1为外部机器发送首包的最晚时限,带宽上限用于表征外部调度系统为边缘集群分配的处理任务所支持的带宽上限;
边缘集群1基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的机器识别模型识别出目标带宽上限;
边缘集群1基于目标带宽上限生成带宽请求,并将带宽请求发送至中央处理集群2;
中央处理集群2接收到边缘集群1发送的带宽请求,并根据带宽请求中的目标带宽上限通知外部调度系统为边缘集群1分配处理任务。
具体地,随着大数据分析技术的发展,传统行业基于大数据分析进行风险预测和指标预测的应用越来越多。传统为CDN边缘集群1分配带宽的方法往往依靠人工经验,分配很不准确,CDN命中率越高、带宽上限越小、机器数量越多对应的首包时限越小,(首包即第一个数据包,首包时限即通讯响应时间,是自外部机器给边缘集群1发送完获取数据的请求后,边缘集群1返回给外部机器第一个数据包中间的耗时)。因此,在本实施例中,为了提高带宽分配的准确度,结合大数据分析技术。获取在预设时间段内的CDN命中率、机器数量、带宽上限和首包时限构成训练样本,训练机器识别模型,时限基于大数据的带宽上限预测,提高带宽分配的准确率。其中CDN命中率是指用户访问的时候,命中缓存的概率,例如:用户访问一个使用了CDN的网站,请求会被解析到CDN节点,此时如果该CDN节点上已经缓存了用户要请求的内容,则直接CDN节点直接返回,无需再去源站取数据,这种情况算为命中缓存,如果该CDN节点上没有缓存相应的内容,则会立即去源站获取,然后再返回给访问者,同时把内容缓存在该节点上,这种情况算为没有命中缓存。机器数量即通过边缘集群1连接互联网的机器数量。通过上述四类数据,进行多维度的边缘集群1模型分析,使得建立的机器学习模型准确度更高,识别出的带宽上限准确度更高。之后,若需要为边缘集群1分配带宽,只需获取当前时刻边缘集群1的CDN命中率和机器数量以及客户要求的首包时限,即可通过机器学习模型计算出当前时刻合适的目标带宽上限,然后边缘集群1将携带该目标带宽上限的带宽请求发送到中央处理集群2,使中央处理集群2依据目标带宽上限将带宽参数下发外部调度系统,外部调度系统区别于边缘集群1和中央处理集群2,单独设置于一个调度集群中,外部调度系统在接收到中央处理集群2发送的带宽参数后,根据带宽参数记载的目标带宽上限,为边缘集群1分配不超过目标带宽上限的处理任务,从而完成了准确可靠的CDN带宽分配。
具体地,如图3和图4所示,在本实施例中,训练机器识别模型的过程如下:
在本实施例中,预设的机器学习模型选用支持向量机进行训练,支持向量机是一种可以通过多个不同维度的入参,得到预测值,并根据预测值与实际值的对比结果不断修正模型参数的机器学习算法,训练高效快速。此外还可通过BP神经网络、卷积神经网络等,本发明并不以此为限。之后,以预设时间段内的CDN命中率、带宽上限和机器数量作为输入,以首包时限作为输出,通过机器学习模型计算预测首包时限。然后根据预测首包时限和预设时间段内的首包时限之间的误差,调整机器学习模型的模型参数;最后对调整模型参数后的机器学习模型进行表达式变换,以将带宽上限转换为机器学习模型的输出,首包时限转换为机器学习模型的输入,从而完成训练。
在本实施例中,初始训练以首包时限为标签而不以带宽上限为标签进行模型的训练和校正。其目的是为了更贴合边缘集群1的工作原理。由于边缘集群1的硬件信息是一定的,在此基础上,CDN命中率、机器数量和人为分配的带宽上限是决定了首包时限大小的因素。CDN命中率越高、带宽上限越小、机器数量越多对应的首包时限越小。在实际工作过程中,首包时限是因变量,从而保证模型的训练更贴合实际,模型训练更准确。在机器学习模型训练结束后,此时CDN命中率和机器数量是不以人工主观意志决定的变量、而针对首包时限往往客户会有明确要求,首包的发送时间不能高于预设时间,例如必须低于50ms。因此需要合理的带宽来达到首包时限要求。从而先将上述训练的模型进行表达式变换,训练好的机器学习模型本质上是一种数学表达,可以通过数学变换的方式,将原自变量带宽上限转换为因变量,即机器学习模型的输出,将原因变量首包时限转换为自变量,即机器学习模型的输出。即可得到最终训练完成的机器学习模型。
通过上述各个组成部分的协同合作,本申请提供的技术方案,为了提高边缘集群预测带宽的准确率,首先通过边缘集群特有的大量历史数据构建训练样本,包括CDN命中率、机器数量、带宽上限和首包时限,训练出能够进行带宽预测的机器学习模型。相比传统技术基于历史经验分配带宽的方法,本方法通过历史大数据分析,使得带宽分配准确率更高,之后边缘集群通过自身存储的机器学习模型计算得到准确度较高的目标带宽上限,并基于该目标带宽上限生成带宽请求发送到中央处理集群,使中央处理集群依据带宽请求为外部调度系统下发合适的带宽参数。
在本发明的一个实施方式中,提供了一种CDN带宽预测方法,应用于上述边缘集群1和中央处理集群2中,如图5所示,边缘集群用于执行步骤S101至步骤S103,中央处理集群用于执行步骤S201至步骤S202,具体步骤如下:
步骤S101:通过历史数据训练用于预测带宽上限的机器识别模型,历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,机器数量是通过边缘集群访问网络的外部机器的数量,首包时限是边缘集群为外部机器发送首包的最晚时限,带宽上限用于表征外部调度系统为边缘集群分配的处理任务所支持的带宽上限。
步骤S102:基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的机器识别模型识别出目标带宽上限。
步骤S103:基于目标带宽上限生成带宽请求,并将带宽请求发送至中央处理集群。
步骤S201:接收边缘集群发送的带宽请求。
步骤S202:根据带宽请求中的目标带宽上限通知外部调度系统为边缘集群分配处理任务。
具体地,上述步骤的详细工作过程参见上文系统实施例的相关流程的描述,在此不再赘述。
具体地,在一实施例中,上述步骤S101,具体包括如下步骤:
步骤一:以预设时间段内CDN命中率、带宽上限和机器数量作为输入,通过机器学习模型计算预测首包时限。
步骤二:根据预测首包时限和预设时间段内的首包时限之间的误差,调整机器学习模型的模型参数。
步骤三:对调整模型参数后的机器学习模型进行表达式变换,以将带宽上限转换为机器学习模型的输出,首包时限转换为机器学习模型的输入。
具体地,上述步骤一至步骤三的详细工作过程参见上文系统实施例的相关流程的描述,在此不再赘述。
具体地,一种CDN带宽预测方法,应用于上述边缘集群1中,还包括如下步骤:
步骤四:基于硬件信息、机器学习模型和目标带宽上限生成带宽请求,并将带宽请求发送至中央处理集群,以使中央处理集群基于目标带宽上限通知外部调度系统为边缘集群分配处理任务,并保存硬件信息和机器学习模型,以在新增第二边缘集群时为第二边缘集群发送与边缘集群相同的机器学习模型并通知外部调度系统为第二边缘集群分配与边缘集群相同流量的处理任务,硬件信息是边缘集群的硬件信息,第二边缘集群是与边缘集群硬件信息相同的新增边缘集群。
具体地,在本实施例中,边缘集群除了将目标带宽上限发送至中央处理集群,还将边缘集群的硬件信息和训练好的机器学习模型发送到中央处理集群,在边缘集群数量较多时,中央处理集群可以收集到大量硬件信息以及机器学习模型。当需要添加新的边缘集群时(本实施例为第二边缘集群),中央处理集群首先在保存的大量硬件信息中搜索是否存在某个硬件信息与新增边缘集群的硬件信息相同,如果相同,则认为新增的边缘集群与现有的某个边缘集群是相同的,其现有的机器学习模型和带宽上限也是适用的,中央处理集群直接将搜索到的边缘集群对应的机器学习模型发送给新增的边缘集群,并使外部调度系统分配相同流量的处理任务给新增的边缘集群,大大提高了带宽分配效率,节省了新增边缘集群的训练时间。
具体地,一种CDN带宽预测方法,应用于上述中央处理集群2中,还包括如下步骤:
步骤五:当新增第二边缘集群时,判断第二边缘集群的第二硬件信息与保存的硬件信息是否相同。
步骤六:若相同,则将机器学习模型发送至第二边缘集群,并通知外部调度系统为第二边缘集群分配与边缘集群相同流量的处理任务。
具体地,上述步骤五至步骤六的详细工作过程参见上述步骤四的相关原理的描述,在此不再赘述。
通过上述步骤,本申请提供的技术方案,为了提高边缘集群预测带宽的准确率,首先通过边缘集群特有的大量历史数据构建训练样本,包括CDN命中率、机器数量、带宽上限和首包时限,训练出能够进行带宽预测的机器学习模型。相比传统技术基于历史经验分配带宽的方法,本方法通过历史大数据分析,使得带宽分配准确率更高,之后边缘集群通过自身存储的机器学习模型计算得到准确度较高的目标带宽上限,并基于该目标带宽上限生成带宽请求发送到中央处理集群,使中央处理集群依据带宽请求通知外部调度系统为边缘集群分配适量的、不超过目标带宽上限的处理任务。
此外,边缘集群除了将目标带宽上限发送至中央处理集群,还将边缘集群的硬件信息和训练好的机器学习模型发送到中央处理集群,在边缘集群数量较多时,中央处理集群可以收集到大量硬件信息以及机器学习模型。当需要添加新的边缘集群时,中央处理集群首先在保存的大量硬件信息中搜索是否存在某个硬件信息与新增边缘集群的硬件信息相同,如果相同,则认为新增的边缘集群与现有的某个边缘集群是相同的,其现有的机器学习模型和带宽上限也是适用的,中央处理集群直接将搜索到的边缘集群对应的机器学习模型发送给新增的边缘集群,使外部调度系统分配相同流量的处理任务给新增的边缘集群,大大提高了带宽分配效率,节省了新增边缘集群的训练时间。
如图6所示,本实施例还提供了一种CDN带宽预测装置,应用于边缘集群,该装置包括:
训练模块101,用于通过历史数据训练用于预测带宽上限的机器识别模型,历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,机器数量是通过边缘集群访问网络的外部机器的数量,首包时限是边缘集群为外部机器发送首包的最晚时限,带宽上限用于表征外部调度系统为边缘集群分配的处理任务所支持的带宽上限。详细内容参见上述方法实施例中步骤S101的相关描述,在此不再进行赘述。
识别模块102,用于基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的机器识别模型识别出目标带宽上限。详细内容参见上述方法实施例中步骤S102的相关描述,在此不再进行赘述。
请求模块103,用于基于目标带宽上限生成带宽请求,并将带宽请求发送至中央处理集群,以使中央处理集群根据带宽请求中目标带宽上限通知外部调度系统为边缘集群分配处理任务。详细内容参见上述方法实施例中步骤S103的相关描述,在此不再进行赘述。
本发明实施例提供的一种CDN带宽预测装置,用于执行上述实施例提供的一种CDN带宽预测方法,其实现方式与原理相同,详细内容参见上述方法实施例的相关描述,不再赘述。
如图7所示,本实施例还提供了一种CDN带宽预测装置,应用于中央处理集群,该装置包括:
请求接收模块201,用于接收边缘集群发送的带宽请求。详细内容参见上述方法实施例中步骤S201的相关描述,在此不再进行赘述。
带宽分配模块202,用于根据带宽请求中的目标带宽上限通知外部调度系统为边缘集群分配处理任务,目标带宽上限是边缘集群基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的机器识别模型识别出的结果,机器识别模型是通过边缘集群的历史数据训练生成的,历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,机器数量是通过边缘集群访问网络的外部机器的数量,首包时限是边缘集群为外部机器发送首包的最晚时限。详细内容参见上述方法实施例中步骤S202的相关描述,在此不再进行赘述。
图8示出了本发明实施例的一种电子设备,该设备包括处理器901和存储器902,可以通过总线或者其他方式连接,图8中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit,CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如上述方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器901所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器902可选包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中,当被处理器901执行时,执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,实现的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种CDN带宽预测方法,其特征在于,应用于边缘集群,所述方法包括:
通过历史数据训练用于预测带宽上限的机器识别模型,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限;
基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的所述机器识别模型识别出目标带宽上限;
基于所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群,以使所述中央处理集群根据所述带宽请求中目标带宽上限通知所述外部调度系统为所述边缘集群分配处理任务。
2.根据权利要求1所述的方法,其特征在于,所述通过历史数据训练用于预测带宽上限的机器识别模型,包括:
以预设时间段内CDN命中率、带宽上限和机器数量作为输入,通过所述机器学习模型计算预测首包时限;
根据所述预测首包时限和预设时间段内的首包时限之间的误差,调整所述机器学习模型的模型参数;
对调整模型参数后的机器学习模型进行表达式变换,以将带宽上限转换为所述机器学习模型的输出,首包时限转换为所述机器学习模型的输入。
3.根据权利要求1所述的方法,其特征在于,所述基于所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群,包括:
基于硬件信息、所述机器学习模型和所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群,以使所述中央处理集群基于所述目标带宽上限通知所述外部调度系统为所述边缘集群分配处理任务,并保存所述硬件信息和所述机器学习模型,以在新增第二边缘集群时为第二边缘集群发送与所述边缘集群相同的机器学习模型并通知所述外部调度系统为所述第二边缘集群分配与所述边缘集群相同流量的处理任务,所述硬件信息是所述边缘集群的硬件信息,所述第二边缘集群是与所述边缘集群硬件信息相同的新增边缘集群。
4.一种CDN带宽预测方法,其特征在于,应用于中央处理集群,所述方法包括:
接收边缘集群发送的带宽请求;
根据所述带宽请求中的目标带宽上限通知外部调度系统为所述边缘集群分配处理任务,所述目标带宽上限是所述边缘集群基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的机器识别模型识别出的结果,所述机器识别模型是通过所述边缘集群的历史数据训练生成的,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征所述外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限。
5.根据权利要求4所述的方法,其特征在于,所述边缘集群发送的带宽请求中还包括所述边缘集群的硬件信息和机器学习模型,所述方法还包括:
当新增第二边缘集群时,判断所述第二边缘集群的第二硬件信息与保存的所述硬件信息是否相同;
若相同,则将所述机器学习模型发送至所述第二边缘集群,并通知所述外部调度系统为所述第二边缘集群分配与所述边缘集群相同流量的处理任务。
6.一种CDN带宽预测装置,其特征在于,应用于边缘集群,所述装置包括:
训练模块,用于通过历史数据训练用于预测带宽上限的机器识别模型,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限;
识别模块,用于基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的所述机器识别模型识别出目标带宽上限;
请求模块,用于基于所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群,以使所述中央处理集群根据所述带宽请求中目标带宽上限通知所述外部调度系统为所述边缘集群分配处理任务。
7.一种CDN带宽预测装置,其特征在于,应用于中央处理集群,所述装置包括:
请求接收模块,用于接收边缘集群发送的带宽请求;
带宽分配模块,用于根据所述带宽请求中的目标带宽上限通知外部调度系统为所述边缘集群分配处理任务,所述目标带宽上限是所述边缘集群基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的机器识别模型识别出的结果,所述机器识别模型是通过所述边缘集群的历史数据训练生成的,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征所述外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限。
8.一种CDN带宽预测系统,其特征在于,所述系统包括边缘集群和中央处理集群,其中,
所述边缘集群通过历史数据训练用于预测带宽上限的机器识别模型,所述历史数据包括预设时间段内的CDN命中率、机器数量、带宽上限和首包时限,所述机器数量是通过所述边缘集群访问网络的外部机器的数量,所述首包时限是所述边缘集群为外部机器发送首包的最晚时限,所述带宽上限用于表征外部调度系统为所述边缘集群分配的处理任务所支持的带宽上限;
所述边缘集群基于当前时刻的CDN命中率、机器数量、和预设首包时限,通过训练后的所述机器识别模型识别出目标带宽上限;
所述边缘集群基于所述目标带宽上限生成带宽请求,并将所述带宽请求发送至中央处理集群;
所述中央处理集群接收到所述边缘集群发送的带宽请求,并根据所述带宽请求中的目标带宽上限通知所述外部调度系统为所述边缘集群分配处理任务。
9.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机从而执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111577826.0A CN114465915B (zh) | 2021-12-22 | 2021-12-22 | 一种cdn带宽预测方法、装置、系统和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111577826.0A CN114465915B (zh) | 2021-12-22 | 2021-12-22 | 一种cdn带宽预测方法、装置、系统和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114465915A true CN114465915A (zh) | 2022-05-10 |
CN114465915B CN114465915B (zh) | 2024-07-05 |
Family
ID=81405001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111577826.0A Active CN114465915B (zh) | 2021-12-22 | 2021-12-22 | 一种cdn带宽预测方法、装置、系统和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114465915B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115913969A (zh) * | 2022-11-17 | 2023-04-04 | 天翼云科技有限公司 | 一种基于带宽增量的cdn资源动态调整方法、电子设备及存储介质 |
CN117041074A (zh) * | 2023-10-10 | 2023-11-10 | 联通在线信息科技有限公司 | Cdn带宽预测方法、装置、电子设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105471759A (zh) * | 2016-01-11 | 2016-04-06 | 北京百度网讯科技有限公司 | 数据中心的网络流量调度方法和装置 |
CN108449286A (zh) * | 2018-03-01 | 2018-08-24 | 北京邮电大学 | 网络带宽资源分配方法及装置 |
CN109510715A (zh) * | 2017-09-14 | 2019-03-22 | 中国电信股份有限公司 | 带宽分配方法、装置、数据中心以及存储介质 |
US20190230185A1 (en) * | 2018-01-24 | 2019-07-25 | Citrix Systems, Inc. | Method to compute the tradeoff between user experience from prefetching versus the bandwidth constraints/cost at the cloud service |
CN110401553A (zh) * | 2018-04-25 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 服务器配置的方法和装置 |
CN111371626A (zh) * | 2020-03-20 | 2020-07-03 | 南京大学 | 一种基于神经网络的带宽预测方法 |
CN113055308A (zh) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | 带宽调度方法、流量传输方法及相关产品 |
CN113179175A (zh) * | 2021-03-16 | 2021-07-27 | 国家电网有限公司信息通信分公司 | 一种电力通信网业务的实时带宽预测方法及装置 |
CN113691398A (zh) * | 2021-08-13 | 2021-11-23 | 北京金山云网络技术有限公司 | 节点带宽的预测方法、装置、电子设备和存储介质 |
CN113691463A (zh) * | 2021-08-19 | 2021-11-23 | 网宿科技股份有限公司 | Cdn调度参数调整方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-22 CN CN202111577826.0A patent/CN114465915B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105471759A (zh) * | 2016-01-11 | 2016-04-06 | 北京百度网讯科技有限公司 | 数据中心的网络流量调度方法和装置 |
CN109510715A (zh) * | 2017-09-14 | 2019-03-22 | 中国电信股份有限公司 | 带宽分配方法、装置、数据中心以及存储介质 |
US20190230185A1 (en) * | 2018-01-24 | 2019-07-25 | Citrix Systems, Inc. | Method to compute the tradeoff between user experience from prefetching versus the bandwidth constraints/cost at the cloud service |
CN108449286A (zh) * | 2018-03-01 | 2018-08-24 | 北京邮电大学 | 网络带宽资源分配方法及装置 |
CN110401553A (zh) * | 2018-04-25 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 服务器配置的方法和装置 |
CN113055308A (zh) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | 带宽调度方法、流量传输方法及相关产品 |
CN111371626A (zh) * | 2020-03-20 | 2020-07-03 | 南京大学 | 一种基于神经网络的带宽预测方法 |
CN113179175A (zh) * | 2021-03-16 | 2021-07-27 | 国家电网有限公司信息通信分公司 | 一种电力通信网业务的实时带宽预测方法及装置 |
CN113691398A (zh) * | 2021-08-13 | 2021-11-23 | 北京金山云网络技术有限公司 | 节点带宽的预测方法、装置、电子设备和存储介质 |
CN113691463A (zh) * | 2021-08-19 | 2021-11-23 | 网宿科技股份有限公司 | Cdn调度参数调整方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
WUJUNYING等: "link congestion prediction using machine learning for software-defined-network data plane", IEEE, 11 October 2019 (2019-10-11) * |
周楠等: "基于机器学习的电力通信网带宽分配算法", 万方数据库, 1 July 2021 (2021-07-01) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115913969A (zh) * | 2022-11-17 | 2023-04-04 | 天翼云科技有限公司 | 一种基于带宽增量的cdn资源动态调整方法、电子设备及存储介质 |
CN117041074A (zh) * | 2023-10-10 | 2023-11-10 | 联通在线信息科技有限公司 | Cdn带宽预测方法、装置、电子设备及存储介质 |
CN117041074B (zh) * | 2023-10-10 | 2024-02-27 | 联通在线信息科技有限公司 | Cdn带宽预测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114465915B (zh) | 2024-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106776005B (zh) | 一种面向容器化应用的资源管理系统及方法 | |
JP7511477B2 (ja) | データクエリ方法、装置、およびデバイス | |
CN113055308B (zh) | 带宽调度方法、流量传输方法及相关产品 | |
US9575810B2 (en) | Load balancing using improved component capacity estimation | |
CN106959894B (zh) | 资源分配方法和装置 | |
CN114465915B (zh) | 一种cdn带宽预测方法、装置、系统和电子设备 | |
US20130173597A1 (en) | Computing resource allocation based on query response analysis in a networked computing environment | |
CN105718364A (zh) | 一种云计算平台中计算资源能力动态评估方法 | |
CN1773539A (zh) | 用计算中心管理一个或多个计算资源的系统和方法 | |
CN111026553B (zh) | 离线混部作业的资源调度方法及服务器系统 | |
CN110532154B (zh) | 应用系统扩容方法、装置和设备 | |
Kim et al. | Prediction based sub-task offloading in mobile edge computing | |
CN116263701A (zh) | 算力网络任务调度方法、装置、计算机设备及存储介质 | |
CN104735095A (zh) | 一种云计算平台作业调度方法及装置 | |
CN113543160B (zh) | 5g切片资源配置方法、装置、计算设备及计算机存储介质 | |
CN107566535B (zh) | 基于Web地图服务并发访问时序规则的自适应负载均衡方法 | |
CN112130966A (zh) | 任务调度方法和系统 | |
CN106209967A (zh) | 一种视频监控云资源预测方法及系统 | |
CN108132840A (zh) | 一种分布式系统中的资源调度方法及装置 | |
CN111694651B (zh) | 基于云计算和医疗大数据的任务处理优化系统 | |
CN104571931A (zh) | 基于系统资源的i/o请求合并调度系统与方法 | |
CN110569170A (zh) | 服务器利用率的评价方法、装置、设备及其存储介质 | |
CN117311973A (zh) | 计算设备调度方法、装置、非易失性存储介质及电子设备 | |
CN104283934A (zh) | 一种基于可靠性预测的web服务推送方法、装置及服务器 | |
WO2023273502A1 (zh) | 作业处理的方法、装置、计算机设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |