CN116600015B - 一种资源节点调整方法、系统、电子设备及可读存储介质 - Google Patents
一种资源节点调整方法、系统、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116600015B CN116600015B CN202310881639.4A CN202310881639A CN116600015B CN 116600015 B CN116600015 B CN 116600015B CN 202310881639 A CN202310881639 A CN 202310881639A CN 116600015 B CN116600015 B CN 116600015B
- Authority
- CN
- China
- Prior art keywords
- access
- data
- predicted
- resource nodes
- hot spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 85
- 238000012549 training Methods 0.000 claims description 63
- 238000004140 cleaning Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 1
- 239000002699 waste material Substances 0.000 description 12
- 230000004044 response Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种资源节点调整方法、系统、电子设备及可读存储介质,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。
Description
技术领域
本申请涉及内容分发领域,尤其涉及一种资源节点调整方法、系统、电子设备及可读存储介质。
背景技术
PCDN是一种P2P+CDN的内容分发网络技术,PCDN使用的资源比内容分发网络CDN廉价,其存储空间有限,提供带宽有限,因此,PCDN通常服务于热点内容,以保证通过较少的内容提供较为稳定的带宽。
PCDN的资源下发响应通常较慢,目前,通常是通过即时统计访问数据来确定资源节点数是否合适,根据统计结果调整PCDN整体资源节点分布来被动适应访问数据,而由于资源下发的响应较慢,容易造成PCDN带宽的浪费。
发明内容
有鉴于此,本申请提供一种资源节点调整方法、系统、电子设备及可读存储介质,其具体方案如下:
一种资源节点调整方法,包括:
获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;
将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;
基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;
在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点。
进一步的,所述基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量,包括:
获得访问数据、资源节点数量与访问错误率之间的线性关系;
基于所述线性关系确定在基于所述预测访问数据对所述特定热点文件进行访问时,所述访问错误率小于特定阈值时对应的资源节点数量,将所述访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量。
进一步的,所述基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点,包括:
若确定所述预测资源节点数量小于当前访问周期内所述特定热点文件的资源节点数量,则清理所述当前访问周期内的资源节点,以使清理后的资源节点数量与所述预测资源节点数量匹配;
若确定所述预测资源节点数量大于当前访问周期内所述特定热点文件的资源节点数量,则分发用于访问所述特定热点文件的资源节点,以使分发资源节点后用于访问所述特定热点文件的资源节点数量与所述预测资源节点数量匹配。
进一步的,所述第一访问数据至少包括:特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;所述第二访问数据至少包括:特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数及第二访问频数分布;
所述基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点,包括:
确定预测访问数据中的预测访问频数分布;
基于所述预测资源节点数量及预测访问频数分布调整用于访问所述特定热点文件的资源节点的分布及数量。
进一步的,
所述预设数量为大于所述序列处理模型中时序数据步长的数值。
进一步的,还包括:
获得至少一个热点文件中每个热点文件的多组训练数据,每组训练数据至少包括:连续预设数量的历史访问周期内每个历史访问周期的第三访问数据及所述连续预设数量的历史访问周期结束后的下一历史访问周期的第四访问数据;
将所述每个热点文件的多组训练数据中每组训练数据中的第三访问数据作为特征值,将所述第四访问数据作为标签值,进行模型训练,获得训练完成的序列处理模型。
进一步的,还包括:
若第一热点文件的历史访问周期的数量小于所述预设数量,则从所述多组训练数据中删除与所述第一热点文件相关的数据。
一种资源节点调整系统,包括:
获得单元,用于获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;
输出单元,用于将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;
确定单元,用于基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;
调整单元,用于在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点。
一种电子设备,包括:
处理器,用于获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点;
存储器,用于存储所述处理器执行上述处理过程的程序。
一种可读存储介质,所述可读存储介质用于至少存储一组指令集;
所述指令集用于被调用并至少执行如上任一项所述的资源节点调整方法。
从上述技术方案可以看出,本申请公开的资源节点调整方法、系统、电子设备及可读存储介质,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对PCDN带宽的浪费。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种资源节点调整方法的流程图;
图2为本申请实施例公开的又一种资源节点调整方法的流程图;
图3为本申请实施例公开的另一种资源节点调整方法的流程图;
图4为本申请实施例公开的再一种资源节点调整方法的流程图;
图5为本申请实施例公开的一种资源节点调整系统的结构示意图;
图6为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请公开了一种资源节点调整方法,其流程图如图1所示,包括:
步骤S11、获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;
步骤S12、将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;
步骤S13、基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;
步骤S14、在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。
PCDN内容分发网络的资源特性使得其只有服务于热点资源才能够有价值,而热点资源的热度是随时变化的,对于PCDN内容分发网络中资源节点在将来一段时间的访问量是欠缺还是富余是难以判定的;并且,常规的方法通过被动的即时统计访问数据来确定资源节点的数量是否合适,而资源节点的分发速度较慢,容易造成PCDN带宽的浪费。
基于此,本方案中在原有被动统计的基础上,增加主动预测的方式,以达到对未来一段时间内热点内容的访问数据的预测以及基于该预测对资源节点进行调整,避免造成PCDN带宽的浪费。
其中,热点资源及热点内容为:通过网络被大量访问的数据或内容;资源节点即PCDN网络中拥有某个数据或内容的节点。
当需要对某个特定的热点文件进行访问预测及资源节点调整时,需首先获得该特定热点文件的第一统计数据及第二统计数据,以便将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型中,获得模型的输出,并将模型的输出确定为预测的下一访问周期的预测访问数据。
其中,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据。
不同的热点文件可设置不同的访问周期,在对热点文件进行访问数据的预测时,需要基于当前访问周期及历史访问周期中的访问数据进行预测。
对于同一个热点文件,访问周期不同,其对应的访问数据就可能不同,访问周期可以以1天或几天为1个周期,也可以以1小时或几小时为1个周期,或者,以1周或几周为1个周期。访问周期可以基于访问数据进行调整,或者,访问周期预先设置好,无需进行调整。
第二统计数据中包括预设数量个历史访问周期内的访问数据,若预设数量为7,则第二统计数据中包括的是当前访问周期之前、与当前访问周期时间间隔最近的7个连续访问周期中的访问数据。
序列处理模型是预先基于历史训练数据训练完成的,能够对下一访问周期进行访问数据的预测的模型,该模型可以为长短期记忆递归神经网络LSTM模型,也可以为门控循环单元GRU模型。
其中,长短期记忆递归神经网络模型LSTM通过保持部分长期信息结合更多的短期信息来工作,主要用于与序列相关的预测,例如:天气、股市、文字输入等;门控循环单元GRU模型是LSTM网络的一种变体。
当将第一统计数据及第二统计数据输入至训练完成的序列处理模型中后,可获得序列处理模型的输出,该输出即为该特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据,即通过模型预测得到的下一个访问周期的访问数据。
基于该预测访问数据确定是否需要对用于访问该特定热点文件的资源节点进行调整,若需要调整,则增加或减少用于访问该特定热点文件的资源节点;若不需要调整,则可直接结束本次预测。
若需要调整,则基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量。只有预测的访问数据与资源节点数量满足上述对应关系时,PCDN内容分发网络中的资源或带宽才能够符合要求,避免带宽的浪费。
本实施例公开的资源节点调整方法,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对PCDN带宽的浪费。
本实施例公开了又一种资源节点调整方法,其流程图如图2所示,包括:
步骤S21、获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;
步骤S22、将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;
步骤S23、获得访问数据、资源节点数量与访问错误率之间的线性关系;
步骤S24、基于线性关系确定在基于预测访问数据对特定热点文件进行访问时,访问错误率小于特定阈值时对应的资源节点数量,将访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量;
步骤S25、在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。
访问数据、资源节点数量与访问错误率之间的线性关系可以具体为线性方程,其中,该线性方程中的访问数据可具体为某个热点文件的访问频数,则该线性方程可以为:
其中,A、B、k为方程系数,x为访问频数,y为资源节点数量,e为访问错误率。
由于A、B、k为已确定的方程系数,则当预测访问数据确定时,将预测访问数据中的预测访问频数代入上述线性方程中,需要保证访问错误率e小于特定阈值,在保证访问错误率e小于特定阈值的情况下,利用上述线性方程及预测访问频数确定一个对应的资源节点数量,该资源节点数量即为预测资源节点数量。
在确定预测资源节点数量后,只需要按照该预测资源节点数量对PCDN网络中的资源节点进行调整即可。
进一步的,对资源节点进行调整,可以为:
若确定预测资源节点数量小于当前访问周期内特定热点文件的资源节点数量,则清理当前访问周期内的资源节点,以使清理后的资源节点数量与预测资源节点数量匹配;若确定预测资源节点数量大于当前访问周期内特定热点文件的资源节点数量,则分发用于访问特定热点文件的资源节点,以使分发资源节点后用于访问特定热点文件的资源节点数量与预测资源节点数量匹配。
在进行下一访问周期的资源节点数量预测的过程中,需要获得当前访问周期内对于该特定热点文件的资源节点数量,即在当前访问周期内用于访问该特定热点文件的资源节点的数量是多少,以便于在预测出下一访问周期的预测资源节点数量后,能够基于预测资源节点数量对当前访问周期内用于访问该特定热点文件的资源节点数量进行调整。
具体的,如果预测出的资源节点数量小于当前访问周期内用于访问特定热点文件的资源节点数量,则需要在下一访问周期到来前,减少用于访问该特定热点文件的资源节点,即清理资源节点,以使用于访问该特定热点文件的资源节点数量减少,直至剩余的用于访问该特定热点文件的资源节点数量与预测资源节点数量一致,或,两者之间的差值小于某一预设阈值时停止清理资源节点。
如果预测出的资源节点数量大于当前访问周期内用于访问特定热点文件的资源节点数量,则需要在下一访问周期到来前,增加用于访问该特定热点文件的资源节点,即通过PCDN内容分发网络分发资源节点,以使用于访问该特定热点文件的资源节点数量增加,直至增加后所有的能够用于访问该特定热点文件的资源节点数量与预测资源节点数量一致,或,两者之间的差值小于某一预设阈值时停止分发资源节点。
本实施例公开的资源节点调整方法,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对PCDN带宽的浪费。
本实施例公开了另一种资源节点调整方法,其流程图如图3所示,包括:
步骤S31、获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问频数及第二访问频数分布;
步骤S32、将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;
步骤S33、基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;
步骤S34、在当前访问周期结束时,确定预测访问数据中的预测访问频数分布;
步骤S35、基于预测资源节点数量及预测访问频数分布调整用于访问特定热点文件的资源节点的分布及数量。
特定热点文件的第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,而第一访问数据不仅包括特定热点文件在当前访问周期内的第一访问频数,还包括其在当前访问周期内的第一访问频数分布;相应的,特定热点文件的第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问数据,而第二访问数据不仅包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数,还包括第二访问频数分布。
访问频数分布是指访问频数对应的地域分布或供应商分布,如表1所示:
表1
表1用于表征在一个访问周期内针对某个热点文件的访问数据,其中,访问频数为总频数,即表1中的汇总项,则访问频数为121,而对于访问频数分布,则为访问该热点文件的地域及供应商数据,如:通过A省a运营商访问该热点文件的频数为22,通过B省b运营商访问该热点文件的频数为17。
无论是当前访问周期还是历史访问周期内的访问数据均可通过如表1所示的表格进行访问数据的统计。
当访问数据中不仅包括访问频数还包括访问频数分布时,在对下一访问周期的访问数据进行预测时,其预测出的访问数据中不仅需要包括预测访问频数,还需要包括预测访问频数分布,以便于基于预测出的访问频数分布对相应的地域及供应商的资源节点的数量进行调整。
例如:以表1中所示的数据为特定热点文件的第一访问数据为例,将第一访问数据及第二访问数据输入至序列处理模型,获得预测访问数据,若预测访问数据中的预测访问频数分布为:A省a运营商为30,B省b运营商为10,则增加A省a运营商对应的资源节点数量,以使增加资源节点数量后能够通过A省a运营商访问该特定热点文件的资源节点数量与预测的A省a运营商对应的资源节点数量对应;减少B省b运营商对应的资源节点数量,以使减少资源节点数量后能够通过B省b运营商访问该特定热点文件的资源节点数量与预测的B省b运营商对应的资源节点数量对应,从而避免带宽的浪费,也避免了由于资源节点数量较少而导致的访问效率降低的问题。
另外,需要说明的是,第一统计数据中除包括特定热点文件在当前访问周期内的第一访问数据外,还可以包括该特定热点文件在当前访问周期内的第一基础数据;相应的,第二统计数据中除包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期中的第二访问数据外,还包括第二基础数据。
其中,基础数据可以包括:特定热点文件生成时刻与当前时刻之间的时间间隔、特定热点文件最后一次被访问的时刻与当前时刻之间的时间间隔、特定热点文件进入PCDN内容分发网络的时刻、特定热点文件的文件大小,还可以包括其他额外信息,其他额外信息如:特定热点文件的文件类型,若特定热点文件为视频文件,则视频码率等级、播放时长等信息。
本实施例公开的资源节点调整方法,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问频数及第二访问频数分布;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,确定预测访问数据中的预测访问频数分布,基于预测资源节点数量及预测访问频数分布调整用于访问特定热点文件的资源节点的分布及数量。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对PCDN带宽的浪费。
本实施例公开了再一种资源节点调整方法,其流程图如图4所示,包括:
步骤S41、获得至少一个热点文件中每个热点文件的多组训练数据,每组训练数据至少包括:连续预设数量的历史访问周期内每个历史访问周期的第三访问数据及连续预设数量的历史访问周期结束后的下一历史访问周期的第四访问数据;
步骤S42、将每个热点文件的多组训练数据中每组训练数据中的第三访问数据作为特征值,将第四访问数据作为标签值,进行模型训练,获得训练完成的序列处理模型;
步骤S43、获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;
步骤S44、将第一统计数据及第二统计数据输入至序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;
步骤S45、基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;
步骤S46、在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。
在对序列处理模型进行模型训练时,是利用多个热点文件的多组训练数据进行的,每组训练数据中包括第一访问数据及第四访问数据,第三访问数据为连续预设数量的历史访问周期内每个历史访问周期的访问数据,与第二访问数据对应,不同的是,第三访问数据用于模型训练,第二访问数据用于在模型训练完成后基于模型进行预测;第四访问数据为连续预设数量的历史访问周期结束后的下一历史访问周期内的访问数据,与第一访问数据对应,不同的是第四访问数据用于模型训练,第一访问数据用于在模型训练完成后基于模型进行预测。
在模型训练过程中,利用第三访问数据及第四访问数据作为一组训练数据,通过多组训练数据进行模型训练,其中,每组训练数据中的第三访问数据作为特征值,第四访问数据作为标签值,以基于RNN的序列处理模型进行模型训练,从而得到训练完成的序列处理模型。
在利用训练完成的序列处理模型进行预测时,也是需要将第二访问数据及第一访问数据同时输入至序列处理模型中,才能够得到模型的输出结果,将该结果作为当前访问周期之后的下一访问周期的预测访问数据。
在进行模型训练过程中,选取的多组训练数据是多个热点文件中每个热点文件对应的训练数据,而热点文件的选取则是将所有的文件按照总的访问频数进行排序,选择访问频数最高的特定数量的热点文件,将选择的这些热点文件对应的访问数据作为训练数据。
因此,在获取训练数据时,首先需要按照访问频数选择热点文件,之后确定每个热点文件的访问频数分布,并获取每个热点文件在每个访问周期内的基础信息,之后获得具有多个访问周期的热点文件的访问数据,进行整理后得到该热点文件对应的训练数据。
每个热点文件对应的训练数据,可基于访问周期进行统计,每个热点文件需要获得预设数量+1个访问周期的访问数据,并且,预设数量+1个访问周期为连续的访问周期,其中,预设数量个访问周期的访问数据作为第三访问数据,预设数量个访问周期之后的1个访问周期的访问数据作为第四访问数据。
那么,在对训练数据进行获取时,就需要从所有的热点文件中筛选出访问周期的数量大于预设数量+1的热点文件,而将访问周期的数量不满足上述条件的热点文件对应的访问数据则需要从训练数据中删除,该热点文件的访问数据不具备参考意义,不将其作为训练数据。
例如:预设数量为7,则在确定训练数据时,需要选择访问周期至少大于8的热点文件的访问数据作为训练数据。
其中,预设数量的确定可以为:大于序列处理模型中时序数据步长的数值,即基于序列处理模型中的时序数据步长确定预设数量,并且预设数量大于该时序数据步长。
依据访问周期的不同,时序数据步长不同,则预设数量不同。例如:以1天为1个访问周期,则时序数据步长为7,某个热点文件的访问周期只有5个,则其不具备参考意义,将该热点文件的访问数据从训练数据中删除。
例如:分别获得了A、B、C、D、E这5个文件的访问数据,其中,访问周期分别为10、5、20、4、7,时序数据步长为7,确定只有访问周期的数量大于9的文件的访问数据才能够作为训练数据,则只有文件A和文件C的访问数据能够作为训练数据。在获取文件A和文件C的训练数据时,对于文件A的访问数据,将第1-7个访问周期的访问数据作为第一组训练数据的特征值,将第8个访问周期的访问数据作为第一组训练数据的标签;将第2-8个访问周期的访问数据作为第二组训练数据的特征值,将第9个访问周期的访问数据作为第二组训练数据的标签;将第3-9个访问周期的访问数据作为第三组训练数据的特征值,将第10个访问周期的访问数据作为第三组训练数据的标签,相应的,对于文件C的访问数据中训练数据的确定也采用同样的方式。当获得所有的训练数据后,再进行模型训练。
当通过上述方式进行模型训练得到训练完成的时序处理模型后,在通过时序处理模型进行预测时,输入至时序处理模型的数据同样以上述方式输入,即若特定热点文件的当前访问周期为第11个访问周期,则将当前访问周期的访问数据作为标签,将当前访问周期之前的第4-10个访问周期的访问数据作为特征值,输入至训练完成的时序处理模型中,以获得第12个访问周期的预测访问数据,以便基于预测访问数据调整用于访问特定热点文件的资源节点。
本实施例公开的资源节点调整方法,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对PCDN带宽的浪费。
本实施例公开了一种资源节点调整系统,其结构示意图5所示,包括:
获得单元51,输出单元52,确定单元53及调整单元54。
其中,获得单元51用于获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;
输出单元52用于将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;
确定单元53用于基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;
调整单元54用于在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。
进一步的,确定单元用于:
获得访问数据、资源节点数量与访问错误率之间的线性关系;基于线性关系确定在基于预测访问数据对特定热点文件进行访问时,访问错误率小于特定阈值时对应的资源节点数量,将访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量。
进一步的,调整单元用于:
若确定预测资源节点数量小于当前访问周期内特定热点文件的资源节点数量,则清理当前访问周期内的资源节点,以使清理后的资源节点数量与预测资源节点数量匹配;若确定预测资源节点数量大于当前访问周期内特定热点文件的资源节点数量,则分发用于访问特定热点文件的资源节点,以使分发资源节点后用于访问特定热点文件的资源节点数量与预测资源节点数量匹配。
进一步的,第一访问数据至少包括:特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;第二访问数据至少包括:特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数及第二访问频数分布;
进一步的,调整单元用于:
确定预测访问数据中的预测访问频数分布;基于预测资源节点数量及预测访问频数分布调整用于访问特定热点文件的资源节点的分布及数量。
进一步的,预设数量为大于序列处理模型中时序数据步长的数值。
进一步的,本实施例公开的资源节点调整系统还可以包括:
训练单元,用于获得至少一个热点文件中每个热点文件的多组训练数据,每组训练数据至少包括:连续预设数量的历史访问周期内每个历史访问周期的第三访问数据及连续预设数量的历史访问周期结束后的下一历史访问周期的第四访问数据;将每个热点文件的多组训练数据中每组训练数据中的第三访问数据作为特征值,将第四访问数据作为标签值,进行模型训练,获得训练完成的序列处理模型。
进一步的,本实施例公开的资源节点调整系统还可以包括:
删除单元,用于在确定第一热点文件的历史访问周期的数量小于预设数量,则从多组训练数据中删除与第一热点文件相关的数据。
本实施例公开的资源节点调整系统是基于上述实施例公开的资源节点调整方法实现的,在此不再赘述。
本实施例公开的资源节点调整系统,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对PCDN带宽的浪费。
本实施例公开了一种电子设备,其结构示意图如图6所示,包括:
处理器61及存储器62。
其中,处理器61用于获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点;
存储器62用于存储处理器执行上述处理过程的程序。
本实施例公开的电子设备是基于上述实施例公开的资源节点调整方法实现的,在此不再赘述。
本实施例公开的电子设备,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对PCDN带宽的浪费。
本申请实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器加载并执行,实现上述资源节点调整方法的各步骤,具体实现过程可以参照上述实施例相应部分的描述,本实施例不做赘述。
本申请还提出了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述资源节点调整方法方面或资源节点调整系统方面的各种可选实现方式中所提供方法,具体实现过程可以参照上述相应实施例的描述,不做赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种资源节点调整方法,其特征在于,包括:
获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;
将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;
基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;
在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点;
其中,所述基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量,包括:
获得访问数据、资源节点数量与访问错误率之间的线性关系;
基于所述线性关系确定在基于所述预测访问数据对所述特定热点文件进行访问时,所述访问错误率小于特定阈值时对应的资源节点数量,将所述访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量;
其中,所述第一访问数据至少包括:特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;所述第二访问数据至少包括:特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数及第二访问频数分布;
所述基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点,包括:
确定预测访问数据中的预测访问频数分布;
基于所述预测资源节点数量及预测访问频数分布调整用于访问所述特定热点文件的资源节点的分布及数量。
2.根据权利要求1所述的方法,其特征在于,所述基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点,包括:
若确定所述预测资源节点数量小于当前访问周期内所述特定热点文件的资源节点数量,则清理所述当前访问周期内的资源节点,以使清理后的资源节点数量与所述预测资源节点数量匹配;
若确定所述预测资源节点数量大于当前访问周期内所述特定热点文件的资源节点数量,则分发用于访问所述特定热点文件的资源节点,以使分发资源节点后用于访问所述特定热点文件的资源节点数量与所述预测资源节点数量匹配。
3.根据权利要求1所述的方法,其特征在于,
所述预设数量为大于所述序列处理模型中时序数据步长的数值。
4.根据权利要求1所述的方法,其特征在于,还包括:
获得至少一个热点文件中每个热点文件的多组训练数据,每组训练数据至少包括:连续预设数量的历史访问周期内每个历史访问周期的第三访问数据及所述连续预设数量的历史访问周期结束后的下一历史访问周期的第四访问数据;
将所述每个热点文件的多组训练数据中每组训练数据中的第三访问数据作为特征值,将所述第四访问数据作为标签值,进行模型训练,获得训练完成的序列处理模型。
5.根据权利要求4所述的方法,其特征在于,还包括:
若第一热点文件的历史访问周期的数量小于所述预设数量,则从所述多组训练数据中删除与所述第一热点文件相关的数据。
6.一种资源节点调整系统,其特征在于,包括:
获得单元,用于获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;
输出单元,用于将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;
确定单元,用于基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;
调整单元,用于在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点;
其中,所述确定单元,具体包括:获得访问数据、资源节点数量与访问错误率之间的线性关系;基于所述线性关系确定在基于所述预测访问数据对所述特定热点文件进行访问时,所述访问错误率小于特定阈值时对应的资源节点数量,将所述访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量;
其中,所述第一访问数据至少包括:特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;所述第二访问数据至少包括:特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数及第二访问频数分布;
所述调整单元,具体包括:确定预测访问数据中的预测访问频数分布;基于所述预测资源节点数量及预测访问频数分布调整用于访问所述特定热点文件的资源节点的分布及数量。
7.一种电子设备,其特征在于,包括:
处理器,用于获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点;
其中,所述基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量,包括:获得访问数据、资源节点数量与访问错误率之间的线性关系;基于所述线性关系确定在基于所述预测访问数据对所述特定热点文件进行访问时,所述访问错误率小于特定阈值时对应的资源节点数量,将所述访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量;其中,所述第一访问数据至少包括:特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;所述第二访问数据至少包括:特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数及第二访问频数分布;
所述基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点,包括:确定预测访问数据中的预测访问频数分布;基于所述预测资源节点数量及预测访问频数分布调整用于访问所述特定热点文件的资源节点的分布及数量;
存储器,用于存储所述处理器执行上述处理过程的程序。
8.一种可读存储介质,其特征在于,所述可读存储介质用于至少存储一组指令集;
所述指令集用于被调用并至少执行如权利要求1-5中任一项所述的资源节点调整方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310881639.4A CN116600015B (zh) | 2023-07-18 | 2023-07-18 | 一种资源节点调整方法、系统、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310881639.4A CN116600015B (zh) | 2023-07-18 | 2023-07-18 | 一种资源节点调整方法、系统、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116600015A CN116600015A (zh) | 2023-08-15 |
CN116600015B true CN116600015B (zh) | 2023-10-10 |
Family
ID=87594131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310881639.4A Active CN116600015B (zh) | 2023-07-18 | 2023-07-18 | 一种资源节点调整方法、系统、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116600015B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997512A (zh) * | 2014-04-14 | 2014-08-20 | 南京邮电大学 | 一种面向云存储系统的数据副本数量确定方法 |
CN108416054A (zh) * | 2018-03-20 | 2018-08-17 | 东北大学 | 基于文件访问热度的动态hdfs副本个数计算方法 |
CN109284871A (zh) * | 2018-09-30 | 2019-01-29 | 北京金山云网络技术有限公司 | 资源调整方法、装置和云平台 |
CN110471897A (zh) * | 2019-08-22 | 2019-11-19 | 湖南快乐阳光互动娱乐传媒有限公司 | 文件管理方法及装置 |
CN110958154A (zh) * | 2019-11-06 | 2020-04-03 | 长沙理工大学 | 一种基于节点热度的心跳间隔动态调整方法、装置及系统 |
CN111258980A (zh) * | 2020-01-18 | 2020-06-09 | 重庆邮电大学 | 一种云存储系统中基于组合预测的动态文件放置方法 |
CN111459617A (zh) * | 2020-04-03 | 2020-07-28 | 南方电网科学研究院有限责任公司 | 基于云平台的容器化应用自动分配优化系统及其方法 |
CN111475108A (zh) * | 2020-03-20 | 2020-07-31 | 平安国际智慧城市科技股份有限公司 | 一种分布式存储方法、计算机设备及计算机可读存储介质 |
CN112668902A (zh) * | 2020-12-31 | 2021-04-16 | 上海众源网络有限公司 | 一种资源分配方法、装置、电子设备及存储介质 |
WO2021088351A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳市网心科技有限公司 | 一种节点数据部署方法、部署节点、系统及介质 |
CN113391765A (zh) * | 2021-06-22 | 2021-09-14 | 中国工商银行股份有限公司 | 基于分布式存储系统的数据存储方法、装置、设备及介质 |
CN113703688A (zh) * | 2021-09-20 | 2021-11-26 | 河南锦誉网络科技有限公司 | 一种基于大数据和文件热度的分布式存储节点负载调整方法 |
CN114143326A (zh) * | 2021-12-08 | 2022-03-04 | 深圳前海微众银行股份有限公司 | 负载调节方法、管理节点以及存储介质 |
CN114157673A (zh) * | 2021-11-30 | 2022-03-08 | 北京知道创宇信息技术股份有限公司 | Cdn系统节点管理方法、装置、存储介质及电子设备 |
CN115002132A (zh) * | 2022-05-23 | 2022-09-02 | 苏州思萃工业互联网技术研究所有限公司 | 一种用于pcdn网络预缓存资源的分发方法、系统及计算机设备 |
CN115022342A (zh) * | 2022-05-31 | 2022-09-06 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
CN115562841A (zh) * | 2022-11-10 | 2023-01-03 | 军事科学院系统工程研究院网络信息研究所 | 一种云视频服务自适应资源调度系统和方法 |
CN115756812A (zh) * | 2021-09-02 | 2023-03-07 | 中移(苏州)软件技术有限公司 | 一种资源调整方法及装置、存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110661862A (zh) * | 2019-09-20 | 2020-01-07 | 网宿科技股份有限公司 | 一种预热资源文件的方法和中心管理系统 |
-
2023
- 2023-07-18 CN CN202310881639.4A patent/CN116600015B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997512A (zh) * | 2014-04-14 | 2014-08-20 | 南京邮电大学 | 一种面向云存储系统的数据副本数量确定方法 |
CN108416054A (zh) * | 2018-03-20 | 2018-08-17 | 东北大学 | 基于文件访问热度的动态hdfs副本个数计算方法 |
CN109284871A (zh) * | 2018-09-30 | 2019-01-29 | 北京金山云网络技术有限公司 | 资源调整方法、装置和云平台 |
CN110471897A (zh) * | 2019-08-22 | 2019-11-19 | 湖南快乐阳光互动娱乐传媒有限公司 | 文件管理方法及装置 |
WO2021088351A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳市网心科技有限公司 | 一种节点数据部署方法、部署节点、系统及介质 |
CN110958154A (zh) * | 2019-11-06 | 2020-04-03 | 长沙理工大学 | 一种基于节点热度的心跳间隔动态调整方法、装置及系统 |
CN111258980A (zh) * | 2020-01-18 | 2020-06-09 | 重庆邮电大学 | 一种云存储系统中基于组合预测的动态文件放置方法 |
CN111475108A (zh) * | 2020-03-20 | 2020-07-31 | 平安国际智慧城市科技股份有限公司 | 一种分布式存储方法、计算机设备及计算机可读存储介质 |
CN111459617A (zh) * | 2020-04-03 | 2020-07-28 | 南方电网科学研究院有限责任公司 | 基于云平台的容器化应用自动分配优化系统及其方法 |
CN112668902A (zh) * | 2020-12-31 | 2021-04-16 | 上海众源网络有限公司 | 一种资源分配方法、装置、电子设备及存储介质 |
CN113391765A (zh) * | 2021-06-22 | 2021-09-14 | 中国工商银行股份有限公司 | 基于分布式存储系统的数据存储方法、装置、设备及介质 |
CN115756812A (zh) * | 2021-09-02 | 2023-03-07 | 中移(苏州)软件技术有限公司 | 一种资源调整方法及装置、存储介质 |
CN113703688A (zh) * | 2021-09-20 | 2021-11-26 | 河南锦誉网络科技有限公司 | 一种基于大数据和文件热度的分布式存储节点负载调整方法 |
CN114157673A (zh) * | 2021-11-30 | 2022-03-08 | 北京知道创宇信息技术股份有限公司 | Cdn系统节点管理方法、装置、存储介质及电子设备 |
CN114143326A (zh) * | 2021-12-08 | 2022-03-04 | 深圳前海微众银行股份有限公司 | 负载调节方法、管理节点以及存储介质 |
CN115002132A (zh) * | 2022-05-23 | 2022-09-02 | 苏州思萃工业互联网技术研究所有限公司 | 一种用于pcdn网络预缓存资源的分发方法、系统及计算机设备 |
CN115022342A (zh) * | 2022-05-31 | 2022-09-06 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
CN115562841A (zh) * | 2022-11-10 | 2023-01-03 | 军事科学院系统工程研究院网络信息研究所 | 一种云视频服务自适应资源调度系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116600015A (zh) | 2023-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106454437B (zh) | 一种流媒体业务速率预测方法及装置 | |
CN107124630A (zh) | 节点数据管理的方法及装置 | |
US20130254294A1 (en) | Method and Arrangement For Ranking Users | |
Hong et al. | Continuous bitrate & latency control with deep reinforcement learning for live video streaming | |
CN115421930B (zh) | 任务处理方法、系统、装置、设备及计算机可读存储介质 | |
CN114726799B (zh) | 拥塞控制智能体的训练方法、拥塞控制方法及装置 | |
Zhang et al. | QCSS: a QoE-aware control plane for adaptive streaming service over mobile edge computing infrastructures | |
Bartolini et al. | Optimal dynamic replica placement in content delivery networks | |
CN116600015B (zh) | 一种资源节点调整方法、系统、电子设备及可读存储介质 | |
Gao et al. | Resource provisioning and profit maximization for transcoding in information centric networking | |
CN114826924A (zh) | 用于带宽分配的方法及装置 | |
CN113543160B (zh) | 5g切片资源配置方法、装置、计算设备及计算机存储介质 | |
CN116074256A (zh) | 内容分发网络节点带宽优化方法、装置、电子设备及介质 | |
CN110061933A (zh) | 一种数据处理方法及装置、设备、存储介质 | |
EP3897008A1 (en) | System and method for subscriber tier plan adjustment in a computer network | |
CN103684877B (zh) | 一种为网络内容服务选取基础设施的方法和装置 | |
JP7056614B2 (ja) | 通信帯域算出装置、通信帯域算出方法及びプログラム | |
CN109391486A (zh) | 基于用户体验的对互操作策略调整的预警方法及服务器 | |
Wang et al. | Estimating video popularity from past request arrival times in a VoD system | |
CN103716256B (zh) | 一种为网络内容服务选取基础设施的方法和装置 | |
CN110868304A (zh) | 一种pcc策略下发方法及系统 | |
Alyatama | Pricing and quantization of memory for cloud services with uniform request distribution | |
CN112751924B (zh) | 一种数据推送方法、系统及装置 | |
Lin et al. | Improving robustness of learning-based adaptive video streaming in wildly fluctuating networks | |
CN113260064B (zh) | 一种大规模物联设备的接入方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |