CN117201308A - 网络资源分配方法、系统、存储介质及电子设备 - Google Patents
网络资源分配方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117201308A CN117201308A CN202311022412.0A CN202311022412A CN117201308A CN 117201308 A CN117201308 A CN 117201308A CN 202311022412 A CN202311022412 A CN 202311022412A CN 117201308 A CN117201308 A CN 117201308A
- Authority
- CN
- China
- Prior art keywords
- model
- flow
- network
- resource optimization
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013468 resource allocation Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005457 optimization Methods 0.000 claims abstract description 142
- 230000006870 function Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000452 restraining effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请公开了一种网络资源分配方法、系统、存储介质及电子设备,方法包括:获取网络基础设施在预设时间段内的历史流量数据;根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。本申请通过建立预先训练的网络资源优化模型来实现参数的逐步更新,使得模型能在随机地设定参数的前提下,经过模型的更新,最终自动收敛到优秀的参数值,从而提高了系统的泛化效率,也使系统能实现在资源优化结果处设定目标值,从而实现面向目标驱动的资源优化场景。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种网络资源分配方法、系统、存储介质及电子设备。
背景技术
网络流量指的是在网络基础设施上传输的数据量。通常来说,网络流量会在不同的场景中体现出不同的特性,除了简单的线性变化,还往往具有周期性,相关性,突变型等非线性的关系。因此,在网络模型中,利用网络流量的特性来对网络流量进行预测成了重要的问题。准确预测网络流量的能力至关重要,因为它可以帮助系统有效分配资源、优化网络性能并确保用户体验的连续性。
相关技术中,网络流量预测利用各种技术,包括统计建模、机器学习和数据分析等等,来预测未来的流量模式。一般的流程为:在模型中输入历史流量数据,经过模型对数据的分析,结合数据具有的周期性,相关性等特性,从而得到未来一段时间的预测流量数据。但实际上,现有模型存在着一定的问题。单纯的流量预测机器模型实际上是将“预测更加准确”作为机器学习的目标,这并不等同于系统所希望达到的最终目标:优秀的资源优化结果。同时,对于资源优化的凸优化问题中,网络管理者往往无法得到该问题的所有参数,导致该凸优化问题无法得到最优解,产生误差。无论是目标带来的误差,还是优化问题参数带来的误差,都会导致模型效果变差,泛化效率不高。
总而言之,当前的常见预测模型的预测值都和实际值有一定的误差,特别是在网络流量复杂时,误差问题会更为明显。在一些对于准确度要求较高的场景下,简单的预测模型无法满足网络服务的需求。
发明内容
本申请实施例提供了一种网络资源分配方法、系统、存储介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
第一方面,本申请实施例提供了一种网络资源分配方法,方法包括:
获取网络基础设施在预设时间段内的历史流量数据;
根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;
将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;
根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。
可选的,根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果,包括:
将历史流量数据输入流量预测模型中进行流量预测;
输出网络基础设施在当前时刻的下一时刻对应的流量预测结果;其中,
流量预测模型为f,流量预测结果为其中,K是网络流量类型的总数,R是全体实数,T-1=i,/>是时刻i的一共K个不同种类服务的流量值或不同流量值的矩阵,i为大于等于1的自然数。
可选的,获取网络基础设施在预设时间段内的历史流量数据之前,还包括:
创建网络资源优化模型;
获取网络基础设施在一段时间的历史流量样本;
将历史流量样本输入流量预测模型中进行预测,输出预测的未来流量数据结果;
根据未来流量数据结果,计算各项资源优化参数;
根据各项资源优化参数,计算网络资源优化模型的模型精度;
在模型精度到达预设阈值时,生成预先训练的网络资源优化模型。
可选的,根据各项资源优化参数,计算网络资源优化模型的模型精度,包括:
加载网络资源优化模型的模型表达式;
将未来流量数据结果与各项资源优化参数代入模型表达式中进行计算,得到每种服务的具体流量值;
确定所述模型表达式中关于系统收益或开销的参数以及系统对流量值进行约束的参数,作为指定参数;
通过0ptNet模型拟合模型表达式中指定参数的最优结果;指定参数包括关于系统收益或开销的参数以及对流量值进行约束的参数;
将指定参数的最优结果与未来流量数据结果代入模型表达式中进行计算,得到资源分配最优解,作为每种服务的最佳流量结果;
基于每种服务的具体流量值及其最佳流量结果,计算网络资源优化模型的模型精度。
可选的,网络资源优化模型的模型表达式为:
使得G(Dk)dk<h(Dk)#(3.1b)
其中,T是矩阵转置操作;Q(Dk),P(Dk),G(Dk),h(Dk)四项为优化问题参数,均可以表示为前层预测结果Dk的函数或常数,将其简记为Q,P,G,h,式中Q,P是关于系统收益或开销的参数,而G,h是系统对流量值dk进行约束的参数;
由网络资源优化模型的模型表达式可得到每种服务的具体流量值为:
x在{x|Gx<h}域内,Q,P,G,h实际上是关于Dk的函数;其中,x是自变量,T是矩阵转置操作,PT是对P的转置操作。
可选的,基于每种服务的具体流量值及其最佳流量结果,计算网络资源优化模型的模型精度,包括:
计算每种服务的具体流量值及其最佳流量结果之间差值的平方,得到损失函数;
将损失函数代入预先构建的梯度值计算表达式中,得到目标梯度值;
根据目标梯度值,计算网络资源优化模型的模型精度。
可选的,在模型精度到达预设阈值时,生成预先训练的网络资源优化模型,包括:
在模型精度未到达预设阈值时,通过目标梯度值更新模型表达式中指定参数;
继续执行获取网络基础设施在一段时间的历史流量样本的步骤,直到模型精度到达预设阈值。
第二方面,本申请实施例提供了一种网络资源分配系统,系统包括:
历史流量数据获取模块,用于获取网络基础设施在预设时间段内的历史流量数据;
流量预测结果预测模块,用于根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;
最优解输出模块,用于将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;
网络资源分配模块,用于根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。
第三方面,本申请实施例提供一种计算机存储介质,计算机存储介质存储有多条指令,指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,存储器存储有计算机程序,计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请实施例中,首先获取网络基础设施在预设时间段内的历史流量数据;然后根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;其次将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;最后根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。由于本申请通过建立预先训练的网络资源优化模型来实现参数的逐步更新,使得模型能在随机地设定参数的前提下,经过模型的更新,最终自动收敛到优秀的参数值,从而提高了系统的泛化效率,也使系统能实现在资源优化结果处设定目标值,从而实现面向目标驱动的资源优化场景。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请实施例提供的一种网络资源分配方法的流程示意图;
图2是本申请提供的一种面向目标驱动的系统更新参数流程图;
图3是本申请提供的一种模型优化的系统流程图;
图4是本申请提供的一种本方案与传统方案网络通信效率的对比图;
图5是本申请实施例提供的一种本方案与传统方案训练时的损失函数变化曲线图;
图6A-图6C是申请实施例提供的一种时间序列和网络流量的曲线图;
图7是本申请实施例提供的一种网络资源分配系统的结构示意图;
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述和附图充分地示出本申请的具体实施方案,以使本领域的技术人员能够实践它们。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种网络资源分配方法、系统、介质及电子设备,以解决上述相关技术问题中存在的问题。本申请提供的技术方案中,由于本申请通过建立预先训练的网络资源优化模型来实现参数的逐步更新,使得模型能在随机地设定参数的前提下,经过模型的更新,最终自动收敛到优秀的参数值,从而提高了系统的泛化效率,也使系统能实现在资源优化结果处设定目标值,从而实现面向目标驱动的资源优化场景,下面采用示例性的实施例进行详细说明。
本申请提供了一种网络资源分配方法、系统、存储介质及电子设备,以解决上述相关技术问题中存在的问题。下面将结合附图1-附图6C,对本申请实施例提供的网络资源分配方法进行详细介绍。该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的网络资源分配系统上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
请参见图1,为本申请实施例提供了一种网络资源分配方法的流程示意图。
如图1所示,本申请实施例的方法可以包括以下步骤:
S101,获取网络基础设施在预设时间段内的历史流量数据;
其中,流量数据是指在网络中传输的数据流量,流量数据具有一定的性质,(如波动性,周期性);流量数据预测是通过分析历史数据的周期性等性质,来预测未来一段时间内的流量数据。流量数据在智能推理场景中具有重要的作用。智能推理技术需要能够合理的预测未来的网络动态,从而能够提前推理出网络需要进行的操作。
在本申请实施例中,在进行网络资源分配时,需要获取网络基础设施在预设时间段内的历史流量数据。
S102,根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;
在本申请实施例中,在根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果时,首先将历史流量数据输入流量预测模型中进行流量预测;然后输出网络基础设施在当前时刻的下一时刻对应的流量预测结果;其中,流量预测模型为f,流量预测结果为其中,K是网络流量类型的总数,R是全体实数,T一1=i,/>是时刻i的一共K个不同种类服务的流量值或不同流量值的矩阵,i为大于等于1的自然数。
需要说明的是,在本申请中,并不作为模型的输出结果,而是作为一个中间变量再次输入到预先训练的网络资源优化模型中。由于对于所有的未来时隙T的预测方法都是一样的,后文中Dk用来表示/>流量预测的结果会作为影响凸优化问题参数的一个变量实现对未来时刻实际流量值的约束。
S103,将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;
在本申请实施例中,在生成预先训练的网络资源优化模型时,首先创建网络资源优化模型;再获取网络基础设施在一段时间的历史流量样本;然后将历史流量样本输入流量预测模型中进行预测,输出预测的未来流量数据结果;再根据未来流量数据结果,计算各项资源优化参数;其次根据各项资源优化参数,计算网络资源优化模型的模型精度;最后在模型精度到达预设阈值时,生成预先训练的网络资源优化模型。
例如图2所示,图2是本申请提供的一种面向目标驱动的系统更新参数流程图,首先获取历史数据集,然后将历史数据集输入流量预测模型中,输出该历史数据集对应的预测结果,其次基于该预测结果进行可微优化,得到优化结果,最后将优化的结果与损失函数结合,计算出模型精度,以判断模型是否训练结束。
具体的,在根据各项资源优化参数,计算网络资源优化模型的模型精度时,首先加载网络资源优化模型的模型表达式;再将未来流量数据结果与各项资源优化参数代入模型表达式中进行计算,得到每种服务的具体流量值;然后确定所述模型表达式中关于系统收益或开销的参数以及系统对流量值进行约束的参数,作为指定参数;通过OptNet模型拟合指定参数的最优结果;其次将指定参数的最优结果与未来流量数据结果代入模型表达式中进行计算,得到资源分配最优解,作为每种服务的最佳流量结果;最后基于每种服务的具体流量值及其最佳流量结果,计算网络资源优化模型的模型精度。
其中,OptNet模型提出了在一个凸优化问题中,优化问题参数同样能够随模型更新进行更新。在普通的优化问题中,通常会认为除了优化变量之外的参数为常数,从而才能使得优化问题求出最优解。而OPTNET指出,这些参数也可以视为关于前层神经网络输出变量的函数,一旦确定了这个函数或这个函数的梯度,系统就能够实现将这些参数作为神经网络其中一层的可变参数,从而实现这些参数的不断更新。与固定参数的优化问题相比,OPTNET具有更好的泛化效率以及面向目标的学习方案,更加能够适应复杂场景的需求。但是,当前并未有工作将OPTNET技术应用于网络资源优化系统上。本申请尝试将OPTNET应用于资源优化场景中,能够将该技术的对于系统灵活性以及鲁棒性的增强应用在本场景中。
具体的,网络资源优化模型的模型表达式为:
使得G(Dk)dk<h(Dk)#(3.1b)
其中,T是矩阵转置操作;Q(Dk),P(Dk),G(Dk),h(Dk)四项为优化问题参数,均可以表示为前层预测结果Dk的函数或常数,将其简记为Q,P,G,h,式中Q,P是关于系统收益或开销的参数,而G,h是系统对流量值dk进行约束的参数;
由网络资源优化模型的模型表达式可得到每种服务的具体流量值为:
x在{x|Gx<h}域内,Q,P,G,h实际上是关于Dk的函数;其中,x是自变量,T是矩阵转置操作,PT是对P的转置操作。
具体的,通过OptNet模型拟合模型表达式中指定参数的最优结果时,Q,P,G,h实际上是关于Dk的函数。在这里使用一个简单的例子来说明,可以假设Q=0,P=I,G=I,h=Dk+C。其中I表示单位矩阵,C表示某个常数。在这个例子中,为了确定这些函数关系,必须知道C的值,而OPTNET的作用就是帮助系统模型学到C的值。使用这些未知参数如C的最佳值来训练模型,使模型中的参数不断趋近于最佳的C,当系统获取到之后,就能够输出更加优秀的结果并进行部署应用。
具体的,在基于每种服务的具体流量值及其最佳流量结果,计算网络资源优化模型的模型精度时,首先计算每种服务的具体流量值及其最佳流量结果之间差值的平方,得到损失函数;然后将损失函数代入预先构建的梯度值计算表达式中,得到目标梯度值;最后根据目标梯度值,计算网络资源优化模型的模型精度。
具体的,预先构建的梯度值计算表达式的推导过程如下:
为了得到优化变量dk关于优化问题参数的梯度,需要用到拉格朗日式,拉格朗日式能够帮助找到问题(3.1)的最优解。首先列出式(3.1)的拉格朗日函数式:
其中,λ≥0是关于不等式约束的对偶变量。根据KKT条件,式(3.2)中的平稳性与松弛互补条件为:
其中,D()表示对向量转换成方形矩阵的操作。对其中的优化问题参数,优化变量以及对偶变量求得微分后可以得到关于式(3.2)的微分式:
为了简便运算,我们整理为矩阵形式如下:
根据上式,就可以得到优化变量关于各个优化问题参数的梯度。为了得到在参数更新阶段,得到关于优化层参数的梯度值,需要使用链式法则。例如,若想求得则有其中/>来自于前层的传播。而为了得到雅可比式/>首先令上式中的dh=I,并让右式中的其他微分项均为0,即可反解求出雅可比式ddk,dλ。随后,为了求出关于优化变量以及对偶变量的微分值,需要令上式中的左项的逆矩阵乘以前层传播的梯度值/>即为:
其中,分别是关于优化变量和对偶变量的微分值。为了得到优化问题参数关于损失函数的梯度值。只需根据上式反解出所需要的微分值,同时,根据式(3.2)直接对优化问题参数进行求导可知:
至此得到了损失函数关于各个优化变量的梯度值计算的表达式。各个梯度值可以用于在模型更新时,对优化问题参数进行更新,从而使得这些参数能够逐渐趋近于真实值,增加系统的泛化效率以及鲁棒性。
进一步地,在模型精度未到达预设阈值时,通过目标梯度值更新模型表达式中指定参数;继续执行获取网络基础设施在一段时间的历史流量样本的步骤,直到模型精度到达预设阈值。
例如图3所示,图3是本申请提供的模型优化的系统流程图,使用历史流量数据来对未来流量预测,再将预测结果输入固定的优化问题进行求解。而本方案考虑了预测模型可能存在的误差,以及优化问题参数未知的情况。通过OPTNET对优化问题参数进行不断的更新,能够减小预测误差带来的影响,同时解决参数未知的问题。本方案实现了面向目标驱动的鲁棒网络流量预测场景系统。机器学习预测模型与OPTNET技术结合的网络资源优化方案来解决传统方案存在的问题。实现了凸优化问题中的可变优化问题参数,能增强系统的泛化效率以及鲁棒性。
在一种可能的实现方式中,在得到网络基础设施在当前时刻的下一时刻对应的流量预测结果后,可将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解。
在本申请实施例中,对于固定的凸优化问题,本方案使用面向目标驱动的模型将其转化为具有可变参数的优化问题,使得这些参数能随机器学习模型一同更新,从而使系统达到更加优秀的泛化效率与鲁棒性。
S104,根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。
在本申请实施例中,系统对流量值进行约束的参数G和资源分配最优解的乘积就是资源分配的结果,这个结果的矩阵的每一行表示各个节点与链路的具体分配值。
例如在网络服务切片场景下的资源优化问题实验场景中,假设网络中存在着多个网络节点以及通信链路,每个节点和链路分别拥有自己的计算和通信资源。系统需要将不同的资源合理分配到每一个服务切片中。首先,给出资源优化的问题,将式(3.1)具体为:
使得
0≤dk≤Dk
其中,每个节点拥有自己的计算资源Ci,服务k的单位数据在计算节点{处的计算资源消耗密度记为每条链路拥有自己的通信资源Bi,服务k的单位数据在链路(i,j)处的通信资源消耗密度记为/>pk为每种服务单位流量为系统带来的收益值,系统需要保证所获得的总收益最大,N,E分别表示网络中所有的节点以及所有的链路。
在实验场景中,网络具有一定量的计算与通信资源。在理想状态下,将这些资源全部合理分配即可得到此网络能实现的最大通信量。而在现实中,由于模型误差以及参数的复杂性,无法实现理想状态的效果,达到的实际通信量即作为方案实现的通信量。为了衡量网络的通信效果,首先将网络通信效率定义为:
在网络资源优化分配场景下,系统需要根据网络的状况将不同的资源合理分配到各个服务或网络切片上,从而达到更高的通信效率。因此,使用通信效率这一指标来展示资源分配结果的合理程度。
图4展示了本方案与传统方案网络通信效率的对比图。实验将现有方案作为实验对比方案。对比方案使用LSTM模型进行流量预测后,将预测结果输入到简单的资源优化模型中,并从优化问题得到最终的结果。本方案同样使用LSTM模型实现预测,并在预测模型后追加了可微优化问题模型进行优化问题参数的更新。最终从优化层输出最终的资源分配结果。本文所提出的方案经过机器学习迭代之后,网络能够达到稳定和收敛,并最终将通信效率稳定在约97%,证明了本文方案是有效的。
相比于传统方案,本方案在可微优化层实现了优化参数的更新。对于复杂或难以得知全部网络参数的模型来说,可微优化层的存在能让其通过深度学习的更新过程,不断更新这些参数值,使其趋近与真实值,最终实现更好的实验效果。而传统模型中的参数无法及时更新,会导致模型的泛化效率较低。
为了衡量系统的训练效果,同时,便于系统进行训练和参数更新,需要设定合适的损失函数。其中,损失函数定义为:
其中,k表示流量种类,网络中共有K个不同种服务流量同时传输。dk,targetk分别表示对于第k个流量服务的本模型输出流量值以及通过网络最优参数计算出目标流量值。如图5所示,本文提出的方案需要在一定的迭代次数更新后,达到较低的损失函数水平。流量预测与可微优化层需要进行一定的“协商”才能达到最优的效果,因此系统需要的收敛时间更长,但由于优化层的可变参数极大增强了网络的灵活性和鲁棒性,因此得到的损失函数值更小,效果更加优秀。本系统通过将流量预测和优化问题结合起来,实现了端到端的高效深度学习模型,能够将系统的更新目标设定为场景下的系统需求。而传统方案中,由于深度学习仅仅应用在了流量预测模型上,因此并未实现端到端的学习,最终会导致系统目标与学习目标不一致,实验结果不佳。
为了展示流量预测层与可微优化层的具体关系,图6展示出了本系统中,对于不同服务的流量预测层输出流量值和真实流量值的对比。需要注意的是,这里的输出值仅仅是系统的中间值,并不是最终的输出。本实验在网络中模拟了3种不同的服务流量值对比(k=1,2,3)。可以看到,流量预测层能够较好的反映出流量随时间周期性变化的规律,并进行周期性预测。
同时,如图6A、6B、6C所示,我们使用蓝色线表示本方案在预测模块之后的流量预测值,橙色线表示传统LSTM预测模型的预测值。可以看到,相较于传统方法LSTM的预测方案,本方案在预测结果上表现得更加“激进”。特别是在服务k=2中,本方案的预测结果远大于LSTM预测结果。这是因为和LSTM传统方案相比,本方案预测的结果需要再次输入可微优化问题中,当流量值受到资源的限制时(即图6A、6B、6C中流量值较高的数据点),即使增大预测结果也不会影响优化问题的输出结果。而当流量值受到预测结果的限制时(即图6A、6B、6C中流量值较低的数据点),预测结果并不会有太大的差距。同时,本方案的系统目标值能够最大化系统收益值,最终实现端到端的学习模型。所以“激进”的预测思路能在一定程度上增强系统的收益值,而传统方案仅仅将预测准确性作为目标值,并未考虑预测模块与资源优化模块的协同问题。此外,由于可微优化层的存在,这种“激进”会使得最终的效果更为优秀,因为其更够使系统忽略流量预测层的正值误差,这些差值都会在可微优化层消失,最终得到更为优秀的仿真结果。
在本申请实施例中,首先获取网络基础设施在预设时间段内的历史流量数据;然后根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;其次将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;最后根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。由于本申请通过建立预先训练的网络资源优化模型来实现参数的逐步更新,使得模型能在随机地设定参数的前提下,经过模型的更新,最终自动收敛到优秀的参数值,从而提高了系统的泛化效率,也使系统能实现在资源优化结果处设定目标值,从而实现面向目标驱动的资源优化场景。
下述为本申请系统实施例,可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节,请参照本申请方法实施例。
请参见图7,其示出了本申请一个示例性实施例提供的网络资源分配系统的结构示意图。该网络资源分配系统可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。该系统1包括历史流量数据获取模块10、流量预测结果预测模块20、最优解输出模块30、网络资源分配模块40。
历史流量数据获取模块10,用于获取网络基础设施在预设时间段内的历史流量数据;
流量预测结果预测模块20,用于根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;
最优解输出模块30,用于将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;
网络资源分配模块40,用于根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。
需要说明的是,上述实施例提供的网络资源分配系统在执行网络资源分配方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的网络资源分配系统与网络资源分配方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,首先获取网络基础设施在预设时间段内的历史流量数据;然后根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;其次将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;最后根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。由于本申请通过建立预先训练的网络资源优化模型来实现参数的逐步更新,使得模型能在随机地设定参数的前提下,经过模型的更新,最终自动收敛到优秀的参数值,从而提高了系统的泛化效率,也使系统能实现在资源优化结果处设定目标值,从而实现面向目标驱动的资源优化场景。
本申请还提供一种计算机可读介质,其上存储有程序指令,该程序指令被处理器执行时实现上述各个方法实施例提供的网络资源分配方法。
本申请还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个方法实施例的网络资源分配方法。
请参见图8,为本申请实施例提供了一种电子设备的结构示意图。如图8所示,电子设备1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行电子设备1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储系统。如图8所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网络资源分配应用程序。
在图8所示的电子设备1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的网络资源分配应用程序,并具体执行以下操作:
获取网络基础设施在预设时间段内的历史流量数据;
根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;
将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;
根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。
在一个实施例中,处理器1001在执行根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果时,具体执行以下操作:
将历史流量数据输入流量预测模型中进行流量预测;
输出网络基础设施在当前时刻的下一时刻对应的流量预测结果;其中,
流量预测模型为f,流量预测结果为其中,K是网络流量类型的总数,R是全体实数,T-1=i,/>是时刻i的一共K个不同种类服务的流量值或不同流量值的矩阵,i为大于等于1的自然数。
在一个实施例中,处理器1001在执行获取网络基础设施在预设时间段内的历史流量数据之前时,还执行以下操作:
创建网络资源优化模型;
获取网络基础设施在一段时间的历史流量样本;
将历史流量样本输入流量预测模型中进行预测,输出预测的未来流量数据结果;
根据未来流量数据结果,计算各项资源优化参数;
根据各项资源优化参数,计算网络资源优化模型的模型精度;
在模型精度到达预设阈值时,生成预先训练的网络资源优化模型。
在一个实施例中,处理器1001在执行根据各项资源优化参数,计算网络资源优化模型的模型精度时,具体执行以下操作:
加载网络资源优化模型的模型表达式;
将未来流量数据结果与各项资源优化参数代入模型表达式中进行计算,得到每种服务的具体流量值;
确定所述模型表达式中关于系统收益或开销的参数以及系统对流量值进行约束的参数,作为指定参数;
通过OptNet模型拟合指定参数的最优结果;
将指定参数的最优结果与未来流量数据结果代入模型表达式中进行计算,得到资源分配最优解,作为每种服务的最佳流量结果;
基于每种服务的具体流量值及其最佳流量结果,计算网络资源优化模型的模型精度。
在一个实施例中,处理器1001在执行基于每种服务的具体流量值及其最佳流量结果,计算网络资源优化模型的模型精度时,具体执行以下操作:
计算每种服务的具体流量值及其最佳流量结果之间差值的平方,得到损失函数;
将损失函数代入预先构建的梯度值计算表达式中,得到目标梯度值;
根据目标梯度值,计算网络资源优化模型的模型精度。
在一个实施例中,处理器1001在执行在模型精度到达预设阈值时,生成预先训练的网络资源优化模型时,具体执行以下操作:
在模型精度未到达预设阈值时,通过目标梯度值更新模型表达式中指定参数;
继续执行获取网络基础设施在一段时间的历史流量样本的步骤,直到模型精度到达预设阈值。
在本申请实施例中,首先获取网络基础设施在预设时间段内的历史流量数据;然后根据历史流量数据,预测网络基础设施在当前时刻的下一时刻对应的流量预测结果;其次将流量预测结果输入预先训练的网络资源优化模型中,输出网络基础设施对应的资源分配最优解;最后根据资源分配最优解,对网络基础设施在当前时刻的下一时刻的网络资源进行分配。由于本申请通过建立预先训练的网络资源优化模型来实现参数的逐步更新,使得模型能在随机地设定参数的前提下,经过模型的更新,最终自动收敛到优秀的参数值,从而提高了系统的泛化效率,也使系统能实现在资源优化结果处设定目标值,从而实现面向目标驱动的资源优化场景。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,网络资源分配的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (10)
1.一种网络资源分配方法,其特征在于,所述方法包括:
获取网络基础设施在预设时间段内的历史流量数据;
根据所述历史流量数据,预测所述网络基础设施在当前时刻的下一时刻对应的流量预测结果;
将所述流量预测结果输入预先训练的网络资源优化模型中,输出所述网络基础设施对应的资源分配最优解;
根据所述资源分配最优解,对所述网络基础设施在当前时刻的下一时刻的网络资源进行分配。
2.根据权利要求1所述的方法,其特征在于,所述根据所述历史流量数据,预测所述网络基础设施在当前时刻的下一时刻对应的流量预测结果,包括:
将所述历史流量数据输入流量预测模型中进行流量预测;
输出所述网络基础设施在当前时刻的下一时刻对应的流量预测结果;其中,
所述流量预测模型为f,流量预测结果为其中,K是网络流量类型的总数,R是全体实数,T-1=i,/>是时刻i的一共K个不同种类服务的流量值或不同流量值的矩阵,i为大于等于1的自然数。
3.根据权利要求1所述的方法,其特征在于,所述获取网络基础设施在预设时间段内的历史流量数据之前,还包括:
创建网络资源优化模型;
获取网络基础设施在一段时间内的历史流量样本;
将所述历史流量样本输入流量预测模型中进行预测,输出预测的未来流量数据结果;
根据所述未来流量数据结果,计算各项资源优化参数;
根据所述各项资源优化参数,计算所述网络资源优化模型的模型精度;
在所述模型精度到达预设阈值时,生成预先训练的网络资源优化模型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述各项资源优化参数,计算所述网络资源优化模型的模型精度,包括:
加载所述网络资源优化模型的模型表达式;
将所述未来流量数据结果与所述各项资源优化参数代入所述模型表达式中进行计算,得到每种服务的具体流量值;
确定所述模型表达式中关于系统收益或开销的参数以及系统对流量值进行约束的参数,作为指定参数;
通过OptNet模型拟合所述指定参数的最优结果;
将所述指定参数的最优结果与所述未来流量数据结果代入所述模型表达式中进行计算,得到资源分配最优解,作为每种服务的最佳流量结果;
基于所述每种服务的具体流量值及其最佳流量结果,计算所述网络资源优化模型的模型精度。
5.根据权利要求4所述的方法,其特征在于,所述网络资源优化模型的模型表达式为:
使得G(Dk)dk<h(Dk)
其中,T是矩阵转置操作;Q(Dk),P(Dk),G(Dk),h(Dk)四项为优化问题参数,均表示为前层预测结果Dk的函数或常数,将其简记为Q,P,G,h,式中Q,P是关于系统收益或开销的参数,而G,h是系统对流量值dk进行约束的参数;
由所述网络资源优化模型的模型表达式得到每种服务的具体流量值为:
x在{x|Gx<h}域内,Q,P,G,h是关于Dk的函数;其中,x是自变量,T是矩阵转置操作,PT是对P的转置操作。
6.根据权利要求4所述的方法,其特征在于,所述基于所述每种服务的具体流量值及其最佳流量结果,计算所述网络资源优化模型的模型精度,包括:
计算所述每种服务的具体流量值及其最佳流量结果之间差值的平方,得到损失函数;
将所述损失函数代入预先构建的梯度值计算表达式中,得到目标梯度值;
根据所述目标梯度值,计算所述网络资源优化模型的模型精度。
7.根据权利要求6所述的方法,其特征在于,所述在所述模型精度到达预设阈值时,生成预先训练的网络资源优化模型,包括:
在所述模型精度未到达预设阈值时,通过所述目标梯度值更新所述指定参数;
继续执行所述获取网络基础设施在一段时间内的历史流量样本的步骤,直到所述模型精度到达预设阈值。
8.一种网络资源分配系统,其特征在于,所述方法包括:
历史流量数据获取模块,用于获取网络基础设施在预设时间段内的历史流量数据;
流量预测结果预测模块,用于根据所述历史流量数据,预测所述网络基础设施在当前时刻的下一时刻对应的流量预测结果;
最优解输出模块,用于将所述流量预测结果输入预先训练的网络资源优化模型中,输出所述网络基础设施对应的资源分配最优解;
网络资源分配模块,用于根据所述资源分配最优解,对所述网络基础设施在当前时刻的下一时刻的网络资源进行分配。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-7任意一项所述的方法。
10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311022412.0A CN117201308A (zh) | 2023-08-14 | 2023-08-14 | 网络资源分配方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311022412.0A CN117201308A (zh) | 2023-08-14 | 2023-08-14 | 网络资源分配方法、系统、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117201308A true CN117201308A (zh) | 2023-12-08 |
Family
ID=89000743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311022412.0A Pending CN117201308A (zh) | 2023-08-14 | 2023-08-14 | 网络资源分配方法、系统、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117201308A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117692333A (zh) * | 2024-02-02 | 2024-03-12 | 吉林省吉能电力通信有限公司 | 基于智能电网的5g网络切片系统 |
-
2023
- 2023-08-14 CN CN202311022412.0A patent/CN117201308A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117692333A (zh) * | 2024-02-02 | 2024-03-12 | 吉林省吉能电力通信有限公司 | 基于智能电网的5g网络切片系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102170105B1 (ko) | 신경 네트워크 구조의 생성 방법 및 장치, 전자 기기, 저장 매체 | |
EP3446260B1 (en) | Memory-efficient backpropagation through time | |
CN110008952B (zh) | 一种目标识别方法及设备 | |
AU2021240156B2 (en) | Quantum Control Pulse Generation Method And Apparatus, Device, And Storage Medium | |
EP4350572A1 (en) | Method, apparatus and system for generating neural network model, devices, medium and program product | |
CN114862656B (zh) | 基于多gpu的分布式深度学习模型训练代价的获取方法 | |
CN113361680A (zh) | 一种神经网络架构搜索方法、装置、设备及介质 | |
CN111126668A (zh) | 基于图卷积网络的Spark作业时间预测方法和装置 | |
CN117201308A (zh) | 网络资源分配方法、系统、存储介质及电子设备 | |
CN114330125A (zh) | 基于知识蒸馏的联合学习训练方法、装置、设备及介质 | |
JP2021504680A (ja) | コンピュータ実装方法、コンピュータ・プログラム製品および装置 | |
CN108280513B (zh) | 模型生成方法和装置 | |
CN114072809A (zh) | 经由神经架构搜索的小且快速的视频处理网络 | |
KR102153161B1 (ko) | 확률 그래프 기반의 서열 데이터 연관성 학습 방법 및 시스템 | |
CN113366510A (zh) | 经由训练的原始网络与双网络来执行多目标任务 | |
CN109711555A (zh) | 一种预测深度学习模型单轮迭代时间的方法和系统 | |
WO2022252694A1 (zh) | 神经网络优化方法及其装置 | |
WO2023086982A1 (en) | Generative wireless channel modeling | |
CN115906921A (zh) | 深度学习模型的训练方法、目标对象检测方法和装置 | |
US20230186108A1 (en) | Control device, method, and program | |
CN114238106A (zh) | 测试时间预测方法及装置、电子设备、存储介质 | |
KR20200063318A (ko) | 시간에 기초한 예측 정보를 생성하기 위한 장치 및 방법 | |
CN110633596A (zh) | 预测车辆方向角的方法和装置 | |
RU2773870C1 (ru) | Устройство для стохастического и нечёткого моделирования процесса функционирования перспективных телекоммуникационных сетей | |
JP7379300B2 (ja) | 推定装置、推定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |