CN116366453A - 异构网元业务需求表征与虚拟网元的自适应动态部署方法 - Google Patents
异构网元业务需求表征与虚拟网元的自适应动态部署方法 Download PDFInfo
- Publication number
- CN116366453A CN116366453A CN202310432369.9A CN202310432369A CN116366453A CN 116366453 A CN116366453 A CN 116366453A CN 202310432369 A CN202310432369 A CN 202310432369A CN 116366453 A CN116366453 A CN 116366453A
- Authority
- CN
- China
- Prior art keywords
- sample
- load
- node
- expressed
- network element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012512 characterization method Methods 0.000 title claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 68
- 238000013507 mapping Methods 0.000 claims abstract description 56
- 239000002245 particle Substances 0.000 claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000013508 migration Methods 0.000 claims abstract description 41
- 230000005012 migration Effects 0.000 claims abstract description 41
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 238000007637 random forest analysis Methods 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 238000009826 distribution Methods 0.000 claims abstract description 9
- 239000000523 sample Substances 0.000 claims description 186
- 230000006870 function Effects 0.000 claims description 30
- 238000003066 decision tree Methods 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 239000013074 reference sample Substances 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 238000000611 regression analysis Methods 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000036961 partial effect Effects 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 4
- 230000035772 mutation Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000368 destabilizing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007614 genetic variation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
- H04L41/0897—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities by horizontal or vertical scaling of resources, or by migrating entities, e.g. virtual resources or entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0894—Policy-based network configuration management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0895—Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种异构网元业务需求表征与虚拟网元的自适应动态部署方法,包括获取历史数据集信息,并生成分类样本矢量、业务表征矢量和资源使用矢量;基于双线性插值距离加权的KNN模型进行精细化分类,输出分类样本类别数据;基于演化算法的神经网络模型,预测初始网络资源需求;基于权重的改进随机森林回归模型,对于给定的业务,为其所有虚拟网元训练一个属性预测模型,并构建网络资源需求分布图谱;基于粒子群优化的虚拟网络映射算法,构建网络资源需求分布图谱的节点和链路,这两阶段的底层物理网络的映射模型,输出最优虚拟网络映射方案;基于负载均衡的迁移策略,优化虚拟网元动态迁移。通过本发明,能够使虚拟网元减少无效迁移。
Description
技术领域
本发明涉及信息网络技术领域,具体为一种异构网元业务需求表征与虚拟网元的自适应动态部署方法。
背景技术
网络功能虚拟化(network functionvirtualization,NFV)是未来网络领域的重要研究方向。NFV技术将网络功能软件整合部署到行业标准的服务器、交换机和存储硬件上,取代传统专用物理设备,从而达到降低成本、能耗和复杂性的目的。NFV同时具备软件与硬件解耦、灵活的网络功能部署、动态的服务提供等能力。
实现NFV的关键方法就是虚拟机部署(virtual machine placement,VMP)。VMP是指将虚拟机(virtual machine,VM)分配至物理服务器(physical server,PS)的过程。其可以理解为在云数据中心利用虚拟化技术把PS的资源抽象为对应的虚拟资源,再被分配到相互独立的VM上的过程。
虚拟机动态迁移实现了运行时虚拟机在不同主机间的在线迁移,尤其在主机处于较低负载或超载状态下时,迁移将具有诸多好处。因此,通过迁移操作会使得数据中心内的资源管理更加灵活。然而,虚拟机在线迁移对于运行在虚拟机上的应用任务的性能具有负面影响。由于在云服务提供者与其用户间提供相应的服务质量是至关重要的,所以动态虚拟机迁移应该着重考虑优化虚拟机迁移次数。
虚拟机部署时不同的部署策略会导致VM请求最终映射到不同的PS上,从而直接影响VM性能、系统的资源利用率和负载均衡值等多个指标。通常,VM部署后可以通过是否满足相应的服务等级协议(service-level agreement,SLA)来衡量部署结果。此外过高的资源占用会导致SLA违例和PS负载不均衡,而资源利用率过低又会导致大量的资源浪费和能源消耗。因此需要采用合适的虚拟网元部署即虚拟机部署方法。目前大部分虚拟网元部署算法只能针对某个目标进行优化,其次,由于不同PS之间资源属性具有差异,对于特定的VM资源请求,并不是所有的PS都可以满足。一个好的部署算法能更加全面地表征虚拟网络映射的有效性,进而提高运营商的收益,同时减少映射成本消耗。因此,目前的虚拟网元部署算法有待于进一步优化。
现有技术中,胡荣辉,王瑞通.云环境下虚拟机集群迁移策略研究[J].计算机技术与发展,2017,27(11):4,其虽然提高了系统资源利用率,降低了迁移开销,达到了降低功耗的目的,并在降低SLA违约方面有一定的改善,也避免了因多数虚拟机迁移到同一台服务器所形成的群聚效应。但是,还存在以下技术问题:
(1)只考虑了迁移调度顺序而没有量化虚拟网元具体的资源需求,最后选择的迁移调度方案还存在改良空间。
(2)只考虑了虚拟网元的初始资源需求,极少考虑到虚拟网元资源需求的动态伸缩,实际部署情况下业务运行过程中的资源使用量并不是稳定不变的。
发明内容
本发明所要解决的技术问题在于:解决现有技术没有考虑到不同物理机之间资源属性具有的差异以及实现虚拟机部署环境下网络的变化的问题。
为解决上述技术问题,本发明提供如下技术方案:
一种异构网元业务需求表征与虚拟网元的自适应动态部署方法,包括以下步骤:
S100,获取历史数据集信息,并生成分类样本矢量、业务表征矢量和资源使用矢量;
S200,对所述分类样本矢量进行简约,再对简约后的分类样本矢量进行基于双线性插值距离加权的KNN模型进行精细化分类,并输出分类样本类别数据;
S300,根据所述业务表征矢量,结合所述分类样本类别数据,并基于演化算法的神经网络模型,预测初始网络资源需求;
S400,根据所述资源使用矢量和所述分类样本类别数据,结合基于权重的改进随机森林回归模型,对于给定的业务,为其所有虚拟网元训练一个属性预测模型,聚合每个所述属性预测模型的属性预测结果,形成全网业务的虚拟网元动态属性视图;
S500,根据网络资源需求,采用深度包检测方法,提取特征信息,基于强化学习下的迁移学习,构建网络资源需求分布图谱;
S600,基于粒子群优化的虚拟网络映射算法,构建所述网络资源需求分布图谱的节点和链路,这两阶段的底层物理网络的映射模型,输出最优虚拟网络映射方案;
S700,基于负载均衡的迁移策略,优化虚拟网元动态迁移。
优点:通过基于双线性插值距离加权的KNN模型进行精细化分类,解决不同物理机之间资源属性具有差异,满足对于特定的虚拟网元的资源请求。通过从历史数据集信息中生成的动态的资源使用矢量,结合基于权重的改进随机森林回归模型,对于给定的业务,为其所有虚拟网元训练一个属性预测模型,为资源分配方式的动态调整提供依据。
在本发明的一实施例,所述并输出分类样本类别数据包括以下步骤:
S210,在简约后的分类样本矢量中,根据最多样本数类的样本数与每个少数样本类的样本数,获取样本数差额,并确定每个少数样本类所需要的插值数;
S220,对每一个少数样本类,获取其中每个样本到每个非本类样本的欧式距离之和,以及欧式距离的距离均值;
S230,对步骤S220中每一个少数样本类,获取每个样本被采样的概率;
S240,每次从所述少数样本类的样本集中选中部分参考样本,根据双线性插值法,获取对所述少数样本类进行插值的插值位置,将所述参考样本,结合所述插值数,在所述插值位置对其插值;
S250,对所述少数样本类插值完成后,获取用于分类的待测样本与训练KNN模型的训练集中的训练样本之间的距离,并按照距离递增排序,选择前k个样本,获取其距离权重;
S260,通过带所述距离权重的分类表决函数,获取所述距离权重按照类别进行归类叠加,选择叠加距离权重最大类别,输出分类类别;
其中,所述获取每个样本被采样的概率,包括以下步骤:
S231,获取少数样本类中样本到本类中其他样本的欧式距离小于所述距离均值的第一样本数;
S232,获取少数样本类中样本到非本类样本的欧式距离小于所述距离均值的第二样本数;
S233,根据所述第一样本数、所述第二样本数、本类样本权重和非本类样本权重,获取少数样本类中样本的采样权重;
S234,将所述采样权重归一化,获取所述少数样本类中每一个样本被采样的概率。
在本发明的一实施例,所述插值位置通过以下公式获取:
式中,RSSii表示为第ii次数的插值位置,dn表示为采样样本到第n个参考样本的物理距离,PiR表示为第ii次插值中的采样样本对应的第n个参考样本的特征值,d1、d2、d3、d4分别表示为第ii次插值中的采样样本到第1、2、3、4个参考样本的欧式距离;
所述距离权重通过以下公式获取:
式中,Wiii表示为距离权重,Tdiii表示为待测样本与第iii个近邻的距离,Td1表示为k近邻中最近的距离,Tdk表示为k近邻中最远的距离;
所述分类类别通过以下公式获取:
式中,cx表示为待测样本x所对应的类别,V表示为当前待测样本集合,L表示为所有样本类别集合,Nk(X)表示为样本X在训练集中k个最近邻的集合,class(cxiii)表示为训练样本xiii的类别,I(V=class(cxiii))表示为一个指数函数,当其值为真时,返回1,否则返回0。
在本发明的一实施例,所述预测初始网络资源需求包括:
S310,根据所述业务表征矢量,构造基于“输出服务质量性能-实际资源使用情况”的业务数据集样本;并将所述业务数据集样本按照一定比例分为业务数据训练集和业务数据测试集,通过训练迭代得到神经网路的最优权值和阈值;
S320,采用改进的演化算法优化神经网络,搭建基于演化算法的神经网络模型,并通过所述业务数据训练集和所述业务数据测试集对所述演化算法的神经网络模型进行训练和测试;以及训练和测试完成的演化算法的神经网络模型根据所述业务表征矢量和所述分类样本类别数据,预测初始网络资源需求;
其中,在改进的演化算法中,采用误差平方的倒数作为适应度函数,进行衡量神经网络的种群中个体适应能力的标准,其公式如下:
其中,在改进的演化算法中,将所述种群个体进行重新排序,则获取重新排序后种群中个体被选择的概率;其所述重新排序后种群中个体被选择的个体概率通过以下公式获取:
p=s(1-p0)b-1;
式中,p0表示为最优个体被选择的概率,s表示为将最优个体进行标准化后的值,p表示为重新排序后种群中个体被选择的个体概率,b表示为对种群重新排列后第N’个个体所在的位置;a表示为演化算法中种群的数量;
其中,在改进的演化算法中,迭代过程中根适应度的变化调整交叉概率的变化,则交叉概率通过以下公式获取:
式中,Pj表示为交叉概率,Pjmax表示为最大交叉概率,Pjmin表示为最小交叉概率,F表示为种群中两个进行交叉的个体的最大适应度,Fmean表示为整个种群的平均适应度,nmax表示为演化算子在工作过程中的最大迭代次数;n'表示为演化算法在当前工作过程中的迭代次数。
在本发明的一实施例,在步骤S400中,所述改进随机森林回归模型的决策树在训练阶段,评估每棵决策树的预测类性能,以及为能够准确预测少数样本的决策树的赋予更高的权重,并通过加权投票的方式获取最终的虚拟网元的动态属性预测结果;基于所述虚拟网元的动态属性预测结果,采用的回归分析的方法对不同属性进行聚合,形成全网业务的虚拟网元动态属性视图;
其中,所述虚拟网元的动态属性预测结果通过以下公式获取:
式中,H(T)表示为虚拟网元的动态属性预测结果,T为决策树的数量,I(·)为指示函数,ftt(T)为第tt棵决策树的预测结果,为运算符号,表示为两边数值进行差异比较,y”表示为真实值,ωtt为第tt棵决策树的投票权重,当决策树的预测结果为真时,指示函数的值为1,反之为0。
在本发明的一实施例,所述输出最优虚拟网络映射方案,包括:
S610,建立业务类型、时间有效性、业务优先级的多维约束条件;
S620,设定粒子群的规模数N’,算法执行的最大迭代次数MG;粒子随机生成初始位置Xi与速度Vi;
S630,计算所有粒子的适应度f(Xi),得到全局最优初始位置Xgb与每个粒子个体最优初始位置Xpb;
S640,对于满足所述多维约束条件的粒子进行速度更新和位置更新,位置更新中随机选取底层网络候选节点;对于不满足多维约束条件的粒子,重新生成其位置与速度参数;
S650,对于粒子群中的每个粒子,如果f(Xi)<f(Xpb),则Xpb=Xi;如果f(Xpb)<f(Xgb),则Xgb=Xpb;
S660,检查当前迭代次数,如果小于最大迭代次数MG,则执行步骤S640;否则,执行步骤S670;
S670,输出最优虚拟网络映射方案及其适应度值;
其中,f(Xpb)表示为每个粒子个体最优初始位置,f(Xgb)表示为全局最优初始位置的适应度。
在本发明的一实施例,对粒子群中粒子的位置和速度,定义如下:
定义1,粒子的位置:粒子的位置被定义为第i个映射方案,D表示为该虚网络请求中包含D个虚拟网络节点,/>取正整数,其值表示为第j个虚拟节点从底层网络候选节点列表中选择的底层网络节点编号,j=1,2,3......,D;
定义3,减法Θ,用于获取两种映射方案的差异;
则定义后的粒子群优化算法的位置和速度更新公式如下:
式中,Vi+1定义为第i+1个映射方案的调整决策;Xi+1定义为第i+1个映射方案;Xgb定义为邻域历史最佳位置;Xpb定义为自身历史最佳位置,P1、P2和P3为常数,且P1+P2+P3=1。
在本发明的一实施例,步骤S700包括:
S710,监控全局负载与高低负载节点的占比,动态调整状态阈值,并评估节点资源的状态,判定迁移时机;
S720,基于虚拟机和节点资源的依赖度和虚拟机贡献度选择待迁移虚拟机。
在本发明的一实施例,所述动态调整状态阈值,包括:
设置高负载比率范围(minLrh,maxLrh)和低负载比率范围(minLrl,maxLrl),以判断调整状态阈值和开启或关闭节点的时机;
式中,Thrh表示为高位阈值;Thrl表示为低位阈值;Thr′h、Thr′l分别表示调整前的高位阈值和低位阈值;τh和τl分别表示为高位和低位阈值的调节因子;Lddc表示为全局负载;Lrh表示为高负载比率;Lrl表示为为低负载比率;(ωl,ωh)表示为基于数据中心此时段历史负载度生成的负载均衡范围;
当Lddc<ωl且Lrl>maxLrl时,数据中心负载度偏低,此时需要选择需要进行迁移操作的部分轻载节点,在轻载节点完成迁移操作后会关闭该节点;
当Lddc>ωh且Lrh>maxLrh时,数据中心负载度偏高,此时开启一个新的节点;
评估节点资源的状态时,采用乘积指数加权法对m期内的负载进行评估,乘积指数加权法公式如下:
式中,xt为第t期负载,wt为第t期权重系数;若此时为负载过载评估,则T1为负载超过高位阈值的期数,T2为负载低于高位阈值的期数;若为负载轻载评估,则T1为负载值低于低位阈值的期数,T2为负载值高于低位阈值的期数;y表示为节资源的状态。
在本发明的一实施例,所述判定迁移时机,包括:
S711,收集各节点负载信息,获取监测时间内全局负载度与高低负载节点占比,判断是否需要更新状态阈值,是则转步骤S712,否则转步骤S713。
S712,分析全局负载与高低负载节点的占比,调整并更新状态阈值。
S713,根据状态阈值,分别判断各节点负载状态;若节点负载指标高于高位阈值,开启该节点该负载指标过载评估,转步骤S714;若节点负载度低于低位阈值,开启该节点负载度轻载评估,转步骤S715;均未达到低位阈值和高位阈值要求为适载节点,则转步骤S717;
S714,对节点超过高位阈值的负载指标进行m期的查询并计算其评估值,若评估值达到过载要求,则判断此节点为该指标类型过载,根据更新高负载节点矩阵;转步骤S713,继续循环;
S715,对负载度低于低位阈值的节点进行m期的负载度查询并计算其评估值,若m期内评估值均达到轻载要求,则判断此节点轻载节点,加入低负载节点列表,转步骤S713,继续循环;
S716,将低负载节点列表按负载度升序,结合全局负载度,判断是否在负载均衡范围中,若Lddc<ωl,则计算待迁移操作的轻载节点集合,若Lddc>ωh且Lrh>maxLrh,则启用一个节点;
S717,输出高负载节点矩阵与低负载节点矩阵。
与现有技术相比,本发明的有益效果是:考虑到不同物理机之间资源属性具有差异,并不是所有的物理机都可以满足对于特定的虚拟网元的资源请求,因此利用基于双线性插值距离加权的KNN模型进行了精细化业务分类,进而基于演化算法的神经网络模型的神经网络生成了初始网络资源需求模型。考虑现实虚拟机部署环境下网络的变化,针对实际运行过程中资源使用量的动态伸缩,使用基于权重的改进随机森林回归模型生成了虚拟网元动态属性预测模型,为资源分配方式的动态调整提供依据。
附图说明
图1为本发明实施例的一种异构网元业务需求表征与虚拟网元的自适应动态部署方法的流程图。
图2为本发明实施例的输出分类样本类别数据的流程图。
图3为本发明实施例的获取每个样本被采样的概率的流程图。
图4为本发明实施例的预测初始网络资源需求的流程图。
图5为本发明实施例的输出最优虚拟网络映射方案的流程图。
图6为本发明实施例的优化虚拟网元动态迁移的流程图。
具体实施方式
为便于本领域技术人员理解本发明技术方案,现结合说明书附图对本发明技术方案做进一步的说明。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
请参阅图1所示,本发明提供一种异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,包括以下步骤:
S100,获取历史数据集信息,并生成分类样本矢量、业务表征矢量和资源使用矢量。
其中,通过分析历史业务流量的DNS(DomainName System,DNS)、NTP(NetworkTime Protocol,NTP)请求数量、包长、包数、时间间隔等统计特征属性,生成历史数据的矢量空间模型,作为分类样本矢量。从业务服务质量需求以及业务在接入网、传输网、核心网侧的资源需求出去,获取表征业务的多维矢量,即业务表征矢量。资源使用矢量为,因为网络波动等原因,从历史数据集信息中生成的资源使用动态矢量,具体的为业务需求特征、虚拟网元属性、虚拟网元历史资源使用情况-虚拟网元动态属性。
S200,对所述分类样本矢量进行简约,再对简约后的分类样本矢量进行基于双线性插值距离加权的KNN模型进行精细化分类,并输出分类样本类别数据。
其中,基于运用启发信息的样本粗糙集简约方法,对分类样本矢量进行简约。多标记学习把属性集能清楚地将样本分在每一个标记类别中的能力,通过多标记学习中邻域粗糙集的下近似的形式表示。考虑到样本复杂、信息冗余度高会带来维数灾难的问题,因此需要对分类样本矢量进行简约。扩展邻域粗糙集特征选择方法,将其适用于多标记数据。具体的,如B是A的一个属性约简。如果特征A’加入属性集B后,决策属性对条件属性B的依赖度没有发生变化,即特征A’的重要度为0,说明A’在B中可去掉。在此基础上,使用前向贪心约简算法迭代地选择具有最大重要度的特征,当属性的加入不再影响分类精度时算法终止。
请参阅图1至图3所示,在本发明的一实施例中,本步骤采用基于双线性插值距离加权的KNN模型对业务进行精细化分类,即基于双线性插值距离加权的KNN算法。KNN算法即为K最邻近(K-NearestNeighbor)分类算法。
传统的KNN模型,可能出现数据集中较多的其他类别的样本特征进入最近邻范围,而同一种类型样本特征进入最近邻范围的较少,导致分类结果错误。因此,基于双线性插值距离加权的KNN模型可以弥补数据采集过程中引起的误差扰动导致的样本识别错误问题。具体的,所述并输出分类样本类别数据包括以下步骤:
S210,在简约后的分类样本矢量中,根据最多样本数类的样本数与每个少数样本类的样本数,获取样本数差额,并确定每个少数样本类所需要的插值数。
S220,对每一个少数样本类,获取其中每个样本到每个非本类样本的欧式距离之和,以及欧式距离的距离均值。
其步骤S220中,所述欧式距离之和通过以下公式获取:
其步骤S220中,所述欧氏距离的距离均值,通过以下公式获取:
式中,xi'表示为少数样本类中的第i'个样本,n”表示为少数样本类中的样本数,m'表示为非少数样本类的样本数,Ei'表示为欧式距离之和,Emean表示为距离均值,yj'表示为非少数样本类的第j'个样本;
S230,对步骤S220中每一个少数样本类,获取每个样本被采样的概率。
其中,所述获取每个样本被采样的概率,包括以下步骤:
S231,获取少数样本类中样本到本类中其他样本的欧式距离小于所述距离均值的第一样本数。
S232,获取少数样本类中样本到非本类样本的欧式距离小于所述距离均值的第二样本数。
S233,根据所述第一样本数、所述第二样本数、本类样本权重和非本类样本权重,获取少数样本类中样本的采样权重。
其中,所述采样权重,通过以下公式获取:
P'i=ki1×wi1+ki2×wi2;
式中,P'i表示为采样权重,ki1表示为第一样本数,ki2表示为第二样本数,wi1表示为本类样本权重,wi2表示为非本类样本权重。在本实施例中,wi1设置为0.3,wi2设置为0.7。
S234,将所述采样权重归一化,获取所述少数样本类中每一个样本被采样的概率。
S240,每次从所述少数样本类的样本集中选中部分参考样本,根据双线性插值法,获取对所述少数样本类进行插值的插值位置,将所述参考样本,结合所述插值数,在所述插值位置对其插值。
其中,所述插值位置通过以下公式获取:
式中,RSSii表示为第ii次数的插值位置,dn表示为采样样本到第n个参考样本的物理距离,PiR表示为第ii次插值中的采样样本对应的第n个参考样本的特征值,d1、d2、d3、d4分别表示为第ii次插值中的采样样本到第1、2、3、4个参考样本的欧式距离。在本实施例中,将其欧式距离最近的4个同类样本作为参考样本。
S250,对所述少数样本类插值完成后,获取用于分类的待测样本与训练KNN模型的训练集中的训练样本之间的距离,并按照距离递增排序,选择前k个样本,获取其距离权重。
其中,所述距离权重通过以下公式获取:
式中,Wiii表示为距离权重,Tdiii表示为待测样本与第iii个近邻的距离,Td1表示为k近邻中最近的距离,Tdk表示为k近邻中最远的距离。
S260,通过带所述距离权重的分类表决函数,获取所述距离权重按照类别进行归类叠加,选择叠加距离权重最大类别,输出分类类别;
所述分类类别通过以下公式获取:
式中,cx表示为待测样本x所对应的类别,V表示为当前待测样本集合,L表示为所有样本类别集合,Nk(X)表示为样本X在训练集中k个最近邻的集合,表示为训练样本xiii的类别,/>表示为一个指数函数,当其值为真时,返回1,否则返回0。即计算选出的K个近邻的数据中多数属于某个类,则判断待测样本该类。其输出的分类类别即为基于双线性插值距离加权的KNN模型输出的类别。arg max表示为一个函数。
S300,根据所述业务表征矢量,结合所述分类样本类别数据,并基于演化算法的神经网络模型,预测初始网络资源需求。
请参阅图1和图4所示,在本发明的一实施例中,通过结合机器学习方法对历史资源消耗数据集进行特征挖掘,刻画业务资源需求的数学表达,建立差异化业务需求的表征体系。在天地融合网络业务部署的初始阶段,根据每类业务预定义的资源需求量进行资源预留,基于精准刻画面向业务服务质量要求的资源需求特征进行网络资源预留,避免过量或过小的资源预留导致的资源浪费或业务性能下降。将业务对网络资源需求的数学表达转化为一个多元非线性回归分析问题,基于演化算法的神经网络模型,模拟业务服务质量需求指标与网络资源需求的复杂非线性关系。具体的,所述预测初始网络资源需求包括:
S310,根据所述业务表征矢量,构造基于“输出服务质量性能-实际资源使用情况”的业务数据集样本;并将所述业务数据集样本按照一定比例分为业务数据训练集和业务数据测试集,通过训练迭代得到神经网路的最优权值和阈值。通过训练迭代得到神经网路的最优权值和阈值,提高神经网络的预测精度。
S320,采用改进的演化算法优化神经网络,搭建基于演化算法的神经网络模型,并通过所述业务数据训练集和所述业务数据测试集对所述演化算法的神经网络模型进行训练和测试;以及训练和测试完成的演化算法的神经网络模型根据所述业务表征矢量和所述分类样本类别数据,预测初始网络资源需求。
①初始化种群:随机生成一定数量的个体作为初始种群,通常是通过随机生成一些参数或者实例来实现的。
②评价适应度:对于每个个体,根据其所代表的问题的特定目标函数或性能指标进行评估,得到其适应度值。
③选择个体:根据适应度值对种群中的个体进行选择,通常采用轮盘赌选择、竞争选择、排序选择等多种选择算法。
④变异操作:通过对某些个体进行基因变异操作,引入一定的随机性和多样性,以避免陷入局部最优解。
⑤交叉操作:对于被选择的个体,通过交叉操作来产生新的后代个体,从而实现遗传信息的交流和组合。
⑥更新种群:通过选择、变异、交叉等操作,产生一定数量的后代个体,并将其加入到种群中,以更新种群。
⑦终止条件检测:重复步骤②-⑥,检测是否达到了预设的终止条件,如达到了最大迭代次数、目标函数值达到一定阈值等。
⑧输出结果:输出最优解或最优解集合,或者对最优解进行解释和可视化展示。
个体是演化算法中的搜索粒子,粒子的位置就是代表着一个解集,即神经网络的权重矩阵和偏置矩阵。通过演化算法不断迭代,最终确定一个最优粒子,即对应一个最优解集。迭代的过程就是交叉、变异,就是下面介绍的改进的交叉、变异方式。
本步骤采用改进的演化算法优化神经网络,搭建基于演化算法的神经网络模型,并用业务数据训练集和所述业务数据测试集对所述演化算法的神经网络模型进行训练和测试。而基础的深度神经网络通过采用误差逆向传播算法进行学习训练,它的结构简单,可塑性强,且拥有较强的数据拟合能力。深度神经网络主要包含输入层、隐含层和输出层,在训练过程中,神经网络不断调整输入层与隐含层以及隐含层和输出层之间的权值和阈值,当神经网络输出值与目标值一致或者达到选代次数时训练停止,这种神经网络拥有较强的泛化能力。
本步骤采用演化算法中的遗传算法来替代BP算法,通过演化算法优化深度神经网络。演化算法是根据大自然中生物体进化规律而设计提出的,工作原理是首先对输入数据进行编码,之后通过一定的概率进行选择、交叉和变异运算直到选择出适应度最大的个体作为目标值输出,之后停止运算。
其中,在改进的演化算法中,采用误差平方的倒数作为适应度函数,进行衡量神经网络的种群中个体适应能力的标准,其公式如下:
传统的演化算法在工作过程中种群的个体被选中的概率是随机的,这种选择方式很有可能丢掉最优个体,在实际的运算过程中会产生较大的误差。因此,在本实施例中,选择算子进行改进,将所述种群个体进行重新排序,则获取重新排序后种群中个体被选择的概率。其所述重新排序后种群中个体被选择的个体概率通过以下公式获取:
p=s(1-p0)b-1;
式中,p0表示为最优个体被选择的概率,s表示为将最优个体进行标准化后的值,p表示为重新排序后种群中个体被选择的个体概率,b表示为对种群重新排列后第N”个个体所在的位置,a表示为演化算法中种群的数量。
传统的演化算法在工作过程中一般会将交叉概率设为0.3-0.8之间的一个常数。在运算过程中,交叉概率设置过高会提高演化算法的全局搜索能力,但染色体的适应能力会有所下降,而交叉概率设置得过低会降低演化算法的全局搜索能力和收敛速度。在改进的演化算法中,对交叉算子进行改进,迭代过程中根适应度的变化调整交叉概率的变化,则交叉概率通过以下公式获取:
式中,Pj表示为交叉概率,Pjmax表示为最大交叉概率,Pjmin表示为最小交叉概率,F表示为种群中两个进行交叉的个体的最大适应度,Fmean表示为整个种群的平均适应度,nmax表示为演化算子在工作过程中的最大迭代次数,n'表示为演化算法在当前工作过程中的迭代次数。在本实施例中,在演化算法的初始化时,可以将最大交叉概率设置为0.8,最小交叉概率设置为0.3。
在本步骤中,所采用的深度神经网络的参数为:网络层数为5层,隐藏层节点数为100个,学习率为0.001,批次大小为64,迭代次数为200。
S400,根据所述资源使用矢量和所述分类样本类别数据,结合基于权重的改进随机森林回归模型,对于给定的业务,为其所有虚拟网元训练一个属性预测模型,聚合每个所述属性预测模型的属性预测结果,形成全网业务的虚拟网元动态属性视图。
其中,将业务需求特征融入基于权重的决策树的最佳特征值选择的过程,提高预测的精确度。传统的随机森林不加以区分的对待所有的决策树,导致预测性能不同的决策树具有相同的投票权重。为了提高随机森林对少数类样本的预测能力,现提出一种基于权重的改进随机森林回归模型,所述改进随机森林回归模型的决策树在训练阶段,评估每棵决策树的预测类性能,以及为能够准确预测少数样本的决策树的赋予更高的权重,并通过加权投票的方式获取最终的虚拟网元的动态属性预测结果。并基于所述虚拟网元的动态属性预测结果,采用的回归分析的方法对不同属性进行聚合,形成全网业务的虚拟网元动态属性视图,以为资源分配方式的动态调整提供依据。
其中,所述虚拟网元的动态属性预测结果通过以下公式获取:
式中,H(T)表示为虚拟网元的动态属性预测结果,T为决策树的数量,I(·)为指示函数,ftt(T)为第tt棵决策树的预测结果,为运算符号,表示为两边数值进行差异比较,y”表示为真实值,ωtt为第tt棵决策树的投票权重,当决策树的预测结果为真时,指示函数的值为1,反之为0。在本实施例中,若/>两边数值差异y”小于的0.5%,则判定ftt(T)的预测值符合真实值。
假设TP表示将稳定样本判别为稳定样本,FN表示将稳定样本判别为失稳样本,FP表示将失稳样本判别为稳定样本,TN表示将失稳样本判别为失稳样本。则在本实施例中,使用每棵决策树对失稳样本预测的精确率Pre和召回率Rec的调和平均值F1作为该树的权重,将每棵树的投票权值ωt定义为:
F1越大,表明该决策树对少数类样本的预测性能越好。
S500,根据网络资源需求,采用深度包检测方法,提取特征信息,基于强化学习下的迁移学习,构建网络资源需求分布图谱。
其中,天地融合网络非平稳传输环境下全网资源需求复杂,导致网元部署困难,因此需要构建网络资源需求分布图谱,对全局网络视图进行实时监控。基于计算资源、路由资源、端口资源等网络资源需求的特征数据,采用深度包检测等方法,提取特征信息。基于强化学习下的迁移学习,先在小样本源域训练网络,其次逐层对网络中每个节点的权重进行微调,然后冻结网络部分层参数,最后更新网络局部层和全连接层,实现目标域的学习,提升算法在少量样本情况下的特征提取能力,实现全网资源动态精准感知。
S600,基于粒子群优化的虚拟网络映射算法,构建所述网络资源需求分布图谱的节点和链路,这两阶段的底层物理网络的映射模型,输出最优虚拟网络映射方案。
请参阅图1和图5所示,在本发明的一实施例中,所述输出最优虚拟网络映射方案,包括:
S610,建立业务类型、时间有效性、业务优先级的多维约束条件。
在本实施例中,利用粒子群优化算法进行优化,解决虚拟网络映射问题,提高虚拟网络映射请求接受率与底层网络长期平均运营收益,同时降低虚拟网络映射的求解时间。具体的,包括:
S620,设定粒子群的规模数N’,算法执行的最大迭代次数MG,粒子随机生成初始位置Xi与速度Vi。
S630,计算所有粒子的适应度f(Xi),得到全局最优初始位置Xgb与每个粒子个体最优初始位置Xpb。
S640,对于满足所述多维约束条件的粒子进行速度更新和位置更新,位置更新中随机选取底层网络候选节点。对于不满足多维约束条件的粒子,重新生成其位置与速度参数。
S650,对于粒子群中的每个粒子,如果f(Xi)<f(Xpb),则Xpb=Xi。如果f(Xpb)<f(Xgb),则Xgb=Xpb。
S660,检查当前迭代次数,如果小于最大迭代次数MG,则执行步骤S640,否则,执行步骤S670。
S670,输出最优虚拟网络映射方案及其适应度值。
其中,f(Xpb)表示为每个粒子个体最优初始位置,f(Xgb)表示为全局最优初始位置的适应度。
在步骤S600中,粒子群优化算法将适应度函数标记为f(X),位置向量X表示可能的映射方案。适应度函数的计算过程中将先检查多维约束条件。如果该映射方案可行,则f(X)的值表示虚拟网络映射的开销.如果该映射方案不可行,则f(X)的值被设置为+∞。
其中,利用聚集策略计算粒子的适应度函数,采用线性规划求解得出最终映射方案。由此解决天地融合网络差异化业务需求下的多目标优化问题,优化了业务需求和资源约束条件下的虚拟网元部署。
具体的,对粒子群中粒子的位置和速度进行具体的定义,定义如下:
定义1,粒子的位置:粒子的位置被定义为第i个映射方案,D表示为该虚网络请求中包含D个虚拟网络节点,/>取正整数,其值表示为第j个虚拟节点从底层网络候选节点列表中选择的底层网络节点编号,j=1,2,3......,D。
定义2,粒子的速度:粒子的速度被定义为第i个映射方案的调整决策,其中,/>表示为第j个虚拟节点从底层网络候选节点列表中选择的节点映射,j=1,2,3......,D。其中/>是一个的二进制变量,如果/>表示第j个虚拟节点需要从它的底层网络候选节点列表中重新选择节点映射。
定义3,减法Θ,用于获取两种映射方案的差异。例如,CΘD,则若映射方案C和映射方案在同一维上具有相同的值,则两者的差值结果为1,否则为0。
则定义后的粒子群优化算法的位置和速度更新公式如下:
式中,Vi+1定义为第i+1个映射方案的调整决策;Xi+1定义为第i+1个映射方案;Xgb定义为邻域历史最佳位置;Xpb定义为自身历史最佳位置,P1、P2和P3为常数,且P1+P2+P3=1。
Xi定义为第i个映射方案,Vi定义为第i个映射方案的调整决策。
S700,基于负载均衡的迁移策略,优化虚拟网元动态迁移。
请参阅图1和图6所示,在本发明的一实施例中,使用基于负载均衡的虚拟网元动态迁移策略,在保证服务质量前提下减少无效迁移,改善数据中心的负载均衡能力。本步骤使用的动态迁移方法为主流的内存预拷贝方法。具体的,包括:
S710,监控全局负载与高低负载节点的占比,动态调整状态阈值,并评估节点资源的状态,判定迁移时机。
S720,基于虚拟机和节点资源的依赖度和虚拟机贡献度选择待迁移虚拟机。
其中,所述动态调整状态阈值,包括:
设置高负载比率范围(minLrh,maxLrh)和低负载比率范围(minLrl,maxLrl),以判断调整状态阈值和开启或关闭节点的时机。
式中,Thrh表示为高位阈值,Thrl表示为低位阈值,Thr′h、Thr′l分别表示调整前的高位阈值和低位阈值,τh和τl分别表示为高位和低位阈值的调节因子,Lddc表示为全局负载,Lrh表示为高负载比率,Lrl表示为为低负载比率。(ωl,ωh)表示为基于数据中心此时段历史负载度生成的负载均衡范围,此范围内数据中心负载度为适宜的。
当Lddc<ωl且Lrl>maxLrl时,数据中心负载度偏低,此时需要选择需要进行迁移操作的部分轻载节点,在轻载节点完成迁移操作后会关闭该节点。
当Lddc>ωh且Lrh>maxLrh时,数据中心负载度偏高,此时开启一个新的节点。
考虑到节点负载变化时会出现短时间内的负载抖动现象产生负载瞬时值,影响迁移触发时机的判断,因此采用乘积指数加权法对m期内的负载进行评估。则有:
评估节点资源的状态时,采用乘积指数加权法对m期内的负载进行评估,乘积指数加权法公式如下:
式中,xt为第t期负载,wt为第t期权重系数,若此时为负载过载评估,则T1为负载超过高位阈值的期数,T2为负载低于高位阈值的期数,若为负载轻载评估,则T1为负载值低于低位阈值的期数,T2为负载值高于低位阈值的期数;y表示为节资源的状态。
请参阅图1和图6所示,在本发明的一实施例中,所述判定迁移时机,包括:
S711,收集各节点负载信息,获取监测时间内全局负载度与高低负载节点占比,判断是否需要更新状态阈值,是则转步骤S712,否则转步骤S713。
S712,分析全局负载与高低负载节点的占比,调整并更新状态阈值。
S713,根据状态阈值,分别判断各节点负载状态;若节点负载指标高于高位阈值,开启该节点该负载指标过载评估,转步骤S714,若节点负载度低于低位阈值,开启该节点负载度轻载评估,转步骤S715,均未达到低位阈值和高位阈值要求为适载节点,则转步骤S717。
S714,对节点超过高位阈值的负载指标进行m期的查询并计算其评估值,若评估值达到过载要求,则判断此节点为该指标类型过载,根据更新高负载节点矩阵,转步骤S713,继续循环。
S715,对负载度低于低位阈值的节点进行m期的负载度查询并计算其评估值,若m期内评估值均达到轻载要求,则判断此节点轻载节点,加入低负载节点列表,转步骤S713,继续循环;
S716,将低负载节点列表按负载度升序,结合全局负载度,判断是否在负载均衡范围中,若Lddc<ωl,则计算待迁移操作的轻载节点集合,若Lddc>ωh且Lrh>maxLrh,则启用一个节点;
S717,输出高负载节点矩阵与低负载节点矩阵。
在步骤S720中,待迁移虚拟机的选择即可描述为节点迁移走某虚拟机后过载资源回到适载范围,即不超过此资源类型的高位阈值。待迁移虚拟机选择包括:根据节点评估得到的高负载节点列表,获取高负载节点信息,根据此节点过载类型,获取一次迁移可使得该节点解除过载情况的待筛选虚拟机集合,获取待筛选虚拟机集合中各虚拟机的此类资源依赖度,并按递减排序,获取各虚拟机的内存带宽比和负载贡献度,选择虚拟机作为待迁移虚拟机并计算其资源比,加入迁移虚拟机列表,根据虚拟机与目的节点的资源匹配度与迁移代价选择目的节点,实现对高负载与低负载节点的虚拟机动态调整。而目的节点选择包括:根据节点评估得到的适载节点列表,由负载度递增排序,得到待选节点列表,获取待选节点列表计算虚拟机与节点的匹配度,并按递减排序,按照匹配度顺序分别计算迁移代价,选取匹配度高且迁移代价最小的节点为目的节点。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内,不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
以上所述实施例仅表示发明的实施方式,本发明的保护范围不仅局限于上述实施例,对于本领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明保护范围。
Claims (10)
1.一种异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,包括以下步骤:
S100,获取历史数据集信息,并生成分类样本矢量、业务表征矢量和资源使用矢量;
S200,对所述分类样本矢量进行简约,再对简约后的分类样本矢量进行基于双线性插值距离加权的KNN模型进行精细化分类,并输出分类样本类别数据;
S300,根据所述业务表征矢量,结合所述分类样本类别数据,并基于演化算法的神经网络模型,预测初始网络资源需求;
S400,根据所述资源使用矢量和所述分类样本类别数据,结合基于权重的改进随机森林回归模型,对于给定的业务,为其所有虚拟网元训练一个属性预测模型,聚合每个所述属性预测模型的属性预测结果,形成全网业务的虚拟网元动态属性视图;
S500,根据网络资源需求,采用深度包检测方法,提取特征信息,基于强化学习下的迁移学习,构建网络资源需求分布图谱;
S600,基于粒子群优化的虚拟网络映射算法,构建所述网络资源需求分布图谱的节点和链路,这两阶段的底层物理网络的映射模型,输出最优虚拟网络映射方案;
S700,基于负载均衡的迁移策略,优化虚拟网元动态迁移。
2.根据权利要求1所述的异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,所述并输出分类样本类别数据包括以下步骤:
S210,在简约后的分类样本矢量中,根据最多样本数类的样本数与每个少数样本类的样本数,获取样本数差额,并确定每个少数样本类所需要的插值数;
S220,对每一个少数样本类,获取其中每个样本到每个非本类样本的欧式距离之和,以及欧式距离的距离均值;
S230,对步骤S220中每一个少数样本类,获取每个样本被采样的概率;
S240,每次从所述少数样本类的样本集中选中部分参考样本,根据双线性插值法,获取对所述少数样本类进行插值的插值位置,将所述参考样本,结合所述插值数,在所述插值位置对其插值;
S250,对所述少数样本类插值完成后,获取用于分类的待测样本与训练KNN模型的训练集中的训练样本之间的距离,并按照距离递增排序,选择前k个样本,获取其距离权重;
S260,通过带所述距离权重的分类表决函数,获取所述距离权重按照类别进行归类叠加,选择叠加距离权重最大类别,输出分类类别;
其中,所述获取每个样本被采样的概率,包括以下步骤:
S231,获取少数样本类中样本到本类中其他样本的欧式距离小于所述距离均值的第一样本数;
S232,获取少数样本类中样本到非本类样本的欧式距离小于所述距离均值的第二样本数;
S233,根据所述第一样本数、所述第二样本数、本类样本权重和非本类样本权重,获取少数样本类中样本的采样权重;
S234,将所述采样权重归一化,获取所述少数样本类中每一个样本被采样的概率。
3.根据权利要求2所述的异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,所述插值位置通过以下公式获取:
式中,RSSii表示为第ii次数的插值位置,dn表示为采样样本到第n个参考样本的物理距离,PiR表示为第ii次插值中的采样样本对应的第n个参考样本的特征值,d1、d2、d3、d4分别表示为第ii次插值中的采样样本到第1、2、3、4个参考样本的欧式距离;
所述距离权重通过以下公式获取:
式中,Wiii表示为距离权重,Tdiii表示为待测样本与第iii个近邻的距离,Td1表示为k近邻中最近的距离,Tdk表示为k近邻中最远的距离;
所述分类类别通过以下公式获取:
4.根据权利要求1所述的异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,所述预测初始网络资源需求,包括:
S310,根据所述业务表征矢量,构造基于“输出服务质量性能-实际资源使用情况”的业务数据集样本;并将所述业务数据集样本按照一定比例分为业务数据训练集和业务数据测试集,通过训练迭代得到神经网路的最优权值和阈值;
S320,采用改进的演化算法优化神经网络,搭建基于演化算法的神经网络模型,并通过所述业务数据训练集和所述业务数据测试集对所述演化算法的神经网络模型进行训练和测试;以及训练和测试完成的演化算法的神经网络模型根据所述业务表征矢量和所述分类样本类别数据,预测初始网络资源需求;
其中,在改进的演化算法中,采用误差平方的倒数作为适应度函数,进行衡量神经网络的种群中个体适应能力的标准,其公式如下:
其中,在改进的演化算法中,将所述种群个体进行重新排序,则获取重新排序后种群中个体被选择的概率;其所述重新排序后种群中个体被选择的个体概率通过以下公式获取:
p=s(1-p0)b-1;
式中,p0表示为最优个体被选择的概率,s表示为将最优个体进行标准化后的值,p表示为重新排序后种群中个体被选择的个体概率,b表示为对种群重新排列后第N’个个体所在的位置;a表示为演化算法中种群的数量;
其中,在改进的演化算法中,迭代过程中根适应度的变化调整交叉概率的变化,则交叉概率通过以下公式获取:
式中,Pj表示为交叉概率,Pjmax表示为最大交叉概率,Pjmin表示为最小交叉概率,F表示为种群中两个进行交叉的个体的最大适应度,Fmean表示为整个种群的平均适应度,nmax表示为演化算子在工作过程中的最大迭代次数;n'表示为演化算法在当前工作过程中的迭代次数。
5.根据权利要求1所述的异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,在步骤S400中,所述改进随机森林回归模型的决策树在训练阶段,评估每棵决策树的预测类性能,以及为能够准确预测少数样本的决策树的赋予更高的权重,并通过加权投票的方式获取最终的虚拟网元的动态属性预测结果;基于所述虚拟网元的动态属性预测结果,采用的回归分析的方法对不同属性进行聚合,形成全网业务的虚拟网元动态属性视图;
其中,所述虚拟网元的动态属性预测结果通过以下公式获取:
6.根据权利要求1所述的异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,所述输出最优虚拟网络映射方案,包括:
S610,建立业务类型、时间有效性、业务优先级的多维约束条件;
S620,设定粒子群的规模数N’,算法执行的最大迭代次数MG;粒子随机生成初始位置Xi与速度Vi;
S630,计算所有粒子的适应度f(Xi),得到全局最优初始位置Xgb与每个粒子个体最优初始位置Xpb;
S640,对于满足所述多维约束条件的粒子进行速度更新和位置更新,位置更新中随机选取底层网络候选节点;对于不满足多维约束条件的粒子,重新生成其位置与速度参数;
S650,对于粒子群中的每个粒子,如果f(Xi)<f(Xpb),则Xpb=Xi;如果f(Xpb)<f(Xgb),则Xgb=Xpb;
S660,检查当前迭代次数,如果小于最大迭代次数MG,则执行步骤S640;否则,执行步骤S670;
S670,输出最优虚拟网络映射方案及其适应度值;
其中,f(Xpb)表示为每个粒子个体最优初始位置,f(Xgb)表示为全局最优初始位置的适应度。
7.根据权利要求6所述的异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,对粒子群中粒子的位置和速度,定义如下:
定义1,粒子的位置:粒子的位置被定义为第i个映射方案,D表示为该虚网络请求中包含D个虚拟网络节点,/>取正整数,其值表示为第j个虚拟节点从底层网络候选节点列表中选择的底层网络节点编号,j=1,2,3......,D;
定义3,减法Θ,用于获取两种映射方案的差异;
则定义后的粒子群优化算法的位置和速度更新公式如下:
式中,Vi+1定义为第i+1个映射方案的调整决策;Xi+1定义为第i+1个映射方案;Xgb定义为邻域历史最佳位置;Xpb定义为自身历史最佳位置,P1、P2和P3为常数,且P1+P2+P3=1。
8.根据权利要求1所述的异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,步骤S700包括:
S710,监控全局负载与高低负载节点的占比,动态调整状态阈值,并评估节点资源的状态,判定迁移时机;
S720,基于虚拟机和节点资源的依赖度和虚拟机贡献度选择待迁移虚拟机。
9.根据权利要求8所述的异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,所述动态调整状态阈值,包括:
设置高负载比率范围(minLrh,maxLrh)和低负载比率范围(minLrl,maxLrl),以判断调整状态阈值和开启或关闭节点的时机;
式中,Thrh表示为高位阈值;Thrl表示为低位阈值;Thr′h、Thr′l分别表示调整前的高位阈值和低位阈值;τh和τl分别表示为高位和低位阈值的调节因子;Lddc表示为全局负载;Lrh表示为高负载比率;Lrl表示为为低负载比率;(ωl,ωh)表示为基于数据中心此时段历史负载度生成的负载均衡范围;
当Lddc<ωl且Lrl>maxLrl时,数据中心负载度偏低,此时需要选择需要进行迁移操作的部分轻载节点,在轻载节点完成迁移操作后会关闭该节点;
当Lddc>ωh且Lrh>maxLrh时,数据中心负载度偏高,此时开启一个新的节点;
评估节点资源的状态时,采用乘积指数加权法对m期内的负载进行评估,乘积指数加权法公式如下:
式中,xt为第t期负载,wt为第t期权重系数;若此时为负载过载评估,则T1为负载超过高位阈值的期数,T2为负载低于高位阈值的期数;若为负载轻载评估,则T1为负载值低于低位阈值的期数,T2为负载值高于低位阈值的期数;y表示为节资源的状态。
10.根据权利要求9所述的异构网元业务需求表征与虚拟网元的自适应动态部署方法,其特征在于,所述判定迁移时机,包括:
S711,收集各节点负载信息,获取监测时间内全局负载度与高低负载节点占比,判断是否需要更新状态阈值,是则转步骤S712,否则转步骤S713。
S712,分析全局负载与高低负载节点的占比,调整并更新状态阈值。
S713,根据状态阈值,分别判断各节点负载状态;若节点负载指标高于高位阈值,开启该节点该负载指标过载评估,转步骤S714;若节点负载度低于低位阈值,开启该节点负载度轻载评估,转步骤S715;均未达到低位阈值和高位阈值要求为适载节点,则转步骤S717;
S714,对节点超过高位阈值的负载指标进行m期的查询并计算其评估值,若评估值达到过载要求,则判断此节点为该指标类型过载,根据更新高负载节点矩阵;转步骤S713,继续循环;
S715,对负载度低于低位阈值的节点进行m期的负载度查询并计算其评估值,若m期内评估值均达到轻载要求,则判断此节点轻载节点,加入低负载节点列表,转步骤S713,继续循环;
S716,将低负载节点列表按负载度升序,结合全局负载度,判断是否在负载均衡范围中,若Lddc<ωl,则计算待迁移操作的轻载节点集合,若Lddc>ωh且Lrh>maxLrh,则启用一个节点;
S717,输出高负载节点矩阵与低负载节点矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310432369.9A CN116366453A (zh) | 2023-04-18 | 2023-04-18 | 异构网元业务需求表征与虚拟网元的自适应动态部署方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310432369.9A CN116366453A (zh) | 2023-04-18 | 2023-04-18 | 异构网元业务需求表征与虚拟网元的自适应动态部署方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116366453A true CN116366453A (zh) | 2023-06-30 |
Family
ID=86909188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310432369.9A Pending CN116366453A (zh) | 2023-04-18 | 2023-04-18 | 异构网元业务需求表征与虚拟网元的自适应动态部署方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116366453A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116719614A (zh) * | 2023-08-11 | 2023-09-08 | 中国电信股份有限公司 | 虚拟机监视器选择方法、装置、计算机设备和存储介质 |
CN116805926A (zh) * | 2023-08-21 | 2023-09-26 | 上海飞旗网络技术股份有限公司 | 网络业务类型识别模型训练方法、网络业务类型识别方法 |
CN117149293A (zh) * | 2023-10-30 | 2023-12-01 | 北京谷器数据科技有限公司 | 一种操作系统个性化配置方法 |
CN117707742A (zh) * | 2024-02-05 | 2024-03-15 | 山东省计算中心(国家超级计算济南中心) | 基于负载预测的能耗均衡作业调度方法及系统 |
-
2023
- 2023-04-18 CN CN202310432369.9A patent/CN116366453A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116719614A (zh) * | 2023-08-11 | 2023-09-08 | 中国电信股份有限公司 | 虚拟机监视器选择方法、装置、计算机设备和存储介质 |
CN116805926A (zh) * | 2023-08-21 | 2023-09-26 | 上海飞旗网络技术股份有限公司 | 网络业务类型识别模型训练方法、网络业务类型识别方法 |
CN116805926B (zh) * | 2023-08-21 | 2023-11-17 | 上海飞旗网络技术股份有限公司 | 网络业务类型识别模型训练方法、网络业务类型识别方法 |
CN117149293A (zh) * | 2023-10-30 | 2023-12-01 | 北京谷器数据科技有限公司 | 一种操作系统个性化配置方法 |
CN117149293B (zh) * | 2023-10-30 | 2024-01-23 | 北京谷器数据科技有限公司 | 一种操作系统个性化配置方法 |
CN117707742A (zh) * | 2024-02-05 | 2024-03-15 | 山东省计算中心(国家超级计算济南中心) | 基于负载预测的能耗均衡作业调度方法及系统 |
CN117707742B (zh) * | 2024-02-05 | 2024-05-24 | 山东省计算中心(国家超级计算济南中心) | 基于负载预测的能耗均衡作业调度方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116366453A (zh) | 异构网元业务需求表征与虚拟网元的自适应动态部署方法 | |
CN117539726B (zh) | 绿色智算中心能效优化方法及系统 | |
JP6756048B2 (ja) | コンピュータリソースのための予測的資産最適化 | |
Sui et al. | Virtual machine scheduling strategy based on machine learning algorithms for load balancing | |
CN108734355A (zh) | 一种应用于电能质量综合治理场景的短期电力负荷并行预测方法及系统 | |
CN113114722B (zh) | 一种基于边缘网络的虚拟网络功能迁移方法 | |
Makhlughian et al. | Web service selection based on ranking of qos using associative classification | |
Sriramulugari et al. | Exploring mobility and scalability of cloud computing servers using logical regression framework | |
CN115099133B (zh) | 一种基于tlmpa-bp的集群系统可靠性评估方法 | |
CN115115389B (zh) | 一种基于价值细分和集成预测的快递客户流失预测方法 | |
CN114500561B (zh) | 电力物联网网络资源分配决策方法、系统、设备及介质 | |
CN117971173A (zh) | 基于物联网的智慧数据汇聚软件系统 | |
Babayigit et al. | Deep learning for load balancing of SDN‐based data center networks | |
Karthikeyan et al. | COSCO2: AI‐augmented evolutionary algorithm based workload prediction framework for sustainable cloud data centers | |
Mahan et al. | A novel resource productivity based on granular neural network in cloud computing | |
Ahmed et al. | Network-aware SDN load balancer with deep active learning based intrusion detection model | |
JP2021005387A (ja) | コンピュータリソースのための予測的資産最適化 | |
CN112380006A (zh) | 一种数据中心资源分配方法及装置 | |
Huang et al. | A novel approach for energy consumption management in cloud centers based on adaptive fuzzy neural systems | |
CN114385359B (zh) | 一种物联网云边端任务时序协同方法 | |
CN111327494B (zh) | 一种多域sdn网络流量态势评估方法及系统 | |
Gunavathie et al. | Traffic-aware optimal routing in software defined networks by predicting traffic using neural network | |
Geng et al. | Adaptive and Low-cost Traffic Engineering based on Traffic Matrix Classification | |
Mirtaheri et al. | An Ant-colony Based Model for Load Balancing in Fog Environments | |
Zhang et al. | Multi-objective optimization algorithm based on improved particle swarm in cloud computing environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |