CN113347027A - 一种面向网络虚拟孪生的虚拟实例放置方法 - Google Patents
一种面向网络虚拟孪生的虚拟实例放置方法 Download PDFInfo
- Publication number
- CN113347027A CN113347027A CN202110571675.1A CN202110571675A CN113347027A CN 113347027 A CN113347027 A CN 113347027A CN 202110571675 A CN202110571675 A CN 202110571675A CN 113347027 A CN113347027 A CN 113347027A
- Authority
- CN
- China
- Prior art keywords
- network
- physical
- virtual
- cloud
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004088 simulation Methods 0.000 claims abstract description 130
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 85
- 238000012360 testing method Methods 0.000 claims abstract description 68
- 238000005265 energy consumption Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 239000000126 substance Substances 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000005314 correlation function Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000005094 computer simulation Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 10
- 239000003016 pheromone Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000012795 verification Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 235000006629 Prosopis spicigera Nutrition 0.000 description 1
- 240000000037 Prosopis spicigera Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000005574 cross-species transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
该发明公开了一种面向网络虚拟孪生的虚拟实例放置方法,基于云计算的网络仿真测试中虚拟实例放置的技术领域。在传统的网络仿真虚拟机放置算法中并未考虑到节点之间的相互作用关系,但实际上如果未考虑节点之前的内部关系,单纯根据传统负载均衡思想进行构建的网络节点与物理机的映射关系对特定仿真场景的仿真精度影响较大。在实际的虚拟实例放置策略中需要将彼此流量较大的拓扑相邻节点尽量放置在同一台物理主机中,防止其仿真精度由于跨物理主机而受到限制。本文创新性的提出了基于网络仿真测试云的虚拟实例放置策略。本策略紧密结合网络孪生的业务特点,提高了基于网络仿真测试云的网络孪生精度以及各类资源的利用率,并降低了系统能耗。
Description
技术领域
本发明属于基于云计算的网络仿真测试中虚拟实例放置的技术领域,特别是涉及一种基于网络节点分类的虚拟实例放置策略。
背景技术
云计算技术作为一种完全基于互联网的计算模式,内部包含大量资源供客户实时高效调用。其中计算资源在整个资源系统中处于核心地位,是保证服务质量,维持高效计算能力的关键。计算资源从原子性角度分析,包括了云计算系统中的物理机等所有硬件资源以及虚拟机中的通过软件模拟生成的硬件资源,网络资源等。
面对如此庞大的资源池,如何合理调度分配这些资源是关键问题。云系统中经常引入负载均衡算法平衡负载与系统资源。不过目前的负载均衡算法应用粒度较大,并未较好地结合云计算各类业务特点进行算法设计,所以研究负载均衡算法在某些特定应用场景下的定向优化便显得格外有意义。实现负载均衡的关键是要优化虚拟机与物理机的对应关系:即虚拟机放置。网络仿真测试云是作者团队自研的基于云计算的网络仿真系统,可用于网络虚拟孪生:即利用网络仿真测试云虚拟复现真实网络拓扑等。网络仿真测试云中包含大量资源,能否做到在整个仿真系统资源均衡利用的基础上提高网络仿真测试云仿真精度,将直接取决于网络仿真测试云是否具有与仿真应用场景高度自洽的虚拟实例放置策略。
发明内容
网络仿真测试云在搭建之初,目标即为精准仿真孪生各类实际网络场景,因此其具有很强的业务场景特殊性。作为基于云计算系统的网络仿真平台,与其他云计算架构平台类似,均需要整个系统的负载均衡。在传统的网络仿真虚拟机放置算法中并未考虑到节点之间的相互作用关系,但实际上如果未考虑节点之前的内部关系,单纯根据传统负载均衡思想进行构建的网络节点与物理机的映射关系对特定仿真场景的仿真精度影响较大。换而言之,在保证整个网络仿真测试云负载均衡的前提下,应将待仿真网络节点之间的相互作用关系纳入到虚拟机放置算法当中,从而进一步提高仿真精度。
本发明技术方案为一种面向网络虚拟孪生的虚拟机放置方法,该方法包括:
步骤1:建立基于网络仿真测试云的网络孪生系统模型;设网络仿真云平台部署在n台物理机上,其中每台物理机表示为pj,1≤j≤n;网络仿真测试云平台执行某次云仿真任务时,物理主机pj上部署的所有虚拟机之和为VJ={v1,v2,v3,…vi};
步骤2:计算基于网络仿真测试云的网络孪生系统能耗;在确定物理机pj在特定情况下的功率表达式后,在给定时间段t0~t1,整个天地一体化网络仿真云平台的能耗f1(X)为:
其中,X为矩阵(Xij)m×n表示天地一体化网络仿真云平台中m台虚拟机与n台物理机之间的映射关系;Xij的值域为{0,1},X=1表示云平台中的第i台虚拟机部署在第j台物理机之上,反之,X=0则表示没有这种映射关系,物理机pj在时间段t0~t1之间的能耗为:
步骤3:建立匹配度矩阵M;
M=(mij)m×n矩阵表示虚拟机vi与vj之间的匹配度,mij=1,表示虚拟机vi与vj之间的的理论业务流量大于设定的阈值,否则mij=0;
其中,w为加权指数用于改变算法的模糊程度,Distance(vi,pj)表示虚拟机vi以及物理机pj之间的资源相适应性距离,其计算公式见下:
表示物理主机发生资源利用不均的概率,满足正太分布特点。r(vi,pj)为相关函数,取值范围在正负一之间。代表虚拟机vi请求的r类资源,代表虚拟机vi请求资源的平均值。代表物理机具有的第r类资源的剩余值,则代表物理机剩余资源的平均值。
在步骤3建立匹配度矩阵M中,mij=1的前提下,再用模糊隶属度函数计算虚拟机vi与vj对于同一物理机pk的模糊隶属函数差值的绝对值函数,该函数取值应越小越优,见式(6):
步骤5:计算基于网络仿真测试云的网络孪生系统平均服务质量f3(X);
步骤6:基于网络仿真测试云的网络孪生系统资源利用率进行优化;
计算仿真平台发生资源利用不均时的代价Tj;
其中:代表的是物理机pj内部的h类资源剩余率,将物理主机的资源配置抽象为集合HR={cpu,mem.bw},即分别代表着cpu、内存以及网卡带宽资源。构建整个网络仿真平台的资源利用率优化目标函数f4(X)为:
步骤7:在完成步骤4-7的构建之后,网络仿真云虚拟实例放置多目标优化模型描述为:
minF(X)=(f1(X),f2(X),f3(X),f4(X)) (10)
其中,两个约束条件分别表示:一台虚拟机能且仅能放置在一台物理主机上;部署在某一台物理机上的虚拟机可能消耗的第h类资源不能超过该物理机上第h类资源的总容量;
步骤8:采用多目标求解算法对步骤7得到的目标优化模型进行求解,输出各虚拟机放置位置。
本文将采用业界较为成熟,经过稳定优化的NSGA-II算法对基于多目标优化的虚拟机放置问题进行求解。另外,在实际的算法流程中还将引入经典的蚁群算法来及时更新迭代信息素,加速算法准确拟合,并最终得到虚拟机与物理机的放置映射矩阵。本发明以依据网络仿真测试云的网络孪生系统为主体,从网络仿真测试云中虚拟实例的放置策略入手进行了改进,创新性的将网络仿真测试云的实际承接业务特点融入到了虚拟实例放置策略中。具体而言,即在设计网络仿真测试云虚拟实例放置策略时,除了统筹各类资源利用率、能耗、SLA平均违背率的平衡统一,还将具体仿真拓扑中各个节点之间的关系纳入了考察范围。在实际的网络拓扑中,各个节点之间的流量差异巨大,例如某些相邻的center节点之间流量将远远大于相邻的edge节点。网络仿真测试云既然承接了仿真实际网络拓扑的业务需求,便需要拥有足够的仿真精度。由于物理因素限制,流量较大的相邻节点被放置在仿真测试云中的同一台物理节点中和不同的物理节点中,仿真效果差异较大。为了提高仿真测试云的仿真精度,在实际的虚拟实例放置策略中需要将彼此流量较大的拓扑相邻节点尽量放置在同一台物理主机中,防止其仿真精度由于跨物理主机而受到限制。本文所研虚拟实例放置算法融合了上述思想,并继承了经典虚拟机放置算法中的各类负载均衡策略,创新性的提出了基于网络仿真测试云的虚拟实例放置策略。本策略紧密结合网络孪生的业务特点,提高了基于网络仿真测试云的网络孪生精度以及各类资源的利用率,并降低了系统能耗。
附图说明
图1为本发明的网络节点分类示意图。
图2为NSGA-II算法的基本流程。
图3为本发明虚拟实例策略与其他两种策略的CPU利用率对比。
图4为本发明虚拟实例策略与其他两种策略的MEM利用率对比。
图5为本发明虚拟实例策略与其他两种策略的BW利用率对比。
图6为本发明虚拟实例策略与其他两种策略的能耗对比。
图7为本发明虚拟实例策略与其他两种策略的平均SLA违背率对比。
图8为本发明虚拟实例策略创新性验证。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明:
一种基于网络节点分类的面向网络虚拟孪生的虚拟实例放置策略,具体步骤如下:
步骤1:通过理论公式推导出基于网络仿真测试云的网络孪生节点分类的出发点。网络仿真测试云中节点类型复杂,可作用仿真场景丰富多样,在不同的实际作用场景中,节点链路的拓扑结构是截然不同的。那么在网络节点拓扑连接方式一定的情况下,采用不同的虚拟机放置方式必定会导致不同的仿真效果(注:这里的仿真效果主要是指仿真精度)。这主要是由于不同的虚拟机放置方法将会导致网络仿真测试云中网络资源的耗费情况不同,即网络成本不同。本文所提网络成本,将分为两点组成。首先是网络中可使用的容量(称为容量成本),另一部分是流量超过实际容量而溢出所产生的惩罚(称为溢出成本)。在同一台物理机内部不存在流量溢出的概念,所以这里的流量溢出仅仅针对物理服务器之间。
同样的,网络测试云中的溢出成本可以表示为:
另外,在网络仿真中,衡量仿真效果的参数有很多,其中就有一项为仿真网络节点平均路径长度,其定义如下:
其中N代表的是仿真网络的实际规模,主要为仿真网络的节点数量。而dij则代表的是节点i与节点j之间的实际传输消耗时间,即为节点i与节点j之间的物理距离与传输速率的比值。值得一提的是,在其他因素不变的情况下,L越大,仿真效果越差,且仿真成本越高。而dij的变化波动则直接取决于不同网络节点在网络仿真测试云中被放置的物理距离以及不同节点之间的流量大小差异。
步骤2:根据理论公式推导,得出节点分类模型。通过上述论证可以发现,网络仿真测试云中的节点之间的流量变化对整个系统的网络资源耗费影响明显。从而,本文所研网络仿真测试云节点分类建模将以节点之间的网络流量大小为基本出发点。为了将上述论证进一步具象化,将网络仿真测试云中的几类节点大致抽象概括如下图所示。值得一提的是,这里的模型拓扑并非代表真实仿真网络中的拓扑,仅仅是为了更加直观的凸显各类节点的特点而已,和真实网络拓扑结构不存在一一对应关系。
在图1所示的Edge、general、center三种类型节点中,相邻的center节点之间的网络流量理论上将大于相邻的edge节点。所以,将两个相邻的center节点放置于同一物理主机内的节点交互效果将优于放置于不同的物理机内,详细验证见上一章节的对比试验。换而言之,在网络仿真云平台中,为进一步优化仿真效果,并节省硬件资源,提高整体资源利用度,理想情况下,相邻的edge、general、center节点被放置在同一台物理主机内的优先级应该是逐级递增的。为简化问题分析,方便模型的建立,利用M=(mij)m×n矩阵表示虚拟机vi与vj之间的匹配度。mij=1,表明虚拟机vi与vj之间的匹配度为1,即二者为相邻的center节点;反之如果mij=0,则表明虚拟机vi与vj之间的匹配度较弱,即二者为相邻的edge或general节点。值得注意的是,匹配度越高,虚拟机vi与vj被共同放置于同一物理主机pj中的优先级越高,即概率越大。
网络仿真测试云仿真业务场景并不固定,在不同的业务场景中,各类节点承担的业务角色不同,节点之间的流量吞吐差别较大。所以针对不同的仿真场景,将会根据具体的业务特点,对仿真拓扑中的各类节点按照本文所研节点模型进行具体地划分。更进一步而言,网络仿真测试云面向的业务场景客制化程度非常高,需要按照用户的客制化规则来具体划分节点类型。
步骤3:建立基于网络仿真测试云的网络孪生系统模型。假设网络仿真云平台部署在n台物理机上,其中每台物理机表示为pj(1≤j≤n)。网络仿真测试云平台执行某次云仿真任务时,物理主机pj上部署的所有虚拟机之和为VJ={v1,v2,v3,…vj}。至于在云平台中的二层交换机,物理网线等硬件设施,在建模时可忽略不计入且影响较小。
为进一步优化模型,将物理主机的资源配置抽象为集合HR={cpu,mem.bw},即分别代表着cpu、内存以及网卡带宽资源。为了方便模型的求解,本文将不考虑物理机上常驻进程的影响,某台物理机的全部资源使用量是部署在该台物理主机上的所有虚拟机的资源请求量之和。于是,物理主机pj的某类特定资源的资源使用率可表示为下式:
可以看到,上式是线性拟合后的等价关系式。
步骤4:定义基于网络仿真测试云的网络孪生系统能耗。在确定物理机pj在特定情况下的功率表达式后,根据能耗公式,在某一给定时间段t0~t1,整个天地一体化网络仿真云平台的能耗可定义为下式:
其中,X为矩阵(Xij)m×n表示天地一体化网络仿真云平台中m台虚拟机与n台物理机之间的映射关系。Xij的值域为{0,1},X=1表示云平台中的第i台虚拟机部署在第j台物理机之上;反之,X=0则表示没有这种映射关系。主机pj在时间段t0~t1之间的能耗为:
步骤5:基于模糊隶属度的虚拟机集群内部相互作用关系模型建立。模糊C-均值聚类算法(Fuzzy C-means Clustering,FCM)将模糊数学理论应用于样本的聚类计算中。FCM算法使用模糊逻辑重新定义了样本到聚类簇之间的隶属关系。将样本与聚类簇之间的相关程度,称为隶属度。隶属度的取值在[0,1]之间,隶属度取值越靠近1,代表此该样本隶属于该聚类簇的程度越高,反之,隶属度取值越靠近0,则表示该样本属于该聚类簇的程度越低。用于计算样本与聚类簇之间隶属度的函数称为隶属度函数。在FCM算法中,样本与聚类簇的模糊关系通常通过计算隶属度矩阵得到了定量的分析。下面将利用模糊隶属度思想,在完成虚拟机集群内部匹配度建模的基础上,建立虚拟机与物理主机之间的隶属关系函数。如式(12)所示,通过模糊隶属度函数计算虚拟机vj隶属于物理机pj的程度:
其中,w为加权指数用于改变算法的模糊程度,Distance(vi,pj)表示虚拟机vi以及物理机pj之间的资源相适应性距离,其计算公式见下:
表示物理主机发生资源利用不均的概率,满足正太分布特点。r(vi,pj)为相关函数,取值范围在正负一之间。代表虚拟机vi请求的r类资源,代表虚拟机vi请求资源的平均值。代表物理机具有的第r类资源的剩余值,则代表物理机剩余资源的平均值。
w取值一般为[1.5,2.5],本文设置为2。在上文中提到匹配度越高,虚拟机vi与vk被共同放置于同一物理主机pj中的优先级越高,即概率越大。那么,如果再用模糊隶属度函数来分析上述问题,即可转换为虚拟机vi与vk对于同一物理机pj的模糊隶属函数差值的绝对值函数,该函数取值应越小越优,见式(15):
步骤6:定义基于网络仿真测试云的网络孪生系统平均服务服务质量。网络仿真测试云作为一款云计算服务平台,其核心旨在为用户提供稳定高效的网络仿真服务,那么提供服务的具体质量当然也应该被纳入虚拟机实例放置目标函数定义的考虑之中。服务.水平.协议(Service Level Agreement,SLA)可用来规定服务提供和享受服务的双方对服务质量的实际需求。换而言之,该协议是服务双方就服务质量达成的共识协议。所以,在云计算系统中,SLA的概念也尤为重要。该协议决定着云服务提供方应该为客户提供怎样的服务质量,应该如何保证整个云计算平台的高可用性。当然,云计算场景复杂多样,所以具体的SLA协议商定内容也是不尽相同,但是SLA协议的核心就是要为保证云计算平台的性能能够达到客户预期。网络仿真测试云作为云计算的一个典型应用场景,其SLA协议的定义与大部分云计算平台保持一致,一般而言可用SLA平均违背率函数来表示,见式16。
通过上述公式可以明显看出,随着物理机cpu利用率的增加,整个网络仿真测试云的SLA将会随之下降,即过高的负载终将带来较低的SLA服务质量。
步骤7:定义基于网络仿真测试云的网络孪生系统资源利用率优化函数。承担网络节点仿真任务的虚拟机放置于平台中的物理主机上并正常运行时,可能发生各类资源利用不均的情况。当这种情况发生时,势必会造成整个网络仿真平台负载不均衡。为抽象表示可能发生的这种状况,可用Tj表征仿真平台发生此问题时的代价:
其中:代表的是物理主机pj内部的h类资源剩余率,将物理主机的资源配置抽象为集合HR={cpu,mem.bw},即分别代表着cpu、内存以及网卡带宽资源。从而构建整个网络仿真平台的资源利用率优化目标函数如下:
步骤8:在完成步骤4-7的构建之后,网络仿真云虚拟实例放置多目标优化模型可描述为:
minF(X)=(f1(X),f2(X),f3(X),f4(X)) (19)
其中,两个约束条件分别代表着:1.一.台虚拟机能且仅能放置在一.台物理主机上;2.部署在某一台物理机上的虚拟机可能消耗的第h类资源.不.能.超过该物理机上第h类资源的总容量。
从而上述问题被归递成了多目标优化的问题模型。在实际的生产生活中,多目标优化问题很难像单目标优化那样快速准确地得出一个绝对最优解,而往往是得出一个Pareto解集。本文将采用业界较为成熟,经过稳定优化的NSGA-II算法对基于多目标优化的虚拟机放置问题进行求解,其算法流程见图2。另外,在实际的算法流程中还将引入经典的蚁群算法来及时更新迭代信息素,加速算法准确拟合。
将利用业界优秀的多目标优化函数求解算法NSGA-II对本专利所提模型进行求解,并创新性地引入蚁群算法加速NSGA-II算法迭代收敛速度。具体而言,本专利所设计的网络仿真测试云虚拟机实例放置策略属典型的多目标优化问题,此问题在利用NSGA-II算法求解时,可引入经典蚁群算法中的信息素矩阵将迭代过程中获得的历史经验进行保留,从而让NSGA-II算法加快收敛速度,并进一步提高算法的准确性。
在经典的蚁群算法中,一般而言,会依照下述公式规则对蚁群信息素τij进行更新:
其中,p称之为挥发因子。
在式20中,权重参数为权重参数是用来管理第t-1次迭代之后所积累的信息素与后一次迭代产生的信息素混合更新的配比关系;整个网络仿真测试云的最大能耗为信息素的更新公式实质其实可以理解为是动态规划算法中的状态转移公式,假设经过第t次迭代后,得到的虚拟机与实体物理机之间的最优映射矩阵X*。如果vi被放置于物理主机pj之上,即x*,i,j=1,那么需要对进行更新,反之则无需对前一次迭代过程中的信息素值进行任何改变。
根据NSGA-II算法的特点以及本专利中建立的模型,在基于NSGA-II算法的虚拟机放置算法流程的基础上进一步得到算法简要求解过程的伪代码如下所示:
其中输入参数主要分为三项:承接具体仿真业务的虚拟机矩阵V、网络仿真测试云中的物理机集群矩阵P、以及表示虚拟机vi与vj之间的匹配度的M=(mij)m×n矩阵。而算法流程的输出为虚拟机与网络仿真测试云中实体物理节点之间的匹配映射关系矩阵Xij:
实施例
本专利所涉及实验的目的是初步验证本文所研虚拟实例放置算法的准确性。在本章节中将在64位Windwos平台上利用JAVA语言基于CloudSim模拟器模拟网络仿真测试云硬件环境,并通过修改CloudSim的一些核心类将所研虚拟实例放置算法织入其中。具体地,实验平台软硬件配置如表4-1。因为CloudSim可以轻松地仿真出网络仿真测试云所依赖的多机部署的云环境,所以只需一台高性能物理机即可进行算法的初步验证实验。
表1实验物理主机配置
本文涉及的实验将检查仿真平台对CPU资源的平均利用率,对内存资源的平均利用率以及对带宽资源的平均利用率。本文提到的算法涉及虚拟机内部交互对虚拟机放置的影响,因此,还将研究这一点的实际效果。同时,将计算仿真平台的能耗和SLA平均违规率。平均SLA违反率表示虚拟机所需资源与实际资源与实际所需资源之差的比率,可以反映仿真平台的整个理论仿真质量。SLA计算公式如下:
本专利涉及的实验均为对比实验。将本专利的虚拟机放置算法与OpenStack虚拟机放置算法和传统的先到先服务算法FIFS进行比较。该实验分为6个组,每组中的虚拟机数量以50台的步频速率增加。虚拟机数量的增加代表了网络仿真测试云面临的实际业务场景的动态扩展。每组实验都测试了CPU,MEM和BW资源利用率十次,具体实验结果见图3至图8。
从图2、3以及4中可以清楚地看出,网络仿真测试云(NEC)虚拟机放置算法(以下简称NEC-VMOC)的平均资源利用率优于OpenStack原生虚拟机放置算法(以下简称OpenStack)和FIFS算法。随着虚拟机数量的增加,即NEC平台的仿真负载增加,NEC-VMOC算法各种资源的利用率稳步提高。OpenStack和FIFS算法存在一些波动,这表明它们的算法在稳定性和持久性方面存在某些缺陷,因为以上两种算法均未对网络仿真测试云这种特殊的应用场景进行优化,具体而言就是未在虚拟机放置算法中考虑到不同的虚拟机节点之间的关联关系。值得注意的是,在将虚拟机内部的交互关系添加到虚拟机放置算法后,整个NEC的带宽利用率有了明显提高,与实验预期相符。虚拟机跨主机和同主机的网络性能对比可以查看前置实验的证明。
另外,当虚拟机数量超过350个时,NEC-VMOC算法所部署的网络仿真测试云平台的CPU利用率变化基本持平,不再显着上升,甚至可能有所下降。这说明该算法与能量消耗和资源利用的协调统一有关,也从侧面说明了多目标优化算法的实际可行性。
在能耗方面,如图4-5所示,NEC-VMOC算法也优于OpenStack和FIFS。随着虚拟机数量的增加,能耗将不可避免地增加。可以看出,在这三种算法中,FIFS算法具有最大的能耗。因为FIFS算法与降低能耗的想法并不协调,而是仅遵循先到先得的原则。OpenStack原生算法加入了当前物理机器资源的评估过程,因此降低了能耗。NEC-VMOC算法在算法设计之初就考虑了最低能耗的基本思想,并被设定为多目标优化的目标之一,因此降低能耗的效果最为明显,从最终的多组实验结果中也可看出。
前文中提到SLA的平均违反率代表NEC的服务质量。NEC-VMOC算法保证了服务质量,同时尽可能降低了能耗。如图4-6所示,当虚拟机数量为50时,这三种算法的平均SLA违反率相差不大,都在10%左右。但是,随着虚拟机数量的增加,OpenStack原生算法和FIFS的平均SLA违规率逐渐超过12%,而NEC-VMOC则基本上保持在12%左右。可以看出,NEC-VMOC算法同时考虑了能耗和所提供仿真服务的服务质量。
NEC-VMOC算法创新地将虚拟机的内部关系引入虚拟机放置算法。为了直接验证这一点,本文还测试了两个拓扑相邻的中央节点(虚拟机)被放置在同一物理机中的比例。如图4-7所示,当要模拟的网络中的网络节点数为50时,对应的虚拟机为50。这时,在三种算法中,拓扑中相邻的两个中央节点(虚拟机)以相似的比例放置在同一台物理计算机上。随着模拟网络节点数量的增加,NEC-VMOC逐渐扩大了与其他两种算法的差距。拓扑中彼此相邻的两个中央节点(虚拟机)更多地位于同一物理机中,从而提高了整体NEC诸如带宽等网络资源的利用率,满足算法的设计预期。
通过与OpenStack原生虚拟机放置算法和FIFS算法的比较实验,表明本文所研算法在各类资源利用和能耗方面明显优于以上对比实验中的两种算法,并且在不同的仿真场景中,本文所研算法对场景的适配度要优于以上两种算法。下一章节的研究主要为以下两个方面:首先,算法将部署在实际的网络仿真测试云平台上进行验证,替换掉原生底层OpenStack的虚拟机调度算法,并根据替换效果进行进一步优化。其次将会构建网络仿真测试云各类资源利用率以及虚拟实例放置情况的可视化平台,以便更好地管理网络仿真测试云资源。
Claims (1)
1.一种面向网络虚拟孪生的虚拟机放置方法,该方法包括:
步骤1:建立基于网络仿真测试云的网络孪生系统模型;设网络仿真云平台部署在n台物理机上,其中每台物理机表示为pj,1≤j≤n;网络仿真测试云平台执行某次云仿真任务时,物理主机pj上部署的所有虚拟机之和为VJ={v1,v2,v3,…vi};
步骤2:计算基于网络仿真测试云的网络孪生系统能耗;在确定物理机pj在特定情况下的功率表达式后,在给定时间段t0~t1,整个天地一体化网络仿真云平台的能耗f1(X)为:
其中,X为矩阵(Xij)m×n表示天地一体化网络仿真云平台中m台虚拟机与n台物理机之间的映射关系;Xij的值域为{0,1},X=1表示云平台中的第i台虚拟机部署在第j台物理机之上,反之,X=0则表示没有这种映射关系,物理机pj在时间段t0~t1之间的能耗为:
步骤3:建立匹配度矩阵M;
M=(mij)m×n矩阵表示虚拟机vi与vj之间的匹配度,mij=1,表示虚拟机vi与vj之间的的理论业务流量大于设定的阈值,否则mij=0;
其中,w为加权指数用于改变算法的模糊程度,Distance(vi,pj)表示虚拟机vi以及物理机pj之间的资源相适应性距离,其计算公式见下:
表示物理主机发生资源利用不均的概率,满足正太分布特点。r(vi,pj)为相关函数,取值范围在正负一之间。代表虚拟机vi请求的r类资源,代表虚拟机vi请求资源的平均值。代表物理机具有的第r类资源的剩余值,则代表物理机剩余资源的平均值;
在步骤3建立匹配度矩阵M中,mij=1的前提下,再用模糊隶属度函数计算虚拟机vi与vj对于同一物理机pk的模糊隶属函数差值的绝对值函数,该函数取值应越小越优,见式(6):
步骤5:计算基于网络仿真测试云的网络孪生系统平均服务质量f3(X);
步骤6:基于网络仿真测试云的网络孪生系统资源利用率进行优化;
计算仿真平台发生资源利用不均时的代价Tj;
其中:代表的是物理机pj内部的h类资源剩余率,将物理主机的资源配置抽象为集合HR={cpu,mem.bw},即分别代表着cpu、内存以及网卡带宽资源;构建整个网络仿真平台的资源利用率优化目标函数f4(X)为:
步骤7:在完成步骤4-7的构建之后,网络仿真云虚拟实例放置多目标优化模型描述为:
minF(X)=(f1(X),f2(X),f3(X),f4(X)) (10)
其中,两个约束条件分别表示:一台虚拟机能且仅能放置在一台物理主机上;部署在某一台物理机上的虚拟机可能消耗的第h类资源不能超过该物理机上第h类资源的总容量;
步骤8:采用多目标求解算法对步骤7得到的目标优化模型进行求解,输出各虚拟机放置位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110571675.1A CN113347027B (zh) | 2021-05-25 | 2021-05-25 | 一种面向网络虚拟孪生的虚拟实例放置方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110571675.1A CN113347027B (zh) | 2021-05-25 | 2021-05-25 | 一种面向网络虚拟孪生的虚拟实例放置方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113347027A true CN113347027A (zh) | 2021-09-03 |
CN113347027B CN113347027B (zh) | 2022-10-14 |
Family
ID=77471279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110571675.1A Expired - Fee Related CN113347027B (zh) | 2021-05-25 | 2021-05-25 | 一种面向网络虚拟孪生的虚拟实例放置方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113347027B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113794732A (zh) * | 2021-09-22 | 2021-12-14 | 上海观安信息技术股份有限公司 | 一种部署仿真网络环境的方法、装置、设备及存储介质 |
CN114615150A (zh) * | 2022-03-22 | 2022-06-10 | 新华三技术有限公司 | 一种仿真网络生成方法和装置 |
CN115051926A (zh) * | 2022-06-22 | 2022-09-13 | 烽火通信科技股份有限公司 | 一种数字孪生架构、模型评价体系以及模型运行方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103399496A (zh) * | 2013-08-20 | 2013-11-20 | 中国能源建设集团广东省电力设计研究院 | 智能电网海量实时数据负载仿真测试云平台及其测试方法 |
CN105227344A (zh) * | 2015-08-21 | 2016-01-06 | 武汉烽火网络有限责任公司 | 基于OpenStack的软件定义网络模拟系统及方法 |
CN105704735A (zh) * | 2016-03-16 | 2016-06-22 | 昆明理工大学 | 一种基于几何学概率的无线传感器网络能耗估计模型的建模仿真方法 |
EP3145150A1 (en) * | 2015-09-16 | 2017-03-22 | Mastercard International Incorporated | Cyber defence and network traffic management using virtualized emulation of network resources |
CN107196806A (zh) * | 2017-06-09 | 2017-09-22 | 西安电子科技大学 | 基于子图辐射的拓扑临近匹配虚拟网络映射方法 |
CN107193627A (zh) * | 2017-03-30 | 2017-09-22 | 中国电力科学研究院 | 一种基于虚拟化技术的仿真场景创建方法和装置 |
CN108768685A (zh) * | 2018-03-29 | 2018-11-06 | 中国电力科学研究院有限公司 | 大规模信息通信网络实时仿真模拟系统 |
EP3531739A1 (en) * | 2018-02-22 | 2019-08-28 | Rohde & Schwarz GmbH & Co. KG | Testing the resource reservation behavior of at least a first device under test in an emulated device-to-device network environment |
-
2021
- 2021-05-25 CN CN202110571675.1A patent/CN113347027B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103399496A (zh) * | 2013-08-20 | 2013-11-20 | 中国能源建设集团广东省电力设计研究院 | 智能电网海量实时数据负载仿真测试云平台及其测试方法 |
CN105227344A (zh) * | 2015-08-21 | 2016-01-06 | 武汉烽火网络有限责任公司 | 基于OpenStack的软件定义网络模拟系统及方法 |
EP3145150A1 (en) * | 2015-09-16 | 2017-03-22 | Mastercard International Incorporated | Cyber defence and network traffic management using virtualized emulation of network resources |
CN105704735A (zh) * | 2016-03-16 | 2016-06-22 | 昆明理工大学 | 一种基于几何学概率的无线传感器网络能耗估计模型的建模仿真方法 |
CN107193627A (zh) * | 2017-03-30 | 2017-09-22 | 中国电力科学研究院 | 一种基于虚拟化技术的仿真场景创建方法和装置 |
CN107196806A (zh) * | 2017-06-09 | 2017-09-22 | 西安电子科技大学 | 基于子图辐射的拓扑临近匹配虚拟网络映射方法 |
EP3531739A1 (en) * | 2018-02-22 | 2019-08-28 | Rohde & Schwarz GmbH & Co. KG | Testing the resource reservation behavior of at least a first device under test in an emulated device-to-device network environment |
CN108768685A (zh) * | 2018-03-29 | 2018-11-06 | 中国电力科学研究院有限公司 | 大规模信息通信网络实时仿真模拟系统 |
Non-Patent Citations (3)
Title |
---|
JUNYU LAI, JIAQI TIAN, DINGDE JIANG, JIAMING SUN, KE ZHANG: ""Network Emulation as a Service (NEaaS): towards a cloud-based network emulation platform"", 《 MOBILE NETWORKS & APPLICATIONS》 * |
JUNYU LAI; KE ZHANG; JIAQI TIAN; HAN XIAO; YINGBING SUN: ""Towards Virtual and Physical Nodes Fused Network Emulation"", 《 2019 IEEE 2ND INTERNATIONAL CONFERENCE ON COMPUTER AND COMMUNICATION ENGINEERING TECHNOLOGY (CCET)》 * |
张阳: ""天地一体化网络节点仿真关键技术研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113794732A (zh) * | 2021-09-22 | 2021-12-14 | 上海观安信息技术股份有限公司 | 一种部署仿真网络环境的方法、装置、设备及存储介质 |
CN114615150A (zh) * | 2022-03-22 | 2022-06-10 | 新华三技术有限公司 | 一种仿真网络生成方法和装置 |
CN114615150B (zh) * | 2022-03-22 | 2023-07-21 | 新华三技术有限公司 | 一种仿真网络生成方法和装置 |
CN115051926A (zh) * | 2022-06-22 | 2022-09-13 | 烽火通信科技股份有限公司 | 一种数字孪生架构、模型评价体系以及模型运行方法 |
CN115051926B (zh) * | 2022-06-22 | 2023-06-09 | 烽火通信科技股份有限公司 | 一种数字孪生装置、模型评价系统以及模型运行方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113347027B (zh) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113347027B (zh) | 一种面向网络虚拟孪生的虚拟实例放置方法 | |
Sun et al. | Multi-objective optimization of resource scheduling in fog computing using an improved NSGA-II | |
Li et al. | Energy-efficient migration and consolidation algorithm of virtual machines in data centers for cloud computing | |
Jyoti et al. | Dynamic provisioning of resources based on load balancing and service broker policy in cloud computing | |
Mechalikh et al. | PureEdgeSim: A simulation framework for performance evaluation of cloud, edge and mist computing environments | |
CN108092804B (zh) | 基于Q-learning的电力通信网效用最大化资源分配策略生成方法 | |
CN112084035B (zh) | 一种基于蚁群算法的任务调度方法及系统 | |
Tong et al. | DDQN-TS: A novel bi-objective intelligent scheduling algorithm in the cloud environment | |
CN113822456A (zh) | 一种云雾混构环境下基于深度强化学习的服务组合优化部署方法 | |
Sangaiah et al. | Enhanced resource allocation in distributed cloud using fuzzy meta-heuristics optimization | |
Ziafat et al. | A hierarchical structure for optimal resource allocation in geographically distributed clouds | |
Ding et al. | A niching behaviour-based algorithm for multi-level manufacturing service composition optimal-selection | |
Sadegh et al. | A two-phase virtual machine placement policy for data-intensive applications in cloud | |
Lakzaei et al. | A joint computational and resource allocation model for fast parallel data processing in fog computing | |
Yagoubi et al. | Load balancing strategy in grid environment | |
Seddiki et al. | Sustainable expert virtual machine migration in dynamic clouds | |
Ghebleh et al. | A multi-criteria method for resource discovery in distributed systems using deductive fuzzy system | |
Durairaj et al. | MOM-VMP: multi-objective mayfly optimization algorithm for VM placement supported by principal component analysis (PCA) in cloud data center | |
Yang et al. | The effect of QoS and QoE requirements for designing task processing controller based on fuzzy logic on IoT environments | |
Lei et al. | A heuristic services binding algorithm to improve fault-tolerance in microservice based edge computing architecture | |
CN115086249A (zh) | 一种基于深度强化学习的云数据中心资源分配方法 | |
Kontos et al. | Cloud-Native Applications' Workload Placement over the Edge-Cloud Continuum. | |
Singh | An Optimal Resource Provisioning Scheme Using QoS in Cloud Computing Based Upon the Dynamic Clustering and Self-Adaptive Hybrid Optimization Algorithm. | |
Sigurleifsson et al. | An approach for modeling the operational requirements of FaaS applications for optimal deployment | |
Li et al. | A non‐cooperative game model for reliability‐based task scheduling in cloud computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221014 |