CN113347027A - 一种面向网络虚拟孪生的虚拟实例放置方法 - Google Patents

一种面向网络虚拟孪生的虚拟实例放置方法 Download PDF

Info

Publication number
CN113347027A
CN113347027A CN202110571675.1A CN202110571675A CN113347027A CN 113347027 A CN113347027 A CN 113347027A CN 202110571675 A CN202110571675 A CN 202110571675A CN 113347027 A CN113347027 A CN 113347027A
Authority
CN
China
Prior art keywords
network
physical
virtual
cloud
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110571675.1A
Other languages
English (en)
Other versions
CN113347027B (zh
Inventor
田嘉麒
赖俊宇
余浩曦
陈智勇
董维熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110571675.1A priority Critical patent/CN113347027B/zh
Publication of CN113347027A publication Critical patent/CN113347027A/zh
Application granted granted Critical
Publication of CN113347027B publication Critical patent/CN113347027B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45595Network integration; Enabling network access in virtual machine instances
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

该发明公开了一种面向网络虚拟孪生的虚拟实例放置方法,基于云计算的网络仿真测试中虚拟实例放置的技术领域。在传统的网络仿真虚拟机放置算法中并未考虑到节点之间的相互作用关系,但实际上如果未考虑节点之前的内部关系,单纯根据传统负载均衡思想进行构建的网络节点与物理机的映射关系对特定仿真场景的仿真精度影响较大。在实际的虚拟实例放置策略中需要将彼此流量较大的拓扑相邻节点尽量放置在同一台物理主机中,防止其仿真精度由于跨物理主机而受到限制。本文创新性的提出了基于网络仿真测试云的虚拟实例放置策略。本策略紧密结合网络孪生的业务特点,提高了基于网络仿真测试云的网络孪生精度以及各类资源的利用率,并降低了系统能耗。

Description

一种面向网络虚拟孪生的虚拟实例放置方法
技术领域
本发明属于基于云计算的网络仿真测试中虚拟实例放置的技术领域,特别是涉及一种基于网络节点分类的虚拟实例放置策略。
背景技术
云计算技术作为一种完全基于互联网的计算模式,内部包含大量资源供客户实时高效调用。其中计算资源在整个资源系统中处于核心地位,是保证服务质量,维持高效计算能力的关键。计算资源从原子性角度分析,包括了云计算系统中的物理机等所有硬件资源以及虚拟机中的通过软件模拟生成的硬件资源,网络资源等。
面对如此庞大的资源池,如何合理调度分配这些资源是关键问题。云系统中经常引入负载均衡算法平衡负载与系统资源。不过目前的负载均衡算法应用粒度较大,并未较好地结合云计算各类业务特点进行算法设计,所以研究负载均衡算法在某些特定应用场景下的定向优化便显得格外有意义。实现负载均衡的关键是要优化虚拟机与物理机的对应关系:即虚拟机放置。网络仿真测试云是作者团队自研的基于云计算的网络仿真系统,可用于网络虚拟孪生:即利用网络仿真测试云虚拟复现真实网络拓扑等。网络仿真测试云中包含大量资源,能否做到在整个仿真系统资源均衡利用的基础上提高网络仿真测试云仿真精度,将直接取决于网络仿真测试云是否具有与仿真应用场景高度自洽的虚拟实例放置策略。
发明内容
网络仿真测试云在搭建之初,目标即为精准仿真孪生各类实际网络场景,因此其具有很强的业务场景特殊性。作为基于云计算系统的网络仿真平台,与其他云计算架构平台类似,均需要整个系统的负载均衡。在传统的网络仿真虚拟机放置算法中并未考虑到节点之间的相互作用关系,但实际上如果未考虑节点之前的内部关系,单纯根据传统负载均衡思想进行构建的网络节点与物理机的映射关系对特定仿真场景的仿真精度影响较大。换而言之,在保证整个网络仿真测试云负载均衡的前提下,应将待仿真网络节点之间的相互作用关系纳入到虚拟机放置算法当中,从而进一步提高仿真精度。
本发明技术方案为一种面向网络虚拟孪生的虚拟机放置方法,该方法包括:
步骤1:建立基于网络仿真测试云的网络孪生系统模型;设网络仿真云平台部署在n台物理机上,其中每台物理机表示为pj,1≤j≤n;网络仿真测试云平台执行某次云仿真任务时,物理主机pj上部署的所有虚拟机之和为VJ={v1,v2,v3,…vi};
步骤2:计算基于网络仿真测试云的网络孪生系统能耗;在确定物理机pj在特定情况下的功率表达式后,在给定时间段t0~t1,整个天地一体化网络仿真云平台的能耗f1(X)为:
Figure BDA0003082952870000021
其中,X为矩阵(Xij)m×n表示天地一体化网络仿真云平台中m台虚拟机与n台物理机之间的映射关系;Xij的值域为{0,1},X=1表示云平台中的第i台虚拟机部署在第j台物理机之上,反之,X=0则表示没有这种映射关系,物理机pj在时间段t0~t1之间的能耗为:
Figure BDA0003082952870000022
Figure BDA0003082952870000023
为物理机pj在cpu利用率为
Figure BDA0003082952870000024
时的功率;
步骤3:建立匹配度矩阵M;
M=(mij)m×n矩阵表示虚拟机vi与vj之间的匹配度,mij=1,表示虚拟机vi与vj之间的的理论业务流量大于设定的阈值,否则mij=0;
步骤4:通过模糊隶属度函数
Figure BDA0003082952870000025
计算虚拟机vj隶属于物理机pk的程度:
Figure BDA0003082952870000026
其中,w为加权指数用于改变算法的模糊程度,Distance(vi,pj)表示虚拟机vi以及物理机pj之间的资源相适应性距离,其计算公式见下:
Figure BDA0003082952870000027
Figure BDA0003082952870000028
Figure BDA0003082952870000029
表示物理主机发生资源利用不均的概率,满足正太分布特点。r(vi,pj)为相关函数,取值范围在正负一之间。
Figure BDA00030829528700000210
代表虚拟机vi请求的r类资源,
Figure BDA00030829528700000211
代表虚拟机vi请求资源的平均值。
Figure BDA00030829528700000212
代表物理机具有的第r类资源的剩余值,
Figure BDA00030829528700000213
则代表物理机剩余资源的平均值。
在步骤3建立匹配度矩阵M中,mij=1的前提下,再用模糊隶属度函数计算虚拟机vi与vj对于同一物理机pk的模糊隶属函数差值的绝对值函数,该函数取值应越小越优,见式(6):
Figure BDA0003082952870000031
步骤5:计算基于网络仿真测试云的网络孪生系统平均服务质量f3(X);
Figure BDA0003082952870000032
其中,ui(t)为网络仿真测试云中第i台物理机在t时刻的CPU占用率,
Figure BDA0003082952870000033
为物理机i的最低SLA(服务级别协议)履约率,f3(X)值越小越优;
步骤6:基于网络仿真测试云的网络孪生系统资源利用率进行优化;
计算仿真平台发生资源利用不均时的代价Tj
Figure BDA0003082952870000034
其中:
Figure BDA0003082952870000035
代表的是物理机pj内部的h类资源剩余率,将物理主机的资源配置抽象为集合HR={cpu,mem.bw},即分别代表着cpu、内存以及网卡带宽资源。构建整个网络仿真平台的资源利用率优化目标函数f4(X)为:
Figure BDA0003082952870000036
其中,
Figure BDA0003082952870000037
代表物理主机pj的第h类资源使用率的阈值;
步骤7:在完成步骤4-7的构建之后,网络仿真云虚拟实例放置多目标优化模型描述为:
minF(X)=(f1(X),f2(X),f3(X),f4(X)) (10)
Figure BDA0003082952870000038
其中,两个约束条件分别表示:一台虚拟机能且仅能放置在一台物理主机上;部署在某一台物理机上的虚拟机可能消耗的第h类资源不能超过该物理机上第h类资源的总容量;
步骤8:采用多目标求解算法对步骤7得到的目标优化模型进行求解,输出各虚拟机放置位置。
本文将采用业界较为成熟,经过稳定优化的NSGA-II算法对基于多目标优化的虚拟机放置问题进行求解。另外,在实际的算法流程中还将引入经典的蚁群算法来及时更新迭代信息素,加速算法准确拟合,并最终得到虚拟机与物理机的放置映射矩阵。本发明以依据网络仿真测试云的网络孪生系统为主体,从网络仿真测试云中虚拟实例的放置策略入手进行了改进,创新性的将网络仿真测试云的实际承接业务特点融入到了虚拟实例放置策略中。具体而言,即在设计网络仿真测试云虚拟实例放置策略时,除了统筹各类资源利用率、能耗、SLA平均违背率的平衡统一,还将具体仿真拓扑中各个节点之间的关系纳入了考察范围。在实际的网络拓扑中,各个节点之间的流量差异巨大,例如某些相邻的center节点之间流量将远远大于相邻的edge节点。网络仿真测试云既然承接了仿真实际网络拓扑的业务需求,便需要拥有足够的仿真精度。由于物理因素限制,流量较大的相邻节点被放置在仿真测试云中的同一台物理节点中和不同的物理节点中,仿真效果差异较大。为了提高仿真测试云的仿真精度,在实际的虚拟实例放置策略中需要将彼此流量较大的拓扑相邻节点尽量放置在同一台物理主机中,防止其仿真精度由于跨物理主机而受到限制。本文所研虚拟实例放置算法融合了上述思想,并继承了经典虚拟机放置算法中的各类负载均衡策略,创新性的提出了基于网络仿真测试云的虚拟实例放置策略。本策略紧密结合网络孪生的业务特点,提高了基于网络仿真测试云的网络孪生精度以及各类资源的利用率,并降低了系统能耗。
附图说明
图1为本发明的网络节点分类示意图。
图2为NSGA-II算法的基本流程。
图3为本发明虚拟实例策略与其他两种策略的CPU利用率对比。
图4为本发明虚拟实例策略与其他两种策略的MEM利用率对比。
图5为本发明虚拟实例策略与其他两种策略的BW利用率对比。
图6为本发明虚拟实例策略与其他两种策略的能耗对比。
图7为本发明虚拟实例策略与其他两种策略的平均SLA违背率对比。
图8为本发明虚拟实例策略创新性验证。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明:
一种基于网络节点分类的面向网络虚拟孪生的虚拟实例放置策略,具体步骤如下:
步骤1:通过理论公式推导出基于网络仿真测试云的网络孪生节点分类的出发点。网络仿真测试云中节点类型复杂,可作用仿真场景丰富多样,在不同的实际作用场景中,节点链路的拓扑结构是截然不同的。那么在网络节点拓扑连接方式一定的情况下,采用不同的虚拟机放置方式必定会导致不同的仿真效果(注:这里的仿真效果主要是指仿真精度)。这主要是由于不同的虚拟机放置方法将会导致网络仿真测试云中网络资源的耗费情况不同,即网络成本不同。本文所提网络成本,将分为两点组成。首先是网络中可使用的容量(称为容量成本),另一部分是流量超过实际容量而溢出所产生的惩罚(称为溢出成本)。在同一台物理机内部不存在流量溢出的概念,所以这里的流量溢出仅仅针对物理服务器之间。
这里定义
Figure BDA0003082952870000051
为物理机i与物理机j之间的网络容量成本,其由物理机i与物理机j可提供的网络流量资源
Figure BDA0003082952870000052
以及二者之间的连接拓扑跳数hij决定。具体见下式:
Figure BDA0003082952870000053
同样的,网络测试云中的溢出成本可以表示为:
Figure BDA0003082952870000054
其中,μ为可调参数:惩罚因子。
Figure BDA0003082952870000055
代表的是物理机i与物理机j之间实际需要的流量资源。在发生容量溢出时,一定存在下述不等式:
Figure BDA0003082952870000056
并且,
Figure BDA0003082952870000057
与虚拟机之间的流量需求息息相关,计算公式如下:
Figure BDA0003082952870000058
在上述式子中,Xmn代表虚拟机m与虚拟机n之间实际业务传输需要的网络流量。而
Figure BDA0003082952870000059
则代表着虚拟机m、n与物理机i、j的放置映射关系。从而整个网络仿真测试云的网络成本Cij可以表示为:
Figure BDA00030829528700000510
另外,在网络仿真中,衡量仿真效果的参数有很多,其中就有一项为仿真网络节点平均路径长度,其定义如下:
Figure BDA00030829528700000511
其中N代表的是仿真网络的实际规模,主要为仿真网络的节点数量。而dij则代表的是节点i与节点j之间的实际传输消耗时间,即为节点i与节点j之间的物理距离与传输速率的比值。值得一提的是,在其他因素不变的情况下,L越大,仿真效果越差,且仿真成本越高。而dij的变化波动则直接取决于不同网络节点在网络仿真测试云中被放置的物理距离以及不同节点之间的流量大小差异。
步骤2:根据理论公式推导,得出节点分类模型。通过上述论证可以发现,网络仿真测试云中的节点之间的流量变化对整个系统的网络资源耗费影响明显。从而,本文所研网络仿真测试云节点分类建模将以节点之间的网络流量大小为基本出发点。为了将上述论证进一步具象化,将网络仿真测试云中的几类节点大致抽象概括如下图所示。值得一提的是,这里的模型拓扑并非代表真实仿真网络中的拓扑,仅仅是为了更加直观的凸显各类节点的特点而已,和真实网络拓扑结构不存在一一对应关系。
在图1所示的Edge、general、center三种类型节点中,相邻的center节点之间的网络流量理论上将大于相邻的edge节点。所以,将两个相邻的center节点放置于同一物理主机内的节点交互效果将优于放置于不同的物理机内,详细验证见上一章节的对比试验。换而言之,在网络仿真云平台中,为进一步优化仿真效果,并节省硬件资源,提高整体资源利用度,理想情况下,相邻的edge、general、center节点被放置在同一台物理主机内的优先级应该是逐级递增的。为简化问题分析,方便模型的建立,利用M=(mij)m×n矩阵表示虚拟机vi与vj之间的匹配度。mij=1,表明虚拟机vi与vj之间的匹配度为1,即二者为相邻的center节点;反之如果mij=0,则表明虚拟机vi与vj之间的匹配度较弱,即二者为相邻的edge或general节点。值得注意的是,匹配度越高,虚拟机vi与vj被共同放置于同一物理主机pj中的优先级越高,即概率越大。
Figure BDA0003082952870000061
网络仿真测试云仿真业务场景并不固定,在不同的业务场景中,各类节点承担的业务角色不同,节点之间的流量吞吐差别较大。所以针对不同的仿真场景,将会根据具体的业务特点,对仿真拓扑中的各类节点按照本文所研节点模型进行具体地划分。更进一步而言,网络仿真测试云面向的业务场景客制化程度非常高,需要按照用户的客制化规则来具体划分节点类型。
步骤3:建立基于网络仿真测试云的网络孪生系统模型。假设网络仿真云平台部署在n台物理机上,其中每台物理机表示为pj(1≤j≤n)。网络仿真测试云平台执行某次云仿真任务时,物理主机pj上部署的所有虚拟机之和为VJ={v1,v2,v3,…vj}。至于在云平台中的二层交换机,物理网线等硬件设施,在建模时可忽略不计入且影响较小。
为进一步优化模型,将物理主机的资源配置抽象为集合HR={cpu,mem.bw},即分别代表着cpu、内存以及网卡带宽资源。为了方便模型的求解,本文将不考虑物理机上常驻进程的影响,某台物理机的全部资源使用量是部署在该台物理主机上的所有虚拟机的资源请求量之和。于是,物理主机pj的某类特定资源的资源使用率可表示为下式:
Figure BDA0003082952870000071
其中,h∈HR集合;
Figure BDA0003082952870000072
表示物理机pj对于第h类资源的实际利用率;
Figure BDA0003082952870000073
代表物理机pj上所拥有的第h类资源总和;
Figure BDA0003082952870000074
则表示部署在物理主机pj上的虚拟机vi对于第h类资源的请求总量。
物理机的功率与cpu利用率可拟合为线性关系。假设用
Figure BDA0003082952870000075
表示物理机pj满载(cpu满载)时的功率,用
Figure BDA0003082952870000076
表示主机pj空载(cpu空载)时的功率。那么物理机pj在cpu利用率为
Figure BDA0003082952870000077
时的功率可表示为:
Figure BDA0003082952870000078
可以看到,上式是线性拟合后的等价关系式。
步骤4:定义基于网络仿真测试云的网络孪生系统能耗。在确定物理机pj在特定情况下的功率表达式后,根据能耗公式,在某一给定时间段t0~t1,整个天地一体化网络仿真云平台的能耗可定义为下式:
Figure BDA0003082952870000079
其中,X为矩阵(Xij)m×n表示天地一体化网络仿真云平台中m台虚拟机与n台物理机之间的映射关系。Xij的值域为{0,1},X=1表示云平台中的第i台虚拟机部署在第j台物理机之上;反之,X=0则表示没有这种映射关系。主机pj在时间段t0~t1之间的能耗为:
Figure BDA00030829528700000710
步骤5:基于模糊隶属度的虚拟机集群内部相互作用关系模型建立。模糊C-均值聚类算法(Fuzzy C-means Clustering,FCM)将模糊数学理论应用于样本的聚类计算中。FCM算法使用模糊逻辑重新定义了样本到聚类簇之间的隶属关系。将样本与聚类簇之间的相关程度,称为隶属度。隶属度的取值在[0,1]之间,隶属度取值越靠近1,代表此该样本隶属于该聚类簇的程度越高,反之,隶属度取值越靠近0,则表示该样本属于该聚类簇的程度越低。用于计算样本与聚类簇之间隶属度的函数称为隶属度函数。在FCM算法中,样本与聚类簇的模糊关系通常通过计算隶属度矩阵得到了定量的分析。下面将利用模糊隶属度思想,在完成虚拟机集群内部匹配度建模的基础上,建立虚拟机与物理主机之间的隶属关系函数。如式(12)所示,通过模糊隶属度函数
Figure BDA0003082952870000081
计算虚拟机vj隶属于物理机pj的程度:
Figure BDA0003082952870000082
其中,w为加权指数用于改变算法的模糊程度,Distance(vi,pj)表示虚拟机vi以及物理机pj之间的资源相适应性距离,其计算公式见下:
Figure BDA0003082952870000083
Figure BDA0003082952870000084
Figure BDA0003082952870000085
表示物理主机发生资源利用不均的概率,满足正太分布特点。r(vi,pj)为相关函数,取值范围在正负一之间。
Figure BDA0003082952870000086
代表虚拟机vi请求的r类资源,
Figure BDA0003082952870000087
代表虚拟机vi请求资源的平均值。
Figure BDA0003082952870000088
代表物理机具有的第r类资源的剩余值,
Figure BDA0003082952870000089
则代表物理机剩余资源的平均值。
w取值一般为[1.5,2.5],本文设置为2。在上文中提到匹配度越高,虚拟机vi与vk被共同放置于同一物理主机pj中的优先级越高,即概率越大。那么,如果再用模糊隶属度函数来分析上述问题,即可转换为虚拟机vi与vk对于同一物理机pj的模糊隶属函数差值的绝对值函数,该函数取值应越小越优,见式(15):
Figure BDA00030829528700000810
步骤6:定义基于网络仿真测试云的网络孪生系统平均服务服务质量。网络仿真测试云作为一款云计算服务平台,其核心旨在为用户提供稳定高效的网络仿真服务,那么提供服务的具体质量当然也应该被纳入虚拟机实例放置目标函数定义的考虑之中。服务.水平.协议(Service Level Agreement,SLA)可用来规定服务提供和享受服务的双方对服务质量的实际需求。换而言之,该协议是服务双方就服务质量达成的共识协议。所以,在云计算系统中,SLA的概念也尤为重要。该协议决定着云服务提供方应该为客户提供怎样的服务质量,应该如何保证整个云计算平台的高可用性。当然,云计算场景复杂多样,所以具体的SLA协议商定内容也是不尽相同,但是SLA协议的核心就是要为保证云计算平台的性能能够达到客户预期。网络仿真测试云作为云计算的一个典型应用场景,其SLA协议的定义与大部分云计算平台保持一致,一般而言可用SLA平均违背率函数来表示,见式16。
Figure BDA0003082952870000091
其中,ui(t)代表的是网络仿真测试云中第i台物理机在t时刻的CPU占用率,
Figure BDA0003082952870000092
则代表着物理机i的最低SLA履约率,f3(X)∈[0,0.7]之间,取值越小越优。
通过上述公式可以明显看出,随着物理机cpu利用率的增加,整个网络仿真测试云的SLA将会随之下降,即过高的负载终将带来较低的SLA服务质量。
步骤7:定义基于网络仿真测试云的网络孪生系统资源利用率优化函数。承担网络节点仿真任务的虚拟机放置于平台中的物理主机上并正常运行时,可能发生各类资源利用不均的情况。当这种情况发生时,势必会造成整个网络仿真平台负载不均衡。为抽象表示可能发生的这种状况,可用Tj表征仿真平台发生此问题时的代价:
Figure BDA0003082952870000093
其中:
Figure BDA0003082952870000094
代表的是物理主机pj内部的h类资源剩余率,将物理主机的资源配置抽象为集合HR={cpu,mem.bw},即分别代表着cpu、内存以及网卡带宽资源。从而构建整个网络仿真平台的资源利用率优化目标函数如下:
Figure BDA0003082952870000095
其中,
Figure BDA0003082952870000096
代表物理主机pj的第h类资源使用率的阈值。这里需要明确提出,f4(X)表达式中的
Figure BDA0003082952870000097
与|lg Tj|的值域是处于一个收敛范围的,所以正常整合。同等条件下,该函数取值应尽量小,以满足所需。
步骤8:在完成步骤4-7的构建之后,网络仿真云虚拟实例放置多目标优化模型可描述为:
minF(X)=(f1(X),f2(X),f3(X),f4(X)) (19)
Figure BDA0003082952870000101
其中,两个约束条件分别代表着:1.一.台虚拟机能且仅能放置在一.台物理主机上;2.部署在某一台物理机上的虚拟机可能消耗的第h类资源.不.能.超过该物理机上第h类资源的总容量。
从而上述问题被归递成了多目标优化的问题模型。在实际的生产生活中,多目标优化问题很难像单目标优化那样快速准确地得出一个绝对最优解,而往往是得出一个Pareto解集。本文将采用业界较为成熟,经过稳定优化的NSGA-II算法对基于多目标优化的虚拟机放置问题进行求解,其算法流程见图2。另外,在实际的算法流程中还将引入经典的蚁群算法来及时更新迭代信息素,加速算法准确拟合。
将利用业界优秀的多目标优化函数求解算法NSGA-II对本专利所提模型进行求解,并创新性地引入蚁群算法加速NSGA-II算法迭代收敛速度。具体而言,本专利所设计的网络仿真测试云虚拟机实例放置策略属典型的多目标优化问题,此问题在利用NSGA-II算法求解时,可引入经典蚁群算法中的信息素矩阵
Figure BDA0003082952870000102
将迭代过程中获得的历史经验进行保留,从而让NSGA-II算法加快收敛速度,并进一步提高算法的准确性。
在经典的蚁群算法中,一般而言,会依照下述公式规则对蚁群信息素τij进行更新:
Figure BDA0003082952870000103
其中,p称之为挥发因子。
在NSGA-II算法的整个种群迭代过程中,信息素矩阵的更新公式如下所示。
Figure BDA0003082952870000104
表示在第t次迭代过程中虚拟机vi被放置在物理主机pj上之后累积的所有信息素。
Figure BDA0003082952870000105
在式20中,权重参数为
Figure BDA0003082952870000106
权重参数是用来管理第t-1次迭代之后所积累的信息素与后一次迭代产生的信息素混合更新的配比关系;整个网络仿真测试云的最大能耗为
Figure BDA0003082952870000107
信息素的更新公式实质其实可以理解为是动态规划算法中的状态转移公式,假设经过第t次迭代后,得到的虚拟机与实体物理机之间的最优映射矩阵X*。如果vi被放置于物理主机pj之上,即x*,i,j=1,那么需要对
Figure BDA0003082952870000111
进行更新,反之则无需对前一次迭代过程中的信息素值进行任何改变。
根据NSGA-II算法的特点以及本专利中建立的模型,在基于NSGA-II算法的虚拟机放置算法流程的基础上进一步得到算法简要求解过程的伪代码如下所示:
Figure BDA0003082952870000112
其中输入参数主要分为三项:承接具体仿真业务的虚拟机矩阵V、网络仿真测试云中的物理机集群矩阵P、以及表示虚拟机vi与vj之间的匹配度的M=(mij)m×n矩阵。而算法流程的输出为虚拟机与网络仿真测试云中实体物理节点之间的匹配映射关系矩阵Xij
Figure BDA0003082952870000113
实施例
本专利所涉及实验的目的是初步验证本文所研虚拟实例放置算法的准确性。在本章节中将在64位Windwos平台上利用JAVA语言基于CloudSim模拟器模拟网络仿真测试云硬件环境,并通过修改CloudSim的一些核心类将所研虚拟实例放置算法织入其中。具体地,实验平台软硬件配置如表4-1。因为CloudSim可以轻松地仿真出网络仿真测试云所依赖的多机部署的云环境,所以只需一台高性能物理机即可进行算法的初步验证实验。
表1实验物理主机配置
Figure BDA0003082952870000121
本文涉及的实验将检查仿真平台对CPU资源的平均利用率,对内存资源的平均利用率以及对带宽资源的平均利用率。本文提到的算法涉及虚拟机内部交互对虚拟机放置的影响,因此,还将研究这一点的实际效果。同时,将计算仿真平台的能耗和SLA平均违规率。平均SLA违反率表示虚拟机所需资源与实际资源与实际所需资源之差的比率,可以反映仿真平台的整个理论仿真质量。SLA计算公式如下:
Figure BDA0003082952870000122
其中,
Figure BDA0003082952870000123
代表虚拟机对三种资源的需求,而
Figure BDA0003082952870000124
代表虚拟机vi实际获得的三种资源。
本专利涉及的实验均为对比实验。将本专利的虚拟机放置算法与OpenStack虚拟机放置算法和传统的先到先服务算法FIFS进行比较。该实验分为6个组,每组中的虚拟机数量以50台的步频速率增加。虚拟机数量的增加代表了网络仿真测试云面临的实际业务场景的动态扩展。每组实验都测试了CPU,MEM和BW资源利用率十次,具体实验结果见图3至图8。
从图2、3以及4中可以清楚地看出,网络仿真测试云(NEC)虚拟机放置算法(以下简称NEC-VMOC)的平均资源利用率优于OpenStack原生虚拟机放置算法(以下简称OpenStack)和FIFS算法。随着虚拟机数量的增加,即NEC平台的仿真负载增加,NEC-VMOC算法各种资源的利用率稳步提高。OpenStack和FIFS算法存在一些波动,这表明它们的算法在稳定性和持久性方面存在某些缺陷,因为以上两种算法均未对网络仿真测试云这种特殊的应用场景进行优化,具体而言就是未在虚拟机放置算法中考虑到不同的虚拟机节点之间的关联关系。值得注意的是,在将虚拟机内部的交互关系添加到虚拟机放置算法后,整个NEC的带宽利用率有了明显提高,与实验预期相符。虚拟机跨主机和同主机的网络性能对比可以查看前置实验的证明。
另外,当虚拟机数量超过350个时,NEC-VMOC算法所部署的网络仿真测试云平台的CPU利用率变化基本持平,不再显着上升,甚至可能有所下降。这说明该算法与能量消耗和资源利用的协调统一有关,也从侧面说明了多目标优化算法的实际可行性。
在能耗方面,如图4-5所示,NEC-VMOC算法也优于OpenStack和FIFS。随着虚拟机数量的增加,能耗将不可避免地增加。可以看出,在这三种算法中,FIFS算法具有最大的能耗。因为FIFS算法与降低能耗的想法并不协调,而是仅遵循先到先得的原则。OpenStack原生算法加入了当前物理机器资源的评估过程,因此降低了能耗。NEC-VMOC算法在算法设计之初就考虑了最低能耗的基本思想,并被设定为多目标优化的目标之一,因此降低能耗的效果最为明显,从最终的多组实验结果中也可看出。
前文中提到SLA的平均违反率代表NEC的服务质量。NEC-VMOC算法保证了服务质量,同时尽可能降低了能耗。如图4-6所示,当虚拟机数量为50时,这三种算法的平均SLA违反率相差不大,都在10%左右。但是,随着虚拟机数量的增加,OpenStack原生算法和FIFS的平均SLA违规率逐渐超过12%,而NEC-VMOC则基本上保持在12%左右。可以看出,NEC-VMOC算法同时考虑了能耗和所提供仿真服务的服务质量。
NEC-VMOC算法创新地将虚拟机的内部关系引入虚拟机放置算法。为了直接验证这一点,本文还测试了两个拓扑相邻的中央节点(虚拟机)被放置在同一物理机中的比例。如图4-7所示,当要模拟的网络中的网络节点数为50时,对应的虚拟机为50。这时,在三种算法中,拓扑中相邻的两个中央节点(虚拟机)以相似的比例放置在同一台物理计算机上。随着模拟网络节点数量的增加,NEC-VMOC逐渐扩大了与其他两种算法的差距。拓扑中彼此相邻的两个中央节点(虚拟机)更多地位于同一物理机中,从而提高了整体NEC诸如带宽等网络资源的利用率,满足算法的设计预期。
通过与OpenStack原生虚拟机放置算法和FIFS算法的比较实验,表明本文所研算法在各类资源利用和能耗方面明显优于以上对比实验中的两种算法,并且在不同的仿真场景中,本文所研算法对场景的适配度要优于以上两种算法。下一章节的研究主要为以下两个方面:首先,算法将部署在实际的网络仿真测试云平台上进行验证,替换掉原生底层OpenStack的虚拟机调度算法,并根据替换效果进行进一步优化。其次将会构建网络仿真测试云各类资源利用率以及虚拟实例放置情况的可视化平台,以便更好地管理网络仿真测试云资源。

Claims (1)

1.一种面向网络虚拟孪生的虚拟机放置方法,该方法包括:
步骤1:建立基于网络仿真测试云的网络孪生系统模型;设网络仿真云平台部署在n台物理机上,其中每台物理机表示为pj,1≤j≤n;网络仿真测试云平台执行某次云仿真任务时,物理主机pj上部署的所有虚拟机之和为VJ={v1,v2,v3,…vi};
步骤2:计算基于网络仿真测试云的网络孪生系统能耗;在确定物理机pj在特定情况下的功率表达式后,在给定时间段t0~t1,整个天地一体化网络仿真云平台的能耗f1(X)为:
Figure FDA0003082952860000011
其中,X为矩阵(Xij)m×n表示天地一体化网络仿真云平台中m台虚拟机与n台物理机之间的映射关系;Xij的值域为{0,1},X=1表示云平台中的第i台虚拟机部署在第j台物理机之上,反之,X=0则表示没有这种映射关系,物理机pj在时间段t0~t1之间的能耗为:
Figure FDA0003082952860000012
Figure FDA0003082952860000013
为物理机pj在cpu利用率为
Figure FDA0003082952860000014
时的功率;
步骤3:建立匹配度矩阵M;
M=(mij)m×n矩阵表示虚拟机vi与vj之间的匹配度,mij=1,表示虚拟机vi与vj之间的的理论业务流量大于设定的阈值,否则mij=0;
步骤4:通过模糊隶属度函数
Figure FDA0003082952860000015
计算虚拟机vj隶属于物理机pk的程度:
Figure FDA0003082952860000016
其中,w为加权指数用于改变算法的模糊程度,Distance(vi,pj)表示虚拟机vi以及物理机pj之间的资源相适应性距离,其计算公式见下:
Figure FDA0003082952860000017
Figure FDA0003082952860000018
Figure FDA0003082952860000021
表示物理主机发生资源利用不均的概率,满足正太分布特点。r(vi,pj)为相关函数,取值范围在正负一之间。
Figure FDA0003082952860000022
代表虚拟机vi请求的r类资源,
Figure FDA0003082952860000023
代表虚拟机vi请求资源的平均值。
Figure FDA0003082952860000024
代表物理机具有的第r类资源的剩余值,
Figure FDA0003082952860000025
则代表物理机剩余资源的平均值;
在步骤3建立匹配度矩阵M中,mij=1的前提下,再用模糊隶属度函数计算虚拟机vi与vj对于同一物理机pk的模糊隶属函数差值的绝对值函数,该函数取值应越小越优,见式(6):
Figure FDA0003082952860000026
步骤5:计算基于网络仿真测试云的网络孪生系统平均服务质量f3(X);
Figure FDA0003082952860000027
其中,ui(t)为网络仿真测试云中第i台物理机在t时刻的CPU占用率,
Figure FDA0003082952860000028
为物理机i的最低SLA(服务级别协议)履约率,f3(X)值越小越优;
步骤6:基于网络仿真测试云的网络孪生系统资源利用率进行优化;
计算仿真平台发生资源利用不均时的代价Tj
Figure FDA0003082952860000029
其中:
Figure FDA00030829528600000210
代表的是物理机pj内部的h类资源剩余率,将物理主机的资源配置抽象为集合HR={cpu,mem.bw},即分别代表着cpu、内存以及网卡带宽资源;构建整个网络仿真平台的资源利用率优化目标函数f4(X)为:
Figure FDA00030829528600000211
其中,
Figure FDA00030829528600000212
代表物理主机pj的第h类资源使用率的阈值;
步骤7:在完成步骤4-7的构建之后,网络仿真云虚拟实例放置多目标优化模型描述为:
minF(X)=(f1(X),f2(X),f3(X),f4(X)) (10)
Figure FDA00030829528600000213
其中,两个约束条件分别表示:一台虚拟机能且仅能放置在一台物理主机上;部署在某一台物理机上的虚拟机可能消耗的第h类资源不能超过该物理机上第h类资源的总容量;
步骤8:采用多目标求解算法对步骤7得到的目标优化模型进行求解,输出各虚拟机放置位置。
CN202110571675.1A 2021-05-25 2021-05-25 一种面向网络虚拟孪生的虚拟实例放置方法 Expired - Fee Related CN113347027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110571675.1A CN113347027B (zh) 2021-05-25 2021-05-25 一种面向网络虚拟孪生的虚拟实例放置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110571675.1A CN113347027B (zh) 2021-05-25 2021-05-25 一种面向网络虚拟孪生的虚拟实例放置方法

Publications (2)

Publication Number Publication Date
CN113347027A true CN113347027A (zh) 2021-09-03
CN113347027B CN113347027B (zh) 2022-10-14

Family

ID=77471279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110571675.1A Expired - Fee Related CN113347027B (zh) 2021-05-25 2021-05-25 一种面向网络虚拟孪生的虚拟实例放置方法

Country Status (1)

Country Link
CN (1) CN113347027B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113794732A (zh) * 2021-09-22 2021-12-14 上海观安信息技术股份有限公司 一种部署仿真网络环境的方法、装置、设备及存储介质
CN114615150A (zh) * 2022-03-22 2022-06-10 新华三技术有限公司 一种仿真网络生成方法和装置
CN115051926A (zh) * 2022-06-22 2022-09-13 烽火通信科技股份有限公司 一种数字孪生架构、模型评价体系以及模型运行方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399496A (zh) * 2013-08-20 2013-11-20 中国能源建设集团广东省电力设计研究院 智能电网海量实时数据负载仿真测试云平台及其测试方法
CN105227344A (zh) * 2015-08-21 2016-01-06 武汉烽火网络有限责任公司 基于OpenStack的软件定义网络模拟系统及方法
CN105704735A (zh) * 2016-03-16 2016-06-22 昆明理工大学 一种基于几何学概率的无线传感器网络能耗估计模型的建模仿真方法
EP3145150A1 (en) * 2015-09-16 2017-03-22 Mastercard International Incorporated Cyber defence and network traffic management using virtualized emulation of network resources
CN107196806A (zh) * 2017-06-09 2017-09-22 西安电子科技大学 基于子图辐射的拓扑临近匹配虚拟网络映射方法
CN107193627A (zh) * 2017-03-30 2017-09-22 中国电力科学研究院 一种基于虚拟化技术的仿真场景创建方法和装置
CN108768685A (zh) * 2018-03-29 2018-11-06 中国电力科学研究院有限公司 大规模信息通信网络实时仿真模拟系统
EP3531739A1 (en) * 2018-02-22 2019-08-28 Rohde & Schwarz GmbH & Co. KG Testing the resource reservation behavior of at least a first device under test in an emulated device-to-device network environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399496A (zh) * 2013-08-20 2013-11-20 中国能源建设集团广东省电力设计研究院 智能电网海量实时数据负载仿真测试云平台及其测试方法
CN105227344A (zh) * 2015-08-21 2016-01-06 武汉烽火网络有限责任公司 基于OpenStack的软件定义网络模拟系统及方法
EP3145150A1 (en) * 2015-09-16 2017-03-22 Mastercard International Incorporated Cyber defence and network traffic management using virtualized emulation of network resources
CN105704735A (zh) * 2016-03-16 2016-06-22 昆明理工大学 一种基于几何学概率的无线传感器网络能耗估计模型的建模仿真方法
CN107193627A (zh) * 2017-03-30 2017-09-22 中国电力科学研究院 一种基于虚拟化技术的仿真场景创建方法和装置
CN107196806A (zh) * 2017-06-09 2017-09-22 西安电子科技大学 基于子图辐射的拓扑临近匹配虚拟网络映射方法
EP3531739A1 (en) * 2018-02-22 2019-08-28 Rohde & Schwarz GmbH & Co. KG Testing the resource reservation behavior of at least a first device under test in an emulated device-to-device network environment
CN108768685A (zh) * 2018-03-29 2018-11-06 中国电力科学研究院有限公司 大规模信息通信网络实时仿真模拟系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUNYU LAI, JIAQI TIAN, DINGDE JIANG, JIAMING SUN, KE ZHANG: ""Network Emulation as a Service (NEaaS): towards a cloud-based network emulation platform"", 《 MOBILE NETWORKS & APPLICATIONS》 *
JUNYU LAI; KE ZHANG; JIAQI TIAN; HAN XIAO; YINGBING SUN: ""Towards Virtual and Physical Nodes Fused Network Emulation"", 《 2019 IEEE 2ND INTERNATIONAL CONFERENCE ON COMPUTER AND COMMUNICATION ENGINEERING TECHNOLOGY (CCET)》 *
张阳: ""天地一体化网络节点仿真关键技术研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113794732A (zh) * 2021-09-22 2021-12-14 上海观安信息技术股份有限公司 一种部署仿真网络环境的方法、装置、设备及存储介质
CN114615150A (zh) * 2022-03-22 2022-06-10 新华三技术有限公司 一种仿真网络生成方法和装置
CN114615150B (zh) * 2022-03-22 2023-07-21 新华三技术有限公司 一种仿真网络生成方法和装置
CN115051926A (zh) * 2022-06-22 2022-09-13 烽火通信科技股份有限公司 一种数字孪生架构、模型评价体系以及模型运行方法
CN115051926B (zh) * 2022-06-22 2023-06-09 烽火通信科技股份有限公司 一种数字孪生装置、模型评价系统以及模型运行方法

Also Published As

Publication number Publication date
CN113347027B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN113347027B (zh) 一种面向网络虚拟孪生的虚拟实例放置方法
Sun et al. Multi-objective optimization of resource scheduling in fog computing using an improved NSGA-II
Li et al. Energy-efficient migration and consolidation algorithm of virtual machines in data centers for cloud computing
Jyoti et al. Dynamic provisioning of resources based on load balancing and service broker policy in cloud computing
Mechalikh et al. PureEdgeSim: A simulation framework for performance evaluation of cloud, edge and mist computing environments
CN108092804B (zh) 基于Q-learning的电力通信网效用最大化资源分配策略生成方法
CN112084035B (zh) 一种基于蚁群算法的任务调度方法及系统
Tong et al. DDQN-TS: A novel bi-objective intelligent scheduling algorithm in the cloud environment
CN113822456A (zh) 一种云雾混构环境下基于深度强化学习的服务组合优化部署方法
Sangaiah et al. Enhanced resource allocation in distributed cloud using fuzzy meta-heuristics optimization
Ziafat et al. A hierarchical structure for optimal resource allocation in geographically distributed clouds
Ding et al. A niching behaviour-based algorithm for multi-level manufacturing service composition optimal-selection
Sadegh et al. A two-phase virtual machine placement policy for data-intensive applications in cloud
Lakzaei et al. A joint computational and resource allocation model for fast parallel data processing in fog computing
Yagoubi et al. Load balancing strategy in grid environment
Seddiki et al. Sustainable expert virtual machine migration in dynamic clouds
Ghebleh et al. A multi-criteria method for resource discovery in distributed systems using deductive fuzzy system
Durairaj et al. MOM-VMP: multi-objective mayfly optimization algorithm for VM placement supported by principal component analysis (PCA) in cloud data center
Yang et al. The effect of QoS and QoE requirements for designing task processing controller based on fuzzy logic on IoT environments
Lei et al. A heuristic services binding algorithm to improve fault-tolerance in microservice based edge computing architecture
CN115086249A (zh) 一种基于深度强化学习的云数据中心资源分配方法
Kontos et al. Cloud-Native Applications' Workload Placement over the Edge-Cloud Continuum.
Singh An Optimal Resource Provisioning Scheme Using QoS in Cloud Computing Based Upon the Dynamic Clustering and Self-Adaptive Hybrid Optimization Algorithm.
Sigurleifsson et al. An approach for modeling the operational requirements of FaaS applications for optimal deployment
Li et al. A non‐cooperative game model for reliability‐based task scheduling in cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221014