CN110069319B - 一种面向朵云资源管理的多目标虚拟机调度方法及系统 - Google Patents

一种面向朵云资源管理的多目标虚拟机调度方法及系统 Download PDF

Info

Publication number
CN110069319B
CN110069319B CN201910298352.2A CN201910298352A CN110069319B CN 110069319 B CN110069319 B CN 110069319B CN 201910298352 A CN201910298352 A CN 201910298352A CN 110069319 B CN110069319 B CN 110069319B
Authority
CN
China
Prior art keywords
cloud
virtual machine
migration
variance
load balancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910298352.2A
Other languages
English (en)
Other versions
CN110069319A (zh
Inventor
许小龙
薛原
郑玉
伏舒存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Tianhe Cloud Commerce Co.,Ltd.
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201910298352.2A priority Critical patent/CN110069319B/zh
Publication of CN110069319A publication Critical patent/CN110069319A/zh
Application granted granted Critical
Publication of CN110069319B publication Critical patent/CN110069319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向朵云资源管理的多目标虚拟机调度方法，该方法包括：实时收集朵云分配记录，并从朵云分配记录数据集R中获取运行的朵云列表P以及特殊虚拟机集合PV；通过遍历朵云分配记录数据集R，获得运行的朵云列表P中每个朵云的空闲空间；计算所有朵云对应的虚拟机调度策略集合，根据所述朵云的空闲空间评估虚拟机调度策略引起的迁移成本及执行后的朵云负载均衡方差；根据所述执行后的朵云负载均衡方差和迁移成本，计算负载均衡方差集合和迁移成本集合；通过简单加权法和多标准决策算法，寻求联合优化效果最优的虚拟机调度策略。本发明综合考虑执行虚拟机迁移产生的时间和迁移后朵云的负载均衡方差，在满足迁移的成本要求之余，优化了指标，减少了资源空闲的可能性，节省了能耗。

Description

一种面向朵云资源管理的多目标虚拟机调度方法及系统
技术领域
本发明涉及数据处理以及移动云计算领域，具体涉及一种面向朵云资源管理的多目标虚拟机调度方法及系统。
背景技术
随着移动网络技术的发展，以及用户对移动服务需求的不断增长，越来越多的移动端访问服务被提供给用户。然而，随着用户需求的增长，移动应用种类也在不断增加，尤其是许多对计算能力、延迟时间要求较高的应用。这些应用的执行需求已经远远超过了移动端设备自身的处理能力，造成了较长的延迟时间和较快的电量消耗。当把云计算引入时，移动端设备可以把计算任务发送至远程云平台执行，利用云数据中心的计算资源执行计算任务，并把结果发送回源移动设备。但是，考虑到云数据中心与大多数移动设备相隔较远，移动设备把计算任务发送至云平台需要耗费大量时间，无法满足低延迟时间要求。
朵云的采用很好地解决了这个问题。朵云是一种小型数据中心，位于网络的边缘。采用朵云的目的是通过向移动设备提供丰富的计算资源来支持资源密集型应用程序。由于朵云部署的位置与移动设备距离较近，用户能够使用增强的云服务。因此移动设备将计算任务发送至朵云上执行能极大地降低时延，提高任务处理效率，给用户提供了更好的服务体验。然而，由于移动设备分布的不均匀性，密集区域中朵云可能无法高效处理大量任务，稀疏区域中朵云可能有大量空闲资源，即造成了朵云负载不均的情况。此时需要将等待处理的计算任务发送至有空闲资源的朵云，在目标朵云上处理计算任务。此外，计算任务是以迁移虚拟机实例的形式进行传输，过程中会造成时间消耗，即产生迁移成本。因此，如何高效地分配朵云的资源是当前科学研究的重点。
但是，当前朵云环境下的计算迁移的研究几乎没有考虑到朵云的负载均衡和迁移成本的多目标优化，当迁移成本较小时，朵云的负载均衡状况也是必须要考虑的。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种面向朵云资源管理的多目标虚拟机调度方法，该方法可以解决由于负载不均衡导致的资源分配不均，指标得不到优化以及迁移策略效率低的问题。
技术方案：本发明所述的面向朵云资源管理的多目标虚拟机调度方法，该方法包括：
(1)实时收集朵云分配记录，并从朵云分配记录数据集R中获取运行的朵云列表P以及特殊虚拟机集合PV；
(2)通过遍历朵云分配记录数据集R，获得运行的朵云列表P中每个朵云的空闲空间；
(3)计算所有朵云对应的虚拟机调度策略集合，根据所述朵云的空闲空间评估虚拟机调度策略引起的迁移成本及执行后的朵云负载均衡方差；
(4)根据所述执行后的朵云负载均衡方差和迁移成本，计算负载均衡方差集合和迁移成本集合；
(5)通过简单加权法和多标准决策算法，寻求联合优化效果最优的虚拟机调度策略。
优选的，所述步骤(2)中，所述朵云列表P＝{p1,p2,…,pN}的形成过程为：根据朵云分配记录数据集，可以获得当前时刻t处于运行状态的朵云，在朵云分配记录rm中，如果rsm<t<rsm+rdm，该朵云分配记录中朵云编号rcm的朵云被加入到运行朵云列表P中，在遍历所有虚拟机实例后，可以获得所有运行朵云的编号，即得到运行朵云列表P，其中，rdm代表虚拟机实例的占用持续时间，1≤m≤M，M表示朵云分配记录数据集R中朵云分配记录的数量，N代表当前时刻运行的朵云的数量。
优选的，所述步骤(3)中，根据所述朵云的空闲空间评估虚拟机调度策略引起的迁移成本及执行后的朵云负载均衡方差，具体包括：
(31)根据特殊虚拟机pvz的部署情况
Figure GDA0003959406390000021
计算每个朵云的资源使用率ren；
(32)根据每个朵云的资源使用率ren，计算所有朵云的平均资源使用率REw；
(33)计算每个朵云的负载均衡方差lbn，进而计算所有朵云的平均负载均衡方差LBw；
(34)根据所述特殊虚拟机pvz的迁移方向
Figure GDA0003959406390000022
和特殊虚拟机pvz的部署情况
Figure GDA0003959406390000023
的计算接入点之间的虚拟机迁移时间Tmid、接入点与朵云之间的虚拟机迁移时间Tedge和虚拟机实例的开关时间Tswitch；
(35)计算虚拟机调度所引起的迁移成本MCw，计算公式为：MCw＝Tmid+2Tedge+Tswitch。
优选的，所述虚拟机迁移时间Tmid表示为：
Figure GDA0003959406390000031
其中，Sz为从源物理机迁移到目标物理机的虚拟机镜像大小，
Figure GDA0003959406390000032
为接入点之间的带宽，K为迁移过程中经过的接入点的数量，Z表示当前时刻朵云中执行的移动服务个数，1≤n≤N，N代表当前时刻运行的朵云的数量；
所述接入点与朵云之间的虚拟机迁移时间Tedge，表示为：
Figure GDA0003959406390000033
其中，θ为接入点与朵云之间的带宽；
虚拟机实例的开关时间Tswitch，表示为：
Figure GDA0003959406390000034
其中，σz表示虚拟机开关时间。
优选的，所述步骤(5)中，通过简单加权法和多标准决策算法，寻求联合优化效果最优的虚拟机调度策略，具体包括：首先对所述负载均衡方差集和迁移成本集分别进行归一化，计算虚拟机调度策略的效用值UV，比较各个虚拟机调度策略的效用值，选取效用值最高的策略为最终的虚拟机调度策略。
另一方面，本发明还提供一种面向朵云资源管理的多目标虚拟机调度系统，所述系统包括：
表示模块，用于实时收集朵云分配记录，并从朵云分配记录数据集R中获取运行的朵云列表P以及特殊虚拟机集合PV；
空间计算模块，用于通过遍历朵云分配记录数据集R，获得运行的朵云列表P中每个朵云的空闲空间；
第一计算模块，用于计算所有朵云对应的虚拟机调度策略集合，根据所述朵云的空闲空间评估虚拟机调度策略引起的迁移成本及执行后的朵云负载均衡方差；
第二计算模块，用于根据所述执行后的朵云负载均衡方差和迁移成本，计算负载均衡方差集合和迁移成本集合；
调度策略生成模块，用于通过简单加权法和多标准决策算法，寻求联合优化效果最优的虚拟机调度策略。
优选的，所述表示模块还包括朵云列表生成单元，用于生成所述朵云列表P＝{p1,p2,…,pN}，具体包括：根据朵云分配记录数据集，可以获得当前时刻t处于运行状态的朵云，在朵云分配记录rm中，如果rsm<t<rsm+rdm，该朵云分配记录中朵云编号rcm的朵云被加入到运行朵云列表P中，在遍历所有虚拟机实例后，可以获得所有运行朵云的编号，即得到运行朵云列表P，其中，rdm代表虚拟机实例的占用持续时间，1≤m≤M，M表示朵云分配记录数据集R中朵云分配记录的数量，N代表当前时刻运行的朵云的数量。
优选的，所述第一计算模块，还包括：
第一生成单元，用于根据特殊虚拟机pvz的部署情况
Figure GDA0003959406390000041
计算每个朵云的资源使用率ren；
第二生成单元，用于根据每个朵云的资源使用率ren，计算所有朵云的平均资源使用率REw；
负载均衡方差生成单元，用于计算每个朵云的负载均衡方差lbn，进而计算所有朵云的平均负载均衡方差LBw；
中间量计算单元，用于根据所述特殊虚拟机pvz的迁移方向
Figure GDA0003959406390000042
和特殊虚拟机pvz的部署情况
Figure GDA0003959406390000043
的计算接入点之间的虚拟机迁移时间Tmid、接入点与朵云之间的虚拟机迁移时间Tedge和虚拟机实例的开关时间Tswitch；
迁移成本生成单元，用于计算虚拟机调度所引起的迁移成本MCw，计算公式为：MCw＝Tmid+2Tedge+Tswitch。
优选的，所述中间量计算单元中，虚拟机迁移时间Tmid表示为：
Figure GDA0003959406390000044
其中，Sz为从源物理机迁移到目标物理机的虚拟机镜像大小，
Figure GDA0003959406390000045
为接入点之间的带宽，K为迁移过程中经过的接入点的数量，Z表示当前时刻朵云中执行的移动服务个数，1≤n≤N，N代表当前时刻运行的朵云的数量；
所述接入点与朵云之间的虚拟机迁移时间Tedge，表示为：
Figure GDA0003959406390000046
其中，θ为接入点与朵云之间的带宽；
虚拟机实例的开关时间Tswitch，表示为：
Figure GDA0003959406390000051
其中，σz为虚拟机开关时间。
优选的，所述调度策略生成模块，还包括：
归一化单元，用于对所述负载均衡方差集和迁移成本集分别进行归一化；
效用值计算单元，用于计算虚拟机调度策略的效用值UV；
最佳调度策略生成单元，用于比较各个虚拟机调度策略的效用值，选取效用值最高的策略为最终的虚拟机调度策略。
有益效果：本发明与现有技术相比，其显著优点是：1、本发明所述的虚拟机调度方法是根据实时的朵云分配记录数据集，实现了朵云资源的动态管理，使得迁移更加符合实际，精准度更高；2、迁移成本计算过程考虑了内存镜像传输所产生的时间，以及接入点与朵云之间的传输时间，更贴切云数据中心的实际能耗；3、综合考虑执行虚拟机迁移产生的时间和迁移后朵云的负载均衡方差，在满足迁移的成本要求之余，减少了资源空闲的可能性，节省了能耗，符合绿色计算的主题。
附图说明
图1为本发明其中一实施例所述的实例图；
图2为本发明其中一实施例所述的方法流程图；
图3为本发明其中一实施例所述的结构示意图；
图4为本发明其中一实施例所述的第一计算模块的结构示意图；
图5为本发明其中一实施例所述调度策略生成模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
实施例1
如图2，本发明所述的面向朵云资源管理的多目标虚拟机调度方法，包括以下步骤：
步骤1：实时收集朵云分配记录，并从朵云分配记录数据集R中获取运行的朵云列表P以及特殊虚拟机集合PV。
为了方便朵云的资源管理，虚拟化技术被采用并使用虚拟机实例来表示朵云的资源。在朵云中，系统日志文件实时保存朵云分配记录日志。当移动服务请求虚拟机实例进行资源托管时，根据请求的虚拟机实例的数量，后台将产生相同数量的朵云分配记录。假设在时刻t，朵云分配记录数据集共有M条朵云分配记录，记作R＝{r1,r2,…,rM}。
R中每条朵云分配记录可以用多属性元组分别表示。将朵云分配记录rm(1≤m<M)表示为rm＝(rem,rcm,rvm,rsm,rdm)，其中，rem代表所分配的移动服务的编号，rcm代表占用的朵云的编号，rvm代表占用的虚拟机的编号，rsm代表虚拟机实例的占用起始时间，rdm代表虚拟机实例的占用持续时间。
通过对朵云分配记录的分析与统计，可以确定t时刻运行的朵云列表。例如：在朵云分配记录rm(1≤m<M)中，如果rsm<t<rsm+rdm，该朵云分配记录中编号rcm的朵云被加入到运行朵云列表P中，在遍历所有朵云分配记录后，运行朵云列表表示为P＝{p1,p2,…,pN}，其中，N代表当前时刻运行的朵云的数量。
对于同一移动服务请求的虚拟机实例，在虚拟机调度过程中将进行同批次迁移，以免造成不必要的通信开销。因此，需要对朵云分配记录进行分析以选择出可调度的虚拟机列表。若当前朵云中正在执行Z个移动服务，那么分析后得到的可调度虚拟机数量同样为Z，表示为PV＝{pv1,pv2,…,pvZ}。对于pvZ(1≤z≤Z)，将其需求的虚拟机实例的数量记为nmz。
步骤2：通过遍历朵云分配记录数据集R，获得运行的朵云列表P中每个朵云的空闲空间。
为了判断每个虚拟机是否可以被迁移，以及如果可以迁移哪些朵云可以作为迁移目标，需要获得每个朵云的空闲空间。
记朵云pn(1≤n≤N)的容量为cn，遍历朵云分配记录数据集后，得到当前时刻pn上虚拟机实例的使用量为un，所以pn的空闲资源量为cn-un。
步骤3：将虚拟机调度策略的数量表示为W，记虚拟机调度策略集合为S＝{s1,s2,…,sW}；虚拟机的调度策略可通过配置参数后，计算机直接生成，对于虚拟机调度策略sw，评估其引起的迁移成本及执行后的朵云负载均衡方差。
首先，计算虚拟机pvz的部署情况
Figure GDA0003959406390000061
如公式(1)所示。
Figure GDA0003959406390000071
然后，计算每个朵云的资源使用率ren，如公式(2)所示，其中，cn表示朵云pn的容量，nmz表示特殊虚拟机pvZ需求的虚拟机实例的数量。
Figure GDA0003959406390000072
接着，计算所有朵云的平均资源使用率REw，如公式(3)所示，其中，N代表运行朵云的数量。
Figure GDA0003959406390000073
进一步，需要计算每个朵云的负载均衡方差lbn，如公式(4)所示。
lbn＝(ren-REw)2 (4)
最后，计算所有朵云的平均负载均衡方差LBw，如公式(5)所示。
Figure GDA0003959406390000074
另一方面，将迁移成本表示为虚拟机迁移时间，迁移成本被分化为接入点之间的虚拟机迁移时间Tmid，接入点与朵云之间的虚拟机迁移时间Tedge以及虚拟机实例的开关时间Tswitch；因此虚拟机调度所引起的迁移成本MCw如公式(6)所示。
MCw＝Tmid+2Tedge+Tswitch。 (6)
首先，计算虚拟机pvz的迁移方向
Figure GDA0003959406390000075
如公式(7)所示。
Figure GDA0003959406390000076
然后，计算接入点之间的虚拟机迁移时间Tmid，如公式(8)所示，其中，pvz镜像的大小为Sz，接入点之间的带宽为
Figure GDA0003959406390000077
以及迁移过程中经过的接入点的数量为K。
Figure GDA0003959406390000078
接着，计算接入点与朵云之间的虚拟机迁移时间Tedge，如公式(9)所示，其中接入点与朵云之间的带宽为θ。
Figure GDA0003959406390000081
最后计算虚拟机实例的开关时间Tswitch，如公式(10)所示，其中虚拟机开关时间为σz。
Figure GDA0003959406390000082
步骤4：不同的虚拟机调度策略导致不同的虚拟机放置状态，根据步骤3的负载均衡方差和迁移成本评估方法，计算负载均衡方差集合和迁移成本集合。
在遍历S中所有的虚拟机调度策略后，获取sw对应的虚拟机迁移过程和迁移后的虚拟机放置状态，根据步骤3计算对应的负载均衡方差和迁移成本。
步骤5：通过简单加权法和多标准决策算法，寻求联合优化效果最优的虚拟机调度策略。
对于虚拟机迁移而言，其所导致的负载均衡方差和迁移成本越低越好。因此负载均衡方差和迁移成本均为消极标准，分别可以被归一化为如公式(11)(12)所示。
Figure GDA0003959406390000083
其中
Figure GDA0003959406390000084
和
Figure GDA0003959406390000085
分别代表虚拟机迁移产生的朵云最大平均负载均衡方差和最小平均负载均衡方差；
Figure GDA0003959406390000086
其中
Figure GDA0003959406390000087
和
Figure GDA0003959406390000088
分别表示虚拟机迁移产生的最大迁移成本和最小迁移成本。
虚拟机调度策略的效用值表示为UV，如公式(13)所示。
UV＝V(LBw)·ρLB+V(MCw)·ρMC(ρLB+ρMC＝1) (13)
根据每个虚拟机调度策略的效用值，选择效用值最大的虚拟机调度策略。
实施例2
另一方面，如图3所示，本发明还提供一种面向朵云资源管理的多目标虚拟机调度系统，包括：
表示模块1，用于实时收集朵云分配记录，并从朵云分配记录数据集R中获取运行的朵云列表P以及特殊虚拟机集合PV；
为了方便朵云的资源管理，虚拟化技术被采用并使用虚拟机实例来表示朵云的资源。在朵云中，系统日志文件实时保存朵云分配记录日志。当移动服务请求虚拟机实例进行资源托管时，根据请求的虚拟机实例的数量，后台将产生相同数量的朵云分配记录。假设在时刻t，朵云分配记录数据集共有M条朵云分配记录，记作R＝{r1,r2,…,rM}。
R中每条朵云分配记录可以用多属性元组分别表示。将朵云分配记录rm(1≤m<M)表示为rm＝(rem,rcm,rvm,rsm,rdm)，其中，rem代表所分配的移动服务的编号，rcm代表占用的朵云的编号，rvm代占用的虚拟机的编号，rsm代表虚拟机实例的占用起始时间，rdm代表虚拟机实例的占用持续时间。
所述表示模块1还包块：
朵云列表生成单元11，用于生成所述朵云列表P＝{p1,p2,…,pN}，具体的，通过对朵云分配记录的分析与统计，可以确定t时刻运行的朵云列表。例如：在朵云分配记录rm(1≤m<M)中，如果rsm<t<rsm+rdm，该朵云分配记录中编号rcm的朵云被加入到运行朵云列表P中，在遍历所有朵云分配记录后，运行朵云列表表示为P＝{p1,p2,…,pN}，其中，N代表当前时刻运行的朵云的数量。
特殊虚拟机表示单元12，用于表示特殊虚拟机，具体的：对于同一移动服务请求的虚拟机实例，在虚拟机调度过程中将进行同批次迁移，以免造成不必要的通信开销。因此，需要对朵云分配记录进行分析以选择出可调度的虚拟机列表。若当前朵云中正在执行Z个移动服务，那么分析后得到的可调度虚拟机数量同样为Z，表示为PV＝{pv1,pv2,…,pvZ}。对于pvZ(1≤z≤Z)，将其需求的虚拟机实例的数量记为nmz。
空间计算模块2，用于通过遍历朵云分配记录数据集R，获得运行的朵云列表P中每个朵云的空闲空间；
为了判断每个虚拟机是否可以被迁移，以及如果可以迁移哪些朵云可以作为迁移目标，需要获得每个朵云的空闲空间。
记朵云pn(1≤n≤N)的容量为cn，遍历朵云分配记录数据集后，得到当前时刻pn上虚拟机实例的使用量为un，所以pn的空闲资源量为cn-un。
第一计算模块3，用于将虚拟机调度策略的数量表示为W，记虚拟机调度策略集合为S＝{s1,s2,…,sW}；对于虚拟机调度策略sw，评估其引起的迁移成本及执行后的朵云负载均衡方差；如图4所示，具体包括：
第一生成单元31，用于根据特殊虚拟机pvz的部署情况
Figure GDA0003959406390000101
计算每个朵云的资源使用率ren；
首先，计算虚拟机pvz的部署情况
Figure GDA0003959406390000102
如公式(1)所示。
Figure GDA0003959406390000103
然后，计算每个朵云的资源使用率ren，如公式(2)所示，其中，cn表示朵云pn的容量，nmz表示特殊虚拟机pvZ需求的虚拟机实例的数量。
Figure GDA0003959406390000104
第二生成单元32，用于根据每个朵云的资源使用率ren，计算所有朵云的平均资源使用率REw；
Figure GDA0003959406390000105
其中，N代表运行朵云的数量。
负载均衡方差生成单元33，用于计算每个朵云的负载均衡方差lbn，进而计算所有朵云的平均负载均衡方差LBw；
首先，每个朵云的负载均衡方差lbn，如公式(4)所示。
lbn＝(ren-REw)2 (4)
计算所有朵云的平均负载均衡方差LBw，如公式(5)所示。
Figure GDA0003959406390000106
中间量计算单元34，用于根据所述特殊虚拟机pvz的迁移方向
Figure GDA0003959406390000107
和特殊虚拟机pvz的部署情况
Figure GDA0003959406390000108
的计算接入点之间的虚拟机迁移时间Tmid、接入点与朵云之间的虚拟机迁移时间Tedge和虚拟机实例的开关时间Tswitch；
计算虚拟机pvz的迁移方向
Figure GDA0003959406390000111
如公式(7)所示。
Figure GDA0003959406390000112
然后，计算接入点之间的虚拟机迁移时间Tmid，如公式(8)所示，其中，pvz镜像的大小为Sz，接入点之间的带宽为
Figure GDA0003959406390000113
以及迁移过程中经过的接入点的数量为K。
Figure GDA0003959406390000114
接着，计算接入点与朵云之间的虚拟机迁移时间Tedge，如公式(9)所示，其中接入点与朵云之间的带宽为θ。
Figure GDA0003959406390000115
最后计算虚拟机实例的开关时间Tswitch，如公式(10)所示，其中虚拟机开关时间为σz。
Figure GDA0003959406390000116
迁移成本生成单元35，用于计算虚拟机调度所引起的迁移成本MCw，计算公式为：MCw＝Tmid+2Tedge+Tswitch。
将迁移成本表示为虚拟机迁移时间，迁移成本被分化为接入点之间的虚拟机迁移时间Tmid，接入点与朵云之间的虚拟机迁移时间Tedge以及虚拟机实例的开关时间Tswitch；因此虚拟机调度所引起的迁移成本MCw如公式(6)所示。
MCw＝Tmid+2Tedge+Tswitch。 (6)
第二计算模块4，用于根据所述执行后的朵云负载均衡方差和迁移成本，计算负载均衡方差集合和迁移成本集合；
在遍历S中所有的虚拟机调度策略后，获取sw对应的虚拟机迁移过程和迁移后的虚拟机放置状态，根据第一计算模块计算对应的负载均衡方差和迁移成本。
调度策略生成模块5，用于通过简单加权法和多标准决策算法，寻求联合优化效果最优的虚拟机调度策略。
优选的，所述调度策略生成模块5中，如图5所示，还包括：
归一化单元51，用于对所述负载均衡方差集和迁移成本集分别进行归一化；
对于虚拟机迁移而言，其所导致的负载均衡方差和迁移成本越低越好。因此负载均衡方差和迁移成本均为消极标准，分别可以被归一化为如公式(11)(12)所示。
Figure GDA0003959406390000121
其中，
Figure GDA0003959406390000122
和
Figure GDA0003959406390000123
分别代表虚拟机迁移产生的朵云最大平均负载均衡方差和最小平均负载均衡方差；
Figure GDA0003959406390000124
其中
Figure GDA0003959406390000125
和
Figure GDA0003959406390000126
分别表示虚拟机迁移产生的最大迁移成本和最小迁移成本。
效用值计算单元52，用于计算虚拟机调度策略的效用值UV；
虚拟机调度策略的效用值表示为UV，如公式(13)所示。
UV＝V(LBw)·ρLB+V(MCw)·ρMC(ρLB+ρMC＝1) (13)
最佳调度策略生成单元53，用于比较各个虚拟机调度策略的效用值，选取效用值最高的策略为最终的虚拟机调度策略。
为了验证本发明中方法和系统的有效性，做了一下模拟实验：
如图1所示，本实施例模拟朵云环境下进行虚拟机调度的实验，并选择LENOVOTS250作为朵云服务器在，各个接入点的连接形式为城域网连接，源接入点、过程接入点以及目的接入点之间进行数据传输。一个朵云上可能运行多个虚拟机。
模拟实验环境中涉及的参数如表1所示。
表1模拟实验环境中涉及的参数设置
Figure GDA0003959406390000127
Figure GDA0003959406390000131
虚拟机迁移通常会导致部分朵云的空载，造成了额外的能耗，违背了绿色云计算的思想。因此需要对调度后运行朵云的数量进行统计，并与调度前运行朵云数量进行对比，如表2所示。从表2可以发现，在经过本发明提出的方法进行虚拟机调度后，能实现运行朵云数量的减少。对于五种不同数量的移动服务数据集(1000、2000、3000、4000、5000)，经过本方法的调度后，朵云使用量分别缩小了9、15、23、32、39。
表2调度前后运行朵云数量对比(单位：个)
数据集 1000 2000 3000 4000 5000
调度前 79 168 274 342 407
调度后 70 153 251 310 368
经过发明提出的方法进行虚拟机调度后，统计了不同数据集下朵云的资源使用率，可以发现，调度后的朵云资源使用率较之调度前更高，如表3所示。
表3调度前后朵云资源使用率对比
数据集 1000 2000 3000 4000 5000
调度前 74.79％ 75.75％ 77.85％ 78.16％ 78.63％
调度后 82.19％ 82.015％ 83.08％ 83.13％ 83.79％
虚拟机迁移会对朵云负载造成变化，因此要评估虚拟机迁移对负载均衡方差的影响。表4显示了调度前后朵云的平均负载均衡方差的对比。从表4可以看出，无论数据集规模多大，经过调度后均能实现负载均衡方差的减少。对于五种不同数量的移动服务数据集(1000、2000、3000、4000、5000)，经过本方法的调度后，朵云负载均衡方差分别缩小了0.04、0.06、0.07、0.11、0.16。
表4调度前后朵云负载均衡方差对比
数据集 1000 2000 3000 4000 5000
调度前 3.79 4.23 4.38 4.45 4.59
调度后 3.75 4.17 4.31 4.34 4.43
对于虚拟机迁移，迁移成本是评估迁移是否值得的重要指标。表5显示了最优策略和次优策略分别调度后产生的迁移成本。从表5可以看出，无论数据集规模多大，最优策略的迁移成本总是小于次优策略。对于五种不同数量的移动服务数据集(1000、2000、3000、4000、5000)，执行最优虚拟机调度策略后，迁移成本分别缩小了0.8、0.6、0.6、0.7、0.6。
表5虚拟机迁移成本对比(单位：秒)
数据集 1000 2000 3000 4000 5000
次优策略 6.8 8.6 9.1 9.8 10.5
最优策略 6 8 8.5 9.1 9.9
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (4)

1.一种面向朵云资源管理的多目标虚拟机调度方法，其特征在于，该方法包括：
(1)实时收集朵云分配记录，并从朵云分配记录数据集R中获取运行的朵云列表P以及特殊虚拟机集合PV；
在时刻t，朵云分配记录数据集共有M条朵云分配记录，记作R＝{r1,r2,…,rM}，R中每条朵云分配记录用多属性元组分别表示，通过遍历所有朵云分配记录后，运行朵云列表表示为P＝{p1,p2,…,pN}，其中，N代表当前时刻运行的朵云的数量，
对于同一移动服务请求的虚拟机实例，在虚拟机调度过程中将进行同批次迁移，对朵云分配记录进行分析以选择出可调度的虚拟机列表，若当前朵云中正在执行Z个移动服务，那么分析后得到的可调度虚拟机数量同样为Z，表示为特殊虚拟机集合PV＝{pv1,pv2,…,pvZ}，pvZ记为特殊虚拟机，将其需求的虚拟机实例的数量记为nmz，1≤z≤Z；
(2)通过遍历朵云分配记录数据集R，获得运行的朵云列表P中每个朵云的空闲空间；
所述步骤(2)中，所述朵云列表P＝{p1,p2,…,pN}的形成过程为：根据朵云分配记录数据集，获得当前时刻t处于运行状态的朵云，在朵云分配记录rm中，如果rsm<t<rsm+rdm，该朵云分配记录中朵云编号rcm的朵云被加入到运行朵云列表P中，在遍历所有虚拟机实例后，获得所有运行朵云的编号，即得到运行朵云列表P，其中，rsm代表虚拟机实例的占用起始时间，rdm代表虚拟机实例的占用持续时间，1≤m≤M，M表示朵云分配记录数据集R中朵云分配记录的数量；
(3)计算所有朵云对应的虚拟机调度策略集合，根据所述朵云的空闲空间评估虚拟机调度策略引起的迁移成本及执行后的朵云负载均衡方差；
所述步骤(3)中，根据所述朵云的空闲空间评估虚拟机调度策略引起的迁移成本及执行后的朵云负载均衡方差，具体包括：
(31)根据特殊虚拟机pvz的部署情况
Figure FDA0004043737090000011
计算每个朵云的资源使用率ren；
(32)根据每个朵云的资源使用率ren，计算所有朵云的平均资源使用率REw；
(33)计算每个朵云的负载均衡方差lbn，进而计算所有朵云的平均负载均衡方差LBw；
(34)根据所述特殊虚拟机pvz的迁移方向
Figure FDA0004043737090000012
和特殊虚拟机pvz的部署情况
Figure FDA0004043737090000013
的计算接入点之间的虚拟机迁移时间Tmid、接入点与朵云之间的虚拟机迁移时间Tedge和虚拟机实例的开关时间Tswitch；
(35)计算虚拟机调度所引起的迁移成本MCw，计算公式为：MCw＝Tmid+2Tedge+Tswitch；
所述虚拟机迁移时间Tmid表示为：
Figure FDA0004043737090000021
其中，Sz为从源物理机迁移到目标物理机的虚拟机镜像大小，
Figure FDA0004043737090000022
为接入点之间的带宽，K为迁移过程中经过的接入点的数量，Z表示当前时刻朵云中执行的移动服务个数，1≤n≤N；
所述接入点与朵云之间的虚拟机迁移时间Tedge，表示为：
Figure FDA0004043737090000023
其中，θ为接入点与朵云之间的带宽；
虚拟机实例的开关时间Tswitch，表示为：
Figure FDA0004043737090000024
其中，σz表示虚拟机开关时间；
(4)根据所述执行后的朵云负载均衡方差和迁移成本，计算负载均衡方差集合和迁移成本集合；
(5)通过简单加权法和多标准决策算法，寻求联合优化效果最优的虚拟机调度策略。
2.根据权利要求1所述的面向朵云资源管理的多目标虚拟机调度方法，其特征在于，所述步骤(5)中，通过简单加权法和多标准决策算法，寻求联合优化效果最优的虚拟机调度策略，具体包括：首先对所述负载均衡方差集和迁移成本集分别进行归一化，计算虚拟机调度策略的效用值UV，比较各个虚拟机调度策略的效用值，选取效用值最高的策略为最终的虚拟机调度策略。
3.一种根据权利要求1和2任一项所述的面向朵云资源管理的多目标虚拟机调度方法实现的系统，其特征在于，所述系统包括：
表示模块，用于实时收集朵云分配记录，并从朵云分配记录数据集R中获取运行的朵云列表P以及特殊虚拟机集合PV；
在时刻t，朵云分配记录数据集共有M条朵云分配记录，记作R＝{r1,r2,…,rM}，R中每条朵云分配记录用多属性元组分别表示，通过遍历所有朵云分配记录后，运行朵云列表表示为P＝{p1,p2,…,pN}，其中，N代表当前时刻运行的朵云的数量，
对于同一移动服务请求的虚拟机实例，在虚拟机调度过程中将进行同批次迁移，对朵云分配记录进行分析以选择出可调度的虚拟机列表，若当前朵云中正在执行Z个移动服务，那么分析后得到的可调度虚拟机数量同样为Z，表示为特殊虚拟机集合PV＝{pv1,pv2,…,pvZ}，对于pvZ，将其需求的虚拟机实例的数量记为nmz，pvZ记为特殊虚拟机，1≤z≤Z；
空间计算模块，用于通过遍历朵云分配记录数据集R，获得运行的朵云列表P中每个朵云的空闲空间；
所述朵云列表P＝{p1,p2,…,pN}的形成过程为：根据朵云分配记录数据集，获得当前时刻t处于运行状态的朵云，在朵云分配记录rm中，如果rsm<t<rsm+rdm，该朵云分配记录中朵云编号rcm的朵云被加入到运行朵云列表P中，在遍历所有虚拟机实例后，获得所有运行朵云的编号，即得到运行朵云列表P，其中，rsm代表虚拟机实例的占用起始时间，rdm代表虚拟机实例的占用持续时间，1≤m≤M，M表示朵云分配记录数据集R中朵云分配记录的数量；
第一计算模块，用于计算所有朵云对应的虚拟机调度策略集合，根据所述朵云的空闲空间评估虚拟机调度策略引起的迁移成本及执行后的朵云负载均衡方差；
所述第一计算模块，还包括：
第一生成单元，用于根据特殊虚拟机pvz的部署情况
Figure FDA0004043737090000031
计算每个朵云的资源使用率ren；
第二生成单元，用于根据每个朵云的资源使用率ren，计算所有朵云的平均资源使用率REw；
负载均衡方差生成单元，用于计算每个朵云的负载均衡方差lbn，进而计算所有朵云的平均负载均衡方差LBw；
中间量计算单元，用于根据所述特殊虚拟机pvz的迁移方向
Figure FDA0004043737090000032
和特殊虚拟机pvz的部署情况
Figure FDA0004043737090000033
的计算接入点之间的虚拟机迁移时间Tmid、接入点与朵云之间的虚拟机迁移时间Tedge和虚拟机实例的开关时间Tswitch；
迁移成本生成单元，用于计算虚拟机调度所引起的迁移成本MCw，计算公式为：MCw＝Tmid+2Tedge+Tswitch；
所述中间量计算单元中，虚拟机迁移时间Tmid表示为：
Figure FDA0004043737090000041
其中，Sz为从源物理机迁移到目标物理机的虚拟机镜像大小，
Figure FDA0004043737090000042
为接入点之间的带宽，K为迁移过程中经过的接入点的数量，Z表示当前时刻朵云中执行的移动服务个数，1≤n≤N；
所述接入点与朵云之间的虚拟机迁移时间Tedge，表示为：
Figure FDA0004043737090000043
其中，θ为接入点与朵云之间的带宽；
虚拟机实例的开关时间Tswitch，表示为：
Figure FDA0004043737090000044
其中，σz表示虚拟机开关时间；
第二计算模块，用于根据所述执行后的朵云负载均衡方差和迁移成本，计算负载均衡方差集合和迁移成本集合；
调度策略生成模块，用于通过简单加权法和多标准决策算法，寻求联合优化效果最优的虚拟机调度策略。
4.根据权利要求3所述的系统，其特征在于，所述调度策略生成模块中，还包括：
归一化单元，用于对所述负载均衡方差集和迁移成本集分别进行归一化；
效用值计算单元，用于计算虚拟机调度策略的效用值UV；
最佳调度策略生成单元，用于比较各个虚拟机调度策略的效用值，选取效用值最高的策略为最终的虚拟机调度策略。
CN201910298352.2A 2019-04-15 2019-04-15 一种面向朵云资源管理的多目标虚拟机调度方法及系统 Active CN110069319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910298352.2A CN110069319B (zh) 2019-04-15 2019-04-15 一种面向朵云资源管理的多目标虚拟机调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910298352.2A CN110069319B (zh) 2019-04-15 2019-04-15 一种面向朵云资源管理的多目标虚拟机调度方法及系统

Publications (2)

Publication Number Publication Date
CN110069319A CN110069319A (zh) 2019-07-30
CN110069319B true CN110069319B (zh) 2023-05-02

Family

ID=67367559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298352.2A Active CN110069319B (zh) 2019-04-15 2019-04-15 一种面向朵云资源管理的多目标虚拟机调度方法及系统

Country Status (1)

Country Link
CN (1) CN110069319B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110661719B (zh) * 2019-09-26 2022-12-30 杭州安恒信息技术股份有限公司 流量负载均衡方法和装置
CN111857976B (zh) * 2020-08-07 2023-06-02 华侨大学 一种基于分解的多目标优化的计算迁移方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949431B2 (en) * 2011-08-24 2015-02-03 Radware, Ltd. Method for live migration of virtual machines
US20160170791A1 (en) * 2014-12-10 2016-06-16 University-Industry Cooperation Group Of Kyung Hee University Device for controlling migration in a distributed cloud environment and method for controlling migration using the same
US9606826B2 (en) * 2014-08-21 2017-03-28 International Business Machines Corporation Selecting virtual machines to be migrated to public cloud during cloud bursting based on resource usage and scaling policies
CN106790713A (zh) * 2017-03-08 2017-05-31 中国人民解放军国防科学技术大学 云计算环境下的跨数据中心虚拟机迁移方法
CN107861796A (zh) * 2017-11-30 2018-03-30 南京信息工程大学 一种支持云数据中心能耗优化的虚拟机调度方法
US10048977B2 (en) * 2015-12-22 2018-08-14 Intel Corporation Methods and apparatus for multi-stage VM virtual network function and virtual service function chain acceleration for NFV and needs-based hardware acceleration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949431B2 (en) * 2011-08-24 2015-02-03 Radware, Ltd. Method for live migration of virtual machines
US9606826B2 (en) * 2014-08-21 2017-03-28 International Business Machines Corporation Selecting virtual machines to be migrated to public cloud during cloud bursting based on resource usage and scaling policies
US20160170791A1 (en) * 2014-12-10 2016-06-16 University-Industry Cooperation Group Of Kyung Hee University Device for controlling migration in a distributed cloud environment and method for controlling migration using the same
US10048977B2 (en) * 2015-12-22 2018-08-14 Intel Corporation Methods and apparatus for multi-stage VM virtual network function and virtual service function chain acceleration for NFV and needs-based hardware acceleration
CN106790713A (zh) * 2017-03-08 2017-05-31 中国人民解放军国防科学技术大学 云计算环境下的跨数据中心虚拟机迁移方法
CN107861796A (zh) * 2017-11-30 2018-03-30 南京信息工程大学 一种支持云数据中心能耗优化的虚拟机调度方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Cloudlets Activation Scheme for Scalable Mobile Edge Computing with Transmission Power Control and Virtual Machine Migration;Tiago Gama Rodrigues 等;《IEEE》;20180930;全文 *
云数据中心中负载均衡的虚拟机调度方法;栾志坤等;《计算机与现代化》;20170515(第05期);全文 *
基于微云的移动视频预取系统;纪传伟等;《计算机科学》;20160415(第04期);全文 *
基于综合信任的边缘计算资源协同研究;邓晓衡等;《计算机研究与发展》;20180315(第03期);全文 *
移动云计算中的微云部署问题研究;郎为民等;《电信快报》;20170610(第06期);全文 *

Also Published As

Publication number Publication date
CN110069319A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
Amini et al. A Dynamic SLA Aware Heuristic Solution For IaaS Cloud Placement Problem Without Migration
CN107861796B (zh) 一种支持云数据中心能耗优化的虚拟机调度方法
CN107124472A (zh) 负载均衡方法及装置、计算机可读存储介质
WO2017166643A1 (zh) 一种任务资源的量化方法和装置
US20120221730A1 (en) Resource control system and resource control method
CN111813506A (zh) 一种基于粒子群算法资源感知计算迁移方法、装置及介质
CN110347515B (zh) 一种适合边缘计算环境的资源优化分配方法
CN115134371A (zh) 包含边缘网络算力资源的调度方法、系统、设备及介质
CN110069319B (zh) 一种面向朵云资源管理的多目标虚拟机调度方法及系统
CN112416516A (zh) 一种面向资源效用提升的云数据中心资源调度方法
Mylavarapu et al. An optimized capacity planning approach for virtual infrastructure exhibiting stochastic workload
CN112363827A (zh) 一种基于延迟因子的多资源指标Kubernetes调度方法
CN108388471B (zh) 一种基于双门限约束虚机迁移的管理方法
CN108200185B (zh) 一种实现负载均衡的方法及装置
CN110167031A (zh) 一种面向集中式基站的资源分配方法、设备及存储介质
CN103220363A (zh) 基于云计算的分布式网络培训资源管理系统及调度方法
CN117707756A (zh) 一种分布式计算系统的实现方法、装置及计算引擎
CN109144664B (zh) 一种基于用户服务质量需求差异的虚拟机动态迁移方法
Shubair Enhancement of task scheduling technique of big data cloud computing
WO2018205890A1 (zh) 一种分布式系统的任务分配方法及系统及其计算机可读存储介质和计算机设备
CN106227600B (zh) 一种基于能量感知的多维虚拟资源分配方法
Lin et al. A workload-driven approach to dynamic data balancing in MongoDB
Wang et al. An adaptive dynamic feedback load balancing algorithm based on QoS in distributed file system
CN109783219A (zh) 一种云资源优化调度方法及装置
Hanczewski et al. A Multiparameter Analytical Model of the Physical Infrastructure of a Cloud-Based System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240816

Address after: Room 2516, Building 1, Tianhe Plaza, No. 146 Fengtai South Road, Yuhuatai District, Nanjing City, Jiangsu Province, China 210000

Patentee after: Jiangsu Tianhe Cloud Commerce Co.,Ltd.

Country or region after: China

Address before: No.219, ningliu Road, Jiangbei new district, Nanjing, Jiangsu Province, 210000

Patentee before: Nanjing University of Information Science and Technology

Country or region before: China

TR01 Transfer of patent right