CN105843670A - 一种云平台虚拟集群部署整合方法 - Google Patents
一种云平台虚拟集群部署整合方法 Download PDFInfo
- Publication number
- CN105843670A CN105843670A CN201610162639.9A CN201610162639A CN105843670A CN 105843670 A CN105843670 A CN 105843670A CN 201610162639 A CN201610162639 A CN 201610162639A CN 105843670 A CN105843670 A CN 105843670A
- Authority
- CN
- China
- Prior art keywords
- virtual machine
- machine
- virtual
- physical machine
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000010354 integration Effects 0.000 title claims abstract description 23
- 210000000349 chromosome Anatomy 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 13
- 230000005012 migration Effects 0.000 claims description 13
- 238000013508 migration Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 7
- 230000002068 genetic effect Effects 0.000 abstract 1
- 238000004064 recycling Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000000205 computational method Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 244000166124 Eucalyptus globulus Species 0.000 description 1
- 229940126655 NDI-034858 Drugs 0.000 description 1
- 241000290929 Nimbus Species 0.000 description 1
- 244000131316 Panax pseudoginseng Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种云平台虚拟集群部署整合方法,该方法以基于用户资源预留申请的云服务平台为基础,大致包括资源预留申请判定、虚拟机批量回收、虚拟机批量部署和虚拟机整合四个部分;在虚拟机批量部署中,本发明应用遗传算法进行最优化解或近似最优解的计算,其中优化目标包括集群的综合平均资源利用率和综合资源利用均衡率。在集群综合平均利用率低于临界值时本发明调用虚拟机整合程序,使用贪婪算法寻找虚拟机整合优化问题的一个可行解。本发明增加了虚拟集群资源预留申请的功能,平台能够自动帮用户进行虚拟机生命周期的管理,同时能够提高云数据中心的资源利用率并保证虚拟机上所运行的应用程序的服务质量。
Description
技术领域
本发明属于云计算技术领域,具体涉及一种云平台虚拟集群部署整合方法。
背景技术
随着云计算服务的发展,越来越多的大型企业建立了自己的私有云、混合云或公有云服务平台,例如国外领先的亚马逊公司以及国内领先的华为公司都能够提供虚拟基础资源的租赁服务。所述的云服务指的是以基础设施作为服务(IaaS,Infrastructure as aService),基础设施主要包括虚拟处理器、虚拟内存、虚拟存储网络和虚拟传输网络等四个部分资源。在云服务提供者方面,以虚拟化为核心的资源管理策略带来了虚拟机服务器整合(Server Consolidation)与在线迁移(Live Migration)两个主要功能,通过虚拟机服务器的整合能够提高云数据中心的资源利用率并降低计算能耗,例如,当检测到某个物理机即将出现故障或者资源利用率过高的时候,可以通过虚拟机在线迁移技术将他们迁移到其它的目的物理机中。在云服务用户方面,云计算为诸多的科研人员和初创公司提供了资源可扩展性(Resource Scalability)与按需付费(Pay-as-you-go)的虚拟资源计算平台,它通过互联网向用户提供在线的服务。云服务用户可以随时的更改所租赁虚拟机的配置参数,比如在资源过多分配(Over-provisioning)时可以释放部分相应的资源,在资源过少分配(Under-provisioning)时可以增加部分相应的资源。目前大部分的IaaS服务平台采用以小时为单位的时长来计算用户的资源租赁费用,因此虚拟机上应用程序在没有工作负载或者工作负载比较低时,用户可以选择释放全部或者部分虚拟资源来减少租赁费用。
云服务提供者在每一个时间段都会接收大量来自用户的虚拟集群资源预留请求,一个虚拟集群的申请包括每个虚拟机的虚拟处理器数量、虚拟内存大小、虚拟存储网络带宽、虚拟传输网络带宽,以及集群的虚拟机数目、启动时间和关闭时间等。目前工业界存在许多的云资源管理器,例如OpenNebula、OpenStack、Eucalyptus和Nimbus等开源软件,它们能够管理监控经过Xen和VMware等软件虚拟之后的虚拟资源池,并向云平台开发者提供命令行接口(CLI,Command Line Interface)与应用程序接口(API,Application ProgramInterface)进行一系列的虚拟机操作,比如创建、删除、开机、关机、重启、挂起和恢复等。然而目前的云资源管理器还存在缺少租赁管理机制的缺点,对虚拟机的生命周期控制不够灵活,用户不能预留将来某段时间的资源请求,而是对用户发送过来的虚拟集群资源请求采用立即响应的方法。
发明内容
针对现有技术所存在的上述技术问题,本发明提供了一种云平台虚拟集群部署整合方法,能够有效地提高云数据中心的资源利用率,并同时保证虚拟机上所运行的应用程序的服务质量。
一种云平台虚拟集群部署整合方法,包括:
首先,创建物理机信息表和虚拟机信息表,实时接收用户所提交的虚拟机资源预留请求并加入资源申请队列中;
每隔固定时间段t1,调用资源预留判定程序计算物理机集群能否满足资源申请队列中各虚拟机资源预留请求,将通过判定的虚拟机资源预留请求对应的虚拟机信息加入虚拟机信息表中;
每隔固定时间段t2,调用虚拟机批量回收程序对上一时间段t2内到达关闭时刻的虚拟机进行资源回收,并更新物理机信息表和虚拟机信息表;
每隔固定时间段t3,调用虚拟机批量部署程序对下一时间段t3内到达启动时刻的各虚拟机分配部署具体的物理机资源。
所述的物理机信息表包括每台物理机的标号IDPM、CPU核数CPUtotal、内存大小MEMtotal、存储网络带宽DIStotal、传输网络带宽NETtotal、CPU已用核数CPUuse、内存已用大小MEMuse、存储网络已用带宽DISuse、传输网络已用带宽NETuse以及物理机状态。
所述的虚拟机信息表包括已预约的每台虚拟机的标号IDVM、虚拟CPU核数CPUVM、虚拟内存大小MEMVM、虚拟存储网络带宽DISVM、虚拟传输网络带宽NETVM、启动时刻tstart、关闭时刻tfinish以及对应分配的物理机标号IDPM。
所述的虚拟机资源预留请求包括用户所要调用虚拟机的数量、配置信息、启动时刻和关闭时刻。
所述的资源预留判定程序采用先进先出的方式逐条判断资源申请队列中的虚拟机资源预留请求;对于任一条虚拟机资源预留请求,在该虚拟机资源预留请求对应的启动时刻至关闭时刻内若物理机集群的空闲资源能够满足该虚拟机资源预留请求所要调用虚拟机的资源需求总量,则判定该虚拟机资源预留请求通过,并将该虚拟机资源预留请求对应的虚拟机信息加入虚拟机信息表中,同时对该虚拟机资源预留请求所要调用的虚拟机赋予标号,并将这些虚拟机对应分配的物理机标号IDPM置为Null。
所述的虚拟机批量回收程序以物理机标号IDPM为顺序对每台物理机进行判断处理:对于运行于物理机上的任一虚拟机,比较当前时间与该虚拟机的关闭时刻,如果关闭时刻早于当前时间,则回收该虚拟机所占用的资源,并从虚拟机信息表中删除该虚拟机信息,进而更新物理机信息表中对应的物理机信息;依此遍历运行于物理机上的所有虚拟机。
所述虚拟机批量部署程序的具体过程如下:
(1)初始化生成两个父代染色体;所述的父代染色体为序列结构且下一时间段t3内到达启动时刻的各虚拟机所分配的物理机标号IDPM按启动时刻顺序对应序列结构中的每个值;
(2)随机确定两个交叉点,使两个父代染色体分别按这两个交叉点进行两次配对交叉,生成四个子代染色体;
(3)分别计算采用这四个子代染色体对应分配部署方案后云平台的适应度取适应度Z最高的两个子代染色体作为父代染色体并执行步骤(2);其中,CARU和CRUB为云平台的综合平均资源利用率和综合资源利用均衡率;
(4)根据步骤(2)和(3)循环执行N次,N为大于1的自然数;取最后一次生成的四个子代染色体中适应度Z最高的一个子代染色体作为下一时间段t3虚拟机的最佳分配部署方案,并按该最佳分配部署方案将下一时间段t3内到达启动时刻的各虚拟机对应分配运行于各物理机上。
所述的步骤(1)初始化生成的其中一个父代染色体的生成过程为:首先,使所有物理机按物理机标号IDPM进行排序,使所有待分配的虚拟机按启动时刻进行排序;然后,按次序逐个对待分配的虚拟机进行分配判断,对于任一待分配的虚拟机,按次序逐个判断物理机的空闲资源是否能够满足该虚拟机的资源需求:当判断过程中某一物理机在该虚拟机启动时刻的空闲资源能够满足该虚拟机的资源需求,则将该虚拟机分配运行于该物理机上;
另一个父代染色体的生成过程为:首先,使所有物理机按平均资源利用率ARU从大到小进行排序,使所有待分配的虚拟机按启动时刻进行排序;然后,按次序逐个对待分配的虚拟机进行分配判断,对于任一待分配的虚拟机,按次序逐个判断物理机的空闲资源是否能够满足该虚拟机的资源需求:当判断过程中某一物理机在该虚拟机启动时刻的空闲资源能够满足该虚拟机的资源需求,则将该虚拟机分配运行于该物理机上并重新对物理机进行排序。
优选地,所述的步骤(4)中取最后一次生成的四个子代染色体中适应度Z最高的一个子代染色体作为下一时间段t3虚拟机的最佳分配部署方案,然后判断采用该最佳分配部署方案后云平台的综合平均资源利用率CARU是否低于设定阈值,若是则启动虚拟机整合迁移程序。
所述虚拟机整合迁移程序的具体过程如下:
A.从物理机集群中选取负载虚拟机个数最少的在线物理机作为源物理机;
B.对于源物理机上的任一虚拟机:先按平均资源利用率ARU从高到低对其余在线物理机进行排序,按次序逐个判断在线物理机的空闲资源总量是否大于该虚拟机所占用的资源总量:当判断过程中某一在线物理机的空闲资源总量大于该虚拟机所占用的资源总量,则建立该虚拟机与该在线物理机的迁移映射关系;依此,遍历源物理机上的各虚拟机,若源物理机上所有虚拟机均具有对应的迁移映射关系,则根据迁移映射关系将这些虚拟机迁移至对应的在线物理机上,以将源物理机腾空作为下线物理机;若源物理机上某一虚拟机不具有对应的迁移映射关系,则不对该源物理机上的各虚拟机进行迁移;
依此循环执行步骤A和B,直至无法将物理机集群中的在线物理机腾空作为下线物理机。
所述的综合平均资源利用率CARU和综合资源利用均衡率CRUB的表达式如下:
其中:ARUi为第i台物理机的平均资源利用率,RUBi为第i台物理机的资源利用均衡率,m为物理机集群中的物理机总数。
对于任一台物理机,其平均资源利用率ARU和资源利用均衡率RUB表达式如下:
优选地,所述的时间段t1、t2和t3均相等。
本发明方法的有益技术效果如下:
(1)对于云服务用户来看,本发明能够满足用户对虚拟资源的提前申请预留,并自动化的管理用户所申请虚拟机的生命周期,不用手动地对虚拟机进行申请和释放操作,用户只要告知平台虚拟集群需要的启动时间和关闭时间。
(2)对于云服务提供者来说,本发明基于预留的云服务平台能够进一步优化虚拟机批量部署过程,包括综合平均资源利用率和综合资源利用均衡率两个方面。
(3)本发明通过使综合平均资源利用率的增加可以减少在线物理机数量,同时也意味着降低了整个数据中心的计算能耗,真正达到了绿色计算;使综合资源利用均衡率的提高可以降低同一个物理机中运行的多个虚拟机之间的资源竞争,从而提高虚拟机上应用程序工作负载的服务质量。
(4)在综合平均资源利用率降低到某个临界值以下时,本发明还可以通过在线迁移的技术来达到进一步的虚拟机整合,在整合过程中考虑虚拟机的总迁移次数,最大程度的减少迁移过程对运行在虚拟机上的应用程序服务质量的影响。
附图说明
图1为本发明云平台虚拟集群部署整合方法的流程示意图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示,本发明云平台虚拟集群部署整合方法,包括以下具体步骤:
(1)云平台创建物理机信息表T1、虚拟机信息表T2。
物理机信息表包括物理机标号IDPM、CPU的核数CPUtotal、内存大小MEMtotal、存储网络带宽DIStotal、传输网络带宽NETtotal、CPU已用核数CPUuse、内存已用大小MEMuse、存储网络已用带宽DISuse、传输网络已用带宽NETuse和物理机状态(在线/下线,在线表示这台物理机上存在运行的虚拟机,下线表示这台物理机上没有运行的虚拟机)等,虚拟机信息表包括虚拟机标号IDVM、虚拟CPU核数CPUVM、虚拟内存大小MEMVM、虚拟存储网络带宽DISVM、虚拟传输网络带宽NETVM、启动时间tstart、关闭时间tfinish和物理机标号IDPM等。
(2)云平台每时每刻接收用户提交的虚拟集群资源预留请求并加入到资源申请队列Q1中;虚拟集群资源预留请求信息中tstart和tfinish包括日期和时间两部分,日期的表示方法为YYYY:MM:DD(YYYY为年份,MM为月份,DD为日期),时间的表示方法为HH:MM(HH为小时,MM为分钟)。
(3)每隔固定的时间段t1,调用资源预留判定程序P1,计算云平台能否满足队列Q1中的资源预留请求,将通过判定的虚拟机加入信息表T2。
资源预留判定程序P1以先进先出(FIFO,First In First Out)的方式计算队列Q1中的资源预留请求,在资源预留请求的启动时间到关闭时间内,如果物理机集群的空闲资源每时每刻都能满足所有虚拟机资源的预留资源总量,则表示该请求通过判定,生成对应的虚拟机信息记录插入虚拟机信息表T2中,包括虚拟机标号IDVM、虚拟CPU核数CPUVM、虚拟内存大小MEMVM、虚拟存储网络带宽DISVM、虚拟传输网络带宽NETVM、启动时间tstart、关闭时间tfinish和物理机标号IDPM等,并将IDPM字段设置为空值NULL,如果没有通过判定,则通知用户平台无法提供相应的资源预留请求。
(4)每隔固定的时间段t2,调用虚拟机批量回收程序P2,将上一个时间段内已经到达关闭时间的所有虚拟机资源回收并修改信息表T1和T2。
虚拟机批量回收程序P2,以IDPM为顺序,对每一台物理机上的所有虚拟机比较当前时间与它的关闭时间,如果关闭时间已经到达,则回收这台虚拟机的资源,并删除T2中对应虚拟机信息记录,更新T1的已用资源数量。
(5)每隔固定的时间段t3,调用虚拟机批量部署程序P3,部署程序P3包括四个子步骤:(a)生成两个候选解作为初始种群,(b)使用初始种群作为父代染色体交叉生成四个候选解作为子代,(c)计算四个候选解的适应度,然后选取两个适应度高的继续交叉,(d)判定迭代次数,如果达到预设的迭代次数,则选取一个适应度最高的解作为最后的部署策略,其中部署策略使用的优化目标为综合平均资源利用率CARU和综合资源利用均衡率CRUB,如果此时CARU低于临界值α(本实施方式α取60%),则进入步骤(6)。
在调用虚拟机批量部署程序P3时,子步骤(a)中的第一个候选解的染色体生成方法为按物理机的ID顺序依次部署所有虚拟机后的映射序列,第二个候选解的染色体生成方法为先把物理机按平均资源利用率从大到小排序,然后依次把虚拟机部署到能满足虚拟机资源申请并综合资源利用率最大的物理机上,每部署一个虚拟机后对物理机重新排序,直到所有的虚拟机全部部署结束生成对应的第二个候选解的染色体映射序列,子步骤(b)中随机父代染色体中的交叉点,然后交换染色体组成新的染色体,判定新生成的解是否满足部署的约束条件(每台虚拟机只能部署到一台物理机中,每台物理机上虚拟机资源需求总和少于物理机本身的资源数量),直到获得四个候选解则结束,子步骤(c)中使用的适应度函数为其中CARU的计算方法为:m为所有的在线物理机数目,CRUB的计算方法为: max与min分别是取最大值和取最小值函数,选择适应度小的两个个体作为下一代,子步骤(d)中的迭代次数为50。
(6)调用虚拟机整合程序P4,优化目标为虚拟机在线迁移次数(LMC,LiveMigration Count)。
虚拟机整合程序P4使用贪婪算法,选择虚拟机个数最少的作为源物理机,并以平均资源利用率从高到低的顺序选择迁移的目的物理机,如果找到这台物理机上的虚拟机全部迁移完成,则重复步骤(6)直到找不到可行解。
(7)循环步骤(3)(4)(5),直到云平台不再提供服务;本实施方式在步骤(3)(4)(5)中,固定间隔时间段取值相等。
以下结合具体案例对本发明做进一步的详细描述,整个实施过程如下:
(1)创建物理机信息表T1、虚拟机信息表T2,初始时间为2017:01:01:10:00,平台中存在标号为1和2的两台物理机PM1和PM2,存在标号为1的一台虚拟机VM1,信息表T1和信息表T2的具体信息如下:
T1中PM1[1,8,8,8,8,4,4,4,4,1],
T1中PM2[2,8,8,8,8,0,0,0,0,0],
T2中VM1[1,4,4,4,4,2017:01:01:10:00,2017:01:01:12:00,1];
(2)平台在2017:01:01:10:00-2017:01:01:11:00时间内接收了用户发送的三台虚拟机资源预留请求并加入到资源申请队列Q1中,队列Q1的具体信息如下:
Q1[3,3,3,3,2017:01:01:11:00,2017:01:01:14:00],
Q1[4,4,4,4,2017:01:01:11:00,2017:01:01:14:00],
Q1[1,1,1,1,2017:01:01:12:00,2017:01:01:14:00];
(3)时间段t1=60分钟,当时间在2017:01:01:11:00时,调用资源预留判定程序P1计算得到云平台能够满足队列Q1中的所有资源预留请求,更新后的信息表T1和信息表T2的具体信息如下:
T1中PM1[1,8,8,8,8,4,4,4,4,1],
T1中PM2[2,8,8,8,8,0,0,0,0,0],
T2中VM1[1,4,4,4,4,2017:01:01:10:00,2017:01:01:12:00,1],
T2中VM2[2,3,3,3,3,2017:01:01:11:00,2017:01:01:14:00,NULL],
T2中VM3[3,4,4,4,4,2017:01:01:11:00,2017:01:01:14:00,NULL],
T2中VM4[4,1,1,1,1,2017:01:01:12:00,2017:01:01:14:00,NULL];
(4)时间段t2=60分钟,当时间在2017:01:01:11:00时,平台中没有虚拟机达到结束时间,因此跳过这一步。
(5)时间段t3=60分钟,当时间在2017:01:01:11:00时,调用虚拟机部署程序P3计算在下一个时间段内开始的虚拟机的部署策略,其中虚拟机部署过程中使用的优化目标为平均综合资源利用率和平均资源利用均衡率,得到部署策略为VM2部署到PM2,VM3部署到PM2,更新后的信息表T1和信息表T2的具体信息如下:
T1中PM1[1,8,8,8,8,7,7,7,7,1],
T1中PM2[2,8,8,8,8,4,4,4,4,1],
T2中VM1[1,4,4,4,4,2017:01:01:10:00,2017:01:01:12:00,1],
T2中VM2[2,3,3,3,3,2017:01:01:11:00,2017:01:01:14:00,1],
T2中VM3[3,4,4,4,4,2017:01:01:11:00,2017:01:01:14:00,2],
T2中VM4[4,1,1,1,1,2017:01:01:12:00,2017:01:01:14:00,NULL],
计算ACRU=0.8125,高于临界值α,进入步骤[2][3][4][5]的循环步骤:
平台在2017:01:01:12:00-2017:01:01:12:00时间内没有接收到用户的虚拟机资源预留请求。
队列Q1为空,因此跳过这步。
当时间在2017:01:01:12:00时,平台中的虚拟机VM1达到结束时间,回收虚拟机资源,更新后的信息表T1和信息表T2的具体信息如下:
T1中PM1[1,8,8,8,8,3,3,3,3,1],
T1中PM2[2,8,8,8,8,4,4,4,4,1],
T2中VM2[2,3,3,3,3,2017:01:01:11:00,2017:01:01:14:00,1],
T2中VM3[3,4,4,4,4,2017:01:01:11:00,2017:01:01:14:00,2],
T2中VM4[4,1,1,1,1,2017:01:01:12:00,2017:01:01:14:00,NULL];
当时间在2017:01:01:12:00时,调用虚拟机部署程序P3计算在下一个时间段内开始的虚拟机的部署策略,其中虚拟机部署过程中使用的优化目标为平均综合资源利用率和平均资源利用均衡率,得到部署策略为VM4部署到PM1,更新后的信息表T1和信息表T2的具体信息如下:
T1中PM1[1,8,8,8,8,4,4,4,4,1],
T1中PM2[2,8,8,8,8,4,4,4,4,1],
T2中VM2[2,3,3,3,3,2017:01:01:11:00,2017:01:01:14:00,1],
T2中VM3[3,4,4,4,4,2017:01:01:11:00,2017:01:01:14:00,2],
T2中VM4[4,1,1,1,1,2017:01:01:12:00,2017:01:01:14:00,1];
计算ACRU=0.5,低于临界值α,则进入步骤(6);
(6)当时间在2017:01:01:12:00时,调用虚拟机部署程序P4计算虚拟机整合策略,其中优化目标为虚拟机迁移次数,次数越少越好,得到整合策略为将VM3从PM2在线迁移到PM1,更新后的信息表T1和信息表T2的具体信息如下:
T1中PM1[1,8,8,8,8,8,8,8,8,1],
T1中PM2[2,8,8,8,8,0,0,0,0,0],
T2中VM2[2,3,3,3,3,2017:01:01:11:00,2017:01:01:14:00,1],
T2中VM3[3,4,4,4,4,2017:01:01:11:00,2017:01:01:14:00,1],
T2中VM4[4,1,1,1,1,2017:01:01:12:00,2017:01:01:14:00,1]。
上述的对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (10)
1.一种云平台虚拟集群部署整合方法,其特征在于:
首先,创建物理机信息表和虚拟机信息表,实时接收用户所提交的虚拟机资源预留请求并加入资源申请队列中;
每隔固定时间段t1,调用资源预留判定程序计算物理机集群能否满足资源申请队列中各虚拟机资源预留请求,将通过判定的虚拟机资源预留请求对应的虚拟机信息加入虚拟机信息表中;
每隔固定时间段t2,调用虚拟机批量回收程序对上一时间段t2内到达关闭时刻的虚拟机进行资源回收,并更新物理机信息表和虚拟机信息表;
每隔固定时间段t3,调用虚拟机批量部署程序对下一时间段t3内到达启动时刻的各虚拟机分配部署具体的物理机资源。
2.根据权利要求1所述的云平台虚拟集群部署整合方法,其特征在于:所述的物理机信息表包括每台物理机的标号IDPM、CPU核数CPUtotal、内存大小MEMtotal、存储网络带宽DIStotal、传输网络带宽NETtotal、CPU已用核数CPUuse、内存已用大小MEMuse、存储网络已用带宽DISuse、传输网络已用带宽NETuse以及物理机状态;
所述的虚拟机信息表包括已预约的每台虚拟机的标号IDVM、虚拟CPU核数CPUVM、虚拟内存大小MEMVM、虚拟存储网络带宽DISVM、虚拟传输网络带宽NETVM、启动时刻tstart、关闭时刻tfinish以及对应分配的物理机标号IDPM。
3.根据权利要求1所述的云平台虚拟集群部署整合方法,其特征在于:所述的虚拟机资源预留请求包括用户所要调用虚拟机的数量、配置信息、启动时刻和关闭时刻。
4.根据权利要求1所述的云平台虚拟集群部署整合方法,其特征在于:所述的资源预留判定程序采用先进先出的方式逐条判断资源申请队列中的虚拟机资源预留请求;对于任一条虚拟机资源预留请求,在该虚拟机资源预留请求对应的启动时刻至关闭时刻内若物理机集群的空闲资源能够满足该虚拟机资源预留请求所要调用虚拟机的资源需求总量,则判定该虚拟机资源预留请求通过,并将该虚拟机资源预留请求对应的虚拟机信息加入虚拟机信息表中,同时对该虚拟机资源预留请求所要调用的虚拟机赋予标号,并将这些虚拟机对应分配的物理机标号IDPM置为Null。
5.根据权利要求1所述的云平台虚拟集群部署整合方法,其特征在于:所述的虚拟机批量回收程序以物理机标号IDPM为顺序对每台物理机进行判断处理:对于运行于物理机上的任一虚拟机,比较当前时间与该虚拟机的关闭时刻,如果关闭时刻早于当前时间,则回收该虚拟机所占用的资源,并从虚拟机信息表中删除该虚拟机信息,进而更新物理机信息表中对应的物理机信息;依此遍历运行于物理机上的所有虚拟机。
6.根据权利要求2所述的云平台虚拟集群部署整合方法,其特征在于:所述虚拟机批量部署程序的具体过程如下:
(1)初始化生成两个父代染色体;所述的父代染色体为序列结构且下一时间段t3内到达启动时刻的各虚拟机所分配的物理机标号IDPM按启动时刻顺序对应序列结构中的每个值;
(2)随机确定两个交叉点,使两个父代染色体分别按这两个交叉点进行两次配对交叉,生成四个子代染色体;
(3)分别计算采用这四个子代染色体对应分配部署方案后云平台的适应度取适应度Z最高的两个子代染色体作为父代染色体并执行步骤(2);其中,CARU和CRUB为云平台的综合平均资源利用率和综合资源利用均衡率;
(4)根据步骤(2)和(3)循环执行N次,N为大于1的自然数;取最后一次生成的四个子代染色体中适应度Z最高的一个子代染色体作为下一时间段t3虚拟机的最佳分配部署方案,并按该最佳分配部署方案将下一时间段t3内到达启动时刻的各虚拟机对应分配运行于各物理机上。
7.根据权利要求6所述的云平台虚拟集群部署整合方法,其特征在于:所述的步骤(1)初始化生成的其中一个父代染色体的生成过程为:首先,使所有物理机按物理机标号IDPM进行排序,使所有待分配的虚拟机按启动时刻进行排序;然后,按次序逐个对待分配的虚拟机进行分配判断,对于任一待分配的虚拟机,按次序逐个判断物理机的空闲资源是否能够满足该虚拟机的资源需求:当判断过程中某一物理机在该虚拟机启动时刻的空闲资源能够满足该虚拟机的资源需求,则将该虚拟机分配运行于该物理机上;
另一个父代染色体的生成过程为:首先,使所有物理机按平均资源利用率ARU从大到小进行排序,使所有待分配的虚拟机按启动时刻进行排序;然后,按次序逐个对待分配的虚拟机进行分配判断,对于任一待分配的虚拟机,按次序逐个判断物理机的空闲资源是否能够满足该虚拟机的资源需求:当判断过程中某一物理机在该虚拟机启动时刻的空闲资源能够满足该虚拟机的资源需求,则将该虚拟机分配运行于该物理机上并重新对物理机进行排序。
8.根据权利要求6所述的云平台虚拟集群部署整合方法,其特征在于:所述的步骤(4)中取最后一次生成的四个子代染色体中适应度Z最高的一个子代染色体作为下一时间段t3虚拟机的最佳分配部署方案,然后判断采用该最佳分配部署方案后云平台的综合平均资源利用率CARU是否低于设定阈值,若是则启动虚拟机整合迁移程序;所述虚拟机整合迁移程序的具体过程如下:
A.从物理机集群中选取负载虚拟机个数最少的在线物理机作为源物理机;
B.对于源物理机上的任一虚拟机:先按平均资源利用率ARU从高到低对其余在线物理机进行排序,按次序逐个判断在线物理机的空闲资源总量是否大于该虚拟机所占用的资源总量:当判断过程中某一在线物理机的空闲资源总量大于该虚拟机所占用的资源总量,则建立该虚拟机与该在线物理机的迁移映射关系;依此,遍历源物理机上的各虚拟机,若源物理机上所有虚拟机均具有对应的迁移映射关系,则根据迁移映射关系将这些虚拟机迁移至对应的在线物理机上,以将源物理机腾空作为下线物理机;若源物理机上某一虚拟机不具有对应的迁移映射关系,则不对该源物理机上的各虚拟机进行迁移;
依此循环执行步骤A和B,直至无法将物理机集群中的在线物理机腾空作为下线物理机。
9.根据权利要求6、7或8所述的云平台虚拟集群部署整合方法,其特征在于:所述的综合平均资源利用率CARU和综合资源利用均衡率CRUB的表达式如下:
其中:ARUi为第i台物理机的平均资源利用率,RUBi为第i台物理机的资源利用均衡率,m为物理机集群中的物理机总数;
对于任一台物理机,其平均资源利用率ARU和资源利用均衡率RUB表达式如下:
10.根据权利要求1所述的云平台虚拟集群部署整合方法,其特征在于:所述的时间段t1、t2和t3均相等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610162639.9A CN105843670B (zh) | 2016-03-22 | 2016-03-22 | 一种云平台虚拟集群部署整合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610162639.9A CN105843670B (zh) | 2016-03-22 | 2016-03-22 | 一种云平台虚拟集群部署整合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105843670A true CN105843670A (zh) | 2016-08-10 |
CN105843670B CN105843670B (zh) | 2019-01-04 |
Family
ID=56587888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610162639.9A Expired - Fee Related CN105843670B (zh) | 2016-03-22 | 2016-03-22 | 一种云平台虚拟集群部署整合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105843670B (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106502761A (zh) * | 2016-10-18 | 2017-03-15 | 华南师范大学 | 一种资源高效利用的虚拟机部署方法 |
CN106843999A (zh) * | 2016-12-20 | 2017-06-13 | 中电科华云信息技术有限公司 | 基于虚拟机一键式打包搬家的服务方法及系统 |
CN106933650A (zh) * | 2017-03-03 | 2017-07-07 | 北方工业大学 | 云应用系统的负载管理方法及系统 |
CN107045468A (zh) * | 2017-02-09 | 2017-08-15 | 郑州云海信息技术有限公司 | 一种虚拟机集群系统资源预留方法及装置 |
CN107181808A (zh) * | 2017-06-01 | 2017-09-19 | 安徽祥云科技有限公司 | 一种私有云系统及运行方法 |
CN107241421A (zh) * | 2017-06-21 | 2017-10-10 | 北京云联万维技术有限公司 | 一种云主机资源预留方法和装置 |
CN107643939A (zh) * | 2017-09-14 | 2018-01-30 | 郑州云海信息技术有限公司 | 一种分配虚拟机的方法及系统 |
CN107832143A (zh) * | 2017-10-17 | 2018-03-23 | 北京京东尚科信息技术有限公司 | 一种物理机资源的处理方法和装置 |
CN107908457A (zh) * | 2017-11-08 | 2018-04-13 | 河海大学 | 一种基于稳定匹配的容器化云资源分配方法 |
CN108122062A (zh) * | 2016-11-30 | 2018-06-05 | 阿里巴巴集团控股有限公司 | 产品集合中资源的分配以及建立产品、产品集合中资源的评估模型的方法和装置 |
CN108334403A (zh) * | 2017-01-20 | 2018-07-27 | 阿里巴巴集团控股有限公司 | 资源调度方法及设备 |
CN109460283A (zh) * | 2018-10-24 | 2019-03-12 | 南京米好信息安全有限公司 | 一种云计算环境下虚拟机的分配方法 |
CN109508226A (zh) * | 2018-11-20 | 2019-03-22 | 郑州云海信息技术有限公司 | 一种基于openstack的虚拟机生命周期的管理方法 |
CN109542462A (zh) * | 2018-10-17 | 2019-03-29 | 平安科技(深圳)有限公司 | 一种系统环境部署方法、存储介质和服务器 |
CN109871682A (zh) * | 2018-12-19 | 2019-06-11 | 国网浙江省电力有限公司电力科学研究院 | 异构虚拟机平台的执行体统一控制方法 |
CN110990118A (zh) * | 2019-11-24 | 2020-04-10 | 北京浪潮数据技术有限公司 | 一种虚拟机高可用方法、装置及设备 |
CN111078369A (zh) * | 2019-12-27 | 2020-04-28 | 中国建设银行股份有限公司 | 一种云计算机下虚拟机分配方法、装置以及服务器 |
CN111104203A (zh) * | 2019-12-13 | 2020-05-05 | 广东省华南技术转移中心有限公司 | 虚拟机分散调度方法、装置以及电子设备、存储介质 |
CN111338792A (zh) * | 2020-02-16 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种集群的资源释放方法、设备以及介质 |
CN111367646A (zh) * | 2020-03-31 | 2020-07-03 | 中国工商银行股份有限公司 | 容器转移方法及系统 |
CN112269641A (zh) * | 2020-11-18 | 2021-01-26 | 网易(杭州)网络有限公司 | 一种调度方法、装置、电子设备及存储介质 |
CN115499388A (zh) * | 2022-08-30 | 2022-12-20 | 阿里巴巴(中国)有限公司 | 虚拟主机资源分配方法、装置、设备及存储介质 |
CN117155804A (zh) * | 2023-10-27 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 一种云服务器的部署方法及相关装置 |
CN117492934A (zh) * | 2024-01-02 | 2024-02-02 | 深圳市伊登软件有限公司 | 一种基于云服务智能部署的数据处理方法及系统 |
CN117707704A (zh) * | 2023-12-20 | 2024-03-15 | 慧之安信息技术股份有限公司 | 一种Java虚拟机配置方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102681899A (zh) * | 2011-03-14 | 2012-09-19 | 金剑 | 云计算服务平台的虚拟计算资源动态管理系统 |
CN103455378A (zh) * | 2013-09-05 | 2013-12-18 | 华为技术有限公司 | 一种虚拟化集群的资源分配方法、装置和系统 |
CN103576829A (zh) * | 2012-08-01 | 2014-02-12 | 复旦大学 | 基于混合遗传算法的云计算虚拟机动态调度方法 |
CN104346211A (zh) * | 2014-10-17 | 2015-02-11 | 浪潮(北京)电子信息产业有限公司 | 一种云计算下实现虚拟机迁移的方法及系统 |
CN104484222A (zh) * | 2014-12-31 | 2015-04-01 | 北京天云融创软件技术有限公司 | 一种基于混合遗传算法的虚拟机调度方法 |
-
2016
- 2016-03-22 CN CN201610162639.9A patent/CN105843670B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102681899A (zh) * | 2011-03-14 | 2012-09-19 | 金剑 | 云计算服务平台的虚拟计算资源动态管理系统 |
CN103576829A (zh) * | 2012-08-01 | 2014-02-12 | 复旦大学 | 基于混合遗传算法的云计算虚拟机动态调度方法 |
CN103455378A (zh) * | 2013-09-05 | 2013-12-18 | 华为技术有限公司 | 一种虚拟化集群的资源分配方法、装置和系统 |
CN104346211A (zh) * | 2014-10-17 | 2015-02-11 | 浪潮(北京)电子信息产业有限公司 | 一种云计算下实现虚拟机迁移的方法及系统 |
CN104484222A (zh) * | 2014-12-31 | 2015-04-01 | 北京天云融创软件技术有限公司 | 一种基于混合遗传算法的虚拟机调度方法 |
Non-Patent Citations (1)
Title |
---|
张治斌,刘丽丽: "基于信誉机制的云计算资源预留算法研究", 《计算机仿真》 * |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106502761A (zh) * | 2016-10-18 | 2017-03-15 | 华南师范大学 | 一种资源高效利用的虚拟机部署方法 |
CN106502761B (zh) * | 2016-10-18 | 2020-04-03 | 华南师范大学 | 一种资源高效利用的虚拟机部署方法 |
CN108122062A (zh) * | 2016-11-30 | 2018-06-05 | 阿里巴巴集团控股有限公司 | 产品集合中资源的分配以及建立产品、产品集合中资源的评估模型的方法和装置 |
CN108122062B (zh) * | 2016-11-30 | 2021-11-26 | 阿里巴巴集团控股有限公司 | 产品集合中资源的分配以及建立产品、产品集合中资源的评估模型的方法和装置 |
CN106843999A (zh) * | 2016-12-20 | 2017-06-13 | 中电科华云信息技术有限公司 | 基于虚拟机一键式打包搬家的服务方法及系统 |
CN108334403B (zh) * | 2017-01-20 | 2022-05-24 | 阿里巴巴集团控股有限公司 | 资源调度方法及设备 |
CN108334403A (zh) * | 2017-01-20 | 2018-07-27 | 阿里巴巴集团控股有限公司 | 资源调度方法及设备 |
CN107045468A (zh) * | 2017-02-09 | 2017-08-15 | 郑州云海信息技术有限公司 | 一种虚拟机集群系统资源预留方法及装置 |
CN106933650A (zh) * | 2017-03-03 | 2017-07-07 | 北方工业大学 | 云应用系统的负载管理方法及系统 |
CN107181808A (zh) * | 2017-06-01 | 2017-09-19 | 安徽祥云科技有限公司 | 一种私有云系统及运行方法 |
CN107241421A (zh) * | 2017-06-21 | 2017-10-10 | 北京云联万维技术有限公司 | 一种云主机资源预留方法和装置 |
CN107643939A (zh) * | 2017-09-14 | 2018-01-30 | 郑州云海信息技术有限公司 | 一种分配虚拟机的方法及系统 |
CN107832143A (zh) * | 2017-10-17 | 2018-03-23 | 北京京东尚科信息技术有限公司 | 一种物理机资源的处理方法和装置 |
CN107908457A (zh) * | 2017-11-08 | 2018-04-13 | 河海大学 | 一种基于稳定匹配的容器化云资源分配方法 |
CN107908457B (zh) * | 2017-11-08 | 2020-03-17 | 河海大学 | 一种基于稳定匹配的容器化云资源分配方法 |
CN109542462A (zh) * | 2018-10-17 | 2019-03-29 | 平安科技(深圳)有限公司 | 一种系统环境部署方法、存储介质和服务器 |
CN109542462B (zh) * | 2018-10-17 | 2022-05-06 | 平安科技(深圳)有限公司 | 一种系统环境部署方法、存储介质和服务器 |
CN109460283A (zh) * | 2018-10-24 | 2019-03-12 | 南京米好信息安全有限公司 | 一种云计算环境下虚拟机的分配方法 |
CN109508226A (zh) * | 2018-11-20 | 2019-03-22 | 郑州云海信息技术有限公司 | 一种基于openstack的虚拟机生命周期的管理方法 |
CN109508226B (zh) * | 2018-11-20 | 2021-10-29 | 郑州云海信息技术有限公司 | 一种基于openstack的虚拟机生命周期的管理方法 |
CN109871682B (zh) * | 2018-12-19 | 2020-12-22 | 国网浙江省电力有限公司电力科学研究院 | 异构虚拟机平台的执行体统一控制方法 |
CN109871682A (zh) * | 2018-12-19 | 2019-06-11 | 国网浙江省电力有限公司电力科学研究院 | 异构虚拟机平台的执行体统一控制方法 |
CN110990118A (zh) * | 2019-11-24 | 2020-04-10 | 北京浪潮数据技术有限公司 | 一种虚拟机高可用方法、装置及设备 |
CN111104203A (zh) * | 2019-12-13 | 2020-05-05 | 广东省华南技术转移中心有限公司 | 虚拟机分散调度方法、装置以及电子设备、存储介质 |
CN111104203B (zh) * | 2019-12-13 | 2023-04-28 | 广东省华南技术转移中心有限公司 | 虚拟机分散调度方法、装置以及电子设备、存储介质 |
CN111078369B (zh) * | 2019-12-27 | 2023-03-28 | 中国建设银行股份有限公司 | 一种云计算机下虚拟机分配方法、装置以及服务器 |
CN111078369A (zh) * | 2019-12-27 | 2020-04-28 | 中国建设银行股份有限公司 | 一种云计算机下虚拟机分配方法、装置以及服务器 |
CN111338792B (zh) * | 2020-02-16 | 2023-01-06 | 苏州浪潮智能科技有限公司 | 一种集群的资源释放方法、设备以及介质 |
CN111338792A (zh) * | 2020-02-16 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种集群的资源释放方法、设备以及介质 |
CN111367646B (zh) * | 2020-03-31 | 2023-08-22 | 中国工商银行股份有限公司 | 容器转移方法及系统 |
CN111367646A (zh) * | 2020-03-31 | 2020-07-03 | 中国工商银行股份有限公司 | 容器转移方法及系统 |
CN112269641A (zh) * | 2020-11-18 | 2021-01-26 | 网易(杭州)网络有限公司 | 一种调度方法、装置、电子设备及存储介质 |
CN112269641B (zh) * | 2020-11-18 | 2023-09-15 | 网易(杭州)网络有限公司 | 一种调度方法、装置、电子设备及存储介质 |
CN115499388A (zh) * | 2022-08-30 | 2022-12-20 | 阿里巴巴(中国)有限公司 | 虚拟主机资源分配方法、装置、设备及存储介质 |
CN115499388B (zh) * | 2022-08-30 | 2024-04-12 | 阿里巴巴(中国)有限公司 | 虚拟主机资源分配方法、装置、设备及存储介质 |
CN117155804A (zh) * | 2023-10-27 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 一种云服务器的部署方法及相关装置 |
CN117155804B (zh) * | 2023-10-27 | 2024-01-09 | 腾讯科技(深圳)有限公司 | 一种云服务器的部署方法及相关装置 |
CN117707704A (zh) * | 2023-12-20 | 2024-03-15 | 慧之安信息技术股份有限公司 | 一种Java虚拟机配置方法及系统 |
CN117492934A (zh) * | 2024-01-02 | 2024-02-02 | 深圳市伊登软件有限公司 | 一种基于云服务智能部署的数据处理方法及系统 |
CN117492934B (zh) * | 2024-01-02 | 2024-04-16 | 深圳市伊登软件有限公司 | 一种基于云服务智能部署的数据处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105843670B (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105843670A (zh) | 一种云平台虚拟集群部署整合方法 | |
Lin et al. | Multi-resource scheduling and power simulation for cloud computing | |
CN103810023B (zh) | 一种云平台中分布式应用的智能部署方法及系统 | |
CN103607459B (zh) | 一种云计算平台IaaS层的动态资源监测及调度方法 | |
CN103955373B (zh) | 一种sdn应用集成开发环境的设计方法 | |
CN111274036A (zh) | 一种基于速度预测的深度学习任务的调度方法 | |
CN108667859A (zh) | 一种实现资源调度的方法及装置 | |
CN106506657A (zh) | 一种基于多目标的云计算虚拟机分配调整方法 | |
CN107133083B (zh) | 一种基于虚拟化技术的虚拟数据中心资源提供方法 | |
CN104503832B (zh) | 一种公平和效率均衡的虚拟机调度系统及方法 | |
CN108076156A (zh) | 一种基于中国云产品的混合云系统 | |
CN106325976B (zh) | 一种渲染任务调度处理方法及服务器 | |
CN105893113A (zh) | 虚拟机的管理系统及管理方法 | |
CN107168770A (zh) | 一种低能耗的云数据中心工作流调度与资源供给方法 | |
CN112416585A (zh) | 面向深度学习的gpu资源管理与智能化调度方法 | |
CN107832143A (zh) | 一种物理机资源的处理方法和装置 | |
CN106708625A (zh) | 一种基于最小费用最大流的大规模资源调度系统及方法 | |
CN107291536A (zh) | 一种云计算环境下应用任务流调度方法 | |
CN103605578A (zh) | 基于虚拟机迁移的负载均衡调度方法 | |
CN105847385B (zh) | 一种基于运行时长的云计算平台虚拟机调度方法 | |
CN105577834B (zh) | 具有可预测性能的云数据中心两层带宽分配方法及系统 | |
CN112486651A (zh) | 一种基于改进遗传算法的云测试平台任务调度方法 | |
Tournaire et al. | Generating optimal thresholds in a hysteresis queue: Application to a cloud model | |
CN108228310A (zh) | 虚拟网络功能的均衡部署方法及装置 | |
CN108270833A (zh) | 渲染云资源的自动调度方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190104 |
|
CF01 | Termination of patent right due to non-payment of annual fee |