CN108196958A - 资源调度分配方法、计算机系统及超融合架构系统 - Google Patents
资源调度分配方法、计算机系统及超融合架构系统 Download PDFInfo
- Publication number
- CN108196958A CN108196958A CN201711485994.0A CN201711485994A CN108196958A CN 108196958 A CN108196958 A CN 108196958A CN 201711485994 A CN201711485994 A CN 201711485994A CN 108196958 A CN108196958 A CN 108196958A
- Authority
- CN
- China
- Prior art keywords
- numa
- virtual
- physics
- node
- structures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 238000009826 distribution Methods 0.000 title claims abstract description 18
- 230000015654 memory Effects 0.000 claims abstract description 93
- 230000005012 migration Effects 0.000 claims description 34
- 238000013508 migration Methods 0.000 claims description 34
- 238000001089 thermophoresis Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 7
- 241001522296 Erithacus rubecula Species 0.000 claims description 3
- 230000007474 system interaction Effects 0.000 claims description 2
- 238000009739 binding Methods 0.000 abstract description 42
- 230000027455 binding Effects 0.000 abstract description 42
- 238000013507 mapping Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 21
- 238000003860 storage Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 9
- 230000007812 deficiency Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 208000000044 Amnesia Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000004134 energy conservation Methods 0.000 description 2
- 231100000863 loss of memory Toxicity 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007634 remodeling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
- Multi Processors (AREA)
Abstract
本发明涉及一种资源调度分配方法、计算机系统及超融合架构系统，其中资源调度分配方法包括：确定虚拟机所对应的虚拟NUMA结构的整体配置需求，整体配置需求包括所述虚拟NUMA节点的子配置需求，子配置需求包括：针对虚拟CPU核心的第一配置需求以及针对虚拟内存的第二配置需求；确定物理NUMA结构的整体资源可用性，整体资源可用性包括所述物理NUMA节点的子资源可用性，所述子资源可用性包括：针对物理CPU核心的第一资源可用性以及针对物理内存的第二资源可用性；基于所述整体配置需求及所述整体资源可用性，建立所述虚拟NUMA节点与物理NUMA节点之间的对应关系。本发明的资源调度分配方法实现了虚拟NUMA结构与物理NUMA结构的映射和绑定，使物理资源得到合理的分配。
Description
技术领域
本发明涉及通信技术领域，更具体地说，它涉及一种资源调度分配方法、计算机系统及超融合架构系统。
背景技术
超融合架构是指用软件方法将计算、网络、存储功能在服务器(尤其是x86服务器)上实现并融合为一体，形成模块化的部署单元，通过交换互连网络(由标准商用交换机等构建)实现能水平伸缩的机群。
目前，多处理器的计算机系统结构均由非一致内存访问(Non Uniform MemoryAccess Architecture，NUMA)架构组成。在NUMA架构下，处理器访问内存的时间，取决于内存的位置，通常处理器访问其本地内存的速度比非本地内存快。
在超融合架构下实现虚拟化NUMA管理是提升访存性能和解决计算、存储和网络功能与虚拟机争用物理资源较为有效的方法。目前实现虚拟化NUMA管理主要有OpenStack方案和VMware方案，但OpenStack方案完全依赖用户指定NUMA结构和映射策略，VMware方案则采用“NUMA亲和”策略，不是严格绑定关系，动态情况下，虚拟机和系统自身都表现不好，并且对于迁移和热添加等功能限制很大。综上所述，这两种方案无法灵活进行配置，为虚拟机构建合理的NUMA结构，导致访存性能损耗较大，影响系统整体性能。
发明内容
针对现有技术存在的不足，本发明实施例的目的在于提供一种资源调度分配方法、计算机系统及超融合架构系统，具有可为虚拟机构建合理的虚拟NUMA结构、并管理其与物理NUMA结构的映射和绑定关系实现物理资源自动合理化分配的优点。
第一方面，本发明实施例提供一种资源调度分配方法，包括：
确定虚拟机所对应的虚拟NUMA结构的整体配置需求，所述虚拟NUMA结构包括若干虚拟NUMA节点，所述虚拟NUMA节点包括虚拟CPU核心以及虚拟内存，所述整体配置需求包括所述虚拟NUMA节点的子配置需求，所述子配置需求包括：针对虚拟CPU核心的第一配置需求以及针对虚拟内存的第二配置需求；
确定物理NUMA结构的整体资源可用性，所述物理NUMA结构包括若干物理NUMA节点，所述物理NUMA节点包括物理CPU核心以及物理内存，所述整体资源可用性包括所述物理NUMA节点的子资源可用性，所述子资源可用性包括：针对物理CPU核心的第一资源可用性以及针对物理内存的第二资源可用性；
基于所述整体配置需求及所述整体资源可用性，建立所述虚拟NUMA节点与物理NUMA节点之间的对应关系。
实现上述技术方案，根据虚拟NUMA结构的整体配置需求和物理NUMA结构建立虚拟NUMA节点与物理NUMA节点之间的对应关系，可以尽可能的为所有虚拟机构建虚拟NUMA结构，从而让虚拟机充分发挥NUMA的性能，同时为虚拟NUMA结构匹配到合适的物理NUMA结构，实现了虚拟NUMA结构与物理NUMA结构的映射和绑定，使物理资源得到合理的分配，虚拟机的性能更加高效、稳定。
结合第一方面，在第一种可能实现的方式中，所述第一资源可用性考虑物理CPU核心的超售配置，所述第二资源可用性考虑物理内存的超售配置。
结合第一方面，在第二种可能实现的方式中，基于所述整体配置需求及所述整体资源可用性，建立所述虚拟NUMA节点与物理NUMA节点的对应关系至少符合如下策略之一：建立单个所述虚拟NUMA节点与所述子资源可用性所表征的可用资源满足需求且可用资源最多的单个所述物理NUMA节点之间的对应关系，或者，建立单个所述虚拟NUMA节点与所述子资源可用性所表征的可用资源满足需求且可用资源最少的单个所述物理NUMA节点之间的对应关系，
当单个所述物理NUMA节点的所述子资源可用性所表征的可用资源满足所有所述虚拟NUMA节点需求时，建立所有所述虚拟NUMA节点与单个所述物理NUMA节点之间的对应关系，当单个所述物理NUMA节点的所述子资源可用性所表征的可用资源无法满足所有所述虚拟NUMA节点需求、且至少两个所述物理NUMA节点的所述子资源可用性所表征的可用资源满足所有所述虚拟NUMA节点需求时，建立所有所述虚拟NUMA节点与至少两个所述物理NUMA节点之间的对应关系。
实现上述技术方案，可以满足不同情况下的资源分配需求，使资源分配更加合理。
结合第一方面第二种可能实现的方式，在第三种可能实现的方式中，建立所有所述虚拟NUMA节点与至少两个所述物理NUMA节点之间的对应关系包括：
所有所述虚拟NUMA节点所对应的所述物理NUMA节点数量不超过预设定阈值。
实现上述技术方案，使性能达到较佳的状态且不会增加管理的复杂性。
结合第一方面第二种可能实现的方式，在第四种可能实现的方式中，建立所有所述虚拟NUMA节点与至少两个所述物理NUMA节点之间的对应关系具体为：
以轮询调度方式在不同所述物理NUMA节点之间均衡分配所述虚拟CPU核心。
实现上述技术方案，使虚拟CPU核心分配更加均衡，有利于提高整体性能。
结合第一方面，在第五种可能实现的方式中，该方法还包括：
在所述物理NUMA结构中为所述虚拟NUMA结构预留不会被非虚拟机负载占用的资源。
实现上述技术方案，减少资源争用的现象发生，保障虚拟机的可用资源。
结合第一方面，在第六种可能实现的方式中，该方法还包括：
当所述整体资源可用性表征出所述物理NUMA结构无法满足所述虚拟NUMA结构的要求时，在所述物理NUMA结构中纳入新的物理NUMA节点。
实现上述技术方案，增加了资源分配的可扩展性能，使虚拟NUMA结构保持最佳最稳定的状态。
结合第一方面，在第七种可能实现的方式中，该方法还包括：
执行所述虚拟NUMA结构在不同所述物理NUMA结构之间的冷迁移或热迁移，其中，如果选择执行所述热迁移，则在执行所述热迁移之前进行：模拟所述热迁移之后的资源重新映射过程，若成功则执行所述热迁移，否则不执行所述热迁移。
实现上述技术方案，实现了虚拟机的冷、热迁移，扩展可应用范围，同时减少了热迁移失败导致数据遗失的现象发生。
第二方面，本发明实施例提供一种计算机系统，包括：构成物理NUMA结构的若干物理NUMA节点，其中，所述物理NUMA节点包括物理CPU核心以及物理内存，
该系统中还包括调度服务器，所述调度服务器用于：
确定虚拟机所对应的虚拟NUMA结构的整体配置需求，所述虚拟NUMA结构包括若干虚拟NUMA节点，所述虚拟NUMA节点包括虚拟CPU核心以及虚拟内存，所述整体配置需求包括所述虚拟NUMA节点的子配置需求，所述子配置需求包括：针对虚拟CPU核心的第一配置需求以及针对虚拟内存的第二配置需求；
确定物理NUMA结构的整体资源可用性，所述物理NUMA结构包括若干物理NUMA节点，所述物理NUMA节点包括物理CPU核心以及物理内存，所述整体资源可用性包括所述物理NUMA节点的子资源可用性，所述子资源可用性包括：针对物理CPU核心的第一资源可用性以及针对物理内存的第二资源可用性；
基于所述整体配置需求及所述整体资源可用性，建立所述虚拟NUMA节点与物理NUMA节点之间的对应关系。
实现上述技术方案，根据虚拟NUMA结构的整体配置需求和物理NUMA结构建立虚拟NUMA节点与物理NUMA节点之间的对应关系，可以尽可能的为所有虚拟机构建虚拟NUMA结构，从而让虚拟机充分发挥NUMA的性能，同时为虚拟NUMA结构匹配到合适的物理NUMA结构，实现了虚拟NUMA结构与物理NUMA结构的映射和绑定，使物理资源得到合理的分配，虚拟机的性能更加高效、稳定。
第三方面，本发明实施例还提供一种超融合架构系统，包括：
若干上述的计算机系统；以及，
用于实现所述计算机系统交互的交换互联网络，所述交换互联网络包括交换机。
综上所述，本发明具有以下有益效果：
1、构造了合理的虚拟NUMA结构，使资源得到合理的分配；
2、实现了虚拟NUMA结构与物理NUMA结构的映射和绑定，虚拟机的性能更加稳定且性能更好；
3、解决了超融合架构下的复杂资源争用问题，使得在超融合架构下虚拟机的性能依然稳定并且综合效果较佳；
4、实现了热添加、冷/热迁移等功能，在保持虚拟机性能较佳的同时，使功能更加全面。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一中资源调度分配方法的流程图；
图2为本发明实施例三中构建虚拟NUMA结构的流程图；
图3为本发明实施例三中NUMA节点与可用的物理NUMA节点一一绑定时绑定结果的示意图，其中阴影部分为已使用的pCPU；
图4为本发明实施例三中物理NUMA节点不满足虚拟机一一绑定的需要时绑定结果的示意图，其中阴影部分为已使用的pCPU；
图5为本发明实施例三中增添其他物理NUMA节点时绑定结果的示意图，其中阴影部分为已使用的pCPU。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下，对本申请中部分用于进行解释说明，以便本领域技术人员理解。
虚拟机(Virtual Machine)：指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。
虚拟化NUMA管理：指为虚拟机构建的NUMA结构及其与物理机NUMA结构的映射和绑定关系，包括资源映射关系、内存分配策略和CPU绑定策略。
超售：与计算场景下一个物理CPU核心(也称为pCPU)同时满足多个虚拟CPU核心(也称为vCPU)计算需求的情况。
冷迁移：在虚拟机关机状态下进行的迁移。
热迁移：在虚拟机保持正常运行的状态下进行的迁移。
热添加：动态向运行中的虚拟机添加vCPU和内存。
轮询调度(Round Robin)：是一种以轮询的方式依次将资源分配到多个不同位置的计算方法。
OpenStack方案：在OpenStack方案中，用户使用下面方法描述虚拟机的NUMA结构：
hw:numa_nodes＝N，即表示虚拟机的节点数为N；
hw:numa_cpus.N＝<cpu-list>，即表示NUMA节点N的vCPU列表；
hw:numa_mem.N＝<ram-size>，即表示NUMA节点N的内存大小。
用户指定CPU和内存绑定策略为：
hw:numa_mempolicy＝preferred|strict；
hw:cpu_policy＝shared|dedicated。
系统根据用户指定的vCPU绑定策略来决定虚拟NUMA结构与物理NUMA结构的绑定关系：
1)CPU策略为shared等价于不绑定，vCPU可以在所有pCPU上运行，dedicated策略则是一一映射，且排他绑定，例如vCPU 1映射到pCPU 2上，则其他vCPU不能再使用pCPU2；
2)内存策略为strict，表示只能从本地内存分配，同时固定在特定物理NUMA节点上运行，内存策略为preferred，则表示优先使用本地内存，但在本地内存不足时也可以使用非本地内存；
3)在绑定的情况下，迁移的方法就是保持迁移前后的映射关系不变，如果目标节点的资源不满足，例如：同样序号的pCPU上已经存在其他虚拟机的vCPU，则不能迁移。
综上所述，OpenStack方案完全依赖用户指定NUMA结构和映射策略，并且在CPU不绑定策略下时，性能并不可靠，NUMA的价值降低，在CPU绑定策略下时，迁移的约束很大，同时也没有考虑超融合场景下，其他功能占用资源的复杂性。
VMware方案：VMware方案相较于OpenStack方案要更进一步，系统有默认的虚拟机NUMA结构策略和一定的自动化资源映射管理。
虚拟NUMA结构默认策略是：numa.autosize.once＝TRUE，numa.autosize＝FALSE，表示创建虚拟机时自动评估虚拟NUMA拓扑结构。具体规则为：
1)大于等于9个vCPU的虚拟机才会创建虚拟NUMA结构；
2)或者虚拟机的vCPU总数大于物理机单个NUMA的pCPU数目；
3)新创建虚拟机时决定虚拟NUMA结构，在不考虑迁移时，节点间的资源情况不同；
4)不支持热添加操作，即动态给虚拟机添加vCPU和内存；
5)vCPU与pCPU的关系是一一映射，不支持超售，也就是不支持云计算场景下常见的一个pCPU可以同时满足多个vCPU计算需求的情况。
在VMware方案中的内存分配策略为“主节点绑定”(Home Nodes and InitialPlacement)和“内存动态迁移”(Dynamic Load Balancing and Page Migration)。虚拟机开机时，会分配一个“主节点”，即虚拟机被限制在一个或几个相近的物理NUMA节点上。但是，物理资源和虚拟机的负载都会动态变化，初始的放置方法无法保证良好性能和公平性，所以除“主节点绑定”外，还引入“内存动态迁移”，也就是系统定期检查各个物理NUMA节点的负载，并且确定是否应通过将虚拟机从一个节点移至另一个节点来再平衡负载，将其主节点更改为负载最少的节点，虚拟机将在新的主节点上分配内存，并且仅在新主节点内的处理器上运行。但这种情况下，虚拟机访问原来已分配的内存都是远程访问，性能损失大，系统将内存从虚拟机的原始节点以透明的方式迁移到新的主节点，可以消除该损失：
1)系统选择原始节点上的页，包括4KB连续内存，并将其数据复制到目标节点中的页上；
2)重新映射虚拟机的内存，将目标节点上的页用于后续的所有引用，从而消除了远程访问内存所带来的损失。
其中，数据复制的性能损耗是很显著的，降低了NUMA的性能优势。
综上所述，VMware默认的虚拟机NUMA结构策略考虑了多vCPU和大内存虚拟机的NUMA优化，但其资源映射管理是一种“NUMA亲和”策略，不是严格绑定关系，动态情况下，虚拟机和系统自身都表现不好，并且对于迁移和热添加等功能限制很大。虽然有一些参数配置可以针对硬件结构做一些优化调整，比如vCPU绑定、异构迁移等，但本质上同OpenStack方案是一样的，问题也同OpenStack方案。
实施例一：
一种资源调度分配方法，如图1所示，包括如下步骤：
101，确定虚拟机所对应的虚拟NUMA结构的整体配置需求，虚拟NUMA结构包括若干虚拟NUMA节点，虚拟NUMA节点包括虚拟CPU核心以及虚拟内存，整体配置需求包括虚拟NUMA节点的子配置需求，子配置需求包括：针对虚拟CPU核心的第一配置需求以及针对虚拟内存的第二配置需求。
102，确定物理NUMA结构的整体资源可用性，物理NUMA结构包括若干物理NUMA节点，物理NUMA节点包括物理CPU核心以及物理内存，整体资源可用性包括物理NUMA节点的子资源可用性，子资源可用性包括：针对物理CPU核心的第一资源可用性以及针对物理内存的第二资源可用性。
具体地，第一资源可用性考虑物理CPU核心的超售配置，即第二资源可用性考虑物理内存的超售配置。
103，基于整体配置需求及所述整体资源可用性，建立虚拟NUMA节点与物理NUMA节点之间的对应关系。
具体地，建立虚拟NUMA节点与物理NUMA节点之间的对应关系至少符合如下策略之一：
建立单个虚拟NUMA节点与子资源可用性所表征的可用资源满足需求且可用资源最多的单个物理NUMA节点之间的对应关系，或者，建立单个虚拟NUMA节点与子资源可用性所表征的可用资源满足需求且可用资源最少的单个物理NUMA节点之间的对应关系；
当单个物理NUMA节点的子资源可用性所表征的可用资源满足所有虚拟NUMA节点需求时，建立所有虚拟NUMA节点与单个物理NUMA节点之间的对应关系，当单个物理NUMA节点的子资源可用性所表征的可用资源无法满足所有虚拟NUMA节点需求、且至少两个物理NUMA节点的子资源可用性所表征的可用资源满足所有虚拟NUMA节点需求时，建立所有虚拟NUMA节点与至少两个物理NUMA节点之间的对应关系。
其中，建立所有虚拟NUMA节点与至少两个物理NUMA节点之间的对应关系具体为：以轮询调度方式在不同物理NUMA节点之间均衡分配所述虚拟CPU核心，且所有虚拟NUMA节点所对应的物理NUMA节点数量不超过预设定阈值，从而使构建的NUMA结构性能达到较佳的状态且不会增加管理的复杂性。
相应的，本实施例还提供一种计算机系统，包括：构成物理NUMA结构的若干物理NUMA节点，其中，物理NUMA节点包括物理CPU核心以及物理内存，该系统中还包括调度服务器，调度服务器用于：
确定虚拟机所对应的虚拟NUMA结构的整体配置需求，虚拟NUMA结构包括若干虚拟NUMA节点，虚拟NUMA节点包括虚拟CPU核心以及虚拟内存，整体配置需求包括虚拟NUMA节点的子配置需求，子配置需求包括：针对虚拟CPU核心的第一配置需求以及针对虚拟内存的第二配置需求；
确定物理NUMA结构的整体资源可用性，物理NUMA结构包括若干物理NUMA节点，物理NUMA节点包括物理CPU核心以及物理内存，整体资源可用性包括物理NUMA节点的子资源可用性，子资源可用性包括：针对物理CPU核心的第一资源可用性以及针对物理内存的第二资源可用性；
基于所述整体配置需求及整体资源可用性，建立虚拟NUMA节点与物理NUMA节点之间的对应关系。
相应的，本实施例还提供一种超融合架构系统，包括：若干上述的计算机系统；以及，用于实现计算机系统之间交互的交换互联网络，交换互联网络包括交换机。具体地，交换机可以是标准的商用交换机，通过在虚拟机上运行的软件将计算、网络、存储功能在各计算机系统的服务器上实现并融合为一体，形成模块化的部署单元，通过交换机使各计算机系统之间能进行交互，形成能水平伸缩的机群。
相应的，本实施例还提供一种存储介质，该存储介质存储有用于执行如下处理的指令集：
确定虚拟机所对应的虚拟NUMA结构的整体配置需求，虚拟NUMA结构包括若干虚拟NUMA节点，虚拟NUMA节点包括虚拟CPU核心以及虚拟内存，整体配置需求包括虚拟NUMA节点的子配置需求，子配置需求包括：针对虚拟CPU核心的第一配置需求以及针对虚拟内存的第二配置需求；
确定物理NUMA结构的整体资源可用性，物理NUMA结构包括若干物理NUMA节点，物理NUMA节点包括物理CPU核心以及物理内存，整体资源可用性包括物理NUMA节点的子资源可用性，子资源可用性包括：针对物理CPU核心的第一资源可用性以及针对物理内存的第二资源可用性；
基于整体配置需求及整体资源可用性，建立虚拟NUMA节点与物理NUMA节点之间的对应关系。
根据虚拟NUMA结构的整体配置需求和物理NUMA结构建立虚拟NUMA节点与物理NUMA节点之间的对应关系，可以尽可能的为所有虚拟机构建虚拟NUMA结构，从而让虚拟机充分发挥NUMA的性能，同时为虚拟NUMA结构匹配到合适的物理NUMA结构，实现了虚拟NUMA结构与物理NUMA结构的映射和绑定，使物理资源得到合理的分配，虚拟机的性能更加稳定。
实施例二：
本实施例与其他实施例的区别在于：在本实施例中，资源调度分配方法还包括：在所述物理NUMA结构中为所述虚拟NUMA结构预留不会被非虚拟机负载占用的资源，即明确存储、网络和计算(非虚拟机内部)功能的资源争用所需占用的资源，在系统初始化时精确确定可用的虚拟资源总量，并且确保这些虚拟资源不会被非虚拟机负载占用，从而减少资源争用的现象发生，保障虚拟机的可用资源。
在本实施例中，资源调度分配方法还包括：当整体资源可用性表征出物理NUMA结构无法满足虚拟NUMA结构的要求时，在物理NUMA结构中纳入新的物理NUMA节点，即如果当前绑定的物理NUMA结构资源不足时，则动态调整绑定集合，增加其他的物理NUMA节点，从而使虚拟NUMA结构保持最佳最稳定的状态。
在本实施例中，资源调度分配方法还包括：执行虚拟NUMA结构在不同物理NUMA结构之间的冷迁移或热迁移，其中，如果选择执行热迁移，则在执行热迁移之前进行：模拟热迁移之后的资源重新映射过程，若成功则执行热迁移，否则不执行热迁移，从而减少热迁移失败导致数据遗失的现象发生。
实施例三：
本实施例针对资源调度分配方法一详细实施例进行阐述，主要包括如下几个部分：
1)虚拟机创建时构建合理的虚拟NUMA结构的方法；
2)虚拟机打开电源时的资源映射关系、内存分配策略和CPU绑定策略；
3)热添加CPU和内存时的资源映射关系、内存分配策略和CPU绑定策略；
4)冷/热迁移时的调度算法，冷迁移/调整大小时的虚拟NUMA结构重建策略，热迁移时的资源重映射方法，包括内存分配策略调整和CPU重新绑定；
5)超融合架构下，资源争用的优化方法。
一、虚拟机创建时构建合理的虚拟NUMA结构的方法
该方法遵守两方面的制约：客户操作系统的限制和物理资源的限制。
客户操作系统的限制是指，虚拟机使用的操作系统对虚拟NUMA结构的限制。比如：操作系统为windows系统时，CPU socket(编程接口)支持数目各不相同，甚至某些个人版windows只支持单路CPU，但可以是多核的，相当于只能有一个NUMA节点结构。为此，在用于创建虚拟机的操作系统镜像的元数据中描述这些信息，比如hw_cpu_max_sockets＝4表示该操作系统最多支持四路CPU，可以最多构建4个NUMA节点结构。
物理资源的限制：超融合架构下，物理服务器基本都是两路CPU或以上，虚拟NUMA结构需要匹配物理NUMA结构才能发挥NUMA的性能，本实施例中物理服务器为x86服务器。
在本实施例中允许用户指定虚拟机NUMA结构和绑定策略等以应对用户的特殊使用场景，但是当用户不指定时，则为虚拟机构建尽可能高性能的NUMA结构，充分考虑多方面的制约，并且与热添加、冷/热迁移等高级功能保持兼容。即，操作系统有限制时，构建的NUMA结构在限制范围内；操作系统无限制或者条件宽松时，尽可能构建与物理资源相匹配的NUMA结构。
如图2所示，图2示出了构建虚拟NUMA结构的具体流程，具体来说：
201，系统在初始化时，会收集物理资源信息，如NUMA结构和必要资源保留等信息，并考虑超售配置，转换为可用的虚拟资源，如每个NUMA节点可分配的vCPU数目和内存等。
202，从调度服务器接收虚拟机创建请求，如果是性能优先的调度服务器选择一个当前可用虚拟资源最多的节点，如果是节能优先的调度服务器则选择一个可用虚拟资源能满足但最少的节点。
203，判断单个物理NUMA节点的可用资源是否满足，在该节点上，虚拟机创建时如果能被单个物理NUMA节点容纳，则构造单NUMA节点的结构。
204，虚拟机创建时如果超出了单个物理NUMA节点的可用虚拟资源，则构造多个NUMA节点结构并且尽可能均衡，即vCPU数目和内存大小相当。
205，判断本节点所有物理NUMA节点的资源是否满足，至多分配当前物理服务器的物理NUMA节点数目，因为更多的NUMA节点数目不会提升性能并且会增加管理的复杂性。
206，考虑到热添加的情况，将vCPU序号在各个虚拟NUMA节点中轮询分配，例如：4个vCPU、2个NUMA节点的虚拟机，vCPU 0和2在NUMA节点0，vCPU 1和3在NUMA节点1。
207，创建虚拟机，上述虚拟NUMA结构信息记录在虚拟机的元数据中，同时更新可用的虚拟资源情况。
如下表1所示，其列举了几种不同的物理资源情况下，虚拟NUMA结构的构建结果：
表1-虚拟NUMA结构的构建结果
二、虚拟机打开电源时的资源映射关系、内存分配策略和CPU绑定策略
虚拟机创建时或者关闭后打开电源时，决定与物理资源的映射关系、内存分配策略和CPU绑定策略。在本实施例中，不经过调度服务器，即变换物理节点时，比如在创建、冷迁移等过程中，虚拟NUMA结构不会发生变化，保证虚拟机性能的稳定。
在本实施中，资源映射不是“亲和”策略，而是严格绑定关系，规避了“内存动态迁移”带来的性能不稳定，更重要的是保证虚拟机性能的稳定，使其虚拟NUMA结构是“真实可靠”的。但实现严格绑定要求“资源统计精确可靠”，“动态负载能被严格控制”，否则会遇到资源不足的严重后果，如：虚机内存分配失败。
“资源统计精确可靠”与“动态负载能被严格控制”是紧密相关的：“动态负载能被严格控制”是“资源统计精确可靠”的前提。其中“动态负载”在超融合架构下是指存储、网络和计算功能的资源争用问题，其解决办法是明确限制这些功能的资源占用，保障虚拟机的可用资源，即系统初始化时就精确确定可用的虚拟资源总量，并且确保这些虚拟资源不会被非虚拟机负载占用。
在上述过程实现基础上，在虚拟机创建时，会在前述构建虚拟NUMA结构的同一个加锁的过程中决定资源的严格绑定关系，该过程在同一台物理机上进行且该过程互斥。如图3所示，在图3中有阴影的pCPU为已占用，空白的pCPU为空闲，NUMA节点与可用的物理NUMA节点一一绑定，也即vCPU一一绑定到空闲的pCPU上，内存分配策略是preferred，即本地优先，考虑到热添加的情况，保留使用非本地内存的可能，但内存绑定的集合当前仍是单一物理NUMA节点，确保不进行热添加情况下的严格绑定关系，虚拟机的计算和访存性能都保持稳定。
虚拟机关闭后打开电源时，因为前述的“资源统计精确可靠”与“动态负载能被严格控制”虽然确保了本物理节点的总虚拟资源满足其上运行的所有虚拟机，但因为动态的创建和绑定过程，可能会出现物理NUMA节点不满足虚拟机一一绑定的需要，这时会将虚拟机的多个虚拟NUMA节点绑定到一个物理NUMA节点之上，如图4所示。相当于在虚拟机内部其实是对称多处理SMP结构的性能结构，没有不同节点间的性能差异，不会影响虚拟机中已有业务的性能。
三、热添加CPU和内存时的资源映射关系、内存分配策略和CPU绑定策略
热添加CPU和内存是指在虚拟机运行状态中动态增加CPU和内存，目前的操作系统大多支持此功能，如绝大多数Linux发行版、大部分Windows server版本等，热添加能快速满足用户的工作负载动态增长的资源需求，并且可以结合自动化的垂直扩展策略，在系统检测到虚拟机资源不足时自动添加资源，是云计算中的重要功能。热添加行为是不可预知的，提前预留资源则浪费过大且没法满足热添加多变的资源需求。
为解决热添加的“动态”和NUMA的“稳定”之间的矛盾，在本实施例中的多个方面都充分考虑热添加的情况：
1)vCPU序号在各个虚拟NUMA节点中轮询分配，在热添加vCPU过程中也保持，这样确保了虚拟NUMA结构的均衡性，在虚拟机内部能获得相对最高的资源利用率；
2)实现虚拟NUMA节点绑定集合的动态可调，内存分配策略保持preferred，这样在不热添加的情况下，虚拟NUMA结构与物理NUMA结构是一一对应的，保持了最好最稳定的性能，热添加后，如果当前绑定的物理NUMA结构资源不足，则动态调整绑定集合，增添其他物理NUMA节点，如图5所示。如果当前物理节点的可用虚拟资源不满足则热添加失败，此时可以选择关机调整虚拟机配置；
3)对于添加vCPU数目过多，超过当前绑定的物理NUMA节点的pCPU资源的特殊情况，处理方式同内存，绑定集合中添加新的物理NUMA节点，但会将内存分配策略动态调整为interleave，即均衡分配，因为同一个虚拟NUMA节点的vCPU绑定到了多个物理NUMA节点上，preferred策略不支持。
四、冷/热迁移时的调度算法，冷迁移/调整大小时的虚拟NUMA结构重建策略，热迁移时的资源重映射方法
冷迁移是指关机状态下在不同物理节点间迁移虚拟机，相当于在其他物理节点上在保持持久化的数据不变的情况下重建虚拟机，关机调整虚拟机配置大小则是冷迁移的一种特殊情况，处理过程是相同的。热迁移是指虚拟机保持运行状态下迁移，一般是在共享存储下，超融合存储也同时是共享存储，热迁移是通过网络传输内存数据变化，最终在很短时间内完成源/目的虚拟机的运行切换，业务一般感知不到虚拟机发生了热迁移。
冷迁移时，因为节点间资源情况不同或者架构差异，例如：CPU的架构不同、NUMA节点数目不同等，可能需要调整虚拟NUMA结构才能完成迁移。热迁移因为保持虚拟机运行状态，虚拟NUMA结构必须保持不变。这两种迁移都可以由用户指定具体的目标物理节点，或者由系统调度服务器决定。
无论是用户指定迁移的目标物理节点还是由系统调度服务器决定，逻辑都是一样的，差别只在于前者只有一个可用节点，后者是一个可用节点集合。调度服务器的策略虽然可调，即包括性能优先或节能优先等，但最终都会得到该策略下最优的一个可用节点。调度服务器是由一系列过滤器和权重算法构成，有前述的“资源统计精确可靠”与“动态负载能被严格控制”保证，调度服务器实现不复杂，需要特别说明的是，资源匹配是区分优先级的，首先精确匹配资源结构，该资源结构包括NUMA结构，不满足的话，则只匹配虚拟资源总量满足。得到一个最优的可用节点之后，对于冷迁移来说，就跟虚拟机创建过程类似，但不同之处是新增了一个步骤：判断虚拟机当前的虚拟NUMA结构能否适合物理节点的NUMA资源，如果资源满足，后续过程与上述几节的描述完全相同；如果资源总量满足但结构不满足，则重新构造最合理的NUMA结构并绑定资源。
热迁移与冷迁移的不同之处包括：
1)调度服务器的过滤规则是精确匹配资源结构；
2)热迁移中的虚拟NUMA结构不变，但可能会做资源的重映射，如CPU重新绑定、内存分配策略调整等；
3)在热迁移之前进行“预检查”，即完全模拟热迁移后的资源重映射过程，若成功，则进行热迁移，若失败，则不进行热迁移。而冷迁移不需要预检查，因为如果迁移失败，可以还原，不会丢失虚拟机的任何数据和状态信息。
五、超融合架构下，资源争用的优化方法
前述已经说明超融合架构的优化思路是明确限制存储、网络和计算功能的资源争用，保障虚拟机的可用资源，即系统初始化时精确确定可用的虚拟资源总量，并且确保这些虚拟资源不会被非虚拟机负载占用。
CPU负载优化，是将其他功能绑定到固定的pCPU集合上，虚拟机使用其他pCPU集合，这样严格隔离了资源争用的情况。同时，网络和存储功能要求硬件具备较强的IO能力，硬件接口卡(网卡和RAID卡等)尽可能选用缓存强、硬件功能丰富的型号，这也能降低对CPU和系统内存资源的占用，硬件接口卡可以是网卡和RAID卡等。
内存资源争用则是通过修改虚拟化管理器，将虚拟机使用的内存资源限制为预先分配的大页内存里，系统其他资源占用不会挤占这些内存资源，并且这些内存也不会换出到swap中，保障了虚拟机的访存性能。存储、网络和计算功能的内存占用极端情况下可以换出到swap中，保留了动态负载的裕度。
实施本实施例可以达到如预期的如下有益效果：
1、在x86架构的两路和四路服务器上，CPU和访存性能损耗只有1％-3％。如果虚拟NUMA结构不合理或没有绑定发生“漂移”，导致出现访问非本地内存的情况，依据硬件情况的不同，访存性能损耗会达到10-20％左右。
2、现有的虚拟化NUMA管理方案，都没有实现虚拟化NUMA结构下的热添加功能，本实施例支持热添加功能，且会考虑到客户操作系统的限制。
3、冷/热迁移适用范围最大化，兼容异构和多种调度策略。避免了现有的虚拟化NUMA管理方案对迁移的各种限制，异构只节点间资源情况不同或者架构差异，例如：CPU的架构不同、NUMA节点数目不同等。
4、解决了超融合架构下的资源争用问题。在不考虑资源争用时，会遇到虚拟机宕机，网络或存储功能故障等严重后果。完全动态的资源管理方案，不能保证性能的稳定性，资源迁移的成本很高，故本实施例采用的动态负载限制方案，达到了综合最优的效果。
在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可能采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所述涉及的动作和模块并不一定是本发明所必须的。
本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或通信连接可以是通过一些接口，装置或单元之间的间接耦合或通信连接，可以是电信或者其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述，以上实施例仅用以说明本发明的技术方案，而并非对其限制；尽管参照前述实施例对本发明进行详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种资源调度分配方法，其特征在于，包括：
确定虚拟机所对应的虚拟NUMA结构的整体配置需求，所述虚拟NUMA结构包括若干虚拟NUMA节点，所述虚拟NUMA节点包括虚拟CPU核心以及虚拟内存，所述整体配置需求包括所述虚拟NUMA节点的子配置需求，所述子配置需求包括：针对虚拟CPU核心的第一配置需求以及针对虚拟内存的第二配置需求；
确定物理NUMA结构的整体资源可用性，所述物理NUMA结构包括若干物理NUMA节点，所述物理NUMA节点包括物理CPU核心以及物理内存，所述整体资源可用性包括所述物理NUMA节点的子资源可用性，所述子资源可用性包括：针对物理CPU核心的第一资源可用性以及针对物理内存的第二资源可用性；基于所述整体配置需求及所述整体资源可用性，建立所述虚拟NUMA节点与物理NUMA节点之间的对应关系。
2.根据权利要求1所述的方法，其特征在于，所述第一资源可用性考虑物理CPU核心的超售配置，所述第二资源可用性考虑物理内存的超售配置。
3.根据权利要求1所述的方法，其特征在于，基于所述整体配置需求及所述整体资源可用性，建立所述虚拟NUMA节点与物理NUMA节点的对应关系至少符合如下策略之一：
建立单个所述虚拟NUMA节点与所述子资源可用性所表征的可用资源满足需求且可用资源最多的单个所述物理NUMA节点之间的对应关系，或者，建立单个所述虚拟NUMA节点与所述子资源可用性所表征的可用资源满足需求且可用资源最少的单个所述物理NUMA节点之间的对应关系，
当单个所述物理NUMA节点的所述子资源可用性所表征的可用资源满足所有所述虚拟NUMA节点需求时，建立所有所述虚拟NUMA节点与单个所述物理NUMA节点之间的对应关系，当单个所述物理NUMA节点的所述子资源可用性所表征的可用资源无法满足所有所述虚拟NUMA节点需求、且至少两个所述物理NUMA节点的所述子资源可用性所表征的可用资源满足所有所述虚拟NUMA节点需求时，建立所有所述虚拟NUMA节点与至少两个所述物理NUMA节点之间的对应关系。
4.根据权利要求3所述的方法，其特征在于，建立所有所述虚拟NUMA节点与至少两个所述物理NUMA节点之间的对应关系包括：
所有所述虚拟NUMA节点所对应的所述物理NUMA节点数量不超过预设定阈值。
5.根据权利要求3所述的方法，其特征在于，建立所有所述虚拟NUMA节点与至少两个所述物理NUMA节点之间的对应关系具体为：
以轮询调度方式在不同所述物理NUMA节点之间均衡分配所述虚拟CPU核心。
6.根据权利要求1所述的方法，其特征在于，该方法还包括：
在所述物理NUMA结构中为所述虚拟NUMA结构预留不会被非虚拟机负载占用的资源。
7.根据权利要求1所述的方法，其特征在于，该方法还包括：
当所述整体资源可用性表征出所述物理NUMA结构无法满足所述虚拟NUMA结构的要求时，在所述物理NUMA结构中纳入新的物理NUMA节点。
8.根据权利要求1所述的方法，其特征在于，该方法还包括：
执行所述虚拟NUMA结构在不同所述物理NUMA结构之间的冷迁移或热迁移，其中，如果选择执行所述热迁移，则在执行所述热迁移之前进行：模拟所述热迁移之后的资源重新映射过程，若成功则执行所述热迁移，否则不执行所述热迁移。
9.一种计算机系统，其特征在于，包括：构成物理NUMA结构的若干物理NUMA节点，其中，所述物理NUMA节点包括物理CPU核心以及物理内存，
该系统中还包括调度服务器，所述调度服务器用于：
确定虚拟机所对应的虚拟NUMA结构的整体配置需求，所述虚拟NUMA结构包括若干虚拟NUMA节点，所述虚拟NUMA节点包括虚拟CPU核心以及虚拟内存，所述整体配置需求包括所述虚拟NUMA节点的子配置需求，所述子配置需求包括：针对虚拟CPU核心的第一配置需求以及针对虚拟内存的第二配置需求；
确定物理NUMA结构的整体资源可用性，所述物理NUMA结构包括若干物理NUMA节点，所述物理NUMA节点包括物理CPU核心以及物理内存，所述整体资源可用性包括所述物理NUMA节点的子资源可用性，所述子资源可用性包括：针对物理CPU核心的第一资源可用性以及针对物理内存的第二资源可用性；基于所述整体配置需求及所述整体资源可用性，建立所述虚拟NUMA节点与物理NUMA节点之间的对应关系。
10.一种超融合架构系统，其特征在于，包括：
若干如权利要求9所述的计算机系统；以及，
用于实现所述计算机系统交互的交换互联网络，所述交换互联网络包括交换机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711485994.0A CN108196958B (zh) | 2017-12-29 | 2017-12-29 | 资源调度分配方法、计算机系统及超融合架构系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711485994.0A CN108196958B (zh) | 2017-12-29 | 2017-12-29 | 资源调度分配方法、计算机系统及超融合架构系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108196958A true CN108196958A (zh) | 2018-06-22 |
| CN108196958B CN108196958B (zh) | 2020-09-29 |
Family
ID=62586950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711485994.0A Active CN108196958B (zh) | 2017-12-29 | 2017-12-29 | 资源调度分配方法、计算机系统及超融合架构系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108196958B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109471702A (zh) * | 2018-11-15 | 2019-03-15 | 郑州云海信息技术有限公司 | 一种虚拟机的管理方法和装置 |
| CN110399201A (zh) * | 2019-06-28 | 2019-11-01 | 苏州浪潮智能科技有限公司 | 一种openstack计算节点主机维护的方法、装置和云管理平台 |
| CN110597639A (zh) * | 2019-09-23 | 2019-12-20 | 腾讯科技（深圳）有限公司 | Cpu分配控制方法、装置、服务器及存储介质 |
| CN110750336A (zh) * | 2019-10-29 | 2020-02-04 | 北京浪潮数据技术有限公司 | 一种OpenStack虚拟机内存热扩容方法 |
| CN110990114A (zh) * | 2019-11-08 | 2020-04-10 | 浪潮电子信息产业股份有限公司 | 一种虚拟机资源分配方法、装置、设备及可读存储介质 |
| CN111414236A (zh) * | 2020-03-23 | 2020-07-14 | 佳讯飞鸿（北京）智能科技研究院有限公司 | Cpu和内存的在线调整方法、装置和虚拟电子设备 |
| CN112181595A (zh) * | 2020-10-10 | 2021-01-05 | 济南浪潮数据技术有限公司 | 虚拟机的numa节点绑定方法、装置、设备及存储介质 |
| CN112231058A (zh) * | 2020-10-16 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种突破numa拓扑限制创建云主机的方法及装置 |
| CN112433841A (zh) * | 2019-08-26 | 2021-03-02 | 中国移动通信集团浙江有限公司 | 一种资源池调度方法、系统、服务器和存储介质 |
| CN113608833A (zh) * | 2021-07-19 | 2021-11-05 | 曙光信息产业(北京)有限公司 | 虚拟机创建方法、装置、计算机设备和存储介质 |
| CN113743728A (zh) * | 2021-08-05 | 2021-12-03 | 北京航空航天大学 | 一种考虑状态迁移的机群检测均衡化调度方法 |
| CN115225642A (zh) * | 2022-06-10 | 2022-10-21 | 北京志凌海纳科技有限公司 | 超融合系统的弹性负载均衡方法及系统 |
| CN115499443A (zh) * | 2022-11-16 | 2022-12-20 | 江苏迈步信息科技有限公司 | 基于超融合基础构架的高可用系统及方法 |
| CN116932229A (zh) * | 2023-09-13 | 2023-10-24 | 新华三信息技术有限公司 | 一种内存分配方法、装置、网络管理器及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521052A (zh) * | 2011-12-06 | 2012-06-27 | 北京航空航天大学 | 虚拟化数据中心资源分配方法及虚拟机监控器 |
| CN103136110A (zh) * | 2013-02-18 | 2013-06-05 | 华为技术有限公司 | 内存管理方法、内存管理装置及numa系统 |
| CN103814358A (zh) * | 2011-09-20 | 2014-05-21 | 国际商业机器公司 | 服务器群内的虚拟机放置 |
| US20140237197A1 (en) * | 2013-02-20 | 2014-08-21 | Red Hat, Inc. | Non-uniform memory access (numa) resource assignment and re-evaluation |
| US20160224370A1 (en) * | 2013-08-26 | 2016-08-04 | Vmware, Inc. | Virtual machine monitor configured to support latency sensitive virtual machines |
| CN107038061A (zh) * | 2017-04-14 | 2017-08-11 | 上海交通大学 | 一种基于numa和硬件辅助技术的高效网络io处理方法 |
| CN107229506A (zh) * | 2017-05-27 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种虚拟机迁移方法及装置 |
| CN107368353A (zh) * | 2017-07-26 | 2017-11-21 | 郑州云海信息技术有限公司 | 一种实现虚拟机内存热添加的方法和装置 |
-
2017
- 2017-12-29 CN CN201711485994.0A patent/CN108196958B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103814358A (zh) * | 2011-09-20 | 2014-05-21 | 国际商业机器公司 | 服务器群内的虚拟机放置 |
| CN102521052A (zh) * | 2011-12-06 | 2012-06-27 | 北京航空航天大学 | 虚拟化数据中心资源分配方法及虚拟机监控器 |
| CN103136110A (zh) * | 2013-02-18 | 2013-06-05 | 华为技术有限公司 | 内存管理方法、内存管理装置及numa系统 |
| US20140237197A1 (en) * | 2013-02-20 | 2014-08-21 | Red Hat, Inc. | Non-uniform memory access (numa) resource assignment and re-evaluation |
| US20160224370A1 (en) * | 2013-08-26 | 2016-08-04 | Vmware, Inc. | Virtual machine monitor configured to support latency sensitive virtual machines |
| CN107038061A (zh) * | 2017-04-14 | 2017-08-11 | 上海交通大学 | 一种基于numa和硬件辅助技术的高效网络io处理方法 |
| CN107229506A (zh) * | 2017-05-27 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种虚拟机迁移方法及装置 |
| CN107368353A (zh) * | 2017-07-26 | 2017-11-21 | 郑州云海信息技术有限公司 | 一种实现虚拟机内存热添加的方法和装置 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109471702A (zh) * | 2018-11-15 | 2019-03-15 | 郑州云海信息技术有限公司 | 一种虚拟机的管理方法和装置 |
| CN110399201A (zh) * | 2019-06-28 | 2019-11-01 | 苏州浪潮智能科技有限公司 | 一种openstack计算节点主机维护的方法、装置和云管理平台 |
| CN112433841A (zh) * | 2019-08-26 | 2021-03-02 | 中国移动通信集团浙江有限公司 | 一种资源池调度方法、系统、服务器和存储介质 |
| CN112433841B (zh) * | 2019-08-26 | 2023-08-01 | 中国移动通信集团浙江有限公司 | 一种资源池调度方法、系统、服务器和存储介质 |
| CN110597639A (zh) * | 2019-09-23 | 2019-12-20 | 腾讯科技（深圳）有限公司 | Cpu分配控制方法、装置、服务器及存储介质 |
| CN110750336A (zh) * | 2019-10-29 | 2020-02-04 | 北京浪潮数据技术有限公司 | 一种OpenStack虚拟机内存热扩容方法 |
| CN110750336B (zh) * | 2019-10-29 | 2022-06-17 | 北京浪潮数据技术有限公司 | 一种OpenStack虚拟机内存热扩容方法 |
| CN110990114A (zh) * | 2019-11-08 | 2020-04-10 | 浪潮电子信息产业股份有限公司 | 一种虚拟机资源分配方法、装置、设备及可读存储介质 |
| CN111414236A (zh) * | 2020-03-23 | 2020-07-14 | 佳讯飞鸿（北京）智能科技研究院有限公司 | Cpu和内存的在线调整方法、装置和虚拟电子设备 |
| CN112181595A (zh) * | 2020-10-10 | 2021-01-05 | 济南浪潮数据技术有限公司 | 虚拟机的numa节点绑定方法、装置、设备及存储介质 |
| CN112231058A (zh) * | 2020-10-16 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种突破numa拓扑限制创建云主机的方法及装置 |
| CN113608833A (zh) * | 2021-07-19 | 2021-11-05 | 曙光信息产业(北京)有限公司 | 虚拟机创建方法、装置、计算机设备和存储介质 |
| CN113743728A (zh) * | 2021-08-05 | 2021-12-03 | 北京航空航天大学 | 一种考虑状态迁移的机群检测均衡化调度方法 |
| CN115225642A (zh) * | 2022-06-10 | 2022-10-21 | 北京志凌海纳科技有限公司 | 超融合系统的弹性负载均衡方法及系统 |
| CN115225642B (zh) * | 2022-06-10 | 2023-09-15 | 北京志凌海纳科技有限公司 | 超融合系统的弹性负载均衡方法及系统 |
| CN115499443A (zh) * | 2022-11-16 | 2022-12-20 | 江苏迈步信息科技有限公司 | 基于超融合基础构架的高可用系统及方法 |
| CN115499443B (zh) * | 2022-11-16 | 2023-03-14 | 江苏迈步信息科技有限公司 | 基于超融合基础构架的高可用系统及方法 |
| CN116932229A (zh) * | 2023-09-13 | 2023-10-24 | 新华三信息技术有限公司 | 一种内存分配方法、装置、网络管理器及存储介质 |
| CN116932229B (zh) * | 2023-09-13 | 2023-12-12 | 新华三信息技术有限公司 | 一种内存分配方法、装置、网络管理器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108196958B (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108196958A (zh) | 资源调度分配方法、计算机系统及超融合架构系统 | |
| US10325343B1 (en) | Topology aware grouping and provisioning of GPU resources in GPU-as-a-Service platform | |
| CN105549904B (zh) | 一种应用于存储系统中的数据迁移方法及存储设备 | |
| CN105978704B (zh) | 用于创建新的云资源指令集体系结构的系统和方法 | |
| CN106502792B (zh) | 一种面向不同类型负载的多租户资源优化调度方法 | |
| CN104734954B (zh) | 一种用于软件定义网络的路由确定方法和装置 | |
| CN105074702B (zh) | 提供单租户和多租户环境的数据库系统 | |
| CN101901207B (zh) | 异构共享存储多处理机系统的操作系统及其工作方法 | |
| CN102103518B (zh) | 一种在虚拟化环境中管理资源的系统及其实现方法 | |
| CN104468803B (zh) | 一种虚拟数据中心资源映射方法和设备 | |
| CN106385329B (zh) | 资源池的处理方法、装置和设备 | |
| CN107690622A (zh) | 实现硬件加速处理的方法、设备和系统 | |
| CN104239227B (zh) | 一种虚拟化存储管理装置、本地虚拟存储管理装置及方法 | |
| CN106933502A (zh) | 用于同步数据块索引的方法和系统 | |
| CN103763173B (zh) | 数据传输方法和计算节点 | |
| CN109684074A (zh) | 物理机资源分配方法及终端设备 | |
| CN106933500A (zh) | 访问存储在存储系统中的数据对象的方法和系统 | |
| CN107133083B (zh) | 一种基于虚拟化技术的虚拟数据中心资源提供方法 | |
| CN107450977A (zh) | 基于yarn的面向gpgpu集群的资源管理调度方法 | |
| KR20120068464A (ko) | 통합 메모리 서비스를 위한 소프트웨어 구조 및 이 소프트웨어 구조를 이용한 통합 메모리 서비스 제공 방법 | |
| CN104038444B (zh) | 一种资源分配的方法、设备及系统 | |
| CN107493329A (zh) | 一种分布式内存文件系统的远程文件访问方法 | |
| CN107368379A (zh) | 面向EVP的跨GuestOS进程间通信方法及系统 | |
| CN107436798A (zh) | 一种基于numa节点的进程访问方法及装置 | |
| CN104331332A (zh) | 一种基于sla的虚拟资源预分配算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 430050 No. 1, 14 / F, HUAFA Siji phase II office building, No. 19, Meilin East Road, Hanyang District, Wuhan City, Hubei Province Patentee after: Wuhan zeta cloud Technology Co.,Ltd. Address before: Room a-0572, 2f, building 3, yard 30, Shixing street, Shijingshan District, Beijing 100088 Patentee before: BEIJING ZETTAKIT TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Resource scheduling and allocation method, computer system and super fusion architecture system Effective date of registration: 20210823 Granted publication date: 20200929 Pledgee: Bank of China Limited Wuhan Hanyang sub branch Pledgor: Wuhan zeta cloud Technology Co.,Ltd. Registration number: Y2021420000077 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220822 Granted publication date: 20200929 Pledgee: Bank of China Limited Wuhan Hanyang sub branch Pledgor: Wuhan zeta cloud Technology Co.,Ltd. Registration number: Y2021420000077 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Resource scheduling and allocation method, computer system and hyper-converged architecture system Effective date of registration: 20220824 Granted publication date: 20200929 Pledgee: Bank of China Limited Wuhan Hanyang sub branch Pledgor: Wuhan zeta cloud Technology Co.,Ltd. Registration number: Y2022420000273 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zha Qian Inventor after: Huang Yang Inventor before: Huang Yang |
|
| CB03 | Change of inventor or designer information |