CN115617446A

CN115617446A - 一种虚拟化网络功能的资源调度方法以及相关设备

Info

Publication number: CN115617446A
Application number: CN202110797667.9A
Authority: CN
Inventors: 银宇; 梁琪; 薛义飞; 夏海涛
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2021-07-14
Filing date: 2021-07-14
Publication date: 2023-01-17

Abstract

本申请实施例公开了一种VNF的资源调度方法，用于减少VNFD的维护数量，减少根据硬件资源选择VNFD和修改VNFD的人工操作，提高VNF的部署效率，并进一步提高资源利用率。该方法包括：接收目标VNF对应的VNFD，VNFD包括表示目标VNF可运行的业务总容量信息和表示目标VNF实现时允许的CPU类型和内核数量信息，确定的目标物理服务器集合中的每个CPU的类型和内核数量为目标VNF实现时所允许的，每个CPU的可承载业务容量之和大于等于业务总容量。

Description

一种虚拟化网络功能的资源调度方法以及相关设备

技术领域

本申请实施例涉及通信领域，尤其涉及一种虚拟化网络功能的资源调度方法以及相关设备。

背景技术

虚拟化网络功能描述信息(virtualised network function descriptor，VNFD)是一个部署模板，它在部署和操作行为方面描述了对虚拟化网络功能(virtualisednetwork function，VNF)的要求。它还包含连接性、接口和虚拟化资源要求。

在一种对虚拟化资源的要求中，VNF所对应的VNFD指定了具有固定搭配关系的一组虚拟机要求，当该组虚拟机要求在物理服务器上实现时就可以实现该VNFD所描述的VNF。

但是在实际应用中，物理服务器的空闲资源大小和资源种类是复杂和多样的，并不能完全满足该VNFD的虚拟机要求，其中一套VNFD中的虚拟机要求不能被物理服务器满足时，需要选择另一套虚拟机要求可以被物理服务器满足的VNFD；如果现有的VNFD中的虚拟机要求不能被满足，还需要人工修改VNFD中对虚拟机的要求。VNF需要维护多套VNFD，这会占用极大的存储和计算资源，并且在多套VNFD中切换和修改VNFD的人工操作会占用过长的时间，使VNF的部署效率较低。

发明内容

本申请提供了一种VNF的资源调度方法以及相关设备，用于减少VNFD的维护数量，减少根据硬件资源选择VNFD和修改VNFD的人工操作，提高VNF的部署效率。

第一方面提供了一种VNF的资源调度方法：

VNFD是一个部署模板，它在部署和操作行为方面描述了对目标VNF的要求。它还包含连接性、接口和虚拟化资源要求。目标VNF对应的VNFD包括表示目标VNF可运行的业务总容量的业务总容量信息以及表示目标VNF实现时允许的CPU类型和内核数量信息。

NFVO在现有的物理服务器中匹配可承载容量之和满足目标VNF的业务总容量要求，现有物理服务器可提供CPU的类型和内核数量满足目标VNF实现要求的目标物理服务器集合，VNF可以是跨物理服务器节点的。目标物理服务器集合中所包括的CPU，可以指硬件CPU，也可以指逻辑计算机的CPU，逻辑计算机可以是虚拟机或容器，只要能够满足VNFD中CPU作用的CPU即可，每个CPU的可承载业务容量可以依据实际数据测得，也可以规定相同CPU类型和内核数量的可承载业务容量，只要是能够提供每个CPU的可承载业务容量数据即可。

NFVO根据包含目标VNF的业务总容量和目标VNF允许的CPU类型和内核数量信息的VNFD匹配满足需求的物理服务器集合，可以使VNF所允许的CPU类型和内核数量要求均在一个VNFD中，再匹配满足目标VNF业务总容量需求的目标物理服务器集合，减少了指定的虚拟机不同的VNF所对应VNFD的维护数量，同时减少了根据实际硬件资源选择VNFD和修改VNFD的人工操作，提高了VNF的部署效率。

基于第一方面，在第一方面的第一种实施方式中：

目标VNF对应的VNFD中包括目标资源选择策略信息，NFVO在匹配满足VNFD中对CPU类型和内核数量和VNF的业务总容量要求的目标物理服务器集合的过程中，可以重点针对目标资源选择策略信息指示的目标资源以及对目标资源的具体选择策略在物理服务器中进行选择。目标资源可以指物理服务器的任一种资源，不论是硬件资源或者是软件资源，具体的选择策略可以依据具体的资源而设置。

NFVO根据目标资源选择策略信息中指示的具体资源以及针对具体资源的选择策略匹配符合要求的目标物理服务器集合，可以更加有针对性、更加合理得利用物理服务器的资源，提高物理服务器资源的利用率。

基于第一方面或第一方面的第一种实施方式，在第一方面的第二种实施方式中：

目标资源选择策略信息可以包括CPU资源选择策略信息，CPU资源选择策略信息是指针对物理服务器中的CPU资源的选择策略。

CPU资源的选择策略可以是针对CPU类型的选择策略，与CPU类型对应的选择策略可以是“选择相同类型的CPU”。

CPU资源的选择策略还可以包括非统一内存访问(non uniform memory access，NUMA)域，针对NUMA域的选择策略可以是“NUMA域的资源空洞最小”。

基于第一方面、第一方面的第一种至第二种实施方式，在第一方面的第三种实施方式中：

目标物理服务器集合中所包括的每个CPU的可承载业务容量可以根据CPU类型和内核数量确定，相同类型和内核数量的CPU的可承载业务容量是相同的，不同类型和内核数量的可承载业务容量不同。NFVO根据目标物理服务器集合中所包括的至少一个CPU中每个CPU的类型和内核数量确定每个CPU的可承载业务容量。在根据CPU类型和内核数量确定每个CPU的可承载业务容量时，每个CPU是指目标物理服务器集合中每个物理服务器上创建的逻辑计算机中的CPU，无法确定每个物理服务器上的硬件CPU的可承载业务容量，但随着未来的技术进一步发展，确定每个硬件CPU的可承载业务容量也在本发明的保护范围之内。

NFVO基于CPU类型和内核数量与可承载业务容量的对应关系确定每个CPU的可承载业务容量，可以使目标物理服务器集合中每个CPU在运行目标VNF对应的业务时，得到均衡的负载，减少因单个CPU承载的业务量超出处理能力而导致发生延时的情况，提高了业务运行的流畅度。

基于第一方面、第一方面的第一种至第三种实施方式，在第一方面的第四种实施方式中：

CPU类型包括X86架构和ARM架构中的至少一种。

本申请实施例第二方面提供了一种NFVO，该NFVO具有实现前述第一方面中NFVO的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，该硬件或软件包括一个或多个与上述功能相对应的模块。

本申请实施例第三方面提供了一种NFVO，包括处理器、存储器、输入输出设备以及总线；

处理器、存储器、输入输出设备与总线相连；

处理器用于执行前述第一方面所述的方法。

本申请实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质中保有程序，当计算机执行程序时，执行前述第一方面中任一项所述方法中的流程。

本申请实施例第五方面提供了一种计算机程序产品，当该计算机程序产品在计算机上执行时，计算机执行前述第一方面中任一项所述方法中的流程。

附图说明

图1为虚拟化技术的原理示意图；

图2为网络功能虚拟化的系统架构示意图；

图3为本申请实施例中VNF的资源调度方法的一个流程示意图；

图4为本申请实施例中VNF的资源调度方法的另一流程示意图；

图5为本申请实施例中VNF的资源调度方法的另一流程示意图；

图6A为本申请实施例中VNF的资源调度的一个应用场景示意图；

图6B为本申请实施例中VNFD的一个示例示意图；

图7为本申请实施例中VNF的资源调度方法的另一应用场景示意图；

图8为本申请实施例中VNF的资源调度方法的另一应用场景示意图；

图9为本申请实施例中VNF的资源调度方法的另一应用场景示意图；

图10为本申请实施例中VNF的资源调度方法的另一应用场景示意图；

图11为本申请实施例中VNF的资源调度方法的另一应用场景示意图；

图12为本申请实施例中网络设备的一个结构示意图；

图13为本申请实施例中网络设备的另一结构示意图。

具体实施方式

本申请实施例提供了一种VNF的资源调度方法，用于减少VNFD的维护数量，减少根据硬件资源选择VNFD和修改VNFD的人工操作，提高VNF的部署效率。

以前，当我们运行操作系统时，我们只能在一台物理服务器上运行一个操作系统。如果我们需要同时运行多个操作系统，我们则需要具备多个服务器来运行所有的操作系统，因为每个操作系统都需要一台专属的物理服务器。这意味着运行拥有多个操作系统是一项极为耗费成本的工作。不仅需要购买大量物理服务器，而且还需要在这些服务器的运营和维护上花费更多的成本。

随后，虚拟化技术的出现解决了这个问题，虚拟化技术允许我们将操作系统与底层硬件分开，这意味着可以在单个物理计算机上同时运行多个操作系统，如图1所示在一台物理服务器上虚拟化出虚拟机1、虚拟机2和虚拟机3。操作系统可以是Windows或Linux，这些操作系统称为虚拟系统。虚拟化可以节省金钱和时间。

随着虚拟化技术的发展，虚拟化技术进一步推广到通信领域，NFV(networkfunctions virtualization，网络功能虚拟化)，就是将传统的通信技术(communicationstechnology，CT)业务部署到云平台上(云平台是指将物理硬件虚拟化所形成的虚拟机平台，能够承载CT和IT应用)，从而实现软硬件解耦合。NFV架构如图2所示：

NFV架构框架侧重于由于网络功能虚拟化过程而可能在运营商网络中发生的变化。也就是说，架构框架侧重于运营商网络虚拟化带来的新功能块和参考点。架构框架是在功能级别上描述的，它没有提出任何具体的实现。

架构功能块包括：(1)虚拟化网络功能(VNF)(2)元素管理(EM)(3)NFV基础设施，包括硬件和虚拟化资源以及虚拟化层(4)虚拟化基础架构管理器(5)NFV编排器(6)VNF管理器(7)服务、VNF和基础设施描述(8)运营和业务支持系统(OSS/BSS)。

NFV架构框架，描绘了NFV框架中的功能块和参考点。主要(命名)参考点和执行参考点用实线表示，属于NFV的范围。这些是标准化的潜在目标。虚线参考点在当前部署中可用，但可能需要扩展以处理网络功能虚拟化。然而，虚线参考点目前并不是NFV的主要关注点。所示的架构框架侧重于虚拟化所需的功能以及运营商网络的后续操作。它没有指定应该虚拟化哪些网络功能，因为这完全是网络所有者的决定。

结合上述介绍，下面对NFV架构中的功能块进一步介绍：

(1)虚拟化网络功能(VNF)：

VNF是传统非虚拟化网络中网络功能的虚拟化。NF的示例是3GPP^TM演进分组核心(EPC)网络元素，例如移动性管理实体(MME)、服务网关(SGW)、分组数据网络网关(PGW)；家庭网络中的元素，例如住宅网关(RGW)；和传统的网络功能，例如动态主机配置协议(DHCP)服务器、防火墙等。ETSI GS NFV 001提供了用于虚拟化的目标网络功能(NF)的用例和示例列表。NF的功能行为和状态在很大程度上与NF是否虚拟化无关。物理网络功能(PNF)和VNF的功能行为和外部操作接口预计是相同的。一个VNF可以由多个内部组件组成。例如，一个VNF可以部署在多个VM上，其中每个VM托管VNF的一个组件。但是，在其他情况下，整个VNF也可以部署在单个VM中。

(2)元素管理(EM)：

元素管理为一个或多个VNF执行典型的管理功能。

(3)NFV基础设施：

(4)NFV基础设施定义：

NFV基础设施是所有硬件和软件组件的总和，它们构建了部署、管理和执行VNF的环境。NFV基础设施可以跨越多个位置，即运行NFVI-PoP的地方。在这些位置之间提供连接的网络被视为NFV基础设施的一部分。从VNF的角度来看，虚拟化层和硬件资源看起来像一个单一的实体，为VNF提供所需的虚拟化资源。

(5)硬件资源：

在NFV中，物理硬件资源包括计算、存储和网络，它们通过虚拟化层(例如管理程序)为VNF提供处理、存储和连接。计算硬件被假定为COTS，而不是专用硬件。存储资源可以区分为共享网络附加存储(NAS)和驻留在服务器本身上的存储。计算和存储资源通常是池化的。网络资源由交换功能组成，例如路由器，以及有线或无线链接。此外，网络资源可以跨越不同的域。但是，NFV仅区分以下两种类型的网络：a.NFVI-PoP网络：将NFVI-PoP中包含的计算和存储资源互连的网络。它还包括特定的交换和路由设备以允许外部连接。b.传输网络：将NFVI-PoP、NFVI-PoP与同一或不同网络运营商拥有的其他网络以及NFVI-PoP与未包含在NFVI-PoP中的其他网络设备或终端互连的网络。

(6)虚拟化层和虚拟化资源：

虚拟化层抽象了硬件资源并将VNF软件与底层硬件解耦，从而确保VNF的硬件独立生命周期。简而言之，虚拟化层负责：a.抽象和逻辑分区物理资源，通常作为硬件抽象层。b.使实施VNF的软件能够使用底层虚拟化基础设施。c.为VNF提供虚拟化资源，以便后者可以执行。中间的虚拟化层确保VNF与硬件资源解耦，因此，软件可以部署在不同的物理硬件资源上。通常，这种类型的功能是以管理程序和VM的形式为计算和存储资源提供的。设想VNF部署在一个或多个VM中。NFV架构框架不限于使用任何特定的虚拟化层解决方案。相反，NFV希望使用具有标准功能的虚拟化层和面向VNF和硬件(计算、网络和存储)的开放执行参考点。在某些情况下，VM可能可以直接访问硬件资源(例如网络接口卡)以获得更好的性能。尽管如此，在NFV中，VM应始终提供抽象硬件资源的标准方法，而不限制其实例化或对特定硬件组件的依赖。管理程序的使用是目前部署VNF的典型解决方案之一。实现VNF的其他解决方案可能包括通过操作系统(OS)在非虚拟化服务器上运行的软件，例如当虚拟机管理程序支持不可用时，或者VNF实现为可以在虚拟化基础设施或裸机上运行的应用程序时。为确保操作透明，VNF的操作应独立于其部署场景。

当在网络资源域中使用虚拟化时，虚拟化层将网络硬件抽象化以实现虚拟化网络路径，从而提供VNF的VM之间和/或不同VNF实例之间的连接。几种技术允许这样做，包括通过虚拟网络和网络覆盖隔离资源的网络抽象层，包括虚拟局域网(VLAN)、虚拟专用局域网服务(VPLS)、虚拟可扩展局域网(VxLAN)、使用通用路由的网络虚拟化封装(NVGRE)等传输网络虚拟化的其他可能形式包括集中传输网络的控制平面并将其与转发平面分离，以及隔离传输介质，例如光波长等。

(7)虚拟化基础设施管理器：

从NFV的角度来看，虚拟化基础设施管理包括用于控制和管理VNF与其权限下的计算、存储和网络资源的交互以及它们的虚拟化的功能。根据架构中指定的硬件资源列表，Virtualised Infrastructure Manager执行：a.资源管理，负责：专用于NFV基础设施的软件(例如管理程序)、计算、存储和网络资源的清单；分配虚拟化使能器，例如虚拟机上的虚拟机管理程序、计算资源、存储和相关的网络连接；基础设施资源和分配的管理，例如增加对虚拟机的资源，提高能源效率和资源回收。b.操作，用于：NFV基础设施的可见性和管理；从NFV基础设施的角度对性能问题进行根本原因分析；基础设施故障信息的收集；收集用于容量规划、监控和优化的信息。可以部署多个Virtualized Infrastructure Manager实例。

(8)NFV编排器：

NFV Orchestrator负责NFV基础设施和软件资源的编排和管理，在NFVI上实现网络服务。

(9)VNF管理器：

VNF管理器负责VNF生命周期管理(例如实例化、更新、查询、扩展、终止)。可以部署多个VNF管理器；可以为每个VNF部署一个VNF Manager，或者一个VNF Manager可以为多个VNF服务。

(10)服务、VNF和基础设施描述：

此数据集提供有关VNF部署模板、VNF转发图、服务相关信息和NFV基础设施信息模型的信息。这些模板/描述符在NFV管理和编排内部使用。NFV管理和编排功能块处理包含在模板/描述符中的信息，并且可以根据需要将此类信息(的子集)暴露给适用的功能块。

(11)运营支持系统和业务支持系统(OSS/BSS)

OSS/BSS是指运营商的OSS/BSS。

结合上述介绍，下面对NFV架构中的参考点进行介绍：

(1)虚拟化层-硬件资源-(VI-Ha)：

该参考点将虚拟化层与硬件资源连接起来，为VNF创建一个执行环境，并收集相关的硬件资源状态信息来管理VNF，而不依赖于任何硬件平台。

(2)VNF-NFV基础设施(Vn-Nf)：

这个参考点代表了NFVI提供给VNF的执行环境。它不承担任何特定的控制协议。它在NFV的范围内，以保证VNF的硬件独立生命周期、性能和可移植性要求。

(3)NFV Orchestrator-VNF管理器(Or-Vnfm)：

该参考点用于：资源相关请求，例如由VNF管理器授权、验证、保留、分配；将配置信息发送到VNF管理器，以便VNF可以适当地配置为在网络服务中的VNF转发图中运行。收集网络服务生命周期管理所需的VNF状态信息。

(4)虚拟化基础设施管理器-VNF管理器(Vi-Vnfm)：

该参考点用于：VNF管理器的资源分配请求；虚拟化硬件资源配置和状态信息(例如事件)交换。

(5)NFV Orchestrator-虚拟化基础设施管理器(Or-Vi)：

该参考点用于：NFV Orchestrator的资源预留和/或分配请求；虚拟化硬件资源配置和状态信息(例如事件)交换。

(6)NFVI-虚拟化基础设施管理器(Nf-Vi)：

该参考点用于：虚拟化资源的特定分配以响应资源分配请求；转发虚拟化资源状态信息；硬件资源配置和状态信息(例如事件)交换。

(7)OSS/BSS-NFV管理和编排(Os-Ma)：

该参考点用于：请求网络服务生命周期管理；VNF生命周期管理请求；转发与NFV相关的状态信息；政策管理交流；数据分析交流；转发与NFV相关的记帐和使用记录；NFVI容量和库存信息交换。

(8)VNF/EM-VNF管理器(Ve-Vnfm)：

该参考点用于：VNF生命周期管理请求；交换配置信息；交换网络服务生命周期管理所需的状态信息。

基于图2所述的NFV架构，下面对本申请实施例中VNF的资源调度方法进行介绍：

需要说明的是，本申请实施例中对网络设备不做限定，为了便于说明，以下仅以网络设备为NFVO为例进行说明。

本申请实施例中，NFVO接收目标VNF对应的VNFD，VNFD包括表示VNF可运行业务总容量的业务总容量信息和表示VNF允许的至少一个CPU类型的CPU类型信息，与现有的物理服务器进行匹配，使最终确定的目标物理服务器集合中每个虚拟机或容器的CPU都是目标VNF所允许的CPU类型，并且每个CPU的可承载业务容量之和大于等于业务总容量。

需要说明的是，根据本申请实施例提供的方法，可以有很多种具体匹配目标物理服务器集合的匹配算法，均在本申请的保护范围之内，本申请实施例对具体的匹配算法不做限定，此处仅提供一种具体的目标物理服务器集合的选择方法，请参阅图3：

301、NFVO接收目标VNF对应的VNFD，VNFD包括业务总容量信息和CPU类型和内核数量信息。

NFVO接收目标VNF对应的VNFD，VNFD是一个部署模板，它在部署和操作行为方面描述了对目标VNF的要求。它还包含连接性、接口和虚拟化资源要求。目标VNF对应的VNFD包括表示目标VNF可运行的业务总容量的业务总容量信息以及表示目标VNF实现时允许的CPU类型和内核数量的CPU类型和内核数量信息。

302、基于CPU类型和内核数量与可承载业务容量的对应关系，NFVO根据业务总容量确定至少一个目标CPU需求集合。

NFVO会预先导入CPU类型与可承载业务容量的对应关系，CPU类型包括CPU内核数量类型和CPU架构类型。

本实施例中，CPU类型与可承载业务容量的对应关系如表1和表2所示：

表1

CPU类型和内核数量	可承载业务容量
		2*X86	800
4*X86	1800
		6*X86	2800
8*X86	4000
		…	…

在如表1所示的CPU类型与可承载业务容量的对应关系中，CPU类型是相同的，均为X86架构。

表2

CPU类型和内核数量	可承载业务容量
		2*arm_64	720
2*x86_64	800
		4*arm_64	1620
4*x86_64	1800
		6*arm_64	2520
6*x86_64	2800
		8*arm_64	3600
8*x86_64	4000
		…	…

在如表2所示的CPU类型与可承载业务容量的对应关系中，CPU类型是不同的，包括X86架构和ARM-64架构。

当NFVO收到目标VNF对应的至少一个CPU类型和内核数量信息时，会调用每种CPU类型和内核数量与可承载业务容量的对应关系，从而确定至少一个满足目标VNF可运行业务总容量的目标CPU需求集合，每个CPU需求集合中每个CPU需求对应的可承载业务容量的总和大于等于业务总容量，每个CPU需求的类型为目标VNF对应的至少一个CPU类型中的至少一种。

303、NFVO根据至少一个CPU需求集合确定目标物理服务器集合。

NFVO与现有的物理服务器进行匹配，在空闲资源满足CPU需求集合中每个CPU的物理服务器集合中最终确定一个物理服务器集合为目标物理服务器集合。

304、NFVO确定目标物理服务器集合中每个虚拟机的CPU的可承载业务容量。

目标物理服务器及集合中包括的多个虚拟机需要共同发挥作用才能运行VNF的业务，每个虚拟机都需要承担一部分的业务承载容量。根据每个CPU类型与可承载业务容量的对应关系，确定每个虚拟机中的CPU类型，然后确定每个虚拟机中每个CPU的可承载的业务容量。

基于图3对本申请实施例中VNF的资源调度方法的介绍，本申请实施例中，在选择目标物理服务器集合时，还可以对不同的目标资源采用不同的策略进行选择，下面进行介绍，请参阅图4：

401、NFVO接收目标VNF对应的VNFD，VNFD包括业务总容量信息、CPU类型信息和CPU资源选择策略信息。

NFVO接收目标VNF对应的VNFD，VNFD中包括业务总容量信息和CPU类型信息之外，还包括CPU资源选择策略信息，业务总容量信息和CPU类型信息已在步骤301中进行了介绍，下面介绍CPU资源选择策略信息。

针对CPU资源，CPU资源选择策略的主要类型见表3：

表3

需要说明的是，表3所示的CPU资源选择策略仅仅是一种示例，CPU资源选择策略可以根据实际需要进行定义。

需要说明的是，在对CPU资源选择过程中的约束，可以在三个阶段约束，即生成CPU需求阶段，筛选CPU需求阶段和筛选物理服务器阶段。首先介绍根据CPU资源选择策略筛选CPU需求，请参阅步骤401-402-403-404-405。

402、基于CPU类型和内核数量与可承载业务容量的对应关系，NFVO根据业务总容量确定至少两个CPU需求集合。

本实施例中步骤402与图3所示302类似，具体此处不再赘述。

403、NFVO根据CPU资源选择策略信息从至少两个CPU需求集合中确定目标CPU需求集合。

根据CPU资源选择策略信息，例如目标资源是CPU架构，选择策略是相同架构的CPU，那么选择出的来目标CPU需求集合中的每个CPU都是相同架构的。

404、NFVO根据目标CPU需求集合确定目标物理服务器集合。

本实施例中步骤404与图3所示实施例中步骤303类似，具体此处不再赘述。

405、NFVO确定目标物理服务器集合中每个虚拟机的CPU的可承载业务容量。

本实施例中步骤405与图4所示实施例中步骤304类似，具体此处不再赘述。

下面介绍在CPU需求生成阶段根据CPU资源类型信息筛选，请参阅步骤401-406-404-405。

406、基于CPU类型和内核数量与可承载业务容量的对应关系，NFVO根据CPU类型信息和CPU资源选择策略信息确定目标CPU需求集合。

以CPU资源选择策略信息为“CPU架构/选择相同架构的CPU”进行介绍。在生成CPU需求集合阶段，只生成CPU架构相同的CPU需求集合。

根据CPU资源选择策略信息筛选还可以在匹配物理服务器阶段进行筛选，请参阅步骤401-402-407-408-405。

407、NFVO根据至少两个CPU需求集合确定备选物理服务器集合。

NFVO在现有物理服务器中进行匹配，空闲资源满足CPU需求集合的物理服务器集合确定为备选物理服务器集合。

408、NFVO根据CPU资源选择策略信息从至少两个备选物理服务器集合中确定目标物理服务器集合。

在匹配物理服务器时，考察实际的物理服务器中CPU的架构，从备选物理服务器集合中选择CPU架构相同的物理服务器作为目标物理服务器集合。

结合上述介绍，本申请实施例中的目标资源选择策略还可以是高级的NUMA选择策略，该策略仅可以用于在匹配物理服务器阶段筛选，请参阅图5：

501、接收目标VNF对应的VNFD，VNFD包括业务总容量信息、CPU类型和内核数量信息和NUMA域选择策略信息。

NFVO接收目标VNF对应的VNFD，VNFD中包括业务总容量信息和CPU类型信息之外，还包括CPU资源选择策略信息，业务总容量信息和CPU类型信息已在步骤301中进行了介绍，下面介绍NUMA域选择策略信息。

NUMA域选择策略信息主要是针对物理服务器的NUMA域，策略是选择资源空洞最小的NUMA域。

502、基于CPU类型和内核数量与可承载业务容量的对应关系，根据业务总容量确定至少一个目标CPU需求集合。

本实施例中步骤502与图3所示实施例中步骤302类似，具体此处不再赘述。

503、NFVO根据至少一个目标CPU需求集合确定备选物理服务器集合。

本实施例中步骤503与图4所示实施例中步骤407类似，具体此处不再赘述。

504、NFVO根据NUMA域选择策略信息从备选物理服务器集合中确定目标物理服务器集合。

一个物理服务器上可能有2个NUMA域，当第一NUMA域上有2个空闲的CPU内核，第二NUMA域上有2个空闲的CPU内核时，当需要创建一个需要4个CPU内核的虚拟机时，在不受策略指引的随机状态下，创建需要4个CPU内核的虚拟机时，会在另一台服务器中具有4个空闲的CPU内核的单个NUMA域中创建，造成第一NUMA的2个空闲CPU内核和第二NUMA域的2个空闲CPU内核无法利用，形成资源空洞。

在NUMA域选择策略的指示下，创建一个需要4个CPU内核的虚拟机会跨越第一NUMA域和第二NUMA域创建，充分利用了尺寸较小的空闲资源，减小了资源空洞。

NFVO根据NUMA域选择策略信息从备选物理服务器集合中确定NUMA域资源空洞最小的物理服务器集合作为目标物理服务器集合。

505、NFVO确定目标物理服务器集合中每个虚拟机的CPU的可承载业务容量。

本实施例中步骤505与图3所示实施例中步骤304类似，具体此处不再赘述。

图3至图5所示实施例对本申请实施例中虚拟化网络功能的资源调度的方法进行了介绍，下面对本申请实施例中虚拟化网络功能的资源调度的应用场景进行介绍：

本申请实施例中虚拟化网络功能的资源调度的方法可以应用在VNF实例化和VNF伸缩中的VNF扩容两个场景中，其中VNF实例化包括三个具体的场景，分别是(1)VNF实例化由NFVO分配资源；(2)VNF实例化由EM触发，VNFM分配资源；(3)VNF实例化由NFVO触发，VNFM分配资源。VNF扩容包括三个具体的场景，分别是(1)VNF扩容由NFVO分配资源；(2)VNF扩容由EM触发，VNFM分配资源；(3)VNF自动触发扩容，VNFM分配资源。

下面分别进行介绍：

一、VNF实例化

(1)由NFVO分配资源，请参阅图6A：

可选步骤：Sender将业务权重计算的基准导入NFVO。这里的Sender指一切被授权的可以向NFVO发送请求的单元。并不是每一次部署都需要导入基准，实际操作视情况而定，如大规模部署之前导入、新增异构硬件的时候更新等情况。

601、Sender向NFVO发送VNF实例化的请求。请求中指定的模板的类型为本专利保护点一中提出的归一化模板，请参阅图6B：

在图6B中，新增了如表4所示的参数：

表4

这里的Sender指一切被授权的可以向NFVO发送请求的单元。

需要说明的是，图6B所示模板仅为一个举例，本申请实施例中对模板的形式不做具体限定。

602、NFVO对接收到的请求进行验证。

603(可选)、NFVO进行实例化的可行性检查。

604、NFVO向VNFM发送VNF实例化请求，包含VNF实例化所需的数据。

605、VNFM对请求进行验证和处理。

606、VNFM向NFVO请求资源分配。

607、NFVO进行资源预分配的处理，根据现有的资源状况和模板中定义的资源尺寸范围、选择策略以及业务总容量等来动态确定最优的资源尺寸组合，同时生成相应的业务权重信息。具体请参阅图3至图5所示实施例。同时，NFVO触发资源权重注册流程，下文展开解释。

608、NFVO向VIM发送资源分配和连接设置请求。

609、VIM创建内部连接网络。

610、VIM创建虚拟机以及其它资源，并把虚拟机连接到网络。

611、VIM返回资源分配完成的结果给NFVO。

612、NFVO将资源分配完成的结果返回给VNFM。

613、VNFM根据参数配置VNF。如果存在EM的情况下，VNFM把新的VNF通知到EM。

614、VNFM向EM发送VNF实例化成功通知。

615、EM对VNF进行配置。

616、EM把VNF实例化完成的信息通知给NFVO。

617、NFVO返回VNF实例化完成。

权重注册流程，有以下四种典型实现方式：

a.在步骤608中，NFVO将各VM的权重信息传递给VIM，然后在分配VM资源的时候注入到对应VM中，(如环境变量的方式，方法在此不做限定，不具体展开)，后续VM中业务进程启动过程中将权重信息注册到负载均衡装置。

b.步骤612中，NFVO返回给VNFM的资源分配信息带有各VM的业务权重信息，VNFM在对VNF进行配置的时候将各VM的权重信息注入到VNF中，然后VNF/VM将权重信息注册到负载均衡装置。

c.步骤612中，NFVO返回给VNFM的资源分配信息带有各VM的业务权重信息，然后VNFM将业务权重信息再传递给EM，EM将业务权重信息再配置到负载均衡装置(VNF)。

d.步骤612中，NFVO返回给VNFM的资源分配信息带有各VM的业务权重信息，然后VNFM将业务权重信息再传递给EM，EM将业务权重信息配置到本次实例化的VNF中去，然后由VNF/VM自己将业务权重信息注册到负载均衡装置。

(2)由EM触发，VNFM分配资源，请参阅图7：

701、EM向VNFM发送VNF实例化的请求。请求中指定的模板的类型为本专利保护点一中提出的如图6B所示的归一化模板。

702、VNFM请求NFVO进行VNF实例化生命周期操作授权。

703、NFVO根据VNFM的请求检查资源是否可用。根据图3至图5所示实施例的实现确定最佳资源尺寸组合以及权重信息。

704、(可选)NFVO向VIM发起资源预留。

705、(可选)VIM返回资源预留结果。

706、NFVO返回VIM ID、资源组合和权重相关信息给VNFM。

707、VNFM根据NFVO返回的结果向VIM发起资源创建请求。触发权重注册流程。

708、VIM创建资源并返回创建资源结果给VNFM。

709、VNFM配置VNF。

710、VNFM向EM返回VNF实例化成功通知。

711、EM和VNFM把VNF添加到已管理设备。

712、EM配置VNF应用相关参数。

713、VNFM报告NFVOVNF实例化成功。

714、NFVO把VNF跟VIM以及资源池关联起来。

权重注册流程，有以下四种实现方式：

a.步骤707中，VNFM将各VM的权重信息传递给VIM，然后在分配VM资源的时候注入到对应VM中，(如环境变量的方式，方法在此不做限定，不具体展开)，后续VM中业务进程启动过程中将权重信息注册到负载均衡装置。

b.步骤709中，VNFM在对VNF进行配置的时候将各VM的权重信息注入到VNF中，然后VNF/VM将权重信息注册到负载均衡装置。

c.步骤710中，VNFM将业务权重信息传递给EM，EM将业务权重信息再配置到负载均衡装置(VNF)。

d.步骤710中，VNFM将业务权重信息再传递给EM，EM将业务权重信息配置到本次实例化的VNF中去，然后由VNF/VM自己将业务权重信息注册到负载均衡装置。

(3)由NFVO触发，VNFM分配资源，请参阅图8：

801、NFVO收到外部的VNF实例化的请求。

802、NFVO请求VNFM进行VNF实例化。请求中指定的模板的类型为本专利保护点一中提出的如图6B所示的归一化模板。

803、VNFM向NFVO发起VNF实例化生命周期操作资源授权。

804、NFVO根据VNFM的请求检查资源是否可用。根据图3至图5所示实施例的实现确定最佳资源尺寸组合以及权重信息。

805、(可选)NFVO向VIM发起创建资源预留。

806、(可选)VIM返回资源预留结果给NFVO。

807、NFVO返回VIM ID、资源组合和权重相关信息给VNFM。

808、VNFM根据NFVO返回的结果向VIM发起资源创建请求。触发权重注册流程。

809、VIM创建资源并返回结果给VNFM。

810、VNFM配置VNF。

811、VNFM向EM发送VNF实例化成功通知。

812、EM和VNFM把VNF添加到已管理设备。

813、EM配置VNF应用相关参数。

814、VNFM报告NFVO实例化成功。

815、NFVO把VNF跟VIM以及资源池关联起来。

权重注册流程有以下四种实现方式：

a.步骤808中，VNFM将各VM的权重信息传递给VIM，然后在分配VM资源的时候注入到对应VM中，(如环境变量的方式，方法在此不做限定，不具体展开)，后续VM中业务进程启动过程中将权重信息注册到负载均衡装置。

b.步骤810中，VNFM在对VNF进行配置的时候将各VM的权重信息注入到VNF中，然后VNF/VM将权重信息注册到负载均衡装置。

c.步骤811中，VNFM将业务权重信息传递给EM，EM将业务权重信息再配置到负载均衡装置(VNF)。

d.步骤811中，VNFM将业务权重信息再传递给EM，EM将业务权重信息配置到本次实例化的VNF中去，然后由VNF/VM自己将业务权重信息注册到负载均衡装置。

二、VNF扩容

(1)由NFVO分配资源，请参阅图9：

901、Sender向NFVO发送VNF伸缩(本文所有伸缩均指扩容)的请求。这里的Sender指一切被授权的可以向NFVO发送请求的单元。

902、NFVO对接收到的请求进行验证。

903、NFVO寻找对应的VNFM。

904、(可选)NFVO进行伸缩的可行性检查。

905、NFVO向VNFM发送VNF伸缩的请求，包含VNF伸缩所需的数据。

906、VNFM对请求进行确认和处理。

907、VNFM向NFVO请求资源管理权限。

908、NFVO进行资源预分配的处理，并向VIM发送资源分配和连接设置请求。

NFVO根据现有的资源状况和模板中定义的资源尺寸范围、选择策略以及业务总容量等来动态确定最优的资源尺寸组合，同时生成相应的业务权重信息。请参阅图3至图5所示实施例。同时，NFVO触发资源权重注册流程，下文展开解释。

909、VIM修改内部连接网络。

910、VIM实例化新的虚拟机以及其它资源，并把虚拟机连接到网络。

911、VIM返回资源分配完成的结果给NFVO。

912、NFVO将资源分配改变的通知返回给VNFM。

913、VNFM把VNF伸缩完成的信息通知给NFVO。

914、NFVO返回VNF结束伸缩的请求给sender。

权重注册流程，有以下四种典型实现方式：

a.步骤908中，NFVO将各VM的权重信息传递给VIM，然后在分配VM资源的时候注入到对应VM中，(如环境变量的方式，方法在此不做限定，不具体展开)，后续VM中业务进程启动过程中将权重信息注册到负载均衡装置。

b.步骤912中，NFVO返回给VNFM的资源分配信息带有各VM的业务权重信息，VNFM在对VNF进行配置的时候将各VM的权重信息注入到VNF中，然后VNF/VM将权重信息注册到负载均衡装置。

c.步骤912中，NFVO返回给VNFM的资源分配信息带有各VM的业务权重信息，然后VNFM将业务权重信息再传递给EM，步骤9014中，EM将业务权重信息再配置到负载均衡装置(VNF)。

d.步骤912中，NFVO返回给VNFM的资源分配信息带有各VM的业务权重信息，然后VNFM将业务权重信息再传递给EM，EM将业务权重信息配置到本次实例化的VNF中去，然后由VNF/VM自己将业务权重信息注册到负载均衡装置。

(2)由EM触发，VNFM分配资源，请参阅图10：

1001、手动或者自动的事件触发了VNF伸缩。

1002、EM向VNFM发送VNF伸缩的请求。

1003、VNFM请求NFVO进行VNF实例化生命周期操作资源授权。

1004、NFVO根据VNFM的请求检查资源是否可用。根据图3至图5所示实施例的实现确定最佳资源尺寸组合以及权重信息。

1005、(可选)NFVO向VIM发起可行性检查和资源预留请求。

1006、(可选)VIM返回资源预留结果给NFVO。

1007、NFVO向VNFM发送VNF伸缩请求。

1008、VNFM根据NFVO返回的结果向VIM发起资源分配请求。触发权重注册流程。

1009、VIM创建资源并返回结果给VNFM。

1010、VNFM配置VNF并部署特殊参数。

1011、VNFM通知EMVNF更新结果。

1012、EM和VNFM把VNF添加到已管理设备。

1013、EM配置VNF应用相关参数。

1014、VNFM报告NFVOVNF扩容成功。

1015、NFVO把VNF跟VIM以及资源池关联起来。

权重注册流程有以下四种具体的实现方式：

a.步骤1008中，VNFM将各VM的权重信息传递给VIM，然后在分配VM资源的时候注入到对应VM中，(如环境变量的方式，方法在此不做限定，不具体展开)，后续VM中业务进程启动过程中将权重信息注册到负载均衡装置。

b.步骤1010中，VNFM在对VNF进行配置的时候将各VM的权重信息注入到VNF中，然后VNF/VM将权重信息注册到负载均衡装置。

c.步骤1011中，VNFM将业务权重信息传递给EM，EM将业务权重信息再配置到负载均衡装置(VNF)。

d.步骤1011中，VNFM将业务权重信息再传递给EM，EM将业务权重信息配置到本次实例化的VNF中去，然后由VNF/VM自己将业务权重信息注册到负载均衡装置。

(3)由NFVO触发，VNFM分配资源，请参阅图11：

1101、VNFM接收VNF发送的性能测量通知，收集VNF上报的测量数据。

1102、VNFM检测到VNF扩容需求。

1103、VNFM向NFVO发起VNF实例化生命周期操作的资源授权。

1104、NFVO根据VNFM的请求检查资源是否可用。根据图3至图5所示实施例的实现确定最佳资源尺寸组合以及权重信息。

1105、(可选)NFVO向VIM发起创建资源预留的请求。

1106、(可选)VIM返回NFVO资源预留结果。

1107、NFVO返回VNF伸缩相关信息给VNFM。

1108、VNFM根据NFVO返回的结果向VIM发起分配资源请求，触发权重注册流程。

1109、VIM创建资源并返回结果给VNFM。

1110、VNFM配置VNF并部署特殊参数。

1111、VNFM通知EMVNF更新结果。

1112、EM和VNFM把VNF添加到已管理设备。

1113、EM配置VNF应用相关参数。

1114、VNFM报告NFVO扩容成功通知。

1115、NFVO把VNF跟VIM以及资源池关联起来。

权重注册流程有以下四种实现方式：

a.步骤1108中，VNFM将各VM的权重信息传递给VIM，然后在分配VM资源的时候注入到对应VM中，(如环境变量的方式，方法在此不做限定，不具体展开)，后续VM中业务进程启动过程中将权重信息注册到负载均衡装置。

b.步骤1110中，VNFM在对VNF进行配置的时候将各VM的权重信息注入到VNF中，然后VNF/VM将权重信息注册到负载均衡装置。

c.步骤1111中，VNFM将业务权重信息传递给EM，EM将业务权重信息再配置到负载均衡装置(VNF)。

d.步骤1111中，VNFM将业务权重信息再传递给EM，EM将业务权重信息配置到本次实例化的VNF中去，然后由VNF/VM自己将业务权重信息注册到负载均衡装置。

结合上述介绍，下面对本申请实施例中的网络设备进行介绍，请参阅图12：

本申请实施例中的网络设备包括接收单元1201和处理单元1202。

接收单元1201，用于接收目标虚拟化网络功能VNF对应的虚拟化网络功能描述信息VNFD，目标VNF对应的VNFD包括业务总容量信息和中央处理器CPU类型和内核数量信息，CPU类型和内核数量信息表示目标VNF实现时允许的CPU的类型和内核数量，业务总容量信息表示目标VNF可运行的业务总容量；

处理单元1202，用于确定目标物理服务器集合，目标物理服务器集合中每个CPU的类型和内核数量为目标VNF实现时允许的CPU的类型和内核数量，每个CPU的可承载业务容量之和大于等于业务总容量。

处理单元1202，还用于根据目标资源选择策略信息确定目标物理服务器集合。

目标资源选择策略信息包括CPU资源选择策略信息，CPU资源选择策略信息包括NUMA域选择策略信息。

基于CPU类型和内核数量与可承载业务容量的对应关系，处理单元1202还用于确定每个CPU的可承载业务容量。

CPU类型包括X86架构和ARM架构中的至少一种。

图13是本申请实施例提供的一种网络设备结构示意图，该网络设备1300可以包括一个或一个以上中央处理器(central processing units，CPU)1301和存储器1305，该存储器1305中存储有一个或一个以上的应用程序或数据。

其中，存储器1305可以是易失性存储或持久存储。存储在存储器1305的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1301可以设置为与存储器1305通信，在网络设备1300上执行存储器1305中的一系列指令操作。

网络设备1300还可以包括一个或一个以上电源1302，一个或一个以上有线或无线网络接口1303，一个或一个以上输入输出接口1304，和/或，一个或一个以上操作系统，例如Windows Server^TM，Mac OS^XTM，Unix^TM,Linux^TM，FreeBSD^TM等。

该中央处理器1301可以执行前述图3至图11所示实施例中NFVO所执行的操作，具体此处不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种VNF的资源调度方法，其特征在于，包括：

网络功能虚拟化编排器NFVO接收目标虚拟化网络功能VNF对应的虚拟化网络功能描述信息VNFD，所述目标VNF对应的VNFD包括业务总容量信息和中央处理器CPU类型和内核数量信息，所述CPU类型和内核数量信息表示所述目标VNF实现时允许的CPU的类型和内核数量，所述业务总容量信息表示所述目标VNF可运行的业务总容量；

所述NFVO确定目标物理服务器集合，所述目标物理服务器集合中每个CPU的类型和内核数量为所述目标VNF实现时允许的CPU的类型和内核数量，所述每个CPU的可承载业务容量之和大于等于所述业务总容量。

2.根据权利要求1所述的VNF的资源调度方法，其特征在于，所述目标VNF对应的VNFD包括目标资源选择策略信息，所述NFVO确定目标物理服务器集合，包括：

所述NFVO根据目标资源选择策略信息确定目标物理服务器集合。

3.根据权利要求2所述的VNF的资源调度方法，其特征在于，所述目标资源选择策略信息包括CPU资源选择策略信息，所述CPU资源选择策略信息包括非统一内存访问NUMA域选择策略信息。

4.根据权利要求1至3中任一项所述的VNF的资源调度方法，其特征在于，所述方法还包括：

基于CPU类型和内核数量与可承载业务容量的对应关系，所述NFVO确定所述每个CPU的可承载业务容量。

5.根据权利要求4所述的VNF的资源调度方法，其特征在于，所述CPU类型包括X86架构和ARM架构中的至少一种。

6.一种NFVO，其特征在于，包括：

接收单元，用于接收目标虚拟化网络功能VNF对应的虚拟化网络功能描述信息VNFD，所述目标VNF对应的VNFD包括业务总容量信息和中央处理器CPU类型和内核数量信息，所述CPU类型和内核数量信息表示所述目标VNF实现时允许的CPU的类型和内核数量，所述业务总容量信息表示所述目标VNF可运行的业务总容量；

处理单元，用于确定目标物理服务器集合，所述目标物理服务器集合中每个CPU的类型和内核数量为所述目标VNF实现时允许的CPU的类型和内核数量，所述每个CPU的可承载业务容量之和大于等于所述业务总容量。

7.根据权利要求6所述的NFVO，其特征在于，包括：

所述处理单元，还用于根据目标资源选择策略信息确定目标物理服务器集合。

8.根据权利要求7所述的NFVO，其特征在于，所述目标资源选择策略信息包括CPU资源选择策略信息，所述CPU资源选择策略信息包括非统一内存访问NUMA域选择策略信息。

9.根据权利要求6至8中任一项所述的NFVO，其特征在于，包括：

基于CPU类型和内核数量与可承载业务容量的对应关系，所述处理单元还用于确定所述至少一个CPU中每个CPU的可承载业务容量。

10.根据权利要求9所述的NFVO，其特征在于，所述CPU类型包括X86架构和ARM架构中的至少一种。

11.一种NFVO，其特征在于，包括：

处理器、存储器、输入输出设备以及总线；

所述处理器、存储器、输入输出设备与所述总线相连；

所述处理器用于执行权利要求1至5中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中保存有程序，当所述计算机执行所述程序时，执行如权利要求1至5中任一项所述的方法。

13.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上执行时，所述计算机执行如权利要求1至5中任一项所述的方法。