CN110716788A - 管理虚拟化资源的方法和装置 - Google Patents

Abstract

本申请提供了一种管理虚拟化资源的方法，该方法包括：容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源构建在一个或多个节点资源上；响应于第一管理操作请求，容器资源管理实体向虚拟化基础设施管理器VIM发送第二管理操作请求，第二管理操作请求用于请求VIM对指定的虚拟化资源执行第二管理操作；根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理。

Description

管理虚拟化资源的方法和装置

技术领域

本申请涉及虚拟化网络功能领域，更具体地，涉及一种管理虚拟化资源的方法和装置。

背景技术

网络功能虚拟化(network function virtualization,NFV)提供了一种设计、部署和管理网络服务(network service，NS)的全新方式，它在通用的服务器、交换机和存储器中将部分电信网络功能的实现进行软件和硬件解耦，因而能够实现NS快速、高效的部署。由于NFV需要大量的虚拟化资源，因此需要高度的软件管理，业界称之为编排。网络功能虚拟化管理与编排(network function virtualization management and orchestrator,NFV MANO)是用于管理和协调虚拟化网络功能(virtual network function，VNF)和其它软件组件的架构框架。

近年来，随着NFV技术的不断发展，原有的构建在网络功能虚拟化基础设施层(network function virtualization infrastructure,NFVI)层的虚拟机(virtualmachine,VM)基础上的VNF的呈现形态融入了新的特性，支持云原生(cloud native)的VNF和融合平台即服务(platform as a service,PaaS)的云化架构将成为电信云发展的新趋势。在传统的电信网络功能通过容器化、服务化向云上搬迁，以及新形态的网络功能直接在云上开发交付的进程中，一个无法回避的问题是如何将容器服务的管理功能融合到NFVMANO系统的管理框架内。

而NFV MANO系统和容器服务的管理功能(例如，Google公司提出的Kubernetes系统)都具有自己的虚拟资源的资源池。如果将容器服务的管理功能融合到NFV MANO系统的框架之内，那么双方采用何种方式使用资源池中的虚拟资源，才能既不会造成资源使用上的冲突，也不会降低资源使用率是一个必须要考虑的问题。

发明内容

本申请提供一种管理资源的方法，旨在为容器服务以及容器服务的管理功能融合到NFV MANO系统之后的融合架构提供一种管理虚拟化资源的方案。

第一方面，本申请提供一种管理虚拟化资源的方法，该方法包括：容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上；响应于第一管理操作请求，容器资源管理实体向虚拟化基础设施管理器VIM发送第二管理操作请求，第二管理操作请求用于请求VIM对该指定的节点资源执行第二管理操作；根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理。

本申请中，虚拟化网络功能管理实体可以具体为NFVO或VNFM，本申请对此不作限定。

需要说明的是，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，而该指定的虚拟化资源可以是容器资源或节点资源。如果指定的虚拟化资源为节点资源，第二管理操作请求用于请求对该指定的节点资源执行第二管理操作。如果指定的虚拟化资源为容器资源，则第二管理操作请求用于请求VIM对用于创建该容器资源的节点资源执行第二管理操作。换句话说，指定的虚拟化资源为节点资源时，第一管理操作请求与第二管理操作请求所请求的对象是相同的，都是指定的节点资源。如果指定的虚拟化资源为容器资源，则第一管理操作请求中所说的“指定的虚拟化资源”创建在第二管理操作请求中所说的“指定的节点资源”上。

结合第一方面，在第一方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：容器资源管理实体接收节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；以及，容器资源管理实体向VIM发送第二管理操作请求，包括：容器资源管理实体向VIM发送第一节点资源申请请求，第一节点资源申请请求用于请求VIM分配一个或多个指定的节点资源；以及，根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理，包括：在接收到来自VIM的针对第一节点资源申请请求的许可应答的情况下，容器资源管理实体在节点资源池中增加VIM分配的该一个或多个指定的节点资源。

结合第一方面，在第一方面的某些实现方式中，容器资源管理实体接收第一管理请求，包括：容器资源管理实体接收第一节点资源释放请求，第一节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，容器资源管理实体向VIM发送第二管理操作请求，包括:容器资源管理实体向VIM发送第二节点资源释放请求，第二节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理，包括：在接收到来自VIM的针对第二节点资源释放请求的许可应答的情况下，容器资源管理实体在节点资源池中删除该一个或多个指定的节点资源。

结合第一方面，在第一方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：容器资源管理实体从虚拟化网络功能管理实体接收容器资源增加请求，容器资源增加请求用于请求增加一个或多个指定的容器资源；以及，容器资源管理实体向VIM发送第二管理操作请求，包括：容器资源管理实体向VIM发送第二节点资源申请请求，第二节点资源申请请求用于请求VIM分配用于创建该一个或多个指定的容器资源的节点资源；以及，根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理，包括：在接收到来自VIM的针对所述第二节点资源申请请求的许可应答的情况下，容器资源管理实体在节点资源池中增加VIM分配的用于创建该一个或多个指定的容器资源的节点资源；以及，该方法还包括:容器资源管理实体在VIM分配的节点资源上创建该一个或多个指定的容器资源。

结合第一方面，在第一方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：容器资源管理实体从虚拟化网络功能管理实体接收容器资源释放请求，容器资源释放请求用于请求释放一个或多个指定的容器资源；以及，该方法还包括：容器资源管理实体响应于容器资源释放请求，删除一个或多个指定的容器资源；以及，容器资源管理实体向VIM发送第二管理操作请求，包括:容器资源管理实体向VIM发送第三节点资源释放请求，第三节点资源释放请求用于请求VIM释放目标节点资源，该删除的一个或多个指定的容器资源创建在目标节点资源上；以及，根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理，包括：在VIM返回的针对第三节点释放请求的许可应答消息的情况下，容器资源管理实体从节点资源池中释放目标节点资源；在VIM返回的针对第三节点释放请求的否定应答消息的情况下，容器资源管理实体不对节点资源池作更新。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：容器资源管理实体接收第一订阅请求，第一订阅请求用于订阅指定的容器服务的生命周期的状态改变事件；响应于第一订阅请求，容器资源管理实体向VIM发送第二订阅请求，第二订阅请求用于订阅与指定的容器服务相关联的节点资源的故障信息和/或性能信息；容器资源管理实体从VIM接收该订阅的节点资源的故障信息和/或性能信息；容器资源管理实体根据预设的管理策略、该订阅的节点资源的故障信息和/或性能信息，对该指定的容器服务的生命周期进行管理。

第二方面，本申请提供一种管理虚拟化资源的方法，该方法包括：容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，第三管理操作请求用于请求容器资源管理实体对节点资源池进行更新或对指定的虚拟化资源执行第三管理操作，第三管理操作请求是虚拟化网络功能管理实体在获得虚拟化基础设施管理器VIM的许可的情况下发送给容器资源管理实体的，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源创建在一个或多个所述节点资源上；容器资源管理实体响应于第三管理操作请求，对节点资源池进行更新或对该指定的虚拟化资源执行第三管理操作请求。

结合第二方面，在第二方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，包括：容器资源管理实体接收节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；以及，容器资源管理实体响应于第三管理操作请求，更新节点资源池，包括：容器资源管理实体响应于节点资源增加请求，在节点资源池中增加一个或多个指定的节点资源。

结合第二方面，在第二方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，包括：容器资源管理实体接收节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，容器资源管理实体响应于第三管理操作请求，更新节点资源池，包括：容器资源管理响应于节点资源释放请求，从节点资源池中删除该一个或多个指定的节点资源。

结合第二方面，在第二方面的某些实现方式中，容器资源管理实体接收第三管理操作请求，包括：容器资源管理实体接收容器资源分配请求，容器资源分配请求用于请求分配一个或多个指定的容器资源；以及，容器资源管理实体响应于第三管理操作请求，对该指定的虚拟化资源执行第三管理操作请求，包括：容器资源管理实体响应于容器资源分配请求，从节点资源池中选择节点资源，并利用选择的节点资源创建该一个或多个指定的容器资源。

结合第二方面，在第二方面的某些实现方式中，容器资源管理实体接收第三管理操作请求，包括：容器资源管理实体接收容器资源释放请求，容器资源释放请求用于请求释放一个或多个指定的容器资源；以及，容器资源管理实体响应于第三管理操作请求，对该指定的虚拟化资源执行第三管理操作请求，包括：容器资源管理实体响应于所述容器资源释放请求，删除该一个或多个指定的容器资源。

结合第二方面，在第二方面的某些实现方式中，容器资源管理实体删除一个或多个指定的容器资源之后，该方法还包括：容器资源管理实体确定是否需要释放目标节点资源，该删除的一个或多个容器资源创建在目标节点资源上；在确定需要释放所述目标节点资源的情况，容器资源管理实体在节点资源池中删除该目标节点资源。

结合第二方面，在第二方面的某些实现方式中，容器资源管理实体接收第三管理操作请求，包括：容器资源管理实体接收节点资源查询请求，节点资源查询请求用于请求查询一个或多个指定的节点资源；以及，容器资源管理实体响应于第三管理操作请求，对该指定的虚拟化资源执行第三管理操作请求，包括：容器资源管理实体响应于节点资源查询请求，在节点资源池中查询该一个或多个指定的节点资源；以及，该方法还包括：容器资源管理实体向虚拟化网络功能管理实体返回针对节点资源查询请求的响应消息。

第三方面，本申请提供一种管理虚拟化资源的方法，虚拟化网络功能管理实体向虚拟化基础设施管理器VIM发送第四管理操作请求，第四管理操作请求用于请求VIM对指定的虚拟化资源执行第四管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源创建在一个或多个节点资源上；虚拟化网络功能管理实体在接收到VIM的针对第四管理操作请求的许可应答的情况下，向容器资源管理实体发送第三管理操作请求，第三管理操作请求用于请求容器资源管理实体更新节点资源池或对指定的虚拟化资源执行第三管理操作请求。

结合第三方面，在第三方面的某些实现方式中，虚拟化网络功能管理实体向VIM发送第四管理操作请求，包括：虚拟化网络功能管理实体向VIM发送节点资源申请请求，节点资源申请请求用于请求VIM分配一个或多个指定的节点资源；以及，虚拟化网络功能管理实体在接收到VIM针对第四管理操作请求的许可应答的情况下，向容器资源管理实体发送第三管理操作请求，包括：虚拟化网络功能管理实体在接收到VIM的针对节点资源申请请求的许可应答的情况下，向容器资源管理实体发送节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源。

结合第三方面，在第三方面的某些实现方式中，虚拟化网络功能管理实体向VIM发送第四管理操作请求，包括：虚拟化网络功能管理实体向VIM发送节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，虚拟化网络功能管理实体在接收到VIM的针对第四管理操作请求的许可应答的情况下，向容器资源管理实体发送第三管理操作请求，包括：虚拟化网络功能管理实体在接收到VIM的针对节点资源释放请求的许可应答的情况下，向容器资源管理实体发送节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的该一个或多个指定的节点资源。

结合第三方面，在第三方面的某些实现方式中，虚拟化网络功能管理实体在向VIM发送第四管理操作请求之前，该方法还包括：虚拟化网络功能管理实体根据触发事件或预先设定的策略，确定触发第四管理操作请求。

第四方面，本申请提供一种管理虚拟化资源的装置，用于执行第一方面及其任意可能的实现方式中的方法。具体地，该装置包括执行第一方面及其第一方面任意可能的实现方式的方法的单元。

第五方面，本申请提供一种管理虚拟化资源的装置，用于执行第二方面及其任意可能的实现方式中的方法。具体地，该装置包括执行第二方面及其第二方面任意可能的实现方式的方法的单元。

第六方面，本申请提供一种管理虚拟化资源的装置，用于执行第三方面及其任意可能的实现方式中的方法。具体地，该装置包括执行第三方面及其第三方面任意可能的实现方式的方法的单元。

第七方面，本申请提供一种网络设备，包括收发器、处理器和存储器。处理器用于控制收发器收发信号，存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，使得网络设备执行第一方面及其第一方面任意可能的实现方式中的方法。

第八方面，本申请提供一种网络设备，包括收发器、处理器和存储器。处理器用于控制收发器收发信号，存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，使得网络设备执行第二方面及其第二方面任意可能的实现方式中的方法。

第九方面，本申请提供一种网络设备，包括收发器、处理器和存储器。处理器用于控制收发器收发信号，存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，使得网络设备执行第三方面及其第三方面任意可能的实现方式中的方法。

第十方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意可能的实现方式中的方法。

第十一方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述第二方面或第二方面的任意可能的实现方式中的方法。

第十二方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述第三方面或第三方面的任意可能的实现方式中的方法。

第十三方面，本申请提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，以执行上述第一方面及其第一方面的任意可能的实现方式中的方法。

第十四方面，本申请提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，使以执行上述第二方面及其第二方面的任意可能的实现方式中的方法。

第十五方面，本申请提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，以执行上述第三方面及其第三方面的任意可能的实现方式中的方法。

第十六方面，本申请提供一种通信系统，该系统包括第一方面及其第一方面任意可能的实现方式中的容器资源管理实体或第二方面及其第二方面任意可能的实现方式中的容器资源管理实体，和/或第三方面及第三方面任意可能的实现方式中的虚拟化网络功能管理实体。

第十七方面，本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述第一方面及其第一方面的任意可能的实现方式中的方法。

第十八方面，本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述第二方面及其第二方面的任意可能的实现方式中的方法。

第十九方面，本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述第三方面及其第三方面的任意可能的实现方式中的方法。

本申请的技术方案，在将容器服务以及容器服务的管理功能(例如，CaaS管理系统)融入到NFV MANO系统中后，保持NFV MANO系统中管理基础设施资源的VIM的功能不变，继续管理虚拟机资源和裸机资源(虚拟机资源和/或裸机资源也称为节点资源)，同时将创建在虚拟机资源和裸机资源之上的容器资源由融合架构中新增的容器资源管理实体进行管理。容器资源管理实体既可以管理创建在节点资源上的容器资源，而VIM管理的节点资源池中的节点资源(虚拟机资源或裸机资源)对于容器资源管理实体而言也是可视的。从而为容器服务以及容器服务的管理功能融合到NFV MANO系统之后的融合架构提供了一种管理虚拟化资源的可行方案。

附图说明

图1是NFV MANO系统的架构图。

图2示出的是Kubernetes系统的架构图。

图3是本申请提出的容器服务的管理功能融合到NFV MANO系统后的融合架构。

图4是本申请提出的双层资源管理模型的示意图。

图5是本申请提出的管理虚拟化资源的一种方式。

图6是本申请提出的增加节点资源是一个示例。

图7是本申请提出的释放节点资源的一个示例。

图8是本申请提出的管理虚拟化资源的另一种方式。

图9是本申请提出的增加节点资源是另一个示例。

图10是本申请提出的释放节点资源的另一个示例。

图11是本申请提出的增加容器资源的一个示例。

图12是本申请提出的查询资源的示例。

图13是本申请提出的订阅节点的PM/FM事件的示例。

图14是本申请提出的管理虚拟化资源的装置1000的示意性框图。

图15是本申请提出的管理虚拟化资源的装置2000的示意性框图。

图16是本申请提出的管理虚拟化资源的装置3000的示意性框图。

图17是本申请提出的管理虚拟化资源的网络设备4000的示意性框图。

图18是本申请提出的管理虚拟化资源的网络设备5000的示意性框图。

图19是本申请提出的管理虚拟化资源的网络设备6000的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

参见图1，图1是NFV MANO系统的架构图。如图1所示，NFV MANO有三个主要功能块，分别是NFV编排器、VNF管理器和虚拟基础设施管理器(virtualised infrastructuremanager,VIM)。简单来说，NFV编排器可以对服务和资源进行编排，可以控制新的网络服务并将VNF集成到虚拟架构中，NFV编排器还能够验证并授权NFV基础设施的资源请求。VNF管理器能够管理VNF的生命周期。VIM能够控制并管理NFV基础设施，包括计算资源、存储资源以及网络资源等。为了使NFV MANO行之有效，它必须与现有系统中的应用程序接口(application interface,API)集成，以便跨多个网络域使用多个厂商的技术，同样地，运营商的运营支撑系统(operation support system,OSS)和商务支撑系统(businesssupport system,BSS)也需要与NFV MANO系统实现互操作

为了便于理解，下面对图1中所示的架构中涉及到的各组件的功能进行介绍。

OSS/BSS：除了传统的管理功能外，针对虚拟化应用与NFV MANO系统交互完成对网络的操作和维护。

数据仓库：service,VNF and infrastructure description，含有相关的模板以及VNF软件镜像等。

NFVO：主要功能是实现运营商域内的网络服务(network service,NS)生命周期的管理(例如，扩容、缩容、下线等)，以及NFVI资源编排、策略管理等功能。NFVO根据NSD分解对VNF的需求，配合VNFM实现VNF的部署。

VNFM：主要功能是实现VNF的生命周期管理，例如，VNF的部署、扩容、缩容、下线等自动化能力。根据VNFD以及业务需求，分解出对虚拟资源的需求，与NFVO、VIM配合完成VNF的实例化。

VIM：主要功能是实现对整个基础设施层资源(包含计算资源、存储资源以及网络资源等)的管理和监控。

网络功能虚拟化基础设施(network function virtualizationinfrastructure,NFVI)：主要功能是将网元软件化，使网元可以运行在各种通用的硬件上。通过NFV MANO系统，网元部署过程可以实现自动化。运营商可以根据业务需求快速动态地进行扩容或缩容。

平台即服务(platform as a service,PaaS)是将服务器平台功能作为一种服务的商业模式，通过网络提供软件程序的服务称为软件即服务(software as a service,SaaS)，而云计算时代相应的云计算平台或者开发环境作为服务提供就成为PaaS。容器即服务(container as a service,CaaS)是一种特定类型的PaaS。一般来说，容器是一种操作系统级别的虚拟化技术，通过操作系统隔离技术，例如，Linux下的控制组(control group,Cgroup)和命名空间(Namespace)，将不同的进程隔离开来。容器技术不同于硬件虚拟化(hypervisor)技术，它并没有虚拟硬件，容器的内部也没有操作系统，而只有进程。正是由于容器技术的这个特点，使得容器相比于虚拟机更轻量、管理也更方便。在容器的运行态，定义了一组公共的管理操作，例如，启动、停止、暂停和删除等，从而可以对容器的生命周期进行统一管理。CaaS的概念来自信息技术(information technology,IT)领域，目前已有较多开源的容器服务管理平台，最流行的是Google公司主导的Kubernetes容器集群管理技术。Kubernetes系统构建在docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容或缩容等一套功能。本质上，可以将容器服务看作是基于容器技术的miniPaaS。

其中，图1中示出的各组件和/或管理实体之间的接口(例如，Os-Ma-nfvo,Ve-vnfm,Nf-Vi,Or-Vnfm，Vi-Vnfm，Or-Vi等)可以参考现有技术中NFV MANO系统中的接口说明，本文不作赘述。

参见图2，图2示出的是Kubernetes系统的架构图。Kubernetes是一个分布式的系统平台，具有完善集群管理能力和管理工具。Kubernetes分为控制节点(Master)和一组工作节点(Node)。其中，Master上运行着集群管理相关的一组进程，负责整个集群的管理和控制，实现容器的管理面。工作节点(Node)是工作负载节点，其上运行着真正的应用程序，运行的最小单元为容器组(Pod)。Pod是能够创建、调度、管理和部署的最小单元。Node既可以是物理主机，也可以是虚拟机。

随着NFV技术的不断发展，原有的构建在NFVI层的虚拟机(virtual machine,VM)基础上的VNF呈现形态融入了新的特性，支持云原生(cloud native)的VNF和融合PaaS的云化架构成为电信云发展的新趋势。在传统的电信网络功能通过容器化、服务化向云上搬迁，以及新形态的网络功能直接在云上开发交付的进程中，一个无法回避的问题是如何将容器服务的管理功能融合到NFV MANO系统的架构中。

将容器服务以及容器服务的管理功能融合到NFV MANO系统中，可以实现对容器化VNF的部署管理。而容器服务的管理功能(例如，图2所示的Kubernetes系统)对容器的编排调度建立在节点资源(包括虚拟机或裸机)之上。因此，将容器服务的管理功能融合到NFVMANO系统之后，双方将共同使用基础设施资源，而双方如何实现对基础设施资源的管理是一个必须要考虑的问题。

为此，本申请提出一种管理虚拟化资源的方法，旨在将容器服务的管理功能融合到NFV MANO系统之后，为双方如何管理基础设施资源的提供一种可行的技术方案。

下面对本申请提出的管理容器资源的方法进行说明。

考虑到将容器服务的管理功能融合到NFV MANO系统后，如果将NFV MANO系统的基础设施资源划分成不同的资源池，容器服务的管理功能和NFV MANO系统各自使用单独的资源池，资源使用率势必会比较低。而如果双方共用同一个基础设施资源池，而且双方各自进行独立的管理，又可能会带来资源使用和管理上的冲突。

因此，本申请提出一种两层的资源管理模型。保持现有的NFV MANO系统中VIM管理节点资源(即，虚拟机和/或裸机)不变，将容器服务的管理功能建立在VIM管理的节点资源(VM和裸机)之上进行容器服务的管理编排调度。同时，NFV MANO系统可以动态地容器服务的管理功能提供节点资源，从而提高基础设施资源的整体利用率。

参见图3，图3是本申请提出的容器服务的管理功能与NFV MANO系统的融合架构。参见图3所示，在NFV MANO系统中增加一个容器资源管理实体。容器资源管理实体如图3中所示的容器服务管理器(CaaS manager)。容器服务管理实体承担着CaaS管理面的功能、容器服务的生命周期的管理以及NFV基础设施层(也称作I层)的容器集群资源的编排调度。CaaS管理器部署在NFV MANO系统的NFVI之上，提供基础的容器服务，实现在节点资源上创建和管理容器组(Pod)，也理解为CaaS用户面。另外，VIM提供VM和裸机的管理能力，实现虚拟资源和硬件基础设施资源的快速交付。换句话说，融合架构中，NFV MANO系统在原有功能的基础上，可以为CaaS管理器向VIM申请节点资源(VM或裸机)。而CaaS管理器将这些节点资源纳入自己的资源池，并在资源池范围内提供容器服务的编排调度的功能。也即，容器需要使用到的节点资源(例如，VM或裸机)，仍然由VIM进行管理，在此基础上实现CaaS管理器对容器资源的管理和编排调度能力。

需要说明的是，本申请提出将容器资源叠加在I层之上的使用方式，使得容器服务的管理功能在网络、存储等方面对I层的网络、存储等方面提出了互通性的需求。

参见图4，图4是本申请提出的双层资源管理模型的示意图。为了便于理解，首先对云计算的类型作简单介绍。根据所提供服务的类型，云计算包括三种落地方式，分别是基础架构即服务(infrastructure as a service,IaaS)、平台即服务(platform as aservice,PaaS)和软件即服务(software as a service,SaaS)。用户能够从IaaS申请到硬件或虚拟硬件，包括虚拟机(virtual machine,VM)和裸机，然后可以在上面安装操作系统或其它应用程序。用户能从PaaS申请到一个安装了操作系统以及支撑应用程序运行所需的运行库等软件的物理机或虚拟机，然后在上面安装其它应用程序，但是不能修改已经预装好的操作系统和运行环境。用户可以通过网络以租赁的方式在SaaS上使用一些软件，但不需要购买，比较常见的模式是提供一组账号密码。而图4中涉及到的Openstack就是一种IaaS。

如图4所示，Openstack管理节点所管理的裸机节点和VM节点可以认为是Openstack保持原有功能不变。在此基础之上，建立在裸机节点或VM节点之上的容器组资源(Pod)由K8S系统的K8S管理节点进行管理，从而建立一个两层的资源管理模型。

NFV MANO系统中各实体的功能变化可以参见表1所示。

表1

另外，参考点的变化可以参见表2所示。

表2

在实际部署的过程中，CaaS管理器可以和VIM合一部署。此时，CaaS管理器和VIM之间的接口为内部接口。

另外，需要说明的是，本申请提出的技术方案的讨论基于一个假设，即CaaS管理器所管理的资源池是一个大的资源池，没有建立细分的资源池。例如，没有按照租户划分为更细粒度的资源池。

基于本申请提出的图3中所示的融合架构以及图4所示的双层资源管理模型，下文对本申请提出的管理资源的方法进行说明。

为了便于理解，首先对本申请实施例中涉及的一些概念进行说明。

在本申请中，虚拟化资源包括节点资源和容器资源，而节点资源又包括虚拟机资源或裸机资源。其中，容器资源是创建在节点资源上的。例如，容器可以创建在虚拟机和/或裸机上。即是上文所说的双层资源管理模型。底层是节点资源，容器资源创建在节点资源之上。

本申请中所说的虚拟网络功能管理实体可以是NFVO或VNFM。以下各实施例的流程的发起者可以是NFVO或VNFM。这两条路径类似于ETSI NFV在虚拟化资源申请的间接模式或直接模式。运营商可以选择其中的一种模式，本申请并不关注具体采用哪种模式。

另外，本申请对容器资源管理实体的名称不作限定，例如，容器资源管理实体可以称之为CaaS管理器(CaaS management,CaaS Mgt)，或者是采用其它的名称。以下实施例中，仅以将容器资源管理实体称作CaaS管理器作为示例，对容器资源管理实体的功能进行说明。

本申请实施例中涉及的节点包括虚拟机节点和裸机节点。需要理解的是，节点资源指的就是这些节点。例如，增加节点资源可能是在节点资源池中增加虚拟机节点，或者可能是增加裸机节点，或者是同时增加虚拟机节点和裸机节点。而容器资源即是指创建在虚拟机节点或裸机节点上的容器。与虚拟机节点或裸机节点类似，容器也可以看作是容器节点。

本申请提供的管理虚拟化资源的实施例，可以分为两种情况。

情况1

容器资源管理实体直接向VIM请求虚拟化资源(例如，容器资源或节点资源)的查询、增加或释放等操作，并直接更新节点资源池。

参见图5，图5是本申请提出的管理虚拟化资源的一种方式。

101、虚拟化网络功能实体向容器资源管理实体发送第一管理操作请求。容器资源管理实体从虚拟化网络功能接收第一管理操作请求。

其中，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作。第一管理操作具体可以是增加虚拟化资源(例如，增加容器资源或增加节点资源)、释放虚拟化资源(释放容器资源或释放节点资源)等操作。下文会作详细介绍。

另外，这里所说的指定的虚拟化资源可以是容器资源，也可以是节点资源，节点资源包括虚拟机资源和/或裸机资源。容器资源是创建在节点资源之上的。

102、响应于第一管理操作请求，容器资源管理实体向VIM发送第二管理操作请求。VIM从容器资源管理实体接收第二管理操作请求。

其中，第二管理操作请求用于请求VIM对该指定的虚拟化资源执行第二管理操作。

应当理解，第一管理操作请求与第二管理操作请求通常是相应的。例如，第一管理操作请求对增加指定的节点资源，则容器资源管理实体向VIM发送的第二管理操作请求则用于请求VIM分配该指定的节点资源。又例如，第一管理操作请求对释放指定的节点资源，则容器资源管理实体向VIM发送的第二管理操作请求则用于请求VIM释放该指定的节点资源。

103、VIM根据第二管理操作请求，对指定的节点资源执行第二管理操作。

在步骤103中，VIM根据第二管理操作请求，对指定的节点资源执行相应的第二管理操作。例如，第二管理操作请求可以是请求增加指定的节点资源，则VIM分配该第二管理操作请求指定的节点资源。又例如，第二管理操作请求可以是请求释放指定的节点资源，则VIM从节点资源池中删除该第二管理操作请求指定的节点资源。

再例如，如果第一管理操作请求用于请求增加指定的容器资源，则容器资源管理实体发送给VIM的第二管理操作请求用于请求VIM分配创建该指定的容器资源的节点资源。因此，VIN根据第二管理操作请求，分配指定的节点资源。再例如，如果第一管理操作请求用于请求删除指定的容器资源，则容器资源管理实体在删除容器资源之后，可以向VIM发送第二管理操作请求，此时，第二管理操作请求用于请求VIM确定是否释放该用于创建已经删除的容器资源的节点资源。在确定释放这些节点资源时，VIM可以删除这些指定的节点资源。

104、容器资源管理实体接收VIM返回的针对第二管理操作请求的响应消息。

105、容器资源管理实体根据响应消息，对节点资源池进行更新管理。

应理解，更新管理可以包括对节点资源池进行更新或者不作更新。

容器资源管理实体在接收到VIM返回的针对第二管理操作请求的响应消息后，根据响应消息对节点资源池进行更新管理。

例如，如果第二管理操作请求用于请求在节点资源池中增加指定的节点资源，则VIM在接收到第二管理操作请求之后，分配这些指定的节点资源，并在返回的响应消息中携带分配的节点资源的信息(例如，节点位置、节点标识，VIM信息等)。从而，容器资源管理实体根据响应消息中携带的节点资源的信息，在节点资源池中增加这些指定的节点资源。其中，VIM信息是指能够标识VIM的信息，例如可以是VIM的标识(Identity,ID)或互联网协议(internet protocol，IP)地址等。

另外，更新节点资源池包括记录这些新增加的节点资源与VIM的关联关系。容器资源管理实体可以和一个或一个以上的VIM连接。VIM新分配节点之后，容器资源管理实体根据VIM返回的响应消息中携带的VIM信息，将新增的节点资源与VIM信息所标识的VIM关联起来。换句话说，记录新增的节点信息与VIM信息所标识的VIM的关联关系。也即，容器资源管理实体根据响应消息中携带的节点资源的信息，记录是哪个或哪些VIM新增了裸机或VM。

又例如，如果第二管理操作请求用于请求释放一些指定的节点资源，则VIM在接收到第二管理操作请求之后，释放这些指定的节点资源，并返回响应消息。响应消息中可以携带删除的节点资源的信息(例如，节点标识、VIM信息等)。从而，容器资源管理实体根据响应消息中携带的节点标识，在节点资源池中删除这些节点资源，并删除之前建立的这些节点资源与VIM相关联的记录。而如果VIM确定不释放这些指定节点资源，则可以在返回的响应消息中指示不同意释放这些指定的节点资源。从而，容器资源管理实体不对节点资源池作更新。

可选地，在步骤105之后，还可以包括步骤106。

106、容器资源管理实体向虚拟化网络功能管理实体返回响应消息。

应理解，步骤106中的响应消息是针对第一管理操作请求的。

应理解，图5中所示的管理虚拟化资源的方式即对应情况1。下面针对情况1，给出一些管理虚拟化资源的具体示例。

在以下实施例的附图中，虚拟化网络功能管理实体用NFVO/VNFM表示，容器资源管理实体用CaaS管理器表示。

参见图6，图6是本申请提出的增加节点资源是一个示例。

201、NFVO/VNFM接收到增加节点资源的触发事件。

本申请对于增加节点资源的触发事件的具体形式不作限定。例如，可以是基于既定的策略而触发，也可以是由VNF LCM管理请求而触发，或者也可以是由于资源查询失败而触发的。其中，进行资源查询的实施例会在下文给出。

202、NFVO或VNFM向CaaS管理器发送节点资源增加请求。

其中，节点资源增加请求用于请求增加一个或多个指定的节点资源。节点资源增加请求中可以携带请求增加的节点的信息。例如，节点数量、节点类型和节点性能要求等。节点类型包括虚拟机节点和裸机节点。

或者，NFVO/VNFM向CaaS管理器发送更新节点资源请求。在更新节点资源请求中携带操作类型，操作类型用于指示NFVO/VNFM请求的操作具体是什么。例如，在请求增加节点资源的实施例中，更新节点资源请求中携带的操作类型具体为“增加节点资源”。又例如，在请求释放节点资源的实施例中，更新节点资源请求中携带的操作类型具体为“释放节点资源”。具体地，如果操作类型具体为“增加节点资源”，更新节点资源请求中还可以携带请求增加的节点的信息。例如，节点数量。节点类型和对节点的性能要求等。

203、CaaS管理器根据需要或NFVO的指示，确定请求增加的节点的相关信息。

这里所说的请求增加的节点的相关信息即包括上文所说的请求增加的节点的数量、节点类型和对节点的性能要求等信息。

需要说明的是，步骤203作为一个可选的步骤，在图5中用虚线框表示。在一种实现方式中，节点资源增加请求或更新节点资源请求中可以携带请求增加的节点的信息。这样的话，CaaS管理器在步骤202就可以从NFVO或VNFM获取到这些信息，可以直接使用，由步骤202转至步骤204。

在一种可能的实现方式中，步骤202中的节点资源增加请求或更新节点资源请求中不携带请求增加的节点的信息。此时，需要CaaS管理器根据业务需要等信息进行判断，并确定请求增加的节点的相关信息。

204、CaaS管理器向VIM发送第一节点资源申请请求。

第一节点资源申请请求中携带上述请求增加的节点的相关信息。这些信息可以是在步骤202中获取的，或者也可以是在步骤203通过判断确定的。

205、VIM分配该一个或多个指定的节点资源，并向CaaS管理器返回节点资源申请请求的响应消息。

206、CaaS管理器更新节点资源池。

这里，更新节点资源池主要是指CaaS管理器在节点资源池中增加VIM分配的一个或多个指定的节点资源，并记录新增的这些指定的节点资源与VIM的关联关系。

207、CaaS管理器向NFVO或VNFM返回节点资源增加请求的响应消息。

节点资源增加请求的响应消息中携带VIM分配的节点的信息。

NFVO/VNFM根据CaaS管理器返回的节点资源增加请求的响应消息，更新各自记录的CaaS节点的信息。

参见图7，图7是本申请提出的释放节点资源的另一个示例。

301、NFVO/VNFM触发节点资源释放决策。

与图6中所示的实施例类似，步骤301中，对于触发源不作限定。例如，NFVO/VNFM可以是收到VNF终结请求时决定释放VM节点，也可以是根据既定策略决定要删除一些节点资源。

302、NFVO/VNFM向CaaS管理器发送第一节点资源释放请求。

其中，第一节点资源释放请求用于请求释放一个或多个指定的节点资源。

或者，NFVO/VNFM向CaaS管理器发送更新节点资源请求。更新节点资源请求中携带操作类型。在释放节点资源的实施例中，操作类型具体为“删除节点资源”。

应理解，第一节点资源释放请求或更新节点资源请求中携带NFVO/VNFM请求删除的一个或多个指定的节点的相关信息。与增加节点资源的实施例类似，这一个或多个指定的节点资源的相关信息可以包括请求删除的节点数量、请求删除的节点类型或节点的性能要求等。

303、CaaS管理器向VIM发送第二节点资源释放请求。

CaaS管理器接收到来自NFVO/VNFM的第一节点资源释放请求后，向VIM发送第二节点资源释放请求。第二节点资源释放请求用于请求VIM释放该一个或多个指定的节点资源。

应理解，步骤302中的第一节点资源释放请求与步骤303中的第二节点资源释放请求仅仅是为了将NFVO/VNFM向CaaS管理器发送的节点资源释放请求与CaaS管理向VIM发送的节点资源释放请求进行区分。

304、VIM根据第二节点资源释放请求，释放CaaS管理器请求释放的一个或多个指定的节点资源。

305、VIM向NFVO/VNFM返回第一响应消息。

第一响应消息是针对第二节点资源释放请求的。

306、CaaS管理器更新节点资源池。

具体地，CaaS管理器从节点资源池中删除这些指定的节点资源，并删除这些指定的节点资源的相关记录。

307、CaaS管理器向NFVO/VNFM返回第二响应消息。

第二响应消息是针对第一节点资源释放请求的。

在以上图5-图7所示的增加节点资源和释放节点资源的实施例中，都是由NFVO或VNFM向VIM申请增加节点资源或请求释放节点资源，再请求CaaS管理器来更新节点资源池。

以上仅列举了CaaS管理器管理(例如，增加、释放)节点资源的示例。在情况1中，CaaS管理器管理(例如，增加、释放等)容器资源的过程也是类似的。

例如，CaaS管理器从NFVO/VNFM接收容器资源增加请求，容器资源增加请求用于请求增加一个或多个指定的容器资源。CaaS管理器响应于容器资源增加请求，向VIM发送节点资源增加请求，该节点资源增加请求用于请求VIM分配用于创建该指定的一个或多个容器资源的节点资源。VIM基于该节点资源增加请求分配用于创建指定的容器资源的节点资源，并向CaaS管理器返回许可应答。CaaS管理器根据该许可应答，在节点资源池中增加VIM分配的这些节点资源，并基于这些节点资源创建该指定的一个或多个容器资源。

又例如，CaaS管理器从NFVO/VNFM接收容器资源释放请求，容器资源释放请求用于请求释放一个或多个指定的容器资源。CaaS管理器响应于容器资源释放请求，删除该一个或多个指定的容器资源。另外，CaaS管理器向VIM发送第三节点资源释放请求，第三节点资源释放请求用于请求VIM用于创建被删除的这些容器资源的节点资源。在本申请中，将这些用于创建被删除的这些容器资源的节点称作目标节点资源。换句话说，这些指定的容器资源在被删除之前，是创建在目标节点资源上的。CaaS管理器在接收到VIM返回的针对第三节点释放请求的许可应答消息的情况下，CaaS管理器从节点资源池中释放目标节点资源。而CaaS管理器在接收到VIM返回的针对第三节点释放请求的否定应答消息的情况下，CaaS管理器不对节点资源池作更新，也即不释放目标节点资源。

下面结合图8至图13介绍另外一些可行的实现方式。在这些实施例中，CaaS管理器直接向VIM申请节点资源或容器资源的增加或释放，并更新节点资源池。

情况2

虚拟化网络功能为容器资源管理实体向VIM请求虚拟化资源的增加、释放等，再请求容器资源管理实体更新节点资源池。

如上文所述，虚拟化网络功能可以是NFVO或VNFM，容器资源管理实体可以称之为CaaS管理器。因此，也可以说，NFVO或VNFM为CaaS管理器向VIM请求节点资源的增加、释放以及容器资源的增加、释放等，再通知CaaS管理器更新节点资源池。

CaaS管理器直接向VIM请求节点资源的增加、释放等操作，并直接更新节点资源池。

参见图8，图8是本申请提出的管理虚拟化资源的另一种方式。

401、虚拟化网络功能管理实体向VIM发送第四管理操作请求，VIM接收来自虚拟化网络功能管理实体的第四管理操作请求。

其中，第四管理操作请求用于请求对指定的一个或多个指定的节点资源执行第四管理操作。

应理解，虚拟化网络功能管理实体在向VIM发送第四管理操作请求之前，可以根据预先预定的策略或接收到的触发事件，确定触发第四管理操作请求。

402、VIM根据第四管理操作请求，对指定的节点资源执行第四管理操作。

403、VIM向虚拟化网络功能管理实体返回针对第四管理操作请求的第一响应消息。

第一响应消息中可以携带指定的节点资源的相关信息。例如，如果第四管理操作请求是用于请求增加节点资源，则第一响应消息中可以携带VIM新增的节点的数量、类型和性能参数等信息。如果第四管理操作请求是用于请求释放节点资源，则第一响应消息中可以携带VIM删除的节点的数量、类型等信息。

404、虚拟化网络功能管理实体向容器资源管理实体发送第三管理操作请求，容器资源管理实体接收来自虚拟化网络功能的第三管理操作请求。

其中，第三管理操作请求用于请求容器资源管理实体更新节点资源池或对指定的虚拟化资源执行第三管理操作。其中，第三管理操作可以是增加、释放、查询、订阅虚拟化资源等操作。

405、容器资源管理实体响应于第三管理操作请求，更新节点资源池或对指定的虚拟化资源执行第三管理操作。

例如，容器资源管理实体响应于增加节点资源的请求，在节点资源池中增加VIM新分配的节点资源，并记录这些新分配的节点资源与VIM的关联关系的相关记录。又例如，容器资源管理实体响应于释放节点资源的请求，从节点资源池中删除指定的节点资源，并删除这些指定的节点资源与对应的VIM的关联关系的相关记录。

406、容器资源管理实体向虚拟化网络功能返回针对第三管理操作请求的第二响应消息。

可以看到，在情况2所示的管理虚拟化资源的实现方式中，虚拟化网络功能管理实体会为容器资源管理实体请求VIM分配、增加、释放虚拟化资源，在接收到VIM的第一许可响应消息之后，再通知容器资源管理实体对指定的虚拟化资源(例如，容器资源或节点资源)执行相应的管理操作(即，第三管理操作)，或者更新节点资源池。下面给出一些具体的示例。

参见图9，图9是本申请提出的增加节点资源是另一个示例。

501、NFVO或VNFM接收增加节点资源的触发事件。

触发事件的具体形式不作限定。例如，可以是基于既定的策略而触发，也可以是VNF LCM管理请求触发，或者也可以是查询资源失败而触发的。

502、NFVO或VNFM向VIM发起节点资源申请请求。

节点资源申请请求中可以携带请求增加的一个或多个指定的节点的信息。例如，请求增加的节点数量和节点类型等。其中，节点资源申请请求的接口可以转换为虚拟机相关的申请接口或者裸金属服务器申请接口。

503、VIM根据节点资源申请请求，分配指定的一个或多个节点资源，并向NFVO或VNFM返回针对节点资源申请请求的响应消息。

其中，响应消息中携带VIM新分配的节点的相关信息(例如，节点数量、节点类型、节点的性能参数信息等)。

504、NFVO或VNFM向CaaS管理器发送节点资源增加请求。

或者，NFVO或VNFM向CaaS管理器发送更新节点资源请求。其中，更新节点资源请求中携带操作类型。在增加节点资源的实施例中，操作类型为“增加节点资源”。另外，更新节点资源请求消息中还可以携带新增节点的相关信息(例如，VIM信息、节点位置和节点标识等)和新增节点的系统信息(例如，OS版本、内核版本等)。

505、CaaS管理器更新资源池。

CaaS管理器根据节点资源增加请求或更新节点资源请求中携带的操作类型、新增节点的相关信息以及新增节点的系统信息，更新节点资源池。具体地，在节点资源池中增加VIM新增的节点资源，并记录这些新增的节点资源与VIM的关联关系。

506、CaaS管理器返回节点资源增加请求的响应消息。

CaaS管理器更新资源池后，记录VIM和新增的节点资源的关联关系，向NFVO或VNFM返回响应。相应地，NFVO/VNFM根据CaaS管理器返回的更新节点资源响应更新各自记录的容器节点(也即，CaaS节点)的信息。

参见图10，图10是本申请提出的释放节点资源的示例。

601、NFVO或VNFM接收节点资源释放决策的触发事件。

步骤601中，对于触发源不作限定。例如，可以是收到VNF终结请求时决定释放VM节点，也可以是根据既定策略决定要删除一些节点资源。

602、NFVO或VNFM向CaaS管理器发送第一节点资源释放请求。

或者，NFVO或VNFM向CaaS管理器发送更新节点资源请求，更新节点资源请求中携带操作类型。在释放节点资源的实施例中，操作类型具体为“释放节点资源”。

603、CaaS管理器向VIM发送第二节点资源释放请求。

第二节点资源释放请求用于请求VIM释放节点资源池中的一个或多个指定的节点资源。

604、VIM根据第二节点资源释放请求，释放该一个或多个指定的节点资源。

605、VIM向CaaS管理器返回针对第二节点资源释放请求的响应消息。CaaS管理器接收该响应消息。

606、CaaS管理器更新节点资源池。

CaaS管理器删除VIM释放掉的这些节点资源的相关记录。

607、CaaS管理器向NFVO/VNFM返回针对第一节点资源释放请求的响应消息。

参见图11，图11是本申请提出的增加容器资源的一个示例。

701、NFVO/VNFM接收VNF LCM操作请求。

其中，LCM是指生命周期管理(life cycle management，LCM)。

702、NFVO/VNFM在VNF LCM实例化请求的过程中，获取对资源的操作授权。

703、NFVO/VNFM向CaaS管理器发送容器/容器组分配请求。

具体地，NFVO/VNFM可以根据VNFD(或者也可以是独立的描述文件)中描述的容器需求，向CaaS管理器发起容器的分配请求。当然，这里的容器分配请求也可以是容器组分配请求。

容器或容器组的分配请求中可以携带所需的容器的要求、所需的容器/容器组的描述信息等。

704、CaaS管理器在节点资源池内选择满足要求的节点(虚拟机和/或裸机)，完成对容器的创建、编排、启动等操作。

705、CaaS管理器向NFVO/VNFM返回针对容器分配请求的响应消息。

可选地，如果在创建并启动容器/容器组之后，如果VNF LCM涉及节点资源减少，NFVO/VNFM可以向CaaS管理器请求释放容器/容器组。参见步骤706-708。

706、NFVO/VNFM可以向CaaS管理器发送容器释放请求。

容器释放请求用于请求释放已经创建的容器中的一个或多个指定的容器。其中，容器释放请求中可以携带该指定的容器的标识信息。

707、CaaS管理器释放指定的容器。

708、CaaS管理器向NFVO/VNFM返回针对容器释放请求的响应消息。

需要说明的是，在创建容器的同时，需要创建容器网络/存储；容器网络/存储建议在创建在I层网络/节点的基础之上。容器网络/存储与I层网络/存储的互通，需要CaaS管理器与VIM配合。而具体的配合过程可以因采用不同的技术而有不同的处理，本申请对此不作限定。

另外，需要说明的是，在请求释放容器资源的实施例中，在释放容器资源之后，CaaS管理器再决定是否释放用于创建这些指定的容器资源的目标节点资源。换句话说，需要释放的容器资源是创建在一些节点资源(即这里所说的目标节点资源)上。在释放掉容器资源之后，CaaS管理器可以选择释放这些目标节点资源，或者也可以不释放这些目标节点资源。

参见图12，图12是本申请提出的查询资源的示例。

801、NFVO从资源申请发起者接收资源申请请求。

步骤801中，不限定资源申请请求的具体接口。例如，可以是NFVO从VNFM接收到的资源授权请求。

资源申请请求中携带需要申请的资源的相关信息。其中，资源的相关信息可以包括资源类型以及资源需求。这里所说的资源类型从大的方面来说，可以是容器资源或节点资源。具体地，容器资源又可以细分为虚拟机容器或裸机容器。如果是节点资源，又可以具体到是虚拟机或是裸机。如果申请的资源为虚拟机容器或裸机容器，资源需求可以包括容器节点的系统信息。如果申请的是容器资源，资源需求可以包括容器规格、容器数量以及容器的亲和性和/或反亲和性要求等。

802、NFVO确定CaaS管理器。

这里，步骤802作为一个可选的步骤。具体来说，NFVO可以根据NS部署需求和既定的策略等，初步确定容器的部署范围。如果有多个CaaS管理器，NFVO则需要确定(也即选择)合适的CaaS管理器。因此，在不需要从多个CaaS管理器中进行选择的情况下，步骤802不需要执行。

803、NFVO向CaaS管理器发送资源查询请求。

在步骤802，NFVO选择了CaaS管理器之后，NFVO向选择的CaaS管理器发送资源查询请求。这里，资源查询请求具体可以是容器资源查询请求或节点资源查询请求。

需要说明的是，NFVO能够获知的资源层主要是节点资源层，而节点上能够部署多少容器是由CaaS管理器来管理的。

804、CaaS管理器检查所管理的资源是否可以满足资源需求，并向NFVO返回资源查询请求的响应消息。

805、NFVO向资源申请发起者返回资源申请请求的响应消息。

针对资源申请的响应的消息中可以携带能够指示CaaS管理器的信息。如上文所述，NFVO可能与多个CaaS管理器连接，因此，在步骤802中NFVO会从多个CaaS管理器选择合适的并发送资源查询请求。在步骤805中，NFVO向资源申请发起者返回针对资源申请请求的响应消息时，可以在响应消息中携带NFVO选择的这个CaaS管理器的信息。CaaS管理器的信息与上文中VIM的信息类似，可以是CaaS管理器的ID或IP地址等。

在资源不足(例如，容器资源不足和/或节点资源不足)的情况下，NFVO可根据策略确定是否要为CaaS管理器增加容器资源和/或节点资源，或者选择基于周期或事件触发之后重新向CaaS管理器发送资源查询请求。关于如何增加节点资源或容器资源，上文已经作了详细介绍，不再赘述。

参见图13，图13是本申请提出的订阅节点的PM/FM事件的示例。

901、NFVO/VNFM向CaaS管理器订阅容器服务状态改变事件。

902、CaaS管理器向VIM订阅指定节点的PM/FM事件。

在步骤902中，指定节点可以认为是CaaS管理器关注的节点。

其中，PM指的是性能管理(performance management,PM)，FM指的是故障管理(Fault management,FM)。

903、VIM检测到这些被订阅的节点的性能/故障事件时，上报到CaaS管理器。

904、CaaS管理器根据既定的策略和VIM上报的关键性能指标(key performanceindicator，KPI)信息，确定对该指定的节点执行相应的管理操作。

例如，如果订阅的指定节点的负载过大，则可以根据既定策略和KPI信息决定将该指定节点上的负载进行迁移，或者增加新的节点等。

905、CaaS管理器向NFVO/VNFM返回操作完成通知。

其中，操作完成通知中携带操作类型。这里的操作类型可以是扩/缩容(scaling)、迁移等。操作完成通知中还可以携带触发因素(例如，可以是节点的性能、故障)以及受影响的容器的信息等。

在步骤901-905中，VIM在检测到被订阅的节点的PM/FM事件后，向CaaS管理器进行上报。在另一种可能的实现方式中，VIM也可以向NFVO/VNFM上报，参见步骤906-910。

906、VIM检测到这些被订阅的节点的性能PM/FM事件时，上报到NFVO/VNFM。

907、NFVO/VNFM根据既定的策略和VIM上报的KPI信息，确定对该指定的节点执行相应的管理操作。

908、NFVO/VNFM向CaaS管理器发送操作请求。

操作请求中携带NFVO/VNFM请求CaaS管理器执行的指定操作。例如，请求CaaS管理器执行scaling、迁移等操作。

909、CaaS管理器根据操作请求，执行指定操作。

910、CaaS管理器向NFVO/VNFM返回操作请求的响应消息。

操作请求的响应消息中可以携带执行指定操作的结果。

以上结合图1至图13，对本申请提供的管理虚拟化资源的方法进行了说明。需要说明的是，在以上各实施例中，CaaS管理器和VIM可以合一部署，此时，CaaS管理器和VIM之前的通信接口则为内部接口。

以上，结合图1至图13对本申请提出的管理虚拟化资源的方法进行了详细说明。下文介绍本申请提供的管理虚拟化资源的装置。

图14是本申请提出的管理虚拟化资源的装置1000的示意性框图。如图14所示，装置1000包括接收单元1001、发送单元1002和更新单元1003。

接收单元1001，用于从虚拟化网络功能管理实体接收第一管理操作请求，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟化资源和裸机资源，容器资源创建在一个或多个节点资源上；

发送单元1002，用于响应第一管理操作请求，向虚拟化基础设施管理器VIM发送第二管理操作请求，所述第二管理操作请求用于请求所述VIM对所述指定的节点资源执行第二管理操作；

管理单元1003，用于根据VIM返回的针对所述第二管理操作请求的响应消息，对节点资源池进行更新管理。

以上装置1000可以对应上述方法实施例的情况1中涉及的容器资源管理实体。例如，装置1000可以对应图5-图7中所示的CaaS管理器。

作为一个实施例，接收单元1001具体用于从虚拟化网络功能管理实体接收第一管理操作请求，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟化资源和裸机资源，容器资源创建在一个或多个节点资源上；以及，

发送单元1002具体用于向VIM发送第一节点资源申请请求，第一节点资源申请请求用于请求VIM分配一个或多个指定的节点资源；以及，

管理单元1003具体用于在接收单元1001接收到来自VIM的针对第一节点资源申请请求的许可应答的情况下，在节点资源池中增加VIM分配的该一个或多个指定的节点资源。

作为一个实施例，接收单元1001具体用于从虚拟化网络功能管理实体接收第一节点资源释放请求，第一节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，

发送单元1002具体用于向VIM发送第二节点资源释放请求，第二节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，

管理单元1003具体用于在接收单元1001接收到来自VIM的针对第二节点资源释放请求的许可应答的情况下，在节点资源池中删除该一个或多个指定的节点资源。

作为一个实施例，接收单元1001具体用于从虚拟化网络功能管理实体接收容器资源增加请求，容器资源增加请求用于请求增加一个或多个指定的容器资源；以及，

发送单元1002具体用于向VIM发送第二节点资源申请请求，第二节点资源申请请求用于请求VIM分配用于创建该一个或多个指定的容器资源的节点资源；以及，

管理单元1003具体用于在接收单元1001接收到来自VIM的针对所述第二节点资源申请请求的许可应答的情况下，在节点资源池中增加VIM分配的用于创建该一个或多个指定的容器资源的节点资源。

作为一个实施例，接收单元1001具体用于作为一个实施例，接收单元1001具体用于从虚拟化网络功能管理实体接收容器资源增加请求，容器资源增加请求用于请求增加一个或多个指定的容器资源；以及，

管理单元1003还用于响应于容器资源释放请求，删除一个或多个指定的容器资源；

发送单元1002具体用于向VIM发送向VIM发送第二管理操作请求，包括：容器资源管理实体向VIM发送第三节点资源释放请求，第三节点资源释放请求用于请求VIM释放目标节点资源，该删除的一个或多个指定的容器资源创建在目标节点资源上；以及，

管理单元1003具体用于在接收单元1001接收到来自VIM的针对第三节点释放请求的许可应答消息的情况下，从节点资源池中释放目标节点资源；或者，接收单元1001接收到VIM返回的针对第三节点释放请求的否定应答消息的情况下，不对节点资源池作更新。

作为一个实施例，接收单元1001还用于接收第一订阅请求，第一订阅请求用于订阅指定的容器服务的生命周期的状态改变事件；

发送单元1002用于响应于第一订阅请求，向VIM发送第二订阅请求，第二订阅请求用于订阅与指定的容器服务相关联的节点资源的故障信息和/或性能信息；

接收单元1001用于从VIM接收该订阅的节点资源的故障信息和/或性能信息；以及，

管理单元1003用于根据预设的管理策略、该订阅的节点资源的故障信息和/或性能信息，对该指定的容器服务的生命周期进行管理。

图15是本申请提出的管理虚拟化资源的装置2000的示意性框图。如图15所示，装置2000包括接收单元2001和管理单元2002。

接收单元2001，用于从虚拟化网络功能管理实体接收第三管理操作请求，第三管理操作请求用于请求容器资源管理实体更新节点资源池或对指定的虚拟化资源执行第三管理操作，其中，第三管理操作请求是虚拟化网络功能在获得虚拟化基础设施管理器VIM的许可的情况下发送给容器资源管理实体的，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源创建在一个或多个所述节点资源上；

管理单元2002，用于响应于第三管理操作请求，更新节点资源池或对该指定的虚拟化资源执行第三管理操作。

作为一个实施例，接收单元2001具体用于从虚拟化网络功能管理实体接收节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；

管理单元2002具体用于响应于节点资源增加请求，在节点资源池中增加一个或多个指定的节点资源。

作为一个实施例，接收单元2001具体用于从虚拟化网络功能管理实体接收节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；

管理单元2002具体用于响应于节点资源释放请求，从节点资源池中删除该一个或多个指定的节点资源。

作为一个实施例，接收单元2001具体用于从虚拟化网络功能管理实体接收容器资源释放请求，容器资源释放请求用于请求释放一个或多个指定的容器资源；

管理单元2002用于响应于接收单元2001接收到的容器资源释放请求，删除该一个或多个指定的容器资源。

作为一个实施例，装置2000还包括：

确定单元2004，用于在管理单元删除该一个或多个指定的容器资源之后，确定是否需要释放目标节点资源，该删除的一个或多个容器资源创建在目标节点资源上；以及

管理单元2002，用于在确定单元2004响应于确定单元2004确定需要释放所述目标节点资源的情况下，在节点资源池中删除该目标节点资源。

作为一个实施例，接收单元2001具体用于从虚拟化网络功能管理实体接收节点资源查询请求，节点资源查询请求用于请求查询一个或多个指定的节点资源；

管理单元2002具体用于响应于节点资源查询请求，在节点资源池中查询该一个或多个指定的节点资源；以及，装置2000还包括：

发送单元2005，用于向虚拟化网络功能管理实体返回针对节点资源查询请求的响应消息。

以上装置2000可以对应上述方法实施例的情况2中涉及的容器资源管理实体。例如，装置1000可以对应图8-图13中所示的CaaS管理器。

图16是本申请提出的管理虚拟化资源的装置3000的示意性框图。如图16所示，装置3000包括发送单元3001和处理单元3002。

发送单元3001，用于向虚拟化基础设施管理器VIM发送第四管理操作请求，第四管理操作请求用于请求VIM对指定的虚拟化资源执行第四管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源创建在一个或多个节点资源上；

处理单元3002，用于在接收到VIM的针对第四管理操作请求的许可应答的情况下，向容器资源管理实体发送第三管理操作请求，第三管理操作请求用于请求容器资源管理实体更新节点资源池或对指定的虚拟化资源执行所述第三管理操作。

作为一个实施例，发送单元3001具体用于向VIM发送节点资源申请请求，节点资源申请请求用于请求VIM分配一个或多个指定的节点资源；

处理单元3002，用于确定VIM返回的针对节点资源申请请求的应答为许可应答或否定应答；以及装置3000还包括：

发送单元3003，用于在处理单元3002接收到在VIM的针对节点资源申请请求的许可应答的情况下，向容器资源管理实体发送节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源。

作为一个实施例，发送单元3001具体用于向VIM发送节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；

处理单元3002，用于确定VIM返回的针对节点资源申请请求的应答为许可应答或否定应答；以及装置3000还包括：

发送单元3003，用于在接收到在VIM的在接收到VIM的针对节点资源释放请求的许可应答的情况下，向容器资源管理实体发送节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的该一个或多个指定的节点资源。

作为一个实施例，装置3000还包括：

确定单元3004，还用于在发送单元3001发送第四管理操作请求之前，根据触发事件或预先设定的策略，确定触发第四管理操作请求。

以上装置3000可以对应上述方法实施例的情况2中涉及的虚拟化网络功能管理实体。例如，装置3000可以对应图8-图13中所示的NFVO/VNFM。

图17是本申请提出的管理虚拟化资源的网络设备4000的示意性结构图。如图17所示，网络设备4000包括：一个或多个处理器4001，一个或多个存储器4002，一个或多个收发器4003。处理器4001用于控制收发器4003收发信号，存储器4002用于存储计算机程序，处理器4001用于从存储器4002中调用并运行该计算机程序，使得网络设备4000执行本申请的管理虚拟化资源的方法中由CaaS管理器执行的相应流程和/或操作。例如，可以是图5-图7中所示的CaaS管理器。

图18是本申请提出的管理虚拟化资源的网络设备5000的示意性结构图。如图18所示，网络设备5000包括：一个或多个处理器5001，一个或多个存储器5002，一个或多个收发器5003。处理器5001用于控制收发器5003收发信号，存储器5002用于存储计算机程序，处理器5001用于从存储器5002中调用并运行该计算机程序，使得网络设备5000执行本申请的管理虚拟化资源的方法中由CaaS管理器执行的相应流程和/或操作。例如，可以是图8-图13中所示的CaaS管理器。

图19是本申请提出的管理虚拟化资源的网络设备6000的示意性结构图。如图19所示，网络设备6000包括：一个或多个处理器6001，一个或多个存储器6003，一个或多个收发器6003。处理器6001用于控制收发器6003收发信号，存储器6003用于存储计算机程序，处理器6001用于从存储器6003中调用并运行该计算机程序，使得网络设备6000执行本申请的管理容器服务的方法中由VNFM执行的相应流程和/或操作。例如，可以是图8-图13中所示的NFVO/VNFM。

此外，本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由CaaS管理器执行的相应流程和/或操作。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述管理虚拟化的方法实施例中由VNFM执行的相应流程和/或操作。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由NFVO执行的相应流程和/或操作。

此外，本申请还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，使得安装有该芯片的网络设备执行上述管理虚拟化资源的方法实施例中由CaaS管理器执行的相应流程和/或操作。

本申请还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，使得安装有该芯片的网络设备执行上述管理虚拟化资源的方法实施例中由VNFM执行的相应流程和/或操作。

本申请还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，使得安装有该芯片的网络设备执行上述管理虚拟化资源的方法实施例中由NFVO执行的相应流程和/或操作。

此外，本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由CaaS管理器执行的相应流程和/或操作。

本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由VNFM执行的相应流程和/或操作。

本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由NFVO执行的相应流程和/或操作。

此外，本申请还提供一种管理虚拟化资源的系统，该系统包括上述管理容器服务的方法实施例中(例如，图5-图7，以及图10-图12)涉及到的CaaS管理器，VNFM和/或NFVO。

上述实施例中，“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况。其中A，B可以是单数或者复数。

以上实施例中，处理器可以为CPU、微处理器、特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路等。例如，处理器可以包括数字信号处理器设备、微处理器设备、模数转换器、数模转换器等。处理器可以根据这些设备各自的功能而在这些设备之间分配移动设备的控制和信号处理的功能。此外，处理器可以包括操作一个或多个软件程序的功能，软件程序可以存储在存储器中。

处理器的所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备。也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是计算机软件和电子硬件的结合来执行，取决于技术方案的特定应用和设计约束条件。本领域的技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式。本领域技术人员基于本申请揭露的技术方案，可想到其他实现方式。

Claims (28)

1.一种管理虚拟化资源的方法，其特征在于，所述方法包括：

容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，所述第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，所述指定的虚拟化资源为容器资源或节点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上；

响应于所述第一管理操作请求，所述容器资源管理实体向虚拟化基础设施管理器VIM发送第二管理操作请求，所述第二管理操作请求用于请求所述VIM对指定的节点资源执行第二管理操作，其中，所述指定的虚拟化资源为所述指定的节点资源，或所述指定的虚拟化资源创建在所述指定的节点资源上；

根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理。

2.根据权利要求1所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：

所述容器资源管理实体接收节点资源增加请求，所述节点资源增加请求用于请求在所述节点资源池中增加一个或多个指定的节点资源；

以及，所述容器资源管理实体向VIM发送第二管理操作请求，包括：

所述容器资源管理实体向所述VIM发送第一节点资源申请请求，所述第一节点资源申请请求用于请求所述VIM分配一个或多个所述指定的节点资源；

以及，所述根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理，包括：

在接收到来自所述VIM的针对所述第一节点资源申请请求的许可应答的情况下，所述容器资源管理实体在节点资源池中增加所述VIM分配的所述一个或多个指定的节点资源。

3.根据权利要求1所述的方法，其特征在于，所述容器资源管理实体接收第一管理请求，包括：

所述容器资源管理实体接收第一节点资源释放请求，所述第一节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；

以及，所述容器资源管理实体向VIM发送第二管理操作请求，包括:

所述容器资源管理实体向所述VIM发送第二节点资源释放请求，所述第二节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；

以及，所述根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理，包括：

在接收到来自所述VIM的针对所述第二节点资源释放请求的许可应答的情况下，所述容器资源管理实体在节点资源池中删除所述一个或多个指定的节点资源。

4.根据权利要求1所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：

所述容器资源管理实体从虚拟化网络功能管理实体接收容器资源增加请求，所述容器资源增加请求用于请求增加一个或多个指定的容器资源；

以及，所述容器资源管理实体向VIM发送第二管理操作请求，包括：

所述容器资源管理实体向所述VIM发送第二节点资源申请请求，所述第二节点资源申请请求用于请求所述VIM分配用于创建所述一个或多个指定的容器资源的节点资源；

以及，所述根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理，包括：

在接收到来自所述VIM的针对所述第二节点资源申请请求的许可应答的情况下，所述容器资源管理实体在节点资源池中增加所述VIM分配的用于创建所述一个或多个指定的容器资源的节点资源；

以及，所述方法还包括:

所述容器资源管理实体在所述VIM分配的所述节点资源上创建所述一个或多个指定的容器资源。

5.根据权利要求1所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：

所述容器资源管理实体从虚拟化网络功能管理实体接收容器资源释放请求，所述容器资源释放请求用于请求释放一个或多个指定的容器资源；

以及，所述方法还包括：

所述容器资源管理实体响应于所述容器资源释放请求，删除所述一个或多个指定的容器资源；

以及，所述容器资源管理实体向VIM发送第二管理操作请求，包括:

所述容器资源管理实体向所述VIM发送第三节点资源释放请求，所述第三节点资源释放请求用于请求所述VIM释放目标节点资源，所述删除的一个或多个指定的容器资源创建在所述目标节点资源上；

以及，所述根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理，包括：

在所述VIM返回的针对所述第三节点释放请求的许可应答消息的情况下，所述容器资源管理实体从所述节点资源池中释放所述目标节点资源；

在所述VIM返回的针对所述第三节点释放请求的否定应答消息的情况下，所述容器资源管理实体不对所述节点资源池作更新。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：

所述容器资源管理实体接收第一订阅请求，所述第一订阅请求用于订阅指定的容器服务的生命周期的状态改变事件；

响应于所述第一订阅请求，所述容器资源管理实体向所述VIM发送第二订阅请求，所述第二订阅请求用于订阅与所述指定的容器服务相关联的节点资源的故障信息和/或性能信息；

所述容器资源管理实体从所述VIM接收所述订阅的节点资源的故障信息和/或性能信息；

所述容器资源管理实体根据所述预设的管理策略、所述订阅的节点资源的故障信息和/或性能信息，对所述指定的容器服务的生命周期进行管理。

7.一种管理虚拟化资源的方法，其特征在于，所述方法包括：

容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，所述第三管理操作请求用于请求所述容器资源管理实体更新节点资源池或对指定的虚拟化资源执行第三管理操作，所述第三管理操作请求是所述虚拟化网络功能在获得虚拟化基础设施管理器VIM的许可的情况下发送给所述容器资源管理实体的，其中，所述指定的虚拟化资源为容器资源或节点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上；

所述容器资源管理实体响应于所述第三管理操作请求，更新所述节点资源池或对所述指定的虚拟化资源执行所述第三管理操作。

8.根据权利要求7所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，包括：

所述容器资源管理实体接收节点资源增加请求，所述节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；

以及，所述容器资源管理实体响应于所述第三管理操作请求，更新节点资源池，包括：

所述容器资源管理实体响应于所述节点资源增加请求，在所述节点资源池中增加所述一个或多个指定的节点资源。

9.根据权利要求7所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，包括：

所述容器资源管理实体接收节点资源释放请求，所述节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；

以及，所述容器资源管理实体响应于所述第三管理操作请求，更新节点资源池，包括：

所述容器资源管理响应于所述节点资源释放请求，从所述节点资源池中删除所述一个或多个指定的节点资源。

10.根据权利要求7所述的方法，其特征在于，所述容器资源管理实体接收第三管理操作请求，包括：

所述容器资源管理实体接收容器资源分配请求，所述容器资源分配请求用于请求分配一个或多个指定的容器资源；

以及，所述容器资源管理实体响应于所述第三管理操作请求，对所述指定的虚拟化资源执行所述第三管理操作，包括：

所述容器资源管理实体响应于所述容器资源分配请求，从所述节点资源池中选择节点资源，并利用选择的节点资源创建所述一个或多个指定的容器资源。

11.根据权利要求7所述的方法，其特征在于，所述容器资源管理实体接收第三管理操作请求，包括：

所述容器资源管理实体接收容器资源释放请求，所述容器资源释放请求用于请求释放一个或多个指定的容器资源；

以及，所述容器资源管理实体响应于所述第三管理操作请求，对所述指定的虚拟化资源执行所述第三管理操作，包括：

所述容器资源管理实体响应于所述容器资源释放请求，删除所述一个或多个指定的容器资源。

12.根据权利要求7所述的方法，其特征在于，所述容器资源管理实体删除一个或多个指定的容器资源之后，所述方法还包括：

所述容器资源管理实体确定是否需要释放目标节点资源，所述删除的一个或多个容器资源创建在所述目标节点资源上；

在确定需要释放所述目标节点资源的情况下，所述容器资源管理实体在节点资源池中删除所述目标节点资源。

13.根据权利要求7所述的方法，其特征在于，所述容器资源管理实体接收第三管理操作请求，包括：

所述容器资源管理实体接收节点资源查询请求，所述节点资源查询请求用于请求查询一个或多个指定的节点资源；

以及，所述容器资源管理实体响应于所述第三管理操作请求，对所述指定的虚拟化资源执行所述第三管理操作，包括：

所述容器资源管理实体响应于所述节点资源查询请求，在所述节点资源池中查询所述一个或多个指定的节点资源；

以及，所述方法还包括：

所述容器资源管理实体向所述虚拟化网络功能管理实体返回针对所述节点资源查询请求的响应消息。

14.一种管理虚拟化资源的装置，其特征在于，包括：

接收单元，用于从虚拟化网络功能管理实体接收第一管理操作请求，所述第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，所述指定的虚拟化资源为容器资源或节点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上

发送单元，用于响应于所述第一管理操作请求，向虚拟化基础设施管理器VIM发送第二管理操作请求，所述第二管理操作请求用于请求所述VIM对所述指定的节点资源执行第二管理操作，其中，所述指定的虚拟化资源为所述指定的节点资源，或所述指定的虚拟化资源创建在所述指定的节点资源上；

所述接收单元还用于接收所述VIM针对所述第二管理操作请求的响应消息；以及

管理单元，用于响应于所述接收单元接收到的针对所述第二管理操作请求的响应消息，对节点资源池进行管理操作。

15.根据权利要求14所述的装置，其特征在于，所述接收单元用于从所述虚拟化网络功能管理实体接收节点资源增加请求，所述节点资源增加请求用于请求在所述节点资源池中增加一个或多个指定的节点资源；

所述发送单元用于向所述VIM发送第一节点资源申请请求，所述第一节点资源申请请求用于请求所述VIM分配一个或多个所述指定的节点资源；

所述接收单元还用于接收所述VIM返回的针对所述第一节点资源申请请求的许可应答；

所述管理单元用于响应于所述接收单元接收到的所述针对所述第一节点资源申请请求的许可应答，在所述节点资源池中增加所述VIM分配的所述一个或多个指定的节点资源。

16.根据权利要求14所述的装置，其特征在于，所述接收单元用于从所述虚拟化网络功能管理实体接收第一节点资源释放请求，所述第一节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；

所述发送单元用于向所述VIM发送第二节点资源释放请求，所述第二节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；

所述接收单元还用于接收所述VIM返回的针对所述第二节点资源释放请求的许可应答；

所述管理单元用于响应于所述接收单元接收到的所述针对所述第二节点资源释放请求的许可应答，在所述节点资源池中增加所述VIM分配的所述一个或多个指定的节点资源。

17.根据权利要求14所述的装置，其特征在于，所述接收单元用于从所述虚拟化网络功能管理实体接收容器资源增加请求，所述容器资源增加请求用于请求增加一个或多个指定的容器资源；

所述发送单元用于向所述VIM发送第二节点资源申请请求，所述第二节点资源申请请求用于请求所述VIM分配用于创建所述一个或多个指定的容器资源的节点资源；

所述接收单元还用于接收所述VIM返回的针对所述第二节点资源申请请求的许可应答；

所述管理单元用于响应于所述接收单元接收到的所述针对所述第二节点资源释放请求的许可应答，在所述节点资源池中增加所述VIM分配的所述一个或多个指定的节点资源。

18.根据权利要求14所述的装置，其特征在于，所述接收单元用于从所述虚拟化网络功能管理实体接收容器资源释放请求，所述容器资源释放请求用于请求释放一个或多个指定的容器资源；

所述管理单元还用于响应于所述容器资源释放请求，删除所述一个或多个指定的容器资源；

所述发送单元用于向所述VIM发送第三节点资源释放请求，所述第三节点资源释放请求用于请求所述VIM释放目标节点资源，所述删除的一个或多个指定的容器资源创建在所述目标节点资源上；

所述接收单元还用于接收所述VIM返回的针对所述第三节点释放请求的许可应答或否定应答；

所述管理单元，响应于所述接收单元接收到所述针对所述第三节点释放请求的许可应答，从所述节点资源池中释放所述目标节点资源；

或者，所述管理单元用于响应所述接收单元接收到所述针对所述第三节点释放请求的否定应答，不对所述节点资源池作更新。

19.根据权利要求14-18中任一项所述的装置，其特征在于，所述接收单元还用于接收第一订阅请求，所述第一订阅请求用于订阅指定的容器服务的生命周期的状态改变事件；

所述发送单元还用于响应于所述第一订阅请求，向所述VIM发送第二订阅请求，所述第二订阅请求用于订阅与所述指定的容器服务相关联的节点资源的故障信息和/或性能信息；

所述接收单元还用于从所述VIM接收所述订阅的节点资源的故障信息和/或性能信息；

所述管理单元还用于根据预设的管理策略、所述订阅的节点资源的故障信息和/或性能信息，对所述指定的容器服务的生命周期进行管理。

20.一种管理虚拟化资源的装置，其特征在于，包括：

接收单元，用于从虚拟化网络功能管理实体接收第三管理操作请求，所述第三管理操作请求用于请求所述容器资源管理实体对节点资源池进行更新或对指定的虚拟化资源执行第三管理操作，所述第三管理操作请求是所述虚拟化网络功能在获得虚拟化基础设施管理器VIM的许可的情况下发送给所述容器资源管理实体的，其中，所述指定的虚拟化资源为容器资源或节点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上；

管理单元，用于响应于所述第三管理操作请求，对所述节点资源池进行更新或对所述指定的虚拟化资源执行所述第三管理操作。

21.根据权利要求20所述的装置，其特征在于，所述接收单元用于接收节点资源增加请求，所述节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；

所述管理单元用于响应于所述节点资源增加请求，在所述节点资源池中增加所述一个或多个指定的节点资源。

22.根据权利要求20所述的装置，其特征在于，所述接收单元用于接收节点资源释放请求，所述节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；

所述管理单元用于响应于所述节点资源释放请求，从所述节点资源池中删除所述一个或多个指定的节点资源。

23.根据权利要求20所述的装置，其特征在于，所述接收单元用于接收容器资源分配请求，所述容器资源分配请求用于请求分配一个或多个指定的容器资源；

所述管理单元用于响应于所述容器资源分配请求，从所述节点资源池中选择节点资源，并利用选择的节点资源创建所述一个或多个指定的容器资源。

24.根据权利要求20所述的装置，其特征在于，所述接收单元用于接收容器资源释放请求，所述容器资源释放请求用于请求释放一个或多个指定的容器资源；

所述管理单元用于响应于所述容器资源释放请求，删除所述一个或多个指定的容器资源。

25.根据权利要求24所述的装置，其特征在于，所述装置还包括：

确定单元，用于在所述管理单元删除所述一个或多个指定的容器资源之后，确定是否需要释放目标节点资源，所述删除的一个或多个容器资源创建在所述目标节点资源上；

所述管理单元在所述确定单元确定需要释放所述目标节点资源的情况下，所述容器资源管理实体在节点资源池中删除所述目标节点资源。

26.根据权利要求20所述的装置，其特征在于，所述接收单元用于接收节点资源查询请求，所述节点资源查询请求用于请求查询一个或多个指定的节点资源；

所述管理单元用于响应于所述节点资源查询请求，在所述节点资源池中查询所述一个或多个指定的节点资源；

以及，所述装置还包括：

发送单元，用于向所述虚拟化网络功能管理实体返回针对所述节点资源查询请求的响应消息。

27.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1-13中任一项所述的方法。

28.一种芯片，其特征在于，所述芯片包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于从存储器中调用并运行所述计算机程序，以执行权利要求1-13中任一项所述的方法。

Images