CN111447076B

CN111447076B - 网络功能虚拟化nvf系统的容器部署方法及网元

Info

Publication number: CN111447076B
Application number: CN201910043760.3A
Authority: CN
Inventors: 王路
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Communications Ltd Research Institute
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Communications Ltd Research Institute
Priority date: 2019-01-17
Filing date: 2019-01-17
Publication date: 2023-01-03
Anticipated expiration: 2039-01-17
Also published as: CN111447076A

Abstract

本发明提供了一种网络功能虚拟化NVF系统的容器部署方法及网元，该方法包括：接收第一查询请求；根据第一查询请求，向容器部署代理网元反馈第一查询结果，其中，第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；在不存在第一节点的情况下，接收容器部署代理网元发送的第一更改标牌请求；根据第一更改标牌请求，将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度到第二节点上；其中，第二节点为标牌为白牌的节点中的一个。本发明实施例通过动态打标，实现不同厂家网元的容器不共节点部署，避免了不同厂家网元互相攻击的情况，且能够实现按网元所需标记节点进行容器部署，提升节点资源池的利用率。

Description

网络功能虚拟化NVF系统的容器部署方法及网元

技术领域

本发明涉及通信技术领域，尤其涉及一种网络功能虚拟化NVF系统的容器部署方法及网元。

背景技术

网络功能虚拟化(Network Function Virtualized，NFV)实现了网元的虚拟化和云化，随着容器(Pod)技术在互联网和云计算领域的成熟应用，以及电信网元逐步开始实现容器化，在NFV架构下引入容器成为趋势。为了向管理虚机一样管理容器，在NFV中引入容器需要对NFV架构做出一些改动，具体地，在NFV架构中引入容器，其中，容器可以是服务器或虚拟机，要求具备容器引擎等，对应虚拟机则节点管理为虚拟化基础设置管理器(Virtualized Infrastructure Manager，VIM)，对应服务器则节点管理可以为VIM(ironic) 或其他方式。针对容器的管理和调度，引入容器集群管理平台。管理和编排系统(Management and Orchestration，MANO)体系支持容器化网元生命周期管理相关的功能、接口、流程等。虚拟网络功能描述(Virtualized Network Function Description，VNFD)所描述的VDU为容器而非虚拟机。

以容器化网元实例化为例，可由虚拟网络功能管理(Virtualized NetworkFunction Management，VNFM)解析VNFD到虚拟化部署单元(Virtualization DeploymentUnit，VDU)，而后通过容器集群管理平台将容器部署到节点，从而完成网元部署。容器集群管理平台可采用主流的kubernetes进行增强实现，即网元容器的调度、部署、管理等功能均由kubernetes实现。其中，Kubernetes 包含控制节点(master)和普通节点(node)两类节点：其中普通节点是实际部署和运行容器的节点；控制节点用于运行api服务、容器调度、控制器等若干模块。

容器是一种轻量级隔离技术，隔离原理是通过OS内核的名称域 (namespace)来隔离不同容器，不同容器共享节点OS内核，在OS内核层面可能有如下安全隐患：

通过在容器中执行攻击程序，恶意占用节点资源，导致同一节点上的其他容器或节点遭遇拒绝服务(Denial of Service，DoS)；在容器利用内核漏洞发生逃逸，进行提权后控制节点，以及对其他容器构成危险，如窃取其他容器内敏感数据，或访问属于其他容器的资源，或向其他容器注入恶意代码。

网元容器化部署时，如不进行特别干预，容器集群管理平台会根据网元 VNFD中的资源描述以及节点状态进行容器部署的调度，同一节点可能存在多厂家网元的容器。基于容器共享节点OS内核的安全隐患，同一节点部署多厂家网元容器时，可能出现厂家容器之间的恶意攻击，并且由于有些厂家网元可能存在跨节点部署，因此安全隐患会扩散到其他节点，从而对整个资源池构成安全风险。

为了避免安全隐患，需要避免将不同厂家的网元容器调度到同一节点上，即同一节点只允许存在同一厂家网元的容器。为实现这个目的，需要提前对节点进行规划标记或分类，并且在VNFD中写好该网元的各个容器应当部署到哪个或者哪类节点上。以kubernetes为例，为了完成节点的标记，目前主要是在Pod的yaml文件中采用如下方式：强制匹配方式，Pod.spec.nodeName用于强制约束将Pod调度到指定的节点上，指定了节点名称的Pod会直接跳过调度逻辑，直接写入Pod列表(list)。强制约束方式，Pod.spec.nodeSelector是通过kubernetes的label-selector机制进行节点选择，由调度策略节点匹配选择 (MatchNodeSelector)进行label匹配，调度Pod到目标节点。或者，Pod.spec.affinity.nodeAffinity和nodeSelector类似，通过label进行可调度Node 的过滤。综上可以看到，现有技术需要提前对节点进行标记，在部署容器的过程中，根据Pod描述文件中的要求，通过调度选取合适的节点进行容器部署。但对节点的标记需要在准备节点时完成，是静态部署的，这样随着部署网元的动态变化，会出现有些网元厂家占用过多资源，有些网元厂家没有足够资源的情况，资源池的共享不均衡，资源利用率差。

发明内容

本发明提供一种网络功能虚拟化NVF系统的容器部署方法及网元，解决了现有技术中容器静态部署导致的资源池的共享不均衡、资源利用率差的问题。

本发明的实施例提供了一种网络功能虚拟化NVF系统的容器部署方法，应用于容器集群管理平台，包括：

接收第一查询请求，其中，第一查询请求是容器部署代理网元在接收到虚拟网络功能VNF的容器部署请求后发送的；

根据第一查询请求，向容器部署代理网元反馈第一查询结果，其中，第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

在不存在第一节点的情况下，接收容器部署代理网元发送的第一更改标牌请求；

根据第一更改标牌请求，将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度到第二节点上；其中，第二节点为标牌为白牌的节点中的一个。

本发明的实施例还提供了一种网元，网元为容器集群管理平台，包括：处理器；与处理器相连接的存储器，以及与处理器相连接的收发机；其中，

收发机用于：接收第一查询请求，其中，第一查询请求是容器部署代理网元在接收到虚拟网络功能VNF的容器部署请求后发送的；

处理器用于：根据第一更改标牌请求，将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度到第二节点上；其中，第二节点为标牌为白牌的节点中的一个。

本发明的实施例还提供了一种网络功能虚拟化NVF系统的容器部署装置，应用于容器集群管理平台，包括：

第一接收模块，用于接收第一查询请求，其中，第一查询请求是容器部署代理网元在接收到虚拟网络功能VNF的容器部署请求后发送的；

第一反馈模块，用于根据第一查询请求，向容器部署代理网元反馈第一查询结果，其中，第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

第二接收模块，用于在不存在第一节点的情况下，接收容器部署代理网元发送的第一更改标牌请求；

第一处理模块，用于根据第一更改标牌请求，将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度到第二节点上；其中，第二节点为标牌为白牌的节点中的一个。

本发明的实施例还提供了一种网络功能虚拟化NVF系统的容器部署方法，应用于容器部署代理网元，包括：

获取虚拟网络功能VNF的容器部署请求；

根据容器部署请求，向容器集群管理平台发送第一查询请求；

接收容器集群管理平台根据第一查询请求反馈的第一查询结果，其中，第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

在第一查询结果指示不存在第一节点的情况下，向容器集群管理平台发送第一更改标牌请求，以将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度在第二节点上，第二节点为标牌为白牌的节点中的一个。

本发明的实施例还提供了一种网元，网元为容器部署代理网元，包括：处理器；与处理器相连接的存储器，以及与处理器相连接的收发机；其中，收发机用于：

获取虚拟网络功能VNF的容器部署请求；

本发明的实施例还提供了一种网络功能虚拟化NVF系统的容器部署装置，应用于网元为容器部署代理网元，包括：

第一获取模块，用于获取虚拟网络功能VNF的容器部署请求；

第一发送模块，用于根据容器部署请求，向容器集群管理平台发送第一查询请求；

第七接收模块，用于接收容器集群管理平台根据第一查询请求反馈的第一查询结果，其中，第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

第二发送模块，用于在第一查询结果指示不存在第一节点的情况下，向容器集群管理平台发送第一更改标牌请求，以将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度在第二节点上，第二节点为标牌为白牌的节点中的一个。

本发明的实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述容器集群管理平台或容器部署代理网元侧的网络功能虚拟化NVF系统的容器部署方法的步骤。

本发明的上述技术方案的有益效果是：通过动态打标，实现不同厂家网元的容器不共节点部署，避免了不同厂家网元互相攻击的情况，且能够实现按网元所需标记节点进行容器部署，提升节点资源池的利用率。

附图说明

图1表示本发明实施例中容器集群管理平台侧的NVF系统的容器部署方法的流程示意图；

图2表示本发明实施例NVF系统的架构框图；

图3表示本发明实施例中容器集群管理平台侧的NVF系统的容器部署装置的模块结构示意图；

图4表示本发明实施例中容器部署代理网元侧的NVF系统的容器部署方法的流程示意图；

图5表示本发明实施例中容器部署代理网元侧的NVF系统的容器部署装置的模块结构示意图；

图6表示本发明实施例的网元框图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常可互换使用。

在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据 A确定B，还可以根据A和/或其它信息确定B。

如图1所示，本发明的实施例提供了一种网络功能虚拟化NVF系统的容器部署方法，应用于容器集群管理平台，具体包括以下步骤：

步骤11：接收第一查询请求，其中，第一查询请求是容器部署代理网元在接收到虚拟网络功能VNF的容器部署请求后发送的。

其中，如图2所示，NVF系统包括网络功能虚拟编排器(Network FunctionVirtualized Orchestration，NFVO)210、虚拟网络功能管理VNFM220、容器部署代理网元230、容器集群管理平台240、管理节点250、虚拟网络功能VNF260 等。其中，NFVO接收到VNF的实例化请求时，请求VNFM实例化该VNF。其中该实例化请求中携带有VNFD，VNFM解析该VNFD，得到VNF实例化所需容器及其部署条件(或称为部署要求)，要求容器集群管理平台完成容器部署，即向容器部署代理网元发送VNF的容器部署请求。其中，该容器部署请求中至少包括指示部署条件的信息。容器部署代理网元在接收到容器部署请求，向容器集群管理平台发送第一查询请求，以查询系统的节点池中是否存在标牌为新增容器的厂商牌的第一节点。

步骤12：根据第一查询请求，向容器部署代理网元反馈第一查询结果，其中，第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点。

容器集群管理平台根据接收到的第一查询请求，查询内部数据库，以确定在系统的节点池中是否存在标牌(NodeLabel)为新增容器的厂商牌的第一节点，并反馈相应的第一查询结果。在查询内部数据库确定存在标牌为新增容器厂商牌的第一节点时，反馈指示存在第一节点的第一查询结果；在查询内部数据库确定不存在标牌为新增容器厂商牌的第一节点时，反馈指示不存在第一节点的第一查询结果。可选地，容器集群管理平台可以包括：数据库、应用程序编程接口-服务(Application Programming Interface-server，API-server)、容器编排管理平台-调度(kube-scheduler)等功能，例如，容器部署代理网元向API-server发送第一查询请求，查询节点池是否存在NodeLabel＝VendorA的第一节点，API-server查询内部数据库，向容器部署代理网元反馈第一查询结果。

步骤13：在不存在第一节点的情况下，接收容器部署代理网元发送的第一更改标牌请求。

容器集群管理平台在不存在第一节点的情况下，即向容器部署代理网元发送指示不存在第一节点的第一查询结果的情况下，容器部署代理网元向容器集群管理平台发送第一更改标牌请求。例如，若节点池无NodeLabel＝VendorA 的第一节点，容器部署代理网元向API-server发送更改NodeLabel请求。

步骤14：根据第一更改标牌请求，将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度到第二节点上；其中，第二节点为标牌为白牌的节点中的一个。

容器集群管理平台中的API-server根据一定规则，从节点池选出一个白牌节点，请求该节点的部署功能(kubelet)将其NodeLabel从WhiteLabel改为 VendorA。

进一步地，步骤12之后还包括：在存在第一节点的情况下，接收容器部署代理网元发送的容器部署请求；根据容器部署请求，将容器调度到第一节点上。也就是说，若节点池存在NodeLabel＝VendorA的节点，容器部署代理网元向容器集群管理平台中的API-server发送容器部署请求。容器集群管理平台根据容器部署请求，将容器调度到第一节点上。

其中，将容器调度到第一节点或者是调度到第二节点上，容器集群管理平台中的kube-scheduler根据容器部署文件(pod.yaml)规则进行调度，在 NodeLabel＝VendorA的节点中筛选，但还需满足其他Pod部署要求。

具体地，在将容器调度到第二节点上的步骤之后还包括：确定第二节点是否满足部署条件；在满足部署条件时，将容器部署在第二节点上；在不满足部署条件时，向容器部署代理网元反馈调度失败信息，并执行接收容器部署代理网元发送的第一更改标牌请求的步骤。

或者，在将容器调度到第一节点上的步骤之后，还包括：确定第一节点是否满足部署条件；在满足部署条件时，将容器部署在第一节点上；在不满足部署条件时，向容器部署代理网元反馈调度失败信息，并执行接收容器部署代理网元发送的容器部署请求的步骤。

也就是说，若调度到适合的节点上，API-server通知该节点的kubelet执行 Pod创建操作。若调度失败，API-server通知该节点将NodeLabel改回 WhiteLabel，并向容器部署代理网元反馈调度失败信息，容器部署代理网元回到调度前的步骤继续执行。

其中，上容器部署文件(pod.yaml)规则包括但不限于强匹配规则、弱匹配规则和兼容性条件(如Pod部署条件)等。进一步地，在Pod部署描述中，明确Pod只能部署在Nodelabel为厂家label或白牌的Node上，这是Pod部署的强制性匹配规则，必须满足。也就是说，若Node的NodeLabel为非WhiteLabel (假设VendorX)，那么该节点则只允许部署厂家X网元的容器(只要是厂家 X就行，不需要是同一类网元)。若Node的NodeLabel为WhiteLabel，则所有厂家网元均可部署在上面，并将NodeLabel改为厂家Label。另外，在Pod部署描述中，还明确了Pod优先部署在Node label为厂家label的Node上。

本发明实施例中Pod的部署条件用于指示容器的部署需求，部署条件包括：容器的资源(如CPU、内存等资源)需求和/或亲和性需求。假设厂家A的 VNF1由两个Pod组成，VendorA-VNF1两个Pod的部署过程如下：根据VNFD 的解析，先启动Pod1的部署，kube-scheduler根据Node情况以及Pod其他部署策略要求(如cpu、内存、硬盘等要求，以及Pod亲和性要求等)，将Pod1 调度到Node1上，并将Node1的NodeLabel从WhiteLabel改为VendorA。然后启动Pod2的部署，假设Pod其他部署要求包括Pod2与Pod1反亲和(或 Node1不符合Pod2的cpu、内存等要求)，即使根据强匹配规则和弱匹配规则应当优先将Pod2部署在NodeLabel＝VendorA的节点上(即Node1)，由于要与 Pod其他部署要求兼容，Pod2无法部署到Node1，而是根据其他部署要求部署到其他Node，假设为Node2满足要求，Pod2部署到Node2过程中，将Node2 的NodeLabel从WhiteLabel改为VendorA。这样，VendorA-VNF1的两个Pod 部署完毕，资源池部署厂家A-VNF1后状态：Node1和Node2的标记均动态改为VendorA，后续只能部署厂家A的网元容器。

可选地，在步骤11之前还包括：将NVF系统中的所有节点的标牌初始化为白牌。也就是说，本发明实施例中，容器集群管理平台在准备节点资源池时，初将节点全部标记为白牌。在网元VNFD的Pod描述中要求容器可部署在标记为白牌或各自厂商牌的节点中。可选地，准备节点资源时，容器集群管理平台无需提前将NodeLabel按厂家设置，将全部节点的标牌设置为WhiteLabel。在所有支持容器部署的节点(kubernetes node)上使用kubectl指令对节点添加标记，可参照以下方式对每个节点进行初始化：

#标记规则：kubectl label nodes<node-name><label-key>＝<label-value>

kubectl label nodes k8s.node1 NodeLabel＝WhiteLabel

#确认标记

root@k8s.master1:～#kubectl get nodes k8s.node1--show-labels

NAME STATUS AGE LABELS

k8s.node1 Ready 29d NodeLabel＝WhiteLabel,kubernetes.io/hostname＝k8s.node1

以上介绍了节点标牌初始化、容器动态部署和节点动态打标的实施例，下面将进一步介绍容器删除和动态去标的过程。该方法还包括：接收第二查询请求；根据第二查询请求，向容器部署代理网元反馈第二查询结果；在删除的容器是对应节点上的最后一个容器的情况下，接收容器部署代理网元发送的第二更改标牌请求；根据第二更改标牌请求，将对应节点的标牌更改为白牌，并删除相应容器。其中，第二查询请求是容器部署代理网元在接收到VNF的容器删除请求后发送的，第二查询结果用于指示删除的容器是否为对应节点上的最后一个容器。具体地，NFVO接收到终止VNF的指令时，请求VNFM终止该 VNF。VNFM执行终止该VNF的任务时，向容器部署代理网元发送删除容器的容器删除请求，容器部署代理网元在接收到容器删除请求，向容器集群管理平台发送第二查询请求，以查询删除的容器是否为对应节点上的最后一个容器。容器集群管理平台根据接收到的第二查询请求，查询内部数据库，以确定删除的容器是否为对应节点上的最后一个容器。在删除的容器为对应节点上的最后一个容器的情况下，即容器集群管理平台向容器部署代理网元发送指示删除的容器为对应节点上的最后一个容器的第二查询结果的情况下，容器部署代理网元向容器集群管理平台发送第二更改标牌请求。容器集群管理平台中的 API-server根据第二更改标牌请求，请求该节点的kubelet将其NodeLabel改为 WhiteLabel，并将目标容器从该节点上删除。

进一步地，根据第二查询请求，向容器部署代理网元反馈第二查询结果的步骤之后，还包括：在删除的容器不是对应节点上的最后一个容器的情况下，接收容器部署代理网元发送的容器删除请求；根据容器删除请求，删除相应容器。在删除的容器不为对应节点上的最后一个容器的情况下，即容器集群管理平台向容器部署代理网元发送指示删除的容器不为对应节点上的最后一个容器的第二查询结果的情况下，容器部署代理网元向容器集群管理平台发送容器删除请求。容器集群管理平台中的API-server根据容器删除请求，请求该节点的kubelet将目标容器从该节点上删除，执行相应的Pod删除操作。

也就是说，当节点上最后一个容器被删除时，动态地将该节点的标牌更改为白牌，从而该节点可以在后续流程中被其他厂家网元用来部署容器，提升节点资源池的利用率。

本发明实施例的NVF系统的容器部署方法中，在节点资源池准备阶段，无需对节点标记厂家信息，而是全部标记为白牌。在容器部署过程中，先节点的标记进行修改，从白牌改为厂家标记；再进行实际的容器部署。在删除容器时，若该容器为节点最后的容器，则先将该节点标记从厂家改为白牌，而后在删除容器；否则删除容器前不更改节点标记。

本发明实施例的网络功能虚拟化NVF系统的容器部署方法，通过动态打标，实现不同厂家网元的容器不共节点部署，避免了不同厂家网元互相攻击的情况，且能够实现按网元所需标记节点进行容器部署，提升节点资源池的利用率。

以上实施例分别就本发明的网络功能虚拟化NVF系统的容器部署方法做出介绍，下面本实施例将结合附图对其对应的装置做进一步说明。

具体地，如图3所示，本发明实施例的网络功能虚拟化NVF系统的容器部署装置300，应用于容器集群管理平台，包括以下功能模块：

第一接收模块310，用于接收第一查询请求，其中，第一查询请求是容器部署代理网元在接收到虚拟网络功能VNF的容器部署请求后发送的；

第一反馈模块320，用于根据第一查询请求，向容器部署代理网元反馈第一查询结果，其中，第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

第二接收模块330，用于在不存在第一节点的情况下，接收容器部署代理网元发送的第一更改标牌请求；

第一处理模块340，用于根据第一更改标牌请求，将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度到第二节点上；其中，第二节点为标牌为白牌的节点中的一个。

可选地，网络功能虚拟化NVF系统的容器部署装置300还包括：

第一确定模块，用于确定第二节点是否满足部署条件；

第一部署模块，用于在满足部署条件时，将容器部署在第二节点上；

第二处理模块，用于在不满足部署条件时，向容器部署代理网元反馈调度失败信息，并执行接收容器部署代理网元发送的第一更改标牌请求的步骤。

可选地，网络功能虚拟化NVF系统的容器部署装置300还包括：

第三接收模块，用于在存在第一节点的情况下，接收容器部署代理网元发送的容器部署请求；

第三处理模块，用于根据容器部署请求，将容器调度到第一节点上。

可选地，网络功能虚拟化NVF系统的容器部署装置还包括：

第二确定模块，用于确定第一节点是否满足部署条件；

第二部署模块，用于在满足部署条件时，将容器部署在第一节点上；

第四处理模块，用于在不满足部署条件时，向容器部署代理网元反馈调度失败信息，并执行接收容器部署代理网元发送的容器部署请求的步骤。

其中，部署条件用于指示容器的部署需求，部署条件包括：容器的资源需求和/或亲和性需求。

可选地，网络功能虚拟化NVF系统的容器部署装置还包括：

初始化模块，用于将网络功能虚拟化NVF系统中的所有节点的标牌初始化为白牌。

可选地，网络功能虚拟化NVF系统的容器部署装置300还包括：

第四接收模块，用于接收第二查询请求，其中，第二查询请求是容器部署代理网元在接收到VNF的容器删除请求后发送的；

第二反馈模块，用于根据第二查询请求，向容器部署代理网元反馈第二查询结果，其中，第二查询结果用于指示删除的容器是否为对应节点上的最后一个容器；

第五接收模块，用于在删除的容器是对应节点上的最后一个容器的情况下，接收容器部署代理网元发送的第二更改标牌请求；

第五处理模块，用于根据第二更改标牌请求，将对应节点的标牌更改为白牌，并删除相应容器。

可选地，网络功能虚拟化NVF系统的容器部署装置300还包括：

第六接收模块，用于在删除的容器不是对应节点上的最后一个容器的情况下，接收容器部署代理网元发送的容器删除请求；

删除模块，用于根据容器删除请求，删除相应容器。

本发明的装置实施例是与上述方法的实施例对应的，上述方法实施例中的所有实现手段均适用于该装置的实施例中，也能达到相同的技术效果。该装置通过动态打标，实现不同厂家网元的容器不共节点部署，避免了不同厂家网元互相攻击的情况，且能够实现按网元所需标记节点进行容器部署，提升节点资源池的利用率。

以上从容器集群管理平台侧介绍了本发明实施例的网络功能虚拟化NVF 系统的容器部署方法，下面将结合附图对容器部署代理网元侧的网络功能虚拟化NVF系统的容器部署方法做进一步说明。

如图4所示，本发明实施例提供了一种网络功能虚拟化NVF系统的容器部署方法，应用于容器部署代理网元，该方法包括以下步骤：

步骤41：获取虚拟网络功能VNF的容器部署请求。

NFVO接收到VNF的实例化请求时，请求VNFM实例化该VNF。其中该实例化请求中携带有VNFD，VNFM解析该VNFD，得到VNF实例化所需容器及其部署条件(或称为部署要求)，要求容器集群管理平台完成容器部署，即向容器部署代理网元发送VNF的容器部署请求。其中，该容器部署请求中至少包括指示部署条件的信息。

步骤42：根据容器部署请求，向容器集群管理平台发送第一查询请求。

容器部署代理网元在接收到容器部署请求，向容器集群管理平台发送第一查询请求，以查询系统的节点池中是否存在标牌为新增容器的厂商牌的第一节点。

步骤43：接收容器集群管理平台根据第一查询请求反馈的第一查询结果，其中，第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点。

容器集群管理平台根据接收到的第一查询请求，查询内部数据库，以确定在系统的节点池中是否存在标牌(NodeLabel)为新增容器的厂商牌的第一节点，并反馈相应的第一查询结果。在查询内部数据库确定存在标牌为新增容器厂商牌的第一节点时，反馈指示存在第一节点的第一查询结果；在查询内部数据库确定不存在标牌为新增容器厂商牌的第一节点时，反馈指示不存在第一节点的第一查询结果。

步骤44：在第一查询结果指示不存在第一节点的情况下，向容器集群管理平台发送第一更改标牌请求，以将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度在第二节点上，第二节点为标牌为白牌的节点中的一个。

在第一查询结果指示不存在第一节点的情况下，容器部署代理网元向容器集群管理平台发送第一更改标牌请求。例如，若节点池无NodeLabel＝VendorA 的第一节点，容器部署代理网元向API-server发送更改NodeLabel请求。

其中，步骤44之后还包括：接收容器集群管理平台在不满足部署条件时反馈的调度失败信息；在接收调度失败信息后，执行向容器集群管理平台发送第一更改标牌请求的步骤。也就是说，若调度失败，API-server通知该节点将 NodeLabel改回WhiteLabel，并向容器部署代理网元反馈调度失败信息，容器部署代理网元回到步骤44。

其中，步骤43之后，还包括：在第一查询结果指示存在第一节点的情况下，向容器集群管理平台转发容器部署请求，以将容器调度到第一节点。若节点池存在NodeLabel＝VendorA的节点，容器部署代理网元向容器集群管理平台中的API-server发送容器部署请求。容器集群管理平台根据容器部署请求，将容器调度到第一节点上。

相应地，向容器集群管理平台转发容器部署请求的步骤之后还包括：接收容器集群管理平台在不满足部署条件时反馈的调度失败信息；在接收调度失败信息后，执行向容器集群管理平台转发容器部署请求的步骤。也就是说，若调度失败，API-server通知该节点将NodeLabel改回WhiteLabel，并向容器部署代理网元反馈调度失败信息，容器部署代理网元回到向容器集群管理平台转发容器部署请求的步骤。

其中，部署条件用于指示容器的部署需求，该部署条件包括：容器的资源需求和/或亲和性需求。其中，资源需求包括但不限于cpu、内存、硬盘等要求。

以上介绍了节点标牌初始化、容器动态部署和节点动态打标的实施例，下面将进一步介绍容器删除和动态去标的过程。该方法还包括：接收VNF的容器删除请求；根据容器删除请求，向容器集群管理平台发送第二查询请求；接收容器集群管理平台根据第二查询请求反馈的第二查询结果，其中，第二查询结果用于指示删除的容器是否为对应节点上的最后一个容器；在第二查询结果指示删除的容器是对应节点上的最后一个容器的情况下，向容器集群管理平台发送第二更改标牌请求，以将对应节点的标牌更改为白牌，并删除相应容器。 NFVO接收到终止VNF的指令时，请求VNFM终止该VNF。VNFM执行终止该VNF的任务时，向容器部署代理网元发送删除容器的容器删除请求，容器部署代理网元在接收到容器删除请求，向容器集群管理平台发送第二查询请求，以查询删除的容器是否为对应节点上的最后一个容器。容器集群管理平台根据接收到的第二查询请求，查询内部数据库，以确定删除的容器是否为对应节点上的最后一个容器。在删除的容器为对应节点上的最后一个容器的情况下，即容器集群管理平台向容器部署代理网元发送指示删除的容器为对应节点上的最后一个容器的第二查询结果的情况下，容器部署代理网元向容器集群管理平台发送第二更改标牌请求。容器集群管理平台中的API-server根据第二更改标牌请求，请求该节点的kubelet将其NodeLabel改为WhiteLabel，并将目标容器从该节点上删除。

进一步地，接收容器集群管理平台根据第二查询请求反馈的第二查询结果的步骤之后，还包括：在第二查询结果指示删除的容器不是对应节点上的最后一个容器的情况下，向容器集群管理平台转发容器删除请求，以删除相应容器。容器集群管理平台向容器部署代理网元发送指示删除的容器不为对应节点上的最后一个容器的第二查询结果的情况下，容器部署代理网元向容器集群管理平台发送容器删除请求。容器集群管理平台中的API-server根据容器删除请求，请求该节点的kubelet将目标容器从该节点上删除，执行相应的Pod删除操作。

具体地，如图5所示，本发明实施例的网络功能虚拟化NVF系统的容器部署装置500，应用于容器部署代理网元，包括以下功能模块：

第一获取模块510，用于获取虚拟网络功能VNF的容器部署请求；

第一发送模块520，用于根据容器部署请求，向容器集群管理平台发送第一查询请求；

第七接收模块530，用于接收容器集群管理平台根据第一查询请求反馈的第一查询结果，其中，第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

第二发送模块540，用于在第一查询结果指示不存在第一节点的情况下，向容器集群管理平台发送第一更改标牌请求，以将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度在第二节点上，第二节点为标牌为白牌的节点中的一个。

可选地，网络功能虚拟化NVF系统的容器部署装置500还包括：

第八接收模块，用于接收容器集群管理平台在不满足部署条件时反馈的调度失败信息；

第三发送模块，用于在接收调度失败信息后，执行向容器集群管理平台发送第一更改标牌请求的步骤。

可选地，网络功能虚拟化NVF系统的容器部署装置500还包括：

第四发送模块，用于在第一查询结果指示存在第一节点的情况下，向容器集群管理平台转发容器部署请求，以将容器调度到第一节点。

可选地，网络功能虚拟化NVF系统的容器部署装置500还包括：

第九接收模块，用于接收容器集群管理平台在不满足部署条件时反馈的调度失败信息；

第五发送模块，用于在接收调度失败信息后，执行向容器集群管理平台转发容器部署请求的步骤。

可选地，网络功能虚拟化NVF系统的容器部署装置500还包括：

第十接收模块，用于接收VNF的容器删除请求；

第六发送模块，用于根据容器删除请求，向容器集群管理平台发送第二查询请求；

第十一接收模块，用于接收容器集群管理平台根据第二查询请求反馈的第二查询结果，其中，第二查询结果用于指示删除的容器是否为对应节点上的最后一个容器；

第七发送模块，用于在第二查询结果指示删除的容器是对应节点上的最后一个容器的情况下，向容器集群管理平台发送第二更改标牌请求，以将对应节点的标牌更改为白牌，并删除相应容器。

可选地，网络功能虚拟化NVF系统的容器部署装置还包括：

第八发送模块，用于在第二查询结果指示删除的容器不是对应节点上的最后一个容器的情况下，向容器集群管理平台转发容器删除请求，以删除相应容器。

为了更好的实现上述目的，如图6所示，本发明的实施例还提供了一种网元，该网元包括：处理器600；通过总线接口与所述处理器600相连接的存储器620，以及通过总线接口与处理器600相连接的收发机610；所述存储器620 用于存储所述处理器在执行操作时所使用的程序和数据；通过所述收发机610 发送数据信息或者导频，还通过所述收发机610接收上行控制信道；当处理器 600调用并执行所述存储器620中所存储的程序和数据时，实现如下的功能：

处理器600用于读取存储器620中的程序，并执行相应的过程。

收发机610，用于在处理器600的控制下接收和发送数据。

其中，该网元为容器集群管理平台时，收发机610用于：接收第一查询请求，其中，第一查询请求是容器部署代理网元在接收到虚拟网络功能 VNF的容器部署请求后发送的；

处理器600用于：根据第一更改标牌请求，将第二节点的标牌由白牌更改为容器的厂商牌，并将容器调度到第二节点上；其中，第二节点为标牌为白牌的节点中的一个。

其中，处理器600还用于：

确定第二节点是否满足部署条件；

在满足部署条件时，将容器部署在第二节点上；

在不满足部署条件时，向容器部署代理网元反馈调度失败信息，并执行接收容器部署代理网元发送的第一更改标牌请求的步骤。

其中，处理器600还用于：

在存在第一节点的情况下，接收容器部署代理网元发送的容器部署请求；

根据容器部署请求，将容器调度到第一节点上。

其中，处理器600还用于：

确定第一节点是否满足部署条件；

在满足部署条件时，将容器部署在第一节点上；

在不满足部署条件时，向容器部署代理网元反馈调度失败信息，并执行接收容器部署代理网元发送的容器部署请求的步骤。

其中，处理器600还用于：将NVF系统中的所有节点的标牌初始化为白牌。

其中，收发机610还用于：接收第二查询请求，其中，第二查询请求是容器部署代理网元在接收到VNF的容器删除请求后发送的；

根据第二查询请求，向容器部署代理网元反馈第二查询结果，其中，第二查询结果用于指示删除的容器是否为对应节点上的最后一个容器；

在删除的容器是对应节点上的最后一个容器的情况下，接收容器部署代理网元发送的第二更改标牌请求；

处理器600还用于：根据第二更改标牌请求，将对应节点的标牌更改为白牌，并删除相应容器。

其中，收发机610还用于：在删除的容器不是对应节点上的最后一个容器的情况下，接收容器部署代理网元发送的容器删除请求；

处理器600还用于：根据容器删除请求，删除相应容器。

其中，该网元为容器部署代理网元时，收发机610用于：

获取虚拟网络功能VNF的容器部署请求；

其中，收发机610还用于：

接收容器集群管理平台在不满足部署条件时反馈的调度失败信息；

在接收调度失败信息后，执行向容器集群管理平台发送第一更改标牌请求的步骤。

其中，收发机610还用于：在第一查询结果指示存在第一节点的情况下，向容器集群管理平台转发容器部署请求，以将容器调度到第一节点。

其中，收发机610还用于：接收容器集群管理平台在不满足部署条件时反馈的调度失败信息；

在接收调度失败信息后，执行向容器集群管理平台转发容器部署请求的步骤。

其中，收发机610还用于：接收VNF的容器删除请求；

根据容器删除请求，向容器集群管理平台发送第二查询请求；

接收容器集群管理平台根据第二查询请求反馈的第二查询结果，其中，第二查询结果用于指示删除的容器是否为对应节点上的最后一个容器；

在第二查询结果指示删除的容器是对应节点上的最后一个容器的情况下，向容器集群管理平台发送第二更改标牌请求，以将对应节点的标牌更改为白牌，并删除相应容器。

其中，收发机610还用于：在第二查询结果指示删除的容器不是对应节点上的最后一个容器的情况下，向容器集群管理平台转发容器删除请求，以删除相应容器。

其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机610可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器600 负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。

本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过计算机程序来指示相关的硬件来完成，所述计算机程序包括执行上述方法的部分或者全部步骤的指令；且该计算机程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述网络功能虚拟化 NVF系统的容器部署方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器 (Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种网络功能虚拟化NVF系统的容器部署方法，应用于容器集群管理平台，其特征在于，包括：

接收第一查询请求，其中，所述第一查询请求是容器部署代理网元在接收到虚拟网络功能VNF的容器部署请求后发送的；

根据所述第一查询请求，向所述容器部署代理网元反馈第一查询结果，其中，所述第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

在不存在所述第一节点的情况下，接收所述容器部署代理网元发送的第一更改标牌请求；

根据所述第一更改标牌请求，将第二节点的标牌由白牌更改为所述容器的厂商牌，并将所述容器调度到所述第二节点上；其中，所述第二节点为标牌为白牌的节点中的一个。

2.根据权利要求1所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，将所述容器调度到所述第二节点上的步骤之后，还包括：

确定所述第二节点是否满足部署条件；

在满足所述部署条件时，将所述容器部署在所述第二节点上；

在不满足所述部署条件时，向所述容器部署代理网元反馈调度失败信息，并执行接收所述容器部署代理网元发送的第一更改标牌请求的步骤。

3.根据权利要求1所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，根据所述第一查询请求，向所述容器部署代理网元反馈查询结果的步骤之后，还包括：

在存在所述第一节点的情况下，接收所述容器部署代理网元发送的所述容器部署请求；

根据所述容器部署请求，将所述容器调度到所述第一节点上。

4.根据权利要求3所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，将所述容器调度到所述第一节点上的步骤之后，还包括：

确定所述第一节点是否满足部署条件；

在满足所述部署条件时，将所述容器部署在所述第一节点上；

在不满足所述部署条件时，向所述容器部署代理网元反馈调度失败信息，并执行接收所述容器部署代理网元发送的所述容器部署请求的步骤。

5.根据权利要求2或4所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，所述部署条件用于指示所述容器的部署需求，所述部署条件包括：所述容器的资源需求和/或亲和性需求。

6.根据权利要求1所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，接收第一查询请求的步骤之前，还包括：

将所述NVF系统中的所有节点的标牌初始化为白牌。

7.根据权利要求1所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，还包括：

接收第二查询请求，其中，所述第二查询请求是所述容器部署代理网元在接收到VNF的容器删除请求后发送的；

根据所述第二查询请求，向所述容器部署代理网元反馈第二查询结果，其中，所述第二查询结果用于指示删除的容器是否为对应节点上的最后一个容器；

在删除的容器是对应节点上的最后一个容器的情况下，接收所述容器部署代理网元发送的第二更改标牌请求；

根据所述第二更改标牌请求，将对应节点的标牌更改为白牌，并删除相应容器。

8.根据权利要求7所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，根据所述第二查询请求，向所述容器部署代理网元反馈第二查询结果的步骤之后，还包括：

在删除的容器不是对应节点上的最后一个容器的情况下，接收所述容器部署代理网元发送的容器删除请求；

根据所述容器删除请求，删除相应容器。

9.一种网元，所述网元为容器集群管理平台，其特征在于，包括：处理器；与所述处理器相连接的存储器，以及与处理器相连接的收发机；其中，

所述收发机用于：接收第一查询请求，其中，所述第一查询请求是容器部署代理网元在接收到虚拟网络功能VNF的容器部署请求后发送的；

所述处理器用于：根据所述第一更改标牌请求，将第二节点的标牌由白牌更改为所述容器的厂商牌，并将所述容器调度到所述第二节点上；其中，所述第二节点为标牌为白牌的节点中的一个。

10.根据权利要求9所述的网元，其特征在于，所述处理器还用于：

确定所述第二节点是否满足部署条件；

11.根据权利要求9所述的网元，其特征在于，所述处理器还用于：

12.根据权利要求11所述的网元，其特征在于，所述处理器还用于：

确定所述第一节点是否满足部署条件；

13.根据权利要求10或12所述的网元，其特征在于，所述部署条件用于指示所述容器的部署需求，所述部署条件包括：所述容器的资源需求和/或亲和性需求。

14.根据权利要求9所述的网元，其特征在于，所述处理器还用于：

将网络功能虚拟化NVF系统中的所有节点的标牌初始化为白牌。

15.根据权利要求9所述的网元，其特征在于，

所述收发机还用于：接收第二查询请求，其中，所述第二查询请求是所述容器部署代理网元在接收到VNF的容器删除请求后发送的；

所述处理器还用于：根据所述第二更改标牌请求，将对应节点的标牌更改为白牌，并删除相应容器。

16.根据权利要求15所述的网元，其特征在于，

所述收发机还用于：在删除的容器不是对应节点上的最后一个容器的情况下，接收所述容器部署代理网元发送的容器删除请求；

所述处理器还用于：根据所述容器删除请求，删除相应容器。

17.一种网络功能虚拟化NVF系统的容器部署装置，应用于容器集群管理平台，其特征在于，包括：

第一接收模块，用于接收第一查询请求，其中，所述第一查询请求是容器部署代理网元在接收到虚拟网络功能VNF的容器部署请求后发送的；

第一反馈模块，用于根据所述第一查询请求，向所述容器部署代理网元反馈第一查询结果，其中，所述第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

第二接收模块，用于在不存在所述第一节点的情况下，接收所述容器部署代理网元发送的第一更改标牌请求；

第一处理模块，用于根据所述第一更改标牌请求，将第二节点的标牌由白牌更改为所述容器的厂商牌，并将所述容器调度到所述第二节点上；其中，所述第二节点为标牌为白牌的节点中的一个。

18.一种网络功能虚拟化NVF系统的容器部署方法，应用于容器部署代理网元，其特征在于，包括：

获取虚拟网络功能VNF的容器部署请求；

根据所述容器部署请求，向容器集群管理平台发送第一查询请求；

接收所述容器集群管理平台根据所述第一查询请求反馈的第一查询结果，其中，所述第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

在所述第一查询结果指示不存在所述第一节点的情况下，向所述容器集群管理平台发送第一更改标牌请求，以将第二节点的标牌由白牌更改为所述容器的厂商牌，并将所述容器调度在所述第二节点上，所述第二节点为标牌为白牌的节点中的一个。

19.根据权利要求18所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，向所述容器集群管理平台发送第一更改标牌请求的步骤之后，还包括：

接收所述容器集群管理平台在不满足部署条件时反馈的调度失败信息；

在接收所述调度失败信息后，执行向所述容器集群管理平台发送第一更改标牌请求的步骤。

20.根据权利要求18所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，接收所述容器集群管理平台根据所述第一查询请求反馈的第一查询结果的步骤之后，还包括：

在所述第一查询结果指示存在所述第一节点的情况下，向所述容器集群管理平台转发所述容器部署请求，以将所述容器调度到所述第一节点。

21.根据权利要求20所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，向所述容器集群管理平台转发所述容器部署请求的步骤之后，还包括：

在接收所述调度失败信息后，执行向所述容器集群管理平台转发所述容器部署请求的步骤。

22.根据权利要求19或21所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，所述部署条件用于指示所述容器的部署需求，所述部署条件包括：所述容器的资源需求和/或亲和性需求。

23.根据权利要求18所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，还包括：

接收VNF的容器删除请求；

根据所述容器删除请求，向所述容器集群管理平台发送第二查询请求；

接收所述容器集群管理平台根据所述第二查询请求反馈的第二查询结果，其中，所述第二查询结果用于指示删除的容器是否为对应节点上的最后一个容器；

在所述第二查询结果指示删除的容器是对应节点上的最后一个容器的情况下，向所述容器集群管理平台发送第二更改标牌请求，以将对应节点的标牌更改为白牌，并删除相应容器。

24.根据权利要求23所述的网络功能虚拟化NVF系统的容器部署方法，其特征在于，接收所述容器集群管理平台根据所述第二查询请求反馈的第二查询结果的步骤之后，还包括：

在所述第二查询结果指示删除的容器不是对应节点上的最后一个容器的情况下，向所述容器集群管理平台转发所述容器删除请求，以删除相应容器。

25.一种网元，所述网元为容器部署代理网元，其特征在于，包括：处理器；与所述处理器相连接的存储器，以及与处理器相连接的收发机；其中，收发机用于：

获取虚拟网络功能VNF的容器部署请求；

26.根据权利要求25所述的网元，其特征在于，所述收发机还用于：

27.根据权利要求25所述的网元，其特征在于，所述收发机还用于：在所述第一查询结果指示存在所述第一节点的情况下，向所述容器集群管理平台转发所述容器部署请求，以将所述容器调度到所述第一节点。

28.根据权利要求27所述的网元，其特征在于，所述收发机还用于：接收所述容器集群管理平台在不满足部署条件时反馈的调度失败信息；

29.根据权利要求26或28所述的网元，其特征在于，所述部署条件用于指示所述容器的部署需求，所述部署条件包括：所述容器的资源需求和/或亲和性需求。

30.根据权利要求25所述的网元，其特征在于，所述收发机还用于：接收VNF的容器删除请求；

31.根据权利要求30所述的网元，其特征在于，所述收发机还用于：在所述第二查询结果指示删除的容器不是对应节点上的最后一个容器的情况下，向所述容器集群管理平台转发所述容器删除请求，以删除相应容器。

32.一种网络功能虚拟化NVF系统的容器部署装置，应用于网元为容器部署代理网元，其特征在于，包括：

第一获取模块，用于获取虚拟网络功能VNF的容器部署请求；

第一发送模块，用于根据所述容器部署请求，向容器集群管理平台发送第一查询请求；

第七接收模块，用于接收所述容器集群管理平台根据所述第一查询请求反馈的第一查询结果，其中，所述第一查询结果用于指示是否存在标牌为容器的厂商牌的第一节点；

第二发送模块，用于在所述第一查询结果指示不存在所述第一节点的情况下，向所述容器集群管理平台发送第一更改标牌请求，以将第二节点的标牌由白牌更改为所述容器的厂商牌，并将所述容器调度在所述第二节点上，所述第二节点为标牌为白牌的节点中的一个。

33.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8、18至24中任一项所述的网络功能虚拟化NVF系统的容器部署方法的步骤。