CN108139934A

CN108139934A - 复合服务功能链之间的负载和软件配置控制

Info

Publication number: CN108139934A
Application number: CN201580083573.8A
Authority: CN
Inventors: W.哈恩; B.加吉克
Original assignee: Nokia Siemens Networks Oy
Current assignee: Nokia Solutions and Networks Oy
Priority date: 2015-08-03
Filing date: 2015-08-03
Publication date: 2018-06-08
Also published as: WO2017020949A1; EP3332324A1; US20180225139A1; JP2018528526A

Abstract

本发明涉及与服务功能链管理相关的方法、装置和计算机程序产品。管理功能针对用于服务功能链的高效控制软件配置，以及自适应地调用、重新配置或停止虚拟机以用于负载平衡目的来应对动态生命业务。

Description

复合服务功能链之间的负载和软件配置控制

技术领域

本发明涉及与服务功能链管理相关的方法、装置和计算机程序产品。更具体地，本发明涉及与服务功能链的负载和软件配置控制相关的方法、装置和计算机程序产品。

背景技术

减少运营商网络TCO的一种方式是网络功能虚拟化并针对不同的网络功能使用共同的数据中心（DC）硬件（参见ETSI NFV（网络功能虚拟化研究组）的文档）。

这也适用于服务功能链接。服务功能链接通常通过以给定次序调用一组服务功能来观察、改变或甚至终止并重新建立用户设备和应用平台（Web、视频、VoIP等）之间的会话流。在给定服务功能链（SFC，下文有时称为“链”）中涉及的服务功能可能包括负载平衡、防火墙、入侵防御等。

给定的SFC启用的域可能涉及相同服务功能的若干个实例。服务功能实例可以增加到给定的SFC或从给定的SFC移除。SF可以共同位于或嵌入在不同的物理节点中，或者虚拟化。

现今，移动网络运营商正在所谓的“Gi-LAN”（诸如NAT、TCP优化器、防火墙、视频优化器）中提供大量增值分组处理功能。它们可以被认为是SFC，其中SFC通过业务需要被路由通过其的盒子链来实现。这些解决方案的低效性和管理其的复杂性导致了3GPP Rel.13（灵活移动服务转向FMSS）和IETF（SFC，服务功能链接）中的标准化活动。

例如在大多数网络功能（安全性、NAT、负载平衡等）中，只有一小部分的流需要由全部功能的处理，而其余部分的流需要有限或其他的处理。通过灵活流路由，可以减少所需资源的量。

下一水平的网络灵活性被预期成与5G一起引进。正在设立研究项目以取决于所提供的端到端服务（例如5G NORMA）引进定制的网络功能。思想是分解RAN和核心的目前网络功能并选择特定两者的服务

- 分解功能的风格（例如取决于服务的不同调度算法）；和

- 位置（更集中或更多在移动边缘处）。

这增加了从大量的基本功能模块高效地构成和连接网络服务的需要。注意，本文使用和引进的技术独立于任何接入技术。

一般，目的在于在云中最有效和高效地实现这些服务功能（SF）。目前的方法（参见下文）只是将以前的物理“盒子功能”虚拟化为VNF（虚拟网络功能），并使用由数据中心（DC）提供的连接框架来创建所需的数据路径。

但是，通过DC路由全部用户平面业务是非常有挑战性的，参见ETSI NFV INF005文档：

“数据平面吞吐量是针对NFV架构的一般问题[……]。在NFVI节点上的虚拟化网络功能部署的吞吐量容量是基本的考虑，因为它是针对实现物理网络功能的网络元件。”

SF链中的典型SF是涉及一些静态和相对较小的CPU代码但对吞吐量和/或对低延时具有高要求的应用。就网络功能基础结构（NFVI）而言，这意味着有限计算要求但高联网要求。

目前，通过加速云环境中的连接/联网的数据路径处理——现今通常由虚拟交换机执行——来解决该问题。

存在某些OS功能（套接字API和vNIC）被扩展或联网和应用功能之间的新的直接接口被引进（例如，使用英特尔的DPDK和或SR-IOV来绕过主机和/或客户OS以得到快速分组传送）的方法。

尽管通过这些措施，可以加速托管服务功能的虚拟机（VM）之间的联网性能——仍然存在许多问题：

- 由每个VM-VM通信引进附加的延时；

- 存在该延迟有多大的一些不可预测性：这可能取决于拓扑，例如，VM驻留在相同刀片（blade）、机架等上，并使用不同的加速机制；

- 需要对每个单独的SF进行扩缩和负载平衡（问题源于DC中的扩缩通常通过增加（扩容）或减少（缩容）用于运行特定网络功能的VM的数量来实现；

- 由于需要由VIM和联网控制器考虑的大量VM和限制（延迟预算、吞吐量）而造成的复杂的资源分配和VM/SF实例化的调度。

还可以考虑应将“IT-DC”（诸如用于Web服务器的DC的通用DC）变成“Telco云DC”（专用于电信服务的DC）的附加特征是否将增加成本并破坏规模经济，如果复杂性增加（这对于IT-DC的典型工作负载不需要）的话。因此，改善Telco云DC服务的新措施可能增加虚拟化的复杂性。

图1示出了如现有技术中提出的布置。

在数据平面（下部）中，路由器（由标以“X”的框所示）基于由控制实体（例如，PCRF）控制的分类器（例如，UL分类器）将业务路由到多个SFC中的一个（在图1中，示出上SFC（链1）和下SFC（链2））。在每个SFC中，若干个SF（在图1中：SF1到SF4）和负载平衡器被链接。一些SF（例如图1中的SF1和SF2）可以用于多个SFC中。SFC中的实体（特别是负责将业务从一个SF转发到链的另一个SF的那些实体）可以由例如SDN控制。SF和LB、分类器以及控制实体的每个实例可以由单独的VM实现。在一些实现中，一个或多个分类器可以与路由器“X”或与负载平衡器集成。在一些实现中，一个或多个分类器可以由专用硬件实现。

也就是说，通过虚拟化计算和联网，刚性Gi-LAN可以被替换为服务链接，其是基于虚拟化装置（或简称为VNF）的软件框架，其通过虚拟化联网来连接，由服务链编排器使用VNF和云管理API来自动化和管理。

图2（取自IETF：服务功能链接（SFC）控制平面架构，draft-ww-sfc-control-plane-04，检索自https://datatracker.ietf.org/doc/draft-ww-sfc-control-plane/）示出了SFC架构。SFC控制平面负责构建SFC、将SFC转换为转发路径以及将路径信息传播给参与节点以实现必要的转发行为并构建服务覆盖。进入SFC启用的域的业务根据SFC控制平面提供给分类器的规则进行分类。在分类后，业务被转发到SFC启用的域中，其传递如对应SFC指令中定义的一组服务功能。由服务转发器实体（即，包括服务转发器功能（SFF）的节点）使用SFC特定的转发信息来做出业务转发决策，并通过从控制平面信息导出并从分类器实例化的服务功能路径将业务传递到链内的下一个服务功能实例。针对进一步的细节，参考所引用的IETF文档。

发明内容

以下实施例是示例性的。尽管本说明书可能在若干个位置中引用“一”、“一个”或“一些”实施例，但这并不一定意味着每个这样的引用是针对相同的（多个）实施例，或者该特征仅适用于单个实施例。不同实施例的单个特征也可以被组合以提供其他实施例。此外，词语“包括”和“包含”应被理解为不将所描述的实施例限制为仅由已经提及的那些特征构成，并且这样的实施例还可以包含未具体提及的特征/结构。

具体而言，我们使用虚拟机（VM）的概念来描述用于数据中心中的软件的现有技术计算环境。VM涉及在提供物理计算资源的虚拟化的管理程序之上运行的软件装置（应用SW和操作系统）。对VM的引用不应排除其他虚拟化环境，比如所谓的容器，其中软件应用也可以共享操作系统的一部分或基于管理程序和基于容器的虚拟化的组合。

我们在本文提出的概念以及现有技术布置（图1）甚至可以在没有任何虚拟化的情况下工作。这意味着SFC的服务功能可以直接在物理处理器（CPU）上运行，所述物理处理器（CPU）可以布置在服务器刀片的CPU池中。在这种情况下，需要交换术语VM和处理器/CPU：需要测量CPU的负载而不是VM的负载等。

总之，术语VM仅用作关于如何执行服务功能或完整SFC的示例。

根据本发明的第一实施例，提供了一种用于自适应服务功能链配置的方法，其中在给定的硬件上执行大量的虚拟机，并且虚拟机的单个实例正在执行完整的服务功能链，所述服务功能链包括大量的服务功能，所述方法包括以下步骤：连续地测量正在执行特定服务功能链的每个虚拟机的处理负载，并且在某个虚拟机的处理负载超过预定义的负载水平的情况下，能够执行特定服务功能链的附加虚拟机将被激活以执行特定服务功能链，而在某个虚拟机的处理负载低于预定义的负载水平的情况下，将所述虚拟机的特定服务功能链的工作负载转移到能够执行服务功能链的另一个虚拟机，并且因此所述虚拟机的特定服务功能链被去激活。

本发明的上述实施例的变型可以是服务功能链执行已经针对任何原因（例如，由于极低的工作负载）而被去激活的虚拟机可以用于接管另一个虚拟机的功能并执行超过预定义的负载水平的另一个虚拟机的服务功能的方法。

针对复合服务功能链之间的负载和软件控制可以是本发明的另一个实施例，其中需要运行某个服务链功能的必要软件组件被加载到全部虚拟机中。这使得能够实现服务链的任何可能子集可以在这些虚拟机上执行而不用预先将软件组件加载到该虚拟机中的系统。

虚拟机中的服务功能链的激活或去激活由所谓的资源管理器控制。资源管理器由控制和管理实体实现，特别是元件管理系统EMS。

也可能存在其中只有软件组件的子集被加载到虚拟机中的实施例。然而，所加载的软件组件的子集必须足以执行一个或若干个服务链功能。

将在运行时间期间在虚拟机的任何实例中被激活的功能必须由所谓的服务功能链描述符来定义。描述符定义了什么服务功能构成SFC以及它们被布置在什么拓扑中。

另一个重要方面是系统能够灵活地对永久改变的负载情况作出反应。因此应提供使得系统能够测量任何虚拟机的处理负载的部件。这可以以不同的方式实现。一种可能性是，正在执行服务功能链的虚拟机自身包括用于测量处理负载的部件。另一种可能的解决方案是，底层基础结构（HW或操作系统）提供用于测量虚拟机的处理负载的部件，并且该信息被定期地传送到基础结构管理器和服务功能链资源管理器。

在另一个实施例中，处理负载由比如处理器负载、存储器空间、空闲或未使用的存储器空间的相关参数和/或其加上适于负载测量的任何其他参数的组合来定义。

当然，上述不同的实施例将在包括至少一个处理器和至少一个存储器的硬件装置上运行，存储器的部分包括计算机程序代码，其中至少一个存储器和计算机程序代码利用至少一个处理器被配置为使得该装置执行上述的任何方法步骤。

作为进一步的实施例，驻留在非暂时性计算机可读介质上的计算机程序产品是可能的，其中计算机程序包括用于在给定硬件上运行作为服务链的大量的虚拟机的程序代码，用于执行实现完整服务功能链的虚拟机的实例的程序代码，所述服务功能链包括大量的服务功能，用于连续地测量正在执行特定服务功能链的每个虚拟机的处理负载的另外的程序代码，以及控制在某个虚拟机的处理负载超过预定义的负载水平的情况下能够执行特定服务功能链的附加虚拟机将被激活以用于执行特定服务功能链的程序代码和控制在某个虚拟机的处理负载低于预定义的负载水平的情况下将所述虚拟机的特定服务功能链的工作负载转移到能够执行服务功能链的另一个虚拟机并且因此所述虚拟机的特定服务功能链被去激活的程序代码。

根据本发明的一些实施例，提供了至少以下优点：

- 可预测的性能；

- 容易的负载平衡；

- 容易且动态的扩缩；

- VM的重复使用；

- 较不需要资源过度预置。

应理解的是，以上修改中的任何一个可以单独地或组合地应用于它们所涉及的相应方面，除非它们明确地声明为排除替代方案。

附图说明

进一步的细节、特征、目的和优点从结合附图进行的本发明的优选实施例的以下详细描述是显而易见的，其中

图1示出了根据现有技术的具有负载平衡的DC中的两个SFC；

图2示出了根据IETF的SFC架构；

图3示出了VM中的SFC配置；

图4示出了利用SFC的VM实例化；

图5示出了SF链描述符（上框）和SF描述符（下框）的结构（左侧：通用设计；右侧：特定示例）；

图6示出了SFC实例化过程；

图7示出了VNF链VM重新配置的结果；

图8示出了根据本发明的实施例的装置；

图9示出了根据本发明的实施例的方法；

图10示出了根据本发明的实施例的装置；

图11示出了根据本发明的实施例的方法；

图12示出了根据本发明的实施例的装置；

图13示出了根据本发明的实施例的方法；

图14示出了根据本发明的实施例的装置；

图15示出了根据本发明的实施例的方法；和

图16示出了根据本发明的实施例的装置。

具体实施方式

下文，参考附图详细描述本发明的某些实施例，其中除非另有说明，否则实施例的特征可以彼此自由组合。然而，应明确理解的是，仅通过示例的方式给出了某些实施例的描述，并且其决不意图被理解为将本发明限制于所公开的细节。

此外，应理解的是，装置被配置为执行对应的方法，尽管在一些情况下仅描述了装置或仅描述了方法。

从上面的考虑中存在一些怀疑，即：链的物理服务功能或甚至其分解的组件到VM中的虚拟SF的一对一映射是到云中的服务功能链接的最优迁移。

根据图1和图2所示的架构，不同的SF可以由不同的供应商和服务功能提供商提供。使每个SF在单个VM中分配的优点可能在于，如果全部SF都被自己的OS-“容器”隔离，则存在定义的且稳定的运行时间环境。这也允许例如更简单的测试。

然而，SW处理中的现有技术要更先进得多：来自不同供应商的通常不同的应用在相同OS上运行。例如，移动设备或动态链路库中的应用由不同的供应商提供，并在应用程序中组合。例如，在Windows OS中，媒体播放器的媒体流处理可以将来自不同供应商的不同组件用于例如源滤波器、解复用、解码和渲染，它们在运行时间期间进行组合。

根据本发明的一些实施例，每个VM包括构成意图在VM上运行的SFC的全部SF的SW。VM可以包括用于意图VM的运行的全部SFC的全部SF的SW。多个VM可能配备有相同的SW。对于部署，可以使用SW映像。

这种方法相对于现有技术的优点是以下中的至少一个：

- 可预测的性能，特别是对于服务功能链的延时（不需要用于实现所需延时的复杂拓扑或传输机制考虑）；

- 简单得多的负载平衡，因为针对单独的SF不需要但按每个链需要；和

- 更简单且非常动态的缩容和扩容——资源重复使用（移除未使用的SF链，以及在已经存在的VM上部署新的SF链）。

图3图示了VM中的SFC配置。在用作“链VNF”（在其上可以运行一个或多个SFC的VNF）的VM 301上，在OS 304之上安装SW映像302。SW映像302包括对于SFC的全部SF（表示为SF1、SF2、SF3、SF4、……）所需的全部SW。另外，其包括基于SF部署SFC的“链OS”中间件303及其描绘为“SF图形”的拓扑描述。详细地，“链OS”中间件包括SF图形和SF注册表（registry）。

“链OS中间件”由控制实体控制。控制实体可以是EMS 305的一部分、VNF管理器306的一部分、单独的实体或与另一功能集成。其功能可以分割成在多个实体之上分布，诸如在EMS 305和VNF管理器306之上分布。在图3中，作为示例，控制实体与EMS 305集成。

OSS/BSS 307、编排器308和VIM 309为了完整而被示出，并且可以照常满足它们各自的功能。

负责配置一个或多个“链VNF”VM的控制实体（例如EMS 305）除其他之外尤其包含两个数据表：

描述每个链的一个表（例如描述SF之间的拓扑关系的图形模板），其包括要被下载到链VNF VM以实例化特定链的链表示，以及

（多个）链被构建的SF的表，其中该表包含SF描述符/模板。

需要在VM上部署的SF链的确切描述被存储在图形模板中。图形模板指定构成链的SF如何连接。这样的指定可以采用复合SF的列表的形式，但不限于这种表示。

为了管理链，SF描述符/模板可以另外包括SF的进一步描述，例如，就负载/计算要求而言，包括所分配的SF权重等。这样的附加信息可以用于VM实例化期间，并且特别是针对从服务一个链到服务另一个链的VM重新配置。取决于DC中的用户数量，可以针对具有不同要求的单独SF链初始地实例化不同数量的VM。

用于链VNF内部的链管理功能的接口驻留在称为“链OS中间件”303的实体内。取决于实现，控制实体（例如，VNF管理器305或EMS 306）或链OS中间件或它们之间的功能分布可以提供以下功能以用于管理SF链：

SF可以将其自身注册到控制实体或“链OS中间件”并提供关于其支持的接口的输入参数。这可以例如包括根据比如IETF的某个标准规范的分组报头扩展的支持。

可以配置SF图形，其实例化特定SFC。EMS或链OS可以提供SFC的全部SF是否可以根据需要进行连接的检查。链OS可以向外部管理实体（诸如控制实体、EMS或VNF管理器）确认链实例化。

链OS中间件可以验证对于特定链的实例化所需的全部SF是否都已经包含在VM的SW映像中。如果情况并非如此，则其可以向外部管理实体通知缺少SF。

链VNF（链OS中间件或其他VNF内部管理实体）可以向EMS和VNF管理器提供关于目前SF链VM利用率的报告。这样的信息是针对VM的高效动态缩容/扩容的前提。

一些描述的功能可能是VM自身的OS的部分。

对于部署一个特定图形（与具有链ID的SFC相关）的每个链VNF，将分配相同的专用负载平衡器。在成功实例化图形之后，全部链VNF将向与该特定图形/链ID对应的负载平衡器注册。

存在用于实现SFC的两个选项：

SW映像已经包含SF链的运行时间版本的静态方法。一切（SF和（多个）SFC）都已经配置。该选项可能具有针对计算效率的更多优化潜在性；或者

如图3所示的动态实例化：在利用“链VNF”SW（SW映像1 302）实例化VM（假设数量“n”，诸如VM 301）之后，控制功能（例如，EMS 305或VNF管理器306或单独的实体）在VM 301中配置激活特定链（例如，具有链ID x）的SFC图形。此后，控制实体对DC的分组转发系统进行编程以将流分类器和负载平衡器与服务链x的对应的（多个）VM连接。负载平衡器将利用VM n的实例化进行更新。

作为这样的过程的结果，取决于如图4的示例中所示的负载要求，可以实例化用于不同SF链的不同数量的VM。

在图4中，EMS 305、VNF管理器306、编排器308和VIM 309对应于图3所示的示例的那些。基于虚拟基础结构资源310（由VIM 309管理），许多VM 301a、……、301m、301n、……、301z被部署。VM 301a、……、301m的数量和VM 301n、……、301z的数量是任意的。这些VM301a、……、301z中的每个对应于图3的VM 301。在这些VM 301a、……、301z中的每个上，安装相同的SW映像（SW映像1 302）。SW映像1 302包括用于构成SFC1和SFC2的SF的SW。因此，VM301a、……、301z中的每个可以运行SFC1和SFC2中的任一个或两者。另外，在VM 301a、……、301z中的每个或一些上，可以部署例如与其他SF或其他SFC相关的附加SW（未示出）。

在图4的示例中，VM 301a、……、301m被控制实体（本文：EMS 305）配置为运行SFC1，并且VM 301n、……、301z被配置为运行SFC2。

SF描述符存储关于每个SF的详细信息。这可以包括详细的系统要求、优先级等。SF描述符可以包含SF的系统要求以及可选地与确切的SF实现或运营商的偏好相关的附加参数。

图5图示了包括图形模板和SF描述符/模板的SF链的数据结构的示例。在左侧，示出了控制实体（在图5中：EMS作为示例）中的数据结构的通用设计。在右侧，示出了根据具体示例如何填充左侧的模板。在每个VM的“链OS”中间件中提供对应的表示。

上框包括定义服务链的SF链描述符。特别地，其包括图形模板。如在图5的右侧可以看出的，图形模板指示构成SFC的SF序列（例如，用于SFC1的SF1、SF2、SF3、SF4）。一些示例SF被指示。另外，链描述符可以包括关于例如业务策略、优先级、扩缩策略等的信息。针对每个SFC存在单独的SF链描述符。

图5的两侧的下框包括SF描述符。每个SF描述符包括SF的名称和接口描述。另外，其可以包括与SF相关的其他信息，诸如系统要求。针对由SF链描述符所描述的SFC中的至少一个中所包括的每个SF存在SF描述符。然而，如果由若干个SFC使用SF（诸如右侧的示例中的SF4，其由SFC1和SFC2使用），则针对该SF可能存在仅一个SF描述符。

图6中图示了实例化过程的示例。图6中所示的实体对应于图3的那些实体。

编排器308分配全部可用资源的某个部分以用于实例化将部署不同SFC的VM，例如，根据基于某个网络规划的输入模板，100个VM将被分配用于这样的目的。在图6中，仅示出了多个（例如100个）VM中的一个（VM 301）。

VNF管理器306通知EMS 305关于专用于SFC的实例化的可用运行VM。

EMS 306可以考虑预期的业务负载和SFC的特性，例如，用于每个SFC的预期业务简档（profile），以便在每个VM上实例化适当数量的不同SFC并计算它们之间的最优工作负载分布。例如，EMS 306可以决定在100个激活的VM上的链的实例化应遵循以下模式：40个VM用于SFC1，30个VM用于SFC2，10个VM用于SFC3，10个VM用于SFC4，10个VM用于SFC5。因此，每个VM只运行一个SFC。然而，在其他示例中，一些或全部VM可以运行多个SFC。

控制实体（例如，EMS或VNFM；在图6所示的示例中，EMS用作控制实体）针对每个SFC实例化相应的负载平衡器。在示例中，将针对5个SFC实例化5个负载平衡器，其中仅示出一个（LB 311）。

当SFC在VM上实例化时，它可以注册到对应的负载平衡器。因此，负载平衡器可以将用于相应SFC的分组分布到对应的VM。

根据上述配置，可以在SFC的SF之间使用更高效的VM内部通信。这提高了数据平面中的SFC执行的效率。如果不是每个SF都需要自己的VM而是仅每个SFC需要，则由于更高的资源效率，可以减少VM的总数。这也减少了虚拟化开销，比如对于VNF所需的客户OS的数量。

根据本发明的一些实施例，在其中SFC与其全部SF在单个VM上实现的DC中，可以以使得可用资源以最优方式在SFC之间分布的方式来适配VM的使用：在运行时间期间，VM可以以这样的方式重新配置，即：在其中负载水平在某个阈值之下的一个或多个VM中，可以激活针对其需要更高的网络吞吐量（例如，因为目前为这些SFC分配的VM具有更高的负载水平）的另一个链。对应地，如果链在VM中未充分利用（链的LB比某个阈值更不经常地选择该VM），则VM可以被重新配置，使得它不再运行该链，因此增加了针对VM上的其他SFC的容量。

作为确定链在VM中是否未充分利用的准则，可以使用VM中的负载（特别地，如果仅相应的链在该VM上运行）。

替代地或另外，可以使用调用频率，即调用VM上的SFC的频率。调用频率可以在VM处或LB的输出侧处测量。如果假设LB根据特定规则分布SFC调用，则特定VM上的SFC的调用频率也可以根据SFC的总调用频率（即，针对可以在相应LB的输入侧上测量的SFC的需求）并计算所考虑的特定VM的份额来确定。例如，如果LB的规则在配置为运行SFC的全部VM上是均等分布，则份额为1/（配置为运行SFC的VM的数量）。

这些功能可以由控制实体（例如，用于SFC VNF的EMS，可选地与用于SFC-VNF的VNF管理器协作，参见下文）执行。

该机制引进了控制的“内部环”，以用于针对SF链接的给定VM组中的服务功能链接的分配资源/VM的最优使用。如根据现有技术，与“外部环”相比，术语“内部环”被使用，其表示增加或减少用于SF链接的组中的VM的总数。“外部环”的操作通常由DC的编排器完成。由“外部环”进行的重新配置是比由“内部环”进行的重新配置更繁重的操作，即它需要更多的CPU容量和带宽。由于“内部环”，根据本发明的一些实施例，“外部环”需要较不经常地进行（或者在一些情况下根本不进行）。

利用该“内部环”，只要负载可以在已经建立的VM之间分布，就不需要实例化新的VM。该过程可以比扩缩VM的数量（“外部环”）动态得多地执行。

“内部环”的优点是以下中的至少一个：

按每个链更容易且非常动态的缩容和扩容；

可以重复使用资源（通过移除未使用（未充分使用）的SF链并在已经被配置用于服务链接的VM上部署新的SF链）；

更容易的负载平衡，因为负载平衡可以按每个链执行并且不需要针对单独的SF执行；

可以减少用于SF链接的VM的数量，因为存在资源过度预置的较少需要。

基于由链VNF提供的关于SF链和VM利用率的信息，控制实体（例如，EMS和/或VNF管理器和/或单独的实体）可以采用以下方式调整VM和SF链分配。作为示例，描述假设在作为控制实体的EMS和VNF管理器之间分割典型功能。然而，该功能分割不是限制性的，并且可以采用在EMS、VNFM和单独的控制实体之间的任何其他可想到的功能分割。

负责配置“链VNF”VM的EMS尤其包含负载表，其包含用于被配置为运行SF链的实例的全部VM的负载状态。EMS直接从SFC-VM（选项1）或间接从VNF管理器（选项2，VNFM可以直接从SFC-VM或从VIM收集这样的信息）收集负载信息。基于内部策略（负载阈值、SF链的优先级等），EMS决定重新配置VM。例如，为了满足业务需求，它可以重新配置VM，使得其被配置为运行SFC-m的实例而不是SFC-n的实例。例如，这可能发生，如果在给定时间处存在针对一些特定SF链的更高需求并且另一方面运行其他链的一些VM仅很少负载的话。作为其他选项，其可以重新配置VM，其不再运行某个SFC，或者其被配置为除了其已经被配置为运行的那些SFC的实例之外还运行某个SFC的实例。

为了提供优雅的迁移，EMS可以提前通知SFC VNF关于这样的操作。然后，SFC VM可以通知其负载平衡器不将新的流分配给该VM（尤其是如果有状态的功能被执行的话）。另外，在SFC-VM的最终重新配置并关闭先前部署的SFC之前，EMS可以登记（check in）该SFC-VM的负载表，如果VM不再被加载的话（全部正在进行的流都已被处理）。另外，它可能检查新SFC的部署是否安全。

在EMS通过下载新的图形模板重新配置VM之后，VM可以通过负责新SF链的新负载平衡器注册其自身。替代地，EMS可以通知被配置为运行新SFC的实例的附加VM上的新SFC的LB。

为了最小化对于负载表的定期更新所需的信令，替代地（或另外）可以使用减少的报告。不是依赖于关于SF链的全部VM的负载状态的定期报告，而是只有在超过一些预定义的阈值的情况下更新才被发送到EMS。这样的阈值可以相对于所使用的策略而预先确定或者定义。为了“内部控制环”的高效操作，关于SFC-VM负载的两个阈值特别重要：

最大阈值——用于SFC-VM负载的上限，在该最大阈值之下SFC-VM的操作和负载被认为是正常的。一旦SFC的负载高于“最大阈值”，则EMS应触发一个或多个其他VM的重新配置以及在其他（多个）VM中的SFC-VM中运行的SFC的部署。

最小阈值——用于SFC-VM负载的下限，在该最小阈值之下用于SFC的单独VM的运行不是合理的，即SFC的负载太低，以至于针对这样的负载具有单独的VM可以被视为资源的浪费。如果SFC的负载低于“最小阈值”，则该VM是用于针对其需要更多资源的另一SFC（例如，达到了“最大阈值”的SFC）的重新配置和部署的候选者。

EMS也可以取决于每个SF链的VM的数量来确定阈值。这样的阈值可以针对减少的报告由EMS下载/配置在SF链VNF中。因此，一旦SFC-VM负载超出“最大阈值”或低于“最小阈值”，则可以触发EMS上的SFC-VM负载表的更新。EMS可以考虑时间窗口或其他历史信息。基于内部策略（例如SFC优先级），EMS可以进一步采取动作来解决目前业务负载并相应地重新配置SFC-VM。

VM的数量和部署在它们上的SF链的类型可以基于例如VM利用率报告来动态地调整。

也可以从考虑针对某个SFC的需求中获得重新配置一个或多个VM的需要。这种需求可以从相应负载平衡器上的负载导出。通过将需求除以被配置为运行相应SFC的VM的数量，可以估计由该特定SFC所导致的每个VM上的负载。

控制实体（例如，EMS和/或VNF管理器）也可以得知典型的业务简档，并通过根据预期的业务特性向VM分配部署的SF链来主动地作出反应。例如，如果在夜晚期间存在针对视频优化SF链的更高需求，则EMS在更高数量的已经存在的VM上重新配置该特定SF链。

不管SFC在链VNF上实例化的方式如何（即如上文所述那样静态地或动态地），存在基于控制实体（例如EMS）中包含的图形模板和SF描述符/模板中以及用于编排器的描述符中存储的信息的、SFC的初始部署的资源优化和高效规划的潜在性。除了图形模板（提供关于SF之间的所需连接的信息）之外，SFC描述可以在处理针对特定链的资源短缺的情况下提供关于业务简档（例如，针对该链的具有峰值负载的一天中时间等）或扩缩策略和优先级的信息。此外，基于DC中的用户的数量，可以估计链的单独SF的业务简档和系统要求、用于每个单独SFC的预期业务负载。存储在链模板中的全部这样的附加信息都可以用作在SFC实例化期间的资源规划的有价值的输入。

图7示出了VNF链VM重新配置的结果。在左侧，在重新配置之前，4个VM 301a至301d运行SFC1，并且2个VM 301e和301f运行SFC2。注意，这些VM中的每个对应于图4的VM，其中在其上安装相同的SW映像。在重新配置之后，如右侧所示，2个VM 301a和301b运行SFC1，并且4个VM 301c至301f运行SFC2。因此，以减少的用于SFC1的容量为代价增加了用于SFC2的容量，但不会增加针对服务链接而配置的VM的数量。

根据本发明的一些实施例，除了“内部控制环”之外，仍然可以执行“外部控制环”：

通过移除VM，如果“SFC-VM”的整体负载水平低于特定阈值的话。这是经由VNF管理器与编排器（移除资源）和EMS（通知EMS关于减少的VM数量）的互相配合来完成的。

通过增加新的VM。EMS可以部署针对其存在更高需求的SF链。由于上述的重新配置，全部链VM在一定程度上被均等地加载并且负载已经达到特定阈值。这是经由VNF管理器的标准扩容操作以及与编排器（分配资源）和EMS（通知相关用于SF链接的新VM）的互相配合来完成的。

“外部环”负责更高水平上的资源分配（部署可以在所需SFC之间不同分布的VM的总数），而细粒度资源分配和调整在“内部环”（重复使用现有资源）中完成，其中目的是避免“外部环”的不必要的触发。然而，为了优化资源利用率，“内部控制环”和“外部控制环”的操作可以紧密相关。换句话说，一旦满足一些预定义的条件，内部环可以触发外部环。

作为这样的条件的示例，人们可以考虑以下场景。一旦EMS检测到X数量的SFC-VM达到“最小阈值”并且Y数量的SFC-VM达到“最大阈值”，其中X比Y低得多并且该条件在多于Z时间内保持有效，则外部环应触发增加新的VM。如果满足X比Y高得多的条件，则“外部环”应触发VM的移除。

“外部环”被激活的条件可以取决于可用的总体资源、定义的策略、以及编排动作的期望水平。例如，如果VM的释放并不重要，那么只有在非常多数量的VM是空闲的情况下，才可以指令EMS触发缩小外部环。此外，如果需要最小化来自编排器的动作，则只有在达到某个非常关键的阈值的情况下才将触发扩容，否则“内部环”将尝试尽可能多地重复使用资源。

EMS和VNF管理器还可以得知典型的业务简档，并通过根据预期的业务特性向VM分配部署的SF链来主动地作出反应。例如，如果在夜晚期间存在针对视频优化SF链的更高需求，则EMS在更高数量的已经存在的VM上重新配置该特定SF链。

作为另一个选项，外部环（例如编排器）可以观察内部环重新配置VM的频率。如果重新配置频率相对较高，则其可以假设系统不稳定，因为在内部环中VM容量是缺少的。在这种情况下，根据本发明的一些实施例，外部环可以增加用于服务链接的容量。例如，外部环可以增加用于服务链接的一个或多个VM或增加分配给服务链接的一个或多个VM的容量。

为了监视重新配置频率，外部环可以监视VM或者其可以监视由内部环的控制实体发出的重新配置命令。

作为这样的过程的结果，取决于负载要求，可以实例化用于不同SF链的不同数量的VM。可以基于SFC-VM利用率报告来动态地调整VM的数量和部署在它们上的SF链的类型。

图8示出了根据本发明的实施例的装置。该装置可以是诸如EMS或VNF管理器之类的控制装置或其元件。图9示出了根据本发明的实施例的方法。根据图8的装置可以执行图9的方法，但不限于该方法。图9的方法可以由图8的装置执行，但不限于由该装置执行。

该装置包括需求检测部件10和重新配置部件20。需求检测部件10和重新配置部件20可以分别是需求检测电路和重新配置电路。

需求检测部件10检测针对服务功能链的需求是否超过一个或多个虚拟机的容量（S10）。容量可以是用于服务功能链的容量或虚拟机的总容量。一个或多个虚拟机中的每个属于一组虚拟机，其中该组的每个虚拟机被分配为被配置为运行服务功能链的相应实例以及构成服务功能链的全部服务功能的相应实例；即该组的VM是SFC-VM。

如果需求超过容量（S10=“是”），则重新配置部件20重新配置该组的附加虚拟机以运行服务功能链的相应实例（S20）。另外，由于每个SFC-VM被配置为运行SFC的全部SF，所以它重新配置VM以运行构成服务功能链的全部服务功能的相应实例（S20）。附加虚拟机与在重新配置之前被配置为运行SFC的实例的一个或多个虚拟机中的每个不同。

图10示出了根据本发明的实施例的装置。该装置可以是诸如EMS或VNF管理器之类的控制装置或其元件。图11示出了根据本发明的实施例的方法。根据图10的装置可以执行图11的方法，但不限于该方法。图11的方法可以由图10的装置执行，但不限于由该装置执行。

该装置包括调用频率检测部件110和重新配置部件120。调用频率检测部件110和重新配置部件120可以分别是调用频率检测电路和重新配置电路。

调用频率检测部件110检测调用虚拟机中的服务功能链的实例的调用频率是否低于下限调用频率阈值（S110）。虚拟机是SFC-VM，即虚拟机被配置为运行服务功能链的实例以及构成服务功能链的全部服务功能的相应实例。

如果调用频率低于下限调用频率阈值（S110=“是”），则重新配置部件120重新配置虚拟机，使得其不再被配置为运行服务功能链的实例（S120）。

图12示出了根据本发明的实施例的装置。该装置可以是诸如EMS或VNF管理器之类的控制装置或其元件。图13示出了根据本发明的实施例的方法。根据图12的装置可以执行图13的方法，但不限于该方法。图13的方法可以由图12的装置执行，但不限于由该装置执行。

该装置包括负载检测部件210和重新配置部件220。负载检测部件210和重新配置部件220可以分别是负载检测电路和重新配置电路。

负载检测部件检测虚拟机中的负载是否低于下限负载阈值（S210）。虚拟机是SFC-VM，即虚拟机被配置为运行服务功能链的实例以及构成服务功能链的全部服务功能的相应实例。在一些实施例中，VM可以被配置为一次只运行一个SFC。

如果负载低于下限负载阈值（S210=“是”），则重新配置部件220重新配置虚拟机，使得其不再被配置为运行服务功能链的实例（S220）。

图14示出了根据本发明的实施例的装置。该装置可以是诸如编排器的外部环的控制装置或其元件。图15示出了根据本发明的实施例的方法。根据图14的装置可以执行图15的方法，但不限于该方法。图15的方法可以由图14的装置执行，但不限于由该装置执行。

该装置包括重新配置监视部件310和增加部件320。重新配置监视部件310和增加部件320可以分别是重新配置监视电路和增加电路。

重新配置监视部件310监视一个或多个虚拟机是否被指令成以比上限重新配置频率阈值高的重新配置频率进行重新配置（S310）。本文，重新配置意味着配置的改变以运行一组服务链。即，重新配置包括运行在接收到重新配置指令时其尚未运行的第一服务功能链的实例的配置、以及不运行在接收到重新配置指令时其已经在运行的第二服务功能链的实例的配置中的至少一个。一个或多个虚拟机中的每个属于一组虚拟机，其中该组的每个虚拟机被分配为被配置为运行组服务功能链的相应实例以及构成相应服务功能链的全部服务功能的相应实例。每组服务链由组服务功能链中的一个或多个构成。

如果重新配置频率高于上限重新配置阈值，则增加部件320向该组增加虚拟机容量（例如，通过向该组增加一个或多个VM和/或通过增加该组的一个或多个VM的容量）（S320）。

图16示出了根据本发明的实施例的装置。该装置包括至少一个处理器610、包括计算机程序代码的至少一个存储器620，并且至少一个处理器610利用至少一个存储器620和计算机程序代码被布置为使得该装置至少执行根据图9、11、13和15以及相关描述的方法中的至少一个。

本发明的一些实施例可以在3GPP网络中采用。它们也可以在其他3GPP和非3GPP移动和固定网络中采用，诸如CDMA、EDGE、LTE、LTE-A、UTRAN、WiFi、WLAN网络、PSTN等。也就是说，可以采用本发明的实施例，而不管接入技术如何。

一条信息可以在一个或多个消息中从一个实体发送到另一个实体。这些消息中的每个可以包括更多（不同）条的信息。

网络元件、协议和方法的名称基于目前的标准。在其他版本或其他技术中，这些网络元件和/或协议和/或方法的名称可以是不同的，只要它们提供对应的功能即可。

如果未另外声明或者以其他方式从上下文中变得明确，则两个实体不同的陈述意味着它们执行不同的功能。这并不一定意味着它们基于不同的硬件。也就是说，本描述中所描述的每个实体可以基于不同的硬件，或者一些或全部实体可以基于相同的硬件。这并不一定意味着它们基于不同的软件。也就是说，本描述中所描述的每个实体可以基于不同的软件，或者一些或全部实体可以基于相同的软件。

根据以上描述，因此应显而易见的是，本发明的示例实施例提供了例如诸如EMS或VNF管理器的控制装置或其组件、体现其的装置、用于控制和/或操作其的方法、以及控制和/或操作其的（多个）计算机程序以及携带这样的（多个）计算机程序并形成（多个）计算机程序产品的介质。

作为非限制性示例，上述块、装置、系统、技术、部件、设备或方法中的任何一个的实现包括作为硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备、虚拟机或其某种组合的实现。

应理解的是，上面描述的内容是目前被认为是本发明的优选实施例的内容。然而，应注意的是，优选实施例的描述仅以示例的方式给出，并且可以在不脱离如由所附权利要求限定的本发明的范围的情况下做出各种修改。

对于本领域技术人员而言将显而易见的是，随着技术进步，本发明构思可以以各种方式实现。本发明及其实施例不限于上述示例，而是可以在权利要求的范围内变化。

缩略语

3GPP 第三代合作伙伴计划

5G 第5代

API 应用程序接口

BSS 业务支持系统

CPU 中央处理单元

Ctrl 控制

DC 数据中心

DL 下行链路

DPDK 英特尔数据平面开发套件

EDGE 用于GSM演进的增强数据速率

EMS 元件管理系统

EPC 演进分组核心

ETSI 欧洲电信标准协会

GPRS 通用分组无线业务

GSM 全球移动通信系统

ID 标识符

IETF 互联网工程任务组

IP 网际协议

IT 信息技术

LB 负载平衡器

LTE 长期演进

LTE-A LTE高级

NAT 网络地址转换

NFV 网络功能虚拟化

NFVI NFV基础结构

NORMA NOvel无线电多业务自适应网络架构

OS 操作系统

OSS 操作支持系统

PCRF 策略和计费规则功能

PSTN 公共交换电话网络

Rel 版本

SDN 软件定义联网

SF 服务功能

SFC 服务功能链接

SFF 服务转发器功能

SR-IOV 单根I/O虚拟化

SW 软件

TCO 总拥有成本

TCP 传输控制协议

TS 技术规范

UE 用户设备、移动设备

UL 上行链路

UMTS 通用移动电信系统

URL 统一资源定位符

VIM 虚拟基础结构管理器

VM 虚拟机

VNF 虚拟化网络功能

vNIC 虚拟网络接口卡

IP 通过IP的语音

WiFi 无线保真

WLAN 无线局域网。

Claims

1.一种用于自适应服务功能链配置的方法，其中：

在给定的硬件上执行大量的虚拟机，并且虚拟机的单个实例正在执行完整的服务功能链，所述服务功能链包括大量的服务功能，所述方法包括以下步骤：

- 连续地测量正在执行特定服务功能链的每个虚拟机的处理负载，并且

- 在某个虚拟机的处理负载超过预定义的负载水平的情况下，能够执行特定服务功能链的附加虚拟机将被激活以执行特定服务功能链，而

- 在某个虚拟机的处理负载低于预定义的负载水平的情况下，将所述虚拟机的特定服务功能链的工作负载转移到能够执行服务功能链的另一个虚拟机，并且因此所述虚拟机的特定服务功能链被去激活。

2.根据权利要求1所述的方法，其中服务功能链执行已经被去激活的虚拟机将用于执行超过预定义的负载水平的这样的虚拟机的服务功能。

3.根据权利要求1或2所述的方法，其中用于执行任意服务链功能的必要软件组件被加载到全部虚拟机中。

4.根据权利要求3所述的方法，其中服务功能链资源管理器关心虚拟机中的服务功能链的激活或去激活。

5.根据权利要求4所述的方法，其中将软件组件的子集加载到虚拟机中，并且所加载的软件组件的子集足以执行一个或若干个服务链功能。

6.根据任何前述权利要求所述的方法，其中根据服务功能链描述符来配置虚拟机的任何实例的服务功能链。

7.根据任何前述权利要求所述的方法，其中执行服务功能链的虚拟机自身包括用于测量处理负载的部件或者底层基础结构（HW或操作系统）测量处理负载，并且该信息被定期地传送到基础结构管理器和服务功能链资源管理器。

8.根据权利要求7所述的方法，其中处理负载由比如处理器负载、存储器空间、空闲存储器的相关参数和适于负载测量的其他参数或负载测量参数的任何组合来定义。

9.一种装置，被配置为

- 在给定硬件上运行作为服务链的大量的虚拟机，

- 其中虚拟机的单个实例正在执行完整的服务功能链，所述服务功能链包括大量的服务功能，

- 并且连续地测量正在执行特定服务功能链的每个虚拟机的处理负载，

10.根据权利要求9所述的装置，还以在虚拟机的前一个活动服务链执行已经被去激活的情况下所述虚拟机能够接管已经超过预定义的负载水平的另一个虚拟机的服务功能链执行的这样的方式进行配置。

11.根据权利要求10所述的装置，还被配置为将用于任意服务链功能的必需软件组件加载到全部虚拟机中并执行它们。

12.根据权利要求11所述的装置，还被配置为另外运行能够激活或去激活虚拟机中的服务功能链的服务功能链资源管理器软件。

13.根据权利要求10-12所述的装置，还被配置为将软件组件的子集加载到虚拟机中，并且其中所加载的软件组件的子集被配置为执行若干个服务链功能。

14.根据权利要求9-13所述的装置，其中作为服务功能链执行的虚拟机包括附加的软件组件，其使得服务功能链自身能够测量处理负载或定期地收集来自底层HW或操作系统的该信息。

15.一种体现在非暂时性计算机可读介质上的计算机程序，所述计算机程序包括：

- 用于在给定硬件上运行作为服务链的大量的虚拟机的代码，

- 用于执行实现完整服务功能链的虚拟机的实例的代码，所述服务功能链包括大量的服务功能，

- 用于连续地测量正在执行特定服务功能链的每个虚拟机的处理负载的代码，

- 控制在某个虚拟机的处理负载超过预定义的负载水平的情况下能够执行特定服务功能链的附加虚拟机将被激活以用于执行特定服务功能链的代码，以及

- 控制在某个虚拟机的处理负载低于预定义的负载水平的情况下将所述虚拟机的特定服务功能链的工作负载转移到能够执行服务功能链的另一个虚拟机并且因此所述虚拟机的特定服务功能链被去激活的代码。