CN112075056A - 用于测试网络服务的方法 - Google Patents

Abstract

本文档公开了一种用于测试在网络中提供的网络服务的实施方式的解决方案。根据一个方面，一种方法包括：通过在隔离的分级环境中操作的测试系统，获取网络服务的多个候选网络功能，其中网络服务由网络服务所需的网络功能和网络功能之间的链路来定义，其中多个候选网络功能包括针对网络服务所需的每个网络功能的至少一个候选网络功能，并且包括针对网络服务所需的至少一个网络功能的多个候选网络功能；通过测试系统，测试候选网络功能之间的链路，并且确定针对每个被测链路的链路性能度量；通过测试系统，从具有针对接口的链路性能度量指示性能高于预定阈值的接口的候选网络功能，构建用于端到端性能估计的候选网络服务；通过测试系统，基于候选网络服务的链路性能度量来估计候选网络服务的端到端性能度量；以及通过测试系统，基于所估计的端到端性能度量来将候选网络服务输出到生产环境。

Description

用于测试网络服务的方法

技术领域

本文描述的各种实施例涉及测试网络服务。

背景技术

在过去的几年期间，虚拟化技术发生了许多创新，这些技术允许基本上通过各种服务组件从全球任何地方提供服务。在不久的将来，可以设想网络运营方朝着上述最佳实践发展，因此，网络运营方将能够以更有效的方式提供多个网络服务。通常会与供应商签订的严格协议将发生变化，允许服务提供商决定最适合其需求的组件或网络功能，而不管设计网络功能的公司或实例。

发明内容

本发明由独立权利要求的主题限定。在从属权利要求中限定了实施例。

根据一个方面，提供了一种测试系统，该测试系统包括：用于在隔离的分级环境中获取网络服务的多个候选网络功能的部件，其中网络服务由网络服务所需的网络功能和网络功能之间的链路定义，其中多个候选网络功能包括针对网络服务所需的每个网络功能的至少一个候选网络功能，并且包括针对网络服务所需的至少一个网络功能的多个候选网络功能；用于测试候选网络功能之间的链路并且确定针对每个被测链路的链路性能度量的部件；用于从具有针对接口的链路性能度量指示性能高于预定阈值的接口的候选网络功能、构建用于端到端性能估计的候选网络服务的部件，该候选网络功能；用于基于候选网络服务的链路性能度量来估计针对候选网络服务的端到端性能度量的部件；以及用于基于所估计的端到端性能度量来将候选网络服务输出到生产环境的部件。

在实施例中，该部件还被配置为执行候选网络功能之间的链路的所述测试，该测试至少包括针对网络服务的每个网络功能从包括多个候选网络功能的网络功能储存库中获取候选网络功能。

在实施例中，多个候选网络功能包括针对相同网络功能的不同版本。

在实施例中，该部件还被配置为进一步执行：基于所估计的端到端性能度量，选择用于端到端测试的候选网络服务；将一个或多个测试程序应用于测试候选网络服务的端到端性能，并且获取指示针对候选网络服务的被测端到端性能的至少一个测试结果；以及在估计针对候选网络服务或针对另一候选网络服务的端到端性能度量时，使用至少一个测试结果作为输入。

在实施例中，该部件还被配置为执行：如果至少一个测试结果指示端到端性能高于所确定的性能水平，则将候选网络服务输出到生产环境。

在实施例中，该部件还被配置为在执行所述估计时使用神经网络。

在实施例中，该部件还被配置为通过执行至少以下操作来提供新候选网络服务：确定当前在生产环境中的网络服务的实施方式，每个实施方式由共同实施网络服务的网络功能实施方式的集合形成；基于当前在生产环境中的网络服务的所确定的实施方式来选择用于测试的至少一个新候选网络功能；针对所选的新候选网络功能与当前在生产环境中的至少一种网络功能实施方式之间的链路，执行所述链路测试；以及从新候选网络功能和当前在生产环境中的网络功能实施方式，执行针对新候选网络服务的所述构建。

在实施例中，该部件还被配置为基于新候选网络功能能够提供的网络服务的多个新实施方式来选择至少一个新候选网络功能。

在实施例中，该部件还被配置为基于针对生产环境中的网络功能失败的情况，提高网络服务的弹性来选择至少一个新候选网络功能。

在实施例中，链路性能度量和端到端性能度量包括以下性能度量中的至少一项：服务质量、数据吞吐量、延时和误差性能。

在实施例中，该部件包括至少一个处理器以及包括计算机程序代码的至少一个存储器，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起测试系统的执行。

根据另一方面，提供了一种用于测试在网络中提供的网络服务的实施方式的方法，该方法包括：通过在隔离的分级环境中操作的测试系统，获取网络服务的多个候选网络功能，其中网络服务由网络服务所需的网络功能以及网络功能之间的链路定义，其中多个候选网络功能包括针对网络服务所需的每个网络功能的至少一个候选网络功能，并且包括针对网络服务所需的至少一个网络功能的多个候选网络功能；通过测试系统来测试候选网络功能之间的链路，并且确定针对每个被测链路的链路性能度量；通过测试系统，从具有针对接口的链路性能度量指示性能高于预定阈值的接口的候选网络功能，构建用于端到端性能估计的候选网络服务，该候选网络功能；通过测试系统，基于候选网络服务的链路性能度量来估计针对候选网络服务的端到端性能度量；以及通过测试系统，基于所估计的端到端性能度量来将候选网络服务输出到生产环境。

在实施例中，对候选网络功能之间的链路的所述测试包括针对网络服务的每个网络功能从包括多个候选网络功能的网络功能储存库中获取候选网络功能。

在实施例中，多个候选网络功能包括针对相同网络功能的不同版本。

在实施例中，该方法还包括：基于所估计的端到端性能度量，选择用于端到端测试的候选网络服务；将一个或多个测试程序应用于测试候选网络服务的端到端性能，并且获取指示针对候选网络服务的被测端到端性能的至少一个测试结果；以及在估计针对候选网络服务或针对另一候选网络服务的端到端性能度量时，使用至少一个测试结果作为输入。

在实施例中，如果至少一个测试结果指示端到端性能高于所确定的性能水平，则将候选网络服务输出到生产环境。

在实施例中，所述估计通过使用神经网络而被执行。

在实施例中，该方法还包括通过测试系统通过执行至少以下操作来提供新候选网络服务：确定当前在生产环境中的网络服务的实施方式，每个实施方式由共同实施网络服务的网络功能实施方式的集合形成；基于当前在生产环境中的网络服务的所确定的实施方式来选择用于测试的至少一个新候选网络功能；针对所选的新候选网络功能与当前在生产环境中的至少一种网络功能实施方式之间的链路，执行所述链路测试；以及从新候选网络功能和当前在生产环境中的网络功能实施方式，执行针对新候选网络服务的所述构建。

在实施例中，至少一个新候选网络功能是基于新候选网络功能能够提供的网络服务的多个新实施方式而被选择。

在实施例中，至少一个新候选网络功能是基于针对生产环境中的网络功能失败的情况来提高网络服务的弹性而被选择。

在实施例中，链路性能度量和端到端性能度量包括以下性能度量中的至少一项：服务质量、数据吞吐量、延时和误差性能。

根据再一方面，提供了一种计算机程序，包括指令，该指令用于使装置至少执行以下操作：在隔离的分级环境中获取网络服务的多个候选网络功能，其中网络服务由网络服务所需的网络功能和网络功能之间的链路来定义，其中多个候选网络功能包括针对网络服务所需的每个网络功能的至少一个候选网络功能，并且包括针对网络服务所需的至少一个网络功能的多个候选网络功能；测试候选网络功能之间的链路并且确定针对每个被测链路的链路性能度量；从具有针对接口的链路性能度量指示性能高于预定阈值的接口的候选网络功能，构建用于端到端性能估计的候选网络服务；基于候选网络服务的链路性能度量来估计针对候选网络服务的端到端性能度量；以及基于所估计的端到端性能度量来将候选网络服务输出到生产环境。

在实施例中，提供了一种包括上述计算机程序的计算机程序分发介质。在实施例中，计算机可读介质是非瞬态的。

附图说明

在下文中，将参照实施例和附图更详细地描述本发明，其中

图1图示了可以应用本发明的实施例的网络；

图2图示了根据本发明的一个方面的网络服务和网络功能；

图3图示了根据实施例的网络服务测试场景；

图4图示了根据本发明的实施例的用于执行网络服务的实施方式的测试的过程；

图5图示了根据本发明的实施例的用于估计候选网络服务实施方式的端到端性能的实施例；

图6图示了根据本发明的实施例的用于生成新网络服务实施方式的过程；

图7和8图示了用于在选择新候选网络功能时使用优先化的过程的实施例；以及

图9图示了根据本发明的实施例的装置的框图。

具体实施方式

以下实施例是示例性的。尽管说明书可以在文本的若干位置中引用“一”、“一个”或“一些”(多个)实施例，但是这并不一定意味着对(多个)相同的实施例进行每个引用或者特定特征仅适用于单个实施例。不同实施例的单个特征还可以组合以提供其他实施例。

所描述的实施例可以在诸如蜂窝通信系统等通信网络中实施，该通信网络可以是以下之一：全球移动通信系统(GSM)或任何其他第二代蜂窝通信系统、基于基本宽带码分多址(W-CDMA)的通用移动电信系统(UMTS、3G)、高速分组接入(HSPA)、长期演进(LTE)、高级LTE、基于IEEE 802.11规范的系统、基于IEEE 802.15规范的系统和/或第五代(5G)移动或蜂窝通信系统。

然而，实施例不限于作为示例给出的系统，但是本领域技术人员可以将解决方案应用于提供有必要属性的其他通信系统。如上面所列举的，合适的通信系统的一个示例是5G系统。通过使用所谓的小小区概念(包括与较小的局域接入节点协同操作的宏站点)，也许还采用了各种无线电技术以实现更好的覆盖范围和增强的数据速率，5G已经设想到使用多输入多输出(MIMO)多天线传输技术，比LTE的当前网络部署更多的基站或节点。5G可能包括多于一种无线电接入技术(RAT)，每种技术都针对某些用例和/或频谱进行了优化。5G系统还可以合并蜂窝(3GPP)和非蜂窝(例如，IEEE)技术。5G移动通信将具有更广泛的用例和相关应用，包括视频流、增强现实、不同的数据共享方式以及各种形式的机器类应用，包括车辆安全、不同的传感器和实时控制。5G预计将具有多个无线电接口，除了较早部署的低于6GHz的频率之外，还包括更高的cmWave和mmWave频率，并且还能够与诸如LTE等现有的传统无线电接入技术集成。至少在早期阶段，可以实施与LTE的集成，作为由LTE提供宏覆盖范围的系统，并且通过聚合到LTE，5G无线电接口接入来自小小区。换言之，5G计划支持RAT间可操作性(诸如，LTE-5G)和RI间可操作性(无线电接口间可操作性，诸如，在cmWave与mmWave之间的RI间可操作性)。被认为在5G网络中使用的概念之一是网络切片，其中，可以在同一基础设施内创建多个独立且专用的虚拟子网(网络实例)，以运行对延时、可靠性、吞吐量和移动性有不同要求的服务。

应该了解的是，未来的网络将最有可能使用网络功能虚拟化(NFV)，这是网络架构概念，其提出将网络节点功能虚拟化为可以可操作地连接或链接在一起以提供服务的“构建块”或实体。虚拟化网络功能(VNF)可以包括使用标准或通用类型的服务器而非定制硬件运行计算机程序代码的一个或多个虚拟机。还可以使用云计算或云数据存储。在无线电通信中，这可能意味着节点操作至少部分地在可操作地耦合至远程无线电头的服务器、主机或节点中执行。还可能的是，节点操作将分布在多个服务器、节点或主机之间。还应该理解的是，核心网络操作与基站操作之间的劳动力分配可以不同于LTE，甚或不存在。可能要使用的一些其他技术进步是软件定义网络(SDN)、大数据和全IP，这可能会改变网络的构建和管理方式。

图1的系统包括提供并管理相应小区的接入节点100、102。例如，小区可以是宏小区、微小区、毫微微小区或微微小区。从另一角度来看，小区可以定义接入节点的覆盖区域或服务区域。接入节点可以分别是LTE和LTE-A中的演进型节点B(eNB)、5G网络的接入节点、基于IEEE 802.11的网络(Wi-Fi或无线局域网WLAN)的接入点或能够控制无线电通信并管理小区内的无线电资源的任何其他装置。针对5G解决方案，实施方式可能类似于LTE-A，如上所述。接入节点可以等同地称为基站或网络节点。该系统可以是由接入节点的无线电接入网络组成的无线通信系统，每个接入节点控制一个或多个相应小区。接入节点可以为终端设备(UE)提供对其他网络(诸如，互联网)的无线接入。

接入节点可以经由接口连接至蜂窝通信系统的核心网络。LTE规范将核心网络指定为演进分组核心(EPC)，并且核心网络可以包括移动性管理实体(MME)130和网关(GW)节点132。在LTE系统中，GW可以是服务网关(S-GW)或分组数据网络网关(P-GW)。MME可以处理涵盖多个小区的追踪区域中的终端设备的移动性，并且还处理终端设备与核心网络之间的信令连接。MME可以进一步对终端设备执行认证和完整性保护。网关节点可以处理核心网络中以及往返于终端设备的数据路由。

接入节点的核心网络和无线电网络可以形成无线接入网络，从而为终端设备提供与其他网络的无线接入和数据传送能力。无线接入和数据传送可以被解释为网络服务(NS)。网络服务由多个网络功能(NF)提供，每个网络功能由通信网络的逻辑元件之一(即，接入节点、MME和网关)提供。元件之间的接口可以对应于网络服务的网络功能之间的链路。

图2图示了由互连的网络功能A、B、C和D的集合形成的网络服务的实施例。网络功能之间的实线表示网络服务中的网络功能之间的链路或接口。如背景所描述的，可能有对网络运营方可用的相同网络功能的许多实施方式。例如，这些实施方式可以表示相同网络功能的不同软件版本。不同实施方式中的至少一些可以由不同的独立供应商提供。网络服务中的网络功能的数量可能会受到限制，但是每个网络功能的不同实施方式的数目可能会非常高，远高于网络服务中的网络功能的数量。在图2中，相同网络功能的实施方式由被包围在每个网络功能周围的相同虚线圆内的小圆点图示。通过实线连接的网络功能以网络功能的形式定义了网络服务以及它们如何彼此接口连接。在图2中通过虚线连接的网络功能的实施方式图示了网络服务的一种实施方式。随着网络功能的实施方式的数目n增加，实施方式之间的可能链路的数量也随之增加。网络服务的可能实施方式的总数目为n^m，其中m是网络服务中的网络功能的数目。当实施方式的数目n远大于网络功能的数量m时，可能链路的总数大约为n²，这仍然会导致链路数量很高。当网络功能的实施方式是独立的并且网络运营方可以通过不同实施方式的合成来构建网络服务时，就提供可靠服务而言，测试实施方式之间的链路很重要。

参照图3，本发明的一些实施例提供了一种采用分级环境310的测试系统，其中在将网络服务实施方式应用于真实用户之前，测试系统测试网络功能的实施方式之间的链路，并且进一步测试候选网络服务。分级环境310可以是与网络的真实服务供应(生产环境320)相隔离的虚拟环境。其性能在分级环境310中已验证的经测试和选择的网络服务实施方式可以被引入生产环境320中以实现向诸如蜂窝通信系统的UE的客户端设备提供网络服务。

现在让我们描述在分级环境310中测试链接网络功能和网络服务的一般流程。测试系统可以从网络功能储存库300中获取用于测试的候选网络功能。候选网络功能可以被认为是分级环境310中的网络功能的实施方式。储存库300可以存储对于网络运营方可用的网络功能的所有实施方式。测试系统可以获取通过网络服务中的链路互连的多对候选网络功能(由312图示)。在附图中，A1、A2等表示网络功能A的不同实施方式，B1、B2等表示网络功能B的不同实施方式，依此类推。在获取通过网络服务中的链路互连的至少两个候选网络功能之后，测试系统可以开始测试候选网络功能之间的链路。测试可以包括将测试数据输入到候选网络功能之一，并且测量候选网络功能中的另一个的输出，和/或反之亦然。测试可以包括测试候选网络功能的协作的性能。可以关于服务质量(QoS)、延时、数据吞吐量、误差性能、链路安全性等来确定性能。作为链路测试的结果，测试系统可以确定针对链路的性能度量。被测链路314可以与性能度量相关联，例如，分数或适合值。

在测试足够数目的链路以使得候选网络服务316可以被构建之后，测试系统可以从被测的候选网络功能314的集合形成候选网络服务316，并估计候选网络服务316的端到端性能。如果性能对于测试系统是满意的，则可以将候选网络服务输出到生产环境320。

图4图示了由测试系统执行的上述程序的流程图。参照图4，该过程包括获取网络服务的多个候选网络功能(框400)。网络服务由网络服务所需的网络功能以及网络功能之间的链路定义。多个候选网络功能包括针对网络服务所需的每个网络功能的至少一个候选网络功能，并且包括针对网络服务所需的至少一个网络功能的多个候选网络功能。在框402中，候选网络功能之间的链路被测试，并确定针对每个被测链路的链路性能度量。

在框404中，测试系统确定它是否可以从被测链路的集合构建候选网络服务。框404可以包括将链路性能度量与所确定的性能阈值进行比较。在确定需要测试另外链路之后，该过程可以返回到框400。在确定存在具有经测试和验证的链路以满足性能阈值的候选网络功能时，测试系统可以构建用于端对端性能估计的候选网络服务(框406)。在框408中，测试系统基于候选网络服务的链路性能度量来估计针对候选网络服务的端到端(E2E)性能度量。在框410中，测试系统确定是否继续候选网络服务以用于E2E性能测试。例如，在估计针对候选网络服务集合的E2E性能时，测试系统可以针对真实的E2E测试选择一个或多个候选网络服务。在另一实施例中，测试系统可以在选择时使用另一标准，例如，针对每个候选网络服务确定所估计的E2E性能是否高于所确定的性能阈值。如果认为性能优于通过阈值水平相关联的性能，则测试系统可以选择用于E2E测试的候选网络服务。阈值可以是固定的或可调整的。例如，阈值水平可以是分级环境中的网络服务实施方式中最高的E2E性能。因此，在检测到所估计的E2E性能比生产环境中的最高E2E性能更好的候选网络服务时，选择候选网络服务以用于E2E测试。选择和E2E测试可以在框410中一起被执行，或者它们可以是逻辑上和物理上分离的操作。

在E2E测试中，通过虚拟地生成候选网络服务、在分级环境中执行候选网络服务并测试其性能(例如，通过应用真实输入并测量输出)来测试候选网络服务的性能。测试可以涉及最新的网络服务测试方法。测试可以包括负载测试、压力测试、一致性测试等。可以针对候选网络服务确定各种测试度量，诸如，利用具有各种业务负载的候选网络服务的特定可靠性或服务质量、吞吐量和/或延时和/或误差率等服务能够多少个用户。

从上文可以看出，与计算上简单的E2E性能估计相比，E2E测试可能需要大量计算资源的程序，该计算上简单的E2E性能估计可以采用将链路性能度量映射到所估计的E2E性能度量的算法。因此，通过在E2E测试之前执行候选网络服务的预筛选，针对将新的网络服务实施方式引入生产环境提供了有效的解决方案。

测试可以包括测试与在框408中所估计的相同的性能度量。在完成对所选候选网络服务的测试之后，在框412中确定候选网络服务的被测性能是否足够高以用于生产环境。在确定中可以使用一个或多个性能标准，并且该确定可以基于候选网络服务的真实测试。如果认为性能足够高，则将候选网络服务引入生产环境(框414)。如果认为性能低于所需水平，则过程可以返回到框404，以选择一个或多个新的候选网络功能并生成新的候选网络服务。在另一实施例中，在存在已经针对其执行了框408的(多个)可用候选网络服务的情况下，该过程可以返回到针对真实E2E测试的新候选网络服务的选择。

在两种情况下，该过程可以执行框416来作为框412的结果。在框416中，将在框410中测试的真实性能输入到E2E估计程序。这支持应用E2E估计，以更准确地估计E2E性能。E2E估计算法可以例如执行一个或多个调整，以减小在框408中估计的E2E性能与在框410中测试的真实E2E性能之间的误差。将神经网络算法描述为用于估计E2E性能的一个实施例，并且该调整可以包括作为输入被测的E2E性能的结果在神经网络中执行学习程序。

由于网络功能的实施方式的数目非常多，因此可以在分级环境中执行测试，同时网络运营方在生产环境中提供网络服务的一个或多个实施方式。供应网络服务的多个实施方式有利于准备在生产环境中的网络服务的实施方式遭受失败(例如，已实施的网络服务的一个或多个网络功能失败)的情况。在这种情况下，手头具有被测替换减少了网络服务的中断时间。网络运营方可以在可用的多种实施方式中执行用于提供网络服务的网络服务实施方式的选择。该选择可以基于在生产环境中可用的实施方式的被测性能。例如，可以选择提供最佳性能的实施方式，并且可以通过使用该实施方式来提供网络服务。

在实施例中，在并行过程中执行对分级环境中的不同链路的测试。此外，E2E性能估计和不同候选网络服务的真实测试可以作为并行过程被执行，例如，通过测试系统的不同处理器。

在实施例中，通过使用算法来估计候选网络服务的E2E性能，该算法使用链路性能度量作为输入。在实施例中，该算法采用神经网络。图5图示了神经网络算法的简化实施方式。该神经网络可以包括输入层500，该输入层500接收来自链路测试的输入(框402)。输入可以标识所测试的每个链路和关联的链路性能度量。

在实施例中，网络服务的拓扑被输入到神经网络。神经网络可以在E2E性能估计中采用拓扑。例如，神经网络可以标识网络服务的一个或多个瓶颈链路，并向这种链路对E2E性能的影响指派高于平均的权重。

输入层500然后可以将输入馈送到实施该神经网络的神经网络层502，该神经网络通过接收到的输入计算E2E性能。神经网络通常由神经元(图5中的圆圈)和连接神经元的突触(图5中的线)图示。根据神经网络的实施方式，可以为突触分配不同的权重。神经网络是随着操作而发展和学习的机器学习系统。神经网络处理的结果由输出层输出，并且该输出可以是所估计的候选网络服务的E2E性能(由506图示)。

在实施例中，输入层500可以接收针对候选网络服务的端到端性能度量作为又一输入，已经针对该候选网络服务执行了真实的E2E测试(由510图示)。已通过使用真实测试程序测试了该E2E性能度量，因此比神经网络的估计更准确地表示了候选网络服务的真实性能。神经网络可以使用来自真实测试的该反馈以重新配置神经网络，并改善对未来候选网络服务的E2E性能的估计。如上所述，学习可以涉及对神经网络执行一种或多种重新配置，其减少了候选网络服务的所估计的E2E性能和被测的E2E性能之间的误差。该重新配置可以在一般水平上重新配置神经网络，这意味着结合一个候选网络服务进行的学习可以应用于相同网络服务的其他候选网络服务。

在另一实施例中，神经网络可以由将候选网络功能的链路性能度量映射到E2E性能度量的另一算法来代替。在简单的实施例中，该算法可以执行链路性能度量的简单平均或加权平均。在另一简单的实施例中，该算法可以选择最低链路性能度量作为E2E性能度量。

现在让我们描述用于对新候选网络功能进行优先选择的一些实施例。测试系统可以通过考虑当前在生产环境中的网络服务实施方式来执行优先化。图6图示了用于生成新的候选网络服务的过程的实施例。参照图6，该过程可以包括确定当前在生产环境中的网络服务的实施方式(框600)。每个实施方式可以由共同实施网络服务的网络功能实施方式的集合形成。测试系统然后可以基于所确定的当前在生产环境中的网络服务的实施方式来选择用于测试的至少一个新候选网络功能(框600)。可以从储存库300中取回候选网络功能。在框402中，测试系统对所选的新候选网络功能与当前在生产环境中的至少一个网络功能实施方式之间的链路执行链路测试。可以以上述方式执行框404。在框602中，测试系统从新候选网络功能和当前在生产环境中的网络功能实施方式，来构建新候选网络服务。在一些实施例中，该阶段的新候选网络功能的数目可以是一个或多个，并且当前在生产环境中的网络功能实施方式的数目可以是一个或多个。此后，可以在框408至416中以上述方式执行该程序。在一些实施例中，可以在框414之前执行框416。

图7和图8图示了在选择新的候选网络功能时的优先化的实施例。图7的实施例旨在使新的网络服务实施方式的数目最大化，而图8的实施例旨在优先化网络服务对失败的弹性。

参照图7，让我们描述优先级的实施例，该优先级旨在使新的网络服务实施方式的数目最大化，或者从另一角度来看，旨在以最小的努力来生成新的网络服务实施方式。在图7的实施例中，考虑到一定次数的链路测试，基于所选的(多个)候选网络功能提供添加新网络服务实施方式的更好能力的标准来选择一个或多个(多个)新候选网络功能以用于链路测试。在图7的过程中，测试系统可以首先通过多个所连接的网络功能以升序对网络功能A、B、C和D进行排序。例如，图2中的网络功能A具有一个所连接的网络功能B，C和D具有两个所连接的网络功能，并且B具有三个所连接的网络功能。实际上，这意味着通过将网络功能A的另一实施方式引入生产环境，只需单个链路测试即可添加新的网络服务实施方式。生产环境中的网络服务实施方式可以被理解为提供网络服务的网络功能实施方式的唯一组合。例如，当添加网络功能B的新实施方式时，首先需要测试朝着A、C和D的链路，这会导致比网络功能A的新实施方式更复杂的测试场景。因此，根据可以生成新网络服务实施方式的速度，来对网络功能排序优先化。

在框702中，选择经排序的网络功能中的第一个，并从储存库300中取回与所选的网络功能相关联的一个或多个候选网络功能。将(多个)候选网络功能添加到候选列表。此外，活动列表是在生产环境中通过网络功能实施方式轻松形成的。框704包括检查候选列表是否为空。如果候选列表为空，则该过程可以结束。否则，可以执行框706。在第一迭代中，可以跳过框704。在框706中，从候选列表中选择候选网络功能之一。在框706中或在框704的下一执行之前，可以从候选列表中去除所选的候选网络功能。在框708中，从活动列表中取回被连接到网络服务中的候选网络功能的一个或多个网络功能实施方式。网络服务中的网络功能之间的连接定义在框708中取回的网络功能实施方式。然后，可以以上述方式执行链路测试，并且该过程可以返回到框704。如果框402中的链路测试导致令人满意的链路性能度量，则可以执行框404以检查是否可以构建新的候选网络服务。

参照图8，现在让我们描述优先化过程，该过程旨在提高网络服务对失败的弹性。该优先级旨在最大化独立网络服务实施方式的数目，并根据该标准选择(多个)新的候选网络功能以进行测试。根据一个方面，优先化过程可以选择一个或多个新的候选网络功能，使得可以生成新的独立网络服务实施方式。

网络功能的弹性可以由需要在生产环境中失败的网络功能的多种网络功能实施方式来定义，使得可以不再提供网络服务。根据一个方面，网络功能的弹性等于生产环境中的网络功能的网络功能实施方式的数目。网络服务的弹性可以被理解为网络服务的网络功能的弹性的最小值。这意味着最弱的链路或网络功能定义了网络服务的弹性。

在框800中，测试系统在生产环境中找到独立的网络服务实施方式。框800还可以包括确定生产环境中的网络功能实施方式以及已经经过测试和验证具有指定性能的链路。然后，测试系统可以在框802中确定是否可以通过当前在生产环境中的网络功能实施方式来构建新的独立网络服务实施方式。例如，在网络运营方通过使用网络功能的不同组合提供不同的网络服务的情况下，这可能是可以的。在这种情况下，某些网络功能实施方式可能很容易成为一个或多个网络服务实施方式的一部分，但仍为另一网络服务提供了新的独立网络服务实施方式。也可以设想其他场景。

如果可以通过在生产环境中使用现有的网络功能实施方式来生成新的独立网络服务，则该过程可以继续到框402，其中，测试形成新的独立网络服务实施方式的网络功能实施方式之间的必要链路。如果测试是肯定的，则可以将新的独立网络服务实施方式转发到框408以进行E2E性能测试。在图8中，从优先化的角度来看，将该过程图示为结束。

在框802中确定通过使用生产环境中的现有网络功能实施方式没有生成新的独立网络服务实施方式之后，该过程可以继续到框804，其中生成新的独立网络服务实施方式所需的新候选网络功能是从储存库300中获取的。此后，可以在框402中执行链路测试，并且该过程可以以上述方式继续E2E性能估计。

在实施例中，图7和8的过程可以组合以实现优先化程序，其中，最小化工作量和弹性都被考虑到了。在实施例中，框804在选择新的候选网络功能时采用图7的优先化程序。在另一实施例中，候选网络功能选择采用两个标准，例如，选择能够利用最少数目的链路测试提高网络服务的弹性的候选网络功能。在实施例中，如果某个网络功能具有较高的经历失败的可能性，则优先化程序可以优先为这种网络功能提供新的网络功能实施方式。

图9图示了根据本发明的实施例的测试系统的框图。测试系统可以包括在图1的通信系统中或者通信系统外的一个或多个服务器计算机中。测试系统可以采用一个或多个物理或虚拟服务器以执行本文描述的实施例。相应地，测试系统可以由单个处理系统或分布式处理系统提供。例如，测试系统可以通过这种计算机中的一个或多个电路系统或者一个或多个芯片组实现。测试系统可以包括一个或多个电子设备，其包括电子电路系统。

参照图9，测试系统可以包括处理电路系统50(诸如，至少一个处理器)以及包括计算机程序代码(软件)62的至少一个存储器60，其中至少一个存储器和计算机程序代码(软件)被配置为与至少一个处理器一起使测试系统执行上述的任一实施例。如上所述，计算机程序代码可以定义用于链路测试的(多个)候选网络功能的选择、链路测试本身和/或E2E性能测试程序。

可以使用任何合适的数据存储技术来实现存储器60，诸如，基于半导体的存储器设备、闪速存储器、磁性存储器设备和系统、光学存储器设备和系统、固定存储器和可移动存储器。例如，存储器可以包括用于存储神经网络层502的当前配置的配置数据库64。

该装置可以进一步包括通信接口(I/O)66，该通信接口包括用于根据一个或多个通信协议来实现通信连接的硬件和/或软件。通信接口66可以向装置提供通信能力以在通信系统中进行通信。通信接口66可以例如向网络服务协调器设备提供接口，以协调网络中的网络服务的提供。通信接口66可以进一步向储存库300提供接口，以存储网络运营方可用的网络功能的不同实施方式。储存库可以被包括在通信网络中或通信网络外。

处理电路系统50可以实现分级环境310，并且包括被配置为执行框400、600、702和804中的一个或多个的候选网络功能(NF)选择电路系统52。在执行(多个)候选网络功能的选择时，候选网络功能选择电路系统可以将(多个)候选网络功能输出到链路测试电路系统54，该链路测试电路系统54被配置为执行框402，并且可选地，执行框404。链路测试电路系统54可以被配置为输出被测的候选网络功能，以向E2E性能估计电路系统56提供可接受的链路性能，该E2E性能估计电路系统56被配置为执行框406至412，并且在一些实施例中，执行框602和404。在确定候选网络服务实施方式的E2E性能可接受时，处理电路系统50可以通过接口66将候选网络服务实施方式的规范输出到生产环境320。

如在本申请中所使用的，术语‘电路系统’指代以下中的所有：(a)仅硬件电路实施方式，诸如，仅模拟和/或数字电路系统中的实施方式，以及(b)电路和软件(和/或固件)的组合，诸如(如果适用的话)：(i)(多个)处理器的组合，或者(ii)(多个)处理器/软件的一部分，包括一起工作以使装置执行各种功能的(多个)数字信号处理器、软件和(多个)存储器，以及(c)即使软件或固件不是物理存在的也需要软件或固件进行操作的电路，诸如，(多个)微处理器或(多个)微处理器的一部分。‘电路系统’的这种定义适用于本申请中该术语的所有使用。作为又一示例，如在本申请中所使用的，术语‘电路系统’也将覆盖仅处理器(或多个处理器)或处理器的一部分及其(或它们的)伴随的软件和/或固件的实施方式。

本文描述的技术和方法可以由各种部件来时先。例如，这些技术可以被实现在硬件(一个或多个设备)、固件(一个或多个设备)、软件(一个或多个模块)或其组合中。针对硬件实施方式，实施例的(多个)装置可以被实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、处理器、控制器、微控制器、微处理器、被设计为执行本文描述的功能的其他电子单元或其组合内。针对固件或软件，实施方式可以通过执行本文描述的功能的至少一个芯片集的模块(例如，程序、功能等)来执行。软件代码可以存储在存储器单元中并且由处理器执行。存储器单元可以被实现在处理器内或者处理器外。在后一种情况下，它可以经由本领域中已知的各种部件通信地耦合至处理器。附加地，本文描述的系统的组件可以由附加组件重新布置和/或设想，以便促进相对于其描述的各种方面的实现等，并且它们不限于在给定附图中陈述的精确配置，如本领域技术人员将了解的。

所描述的实施例还可以以由计算机程序或其部分定义的计算机过程的形式执行。结合图3至图8描述的方法的实施例可以通过执行包括对应指令的计算机程序的至少一个部分来执行。计算机程序可以是源代码形式、目标代码形式或者某种中间形式，并且它可以存储在某种载体(可以是能够携带程序的任何实体或设备)中。例如，计算机程序可以存储在可由计算机或处理器读取的计算机程序分发介质上。例如，计算机程序介质可以是例如但不限于记录介质、计算机存储器、只读存储器、电载波信号、电信信号和软件分发包。计算机程序介质可以是非瞬态介质。用于执行所示和所描述的实施例的软件的编码完全在本领域的普通技术人员的范围内。

即使上面已经根据附图参照示例描述了本发明，但是显而易见的是，本发明并不限于此，而是可以在所附权利要求的范围内以多种方式进行修改。因此，应该广泛地解释所有词语和表达，并且它们旨在说明而非限制实施例。对于本领域技术人员将显而易见的是，当技术进步时，本发明概念可以以各种方式实施。进一步地，对于本领域技术人员来说显而易见的是，所描述的实施例可以但不要求以各种方式与其他实施例组合。

Claims (24)

1.一种测试系统，包括用于执行以下的部件：

在隔离的分级环境中获取网络服务的多个候选网络功能，其中所述网络服务由所述网络服务所需的网络功能和所述网络功能之间的链路定义，其中所述多个候选网络功能包括针对所述网络服务所需的每个网络功能的至少一个候选网络功能，并且包括针对所述网络服务所需的至少一个网络功能的多个候选网络功能；

测试所述候选网络功能之间的链路，并且确定针对每个被测链路的链路性能度量；

根据具有针对其所述链路性能度量指示性能高于确定阈值的接口的候选网络功能，构建针对端到端性能估计的候选网络服务；

基于所述候选网络服务的所述链路性能度量来估计针对所述候选网络服务的端到端性能度量；以及

基于所估计的所述端到端性能度量来将所述候选网络服务输出到生产环境。

2.根据权利要求1所述的测试系统，其中所述部件还被配置为执行所述候选网络功能之间的所述链路的所述测试，所述测试至少包括针对所述网络服务的每个网络功能，从包括针对所述网络服务的每个网络功能的多个候选网络功能的网络功能储存库中获取所述候选网络功能。

3.根据权利要求2所述的测试系统，其中所述多个候选网络功能包括针对所述相同网络功能的不同版本。

4.根据任何前述权利要求所述的测试系统，其中所述部件还被配置为还执行：

基于所估计的所述端到端性能度量来选择用于端到端测试的所述候选网络服务；

将一个或多个测试过程应用于测试所述候选网络服务的所述端到端性能，并且获取至少一个测试结果，所述至少一个测试结果指示针对所述候选网络服务的被测端到端性能；以及

在估计针对所述候选网络服务或针对另一候选网络服务的所述端到端性能度量时，使用所述至少一个测试结果作为输入。

5.根据权利要求4所述的测试系统，其中所述部件还被配置为执行：如果所述至少一个测试结果指示端到端性能高于确定的性能水平，则将所述候选网络服务输出到所述生产环境。

6.根据任何前述权利要求所述的测试系统，其中所述部件还被配置为在执行所述估计时使用神经网络。

7.根据任何前述权利要求所述的测试系统，其中所述部件还被配置为通过至少执行以下来提供新的候选网络服务：

确定当前在所述生产环境中的所述网络服务的实现，每个实现由共同实现所述网络服务的网络功能实现集合形成；

基于当前在所述生产环境中的所述网络服务的所确定的所述实现来选择用于测试的至少一个新的候选网络功能；

针对所选的所述新的候选网络功能与当前在所述生产环境中的至少一个网络功能实现之间的链路，执行所述链路测试；以及

根据所述新的候选网络功能和当前在所述生产环境中的网络功能实现，针对所述新的候选网络服务执行所述构建。

8.根据权利要求7所述的测试系统，其中所述部件还被配置为基于所述新的候选网络功能能够提供的所述网络服务的多个新实现来选择所述至少一个新候选网络功能。

9.根据权利要求7所述的测试系统，其中所述部件还被配置为在所述生产环境中的网络功能失败的情况下，基于提高所述网络服务的弹性来选择所述至少一个新的候选网络功能。

10.根据任何前述权利要求所述的测试系统，其中所述链路性能度量和所述端到端性能度量包括以下性能度量中的至少一项：服务质量、数据吞吐量、延时和误差性能。

11.根据任何前述权利要求所述的测试系统，其中所述部件包括至少一个处理器和至少一个存储器，所述至少一个存储器包括计算机程序代码，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起引起所述测试系统的所述执行。

12.一种用于测试在网络中被提供的网络服务的实现的方法，所述方法包括：

由在隔离的分级环境中操作的测试系统，获取网络服务的多个候选网络功能，其中所述网络服务由所述网络服务所需的网络功能和所述网络功能之间的链路定义，其中所述多个候选网络功能包括针对所述网络服务所需的每个网络功能的至少一个候选网络功能，并且包括针对所述网络服务所需的至少一个网络功能的多个候选网络功能；

由所述测试系统测试所述候选网络功能之间的链路，并且确定针对每个被测链路的链路性能度量；

由所述测试系统，根据具有针对其所述链路性能度量指示性能高于确定阈值的接口的候选网络功能，构建用于端到端性能估计的候选网络服务；

由所述测试系统，基于所述候选网络服务的所述链路性能度量来估计针对所述候选网络服务的端到端性能度量；以及

由所述测试系统，基于所估计的所述端到端性能度量来将所述候选网络服务输出到生产环境。

13.根据权利要求12所述的方法，其中对所述候选网络功能之间的所述链路的所述测试包括针对所述网络服务的每个网络功能，从包括多个候选网络功能的网络功能储存库中获取所述候选网络功能。

14.根据权利要求13所述的方法，其中所述多个候选网络功能包括针对所述相同网络功能的不同版本。

15.根据任何前述权利要求12至14所述的方法，还包括：

基于所估计的所述端到端性能度量，选择用于端到端测试的所述候选网络服务；

将一个或多个测试过程应用于测试所述候选网络服务的所述端到端性能，并且获取至少一个测试结果，所述至少一个测试结果指示针对所述候选网络服务的被测端到端性能；以及

在估计针对所述候选网络服务或针对另一候选网络服务的所述端到端性能度量时，使用所述至少一个测试结果作为输入。

16.根据权利要求15所述的方法，其中如果所述至少一个测试结果指示端到端性能高于确定的性能水平，则所述候选网络服务被输出到所述生产环境。

17.根据任何前述权利要求12至16所述的方法，其中所述估计通过使用神经网络而被执行。

18.根据任何前述权利要求12至17所述的方法，还包括：由所述测试系统、通过执行至少以下来提供新的候选网络服务：

确定当前在所述生产环境中的所述网络服务的实现，每个实现由共同实现所述网络服务的网络功能实现集合形成；

基于当前在所述生产环境中的所述网络服务的所确定的所述实现来选择用于测试的至少一个新的候选网络功能；

针对所选的所述新的候选网络功能与当前在所述生产环境中的至少一个网络功能实现之间的链路，执行所述链路测试；以及

根据所述新的候选网络功能和当前在所述生产环境中的网络功能实现，执行针对所述新的候选网络服务的所述构建。

19.根据权利要求18所述的方法，其中所述至少一个新的候选网络功能基于所述新的候选网络功能能够提供的所述网络服务的多个新实现而被选择。

20.根据权利要求18所述的方法，其中在所述生产环境中的网络功能失败的情况下，所述至少一个新的候选网络功能基于针提高所述网络服务的弹性而被选择。

21.根据任何前述权利要求12至20所述的方法，其中所述链路性能度量和所述端到端性能度量包括以下性能度量中的至少一项：服务质量、数据吞吐量、延时和误差性能。

22.一种计算机程序，包括指令，所述指令用于使装置至少执行以下：

在隔离的分级环境中获取网络服务的多个候选网络功能，其中所述网络服务由所述网络服务所需的网络功能和所述网络功能之间的链路定义，其中所述多个候选网络功能包括针对所述网络服务所需的每个网络功能的至少一个候选网络功能，并且包括针对所述网络服务所需的至少一个网络功能的多个候选网络功能；

测试所述候选网络功能之间的链路，并且确定针对每个被测链路的链路性能度量；

根据具有针对其所述链路性能度量指示性能高于预定阈值的接口的候选网络功能，构建用于端到端性能估计的候选网络服务；

基于所述候选网络服务的所述链路性能度量来估计针对所述候选网络服务的端到端性能度量；以及

基于所估计的所述端到端性能度量来将所述候选网络服务输出到生产环境。

23.一种计算机可读介质，包括根据权利要求22所述的计算机程序。

24.一种非瞬态计算机可读介质，包括根据权利要求22所述的计算机程序。

Images