CN109873730A - 一种网络切片测试管理方法及相关产品 - Google Patents

Abstract

本申请实施例公开了一种网络切片测试管理方法，所述方法包括如下步骤：第一网络切片实体向第二网络切片实体发送启动测试网络切片实例NSI的第一测试请求消息，所述第一测试请求用于指示所述第二网络切片实体启动所述第二网络切片实体管理的管理对象支持所述NSI的测试，所述第一测试请求消息包括：NSI的测试信息；第一网络切片实体接收第二网络切片实体发送的第一测试结果，所述第一测试结果包括：测试所述管理对象支持NSI 1的测试结果，所述第一网络切片实体依据所述第二网络切片实体的多个测试结果确定NSI 1的测试结果。本申请提供的技术方案具有实现网络切片测试的优点。

Description

一种网络切片测试管理方法及相关产品

技术领域

本申请涉及通信领域，尤其涉及一种网络切片测试管理方法及相关产品。

背景技术

网络切片(英文：Network slice)：指在物理或者虚拟的网络基础设施之上，根据不同的服务需求定制化的、不同的逻辑网络。网络切片可以是一个包括了终端、接入网、传输网、核心网和应用服务器的完整的端到端网络，能够提供完整的电信服务，具有一定网络能力；网络切片也可以是上述终端、接入网、传输网、核心网和应用服务器的任意组合。网络切片可能具有如下一个或多个特性：接入网可能切片，也可能不切片。接入网可能是多个网络切片共用的。不同的网络切片的特性和组成它们的网络功能可能是不一样。

现有的测试方法，对于一类网元采用统一的测试方法。当引入网络切片的概念后，不同类型的网络切片实例，即使它们使用了相同的网络功能，由于服务需求不同，所进行的测试也会不同，此外，不同网络切片实例之间，可能存在共享的网络功能或网络切片子网实例，现有的测试方法无法满足网络切片的测试。

申请内容

本申请实施例所要解决的技术问题在于，提供一种网络切片测试方法及相关产品，实现了对网络切片的测试的管理。

第一方面，提供一种网络切片测试管理方法，所述方法包括如下步骤：

第一网络切片实体向第二网络切片实体发送启动测试网络切片实例NSI的第一测试请求消息，所述第一测试请求用于指示所述第二网络切片实体启动所述第二网络切片实体管理的管理对象支持所述NSI的测试，所述第一测试请求消息包括：NSI的测试信息；

第一网络切片实体接收第二网络切片实体发送的第一测试结果，所述第一测试结果包括：测试所述管理对象支持NSI 1的测试结果，所述第一网络切片实体依据所述第二网络切片实体的多个测试结果确定NSI 1的测试结果，所述网络切片实例的测试结果包括：NSI 1的关键性能指标KPI。

在一种可选方案中，所述方法在第一网络切片实体向所述第二网络切片实体发送第一测试请求消息之前，还包括：

第一网络切片实体向第二网络切片实体发送启动测试请求，所述启动请求用于指示所述第二网络切片实体启动对第二网络切片实体管理的管理对象的测试，所述启动测试请求包括：测试管理对象的标识和需要测试的项目的指示信息；

第一网络切片实体接收第二网络切片实体发送的所述启动测试对应的第二测试结果，所述第二测试结果包括：测试管理对象的标识和所述需要测试的项目的完成指示。

在一种可选方案中，所述方法还包括：

第一网络切片实体向第三网络切片实体发送启动测试网络切片实例NSI2的第二测试请求消息，所述第二测试请求用于指示所述第三网络切片实体启动所述第三网络切片实体管理的管理对象支持所述NSI2的测试，所述第二测试请求消息包括：NSI 2的测试信息；

第一网络切片实体接收第二网络切片实体发送的第三测试结果，所述第三测试结果包括：测试所述管理对象支持NSI 2的测试结果，所述第一网络切片实体依据所述第二网络切片实体的多个测试结果确定NSI 2的测试结果，所述NSI2的测试结果包括：NSI2的关键性能指标KPI。

在一种可选方案中，所述方法还包括：

第一网络切片实体向第四网络切片实体发送启动测试NSI的第三测试请求，所述第三测试请求用于指示所述第四网络切片实体启动所述第四网络切片实体管理的管理对象支持所述NSI1以及NSI2的测试，所述第一测试请求消息包括：NSI1以及NSI 2的测试信息；

第一网络切片实体向所述第四网络切片实体发送启动测试修改请求，所述启动测试修改请求包括：修改需求；

所述第一网络切片实体接收所述第四网络切片实体在修改测试后发送的第四测试结果，所述第四测试结果包括：测试所述管理对象支持NSI 1以及NSI 2的测试结果和修改所述第四网络切片实体管理的网络切片子网实例NSSI 3是否对NSI 1以及NSI2产生负面影响；所述NSSI 3为所述NSI 1和所述NSI 2共享的部分；所述NSI 1为所述第二网络切片实体管理的NSSI所属的NSI，所述NSI2为所述第三网络切片实体管理的NSSI所属的NSI；

第一网络切片实体依据所述第四网络切片实体的多个测试结果确定NSI 1以及NSI 2的测试结果以及所述负面影响，所述NSI 1的测试结果包括：NSI 1的关键性能指标KPI，所述NSI 2的测试结果包括：NSI 2的关键性能指标KPI。

在一种可选方案中，所述测试管理对象的标识包括：第二网络切片实体的标识、第二网络切片实体的模板标识或网络功能标识中的一种或任意组合。

在一种可选方案中，所述需要测试的项目的指示信息包括：第一网络切片实体扩展、第一网络切片实体收缩、第一网络切片实体终结、第一网络切片实体激活、第一网络切片实体去激活、第一网络切片实体故障监测、第一网络切片实体告警上报、第一网络切片实体性能测量、第一网络切片实体阈值监控、第一网络切片实体计费、网络功能扩展、网络功能收缩、网络功能终结、网络功能激活、网络功能去激活、网络功能故障监测、网络功能告警上报、网络功能性能测量、网络功能阈值监控、网络功能计费中的一种或任意组合。

在一种可选方案中，所述方法在第一网络切片实体接收第二网络切片实体发送的第一测试结果之前，还包括：

所述第一网络切片实体向所述第二网络切片实体发送监视测试通知，所述监视测试通知用于指示第二网络切片实体在测试完成后发送所述第一测试结果。

在一种可选方案中，所述测试信息包括：用户地理位置分布，用户发送数据包大小、服务质量需求、发送频次、用户移动情况、漫游情况，激活比、对应DNN的信息、和待测试管理对象存在交互的其他对象的指示信息或测试的性能指标。

第二方面，提供一种网络切片测试管理装置，所述网络切片测试管理装置设置与第一网络切片实体内，所述装置包括：

收发单元，用于向第二网络切片实体发送启动测试网络切片实例NSI的第一测试请求消息，所述第一测试请求用于指示所述第二网络切片实体启动所述第二网络切片实体管理的管理对象支持所述NSI的测试，所述第一测试请求消息包括：NSI的测试信息；

所述收发单元，还用于接收第二网络切片实体发送的第一测试结果，所述第一测试结果包括：测试所述管理对象支持NSI 1的测试结果；

处理单元，用于依据所述第二网络切片实体的多个测试结果确定NSI 1的测试结果，所述网络切片实例的测试结果包括：NSI 1的关键性能指标KPI。

在一种可选方案中，所述收发单元，还用于向第二网络切片实体发送启动测试请求，所述启动请求用于指示所述第二网络切片实体启动对第二网络切片实体管理的管理对象的测试，所述启动测试请求包括：测试管理对象的标识和需要测试的项目的指示信息；

所述收发单元，还用于接收第二网络切片实体发送的所述启动测试对应的第二测试结果，所述第二测试结果包括：测试管理对象的标识和所述需要测试的项目的完成指示。

在一种可选方案中，所述收发单元，还用于向第三网络切片实体发送启动测试网络切片实例NSI2的第二测试请求消息，所述第二测试请求用于指示所述第三网络切片实体启动所述第三网络切片实体管理的管理对象支持所述NSI2的测试，所述第二测试请求消息包括：NSI2的测试信息；

所述收发单元，还用于接收第二网络切片实体发送的第三测试结果，所述第三测试结果包括：测试所述管理对象支持NSI 2的测试结果；

所述处理单元，还用于依据所述第二网络切片实体的多个测试结果确定NSI 2的测试结果，所述NSI2的测试结果包括：NSI2的关键性能指标KPI。

在一种可选方案中，所述收发单元，还用于向第四网络切片实体发送启动测试NSI的第三测试请求，所述第三测试请求用于指示所述第四网络切片实体启动所述第四网络切片实体管理的管理对象支持所述NSI1以及NSI2的测试，所述第一测试请求消息包括：NSI1以及NSI 2的测试信息；

所述收发单元，还用于向所述第四网络切片实体发送启动测试修改请求，所述启动测试修改请求包括：修改需求；

所述收发单元，还用于接收所述第四网络切片实体在修改测试后发送的第四测试结果，所述第四测试结果包括：测试所述管理对象支持NSI 1以及NSI 2的测试结果和修改所述第四网络切片实体管理的网络切片子网实例NSSI 3是否对NSI 1以及NSI2产生负面影响；所述NSSI 3为所述NSI 1和所述NSI 2共享的部分；所述NSI 1为所述第二网络切片实体管理的NSSI所属的NSI，所述NSI2为所述第三网络切片实体管理的NSSI所属的NSI；

所述处理单元，还用于依据所述第四网络切片实体的多个测试结果确定NSI 1以及NSI 2的测试结果以及所述负面影响，所述NSI 1的测试结果包括：NSI 1的关键性能指标KPI，所述NSI 2的测试结果包括：NSI 2的关键性能指标KPI。

在一种可选方案中，所述测试管理对象的标识包括：第二网络切片实体的标识、第二网络切片实体的模板标识或网络功能标识中的一种或任意组合。

在一种可选方案中，所述需要测试的项目的指示信息包括：第一网络切片实体扩展、第一网络切片实体收缩、第一网络切片实体终结、第一网络切片实体激活、第一网络切片实体去激活、第一网络切片实体故障监测、第一网络切片实体告警上报、第一网络切片实体性能测量、第一网络切片实体阈值监控、第一网络切片实体计费、网络功能扩展、网络功能收缩、网络功能终结、网络功能激活、网络功能去激活、网络功能故障监测、网络功能告警上报、网络功能性能测量、网络功能阈值监控、网络功能计费中的一种或任意组合。

在一种可选方案中，所述收发单元，还用于向所述第二网络切片实体发送监视测试通知，所述监视测试通知用于指示第二网络切片实体在测试完成后发送所述第一测试结果。

在一种可选方案中，所述测试信息包括：用户地理位置分布，用户发送数据包大小、服务质量需求、发送频次、用户移动情况、漫游情况，激活比、对应DNN的信息、和待测试管理对象存在交互的其他对象的指示信息或测试的性能指标。

第三方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的方法。

第四方面，提供一种网络设备，所述设备包括：处理器、存储器和收发器，所述处理器与所述存储器以及所述收发器连接，其中，该存储器内存储一个或多个程序，处理器用于调用该存储器内的一个或多个程序控制所述收发器实现第一方面提供的方法。

本申请实施例介绍了测试组成NSI的专属NSSI/NF的方法，以及没有共享NSSI/NF情况下的测试NSI。使得运营商能够在切片业务上线运行前发现可能的问题，保障业务顺畅运行。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是一种网络切片管理系统结构示意图；

图2是一种网络切片管理系统结构示意图；

图3是一种网络切片关系系统场景示意图；

图4是一种网络切片测试方法的流程示意图；

图5是另一种网络切片测试方法流程图；

图6A是另一种网络切片实例的场景示意图。

图6是一种网络切片测试管理装置的结构示意图。

图7是一种网络设备的结构示意图。

具体实施方式

下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图1，图1为一种网络切片管理系统结构示意图，如图1所示，该网络切片管理系统包括：通信业务管理功能(Communication Service Management Function，简称CSMF)实体，网络切片管理功能(Network Slice Management Function，简称NSMF)以及网络切片子网管理功能(Network Slice Subnet Management Function，简称NSSMF)。在实际应用中，上述NSSMF可以设置为多个。

CSMF可以负责将运营商和/或第三方客户的通信服务需求转化为对网络(切片)的需求，并通过和NSMF之间的接口向NSMF发送对网络切片的需求(如创建、终结、修改网络切片实例请求等)，从NSMF获取网络切片的管理数据(如性能、故障数据等)，生成运行于网络切片实例之上的通信业务的管理数据，接收运营商和/或第三方客户对网络切片管理数据和/或通信业务的管理数据的订阅需求等。

NSMF可以负责接收CSMF发送的网络切片需求，对网络切片实例的生命周期、性能、故障等进行管理(以下将生命周期、性能、故障管理简称管理)，编排网络切片实例的组成，分解网络切片实例的需求为各网络切片子网实例和/或网络功能的需求，向各NSSMF发送网络切片子网实例管理请求。

NSSMF可以负责接收NSMF发送的网络切片子网需求，对网络切片子网实例进行管理，编排子排网络切片实例的组成，分解网络切片子网实例的需求为各网络功能和/或嵌套网络切片子网实例的需求，可能向其他NSSMF发送嵌套网络切片子网实例管理请求。

网络切片实例(Network slice instance，简称NSI)：是一个真实运行的逻辑网络，能满足一定网络特性或服务需求。一个网络切片实例可能提供一种或多种服务。网络切片实例可以由网管系统创建，一个网管系统可能创建多个网络切片实例并同时对它们进行管理，包括在网络切片实例运行过程中的性能监视和故障管理等。当多个网络切片实例共存时，网络切片实例之间可能共享部分网络资源和网络功能。网络切片实例可能从网络切片模板创建，也可能不从网络切片模板创建。一个完整的网络切片实例是能够提供完整的端到端的网络服务的，而组成网络切片实例的可以是网络切片子网实例(Network SliceSubnet Instance,NSSI)和/或网络功能。网络功能可以包括物理网络功能和/或虚拟网络功能。以下统称物理网络功能和/或虚拟网络功能为网络功能。

网络切片子网实例(Network Slice SubnetInstance，简称NSSI)：网络切片子网实例可以不需要提供端到端的完整的网络服务，网络切片子网实例可以是网络切片实例中同一个设备商的网络功能组成集合，也可能是按域划分的网络功能的集合，例如核心网网络切片子网实例、接入网网络切片子网实例，或由部署位置等其他方式组成集合。网络切片子网实例可能被多个网络切片实例共享。提出网络切片子网实例，可以方便网管系统管理。一个网络切片实例可能由若干网络切片子网实例组成，每个网络切片子网实例由若干网络功能和/或若干网络切片子网实例组成；一个网络切片实例可能由若干网络切片子网实例和没有被划分为网络切片子网实例的网络功能组成；一个网络切片实例也可能仅由若干网络功能组成。

网络功能(Network function，简称NF)：是网络中的一种处理功能，定义了功能性的行为和接口，网络功能可以通过专用硬件实现，也可以通过在专用硬件上运行软件实现，也可以在通用的硬件平台上以虚拟功能的形式实现。因此，从实现的角度，可以将网络功能分为物理网络功能和虚拟网络功能。而从使用的角度，网络功能可以分为专属网络功能和共享网络功能，具体地，对于多个(子)网络切片实例而言，可以独立地使用不同的网络功能，这种网络功能称为专属网络功能，也可以共享同一个网络功能，这种网络功能称为共享网络功能。

参阅图2，图2为本申请提供的一种网络切片管理系统结构示意图，如图2所示，该系统包括：CSMF实体、NSMF实体和NSSMF实体。接口1：CSMF和NSMF之间的接口，用于CSMF向NSMF发送网络切片管理指令和指令执行条件参数，用于NSMF向CSMF反馈管理指令执行结果，用于NSMF向CSMF上报管理数据。接口2：NSMF和NSSMF之间的接口，用于NSMF向NSSMF发送网络切片子网和/或网络功能管理指令和指令执行条件参数，用于NSSMF向NSMF反馈管理指令执行结果，用于NSSMF向NSMF上报管理数据。在实际应用中，上述NSSMF可以为多个实体，多个NSSMF实体可以通过接口2与NSMF实体连接，当然在组网时，多个NSSMF实体还可以通过其他与NSMF实体连接的设备与NSMF实体连接。

参阅图4，图4提供了一种网络切片测试方法，该方法如图4所示，如图4所示的方法在如图3所示的网络切片场景下实现，具体的，待测试NSI可以包括：NSSI 1和NSSI2，其中，待测试NSI可以由NSMF管理，NSSI 1可以由NSSMF 1管理，NSSI 2可以由NSSMF2管理，该方法包括如下步骤：

步骤400(可选的)：NSMF向NSSMF 1以及NSSMF2发送NSSI 1、NSSMF2状态查询请求，该请求中携带NSSI 1、NSSI2的身份标识；

步骤S401(可选的)、NSMF接收NSSMF 1、NSSMF2返回的状态查询反馈，依据该反馈确定NSSI 1、NSSI 2出于非激活态时，执行后续步骤。

步骤S402、NSMF向NSSMF 1发送启动请求，该启动请求具体可以为：启动测试请求或启动测试组成NSSI 1的NF的请求。所述启动请求中需携带如下信息中的至少一种：管理对象的标识(例如NSSI 1或NF的身份标识)，NSSI 1使用的模板标识，以及需要测试的项目的指示信息，该项目包括但不限于：对应于NSSI模板的NSSI或NF扩展、收缩、终结、激活、去激活操作，NSSI或NF的其他功能性操作(如故障监测、告警上报、性能测量、阈值监控、计费等)指示信息。所述NSSI 1或NF的身份标识用于指示待测试的管理对象；NSSI1使用的模板标识和对应于NSSI模板的NSSI/NF扩展、收缩、终结、激活、去激活操作指示信息用于指示测试执行模板中包含的NSSI/NF操作的可行性；NSSI/NF的其他功能性操作指示信息用于指示测试所述功能性操作是否能够完成。同理的，NSMF向NSSMF 2发送启动测试NSSI 2请求或启动测试组成NSSI 2的NF的请求。

步骤S403、NSSMF 1和NSSMF 2依据收到的启动请求，启动测试。在一种可能的情况下NSSMF 1和NSSMF 2收到NSMF发送的终结测试请求消息后，终结测试，并执行步骤S404。所述终结测试消息携带相应测试的指示信息，可选地，当一条启动测试启动了若干个NSSI或NF的测试时，还可携带相应需要终结的NSSI或NF的身份标识用于指示终结对应的针对NSSI或NF的测试。在另一种可能的情况下，测试未终结执行步骤S404。

步骤S404、NSSMF 1和NSSMF 2收到NSMF发送的监视测试通知后上报测试结果给NSMF，或NSSMF 1和NSSMF 2在终结测试后主动发送测试结果给NSMF。所述测试结果包括如下信息中的至少一项或任意组合：测试指示信息，测试的NSSI或NF身份标识，测试的扩展、收缩、终结、激活、去激活等操作是否完成指示。此外，测试结果还包括测试开始时间，测试的时长、测试不通过时建议的修复手段、平均负载测试结果、极限负载测试结果中的一种或任意组合等等。

步骤S405、在完成各域测试后，NSMF向NSSMF 1和NSSMF 2发送启动端到端NSI测试请求消息，用于指示NSSMF 1和NSSMF 2启动对于NSSI 1和NSSI 2支持所述NSI的测试。在一种可能的情况下，NSMF向管理接入网设备的NSSMF发送的端到端测试启动消息中携带终端用户的上行workload信息，包括用户地理位置分布，用户发送数据包大小，QoS(英文：Quality of Service，服务质量)需求，发送频次，用户移动情况，漫游情况，激活比(active/all)，对应DNN的信息，和NSSMF的待测试管理对象存在交互的其他NSSI/NF的指示信息，测试的性能指标等；NSMF向管理核心网设备的NSSMF发送的端到端测试启动消息中携带数据网络的下行workload信息包括数据包大小，发送频次，QoS需求，对应UE的信息，和NSSMF的待测试管理对象存在交互的其他NSSI/NF的指示信息，测试的性能指标等。在另一种可能的情况下，NSMF向NSSMF发送的端到端测试启动消息中携带待测试的NSI的业务类型指示信息或预先设置的测试类型指示信息，和NSSMF的待测试管理对象存在交互的其他NSSI/NF的指示信息等。所述业务类型指示信息可能是网络切片的类型，网络切片子网的类型。

步骤S406、NSSMF 1和NSSMF 2依据步骤S405收到的测试请求执行端到端NSI测试。在一种可能的情况下NSSMF 1和NSSMF 2收到NSMF发送的终结测试请求消息后，终结测试，并执行步骤407。在另一种可能的情况下，测试未终结执行步骤S407。

步骤S407、NSSMF 1和NSSMF 2收到NSMF发送的监视测试通知，或NSSMF 1和NSSMF2在终结测试后主动发送测试结果给NSMF。所述测试结果是对应于步骤S406的端到端NSI测试的。

步骤S408、NSMF依据各域的端到端测试结果，确定端到端NSI的关键性能指标(KPI)。

应理解，步骤S408中的端到端NSI测试结果不能从步骤S401执行的各NSSI/NF独立测试结果中获得，因为端到端测试需包括各NSSI/NF的联通性测试、各NSSI/NF的交互协调等。

本申请实施例介绍了测试组成NSI的专属NSSI/NF的方法，以及没有共享NSSI/NF情况下的测试NSI的方法。使得运营商能够在切片业务上线运行前发现可能的问题，保障业务顺畅运行。

参阅图5，图5为本申请提供的另一种网络切片测试方法，该方法如图5所示，如图5所示的方法在如图6所示的网络切片场景下实现，具体的，待测试NSI可以包括：NSI 1和NSI2，其中，NSI 1可以包括NSSI 1，NSI2可以包括NSSI2，NSSI 1可以由NSSMF 1管理，NSSI2可以由NSSMF2管理，NSI 1和NSI2共享部分可以为NSSI3，该NSSI3可以由NSSMF3管理；该方法包括如下步骤：

步骤S501、NSMF在完成各域测试以后，NSMF向NSSMF 1发送启动端到端NSI 1测试请求消息，消息中携带NSI 1相关参数，具体的参数可以参见步骤S405中的描述，这里不再赘述。

步骤S502、NSMF向NSSMF 2发送启动端到端NSI 2测试请求消息，消息中携带NSI 2相关参数，具体的参数可以参见步骤S405中的描述，这里不再赘述。

步骤S503、NSMF向NSSMF 3发送启动端到端NSI 1和NSI 2测试请求消息。因为NSSI3是NSI 1和NSI 2共享的，所述端到端NSI 1和NSI 2测试需同时完成NSSI 3支持NSI 1和NSI 2业务，同时和NSSI 1、NSSI2交互的测试。在一种可能的情况下，NSMF向NSSMF 3发送NSI 1对应的业务的workload指示信息和NSI 2对应的业务的workload指示信息，包括了NSI 1对应性能指标测量任务和NSI 2对应的性能指标测量任务。所述workload指示信息可以参见如图4所示实施例的描述。在另一种可能的情况下，NSMF向NSSMF 3发送的端到端测试启动消息中携带待测试的NSI 1和NSI 2的业务类型指示信息或预先设置的测试类型指示信息，和NSSMF的待测试管理对象存在交互的其他属于NSI 1和NSI 2的NSSI/NF的指示信息等。

步骤S504、由于NSSI 3是NSI 1和NSI 2共享的，NSI 1和NSI 2对应的模板中定义的修改(所述修改至少包括扩展、收缩、拓扑修改等)NSI 1和NSI 2会涉及NSSI 3的修改。本步骤的目的是测试按模板修改NSI 1导致的NSSI 3修改对NSI 2服务性能指标的影响。NSMF向NSSMF 3发送启动测试修改NSSI 3请求，该请求消息中携带对NSSI 3的修改需求。应理解，当NSSMF 3启动修改NSSI 3测试之后，NSMF可以从NSSMF 2、NSSMF3反馈的端到端NSI 2测试结果(如NSI 2的关键性能指标)中确认因为修改NSI 1导致的修改NSSI 3对NSI 2造成的影响(具体可以是否可以为修改NSSI3是否对对NSI2以及NSI 1发生负面影响)。NSMF可存储所述数据并用于在运行过程中判断是否可修改NSSI 3。该负面影响包括但不限于：关键性能指标产生负面影响，中断服务等等。

步骤S505、类似步骤S504，NSMF向NSSMF 3发送启动测试修改NSSI 3的请求，该修改需求是由于NSI 2修改导致的NSSI 3修改。应理解，步骤S505、和步骤S504中的请求消息可能分开发送，也可能在一条消息中发送，该一条消息启动了两个测试任务。

步骤S506、NSSMF 1、NSSMF 2、NSSMF 3依据收到的测试请求执行端到端NSI 1和NSI2测试，包括修改测试，在一种可能的情况下NSSMF 1和NSSMF 2收到NSMF发送的终结测试请求消息后，终结测试，并执行步骤S507。在另一种可能的情况下，测试未终结执行步骤S507。

步骤S507：NSSMF 1、NSSMF 2、NSSMF 3收到NSMF发送的监视测试通知，或NSSMF1、NSSMF2、NSSMF 3在终结测试后主动发送测试结果给NSMF，所述测试结果是对应于步骤506执行的端到端NSI测试和修改测试的。

步骤S508、NSMF依据各域的测试结果，确定端到端NSI 1和NSI 2的关键性能指标(KPI)，并确定修改共享NSSI 3对NSI 1和NSI 2的影响。

如图5所示实施例的技术方案是当NSI 1和NSI 2均未测试过且未上线提供服务。在另一种可能的场景中，NSI 1未测试且未上线提供服务，NSI 2是已存在的NSI，并正在为客户提供服务。所述场景可能发生在创建NSI 1时，网络管理系统判断NSI 1可以和已有的NSI 2共享NSSI 3。此时，仅需测试NSI 1，而无需测试NSI 2。具体来说，所述场景和图5所示流程的区别是：i)无需执行步骤S502测试端到端NSI 2；ii)步骤503为NSMF向NSSMF 3发送测试端到端NSI 1请求，该请求消息中还需携带NSI 2业务保护指示信息，用于NSSMF3在测试NSSI 3时模拟NSI 2对于NSSI 3的使用已达到极限值，即在测试端到端NSI 1的同时对于NSSI 3支持的NSI 2的业务进行保护；iii)无需执行步骤S504；iv)步骤505中测试修改NSI2导致的修改NSSI 3对于NSI 1的影响，仅限于测试扩展NSI 2。

本申请还提供一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如图4或图5所示的方法。

参阅图6A，图6A提供一种网络切片测试管理装置，所述网络切片测试管理装置设置与第一网络切片实体内，所述装置包括：

收发单元601，用于向第二网络切片实体发送启动测试网络切片实例NSI的第一测试请求消息，所述第一测试请求用于指示所述第二网络切片实体启动所述第二网络切片实体管理的管理对象支持所述NSI的测试，所述第一测试请求消息包括：NSI的测试信息；

收发单元601，还用于接收第二网络切片实体发送的第一测试结果，所述第一测试结果包括：测试所述管理对象支持NSI 1的测试结果；

处理单元602，用于依据所述第二网络切片实体的多个测试结果确定NSI 1的测试结果，所述网络切片实例的测试结果包括：NSI 1的关键性能指标KPI。

可选的，所述收发单元，还用于向第二网络切片实体发送启动测试请求，所述启动请求用于指示所述第二网络切片实体启动对第二网络切片实体管理的管理对象的测试，所述启动测试请求包括：测试管理对象的标识和需要测试的项目的指示信息；

所述收发单元，还用于接收第二网络切片实体发送的所述启动测试对应的第二测试结果，所述第二测试结果包括：测试管理对象的标识和所述需要测试的项目的完成指示。

可选的，所述收发单元，还用于向第三网络切片实体发送启动测试网络切片实例NSI2的第二测试请求消息，所述第二测试请求用于指示所述第三网络切片实体启动所述第三网络切片实体管理的管理对象支持所述NSI2的测试，所述第二测试请求消息包括：NSI 2的测试信息；

所述收发单元，还用于接收第二网络切片实体发送的第三测试结果，所述第三测试结果包括：测试所述管理对象支持NSI 2的测试结果；

所述处理单元，还用于依据所述第二网络切片实体的多个测试结果确定NSI 2的测试结果，所述NSI2的测试结果包括：NSI2的关键性能指标KPI。

可选的，所述收发单元，还用于向第四网络切片实体发送启动测试NSI的第三测试请求，所述第三测试请求用于指示所述第四网络切片实体启动所述第四网络切片实体管理的管理对象支持所述NSI1以及NSI2的测试，所述第一测试请求消息包括：NSI1以及NSI 2的测试信息；

所述收发单元，还用于向所述第四网络切片实体发送启动测试修改请求，所述启动测试修改请求包括：修改需求；

所述收发单元，还用于接收所述第四网络切片实体在修改测试后发送的第四测试结果，所述第四测试结果包括：测试所述管理对象支持NSI 1以及NSI 2的测试结果和修改所述第四网络切片实体管理的网络切片子网实例NSSI 3是否对NSI 1以及NSI2产生负面影响；所述NSSI 3为所述NSI 1和所述NSI 2共享的部分；所述NSI 1为所述第二网络切片实体管理的NSSI所属的NSI，所述NSI2为所述第三网络切片实体管理的NSSI所属的NSI；

所述处理单元，还用于依据所述第四网络切片实体的多个测试结果确定NSI 1以及NSI 2的测试结果以及所述负面影响，所述NSI 1的测试结果包括：NSI 1的关键性能指标KPI，所述NSI 2的测试结果包括：NSI 2的关键性能指标KPI。

可选的，所述测试管理对象的标识包括：第二网络切片实体的标识、第二网络切片实体的模板标识或网络功能标识中的一种或任意组合。

可选的，所述需要测试的项目的指示信息包括：第一网络切片实体扩展、第一网络切片实体收缩、第一网络切片实体终结、第一网络切片实体激活、第一网络切片实体去激活、第一网络切片实体故障监测、第一网络切片实体告警上报、第一网络切片实体性能测量、第一网络切片实体阈值监控、第一网络切片实体计费、网络功能扩展、网络功能收缩、网络功能终结、网络功能激活、网络功能去激活、网络功能故障监测、网络功能告警上报、网络功能性能测量、网络功能阈值监控、网络功能计费中的一种或任意组合。

可选的，所述收发单元，还用于向所述第二网络切片实体发送监视测试通知，所述监视测试通知用于指示第二网络切片实体在测试完成后发送所述第一测试结果。

可选的，所述测试信息包括：用户地理位置分布，用户发送数据包大小、服务质量需求、发送频次、用户移动情况、漫游情况，激活比、对应DNN的信息、和待测试管理对象存在交互的其他对象的指示信息或测试的性能指标。

参阅图7，图7提供一种网络设备，所述设备包括：处理器701、存储器702和收发器703，所述处理器与所述存储器702以及所述收发器连接，该连接方式可以通过总线连接，当然在实际应用中，还可以通过其他的方式来连接；其中，该存储器702内存储一个或多个程序，处理器701用于调用该存储器内的一个或多个程序控制所述收发器703实现如图4或图5所示的方法。

需要说明的是，这里的处理器701可以是一个处理元件，也可以是多个处理元件的统称。例如，该处理元件可以是中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器(digital signalprocessor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (17)

1.一种网络切片测试管理方法，其特征在于，所述方法包括如下步骤：

第一网络切片实体向第二网络切片实体发送启动测试网络切片实例NSI的第一测试请求消息，所述第一测试请求用于指示所述第二网络切片实体启动所述第二网络切片实体管理的管理对象支持所述NSI的测试，所述第一测试请求消息包括：NSI的测试信息；

第一网络切片实体接收第二网络切片实体发送的第一测试结果，所述第一测试结果包括：测试所述管理对象支持NSI 1的测试结果，所述第一网络切片实体依据所述第二网络切片实体的多个测试结果确定NSI 1的测试结果，所述网络切片实例的测试结果包括：NSI 1的关键性能指标KPI。

2.根据权利要求1所述的方法，其特征在于，所述方法在第一网络切片实体向所述第二网络切片实体发送第一测试请求消息之前，还包括：

第一网络切片实体向第二网络切片实体发送启动测试请求，所述启动请求用于指示所述第二网络切片实体启动对第二网络切片实体管理的管理对象的测试，所述启动测试请求包括：测试管理对象的标识和需要测试的项目的指示信息；

第一网络切片实体接收第二网络切片实体发送的所述启动测试对应的第二测试结果，所述第二测试结果包括：测试管理对象的标识和所述需要测试的项目的完成指示。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

第一网络切片实体向第三网络切片实体发送启动测试网络切片实例NSI2的第二测试请求消息，所述第二测试请求用于指示所述第三网络切片实体启动所述第三网络切片实体管理的管理对象支持所述NSI2的测试，所述第二测试请求消息包括：NSI 2的测试信息；

第一网络切片实体接收第二网络切片实体发送的第三测试结果，所述第三测试结果包括：测试所述管理对象支持NSI 2的测试结果，所述第一网络切片实体依据所述第二网络切片实体的多个测试结果确定NSI 2的测试结果，所述NSI2的测试结果包括：NSI2的关键性能指标KPI。

4.根据权利要求3所述的网络切片测试管理方法，其特征在于，所述方法还包括：

第一网络切片实体向第四网络切片实体发送启动测试NSI的第三测试请求，所述第三测试请求用于指示所述第四网络切片实体启动所述第四网络切片实体管理的管理对象支持所述NSI1以及NSI2的测试，所述第一测试请求消息包括：NSI1以及NSI 2的测试信息；

第一网络切片实体向所述第四网络切片实体发送启动测试修改请求，所述启动测试修改请求包括：修改需求；

所述第一网络切片实体接收所述第四网络切片实体在修改测试后发送的第四测试结果，所述第四测试结果包括：测试所述管理对象支持NSI 1以及NSI 2的测试结果和修改所述第四网络切片实体管理的网络切片子网实例NSSI 3是否对NSI 1以及NSI2产生负面影响；所述NSSI 3为所述NSI 1和所述NSI 2共享的部分；所述NSI 1为所述第二网络切片实体管理的NSSI所属的NSI，所述NSI2为所述第三网络切片实体管理的NSSI所属的NSI；

第一网络切片实体依据所述第四网络切片实体的多个测试结果确定NSI 1以及NSI 2的测试结果以及所述负面影响，所述NSI 1的测试结果包括：NSI 1的关键性能指标KPI，所述NSI 2的测试结果包括：NSI 2的关键性能指标KPI。

5.根据权利要求2所述的方法，其特征在于，

所述测试管理对象的标识包括：第二网络切片实体的标识、第二网络切片实体的模板标识或网络功能标识中的一种或任意组合。

6.根据权利要求2所述的方法，其特征在于，

所述需要测试的项目的指示信息包括：第一网络切片实体扩展、第一网络切片实体收缩、第一网络切片实体终结、第一网络切片实体激活、第一网络切片实体去激活、第一网络切片实体故障监测、第一网络切片实体告警上报、第一网络切片实体性能测量、第一网络切片实体阈值监控、第一网络切片实体计费、网络功能扩展、网络功能收缩、网络功能终结、网络功能激活、网络功能去激活、网络功能故障监测、网络功能告警上报、网络功能性能测量、网络功能阈值监控、网络功能计费中的一种或任意组合。

7.根据权利要求1所述的方法，其特征在于，所述方法在第一网络切片实体接收第二网络切片实体发送的第一测试结果之前，还包括：

所述第一网络切片实体向所述第二网络切片实体发送监视测试通知，所述监视测试通知用于指示第二网络切片实体在测试完成后发送所述第一测试结果。

8.根据权利要求1所述的方法，其特征在于，

所述测试信息包括：用户地理位置分布，用户发送数据包大小、服务质量需求、发送频次、用户移动情况、漫游情况，激活比、对应DNN的信息、和待测试管理对象存在交互的其他对象的指示信息或测试的性能指标。

9.一种网络切片测试管理装置，其特征在于，所述网络切片测试管理装置设置与第一网络切片实体内，所述装置包括：

收发单元，用于向第二网络切片实体发送启动测试网络切片实例NSI的第一测试请求消息，所述第一测试请求用于指示所述第二网络切片实体启动所述第二网络切片实体管理的管理对象支持所述NSI的测试，所述第一测试请求消息包括：NSI的测试信息；

所述收发单元，还用于接收第二网络切片实体发送的第一测试结果，所述第一测试结果包括：测试所述管理对象支持NSI 1的测试结果；

处理单元，用于依据所述第二网络切片实体的多个测试结果确定NSI 1的测试结果，所述网络切片实例的测试结果包括：NSI 1的关键性能指标KPI。

10.根据权利要求9所述的装置，其特征在于，

所述收发单元，还用于向第二网络切片实体发送启动测试请求，所述启动请求用于指示所述第二网络切片实体启动对第二网络切片实体管理的管理对象的测试，所述启动测试请求包括：测试管理对象的标识和需要测试的项目的指示信息；

所述收发单元，还用于接收第二网络切片实体发送的所述启动测试对应的第二测试结果，所述第二测试结果包括：测试管理对象的标识和所述需要测试的项目的完成指示。

11.根据权利要求9或10所述的装置，其特征在于，

所述收发单元，还用于向第三网络切片实体发送启动测试网络切片实例NSI2的第二测试请求消息，所述第二测试请求用于指示所述第三网络切片实体启动所述第三网络切片实体管理的管理对象支持所述NSI2的测试，所述第二测试请求消息包括：NSI 2的测试信息；

所述收发单元，还用于接收第二网络切片实体发送的第三测试结果，所述第三测试结果包括：测试所述管理对象支持NSI 2的测试结果；

所述处理单元，还用于依据所述第二网络切片实体的多个测试结果确定NSI 2的测试结果，所述NSI2的测试结果包括：NSI2的关键性能指标KPI。

12.根据权利要求11所述的装置，其特征在于，

所述收发单元，还用于向第四网络切片实体发送启动测试NSI的第三测试请求，所述第三测试请求用于指示所述第四网络切片实体启动所述第四网络切片实体管理的管理对象支持所述NSI1以及NSI2的测试，所述第一测试请求消息包括：NSI1以及NSI 2的测试信息；

所述收发单元，还用于向所述第四网络切片实体发送启动测试修改请求，所述启动测试修改请求包括：修改需求；

所述收发单元，还用于接收所述第四网络切片实体在修改测试后发送的第四测试结果，所述第四测试结果包括：测试所述管理对象支持NSI 1以及NSI 2的测试结果和修改所述第四网络切片实体管理的网络切片子网实例NSSI 3是否对NSI 1以及NSI2产生负面影响；所述NSSI 3为所述NSI 1和所述NSI 2共享的部分；所述NSI 1为所述第二网络切片实体管理的NSSI所属的NSI，所述NSI2为所述第三网络切片实体管理的NSSI所属的NSI；

所述处理单元，还用于依据所述第四网络切片实体的多个测试结果确定NSI 1以及NSI2的测试结果以及所述负面影响，所述NSI 1的测试结果包括：NSI 1的关键性能指标KPI，所述NSI 2的测试结果包括：NSI 2的关键性能指标KPI。

13.根据权利要求10所述的装置，其特征在于，

所述测试管理对象的标识包括：第二网络切片实体的标识、第二网络切片实体的模板标识或网络功能标识中的一种或任意组合。

14.根据权利要求10所述的装置，其特征在于，

所述需要测试的项目的指示信息包括：第一网络切片实体扩展、第一网络切片实体收缩、第一网络切片实体终结、第一网络切片实体激活、第一网络切片实体去激活、第一网络切片实体故障监测、第一网络切片实体告警上报、第一网络切片实体性能测量、第一网络切片实体阈值监控、第一网络切片实体计费、网络功能扩展、网络功能收缩、网络功能终结、网络功能激活、网络功能去激活、网络功能故障监测、网络功能告警上报、网络功能性能测量、网络功能阈值监控、网络功能计费中的一种或任意组合。

15.根据权利要求9所述的装置，其特征在于，

所述收发单元，还用于向所述第二网络切片实体发送监视测试通知，所述监视测试通知用于指示第二网络切片实体在测试完成后发送所述第一测试结果。

16.根据权利要求9所述的装置，其特征在于，

所述测试信息包括：用户地理位置分布，用户发送数据包大小、服务质量需求、发送频次、用户移动情况、漫游情况，激活比、对应DNN的信息、和待测试管理对象存在交互的其他对象的指示信息或测试的性能指标。

17.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。