CN114070764A - 网络功能虚拟化nfv测试方法、装置和系统 - Google Patents
网络功能虚拟化nfv测试方法、装置和系统 Download PDFInfo
- Publication number
- CN114070764A CN114070764A CN202010790759.XA CN202010790759A CN114070764A CN 114070764 A CN114070764 A CN 114070764A CN 202010790759 A CN202010790759 A CN 202010790759A CN 114070764 A CN114070764 A CN 114070764A
- Authority
- CN
- China
- Prior art keywords
- test
- nfv
- network function
- workflow
- function virtualization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010998 test method Methods 0.000 title claims description 6
- 238000012360 testing method Methods 0.000 claims abstract description 588
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 72
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- OOXMVRVXLWBJKF-DUXPYHPUSA-N n-[3-[(e)-2-(5-nitrofuran-2-yl)ethenyl]-1,2,4-oxadiazol-5-yl]acetamide Chemical compound O1C(NC(=O)C)=NC(\C=C\C=2OC(=CC=2)[N+]([O-])=O)=N1 OOXMVRVXLWBJKF-DUXPYHPUSA-N 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 26
- 238000011161 development Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45591—Monitoring or debugging support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提出一种网络功能虚拟化NFV测试方法、装置和系统，涉及云计算技术领域。在本公开中，通过标准化的测试工作流模板对测试任务进行描述，然后按照NFV测试对象的相关测试属性对测试工作流模板进行实例化，使得测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式执行所有的测试用例，从而完成NFV测试。通过测试工作流模板及其实例化过程实现了对测试任务和测试用例的灵活编排，可以适应复杂且多样的测试场景，并且，测试工作流模板可以重复使用，避免了针对相同的测试需求还要重新编排测试任务和测试用例的情况，提高了测试的效率。
Description
技术领域
本公开涉及云计算技术领域，特别涉及一种网络功能虚拟化NFV测试方法、装置和系统。
背景技术
云计算技术、软件定义网络(Software Defined Network，SDN)技术和网络功能虚拟化(Network Functions Virtualization，NFV)技术等云化网络的核心技术，具有全栈解耦的特点。云化网络系统由多层、多组件构成，参与者众多，而且各层级、各组件间相互依赖、相互调用。由于标准进展缓慢、系统私有实现等因素的存在，导致各组件间兼容性、互操作性差，系统集成复杂度居高不下。为推动云化网络系统的应用落地，需要开展大量重复性的测试工作。
在相关技术中，利用NFV开源社区的测试项目，例如OVP、Open NFV(OPNFV)等，或者，利用自动化测试平台，例如Robot Framework(RF)等，实现对云网系统中的测试对象的测试。
发明内容
发明人发现，在相关技术中，测试项目或测试平台仅支持特定的测试用例和特定的测试对象，测试能力有限，缺乏灵活编排测试用例和测试任务的能力，无法满足云化网络中复杂且多样化的测试需求。
在本公开中，通过标准化的测试工作流模板对测试任务进行描述，然后按照NFV测试对象的相关测试属性对测试工作流模板进行实例化，使得测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式执行所有的测试用例，从而完成NFV测试。通过测试工作流模板及其实例化过程实现了对测试任务和测试用例的灵活编排，可以适应复杂且多样的测试场景，并且，测试工作流模板可以重复使用，避免了针对相同的测试需求还要重新编排测试任务和测试用例的情况，提高了测试的效率。
根据本公开的一些实施例，提供一种网络功能虚拟化NFV测试方法，其特征在于，包括：
根据指定的NFV测试对象的测试需求，确定测试工作流模板，所述测试工作流模板包括指定的NFV测试对象的一个或多个NFV测试任务以及与所述NFV测试任务相关联的一个或多个测试用例；
根据所述NFV测试对象的相关测试属性的值，对所述测试工作流模板进行实例化处理，生成测试工作流实例；
根据所述测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式，执行所述测试工作流实例中各个NFV测试任务对应的所有测试用例，并输出执行结果。
在一些实施例中，所述确定测试工作流模板包括：根据指定的NFV测试对象的测试需求，从测试工作流模板库中选择测试工作流模板，或者，根据指定的NFV测试对象的测试需求生成相应的测试工作流模板，并添加到所述测试工作流模板库。
在一些实施例中，所述根据指定的NFV测试对象的测试需求生成相应的测试工作流模板包括：根据指定的测试对象的测试需求，确定NFV测试任务以及每个NFV测试任务对应的测试用例和所述测试对象的相关测试属性；根据相关测试属性对所述NFV测试任务以及所述每个NFV测试任务对应的测试用例进行编排，生成测试工作流模板。
在一些实施例中，所述测试对象的相关测试属性包括NFV测试任务的属性和测试用例的属性；所述对所述测试工作流模板进行实例化处理包括：根据NFV测试任务的属性的值，对所述测试工作流模板的NFV测试任务进行实例化处理；根据测试用例的属性的值，对测试工作流模板的测试用例进行实例化处理。
在一些实施例中，所述测试用例的属性包括测试用例的测试工具、测试用例的类型、测试用例之间传递的参数、测试用例的执行方式、测试用例的输入和输出以及测试用例的执行次数中的一种或多种。
在一些实施例中，所述NFV测试任务的属性包括NFV测试任务的执行方式。
在一些实施例中，所述NFV测试任务的执行方式属性包括顺序执行、并列执行、循环执行或者条件执行。
在一些实施例中，还包括：将所述测试工作流实例或者所述测试工作流实例的执行结果中的一项或多项保存到测试日志。
在一些实施例中，所述NFV测试对象包括网络功能虚拟化基础设施NFVI、虚拟化基础设施管理器VIM、网络功能虚拟化NFV网元、虚拟网络功能管理器VNFM、网元管理系统EMS、网络功能虚拟化编排器NFVO实例中的一种或多种。
根据本公开的另一些实施例，提供一种网络功能虚拟化NFV测试装置，其特征在于，包括：
工作流模板部署模块，被配置为根据指定的NFV测试对象的测试需求，确定测试工作流模板，所述测试工作流模板包括指定的NFV测试对象的一个或多个NFV测试任务以及与所述NFV测试任务相关联的一个或多个测试用例；
测试工作流实例化模块，被配置为根据所述NFV测试对象的相关测试属性的值，对所述测试工作流模板进行实例化处理，生成测试工作流实例；
测试用例执行模块，被配置为根据所述测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式，执行所述测试工作流实例中各个NFV测试任务对应的所有测试用例，并输出执行结果。
根据本公开的又一些实施例，提供一种网络功能虚拟化NFV测试装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一实施例所述的网络功能虚拟化NFV测试方法。
根据本公开的再一些实施例，提供一种网络功能虚拟化NFV测试系统，其特征在于，包括：任一实施例所述的网络功能虚拟化NFV测试装置；测试工具集合，被配置为用于响应网络功能虚拟化NFV测试装置的调用执行测试用例；以及用于连接所述网络功能虚拟化NFV测试装置与所述测试工具集合的接口。
在一些实施例中，还包括用户管理界面，被配置为输入测试需求及输出测试工作流实例和测试的执行结果。
根据本公开的又再一些实施例，提供一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的网络功能虚拟化NFV测试方法。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出根据本公开的一些示例性实施例的网络功能虚拟化NFV测试方法的流程示意图。
图2a示出根据本公开的一些示例性实施例的NFV测试任务的一种执行方式的示意图。
图2b示出根据本公开的一些示例性实施例的NFV测试任务的另一种执行方式的示意图。
图2c示出根据本公开的一些示例性实施例的NFV测试任务的又一种执行方式的示意图。
图3示出根据本公开的一些示例性实施例的网络功能虚拟化NFV测试方法的流程示意图。
图4示出根据本公开的一些示例性实施例的网络功能虚拟化NFV测试装置的示意图。
图5示出根据本公开的另一些示例性实施例的网络功能虚拟化NFV测试装置的示意图。
图6示出根据本公开的一些示例性实施例的网络功能虚拟化NFV测试系统的架构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
图1示出根据本公开的一些示例性实施例的网络功能虚拟化NFV测试方法的流程示意图。该方法例如可以由网络功能虚拟化NFV测试装置执行。
如图1所示，该实施例的方法包括步骤101-104。
在步骤101，根据指定的NFV测试对象的测试需求，确定测试工作流模板。
根据指定的NFV测试对象对应的所有NFV测试任务，从测试工作流模板库中选择测试工作流模板，或者，根据指定的测试对象对应的所有NFV测试任务生成相应的测试工作流模板，并添加到测试工作流模板库。其中，测试工作流模板包括指定的NFV测试对象的一个或多个NFV测试任务以及与NFV测试任务相关联的一个或多个测试用例。
在一些实施例中，根据指定的NFV测试对象对应的所有NFV测试任务生成相应的测试工作流模板包括：根据指定的NFV测试对象对应的所有NFV测试任务确定每个NFV测试任务对应的测试用例和相关测试属性；根据确定的测试用例和相关测试属性生成测试工作流模板。
其中，NFV测试对象的相关测试属性包括测试任务的属性和测试原理的属性。NFV测试任务的属性包括NFV测试任务的执行方式。测试用例的属性包括测试用例的测试工具、测试用例的类型、测试用例之间传递的参数、测试用例的执行方式、测试用例的输入和输出以及测试用例的执行次数中的一种或多种。
其中，NFV测试对象例如可以为网络功能虚拟化基础设施(Network FunctionsVirtualization Infrastructure，NFVI)、虚拟化基础设施管理器(Virtualisedinfrastructure manager，VIM)、网络功能虚拟化(Network Functions Virtualization，NFV)、虚拟网络功能管理器(Virtualization Network Functions Manager，VNFM)、网元管理系统(Element Manage System，EMS)或者网络功能虚拟化编排器(Network FunctionsVirtualization Orchestrator，NFVO)等。
在一些实施例中，引入了Zeebe模块来实现NFV测试任务的编排，Zeebe模块是一个用于微服务编排(Orchestration)的工作流引擎。利用Zeebe模块生成生成的工作流模板，其中，某个NFV测试对象的工作流模板定义为Zeebe模块中的工作流workflow，某个NFV测试对象的所有NFV测试任务中的每个NFV测试任务分别定义为Zeebe模块中的一个工作job，NFV测试任务的属性和测试用例的属性定义为Zeebe模块中的job的属性，例如，将NFV测试用例的属性中的测试用例的测试工具定义为job的type属性，将NFV测试用例的属性中的其他属性和NFV测试任务的属性定义为job的variables属性。
采用工作流模板以及对工作流模板进行实例化的方式来描述和定义测试需求对应的指定NFV测试对象的NFV测试任务，用于实例化的NFV测试任务或测试用例的相关测试属性不同，则可以满足不同的测试需求，从而完成不同的NFV测试任务，避免了重复配置NFV测试任务、测试用例以及相关测试属性等的步骤，而且，测试工作流模板可以重复利用，可以提高测试效率。
在步骤102，根据NFV测试对象的相关测试属性的值，对测试工作流模板进行实例化处理，生成测试工作流实例。
对测试工作流模板进行实例化处理包括：根据NFV测试任务的属性的值，对测试工作流模板的NFV测试任务进行实例化处理；根据测试用例的属性的值，对测试工作流模板的测试用例进行实例化处理。如果NFV测试任务中对应的测试用例既有封闭型测试用例(即测试用例不包含需要实例化的属性)，也有开放型测试用例(即测试用例包含需要实例化的属性，例如测试用例之间传递的参数等)，则将开放型测试用例中的相关测试属性的值填充到对应的测试用例的相关测试属性中，而不需要对封闭型测试用例进行实例化。此外，在一些实施例中，如果测试任务对应的测试用例均为封闭型测试用例，则不需要实例化该测试用例。
在一些实施例中，引入Zeebe模块，Zeebe模块可以根据输入的NFV测试对象的相关测试属性的值，将工作流模板转化为工作流实例。
在步骤103，根据测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式，执行测试工作流实例中各个NFV，输出执行结果。
在一些实施例中，执行每个测试用例例如可以包括：实例化测试用例相应的测试工具，并且利用测试工具执行测试用例。
其中，NFV测试任务的执行方式属性包括多个测试任务的顺序执行、多个测试任务的并列执行、多个测试任务的循环执行或者多个测试任务的条件执行。
图2a示出根据本公开的一些示例性实施例的NFV测试任务的一种执行方式的示意图。如图2a所示，job1、job2、job3和job4分别表示4个NFV测试任务。实线部分示出了NFV测试任务的执行方式属性为顺序执行时，job1、job2、job3和job4依次按顺序执行的示意图。虚线部分示出了测试工作流实例中的job3和job4的执行方式属性为条件执行时的示意图，即，job2执行完成后，当执行条件为条件1时，执行job3；当执行条件为条件2时，执行job4。
图2b示出根据本公开的一些示例性实施例的NFV测试任务的另一种执行方式的示意图。如图2b所示，示出了测试工作流实例中的NFV测试任务job2和job3的执行方式属性为并列执行时的示意图。即，job1执行完成后，job2和job3并列执行。
图2c示出根据本公开的一些示例性实施例的NFV测试任务的又一种执行方式的示意图。如图2c所示，示出了NFV测试任务的执行方式属性为循环执行时，NFV测试任务job1、job2和job3循环执行的示意图。
通过测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式，可以实现对NFV测试的自动编排，提高了测试效率。
在一些实施例中，通过引入Zeebe模块来实现本公开实施例中的NFV测试方法，根据Zeebe模块中的每个job(即NFV测试任务)的type属性和variables属性中的相关测试属性，完成对指定的NFV测试对象的测试。将工作流引擎Zeebe模块的语言与NFV测试元语进行匹配映射，可以使得Zeebe模块自动识别工作流模板中的NFV测试任务和测试用例以及相关测试属性，并利用这些相关测试属性的值对工作流模板进行实例化，根据测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式，完成测试。提高了NFV测试的自动化编排测试的能力，提高了测试效率。
在一些实施例中，还包括步骤104。
在步骤104，将测试工作流实例或者测试工作流实例的执行结果中的一项或多项保存到测试日志。
在一些实施例中，可以通过引入Zeebe模块，使得测试工作流实例和/或测试工作流实例的执行结果保存在Zeebe模块的日志中，从而方便后续的监控、查询与展示。
上述实施例中，通过测试工作流模板及其实例化过程实现了对测试任务和测试用例的灵活编排，可以适应复杂且多样的测试场景，并且，测试工作流模板可以重复使用，避免了针对相同的测试需求还要重新编排测试任务和测试用例的情况，提高了测试的效率。
图3示出根据本公开的另一些示例性实施例的网络功能虚拟化NFV测试方法的流程示意图。
例如，在进行VM承载VNF网元的能力的测试任务中，在NFV架构中，NFVI和VIM共同提供部署、管理和执行VNF所需要的资源环境(例如包括计算资源、存储资源、网络资源等)，这些资源可以是物理的，也可以是虚拟的(虚拟资源例如可以是虚拟机VM、容器、轻虚拟机等)。NFVI为虚拟网络功能(Virtualization Network Functions，VNF)提供运行环境，VIM则提供开通、管理和配置这些环境的能力。当VNF运行在VM的情况下，VNF对VM的配置具有特殊的要求，因此需要对NFVI和VIM提供的VM进行测试，判断其是否具备承载VNF网元的能力。
如图3所示，网络功能虚拟化NFV测试方法包括步骤301-305。
在步骤301，工作流模板部署模块根据指定的NFV测试对象的测试需求，确定工作流模板。
例如，用户可以在统一管理界面输入指定的NFV测试对象的测试需求，例如可以添加测试任务和测试用例，并指明相关测试属性。其中，测试对象例如可以是网络功能虚拟化基础设施NFVI、虚拟化基础设施管理器VIM、网络功能虚拟化NFV、虚拟网络功能管理器VNFM、网元管理系统EMS、网络功能虚拟化编排器NFVO中的一种或多种。
例如，在进行VM承载VNF网元的能力的NFV测试中，测试对象例如为VIM，测试工作流模板定义为测试对象的所有测试任务对应的测试用例。其中，用于提供VNF运行所需的物理、虚拟资源的调用接口例如为开源的云计算管理平台项目OpenStack的应用程序编程接口API(Application Programming Interface)，访问地址例如为OpenStack Keystone的统一资源定位符URL(Uniform Resource Location)或OpenStack Public的URL，VIM例如可以是运营商的云管平台，NFVI例如可以由商业或者开源虚拟化软件构成。测试床的物理环境例如可以包括若干物理服务器、若干网络设备、若干存储设备，中央处理器CPU(CentralProcessing Unit)可以支持硬件辅助虚拟化，网卡可以支持单根IO虚拟化技术SR-IOV(Single Root I/O Virtualization)和数据平面开发套件DPDK(Data Plane DevelopmentKit)，以及VIM、NFVI均已部署配置完成，且资源满足测试需求。
针对上述测试工作流中设置的测试任务，需要添加的测试用例有14个，其中，既有封闭型测试用例，又有开放型测试用例。具体地，封闭性测试用例包括中央处理器CPU扩容、内存扩容、磁盘扩容、创建虚拟局域网(Virtual Local Area Network，VLAN)网络、计算节点开启数据平面开发套件DPDK、设置VLAN、内存巨页、内存预留、文件注入、CPU绑定、非统一内存访问架构NUMA(Non Uniform Memory Access Architecture)绑定、虚拟机亲和性、虚拟机反亲和性，开放型测试用例有虚拟机创建、删除虚拟机、验证虚拟机控制。下面对各个测试用例进行具体的描述。
(1)计算节点开启数据平面开发套件(Data Plane Development Kit，DPDK)。具体例如为：
(2)创建VLAN网络。具体例如为：
(3)虚拟机创建。具体例如为：
(4)虚拟机亲和性。具体例如为：
(5)虚拟机反亲和性。具体例如为：
(6)非统一内存访问架构(Non Uniform Memory Access Architecture,NUMA)绑定。具体例如为：
(7)CPU绑定。具体例如为：
(8)文件注入。具体例如为：
(9)内存预留。具体例如为：
(10)内存巨页。具体例如为：
(11)设置VLAN。具体例如为：
(12)验证虚拟机控制。具体例如为：
(13)CPU扩容、内存扩容、磁盘扩容三个测试用例。分别具体例如为：
a)CPU扩容
b)内存扩容
c)磁盘扩容
(14)删除虚拟机。具体例如为：
确定了测试工作流模板对应的测试任务及其中的测试用例之后，可以将测试工作流模板添加到Zeebe模块。
例如，上述测试用例(1)-(3)可以组成一个NFV测试任务(例如标记为job1)，测试用例(4)-(6)可以组成一个NFV测试任务(例如标记为job2)，NFV测试任务job1和NFV测试任务job2组成指定的NFV测试对象的一个工作流模板。
在步骤302，测试工作流实例化模块对测试工作流模板进行实例化，生成工作流实例。
例如，将NFV测试任务的属性的值和测试工作流的属性的值填充到工作流模板中，生成相应的工作流实例。
在步骤303，Zeebe模块查询测试工作流实例中的NFV测试任务和测试用例以及相关测试属性。
在Zeebe模块中，NFV测试任务和测试用例以及相关测试属性也就是表示NFV测试任务job以及job的type属性(例如测试工具)和variables属性(例如测试用例的类型、测试用例之间传递的参数、测试类别、测试NFV用例的执行方式、NFV测试任务的执行方式、测试用例的输入和输出以及测试用例的执行次数等)。
其中，测试用例之间传递的参数可以是在不同NFV测试任务的测试用例之间进行传递(即跨任务的参数传递)，也可以是在同一NFV测试任务的测试用例之间进行传递。
例如，5G核心网(5Generation Core Network，简称5GC)场景下的NFVI测试，例如该工作流实例包括两个NFV测试任务，分别表示为job1和job2。其中，job1为虚拟机基础操作的测试任务，包括的测试用例有3个：创建虚拟机(产生虚拟机ID和Name，传递至job2的测试用例)，虚拟机开机，虚拟机关机。job2为虚拟机快照功能的测试任务，包括的测试用例有1个：创建虚拟机快照，该测试用例接收job1传递的参数，即job1中的创建虚拟机的测试用例中产生的虚拟机ID和Name(即为跨任务的参数传递)。
在步骤304，测试用例执行模块调用NFV测试任务对应的相关测试属性中的测试工具，按照NFV测试任务的执行方式和测试用例的执行方式，完成对指定NFV测试对象的测试工作。
假设对VM测试对象进行测试的NFV测试任务的执行方式为顺序执行，例如可以表示为：计算节点开启DPDK→创建VLAN网络→创建虚拟机，含虚拟机亲和性、反亲和性、NUMA绑定、CPU绑定、文件注入、内存预留、内存巨页参数设置→设置VLAN→验证虚拟机控制→验证各项设置是否生效→CPU扩容、内存扩容、磁盘扩容→验证扩容→删除虚拟机→恢复环境。
在一些实施例中，调用NFV测试任务中指定的测试工具执行测试用例，例如，将测试用例脚本和测试工具上传及绑定到测试工具集合及框架。测试工具集合包含测试工具1、测试工具3、测试工具3等，用于对测试对象进行测试。
在步骤305，将测试的执行结果保存到Zeebe模块中，以便于在统一管理界面的查询、监控和展示。
上述实施例中，通过Zeebe模块读取测试工作流模板，并对其实例化生成测试工作流实例，按照测试工作流实例中规定的NFV测试任务的执行方式和测试用例的执行方式，调用相应的测试工具执行所有测试用例，完成对指定的NFV测试对象的测试工作。
图4示出根据本公开的一些示例性实施例的网络功能虚拟化NFV测试装置的示意图。
如图4所示，该实施例的网络功能虚拟化NFV测试装置400包括：测试工作流模板部署模块401、测试工作流实例化模块402和测试用例执行模块403。
测试工作流模板部署模块401，被配置为根据指定的NFV测试对象的测试需求，确定测试工作流模板，测试工作流模板包括指定的NFV测试对象的一个或多个NFV测试任务以及与NFV测试任务相关联的一个或多个测试用例。
测试工作流实例化模块402，被配置为根据NFV测试对象的相关测试属性的值，对测试工作流模板进行实例化处理，生成测试工作流实例。
测试用例执行模块403，被配置为根据测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式，执行测试工作流实例中各个NFV测试任务对应的所有测试用例，并输出执行结果。
图5示出根据本公开的一些示例性实施例的网络功能虚拟化NFV测试装置的示意图。
如图5所示，该实施例的网络功能虚拟化NFV测试装置500包括：存储器501以及耦接至该存储器501的处理器502，处理器502被配置为基于存储在存储器501中的指令，执行前述任意一些实施例中的网络功能虚拟化NFV测试方法。
其中，存储器501例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
装置500还可以包括输入输出接口503、网络接口504、存储接口505等。这些接口503，504，505以及存储器501和处理器502之间例如可以通过总线506连接。其中，输入输出接口503为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口504为各种联网设备提供连接接口。存储接口505为SD卡、U盘等外置存储设备提供连接接口。
图6示出根据本公开的一些示例性实施例的网络功能虚拟化NFV测试系统的架构示意图。
如图6所示，网络功能虚拟化NFV测试系统包括统一管理界面601、表现层状态转移应用程序接口(REST API)602、网络功能虚拟化NFV测试装置603、测试工具应用程序接口(Test Tool API)604、测试工具集合及框架605、开放应用程序接口(Open API)606、被测对象(System Under Test，SUT)607以及支持测试的硬件608。
其中，网络功能虚拟化NFV测试装置603例如可以是图4或图5的网络功能虚拟化NFV测试装置。
例如，在一些具体的实施例中，测试工具集合及框架605，可以被配置为用于响应网络功能虚拟化NFV测试装置的调用执行测试用例。具体地，在一些实施例中，测试工具集合及框架实现对测试工具进行集成和调度，包括测试工具调度器6053和各种测试工具，其中，测试工具例如包括开源测试工具6051、商业测试工具6052等其他测试工具。测试工具主要负责执行测试用例、输出测试结果；测试工具调度器6054根据上层指令调度相应的测试工具执行测试用例。
例如，在一些具体的实施例中，测试对象(System Under Test，SUT，也称为被测试系统)607，例如可以包括网络功能虚拟化基础设施(Network Functions VirtualizationInfrastructure，NFVI)6071、虚拟化基础设施管理器(Virtualised infrastructuremanager，VIM)6072、网络功能虚拟化(Network Functions Virtualization，NFV)6073、虚拟网络功能管理器(Virtualization Network Functions Manager，VNFM)6074、网元管理系统(Element Manage System，EMS)6075、网络功能虚拟化编排器(Network FunctionsVirtualization Orchestrator，NFVO)6076的实例等。
例如，在一些实施例中，网络功能虚拟化NFV测试系统还包括被测对象的标准北向应用程序接口，测试工具框架对外暴露的应用程序接口，这些接口被用于屏蔽异构产品间的差异性。本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (14)
1.一种网络功能虚拟化NFV测试方法，其特征在于，包括：
根据指定的NFV测试对象的测试需求，确定测试工作流模板，所述测试工作流模板包括指定的NFV测试对象的一个或多个NFV测试任务以及与所述NFV测试任务相关联的一个或多个测试用例；
根据所述NFV测试对象的相关测试属性的值，对所述测试工作流模板进行实例化处理，生成测试工作流实例；
根据所述测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式，执行所述测试工作流实例中各个NFV测试任务对应的所有测试用例，并输出执行结果。
2.根据权利要求1所述的网络功能虚拟化NFV测试方法，其特征在于，所述确定测试工作流模板包括：
根据指定的NFV测试对象的测试需求，从测试工作流模板库中选择测试工作流模板，或者，根据指定的NFV测试对象的测试需求生成相应的测试工作流模板，并添加到所述测试工作流模板库。
3.根据权利要求2所述的网络功能虚拟化NFV测试方法，其特征在于，所述根据指定的NFV测试对象的测试需求生成相应的测试工作流模板包括：
根据指定的测试对象的测试需求，确定NFV测试任务以及每个NFV测试任务对应的测试用例和所述测试对象的相关测试属性；
根据相关测试属性对所述NFV测试任务以及所述每个NFV测试任务对应的测试用例进行编排，生成测试工作流模板。
4.根据权利要求1所述的网络功能虚拟化NFV测试方法，其特征在于，
所述测试对象的相关测试属性包括NFV测试任务的属性和测试用例的属性；
所述对所述测试工作流模板进行实例化处理包括：
根据NFV测试任务的属性的值，对所述测试工作流模板的NFV测试任务进行实例化处理；
根据测试用例的属性的值，对测试工作流模板的测试用例进行实例化处理。
5.根据权利要求4所述的网络功能虚拟化NFV测试方法，其特征在于，所述测试用例的属性包括测试用例的测试工具、测试用例的类型、测试用例之间传递的参数、测试用例的执行方式、测试用例的输入和输出以及测试用例的执行次数中的一种或多种。
6.根据权利要求4所述的网络功能虚拟化NFV测试方法，其特征在于，所述NFV测试任务的属性包括NFV测试任务的执行方式。
7.根据权利要求1所述的网络功能虚拟化NFV测试方法，其特征在于，所述NFV测试任务的执行方式属性包括顺序执行、并列执行、循环执行或者条件执行。
8.根据权利要求1所述的网络功能虚拟化NFV测试方法，其特征在于，还包括：
将所述测试工作流实例或者所述测试工作流实例的执行结果中的一项或多项保存到测试日志。
9.根据权利要求1所述的网络功能虚拟化NFV测试方法，其特征在于，所述NFV测试对象包括网络功能虚拟化基础设施NFVI、虚拟化基础设施管理器VIM、网络功能虚拟化NFV网元、虚拟网络功能管理器VNFM、网元管理系统EMS、网络功能虚拟化编排器NFVO实例中的一种或多种。
10.一种网络功能虚拟化NFV测试装置，其特征在于，包括：
工作流模板部署模块，被配置为根据指定的NFV测试对象的测试需求，确定测试工作流模板，所述测试工作流模板包括指定的NFV测试对象的一个或多个NFV测试任务以及与所述NFV测试任务相关联的一个或多个测试用例；
测试工作流实例化模块，被配置为根据所述NFV测试对象的相关测试属性的值，对所述测试工作流模板进行实例化处理，生成测试工作流实例；
测试用例执行模块，被配置为根据所述测试工作流实例规定的NFV测试任务的执行方式和测试用例的执行方式，执行所述测试工作流实例中各个NFV测试任务对应的所有测试用例，并输出执行结果。
11.一种网络功能虚拟化NFV测试装置，其特征在于，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-9中任一项所述的网络功能虚拟化NFV测试方法。
12.一种网络功能虚拟化NFV测试系统，其特征在于，包括：
如权利要求10或11所述的网络功能虚拟化NFV测试装置；
测试工具集合，被配置为用于响应网络功能虚拟化NFV测试装置的调用执行测试用例；
以及
用于连接所述网络功能虚拟化NFV测试装置与所述测试工具集合的接口。
13.根据权利要求12所述的网络功能虚拟化NFV测试系统，其特征在于，还包括用户管理界面，被配置为输入测试需求及输出测试工作流实例和测试的执行结果。
14.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-9中任一项所述的网络功能虚拟化NFV测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010790759.XA CN114070764B (zh) | 2020-08-07 | 2020-08-07 | 网络功能虚拟化nfv测试方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010790759.XA CN114070764B (zh) | 2020-08-07 | 2020-08-07 | 网络功能虚拟化nfv测试方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114070764A true CN114070764A (zh) | 2022-02-18 |
| CN114070764B CN114070764B (zh) | 2024-06-18 |
Family
ID=80232712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010790759.XA Active CN114070764B (zh) | 2020-08-07 | 2020-08-07 | 网络功能虚拟化nfv测试方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114070764B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080184206A1 (en) * | 2007-01-31 | 2008-07-31 | Oracle International Corporation | Computer-implemented methods and systems for generating software testing documentation and test results management system using same |
| CN103186457A (zh) * | 2011-12-29 | 2013-07-03 | 阿里巴巴集团控股有限公司 | 一种自动生成测试用例的方法和装置 |
| CN103198009A (zh) * | 2012-01-04 | 2013-07-10 | 中国移动通信集团公司 | 一种通用测试方法、系统及相应装置 |
| CN103675528A (zh) * | 2013-11-26 | 2014-03-26 | 许继电气股份有限公司 | 一种基于特征字的继电保护装置自动测试方法与装置 |
| US20180121335A1 (en) * | 2016-10-27 | 2018-05-03 | International Business Machines Corporation | Testing a virtual network function by a virtual network tester |
| CN109074280A (zh) * | 2016-04-29 | 2018-12-21 | 英特尔Ip公司 | 网络功能虚拟化 |
| CN109075991A (zh) * | 2016-02-26 | 2018-12-21 | 诺基亚通信公司 | 云验证和测试自动化 |
| CN109491889A (zh) * | 2018-10-10 | 2019-03-19 | 中国联合网络通信集团有限公司 | Nfv中自动化测试的方法和装置 |
| CN110348216A (zh) * | 2019-05-24 | 2019-10-18 | 中国科学院信息工程研究所 | 一种针对云计算系统虚拟设备的模糊测试方法及系统 |
| US10469317B1 (en) * | 2017-03-29 | 2019-11-05 | Juniper Networks, Inc. | Virtualized network function descriptors for virtualized network function configuration |
| CN110737594A (zh) * | 2019-09-19 | 2020-01-31 | 武汉迎风聚智科技有限公司 | 自动生成测试用例的数据库标准符合性测试方法及装置 |
-
2020
- 2020-08-07 CN CN202010790759.XA patent/CN114070764B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080184206A1 (en) * | 2007-01-31 | 2008-07-31 | Oracle International Corporation | Computer-implemented methods and systems for generating software testing documentation and test results management system using same |
| CN103186457A (zh) * | 2011-12-29 | 2013-07-03 | 阿里巴巴集团控股有限公司 | 一种自动生成测试用例的方法和装置 |
| CN103198009A (zh) * | 2012-01-04 | 2013-07-10 | 中国移动通信集团公司 | 一种通用测试方法、系统及相应装置 |
| CN103675528A (zh) * | 2013-11-26 | 2014-03-26 | 许继电气股份有限公司 | 一种基于特征字的继电保护装置自动测试方法与装置 |
| CN109075991A (zh) * | 2016-02-26 | 2018-12-21 | 诺基亚通信公司 | 云验证和测试自动化 |
| CN109074280A (zh) * | 2016-04-29 | 2018-12-21 | 英特尔Ip公司 | 网络功能虚拟化 |
| US20180121335A1 (en) * | 2016-10-27 | 2018-05-03 | International Business Machines Corporation | Testing a virtual network function by a virtual network tester |
| US10469317B1 (en) * | 2017-03-29 | 2019-11-05 | Juniper Networks, Inc. | Virtualized network function descriptors for virtualized network function configuration |
| CN109491889A (zh) * | 2018-10-10 | 2019-03-19 | 中国联合网络通信集团有限公司 | Nfv中自动化测试的方法和装置 |
| CN110348216A (zh) * | 2019-05-24 | 2019-10-18 | 中国科学院信息工程研究所 | 一种针对云计算系统虚拟设备的模糊测试方法及系统 |
| CN110737594A (zh) * | 2019-09-19 | 2020-01-31 | 武汉迎风聚智科技有限公司 | 自动生成测试用例的数据库标准符合性测试方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 杨朝晖等: "微服务编排在网管支撑系统中的研究与应用", 电信工程技术与标准化, 30 June 2019 (2019-06-30) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114070764B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110795219B (zh) | 适用于多种计算框架的资源调度方法及系统 | |
| WO2019153829A1 (zh) | 一种容器Dockerfile、容器镜像快速生成方法及系统 | |
| Liu et al. | PERTS: A prototyping environment for real-time systems | |
| WO2018036342A1 (zh) | 基于csar的模型文件的可视化设计方法及装置 | |
| US9047160B2 (en) | Designing and building virtual images using semantically rich composable software image bundles | |
| US20100280863A1 (en) | Automated Model Generation For Computer Based Business Process | |
| US9323619B2 (en) | Deploying parallel data integration applications to distributed computing environments | |
| US20100262558A1 (en) | Incorporating Development Tools In System For Deploying Computer Based Process On Shared Infrastructure | |
| US7640538B2 (en) | Virtual threads in business process programs | |
| Zhu et al. | If docker is the answer, what is the question? | |
| Marzolla | Simulation-based performance modeling of UML software architectures. | |
| CN112948110B (zh) | 云应用的拓扑与编排系统、方法、存储介质及电子设备 | |
| CN114818565A (zh) | 基于python的仿真环境管理平台、方法、设备及介质 | |
| US9946668B1 (en) | Automatic prioritization of interrupts in a modeling environment | |
| CN113448678A (zh) | 应用信息生成方法、部署方法及装置、系统、存储介质 | |
| CN114070764B (zh) | 网络功能虚拟化nfv测试方法、装置和系统 | |
| CN113037582A (zh) | 网络功能虚拟化nfv测试方法、装置和系统 | |
| US11809897B2 (en) | Chained triggering of builds in continuous integration environments | |
| US9262141B1 (en) | Distributed computations of graphical programs having a pattern | |
| Bhattacharjee et al. | Cloudcamp: A model-driven generative approach for automating cloud application deployment and management | |
| Fanuli | Allowing prototyping of applications running on heterogeneous HW through a multi-tenant platform based on cloud microservices | |
| Straesser et al. | Kubernetes-in-the-Loop: Enriching Microservice Simulation Through Authentic Container Orchestration | |
| Cerin et al. | BOINC as a service for the slapos cloud: Tools and methods | |
| WO2009082387A1 (en) | Setting up development environment for computer based business process | |
| Huang et al. | Lifting Existing Applications to the Cloud: Abstractions, Separation of Responsibilities and Tooling Support. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |