CN117242754A - 用于自主网络测试用例生成的方法、系统和计算机可读介质 - Google Patents

用于自主网络测试用例生成的方法、系统和计算机可读介质 Download PDF

Info

Publication number
CN117242754A
CN117242754A CN202280030708.4A CN202280030708A CN117242754A CN 117242754 A CN117242754 A CN 117242754A CN 202280030708 A CN202280030708 A CN 202280030708A CN 117242754 A CN117242754 A CN 117242754A
Authority
CN
China
Prior art keywords
network
network function
fault condition
test cases
function test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280030708.4A
Other languages
English (en)
Inventor
V·萨克塞纳
V·阿拉瓦姆丹
K·萨普拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oracle International Corp
Original Assignee
Oracle International Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oracle International Corp filed Critical Oracle International Corp
Publication of CN117242754A publication Critical patent/CN117242754A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0886—Fully automatic configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/062—Generation of reports related to network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种用于自主地生成网络功能测试用例的方法包括检测电信网络的核心网络的网络功能中的故障情况。该方法包括响应于检测到故障情况，基于故障情况自主地生成网络功能测试用例。网络功能测试用例包括检测故障情况时检测到的一个或多个网络状态参数。该方法包括将网络功能测试用例提供给网络测试系统，该网络测试系统被配置为通过重复一个或多个网络状态参数并确定网络功能是否重复故障情况来执行网络功能测试用例。

Description

用于自主网络测试用例生成的方法、系统和计算机可读介质
优先权申明
本申请要求于2021年3月19日提交的美国专利申请序列No.17/207,393的优先权，该专利申请的公开内容通过引用整体并入本文。
技术领域
本文描述的主题涉及测试电信网络。更特别地，本文描述的主题涉及用于自主网络测试用例生成的方法、系统和计算机可读介质。
背景技术
第三代合作伙伴计划(3GPP)是电信标准协会团体之间的合作项目。3GPP定义了电信网络的移动电话系统规范，电信网络包括3G、4G和长期演进(LTE)网络。
3GPP的下一代网络是5G网络。5G规范的目标是高数据速率、减少时延、节能、降低成本、更高的系统容量以及增加连接设备数量。
多供应商环境部署各种3GPP定义的5G网络功能。在生产部署中，不同流量场景下的网络功能可能会出现故障/错误。电信供应商正在采用持续集成/持续交付(CI/CD)流程。这引入了交付软件之前和之后的自动化测试过程。
鉴于这些和其它困难，需要用于自主网络测试用例生成的方法、系统和计算机可读介质。
发明内容
一种用于自主地生成网络功能测试用例的方法包括检测电信网络的核心网络的网络功能中的故障情况。该方法包括响应于检测到故障情况，基于故障情况自主地生成网络功能测试用例。网络功能测试用例包括检测故障情况时检测到的一个或多个网络状态参数。该方法包括将网络功能测试用例提供给网络测试系统，该网络测试系统被配置为通过重复一个或多个网络状态参数并确定网络功能是否重复故障情况来执行网络功能测试用例。
根据本文描述的主题的另一方面，检测故障情况包括分析一个或多个网络性能度量或一个或多个网络性能警报或两者。
根据本文描述的主题的另一方面，检测故障情况包括解析一个或多个网络功能应用日志或一个或多个网络功能踪迹或两者。
根据本文描述的主题的另一方面，执行网络功能测试用例包括针对多个不同的网络流量状况重复执行网络功能测试用例。
根据本文描述的主题的另一方面，检测故障情况包括向根据网络功能的训练监视数据训练的机器学习分类器提供网络功能监视数据。
根据本文描述的主题的另一方面，向网络测试系统提供网络功能测试用例包括将网络功能测试用例与网络功能以及电信网络的核心网络的测试用例的参考库中用于网络功能的一个或多个其它网络功能测试用例相关联。
根据本文描述的主题的另一方面，将网络功能测试用例提供给网络测试系统包括确定网络功能测试用例尚未存在于电信网络的核心网络的测试用例的参考库中。
根据本文描述的主题的另一方面，一种用于自主地生成网络功能测试用例的系统包括至少一个处理器和存储器。该系统还包括由至少一个处理器实现的自主测试用例生成器，该生成器被配置为检测电信网络的核心网络的网络功能中的故障情况，并且响应于检测到故障情况，自主地基于故障情况生成网络功能测试用例。网络功能测试用例包括检测故障情况时检测到的一个或多个网络状态参数。自主测试用例生成器被配置为将网络功能测试用例提供给网络测试系统，该网络测试系统被配置为通过重复一个或多个网络状态参数并确定网络功能是否重复故障情况来执行网络功能测试用例。
根据本文描述的主题的另一方面，检测故障情况包括分析一个或多个网络性能度量或一个或多个网络性能警报或两者。
根据本文描述的主题的另一方面，检测故障情况包括解析一个或多个网络功能应用日志或一个或多个网络功能踪迹或两者。
根据本文描述的主题的另一方面，执行网络功能测试用例包括针对多个不同的网络流量状况重复执行网络功能测试用例。
根据本文描述的主题的另一方面，检测故障情况包括向根据网络功能的训练监视数据训练的机器学习分类器提供网络功能监视数据。
根据本文描述的主题的另一方面，向网络测试系统提供网络功能测试用例包括将网络功能测试用例与网络功能以及电信网络的核心网络的测试用例的参考库中用于网络功能的一个或多个其它网络功能测试用例相关联。
根据本文描述的主题的另一方面，将网络功能测试用例提供给网络测试系统包括确定网络功能测试用例尚未存在于电信网络的核心网络的测试用例的参考库中。
根据本文描述的主题的另一方面，提供了一种其上存储有可执行指令的非暂态计算机可读介质，所述可执行指令在由计算机的处理器执行时控制计算机执行步骤。这些步骤包括检测电信网络的核心网络的网络功能中的故障情况，以及响应于检测到故障情况，基于故障情况自主地生成网络功能测试用例。网络功能测试用例包括检测故障情况时检测到的一个或多个网络状态参数。这些步骤包括将网络功能测试用例提供给网络测试系统，该网络测试系统被配置为通过重复一个或多个网络状态参数并确定网络功能是否重复故障情况来执行网络功能测试用例。
本文描述的主题可以用与硬件和/或固件结合的软件来实现。例如，本文描述的主题可以以由处理器执行的软件来实现。在一个示例实施方式中，本文描述的主题可以使用其上存储有计算机可执行指令的计算机可读介质来实现，所述计算机可执行指令在由计算机的处理器执行时控制计算机执行步骤。
适合于实现本文描述的主题的示例计算机可读介质包括非暂态设备，诸如盘存储器设备、芯片存储器设备、可编程逻辑设备和专用集成电路。另外，实现本文描述的主题的计算机可读介质可以位于单个设备或计算平台上或者可以分布在多个设备或计算平台上。
附图说明
现在将参考附图解释本文描述的主题，其中：
图1是图示示例5G系统网络体系架构的框图；
图2是自主测试用例生成器的示例网络环境的框图；
图3是图示自主测试用例生成器的示例结构的框图；以及
图4是用于自主地生成网络功能测试用例的示例方法的流程图。
具体实施方式
本文描述的主题涉及用于防止订户标识符从电信网络泄漏的方法、系统和计算机可读介质。
在5G电信网络中，提供服务的网络节点被称为生产者网络功能(NF)。消费服务的网络节点被称为消费者NF。网络功能可以既是生产者NF又是消费者NF，这取决于它是消费服务还是提供服务。NF实例是提供服务的生产者NF的实例。给定的生产者NF可以包括多个NF实例。
多供应商环境部署各种3GPP定义的5G网络功能。在生产部署中，不同流量场景下的网络功能可能会出现故障/错误。电信供应商正在采用持续集成/持续交付(CI/CD)流程。这引入了交付软件之前和之后的自动化测试过程。
常规系统缺乏在检测到故障时自动生成测试场景的机制。本规范描述了通过分析应用日志、警报数据、度量数据、踪迹数据并自动准备测试用例来检测故障情况的方法和系统。测试用例可以充当测试系统(例如，诸如Communications 5G自动化测试套件的行为数据驱动的测试框架)的输入。本说明书中描述的方法和系统可以用于准备故障场景的具有核心网络的相关细节的报告。
图1是图示示例5G系统网络体系架构的框图。图1中的体系架构包括NRF 100和SCP101，它们可以位于同一归属公共陆地移动网络(HPLMN)中。NRF 100可以维护可用的生产者NF服务实例及其支持的服务的简档，并允许消费者NF或SCP订阅并被通知新的/更新后的生产者NF服务实例的注册。
SCP 101还可以支持服务发现和生产者NF实例的选择。SCP 101可以对消费者和生产者NF之间的连接执行负载平衡。另外，使用本文描述的方法，SCP 101可以执行基于优选NF位置的选择和路由。
NRF 100是NF或生产者NF实例的服务简档的储存库。为了与生产者NF实例通信，消费者NF或SCP必须从NRF 100获得NF或服务简档或生产者NF实例。NF或服务简档是在3GPP技术规范(TS)29.510中定义的JavaScript对象表示法(JSON)数据结构。
在图1中，任何节点(除了NRF 100之外)可以是消费者NF或生产者NF，这取决于它们是请求服务还是提供服务。在所示示例中，节点包括在网络中执行策略相关操作的策略控制功能(PCF)102、管理用户数据的用户数据管理(UDM)功能104、以及提供应用服务的应用功能(AF)106。
图1中所示的节点还包括管理接入和移动性管理功能(AMF)110与PCF 102之间的会话的会话管理功能(SMF)108。AMF 110执行与4G网络中由移动性管理实体(MME)执行的移动性管理操作类似的移动性管理操作。认证服务器功能(AUSF)112为诸如用户装备(UE)114之类的寻求接入网络的用户装备(UE)执行认证服务。
网络切片选择功能(NSSF)116为寻求访问与网络切片相关联的特定网络能力和特性的设备提供网络切片服务。网络暴露功能(NEF)118为寻求获得关于物联网(IoT)设备和附接到网络的其它UE的信息的应用功能提供应用编程接口(API)。NEF 118执行与4G网络中的服务能力暴露功能(SCEF)类似的功能。
无线电接入网络(RAN)120经由无线链路将用户装备(UE)114连接到网络。可以使用g-Node B(gNB)(图1中未示出)或其它无线接入点来接入无线电接入网络120。用户平面功能(UPF)122可以支持用于用户平面服务的各种代理功能。这种代理功能的一个示例是多路径传输控制协议(MPTCP)代理功能。
UPF 122还可以支持性能测量功能，UE 114可以使用该性能测量功能来获得网络性能测量。图1中还图示了数据网络(DN)124，UE通过该数据网络访问数据网络服务，诸如互联网服务。
SEPP 126过滤来自另一个PLMN的传入流量，并对离开归属PLMN的流量执行拓扑隐藏。SEPP 126可以与管理外部PLMN的安全性的外部PLMN中的SEPP通信。因此，不同PLMN中的NF之间的流量可以穿越两个SEPP功能，一个用于归属PLMN，另一个用于外部PLMN。
图1示出了自主测试用例生成器150。自主测试用例生成器150是电信网络的核心网络的一部分或者与电信网络的核心网络通信。自主测试用例生成器150由至少一个处理器实现，并且被配置为检测电信网络的核心网络的网络功能中的故障情况，并且响应于检测到故障情况，自主地基于故障情况生成网络功能测试用例。
网络功能测试用例包括检测故障情况时检测到的一个或多个网络状态参数。自主测试用例生成器150被配置为将网络功能测试用例提供给网络测试系统，该网络测试系统被配置为通过重复一个或多个网络状态参数并确定网络功能是否重复故障情况来执行网络功能测试用例。
与一些常规系统相比，电信网络核心网络可以使用自主测试用例生成器150来实现以下优点中的一项或多项：
·目前，5G部署可以包括使用服务于不同PLMN和网络切片的各种部署模型部署的各种5G网络功能
ο网络运营商和软件供应商面临着保持网络功能健康且停机时间为零或最少的挑战
·自动化测试系统可能是各个网络运营商使用和采用某些网络功能的关键优先事项。自主测试用例生成器150可以使网络运营商和软件供应商能够自动地不断增强自动化测试系统中的测试用例套件
·当集成到整个核心网络系统中时，自主测试用例生成器150可以是有用的
·自主测试用例生成器150通过检测网络功能问题并将其报告给例如产品团队和运营团队来改进关键性能指标(KPI)和服务水平协议(SLA)
·自主测试用例生成器150可以用于自动创建具有与特定故障相关的细节的错误报告
·自主测试用例生成器150可以用于减少检测和创建5G故障情况的手动处理的开销
·自主测试用例生成器150可以用于创建鲁棒的核心网络功能
·自主测试用例生成器150可以用于在指定时间(例如，非高峰时间)使用自动生成的测试用例周期性地核实网络功能完整性，以声明根据规范操作的网络功能
图2是用于自主测试用例生成器150的示例网络环境200的框图。自主测试用例生成器150被配置为通过接收监视数据来检测第一网络功能202的故障情况。网络功能202可以是例如来自第二网络功能204的数据的消费者。自主测试用例生成器150可以执行网络功能202和网络功能204两者的监视。
网络功能202的监视数据可以包括例如警报和度量206或日志和踪迹208或两者。在一些示例中，检测故障情况包括分析一个或多个网络性能度量或一个或多个网络性能警报或两者。在一些示例中，检测故障情况包括解析一个或多个网络功能应用日志或一个或多个网络功能踪迹或两者。
一般而言，自主测试用例生成器150可以使用任何适当的技术来检测故障情况。例如，检测故障情况可以包括向根据网络功能的训练监视数据训练的机器学习分类器提供网络功能监视数据。
响应于检测到故障情况，自主测试用例生成器150被配置为基于故障情况自主地生成网络功能202的网络功能测试用例210。测试用例210指定检测故障情况时检测到的一个或多个网络状态参数。
测试用例210被提供给被配置为执行测试用例210的自动化网络测试系统212。通常，手动测试的运行和维护资源成本很高、可能非常耗时、缺乏适当的覆盖范围，并且由于重复性而容易出错。这导致了自动化这些测试的引入和吸引力。自动化测试用于提高软件开发、集成和部署生命周期中核实、检查或任何其它可重复任务的执行速度。
自动化网络测试系统212可以是行为数据驱动测试框架，诸如Communications 5G自动化测试套件。自动化测试套件(ATS)允许网络运营商使用自动化测试工具执行软件测试用例，然后将实际结果与预期或预测结果进行比较。在该处理中，无需用户干预。ATS可以作为在被测系统上使用的软件实现，以检查系统是否按预期工作，并提供4G和5G场景的端到端测试和回归测试，包括互通测试用例和网络功能(NF)仿真。
随着网络流量的发展，测试用例和报告可以被更新。使用经过定期测试用例审查并进行调整或开发新用例测试的测试系统对于保持网络运营是有用的。在当今的虚拟化和云原生环境中，4G/5G应用不再部署在专有硬件上，底层环境可能发生变化，并且通常超出网络运营商的控制范围。使用功能强大、根据网络运营商需求定制并提供有意义的报告和数据的回归测试是有用的。快速部署这些新测试用例的能力对于互操作和策略规则用例添加特别有用，这些添加可以快速完成、每天运行并且包括订户/订阅生命周期。
例如，自动化网络测试系统212可以通过重复网络状态参数并确定网络功能202是否重复故障情况来执行测试用例210。在一些示例中，执行测试用例210包括针对不同的网络流量状况重复执行测试用例210。
在一些示例中，自动化网络测试系统212被配置为将测试用例210与网络功能202以及电信网络的核心网络的测试用例的参考库中用于网络功能202的一个或多个其它网络功能测试用例相关联。自动化网络测试系统212和/或自主测试用例生成器150可以被配置为在添加测试用例210之前确定测试用例210尚未存在于电信网络的核心网络的测试用例的参考库中。
自动化网络测试系统212可以使用任何适当的部署模型，例如：
·集群内(In-Cluster)部署
·集群外(Out-Of-Cluster)部署
根据集群内部署模型，自动化网络测试系统212可以共存于其中部署NF的同一集群中。这个部署模型对于集群内测试是有用的。
根据集群外部署模型，网络运营商可以将自动化测试系统212部署在与其中部署NF的集群不同的单独集群中。
这个部署模型对于执行“集群外”测试是有用的，因为它：
·更符合生产用例
·所有NF很少共存于同一集群中
测试用例210还可以提供给网络运营团队214的计算机系统、网络功能产品团队216的计算机系统，以及存储与网络功能相关联的软件问题的错误数据库218。
图3是图示自主测试用例生成器150的示例结构的框图。
自主测试用例生成器150被配置为接收监视数据302。监视数据302可以包括例如来自不同网络功能的网络功能日志、踪迹、度量和警报。
自主测试用例生成器150在至少一个处理器和存储器304上实现。自主测试用例生成器150可以包括在至少一个处理器和存储器304上实现的错误检测器和数据解析器306。自主测试用例生成器150可以包括在至少一个处理器和存储器304上实现的测试用例创建器和事件呈现器308。
在操作中，错误检测器和数据解析器306可以执行以下操作中的一项或多项：
·错误检测器和数据解析器306可以连续地接收和分析监视数据302，例如，一个或多个网络功能的度量、警报、踪迹和应用日志
·错误检测器和数据解析器306可以确保在发生任何故障时收集错误日志、踪迹、度量和警报信息
·在一些示例中，错误检测器和数据解析器306可以使用机器学习算法来应用分析驱动的规则。例如，分类和回归树(CART)可以应用于收集到的监视数据并用于生成一个或多个错误触发点，例如，输入服务操作、所涉及的数据、统一资源标识符(URI)和故障原因。
错误检测器和数据解析器306可以包括在特定于被监视的网络功能的类型的训练数据上训练的机器学习分类器。网络功能的开发人员可以提供适当的训练数据，这些训练数据指定例如在各种网络操作状态下网络功能的预期操作。
在操作中，测试用例创建器和事件呈现器308可以执行以下操作中的一项或多项：
·测试用例创建器和事件呈现器308可以确保对照存储现有测试用例的参考测试库310检查检测到的故障。如果新检测到的测试用例不是现有测试套件的一部分，那么测试用例创建器和事件呈现器308可以例如通过存储在检测故障情况时检测到的一个或多个网络参数来生成测试用例。
·测试用例创建器和事件呈现器308可以基于5G NF类型、5G服务操作、错误类别或使用任何适当类型的类别来布置测试用例。
·测试用例创建器和事件呈现器308可以基于检测到的故障情况来创建测试用例，并且如果测试用例不存在于参考测试库310中，那么将测试用例发送到自动化网络测试系统212。自动化网络测试系统212又可以将测试用例存储在测试用例的库312中。
·测试用例创建器和事件呈现器308可以将检测到的故障情况的细节传输到网络运营和产品开发团队314的计算机系统。
为了图示自主测试用例生成器150的操作，考虑以下5G自主测试用例生成器示例，该生成器可处理超文本传输协议(HTTP)代码500类型的检测到的故障情况。
假设错误检测器和数据解析器306通过分析在监视数据302中接收到的应用日志和踪迹数据来检测到针对故障引发的警报。错误检测器和数据解析器306分析检测到的失败情况并确定度量数据包括HTTP代码500的传输失败响应。
错误检测器和数据解析器306可以执行以下操作：
·查找HTTP状态代码500的规则
·使用为规则定义的动作项
·应用机器学习算法，例如，CART
·根据应用机器学习算法的分类和决策结果，收集5G输入数据，例如：
ο输入5G服务操作
οHTTP消息URL
οHTTP输入正文
ο错误消息
ο错误度量和警报细节
测试用例创建器和事件呈现器308可以例如通过存储如下数据来生成5G测试用例：
场景：5G NF PLMN-ID更新
预期结果：200-OK-Success
URI：http://<http-api-root>/NFServiceOperation/5GNFInstanceId
用例：
·给定初始化测试套件
·给定使用NFID1ocnf-microserviceName.NFName NFPort初始化NF连接
·然后使用NF NFID1
·然后检查并设置NF-Namespace
·然后发送NF NFID1Content-Type＝application/Jason-patch+json的自定义首部
·然后执行部分NFProfile更新PlmnIdUpdateInput.json NFID1
·然后验证HTTP响应代码200
·然后从HTTP响应nfInstaceId设置用户变量
·然后获取带有NFID1的NFInstance
测试用例创建器和事件呈现器308然后可以将测试用例传输到自动化网络测试系统212。
测试用例创建器和事件呈现器308然后可以将包含事件细节的消息传输到网络运营和产品开发团队314的计算机系统。例如，该消息可以指定：
·事件时间：<>
·事件细节：<>
·错误度量：TxErrorDetected[500]
·错误警报：AlertCriticalRate[500]
URI：
http://<http-api-root>/NFServiceOperation/5GNFInstanceId
JSON正文：内容
图4是用于自主地生成网络功能测试用例的示例方法400的流程图。
方法400包括检测电信网络的核心网络的网络功能中的故障情况(402)。在一些示例中，检测故障情况包括分析一个或多个网络性能度量或一个或多个网络性能警报或两者。在一些示例中，检测故障情况包括解析一个或多个网络功能应用日志或一个或多个网络功能踪迹或两者。
一般而言，方法400可以包括使用任何适当的技术来检测故障情况。例如，检测故障情况可以包括向根据网络功能的训练监视数据训练的机器学习分类器提供网络功能监视数据。
方法400包括响应于检测到故障情况，基于故障情况自主地生成网络功能测试用例(404)。网络功能测试用例包括检测故障情况时检测到的一个或多个网络状态参数。网络状态参数可以是表征在检测到故障情况时或在检测到故障情况之前网络或网络功能或两者的操作的任何适当类型的数据。例如，网络状态参数可以指定网络负载、被发送的消息的类型、网络功能日志数据等。
一般而言，生成网络功能测试用例包括存储网络状态参数，使得网络测试系统可以重复导致故障情况的条件。在一些情况下，网络功能测试用例可以包括诸如网络负载之类的操作参数。在一些情况下，网络功能测试用例可以指定在检测到故障情况之前发生的某些操作。
例如，网络功能测试用例可以指定在检测到故障情况之前发送到网络功能的消息序列。在这些示例中，自动化测试系统可以在网络功能更新之后重复消息序列以确定网络功能是否重复故障情况。
方法400包括将网络功能测试用例提供给网络测试系统，该网络测试系统被配置为通过重复一个或多个网络状态参数并确定网络功能是否重复故障情况来执行网络功能测试用例(406)。在一些示例中，执行网络功能测试用例包括针对多个不同的网络流量状况重复执行网络功能测试用例。
向网络测试系统提供网络功能测试用例可以包括将网络功能测试用例与网络功能以及电信网络的核心网络的测试用例的参考库中用于网络功能的一个或多个其它网络功能测试用例相关联。将网络功能测试用例提供给网络测试系统包括确定网络功能测试用例尚未存在于电信网络的核心网络的测试用例的参考库中。
本公开的范围包括本说明书中公开的任何特征或特征的组合(明确地或隐含地)，或者所公开的特征的任何泛化，无论这些特征或泛化是否减轻了本说明书中描述的任何或所有问题。因此，在本申请(或要求本申请优先权的申请)的审查期间，可以针对任何这样的特征组合提出新的权利要求。
特别地，参考所附权利要求，从属权利要求的特征可以与独立权利要求的特征组合，并且各个独立权利要求的特征可以以任何适当的方式组合，而不仅仅是以所附权利要求中列举的具体组合。

Claims (19)

1.一种用于自主地生成网络功能测试用例的方法，所述方法包括：
检测电信网络的核心网络的网络功能中的故障情况；
响应于检测到故障情况，基于故障情况自主地生成网络功能测试用例，其中网络功能测试用例包括检测故障情况时检测到的一个或多个网络状态参数；以及
将网络功能测试用例提供给网络测试系统，所述网络测试系统被配置为通过重复所述一个或多个网络状态参数并确定网络功能是否重复故障情况来执行网络功能测试用例。
2.如权利要求1所述的方法，其中检测故障情况包括分析一个或多个网络性能度量或一个或多个网络性能警报或两者。
3.如权利要求1或2所述的方法，其中检测故障情况包括解析一个或多个网络功能应用日志或一个或多个网络功能踪迹或两者。
4.如前述权利要求中的任一项所述的方法，其中执行网络功能测试用例包括针对多个不同的网络流量状况重复执行网络功能测试用例。
5.如前述权利要求中的任一项所述的方法，其中检测故障情况包括将网络功能监视数据提供给根据网络功能的训练监视数据训练的机器学习分类器。
6.如前述权利要求中的任一项所述的方法，其中将网络功能测试用例提供给网络测试系统包括将网络功能测试用例与网络功能以及电信网络的核心网络的测试用例的参考库中用于网络功能的一个或多个其它网络功能测试用例相关联。
7.如前述权利要求中的任一项所述的方法，其中将网络功能测试用例提供给网络测试系统包括确定网络功能测试用例尚未存在于电信网络的核心网络的测试用例的参考库中。
8.一种用于自主地生成网络功能测试用例的系统，所述系统包括：
至少一个处理器和存储器；以及
自主测试用例生成器，由所述至少一个处理器实现并且被配置为：
检测电信网络的核心网络的网络功能中的故障情况；
响应于检测到故障情况，基于故障情况自主地生成网络功能测试用例，其中网络功能测试用例包括检测故障情况时检测到的一个或多个网络状态参数；以及
将网络功能测试用例提供给网络测试系统，所述网络测试系统被配置为通过重复所述一个或多个网络状态参数并确定网络功能是否重复故障情况来执行网络功能测试用例。
9.如权利要求8所述的系统，其中检测故障情况包括分析一个或多个网络性能度量或一个或多个网络性能警报或两者。
10.如权利要求8或9所述的系统，其中检测故障情况包括解析一个或多个网络功能应用日志或一个或多个网络功能踪迹或两者。
11.如权利要求8至10中的任一项所述的系统，其中执行网络功能测试用例包括针对多个不同的网络流量状况重复执行网络功能测试用例。
12.如权利要求8至11中的任一项所述的系统，其中检测故障情况包括将网络功能监视数据提供给根据网络功能的训练监视数据训练的机器学习分类器。
13.如权利要求8至12中的任一项所述的系统，其中将网络功能测试用例提供给网络测试系统包括将网络功能测试用例与网络功能以及电信网络的核心网络的测试用例的参考库中用于网络功能的一个或多个其它网络功能测试用例相关联。
14.如权利要求8至13中的任一项所述的系统，其中将网络功能测试用例提供给网络测试系统包括确定网络功能测试用例尚未存在于电信网络的核心网络的测试用例的参考库中。
15.一种其上存储有可执行指令的非暂态计算机可读介质，所述可执行指令在由计算机的处理器执行时，控制所述计算机执行包括以下各项的步骤：
检测电信网络的核心网络的网络功能中的故障情况；
响应于检测到故障情况，基于故障情况自主地生成网络功能测试用例，其中网络功能测试用例包括检测故障情况时检测到的一个或多个网络状态参数；以及
将网络功能测试用例提供给网络测试系统，所述网络测试系统被配置为通过重复所述一个或多个网络状态参数并确定网络功能是否重复故障情况来执行网络功能测试用例。
16.如权利要求15所述的非暂态计算机可读介质，其中检测故障情况包括分析一个或多个网络性能度量或一个或多个网络性能警报或两者。
17.如权利要求15或16所述的非暂态计算机可读介质，其中检测故障情况包括解析一个或多个网络功能应用日志或一个或多个网络功能踪迹或两者。
18.如权利要求15至17中的任一项所述的非暂态计算机可读介质，其中执行网络功能测试用例包括针对多个不同的网络流量状况重复执行网络功能测试用例。
19.如权利要求15至18中的任一项所述的非暂态计算机可读介质，其中检测故障情况包括将网络功能监视数据提供给根据网络功能的训练监视数据训练的机器学习分类器。
CN202280030708.4A 2021-03-19 2022-03-14 用于自主网络测试用例生成的方法、系统和计算机可读介质 Pending CN117242754A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/207,393 US11533247B2 (en) 2021-03-19 2021-03-19 Methods, systems, and computer readable media for autonomous network test case generation
US17/207,393 2021-03-19
PCT/US2022/020182 WO2022197604A1 (en) 2021-03-19 2022-03-14 Methods, systems, and computer readable media for autonomous network test case generation

Publications (1)

Publication Number Publication Date
CN117242754A true CN117242754A (zh) 2023-12-15

Family

ID=81326011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280030708.4A Pending CN117242754A (zh) 2021-03-19 2022-03-14 用于自主网络测试用例生成的方法、系统和计算机可读介质

Country Status (5)

Country Link
US (1) US11533247B2 (zh)
EP (1) EP4309348A1 (zh)
JP (1) JP2024511391A (zh)
CN (1) CN117242754A (zh)
WO (1) WO2022197604A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570068B1 (en) * 2021-12-28 2023-01-31 Rakuten Mobile, Inc. User-defined network congestion monitoring system
US12009983B1 (en) * 2022-12-13 2024-06-11 At&T Intellectual Property I, L.P. Automatically configuring network elements in multi-vendor and multi-domain topologies

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415396B1 (en) * 1999-03-26 2002-07-02 Lucent Technologies Inc. Automatic generation and maintenance of regression test cases from requirements
US7117411B2 (en) 2000-10-27 2006-10-03 Tekelec Methods and systems for testing communications network components
US6883119B1 (en) * 2001-11-05 2005-04-19 At&T Corp. Methods of proactive network maintenance by automatic creation of trouble tickets
US7844861B2 (en) * 2006-11-27 2010-11-30 Red Hat, Inc. Automatic generation of test cases from error data
CN102111801B (zh) 2010-12-23 2013-08-21 北京宜富泰网络测试实验室有限公司 第三代移动通信网网络管理接口的测试方法及系统
US9047414B1 (en) * 2011-03-15 2015-06-02 Symantec Corporation Method and apparatus for generating automated test case scripts from natural language test cases
US20140325278A1 (en) 2013-04-25 2014-10-30 Verizon Patent And Licensing Inc. Method and system for interactive and automated testing between deployed and test environments
JP6349935B2 (ja) 2014-05-08 2018-07-04 日本電気株式会社 自動試験シナリオ作成装置、自動試験シナリオ作成方法及びプログラム
US10261851B2 (en) 2015-01-23 2019-04-16 Lightbend, Inc. Anomaly detection using circumstance-specific detectors
US10673733B2 (en) * 2018-01-20 2020-06-02 Hcl Technologies Limited System for debugging a network environment
US20190361759A1 (en) * 2018-05-22 2019-11-28 At&T Intellectual Property I, L.P. System and method to identify failed points of network impacts in real time
US10771363B2 (en) * 2018-05-31 2020-09-08 Juniper Networks, Inc. Devices for analyzing and mitigating dropped packets
KR20200046415A (ko) 2018-10-24 2020-05-07 주식회사 케이티 네트워크 슬라이스 품질 테스트 방법 및 그 시스템
CN110048904B (zh) 2019-03-25 2021-03-23 北京天地互连信息技术有限公司 一种针对5g核心网中用户平面功能网元的测试系统和方法
US11595288B2 (en) * 2020-06-22 2023-02-28 T-Mobile Usa, Inc. Predicting and resolving issues within a telecommunication network

Also Published As

Publication number Publication date
US20220303206A1 (en) 2022-09-22
WO2022197604A1 (en) 2022-09-22
JP2024511391A (ja) 2024-03-13
EP4309348A1 (en) 2024-01-24
US11533247B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
US11855873B2 (en) Virtualized cellular network multi-stage test and ticketing environment
US9026851B2 (en) System and method for intelligent troubleshooting of in-service customer experience issues in communication networks
US20210320844A1 (en) Systems and methods for validation of virtualized network functions
KR20130125389A (ko) 네트워크 분석을 위한 방법 및 장치
CN117242754A (zh) 用于自主网络测试用例生成的方法、系统和计算机可读介质
US10375617B2 (en) Mobile application testing engine
US12061517B2 (en) Using user equipment data clusters and spatial temporal graphs of abnormalities for root cause analysis
US20160164732A1 (en) System and method for rule creation and parameter adaptation by data mining in a self-organizing network
WO2021233224A1 (zh) 一种故障处理方法、装置及系统
US11838172B2 (en) Identifying root cause of failures through detection of network scope failures
EP4135287A1 (en) Network management actions based on access point classification
US20210258396A1 (en) User-configurable end user monitoring (eum)
KR20180081959A (ko) 이동 통신 네트워크 이상 진단 장치 및 방법
US9466028B2 (en) Rule-based network diagnostics tool
CN110896544B (zh) 故障定界方法及装置
US20030110243A1 (en) Method, system and policy decision point (PDP) for policy-based test management
US20210250376A1 (en) End user security manager
US11882013B2 (en) Network traffic monitoring for anomalous behavior detection
US12088453B2 (en) Network anomaly detection and mitigation
US20230284042A1 (en) Control of communication devices in a wireless network
Touloupou et al. Intra: Introducing adaptation in 5G monitoring frameworks
WO2024052924A1 (en) Identification of root cause path with machine reasoning
KR20230158875A (ko) 인공지능을 활용한 네트워크 슬라이스 품질 보장 방법 및 장치
Lakshitha Karthik et al. Automatic Network Scanning System for Monitoring 4G and 5G Network Elements
WO2024132259A1 (en) Method for training a machine learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination