CN115104336A - 跟踪和公开用于生成分析的数据 - Google Patents
跟踪和公开用于生成分析的数据 Download PDFInfo
- Publication number
- CN115104336A CN115104336A CN202080096403.4A CN202080096403A CN115104336A CN 115104336 A CN115104336 A CN 115104336A CN 202080096403 A CN202080096403 A CN 202080096403A CN 115104336 A CN115104336 A CN 115104336A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- information
- network entity
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Mobile Radio Communication Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及移动网络中的分析生成。本发明涉及跟踪和公开数据信息,所述数据信息用于生成分析输出,以便能够检查所述分析输出。因此,本发明提出了分别支持所述分析生成及其检查的网络实体和方法。例如,用于分析生成的第一网络实体用于从第二网络实体接收用于提供与至少一个生成的分析输出关联的分析信息的请求。此外,所述第一网络实体用于向所述第二网络实体提供所述分析信息,其中,所述分析信息包括用于生成所述至少一个生成的分析输出的数据信息,其中,所述数据信息包括对数据的指引或所述数据本身。
Description
技术领域
本发明涉及移动网络中的分析生成。本发明具体涉及跟踪和公开数据,该数据用于生成分析输出,以使得能够检查分析输出。为此,本发明提出了分别支持分析生成和对生成的分析进行检查的网络实体和对应的方法。
背景技术
已经考虑管理面(例如,参见ETSI组规范(group specification,GS):零接触网络和服务管理(zero-touch network and service management,ZSM);参考架构(即ETSI GSZSM002 V1.1.1(2019-08))和控制面(例如,参见TS 23.288))的高度自动化,定义了下一代移动和无线通信(例如5G或更高代际)。这种自动化的一个关键组成部分是分析/学习/人工智能(artificial intelligence,AI)服务。
在本发明中,术语“分析服务”通常用于捕获所有这些服务。在移动网络管理面(例如,管理数据分析服务(management data analytic service,MDAS))或控制面(如网络数据分析功能(network data analytics function,NWDAF))中,定义了提供智能和支持系统自动化的实体。
网络运营商可能希望跟踪和检查某个分析服务产生了特定的分析输出的原因,例如,它提供了由某些实体使用的特定建议的原因,或它获得了对网络的特定认识的原因。在没有理解分析输出的能力的情况下,运营商没有能力识别分析服务的行为和/或调试分析服务的行为中的错误。
目前,没有令人满意的方法供运营商调试或检查分析服务,也没有已知的方案来解决这个问题。
发明内容
本发明的实施例基于这样的认识(insight),即例如对于运营商来说,目前不可能跟踪由分析服务生成的分析输出与由分析服务用来生成分析输出的数据之间的关系。
鉴于上述问题和缺点,本发明的实施例的目的是提高分析服务。目的是使得能够检查和调试分析服务。具体地,目标是使得能够深入了解分析服务的所生成的分析输出与用于生成分析输出的数据之间的关系。例如,应使运营商能够获取此关系,以便能够检查和调试分析服务。为此,本发明的实施例提出了实体,以及这些实体之间的新接口和信令。
该目的通过所附独立权利要求中描述的本发明的实施例实现。从属权利要求中进一步限定了本发明实施例的有利实现。
本发明的第一方面提供了一种用于移动网络的分析生成的第一网络实体,第一网络实体用于:从第二网络实体接收用于提供与至少一个生成的分析输出关联的分析信息的请求;以及向第二网络实体提供分析信息,其中,分析信息包括用于生成至少一个生成的分析输出的数据信息,其中,数据信息包括对数据的指引或数据本身。
术语“分析生成”意味着第一网络实体通常可以用于提供分析服务,具体地,用于生成一个或更多个分析输出。每个分析输出可以包括建议和/或认识。分析服务的分析输出可以通过由第一网络实体实现的一个或更多个分析功能(例如,NWDAF或MDAS)来生成。
通过提供包括数据信息的分析信息,可以实现对分析输出的检查和调试,从而实现对分析服务的检查和调试。具体地,第二网络实体可以获得关于每个特定分析输出与用于生成该特定分析输出的数据之间的关系的信息。例如,通过能够获得该数据,分析输出的使用者可以验证分析服务的期望或不期望的功能。第一网络实体关联数据和分析输出并相应地提供包括数据信息的分析信息的能力被称为“跟踪能力”。
在第一方面的一种实现方式中,用于提供与至少一个生成的分析输出关联的分析信息的请求包括:用于标识至少一个生成的分析输出的标识信息。
因此,例如,在由第一网络实体提供的分析服务输出不同的分析输出的情况下,第二网络实体可以识别每个特定分析输出。此外,响应于来自第二网络实体的包括一个或更多个特定分析输出的标识信息的请求,第一网络实体可以提供正确的分析信息。
用于标识至少一个生成的分析输出的标识信息可以包括时间戳,和/或可以包括标识符,和/或可以包括在服务操作中使用的一组过滤器。
在第一方面的一种实现方式中,分析信息还包括用于标识数据信息的标识信息。
因此,第一网络实体可以用于标记与用于生成特定分析输出的数据关联的数据信息。例如,数据信息可以用分析输出的标识符标记。数据信息可以被根据请求提供给想要使用该信息的对象。
在第一方面的一种实现方式中,第一网络实体还用于接收用于跟踪用于生成至少一个生成的分析输出的数据信息的激活请求;以及在接收到激活请求时跟踪数据信息。
“跟踪数据信息”意味着第一网络实体用于确定和/或保存关于哪些数据被用于或将用于生成特定分析输出的信息。然后,第一网络实体可以提供与该特定分析输出关联的分析信息,其中,分析信息包括指示被用于或将用于生成该特定分析输出的数据的数据信息。
在第一方面的一种实现方式中,第一网络实体还用于保存包括一个或更多个条目的映射信息,每个条目与生成的分析输出关联,其中,每个条目包括与相应生成的分析输出关联的标识信息,并包括用于生成相应生成的分析输出的数据信息。
因此,第一网络实体用于跟踪用于生成每个特定分析输出的数据,并保存该数据与分析输出的关系。该跟踪能力的使用者可以是运营商,也可以是管理面或控制面服务或功能,也可以是外部实体,例如用于另一个移动网络的分析生成的网络实体。
在第一方面的一种实现方式中,每个条目还包括以下中的至少一个:用于移动网络的分析生成的网络实体的标识符,该网络实体用于生成相应生成的分析输出;使用相应生成的分析输出的网络实体的列表;用于生成相应生成的分析输出的数据信息的类型。
用于移动网络的分析生成的网络实体的标识符(该网络实体用于生成相应生成的分析输出)可以是第一网络实体的标识符。第一网络实体也可以保存这样的映射信息:该映射信息(也)与用于分析生成的一个或更多个其他网络实体关联。
在第一方面的一种实现方式中,对于每个数据信息,映射信息还包括以下中的至少一个:数据信息的标识符;数据信息的源;与数据信息关联的时间信息;应用于数据信息的操纵技术。
在第一方面的一种实现方式中,第一网络实体为控制面实体,具体包括网络数据分析功能(network data analytics function,NWDAF),或者第一网络实体为管理面实体,具体包括管理数据分析服务(management data analytics service,MDAS)。
管理面实体也可以是ETSI GS ZSM002 V1.1.1(2019-08)中的分析服务的实现。
本发明的第二方面提供了一种用于检查移动网络的分析生成的第二网络实体,第二网络实体用于:向用于分析生成的第一网络实体提供对与至少一个生成的分析输出关联的分析信息的请求;以及从第一网络实体接收分析信息,其中,分析信息包括用于生成至少一个生成的分析输出的数据信息,其中,数据信息包括对数据的指引或数据本身。
第二网络实体可以是第一网络实体提供的分析服务的使用者。相应地,第二网络实体可以用于例如根据请求接收由第一网络实体生成的一个或更多个分析输出。第二网络实体用于获得与特定分析输出关联的数据信息,并且因此可以检查接收到的分析输出和/或(通常)分析服务。例如,数据信息可以使得第二网络实体能够调试分析服务。需要说明的是,第二网络实体可以接收分析信息以及关联的分析输出。但是,第二网络实体也可以在接收到关联的分析输出之后请求分析信息。第二网络实体还可以请求与另一实体接收的分析输出关联的分析信息。也就是说,第二网络实体不必是分析输出的使用者。
在第二方面的一种实现方式中,第二网络实体用于:提供用于跟踪用于生成至少一个生成的分析输出的数据信息的激活请求。
这样,第二网络实体可以用于激活第一网络实体处的服务,该激活的服务然后可以向第二网络实体或另一实体提供包括数据信息的分析信息。
在第二方面的一种实现方式中,用于提供与至少一个生成的分析输出关联的分析信息的请求包括:用于标识至少一个生成的分析输出的标识信息。
用于标识至少一个生成的分析输出的标识信息可以包括时间戳,和/或可以包括标识符,和/或可以包括在服务操作中使用的一组过滤器。
在第二方面的一种实现方式中,分析信息还包括用于标识数据信息的标识信息。
在第二方面的一种实现方式中,数据信息包括对数据的指引,第二网络实体还用于:向第三网络实体发送包括数据信息的分析信息;以及接收来自第三网络实体的数据,该数据被数据信息中的对数据的指引所指引。
第三网络实体可以是数据湖实体,如具体实施方式所述。
在第二方面的一种实现方式中,第二网络实体为网络功能(network function,NF)、应用功能(application function,AF),或操作、管理和维护(operation,administration and management,OAM)功能。
本发明的第三方面提供了一种用于移动网络的分析生成的方法,该方法包括:接收用于提供与至少一个生成的分析输出关联的分析信息的请求;以及提供分析信息,其中,分析信息包括用于生成至少一个生成的分析输出的数据信息,其中,数据信息包括对数据的指引或数据本身。
在第三方面的一种实现方式中,用于提供与至少一个生成的分析输出关联的分析信息的请求包括:用于标识至少一个生成的分析输出的标识信息。
在第三方面的一种实现方式中,分析信息还包括用于标识数据信息的标识信息。
在第三方面的一种实现方式中,该方法还包括:接收用于跟踪用于生成至少一个生成的分析输出的数据信息的激活请求;以及在接收到激活请求时跟踪数据信息。
在第三方面的一种实现方式中,该方法还包括保存包括一个或更多个条目的映射信息,每个条目与生成的分析输出关联,其中,每个条目包括与相应生成的分析输出关联的标识信息,并包括用于生成相应生成的分析输出的数据信息。
在第三方面的一种实现方式中,每个条目还包括以下中的至少一个:用于移动网络的分析生成的网络实体的标识符,该网络实体用于生成相应生成的分析输出;使用相应生成的分析输出的网络实体的列表;用于生成相应生成的分析输出的数据信息的类型。
在第三方面的一种实现方式中,对于每个数据信息,映射信息还包括以下中的至少一个:数据信息的标识符;数据信息的源;与数据信息关联的时间信息;应用于数据信息的操纵技术。
在第三方面的一种实现方式中,该方法由控制面实体执行,具体是由NWDAF执行,或由管理面实体执行,具体是由MDAS执行。
第三方面的方法与第一方面的第一网络实体实现了相同的优点。
本发明的第四方面提供了一种用于检查移动网络的分析生成的方法,该方法包括:提供对与至少一个生成的分析输出关联的分析信息的请求;以及接收分析信息,其中,分析信息包括用于生成至少一个生成的分析输出的数据信息,其中,数据信息包括对数据的指引或数据本身。
在第四方面的一种实现方式中,该方法包括:提供用于跟踪用于生成至少一个生成的分析输出的数据信息的激活请求。
在第四方面的一种实现方式中,用于提供与至少一个生成的分析输出关联的分析信息的请求包括:用于标识至少一个生成的分析输出的标识信息。
在第四方面的一种实现方式中,分析信息还包括用于标识数据信息的标识信息。
在第四方面的一种实现方式中,数据信息包括对数据的指引,第二网络实体还用于:向第三网络实体发送包括数据信息的分析信息;以及接收来自第三网络实体的数据,该数据被数据信息中的对数据的指引所指引。
在第四方面的一种实现方式中,该方法由NF、AF或OAM功能执行。
第四方面的方法与第二方面的第二网络实体实现了相同的优点。
本发明的第五方面提供了一种计算机程序,该计算机程序包括程序代码,该程序代码用于当在计算机上执行时执行根据第三方面或第四方面或其实现方式中的任一种的方法。
本发明的第六方面提供了一种非暂态存储介质,该非暂态存储介质存储可执行程序代码,该可执行程序代码在由处理器执行时使得执行根据第三方面或第四方面或其实现方式中的任一种的方法。
需要说明的是,本申请中描述的所有设备、元件、单元和装置可以通过软件或硬件元件或其任何类型的组合实现。本申请中描述的各种实体执行的所有步骤以及所描述的将由各种实体执行的功能旨在表明:相应的实体适于或用于执行相应的步骤和功能。虽然在以下具体实施例的描述中,外部实体执行的具体功能或步骤没有在执行该具体步骤或功能的该实体的具体详述元件的描述中反映,但是技术人员应清楚,这些方法和功能可以通过相应的硬件或软件元件或其任何组合实现。
附图说明
将结合所附附图用下面具体实施例的描述阐述上述各方面及实现方式,在附图中:
图1示出了根据本发明的实施例的相互交互的第一网络实体和第二网络实体。
图2示出了根据本发明的实施例的第一网络实体。
图3示出了根据本发明的实施例的第一网络实体保存的映射信息。
图4示出了根据本发明的实施例的第二网络实体的示例,第二网络实体从根据本发明的实施例的第一网络实体请求分析信息。
图5示出了根据本发明的实施例的NWDAF作为第一网络实体的第一示例性使用选项。
图6示出了根据本发明的实施例的NWDAF作为第一网络实体的第二示例性使用选项。
图7示出了NWDAF服务扩展/增强的实现。
图8示出了第一网络实体与第二网络实体之间的交互。
图9示出了分析使用者使用来自NWDAF的分析输出以及OAM检查分析生成的交互。
具体实施方式
图1示出了根据本发明的实施例的相互交互的第一网络实体100和第二网络实体101。第一网络实体100适合于移动网络的分析生成,第二网络实体101适合于检查分析生成。第二网络实体101可以是(也可以不是)分析的使用者。分析可以由第一网络实体100以一个或更多个分析输出的形式提供为分析服务。
第二网络实体101用于向第一网络实体100提供对与一个或更多个生成的分析输出关联的分析信息103的请求102。相应地,第一网络实体100用于接收第二网络实体101提供的请求102。
此外,第一网络实体100用于向第二网络实体101提供分析信息103。分析信息103包括用于生成一个或更多个生成的分析输出201(见图2)的数据信息200,其中,数据信息200包括对数据202(见图2)的指引或包括数据202本身。分析信息103可以包括用于生成一个或更多个分析输出201的数据202,或可以包括用于生成一个或更多个分析输出201的对数据202的指引。
对数据202的指引包括使得能够获得数据202的信息。例如,所述指引可以包括指向数据202的指针,或指向数据202的链接,或接收数据202的时间戳等。所述指引还可以指示存储数据202的存储位置,或可以包括关于存储数据202的实体的信息。相应地,第二网络实体101用于从第一网络实体100接收分析信息103。
这样,对于每个分析输出,第二网络实体101可以知道用于生成该分析输出201的数据202。
第一网络实体100和/或第二网络实体101可以唯一地标识每个单独的分析输出201。第一网络实体100可以将每个唯一地标识的生成的分析输出201映射到用于生成分析输出201的数据202。
例如,对于用于生成给定的唯一地标识的生成的分析输出201的每个数据202,第一网络实体100可以保持以下中的一个或更多个的映射:
-所采集的数据202的标识信息;
-所采集的数据202的源的标识信息;
-所采集的数据202的时间描述(例如,所采集的数据样本的时间间隔);
-应用于所采集的数据202的一种或更多种操纵技术(例如,哪种过滤、聚合、分类、选择机制)。
第一网络实体100可以提供服务,例如在第二网络实体101的请求下,该服务可以提供与用于每个单独分析输出201的数据202有关的数据信息200。唯一地标识的生成的分析输出201的多个使用者之间的映射也是可以的。
第一网络实体100和/或第二网络实体101可以包括处理器或处理电路(未示出),处理器或处理电路用于执行、进行或启动本文所描述的第一网络实体100和/或第二网络实体101的各种操作。处理电路可以包括硬件和/或处理电路可以由软件控制。硬件可以包括模拟电路或数字电路,或模拟电路和数字电路两者。数字电路可以包括诸如专用集成电路(application-specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)、数字信号处理器(digital signal processor,DSP)或多用途处理器的部件。
第一网络实体100和/或第二网络实体101还可以包括存储器电路,其存储可以由处理器或处理电路执行(特别地,在软件的控制下执行)的一个或更多个指令。例如,存储器电路可以包括存储可执行软件代码的非暂态存储介质,该可执行软件代码在由处理器或处理电路执行时使得执行第一网络实体100和/或第二网络实体101的各种操作。
在一个实施例中,处理电路包括一个或更多个处理器以及与一个或更多个处理器连接的非暂态存储器。非暂态存储器可以承载可执行程序代码,该可执行程序代码在由一个或更多个处理器执行时,使第一网络实体100和/或第二网络实体101执行、进行或启动本文所描述的操作或方法。
具体地,第一网络实体101和第二网络实体101可以执行根据本发明的实施例的方法。具体地,第一网络实体100可以执行根据发明内容部分描述的第三方面的用于分析生成的方法,如图1所示,并且第二网络实体101可以执行根据发明内容部分描述的第四方面的用于检查移动网络的分析生成的方法,如图1所示。
图2示出了根据本发明的实施例的第一网络实体,其建立在图1所示的实施例的基础上。具体地,图2示出了第一网络实体100可以用于提供分析输出201,其中,分析输出201是基于一定数据202生成的。
第一网络实体100还可以提供与分析输出201关联的分析信息103(如图1所示),其中,所提供的分析信息103包括与用于生成分析输出201的数据202关联的数据信息200(如上所述,数据信息200可以包括数据202或是数据202,或者可以指引数据202)。
为此,分析输出201可以被提供有标识信息203,使得第二网络实体101可以针对由该标识信息203标识的特定分析输出202请求数据信息200。
事实上,第一网络实体100的两个选项可以结合图2描述。这两个选项之间的区别在于标识分析输出201的方式:在第一选项中,分析输出201可以用时间戳或用唯一地标识分析输出201的其他信息203(但不是额外的标识符)标识。
在第二选项中,分析输出202可以用与该分析输出201唯一地关联的标识符203标识。需要说明的是,标识分析输出201的这些方法只是示例,并且可以使用其他方法。
为了支持第一网络实体100的上述跟踪能力(上述跟踪能力使得能够提供包括与分析输出201关联的数据信息200的适当分析信息103),第一网络实体100还可以用于以某种方式标记用于得到分析输出201的数据202。在一个示例中,该标记可以通过创建和/或保存如图3所示的映射信息300(例如,映射表)来实现。
例如,在移动网络如5G网络中,控制面和管理面都可以将数据202存储在各种存储器或数据库中。该数据202可以被馈送到一个或更多个分析功能(例如由第一网络实体100实现以提供分析服务的分析功能),其中,分析功能可以基于该数据202得到一个或更多个分析输出201,例如,可能的认识和/或建议。
第一网络实体100可以保存映射信息300。映射信息300可以包括一个或更多个条目301,其中,每个条目301可以与生成的分析输出201关联,并且其中,每个条目301可以包括与相应生成的分析输出201关联的标识信息203。此外,每个条目301可以包括关于数据202的数据信息200,该数据202用于生成相应生成的分析输出201。
在图3中,映射信息300被使用称为“每个建议ID的KPI-Info-List”的数据结构示例性地实现(例如,按照分析输出201将数据202保存在数据结构中,其中,数据202的列表被称为“KPI-Info-List”,分析输出201被示例性地称为“建议”)。
需要说明的是,建议ID是指以上所描述的第二选项,例如,它是指分析输出201的标识符。例如,在上面描述的第一选项中,与分析输出201关联的整个行(在图3中所示的表示数据结构的表中)可以用于标识分析输出201。
除了标识分析输出201之外,KPI-Info-List可以存储所谓的“KPI-info对象”(例如多个用于生成该分析输出201的数据202)的列表。
假设数据202由各种关键性能指标(key performance indicator,KPI)的值及其相应的时间戳组成,则KPI-Info对象可以仅记录初始时间戳和最终时间戳以及每个KPI标识符,可选地还有其被存储的数据库的位置。
当从第二网络实体101接收到针对分析信息103的请求102(例如,请求getDataForRecommendation)时,第一网络实体100可以根据映射信息300简单地从该数据库中获取KPI-Info-List,并且可以提供到数据202的链接(对数据202的指引)作为数据信息200,以及用于生成分析输出201的数据202的时间戳。
或者,第一网络实体100可以获取整个数据202自身,然后可以将数据202作为数据信息200提供给第二网络实体101。
下面描述根据本发明的实施例的基于第一网络实体100和第二网络实体101的具体实现。
图4和图5涉及支持以上所描述的跟踪能力的端到端(end-to-end,E2E)管理的实施例。
图4示出了表1,该表1示例性地说明了ETSI GS ZSM002 V1.1.1(2019-08)中的通用分析服务。跟踪能力能够请求(102)分析信息103,分析信息103包括关于用于生成分析输出201的数据202的数据信息200(在表1中,分析输出201被称为“结果X(M)”,其中,“M”提出这是分析服务的强制性能力)。
图5中的过程示出了第二网络实体101(这里第二网络实体101也是第一网络实体100提供的分析服务的使用者)可以如何使用第一网络实体100的跟踪能力。
图5具体示出了图4中表1所示的示例性分析服务。集成结构500可以布置在第一网络实体100与第二网络实体101之间。集成结构500可以是可选的通信介质,该通信介质用于在第一网络实体100(提供分析服务)与第二网络实体101(使用分析服务)之间传输消息。分析服务的使用者也可以是任何其他软件/硬件实体、受管理实体或个人。
以下步骤呈现了第二网络实体101可以使用的跟踪能力的使用示例。
1.第一网络实体100的分析功能/服务处于正常处理中,例如,在启用跟踪能力的情况下产生一个或更多个分析输出201。这意味着,由第一网络实体提供的任何生成的分析输出201将使得跟踪选项被启用。或者,第二网络实体101可以仅针对一些生成的分析输出201选择性地启用跟踪。
2/3.生成分析输出201,将分析输出201公布给订阅的使用者(这里包括第二网络实体101),或发布给集成结构500,集成结构500可以将分析输出201中继到使用者。或者,第二网络实体101可以请求特定分析输出201。
4.在步骤4中,分析使用者中的至少一个(这里是第二网络实体101)希望检查用于生成特定分析输出201的数据202,该特定分析输出201通过作为标识信息203的“XXX”标识。“XXX”可以表示可用于标识分析输出201的任何机制,例如通用唯一标识符(universallyunique identifier,UUID)或时间戳。因此,第二网络实体101向第一网络实体101发送指示标识信息203的请求103。需要说明的是,针对分析信息103(即,实际上针对数据202)的请求102可以针对一组分析输出201,而不仅仅是单个分析输出201。
5/6.第一网络实体101的跟踪能力可以收集相应的数据202(或指向数据202的指针),即,可以获得数据信息200,并且可以向第二网络实体101提供包括分析信息103(分析信息103包括数据信息200)的回复。
对于第三代合作伙伴项目(3rd generation partnership project,3GPP)SA5中的实施例,可以实现类似的跟踪能力,从而使得管理系统(由第一网络实体100表示)能够向一个或更多个使用者(包括,例如,第二网络实体101)提供例如由MDAS用来生成一个或更多个分析输出201的数据202。
图6至图9具体涉及控制面分析服务的实现,控制面分析服务能够公开生成的分析输出201(与分析ID关联)与用于生成分析输出201的数据(样本)之间的关系(例如,基于3GPP SA2)。
在该实现中,分析服务被映射到由NWDAF提供的服务(如3GPP TS 23.501中所定义,以及在3GPP TS 23.288中详细描述)。第一网络实体100可以包括NWDAF。在这种情况下,有两种替代实现:
●选项1:NWDAF服务中引入了两个变化。
■首先,用新参数扩展(针对分析ID)提供分析输出201的NWDAF服务的输出参数,例如Nnwdaf_AnalyticsSubscription_Notify和Nnwdaf_AnalyticsInfo_response,该新参数唯一地标识分析输出201与由NWDAF 100(例如,由机器学习(machine learning,ML)引擎、分析模型、大数据推理引擎等)使用的数据202之间的映射。
■其次,新服务专用于在接收到请求102时提供分析信息103,该分析信息103包括关于数据202(即,对数据202的指引或数据202本身)的数据信息200,该数据202由NWDAF100用来生成给定分析输出201。请求102可以包含分析输出201到用于该分析输出的生成的数据202的映射的唯一标识符。
●选项2:NWDAF服务中仅有一个变化。
■在NWDAF 100中引入新服务,该新服务能够在接收到请求102时提供分析信息103,该分析信息103包括关于数据202的数据信息200,该数据202由NWDAF100用来生成给定分析输出201。请求102可以包括一组字段和/或提供分析输出201的分析ID和/或特定分析输出实例,该组字段唯一地标识分析输出201。例如,如果为同一分析ID生成了多个分析输出201,则这些分析输出201中的每一个都是分析输出实例。此外,请求102可以包括分析输出201的使用者的标识信息(例如,和第二网络实体101的ID)。
图6中的表2示出了数据集,该数据集表示生成的分析输出201与用于生成分析输出201的数据202之间的映射信息300的实现。
图7中的表3示出了所描述的NWDAF服务扩展/增强的实现。尽管表3中没有表示,但是参数的相同扩展适用于NWDAF服务,这些服务与请求/响应模型关联。
数据跟踪的需求可以被静态定义,例如,在NWDAF 100处被硬编码,也可以被动态地指示,例如,通过如表3所示的分析订阅参数被动态地指示。
图8和图9中所示的过程是可以如何使用表2和表3中定义的服务的示例,以及与这些服务交互的实体的示例。
图8中所示的第一网络实体100(NWDAF)与第二网络实体101(分析使用者)之间的交互考虑这样的实现:分析使用者通过订阅/请求800向NWDAF 100明确指示需要针对一个或更多个分析输出201(对于一个或更多个分析ID)跟踪数据202,数据202用于分析输出生成。
1.分析使用者101特别可以调用NWDAF服务Nnwdaf_AnalyticsInfo_Request_request(包括TS 23.288中定义的现有参数)。此外,该请求800还可以包括被设置为“真”的称为“激活跟踪”的参数。使用该参数的好处是,NWDAF 100可以从使用者101获得指示,即对于该生成的分析输出201,需要跟踪数据202。因此,使用者101可以将请求800用作用于跟踪数据202的激活请求。如果不发送该参数,在替代方案中,可以由NWDAF 100的内部逻辑来决定何时应该生成分析输出201以及应该生成哪些生成的分析输出201,或NWDAF 100可以用于跟踪所有生成的分析输出201。此外,请求800中的参数可以支持对NWDAF资源的更好的资源使用。然而,该参数也可以引入权衡,因为它还规定,由使用者101决定将实际跟踪用于哪个分析输出生成的哪个数据202。
2.基于接收到的具有设置为真的“激活跟踪”参数的请求800,NWDAF 100可以创建称为“分析数据跟踪”的新数据集,并且可以定义唯一标识符“分析数据跟踪ID”。该唯一标识符可以是UUID或分析数据跟踪关联标识符,其将分析输出201的请求800与“分析数据跟踪ID”关联。例如,分析跟踪关联标识符可以是订户标识和分析ID的函数。
3.NWDAF 100执行分析输出生成(例如,NWDAF 100可以根据请求800中包括的所请求的“分析目标”和/或“分析报告”和/或“分析过滤器”计算分析输出201)。
4.对于特定生成的分析输出201,NWDAF 100创建数据集“数据跟踪信息”,并为“数据跟踪信息”定义唯一标识符“数据跟踪ID”。“数据跟踪信息”可以被映射并被包括为与生成的分析输出201关联的“分析数据跟踪ID”的“分析数据跟踪”数据集的一部分。当创建“数据跟踪信息”时,NWDAF 100在该信息中包括表2中定义的所有字段。
5.NWDAF 100使用Nnwdaf_AnalyticsInfo_Request_response向使用者101发送响应801,Nnwdaf_AnalyticsInfo_Request_response包括TS 23.288中定义的参数,另外还包括参数“分析数据跟踪ID”和“数据跟踪ID”。对于使用者101能够查询NWDAF 100以检索其使用(或将在未来使用)的分析输出201的“分析数据跟踪”的实际信息,第一参数是重要的。在为同一分析ID生成多个分析输出201的情况下,第二参数是重要的。在这种情况下,使用者101还可以专门仅请求它接收到的特定分析输出201的“数据跟踪信息”,而不需要检索所有接收到的分析输出201的所有“数据跟踪信息”。
6.NWDAF 100公开服务Nnwdaf_AnalyticsDataTrace,该服务Nnwdaf_AnalyticsDataTrace可以由使用者101调用以用于检索针对给定或所有生成的分析输出201(针对一个或更多个分析ID)的“分析数据跟踪”的记录,和/或针对给定生成的分析输出201的“数据跟踪信息”的所有或部分记录,作为分析信息103中包括的数据信息200的相应实现。该服务公开查询请求的操作(参见步骤6a),该操作生成查询响应(参见步骤6b)。
6a.使用者101可以调用Nnwdaf_AnalyticsDataTrace_Query_request服务操作,以便提供具有如下参数的请求102,这些参数可以指定使用者101想要检索的目标“分析数据跟踪”数据集。图8示出了选项1(如表3中所描述)的查询操作的示例。在这种情况下,使用者101指示它想要检索的“分析数据跟踪”数据集的特定标识符“分析数据跟踪ID”,并且可选地,它还指示与应返回的“数据跟踪信息”关联的一个或更多个“数据跟踪ID”。这两个参数由NWDAF 100用作过滤器,以便选择要被检索并提供给使用者101的分析信息103中的数据信息200(“分析数据跟踪”和/或“数据跟踪信息”)。在该示例中,可以返回与根据“分析跟踪ID”的“分析数据跟踪”关联的所有“数据跟踪信息”。
6b.该实现示出了这样的选项:其中,NWDAF 100发送针对请求101的响应802,并因此返回实际的“分析数据跟踪”数据集,作为与请求的“分析数据跟踪ID”关联的包括数据信息200的分析信息103(根据示例,但如果查询请求中指示了更多“分析数据跟踪”,则该返回将是“分析数据跟踪”数据集的列表)。
图9中描述的交互考虑了启用以下动作的可能实现。在图9中,分析使用者900使用来自NWDAF(第一网络实体100)的分析输出201。但是,OAM(第二网络实体101)可以适合于检查分析生成。
●NWDAF 100用于触发对生成的任何分析输出201的跟踪。在这种情况下,参数“激活跟踪”不需要包括(并设置为“真”)在对用于分析输出生成的NWDAF服务的请求800和/或订阅中。最终,在NWDAF 100的分析使用者101明确地决定对于请求的分析输出201的数据跟踪不应由NWDAF 100执行的情况下,这种“激活跟踪”参数可以设置为“假”。如果是这种情况,则NWDAF 100可以不执行与“分析数据跟踪”数据集和“数据跟踪信息”数据集的创建和关联相关的步骤。
●在本实现中,考虑表3中所描述的选项2交互模式。在这种情况下,用于在生成的分析输出201上通知和/或响应的NWDAF服务的参数没有变化。对于这种操作模式,区别是用于通过Nnwdaf_AnalyticsDataTrace_Query_request操作(请求102)查询包括数据信息200的分析信息103的参数的类型。作为NWDAF查询服务的使用者的OAM 101不知道“分析数据跟踪ID”,也不知道“数据跟踪ID”。因此,对于OAM101检索“分析数据跟踪”和“数据跟踪信息”数据集(即,针对分析输出201的分析信息103中的数据信息200),有两种可能性:
■替代方案1(具有操作选项2):OAM 101仅使用来自NWDAF 100的Nnwdaf_AnalyticsDataTrace_Query_request操作,并使用表3中针对选项2所指示的信息作为过滤器来请求包括数据信息200的分析信息103。例如,请求102可以包括分析ID(例如,以支持对“分析数据跟踪ID”的识别)和/或关联信息(例如,以支持对“数据跟踪ID”的识别)。
■替代方案2(具有操作选项2):OAM 101从NWDAF 100调用Nnwdaf_AnalyticsDataTrace_List_request操作,并作为响应获得一个或更多个“分析跟踪ID”的列表和/或一个或更多个“数据跟踪ID”的列表。OAM 101可以使用表3中列出的字段作为该服务操作的过滤器,所述字段例如,每种类型的分析ID,或生成分析ID的每个NWDAF 100,或每个特定分析输出201,或分析ID的每个特定使用者。当“分析数据跟踪”(即,分析信息103中的数据信息200)的使用者不是本身使用分析的同一实体(分析使用者900)时,这种类型的操作是有用的。这是图9中描述的实现示例,其中,使用“分析数据跟踪”的实体是OAM101。Nnwdaf_AnalyticsDataTrace_List服务操作的响应901可以包括与请求102处提供的过滤器匹配的一个或更多个“分析数据跟踪ID”的列表和/或一个或更多个“数据跟踪ID”的列表。可选地,响应901可以包括与“分析数据跟踪ID”关联的“分析数据跟踪”和/或与“数据跟踪ID”关联的“数据跟踪信息”的实际数据集,和/或检索这些数据集的存储参考(即,由“分析数据跟踪”和/或“数据跟踪信息”表示的数据信息200可以是对数据202的指引或数据202本身)。在本实现中,描述了最后一种情况。当数据集和/或数据集的存储参考未包括在Nnwdaf_AnalyticsDataTrace_List服务操作的响应中时,OAM 101仍将用于基于从Nnwdaf_AnalyticsDataTrace_List服务操作调用的响应中检索到的“分析数据跟踪ID”的列表和/或“数据跟踪ID”的列表,从NWDAF 100调用操作Nnwdaf_AnalyticsDataTrace_Query_request,以实际检索期望的数据信息200。
■在本实现中,Nnwdaf_AnalyticsDataTrace_List服务操作调用的响应901中包括的“存储参考”可以是对系统的数据湖实体902的参考。
结合图9描述了这种实现的详细步骤:
1.来自NWDAF 100的分析输出201的分析使用者900调用包括TS 23.288中定义的现有参数的NWDAF服务Nnwdaf_AnalyticsSubscription_Subscribe。
2.NWDAF 100创建新的数据集“分析数据跟踪”,并定义唯一标识符“分析数据跟踪ID”。该标识符可以是UUID或分析跟踪关联标识符,其将分析ID的请求800与这样的“分析数据跟踪ID”关联。例如,该关联可以是订户标识和分析ID的函数。
步骤3至步骤5可以重复,直到达到步骤1中接收请求的分析ID的订阅结束的条件。
3.NWDAF 100执行分析输出生成(例如,NWDAF 100根据请求800中包括的所请求的“分析目标”和/或“分析报告”和/或“分析过滤器”计算分析输出201)。
4.对于特定生成的分析输出201,NWDAF 100创建“数据跟踪信息”,并为“数据跟踪信息”定义唯一标识符“数据跟踪ID”。“数据跟踪信息”被映射并被包括为与生成的分析ID关联的“分析跟踪ID”的“分析数据跟踪”数据集的一部分。当创建“数据跟踪信息”时,NWDAF100在该信息中包括表2中定义的所有字段。
5.NWDAF 100使用包括TS 23.288中定义的参数的Nnwdaf_AnalyticsInfo_Request_response向使用者900发送响应。
6.OAM 101(例如,在需要针对用于用户面(user plane,UP)优化的服务管理功能(service management function,SMF)使用的分析ID服务体验,来评估由NWDAF 100使用的算法的性能时)针对特定分析ID的特定分析使用者900需要这种分析ID的“分析数据跟踪”信息。OAM 101调用来自NWDAF 100的Nnwdaf_AnalyticsDataTrace_List_request操作,以便提供使用NF ID和分析ID作为过滤器的请求102。在这种情况下,OAM 101想要针对这种NFID使用者检索针对分析ID生成的所有“数据跟踪信息”。NWDAF 100使用该过滤器信息过滤“分析数据跟踪”数据集,其字段(如表3中所描述)与服务操作请求中接收的过滤器信息匹配。然后,来自NWDAF 100的操作Nnwdaf_AnalyticsDataTrace_List_response(例如,表3中所示的输出参数)提供响应901,响应901将包含:请求的分析ID和NF使用者的包括“数据跟踪信息”的“分析数据跟踪ID”的数据集,作为包括数据信息200的分析信息103;以及存储这种数据集的实体(例如,数据湖902)的参考。
7.基于从NWDAF 100检索到的信息,OAM 101还与数据湖902交互,以检索与“分析数据跟踪ID”关联的信息。
已经结合作为示例的各种实施例以及实现方式描述了本发明。但是,根据对附图、本发明和独立权利要求的研究,本领域技术人员在实践所要求保护的发明时能够理解和实现其他变型。在权利要求书以及说明书中,词语“包括”不排除其他元件或步骤,且“一个”不排除多个。单个元件或其它单元可以实现权利要求书中记载的若干实体或项的功能。在互不相同的从属权利要求中记载一些措施的这一事实并不表示这些措施的组合不能用于有益的实现。
Claims (17)
1.一种用于移动网络的分析生成的第一网络实体(100),其特征在于,所述第一网络实体(100)用于:
从第二网络实体(101)接收用于提供与至少一个生成的分析输出(201)关联的分析信息(103)的请求(102);以及
向所述第二网络实体(101)提供所述分析信息(103),其中,所述分析信息(103)包括用于生成所述至少一个生成的分析输出(201)的数据信息(200),其中,所述数据信息(200)包括对数据(202)的指引或所述数据(202)本身。
2.根据权利要求1所述的第一网络实体(100),其特征在于,
用于提供与所述至少一个生成的分析输出(201)关联的分析信息(103)的所述请求(102)包括:用于标识所述至少一个生成的分析输出(201)的标识信息(203)。
3.根据权利要求1或2所述的第一网络实体(100),其特征在于:
所述分析信息(103)还包括用于标识所述数据信息(200)的标识信息。
4.根据权利要求1至3中任一项所述的第一网络实体(100),其特征在于,用于:
接收用于跟踪用于生成所述至少一个生成的分析输出(201)的所述数据信息(200)的激活请求(800);以及
在接收到所述激活请求(800)时跟踪所述数据信息(200)。
5.根据权利要求1至4中任一项所述的第一网络实体(100),其特征在于,用于:
保存包括一个或更多个条目(301)的映射信息(300),每个条目(301)与生成的分析输出(201)关联,
其中,每个条目(301)包括与相应生成的分析输出(201)关联的标识信息(203),并包括用于生成所述相应生成的分析输出(201)的所述数据信息(200)。
6.根据权利要求5所述的第一网络实体(100),其特征在于,每个条目(301)还包括以下中的至少一个:
-用于移动网络的分析生成的网络实体的标识符,所述网络实体用于生成所述相应生成的分析输出(201);
-使用所述相应生成的分析输出(201)的网络实体的列表;
-用于生成所述相应生成的分析输出(201)的所述数据信息(200)的类型。
7.根据权利要求5或6所述的第一网络实体(100),其特征在于:
对于每个数据信息(200),所述映射信息(300)还包括以下中的至少一个:
-所述数据信息(200)的标识符;
-所述数据信息(200)的源;
-与所述数据信息(200)关联的时间信息;
-应用于所述数据信息(200)的操纵技术。
8.根据权利要求1至7中任一项所述的第一网络实体(100),其特征在于:
所述第一网络实体(100)是控制面实体,具体包括网络数据分析功能NWDAF;或
所述第一网络实体(100)是管理面实体,具体包括管理数据分析服务MDAS。
9.一种用于检查移动网络的分析生成的第二网络实体(101),其特征在于,所述第二网络实体(101)用于:
向用于分析生成的第一网络实体(100)提供对与至少一个生成的分析输出关联的分析信息(103)的请求(102);以及
从所述第一网络实体(100)接收所述分析信息(103),其中,所述分析信息(103)包括用于生成所述至少一个生成的分析输出(201)的数据信息(200),其中,所述数据信息(200)包括对数据(202)的指引或所述数据(202)本身。
10.根据权利要求9所述的第二网络实体(101),其特征在于,用于:
提供用于跟踪用于生成所述至少一个生成的分析输出(201)的所述数据信息(200)的激活请求(800)。
11.根据权利要求9或10所述的第二网络实体(101),其特征在于:
用于提供与所述至少一个生成的分析输出(201)关联的分析信息(103)的所述请求(102)包括:用于标识所述至少一个生成的分析输出(201)的标识信息(203)。
12.根据权利要求9至11中任一项所述的第二网络实体(101),其特征在于:
所述分析信息(103)还包括用于标识所述数据信息(200)的标识信息。
13.根据权利要求9至12中任一项所述的第二网络实体(101),其特征在于,所述数据信息(200)包括对数据(202)的指引,所述第二网络(101)实体还用于:
向第三网络实体(902)发送包括所述数据信息(200)的所述分析信息(103);以及
从所述第三网络实体(902)接收所述数据(202),所述数据(202)被所述数据信息(200)中的对数据(202)的指引所指引。
14.根据权利要求9至13中任一项所述的第二网络实体(101),其特征在于:
所述第二网络实体(101)是网络功能NF、应用功能AF或者操作、管理和维护OAM功能。
15.一种用于移动网络的分析生成的方法,其特征在于,所述方法包括:
接收用于提供与至少一个生成的分析输出(201)关联的分析信息(103)的请求(102);以及
提供所述分析信息(103),其中,所述分析信息(103)包括用于生成所述至少一个生成的分析输出(201)的数据信息(200),其中,所述数据信息(200)包括对数据(202)的指引或所述数据(202)本身。
16.一种用于检查移动网络的分析生成的方法,其特征在于,所述方法包括:
提供对与至少一个生成的分析输出(201)关联的分析信息(103)的请求(102);以及
接收所述分析信息(103),其中,所述分析信息(103)包括用于生成所述至少一个生成的分析输出(201)的数据信息(200),其中,所述数据信息(200)包括对数据(202)的指引或所述数据(202)本身。
17.一种计算机程序,其特征在于,包括程序代码,所述程序代码用于当在计算机上执行时执行根据权利要求15或16所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2020/054090 WO2021164847A1 (en) | 2020-02-17 | 2020-02-17 | Tracing and exposing data used for generating analytics |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115104336A true CN115104336A (zh) | 2022-09-23 |
Family
ID=69631569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080096403.4A Pending CN115104336A (zh) | 2020-02-17 | 2020-02-17 | 跟踪和公开用于生成分析的数据 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230044850A1 (zh) |
EP (1) | EP4094406A1 (zh) |
CN (1) | CN115104336A (zh) |
WO (1) | WO2021164847A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021212310A1 (en) * | 2020-04-21 | 2021-10-28 | Qualcomm Incorporated | Network data analytics function selection |
WO2023213413A1 (en) * | 2022-05-06 | 2023-11-09 | Huawei Technologies Co., Ltd. | Tracing and rollback continuity under analytics id transfer and ue mobility |
WO2024052859A1 (en) * | 2022-09-08 | 2024-03-14 | Lenovo (Singapore) Pte. Ltd. | Data and analytics based on internal wireless communications system data and external data |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10331899B2 (en) * | 2015-10-24 | 2019-06-25 | Oracle International Corporation | Display of dynamic contextual pivot grid analytics |
WO2019158737A1 (en) * | 2018-02-16 | 2019-08-22 | NEC Laboratories Europe GmbH | Network data analytics for oam |
JP7101259B2 (ja) * | 2018-05-15 | 2022-07-14 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | 3gpp分析におけるシグナリングの最適化 |
WO2019225929A1 (en) * | 2018-05-21 | 2019-11-28 | Samsung Electronics Co., Ltd. | Method and apparatus for utilizing data collection and analysis function in wireless communication system |
WO2019246630A1 (en) * | 2018-06-22 | 2019-12-26 | Otsuka America Pharmaceutical Inc. | Application programming interface using digital templates to extract information from multiple data sources |
CN112514429B (zh) * | 2018-08-09 | 2022-10-18 | 华为技术有限公司 | 分析辅助的ue注册以支持网络切片内和网络切片间的负载平衡的设备和方法 |
KR20200039295A (ko) * | 2018-10-05 | 2020-04-16 | 삼성전자주식회사 | 5g 이동 통신 시스템에서 네트워크 분석 정보를 활용한 효율적 mico 모드 관리 방법 |
US11706110B2 (en) * | 2019-07-12 | 2023-07-18 | Verizon Patent And Licensing Inc. | System and method of closed loop analytics for network automation |
-
2020
- 2020-02-17 EP EP20706190.4A patent/EP4094406A1/en active Pending
- 2020-02-17 WO PCT/EP2020/054090 patent/WO2021164847A1/en unknown
- 2020-02-17 CN CN202080096403.4A patent/CN115104336A/zh active Pending
-
2022
- 2022-08-17 US US17/890,072 patent/US20230044850A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021164847A1 (en) | 2021-08-26 |
EP4094406A1 (en) | 2022-11-30 |
US20230044850A1 (en) | 2023-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110245078B (zh) | 一种软件的压力测试方法、装置、存储介质和服务器 | |
CN112910945B (zh) | 请求链路跟踪方法和业务请求处理方法 | |
US20220329493A1 (en) | Method, apparatus, and device for data analytics and storage medium | |
US20230044850A1 (en) | Tracing and exposing data used for generating analytics | |
CN111522922A (zh) | 日志信息查询方法、装置、存储介质及计算机设备 | |
US9697104B2 (en) | End-to end tracing and logging | |
CN109885496B (zh) | 测试日志管理方法及系统 | |
CN107483221B (zh) | 一种跨应用问题排查方法、装置及系统 | |
CN106375458B (zh) | 服务调用系统、方法及装置 | |
US11362912B2 (en) | Support ticket platform for improving network infrastructures | |
CN113596078A (zh) | 业务问题定位方法及装置 | |
CN109802842B (zh) | 应用拓扑的生成方法及相关设备 | |
CN114745295A (zh) | 数据采集方法、装置、设备和可读存储介质 | |
CN106790380A (zh) | 数据上报方法及装置 | |
CN115858466A (zh) | 一种操作日志生成方法、装置、设备及介质 | |
KR20170122874A (ko) | 데이터 분산 서비스 기반의 응용 시스템의 통합 로그 관리 장치 | |
CN114610689B (zh) | 一种分布式环境中请求日志的记录和分析方法 | |
US7653742B1 (en) | Defining and detecting network application business activities | |
CN113312242B (zh) | 接口信息管理方法、装置、设备及存储介质 | |
CN110532253B (zh) | 一种业务分析方法、系统及集群 | |
CN110134583B (zh) | 软件测试及数据处理方法及装置 | |
CN113806169A (zh) | 业务异常处理方法及装置 | |
CN116401138B (zh) | 操作系统的运行状态检测方法、装置、电子设备和介质 | |
CN113051176B (zh) | 自动化测试数据的处理方法、装置、电子设备及存储介质 | |
CN114760218B (zh) | 一种链路采样方法及其相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |