CN117234889A - 用在管理服务消费方和生产方的ml实体测试装置 - Google Patents

Abstract

本申请涉及用在管理服务(MnS)消费方和生产方的机器学习(ML)实体测试装置。用在MnS生产方的ML实体测试装置包括处理器电路，该处理器电路被配置为促使MnS生产方：从MnS消费方接收ML实体测试请求，其中，ML实体测试请求用于请求测试ML实体的性能；向MnS消费方发送ML实体测试响应，其中，ML实体测试响应用于指示ML实体测试请求是否被接受；测试ML实体；以及向MnS消费方发送ML实体测试报告，其中，ML实体测试报告用于指示ML实体的性能是否被成功测试。

Description

用在管理服务消费方和生产方的ML实体测试装置

相关申请的交叉引用

本申请基于并要求于2022年6月15日递交的美国专利申请No.63/352,525的优先权，其全部内容通过引用结合于此。

技术领域

本公开的实施例一般地涉及无线通信领域，尤其涉及用在管理服务(MnS)消费方的机器学习(ML)实体测试装置和用在MnS生产方的ML实体测试装置。

背景技术

移动通信已经从早期的语音系统发展到今天的高度复杂的综合通信平台。5G或新型无线电(NR)无线通信系统将提供各种用户和应用随时随地对信息的访问和对数据的共享。

附图说明

本公开的实施例将以示例而非限制的方式在附图中进行图示，其中，类似的附图标记指代类似的元件。

图1示出了根据本公开一些实施例的ML实体训练过程的示意图。

图2示出了根据本公开一些实施例的ML实体测试过程的示意图。

图3示出了根据本公开各种实施例的网络的示意图。

图4示出了根据本公开各种实施例的无线网络的示意图。

图5示出了根据本公开各种实施例的能够从机器可读或计算机可读介质(例如，非暂态机器可读存储介质)读取指令并执行本文讨论的各个功能实体的操作的组件的框图。

具体实施方式

将使用本领域技术人员常用的术语来描述说明性实施例的各个方面，以将本公开的实质传达给本领域其他技术人员。然而，对于本领域技术人员来说显而易见的是，可以使用所描述的方面的部分来实施许多替代实施例。出于解释的目的，给出了具体的数字、材料、和配置，以便提供对说明性实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施替代实施例。在其它实例中，为了避免模糊说明性实施例，可以省略或简化公知特征。

此外，以最有助于理解说明性实施例的方式，将各种操作依次描述为多个离散操作；然而，不应将描述顺序解释为暗示这些操作必须是顺序相关的。特别地，这些操作不需要按照呈现的顺序来执行。

本文中重复使用短语“在实施例中”、“在一个实施例中”、和“在一些实施例中”。这些短语通常不指代相同的实施例；然而，它们也可以指代相同的实施例。除非上下文另有规定，否则术语“包含”、“具有”、和“包括”是同义词。短语“A或B”和“A/B”的意思是“(A)、(B)、或(A和B)”。

人工智能或机器学习(AI/ML)被广泛用在5G无线通信系统中。ML实体训练能力由管理服务(MnS)生产方提供，其中，ML实体是指作为ML模型或包含ML模型并且可以作为单个复合实体进行管理的实体。

图1示出了根据本公开一些实施例的ML实体训练过程的示意图。图1所示的ML实体训练过程100包括：S102，MnS消费方向MnS生产方发送ML实体训练请求，以触发ML实体训练；S104，MnS生产方向MnS消费方发送ML实体训练响应，以指示是否接受ML实体训练请求；以及S106，在接受ML实体训练请求的情况下，MnS生产方在完成ML实体训练后向MnS消费方发送训练结果。

在ML实体训练请求中，MnS消费方可以规定指示经训练ML实体的功能或目的的推理类型，例如，汇聚问题分析(CoverageProblemAnalysis)。MnS生产方可以根据规定的推理类型来执行ML实体训练。MnS消费方还可以提供包含作为用于ML实体训练的输入候选的候选训练数据的一个或多个数据源。为了获得有效的训练结果，MnS消费方还可以在ML实体训练请求中规定其对经训练ML实体的性能要求(例如，准确性等)。

在接受ML实体训练请求的情况下，MnS生产方考虑ML实体训练请求来决定何时开始ML实体训练。当决定开始ML实体训练时，MnS生产方执行以下操作：

-考虑MnS消费方提供的候选训练数据来选择训练数据。由于训练数据直接影响经训练ML实体的性能，因此MnS生产方可以检查由MnS消费方提供的候选训练数据，并决定不选择候选训练数据或者选择候选训练数据的部分或全部。此外，MnS生产方可以选择一些其他可用训练数据。

-使用所选择的训练数据训练ML实体，以获得经训练ML实体。

-向MnS消费方提供训练结果(包括经训练ML实体的位置等)。

ML实体训练也可以由MnS生产方发起，例如，作为经训练ML模型的性能评估结果，基于从MnS消费方接收的反馈或新训练数据，或者当描述新网络状态或事件的、非来自MnS消费方的新训练数据变得可用时。在这种情况下，当决定开始ML实体训练时，MnS生产方执行以下操作：

-选择训练数据。

-使用所选择的训练数据训练ML实体，以获得经训练ML实体。

-在MnS消费方已经订阅接收训练结果的情况下，向其提供训练结果(包括经训练ML实体的位置等)。

在ML实体训练完成后，MnS生产方可以向MnS消费方发送ML实体训练报告，以使经训练ML实体可由MnS消费方使用。然而，目前还没有方案使MnS消费方能够在将经训练ML实体应用于目标推理功能之前测试其性能。因此，提出了一种ML测试方案，允许MnS消费方测试经训练ML实体的性能。

图2示出了根据本公开一些实施例的ML实体测试过程的示意图。图2所示的ML实体测试过程200包括：S202a，MnS消费方向MnS生产方发送ML实体测试请求，其中，ML实体测试请求用于请求测试经训练ML实体的性能；S202b，MnS消费方从MnS生产方接收ML实体测试响应，其中，ML实体测试响应用于指示ML实体测试请求是否被MnS生产方接受；S204，在接受ML实体测试请求的情况下，MnS生产方测试经训练ML实体；以及S206，在MnS消费方已经订阅接收关于经训练ML实体的ML实体测试报告的情况下，MnS生产方向MnS消费方发送ML实体测试报告，其中，ML实体测试报告用于指示经训练ML实体的性能是否被成功测试。

在一些实施例中，在从MnS生产方接收到ML实体训练报告后，MnS消费方可以向MnS生产方发送ML实体测试请求，以请求MnS生产方测试经训练ML实体。在ML实体测试请求中，MnS消费方可以提供经训练ML实体的标识符(即，ML实体测试请求可以包含经训练ML实体的标识符)。

在一些实施例中，ML实体测试请求可以包含用于测试经训练ML实体的性能的测试数据。例如，测试数据可以具有与训练数据相同的模式。MnS生产方可以使用由MnS消费方提供的测试数据来测试经训练ML实体的性能。具体地，测试经训练ML实体的性能是指由经训练ML实体使用测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。

在一些实施例中，当经训练ML实体的性能被成功测试时，ML实体测试报告包含经训练ML实体的测试结果。经训练ML实体的测试结果包含(例如)由经训练ML实体基于每个测试数据示例进行推理产生的推理输出。

在一些实施例中，在经训练ML实体的性能不可接受的情况下，MnS消费方可以请求MnS生产方利用特定的训练数据和/或性能要求来重新训练ML实体。

在一些实施例中，在MnS消费方尚未订阅接收关于经训练ML实体的ML实体测试报告的情况下，MnS生产方可以将ML实体测试报告发送给由发送ML实体测试请求的MnS消费方指定的另一个MnS消费方。

为了支持上述ML实体测试过程，MnS生产方应该具有以下一项或多项能力：允许MnS消费方请求测试经训练ML实体的性能，允许MnS消费方在ML实体测试请求中提供测试数据，对经训练ML实体进行性能测试并向MnS消费方提供ML实体训练报告，以指示经训练ML实体的性能是否被成功测试，以及在ML实体训练报告中向MnS消费方提供训练结果(包含针对每个测试数据示例的推理输出)。

图3-4示出了可以实现所公开的实施例的多个方面的各种系统、设备、和组件。

图3示出了根据本公开各种实施例的网络300的示意图。网络300可以根据长期演进(LTE)或5G/NR系统的3GPP技术规范操作。然而，示例性实施例在这方面不受限制，并且所描述的实施例可以应用于受益于本文描述的原理的其他网络，例如未来的3GPP系统等。

网络300可以包括UE 302，该UE可以包括被设计为经由空中连接与无线电接入网(RAN)304通信的任何移动或非移动计算设备。UE 302可以是但不限于智能电话、平板计算机、可穿戴计算机设备、台式计算机、膝上型计算机、车载信息娱乐设备、车载娱乐设备、仪表盘、抬头显示设备、板载诊断设备、仪表板移动设备、移动数据终端、电子引擎管理系统、电子/引擎控制单元、电子/引擎控制模块、嵌入式系统、传感器、微控制器、控制模块、引擎管理系统、网络设备、机器型通信设备、机器到机器(M2M)或设备到设备(D2D)设备、物联网(IoT)设备等。

在一些实施例中，网络300可以包括通过侧链路接口彼此直接耦合的多个UE。UE可以是使用物理侧链路信道(例如但不限于物理侧链路广播信道(PSBCH)、物理侧链路发现信道(PSDCH)、物理侧链路共享信道(PSSCH)、物理侧链路控制信道(PSCCH)、物理侧链路基本信道(PSFCH)等)进行通信的M2M/D2D设备。

在一些实施例中，UE 302还可以通过空中连接与接入点(AP)306进行通信。AP 306可以管理无线局域网(WLAN)连接，其可以用于从RAN 304卸载一些/所有网络流量。UE 302和AP 306之间的连接可以符合任何IEEE 802.11协议，其中，AP 306可以是无线保真路由器。在一些实施例中，UE 302、RAN 304、和AP 306可以利用蜂窝WLAN聚合(例如，LTE-WLAN聚合(LWA)/轻量化IP(LWIP))。蜂窝WLAN聚合可能涉及由RAN 304配置UE302利用蜂窝无线电资源和WLAN资源二者。

RAN 304可以包括一个或多个接入节点，例如，接入节点(AN)308。AN 308可以通过提供包括无线电资源控制(RRC)协议、分组数据汇聚协议(PDCP)、无线电链路控制(RLC)协议、介质访问控制(MAC)协议、和L1协议在内的接入层协议来终止UE 302的空中接口协议。以此方式，AN 308可以使能核心网(CN)320和UE 302之间的数据/语音连接。在一些实施例中，AN 308可以被实现在离散设备中或者被实现为在服务器计算机上运行的一个或多个软件实体(作为例如，虚拟网络的一部分，虚拟网络可以被称为分布式RAN(CRAN)或虚拟基带单元池)。AN 308可以被称为基站(BS)、下一代基站(gNB)、RAN节点、演进节点B(eNB)、下一代eNB(ng-eNB)、节点B(NodeB)、路边单元(RSU)、发射接收点(TRxP)、发射点(TRP)等。AN308可以是宏小区基站或低功率基站，其中，低功率基站用于提供与宏小区相比具有更小覆盖区域、更小用户容量、或更高带宽的微小区、微微小区、或其他类似小区。

在RAN 304包括多个AN的实施例中，这些AN可以通过X2接口(如果RAN 304是LTERAN)或Xn接口(如果RAN 304是5G RAN)相互耦合。在一些实施例中，可以被分离成控制/用户平面接口的X2/Xn接口可以允许AN传送与切换、数据/上下文传输、移动性、负载管理、干扰协调等相关的信息。

RAN 304的AN可以分别管理一个或多个小区、小区组、分量载波等，以向UE 302提供用于网络接入的空中接口。UE 302可以与RAN 304的相同或不同AN提供的多个小区同时连接。例如，UE 302和RAN 304可以使用载波聚合来允许UE 302与多个分量载波连接，每个分量载波对应于主小区(PCell)或辅小区(SCell)。在双连接场景中，第一AN可以是提供主小区组(MCG)的主节点，第二AN可以是提供辅小区组(SCG)的辅节点。第一/第二AN可以是eNB、gNB、ng-eNB等的任意组合。

RAN 304可以在授权频谱或未授权频谱上提供空中接口。为了在未授权频谱中操作，节点可以基于PCell/Scell的载波聚合(CA)技术，使用许可辅助接入(LAA)、增强的LAA(eLAA)、和/或进一步增强的LAA(feLAA)机制。在接入未授权频谱之前，节点可以基于例如，先听后说(LBT)协议来执行介质/载波感测操作。

在车辆对一切(V2X)场景中，UE 302或AN 308可以是或充当路边单元(RSU)，其可以指用于V2X通信的任何运输基础设施实体。RSU可以在适当的AN或静止(或相对静止)UE中实现或由其实现。在UE中实现或由UE实现的RSU可以被称为“UE型RSU”；在eNB中实现或由eNB实现的RSU可以被称为“eNB型RSU”；在下一代NodeB(gNB)中实现或由gNB实现的RSU可以被称为“gNB型RSU”等。在一个示例中，RSU是与位于路边的射频电路耦合的计算设备，其向经过的车辆UE提供连接支持。RSU还可以包括内部数据存储电路，用于存储交叉口地图几何图形、交通量统计、媒体、以及用于感测和控制正在进行的车辆和行人交通的应用/软件。RSU可以提供高速事件(例如，碰撞避免、交通警告等)所需的非常低延时的通信。另外或可选地，RSU可以提供其他蜂窝/WLAN通信服务。RSU的组件可以封装在适合室外安装的防风雨外壳中，并且可以包括网络接口控制器以提供到交通信号控制器或回程网络的有线连接(例如，以太网)。

在一些实施例中，RAN 304可以是LTE RAN 310，其中包括演进节点B(eNB)，例如，eNB 312。LTE RAN 310可以提供具有以下特性的LTE空中接口：15kHz的子载波间隔(SCS)；用于上行链路(UL)的单载波频分多址(SC-FDMA)波形和用于下行链路(DL)的循环前缀正交频分复用(CP-OFDM)波形；用于数据的turbo代码和用于控制的咬尾卷积码(TBCC)等。LTE空中接口可以依赖信道状态信息参考信号(CSI-RS)进行CSI采集和波束管理；依赖物理下行链路共享信道(PDSCH)/物理下行链路控制信道(PDCCH)解调参考信号(DMRS)进行PDSCH/PDCCH解调；以及依赖小区参考信号(CRS)进行小区搜索和初始采集、信道质量测量、和信道估计，并且依赖信道估计进行UE处的相干解调/检测。LTE空中接口可以在6GHz子频带上工作。

在一些实施例中，RAN 304可以是具有gNB(例如，gNB 316)或gn-eNB(例如，ng-eNB318)的下一代(NG)-RAN 314。gNB 316可以使用5G NR接口与启用5G的UE连接。gNB 316可以通过NG接口与5G核心连接，NG接口可以包括N2接口或N3接口。ng-eNB 318还可以通过NG接口与5G核心连接，但是可以通过LTE空中接口与UE连接。gNB 316和ng-eNB 318可以通过Xn接口彼此连接。

在一些实施例中，NG接口可以分为NG用户平面(NG-U)接口和NG控制平面(NG-C)接口两部分，前者承载UPF 348和NG-RAN 314的节点之间的流量数据(例如，N3接口)，后者是接入和移动性管理功能(AMF)344和NG-RAN 314的节点之间的信令接口(例如，N2接口)。

NG-RAN 314可以提供具有以下特性的5G-NR空中接口：可变SCS；用于DL的循环前缀-正交频分复用(CP-OFDM)、用于UL的CP-OFDM和DFT-s-OFDM；用于控制的极性、重复、单工、和里德-穆勒码；以及用于数据的低密度奇偶校验码(LDPC)。5G-NR空中接口可以类似LTE空中接口而依赖于信道状态参考信号(CSI-RS)、PDSCH/PDCCH解调参考信号(DMRS)。5G-NR空中接口可以不使用小区参考信号(CRS)，但是可以使用物理广播信道(PBCH)解调参考信号(DMRS)进行PBCH解调；使用相位跟踪参考信号(PTRS)进行PDSCH的相位跟踪；以及使用跟踪参考信号进行时间跟踪。5G-NR空中接口可以在包括6GHz子频带的FR1频带或包括24.25GHz到52.6GHz频带的FR2频带上操作。5G-NR空中接口可以包括同步信号和PBCH块(SSB)，SSB是包括主同步信号(PSS)/辅同步信号(SSS)/PBCH的下行链路资源网格的区域。

在一些实施例中，5G-NR空中接口可以将带宽部分(BWP)用于各种目的。例如，BWP可以用于SCS的动态自适应。例如，UE 302可以配置有多个BWP，其中，每个BWP配置具有不同的SCS。当向UE 302指示BWP改变时，传输的SCS也改变。BWP的另一个用例与省电有关。具体地，可以为UE 302配置具有不同数量的频率资源(例如，PRB)的多个BWP，以支持不同流量负载场景下的数据传输。包含较少数量PRB的BWP可以用于具有较小流量负载的数据传输，同时允许UE 302和在某些情况下gNB 316处的省电。包含大量PRB的BWP可以用于具有更高流量负载的场景。

RAN 304通信地耦合到包括网络元件的CN 320，以向客户/订户(例如，UE 302的用户)提供支持数据和电信服务的各种功能。CN 320的组件可以实现在一个物理节点中也可以实现在不同的物理节点中。在一些实施例中，网络功能虚拟化(NFV)可以用于将CN 320的网络元件提供的任何或所有功能虚拟化到服务器、交换机等中的物理计算/存储资源上。CN320的逻辑实例可以被称为网络切片，并且CN 320的一部分的逻辑实例可以被称为网络子切片。

在一些实施例中，CN 320可以是LTE CN 322，也可以被称为演进分组核心(EPC)。LTE CN 322可以包括移动性管理实体(MME)324、服务网关(SGW)326、服务通用无线分组业务(GPRS)支持节点(SGSN)328、归属订户服务器(HSS)330、代理网关(PGW)332、以及策略控制和计费规则功能(PCRF)334，如图所示，这些组件通过接口(或“参考点”)相互耦合。LTECN 322的元件的功能可以简单介绍如下。

MME 324可以实现移动性管理功能，以跟踪UE 302的当前位置，从而方便寻呼、承载激活/去激活、切换、网关选择、认证等。

SGW 326可以终止朝向RAN的S1接口，并在RAN和LTE CN 322之间路由数据分组。SGW 326可以是用于RAN节点间切换的本地移动性锚点，并且还可以提供用于3GPP间移动性的锚定。其他职责可以包括合法拦截、计费、以及一些策略执行。

SGSN 328可以跟踪UE 302的位置并执行安全功能和访问控制。另外，SGSN 328可以执行EPC节点间信令，以用于不同无线电接入技术(RAT)网络之间的移动性；MME 324指定的PDN和S-GW选择；用于切换的MME选择等。MME 324和SGSN 328之间的S3参考点可以使能空闲/活动状态下用于3GPP接入网络间移动性的用户和承载信息交换。

HSS 330可以包括用于网络用户的数据库，该数据库包括支持网络实体处理通信会话的订阅相关信息。HSS 330可以提供对路由/漫游、认证、授权、命名/寻址解析、位置依赖性等的支持。HSS 330和MME 324之间的S6a参考点可以使能订阅和认证数据的传输，用于认证/授权用户对LTE CN 320的访问。

PGW 332可以终止朝向可以包括应用/内容服务器338的数据网络(DN)336的SGi接口。PGW 332可以在LTE CN 322和数据网络336之间路由数据分组。PGW 332可以通过S5参考点与SGW 326耦合，以促进用户平面隧道和隧道管理。PGW 332还可以包括用于策略执行和计费数据收集的节点(例如，PCEF)。另外，PGW 332和数据网络336之间的SGi参考点可以是例如，用于提供IP多媒体子系统(IMS)服务的运营商外部公共、私有PDN、或运营商内部分组数据网络。PGW 332可以经由Gx参考点与PCRF 334耦合。

PCRF 334是LTE CN 322的策略和计费控制元件。PCRF 334可以通信地耦合到应用/内容服务器338，以确定服务流的适当服务质量(QoS)和计费参数。PCRF 332可以将相关规则提供给具有适当业务流模板(TFT)和QoS类标识符(QCI)的PCEF(经由Gx参考点)。

在一些实施例中，CN 320可以是5G核心网(5GC)340。5GC 340可以包括认证服务器功能(AUSF)342、接入和移动性管理功能(AMF)344、会话管理功能(SMF)346、用户平面功能(UPF)348、网络切片选择功能(NSSF)350、网络开放功能(NEF)352、NF存储功能(NRF)354、策略控制功能(PCF)356、统一数据管理(UDM)358、和应用功能(AF)360，如图所示，这些功能通过接口(或“参考点”)彼此耦合。5GC 340的元件的功能可以简要介绍如下。

AUSF 342可以存储用于UE 302的认证的数据并处理认证相关功能。AUSF 342可以促进用于各种接入类型的公共认证框架。除了如图所示的通过参考点与5GC 340的其他元件通信之外，AUSF 342还可以展示基于Nausf服务的接口。

AMF 344可以允许5GC 340的其他功能与UE 302和RAN 304通信，并订阅关于UE302的移动性事件的通知。AMF 344可以负责注册管理(例如，注册UE 302)、连接管理、可达性管理、移动性管理、合法拦截AMF相关事件、以及接入认证和授权。AMF 344可以提供UE302和SMF 346之间的会话管理(SM)消息的传输，并且充当用于路由SM消息的透明代理。AMF344还可以提供UE 302和SMSF之间的SMS消息的传输。AMF 344可以与AUSF 342和UE 302交互，以执行各种安全锚定和上下文管理功能。此外，AMF 344可以是RAN CP接口的终止点，其可包括或者是RAN 304和AMF 344之间的N2参考点；AMF 344可以作为NAS(N1)信令的终止点，并执行NAS加密和完整性保护。AMF 344还可以支持通过N3 IWF接口与UE 302进行NAS信令通信。

SMF 346可以负责SM(例如，UPF 348和AN 308之间的隧道管理、会话建立)；UE IP地址分配和管理(包括可选授权)；UP功能的选择和控制；在UPF 348处配置流量控制，以将流量路由到适当的目的地；去往策略控制功能的接口的终止；控制策略执行、计费、和QoS的一部分；合法拦截(用于SM事件和到LI系统的接口)；终止NAS消息的SM部分；下行链路数据通知；启动AN特定的SM信息(通过AMF 344在N2上发送到AN 308)；以及确定会话的SSC模式。SM可以指PDU会话的管理，并且PDU会话或“会话”可以指提供或使能UE 302和数据网络336之间的PDU交换的PDU连接服务。

UPF 348可以用作RAT内和RAT间移动性的锚点、与数据网络336互连的外部PDU会话点、以及支持多归属PDU会话的分支点。UPF 348还可以执行分组路由和转发、执行分组检查、执行策略规则的用户平面部分、合法拦截分组(UP收集)、执行流量使用报告、为用户平面执行QoS处理(例如，分组过滤、选通、UL/DL速率强制执行)，执行上行链路流量验证(例如，SDF到QoS流映射)、上行链路和下行链路中的传输等级分组标记，并执行下行链路分组缓冲和下行链路数据通知触发。UPF 348可以包括上行链路分类器，以支持将流量流路由到数据网络。

NSSF 350可以选择服务于UE 302的一组网络切片实例。如果需要，NSSF 350还可以确定允许的网络切片选择辅助信息(NSSAI)和到订阅的单个NSSAI(S-NSSAI)的映射。NSSF 350还可以基于合适的配置并可能通过查询NRF 354来确定要用于服务UE 302的AMF集，或者确定候选AMF的列表。用于UE 302的一组网络切片实例的选择可以由AMF 344触发(UE 302通过与NSSF 350交互而向该AMF注册)，这会导致AMF的改变。NSSF 350可以经由N22参考点与AMF 344交互；且可以经由N31参考点(未示出)与访问网络中的另一NSSF通信。此外，NSSF 350可以展示基于Nnssf服务的接口。

NEF 352可以为第三方、内部曝光/再曝光、AF(例如，AF 360)、边缘计算或雾计算系统等安全地公开由3GPP网络功能提供的服务和能力。在这些实施例中，NEF 352可以认证、授权、或限制AF。NEF 352还可以转换与AF 360交换的信息和与内部网络功能交换的信息。例如，NEF 352可以在AF服务标识符和内部5GC信息之间转换。NEF 352还可以基于其他NF的开放能力从其他NF接收信息。该信息可以作为结构化数据存储在NEF 352处，或者使用标准化接口存储在数据存储NF处。然后，NEF 352可以将存储的信息重新暴露给其他NF和AF，或者用于诸如分析之类的其他目的。另外，NEF 352可以展示基于Nnef服务的接口。

NRF 354可以支持服务发现功能，从NF实例接收NF发现请求，并将发现的NF实例的信息提供给NF实例。NRF 354还维护可用NF实例及其支持的服务的信息。如本文所使用的，术语“实例化”、“实例”等可指创建实例，“实例”可以指对象的具体出现，其可以例如在程序代码执行期间出现。此外，NRF 354可以展示基于Nnrf服务的接口。

PCF 356可以向控制平面功能提供策略规则以执行这些策略规则，并且还可以支持统一的策略框架来管理网络行为。PCF 356还可以实现前端以访问与UDM 358的UDR中的策略决策相关的订阅信息。除了如图所示通过参考点与功能通信外，PCF 356还展示了基于Npcf服务的接口。

UDM 358可以处理与订阅相关的信息以支持网络实体处理通信会话，并且可以存储UE 302的订阅数据。例如，订阅数据可以经由UDM 358和AMF 344之间的N8参考点传送。UDM 358可以包括两个部分：应用前端和用户数据记录(UDR)。UDR可以存储用于UDM 358和PCF 356的策略数据和订阅数据，和/或用于NEF 352的用于暴露的结构化数据和应用数据(包括用于应用检测的PFD、用于多个UE 302的应用请求信息)。UDR可以展示基于Nudr服务的接口，以允许UDM 358、PCF 356、和NEF 352访问存储数据的特定集合，以及读取、更新(例如，添加、修改)、删除、和订阅UDR中的相关数据更改的通知。UDM可包括UDM-FE(UDM前端)，其负责处理凭证、位置管理、订阅管理等。若干不同的前端可以在不同的交易中为同一用户提供服务。UDM-FE访问存储在UDR中的订阅信息，并执行认证凭证处理、用户识别处理、访问授权、注册/移动性管理、和订阅管理。除了如图所示的通过参考点与其他NF通信之外，UDM358还可以展示基于Nudm服务的接口。

AF 360可以提供对流量路由的应用影响，提供对NEF的访问，并与策略框架交互以进行策略控制。

在一些实施例中，5GC 340可以通过选择在地理上靠近UE 302连接到网络的点的运营商/第三方服务来使能边缘计算。这可以减少网络上的延时和负载。为了提供边缘计算实现，5GC 340可以选择靠近UE 302的UPF 348，并通过N6接口执行从UPF 348到数据网络336的流量引导。这可以基于UE订阅数据、UE位置、和AF 360提供的信息。这样，AF 360可以影响UPF(重)选择和流量路由。基于运营商部署，当AF 360被认为是可信实体时，网络运营商可以允许AF 360直接与相关NF交互。另外，AF 360可以展示基于Naf服务的接口。

数据网络336可以表示可以由一个或多个服务器(包括例如，应用/内容服务器338)提供的各种网络运营商服务、互联网接入、或第三方服务。

图4示出了根据各种实施例的无线网络400。无线网络400可以包括与AN 404进行无线通信的UE 402。UE 402和AN 404可以类似于本文其他位置描述的同名组件并且基本上可以与之互换。

UE 402可以经由连接406与AN 404通信地耦合。连接406被示出为空中接口以使能通信耦合，并且可以根据诸如LTE协议或5G NR协议等的蜂窝通信协议在毫米波或低于6GHz频率下操作。

UE 402可以包括与调制解调器平台410耦合的主机平台408。主机平台408可以包括应用处理电路412，该应用处理电路可以与调制解调器平台410的协议处理电路414耦合。应用处理电路412可以为UE 402运行提供/接收应用数据的各种应用。应用处理电路412还可以实现一个或多个层操作，以向数据网络发送/从数据网络接收应用数据。这些层操作可以包括传输(例如，UDP)和互联网(例如，IP)操作。

协议处理电路414可以实现一个或多个层操作，以便于通过连接406发送或接收数据。由协议处理电路414实现的层操作可以包括例如，媒体访问控制(MAC)、无线电链路控制(RLC)、分组数据汇聚协议(PDCP)、无线电资源控制(RRC)、和非接入层(NAS)操作。

调制解调器平台410可以进一步包括数字基带电路416，该数字基带电路416可以实现“低于”网络协议栈中由协议处理电路414执行的层操作的一个或多个层操作。这些操作可包括例如，包括HARQ-ACK功能、加扰/解扰、编码/解码、层映射/去映射、调制符号映射、接收符号/比特度量确定、多天线端口预编码/解码中的一者或多者的PHY操作，其中，这些功能可以包括空时、空频、或空间编码，参考信号生成/检测，前导码序列生成和/或解码，同步序列生成/检测，控制信道信号盲解码、以及其他相关功能中的一者或多者。

调制解调器平台410可以进一步包括发射电路418、接收电路420、RF电路422、和RF前端(RFFE)电路424，这些电路可以包括或连接到一个或多个天线面板426。简言之，发射电路418可以包括数模转换器、混频器、中频(IF)组件等；接收电路420可以包括模数转换器、混频器、IF组件等；RF电路422可以包括低噪声放大器、功率放大器、功率跟踪组件等；RFFE电路424可以包括滤波器(例如，表面/体声波滤波器)、开关、天线调谐器、波束形成组件(例如，相位阵列天线组件)等。发射电路418、接收电路420、RF电路422、RFFE电路424、以及天线面板426(统称为“发射/接收组件”)的组件的选择和布置可以特定于具体实现的细节，例如，通信是时分复用(TDM)还是频分复用(FDM)、以mmWave还是低于6GHz频率等。在一些实施例中，发射/接收组件可以以多个并列的发射/接收链的方式布置，并且可以布置在相同或不同的芯片/模块等中。

在一些实施例中，协议处理电路414可以包括控制电路的一个或多个实例(未示出)，以为发射/接收组件提供控制功能。

UE接收可以通过并经由天线面板426、RFFE电路424、RF电路422、接收电路420、数字基带电路416、和协议处理电路414建立。在一些实施例中，天线面板426可以通过接收由一个或多个天线面板426的多个天线/天线元件接收的波束形成信号来接收来自AN 404的传输。

UE传输可以经由并通过协议处理电路414、数字基带电路416、发射电路418、RF电路422、RFFE电路424、和天线面板426建立。在一些实施例中，UE 402的发射组件可以对要发送的数据应用空间滤波，以形成由天线面板426的天线元件发射的发射波束。

与UE 402类似，AN 404可以包括与调制解调器平台430耦合的主机平台428。主机平台428可以包括与调制解调器平台430的协议处理电路434耦合的应用处理电路432。调制解调器平台还可以包括数字基带电路436、发射电路438、接收电路440、RF电路442、RFFE电路444、和天线面板446。AN 404的组件可以类似于UE 402的同名组件，并且基本上可以与UE402的同名组件互换。除了如上所述执行数据发送/接收之外，AN 404的组件还可以执行各种逻辑功能，这些逻辑功能包括例如无线电网络控制器(RNC)功能，例如，无线电承载管理、上行链路和下行链路动态无线电资源管理、以及数据分组调度。

图5是示出根据一些示例实施例的能够从机器可读或计算机可读介质(例如，非暂态机器可读存储介质)读取指令并执行本文讨论的方法中的任意一种或多种方法的组件的框图。具体地，图5示出了硬件资源500的示意图，硬件资源500包括一个或多个处理器(或处理器核)510、一个或多个存储器/存储设备520、和一个或多个通信资源530，其中，这些处理器、存储器/存储设备、和通信资源中的每一者可以经由总线540或其他接口电路通信地耦合。对于利用节点虚拟化(例如，网络功能虚拟化(NFV))的实施例，可以执行管理程序502以提供一个或多个网络切片/子切片的执行环境从而利用硬件资源500。

处理器510可以包括例如，处理器512和处理器514。处理器510可以是例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、诸如基带处理器的数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、射频集成电路(RFIC)、另一处理器(包括本文讨论的那些处理器)、或其任何合适的组合。

存储器/存储设备520可以包括主存储器、磁盘存储设备、或其任何适当组合。存储器/存储设备520可以包括但不限于任何类型的易失性、非易失性、或半易失性存储器，例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态存储器等。

通信资源530可包括互连或网络接口控制器、组件、或其他合适的设备，以经由网络508与一个或多个外围设备504或一个或多个数据库506或其他网络元件通信。例如，通信资源530可以包括有线通信组件(例如，用于经由USB、以太网等进行耦合)、蜂窝通信组件、近场通信(NFC)组件、(或/>低能量)组件、Wi-/>组件、和其他通信组件。

指令550可以包括软件、程序、应用程序、小程序、应用程序、或其他可执行代码，用于使处理器510中的至少任意一个处理器执行本文讨论的任意一种或多种方法。指令550可以全部或部分驻留在处理器510(例如，在处理器的高速缓存中)、存储器/存储设备520、或其任何适当组合中的至少一者内。此外，指令550的任意部分可以从外围设备504或数据库506的任意组合传送到硬件资源500。因此，处理器510的存储器、存储器/存储设备520、外围设备504、和数据库506是计算机可读和机器可读介质的示例。

以下段落描述了各种实施例的示例。

示例1包括一种用在管理服务(MnS)消费方的机器学习(ML)实体测试装置，其中，所述ML实体测试装置包括处理器电路，所述处理器电路被配置为促使所述MnS消费方：向MnS生产方发送ML实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及从所述MnS生产方接收ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。

示例2包括示例1所述的ML实体测试装置，其中，所述ML实体测试请求包含所述ML实体的标识符。

示例3包括示例1所述的ML实体测试装置，其中，所述ML实体测试请求包含用于测试所述ML实体的性能的测试数据。

示例4包括示例3所述的ML实体测试装置，其中，测试所述ML实体的性能是指由所述ML实体使用所述测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。

示例5包括示例1所述的ML实体测试装置，其中，所述处理器电路进一步被配置为促使所述MnS消费方：从所述MnS生产方接收ML实体测试报告，其中，所述ML实体测试报告用于指示所述ML实体的性能是否被成功测试。

示例6包括示例5所述的ML实体测试装置，其中，当所述ML实体的性能被成功测试时，所述ML实体测试报告包含对于所述ML实体的测试结果。

示例7包括示例6所述的ML实体测试装置，其中，对于所述ML实体的所述测试结果包含由所述ML实体基于每个测试数据示例进行推理产生的推理输出。

示例8包括一种用在管理服务(MnS)生产方的机器学习(ML)实体测试装置，其中，所述ML实体测试装置包括处理器电路，所述处理器电路被配置为促使所述MnS生产方：从第一MnS消费方接收ML实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及向所述第一MnS消费方发送ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。

示例9包括示例8所述的ML实体测试装置，其中，所述ML实体测试请求包含所述ML实体的标识符。

示例10包括示例8所述的ML实体测试装置，其中，所述ML实体测试请求包含用于测试所述ML实体的性能的测试数据。

示例11包括示例10所述的ML实体测试装置，其中，测试所述ML实体的性能是指由所述ML实体使用所述测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。

示例12包括示例8所述的ML实体测试装置，其中，所述处理器电路进一步被配置为促使所述MnS生产方：向所述第一MnS消费方或由所述第一MnS消费方指定的第二MnS消费方发送ML实体测试报告，其中，所述ML实体测试报告用于指示所述ML实体的性能是否被成功测试。

示例13包括示例12所述的ML实体测试装置，其中，当所述ML实体的性能被成功测试时，所述ML实体测试报告包含对于所述ML实体的测试结果。

示例14包括示例13所述的ML实体测试装置，其中，对于所述ML实体的所述测试结果包含由所述ML实体基于每个测试数据示例进行推理产生的推理输出。

示例15包括一种用在管理服务(MnS)消费方的机器学习(ML)实体测试方法，其中，所述方法包括：向MnS生产方发送ML实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及从所述MnS生产方接收ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。

示例16包括示例15所述的ML实体测试方法，其中，所述ML实体测试请求包含所述ML实体的标识符。

示例17包括示例15所述的ML实体测试方法，其中，所述ML实体测试请求包含用于测试所述ML实体的性能的测试数据。

示例18包括示例17所述的ML实体测试方法，其中，测试所述ML实体的性能是指由所述ML实体使用所述测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。

示例19包括示例15所述的ML实体测试方法，其中，所述方法进一步包括：从所述MnS生产方接收ML实体测试报告，其中，所述ML实体测试报告用于指示所述ML实体的性能是否被成功测试。

示例20包括示例19所述的ML实体测试方法，其中，当所述ML实体的性能被成功测试时，所述ML实体测试报告包含对于所述ML实体的测试结果。

示例21包括示例20所述的ML实体测试方法置，其中，对于所述ML实体的所述测试结果包含由所述ML实体基于每个测试数据示例进行推理产生的推理输出。

示例22包括一种用在管理服务(MnS)生产方的机器学习(ML)实体测试方法，其中，所述方法包括：从第一MnS消费方接收ML实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及向所述第一MnS消费方发送ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。

示例23包括示例22所述的ML实体测试方法，其中，所述ML实体测试请求包含所述ML实体的标识符。

示例24包括示例22所述的ML实体测试方法，其中，所述ML实体测试请求包含用于测试所述ML实体的性能的测试数据。

示例25包括示例24所述的ML实体测试方法，其中，测试所述ML实体的性能是指由所述ML实体使用所述测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。

示例26包括示例22所述的ML实体测试方法，其中，所述方法进一步包括：向所述第一MnS消费方或由所述第一MnS消费方指定的第二MnS消费方发送ML实体测试报告，其中，所述ML实体测试报告用于指示所述ML实体的性能是否被成功测试。

示例27包括示例26所述的ML实体测试方法，其中，当所述ML实体的性能被成功测试时，所述ML实体测试报告包含对于所述ML实体的测试结果。

示例28包括示例27所述的ML实体测试方法，其中，对于所述ML实体的所述测试结果包含由所述ML实体基于每个测试数据示例进行推理产生的推理输出。

示例29包括一种计算机可读存储介质，其上存储有计算机可执行指令，其中，所述计算机可执行指令在由用在管理服务(MnS)消费方的处理器电路执行时，促使所述MnS消费方实现示例15-21中任一项所述的ML实体测试方法。

示例30包括一种计算机可读存储介质，其上存储有计算机可执行指令，其中，所述计算机可执行指令在由用在管理服务(MnS)生产方的处理器电路执行时，促使所述MnS生产方实现示例22-28中任一项所述的ML实体测试方法。

示例31包括一种用在管理服务(MnS)消费方的机器学习(ML)实体测试装置，其中，所述ML实体测试装置包括用于实现示例15-21中任一项所述的ML实体检测方法的装置。

示例32包括一种用在管理服务(MnS)生产方的机器学习(ML)实体测试装置，其中，所述ML实体测试装置包括用于实现示例22-28中任一项所述的ML实体测试方法的装置。

尽管为了描述的目的，这里已经说明和描述了某些实施例，但是在不脱离本公开的范围的情况下，可以用实现相同目的的各种各样的替代和/或等效实施例或实施方式来代替图示出和描述的实施例。本申请旨在涵盖本文所讨论的实施例的任何改编或变化。因此，这里所描述的实施例显然仅由所附权利要求书及其等效物来限制。

Claims (20)

1.一种用在管理服务(MnS)消费方的机器学习(ML)实体测试装置，其中，所述ML实体测试装置包括处理器电路，所述处理器电路被配置为促使所述MnS消费方：

向MnS生产方发送ML实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及

从所述MnS生产方接收ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。

2.根据权利要求1所述的ML实体测试装置，其中，所述ML实体测试请求包含所述ML实体的标识符。

3.根据权利要求1所述的ML实体测试装置，其中，所述ML实体测试请求包含用于测试所述ML实体的性能的测试数据。

4.根据权利要求3所述的ML实体测试装置，其中，测试所述ML实体的性能是指由所述ML实体使用所述测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。

5.根据权利要求1所述的ML实体测试装置，其中，所述处理器电路进一步被配置为促使所述MnS消费方：

从所述MnS生产方接收ML实体测试报告，其中，所述ML实体测试报告用于指示所述ML实体的性能是否被成功测试。

6.根据权利要求5所述的ML实体测试装置，其中，当所述ML实体的性能被成功测试时，所述ML实体测试报告包含对于所述ML实体的测试结果。

7.根据权利要求6所述的ML实体测试装置，其中，对于所述ML实体的所述测试结果包含由所述ML实体基于每个测试数据示例进行推理产生的推理输出。

8.一种用在管理服务(MnS)生产方的机器学习(ML)实体测试装置，其中，所述ML实体测试装置包括处理器电路，所述处理器电路被配置为促使所述MnS生产方：

从第一MnS消费方接收ML实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及

向所述第一MnS消费方发送ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。

9.根据权利要求8所述的ML实体测试装置，其中，所述ML实体测试请求包含所述ML实体的标识符。

10.根据权利要求8所述的ML实体测试装置，其中，所述ML实体测试请求包含用于测试所述ML实体的性能的测试数据。

11.根据权利要求10所述的ML实体测试装置，其中，测试所述ML实体的性能是指由所述ML实体使用所述测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。

12.根据权利要求8所述的ML实体测试装置，其中，所述处理器电路进一步被配置为促使所述MnS生产方：

向所述第一MnS消费方或由所述第一MnS消费方指定的第二MnS消费方发送ML实体测试报告，其中，所述ML实体测试报告用于指示所述ML实体的性能是否被成功测试。

13.根据权利要求12所述的ML实体测试装置，其中，当所述ML实体的性能被成功测试时，所述ML实体测试报告包含对于所述ML实体的测试结果。

14.根据权利要求13所述的ML实体测试装置，其中，对于所述ML实体的所述测试结果包含由所述ML实体基于每个测试数据示例进行推理产生的推理输出。

15.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，所述计算机可执行指令在由用在管理服务(MnS)消费方的处理器电路执行时，促使所述MnS消费方：

向MnS生产方发送机器学习(ML)实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及

从所述MnS生产方接收ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。

16.根据权利要求15所述的计算机可读存储介质，其中，所述ML实体测试请求包含所述ML实体的标识符。

17.根据权利要求15所述的计算机可读存储介质，其中，所述ML实体测试请求包含用于测试所述ML实体的性能的测试数据。

18.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，所述计算机可执行指令在由用在管理服务(MnS)生产方的处理器电路执行时，促使所述MnS生产方：

从第一MnS消费方接收机器学习(ML)实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及

向所述第一MnS消费方发送ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。

19.根据权利要求18所述的计算机可读存储介质，其中，所述计算机可执行指令在由用在所述MnS生产方的所述处理器电路执行时，进一步促使所述MnS生产方：

向所述第一MnS消费方或由所述第一MnS消费方指定的第二MnS消费方发送ML实体测试报告，其中，所述ML实体测试报告用于指示所述ML实体的性能是否被成功测试。

20.根据权利要求19所述的计算机可读存储介质，其中，当所述ML实体的性能被成功测试时，所述ML实体测试报告包含对于所述ML实体的测试结果。