CN117882086A - 用于ai/ml模型的连续评估、训练和部署的方法、架构、装置和系统 - Google Patents

Abstract

使用实施第一机器学习(ML)模型的第一ML模块和实施第二ML模型的第二ML模块的机器学习的程序、方法、架构、装置、系统、设备和计算机程序产品，该方法包括：由第二ML模块接收第一ML模型的第一预测结果，该第一预测结果基于输入数据；由第二ML模块基于输入数据使用第二ML模型生成第二预测结果；由第二ML模块基于第一ML模型的第一预测结果与第二ML模型的第二预测结果的比较来确定准确度度量；以及由第二ML模块发送所确定的准确度度量和准确度条件。

Description

用于AI/ML模型的连续评估、训练和部署的方法、架构、装置和 系统

技术领域

本公开整体涉及通信、软件和编码的领域，包括例如涉及AI/ML(人工智能/机器学习)模型的评估、训练和/或部署的方法、架构、装置、系统。

背景技术

AI/ML技术可用于各种领域，诸如图像增强、音频噪声减小、自动翻译和导航。这种新型智能可以通过精确且快速地处理和解译由嵌入在设备中的传感器(例如，相机、麦克风和温度计)生成的大量数据来实现。这些传感器旨在反映在设备附近发生的情况。因此，环境变化将影响最终应用和用户体验。

构建在生产时在野外执行良好的机器学习模型仍然是一个开放且具有挑战性的问题：在训练期间看到的示例与在推断时使用的示例之间的差异可能导致生产中AI/ML模型的准确度性能的下降。基于AI/ML模型的那些服务的质量管理可能需要附加到推断节点的模型性能反馈，以确保对那些部署的服务的质量的连续评估。

发明内容

根据一个实施方案，提出了一种使用实施生产ML模型的第一ML模块和实施不同于生产ML模型的参考ML模型的第二ML模块的机器学习方法，该方法包括：由第二ML模块接收生产ML模型的第一预测结果，该第一预测结果基于输入数据；由第二ML模块基于输入数据使用参考ML模型生成第二预测结果；基于生产ML模型的第一预测结果与参考ML模型的第二预测结果的比较来确定准确度度量；以及在准确度度量指示准确度不满足准确度条件的条件下，更新生产ML模型。

其他实施方案包括被配置为执行本文所述方法的系统。此类系统可包括处理器以及存储指令的非暂态计算机存储介质，这些指令当在处理器上执行时可操作以执行本文所述的方法。

附图说明

从下面的详细描述中可以得到更详细的理解，该描述结合其附图以举例的方式给出。与详细描述一样，此类附图中的图是示例。因此，附图(图)和具体实施方式不应被认为是限制性的，并且其他同样有效的示例是可能的和预期的。另外，图中类似的附图标号(“ref.”)指示类似的元件，并且其中：

图1A是示出示例性通信系统的系统图；

图1B是示出可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图；

图1C是示出可在图1A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图；

图1D是示出可在图1A所示的通信系统内使用的另外示例性RAN和另外示例性CN的系统图；

图2示出根据实施方案的用于AI/ML模型的评估、训练和/或部署的系统图流程的概览；

图3示出根据实施方案的重新训练AI/ML模型的流程图的概览；

图4示出根据实施方案的用于AI/ML模型的评估、训练和/或部署的系统架构的概览；

图5示出根据实施方案的数据收集器节点的概览；

图6示出推断/参考模型；

图7示出用于AI/ML模型传递的服务架构的示例；

图8是示出根据实施方案的机器学习方法的示例的图；并且

图9是示出根据另一实施方案的机器学习方法的示例的图。

具体实施方式

在以下详细描述中，阐述了许多具体细节以提供对本文所公开的实施方案和/或示例的透彻理解。然而，应当理解，此类实施方案和示例可在没有本文阐述的一些或所有具体细节的情况下被实践。在其他情况下，未详细描述熟知的方法、流程、部件和电路，以免模糊以下描述。此外，本文未具体描述的实施方案和示例可代替本文中明确、隐含和/或固有地描述、公开或以其他方式提供(统称为“提供”)的实施方案和其他示例来实践，或与这些实施方案和示例组合来实践。尽管本文描述和/或要求保护了各种实施方案，其中装置、系统、设备等和/或其任何元件执行操作、过程、算法、功能等和/或其任何部分，但应当理解，本文所述和/或受权利要求书保护的任何实施方案假定任何装置、系统、设备等和/或其任何元件被配置为执行任何操作、过程、算法、功能等和/或其任何部分。

示例性通信系统

本文提供的方法、装置和系统非常适于涉及有线网络和无线网络两者的通信。相对于图1A至图1D提供了各种类型的无线设备和基础结构的概述，其中网络的各种元件可利用本文提供的方法、装置和系统，执行本文提供的方法、装置和系统，根据本文提供的方法、装置和系统布置，并且/或者针对本文提供的方法、装置和系统进行适配和/或配置。

图1A是示出在其中可实现一个或多个所公开的实施方案的示例性通信系统100的系统图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾(ZT)唯一字(UW)离散傅里叶变换(DFT)扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。

如图1A所示，通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、无线电接入网络(RAN)104/113、核心网络(CN)106/115、公共交换电话网(PSTN)108、互联网110和其他网络112，但应当理解，所公开的实施方案设想了任何数量的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，WTRU102a、102b、102c、102d(其中任一个WTRU均可称为“站”和/或“STA”)可被配置为传输和/或接收无线信号，并且可包括(或可以是)用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动化处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU 102a、102b、102c和102d中的任一者可互换地称为WTRU 102(例如UE)。

通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接以例如促进对一个或多个通信网络(诸如CN 106/115、互联网110和/或网络112)的访问。作为示例，基站114a、114b可为基站收发台(BTS)、节点B(NB)、演进节点B(eNB)、家庭节点B(HNB)、家庭演进节点B(HeNB)、g节点B(gNB)、NR节点B(NR NB)、站点控制器、接入点(AP)、无线路由器等中的任一者。虽然基站114a、114b各自被描绘为单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。

基站114a可以是RAN 104/113的一部分，该RAN还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上发射和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在实施方案中，基站114a可包括三个收发器，即，小区的每个扇区一个收发器。在实施方案中，基站114a可采用多输入多输出(MIMO)技术并且可针对小区的每个或任何扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上发射和/或接收信号。

基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。可使用任何合适的无线电接入技术(RAT)来建立空中接口116。

更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 104/113中的基站114a和WTRU 102a、102b、102c可实现无线电技术诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其可使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可包括诸如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。

在实施方案中，基站114a和WTRU 102a、102b、102c可实施诸如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术，其可使用长期演进(LTE)和/高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口116。

在实施方案中，基站114a和WTRU 102a、102b、102c可实现无线电技术诸如NR无线电接入，该无线电技术可使用新空口(NR)来建立空中接口116。

在实施方案中，基站114a和WTRU 102a、102b、102c可实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可例如使用双连接(DC)原理一起实施LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所利用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的发射来表征。

在实施方案中，基站114a和WTRU 102a、102b、102c可实现诸如IEEE 802.11(即，无线保真(Wi-Fi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM增强数据率演进(EDGE)、GSM EDGE(GERAN)等无线电技术。

图1A中的基站114b可为例如无线路由器、家庭节点B、家庭演进节点B或接入点，并且可利用任何合适的RAT来促进局部区域诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等中的无线连接。在实施方案中，基站114b和WTRU 102c、102d可实现诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在实施方案中，基站114b和WTRU 102c、102d可实施诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在实施方案中，基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微小区、微微小区或毫微微小区中的任一者。如图1A所示，基站114b可具有与互联网110的直接连接。因此，基站114b可不需要经由CN 106/115访问互联网110。

RAN 104/113可与CN 106/115通信，该CN可以是被配置为向WTRU 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(VoIP)服务的任何类型的网络。数据可具有不同的服务质量(QoS)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106/115可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1A中示出，但是应当理解，RAN 104/113和/或CN 106/115可与采用与RAN 104/113相同的RAT或不同RAT的其他RAN进行直接或间接通信。例如，除了连接到可利用NR无线电技术的RAN 104/113之外，CN 106/115还可与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或Wi-Fi无线电技术中的任一者的另一RAN(未示出)通信。

CN 106/115也可充当WTRU 102a、102b、102c、102d的网关，以访问PSTN 108、互联网110和/或其他网络112。PSTN 108可包括提供普通老式电话服务(POTS)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(TCP)、用户数据报协议(UDP)和/或TCP/IP互联网协议组中的互联网协议(IP))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个RAN的另一个CN，该一个或多个RAN可采用与RAN 104/114相同的RAT或不同的RAT。

通信系统100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如，WTRU 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1A所示的WTRU 102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，并且与可采用IEEE 802无线电技术的基站114b通信。

图1B是示出示例性WTRU 102的系统图。如图1B所示，WTRU 102可包括处理器118、收发器120、传输/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他元件/外围设备138等。应当理解，在与实施方案保持一致的同时，WTRU 102可包括前述元件的任何子组合。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使WTRU 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1B将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可以例如在电子封装或芯片中集成在一起。

发射/接收元件122可被配置为通过空中接口116向基站(例如，基站114a)发射信号或从基站接收信号。例如，在实施方案中，传输/接收元件122可以是被配置为传输和/或接收RF信号的天线。在实施方案中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在实施方案中，传输/接收元件122可以被配置为传输和/或接收RF信号和光信号两者。应当理解，发射/接收元件122可被配置为发射和/或接收无线信号的任何组合。

尽管发射/接收元件122在图1B中被描绘为单个元件，但是WTRU 102可包括任何数量的发射/接收元件122。例如，WTRU 102可采用MIMO技术。因此，在实施方案中，WTRU 102可包括用于通过空中接口116传输和接收无线信号的两个或更多个传输/接收元件122(例如，多个天线)。

收发器120可被配置为调制将由发射/接收元件122发射的信号并且解调由发射/接收元件122接收的信号。如上所指出，WTRU 102可具有多模式性能。例如，因此，收发器120可包括多个收发器，以便使WTRU 102能够经由多种RAT(诸如NR和IEEE 802.11)进行通信。

WTRU 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方案中，处理器118可从未物理上定位在WTRU 102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。

处理器118可从电源134接收电力，并且可被配置为向WTRU 102中的其他部件分配和/或控制电力。电源134可以是用于为WTRU 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器118还可耦合到GPS芯片组136，该GPS芯片组可被配置为提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。除了来自GPS芯片组136的信息之外或代替该信息，WTRU 102可通过空中接口116从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，该WTRU 102可通过任何合适的位置确定方法来获取位置信息。

处理器118还可耦合到其他元件/外围设备138，该其他元件/外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块/单元和/或硬件模块/单元。例如，元件/外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(例如，用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发器、免提头戴式耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。元件/外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。

WTRU 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的传输和接收(例如，与用于上行链路(例如，用于传输)和下行链路(例如，用于接收)两者的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在实施方案中，WTRU 102可包括半双工无线电台，对于该半双工无线电台，一些或所有信号的传输和接收(例如，与用于上行链路(例如，用于传输)或下行链路(例如，用于接收)的特定子帧相关联)。

图1C是示出根据实施方案的RAN 104和CN 106的系统图。如上所指出，RAN 104可以采用E-UTRA无线电技术通过空中接口116与WTRU 102a、102b和102c通信。RAN 104还可与CN 106通信。

RAN 104可包括演进节点B 160a、160b、160c，但是应当理解，在与实施方案保持一致的同时，RAN 104可包括任何数量的演进节点B。演进节点B 160a、160b、160c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在实施方案中，演进节点B 160a、160b、160c可实施MIMO技术。因此，演进节点B 160a例如可以使用多个天线来向WTRU 102a发射无线信号，以及从该WTRU接收无线信号。

演进节点B 160a、160b和160c中的每一者可以与特定小区(未示出)相关联，并且可以被配置为处理无线电资源管理决策、切换决策、上行链路(UL)和/或下行链路(DL)中的用户调度，等等。如图1C所示，演进节点B 160a、160b、160c可通过X2接口彼此通信。

图1C所示的CN 106可包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(PGW)166。虽然前述元件中的每一者被描绘为CN 106的一部分，但是应当理解，这些元件中的任一者可由除CN运营商之外的实体拥有和/或操作。

MME 162可以经由S1接口连接到RAN 104中的演进节点B 160a、160b和160c中的每一者，并且可以用作控制节点。例如，MME 162可负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附加期间选择特定服务网关等。MME 162可提供用于在RAN 104和采用其他无线电技术(诸如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换的控制平面功能。

SGW 164可经由S1接口连接到RAN 104中的演进节点B 160a、160b、160c中的每一者。SGW 164通常可向/从WTRU 102a、102b、102c路由和转发用户数据分组。SGW 164可执行其他功能，诸如在演进节点B间切换期间锚定用户平面、当DL数据可用于WTRU 102a、102b、102c时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等。

SGW 164可连接到PGW 166，该PGW可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。

CN 106可促进与其他网络的通信。例如，CN 106可为WTRU 102a、102b、102c提供对电路交换网络(诸如，PSTN 108)的访问，以促进WTRU 102a、102b、102c与传统陆线通信设备之间的通信。例如，CN 106可包括用作CN 106与PSTN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外，CN 106可向WTRU 102a、102b、102c提供对其他网络112的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。

尽管WTRU在图1A至图1D中被描述为无线终端，但是可以设想，在某些代表性实施方案中，此类终端可(例如，临时或永久)使用与通信网络的有线通信接口。

在代表性实施方案中，其他网络112可为WLAN。

处于基础结构基本服务集(BSS)模式的WLAN可具有用于BSS的接入点(AP)以及与AP相关联的一个或多个站点(STA)。AP可具有至分配系统(DS)或将流量携带至和/或携带流量离开BSS的另一种类型的有线/无线网络的接入或接口。源自BSS外部并通向STA的流量可通过AP到达并且可被传递到STA。源自STA并通向BSS外部的目的地的流量可被发送到AP以被传递到相应目的地。BSS内的STA之间的流量可通过AP发送，例如，其中源STA可向AP发送流量，并且AP可将流量传递到目的地STA。BSS内的STA之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(DLS)在源和目的地STA之间(例如，直接在它们之间)发送点对点流量。在某些代表性实施方案中，DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且IBSS内或使用IBSS的STA(例如，所有STA)可彼此直接通信。IBSS通信模式在本文中有时可称为“ad-hoc”通信模式。

当使用802.11ac基础结构操作模式或相似操作模式时，AP可在固定信道(诸如主信道)上发射信标。主信道可为固定宽度(例如，20MHz宽带宽)或经由信令动态设置的宽度。主信道可为BSS的操作信道，并且可由STA用来建立与AP的连接。在某些代表性实施方案中，例如在802.11系统中可实现载波侦听多路访问/冲突避免(CSMA/CA)。对于CSMA/CA，STA(例如，每个STA)(包括AP)可侦听主信道。如果主信道被特定STA侦听/检测和/或确定为繁忙，则特定STA可退避。一个STA(例如，仅一个站)可在给定BSS中在任何给定时间传输。

高吞吐量(HT)STA可使用40MHz宽的信道进行通信，例如，经由主20MHz信道与相邻或不相邻的20MHz信道的组合以形成40MHz宽的信道。

极高吞吐量(VHT)STA可支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合连续的20MHz信道来形成。可通过组合8个连续的20MHz信道，或通过组合两个非连续的80MHz信道(这可被称为80+80配置)来形成160MHz信道。对于80+80配置，在信道编码之后，数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(IFFT)处理和时间域处理。可将这些流映射到两个80MHz信道，并且可通过发射STA来发射数据。在接收STA的接收器处，可颠倒上述用于80+80配置的操作，并且可将组合的数据发送到介质访问控制(MAC)层、实体等。

802.11af和802.11ah支持低于1GHz的操作模式。相对于802.11n和802.11ac中使用的那些，802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持电视白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施方案，802.11ah可支持仪表类型控制/机器类型通信(MTC)，诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力，例如有限的能力，包括支持(例如，仅支持)某些带宽和/或有限的带宽。MTC设备可包括电池寿命高于阈值(例如，以保持非常长的电池寿命)的电池。

可支持多个信道的WLAN系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由BSS中的所有STA支持的最大公共操作带宽的带宽。主信道的带宽可由来自在BSS中操作的所有STA的STA(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中，对于支持(例如，仅支持)1MHz模式的STA(例如，MTC型设备)，主信道可为1MHz宽，即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可取决于主信道的状态。如果主信道繁忙，例如，由于STA(仅支持1MHz操作模式)正在向AP发射，即使大多数频段保持空闲并且可能可用，整个可用频段也可被视为繁忙。

在美国，可供802.11ah使用的可用频带为902MHz至928MHz。在韩国，可用频带为917.5MHz至923.5MHz。在日本，可用频带为916.5MHz至927.5MHz。802.11ah可用的总带宽为6MHz至26MHz，具体取决于国家代码。

图1D是示出根据实施方案的RAN 113和CN 115的系统图。如上文所指出，RAN 113可采用NR无线电技术以通过空中接口116与WTRU 102a、102b、102c通信。RAN 113还可与CN115通信。

RAN 113可包括gNB 180a、180b、180c，尽管将了解，RAN 113可包括任何数量的gNB，同时与实施方案保持一致。gNB 180a、180b、180c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在实施方案中，gNB 180a、180b、180c可实现MIMO技术。例如，gNB 180a、180b可利用波束成形来向WTRU 102a、102b、102c传输信号和/或从WTRU接收信号。因此，gNB 180a例如可使用多个天线来向WTRU 102a发射无线信号和/或从WTRU 102a接收无线信号。在实施方案中，gNB 180a、180b、180c可实施载波聚合技术。例如，gNB 180a可向WTRU 102a(未示出)发射多个分量载波。这些分量载波的子集可在免许可频谱上，而其余分量载波可在许可频谱上。在实施方案中，gNB 180a、180b、180c可实施被协调的多点(CoMP)技术。例如，WTRU 102a可从gNB 180a和gNB 180b(和/或gNB 180c)接收被协调的发射。

WTRU 102a、102b、102c可使用与可扩展参数集相关联的传输来与gNB 180a、180b、180c通信。例如，OFDM符号间隔和/或OFDM子载波间隔可因不同传输、不同小区和/或无线传输频谱的不同部分而变化。WTRU 102a、102b、102c可使用各种或可扩展长度的子帧或传输时间间隔(TTI)(例如，包括不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB180a、180b、180c通信。

gNB 180a、180b、180c可被配置为以独立配置和/或非独立配置与WTRU 102a、102b、102c通信。在独立配置中，WTRU 102a、102b、102c可与gNB 180a、180b、180c通信，同时也不访问其他RAN(例如，诸如演进节点B 160a、160b、160c)。在独立配置中，WTRU 102a、102b、102c可将gNB 180a、180b、180c中的一者或多者用作移动性锚定点。在独立配置中，WTRU 102a、102b、102c可在未许可频带中使用信号与gNB 180a、180b、180c通信。在非独立配置中，WTRU 102a、102b、102c可与gNB 180a、180b、180c通信或连接，同时也与其他RAN(诸如，演进节点B160a、160b、160c)通信或连接。例如，WTRU 102a、102b、102c可实施DC原理以基本上同时与一个或多个gNB 180a、180b、180c和一个或多个演进节点B 160a、160b、160c通信。在非独立配置中，演进节点B 160a、160b、160c可用作WTRU 102a、102b、102c的移动性锚点，并且gNB 180a、180b、180c可提供用于服务WTRU 102a、102b、102c的附加覆盖和/或吞吐量。

gNB 180a、180b、180c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度、网络切片的支持、双连接、NR和E-UTRA之间的互通、用户平面数据朝向用户平面功能(UPF)184a、184b的路由、控制平面信息朝向接入和移动性管理功能(AMF)182a、182b的路由等。如图1D所示，gNB 180a、180b、180c可通过Xn接口彼此通信。

图1D所示的CN 115可包括至少一个AMF 182a、182b、至少一个UPF 184a、184b、至少一个会话管理功能(SMF)183a、183b以及至少一个数据网络(DN)185a、185b。虽然前述元件中的每个元件被描绘为CN 115的一部分，但应当理解，这些元件中的任一元件可由除CN运营商之外的实体拥有和/或操作。

AMF 182a、182b可经由N2接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者，并且可用作控制节点。例如，AMF 182a、182b可负责认证WTRU 102a、102b、102c的用户、网络切片的支持(例如，具有不同要求的不同协议数据单元(PDU)会话的处理)、选择特定SMF 183a、183b、注册区域的管理、NAS信令的终止、移动性管理，等等。AMF 182a、182b可使用网络切片以例如基于WTRU 102a、102b、102c所使用的服务的类型来为WTRU 102a、102b、102c定制CN支持。例如，可针对不同的用例(诸如，依赖于超高可靠低延迟(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、用于MTC接入的服务等)建立不同的网络切片。AMF 162可提供用于在RAN 113和采用其他无线电技术(诸如LTE、LTE-A、LTE-A Pro和/或非3GPP接入技术，诸如Wi-Fi)的其他RAN(未示出)之间进行切换的控制平面功能。

SMF 183a、183b可经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可选择并控制UPF184a、184b，并且配置通过UPF 184a、184b进行的流量路由。SMF 183a、183b可执行其他功能，诸如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等。

UPF 184a、184b可经由N3接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者，这些gNB可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的接入，例如以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。UPF 184、184b可执行其他功能，诸如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等。

CN 115可促进与其他网络的通信。例如，CN 115可包括用作CN 115与PSTN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外，CN115可向WTRU 102a、102b、102c提供对其他网络112的访问，该其他网络112可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在实施方案中，WTRU 102a、102b、102c可通过UPF 184a、184b经由至UPF 184a、184b的N3接口以及UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口连接到DN 185a、185b。

鉴于图1A至图1D以及图1A至图1D的对应描述，本文参照以下中的任一者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真元件/设备(未示出)执行：WTRU102a-102d、基站114a-114b、演进节点B160a-160c、MME 162、SGW 164、PGW 166、gNB 180a-180c、AMF 182a-182b、UPF 184a-184b、SMF 183a-183b、DN 185a-185b和/或本文所述的任何其他元件/设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可被设计为在实验室环境和/或运营商网络环境中实施其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实施和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实施/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。

该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实施/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试装备。经由RF电路(例如，其可包括一个或多个天线)进行的直接RF耦合和/或无线通信可由仿真设备用于发射和/或接收数据。

通常，监督的AI/ML模型的性能可以在训练阶段通过使用数据集的专用部分(例如，验证数据集)来完成。系统的实际准确度可根据当前输入数据、环境和生产期间遇到的情境而不同。为了评估在现场部署和运行的模型的真实准确度，可以(例如需要)使用基于真实数据的最新验证数据集。任何测试、训练或验证数据集可以是标记数据集：数据集中的每个条目应该由一组输入及其相关联的基本事实组成。

取决于由那些模型解决的任务的类型，“生产中标记的测试集”可能不可用和负担不起。在像短期或中期预测(例如，带宽预测、用户活动/存在预测、切换预测)那样的一些任务中，可以直接仅通过等待适当的时间来创建该基本事实并获得测量值。在其他任务中，例如图像分类/识别或语音识别，可能几乎不可能自动进行：这通常可以使用(例如需要)一些手动验证和标记。对于一些任务，标记过程可以自动地设置(自动标记)，对于其他任务，该过程可能不是自动化的，因为它可能使用(例如请求)可能与生产环境不兼容的一些额外工作和/或手动操作。

本公开主要针对不容易自我标记的模型：通过引入一种方法来提供“估计基本事实”(或伪基本事实)，其可用于量化关于生产中的数据遇到的模型准确度和/或检测所部署模型上的不当行为或准确度的漂移。

本公开的一个实施方案是使用具有比部署的模型更好的准确度的第二模型作为参考模型。该实施方案可以使用已知更准确的这种参考模型，并且可以在一些选择的实际输入数据上运行它们。那些数据可以在生产阶段期间在系统上收集。系统可以比较所部署模型的输出和那些参考模型的输出：它可以跟踪输出的差异和/或检测不一致性。参考模型可能不需要实时运行或在目标部署节点上运行。那些参考模型可以以批处理模式(非实时地)在更强大的平台上(甚至在云服务中)运行。除了质量跟踪之外，系统还可以使用收集的数据和由参考模型提供的伪基本事实来提高重新训练过程中部署的模型的准确度。

通过考虑以下的一个或多个，描述了缓解上述问题的新方法：

·使用参考模型以便跟踪部署模型的性能的方法。

·基于收集的数据重新训练模型的方法。

通常，可以在生产平台上部署的模型可能不是可以实现最佳准确度的模型。实际上，在生产中，部署的模型可能经常是准确度和效率之间折衷的结果。由于环境或服务所需的资源约束或过程优化，部署的模型通常会受到限制。这些约束可以是以下类型中的任一种：处理节点约束(节点上可用的处理能力或存储器资源)、服务延迟约束(请求执行时间不应超过阈值)或节能约束(运行推断所需的能耗应受到限制)。所有这些附加约束/优化通常可影响由部署的模型传递的服务的准确度水平。

1.概述

根据一个实施方案，过程可以使用由那些参考模型传递的输出(例如，连续地)评估部署模型的准确度。该过程可以建立在以下4个主要步骤的任何一个上：

·1.数据收集创建：使用任何采样方法，系统可以收集真实数据输入和由部署的模型(“生产上”模型)处理的对应输出。

·2.对于每个收集的输入，在收集中填充由参考模型提供的处理结果。

·3.基于由参考模型计算的值来计算估计的准确度。

·4.更新在生产中使用的模型：通过选择一个新模型，对其进行重新训练(ML域自适应)和/或在可能时改变一些配置参数(例如灵活模型)。使用由参考模型标记的新的输入数据集。

2.主要组成

这里是系统中可能涉及的主要参与者和部件：

·模型管理和维护：该模块可负责部署的模型的管理并评估AI/ML服务的质量。

·数据源：在AI/ML推断过程中用作输入的数据集。这些数据可以由不同类型的数据(图像、声音、关键度量等)组成，并且可以由不同设备产生。

·推断器：可托管部署的模型并且基于由数据源提供的输入计算推断的节点。

·参与者：可使用部署的模型推断输出来传递服务或执行动作的过程。

·收集器代理：可以负责过滤可能(例如需要)收集的输入和输出的实体。它可以应用由模型管理员和维护设置的采样策略。

·数据存储：可存储所选数据输入以及来自部署的模型和参考模型的相关联结果的实体。收集中的(例如，每个)项目可以由输入数据、一些潜在的额外输入数据、“生产模型”的输出和参考模型的输出组成。

·参考推断器：可以使用一个或几个参考模型来计算参考模型推断输出的节点。

3.具体过程描述

图2示出了4个主要步骤操作以及可以在不同的参与者和模块之间发生的典型交互。

下面详细描述4个步骤：

步骤210：数据收集创建：该过程可以创建与生产时遇到的条件相关的输入的数据收集。该收集可以足够大(例如>100条记录)(例如能够)以提供良好的统计准确度值。这些数据可以根据任何采样策略来收集：例如，它可以是常规采样方法，其中无论记录的输入值如何，都可以在常规基础上每n秒记录一次新样本。另一种策略可以是使用完全随机化的采样向量：可以基于随机选择器来选择输入。另一种策略可以是根据输入数据值来存储值(分层或群集采样技术)。在该阶段，数据收集可以由仅包括所选择的输入的记录组成。

与输入收集同时地，系统可以将部署的模型输出添加到数据收集：对于存储在收集中的每个项目(输入)，可以记录部署的模型输出。模型输出可以由不同的值组成：例如，对于分类任务，该输出可以由所选择的类别及其相关联的置信度得分组成。这两个值都可用于过滤出收集中的项目。在该阶段，数据收集的每个记录可以由输入和由部署的模型计算的其相关联的输出组成。

一些参考模型可以使用(例如需要)更多特征或附加数据来运行：如果那些数据可用，则系统可以(例如需要)收集它们。在该阶段，数据收集的每个记录可以用附加输入来完成。

步骤220：对收集的数据应用参考模型：当可能时，在给定的时间和/或周期(例如一天一次、一周一次)，可以使用参考模型来处理收集的每个数据，并且可以将最终输出存储在收集的数据中。由于那些结果可能不需要被实时使用，所以那些过程可以以批处理模式执行，而在执行延迟方面没有任何约束。该处理可以不需要在生产中使用的节点上运行：当(例如，一旦)数据可以被充分地保护并且数据的隐私可以被保留时，那些推断可以在任何远程服务器上运行。参考模型可以比生产中模型更准确和/或可以使用(例如，需要)更多资源(过程、存储器、时间、能量)来提供更准确的响应。在该阶段，数据收集的每个记录可以包括由参考模型处理的对应输出。

步骤230：基于生产的输出和用于收集的每个项目的参考模型来计算估计的准确度。根据实施方案，一种方法可以是使用参考模型的结果作为准确度测量的基本事实：这可以为生产模型提供估计的准确度。当参考模型表现出非常强的准确度时，可以应用第一种方法。根据实施方案，另一种方法可以是使用参考模型的结果及其置信度得分两者。置信度得分可用于过滤出结果可能太模糊或可能不准确的样本：在这种情况下，基于由参考模型提供的基本事实的估计准确度计算可(例如仅)在置信度得分可高于阈值(例如高于75％)的样本上进行。使用那些置信度得分的另一种方式可以是通过参考模型的置信度得分值对每个单独得分进行加权：这可以最小化由参考模型结果提供的错误“基本事实”的影响。

步骤240。如果估计的准确度不再足够(例如，准确度下降到某个阈值以下)，则生产模型可以(例如需要)被更新：该模型可以被完全改变(从其他可能的候选中选择一个)，或者使用附加数据被重新训练，或者被重新参数化(在灵活模型的情况下)。图3示出了具有重新训练过程的模型评估的示例。

在适合部署要求的其他模型(候选模型池)中，有一个模型更准确(对在现场收集的最后一组数据进行测试)，则系统可以部署并使用它来代替前一个模型。

在一些情况下，模型重新训练可以修复准确度下降：在这种情况下，将最后收集的数据包括到训练数据集中以减轻误差并提高生产中的模型准确度可能是非常有用的。这意味着系统可以创建新数据集，其可以是旧数据集与新样本的混合，新样本由收集的输入加上由参考模型计算的伪“基本事实”组成。该新数据集可以通过仅选择其中由参考模型计算的得分置信度可能足够高(例如>75％)的记录来仔细地包括那些新样本，以便不将太多错误标记的样本包括到训练中。

如果在重新训练过程之后，新重新训练的模型不提供足够的准确度，则系统可以(例如，发送警报)通知服务某些方面可能不如预期那样好，并且/或者需要控制/维护(例如，通知最终用户)。

4.典型的块架构具体实施

一旦所有设备彼此可达，则本公开中列出的每个块/实体/模块可在任何设备上实施。当设备具有有限的连接时，例如WTRU 102(例如UE)，可以明智地将传感器、“生产上”推断器和数据收集器节点分组在一起，如图4所示。实际上，那些块可能连续地消耗大量数据。它们可以使用(例如，需要)没有任何链路中断的大带宽。这些块可以(例如需要)紧密地耦合在WTRU 102(例如UE)内部。

4.1块410：数据收集器节点

该实体/模块可以过滤可能(例如，需要)收集的输入和输出。它还可以负责存储来自模块[420]、[460]、[450]的数据，如图5所示。该存储可以在实体中执行。

4.2块411：数据采样器

模型操作管理和维护[400]可以设置可适合数据采样器模块[411]的采样策略。采样策略可以定义不同的设置，例如以下中的任何一个：收集持续时间、收集开始日期、收集结束日期、要收集的数据量或采样方法(以上在章节3中描述的那些方法之一)。

采样的数据然后可以被存储在特定实体[412]中。

4.3块412：数据存储

该实体/模块可以存储所选择的数据输入以及来自部署模型和参考模型的相关联结果。收集中的(例如，每个)项目可以由输入数据、一些潜在的额外输入数据、“生产模型”的输出和参考模型的输出组成。

4.4块413：数据管理存储

实体/模块[413]可以管理收集器节点上可用的有限量的存储空间。它可以负责移除所有过时的数据并且确保新的数据可以被存储在WTRU 102(例如UE)装备中。

4.5块420：模型评估节点

该模块可以负责基于生产上模型预测与对应参考模型预测的比较来计算估计的准确度。所有模型的预测输出可以从数据存储实体[412]中获取。

4.6块300：推断/参考模型

该模块可以具有一些处理单元(CPU、GPU、NPU、ASIC、FPGA...)和存储器，并且可以能够执行一个或多个性能AI/ML模型，例如如图6所示的推断/参考模型。至少一个AI/ML模型可以传递具有显著得分的预测。输出预测数据可由数据存储实体[412]存储。

4.7块400：模型操作管理和维护

该模块可以负责部署的模型的管理，并且可以评估AI/ML服务的质量。它可以设置由收集器节点[410]使用的采样策略。

4.8块450：WTRU(例如UE)传感器

WTRU 102(例如UE)可以嵌入各种传感器，这些传感器可以产生可以由专用AI/ML模型解释的大量感测数据。作为示例，相机是可用于检测和识别对象的常见且典型的传感器。它们可以产生原始RGB数据，该原始RGB数据可以被预处理的并且然后可以拟合AI/ML模型，该模型可以推断并且可以返回预测，例如具有置信度得分的对象标记。来自[450]的数据可以适合可以是可执行生产上推断的模块的块[460]和可以选择可(例如，需要)保持在数据存储器[412]中以供进一步处理的数据输入的块[410]。

4.9块460：推断/生产上模型

该模块可以托管生产上模型并且可以基于由数据源[450]提供的输入数据实时地计算推断。

4.10块700：参与者

该节点可使用部署的模型推断输出来传递服务或执行动作。

5.视频AI/ML传递

5.1后处理用例

神经网络(NN)可以将后处理应用于经解码的视频序列以增强视频质量。后处理可以在编码循环之外，并且可以不影响视频本身的解码。可能的后处理算法可以包括以下任一种：

-后滤波：对视频解码器的输出应用NN以提高质量。这种改进可以包括视频编码伪像移除、主观质量增强等。

-超分辨率：如果(例如，当)显示器的分辨率大于解码视频的分辨率时，则对输出视频序列应用NN。基于NN的方法可以允许在重采样过程期间主观地提高质量。

-基于NN的HDR增强：例如，应用NN以将SDR视频增强为HDR外观的视频。

5.2架构

图7示出了例如根据正在进行的3GPP SA4架构(FS_AI4介质)的应用于后处理NN用例的AI/ML模型传递的服务架构的示例。

在编码器侧710上运行的参考模型可以使用输入视频和解码视频来本地产生参考增强视频。参考模型可以不受或较少受存储器、时间、能量中的资源的限制，以提供该参考增强视频输出。

在评估阶段之前，网络(编码器侧)可以发射适于WTRU的第一训练模型。

根据一个实施方案，位于网络(编码器侧)上的“模型评估节点”711可以在评估阶段期间迭代地处理以下动作中的任何一个动作，所述动作如下：

-管理和/或配置每个WTRU产生的单独的增强视频输出帧的接收采样速率。

-从不同设备(WTRU)接收增强的视频输出样本

-对照在编码器侧运行的WTRU参考模型的输出以及可能来自原始解码视频本身的输出来评估这些样本。评估度量可以基于例如SSIM(结构相似性指数测量)、PSNR(峰值信噪比)测量。

-基于收集的数据(例如，来自视频的最近采样)重新训练WTRU设备模型。

-计算由评估过程产生的新的NN更新(例如，权重、偏差)。

-将NN更新传递给WTRU。

图8是示出使用实施第一ML模型(例如，生产ML模型)的第一ML模块和实施第二ML模型(例如，参考ML模型)的第二ML模块的机器学习的代表性方法的流程图。

参考图8，代表性方法800可以包括在块810处由第二ML模块接收第一ML模型的第一预测结果(例如，由第一ML模块发送)，该第一预测结果基于输入数据。在块820处，代表性方法800可包括由第二ML模块基于输入数据使用第二ML模型来生成第二预测结果。在块830处，代表性方法800可包括由第二ML模块基于第一ML模型的第一预测结果与第二ML模型的第二预测结果的比较来确定准确度度量。在块840处，代表性方法800可包括由第二ML模块向第一ML模块发送所确定的准确度度量。

在某些代表性实施方案中，代表性方法800还可以包括由第一ML模块执行第一ML模型，其中基于所确定的准确度度量和准确度条件来更新第一ML模型。

在某些代表性实施方案中，代表性方法800还可以包括由第一ML模块基于所确定的准确度度量和准确度条件来更新第一ML模型。

在某些代表性实施方案中，代表性方法800还可以包括由第一ML模块执行第一ML模型。

在某些代表性实施方案中，第一ML模型和第二ML模型可以由第一WTRU实施。

在某些代表性实施方案中，第一ML模型可以由第一WTRU实施，并且第二ML模型由网络设备和/或第二WTRU实施。

在某些代表性实施方案中，可以从第一WTRU接收输入数据。

在某些代表性实施方案中，第二ML模型可以具有以下中的任何一项：(1)对于预定验证数据集，比第一ML模型更高的准确度，(2)更大数量的浮点运算(FLOP)，(3)更大的存储器大小。

在某些代表性实施方案中，可以通过在一个或多个候选ML模型中选择第三ML模型来更新第一ML模型。

在某些代表性实施方案中，可以通过由第一ML模块重新训练第一ML模型来更新第一ML模型。

在某些代表性实施方案中，代表性方法800还可以包括生成数据集，该数据集可包括与由第二ML模块生成的第二预测结果中的至少第二预测结果相关联的输入数据。

在某些代表性实施方案中，至少第二预测结果可以与置信度得分相关联。

在某些代表性实施方案中，生成数据集还可以包括例如基于与至少第二预测结果相关联的置信度得分将至少第二预测结果添加到数据集。

在某些代表性实施方案中，第一ML模型可以由第一ML模块例如使用生成的数据集来重新训练。

图9是示出使用实施生产ML模型的第一ML模块和实施参考ML模型的第二ML模块的机器学习的代表性方法的流程图，该参考ML模型不同于生产ML模型。

参考图9，代表性方法900可包括在块910处，由第二ML模块接收生产ML模型的第一预测结果，该第一预测结果基于输入数据。在块920处，代表性方法920可包括由第二ML模块基于输入数据使用参考ML模型来生成第二预测结果。在块930处，代表性方法900可包括基于生产ML模型的第一预测结果和参考ML模型的第二预测结果的比较来确定准确度度量。在块940处，代表性方法900可包括在准确度度量指示准确度不满足准确度条件的条件下，更新生产ML模型。

在某些代表性实施方案中，参考ML模型可以具有以下中的任何一项：(1)对于预定验证数据集，比生产ML模型更高的准确度，(2)更大数量的浮点运算(FLOP)，和/或(3)更大的存储器大小。

在某些代表性实施方案中，更新生产ML模型可以包括在一个或多个候选ML模型中选择新的生产ML模型。

在某些代表性实施方案中，更新生产ML模型可以包括由第一ML模块重新训练生产ML模型。

在某些代表性实施方案中，代表性方法900还可以包括创建数据集，该数据集可包括与由第二ML模块生成的参考ML模型的一个或多个第二预测结果相关联的输入数据。

在某些代表性实施方案中，参考ML模型的第二预测结果可以与置信度得分相关联。

在某些代表性实施方案中，创建数据集还可以包括例如在第二预测结果高于给定置信度得分的条件下添加由第二ML模块生成的参考ML模型的第二预测结果。

结论

尽管上文以特定组合提供了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。本公开并不限于就本专利申请中所述的具体实施方案而言，这些具体实施方案旨在作为各个方面的例证。在不脱离本发明的实质和范围的前提下可进行许多修改和变型，因其对于本领域的技术人员而言将是显而易见的。除非明确如此提供，否则本申请说明书中使用的任何元件、动作或说明均不应理解为对本发明至关重要或必要。根据前面的描述，除了本文列举的那些之外，在本公开的范围内的功能上等同的方法和装置对于本领域的技术人员而言将是显而易见的。此类修改和变型旨在落入所附权利要求书的范围内。本公开仅受限于所附权利要求的条款以及此类享有权利的权利要求的等同形式的全部范围。应当理解，本公开不限于特定的方法或系统。

为了简单起见，关于红外能力设备(即红外发射器和接收器)的术语和结构讨论了前述实施方案。然而，所讨论的实施方案不限于这些系统，而是可应用于使用其他形式的电磁波或非电磁波(诸如声波)的其他系统。

还应当理解，本文所用的术语仅用于描述具体实施方案的目的，并非旨在进行限制。如本文所用，术语“视频”或术语“图像”可意指在时间基础上显示的快照、单个图像和/或多个图像中的任一者。又如，当在本文中提及时，术语“用户装备”和其缩写“UE”、术语“远程”和/或术语“头戴式显示器”或其缩写“HMD”可意指或包括(i)无线发射和/或接收单元(WTRU)；(ii)WTRU的多个实施方案中的任一个实施方案；(iii)具有无线功能和/或具有有线功能(例如，可拴系)的设备配置有(特别是)WTRU的一些或全部结构和功能；(iii)配置有少于WTRU的全部结构和功能的无线能力和/或有线能力设备；或(iv)等。本文相对于图1A至图1D提供了可代表本文所述的任何WTRU的示例性WTRU的细节。又如，本文中的各种所公开实施方案在上文和下文被描述为利用头戴式显示器。本领域技术人员将认识到，可利用除头戴式显示器之外的设备，并且可相应地修改本公开和各种所公开实施方案中的一些或全部，而无需过度实验。这种其他设备的示例可包括无人机或其他设备，被配置为流式传输信息以提供调适的现实体验。

另外，本文中所提供的方法可在并入计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实施。计算机可读介质的示例包括电子信号(通过有线或无线连接发射)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如CD-ROM磁盘和数字通用光盘(DVD))。与软件相关联的处理器可用于实施用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发器。

在不脱离本发明的范围的情况下，上文提供的方法、装置和系统的变型是可能的。鉴于可应用的各种实施方案，应当理解，所示实施方案仅是示例，并且不应视为限制以下权利要求书的范围。例如，本文中提供的实施方案包括手持设备，该手持设备可包括提供任何适当电压的任何适当电压源(诸如电池等)或与该电压源一起使用。

此外，在上文所提供的实施方案中，指出了处理平台、计算系统、控制器和包括处理器的其他设备。这些设备可包括至少一个中央处理单元(“CPU”)和存储器。根据计算机编程领域的技术人员的实践，对动作和操作或指令的符号表示的引用可由各种CPU和存储器执行。此类动作和操作或指令可被认为是正在“执行的”、“计算机执行的”或“CPU执行的”。

本领域的普通技术人员将会知道，动作和符号表示的操作或指令包括CPU对电信号的操纵。电系统表示数据位，这些数据位可导致电信号的最终变换或电信号的减少以及对在存储器系统中的存储器位置处的数据位的保持，从而重新配置或以其他方式改变CPU的操作以及进行信号的其他处理。保持数据位的存储器位置是具有与数据位对应或表示数据位的特定电属性、磁属性、光学属性或有机属性的物理位置。应当理解，实施方案不限于上述平台或CPU，并且其他平台和CPU也可支持所提供的方法。

数据位还可保持在计算机可读介质上，该计算机可读介质包括磁盘、光盘和CPU可读的任何其他易失性(例如，随机存取存储器(“RAM”))或非易失性(例如，只读存储器(“ROM”))海量存储系统。计算机可读介质可包括协作或互连的计算机可读介质，该协作或互连的计算机可读介质唯一地存在于处理系统上或者分布在多个互连的处理系统中，该多个互连的处理系统相对于该处理系统可以是本地的或远程的。应当理解，实施方案不限于上述存储器，并且其他平台和存储器也可支持所提供的方法。

在例示性实施方案中，本文所述的操作、过程等中的任一者可实现为存储在计算机可读介质上的计算机可读指令。计算机可读指令可由移动单元、网络元件和/或任何其他计算设备的处理器执行。

在系统的各方面的硬件具体实施和软件具体实施之间几乎没有区别。硬件或软件的使用通常是(但不总是，因为在某些上下文中，硬件和软件之间的选择可能会变得很重要)表示在成本与效率之间权衡的设计选择。可存在可实现本文所述的过程和/或系统和/或其他技术的各种媒介(例如，硬件、软件和/或固件)，并且优选的媒介可随部署过程和/或系统和/或其他技术的上下文而变化。例如，如果实施者确定速度和准确度最重要，则实施者可选择主要为硬件和/或固件的媒介。如果灵活性最重要，则实施者可选择主要为软件的具体实施。另选地，实施者可选择硬件、软件和/或固件的一些组合。

上述详细描述已经通过使用框图、流程图和/或示例列出了设备和/或过程的各种实施方案。在此类框图、流程图和/或示例包括一个或多个功能和/或操作的情况下，本领域的技术人员应当理解，此类框图、流程图或示例内的每个功能和/或操作可单独地和/或共同地由广泛范围的硬件、软件、固件或几乎它们的任何组合来实现。在实施方案中，本文所述主题的若干部分可经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或其他集成格式来实现。然而，本领域的技术人员将认识到，本文所公开的实施方案的一些方面整体或部分地可等效地在集成电路中实现为在一个或多个计算机上运行的一个或多个计算机程序(例如，在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如，在一个或多个微处理器上运行的一个或多个程序)、固件或几乎它们的任何组合，并且根据本公开，设计电路和/或写入软件和/或固件的代码将完全在本领域技术人员的技术范围内。此外，本领域的技术人员将会知道，本文所述主题的机制可以多种形式作为程序产品分发，并且本文所述主题的例示性实施方案适用，而不管用于实际执行该分发的信号承载介质的具体类型如何。信号承载介质的示例包括但不限于以下各项：可记录类型介质(诸如软盘、硬盘驱动器、CD、DVD、数字磁带、计算机存储器等)；和传输类型介质(诸如数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路等))。

本领域技术人员将认识到，本领域中常见的是，以本文中阐述的方式来描述设备和/或过程，并且此后使用工程实践以将这类所描述设备和/或过程集成到数据处理系统中。也就是说，本文中所描述的设备和/或过程的至少一部分可经由合理量的实验集成到数据处理系统中。本领域技术人员将认识到，典型数据处理系统一般可包括以下中的一个或多个：系统单元外壳；视频显示设备；存储器，诸如易失性存储器和非易失性存储器；处理器，诸如微处理器和数字信号处理器；计算实体，诸如操作系统、驱动程序、图形用户接口和应用程序；一个或多个交互设备，诸如触摸板或屏幕；和/或控制系统，包括反馈回路和控制马达(例如用于感测位置和/或速度的反馈、用于移动和/或调整部件和/或量的控制马达)。典型数据处理系统可利用任何合适的市售部件来实施，诸如通常在数据计算/通信和/或网络计算/通信系统中发现的那些部件。

本文所述的主题有时示出了包括在不同的其他部件内或与不同的其他部件连接的不同的部件。应当理解，此类描绘的架构仅仅是示例，并且事实上可实现达成相同功能的许多其他架构。在概念意义上，达成相同功能的部件的任何布置是有效“相关联的”，使得可实现期望的功能。因此，在本文中被组合以实现特定功能的任何两个部件可被视为彼此“相关联”，使得所需功能得以实现，而与架构或中间部件无关。同样，如此相关联的任何两个部件也可被视为彼此“可操作地连接”或“可操作地耦合”以实现期望的功能，并且能够如此相关联的任何两个部件也可被视为“可操作地可耦合”于彼此以实现期望的功能。可操作地可耦合的具体示例包括但不限于可物理配合和/或物理交互的部件和/或可无线交互和/或无线交互的部件和/或逻辑交互和/或可逻辑交互的部件。

关于本文使用的基本上任何复数和/或单数术语，本领域的技术人员可根据上下文和/或应用适当地从复数转换成单数和/或从单数转换成复数。为清楚起见，本文可明确地列出了各种单数/复数排列。

本领域的技术人员应当理解，一般来讲，本文尤其是所附权利要求(例如，所附权利要求的主体)中使用的术语通常旨在作为“开放式”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“具有至少”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果意图说明特定数量的引入的权利要求叙述对象，则此类意图将在权利要求中明确叙述，并且在不存在此类叙述对象的情况下，不存在此类意图。例如，在预期仅一个项目的情况下，可使用术语“单个”或类似的语言。为了有助于理解，以下所附权利要求和/或本文的描述可包括使用引导短语“至少一个”和“一个或多个”来引入权利要求叙述对象。然而，此类短语的使用不应理解为暗示通过不定冠词“一个”或“一种”将包括此类引入的权利要求叙述对象的任何特定权利要求限制为包括仅一个此类叙述对象的实施方案来引入权利要求叙述对象。即使当同一权利要求包括引导短语“一个或多个”或“至少一个”和不定冠词诸如“一个”或“一种”(例如，“一个”和/或“一种”应解释为意指“至少一个”或“一个或多个”)时，也是如此。这同样适用于使用用于引入权利要求叙述对象的定冠词。此外，即使明确叙述了特定数量的引入的权利要求叙述对象，本领域的技术人员也将认识到，此类叙述应解释为意指至少所述的数量(例如，在没有其他修饰语的情况下，对“两个叙述对象”的裸叙述意指至少两个叙述对象、或者两个或更多个叙述对象)。另外，在使用类似于“A、B和C等中的至少一者”的惯例的那些实例中，一般来讲，此类构造的含义是本领域的技术人员将理解该惯例(例如，“具有A、B和C中的至少一者的系统”将包括但不限于单独具有A、单独具有B、单独具有C、同时具有A和B、同时具有A和C、同时具有B和C和/或同时具有A、B和C等的系统)。在使用类似于“A、B或C等中的至少一者”的惯例的那些实例中，一般来讲，此类构造的含义是本领域的技术人员将理解该惯例(例如，“具有A、B或C中的至少一者的系统”将包括但不限于单独具有A、单独具有B、单独具有C、同时具有A和B、同时具有A和C、同时具有B和C和/或同时具有A、B和C等的系统)。本领域的技术人员还应当理解，事实上，无论在说明书、权利要求书还是附图中，呈现两个或更多个另选术语的任何分离的词语和/或短语都应当理解为设想包括术语中的一个术语、术语中的任一个术语或这两个术语的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。另外，如本文所用，后面跟着列出多个项目和/或多个项目类别的术语“……中的任一个”旨在包括单独的或与其他项目和/或其他项目类别结合的项目和/或项目类别“中的任一个”、“的任何组合”、“的任何倍数”和/或“的倍数的任何组合”。此外，如本文所使用，术语“集合”旨在包括任何数量的项目，包括零。此外，如本文所用，术语“数量”旨在包括任何数量，包括零。并且，如本文所用，术语“多”旨在与“多个”同义。

此外，在根据马库什群组描述本公开的特征或方面的情况下，由此本领域的技术人员将认识到，也根据马库什群组的任何单独的成员或成员的子群组来描述本公开。

如本领域的技术人员将理解的，出于任何和所有目的(诸如就提供书面描述而言)，本文所公开的所有范围还涵盖任何和所有可能的子范围以及它们的子范围的组合。任何列出的范围均可容易地被识别为充分地描述并且使得相同的范围能够被划分成至少相等的两半、三分之一、四分之一、五分之一、十分之一等。作为非限制性示例，本文所讨论的每个范围可容易地被划分成下三分之一、中三分之一和上三分之一等。如本领域的技术人员还将理解的，诸如“最多至”、“至少”、“大于”、“小于”等的所有语言包括所引用的数字并且是指随后可被划分为如上所述的子范围的范围。最后，如本领域的技术人员将理解的，范围包括每个单独的数字。因此，例如具有1至3个单元的群组是指具有1、2或3个单元的群组。类似地，具有1至5个单元的群组是指具有1、2、3、4或5个单元的群组等。

此外，除非另有说明，否则权利要求书不应被理解为受限于所提供的顺序或元件。此外，在任何权利要求中使用术语“用于……的装置”旨在调用35U.S.C.§112,6或装置加功能的权利要求格式，并且没有术语“用于……的装置”的任何权利要求并非意在如此。/>

Claims (21)

1.一种使用实施第一机器学习(ML)模型的第一ML模块和实施第二ML模型的第二ML模块的机器学习的方法，所述方法包括：

-由所述第二ML模块接收所述第一ML模型的第一预测结果，所述第一预测结果基于输入数据；

-由所述第二ML模块基于所述输入数据使用所述第二ML模型来生成第二预测结果；

-由所述第二ML模块基于所述第一ML模型的所述第一预测结果与所述第二ML模型的所述第二预测结果的比较来确定准确度度量；以及

-由所述第二ML模块向所述第一ML模块发送所确定的准确度度量。

2.根据权利要求1所述的方法，所述方法还包括：

-由所述第一ML模块执行所述第一ML模型，其中基于所确定的准确度度量和准确度条件来更新所述第一ML模型。

3.根据权利要求1至2中任一项所述的方法，其中，所述第一ML模型和所述第二ML模型由第一无线发射/接收单元(WTRU)实施。

4.根据权利要求1至2中任一项所述的方法，其中，所述第一ML模型由第一WTRU实施，并且所述第二ML模型由网络设备和/或第二WTRU实施。

5.根据权利要求3至4中任一项所述的方法，其中，所述输入数据是从所述第一WTRU接收的。

6.根据权利要求1至5中任一项所述的方法，其中，所述第二ML模型具有以下中的任一项：(1)对于预定验证数据集，比所述第一ML模型更高的准确度，(2)更大数量的浮点运算(FLOP)，(3)更大的存储器大小。

7.根据权利要求1至6中任一项所述的方法，其中，通过在一个或多个候选ML模型中选择第三ML模型和/或通过由所述第一ML模块重新训练所述第一ML模型来更新所述第一ML模型。

8.根据权利要求1至7中任一项所述的方法，所述方法还包括生成数据集，所述数据集包括与由所述第二ML模块生成的所述第二预测结果中的至少第二预测结果相关联的输入数据。

9.根据权利要求8所述的方法，其中所述至少第二预测结果与置信度得分相关联，并且其中生成所述数据集还包括基于与所述至少第二预测结果相关联的所述置信度得分，向所述数据集添加所述至少第二预测结果。

10.根据权利要求8至9中任一项所述的方法，其中，所述第一ML模型由所述第一ML模块使用所生成的数据集来重新训练。

11.一种实施第一机器学习(ML)模型的第一ML模块，所述第一ML模型被配置为：

-向实施第二ML模型的第二ML模块发送所述第一ML模型的第一预测结果，所述第一预测结果基于输入数据；

-从所述第二ML模块接收基于所述第一ML模型的所述第一预测结果与所述第二ML模型的第二预测结果的比较的准确度度量，其中所述第二预测结果是基于所述输入数据使用所述第二ML模型生成的；

-基于所确定的准确度度量和准确度条件更新所述第一ML模型；以及

-执行所述第一ML模型。

12.根据权利要求11所述的第一ML模块，其中，所述第一ML模型由无线发射/接收单元(WTRU)实施。

13.根据权利要求12所述的第一ML模块，其中，所述输入数据是从所述WTRU接收的。

14.根据权利要求11至13中任一项所述的第一ML模块，其中，所述第二ML模型具有以下中的任一项：(1)对于预定验证数据集，比所述第一ML模型更高的准确度，(2)更大数量的浮点运算(FLOP)，(3)更大的存储器大小。

15.根据权利要求11至14中任一项所述的第一ML模块，所述第一ML模块还被配置为通过在一个或多个候选ML模型中选择第三ML模型和/或通过重新训练所述第一ML模型来更新所述第一ML模型。

16.根据权利要求11至15中任一项所述的第一ML模块，所述第一ML模块还被配置为生成数据集，所述数据集包括与由所述第二ML模块生成的所述第二预测结果中的至少第二预测结果相关联的输入数据。

17.根据权利要求16所述的第一ML模块，其中，所述至少第二预测结果与置信度得分相关联，并且其中所述第一ML模块还被配置为基于与所述至少第二预测结果相关联的所述置信度得分，向所述数据集添加所述至少第二预测结果。

18.根据权利要求16至17中任一项所述的第一ML模块，所述第一ML模块还被配置为使用所生成的数据集来重新训练所述第一ML模型。

19.一种实施第二机器学习(ML)模型的第二ML模块，所述第二ML模块被配置为：

-接收由第一ML模块实施的第一ML模型的第一预测结果，所述第一预测结果基于输入数据；

-基于所述输入数据使用所述第二ML模型生成第二预测结果；

-基于所述第一ML模型的所述第一预测结果与所述第二ML模型的所述第二预测结果的比较来确定准确度度量；以及

-将所确定的准确度度量发送到所述第一ML模块。

20.根据权利要求19所述的第二ML模块，其中，所述第二ML模型由网络设备和/或无线发射/接收单元(WTRU)实施。

21.根据权利要求19至20中任一项所述的第二ML模块，其中，所述第二ML模型具有以下中的任一项：(1)对于预定验证数据集，比所述第一ML模型更高的准确度，(2)更大数量的浮点运算(FLOP)，(3)更大的存储器大小。