CN117157647A

CN117157647A - 机器学习模型更新的报告

Info

Publication number: CN117157647A
Application number: CN202280028390.6A
Authority: CN
Inventors: H·佩泽什基; 骆涛; T·俞
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2021-04-20
Filing date: 2022-03-15
Publication date: 2023-12-01

Abstract

接收器从发送器接收参考神经网络。接收器训练参考神经网络以获得参考神经网络的更新的神经网络参数。接收器响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异。触发可以基于损失函数、更新的神经网络参数和先前的神经网络参数之间的差异的幅度、和/或具有更新的神经网络参数的参考神经网络的性能和具有先前的神经网络参数的参考神经网络的性能之间的差异。

Description

机器学习模型更新的报告

相关申请的交叉引用

本申请要求2022年3月14日提交的标题为“REPORTING FOR MACHINE LEARNINGMODEL UPDATES”的第17/694,467号美国专利申请的优先权，该申请要求2021年4月20日提交的标题为“REPORTING FOR MACHINE LEARNING MODEL UPDATES”的第63/177,180号美国临时专利申请的权益，该申请的公开内容通过引用明确地整体结合于本文。

技术领域

本公开的各方面一般涉及无线通信，并且更具体地，涉及用于触发诸如差分机器学习模型更新的报告的技术和装置。

背景技术

无线通信系统被广泛部署以提供各种电信服务，诸如电话、视频、数据、消息传递和广播。典型的无线通信系统可以运用能够通过共享可用的系统资源(例如，带宽、发送功率等)来支持与多个用户通信的多址技术。这种多址技术的示例包括码分多址(CDMA)系统、时分多址(TDMA)系统、频分多址(FDMA)系统、正交频分多址(OFDMA)系统、单载波频分多址(SC-FDMA)系统、时分同步码分多址(TD-SCDMA)系统和长期演进(LTE)。LTE/LTE-Advanced是由第三代合作伙伴计划(3GPP)颁布的通用移动电信系统(UMTS)移动标准的一组增强。

无线通信网络可以包括能够支持多个用户设备(UE)通信的多个基站(BS)。用户设备(UE)可以经由下行链路和上行链路与基站(BS)通信。下行链路(或前向链路)指从BS到UE的通信链路，而上行链路(或反向链路)指从UE到BS的通信链路。如将更详细描述的，BS可以被称为节点B、gNB、接入点(AP)、无线电头、发送接收点(TRP)、新无线电(NR)BS、5G节点B等。

上述多址技术已经在各种电信标准中被采用，以提供一种公共协议，该协议使不同的用户设备能够在城市、国家、地区以及甚至全球级别上进行通信。新无线电(NR)，也可被称为5G，是由第三代合作伙伴计划(3GPP)颁布的LTE移动标准的一组增强。NR被设计用于通过改善频谱效率、降低成本、改善服务、利用新频谱以及更好地与在下行链路(DL)上使用具有循环前缀(CP)的正交频分复用(OFDM)(CP-OFDM)、在上行链路(UL)上使用CP-OFDM和/或SC-FDM(例如，也被称为离散傅立叶变换扩频OFDM(DFT-s-OFDM))以及支持波束形成、多输入多输出(MIMO)天线技术和载波聚合的其他开放标准集成来更好地支持移动宽带互联网接入。

人工神经网络可以包括互连的人工神经元组(例如，神经元模型)。人工神经网络可以是计算设备或表示为由计算设备执行的方法。卷积神经网络，诸如深度卷积神经网络，是一种前馈人工神经网络。卷积神经网络可以包括可以在平铺的感受野中配置的神经元层。将神经网络处理应用于无线通信以实现更高的效率是可取的。

发明内容

根据本公开的各方面，一种方法从发送器接收参考神经网络。该方法还训练参考神经网络以获得参考神经网络的更新的神经网络参数。该方法进一步响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异。

在本公开的其他方面，一种用于无线通信的装置包括至少一个处理器和与处理器耦合的存储器。当由处理器执行时，储存在存储器中的指令可操作来使该装置从发送器接收参考神经网络。该装置还可以训练参考神经网络以获得参考神经网络的更新的神经网络参数。该装置可以进一步响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异。

在本公开的其他方面，一种由接收器进行无线通信的装置包括用于从发送器接收参考神经网络的部件。该装置还包括用于训练参考神经网络以获得参考神经网络的更新的神经网络参数的部件。该装置进一步包括用于响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异的部件。

在本公开的其他方面，公开了一种其上记录有程序代码的非暂时性计算机可读介质。该程序代码由装置执行，并且包括用于从发送器接收参考神经网络的程序代码。该装置还包括用于训练参考神经网络以获得参考神经网络的更新的神经网络参数的程序代码。该装置还包括用于响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异的程序代码。

各方面通常包括如参照附图和说明书基本描述并由附图和说明书示出的方法、装置、系统、计算机程序产品、非暂时性计算机可读介质、用户设备、基站、无线通信设备和处理系统。

前述已经相当宽泛地概述了根据本公开的示例的特征和技术优点，以便可以更好地理解以下详细描述。将描述附加的特征和优点。所公开的构思和具体示例可以被容易地用作用于修改或设计用于实施本公开的相同目的的其他结构的基础。这种等同的构造不脱离所附权利要求的范围。当结合附图考虑时，从以下描述中将更好地理解所公开的构思的特性、它们的组织和操作方法以及相关联的优点。附图中的每一个都是为了说明和描述的目的而提供的，而不是作为对权利要求的限制的定义。

附图说明

为了可以详细地理解本公开的特征，可以通过参考各方面进行具体的描述，各方面中一些方面在附图中示出。然而，应注意的是，附图仅示出了本公开的某些方面，因而不应被认为是限制了本公开的范围，因为该描述可以承认其他同等有效的方面。不同附图中的相同附图标记可以标识相同或类似的元素。

图1是概念性地示出了根据本公开的各方面的无线通信网络的示例的框图。

图2是概念性地示出了根据本公开的各方面的在无线通信网络中与用户设备(UE)进行通信的基站的示例的框图。

图3示出了根据本公开的某些方面的使用包括通用处理器的片上系统(SOC)设计神经网络的示例实现。

图4A、图4B和图4C是示出了根据本公开的各方面的神经网络的图。

图4D是示出了根据本公开的各方面的示例性深度卷积网络(DCN)的图。

图5是示出了根据本公开的各方面的示例性深度卷积网络(DCN)的框图。

图6是示出了根据本公开的各方面的场景特定模型的框图。

图7是示出了根据本公开的各方面的子模型更新的框图。

图8是示出了根据本公开的各方面的共享机器学习模型的框图。

图9是示出了根据本公开的各方面的基于触发的机器学习模型的差分更新的时序图。

图10是示出了根据本公开的各方面的例如由接收器执行的示例过程的流程图。

具体实施方式

下面参照附图更全面地描述本公开的各方面。然而，本公开可以以许多不同的形式体现，并且不应被解释为限于贯穿本公开呈现的任何具体的结构或功能。相反，提供这些方面使得此公开将是彻底和完整的，并且将本公开的范围完全传达给本领域技术人员。基于教导，本领域技术人员应该了解，本公开的范围旨在覆盖本公开的任何方面，无论是独立于本公开的任何其他方面实现还是与本公开的任何其他方面组合实现。例如，可以使用任意数量的所阐述的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖这样的装置或方法，该方法使用除了所阐述的本公开的各个方面之外的其他结构、功能或结构和功能来实践。应当理解，所公开的本公开的任何方面都可以由权利要求的一个或多个元素来体现。

现在将参考各种装置和技术来呈现电信系统的几个方面。这些装置和技术将在以下详细描述中描述，并且在附图中由各种框、模块、组件、电路、步骤、过程、算法等(统称为“元素”)示出。这些元素可以使用硬件、软件或其组合来实现。这些元素是实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。

应当注意，尽管可以使用普遍与5G和以后的无线技术相关联的术语来描述各方面，但是本公开的各方面可以应用于其他基于代的通信系统(generation-basedcommunications systems)，诸如并且包括3G和/或4G技术。

诸如深度卷积网络的机器学习(ML)模型可以在网络上生成，并且然后被发送到用户设备(UE)用于进一步的训练。尽管本描述主要讨论了源自网络的模型(有时被称为基站或gNB)，但是本公开考虑了相反的情况。也就是说，本公开还旨在覆盖基站向UE传送针对UE发起的模型的模型更新。

当在UE和网络之间交换经训练的神经网络的参数时，涉及到大量的数据。在一些情况下，神经网络的大小可能非常大，并且对于UE来说，在每次更新时上传整个经训练的人工智能(AI)模块可能是不可能的和/或不高效的。

本公开的各方面减少了机器学习模型更新所需的空中传输。在本公开的一些方面，基站可以明确地要求UE仅训练和报告经预训练的神经网络(NN)的“一部分”，而不是整个神经网络。

本公开的各方面针对基于触发事件以不同方式传送更新的神经网络的UE或基站。当UE更新机器学习模型时，UE可以报告模型随时间的变化，而不是在每个模型更新实例报告整个神经网络。后续模型更新可以基于关于参考模型的差分模型上传(例如，由网络传送的经预训练的模型或者由UE传送给网络的第一经预训练的模型)。

根据本公开的各方面，差分模型更新的触发条件可以基于用于训练神经网络的损失函数。例如，如果损失函数下降到阈值以下，或者损失函数的下降速率跌到阈值以下，则可以触发模型更新。也就是说，如果在训练期间的微调量变得足够小，使得网络在训练期间不再有太大变化，则更新可以准备好传送。因此，UE可以发送调度请求来接收用于传输更新的资源分配。

在其他方面，触发条件可以是神经网络的被发送的参数的变化量的函数。例如，可以就当前和先前报告的神经网络参数之间的差异的L1范数或L2范数而言来测量该变化度量。只要参数的变化转化为神经网络整体性能的变化，该变化就是相关的。换句话说，当参数的变化足够显著以对网络性能的影响达到某个阈值量时，更新应该发生。根据本公开的各方面，当UE传送更新时，UE发送调度请求以接收用于发送更新的资源分配。

图1是示出了网络100的示意图，在网络100中，可以实施本公开的各方面。网络100可以是5G或NR网络或某种其他无线网络，诸如LTE网络。无线网络100可以包括多个BS110(示为BS110a、BS110b、BS110c和BS110d)和其他网络实体。BS是与用户设备(UE)通信的实体，并且也可以被称为基站、NR BS、节点B、gNB、5G节点B(NB)、接入点、发送接收点(TRP)等。每个BS可以为特定的地理区域提供通信覆盖。在3GPP中，术语“小区”可以指BS的覆盖区域和/或服务该覆盖区域的BS子系统，这取决于使用该术语的上下文。

BS可以为宏小区、微微小区、毫微微小区和/或另一类型的小区提供通信覆盖。宏小区可以覆盖相对较大的地理区域(例如，半径几公里)，并且可以允许具有服务订购的UE不受限制地接入。微微小区可以覆盖相对较小的地理区域，并且可以允许具有服务订购的UE不受限制地接入。毫微微小区可以覆盖相对较小的地理区域(例如，家庭)，并且可以允许与该毫微微小区相关联的UE(例如，封闭用户组(CSG)中的UE)受限制地接入。宏小区的BS可以被称为宏BS。微微小区的BS可以被称为微微BS。毫微微小区的BS可以被称为毫微微BS或家庭BS。在图1所示的示例中，BS110a可以是宏小区102a的宏BS，BS110b可以是微微小区102b的微微BS，BS110c可以是毫微微小区102c的毫微微BS。BS可以支持一个或多个(例如，三个)小区。术语“eNB”、“基站”、“NR BS”、“gNB”、“TRP”、“AP”、“节点B”、“5G NB”和“小区”可以互换使用。

在一些方面，小区不一定是静止的，并且小区的地理区域可以根据移动BS的位置而移动。在一些方面，BS可以使用任何合适的运输网络，通过各种类型的回程接口，诸如直接物理连接、虚拟网络等，彼此互连和/或与无线网络100中的一个或多个其他BS或网络节点(未示出)互连。

无线网络100还可以包括中继站。中继站是可以从上游站(例如，BS或UE)接收数据传输并向下游站(例如，UE或BS)传送数据传输的实体。中继站也可以是能够为其他UE中继传输的UE。在图1所示的示例中，中继站110d可以与宏BS110a和UE120d通信，以便促进BS110a和UE120d之间的通信。中继站也可以被称为中继BS、中继基站、中继等。

无线网络100可以是异构网络，其包括不同类型的BS，例如宏BS、微微BS、毫微微BS、中继BS等。这些不同类型的BS可能具有不同的发送功率电平、不同的覆盖区域以及对无线网络100中的干扰的不同影响。例如，宏BS可以具有高发送功率电平(例如，5到40瓦)，而微微BS、毫微微BS和中继BS可以具有较低的发送功率电平(例如，0.1到2瓦)。

网络控制器130可以耦合到一组BS，并且可以为这些BS提供协调和控制。网络控制器130可以经由回程与BS通信。BS也可以例如直接或间接地经由无线或有线回程来彼此通信。

UE120(例如，120a、120b、120c)可以分散在无线网络100中，并且每个UE可以是静止的或移动的。UE也可以被称为接入终端、终端、移动站、订户单元、站等。UE可以是蜂窝电话(例如，智能电话)、个人数字助理(PDA)、无线调制解调器、无线通信设备、手持设备、膝上型计算机、无绳电话、无线本地环路(WLL)站、平板电脑、照相机、游戏设备、上网本、智能本、超极本、医疗设备或装备、生物传感器/设备、可穿戴设备(智能手表、智能服装、智能眼镜、智能腕带、智能珠宝(例如，智能戒指、智能手镯))、娱乐设备(例如，音乐或视频设备、或卫星无线电)、车辆组件或传感器、智能仪表/传感器、工业制造装备、全球定位系统设备、或被配置用于经由无线或有线介质进行通信的任何其他合适的设备。

一些UE可以被认为是机器类型通信(MTC)或演进或增强的机器类型通信(eMTC)UE。MTC和eMTC UE包括例如机器人、无人机、远程设备、传感器、仪表、监视器、位置标签等，它们可以与基站、另一设备(例如，远程设备)或一些其他实体进行通信。例如，无线节点可以经由有线或无线通信链路为网络或向网络(例如，诸如互联网或蜂窝网络的广域网)提供连接。一些UE可以被认为是物联网(IoT)设备，和/或可以被实现为NB-IoT(窄带物联网)设备。一些UE可以被认为是用户驻地设备(CPE)。UE120可以被包括在容纳UE120的组件(诸如处理器组件、存储器组件等)的外壳内。

通常，在给定的地理区域中可以部署任意数量的无线网络。每个无线网络可以支持特定的RAT，并且可以在一个或多个频率上工作。RAT也可以被称为无线电技术、空中接口等。频率也可以被称为载波、频道等。每个频率可以支持给定地理区域中的单个RAT，以避免不同RAT的无线网络之间的干扰。在某些情况下，可以部署NR或5G RAT网络。

在一些方面，两个或更多个UE120(例如，示为UE120a和UE120e)可以使用一个或多个侧向链路信道直接通信(例如，不使用基站110作为彼此通信的媒介)。例如，UE120可以使用对等(P2P)通信、设备到设备(D2D)通信、车辆到一切(V2X)协议(例如，其可以包括车辆到车辆(V2V)协议、车辆到基础设施(V2I)协议等)、网状网络等进行通信。在这种情况下，UE120可以执行调度操作、资源选择操作和/或在别处描述为由基站110执行的其他操作。例如，基站110可以经由下行链路控制信息(DCI)、无线电资源控制(RRC)信令、介质接入控制-控制元素(MAC-CE)或者经由系统信息(例如，系统信息块(SIB))来配置UE120。

如上所指示的，图1仅作为示例被提供。其他示例可能不同于关于图1所描述的。

图2示出了基站110和UE120的设计200的框图，基站110和UE120可以是图1中的基站中的一个和UE中的一个。基站110可以配备T个天线234a至234t，并且UE120可以配备R个天线252a至252r，其中通常T≥1并且R≥1。

在基站110处，发送处理器220可以从数据源212接收用于一个或多个UE的数据，至少部分地基于从UE接收的信道质量指示符(CQI)来为每个UE选择一个或多个调制和编码方案(MCS)，至少部分地基于为UE所选择的MCS来为每个UE处理(例如，编码和调制)数据，并且为所有UE提供数据符号。降低MCS会降低吞吐量，但是会增加传输的可靠性。发送处理器220还可以处理系统信息(例如，用于半静态资源划分信息(SRPI)等)和控制信息(例如，CQI请求、授权、上层信令等)，并且提供开销符号(overhead symbol)和控制符号。发送处理器220还可以为参考信号(例如，特定于小区的参考信号(CRS))和同步信号(例如，主同步信号(PSS)和辅同步信号(SSS))生成参考符号。发送(TX)多输入多输出(MIMO)处理器230可以对数据符号、控制符号、开销符号和/或参考符号(如果适用的话)执行空间处理(例如，预编码)，并且可以向T个调制器(MOD)232a至232t提供T个输出符号流。每个调制器232可以处理各自的输出符号流(例如，用于正交频分复用(OFDM)等)以获得输出样本流。每个调制器232还可以处理(例如，转换成模拟、放大、滤波和上变频)输出采样流以获得下行链路信号。来自调制器232a至232t的T个下行链路信号可以分别经由T个天线234a至234t发送。根据下面更详细地描述的各个方面，可以利用位置编码来生成同步信号，以传达附加信息。

在UE120处，天线252a至252r可以从基站110和/或其他基站接收下行链路信号，并且可以将接收到的信号分别提供给解调器(DEMOD)254a至254r。每个解调器254可以调节(例如，滤波、放大、下变频和数字化)接收到的信号以获得输入样本。每个解调器254还可以处理输入样本(例如，针对OFDM等)以获得接收到的符号。MIMO检测器256可以从所有R个解调器254a至254r获得接收到的符号，如果适用的话，对接收到的符号执行MIMO检测，并且提供检测到的符号。接收处理器258可以处理(例如，解调和解码)检测到的符号，向数据宿(data sink)260提供用于UE120的经解码的数据，并且向控制器/处理器280提供经解码的控制信息和系统信息。信道处理器可以确定参考信号接收功率(RSRP)、接收信号强度指示符(RSSI)、参考信号接收质量(RSRQ)、信道质量指示符(CQI)等。在一些方面，UE120的一个或多个组件可以包括在外壳中。

在上行链路上，在UE120处，发送处理器264可以接收和处理来自数据源262的数据以及来自控制器/处理器280的控制信息(例如，用于包括RSRP、RSSI、RSRQ、CQI等的报告)。发送处理器264还可以为一个或多个参考信号生成参考符号。如果适用的话，来自发送处理器264的符号可以由TX MIMO处理器266进行预编码，由调制器254a至254r进行进一步处理(例如，用于DFT-s-OFDM、CP-OFDM等)，并发送到基站110。在基站110处，来自UE120和其他UE的上行链路信号可以由天线234接收，由解调器254处理，由MIMO检测器236检测(如果适用的话)，并且由接收处理器238进一步处理以获得由UE120传送的经解码的数据和控制信息。接收处理器238可以向数据宿239提供经解码的数据，并且向控制器/处理器240提供经解码的控制信息。基站110可以包括通信单元244，并且经由通信单元244与网络控制器130通信。网络控制器130可以包括通信单元294、控制器/处理器290和存储器292。

基站110的控制器/处理器240、UE120的控制器/处理器280和/或图2的任何其他组件可以执行与机器学习更新的触发相关联的一种或多种技术，如在别处更详细地描述的。例如，基站110的控制器/处理器240、UE120的控制器/处理器280和/或图2的任何其他组件可以执行或指导例如图10的过程和/或所描述的其他过程的操作。存储器242和282可以分别为基站110和UE120储存数据和程序代码。调度器246可以调度UE用于在下行链路和/或上行链路上的数据传输。

在一些方面，UE120可以包括用于接收的部件、用于训练的部件、用于报告的部件和/或用于发送的部件。这些部件可以包括结合图2描述的UE120或基站110的一个或多个组件。

如上所指示的，图2仅作为示例被提供。其他示例可能不同于关于图2所描述的。

在一些情况下，支持不同类型的应用和/或服务的不同类型的设备可以共存于一个小区中。不同类型的设备的示例包括UE手机(handset)、用户驻地设备(CPE)、车辆、物联网(IoT)设备等。不同类型的应用的示例包括超可靠低延迟通信(URLLC)应用、大规模机器类型通信(mMTC)应用、增强型移动宽带(eMBB)应用、车辆到一切(V2X)应用等。此外，在某些情况下，单个设备可以同时支持不同的应用或服务。

图3示出了根据本公开的某些方面的片上系统(SOC)300的示例实现，其可以包括中央处理单元(CPU)302或多核CPU，其被配置为响应于触发来报告模型更新。SOC300可以被包括在基站110或UE120中。变量(例如，神经信号和突触权重)、与计算设备(例如，具有权重的神经网络)相关联的系统参数、延迟、频率仓信息和任务信息可以储存在与神经处理单元(NPU)308相关联的存储块中、与CPU302相关联的存储块中、与图形处理单元(GPU)304相关联的存储块中、与数字信号处理器(DSP)306相关联的存储块中、存储块318中，或者可以分布在多个块中。在CPU302处执行的指令可以从与CPU302相关联的程序存储器加载，或者可以从存储块318加载。

SOC300还可以包括为具体功能定制的附加处理块，诸如GPU304、DSP306、连接框310，连接框310可以包括第五代(5G)连接、第四代长期演进(4G LTE)连接、Wi-Fi连接、USB连接、蓝牙连接等，以及例如可以检测和识别手势的多媒体处理器312。在一个实施方式中，NPU在CPU、DSP和/或GPU中实现。SOC300还可以包括传感器处理器314、图像信号处理器(ISP)316和/或导航模块320，导航模块320可以包括全球定位系统。

SOC300可以基于ARM指令集。在本公开的一个方面，加载到通用处理器302中的指令可以包括用于从发送器接收参考神经网络的代码。通用处理器302还可以包括用于训练参考神经网络以获得参考神经网络的更新的神经网络参数的代码。通用处理器302还可以包括响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异的代码。

深度学习架构可以通过学习在每层中的连续更高抽象级别上表示输入来执行对象识别任务，从而建立输入数据的有用特征表示。这样，深度学习解决了传统机器学习的一个主要瓶颈。在深度学习出现之前，对象识别问题的机器学习方法可能严重依赖于人类工程特征，或许与浅分类器相组合。例如，浅分类器可以是两类线性分类器，其中可以将特征向量分量的加权和与阈值进行比较，以预测输入属于哪个分类。人类工程特征可以是由具有领域专业知识的工程师为具体问题领域定制的模板或内核。相比之下，深度学习架构可以学习表示类似于人类工程师可能会设计的特征，但要通过训练。此外，深度网络可以学习表示和识别人类可能没有考虑到的新类型的特征。

深度学习架构可以学习特征的层级。例如，如果呈现视觉数据，第一层可以学习识别输入流中相对简单的特征，诸如边缘。在另一个示例中，如果呈现音频数据，第一层可以学习识别具体频率的频谱功率。第二层将第一层的输出作为输入，可以学习识别特征的组合，诸如视觉数据的简单形状或音频数据的声音的组合。例如，更高层可以学习表示视觉数据中的复杂形状或音频数据中的单词。再更高层可以学习识别常见的视觉对象或口语短语。

当应用于具有自然层级结构的问题时，深度学习架构可能表现得特别好。例如，机动车辆的分类可能受益于首先学习识别车轮、挡风玻璃和其他特征。这些特征可以在更高层以不同的方式组合，以识别汽车、卡车和飞机。

神经网络可以被设计成具有多种连接模式。在前馈网络中，信息从较低层传递到较高层，给定层中的每个神经元与更高层中的神经元通信。如上文所描述的，可以在前馈网络的连续层中建立层级表示。神经网络也可能具有递归或反馈(也称为自上而下)连接。在递归连接中，来自给定层中的神经元的输出可以被传达到相同层中的另一神经元。递归架构可能有助于识别跨越不止一个输入数据块的模式，这些输入数据块按顺序传递给神经网络。从给定层中的神经元到更低层中的神经元的连接被称为反馈(或自上而下)连接。当高级别构思的识别可以协助辨别输入的特定低级别特征时，具有许多反馈连接的网络可能是有帮助的。

神经网络各层之间的连接可以是全连接的，也可以是局部连接的。图4A示出了全连接神经网络402的示例。在全连接神经网络402中，第一层中的神经元可以将其输出传达给第二层中的每个神经元，使得第二层中的每个神经元将接收来自第一层中的每个神经元的输入。图4B示出了局部连接的神经网络404示例。在局部连接的神经网络404中，第一层中的神经元可以连接到第二层中的有限数量的神经元。更一般地，局部连接神经网络404的局部连接层可以被配置为使得层中的每个神经元将具有相同或类似的连接模式，但是具有可能有不同的值的连接强度(例如，410、412、414和416)。局部连接的连接模式可以在更高层中产生空间上不同的感受野，因为给定区域中的更高层神经元可以接收输入，该输入通过训练被调整到网络的总输入的受限部分的属性。

局部连接神经网络的一个示例是卷积神经网络。图4C示出了卷积神经网络406的示例。卷积神经网络406可以被配置为使得与第二层中的每个神经元的输入相关联的连接强度被共享(例如，408)。卷积神经网络可能很好地适合于输入的空间位置有意义的问题。

一种类型的卷积神经网络是深度卷积网络(DCN)。图4D示出了DCN400的详细示例，该DCN400被设计成从图像捕捉设备430(诸如车载照相机)输入的图像426中识别视觉特征。当前示例的DCN400可以被训练来识别交通标志和交通标志上提供的数字。当然，DCN400可以被训练用于其他任务，诸如识别车道标志或识别交通灯。

DCN400可以用监督学习来训练。在训练期间，可以向DCN400呈现图像，诸如限速标志的图像426，并且然后可以计算前向传递以产生输出422。DCN400可以包括特征提取部分和分类部分。一旦接收到图像426，卷积层432可以将卷积核(未示出)应用于图像426，以生成第一组特征映射418。作为示例，卷积层432的卷积核可以是生成28×28特征映射的5×5核。在本示例中，因为在第一组特征映射418中生成了四个不同的特征映射，所以在卷积层432将四个不同的卷积核应用于图像426。卷积核也可以被称为滤波器或卷积滤波器。

第一组特征映射418可以由最大池化层(未示出)进行下采样，以生成第二组特征映射420。最大池化层减小了第一组特征映射418的大小。也就是说，第二组特征映射420的大小，诸如14×14，小于第一组特征映射418的大小，诸如28×28。减小的大小为后续层提供了类似的信息，同时减少了存储器消耗。第二组特征映射420可以经由一个或多个后续卷积层(未示出)进一步卷积，以生成一个或多个后续组的特征映射(未示出)。

在图4D的示例中，第二组特征映射420被卷积以生成第一特征向量424。此外，第一特征向量424被进一步卷积以生成第二特征向量428。第二特征向量428的每个特征可以包括对应于图像426的可能特征的数字，诸如“符号”、“60”和“100”。softmax函数(未示出)可以将第二特征向量428中的数字转换成概率。这样，DCN400的输出422是包括一个或多个特征的图像426的概率。

在本示例中，输出422中“符号”和“60”的概率高于输出422中诸如“30”、“40”、“50”、“70”、“80”、“90”和“100”的其他的概率。在训练前，由DCN400产生的输出422可能是不正确的。因此，可以计算输出422和目标输出之间的误差。目标输出是图像426的真实情况(例如“，符号”和“60”)。然后可以调整DCN400的权重，使得DCN400的输出422更接近目标输出。

为了调整权重，学习算法可以计算权重的梯度向量。梯度可以指示如果权重被调整，误差将增加或减少的量。在顶层，梯度可以直接对应于连接倒数第二层中的激活神经元和输出层中的神经元的权重值。在更低层中，梯度可以取决于权重的值和更高层的计算出的误差梯度。然后可以调整权重以减小误差。这种调整权重的方式可以被称为“反向传播”，因为它涉及通过神经网络的“反向传递”。

在实践中，权重的误差梯度可以通过少量的示例来计算，使得计算出的梯度近似于真实的误差梯度。这种近似方法可以被称为随机梯度下降。可以重复随机梯度下降，直到整个系统的可实现的误差率停止下降，或者直到误差率达到目标水平。在学习后，可以向DCN呈现新的图像(例如，图像426的速度限制标志)，并且通过网络的前向传递可以产生输出422，该输出422可以被认为是DCN的推断或预测。

深度信念网络(DBN)是包括多层隐藏节点的概率模型。DBN可用于提取训练数据集的层级表示。DBN可以通过叠加多层受限玻尔兹曼机(RBM)来获得。RBM是一种人工神经网络，其可以学习一组输入的概率分布。因为RBM可以在没有关于每个输入应该被归类到哪个分类的信息的情况下学习概率分布，所以RBM经常被用于无监督学习。使用无监督和有监督的混合范例，DBN的底部RBM可以以无监督的方式被训练，并且可以充当特征提取器，并且顶部RBM可以以有监督的方式(在来自先前层和目标类的输入的联合分布)被训练，并且可以充当分类器。

深度卷积网络(DCN)是卷积网络的网络，配置有附加的池化层和标准化层。DCN已经在许多任务上实现了最先进的性能。可以使用监督学习来训练DCN，在监督学习中，输入和输出目标两者对于许多样本都是已知的，并且用于通过使用梯度下降方法来修改网络的权重。

DCN可以是前馈网络。另外，如上文所描述的，从DCN的第一层中的神经元到下一更高层中的一组神经元的连接在第一层中的神经元间共享。DCN的前馈和共享连接可用于快速处理。例如，DCN的计算负担可能比包括递归或反馈连接的类似大小的神经网络的计算负担小得多。

卷积网络的每一层的处理可以被认为是空间不变的模板或基础投影。如果输入首先被分解成多个信道，诸如彩色图像的红色、绿色和蓝色信道，那么在该输入上训练的卷积网络可以被认为是三维的，其中两个空间维度沿着图像的轴，并且第三个维度捕捉颜色信息。卷积连接的输出可以被认为形成后续层中的特征映射，特征映射(例如，220)的每个元素接收来自先前层中的一系列神经元(例如，特征映射218)和来自多个信道中的每一个的输入。特征映射中的值可以用非线性进一步处理，诸如校正，max(0,x)。来自相邻神经元的值可以被进一步池化，这对应于下采样，并且可以提供附加的局部不变性和维度减少。对应于白化的归一化也可以通过特征映射中神经元之间的侧向抑制(lateral inhibition)被应用。

随着更多标记的数据点变得可用或者随着计算能力的增加，深度学习架构的性能可以增加。现代深度神经网络由计算资源进行常规训练，这些计算资源是仅仅15年前典型研究人员可用计算资源的数千倍。新的架构和训练范例还可以提升深度学习的性能。经校正的线性单元可以减少被称为消失梯度的训练问题。新的训练技术可以减少过度拟合，并且因此使更大的模型能够实现更好的泛化。封装技术可以在给定的感受野中抽象数据，并且进一步提升整体性能。

图5是示出了深度卷积网络550的框图。基于连接性和权重共享，深度卷积网络550可以包括多个不同类型的层。如图5所示，深度卷积网络550包括卷积块554A、554B。卷积块554A、554B中的每一个可以配置有卷积层(CONV)356、归一化层(LNorm)558和最大池化层(MAX POOL)560。

卷积层556可以包括一个或多个卷积滤波器，其可以应用于输入数据以生成特征映射。尽管仅示出了卷积块554A、554B中的两个，但是本公开不限于此，相反，根据设计的偏好，深度卷积网络550中可以包括任意数量的卷积块554A、554B。归一化层558可以归一化卷积滤波器的输出。例如，标准化层558可以提供白化或侧向抑制。最大池化层560可以为局部不变性和维度减少提供空间上的下采样聚合。

例如，深度卷积网络的并行滤波器组可以加载在SOC300的CPU302或GPU304上，以实现高性能和低功耗。在替代实施例中，并行滤波器组可以加载在SOC300的DSP306或ISP316上。另外，深度卷积网络550可以访问可能存在于SOC300上的其他处理块，诸如分别专用于传感器和导航的传感器处理器314和导航模块320。

深度卷积网络550还可以包括一个或多个全连接层562(FC1和FC2)。深度卷积网络550还可以包括逻辑回归(LR)层564。在深度卷积网络550的每一层556、558、560、562、564之间是将要被更新的权重(未示出)。每个层(例如，556、558、560、562、564)的输出可以充当深度卷积网络550中的后续一层(例如，556、558、560、562、564)的输入，以从在第一卷积块554A处提供的输入数据552(例如，图像、音频、视频、传感器数据和/或其他输入数据)中学习层级特征表示。深度卷积网络550的输出是输入数据552的分类得分566。分类得分566可以是一组概率，其中每个概率是输入数据的概率，包括来自一组特征的特征。

如上所指示的，图3-图5是作为示例提供的。其他示例可能不同于参考图3-图5所描述的。

诸如深度卷积网络550的机器学习(ML)模型可以在网络处生成，并且然后被发送到用户设备(UE)用于进一步的训练。尽管本描述主要讨论了源自网络的模型(有时被称为基站或gNB)，但是本公开考虑了相反的情况。也就是说，本公开还旨在覆盖基站向UE传送用于UE发起的模型的模型更新。

由网络发送的机器学习模型可以是场景特定的。图6是示出了根据本公开的各方面的场景特定模型的框图。在图6所示的示例中，不同的场景对应不同的信道模型。每个场景都有它自己的子模型。示例子模型包括城市微观(UMi)模型、城市宏观(Uma)模型和室内热点(InH)模型。不同的子模型可以是具有不同参数的相同模型，或者可以是具有不同结构(例如，层数或一层中神经元的数量不同)的不同模型。在一些情况下，网络可能会请求更新到特定的子模型，而不是整个模型。例如，在一些无线电条件下，全模型更新可能不可行。而且，当请求模型更新时，应该考虑信令开销。

图7是示出了根据本公开的各方面的子模型更新的框图。神经网络模型710包括多个神经网络层，以及一组权重和偏差。输入由层、权重和偏差处理并输出。与神经网络模型710并行的是补充子模块720。补充子模块720可以被激活或禁用，以调整神经网络模型710的总输出。

图8是示出了根据本公开的各方面的共享机器学习模型的框图。在UE120a从网络节点(例如，gNB)110接收到模型后，UE120a可以为该模型执行在线训练。在一些情况下，初始模型由网络节点110离线训练，期望UE120a、120b将基于UE120a、120b所经历的条件来微调模型。基于该训练，UE120a可以传送模型更新。例如，基于检测到的环境变化或者在由UE120a进行初始在线训练后，UE120a可以向网络节点110上传模型更新和/或向UE120b共享模型更新。在一些方面，UE120a检测环境变化，并且从邻近的类似类型的UE(诸如UE120b)中寻找新的模型或模型更新。UE120b然后可以利用所学习的模型，例如在侧向链路场景中。网络节点110可以与另一UE120b共享从一个UE120a接收的更新。

当在UE120和网络节点110之间交换经训练的神经网络的参数时，涉及到大量数据。在一些情况下，神经网络的大小可能非常大，并且对于UE120来说，在每次更新时上传整个经训练的人工智能(AI)模块可能是不可能的和/或不高效的。

本公开的各方面减少了机器学习模型更新所需的空中传输。在本公开的一些方面，基站可以明确地要求UE仅训练和报告经预训练的神经网络(NN)的“一部分”，而不是整个神经网络。通常，可以有两种类型的UE报告，全模型上传或差分模型上传。以下讨论主要集中在差分模型上传上。“一部分”可以指，例如给定的一组神经网络层(例如，最后k层)、人工智能(AI)模块的子模块或一组参数(例如，网络的权重和偏差)。

基站可以向UE提供经预训练的模型。基站可以稍后要求UE仅训练几个层，并且报告经训练的层的参数。训练神经网络的几个层被称为迁移学习。可替代地或附加地，基站可以基于整个神经网络的变化的网络参数来请求更新。

在一些方面，在离线训练期间导出神经网络的初始参数集。UE和/或网络可以在在线训练过程期间生成更新，例如，以对部署了该装置的特定环境作出说明。因此，参数可以随时间演变，触发对参数的更新。在接收到更新后，网络可以与其他UE共享更新。

在本公开的一些方面，当UE更新机器学习模型时，UE可以报告模型随时间的变化，而不是在每个模型更新实例报告整个神经网络。参考模型可以是由基站传送的经预训练的模型或者由UE传送给基站的第一经预训练的模型。后续的模型更新可以基于关于参考模型的差分模型上传。也就是说，相比于发送参考模型，仅发送已经变化的神经网络的一部分。在一些方面，参考模型可以是在先前的模型上传实例中上传的模型。UE和基站两者都应该知道哪个模型是参考模型。模型上传可以是周期性的，或者由UE或基站触发。如果更新是周期性的，则可以配置周期性资源。如果自上次更新以来网络没有太大变化，这些资源可能会被浪费，因为更新可能是无关紧要的。

本公开的各方面针对基于触发事件以不同方式传送更新的神经网络的UE或基站。如所描述的，当UE更新机器学习模型时，UE可以报告模型随时间的变化，而不是在每个模型更新实例报告整个神经网络。后续模型更新可以基于关于参考模型的差分模型上传(例如，由网络传送的经预训练的模型或者由UE传送给网络的第一经预训练的模型)。例如，如果神经网络的初始参数集是w₁，并且神经网络的第二参数集是w₂，UE或网络将报告w₂-w₁，而不是w₂，以减少信令开销。在一些方面，该差分模型更新的参考模型可以是先前的报告实例。

在其他方面，触发条件可以是神经网络的被发送的参数的变化量的函数。例如，可以就当前报告和先前报告的神经网络参数之间的差异的L1范数或L2范数而言来测量该变化度量。只要参数的变化转化为神经网络整体性能的变化，该变化就是相关的。换句话说，当参数的变化足够显著以对网络性能的影响达到某个阈值时，更新应该发生。根据本公开的各方面，当UE传送更新时，UE发送调度请求以接收用于发送更新的资源分配。

图9是示出了根据本公开的各方面的基于触发的机器学习模型的差分更新的时序图。尽管以下示例是关于源自基站的参考模型，但是也可以考虑相反的场景。在时间t1，基站110向UE120发送经预训练的神经网络。在时间t2，UE120进一步训练神经网络，在一些情况下利用在线训练。

在时间t3，基于UE训练，UE120检测用于向基站110传送更新的参数的触发事件。触发条件可以基于用于训练神经网络的损失函数或参数中的差异的L1或L2范数。例如，参数可以是整个神经网络的权重或偏差。在其他方面，参数仅用于由UE训练的神经网络的部分，例如，在转移学习场景中，仅用于神经网络的最后几个层。在这些方面，UE可以发送这最后几个层的结构变化。依旧在其他方面，参数用于特定的子模型。在时间t4，UE120向基站110发送更新。

图10是示出了根据本公开的各方面的例如由接收器执行的示例过程1000的流程图。示例过程1000是机器学习模型更新的报告的示例。

如图10所示，在一些方面，过程1000可以包括从发送器接收参考神经网络(框1002)。例如，用户设备(UE)(例如，使用天线252、DEMOD/MOD254、MIMO检测器256、接收处理器258、控制器/处理器280和/或存储器282)可以从发送器接收参考神经网络。在一些方面，参考神经网络的第一部分已经被训练，而第二部分没有被训练。在一些方面，发送器是基站，并且接收器是UE。在其他方面，发送器是UE，并且接收器是基站。

过程1000还可以包括训练参考神经网络以获得参考神经网络的更新的神经网络参数(框1004)。例如，UE(例如，使用天线252、DEMOD/MOD254、TX MIMO处理器266、发送处理器264、控制器/处理器280和/或存储器282)可以训练参考神经网络。在一些方面，更新的神经网络参数仅用于参考神经网络的一部分，诸如神经网络层的子集。在其他方面，更新的神经网络参数用于参考神经网络的子模块。

过程1000还可以包括响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异(框1006)。例如，UE(例如，使用天线252、DEMOD/MOD254、TX MIMO处理器266、发送处理器264、控制器/处理器280和/或存储器282)可以向发送器进行报告。在一些方面，触发条件可以基于用于训练神经网络的损失函数或者参数中的差异的L1或L2范数。例如，当损失函数小于阈值时，触发可能发生。或者，触发可以基于更新的神经网络参数和先前的神经网络参数之间的差异的幅度。该幅度可以基于该差异的L1范数或该差异的L2范数。依旧在其他方面，触发基于具有更新的神经网络参数的参考神经网络的性能和具有先前的神经网络参数的参考神经网络的性能之间的差异。

示例方面

方面1：一种由接收器进行无线通信的方法，包括：从发送器接收参考神经网络；训练参考神经网络以获得参考神经网络的更新的神经网络参数；以及响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异。

方面2：根据方面1的方法，其中触发基于在训练期间应用的损失函数。

方面3：根据方面2的方法，其中当损失函数小于阈值时，触发发生。

方面4：根据上述方面中任一方面的方法，其中触发基于更新的神经网络参数和先前的神经网络参数之间的差的幅度。

方面5：根据方面4的方法，其中幅度基于差的L1范数。

方面6：根据方面4的方法，其中幅度基于差的L2范数。

方面7：根据上述方面1-方面3、方面5或方面6中任一方面的方法，其中触发基于具有更新的神经网络参数的参考神经网络的性能和具有先前的神经网络参数的参考神经网络的性能之间的差异。

方面8：根据上述方面中任一方面的方法，还包括：发送调度请求；以及根据响应于调度请求分配的资源进行报告。

方面9：根据上述方面中任一方面的方法，其中更新的神经网络参数包括神经网络权重和神经网络偏差。

方面10：根据上述方面中任一方面的方法，其中更新的神经网络参数仅用于参考神经网络的一部分，该部分包括神经网络层的子集。

方面11：根据上述方面中任一方面的方法，其中，更新的神经网络参数用于参考神经网络的子模块。

方面12：根据上述方面中任一方面的方法，还包括从发送器接收参考神经网络，该参考神经网络包括已经被训练的第一部分和未被训练的第二部分。

方面13：根据上述方面中任一方面的方法，其中，发送器包括基站，并且接收器包括用户设备(UE)。

方面14：根据方面1-方面12中任一方面的方法，其中，接收器包括基站，并且发送器包括用户设备(UE)。

方面15：一种由接收器进行无线通信的装置，包括：至少一个处理器；与至少一个处理器耦合的存储器；以及储存在存储器中的指令，当由至少一个处理器执行时，该指令可操作以使装置：从发送器接收参考神经网络；训练参考神经网络以获得参考神经网络的更新的神经网络参数；以及响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异。

方面16：根据方面15的装置，其中，触发基于在训练期间应用的损失函数。

方面17：根据方面16的装置，其中，当损失函数小于阈值时，触发发生。

方面18：根据方面15-方面17中任一方面的装置，其中，触发基于更新的神经网络参数和先前的神经网络参数之间的差异的幅度。

方面19：根据方面18的装置，其中，幅度基于差异的L1范数。

方面20：根据方面18的装置，其中，幅度基于差异的L2范数。

方面21：根据方面15-方面17、方面19或方面20中任一方面的装置，其中，触发基于具有更新的神经网络参数的参考神经网络的性能和具有先前的神经网络参数的参考神经网络的性能之间的差异。

方面22：根据方面15-方面21中任一方面的装置，其中，至少一个处理器使装置：发送调度请求；并且根据响应于调度请求分配的资源进行报告。

方面23：根据方面15-方面22中任一方面的装置，其中，更新的神经网络参数包括神经网络权重和神经网络偏差。

方面24：根据方面15-方面23中任一方面的装置，其中，更新的神经网络参数仅用于参考神经网络的一部分，该部分包括神经网络层的子集。

方面25：根据方面15-24中任一方面的装置，其中，更新的神经网络参数用于参考神经网络的子模块。

方面26：根据方面15-25中任一方面的装置，其中，至少一个处理器使装置从发送器接收参考神经网络，参考神经网络包括已经被训练的第一部分和未被训练的第二部分。

方面27：根据方面15-26中任一方面的装置，其中，发送器包括基站，并且接收器包括用户设备(UE)。

方面28：根据方面15-27中任一方面的装置，其中，接收器包括基站，并且发送器包括用户设备(UE)。

方面29：一种装置，包括：用于从发送器接收参考神经网络的部件；用于训练参考神经网络以获得参考神经网络的更新的神经网络参数的部件；以及用于响应于触发向发送器报告参考神经网络的更新的神经网络参数和先前的神经网络参数之间的差异的部件。

方面30：根据方面29的装置，其中，触发基于在训练期间应用的损失函数。

前述公开提供了说明和描述，但是并不旨在穷举或将各方面限制为所公开的精确形式。可以按照以上公开进行修改和变化，或者可以从各方面的实践中取得修改和变化。

如所使用的，术语“组件”旨在被宽泛地解释为硬件、固件和/或硬件和软件的组合。如所使用的，处理器以硬件、固件和/或硬件和软件的组合来实现。

结合阈值描述了一些方面。如所使用的，取决于上下文，满足阈值可以指大于阈值、大于或等于阈值、小于阈值、小于或等于阈值、等于阈值、不等于阈值等的值。

显然，所描述的系统和/或方法可以以不同形式的硬件、固件和/或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不限制于这些方面。因此，在没有参考具体软件代码的情况下描述了系统和/或方法的操作和行为——应当理解，软件和硬件可以被设计成至少部分地基于描述来实现系统和/或方法。

即使特征的特定组合在权利要求中被陈述和/或在说明书中被公开，这些组合不旨在限制各个方面的公开。事实上，这些特征中的许多可以以权利要求中未具体陈述和/或说明书中未具体公开的方式组合。尽管下面列出的每个从属权利要求可能直接依赖于仅一个权利要求，但是各个方面的公开包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。提及一列项目中“至少一个”的短语是指那些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在覆盖a、b、c、a-b、a-c、b-c和a-b-c，以及具有多个相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c和c-c-c或a、b和c的任何其他顺序)。

所使用的任何元素、动作或指令都不应被解释为关键的或必要的，除非明确描述为如此。同样，如所使用的，冠词“一”和“一个”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。此外，如所使用的，术语“集”和“组”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关和不相关项目的组合等)，并且可以与“一个或多个”互换使用。当仅指一个项目时，则使用短语“仅一个”或类似的语言。同样，如所使用的，术语“有”、“具有”等旨在是开放式术语。此外，短语“基于”意在表示“至少部分基于”，除非另有明确声明。

Claims

1.一种由接收器进行无线通信的方法，包括：

从发送器接收参考神经网络；

训练所述参考神经网络以获得所述参考神经网络的更新的神经网络参数；以及

响应于触发，向所述发送器报告所述参考神经网络的所述更新的神经网络参数和先前的神经网络参数之间的差异。

2.根据权利要求1所述的方法，其中，所述触发基于在训练期间应用的损失函数。

3.根据权利要求2所述的方法，其中，当所述损失函数小于阈值时，所述触发发生。

4.根据权利要求1所述的方法，其中，所述触发基于所述更新的神经网络参数和所述先前的神经网络参数之间的差异的幅度。

5.根据权利要求4所述的方法，其中，所述幅度基于所述差异的L1范数。

6.根据权利要求4所述的方法，其中，所述幅度基于所述差异的L2范数。

7.根据权利要求1所述的方法，其中，所述触发基于具有所述更新的神经网络参数的参考神经网络的性能和具有所述先前的神经网络参数的参考神经网络的性能之间的差异。

8.根据权利要求1所述的方法，还包括：

发送调度请求；以及

根据响应于所述调度请求而分配的资源进行报告。

9.权利要求1所述的方法，其中，所述更新的神经网络参数包括神经网络权重和神经网络偏差。

10.权利要求1所述的方法，其中，所述更新的神经网络参数仅用于所述参考神经网络的一部分，所述一部分包括神经网络层的子集。

11.权利要求1所述的方法，其中，所述更新的神经网络参数用于所述参考神经网络的子模块。

12.根据权利要求1所述的方法，还包括从所述发送器接收所述参考神经网络，所述参考神经网络包括已经被训练的第一部分和未被训练的第二部分。

13.根据权利要求1所述的方法，其中，所述发送器包括基站，并且所述接收器包括用户设备UE。

14.根据权利要求1所述的方法，其中，所述接收器包括基站，并且所述发送器包括用户设备UE。

15.一种由接收器进行无线通信的装置，包括：

至少一个处理器；

与所述至少一个处理器耦合的存储器；以及

储存在所述存储器中的指令，当由所述至少一个处理器执行时，所述指令可操作来使所述装置：

从发送器接收参考神经网络；

响应于触发，向发送器报告所述参考神经网络的所述更新的神经网络参数和先前的神经网络参数之间的差异。

16.根据权利要求15所述的装置，其中，所述触发基于在训练期间应用的损失函数。

17.根据权利要求16所述的装置，其中，当所述损失函数小于阈值时，所述触发发生。

18.根据权利要求15所述的装置，其中，所述触发基于所述更新的神经网络参数和所述先前的神经网络参数之间的所述差异的幅度。

19.根据权利要求18所述的装置，其中，所述幅度基于所述差异的L1范数。

20.根据权利要求18所述的装置，其中，所述幅度基于所述差异的L2范数。

21.根据权利要求15所述的装置，其中，所述触发基于具有所述更新的神经网络参数的所述参考神经网络的性能和具有所述先前的神经网络参数的所述参考神经网络的性能之间的差异。

22.根据权利要求15所述的装置，其中，所述至少一个处理器使所述装置：

发送调度请求；以及

根据响应于所述调度请求而分配的资源进行报告。

23.根据权利要求15所述的装置，其中，所述更新的神经网络参数包括神经网络权重和神经网络偏差。

24.根据权利要求15所述的装置，其中，所述更新的神经网络参数仅用于所述参考神经网络的一部分，所述一部分包括神经网络层的子集。

25.根据权利要求15所述的装置，其中，所述更新的神经网络参数用于所述参考神经网络的子模块。

26.根据权利要求15所述的装置，其中，所述至少一个处理器使所述装置从所述发送器接收所述参考神经网络，所述参考神经网络包括已经被训练的第一部分和未被训练的第二部分。

27.根据权利要求15所述的装置，其中，所述发送器包括基站，并且所述接收器包括用户设备UE。

28.根据权利要求15所述的装置，其中，所述接收器包括基站，并且所述发送器包括用户设备UE。

29.一种装置，包括：

用于从发送器接收参考神经网络的部件；

用于训练所述参考神经网络以获得所述参考神经网络的更新的神经网络参数的部件；以及

用于响应于触发向所述发送器报告所述参考神经网络的所述更新的神经网络参数和先前的神经网络参数之间的差异的部件。

30.根据权利要求29所述的装置，其中，所述触发基于在训练期间应用的损失函数。