CN113785503A - 使用自适应学习的波束管理 - Google Patents

Abstract

本公开的某些方面提供了用于使用自适应学习的波束管理的技术。某些方面提供了一种能由节点(诸如用户装备(UE)或基站(BS))执行的方法。该节点使用自适应学习来确定将用于波束管理规程的一个或多个波束。该节点使用所确定的一个或多个波束来执行波束管理规程。在一些方面，该节点使用自适应强化学习算法来选择用于波束发现规程中的测量的波束。该节点可基于与波束选择相关联的反馈，诸如基于使用在波束管理规程期间确定的波束配对来达成的吞吐量，来使波束管理算法自适应。

Description

使用自适应学习的波束管理

优先权要求

本专利申请要求于2019年5月1日提交的题为“BEAM MANAGEMENT USING ADAPTIVELEARNING(使用自适应学习的波束管理)”的美国非临时申请No.16/400,864的优先权，该美国非临时申请被转让给本申请受让人并由此通过援引明确纳入于此。

引言

本公开的各方面一般涉及无线通信，尤其涉及用于波束管理的技术。

无线通信系统被广泛部署以提供诸如电话、视频、数据、消息接发、广播等各种电信服务。这些无线通信系统可采用能够通过共享可用系统资源(例如，带宽、发射功率等等)来支持与多个用户通信的多址技术。此类多址系统的示例包括第三代伙伴项目(3GPP)长期演进(LTE)系统、高级LTE(LTE-A)系统、码分多址(CDMA)系统、时分多址(TDMA)系统、频分多址(FDMA)系统、正交频分多址(OFDMA)系统、单载波频分多址(SC-FDMA)系统、以及时分同步码分多址(TD-SCDMA)系统，仅列举几个示例。

在一些示例中，无线多址通信系统可包括数个基站(BS)，每个基站能够同时支持多个通信设备(另外被称为用户装备(UE))的通信。在LTE或LTE-A网络中，包含一个或多个基站的集合可定义演进型B节点(eNB)。在其它示例中(例如，在下一代、新无线电(NR)、或5G网络中)，无线多址通信系统可包括与数个中央单元(CU)(例如，中央节点(CN)、接入节点控制器(ANC)等)处于通信的数个分布式单元(DU)(例如，边缘单元(EU)、边缘节点(EN)、无线电头端(RH)、智能无线电头端(SRH)、传送接收点(TRP)等)，其中包含与CU处于通信的一个或多个DU的集合可定义接入节点(例如，其可被称为BS、下一代B节点(gNB或g B节点)、TRP等)。BS或DU可在下行链路信道(例如，用于从BS或DU至UE的传输)和上行链路信道(例如，用于从UE至BS或DU的传输)上与UE集合通信。

这些多址技术已经在各种电信标准中被采纳以提供使不同的无线设备能够在城市、国家、地区、以及甚至全球级别上进行通信的共同协议。新无线电(例如，5G NR)是新兴电信标准的示例。NR是由3GPP颁布的LTE移动标准的增强集。NR被设计成通过提高频谱效率、降低成本、改善服务、利用新频谱、并且更好地与在下行链路(DL)和上行链路(UL)上使用具有循环前缀(CP)的OFDMA的其他开放标准进行整合来更好地支持移动宽带因特网接入。为此，NR支持波束成形、多输入多输出(MIMO)天线技术和载波聚集。

然而，随着对移动宽带接入的需求持续增长，存在对于NR和LTE技术的进一步改进的需要。优选地，这些改进应当适用于其他多址技术以及采用这些技术的电信标准。

发明内容

本公开的系统、方法和设备各自具有若干方面，其中并非仅靠任何单一方面来负责其期望属性。在不限定如所附权利要求所表述的本公开的范围的情况下，现在将简要地讨论一些特征。在考虑此讨论后，并且尤其是在阅读题为“详细描述”的章节之后，将理解本公开的特征是如何提供包括使用自适应学习的改进的波束管理规程的优点的。

某些方面提供了一种用于由节点进行无线通信的方法。该方法一般包括使用自适应学习来确定将用于波束管理规程的一个或多个波束。该方法一般包括使用所确定的一个或多个波束来执行波束管理规程。

在一些示例中，节点是基站(BS)。

在一些示例中，节点是用户装备(UE)。

在一些示例中，该方法包括更新用于自适应学习的自适应学习算法。在一些示例中，自适应学习算法基于反馈和/或训练信息来更新。在一些示例中，该方法包括使用经更新的自适应学习算法来执行另一波束管理规程。

在一些示例中，反馈包括与波束管理规程相关联的反馈。

在一些示例中，训练信息包括以下各项中的一者或多者：通过在一个或多个UE的网络部署之前将该一个或多个UE部署在一个或多个仿真通信环境中而获取的训练信息；通过先前在该一个或多个UE被部署在一个或多个通信环境中时接收到的反馈而获取的训练信息；来自网络、一个或多个UE和/或云的训练信息；和/或当节点在线和/或空闲时接收到的训练信息。

在一些示例中，训练信息包括在部署节点后从不同于该节点的一个或多个UE接收到的训练信息。在一些示例中，训练信息包括与波束相关联的信息。在一些示例中，训练信息包括由一个或多个UE进行的测量或者与由该一个或多个UE执行的一个或多个波束管理规程相关联的反馈。

在一些示例中，使用自适应学习算法包括基于一个或多个输入来输出动作。在一些示例中，反馈与该动作相关联。在一些示例中，基于该反馈来更新自适应学习算法包括调整应用于一个或多个输入的一个或多个权重。

在一些示例中，自适应学习算法包括自适应机器学习算法；自适应强化学习算法；自适应深度学习算法；自适应连续无限学习算法；和/或自适应策略优化强化学习算法。

在一些示例中，自适应学习算法被建模为部分可观察马尔可夫决策过程(POMDP)。

在一些示例中，自适应学习算法由人工神经网络实现。

在一些示例中，人工神经网络包括包含一个或多个深度神经网络(DNN)的深度Q网络(DQN)。在一些示例中，使用自适应学习来确定一个或多个波束包括通过一个或多个DNN来传递状态参数和动作参数；对于每一状态参数，输出每一动作参数的值；以及选择与最大输出值相关联的动作。

在一些示例中，更新自适应学习算法包括调整与人工神经网络中的一个或多个神经元连接相关联的一个或多个权重。

在一些示例中，使用自适应学习来确定将用于波束管理规程的一个或多个波束包括基于自适应学习来确定要包括在码本中的一个或多个波束并从该码本中选择将用于波束管理规程的一个或多个波束。

在一些示例中，确定将用于波束管理规程的一个或多个波束包括使用自适应学习来从码本中选择将用于波束管理规程的一个或多个波束。

在一些示例中，自适应学习使用与信道测量相关联的状态参数、与收到信号吞吐量或频谱效率相关联的奖励参数、以及与对与信道测量相对应的波束对的选择相关联的动作参数。

在一些示例中，信道测量包括参考信号接收功率(RSRP)；频谱效率、信道平坦度、和/或信噪比(SNR)。

在一些示例中，接收到的信号包括物理下行链路共享信道(PDSCH)传输。

在一些示例中，奖励参数被抵扣一惩罚量。

在一些示例中，惩罚量取决于被测量以用于波束管理规程的一个或多个波束的数量。

在一些示例中，惩罚量取决于与波束管理规程相关联的功耗量。

在一些示例中，波束包括用于一个或多个同步信号块(SSB)的传送和/或接收的一个或多个波束。

在一些示例中，使用所确定的一个或多个波束来执行波束管理规程包括使用所确定的一个或多个波束基于来自BS的SSB传输来测量信道，该SSB传输与该BS的一个或多个发射波束相关联；以及选择与一个或多个信道测量相关联的一个或多个波束对链路(BPL)，该一个或多个信道测量高于信道测量阈值和/或是与SSB传输相关联的所有信道测量中的一个或多个最强信道测量。

在一些示例中，所确定的一个或多个波束包括可用接收波束的子集。

在一些示例中，该方法包括使用一个或多个所选BPL之一来接收PDSCH；确定与该PDSCH相关联的吞吐量；基于所确定的吞吐量来更新自适应学习算法；以及使用经更新的自适应学习算法来确定将用于执行用以选择另一个或多个BPL的另一波束管理规程的另一个或多个波束。

某些方面提供了一种被配置用于无线通信的节点。该节点一般包括用于使用自适应学习来确定将用于波束管理规程的一个或多个波束的装置。该节点一般包括用于使用所确定的一个或多个波束来执行波束管理规程的装置。

某些方面提供了一种被配置用于无线通信的节点。该节点一般包括存储器。该节点一般包括处理器，该处理器耦合到存储器并被配置成使用自适应学习来确定将用于波束管理规程的一个或多个波束。该处理器和存储器一般被配置成使用所确定的一个或多个波束来执行波束管理规程。

某些方面提供了一种计算机可读介质。该计算机可读介质一般存储计算机可执行代码。计算机可执行代码一般包括用于使用自适应学习来确定将用于波束管理规程的一个或多个波束的代码。计算机可执行代码一般包括用于使用所确定的一个或多个波束来执行波束管理规程的代码。

为了达成前述及相关目的，这一个或多个方面包括在下文充分描述并在权利要求中特别指出的特征。以下描述和附图详细阐述了这一个或多个方面的某些解说性特征。然而，这些特征仅指示可采用各个方面的原理的各种方式中的数种方式。

附图简述

为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。

图1是概念性地解说根据本公开的某些方面的示例电信系统的框图。

图2解说了根据本公开的某些方面的示例波束管理规程。

图3解说了根据本公开的某些方面的示例半帧内的示例同步信号块(SSB)位置。

图4解说了根据本公开的某些方面的用于SSB测量的示例发射和接收波束。

图5解说了根据本公开的某些方面的其中使用预测模型来进行波束管理的示例联网环境。

图6概念性地解说了根据本公开的某些方面的示例强化学习模型。

图7概念性地解说了根据本公开的某些方面的示例深度Q网络(DQN)学习模型。

图8是解说根据本公开的某些方面的用于由节点进行无线通信的示例操作的流程图。

图9是解说根据本公开的某些方面的用于使用自适应学习来进行波束管理的示例信令的示例呼叫流程图。

图10是解说根据本公开的某些方面的用于使用自适应学习来进行BPL发现规程的示例信令的示例呼叫流程图。

图11解说了根据本公开的各方面的可包括被配置成执行用于本文中所公开的各技术的操作的各种组件的通信设备。

图12是概念性地解说根据本公开的某些方面的示例基站(BS)和用户装备(UE)的设计的框图。

为了促进理解，在可能之处使用了相同的附图标记来指定各附图共有的相同要素。构想了一个方面所公开的要素可有益地用在其他方面而无需具体引述。

详细描述

本公开的各方面提供了用于使用自适应学习来进行波束管理的装置(装备)、方法、处理系统和计算机可读介质。

诸如新无线电系统(例如，5G NR)之类的某些系统支持毫米波(mmW)通信。在mmW通信中，用于设备间通信的信号(被称为mmW信号)可具有高载波频率(例如，25GHz或更高，诸如30到300GHz频带内)并且可具有1mm到10mm范围内的波长。基于mmW信号的此类特性，mmW通信能提供设备间的高速(例如，千兆速度)通信。然而，相比于更低频率的信号，mmW信号可能经历大气效应并且无法很好地传播通过材料。因此，相比于较低频率信号，mmW信号可能在它传播时经历相对较高路径损耗(例如，对应于该mmW信号的波的功率密度的衰减或减小)。

为了克服路径损耗，mmW通信系统利用定向波束成形。波束成形可涉及使用发射(TX)波束和/或接收(RX)波束。TX波束对应于所传送的mmW信号，该信号被定向成在特定方向上具有相对于其他方向更多的功率，诸如朝向接收机。通过将所传送的mmW信号定向至接收机，mmW信号的更多能量被定向至该接收机，由此克服较高的路径损耗。RX波束对应于在接收机处执行以便在衰减在其他方向上接收到的信号的同时对在特定方向上接收到的信号应用增益的技术。使用RX波束还有助于克服较高的路径损耗，例如通过提高在接收机处接收期望mmW信号的信噪比(SNR)。在一些方面，可使用混合波束成形(例如，模拟和数字域中的信号处理)。

因此，在某些方面，对于将与特定接收机通信的特定发射机而言，该发射机需要选择要使用的TX波束，并且接收机需要选择要使用的RX波束。用于通信的TX波束和RX波束被称为波束配对。在某些方面，波束配对中的RX和TX波束被选择成使得提供足够的通信覆盖和/或容量。

在某些方面，可使用波束管理规程来选择(例如，初始选择、经更新的选择、细化到先前选择的波束内的更窄波束，等等)波束配对。如将在下文中参照图2-4更详细地讨论的，波束管理规程可涉及使用用于接收/传送的不同的RX和/或TX波束来对信号进行测量并基于测量来选择用于波束配对的波束。例如，可选择在那些被测波束中具有最高测得信道或链路质量(例如，吞吐量、SNR等)的波束。

在一些情形中，如在下文中参照图2-4更详细地讨论的，存在发射机和/或接收机处支持的大量RX和/或TX波束，这可意味着存在可被执行以用于波束管理规程的大量测量。另外，发射机和接收机之间的通信环境在不同时间可能不同，诸如由于阻挡物(例如，当用户的手阻挡发射机/接收机(例如，用户装备(UE))处的TX/RX波束，和/或物体阻挡发射机和接收机之间的视线(LOS)路径时)、发射机/接收机的移动和/或旋转，等等。

为了计及此类因素，在一些情形中，波束管理规程基于试探法。基于试探法的波束管理规程尝试预测发射机和接收机的真实部署场景并且通常基于随时间在发射机和接收机通信时遇到(或预期到)的问题来更新发射机和接收机所使用的波束管理规程(诸如使用所下载的软件补丁)。例如，基于试探法的波束管理规程可基于发射机和/或接收机的参数只测量发射机和接收机的某些RX和/或TX波束，而不是所有波束。

为了进一步改进波束管理规程，本公开的各方面提供了使用自适应学习来作为波束管理规程的一部分。例如，担当发射机和/或接收机的UE(和/或BS)可使用基于学习来随时间自适应的基于自适应学习的波束管理算法。具体地，学习可基于与针对UE和/或BS的先前波束选择相关联的反馈。反馈可包括对先前波束选择的指示以及与先前波束选择相关联的参数。算法最初可基于实验室环境中的反馈来训练并且然后使用UE和/或BS处于部署中时的反馈来更新(例如，持续地)。在一些示例中，算法是基于深度强化学习的波束管理算法，该算法使用机器学习和人工神经网络来更新和应用用于在波束管理规程期间进行波束选择的预测模型。以此方式，基于自适应学习的波束管理算法从用户行为(例如，频繁遍历的路径、用户如何持握UE等)中进行学习并因此也是针对用户个性化的。

以下描述提供了使用自适应学习来作为波束管理规程的一部分的示例，而并非限定权利要求中阐述的范围、适用性或者示例。可以对所讨论的要素的功能和布置作出改变而不会脱离本公开的范围。各种示例可恰适地省略、替代、或添加各种规程或组件。例如，可以按与所描述的次序不同的次序来执行所描述的方法，并且可以添加、省略、或组合各种步骤。而且，参照一些示例所描述的特征可在一些其他示例中被组合。例如，可使用本文中所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各个方面的补充或者另外的其他结构、功能性、或者结构及功能性来实践的此类装备或方法。应当理解，本文中所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。措辞“示例性”在本文中用于意指“用作示例、实例、或解说”。本文中所描述为“示例性”的任何方面不必被解读为优于或胜过其他方面。

图1解说了其中可执行本公开的各方面的示例无线通信网络100。例如，无线通信网络100可以是新无线电系统(例如，5G NR网络)。无线通信网络100可支持通过波束成形来进行mmW通信。无线通信网络100中的诸如UE 120a和/或基站(BS)110a之类的节点(例如，无线节点)可被配置成执行波束管理规程以选择用于与另一节点通信的波束配对。例如，UE120a和BS 110a可执行波束管理规程以确定将UE 120a的接收波束和BS 110a的发射波束作为将用于通信(例如，下行链路通信)的波束配对，也被称为波束对链路(BPL)。如将在本文中更详细地描述的，UE 120a和/或BS 110a可使用基于自适应学习的波束管理规程。UE120a和/或BS 110a可使用自适应学习来确定将用于波束管理规程的一个或多个波束。如图1中所示，UE 120a具有波束选择管理器122。根据本文描述的一个或多个方面，波束选择管理器122可被配置成使用基于自适应学习的算法来确定/选择将用于波束管理规程的波束。如图1所示，附加地或替换地，BS 110a可具有波束选择管理器112。根据本文描述的各方面，波束选择管理器112可被配置成使用自适应学习算法来确定/选择将用于波束管理规程的波束。UE 120a和/或BS 110a然后可使用所确定的一个或多个波束来执行波束管理规程。

应注意，尽管相对于波束管理规程由无线节点执行来描述某些方面，但这一波束管理规程的某些方面可由其他类型的节点(诸如通过有线连接来连接到BS的节点)来执行。

如图1中解说的，无线通信网络100可包括数个BS 110a-z(各自在本文中也个体地被称为BS 110或统称为BS 110)和其他网络实体。BS 110可以与无线通信网络100中的UE120a-y(各自在本文中也个体地被称为UE 120或统称为UE 120)进行通信。每个BS 110可为特定地理区域提供通信覆盖。在一些示例中，BS 110可通过各种类型的回程接口(诸如直接物理连接、无线连接、虚拟网络、或使用任何合适的传输网络的类似物)来彼此互连和/或互连至无线通信网络100中的一个或多个其他BS或网络节点(未示出)。在图1中所示的示例中，BS 110a、110b和110c可以分别是用于宏蜂窝小区102a、102b和102c的宏BS。BS 110x可以是用于微微蜂窝小区102x的微微BS。BS 110y和110z可以分别是用于毫微微蜂窝小区102y和102z的毫微微BS。BS可支持一个或多个(例如，三个)蜂窝小区。

无线通信网络100还可包括中继站。中继站是从上游站(例如，BS或UE)接收数据和/或其他信息的传输并向下游站(例如，UE或BS)发送该数据和/或其他信息的传输的站。中继站还可以是为其他UE中继传输的UE。在图1中所示的示例中，中继站110r可与BS 110a和UE 120r进行通信以促成BS 110a与UE 120r之间的通信。中继站也可被称为中继BS、中继等。

UE 120(例如，120x、120y等)可分散遍及无线通信网络100，并且每个UE可以是驻定的或移动的。

网络控制器130可被耦合到一组BS并提供对这些BS的协调和控制。网络控制器130可以经由回程来与BS 110进行通信。BS 110还可经由无线或有线回程(例如，直接或间接地)彼此通信。

在一些示例中，无线通信网络100(例如，5G NR网络)可支持mmW通信。如以上讨论的，此类使用mmW通信的系统可使用波束成形来克服高路径损耗并且可执行波束管理规程以选择用于波束成形的波束。

BS波束(例如，TX或RX)以及UE波束(例如，TX或RX中的另一者)形成BPL。BS(例如，BS 110a)和UE(例如，UE 120a)这两者都可确定(例如，找到/选择)至少一个合格波束来形成通信链路。例如，在下行链路上，BS 110a使用发射波束来传送下行链路传输，而UE 120a使用接收波束来接收该下行链路传输。发射波束和接收波束的组合形成BPL。UE 120a和BS110a为UE 120a建立到无线通信网络100的至少一个BPL。在一些示例中，多个BPL(例如，一组BPL)可被配置用于UE 120a与一个或多个BS 110之间的通信。不同的BPL可用于不同目的，诸如用于传达不同信道、用于与不同BS通信、和/或用作现有BPL失效的情况下的回退BPL。

在一些示例中，为了初始蜂窝小区捕获，UE(例如，UE 120a)可搜索对应于与BS(例如，BS 110a)相关联的蜂窝小区的最强信号以及对应于用于接收/传送参考信号的BPL的相关联的UE接收波束和BS发射波束。在初始捕获后，UE 120a可执行新蜂窝小区检测和测量。例如，UE 120a可测量主同步信号(PSS)和副同步信号(SSS)以检测新蜂窝小区。如以下参照图3更详细地讨论的，PSS/SSS可由BS(例如，BS 110a)在跨一个或多个同步信号(SS)突发集的不同同步信号块(SSB)中传送。UE 120a可测量SS突发集内的不同SSB以执行波束管理规程，如本文中进一步讨论的。

在5G NR中，用于确定BPL的波束管理规程可被称为P1规程。图2解说了示例P1规程202。BS 210(例如，诸如BS 110a)可以向UE 220(例如，诸如UE 120a)发送测量请求并且随后可以向UE 220传送一个或多个信号(有时被称为“P1信号”)以供测量。在P1规程202中，BS210在每一个码元中在不同的空间方向(对应于发射波束211、212……217)上通过波束成形传送信号，以使得到达BS 210的蜂窝小区的若干(例如，绝大多数或所有)相关空间位置。以此方式，BS 210随时间在不同的方向上使用不同的发射波束来传送信号。在一些示例中，SSB被用作P1信号。在一些示例中，信道状态信息参考信号(CSI-RS)、解调参考信号(DMRS)或另一下行链路信号可用作P1信号。

在P1规程202中，为了成功接收P1信号的至少一码元，UE 220找到(例如，确定/选择)恰当的接收波束(221、222……226)。对于对应于给定时间段的给定信号索引(例如，SSB索引)可同时测量来自多个BS的信号(例如，SSB)。UE 220可以在P1信号的每一次出现(例如，每一个码元)期间应用不同的接收波束。一旦UE 220成功接收到P1信号的码元，UE 220和BS 210就发现了BPL(即，用于在该码元中接收P1信号的UE RX波束以及用于在该码元中传送P1信号的BS TX波束)。在一些情形中，UE 220不会搜索它所有可能的UE RX波束直到它找到最佳UE RX波束，因为这导致额外延迟。UE 220可改为一旦RX波束“足够好”(例如，具有满足阈值(例如，预定义阈值)的质量(例如，SNR))就选择该RX波束。UE 220可能不知晓BS210使用了哪个波束来在一码元中传送P1信号；然而，UE 220可向BS 210报告它观察到该信号的时间。例如，UE 220可以向BS 210报告P1信号已被成功接收的码元索引。BS 210可接收该报告，并且可确定该BS 210在所指示的时间使用了哪个BS TX波束。在一些示例中，UE220测量P1信号的信号质量，诸如参考信号接收功率(RSRP)或另一信号质量参数(例如，SNR、信道平坦度等)。UE 220可将所测得的信号质量(例如，RSRP)连同码元索引一起报告给BS 210。在一些情形中，UE 220可以向BS 210报告对应于多个BS TX波束的多个码元索引。

作为波束管理规程的一部分，在UE 220和BS 110之间使用的BPL可被细化/改变。例如，BPL可被周期性地细化以适应不断变化的信道状况，例如由于UE 220或其他物体的移动、多普勒扩散引起的衰减，等等。UE 220可监视BPL(例如，在P1规程期间找到/选择的BPL和/或先前细化的BPL)的质量以便在质量下降时(例如，当BPL质量降至阈值以下时或者当另一BPL具有更高质量时)细化BPL。在5G NR中，用于BPL的波束细化的波束管理规程可被称为用以分别细化个体BPL的BS波束和UE波束的P2和P3规程。

图2解说了示例P2规程204和P3规程206。如图2所示，对于P2规程204，BS 210用在空间上接近当前BPL的BS波束的不同BS波束(例如，TX波束215、214、213)来传送信号的码元。例如，BS 210使用当前BPL的TX波束周围的相邻TX波束(例如，波束扫掠)来在不同码元中传送信号。如图2所示，BS 210用于P2规程204的TX波束可以不同于BS 210用于P1规程202的TX波束。例如，BS 210用于P2规程204的TX波束可以比BS 210用于P1规程202的TX波束间隔更靠近在一起和/或可以更聚焦(例如，更窄)。在P2规程204期间，UE 220使其RX波束(例如，RX波束224)保持不变。UE 220可在不同码元中测量信号的信号质量(例如，RSRP)并指示在其中测得最高信号质量的码元。基于该指示，BS 210可确定最强(例如，最佳或与最高信号质量相关联的)TX波束(即，在所指示的码元中使用的TX波束)。BPL可被相应地细化以使用所指示的TX波束。

如图2所示，对于P3规程206，BS 220维持恒定的TX波束(例如，当前BPL的TX波束)并使用该恒定TX波束(例如，TX波束214)来传送信号的码元。在P3规程206期间，UE 220在不同码元中使用不同的RX波束(例如，RX波束223、224、225)来扫描信号。例如，UE 220可使用与当前BPL(即，正被细化的BPL)中的RX波束相邻的RX波束来执行扫掠。UE 220可针对每一RX波束测量信号的信号质量(例如，RSRP)并标识最强UE RX波束。UE 220可将所标识的RX波束用于BPL。UE 220可以向BS 210报告信号质量。

如以上讨论的，在一些示例中，SSB测量可用于波束管理。图3解说了示例NR无线电帧格式302内的示例SSB位置。下行链路和上行链路的每一者的传输时间线可被划分成以无线电帧为单位。如图3所示，示例10ms NR无线电帧格式302可包括十个1ms子帧(具有索引0、1……9的子帧)。在NR中，基本传输时间区间(TTI)可被称为时隙。在NR中，子帧可包含可变数量的时隙(例如，1、2、4、8、16……个时隙)，这取决于副载波间隔(SCS)。NR可支持15KHz的基SCS，并且可相对于基SCS定义其他SCS(例如，30kHz、60kHz、120kHz、240kHz等)。在图3所示的示例中，SCS是120kHz。如图3所示，子帧304(子帧0)包含具有0.125ms历时的8个时隙(时隙0、1……7)。码元和时隙长度随副载波间隔而缩放。每个时隙可包括可变数目的码元(例如，OFDM码元)周期(例如，7或14个码元)，这取决于SCS。对于图3所示的120kHz SCS，时隙306(时隙0)和时隙308(时隙1)中的每一者包括具有0.25ms历时的14个码元周期(具有索引0、1……13的时隙)。

在一些示例中，SSB可在最多六十四个不同的波束方向上被传送最多六十四次。SSB的最多六十四次传输被称为SS突发集。SS突发集中的SSB可以在相同的频率区域中被传送，而不同SS突发集中的SSB可以在不同的频率区域中被传送。在图3所示的示例中，在子帧304中，SSB是在每一个时隙(时隙0、1……6)中被传送的。在图3所示的示例中，在时隙306(时隙0)中，SSB 310在码元4、5、6、7中被传送，并且SSB 312在码元8、9、10、11中以及在时隙308(时隙1)中被传送，SSB 314在码元2、3、4、5中被传送，并且SSB 316在码元6、7、8、9中被传送，以此类推。SSB可包括PSS、SSS以及两个码元的物理广播信道(PBCH)。PSS和SSS可被UE用于蜂窝小区搜索和捕获。例如，PSS可提供半帧定时，SSS可提供控制协议(CP)长度和帧定时，并且PSS和SSS可提供蜂窝小区身份。PBCH携带一些基本系统信息，诸如下行链路系统带宽、无线电帧内的定时信息、SS突发集周期性、系统帧号等。

如图4所示，SSB可用于使用不同的发射和接收波束来进行测量，例如根据波束管理规程，诸如图2所示的P1规程202。图4解说了使用4个TX波束的BS410(例如，诸如BS 110a)以及使用2个RX波束的UE 420(例如，诸如UE 120a)的示例。对于每一SSB，BS 410使用不同的TX波束BS来传送SSB。如图4所示，UE 420可扫描其RX波束422，同时BS 410传送分别扫掠其四个TX波束412、414、416、418的SSB 310、312、314、316。BPL可被标识并被用于在一时段内进行数据通信，如所讨论的。如图4所示，BS 410使用TX波束414并且UE 420使用RX波束422来在一时段内进行数据通信。UE 410然后可扫描其RX波束424，同时BS 410传送扫掠其TX波束412、414的SSB 426、428，以此类推。

如可以看到的，随着TX/RX波束数量的增加，UE在每一TX波束上扫描其RX波束中的每一者的扫描次数可变大。功耗可以与测得SSB的数量成线性比例。因此，与波束管理相关联的时间和功率开销可以在实际上扫描所有波束的情况下变大。

因此，本公开的各方面提供了用于例如通过使用自适应学习来帮助节点在使用波束成形时执行对其他节点的测量的技术，该技术可减少用于波束管理规程的测量次数并由此降低功耗。

使用自适应学习的示例波束管理规程

非自适应算法因变于其输入是确定性的。如果该算法在不同时间面对完全相同的输入，则它的输出将会是完全相同的。自适应算法是基于其过往经验来改变其行为的算法。这意味着使用自适应算法的不同设备最终可随着时间的流逝而具有不同的算法。

根据某些方面，波束管理规程可使用基于自适应学习的波束管理算法来执行。由此，波束算法基于新的学习而随时间变化(例如，适应、更新)。波束管理规程可用于初始捕获、初始捕获后的蜂窝小区发现、和/或确定用于UE检测到的最强蜂窝小区的BPL。例如，自适应学习可用于构建UE码本，该UE码本指示针对波束管理规程将使用(例如，测量)的波束。在一些示例中，自适应学习可用于选择将用于发现BPL的UE接收波束。自适应学习可用于基于训练和经验来智能地选择哪些UE接收波束将被用来测量信号，以使得可测量较少的波束，同时仍找到合适的BPL(例如，满足阈值信号质量)。

在一些示例中，基于自适应学习的波束管理涉及训练模型，诸如预测模型。该模型可以在波束管理规程期间被用来选择将使用哪些UE接收波束来测量信号。该模型可基于训练数据(例如，训练信息)来训练，该训练数据可包括反馈，诸如与波束管理规程相关联的反馈。图5解说了根据本公开的某些方面的其中使用预测模型524来进行波束管理的示例联网环境500。

如图5所示，联网环境500包括经由网络505通信地连接的节点520、训练系统530和训练储存库515。节点520可以是UE(例如，诸如无线通信网络100中的UE 120a)或BS(例如，诸如无线通信网络100中的BS 110a)。网络505可以是无线网络，诸如无线通信网络100，该无线网络可以是5G NR网络。虽然训练系统530、节点520和训练储存库515在图5中被解说为单独组件，但本领域技术人员应认识到训练系统530、节点520和训练储存库515可被实现在任何数量的计算系统上，被实现为一个或多个独立系统或被实现在分布式环境中。

训练系统530一般包括预测模型训练管理器532，该管理器使用训练数据来生成用于波束管理的预测模型524。预测模型524可基于训练储存库515中的信息来确定。

训练储存库515可包括在节点520部署之前和/或之后获取的训练数据。节点520可以在节点520部署之前在仿真通信环境中(例如，在现场测试、驾驶测试中)训练。例如，各种波束管理规程(例如，对用于测量信号的UE RX波束的各种选择)可以在各种场景中测试，诸如以不同的UE速度、在UE静止的情况下、在UE的各种旋转下、在具有各种BS部署/几何形状的情况下等等，以获取与波束管理规程相关的训练信息。该信息可被存储在训练储存库515中。在部署后，训练储存库515可被更新以包括与由节点520执行的波束管理规程相关联的反馈。该训练储存库还可以例如基于其他BS和/或其他UE学习到的可以与这些BS和/或UE执行的波束管理规程相关联的经验，用来自这些BS和UE的信息来更新。

预测模型训练管理器532可使用训练储存库515中的信息来确定用于波束管理的预测模型524(例如，算法)，诸如以选择用于测量信号的UE RX波束。如本文中更详细地讨论的，预测模型训练管理器532可使用诸如机器学习、深度信息、强化学习等各种不同类型的自适应学习来形成预测模型524。训练系统530可随时间使该预测模型524自适应(例如，更新/改善)。例如，当训练储存库用新训练信息(例如，反馈)更新时，模型524基于新学习/经验来更新。

训练系统530可位于节点520、网络505中的BS、或者确定预测模型524的不同实体上。如果位于不同实体上，则预测模型524被提供给节点520。

训练储存库515可以是存储设备，诸如存储器。训练储存库515可位于节点520、训练系统530或网络505中的另一实体上。训练储存库515可以在云存储中。训练储存库515可以从节点520、网络505中的实体(例如，网络505中的BS或UE)、云、或其他源接收训练信息。

如上所述，节点520被提供有(或生成，例如在训练系统530被实现在该节点520中的情况下)预测模型。如所解说的，节点520可包括波束选择管理器522，该管理器被配置成使用预测模型524来进行波束管理(例如，诸如以上参照图2讨论的波束管理规程之一)。在一些示例中，节点520利用预测模型524来构建UE码本和/或从UE码本中确定/选择将用于波束管理规程的波束。预测模型524在训练系统530用新学习来使预测模型524自适应时被更新。

由此，节点520的波束管理算法(使用预测模型524)是基于自适应学习的，因为该节点520所使用的算法基于节点520在部署场景中获得的经验/反馈(和/或通过也由其他实体提供的训练信息)而随时间变化，甚至在部署后。

根据某些方面，自适应学习可使用任何恰当的学习算法。如上所述，学习算法可由训练系统(例如，诸如训练系统530)用来训练预测模型(例如，诸如预测模型524)以获得用于由设备(例如，诸如节点520)用于波束管理规程的基于自适应学习的波束管理算法。在一些示例中，自适应学习算法是自适应机器学习算法、自适应强化学习算法、自适应深度学习算法、自适应连续无限学习算法、或自适应策略优化强化学习算法(例如，近端策略优化(PPO)算法、策略梯度、信任域策略优化(TRPO)算法等)。在一些示例中，自适应学习算法被建模为部分可观察马尔可夫决策过程(POMDP)。在一些示例中，自适应学习算法由人工神经网络(例如，包括一个或多个深度神经网络(DNN)的深度Q网络(DQN))来实现。

在一些示例中，自适应学习(例如，由训练系统530使用)使用神经网络来执行。神经网络可被设计成具有各种连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。

在一些示例中，自适应学习(例如，由训练系统530使用)使用深度信念网络(DBN)来执行。DBN是包括多层隐藏节点的概率模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠多层受限波尔兹曼机(RBM)来获得。RBM是一类可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入可被分类到哪个类的信息的情况下学习概率分布，因此RBM经常被用于无监督式学习。使用混合无监督式和受监督式范式，DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器，而顶部RBM可按受监督方式(在来自先前层的输入和目标类别的联合分布上)被训练并且可用作分类器。

在一些示例中，自适应学习(例如，由训练系统530使用)使用深度卷积网络(DCN)来执行。DCN是卷积网络中的配置有附加池化和归一化层的网络。DCN已在许多任务上达成现有最先进的性能。DCN可使用受监督式学习来训练，其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。DCN可以是前馈网络。另外，如上所述，从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的神经元被共享。DCN的前馈和共享连接可被利用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络的计算负担小得多。

可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示由计算设备执行的方法。这些神经网络可被用于各种应用和/或设备，诸如网际协议(IP)相机、物联网(IoT)设备、自主交通工具、和/或服务机器人。人工神经网络中的个体节点可通过取得输入数据并对数据执行简单运算来模仿生物神经元。对输入数据执行的简单运算的结果被选择性地传递给其他神经元。权重值与网络中的每个向量和节点相关联，并且这些值约束输入数据如何与输出数据相关。例如，每个节点的输入数据可乘以相应的权重值，并且可对乘积求和。这些乘积的总和可通过可任选的偏置进行调整，并且可将激活函数应用于结果，从而产生节点的输出信号或“输出激活”。权重值可初始地由训练数据在网络中的迭代流动来确定(例如，权重值在训练阶段期间确立，在该阶段中网络学习如何通过各类别的典型输入数据特性来标识特定类别)。

可使用不同类型的人工神经网络(诸如递归神经网络(RNN)、多层感知器(MLP)神经网络、卷积神经网络(CNN)等)来实现自适应学习(例如，由训练系统530使用)。RNN的工作原理是保存一层的输出并将该输出反馈回到输入以帮助预测该层的结果。在MLP神经网络中，数据可被馈送到输入层中，并且一个或多个隐藏层提供对数据的若干级别的抽象。随后可基于经抽象数据来对输出层作出预测。MLP可以特别适合于分类预测问题，其中输入被指派类或标签。卷积神经网络(CNN)是一种前馈人工神经网络。卷积神经网络可包括人工神经元的集合，这些人工神经元各自具有感受野(例如，输入空间的空间局部区域)并且共同地拼出一输入空间。卷积神经网络具有众多应用。具体而言，CNN已被广泛使用于模式识别和分类领域。在分层神经网络架构中，第一层人工神经元的输出成为第二层人工神经元的输入，第二层人工神经元的输出成为第三层人工神经元的输入，依此类推。可以对卷积神经网络进行训练以识别特征阶层。卷积神经网络架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用反向传播来微调。

在一些示例中，在使用自适应机器学习算法时，训练系统530从训练储存库515中的信息中生成向量。在一些示例中，训练储存库515存储向量。在一些示例中，向量将一个或多个特征映射到标签。例如，特征可对应于本文中讨论的各种部署场景模式，诸如UE移动性、速度、旋转、信道状况、网络中的BS部署/几何形状，等等。标签可对应于与用于执行波束管理规程的特征相关联的(例如对RX波束的)所预测的最优波束选择。预测模型训练管理器532可使用向量来训练用于节点520的预测模型524。如以上讨论的，向量可以与自适应学习算法中的权重相关联。当学习算法自适应(例如，更新)时，应用于向量的权重也可被改变。由此，当波束管理规程在相同特征下(例如，在一组相同条件下)被再次执行时，模型可给予节点520不同结果(例如，不同波束选择)。

图6概念性地解说了示例强化学习模型。强化学习可以是机器学习中的半监督式学习模型。强化学习允许代理604(例如，节点520和/或训练系统530)基于解释者602(例如，诸如节点520)观察到的状态(例如，使用不同波束的SSB的RSPR)来采取动作(例如，波束选择)并与环境606(例如，当前部署场景)交互，以最大化可被解释者602观察到并作为强化反馈至代理604的总奖励(例如，使用所选波束的物理下行链路共享信道(PDSCH)吞吐量)。在一些示例中，代理604和解释者602可被实现为可执行节点520、训练系统530和/或训练储存库515的各种功能的相同或单独的组件设备。

在一些示例中，，强化学习被建模为马尔可夫决策过程(MDP)。MDP是一个离散的、时间随机的控制过程。MDP提供了用于在其中结果可能是部分随机且部分在决策制定者的控制下的情形中对决策制定进行建模的数学框架。在MDP中，在每一时步，该过程处于有限状态集S中的一状态，并且决策制定者可选择在该状态中可用的有限动作集A中的任何动作。该过程在下一时步通过随机地移至新状态中并向决策制定者给予对应奖励来进行响应，其中R_α(s，s′)是从状态s转变至状态s’后的即时奖励(或预期即时奖励)。该过程移至其新状态中的概率受到所选动作的影响，例如根据状态转换函数。状态转换可由P_α(s，s′)＝Pr(s_t+1＝s′|s_t＝s，α_t＝α)给出。

MDP寻求找到用于决策的策略：指定决策制定者将在处于状态s时选择的动作π(s)的π的函数。目标是选择最大化奖励的策略π。例如，最大化奖励累积函数(诸如折扣总和)的策略。以下示出了示例函数：

其中

α_t＝π(s_t)，即策略给出的动作，且γ是折扣因子并且满足0≤γ≤1。

MDP的解是描述针对MDP中的每一状态的最佳动作(例如最大化预期折扣奖励)的策略。

在一些示例中，使用部分可观察MDP(POMDP)。POMDP可以在采取动作时可能不知道状态时被使用，并因此概率和/或奖励可能是未知的。对于POMDP，可使用强化学习。可定义以下函数：

Q(s，a)＝∑_s′P_α(s，s′)(R_α(s，s′)+γV(s′))。

学习期间的经验可基于(s，a)对以及结果s′。例如，在节点先前处于状态s并做出波束选择a，并且达成吞吐量s′的情况下。在该示例中，节点可直接基于学习到的经验来更新数组Q。这可被称为Q学习。在一些示例中，学习算法可以是持续的。

在一些示例中，对于基于自适应学习的波束管理算法，状态可对应于环境(例如，UE的当前部署场景)中的M个最强波束质量测量(例如，不同波束上的SSB的参考信号收到功率(RSRP))，这些测量包括本文讨论的包括UE移动性、BS部署模式(例如，几何形状)、阻挡物等的条件。动作可对应于波束选择。奖励可以是使用波束选择来达成的吞吐量，诸如PDSCH吞吐量。奖励可以是另一参数，诸如举例而言是频谱效率。由此，通过在给定时间在给定状态使用这一MDP，节点可采用找到指定最大化吞吐量的波束选择的策略。如以上讨论的，奖励可以打折。对于波束管理，奖励可因变于所测量的SSB而被某一惩罚抵扣，以例如针对最小功率进行优化。

返回到参照图5中的示例网络环境500和图6中的强化学习模型600，在一些示例中，预测模型训练管理器532或代理604可以对预测模型(例如，预测模型524)使用强化学习来确定策略(例如，MDP解)。节点520或代理604可基于预测模型(例如，预测模型524)在该环境(例如，环境606)中在给定时间针对当前状态(例如，被节点520或解释者602观察到)给出的策略来采取动作，诸如用于波束管理规程的波束选择。强化学习算法和预测模型可基于所学习到的经验(例如，可被存储在训练储存库515中)来更新/自适应。

强化学习的框架提供了用以最优地对POMDP求解的工具。该学习改变决定要采取的下一动作的多层感知器(例如，神经网)的权重。深度ML中的算法以神经网权重来编码。由此，改变权重会改变算法。

在一些示例中，基于自适应学习的波束管理使用自适应深度学习算法。自适应深度学习算法可以是由神经网络实现的深度Q网络(DQN)。图7概念性地解说了根据本公开的某些方面的示例DQN学习模型700。如图7所示，代理706(例如，诸如代理604或节点520)包括人工神经网络，例如诸如在图7中的示例中示出的深度神经网络(DNN)708。对于可以是涉及本文描述的UE(例如，UE 120a)和BS(例如，BS 110a)以及各种条件的真实部署场景的当前环境702(例如，诸如环境606)，代理706观察到状态704(s)。例如，观察到的状态可以是对应于使用用于波束管理规程的不同波束来测量的SSB的M个最强RSRP。

在一些示例中，自适应学习算法通过强化学习来被建模为POMDP。POMDP可以在采取动作时可能不知道状态时被使用，并因此概率和/或奖励可能是未知的。对于POMDP，可使用强化学习。Q数组可被定义为：

Q_i+1(s，a)＝E{r+γmaxQ_i(s′，a′)|s，a}。

如图7所示，给定状态704s(例如，RSRP)以及可能动作a被输入到DNN 708，该DNN可执行算法以便按可能动作a输出值(例如，参数θ)，以便基于最大值来确定策略(例如，π_θ(s，a))该策略和对应的动作被采取并被应用于该环境。例如，代理706做出波束选择并且然后在环境702中使用所选波束。如图7所示，对该动作的奖励被反馈至代理706以更新算法。例如，通过所选波束达成的吞吐量可被反馈。基于该反馈，代理706更新DNN 708(例如，通过改变与向量相关联的权重)。

根据某些方面，基于自适应学习的波束管理允许连续无限学习。在一些示例中，学习可以通过联合学习来扩充。例如，当一些机器学习方法使用单个机器上或数据中心中的集中式训练数据时，通过联合学习，学习可以是协作式的，这涉及多个设备以形成预测模型。通过联合学习，模型训练可通过来自多个设备的协作式学习来在该设备上完成。例如，返回参照图5-7，节点520、代理604和代理706可以从各种不同的设备接收训练信息和/或经更新的经训练模型。

在一解说性示例中，多个不同UE的波束管理算法可以例如使用深度强化学习来在多个不同的操作场景中训练。来自不同UE的训练的输出可被组合以训练用于UE的波束管理算法。一旦波束管理算法被训练，则该算法可基于实际部署场景来继续学习。如以上讨论的，状态可以是当前时间的最佳的M个RSRP度量；奖励可以是针对当前最佳波束对的所测得的PDSCH吞吐量；并且动作可以是对要测量哪一个/哪些波束对的选择。

根据某些方面，基于自适应学习的波束管理允许用户个性化以及设计稳健性。在一些示例中，基于自适应学习的波束管理可被优化。例如，当用户(例如，诸如节点520)访问/遍历一路径(例如，环境)时，自适应算法学习并针对该环境进行优化。此外，不同的BS厂商可具有不同的波束管理实现，诸如如何传送SSB。例如，某些BS厂商传送也将用作数据波束的许多窄TX波束；而其他厂商传送少数宽波束并使用波束细化(例如，P2和/或P3规程)来缩窄并跟踪数据波束。在一些示例中，基于自适应学习的波束管理可针对用于一厂商的特定波束管理实现被优化。在一些示例中，基于自适应学习的波束管理可针对用户被优化，例如该用户握持/使用UE的方式影响该UE的波束的可能阻挡。

图8是解说根据本公开的某些方面的用于无线通信的示例操作800的流程图。操作800可以例如由节点(例如，诸如可以是无线节点的节点520，它可以是无线通信网络100中的BS 110a或UE 120a)来执行。操作800可被实现为在一个或多个处理器(例如，图12的控制器/处理器1240、1280)上执行和运行的软件组件。此外，在操作800中由节点进行的信号传输和接收可例如由一个或多个天线(例如，图12的天线1234、1252)来实现。在某些方面，由节点对信号的传输和/或接收可经由一个或多个获得和/或输出信号的处理器(例如，控制器/处理器1240、1280)的总线接口来实现。

操作800可开始于805，使用自适应学习来确定将用于波束管理规程的一个或多个波束。

在810，该节点使用所确定的一个或多个波束来执行波束管理规程。

根据某些方面，自适应学习使用自适应学习算法。自适应学习算法可基于反馈和/或训练信息来更新(例如，自适应)。该节点可使用经更新的自适应学习算法来执行另一波束管理规程。反馈可以是与波束管理规程相关联的反馈。例如，在使用所确定的一个或多个波束来执行波束管理规程后，节点可接收关于所达成的吞吐量的反馈，并且波束管理算法可基于该反馈来更新。在一些示例中，反馈可以与由诸如不同的节点等不同设备执行的波束管理相关联。

图9是解说根据本公开的某些方面的用于使用自适应学习来进行波束管理的示例信令900的示例呼叫流程图。如图9所示，在908，UE 902(例如，诸如UE 120a)可具有初始学习算法(例如，包括预测模型)。在一些示例中，UE 902可训练该初始学习算法或者该学习算法可被训练并且然后被提供给UE 902。在910，UE 902与一个或多个BS 904执行波束管理规程(例如，诸如P1规程202)。例如，UE 902可使用自适应学习算法来确定要使用和/或测量的波束。在912，UE 902接收附加训练信息和/或反馈。例如，UE 902可以从BS 904(例如，诸如BS 110a)接收关于在910执行的波束管理规程的反馈，诸如使用所选波束达成的PDSCH吞吐量。附加地或替换地，UE 902可以从BS 904和/或另一UE 906接收附加训练信息。在914，UE902基于附加训练信息和/或反馈来确定经更新的自适应学习算法。在916，UE 902可通过经更新的自适应学习算法来与BS 904(或另一BS)执行另一波束管理。

在一些示例中，训练信息(和/或反馈)包括通过在一个或多个UE的网络部署之前将该一个或多个UE部署在一个或多个仿真通信环境中而获取的训练信息；通过先前在该一个或多个UE被部署在一个或多个通信环境中时接收到的反馈(例如，基于由该UE执行的测量和/或波束管理规程)而获取的训练信息；来自网络、一个或多个UE和/或云的训练信息；和/或当节点在线和/或空闲时接收到的训练信息。

在一些示例中，在805使用自适应学习算法包括节点基于一个或多个输入来输出动作；其中反馈与该动作相关联；并且基于该反馈来更新自适应学习算法包括调整被应用于一个或多个输入的一个或多个权重。

在一些示例中，由节点在805使用的自适应学习算法包括自适应机器学习算法；自适应强化学习算法；自适应深度学习算法；自适应连续无限学习算法；和/或自适应策略优化强化学习算法。如以上参照图6-7讨论的，自适应学习算法可被建模为POMDP。自适应学习算法可由人工神经网络来实现。在一些示例中，人工神经网络可以是包括一个或多个DNN的DQN。使用自适应学习来确定一个或多个波束可包括通过一个或多个DNN来传递状态参数和动作参数；对于每一状态参数，输出每一动作参数的值；以及选择与最大输出值相关联的动作。更新自适应学习算法可包括调整与人工神经网络中的一个或多个神经元连接相关联的一个或多个权重。

在一些示例中，在805使用自适应学习来确定将用于波束管理规程的一个或多个波束包括基于自适应学习来确定要包括在码本中的一个或多个波束并从该码本中选择将用于波束管理规程的一个或多个波束。

在一些示例中，在805使用自适应学习来确定将用于波束管理规程的一个或多个波束包括使用自适应学习来从码本中选择将用于波束管理规程的一个或多个波束。

在一些示例中，自适应学习被用来选择BPL。

在一些示例中，自适应学习使用与信道测量相关联的状态参数、与收到信号吞吐量或频谱效率相关联的奖励参数、以及与对与信道测量相对应的波束对的选择相关联的动作参数。在一些示例中，信道测量包括RSRP；频谱效率、信道平坦度、和/或信噪比(SNR)。在一些示例中，收到信号是PDSCH传输。

在一些示例中，奖励参数被抵扣一惩罚量。在一些示例中，惩罚量取决于被测量以用于波束管理规程的波束(例如，用于SSB的传送和/或接收的波束)的数量。在一些示例中，惩罚量取决于与波束管理规程相关联的功耗量。

在一些示例中，在810使用所确定的一个或多个波束来执行波束管理规程包括使用所确定的一个或多个波束基于来自BS的SSB传输来测量信道，该SSB传输与该BS的多个不同发射波束相关联；以及选择与信道测量相关联的一个或多个BPL，这些信道测量是高于信道测量阈值的信道测量和/或是与所测量的SSB传输相关联的所有信道测量中的一个或多个最强信道测量。在一些示例中，所确定的一个或多个波束是可用接收波束的子集。在一些示例中，节点使用该一个或多个所选BPL中的一者来接收PDSCH；确定与该PDSCH相关联的吞吐量；基于所确定的吞吐量来更新自适应学习算法；以及使用经更新的自适应学习算法来确定将用于执行用以选择另一个或多个BPL的另一波束管理规程的另一个或多个波束。

图10是解说根据本公开的某些方面的用于使用自适应学习来进行BPL发现规程(例如，诸如P1规程202)的示例信令1000的示例呼叫流程图。如图10所示，在1008，UE 1002(例如，诸如UE 120a)可以在1010处的部署之前在仿真环境中执行初始训练。1008处的初始训练可以在UE 1002处训练初始学习算法(例如，包括预测模型)。在1010，UE 1002可被部署在具有至少一个BS 1004(例如，诸如BS 110a)的网络中。UE 1002可以在网络中与一个或多个BS 1004执行波束管理规程(例如，诸如P1规程202)。例如，如图10所示，在1012，UE 1002可使用自适应学习算法来选择波束或RX/TX波束对。在1016，UE 1002使用在1012处选择的(诸)波束来测量在1014处从BS 1004接收的(诸)SSB传输。在1018，UE 1002向BS 1004报告测量和/或BPL选择。然后，在1020，BS 1004使用由UE 1002指示(或基于UE 1002报告的测量来选择)的BPL来向UE 1002传送PDSCH。在1022，UE 1002可以确定PDSCH吞吐量。PDSCH吞吐量可担当对自适应学习的反馈或强化。在1026，UE 1002基于该反馈来更新自适应学习算法。可选地，UE 1002可以从BS 1004和/或另一UE 1006(例如，UE 2)接收该UE 1002可用来在1026更新自适应学习算法的附加训练信息和/或反馈。UE 1002然后可通过经更新的自适应学习算法来与BS 1004(或另一BS)执行另一波束管理。

图11解说了可包括被配置成执行本文所公开的技术的操作(诸如，图8中所解说的操作)的各种组件(例如，对应于装置加功能组件)的通信设备1100。通信设备1100包括耦合到收发机1108的处理系统1102。收发机1108被配置成经由天线1110传送和接收用于通信设备1100的信号(诸如，如本文中所描述的各种信号)。处理系统1102可被配置成执行用于通信设备1100的处理功能，包括处理由通信设备1100接收和/或将要传送的信号。

处理系统1102包括经由总线1106耦合到计算机可读介质/存储器1112的处理器1104。在某些方面，计算机可读介质/存储器1112被配置成存储在由处理器1104执行时使处理器1104执行图8中解说的操作或者用于执行本文中讨论的用于基于自适应学习的波束管理的各种技术的其他操作的指令(例如，计算机可执行代码)。在某些方面，计算机可读介质/存储器1112存储用于使用自适应学习来确定将用于波束管理规程的一个或多个波束的代码1114；以及用于使用所确定的一个或多个波束来执行波束管理规程的代码1116。在某些方面，处理器1104具有被配置成实现存储在计算机可读介质/存储器1112中的代码的电路系统。处理器1104包括用于使用自适应学习来确定将用于波束管理规程的一个或多个波束的电路系统1118；以及用于使用所确定的一个或多个波束来执行波束管理规程的电路系统1120。

在一些示例中，通信设备1100可包括片上系统(SOC)(未示出)，该SOC可包括被配置成执行根据本公开的某些方面的基于自适应学习的波束管理的中央处理单元(CPU)或多核CPU。变量(例如，神经信号和突触权重)、与计算设备相关联的系统参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)相关联的存储器块中、与CPU相关联的存储器块中、与数字信号处理器(DSP)相关联的存储器块中、不同的存储器块中，或可跨多个存储器块分布。在CPU处执行的指令可从与CPU相关联的程序存储器加载或可从不同存储器块加载。

在一些示例中，本文描述的基于自适应学习的波束管理可允许通过自适应地更新波束管理算法以使得波束选择可被细化以基于学习来更智能地选择要测量的波束来改进P1规程。由此，UE可以在测量更少波束的同时找到BPL。

本文中所公开的各方法包括用于实现方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。

如本文中所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多重相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。

如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、查明及诸如此类。而且，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)及诸如此类。而且，“确定”可包括解析、选择、选取、建立及诸如此类。

图12解说了可被用于实现本公开的各方面的BS 110a和UE 120a(例如，在图1的无线通信网络100中)的示例组件。例如，UE 120a的天线1252、处理器1266、1258、1264和/或控制器/处理器1280和/或BS 110a的天线1234、处理器1220、1230、1238和/或控制器/处理器1240可被用于执行本文中所描述的各种技术和方法。如图12所示，UE 120a的控制器/处理器1280具有波束选择管理器1281，根据本文描述的各方面，该波束选择管理器1281可被配置成使用自适应学习来确定例如将用于波束管理规程的波束。如图12所示，附加地或替换地，BS 110a的控制器/处理器1240可具有波束选择管理器1241，根据本文描述的各方面，该波束选择管理器1241可被配置成使用自适应学习来确定波束。

在BS 110a处，发射处理器1220可以接收来自数据源1212的数据和来自控制器/处理器1240的控制信息。该控制信息可以用于物理广播信道(PBCH)、物理控制格式指示符信道(PCFICH)、物理混合ARQ指示符信道(PHICH)、物理下行链路控制信道(PDCCH)、群共用PDCCH(GC PDCCH)等。该数据可以用于物理下行链路共享信道(PDSCH)等。处理器1220可以处理(例如，编码以及码元映射)数据和控制信息以分别获得数据码元和控制码元。发射处理器1220还可生成参考码元(诸如用于主同步信号(PSS)、副同步信号(SSS)、以及因蜂窝小区而异的参考信号(CRS))。发射(TX)多输入多输出(MIMO)处理器1230可在适用的情况下对数据码元、控制码元、和/或参考码元执行空间处理(例如，预编码)，并且可将输出码元流提供给调制器(MOD)1232a-1232t。每个调制器1232可处理各自相应的输出码元流(例如，针对OFDM等)以获得输出采样流。每个调制器可进一步处理(例如，转换至模拟、放大、滤波、及上变频)输出采样流以获得下行链路信号。来自调制器1232a-1232t的下行链路信号可分别经由天线1234a-1234t被发射。

在UE 120a处，天线1252a-1252r可接收来自BS 110a的下行链路信号并可分别向收发机1254a-1254r中的解调器(DEMOD)提供收到信号。每个解调器1254可调理(例如，滤波、放大、下变频、以及数字化)各自的收到信号以获得输入采样。每个解调器可进一步处理输入采样(例如，针对OFDM等)以获得收到码元。MIMO检测器1256可获得来自所有解调器1254a-1254r的收到码元，在适用的情况下对这些收到码元执行MIMO检测，并且提供检出码元。接收处理器1258可处理(例如，解调、解交织、以及解码)这些检出码元，将经解码的给UE120a的数据提供给数据阱1260，并且将经解码的控制信息提供给控制器/处理器1280。

在上行链路上，在UE 120a处，发射处理器1264可接收并处理来自数据源1262的数据(例如，用于物理上行链路共享信道(PUSCH))以及来自控制器/处理器1280的控制信息(例如，用于物理上行链路控制信道(PUCCH))。发射处理器1264还可生成参考信号(例如，探通参考信号(SRS))的参考码元。来自发射处理器1264的码元可在适用的情况下由TX MIMO处理器1266预编码，由收发机中的解调器1254a-1254r进一步处理(例如，针对SC-FDM等)，并且向基站110传送。在BS 110a处，来自UE 120a的上行链路信号可由天线1234接收，由调制器1232处理，在适用的情况下由MIMO检测器1236检测，并由接收处理器1238进一步处理以获得经解码的由UE 120a发送的数据和控制信息。接收处理器1238可将经解码数据提供给数据阱1239并将经解码控制信息提供给控制器/处理器1240。

控制器/处理器1240和1280可分别指导BS 110a和UE 120a处的操作。BS 110a处的控制器/处理器1240和/或其他处理器和模块可执行或指导本文中所描述的技术的各过程的执行。存储器1242和1282可分别存储供BS 110a和UE 120a用的数据和程序代码。调度器1244可调度UE以进行下行链路和/或上行链路上的数据传输。

本文中所描述的技术可被用于各种无线通信技术，诸如3GPP长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交频分多址(OFDMA)、单载波频分多址(SC-FDMA)、时分同步码分多址(TD-SCDMA)、以及其他网络。术语“网络”和“系统”常常可互换地使用。CDMA网络可以实现诸如通用地面无线电接入(UTRA)、cdma2000等无线电技术。UTRA包括宽带CDMA(WCDMA)和CDMA的其他变体。cdma2000涵盖IS-2000、IS-95和IS-856标准。TDMA网络可实现诸如全球移动通信系统(GSM)之类的无线电技术。OFDMA网络可以实现诸如NR(例如，5G RA)、演进型UTRA(E-UTRA)、超移动宽带(UMB)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、Flash-OFDMA等无线电技术。UTRA和E-UTRA是通用移动电信系统(UMTS)的部分。LTE和LTE-A是使用E-UTRA的UMTS版本。UTRA、E-UTRA、UMTS、LTE、LTE-A和GSM在来自名为“第三代伙伴项目”(3GPP)的组织的文献中描述。cdma2000和UMB在来自名为“第三代伙伴项目2”(3GPP2)的组织的文献中描述。NR是正协同5G技术论坛(5GTF)进行开发的新兴无线通信技术。NR接入(例如，5G NR)可支持各种无线通信服务，诸如mmW。NR可以在上行链路和下行链路上利用具有CP的OFDM并且包括对使用TDD的半双工操作的支持。可支持波束成形并且可动态地配置波束方向。还可支持具有预编码的MIMO传输。在一些示例中，DL中的MIMO配置可支持至多达8个发射天线(具有至多达8个流的多层DL传输)和每UE至多达2个流。在一些示例中，可支持每UE至多达2个流的多层传输。

在3GPP中，术语“蜂窝小区”可指代B节点(NB)的覆盖区域和/或服务该覆盖区域的NB子系统，这取决于使用该术语的上下文。在NR系统中，术语“蜂窝小区”、BS、下一代B节点(gNB或g B节点)、接入点(AP)、分布式单元(DU)、载波、或传送接收点(TRP)可以可互换地使用。在一些示例中，蜂窝小区可以不必是驻定的，并且蜂窝小区的地理区域可根据移动BS的位置而移动。

UE也可被称为移动站、终端、接入终端、订户单元、站、客户端装备(CPE)、蜂窝电话、智能电话、个人数字助理(PDA)、无线调制解调器、无线通信设备、手持式设备、膝上型计算机、无绳电话、无线本地环(WLL)站、平板计算机、相机、游戏设备、上网本、智能本、超级本、电器、医疗设备或医疗装备、生物测定传感器/设备、可穿戴设备(诸如智能手表、智能服装、智能眼镜、智能腕带、智能珠宝(例如，智能戒指、智能手链等))、娱乐设备(例如，音乐设备、视频设备、卫星无线电等)、交通工具组件或传感器、智能计量仪/传感器、工业制造装备、全球定位系统设备、或者被配置成经由无线或有线介质进行通信的任何其他合适设备。一些UE可被认为是机器类型通信(MTC)设备或演进型MTC(eMTC)设备。MTC和eMTC UE包括例如机器人、无人机、远程设备、传感器、计量仪、监视器、位置标签等，其可与BS、另一设备(例如，远程设备)或某一其他实体通信。诸如无线节点等节点可以例如经由有线或无线通信链路来为网络(例如，广域网(诸如因特网)或蜂窝网络)提供连通性或提供至该网络的连通性。一些UE可被认为是物联网(IoT)设备，其可以是窄带IoT(NB-IoT)设备。

本文所描述的技术可被用于以上所提及的无线网络和无线电技术以及其他无线网络和无线电技术。为了清楚起见，虽然各方面在本文中可使用通常与3G、4G和/或5G无线技术相关联的术语来描述，但本公开的各方面可在基于其它代的通信系统中应用。

提供先前描述是为了使本领域任何技术人员均能够实践本文中所描述的各种方面。对这些方面的各种修改将容易为本领域技术人员所明白，并且在本文中所定义的普适原理可被应用于其他方面。由此，权利要求并非旨在被限定于本文中所示出的各方面，而是应被授予与权利要求的语言相一致的全部范围，其中对要素的单数形式的引述并非旨在表示“有且仅有一个”(除非特别如此声明)而是“一个或多个”。除非特别另外声明，否则术语“一些/某个”指的是一个或多个。本公开通篇描述的各个方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且旨在被权利要求所涵盖。此外，本文所公开的任何内容都不旨在捐献于公众，无论此类公开内容是否明确记载在权利要求书中。权利要求的任何要素都不应当在35 U.S.C.§112(f)的规定下来解释，除非该要素是使用短语“用于……的装置”来明确叙述的或者在方法权利要求情形中该要素是使用短语“用于……的步骤”来叙述的。

以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般地，在存在附图中解说的操作的场合，这些操作可具有带相似编号的相应配对装置加功能组件。

结合本公开所描述的各种解说性逻辑块、模块、以及电路可用设计成执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。

如果以硬件实现，则示例硬件配置可包括节点中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可被用于将网络适配器等经由总线连接至处理系统。网络适配器可被用于实现PHY层的信号处理功能。在UE 120a(见图1)的情形中，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。

如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。处理器可负责管理总线和一般处理，包括执行存储在机器可读存储介质上的软件模块。计算机可读存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可被整合到处理器。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与节点分开的其上存储有指令的计算机可读存储介质，其全部可由处理器通过总线接口来访问。替换地或附加地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。作为示例，机器可读存储介质的示例可包括RAM(随机存取存储器)、闪存、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦式可编程只读存储器)、EEPROM(电可擦式可编程只读存储器)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。

软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。计算机可读介质可包括数个软件模块。这些软件模块包括当由装备(诸如处理器)执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。

任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和蓝光

碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。以上的组合应当也被包括在计算机可读介质的范围内。

由此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作，例如用于执行本文中所描述且在图8中所解说的操作的指令。

此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其他恰适装置可由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合到服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文中所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘之类的物理存储介质等)来提供，以使得一旦将该存储装置耦合到或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。

将理解，权利要求并不被限于以上所解说的精确配置和组件。可在上面所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (30)

1.一种用于由节点进行无线通信的方法，包括：

使用自适应学习来确定将用于波束管理规程的一个或多个波束；以及

使用所确定的一个或多个波束来执行所述波束管理规程。

2.如权利要求1所述的方法，进一步包括：

基于反馈或训练信息或其组合来更新用于所述自适应学习的自适应学习算法；以及

使用经更新的自适应学习算法来执行另一波束管理规程。

3.如权利要求2所述的方法，其中所述反馈包括与所述波束管理规程相关联的反馈。

4.如权利要求2所述的方法，其中所述训练信息包括：

通过在一个或多个用户装备(UE)的网络部署之前将所述一个或多个UE部署在一个或多个仿真通信环境中而获取的训练信息；

通过先前在所述一个或多个UE被部署在一个或多个通信环境中时接收到的反馈而获取的训练信息；

来自所述网络、一个或多个UE或云中的至少一者的训练信息；或者

在所述节点在线或空闲中的至少一者时接收到的训练信息；或者

其组合。

5.如权利要求4所述的方法，其中所述训练信息包括在部署所述节点后从不同于所述节点的一个或多个UE接收到的训练信息，其中所述训练信息包括与所述一个或多个UE进行的波束测量相关联的信息、或与由所述一个或多个UE执行的一个或多个波束管理规程相关联的反馈、或其组合。

6.如权利要求4所述的方法，其中所述节点包括UE。

7.如权利要求2所述的方法，其中：

使用所述自适应学习算法包括基于一个或多个输入来输出动作；

所述反馈与所述动作相关联；并且

基于所述反馈来更新所述自适应学习算法包括调整被应用于所述一个或多个输入的一个或多个权重。

8.如权利要求2所述的方法，其中所述自适应学习算法包括自适应机器学习算法；自适应强化学习算法；自适应深度学习算法；自适应连续无限学习算法；或自适应策略优化强化学习算法，或其组合。

9.如权利要求2所述的方法，其中所述自适应学习算法被建模为部分可观察马尔可夫决策过程(POMDP)。

10.如权利要求2所述的方法，其中所述自适应学习算法由人工神经网络实现。

11.如权利要求10所述的方法，其中：

所述人工神经网络包括包含一个或多个深度神经网络(DNN)的深度Q网络(DQN)；并且

使用所述自适应学习来确定所述一个或多个波束包括：

通过所述一个或多个DNN来传递一个或多个状态参数以及一个或多个动作参数；

对于每一状态参数，输出每一动作参数的值；以及

选择与最大输出值相关联的动作。

12.如权利要求10所述的方法，其中更新所述自适应学习算法包括调整与所述人工神经网络中的一个或多个神经元连接相关联的一个或多个权重。

13.如权利要求1所述的方法，其中使用所述自适应学习来确定将用于所述波束管理规程的所述一个或多个波束包括：

基于所述自适应学习来确定要包括在码本中的一个或多个波束；以及

从所述码本中选择将用于所述波束管理规程的一个或多个波束。

14.如权利要求1所述的方法，其中确定将用于所述波束管理规程的所述一个或多个波束包括使用所述自适应学习来从码本中选择将用于所述波束管理规程的一个或多个波束。

15.如权利要求1所述的方法，其中所述自适应学习使用与信道测量相关联的状态参数、与收到信号吞吐量或频谱效率相关联的奖励参数、以及与对与所述信道测量相对应的波束对的选择相关联的动作参数。

16.如权利要求15所述的方法，其中所述信道测量包括参考信号接收功率(RSRP)；频谱效率、信道平坦度、或信噪比(SNR)；或其组合。

17.如权利要求15所述的方法，其中所述收到信号包括物理下行链路共享信道(PDSCH)传输。

18.如权利要求15所述的方法，其中所述奖励参数被抵扣一惩罚量。

19.如权利要求18所述的方法，其中所述惩罚量取决于被测量以用于所述波束管理规程的一个或多个波束的数量。

20.如权利要求18所述的方法，其中所述惩罚量取决于与所述波束管理规程相关联的功耗量。

21.如权利要求15所述的方法，其中所述一个或多个波束用于一个或多个同步信号块(SSB)的传送、接收或这两者。

22.如权利要求15所述的方法，其中使用所确定的一个或多个波束来执行所述波束管理规程包括：

使用所确定的一个或多个波束基于来自基站(BS)的同步信号块(SSB)传输来测量信道，所述SSB传输与所述BS的一个或多个发射波束相关联；以及

选择一个或多个波束对链路(BPL)，所述一个或多个BPL与高于信道测量阈值的一个或多个信道测量；或与所述SSB传输相关联的所有信道测量中的一个或多个最强信道测量；或其组合相关联。

23.如权利要求22所述的方法，其中所确定的一个或多个波束包括可用接收波束的子集。

24.如权利要求22所述的方法，进一步包括：

使用所述一个或多个BPL中的一者来接收物理下行链路共享信道(PDSCH)；

确定与所述PDSCH相关联的吞吐量；

基于所确定的吞吐量来更新所述自适应学习算法；以及

使用经更新的自适应学习算法来确定将用于执行用以选择另一个或多个BPL的另一波束管理规程的另一个或多个波束。

25.一种被配置用于无线通信的节点，包括：

用于使用自适应学习来确定将用于波束管理规程的一个或多个波束的装置；以及

用于使用所确定的一个或多个波束来执行所述波束管理规程的装置。

26.如权利要求25所述的节点，进一步包括：

用于基于反馈或训练信息或其组合来更新用于所述自适应学习的自适应学习算法的装置；以及

用于使用经更新的自适应学习算法来执行另一波束管理规程的装置。

27.如权利要求25所述的节点，其中用于使用所确定的一个或多个波束来执行所述波束管理规程的装置包括：

用于使用所确定的一个或多个波束基于来自基站(BS)的同步信号块(SSB)传输来测量信道的装置，所述SSB传输与所述BS的一个或多个发射波束相关联；以及

用于选择一个或多个波束对链路(BPL)的装置，所述一个或多个BPL与高于信道测量阈值的一个或多个信道测量；或与所述SSB传输相关联的所有信道度量中的一个或多个最强信道测量；或其组合相关联。

28.如权利要求27所述的节点，进一步包括：

用于使用所述一个或多个BPL中的一者来接收物理下行链路共享信道(PDSCH)的装置；

用于确定与所述PDSCH相关联的吞吐量的装置；

用于基于所确定的吞吐量来更新所述自适应学习算法的装置；以及

用于使用经更新的自适应学习算法来确定将用于执行用以选择另一个或多个BPL的另一波束管理规程的另一个或多个波束的装置。

29.一种被配置用于无线通信的节点，包括：

存储器；以及

处理器，所述处理器耦合到所述存储器并被配置成：

使用自适应学习来确定将用于波束管理规程的一个或多个波束；以及

使用所确定的一个或多个波束来执行所述波束管理规程。

30.一种存储计算机可执行代码的非瞬态计算机可读介质，所述计算机可执行代码包括：

用于使用自适应学习来确定将用于波束管理规程的一个或多个波束的代码；以及

用于使用所确定的一个或多个波束来执行所述波束管理规程的代码。

Images