CN112136334A

CN112136334A - 蜂窝网络中基于机器学习的宽波束优化的方法和装置

Info

Publication number: CN112136334A
Application number: CN201980033440.8A
Authority: CN
Inventors: 陈浩; 张建中; 鲁巴耶特·沙芬; 南映瀚
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2018-06-01
Filing date: 2019-05-31
Publication date: 2020-12-25
Also published as: US10505616B1; WO2019231289A1; EP3788814A4; EP3788814A1; US20190372644A1

Abstract

本公开涉及提供一种用于将被提供用于支持比第四代(4G)通信系统(诸如长期演进(LTE))更高数据速率的准第五代(5G)或5G通信系统。本公开涉及一种人工智能(AI)系统及其应用，其使用诸如深度学习的机器学习算法来模拟诸如人脑的识别和判断的功能。提供了一种用于通过具有机器学习的用户设备(UE)测量来控制和优化基站(BS)的广播波束的装置和方法。该装置和方法被配置为：为每个BS选择第一波束；为每个BS发送所选择的波束；经由BS从UE接收第一波束的测量信息；预处理测量结果；使用神经网络或每个BS的表格来给出波束池中的每个广播波束的分数；从神经网络或表格中为每个BS选择具有最高分数的第二波束；基于UE分布模式和射线跟踪数据离线训练神经网络以用于广播波束优化；基于AI分类算法、UE历史测量和位置信息确定典型的UE分布模式；并且基于典型的UE分布模式创建场景特定射线跟踪数据。

Description

蜂窝网络中基于机器学习的宽波束优化的方法和装置

技术领域

为了满足自部署第四代(4G)通信系统以来对无线数据业务增加的需求，已努力开发改进的第五代(5G)或准5G通信系统。因此，5G或准5G通信系统也称为“超4G网络”或“后LTE系统”。

5G通信系统被认为是在更高的频率(mmWave(毫米波))频带(例如，28GHz或60GHz频带)中实现的，以实现更高的数据速率。为了减少无线电波的传播损耗并增加传输距离，在5G通信系统中已经讨论了波束成形、大规模多输入多输出(MIMO)、全维度MIMO(FD-MIMO)、阵列天线、模拟波束成形和大型天线技术。

此外，在5G通信系统中，基于先进小小区、云无线接入网(RAN)、超密集网络、设备到设备(D2D)通信、无线回程、移动网络、协作通信、协作多点(CoMP)、接收端干扰消除等的系统网络改进开发正在进行中。

在5G系统中，已经开发了作为先进编码调制(ACM)的混合频移键控(FSK)和正交幅度调制(QAM)调制(FQAM)和滑动窗口叠加编码(SWSC)，以及作为先进接入技术的滤波器组多载波(FBMC)、非正交多址(NOMA)和稀疏码多址(SCMA)等。

人工智能(AI)系统是一种实现人类水平智能的计算机系统。与传统的基于规则的智能系统不同，AI是一种学习、判断并变得智慧的系统。随着人工智能的使用提高了识别率并更准确地理解用户的品味，现有的基于规则的智能系统逐渐被基于深度的人工智能系统所取代。

人工智能技术包括机器学习(深度学习)和利用机器学习的元素技术。

机器学习(ML)是一种算法技术，它本身可以对输入数据的特征进行分类/学习。元素技术是一种使用诸如深度学习的机器学习算法来模拟人脑的功能(例如，识别和判断)的技术，它包括诸如语言理解、视觉理解、推理/预测、知识表示和运动控制等技术领域。

应用人工智能技术的各个领域如下。语言理解是用于识别、应用/处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、查询响应、语音识别/合成等。视觉理解是一种将对象识别和处理为人类视觉的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解和图像增强。推理/预测是一种用于判断信息、逻辑推理和预测的技术，并且包括基于知识/概率的推理、优化预测、偏好基础规划和推荐。知识表示是一种将人类体验信息自动化为知识数据的技术，包括知识构建(数据生成/分类)和知识管理(数据利用)。运动控制是用于控制车辆的自主行驶和机器人的运动的技术，并且包括运动控制(导航、碰撞、行驶)、操作控制(行为控制)等。

本申请总体上涉及信号报告。更具体地，本公开涉及蜂窝网络中基于机器学习的宽波束优化。

背景技术

在无线通信网络中，通过物理层同步信号和更高的(MAC)层过程使能网络接入和无线资源管理(RRM)。特别地，用户设备(UE)尝试检测同步信号的存在以及用于初始接入的至少一个小区标识(ID)。一旦UE在网络中并且与服务小区相关联，则UE就通过尝试检测它们的同步信号和/或测量相关联的小区特定参考信号(RS)来监视几个相邻小区。对于下一代蜂窝系统，诸如第三代合作伙伴关系-新空口接入或接口(3GPP-NR)，期望高效统一的无线资源获取或跟踪机制，其适用于各种用例，诸如增强型移动宽带(eMBB)、超可靠低延迟(URLLC)、大规模机器类型通信(mMTC)，每个都对应于不同的覆盖需求和具有不同传播损耗的频带。

发明内容

技术方案

本公开的实施例提供了在蜂窝网络中基于机器学习的宽波束优化。

在一个实施例中，提供了一种用户设备(UE)、一种无线通信系统中的用户设备(UE)。所述UE包括：收发器，所述收发器被配置为：经由基站(BS)从中央控制器(CC)接收在测量报告中使用的第一波束的信息；并且经由所述BS向所述CC发送包括所述第一波束的测量结果的所述测量报告。所述CC从包括预定候选波束的候选波束池中的波束集合中选择用于所述BS的所述第一波束，所述波束集合被分配给所述BS；所述CC对与所述候选波束池中的所述波束集合相对应的连续测量结果以及所述第一波束的所述测量结果进行预处理；所述CC基于所述第一波束的所述测量结果计算所述第一波束的波束分数；并且所述CC基于所述波束分数选择第二波束，所述第二波束被确定为所述候选波束池中的所述波束集合中的包括最高分数的波束。

在另一个实施例中，提供了一种无线通信系统中的中央控制器(CC)。所述CC包括：处理器，所述处理器被配置为：从包括预定候选波束的候选波束池中的波束集合中，选择用于每个基站(BS)的第一波束，其中所述波束集合被分配给所述BS；并且指示每个所述基站向属于每个所述基站的用户设备(UE)发送具有由所述UE在测量报告中使用的第一波束的信号。所述CC还包括收发器，所述收发器可操作地连接到所述处理器，所述收发器被配置为：向每个所述BS发送所述第一波束的信息；经由所述BS从所述UE接收包括所述第一波束的测量结果的所述测量报告，其中，所述处理器进一步被配置为：针对每个所述BS，对与所述候选波束池中的所述波束集合相对应的连续测量结果以及所述第一波束的所述测量结果进行预处理；针对每个所述BS，基于所述第一波束的所述连续测量结果，计算所述第一波束的波束分数；并且针对每个所述BS，基于所述波束分数选择第二波束，其中，针对每个所述BS，将所述第二波束确定为所述候选波束池中的所述波束集合中的包括最高分数的波束。

在又一个实施例中，提供了一种在无线通信系统中的中央控制器(CC)的方法。所述方法包括：从包括预定候选波束的候选波束池中的波束集合，选择用于每个基站(BS)的第一波束，其中所述波束集合被分配给所述BS；并且指示每个所述基站向属于每个所述基站的用户设备(UE)发送具有由所述UE在测量报告中使用的第一波束的信号；向每个所述BS发送所述第一波束的信息；经由所述BS从所述UE接收包括所述第一波束的测量结果的所述测量报告；针对每个所述BS，对与所述候选波束池中的所述波束集合相对应的连续测量结果以及所述第一波束的所述测量结果进行预处理；针对每个所述BS，基于所述第一波束的所述连续测量结果，计算所述第一波束的波束分数；并且针对每个所述BS，基于所述波束分数选择第二波束。针对每个所述BS，将所述第二波束确定为所述候选波束池中的所述波束集合中的包括最高分数的波束。

根据以下附图、描述和权利要求，其他技术特征对于本领域技术人员而言将是显而易见的。

在进行下面的具体实施方式之前，阐明整个专利文件中使用的某些单词和短语的定义可能是有利的。术语“耦合”及其派生词是指两个或更多个元素之间的任何直接或间接通信，无论这些元素是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词涵盖直接和间接通信二者。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”是包含性的，意指和/或。短语“与......关联”及其派生词意指包括、被包括在其中、与之互连、包含、被包含在其中、连接到或与之连接、耦合到或与之耦合、与之通信、与之合作、交错、并置、与之接近、与之绑定或结合、具有、具有…的属性、与之有关系等。术语“控制器”是指控制至少一个操作的任何设备、系统或其一部分。此控制器可以以硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是本地或远程的集中式或分布式。短语“至少一个”当与项目列表一起使用时，意指可以使用一个或更多个所列项目的不同组合，并且可能只需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任何一个：A、B、C、A和B、A和C、B和C、以及A和B和C。

此外，以下描述的各种功能可以由一个或更多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并实施在计算机可读介质中。术语“应用”和“程序”是指适于以合适的计算机可读程序代码实现的一个或更多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，其包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质以及可存储数据并随后覆盖数据的介质，诸如可重写光盘或可擦除存储器设备。

贯穿本专利文件提供了其他某些单词和短语的定义。本领域普通技术人员应该理解，在很多实例，即使不是大多数实例，此种定义也适用于此种定义的单词和短语的先前以及未来使用。

附图说明

为了更全面地理解本公开及其优点，现在结合附图参考以下描述，其中相同的附图标记表示相同的部件：

图1示出了根据本公开的实施例的示例无线网络；

图2A示出了根据本公开的实施例的示例eNodeB(eNB)；

图2B示出了根据本公开的实施例的计算系统中的示例服务器；

图3示出了根据本公开的实施例的示例UE；

图4A示出了根据本公开实施例的正交频分多址发送路径的高层图；

图4B示出了根据本公开实施例的正交频分多址接收路径的高层图；

图5示出了根据本公开的实施例的子帧中的物理下行链路共享信道(PDSCH)的发射器框图；

图6示出了根据本公开的实施例的子帧中的PDSCH的接收器框图；

图7示出了根据本公开的实施例的子帧中的物理上行链路共享信道(PUSCH)的发射器框图；

图8示出了根据本公开的实施例的子帧中的PUSCH的接收器框图；

图9示出了根据本公开的实施例的两个切片的示例复用；

图10示出了根据本公开的实施例的示例天线块；

图11示出了根据本公开的实施例的示例系统模型；

图12A示出了根据本公开的实施例的用于优化的方法的流程图；

图12B示出了根据本公开的实施例的用于宽波束的示例框图；

图12C示出了根据本公开的实施例的示例系统图；

图13A示出了根据本公开的实施例的用于在单个小区中进行宽波束合成的方法的流程图；

图13B示出了根据本公开的实施例的示例输入/输出流；

图14A示出了根据本公开的实施例的用于多个小区的波束合成的方法的流程图；

图14B示出了根据本公开的实施例的用于多个小区的示例系统图；

图14C示出了根据本公开的实施例的增益的示例性能；

图15A示出了根据本公开的实施例的用于波束和倾斜优化的方法的流程图；

图15B示出了根据本公开的实施例的在优化之后的连接用户设备(UE)的示例数量；

图16A示出了根据本公开的实施例的示例神经网络；

图16B示出了根据本公开的实施例的具有映射的示例神经网络；

图16C示出了根据本公开的实施例的示例修改神经网络；

图16D示出了根据本公开的实施例的示例实部和虚部神经网络；

图17示出了根据本公开的实施例的用于大规模多输入多输出(MIMO)的示例网络架构；

图18示出了根据本公开实施例的用于离线学习的方法的流程图；

图19示出了根据本公开的实施例的示例UE分布模式学习；

图20示出了根据本公开的实施例的示例场景特定训练数据生成；

图21示出了根据本公开的实施例的示例场景特定射线跟踪数据；

图22示出了根据本公开的实施例的场景特定射线追踪数据的示例生成；

图23示出了根据本公开实施例的用于离线学习/训练的方法的流程图；

图24示出了根据本公开的实施例的在场景特定射线追踪数据与网络优化服务器之间的示例训练信息流；

图25A示出了根据本公开的实施例的具有网络优化服务器的示例大规模MIMO网络；

图25B示出了根据本公开的实施例的具有网络优化服务器的另一示例大规模MIMO网络；

图26示出了根据本公开的实施例的强化学习框架的示例信息流；

图27示出了根据本公开的实施例的示例强化学习(RL)状态生成；

图28示出了根据本公开的实施例的示例状态向量；

图29示出了根据本公开的实施例的用于单个扇区的示例重放存储器；

图30示出了根据本公开的实施例的示例神经网络；

图31示出了根据本公开的实施例的示例深度Q网络(DQN)学习网络；

图32示出了根据本公开的实施例的示例重放存储器结构；

图33A示出了根据本公开的实施例的用于多个扇区的示例深度强化学习(DRL)；

图33B示出了根据本公开的实施例的用于多个小区的示例神经网络架构；

图34示出了根据本公开的实施例的用于多臂强盗(MAB)的方法的流程图；

图35示出了根据本公开的实施例的用于MAB框架的示例控制中心结构；

图36示出了根据本公开的实施例的用于Q学习的方法的流程图；

图37示出了根据本公开的实施例的示例Q学习架构；

图38示出了根据本公开的实施例的示例场景模式；

图39示出了根据本公开的实施例的示例模拟结果；

图40示出了根据本公开的实施例的另一示例场景模式；

图41A示出了根据本公开的实施例的示例模拟结果；

图41B示出了根据本公开的实施例的在覆盖之后的示例奖励；

图41C示出了根据本公开的实施例的在收敛之后每个基站的示例动作；

图41D示出了根据本公开的实施例的在收敛之后每个基站的另一示例动作；以及

图41E示出了根据本公开的实施例的在收敛之后每个基站的又一示例动作。

具体实施方式

下面讨论的图1至图41E以及用于描述本专利文件中的本公开的原理的各种实施例仅是示例性的，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，可以在任何适当布置的系统或设备中实现本公开的原理。

下面的图1至图4B描述了在无线通信系统中并且利用正交频分复用(OFDM)或正交频分多址(OFDMA)通信技术实现的各种实施例。图1-3的描述并不意味着暗示对可以实现不同实施例的方式的物理或架构限制。本公开的不同实施例可以在任何适当布置的通信系统中实现。

图1示出了根据本公开的实施例的示例无线网络。图1所示的无线网络的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用无线网络100的其他实施例。

如图1所示，无线网络包括eNB 101、eNB 102和eNB 103。eNB 101与eNB 102和eNB103通信。eNB 101还与至少一个网络130通信，诸如因特网、专有因特网协议(IP)网络或其他数据网络。

eNB 102为eNB 102的覆盖区域120内的第一多个UE提供接入网络130的无线宽带。第一多个UE包括：UE 111，其可以位于小型企业(SB)中；UE 112，其可以位于企业(E)中；UE113，其可以位于WiFi热点(HS)中；UE 114，其可以位于第一住宅(R)中；UE 115，其可以位于第二住宅(R)中；UE 116，其可以是移动设备(M)，诸如蜂窝电话、无线膝上型计算机、无线PDA等。eNB 103为eNB 103的覆盖区域125内的第二多个UE提供接入网络130的无线宽带。第二多个UE包括UE 115和UE 116。在一些实施例中，一个或更多个eNB 101-103可以使用5G、LTE、LTE-A、WiMAX、WiFi或其他无线通信技术彼此通信并且与UE 111-116通信。

根据网络类型，术语“基站”或“BS”可以指配置为提供对网络的无线接入的任何组件(或组件集合)，诸如发送点(TP)、发送-接收点(TRP)、增强型基站(eNodeB或eNB)、5G基站(gNB)、宏小区、毫微微小区、WiFi接入点(AP)或其他无线使能的设备。基站可以根据一种或更多种无线通信协议(例如，5G 3GPP新空口接口/接入(NR)、长期演进(LTE)、高级LTE(LTE-A)、高速分组接入(HSPA)、Wi-Fi 802.11a/b/g/n/ac等)提供无线接入。为了方便起见，术语“BS”和“TRP”在本专利文件中可互换使用，以指代提供对远程终端的无线接入的网络基础设施组件。此外，根据网络类型，术语“用户设备”或“UE”可以指代任何组件，诸如“移动站”、“用户站”、“远程终端”、“无线终端”、“接收点”或“用户设备”。为了方便起见，在本专利文档中使用术语“用户设备”和“UE”来指代无线接入BS的远程无线设备，无论UE是移动设备(诸如，移动电话或智能手机)还是通常被视为固定设备(诸如，台式计算机或自动售货机)。

虚线表示覆盖区域120和125的大致范围，仅出于例示和说明的目的将其显示为大致圆形。应当清楚地理解，根据eNB的配置以及与自然和人为障碍相关联的无线环境的变化，与eNB相关联的覆盖区域(诸如，覆盖区域120和125)可以具有其他形状，包括不规则形状。

如下面更详细描述的，UE 111-116中的一个或更多个包括电路、程序或其组合，用于在高级无线通信系统中的基于有效机器学习的宽波束优化。在某些实施例中，一个或更多个eNB 101-103包括电路、程序或其组合，用于在高级无线通信系统中接收基于有效机器学习的宽波束优化。

尽管图1示出了无线网络的一个示例，但可以对图1进行各种更改。例如，无线网络可以包括任何合适布置的任意数量的eNB和任意数量的UE。此外，eNB 101可以直接与任何数量的UE通信，并为这些UE提供接入网络130的无线宽带。类似地，每个eNB 102-103可以与网络130直接通信，并为UE提供接入网络130的直接无线宽带。此外，eNB 101、102和/或103可以提供对其他或另外的外部网络(诸如，外部电话网络或其他类型的数据网络)的接入。

图2A示出了根据本公开的实施例的示例eNB 102。图2所示的eNB 102的实施例仅用于说明，并且图1的eNB 101和103可以具有相同或相似的配置。然而，gNB具有多种配置，并且图2A并不将本公开的范围限于eNB的任何特定实现。

如图2A所示，eNB 102包括多个天线205a-205n、多个RF收发器210a-210n、发送(TX)处理电路215和接收(RX)处理电路220。eNB 102还包括控制器/处理器225、存储器230以及回程或网络接口235。

RF收发器210a-210n从天线205a-205n接收输入的RF信号，诸如在网络100中由UE发送的信号。RF收发器210a-210n将输入的RF信号下变频以生成IF或基带信号。IF或基带信号被发送到RX处理电路220，该RX处理电路通过对基带或IF信号进行滤波、解码和/或数字化来生成处理后的基带信号。RX处理电路220将处理后的基带信号发送到控制器/处理器225以进行进一步处理。

TX处理电路215从控制器/处理器225接收模拟或数字数据(诸如，语音数据、网络(web)数据、电子邮件或交互式视频游戏数据)。TX处理电路215对输出基带数据进行编码、复用和/或数字化，以生成处理后的基带或IF信号。RF收发器210a-210n从TX处理电路215接收处理后的输出基带或IF信号，并将基带或IF信号上变频为经由天线205a-205n发送的RF信号。

控制器/处理器225可以包括控制eNB 102的整体操作的一个或更多个处理器或其他处理设备。例如，根据众所周知的原理，控制器/处理器225可以控制RF收发器210a-210n、RX处理电路220和TX处理电路215的前向信道信号的接收和反向信道信号的发送。控制器/处理器225也可以支持附加功能，诸如更高级的无线通信功能。例如，控制器/处理器225可以支持波束成形或定向路由操作，其中对来自多个天线205a-205n的输出信号进行不同地加权，以沿所需的方向有效地导向输出信号。控制器/处理器225可以在eNB 102中支持多种其他功能中的任何一种。

控制器/处理器225还能够执行驻留在存储器230中的程序和其他处理，诸如OS。控制器/处理器225可以根据执行过程的需要将数据移入或移出存储器230。

控制器/处理器225也耦合到回程或网络接口235。回程或网络接口235允许eNB102通过回程连接或通过网络与其他设备或系统通信。接口235可以支持通过任何适当的有线或无线连接的通信。例如，当将eNB 102实施为蜂窝通信系统(诸如，支持5G、LTE或LTE-A的蜂窝通信系统)的一部分时，接口235可以允许eNB 102通过有线或无线回程与其他eNB通信连接。当将eNB 102实施为接入点时，接口235可以允许eNB 102通过有线或无线局域网或通过有线或无线连接与较大的网络(诸如，因特网)通信。接口235包括支持通过有线或无线连接的通信的任何合适的结构，诸如以太网或RF收发器。

存储器230耦合到控制器/处理器225。存储器230的一部分可以包括RAM，并且存储器230的另一部分可以包括闪存或其他ROM。

尽管图2A示出了eNB 102的一个示例，但可以对图2A进行各种更改。例如，eNB 102可以包括任意数量的图2A中所示的每个组件。作为特定示例，接入点可以包括多个接口235，并且控制器/处理器225可以支持路由功能以在不同的网络地址之间路由数据。作为另一特定示例，尽管被示为包括TX处理电路215的单个实例和RX处理电路220的单个实例，但是eNB 102可以包括每个的多个实例(诸如，每个RF收发器一个)。而且，图2A中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需要添加附加组件。

图2B示出了根据本公开的实施例的计算系统中的示例服务器250。如图2B所示，服务器250可以表示图1中的eNB 101、102、103或网络实体(诸如移动性管理实体(MME)、服务网关(S-GW)、移动性交换中心(MSC))、网络代理或数据单元/多输入多输出(DU/MM)等)。

在一个实施例中，服务器250可以被部署为安装在eNB 101、102、103中的内部。在另一实施例中，服务器250可以被部署为用于eNB 101、102、103的外部设备，例如，网络实体(诸如，移动性管理实体(MME)、服务网关(S-GW)和/或移动性交换中心(MSC)或数据单元/多输入多输出(DU/MM)等)。

如图2B所示，服务器250包括总线系统260，该总线系统260支持至少一个处理器252、至少一个存储器254、至少一个通信接口262、至少一个输入/输出(I/O)单元264和至少一个显示器260之间的通信。

处理器252执行可以被加载到存储器256中的指令。处理器252可以包括任何合适布置的任何合适数量和类型的处理器或其他设备。处理器252的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路、分立电路和视频流处理器。在一个实施例中，处理器252可以包括神经网络或连接到神经网络以计算从服务器250的外部(例如，从图1所示的UE和/或BS(例如，eNB或gNB))接收的数据。

存储器256和永久存储装置258是存储设备254的示例，其表示能够存储和促进信息(诸如，临时或永久的数据、程序代码和/或其他合适信息)检索的任何结构。存储器256可以表示随机存取存储器或任何其他合适的易失性或非易失性存储设备。永久存储装置258可以包含支持长期存储数据的一个或更多个组件或设备，诸如只读存储器、硬盘驱动器、闪存或光盘。显示器266可以包括面板、全息图设备或投影仪以显示任意对象(诸如文本、视频、图像、图形和/或其他合适信息)。

通信接口262支持与其他系统或设备的通信。例如，通信接口262可以包括促进在网络100上进行通信的网络接口卡或无线收发器。通信接口262可以支持通过任何适当的物理或无线通信链路的通信。

I/O单元264允许数据的输入和输出。例如，I/O单元264可以提供用于通过键盘、鼠标、小键盘、触摸屏或其他合适的输入设备的用户输入的连接。I/O单元264还可以将输出发送到显示器、打印机或其他合适的输出设备。

注意，虽然将图2B描述为表示图2B的服务器250，但是可以在图1所示的一个或更多个客户端设备111-116中使用相同或相似的结构。例如，膝上型或台式计算机可以具有与图2B所示的相同或相似的结构。这些类型的设备中的任何一种都可以实现服务器250的上述特征。

图3示出了根据本公开的实施例的示例UE 116。图3所示的UE 116的实施例仅用于说明，并且图1的UE 111-115可以具有相同或相似的配置。然而，UE具有各种各样的配置，并且图3不将本公开的范围限于UE的任何特定实现。

如图3所示，UE 116包括天线305、射频(RF)收发器310、TX处理电路315、麦克风320和接收(RX)处理电路325。UE 116还包括扬声器330、处理器340、输入/输出(I/O)接口(IF)345、触摸屏350、显示器355和存储器360。存储器360包括操作系统(OS)361和一个或更多个应用362。

RF收发器310从天线305接收由网络100的eNB发送的输入RF信号。RF收发器310下变频输入的RF信号以生成中频(IF)或基带信号。IF或基带信号被发送到RX处理电路325，该RX处理电路通过对基带或IF信号进行滤波、解码和/或数字化来生成处理后的基带信号。RX处理电路325将处理后的基带信号发送到扬声器330(诸如，用于语音数据)或处理器340以进行进一步处理(诸如，用于网页浏览数据)。

TX处理电路315从麦克风320接收模拟或数字语音数据，或者从处理器340接收其他输出基带数据(诸如，网络数据、电子邮件或交互式视频游戏数据)。TX处理电路315对输出基带数据进行编码、复用和/或数字化，以生成处理后的基带或IF信号。RF收发器310从TX处理电路315接收处理后的输出基带或IF信号，并且将基带或IF信号上变频为经由天线305发送的RF信号。

处理器340可以包括一个或更多个处理器或其他处理设备，并且执行存储在存储器360中的OS 361，以便控制UE 116的整体操作。例如，根据众所周知的原理，处理器340可以控制RF收发器310、RX处理电路325和TX处理电路315的前向信道信号的接收和反向信道信号的发送。在一些实施例中，处理器340包括至少一个微处理器或微控制器。

处理器340还能够执行驻留在存储器360中的其他过程和程序，诸如用于在PUCCH上进行CSI报告的过程。处理器340可以根据执行过程的需要将数据移入或移出存储器360。在一些实施例中，处理器340被配置为基于OS 361或响应于从eNB或运营商接收的信号来执行应用362。处理器340还耦接到I/O接口345，该I/O接口向UE 116提供连接到其他设备(诸如膝上型计算机和手持式计算机)的能力。I/O接口345是这些附件与处理器340之间的通信路径。

处理器340还耦接到触摸屏350和显示器355。UE 116的操作者可以使用触摸屏350将数据输入到UE 116。显示器355可以是液晶显示器、发光二极管显示器或其他能够渲染诸如来自网站的文本和/或至少有限的图形的显示器。

存储器360耦接到处理器340。存储器360的一部分可以包括随机存取存储器(RAM)，并且存储器360的另一部分可以包括闪存或其他只读存储器(ROM)。

尽管图3示出了UE 116的一个示例，但是可以对图3进行各种改变。例如，图3中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需要添加附加组件。作为特定示例，处理器340可以被划分为多个处理器，诸如一个或更多个中央处理单元(CPU)和一个或更多个图形处理单元(GPU)。而且，尽管图3示出了被配置为移动电话或智能电话的UE116，但是UE可以被配置为作为其他类型的移动或固定设备进行操作。

图4A是发送路径电路的高层图。例如，发送路径电路可以用于正交频分多址(OFDMA)通信。图4B是接收路径电路的高层图。例如，接收路径电路可以用于正交频分多址(OFDMA)通信。在图4A和图4B中，对于下行链路通信，发送路径电路可以被实现在基站(eNB)102或中继站中，并且接收路径电路可以被实现在用户设备(例如，图1的用户设备116)中。在其他示例中，对于上行链路通信，接收路径电路450可以被实现在基站(例如，图1的eNB102)或中继站中，并且发送路径电路可以被实现在用户设备(例如，用户设备116)中。

发送路径电路包括信道编码和调制块405、串行并行(S-to-P)块410、大小为N的傅立叶逆变换(IFFT)块415、并行串行(P-to-S)块420、添加循环前缀块425、以及上变频器(UC)430。接收路径电路450包括下变频器(DC)455、去除循环前缀块460、串行并行(S-P)块465、大小为N的快速傅立叶变换(FFT)块470、并行串行(P-to-S)块475，以及信道解码和解调块480。

图4A的400和图4B的450中的至少一些组件可以以软件实现，而其他组件可以通过可配置硬件或软件和可配置硬件的混合来实现。特别地，注意，在本公开文件中描述的FFT块和IFFT块可以被实现为可配置的软件算法，其中大小为N的值可以根据实现来修改。

此外，尽管本公开针对实现快速傅立叶变换和快速傅立叶逆变换的实施例，但这仅是示例性的，并且可能不被解释为限制本公开的范围。可以理解，在本公开的替代实施例中，快速傅立叶变换函数和快速傅立叶逆变换函数可以容易地分别由离散傅立叶变换(DFT)函数和离散傅立叶逆变换(IDFT)函数代替。可以理解，对于DFT和IDFT函数，N变量的值可以是任何整数(即1、4、3、4等)，而对于FFT和IFFT函数，N变量的值可以是2的幂的任何整数(即1、2、4、8、16等)。

在发送路径电路400中，信道编码和调制块405接收一组信息比特，应用编码(例如，LDPC编码)并调制(例如，正交相移键控(QPSK)或正交幅度调制(QAM))输入比特以产生一系列频域调制符号。串行并行块410将串行调制的符号转换(即，解复用)为并行数据以产生N个并行符号流，其中，N是BS 102和UE 116中使用的IFFT/FFT大小。然后，大小为N的IFFT块415对N个并行符号流执行IFFT操作以产生时域输出信号。并行串行块420转换(即，多路复用)来自大小为N的IFFT块415的并行时域输出符号，以产生串行时域信号。然后，添加循环前缀块425将循环前缀插入到时域信号。最终，上变频器430将添加循环前缀块425的输出调制(即，上变频)为RF频率，以经由无线信道进行传输。在转换为RF频率之前，还可以在基带对信号进行滤波。

发送的RF信号在经过无线信道之后到达UE 116，并且执行与eNB 102处的操作相反的操作。下变频器455将接收的信号下变频到基带频率，并且去除循环前缀块460去除循环前缀以产生串行时域基带信号。串行并行块465将时域基带信号转换为并行时域信号。大小为N的FFT块470然后执行FFT算法以产生N个并行频域信号。并行串行块475将并行频域信号转换为一系列调制数据符号。信道解码和解调块480解调然后解码调制符号以恢复原始输入数据流。

eNB 101-103中的每个可以实现类似于在下行链路中向用户设备111-116进行发送的发送路径，并且可以实现类似于在上行链路中从用户设备111-116进行接收的接收路径。类似地，用户设备111-116中的每个可以实现与用于在上行链路中向eNB 101-103进行发送的架构相对应的发送路径，并且可以实现与用于在下行链路中从eNB 101-103进行接收的架构相对应的接收路径。

已经识别并描述了5G通信系统用例。这些用例可以大致分为三个不同的组。在一个示例中，增强型移动宽带(eMBB)被确定为具有高比特/秒(bits/sec)要求，以及不严格的延迟和可靠性要求。在另一个示例中，超可靠和低延迟(URLL)被确定具有不严格的比特/秒要求。在又一个示例中，大型机器类型通信(mMTC)被确定为每平方千米的设备数量可以多达100,000至100万，但是可靠性/吞吐量/延迟要求可以不严格。该方案还可能涉及功率效率要求，因为电池消耗可以被尽可能地最小化。

通信系统包括：下行链路(DL)，其从诸如基站(BS)或NodeB的发送点向用户设备(UE)传送信号；以及上行链路(UL)，其从UE向诸如NodeB的接收点传送信号。UE，通常也称为终端或移动站，可以是固定的或移动的，并且可以是蜂窝电话、个人计算机设备或自动化设备。eNodeB，其一般是固定站，也可以被称为接入点或其他等效术语。对于LTE系统，NodeB通常称为eNodeB。

在诸如LTE系统的通信系统中，DL信号可以包括传送信息内容的数据信号、传送DL控制信息(DCI)的控制信号以及参考信号(RS)，该参考信号也被称为导频信号。eNodeB通过物理DL共享信道(PDSCH)发送数据信息。eNodeB通过物理DL控制信道(PDCCH)或增强型PDCCH(EPDCCH)发送DCI。

eNodeB响应于来自UE在物理混合ARQ指示信道(PHICH)中传输的数据传输块(TB)来发送确认信息。eNodeB发送包括UE公共RS(CRS)、信道状态信息RS(CSI-RS)或解调RS(DMRS)的多种类型的RS中的一种或多种。CRS在DL系统带宽(BW)上传输，并且可由UE使用来获取信道估计以解调数据或控制信息或执行测量。为了减少CRS开销，eNodeB可以在时域和/或频域中以比CRS小的密度发送CSI-RS。DMRS可以仅在相应的PDSCH或EPDCCH的BW中发送，并且UE可以使用DMRS来分别解调PDSCH或EPDCCH中的数据或控制信息。DL信道的传输时间间隔被称为子帧，并且可以具有例如1毫秒的持续时间。

DL信号还包括承载系统控制信息的逻辑信道的传输。当BCCH传送主信息块(MIB)时，BCCH被映射到称为广播信道(BCH)的传输信道，或者当BCCH传送系统信息块(SIB)时，BCCH被映射到DL共享信道(DL-SCH)。大多数系统信息被包括在使用DL-SCH发送的不同SIB中。在子帧中的DL-SCH上的存在系统信息可以通过传送码字的相应PDCCH的传输来指示，该码字具有使用用特殊系统信息RNTI(SI-RNTI)加扰的循环冗余校验(CRC)。替代地，可以在较早的SIB中提供用于SIB传输的调度信息，并且可以由MIB提供用于第一SIB(SIB-1)的调度信息。

DL资源分配以子帧和一组物理资源块(PRB)为单位执行。传输BW包括被称为资源块(RB)的频率资源单元。每个RB包括N_sc ^RB个子载波或资源粒子(RE)，诸如12个RE。在一个子帧上的一个RB的单元被称为PRB。UE可以针对总共M_sc ^PDSCH＝M_PDSCH·N_sc ^RB个RE被分配M_PDSCH个RB，以用于PDSCH传输BW。

UL信号可以包括传送数据信息的数据信号、传送UL控制信息(UCI)的控制信号和UL RS。UL RS包括DMRS和探测RS(SRS)。UE仅在相应的PUSCH或PUCCH的BW中发送DMRS。eNodeB可以使用DMRS解调数据信号或UCI信号。UE发送SRS以向eNodeB提供UL CSI。UE通过相应的物理UL共享信道(PUSCH)或物理UL控制信道(PUCCH)发送数据信息或UCI。如果UE需要在相同的UL子帧中发送数据信息和UCI，则UE可以在PUSCH中对两者进行复用。UCI包括：混合自动重传请求确认(HARQ-ACK)信息，其指示PDSCH中数据TB的正确(ACK)或不正确(NACK)检测)或缺少PDCCH检测(DTX)；调度请求(SR)，其指示UE在UE的缓冲区是否具有数据；秩指示符(RI)；以及信道状态信息(CSI)，其使能eNodeB执行链路自适应以用于向UE的PDSCH传输。UE还响应于检测到指示释放了半持久调度的PDSCH的PDCCH/EPDCCH而发送HARQ-ACK信息。

UL子帧包括两个时隙。每个时隙包括用于发送数据信息、UCI、DMRS或SRS的N_symb ^UL符号。UL系统BW的频率资源单元是RB。UE针对总共N_RB·N_sc ^RB个RE被分配了N_RB个RB用于传输BW。对于PUCCH，N_RB＝1，最后一个子帧符号可以用于多路复用来自一个或更多个UE的SRS传输。可用于数据/UCI/DMRS传输的子帧符号的数量是N_symb＝2(N_symb ^UL-1)-N_SRS，其中，如果最后一个子帧符号用于发送SRS，则N_SRS＝1；否则，N_SRS＝0。

图5示出了根据本公开的实施例的用于子帧中的PDSCH的发射器框图500。图5所示的发射器框图500的实施例仅用于说明。图5不将本公开的范围限制为发射器框图500的任何特定实现。

如图5所示，信息比特510由编码器520(诸如，Turbo编码器)编码，并由调制器530调制，例如使用正交相移键控(QPSK)调制。串行并行(S/P)转换器540生成M个调制符号，其随后被提供给映射器550，以被映射到由传输BW选择单元555选择的RE，以用于分配的PDSCH传输BW，单元560应用快速傅立叶逆变换(IFFT)，然后该输出由并行串行(P/S)转换器570串行化来创建时域信号，由滤波器580进行滤波，并发送信号590。诸如数据加扰、循环前缀插入、时间窗口、交错等其他功能在本领域中是众所周知的，为简洁起见未示出。

图6示出了根据本公开的实施例的用于子帧中的PDSCH的接收器框图600。图6所示的图600的实施例仅用于说明。图6不将本公开的范围限于图600的任何特定实现。

如图6所示，接收的信号610由滤波器620滤波，用于分配的接收BW的RE 630由BW选择器635选择，单元640应用快速傅里叶变换(FFT)，输出是由并行串行转换器650串行化的。随后，解调器660通过应用从DMRS或CRS(未示出)获得的信道估计来对数据符号进行相干解调，并且解码器670(诸如turbo解码器)对解调后的数据进行解码以提供信息数据比特680的估计。为简洁起见，未显示其他功能，例如时间窗口、循环前缀去除、解扰、信道估计和解交错。

图7示出了根据本公开的实施例的用于子帧中的PUSCH的发射器框图700。图7所示的框图700的实施例仅用于说明。图7不将本公开的范围限制为框图700的任何特定实现。

如图7所示，信息数据比特710通过编码器720(诸如Turbo编码器)编码，并通过调制器730调制。离散傅立叶变换(DFT)单元740对调制后的数据比特应用DFT，与分配的PUSCH传输BW对应的RE 750由传输BW选择单元755选择，单元760应用IFFT，并且在循环前缀插入之后(未示出)，通过滤波器770应用滤波并发送780信号。

图8示出了根据本公开的实施例的用于子帧中的PUSCH的接收器框图800。图8所示的框图800的实施例仅用于说明。图8不将本公开的范围限制为框图800的任何特定实现。

如图8所示，接收的信号810被滤波器820滤波。随后，在循环前缀(未示出)被去除之后，单元830应用FFT，与分配的PUSCH接收BW相对应的RE 840由接收BW选择器845选择，单元850应用逆DFT(IDFT)，解调器860通过应用从DMRS(未示出)获得的信道估计来对数据符号进行相干解调，解码器870(诸如，Turbo解码器)解码解调后的数据以提供信息数据比特880的估计。

在下一代蜂窝系统中，除了LTE系统的性能之外，还预想了各种用例。被称为5G或第五代蜂窝系统的，能够在6GHz以下和6GHz以上(例如，在毫米波范围(regime)内)运行的系统成为要求之一。在3GPP TR22.891中，已经识别并描述了74个5G用例；这些用例可以大致分为三个不同的组。第一组被称为“增强型移动宽带(eMBB)”，其针对具有较不严格的延迟和可靠性要求的高数据速率服务。第二组称为“超可靠和低延迟(URLL)”，其针对具有较不严格的数据速率要求但对延迟的低容忍度的应用。第三组被称为“大规模MTC(mMTC)”，其针对具有较不严格的可靠性、数据速率和延迟要求的大量低功率设备连接，诸如每平方千米100万。

为了使5G网络支持具有不同服务质量(QoS)的此类多样化服务，已经在LTE规范中确定了一个方案，称为网络切片。为了有效地利用PHY资源并在DL-SCH中复用各种切片(使用不同的资源分配方案、数字和调度策略)，利用了灵活且自成体系的帧或子帧设计。

图9示出了根据本公开的实施例的两个切片900的示例复用。图9所示的两个切片900的复用实施例仅用于说明。图9不将本公开的范围限于两个切片900的复用的任何特定实现。

在图9中描绘了在公共子帧或帧内复用两个切片段的两个示例性实例。在这些示例性实施例中，切片可以由一个或两个传输实例组成，其中一个传输实例包括控制(CTRL)组件(例如，920a、960a、960b、920b或960c)和数据组件(例如，930a、970a、970b、930b或970c)。在实施例910中，两个切片在频域中被复用，而在实施例950中，两个切片在时域中被复用。这两个切片可以用不同的数字命理学集合传输。

LTE规范支持多达32个CSI-RS天线端口，这些端口使eNB能够配备大量天线元件(诸如，64或128)。在这种情况下，多个天线元件被映射到一个CSI-RS端口上。对于诸如5G的下一代蜂窝系统，CSI-RS端口的最大数量可以保持相同或增大。

图10示出了根据本公开的实施例的示例天线块1000。图10所示的天线模块1000的实施例仅用于说明。图10不将本公开的范围限于天线块1000的任何特定实现。

对于毫米波(mmWave)频带，尽管对于给定的形状因数，天线元件的数量可能较大，但由于硬件限制(在毫米波频率上安装大量ADC/DAC的可行性)，CSI-RS端口的数量(其可以对应于数字预编码端口的数量)易于受到限制，如图10所示。在这种情况下，一个CSI-RS端口被映射到大量天线元件上，这些天线元件可以由一组模拟移相器控制。一个CSI-RS端口然后可以对应于一个子阵列，该子阵列通过模拟波束成形生成窄的模拟波束。通过改变跨符号或子帧的移相器组，可以将该模拟波束配置为扫过更大的角度范围。子阵列的数量(等于RF链的数量)与CSI-RS端口N_CSI-PORT的数量相同。数字波束成形单元跨N_CSI-PORT模拟波束执行线性组合，以进一步增加预编码增益。尽管模拟波束是宽带的(因此不是频率选择性的)，但数字预编码可以跨子频带或资源块变化。

在3GPP LTE通信系统中，通过物理层同步信号和更高的(MAC)层过程来使能网络接入和无线资源管理(RRM)。具体地，UE尝试检测同步信号的存在以及用于初始接入的至少一个小区ID。一旦UE进入网络并与服务小区相关联，则UE就会通过尝试检测它们的同步信号和/或测量相关联的小区特定RS(例如，通过测量其参考信号接收功率(RSRP))来监视多个相邻小区。对于诸如3GPP NR(新空口接入或接口)的下一代蜂窝系统，期望适用于各种用例(诸如eMBB、URLLC、mMTC，每个对应于不同的覆盖要求)和频带(具有不同的传播损耗)的有效且统一的无线资源获取或跟踪机制。还期望最可能设计为具有不同的网络和无线资源范式、无缝和低延迟的RRM。在设计接入、无线资源和移动性管理框架时，这些目标至少引起以下问题。

首先，由于NR可能支持甚至更多样化的网络拓扑，因此小区的概念可以被重新定义或用另一无线资源实体代替。作为示例，对于同步网络，类似于LTE规范中的COMP(协作多点传输)场景，一个小区可以与多个TRP(发送接收点)相关联。在这种情况下，无缝移动性是期望的特征。

其次，当利用大型天线阵列和波束成形时，根据波束定义无线资源(尽管可能有不同的称呼)可以是一种自然方法。鉴于可以利用多种波束成形架构，因此期望一种适应各种波束成形架构(或，相反地，与波束成形架构无关)的接入、无线资源和移动性管理框架。

增大的移动网络密度以及对更高数据速率的需要，使得系统运行和维护在工作负载和成本方面更具挑战性，尤其是在小型蜂窝和异构网络中。有鉴于此，自组织网络(SON)构成了一种新颖的方法，其可以使运营商减少网络规划中涉及的手动干预的量。在SON中，调整天线波束宽度和电子倾斜(e-tilt)角以创建宽公共波束是主要特征之一。宽公共波束可以能够提供所连接小区的宽覆盖，同时减少对相邻小区的干扰。换句话说，宽波束可以能够适应小区环境和UE分布。在本公开的一些实施例中，宽波束可以被称为公共波束。公共波束可以是这样的波束，该波束被应用到对多个端子来说是公共的信号。例如，基站可以使用公共波束来发送CRS。此外，例如，基站可以使用公共波束发送用于PBCH(或SS/PBCH)的信号。另外，例如，基站可以使用公共波束来发送系统信息。

传统地，宽公共波束合成是通过小区优化间接完成的，其试图解决以下问题：根据给定的辐射图案合成宽波束。然而，考虑到实际的移动环境(诸如，建筑物阻塞等)，此方法可能无法直接改进小区覆盖性能。近来，已经应用机器学习工具来提高SON的性能。

模糊Q学习被应用于调整蜂窝网络中的电子倾斜角。应用多臂强盗方法来调整小小区中的电子倾斜角和发送功率。然而，这些方案不能直接合成宽波束，且这些方案只专注于调整电子倾斜和功率。

在本公开中，新算法被应用于合成宽公共波束，其可以直接优化静态移动环境中的小区覆盖。此外，在一个实施例中，在动态小区环境中提供了可以联合调整天线波束宽度和电子倾斜角以改进小区覆盖的多臂强盗算法。所设计的算法基于UE测量，并且不需要人工干预。在本公开中，初始模拟结果表明，我们设计的算法在静态环境下可以将小区覆盖率提高79％～116％。据我们所知，这是第一项尝试使用机器学习在蜂窝网络中合成宽公共波束的工作。

图11示出了根据本公开的实施例的示例系统模型1100。图11所示的系统模型1100的实施例仅用于说明。图11不将本公开的范围限于任何特定实施方式。

图11示出了由M个BS和N个UE组成的典型蜂窝网络。假设BS被配置有一个天线阵列，该天线阵列的相位可以被配置成使得可以合成不同的阵列波束宽度和电子倾斜角。在本公开中，重点在于调整阵列相位并且扩展为调整相位和幅度二者仍然是我们未来的工作。根据各种实施例，无线网络中的设备可以基于机器学习算法为小区识别最佳天线波束权重。机器学习算法定义为各种类型。机器学习的第一类型是监督学习。机器学习的第二类型是无监督学习。机器学习的第三类型是强化学习。在下文中，将基于强化学习来描述本公开，但是一些实施例不限于此。

负责天线配置的代理可以为小区选择适当的天线波束权重。

该选择行为被称为强化学习中的动作。在下文中，定义用于强化学习的术语。传统算法是在给出数据的静态环境中学习的。“强化学习”对给定的“状态”采取“动作”，并在获得“奖励”时继续学习。

“代理”识别现实状态，并选择“动作”或使可选动作中的补偿最大化的动作顺序。换句话说，代理执行学习以最大化补偿。即，强化学习的操作可以包括在动态状态收集数据的过程。“强化学习”的示例是Q学习。Q学习可以与深度学习相结合，称为“深度Q网络(DQN)”。

小区可以使用由代理决定的宽公共波束来发送小区特定信号。UE可以收集测量结果(例如，参考信号接收功率(RSRP)或参考信号接收质量(RSRQ))等，并且将其报告给代理以作为对移动环境的观察。代理可以导出先前动作的奖励(例如，连接的UE的数量)。

奖励反映了代理动作如何影响网络性能并帮助代理学习移动环境。然后，基于累积的奖励，代理选择新的动作，即新的天线权重，以潜在地改进小区覆盖。

认为应用了两种应用场景，例如，假设UE是静态的静态场景和假设UE根据某种移动性模式移动的动态场景。假定每个UE以最高接收功率连接到BS。如果接收到的信号与干扰加噪声比(SINR)高于阈值T，则假设UE已被连接。

在一个实施例中，提供了一种解决静态环境中的宽波束合成的方案。在静态场景中，来自UE的连续测量可以具有相似的值。在这种情况下，可以使用遗传算法对天线波束权重进行微调。具体地，对于每次迭代，代理可以生成天线波束权重集合。波束权重集合包括小区的波束权重。在接收到权重之后，每个BS可以使用新的宽公共波束来发送小区特定信号，并且从UE接收测量结果。然后，代理可以通过遗传算法中的突变和交叉操作来选择性能更好的天线权重来生成新的天线权重。表1中的下面算法1概括了详细的算法。

表1：天线选择算法

在上述算法1中，假设小区可以同步调整其波束权重。这可以减少算法的收敛时间，同时该联合优化可以通过考虑其他小区的干扰来进一步提高网络覆盖范围。一种容易的扩展是以一种逐小区方式优化的方法实现算法1。关于算法1的细节还在图12A中被捕获。

图12A示出了根据本公开的实施例的用于优化的方法1200的流程图。图12A所示的方法1200的实施例仅用于说明。图12A不将本公开的范围限制为任何特定实施方式。该实施例的优点是射线跟踪不是该系统中所必须的。在部署天线后，整个系统即可以工作。

如图12A所示，方法1200在步骤1202开始。在步骤1202中，方法1200初始化小区的天线权重集合的生成。在步骤1204，代理将波束权重发送到每个小区。在步骤1206中，所有BS使用新的天线波束权重发送小区特定信令。BS在步骤1208中接收UE测量并将测量报告给代理。在步骤1210中，代理针对天线波束权重集合计算连接的UE的数量。代理1212根据连接的UE的数量选择最佳的K个天线权重。在步骤1214中，代理通过交叉和突变操作来再生新一代权重。方法1200在步骤1206中确定是否满足停止条件。如果满足停止条件，则在步骤1218中确定来自当前一代的最佳天线权重。在步骤1216中，如果不满足停止条件，则方法1200开始步骤1206。

在一个实施例中，描述了用于初始小区规划的宽波束合成方法。该系统的输入是射线跟踪数据，其中从UE到每个路径的基站的接收功率以及AoA、AoD、ZoA和ZoD等都是已知的。在一个实施例中，不需要UE将其测量结果报告给控制中心。UE的性能可以通过射线跟踪数据来估计出。该实施例可以为单小区情况和多小区情况提供宽波束结果。系统的输出可以是每个小区的最佳宽波束权重。通常，“射线跟踪”是一种用于通过在像平面中按像素跟踪光的路径并模拟其与虚拟对象相遇的效果来生成图像的渲染技术。通过使用“射线跟踪”算法获得宽波束，可以在波束形成环境下实现更准确的3D维分析。

系统图可能看起来像下面的图12B和图12C。图表的输入可以是射线跟踪结果，包括每路径的AoA、AoD、ZoA、ZoD等。然后，这些数据可用于计算路径损耗。基于路径损耗和射线跟踪数据，算法实施例可以生成宽波束。这些宽波束可以是波束宽度，包括方位角波束宽度、仰角波束宽度、倾斜度和角度。在另一个实施例中，输出可以是波束权重。

图12B示出了根据本公开的实施例的用于宽波束的示例框图1250。图12B所示的框图1250的实施例仅用于说明。图12B不将本公开的范围限于任何特定实施方式。

图12B示出了信息流。射线跟踪实体可以提供射线跟踪数据以用于路径损耗计算。接下来，路径损耗计算实体将路径损耗数据提供给宽波束生成实施例。然后，基于该射线跟踪数据，宽波束生成模块可以为每个基站生成小区特定宽波束。

图12C示出了根据本公开的实施例的示例系统图1270。图12C所示的系统图1270的实施例仅用于说明。图12C不将本公开的范围限于任何特定实施方式。

图12C示出了信息流。射线追踪实体可以向宽波束生成实施例提供射线追踪数据或路径损耗。然后，基于该射线跟踪数据，宽波束生成模块可以为每个基站生成小区特定宽波束。

在一个实施例中，射线追踪数据被认为是计算小区的性能度量。性能度量可以是百分之X的SINR，此处X可以是0到100之间的任何实数。例如，X可以是5、50或90。在另一个示例中，性能度量可以是其SINR或接收功率或RSRP大于阈值的用户的数量。然后，该方案可以采用所计算的性能度量来查看该方案是否满足收敛条件。收敛条件可以是先前的Y个连续性能度量之间的差异保持不变或在某个阈值Z内。在另一个示例中，条件可以是达到最大迭代次数。如果不满足收敛条件，则该实施例可以选择最高的K个权重，对其交叉和突变以再生新一代的权重。流程图的一个示例在图13A中示出。在一些实施例中，性能度量可以被称为波束分数，该波束分数是识别多个波束(称为“波束池”)中的至少一个最佳公共波束的标准。

图13A示出了根据本公开的实施例的用于在单个小区中进行宽波束合成的方法1300的流程图。图13A所示的方法1300的实施例仅用于说明。图13A不将本公开的范围限制为任何特定实施方式。

如图13A所示，方法1300在步骤1302开始。在步骤1302中，方法1300初始化天线权重的生成。在步骤1304中，方法1300计算性能度量。在步骤1306中，方法1300确定算法是否收敛到计算结果。如果收敛到，则方法1300在步骤1308中停止。如果在步骤1306中未收敛到，则方法1300在步骤1310中根据性能度量选择最佳K个权重。在步骤1312中，方法1300通过对所选择的K个权重进行交叉和突变操作来再生新一代的权重。方法1300在步骤1314中计算性能度量，然后方法1300重复步骤1306。

图13B示出了根据本公开的实施例的示例输入/输出流1350。图13B所示的输入/输出流1350的实施例仅用于说明。图13B不将本公开的范围限制为任何特定实施方式。

图13B示出了单小区波束合成的输入和输出关系。该图的输入是射线跟踪数据或可以计算从基站到每个UE的路径损耗的任何数据。该图的输出是天线波束权重。

在一个实施例中，优化针对多个小区的宽波束。处理器或服务器可以将射线跟踪数据作为输入，并输出每个小区的波束权重。波束权重可以仅是相位调谐波束权重，即权重具有相同的幅度，或者波束权重可以是仅幅度调谐波束权重，或者波束权重的幅度和相位都不同。

图14A示出了根据本公开实施例的用于多小区的波束合成的方法1400的流程图。图14A所示的方法1400的实施例仅用于说明。图14A不将本公开的范围限于任何特定实施方式。

如图14A所示，方法1400在步骤1402开始。在步骤1402中，方法1400初始化小区的天线权重的生成。在步骤1404中，方法1400计算每个UE关于每个小区的接收功率。在步骤1406中，方法1400将UE附连到它们的服务小区并且将其他小区视为干扰小区，并且为每个附连的小区中的每个UE计算SINR。在步骤1408中，方法1400确定算法是否收敛了步骤1406的结果。在步骤1408中，如果收敛，则该方法在步骤1410中停止。在步骤1412中，方法1400根据性能度量来选择最佳的K个权重。在步骤1414中，方法1400通过对所选择的K个权重进行交叉和突变操作来再生新一代的权重。在步骤1416中，方法1400计算性能度量，然后执行步骤1408。

图14B示出了根据本公开的实施例的用于多个小区的示例系统图1450。图14B所示的系统图1450的实施例仅用于说明。图14B不将本公开的范围限制为任何特定实施方式。

图14C示出了根据本公开的实施例的性能增益1470的示例。图14C所示的性能增益1470仅用于说明。图14C不将本公开的范围限于任何特定实施方式。

在图14C中，示出了性能增益以证明所提供实施例的有效性。如图14C所示，就连接的UE的数量而言，实现了超过50％的性能增益。

在一个实施例中，从波束池中为基站设计和优化波束和倾斜角。该实施例的输入是射线跟踪数据，包括AoA、AoD、ZoA和ZoD、每条路径的功率等。该实施例的输出是天线波束宽度和倾斜角。

在获得每个用户的射线跟踪数据或等效的路径损耗之后，该实施例可以从波束池中选择波束。然后，该实施例可以计算基站的关键性能指标(KPI)，以查看该选择的波束是否可以通过KPI要求。该实施例可以选择可以通过KPI要求并且具有最大性能度量的波束。性能度量的一个示例可以是连接的UE的数量或百分之X的SINR，其中X可以是0到100之间的任何值。

图15A示出了根据本公开的实施例的用于波束和倾斜优化的方法1500的流程图。图15A所示的方法1500的实施例仅用于说明。图15A不将本公开的范围限于任何特定实施方式。

如图15A所示，方法1500在步骤1502开始。在步骤1502中，方法1500进行初始化以获得射线数据和候选波束池，并且将候选波束初始化为输出波束。在步骤1504中，方法1500确定波束池是否为空。在步骤1506中，方法1500输出候选波束。在步骤1508中，方法1500从宽波束池中选择候选倾斜和波束形状。在步骤1510中，方法1500计算关键性能指标和性能度量。在步骤1512中，方法1500确定所选择的波束是否通过KPI。在步骤1512中，如果所选波束未通过KPI，则方法1500在步骤1514中从波束池中移除波束。在步骤1512中，如果所选波束通过了KPI，则方法1500在步骤1516中确定所选波束与候选波束相比是否具有更好的性能。在步骤1516中，如果所选择的波束比候选波束具有更好的性能，则方法1500在步骤1518中用所选择的波束替换候选波束，然后执行步骤1514。在步骤1516中，如果所选择的波束不具有比候选波束更好的性能，则方法1500执行步骤1514。

图15B示出了根据本公开的实施例的在优化1550之后的所连接的UE的示例数量。图15B所示的优化1550之后的已连接UE的数量的实施例仅用于说明。图15B不将本公开的范围限于任何特定实施方式。

图15B示出了通过调整倾斜角来优化连接的UE的数量的一个示例。从图中可以看出，具有2度的电子倾斜可以提供最佳数量的已连接UE。

在一个实施例中，使用神经网络来计算最佳波束。该实施例的输入是射线跟踪数据，并且该实施例的输出可以是波束权重。使用神经网络的原因是降低复杂性同时保持性能。神经网络的输出可以是向量，并且向量的每个元素可以从0到1。采用策略梯度算法来更新波束权重。

在此种实施例中，一旦实施例获得了射线追踪数据，就计算路径损耗。然后，该实施例可以从神经网络获得输出，并将该输出视为波束权重。然后，该实施例可以计算网络的连接指示符。连接指示符可以是基于接收的功率或接收的SINR。或者，基于接收的功率和SINR与阈值的比较，连接指示器可以是二进制的。关于神经网络的结构的细节在图16A中示出。

图16A示出了根据本公开的实施例的示例神经网络1600。图16A所示的神经网络1600的实施例仅用于说明。图16A不将本公开的范围限于任何特定实施方式。

在另一种方法中，神经网络的输出到波束权重之间存在映射。映射函数可以将[0，1]中的值映射为复数。映射的一个示例可以是f(x)＝e^(2*pi*x)。

图16B示出了根据本公开的实施例的具有映射的示例神经网络1620。图16B所示的具有映射1620的神经网络的实施例仅用于说明。图16B不将本公开的范围限制为任何特定实施方式。

在另一个实施例中，神经网络的输出层被修订并引出(tailed)了我们的仅相位调谐的问题。倒数第二层由具有f(x)＝e^j2πxw函数的神经组成，在这种情况下，神经网络的输出可以直接是波束权重。

图16C示出了根据本公开的实施例的示例修订神经网络1640。图16C所示的修订神经网络1640的实施例仅用于说明。图16C不将本公开的范围限于任何特定实施方式。

在另一个实施例中，存在两个神经网络，其中一个神经网络输出权重的实部，而另一个神经网络输出神经网络的虚部，如图16D所示。

图16D示出了根据本公开的实施例的示例实虚神经网络1660。图16D所示的实虚神经网络1660的实施例仅用于说明。图16D不将本公开的范围限制为任何特定实施方式。

初始结果表明，与遗传算法相比，使用神经网络可以实现98.9％的性能。与遗传算法相比，复杂度降低了三分之二。

在一个实施例中，在动态场景中考虑了一种用于宽波束的合成方案。在动态场景中，UE分布可以根据某些移动性模式而改变。在这种情况下，最佳波束权重可能会不时地变化。因此，一方面，代理需要基于当前和历史测量来利用最佳天线权重。另一方面，由于UE移动性，代理仍然需要探测更好的波束权重。为了解决这个问题，开发了一种基于多臂强盗(MAB)中的上限置信度(UCB)算法的新算法。

表2显示了关于三小区蜂窝网络的初始结果。每个小区都配备一个4×4天线阵列。天线元件之间的水平距离是0.5个波长，而天线元件之间的竖直距离是1.48个波长。基于射线追踪结果计算每个UE的接收功率。常规方法作为基准，其中合成了90度方位角波束，并将波束权重应用于小区。如结果所示，如果在SINR阈值为-6dB时针对小区一起优化波束权重，则连接的UE数量将提高79％。当SINR阈值为0dB时，就连接的UE而言，我们的算法1可以实现116％的更高增益。

表2：初始结果

在本公开中，新的方案和系统被设计为选择可以直接优化动态移动环境中的小区覆盖的宽公共波束。开发了一种用于单扇区动态环境的基于深度强化学习的宽波束选择算法的系统。该系统可以联合地调整天线波束宽度和电子倾斜角，以改进动态小区环境中的小区覆盖。另外，开发了用于收集UE分发信息的方案。该UE分布信息还用于训练神经网络。此外，开发了一种用于多扇区情况下的宽波束选择的系统，其中动作空间的大小仅线性增长，而不是随扇区数量呈指数增长。

要注意，所设计的算法是基于UE测量的，并且不需要人工干预。初始模拟结果表明，对于单扇区动态环境，所提供的算法可以与Oracle性能完全收敛。此外，对于多扇区动态环境，所提供的算法可以成功跟踪多小区动态场景中的最佳宽波束。

图17示出了根据本公开的实施例的用于大规模MIMO的示例性网络架构1700。图17所示的网络架构1700的实施例仅用于说明。图17不将本公开的范围限制为任何特定实施方式。

图17示出了根据本公开的一些实施例的支持大规模MIMO发送和接收的网络架构。数据单元(DU)将回程接口连接到IP网络，以及支持的多个大规模MIMO(多输入多输出)单元(MMU)。DU配备了调制解调器、数字信号处理器(DSP)、FPGA(现场可编程门阵列)和存储单元中的至少一个，处理信息比特以生成中间信号并将其传递给MMU，使得中间信号被转换成MMU中的无线电信号。无线电信号通过包含MMU的大型MIMO天线发送。MMU还可能具有处理能力，在这种情况下，除了RF(射频)硬件和大规模MIMO天线之外，MMU还可以包括调制解调器、数字信号处理器(DSP)、FPGA(现场可编程门阵列)和存储单元。

在一个实施例中，考虑了使用强化学习框架的宽波束选择问题。该实施例包括两个部分，诸如离线训练和在线部署。离线训练部分是从历史数据中学习UE分布模式，并在UE分布模式上教导神经网络。在获得典型的UE分布模式之后，这些模式与射线跟踪数据一起可以用于训练深度强化学习网络。训练完神经网络后，可以将其部署为在线为网络提供波束引导。

图18示出了根据本公开的实施例的用于离线学习的方法1800的流程图。图18所示的方法1800的实施例仅用于说明。图18不将本公开的范围限于任何特定实施方式。

如图18所示，方法1800在步骤1802开始。在步骤1802中的方法1800学习典型的UE分布模式。在步骤1804中，方法1800利用UE分布模式和射线跟踪数据来训练深度强化学习(DRL)。

在一个实施例中，典型的UE分布模式是从历史数据中获知的。在此种实施例中，UE向云或基站报告测量到的UE的RSRP、RSRQ、SINR、时间戳和位置信息。对于特定的时间快照，云或基站可以具有在该时间快照处的测得的指示UE分布的热图。随着时间积累，云或基站可以具有该热图的历史。在第一方法中，每个热图可以表示典型的场景。可替代地，这里可以使用分类或聚类方法来从热图获得N种典型情况。例如，此处可以使用K均值或其他聚类方法将整个数据集分类成N个典型的热图。所选的热图称为典型热图，相应的场景称为典型场景。

图19示出了根据本公开的实施例的示例UE分布模式学习1900。图19所示的UE分布模式学习1900的实施例仅用于说明。图19不将本公开的范围限于任何特定实施方式。

在获得典型场景(即，UE分布的典型位置)之后，可以创建训练数据集。创建训练数据集的一种方法是使用射线跟踪数据。射线跟踪数据可以包括环境的完整信息，例如角度信息、位置信息和信道信息。完整的射线跟踪数据可以包括所选区域中的每个采样点。然而，完整数据可能不一定反映真实的UE分布信息。在获取典型场景之后，可以通过创建场景特定射线跟踪数据来缩小完整的射线跟踪数据。

在场景特定射线跟踪数据中，仅选择UE分布模式中的点/位置。图20示出了生成场景特定训练数据的过程。图21示出了生成场景特定射线追踪数据的一个实施示例。生成场景特定射线跟踪数据的完整过程如图22所示。

图20示出了根据本公开的实施例的示例场景特定训练数据生成2000。图20所示的特定场景训练数据生成2000的实施例仅用于说明。图20不将本公开的范围限于任何特定实施方式。

图21示出了根据本公开的实施例的示例场景特定射线追踪数据2100。图21所示的场景特定射线追踪数据2100的实施例仅用于说明。图21不将本公开的范围限于任何特定实施方式。

图22示出了根据本公开的实施例的场景特定射线追踪数据2200的示例生成。图22中示出的场景特定射线追踪数据2200的生成的实施例仅用于说明。图22不将本公开的范围限制为任何特定实施方式。

使用此场景特定射线跟踪数据，可以训练深度强化学习网络。训练DRL的一个示例过程如下：云为该扇区选择宽波束；扇区中的每个UE可以计算在该宽波束下的接收功率或SINR，并根据测量数据反馈奖励。对于离线训练，测量是针对场景特定射线跟踪数据进行的。例如，基于场景特定射线跟踪数据中包含的信道信息来计算接收功率或SINR。在离线训练期间，可以根据场景中UE的接收功率或SINR来计算奖励。

在获得奖励之后，DRL网络可以调整神经权重并为场景选择波束等。离线训练过程可以在如图23所示的下面流程中找到。在服务器和场景特定射线跟踪数据之间的训练过程的信息流可以在图24中找到。

图23示出了根据本公开实施例的用于离线学习/训练的方法2300的流程图。图23所示的离线学习/训练方法2300的实施例仅用于说明。图23不将本公开的范围限制为任何特定实施方式。

如图23所示，方法2300开始于步骤2302。在步骤2304中，方法2300确定算法的收敛。在步骤2304中，如果算法收敛，则方法2300在步骤2306中停止。在步骤2304中，如果方法2300未收敛，则方法2300在步骤2308中根据历史数据选择UE分布。在步骤2310中，方法2300根据Q值为扇区选择最佳波束。在步骤2312中，UE根据场景特定射线追踪数据进行测量，并且根据测量数据获得奖励。在步骤2314中，DRL基于学习算法和奖励来更新其权重。

图24示出了根据本公开的实施例的在场景特定射线追踪数据与网络优化服务器之间的示例训练信息流2400。图24所示的训练信息流2400的实施例仅用于说明。图24不将本公开的范围限制为任何特定实施方式。

在一个实施例中，提供了一种深度强化学习应用方法的设计。深度强化学习网络用于在在线应用期间跟踪最佳波束。在本公开中，深度强化学习可以指的是深度Q网络、策略梯度或执行器-评价器(actor-critic)网络中的至少一个。例如，基于深度Q网络(DQN)的架构可用于跟踪动态环境的最佳宽波束。

图25A示出了根据本公开的实施例的具有网络优化服务器2500的示例大规模MIMO网络。图25A所示的具有网络优化服务器2500的大规模MIMO网络的实施例仅用于说明。图25A不将本公开的范围限于任何特定实施方式。

在一个实施例中，在在线应用阶段期间，网络优化服务器或代理(决策者)与蜂窝网络环境交互以选择最佳波束参数。该系统架构在图25A中示出。与图17不同，添加了网络优化服务器并将其连接到IP网络。网络优化服务器或服务器为每个MMU选择宽波束参数，并将宽波束参数作为配置命令发送给每个MMU。MMU或DU可以收集UE测量并将这些测量发送回服务器。

图25B示出了根据本公开的实施例的具有网络优化服务器2550的另一示例大规模MIMO网络。图25B所示的具有网络优化服务器2550的大规模MIMO网络的实施例仅用于说明。图25B不将本公开的范围限于任何特定实施方式。

在如图25B所示的另一实施例中，网络优化服务器可以直接连接到DU，并且每个DU具有网络优化服务器。在又一个实施例中，网络优化服务器可以在DU内。在另一种方法中，网络优化服务器可以位于MMU内部。

在强化学习术语中，选择波束参数(波束形状、倾斜角度)可以被视为动作。来自网络中UE的测量可以被视为观察。基于观察，可以计算一个或几个奖励值。信息流的抽象图可以在图26中示出。

图26示出了根据本公开的实施例的强化学习框架2600的示例信息流。图26所示的强化学习框架2600的信息流的实施方式仅用于说明。图26不将本公开的范围限制为任何特定实施方式。

在一个实施例中，可以应用不同的方案来对强化学习框架中的状态/观察/奖励进行建模。

在一个实施例中，RL框架中的状态被设计为反映网络连接状态。状态可以从UE测量中获得。例如，一种设计状态的方法可以是网络中UE的连接指示符(1/0的向量)。每个UE向基站报告UE的状态。如果从UE接收的信号的强度降到预定阈值以下，则在与该UE相对应的向量的元素处放置0。否则，放置1。因此，状态向量中的“0”可以表示对应的UE具有不良的连接，而“1”可以表示UE具有良好的连接。每个UE的指示符在向量中具有固定的特定位置。在另一个实施例中，状态可以是RSSI、RSRQ、RSRP或SINR的向量。这项工作中采用的RL状态表示如在图27所示。

图27示出了根据本公开的实施例的示例RL状态生成2700。图27所示的RL状态生成2700的实施例仅用于说明。图27不将本公开的范围限于任何特定实施方式。

在一个实施例中，代理/服务器的动作可以是从候选波束池中选择波束索引。在另一个实施例中，动作可以是在以下选项中进行选择：将波束宽度增加一定程度；将波束宽度减少一定程度；保持相同的波束宽度；增加倾斜角度；减小倾斜角度；保持相同的倾斜角等。在此，波束宽度既可以指方位角波束宽度，也可以指仰角波束宽度，或者两者。代理观察状态和奖励，并采取可能的最佳动作，以最大化累积的未来奖励。

在一个实施例中，本公开中的奖励是网络性能度量。设计奖励的一个实施例可以是基于状态和所采取的动作在网络中连接的UE的总数。这里，连接的UE的数量被定义为其接收的RSRP大于预定阈值的UE的数量。设计奖励的另一种方法可以是测量结果的函数，例如SINR或RSRP向量或百分之X的RSRP/SINR的函数，其中X可以是0到100之间的任何数字。

代理和/或服务器的目标是对累积的折扣未来奖励进行最大化。代理收集经验作为元组，e_t＝(s_t,a_t,r_t,s_t+1)，其中s_t是状态，a_t是在状态s_t处采取的动作，r_t是通过采取动作a_t而从状态s_t获得的瞬时奖励，s_t+1是下一个状态。代理将代理经验的历史存储在称为“重放存储器”的存储装置中。深度RL代理从重放存储器中随机采样小批经验，并根据ε贪婪策略(即概率为ε)选择动作，然后尝试随机动作，并且该代理以概率(1-ε)选择最知名的动作。基于与该状态相对应的最大Q值来选择特定状态下的最佳动作。

在基于DQN的强化学习中，使用深度神经网络预测Q值。向神经网络的输入是RL环境的UE状态，而输出是与可能的动作相对应的Q值。

在一个实施例中，在网络中提供了N个用户。为了适合使用卷积神经网络来计算Q值(其用于在该工作中预测Q值)，可以将(N×1)UE连接向量转换为二维帧，例如帧大小可以是

多个此类帧堆叠在一起，并作为输入馈送到神经网络。为了清楚起见，状态向量转换如图28所示。

图28示出了根据本公开的实施例的示例状态向量2800。图28所示的状态向量2800的实施例仅用于说明。图28不将本公开的范围限于任何特定实施方式。

在一个实施例中，在单扇区的情况下，仅与一个扇区相对应的波束参数需要被优化。这可以作为示例，其中仅一个遗留LTE扇区被一个大型MIMO单元代替。

目标是基于不同的动态用户分布来最大化网络性能(例如，连接的UE数量)。代理保持单个重放存储器，其包含代理的经验元组(s,a,r,s’)和该存储器的样本。单扇区情况的重放存储器架构如图29所示。

图29示出了根据本公开的实施例的用于单个扇区2900的示例重放存储器。图29所示的用于单扇区的重放存储器2900的实施例仅用于说明。图29不将本公开的范围限于任何特定实施方式。

在一个实施例中，对于Q值预测，在强化学习框架内部使用了深度卷积神经网络。RL状态信息用作神经网络的输入。例如，神经网络的输入可以是连接帧。深度卷积神经网络可以用其他神经网络结构代替，例如，长短期记忆(LSTM)和递归神经网络(RNN)。在下面中，示出了三个卷积神经网络的示例-全部具有修正线性单元(ReLU)激活。在该示例中，第一卷积层具有32(8×8)个滤波器。第二卷积层和第三卷积层分别具有64(4×4)个滤波器和64(3×3)个滤波器。最后，将具有线性激活功能的致密层用作输出层。神经网络架构如图30所示。

图30示出了根据本公开的实施例的示例神经网络3000。图30所示的神经网络3000的实施例仅用于说明。图30不将本公开的范围限制为任何特定实施方式。

两个如此相同神经网络被用于预测Q值。一个用于计算运行的Q值-该神经网络称为评估网络。另一个神经网络(称为目标神经网络)在某一训练时间内保持固定，例如，对于M个情节，每M个情节，评估神经网络的权重都会转移到目标神经网络。神经网络的权重转移如图31所示。

图31示出了根据本公开的实施例的示例DQN学习网络3100。图31所示的DQN学习网络3100的实施例仅用于说明。图31不将本公开的范围限于任何特定实施方式。

在一个实施例中，策略梯度方案用于训练神经网络。在这种情况下，可以去除评估Q网络。

如果瞬时奖励，即在时间步长t的已连接UE的数量被表示为r_t，则在时间步长t的总折扣未来奖励被定义为

其中γ是奖励折扣因子，T表示情节持续时间。最佳动作值函数被定义为可以提供最大网络性能值的动作。表3示出了算法1的详细算法。

表3：用于单扇区的宽波束合成

表4：动态场景中的用于多扇区的宽波束合成

在一个实施例中，在动态场景中选择用于多扇区情况的宽波束。对于多扇区情况，强化代理必须同时控制多个扇区的波束参数。对于这种情况，需要对强化学习框架进行一些重大更新。在多扇区的情况下，每个扇区都有自己的波束池，即动作集合。因此，每个扇区可以独立选择自己的波束参数。目标之一可以是使整个网络的覆盖最大化。解决该问题的一个实施例可以直接扩展如先前部分中所述的单个扇区情况，即，逐个小区地优化波束。然而，在这种情况下，针对多个扇区的情况下的动作空间可以随着扇区的数量呈指数增长。为了解决这个问题，在本公开的一个实施例中，提供了一种新颖的低复杂度算法，用于动作空间仅线性增长的多个扇区的宽波束合成。

可以假设存在n个扇区，并且每个扇区都有m种可能的动作(波束权重集合)可供选择。在这种情况下，代理为扇区保留n个不同的重放存储器，并使用n个不同的神经网络。每个神经网络负责预测每个扇区的最佳动作。重放存储器和神经网络的架构的细节在下面描述。

下面的图16示出了多扇区情况下的重放存储器架构。分配了多个重放存储器。每个扇区可以具有自己的重放存储器。图中的描述是针对3扇区的情况作为示例。状态、奖励和下一个状态存储在不同扇区的不同重放存储器/缓冲区中。重放存储器在扇区采取的动作(选择的波束索引)方面不同。当扇区观察到相同的当前状态s、奖励r和下一个状态s'时，存储动作是不同的—扇区1的动作存储在缓冲区1中，扇区2的动作存储在缓冲区2中，依此类推。

图32示出了根据本公开的实施例的示例重放存储器结构3200。图32所示的重放存储器结构3200的实施例仅用于说明。图32不将本公开的范围限于任何特定实施方式。

图33A示出了根据本公开实施例的用于多个扇区3300的示例DRL。图33A所示的用于多个扇区3300的DRL的实施例仅用于说明。图33A不将本公开的范围限于任何特定实施方式。

下面的图33A示出了用于预测多个扇区的Q值的神经网络架构。在图33B中以3扇区的情况为例进行了描述。对于每个扇区，可以创建特定的神经网络以近似Q值。在示例图中，三个独立的神经网络用于预测三个扇区的Q值。神经网络的输入是相同的状态向量。

图33B示出了根据本公开的实施例的用于多个小区3350的示例神经网络架构。图33B所示的用于多个小区3350的神经网络架构的实施例仅用于说明。图33B不将本公开的范围限于任何特定实施方式。

神经网络在结构上可以相同或不同，每个神经网络的输出数量可以是该扇区中可用波束的数量。因此，动作空间的大小，即动作总数仅线性增长而不是指数增长。由神经网络1的Q值预测的最佳动作存储在缓冲区1中，该缓冲区对应于扇区1。类似地，由神经网络2的Q值预测的动作存储在缓冲区2中，该缓冲区对应于扇区2，依此类推。

在一个实施例中，提供了使用多臂强盗(MAB)来找到用于MMU的最佳波束。在MAB框架中，臂可以是波束池中的波束。每当MMU选择手臂或波束之后，MMU可以收集UE测量。在获得UE测量之后，控制中心可以基于对先前波束的测量来分配奖励值。控制中心维护值表，以维护每个手臂/波束的累加值。每次，控制中心都可以按照特定方法选择波束。整个过程如图34所示。

图34示出了根据本公开的实施例的用于MAB 3400的方法的流程图。图34所示的用于MAB 3400的方法的实施例仅用于说明。图34不将本公开的范围限于任何特定实施方式。

如图34所示，方法3400开始于步骤3402。在步骤3402中，控制中心从候选波束池中为MMU选择波束。在步骤3404中，控制中心配置MMU/DU以执行UE测量。最后，在步骤3406中，控制中心更新每个候选波束的值编号，然后执行步骤3402。

图35示出了根据本公开的实施例的用于MAB框架3500的示例控制中心结构。图35所示的用于MAB框架3500的控制中心结构的实施例仅用于说明。图35不将本公开的范围限制为任何特定实施方式。

图35示出了控制中心的内部结构。控制中心从UE接收测量，并通过函数将测量映射到一个值。这里的测量可以参考RSRP，和/或RSRQ，和/或SINR，和/或SNR等。该函数的示例可以是其RSRP大于阈值的UE的数量。在从函数获得值之后，控制中心可以更新最后选择的波束值。在时间步长t更新波束值j的一个示例是使用以下等式：

其中n(j)代表所选波束j的数量，T代表所采取动作的总数，f(j，t)是在时间戳t处动作j的奖励函数输出。

波束选择的一个实施例是以1-ε的概率选择具有最大值的波束，并以ε的概率随机地选择波束。随着模拟步长的增加，概率ε可以减小。

在一个实施例中，提供了使用Q学习来找到用于MMU的最佳波束。在Q学习框架中，动作可以是在波束池中选择波束。每当控制中心选择动作或波束后，MMU可以收集UE测量。在获得UE测量之后，控制中心可以基于对先前波束的测量来分配奖励值。此外，控制中心可以评估网络的当前状态。基于设计要求，网络可以具有不同的状态定义。该状态可以反映网络性能水平。例如，一种状态可以被定义为连接的UE的数量大于一个值，而另一种状态可以被定义为连接的UE的数量小于一个值。控制中心维护值表，以维护每个手臂/波束和状态的累积值。每次，控制中心都可以按照特定方法选择波束。整个过程如图34所示。整体架构如图35所示。

图36示出了根据本公开的实施例的用于Q学习的方法3600的流程图。图36所示的用于Q学习的方法3600的实施例仅用于说明。图36不将本公开的范围限制为任何特定实施方式。

如图36所示，方法3600在步骤3602开始。在步骤3602，控制中心从候选波束池中为MMU选择波束。在步骤3604中，控制中心配置MMU/DU以执行UE测量。在步骤3606中，控制中心计算状态信息。最后，控制中心在步骤3608中为对应状态的每个候选波束更新值编号，然后重复步骤3602。

图37示出了根据本公开的实施例的示例Q学习架构3700。图37所示的Q学习架构3700的实施例仅用于说明。图37不将本公开的范围限制为任何特定实施方式。

图37示出了控制中心的内部结构。控制中心从UE接收测量结果，并通过函数将测量结果映射到一个值。这里的测量可以参考RSRP，和/或RSRQ，和/或SINR，和/或SNR等。该函数的示例可以是其RSRP大于阈值的UE的数量。此外，控制中心可以计算状态信息。控制中心维护多维值表。一个维度是状态，另一维度是波束。该值基于当前状态信息和波束信息进行更新。

在从函数和状态信息获得值之后，控制中心可以基于当前状态更新最后选择的波束值。更新状态s和时间戳t处的波束值j的一个示例是使用下面等式：

V_t+1(j_t,s_t)＝(1-α)V_t(j_t,s_t)+α(f(j_t,s_t)+γmaxV_t(j,s_t+1))，其中α代表

学习率，γ代表折扣因子，j_t,s_t是在时间戳t处的所选波束和在时间戳t处的状态。

在一个实施例中，针对单扇区动态环境的上述算法提供了性能评估。每个小区都配备4×4天线阵列。天线元件之间的水平距离是0.5个波长，而天线元件之间的竖直距离是1.48个波长。基于射线追踪结果计算每个UE的接收功率。

可以假设用户分布每8小时(在模拟中，每8个时间步长)改变一次，如图38所示。

图38示出了根据本公开的实施例的示例场景模式3800。图38所示的场景模式3800的实施例仅用于说明。图38不将本公开的范围限制为任何特定实施方式。

在每个时间步长，代理都有10种动作可供选择，即，有10种不同的波束权重集合可用于代理，并且根据用户分布的变化，代理自适应地选择使连接的UE的总数最大化的波束。

图39示出了根据本公开的实施例的示例模拟结果3900。图39所示的模拟结果3900的实施例仅用于说明。图39不将本公开的范围限制为任何特定实施方式。

下面的图39示出了我们的深度RL(DRL)代理采取的动作的结果。动作可以由Oracle(甲骨文)进行。可以观察到，在训练开始时，在探测阶段期间，代理尝试了可用的动作，并试图学习针对不同用户分布的最佳波束权重。一旦探测阶段结束，代理的动作与oracle动作完全收敛。这里要注意的是，该图中有与两个用户分布相对应的两个最佳动作—动作3是场景1的最佳动作，而动作5是场景2的最佳动作。

在一个实施例中，基于多扇区动态环境的宽波束合成，提供了深度强化学习的结果。每个小区都配备4×4天线阵列。天线元件之间的水平距离是0.5个波长，而天线元件之间的竖直距离是1.48个波长。基于射线追踪结果计算每个UE的接收功率。

可以假设存在三种可能的用户分布，并且这些分布每8小时(在模拟中为8个时间步长)从场景1到场景2到场景3进行改变，如图40所示。

图40示出了根据本公开的实施例的另一示例场景模式4000。图40所示的场景模式4000的实施例仅用于说明。图40不将本公开的范围限制为任何特定实施方式。

可以假设有3个动作可用于每个扇区，即有3个可能的波束权重可用于每个扇区，并且基于用户分布的变化，代理需要自适应地选择扇区的最佳波束，其最大化网络中整体连接的UE。奖励结果如图41A所示。

图41A示出了根据本公开的实施例的示例模拟结果4100。图41A0所示的模拟结果4100的实施例仅用于说明。图41A不将本公开的范围限于任何特定实施方式。

可以假设DQN代理的性能非常接近oracle性能。对于场景1，在稳定状态下，DQN代理获得的奖励为185，而Oracle预测的最佳奖励为187。因此，DQN代理完成了oracle性能的98.93％。在场景2中，DQN代理完成与oracle完全相同，两者都得到96的奖励，最后，对于场景3，DQN代理获得49的奖励，而oracle奖励为50。因此，RL代理完成了Oracle性能的98％。

在另一个实验中，如图41B所示，提供了详细的收敛行为。

图41B示出了根据本公开的实施例的在覆盖4150之后的示例奖励。图41B中所示的覆盖4150之后的奖励的实施例仅用于说明。图41B不将本公开的范围限于任何特定实施方式。

图41C示出了根据本公开的实施例的收敛4170之后的示例动作。图41C所示的收敛4170之后动作的实施例仅用于说明。图41C不将本公开的范围限于任何特定实施方式。

图41D示出了根据本公开的实施例的在收敛4180之后的另一示例动作。图41D所示的收敛4180之后动作的实施例仅用于说明。图41D不将本公开的范围限制为任何特定实施方式。

图41E示出了根据本公开的实施例的在收敛4190之后的另一示例动作。图41E所示的收敛4190之后动作的实施例仅用于说明。图41E不将本公开的范围限于任何特定实施方式。

从图41C、图42D和图41E可以发现，通过深度强化学习，上述算法可以为每个动态场景动态即时地选择几乎最佳的波束。

尽管已经利用示例性实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。本公开旨在涵盖落入所附权利要求的范围内的这种改变和修改。

本申请中的任何描述均不应理解为暗示任何特定的元件、步骤或功能是必须包括在权利要求范围内的必要元素。专利主题的范围仅由权利要求书限定。此外，除非确切的词语“用于……的装置”后面是分词，否则所有权利要求都不旨在引入关于清楚性的驳回。

Claims

1.一种无线通信系统中的用户设备(UE)，所述UE包括：

收发器，所述收发器被配置为：

经由基站(BS)从中央控制器(CC)接收在测量报告中使用的第一波束的信息；并且

经由所述BS向所述CC发送包括所述第一波束的测量结果的所述测量报告，

其中：

所述CC从包括预定候选波束的候选波束池中的波束集合中选择用于所述BS的所述第一波束，所述波束集合被分配给所述BS；

所述CC对与所述候选波束池中的所述波束集合相对应的连续测量结果以及所述第一波束的所述测量结果进行预处理；

所述CC基于所述第一波束的所述测量结果计算所述第一波束的波束分数；并且

所述CC基于所述波束分数选择第二波束，所述第二波束被确定为所述候选波束池中的所述波束集合中的包括最高分数的波束。

2.根据权利要求1所述的UE，其中，所述连续测量结果包括所述UE的参考信号接收功率(RSRP)、参考信号接收质量(RSRQ)、信号与干扰加噪声比(SINR)、标识(ID)或位置信息中的至少一项。

3.根据权利要求1所述的UE，其中：

所述CC基于阈值确定所述第一波束的所述测量结果的可接受性；

所述CC基于所述测量结果和所述阈值确定UE连接向量；

所述CC基于所述UE的位置信息将所述UE连接向量重塑为二维连接(2D)图；并且

所述CC基于先前波束分数和所述连续测量结果计算所述波束分数。

4.根据权利要求1所述的UE，其中：

所述CC配置用于选择最佳波束的深度神经网络；

所述CC使用所述深度神经网络来选择所述最佳波束；

所述CC将时间窗口内预处理后的连续测量结果从每个所述BS输入到所述BS的所述深度神经网络；

所述CC将所述深度神经网络的独热输出识别为所述最佳波束的指示符；并且

所述CC基于预处理后的连续测量结果来更新所述深度神经网络的权重。

5.根据权利要求1所述的UE，其中：

所述CC基于来自UE的测量结果的历史获得UE分布模式；

所述CC对具有所述UE分布模式的射线跟踪数据进行组合，以获得场景特定射线跟踪数据；并且

所述CC基于所述场景特定射线跟踪数据，为每个所述UE分布模式搜索最佳波束。

6.根据权利要求5所述的UE，其中：

所述CC将所述测量结果分类成所述UE分布模式；并且

所述CC基于所述场景特定射线跟踪数据，选择所述UE分布模式的所述最佳波束。

7.根据权利要求1所述的UE，其中，每个所述BS包括数据单元/多输入多输出(DU/MMU)。

8.一种无线通信系统中的中央控制器(CC)，所述CC包括：

处理器，所述处理器被配置为：

从包括预定候选波束的候选波束池中的波束集合中，选择用于每个基站(BS)的第一波束，其中所述波束集合被分配给所述BS；并且

指示每个所述BS向属于每个所述BS的用户设备(UE)发送具有由所述UE在测量报告中使用的第一波束的信号；以及

收发器，所述收发器可操作地连接到所述处理器，所述收发器被配置为：

向每个所述BS发送所述第一波束的信息；

经由所述BS从所述UE接收包括所述第一波束的测量结果的所述测量报告，

其中，所述处理器进一步被配置为：

针对每个所述BS，对与所述候选波束池中的所述波束集合相对应的连续测量结果以及所述第一波束的所述测量结果进行预处理；

针对每个所述BS，基于所述第一波束的所述连续测量结果，计算所述第一波束的波束分数；并且

针对每个所述BS，基于所述波束分数选择第二波束，

其中，针对每个所述BS，将所述第二波束确定为所述候选波束池中的所述波束集合中的包括最高分数的波束。

9.根据权利要求8所述的CC，其中，所述连续测量结果包括所述UE的参考信号接收功率(RSRP)、参考信号接收质量(RSRQ)、信号与干扰加噪声比(SINR)、标识(ID)或位置信息中的至少一项。

10.根据权利要求8所述的CC，其中，所述处理器进一步被配置为：

基于阈值确定所述第一波束的所述测量结果是否可接受；

基于所确定的测量结果和所述阈值，识别UE连接向量；并且

基于所述UE的位置信息，将所述UE连接向量重塑为二维连接(2D)图；并且

基于先前波束分数和所述连续测量结果为每个所述BS计算所述波束分数。

11.根据权利要求8所述的CC，其中，所述处理器进一步被配置为：

为每个所述BS配置用于生成关于每个小区的每个波束的分数并选择最佳波束的深度神经网络；并且

使用所述深度神经网络为每个所述BS选择所述最佳波束；并且

将时间窗口内预处理后的连续测量结果从每个所述BS输入到所述BS的所述深度神经网络；并且

将所述深度神经网络的独热输出识别为所述最佳波束的指示符；并且

基于预处理后的连续测量结果为每个所述BS更新所述深度神经网络的权重。

12.根据权利要求8所述的CC，其中，所述处理器进一步被配置为：

基于来自UE的测量结果的历史为每个所述BS获得UE分布模式；

为每个所述BS组合具有所述UE分布模式的射线跟踪数据，以获得场景特定射线跟踪数据；并且

基于所述场景特定射线跟踪数据，为每个所述UE分布模式搜索最佳波束。

13.根据权利要求12所述的CC，其中，所述处理器进一步被配置为：

将所述测量结果分类成所述UE分布模式；并且

基于所述场景特定射线跟踪数据，选择所述UE分布模式的所述最佳波束。

14.根据权利要求8所述的CC，其中，每个所述BS包括数据单元/多输入多输出(DU/MMU)。

15.一种用于操作被配置为实现权利要求1至7中的一项的用户设备(UE)或被配置为实现权利要求8至14中的一项的中央控制器(CC)的方法。