CN114070373A - 基于机器学习的天线面板切换 - Google Patents

基于机器学习的天线面板切换 Download PDF

Info

Publication number
CN114070373A
CN114070373A CN202110891137.0A CN202110891137A CN114070373A CN 114070373 A CN114070373 A CN 114070373A CN 202110891137 A CN202110891137 A CN 202110891137A CN 114070373 A CN114070373 A CN 114070373A
Authority
CN
China
Prior art keywords
antenna panel
long
term
selected antenna
term benefit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110891137.0A
Other languages
English (en)
Inventor
K·I·佩德森
I·Z·科瓦克斯
A·埃斯维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN114070373A publication Critical patent/CN114070373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0802—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station using antenna selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0686—Hybrid systems, i.e. switching and simultaneous transmission
    • H04B7/0691—Hybrid systems, i.e. switching and simultaneous transmission using subgroups of transmit antennas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0226—Incentive systems for frequent usage, e.g. frequent flyer miles programs or point systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q3/00—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system
    • H01Q3/24—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system varying the orientation by switching energy from one active radiating element to another, e.g. for beam switching
    • H01Q3/247—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system varying the orientation by switching energy from one active radiating element to another, e.g. for beam switching by switching different parts of a primary active element
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/336—Signal-to-interference ratio [SIR] or carrier-to-interference ratio [CIR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0868—Hybrid systems, i.e. switching and combining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0868—Hybrid systems, i.e. switching and combining
    • H04B7/0874—Hybrid systems, i.e. switching and combining using subgroups of receive antennas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/24—Reselection being triggered by specific parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0602—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using antenna switching
    • H04B7/0608—Antenna selection according to transmission parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Finance (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)

Abstract

本公开涉及基于机器学习的天线面板切换。公开了一种方法，包括使用机器学习算法从多个天线面板中选择天线面板。至少部分地基于在所选择的天线面板上接收到的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值。在第一长期奖励值超过与多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的天线面板发送或接收第二信号。

Description

基于机器学习的天线面板切换
技术领域
以下示例性实施例涉及无线通信。
背景技术
由于资源有限，所以希望优化网络资源的使用。终端设备可以被利用以使资源能被更好地利用并给与终端设备的用户增强的用户体验。
发明内容
所寻求的各种示例性实施例的保护范围由独立权利要求给出。在本说明书中描述的未落入独立权利要求的范围内的示例性实施例和特征(如果有的话)将被解释为对理解各种示例性实施例有用的示例。
根据一个方面，提供了一种装置，该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使装置：使用机器学习算法从多个天线面板中选择天线面板；至少部分地基于在所选择的天线面板上接收的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值；以及在第一长期奖励值超过与多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的天线面板发送或接收第二信号。
根据另一方面，提供了一种设备，包括：用于使用机器学习算法从多个天线面板中选择天线面板的装置；至少部分地基于在所选择的天线面板上接收的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值；以及在第一长期奖励值超过与多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的天线面板发送或接收第二信号。
根据另一方面，提供了一种至少包括终端设备和基站的系统，其中终端设备被配置为：使用机器学习算法从多个天线面板中选择天线面板；经由选择天线面板从基站接收一个或多个第一信号；至少部分地基于在所选择的天线面板上接收到的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值；以及在第一长期奖励值超过与多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的天线面板发送或接收第二信号；并且其中基站被配置成：向终端设备发送一个或多个第一信号；以及从终端设备接收第二信号或向终端设备发送第二信号。
根据另一方面，提供了一种至少包括终端设备和基站的系统，其中终端设备包括用于以下项的装置：使用机器学习算法从多个天线面板中选择天线面板；经由所选择的天线面板从基站接收一个或多个第一信号；至少部分地基于在所选择的天线面板上接收的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值；以及在第一长期奖励值超过与多个天线面板的至少一个子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的天线面板发送或接收第二信号；并且其中基站包括用于以下操作的装置：将一个或多个第一信号发送到终端设备；以及从终端设备接收第二信号或向终端设备发送第二信号。
根据另一方面，提供了一种方法，包括使用机器学习算法从多个天线面板中选择天线面板；至少部分地基于在所选择的天线面板上接收的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值；以及在第一长期奖励值超过与多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的天线面板发送或接收第二信号。
根据另一方面，提供了一种计算机程序，包括用于使设备至少执行以下项的指令：使用机器学习算法从多个天线面板中选择天线面板；至少部分地基于在所选择的天线面板上接收的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值；以及在第一长期奖励值超过与多个天线面板的至少子集相关联的一个或多个第二长期奖励值，经由所选择的天线面板发送或接收第二信号。
根据另一方面，提供了一种计算机程序，包括用于使装置执行至少以下项的指令：使用机器学习算法从多个天线面板中选择天线面板；至少部分地基于在所选择的天线面板上接收的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值；以及在第一长期奖励值超过与多个天线面板的至少子集相关联的一个或多个第二长期奖励值，则经由所选择的天线面板发送或接收第二信号。
根据另一方面，提供了一种非瞬态计算机可读介质，该非瞬态计算机可读介质包括用于致使一种装置执行至少以下项的程序指令：使用机器学习算法从多个天线面板中选择天线面板；至少部分地基于在所选择的天线面板上接收的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值；以及在第一长期奖励值超过与多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的天线面板发送或接收第二信号。
附图说明
在下文中，将参考附图更详细地描述各种示例性实施例，其中
图1示出了蜂窝通信网络的示例性实施例；
图2示出了根据示例性实施例的信令图；
图3示出了根据示例性实施例的用于机器学习的二维状态空间；
图4和图5示出了根据一些示例性实施例的流程图；
图6示出了具有线性UE移动的示例性实施例；
图7示出了具有旋转UE的示例性实施例；
图8和9示出了根据示例性实施例的装置。
具体实施方式
以下实施例是示例性的。尽管说明书可以在文本的几个位置中提及“一个”，“一”或“一些”实施例，但是这不一定意味着每个都参考相同的实施例，或者特定特征仅适用于单个实施例。不同实施例的单个特征也可组合以提供其它实施例。
在下文中，将使用作为可以应用示例性实施例的接入架构的示例的基于长期演进高级(LTE高级，LTE－A)或新无线电(NR，5G)的无线电接入架构来描述不同的示例性实施例，然而示例性实施例不受限于这样的架构。对于本领域技术人员清楚明了的是，通过适当地调整参数和过程，示例性实施例还可以应用于具有合适装置的其他类型的通信网络。用于适当
Figure BDA0003196131630000041
的其它选项的一些示例可以是通用移动电信系统(UMTS)无线电接入网络(UTRAN或E－UTRAN)，长期演进(LTE，与E－UTRA相同)，无线局域网(WLAN或wi－fi)，全球微波接入互操作性(WiMAX)，
Figure BDA0003196131630000042
个人通信服务(PCS)，
Figure BDA0003196131630000043
宽带码分多址(WCDMA)，使用超宽带(UWB)技术的系统，传感器网络，移动自组织网络(MANET)和因特网协议多媒体子系统(IMS)或其任意组合。
图1示出了简化的系统架构的示例，仅示出了一些元件和功能实体，它们都是逻辑单元，其实现可以不同于所示出的。图1所示的连接是逻辑连接；实际的物理连接可以不同。对于本领域技术人员显而易见的是，该系统还可以包括除图1所示之外的其它功能和结构。
然而，示例性实施例不限于作为示例给出的系统，而是本领域技术人员可以将该解决方案应用于具有必要特性的其他通信系统。
图1的示例示出了示例性无线电接入网络的一部分。
图1示出了用户设备100和102，被配置为在小区中的一个或多个通信信道上与提供小区的接入节点(诸如(e/g)NodeB)104无线连接。从用户设备到(e/g)NodeB的物理链路可以称为上行链路或反向链路，而从(e/g)NodeB到用户设备的物理链路可以称为下行链路或前向链路。应当理解，(e/g)NodeB或它们的功能可以通过使用适合于这种使用的任何节点、主机、服务器或接入点等实体来实现。
通信系统可以包括多于一个(e/g)NodeB，在这种情况下，(e/g)NodeB也可以被配置为通过为此目的而设计的有线或无线链路彼此通信。这些链路可以用于信令目的。(e/g)NodeB可以是被配置为控制其耦合到的通信系统的无线电资源的计算设备。NodeB也可以被称为基站，接入点或包括能够在无线环境中操作的中继站的任何其它类型的接口设备。(e/g)NodeB可以包括或耦合到收发器。从(e/g)NodeB的收发器，可以提供到天线单元的连接，该天线单元建立到用户设备的双向无线电链路。天线单元可以包括多个天线或天线元件。(e/g)NodeB还可以连接到核心网络110(CN或下一代核心NGC)。根据系统，CN侧的对应方可以是服务网关(S－GW，路由和转发用户数据分组)，用于提供用户设备(UE)到外部分组数据网络的连通性的分组数据网络网关(P－GW)，或移动管理实体(MME)等。
用户设备(也称为UE，用户设备，用户终端，终端设备等)示出了空中接口上的资源可以被分配和指派给其的一种类型的装置，并且因此本文中利用用户设备描述的任何特征可以利用诸如中继节点的相应装置来实现。这种中继节点的示例可以是朝向基站的层3中继(自回程中继)。
用户设备可以指包括与或不与用户识别模块(SIM)一起操作的无线移动通信设备的便携式计算设备，包括但不限于以下类型的设备：移动台(移动电话)，智能电话，个人数字助理(PDA)，手持机，使用无线调制解调器的装置(警报或测量装置等)，膝上型和/或触摸屏计算机，平板电脑，游戏控制台，笔记本和多媒体装置。应当理解，用户设备也可以是几乎排他的仅上行链路设备，其示例可以是向网络加载图像或视频剪辑的照相机或摄像机。用户设备还可以是具有在物联网(Internet of Things，简称IoT)网络中操作的能力的设备，物联网(Internet of Things，简称IoT)网络是一种场景，其中可以向对象提供在网络上传送数据的能力，而不需要人与人或人与计算机的交互。用户设备也可以使用云。在一些应用中，用户设备可以包括具有无线电部件(诸如手表，耳机或眼镜)的小型便携式设备，并且可以在云中执行计算。用户设备(或在一些示例性实施例中的层3中继节点)可以被配置为执行一个或多个用户设备功能。用户设备也可以被称为订户单元，移动站，远程终端，接入终端，用户终端，终端设备或用户设备(UE)，仅提及几个名称或装置。
这里描述的各种技术也可以应用于计算机－物理系统(CPS)(控制物理实体的协作计算元件的系统)。CPS可以实现和利用嵌入在不同位置处的物理对象中的大量互连ICT设备(传感器，致动器，处理器微控制器等)。其中所讨论的物理系统可以具有固有移动性的移动网络物理系统是网络物理系统的子类。移动物理系统的例子包括由人或动物运输的移动机器人和电子设备。
另外，尽管装置被描述为单个实体，但是可以实现不同的单元，处理器和/或存储器单元(图1中没有全部示出)。
5G可以允许使用多输入－多输出(MIMO)天线，比LTE(所谓的小型小区概念)多得多的基站或节点，包括与更小的站协作操作并且根据服务需要，使用情况和/或可用频谱采用各种无线电技术的宏站点。5G移动通信可以支持广泛的用例和相关应用，包括视频流，增强现实，不同的数据共享方式和各种形式的机器类型应用(诸如(大规模)机器类型通信(mMTC)，包括车辆安全，不同的传感器和实时控制)。可以预期5G具有多个无线电接口，即低于6GHz，cmWave和mmWave，并且还可与诸如LTE的现有传统无线电接入技术集成。与LTE的集成可以至少在早期被实现为系统，其中宏覆盖可以由LTE提供，并且5G无线电接口接入可以通过聚集到LTE来从小小区。换句话说，5G可以支持RAT间可操作性(例如LTE－5G)和RI间可操作性(无线电接口间可操作性，例如低于6GHz－cmWave，低于6GHz－cmWave－mmWave)。被认为在5G网络中使用的概念之一可以是网络分片，其中可以在相同的基础设施内创建多个独立和专用的虚拟子网络(网络实例)，以运行对等待时间，可靠性，吞吐量和移动性具有不同要求的服务。
LTE网络中的当前架构可以完全分布在无线电中并且完全集中在核心网络中。5G中的低等待时间应用和服务可能需要使内容接近无线电，这导致本地中断和多接入边缘计算(MEC)。5G可以使得能够在数据源处进行分析和知识生成。这种方法可能需要利用可能不连续连接到诸如膝上型电脑，智能电话，平板电脑和传感器的网络的资源。MEC可以为应用和服务托管提供分布式计算环境。它还可以具有在蜂窝用户附近存储和处理内容以获得更快的响应时间的能力。边缘计算可以覆盖各种各样的技术，诸如无线传感器网络，移动数据获得，移动签名分析，协作分布式对等自组织联网和处理，也可分类为本地云/雾计算和网格/网格计算，露天计算，移动边缘计算，小云，分布式数据存储和检索，自主自愈网络，远程云服务，增强和虚拟现实，数据高速缓存，物联网(大规模连通性和/或等待时间关键)，关键通信(自主车辆，交通安全，实时分析，时间关键控制，保健应用)。
通信系统还能够与诸如公共交换电话网或因特网112的其它网络通信，或利用由它们提供的服务。通信网络还能够支持云服务的使用，例如核心网络操作的至少一部分可以作为云服务来执行(这在图1中由“云”114来描绘)。通信系统还可以包括中央控制实体等，为不同运营商的网络提供例如在频谱共享中协作的设施。
边缘云可以通过利用网络功能虚拟化(NVF)和软件定义联网(SDN)而被带入无线电接入网(RAN)。使用边缘云可以意味着至少部分地在可操作地耦合到包括无线电部分的远程无线电头或基站的服务器，主机或节点中执行接入节点操作。节点操作也可以分布在多个服务器，节点或主机中。云RAN架构的应用可以实现在RAN侧(在分布式单元DU 104中)执行的RAN实时功能和以集中式方式(在集中式单元CU108中)执行的非实时功能。
还应当理解，核心网络操作和基站操作之间的劳动力分布可以不同于LTE的劳动力分布，或者甚至是不存在的劳动力分布。可以使用的一些其它技术进步可以是大数据和全IP，其可以改变网络被构造和管理的方式。5G(或新无线电，NR)网络可以被设计成支持多个分层结构，其中MEC服务器可以被放置在核心和基站或NodeB(gNB)之间。应当理解，MEC也可以应用于4G网络。
5G还可以利用卫星通信来增强或补充5G服务的覆盖，例如通过提供回程。可能的使用情况可以是为机器对机器(M2M)或物联网(IoT)设备或为车辆上的乘客提供服务连续性，或者确保关键通信和未来铁路/海事/航空通信的服务可用性。卫星通信可以利用地球同步地球轨道(GEO)卫星系统，但也可以利用低地球轨道(LEO)卫星系统，特别是兆星座(其中部署了数百(纳米)卫星的系统)。兆星座图中的每个卫星106可以覆盖创建地面小区的若干卫星使能网络实体。可以通过地面中继节点104或通过位于地面上或卫星中的gNB来创建地面小区。
对于本领域技术人员来说显而易见的是，所描述的系统仅仅是无线电接入系统的一部分的示例，并且在实践中，该系统可以包括多个(e/g)NodeB，用户设备可以具有对多个无线电小区的接入，并且该系统还可以包括其他装置，例如物理层中继节点或其他网络元件等。另外，在无线电通信系统的地理区域中，可以提供多个不同种类的无线电小区以及多个无线电小区。无线电小区可以是宏小区(或伞形小区)，宏小区可以是直径达几十公里的大小区，或者是诸如微小区，毫微微小区或微微小区之类的更小的小区。图1的(e/g)NodeB可以提供任何类型的这些小区。蜂窝无线电系统可以实现为包括多种小区的多层网络。在多层网络中，一个接入节点可以提供一种或多种小区，因此可能需要多个(e/g)NodeB来提供这种网络结构。
为了满足改进通信系统的部署和性能的需要，可以引入“即插即用”(e/g)NodeB的概念。除了归属(e/g)NodeB(H(e/g)NodeB)之外，能够使用“即插即用”(e/g)NodeB的网络可以包括归属NodeB网关或HNB－GW(图1中未示出)。可安装在运营商网络内的HNB网关(HNB－GW)可聚集从大量HNB回到核心网络的业务。
也可以被称为UE的终端设备可以包括多个天线面板。然而，一些UE可能被限制为一次仅具有一个天线面板活动用于无线电接收和/或传输，因为操作多个同时活动的天线面板可能增加硬件复杂性和/或能量消耗。如果一次仅多个天线面板中的一个天线面板被允许是活动的，则用于交换活动天线面板并且执行层1，L1，测量(包括L1滤波)的机制可能被需要。然而，这种机制可能涉及在服务小区连接性性能，诸如吞吐量、延迟和/或波束故障，和移动性性能，诸如切换失败概率和/或乒乓事件，之间进行折衷，即，当UE执行切换并且随后直接重新连接回源小区时。L1也可以被称为物理层。例如，当发送信道状态信息CSI到gNB时，UE可以在L1处提供参考信号接收功率RSRP测量。
多个天线面板中的每个天线面板可以具有指向不同空间方向的定向辐射模式。UE可能受随时间变化的旋转和/或移动支配，并且可能存在随时间变化的局部散射和/或阻塞的发生，诸如改变UE上的位置的手。辐射模式可以指由天线面板辐射的无线电波的功率随着远离天线面板的方向的函数而变化，即天线面板在空间中分布它的能量的方式。
在利用它的服务小区接收和/或传输数据期间，UE可以使用最佳天线面板，即对应于最高估计无线电信号质量，例如测量为RSRP和/或最高已接收信号与干扰加噪声比SINR的天线面板。天线面板可以包括天线阵列，即多个天线元件，其中UE可以应用波束成形。诸如gNB的基站也可以被配备具有波束成形，例如波束网格、GOB，并且因此使用媒体接入控制、MAC、基于波束的跟踪。为了确保UE将它的最佳天线面板用于向它的服务小区和/或波束的接收和/或传输，UE也可以在它的其它天线面板上执行测量。例如，UE可以对同步信号块SSB和/或从属于它的服务小区的gNB波束发送的信道状态信息参考信号CSI-RS执行测量。
然而，由于天线面板的辐射模式的明显不同，可能发生以下情况：UE可以被调度具有下行链路或上行链路传输，该下行链路或上行链路传输被假定为使用它的最佳天线面板来接收或发送，并且如果UE正在对不同的天线面板执行测量，则当每个时刻仅一个天线面板针对无线电接收和/或传输是活动的时，它可能无法从它的服务小区接收传输或者无法向它的服务小区进行发送。这可能负面影响体验的质量QoE。QoE可以被限定为由用户感知的电信服务质量的主观可接受性。在备选天线面板上执行的UE测量也可能是移动性动作所需的，并且因此它们可能不会被避免或被延迟太多。当UE例如在无线电资源控制RRC连接模式中从一个小区移动到另一个小区时，切换还可以涉及最佳天线面板的改变。然而，如果过少或过晚的测量被执行在指向针对可能的切换的目标小区的天线面板上，则可能发生更多的无线电链路故障和/或切换故障。
例如，如在3GPP TS 38.300中所描述的，UE可以被配置为对来自一个或多个小区的gNB波束执行测量，并且这种测量可以在被报告给服务gNB之前受L1和L3滤波支配。L3也可以被称为RRC层。L3滤波参数和潜在报告标准可以，例如，通过RRC信令来配置。然而，gNB可能不知道(多个)UE天线面板在哪个时间是活动的。
在RRC连接模式中，UE可以基于一个或多个参考信号，诸如SSB和/或CSI－RS，和由基站所配置的信号质量阈值，在活动带宽部分BWP中执行无线电链路监控。例如，如果以下标准中的一个或多个标准被满足，则UE可以声明无线电链路失败：1)在来自物理层的无线电问题的指示之后启动的定时器期满，2)随机接入过程失败，和/或3)无线电链路控制失败。在无线电链路失败之后，UE可以留在RRC连接模式中，选择合适的小区，并且启动RRC重建。备选地，UE可以进入RRC空闲模式，例如如果在声明无线电链路故障之后的某个时间段内合适的小区没有被找到。
针对波束故障检测，gNB可以利用一个或多个波束故障检测参考信号，诸如SSB和/或CSI－RS来配置UE，并且例如当来自物理层的波束故障实例的数目指示在预定义定时器到期之前达到预定义阈值时，UE可以声明波束故障。在波束故障被检测到之后，UE可以通过在小区上发起随机接入过程来触发波束故障恢复，并且选择合适的波束以执行波束故障恢复。如果gNB已经针对某些波束提供了专用的随机接入资源，则这些可以由UE来区分优先级。当完成随机接入过程时，波束故障恢复可以被认为是完成的。
一些示例性实施例可以在诸如UE的装置中利用机器学习ML来自动地学习或预测如何高效地执行天线面板交换和L1测量，以便平衡受UE如何执行天线面板交换和L1测量影响的关键绩效指标KPI之间的折衷。换言而之，一些示例性实施例可以提供ML驱动UE天线面板控制，以利用例如链路性能(诸如吞吐量，中断和/或延迟)与无线电链路故障，波束故障和/或切换故障之间的折衷。一些示例性实施例可以用于例如UE中，其中一次仅一个天线面板可以被允许是活动的。作为非限制性示例，增强学习RL可以与gNB到UE信令一起使用，以指导UE如何在多个KPI之间进行折衷。
KPI的示例可以是符合5G服务质量的QoE、QoS、类索引，即5QI。根据5QI满足QoS要求可能要求UE使用它的朝向服务小区的最佳天线面板。在这种测量被执行的时刻期间，对其它天线面板的测量可能导致降级的性能。另一方面，针对使用它的最佳天线面板的UE，可能需要偶尔在其它天线面板上执行测量，因为条件可能改变，使得其它天线面板中的一个面板变成最佳面板。
KPI的另一示例可以是波束故障声明。如果波束故障声明发生，则它可以触发涉及随机接入的波束故障恢复过程，并且因此触发服务小区通信链路的临时中断，即相当于降级的QoE。如果UE受例如移动、旋转和/或局部散射变化支配，则最佳天线面板可能更频繁地改变，并且因此UE可以执行更频繁的天线面板交换以在它的天线面板上进行测量。因此，波束故障概率可能受到UE如何并且何时交换活动天线面板的影响。
KPI的另一示例可以是无线电链路故障率和/或切换故障率。切换故障是在切换期间可能发生的无线电链路故障。针对由它的最佳小区服务的UE，切换可能被需要以及时的方式执行。当UE从第一小区移动到第二小区时，针对第二小区的UE的最佳天线面板可以不同于针对第一小区。为了有效的切换性能，UE因此可能偶尔在它的天线面板上执行测量，该天线面板指向它可能被切换到的一个或多个目标小区。
作为非限制性示例，一些示例性实施例可以用于例如包括多个天线面板(例如，三个或四个天线面板)的UE中的28GHz的NR。然而，应当理解，一些示例性实施例也可以用于其它频率区域，并且天线面板的数量可以变化。
强化学习可以基于被表示为s的状态，被表示为a的动作和被表示为r的奖励。状态s可以被限定为值的元组，它也可以被称为特征，它以与当前问题相关的方式描述针对学习软件代理的环境。例如，环境可以被限定为软件代理可以处于其中的所有可能状态的集合。动作a确定软件代理的下一状态。换而言之，执行动作导致过渡到新状态。奖励r可以被限定为多目标标量函数，它数字值地表达软件代理的目的。软件代理随时间与环境的交互可以通过由元组表示的经验样本来描述(st，at，rt+1，st+1)，其中t是离散时间计数器，它描述作为对环境施加动作并且接收奖励的结果的状态过渡。RL的目的可以是从经验样本中确定策略p，该策略p响应于当前状态建议采取的下一动作，以便最大化长期累积奖励。因此，RL算法将奖励映射到先前已采取的动作。该策略可以被限定为采用状态作为输入并且将返回动作作为输出的函数。策略可以包括状态动作对的映射或概率分布，它可以被用于基于由可调整权重集来参数化的奖励函数来建议响应于当前状态的动作。策略可以指示当软件代理处于特定状态时每个动作的概率，并且具有最高概率的动作可以作为建议动作被返回。
图2图示了根据示例性实施例的信令图，其中UE可以运行用于天线面板交换的机器学习方案。诸如gNB的基站利用针对UE的奖励函数的相对权重来配置201UE，例如服务小区链路性能，波束故障声明和/或切换故障声明。权重可以是针对被用于奖励函数中的每个KPI的加权因子，以将每个时间步骤处的奖励估计为经加权的和。权重的配置可以例如作为无线电资源控制RRC连接建立过程的部分被执行。权重可以例如作为标量权重(例如，三个标量权重)的向量被发送，其中0和1之间的值指示与标量权重相关联的KPI的相对重要性。换言而之，权重可以指示如何平衡不同KPI之间的折衷，诸如最大化UE在它的最佳天线面板上接收的时间，即最大化服务小区QoE，而最小化无线电链路故障、切换故障和/或波束故障。加权的KPI可以在确定或计算KPI的加权和之前被归一化。归一化可以例如通过将标量奖励值分配或映射到KPI值来执行，即，将可实现的真实KPI值或它们感兴趣的范围归一化到标量奖励值的范围。作为非限制性示例，标量奖励值的范围可以是－50到+50。然而，奖励值可以不必是整数，因为也可以使用其它数据类型。作为用于执行归一化的另一示例，可以通过针对好的KPI值(例如第一预定义范围内的值)设置+1的奖励，并且针对坏的KPI值(例如第二预定义范围内的值)设置－1的奖励值来将奖励值分配给KPI。
备选地，gNB可以明确地配置哪些KPI将被用在UE的报酬函数中，以及它们应该如何被加权。gNB可以例如基于UE的服务要求来配置UE。服务要求可以基于例如数据分组的传输报头中的5GQoS类索引，即5QI，以及基于对应的QoS参数，当建立分组会话时经由CN接口用信号通知这些QoS参数。5QI例如在3GPP TS23.501中被限定，并且可以包括诸如资源类型、分组延迟预算、分组差错率、数据突发量等的信息。作为非限制性示例，gNB可以设置不同的权重，例如用于超可靠低等待时间通信、URLLC、增强的移动宽带、eMBB，服务和/或高和低移动性用户来设置不同的权重。一旦被配置，UE就可以基于奖励函数的所配置的权重来执行基于天线面板交换的机器学习。
UE和gNB随后可以针对移动性目的(诸如，及时切换)而彼此执行无线电资源管理RRM信令202。例如，UE可以执行RRM测量，诸如参考信号接收功率RSRP和/或参考信号接收质量RSRQ，并且随后将测量结果发送到gNB。基于测量，gNB随后可以例如针对估计UE在不久的将来经历切换的概率。例如，如果UE报告指示UE远离小区边缘的高RSRP和/或RSRQ，则在不久的将来切换的概率可能较低。
gNB可以随后基于RRM信令202更新203用于UE的相对权重。作为示例，如果gNB估计针对UE在不久的将来经历切换的低概率，则gNB可以针对无线电链路故障和/或切换故障配置低或甚至为零的权重，用于UE在它的奖励函数中使用。因此，UE可以进一步放松或减少天线面板切换，否则它将针对及时切换的目的而执行。gNB还可以根据它的RRC状态针对奖励函数配置具有不同权重的UE，例如在RRC空闲模式和RRC连接模式中具有不同的权重。然而，针对使UE的基于机器学习的方案有效地操作，如果权重不被太频繁地更新则可能是有益的。
在另一示例性实施例中，机器学习算法或RL算法可以在探查模式下操作，其中软件代理例如以一定概率随机地执行动作，以收集关于环境的信息。这可能是有益的，以便允许软件代理体验所有或大多数可能的状态，从而可以长期最大化平均奖励。
在一些示例性实施例中，如果图2中所图示的信令不存在，则UE仍然可以例如基于硬编码的奖励函数，或者例如基于5QI信息以其他方式确定为适当的奖励函数，来执行基于机器学习的天线面板切换。
图3图示出了根据示例性实施例的用于机器学习的二维状态空间。状态空间包括多个状态301。第一维，即X轴，表示例如由接收到的RSRP测量的服务小区质量的量化版本。应当理解，RSRP在本文中仅被用作一个示例，并且服务小区质量也可以例如通过在CSI－RS上接收的SINR来测量。第二维，即Y轴，表示例如通过RSRP测量的最强相邻小区质量的量化版本。换而言之，状态空间中的状态301可以由服务小区质量和最强相邻小区质量的量化测量来限定。相邻小区可以被限定为与服务小区相邻的另一小区。对角区域301包括指示高切换概率的状态。
图3中所图示的状态空间可以反映总体性能，因此可能希望使UE在尽可能靠右的状态下操作，即具有高服务小区质量。在每个动作处，UE的新状态可以由它在活动天线面板上的测量来确定，即由UE测量服务小区质量，诸如RSRP。然而，为了确定哪个天线面板对应于最高接收服务小区质量，也可能要求UE定期地在其它天线面板上执行测量。UE可以随后确定对应于最高已接收质量的天线面板是它最佳天线面板。当UE交换到在与它当前最佳天线面板相比的另一天线面板上执行测量时，它可能经历服务小区质量的10－30dB下降，而最佳相邻小区质量可能经历得更强。如果服务小区正在使用波束网格，则服务小区质量可以被测量为通过所选择的波束的接收质量，作为基于MAC的波束管理过程的部分被通知给UE。UE还可以测量来自相邻小区的RSRP。如果相邻小区也利用波束网格操作，则相邻小区RSRP可以是对应于来自小区的最强波束的RSRP。例如，可以在来自小区的经波束成形的SSB上测量RSRP。
在另一示例性实施例中，包括三维或多维的状态空间可以被使用。例如，除了图3所图示的二维之外，第三维可以被用以表示滤波后的波束故障率，第四维可以被用以表示滤波后的无线电链路故障率，和/或第五维可以被用以表示滤波后的切换故障率。这些维度中的三个或更多个维度的任意组合可以被使用在该示例性实施例中。奖励函数可以被限定为剩余KPI的已加权平均，即不在所使用的状态空间维度中的KPI，包括QoS度量。UE中使用的状态空间的类型和维度可以取决于UE实现和处理能力。在初始呼叫建立时，可以向服务基站通知UE在所实现的状态空间的维度和对应的奖励函数方面的能力，以便基站能够选择适当的标量权重。
图4示出了根据用于基于机器学习的天线面板切换的示例性实施例的流程图。图4所示的示例性实施例可以利用例如图3所示的状态空间。图4所示的功能可以由诸如UE的装置来执行。
在框401中，策略被用于基于当前状态和奖励函数来选择要在下一时刻采取的动作。所选择的动作指示UE中所包括的多个天线面板中的哪个天线面板要被用于例如在下一SSB突发期间的测量。所指示的天线面板可以与当前有源的天线面板相同，或者它可以是另一个天线面板。
在框402中，所选择的动作被执行，即所指示的天线面板被用于测量服务小区和一个或多个邻居小区的质量度量，例如RSRP。这些测量可以被存储在例如UE的内部数据库中，使得UE可以保持跟踪从其天线面板接收到的最强的邻居小区测量，并且基于这些测量来更新403状态，即在执行动作之后。
在框404中，被包括在奖励函数中的KPI基于测量被更新。然后，例如通过使用从基站接收的权重，可以将新的长期奖励标量值确定或计算为KPI的加权平均值。长期时间值可以取决于要被最大化的KPI。如下时间时段可以是另一重要因素：该平均返回或奖励在该时间时段上被最大化。例如，环境可以被假设在足够长的时间是恒定的，以允许代理学习最佳策略。作为非限制性示例，针对长期奖励标量值的时间范围可以是100ms－1000ms，在该时间范围上，奖励可以被最大化，直到环境变化太多，并且RL算法需要重新学习最佳策略。
作为非限制性示例，奖励函数可以是KPI的加权平均，诸如UE经历的服务小区质量，经历的长期波束故障率，经历的长期无线电链路故障率和/或切换故障率。然而，应当理解，奖励函数还可以包括不同的和/或附加的KPI。
为了使长期性能最大化，在对KPI进行加权并确定更新的奖励函数之前，可以使用低通滤波来迭代地更新KPI。例如，对于服务小区质量KPI，可以使用无限脉冲响应IIR滤波器来确定所经历的平均RSRP或SINR。如果UE切换到指向远离服务小区的天线面板，则这可以由较低的服务小区RSRP或SINR来表示，并且因此由服务小区质量的下降来表示。IIR可以对以dB或dBm表达的样本进行操作，使得几何平均值被确定，因为这可以更准确地表示服务小区性能。类似地，对于波束故障和交换故障，可以在预定义长度的滑动窗口期间确定这些错误的比率。波束跟踪错误可能比交换更频繁地发生，因此用于监测波束故障率的滑动窗口长度可以比用于确定交换故障率的窗口短。例如，由UE使用用于确定波束故障率和交换故障率的滑动窗口的长度可以作为图2所示信令的一部分从基站向UE发信令。
在框405中，策略可以例如通过使用Q学习RL算法或深度Q学习算法而被更新。策略的目的可以是基于如由权重指示的KPI之间的期望折衷来优化长期性能。UE可以通过使用贝尔曼(Bellman)方程经由迭代更新来学习Q函数。例如，针对个别状态动作对的Q值可以在数据结构(诸如表)中被存储和被更新。作为另一个例子，卷积神经网络可以用于数据结构表的学习。卷积神经网络例如对于高维状态和连续状态可能是有益的。
图4所示的过程可以是迭代的，使得在块405之后，它返回到块401并且从那里继续。例如，该过程可以以与从一个或多个小区所发送的SSB突发同步的20ms间隔运行。
在一些示例性实施例中，UE可以在框405之后返回以使用其最佳天线面板。备选地，如果与先前被确定为最佳天线面板的天线面板的数据库中所记录的测量相比，在所选择的天线面板上的最新测量的服务小区质量更好，则在框405之后，可以将所选择的天线面板更新为最佳天线面板。然后，UE可以使用最佳天线面板用于发送和/或接收。然而，如果UE处于探测模式，则它可以使用随机选择的天线面板。
在另一示例性实施例中，图3所示的过程可以通过利用驻扎小区质量代替服务小区质量而用于RRC空闲模式。附加地，基站可以配置UE具有针对其奖励函数的不同权重，以在RRC空闲模式下使用。例如，诸如波束故障和交换故障的度量可能与处于RRC空闲模式的UE无关。此外，驻扎小区质量目标可能不如例如与URLLC类型的服务连接的RRC中的UE严格。
给定RRC连接模式状态或RRC空闲模式状态的有限长度，RL算法可以在插话式(episodic)任务模式下操作，这意味着在同一UE的连续RRC连接模式或RRC空闲模式之间独立地更新并且应用天线面板选择策略。例如，可以独立地运行两个单独的RL算法，即，每个算法分别针对连接模式和空闲模式优化它们自己的策略。
图5示出了根据示例性实施例的流程图。在框501中，通过使用机器学习算法从多个天线面板选择天线面板。在框502中，至少部分地基于在所选择的天线面板上接收到的一个或多个第一信号来确定与所选择的天线面板相关联的第一长期奖励值。在框503中，评估所确定的第一长期奖励值是否超过与多个天线面板的至少一个子集相关联的一个或多个第二长期奖励值。换句话说，一个或多个第二长期奖励值可以与多个天线面板中所包括的其它天线面板相关联。该一个或多个第二长期奖励值可以是先前确定的长期奖励值，该长期奖励值可以存储在例如内部或外部数据库(例如表格)中，并且可以从例如内部或外部数据库(例如表格)中被获得以供评估。如果第一长期奖励值超过一个或多个第二长期奖励值(503：是)，则在方框504中，经由所选择的天线面板发送或接收第二信号。如果第一长期奖励值未超过一个或多个第二长期奖励值(503：否)，则可以经由另一天线面板(例如，与最高长期奖励值相关联的天线面板)来发送或接收第二信号，并且过程可以返回到方框501。
换句话说，最大化整体的长期奖励值可以是软件代理的主要目的。用于选择每个天线面板的不同奖励值可以用于每个时间步长中。这些即时奖励值可以基于先前描述的加权奖励函数而被计算，可能包括一些过滤。然后可以将长期奖励值确定为例如预定义时间窗口上的连续即时奖励值的平均值或总和。
在应用Q学习的一些示例性实施例中，长期奖励值可以是Q值，即状态值，或者至少基于Q值。换句话说，上面关于图5描述的第一长期奖励值可以基于第一Q值，并且一个或多个第二长期奖励值可以基于一个或多个第二Q值。然后可以经由与最高Q值相关联的天线面板发送或接收第二信号。Q值的估计可以基于利用先前描述的加权奖励函数所计算的每个动作和时间步长的即时奖励值。
以上通过图2、图4和图5描述的功能和/或块不是绝对的时间顺序，并且它们中的一些可以同时执行或以不同于所描述的顺序执行。其它功能和/或块也可以在它们之间或它们之内执行。
图6示出了具有线性UE移动的示例性实施例。在该示例性实施例中，UE 601沿着轨迹602从西向东移动。UE可以包括四个天线面板，其中天线面板的主瓣分别指向北、东、南和西。在该情况下，最佳天线面板是指向西方的天线面板，即朝向服务小区603的天线面板。换句话说，当UE在指向西方的天线面板上测量时，它比在其它天线面板上经历更高的服务小区质量，并且它处于如图3的状态空间中所示的向右的状态。另一方面，当UE在指向东方的天线面板、即朝向邻居小区604的天线面板上测量时，它比在西方天线面板上经历更低的服务小区质量但更高的邻居小区质量，因此它处于图3所示的状态空间的顶部的状态。当UE在指向北或南的天线面板上测量时，服务小区质量小于西天线面板，并且邻居小区质量小于东天线面板。因此，UE可以学习对在西天线面板和东天线面板上进行测量进行优先级排序，并且当它接近两个小区之间的边界时，它可以更经常地在东面板上测量，以便及时地执行交换。否则，UE可能经历交换故障，导致奖励函数的下降和策略的调整，以避免交换故障再次发生。
图7示出了具有旋转UE的示例性实施例。在该示例性实施例中，UE 701旋转702，因此最佳天线面板将随着UE旋转而切换。UE在不久的将来可能不经受交换，因此它可能仅示出服务小区703。在第一时刻，第一天线面板可以是最佳天线面板。当UE旋转时，在第二时刻第二天线面板可以变成最佳天线面板。如果UE在第二时刻没有切换到第二天线面板，则它可能经历波束故障、服务小区质量下降和/或无线电链路故障。因此，UE可以随时间学习在与第一时刻和第二时刻相对应的后续旋转时段期间对第一天线面板和第二天线面板上的测量进行优先级排序，同时在这些时段期间对其它天线面板上的测量给予低优先级。
由一些示例性实施例提供的技术优点可以是：它们可以使装置(诸如UE)能够自动学习何时在除了有源天线面板之外的其它天线面板上执行测量，以便确定哪个天线面板提供对应于长期平均时间时段的最佳信号质量。通过在适当的时间切换到提供最佳信号质量的天线面板，服务小区质量可以被增加，并且无线电链路故障、波束故障和/或交换故障可以被减少。
图8示出了根据示例性实施例的装置800，其可以是诸如终端设备或包括在终端设备中的装置。装置800包括处理器810。处理器810解释计算机程序指令并且处理数据。处理器810可以包括一个或多个可编程处理器。处理器810可以包括具有嵌入式固件的可编程硬件，并且可替换地或附加地，可以包括一个或多个专用集成电路ASIC。
处理器810被耦合到存储器820。处理器被配置为向存储器820读取数据和从存储器820写入数据。存储器820可以包括一个或多个存储器单元。存储器单元可以是易失性或非易失性的。应注意，在一些示范性实施例中，可以存在一个或多个非易失性存储器单元和一个或多个易失性存储器单元，或替代地，一个或多个非易失性存储器，或替代地，一个或多个易失性存储器。易失性存储器可以是例如RAM、DRAM或SDRAM。非易失性存储器可以是例如ROM、PROM、EEPROM、闪存、光存储装置或磁存储装置。一般而言，存储器可以被称为非瞬态计算机可读介质。存储器820存储由处理器810执行的计算机可读指令。例如，非易失性存储器存储计算机可读指令，并且处理器810使用用于临时存储数据和/或指令的易失性存储器来执行指令。
计算机可读指令可以预先存储在存储器820中，或者备选地或附加地，它们可以由装置经由电磁载波信号接收和/或可以从诸如计算机程序产品的物理实体复制。计算机可读指令的执行使装置800执行上述一个或多个功能。
在本文档的上下文中，“存储器”或“计算机可读媒介”或“计算机可读介质”可以是能够包含、存储、传送、传播或传输指令以供由指令执行系统、装置或设备(例如计算机)使用或与指令执行系统、装置或设备(例如计算机)结合使用的任何非瞬态介质或媒介或部件(means)。
装置800还可以包括或连接到输入单元830。输入单元830可以包括用于接收输入的一个或多个接口。该一个或多个接口可以包括例如一个或多个温度传感器、运动传感器和/或定向传感器、一个或多个相机、一个或多个加速度计、一个或多个麦克风、一个或多个按钮和/或一个或多个触摸检测单元。此外，输入单元830可以包括外部设备可以连接到的接口。
装置800还可以包括输出单元840。输出单元可以包括或连接到能够呈现可视内容的一个或多个显示器，例如发光二极管、LED、显示器、液晶显示器、LCD和硅上液晶、LCoS显示器。输出单元840还可以包括一个或多个音频输出。一个或多个音频输出可以是例如扬声器。
装置800还包括连接单元850。连接单元850实现与一个或多个外部设备的无线连接。连接单元850包括可以集成到装置800或者可以连接到装置800的至少一个发送器和至少一个接收器。该至少一个发送器包括至少一个发送天线，并且该至少一个接收器包括至少一个接收天线。连接单元850可以包括为装置800提供无线通信能力的集成电路或一组集成电路。备选地，无线连接可以是硬连线专用集成电路ASIC。连接单元850可以包括由相应的控制单元控制的一个或多个部件，例如功率放大器、数字前端DFE、模数转换器ADC、数模转换器DAC、频率转换器、(解)调制器和/或编码器/解码器电路装置。
应当注意，装置800还可以包括图8中未示出的各种组件。各种组件可以是硬件组件和/或软件组件。
图9的装置900示出了诸如或包括在基站(诸如gNB)中的装置的示例性实施例。该装置可以包括例如可应用于基站的电路装置或芯片组，以实现所描述的示例性实施例中的一些。装置900可以是包括一个或多个电子电路的电子设备。装置900可以包括诸如至少一个处理器的通信控制电路装置910、以及包括计算机程序代码(软件)922的至少一个存储器920，其中至少一个存储器和计算机程序代码(软件)922被配置为与至少一个处理器一起使得装置900执行上述示例性实施例中的一些。
存储器920可以使用任何合适的数据存储技术来实施，例如基于半导体的存储器设备、快闪存储器、磁性存储器设备和系统、光学存储器设备和系统、固定存储器和可移除存储器。存储器可以包括用于存储配置数据的配置数据库。例如，配置数据库可以存储当前邻居小区列表，并且在一些示例性实施例中，可以存储在检测到的邻居小区中使用的帧的结构。
装置900还可以包括通信接口930，通信接口930包括用于根据一个或多个通信协议实现通信连接性的硬件和/或软件。通信接口930可以向该装置提供无线电通信能力以在蜂窝通信系统中通信。通信接口例如可以提供到终端设备的无线电接口。装置900还可以包括朝向核心网络(诸如网络协调器装置)的另一接口和/或到蜂窝通信系统的接入节点。装置900还可以包括被配置为分配资源的调度器940。
如本申请案中所使用，术语“电路装置”可以指以下各项中的一个或多个或全部：
a仅硬件电路实现方式(例如仅模拟和/或数字电路装置中的实现方式)以及
b硬件电路和软件的组合，例如(如适用)：
i(多个)模拟和/或数字硬件电路与软件/固件的组合，以及
ii具有软件的(多个)硬件处理器(包括(多个)数字信号处理器)、软件和(多个)存储器的任何部分，它们一起工作以使诸如移动电话的装置执行各种功能)以及
c需要软件(例如固件)来操作的(多个)硬件电路和/或(多个)处理器，例如(多个)微处理器或(多个)微处理器的一部分，但是当不需要该软件来操作时，该软件可以不存在。
电路装置的这个定义适用于本申请中这个术语的所有使用，包括在任何权利要求中。作为另一示例，如本申请中所使用，术语电路装置还涵盖仅硬件电路或处理器(或多个处理器)或硬件电路或处理器的一部分及其伴随软件和/或固件的实施方式。术语电路装置还涵盖(例如且如果适用于特定权利要求元素)用于移动设备的基带集成电路或处理器集成电路或服务器中的类似集成电路、蜂窝式网络设备或其它计算或网络设备。
这里描述的技术和方法可以通过各种部件来实现。例如，这些技术可以以硬件(一个或多个设备)、固件(一个或多个设备)、软件(一个或多个模块)或其组合来实现。对于硬件实施方式，示例性实施例的(多个)装置可以实施于一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、处理器、控制器、微控制器、微处理器、经设计以执行本文所述功能的其它电子单元或其组合内。对于固件或软件，该实现可以通过执行这里描述的功能的至少一个芯片组的模块(例如，过程、函数等)来执行。软件代码可以存储在存储器单元中并由处理器执行。存储器单元可以在处理器内或处理器外部实施。在后一种情况下，它可以经由本领域已知的各种部件通信地耦合到处理器。附加地，在此描述的系统的组件可以由附加组件重新布置和/或补充，以便于支持对关于其描述的各个方面等的实现，并且它们不限于给定附图中阐述的精确配置，如本领域技术人员将理解的。
对于本领域技术人员显而易见的是，随着技术的进步，本发明的概念可以以各种方式实现。实施例不限于上述示例性实施例，而是可以在权利要求的范围内变化。因此，所有的词语和表达应该被广泛地解释，并且它们旨在说明而不是限制示例性实施例。

Claims (15)

1.一种通信装置，包括至少一个处理器和包括计算机程序代码的至少一个存储器，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置：
使用机器学习算法从多个天线面板中选择天线面板；
至少部分地基于在所选择的所述天线面板上接收到的一个或多个第一信号来确定与所选择的所述天线面板相关联的第一长期奖励值，其中所述第一长期奖励值是第一时间窗口上的连续即时奖励值的平均值或总和，其中所述连续即时奖励值是至少部分地基于多个关键性能指标的，所述多个关键性能指标至少包括服务小区质量度量和波束故障率；
在所述第一长期奖励值超过与所述多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的所述天线面板发送或接收第二信号。
2.根据权利要求1所述的装置，其中所述机器学习算法是基于强化学习的。
3.根据权利要求1所述的装置，其中所述机器学习算法是基于包括至少两个维度的状态空间的，其中第一维度指示所述服务小区质量度量，并且第二维度指示邻居小区质量度量。
4.根据权利要求1所述的装置，其中所述天线面板是通过使用策略来选择的，所述策略用以至少部分地基于当前状态和奖励函数来选择与所选择的所述天线面板相对应的动作，其中所述奖励函数基于多个权重。
5.根据权利要求4所述的装置，其中所述多个权重是如下的标量值，所述标量值指示用于最大化所述服务小区质量度量、最小化所述波束故障率、最小化无线电链路故障率和/或最小化切换故障率的优先级。
6.根据权利要求4所述的装置，其中所述装置还被使得从基站获得所述多个权重。
7.根据权利要求6所述的装置，其中所述装置还被使得：
测量与在所选择的所述天线面板上接收到的一个或多个所述第一信号相关联的质量度量；
至少部分地基于所测量的所述质量度量来更新所述状态、所述奖励函数和所述策略。
8.根据权利要求7所述的装置，其中所述策略是通过使用Q学习来更新针对一个或多个状态动作对的Q值而被更新的。
9.根据权利要求7所述的装置，其中所述装置还被使得：
向所述基站发送所测量的所述质量度量；
从所述基站接收更新的多个权重。
10.根据权利要求7所述的装置，其中所述质量度量包括参考信号接收功率值和/或信干噪比值。
11.根据权利要求1所述的装置，其中一个或多个所述第二长期奖励值是从数据库获取的。
12.根据权利要求1至11所述的装置，其中一个或多个所述第一信号至少包括服务小区信号和邻居小区信号。
13.一种通信系统，至少包括：
终端设备和基站；
其中所述终端设备被配置成：
使用机器学习算法从多个天线面板中选择天线面板；
经由所选择的所述天线面板从所述基站接收一个或多个第一信号；
至少部分地基于在所选择的所述天线面板上接收到的一个或多个所述第一信号来确定与所选择的所述天线面板相关联的第一长期奖励值，其中所述第一长期奖励值是第一时间窗口上的连续即时奖励值的平均值或总和，其中所述连续即时奖励值是至少部分地基于多个关键性能指标的，所述多个关键性能指标至少包括服务小区质量度量和波束故障率；
在所述第一长期奖励值超过与所述多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的所述天线面板发送或接收第二信号；
其中所述基站被配置成：
向所述终端设备发送一个或多个所述第一信号；
从终端设备接收第二信号或向终端设备发送第二信号。
14.一种用于通信的方法，包括：
使用机器学习算法从多个天线面板中选择天线面板；
至少部分地基于在所选择的所述天线面板上接收到的一个或多个第一信号来确定与所选择的所述天线面板相关联的第一长期奖励值，其中所述第一长期奖励值是第一时间窗口上的连续即时奖励值的平均值或总和，其中所述连续即时奖励值是至少部分地基于多个关键性能指标的，所述多个关键性能指标至少包括服务小区质量度量和波束故障率；
在所述第一长期奖励值超过与所述多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的所述天线面板发送或接收第二信号。
15.一种计算机程序，包括用于使装置执行至少以下项的指令：
使用机器学习算法从多个天线面板中选择天线面板；
至少部分地基于在所选择的天线面板上接收到的一个或多个第一信号来确定与所选择的所述天线面板相关联的第一长期奖励值，其中所述第一长期奖励值是第一时间窗口上的连续即时奖励值的平均值或总和，其中所述连续即时奖励值是至少部分地基于多个关键性能指标的，所述多个关键性能指标至少包括服务小区质量度量和波束故障率；
在所述第一长期奖励值超过与所述多个天线面板的至少子集相关联的一个或多个第二长期奖励值的情况下，经由所选择的所述天线面板发送或接收第二信号。
CN202110891137.0A 2020-08-04 2021-08-04 基于机器学习的天线面板切换 Pending CN114070373A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20205781A FI20205781A1 (en) 2020-08-04 2020-08-04 MACHINE LEARNING BASED ANTENNA PANEL WIRING
FI20205781 2020-08-04

Publications (1)

Publication Number Publication Date
CN114070373A true CN114070373A (zh) 2022-02-18

Family

ID=77168113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110891137.0A Pending CN114070373A (zh) 2020-08-04 2021-08-04 基于机器学习的天线面板切换

Country Status (4)

Country Link
US (1) US11902806B2 (zh)
EP (1) EP3951661A1 (zh)
CN (1) CN114070373A (zh)
FI (1) FI20205781A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3788775B1 (en) * 2018-05-02 2021-09-22 Telefonaktiebolaget LM Ericsson (publ) User equipment, method by a user equipment, and network node
FI20205781A1 (en) * 2020-08-04 2022-02-05 Nokia Technologies Oy MACHINE LEARNING BASED ANTENNA PANEL WIRING
CN114912041A (zh) * 2021-01-29 2022-08-16 伊姆西Ip控股有限责任公司 信息处理方法、电子设备和计算机程序产品
WO2024060045A1 (en) * 2022-09-21 2024-03-28 Qualcomm Incorporated Antenna switching diversity techniques in wireless communications

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103548375A (zh) * 2010-12-03 2014-01-29 华为技术有限公司 通信方法及装置
US9972339B1 (en) * 2016-08-04 2018-05-15 Amazon Technologies, Inc. Neural network based beam selection
WO2019004887A1 (en) * 2017-06-29 2019-01-03 Telefonaktiebolaget Lm Ericsson (Publ) NETWORK NODE, WIRELESS DEVICE, AND ASSOCIATED BEAM SELECTION METHODS
EP3665792A1 (en) * 2017-08-09 2020-06-17 IDAC Holdings, Inc. Methods and systems for beam recovery and management
US10944465B2 (en) * 2017-08-09 2021-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for antenna beam selection
US10587323B2 (en) * 2017-08-11 2020-03-10 Lg Electronics Inc. Method for transmitting and receiving reference signal and apparatus therefor
US11067964B2 (en) * 2018-01-17 2021-07-20 Kymeta Corporation Method to improve performance, manufacturing, and design of a satellite antenna
EP3581961A1 (en) * 2018-06-13 2019-12-18 Technische Universität München Method and apparatus for ultrasound imaging with improved beamforming
WO2020009628A1 (en) * 2018-07-03 2020-01-09 Telefonaktiebolaget Lm Ericsson (Publ) A network node and method in a wireless communications network
US10797810B2 (en) 2018-08-21 2020-10-06 Futurewei Technologies, Inc. System and method for communications with multi-antenna panel devices
US10841819B2 (en) * 2018-08-31 2020-11-17 Intel Corporation Scenario adaptive downlink beam management scheduling
US10892858B2 (en) * 2018-09-28 2021-01-12 At&T Intellectual Property I, L.P. Chain broadcasting in vehicle-to-everything (V2X) communications
US10979913B2 (en) * 2019-04-03 2021-04-13 At&T Intellectual Property I, L.P. Wireless network coverage based on a predetermined device cluster model selected according to a current key performance indicator
US10666342B1 (en) * 2019-05-01 2020-05-26 Qualcomm Incorporated Beam management using adaptive learning
EP4050816A4 (en) * 2019-10-30 2022-11-09 Sony Group Corporation WIRELESS COMMUNICATION DEVICE AND METHOD OF SELECTION
KR20210098667A (ko) * 2020-02-03 2021-08-11 엘지전자 주식회사 지능적 신호 송수신 방법 및 이를 위한 장치
US20210326726A1 (en) * 2020-04-16 2021-10-21 Qualcomm Incorporated User equipment reporting for updating of machine learning algorithms
US11677454B2 (en) * 2020-04-24 2023-06-13 Qualcomm Incorporated Reporting beam measurements for proposed beams and other beams for beam selection
US20230275630A1 (en) * 2020-07-14 2023-08-31 Beijing Xiaomi Mobile Software Co., Ltd. Methods for information transmission, and communication device
FI20205781A1 (en) * 2020-08-04 2022-02-05 Nokia Technologies Oy MACHINE LEARNING BASED ANTENNA PANEL WIRING
US20230156497A1 (en) * 2021-11-18 2023-05-18 Qualcomm Incorporated Techniques for layer 1 cross-link interference measurement reporting
US11689298B1 (en) * 2022-07-11 2023-06-27 Vubiq Networks, Inc. Methods of aligning an articulated antenna device

Also Published As

Publication number Publication date
US20220046447A1 (en) 2022-02-10
FI20205781A1 (en) 2022-02-05
EP3951661A1 (en) 2022-02-09
US11902806B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
US11902806B2 (en) Machine learning based antenna panel switching
EP3876600B1 (en) Machine learning based handover parameter optimization
CN111727625A (zh) 条件切换
CN113661676B (zh) 选择无线网络中的上行链路传输频带
US20220295324A1 (en) Apparatus for radio access network data collection
US11770725B2 (en) Apparatus, method and computer program for adjusting radio resource management measurements
EP3793096B1 (en) Efficient data generation for beam pattern optimization
US20220038931A1 (en) Radio link adaptation in wireless network
US20230111045A1 (en) Testing Method and Arrangement
WO2021191498A1 (en) Proactive measures for reducing effects of power backoff
EP4184804A1 (en) Algorithm for mitigation of impact of uplink/downlink beam mis-match
US20220286991A1 (en) Clock synchronization
US20240040542A1 (en) Method and Apparatus for Efficient Positioning
EP4122252A1 (en) Handover under uplink transmit power limitation
EP4307572A1 (en) Method for beam management
US20230397259A1 (en) Adaptive cellular access
US20230370179A1 (en) Measurement accuracy monitoring
WO2022043608A1 (en) Interference estimation for improved reliability of connectivity
WO2023134853A1 (en) Apparatus, method, and computer program
WO2023193911A1 (en) Positioning of collaborating devices
WO2023078525A1 (en) Method for beam distribution
CN114630407A (zh) 确定开环功率控制参数

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination