CN114287145A - 在多载波动态频谱共享下的基于强化学习的无线电接入技术间负载平衡 - Google Patents

Abstract

一种方法可以包括：在强化学习负载平衡器处接收与载波的可用资源相关的负载度量。该方法还可以包括：基于负载度量来计算对用于用户的载波指派参数的更新。该方法还可以包括：基于负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新。此外，该方法可以包括：预测对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新对负载度量的影响。进一步地，该方法可以包括：将对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新传送给对应的一个或多个无线电接入技术的一个或多个无线电资源管理器，以用于应用到通信网络。

Description

在多载波动态频谱共享下的基于强化学习的无线电接入技术 间负载平衡

技术领域

一些示例实施例总体上可以涉及移动或无线电信系统，诸如长期演进(LTE)或第五代(5G)无线电接入技术或新无线电(NR)接入技术或其他通信系统。例如，某些实施例可以涉及用于在多载波动态频谱共享上下文下的基于强化学习的无线电接入技术间负载平衡的装置、系统和/或方法。

背景技术

移动或无线电信系统的示例可以包括通用移动电信系统(UMTS)、陆地无线电接入网络(UTRAN)、长期演进(LTE)演进型UTRAN(E-UTRAN)、LTE高级(LTE-A)、MulteFire、LTE-APro和/或第五代(5G)无线电接入技术或新无线电(NR)接入技术。第五代(5G)无线系统是指下一代(NG)无线电系统和网络架构。5G主要在新无线电(NR)上构建，但5G(或NG)网络也能够在E-UTRAN无线电上构建。据估计，NR将提供大约10到20Gbit/s或更高的位率，并且将至少支持增强型移动宽带(eMBB)和超可靠低延时通信(URLLC)以及大规模机器类型通信(mMTC)。NR预计递送极限宽带并且超稳健、低延时连接性和大规模联网，以支持物联网(IoT)。随着IoT和机器对机器(M2M)通信变得越来越普及，对满足较低功率、低数据速率和长电池寿命的需求的网络的需求将不断增长。应注意，在5G中，可以向用户设备(即，类似于UTRAN中的Node B或LTE中的eNB)提供无线电接入功能性的节点在NR无线电上被构建时被命名为gNB，并且在E-UTRAN无线电上被构建时被命名为NG-eNB。

发明内容

一个实施例可以涉及一种方法。该方法可以包括：在强化学习负载平衡器处接收与载波的可用资源相关的负载度量。该方法还可以包括：基于负载度量来计算对用于用户的载波指派参数的更新。该方法还可以包括：基于负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新。此外，该方法可以包括：预测对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新对负载度量的影响。进一步地，该方法可以包括：将对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新传送给一个或多个无线电接入技术的一个或多个无线电资源管理器，以用于应用到通信网络。

另一示例实施例可以涉及一种装置。该装置可以包括用于在强化学习负载平衡器处接收与载波的可用资源相关的负载度量的部件。该装置还可以包括用于基于负载度量来计算对用户的载波指派参数的更新的部件。该装置还可以包括用于基于负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新的部件。此外，该装置可以包括用于预测对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新对负载度量的影响的部件。进一步地，该装置可以包括用于将对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新传送给对应的一个或多个无线电接入技术的一个或多个无线电资源管理器的部件，以用于应用到通信网络。

另一示例实施例可以涉及一种装置，该装置可以包括至少一个处理器和至少一个存储器，该至少一个存储器包括计算机程序代码。至少一个存储器和计算机程序代码可以被配置为使用至少一个处理器使装置至少从无线电资源管理器接收与载波的可用资源相关的负载度量。还可以使该装置基于负载度量来计算对用户的载波指派参数的更新。此外，可以使该装置基于负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新。还可以使装置预测对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新对负载度量的影响。此外，可以使该装置将对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新传送给对应的一个或多个无线电接入技术的一个或多个无线电资源管理器，以用于应用到通信网络。

根据一些示例实施例，一种非瞬态计算机可读介质，该非瞬态计算机可读介质可以用指令被编码，该指令可以在硬件中被执行时执行方法。该方法可以包括：在强化学习负载平衡器处接收与载波的可用资源相关的负载度量。该方法还可以包括：基于负载度量来计算对用户的载波指派参数的更新。该方法还可以包括：基于负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新。此外，该方法可以包括：预测对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新对负载度量的影响。进一步地，该方法可以包括：将对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新传送给对应的一个或多个无线电接入技术的一个或多个无线电资源管理器，以用于应用到通信网络。

根据一些示例实施例，一种计算机程序产品可以执行方法。该方法可以包括：在强化学习负载平衡器处接收与载波的可用资源相关的负载度量。该方法还可以包括：基于负载度量来计算对用户的载波指派参数的更新。该方法还可以包括：基于负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新。此外，该方法可以包括：预测对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新对负载度量的影响。进一步地，该方法可以包括：将对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新传送给对应的一个或多个无线电接入技术的一个或多个无线电资源管理器，以用于应用到通信网络。

根据一些示例实施例，一种装置可以包括被配置为从无线电资源管理器接收与载波的可用资源相关的负载度量的电路系统。该装置还可以包括被配置为基于负载度量来计算对用户的载波指派参数的更新的电路系统。该装置还可以包括被配置为基于负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新的电路系统。该装置还可以包括被配置为预测对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新对负载度量的影响的电路系统。此外，该装置可以包括被配置为将对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新传送给对应的一个或多个无线电接入技术的一个或多个无线电资源管理器、以用于应用到通信网络的电路系统。

根据一些示例实施例，一种方法可以包括：从无线电资源管理器发送与载波的可用资源相关的负载度量。该方法还可以包括：接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例。该方法还可以包括：将经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例应用于通信网络。

根据一些示例实施例，一种装置可以包括用于从无线电资源管理器发送与载波的可用资源相关的负载度量的部件。该装置还可以包括用于接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例的部件。此外，该方法可以包括用于将经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例应用于通信网络的部件。

根据一些示例实施例，一种装置，可以包括至少一个处理器和至少一个存储器，该至少一个存储器包括计算机程序代码。至少一个存储器和计算机程序代码可以被配置为与至少一个处理器使装置一起至少向强化学习负载平衡器发送与载波的可用资源相关的负载度量。还可以使该装置接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例。还可以使该装置将经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例应用于通信网络。

根据一些示例实施例，一种非瞬态计算机可读介质，该非瞬态计算机可读介质可以利用指令而被编码，该指令可以在硬件中被执行时执行方法。该方法可以包括：从无线电资源管理器发送与载波的可用资源相关的负载度量。该方法还可以包括：接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例。该方法还可以包括：将经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例应用于通信网络。

根据一些示例实施例，一种计算机程序产品可以执行方法。该方法可以包括：从无线电资源管理器发送与载波的可用资源相关的负载度量。该方法还可以包括：接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例。该方法还可以包括：将经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例应用于通信网络。

根据一些实施例，一种装置可以包括被配置为向强化学习负载平衡器发送与载波的可用资源相关的负载度量的电路系统。该装置还可以包括被配置为接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例的电路系统。该装置还可以包括被配置为将经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例应用于通信网络的电路系统。

附图说明

为了正确理解示例实施例，应参考附图，其中：

图1图示了多载波频谱共享中的长期演进和新无线电共存的情况。

图2图示了到RAT无线电资源管理器(RRM)的无线电接入技术(RAT)间负载平衡器输入/输出关系。

图3图示了示例迭代多载波动态频谱共享(MC-DSS)负载平衡(LB)操作。

图4图示了根据示例实施例的强化学习(RL)RAT间MC-DSS负载平衡器操作的示例。

图5图示了根据示例实施例的RL学习负载平衡器阶段操作的示例。

图6图示了根据示例实施例的RL负载平衡器最佳性深度Q网络(DQN)输入和输出的示例。

图7图示了根据示例实施例的强化学习负载平衡器负载度量更新深度神经网络(DNN)输入和输出的示例。

图8图示了根据示例实施例的强化学习负载平衡器信干噪比预测DNN输入和输出的示例。

图9图示了根据示例实施例的RL负载平衡器在线训练和搜索过程的示例。

图10图示了根据示例实施例的方法的示例流程图。

图11图示了根据示例实施例的另一方法的示例流程图。

图12a图示了根据示例实施例的装置。

图12b图示了根据示例实施例的另一装置。

具体实施方式

应容易理解的是，如本文中一般描述并且本文中的图中图示的，某些示例实施例的组件可以按照各种不同的配置布置和设计。因此，下面是对用于在多载波动态频谱共享(SS)上下文下的基于强化学习(RL)的无线电接入技术间(RAT间)负载平衡的系统、方法、装置和计算机程序产品的一些示例实施例的详细描述。

在整个说明书中所描述的示例实施例的特征、结构或特点可以在一个或多个示例实施例中以任何合适的方式组合。例如，贯穿本说明书使用的短语“某些实施例”、“示例实施例”、“一些实施例”或其他类似语言是指结合实施例描述的特定特征、结构或特点可以被包括在至少一个实施例中的事实。因此，在整个本说明书中出现的短语“在某些实施例中”、“在示例实施例中”、“在一些实施例中”、“在其他实施例中”或其他类似语言不一定都是指同一组实施例，并且所描述的特征、结构或特点可以在一个或多个示例实施例中以任何合适的方式组合。

另外，视需要，下文所讨论的不同功能或步骤可以按不同顺序和/或彼此同时执行。此外，视需要，所描述的功能或步骤中的一个或多个功能或步骤可以是可选的或可以组合。因而，以下描述应被视为对某些示例实施例的原理和教导仅仅是说明性的，而不是对某些示例实施例的限制。

5G预计将具有多个无线电接口，即，低于6GHz、cmWave和mmWave并且还可与现有的传统无线电接入技术(诸如LTE)集成。至少在早期阶段，与LTE的集成可以被实施为宏覆盖范围由LTE提供并且5G无线电接口接入通过聚合到LTE而来自小小区的系统。换言之，5G计划支持RAT间可操作性(诸如LTE-5G)和RI间可操作性(无线电接口间可操作性，诸如低于6GHz–cmWave，低于6GHz–cmWave–mmWave)两者。考虑要在5G网络中使用的概念中的一个概念是网络切片，其中可以在相同的基础设施内创建多个独立并且专用的虚拟子网(网络实例)，以运行对延时、可靠性、吞吐量和移动性具有不同要求的服务。

LTE网络中的当前架构完全分布在无线电中并且完全集中在核心网络中。5G中的低延时应用和服务需要使内容接近于无线电，这会导致本地疏导和多接入边缘计算(MEC)。5G使得分析和知识生成能够在数据源中发生。该途径需要利用可能无法持续地连接到网络(诸如膝上型计算机、智能电话、平板以及传感器)的资源。MEC为应用和服务托管提供分布式计算环境。其还能够在紧靠蜂窝用户的地方存储和处理内容以加快响应时间。边缘计算涵盖同样可分类为本地云/雾计算和网格/网状计算、露计算、移动边缘计算、朵云、分布式数据存储和检索、自主自愈网络、远程云服务、增强和虚拟现实、数据缓存、物联网(大规模连接性和/或延时关键)和关键通信(自动车辆、交通安全、实时分析、时间关键控制、医疗保健应用)的广泛的技术，诸如无线传感器网络、移动数据获取、移动签名分析、协作分布式对等ad hoc联网和处理。

5G-NR已经在第3代合作伙伴计划(3GPP)中指定为能够在相同频谱内与4G-LTE共存。无线电接入网络(RAN)运营方可能需要在相同频谱中共存(即，频谱共享)的能力，以节省宝贵的频谱资源，同时在相同蜂窝覆盖范围下支持多种无线电接入技术(RAT)。此外，共存可以发生在多个带中的多个载波上。

例如，图1图示了多载波频谱共享中的LTE和NR共存的情况。由于两个RAT的所提供的数据负载随着时间而变化，因此两个RAT的无线系统运营方必须高效地使用共享的无线电资源。这可以通过RAT间负载平衡器(LB)或通过RAT间公共调度器(CS)来实现，其中LB和CS两者都可以使用相同的吞吐量最大化或比例公平度量最大化框架，但在不同的时间尺度上。此外，RAT间CS可以提供优于LB的性能益处，这是由于其可以利用负载中的子帧或时隙级波动，但因CS需要同步多RAT操作而处于复杂性惩罚下。CS不仅增加了复杂性，而且还需要低延时信息交换，并且因此仅适用于“单RAN”解决方案。因此，LB可以是在共存NR-LTE部署开始时动态频谱共享(DSS)的可行解决方案。

5G-NR优于4G-LTE的一个优点是只有NR能够支持极宽的单载波带宽(例如100MHz)载波，从而允许大得多的吞吐量。通常，与通常具有低带宽的低频带(LFB)相比，(例如FR1：低于6GHz，或低FR1：低于3GHz)，高带宽载波位于高频率信道/带(HFB)(例如频率区2(FR2))处：高于6GHz，或频率区1(FR1)：在3至6GHz之间)。然而，在HFB处，由于在如此高的频率下的高穿透损耗，因此小区覆盖范围较小。

与LFB相比，两者(宽带宽和小小区覆盖范围)将使HFB频率资源被严重利用不足。通常，由于低UL传输(Tx)功率(相对于DL)，因此存在大(至多13dB)下行链路(DL)和上行链路(UL)覆盖范围间距。在许多情况下，在LFB与HFB载波之间进行多载波操作(耦合)以减轻HFB与LFB之间的这种不平衡，并且支持HFB的覆盖范围、移动性和可靠性的改进。

针对NR执行多载波(MC)操作可以是有益的，其中聚合载波中的至少一个聚合载波位于HFB处(用于提高吞吐量)，并且至少一个聚合载波位于LFB处(用于提高覆盖范围)。然而，在某些情况下，当部署NR时，LFB可能已经充满LTE载波。通过MC-SS，LFB资源可以与HFB载波一起用于新5G用户，同时维持相同的LFB资源以支持预先存在的LTE用户。某些示例实施例可以提供解决方案以向两个RAT的UE并且通过多个载波公平地共享频谱和时间资源两者。

进一步地，某些示例实施例可以限定用于统一负载平衡(LB)的强化学习(RL)算法，该强化学习算法处理频谱共享(在LTE与NR之间)和LFB-HFB耦合(在NR内)。这是对LTE内和NR内的载波之间的现有LB的补充，并且如果使用时分双工(TDD)帧配置，那么上行链路(UL)/下行链路(DL)切分。其也可以应用于具有频分双工(FDD)帧配置的网络。

先前，已经提供了用于MC-DSS(MC-DSS LB)的RAT间负载平衡的解决方案，以努力通过如下方式使用户吞吐量最大化并且提高可靠性：迭代并且公平地调整1)接收信号强度(RSS)或功率余量(PHR)阈值和主要载波指派的目标指派比例、2)共享资源池的划分和3)TDD帧配置。所有三个都可以基于每个调度器的负载度量(LM)来动态更新以平衡两个链路。在图2中图示了其与RAT无线电资源管理器(RRM)的输入/输出关系。

过去，已经将共享射频资源切分成正交(即，非共干扰)资源池，其中每个RAT被指派资源池。资源池是时间和频率的分段的聚合，该时间和频率的分段是用于RAT的专门使用，而非任何其他的专门使用。LB基于每个RAT在每个载波处的相对提供的数据负载来调整每个资源池的比例。在资源池比例由LB确定之后，对UE的调度可以由每个RAT网络独立地针对其资源池来进行。此外，考虑到这些载波上的RAT内和RAT间负载，LB将UE指派给其适合的主载波。而且，针对具有使用TDD帧配置的一个或多个载波的系统，考虑到多个RAT在每个载波处的资源池的利用率，LB计算TDD UL/DL切分比例。

RAT可以就如何在其自身之间划分共享资源池达成一致，使得在RAT从LB接收到其对应的资源池切分部分时，确保RP划分之间的正交性。此外，RAT可以就如何划分TDD帧配置达成一致，以使得在UL/DL切分比例由LB决策时，跨RAT的UL和DL传输将被同步。RP和TDD的划分规则可以由RRM或由另一实体(诸如LB)中的一者确定。

MC-DSS LB操作可以关于三环架构被表征。例如，LB方案可以使用公共负载度量、跨多个RAT、链路(即，UL/DL)、频带和载波，来迭代地优化该资源切分和用户指派。该方案还可以跨所有RAT、链路、带和载波产生最大化的总日志吞吐量或资源的均衡利用率。

图3图示了示例迭代多载波动态频谱共享(MC-DSS)负载平衡(LB)操作。如图3中所图示，迭代操作包括TDD帧配置的外环、资源池配置的中间环和UE的主载波指派的内环。

在外环中，在某个调度时段之后或在被触发之后，每个小区的调度器可以测量负载度量并且将负载度量传递给LB。利用该负载度量，LB然后可以基于一个或多个小区的组合报告负载度量来计算UL/DL切分比例。LB还可以将切分比例传递给每个小区的TDD帧配置，其然后应用切分比例。一旦每个小区应用了切分比例，就可以执行中间环，并且可以无限重复外环的过程。

在中间环中，在某个调度时段之后或在被触发之后，调度器可以测量负载度量并且将负载度量传递给LB。利用负载度量，LB可以为一个或多个小区计算每个RAT的资源池切分比例。此外，LB可以将切分比例传递给资源池配置，其然后应用切分比例。一旦每个小区应用了切分比例，就可以执行内环，并且中间环的过程可以被重复几次迭代，诸如例如一次或多次迭代。一次迭代可以包括负载度量的测量、配置参数的计算和配置参数的应用。

在内环中，在某个调度时段之后或在被触发之后，调度器可以测量负载度量并且将负载度量传递给LB。针对一个或多个小区，LB可以计算每个载波的UE比例的目标数量并且接收每个带的信号强度(RSS)阈值。在示例实施例中，每个载波的UE比例的数量可以基于的是每个载波的资源池的大小。此外，RSS阈值可以旨在使UE公平地适合于不同的频带，同时确保每个带的覆盖范围(基于MC操作的类型)不被超出。

在内环中，计算出的目标UE比例和RSS阈值可以在LB计算每个载波的UE比例的目标数量和每个带的RSS阈值之后传递到主载波指派(PCA)上。PCA然后可以基于每载波的目标比例和每带的RSS阈值来分派(apportion)UE。在分派之后，调度可以由小区执行。如同外环和中间环，内环的过程可以重复几次迭代，并且进程可以返回到中间环。

如图3中所图示，过程是迭代封闭形式过程，其中帧配置、资源池配置和主载波指派是按顺序执行的。这样，其对最佳负载平衡的收敛是慢的。而且，由于该过程对历史负载是反作用的，因此其不对预测未来负载提供负载平衡的能力，该预测未来负载可以与历史负载不同。因此，根据某些示例实施例，可以提供RL算法，其基于历史负载和预测未来负载两者来联合计算和应用优化的帧配置、资源池配置和主载波指派。此外，算法可以将信干噪比(SINR)、RSS和PHR分布包含到RL模型中。这些可以帮助执行影响未来负载的每用户载波指派决策。进一步地，由于通过RL执行多个LB配置参数的优化的单触发联合更新的能力，因此某些示例实施例可以比上述先前过程更快并且更准确地实现优化的负载平衡。

图4图示了根据示例实施例的RL RAT间MC-DSS负载平衡器操作的示例。根据示例实施例，RL负载平衡器可以由若干阶段组成，如图4中所图示。进一步地，图5图示了根据示例实施例的RL学习负载平衡器阶段操作的示例。此处，每个阶段可以计算对载波指派参数的潜在更新并且切分比例和预测这些变化对负载度量和整体负载平衡的影响。阶段的载波指派配置的变化对整体负载平衡的积极影响由正(positive)Bellman方程Q函数值指示，该正Bellman方程Q函数值由深度Q网络(DQN)计算。进一步地，RL负载平衡器可以使用Q函数值，该Q函数值在被最大化时可以导致跨所有载波、带、RAT和链路的用户吞吐量的最大化几何平均值。

另外，由载波指派配置的变化引起的负载度量的变化可以由深度神经网络(DNN)预测。如图5中所图示，可以使用闭式方程根据经更新的负载度量计算UL/DL切分比例和资源池切分比例。如果预测正的最大Q函数值，那么可以将预测负载度量和配置参数传递到后续阶段。否则，RL过程可以终止，并且先前阶段的计算出的配置参数可以被传递并且应用于其相应RRM。

本文中描述了对负载度量公式的描述。可以基于每个RAT/载波/链路组合处的负载来制定负载平衡方案。例如，在某些实施例中，载波上小区的DL/UL链路的LM可以被公式化为链路的平均小区比例公平度量(ACPF)或小区的平均资源池共享利用率(ARPSU)。在示例实施例中，载波处的DL小区或UL小区的LM可以被表示为RAT r(r＝1,…,R)的带m(m＝1,…,M)的n(n＝1,…,N)，分别表示为

或

在ACPF的第一LM选项中，RAT的大多数分组调度可以在时域和频域中指派用户时使用比例公平(PF)排队。进一步地，针对第k个时间频率编码空间资源的用户u的载波[r,m,n]的的下行链路PF度量可以由下式给出：

其中

是第u个用户在载波[r,m,n]的第k个资源处的可实现的DL瞬时吞吐量，并且

是载波[r,m,n]的第u个用户的平均下行链路吞吐量。此外，q_u(q_u＞0)是服务质量(QoS)加权因子，其是基于承载业务的类型和重传次数。瞬时吞吐量可以取决于用户的接收信干噪比(SINR)、多输入多输出(MIMO)秩和数据缓冲区大小。而且，SINR可以考虑接收器本底噪声、小区间干扰、多用户MIMO交叉波束干扰和非正交多址(NOMA)干扰。

上行链路PF度量

可以被类似地公式化。进一步地，根据另一示例实施例，针对ACPF，载波[r,m,n]的下行链路LM可以被公式化为：

其中

是针对第r个RAT指派的池的一部分的资源总数，

是下行链路用户的总数，并且

是第u个至第k个用户资源对的用户选择指示符，并且E()是样本平均函数，该样本平均函数可以跨时间样本或跨一组小区或跨两者。在示例实施例中，可以通过离散时间滤波器来实施样本平均函数。此外，根据每个阶段的更新时段，LB可以将具有不同相关时间的滤波器用于LM方案的每个阶段的E()。项

(其中

)是用以可选地提供跨载波的优先级的特定于载波的负载乘子。优先级可以被用于跨链路、载波和频带或出于其他原因针对不同目标用户或小区吞吐量进行缩放(scale)。

针对具有PF调度的单用户MIMO情况，用户选择指示符可以被公式化为：

其中针对资源选择PF最大化用户被称为“择优挑选”。上行链路LM

可以被类似地公式化。针对多用户MIMO，针对第k个资源的一个或多个用户

在较高数据业务负载下，数据队列可以开始在缓冲区处建立，这将导致较高的最大PF度量。因此，可以将PF度量用作负载测量，尤其是在较高负载下。

作为第二LM选项，ARPSU可以将下行链路LM公式化如下：

其中

是池的第k个资源的资源选择指示符，并且

是缓冲区中的剩余数据量。分数项(fractional term)表示耗尽缓冲区中的剩余数据所需的预测资源量，并且ρ∈{0，1}是分数项的激活/去激活参数。在示例实施例中，上行链路LM

可以被类似地公式化。

通过将资源池共享利用率用作负载度量的负载平衡，共享资源的利用率可以跨所有RAT和所有载波被均衡。然而，由于ARPSU的值被限制在用于载波的所有资源的0％与100％之间(假设

)，因此使用ARPSU度量的负载平衡无法处理全缓冲区或接近全缓冲区业务场景的负载平衡。另一方面，使用ACPF度量的负载平衡包含QoS优先级，并且能够处理ARPSU没有的全缓冲区方案。然而，使用ARPSU的负载平衡比通过ACPF更简单，并且在较低或中等业务负载下可以是足够的。

在示例实施例中，第三LM选项、总平均资源要求(TARR)可以考虑所利用的资源的历史量和在缓冲区中剩余的数据的额外资源的预测量。DL LM可以被公式化为：

其中

是缓冲区中的剩余数据量。分数项表示耗尽缓冲区中的剩余数据所需的预测资源量。

根据示例实施例，可以为负载平衡提供最佳性公式。例如，MC-SS LB的最佳性准则可以优化所有RAT的总日志吞吐量。根据示例实施例，最佳性准则可以跨链路、载波、带和RAT并入负载度量。其还可以包含对资源池比例和载波指派阈值的约束，并且其可以被用于评估Q函数的奖励分量。

负载度量本质上是对有多少缓冲数据或正在竞争载波的可用资源的主动用户数目的拥塞的测量。因此，负载平衡性能的合适功能可以是资源和用户的指派。这可以使作为负载度量和通往载波的所分配的资源的函数的每用户日志吞吐量最大化。在示例实施例中，负载平衡度量F的最佳性公式在以下方程(6)中详述。

(6)

使得

在方程(6)中，可以对每个载波

的资源池共享的最小值、最大值和总和施加约束。此外，对RSS/PHR阈值

施加最小值约束和最大值约束，这取决于多载波操作的类型。负载度量

是用户的载波指派的函数，其可以由RSS/PHR阈值连同所提供的数据业务负载一起确定。

根据示例实施例，出于未来的方便，可以关于载波的总负载、带的总负载、带的总资源、作为所有负载度量之和的总负载度量L_total和作为所有资源之和的全局总资源K_total来定义度量。这些度量分别在方程(7a)至(7e)中示出为如下：

来自方程(7a)至(7e)的量可以被用于表示最佳性问题的解，其中移除了整数约束

以及最小值约束和最大值约束。针对LM恒定并且将要切分资源池的情况，函数最大化资源分配

可以是：

另一方面，在将执行载波重新指派并且所分配的资源数量固定的情况下，基于所分配的资源的目标LM为：

这些解决方案可以在移除所提及的约束时使用户的日志吞吐量之和最大化。然而，由于在真实网络中需要考虑整数、最小值约束和最大值约束，并且LM从载波指派阈值的映射取决于SINR/RSS/PHR用户分布，因此找到最佳解可以具有挑战性。为了实现这一点，某些示例实施例可以使用经过训练的DQN和(多个)DNN来找到最佳配置调整，并且预测由于配置调整而导致的LM的变化。

根据示例实施例，多阶段DQN可以被用于针对LB找到优化的主载波指派(PCA)配置。此外，DQN可以确定优化的新RSS/PHR阈值，而可以使用闭式方程来计算带内载波指派概率。然后可以将这些载波指派参数传递给RRM，该RRM可以将用户指派或重新指派给满足这些参数的载波。

示例实施例可以提供RL方法，其中使用DQN来达到优化的RSS/PHR阈值和带内载波指派概率。当针对RSS/PHR阈值的更新值的允许范围有限(即，不允许RSS/PHR阈值发生剧烈变化)以使得优化的RSS/PHR阈值更新可能超出允许的更新值的范围时，RL方法可以是有用的。另外，与迭代RSS/PHR阈值确定相比，RL方法可以具有收敛到最佳负载平衡的能力。此外，由于更新值的范围有限，因此RL方法可以避免优化的更新值过冲(overshoot)(并且因此避免最佳负载平衡过冲)，监督学习没有解决该问题。

根据示例实施例，RL方法可以使用多阶段模型，其中第v阶段使用DQN来确定最小阈值更新。对先前RSS/PHR阈值的阈值更新可以是在每个阶段进行的微更新的累积：

其中Y是样本的RL阶段数，并且可能的更新集合是小的，例如

一旦确定了更新，就可以从更新

和先前RSS/PHR阈值

之和获得新RSS/PHR阈值

如果DQN输出向量的大小是大的，那么单阶段可能就已足够——允许许多量化的阈值更新值。否则，通过每个阶段的微更新，多阶段模型可以允许更大量的可能的量化阈值更新值，同时通过限制DQN的输出向量的大小来降低DQN的复杂性。

在示例实施例中，与最低频率相对应的第一频带可以在所有频带中具有最大覆盖范围，并且可以在其他频带超出UE的覆盖范围时充当备用(fallback)。因而，第一频带的阈值可以固定到其最小值以确保最大覆盖范围：

同时允许对其他频带的阈值进行少量可能的微更新：

例如δ∈{-1，0，1}。根据某些示例实施例，DQN模型可以对如方程(12)中所示出的Bellman方程的Q值集合进行建模：

在方程(12)中，η是未来折扣因子(0＜η≤1)，s是系统所处的状态，并且a是在状态s下采取的动作。Q值表示在采取动作a时观察到的未来奖励，并且其等于即时奖励r(s,a)和状态s'的潜在最大未来奖励

之和，假设采取了动作a，系统将转变到该状态s'。Q值是DNN的输出。

根据示例实施例，可以关于第v阶段到DQN的输入将状态s定义为：(1)先前负载度量

(2)先前LB配置：(a)先前DQN阶段的RSS/PHR阈值：

m＞1；(b)UL/DL切分比例

(可选的)；和(c)资源池切分比例

(可选的)(3)一个或多个r、m、n、l的先前SINR PMF

(可选的)；(4)一个或多个r、m、n、l的先前RSS/PHR PMF

(可选的)；和(5)时间戳(可选的)。

在示例实施例中，可以提供来自在一个或多个先前更新间隔下的收集到的测量和配置的输入。针对更新间隔的DQN输入的每个集合可以具有其自己的DQN输入节点集合，或来自若干更新间隔的数据可以线性地组合以产生单个DQN输入节点集合。如果将要连续输入连续更新间隔的输入集合，那么循环神经网络架构在准确地预测输出时可以是有益的。

根据示例实施例，每个动作a与对RSS/PHR阈值的带特定更新的集合对应，并且可以具有对应Q值。Q函数的奖励值r(s,a)是方程(5)的最佳性函数F的净增加。

r(s，a)＝F(s′(s，a))-F(s) (13)

其中可以通过下文所描述的方程(14)和(15)计算切分比例。

假设η＝1，第y阶段的动作a的Q值表示通过将

添加到

的最佳性的剩余最大潜在增加。项

考虑动作a的微更新和后续Q最大化动作的未来微更新。进一步地，为了获得最佳Q函数，可能需要进行所有状态和动作的值迭代(即，探索/利用)。在DQN训练期间的RL探索/利用战略(例如ε-Greedy)可以被留给实施方式判断。

图6图示了根据示例实施例的强化学习负载平衡器最佳性DQN输入和输出的示例。如图6中所图示，在DQN训练期间，针对大阈值更新，可以将更新分解为较小的“微更新”步骤，其总和为阈值更新。然后可以针对微更新中的每个微更新训练DQN，其中这些微更新的Q值相同。可以将相同Q值指派给除了第一带之外的所有RAT(r)、链路(l)和带(m)的所有分量微更新。

根据示例实施例，阈值可以确定对用户的频带指派。例如，如果用户的RSS/PHR满足带的RSS/PHR阈值，那么可以将用户指派给频带。为用户提供足够阈值的频带之间的优先级可以基于用户在带上的最大可实现的吞吐量：

其中

是每资源吞吐量，其是用户针对载波

的预测SINR的函数。资源

的数量可以是如从(20)和(21)计算出的先验值或新值。用户的预期SINR可以是历史测量或预测值。

在示例实施例中，频带上较高的最大可实现的用户吞吐量可以赋予其优于具有较低的最大可实现的用户吞吐量的频带的优先级。例如，提供足够阈值的较高频带可以提供较高最大可实现的用户吞吐量。

根据示例实施例，一旦用户被指派给带，就基于如下文所讨论的方程(19)计算出的先前LM或新LM、每个载波的资源总数和每个载波的SINR以一定概率将其指派给载波。决策使用哪个选项可以取决于测量的可用性以及重新配置相对于业务负载的速度。如果载波特定SINR或宽带吞吐量可用于每个用户，那么第一选项(最大化用户吞吐量)可以是更优选的，在这种情况下，能够使用户吞吐量最大化。否则，接下来的两个选项可以是优选的。具体地，当重新配置时段比业务负载的自然波动的变化率短得多时，第二选项(均衡LM)可以优于第三选项，而第三选项(比例资源分配)在其他情况下是优选的。

在用于使用户吞吐量最大化的选项1的带内载波指派中，在给定载波的资源的当前负载量的情况下，可以将用户指派给可以使每个用户的预测吞吐量最大化的带内载波。根据示例实施例，第u个用户针对载波[r,m,n]的预测吞吐量可以是

用户对载波的载波指派概率

可以是特定于用户的并且取自所有带内载波中的最大值：

在选项2的带内载波指派中，可以均衡LM。例如，用户对载波的载波指派概率

可以相对于其他载波的LM与载波的LM互补并且可以被公式化为：

其中

和

和

是从方程(19)计算出的先前LM或新LM。该表达式确保在下一个更新周期中，与不太拥塞的载波相比，高度拥塞的载波的优先级降低。该公式在相同频带的载波资源数量相同的情况下为可应用的。

在选项3的带内载波指派中，可以提供比例资源分配。在这种情况下，第三选项的载波指派概率

使用以下方程，其中该值是载波的资源总数相对于带的比：

第三选项可以假设能够在下一个更新时段期间重新指派用户，或在下一个更新时段期间将添加或丢弃大量新用户。

根据示例实施例，DNN可以用于确定优化的TDD UL/DL切分比例和资源池切分比例，这与由DQN预测的最佳载波指派对应。在示例实施例中，一旦确定了最佳RSS/PHR阈值更新和载波指派概率，就可以借助于DNN预测载波指派阈值的给定变化的负载度量的对应更新。然后可以使用预测负载度量更新来找到优化的TDD UL/DL切分比例和资源池切分比例。此外，DNN模型输入和输出可以是先前和新LB配置以及对应的先前和新负载度量，而训练可以涉及反向传播以调谐DNN权重。

在示例实施例中，RL LB的分量可以包括在将用户指派或重新指派给不同载波时对负载度量的变化的预测。进一步地，新LM可以用于经由闭式解确定最佳切分比例。此外，LM预测DNN的架构(诸如神经网络的类型(例如循环、卷积、多层感知机)、层数、每层节点数等)可以取决于实施方式判断。具体地，输入和输出的集合可以被设置为：(1)LB配置更新(RSS/PHR阈值的变化)

(2)先前负载度量

(3)先前LB配置，其包括a)RSS/PHR阈值

b)UL/DL切分比例

(可选的)和c)资源池切分比例

(可选的)；(4)一个或多个r、m、n、l的先前SINRPMF

(可选的)；(5)一个或多个r、m、n、l的先前RSS/PHR PMF

(可选的)；和(6)时间戳(可选的)。

根据示例实施例，可选输入可以包括RSS/PHR概率质量函数(PMF)和时间戳。PMF可以在设置RSS/PHR阈值时向LB提供额外信息，而时间戳可以解释周期性业务行为，并且可以由一天中的时间和一周中的时期组成。

在示例实施例中，输入可以来自在一个或多个先前更新间隔下的收集到的测量和配置。更新间隔的每个DNN输入集合可以具有其自己的DNN输入节点集合，或来自若干更新间隔的数据可以线性地组合以产生单个DNN输入节点集合。如果将要连续输入连续更新间隔的输入集合，那么循环神经网络架构在准确地预测输出时可以是有益的。

图7图示了根据示例实施例的强化学习负载平衡器LM更新DNN输入和输出的示例。在示例实施例中，LM的预测变化可以由

表示。可以从由DNN生成的先验值

和预测更新值

获得预测的新LM

如下：

如上文所示出，可以在DNN预测期间(包括例如在DNN推理步骤期间)使用方程(19a)，而可以在训练反向传播步骤期间使用方程(19b)。在图7中图示了特定输入和输出。

如本文中所提到，可以根据经更新的负载度量来计算UL/DL切分比例和资源池切分比例。根据示例实施例，根据预测或测量的负载度量，方程(7c)、(7d)、(7d)、(8)可以用于找到优化的切分比例。例如，新UL/DL切分比例可以适用于具有以下条件的载波：

在另一示例实施例中，可以利用下式找到新资源池切分比例：

根据示例实施例，针对FDD载波，UL/DL切分比例可以是恒定的，并且不需要计算。新的优化切分比例可以由LB传送给RRM，然后将其应用于网络。此外，切分比例连同LM一起可以用于计算负载平衡度量F(方程(6a))，然后可以使用该负载平衡度量来在DQN训练阶段期间确定预测奖励(方程(13))和Q值(方程(12))。

在示例实施例中，可以使用至少一个先前SINR/RSS/PHR样本、预测负载度量、预测资源切分和DNN在更新时段内预测UE的平均SINR。根据示例实施例，预测平均SINR可以用于计算预测用户吞吐量，其可以表示载波指派的标准。

根据示例实施例，在本文中所描述的第一载波指派选项(“最大化用户吞吐量”)中，可以基于载波上的预期SINR和载波上的资源量来向用户指派潜在地使其吞吐量最大化的载波。UE的平均SINR可以在LB更新时段内动态地改变，并且可以与先前测量的平均SINR不同。因此，直接用过去的SINR测量样本代替未来的SINR样本会产生不准确的平均吞吐量预测。然而，通过经由DNN可靠地预测UE的平均SINR，可以执行更优化的载波指派。

在示例实施例中，DNN可以用于基于ff.输入来预测用户的平均SINR

根据某些示例实施例，SINR DNN输入可以包括：(1)用户在相同载波处的先前平均SINR：

(2)用户在相同载波处的先前平均RSS/PHR：

(3)载波的预测负载度量

(4)载波的预测资源池切分

和(5)时间戳(可选的)。

根据某些示例实施例，输入可以来自在一个或多个先前更新间隔下的收集到的测量和配置。此外，更新间隔的每个DNN输入集合可以具有其自己的DNN输入节点集合。备选地，来自若干更新间隔的数据可以线性地组合以产生单个DNN输入节点集合。在示例实施例中，如果每个更新时段的集合都具有其自己的DNN输入节点集合，那么循环神经网络架构在准确地预测DNN输出时可以是有益的。

图8图示了根据示例实施例的强化学习负载平衡器SINR预测DNN输入和输出的示例。用户在载波处的预测平均SINR可以由以下表示：

此外，在图8中图示了SINR预测DNN的输入/输出示图。根据示例实施例，在深度学习预测阶段期间，预测LM和资源池切分可以由LM DNN计算并且从方程(18)到(20)导出。然而，在训练阶段期间，可以使用负载度量的实际测量值。

在示例实施例中，在更新时段的过程中从多个样本计算平均SINR/RSS/PHR可以被留给实施方式判断。而且，架构(例如卷积NN、循环NN等)、超参数化和训练DNN的方法可以被留给实施方式判断。

图9图示了根据示例实施例的RL负载平衡器在线训练和搜索过程的示例。在示例实施例中，可以提供从模拟和真实世界网络收集样本以训练DQN和DNN的方法。例如，训练RL负载平衡器可以包括从模拟或真实世界网络收集时间对准的训练样本。如图9中所图示，这可以借助于配置的时间对准来实现，并且LM测量可以借助于延迟来实现。通过反向传播进行在线或离线训练之后，可以将DQN和DNN权重应用于RL LB。

根据示例实施例，在线训练可以是指DNN和DQN在模拟或网络操作期间的连续适配。一旦通过最新配置和对应测量更新了权重，就可以将权重应用于下一个配置机会。

图10图示了根据示例实施例的方法的示例流程图。在某些示例实施例中，图10的流程图可以由图12a中所图示的装置10执行，该装置可以包括例如强化学习负载平衡器。根据一个示例实施例，图10的方法可以包括：最初，在100中，从无线电资源管理器接收与载波的可用资源相关的负载度量。方法还可以包括：在105中，在负载度量上应用最佳性准则。根据示例实施例，应用最佳性准则可以包括：在无线电链路、无线电载波、无线电频带和无线电接入技术中包含负载度量。在另一示例实施例中，应用最佳性准则可以包括：包含对资源池比例和载波指派阈值的至少一个约束。

该方法还可以包括：在110中，基于负载度量来计算对用户的载波指派参数的更新。此外，该方法可以包括：在115中，基于负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新。进一步地，该方法可以包括：在120中，预测用户设备在更新时段内的平均信干噪比。根据示例实施例，可以使用先前信干噪比、先前接收信号强度或先前功率余量样本、对负载度量的预测影响以及经更新的上行链路/下行链路切分比例和经更新的资源池切分比例来执行平均信干噪比的预测。

另外，该方法可以包括：在125中，预测对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新对负载度量的影响。此外，该方法可以包括：在130中，计算Q函数值。进一步地，在135中，该方法可以包括：基于Q函数值，将经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例传递给多个阶段中的后续阶段。

该方法还可以包括：在140中，将对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新传送给用于应用于通信网络的对应的一个或多个无线电接入技术的一个或多个无线电资源管理器。进一步地，在145中，该方法可以包括：重复步骤110、115和120。

根据示例实施例，负载度量可以包括以下至少一项：瞬时吞吐量、平均吞吐量、资源利用率和等待传输的数据量。根据另一示例实施例，经更新的载波指派参数可以包括新接收信号强度或新功率余量阈值。在另一示例实施例中，经更新的载波指派参数可以由多阶段深度Q网络确定，并且经更新的上行链路/下行链路切分比例和经更新的资源池切分比例可以由深度神经网络基于经更新的载波指派参数和预测影响被确定。

图11图示了根据示例实施例的另一方法的示例流程图。在某些示例实施例中，图11的流程图可以由图12b中所图示的装置20执行，该装置包括例如无线电资源管理器。

根据一个示例实施例，图11的方法可以包括：最初，在200中，向强化学习负载平衡器发送与载波的可用资源相关的负载度量。该方法还可以包括：在205中，接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例。此外，该方法可以包括：在210中，将经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例应用于通信网络。

根据示例实施例，负载度量可以包括以下至少一项：瞬时吞吐量、平均吞吐量、资源利用率和在发送缓冲区中剩余的数据量。在另一示例实施例中，经更新的载波指派参数可以包括新接收信号强度或新功率余量阈值。在另一示例实施例中，经更新的载波指派参数可以由多阶段深度Q网络确定。根据另一示例实施例，经更新的上行链路/下行链路切分比例和经更新的资源池切分比例可以由深度神经网络基于经更新的载波指派参数和预测影响而被确定。

图12a图示了根据示例实施例的装置10。在实施例中，装置10可以是通信网络中的或与这种网络相关联的节点或元件，诸如强化学习负载平衡器或其他设备。

在一些示例实施例中，装置10可以包括一个或多个处理器、一个或多个计算机可读存储介质(例如存储器、存储装置等)、一个或多个无线电接入组件(例如调制解调器、收发器等)和/或用户界面。在一些实施例中，装置10可以被配置为使用一个或多个无线电接入技术(诸如GSM、LTE、LTE-A、NR、5G、WLAN、WiFi、NB-IoT、蓝牙、NFC、MulteFire和/或任何其他无线电接入技术)操作。应注意，本领域的普通技术人员应理解，装置10可以包括图12a中未示出的组件或特征。

如图12a的示例中所图示，装置10可以包括或耦合到用于处理信息和执行指令或操作的处理器12。处理器12可以是任何类型的通用或专用处理器。实际上，作为示例，处理器12可以包括以下一项或多项：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)和基于多核处理器架构的处理器。虽然在图12a中示出了单个处理器12，但根据其他实施例可以利用多个处理器。例如，应理解，在某些示例实施例中，装置10可以包括两个或更多个处理器，该两个或更多个处理器可以形成可以支持多处理的多处理器系统(例如在这种情况下，处理器12可以表示多处理器)。根据某些示例实施例，多处理器系统可以紧密耦合或松散耦合(例如以形成计算机集群)。

处理器12可以执行与装置10的操作相关联的功能，作为一些示例，该功能可以包括天线增益/相位参数的预编码、形成通信消息的单独位的编码和解码、信息的格式化和装置10的整体控制，包括图4至图10中所图示的进程。

装置10还可以包括或耦合到存储器14(内部或外部)，该存储器可以耦合到处理器12，以用于存储可以由处理器12执行的信息和指令。存储器14可以是一个或多个存储器并且属于适合于本地应用环境的任何类型，并且可以使用任何合适的易失性或非易失性数据存储技术(诸如基于半导体的存储器设备、磁存储器设备和系统、光学存储器设备和系统、固定存储器和/或可移除存储器)来实施。例如，存储器14能够由随机存取存储器(RAM)、只读存储器(ROM)、静态存储装置(诸如磁盘或光盘)、硬盘驱动器(HDD)或任何其他类型的非瞬态机器或计算机可读介质的任何组合组成。存储在存储器14中的指令可以包括程序指令或计算机程序代码，该程序指令或计算机程序代码在被处理器12执行时使得装置10能够执行如本文中所描述的任务。

在实施例中，装置10还可以包括或耦合到(内部或外部)驱动器或端口，该驱动器或端口被配置为接受和读取外部计算机可读存储介质，诸如光盘、USB驱动器、闪速驱动器或任何其他存储介质。例如，外部计算机可读存储介质可以存储用于供处理器12和/或装置10执行的计算机程序或软件，以执行图4至图10中所图示的方法中的任何方法。

在一些实施例中，装置10还可以包括或耦合到一个或多个天线15以用于从装置10接收下行信号并且经由上行链路传输。装置10还可以包括被配置为传输和接收信息的收发器18。收发器18还可以包括耦合到天线15的无线电接口(例如调制解调器)。无线电接口可以与多种无线电接入技术对应，包括以下一项或多项：GSM、LTE、LTE-A、5G、NR、WLAN、NB-IoT、蓝牙、BT-LE、NFC、RFID、UWB等。无线电接口可以包括其他组件(诸如滤波器、转换器(例如数模转换器等)、符号解映射器、信号成形组件、快速傅立叶逆变换(IFFT)模块等)，以处理由下行链路或上行链路承载的符号，诸如OFDMA符号。

例如，收发器18可以被配置为将信息调制到载波波形上以供(多个)天线15传输并且解调经由(多个)天线15接收到的信息以供装置10的其他元件进行进一步处理。在其他实施例中，收发器18可能能够直接传输和接收信号或数据。另外或备选地，在一些实施例中，装置10可以包括输入和/或输出设备(I/O设备)。在某些实施例中，装置10还可以包括用户界面，诸如图形用户界面或触摸屏。

在实施例中，存储器14存储在被处理器12执行时提供功能性的软件模块。模块可以包括例如为装置10提供操作系统功能性的操作系统。存储器还可以存储一个或多个功能模块(诸如应用或程序)来为装置10提供附加功能性。装置10的组件可以被实施在硬件中或被实施为硬件与软件的任何合适组合。根据示例实施例，可选地，装置10可以被配置为根据任何无线电接入技术(诸如NR)经由无线或有线通信链路70与装置10进行通信。

根据某些示例实施例，处理器12和存储器14可以被包括在处理电路系统或控制电路系统中或可以形成处理电路系统或控制电路系统的一部分。此外，在一些实施例中，收发器28可以被包括在收发电路系统中或可以形成收发电路系统的一部分。

如上文所讨论，根据某些示例实施例，装置10可以是例如强化学习负载平衡器。根据某些实施例，装置10可以由存储器14和处理器12控制以执行与本文中所描述的示例实施例相关联的功能。例如，在一个实施例中，装置10可以由存储器14和处理器12控制以从无线电资源管理器接收与载波的可用资源相关的负载度量。装置10还可以由存储器14和处理器12控制以基于负载度量来计算对用户的载波指派参数的更新。此外，装置10可以由存储器14和处理器12控制以基于负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新。进一步地，装置10可以由存储器14和处理器12控制以预测对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新对负载度量的影响。此外，装置10可以由存储器14和处理器12控制以将对载波指派参数的更新、对上行链路/下行链路切分比例的更新和对资源池切分比例的更新传送给对应的一个或多个无线电接入技术的一个或多个无线电资源管理器，以用于应用到通信网络。

图12b图示了根据示例实施例的装置20。在示例实施例中，装置20可以是通信网络中的或服务于这种网络的节点、主机或服务器。例如，装置20可以是与无线电接入网络(RAN)(诸如LTE网络、5G或NR)相关联的卫星、基站、Node B、演进型Node B(eNB)、5G Node B或接入点、下一代Node B(NG-NB或gNB)和/或WLAN接入点。应注意，本领域的普通技术人员应理解，装置20可以包括图12b中未示出的组件或特征。

如图12b的示例中所图示，装置20可以包括用于处理信息和执行指令或操作的处理器22。处理器22可以是任何类型的通用或专用处理器。例如，作为示例，处理器22可以包括以下一项或多项：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)和基于多核处理器架构的处理器。虽然在图12b中示出了单个处理器22，但根据其他实施例可以利用多个处理器。例如，应理解，在某些实施例中，装置20可以包括两个或更多个处理器，该两个或更多个处理器可以形成可以支持多处理的多处理器系统(例如在这种情况下，处理器22可以表示多处理器)。在某些实施例中，多处理器可以紧密耦合或松散耦合(例如以形成计算机集群)。

根据某些示例实施例，处理器22可以执行与装置20的操作相关联的功能，该功能可以包括例如天线增益/相位参数的预编码、形成通信消息的单独位的编码和解码、信息的格式化和装置20的整体控制，包括图4至图9和图11中所图示的进程。

装置20还可以包括或耦合到存储器24(内部或外部)，该存储器可以耦合到处理器22，以用于存储可以由处理器22执行的信息和指令。存储器24可以是一个或多个存储器并且属于适合于本地应用环境的任何类型，并且可以使用任何合适的易失性或非易失性数据存储技术(诸如基于半导体的存储器设备、磁存储器设备和系统、光学存储器设备和系统、固定存储器和/或可移除存储器)来实施。例如，存储器24能够由随机存取存储器(RAM)、只读存储器(ROM)、静态存储装置(诸如磁盘或光盘)、硬盘驱动器(HDD)或任何其他类型的非瞬态机器或计算机可读介质的任何组合组成。存储在存储器24中的指令可以包括程序指令或计算机程序代码，该程序指令或计算机程序代码在被处理器22执行时使得装置20能够执行如本文中所描述的任务。

在实施例中，装置20还可以包括或耦合到(内部或外部)驱动器或端口，该驱动器或端口被配置为接受和读取外部计算机可读存储介质，诸如光盘、USB驱动器、闪速驱动器或任何其他存储介质。例如，外部计算机可读存储介质可以存储用于供处理器22和/或装置20执行的计算机程序或软件，以执行图4至图9和图11中所图示的方法。

在某些示例实施例中，装置20还可以包括或耦合到一个或多个天线25以用于向装置20传输信号和/或数据和从装置20接收信号和/或数据。装置20还可以包括或耦合到被配置为传输和接收信息的收发器28。收发器28可以包括例如多个无线电接口，该无线电接口可以耦合到(多个)天线25。无线电接口可以与多种无线电接入技术对应，包括以下一项或多项：GSM、NB-IoT、LTE、5G、WLAN、蓝牙、BT-LE、NFC、射频标识符(RFID)、超宽带(UWB)、MulteFire等。无线电接口可以包括组件(诸如滤波器、转换器(例如数模转换器等)、映射器、快速傅立叶变换(FFT)模块等)，以生成用于经由一个或多个下行链路传输的符号并且接收符号(例如经由上行链路)。

因而，收发器28可以被配置为将信息调制到载波波形上以供(多个)天线25传输并且解调经由(多个)天线25接收到的信息以供装置20的其他元件进行进一步处理。在其他实施例中，收发器18可能能够直接传输和接收信号或数据。另外或备选地，在一些实施例中，装置20可以包括输入和/或输出设备(I/O设备)。

在实施例中，存储器24可以存储在被处理器22执行时提供功能性的软件模块。模块可以包括例如为装置20提供操作系统功能性的操作系统。存储器还可以存储一个或多个功能模块(诸如应用或程序)来为装置20提供附加功能性。装置20的组件可以被实施在硬件中或被实施为硬件与软件的任何合适组合。

根据一些实施例，处理器22和存储器24可以被包括在处理电路系统或控制电路系统中或可以形成处理电路系统或控制电路系统的一部分。此外，在一些实施例中，收发器28可以被包括在收发电路系统中或可以形成收发电路系统的一部分。

如本文中所使用，术语“电路系统”可以是指纯硬件电路系统实施方式(例如模拟和/或数字电路系统)、硬件电路与软件的组合、模拟和/或数字硬件电路与软件/固件的组合、(多个)硬件处理器与软件(包括数字信号处理器)的任何部分(这些部分一起工作以使装置(例如装置10和20)执行各种功能)和/或(多个)硬件电路和/或(多个)处理器或其部分，这些硬件电路和处理器或其部分使用软件进行操作，但该软件在不需要进行操作时可以不存在。作为另一示例，如本文中所使用，术语“电路系统”还可以涵盖仅硬件电路或处理器(或多个处理器)，或硬件电路或处理器的一部分和其随附软件和/或固件的实施方式。术语“电路系统”还可以涵盖例如服务器、蜂窝网络节点或设备或其他计算或网络设备中的基带集成电路。

如上文所介绍，在某些实施例中，装置20可以是通信网络中的或服务于这种网络的无线电资源管理器、RAT、节点、主机或服务器。例如，装置20可以是与无线电接入网络(RAN)(诸如LTE网络、5G或NR)相关联的卫星、基站、Node B、演进型Node B(eNB)、5G Node B或接入点、下一代Node B(NG-NB或gNB)和/或WLAN接入点。根据某些实施例，装置20可以由存储器24和处理器22控制以执行与本文中所描述的实施例中的任何实施例相关联的功能。

例如，在一个实施例中，装置20可以由存储器24和处理器22控制以向强化学习负载平衡器发送与载波的可用资源相关的负载度量。装置20还可以由存储器24和处理器22控制以接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例。此外，装置20可以由存储器24和处理器22控制以将经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例应用于通信网络。

本文中所描述的某些示例实施例提供了若干技术改进、增强和/或优点。在一些示例实施例中，通过使用RL的LB配置参数的优化联合更新，可能能够实现比迭代负载平衡更高的吞吐量和更快的收敛。还可能能够提供RL算法，其基于历史负载和预测负载两者来联合计算和应用优化的帧配置、资源池配置和主载波指派。而且，还可能能够将SINR、RSS和PHR分布包含到RL模型中以在执行可能影响未来负载的每用户载波指派决策时提供帮助。

根据某些示例实施例，鉴于通过RL执行多个LB配置参数的优化的单触发联合更新的能力，还可能能够更快并且更准确地实现优化的负载平衡。在其他示例实施例中，当使用经过训练的DQN和(多个)DNN时，可能能够找到最佳配置调整并且预测由于配置调整而导致的LM的变化。此外，根据某些示例实施例，当使用RL方法时，可能能够避免优化更新值的过冲(并且因此避免最佳负载平衡的过冲)。根据其他示例实施例，在多阶段RL方法模型中，可能能够允许大量的可能量化阈值更新值，同时通过限制DQN的输出向量的大小来降低DQN的复杂性。

计算机程序产品可以包括一个或多个计算机可执行组件，该计算机可执行组件在程序运行时被配置为执行一些示例实施例。一个或多个计算机可执行部件可以是至少一个软件代码或其部分。实施示例实施例的功能性所需的修改和配置可以作为(多个)例程而执行，这些例程可以被实施为添加或经更新的(多个)软件例程。(多个)软件例程可以被下载到装置中。

作为示例，软件或计算机程序代码或其部分可以呈源代码形式、目标代码形式或某种中间形式，并且软件或计算机程序代码或其部分可以存储在某种载体、分布介质或计算机可读介质中，该载体、分布介质或计算机可读介质可以是能够承载程序的任何实体或设备。例如，这种载体可以包括记录介质、计算机存储器、只读存储器、光电和/或电载体信号、电信信号和软件分布封装。根据所需的处理能力，计算机程序可以在单个电子数字计算机中执行，或其可以分布在若干计算机中。计算机可读介质或计算机可读存储介质可以是非瞬态介质。

在其他示例实施例中，功能性可以由装置(例如装置10和装置20)中所包括的硬件或电路系统执行，例如通过使用专用集成电路(ASIC)、可编程门阵列(PGA)、现场可编程门阵列(FPGA)或硬件与软件的任何其他组合。在又一示例实施例中，功能性可以被实施为信号、能够由从互联网或其他网络下载的电磁信号承载的非有形部件。

根据示例实施例，装置(诸如节点、设备或对应组件)可以被配置为电路系统、计算机或微处理器(诸如单芯片计算机元件)或芯片集，该芯片集至少包括用于提供用于算术运算的存储容量的存储器和用于执行算术运算的操作处理器。

本领域的普通技术人员应容易地理解，可以用不同顺序的步骤和/或与所公开的配置不同的配置的硬件元件实践如上文所讨论的本发明。因此，尽管已经基于这些示例实施例描述了本发明，但对于本领域的技术人员而言将显而易见的是，某些修改、变化和备选构造将是显而易见的，同时仍然在示例实施例的精神和范围内。尽管以上实施例是指5G NR和LTE技术，但以上实施例也可以应用于任何其他当前或未来的3GPP技术，诸如LTE高级和/或第四代(4G)技术。

部分术语表

ACPF 平均小区比例公平

ARPSU 平均资源池共享利用率

eNB 增强型Node B

DL 下行链路

DNN 深度神经网络

DQN 深度Q网络

DSS 动态频谱共享

gNB5G或NR 基站

HFB 高频带

LB 负载平衡

LFB 低频带

LM 负载度量

LTE 长期演进

MC 多载波

NN 神经网络

NR 新无线电

PCA 主载波指派

PF 比例公平

PHR 功率余量

QoS 服务质量

RAT 无线电接入技术

RL 强化学习

RP 资源池

RRM 无线电资源管理器

RSS 接收信号强度

SS 频谱共享

TC 紧密耦合

TDD 时分双工

UE 用户设备

UL 上行链路

Claims (27)

1.一种装置，包括：

至少一个处理器；以及

至少一个存储器，包括计算机程序代码，

所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：

从无线电资源管理器接收与载波的可用资源相关的负载度量；

基于所述负载度量来计算对用于用户的载波指派参数的更新；

基于所述负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新；

预测对所述载波指派参数的所述更新、对所述上行链路/下行链路切分比例的所述更新和对所述资源池切分比例的所述更新对所述负载度量的影响；以及

将对载波指派参数的所述更新、对上行链路/下行链路切分比例的所述更新和对资源池切分比例的所述更新传送给一个或多个无线电接入技术的一个或多个无线电资源管理器，以用于应用到通信网络。

2.根据权利要求1所述的装置，

其中所述装置包括多个阶段，并且

其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起被配置为使所述装置至少：

计算Q函数值；以及

基于所述Q函数值，将经更新的所述载波指派参数、经更新的所述上行链路/下行链路切分比例和经更新的所述资源池切分比例传递给所述多个阶段中的后续阶段。

3.根据权利要求1或2所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述装置基于先前的切分比例、载波指派参数和预测负载度量来在所述多个阶段中的每个后续阶段至少：

计算对用于用户的载波指派参数的后续更新；

计算对上行链路/下行链路切分比例和资源池切分比例的后续更新；以及

预测对所述载波指派参数的所述后续更新、对所述上行链路/下行链路切分比例的所述后续更新、以及对所述资源池切分比例的所述后续更新对所述负载度量的后续影响。

4.根据权利要求1至3中任一项所述的装置，其中所述负载度量包括以下至少一项：瞬时吞吐量、平均吞吐量、资源利用率以及等待被发送的数据量。

5.根据权利要求1至4中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述装置至少：

对所述负载度量应用最佳性准则，

其中应用所述最佳性准则包括：

跨无线电链路、无线电载波、无线电频带和无线电接入技术并入所述负载度量，以及

并入对资源池比例和载波指派阈值的至少一个约束。

6.根据权利要求1至5中任一项所述的装置，其中经更新的所述载波指派参数包括新接收的信号强度或新的功率余量阈值。

7.根据权利要求1至6中任一项所述的装置，

其中经更新的所述载波指派参数由多阶段深度Q网络确定，以及

其中经更新的所述上行链路/下行链路切分比例和经更新的所述资源池切分比例由深度神经网络基于经更新的所述载波指派参数和预测的所述影响来确定。

8.根据权利要求1至7中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述装置至少：

使用以下项来预测用户设备在更新时段内的平均信干噪比：

先前的信干噪比、先前的接收信号强度或先前的功率余量样本、对所述负载度量的预测的所述影响以及经更新的所述上行链路/下行链路切分比例和经更新的所述资源池切分比例。

9.一种装置，包括：

至少一个处理器；以及

至少一个存储器，包括计算机程序代码，

所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：

向强化学习负载平衡器发送与载波的可用资源相关的负载度量；

接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例；以及

将所述经更新的载波指派参数、所述经更新的上行链路/下行链路切分比例和所述经更新的资源池切分比例应用于通信网络。

10.根据权利要求9所述的装置，其中所述负载度量包括以下至少一项：瞬时吞吐量、平均吞吐量、资源利用率和在发送缓冲区中剩余的数据量。

11.根据权利要求9或10所述的装置，其中所述经更新的载波指派参数包括新接收的信号强度或新的功率余量阈值。

12.根据权利要求9至11中任一项所述的装置，

其中所述经更新的载波指派参数由多阶段深度Q网络确定，以及

其中所述经更新的上行链路/下行链路切分比例和所述经更新的资源池切分比例由深度神经网络基于所述经更新的载波指派参数和预测的影响来确定。

13.一种方法，包括：

在强化学习负载平衡器处接收与载波的可用资源相关的负载度量；

基于所述负载度量来计算对用于用户的载波指派参数的更新；

基于所述负载度量来计算对上行链路/下行链路切分比例和资源池切分比例的更新；

预测对所述载波指派参数的所述更新、对所述上行链路/下行链路切分比例的所述更新和对所述资源池切分比例的所述更新对所述负载度量的影响；以及

将对载波指派参数的所述更新、对上行链路/下行链路切分比例的所述更新和对资源池切分比例的所述更新传送给一个或多个无线电接入技术的一个或多个无线电资源管理器，以用于应用到通信网络。

14.根据权利要求13所述的方法，

其中所述强化学习负载平衡器包括多个阶段，并且

其中所述方法还包括：

计算Q函数值，以及

基于所述Q函数值，将经更新的所述载波指派参数、经更新的所述上行链路/下行链路切分比例和经更新的所述资源池切分比例传递给多个阶段中的后续阶段。

15.根据权利要求13或14所述的方法，其中所述方法还包括基于先前的切分比例、载波指派参数和预测负载度量来在所述多个阶段中的每个后续阶段：

计算对用于用户的载波指派参数的后续更新；

计算对上行链路/下行链路切分比例和资源池切分比例的后续更新；以及

预测对所述载波指派参数的所述后续更新、对所述上行链路/下行链路切分比例的所述后续更新、以及对所述资源池切分比例的所述后续更新对所述负载度量的后续影响。

16.根据权利要求13至15中任一项所述的方法，其中所述负载度量包括以下至少一项：瞬时吞吐量、平均吞吐量、资源利用率和等待被发送的数据量。

17.根据权利要求13至16中任一项所述的方法，其中所述方法还包括：

对所述负载度量应用最佳性准则，

其中应用所述最佳性准则包括：

跨无线电链路、无线电载波、无线电频带和无线电接入技术并入所述负载度量，以及

并入对资源池比例和载波指派阈值的至少一个约束。

18.根据权利要求13至17中任一项所述的方法，其中经更新的所述载波指派参数包括新接收的信号强度或新的功率余量阈值。

19.根据权利要求13至18中任一项所述的方法，

其中经更新的所述载波指派参数由多阶段深度Q网络确定，以及

其中经更新的所述上行链路/下行链路切分比例和经更新的所述资源池切分比例由深度神经网络基于经更新的所述载波指派参数和预测的所述影响来确定。

20.根据权利要求13至19中任一项所述的方法，其中所述方法还包括：

使用以下项来预测用户设备在更新时段内的平均信干噪比：

先前的信干噪比、先前的接收信号强度或先前的功率余量样本、对所述负载度量的预测的所述影响以及经更新的所述上行链路/下行链路切分比例和经更新的所述资源池切分比例。

21.一种方法，包括：

从无线电资源管理器发送与载波的可用资源相关的负载度量；

接收经更新的载波指派参数、经更新的上行链路/下行链路切分比例和经更新的资源池切分比例；以及

将所述经更新的载波指派参数、所述经更新的上行链路/下行链路切分比例和所述经更新的资源池切分比例应用于通信网络。

22.根据权利要求21所述的方法，其中所述负载度量包括以下至少一项：瞬时吞吐量、平均吞吐量、资源利用率和在发送缓冲区中剩余的数据量。

23.根据权利要求21或22所述的方法，其中所述经更新的载波指派参数包括新接收的信号强度或的新功率余量阈值。

24.根据权利要求21至23中任一项所述的方法，

其中所述经更新的载波指派参数由多阶段深度Q网络确定，以及

其中所述经更新的上行链路/下行链路切分比例和所述经更新的资源池切分比例由深度神经网络基于所述经更新的载波指派参数和预测的影响来确定。

25.一种装置，包括用于执行根据权利要求13至24中任一项所述的过程的部件。

26.一种装置，包括电路系统，所述电路系统被配置为使所述装置执行根据权利要求13至24中任一项所述的过程。

27.一种计算机程序，包括被存储在其上的指令，所述指令用于至少执行根据权利要求13至24中任一项所述的过程。

Images