CN108391316B - 一种波束分配方法 - Google Patents

Abstract

本申请公开了一种波束分配方法，包括以下步骤：为用户设备获取备用波束集；在备用波束集中选取最优波束；毫米波基站根据所述最优波束向用户设备发射波束。本申请的波束分配方法能够以用户效用和为最大化目标，提高了用户间的传输速率的公平性。将LOS径波束和所有NLOS径波束组合形成UE的备选波束集，解决了波束分配过程中带来的波束间干扰问题。

Description

一种波束分配方法

技术领域

本发明涉及通信领域，尤其涉及一种波束分配方法。

背景技术

近年来，随着智能手机和平板电脑的广泛使用，各种应用的业务量猛增，移动数据应用加速增长，这使得移动通信系统蜂窝网络面临重大挑战。然而现阶段广泛应用的6GHz以下的微波频段无法提供足够的频谱资源，系统容量限制将无法进一步满足高速率业务的需求。因此30-300GHz的毫米波段受到了广泛重视。尽管其蕴涵丰富可用频谱资源，能够缓解频谱资源稀缺的压力，毫米波段也有一些固有的缺陷。毫米波的路径损失很高、对障碍物的穿透能力很差，使得小区覆盖范围下降。但是这可以通过应用多天线技术克服，利用波束赋形技术获得的高增益可以增大小区覆盖范围、扩充系统容量、减小干扰。同时，毫米波段的短波长也更有利于大规模天线的部署。综上，毫米波大规模天线(Massive MIMO)系统是新一代移动通信关键技术之一。由于毫米波系统的路径损耗很大，需要收发双方都使用波束赋形技术，利用高方向性波束对准带来的高增益弥补无线链路传输的损耗。现有波束分配主要思想是选择信道增益最大的直射径(LOS)为发送波束。然而，考虑到数据传输流程中的多用户设备(UE)传输环境，一旦UE的离开角或地理位置相近，利用LOS径波束方案确定的数据发送波束间极易发生干扰。在恶劣情况下，毫米波基站对多个UE的数据发送波束甚至发生冲突(即多UE选用相同的波束)，导致系统容量大幅度下降。因此，对于数据传输流程而言，波束分配算法应当合理地调配波束资源，降低UE间波束干扰。

现有波束分配方法存在一定局限性：首先，方法的设计思路为局部优化而非全局，只考虑对发生极大波束间干扰(即发生波束冲突)的UE执行波束再分配，忽视其余UE间波束干扰的存在；其次，波束切换导致UE的数据传输中断使得UE间公平性降低；此外，把发送波束切换至非冲突非直射径(NLOS)波束极易对其它UE引入新干扰。

发明内容

本申请的目的在于提供一种波束分配方法，以提升系统容量和满足UE公平性为目标，将数据传输中的波束分配问题建模为以最大化系统效用和为优化目标的最优化问题，并且利用了强化学习领域的Q学习算法完成了最优波束分配方案的迭代求解。

一种波束分配方法，包括以下步骤：为用户设备获取备用波束集；在备用波束集中选取最优波束；毫米波基站根据最优波束向用户设备发射波束。

如上的，其中，通过获得最大化系统效用和选取最优波束。

如上的，其中，利用Q学习方法获得最大化系统效用和。

如上的，其中，获得最大化系统效用和包括：初始化：选取k个用户设备作为智能体，根据用户设备的备用波束集确定智能体的动作集合，并设置Q值为0；选取初始化动作；循环如下步骤，使Q值收敛，直至获得最优波束；根据智能体对动作的反馈获得回报函数；回报函数之差是否小于预定义门限；若回报函数之差大于预定义门限，根据回报函数与Q值的对比结果更新Q值；选取智能体的下一个动作；若回报函数之差小于预定义门限，则该选取的动作为最优波束。

如上的，其中，回报函数为

其中，ln(r_k)为第k个用户的效用函数，r_k为第k个用户设备获得数据速率，s为动作所对应的环境状态。

如上的，其中，用回报函数和当前的Q值中较大的一个更新Q值。

如上的，其中，选取智能体下一个动作包括以下步骤：产生随机数x_k∈[0,1]；将随机数与预定义参数ε∈(0,1)进行对比；若x_k<ε，则从动作集合V_k中任选一个动作作为初始化动作；反之，则选取最大Q值对应的动作为初始化动作。

如上的，其中，选取初始化动作为在动作集合中任选一个动作。

如上的，其中，备选波束集为LOS径波束和所有NLOS径波束的组合。

如上的，其中，动作所对应的环境为单状态环境。

本申请具有以下技术效果：

(1)本申请的波束分配方法能够以用户效用和为最大化目标，提高了用户间的传输速率的公平性。

(2)本申请的波束分配方法将LOS径波束和所有NLOS径波束组合形成UE的备选波束集，解决了波束分配过程中带来的波束间干扰问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请提供的波束分配方法流程图；

图2为本申请提供的获得最大化系统效用和的流程图；

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

通常情况下，多用户设备(User Equipment，UE)采用全向接收的方式接收信号，不利用波束赋形技术接收信号。假定不同毫米波基站间的距离足够大以忽略小区间的干扰，毫米波基站以等功率P_N向不同UE传送数据信号，信道高斯白噪声的功率谱密度定义为N₀。第k个UE获得数据速率为r_k。第k个UE的效用函数定义为u_k＝ln(r_k)，则求解效用和最大化问题可以得到满足速率公平的方案。本发明根据以上思想，提出了一种大规模天线系统中的波束分配方法。

本发明以提升系统容量和满足UE公平性为目标，将数据传输中的波束分配问题建模为以最大化系统效用和为优化目标的最优化问题，并且利用了强化学习领域的Q学习算法完成了最优波束分配方案的迭代求解，建立的最优化问题如下：

其中第k个UE的效用函数定义为u_k＝ln(r_k)，K为用户设备的个数，b_k为第k个UE选用的数据发送波束，CS_k为备选波束集，UE间的波束选择影响了UE获得数据速率。

本申请将求解式(3)的问题转化为求解K个智能体的联合最优动作问题，即得到最优波束的分配方法。

如图1所示，波束分配方法具体包括以下步骤：

步骤S110：初始化过程。

具体地，选取K个用户设备作为智能体，根据用户设备的备用波束集确定智能体的动作集合，令Q值为0；

具体地，备选波束集的确定包括以下步骤：

首先，确定多用户设备(UE)的LOS径波束。

具体地，对于第k(1≤k≤K)个UE而言，毫米波基站向其发送的数据信号可通过波束赋形增益最大LOS路径抵达，定义

为第k个UE的波束赋形增益最大的LOS径波束。

进一步地，确定UE的NLOS径波束，具体地，毫米波信道环境的一个重要特点就是其存在反射径，每个UE的信道环境中存在N_S个散射体，并相应形成了N_S条NLOS路径使得发送信号可由此NLOS路径到达第k个UE。

由上述LOS径波束和N_S个NLOS径波束构成第k个UE的备选波束集，定义如下：

其中，N_T＝|CS_k|＝N_S+1表示备选波束集元素个数。

具体地，每个智能体均有一个动作集合，以第k个智能体为例，其动作集合定义为

共有N_T个动作，其中v_kl(1≤l≤N_T)表示第k个UE选取数据发送波束集CS_k中的第l个波束时对应的动作。

示例性地，每个智能体对应一个动作集合，每个智能体选择的一个动作对应一个Q值，K个智能体的Q值构成一个Q值表，因为动作更新使得Q值发生变化。

步骤S120：在备用波束集中选取最优波束；

步骤S130：毫米波基站根据所述最优波束向用户设备发射波束。

其中通过获得最大化系统效用和实现步骤S120，首先设定波束分配中的环境，将毫米波Massive MIMO系统作为与智能体发生交互的环境，由于最优化问题(3)中未涉及环境状态的变化，将环境设定为单状态环境。因此，环境状态在Q学习过程中不发生改变，波束分配方法不受环境影响。

如图2所示，获得最大化系统效用可以转化为利用Q学习方法获得最大化系统效用和，具体包括以下子步骤，其中循环步骤S220、230、240，使Q值收敛，直至获得最优波束：

步骤S210：选取初始化动作；

具体地，算法控制器随机在动作集合中随机选取一个动作作为初始化动作。

示例性地，预定义参数为在算法控制器内预先设定好的参数。

示例性地，算法控制器为本申请的核心控制器，内存有多种算法，能够实现本申请最终的波束分配。

优选地，算法控制器安装于毫米波基站中。

步骤S220：根据智能体对动作的反馈获得回报函数。

具体地，算法控制器从智能体各自的动作集合中选取动作并执行后，会对环境造成影响。环境会通过一定的反馈来告知智能体其选取动作的优劣，通常将该反馈定义为回报函数。考虑到本发明以最大化系统效用和为目标，因此将每个智能体的回报函数均定义为UE选取各自的数据发送波束后得到的系统效用和，即

其中，ln(r_k)为效用函数，r_k为第k个UE获得数据速率，s为动作所对应的环境状态。

示例性，公式(1)中获得的回报函数值为k个UE的动作求和后，再进行计算得出的数值。

判断两次动作更新后获得回报函数之差是否小于一个预定义的门限，若回报函数之差大于预定义的门限，则执行步骤S230：根据回报函数与Q值的对比结果更新Q值。

具体地，每得到一次回报函数值，算法控制器将回报函数值与Q值进行对比，若回报函数值大于当前Q值表中的Q值，则回报函数值作为新的Q值，若回报函数值小于当前Q值，则Q值保持不变。

优选地，选取初始化动作后应再进行一次动作的选取才能够得到两次动作的回报函数之差。

执行步骤S240：选取智能体的下一个动作。

具体地，其中，选取初始化动作后，在每次选取动作时，算法控制器都需要产生随机数x_k∈[0,1]，将随机数与预定义参数ε∈(0,1)进行对比，若x_k<ε，则从动作集合V_k中任选一个动作作为下一次动作，反之，则选取当前最大Q值对应的动作为下一次动作。

示例性地，当有k个UE时，选取初始化动作后，若UE1获得回报函数后的Q值为Q1，UE2获得回报函数后的Q值为Q2，UE1和UE2对应的算法控制器再次产生随机数，将随机数与预定义参数进行对比，若UE1中x_k<ε，则选取UE1的动作为在UE1的动作集合中随机选取，若UE2中x_k>ε，则选取UE2的动作为选取最大值Q2对应的动作，此时完成第二次动作的选取。

若回报函数之差小于预定义的门限执行步骤S250：Q值更新结束，动作更新结束，此时每个UE所选取的动作为最佳数据发送波束。

具体地，预定义的门限为算法控制器预先设置好的一个数值。示例性地，若预定义的门限为0.2，第一次动作得到的回报函数值与第二次动作得到的回报函数值之差若小于0.2，那么两次动作则非常接近，都可作为最优动作的选取。

本申请具有以下技术效果：

(1)本申请的波束分配方法能够以用户效用和为最大化目标，提高了用户间的传输速率的公平性。

(2)本申请的波束分配方法将LOS径波束和所有NLOS径波束组合形成UE的备选波束集，解决了波束分配过程中带来的波束间干扰问题。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (1)

1.一种波束分配方法，其特征在于，包括以下步骤：

为用户设备获取备用波束集；

在备用波束集中选取最优波束；

毫米波基站根据所述最优波束向用户设备发射波束；

其中，通过获得最大化系统效用和选取最优波束；利用Q学习方法获得最大化系统效用和；

其中，获得最大化系统效用和包括：

初始化：选取K个用户设备作为智能体，根据用户设备的备用波束集确定智能体的动作集合，并设置Q值为0；

选取初始化动作；

循环如下步骤，使Q值收敛，直至获得最优波束；

根据智能体对动作的反馈获得回报函数；

两次动作更新后获得的回报函数之差是否小于预定义门限；

若回报函数之差大于预定义门限，根据回报函数与Q值的对比结果更新Q值；

选取智能体的下一个动作；

若回报函数之差小于预定义门限，则该选取的动作为最优波束；

其中所述回报函数为

其中，ln(r_k)为第k个用户的效用函数，r_k为第k个用户设备获得数据速率，s为动作所对应的环境状态，N_T表示动作集合

中的动作数量，v_kl(1≤l≤N_T)表示动作集合V_k中，第k个用户设备选取数据发送波束集中的第l个波束时对应的动作；

其中，用所述回报函数和当前的Q值中较大的一个更新Q值；每得到一次回报函数值，算法控制器将回报函数值与Q值进行对比，若回报函数值大于当前Q值表中的Q值，则回报函数值作为新的Q值，若回报函数值小于当前Q值，则Q值保持不变；

选取初始化动作后再进行一次动作的选取，得到两次动作的回报函数之差；

其中，所述选取智能体的下一个动作包括以下步骤：

产生随机数x_k∈[0,1]；

将随机数与预定义参数ε∈(0,1)进行对比；

若x_k＜ε，则从动作集合V_k中任选一个动作作为下一个动作；反之，则选取最大Q值对应的动作为下一个动作；

其中，所述选取初始化动作为在所述动作集合中任选一个动作；

其中，所述备用波束集为LOS径波束和所有NLOS径波束的组合；

其中，动作所对应的环境为单状态环境。

Images