CN113068146B - 一种密集型毫米波车辆网络中的多基站波束联合选择方法 - Google Patents

Abstract

本发明公开了一种密集型毫米波车辆网络中的多基站波束联合选择方法，其特征在于，包括如下步骤：S1、在毫米波车辆网络中建立由至少4个毫米波基站和宏基站构成的波束联合选择系统；S2、每个所述毫米波基站随时监控进入覆盖区域内的车辆的上下文信息，包括车辆的速度和位置；S3、每个所述毫米波基站根据所述宏基站发出的信息和周围车辆的上下文信息通过如下公式(1)选择最佳波束集合以最大化系统吞吐量；S4、每个所述毫米波基站将波束选择结果发送给所述宏基站，所述宏基站将其结果再发送给其他毫米波基站，该方法可以避免同时选择到重叠波束的现象，实现多毫米波基站场景下的波束联合精确选择。

Description

一种密集型毫米波车辆网络中的多基站波束联合选择方法

技术领域

本发明属于毫米波车辆通信技术领域，特别涉及一种密集型毫米波车辆网络中的多基站波束联合选择方法

背景技术

最近的研究项目表明毫米波可以为部署5G蜂窝网络提供强有力的帮助。在未来的智能交通系统中，随着自动驾驶技术的发展，半自动和全自动车辆的数量必将日益增加。特别是越来越多的传感器将部署在车辆上，从而产生大量的数据。这些数据需要在车辆之间共享，以提高驾驶效率和交通安全，这就需要高速率和低延迟的通信链路。现有的6GHz以下频段非常拥挤，无法满足上述要求。因此，车辆网络需要迈入未充分利用的毫米波频段(30G-300GHz)。

然而，由于严重的传播损耗，毫米波通信仍然面临着挑战。波束成形技术在毫米波网络中选择定向波束进行部署，可以减轻这个问题带来的影响。在毫米波车辆网络中，为了能够成功传输数据，车辆与毫米波基站之间的定向通信需要精确的波束选择。车辆有不同类型的上下文：车辆的速度和位置。对于不同类型的车辆上下文，毫米波基站选择不同的波束集合进行部署。现有的毫米波车辆网络中波束选择策略主要分为三类：(i)单毫米波基站针对单车进行波束选择；(ii)单毫米波基站针对多车进行波束选择；(iii)源毫米波基站和目标毫米波基站联合预测多车辆场景中目标毫米波基站的波束选择。但这些策略只能对单毫米波基站进行波束选择。

由于毫米波的通信距离短，因此需要密集部署毫米波基站，以实现更宽的覆盖范围。但是，当毫米波基站部署密度增加时，重叠波束之间的干扰将不容忽视。尤其是当车辆位于相邻毫米波基站的重叠波束覆盖区域中时，毫米波基站之间的波束干扰将变得更加严重。毫米波基站的部署密度越高，同时选择到毫米波基站之间重叠波束的可能性就越高。通常，车辆只能同时与一个毫米波基站保持通信，这意味着重叠波束的同时选择会导致系统吞吐量降低。因此，我们需要找到一种可行的毫米波车辆网络中波束联合选择算法，使毫米波基站能够在尽量避免同时选择到重叠波束的情况下选择合适的波束集合，以最大化系统吞吐量。

现有的毫米波车辆网络中波束选择策略只能对单毫米波基站进行波束选择，当将其应用到多基站场景下时，可能会同时选择到基站间的重叠波束，造成系统吞吐量的降低。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供一种密集型毫米波车辆网络中的多基站波束联合选择方法，该方法可以避免同时选择到重叠波束的现象，实现多毫米波基站场景下的波束联合精确选择。

为了克服现有技术的不足，本发明采用如下技术方案予以实施：

1、一种密集型毫米波车辆网络中的多基站波束联合选择方法，包括如下步骤：

S1、在毫米波车辆网络中建立由至少4个毫米波基站和宏基站构成的波束联合选择系统；

S2、每个所述毫米波基站随时监控进入覆盖区域内的车辆的上下文信息，包括车辆的速度和位置；

S3、每个所述毫米波基站根据所述宏基站发出的信息和周围车辆的上下文信息通过如下公式(1)选择最佳波束集合以最大化系统吞吐量；

其中：T：整个时间周期的时隙数；B：毫米波基站的数量；M：毫米波基站的数量；T表示整数集合{1,2,…,T}，其他集合同样用粗体表示；

在t时隙，基站b周围的车辆上下文类型集合；

在t时隙，基站b的波束k的选择变量；

在t时隙，基站b的波束k对应于车辆上下文类型h的实际吞吐量，

在t时隙，基站b的波束k对应于车辆上下文类型h的无阻塞概率；

在t时隙，基站b的波束k对应于车辆上下文类型h在无阻塞情况下的吞吐量；

S4、每个所述毫米波基站将波束选择结果发送给所述宏基站，所述宏基站将其结果再发送给其他毫米波基站。

进一步，所述步骤S3中每个所述毫米波基站在进行波束集合选择过程为：

3.1、对每个所述毫米波基站训练的Q-table进行维护；将所述毫米波基站每个波束的Q-value值更新入Q-table中；

3.2、对每个所述毫米波基站训练过程中判断每个波束Q-value是否为最大波束；

表示在执行完动作变量a_k,b后，基站b的波束k关于车辆上下文类型h的期望收益；Q-value通过如下公式(2)更新：

其中：

表示截止到t-1时隙，基站b的波束k在与其它波束重叠时被选择到的次数；

3.3、通过如下公式(3)对每个波束的Q-value修正：

其中：

表示截止到t-1时隙，基站b的波束k被选择到的次数；

3.4、对修正后的每个波束的Q-value进行平均值；即：

其中：ξ_h,b表示上下文类型h的车辆在基站b周围所有车辆数量中所占百分比；

3.5、根据Q-value平均值通过如下公式(5)获得系统最大吞吐量，即：

有益效果

1、本发明可以根据波束对应于每种车辆上下文类型的历史性能表现来选择最佳波束集合，以适用于动态交通模式。

2、本发明强调毫米波基站之间的协调，以尽可能避免同时选择到重叠波束的问题。随着训练时隙的增加，该方法可以降低同时选择到重叠波束的可能性。尤其是，本发明利用多智能体强化学习，将车辆网络系统中的毫米波基站当作智能体，将基站需要选择的波束当作智能体需要选择的臂。在每一轮迭代中，每个毫米波基站基于基站间的协调选择最佳波束集合；该方法将这个系统转化为分布式的系统，大大降低了计算的时间复杂度，并尽可能地避免了重叠波束的同时选择，以最大化系统吞吐量。

附图说明

图1为系统模型架构图。

图2为仿真网络结构图。

具体实施方式

下面结合附图对本发明作出详细说明：

本发明提供一种密集型毫米波车辆网络中的多基站波束联合选择方法，该方法可以根据波束对应于每种车辆上下文类型的历史性能表现来选择最佳波束集合。也就是说，该方法完全适用于动态交通模式。此外，该方法强调毫米波基站之间的协调，以尽可能避免同时选择到重叠波束的问题。随着训练时隙的增加，该方法可以降低同时选择到重叠波束的可能性。这样，它可以最大化整个系统中所有毫米波基站的整体吞吐量。具体步骤如下：

1)建立毫米波车辆网络中多基站波束联合选择的系统模型

1.1)系统模型架构

系统模型架构如图1所示，当一组车辆到达某毫米波基站的覆盖区域时，该毫米波基站将首先收集这些车辆的上下文信息，例如车辆的速度和位置。然后，宏基站将其他毫米波基站先前的波束选择结果发送到该毫米波基站。之后，该毫米波基站做出自己的波束选择结果。最后，该毫米波基站向宏基站发送反馈，该反馈包括其自身的波束选择结果。在某些情况下，相邻毫米波基站选择的波束可能会存在重叠覆盖区域。当车辆驶入重叠波束的覆盖区域时，它仅连接到一个毫米波基站，导致系统吞吐量的降低，例如图1中的车辆3。因此，在毫米波车辆网络中需要基站之间的协作，以避免同时选择到重叠的波束，从而使系统的吞吐量最大化。

1.2)系统模型参数

T：整个时间周期的时隙数；

B：毫米波基站的数量；

M：单毫米波基站的波束数；

M′：单毫米波基站能够同时选择的波束数；

在t时隙，到达基站b覆盖区域的车辆数；

在t时隙，基站b的波束k的选择变量，

表示该波束被选择，

表示该波束未被选择；

在t时隙，基站b周围的车辆i的上下文；

在t时隙，基站b周围的车辆上下文集合；

在t时隙，基站b周围的车辆上下文类型集合；

在t时隙，基站b的波束k对应于车辆上下文类型h的无阻塞概率；

在t时隙，基站b的波束k对应于车辆上下文类型h在无阻塞情况下的吞吐量；

在t时隙，基站b的波束k对应于车辆上下文类型h的实际吞吐量，

S_b,b′：基站b与基站b′之间的重叠波束对，如果基站b的波束k与基站b′的波束k′重叠，则(k,k′)∈S_b,b′；

我们用T表示整数集合{1,2,…,T}，其他集合同样如此表示。

1.3)问题建模

整个问题的目标就是选择最佳波束集合以最大化系统吞吐量，如下所示：

subject to:

约束条件(1a)表示单毫米波基站只能同时选择M′个波束；约束条件(1b)表示重叠的波束对不能被同时选择。

2)解决基站之间的协调问题

我们利用Q-learning过程来建立每个毫米波基站的训练过程，为每个基站维护一个Q-table：

表示在执行完动作变量a_k,b后，基站b的波束k关于车辆上下文类型h的期望收益。

如果基站b的波束k在t-1时隙被选择到的话，则更新Q-table：

其中

表示截止到t-1时隙，基站b的波束k在与其它波束重叠时被选择到的次数。随着训练时间的增加，如果

的值越大，则会降低Q-table中该波束吞吐量的权重，这样就可以降低基站间重叠波束被同时选择到的可能性。

3)解决波束选择时“探索-利用”的平衡问题

为了解决“探索-利用”困境：在每一轮迭代中，判断Q-value是较大的波束还是探索次数较少的波束；对每个波束的Q-value修正如下：

其中

表示截止到t-1时隙，基站b的波束k被选择到的次数。

4)将多基站波束联合选择问题转化为0-1背包问题

我们用ξ_h,b表示车辆上下文类型h在基站b周围所有车辆上下文中所占百分比，

那么，基站b修正后的平均Q-value可以表示为：

这样的话，问题(1)就可以转化为0-1背包问题如下所示：

subject to:

最后，我们根据

值从大到小排序得到基站b的最优M′波束集合，用

表示，从而尽可能地避免同时选择到重叠波束，以使得系统吞吐量最大。

仿真毫米波车辆网络结构如图2所示，本发明实际应用操作步骤如下：

1)初始化计数变量：

2)初始化Q-value：

3)假设在t时隙，有一组车辆到达毫米波基站1和毫米波基站2之间的波束覆盖区域，得到车辆上下文集合

和车辆上下文的到达分布

4)对于每一个车辆上下文类型h，计算修正后的Q-value：

和

5)计算基站1和基站2修正后的平均Q-value：

和

6)得到基站1和基站2的波束选择变量：

和

并确定选择的波束集合：

和

7)如果t≥2，则接收到t-1时隙无阻塞情况下的吞吐量r_t-1和无阻塞概率f_t-1，对于每一个车辆上下文类型h，计算实际吞吐量：

和

Q-value：

和

计数变量N：

和

以及计数变量NS：

和

这样，在每一轮迭代中，该方法可以降低重叠波束被同时选择到的可能性，以最大化毫米波车辆网络整体吞吐量。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (1)

1.一种密集型毫米波车辆网络中的多基站波束联合选择方法，其特征在于，包括如下步骤：

S1、在毫米波车辆网络中建立由至少4个毫米波基站和宏基站构成的波束联合选择系统；

S2、每个所述毫米波基站随时监控进入覆盖区域内的车辆的上下文信息，包括车辆的速度和位置；

S3、每个所述毫米波基站根据所述宏基站发出的信息和周围车辆的上下文信息通过如下公式(1)选择最佳波束集合以最大化系统吞吐量；

其中：T：整个时间周期的时隙数；B：毫米波基站的数量；M：单毫米波基站的波束数；M′：单毫米波基站能够同时选择的波束数；T表示整数集合{1,2,…,T}，其他集合同样用粗体表示；

在t时隙，基站b周围的车辆上下文类型集合；

在t时隙，基站b的波束k的选择变量；

在t时隙，基站b的波束k对应于车辆上下文类型h的实际吞吐量，

在t时隙，基站b的波束k对应于车辆上下文类型h的无阻塞概率；

在t时隙，基站b的波束k对应于车辆上下文类型h在无阻塞情况下的吞吐量；S_b,b′：基站b与基站b′之间的重叠波束对，如果基站b的波束k与基站b′的波束k′重叠，则(k,k′)∈S_b,b′；约束条件(1a)表示单毫米波基站只能同时选择M′个波束；约束条件(1b)表示重叠的波束对不能被同时选择；

S4、每个所述毫米波基站将波束选择结果发送给所述宏基站，所述宏基站将其结果再发送给其他毫米波基站；其中：

所述步骤S3中每个所述毫米波基站在进行波束集合选择过程为：

3.1、对每个所述毫米波基站训练的Q-table进行维护；将所述毫米波基站每个波束的Q-value值更新入Q-table中；

3.2、对每个所述毫米波基站训练过程中判断每个波束Q-value是否为最大波束；

表示在执行完动作变量a_k,b后，基站b的波束k关于车辆上下文类型h的期望收益；Q-value通过如下公式(2)更新：

其中：

表示截止到t-1时隙，基站b的波束k在与其它波束重叠时被选择到的次数；

3.3、通过如下公式(3)对每个波束的Q-value修正：

其中：

表示截止到t-1时隙，基站b的波束k被选择到的次数；

3.4、对修正后的每个波束的Q-value进行平均值；即：

其中：ξ_h,b表示上下文类型h的车辆在基站b周围所有车辆数量中所占百分比；

3.5、根据Q-value平均值通过如下公式(5)获得系统最大吞吐量，即：

Images