CN115348577A - 隐蔽通信系统中基于强化学习的波束扫描方法 - Google Patents

Abstract

本发明涉及一种隐蔽通信系统中基于强化学习的波束扫描方法。具体地，在一个支持毫米波的隐蔽通信场景里，无人机作为发射机不知道监测者的确切位置，这种情况下，无人机采用多天线波束扫描的方法，在不同时隙中沿着不同的方向对地面上多个合法接收机进行波束形成传输。此时，发射机在一定程度上会产生信息泄露，为了避免被监测者检测到泄露的信息，需要优化波束扫描的波束数及发射功率，使其在满足隐蔽约束的条件下达到最大化平均吞吐量。为了提高发射机传输的准确性与高效性，本发明采用软动作‑评价（Soft Actor‑Critic，SAC）算法来约束发射功率和波束数量，引入最大化带熵的累计奖励，使平均吞吐量达到最大。

Description

隐蔽通信系统中基于强化学习的波束扫描方法

技术领域

本发明涉及隐蔽通信领域和计算机技术领域，特别是一种隐蔽通信系统中基于强化学习的波束扫描方法。

背景技术

随着移动通信的飞速发展，低频段资源已经不能满足5G时代10Gbps的峰值速率需求，未来5G系统需要在毫米波频段上寻找可用的频谱资源，这对于毫米波通信的技术研究显得尤为重要。当前的毫米波通信系统主要包括点对点通信或广播通信等，由于毫米波本身具有很强的隐蔽性和抗干扰性，并且使用小口径天线就可以获得极窄的波束及很小的旁瓣，使得敌方对毫米波通信的截获和干扰变得困难。从一定程度上，为了更好地降低通信传输被检测到的概率，引入隐蔽通信能够较好解决此问题。另一方面，在满足隐蔽约束的同时，还能兼顾提高通信性能达到最大化平均吞吐量，也具有深刻的探究意义。

发明内容

本发明的目的在于提供一种隐蔽通信系统中基于强化学习的波束扫描方法，通过控制发射功率和波束数，实现满足隐蔽约束的毫米波通信，使用软动作-评价(SoftActor-Critic，SAC)算法来最大化平均吞吐量。

为实现上述目的，本发明的技术方案是：一种隐蔽通信系统中基于强化学习的多天线波束扫描方法，包括如下步骤：

步骤1、构建一个在无人机网络背景下的毫米波隐蔽通信场景模型，包括发射机Alice、合法接收机Bob、监测者Willie。将无人机作为发射机Alice，它想要与地面上多个合法接收机Bob通信，但容易受到监测者Willie的检测，为了避免被Willie检测到信息传输的过程，引入了“隐蔽通信”，降低其被Willie检测到的概率；

步骤2、对系统模型的信道进行分析，根据发射机Alice到合法接收机Bob的距离计算路径损耗。由于在实际的空对地场景中，存在非视距通信(NLoS)和概率视距通信(LoS)，需要结合仰角θ_b对其概率进行分析；

步骤3、通过计算从发射机Alice到合法接收机Bob的主瓣波束增益，制定优化目标为平均吞吐量，控制发射功率和波束数实现最大化吞吐量；

步骤4、针对以上提出的隐蔽通信波束扫描系统，定义整个系统的状态空间和混合动作空间，以及基于优化目标设计奖励函数。为解决以上的动态决策问题，将使用稳定性高、策略随机性强、训练速度快的SAC算法来约束发射功率和波束数量，引入最大化带熵的累计奖励，使用Q网络来实现其参数的更新。

在一较佳的实施例中：为了克服通信场景中严重的路径损耗，发射机Alice配备了一个均匀线性N_a天线阵列和一个射频(RF)链用于波束扫描的传输，合法接收机Bob和监测者Willie则使用可全向接收的单一天线。假设进行波束扫描的波束数量为m，传输n个符号数，那么对于每束波传输的符号数为n/m。

其次，通过对合法接收机Bob处的信道进行分析，可以得到在Bob处的接收信号为：

其中，P_a是发射机Alice的发射功率，w_l是在第l个子波束下，发射机Alice使用的波束形成器，x是发射机Alice发送的数据信息向量，n_b是均值为0，方差为

的高斯噪声，即

H指的是共轭转置；h_ab是信道向量，与波束的离开角度φ有关，可以写为：

h_ab＝ρ_bu(φ)

ρ_b是到达合法接收机Bob的路径损耗，波束的离开角度φ受到波长λ和天线间距d的影响，可以具体表示为

其中，T是转置；j是复数；N_T是天线数的大小。

在一较佳的实施例中，由于考虑的模型为空对地的信道，存在非视距通信(NLoS)和概率视距通信(LoS)，需要结合仰角θ_b对其概率进行分析如下：

首先，对于从发射机Alice到合法接收机Bob不同的通信情况，分为视距通信场景下的路径损耗和非视距场景下的路径损耗，表示为：

其中，_ξL和_ξN分别是视距(LoS)和非视距(NLoS)信道的路径损耗指数，k_L和k_N分别是常系数，d是从发射机Alice到合法接收机Bob之间的距离，定义为

h是指无人机飞行的高度，l_b是合法接收机Bob到无人机正下方的距离。

其次，通过角度和距离的关系，可以得出无人机对于合法接收机Bob的仰角为：

那么，从无人机到合法接收机Bob之间信道的视距通信概率可以表示为：

其中，a和b是S曲线参数。

在一较佳的实施例中，由于波束成形的增益为G_b＝|u(φ)^Hw_l|²，为了量化波束增益，拟采用广义平顶梁波束模型。同时假设发射机Alice具有相等的主瓣波束宽度，在波束扫描的过程中，存在主瓣宽度对准合法接收机Bob的信道，此时波束增益可以写为：

其中，m是波束数量，μ是控制信号泄露系数，Λ(z)是参考增益，即为m＝1时的波束增益；定义关于波束数的函数W_a(m)为波束增益G_b。

通过波束增益，可以得到衡量通信性能好坏的参量，即吞吐量，它可以由下式给出：

其中，

是Bob处的噪声方差，

是平均路径损耗，与视距通信(LoS)的概率相关，可以表示为：

假设存在K个合法接收机Bob，拟采用平均吞吐量来衡量从无人机到合法接收机的通信性能，它可以写为：

在一较佳的实施例中，为了在控制发射功率P_a和波束数m的情况下得到最大化的平均吞吐量

需要制定如下满足隐蔽约束的条件：

0≤P_a≤P_{a max}

0≤m≤m_max

其中，

是KL(Kullback-Leibler)散度；∈是隐蔽参数，

是满足隐蔽通信的约束条件，控制发射功率P_a介于0至最大发射功率P_{a max}之间，控制波束数m介于0至最大波束数m_max之间。

由于优化问题的复杂性和随机性，使用凸优化算法需要耗费时间较长，且计算复杂，因此拟采用稳定性高、策略随机性强、训练速度快的SAC算法来实现最大化平均吞吐量。

针对隐蔽通信系统下实现波束扫描，本发明将合法接收机Bob的位置作为状态，发射功率和波束数作为动作，最后基于以上的优化目标，奖励函数设置为

为了解决以上的优化问题，SAC算法考虑了三种网络：1)值网络，用于输出状态的价值；2)Q网络，用于动作状态对价值的估计；3)策略网络，用于输出动作概率分布。这三种网络的参数分别设置为ψ、θ、φ。通过引入最大化带熵的累计奖励，使用Q网络来实现其参数的更新，最后在满足隐蔽约束的情况下达到最大的平均吞吐量。具体流程如下：

1)初始化所有网络的参数；

2)对于每一次迭代；

3)对于每个步数episode；

a)观察环境，将状态输入策略网络；

b)策略网络选择动作，并执行；

c)计算奖励；

d)更新经验回放库；

4)对于每一次梯度下降的步骤；

a)从经验回放库中随机选择一堆样本；

b)更新参数ψ、θ、φ；

c)更新目标值网络参数；

5)结束。

相较于现有技术，本发明具有以下有益效果：本发明能够在控制发射功率的情况下，找到每个高度下的最大化吞吐量。

附图说明

图1为本发明实施例提出的在无人机网络背景下毫米波隐蔽通信的系统模型示意图。

图2为本发明实施例所提算法示意图。

图3为本发明实施例所提方法在不同功率约束下的奖励性能对比图。

图4为本发明实施例所提方法在不同功率约束下，平均吞吐量关于无人机飞行高度的变化曲线图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

一种隐蔽通信系统中基于强化学习的多天线波束扫描方法，具体按照如下步骤实现：

步骤1、构建一个在无人机网络背景下的毫米波隐蔽通信场景模型，包括发射机Alice、合法接收机Bob、监测者Willie。将无人机作为发射机Alice，它想要与地面上多个合法接收机Bob通信，但容易受到监测者Willie的检测，为了避免被Willie检测到信息传输的过程，引入了“隐蔽通信”，降低其被Willie检测到的概率。

首先，为了克服通信场景中严重的路径损耗，发射机Alice配备了一个均匀线性N_a天线阵列和一个射频(RF)链用于波束扫描的传输，合法接收机Bob和监测者Willie则使用可全向接收的单一天线。假设进行波束扫描的波束数量为m，传输n个符号数，那么对于每束波传输的符号数为n/m。

其次，通过对合法接收机Bob处的信道进行分析，可以得到在Bob处的接收信号为：

其中，P_a是发射机Alice的发射功率，w_l是在第l个子波束下，发射机Alice使用的波束形成器，x是发射机Alice发送的数据信息向量，n_b是均值为0，方差为

的高斯噪声，即

H指的是共轭转置，h_ab是信道向量，与波束的离开角度φ有关，可以写为：

h_ab＝ρ_bu(φ)

ρ_b是到达合法接收机Bob的路径损耗，波束的离开角度φ受到波长λ和天线间距d的影响，可以具体表示为

其中，T是转置；j是复数；N_T是天线数的大小。

步骤2、对系统模型的信道进行分析，根据发射机Alice到合法接收机Bob的距离计算路径损耗。由于在实际的空对地场景中，存在非视距通信(NLoS)和概率视距通信(LoS)，需要结合仰角θ_b对其概率进行分析如下：

首先，对于从发射机Alice到合法接收机Bob不同的通信情况，分为视距通信场景下的路径损耗和非视距场景下的路径损耗，表示为：

其中，_ξL和_ξN分别是视距(LoS)和非视距(NLoS)信道的路径损耗指数，k_L和k_N分别是常系数，d是从发射机Alice到合法接收机Bob之间的距离，定义为

h是指无人机飞行的高度，l_b是合法接收机Bob到无人机正下方的距离。

其次，通过角度和距离的关系，可以得出无人机对于合法接收机Bob的仰角为：

那么，从无人机到合法接收机Bob之间信道的视距通信概率可以表示为：

其中，a和b是S曲线参数。

步骤3、通过计算从发射机Alice到合法接收机Bob的主瓣波束增益，制定优化目标为平均吞吐量，控制发射功率和波束数实现最大化吞吐量。

由于波束成形的增益为G_b＝|u(φ)^Hw_l|²，为了量化波束增益，拟采用广义平顶梁波束模型。同时假设发射机Alice具有相等的主瓣波束宽度，在波束扫描的过程中，存在主瓣宽度对准合法接收机Bob的信道，此时波束增益可以写为：

其中，m是波束数量，μ是控制信号泄露系数，Λ(z)是参考增益，即为m＝1时的波束增益；定义关于波束数的函数W_a(m)为波束增益G_b。

通过波束增益，可以得到衡量通信性能好坏的参量，即吞吐量，它可以由下式给出：

其中，

是Bob处的噪声方差，

是平均路径损耗，与视距通信(LoS)的概率相关，可以表示为：

假设存在K个合法接收机Bob，拟采用平均吞吐量来衡量从无人机到合法接收机的通信性能，它可以写为：

步骤4、针对以上提出的隐蔽通信波束扫描系统，定义整个系统的状态空间和混合动作空间，以及基于优化目标设计奖励函数。为解决以上的动态决策问题，将使用稳定性高、策略随机性强、训练速度快的软动作-评价(SoftActor-Critic，SAC)算法来约束发射功率和波束数量，引入最大化带熵的累计奖励，使用Q网络来实现其参数的更新。

为了在控制发射功率P_a和波束数m的情况下得到最大化的平均吞吐量

需要制定如下满足隐蔽约束的条件：

0≤P_a≤P_{a max}

0≤m≤m_max

其中，

是KL(Kullback-Leibler)散度；∈是隐蔽参数，

是满足隐蔽通信的约束条件，控制发射功率P_a介于0至最大发射功率P_{a max}之间，控制波束数m介于0至最大波束数m_max之间。

由于优化问题的复杂性和随机性，使用凸优化算法需要耗费时间较长，且计算复杂，因此拟采用稳定性高、策略随机性强、训练速度快的SAC算法来实现最大化平均吞吐量。

针对隐蔽通信系统下实现波束扫描，本发明将合法接收机Bob的位置作为状态，发射功率和波束数作为动作，最后基于以上的优化目标，奖励函数设置为

为了解决以上的优化问题，SAC算法考虑了三种网络：1)值网络，用于输出状态的价值；2)Q网络，用于动作状态对价值的估计；3)策略网络，用于输出动作概率分布。这三种网络的参数分别设置为ψ、θ、φ。通过引入最大化带熵的累计奖励，使用Q网络来实现其参数的更新，最后在满足隐蔽约束的情况下达到最大的平均吞吐量。具体流程如下：

1)初始化所有网络的参数；

2)对于每一次迭代；

3)对于每个步数episode；

a)观察环境，将状态输入策略网络；

b)策略网络选择动作，并执行；

c)计算奖励；

d)更新经验回放库；

4)对于每一次梯度下降的步骤；

a)从经验回放库中随机选择一堆样本；

b)更新参数ψ、θ、φ；

c)更新目标值网络参数；

5)结束。

为了让本领域技术人员进一步了解本发明所提出的一种隐蔽通信系统中基于强化学习的多天线波束扫描方法，下面结合具体实施例作详细说明。本实施例以本发明技术方案为前提进行实施。

如图1所示，为无人机网络背景下毫米波隐蔽通信的系统模型示意图。

该模型包括发射机Alice、合法接收机Bob、监测者Willie。将无人机作为发射机Alice，它想要与地面上的K个合法接收机Bob通信，但容易受到监测者Willie的检测，且无人机到合法接收机Bob之间的信道分为视距信道(LoS)和非视距信道(NLoS)。

如图2所示，为本方案所使用的SAC算法框图。

所涉及的SAC算法的架构包括参数为ψ的软状态值网络V_ψ、参数为θ的软Q值网络Q_θ，以及参数为φ的策略网络π_φ。在s的状态下，隐蔽通信系统会根据策略网络选择行动。在采取了a的行动后，每个信道中的奖励和约束可以分别计算，由此得到下个状态，最后将这些存于经验回放库中，用于后面的更新迭代。

如图3所示，为所提出方法在不同功率约束下的奖励性能对比图。

通过绘制在不同发射功率下的奖励示意图，可以发现在满足隐蔽约束的条件下，功率适当增大可以提高吞吐量，从而获得更多的奖励，并且随着功率的增大，收敛速度也会加快。

如图4所示，为本发明实施例所提方法在不同功率约束下，平均吞吐量关于无人机飞行高度的变化曲线图。

可以发现，在发射功率相同的情况下，无人机飞行高度增加将导致最大化平均吞吐量减少，因此会存在一个最优高度满足通信性能最佳。这也表明，所提方案能够在控制发射功率的情况下，找到每个高度下的最大化吞吐量。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种隐蔽通信系统中基于强化学习的波束扫描方法，其特征在于，通过控制发射功率和波束数实现最大化隐蔽吞吐量，包括以下步骤：

步骤S1、构建一个在无人机网络背景下的毫米波隐蔽通信场景模型，包括发射机Alice、合法接收机Bob、监测者Willie；将无人机作为发射机Alice，为避免被监测者Willie检测到发射机Alice与合法接收机Bob的信息传输的过程，引入“隐蔽通信”，降低其被监测者Willie检测到的概率；

步骤S2、对毫米波隐蔽通信场景模型的信道进行分析，根据发射机Alice到合法接收机Bob的距离计算路径损耗；由于在实际的空对地场景中，存在非视距通信NLoS和概率视距通信LoS，需要结合仰角θ_b对其概率进行分析；

步骤S3、通过计算从发射机Alice到合法接收机Bob的主瓣波束增益，制定优化目标为平均吞吐量，控制发射功率和波束数实现最大化平均吞吐量；

步骤S4、定义整个系统的状态空间和混合动作空间，以及基于优化目标设计奖励函数；为解决动态决策问题，将使用稳定性高、策略随机性强、训练速度快的软动作-评价SAC算法来约束发射功率和波束数量，引入最大化带熵的累计奖励，使用Q网络来实现其参数的更新。

2.根据权利要求1所述的隐蔽通信系统中基于强化学习的波束扫描方法，其特征在于，为克服通信场景中路径损耗，发射机Alice配备一个均匀线性N_a天线阵列和一个射频RF链用于波束扫描的传输，合法接收机Bob和监测者Willie则使用可全向接收的单一天线；假设进行波束扫描的波束数量为m，传输n个符号数，那么对于每束波传输的符号数为n/m。

3.根据权利要求1所述的隐蔽通信系统中基于强化学习的波束扫描方法，其特征在于，通过对合法接收机Bob处的信道进行分析，得到在Bob处的接收信号为：

其中，P_a是发射机Alice的发射功率；w_l是在第l个子波束下，发射机Alice使用的波束形成器；x是发射机Alice发送的数据信息向量；n_b是均值为0，方差为

的高斯噪声，即

H指的是共轭转置；h_ab是信道向量，与波束的离开角度φ有关，写为：

h_ab＝ρ_bu(φ)

ρ_b是到达合法接收机Bob的路径损耗，波束的离开角度φ受到波长λ和天线间距d的影响，具体表示为：

其中，T是转置；j是复数；N_T是天线数的大小。

4.根据权利要求3所述的隐蔽通信系统中基于强化学习的波束扫描方法，其特征在于，由于在实际的空对地场景中，存在非视距通信NLoS和概率视距通信LoS，需要结合仰角θ_b对其概率进行分析，具体如下：

首先，对于从发射机Alice到合法接收机Bob不同的通信情况，分为视距通信场景下的路径损耗和非视距场景下的路径损耗，表示为：

其中，ξ_L和ξ_N分别是视距LoS和非视距NLoS信道的路径损耗指数，k_L和k_N分别是常系数，d是从发射机Alice到合法接收机Bob之间的距离，定义为

h是指无人机飞行的高度，l_b是合法接收机Bob到无人机正下方的距离；

其次，通过角度和距离的关系，得出无人机对于合法接收机Bob的仰角为：

那么，从无人机到合法接收机Bob之间信道的视距通信概率表示为：

其中，a和b是S曲线参数。

5.根据权利要求4所述的隐蔽通信系统中基于强化学习的波束扫描方法，其特征在于，计算从发射机Alice到合法接收机Bob的主瓣波束增益的具体实现方式如下：

由于波束成形的增益为G_b＝|u(φ)^Hw_l|²，为量化波束增益，拟采用广义平顶梁波束模型；同时假设发射机Alice具有相等的主瓣波束宽度，在波束扫描的过程中，存在主瓣宽度对准合法接收机Bob的信道，此时波束增益写为：

其中，m是波束数量；μ是控制信号泄露系数；Λ(z)是参考增益，即为m＝1时的波束增益；定义关于波束数的函数W_a(m)为波束增益G_b；

通过波束增益，得到衡量通信性能好坏的参量，即吞吐量，由下式给出：

其中，

是Bob处的噪声方差，

是平均路径损耗，与视距通信LoS的概率相关，表示为：

假设存在K个合法接收机Bob，拟采用平均吞吐量来衡量从无人机到合法接收机的通信性能，写为：

6.根据权利要求5所述的隐蔽通信系统中基于强化学习的波束扫描方法，其特征在于，为了在控制发射功率P_a和波束数m的情况下得到最大化的平均吞吐量

制定如下满足隐蔽约束的条件：

0≤P_a≤P_{a max}

0≤m≤m_max

其中，

是KL散度；∈是隐蔽参数，

是满足隐蔽通信的约束条件，控制发射功率P_a介于0至最大发射功率P_amax之间，控制波束数m介于0至最大波束数m_max之间；

采用软动作-评价SAC算法来实现最大化平均吞吐量；

将合法接收机Bob的位置作为状态，发射功率和波束数作为动作，基于优化目标，奖励函数设置为

7.根据权利要求1所述的隐蔽通信系统中基于强化学习的波束扫描方法，其特征在于，软动作-评价SAC算法考虑三种网络：1)值网络，用于输出状态的价值；2)Q网络，用于动作状态对价值的估计；3)策略网络，用于输出动作概率分布；这三种网络的参数分别设置为ψ、θ、φ；通过引入最大化带熵的累计奖励，使用Q网络来实现其参数的更新，最后在满足隐蔽约束的情况下达到最大的平均吞吐量；具体流程如下：

1)初始化所有网络的参数；

2)对于每一次迭代；

3)对于每个步数episode；

a)观察环境，将状态输入策略网络；

b)策略网络选择动作，并执行；

c)计算奖励；

d)更新经验回放库；

4)对于每一次梯度下降的步骤；

a)从经验回放库中随机选择一堆样本；

b)更新参数ψ、θ、φ；

c)更新目标值网络参数；

5)结束。

Images