CN109962728A - 一种基于深度增强学习的多节点联合功率控制方法 - Google Patents

Abstract

本发明公开了一种基于深度增强学习的多节点联合功率控制方法，属于无线通信领域。首先构建应用场景，初始化期望信号和干扰信号的信道矩阵；发射的期望信号通过发射预编码矩阵传输到接收用户的接收预编码矩阵，其余接收用户的接收预编码矩阵与该发射预编码矩阵满足正交状态；然后构建小区内的每个接收用户与小区内的发射机之间的等价期望信道因子以及从小区内的每个接收用户与邻小区的发射机之间的小区间干扰信道因子，分别计算每个接收用户的信干燥比，进而构建系统总速率优化函数。最后构建功率控制的马尔科夫决策模型，运用DQN算法计算优化目标函数，得到最优的系统总速率。本发明消除了小区内不同用户间的干扰，传输速率最大化。

Description

一种基于深度增强学习的多节点联合功率控制方法

技术领域

本发明属于无线通信领域，具体是一种基于深度增强学习的多节点联合功率控制方法。

背景技术

随着无线通信网络技术的发展，超强的异构化将是最明显的特征之一。不同类型的功能节点发射功率各不相同，导致网络中的干扰也更为复杂，不仅包含了服务类型相同的节点间的干扰(inter-unit interference，IUI)，同时还存在不同功能类型节点之间的小区间干扰(inter-cell interference，ICI)。

基于多输入多输出(Multi Input Multi Output，MIMO)预编码的干扰管理技术是指：根据无线通信网络特定覆盖范围内所有的节点共享相同的传输频率，基于信道状态信息分别在发射端和接收端设计对应的预编码矩阵，通过预编码矩阵将期望信号和干扰信号分别放置在相互独立的信号子空间内，进而实现干扰信号的消除和频谱资源的充分利用，提升系统谱效率和系统传输速率。

功率控制作为无线电认知和干扰协调的重要技术手段，在很大程度上被用于保证网络的服务质量(quality of service，QoS)。基于节点间相互协调执行响应的功率控制算法，通过控制节点发射功率来优化网络中不同的服务指标(如传输速率、系统能耗和频谱效率等)，常用的方法包括基于凸优化的功率控制算法，分布式功率控制算法以及基于博弈论的功率控制算法等。

深度学习在模式识别和动态处理等领域有较好的应用，其高效、适应性好的特点正是当前联合功率控制所需要的。增强学习也属于机器学习的一种。它通过一个智能体不断地探索周围环境，每做一个决策，都会得到一个对应的奖励值R。如果智能体当前选择的策略是正确的，则得到一个正反馈信号，否则会得到一个负反馈信号。深度增强学习是结合了深度学习和增强学习的优点，既能够通过深度学习架构学习到网络特征信息，又可以利用增强学习感知环境选择功率控制动作。如果将深度增强学习架构运用在无线通信网络的功率控制中，或许会取得很好的效果。

发明内容

本发明针对无线通信网络(移动通信网络和物联网)中的多节点复用相同频谱，因同频干扰导致系统吞吐量受限的问题，以及传统预编码技术在消除小区间干扰是需要进行CSI共享而引起回程链路负载过重的问题；结合MIMO预编码技术和功率控制技术，通过多节点联合功率控制的马尔科夫系统模型确定了系统总速率最大化的最优化目标，在此基础上提出了一种基于深度增强学习的多节点联合功率控制方法，为同频复用下多节点传输的速率优化提供了一种有效的解决思路。

具体步骤如下：

步骤一、构建多节点联合功率控制的应用场景；

场景包括L个小区，每个小区包含一个发射机和K个接收用户，用户类型不一；每个用户都配置若干天线，整个网络中所有用户的数据传输工作在相同的频段上；每个发射机分别为一个节点。小区集合为{1，2，…l，...，L}；接收用户集合为{1，2，…k，...，K}；第l个小区中发射机表示为TX_l；第l个小区中的第k个接收用户，表示为UT[k，l]。

步骤二、初始化应用场景内的所有期望信号和干扰信号的信道矩阵；

期望信号的信道矩阵是指：本小区的发射机对本小区内所有接收用户之间的信道矩阵；干扰信号的信道矩阵是指：邻小区的发射机对本小区的接收用户之间的信道矩阵，以及本小区的发射机对邻小区的所有接收用户之间的信道矩阵。

步骤三、当某发射机发射期望信号时，通过发射预编码矩阵传输到接收用户的接收预编码矩阵，同时其余接收用户的接收预编码矩阵与该发射预编码矩阵满足正交状态，消除同一小区内各接收用户间的干扰；

具体为：

针对第l个小区，发射机TX_l端设有K个发射预编码矩阵分别对应K个接收用户；当发射期望信号给第k个接收用户UT[k，l]时，通过第k个发射预编码矩阵V^[k，l]发出，经过接收用户UT[k，l]的接收预编码矩阵U^[k，l]接收，每个接收用户分别带有一个接收预编码矩阵。

同时，该期望信号会被本小区内的其他接收用户的接收预编码矩阵接收到，因为第k个发射预编码矩阵与其他接收用户的接收预编码矩阵处于正交状态，因此消除其他接收用户与第k个接收用户间的干扰。

发射预编码矩阵与接收预编码矩阵的正交状态满足：

表示发射机TX_l与接收用户UT[k，l]之间的信道矩阵；V^[k′，l]表示第l个小区内第k′个接收用户UT[k′，l]设计的发射预编码矩阵；

该期望信号经过发射机TX_l与接收节点UT[k，l]之间的信道矩阵，在第k个接收用户的接收预编码矩阵U^[k，l]进行恢复，恢复公式如下：

d_s为期望信号中包含的有用数据流的数量。

步骤四、根据信道矩阵，接收端预编码矩阵和发射端预编码矩阵，构建小区内的每个接收用户与小区内的发射机之间的等价期望信道因子以及从小区内的每个接收用户与邻小区的发射机之间的小区间干扰信道因子；

小区内的接收用户UT[k，l]与小区内的发射机TX_l之间的等价期望信道因子公式为：

小区内的接收用户UT[k，l]与小区外的发射机TX_j之间的小区间干扰信道因子公式为：

表示第j个小区的发射机TX_j与接收用户UT[k，l]之间的信道矩阵；V^[k′，j]表示第j个小区内第k′个接收用户UT[k′，j]的发射预编码矩阵；

步骤五、基于等价期望信道因子和小区间干扰信道因子，分别计算每个接收用户的信干燥比SINR，进而构建系统总速率优化函数，确定系统优化目标；

接收用户UT[k，l]的信干燥比SINR^[k，l]表示为：

其中P_l表示发射机TX_l的发射功率，P_j表示发射机TX_j的发射功率，σ²表示噪声的功率。

系统总速率即吞吐量R_sum的优化目标函数公式为：

η表示系统总速率阈值，表示发射机TX_l发射功率的上限值；

步骤六、初始化每个发射机的发射功率取值、动作索引空间以及收益函数，构建功率控制的马尔科夫决策模型；

首先，计算发射机的发射功率取值集合并计算每个接收节点接收信号的功率总和；

第j个小区的发射功率取值集合为其中表示发射功率的不同取值。

针对接收用户UT[k，l]，接收信号的功率总和表示为：

然后，根据每个接收用户接收信号的功率总和，构建马尔科夫决策MDP模型的系统状态s，并确定动作索引空间a，指示发射机选取合适的发射功率值；

系统状态

动作索引空间a＝[a₁，a₂，...，a_j，...，a_L]^H，a_j∈{1，…，M_j}；j＝1，2，...，L；

每个发射机根据动作索引进行功率的控制，发射功率值应满足如下公式：

针对发射机TX_j，发射功率值

最后，定义系统收益函数，确定在执行每个动作或者选取发射功率值时网络得到的收益值

其中代表了正的收益值，即当总速率的需求条件被满足时系统获得的收益，而则表示负收益值，即总速率条件不满足时的收益值。

步骤七、基于功率控制的MDP模型，运用深度增强学习中的DQN算法计算优化目标函数，得到最优的系统总速率。

本发明的优点在于：

一种基于深度增强学习的多节点联合功率控制方法，将基于DRL的联合功率控制技术与MIMO预编码技术进行了有效地结合，能够在保证消除小区内不同用户间干扰的同时，尽可能地抑制小区间干扰的影响，实现系统传输速率的最大化，解决了因CSI共享而造成的回程链路负载开销过重的问题。

附图说明

图1为本发明一种基于深度增强学习的多节点联合功率控制方法流程图；

图2为本发明构建的多节点联合功率控制应用场景；

图3为本发明构建的功率控制的马尔科夫决策模型示意图。

具体实施方式

为了使本发明能够更加清楚地理解其技术原理，下面结合附图具体、详细地阐述本发明实施例。

基于MIMO的预编码和基于节点间协作的功率控制等两种技术的有效实施都需要信道状态信息(channel state information，CSI)的共享才能完成，而这样的条件由于信道估计所需要的CSI频繁交互使得反馈链路负载急剧增加，会引起回程链路开销过重的问题。深度增强学习(Deep reinforcement learning，DRL)拥有通过与实际环境进行迭代交互并累计经验学习最优化策略的能力并能适应复杂的应用场景，这使得该算法应用于无线通信网络中不需要用户间相互协作，也不需要CSI的交互就可以从与网络环境的交互过程中获得最优结果。因此，将DRL应用于解决无线通信网络多节点的联合功率控制，在保证系统性能的同时可以有效解决回程链路负载过重的问题。

本发明是一种基于深度增强学习架构探究能够适应多节点非协作同频传输环境的功率控制算法，涉及无线数据传输、吞吐量优化问题，具体是一种基于深度增强学习的多节点联合功率控制方法(A Deep Reinforcement Learning Based Multi-point jointPower Control Scheme)，为推动功率控制算法的发展提供一些想法和思路。

如图1所示，具体步骤如下：

步骤一、构建多节点联合功率控制的应用场景；

如图2所示，场景包括L个小区，每个小区包含一个发射机和K个接收用户，用户类型不一；每个用户都配置若干天线，整个网络中所有用户的数据传输工作在相同的频段上；每个发射机采用基站，分别设为一个节点。所有的发射机与中心控制器通过有线的方式进行连接，以便实时接收中心控制器下发的指令。

需要注意的是训练过程当中，由于系统状态信息的数据量较小，数据传输需要较低的资源开销且该部分信息的有效接受与否将直接影响到深度增强学习算法训练性能的好坏。因此，本发明设定该部分信息的反馈占用的是与数据传输的不同频段。

小区集合为{1，2，…l，...，L}；接收用户集合为{1，2，…k，...，K}；第l个小区中发射机表示为TX_l；第l个小区中的第k个接收用户，表示为UT[k，l]。

步骤二、初始化应用场景内的所有期望信号和干扰信号的信道矩阵；

期望信号的信道矩阵是指：本小区的发射机对本小区内所有接收用户之间的信道矩阵；干扰信号的信道矩阵是指：邻小区的发射机对本小区的接收用户之间的信道矩阵，以及本小区的发射机对邻小区的所有接收用户之间的信道矩阵。

步骤三、当某发射机发射期望信号时，通过发射预编码矩阵传输到接收用户的接收预编码矩阵，同时其余接收用户的接收预编码矩阵与该发射预编码矩阵满足正交状态，消除同一小区内各接收用户间的干扰；

具体为：

针对第l个小区，发射机TX_l端设有K个发射预编码矩阵分别对应K个接收用户；当发射期望信号给第k个接收用户UT[k，l]时，通过第k个发射预编码矩阵V^[k，l]发出，经过接收用户UT[k，l]的接收预编码矩阵U^[k，l]接收，每个接收用户分别带有一个接收预编码矩阵。

同时，该期望信号会被本小区内的其他接收用户的接收预编码矩阵接收到，因为第k个发射预编码矩阵与其他接收用户的接收预编码矩阵处于正交状态，因此消除其他接收用户与第k个接收用户间的干扰。

发射预编码矩阵与接收预编码矩阵的正交状态满足：

表示发射机TX_l与接收用户UT[k，l]之间的信道矩阵；V^[k′l]表示第l个小区内第k′个接收用户UT[k′，l]设计的发射预编码矩阵；

该期望信号经过发射机TX_l与接收节点UT[k，l]之间的信道矩阵，在第k个接收用户的接收预编码矩阵U^[k，l]进行恢复，恢复公式如下：

d_s为期望信号中包含的有用数据流的数量。

步骤四、根据信道矩阵，接收端预编码矩阵和发射端预编码矩阵，构建小区内的每个接收用户与小区内的发射机之间的等价期望信道因子以及从小区内的每个接收用户与邻小区的发射机之间的小区间干扰信道因子；

小区内的接收用户UT[k，l]与小区内的发射机TX_l之间的等价期望信道因子公式为：

小区内的接收用户UT[k，l]与小区外的发射机TX_j之间的小区间干扰信道因子公式为：

表示第j个小区的发射机TX_j与接收用户UT[k，l]之间的信道矩阵；V^[k′，j]表示第j个小区内第k′个接收用户UT[k′，j]的发射预编码矩阵；

步骤五、基于等价期望信道因子和小区间干扰信道因子，分别计算每个接收用户的信干燥比SINR，进而构建系统总速率优化函数，确定系统优化目标；

接收用户UT[k，l]的信干燥比SINR^[k，l]表示为：

其中P_l表示发射机TX_l的发射功率，P_j表示发射机TX_j的发射功率，σ²表示噪声的功率。

系统总速率即吞吐量R_sum的优化目标函数公式为：

η表示系统总速率阈值，本发明中的阈值设定为同等场景和条件配置下TDMA机制下最大发射功率的系统总速率)；表示发射机TX_l发射功率的上限值；

步骤六、初始化每个发射机的发射功率取值、动作索引空间以及收益函数，构建功率控制的马尔科夫决策(Markov Decision Process，MDP)模型；

如图3所示，MDP模型的主要组成部分包含了状态集合、动作集合、收益函数以及不同状态下的转移概率。对于马尔科夫决策模型而言，其下一状态取决与当前状态下所采取的动作。而MDP的主要目的就是寻找到一种最优的策略，基于此策略决策者可以通过执行特定的动作而获得最大化的累计收益。

本发明中的中心控制器即为MDP中的代理，其主要负责动作的执行，即给每个发射机发送指示信息，使其能够按照指令动态的调整功率值。需要说明的是，该指示信息是基于系统状态产生的，在每个用户终端的接收信号的功率总和与经过预编码之后的信道系数有关。通过将预编码之后的信道系数重新建模为马尔科夫随机变量便可获得相应的系统状态。

具体过程为：

首先，计算发射机的发射功率取值集合并计算每个接收用户接收信号的功率总和；

第j个小区的发射功率取值集合为其中表示发射功率的不同取值。

针对接收用户UT[k，l]，接收信号的功率总和表示为：

然后，根据每个接收用户接收信号的功率总和，构建马尔科夫决策MDP模型的系统状态s，并确定动作索引空间a，指示发射机选取合适的发射功率值；

系统状态

动作索引空间a＝[a₁，a₂，...，a_j，...，a_L]^H，a_j∈{1，…，M_j}；j＝1，2，...，L；

每个发射机根据动作索引进行功率的控制，从功率取值集合中选取合适的发射功率值；发射功率值应满足如下公式：针对发射机TX_j，发射功率值

最后，定义系统收益函数，确定在执行每个动作或者选取发射功率值时网络得到的收益值

其中代表了正的收益值，即当总速率的需求条件被满足时系统获得的收益，而则表示负收益值，即总速率条件不满足时的收益值。

步骤七、基于功率控制的MDP模型，运用深度增强学习中的DQN算法训练优化目标函数，得到最优的系统总速率。

具体步骤如下：

步骤701、初始化Q网络的参数θ＝θ₀，目标网络参数以及探索概率ε＝ε_s，生成经验数据，构建经验条目(s(τ)，a(τ)，r(τ)，s(τ+1))并存储在经验池内；

τ表示生成经验数据并构建经验条目的时刻，由于训练过程需要很多经验数据，这里表示在不同时刻生成不同的经验数据，以构建本时刻经验条目的方式存储经验池内，当数据经验条目达到一定数量以后，将经验条目从经验池中随机取出数批(即小批量)并传入Q网络进行训练。

步骤702、从经验池中随机选择小批量经验条目传入Q网络，通过最小化loss函数进行训练；

loss函数为：

L(θ)表示loss函数的值，Q_{targ et}目标网络的Q值；

步骤703、时间每过N步，对目标网络参数进行更新，即θ^-＝θ；

步骤704、基于更新后的Q网络参数统计不同信噪比条件下的系统传输总速率；

步骤705、判断系统传输总速率循环周期是否达到阈值，如果是，则训练结果满足性能评估指标，得到最终的参数θ算法结束。否则，返回步骤702继续训练；

收益值的确定是根据收益函数定的，由于信噪比的变化会影响到总速率，需要计算出不同信噪比条件下的总速率，然后跟阈值进行比较，满足指标就结束训练，不满足就继续训练。阈值设定为连续50次。

本发明通过使用预编码消除同小区内用户间的干扰，然后利用基于DRL算法的功率控制方案通过联合调整不同发射机的发射功率来抑制小区间干扰。通过构建联合功率控制的马尔科夫决策模型，旨在通过最小化损失函数来训练中心控制器对基站发射功率的联合控制进而实现系统传输总速率的最大化。

Claims (3)

1.一种基于深度增强学习的多节点联合功率控制方法，其特征在于，具体步骤如下：

步骤一、构建多节点联合功率控制的应用场景；

场景包括L个小区，每个小区包含一个发射机和K个接收用户，用户类型不一；每个用户都配置若干天线，整个网络中所有用户的数据传输工作在相同的频段上；每个发射机分别为一个节点；小区集合为{1,2,…l,...,L}；接收用户集合为{1,2,…k,...,K}；第l个小区中发射机表示为TX_l；第l个小区中的第k个接收用户，表示为UT[k,l]；

步骤二、初始化应用场景内的所有期望信号和干扰信号的信道矩阵；

步骤三、当某发射机发射期望信号时，通过发射预编码矩阵传输到接收用户的接收预编码矩阵，同时其余接收用户的接收预编码矩阵与该发射预编码矩阵满足正交状态，消除同一小区内各接收用户间的干扰；

具体为：

针对第l个小区，发射机TX_l端设有K个发射预编码矩阵分别对应K个接收用户；当发射期望信号给第k个接收用户UT[k,l]时，通过第k个发射预编码矩阵V^[k,l]发出，经过接收用户UT[k,l]的接收预编码矩阵U^[k,l]接收，每个接收用户分别带有一个接收预编码矩阵；

同时，该期望信号会被本小区内的其他接收用户的接收预编码矩阵接收到，因为第k个发射预编码矩阵与其他接收用户的接收预编码矩阵处于正交状态，因此消除其他接收用户与第k个接收用户间的干扰；

发射预编码矩阵与接收预编码矩阵的正交状态满足：

表示发射机TX_l与接收用户UT[k,l]之间的信道矩阵；V^[k',l]表示第l个小区内第k'个接收用户UT[k',l]设计的发射预编码矩阵；

该期望信号经过发射机TX_l与接收节点UT[k,l]之间的信道矩阵，在第k个接收用户的接收预编码矩阵U^[k,l]进行恢复，恢复公式如下：

d_s为期望信号中包含的有用数据流的数量；

步骤四、根据信道矩阵，接收端预编码矩阵和发射端预编码矩阵，构建小区内的每个接收用户与小区内的发射机之间的等价期望信道因子以及从小区内的每个接收用户与邻小区的发射机之间的小区间干扰信道因子；

小区内的接收用户UT[k,l]与小区内的发射机TX_l之间的等价期望信道因子公式为：

小区内的接收用户UT[k,l]与小区外的发射机TX_j之间的小区间干扰信道因子公式为：

表示第j个小区的发射机TX_j与接收用户UT[k,l]之间的信道矩阵；V^[k',j]表示第j个小区内第k'个接收用户UT[k',j]的发射预编码矩阵；

步骤五、基于等价期望信道因子和小区间干扰信道因子，分别计算每个接收用户的信干燥比SINR，进而构建系统总速率优化函数，确定系统优化目标；

接收用户UT[k,l]的信干燥比SINR^[k,l]表示为：

其中P_l表示发射机TX_l的发射功率，P_j表示发射机TX_j的发射功率，σ²表示噪声的功率；

系统总速率即吞吐量R_sum的优化目标函数公式为：

s.t.P_l≤P_l ^max

η表示系统总速率阈值，P_l ^max表示发射机TX_l发射功率的上限值；

步骤六、初始化每个发射机的发射功率取值、动作索引空间以及收益函数，构建功率控制的马尔科夫决策模型；

步骤七、基于功率控制的MDP模型，运用深度增强学习中的DQN算法计算优化目标函数，得到最优的系统总速率。

2.如权利要求1所述的一种基于深度增强学习的多节点联合功率控制方法，其特征在于，步骤二中所述的期望信号的信道矩阵是指：本小区的发射机对本小区内所有接收用户之间的信道矩阵；干扰信号的信道矩阵是指：邻小区的发射机对本小区的接收用户之间的信道矩阵，以及本小区的发射机对邻小区的所有接收用户之间的信道矩阵。

3.如权利要求1所述的一种基于深度增强学习的多节点联合功率控制方法，其特征在于，所述的步骤六具体为：

首先，计算发射机的发射功率取值集合并计算每个接收节点接收信号的功率总和；

第j个小区的发射功率取值集合为

其中表示发射功率的不同取值；

针对接收用户UT[k,l]，接收信号的功率总和表示为：

然后，根据每个接收用户接收信号的功率总和，构建马尔科夫决策MDP模型的系统状态s，并确定动作索引空间a，指示发射机选取合适的发射功率值；

系统状态

动作索引空间a＝[a₁,a₂,...,a_j,...,a_L]^H，a_j∈{1,…,M_j}；j＝1,2,...,L；

每个发射机根据动作索引进行功率的控制，发射功率值应满足如下公式：

针对发射机TX_j，发射功率值

最后，定义系统收益函数，确定在执行每个动作或者选取发射功率值时网络得到的收益值

其中代表了正的收益值，即当总速率的需求条件被满足时系统获得的收益，而则表示负收益值，即总速率条件不满足时的收益值。