CN109195207A - 一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法 - Google Patents

Abstract

一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法，包括以下步骤：1)集能型无线中继网络中通过可再生能量优化管理实现最大吞吐量，其中，优化问题描述为一个多变量优化问题；2)将问题P1分解为两部分优化：功率子优化和时隙子优化，即通过强化学习算法优化变量p_i和来得到最优的r_i。本发明提供一种在集能型无线中继网络中通过联合时间调度和功率分配实现以最大吞吐量最大化系统效益的方法。

Description

一种基于深度强化学习的集能型无线中继网络吞吐量最大化 方法

技术领域

本发明涉及集能型无线中继网络技术领域，尤其是一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法。

背景技术

由于无线设备和新兴多媒体业务的激增，移动数据流量一直呈指数级增长。由于诸如路径损耗，阴影和小规模衰落的信道损耗，越来越多的室内和边缘用户可能会遇到低质量的服务性能。为了克服这种障碍，中继辅助接入技术已经被提出作为开发能量效率和空间分集以提高室内和小区边缘用户服务质量的有价值的解决方案。中继基站将作为边缘用户与宏蜂窝基站之间进行通信的中转站。

然而，密集地部置中继基站所产生的能耗以及随之带来的温室气体(如二氧化碳)排放量也是巨大的。出于对环境及经济效益的双重考量，能量采集技术被引入到无线中继网络中，中继基站及无线设备通过采集可再生能源(如太阳能，风能，热电，机电和环境射频能量等)进行供电已成为提高绿色中继网络能源效率和减少温室气体排放总量的可行技术。然而，由于可再生能量到达的不连续性，为了提供可靠的数据传输及网络吞吐量保障，对可再生能量优化管理变得尤为重要。

发明内容

为了避免由于信道和可再生能量不确定性导致用户服务质量下降的问题，本发明提供一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法。

本发明解决其技术问题所采用的技术方案是：

一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法，所述方法包括以下步骤：

1)集能型无线中继网络中通过可再生能量优化管理实现最大吞吐量，其中，优化问题描述为一个多变量优化问题：

P1:

受限于：

在此，问题P1的各参数定义如下：

p_i：中继节点在时隙i的传输功率；

r_i：中继节点在时隙i的数据率；

τ_i：源节点在时隙i的传输时间；

中继节点在时隙i的传输时间；

u_i：源节点在时隙i的数据率；

h_i：中继节点到目的节点的信道增益；

E_i：中继节点在时隙i时所采集的能量；

E_max：中继节点的电池最大容量；

Q_max：中继节点的数据缓存容量；

L：单个时隙长度；

T：传输时隙数；

W：网络带宽；

2)将问题P1分解为两部分优化：功率子优化和时隙子优化，即通过优化变量p_i和来得到最优的r_i，其中，通过强化学习的方法来优化中继节点在各时隙i上的传输功率p_i和传输时间从而最终决定问题P1中各时隙i的数据率r_i之和的最大化；

该强化学习系统由智能体和环境所组成，中继节点在各时隙i的传输功率p_i和传输时间都被编进了系统当前状态x_t，智能体在当前状态下采取动作a进入下一个状态x_t+1，同时得到环境返回的奖励值r(x_t,a)。在智能体和环境不断交互更新下，传输功率p_i和传输时间将不断被优化直到找到最优的，其中，智能体的更新方式为：

Q^θ(x_t,a)＝r(x_t,a)+γmaxQ^θ′(x_t+1,a′) (3)

其中，各参数定义如下：

θ：评估网络中的参数；

θ＇：目标网络中的参数；

x_t：在时刻t，系统所处状态；

Q^θ(x_t,a)：在状态x_t下采取动作a所得到的Q值；

r(x_t,a)：在状态x_t下采取动作a所得到的奖励；

γ：奖励衰减比重；

3)中继节点在各时隙i的传输功率p_i和传输时间作为深度强化学习的系统状态x_t，动作a则是对系统状态x_t的更改，如果改后的系统在各时隙i的数据率r_i之和比之前的要大，则使当前奖励r(x_t,a)设为正值，反之设为负值，同时系统进入下一状态x_t+1。

进一步，所述步骤3)中，强化学习的迭代过程为：

步骤3.1：初始化强化学习中的评估网络，目标网络和记忆库，当前系统状态为x_t，t初始化为1，迭代次数k初始化为1；

步骤3.2：当k小于或等于给定迭代次数K时，随机选择一个概率p；

步骤3.3：如果p小于或等于ε；则选择评估网络所输出的动作a(t)，否则随机选择一个动作；

步骤3.4：采取动作a(t)后，得到奖励r(t)和下一步状态x(t+1)，并将这些信息按照格式(x(t),a(t),r(t),x(t+1))保存在记忆库中；

步骤3.5：结合目标网络的输出，计算评估网络的目标

y＝r(x_t,a)+γmaxQ^θ′(x_t+1,a′)；

步骤3.6：最小化误差(y-Q(x(t),a(t)；θ))²，同时更新评估网络的参数θ，使得其下次能预测得更准；

步骤3.7：每隔S步，将评估网络的参数赋值给目标网络，同时令k＝k+1，回到步骤3.2；

步骤3.8：当k大于给定迭代次数K时，学习过程结束，得到最佳传输功率p_i和传输时间

本发明的技术构思为：首先,我们将时间调度和功率分配作为二种可控网络资源联合起来考虑，实现以端到端的最大吞吐量最大化系统效益。换言之，希望获得一个最佳的传输功率和时间调度方案使得网络吞吐量最大化的同时，总传输功率消耗最小。接着,将传输功率p_i和传输时间τ_i作为优化变量，各时隙i的数据率r_i之和作为优化目标，通过深度强化学习获得最佳传输功率p_i和传输时间τ_i，从而得到最佳的传输功率和时间调度，实现以最大化吞吐量的最大化系统效益。

本发明的有益效果主要表现在:1、对整个集能型无线中继网络系统而言，优化时间调度和功率分配可以减少系统的资金花费，而且中继基站所产生的能耗以及随之带来的温室气体(如二氧化碳)排放量也能随之降低。集能型无线中继网络，不仅可以降低总功率消耗，而且可以提高网络的传输速率，达到端到端的最大化吞吐量，增加网络的系统效益；2、对网络运营商而言，最佳的时隙和功率分配可以使网络系统服务更多的用户，并降低由于路径损耗，阴影和小规模衰落的信道损耗等原因所导致的低质量服务的概率，从而增加用户信誉，进一步增加其利润。

附图说明

图1是集能型无线中继网络的示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

参照图1，一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法，换言之，即通过联合时间调度和功率分配实现以端到端最大化吞吐量的最大化系统效益。本发明基于一种集能型无线中继网络系统(如图1所示)。在集能型无线中继网络系统中，通过深度强化学习优化时间调度和功率分配，达到最大传输速率。发明在有限的数据缓存和储能电池条件下，针对集能型无线中继网络中的时间调度和功率控制问题，提出了吞吐量最大化的可再生能量优化方法，所述方法包括以下步骤：

1)集能型无线中继网络中通过可再生能量优化管理实现最大吞吐量，其中，优化问题描述为一个多变量优化问题：

P1:

受限于：

在此，问题P1的各参数定义如下：

p_i：中继节点在时隙i的传输功率；

r_i：中继节点在时隙i的数据率；

τ_i：源节点在时隙i的传输时间；

中继节点在时隙i的传输时间；

u_i：源节点在时隙i的数据率；

h_i：中继节点到目的节点的信道增益；

E_i：中继节点在时隙i时所采集的能量；

E_max：中继节点的电池最大容量；

Q_max：中继节点的数据缓存容量；

L：单个时隙长度；

T：传输时隙数；

W：网络带宽；

2)将问题P1分解为两部分优化：功率子优化和时隙子优化，即通过优化变量p_i和来得到最优的r_i，其中，通过强化学习的方法来优化中继节点在各时隙i上的传输功率p_i和传输时间从而最终决定问题P1中各时隙i的数据率r_i之和的最大化；

该强化学习系统由智能体和环境所组成，中继节点在各时隙i的传输功率p_i和传输时间都被编进了系统当前状态x_t，智能体在当前状态下采取动作a进入下一个状态x_t+1，同时得到环境返回的奖励值r(x_t,a)，在智能体和环境不断交互更新下，传输功率p_i和传输时间将不断被优化直到找到最优的，其中，智能体的更新方式为：

Q^θ(x_t,a)＝r(x_t,a)+γmaxQ^θ′(x_t+1,a′) (3)

其中，各参数定义如下：

θ：评估网络中的参数；

θ′：目标网络中的参数；

x_t：在时刻t，系统所处状态；

Q^θ(x_t,a)：在状态x_t下采取动作a所得到的Q值；

r(x_t,a)：在状态x_t下采取动作a所得到的奖励；

γ：奖励衰减比重；

3)中继节点在各时隙i的传输功率p_i和传输时间作为深度强化学习的系统状态x_t，动作a则是对系统状态x_t的更改，如果改后的系统在各时隙i的数据率r_i之和比之前的要大，则使当前奖励r(x_t,a)设为正值，反之设为负值，同时系统进入下一状态x_t+1。

进一步，所述步骤3)中，强化学习的迭代过程为：

步骤3.1：初始化强化学习中的评估网络，目标网络和记忆库，当前系统状态为x_t，t初始化为1，迭代次数k初始化为1；

步骤3.2：当k小于或等于给定迭代次数K时，随机选择一个概率p；

步骤3.3：如果p小于或等于ε；则选择评估网络所输出的动作a(t)，否则随机选择一个动作；

步骤3.4：采取动作a(t)后，得到奖励r(t)和下一步状态x(t+1)，并将这些信息按照格式(x(t),a(t),r(t),x(t+1))保存在记忆库中；

步骤3.5：结合目标网络的输出，计算评估网络的目标y＝r(x_t,a)+γmaxQ^θ′(x_t+1,a′)；

步骤3.6：最小化误差(y-2(x(t),a(t)；θ))²，同时更新评估网络的参数θ，使得其下次能预测得更准；

步骤3.7：每隔S步，将评估网络的参数赋值给目标网络，同时令k＝k+1，回到步骤3.2；

步骤3.8：当k大于给定迭代次数K时，学习过程结束，得到最佳传输功率p_i和传输时间

本实施例中，图1是本发明有关集能型中继基站的无线中继网络。在该集能型无线中继网络系统中，通过优化时间调度和功率分配可以减少系统的资金花费，而且中继基站所产生的能耗以及随之带来的温室气体(如二氧化碳)排放量也能随之降低。集能型无线中继网络系统，不仅可以降低总功率消耗，而且可以提高网络的传输速率，达到端到端的最大化吞吐量，增加网络的系统效益。

本实施着眼于在满足每个用户服务质量的条件下，通过控制用户传输功率和优化时间调度来实现以最小总传输功率消耗最大化端到端吞吐量。我们的工作可以使得网络运营商获得最大利润，尽可能多地服务用户，节省网络资源，提高整个网络的性能，实现最大化的网络系统效益。

Claims (2)

1.一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法，其特征在于：所述方法包括以下步骤：

1)集能型无线中继网络中通过可再生能量优化管理实现最大吞吐量，其中，优化问题描述为一个多变量优化问题：

P1：

受限于：

在此，问题P1的各参数定义如下：

p_i：中继节点在时隙i的传输功率；

r_i：中继节点在时隙i的数据率；

τ_i：源节点在时隙i的传输时间；

中继节点在时隙i的传输时间；

u_i：源节点在时隙i的数据率；

h_i：中继节点到目的节点的信道增益；

E_i：中继节点在时隙i时所采集的能量；

E_max：中继节点的电池最大容量；

Q_max：中继节点的数据缓存容量；

L：单个时隙长度；

T：传输时隙数；

W：网络带宽；

2)将问题P1分解为两部分优化：功率子优化和时隙子优化，即通过优化变量p_i和来得到最优的r_i，其中，通过强化学习的方法来优化中继节点在各时隙i上的传输功率p_i和传输时间从而最终决定问题P1中各时隙i的数据率r_i之和的最大化；

该强化学习系统由智能体和环境所组成，中继节点在各时隙i的传输功率p_i和传输时间都被编进了系统当前状态x_t，智能体在当前状态下采取动作a进入下一个状态x_t+1，同时得到环境返回的奖励值r(x_t，a)，在智能体和环境不断交互更新下，传输功率p_i和传输时间将不断被优化直到找到最优的，其中，智能体的更新方式为：

Q^θ(x_t，a)＝r(x_t，a)+γmaxQ^θ′(x_t+1，a′) (3)

其中，各参数定义如下：

θ：评估网络中的参数；

θ′：目标网络中的参数；

x_t：在时刻t，系统所处状态；

Q^θ(x_t，a)：在状态x_t下采取动作a所得到的Q值；

r(x_t，a)：在状态x_t下采取动作a所得到的奖励；

γ：奖励衰减比重；

3)中继节点在各时隙i的传输功率p_i和传输时间作为深度强化学习的系统状态x_t，动作a则是对系统状态x_t的更改，如果改后的系统在各时隙i的数据率r_i之和比之前的要大，则使当前奖励r(x_t，a)设为正值，反之设为负值，同时系统进入下一状态x_t+1。

2.如权利要求1所述的一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法，其特征在于：所述步骤3)中，强化学习的迭代过程为：

步骤3.1：初始化强化学习中的评估网络，目标网络和记忆库，当前系统状态为x_t，t初始化为1，迭代次数k初始化为1；

步骤3.2：当k小于或等于给定迭代次数K时，随机选择一个概率p；

步骤3.3：如果p小于或等于ε；则选择评估网络所输出的动作a(t)，否则随机选择一个动作；

步骤3.4：采取动作a(t)后，得到奖励r(t)和下一步状态x(t+1)，并将这些信息按照格式(x(t)，a(t)，r(t)，x(t+1))保存在记忆库中；

步骤3.5：结合目标网络的输出，计算评估网络的目标y＝r(x_t，a)+γmaxQ^θ′(x_t+1，a′)；

步骤3.6：最小化误差(y-Q(x(t)，a(t)；θ))²，同时更新评估网络的参数θ，使得其下次能预测得更准；

步骤3.7：每隔S步，将评估网络的参数赋值给目标网络，同时令k＝k+1，回到步骤3.2；

步骤3.8：当k大于给定迭代次数K时，学习过程结束，得到最佳传输功率p_i和传输时间