CN114362888A - 一种提升无线通信下行链路传输性能的方法 - Google Patents

Abstract

一种提升无线通信下行链路传输性能的方法，涉及无线通信系统。1)初始化算法参数；2)根据最新接收到的CQI反馈及历史信息生成状态；3)将状态输入深度神经网络中生成对应每一动作即MCS的价值，选择本次数据传输所要采用的MCS；4)根据所选MCS将对应比特的信息打包到传输块中发送给用户；5)用户对传输块解码，结果反馈ACK/NACK信号给智能体；6)根据用户反馈的ACK/NACK计算奖励，并将“状态”、“动作”、“奖励”、“下一状态”作为一个经验存储到经验池中；7)不断从经验池中抽取经验样本训练深度神经网络；8)更新执行的TTI t，若t小于设定的总时长T，则返步骤2)；否则，终止。

Description

一种提升无线通信下行链路传输性能的方法

技术领域

本发明涉及无线通信系统，尤其是涉及一种提升无线通信下行链路传输性能的方法。

背景技术

链路自适应技术已被广泛应用于提高无线通信链路的传输性能，其既能用于上行链路，也能用于下行链路传输。由于CQI反馈存在量化误差、噪声、以及延迟，下行LA面临着更多的挑战。

在传统的下行LA技术中，用户首先评估下行信道的质量，测得信干噪比(SINR)，然后将SINR值映射为信道质量指标(CQI)反馈给基站。基站在收到的CQI反馈后，将CQI值反转为SINR值，然后使用一个预先生成的查找表来选择一个合适的MCS用于下行传输数据。这一查找表存储了以SINR为条件的所有MCS的传输成功概率。尽管一些传统的LA技术，例如外环链路适应性技术(OLLA)，已经被应用于当前的蜂窝网络中，但是它们存在几项固有的问题。第一，由于传输时间和处理时间，基站收到的CQI反馈通常是在用户生成对应CQI值的几个传输时间间隔(TTI)后才获得的。进一步，在实际系统中，为了减小上行链路控制信令的开销，用户报告CQI反馈通常是周期性的，而不是在每个TTI都反馈。因此，基站可获得的最新CQI值往往是与当前的信道状态不匹配，从而造成传统LA技术的MCS决策不够准确。第二，由于传统LA技术严重依赖于预先生成的查找表，因此外界环境发生轻微的变化都将导致传统LA技术的性能严重下降。因此，设计一种有效且鲁棒性强的LA方案对于实际蜂窝系统中下行链路的传输至关重要。

本发明拟利用DRL算法来设计一种新的LA技术，从而克服传统LA技术带来的挑战。DRL是强化学习与深度神经网络相结合的一项技术，其在近几年被广泛用于解决无线通信系统中各种复杂的问题。在DRL框架中，“状态”、“动作”、以及“奖励”是最为基本的要素。在每次决策过程中，DRL决策智能体从环境中获得一些观测信息，然后基于这些信息生成“状态”并将其输入到神经网络中进行分析。通过使用“动作”选取算法，比如∈-greedy算法，DRL智能体可以确定要采取的行动。基于采取的行动，DRL智能体可以获得一个由环境反馈的“奖励”。通过试错性地与环境不断交互，DRL智能体旨在获得一个能最大化累积折扣奖励的最优策略。常用的DRL算法可以分成三类：基于值的DRL，基于策略的DRL，以及值和策略相结合的DRL。本发明采用基于值的DRL，具体为深度Q网络(DQN)算法，来设计一种新的LA技术，称为DRLLA。在下行链路传输中，基站被当作执行DRLLA技术的智能体，其目标在于选择合适的MCS以匹配时变的无线信道，从而最大化链路的吞吐量并维持较低的BLER。与传统LA技术相比，DRLLA具有以下特征。第一，不同于传统LA仅使用一个可获得的最新CQI来决策MCS，DRLLA使用可获得的最新CQI和一些其它信息(比如，连续两个TTI的CQI差值以及历史信息)联合决策MCS。因此，在存在过时CQI的情况下，DRLLA仍能选择合适的MCS，从而使链路获得较好的传输性能。第二，凭借DRL算法自带的自适应能力，DRLLA能够适应外界环境的不断变化。

发明内容

本发明的目的在于针对现有传统LA技术无法适用过时CQI反馈场景和鲁棒性差的特点，以及在下行链路传输中如何通过调节MCS来提升链路吞吐量和降低BLER等问题，提供一种提升无线通信下行链路传输性能的方法。

本发明包括以下步骤：

1)初始化算法参数；

2)根据最新接收到的CQI反馈以及一些历史信息生成状态；

3)将状态输入到深度神经网络中生成对应每一动作(即MCS)的价值，进而采用∈-greedy算法选择本次数据传输所要采用的MCS；

4)根据所选的MCS，将对应比特的信息打包到传输块中，然后将传输块发送给用户；

5)用户对接收到传输块解码，然后根据解码的结果，反馈ACK/NACK信号给智能体；

6)根据用户反馈的ACK/NACK计算奖励，并将“状态”、“动作”、“奖励”以及“下一状态”作为一个经验存储到经验池中；

7)不断从经验池中抽取经验样本以训练深度神经网络；

8)更新执行的TTIt，即t＝t+1，若t小于设定的总时长T，则重返步骤2)；否则，终止。

在步骤1)中，所述初始化算法参数的具体步骤可为：在时变的无线通信下行传输链路中，用户可报告的CQI值有K种，基站可供选择的MCS有M种；假设深度神经网络的参数θ初始化为随机值，用于存储经验样本的缓冲池大小设置为B，每次从缓冲池中抽取的用于训练深度神经网络的经验样本总数设置为N_e。

在步骤2)中，所述CQI反馈，包括：(1)最近从用户端接收到的CQI值；(2)最近两个连续TTI之间的CQI差异；当CQI差值小于0时，表示信道质量暂时下降；当CQI差值等于0时，表示信道质量没有变化；当CQI差值大于0时，表示信道质量正在暂时改善；(3)智能体在上一TTI的动作和观察值；若收到用户反馈的ACK信号，则智能体的观测将是“成功”，表示其发送的传输块被用户成功接收；若收到用户反馈的NACK信号，则智能体的观测将是“失败”，表示其发送的传输块没有被用户成功接收。

在步骤3)中，所述3)将状态输入到深度神经网络中生成对应每一动作(即MCS)的价值，进而采用∈-greedy算法选择本次数据传输所要采用的MCS的具体步骤可为：智能体将步骤2)生成的状态s_t输入到深度神经网络，以获得对应每一种动作/MCS a的价值，即Q(s_t，a；θ)；所有MCS对应的Q值可以被表示为Q＝{Q(s_t，a；θ)|a∈{0，1，2，…，M}}；进一步，智能体根据∈-greedy算法选择一个动作a_t执行，如下：

在步骤4)中，所述根据所选的MCS，将对应比特的信息打包到传输块中，然后将传输块发送给用户的具体步骤可为：智能体根据所选的MCS，将

比特的信息编码和位交织成可变大小的传输块；然后，智能体通过时变的信道将传输块发送给用户。

在步骤5)中，所述用户对接收到传输块解码，然后根据解码的结果，反馈ACK/NACK信号给智能体的具体步骤可为：用户对接收到的传输块进行解码，其中循环冗余校验被用于判定用户是否能成功对接收到的信号进行解码；若用户解码成功，则发送ACK信号给智能体，以表明智能体的传输是成功的；否则，用户发送NACK信号给智能体，以表明智能体发送的传输块没有被用户成功接收。

在步骤6)中，所述根据用户反馈的ACK/NACK计算奖励，并将“状态”、“动作”、“奖励”以及“下一状态”作为一个经验存储到经验池中的具体步骤可为：智能体根据接收到的用户反馈的ACK/NACK信号计算可获得的奖励r_t+1；若接收到的是ACK信号，则奖励是一个对传输块大小同比例缩小的值；否则，奖励为-1；即：

其中，μ是一个缩小因子，其将不同若应的

等比例缩小；在观测到下一状态s_t+1后，智能体将状态s_t、动作a_t、奖励r_t+1以及下一状态s_t+1作为一个经验，即e_t＝(s_t，a_t，r_t+1，s_t+1)，存储到经验缓冲池。

在步骤7)中，所述不断从经验池中抽取经验样本以训练深度神经网络的具体步骤可为：智能体采用“固定Q网络”和“经验回放”两种机制来训练深度神经网络；

对于“固定Q网络”机制，智能体使用两个深度神经网络：一个参数为θ的估计深度神经网络和一个参数θ^-的目标深度神经网络；其中估计深度神经网络的参数θ在每一个TTI都会被训练，而目标深度神经网络的参数θ^-在每C个TTI更新一次；

对于“经验回放”机制，智能体在每一TTIt从经验缓冲池中抽取N_e个经验样本{e_i＝(s_i，a_i，r_i+1，s_i+1)}，然后将这些样本组成一个mini-batch G_t，进而计算深度神经网络的损失函数如下：

其中，γ称为奖励折扣因子；在获得Loss(θ)后，智能体使用梯度下降算法对估计深度神经网络参数θ进行训练；对于目标深度神经网络的参数θ^-，其每隔C个TTI更新为θ^-←θ。

本发明克服传统LA技术不适用于过时CQI反馈场景且鲁棒性差的特点，采用DRL框架来对链路的传输性能优化问题进行建模。通过对DRL框架中的基本元素“状态”、“动作”、“奖励”、“下一状态”进行合适的定义，本发明实现了DRLLA技术。

与传统LA技术相比，本发明的优点在于：

1)本发明适用于存在包含CQI反馈延迟和CQI报告周期的过时CQI值的场景，更加符合实际通信系统的需求；

2)本发明对不同的网络部署环境具有鲁棒性，不依赖于特定的蜂窝网络部署；

3)相比于传统的LA技术，本发明在实现可比较的低BLER的同时能极大地提高链路吞吐量。

附图说明

图1为本发明实施例的流程框图。

图2为本发明与传统OLLA技术的链路吞吐量性能比较示意图(其中T＝1×10⁵)。

图3为本发明与传统OLLA技术的链路BLER性能比较示意图(其中T＝1×10⁵)。

图4为CQI报告周期对本发明与传统OLLA技术的链路吞吐量性能的影响比较示意图。

图5为CQI报告周期对本发明与传统OLLA技术的链路BLER性能的影响比较示意图。

具体实施方式

以下实施例将结合附图对本发明作进一步详细描述。

一种提升无线通信下行链路传输性能的技术，考虑包含CQI反馈延迟和CQI报告周期的过时CQI反馈特性，首次利用DRL算法选择合适的MCS来匹配时变的信道，从而同时提高下行链路传输的吞吐量和BLER性能，包括以下步骤：

1)初始化算法参数；在时变的无线通信下行传输链路中，用户可报告的CQI值有K种，基站可供选择的MCS有M种。假设估计深度神经网络的参数θ和目标深度神经网络的参数θ^-初始化为相同的随机值，用于存储经验样本的缓冲池大小设置为B，每次从缓冲池中抽取的用于训练深度神经网络的经验样本总数设置为N_e。

2)根据最新接收到的CQI反馈以及一些历史信息生成状态；智能体在TTIt的状态s_t应包含用于最佳MCS选择的有用知识。具体来说，考虑三种类型的可用信息。第一类是最近从用户端接收到的CQI值。由于CQI报告的延迟和不连续性，智能体可用的最新CQI值可能无法反映当前的信道状态。尽管如此，该CQI对于当前TTI中MCS的选择仍然具有一定的指导作用。第二类是最近两个连续TTI之间的CQI差异。具体来说，为了粗略估计信道质量的演变趋势，取基站最近两个连续TTI之间的CQI值差异作为状态的一部分。当CQI差值小于0时，表示信道质量暂时下降；当CQI差值等于0时，表示信道质量没有变化；当CQI差值大于0时，表示信道质量正在暂时改善。第三类是智能体在上一TTI的动作和观察值。在TTIt，智能体在执行完动作(即发送完数据)后，可以获取到用户反馈的观察以指示传输结果。具体而言，若收到用户反馈的ACK信号，则智能体的观测将是“成功”，表示其发送的传输块被用户成功接收。若收到用户反馈的NACK信号，则智能体的观测将是“失败”，表示其发送的传输块没有被用户成功接收。通过将智能体所做的动作和对应的观测嵌入到状态中，可以为智能体的决策提供潜在的信道状态指示。

3)将状态输入到深度神经网络中生成对应每一动作(即MCS)的价值，进而采用∈-greedy算法选择本次数据传输所要采用的MCS；智能体将步骤2)生成的状态s_t输入到深度神经网络，以获得对应每一种动作/MCS a的价值，即Q(s_t，a；θ)。所有MCS对应的Q值可以被表示为Q＝{Q(s_t，a；θ)|a∈{0，1，2，…，M}}。进一步，智能体根据∈-greedy算法选择一个动作a_t执行，如下：

4)智能体根据所选的MCS，将

比特的信息编码和位交织成可变大小的传输块。然后，智能体通过时变的信道将传输块发送给用户。

5)用户对接收到的传输块进行解码，其中循环冗余校验被用于判定用户是否能成功对接收到的信号进行解码。若用户解码成功，则发送ACK信号给智能体，以表明智能体的传输是成功的；否则用户发送NACK信号给智能体，以表明智能体发送的传输块没有被用户成功接收。

6)根据用户反馈的ACK/NACK计算奖励，并将“状态”、“动作”、“奖励”、以及“下一状态”作为一个经验存储到经验池中；智能体根据接收到的ACK/NACK信号计算可获得的奖励r_t+1。若接收到的是ACK信号，则奖励是一个对传输块大小同比例缩小的值；否则，奖励为-1。即，

其中μ是一个缩小因子，其将不同若应的

等比例缩小。在观测到下一状态s_t+1后，智能体将状态s_t、动作a_t、奖励r_t+1、以及下一状态s_t+1作为一个经验，即e_t＝(s_t，a_t，r_t+1，s_t+1)，存储到经验缓冲池。

7)不断从经验池中抽取经验样本以训练深度神经网络；智能体采用“固定Q网络”和“经验回放”两种机制来训练深度神经网络。对于“固定Q网络”机制，智能体使用了两个深度神经网络：一个参数为θ的估计深度神经网络和一个参数θ^-的目标深度神经网络；其中估计深度神经网络的参数θ在每一个TTI都会被训练，而目标深度神经网络的参数θ^-在每C个TTI更新一次。对于“经验回放”机制，智能体在每一TTIt从经验缓冲池中抽取N_e个经验样本{e_i＝(s_i，a_i，r_i+1，s_i+1)}，然后将这些样本组成一个mini-batch G_t，进而计算深度神经网络的损失函数如下：

其中γ称为奖励折扣因子。在获得Loss(θ)后，智能体使用梯度下降算法对估计深度神经网络参数θ进行训练。对于目标深度神经网络的参数θ^-，其每隔C个TTI更新为θ^-←θ。

8)更新执行的TTIt，即t＝t+1；若t小于设定的总时长T，则重返步骤2)继续执行算法；否则，算法终止。

本发明提供一种基于深度强化学习(DRL)的链路适应性技术(LA)，即DRLLA，其中DRL算法被用于选择能最大化链路吞吐量同时能实现较低误块率(BLER)的调制和编码(MCS)方案。本发明以提升实际通信系统中下行链路传输性能为目的。图1给出本发明的实施流程，具体步骤之前已有阐述。

以下通过仿真来进一步说明本发明的可行性和有效性。

考虑一条LTE下行通信链路，链路传输参数根据LTE物理层标准设置。具体而言，基站可选择的MCS总数M设置为29个，用户可反馈的CQI值有16种。载波频率为2GHz，FFT大小为128，子载波数为72，子载波间隔为15kHz，TTI的持续时长为1ms。假设信道分布是采用归一化多普勒为0.01的瑞利衰落信道，平均信道信噪比为15dB。传输块的大小和调制大小可以分别从文献[1]的表7.1.7.2.1-1和表7.1.7.1-1中获取。图2和3分别给出的是当CQI反馈延迟为4ms和CQI报告周期为40ms时，传统的OLLA技术和本发明技术所实现的链路吞吐量和链路BLER比较曲线。从图2和图3中可以看出，相比传统OLLA技术，本发明技术在实现可比较的低BLER性能的同时能明显地提升链路吞吐量。图4和图5分别给出的是当CQI反馈延迟为6ms时，CQI报告周期从0ms增加到40ms，传统OLLA技术和本发明技术实现的链路传输性能的变化。从图4和图5中可以看出，相比传统OLLA技术，本发明技术对于不同CQI报告周期更具鲁棒性。

本发明基于DRL算法来提升无线通信下行链路的传输性能。首先，将无线通信下行链路中的基站看成一个智能体，以及该链路上所有可供选择的MCS看成智能体的动作；接着，将该链路传输性能优化问题建模成DRL问题；然后，通过对DRL框架中的几项要素，即“状态”、“动作”、以及“奖励”进行合适的定义，实现DRLLA技术；最后，利用DRLLA技术对链路的MCS进行动态调整来适应时变的信道，从而在每一TTI得到能较好匹配当前信道的MCS。本发明的优点在于其适用于存在包含CQI反馈延迟和CQI报告周期的过时CQI值的场景，更加符合实际通信系统的需求；同时，凭借DRL算法自带的自适应性能力，本发明对不同的网络部署环境具有鲁棒性，不依赖于特定的蜂窝网络部署。另外，相比于现有的传统LA技术，本发明在实现可比较的低BLER的同时能极大地提高链路吞吐量。

Claims (8)

1.一种提升无线通信下行链路传输性能的方法，其特征在于包括以下步骤：

1)初始化算法参数；

2)根据最新接收到的CQI反馈以及一些历史信息生成状态；

3)将状态输入到深度神经网络中生成对应每一动作即MCS的价值，进而采用∈-greedy算法选择本次数据传输所要采用的MCS；

4)根据所选的MCS，将对应比特的信息打包到传输块中，然后将传输块发送给用户；

5)用户对接收到传输块解码，然后根据解码的结果，反馈ACK/NACK信号给智能体；

6)根据用户反馈的ACK/NACK计算奖励，并将“状态”、“动作”、“奖励”以及“下一状态”作为一个经验存储到经验池中；

7)不断从经验池中抽取经验样本以训练深度神经网络；

8)更新执行的TTI t，即t＝t+1，若t小于设定的总时长T，则重返步骤2)；否则，终止。

2.如权利要求1所述一种提升无线通信下行链路传输性能的方法，其特征在于在步骤1)中，所述初始化算法参数的具体步骤为：在时变的无线通信下行传输链路中，用户可报告的CQI值有K种，基站可供选择的MCS有M种；假设深度神经网络的参数θ初始化为随机值，用于存储经验样本的缓冲池大小设置为B，每次从缓冲池中抽取的用于训练深度神经网络的经验样本总数设置为N_e。

3.如权利要求1所述一种提升无线通信下行链路传输性能的方法，其特征在于在步骤2)中，所述CQI反馈，包括：(1)最近从用户端接收到的CQI值；(2)最近两个连续TTI之间的CQI差异；当CQI差值小于0时，表示信道质量暂时下降；当CQI差值等于0时，表示信道质量没有变化；当CQI差值大于0时，表示信道质量正在暂时改善；(3)智能体在上一TTI的动作和观察值；若收到用户反馈的ACK信号，则智能体的观测将是“成功”，表示其发送的传输块被用户成功接收；若收到用户反馈的NACK信号，则智能体的观测将是“失败”，表示其发送的传输块没有被用户成功接收。

4.如权利要求1所述一种提升无线通信下行链路传输性能的方法，其特征在于在步骤3)中，所述将状态输入到深度神经网络中生成对应每一动作即MCS的价值，进而采用∈-greedy算法选择本次数据传输所要采用的MCS的具体步骤为：智能体将步骤2)生成的状态s_t输入到深度神经网络，以获得对应每一种动作/MCS a的价值，即Q(s_t，a；θ)；所有MCS对应的Q值表示为Q＝{Q(s_t，a；θ)|a∈{0，1，2，…，M}}；进一步，智能体根据∈-greedy算法选择一个动作a_t执行，如下：

5.如权利要求1所述一种提升无线通信下行链路传输性能的方法，其特征在于在步骤4)中，所述根据所选的MCS，将对应比特的信息打包到传输块中，然后将传输块发送给用户的具体步骤为：智能体根据所选的MCS，将

比特的信息编码和位交织成可变大小的传输块；然后，智能体通过时变的信道将传输块发送给用户。

6.如权利要求1所述一种提升无线通信下行链路传输性能的方法，其特征在于在步骤5)中，所述用户对接收到传输块解码，然后根据解码的结果，反馈ACK/NACK信号给智能体的具体步骤为：用户对接收到的传输块进行解码，其中循环冗余校验被用于判定用户是否能成功对接收到的信号进行解码；若用户解码成功，则发送ACK信号给智能体，以表明智能体的传输是成功的；否则，用户发送NACK信号给智能体，以表明智能体发送的传输块没有被用户成功接收。

7.如权利要求1所述一种提升无线通信下行链路传输性能的方法，其特征在于在步骤6)中，所述根据用户反馈的ACK/NACK计算奖励，并将“状态”、“动作”、“奖励”以及“下一状态”作为一个经验存储到经验池中的具体步骤为：智能体根据接收到的用户反馈的ACK/NACK信号计算可获得的奖励r_t+1；若接收到的是ACK信号，则奖励是一个对传输块大小同比例缩小的值；否则，奖励为-1；即：

其中，μ是一个缩小因子，其将不同若应的

等比例缩小；在观测到下一状态s_t+1后，智能体将状态s_t、动作a_t、奖励r_t+1以及下一状态s_t+1作为一个经验，即e_t＝(s_t，a_t，r_t+1，s_t+1)，存储到经验缓冲池。

8.如权利要求1所述一种提升无线通信下行链路传输性能的方法，其特征在于在步骤7)中，所述不断从经验池中抽取经验样本以训练深度神经网络的具体步骤为：智能体采用“固定Q网络”和“经验回放”两种机制来训练深度神经网络；

对于“固定Q网络”机制，智能体使用两个深度神经网络：一个参数为θ的估计深度神经网络和一个参数θ^-的目标深度神经网络；其中估计深度神经网络的参数θ在每一个TTI都会被训练，而目标深度神经网络的参数θ^-在每C个TTI更新一次；

对于“经验回放”机制，智能体在每一TTI t从经验缓冲池中抽取N_e个经验样本{e_i＝(s_i，a_i，r_i+1，s_i+1)}，然后将这些样本组成一个mini-batch G_t，进而计算深度神经网络的损失函数如下：

其中，γ称为奖励折扣因子；在获得Loss(θ)后，智能体使用梯度下降算法对估计深度神经网络参数θ进行训练；对于目标深度神经网络的参数θ^-，其每隔C个TTI更新为θ^-←θ。

Images