CN103906076A - 一种分布式自适应调节小基站发射功率偏置值的方法 - Google Patents

Abstract

本发明公开了一种分布式自适应调节小基站发射功率偏置值的方法。本发明在小基站的回程链路容量受限的情况下通过使用机器学习中的Q-learning的方法自适应地调节小基站发射功率偏置来分担宏蜂窝负载，提高小基站回程链路资源利用率。利用机器学习的一种称为Q-learning的方法可以方便每个小基站实时监控周围用户数目以及用户分布的变化，及时调整自己的参考信号功率偏置值来获得当前情况下最优的偏置值选择，从而充分利用自己的资源为宏基站实现分担负载的功能。本发明所提供的方法不仅能够有效地提高系统容量和覆盖效果，更有助于节省宏基站的运行成本，实现绿色通信。

Description

一种分布式自适应调节小基站发射功率偏置值的方法

技术领域

本发明涉及通信领域，特别涉及一种分布式自适应调节小基站发射功率偏置值的方法。 

背景技术

在下一代无线通信技术中，异构网络对于提升系统容量和覆盖效果，提供较好的数据服务有巨大的帮助。在异构网络中，一些低功耗、低花费的小基站被用来分担传统的宏基站的数据服务任务。然而，受制于其低发射功率的特性，小基站的覆盖的半径较小，一般情况下仅能服务较少的的用户。而在布置小基站时，每个小基站都会分配到固定的回程链路资源，这导致了小基站的资源并没有被充分地利用，另一方面，宏基站可能还在一个高负载的环境下运行。资源利用受限导致在大密度布置小基站的情况下，系统的性能并不能够获得应有的足够的提升。因此，提高小基站资源利用率来为宏基站分担负载的方法急需探索。 

现有文献中给出的提高小基站资源利用率的方法主要有：（1）直接提高小基站的信号发射功率来扩大小基站的覆盖范围以接入更多的周边用户；（2）在用户进行接入选择时，设定某种特定的接入策略引导更多用户去接入小基站；（3）为每个小基站配一个固定的信号发射功率偏置，使小基站的覆盖范围虚拟上“扩大”。（4）每个用户根据自己的需求以及系统的性能选定自己的信号发射功率偏置等等。 

在对现有方法进行分析后发现：文献所提方法或是存在弊端，或是在现实可行性方面有所欠缺。方法（1）虽然能够提高小基站资源利用率，但是系统的能量效率将因此降低，并不符合绿色通信的理念。方法（2）（3）无法动态适应环境的变化，用户过多时可能发生阻塞而用户较少时，其资源利用率仍旧处于一个较低的水平。方法（4）在如今的用户终端上实现大运算量的工作没有现实可行性。 

发明内容

本发明的目的定针对现状中在小基站为宏基站分担负载时小基站的资源利用率相当低的问题，提供一种分布式自适应调节小基站发射功率偏置值的方法。 

分布式自适应调节小基站发射功率偏置值的方法的步骤如下： 

1）为使适量用户从宏基站转到小基站享受数据服务以使小基站最终的吞吐量逼近其所拥有的回程链路信道资源，从而充分利用小基站回程链路资源来给宏基站分担负载，小基站在考虑当前用户服务性能的同时，根据自己当前的回程链路资源的使用情况通过设置自己的参考信号功率偏置值来实现覆盖范围的调整； 

2）在小基站调整好自己的覆盖范围后，在所有候选的基站中，用户计算接收到的每个基站的参考信号功率，并在此功率上分别加上每个基站设定的参考信号功率偏置值作为来自该基站的最终接收“参考信号功率”，用户选择加上偏置后的参考信号功率值最大的基站进行连接； 

3）所有用户确定自己所接入的基站后，小基站在考虑自己当前的回程链路资源的使用和当前用户的服务性能情况下，动态调整自己的最优参考信号功率偏置值； 

4）重复步骤2）和步骤3），直至小基站的最优参考信号功率偏置值收敛，当算法收敛后小基站调低最优参考信号功率偏置值的学习强度，减少运算量并实时监测环境变化，当小基站周围用户数以及分布情况发生重大改变，则小基站重新调高最优参考信号功率偏置值的学习强度，执行步骤2）。 

所述的步骤1）包括： 

（1）若回程链路资源充足，则小基站应当扩展其当前的覆盖范围，使在保证用户服务性能下将原覆盖范围外附近的用户被包括进来，该部分用户转而由该小基站利用其空余的回程链路资源提供数据服务； 

（2）若当前小基站的吞吐量超过了回程链路资源数，则小基站应当缩小当前的覆盖范围，减少为一部分用户提供服务，直至剩余吞吐量小于回程链路资源数，该部分被移出覆盖范围的用户则选择其他基站为其服务。 

所述的步骤3）包括： 

（1）若回程链路资源充足，小基站提高其参考信号功率偏置值，使加上偏置后的参考信号功率值变大，扩张覆盖范围以接入更多用户； 

（2）若当前吞吐量大于回程链路资源数，小基站减小其参考信号功率偏置值，相应地使加上偏置后参考信号功率变小，收缩覆盖范围。 

步骤3）所述的动态调整自己的最优参考信号功率偏置值的方法为：小基站开启时运行Q-learning算法对各状态下最优的参考信号功率偏置值进行学习，小基站在知道自己的回程链路资源数的情况下，将自己当前的吞吐量作为Q-learning的状态变量，根据不同的状态，小基站学习在各状态下的最优的参考信号功率偏置值，方法的具体步骤包括： 

S1、算法开始运行时，宏基站的偏置值始终为0，小基站的偏置值初始化为0，小基站维护一张表格即Q-table来记录每个状态的每一种执行措施下所能获得的Q-value值，该Q-value值与当前状态下采取当前措施获得的奖励值即reward有关； 

S2、在所有候选的基站中，用户计算接收到的每个基站的参考信号功率，并在此功率上分别加上每个基站设定的参考信号功率偏置值作为来自该基站的最终接收“参考信号功率”，用户选择加上偏置后的参考信号功率值最大的基站进行连接； 

S3、按照当前的接入情况，小基站计算当前的吞吐量，并找到该吞吐量所对应的状态。小基站按照一定准则选取一个参考信号功率偏置值作为下一时刻该小基站采用的参考信号功率的偏置值，同时，计算采取当前偏置值所获得的奖励值，以一定的准则来更新Q-table； 

S4、循环执行步骤S2和步骤S3直到算法收敛，即在每一种状态下相应的最优的偏置值已经收敛； 

步骤S3中的参考信号功率偏置值的选择准则满足以下过程： 

（1）定义一个选择因子ε，0＜ε＜1； 

（2）在0到1之间随机产生一个值x，若x比ε大，则随机选择一个执行措施，否则，选择该状态下Q-table中最大值对应的执行措施作为下一时刻的小基站参考信号功率偏置值； 

步骤S3中的Q-table更新准则满足以下过程： 

（1）选定一个更新因子α,0＜α＜1； 

（2）将该状态下使用当前偏置值的Q-table对应值按照如下公式进行更新： 

$Q(s_t,a_t)=(1-\mathrm{\α})Q(s_t,a_t)+\mathrm{\α}[\mathrm{reward}+\mathrm{\γ}\underset{a_{t+1}}{\max }(s_{t+1},a_{t+1})]$

其中s_t,a_t代表t时刻的状态值与执行措施（即偏置值），s_t+1,a_t+1即为相应的下一时刻的值； 

步骤S3中提到的奖励值的计算采用如下公式： 

$\mathrm{reward}=\frac{-\log \left(\frac{1+w\×\mathrm{CDR}}{1+w}\right)}{\mathrm{\ρ}+\frac{1}{\mathrm{\ρ}}}$

其中,CDR表示掉话率，w是一个权重，控制掉话率在奖励值中的影响因子，目的在于在最大化小基站资源利用率与控制掉话率这一用户体验之间取一个折中； 

ρ是回程链路资源利用率，表达式可以写为： 

$\mathrm{\ρ}=\frac{T}{C_{\mathrm{BL}}}$

其中，T为当前小基站的吞吐量，C_BL为小基站的回程链路资源数，很显然有0≤ρ≤1。 

本发明提供的在异构网络中通过动态调整小基站的参考信号发射功率偏置值来充分利用小基站的回程链路资源为宏基站分担负载的方法可以保证用户在最大参考信号功率的接入准 则下不增加任何开销实现小基站资源的充分利用，不仅有效地提升了系统的容量和覆盖效果，在小基站分担了部分宏基站的数据服务负载后更能为宏基站节省部分资源与开销，从而使整个系统的能耗有所降低，通信过程更为绿色。 

本发明在提升小基站的回程链路资源利用率的同时，考虑到了用户的服务性能，在两者之中取折中，即在保证一定的用户服务性能的同时提高小基站的资源利用率。 

本发明具有根据小基站周围用户的数目及分布情况实时动态调整最优的参考信号功率偏置值的效果。算法在收敛之前维持一个较高的学习强度，当算法收敛后可以调低学习强度，减少运算量并实时监测环境变化，当环境产生较大变化时可以再次提高学习强度，加速算法在新环境下的收敛速度。 

附图说明

图1为分布式自适应调节小基站发射功率偏置值的方法的流程图。 

图2为实施例中小基站的回程链路资源利用率以及整个系统的掉话率随学习过程的变化； 

图3为实施例中整个系统的用户平均吞吐量随学习过程的变化。 

具体实施方式

分布式自适应调节小基站发射功率偏置值的方法的步骤如下： 

1）为使适量用户从宏基站转到小基站享受数据服务以使小基站最终的吞吐量逼近其所拥有的回程链路信道资源，从而充分利用小基站回程链路资源来给宏基站分担负载，小基站在考虑当前用户服务性能的同时，根据自己当前的回程链路资源的使用情况通过设置自己的参考信号功率偏置值来实现覆盖范围的调整； 

2）在小基站调整好自己的覆盖范围后，在所有候选的基站中，用户计算接收到的每个基站的参考信号功率，并在此功率上分别加上每个基站设定的参考信号功率偏置值作为来自该基站的最终接收“参考信号功率”，用户选择加上偏置后的参考信号功率值最大的基站进行连接； 

3）所有用户确定自己所接入的基站后，小基站在考虑自己当前的回程链路资源的使用和当前用户的服务性能情况下，动态调整自己的最优参考信号功率偏置值； 

4）重复步骤2）和步骤3），直至小基站的最优参考信号功率偏置值收敛，当算法收敛后小基站调低最优参考信号功率偏置值的学习强度，减少运算量并实时监测环境变化，当小基站周围用户数以及分布情况发生重大改变，则小基站重新调高最优参考信号功率偏置值的学习强度，执行步骤2）。 

所述的步骤1）包括： 

（1）若回程链路资源充足，则小基站应当扩展其当前的覆盖范围，使在保证用户服务性能下将原覆盖范围外附近的用户被包括进来，该部分用户转而由该小基站利用其空余的回程链路资源提供数据服务； 

（2）若当前小基站的吞吐量超过了回程链路资源数，则小基站应当缩小当前的覆盖范围，减少为一部分用户提供服务，直至剩余吞吐量小于回程链路资源数，该部分被移出覆盖范围的用户则选择其他基站为其服务。 

所述的步骤3）包括： 

（1）若回程链路资源充足，小基站提高其参考信号功率偏置值，使加上偏置后的参考信号功率值变大，扩张覆盖范围以接入更多用户； 

（2）若当前吞吐量大于回程链路资源数，小基站减小其参考信号功率偏置值，相应地使加上偏置后参考信号功率变小，收缩覆盖范围。 

步骤3）所述的动态调整自己的最优参考信号功率偏置值的方法为：小基站开启时运行Q-learning算法对各状态下最优的参考信号功率偏置值进行学习，小基站在知道自己的回程链路资源数的情况下，将自己当前的吞吐量作为Q-learning的状态变量，根据不同的状态，小基站学习在各状态下的最优的参考信号功率偏置值，方法的具体步骤包括： 

S1、算法开始运行时，宏基站的偏置值始终为0，小基站的偏置值初始化为0，小基站维护一张表格即Q-table来记录每个状态的每一种执行措施下所能获得的Q-value值，该Q-value值与当前状态下采取当前措施获得的奖励值即reward有关； 

S2、在所有候选的基站中，用户计算接收到的每个基站的参考信号功率，并在此功率上分别加上每个基站设定的参考信号功率偏置值作为来自该基站的最终接收“参考信号功率”，用户选择加上偏置后的参考信号功率值最大的基站进行连接； 

S3、按照当前的接入情况，小基站计算当前的吞吐量，并找到该吞吐量所对应的状态。小基站按照一定准则选取一个参考信号功率偏置值作为下一时刻该小基站采用的参考信号功率的偏置值，同时，计算采取当前偏置值所获得的奖励值，以一定的准则来更新Q-table； 

S4、循环执行步骤S2和步骤S3直到算法收敛，即在每一种状态下相应的最优的偏置值已经收敛； 

步骤S3中的参考信号功率偏置值的选择准则满足以下过程： 

（1）定义一个选择因子ε，0＜ε＜1； 

（2）在0到1之间随机产生一个值x，若x比ε大，则随机选择一个执行措施，否则，选择该状态下Q-table中最大值对应的执行措施作为下一时刻的小基站参考信号功率偏置值； 

步骤S3中的Q-table更新准则满足以下过程： 

（1）选定一个更新因子α,0＜α＜1； 

（2）将该状态下使用当前偏置值的Q-table对应值按照如下公式进行更新： 

$Q(s_t,a_t)=(1-\mathrm{\α})Q(s_t,a_t)+\mathrm{\α}[\mathrm{reward}+\mathrm{\γ}\underset{a_{t+1}}{\max }(s_{t+1},a_{t+1})]$

其中s_t,a_t代表t时刻的状态值与执行措施（即偏置值），s_t+1,a_t+1即为相应的下一时刻的值； 

步骤S3中提到的奖励值的计算采用如下公式： 

$\mathrm{reward}=\frac{-\log \left(\frac{1+w\×\mathrm{CDR}}{1+w}\right)}{\mathrm{\ρ}+\frac{1}{\mathrm{\ρ}}}$

其中,CDR表示掉话率，w是一个权重，控制掉话率在奖励值中的影响因子，目的在于在最大化小基站资源利用率与控制掉话率这一用户体验之间取一个折中； 

ρ是回程链路资源利用率，表达式可以写为： 

$\mathrm{\ρ}=\frac{T}{C_{\mathrm{BL}}}$

其中，T为当前小基站的吞吐量，C_BL为小基站的回程链路资源数，很显然有0≤ρ≤1。 

下面将结合附图和具体实施例对本发明做进一步说明。 

由于本实施例适用于异构网络的自组织网络中，对于分布式算法仅需考虑宏蜂窝中的一个小基站即可，其余小基站加入后以相同工作模式进行工作，因此本实施例中，仅从系统中的一个小基站的角度考虑。技术场景如下：本实施例的模型包括1个宏基站与5个小基站，所有基站复用频率资源。宏基站的发射功率为46dBm，小基站的发射功率为20dBm，在宏蜂窝内随机投入1000个用户，用户满足均匀分布。宏基站接入用户数目受限，为900个。噪声功率-100dBm。宏基站的通信链路路径损失为128+40log10(d[km])，小基站的通信链路路径损失为128+35log10(d’[km]),阴影衰落的均值为0、方差为8dB。小基站参考信号功率偏执为0-8dBm。 

本实施例中，最终的目标要在与系统掉话率取折中的同时获取一个较高的小基站资源利用率。用户以最大加上偏置后的参考信号功率为准则选择自己的服务基站，用户接收到的小基站的参考信号接收功率可以表示为： 

RSRP＝RSP-PL-SF 

RSP为参考信号功率，PL为路径损失，SF为阴影衰落。 

本实施例中的分布式算法执行流程如图1所示，具体包括以下步骤： 

S101、小基站开启，算法初始化。小基站的参考信号功率偏置值初始化为0。选定参考信号功率偏置值的取值为m个可能的离散值，即在t时刻的偏置值bias_t∈bias＝{bias₁,...,bias_m}，将吞吐量空间划分为n个区间，每一个区间使用一个状态来表示，即在t时刻，小基站吞吐量所在区间s_t∈s＝{s₁,...,s_n}。小基站维护的Q-table中每一状态下的每一执行措施的Q-value初始化为一个0到1之间的随机值。选定Q-learning算法中的执行措施选择因子ε和Q-table中的Q-value更新因子α，以及所需要的常数γ和CDR权重因子w； 

S102、用户分别计算从宏基站和小基站接收到的参考信号功率P_M和P_S，并获取小基站当前的参考信号功率偏置值，即bias； 

S103、用户在小基站的参考信号功率上加上偏置值为小基站的最终“参考信号功率”，用最大参考信号功率准则选择自己所要接入的基站： 

（1）P_M＞P_S+bias，则用户接入宏基站 

（2）P_M≤P_S+bias，则用户接入小基站 

此处在相等条件下选择将用户接入小基站是基于优先利用小基站资源的考虑； 

S104、用户接入后根据实际接收到的信号功率与自己的服务需求门限做比较，低于门限值则产生掉话。小基站由此根据一段时间内掉话数的均值计算出当前的掉话率； 

S105、小基站计算自己当前的吞吐量，计算方法为取一段时间内的服务用户的速率和的平均值。小基站根据当前的吞吐量确定此时在执行Q-learning算法中的状态s_t； 

S106、算法按照权利要求书中所定义的下一时刻执行措施的选择公式选择下一时刻的小基站的参考信号功率偏置值； 

S107、算法按照权利要求书中所定义的奖励值计算公式计算在当前状态s_t下执行当前措施a_t所能获得的奖励值reward； 

S108、算法按照权利要求书中所定义的Q-table跟新公式跟新Q-table中当前状态s_t下执行当前措施a_t所对应的Q-value； 

S109、算法判断是否收敛，若未收敛，算法循环执行S102至S108，若已收敛，则算法降低学习强度，进入平稳工作状态，并适时监控环境是否产生较大变动，一旦产生较大变动，算法重新提高学习强度并执行S102直至在新环境下再次收敛。 

算法对于收敛性的判断遵循如下准则：算法计算一段时间内小基站吞吐量的平均波动Δ，并设定收敛标准ν： 

（1）Δ≥ν，则算法未收敛； 

（2）Δ＜ν，则算法已收敛。 

算法对于环境监测遵循如下准则：算法设定重启判断因子ζ： 

（1）Δ≥ζ，环境已发生较大变化，算法提高学习强度，重启学习； 

（2）Δ＜ζ，则环境未发生重大变化，继续沿用当前准则。 

上述方法实现的原理和达到的技术效果可以为： 

本发明为异构网络中小基站充分利用自身资源为宏基站分担负载提供了一种可控的方法，即在小基站的参考信号发射功率上增加一个可控的偏置值来调节小基站的覆盖范围从而控制接入小基站的用户数。本发明实现了在考虑与用户掉话率取折中的情况下尽可能实现一个较高的小基站回程链路资源利用率，从而实现对小基站资源的充分利用，可以有效地提高整个系统的容量和覆盖效果，与此同时，减轻宏基站的负载将有利于释放昂贵的宏基站资源，减少宏基站的运行开销，使通信更为绿色。 

图2为本实施例中小基站的回程链路资源利用率以及整个系统的掉话率随学习过程的变化，可以看出，经过一段学习的波动后，小基站回程链路资源利用率曲线趋于收敛，达到一个相对于原来较高的资源利用率，而由于小基站为宏基站分担了一部分负载，使得宏基站能够使用该部分资源服务原本无法得到足够资源的用户，系统整体的掉话率得到明显下降。 

图3为本实施例中整个系统的用户平均吞吐量随学习过程的变化，可以看到，在算法初期的高强度学习过程中，系统用户平均吞吐量在上升的同时经历较大震荡，当学习过程趋近结束时，学习强度减弱，用户平均吞吐量逐渐收敛，在小基站运行了本发明提出的算法后，整体的平均吞吐量获得了提升，考虑到实际系统中大密度的小基站的布置，在所有小基站上运行该算法将非常有助于系统性能的提高。 

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。 

Claims (4)

1.一种分布式自适应调节小基站发射功率偏置值的方法，其特征在于，它的步骤如下：

1）为使适量用户从宏基站转到小基站享受数据服务以使小基站最终的吞吐量逼近其所拥有的回程链路信道资源，从而充分利用小基站回程链路资源来给宏基站分担负载，小基站在考虑当前用户服务性能的同时，根据自己当前的回程链路资源的使用情况通过设置自己的参考信号功率偏置值来实现覆盖范围的调整；

2）在小基站调整好自己的覆盖范围后，在所有候选的基站中，用户计算接收到的每个基站的参考信号功率，并在此功率上分别加上每个基站设定的参考信号功率偏置值作为来自该基站的最终接收“参考信号功率”，用户选择加上偏置后的参考信号功率值最大的基站进行连接；

3）所有用户确定自己所接入的基站后，小基站在考虑自己当前的回程链路资源的使用和当前用户的服务性能情况下，动态调整自己的最优参考信号功率偏置值；

4）重复步骤2）和步骤3），直至小基站的最优参考信号功率偏置值收敛，当算法收敛后小基站调低最优参考信号功率偏置值的学习强度，减少运算量并实时监测环境变化，当小基站周围用户数以及分布情况发生重大改变，则小基站重新调高最优参考信号功率偏置值的学习强度，执行步骤2）。

2.根据权利要求1所述的一种分布式自适应调节小基站发射功率偏置值的方法，其特征在于，所述的步骤1）包括：

（1）若回程链路资源充足，则小基站应当扩展其当前的覆盖范围，使在保证用户服务性能下将原覆盖范围外附近的用户被包括进来，该部分用户转而由该小基站利用其空余的回程链路资源提供数据服务；

（2）若当前小基站的吞吐量超过了回程链路资源数，则小基站应当缩小当前的覆盖范围，减少为一部分用户提供服务，直至剩余吞吐量小于回程链路资源数，该部分被移出覆盖范围的用户则选择其他基站为其服务。

3.根据权利要求1所述的一种分布式自适应调节小基站发射功率偏置值的方法，其特征在于，所述的步骤3）包括：

（1）若回程链路资源充足，小基站提高其参考信号功率偏置值，使加上偏置后的参考信号功率值变大，扩张覆盖范围以接入更多用户；

（2）若当前吞吐量大于回程链路资源数，小基站减小其参考信号功率偏置值，相应地使加上偏置后参考信号功率变小，收缩覆盖范围。

4.根据权利要求1所述的一种分布式自适应调节小基站发射功率偏置值的方法，其特征在于，步骤3）所述的动态调整自己的最优参考信号功率偏置值的方法为：小基站开启时运行Q-learning算法对各状态下最优的参考信号功率偏置值进行学习，小基站在知道自己的回程链路资源数的情况下，将自己当前的吞吐量作为Q-learning的状态变量，根据不同的状态，小基站学习在各状态下的最优的参考信号功率偏置值，方法的具体步骤包括：

S1、算法开始运行时，宏基站的偏置值始终为0，小基站的偏置值初始化为0，小基站维护一张表格即Q-table来记录每个状态的每一种执行措施下所能获得的Q-value值，该Q-value值与当前状态下采取当前措施获得的奖励值即reward有关；

S2、在所有候选的基站中，用户计算接收到的每个基站的参考信号功率，并在此功率上分别加上每个基站设定的参考信号功率偏置值作为来自该基站的最终接收“参考信号功率”，用户选择加上偏置后的参考信号功率值最大的基站进行连接；

S3、按照当前的接入情况，小基站计算当前的吞吐量，并找到该吞吐量所对应的状态。小基站按照一定准则选取一个参考信号功率偏置值作为下一时刻该小基站采用的参考信号功率的偏置值，同时，计算采取当前偏置值所获得的奖励值，以一定的准则来更新Q-table；

S4、循环执行步骤S2和步骤S3直到算法收敛，即在每一种状态下相应的最优的偏置值已经收敛；

步骤S3中的参考信号功率偏置值的选择准则满足以下过程：

（1）定义一个选择因子ε，0＜ε＜1；

（2）在0到1之间随机产生一个值x，若x比ε大，则随机选择一个执行措施，否则，选择该状态下Q-table中最大值对应的执行措施作为下一时刻的小基站参考信号功率偏置值；

步骤S3中的Q-table更新准则满足以下过程：

（1）选定一个更新因子α,0＜α＜1；

（2）将该状态下使用当前偏置值的Q-table对应值按照如下公式进行更新：

$Q(s_t,a_t)=(1-\mathrm{\α})Q(s_t,a_t)+\mathrm{\α}[\mathrm{reward}+\mathrm{\γ}\underset{a_{t+1}}{\max }(s_{t+1},a_{t+1})]$

其中s_t,a_t代表t时刻的状态值与执行措施（即偏置值），s_t+1,a_t+1即为相应的下一时刻的值；

步骤S3中提到的奖励值的计算采用如下公式：

$\mathrm{reward}=\frac{-\log \left(\frac{1+w\×\mathrm{CDR}}{1+w}\right)}{\mathrm{\ρ}+\frac{1}{\mathrm{\ρ}}}$

其中,CDR表示掉话率，w是一个权重，控制掉话率在奖励值中的影响因子，目的在于在最大化小基站资源利用率与控制掉话率这一用户体验之间取一个折中；

ρ是回程链路资源利用率，表达式可以写为：

$\mathrm{\ρ}=\frac{T}{C_{\mathrm{BL}}}$

其中，T为当前小基站的吞吐量，C_BL为小基站的回程链路资源数，很显然有0≤ρ≤1。

Images