CN103517309A - 一种基于渐近贪心行为探索的小区中断补偿方法 - Google Patents

Abstract

本发明提出一种基于渐近贪心行为探索策略的小区中断补偿方法，属于无线通信自组网领域，该方法采用Sarsa-learning学习方法，结合一种渐近贪心的行为探索策略寻找最优解。本发明提出的小区中断补偿方法以天线下倾角为调整参数，采用了增强学习中的Sarsa-learning学习方法来对各个补偿小区的天线下倾角的配置进行优化，在优化过程中采用的渐近贪心行为探索策略（Boltzmann行为探索策略），能无限遍历整个状态-行为对空间，有效避免了补偿陷入局部最优解中，还大大缩短了补偿过程达到收敛的时间，使得中断小区的用户的服务性能在更短的时间内得到更好的恢复。

Description

一种基于渐近贪心行为探索的小区中断补偿方法

技术领域

本发明涉及一种基于渐近贪心行为探索的小区中断补偿方法，属于无线通信自组网技术领域。

背景技术

在移动通信网络发展的历史上，每一项关键技术的产生都会带来重大的变革。目前，多输入多输出（MIMO）、无线中继、小区间干扰协调、载波聚合、家庭基站和异构网络融合等技术是正在被广泛研究的先进技术，而下一代宽带蜂窝移动通信系统（IMT-Advanced）在集以上关键技术于一身的同时，还采用了扁平化的网络结构，改变了传统的集中控制模式。新的传输技术、新的网络结构、新的业务环境和传输模式都使得IMT-Advanced系统在运营、维护和管理层面比传统的蜂窝网络要复杂得多，主要体现在需要监测、分析和配置的参数越来越多，因此以人工操作为主的传统蜂窝网络的规划、管理和优化的方法变得不再高效。为了适应IMT-Advanced运维与管理新特性的需求、减少网络的运维成本、提高用户体验，需要研究一种具有学习能力的智能化网络规划管理及优化方法。自组织网络（以下简称SON，Self-Organizing Network）就是为了简化无线网络的规划、运维和管理，提高网络自组织能力而设计的一种网络管理与优化的机制。事实上，正在不断膨胀的无线业务数据量和用户需求对通信系统的要求使得未来的移动通信系统都必须具备SON功能，它包括网络的自配置(self-configuration)、自优化(self-optimization)和自治愈(self-healing)。

网络自配置通过自动发现和建立邻区关系、自动配置小区标识以尽量减少网络规划和管理的人工参与，降低网络在部署和规划阶段的建设和维护成本。网络自优化是通过监测网络的一些关键性能指标来发现网络中的一些故障（如设备故障或不合理的参数配置），并通过一定的优化算法自动调整相关基站的相关参数来达到减少覆盖空洞、提高系统容量、优化网络整体性能的目的。网络自治愈是指由于基站发生故障，使得小区内部局部区域或整个小区的覆盖或容量出现严重损失时，通过对故障进行检测、定位、补偿、恢复，改善小区的覆盖性能和通信质量，并在必要时辅助人工修复故障，缩短网络故障持续的时间，其中用到的两大关键技术就是小区中断检测（以下简称COD，Cell Outage Detection）和小区中断补偿（以下简称COC，Cell Outage Compensation）。

目前，关于COD和COC已经有许多研究。COC一般在COD完成之后启动，根据中断检测的结果和运营商的策略执行相应的补偿措施，例如重启设备、升级软件版本，或对中断小区的邻居小区的无线参数（如下行发射功率，天线下倾角等）进行调整，通过扩大邻居小区的覆盖范围来对中断小区的覆盖漏洞进行补偿。而邻居小区覆盖范围的增加又会使各个小区之间的干扰增强，信干噪比（SINR）降低，频谱效率降低，系统吞吐量下降。因此，小区中断补偿就是在参与补偿的小区的无线参数中搜索一个最佳组合，使其对中断小区的补偿和对邻居小区的干扰进行较好的折中。当前已有的小区中断补偿方法在对邻居小区的无线参数进行优化的过程中容易陷入局部最优解中，且算法的收敛速度较慢。

发明内容

本发明的目的是提出一种基于渐近贪心行为探索策略的小区中断补偿方法，以克服已有技术的不足之处，在避免补偿过程陷入局部最优解的同时缩短补偿算法的收敛时间，使对中断小区的服务性能在更短的时间内得到更有效的恢复，提高用户体验。

本发明提出的基于渐近贪心行为探索的小区中断补偿方法，包括以下步骤：

（1）移动通信网络中通信小区内的用户对与该用户所在小区相邻的六个邻居小区的参考信号接收功率进行测量，并从测量的参考信号接收功率中选择最强的3个参考信号接收功率上传至该用户的服务基站；

（2）上述服务基站对用户上报的所有参考信号接收功率进行如下表所示的强度等级划分：

（3）通信小区将本通信小区内所有用户上报的同一邻居小区的参考信号接收功率强度等级进行累加，得到本通信小区基站对六个邻居小区的六个综合接收强度，该六个综合接收强度构成一个六维特征向量，定义该六维特征向量为该通信小区的邻居小区参考信号接收功率列表，将最近多个测量周期得到的多个参考信号接收功率列表进行累加，得到一个参考信号接收功率的统计向量，并将该参考信号接收功率的统计向量上报至移动通信网络中该通信小区所属的蜂窝控制中心；

（4）当移动通信网络中的通信小区发生通信中断时，移动通信网络的蜂窝控制中心在发生通信中断的通信小区最后一次上报的参考信号接收功率的统计向量中检索出三个最大的分量，并将与该三个最大分量相对应的通信小区选为补偿小区；

（5）设补偿小区的补偿状态s为补偿小区当前的天线下倾角的值，将对补偿小区天线下倾角的调整称为补偿小区的补偿行为a，定义补偿行为a的集合为A=(-101)，分别代表补偿小区天线下倾角的减少、不变和增加3种行为；

（6）为每个补偿小区建立一个行为值函数表Q，行为值函数表中存储补偿小区的当前补偿状态下每种补偿行为的值函数，对值函数表进行初始化，初始补偿时刻t＝0，初始补偿时长为0，对当前补偿状态s₀按照以下渐近贪心行为探索方法，确定当前天线下倾角的补偿行为a₀的概率Pr(a|s,t,Q,n_t(s))：

$\mathrm{Pr}\left(a\right|s,t,Q,n_t\left(s\right))=\frac{e^{{\mathrm{\β}}_t\left(s\right)Q(s,a)}}{\underset{b\∈A}{\mathrm{\Σ}}{e}^{{\mathrm{\β}}_t\left(s\right)Q(s,b)}}$

其中：

${\mathrm{\β}}_t\left(s\right)=\frac{{\ln n}_t\left(s\right)}{{\max }_a|Q_t(s,b_{\max })-Q_t(s,a)|}$

b_max＝argmax_b∈AQ_t(s,b)

n_t(s)为当前时刻t补偿状态s在历史上被访问的次数，A为当前状态下的行为集合，Q_t(s,a)为当前时刻t下与补偿状态s相对应的补偿行为a的值函数；

（7）在小区中断补偿中，中断小区和补偿小区内的用户分别将信干噪比反馈给各自服务基站，补偿小区根据本补偿小区内用户的反馈信息计算本次补偿的回报值，并根据如下Sarsa-learning的值函数迭代公式更新步骤（6）的行为值函数表Q：

Q(s_t,a_t)＝Q_t(s_t,a_t)+α_t[r(s_t,a_t)+ηQ(s_t+1,a_t+1)-Q(s_t,a_t)]

其中α_t为Sarsa-learning算法的学习因子，η为学习速率调整因子，r(s_t,a_t)为补偿状态s_t和补偿行为a_t下的回报值，计算公式为：r＝ΔCPF＝CPF_new-CPF_old，其中，CPF为小区性能函数：

CPF＝βγ×SE_edge(outage_cell)+(1-γ)β×SE_ave(outage_cell)；

+γ(1-β)×SE_ave(compen_cell)；

上式中，SE_edge(outage_cell)表示中断小区的边缘频谱效率，等于该中断小区内用户频谱效率累积分布函数的低5%；SE_ave(outage_cell)表示中断小区的平均频谱效率，等于中断小区内用户频谱效率的低50%；SE_ave(compen_cell)表示补偿小区的平均频谱效率，等于补偿小区内用户频谱效率的低50%；γ为覆盖和容量的折中因子，0＜γ＜1，β为补偿小区性能与中断小区性能的折中因子，0＜β＜1；

（8）设定一个补偿小区回报值阈值Δreward和一个补偿时长上限T_sup，若上述回报值r大于Δreward，且补偿时刻小于补偿时长上限T_sup，则每个补偿小区根据当前行为值函数表Q，利用上述步骤（6）和（7）中的渐近贪心行为探索方法，计算得到补偿小区天线下倾角的补偿行为，并根据该补偿行为，计算下一时刻补偿状态s_t+1，若上述回报值r小于或等于Δreward，或补偿时刻大于补偿时长上限T_sup，则补偿结束。

本发明提出的基于渐近贪心行为探索的小区中断补偿方法，其优点是，本方法以天线下倾角为调整参数，采用了增强学习中的Sarsa-learning学习方法来对各个补偿小区的天线下倾角进行优化，在优化过程中采用的渐近贪心行为探索策略无限遍历整个状态-行为对空间，有效避免了补偿陷入局部最优解中，还大大缩短了补偿过程达到收敛的时间，使得中断小区的用户的服务性能在更短的时间内得到更好的恢复。

附图说明

图1是本发明提出的基于渐近贪心行为探索的小区中断补偿方法的流程框图。

图2是本发明方法涉及的无线网络结构示意图。

图2中，1是中断小区，2是补偿小区，3是小区发射天线，4是用户，5是蜂窝控制中心，6是蜂窝控制中心到各基站的链路。

具体实施方式

本发明提出的基于渐近贪心行为探索的小区中断补偿方法，其流程框图如图1所示，其涉及的无线网络结构示意图如图2所示，图2中，1是中断小区，2是补偿小区，3是小区发射天线，4是用户，5是蜂窝控制中心，6是蜂窝控制中心到各基站的链路。

本发明方法包括以下步骤：

（1）移动通信网络中的通信小区内的用户对与该用户所在小区相邻的六个邻居小区的参考信号接收功率进行测量，并从测量的参考信号接收功率中选择最强的3个参考信号接收功率上传至该用户的服务基站；

（2）服务基站对用户上报的所有参考信号接收功率进行如下表所示的强度等级划分：

（3）通信小区将本通信小区内所有用户上报的关于同一邻居小区的参考信号接收功率强度等级进行累加，得到本通信小区基站对六个邻居小区的六个综合接收强度，该六个综合接收强度构成一个六维特征向量，定义该六维特征向量为该通信小区的邻居小区参考信号接收功率列表，将最近多个测量周期得到的多个参考信号接收功率列表进行累加，得到一个参考信号接收功率的统计向量，并将该参考信号接收功率的统计向量上报至移动通信网络中该通信小区所属的蜂窝控制中心；

（4）当移动通信网络中的通信小区发生通信中断时，移动通信网络的蜂窝控制中心在发生通信中断的通信小区最后一次上报的参考信号接收功率的统计向量中检索三个最大的分量，并将与该三个最大分量相对应的通信小区选为补偿小区；

（5）设补偿小区的补偿状态s为补偿小区当前的天线下倾角的值，本实施例规定，天线下倾角可在初始状态的±5deg之内变化，且变化步长为1deg；补偿小区天线下倾角的调整为补偿小区的补偿行为a，定义行为集合为A=(-101)，分别代表补偿小区天线下倾角的减少、不变和增加3种行为；

（6）为每个补偿小区建立一个行为值函数表Q，其大小为11×3，行为值函数表中存储补偿小区的当前补偿状态下每种补偿行为的值函数，对值函数表进行初始化，补偿时刻t＝0，补偿时长为0，对当前补偿状态s₀按照以下渐近贪心行为探索方法，确定当前天线下倾角的调整行为a₀的概率Pr(a|s,t,Q,n_t(s))：

$\mathrm{Pr}\left(a\right|s,t,Q,n_t\left(s\right))=\frac{e^{{\mathrm{\β}}_t\left(s\right)Q(s,a)}}{\underset{b\∈A}{\mathrm{\Σ}}{e}^{{\mathrm{\β}}_t\left(s\right)Q(s,b)}}$

其中：

${\mathrm{\β}}_t\left(s\right)=\frac{{\ln n}_t\left(s\right)}{{\max }_a|Q_t(s,b_{\max })-Q_t(s,a)|}$

b_max＝argmax_b∈AQ_t(s,b)

nt(s)为当前时刻t补偿状态s在历史上被访问的次数，A为当前状态下的行为集合，Q_t(s,a)为当前时刻t下补偿状态s和补偿行为a对应的值函数；

（7）在小区中断补偿中，中断小区和补偿小区内的用户分别将信干噪比反馈给各自服务基站，补偿小区根据本补偿小区内用户的反馈信息计算本次补偿的回报值，并根据如下Sarsa-learning的值函数迭代公式更新行为值函数Q值表：

Q(s_t,a_t)＝Q_t(s_t,a_t)+α_t[r(s_t,a_t)+ηQ(s_t+1,a_t+1)-Q(s_t,a_t)]

其中α_t为Sarsa-learning算法的学习因子，η为学习速率调整因子，r(s_t,a_t)为补偿状态s_t和补偿行为a_t下的回报值，计算公式为：r＝ΔCPF＝CPF_new-CPF_old，其中，CPF为小区性能函数：

CPF＝βγ×SE_edge(outage_cell)+(1-γ)β×SE_ave(outage_cell)；

+γ(1-β)×SE_ave(compen_cell)；

上式中，SE_edge(outage_cell)表示中断小区的边缘频谱效率，等于该中断小区内用户频谱效率累积分布函数的低5%；SE_ave(outage_cell)表示中断小区的平均频谱效率，等于中断小区内用户频谱效率的低50%；SE_ave(compen_cell)表示补偿小区的平均频谱效率，等于补偿小区内用户频谱效率的低50%；γ为覆盖和容量的折中因子，0＜γ＜1，β为补偿小区性能与中断小区性能的折中因子，0＜β＜1；

（8）设定一个补偿小区回报值阈值Δreward和一个补偿时长上限T_sup，若上述回报值r大于Δreward，且补偿时刻小于补偿时长上限T_sup，则每个补偿小区根据当前行为值函数表Q，利用上述步骤（6）和（7）中的渐近贪心行为探索方法，计算得到补偿小区天线下倾角的补偿行为，并根据该补偿行为，计算下一时刻补偿状态s_t+1，若上述回报值r小于或等于Δreward，或补偿时刻大于补偿时长上限T_sup，则补偿结束。

Claims (1)

1.一种基于渐近贪心行为探索的小区中断补偿方法，其特征在于，该补偿方法包括以下步骤：

（1）移动通信网络中通信小区内的用户对与该用户所在小区相邻的六个邻居小区的参考信号接收功率进行测量，并从测量的参考信号接收功率中选择最强的3个参考信号接收功率上传至该用户的服务基站；

（2）上述服务基站对用户上报的所有参考信号接收功率进行如下表所示的强度等级划分：

（3）通信小区将本通信小区内所有用户上报的同一邻居小区的参考信号接收功率强度等级进行累加，得到本通信小区基站对六个邻居小区的六个综合接收强度，该六个综合接收强度构成一个六维特征向量，定义该六维特征向量为该通信小区的邻居小区参考信号接收功率列表，将最近多个测量周期得到的多个参考信号接收功率列表进行累加，得到一个参考信号接收功率的统计向量，并将该参考信号接收功率的统计向量上报至移动通信网络中该通信小区所属的蜂窝控制中心；

（4）当移动通信网络中的通信小区发生通信中断时，移动通信网络的蜂窝控制中心在发生通信中断的通信小区最后一次上报的参考信号接收功率的统计向量中检索出三个最大的分量，并将与该三个最大分量相对应的通信小区选为补偿小区；

（5）设补偿小区的补偿状态s为补偿小区当前的天线下倾角的值，将对补偿小区天线下倾角的调整称为补偿小区的补偿行为a，定义补偿行为a的集合为A=(-101)，分别代表补偿小区天线下倾角的减少、不变和增加3种行为；

（6）为每个补偿小区建立一个行为值函数表Q，行为值函数表中存储补偿小区的当前补偿状态下每种补偿行为的值函数，对值函数表进行初始化，初始补偿时刻t＝0，初始补偿时长为0，对当前补偿状态s₀按照以下渐近贪心行为探索方法，确定当前天线下倾角的补偿行为a₀的概率Pr(a|s,t,Q,n_t(s))：

$\mathrm{Pr}\left(a\right|s,t,Q,n_t\left(s\right))=\frac{e^{{\mathrm{\β}}_t\left(s\right)Q(s,a)}}{\underset{b\∈A}{\mathrm{\Σ}}{e}^{{\mathrm{\β}}_t\left(s\right)Q(s,b)}}$

其中：

${\mathrm{\β}}_t\left(s\right)=\frac{{\ln n}_t\left(s\right)}{{\max }_a|Q_t(s,b_{\max })-Q_t(s,a)|}$

b_max=argmax_b∈AQ_t(s,b)

n_t(s)为当前时刻t补偿状态s在历史上被访问的次数，A为当前状态下的行为集合，Q_t(s,a)为当前时刻t下与补偿状态s相对应的补偿行为a的值函数；

（7）在小区中断补偿中，中断小区和补偿小区内的用户分别将信干噪比反馈给各自服务基站，补偿小区根据本补偿小区内用户的反馈信息计算本次补偿的回报值，并根据如下Sarsa-learning的值函数迭代公式更新步骤（6）的行为值函数表Q：

Q(s_t,a_t)＝Q_t(s_t,a_t)+α_t[r(s_t,a_t)+ηQ(s_t+1,a_t+1)-Q(s_t,a_t)]

其中α_t为Sarsa-learning算法的学习因子，η为学习速率调整因子，r(s_t,a_t)为补偿状态s_t和补偿行为a_t下的回报值，计算公式为：r＝ΔCPF＝CPF_new-CPF_old，其中，CPF为小区性能函数：

CPF＝βγ×SE_edge(outage_cell)+(1-γ)β×SE_ave(outage_cell)；

+γ(1-β)×SE_ave(compen_cell)；

上式中，SE_edge(outage_cell)表示中断小区的边缘频谱效率，等于该中断小区内用户频谱效率累积分布函数的低5%；SE_ave(outage_cell)表示中断小区的平均频谱效率，等于中断小区内用户频谱效率的低50%；SE_ave(compen_cell)表示补偿小区的平均频谱效率，等于补偿小区内用户频谱效率的低50%；γ为覆盖和容量的折中因子，0＜γ＜1，β为补偿小区性能与中断小区性能的折中因子，0＜β＜1；

（8）设定一个补偿小区回报值阈值Δreward和一个补偿时长上限T_sup，若上述回报值r大于Δreward，且补偿时刻小于补偿时长上限T_sup，则每个补偿小区根据当前行为值函数表Q，利用上述步骤（6）和（7）中的渐近贪心行为探索方法，计算得到补偿小区天线下倾角的补偿行为，并根据该补偿行为，计算下一时刻补偿状态s_t+1，若上述回报值r小于或等于Δreward，或补偿时刻大于补偿时长上限T_sup，则补偿结束。

Images