CN109831819B

CN109831819B - 一种基于异构蜂窝网络分簇smdp基站休眠方法

Info

Publication number: CN109831819B
Application number: CN201910168975.8A
Authority: CN
Inventors: 苏开荣; 黄康; 李云; 吴广富
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2019-03-06
Filing date: 2019-03-06
Publication date: 2021-10-22
Anticipated expiration: 2039-03-06
Also published as: CN109831819A

Abstract

本发明属于异构蜂窝网络技术领域，特别涉及一种基于异构蜂窝网络分簇SMDP基站休眠方法，包括根据基站的工作状态，建立系统能耗模型；用分簇算法对基站进行分簇来满足用户需求；建立半马尔科夫决策过程SMDP模型，得到转移后的系统状态计算半马尔科夫决策过程SMDP模型的系统转移概率；根据所述半马尔科夫决策过程SMDP模型的系统转移概率，得到转移后的系统状态的系统能效作为系统的收益函数；当系统的收益函数的值最大时，确定粒子群搜索的最优位置；本发明相比于传统的基站休眠方法更符合实际中基站负载的动态变化的情况，不仅缓解了宏基站的负载压力，而且提高了系统能效。

Description

一种基于异构蜂窝网络分簇SMDP基站休眠方法

技术领域

本发明属于异构蜂窝网络技术领域，特别涉及一种基于异构蜂窝网络分簇半马尔科夫决策过程(Semi-Markov Decision Process，SMDP)基站休眠方法。

背景技术

随着第5代通信(5G)网络时代即将到来，移动数据需求量将快速增长，在信息与通信产业中，节能一直是研究的热点。因此，能效问题越来越受到人们的关注，随着基站数目的增加，相应的能耗也以惊人的速度增长。为了提高能效，需要考虑各种模式的转换技术，如：认知无线电、智能电网、重新设计高效基站。为了节约能源消耗，基站的休眠策略是有效的也是必要的，人们在不断地追求卓越的蜂窝网络休眠机制，以提高能效。与此同时，人们在用户体验质量(Quality of Experience，QoE)的要求也越来越高，不同与QoE可以主观的反应用户的满意度，它是一个更为全面的评价指标(Mean Opinion Score， MoS)是个用于测量电话网络质量的指标，用来衡量用户的体验质量。因此，在优化睡眠模式方案中，同时考虑到了用户的体验质量QoE和服务质量QoS，所以在提高了网络能效的同时，也增加了用户的满意度。

现有的基站休眠工作中，大多是通过一种固定的休眠机制，如定时休眠，在用户较少或者资源利用率最小的基站关闭等，而且是在一段时间内业务情况确定的情况下做的研究，虽然都是通过基站休眠降低了能量消耗提高了能效，但是都没有考虑到用户偏好，使基站与用户随机连接因而降低了用户的满意度。本发明属于异构蜂窝网络领域，具体为基于异构蜂窝网络中分簇SMDP基站休眠方法，所述方法包括：基于降低基站干扰值的原则下，通过计算用户信噪比制定干扰图，并通过分簇算法对基站进行分簇；根据不同簇内的FBSs动态休眠过程建模成SMDP，通过迭代计算达到提高系统能效的效果。并且通过增加交叉变异，在混合遗传粒子群算法中，使复杂度降低的同时决策接近最优值。

发明内容

为了缓解了宏基站的负载压力、提高了系统能效，本发明提出了一种基于异构蜂窝网络分簇SMDP基站休眠方法包括：

S1、根据基站的工作状态，建立系统能耗模型；

S2、建立的基站干扰图，并用分簇算法对基站进行分簇来满足用户需求；

S3、根据所述基站分簇对每个簇内基站，建立半马尔科夫决策过程SMDP 模型，包括建立系统状态空间以及系统动作空间；

S4、根据簇内系统状态空间中的当前系统状态，调整系统动作空间中的动作；得到转移后的系统状态计算半马尔科夫决策过程SMDP模型的系统转移概率；

S5、根据所述半马尔科夫决策过程SMDP模型的系统转移概率，得到转移后的系统状态的系统能效作为系统的收益函数；

S6、当系统的收益函数的值最大时，确定粒子群搜索的最优位置，所述位置即为最优休眠策略。

进一步的，用分簇算法对基站进行分簇来满足用户需求包括：

S21、令簇的初始值l＝1，Z为孤立点的集合，S_G(v_j)表示顶点v_j的饱和度，所有的顶点v_i都属于顶点集合V；将顶点集合V饱和度为零的点放入Z中，并从 V中删除；

S22、如果

将所有的小基站移入C_l中，并终止分簇；

S23、如果

将所有V中的v_i按度从大到小的顺序排列，令i＝1；

S24、按照S23中的顺序，将第i个顶点放入第l个簇中，令i＝i+1；

S25、若第i个顶点与第1～i-1个顶点中任意一个顶点连接，将第i个顶点分配到与其相连的顶点的簇中；

S26、若第i个顶点与第1～i-1个顶点中任意一个顶点都未相连，则令l＝l+1，并将第i个顶点分配到第l个簇中；

S27、判断i是否大于等于I，若是则结束分簇，否则令i＝i+1，并返回步骤步骤S25；

其中，I为

时，顶点集合V中的顶点v_i的数量。

进一步的，建立半马尔科夫决策过程SMDP模型包括：

S31、定义SMDP的系统状态空间，包括用户位置状态空间、FBSs的状态空间和整个系统在决策时刻t_n的状态；

S32、定义SMDP的系统动作空间，即系统状态发生转移之后系统状态保持到t_n+1的起始时刻，定义行动a(t_n)为在第t_n时隙的起始时刻对FBSs的状态进行控制决策；

S33、获取SMDP的系统转移概率，即用户的到达过程和离开过程决定系统的状态动态，包括用户的到达离开、逗留时间、休眠决策；

S34、将当前状态s采取动作a直到转移到另一状态s'这段时间内所能节省的系统能耗作为本发明的系统的收益函数，即半马尔科夫决策过程SMDP模型。

本发明不仅考虑了基站业务随时间的动态变化特性，使家庭基站的开关决策根据实时业务的状态变化；同时通过建立基站干扰关系图，制定分簇算法对基站进行合理的分簇，制定动态分簇SMDP休眠策略；不仅充分利用了家庭基站的资源，缓解了宏基站的负载压力，也提高了系统能效，能效优化相比对比算法提高了20％。

附图说明

图1为本发明的两层Macro-Femto异构网络环境模型图；

图2为本发明基于异构蜂窝网络SMDP分簇基站休眠方法流程图；

图3为本发明的混合遗传粒子群算法求解流程图；

图4为本发明的系统能效函数分析图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于降低基站干扰值的原则下，通过计算用户信噪比制定干扰图，并通过分簇算法对基站进行分簇；根据不同簇内的FBSs动态休眠过程建模成半马尔科夫决策过程(Semi-Markov Decision Process，SMDP)，通过迭代计算达到提高系统能效的效果；通过增加交叉变异，在混合遗传粒子群算法中，使复杂度降低的同时决策接近最优值，如图2，包括：

S1、根据基站的工作状态，建立系统能耗模型；

实施例1

本发明的实施例采用的是Macro-Femto异构网络；首先建立的Macro-Femto 异构网络，如图1所示，区域中心部署着一个MBS，本发明研究的系统区域A 内部署着K个FBS。规定MBS一直处于工作模式(Active Mode)，以便有效的覆盖。而每个FBS有两种模式：工作模式和休眠模式(Sleep Mode)。所有的FBS 均处于开放接入控制(Open Access)，即当FBS处于工作模式时，它服务范围内的移动用户均可接入。所有的基站由一个管理中心(Management Centre，MC) 通过有线宽带连接进行控制管理。MC可以得到基站用户业务种类报告并且可以控制家庭基站，并对所有的FBS进行休眠管理。每个用户只能与一个基站(MBS 或FBS)相连接。

本实施例制定的系统基站能耗模型为：

本发明中，第i个簇第j个基站的功耗P_i,j分为两部分，即处于工作状态的功耗P_A,而P_A包括传输功耗和常功耗P_const；处于休眠状态的功耗P_S部分。

表示第 i个簇内第j个基站的功率放大器的最大传输功率，φ_i,j表示第i个簇内第j个基站功放的无线频率转换因子，v_i,j为第i个簇内第j个基站的业务量。

本发明小基站与用户的接入模型：

Y＝(v_i,j,n)_N×M,v_i,j,n＝{0,1} (2)

其中，v_i,j,n＝1表示第i个簇内小基站j与用户n相连接，反之v_i,j,n＝0则表示未连接；系统第i个簇内小基站m的传输功率为P_i,m；第i个簇内小基站j到用户n的信道增益为G_i,j,n，则第i个簇内小基站j与相连接的用户n所得的信干噪比为：

其中，a_i,m表示对第i个簇内小基站m采取动作，a_i,m＝0表示使其进入休眠状态，a_i,m＝1表示使其进入工作状态。σ²表示加性高斯噪声。

通过香农公式可得第i个簇内小基站j中用户n的数据速率H_i,j,n为：

为了降低FBSs对用户的干扰，通过干扰图将FBSs分为不同的簇，通过干扰图的分簇算法步骤如下所示：

S22、如果

将所有的小基站移入C_l中，并终止分簇；

S23、如果

将所有V中的v_i按度从大到小的顺序排列，令i＝1；

其中，I为

时，顶点集合V中的顶点v_i的数量。

根据所述基站分簇对每个簇内基站，建立半马尔科夫决策过程SMDP模型，包括建立系统状态空间以及系统动作空间。

建立SMDP的系统状态空间S包括：

1)用户业务量状态s_u(t_n)

若用户位置状态空间为C_l＝{1,2,3,…c}；则用户业务量及位置状态空间可表示为：

s_u(t_n)＝[v_1,1(t_n),…v_i,j(t_n),...v_c,k(t_n)] (5)

其中，v_i,j(t_n)表示t_n时刻小区中第i个簇中第j个基站用户业务量；

2)小基站状态s_f(t_n)

小基站FBS的状态空间表示为：

s_f(t_n)＝[f_1,1(t_n),…,f_i,j(t_n),…,f_c,k(t_n)] (6)

其中，f_ij(t_n)∈{-1,1}在t_n时刻第i簇中基站j的状态，f_ij(t_n)＝-1表示t_n时刻在第i簇中FBS j处于休眠状态，f_ij(t_n)＝1表示t_n时刻在第i簇中FBS j处于工作状态。

3)系统状态空间

的状态s(t_n)表示为：s(t_n)＝[s_u(t_n),s_f(t_n)]。

建立SMDP的系统动作空间

包括：在时隙t_n的开始时刻，对小基站FBS的状态进行控制，即由休眠转为工作或者由工作转为休眠状态，FBS的状态发生变化后，使服务的用户数发生改变，即系统状态发生转移之后系统状态保持到t_n+1的起始时刻，定义行动a(t_n)为在第t_n时隙的起始时刻对FBSs的状态进行控制决策，包括休眠FBSs，唤醒FBSs。具体如下式表示：

a_i,j(t_n)＝0表示使第i个簇中第j个基站在t_n时刻进入休眠状态；a_i,j(t_n)＝1表示使第i个簇中第j个基站在t_n时刻进入工作状态。

获取SMDP的系统转移概率P包括：用户的到达过程和离开过程决定系统的状态动态；因此，系统的状态动态可以通过状态转移概率和每个当前状态到采取动作这段驻留时间τ(a)来描述，当系统处于状态s直至状态转移到s′会有一段时间称为状态驻留时间，其一般表达式为：

其中λ_i,j为第i个簇中第j个基站的业务到达率，μ_i,j为第i个簇中第j个基站的业务离开率。

根据本发明的网络环境，综合用户的到达离开、逗留时间、休眠决策等参数用P_i,j(s′|s,a)表示第i个簇中第j个基站由状态s通过动作a转到s′的概率表示为：

系统状态的变化不仅包括网络中用户状态的变化，还必须包括FBSs状态的变化，因此加入式G(S(s_f,a)＝s_f')才能体现系统状态的变化过程。G(S)表示当S为真时，G(S)的值为1；当S为假时，G(S)的值为0。所以，只有当FBSs处于状态 s_f，并对FBSs采取决策a，FBSs的状态转移至s_f'时，式G(S(s_f,a)＝s_f')的值为1，否则为0。式中e_i∈{0,1}^K+1表示一个K+1维的单位向量。该向量除了第i个元素为1 外，其余都为0。

因为用户的到达离开不可能在相同的时刻发生，且在很短的时间内不能同时到达两个及以上的用户，所以在某一时刻系统转移概率P_i,j(s′|s,a)只能是式中的一种。

建立系统的收益函数R包括：据网络环境，本发明把由当前状态s采取动作 a直到转移到另一状态s'这段时间内所能节省的系统能耗作为本发明的系统的收益函数。所述系统的收益函数R表示为：

其中，R(s,a)表示在当前系统状态s下采取动作a时的系统的收益函数；η表示系统的能效；

表示对当前系统状态s采取动作a对应的平均驻留时间的期望；α表示连续时间下的折扣收益因子。

根据动态规划方法求取所述系统的收益函数最大的策略

获得家庭基站的最优休眠策略；

所述收益函数最大的

包括：

其中，

θ＝(k+1)·(λ_max+μ_max)；λ_max表示基站的最大到达率；μ_max表示基站的最大服务率；k表示家庭基站总数；通过转移概率，在休眠策略中决定哪个基站进行休眠，系统归一化后的状态转移概率表示为：

至此，本发明中该实例的整个SMDP模型构建完毕。那么进一步的，为了求得综合收益函数的最优值，我们运用了混合遗传粒子群优化算法来进行求解，如图3，混合遗传粒子群算法不仅算法复杂度低，而且加入了遗传的“交叉”“变异”操作，使得寻得的最优解也是趋向于全局最优的解，如图3，求解包括：

首先，对BS_i进行[0,1]随机初始化，得到值Q_i；当Qi＞G_i时，B_i＝0；否则B_i＝1；当我们在速度方面对BS_i进行[0,1]初始化时，可得V_i为BS_i的初始速度，那么混合遗传粒子群的位置更新模型为：

V_m(t+1)＝w(n)V_m(t)+c₁r₁(G_m(t)-W_m(t))+c₂r₂(A_m(t)-W_m(t))

W_m(t+1)＝V_m(t+1)+W_m(t)

W_m(t)表示粒子中BS_m的t次迭代位置，G_m(t)表示BS_m搜索到的最佳位置，V_m(t) 表示例子中BS_m的t次迭代速度，A_m(t)表示整个粒子群搜索到的最佳位置，L为最大的进化代数c₁，c₂为加速常数，一般取值为2；r₁、r₂为取值在[0，1]范围内的均匀随机数；n为当前的进化代数，w为最小权重因子；w采用了线性权重；速度的进化变异可近似看为w，为了加快进化变异的速度，初期的选择变异的概率大一些；为了加快收敛，进化末期的变异概率小一些。算法迭代停止的标志为连续T_b次迭代都有相同的最优解或者达到了最大迭代次数T_max，在算法迭代中S_m(t)表示第m个粒子在第t次迭代的个体最优位置，即全局迭代得到的最优值；W_m(t)表示粒子当前的最佳位置，即当前迭代中最优的值；对S_m(t)求解：

其中H[S_m(t)]表示例子个体在最优化位置所对应的总权值，假设全局的最优位置为A(t)，那么根据粒子群搜索的个体最优位置可得：

A(t)＝argmax{H[S_m(t)]} 1≤m≤N_c

为了进一步说明本发明所述方法的有效性，图4为MATLAB环境下本发明与现有技术系统收益随着到达率变化的对比仿真图。仿真主要参数设置如下，系统有三个家庭基站处于宏基站覆盖范围下，P_c＝2W，λ＝1，P_a＝3W，P_m＝20W， P_S＝1W，N_T＝10，每个基站的服务率均为μ＝0.005个用户/s，用网络负载情况 P_const/P_sleep作为变量，来体现系统收益随着ρ的变化情况。图中LS算法为L.Saker 等人在文献Optimal Control of Wake Up Mechanismsof Femtocells in Heterogeneous Networks中提出的基站休眠算法，本发明中称之为“LS休眠策略”，该方法采用了马尔科夫决策过程(Markov Decision Process，MDP)思想，该方法在FBS休眠后直接将用户关联至MBS。从图中可以看出，本发明提出的算法称作“SMDP休眠策略”相比于“LS休眠策略”算法和传统固定阈值基站休眠算法系统能效收益更好。

本发明相比于传统的基站休眠方法更符合实际中基站负载的动态变化的情况，不仅降低了基站对用户的干扰增强了用户满意度，也缓解了宏基站的负载压力，同时也更好地提高了系统能效。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于异构蜂窝网络分簇SMDP基站休眠方法，其特征在于，包括以下步骤：

S1、根据基站的工作状态建立系统能耗模型，即将第i个簇第j个基站的功耗P_i,j分为处于工作状态的功耗P_A和处于休眠状态的功耗P_S,处于工作状态的功耗P_A包括传输功耗和常功耗P_const；则系统能耗模型表示为：

其中，

表示第i个簇内第j个基站的功率放大器的最大传输功率，φ_i,j表示第i个簇内第j个基站功放的无线频率转换因子，v_i,j为第i个簇内第j个基站的业务量；

S2、建立基站干扰图，并用分簇算法对基站进行分簇来满足用户需求；

S3、根据基站分簇对每个簇内基站建立半马尔科夫决策过程SMDP模型，包括建立系统状态空间S以及系统动作空间

S4、根据簇内系统状态空间中的当前系统状态和调整系统动作空间中的动作，得到当前系统状态根据空间中的动作转移之后的系统状态，并计算半马尔科夫决策过程SMDP模型的系统转移概率，即第i个簇中第j个基站由状态s通过动作a转到s′的概率，表示为：

其中，P_i,j(s′|s,a)表示第i个簇中第j个基站由状态s通过动作a转到s′的概率；G(S)表示当S为真时，G(S)的值为1；当S为假时，G(S)的值为0；当FBSs处于状态s_f，并对FBSs采取决策a，FBSs的状态转移至s_f'时，G(S(s_f,a)＝s_f')的值为1，否则为0；e_i∈{0,1}^K+1表示一个K+1维的单位向量，该向量除了第i个元素为1外，其余都为0；τ(a)为每个当前状态到采取动作这段驻留时间；λ_i,j为第i个簇中第j个基站的业务到达率，μ_i,j为第i个簇中第j个基站的业务离开率；

S5、根据所述半马尔科夫决策过程SMDP模型的系统转移概率，根据系统能耗模型计算转移之后的系统状态的系统能效，并将该能效作为系统的收益函数，系统的收益函数表示为：

表示对当前系统状态s采取动作a对应的平均驻留时间的期望；α表示连续时间下的折扣收益因子；r(s,a)表示在决策时刻采取动作a状态s保持的时间，称为驻留时间；P_total表示系统的总功耗；w表示信道带宽，(SINR)_i,j,n表示第i个簇中第j个基站第n个用户的信噪比；c表示簇的数量；k表示小基站的数目；l表示用户的数量；

2.根据权利要求1所述的一种基于异构蜂窝网络分簇SMDP基站休眠方法，其特征在于，用分簇算法对基站进行分簇来满足用户需求包括：

S21、令簇的初始值l＝1，Z为孤立点的集合，S_G(v_j)表示顶点v_j的饱和度，所有的顶点v_i都属于顶点集合V；将顶点集合V饱和度为零的点放入Z中，并从V中删除；

S22、如果

将所有的小基站移入C_l中，并终止分簇；

S23、如果

将所有V中的v_i按度从大到小的顺序排列，令i＝1；

S27、判断i是否大于等于I，若是则结束分簇，否则令i＝i+1，并返回步骤S25；

其中，I为

时顶点集合V中的顶点v_i的数量；

表示空集。

3.根据权利要求1所述的一种基于异构蜂窝网络分簇SMDP基站休眠方法，其特征在于，建立半马尔科夫决策过程SMDP模型包括：

S31、定义SMDP的系统状态空间S，包括用户位置状态空间、FBSs的状态空间和整个系统在决策时刻t_n的状态；

S32、定义SMDP的系统动作空间

即系统状态发生转移之后系统状态保持到t_n+1的起始时刻，定义行动a(t_n)为在第t_n时隙的起始时刻对FBSs的状态进行控制决策；

S33、获取SMDP的系统转移概率P，即用户的到达过程和离开过程决定系统的状态动态，包括用户的到达离开、逗留时间、休眠决策；

4.根据权利要求3所述的一种基于异构蜂窝网络分簇SMDP基站休眠方法，其特征在于，系统状态空间包括用户业务量状态和小基站状态，表示为：

s(t_n)＝[s_u(t_n),s_f(t_n)]

s_u(t_n)＝[v_1,1(t_n),…v_i,j(t_n),...v_c,k(t_n)]

s_f(t_n)＝[f_1,1(t_n),…,f_i,j(t_n),…,f_c,k(t_n)]

其中，s(t_n)表示整个系统在决策时刻t_n的状态；s_u(t_n)表示用户业务量状态；s_f(t_n)表示小基站状态；v_i,j(t_n)表示t_n时刻小区中第i个簇中第j个基站用户业务量；f_ij(t_n)∈{-1,1}在t_n时刻第i簇中基站j的状态，f_ij(t_n)＝-1表示t_n时刻在第i簇中FBSj处于休眠状态，f_ij(t_n)＝1表示t_n时刻在第i簇中FBS j处于工作状态。

5.根据权利要求3所述的一种基于异构蜂窝网络分簇SMDP基站休眠方法，其特征在于，系统动作空间表示为：

其中，a_ck(t_n)表示第i个簇中第j个基站在t_n时刻的状态，当a_i,j(t_n)＝0表示使第i个簇中第j个基站在t_n时刻进入休眠状态；当a_i,j(t_n)＝1表示使第i个簇中第j个基站在t_n时刻进入工作状态。

6.根据权利要求1所述的一种基于异构蜂窝网络分簇SMDP基站休眠方法，其特征在于，系统的收益函数的最大值求解过程包括：

其中，

表示系统在状态s时收益函数的最大值；

表示归一化处理后系统的收益函数；

表示归一化处理的折扣收益因子；

表示归一化处理后系统的状态转移概率；

表示归一化处理后系统在状态s'时的收益函数。

7.根据权利要求1所述的一种基于异构蜂窝网络分簇SMDP基站休眠方法，其特征在于，确定粒子群搜索的最优位置包括：对第i个小基站BS_i进行[0,1]随机初始化，得到当前基站接入的业务量Qi的值；当Qi＞G_i时，初始化的值B_i＝0；否则初始化的值B_i＝1；当在速度方面对BS_i进行[0,1]初始化时，可得V_i为BS_i的初始速度，那么混合遗传粒子群的位置更新模型为：

V_m(t+1)＝w(n)V_m(t)+c₁r₁(G_m(t)-W_m(t))+c₂r₂(A_m(t)-W_m(t))；

W_m(t+1)＝V_m(t+1)+W_m(t)；

其中，G_i表示当前基站内的业务量大于基站开启的阈值；W_m(t)表示粒子中BS_m的t次迭代位置，G_m(t)表示BS_m是搜索到的最佳位置，V_m(t)表示粒子中BS_m的t次迭代速度，A_m(t)表示整个粒子群搜索到的最佳位置；c₁，c₂为加速常数，一般取值为2；r₁、r₂为取值在[0，1]范围内的均匀随机数；L为最大的进化代数，n为当前的进化代数，w(n)为最小权重因子；w_max表示线性权重的最大值；w_min表示线性权重的最小值。