CN108055678B - 异构蜂窝网络中基于smdp的家庭基站休眠方法 - Google Patents

Abstract

本发明属于异构蜂窝网络领域，具体为异构蜂窝网络中基于SMDP的家庭基站休眠方法，所述方法包括：制定用户关联机制；计算系统的能耗；根据用户关联机制与所述系统的能耗，建立SMDP模型；求解最优休眠决策；本发明相比于传统的基站休眠方法更符合实际中基站负载的动态变化的情况，不仅充分利用了家庭基站的资源，缓解了宏基站的负载压力，同时也更好地降低了系统能耗。

Description

异构蜂窝网络中基于SMDP的家庭基站休眠方法

技术领域

本发明属于异构蜂窝网络技术领域，涉及一种异构蜂窝网络中基于半马尔科夫决策过程(Semi-Markov Decision Process，SMDP)的家庭基站休眠方法。

背景技术

近年来，信息和通信技术(Information and Communications Technology，ICT)的飞速发展，人们的生活发生了巨大的变化。移动通信技术已由曾经的1G、2G、3G发展到现在成熟的4G技术，而且全新的5G技术就在未来。移动通信的业务类型也在不断变化，由过去低速率的语音、短消息业务演变到现在各种各样高速率的移动数据业务。此外，随着智能手机、平板电脑和其他多媒体设备爆炸性增长，这使得通信网络的高容量化面临着巨大的挑战。同时,物联网、虚拟现实等应用的快速发展也迫切需要移动通信系统提供差异化服务。在现有的移动网络中，通过在传统宏蜂窝(macrocell)的基础上部署大量低能耗节点，如：微小区(microcell)、微微小区(picocell)、家庭基站(femtocell)等，使得网络的覆盖无处不在，这种异构蜂窝网络(Heterogeneous Cellular Networks，HCNs)成为了一种缓解高容量压力的有效方案。HCNs在一定程度上解决了网络覆盖问题，可以为人们带来更优质的服务，然而由于大量低功率节点被大规模的引入，诸如城市大型商场、超市等地方，白天人流密集，负载量大；当夜间时，如00:00——06:00，这部分时间所有小基站的负载都较少，但是全部的基站仍然处于工作状态，消耗着大部分的能量，所以在非高峰时段我们采取休眠策略可以节省很大一部分能耗。

现有的基站休眠技术研究中，大多数是一种固定的休眠机制，如定时休眠、将没有用户或资源利用率最小的基站关闭等，而且是在一段时间内业务状况确定的情况下做的研究，并没有考虑到业务动态变化对系统状态、以及休眠机制带来的影响。此外，家庭基站休眠后，直接将其用户交于宏基站(Macro Base Station，MBS)，这样不仅没有充分利用家庭基站的资源，而且增大了宏基站的负载压力，并没有考虑这些用户不仅可以重新关联MBS，也可以关联剩余的处于工作状态的家庭基站的问题。

发明内容

基于此，本发明的目的在于针对传统的基站休眠方法很难适应实际中基站负载动态变化的缺点，提出了一种异构蜂窝网络中基于SMDP的家庭基站动态休眠方法，将家庭基站的动态开关过程建模成SMDP。此外，本发明还制定了用户与基站的关联(UserAssociation，UA)机制，在FBS的动态休眠过程中，实时地将休眠FBS所服务的用户重新关联至可连接的FBS或MBS，有效的缓解了MBS负载压力，也进一步地降低了系统能耗。最后采用动态规划方法求取了使该SMDP模型的系统收益函数最大时的休眠策略。本发明同时考虑了负载的动态变化和UA问题，相比于传统的基站休眠方法更符合实际中基站负载的动态变化的情况，也比传统的直接将休眠基站的用户关联至MBS更进一步地节省了系统能耗，缓解了MBS的负载压力。

本发明采用的技术方案是：针对大量部署热点的异构蜂窝网络，在其非高峰时段，确定UA机制，构建SMDP模型，包括：定义系统状态空间

定义系统动作空间

定义系统转移概率P、定义系统的收益函数R，最后采用动态规划方法求解使R最大时对应的家庭基站采取的动作策略。具体包括：

S1、制定用户关联机制，建立系统能耗模型；

S2、根据用户关联机制，建立半马尔科夫决策过程SMDP模型，包括建立系统状态空间以及系统动作空间；

S3、根据系统状态空间中的当前系统状态，调整系统动作空间中的动作；得到转移后的系统状态；

S4、根据所述当前系统状态和所述转移后的系统状态以及用户关联机制，计算半马尔科夫决策过程SMDP模型的系统转移概率；

S5、计算当前系统状态的系统能耗；根据所述半马尔科夫决策过程SMDP模型的系统转移概率，得到转移后的系统状态的系统能耗，以两者的系统能耗之差作为系统的收益函数；

S6、当所述收益函数的值最大时，确定转移后的系统状态，从而确定系统动作空间中的动作，所述动作即为最优休眠决策。

进一步的，所述用户关联机制包括：新到达用户的关联以及家庭基站休眠后用户的关联具体包括：

所述新到达用户的关联包括：

当第j个家庭基站服务的用户数小于

且第j个家庭基站处于工作模式时，则第j个家庭基站允许新到达的用户接入；当第j个家庭基站服务的用户数等于

或者第j个家庭基站处于休眠模式时，则第j个家庭基站拒绝新到达的用户；新到达的用户被新到达用户的关联覆盖范围内的所有家庭基站拒绝时，将该新到达的用户关联到宏基站；

表示家庭基站能承载的最大用户数；

所述家庭基站休眠后的用户的关联包括：

若第j个家庭基站进入了休眠模式，则将第j个家庭基站正在服务的N个用户U_N＝{u₁,u₂,...,u_N}关联到宏基站；或将第j个家庭基站正在关联的用户U_N＝{u₁,u₂,...,u_N}重新关联至覆盖U_N的家庭基站，若覆盖用户u_q的第p个家庭基站的关联用户数没有达到负载上限，则用户u_q关联至第p个家庭基站，否则用户u_q关联至宏基站，u_q表示第q个用户，p∈{1,2,...,K}且p≠j；q∈{1,2,...,N}；K表示家庭基站总数；N表示用户总数。

进一步的，系统能耗模型包括：

其中，P_total表示系统能耗，n₀表示宏基站服务的用户数；

表示宏基站功放的最大输出功率，φ₀表示宏基站功放的无线频率转换因子；K表示家庭基站总数；P_S表示家庭基站休眠时所消耗的能量；P_const表示家庭基站处于工作状态时消耗的能量的常数部分；

表示家庭基站功放的最大输出功率；φ_F表示家庭基站功放的无线频率转换因子，n_j表示第j个家庭基站服务的用户数；b_j表示第j个家庭基站的当前状态，即b_j为0表示第j个家庭基站当前处于休眠模式，b_j为1表示第j个家庭基站当前处于工作模式。

进一步的，建立半马尔科夫决策过程SMDP模型包括：定义SMDP的系统状态空间

和系统动作空间

获取SMDP的系统转移概率P；获取系统的收益函数R。

进一步的，所述系统状态空间

包括：

s＝[s_u,s_b]

s_v＝[s_vu,s_vb]

其中，s表示当前系统状态；s_v表示转移后的系统状态，也即是第v种转移后的系统状态；v∈{1,2,...,Q}；Q表示可能存在的转移后的系统状态种类数。

s_u表示基站与用户间的当前关联状态，s_b表示家庭基站的当前状态；s_vu表示基站与用户间的转移后关联状态；s_vb表示家庭基站的转移后状态；

所述s_u包括：s_u＝[n₀,n₁,…,n_j,…,n_K]；

所述s_b包括：s_b＝[b₁,…,b_j,…,b_K]；

所述s_vu包括：s_vu＝[n_v0,n_v1,…,n_vj,…,n_vK]；

所述s_vb包括：s_b＝[b_v1,…,b_vj,…,b_vK]；

n₀为宏基站当前关联的用户数；n_j为第j个家庭基站当前关联的用户数，且

n_v0为宏基站转移后关联的用户数；n_vj为第j个家庭基站转移后关联的用户数，且

为家庭基站能承载的最大用户数；j∈{1,2,...,K}；设

N≤N^max，N表示所有基站服务的用户总数；N^max为系统区域

中的最大的容量；

b_j表示第j个家庭基站的当前状态，b_j＝0表示第j个家庭基站当前处于休眠状态，b_j＝1表示第j个家庭基站当前处于工作状态；

b_vj表示第j个家庭基站转移后的状态，b_vj＝0表示第j个家庭基站转移后处于休眠状态，b_vj＝1表示第j个家庭基站转移后处于工作状态；K表示家庭基站总数。

可以理解的是，s_v也可以表示当前系统状态，相应的，

中除了s_v以外的就是转移后的系统状态；

进一步的，所述系统动作空间

包括：

其中，a表示动作；a_j表示第j个家庭基站的动作，a_j＝-1表示第j个家庭基站进入休眠模式，a_j＝0表示第j个家庭基站保持状态不变，a_j＝1表示第j个家庭基站进入工作状态；如果第j个家庭基站当前处于休眠状态，即b_j＝0，那么第j个家庭基站不能再次进入休眠模式，此时a_j≠-1；如果第j个家庭基站当前处于工作状态，即b_j＝1，那么第j个家庭基站不能再次进入工作模式，此时a_j≠1；j∈{1,2,...,K}。

进一步的，所述系统转移概率P包括：

其中，P(s_v|s,a)表示在当前系统状态s下采取动作a时的转移后的系统状态s_v的概率；λ_i表示基站i的到达率；F(s(s_b,a)＝s_vb)表示当s(s_b,a)＝s_vb为真时，F(s(s_b,a)＝s_vb)的值为1，当s(s_b,a)＝s_vb为假时，F(s(s_b,a)＝s_vb)的值为0，也即是只有当家庭基站处于状态s_b，并对家庭基站采取动作a，家庭基站的状态转移至s_vb，这个命题为真时，式F(s(s_b,a)＝s_vb)的值为1，否则为0；μ_i表示基站i的服务率；n_i表示基站i关联的用户数；n_u表示用户采用用户关联机制进行重关联后可能形成的关联状态的所有情况数；e_i∈{0,1}^K+1表示一个K+1维的单位向量，所述单位向量除了第i个元素为1外，其余都为0；u表示是所有进入睡眠的基站对应用户重新关联的向量统计；n_vj＝0|a_j＝-1表示第j个家庭基站进入休眠模式下第j个家庭基站状态转移后的关联用户数为0；i∈{0,1,...,K}；基站0表示宏基站，基站1到基站K分别表示第1个家庭基站到第K个家庭基站；τ(s,a)表示在当前系统状态s下采取动作a时的平均驻留时间。

进一步的，所述在当前系统状态s下采取动作a时的平均驻留时间包括：

其中，λ₀表示宏基站的到达率；μ₀表示宏基站的服务率；λ_j表示第j个家庭基站的到达率；L_j表示a_j和b_j的状态函数，b_j＝0且a_j＝1时或者b_j＝1且a_j＝0时，L_j＝1；b_j＝0且a_j＝0时或者b_j＝1且a_j＝-1时，L_j＝0。

进一步的，所述系统的收益函数R表示为：

其中，R(s,a)表示在当前系统状态s下采取动作a时的系统的收益函数；ΔP(s,a)表示在当前系统状态s下采取动作a的系统总收益；

表示对当前系统状态s采取动作a对应的平均驻留时间的期望；ΔP₀(s,a)表示宏基站在当前系统状态s采取动作a时带来的收益；ΔP₁(s,a)表示家庭基站由休眠模式进入工作模式，家庭基站在当前系统状态s采取动作a时带来的收益；ΔP₂(s,a)表示家庭基站保持状态不变，家庭基站在当前系统状态s采取动作a时带来的收益；ΔP₃(s,a)表示家庭基站由工作模式进入休眠模式，家庭基站在当前系统状态s采取动作a时带来的收益；α表示连续时间下的折扣收益因子；γ(s,a)＝τ(s,a)-¹。

进一步的，所述S6求解最优休眠决策包括：根据动态规划方法求取所述系统的收益函数最大的策略π_t ^*(s)，获得家庭基站的最优休眠策略；

所述收益函数最大的策略π_t ^*(s)包括：

其中，

ω＝(K+1)·(λ_max+μ_max)；λ_max表示基站的最大到达率；μ_max表示基站的最大服务率；K表示家庭基站总数；

本发明的有益效果：本发明不仅考虑了基站业务随时间的动态变化特性，使家庭基站的开关决策根据实时业务的状态变化，不拘泥于固定模式的静态休眠方法；同时对基站休眠后的用户采用基于本发明的用户关联机制，相比于传统的基站休眠方法更符合实际中基站负载的动态变化的情况，不仅充分利用了家庭基站的资源，缓解了宏基站的负载压力，同时也更好地降低了系统能耗。

附图说明

图1为本发明的两层Macro-Femto异构网络环境模型图；

图2为本发明异构蜂窝网络中基于SMDP的家庭基站休眠方法流程图；

图3为本发明的值迭代算法流程图；

图4为本发明的系统的收益函数分析图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和具体实例对本发明的实施作具体描述。

本发明的实施例采用的是Macro-Femto异构网络；首先建立的Macro-Femto异构网络，如图1所示，区域中心部署着一个MBS，本发明研究的系统区域A内部署着K个FBS。规定MBS一直处于工作模式(Active Mode)，以便有效的覆盖。而每个FBS有两种模式：工作模式和休眠模式(Sleep Mode)。所有的FBS均处于开放接入控制(Open Access)，即当FBS处于工作模式时，它服务范围内的移动用户均可接入。所有的基站由一个管理中心(ManagementCentre，MC)通过有线宽带连接进行控制管理。MC控制用户关联，并对所有的FBS进行休眠管理。用下脚标“0”代表对MBS的索引，对K个不同的FBS的索引集合设为

设移动用户的集合为U，所有家庭基站能承载的最大用户数相同，且表示为

MBS和FBS当前服务的用户数分别设为n₀,n₁,…,n_j,…n_K。每个用户只能与一个基站(MBS或FBS)相连接。

本发明的采用的方案包括以下步骤，如图2所示：

S1、制定用户关联机制，建立系统能耗模型；

S2、根据用户关联机制，建立半马尔科夫决策过程SMDP模型，包括建立系统状态空间以及系统动作空间；

S3、根据系统状态空间中的当前系统状态，调整系统动作空间中的动作；得到转移后的系统状态；

S4、根据所述当前系统状态和所述转移后的系统状态以及用户关联机制，计算半马尔科夫决策过程SMDP模型的系统转移概率；

S5、计算当前系统状态的系统能耗；根据所述半马尔科夫决策过程SMDP模型的系统转移概率，得到转移后的系统状态的系统能耗，以两者的系统能耗之差作为系统的收益函数；

S6、当所述收益函数的值最大时，确定转移后的系统状态，从而确定系统动作空间中的动作，所述动作即为最优休眠决策。

本实施例制定的系统用户关联机制：

本发明的用户关联(User Associated，UA)分为两种情形：

a)新到达用户的关联

本发明中，考虑到基站业务随时间变化的动态特性，假设每个基站用户的到达和离开均服从泊松分布，则对于宏基站服务的用户，到达率为λ₀，离开率为μ₀。对于第j个家庭基站服务的用户，到达率为λ_j，离开率为μ_j。由于家庭基站有一定的容量限制且家庭基站的状态不唯一，当第j个家庭基站服务的用户数小于

且其处于工作模式时，则其允许新到达的用户接入；当第j个家庭基站服务的用户数等于

或者其处于休眠模式时，则第j个家庭基站会拒绝新到达的用户。特别注意的是，用户被其覆盖范围内的所有家庭基站拒绝时，将该用户关联到宏基站。

b)家庭基站休眠后其用户的关联

若设第j个家庭基站进入了休眠模式，则第j个家庭基站原来正在服务的U_N个用户(为方便描述，其集合设为U_N＝{u₁,u₂,...,u_N})可以关联到宏基站，也可以将第j个家庭基站正在关联的用户U_N＝{u₁,u₂,...,u_N}重新关联至覆盖U_N的家庭基站。对于U_N中的某个用户u_q，覆盖其的第q个家庭基站的服务用户数没有达到负载上限，则用户u_q关联至第q个家庭基站，否则用户u_q关联至宏基站；q∈{1,2,...,K}且q≠j；K表示家庭基站总数。

进而确定整个系统能耗。由于宏基站一直处于工作模式，所以宏基站的能耗设定如下：

为宏基站的最大传输功率，φ₀则为宏基站功放的无线频率转换因子，n₀则为宏基站服务的用户数。所以可以得到系统的能耗为：

则系统的能耗计算如下：

为宏基站的最大输出功率，φ₀则为宏基站功放的无线频率转换因子，n₀则为宏基站服务的用户数。

表示家庭基站功放的最大输出功率；φ_F表示家庭基站功放的无线频率转换因子，n_j则为第j个家庭基站服务的用户数。b_j来表示第j个家庭基站的当前状态，即其值为0表示当前处于休眠模式，其值为1表示当前处于工作模式；P_S表示家庭基站休眠时所消耗的能量；P_const表示家庭基站处于工作状态时消耗的能量的常数部分；可以理解的是，每个家庭基站的最大输出功率、功放的无线频率转换因子均为同一最大输出功率和同一功放的无线频率转换因子。

S2、根据用户关联机制，建立半马尔科夫决策过程SMDP模型，包括建立系统状态空间以及系统动作空间：

1、定义SMDP的系统状态空间

对于整个异构蜂窝网络，当前的用户的状态可以表示如下：

s_u＝[n₀,n₁,…,n_j,…,n_K] (4)

s_u基站与用户间的当前关联状态；n₀为宏基站当前关联的用户数，也即是宏基站当前服务的用户数；n_j为第j个家庭基站当前关联的用户数，且

为家庭基站能承载的最大用户数；j∈{1,2,...,K}；设

N≤N^max，N表示所有基站服务的用户总数；N^max为系统区域

最大的容量；

此外，b_j表示第j个家庭基站的当前状态，b_j＝0表示第j个家庭基站当前处于休眠状态，b_j＝1表示第j个家庭基站当前处于工作状态，则系统空间中所有家庭基站的当前状态表示为：

s_b＝[b₁,…,b_j,…,b_K] (5)

其中，s_b表示家庭基站的当前状态；当前系统状态可以表示为公式(6)：

s＝[s_u,s_b] (6)

同理，转移后的系统状态表示为：s_v＝[s_vu,s_vb]；

s_vu表示基站与用户间的转移后关联状态；s_vb表示家庭基站的转移后状态；所述s_vu包括：s_vu＝[n_v0,n_v1,…,n_vj,…,n_vK]；所述s_vb包括：s_b＝[b_v1,…,b_vj,…,b_vK]；

n₀为宏基站当前关联的用户数；n_j为第j个家庭基站当前关联的用户数，且

n_v0为宏基站转移后关联的用户数；n_vj为第j个家庭基站转移后关联的用户数，且

为家庭基站能承载的最大用户数；j∈{1,2,...,K}；设

N≤N^max，N表示所有基站服务的用户总数；N^max为系统区域A中的最大的容量；

b_j表示第j个家庭基站的当前状态，b_j＝0表示第j个家庭基站当前处于休眠状态，b_j＝1表示第j个家庭基站当前处于工作状态；

b_vj表示第j个家庭基站转移后的状态，b_vj＝0表示第j个家庭基站转移后处于休眠状态，b_vj＝1表示第j个家庭基站转移后处于工作状态；K表示家庭基站总数。

因此，本发明的系统状态空间

其中，s表示当前系统状态；s_v表示转移后的系统状态，也即是第v种转移后的系统状态；v∈{1,2,...,Q}；Q表示可能存在的转移后的系统状态种类数。

2、定义SMDP的系统动作空间

当系统中有用户到达或离开的时刻(设为t也即是当前时刻)，当前系统状态s就会发生变化，需要在时刻t采取行动a，随后系统状态发生变化，变成转移后的系统状态s_v。而后的时段(t,t+1)，系统状态保持不变，直到有用户到达或离开发生时刻(设为t+1)，再采取新的行动。

因此，在时刻t采取的行动a，定义为对家庭基站的状态控制决策，包括休眠家庭基站，唤醒家庭基站，以及维持家庭基站状态，具体如下：

a＝[a₁,…,a_j,…,a_K]∈{-1,0,1}^K (8)

其中任意的a_j，表示对第j个家庭基站的行为控制决策，其取值含义为：a_j＝-1表示第j个家庭基站进入休眠模式；a_j＝0表示第j个家庭基站保持状态不变；a_j＝1表示第j个家庭基站进入工作状态。

所以对于当前系统状态s，

其可供选择的行为空间可定义如公示(9)：

其中，a_j表示j个家庭基站的动作，a_j＝-1表示第j个家庭基站进入休眠模式，a_j＝0表示第j个家庭基站保持状态不变，a_j＝1表示第j个家庭基站进入工作状态；如果第j个家庭基站当前处于休眠状态，即b_j＝0，那么第j个家庭基站不能再次进入休眠模式，此时a_j≠-1；如果第j个家庭基站当前处于工作状态，即b_j＝1，那么第j个家庭基站不能再次进入工作模式，此时a_j≠1；j∈{1,2,...,M}。

3、获取SMDP的系统转移概率P

对于本发明的系统状态空间而言，当任意某基站有用户到达或离开的时候都会引起基站与用户的状态发生改变，因此当前系统状态的平均驻留时间为：

其中L_j是关于a_j和b_j的函数，具体如式(9)：

当第j个家庭基站处于休眠模式时，第j个家庭基站不能再关联新用户，也没有服务任何用户，因此第j个家庭基站所对应的用户的到达率和离开率均为零。从上两式可以看出τ(s,a)都是在网络某一时刻的状态

对其采取动作

因此不同状态和行为会有不同的平均驻留时间。

根据本发明的网络环境，综合用户的到达离开、逗留时间、休眠决策、用户的重关联等参数，可得到系统的系统转移概率P(s_v|s,a)∈P如公式(12)：

系统状态的变化不仅包括网络中用户状态的和家庭基站状态的变化两部分，因此加入式F(s(s_b,a)＝s_vb)才能体现整个网络的变化过程。F(q)表示当q为真时，F(q)的值为1；当q为假时，F(q)的值为0。所以，只有当家庭基站处于状态s_b，并对家庭基站采取行为a，家庭基站的状态转移至s_vb，这个命题为真时，式F(s(s_b,a)＝s_vb)的值为1，否则为0。式中e_i∈{0,1}^K+1表示一个K+1维的单位向量，该向量除了第i个元素为1外，其余都为0。

家庭基站进入休眠后，对该家庭基站的用户采用本发明的UA机制，可以得到用户进行重新关联后的情况，通过统计可得到：

其中：定义函数I(q)，表示当q为真时，I(q)的值为1；当q为假时，I(q)的值为0。B_u表示任意用户u要重新关联的基站，

其中n_j表示第j个家庭基站当前关联的用户数，也就是有用户到达或离开后对应的用户数。此外，对于新到达的用户，根据本发明的UA机制，将其关联至基站i，i∈[0,K]，则相应的基站i的用户状态加上相应的e_i；若基站i有用户离开，则相应的要减去e_i。同理可理解用户离开的情况。

因为用户的到达离开不可能在相同的时刻发生，且在很短的时间内不能同时到达两个及以上的用户，所以在某一时刻系统转移概率P(s_v|s,a)只能是式中的一种。

4、获取系统的收益函数R

根据网络环境，本发明把由当前状态s采取动作a直到转移到另一状态s_v这段时间内所能节省的系统能耗作为本发明的系统的收益函数。

对于宏基站而言，因为宏基站一直处于工作模式，而由于某些家庭基站可能被关闭，则家庭基站中的部分用户可能会转移至宏基站中进行服务，因此这部分收益为负值，且可定义如下式，其中n₀为在当前系统状态s时MBS服务的用户数，n_v0表示当前系统状态s时采取动作a转移到s_v时宏基站服务的用户数：

其中，

表示宏基站功放的最大输出功率，φ₀表示宏基站功放的无线频率转换因子；而对于任意的家庭基站，对其采取决策a_j有不同的取值且每一种取值对应产生的收益是不一样的，因此要分以下几种情况讨论：

1)a_j＝1，即第j个家庭基站由休眠模式进入工作模式，则对于这些家庭基站带来的收益定义如下：

2)a_j＝0，即第j个家庭基站保持状态不变，若其在状态s时已处于休眠模式，则采取动作a_j＝0后，其不会产生能耗差；若其在状态s时是处于工作模式的，则采取动作a_j＝0后，可能由于某些家庭基站的关闭导致部分用户转移到该基站上，因此这部分收益定义如下：

3)a_j＝-1，即第j个家庭基站由工作模式进入休眠模式，则对于这些家庭基站带来的收益定义如下：

所以在状态s下采取动作a的系统总收益为：ΔP＝ΔP₀+ΔP₁+ΔP₂+ΔP₃。为获得连续时间下的收益模型，本发明中，两个决策点之间(当前系统状态与转移后系统状态分别对应的时间点，也即是t时刻与t+1时刻)的驻留时间是服从参数为γ(s,a)＝τ(s,a)^-1的指数分布的，即F(t|s,a)＝1-e^-γ(s,a)t，t>0，由于在两个决策点之间的基站与用户的状态不会改变，所以可获得连续时间下的折扣收益模型为：

其中，α是连续时间下的折扣收益因子，运用马尔可夫决策过程的折扣收益模型，那么状态s下的最大长期收益为：

其中η为折扣收益因子，

V(s_v)表示状态s_v下的最大长期收益，可以理解的是，通过动态规划方法，建立方程组，能够求解出状态s_v下的最大长期收益，其中，动态规划方法是本领域的普通技术人员所熟知的技术，本发明不对动态规划方法做具体解释。归一化后的最大长期收益为：

其中，

ω＝(K+1)·(λ_max+μ_max)；λ_max表示基站的最大到达率；μ_max表示基站的最大服务率；K表示家庭基站总数；

至此，本发明中该实例的整个SMDP模型构建完毕。再采用如图3所示的值迭代算法可以求解得到最优休眠策略π_t ^*(s)，可以看出根据SMDP模型的系统系统状态空间

系统动作空间

系统的收益函数R以及归一化后的折扣收益因子

得到当前的归一化后的最大长期收益

计算当前的归一化后的最大长期收益

与转移后的归一化后的最大长期收益

的差的平方Δ；判断Δ是否小于

若小于，则根据公式

得出π_t ^*(s)；从而可获得不同状态下可使系统收益最大的家庭基站的动态开关决策；ε是调控收敛快慢的常数，趋近0，本发明的仿真中取0.1；其值越小收敛越慢，但获得结果越精确。

为了进一步说明本发明所述方法的有效性，图4为MATLAB环境下本发明与现有技术系统收益随着到达率变化的对比仿真图。仿真主要参数设置如下，系统有两个家庭基站处于宏基站覆盖范围下，

φ₀＝1，

φ_F＝1，P_const＝15W，P_S＝5W，

N^max＝20，每个基站的服务率均为μ＝0.005个用户/s，用网络负载情况ρ＝λ/μ作为变量，来体现系统收益随着ρ的变化情况。图中LS算法为L.Saker等人在文献OptimalControl of Wake Up Mechanisms of Femtocells in Heterogeneous Networks中提出的基站休眠算法，本发明中称之为“LS休眠策略”，该方法也采用了马尔科夫决策过程(MarkovDecision Process，MDP)思想，但具体建模与本发明完全不同，其没有考虑处于休眠状态的FBS不能再次被关闭，处于工作状态的FBS不能再次被开启这一问题；其次FBS休眠后，该方法直接将基站休眠后的用户关联至MBS。从图中可以看出，本发明提出的算法称作“OP休眠策略”相比于“LS休眠策略”算法收益好，因为FBS休眠后将用户优先重新关联至活跃FBS，使其在保持常能耗不变情况下，更充分的利用的FBS的资源，同时降低了MBS的负载压力，而且能节省更多的系统能耗。特别是，当网络负载较轻时，剩余可利用的资源量相对于负载较重时多，因此通过将休眠基站的用户充分安置到其余活跃的FBS上的所获得的系统收益效果更为显著。

本发明充分考虑了基站端业务量的动态变化，使用SMDP模型建模成动态FBS休眠策略，相比模式固定的静态休眠方法更实用有效；此外，对于基站休眠后用户的重关联问题采用本发明的UA机制进行处理，使之充分利用FBS的资源，减轻MBS负载压力，降低系统能耗。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.异构蜂窝网络中基于SMDP的家庭基站休眠方法，其特征在于，包括以下步骤：

S1、制定包括新到达用户的关联以及家庭基站休眠后用户的关联的用户关联机制，建立系统能耗模型，表示为：

其中，P_total表示系统能耗，n₀表示宏基站服务的用户数；

表示宏基站功放的最大输出功率，φ₀表示宏基站功放的无线频率转换因子；K表示家庭基站总数；P_S表示家庭基站休眠时所消耗的能量；P_const表示家庭基站处于工作状态时消耗的能量的常数部分；

表示家庭基站功放的最大输出功率；φ_F表示家庭基站功放的无线频率转换因子，n_j表示第j个家庭基站服务的用户数；b_j表示第j个家庭基站的当前状态，即b_j为0表示第j个家庭基站当前处于休眠模式，b_j为1表示第j个家庭基站当前处于工作模式；

S2、根据用户关联机制，建立半马尔科夫决策过程SMDP模型，包括建立系统状态空间以及系统动作空间；

S3、根据系统状态空间中的当前系统状态，调整系统动作空间中的动作；得到转移后的系统状态；

S4、根据所述当前系统状态和所述转移后的系统状态以及用户关联机制，计算半马尔科夫决策过程SMDP模型的系统转移概率，表示为：

其中，P(s_v|s,a)表示在当前系统状态s下采取动作a时的转移后的系统状态s_v的概率；λ_i表示基站i的到达率；F(s(s_b,a)＝s_vb)表示当s(s_b,a)＝s_vb为真时，F(s(s_b,a)＝s_vb)的值为1，当s(s_b,a)＝s_vb为假时，F(s(s_b,a)＝s_vb)的值为0，也即是只有当家庭基站处于状态s_b，并对家庭基站采取动作a，家庭基站的状态转移至s_vb，这个命题为真时，式F(s(s_b,a)＝s_vb)的值为1，否则为0；μ_i表示基站i的服务率；n_i表示基站i关联的用户数；n_u表示用户采用用户关联机制进行重关联后可能形成的关联状态的所有情况数；e_i∈{0,1}^K+1表示一个K+1维的单位向量，所述单位向量除了第i个元素为1外，其余都为0；u表示是所有进入睡眠的基站对应用户重新关联的向量统计；n_vj＝0|a_j＝1表示第j个家庭基站进入休眠模式下第j个家庭基站状态转移后的关联用户数为0；i∈{0,1,...,K}；基站0表示宏基站，基站1到基站K分别表示第1个家庭基站到第K个家庭基站；τ(s,a)表示在当前系统状态s下采取动作a时的平均驻留时间；

S5、计算当前系统状态的系统能耗；根据所述半马尔科夫决策过程SMDP模型的系统转移概率，得到转移后的系统状态的系统能耗，以两者的系统能耗之差作为系统的收益函数，表示为：

其中，R(s,a)表示在当前系统状态s下采取动作a时的系统的收益函数；ΔP(s,a)表示在当前系统状态s下采取动作a的系统总收益；

表示对当前系统状态s采取动作a对应的平均驻留时间的期望；ΔP₀(s,a)表示宏基站在当前系统状态s采取动作a时带来的收益；ΔP₁(s,a)表示家庭基站由休眠模式进入工作模式，家庭基站在当前系统状态s采取动作a时带来的收益；ΔP₂(s,a)表示家庭基站保持状态不变，家庭基站在当前系统状态s采取动作a时带来的收益；ΔP₃(s,a)表示家庭基站由工作模式进入休眠模式，家庭基站在当前系统状态s采取动作a时带来的收益；α表示连续时间下的折扣收益因子；γ(s,a)＝τ(s,a)^-1；

S6、当所述收益函数的值最大时，确定转移后的系统状态，从而确定系统动作空间中的动作，所述动作即为最优休眠决策。

2.根据权利要求1所述的异构蜂窝网络中基于SMDP的家庭基站休眠方法，其特征在于，所述用户关联机制具体包括：

所述新到达用户的关联包括：

当第j个家庭基站服务的用户数小于

且第j个家庭基站处于工作模式时，则第j个家庭基站允许新到达的用户接入；当第j个家庭基站服务的用户数等于

或者第j个家庭基站处于休眠模式时，则第j个家庭基站拒绝新到达的用户；新到达的用户被新到达用户的关联覆盖范围内的所有家庭基站拒绝时，将该新到达的用户关联到宏基站；

表示家庭基站能承载的最大用户数；

所述家庭基站休眠后的用户的关联包括：

若第j个家庭基站进入了休眠模式，则将第j个家庭基站正在关联的用户U_N＝{u₁,u₂,...,u_N}重新关联到宏基站，或将第j个家庭基站正在关联的用户U_N＝{u₁,u₂,...,u_N}重新关联至覆盖用户U_N的家庭基站，具体为：若覆盖用户u_q的第p个家庭基站的关联用户数没有达到负载上限，则用户u_q关联至第p个家庭基站，否则用户u_q关联至宏基站，u_q表示第q个用户，p∈{1,2,...,K}且p≠j；q∈{1,2,...,N}；K表示家庭基站总数；N表示用户总数。

3.根据权利要求1所述的异构蜂窝网络中基于SMDP的家庭基站休眠方法，其特征在于，所述系统状态空间

包括：

其中，s表示当前系统状态；s_v表示转移后的系统状态，也即是第v种转移后的系统状态；v∈{1,2,...,Q}；Q表示可能存在的转移后的系统状态种类数。

4.根据权利要求3所述的异构蜂窝网络中基于SMDP的家庭基站休眠方法，其特征在于，所述系统动作空间

包括：

其中，a表示动作；a_j表示第j个家庭基站的动作，a_j＝1表示第j个家庭基站进入休眠模式，a_j＝0表示第j个家庭基站保持状态不变，a_j＝1表示第j个家庭基站进入工作状态；如果第j个家庭基站当前处于休眠状态，即b_j＝0，那么第j个家庭基站不能再次进入休眠模式，此时a_j≠-1；如果第j个家庭基站当前处于工作状态，即b_j＝1，那么第j个家庭基站不能再次进入工作模式，此时a_j≠1；j∈{1,2,...,K}。

5.根据权利要求4所述的异构蜂窝网络中基于SMDP的家庭基站休眠方法，其特征在于，所述步骤S3根据系统状态空间中的当前系统状态，调整系统动作空间中的动作；得到转移后的系统状态包括：

所述当前系统状态：s＝[s_u,s_b]；

所述转移后的系统状态：s_v＝[s_vu,s_vb]；

其中，s_u表示基站与用户间的当前关联状态，s_b表示家庭基站的当前状态；s_vu表示基站与用户间的转移后关联状态；s_vb表示家庭基站的转移后状态；

所述s_u包括：s_u＝[n₀,n₁,…,n_j,…,n_K]；

所述s_b包括：s_b＝[b₁,…,b_j,…,b_K]；

所述s_vu包括：s_vu＝[n_v0,n_v1,…,n_vj,…,n_vK]；

所述s_vb包括：s_b＝[b_v1,…,b_vj,…,b_vK]；

n₀为宏基站当前关联的用户数；n_j为第j个家庭基站当前关联的用户数，且

n_v0为宏基站转移后关联的用户数；n_vj为第j个家庭基站转移后关联的用户数，且

为家庭基站能承载的最大用户数；j∈{1,2,...,K}；设

N≤N^max，N表示所有基站服务的用户总数；N^max为系统区域

中的最大的容量；

b_j表示第j个家庭基站的当前状态，b_j＝0表示第j个家庭基站当前处于休眠状态，b_j＝1表示第j个家庭基站当前处于工作状态；

b_vj表示第j个家庭基站转移后的状态，b_vj＝0表示第j个家庭基站转移后处于休眠状态，b_vj＝1表示第j个家庭基站转移后处于工作状态；K表示家庭基站总数。

6.根据权利要求1所述的异构蜂窝网络中基于SMDP的家庭基站休眠方法，其特征在于，所述在当前系统状态s下采取动作a时的平均驻留时间包括：

其中，λ₀表示宏基站的到达率；μ₀表示宏基站的服务率；λ_j表示第j个家庭基站的到达率；L_j表示a_j和b_j的状态函数，b_j＝0且a_j＝1时或者b_j＝1且a_j＝0时，L_j＝1；b_j＝0且a_j＝0时或者b_j＝1且a_j＝1时，L_j＝0。

7.根据权利要求6所述的异构蜂窝网络中基于SMDP的家庭基站休眠方法，其特征在于，所述步骤S6的最优休眠决策包括：根据动态规划方法求取所述收益函数的值最大时对应的系统动作空间中的动作，所述对应的系统动作空间中的动作即为家庭基站的最优休眠策略π_t ^*(s)；

所述家庭基站的最优休眠策略π_t ^*(s)包括：

其中，π_t ^*(s)表示

取得最大值时，动作a的取值；

表示归一化后的折扣收益因子，

ω＝(K+1)·(λ_max+μ_max)；λ_max表示基站的最大到达率；μ_max表示基站的最大服务率；K表示家庭基站总数；

表示状态s_v的归一化后的最大长期收益；

Images