CN106231660B - 一种基于长短休眠周期的基站关断机制 - Google Patents

Abstract

本发明涉及一种基于长短休眠周期的基站关断机制，属于无线通信网络技术领域。该机制主要包括：1)：将基站分为激活模式和睡眠模式，在睡眠模式中又分为深度睡眠模式和轻度睡眠模式，将每个模式用周期表示，基站在睡眠周期中首先处于深度睡眠周期，紧接着是轻度睡眠周期；2)：将每个睡眠周期分成长睡眠周期和短睡眠周期，通过感知业务数量来决定基站关断时长周期的长短；3)：在2)中确定了基站关断时长后，进一步使用增强学习方法(Q‑learning)来优化基站休眠周期长度。本发明采用增强学习(Q‑Learning)方法，以能耗作为优化目标并将队列时延作为约束条件，通过选取最合适的基站关断窗口长度，实现最大化节能。

Description

一种基于长短休眠周期的基站关断机制

技术领域

本发明属于无线通信网络技术领域，涉及一种基于长短休眠周期的基站关断机制。

背景技术

随着用户数量的高速增加和无线网络规模的不断扩大，高容量的通信网络面临着新的巨大的挑战。其主要问题时信息和通信技术(Information and Technology，ICT)中，各种无线通信设备所带来的巨大能耗。美国著名咨询机构Gartner调查显示，信息通信行业消耗的能源占全球总消耗能源的2％-10％。并且在无线网络中，核心网的能耗占网络总能耗的13％、RNC/BSC占5％、基站占79％、用户占3％。显然，核心网和基站的能耗占蜂窝网络总能耗的主要部分。因此，基站能耗的控制是需要迫切解决的问题。

无线通信业务在时间和空间上呈现不均匀性，给节省网络能耗带来了机会。为了满足各个时刻的业务需求，基站是按照峰值业务需求部署的。当业务量比较多时，基站的能量效率较高。相反，当业务量下降到很少或者没有业务到达时，基站的能量效率较低。从上面分析可知，在轻负载或者无负载的时候，基站可以处于关断状态，这样不仅可以提高能量效率，还可以极大地降低网络能耗。

现有技术提出了一种基于N个用户请求的的基站关断机制，该机制原理是基站在处于关断状态时需要检测到达的用户请求个数，直到用户请求数大于等于N个的时候开启基站直到把用户请求处理完毕后再关断基站。现有技术还提出了一种周期性的基站关断机制，该机制的原理是固定基站的关断时长。当基站没有业务的时候进入关断状态，在固定的关断时长后不管有没有业务请求都将打开基站，直到处理完业务请求后再关闭基站。

从上面的分析可以清楚的看到，现有的基站关断机制中还存在许多的不足之处。基于N个用户请求的基站关断机制中，基站必须得等到大于等于N个用户请求时才开启基站，如果N过大，那么会严重影响该部分用户的QoS；如果N过于小，那么基站的开启和关闭将会频繁的切换，并不能达到很好的节能效果。在另外一种周期性的基站关断机制中固定基站的关断时长，并且在基站处于开启状态时基站在处理完用户请求后就立刻进入关断状态。如果基站处关断状态时如果有大量的用户请求到达时，并不能够即时的进行处理，会带来相当大的时延，严重影响用户的QoS。

发明内容

有鉴于此，本发明的目的在于提供一种基于长短休眠周期的基站关断机制，能够通过选取最合适的基站关断窗口长度，实现最大化节能。

为达到上述目的，本发明提供如下技术方案：

一种基于长短休眠周期的基站关断机制，该机制主要包括：

1)：将基站分为激活模式和睡眠模式，在睡眠模式中又分为深度睡眠模式和轻度睡眠模式，将每个模式用周期表示，基站在睡眠周期中首先处于深度睡眠周期，紧接着是轻度睡眠周期；

2)：将每个睡眠周期分成长睡眠周期和短睡眠周期，通过感知业务数量来决定基站关断时长周期的长短；

3)：在2)中确定了基站关断时长后，进一步使用增强学习方法(Q-learning)来优化基站休眠周期长度。

进一步，在1)中，将基站分为激活模式和睡眠模式两种模式，在睡眠模式中又细分为深度睡眠模式和轻度睡眠模式，并且假设基站初始状态为激活模式；

在每一段时间结束后，都需要对基站的模式进行判断：如果基站处于激活模式，则基站将保持最大发射功率；如果基站处于深度睡眠模式，则基站处于休眠状态，此时基站不处理任何业务，能耗最低；如果基站处于轻度睡眠模式，则基站会处理业务，但是其发射功率相对激活模式要低一些；激活模式和睡眠模式之间的转换需要做出判断后执行，由激活模式转换到睡眠模式需要在连续一段时间τ内没有业务到达，由睡眠模式转换到激活模式则需要在连续k个睡眠周期内到达的业务数量都较多；如果基站处于睡眠模式，则将每个睡眠模式用睡眠周期表示，并且由深度睡眠周期和轻度睡眠周期组成，基站在睡眠周期中优先进入深度睡眠周期，然后才进入轻度睡眠周期,每个睡眠周期都是如此。

进一步，在2)中将基站的睡眠周期分成两种，即长睡眠周期和短睡眠周期，但是每个睡眠周期仍然由深度睡眠周期和轻度睡眠周期组成；同时，需要感知在每个睡眠周期中到达的业务数量，以决定下个睡眠周期中基站的关断时长；在每个睡眠周期中，当业务到达较少或没有业务到达时，下一个睡眠周期中深度睡眠周期的时长将处于短睡眠周期，并且轻度睡眠周期的时长保持不变，如果连续k个睡眠周期到达的业务数量都没有或者较少时，那么第k+1个周期将变成长睡眠周期；当业务到达较多时，下一个睡眠周期中深度睡眠周期的时长将保持不变，并且轻度睡眠周期的时长将适当的延长，以保证处理完当前深度睡眠周期中到达的业务；如果在长睡眠周期内到达的业务数量较多的时候，则下一个睡眠周期又将转变成短睡眠周期。

进一步，在3)中使用增强学习方法(Q-learning)，以队列时延作为约束条件，根据实时到达的业务对基站休眠周期长度进行动态调整；当业务到达数量较少时，轻度睡眠周期将不会被充分利用，此时，如果满足事先规定的时延，那么就可以在原有的短睡眠周期和长睡眠周期的基础上延长睡眠时间，从而实现最大化节能；在使用增强学习方法时，需要观测当前周期内第一个业务到达的时间，这个时刻加上之前规定好的时延同当前周期内睡眠周期的时长进行对比，如果前者大于等于后者，那么做出适时调整即延长当前周期内的深度睡眠时长，反之则保持原有深度睡眠时长不变。

进一步，所述增强学习方法(Q-learning)具体包括：1)将基站的每个周期都抽象为一个状态所对应的时间间隔；2)业务模型采用离散马尔科夫调制泊松过程(discrete-time Markov-modulatedPoisson Process，dMMPP)，每一个状态都用业务的到达率表示，并且不同的状态其业务的到达率不同，每种状态都是服从泊松分布；3)用每个周期内基站的关断时长作为基站采取的行动，基站会在每个周期末采取相应的行动，该行动决定了下个周期内基站的关断时长，同时系统转移到下一个状态；4)以能耗为优化目标，以队列时延作为约束条件，采用动态规划的方法，求解出使得能耗最低的每个状态下的关断时长。

进一步，在所述增强学习(Q-Learning)方法中，由3个多元组组成{S、A、R}，其中S表示系统状态集合，A表示行动集合，R表示回报函数，将基站的每一个周期都抽象为一个状态所对应的时间间隔。

进一步，状态采用不同到达率的业务表征，并且需要事先定义好每个状态之间的转移概率，这个转移概率通过统计一段时间内的状态变化情况得到；系统的行动用基站的关断时长表征，基站在每个周期末采取相应的行动，该行动决定了下个周期内基站的关断时长，同时系统转移到下一个状态。

本发明的有益效果在于：

1、在本发明中，基站能够根据实时到达的业务，即时调整基站自身的状态，包括基站激活模式和睡眠模式的确定，以及基站在处于睡眠模式中的关断时长的确定。相对于现有的基站关断机制，在决定基站关断时长这一块更加灵活，也更加容易掌控。不仅如此，在本发明实施例中，基站还能够在保证用户QoS的前提下，最大化的降低能耗，相对于现有的基站关断机制来说对系统有一个优化过程。

2、在本发明中，采用了一种增强学习(Q-Learning)方法，该方法可以以能耗作为优化目标，以业务的时延作为约束条件，采用动态规划的方法计算出基站采取的最优的基站关断时长，最大化的降低基站的能耗。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为基于实时业务动态调整基站关断时长的关断机制示意图；

图2为强化学习模型图；

图3为Q学习方法的具体流程图；

图4为系统总的流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为基于实时业务动态调整基站关断时长的关断机制示意图，图4为系统总的流程图，如图所示，该机制的特点如下，1)将基站分为激活模式和睡眠模式两种模式；2)将每个睡眠模式用睡眠周期表示，并且由深度睡眠周期和轻度睡眠周期组成；3)基站激活模式和睡眠模式之间的转换需要做出判断后执行，由激活模式转换到睡眠模式需要在连续一段时间τ内没有业务到达，由睡眠模式转换到激活模式则需要在连续k个睡眠周期里轻度睡眠周期时长都延长即在这连续k个睡眠周期内到达的业务数量都较多；4)将基站的睡眠周期分为长睡眠周期和短睡眠周期两类，在每个睡眠周期中，当业务到达较少或没有业务到达时，下一个睡眠周期中深度睡眠周期的时长将是短睡眠周期并保持不变，直到连续k个周期内业务到达数量都很少时，基站的深度睡眠周期将变成长睡眠周期，如果在长睡眠周期内到达的业务数量较多的时候，则下一个睡眠周期又将转变成短睡眠周期；5)在每个睡眠周期中，当业务到达较少或没有业务到达时，下一个睡眠周期中轻度睡眠周期的时长保持不变。当业务到达较多时，将适当延长轻度睡眠周期的时长以保证处理完当前深度睡眠周期中到达的业务。

图2为强化学习模型图。从图中可以看到在强化学习模型中，智能体与外界环境交互并接收强化信号，并以此作为环境状态转移的依据，其最终目的是找到最优的策略来完成学习任务。Agent选择一个行动作用于环境，环境发生改变的同时会产生一个回报值，智能体根据当前的环境状态以及得到的回报值选择下一个要执行的行动，选择行动的原则是使得正回报值的动作被选择的概率加大。

图3为Q学习方法的具体流程图，如图所示，步骤如下：

步骤301：对于当前时刻，基站首先需要获取当前基站处于哪种状态，即基站需要知道在当前周期内业务的到达率。

步骤302：基站在每个周期末都会采取相应的行动，然后系统会进入到下一个状态，这里的行动指的是选取基站的关断窗口长度。

步骤303：基站在进入下一个状态后，计算出在当前状态下执行步骤302行动后所产生的回报值。

步骤304：将步骤303计算出的新的回报值反馈给系统。

步骤305：判断是否满足迭代的终止条件，如果是则结束，如果不满足终止条件则回到步骤301。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于长短休眠周期的基站关断机制，其特征在于：该机制主要包括：

1)：将基站分为激活模式和睡眠模式，在睡眠模式中又分为深度睡眠模式和轻度睡眠模式，并且假设基站初始状态为激活模式；将每个模式用周期表示，基站在睡眠周期中首先处于深度睡眠周期，紧接着是轻度睡眠周期；

在每一段时间结束后，都需要对基站的模式进行判断：如果基站处于激活模式，则基站将保持最大发射功率；如果基站处于深度睡眠模式，则基站处于休眠状态，此时基站不处理任何业务，能耗最低；如果基站处于轻度睡眠模式，则基站会处理业务，但是其发射功率相对激活模式要低一些；激活模式和睡眠模式之间的转换需要做出判断后执行，由激活模式转换到睡眠模式需要在连续一段时间τ内没有业务到达，由睡眠模式转换到激活模式则需要在连续k个睡眠周期内到达的业务数量都较多；如果基站处于睡眠模式，则将每个睡眠模式用睡眠周期表示，并且由深度睡眠周期和轻度睡眠周期组成，基站在睡眠周期中优先进入深度睡眠周期，然后才进入轻度睡眠周期，每个睡眠周期都是如此；

2)：将每个睡眠周期分成长睡眠周期和短睡眠周期，通过感知业务数量来决定基站关断时长周期的长短；

3)：在2)中确定了基站关断时长后，进一步使用增强学习方法(Q-learning)来优化基站休眠周期长度。

2.根据权利要求1所述的一种基于长短休眠周期的基站关断机制，其特征在于：在2)中将基站的睡眠周期分成两种，即长睡眠周期和短睡眠周期，但是每个睡眠周期仍然由深度睡眠周期和轻度睡眠周期组成；同时，需要感知在每个睡眠周期中到达的业务数量，以决定下个睡眠周期中基站的关断时长；在每个睡眠周期中，当业务到达较少或没有业务到达时，下一个睡眠周期中深度睡眠周期的时长将处于短睡眠周期，并且轻度睡眠周期的时长保持不变，如果连续k个睡眠周期到达的业务数量都没有或者较少时，那么第k+1个周期将变成长睡眠周期；当业务到达较多时，下一个睡眠周期中深度睡眠周期的时长将保持不变，并且轻度睡眠周期的时长将适当的延长，以保证处理完当前深度睡眠周期中到达的业务；如果在长睡眠周期内到达的业务数量较多的时候，则下一个睡眠周期又将转变成短睡眠周期。

3.根据权利要求1所述的一种基于长短休眠周期的基站关断机制，其特征在于：在3)中使用增强学习方法(Q-learning)，以队列时延作为约束条件，根据实时到达的业务对基站休眠周期长度进行动态调整；当业务到达数量较少时，轻度睡眠周期将不会被充分利用，此时，如果满足事先规定的时延，那么就可以在原有的短睡眠周期和长睡眠周期的基础上延长睡眠时间，从而实现最大化节能；在使用增强学习方法时，需要观测当前周期内第一个业务到达的时间，这个时刻加上之前规定好的时延同当前周期内睡眠周期的时长进行对比，如果前者大于等于后者，那么做出适时调整即延长当前周期内的深度睡眠时长，反之则保持原有深度睡眠时长不变。

4.根据权利要求3所述的一种基于长短休眠周期的基站关断机制，其特征在于：所述增强学习方法(Q-learning)具体包括：1)将基站的每个周期都抽象为一个状态所对应的时间间隔；2)业务模型采用离散马尔科夫调制泊松过程(discrete-time Markov-modulatedPoisson Process，dMMPP)，每一个状态都用业务的到达率表示，并且不同的状态其业务的到达率不同，每种状态都是服从泊松分布；3)用每个周期内基站的关断时长作为基站采取的行动，基站会在每个周期末采取相应的行动，该行动决定了下个周期内基站的关断时长，同时系统转移到下一个状态；4)以能耗为优化目标，以队列时延作为约束条件，采用动态规划的方法，求解出使得能耗最低的每个状态下的关断时长。

5.根据权利要求4所述的一种基于长短休眠周期的基站关断机制，其特征在于：在所述增强学习(Q-Learning)方法中，由3个多元组组成{S、A、R}，其中S表示系统状态集合，A表示行动集合，R表示回报函数，将基站的每一个周期都抽象为一个状态所对应的时间间隔。

6.根据权利要求5所述的一种基于长短休眠周期的基站关断机制，其特征在于：状态采用不同到达率的业务表征，并且需要事先定义好每个状态之间的转移概率，这个转移概率通过统计一段时间内的状态变化情况得到；系统的行动用基站的关断时长表征，基站在每个周期末采取相应的行动，该行动决定了下个周期内基站的关断时长，同时系统转移到下一个状态。