CN103209491B - 一种分布式的垂直切换和资源分配方法 - Google Patents

Abstract

本发明公开了一种分布式的垂直切换和资源分配方法，切换用户根据服务质量要求选择目的基站进行接入，目的基站根据网络效益对切换用户进行资源分配，特征是切换决策和资源分配以最大化时间维度上的全网收益为目标，综合根据基站状态、信道状态和移动设备的状态。本发明不需要集中式控制器，候选基站和移动终端经过简单地协调，可以在基站上进行资源分配，在移动终端商进行目的网络选择。本发明不局限于效用函数的具体定义，并且状态集合可以变化和扩展，具有极大的可扩展性和适应性。并且本发明不需要预先知道各个状态的收益值和状态转移概率，可以通过在线学习的方式逐步获得，能够自动适应于复杂网络环境。

Description

一种分布式的垂直切换和资源分配方法

技术领域

本发明属于异构无线网络融合通信技术领域，特别涉及基于不同无线接入技术网络间切换及对切换用户的带宽功率等资源的分配方法。

背景技术

异构无线网络融合是未来无线通信发展的重要趋势之一，它能够充分利用不同接入网络的互补特性，为无线业务的多样性提供有力支持，并且解决单一网络带宽有限而不能满足日益增长的用户带宽需求的难题。在异构无线网络融合中，由于用户位置变化和业务变化，会导致用户在不同接入技术网络间的切换。而受各个网络当前负载和无线链路状态的影响，每个网络能够为这些切换用户提供的带宽、功率资源是有差异的，用户在这些网络中的服务体验也是不一样的。如何平衡全网络效益与用户满意度的矛盾，是垂直切换及其资源分配研究的重要课题。

《国际电子与电气工程师协会车载通信汇刊》(IEEETransactiononVehicularTechnology,vol.57,no.2,pp.1243-1254,2008)中提出的一种垂直切换算法，将垂直切换建模成马尔科夫决策过程，目标是最大化时间维度上的遍历效用。但该算法没有考虑基站对切换用户的资源分配问题，在优化目标中没有考虑物理资源如带宽、功率等的消耗，导致该算法只注重用户的服务体验而损害了网络效益；另外，该算法没有考虑基站的状态，没有从时间维度上考虑资源分配和垂直切换决策的相互影响会引起负载不均衡等问题，导致全网效益受到损害。

一般各种网络的服务提供商是不同的，因此不太可能存在一个集中式控制器来对所有网络和用户进行管理。并且各个网络之间只能借助因特网等主干网进行有限地通信。因此，当切换用户到达时，在网间通信受限的条件下，各个基站和移动终端上进行分布式地网络选择和资源分配，是一个待解决的问题。

发明内容

本发明的目的是提出一种分布式的垂直切换和资源分配方法，从时间维度上考虑资源分配对网络效益的影响，以在各个基站和移动终端上分布式地做出时间维度上的最优决策，实现全网效益和用户满意度的折中。

本发明分布式的垂直切换和资源分配方法，切换用户根据服务质量要求选择目的基站进行接入，目的基站根据网络效益对切换用户进行资源分配；其特征在于：切换决策和资源分配以最大化时间维度上的全网收益为目标，综合根据基站状态、信道状态和移动设备的状态，按照以下五步进行切换决策和资源分配决策：

第一步：基站初始化

记基站m上的状态为S_m，垂直切换决策和资源分配决策为动作A_m；在每个基站上，保存两张查询表：基站在各个状态上的平均收益表和状态转移概率表在每个基站上保存一个表的更新次数值t_m，并在初始化的时候设置更新次数值t_m＝0，对每一组的当前状态转移状态和动作设定各个状态上初始收益值和状态转移概率初始值

定义基站m上的状态S_m＝(X_m,I_c,θ_m,G)，其中X_m是基站m上剩余的资源，包括带宽，功率，处理器处理资源，存储资源，I_c为当前切换用户所在的基站，θ_m为当前切换用户和基站m间的信道状态，G为当前业务的服务等级；

定义基站m上的动作为A_m＝(s_m,I(m＝a))，其中s_m表示基站m为切换用户分配的资源量，a表示切换中选择的目的基站的索引号；I(m＝a)是一个指示函数，I(m＝a)＝0当m≠a，I(m＝a)＝1当m＝a；当I(m＝a)＝0时必然有基站m为切换用户分配的资源s_m满足s_m＝0，即基站m不会给没有选择它作为目的基站的用户分配资源；

第二步：更新状态转移概率

当有一个切换用户到达时，根据信噪比大于基本通信要求门限，确定可接入的候选基站集合；到达的切换用户利用其当前服务基站或者自身的多模接口，向每一个候选基站m汇报当前服务基站索引号I_c、当前业务的服务等级G和到候选基站m的信道状态θ_m；

候选基站m收到切换用户的当前服务基站索引号I_c、服务等级G和信道状态θ_m后，和其当前的剩余资源X_m一起组成了更新次数t_m时更新的状态然后根据下面的状态转移概率更新公式

$P_m^{t_m}\[S_m^j|S_m^i,A_m^i\]=(1-{\mathrm{\δ}}_{t_m})P_m^{t_m-1}\[S_m^j|S_m^i,A_m^i\]+{\mathrm{\δ}}_{t_m}\·I(S_m^j=S_m^{t_m})$

更新状态转移概率，其中临时变量i和j分别是当前状态和转移状态的编号；是更新尺寸序列，满足下面条件

$\underset{t_m=0}{\overset{+\mathrm{\&infin;}}{\&Sigma;}}{\mathrm{\&delta;}}_{t_m}=\mathrm{\&infin;},\underset{i\&RightArrow;\mathrm{\&infin;}}{\lim }{\mathrm{\&delta;}}_{t_m}=0,\underset{t\&RightArrow;\mathrm{\&infin;}}{\lim }\underset{t_m}{\overset{\mathrm{\&infin;}}{\&Sigma;}}{\mathrm{\&delta;}}_{t_m}^2<\mathrm{\&infin;};$

对更新次数t_m进行更新t_m＝t_m+1；

第三步：资源预分配

对每一个候选基站m，执行以下操作；

设定候选基站m上的效用函数为设当前切换用户切入到基站m，则基站m在处于状态时分配给该用户的资源应该满足下面的最优资源分配等式

$s_m^i=\arg \left(\max \left\{h_m\left(S_m^i,s_m^i,I\left(m=a^i\right)=1\right)+\underset{\left\{S_m^j\right\}}{\&Sigma;}{P}_m^{t_m-1}\&lsqb;S_m^j|S_m^i,s_m^i,I\left(m=a^i\right)=1\&rsqb;u_m^{t_m-1}\left(S_m^j\right)\right\}\right)$

计算接收切换用户与不接受切换用户的时间维度的期望收益分别为： $v_m(S_m^i,I(m=a^i)=1)$ 和 $v_m(S_m^i,I(m=a^i)=0),$ 其表达式分别为：

$v_m\left(S_m^i,I\left(m=a^i\right)=1\right)=h_m\left(S_m^i,s_m^i,I\left(m=a^i\right)=1\right)+\mathrm{\&beta;}\underset{\left\{S_m^j\right\}}{\&Sigma;}{P}_m^{t_m-1}\&lsqb;S_m^j|S_m^i,s_m^i,I\left(m=a^i\right)=1\&rsqb;u_m^{t_m-1}\left(S_m^j\right)$

$v_m\left(S_m^i,I\left(m=a^i\right)=0\right)=h_m\left(S_m^i,s_m^i=0,I\left(m=a^i\right)=0\right)+\mathrm{\&beta;}\underset{\left\{S_m^j\right\}}{\&Sigma;}{P}_m^{t_m-1}\&lsqb;S_m^j|S_m^i,s_m^i=0,I\left(m=a^i\right)=0\&rsqb;u_m^{t_m-1}\left(S_m^j\right)$

其中β为折扣因子，且满足0＜β≤1；

第四步：切换目的网络选择

每一个候选基站m将计算出的接收切换用户的时间维度收益的期望值和不接收切换用户时间维度收益的期望值传输给当前切换用户；切换用户为每一个基站m按照下面的全网收益期望计算公式计算当接入基站m时全网预计收益值

${\mathrm{bid}}_m=\underset{k=1,k\&NotEqual;m}{\overset{M}{\&Sigma;}}{v}_k\left(S_k,I\left(k=a\right)=0\right)+v_m\left(S_m,I\left(m=a\right)=1\right),$

其中M为候选基站的个数；目的基站a满足下面的最大化全网收益等式

$a=\arg \left(\underset{m}{max}\right\{{\mathrm{bid}}_m\left\}\right);$

然后切换用户将目的基站选择结果告知所有候选基站；

第五步：状态收益值的更新

各个基站得到切换结果后，计算当前状态时间维度收益期望

$u_m\left(S_m^{t_m}\right)=v_m(S_m^{t_m},I(m=a\left)\right);$

按下面的状态上收益期望更新公式进行对当前状态的时间维度收益值期望(即当前状态上的平均收益值)进行更新

$u_m^{t_m}\left(S_m^{t_m}\right)=(1-{\mathrm{\&delta;}}_{t_m})u_m^{t_m-1}\left(S_m^{t_m}\right)+{\mathrm{\&delta;}}_{t_m}\&CenterDot;u_m\left(S_m^{t_m}\right);$

当有新的切换用户到达时，按照第二步到第五步进行网络选择和资源分配。

与现有垂直切换算法的资源分配方法相比，由于本发明分布式的垂直切换和资源分配方法从时间维度上考虑了资源分配对于全网效益的影响，基站可以根据当前自身网络状态、切换用户状态及用户与基站间的信道状态，来确定资源的最优分配；用户可以根据自身的服务质量需求和网络收益来确定网络选择，实现了用户体验和网络收益的折中。采用本发明方法不需要集中式控制器，候选基站和移动终端经过简单地协调，可以在基站上进行资源分配，在移动终端商进行目的网络选择。本发明方法不局限于效用函数的具体定义，状态集合可以变化和扩展，具有极大的可扩展性和适应性。并且采用本发明方法不需要预先知道各个状态的收益值和状态转移概率，可以通过在线学习的方式逐步获得，能够自动适应于复杂网络环境。

附图说明

图1为本发明分布式的垂直切换和资源分配方法实施的异构无线融合网络场景示意图。

图2为本发明分布式的垂直切换和资源分配方法中切换用户到达时序示意图。

图3为当G＝1，β变化时全网收益对比图。

图4为当G＝2，β变化时全网收益对比图。

图5为当G＝1，变化时全网收益对比图。

图6为当G＝2，变化时全网收益对比图。

具体实施方式

以下结合附图举例说明本发明的具体实施方案。

实施例1：

图1给出了本发明分布式的垂直切换和资源分配方法实施的异构无线融合网络场景示意图。在本实施例场景中存在宏蜂窝、微蜂窝和无线局域网重叠覆盖，宏蜂窝基站(ST)、微蜂窝基站(MI)和无线局域网接入点(WL)通过光纤(OF1，OF2，OF3，OF4，OF5，OF6)连接到主干网(BB)的网关(GT1，GT2，GT3)，即这些基站和接入点之间可以通过主干网进行有限地通信。移动台(MT1，MT2，MT3)是多模终端，在一个时刻只能接入到一个网络。移动台在网络中不断运动，当当前接入点信号的信噪比水平低于一定门限时，触发切换。

图2给出了切换用户到达的时序示意图。由于切换是事件触发的，所以切换用户到达时间间隔(t₁，t₂，……，t_N)是随机的。在每一个切换到达时刻(T₀，T₁，……，T_N)，执行切换和资源分配操作，全网状态(S(0)，S(1)，……，S(N))发生变化。除了切换操作外，切换到达间隔内，接入、服务完成等过程也会影响全网状态的变化，所以仅考虑切换过程的条件下，状态的转移是随机的。

定义全网效用函数h(t,S(t),A(t))＝r(t,S(t),A(t))-c(t,S(t),A(t))表示在时刻t在状态S(t)上采取动作(垂直切换和资源分配)A(t)时的收益。其中，r(t,S(t),A(t))表示全网收益，c(t,S(t),A(t))表示全网开销。

其中全网状态 $S\left(t\right)=\underset{m}{\&cup;}{S}_m\left(t\right),S_m=(X_m,I_c,{\mathrm{\&theta;}}_m,G),$ 其中X_m是基站m上剩余的资源，这些资源包括带宽，功率、处理器剩余资源和存储资源，I_c为当前切换用户所在的基站，θ_m为当前切换用户和基站m间的信道状态，G为当前业务的服务等级。

其中全网动作基站动作与切换用户对该基站的动作A_m＝(s_m,I(m＝a))，其中s_m表示基站m为切换用户分配的资源量，a表示切换中选择的目的基站。

定义全网收益函数为

r(S,A)＝ω₁(G)f_b(b(s_a,θ_a))+ω₂(G)f_d(d(X_a))+ω₃(G)f_G(X_a)

其中，f_b(b(s_a,θ_a))表示对用户的数据速率回报，f_d(d(X_a))表示对用户的延时回报，f_G(X_a)为基站提供服务所获得的收益。ω_i(G)表示队医服务等级G的加权因子。b(s_a,θ_a)表示当分配资源s_a，在信道状态为θ_a的条件下所获得的数据速率回报。d(X_a)表示在状态X_a的条件下的延时。各种回报的具体值定义如下：

$f_b\left(b\right(s_a,{\mathrm{\&theta;}}_a\left)\right)=\left\{\begin{array}{cc}1,& b(s_a,{\mathrm{\&theta;}}_a)\&GreaterEqual;B_U\\ \frac{b(s_a,{\mathrm{\&theta;}}_a)}{B_U-B_L},& B_L<b(s_a,{\mathrm{\&theta;}}_a)<B_U\\ 0,& b(s_a,{\mathrm{\&theta;}}_a)\&le;B_L\end{array}\right.$

$f_d\left(d\right(X_a\left)\right)=\left\{\begin{array}{cc}1,& 0<d\left(X_a\right)\&GreaterEqual;D_L\\ \frac{D_U-d\left(X_a\right)}{D_U-D_L}& D_L<d\left(X_a\right)<D_U\\ 0,& d\left(X_a\right)\&GreaterEqual;D_U\end{array}\right.$

$f_G\left(X_a\right)=k_a^G\&CenterDot;\frac{X_a}{X_{a,max}}$

其中B_L和B_U是最小和最大数据速率要求，D_L和D_U是最小和最大延时限制。X_a,max是a基站上的资源总额，是服务回报因子。

定义全网开销c(S,A)＝ω₄(G)·g_a(I_c,a)+ω₅(G)·g_s(s_a)，其中g_a(I_c,a)是用户在I_c基站和a基站之间切换时的信息交互开销，g_s(s_a)是资源消耗开销。分别定义为：

$g_a(I_c,a)=\left\{\begin{array}{cc}{K}_{I_c,a},& I_c\&NotEqual;a\\ 0,& else\end{array}\right.$

$g_s\left(s_a\right)=k_a^s\&CenterDot;\frac{s_a}{s_{a,max}}$

其中与I_c和a基站的接入类型有关，s_a,max是最大分配资源量，是资源开销因子。

定义基站m上的效益回报为h_m(S_m,A_m)＝I(m＝a)h(S,A)。

按下面几步进行垂直切换和资源分配：

第一步：基站初始化

记基站m上的状态为S_m，垂直切换决策和资源分配决策为动作A_m；在每个基站上，保存两张查询表：基站在各个状态上的平均收益表和状态转移概率表在每个基站上保存一个表的更新次数值t_m，并在初始化的时候设置更新次数值t_m＝0，对每一组的当前状态转移状态和动作设定各个状态上初始收益值和状态转移概率初始值

定义基站m上的状态S_m＝(X_m,I_c,θ_m,G)，其中X_m是基站m上剩余的资源，包括带宽，功率，处理器处理资源，存储资源，I_c为当前切换用户所在的基站，θ_m为当前切换用户和基站m间的信道状态，G为当前业务的服务等级；

定义基站m上的动作为A_m＝(s_m,I(m＝a))，其中s_m表示基站m为切换用户分配的资源量，a表示切换中选择的目的基站的索引号；I(m＝a)是一个指示函数，I(m＝a)＝0当m≠a，I(m＝a)＝1当m＝a；当I(m＝a)＝0时必然有基站m为切换用户分配的资源s_m满足s_m＝0，即基站m不会给没有选择它作为目的基站的用户分配资源；

第二步：更新状态转移概率

当有一个切换用户到达时，根据信噪比大于基本通信要求门限，确定可接入的候选基站集合；到达的切换用户利用其当前服务基站或者自身的多模接口，向每一个候选基站m汇报当前服务基站索引号I_c、当前业务的服务等级G和到候选基站m的信道状态θ_m；

候选基站m收到切换用户的当前服务基站索引号I_c、服务等级G和信道状态θ_m后，和其当前的剩余资源X_m一起组成了更新次数t_m时更新的状态然后根据下面的状态转移概率更新公式

$P_m^{t_m}\&lsqb;S_m^j|S_m^i,A_m^i\&rsqb;=(1-{\mathrm{\&delta;}}_{t_m})P_m^{t_m-1}\&lsqb;S_m^j|S_m^i,A_m^i\&rsqb;+{\mathrm{\&delta;}}_{t_m}\&CenterDot;I(S_m^j=S_m^{t_m})$

更新状态转移概率，其中临时变量i和j分别是当前状态和转移状态的编号。是更新尺寸序列，满足下面条件

$\underset{t_m=0}{\overset{+\mathrm{\&infin;}}{\&Sigma;}}{\mathrm{\&delta;}}_{t_m}=\mathrm{\&infin;},\underset{i\&RightArrow;\mathrm{\&infin;}}{\lim }{\mathrm{\&delta;}}_{t_m}=0,\underset{t\&RightArrow;\mathrm{\&infin;}}{\lim }\underset{t_m}{\overset{\mathrm{\&infin;}}{\&Sigma;}}{\mathrm{\&delta;}}_{t_m}^2<\mathrm{\&infin;};$

对更新次数t_m进行更新t_m＝t_m+1；

第三步：资源预分配

对每一个候选基站m，执行以下操作；

设定候选基站m上的效用函数为设当前切换用户切入到基站m，则基站m在处于状态时分配给该用户的资源应该满足下面的最优资源分配等式

$s_m^i=\arg \left(\max \left\{h_m\left(S_m^i,s_m^i,I\left(m=a^i\right)=1\right)+\underset{\left\{S_m^j\right\}}{\&Sigma;}{P}_m^{t_m-1}\&lsqb;S_m^j|S_m^i,s_m^i,I\left(m=a^i\right)=1\&rsqb;u_m^{t_m-1}\left(S_m^j\right)\right\}\right)$

计算接收切换用户与不接受切换用户的时间维度的期望收益分别为： $v_m(S_m^i,I(m=a^i)=1)$ 和 $v_m(S_m^i,I(m=a^i)=0),$ 其表达式分别为：

$v_m\left(S_m^i,I\left(m=a^i\right)=1\right)=h_m\left(S_m^i,s_m^i,I\left(m=a^i\right)=1\right)+\mathrm{\&beta;}\underset{\left\{S_m^j\right\}}{\&Sigma;}{P}_m^{t_m-1}\&lsqb;S_m^j|S_m^i,s_m^i,I\left(m=a^i\right)=1\&rsqb;u_m^{t_m-1}\left(S_m^j\right)$

$v_m\left(S_m^i,I\left(m=a^i\right)=0\right)=h_m\left(S_m^i,s_m^i=0,I\left(m=a^i\right)=0\right)+\mathrm{\&beta;}\underset{\left\{S_m^j\right\}}{\&Sigma;}{P}_m^{t_m-1}\&lsqb;S_m^j|S_m^i,s_m^i=0,I\left(m=a^i\right)=0\&rsqb;u_m^{t_m-1}\left(S_m^j\right)$

其中β为折扣因子，且满足0＜β≤1；

第四步：切换目的网络选择

每一个候选基站m将计算出的接收切换用户的时间维度收益的期望和不接收切换用户时间维度收益的期望传输给当前切换用户；切换用户为每一个基站m按照下面的全网收益期望计算公式计算当接入基站m时全网预计收益值

${\mathrm{bid}}_m=\underset{k=1,k\&NotEqual;m}{\overset{M}{\&Sigma;}}{v}_k\left(S_k,I\left(k=a\right)=0\right)+v_m\left(S_m,I\left(m=a\right)=1\right),$

其中M为候选基站的个数；目的基站a满足下面的最大化全网收益等式

$a=\arg \left(\underset{m}{max}\right\{{\mathrm{bid}}_m\left\}\right);$

然后切换用户将目的基站选择结果告知所有候选基站；

第五步：状态收益值的更新

各个基站得到切换结果后，计算当前状态时间维度收益期望

$u_m\left(S_m^{t_m}\right)=v_m(S_m^{t_m},I(m=a\left)\right);$

按下面的状态上收益期望更新公式进行对当前状态的时间维度收益值期望(即当前状态上的平均收益值)进行更新

$u_m^{t_m}\left(S_m^{t_m}\right)=(1-{\mathrm{\&delta;}}_{t_m})u_m^{t_m-1}\left(S_m^{t_m}\right)+{\mathrm{\&delta;}}_{t_m}\&CenterDot;u_m\left(S_m^{t_m}\right);$

当有新的切换用户到达时，按照第二步到第五步进行网络选择和资源分配。

在仿真中，设定信道状态为其中d_s为用户距基站的距离，单位为米。定义数据速率为b(s_a,θ_a)＝θ_a·s_a，延时数据速率下限B_L＝2，数据速率上限B_U＝10，延时上限D_U＝10，延时下限D_L＝2，资源开销因子及最大分配资源数s_a,max＝4。

在仿真中，服务等级G＝1代表的是速率敏感业务，服务等级G＝2代表延时敏感业务。当服务等级G＝1时，加权因子为ω＝{0.2,0.4,0.2,0.1,0.1}，当服务等级G＝2时，加权因子为ω＝{0.2,0.4,0.2,0.1,0.1}。

图3为当服务等级G＝1，折扣因子β变化时全网收益对比图；图4为当服务等级G＝2，折扣因子β变化时全网收益对比图；图5为当服务等级G＝1，服务回报因子变化时全网收益对比图；图6为当服务等级G＝2，服务回报因子变化时全网收益对比图。其中，曲线a1、a2、a3、a4表示集中式的以最大遍历效用的垂直切换和资源分配算法(简称集中式算法)，曲线b1、b2、b3、b4表示本发明方法，曲线c1、c2、c3、c4表示《国际电子与电气工程师协会车载通信汇刊》(IEEETransactiononVehicularTechnology,vol.57,no.2,pp.1243-1254,2008)中提出的方法(简记为参考算法)，曲线d1、d2、d3、d4表示集中式算法并取折扣因子β＝0(简记为参照算法，表示决策只考虑瞬时收益)。

由图3、图4、图5和图6可以看出，虽然本发明方法中采取的是分布式方法，但与集中式算法的性能十分接近。二者的性能差值在5％以下，这说明了分布式方法的有效性。同时四幅图中，相对于参照算法的曲线(d1，d2，d3，d4)，本方法的曲线(b1，b2，b3，b4)都优于相应的参考算法的曲线(c1，c2，c3，c4)，并且收益值都有较大提高。例如图3中，相对于参照算法d1，当合理配置折扣因子时(如本仿真中取β＝0.8时)，本方法b1所获取的收益增量是参考算法c1的3.5倍。这表明了本方法对于网络收益的改善。对比图3和图4发现，当服务等级G＝1时，最优折扣因子β值在0.8附近，而当服务等级G＝2时，最优折扣因子β值在1.0附近。原因根据效用函数的定义，状态S对延时业务的影响更大，因此需要加大下一个状态回报期望的折扣因子。

Claims (1)

1.一种分布式的垂直切换和资源分配方法，切换用户根据服务质量要求选择目的基站进行接入，目的基站根据网络效益对切换用户进行资源分配，其特征在于：切换决策和资源分配以最大化时间维度上的全网收益为目标，综合根据基站状态、信道状态和移动设备的状态，按照以下五步进行切换决策和资源分配决策：

第一步：基站初始化

记基站m上的状态为S_m，垂直切换决策和资源分配决策为动作A_m；在每个基站上，保存两张查询表：基站在各个状态上的平均收益表和状态转移概率表在每个基站上保存一个表的更新次数值t_m，并在初始化的时候设置更新次数值t_m＝0，对每一组的当前状态转移状态和动作设定各个状态上初始收益值和状态转移概率初始值

定义基站m上的状态S_m＝(X_m,I_c,θ_m,G)，其中X_m是基站m上剩余的资源，包括带宽，功率，处理器处理资源，存储资源，I_c为当前切换用户所在的基站，θ_m为当前切换用户和基站m间的信道状态，G为当前业务的服务等级；

定义基站m上的动作为A_m＝(s_m,I(m＝a))，其中s_m表示基站m为切换用户分配的资源量，a表示切换中选择的目的基站的索引号；I(m＝a)是一个指示函数，I(m＝a)＝0当m≠a，I(m＝a)＝1当m＝a；当I(m＝a)＝0时必然有基站m为切换用户分配的资源满足s_m＝0，即基站m不会给没有选择它作为目的基站的用户分配资源；

第二步：更新状态转移概率

当有一个切换用户到达时，根据信噪比大于基本通信要求门限，确定可接入的候选基站集合；到达的切换用户利用其当前服务基站或者自身的多模接口，向每一个候选基站m汇报当前服务基站索引号I_c、当前业务的服务等级G和到候选基站m的信道状态θ_m；

候选基站m收到切换用户的当前服务基站索引号I_c、服务等级G和信道状态θ_m后，和其当前的剩余资源X_m一起组成了更新次数t_m时更新的状态然后根据下面的状态转移概率更新公式

$P_m^{t_m}\&lsqb;S_m^j|S_m^i,A_m^i\&rsqb;=(1-{\mathrm{\&delta;}}_{t_m})P_m^{t_m-1}\&lsqb;S_m^j|S_m^i,A_m^i\&rsqb;+{\mathrm{\&delta;}}_{t_m}\&CenterDot;I(S_m^j=S_m^{t_m})$

更新状态转移概率，其中临时变量i和j分别是当前状态和转移状态的编号；是更新尺寸序列，满足下面条件

$\underset{t_m=0}{\overset{+\mathrm{\&infin;}}{\&Sigma;}}{\mathrm{\&delta;}}_{t_m}=\mathrm{\&infin;},\underset{t\&RightArrow;\mathrm{\&infin;}}{\lim }{\mathrm{\&delta;}}_{t_m}=0,\underset{t\&RightArrow;\mathrm{\&infin;}}{\lim }\underset{t_m}{\overset{\mathrm{\&infin;}}{\&Sigma;}}{\mathrm{\&delta;}}_{t_m}^2<\mathrm{\&infin;};$

对更新次数t_m进行更新t_m＝t_m+1；

第三步：资源预分配

对每一个候选基站m，执行以下操作；

设定候选基站m上的效用函数为设当前切换用户切入到基站m，则基站m在处于状态时分配给该用户的资源应该满足下面的最优资源分配等式

$s_m^i=\arg \left(max\right\{h_m\left(S_m^i,s_m^i,I\left(m=a^i\right)=1\right)+\underset{\left\{S_m^j\right\}}{\&Sigma;}{P}_m^{t_m-1}\&lsqb;S_m^j|S_m^i,s_m^i,I(m=a^i)=1\&rsqb;u_m^{t_m-1}(S_m^j)\left\}\right)$

计算接收切换用户与不接受切换用户的时间维度的期望收益分别为：

$v_m(S_m^i,I(m=a^i)=1)$ 和 $v_m(S_m^i,I(m=a^i)=0),$ 其表达式分别为：

$v_m(S_m^i,I(m=a^i)=1)=h_m(S_m^i,s_m^i,I(m=a^i)=1)+\mathrm{\&beta;}\underset{\left\{S_m^j\right\}}{\&Sigma;}{P}_m^{t_m-1}\&lsqb;S_m^j|S_m^i,s_m^i,I(m=a^i)=1\&rsqb;u_m^{t_m-1}\left(S_m^j\right)$

$v_m(S_m^i,I(m=a^i)=0)=h_m(S_m^i,s_m^i=0,I(m=a^i)=0)+\mathrm{\&beta;}\underset{\left\{S_m^j\right\}}{\&Sigma;}{P}_m^{t_m-1}\&lsqb;S_m^j|S_m^i,s_m^i=0,I(m=a^i)=0\&rsqb;u_m^{t_m-1}\left(S_m^j\right)$

其中β为折扣因子，且满足0＜β≤1；

第四步：切换目的网络选择

每一个候选基站m将计算出的接收切换用户的时间维度收益的期望和不接收切换用户时间维度收益的期望传输给当前切换用户；切换用户为每一个基站m按照下面的全网收益期望计算公式计算当接入基站m时全网预计收益值

${\mathrm{bid}}_m=\underset{k=1,k\&NotEqual;m}{\overset{M}{\&Sigma;}}{v}_k(S_k,I(k=a)=0)+v_m(S_m,I(m=a)=1),$

其中M为候选基站的个数；目的基站a满足下面的最大化全网收益等式

$a=\arg \left(\underset{m}{max}\right\{{\mathrm{bid}}_m\left\}\right);$

然后切换用户将目的基站选择结果告知所有候选基站；

第五步：状态收益值的更新

各个基站得到切换结果后，计算当前状态时间维度收益期望

$u_m\left(S_m^{t_m}\right)=v_m(S_m^{t_m},I(m=a\left)\right);$

按下面的状态上收益期望更新公式进行对当前状态的时间维度收益值期望进行更新

$u_m^{t_m}\left(S_m^{t_m}\right)=(1-{\mathrm{\&delta;}}_{t_m})u_m^{t_m-1}\left(S_m^{t_m}\right)+{\mathrm{\&delta;}}_{t_m}\&CenterDot;u_m\left(S_m^{t_m}\right);$

当有新的切换用户到达时，按照第二步到第五步进行网络选择和资源分配。