CN101562843B - 异构网络中的网络选择方法 - Google Patents

Abstract

本发明实施例提供一种异构网络中的网络选择方法，包括：通过各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络；通过所述各个决策时刻的接入网络，异构网络获得最大系统收益，所述决策时刻为用户向各网络发送接入请求或离开请求的时刻，所述网络的状态为各网络中可能接入的各类型用户的个数。由于考虑在时间段内各个网络的状态变化的相关性，通过连续多个决策时刻中各决策时刻各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络，使得异构网络在包含所述连续多个决策时刻的决策期间获得最大系统收益。

Description

异构网络中的网络选择方法

技术领域

本发明涉及通信技术领域，尤其涉及一种异构网络中的网络选择方法。

背景技术

目前，随着无线网络技术高速发展，出现了许多新型的无线异构网络，其融合多种无线接入技术，各种无线接入技术相互补，为多媒体用户提供随时随地的最优接入。如图1所示，无线异构网络的无线接入技术，如以蜂窝网络为代表的无线广域网，以WiMAX(World Interoperability for Microwave Access，微波存取全球互通)网络为代表的无线城域网，以及以IEEE 802.11(IEEE制定的一个无线局域网标准)网络为代表的无线局域网等。

提出如下在异构网络中选择网络的方法：

如，在某一时刻，用户请求接入网络，可以根据用户偏好、应用类型等确定各个网络之间的权重，最终为用户选择最优网络作为接入网络；又如，通过一套网络选择和决策过程为网络排序，最终为用户选择最优网络作为接入网络，等等方法。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

上述各种异构网络中网络选择的方法，由于在时间段内，各个网络的状态是可能变化的，而且某一时刻的各个网络的状态变化与上一时刻各个网络的状态有关，所以，如果每次有用户请求接入网络的时刻，都选择最优网络作为用户的接入网络，而没有考虑在时间段内各个网络的状态变化的相关性，可能会导致选择的最优网络不能实现为用户提供最佳效果，异构网络的系统能力不佳。

发明内容

本发明的实施例提供了一种异构网络中的网络选择方法，提高系统收益。

一种异构网络中的网络选择方法，包括

通过各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络；

通过所述各个决策时刻的接入网络，异构网络获得最大系统收益，所述决策时刻为用户向各网络发送接入请求或离开请求的时刻，所述网络的状态为各网络中可能接入的各类型用户的个数。

由上述本发明的实施例提供的技术方案可以看出，由于考虑在时间段内各个网络的状态变化的相关性，通过连续多个决策时刻中各决策时刻各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络，使得异构网络在包含所述连续多个决策时刻的决策期间获得最大系统收益。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中异构网络构成示意图；

图2为本发明实施例异构网络中的网络选择方法的流程图一；

图3为本发明实施例异构网络中的网络选择方法的流程图二；

图4为本发明实施例异构网络中的网络选择方法的流程图三。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的异构网络中网络选择的方法，没有考虑在时间段内各个网络的状态变化的相关性，会导致选择的最优网络不能实现为用户提供最佳效果。

本发明实施例提供一种异构网络中的网络选择方法，通过各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络，以使异构网络获得最大系统收益，所述决策时刻为用户向各网络发送接入请求或离开请求的时刻，所述网络的状态为各网络中可能接入的各类型用户的个数。

而且，现有的各种异构网络中网络选择的方法，由于主要考虑网络层的QoS(Quality of Service，服务质量)，例如阻塞概率、效用等，来确定用户请求接入网络时刻的最优网络，而都忽略了应用层的QoS，使得为用户选择的接入网络不能为用户提供很好的体验效果。

进一步地，本发明实施例提供的异构网络中的网络选择方法，由于从用户体验的角度，应用层的QoS在目前网络中非常有前景，尤其是应用层层视频失真及接入价格，所以，通过对网络优化应用层层视频失真及接入价格，获得最大系统收益，如获得最优视频失真和最佳接入价格的平衡。

具体地，本发明实施例提供的异构网络中的网络选择方法，考虑在时间段内各个网络的状态变化的相关性，将网络选择问题以可变状态模型(Restless Bandits)以及原始-双重(Primal-Dual)启发式算法得以解决，极大减小计算复杂度。

Restless Bandits可以理解为，在时间段内，N个对象中的M个为活跃对象，而这所有N个对象的状态都可以改变，在某一时刻，每个对象都可能获得收益。进一步，给出了Restless Bandits的一种启发式的Primal-Dual算法，可以称为Restless Bandits的索引特性，即在某一时刻对象是否为活跃对象，是根据其索引值确定的，其索引值是通过对象的状态、状态转移概率和收益等通过线性规划松弛计算得到的，可以极大减小计算复杂度。

如图2所示，如下，具体介绍本发明实施例的一种异构网络中的网络选择方法，包括：

步骤10：通过各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络；

步骤20：通过所述各个决策时刻的接入网络，异构网络获得最大系统收益，所述决策时刻为用户向各网络发送接入请求或离开请求的时刻，所述网络的状态为各网络中可能接入的各类型用户的个数。

所述各网络在各状态的收益为各网络应用层为用户提供的服务质量QoS的收益。而且，所述应用层QoS可以包括应用层视频失真及接入价格。

如图3所示，进一步，通过连续多个决策时刻中各决策时刻各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络的步骤10，包括：

步骤101：将各网络在各状态的收益、状态转移概率和状态概率向量进行线性规划松弛计算，得到各网络在各状态的索引值；

步骤102：根据所述各网络在决策时刻的状态，得到对应的索引值，将所述索引值最小的网络作为接入网络。

这里，可以根据所述各网络应用层为用户提供的服务质量QoS为用户划分类型。

上述步骤101中各网络在各状态的转移概率及状态概率向量，可以如下方式获得：

根据所述各网络的所有状态得到所述各网络的状态空间；

根据所述各网络的状态空间按照马尔科夫链进行状态转移，得到所述各网络的各状态转移概率；

根据所述所有网络中所有状态的概率，得到各网络在各状态的状态概率向量。

值得注意的是，某网络在某一状态的状态概率向量，是根据所有网络中所有状态的概率得到的向量，即由所有网络处于第一种可能状态的概率、处于第二种可能状态的概率……处于最后一种可能状态的概率组成的向量。原因在于，异构网络中的网络选择方法，并行对多个网络进行计算，以为用户选择一个网络接入，即在某一时刻，某网络处于某一状态，而其他网络可能处于任何可能的状态，这样，需要根据所有网络中所有状态的概率得到各网络的状态概率向量。

而且，在为用户选择网络时，可以根据各网络在决策时刻的状态(即各网络在决策时刻的状态概率)，得到状态概率向量，并通过状态概率向量得到对应的索引值，将所述索引值最小的网络作为接入网络，具体见后文叙述。

另外，进一步，还可以通过所述各网络的各状态转移概率得到各网络的状态转移概率矩阵。

具体而言，所述应用层QoS可以包括：应用层视频失真及接入价格，而且，上述步骤102中各网络在各状态的收益，可以这样获得：

根据源编码速率和丢包率，优化各网络的视频编码内刷新率；

通过各网络的视频编码内刷新率获得最小应用层视频失真；

根据所述最小应用层视频失真及各网络的接入价格，得到所述各网络在各状态的收益。

所述应用层视频失真为发送视频与接收解码视频之间的均方误差。

由于各网络状态的时变特性，一般可以采用自适应动态调节视频编码内刷新率来得到最小应用层视频失真，获得最优视频失真和最佳接入价格的平衡收益。

在将各网络在各状态的收益、状态转移概率和状态概率向量进行线性规划松弛计算，得到各网络在各状态的索引值的步骤101之后，可以为所述各网络分别存储各自的索引值表，所述索引值表，可以包括：所述索引值与状态转移概率、收益以及状态概率向量的对应关系。

如图4所示，进一步，根据所述各网络在决策时刻的状态，得到对应的索引值，将所述索引值最小的网络作为接入网络的步骤102，包括：

步骤1021根据在决策时刻是否有用户到达或离开网络，分别确定所述各网络在决策时刻的状态，并通知给其他各网络；

步骤1022：根据所述各网络在决策时刻的状态，得到所述各网络在决策时刻的各所述状态概率向量；这是因为在且仅在决策时刻，网络的状态发生改变。

步骤1023：根据各所述状态概率向量，从所述各网络的索引值表中分别确定所述各网络决策时刻状态对应的索引值，并通知给其他各网络；

步骤1024：选择所述索引值最小的网络作为下一决策时刻用户的接入网络。

也就是，在每个决策时刻，将索引值最小的那个网络被设为接入网络，其他网络为非接入网络。在下一个决策时刻，如果有新的用户到达，则接入接纳此新用户；如果有用户离开网络，则只需相应的网络进行用户离网的相关操作。

下面说明上述网络选择方法的各步骤中涉及的计算参数及模型：

简单地对使用的符号进行说明：

网络编号为n；

网络总数为N；

接入网络的编号为n_a；

用户编号为u；

源编码速率为H_S；

网络丢包率为ψ；

内刷新率为ξ；

最优内刷新率为ξ^*；

视频失真为D；

最小视频失真为D^*；

动作为a，就是在当前决策时刻所做出的网络选择，即选择一个接入网络；

策略为A，就是多个决策时刻的动作的集合；

网络n在状态i、动作a时的收益为R_n，l ^a；

网络n的接纳控制集合为S_n；

网络n从状态i到状态j的转移概率为

折扣因子为β，为常量系数；

状态概率向量为α；

网络n在状态i时的索引值为

决策时刻为t_k；

用户类型编号为l；

用户类型总数为L；

1、状态空间：

各网络的状态空间用于表示各网络的所有可能的状态，而所有可能的状态都可以包含在接纳控制集合S_n，所以可以参考文献，Y.Kuo，C.Lu，E.Wu，and G.Chen，“Anadmission control strategy for differentiated services in IEEE 802.11.”inProc.IEEE Globecom’03，(San Francisco，CA)，pp.707-712，Dec.2003.(IEEE802.11区分服务的一种接纳控制策略，全球通信大会论文集，(美国加利福尼亚州旧金山市)，第707-712页，2003年12月)。

H.Zhu and I.Chlamtac，“A call admission and rate control scheme formultimedia support over IEEE 802.11 wireless LANs，”Wireless.Netw.，vol.12，pp.451-463，July 2006.(IEEE 802.11无线局域网中支持多媒体的一种呼叫接纳和速率控制方法，无线网络，第12卷第451-463页，2006年7月)。

IEEE Std.802.16-2004，“IEEE standard for local and metropolitan areanetworks，part 16：Air interface for fixed broadband wireless accesssystems，”Oct.2004.(IEEE局域和城域网标准，第16部分：固定宽带无线接入系统的空中接口，2004年10月)。

Q.Liu，S.Zhou，and G.B.Giannakis，“Queuing with adaptive modulationand coding over wireless links：Cross-layer analysis and design，”IEEETrans.Wireless Commun.，vol.4，no.3，pp.1142-1153，May 2005.(无线链路的自适应编码调制排队：跨层分析和设计，IEEE无线通信汇刊，第4卷第3期第1142-1153页，2005年5月)。

A.I.Elwalid and D.Mitra，“Effective bandwidth of general Markoviantraffic sources and admission control of high speed networks，”IEEE/ACMTrans.Netw.，vol.1，no.3，pp.329-343，Jun.1993.(高速网络中一般马尔科夫流量源和接纳控制的有效带宽，IEEE/ACM网络汇刊，第1卷第3期第329-343页，1993年6月)。

H.Holma and A.Toskala，WCDMA for UMTS：Radio Access for ThirdGeneration Mobile Communications.NY：Wiley，2004.(UMTS中的WCDMA：第三代移动通信的无线接入，纽约Wiley出版社，2004年。)

可以得到，无线局域网的接纳控制集合为：

$S_n=\{g\left(n\right)\∈Z_{+}^J:B^l\left(n\right)\≥{\mathrm{TB}}^l\left(n\right),E^l\left(n\right)\≤{\mathrm{TE}}^l\left(n\right)\},$ 其中B^l(n)≥TB^l(n)表示对于网络n中的用户类型为l的业务的吞吐量的约束，E^l(n)≤TE^l(n)表示对于网络n中的用户类型为l的业务的时延的约束。

微波存取全球互通WiMAX网络的接纳控制集合为： $S_n=\{g\left(n\right)\∈Z_{+}^J:\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{U}^l\left(n\right)W^l\left(n\right)\≤C\left(n\right)\},$ 其中U^l(n)是WiMAX网络n中用户类型为l的用户的个数，W^l(n)是网络n中用户类型为l的用户所占用的带宽，C(n)是WiMAX的网络容量。

蜂窝网络的接纳控制集合为：

$S_n=\{g_n\∈Z_{+}^J:P_T\≤P_T^{\mathrm{MAX}}\},$ 其中P_T ^MAX是基站可提供的最大功率，P_T是基站保证QoS时的发射功率最小值。

2、状态转移概率

设在决策时刻t_k，网络n中类型为l的用户数为U^l(n，t_k)。定义决策时刻t_k时网络n的状态为s(n，t_k)＝[U^l(n，t_k)]_{l∈{1，2，L，L}}，其中L为用户类型的总数。因此网络n的状态空间为接纳控制集合S_n。网络n在动作a的作用下按照马尔科夫链进行状态转移，从状态 $s_i\left(n\right)={\left[u_i^l\left(n\right)\right]}_{l\∈\{\mathrm{1,2},L,L\}}$ 转移到状态 $s_j\left(n\right)={\left[u_j^l\left(n\right)\right]}_{l\∈\{\mathrm{1,2},L,L\}}$ 的概率是p_i，j ^a(n)。把两个决策时刻间的时间间隔的平均值定义为τ_i＝E(t_k+1-t_k|s_i(n，t_k))，也就是总的事件速率的倒数：

${\mathrm{\τ}}_i={(\mathrm{\υ}+\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{U}_i^l\left(n\right){\mathrm{\μ}}^l)}^{-1}$

这样，可以通过状态转移概率

获得状态转移概率矩阵

把在采用动作a时的网络n的状态转移概率矩阵定义为 $P^a\left(n\right)={\left[p_{i,j}^a\left(n\right)\right]}_{S\left(n\right)\×S\left(n\right)},$ 其中S(n)为网络n的所有可能状态总数。用χ(l)，1≤l≤L表示第l个元素为1、其余l-1各元素为0的共有L个元素的行向量，则采用动作a时的网络n从状态i到状态j的转移概率为

其中ζ(x)定义为

3、应用层的视频失真D：

可以通过仿真获得所述各网络的内刷新率ξ(即视频编码内刷新率)及其对应的视频失真D(即应用层视频失真)，进而通过最优的内刷新率ξ^*得到最小视频失真D^*；还可以，通过源编码速率H_S和丢包率ψ，获得最优的内刷新率ξ^*，进而得到最小视频失真D^*。

视频失真D也就是发送视频与接收解码视频之间的均方误差。

视频失真D包括两部分，其一为量化视频失真(源视频失真)，由视频编码器引入，只要视频数据速率有限，量化视频失真就一定存在；另一为信道视频失真，为信道差错引入。

源视频失真由下式给出：

D_S(H_S，ξ)＝D_S(H_S，0)+ξ(1-η+ηξ)[D_S(H_S，1)-D_S(H_S，0)]

其中H_S为源编码速率，ξ为内刷新率，η为由多媒体序列特征决定的常数。D_S(H_S，0)和D_S(H_S，1)分别是时间平均的全内/间编码模式选择，定义如下：

$D_S(H_S,0)=\frac{1}{T}\underset{k=0}{\overset{T-1}{\mathrm{\Σ}}}\frac{1}{Y_k}\underset{y=1}{\overset{Y_k}{\mathrm{\Σ}}}{D}_S(H_S,0,y),$

$D_S(H_S,1)=\frac{1}{T}\underset{k=0}{\overset{T-1}{\mathrm{\Σ}}}\frac{1}{Y_k}\underset{y=1}{\overset{Y_k}{\mathrm{\Σ}}}{D}_S(H_S,1,y),$

其中Y_k为在时间段t_k内的间/内帧个数。

信道视频失真由下式给出：

$D_C(\mathrm{\ψ},\mathrm{\ξ})=\left(\frac{{\mathrm{\Ω}}_1}{1-{\mathrm{\Ω}}_2+{\mathrm{\Ω}}_2\mathrm{\ξ}}\right)\left(\frac{\mathrm{\ψ}}{1-\mathrm{\ψ}}\right)E\left[F_d(y,y-1)\right]$

其中ψ为丢包率，Ω₁为编码滤波器的能量损失率，Ω₂为由多媒体文件内容运动随机性决定的常数，E[F_d(y，y-1)]为帧间差距F_d(y，y-1)在时间段上的的平均值。

由上述的源视频失真和信道视频失真表达式可以得到视频失真D为：

D(H_S，ψ，ξ)＝D_S(H_S，ξ)+D_C(ψ，ξ)。则为了最小化视频失真，最优的内刷新率ξ^*为

${\mathrm{\ξ}}^{*}=\arg \underset{\mathrm{\ξ}}{\min }D(H_S,\mathrm{\ψ},\mathrm{\ξ})$

一般采用自适应动态内刷新率ξ来达到实时最小视频失真D。

4、收益R^a(n)：

示例性的，以R′_u(t_k)为时刻t_k用户u的收益为例：

R′_u(D(u)，B(u))＝[-c₁ lg(D(u))-c₂ B(u)+c₃]τ_i

其中D(u)是用户u的视频失真，B(u)是用户u需要付的接入价格，这个接入价格是与为其提供接入服务的网络有关的，不赘述。c₁≥0，c₂≥0和c₃为常量系数。通过调节c₁，c₂和c₃可以达到视频失真和接入价格的平衡。

则收益R^a(n)为采用动作a后网络中所有用户的R′_u(t_k)的总和。

这样，系统收益，可以：

$Z=\underset{k=0}{\overset{T-1}{\mathrm{\Σ}}}\underset{u=1}{\overset{U\left(t_k\right)}{\mathrm{\Σ}}}{\mathrm{\β}}^{T-k-1}{R^{\′}}_u\left(t_k\right)$

其中T为所讨论的决策时刻总个数。

由上所述，可以知道，由于考虑在时间段内各个网络的状态变化的相关性，通过连续多个决策时刻中各决策时刻各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络，使得异构网络在包含所述连续多个决策时刻的决策期间获得最大系统收益。

而且，由于从用户体验的角度，应用层的QoS在目前网络中非常有前景，所以，根据各网络应用层为用户提供的服务质量QoS优化各网络在各状态的收益，提高了用户的体验效果。

下面，参考P.Whittle，“Restless bandits：activity allocation in achanging world，”in A Celebration of Applied Probability(J.Gani，ed.)，vol.25 of J.Appl.Probab.，pp.287-298，Applied Probability Trust，1988.(状态可变的赌博机：变化的世界中的活跃分配，1988年应用概率学学报，25卷第287-298页)，以及D.Berstimas and J.

o-Mora，“Restless bandits，linearprogramming relaxations，and a primal-dual index heuristic，”OperationsResearch，vol.48，no.1，pp.80-90，2000.(状态可变的赌博机、线性规划、松弛和原始-双重索引启发式算法，运筹学，48卷第80-90页)。

网络选择方法通过可变状态模型(Restless Bandits)得以解决。

为了解决Restless Bandits问题，首先需要基于马尔科夫决策链(Markov DecisionChain，MDC)的线性规划(Linear Programming，LP)的建模，给定一系列的越来越紧的线性规划松弛。

首先，引入I_j ^a(t_k)，其定义为：如果在决策时刻t_k，网络的动作为a，状态为j，则 $I_j^a\left(t_k\right)=1.$ 否则 $I_j^a\left(t_k\right)=0.$ 有了这个I_j ^a(t_k)，令

$x_j^a\left(A\right)=E_A\left[\underset{k=0}{\overset{T-1}{\mathrm{\Σ}}}{I}_j^a\left(t_k\right){\mathrm{\β}}^{t_k}\right]---\left(1\right)$

表示使用策略A、状态为j、动作为a时，总的折扣时间。用D＝{(i，a)：i∈S，a∈A}表示状态-动作空间，系统收益可以写作：

$Z^{*}=\underset{A\∈A}{\max }\underset{(i,a)\∈D}{\mathrm{\Σ}}{R}_{i_n}^a{x}_i^a\left(A\right),---\left(2\right)$

其中

为网络n在状态i_n、动作a时的收益。对于A∈A，引入性能向量 $x\left(A\right)={\left(x_j^a\left(A\right)\right)}_{j\∈S,A\∈A}.$ 于是可以重写式(2)： $Z^{*}=\underset{x\∈X}{\max }\underset{(i,a)\∈D}{\mathrm{\Σ}}{R}_{i_n}^a{x}_i^a,$ 其中X＝{x(u)，u∈U}。可以把式(1)分解为两个动作：

$x_j^1\left(A\right)=E_A\left[\underset{k=0}{\overset{T-1}{\mathrm{\Σ}}}{I}_j^1\left(t_k\right){\mathrm{\β}}^{t_k}\right],$

$x_j^0\left(A\right)=E_A\left[\underset{k=0}{\overset{T-1}{\mathrm{\Σ}}}{I}_j^0\left(t_k\right){\mathrm{\β}}^{t_k}\right],$

因此Restless  Bandits问题可以转换成线性规划问题： $Z^{*}=\underset{x\∈X}{\max }\underset{n\∈\{\mathrm{1,2},L,N\}}{\mathrm{\Σ}}\underset{i_n\∈S}{\mathrm{\Σ}}\underset{a_n\∈\left\{\mathrm{0,1}\right\}}{\mathrm{\Σ}}{R}_{i_n}^{a_n}{x}_i^{a_n},$ 其中 $X=\{x={\left(x_{i_n}^{a_n}\left(A\right)\right)}_{i_n\∈S_n,a_n\∈\left\{\mathrm{0,1}\right\},n\∈\{\mathrm{1,2},...,N\}}|A\∈A\}.$

解此问题的方法是构建一个多项的X，是线性规划的松弛。用 $\hat{X}\⊇X$ 表示这个松弛，不是在原始变量x_i ^a的空间上，而是在更高维的空间上，包含了新的辅助变量。

于是，这个一阶松弛可以表示为一个线性规划：

$Z^1=\max \underset{n\∈\{\mathrm{1,2},...,N\}}{\mathrm{\Σ}}\underset{i_n\∈S_n}{\mathrm{\Σ}}\underset{a_n\∈\left\{\mathrm{0,1}\right\}}{\mathrm{\Σ}}{R}_{i_n}^{a_n}{x}_{i_n}^{a_n}$

subject to，

$x_n\∈Q_n^1,n\∈\{12,...,N\},$

$\underset{n\∈\{\mathrm{1,2},...,N\}}{\mathrm{\Σ}}\underset{i_n\∈S_n}{\mathrm{\Σ}}{x}_{i_n}^1=\frac{M}{1-\mathrm{\β}}.---\left(3\right)$

此线性规划中，共有O(N|S_max|)个变量和O(N|S_max|)个限制条件。其中

$\left|S_{\max }\right|=\underset{n\∈\{\mathrm{1,2},L,N\}}{\max }\left|S_n\right|$ 为多项式的大小。

式(3)的Dual(双重)为：

$D^1=\max \underset{n\∈\{\mathrm{1,2},...,N\}}{\mathrm{\Σ}}\underset{j_n\∈S_n}{\mathrm{\Σ}}{\mathrm{\α}}_{j_n}{\mathrm{\λ}}_{j_n}+\frac{M}{1-\mathrm{\β}}\mathrm{\λ},$

subject to，

${\mathrm{\λ}}_{i_n}-\mathrm{\β}\underset{j_n\∈S_n}{\mathrm{\Σ}}{p}_{i_n{j}_n}^0{\mathrm{\λ}}_{j_n}\≥R_{i_n}^0,i_n\∈S_n,n=1,...N,$

${\mathrm{\λ}}_{i_n}-\mathrm{\β}\underset{j_n\∈S_n}{\mathrm{\Σ}}{p}_{i_n{j}_n}^1{\mathrm{\λ}}_{j_n}\≥R_{i_n}^1,i_n\∈S_n,n=1,...N,$

λ≥0.    (4)

令和

表示这个一阶松弛(式(3))和其Dual(式(4))的一对最优Primal和Dual解(原始-双重)。令

表示相应的最优代价系数：

${\stackrel{\‾}{\mathrm{\γ}}}_{i_0}^0={\stackrel{\‾}{\mathrm{\λ}}}_{i_n}-\mathrm{\β}\underset{j_n\∈S_n}{\mathrm{\Σ}}{p}_{i_n{j}_n}^0{\stackrel{\‾}{\mathrm{\λ}}}_{j_n}-R_{i_n}^0,$

${\stackrel{\‾}{\mathrm{\γ}}}_{i_n}^1={\stackrel{\‾}{\mathrm{\λ}}}_{i_n}-\mathrm{\β}\underset{j_n\∈S_n}{\mathrm{\Σ}}{p}_{i_n{j}_n}^1{\stackrel{\‾}{\mathrm{\λ}}}_{j_n}-R_{i_n}^1,---\left(5\right)$

和

都必须是非负的。此外，

和

还分别表示为每个单位中，式(3)的线性规划的目标值和的减小的速率。

由网络n，n∈N的状态转移概率定义一个有向图：G_n＝(S_n，A_n)，其中， $A_n=\left\{(i_n,j_n)\right|p_{i_n{j}_n}^0>0,p_{i_n{j}_n}^0>0,i_n{j}_n\∈S_n\}.$ 根据式(5)计算的代价系数，网络n在状态i_n下的索引值定义为 ${\mathrm{\δ}}_{i_n}={\stackrel{\‾}{\mathrm{\γ}}}_{i_n}^1-{\stackrel{\‾}{\mathrm{\γ}}}_{i_n}^0.$

优先级-索引值的方法规则就是将所有网络中具有最小索引值的网络作为用户接入的网络。

实施例一

下面具体结合图1-4，详细说明本发明实施例异构网络中的网络选择方法，其中，省略了异构网络中的每个网络如何获得其所有状态的索引值表的过程，主要说明决策时刻的状态下，如何确定每个网络中的接入网络：

每个网络将其决策时刻的状态i_n共享给其他的所有网络；

每个网络根据各网络的状态i_n得到自己的状态概率向量α；

每个网络根据其状态概率向量α查其索引值表，确定对应的索引值

并共享其索引值

给其他的所有网络。

每个网络按照从小到大的顺序排列所有的索引值

如果自己的索引值处在第一位，则将自己设为接入网络，在下一决策时刻，可以接入用户；

在下一决策时刻，希望到达网络或希望离开网络的用户向异构网络中的每个网络发送请求；

如果有用户希望到达网络，且当前接入网络n_a(通过索引值排序，得到网络n_a的索引值最小)按照其接纳控制方案

可以接纳新用户时，则网络n_a接纳新用户，这时，由于有新用户达到该网络n_a，网络n_a的状态发生变化，网络n_a需要更新其状态，以为查找新的对应索引值；

如果有用户希望到达网络n_a，但当前接入网络n_a按照其接纳控制方案

不能接纳新用户时，则新用户被拒绝接入。

如果有用户希望离开网络n_a，则进行用户离网操作，由于有用户离开该网络n_a，更新网络n_a的状态，以为查找新的对应索引值。

由于考虑在时间段内各个网络的状态变化的相关性，通过连续多个决策时刻中各决策时刻各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络，使得异构网络在包含所述连续多个决策时刻的决策期间获得最大系统收益；

而且，由于从用户体验的角度，应用层的QoS在目前网络中非常有前景，所以，根据各网络应用层为用户提供的服务质量QoS优化各网络在各状态的收益，提高了用户的体验效果；

还有，考虑在时间段内各个网络的状态变化的相关性，将网络选择问题以可变状态模型(Restless Bandits)以及原始-双重(Primal-Dual)启发式算法得以解决，极大减小计算复杂度；

该异构网络中的网络选择方法，在松耦合、紧耦合下都可以适用。

松耦合、紧耦合可以如是理解：如图1所示，在使用松耦合的异构网络中，来自作为补充的网络的数据流直接流向核心IP网，而与蜂窝网之间只有信令交互；在使用紧耦合的异构网络中，作为补充的网络与蜂窝网直接通信，共享用户数据库等信息。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种异构网络中的网络选择方法，其特征在于，包括：

通过各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络；

通过所述各个决策时刻的接入网络，异构网络获得最大系统收益，所述决策时刻为用户向各网络发送接入请求或离开请求的时刻，所述网络的状态为各网络中可能接入的各类型用户的个数；

通过各网络在各状态的收益、状态转移概率和状态概率向量，确定在各个决策时刻的接入网络，包括：

将各网络在各状态的收益、状态转移概率和状态概率向量进行线性规划松弛计算，得到各网络在各状态的索引值；

根据所述各网络在决策时刻的状态，得到对应的索引值，将所述索引值最小的网络作为接入网络。

2.根据权利要求1所述的网络选择方法，其特征在于，所述各网络在各状态的收益为各网络应用层为用户提供的服务质量QoS的收益。

3.根据权利要求2所述的网络选择方法，其特征在于，所述各网络应用层为用户提供的QoS包括应用层视频失真及接入价格。

4.根据权利要求1所述的网络选择方法，其特征在于，所述方法，还包括：

根据所述各网络应用层为用户提供的QoS为用户划分类型；

根据所述各网络的所有状态得到所述各网络的状态空间；

根据所述各网络的状态空间按照马尔科夫链进行状态转移，得到所述各网络的各状态转移概率；

根据所述所有网络中所有状态的概率，得到各网络在各状态的状态概率向量。

5.根据权利要求3所述的网络选择方法，其特征在于，所述方法，还包括：根据源编码速率和丢包率，优化各网络的视频编码内刷新率；

通过各网络的视频编码内刷新率获得最小应用层视频失真；

根据所述最小应用层视频失真及各网络的接入价格，得到所述各网络在各状态的收益。

6.根据权利要求1所述的网络选择方法，其特征在于，所述方法还包括：将各网络在各状态的收益、状态转移概率和状态概率向量进行线性规划松弛计算，得到各网络在各状态的索引值之后，为所述各网络分别存储各自的索引值表，所述索引值表包括：所述索引值与状态转移概率、收益以及状态概率向量的对应关系。

7.根据权利要求1所述的网络选择方法，其特征在于，根据所述各网络在决策时刻的状态，得到对应的索引值，将所述索引值最小的网络作为接入网络，包括：

根据在决策时刻是否有用户到达或离开网络，分别确定所述各网络在决策时刻的状态，并通知给其他各网络；

根据所述各网络在决策时刻的状态，得到所述各网络在决策时刻的各所述状态概率向量；

根据各所述状态概率向量，从所述各网络的索引值表中分别确定所述各网络决策时刻状态对应的索引值，并通知给其他各网络；

选择所述索引值最小的网络作为下一决策时刻用户的接入网络。

8.根据权利要求3或5所述的网络选择方法，其特征在于，所述应用层视频失真为发送视频与接收解码视频之间的均方误差。

Images