CN103281753A - 一种基于隐马尔科夫模型的接入网络选择装置及方法 - Google Patents

Abstract

本发明公开了一种基于隐马尔科夫模型的接入网络选择装置及方法，属于无线通信技术领域。本发明基于用户业务特性敏感需求及网络状态特性，对异构无线网络共同覆盖区域用户执行优化接入网络选择，从而实现用户的服务质量（QoS）保障及网络性能优化。具体地，根据用户应用状态和使用偏好分析确定业务敏感参量，构建用户业务需求矢量；根据用户历史数据及当前网络状态信息对各接入网络进行隐马尔科夫模型建模，根据当前用户需求、网络属性信息及网络状态转移模型，优化确定用户接入网络。本发明支持网络集成模式，适用于异构无线网络环境，可有效实现基于网络稳态信息及用户业务需求自适应、智能化网络接入。

Description

一种基于隐马尔科夫模型的接入网络选择装置及方法

技术领域

本发明涉及异构通信领域技术，尤其涉及异构接入网络选择的管理方法。

背景技术

随着无线通信技术的快速发展及终端移动应用的迅速普及，下一代无线网络将支持包括蜂窝网络、无线局域网（WLAN）、全球微波互联接入（WiMAX）等多种无线接入技术的融合共存，具有多模接口的用户设备可在不同接入技术之间执行无缝切换，以实现用户业务连续性及优质业务体验。在多种接入网络共存的场景下，用户终端应根据网络状态特性及应用业务需求，选择接入最优网络。然而，接入网络的异构性、用户业务需求的复杂多样性及用户终端的异构混杂性，均对异构网络的接入选择提出新的挑战。如何综合考虑异构接入网络特性及用户业务需求，设计合理高效的接入网络选择算法，是亟待解决的问题。

文献[H.Y.Cui,Q.J.Yan,Y.L.Cai,Y.Gao,L.Wun.Heterogeneous NetworkSelection Using A Novel Multi-Attribute Decision Method.CHIANCOM.2008.153～157]提出WLAN与WiMAX的融合场景中基于层次多属性网络决策的网络选择算法，根据用户的服务质量（QoS）及业务类型对网络属性不同需求层次，实现接入网络的优化选择。文献[C.J.Chang,T.L.Tsai and Y.H.Chen.Utility And Game-theory Based Network Selection Scheme In HeterogeneousWireless Networks.WCNC2009.1～5.]提出基于效用函数及博弈理论的异构无线网络选择机制，通过构建合作博弈模型，评估网络性能联合效用，选择对应效用最大化的目标网络。

文献[徐明海，顾海，一种基于异构网络融合网络的网路选择方法，公开号102238682，公开日2011年11月9日]提出一种基于异构网络融合网络的网络选择方法，在用户成功接入网络后，通过判断业务类型和通信对端的类别触发网络选择类型。文献[俞一帆，白勇，陈岚，在异构无线网络中选择网络的方法和装置，公开号101287280，公开日2008年10月15日]提出异构无线网络中选择网络的方法和装置，通过建模各网络的效用函数，并结合用户及网络的属性权重向量，评估各网络的综合效用值，从而选取最终候选网络。

以上研究主要基于网络当前状态特性，结合用户业务需求，实现接入网络选择，但由于用户业务体验及接入网络性能是受多种因素共同影响的复杂系统问题，基于博弈理论及效用函数建模无法综合体现网络稳态特性。本发明基于隐马尔科夫模型网络理论实现网络状态建模及接入网络优化选择，从而可较全面体现网络稳态特性，并结合网络历史信息及当前状态实现优化接入网络选择。该方法可通过相应网络侧及用户侧的网络选择装置实现，网络侧网络选择装置根据各接入网络特性、用户终端特性及业务需求，选择最佳接入网络；用户侧的业务感知模块感知用户业务需求，输出至网络侧装置，与网络状态特性共同作为网络选择参考依据。

发明内容

为解决现有接入网络选择技术中存在的上述问题，本发明针对异构网络融合技术支持面向用户需求、网络状态智能、自适应网络接入应用需求而提出，提供了一种基于隐马尔科夫模型的接入网络选择装置及方法。根据终端特性、应用需求及网络历史及当前状态信息实现优化接入网络选择，以实现用户服务质量（QoS）保障及网络综合性能优化。

本发明解决其技术问题所采用的技术方案包括：用户侧增加业务感知模块；网络侧增加基于隐马尔科夫模型的接入网络选择装置，根据业务感知模块定向输入敏感参量需求信息，通过异构网络选择装置建模网络历史状态，根据用户业务特性及网络历史及当前信息，实现对异构无线网络的优化选择。

1．业务感知模块：读取终端用户业务需求特性敏感信息，包括当前业务需求的带宽、时延、丢包率、吞吐量及服务费用等，用户根据业务需求更新相应信息，通过信息交互平台与用户需求模块的交互，实现对移动终端特性信息收集；

2.用户需求模块：感知获取用户业务特性，分析业务对接入网络性能需求，为网络状态模块提供用户观察序列矩阵；

3.网络属性模块：通过信息交互平台获取网络信息，根据监测到的各接入网的物理层、数据链路层、传输层及网络层的状态参数建立归一化网络属性矩阵；

4．网络状态模块：接收来自用户需求模块和网络属性模块的数据，根据用户观察序列矩阵、网络属性矩阵建立隐马尔科夫模型参量集，通过对多个用户的观察序列矩阵训练得到多属性联合观察概率及网络初始概率参量，将网络转移概率及网络初始概率参量输出至网络选择决策模块；

5.网络选择决策模块：对网络间转移概率及网络初始概率参量进行Viterbi译码选择最优接入网络，同时反馈给信息交互平台指导进行网络切换工作；

6.信息交互平台：与用户终端及接入网络交互，接收来自网络选择平台的接入网络决策信息，触发用户终端接入网络。

具体算法实现过程如下：

1.网络属性模块建立网络属性为有限维联合状态，具体为：记

表示t时刻网络m中第n个属性参量值，

其中

及

分别为网络m中第n个属性的最小值及最大值，选取

表示第m个网络第n个属性的状态数目，1≤i≤l_mn，l_mn为常数。划分

的取值空间为:

若则t时刻网络m中第n个属性处于i状态，记

根据

可定义归一化网络属性矩阵。网络属性矩阵 $B^t={\left[b_{\mathrm{mn}}^t\right]}_{M\×N}=\left[\begin{array}{cccc}{b}_{11}^t& b_{12}^t& \·\·\·& b_{1N}^t\\ b_{21}^t& b_{22}^t& \·\·\·& b_{2N}^t\\ & & \·\·\·& \\ b_{M1}^t& b_{M2}^t& \·\·\·& B_{\mathrm{MN}}^t\end{array}\right],$ 其中

表示t时刻网络m中第n个属性初始参量值。归一化网络属性概率矩阵R^t可通过对矩阵B^t进行归一化得到，具体方法如下：

（1）各网络同属性归一化

记 $b_n^{t,\max }=\underset{m}{\max }\left(b_{\mathrm{mn}}^t\right),$ $b_n^{t,\min }=\underset{m}{\min }\left(b_{\mathrm{mn}}^t\right),$ 1≤m≤M，

表示t时刻网络m中第n个属性的列归一化参量值。对于有益性能参数，如网络可用带宽、接收信号强度等，t时刻网络m中第n个属性的列归一化参量为：对于代价性能参数，如连接时延、丢包率等，t时刻网络m中第n个属性列归一化参量值为： $t_{\mathrm{mn}}^t=\frac{b_n^{t,\min }+b_n^{t,\max }-b_{\mathrm{mn}}^t}{b_n^{t,\min }+b_n^{t,\max }}.$

（2）同网络多属性归一化

根据公式

对网络属性矩阵中各行进行行归一化，

表示t时刻网络m中第n个属性行归一化参量值，根据公式建立归一化网络属性概率矩阵；

2.根据当前接入网络数量M、各网络可观察状态属性数量N、网络间状态转移概率矩阵

（其中

表示用户从网络m₁转移至网络m₂的概率，1≤m₁,m₂≤M）、归一化网络属性概率矩阵R^t、各网络状态初始概率矩π建立隐马尔科夫模型参量集λ=(M,N,A,R^t,π)；

3.网络选择决策模块根据给定的网络状态转移矩阵A，网络状态初始概率矩阵π，用户在t=T-1时刻的接入网络m₁，根据t=T时刻归一化网络属性概率矩阵R^T及用户s业务需求矢量

根据公式

确定T时刻用户s在网络m中的多属性联合观察概率。

4.采用Viterbi译码算法，计算t=T时刻，该用户最优接入网络为 $m_2^{*}=\underset{1\≤m_2\≤M}{\arg \max }\left[a_{m_1{m}_2}{p}_{{\mathrm{sm}}_2}^T\right].$

本发明还提出一种基于隐马尔科夫模型的接入网络选择方法，具体包括：业务感知模块读取终端用户业务需求特性敏感信息，通过信息交互平台与用户需求模块交互，实现对移动终端特性信息收集；用户需求模块感知获取用户业务特性，为网络状态模块提供用户观察序列矩阵；网络属性模块信息交互平台获取网络信息，根据各接入网的物理层、数据链路层、传输层及网络层的状态参数建立归一化网络属性矩阵；网络状态模块根据用户观察序列矩阵、归一化网络属性矩阵建立隐马尔科夫模型参量集，对多个用户的观察序列矩阵训练得到网络转移多属性联合观察概率及网络初始概率参量，输出至网络选择决策模块；网络选择决策模块根据联合观察概率及网络初始概率参量确定最优接入网络，将最优接入网络信息反馈给信息交互平台；信息交互平台接收来自网络选择决策模块的接入网络决策信息，触发用户终端接入网络。

根据当前接入网络数量M、各网络状态属性数量N、网络间状态转移概率矩阵

t时刻归一化网络属性概率矩阵R^t、网络状态初始概率矢量π，建立隐马尔科夫模型参量集λ=(M,N,A,Rt,π)，其中，矩阵元素表示用户从网络m₁转移至网络m₂的概率。所述建立归一化网络属性矩阵具体为：定义t时刻网络属性矩阵 $B^t={\left[b_{\mathrm{mn}}^t\right]}_{M\×N}=\left[\begin{array}{cccc}{b}_{11}^t& b_{12}^t& \·\·\·& b_{1N}^t\\ b_{21}^t& b_{22}^t& \·\·\·& b_{2N}^t\\ & & \·\·\·& \\ b_{M1}^t& b_{M2}^t& \·\·\·& B_{\mathrm{MN}}^t\end{array}\right],$ 其中，

表示t时刻网络m中第n个属性参量值，对不同网络同属性进行归一化：对于有益性能参数，归一化为：

对于代价性能参数，归一化为： $t_{\mathrm{mn}}^t=\frac{b_n^{t,\min }+b_n^{t,\max }-b_{\mathrm{mn}}^t}{b_n^{t,\min }+b_n^{t,\max }},$ 其中， $b_n^{t,\max }=\underset{m}{\max }\left(b_{\mathrm{mn}}^t\right),$ $b_n^{t,\min }=\underset{m}{\min }\left(b_{\mathrm{mn}}^t\right),$ 1≤m≤M；对同网络多属性归一化，对各行的

进行归一化，记

得到归一化网络属性矩阵

所述获取多属性联合观察概率的方法为：定义第s个用户t时刻的业务需求行矢量 $u_s^t=\left[\begin{array}{cccc}{u}_{s1}^t& u_{s2}^t& \·\·\·& u_{\mathrm{sN}}^t\end{array}\right],$ 其中

为第s个用户t时刻对第n类业务敏感参量的归一化需求因子，

1≤s≤S，S为总用户数，根据公式

确定t时刻第s个用户在网络m中的多属性联合观察概率。

现有接入网络选择方案仅根据网络当前状态及用户需求，执行瞬时接入选择策略，无法结合网络状态动态变化特性，实现优化接入选择，可能导致用户较高切换频度及网络负载不均衡，本发明建模网络状态动态变化特性，综合考虑网络稳态特性，网络当前状态及用户业务需求，执行优化接入网络选择策略，可实现用户QoS增强及网络综合性能优化。在异构网络融合场景下，该方法的使用可支持运营商及其他业务提供者有效提高网络收益，实现网络资源的优化配置，获得良好的经济效益。

附图说明

图1为异构网络通信系统的拓扑结构示意图；

图2为本发明网络侧的实现网络选择装置架构图；

图3为本发明用户侧的业务感知模块装置架构图；

图4为本发明网络状态转换图；

图5为本发明实现网络选择流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不限制本发明的范围。

图1为异构网络通信系统的拓扑结构示意图，是UMTS、WLAN网络覆盖场景图，RAN1表示WLAN网络的AP，RAN2表示UMTS网络的BS。本发明可以应用于图中两种网络同时覆盖的区域。

本发明在用户侧增加业务感知模块；网络侧增加基于隐马尔科夫模型的接入网络选择装置，根据业务感知模块定向输入敏感参量需求信息，通过异构网络选择装置建模网络历史状态，根据用户业务特性及网络历史及当前信息，实现对异构无线网络的优化选择。

图2为本发明网络侧实现网络选择装置架构图，图3为本发明用户侧的业务感知模块装置架构图。

业务感知模块：读取终端用户业务需求特性敏感信息，包括当前业务需求的带宽、时延、丢包率、吞吐量及服务费用等，用户根据业务需求更新相应信息，通过信息交互平台与用户需求模块的交互，实现对移动终端特性信息收集；用户需求模块：感知获取用户业务特性，分析业务对接入网络性能需求，为网络状态模块提供用户观察序列矩阵；网络属性模块：通过信息交互平台获取网络信息，根据监测到的各接入网的物理层、数据链路层、传输层及网络层的状态参数建立归一化网络属性矩阵；网络状态模块：接收来自用户需求模块和网络属性模块的数据，根据用户观察序列矩阵、网络属性矩阵基于隐马尔科夫模型建立方程，通过对多个用户的观察序列矩阵训练得到网络转移概率及网络初始概率参量，将网络转移概率及网络初始概率参量输出至网络选择决策模块；网络选择决策模块：对网络间转移概率及网络初始概率参量进行Viterbi译码选择最优接入网络，同时反馈给信息交互平台指导进行网络切换工作；信息交互平台：与用户终端及接入网络交互，接收来自网络选择平台的接入网络决策信息，触发用户终端接入网络。

网络状态建模模块定义隐马尔科夫模型参量集λ=(M,N,A,R^t,π)，如表一所示，其中M表示当前接入网络数量，N表示各网络可观察状态属性数量，为网络间状态转移概率矩阵，其中表示用户从网络m₁转移至网络m₂的概率，1≤m₁,m₂≤M；R^t为归一化网络属性概率矩阵；π=[π_m]_1×M为各网络状态初始概率矩，其中π_m表示网络选择初始阶段，用户选择网络m的概率，1≤m≤M。

表一：隐马尔科夫模型参量集含义表

定义第s个用户t时刻的业务需求行矢量 $u_s^t=\left[\begin{array}{cccc}{u}_{s1}^t& u_{s2}^t& \·\·\·& u_{\mathrm{sN}}^t\end{array}\right],$ 其中为第s个用户t时刻对第n类业务敏感参量的归一化需求因子，1≤s≤S，S为总用户数。根据多属性决策理论，可得t时刻用户s在网络m中的多属性联合观察概率，即

根据用户多属性联合观察概率

1≤t≤T，1≤s≤S，1≤m≤M及系统初始参量集λ₀，计算t时刻第s个用户选择第m个网络的前向概率

及后向概率

可得网络状态转移概率矩阵

及各网络初始状态概率矩阵π₀，具体步骤如下：

（1）初始化系统模型参量集获得初始化参量集λ₀：

给定M，N，R^t，并置A=A₀，π=π₀，s=1。

（2）计算

及

${\mathrm{\α}}_{{\mathrm{sm}}_1}^t={\mathrm{\π}}_{m_1}{p}_{{\mathrm{sm}}_1}^1,$ 1≤m₁≤M。

${\mathrm{\α}}_{{\mathrm{sm}}_1}^{t+1}=\left[\underset{m_2=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_{{\mathrm{sm}}_2}^t{a}_{m_2{m}_1}\right]p_{{\mathrm{sm}}_1}^{t+1},$ t=1,2,...,T-1，1≤m₁,m₂≤M。

${\mathrm{\β}}_{{\mathrm{sm}}_1}^T=1,$ 1≤m₁≤M。

${\mathrm{\β}}_{{\mathrm{sm}}_1}^t=\underset{m_2=1}{\overset{M}{\mathrm{\Σ}}}{a}_{m_1{m}_2}{\mathrm{\β}}_{{\mathrm{sm}}_2}^{t+1}{p}_{{\mathrm{sm}}_1}^{t+1},$ 1≤m₁≤M，t=T-1,T-2,...,1。

可得网络状态概率及网络间状态转移概率：

${\mathrm{\π}}_{m_1}={\mathrm{\γ}}_{{\mathrm{sm}}_1}^1,$ 1≤m₁≤M。

$a_{m_1{m}_2}=\frac{\underset{t=1}{\overset{t=T-1}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_{{\mathrm{sm}}_1{m}_2}^t}{\underset{t=1}{\overset{t=T-1}{\mathrm{\Σ}}}{\mathrm{\γ}}_{{\mathrm{sm}}_2}^t},$ 1≤m₁,m₂≤M。

（3）给定误差门限δ，计算观察序列矢量条件概率p(U_s|λ)，

1≤m≤M。

若logp(U_s|λ)-logp(U_s|λ₀)<δ，算法结束。否则，若s<S，令λ₀=λ，s=s+1，继续步骤（2）。

图4为本发明网络状态转换图，记UMTS为网络1，WLAN为网络2，a_ij表示用户前一时刻选择接入网络i，下一时刻选择接入网络j的概率，i=1,2，j=1,2，i≠j，a_ii表示用户前一时刻接入网络i，下一时刻仍选择驻留接入网络i的概率，i=1，2。

图5为本发明提出的一种基于隐马尔科夫模型的接入网络选择方法流程图，具体包括：

601：收集用户观察矩阵U_s

由业务感知模块感知移动用户业务特性，并提供给信息收集平台的用户需求模块，此模块实现如图3所示。根据收集的业务特性信息，建立用户业务特性敏感参数行矢量 $u_s^t=\left[\begin{array}{cccc}{u}_{s1}^t& u_{s2}^t& \&CenterDot;\&CenterDot;\&CenterDot;& u_{s5}^t\end{array}\right],$ 其中s代表用户，s=1,2,…,S，S为用户总数，t代表时刻，t=1,2,…,T，n代表网络属性，n=1,2,…,5，分别表示业务带宽、时延、掉线率、吞吐量及时延抖动。

根据可得用户需求矩阵，即观察序列矩阵

602：建模网络状态模型

定义隐马尔科夫模型参量集λ=(M,N,A,R^t,π)。本实施例将WLAN和UMTS网络状态设置为隐藏状态，即M=2。网络属性模块通过信息交互平台监测可用网络状态，收集网络状态信息，建立网络属性矩阵 $B^t=\left[b_{\mathrm{mn}}^t\right]=\left[\begin{array}{cccc}{b}_{11}^t& b_{12}^t& \&CenterDot;\&CenterDot;\&CenterDot;& b_{15}^t\\ b_{21}^t& b_{22}^t& \&CenterDot;\&CenterDot;\&CenterDot;& b_{25}^t\end{array}\right],$ 其中

表示在t时刻网络m中第n个属性参量值。对网络属性矩阵B^t进行归一化可得归一化网络属性概率矩阵 $R^t={\left[r_{\mathrm{mn}}^t\right]}_{2\&times;5}=\left[\begin{array}{cccc}{r}_{11}^t& r_{12}^t& \&CenterDot;\&CenterDot;\&CenterDot;& r_{15}^t\\ r_{21}^t& r_{22}^t& \&CenterDot;\&CenterDot;\&CenterDot;& r_{25}^t\end{array}\right],$ 具体方法如下：

（1）各网络同属性归一化

记 $b_m^{t,\max }=\underset{m}{\max }\left(b_{\mathrm{mn}}^t\right),$ $b_n^{t,\min }=\underset{m}{\min }\left(b_{\mathrm{mn}}^t\right),$ 1≤m≤M。

表示t时刻网络m中第n个属性的列归一化参量值。对于有益性能参数，如网络可用带宽、接收信号强度等，t时刻网络m中第n个属性列归一化参量值为：对于代价性能参数，如连接时延、丢包率等，t时刻网络m中第n个属性列归一化参量值为： $t_{\mathrm{mn}}^t=\frac{b_n^{t,\min }+b_n^{t,\max }-b_{\mathrm{mn}}^t}{b_n^{t,\min }+b_n^{t,\max }}.$

（2）同网络多属性归一化：

对网络属性矩阵中各行的进行行归一化为：令

表示t时刻网络m中第n个属性行归一化参量值，即归一化网络属性矩阵 $R^t={\left[r_{\mathrm{mn}}^t\right]}_{M\&times;N}.$

603：初始化参量集λ₀

定义隐马尔科夫模型参量集λ=(2,5,A,R^t,π)，其中M=2表示当前接入网络数量，N=5表示各网络可观察状态属性数量。为网络间状态转移概率矩阵，其中

表示用户从网络m₁转移至网络m₂的概率，1≤m₁,m₂≤2。π=[π_m]_1×M为各网络状态初始概率矩阵，其中π_m表示网络选择初始阶段，用户选择网络m的概率，1≤m≤2。具体含义如图4所示。随机设置初始参量A₀及π₀，并置A=A₀，π=π₀，s=1。

604：计算多属性联合观察概率

给定第s个用户t时刻的业务需求行矢量 $u_s^t=\left[\begin{array}{cccc}{u}_{s1}^t& u_{s2}^t& \&CenterDot;\&CenterDot;\&CenterDot;& u_{s5}^t\end{array}\right],$ 其中

为第s个用户t时刻对第n类业务敏感参量的归一化需求因子，

根据多属性决策理论，可得t时刻用户s在网络m中的多属性联合观察概率，即 $p_{\mathrm{sm}}^t=\underset{n=1}{\overset{5}{\mathrm{\&Sigma;}}}{u}_{\mathrm{sn}}^t{r}_{\mathrm{mn}}^t.$

605：计算前向概率

${\mathrm{\&alpha;}}_{{\mathrm{sm}}_1}^t={\mathrm{\&pi;}}_{m_1}{p}_{{\mathrm{sm}}_1}^1,$ 1≤m₁≤2。

${\mathrm{\&alpha;}}_{{\mathrm{sm}}_1}^{t+1}=\left[\underset{m_2=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{{\mathrm{sm}}_2}^t{a}_{m_2{m}_1}\right]p_{{\mathrm{sm}}_1}^{t+1},$ t=1,2,...,T-1，1≤m₁,m₂≤2。

606：计算后向概率

${\mathrm{\&beta;}}_{{\mathrm{sm}}_1}^T=1,$ 1≤m₁≤2。

${\mathrm{\&beta;}}_{{\mathrm{sm}}_1}^t=\underset{m_2=1}{\overset{M}{\mathrm{\&Sigma;}}}{a}_{m_1{m}_2}{\mathrm{\&beta;}}_{{\mathrm{sm}}_2}^{t+1}{p}_{{\mathrm{sm}}_1}^{t+1},$ t=T-1,T-2,...,1。

607：计算网络间转移概率及网络初始概率

令 ${\mathrm{\&gamma;}}_{{\mathrm{sm}}_1}^t=\left[\frac{{\mathrm{\&alpha;}}_{{\mathrm{sm}}_1}^t{\mathrm{\&beta;}}_{{\mathrm{sm}}_1}^t}{\underset{m_1=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{{\mathrm{sm}}_1}^t{\mathrm{\&beta;}}_{{\mathrm{sm}}_1}^t}\right],$ ${\mathrm{\&epsiv;}}_{{\mathrm{sm}}_1{m}_2}^t=\frac{{\mathrm{\&alpha;}}_{{\mathrm{sm}}_1}^t{a}_{m_1{m}_2}{\mathrm{\&beta;}}_{{\mathrm{sm}}_2}^{t+1}{p}_{{\mathrm{sm}}_2}^{t+1}}{\underset{m_1=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{m_2=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{{\mathrm{sm}}_1}^t{a}_{m_1{m}_2}{\mathrm{\&beta;}}_{{\mathrm{sm}}_2}^{t+1}{p}_{{\mathrm{sm}}_2}^{t+1}}$

${\mathrm{\&pi;}}_{m_1}={\mathrm{\&gamma;}}_{{\mathrm{sm}}_1}^1,$ 1≤m₁≤2。

$a_{m_1{m}_2}=\frac{\underset{t=1}{\overset{t=T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_{{\mathrm{sm}}_1{m}_2}^t}{\underset{t=1}{\overset{t=T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_{{\mathrm{sm}}_2}^t},$ 1≤m₁,m₂≤2。

608：判断算法是否满足误差条件

给定误差门限δ=1×10^-3，计算观察序列矢量条件概率p(U_s|λ)，

1≤m≤2。若logp(U_s|λ)-logp(U_s|λ₀)<δ，训练算法结束，转至611。

609：判断是否所有用户已训练

若未满足误差条件，检测是否s<S。若s=S，训练过程失败，算法结束；否则，转至610。

610：用户更新

若s<S，令s=s+1，λ₀=λ，转至604。

611：优化网络选择

给定网络状态转移矩阵A，网络状态初始概率矩阵π，用户在t=T-1时刻的接入网络m₁，根据t=T时刻归一化网络属性概率矩阵R^T及用户s业务需求矢量

可得T时刻用户s在网络m中的多属性联合观察概率，即

由Viterbi译码算法原理，可得用户在t=T时刻优化选择网络为 $m_2^{*}=\underset{m_2\&Subset;2}{\arg \max }\left[a_{m_1{m}_2}{p}_{{\mathrm{sm}}_2}^T\right].$

以上所述，仅为本发明比较贴切的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易地找到变换或替换部分实施细节，都应该在本发明的保护范围之内，因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于隐马尔科夫模型的接入网络选择装置，其特征在于：该装置包括：业务感知模块：用于读取用户终端业务需求特性敏感信息，通过信息交互平台与用户需求模块交互，实现对用户业务特性信息收集；用户需求模块：用于感知获取用户业务特性，为网络状态模块提供用户观察序列矩阵；网络属性模块：通过信息交互平台获取网络信息，根据各接入网的物理层、数据链路层、传输层及网络层的状态参数建立归一化网络属性矩阵；网络状态模块：用于根据用户观察序列矩阵、归一化网络属性矩阵建立隐马尔科夫模型参量集，对用户观察序列矩阵训练得到网络转移多属性联合观察概率及网络初始概率参量，输出至网络选择决策模块；网络选择决策模块：用于根据联合观察概率及网络初始概率参量确定最优接入网络，将最优接入网络信息反馈给信息交互平台；信息交互平台：用于用户终端及接入网络交互，接收来自网络选择决策模块的接入网络决策信息，触发用户终端接入网络。

2.根据权利要求1所述的接入网络选择装置，其特征在于：用户终端业务需求特性敏感信息包括：当前业务需求的带宽、时延、丢包率、吞吐量及服务费用。

3.根据权利要求1所述的接入网络选择装置，其特征在于：根据当前接入网络数量M、各网络状态属性数量N、网络间状态转移概率矩阵

t时刻归一化网络属性概率矩阵R^t、网络状态初始概率矢量π，建立隐马尔科夫模型参量集为：λ=(M,N,A,R^t,π)，其中，矩阵元素表示用户从网络m₁转移至网络m₂的概率。

4.根据权利要求1所述的接入网络选择装置，其特征在于：所述建立归一化网络属性矩阵具体为：定义t时刻网络属性矩阵 $B^t={\left[b_{\mathrm{mn}}^t\right]}_{M\&times;N}=\left[\begin{array}{cccc}{b}_{11}^t& b_{12}^t& \&CenterDot;\&CenterDot;\&CenterDot;& b_{1N}^t\\ b_{21}^t& b_{22}^t& \&CenterDot;\&CenterDot;\&CenterDot;& b_{2N}^t\\ & & \&CenterDot;\&CenterDot;\&CenterDot;& \\ b_{M1}^t& b_{M2}^t& \&CenterDot;\&CenterDot;\&CenterDot;& B_{\mathrm{MN}}^t\end{array}\right],$ 其中，表示t时刻网络m中第n个属性初始参量值，对不同网络同属性归一化：对于有益性能参数，归一化为： $t_{\mathrm{mn}}^t=\frac{b_{\mathrm{mn}}^t}{b_n^{t,\min }+b_n^{t,\max }},$ 对于代价性能参数，归一化为： $t_{\mathrm{mn}}^t=\frac{b_n^{t,\min }+b_n^{t,\max }-b_{\mathrm{mn}}^t}{b_n^{t,\min }+b_n^{t,\max }},$ 其中，

表示t时刻网络m中第n个属性列归一化参量值，

1≤m≤M；对同网络不同属性归一化，根据公式：

对各行的列归一化参量值

进行归一化，获得t时刻网络m中第n个属性行归一化参量值

建立归一化网络属性矩阵

5.根据权利要求4所述的接入网络选择装置，其特征在于：所述获取多属性联合观察概率的方法为：定义第s个用户终端t时刻的业务需求行矢量 $u_s^t=\left[\begin{array}{cccc}{u}_{s1}^t& u_{s2}^t& \&CenterDot;\&CenterDot;\&CenterDot;& u_{\mathrm{sN}}^t\end{array}\right],$ 其中为第s个用户终端t时刻对第n类业务敏感参量的归一化需求因子，

1≤s≤S，S为总用户数，根据公式

确定t时刻第s个用户终端在网络m中的多属性联合观察概率。

6.一种基于隐马尔科夫模型的接入网络选择方法，其特征在于：业务感知模块读取终端用户业务需求特性敏感信息，通过信息交互平台与用户需求模块交互，实现对用户终端特性信息收集；用户需求模块感知获取用户业务特性，为网络状态模块提供用户观察序列矩阵；网络属性模块信息交互平台获取网络信息，根据各接入网的物理层、数据链路层、传输层及网络层的状态参数建立归一化网络属性矩阵；网络状态模块根据用户观察序列矩阵、归一化网络属性矩阵建立隐马尔科夫模型参量集，对用户观察序列矩阵训练得到网络转移多属性联合观察概率及网络初始概率参量，输出至网络选择决策模块；网络选择决策模块根据联合观察概率及网络初始概率参量确定最优接入网络，将最优接入网络信息反馈给信息交互平台；信息交互平台接收来自网络选择决策模块的接入网络决策信息，触发用户终端接入网络。

7.根据权利要求6所述的接入网络选择方法，其特征在于：根据当前接入网络数量M、各网络状态属性数量N、网络间状态转移概率矩阵

t时刻归一化网络属性概率矩阵R^t、网络状态初始概率矢量π，建立隐马尔科夫模型参量集λ=(M,N,A,R^t,π)，其中，矩阵元素

表示用户从网络m₁转移至网络m₂的概率。

8.根据权利要求6所述的接入网络选择方法，其特征在于：所述建立归一化网络属性矩阵具体为：建立t时刻网络属性矩阵 $B^t={\left[b_{\mathrm{mn}}^t\right]}_{M\&times;N}=\left[\begin{array}{cccc}{b}_{11}^t& b_{12}^t& \&CenterDot;\&CenterDot;\&CenterDot;& b_{1N}^t\\ b_{21}^t& b_{22}^t& \&CenterDot;\&CenterDot;\&CenterDot;& b_{2N}^t\\ & & \&CenterDot;\&CenterDot;\&CenterDot;& \\ b_{M1}^t& b_{M2}^t& \&CenterDot;\&CenterDot;\&CenterDot;& B_{\mathrm{MN}}^t\end{array}\right],$ 其中，

表示t时刻网络m中第n个属性初始参量值，对不同网络进行同属性列归一化：对于有益性能参数，根据公式

进行列归一化，对于代价性能参数，根据公式执行列归一化，得到t时刻网络m中第n个属性列归一化参量值

其中， $b_n^{t,\max }=\underset{m}{\max }\left(b_{\mathrm{mn}}^t\right),$ $b_n^{t,\min }=\underset{m}{\min }\left(b_{\mathrm{mn}}^t\right),$ 1≤m≤M；根据公式 $r_{\mathrm{mn}}^t=\frac{t_{\mathrm{mn}}^t}{\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{t}_{\mathrm{mn}}^t}$ 对同网络的不同属性进行行归一化，获得t时刻网络m中第n个属性行归一化参量值

由此建立归一化网络属性矩阵

9.根据权利要求6所述的接入网络选择方法，其特征在于：所述获取多属性联合观察概率的方法为：定义第s个用户t时刻的业务需求行矢量 $u_s^t=\left[\begin{array}{cccc}{u}_{s1}^t& u_{s2}^t& \&CenterDot;\&CenterDot;\&CenterDot;& u_{\mathrm{sN}}^t\end{array}\right],$ 其中

为第s个用户t时刻对第n类业务敏感参量的归一化需求因子，

1≤s≤S，S为总用户数，根据公式确定t时刻第s个用户在网络m中的多属性联合观察概率。

Images