CN101917753B - 一种异构网络联合呼叫控制策略的确定方法 - Google Patents

Abstract

本发明的实施例公开了一种异构网络联合呼叫控制策略的确定方法，基于业务和网络进行分离式半马尔可夫决策过程SMDP处理，将联合呼叫接入控制问题转化成三层的分离式SMDP模型，包括原SMDP、业务分离式SMDP和网络分离式SMDP，通过这样的处理，可以明显降低呼叫接入控制处理过程的复杂度，简化求解过程，并且可以通过分离式SMDP处理在呼叫接入控制处理过程中实现实时计算，在异构网络环境下，这种基于分离式SMDP处理的呼叫接入控制策略相对传统的呼叫接入控制策略，可以明显提升系统的处理性能。

Description

一种异构网络联合呼叫控制策略的确定方法

技术领域

本发明涉及通信技术领域，特别是涉及一种异构网络联合呼叫控制策略的确定方法。 

背景技术

近年来的研究表明，广域无线网络(例如，第三代无线蜂窝系统)可以与无线局域网络(Wireless Local Area Networks，WLAN)进行融合来为移动用户提供Internet(互联网)接入服务和基于IP的多媒体服务。 

为了实现上述异构网络之间的协同工作，3GPP(Third Generation Partnership Project，第三代移动通信伙伴计划)、ETSI(European Telecommunications Standards Institute，欧洲电信标准化协会)等组织都提出了不同的网络结构，一般将蜂窝网视为参考网络，其他无线接入技术集成在该参考网络中。 

为了有效利用无线资源，有紧耦合和松耦合两种集成策略。联合无线资源管理(JRRM，Joint Radio Resource Management)基于紧耦合方式，主要包含两方面内容——联合呼叫接入控制(JOSAC，Joint Session Admission Control)和联合无线资源分配(JOSCH，Joint Session Schedule)。 

其中，JOSAC主要处理切换呼叫的接入控制。当切换呼叫请求接入某个接入网时，由JOSAC的算法决定呼叫的接入策略，使得异构环境下全网性能最优。 

JOSCH则可以通过分割数据流，并根据可用容量和QoS(Quality of Service，服务质量)等级，将这些数据流在不同的子网上传输，通常，这些被分割的数据流称为子流。JOSCH主要解决在不同时序和不同子网中传输子流时遇到的问题，目的在于获得极大的流量增益。 

在传统的蜂窝网络优化问题中，呼叫接入控制问题一直是研究的热点。 面对带宽和频谱资源有限的情况，为了有效的提高带宽和频谱资源的利用率，业内已经提出了很多静态和动态的策略来解决呼叫接入控制问题。 

呼叫接入控制问题是一种资源分配策略，以限制呼叫接入数目来达到减少网络拥塞，保证QoS的目的。在异构无线网络环境中，考虑到用户的移动性以及不同的链路状况，联合呼叫接入控制问题变得更加复杂。正在进行的呼叫可能由于用户漫游到另一个小区或WLAN热区，形成垂直切换，但是该呼叫可能无法在新小区获得资源，引起呼叫中断，垂直切换失败。由于呼叫中断要比新呼叫阻塞更加难以接受，故通常认为垂直切换有较高的优先级。新呼叫阻塞率和切换呼叫阻塞率是衡量呼叫接入控制策略的重要指标。 

目前，已有的许多研究成果都使用了SMDP(Semi-Markov Decision Process，半马尔可夫决策过程)对联合呼叫接入控制问题进行建模。 

SMDP是MDP(Markov Decision Process，马尔可夫决策过程)的一种特例，MDP过程是一种离散随机决策过程，是序贯决策的主要研究领域，属于运筹学中数学规划的一个分支，是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯地作出决策。进一步根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步(未来)的状态是随机的，并且其状态转移概率具有马尔可夫性。决策者根据新观察到的状态，再作新的决策，依此反复地进行。当决策间隔并非定长，而是满足一定概率分布时，称其为SMDP。 

一般情况下，异构网络环境的呼叫主要分为两类，一类为新产生的呼叫，一类为切换呼叫。更进一步地，由于业务分流的存在，还应当存在第三类呼叫——子流呼叫，该呼叫来源于网络性能提升时，高QoS用户提出的增强数据流呼叫请求。 

处理好这三类呼叫的接入问题，使得全局呼叫阻塞率最小，网络吞吐量最大，是JOSAC问题的核心所在。在JOSAC问题中，将接入网的呼叫数目作为SMDP的状态变量，将切换呼叫和新呼叫的接入控制策略(接受或拒绝)作为行动变量。收益函数可以定义为网络收益、吞吐量以及阻塞率的函数。通过优化收益函数的平均期望得到最优的行动集合，作为呼叫接入控制策略。 

在实现本发明的过程中，发明人发现现有技术至少存在如下问题： 

SMDP的缺点在于计算量太大。尤其是当接入网数量较多，提供业务种类较多时，SMDP所带来的计算量将是非常巨大的，而这样的计算量有时是无法完成，也没有必要去完成的，这样的处理影响了呼叫接入控制处理过程的效率。 

发明内容

本发明的实施例提供一种异构网络联合呼叫控制策略的确定方法，解决联合呼叫接入控制问题的求解过程复杂的问题。 

本发明的实施例提供一种异构网络联合呼叫控制策略的确定方法，应用于包括至少两种异构网络的系统中，所述系统中存在至少两种业务，所述方法具体包括： 

根据所述系统中全部接入网各业务的呼叫数，确定所述系统所对应的各状态； 

对所述系统中在各状态下的各业务分别进行业务分离式SMDP处理，确定在各状态下各业务所对应的业务分离概率策略，并通过所述系统在相对应状态下的业务数量对各业务分离概率策略进行增量补偿； 

根据所述系统中各业务所对应的网络类型，对完成增量补偿的各业务分离概率策略分别进行网络分离式SMDP处理，确定各业务在各网络中的所对应的网络分离概率策略，并通过所述系统在各网络中的业务数量对各网络分离概率策略进行增量补偿； 

将完成增量补偿后的各网络分离概率策略确定为所述系统中的各业务在各网络中的呼叫控制策略。 

优选的，在对所述系统中当前的各业务分别进行业务分离式SMDP处理之前，还包括： 

在对所述系统进行呼叫控制策略算法初始化时，建立空白的呼叫控制策略列表。 

优选的，所述将完成增量补偿后的各网络分离概率策略确定为所述系统中的各业务在各网络中的呼叫控制策略，具体为： 

将完成增量补偿的各网络分离概率策略写入所述呼叫控制策略列表，以使系统根据所述呼叫控制策略列表中的网络分离概率策略对相应状态下的业务进行呼叫控制。 

优选的，所述对所述系统中在各状态下的各业务分别进行业务分离式SMDP处理，确定在各状态下各业务所对应的业务分离概率策略，并通过所述系统在相对应状态下的业务数量对各业务分离概率策略进行增量补偿，具体为： 

选择所述系统的一个状态，并对所述系统在所述状态下的各业务进行业务分离式SMDP处理，确定在所述状态下各业务所对应的业务分离概率策略，并通过所述系统在所述状态下的业务数量对各业务分离概率策略进行增量补偿，选择所述系统的其他状态，重复以上操作，确定在各状态下各业务所对应的业务分离概率策略，并通过所述系统在相对应状态下的业务数量对各业务分离概率策略进行增量补偿。 

优选的，当根据所述系统中全部接入网各业务的呼叫数，确定所述系统所对应的各状态时，所述根据所述系统中各业务所对应的网络类型，对完成增量补偿的各业务分离概率策略分别进行网络分离式SMDP处理，确定各业务在各网络中的所对应的网络分离概率策略，并通过所述系统在各网络中的业务数量对各网络分离概率策略进行增量补偿，具体为： 

根据所述系统中在各状态下的各业务所对应的网络类型，对完成增量补偿的各业务分离概率策略分别进行网络分离式SMDP处理，确定在各状态下各业务在各网络中的所对应的网络分离概率策略，并通过所述系统在相对应状态下各网络中的业务数量对各网络分离概率策略进行增量补偿。 

优选的，所述方法，具体为： 

(1)根据所述系统中全部接入网各业务的呼叫数，确定所述系统所对应的各联合业务状态； 

(2)在所述系统的各联合业务状态中选择一个联合业务状态，确定所述联合业务状态下的业务数量； 

(3)在所述联合业务状态下，对所述系统中的各业务进行业务分离式SMDP处理，并根据所述联合业务状态下的业务数量对所述业务分离式SMDP处理的结果进行增量补偿； 

(4)在所述联合业务状态下，对所述系统中的一个业务的业务分离式SMDP处理结果进行网络分离式SMDP处理，并根据所述联合业务状态下的业务数量对所述业务的网络分离式SMDP处理的结果进行增量补偿； 

(5)根据增量补偿的结果确定所述联合业务状态下的所述业务所对应的呼叫控制策略； 

(6)判断所述系统中是否还存在未确定呼叫控制策略的其他业务，如果有，返回(4)，确定所述其他业务所对应的呼叫控制策略，如果没有，继续执行(7)； 

(7)判断是否还存在未确定呼叫控制策略的其他联合业务状态，如果有，返回(2)，确定所述其他联合业务状态下的各业务所对应的呼叫控制策略，如果没有，完成呼叫控制策略的确定过程。 

与现有技术相比，本发明的实施例所提出的技术方案具有以下优点： 

基于业务和网络进行分离式SMDP处理，将联合呼叫接入控制问题转化成三层的分离式SMDP模型，包括原SMDP、业务分离式SMDP和网络分离式SMDP，通过这样的处理，可以明显降低呼叫接入控制处理过程的复杂度，简化求解过程，并且可以通过分离式SMDP处理在呼叫接入控制处理过程中实现实时计算，在异构网络环境下，这种基于分离式SMDP处理的呼叫接入控制策略相对传统的呼叫接入控制策略，可以明显提升系统的处理性能。 

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对本发明或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 

图1为本发明的实施例中的一种异构网络联合呼叫控制策略的确定方法的流程示意图； 

图2为本发明的实施例中的一种基于业务遍历的业务分离式SMDP算法的流程示意图； 

图3为本发明的实施例中的一种基于网络遍历的网络分离式SMDP算法的流程示意图； 

图4为本发明实施例提供的一种三层分离式SMDP结构的示意图； 

图5为本发明的实施例中的一种经过业务和网络分离后的SMDP状态的示意图； 

图6为本发明的实施例中的一种基于半马尔可夫决策过程的异构网络联合呼叫控制策略的确定方法的流程示意图； 

图7为本发明的实施例中的一种由无线资源控制器汇总生成全网呼叫接入控制策略列表的流程示意图。 

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。 

如附图1所示，为本发明的实施例中的一种基于半马尔可夫决策过程的异构网络联合呼叫控制策略的确定方法，应用于包括至少两种异构网络的系统中，所述系统中存在至少两种业务，所述方法具体包括： 

步骤S101、对系统中当前的各业务分别进行业务分离式SMDP处理，确 定各业务所对应的业务分离概率策略，并通过系统的业务数量对各业务分离概率策略进行增量补偿。 

在实际应用场景中，本步骤之前还可以包括在对系统进行呼叫控制策略算法初始化时，建立空白的呼叫控制策略列表的过程。 

需要进一步指出的是，本步骤中的业务分离式SMDP处理可以基于状态进行，具体说明如下： 

根据系统中全部接入网各业务的呼叫数，确定系统所对应的各状态； 

对系统中在各状态下的各业务分别进行业务分离式SMDP处理，确定在各状态下各业务所对应的业务分离概率策略，并通过系统在相对应状态下的业务数量对各业务分离概率策略进行增量补偿。 

在具体的应用场景中，上述处理过程的实现方式具体如下： 

选择系统的一个状态，并对系统在状态下的各业务进行业务分离式SMDP处理，确定在状态下各业务所对应的业务分离概率策略，并通过系统在状态下的业务数量对各业务分离概率策略进行增量补偿，选择系统的其他状态，重复以上操作，确定在各状态下各业务所对应的业务分离概率策略，并通过系统在相对应状态下的业务数量对各业务分离概率策略进行增量补偿。 

步骤S102、根据系统中各业务所对应的网络类型，对完成增量补偿的各业务分离概率策略分别进行网络分离式SMDP处理，确定各业务在各网络中的所对应的网络分离概率策略，并通过系统在各网络中的业务数量对各网络分离概率策略进行增量补偿。 

根据步骤S101中的基于状态进行的业务分离式SMDP处理，本步骤同样可以进一步按照相应的状态进行网络分离式SMDP处理，具体过程如下： 

根据系统中在各状态下的各业务所对应的网络类型，对完成增量补偿的各业务分离概率策略分别进行网络分离式SMDP处理，确定在各状态下各业务在各网络中的所对应的网络分离概率策略，并通过系统在相对应状态下各网络中的业务数量对各网络分离概率策略进行增量补偿。 

步骤S103、将完成增量补偿后的各网络分离概率策略确定为系统中的各业务在各网络中的呼叫控制策略。 

对应步骤S101中建立空白的呼叫控制策略列表的操作，本步骤中的将完成增量补偿后的各网络分离概率策略确定为系统中的各业务在各网络中的呼叫控制策略的处理过程，实际为： 

将完成增量补偿的各网络分离概率策略写入呼叫控制策略列表，以使系统根据呼叫控制策略列表中的网络分离概率策略对相应状态下的业务进行呼叫控制。 

具体的，根据上述的步骤S101和步骤S102中基于系统中状态所进行的处理过程的调整，本发明所提供的技术方案的具体实现过程如下： 

(1)根据系统中全部接入网各业务的呼叫数，确定系统所对应的各联合业务状态。 

(2)在系统的各联合业务状态中选择一个联合业务状态，确定联合业务状态下的业务数量。 

(3)在联合业务状态下，对系统中的各业务进行业务分离式SMDP处理，并根据联合业务状态下的业务数量对业务分离式SMDP处理的结果进行增量补偿。 

(4)在联合业务状态下，对系统中的一个业务的业务分离式SMDP处理结果进行网络分离式SMDP处理，并根据联合业务状态下的业务数量对业务的网络分离式SMDP处理的结果进行增量补偿。 

(5)根据增量补偿的结果确定联合业务状态下的业务所对应的呼叫控制策略。 

(6)判断系统中是否还存在未确定呼叫控制策略的其他业务，如果有，返回(4)，确定其他业务所对应的呼叫控制策略，如果没有，继续执行(7)。 

(7)判断是否还存在未确定呼叫控制策略的其他联合业务状态，如果有，返回(2)，确定其他联合业务状态下的各业务所对应的呼叫控制策略，如果没有，完成呼叫控制策略的确定过程。 

与现有技术相比，本发明的实施例所提出的技术方案具有以下优点： 

基于业务和网络进行分离式SMDP处理，将联合呼叫接入控制问题转化成三层的分离式SMDP模型，包括原SMDP、业务分离式SMDP和网络分离 式SMDP，通过这样的处理，可以明显降低呼叫接入控制处理过程的复杂度，简化求解过程，并且可以通过分离式SMDP处理在呼叫接入控制处理过程中实现实时计算，在异构网络环境下，这种基于分离式SMDP处理的呼叫接入控制策略相对传统的呼叫接入控制策略，可以明显提升系统的处理性能。 

为了更加清楚的描述本发明实施例所提出的技术方案，下面结合具体应用场景做进一步详细阐述。 

本发明的目的在于使得用于解决联合呼叫接入控制问题的半马尔可夫决策过程求解变得简便易行，同时提出异构网络环境下基于紧耦合方式的联合呼叫接入控制的结构框架。 

为了说明分离式SMDP的原理，首先要使用SMDP对联合呼叫接入控制进行建模。建模过程如下：假定异构网络环境由接入网C和接入网W组成，同时提供业务A和业务B，两种业务均支持2层子流传输，基础数据流(1层)占用网络独立资源，增强数据流(2层，子流)占用网络共享资源。各网络业务数量以及子流数量作为状态变量，表示如下： 

$s=(n_{\mathrm{cA}},n_{\mathrm{cB}},n_c^s,n_{\mathrm{wA}},n_{\mathrm{wB}},n_w^s)$

行动变量表示如下： 

$a={(a}_{\mathrm{cA}}^n,a_{\mathrm{cA}}^h,a_{\mathrm{cB}}^n,a_{\mathrm{cB}}^h,a_c^s,a_{\mathrm{wA}}^n,a_{\mathrm{wA}}^h,a_{\mathrm{wB}}^n,a_{\mathrm{wB}}^h,a_w^s)$

其中，上标n表示新呼叫， 

上标h表示垂直切换呼叫， 

上标s表示子流呼叫。 

行动取值{0，1}表示拒绝接入和允许接入。目标函数为： 

$\underset{T\→\∞}{\lim }\frac{1}{T}E\left\{{\∫}_0^{T}r(s\left(t\right),a\left(t\right))\mathrm{dt}\right\}$

其中，r(s，a)代表s状态采取α行动得到的收益。 

由中心极限定理及其推论，可将目标函数转变为： 

$\underset{{\mathrm{\π}}_{\mathrm{sa}}\≥0,s\∈S,a\∈A\left(s\right)}{\max }\underset{s\∈S}{\mathrm{\Σ}}\underset{a\∈A\left(s\right)}{\mathrm{\Σ}}r(s,a){\mathrm{\π}}_{\mathrm{sa}}$

其满足条件： 

$\underset{a\∈A\left(s^{\′}\right)}{\mathrm{\Σ}}{\mathrm{\π}}_{s^{\′}a}-\underset{s\∈S}{\mathrm{\Σ}}\underset{a\∈A\left(s\right)}{\mathrm{\Σ}}{p}_{s,s^{\′}}\left(a\right){\mathrm{\π}}_{\mathrm{sa}}=0,$ s′∈S 

$\underset{s\∈S}{\mathrm{\Σ}}\underset{a\∈A\left(s\right)}{\mathrm{\Σ}}{\mathrm{\π}}_{\mathrm{sa}}=1$

${\mathrm{\τ}}_s\left(a\right)=\{\underset{J}{\mathrm{\Σ}}({\mathrm{\λ}}_{\mathrm{cJ}}^n{a}_{\mathrm{cJ}}^n+{\mathrm{\μ}}_{\mathrm{wJ}}^h{n}_{\mathrm{wJ}}{a}_{\mathrm{cJ}}^h+{\mathrm{\λ}}_{\mathrm{wJ}}^n{a}_{\mathrm{wJ}}^n+{\mathrm{\μ}}_{\mathrm{cJ}}^h{n}_{\mathrm{cJ}}{a}_{\mathrm{wJ}}^h)+$

${\mathrm{\λ}}_c^s{a}_c^s\×\left[\underset{J}{\mathrm{\Σ}}(n_{\mathrm{cJ}}+n_{\mathrm{wJ}})\right]+{\mathrm{\λ}}_w^s{a}_w^s\×\left[\underset{J}{\mathrm{\Σ}}(n_{\mathrm{wJ}}+n_{\mathrm{wJ}})\right]+$

${\underset{J}{\mathrm{\Σ}}({\mathrm{\μ}}_{\mathrm{cJ}}^t{n}_{\mathrm{cJ}}+{\mathrm{\μ}}_{\mathrm{wJ}}^t{n}_{\mathrm{wJ}}+{\mathrm{\μ}}_c^s{n}_c^s+{\mathrm{\μ}}_w^s{n}_w^s)\}}^{-1}$

其中，p_s，s′(a)为转移概率， 

π_sa为稳态概率，状态转移图如图2所示。 

求解出π_sa后，根据比值 

决定选取某个行动的概率。 

SMDP最终求解出的策略是概率策略，以一定概率选取每一个可选行动。A(s)表示s状态的行动空间。 

按照上述SMDP模型求解，这是目前已有研究的通用做法。本发明在此基础上提出了基于三层分离式SMDP算法的技术方案，可以大大简化上述模型的求解复杂度。 

当业务上限提高、业务种类变多时，SMDP状态空间急剧扩大，无法有效完成SMDP的计算，必须采用改进的方法减少计算量。 

如果单独讨论其中一类业务和及其子流的SMDP，则在转移概率上，新 呼叫和垂直呼叫的转移概率形式均和原SMDP问题相同，只有子流的转移概率，也就是到达率由于没考虑其他业务而减少了。 

因此，如果能够对这部分概率进行修正补偿，就可以使得新的SMDP问题和原SMDP问题有相同的状态动力方程。 

比如，单独考虑A业务时，定义业务分离式SMDP(SS-SMDP，Service Separated SMDP)问题如下： 

$s=(n_{\mathrm{cA}}^n,n_c^s,n_{\mathrm{wA}}^n,n_w^s)$

$a=(a_{\mathrm{cA}}^n,a_{\mathrm{cA}}^h,a_c^s,a_{\mathrm{wA}}^n,a_{\mathrm{wA},}^h{a}_w^s)$

$\underset{z_{\mathrm{sa}}\≥0,s\∈S,a\∈A\left(s\right)}{\max }\underset{s\∈S}{\mathrm{\Σ}}\underset{a\∈A\left(s\right)}{\mathrm{\Σ}}r(s,a){\mathrm{\π}}_{\mathrm{sa}}$

其满足条件： 

$\underset{a\∈A\left(s^{\′}\right)}{\mathrm{\Σ}}{\mathrm{\π}}_{s^{\′}a}-\underset{s\∈S}{\mathrm{\Σ}}\underset{a\∈A\left(s\right)}{\mathrm{\Σ}}{p}_{s,s^{\′}}\left(a\right){\mathrm{\π}}_{\mathrm{sa}}=0,$ s′∈S 

$\underset{s\∈S}{\mathrm{\Σ}}\underset{a\∈A\left(s\right)}{\mathrm{\Σ}}{\mathrm{\π}}_{\mathrm{sa}}=1$

然后，按照实际的业务数量计算子流的转移概率以及驻留时间函数，得到以下结果： 

${\mathrm{\τ}}_s\left(a\right)=\{({\mathrm{\λ}}_{\mathrm{cA}}^n{a}_{\mathrm{cA}}^n+{\mathrm{\μ}}_{\mathrm{wA}}^h{n}_{\mathrm{wA}}{a}_{\mathrm{cA}}^h+{\mathrm{\λ}}_{\mathrm{wA}}^n{a}_{\mathrm{wA}}^n+{\mathrm{\μ}}_{\mathrm{cA}}^h{n}_{\mathrm{cA}}{a}_{\mathrm{wA}}^h)+$

${\mathrm{\λ}}_c^s{a}_c^s\×\left[\underset{J}{\mathrm{\Σ}}(n_{\mathrm{cJ}}+n_{\mathrm{wJ}})\right]+{\mathrm{\λ}}_w^s{a}_w^s\×\left[\underset{J}{\mathrm{\Σ}}(n_{\mathrm{wJ}}+n_{\mathrm{wJ}})\right]+$

${({\mathrm{\μ}}_{\mathrm{cA}}^t{n}_{\mathrm{cA}}+{\mathrm{\μ}}_{\mathrm{wA}}^t{n}_{\mathrm{wA}}+{\mathrm{\μ}}_c^s{n}_c^s+{\mathrm{\μ}}_w^s{n}_w^s)\}}^{-1}$

通过以上处理，就会使业务分离式SMDP的状态动力方程和实际的SMDP 状态动力方程相同，因此，这两个马尔可夫决策系统等价，针对A业务求解出的稳态概率比值 

也是相同的。 

同理，再对B业务进行增量补偿并求解业务分离式SMDP，则会求解出B业务的概率策略。当网络中存在多种业务时，就可以用这种方法分别求解概率策略，即针对A业务进行业务分离式SMDP问题求解，使用实际所有业务数量对业务分离式SMDP问题进行状态动力方程的增量补偿，计算转移概率和驻留时间，然后使用这些参数去计算业务分离式SMDP。 

基于以上分析，如图2所示，本发明提出了基于业务遍历的业务分离式SMDP算法，相应的处理过程如下： 

步骤S201、业务分离式SMDP算法开始，呼叫控制策略列表为空，业务上限确定。 

步骤S202、取定联合各业务的状态s₀，对每一个业务进行业务分离式SMDP求解，增量补偿使用s₀状态各业务数量；将求解得到的所有业务的业务分离式SMDP呼叫控制策略写入呼叫控制策略列表，标明状态s₀下各业务的呼叫接入控制。 

步骤S203、选取下一个状态，重复步骤S202的工作，直到所有状态搜索完毕。 

进一步地，对于业务分离式SMDP，如果将C网和W网的A业务分开考虑，则会进一步减小状态空间的维数。 

由分析可知，由于两个网络的呼叫数影响彼此的呼叫接入控制策略，因此如果单独考虑蜂窝网时也需要进行上述的增量补偿。 

定义网络分离式SMDP(NS-SMDP，Network Separated SMDP)问题如下： 

$s=(n_{\mathrm{cA}}^n,n_c^s)$

$a=(a_{\mathrm{cA}}^n,a_{\mathrm{cA}}^h,a_c^s)$

$\underset{z_{\mathrm{sa}}\≥0,s\∈S,a\∈A\left(s\right)}{\max }\underset{s\∈S}{\mathrm{\Σ}}\underset{a\∈A\left(s\right)}{\mathrm{\Σ}}r(s,a){\mathrm{\π}}_{\mathrm{sa}}$

其满足条件： 

$\underset{a\∈A\left(s^{\′}\right)}{\mathrm{\Σ}}{\mathrm{\π}}_{s^{\′}a}-\underset{s\∈S}{\mathrm{\Σ}}\underset{a\∈A\left(s\right)}{\mathrm{\Σ}}{p}_{s,s^{\′}}\left(a\right){\mathrm{\π}}_{\mathrm{sa}}=0,$ s′∈S 

$\underset{s\∈S}{\mathrm{\Σ}}\underset{a\∈A\left(s\right)}{\mathrm{\Σ}}{\mathrm{\π}}_{\mathrm{sa}}=1$

然后，按照业务分离式SMDP的业务数量计算转移概率以及驻留时间函数，为了使单独考虑C网的状态动力方程和业务分离式SMDP的C网状态动力方程相同，补偿后的转移概率应使用W网的呼叫数进行增量补偿，修正转移概率中缺少的垂直切换，将W网络的垂直切换速率折算进C网的呼叫到达率，得到以下处理结果： 

${\stackrel{\‾}{p}}_{s,s^{\′}}\left(a\right)=\left\{\begin{array}{cc}{\mathrm{\λ}}_{\mathrm{cA}}^n{a}_{\mathrm{cA}}^n{\mathrm{\τ}}_s\left(a\right)+{\mathrm{\μ}}_{\mathrm{wA}}^h{n}_{\mathrm{wA}}{a}_{\mathrm{cA}}^h{\mathrm{\τ}}_s\left(a\right)& \mathrm{if}{s}^{\′}=[s_c+e_A^u]\\ {\mathrm{\λ}}_c^s{a}_c^s\left[\underset{J}{\mathrm{\Σ}}(n_{\mathrm{cJ}}+n_{\mathrm{wJ}})\right]{\mathrm{\τ}}_s\left(a\right)& \mathrm{if}{s}^{\′}=[s_c+e_s^u]\\ {\mathrm{\μ}}_{\mathrm{cA}}^t{n}_{\mathrm{cA}}{\mathrm{\τ}}_s\left(a\right)+{\mathrm{\μ}}_{\mathrm{cA}}^h{n}_{\mathrm{cA}}{a}_{\mathrm{wA}}^h{\mathrm{\τ}}_s\left(a\right)& \mathrm{if}{s}^{\′}=[s_c-e_A^u]\\ {\mathrm{\μ}}_c^s{n}_c^s{\mathrm{\τ}}_s\left(a\right)& \mathrm{if}{s}^{\′}=[s_c-e_s^u]\end{array}\right.$

${\mathrm{\τ}}_s\left(a\right)={\{({\mathrm{\λ}}_{\mathrm{cA}}^n{a}_{\mathrm{cA}}^n+{\mathrm{\μ}}_{\mathrm{wA}}^h{n}_{\mathrm{wA}}{a}_{\mathrm{cA}}^h)+{\mathrm{\λ}}_c^s{a}_c^s\×[\underset{J}{\mathrm{\Σ}}(n_{\mathrm{cJ}}+n_{\mathrm{wJ}})]+({\mathrm{\μ}}_{\mathrm{cA}}^t{n}_{\mathrm{cA}}+{\mathrm{\μ}}_c^s{n}_c^s)\}}^{-1}$

可见，网络分离式SMDP进一步地减小了状态空间维数，简化了求解复杂度，可以把其看成是求解业务分离式SMDP的有效手段。 

基于以上分析，如图3所示，本发明提出了基于网络遍历的网络分离式SMDP算法，相应的处理过程如下： 

步骤S301、算法开始，给定业务分离式SMDP问题。 

其中，在实现本算法之前已完成业务分离式SMDP算法的处理，并且，本步骤之前已选取了某一个业务，并进行了增量补偿。 

步骤S302、取定业务分离式SMDP的状态s₀，对每一个网络进行网络分离式SMDP求解，增量补偿使用s₀状态各网络的业务数量；将求解得到的各网络分离式SMDP呼叫控制策略写入呼叫控制策略列表，标明状态s₀下各网络的呼叫接入控制。 

步骤S303、是否还存在其他系统状态。 

如果存在，则修改当前的系统状态，返回步骤S302； 

如果不存在，执行步骤S304。 

步骤S304、将求解得到的网络分离式SMDP呼叫控制策略列表返回给业务分离式SMDP问题，表明业务分离式SMDP所选取的业务已经求解完毕。 

结合上述的业务分离式SMDP和网络分离式SMDP的求解方法，当需要离线求解全网络的呼叫控制策略时，可以先使用业务分离式SMDP的方式分离求解，而在求解业务分离式SMDP时，进一步使用网络分离式SMDP的方式分离求解，这样，可以进一步减小了计算复杂度。 

考虑集成LTE/WLAN网络，在无线资源控制器RRC或者其他类似功能的网络节点，运营商需要确定许多业务的呼叫控制策略。 

假设存在两个网络，提供5种业务，如果联合求解，状态空间维数是12维，假定业务上限为9，则其状态空间大小为10¹²，目前而言，这个运算是无法完成的，也是没有必要完成的。而采取业务分离式SMDP处理后，在计算的过程中SMDP状态空间维数变为4维，进一步采取网络分离式SMDP处理后，在计算过程中SMDP状态空间维数将为2维。 

更进一步，由于子流所占资源不存在垂直切换的问题，因此，对于子流的呼叫接入控制策略相当于单一行动空间的策略，只有在信道占满时拒绝子流呼叫，并且子流的数量不影响业务到达率和状态动力方程。从而，在网络分离式SMDP中完全可以去掉子流数量这一维，最后只剩下1维的网络分离式SMDP。这样最终进行SMDP计算求解稳态概率的网络分离式SMDP问题状态向量只有1维，求解将非常快捷。 

此外，如果业务分离式SMDP以及网络分离式SMDP的计算时间足够小，能够满足实时计算要求，则可以利用分布式计算进行实时的增量补偿。 

当异构网络有两个不同的网络构成并且均可提供两种服务时，可以先后使用SS-SMDP和NS-SMDP以便降低计算处理的复杂度。 

更进一步地，如果存在多个异构网络、提供多个业务，也可以使用这种方式利用马尔可夫决策进行求解呼叫接入控制策略。图4给出了本发明的3层分离式SMDP结构。在第一层中，SMDP问题包含所有接入网络，所有业务以及子流；在第二层中，SS-SMDP问题包含所有接入网络，一种分离业务以及子流；在第三层中，NS-SMDP问题包含一个分离接入网，一种分离业务以及子流，经过业务和网络分离后的SMDP状态如图5所示。 

结合上述的SS-SMDP和NS-SMDP处理过程，如图6所示，本发明提出一种基于半马尔可夫决策过程的异构网络联合呼叫控制策略的确定方法，具体包括以下步骤： 

步骤S601、算法开始，系统处于初始状态，各业务呼叫控制策略列表为空，业务上限确定。 

步骤S602、根据系统状态确定各业务的分离式SMDP子流到达率和驻留时间的增量。 

步骤S603、选择一个业务J，判断该业务J是否存在已经求解的呼叫控制策略。 

如果没有，执行步骤S604； 

如果已经存在，执行步骤S605。 

步骤S604、对业务J进行SS-SMDP求解，步骤如下： 

确定系统各业务数量。 

确定当前系统状态下NS-SMDP的转移概率表达式(补偿之后)。 

求解NS-SMDP，得出业务J的呼叫接入控制策略，写入呼叫控制策略列表。 

完成本步骤处理后执行步骤S605。 

步骤S605、在当前系统状态下，是否还存在其他未求解的业务。 

如果存在，选择一个未求解的业务J′，返回步骤S604； 

如果不存在，执行步骤S606。 

步骤S606、是否还存在其他系统状态。 

如果存在，则修改当前的系统状态，确定各业务数量的新数值，返回步骤S602； 

如果不存在，结束呼叫控制策略的确定方法的处理流程。 

在上述处理流程中，并没有使用遍历的方式求解，而只是针对当前网络状态求解当前业务的呼叫控制策略，在进行了SS-SMDP和NS-SMDP的增量补偿并最终删去子流后状态空间只有1维。因此求解非常快捷。 

考虑异构网络环境下，上述算法执行过程中，首先，由各无线接入网将 网络内业务数据发送给无线资源控制器，由无线资源控制器汇总并生成全网业务数量列表。 

无线资源控制器将该列表发送给各无线接入网。 

无线接入网收到列表后执行SS-SMDP和NS-SMDP相关算法并求出该无线接入网的呼叫接入控制策略。无线接入网或者将呼叫接入控制策略列表发送给无线资源控制器，由无线资源控制器汇总生成全网呼叫接入控制策略列表，或者各自保留自己的呼叫接入控制策略列表。 

在紧耦合场景下应当由集中的网元设备完成呼叫接入控制，因此应当采取前一种方法。图7表示了该过程的处理流程图。 

本发明提出的分离式SMDP相关算法，不但在理论上采用了高级的数学模型使得优化效果优于普通策略，而且采用了分离式的方法减少了计算量，弥补了马尔可夫模型的重大缺陷。 

相比传统的呼叫接入控制策略而言，本发明提出的算法在各性能指标上都有着更好的表现，得到的概率策略有效地弥补了传统呼叫接入控制策略单一行动空间的缺陷。 

此外，这种马尔可夫决策的思路也可以用于其它问题，例如网络选择策略、负载均衡策略等，只要合理建立了状态向量、行动向量以及状态动力方程，就可以利用SMDP使得全局最优，而分离式SMDP的求解方法将会使SMDP有更广泛的应用场景，当状态空间较大时可将其化简成分离式的问题利用分布式计算进行求解。 

与现有技术相比，本发明的实施例所提出的技术方案具有以下优点： 

基于业务和网络进行分离式SMDP处理，将联合呼叫接入控制问题转化成三层的分离式SMDP模型，包括原SMDP、业务分离式SMDP和网络分离式SMDP，通过这样的处理，可以明显降低呼叫接入控制处理过程的复杂度，简化求解过程，并且可以通过分离式SMDP处理在呼叫接入控制处理过程中实现实时计算，在异构网络环境下，这种基于分离式SMDP处理的呼叫接入控制策略相对传统的呼叫接入控制策略，可以明显提升系统的处理性能。 

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。 

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。 

Claims (6)

1.一种异构网络联合呼叫控制策略的确定方法，应用于包括至少两种异构网络的系统中，所述系统中存在至少两种业务，其特征在于，所述方法具体包括：

根据所述系统中全部接入网各业务的呼叫数，确定所述系统所对应的各状态；

对所述系统中在各状态下的各业务分别进行业务分离式SMDP处理，确定在各状态下各业务所对应的业务分离概率策略，并通过所述系统在相对应状态下的业务数量对各业务分离概率策略进行增量补偿；

根据所述系统中各业务所对应的网络类型，对完成增量补偿的各业务分离概率策略分别进行网络分离式SMDP处理，确定各业务在各网络中的所对应的网络分离概率策略，并通过所述系统在各网络中的业务数量对各网络分离概率策略进行增量补偿；

将完成增量补偿后的各网络分离概率策略确定为所述系统中的各业务在各网络中的呼叫控制策略。

2.如权利要求1所述的方法，其特征在于，在对所述系统中当前的各业务分别进行业务分离式SMDP处理之前，还包括：

在对所述系统进行呼叫控制策略算法初始化时，建立空白的呼叫控制策略列表。

3.如权利要求2所述的方法，其特征在于，所述将完成增量补偿后的各网络分离概率策略确定为所述系统中的各业务在各网络中的呼叫控制策略，具体为：

将完成增量补偿的各网络分离概率策略写入所述呼叫控制策略列表，以使系统根据所述呼叫控制策略列表中的网络分离概率策略对相应状态下的业务进行呼叫控制。

4.如权利要求1所述的方法，其特征在于，所述对所述系统中在各状态下的各业务分别进行业务分离式SMDP处理，确定在各状态下各业务所对应的业务分离概率策略，并通过所述系统在相对应状态下的业务数量对各业务分离概率策略进行增量补偿，具体为：

选择所述系统的一个状态，并对所述系统在所述状态下的各业务进行业务分离式SMDP处理，确定在所述状态下各业务所对应的业务分离概率策略，并通过所述系统在所述状态下的业务数量对各业务分离概率策略进行增量补偿，选择所述系统的其他状态，重复以上操作，确定在各状态下各业务所对应的业务分离概率策略，并通过所述系统在相对应状态下的业务数量对各业务分离概率策略进行增量补偿。

5.如权利要求1所述的方法，其特征在于，当根据所述系统中全部接入网各业务的呼叫数，确定所述系统所对应的各状态时，所述根据所述系统中各业务所对应的网络类型，对完成增量补偿的各业务分离概率策略分别进行网络分离式SMDP处理，确定各业务在各网络中的所对应的网络分离概率策略，并通过所述系统在各网络中的业务数量对各网络分离概率策略进行增量补偿，具体为：

根据所述系统中在各状态下的各业务所对应的网络类型，对完成增量补偿的各业务分离概率策略分别进行网络分离式SMDP处理，确定在各状态下各业务在各网络中的所对应的网络分离概率策略，并通过所述系统在相对应状态下各网络中的业务数量对各网络分离概率策略进行增量补偿。

6.如权利要求1、4、5中的任意一项所述的方法，其特征在于，所述方法，具体为：

(1)根据所述系统中全部接入网各业务的呼叫数，确定所述系统所对应的各联合业务状态；

(2)在所述系统的各联合业务状态中选择一个联合业务状态，确定所述联合业务状态下的业务数量；

(3)在所述联合业务状态下，对所述系统中的各业务进行业务分离式SMDP处理，并根据所述联合业务状态下的业务数量对所述业务分离式SMDP处理的结果进行增量补偿；

(4)在所述联合业务状态下，对所述系统中的一个业务的业务分离式SMDP处理结果进行网络分离式SMDP处理，并根据所述联合业务状态下的业务数量对所述业务的网络分离式SMDP处理的结果进行增量补偿；

(5)根据增量补偿的结果确定所述联合业务状态下的所述业务所对应的呼叫控制策略；

(6)判断所述系统中是否还存在未确定呼叫控制策略的其他业务，如果有，返回(4)，确定所述其他业务所对应的呼叫控制策略，如果没有，继续执行(7)；

(7)判断是否还存在未确定呼叫控制策略的其他联合业务状态，如果有，返回(2)，确定所述其他联合业务状态下的各业务所对应的呼叫控制策略，如果没有，完成呼叫控制策略的确定过程。

Images