CN105246124A - 一种异构无线网络联合接纳控制方法 - Google Patents

Abstract

本发明涉及一种异构无线网络联合接纳控制方法，所述方法包括：定义系统状态空间；确定网络整体能耗；设置行动集合；确定收益模型；求状态转移概率及最大化的长期预期收益；采用改进值迭代算法，得到最优策略。本发明采用最优接纳控制在网络状态和业务阻塞率/掉线率变化的情况下，能够基于上述资源自适应地决策控制允许还是拒绝呼叫接入或者切换，获得最小的能耗；采用网络整体能耗模型，降低了切换掉线率和呼叫阻塞率同时，有效保证了整个系统的QoS，资源达到高效利用，使得两者达到均衡；基于半马尔科夫决策过程得到了整个网络控制接纳决策策略，降低了算法的计算量和复杂度。

Description

一种异构无线网络联合接纳控制方法

技术领域

本发明涉及计算机通信技术领域，特别涉及一种异构无线网络联合呼叫控制策略的确定方法。

背景技术

随着异构无线网络技术的发展，智能终端不断普及，其实现的不仅仅是技术的融合，更是可以满足用户永远获得最佳连接(ABC，AlwaysBestConnected)的网络服务。仅靠一种无线通信技术或者一种组网方式将无法满足用户随时随地高质量地获取ABC的无线服务需求，因此，异构网络融合的概念应运而生。ABC的目标是保证用户使用多模终端可以在任何可接入的无线技术间通信，支持更多的用户并且提供高速服务。对于服务集成的异构无线网络来说，保障服务质量(QoS，QualityofService)的核心技术是呼叫接纳控制(CAC，CallAdmissionControl)。

传统呼叫接入控制问题是一种资源分配策略，主要是根据接入网络的用户数量进行控制，达到减少网络拥塞，保证QoS的目的。

在异构无线网络当中，需要CAC来适应技术的新变化，主要包括：丰富的多媒体服务(例如声音、视频、数据等)需要提供不同的QoS保障；不同网络技术有不同的准入机制；各种资源高效管理利用等等。考虑到用户的移动性以及不同的链路状况，联合呼叫接入控制问题变得更加复杂。一般情况下，异构网络环境存在两种类型的呼叫：新产生的呼叫和切换呼叫。新呼叫是当前网络范围内移动终端发起的；切换呼叫则是指别的网络范围内的移动终端由于用户的移动性产生的呼叫。联合接纳控制是在保障现有呼叫的QoS基础之上，尽可能多地接纳新呼叫来达到提高系统资源利用率的目的。联合接纳控制的作用是对不同呼叫类型发起连接请求时，根据优化决策策略，做出是否接纳呼叫请求的判断。

目前，已有的许多研究成果都使用了SMDP(Semi-MarkovDecisionProcess，半马尔可夫决策过程)对联合呼叫接入控制问题进行建模。马尔科夫决策过程(MDP，MarkovDecisionProcess)是基于马尔科夫过程理论的随机动态系统的最优决策过程，是马尔科夫过程与确定性的动态规划相结合的产物。SMDP是MDP的一种特例，决策时刻随机发生在离散分布的时间内。

现有接纳控制技术至少存在如下问题：接纳控制策略设计目标单一，主要是集中在带宽、容量或者公平性等性能参数，模型获得的收益仅仅是局部的、单一的，不是全面的整体收益；无法动态自适应网络状态的变化，传统的基于定义保护信道阈值的方法在数据业务为主的网络中可以很好地被应用，但在以多媒体业务为主的异构无线网络中，对业务QoS保证的需求和对拥塞度的控制需要权衡折中；利用马尔科夫决策算法发现优化策略的计算量过大，不利于异构无线网络接纳控制的高效、实时的实现。

发明内容

针对现有接纳控制技术中存在的问题，本发明提供一种基于用户服务质量和网络能耗的联合接纳控制方法，利用半马尔科夫决策SMDP建立优化联合接纳控制模型，以最小化网络整体能耗和最优化用户服务质量为目标，使用半马尔科夫决策过程的五元组描述优化问题，通过改进的值迭代算法得到异构无线网络的接纳控制决策策略，并得到异构无线网络的最大长期预期收益，该收益值同时考虑了系统接纳呼叫的收益和拒绝接入的成本支出。因此，本发明方法能在掉线率和阻塞率动态自适应网络环境变化的情况下，降低网络能耗，对保证用户服务质量和提高系统性能有很高的实用价值。

本发明提供一种异构无线网络联合接纳控制方法，应用于两种类型的异构网络的系统中，所述系统中存在至少两种业务，所述方法具体包括：

S1.根据接入异构无线网络系统中各业务的呼叫数，确定所述系统所对应的状态。

S2.确定评价联合呼叫接纳机制优化策略的标准，对影响服务质量的参数和接纳控制开销，按照“最小化网络能耗，最优化用户服务质量”两个目标，得到联合接纳控制下的网络整体能耗。

S3.移动终端用户向异构无线网络系统发出请求，申请使用异构无线网络服务；异构无线网络接纳控制系统根据接收到的服务请求和当前整个网络状态，建立行动集合。

S4.针对所述行动集合的每一行动，计算异构无线网络的收益值。

S5.根据无线网络系统中各个状态下的业务，确定在各状态下业务所对应的状态转移概率，计算异构无线网络的长期预期收益值。

S6.异构无线网络接纳控制系统根据步骤S5计算得到的长期预期收益进行分域的半马尔科夫决策SMDP处理，确定是否接纳当前服务请求，如果接受则选取长期预期收益最大的行动，为服务请求分配步骤S2计算得到的网络整体能耗。

进一步地，步骤S1所述异构无线网络系统状态是指在每个决策时刻正在运行的不同业务数量以及在该网络区域中所发生的事件的集合，所述异构无线网络系统状态描述为：

S＝S(l,e),l＝(n_i,1,n_i,2,…n_i,k,n_j,1,n_j,2,…n_j,k)

其中：k为业务类型的数量；n为不同业务类型的呼叫服务数量；i为Overlay网络，n_i,k为决策起始阶段网络i的呼叫总数，j为Underlay网络，n_j,k为网络j的呼叫总数。e为发生的事件，用集合e＝{r₁,r₂,…r_k,d₁,d₂,…d_k}表示，r_k表示业务类型k的状态是到达网络，d_k表示业务类型k的状态是已完成服务离开网络。

进一步地，步骤S2所述联合接纳控制下的网络整体能耗为：

$\min g_{\mathrm{\π}}={\mathrm{\Σ}}_{k=1}^L{C}_R^k{\mathrm{\λ}}_k{P}_B^k$

其中，ming_π是在优化控制策略下的网络能耗最小值，是拒绝业务k时产生的开销，λ_k是业务k的到达率，是业务k的阻塞概率，L是呼叫总体数量。以系统不必要的开销最小为目标，可降低系统整体开销，以此提高网络整体效用。

进一步地，步骤S3所述行动集合为：

A(s)∈{"拒绝","接受","无作为"}＝{0,1,2}

其中，A(s)的值表示有移动终端用户到达网络申请网络服务时，异构无线网络接纳控制系统需要根据网络状态和业务类型做出接纳控制决策：A(s)＝0表示拒绝服务请求；A(s)＝1表示接受服务请求；A(s)＝2表示用户离开系统时，不采取任何行为控制，系统继续运行。

进一步地，步骤S4计算异构无线网络收益值的公式如下：

r(s,a)＝k(s,a)-β(s,a)c(s,a)

其中，k(s,a)是系统在状态s下选择行动a获得的收益，β(s,a)是当前状态s选择行动a后转移到下一个系统状态j所预期的服务时间，c(s,a)为预先设定了系统状态s下选择行动a的支出。

β(s,a)服从指数分布，其计算公式为：

$\mathrm{\&beta;}(<s_n,s_h,j>,a)=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_0={\mathrm{\&lambda;}}_n+{\mathrm{\&lambda;}}_h+s_n{\mathrm{\&mu;}}_n+s_h{\mathrm{\&mu;}}_h,& a=a_c,a=a_R\\ {\mathrm{\&beta;}}_0+{\mathrm{\&mu;}}_n,& a=a_A,b=A_n\\ {\mathrm{\&beta;}}_0+{\mathrm{\&mu;}}_h,& a=a_A,b=A_h\end{array}\right.$

其中，λ_n是新呼叫到达率，λ_h是切换呼叫到达率，S_n是新呼叫总数，S_h是切换呼叫总数，μ_n是新呼叫逗留时间，μ_h是切换呼叫逗留时间，a_c是不采取任何行为，a_R是拒绝行为，a_A是接受行为，j代表下一个状态，A_n是新呼叫到达，A_h是切换呼叫到达。

进一步地，步骤S5所述计算异构无线网络的长期预期收益值的方法如下：

应用SMDP的折扣收益模型，得到在决策时间点之间的期望折扣收益：

$r(s,a)=k(s,a)-\frac{c(s,a)}{\mathrm{\&alpha;}+\mathrm{\&beta;}(s,a)}$

其中α为连续时间下的折扣率。所述决策时间点是指一个呼叫请求到达系统或者一个已经完成服务离开系统的事件发生，需要做决策的时间点。

针对所述行动集合S中的每一行动按下式进行计算，得到系统长期预期收益

$V_{\mathrm{\&alpha;}}^{d^{\&infin;}}\left(s\right)=r(s,d)+\frac{\mathrm{\&beta;}(s,d)}{\mathrm{\&alpha;}+\mathrm{\&beta;}(s,d)}\underset{j\&Element;S}{\mathrm{\&Sigma;}}p\left(j\right|s,d)V_{\mathrm{\&alpha;}}^{d^{\&infin;}}\left(j\right).$

其中，p(j|s,d)表示系统在状态s、选取行动为d时，系统转移到状态j的状态转移概率。

采用离散折扣马尔科夫决策模型，获得离散的系统收益值，得到最大化的长期预期收益。方法如下：

移动终端用户向异构无线网络系统发出请求，申请使用异构无线网络服务；

找到一个满足公式[1-p(s|s,a)]β(s,a)≤c,a∈A(s)的常数c，p(s|s,a)为保持状态下的转移概率。令c＝λ_n+λ_h+C*max(μ_n,μ_h)，其中C为网络容量。状态空间、行为集合与步骤S1、S3定义一致。进行归一化处理，得到归一化后的状态转移概率长期预期收益和收益函数上述三个量的归一化方法相同，状态转移概率归一化公式为：

$\tilde{p}\left(j\right|s,a)=\left\{\begin{array}{cc}1-\frac{[1-p\left(s\right|s,s)]\mathrm{\&beta;}(s,a)}{c}& j=s\\ \frac{p\left(j\right|s,a)\mathrm{\&beta;}(s,a)}{c}& j\&NotEqual;s\end{array}\right.$

其中，j为下一个状态，s为当前状态，a为采取的行动。

得到最大化的长期预期收益：

${\tilde{V}}_{\mathrm{\&alpha;}}^{d^{\&infin;}}\left(s\right)=\underset{a\&Element;A\left(s\right)}{\max }\{\tilde{r}(s,d)+\frac{\mathrm{\&beta;}(s,d)}{\mathrm{\&alpha;}+\mathrm{\&beta;}(s,d)}\underset{j\&Element;S}{\mathrm{\&Sigma;}}\tilde{p}\left(j\right|s,d){\tilde{V}}_{\mathrm{\&alpha;}}^{d^{\&infin;}}\left(j\right)\}$

其中，表示离散化后的转移概率。

进一步地，步骤S6所述确定最优的联合接纳控制策略的方法如下：

采用改进的值迭代算法，对多种状态进行分域决策判决，迭代公式如下：

$\begin{array}{c}{V}^{n+1}=\max ({V_1}^n(n_{i,k},n_{j,k}),r_{\mathrm{NBC}}+{V_1}^n(n_{i,k}+1,n_{j,k}))+\max ({V_2}^n(n_{i,k},n_{j,k}),r_{\mathrm{NBW}}+{V_n}^2(n_{i,k},n_{j,k}+1))\\ +\max ({V_3}^n(n_{i,k},n_{j,k}),r_{\mathrm{HDCC}}+{V_3}^n(n_{i,k}+1,n_{j,k}))+\max ({V_4}^n(n_{i,k}-1,n_{j,k}),r_{\mathrm{HDCW}}+{V_4}^n(n_{i,k}-1,n_{j,k}+1))\\ +\max (({V_5}^n(n_{i,k},n_{j,k}-1),r_{\mathrm{HDWC}}+{V_5}^n(n_{j,k}+1,n_{j,k}-1))+{V_6}^n(n_{i,k}-1,n_{j,k})+{V_7}^n(n_{i,k},n_{j,k}-1)+{V_8}^n(n_{i,k}-1,n_{j,k})\\ +(1-\frac{\mathrm{\&beta;}(s,d)}{\mathrm{\&alpha;}+\mathrm{\&beta;}(s,d)}){V_9}^n(n_{i,k},n_{j,k})\end{array}$

其中，Vⁿ⁺¹代表下一个状态的长期预期收益值，下标NBC代表Overlay网络新到呼叫，NBW是Underlay网络新到呼叫，HDCC是网络Overlay间的切换呼叫，HDCW是网络Overlay切换到网络Underlay的呼叫，HDWC是网络Underlay切换到网络Overlay的呼叫。共计九种网络系统状态：前三种是新呼叫到达状态，第四和第五是切换呼叫到达状态，第六到八是离开状态，第九是保持状态。根据划分的九种网络系统状态，分别进行决策判决，当新呼叫接入异构无线网络系统所产生的长期预期收益值大于给定阈值时，允许其接入；反之，拒绝其接入；当切换呼叫接入异构无线网络系统所产生的长期预期收益值大于给定阈值时，允许其接入；反之，拒绝其接入。

本发明基于用户服务质量和网络能耗进行分域式SMDP处理，将联合接纳控制问题转换成分域式SMDP模型，与现有技术相比主要具有以下优点：一是采用最优接纳控制在网络状态和业务阻塞率/掉线率变化的情况下，能够基于上述资源自适应地决策控制允许还是拒绝呼叫接入或者切换，获得最小的能耗；二是采用网络整体能耗模型，降低了切换掉线率和呼叫阻塞率同时，有效保证了整个系统的QoS，资源达到高效利用，使得两者达到均衡；三是基于半马尔科夫决策过程(SMDP)得到了整个网络控制接纳决策策略，降低了算法的计算量和复杂度。

与快速共享算法对接纳控制的策略相比，应用由本发明提出的联合接纳控制模型得到的优化模型，可大幅度降低网络能耗。由图3和图4可知，随着网络负载的增加，本发明的网络能耗与快速共享算法相比降低了至少50％以上(如图3所示)，同时本发明的阻塞率与快速共享算法相比，随着网络负载的增加其增长相对缓慢，说明整个模型的服务质量得到有力保证。

附图说明

图1异构无线网络的场景示意图，图中λ_c代表网络Overlay新呼叫到达率，λ_w代表网络Underlay新呼叫到达率，λ_hcc代表网络Overlay切换呼叫到达率，η_hcw代表网络Overlay切换到Unerlay呼叫到达率，η_hwc代表网络Underlay切换到Overlay呼叫到达率。

图2本发明的方法流程图。

图3本发明的网络能耗与快速完全共享算法对比图。

图4本发明的阻塞率与快速完全共享算法对比图。

具体实施方式

下面给出优选的实施例并结合附图详细说明。本实施例只是用于对本发明的具体说明，并不限制本发明的应用范围。

本发明应用在异构无线网络环境中，异构无线网络示意图如图1所示。

无线接入技术按照无线覆盖范围的大小分为两种类型无线技术：Overlay和Underlay网络。本实施例的Overlay以WiMAX为例，Underlay以WLAN为例。在异构无线网络环境中，考虑到用户的移动性以及不同的链路状况，联合呼叫接入控制问题变得更加复杂。正在进行的呼叫可能由于用户漫游到另一个小区或WLAN热区，形成垂直切换，但是该呼叫可能无法在新小区获得资源，引起呼叫中断，垂直切换失败。由于呼叫中断要比新呼叫阻塞更加难以接受，故通常认为垂直切换有较高的优先级。新呼叫阻塞率和切换呼叫阻塞率是衡量呼叫接入控制策略的重要指标。

图1中移动终端分布处于不同的无线技术覆盖的区域内，可能产生五种接入业务。假设新业务到达Overlay和Underlay区域的过程均服从无记忆性的泊松分布，用户在两个区域内的逗留时间服从参数为μ_c和μ_w的指数分布，即服务时间也是无记忆性的。本发明实施例关注其中一个Underlay区域，分析业务以及业务所产生的开销，如表1所示，分为五种：①在异构无线网络中Overlay区域内新产生的业务；②在Underlay区域内新产生的业务；③由相邻异构网络进入到该网络的业务；④由Overlay切换到Underlay的业务；⑤由Underlay切换到Overlay的业务。

表1新呼叫/切换呼叫拒绝成本

本发明所提出的基于用户质量和网络能耗的联合接纳控制模型的目标就是通过充分利用异构无线网络资源，使得系统能获得整体最大收益，同时提高用户服务质量。本发明提出的联合接纳控制优化策略，不仅考虑收益，同时考虑用户新业务和切换业务被拒绝产生的支出，如表1所示。

图2是本发明实施例的流程图，具体包括：

1)定义系统状态空间

定义基于半马尔科夫的异构无线网络联合接纳控制决策模型的系统状态为在每个决策时刻正在运行的不同业务数量以及在该网络区域中所发生的事件的集合，系统状态描述为：

S＝S(l,e)l＝(n_i,1,n_i,2,…n_i,k,n_j,1,n_j,2,…n_j,k)(1)

式中与发明内容部分相同的量含义也相同，不再重复进行说明。下同。

2)确定网络整体能耗

对影响服务质量的参数和接纳控制开销，按照“最小化网络能耗，最优化用户服务质量”两个目标，得到联合接纳控制下的网络整体能耗。网络整体能耗模型为：

$\min g_{\mathrm{\&pi;}}={\mathrm{\&Sigma;}}_{k=1}^L{C}_R^k{\mathrm{\&lambda;}}_k{P}_B^k---\left(2\right)$

其中，是拒绝业务k时产生的开销，λ_k是业务k的到达率，是业务k的阻塞概率，L是呼叫总体数量。

3)设置行动集合

当有业务到达网络并申请网络服务时，系统需要根据网络状态和业务类型做出接纳控制决策，即需要决定是否接纳该请求，这些决策统称为行为。业务离开系统时，不采取任何行为控制，系统继续运行。用以下集合表示：A(s)∈{"拒绝","接受","无作为"}＝{0,1,2}，其中，有移动终端用户到达网络，申请网络服务时，系统需要根据网络状态和业务类型做出接纳控制决策，A(s)＝0表示拒绝服务请求，A(s)＝1表示接受服务请求。用户离开系统时，不采取任何行为控制，系统继续运行，即A(s)＝2。

4)确定收益模型

根据系统状态和对应的行动，可以预估一个异构无线网络中接纳行为获得的收益，计算公式如下：

r(s,a)＝k(s,a)-β(s,a)c(s,a)(3)

$k(s,a)=\left\{\begin{array}{cc}0,& a=a_c,a=a_R,\mathrm{anyb}\\ R_n,& a=a_A,b=A_n\\ R_h,& a=a_A,b=A_h\end{array}\right.---\left(4\right)$

$c(s,a)=\left\{\begin{array}{cc}-f(s_n,s_h),& a=a_c,a=a_R,\mathrm{anyb}\\ -f(s_n+1,s_h),& a=a_A,b=A_n\\ -f(s_n,s_h+1),& a=a_A,b=A_h\end{array}\right.---\left(5\right)$

其中，f(s_n,s_h)表示在状态为s、选取的行动为a时的支出函数。anyb表示网络中任一事件。

5)求状态转移概率及最大化的长期预期收益

决策时间点是指一个呼叫请求到达系统或者一个已经完成服务离开系统的事件发生，需要做决策的时间点。β(s,a)服从指数分布，用公式表示如下：

F(t|s,a)＝1-e^-β(s,a)t,t≥0(6)

$\mathrm{\&beta;}(<s_n,s_h,j>,a)=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_0={\mathrm{\&lambda;}}_n+{\mathrm{\&lambda;}}_h+s_n{\mathrm{\&mu;}}_n+s_h{\mathrm{\&mu;}}_h,& a=a_c,a=a_R\\ {\mathrm{\&beta;}}_0+{\mathrm{\&mu;}}_n,& a=a_A,b=A_n\\ {\mathrm{\&beta;}}_0+{\mathrm{\&mu;}}_h,& a=a_A,b=A_h\end{array}\right.---\left(7\right)$

其中，λ_n是新呼叫到达率，λ_h是切换呼叫到达率，S_n是新呼叫总数，S_h是切换呼叫总数，μ_n是新呼叫逗留时间，μ_h是切换呼叫逗留时间，a_c是不采取任何行为，a_R是拒绝行为，a_A是接受行为，b代表下一个状态，A_n是新呼叫到达，A_h是切换呼叫到达。

应用SMDP的折扣收益模型，在决策时间之间的期望折扣收益可以表示为：

$\begin{array}{c}r(s,a)=k(s,a)-c(s,a)E_s^a\left\{{\&Integral;}_0^t{e}^{-\mathrm{\&alpha;\&tau;}}\mathrm{d\&tau;}\right\}\\ =k(s,a)-c(s,a)E_s^a\left\{\right[1-e^{-\mathrm{\&alpha;t}}]/\mathrm{\&alpha;}\}\\ =k(s,a)-\frac{c(s,a)}{\mathrm{\&alpha;}+\mathrm{\&beta;}(s,a)}\end{array}---\left(8\right)$

其中，表示求期望运算，t为决策时间点。

通过量化迭代得到长期期望收益

$V_{\mathrm{\&alpha;}}^{d^{\&infin;}}\left(s\right)=r(s,d)+\frac{\mathrm{\&beta;}(s,d)}{\mathrm{\&alpha;}+\mathrm{\&beta;}(s,d)}\underset{j\&Element;S}{\mathrm{\&Sigma;}}p\left(j\right|s,d)V_{\mathrm{\&alpha;}}^{d^{\&infin;}}\left(j\right)---\left(9\right)$

考虑到收益函数是时间的连续函数，为了能够利用离散折扣马尔科夫决策模型获得系统整体收益，需要对其进行归一化处理。即找到一个常数c使其满足[1-p(s|s,a)]β(s,a)≤c,a∈A(s)，就可以得到离散后的期望收益。令c＝λ_n+λ_h+C*max(μ_n,μ_h)，则有：

$\tilde{p}\left(j\right|s,a)=\left\{\begin{array}{cc}1-\frac{[1-p\left(s\right|s,s)]\mathrm{\&beta;}(s,a)}{c}& j=s\\ \frac{p\left(j\right|s,a)\mathrm{\&beta;}(s,a)}{c}& j\&NotEqual;s\end{array}\right.---\left(10\right)$

由此，在状态s＝<s_n,s_h,D>，其中S_n表示新呼叫数，S_h表示切换呼叫数，D表示离开事件。同时a＝a_c＝2时，表示异构无线网络接纳控制系统状态继续，状态转移概率可以转化为

$\tilde{p}\left(j\right|s,a)=\left\{\begin{array}{cc}{\mathrm{\&lambda;}}_n/c,& j=<s_n,s_h,A_n>\\ {\mathrm{\&lambda;}}_h/c,& j=<s_n,s_h,A_h>\\ s_n{\mathrm{\&mu;}}_n/c,& j=<{\stackrel{\&OverBar;}{s}}_n,s_h,D>\\ s_h{\mathrm{\&mu;}}_h/c,& j=<s_n,{\stackrel{\&OverBar;}{s}}_h,D>\\ (c-{\mathrm{\&beta;}}_0)/c,& j=s\end{array}\right.---\left(11\right)$

同理，在状态s＝<s_n,s_h,A_n<，同时a＝a_R＝0时，得到状态转移概率：

$\tilde{p}\left(j\right|s,a)=\left\{\begin{array}{cc}(c+{\mathrm{\&lambda;}}_n-{\mathrm{\&beta;}}_0)/c,& j=<s_n,s_h,A_n>\\ {\mathrm{\&lambda;}}_h/c,& j=<s_n,s_h,A_h>\\ s_n{\mathrm{\&mu;}}_n/c,& j=<{\stackrel{\&OverBar;}{s}}_n,s_h,D>\\ s_h{\mathrm{\&mu;}}_h/c,& j=<s_n,{\stackrel{\&OverBar;}{s}}_h,D>\end{array}\right.---\left(12\right)$

同样的，s＝<s_n,s_h,A_h>同时a＝a_R＝0时，得到状态转移概率：

$\tilde{p}\left(j\right|s,a)=\left\{\begin{array}{cc}{\mathrm{\&lambda;}}_n/c,& j=<s_n,s_h,A_n>\\ (c+{\mathrm{\&lambda;}}_h-{\mathrm{\&beta;}}_0)/c,& j=<s_n,s_h,A_h>\\ s_n{\mathrm{\&mu;}}_n/c,& j=<{\stackrel{\&OverBar;}{s}}_n,s_h,D>\\ s_h{\mathrm{\&mu;}}_h/c,& j=<s_n,{\stackrel{\&OverBar;}{s}}_h,D>\end{array}\right.---\left(13\right)$

另外，在状态s＝<s_n,s_h,A_n>，同时a＝a_A＝1时，得到状态转移概率：

$\tilde{p}\left(j\right|s,a)=\left\{\begin{array}{cc}{\mathrm{\&lambda;}}_n/c,& j=<s_n+1,s_h,A_n>\\ {\mathrm{\&lambda;}}_h/c,& j=<s_n+1,s_h,A_h>\\ (s_n+1){\mathrm{\&mu;}}_n/c,& j=<s_n,s_h,D>\\ s_h{\mathrm{\&mu;}}_h/c,& j=<s_n+1,{\stackrel{\&OverBar;}{s}}_h,D>\\ (c-{\mathrm{\&beta;}}_0-{\mathrm{\&mu;}}_n)/c,& j=s\end{array}\right.---\left(14\right)$

最后，在状态s＝<s_n,s_h,A_h>，同时a＝a_A＝1时，得到状态转移概率：

$\tilde{p}\left(j\right|s,a)=\left\{\begin{array}{cc}{\mathrm{\&lambda;}}_n/c,& j=<s_n,s_h+1,A_n>\\ {\mathrm{\&lambda;}}_h/c,& j=<s_n,s_h+1,A_h>\\ s_n{\mathrm{\&mu;}}_n/c,& j=<{\stackrel{\&OverBar;}{s}}_n,s_h+1,D>\\ (s_h+1){\mathrm{\&mu;}}_h/c,& j=<s_n,s_h,D>\\ (c-{\mathrm{\&beta;}}_0-{\mathrm{\&mu;}}_h)/c,& j=s\end{array}\right.---\left(15\right)$

因此，在归一化处理后，得到最大化的长期预期收益为：

${\tilde{V}}_{\mathrm{\&alpha;}}^{d^{\&infin;}}\left(s\right)=\underset{a\&Element;A\left(s\right)}{\max }\{\tilde{r}(s,d)+\frac{\mathrm{\&beta;}(s,d)}{\mathrm{\&alpha;}+\mathrm{\&beta;}(s,d)}\underset{j\&Element;S}{\mathrm{\&Sigma;}}\tilde{p}\left(j\right|s,d){\tilde{V}}_{\mathrm{\&alpha;}}^{d^{\&infin;}}\left(j\right)\}---\left(16\right)$

6)采用改进值迭代算法，得到最优策略

本发明提出一种改进的值迭代算法，对多种状态进行分域决策判决，大大降低了实现难度。迭代公式如下：

$\begin{array}{c}{V}^{n+1}=\max ({V_1}^n(n_{i,k},n_{j,k}),r_{\mathrm{NBC}}+{V_1}^n(n_{i,k}+1,n_{j,k}))+\max ({V_2}^n(n_{i,k},n_{j,k}),r_{\mathrm{NBW}}+{V_n}^2(n_{i,k},n_{j,k}+1))\\ +\max ({V_3}^n(n_{i,k},n_{j,k}),r_{\mathrm{HDCC}}+{V_3}^n(n_{i,k}+1,n_{j,k}))+\max ({V_4}^n(n_{i,k}-1,n_{j,k}),r_{\mathrm{HDCW}}+{V_4}^n(n_{i,k}-1,n_{j,k}+1))\\ +\max (({V_5}^n(n_{i,k},n_{j,k}-1),r_{\mathrm{HDWC}}+{V_5}^n(n_{i,k}+1,n_{j,k}-1))+{V_6}^n(n_{i,k}-1,n_{j,k})+{V_7}^n(n_{i,k},n_{j,k}-1)\\ {V_8}^n(n_{i,k}-1,n_{j,k})+(1-\frac{\mathrm{\&beta;}(s,d)}{\mathrm{\&alpha;}+\mathrm{\&beta;}(s,d)}){V_9}^n(n_{i,k},n_{j,k})\end{array}---\left(17\right)$

公式(17)反映了九种状态，前两种是新呼叫到达状态，第三种是水平切换呼叫到达状态，第四和第五是垂直切换呼叫到达状态，第六到八是离开状态，第九是保持状态。根据划分的九种系统状态，分别进行决策判决，得到最优决策策略。当新呼叫接入异构无线网络系统所产生的长期预期收益值大于给定阈值时，允许其接入，而当新呼叫接入产生的长期预期收益小于阈值时，拒绝其接入；当切换呼叫接入异构无线网络系统所产生的长期预期收益值大于给定阈值时，允许其接入，而当切换呼叫接入产生的长期预期收益小于阈值时，拒绝其接入。

Claims (7)

1.一种异构无线网络联合接纳控制方法，其特征在于包括以下步骤：

S1.根据接入异构无线网络系统中各业务的呼叫数，确定所述系统所对应的状态；

S2.确定评价联合呼叫接纳机制优化策略的标准，对影响服务质量的参数和接纳控制开销，按照“最小化网络能耗，最优化用户服务质量”两个目标，得到联合接纳控制下的网络整体能耗；

S3.移动终端用户向异构无线网络系统发出请求，申请使用异构无线网络服务；异构无线网络接纳控制系统根据接收到的服务请求和当前整个网络状态，建立行动集合；

S4.针对所述行动集合的每一行动，计算异构无线网络的收益值；

S5.根据无线网络系统中各个状态下的业务，确定在各状态下业务所对应的状态转移概率，计算异构无线网络的长期预期收益值；

S6.异构无线网络接纳控制系统根据步骤S5计算得到的长期预期收益，进行分域的半马尔科夫决策SMDP处理，确定是否接纳当前服务请求，如果接纳则选取长期预期收益最大的行动，为服务请求分配步骤S2计算得到的网络整体能耗。

2.根据权利要求1所述的一种异构无线网络联合接纳控制方法，其特征在于，步骤S1所述异构无线网络系统状态是指在每个决策时刻正在运行的不同业务数量以及在该网络区域中所发生的事件的集合，所述异构无线网络系统状态描述为：

S＝S(l,e),l＝(n_i,1,n_i,2,…n_i,k,n_j,1,n_j,2,…n_j,k)

其中：k为业务类型的数量；n为不同业务类型的呼叫服务数量；i为Overlay网络，n_i,k为决策起始阶段网络i的呼叫总数，j为Underlay网络，n_j,k为网络j的呼叫总数；e为发生的事件，用集合e＝{r₁,r₂,…r_k,d₁,d₂,…d_k}表示，r_k表示业务类型k的状态是到达网络，d_k表示业务类型k的状态是已完成服务离开网络。

3.根据权利要求1所述的一种异构无线网络联合接纳控制方法，其特征在于，步骤S2所述联合接纳控制下的网络整体能耗为：

其中，ming_π是在优化控制策略下的网络能耗最小值，是拒绝业务k时产生的开销，λ_k是业务k的到达率，是业务k的阻塞概率，L是呼叫总体数量。

4.根据权利要求1所述的一种异构无线网络联合接纳控制方法，其特征在于，步骤S3所述行动集合为：

A(s)∈{"拒绝","接受","无作为"}＝{0,1,2}

其中，A(s)的值表示有移动终端用户到达网络申请网络服务时，异构无线网络接纳控制系统需要根据网络状态和业务类型做出接纳控制决策：A(s)＝0表示拒绝服务请求；A(s)＝1表示接受服务请求；A(s)＝2表示用户离开系统时，不采取任何行为控制，系统继续运行。

5.根据权利要求1～4任意一项所述的一种异构无线网络联合接纳控制方法，其特征在于，步骤S4计算异构无线网络收益值的公式如下：

r(s,a)＝k(s,a)-β(s,a)c(s,a)

其中，k(s,a)是系统在状态s下选择行动a获得的收益，β(s,a)是当前状态s选择行动a后转移到下一个系统状态j所预期的服务时间，c(s,a)为预先设定了系统状态s下选择行动a的支出；

所述β(s,a)服从指数分布，其计算公式为：

其中，λ_n是新呼叫到达率，λ_h是切换呼叫到达率，S_n是新呼叫总数，S_h是切换呼叫总数，μ_n是新呼叫逗留时间，μ_h是切换呼叫逗留时间，a_c是不采取任何行为，a_R是拒绝行为，a_A是接受行为，j代表下一个状态，A_n是新呼叫到达，A_h是切换呼叫到达。

6.根据权利要求5所述的一种异构无线网络联合接纳控制方法，其特征在于，步骤S5所述计算异构无线网络的长期预期收益值的方法如下：

应用SMDP的折扣收益模型，得到在决策时间点之间的期望折扣收益：

其中α为连续时间下的折扣率；所述决策时间点是指一个呼叫请求到达系统或者一个已经完成服务离开系统的事件发生，需要做决策的时间点；

针对所述行动集合S中的每一行动按下式进行计算，得到系统长期预期收益

其中，p(j|s,d)表示系统在状态s、选取行动为d时，系统转移到状态j的状态转移概率；

采用离散折扣马尔科夫决策模型，获得离散的系统收益值，得到最大化的长期预期收益；方法如下：

移动终端用户向异构无线网络系统发出请求，申请使用异构无线网络服务；

找到一个满足公式[1-p(s|s,a)]β(s,a)≤c,a∈A(s)的常数c，p(s|s,a)为保持状态下的转移概率；令c＝λ_n+λ_h+C*max(μ_n,μ_h)，其中C为网络容量；状态空间、行为集合与步骤S1、S3定义一致；进行归一化处理，得到归一化后的状态转移概率长期预期收益和收益函数上述三个量的归一化方法相同，状态转移概率归一化公式为：

其中，j为下一个状态，s为当前状态，a为采取的行动；

得到最大化的长期预期收益：

其中，表示离散化后的转移概率。

7.根据权利要求6所述的一种异构无线网络联合接纳控制方法，其特征在于，步骤S6所述确定最优的联合接纳控制策略的方法如下：

采用改进的值迭代算法，对多种状态进行分域决策判决，迭代公式如下：

其中，Vⁿ⁺¹代表下一个状态的长期预期收益值，下标NBC代表Overlay网络新到呼叫，NBW是Underlay网络新到呼叫，HDCC是网络Overlay间的切换呼叫，HDCW是网络Overlay切换到网络Underlay的呼叫，HDWC是网络Underlay切换到网络Overlay的呼叫；共计九种网络系统状态：前三种是新呼叫到达状态，第四和第五是切换呼叫到达状态，第六到八是离开状态，第九是保持状态；根据划分的九种网络系统状态，分别进行决策判决，当新呼叫接入异构无线网络系统所产生的长期预期收益值大于给定阈值时，允许其接入；反之，拒绝其接入；当切换呼叫接入异构无线网络系统所产生的长期预期收益值大于给定阈值时，允许其接入；反之，拒绝其接入。