CN101335974B - Wlan-cdma网络中实现最优化联合控制业务调度的方法 - Google Patents

Abstract

本发明涉及一种WLAN-CDMA网络中实现最优化联合控制业务调度的方法，包括确定WLAN-CDMA网络中的状态空间以及系统当前的状态、确定对应的动作空间、在动作空间中根据最大化网络运营收益准则决定选择相应的动作、执行被决定选择的动作、更新系统当前的状态、当WLAN-CDMA网络中有下一个事件发生时返回重复执行。采用该种WLAN-CDMA网络中实现最优化联合控制业务调度的方法，能够在同时满足WLAN和CDMA网络的QoS限制的条件下使得网络运营收益达到最大化，能够同时适应WLAN和CDMA网络的多种业务类型和业务条件，有效提高了网络服务质量和运营收益，降低了计算复杂度，而且工作性能稳定可靠，适用范围较为广泛。

Description

WLAN-CDMA网络中实现最优化联合控制业务调度的方法

技术领域

本发明涉及移动通信技术领域，特别涉及可切换WLAN-CDMA网络中的业务调度的控制技术领域，具体是指一种WLAN-CDMA网络中实现最优化联合控制业务调度的方法。

背景技术

WLAN是利用无线通信技术在一定的局部范围内建立的网络，是计算机网络与无线通信技术相结合的产物，是“最后一百米”的固定无线接入解决方案。它以无线多址信道作为传输媒介，提供传统有线局域网LAN的功能，一般用于宽带家庭，大楼内部以及园区内部。无线局域网可以提供相对较高的数据传输速率，802.11a标准可提供最高为54兆/秒(Mbps)的传输速率，但是WLAN的缺点是覆盖范围较小，典型覆盖距离仅为几十米至几百米。CDMA是code division multiple access(码分多址)接入技术的缩写，它是3G通信系统的基础。CDMA蜂窝网络可以提供远大于WLAN网络、几乎无处不在的的无线连接覆盖，但是其数据传输速率却相对较低。它们两者之间的这种互补性质，使得研制可切换的WLAN-CDMA联合网络成为一件非常有意义的工作。而广大用户也将从这种联合的无线网络技术中受益匪浅，他们可以用更低的花费来获得更好的服务性能。

在联合WLAN-CDMA系统中，这两种网络将会分享同一个用户数据库，比如安全管理、帐目管理以及客户管理。因此，同时支持WLAN和CDMA网络的无线终端可以通过漫游切换功能选择性地接入任一网络。显而易见，WLAN网络和CDMA网络之间的切换功能将为在这两种网络中移动穿行的用户提供不间断的无线业务服务，它也是实现这种联合网络的关键之一。此系统的的典型架构请参阅图1所示。

尽管在联合WLAN-CDMA网络方面已经有了一些相关研究，但是大部分工作都集中在设计支持漫游、切换的网络架构方面；而在满足服务质量(QoS)限制的情况下如何更优地利用两种网络环境中的无线资源方面还没有深入的研究；而同时，现有技术中，准入控制方案在这两个网络中总是被分开单独分析，而WLAN-CDMA系统的联合无线资源管理在很大程度上被忽略了；这些针对单一网络进行优化的准入控制方案对于联合系统来说往往不是最优的。譬如，出现在WLAN覆盖区域中的业务请求应该有选择性地被允许接入到CDMA网络中以避免WLAN网络中潜在的拥塞危险，而非总是被接入到WLAN网络中。WLAN与CDMA网络之间的相互影响是在这个联合网络系统的设计中扮演着重要的角色，因此单独考虑一种网络的方案可能导致优化结果不满足联合系统的性能要求。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种能够同时适应WLAN和CDMA网络的多种业务类型和业务条件、有效提高网络服务质量和运营收益、降低计算复杂度、工作性能稳定可靠、适用范围较为广泛的WLAN-CDMA网络中实现最优化联合控制业务调度的方法。

为了实现上述的目的，本发明的WLAN-CDMA网络中实现最优化联合控制业务调度的方法如下：

该WLAN-CDMA网络中实现最优化联合控制业务调度的方法，其主要特点是，所述的方法包括以下步骤：

(1)确定WLAN-CDMA网络中的状态空间以及系统当前的状态；

(2)在所述的状态空间中确定对应的动作空间；

(3)在所述的动作空间中根据最大化网络运营收益准则决定选择相应的动作；

(4)执行该被决定选择的动作；

(5)更新系统当前的状态；

(6)当WLAN-CDMA网络中有下一个事件发生时，返回上述步骤(2)。

该WLAN-CDMA网络中实现最优化联合控制业务调度的方法的确定WLAN-CDMA网络中的状态空间以及系统当前的状态包括以下步骤：

(1)根据以下公式确定WLAN网络中的业务行向量X_w(t)：

X_w(t)＝[n_w，1(t)，n_w，2(t)，...n_w，J(t)]，其中n_w，j(t)，j＝1，…，J为大于等于0的整数，代表WLAN网络中第j类业务的数量；

(2)根据以下公式确定CDMA网络中的业务行向量X_c(t)：

X_c(t)＝[n_c，1(t)，n_c，2(t)，...n_c，J(t)]，其中n_c，j(t)，j＝1，…，J为大于等于0的整数，代表CDMA网络中第j类业务的数量；

(3)根据上述的业务行向量X_w(t)和X_c(t)并按照以下公式确定该WLAN-CDMA网络的状态空间X以及系统当前的状态：

$X=\{X=[X_w,X_c]=[n_{w,1},n_{w,2},\·\·\·,n_{w,J},n_{c,1},n_{c,2},\·\·\·,n_{c,J}]$

其中，B_j≥TB_j为第j类业务对于其所占用带宽的要求，D_j≤TD_j为第j类业务所要求的延迟条件，P^out≤TP^out为第j类业务对信噪比SIR损耗率的要求。

该WLAN-CDMA网络中实现最优化联合控制业务调度的方法的在状态空间中确定对应的动作空间包括以下步骤：

(1)根据以下公式确定要求接入WLAN网络的业务所执行动作的行向量a_w，n(t_k)：

a_w，n(t_k)＝[a_w，n，1(t_k)，a_w，n，2(t_k)，...，a_w，n，j(t_k)]∈{-1，0，1}^J；

其中t_k为决策时间点，a_w，n，j(t_k)为在t_k上系统对一个要求接入WLAN网络的新的第j类业务请求所做的响应，1代表系统接受这个请求，0代表系统拒绝这个业务接入网络，而-1代表系统决定将此业务接入到CDMA网络中；

(2)根据以下公式确定要求切换到WLAN网络的业务所执行动作的行向量a_w，h(t_k)：

a_w，h(t_k)＝[a_w，h，1(t_k)，a_w，h，2(t_k)，...，a_w，h，J(t_k)]∈{0，1}^J

其中a_w，h，j(t_k)代表在t_k上系统对一个要求切换到WLAN网络的第j类业务请求所做的响应，1代表系统接受这个请求，0代表拒绝，即此业务将保留在CDMA网络中；

(3)根据以下公式确定要求接入CDMA网络的业务所执行动作的行向量a_c，n(t_k)：

a_c，n(t_k)＝[a_c，n，1(t_k)，a_c，n，2(t_k)，...，a_c，n，J(t_k)]∈{0，1}^J；

其中a_c，n，j(t_k)代表在t_k上系统对一个要求接入CDMA网络的新的第j类业务请求所做的响应，1代表允许此请求，0代表网络将拒绝这个请求；

(4)根据以下公式确定要求切换到CDMA网络的业务所执行动作的行向量a_c，h(t_k)：

a_c，h(t_k)＝[a_c，h，1(t_k)，a_c，h，2(t_k)，...，a_c，h，J(t_k)]∈{0，1}^J

其中a_c，h，j(t_k)代表在t_k上系统对一个要求切换到CDMA网络的第j类业务请求所做的响应，1代表允许此请求，0代表网络拒绝这个请求，将此业务继续保留在WLAN网络中；

(5)根据以下公式确定WLAN-CDMA网络的状态空间X中的动作空间A_x：

A_x＝{a∈A：a_w，n，j≠1且a_w，h，j＝0如果 $[(x_w+e_j^u),x_c]\∉X,$

a_c，n，j＝0且a_c，h，j＝0如果 $[x_w,(x_c+e_j^u)]\∉X,$ a≠(0，0，…，0)如果x=(0，0，…，0)}；

其中，A＝{a＝[a_c，n，a_c，h，a_w，n，a_w，h]：a_c，n∈{0，1}^J，a_c，n∈{0，1}^J，a_w，n∈{-1，0，1}^J，a_w，h∈{0，1}^J}， $e_j^u\∈{\left\{\mathrm{0,1}\right\}}^J$ 是一个除了第j个元素为1以外，其他元素均为0的行向量，

表示WLAN网络中的第j类业务数目增加一个，

表示CDMA网络中的第j类业务数目增加一个。

该WLAN-CDMA网络中实现最优化联合控制业务调度的方法的根据最大化网络运营收益准则决定选择相应的动作包括以下步骤：

(1)根据以下公式得到系统的状态转移概率p_xy(a)：

其中， $p_{\mathrm{xy}}\left(a\right)\stackrel{\mathrm{\Δ}}{=}P(x\left(t_{k+1}\right)=y|x\left(t_k\right)=x,a\left(t_k\right)=a),$ ${\mathrm{\τ}}_x\left(a\right)\stackrel{\mathrm{\Δ}}{=}E\{t_{k+1}-t_k|x\left(t_k\right)=x,a\left(t_k\right)=a\}$

${\mathrm{\τ}}_x\left(a\right)={[\underset{j=1}{\overset{J}{\mathrm{\Σ}}}({\mathrm{\λ}}_{c,n,j}{a}_{c,n,j}+{\mathrm{\μ}}_{w,h,j}{n}_{w,j}+{\mathrm{\λ}}_{w,n,j}\left|a_{w,n,j}\right|+{\mathrm{\μ}}_{c,h,j}{n}_{c,j}{a}_{w,h,j})+\underset{j=1}{\overset{J}{\mathrm{\Σ}}}({\mathrm{\μ}}_{c,i,j}{n}_{c,j}+{\mathrm{\μ}}_{w,i,j}{n}_{w,j})]}^{-1},$

所述的p_xy(a)为在时刻t_k状态为x决策为a的条件下，在时刻t_k+1系统状态转移到y的概率；τ_x(a)为系统在(x，a)对下所逗留的时间，且第j(j＝1，2，...，J)类新业务到达CDMA区域的概率服从参数为λ_c，n，j的泊松分布，第j类新业务到达WLAN区域的概率服从参数为λ_w，n，j的泊松分布，第j类业务从CDMA网络切换到WLAN网络的概率服从参数为μ_c，h，j的泊松分布，第j类业务从WLAN网络切换到CDMA网络的概率服从参数为μ_w，h，j的泊松分布，第j类业务在CDMA网络中的持续时间服从均值为1/μ_c，i，的指数分布，第j类业务在WLAN网络中的持续时间服从均值为1/μ_w，i，的指数分布；

(2)根据以下公式得到系统运营的收益r(x，a)：

$r(x,a)=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}[w_{c,n,j}{a}_{c,n,j}+w_{c,h,j}{a}_{c,h,j}+w_{w,n,j}\mathrm{\δ}\left(a_{w,n,j}\right)+w_{c,n,j}\mathrm{\δ}(-a_{w,n,j})+w_{w,h,j}{a}_{w,h,j}+w_{c,n,j}(1-a_{w,h,j})];$

其中w_c，n，j、w_c，h，j、w_w，n，j和w_w，h，j是用来调整WLAN网络和CDMA网络之间收益差异的权值；

(3)根据使单位时间内网络运营平均收益最大化的控制准则列出以下方程组：

$\underset{z_{\mathrm{xa}}\≥0,x\∈X,a\∈A_x}{\max }\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}r(x,a){\mathrm{\τ}}_x\left(a\right)z_{\mathrm{xa}},$

相应的约束条件为：

$\underset{a\∈A_y}{\mathrm{\Σ}}{z}_{\mathrm{ya}}-\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}{p}_{\mathrm{xy}}\left(a\right)z_{\mathrm{xa}}=0,y\∈X;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}{z}_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)=1;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{c,n,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{c,n,j},$ j＝1，2，…，J；

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{c,h,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{c,h,j},$ j＝1，2，…，J；

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{w,n,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{w,n,j},$ j＝1，2，…，J；

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{w,h,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{w,h,j},$ j＝1，2，…，J；

其中，z_xaτ_x(a)为收益r(x，a)的权值，即稳态率，γ_c，n，j、γ_c，h，j、γ_w，n，j、γ_w，h，j为网络阻塞率的上限值；

(4)使用线性规划算法或者加强学习算法对于以上的方程组求解，得到被决定选择的动作。

采用了该发明的WLAN-CDMA网络中实现最优化联合控制业务调度的方法，由于充分利用了WLAN和CDMA这两种无线接入技术，并对两种网络的资源同时进行优化，从而能够在同时满足WLAN和CDMA网络的QoS限制的条件下使得网络运营收益达到最大化，其运行效果明显好于WLAN和CDMA之间不进行切换或者实现了切换但是分别对单个网络进行优化的情形，能够同时适应WLAN和CDMA网络的多种业务类型和业务条件，有效提高了网络服务质量和运营收益，降低了计算复杂度，而且工作性能稳定可靠，适用范围较为广泛。

附图说明

图1为WLAN-CDMA网络联合系统架构示意图。

图2为本发明的WLAN-CDMA网络中实现最优化联合控制业务调度的方法的整体状态转移示意图。

图3为当新业务到达CDMA网络时应用本发明方法的系统决策情况示意图。

图4为当在CDMA网络中出现业务切换请求时应用本发明方法的系统决策情况示意图。

图5为本发明的方法、WLAN和CDMA之间不进行切换以及实现了切换但是分别对单个网络进行优化的方法三者的新业务到达率与网络运营收益率之间的关系曲线示意图。

图6为本发明的方法、WLAN和CDMA之间不进行切换以及实现了切换但是分别对单个网络进行优化的方法三者的业务到达WLAN区域的比例与网络运营收益率之间的关系曲线示意图。

图7为本发明的方法、WLAN和CDMA之间不进行切换以及实现了切换但是分别对单个网络进行优化的方法三者的业务从CDMA网络向WLAN网络的切换率与网络运营收益率之间的关系曲线示意图。

图8为本发明的方法、WLAN和CDMA之间不进行切换以及实现了切换但是分别对单个网络进行优化的方法三者的新业务到达率与网络运营平均收益之间的关系曲线示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

为了保证QoS，IEEE802.11e标准WLANs需要一个行之有效的业务准入控制方案，同时准入控制也是设计CDMA网络的一个关键问题。为了有效地利用系统中的无线资源，对WLAN-CDMA系统来说设计一种有效的联合业务准入控制方案(JSAC，Jiont SessionAdmission Control scheme)是至关重要的。

尽管WLAN和CDMA的计费方式有所不同，但是在设计JSAC时会考虑两种网络之间不同的收益率。对WLAN网络来说，吞吐量和包延迟将作为其QoS的主要参数；而在CDMA网络中，QoS的主要衡量标准是信噪比SIR，但是时刻保证所有业务类型的SIRs对突发业务而言将导致其较低的网络利用率。因此，在一定程度上保证SIR的同时，本发明的方法也会考虑将SIR损耗率作为QoS的部分参考标准。

请参阅图2所示，该WLAN-CDMA网络中实现最优化联合控制业务调度的方法，包括以下步骤：

(1)确定WLAN-CDMA网络中的状态空间以及系统当前的状态，包括以下步骤：

(a)根据以下公式确定WLAN网络中的业务行向量X_w(t)：

X_w(t)＝[n_w，1(t)，n_w，2(t)，...n_w，j(t)]，其中n_w，j(t)，j＝1，…，J为大于等于0的整数，代

表WLAN网络中第j类业务的数量；

(b)根据以下公式确定CDMA网络中的业务行向量X_c(t)：

X_c(t)＝[n_c，1(t)，n_c，2(t)，...n_c，J(t)]，其中n_c，j(t)，j＝1，…，J为大于等于0的整数，代表

CDMA网络中第j类业务的数量；

(c)根据上述的业务行向量X_w(t)和X_c(t)并按照以下公式确定该WLAN-CDMA网络的状态空间X以及系统当前的状态：

$X=\{X=[X_w,X_c]=[n_{w,1},n_{w,2},\·\·\·,n_{w,J},n_{c,1},n_{c,2},\·\·\·,n_{c,J}]$

其中，B_j≥TB_j为第j类业务对于其所占用带宽的要求，D_j≤TD_j为第j类业务所要求的延迟条件，P^out≤TP^out为第j类业务对信噪比SIR损耗率的要求；

(2)在所述的状态空间中确定对应的动作空间，包括以下步骤：

(a)根据以下公式确定要求接入WLAN网络的业务所执行动作的行向量a_w，n(t_k)：

a_w，n(t_k)＝[a_w，n，1(t_k)，a_w，n，2(t_k)，...，a_w，n，J(t_k)]∈{-1，0，1}^J；

其中t_k为决策时间点，a_w，n，j(t_k)为在t_k上系统对一个要求接入WLAN网络的新的第j类业务请求所做的响应，1代表系统接受这个请求，0代表系统拒绝这个业务接入网络，而-1代表系统决定将此业务接入到CDMA网络中；

(b)根据以下公式确定要求切换到WLAN网络的业务所执行动作的行向量a_w，h(t_k)：

a_w，h(t_k)＝[a_w，h，l(tk)，a_w，h，2(t_k)，...，a_w，h，J(t_k)]∈{0，1}^J

其中a_w，h，j(t_k)代表在t_k上系统对一个要求切换到WLAN网络的第j类业务请求所做的响应，1代表系统接受这个请求，0代表拒绝，即此业务将保留在CDMA网络中；

(c)根据以下公式确定要求接入CDMA网络的业务所执行动作的行向量a_c，n(t_k)：

a_c，n(t_k)＝[a_c，n，1(t_k)，a_c，n，2(t_k)，...，a_c，n，J(t_k)]∈{0，1}^J；

其中a_c，n，j(t_k)代表在t_k上系统对一个要求接入CDMA网络的新的第j类业务请求所做的响应，1代表允许此请求，0代表网络将拒绝这个请求；

(d)根据以下公式确定要求切换到CDMA网络的业务所执行动作的行向量a_c，h(t_k)：

a_c，h(t_k)＝[a_c，h，1(tk)，a_c，h，2(t_k)，...，a_c，h，J(t_k)]∈{0，1}^J

其中a_c，h，j(t_k)代表在t_k上系统对一个要求切换到CDMA网络的第j类业务请求所做的响应，1代表允许此请求，0代表网络拒绝这个请求，将此业务继续保留在WLAN网络中；

(e)根据以下公式确定WLAN-CDMA网络的状态空间X中的动作空间A_x：

A_x＝{a∈A：a_w，n，j≠1且a_w，h，j＝0如果 $[(x_w+e_j^u),x_c]\∉X,$

a_c，n，j＝0且a_c，h，j＝0如果 $[x_w,(x_c+e_j^u)]\∉X,$ a≠(0，0，...，0)如果x＝(0，0，...，0)}；

其中，A＝{a＝[a_c，n，a_c，h，a_w，n，a_w，h]：a_c，n∈{0，1}^J，a_c，h∈{0，1}^J，a_w，n∈{-1，0，1}^J，a_w，h∈{0，1}^J}， $e_j^u\∈{\left\{\mathrm{0,1}\right\}}^J$ 是一个除了第j个元素为1以外，其他元素均为0的行向量，

表示WLAN网络中的第j类业务数目增加一个，

表示CDMA网络中的第j类业务数目增加一个；

(3)在所述的动作空间中根据最大化网络运营收益准则决定选择相应的动作，包括以下步骤：

(a)根据以下公式得到系统的状态转移概率p_xy(a)：

其中， $p_{\mathrm{xy}}\left(a\right)\stackrel{\mathrm{\Δ}}{=}P(x\left(t_{k+1}\right)=y|x\left(t_k\right)=x,a\left(t_k\right)=a),$ ${\mathrm{\τ}}_x\left(a\right)\stackrel{\mathrm{\Δ}}{=}E\{t_{k+1}-t_k|x\left(t_k\right)=x,a\left(t_k\right)=a\},$

${\mathrm{\τ}}_x\left(a\right)={[\underset{j=1}{\overset{J}{\mathrm{\Σ}}}({\mathrm{\λ}}_{c,n,j}{a}_{c,n,j}+{\mathrm{\μ}}_{w,h,j}{n}_{w,j}+{\mathrm{\λ}}_{w,n,j}\left|a_{w,n,j}\right|+{\mathrm{\μ}}_{c,h,j}{n}_{c,j}{a}_{w,h,j})+\underset{j=1}{\overset{J}{\mathrm{\Σ}}}({\mathrm{\μ}}_{c,i,j}{n}_{c,j}+{\mathrm{\μ}}_{w,i,j}{n}_{w,j})]}^{-1},$

所述的p_xy(a)为在时刻t_k状态为x决策为a的条件下，在时刻t_k+1系统状态转移到y的概率；τ_x(a)为系统在(x，a)对下所逗留的时间，且第j(j＝1，2，...，J)类新业务到达CDMA区域的概率服从参数为λ_c，n，j的泊松分布，第j类新业务到达WLAN区域的概率服从参数为λ_w，n，j的泊松分布，第j类业务从CDMA网络切换到WLAN网络的概率服从参数为μ_c，h，j的泊松分布，第j类业务从WLAN网络切换到CDMA网络的概率服从参数为μ_w，h，j的泊松分布，第j类业务在CDMA网络中的持续时间服从均值为1/μ_c，t的指数分布，第j类业务在WLAN网络中的持续时间服从均值为1/μ_w，t的指数分布；

(b)根据以下公式得到系统运营的收益r(x，a)：

$r(x,a)=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}[w_{c,n,j}{a}_{c,n,j}+w_{c,h,j}{a}_{c,h,j}+w_{w,n,j}\mathrm{\δ}\left(a_{w,n,j}\right)+w_{c,n,j}\mathrm{\δ}(-a_{w,n,j})+w_{w,h,j}{a}_{w,h,j}+w_{c,n,j}(1-a_{w,h,j})];$

其中w_c，n，j、w_c，h，j、w_w，n，j，和w_w，h，j是用来调整WLAN网络和CDMA网络之间收益差异的权值；

(c)根据使单位时间内网络运营平均收益最大化的控制准则列出以下方程组：

$\underset{z_{\mathrm{xa}}\≥0,x\∈X,a\∈A_x}{\max }\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}r(x,a){\mathrm{\τ}}_x\left(a\right)z_{\mathrm{xa}},$

相应的约束条件为：

$\underset{a\∈A_y}{\mathrm{\Σ}}{z}_{\mathrm{ya}}-\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}{p}_{\mathrm{xy}}\left(a\right)z_{\mathrm{xa}}=0,y\∈X;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}{z}_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)=1;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{c,n,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{c,n,j},$ j＝1，2，…，J；

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{c,h,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{c,h,j},$ j＝1，2，…，J；

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{w,n,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{w,n,j},$ j＝1，2，…，J；

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{w,h,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{w,h,j},$ j＝1，2，…，J；

其中，z_xaτ_x(a)为收益r(x，a)的权值，即稳态率，γ_c，n，j、γ_c，h，j、γ_w，n，j、γ_w，h，j为网络阻

塞率的上限值；

(d)使用线性规划算法或者加强学习算法对于以上的方程组求解，得到被决定选择的动作；

(4)执行该被决定选择的动作；

(5)系统更新所述的状态空间；

(6)当WLAN-CDMA网络中有下一个事件发生时，返回上述步骤(2)。

在实际使用当中，本发明的方法可以用一个半马尔可夫过程来描述，当一个新的业务请求到达或者切换请求发生时，系统必须决定是否允许此请求接入网络以及应该接入哪个网络(WLAN or CDMA)。在半马尔可夫过程中，这些需要做出决定的时间点称为决策点(decision epochs)，这个时间点上相应的决策被称为动作action。在本发明的方案中，当一个请求到来时，系统将不考虑从前的状态，而仅根据自身当前的状态来选择合适的action。系统状态信息主要包括当前WLAN及CDMA网络中所存在的各种业务类型的数目；QoS限制主要被用来缩减状态空间，以使得空间中的所有状态都能满足QoS限制条件，即系统在运行过程中的每个状态都满足前面所述的WLAN网络及CDMA网络的QoS条件。

本发明的方法的基本运行过程如图2所示，状态x可以用系统中不同业务的数量来表达，当一个事件(即一个业务到达或离开)发生时，系统根据当前的状态决定选择并执行动作action(x)(当然，被选择的action必须保证迁移后的状态仍然属于系统可接受的状态空间之内)，此后系统将进入新的状态并在此状态上继续等待下一个事件的到来。而最终，对于本过程来说，最优控制的准则是能够使得单位时间内网络运营的平均收益达到最大。从而本发明可以利用线性规划算法来求解这个半马尔可夫过程的方程，网络层阻塞率QoS限制将被作为此线性规划的约束条件之一。因为样本路径约束也包含在线性规划中，所以这种最优策略是一种广义的随机平稳策略。

为了简化讨论起见，本发明的方法中先考虑只存在一个WLAN小区和一个CDMA小区的WLAN-CDMA系统，其中WLAN小区完全落在CDMA小区的覆盖范围之内，如图1所示，但小区的形状不必一定为正六边形和圆形。本发明的方案也可以推广到多个WLAN和CDMA小区的情况中，只是计算复杂度相应地增加可能导致线性规划算法无法求解这个问题，而需要利用加强学习算法可以解决这个问题(关于线性规划算法和加强学习算法均属于现有技术，具体可以参阅相关技术文献，在此不再赘述)。逻辑上把CDMA小区分为两部分——CDMA区域和WLAN区域；其中WLAN区域中的移动用户可以选择性地接入WLAN网络或者是CDMA网络，而CDMA区域中的移动用户将只能够接入到CDMA网络。

(1)state空间

定义行向量X_w(t)＝[n_w，1(t)，n_w，2(t)，...n_w，J(t)]；

其中n_w，j(t)为大于等于0的整数，代表WLAN网络中j类业务的数量；

同样也可以定义X_c(t)＝[n_c，1(t)，n_c，2(t)，...n_c，J(t)]；

其中n_c，j(t)为大于等于0的整数，代表CDMA网络中j类业务的数量。

因此联合系统的状态空间可以定义为：

$X=\{X=[X_w,X_c]=[n_{w,1},n_{w,2},\·\·\·,n_{w,J},n_{c,1},n_{c,2},\·\·\·,n_{c,J}]$

其中，B_j≥TB_j代表j类业务对于其所占用带宽的要求，D_j≤TD_j代表j类业务所要求的延迟条件，而P^out≤TP^out代表了j类业务对SIR损耗率的要求。也就是说此状态空间中的每一个状态x都必须满足WLAN及CDMA网络的QoS条件。

(2)action空间

在每一个决策时间点t_k上，网络需要对那些发生在时间段(t_k，t_k+1]中的每一个业务请求作出响应，以决定是否接受以及如何接受这个请求。这些决策的集合可以视为一个action，决策点t_k上的actiona(t_k)定义如下：

a(t_k)＝[a_c，n(t_k)，a_c，h(t_k)，a_w，n(t_k)，a_w，h(t_k)]

其中a_c，n(t_k)＝[a_c，n，1(t_k)，a_c，n，2(t_k)，...，a_c，n，J(t_k)]∈{0，1}J为元素只能为0或者1的行向量，a_c，n，j(t_k)代表在决策点t_k上，系统对一个要求接入CDMA网络的新j类业务请求所做的响应，1代表允许此请求，0代表网络将拒绝这个请求。

a_c，h(t_k)＝[a_c，h，1(t_k)，a_c，h，2(t_k)，...，a_c，h，J(t_k)]∈{0，1}J为元素只能为0或者1的行向量，a_c，h，j(t_k)代表在决策点t_k上，系统对一个要求切换到CDMA网络的j类业务请求所做的响应，1代表允许此请求，0代表网络拒绝这个请求，将此业务继续保留在WLAN网络中。

a_w，n(t_k)＝[a_w，n，1(t_k)，a_w，n，2(t_k)，...，a_w，n，J(t_k)]∈{-1，0，1}^J是元素可以为-1，0或者1的行向量，a_w，n，j(t_k)代表在决策点t_k上，系统对一个要求接入WLAN网络的新j类业务请求所做的响应，1代表系统接受这个请求，0代表系统拒绝这个业务接入网络，而-1代表系统决定将此业务接入到CDMA网络中。

a_w，h(t_k)＝[a_w，h，1(t_k)，a_w，h，2(t_k)，...，a_w，h，J(t_k)]∈{0，1}^J是元素只能为0或者1的行向量，a_w，h，j(t_k)代表在决策点t_k上，系统对一个要求切换到WLAN网络的j类业务请求所做的响应，1代表系统接受这个请求，0代表拒绝，即此业务将保留在CDMA网络中。

由此，action空间可以定义如下：

A＝{a＝[a_c，n，a_c，h，a_w，n，a_w，h]：a_c，n∈{0，1}^J，a_c，h∈{0，1}^J，a_w，n∈{-1，0，1}^J，a_w，h∈{0，1}^J}。

对于任一个给定的状态x(x∈state X)，其上的action不应该导致转移后的状态超出状态空间state X的范围，也就是说状态x所对应的action空间A_x可以做如下的定义：

$A_x=\{a\∈A:a_{w,n,j}\≠1\mathrm{and}{a}_{w,h,j}=0\mathrm{if}[(x_w+e_j^u),x_c]\∉X,$

$a_{c,n,j}=0\mathrm{and}{a}_{c,h,j}=0\mathrm{if}[x_w,(x_c+e_j^u)]\∉X,$ a≠(0，0，...，0)if x＝(0，0，...，0)}

其中， $e_j^u\∈{\left\{\mathrm{0,1}\right\}}^J$ 是一个除了第j个元素为1以外，其他元素均为0的行向量。

意味着WLAN网络中的j类业务数目增加一个，而

则意味着CDMA网络中的j类业务数目增加一个。

(3)状态转移概率

系统的运行过程中的状态转移概率及在当前状态上的逗留时间定义如下：

$p_{\mathrm{xy}}\left(a\right)\stackrel{\mathrm{\Δ}}{=}P(x\left(t_{k+1}\right)=y|x\left(t_k\right)=x,a\left(t_k\right)=a);$

${\mathrm{\τ}}_x\left(a\right)\stackrel{\mathrm{\Δ}}{=}E\{t_{k+1}-t_k|x\left(t_k\right)=x,a\left(t_k\right)=a\};$

其中p_xy(a)表示在时刻t_k状态为x，决策为a的条件下，时刻t_k+1系统状态转移到y的概率；τ_x(a)表示系统在(x，a)对下所逗留的时间。

假设共有J类业务，且j(j＝1，2，...，J)类新业务到达CDMA区域的概率服从参数为λ_c，n，j的泊松分布，j类新业务到达WLAN区域的概率服从参数为λ_w，n，j的泊松分布，j类业务从CDMA网络切换到WLAN网络的概率服从参数为μ_c，h，j的泊松分布，j类业务从WLAN网络切换到CDMA网络的概率服从参数为μ_w，h，j的泊松分布，j类业务在CDMA(WLAN)网络中的持续时间服从均值为1/μ_c，t(1/μ_w，i，)的指数分布。则状态转移概率和逗留时间可以表示为下面的形式：

${\mathrm{\τ}}_x\left(a\right)={[\underset{j=1}{\overset{J}{\mathrm{\Σ}}}({\mathrm{\λ}}_{c,n,j}{a}_{c,n,j}+{\mathrm{\μ}}_{w,h,j}{n}_{w,j}+{\mathrm{\λ}}_{w,n,j}\left|a_{w,n,j}\right|+{\mathrm{\μ}}_{c,h,j}{n}_{c,j}{a}_{w,h,j})+\underset{j=1}{\overset{J}{\mathrm{\Σ}}}({\mathrm{\μ}}_{c,i,j}{n}_{c,j}+{\mathrm{\μ}}_{w,i,j}{n}_{w,j})]}^{-1},$

(4)系统运营收益方程

系统在状态-动作(state-action)对(x，a)下所能获得的收益可以表示为：

$r(x,a)=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}[w_{c,n,j}{a}_{c,n,j}+w_{c,h,j}{a}_{c,h,j}+w_{w,n,j}\mathrm{\δ}\left(a_{w,n,j}\right)+w_{c,n,j}\mathrm{\δ}(-a_{w,n,j})+w_{w,h,j}{a}_{w,h,j}+w_{c,n,j}(1-a_{w,h,j})];$

(5)由以上的描述可知本发明的关于使单位时间内网络运营平均收益最大化的控制准则能够用如下的方程组进行描述：

$\underset{z_{\mathrm{xa}}\≥0,x\∈X,a\∈A_x}{\max }\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}r(x,a){\mathrm{\τ}}_x\left(a\right)z_{\mathrm{xa}}$

约束条件可以表示为：

$\underset{a\∈A_y}{\mathrm{\Σ}}{z}_{\mathrm{ya}}-\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}{p}_{\mathrm{xy}}\left(a\right)z_{\mathrm{xa}}=0,y\∈X;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}{z}_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)=1;$

其中z_xaτ_x(a)为系统在station-action对(x，a)下所获得收益r(x，a)的权值，可以理解为稳态率。

此外，本发明的方法中还需要再加上网络层阻塞率QoS的约束条件：

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{c,n,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{c,n,j},$ j＝1，2，…，J；

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{c,h,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{c,h,j},$ j＝1，2，…，J；

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{w,n,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{w,n,j},$ j＝1，2，…，J；

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{w,h,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{w,h,j},$ j＝1，2，…，J；

对于以上的方程组，可以使用线性规划算法来求解，在MATLAB上作数值试验的部分结果请参阅图3和图4所示。

如图3所示，当一个新的业务请求到达CDMA网络时，圆“○”表示系统接受这个请求，叉“×”表示系统拒绝这个请求，上三角“△”表示系统以概率0.2208接受请求，而下三角“▽”表示系统以概率0.6377接受此请求。

同样地，图4描述了当CDMA网络中出现一个业务切换请求时，系统的决策情况，其中圆“○”表示系统接受这个请求，叉“×”表示系统拒绝这个请求，上三角“△”表示系统以概率0.2208接受请求，而下三角“▽”表示系统以概率0.6377接受此请求。

采用了上述的方法，具有以下好的效果：

(1)当一个新的业务请求到来或者一个WLAN与CDMA网络间的业务切换请求发生时，它能够根据最大化网络运营收益准则控制请求是否被网络接收以及被此业务应该接入何种网络(WLAN或者CDMA)；

(2)本发明的方法同时考虑WLAN和CDMA网络的收益率，能够使得整个网络的收益达到最大；

(3)在同时考虑线性最小均方误差接收和不断变化的CDMA网络中包交换业务的统计特性的基础上，用有效带宽(effective bandwidth)的概念来衡量系统中无线资源的利用程度，信噪比以及信噪比损耗率被作为CDMA网络的QoS限制条件；

(4)本发明的方法中考虑了WLANs网络标准IEEE802.11e中关于QoS的规定，以系统吞吐量和包延迟作为对无限局域网中QoS限制的参数；

(5)在联合WLAN-CDMA系统的网络层，将业务阻塞率(包括新的业务和切换业务)作为QoS限制。在本发明的方法中，以上所有的QoS限制都能保证被很好的满足。

因此，本发明的方案能够在保证用户服务质量的前提下使得网络运营期间所获得的收益达到最大，其效果明显好于WLAN和CDMA之间不进行切换或者实现了切换但是分别对单个网络进行优化的方案。三者之间的比较结果可以从图5～图8中表现出来。

其中，图5为新业务到达率与网络运营收益率之间的关系曲线示意图，其中曲线51表示本发明的方法的情形，曲线53为WLAN网络和CDMA网络之间不进行切换的情形，曲线52为WLAN网络和CDMA网络之间实现了切换但是分别对单个网络进行优化的方法的情形。

图6为业务到达WLAN区域的比例与网络运营收益率之间的关系曲线示意图，其中曲线61表示本发明的方法的情形，曲线63为WLAN网络和CDMA网络之间不进行切换的情形，曲线62为WLAN网络和CDMA网络之间实现了切换但是分别对单个网络进行优化的方法的情形。

图7为业务从CDMA网络向WLAN网络的切换率与网络运营收益率之间的关系曲线示意图，其中曲线71表示本发明的方法的情形，曲线73为WLAN网络和CDMA网络之间不进行切换的情形，曲线72为WLAN网络和CDMA网络之间实现了切换但是分别对单个网络进行优化的方法的情形。

图8为新业务到达率与网络运营平均收益之间的关系曲线示意图，其中曲线81表示本发明的方法的情形，曲线83为WLAN网络和CDMA网络之间不进行切换的情形，曲线82为WLAN网络和CDMA网络之间实现了切换但是分别对单个网络进行优化的方法的情形。

采用了上述的WLAN-CDMA网络中实现最优化联合控制业务调度的方法，由于充分利用了WLAN和CDMA这两种无线接入技术，并对两种网络的资源同时进行优化，从而能够在同时满足WLAN和CDMA网络的QoS限制的条件下使得网络运营收益达到最大化，其运行效果明显好于WLAN和CDMA之间不进行切换或者实现了切换但是分别对单个网络进行优化的情形，能够同时适应WLAN和CDMA网络的多种业务类型和业务条件，有效提高了网络服务质量和运营收益，降低了计算复杂度，而且工作性能稳定可靠，适用范围较为广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (1)

1.一种WLAN-CDMA网络中实现最优化联合控制业务调度的方法，其特征在于，所述的方法包括以下步骤：

(1)确定WLAN-CDMA网络中的状态空间以及系统当前的状态，包括以下步骤：

(a)根据以下公式确定WLAN网络中的业务行向量X_w(t)：

X_w(t)＝[n_w，1(t)，n_w，2(t)，...n_w，J(t)]，其中n_w，j(t)，j＝1，...，J为大于等于0的整数，代表

WLAN网络中第j类业务的数量；

(b)根据以下公式确定CDMA网络中的业务行向量X_c(t)：

X_c(t)＝[n_c，1(t)，n_c，2(t)，...n_c，J(t)]，其中n_c，j(t)，j＝1，...，J为大于等于0的整数，代表CDMA网络中第j类业务的数量；

(c)根据上述的业务行向量X_w(t)和X_c(t)并按照以下公式确定该WLAN-CDMA网络的状态空间X以及系统当前的状态：

$X=\{X=[X_w,X_c]=[n_{w,1},n_{w,2},...,n_{w,J},n_{c,1},n_{c,2},...,n_{c,J}]$

；

其中，B_j≥TB_j为第j类业务对于其所占用带宽的要求，D_j≤TD_j为第j类业务所要求的延迟条件，P^out≤TP^out为第j类业务对信噪比SIR损耗率的要求；

(2)在所述的状态空间中确定对应的动作空间，包括以下步骤：

(a)根据以下公式确定要求接入WLAN网络的业务所执行动作的行向量a_w，n(t_k)：

a_w，n(t_k)＝[a_w，n，1(t_k)，a_w，n，2(t_k)，...，a_w，n，J(t_k)]∈{-1，0，1}^J；

其中t_k为决策时间点，a_w，n，j(t_k)为在t_k上系统对一个要求接入WLAN网络的新的第j类业务请求所做的响应，1代表系统接受这个请求，0代表系统拒绝这个业务接入网络，而-1代表系统决定将此业务接入到CDMA网络中；

(b)根据以下公式确定要求切换到WLAN网络的业务所执行动作的行向量a_w，h(t_k)：

a_w，h(t_k)＝[a_w，h，1(t_k)，a_w，h，2(t_k)，...，a_w，h，J(t_k)]∈{0，1}^J

其中a_w，h，j(t_k)代表在t_k上系统对一个要求切换到WLAN网络的第j类业务请求所做的响应，1代表系统接受这个请求，0代表拒绝，即此业务将保留在CDMA网络中；

(c)根据以下公式确定要求接入CDMA网络的业务所执行动作的行向量a_c，n(t_k)：

a_c，n(t_k)＝[a_c，n，1(t_k)，a_c，n，2(t_k)，...，a_c，n，J(t_k)]∈{0，1}^J；

其中a_c，n，j(t_k)代表在t_k上系统对一个要求接入CDMA网络的新的第j类业务请求所做的响应，1代表允许此请求，0代表网络将拒绝这个请求；

(d)根据以下公式确定要求切换到CDMA网络的业务所执行动作的行向量a_c，h(t_k)：

a_c，h(t_k)＝[a_c，h，1(t_k)，a_c，h，2(t_k)，...，a_c，h，J(t_k)]∈{0，1}^J

其中a_c，h，j(t_k)代表在t_k上系统对一个要求切换到CDMA网络的第j类业务请求所做的响应，1代表允许此请求，0代表网络拒绝这个请求，将此业务继续保留在WLAN网络中；

(e)根据以下公式确定WLAN-CDMA网络的状态空间X中的动作空间A_x：

A_x＝{a∈A：a_w，n，j≠1且a_w，h，j＝0如果

a_c，n，j＝0且a_c，h，j＝0如果

a≠(0，0，...，0)如果x＝(0，0，...，0)}；

其中，A＝{a＝[a_c，n，a_c，h，a_w，n，a_w，h]：a_c，n∈{0，1}^J，a_c，h∈{0，1}^J，a_w，n∈{-1，0，1}^J，a_w，h∈{0，1}^J}，

是一个除了第j个元素为1以外，其他元素均为0的行向量，

表示WLAN网络中的第j类业务数目增加一个，表示CDMA网络中的第j类业务数目增加一个；

(3)在所述的动作空间中根据最大化网络运营收益准则决定选择相应的动作，包括以下步骤：

(a)根据以下公式得到系统的状态转移概率p_xy(a)：

其中， $p_{\mathrm{xy}}\left(a\right)\stackrel{\mathrm{\Δ}}{=}P(x\left(t_{k+1}\right)=y|x\left(t_k\right)=x,a\left(t_k\right)=a),$ ${\mathrm{\τ}}_x\left(a\right)\stackrel{\mathrm{\Δ}}{=}E\{t_{k+1}-t_k|x\left(t_k\right)=x,a\left(t_k\right)=a\},$

${\mathrm{\τ}}_x\left(a\right)={[\underset{j=1}{\overset{J}{\mathrm{\Σ}}}({\mathrm{\λ}}_{c,n,j}{a}_{c,n,j}+{\mathrm{\μ}}_{w,h,j}{n}_{w,j}+{\mathrm{\λ}}_{w,n,j}|a_{w,n,j}|+{\mathrm{\μ}}_{c,h,j}{n}_{c,j}{a}_{w,h,j})+\underset{j=1}{\overset{J}{\mathrm{\Σ}}}({\mathrm{\μ}}_{c,t,j}{n}_{c,j}+{\mathrm{\μ}}_{w,t,j}{n}_{w,j})]}^{-1},1$

所述的p_xy(a)为在时刻t_k状态为x决策为a的条件下，在时刻t_k+1系统状态转移到y的概率；τ_x(a)为系统在(x，a)对下所逗留的时间，且第j(j＝1，2，...，J)类新业务到达CDMA区域的概率服从参数为λ_c，n，j的泊松分布，第j类新业务到达WLAN区域的概率服从参数为λ_w，n，j的泊松分布，第j类业务从CDMA网络切换到WLAN网络的概率服从参数为μ_c，h，j的泊松分布，第j类业务从WLAN网络切换到CDMA网络的概率服从参数为μ_w，h，j的泊松分布，第j类业务在CDMA网络中的持续时间服从均值为1/μ_c，l的指数分布，第j类业务在WLAN网络中的持续时间服从均值为1/μ_w，l的指数分布；

(b)根据以下公式得到系统运营的收益r(x，a)：

$r(x,a)=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}[w_{c,n,j}{a}_{c,n,j}+w_{c,h,j}{a}_{c,h,j}+w_{w,n,j}\mathrm{\δ}\left(a_{w,n,j}\right)+w_{c,n,j}\mathrm{\δ}(-a_{w,n,j})+w_{w,h,j}{a}_{w,h,j}+w_{c,n,j}(1-a_{w,h,j})];$

其中w_c，n，j、w_c，h，j、w_w，n，j和w_w，h，j为用来调整WLAN网络和CDMA网络之间收益差异的权值；

(c)根据使单位时间内网络运营平均收益最大化的控制准则列出以下方程组：

$\underset{z_{\mathrm{xa}}\≥0,x\∈X,a\∈A_x}{\max }\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}r(x,a){\mathrm{\τ}}_x\left(a\right)z_{\mathrm{xa}},$

相应的约束条件为：

$\underset{a\∈A_y}{\mathrm{\Σ}}{z}_{\mathrm{ya}}-\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}{p}_{\mathrm{xy}}\left(a\right)z_{\mathrm{xa}}=0,y\∈X;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}{z}_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)=1;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{c,n,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{c,n,j},j=\mathrm{1,2},...,J;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{c,h,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{c,h,j},j=\mathrm{1,2},...,J;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{w,n,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{w,n,j},j=\mathrm{1,2},...,J;$

$\underset{x\∈X}{\mathrm{\Σ}}\underset{a\∈A_x}{\mathrm{\Σ}}(1-a_{w,h,j}\left(x\right))z_{\mathrm{xa}}{\mathrm{\τ}}_x\left(a\right)\≤{\mathrm{\γ}}_{w,h,j},j=\mathrm{1,2},...,J;$

其中，z_xaτ_x(a)为收益r(x，a)的权值，即稳态率，γ_c，n，j、γ_c，h，j、γ_w，n，j、γ_w，h，j为网络阻塞率的上限值；

(d)使用线性规划算法或者加强学习算法对于以上的方程组求解，得到被决定选择的动作；

(4)执行该被决定选择的动作；

(5)更新系统当前的状态；

(6)当WLAN-CDMA网络中有下一个事件发生时，返回上述步骤(2)。

Images