CN102665219A - 一种基于ofdma的家庭基站系统的动态频谱分配方法 - Google Patents

Abstract

本发明公开了一种基于OFDMA的家庭基站系统的动态频谱分配方法。本发明方法以使系统平均频谱效率在满足三个约束条件前提下达到最大为目标，动态地调整各信道频谱复用系数，从而在使基站的边缘频谱效率达到QoS要求的基础上提高了系统的频谱效率。本发明进一步采用Q学习方法来解决上述优化求解问题。本发明还公开了一种采用上述动态频谱分配方法的家庭基站系统。本发明实现了保证家庭基站系统的边缘频谱效率的同时，提高了系统频谱效率；同时还具有算法简单，实时性好的优点。

Description

一种基于OFDMA的家庭基站系统的动态频谱分配方法

技术领域

本发明涉及一种频谱分配方法，尤其涉及一种基于OFDMA的家庭基站系统的动态频谱分配方法，属于通信技术领域。

背景技术

调查显示，近年来移动设备有三分之二使用的环境都在室内，一般在家庭或者企业，而且这种室内使用的情况有明显增加的趋势。为了适应这种发展趋势，家庭基站应运而生。家庭基站一般通过有线网络连接到运营商核心网络。家庭基站有覆盖范围小，低花费和低功耗的特点，所以家庭基站可以为室内用户提供更大的带宽和更好的服务质量。网络部署、切换控制和干扰的管理成了家庭基站和宏基站共存网络的主要问题，其中干扰问题是大家广泛研究的重点。家庭基站系统的干扰不可能完全消失，但是可以通过资源分配来减小干扰来提高系统容量。

正交频分多址接入(OFDMA)作为家庭基站系统的接入技术，可以为无线通信提供高的数据速率。但是OFDMA系统的总带宽是固定的，所以资源分配机制就成为了有效使用无线信道的关键。人们已提出了一些多基站间干扰消除或减轻的方法，这些方法主要是通过分配频谱来提高系统性能，当然也有通过功率控制及功率和频谱联合分配的方法。在家庭基站分布不密集的情况下，基于频谱全复用的功率控制的方法可以很大程度上减小干扰，但是对于一栋建筑物中家庭基站分布非常密集的时候，采用功率控制还是会产生很大的干扰，在这种情况下基于频谱分配的部分频率复用是广泛使用的方法。当家庭基站频谱全复用的时候，系统频谱效率最大，但是此时对某些家庭基站用户离基站较远的来说频谱效率很小，这些基站的频谱效率就不能满足QoS的要求。为了解决这个问题人们提出了频谱复用的概念，这样就可以减少基站间的干扰使得所有家庭基站都能满足QoS要求，但由于每个家庭基站的频谱变小了，所有系统频谱效率会减小。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于OFDMA的家庭基站系统的动态频谱分配方法，通过动态地调整各复用系数下的信道个数，实现在满足家庭基站系统QoS要求的基础上提高家庭基站系统的频谱效率。

本发明具体采用以下技术方案解决上述技术问题。

一种基于OFDMA的家庭基站系统的动态频谱分配方法，所述家庭基站系统包括集中控制中心及与其分别信号连接的多个家庭基站，各家庭基站所存在的区域没有宏基站的覆盖，或者家庭基站与宏基站使用不同的频带，各家庭基站实时采集本基站信息并将采集到的信息传输至集中控制中心；集中控制中心根据所接收的各家庭基站信息，通过对以下数学模型进行优化求解，得到下一时刻各信道的频谱复用系数，各家庭基站独立将所获得的信道分配给各自的用户，

$\mathrm{Maximize}{\stackrel{\‾}{E}}_{\mathrm{FBS}}(f,N_f)=\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\frac{1}{I}\left(\underset{u\∈\{1,...U\}}{\mathrm{\Σ}}\underset{f\∈F}{\mathrm{\Σ}}\underset{n_f\∈\{1,...,N_f\}}{\mathrm{\Σ}}\frac{1}{f}\frac{M_f^{i,u}}{N_f}{\log }_2(1+{\mathrm{\γ}}_{n_f}^{i,u})\right)$

Subject to：

1) $\underset{u\∈\{1,...U\}}{\mathrm{\Σ}}{M}_f^{i,u}=N_f\∀i,f$

2) $\underset{f\∈F}{\mathrm{\Σ}}{\mathrm{fN}}_f=R\∀i$

3) $E_i\≥E_{\mathrm{th}}\∀i$

其中，是家庭基站系统的平均频谱效率；F是频率复用系数集合；N_f表示每个家庭基站中频率复用系数为f的信道数；

表示第i个基站中用户u使用的频率复用系数f的信道数；I为家庭基站系统中家庭基站的数量；U表示第i个基站中的用户数；R为家庭基站系统中所使用频带的子信道数；E_i为家庭基站i的频谱效率；E_th为预设的频谱效率阈值；

表示第i个家庭基站的用户u在频率复用系数f的信道n_f下的信干噪比，其表达式为

式中，

表示第i个家庭基站在信道n_f上的发射功率，表示发送基站j到接受基站i在信道n_f上的增益，

表示第i个家庭基站的频谱复用系数为f时该基站的干扰基站集合，σ²表示噪声功率。

上述技术方案中数学模型的优化求解可采用现有的拉格朗日算法、图论等方法，但这些算法均存在复杂度高的问题，因而对硬件要求的较高，时效性差。为此，本发明进一步利用Q学习方法来解决这个复杂的优化问题。

Q学习是强化学习(reinforcement learning，RL)的一种，而强化学习又属于一种机器学习。Q学习是一种通过agent与环境交互，并获得相应的奖赏，在不断的迭代过程中使得奖赏值最大的过程。Q学习算法是一种与模型无关的强化学习算法，该算法通过马尔可夫决策过程进行建模，采用迭代方法逼近最优解。由于Q学习的无导师自适应能力，agent通过Q学习可以实现其行为动作自主性。下面对Q学习方法作简要介绍(关于Q学习的更详细内容见文献《Reinforcement learning：an introduction》)。

用S＝{s₁，s₂，…，s_l}表示可能的状态集，A＝{a₁，a₂，…，a_m}表示agent可能选择的动作集。Q学习的目标是为每一个状态s都能找到一个最优的策略π^*(s)∈A，使得获得的奖赏值r最大。定义状态-动作奖赏值函数Q(s，a)为agent在状态s下采取动作a在无限时间内所获得的最大期望折扣奖赏之和，如下：

$Q(s,a)=E\left\{\underset{t=0}{\overset{\∞}{\mathrm{\Σ}}}{\mathrm{\γ}}^{t}r(s_t,\mathrm{\π}\left(s\right))\right|s_0=s\}$

其中γ∈[0，1)是折扣因子。如果在t时刻选择的动作a所对应的策略π(s)是状态s下的最优策略π^*(s)，则Q函数也对应状态s下的最大值。根据Bellman最优准则，每个状态s都至少存在一个最优策略π^*(s)，要寻找最优策略就需要找到Q(s，a)中的最大值，定义为Q^*(s，a)，其中需要注意的是下一个状态-动作对的最优策略即Q(s′，a′)的最大值应该是在状态s′取得最优动作时获得。则Q^*(s，a)可以表示为：

$Q^{*}(s,a)=R(s,a)+\mathrm{\γ}\underset{s^{\′}\∈S}{\mathrm{\Σ}}{P}_{s,s^{\′}}\left(a\right)\underset{a^{\′}\∈A}{\max }Q*(s^{\′},a^{\′})$

其中R(s，a)是r(s，a)的期望值，s′和a′分别表示下一个状态和下一个动作。上式中的R(s，a)和P_s，s′(a)很难确定。随着Q学习的逐步学习和强化R(s，a)最终可以确定，而P_s，s′(a)选择通过贪婪算法来获得，每一步随机选择动作的概率ε∈(0，1)，则选择最优动作的概率为(1-ε)。最终Q学习的更新方程如下：

$Q_{t+1}(s,a)\←(1-{\mathrm{\α}}_t)Q_t(s,a)+{\mathrm{\α}}_t(r_t+\mathrm{\γ}\underset{a^{\′}}{\max }{Q}_t(s^{\′},a^{\′}))$

由于集中控制中心可以和环境交互信息，所以集中控制中心可以看成一个agent，通过Q学习来动态学习并调整各信道的复用系数，从而在保证满足边缘频谱效率的基础上尽量提高系统频谱效率。具体技术方案如下：

所述优化求解采用Q学习方法，其具体映射如下：

状态空间：S_t＝{C_t，D_t}，其中C_t为系统平均频谱效率，按大小分成T个等级，T为大于1的整数；D_t∈{0，1}表示系统中基站的最低频谱效率是否满足预设要求，1表示满足，0则表示不满足；

动作空间：A_t＝{N₁，N₂，...，N_M}，其中N₁、N₂…、N_M是复用系数分别为f₁、f₂…、f_M情况下的信道数，动作随着不同复用系数下的信道数的变化而改变；A_t根据关系式R＝f₁N₁+f₂N₂+…+f_MN_M来确定，其中R是常数表示总的信道数目；

奖赏函数：尽量使得所有基站的频谱效率都大于频谱效率阈值E_th，选择最小频谱效率最大的那个策略作为最优策略；当有基站的边缘频谱效率小于阈值E_th时奖赏函数为0；当所有基站的边缘频谱效率都大于阈值E_th时奖赏函数为

其中W为正常数，

表示所有家庭基站在时刻t的平均频谱效率，这样如果

越大则奖赏值也越大；如果经过一次Q学习以后发现所有策略都不能满足QoS要求的话，那就需要进行第二次Q学习，此时的奖赏函数就修改为

其中i为家庭基站号，i^*为频谱效率最小的家庭基站号，而

则表示在时间步t时频谱效率最小的那个家庭基站的频谱效率。

优选地，Q学习方法中的状态转移概率P_s，s′(a)通过贪婪算法获得。

优选地，各家庭基站采用比例公平算法将所获得的信道分配给各自的用户。

根据本发明思路还可得到一种基于OFDMA的家庭基站系统，包括集中控制中心及与其分别信号连接的多个家庭基站，各家庭基站所存在的区域没有宏基站的覆盖，或者家庭基站与宏基站使用不同的频带，其频谱分配采用以上任一技术方案所述动态频谱分配方法。

相比现有技术，本发明具有以下有益效果：

本发明通过动态地为每个信道选择频谱复用系数，而实现了保证家庭基站系统的边缘频谱效率的同时，提高了系统频谱效率；

本发明通过Q学习实现各信道频谱复用系数的动态调整，避免了复杂的最优化求解问题，对硬件要求不高，算法时效性好。

附图说明

图1为本发明的家庭基站系统模型；

图2为Q学习方法的基本原理示意图；

图3为Q学习方法的流程图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的基于OFDMA的家庭基站系统模型如图1所示，包括集中控制中心(图中未示出)及与其分别信号连接的多个家庭基站，各家庭基站所存在的区域没有宏基站的覆盖，或者家庭基站与宏基站使用不同的频带。整个系统包括I个家庭基站，家庭基站的总功率为P，使用的总频带为B，把它分为R个子信道，则每个子信道的大小为B/R，每个家庭基站都可以使用这R个子信道进行数据传输。每个基站有U个用户，每个用户随机分布在基站中。各家庭基站实时采集本基站信息并将采集到的信息传输至集中控制中心；集中控制中心根据所接收的各家庭基站信息，并给出下一时刻的各信道的频谱复用系数；各家庭基站利用比例公平算法(详细内容参见《Fairness and throughputanalysis for generalized proportional fair frequency scheduling in OFDMA》)独立地将所获得的信道分配给各自的用户。

频率复用系数(FRF)不同基站的频谱效率也会不同，例如全复用即频率复用系数f＝1时，基站的系统频谱效率应该比f＝3时的系统频谱效率高，但是全复用情况下基站边缘的用户可能受到的相邻家庭基站的干扰会很大，从而使得系统的边缘频谱效率极低。所以可以通过动态的调整FRF来提高边缘频谱效率。

对于第i个家庭基站的用户u在频率复用系数f的信道n_f下的信干噪比(interference and noise，SINR)可以定义为：

${\mathrm{\γ}}_{n_f}^{i,u}=\frac{p_i^{n_f}{h}_{i,i}^{n_f}}{\underset{j\∈C_f^i}{\mathrm{\Σ}}{p}_j^{n_f}{h}_{j,i}^{n_f}+{\mathrm{\σ}}^2}---\left(1\right)$

其中

是家庭基站i在信道n_f上的发射功率，

表示发送基站j到接受基站i在信道n_f上的增益，而

表示基站i复用系数f时基站i的干扰基站集合，σ²表示噪声功率。

定义家庭基站i的频谱效率为E_i，家庭基站中的用户u的频谱效率可以定义为：

$e_{i,u}=\underset{f\∈F}{\mathrm{\Σ}}\underset{n_f\∈\{1,..,N_f\}}{\mathrm{\Σ}}\frac{1}{f}\frac{M_f^{i,u}}{N_f}{\log }_2(1+{\mathrm{\γ}}_{n_f}^{i,u})---\left(2\right)$

$E_i=\underset{u\∈\{1,...U\}}{\mathrm{\Σ}}{e}_{i,u}---\left(3\right)$

其中F是频率复用系数集合，N_f表示每个基站中FRF为f的信道数，而

则表示在i基站中用户u使用的频率复用系数f的信道数。

根据(3)式，可以计算得出系统在一段时间T₀的频谱效率E_system如下：

$E_{\mathrm{system}}={\∫}_0^{T_0}\frac{{\stackrel{\‾}{E}}_{\mathrm{FBS}}\left(t\right)}{T_0}\mathrm{dt}---\left(4\right)$

其中

是系统平均频谱效率。

当家庭基站频谱全复用的时候，对某些家庭基站用户离基站较远的基站来说频谱效率很小，这些基站的频谱效率就不能满足QoS的要求。本发明中把基站的频谱效率的CDF曲线的5％定义为边缘频谱效率如下：

$E_{\mathrm{edge}}=\underset{a}{\arg }({\∫}_0^{a}f\left({\stackrel{\‾}{E}}_{\mathrm{FBS}}\right)d{\stackrel{\‾}{E}}_{\mathrm{FBS}}=0.05)---\left(5\right)$

前面已经提到随着频率复用系数f的改变，基站的频谱效率也会随之改变，当f越小时每个基站能使用的频谱越大系统频谱效率较好，但是可能会造成有些基站的边缘频谱效率极低；当f越大时基站的边缘频谱效率会得到改善，但由于使用的频带变小，系统频谱效率会受到限制。所以需要动态的调节各信道的频谱复用系数使得基站的边缘频谱效率达到QoS要求的基础上尽量提高系统的频谱效率。这样在每个时隙都可以把这个问题描述成一个最优化的问题：

$\mathrm{Maximize}{\stackrel{\‾}{E}}_{\mathrm{FBS}}(f,N_f)=\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\frac{1}{I}\left(\underset{u\∈\{1,...U\}}{\mathrm{\Σ}}\underset{f\∈F}{\mathrm{\Σ}}\underset{n_f\∈\{1,...,N_f\}}{\mathrm{\Σ}}\frac{1}{f}\frac{M_f^{i,u}}{N_f}{\log }_2(1+{\mathrm{\γ}}_{n_f}^{i,u})\right)---\left(6\right)$

Subject to：

1) $\underset{u\∈\{1,...U\}}{\mathrm{\Σ}}{M}_f^{i,u}=N_f\∀i,f$

2) $\underset{f\∈F}{\mathrm{\Σ}}{\mathrm{fN}}_f=R\∀i$

3) $E_i\≥E_{\mathrm{th}}\∀i$

式1)表示对所有的家庭基站来说每个频谱复用系数下的子信道数必须相同，式2)表示分配给家庭基站的信道总数必须等于总的信道数，式3)则表示每个家庭基站的频谱效率必须大于预设的阈值E_th。

上述最优求解可采用现有的拉格朗日算法、图论等方法，但这些算法均存在复杂度高的问题，本发明采用Q学习方法来解决这个复杂的最优化问题。Q学习是一种无师自通的学习算法，它不需要先验知识，完全是在与环境的不断交互过程中学到最优的策略。Q学习被证明在马尔科夫决策过程环境中能最终收敛到最优值。Q学习的基本模型如图2所示。Q学习模型由一组状态-动作对组成，学习的目标是集中控制中心在不断与环境交互过程中能找到一个最优的策略，使得观察到的奖赏值最大。智能体在处于状态s时，根据策略π：s→a，选择动作。将Q学习应用到本发明的家庭基站系统中，首先要将状态、动作和奖赏函数映射到家庭基站系统中。以最简单的每个信道的复用系数分为两种情况f＝1和f＝3考虑，选择的动作是两种复用系数下的动作个数并确定f＝1和f＝3下的信道集合A₁和A₃。当每个家庭基站的不同复用系数下的信道数确定以后，集中控制中心随机从A₁和A₃中选择信道分配给家庭基站。状态的选择是根据动作改变观察环境的变化而定的，在家庭基站系统中选择系统的最小频谱效率和平均频谱效率作为状态，在动态选择各个信道的不同复用系数时，系统的最小频谱效率和平均频谱效率都随之改变。奖赏函数应该体现学习目标，在家庭基站系统中目标是在保证最小频谱效率大于门限值的条件下尽量提高平均系统频谱效率。其具体映射如下：

1)状态：定义每个时间步t的状态s＝{C_t，D_t}，其中C_t表示系统平均频谱效率的大小，将系统频谱效率分成几个等级，例如如式(7)所示；D_t∈{0，1}；

$C_t=\left\{\begin{array}{ccc}0& \mathrm{if}& {\stackrel{\‾}{E}}_{\mathrm{FBS},t}\∈\left[\mathrm{0,2}\right)\\ 1& \mathrm{if}& {\stackrel{\‾}{E}}_{\mathrm{FBS},t}\∈\left[\mathrm{2,4}\right)\\ 2& \mathrm{otherwise}& {\stackrel{\‾}{E}}_{\mathrm{FBS},t}\∈[4,\∞)\end{array}\right.---\left(7\right)$

2)动作：定义系统选择的动作为不同频谱复用系数下的信道数，为便于描述起见，本具体实施方式中信道复用系数为两种，分别为f＝1和f＝3，所以动作定义为a＝{N₁，N₃}。因为总的信道数为R，所以有：

R＝N₁+3*N₃Δf    (8)

3)奖赏函数：在t时刻尽量使得所有基站的频谱效率都大于E_th，如果策略中含有满足QoS要求的策略，则选择最小频谱效率最大的那个策略作为最优策略，奖赏函数如下：

$r_t=\left\{\begin{array}{cc}0& \mathrm{if}{J}_t>0\\ W/{\exp }^{(-{\stackrel{\‾}{E}}_{\mathrm{FBS},t})}& \mathrm{otherwise}\end{array}\right.---\left(9\right)$

如果经过一次Q学习以后发现所有策略都不能满足QoS要求的话，那就需要进行第二次Q学习，此时的奖赏函数就去修改为

$r_t=W/{\exp }^{(-E_{i^{*},t})}---\left(10\right)$

其中i^*为频谱效率最小的基站号，而

则表示在时间步t时频谱效率最小的那个基站的频谱效率。

算法具体实现过程如图3所示，包括：

第1步：随机初始化状态-动作值对应的Q值，设定学习速率α₀和贪婪算法中的初始探索概率ε₀；

第2步：通过各家庭基站获得初始状态s₀；

第3步：不断重复以下步骤(在每个时间步t)：

3.1根据贪婪算法最优动作a_t如下

3.2执行动作a_t，根据情况选择式(9/10)中其中一个奖赏函数计算在时间步t+1的瞬时奖赏值r_t。

3.3观察新状态s′

3.4将r_t代入下式更新Q函数，并更新参数：

$Q_{t+1}(s,a)\←(1-{\mathrm{\α}}_t)Q_t(s,a)+{\mathrm{\α}}_t(r_t+\mathrm{\γ}\underset{a^{\′}}{\max }{Q}_t(s^{\′},a^{\′}))$

3.5t←t+1，若满足收敛条件，则结束，否则返回3.1。

本发明是将家庭基站网络的集中控制中心作为是一个智能体，利用Q学习动态地调整各复用系数下的信道个数，同时考虑所有家庭基站的频谱效率作为奖赏函数，在尽量满足了家庭基站网络的QoS要求的同时提高家庭基站的平均频谱效率。所谓动态体现在当基站内的用户分布情况改变时，系统的频谱分配也随之改变。家庭基站系统的干扰管理就可以表示成一个系统状态到控制动作的控制过程。整个控制过程可以分成两阶段：学习阶段和控制阶段。本发明采用的方法是一种半分布式的方法，各个子信道的复用系数是以集中的方式控制的，但同时每个基站又是各自独立地将获得的信道使用比例公平算法分配给各自基站内的用户。Q学习在不断地与环境交互过程中学习知识，并最终收敛到最优的信道分配动作。当环境发生改变的时候，系统会重新学习到新的信道分配方法，这样最终系统频谱效率得到改善。

Claims (5)

1.一种基于OFDMA的家庭基站系统的动态频谱分配方法，所述家庭基站系统包括集中控制中心及与其分别信号连接的多个家庭基站，各家庭基站所存在的区域没有宏基站的覆盖，或者家庭基站与宏基站使用不同的频带，其特征在于，各家庭基站实时采集本基站信息并将采集到的信息传输至集中控制中心；集中控制中心根据所接收的各家庭基站信息，通过对以下数学模型进行优化求解，得到下一时刻各信道的频谱复用系数，各家庭基站独立将所获得的信道分配给各自的用户，

             

Subject to：

        1）

               

        2）

                     

          3）

                         

其中，

 是家庭基站系统的平均频谱效率；

是频率复用系数集合；

表示每个家庭基站中频率复用系数为

的信道数；

表示第

个基站中用户

使用的频率复用系数

的信道数；I为家庭基站系统中家庭基站的数量；U表示第

个基站中的用户数；R为家庭基站系统中所使用频带的子信道数；

为家庭基站

的频谱效率；

为预设的频谱效率阈值；表示第

个家庭基站的用户

在频率复用系数

的信道

下的信干噪比，其表达式为

，式中，表示第个家庭基站在信道

上的发射功率，

表示发送基站

到接受基站在信道

上的增益， 

表示第

个家庭基站的频谱复用系数为

时该基站的干扰基站集合，表示噪声功率。

2.如权利要求1所述基于OFDMA的家庭基站系统的动态频谱分配方法，其特征在于，所述优化求解采用Q学习方法，其具体映射如下：

状态空间：

，其中

为系统平均频谱效率，按大小分成个等级，为大于1的整数；

表示系统中基站的最低频谱效率是否满足预设要求，1表示满足，0则表示不满足； 

动作空间：

，其中

、

…、

是复用系数分别为

、…、情况下的信道数，动作随着不同复用系数下的信道数的变化而改变；

根据关系式

来确定，其中

是常数表示总的信道数目；

奖赏函数：尽量使得所有基站的频谱效率都大于频谱效率阈值

，选择最小频谱效率最大的那个策略作为最优策略；当有基站的边缘频谱效率小于阈值时奖赏函数为0；当所有基站的边缘频谱效率都大于阈值

时奖赏函数为

，其中

为正常数，

表示所有家庭基站在时刻t的平均频谱效率，这样如果

越大则奖赏值也越大；如果经过一次Q学习以后发现所有策略都不能满足QoS要求的话，那就需要进行第二次Q学习，此时的奖赏函数就修改为

，其中

为家庭基站号，

为频谱效率最小的家庭基站号，而

则表示在时间步t时频谱效率最小的那个家庭基站的频谱效率。

3.如权利要求2所述基于OFDMA的家庭基站系统的动态频谱分配方法，其特征在于，Q学习方法中的状态转移概率

通过贪婪算法获得。

4.如权利要求2所述基于OFDMA的家庭基站系统的动态频谱分配方法，其特征在于，各家庭基站采用比例公平算法将所获得的信道分配给各自的用户。

5.一种基于OFDMA的家庭基站系统，包括集中控制中心及与其分别信号连接的多个家庭基站，各家庭基站所存在的区域没有宏基站的覆盖，或者家庭基站与宏基站使用不同的频带，其特征在于，其频谱分配采用权利要求1-4任一项所述动态频谱分配方法。

Images