CN106332094A - 非授权频段LTE‑U和WiFi系统基于Q算法的动态占空比共存方法 - Google Patents

Abstract

本发明涉及一种非授权频段LTE‑U和WiFi系统基于Q算法的动态占空比共存方法，属于无线通信技术领域。该方法借助Q学习算法，根据LTE‑U和WiFi系统在当前传输周期T的总吞吐量，得出LTE‑U系统在下一个传输周期T内的传输时间，使得网络吞吐量达到预期值，改善LTE‑U系统和WiFi系统共存性能。该方法从提高网络整体吞吐量的角度出发，假设WiFi在T内一直传输数据，而LTE‑U则根据Q学习算法的结果，确定T内LTE‑U的传输时间比例，随后记录该传输时间比例下，当前T内的网络整体吞吐量，为下一次Q学习算法选择传输比例时提供依据。该方法充分考虑到了LTE‑U和WiFi系统共存时,WiFi系统吞吐量受到LTE‑U传输的干扰而急剧减少的情况，可应用LTE‑U和WiFi系统共存前提下，用户移动的场景。

Description

非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存 方法

技术领域

本发明属于无线通信技术领域，涉及一种非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法。

背景技术

随着无线通讯技术的高速发展，越来越多的无线应用丰富着人们的生活。高数据量业务的爆发式增长，加剧了当前频谱资源紧张的局面。据预测，到2020年，无线数据业务比起2010年将会增长1000倍。为此，业内众多公司提出了将LTE系统借助于载波聚合技术(Carrier Aggregation，CA)在5GHz非授权频上使用的想法，即LTE-U。更宽的频谱极大的提升了LTE系统的吞吐量，但考虑到非授权频段的传输性能并不稳定，为了给用户提供较高的服务质量，通常建议LTE-U借助于LAA(LicensedAssistedAccess，LAA)来进行数据传输，即控制数据和用户数据分别在2GHz与5GHz上传输，如此一来，即使当非授权频段传输质量无法保障的情况下，LTE-U用户的关键控制数据也不被丢失，有效的改善并保证了LTE-U用户的服务体验。

目前，WiFi(Wireless-Fidelity，无线局域网)是5GHz频段最常用的一种无线接入方式。该系统采用载波监听、多路访问以及碰撞避免(Carrier Sense Multiple Accesswith Collision Detection，CSMA/CA)的方式接入信道，即在接入信道前，先进行信道监听，当判断信道空闲后，持续监听信道一段时间，若信道仍保持空闲，则开始数据传输，否则随机后退一段时间，待到信道空闲后，继续监听信道一段时间，直到此时间内信道依旧空闲，则开始数据传输。这种接入方式能有效的减小碰撞的概率，提高WiFi用户传输性能。

然而，WiFi基于竞争的接入机制正是其在与LTE-U在5GHz上共存受到干扰的原因。当LTE-U与WiFi共存时，WiFi系统将会因受到LTE-U的传输干扰而导致其一直处于监听和回退的状态，进而使得WiFi系统的吞吐量受到严重影响。因此，LTE-U对WiFi的公平共存问题共成为了LTE-U在5GHz上使用亟需解决的问题。现有的LTE-U和WiFi的共存方案是大多基于时分复用的共存方式，通过将LTE-U和WiFi从传输时间上相互隔离，达到共存目的。而实际情况中，由于无线环境的复杂性以及WiFi接入机制的不可控性，传统的时分复用共存方式在解决LTE-U和WiFi系统共存问题上表现并不理想。

发明内容

有鉴于此，本发明的目的在于提供一种非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，在该方法中，LTE-U通过Q学习算法，动态调整其与WiFi系统的共存时间，使得网络整体吞吐量在达到预期吞吐量的同时，保证WiFi系统一定的传输机会，降低LTE-U对WiFi系统的干扰。该方法具有简便高效的特点，此外，方法中Q算法预期吞吐量值的设定可根据网络实际情况，即用户数，业务类型等因素进行灵活的调整，具备一定的可移植性。

为达到上述目的，本发明提供如下技术方案：

一种非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，该方法利用Q算法，不断学习探索网络环境，动态调节LTE-U与WiFi的最佳共存时间，以此来降低LTE-U对WiFi系统的干扰，提高网络整体吞吐量；

该方法具体包括以下步骤：

S1：分别给LTE-U和WiFi设置预期吞吐量并给LTE基站编号；

S2：划分状态State和动作Action；

S3：对全部LTE基站建立全零Q矩阵；

S4：确定当前网络整体吞吐量C所处的状态State j，j表示当前的状态编号，1≤j≤N，N表示状态总数；

S5：选择动作Action：产生一个服从均匀分布的0到1的随机数r，如果r小于预设固定值ε，则随机选择动Action q，否则，则选择中对应的动作Action q；此种选择动作Action方式，即可保证以一定概率随机探索新动作Action，又可依照经验选择此状态下Q值，即代价最小的动作Action；q表示当前的动作编号，1≤q≤S，S表示动作Action总数；

S6：执行所选择的动作Action q，并在当前传输周期T结束后，记录下LTE-U和WiFi系统当前各自的吞吐量C_L、C_W；

S7：更新网络整体吞吐量C_upd，得出此时网络所处的状态State upd并更新Q矩阵；

S8：更新状态State：根据步骤S7中得出的当前状态State upd，更新此时的网络状态State，并跳转至步骤S5，进行下一个传输周期T内动作Action的选择。

进一步，在步骤S1中，网络侧根据LTE-U和WiFi系统各自的瞬时吞吐量峰值乘以相应的百分比，设置LTE-U和WiFi系统的预期吞吐量设置LTE基站编号，编号从场景中心小区的基站起始，依次编号：B₁、B₂…B_M，M为场景中的基站总数。

进一步，在步骤S2中，状态State的划分可对网络整体期望吞吐量进行均分得出，理论上，State的个数并没有明确的规定，故可以按照实际的情况进行调整，需要注意的是，相邻两个State之间的距离不宜太大或太小，否则容易使得Q算法调节网络整体吞吐量效果不明显或算法效率低下。

进一步，在步骤S2中，动作Action划分为4种情况，即20％、40％、60％、80％；该4种Action代表LTE-U在一个传输周期内T的传输时间比例，即LTE-U与WiFi在一个传输周期时间T内共存的时间。

进一步，在步骤S3中，全部LTE基站建立全零Q矩阵，基站B_i的Q矩阵元素为其中，j表示当前的状态编号，q表示当前的动作编号，1≤j≤N，1≤q≤S；N表示状态总数，S表示动作总数，即为4。

进一步，在步骤S4中，根据步骤S2中的State划分规律，确定当前网络整体吞吐量C所处的Statej。

进一步，在步骤S5中，考虑到Q学习算法是根据过去的经验选择动作Action q，为了保证Q算法选择的有效性，在Q算法中规定以一定的概率ε跳出经验的限制以探索更优的选择结果并进一步保障Q算法在提高网络整体吞吐量的优势，其中，ε的取值为0.04。

进一步，在步骤S6中：

在当前传输周期T内，LTE-U系统执行Action q对应的传输时间比例，传输比例与传输时间比例的对应关系为：传输时间＝传输时间比例×传输周期T。

进一步，在步骤S7中，利用步骤S6中记录的LTE-U和WiFi的当前吞吐量C_L、C_W，通过C_upd＝C_L+C_W计算出此时网络整体吞吐量C_upd，结合步骤S2中确定的State划分情况，得出此时的网络状态State upd。

进一步，在步骤S7中，每一个传输周期结束后，都需要对Q矩阵进行更新，Q矩阵更新式为：

$Q_{B_i\left(Statej.Actionq\right)}=\left(1-\∝\right)Q_{B_i\left(Statej.Actionq\right)}+\mathrm{\α}\[Cost+\mathrm{\γ}Q\_value\]$

上式等号右边的

为更新后的Q值，等号左边的

为更新前的Q其中，代价Cost和更新的

Q_v的计算方式为：

$Cost=|C_L^t-C_L|+|C_W^t-C_W|$

$Q\_value=({\min }_{Actionupd}\left(Q_{B_i\left(Stateupd.Actionupd\right)}\right)$

代价Cost值代表着已选的动作Action q对于LTE-U和WiFi网络达到预期吞吐量是否有促进的作用；当Cost值较小，表示Action q有利于LTE-U和WiFi网络达到预期吞吐量，反之，则表示Actionq不利于使LTE-U和WiFi网络达到预期吞吐量；更新公式中的学习因子α和折扣因子γ，取值范围都为(0，1)，二者协同作用调节Q矩阵的更新，进而影响Q算法的学习效果，α取值0.5，γ取值0.9。

本发明的有益效果在于：本发明通过LTE-U在传输周期T内间断传输，而WiFi保持持续传输的方式实现LTE-U和WiFi的共存。与传统的时分复用方式相比，本方法中LTE-U和WiFi的共存方式充分利用了LAA的传输优点，改变了传统时分复用方式内任意传输周期T中需要分别中断LTE-U和WiFi的传输的情况，并改善了网络整体用户的传输性能和用户体验。此外，该方法中利用Q学习算法根据网络当前实际的吞吐量来进行动态的调节最佳LTE-U和WiFi的共存时间，在保证WiFi用户一定的传输能力的同时，有效降低LTE-U对WiFi系统的干扰，使得网络整体吞吐量达到预期值并优化网络整体性能。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本方法适用的网络场景图；

图2为LTE-U和WiFi的共存方式示意图；

图3为Q算法动态调整LTE-U传输时间的流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明针对LTE-U和WiFi在5GHz上共存问题，提出一种LTE-U和WiFi系统非授权频段上基于Q算法的动态占空比方案。不同于传统的时分复用共存方案，本发明中将时间划分为若干个传输周期T，LTE借助CA技术同时使用2GHz和5GHz。此外，LTE-U将采用LAA的传输方式，即将重要控制数据放置在2GHz上传输，用户数据放置在5GHz上传输。如此一来，即使LTE-U在5GHz上的传输被中断，LTE-U用户的重要数据也不会丢失。

方案中，LTE-U用户一方面保持其在2GHz上的传输，一方面按照Q算法选择的传输时间比例(20％、40％、60％、80％)所对应的传输时间在5GHz上进行传输。完成规定时间的传输后，LTE-U用户将在剩余的时间断开5GHz频段上的传输，此时LTE-U用户在2GHz上的传输依旧继续，待到下一个传输周期T开始时，LTE-U重新借助载波聚合技术聚合5GHz频段，并根据此时Q算法选择的结果在5GHz频段上传输相应的时间。

WiFi用户则依旧使用CSMA/CA的竞争接入方式，不同于LTE-U在一个传输周期T内的间断传输，WiFi用户在每一个传输周期T内一直保持数据传输。这种LTE-U在传输周期内间断传输，而WiFi在传输周期内保持传输的共存方式，一方面可以避免传统时分复用共存方案中，需要同时间断LTE-U和WiFi传输的情况，并将间断的次数减至最小，保护了WiFi用户的传输性能；另一方面，考虑到LTE-U较之WiFi具有更强的抗干扰能力，且LTE-U采用LAA的传输方式，即使LTE-U间断在5GHz上传输，也不会对LTE-U的服务质量(Quality ofService，QOS)造成严重的影响。

方案中，LTE-U在传输周期T内的传输时间由Q算法决定，Q算法依照上一个传输周期T时网络整体的吞吐量判断此时网络的状态State，随后根据以往经验，得出该网络状态State下，网络希望在该传输周期T内达到预设吞吐量时的LTE-U最优传输比例，即动作Action。此外，为了避免Q算法的选择受到以往经验值的限制，Q算法内还采用贪婪法则，即允许Q算法以一定的概率随机寻找LTE-U在传输周期T内的传输比例。贪婪法则使得Q算法有机会去发现网络在当前状态State下，LTE-U在传输周期T内更优的传输时间分配策略，在一定程度上保证了Q算法调节LTE-U与WiFi共存时间的正确性。

Q算法的具体步骤如下：

1)设置预设吞吐量。网络侧根据LTE-U和WiFi系统各自的吞吐量峰值，设置LTE-U和WiFi系统的目标吞吐量

2)设置基站编号。给场景中所有的LTE基站设置编号，编号从场景中心小区的基站开始，依次编号：B₁、B₂…B_M.M为场景中的LTE基站总数；

3)划分状态State和动作Action。利用式1计算网络整体期望吞吐量并给网络吞吐量划分状态State和动作Action，划分情况见表1、表2，其中C为网络整体吞吐量,N+1为划分的状态State个数；

表1

表2

传输比例	网络行为
		20％	Action1
40％	Action2
		60％	Action3
80％	Action4

4)初始化Q矩阵。由于任意基站都有N+1种状态State，和4种行为Action，因此，给基站B_i建立[N+1，4]的全零Q矩阵其中，矩阵的元素为1≤j≤N+1，1≤q≤4；

5)确定网络当前状态State。利用表1，确定网络总整体吞吐量C所处的Statej，1≤j≤N+1。

6)产生一个服从均匀分布的0到1的随机数r，如果r小于固定值ε，则随机选择Action q，1≤q≤4否则，选择中对应的Action q。此种选择动作Action方式，即可保证以一定概率随机探索新动作Action，又可依照经验选择此状态下代价最小的动作Action。

7)执行Action q。在当前传输周期内，LTE-U系统按照动作Action q对应的传输时间进行传输，动作Action q与传输时间的对应公式见式2，并在传输周期T结束后，记录下LTE-U和WiFi系统各自的吞吐量C_L、C_W。

传输时间＝动作Action q×传输周期(1≤q≤4) (式2)

8)更新网络整体吞吐量C_upd。利用式3计算更新后的网络整体吞吐量C_upd。

C_upd＝C_L+C_W (式3)

9)更新Q矩阵。利用表1，判断C_upd所处状态State upd。通过式4更新Q矩阵，其中，代价Cost以及Q_value的计算见式5、式6。

10)更新状态State。将状态State j更新为状态State upd并重复执行步骤6)，为下一个传输周期T内动选择作Action。

图1为本方法适用的网络场景图，在本实施例中，本方法适用场景考虑双层小区结构，层一与层二分别有7宏蜂窝小区结构，并依次在每层各小区的中心位置部署LTE宏基站(Macrocell Base Station，MBS)或WiFi的接入节点(Access，Point，AP)，具体如图1所示。场景中LTE-U用户和WiFi用户在各层的各小区中等量均匀分布，并按照一定的速度向任意方向的运动。此外，LTE-U用户将采用LAA(Licensed Assisted Access)的传输方式来提高传输质量。LAA，即控制数据和用户数据分别在2GHz与5GHz上传输，此传输方式可在当非授权频段传输质量无法保障的情况下，保证LTE-U用户的关键控制数据不被丢失。

在本实施例中，LTE采用频分双工(Fime Division Duplexing，FDD)模式，WiFi采用802.11a标准，LTE-U用户与WiFi用户的共存方式如图2所示。图2中将时间划分为若干个传输周期T，在每个传输周期T内，WiFi用户一直在5GHz上传输，而LTE-U用户一方面一直保持其在2GHz上的传输，一方面按照Q算法选择的传输时间比例(20％、40％、60％、80％)所对应的传输时间在5GHz上进行传输。完成规定时间的传输后，LTE-U用户将停止使用5GHz频段，此时LTE-U用户在2GHz上的传输依旧继续，待到下一个传输周期T开始时，LTE-U重新借助载波聚合技术聚合5GHz频段，并根据此时Q算法选择的结果在5GHz频段上传输相应的时间。

对每个LTE基站使用Q算法，即可得出各小区的LTE-U用户在任意传输周期T内传输时间。Q算法执行的步骤流程如图3所示。当一个传输周期T开始时，网络侧首先会根据上个传输周期T所记录的LTE-U和WiFi各自的吞吐量计算出网络整体吞吐量，进而得出网络整体所处的状态State。随后产生一个服从均匀分布的0到1的随机数r，如果r小于固定值ε，则随机选择动作Action，否则，则在该基站B_i的Q矩阵中，寻找此状态State下，最小的Q值对应的动作Action，即根据此时选择出的动作Action，对应出LTE-U在该传输周期T内的传输比例，并通过将该传输比例得出LTE-U在该传输周期T内的传输时间。LTE-U在该传输周期T内执行此传输时间，并在传输周期结束后，记录LTE-U和WiFi各自的吞吐量C_L、C_W，根据二者的吞吐量更新此时的网络整体吞吐量值C_upd＝C_L+C_W，并判断此时网路整体吞吐量C_upd所处的状态State upd。接着，确定该传输周期T内选择的动作Action所带来的代价Cost，代价Cost的计算公式：其中，和分布是LTE-U和WiFi网络的预期吞吐量值，根据代价Cost，更新Q矩阵，更新公式为：

$Q_{B_i\left(State.Action\right)}=\left(1-\∝\right)Q_{B_i\left(State.Action\right)}+\mathrm{\α}\[Cost+\mathrm{\γ}Q\_value\]$

公式中，α和γ分别为学习因子和折扣因子，Q_value为Q矩阵在State upd状态下的最小Q值。随后，将状态State更新为状态State upd。到此，Q算法的此次循环结束，待到下一个传输周期T开始，重复执行上述步骤即可。

本方案中，Q算法通过不断学习动作Action后所产生的代价Cost，确保了Q算法可在不断的更新后，得出在不同状态State下为了达到预期吞吐量所需选择的动作Action的最优策略，灵活的调整LTE-U和WiFi的共存时间，在达到预期吞吐量同时，降低LTE-U对WiFi的干扰，实现LTE-U和WiFi网络的公平共存。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (10)

1.一种非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：该方法利用Q算法，不断学习探索网络环境，动态调节LTE-U与WiFi的最佳共存时间，以此来降低LTE-U对WiFi系统的干扰，提高网络整体吞吐量；

该方法具体包括以下步骤：

S1：分别给LTE-U和WiFi设置预期吞吐量并给LTE基站编号；

S2：划分状态State和动作Action；

S3：对全部LTE基站建立全零Q矩阵；

S4：确定当前网络整体吞吐量C所处的状态State j，j表示当前的状态编号，1≤j≤N，N表示状态总数；

S5：选择动作Action：产生一个服从均匀分布的0到1的随机数r，如果r小于预设固定值ε，则随机选择动Action q，否则，则选择中对应的动作Action q；此种选择动作Action方式，即可保证以一定概率随机探索新动作Action，又可依照经验选择此状态下Q值，即代价最小的动作Action；q表示当前的动作编号，1≤q≤S，S表示动作Action总数；

S6：执行所选择的动作Action q，并在当前传输周期T结束后，记录下LTE-U和WiFi系统当前各自的吞吐量C_L、C_W；

S7：更新网络整体吞吐量C_upd，得出此时网络所处的状态State upd并更新Q矩阵；

S8：更新状态State：根据步骤S7中得出的当前状态State upd，更新此时的网络状态State，并跳转至步骤S5，进行下一个传输周期T内动作Action的选择。

2.根据权利要求1所述的非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：在步骤S1中，网络侧根据LTE-U和WiFi系统各自的瞬时吞吐量峰值乘以相应的百分比，设置LTE-U和WiFi系统的预期吞吐量设置LTE基站编号，编号从场景中心小区的基站起始，依次编号：B₁、B₂…B_M，M为场景中的基站总数。

3.根据权利要求1所述的非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：在步骤S2中，状态State的划分可对网络整体期望吞吐量进行均分得出。

4.根据权利要求1所述的非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：在步骤S2中，动作Action划分为4种情况，即20％、40％、60％、80％；该4种Action代表LTE-U在一个传输周期内T的传输时间比例，即LTE-U与WiFi在一个传输周期时间T内共存的时间。

5.根据权利要求1所述的非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：在步骤S3中，全部LTE基站建立全零Q矩阵，基站B_i的Q矩阵元素为其中，j表示当前的状态编号，q表示当前的动作编号，1≤j≤N，1≤q≤S；N表示状态总数，S表示动作总数，即为4。

6.根据权利要求1所述的非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：在步骤S4中，根据步骤S2中的State划分规律，确定当前网络整体吞吐量C所处的Statej。

7.根据权利要求1所述的非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：在步骤S5中，考虑到Q学习算法是根据过去的经验选择动作Action q，为了保证Q算法选择的有效性，在Q算法中规定以一定的概率ε跳出经验的限制以探索更优的选择结果并进一步保障Q算法在提高网络整体吞吐量的优势，其中，ε的取值为0.04。

8.根据权利要求1所述的非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：在步骤S6中：

在当前传输周期T内，LTE-U系统执行Action q对应的传输时间比例，传输比例与传输时间比例的对应关系为：传输时间＝传输时间比例×传输周期T。

9.根据权利要求1所述的非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：在步骤S7中，利用步骤S6中记录的LTE-U和WiFi的当前吞吐量C_L、C_W，通过C_upd＝C_L+C_W计算出此时网络整体吞吐量C_upd，结合步骤S2中确定的State划分情况，得出此时的网络状态State upd。

10.根据权利要求1所述的非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，其特征在于：在步骤S7中，每一个传输周期结束后，都需要对Q矩阵进行更新，Q矩阵更新式为：

$Q_{B_i(Statej,Actionq)}=(1-\∝)Q_{B_i\left(Statej,Actionq\right)}+\mathrm{\α}\[Cost+\mathrm{\γ}Q\_value\]$

上式等号右边的

为更新后的Q值，等号左边的

为更新前的Q其中，代价Cost和更新的

Q_v的计算方式为：

$Cost=|C_L^t-C_L|+|C_W^t-C_W|$

$Q\_value=\left({\min }_{Actionupd}\right|\left(Q_{B_i(Stateupd,Actionupd)}\right)$

代价Cost值代表着已选的动作Action q对于LTE-U和WiFi网络达到预期吞吐量是否有促进的作用；当Cost值较小，表示Action q有利于LTE-U和WiFi网络达到预期吞吐量，反之，则表示Actionq不利于使LTE-U和WiFi网络达到预期吞吐量；更新公式中的学习因子α和折扣因子γ，取值范围都为(0，1)，二者协同作用调节Q矩阵的更新，进而影响Q算法的学习效果，α取值0.5，γ取值0.9。