CN108093409A - 一种LTE-U系统和WiFi系统在未授权频段的共存方法 - Google Patents

一种LTE-U系统和WiFi系统在未授权频段的共存方法 Download PDF

Info

Publication number
CN108093409A
CN108093409A CN201711277047.2A CN201711277047A CN108093409A CN 108093409 A CN108093409 A CN 108093409A CN 201711277047 A CN201711277047 A CN 201711277047A CN 108093409 A CN108093409 A CN 108093409A
Authority
CN
China
Prior art keywords
lte
wifi
capacity
systems
frequency spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711277047.2A
Other languages
English (en)
Inventor
黄晓舸
刘莹莹
李扬扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201711277047.2A priority Critical patent/CN108093409A/zh
Publication of CN108093409A publication Critical patent/CN108093409A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/14—Spectrum sharing arrangements between different networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0446—Resources in time domain, e.g. slots or frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种LTE‑U系统和WiFi系统在未授权频段的共存方法，属于无线通信技术领域。该方法基于shortened TTI技术，引入增强型Q‑learning算法动态分配空白子帧和TTI，不仅能动态分配空白子帧，同时能够降低LTE的传输时延，显著提高LTE‑U系统和WiFi系统之间的公平性，同时能降低LTE‑U的传输时延，从而提高未授权频段的频谱利用率。本发明不仅能提高系统的总体频谱效用，还能同时检测LTE‑U系统的频谱效用和WiFi系统的频谱效用的优劣；不仅能提高频谱利用率，还能有效的降低LTE‑U的时延；不仅能以LTE‑U系统和WiFi系统相同的侧重分配LTE‑U帧，还能以不同的侧重分配LTE‑U帧，对提高未授权频段的整体频谱利用率具有重要作用。

Description

一种LTE-U系统和WiFi系统在未授权频段的共存方法
技术领域
本发明属于无线通信技术领域，具体涉及一种LTE-U系统和WiFi系统在未授权频段的共存方法。
背景技术
近几年，由于移动通信设备和智能终端的快速增多，对无线数据传输的需求也指数倍增加。同时，人们对于数据传输质量的要求也在不断提高，这些给本就有限的授权频谱带来巨大压力。为了解决频谱资源短缺的问题，很多技术被提出来，如大规模MIMO，认识无线电，小蜂窝和全双工通信等。为了解决LTE用户的频谱资源短缺问题，5GHz未授权频段包含的500M无线频谱进入了很多公司和标准化组织的视野。继而，LTE-U的概念被提出，即LTE系统利用载波聚合技术(Carrier Aggregation,CA)在5GHz未授权频段上使用。然而，目前5GHz未授权频段最常见的无线接入方式是WiFi(Wireless-Fidelity,无线局域网)。由于两者使用不同的技术且各自独立发展了很多年，因此，解决LTE-U和WiFi用户的和谐共存问题将面对不少挑战。
LTE和WiFi的主要不同是在物理层和介质访问控制层(Medium Access Control，MAC)。首先，他们使用不同的信道接入机制。对于LTE来说，它在授权频段传输，并且有一个集中控制器对下行/上行链路进行分配控制，使它可以保持可靠的传输。对于WiFi来说，它没有一个集中控制装置而是用载波监听多路访问以及避免碰撞(Carrier Sense MultipleAccess with Collision Detection,CSMA/CA)的方式接入信道。CSMA/CA机制是每个WiFi用户在接入信道传输数据之前，先检测信道是否空闲；如果信道空闲，并且监听DIFS(Distributed Inter-frame Spacing，分布式帧间间隙)时间，如果监听时间内，信道一直是空闲的，则发送数据；反之，则在竞争窗口范围内随机选择一个回退计数，直到回退计数的值减到0，则重新检测信道，直到监听到信道空闲，开始传输数据。这样可以减小WiFi用户间的冲突概率。当有许多无线用户竞争使用频段时，WiFi的冲突避免机制使频谱使用率并不高。
其次，LTE和WiFi都使用正交频分多址接入(Orthogonal Frequency DivisionMultiple Access，OFDMA)来进行上下行的数据传输。LTE系统将资源划分为若干帧，每个帧包含十个时长为1ms的子帧。相对于WiFi系统，LTE系统频谱效率能达到更高。此外，当LTE系统和WiFi系统使用相同的频段时，LTE系统会连续的传输数据，而WiFi系统由于冲突避免机制无法使用信道，因此会严重影响WiFi系统的传输性能。因此，在5GHz未授权频段上LTE-U系统和WiFi系统的公平共存问题是亟待解决的问题。
3GPP无线接入网技术规范工作组在2016年5月发布的TR-36.881的技术汇报Studyon lagency reduction techniques for LTE中，明确提出了shortened TTI andprocessing delay技术。该技术为了实现更短时延的传输，提出从物理层面设计更短的数据传输间隔，即采用更短的子帧长度来传输数据。TTI是传输时间间隔，在3GPP LTE标准中，一般认为其时间跨度为1ms，它代表着无限链路上独立解码的传输长度，是资源调度，资源管理所管辖时长的基本单位。在3GPP发布的技术汇报中，以14OS(OFDM Symbol)TTI为基准，新提出了三种TTI，即7OS，3/4OS，2OS。
综上所述，本发明提出一种动态调整空白子帧和TTI的时分复用方案来解决LTE-U系统和WiFi系统的共存问题。在本方案中，使用增强型Q-learning算法对不同的空白子帧比例和不同的TTI动态调整，实现LTE-U系统和WiFi系统都较高的用户满意度并且降低LTE-U的时延。增强型Q-learning算法能够基于LTE-U系统和WiFi系统的频谱效用，更新LTE-U帧结构的分配方式，实现LTE-U帧中空白子帧和TTI的高效分配，使系统处于较高频谱利用率的状态。此外，由于增强型Q-learning算法可根据需求改变参数，灵活性高，对网络性能动态提升有重要的意义。
发明内容
有鉴于此，本发明的目的在于提供一种LTE-U系统和WiFi系统在未授权频段的共存方法
为达到上述目的，本发明提供如下技术方案：
一种LTE-U系统和WiFi系统在未授权频段的共存方法，包括以下步骤：
S1：设定未授权频段的带宽，得出系统的总容量；将LTE-U系统和WiFi系统通过云无线接入网络(Cloud Radio Access Network，C-RAN)与互通信息的移动管理实体(MobileManagement Entity，MME)相连，M个LTE-U基站和N个WiFi接入点当做一个整体系统，对未授权频段资源进行统一的分配；
S2：分别设定LTE-U的容量满意度Tl C和时延满意度Tl D的目标值，分别设定WiFi信道利用率的下限上限设定LTE-U的期望平均时延Dd；
S3：设定增强型Q-learning算法中的参数α＝0.5,γ＝0.9以及贪婪因子ε＝0.2；运用增强型Q-learning算法动态调整传输时间间隔(Transmission Time Interval,TTI)，降低LTE-U的传输时延；将LTE-U中的部分子帧设置成空白子帧，空白子帧由WiFi系统传输使用，剩余的子帧由LTE-U系统传输使用；
S4：初始化Q表为0矩阵；
S5：根据以上设定的网络状态和已划分的状态S，得出初始化的起始状态sj；
S6：根据当前状态下的贪婪法则选择一个动作ai；贪婪法则的执行方式为：当随机数r小于贪婪因子ε时，动作ai在当前状态行下随机选取一个；当随机数r大于贪婪因子ε时，则选取当前状态行下的Q表最大值对应的那列动作；
S7：选择动作完成后，执行此动作ai，得到LTE-U的容量满意度CSD和时延满意度DSD，LTE-U的频谱效用Ul，WiFi的频谱利用率UWiFi和WiFi的频谱效用Uw，从而得出系统的总体效用函数R，即增强型Q-learning算法中的回报值；
S8：基于以上结果，依据状态s的划分，研究下一个状态s'；
S9：根据总体效用值R，更新Q表中的值Q(s,a)：
Q(s,a)＝(1-α)Q(s,a)；
S10：重复执行步骤S6，更新Q表，直到多次稳定的动作输出，找出最优结果。
进一步，所述步骤S3-S10具体为：
S301：定义A表示动作Action，A＝{a1,a2,…,ai,…,aM}，其中表示一个帧结构中子帧的时长，表示分配给LTE-U的子帧比例，i表示动作的序数号；定义S表示状态State，S＝{s1,s2,…,sj,…,sN}，其中表示LTE-U的容量满意度CSD，表示LTE-U的时延满意度DSD，表示WiFi的容量利用率UWiFi；其中，Tw为WiFi的产生容量，Cw为WiFi可获得的容量，Cw＝C-Co；容量满意度CSD为分配给LTE-U的容量Co与期望容量Cd的比值，如果LTE-U可用容量达到或超过所需容量，CSD将非常高，否则CSD会比较低；其中Cd为LTE-U的期望容量，C代表系统的总体容量，由香农公式得出；代表LTE-U帧结构中分配给LTE-U的子帧比例；Do为LTE-U获得的平均时延，Dd为LTE-U的期望时延， 为一个无线帧中分配给两个LTE-U子帧之间的空白子帧个数；
S302：将LTE-U的容量满意度CSD、LTE-U的时延满意度DSD和WiFi的容量利用率UWiFi分别进行定义，得出LTE-U系统的频谱效用Ul和WiFi系统的频谱效用Uw，Ul＝βmin[CSD,Tl C]+(1-β)min[DSD,Tl D]，其中，β为权重参数，0＜β＜1，Tl C,Tl D分别表示LTE-U的容量满意度CSD和时延满意度DSD，分别表示WiFi信道利用率的下限和上限；然后得出系统的总体效用函数R，由LTE-U系统和WiFi系统的频谱效用共同决定，由公式R＝δUl+(1-δ)Uw计算得出，其中，δ为权重参数，0＜δ≤1；
S303：使用公式Q(s,a)＝(1-α)Q(s,a)+α{R+γmaxa'Q(s',a')}更新增强型Q-learning算法，其中，s表示当前状态，a表示当前动作，s'代表下一个状态，a'表示下一状态最佳动作，α表示学习率，0≤α≤1，指导学习发生的速度；若α太小，则需要很长时间来完成学习过程；否则，算法无法收敛；γ表示贴现因子，0≤γ≤1，控制依靠未来成本的程度；若γ太小，则学习对未来成本依靠较小，而更多依赖直接成本优化，即算法较多参考当前状态的结果而较少考虑下一个状态的结果；若γ太大，学习会过度依赖于未来成本而较少关注直接成本，即算法较多的参考下一个状态的结果，而较少关注当前状态的值；
S304：根据已经设定的状态和动作，增强型Q-learning算法进行运算，建立Q表，并不断更新Q表数据，经过更新学习，达到稳定的动作，则此时的动作A所对应的LTE-U帧中空白子帧和TTI的分配方式即为LTE-U在当前网络数据流量需求下的最优分配方式。
进一步，所述步骤S301具体为：LTE-U子帧和空白子帧的分配是按照交叉方式进行分配，即设可供LTE-U使用的子帧数为5，1号子帧若为LTE-U子帧，则2号子帧为空白子帧，3号子帧分配为LTE-U子帧，依次交叉分配；根据LTE-U系统和WiFi系统的频谱效用，基于增强型Q-learning算法动态调整空白子帧，从而提高系统的频谱利用率。
本发明的有益效果在于：本发明在保证LTE-U和WiFi二者频谱利用率的同时，能够降低LTE-U的时延，提高资源利用率，实现系统总体频谱效用的最优化。本发明不仅能提高系统的总体频谱效用，还能同时检测LTE-U系统的频谱效用和WiFi系统的频谱效用的优劣；不仅能提高频谱利用率，还能有效的降低LTE-U的时延；不仅能以LTE-U系统和WiFi系统相同的侧重分配LTE-U帧，还能以不同的侧重分配LTE-U帧，对提高未授权频段的整体频谱利用率具有重要作用。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明的系统网络场景模型图；
图2为本发明使用的LTE-U帧结构；
图3为本发明提出的Q-learning算法动态调整LTE-U帧结构的流程图；
图4为本发明的参数调整示意图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
本发明对未授权频段的资源进行分配，将LTE-U系统和WiFi系统通过MME连接成总体系统，实现5GHz未授权频段的统一分配和管理。通过增强型Q-learning算法，动态调整LTE-U帧结构，实现LTE-U系统和WiFi系统的较高用户满意度，从而提高总体系统性能，高效智能的管理未授权频段的频谱资源。以下结合附图和具体实例对本发明的具体实施说明如下。
图1为本发明的系统网络场景模型图；图2为本发明使用的LTE-U帧结构；以下考虑M个LTE-U基站和N个WiFi接入点，共享相同的未授权频段。他们分别由各自的C-RAN将控制信号传入MME，互相连接的MME统一控制LTE-U帧中空白子帧的分配以及TTI的调整。增强型Q-learning算法依照设定的动作和状态，自主学习更新，实现LTE-U帧结构的最优配置；在增强型Q-learning算法具体实现过程中，对于动作A包含的两个参数，设定分别为1ms、0.5ms和1/7ms，分配给LTE-U的子帧比例设定为20％、40％、60％和80％。这样将得到12种动作，如表1所示。将状态S包含的三个参数按照用户满意度结果划分范围，分别是大于0且小于等于0.5，大于0.5且小于1以及大于1三种情况，状态序数号j由三维矩阵一一对应，如表2所示。
表1动作
表2状态
在本发明具体实施过程中，为了显示增强型Q-learning算法的自主学习更新，初始参数随着时间动态调整，调整参数情况如图4所示。增强型Q-learning算法依照初始参数判断出此时网络的状态sj，随后根据算法得出该网络状态sj下，LTE-U子帧的分配方式以及TTI长度，即动作ai。此外，为了避免增强型Q-learning算法的选择一直受到以往经验值的限制，本发明采用贪婪法则，即允许算法在随机数r小于贪婪因子ε时，随机选择要执行的动作ai。贪婪法则使得增强型Q-learning算法有机会发现网络在当下状态sj下，LTE-U帧结构的更优分配方式，在一定程度上保证了增强型Q-learning算法自我学习更新，找出最优的结果。图3为本发明提出的Q-learning算法动态调整LTE-U帧结构的流程图，本发明的具体步骤如下：
1)设定未授权频段的带宽，以得出系统的总容量；
2)分别设定LTE-U的容量满意度Tl C和时延满意度Tl D的目标值，分别设定WiFi信道利用率的下限和上限设定LTE-U的期望平均时延Dd；
3)设定增强型Q-learning算法中的参数α＝0.5,γ＝0.9以及贪婪因子ε＝0.2；
4)初始化Q表为0矩阵；
5)根据以上设定的网络状态和已划分的状态S，得出初始化的起始状态sj；
6)根据当前状态下的贪婪法则选择一个动作ai；本发明中贪婪法则的执行方式为：当随机数r小于贪婪因子ε时，动作ai在当前状态行下随机选取一个；当随机数r大于贪婪因子ε时，则选取当前状态行下的Q表最大值对应的那列动作；
7)选择动作完成后，执行此动作ai，得到LTE-U的容量满意度CSD和时延满意度DSD，LTE-U的频谱效用Ul，WiFi的频谱利用率UWiFi和WiFi的频谱效用Uw，从而得出系统的总体效用函数R，即增强型Q-learning算法中的回报值；
8)基于以上结果，依据状态s的划分，研究下一个状态s'；
9)根据总体效用值R，更新Q表中的值Q(s,a)：
Q(s,a)＝(1-α)Q(s,a)；
10)重复执行步骤6)，更新Q表，直到多次稳定的动作输出，结束算法。
增强型Q-learning算法经过Q表更新学习，达到多次稳定的动作输出，则此时动作A所对应的LTE-U子帧的分配方式以及TTI长度即为LTE-U在当前网络状况下的最优分配方式。
本发明为了体现增强型Q-learning算法的自我学习过程，对信道的信噪比SNR，LTE-U的期望容量Cd和WiFi产生流量Tw三个参数进行了五次的改变，如图4所示。这样可使增强型Q-learning算法在达到最优的分配方式后，重新学习迭代，重新找到LTE-U子帧以及TTI长度的最优分配方式。我们设置的三个参数的初始值分别为：SNR＝5dB，Cd＝17Mbps，Tw＝3Mbps。依据初始参数，得出LTE-U系统和WiFi系统的频谱效用，增强型Q-learning算法经过多次的自我更新达到稳定的动作，找出了LTE-U子帧以及TTI长度的最优分配方式。
第二次设置是提高Tw的值，即提高WiFi系统的需求量，其他参数维持不变。由仿真结果得出，WiFi系统的频谱效用没有改变，即多分配空白子帧给WiFi系统使用，从而，LTE-U的容量满意度CSD和时延满意度DSD都有所下降，使LTE-U的频谱效用有所降低。该情况下，总体频谱效用有所下降，但LTE-U系统和WiFi系统都达到较高的用户满意度，实现了二者的和谐共存。
第三次设置是提高信噪比SNR的值，增大系统总容量。由于之前LTE-U的频谱效用有所降低，WiFi系统的频谱效用没有改变，这将有更多的容量可供LTE-U使用，因此LTE-U的容量满意度CSD有所提高。由于此次LTE-U的容量满意度CSD超过设定值，为了实现WiFi系统和谐共存，LTE-U帧的分配方式没有改变，从而LTE-U的时延满意度DSD也没有改变，而WiFi系统的频谱效用有小幅度的较少。基于以上，系统的总体效用有所提高。经过增强型Q-learning算法的学习，在保持较高的LTE-U的容量满意度CSD和时延满意度DSD的同时，WiFi系统的频谱效用也保持较高水平。
第四次设置是提高LTE-U的期望容量Cd。由于之前LTE-U的容量满意度CSD超过设定值，此次LTE-U期望容量的增加，使LTE-U的容量满意度CSD向目标值接近。因此，LTE-U的子帧以及TTI长度不需要改变，就能使LTE-U的频谱效用达到最优，同时WiFi系统也保持较高的频谱效用，使系统的总体频谱效用最优。
第五次设置是提高Tw的值，即再次提高WiFi系统的流量需求量。由于之前WiFi的频谱利用率较低，这次Tw的增加，可使WiFi的频谱利用率有所提升。此时，基于增强型Q-learning算法的LTE-U子帧以及TTI长度的分配方式仍然做出兼顾两者的分配结果，维持LTE-U系统的较高频谱效用。
为了更好地验证增强型Q-learning算法的智能高效，本发明对系统的总体效用函数R＝δUl+(1-δ)Uw做出调整，根据不同的LTE-U系统和WiFi系统的权重，进行分析。权重系数分别为：δ＝0.5，δ＝0.7，δ＝0.3。基于此，系统可以对LTE-U系统和WiFi系统的不同需求做出不同的侧重，具有较大的可移植性。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.一种LTE-U系统和WiFi系统在未授权频段的共存方法，其特征在于：该方法包括以下步骤：
S1：设定未授权频段的带宽，得出系统的总容量；将LTE-U系统和WiFi系统通过云无线接入网络(Cloud Radio Access Network，C-RAN)与互通信息的移动管理实体(MobileManagement Entity，MME)相连，M个LTE-U基站和N个WiFi接入点当做一个整体系统，对未授权频段资源进行统一的分配；
S2：分别设定LTE-U的容量满意度Tl C和时延满意度Tl D的目标值，分别设定WiFi信道利用率的下限和上限设定LTE-U的期望平均时延Dd；
S3：设定增强型Q-learning算法中的参数α＝0.5,γ＝0.9以及贪婪因子ε＝0.2；运用增强型Q-learning算法动态调整传输时间间隔(Transmission Time Interval,TTI)，降低LTE-U的传输时延；将LTE-U中的部分子帧设置成空白子帧，空白子帧由WiFi系统传输使用，剩余的子帧由LTE-U系统传输使用；
S4：初始化Q表为0矩阵；
S5：根据以上设定的网络状态和已划分的状态S，得出初始化的起始状态sj；
S6：根据当前状态下的贪婪法则选择一个动作ai；贪婪法则的执行方式为：当随机数r小于贪婪因子ε时，动作ai在当前状态行下随机选取一个；当随机数r大于贪婪因子ε时，则选取当前状态行下的Q表最大值对应的那列动作；
S7：选择动作完成后，执行此动作ai，得到LTE-U的容量满意度CSD和时延满意度DSD，LTE-U的频谱效用Ul，WiFi的频谱利用率UWiFi和WiFi的频谱效用Uw，从而得出系统的总体效用函数R，即增强型Q-learning算法中的回报值；
S8：基于以上结果，依据状态s的划分，研究下一个状态s'；
S9：根据总体效用值R，更新Q表中的值Q(s,a)：
Q(s,a)＝(1-α)Q(s,a)；
S10：重复执行步骤S6，更新Q表，直到多次稳定的动作输出，找出最优结果。
2.根据权利要求1所述的一种LTE-U系统和WiFi系统在未授权频段的共存方法，其特征在于：所述步骤S3-S10具体为：
S301：定义A表示动作Action，A＝{a1,a2,…,ai,…,aM}，其中表示一个帧结构中子帧的时长，表示分配给LTE-U的子帧比例，i表示动作的序数号；定义S表示状态State，S＝{s1,s2,…,sj,…,sN}，其中表示LTE-U的容量满意度CSD，表示LTE-U的时延满意度DSD，表示WiFi的容量利用率UWiFi；其中，Tw为WiFi的产生容量，Cw为WiFi可获得的容量，Cw＝C-Co；容量满意度CSD为分配给LTE-U的容量Co与期望容量Cd的比值，如果LTE-U可用容量达到或超过所需容量，CSD将非常高，否则CSD会比较低；其中Cd为LTE-U的期望容量，C代表系统的总体容量，由香农公式得出；代表LTE-U帧结构中分配给LTE-U的子帧比例；Do为LTE-U获得的平均时延，Dd为LTE-U的期望时延， 为一个无线帧中分配给两个LTE-U子帧之间的空白子帧个数；
S302：将LTE-U的容量满意度CSD、LTE-U的时延满意度DSD和WiFi的容量利用率UWiFi分别进行定义，得出LTE-U系统的频谱效用Ul和WiFi系统的频谱效用Uw，Ul＝βmin[CSD,Tl C]+(1-β)min[DSD,Tl D]，其中，β为权重参数，0＜β＜1，Tl C,Tl D分别表示LTE-U的容量满意度CSD和时延满意度DSD，分别表示WiFi信道利用率的下限和上限；然后得出系统的总体效用函数R，由LTE-U系统和WiFi系统的频谱效用共同决定，由公式R＝δUl+(1-δ)Uw计算得出，其中，δ为权重参数，0＜δ≤1；
S303：使用公式Q(s,a)＝(1-α)Q(s,a)+α{R+γmaxa'Q(s',a')}更新增强型Q-learning算法，其中，s表示当前状态，a表示当前动作，s'代表下一个状态，a'表示下一状态最佳动作，α表示学习率，0≤α≤1，指导学习发生的速度；若α太小，则需要很长时间来完成学习过程；否则，算法无法收敛；γ表示贴现因子，0≤γ≤1，控制依靠未来成本的程度；若γ太小，则学习对未来成本依靠较小，而更多依赖直接成本优化，即算法较多参考当前状态的结果而较少考虑下一个状态的结果；若γ太大，学习会过度依赖于未来成本而较少关注直接成本，即算法较多的参考下一个状态的结果，而较少关注当前状态的值；
S304：根据已经设定的状态和动作，增强型Q-learning算法进行运算，建立Q表，并不断更新Q表数据，经过更新学习，达到稳定的动作，则此时的动作A所对应的LTE-U帧中空白子帧和TTI的分配方式即为LTE-U在当前网络数据流量需求下的最优分配方式。
3.根据权利要求1所述一种LTE-U系统和WiFi系统在未授权频段的共存方法，其特征在于：所述步骤S301具体为：LTE-U子帧和空白子帧的分配是按照交叉方式进行分配，即设可供LTE-U使用的子帧数为5，1号子帧若为LTE-U子帧，则2号子帧为空白子帧，3号子帧分配为LTE-U子帧，依次交叉分配；根据LTE-U系统和WiFi系统的频谱效用，基于增强型Q-learning算法动态调整空白子帧，从而提高系统的频谱利用率。
CN201711277047.2A 2017-12-06 2017-12-06 一种LTE-U系统和WiFi系统在未授权频段的共存方法 Pending CN108093409A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711277047.2A CN108093409A (zh) 2017-12-06 2017-12-06 一种LTE-U系统和WiFi系统在未授权频段的共存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711277047.2A CN108093409A (zh) 2017-12-06 2017-12-06 一种LTE-U系统和WiFi系统在未授权频段的共存方法

Publications (1)

Publication Number Publication Date
CN108093409A true CN108093409A (zh) 2018-05-29

Family

ID=62174535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711277047.2A Pending CN108093409A (zh) 2017-12-06 2017-12-06 一种LTE-U系统和WiFi系统在未授权频段的共存方法

Country Status (1)

Country Link
CN (1) CN108093409A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109195194A (zh) * 2018-08-09 2019-01-11 北京邮电大学 一种接入信道的方法、装置及设备
CN109862567A (zh) * 2019-03-28 2019-06-07 电子科技大学 一种蜂窝移动通信系统接入非授权频谱的方法
CN109874154A (zh) * 2019-01-23 2019-06-11 南京邮电大学 一种基于深度强化学习的c-ran用户关联和计算资源分配方法
CN111859099A (zh) * 2019-12-05 2020-10-30 马上消费金融股份有限公司 基于强化学习的推荐方法、装置、终端以及存储介质
CN113316174A (zh) * 2021-05-26 2021-08-27 重庆邮电大学 一种非授权频谱智能接入方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412931A (zh) * 2016-12-16 2017-02-15 重庆邮电大学 一种基于多时隙融合机制的lte‑u空闲信道评估方法
CN106538026A (zh) * 2014-07-11 2017-03-22 Lg 电子株式会社 在无线通信系统中在非许可频谱中发送wi‑fi信号的方法和装置
CN106851663A (zh) * 2017-02-22 2017-06-13 重庆邮电大学 异构网络下LTE‑U与Wi‑Fi在非授权频段公平共存的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106538026A (zh) * 2014-07-11 2017-03-22 Lg 电子株式会社 在无线通信系统中在非许可频谱中发送wi‑fi信号的方法和装置
CN106412931A (zh) * 2016-12-16 2017-02-15 重庆邮电大学 一种基于多时隙融合机制的lte‑u空闲信道评估方法
CN106851663A (zh) * 2017-02-22 2017-06-13 重庆邮电大学 异构网络下LTE‑U与Wi‑Fi在非授权频段公平共存的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YING-YING LIU: "Dynamic Resource Allocation Using Reinforcement", 《2017 NINTH INTERNATIONAL CONFERENCE ON UBIQUITOUS AND FUTURE NETWORKS (ICUFN)》 *
黄晓舸: "LTE-U与WiFi系统在非授权频段共存机制研究", 《重庆邮电大学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109195194A (zh) * 2018-08-09 2019-01-11 北京邮电大学 一种接入信道的方法、装置及设备
CN109874154A (zh) * 2019-01-23 2019-06-11 南京邮电大学 一种基于深度强化学习的c-ran用户关联和计算资源分配方法
CN109862567A (zh) * 2019-03-28 2019-06-07 电子科技大学 一种蜂窝移动通信系统接入非授权频谱的方法
CN109862567B (zh) * 2019-03-28 2019-12-27 电子科技大学 一种蜂窝移动通信系统接入非授权频谱的方法
CN111859099A (zh) * 2019-12-05 2020-10-30 马上消费金融股份有限公司 基于强化学习的推荐方法、装置、终端以及存储介质
CN111859099B (zh) * 2019-12-05 2021-08-31 马上消费金融股份有限公司 基于强化学习的推荐方法、装置、终端以及存储介质
CN113316174A (zh) * 2021-05-26 2021-08-27 重庆邮电大学 一种非授权频谱智能接入方法

Similar Documents

Publication Publication Date Title
CN108093409A (zh) 一种LTE-U系统和WiFi系统在未授权频段的共存方法
CN112601284B (zh) 基于多智能体深度强化学习的下行多小区ofdma资源分配方法
CN103067985B (zh) 基于信道质量的超高速无线局域网信道绑定与分配方法
CN103068054B (zh) 基于时延可控的超高速无线局域网信道接入方法
CN104936303B (zh) 一种载波监听门限与竞争窗口联合控制的方法
CN106454920B (zh) 一种lte与d2d混合网络中基于时延保证的资源分配优化算法
CN109982434B (zh) 无线资源调度一体智能化控制系统及方法、无线通信系统
CN104507169B (zh) 降低系统上行传输时延的三维资源动态分配方法和装置
CN103260229A (zh) 基于预测和反馈的无线传感器网络mac协议
CN110167177B (zh) 基于动态时隙分配的无线体域网协作通信传输方法
CN104703270A (zh) 适用于异构无线蜂窝网络的用户接入和功率分配方法
Bai et al. An adaptive grouping scheme in ultra-dense IEEE 802.11 ax network using buffer state report based two-stage mechanism
CN105357762A (zh) 一种超密集网络下基于能量效率和频谱效率的动态接入方法
CN105188147A (zh) 一种基于功率控制的lte-a系统全双工资源分配方法
CN104883727B (zh) 蜂窝异构网络中d2d用户速率最大化的功率分配方法
CN109889253A (zh) 支持临近空间网络的自适应多信道媒介访问控制方法
CN102665219A (zh) 一种基于ofdma的家庭基站系统的动态频谱分配方法
CN116347635A (zh) 一种基于NOMA和多智能体强化学习的NB-IoT无线资源分配方法
CN102821391A (zh) 基于距离比的d2d链路频谱分配方法
CN106658736A (zh) 一种基于lte技术的物联网上行链路资源分配方法
CN110225494B (zh) 一种基于外部性和匹配算法的机器类通信资源分配方法
Su et al. Tac-U: A traffic balancing scheme over licensed and unlicensed bands for Tactile Internet
CN102055652A (zh) 动态带宽分配方法及装置
CN103338453A (zh) 一种用于分层无线网络的动态频谱接入方法及系统
CN111314938B (zh) 一种用于单个蜂窝小区的蜂窝网络时频域资源分配的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180529

RJ01 Rejection of invention patent application after publication