CN115022978A - 基于自适应分组与强化学习的无线网络上行链路调度方法 - Google Patents

基于自适应分组与强化学习的无线网络上行链路调度方法 Download PDF

Info

Publication number
CN115022978A
CN115022978A CN202210544406.0A CN202210544406A CN115022978A CN 115022978 A CN115022978 A CN 115022978A CN 202210544406 A CN202210544406 A CN 202210544406A CN 115022978 A CN115022978 A CN 115022978A
Authority
CN
China
Prior art keywords
grouping
access point
client
wireless access
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210544406.0A
Other languages
English (en)
Inventor
黄新林
郑人华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210544406.0A priority Critical patent/CN115022978A/zh
Publication of CN115022978A publication Critical patent/CN115022978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/12—Wireless traffic scheduling
    • H04W72/1263—Mapping of traffic onto schedule, e.g. scheduled allocation or multiplexing of flows
    • H04W72/1268—Mapping of traffic onto schedule, e.g. scheduled allocation or multiplexing of flows of uplink data flows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于自适应分组与强化学习的无线网络上行链路调度方法，包括：S1、无线接入点获取所有资源单元对应的客户端，根据自适应分组算法计算得到分组信息并通过协商机制发送给所有的客户端，形成多个分组；S2、无线接入点在BSR请求阶段获取每个分组的BSR信息；S3、无线接入点根据接收到的BSR信息，利用上行链路调度算法进行RU资源调度，得到RU分配结果；S4、无线接入点在数据传输阶段通过触发帧向每个分组发送RU分配结果，每个分组在对应的资源单元上进行数据传输，判断是否所有分组的数据都完成传输，若否将转至步骤S2。与现有技术相比，本发明具有更强的鲁棒性、保证系统的优先级和公平性、提升系统的总体性能等优点。

Description

基于自适应分组与强化学习的无线网络上行链路调度方法
技术领域
本发明涉及无线通信技术领域，尤其是涉及一种基于自适应分组与强化学习的无线网络上行链路调度方法。
背景技术
Wi-Fi6无线网络(IEEE 802.11ax)引入正交频分多址(Orthogonal FrequencyDivision Multiple Access，OFDMA)技术，将整个信道划分为若干特定的子载波集，这些子载波集被称为资源单元(Resource Unit，RU)。不同客户端(STA)可以在各自对应的RU资源上同时上传数据帧以实现并行的上行链路数据传输。由于STA数量众多，为避免信道争用产生的冲突造成资源浪费，IEEE 802.11ax设计了一种基于触发帧的上行多用户调度接入机制。在调度接入过程中，由AP统一调度RU资源给不同STA从而避免了信道争用，提高了频谱利用率。
但是在IEEE 802.11ax的上行多用户调度接入过程中，无线接入点(AP)调度RU资源所需的缓冲区状态报告(BSR)来自各个关联STA。在AP发送缓冲区状态报告轮询(BSRP)通知各个STA之后，由于当前还未进行RU资源分配，所有缓存区不为空的STA都只能通过UORA机制进行BSR反馈。因此，这些STA需要基于UORA机制通过竞争接入空闲RU来传输它们的BSR。随着STA总数的增加，随机接入过程的冲突概率将越来越高，BSR的传输率将大打折扣，甚至AP可能完全接收不到任何STA的BSR，无法进行下一步的RU资源调度，导致系统吞吐量降低。
IEEE 802.11ax为解决以上问题，在上行多用户调度接入过程中引入了TWT机制，不仅可以通过睡眠和唤醒的机制来减少STA不必要的能量消耗，还可以将STA按照设定的TWT时间周期进行分组，从而实现密集用户的分组资源调度，提高系统的整体性能。
发明内容
本发明的目的就是为了克服上述现有技术存在的密集用户环境中802.11ax上行链路调度接入过程系统吞吐量低和用户体验差的缺陷而提供一种基于自适应分组与强化学习的无线网络上行链路调度方法。
本发明的目的可以通过以下技术方案来实现：
一种基于自适应分组与强化学习的无线网络上行链路调度方法，具体包括以下步骤：
S1、无线接入点获取局域网内所有资源单元对应的客户端(STA)，根据自适应分组算法对客户端进行分组，得到分组信息并通过协商机制发送给所有的客户端，客户端根据分组信息形成多个分组；
S2、无线接入点在BSR请求阶段获取每个分组的BSR(Buffer Status Report)信息；
S3、无线接入点根据接收到的BSR信息，利用上行链路调度(USRL)算法进行RU资源调度，得到RU分配结果；
S4、无线接入点在数据传输阶段通过触发帧向每个分组发送RU分配结果，每个分组根据RU分配结果在对应的资源单元上进行数据传输，判断是否所有分组的数据都完成传输，若否将转至步骤S2。
所述步骤S1中自适应分组算法包括以下步骤：
S11、无线接入点根据客户端的数量和退避参数计算出最优分组值；
S12、根据最优分组值对无线接入点关联的客户端进行分组；
S13、判断最后一个分组的数量是否位于预设的可变分组范围内，若否将最后一个分组中的客户端分配到其他分组；
S14、判断重新分配后每个分组的数量是否位于可变分组范围内，若否将解散所有分组，并根据可变分组范围的最小值进行分组；
S15、判断最后一个分组的数量是否不在可变分组范围内，若是则拆分最后一个分组的客户端到其他分组中。
进一步地，所述可变分组范围具体为[Nmin,Nmax]，其中Nmin为客户端分组的最小值，Nmax为客户端分组的最大值。
所述自适应分组算法基于TWT机制对基本服务集(Basic Service Set，BSS)内的STA进行分组，相比于未分组的方案减少了同一时刻接入的STA数量，提高了BSR请求阶段的BSR传输率，从而大幅提高了密集用户环境下的系统吞吐量。除此之外，相较于固定分组的调度接入方案来说，本发明能够随着接入STA数量的变化自适应地进行分组策略调整，具有更强的鲁棒性，在面对不同STA数量的情况时都能保证较高的系统吞吐量。
所述最优分组值的计算公式如下所示：
Figure BDA0003649316760000031
其中，Nop为最优分组值，ηop为最大化的BSR传输率，BSR传输率的计算公式如下所示：
Figure BDA0003649316760000032
其中，η(p)为BSR传输率，p为碰撞概率，最大化BSR传输率时必须满足的条件如下所示：
Figure BDA0003649316760000033
其中，n∈[2,∞)，p∈[0,1]。
所述步骤S2具体包括以下步骤：
S21、无线接入点向所有客户端广播BSRP(Buffer Status Report Poll)帧，开启当前服务周期对应分组的调度接入过程，其余分组内的客户端保持睡眠状态；
S22、当前分组STA使用基于OFDMA的上行随机接入机制进行BSR传输；
S23、无线接入点接收到当前分组的BSR信息后，组内广播一个M-BA(Multi-STABlock ACK)帧。
进一步地，所述步骤S23中无线接入点通过广播M-BA帧向组内的客户端传递成功发送BSR帧的客户端名单。
USRL算法是根据当前分组的BSR信息进行RU资源调度，相比于给每个STA平均分配信道资源的方案能够更有效地保障不同STA之间的优先级排序和公平性，保障对服务质量(Quality of Service，QoS)要求较高的业务能够优先获得更大的RU资源进行数据上传，比如让火警、医疗、交通事故等重要信息能够及时准确地上传。在此基础上，优先级较低的STA依然能够获得RU资源分配，保证这些用户不会出现“饿死”现象，从而保障了整个系统的公平性。
所述步骤S3中上行链路调度算法包括以下步骤：
S31、根据当前分组发送的BSR信息，通过价值函数计算分组内每个客户端待上传数据的价值和所需的资源单元大小；
S32、将当前客户端的上行数据帧编码为背包实例向量；
S33、将所有客户端的背包实例向量构成的初始背包实例序列输入到无线接入点训练好的指针网络中；
S34、指针网络的解码器输出的背包实例序列，其中包含的客户端即为无线接入点将要分配RU资源的客户端，只有被指针网络解码器选中的那些STA才能在对应的RU上进行数据传输。
进一步地，所述步骤S4中具体过程为当第j组完成数据传输之后，组内所有的STA将进入睡眠状态，并且下一个分组的STA将被AP的BSRP触发帧唤醒，从而开启下一个分组的调度接入流程。
进一步地，所述价值函数的公式如下所示：
Figure BDA0003649316760000041
其中，vi为第i个客户端待上传数据的价值，n为客户端的总数，di为第i个客户端的上行数据帧的数据量，qi为第i个客户端业务类型对应的QoS值，hi为第i个客户端因未得到RU分配而等待的时间窗(Twin)个数。
进一步地，所述客户端业务类型对应的QoS值为大于0的整数，具体的取值范围为{1,2,3,4,5}。
进一步地，所述背包实例向量具体为ci＝(wi,vi)，其中wi为第i个客户端当前所需的资源单元的大小，所述初始背包实例序列具体为
Figure BDA0003649316760000042
所述步骤S4中无线接入点的数据传输阶段具体包括以下步骤：
S41、无线接入点将RU分配结果通过触发帧广播给当前分组的客户端；
S42、客户端成功接收到该触发帧后，在指定的资源单元上进行数据帧传输；
S43、无线接入点根据接收的数据帧，广播一个M-BA帧进行数据确认；
S44、数据确认完成后，当前分组的客户端进入睡眠状态，等待下一次调度接入，无线接入点唤醒下一个分组。
与现有技术相比，本发明具有以下有益效果：
本发明将首先利用自适应分组算法基于TWT机制对STA进行分组，该算法可以随着STA数量的变化进行分组策略的动态调整，解决了密集用户环境中BSR传输率低的问题；然后在每个分组对应的服务周期内，对STA进行唤醒，并收集它们的BSR信息；最后通过使用USRL算法实现RU资源调度，从而保证系统的优先级和公平性，提升了系统的总体性能，提高了用户体验。
附图说明
图1为本发明的流程示意图；
图2为本发明实施例中AG-USRL方案调度下2个分组典型STA的吞吐量随时间变化的仿真结果；
图3为本发明实施例中AG-USRL方案与未分组方案的BSR传输率对比图；
图4为本发明实施例中四种方案调度下典型STA QoS值时变情况的吞吐量随时间变化的仿真对比结果；
图5为本发明实施例中三种方案调度下系统平均吞吐量与STA数量的示意图；
图6为本发明实施例中固定分组调度方案与AG-USRL方案的系统平均吞吐量与STA数量关系对比图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1所示，一种基于自适应分组与强化学习的无线网络上行链路调度方法，具体包括以下步骤：
S1、无线接入点获取局域网内所有资源单元对应的客户端(STA)，根据自适应分组算法对客户端进行分组，得到分组信息并通过协商机制发送给所有的客户端，客户端根据分组信息形成多个分组；
S2、无线接入点在BSR请求阶段获取每个分组的BSR信息；
S3、无线接入点根据接收到的BSR信息，利用上行链路调度算法进行RU资源调度，得到RU分配结果；
S4、无线接入点在数据传输阶段通过触发帧向每个分组发送RU分配结果，每个分组根据RU分配结果在对应的资源单元上进行数据传输，判断是否所有分组的数据都完成传输，若否将转至步骤S2。
步骤S1中自适应分组算法包括以下步骤：
S11、无线接入点根据客户端的数量和退避参数计算出最优分组值；
S12、根据最优分组值对无线接入点关联的客户端进行分组；
S13、判断最后一个分组的数量是否位于预设的可变分组范围内，若否将最后一个分组中的客户端分配到其他分组；
S14、判断重新分配后每个分组的数量是否位于可变分组范围内，若否将解散所有分组，并根据可变分组范围的最小值进行分组；
S15、判断最后一个分组的数量是否不在可变分组范围内，若是则拆分最后一个分组的客户端到其他分组中。
本实施例中，步骤S11中还包括根据UORA机制中的退避参数计算出一个STA能够成功通过退避阶段并发送数据帧的概率τ，公式如下所示：
Figure BDA0003649316760000061
Figure BDA0003649316760000062
Wi＝2i(W0+1)-1,i＝1,2,...,m-1
其中，W0表示OFDMA竞争窗口(OFDMA Contention Window，OCW)的最小值；p为碰撞概率；m为最大退避等级(Maximum Backoff Level)，K表示用于UORA的RU数量；Wi为介于最大值和最小值之间的OCW的表达式。
可变分组范围具体为[Nmin,Nmax]，其中Nmin为客户端分组的最小值，Nmax为客户端分组的最大值。
自适应分组算法基于TWT机制对基本服务集(Basic Service Set，BSS)内的STA进行分组，相比于未分组的方案减少了同一时刻接入的STA数量，提高了BSR请求阶段的BSR传输率，从而大幅提高了密集用户环境下的系统吞吐量。除此之外，相较于固定分组的调度接入方案来说，本发明能够随着接入STA数量的变化自适应地进行分组策略调整，具有更强的鲁棒性，在面对不同STA数量的情况时都能保证较高的系统吞吐量。
最优分组值的计算公式如下所示：
Figure BDA0003649316760000071
其中，Nop为最优分组值，ηop为最大化的BSR传输率，BSR传输率的计算公式如下所示：
Figure BDA0003649316760000072
其中，η(p)为BSR传输率，p为碰撞概率，最大化BSR传输率时必须满足的条件如下所示：
Figure BDA0003649316760000073
其中，n∈[2,∞)，p∈[0,1]。
本实施例中，在UORA过程中，当两个及以上的STA结束退避阶段后，选择了同一个RU时，就会产生冲突，据此计算出碰撞概率，公式如下所示：
Figure BDA0003649316760000074
其中，n为STA总数。
步骤S2具体包括以下步骤：
S21、无线接入点向所有客户端广播BSRP帧，开启当前服务周期对应分组的调度接入过程，其余分组内的客户端保持睡眠状态；
S22、当前分组STA使用基于OFDMA的上行随机接入机制进行BSR传输；
S23、无线接入点接收到当前分组的BSR信息后，组内广播一个M-BA帧。
步骤S23中无线接入点通过广播M-BA帧向组内的客户端传递成功发送BSR帧的客户端名单。
USRL算法是根据当前分组的BSR信息进行RU资源调度，相比于给每个STA平均分配信道资源的方案能够更有效地保障不同STA之间的优先级排序和公平性，保障对服务质量(Quality of Service，QoS)要求较高的业务能够优先获得更大的RU资源进行数据上传，比如让火警、医疗、交通事故等重要信息能够及时准确地上传。在此基础上，优先级较低的STA依然能够获得RU资源分配，保证这些用户不会出现“饿死”现象，从而保障了整个系统的公平性。
步骤S3中上行链路调度算法包括以下步骤：
S31、根据当前分组发送的BSR信息，通过价值函数计算分组内每个客户端待上传数据的价值和所需的资源单元大小；
S32、将当前客户端的上行数据帧编码为背包实例向量；
S33、将所有客户端的背包实例向量构成的初始背包实例序列输入到无线接入点训练好的指针网络中；
S34、指针网络编码完成后，通过解码器的注意力机制来选择输入序列中的背包实例，并最终输出背包实例序列，其中包含的客户端即为无线接入点将要分配RU资源的客户端，只有被指针网络解码器选中的那些STA才能在对应的RU上进行数据传输。
本实施例中，步骤S31中利用第j组中Mj个STA成功反馈的BSR信息以及它们的发送时延，共同计算出组内每个STA待上传数据帧的价值，价值越高表示在数据传输阶段中被分配RU资源的优先级就越高。
步骤S4中具体过程为当第j组完成数据传输之后，组内所有的STA将进入睡眠状态，并且下一个分组的STA将被AP的BSRP触发帧唤醒，从而开启下一个分组的调度接入流程。
价值函数的公式如下所示：
Figure BDA0003649316760000081
其中，vi为第i个客户端待上传数据的价值，n为客户端的总数，di为第i个客户端的上行数据帧的数据量，qi为第i个客户端业务类型对应的QoS值，hi为第i个客户端因未得到RU分配而等待的时间窗(Twin)个数。
客户端业务类型对应的QoS值为大于0的整数，具体的取值范围为{1,2,3,4,5}。
背包实例向量具体为ci＝(wi,vi)，其中wi为第i个客户端当前所需的资源单元的大小，初始背包实例序列具体为
Figure BDA0003649316760000082
步骤S4中无线接入点的数据传输阶段具体包括以下步骤：
S41、无线接入点将RU分配结果通过触发帧广播给当前分组的客户端；
S42、客户端成功接收到该触发帧后，在指定的资源单元上进行数据帧传输；
S43、无线接入点根据接收的数据帧，广播一个M-BA帧进行数据确认；
S44、数据确认完成后，当前分组的客户端进入睡眠状态，等待下一次调度接入，无线接入点唤醒下一个分组。
具体实施时，参数设置如下：信道带宽为20MHz，OCW的最小值W0为7，UORA可用的RU数量K为9，效率因子α为0.95；并采用TGax NLOS室内信道模型，采用LDPC信道编码方式。对于RU资源调度所需的指针网络模型，使用Actor-Critic算法进行参数训练，并提前部署到AP端。通过将本实施例与未分组的轮询算法，未分组的PRA算法和基于自适应分组的平均分配方案进行对比来分析本实施例的性能提升。
如图2所示是在BSS内STA数量为100时，对本实施例进行仿真实验的结果展示。图中，随机选取两个分组(A组和C组)进行对比分析。在A组和C组中分别选取了2个具有代表性的STA进行吞吐量随时间变化的仿真结果展示。A组中2个STA的缓存数据量相同，它们的参数设置如下：STA1的QoS值为1，MCS为7；STA8的QoS值为4，MCS为7。C组中2个STA的缓存数据量相同，它们的参数设置如下：STA45的QoS值为1，MCS为4；STA50的QoS值为4，MCS为4。从图中可以发现，两个组中QoS值小的STA其平均吞吐量均较高，而组内QoS值大的另一个STA的平均吞吐量较低。同时A组中的STA1比STA8提前3.4s结束传输，而C组中的STA45比STA50早2.7s结束传输。说明两组中优先级较高STA的数据传输请求能够优先得到满足，使得它们可以比自己组内优先级较低的STA更早地结束数据传输。除此之外，两组中优先级较低的STA均未出现“饿死”现象，在优先级较高的STA传输结束后它们的吞吐量都有所上升，足以说明本发明的AG-USRL方案具有良好的公平性保障和较高的频谱利用率。
如图3所示是AG-USRL方案与未分组方案的BSR传输率对比图，BSR传输率只与BSR请求阶段的UORA机制和STA数量有关。从图中可以看出，随着STA数量不断增加，经过自适应分组后的AG-USRL方案在BSR请求阶段能够成功传输BSR的STA比例基本保持在38％左右，而未分组方案则逐渐降低，在STA数量为100时BSR传输率仅为AG-USRL方案的1/15，而当STA数量达到180时BSR传输率甚至接近于0。也就是说，随着无线局域网越来越密集，AG-USRL方案在BSR请求阶段能够成功访问AP的STA数量远远大于未分组方案，保证数据传输阶段可执行；相对的，未分组方案则可能由于无法收到任何STA的BSR信息而无法进行RU资源调度和上行数据传输。
如图4所示是在时域上调整了典型STA的QoS值，并使用上述四种方案进行上行链路调度接入仿真实验的结果。在仿真过程中，典型STA业务类型的QoS值前2s保持为1，在2s到4s内保持为4，之后一直保持为2直到仿真结束，除它以外的所有STA的参数均保持不变。从图中可以发现，AG-USRL方案具有对业务类型变化的自适应能力，能实时地根据STA业务优先级调整RU资源分配的大小。并且可以发现基于自适应分组的平均分配方案并不具有优先级保障的能力，不能随业务类型变化做出调度调整，而未分组的方案显然也不具有相应的功能。说明AG-USRL方案相较于其他三种方案来说，额外具有业务类型跟踪能力，能及时做出相应的调整，RU资源调度性能更加优秀。
如图5所示，为了对比不同调度接入方案的整体性能表现，将BSS内的STA数量依次设置为20、60、100、140、180进行相同的上行链路调度接入仿真实验。在仿真实验中将所有STA的MCS值均设置为7，来防止MCS对仿真结果产生干扰。从图中可以发现，在STA数量为20的时候，即用户较少时，未分组方案与AG-USRL方案的系统平均吞吐量都在64Mbps左右，相差不大，均能为关联STA提供良好的上行链路数据传输服务。但随着BSS内STA数量的增加，未分组的两种方案的系统平均吞吐量逐渐下降，100个STA时，只有20Mbps左右，为AG-USRL方案的1/3。当STA数量达到180时，未分组方案的系统平均吞吐量几乎为0，整个网络受到严重的信道冲突影响，难以完成调度接入，AG-USRL方案随着STA数量的增加，仍能使系统保持64Mbps左右的平均吞吐量，正常提供调度接入服务。总结下来，AG-USRL方案通过分组降低了BSR传输时的信道冲突，从而在密集用户环境下仍能提供良好的上行链路调度接入服务。
如图6所示，将AG-USRL方案与固定分组调度接入方案进行对比，来检验本实施例能否根据BSS中STA数量的变化动态调整分组数量和分组大小，以保障系统性能。固定分组方案的组数分别为：2、4、6，仿真对比实验的STA数量依次为：20、60、100、140、180。从图中可以发现，当STA数量为20时，AG-USRL方案与固定分2组方案的平均吞吐量都为64Mbps左右，但随着STA数量的增加，固定分2组方案的系统平均吞吐量越来越低，180个STA时甚至达不到10Mbps，远远低于AG-USRL方案。另外两种固定分组方案(分4组和分6组)，当STA数量为20时，分别带来了48Mbps和39Mbps的平均吞吐量，而STA数量太多的时候，系统平均吞吐量都低于AG-USRL方案，仅在60个STA时能接近或达到AG-USRL方案。以上说明，AG-USRL方案通过使用自适应分组算法为上行链路传输提供了更灵活的分组方式，其分组策略能随着STA数量的变化做出调整，降低系统受到的影响，提高系统吞吐量。
由此可见，基于自适应分组与强化学习的802.11ax上行链路调度接入方案通过使用基于TWT机制的自适应分组算法隔离了不同组的数据传输，并提供了灵活的分组方式，从而提高了系统整体的BSR传输率，相比于未分组的调度接入方案提高了密集用户环境下的系统吞吐量。除此之外，相较于固定分组调度方案来说，更能适应STA数量发生变化的场景，具有更强的鲁棒性。而在数据传输阶段使用了USRL算法进行RU资源调度，满足了系统对优先级和公平性保障的要求，提升了802.11ax上行链路调度接入的总体性能。
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，具体包括以下步骤：
S1、无线接入点获取局域网内所有资源单元对应的客户端，根据自适应分组算法对客户端进行分组，得到分组信息并通过协商机制发送给所有的客户端，客户端根据分组信息形成多个分组；
S2、无线接入点在BSR请求阶段获取每个分组的BSR信息；
S3、无线接入点根据接收到的BSR信息，利用上行链路调度算法进行RU资源调度，得到RU分配结果；
S4、无线接入点在数据传输阶段通过触发帧向每个分组发送RU分配结果，每个分组根据RU分配结果在对应的资源单元上进行数据传输，判断是否所有分组的数据都完成传输，若否将转至步骤S2。
2.根据权利要求1所述的一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，所述步骤S1中自适应分组算法包括以下步骤：
S11、无线接入点根据客户端的数量和退避参数计算出最优分组值；
S12、根据最优分组值对无线接入点关联的客户端进行分组；
S13、判断最后一个分组的数量是否位于预设的可变分组范围内，若否将最后一个分组中的客户端分配到其他分组；
S14、判断重新分配后每个分组的数量是否位于可变分组范围内，若否将解散所有分组，并根据可变分组范围的最小值进行分组；
S15、判断最后一个分组的数量是否不在可变分组范围内，若是则拆分最后一个分组的客户端到其他分组中。
3.根据权利要求2所述的一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，所述可变分组范围具体为[Nmin,Nmax]，其中Nmin为客户端分组的最小值，Nmax为客户端分组的最大值。
4.根据权利要求1所述的一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、无线接入点向所有客户端广播BSRP帧，开启当前服务周期对应分组的调度接入过程，其余分组内的客户端保持睡眠状态；
S22、当前分组STA使用基于OFDMA的上行随机接入机制进行BSR传输；
S23、无线接入点接收到当前分组的BSR信息后，组内广播一个M-BA帧。
5.根据权利要求4所述的一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，所述步骤S23中无线接入点通过广播M-BA帧向组内的客户端传递成功发送BSR帧的客户端名单。
6.根据权利要求1所述的一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，所述步骤S3中上行链路调度算法包括以下步骤：
S31、根据当前分组发送的BSR信息，通过价值函数计算分组内每个客户端待上传数据的价值和所需的资源单元大小；
S32、将当前客户端的上行数据帧编码为背包实例向量；
S33、将所有客户端的背包实例向量构成的初始背包实例序列输入到无线接入点训练好的指针网络中；
S34、指针网络的解码器输出的背包实例序列，其中包含的客户端即为无线接入点将要分配RU资源的客户端。
7.根据权利要求6所述的一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，所述价值函数的公式如下所示：
Figure FDA0003649316750000021
其中，vi为第i个客户端待上传数据的价值，n为客户端的总数，di为第i个客户端的上行数据帧的数据量，qi为第i个客户端业务类型对应的QoS值，hi为第i个客户端因未得到RU分配而等待的时间窗(Twin)个数。
8.根据权利要求7所述的一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，所述客户端业务类型对应的QoS值为大于0的整数，具体的取值范围为{1,2,3,4,5}。
9.根据权利要求7所述的一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，所述背包实例向量具体为ci＝(wi,vi)，其中wi为第i个客户端当前所需的资源单元的大小，所述初始背包实例序列具体为
Figure FDA0003649316750000022
10.根据权利要求1所述的一种基于自适应分组与强化学习的无线网络上行链路调度方法，其特征在于，所述步骤S4中无线接入点的数据传输阶段具体包括以下步骤：
S41、无线接入点将RU分配结果通过触发帧广播给当前分组的客户端；
S42、客户端成功接收到该触发帧后，在指定的资源单元上进行数据帧传输；
S43、无线接入点根据接收的数据帧，广播一个M-BA帧进行数据确认；
S44、数据确认完成后，当前分组的客户端进入睡眠状态，等待下一次调度接入，无线接入点唤醒下一个分组。
CN202210544406.0A 2022-05-18 2022-05-18 基于自适应分组与强化学习的无线网络上行链路调度方法 Pending CN115022978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210544406.0A CN115022978A (zh) 2022-05-18 2022-05-18 基于自适应分组与强化学习的无线网络上行链路调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210544406.0A CN115022978A (zh) 2022-05-18 2022-05-18 基于自适应分组与强化学习的无线网络上行链路调度方法

Publications (1)

Publication Number Publication Date
CN115022978A true CN115022978A (zh) 2022-09-06

Family

ID=83068960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210544406.0A Pending CN115022978A (zh) 2022-05-18 2022-05-18 基于自适应分组与强化学习的无线网络上行链路调度方法

Country Status (1)

Country Link
CN (1) CN115022978A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024065423A1 (zh) * 2022-09-29 2024-04-04 西门子股份公司 通信方法、通信装置、通信系统、计算设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024065423A1 (zh) * 2022-09-29 2024-04-04 西门子股份公司 通信方法、通信装置、通信系统、计算设备和存储介质

Similar Documents

Publication Publication Date Title
EP1920611B1 (en) Latency-aware service opportunity window-based (laso) scheduling
US7123627B2 (en) Class of computationally parsimonious schedulers for enforcing quality of service over packet based AV-centric home networks
US7808941B2 (en) Dynamic adaptation for wireless communications with enhanced quality of service
CN111245541B (zh) 一种基于强化学习的信道多址接入方法
US7280473B2 (en) Data streaming method and apparatus using adaptive transmission scheduling
WO2014070937A1 (en) System and methods to achieve optimum efficiency-jain fairness in wireless systems
Yang et al. Target wake time scheduling strategies for uplink transmission in IEEE 802.11 ax networks
CN115022978A (zh) 基于自适应分组与强化学习的无线网络上行链路调度方法
Park et al. Real-time scheduling using reinforcement learning technique for the connected vehicles
CN113329439B (zh) 一种基于传输延迟的资源分配方法
WO2012048542A1 (zh) 分组调度方法及装置
Fan et al. Admission control for variable bit rate traffic using variable service interval in IEEE 802.11 e WLANs
Vijay et al. Quality of Service Improvements in IEEE 802.11 AX Wi-Fi
Pattara-Atikom et al. Comparison of distributed fair QoS mechanisms in wireless LANs
Doha et al. IEEE 802.16 Multiple Access Control: resources allocation for reservation-based traffic
KR20140034539A (ko) 무선 랜에서 멀티미디어 트래픽의 공평성 향상 방법
US8660030B2 (en) High performance and low complexity scheduling method for adaptive resource usage in OFDMA wireless relay networks
KR100927532B1 (ko) 무선랜의 스케줄링 장치
Bourawy et al. A selectivity function scheduler for IEEE 802.11 e
Onogawa et al. Bundling Method of Periodically Generated Packets for Collision-Free Transmission by Uplink OFDMA in Wireless Sensor Networks
Teixeira et al. Scheduling mechanisms
Arcia et al. Improving uplink bandwidth management in 802.16 networks
Roy et al. Maximization of Timely Throughput with Target Wake Time in IEEE 802.11 ax
Liang et al. Performance evaluation of an integrated and efficient uplink scheduler for WiMAX network
Huang et al. Flexible TXOP assignments for efficient QoS scheduling in IEEE 802.11 e WLANs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination