CN116600324A - 一种信道绑定WiFi网络的信道分配方法 - Google Patents

一种信道绑定WiFi网络的信道分配方法 Download PDF

Info

Publication number
CN116600324A
CN116600324A CN202310847842.XA CN202310847842A CN116600324A CN 116600324 A CN116600324 A CN 116600324A CN 202310847842 A CN202310847842 A CN 202310847842A CN 116600324 A CN116600324 A CN 116600324A
Authority
CN
China
Prior art keywords
channel
network
channel selection
throughput
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310847842.XA
Other languages
English (en)
Other versions
CN116600324B (zh
Inventor
刘苇
钟琰
游理钊
舒继武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202310847842.XA priority Critical patent/CN116600324B/zh
Publication of CN116600324A publication Critical patent/CN116600324A/zh
Application granted granted Critical
Publication of CN116600324B publication Critical patent/CN116600324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access
    • H04W74/08—Non-scheduled access, e.g. ALOHA
    • H04W74/0808—Non-scheduled access, e.g. ALOHA using carrier sensing, e.g. carrier sense multiple access [CSMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种信道绑定WiFi网络的信道分配方法，其包括训练阶段：通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，并将其存储在数据缓冲区中，构建神经网络，并使用PPO算法对神经网络进行训练；部署阶段：通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，利用训练后的神经网络生成每个AP的信道选择动作，并将其下发到每个AP进行执行。本发明不依赖先验干扰模型，只通过实际吞吐量的反馈信息训练神经网络，并用于多AP信道参数的选择，在难以获取干扰模型的隐藏终端和隐藏信道场景下有更好的吞吐量表现。

Description

一种信道绑定WiFi网络的信道分配方法
技术领域
本发明涉及无线网络领域，具体涉及一种信道绑定WiFi网络的信道分配方法。
背景技术
WiFi网络能提供越来越高的传输速率，其中关键技术之一是信道绑定（channelbonding）。在信道绑定WiFi网络中，接入点（Access Point，AP）会确定一个主信道，同时设置一个最大的信道绑定带宽用于选择次信道。在信道接入时，AP会根据实际信道使用情况，绑定主信道与次信道进行数据传输。另一方面，多个AP组成的WiFi网络也越来越普遍，多个AP共同为一个区域内的WiFi终端节点服务。但是在这种大规模网络下，进行信道绑定参数分配存在严峻的挑战。由于AP数量多于可用信道数量，不可避免地会进行信道重用，不恰当的信道选择会造成严重的干扰导致网络吞吐量的下降。
此外，WiFi网络的动态性也会给信道分配带来巨大的挑战。一方面，每个AP服务的区域的流量需求存在动态性，如何为多个AP分配适当的信道绑定参数以满足不断变化的流量需求同时达到较高的吞吐量存在挑战。另一方面，网络部署环境复杂，常常存在隐藏终端和隐藏信道的情况，且存在动态性。隐藏终端问题主要由于AP在彼此监听范围之外，同时发送数据包造成的，如果接收终端节点刚好处于两个AP的通信范围内，则导致碰撞，否则两AP可同时传输。隐藏信道问题主要是因为AP选择了不同的信道配置，产生了不对称的干扰关系，随着所选信道配置的变化，彼此之间的干扰关系也在变化。
为了进行信道分配，现有的方法主要是传统的启发式算法或基于模型驱动的强化学习方法。传统的启发式算法（Abraham N, Winston P P E, Vadivel M. Adaptivechannel allocation algorithm for WiFi networks, 2014 International Conferenceon Circuits, Power and Computing Technologies. IEEE, 2014: 1307-1311.)以最小化网络干扰为优化目标，需要准确的信道干扰模型。但在复杂网络环境中（比如隐藏信道和隐藏终端），很难获得准确的干扰模型。此外现有方法往往依赖确定的流量模型，不适用于流量变化场景。
基于模型的强化学习方法net2seq (Iacoboaiea O, Krolikowski J, Houidi ZB, et al. Real-time channel management in WLANs: Deep reinforcement learningversus heuristics, 2021 IFIP Networking Conference (IFIP Networking). IEEE,2021: 1-9 )是通过干扰模型来进行信道分配的。虽然适用于流量变化场景，但是依赖固定的干扰模型，在复杂网络环境中（比如隐藏信道和隐藏终端），难以适用。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种信道绑定WiFi网络的信道分配方法，其依靠吞吐量的反馈识别存在冲突的信道配置，依靠深度强化学习自适应动态干扰关系与流量变换，使用PPO算法训练神经网络实现稳定的收敛，从而解决隐藏终端和隐藏信道场景下的信道分配策略问题，并且适用于流量动态变换的场景。
为实现上述目的，本发明采用的技术方案是：
一种信道绑定WiFi网络的信道分配方法，其包括以下阶段：
训练阶段：通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，并将其存储在数据缓冲区中，构建神经网络，并使用PPO算法对神经网络进行训练；
部署阶段：通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，利用训练后的神经网络生成每个AP的信道选择动作，并将其下发到每个AP进行执行。
所述训练阶段包括以下几个步骤：
步骤1.1、构造训练集：在训练阶段，通过中央控制器周期性收集每个AP的信道选择、流量负载/>和吞吐量/>，并将其存储在数据缓冲区中；
步骤1.2、构造神经网络：构造两个全连接网络分别作为Actor网络和Critic网络，Actor网络用于生成每个AP的信道选择动作，Critic网络用于生成信道选择动作的状态价值/>，并复制一个old_Actor网络用于信道选择动作/>的对数概率/>计算，其中，/>为old_Actor网络参数/>下的策略表示，用于计算状态/>下动作的对数概率，并在每轮训练结束后将Actor网络参数复制给old_Actor网络；
步骤1.3、训练神经网络：将观测信息归一化处理后构建观测状态向量作为输入状态，将每个AP的所有信道选择组合作为动作空间，将累计吞吐量作为奖励函数，通过PPO算法训练神经网络。
所述步骤1.3中，训练神经网络过程具体包括：
步骤1.31、将观测信息归一化处理后构建观测状态向量作为输入状态；
步骤1.32、将每个AP的所有信道选择组合作为动作空间，即表示为每个AP分配的主信道，表示为每个AP分配的最大允许绑定信道数量；
步骤1.33、将累积吞吐量作为奖励函数，/>表示AP的数量，/>表示第j个AP在t时刻的吞吐量；
步骤1.34、通过PPO算法训练神经网络；
步骤1.3.1中，将观测信息归一化的操作具体为：
（1）信道选择：，其中/>表示可用信道数量，/>表示信道/>是否被/>所选择，/>表示第j个AP；
（2）流量负载：，/>表示当前周期/> 生成的数据包数量和最大可发送数据包数量的比例，并将其剪切在0和1之间；
（3）吞吐量：，/>表示/>在当前周期的吞吐量，/>表示/>可以实现的最大吞吐量。
所述步骤1.34中，通过PPO算法训练神经网络的过程具体包括以下步骤：
（1）根据数据缓冲区中的数据，计算每一条数据的累计奖励值，将观测状态向量/>输入到Critic网络获取状态价值/>；然后计算优势值/>，表示当前Actor网络生成的信道选择动作/>的好坏程度；
（2）将观测状态向量输入到old_Actor网络和Actor网络分别计算信道选择动作/>的对数概率/>和/>，然后计算重要性采样系数/>；
（3）根据Actor网络的损失函数计算损失值，并使用梯度下降方法更新Actor网络；
（4）根据累计奖励值和状态价值/>计算Critic网络的损失值/>，并使用梯度下降方法更新Critic网络。
所述部署阶段包括以下几个步骤：
步骤2.1、部署神经网络：将训练好的PPO智能体部署在WiFi网络的中央控制器上；
步骤2.2、收集输入状态：通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，归一化处理后构成观测状态向量；
步骤2.3、生成并执行动作：将观测状态向量输入训练后的Actor网络生成每个AP的信道选择动作，并下发到每个AP执行。
采用上述方案后，本发明不依赖先验干扰模型，只通过实际吞吐量的反馈信息训练神经网络，并用于多AP信道参数的选择，在难以获取干扰模型的隐藏终端和隐藏信道场景下有更好的吞吐量表现。
附图说明
图1为本发明的信道绑定WiFi网络信道分配示意图；
图2为隐藏终端场景的示意图；
图3为隐藏信道场景的示意图；
图4为动态流量场景的示意图；
图5为本发明的流程示意图；
图6为本发明的PPO算法更新流程图；
图7为本发明和基于模型的强化学习方法的net2seq在隐藏终端场景的吞吐量对比图；
图8为本发明和基于模型的强化学习方法的net2seq在隐藏信道场景的吞吐量对比图；
图9为本发明和基于模型的强化学习方法的net2seq在动态场景下的吞吐量曲线图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1展示了本发明所涉及的WiFi网络场景。网络中存在多个可用信道，每个AP根据流量需求动态选择信道。
图2展示了隐藏终端场景。在该场景中，对角线上的两个AP位于彼此的载波监听范围之外，当它们使用重叠信道同时向干扰范围内的用户发送数据包时，会产生干扰导致数据包发送失败。相邻AP在彼此的载波监听范围之内，在发送数据包之前进行载波监听，避免了使用重叠信道同时发送数据包。此外，当用户在相邻AP的干扰重叠范围之外，使用重叠信道同时传输数据包，不会产生冲突。
图3展示了隐藏信道场景。相邻的两个AP选择了不同带宽的信道进行传输，导致载波感知范围不对称。例如，选择了80MHz信道进行传输的AP1无法感知到选择了40MHz信道的AP2正在传输数据包，因此AP1单方面地抢占了信道，导致AP2发送的数据包失败。如果相邻AP选择了相同的带宽信道进行传输，则它们的载波感知范围是对称的。
图4则展示了流量动态变化的场景。每个AP的流量需求在周期性变化。
基于以上场景系统，本发明揭示了一种信道绑定WiFi网络的信道分配方法，如图1所示，本发明的方法具体来说分为两个阶段，即训练阶段和部署阶段。其中，训练阶段，中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，并将其存入数据缓冲区中；构建两个全连接神经网络作为Actor网络和Critic网络，分别用于信道选择动作的生成和生成信道选择动作的价值函数，并复制一个old_Actor网络用于信道选择动作对数概率的计算；智能体将观测信息归一化处理后构建观测状态向量作为输入状态，将每个AP的所有信道选择组合作为动作空间，将累计吞吐量作为奖励函数，通过PPO算法训练神经网络。部署阶段，中央控制器收集每个AP的信道选择、流量负载和吞吐量等观测信息，然后将观测信息归一化处理构成观测状态向量，将观测状态向量输入到Actor网络中生成信道选择动作。
具体来说，训练阶段包括以下步骤：
步骤1.1、构造训练集：中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量/>等观测信息并存入数据缓冲区，其中。
步骤1.2、构造神经网络：构造两个全连接网络分别作为Actor网络和Critic网络，Actor网络用于生成每个AP的信道选择动作，Critic网络用于对Actor网络生成的信道选择动作生成状态价值/>，并复制一个old_Actor网络用于每个AP信道选择动作的对数概率/>的计算，在每次训练步骤结束后将Actor网络参数复制给old_Actor网络。其中，/>为old_Actor网络参数/>下的策略表示，用于计算状态/>下动作的对数概率。
步骤1.3、训练神经网络：智能体将观测信息归一化处理后构建观测状态向量作为输入状态，将每个AP的所有信道选择组合作为动作空间，将累计吞吐量作为奖励函数，通过PPO（Proximal Policy Optimization，近端策略优化）算法训练神经网络。
训练神经网络过程具体包括：
步骤1.31、将观测信息归一化处理后构建观测状态向量作为输入状态，其中
。
归一化具体为：
（1）信道选择：，其中/>表示可用信道数量，/>表示信道/>是否被/>所选择。
（2）流量负载：，/>表示当前周期/>生成的数据包数量和最大可发送数据包数量的比例，并将其剪切在0和1之间。
（3）吞吐量：，/>表示/>在当前周期的吞吐量，表示/>可以实现的最大吞吐量，/>表示第j个AP。
步骤1.32、将每个AP的所有信道选择组合作为动作空间，即表示为每个AP分配的主信道，表示为每个AP分配的最大允许绑定信道数量。
步骤1.33、将累积吞吐量作为奖励函数；/>表示AP的数量，/>表示第j个AP在t时刻的吞吐量。
步骤1.34、通过PPO算法训练神经网络。
图6给出了使用PPO算法训练神经网络的流程，具体为：
（1）根据数据缓冲区中的数据，计算每一条数据的累计奖励值，
其中，表示t时刻的奖励，/>表示折扣因子，/>为t时刻的累计奖励值，表示当前周期信道选择动作的长期价值。
（2）将上一周期的观测状态向量输入到Critic网络获取状态价值/>。然后计算优势值/>，表示当前Actor网络生成的信道选择动作/>的好坏程度。
（3）将数据缓冲区中的每条数据的观测状态向量输入到Actor网络，得到信道选择动作/>对应的对数概率/>。然后使用old_Actor网络计算信道选择动作/>的对数概率/>，最后计算得到重要性采样系数/>，
为与环境交互时Actor网络输出的动作对数概率，/>为当前的Actor网络输出的动作对数概率。
（4）根据Actor网络的损失函数计算损失值，并使用梯度下降方法更新Actor网络；
其中，表示期望，/>表示限制更新步长的裁剪系数。
（5）根据累计奖励值和状态价值/>计算Critic网络的损失值，并使用梯度下降方法更新 Critic网络，/>
一次训练过程中，重复更新网络30次（次数具体可以调整）。反复执行步骤(1)到步骤(5)直到Actor网络收敛，则表明基于深度强化学习的信道绑定WiFi网络信道分配方法训练完成。
部署阶段，具体步骤如下：
步骤2.1、部署神经网络：将训练好的PPO智能体部署在WiFi网络的中央控制器上；
步骤2.2、收集输入状态：通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，归一化处理后构成观测状态向量；
步骤2.3、生成并执行动作：将观测状态向量输入训练后的Actor网络生成每个AP的信道选择动作，并下发到每个AP执行。
为了验证本发明方法的效果，使用Komondor仿真器进行了实验评估，并与基于模型的强化学习方法net2seq进行了性能比较。net2seq通过干扰模型进行信道选择，目标是最小化网络整体干扰。
Komondor仿真器参数如下：
表1Komondor仿真器参数
强化学习超参数如下：
表2强化学习超参数
如图7所示，隐藏终端场景下本发明的吞吐量比net2seq提升了50%。为net2seq手动设置正确的干扰关系并将其定义为net2seq-opt，net2seq-opt实现了与本发明相近的吞吐量。
如图8所示，隐藏信道场景下本发明的吞吐量比net2seq提升了35%。因为隐藏信道场景下，网络没有一个固定的干扰关系，手动为net2seq设置了两个干扰关系进行性能对比。
如图9所示，本发明在动态流量变化的场景下能够选择合适信道分配策略，满足每个AP变化的流量需求。
综上，本发明在训练阶段，通过中央控制器周期性收集每个接入点（AP）的信道选择、流量负载和吞吐量等观测信息；构建两个全连接神经网络分别作为Actor网络和Critic网络，Actor网络用于生成每个AP的信道选择动作，Critic网络用于生成信道选择动作的状态价值，并复制一个old_Actor网络用于信道选择动作的对数概率计算，并在每轮训练后复制Actor网络参数；将观测信息归一化处理后构建观测状态向量作为输入状态，将每个AP的所有信道选择组合作为动作空间，将累计吞吐量作为奖励函数，通过PPO算法训练神经网络；在部署阶段，通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息；利用训练后的神经网络生成每个AP的信道选择动作，并下发到每个AP执行。本发明依靠吞吐量的反馈识别存在冲突的信道配置，依靠深度强化学习自适应动态干扰关系与流量变换，使用PPO算法训练神经网络实现稳定的收敛，从而解决隐藏终端和隐藏信道场景下的信道分配策略问题，并且适用于流量动态变换的场景。本发明不依赖先验干扰模型，只通过实际吞吐量的反馈信息训练神经网络，并用于多AP信道参数的选择，在难以获取干扰模型的隐藏终端和隐藏信道场景下有更好的吞吐量表现。
本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (6)

1.一种信道绑定WiFi网络的信道分配方法，其特征在于：包括以下阶段：
训练阶段：通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，并将其存储在数据缓冲区中，构建神经网络，并使用PPO算法对神经网络进行训练；
部署阶段：通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，利用训练后的神经网络生成每个AP的信道选择动作，并将其下发到每个AP进行执行。
2.如权利要求1所述的一种信道绑定WiFi网络的信道分配方法，其特征在于：所述训练阶段包括以下几个步骤：
步骤1.1、构造训练集：在训练阶段，通过中央控制器周期性收集每个AP的信道选择、流量负载/>和吞吐量/>，并将其存储在数据缓冲区中；
步骤1.2、构造神经网络：构造两个全连接网络分别作为Actor网络和Critic网络，Actor网络用于生成每个AP的信道选择动作，Critic网络用于生成信道选择动作的状态价值/>，并复制一个old_Actor网络用于信道选择动作/>的对数概率/>计算，其中，/>为old_Actor网络参数/>下的策略表示，用于计算状态/>下动作/>的对数概率，并在每轮训练结束后将Actor网络参数复制给old_Actor网络；
步骤1.3、训练神经网络：将观测信息归一化处理后构建观测状态向量作为输入状态，将每个AP的所有信道选择组合作为动作空间，将累计吞吐量作为奖励函数，通过PPO算法训练神经网络。
3.如权利要求2所述的一种信道绑定WiFi网络的信道分配方法，其特征在于：所述步骤1.3中，训练神经网络过程具体包括：
步骤1.31、将观测信息归一化处理后构建观测状态向量作为输入状态；
步骤1.32、将每个AP的所有信道选择组合作为动作空间，即，表示为每个AP分配的主信道，/>表示为每个AP分配的最大允许绑定信道数量；
步骤1.33、将累积吞吐量作为奖励函数，/>表示AP的数量，/>表示第j个AP在t时刻的吞吐量；
步骤1.34、通过PPO算法训练神经网络。
4.如权利要求3所述的一种信道绑定WiFi网络的信道分配方法，其特征在于：步骤1.3.1中，将观测信息归一化的操作具体为：
（1）信道选择：，其中/>表示可用信道数量，/>表示信道i是否被/>所选择，/>表示第j个AP；
（2）流量负载：，/>表示当前周期/>生成的数据包数量和最大可发送数据包数量的比例，并将其剪切在0和1之间；
（3）吞吐量：，/>表示/>在当前周期的吞吐量，/>表示/>可以实现的最大吞吐量。
5.如权利要求3所述的一种信道绑定WiFi网络的信道分配方法，其特征在于：所述步骤1.34中，通过PPO算法训练神经网络的过程具体包括以下步骤：
（1）根据数据缓冲区中的数据，计算每一条数据的累计奖励值，将观测状态向量/>输入到Critic网络获取状态价值/>；然后计算优势值/>，表示当前Actor网络生成的信道选择动作/>的好坏程度；
（2）将观测状态向量输入到old_Actor网络和Actor网络分别计算信道选择动作/>的对数概率/>和/>，然后计算重要性采样系数/>；
（3）根据Actor网络的损失函数计算损失值，并使用梯度下降方法更新Actor网络；
（4）根据累计奖励值和状态价值/>计算Critic网络的损失值/>，并使用梯度下降方法更新 Critic网络。
6.如权利要求1所述的一种信道绑定WiFi网络的信道分配方法，其特征在于：所述部署阶段包括以下几个步骤：
步骤2.1、部署神经网络：将训练好的PPO智能体部署在WiFi网络的中央控制器上；
步骤2.2、收集输入状态：通过中央控制器周期性收集每个AP的信道选择、流量负载和吞吐量等观测信息，归一化处理后构成观测状态向量；
步骤2.3、生成并执行动作：将观测状态向量输入训练后的Actor网络生成每个AP的信道选择动作，并下发到每个AP执行。
CN202310847842.XA 2023-07-12 2023-07-12 一种信道绑定WiFi网络的信道分配方法 Active CN116600324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310847842.XA CN116600324B (zh) 2023-07-12 2023-07-12 一种信道绑定WiFi网络的信道分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310847842.XA CN116600324B (zh) 2023-07-12 2023-07-12 一种信道绑定WiFi网络的信道分配方法

Publications (2)

Publication Number Publication Date
CN116600324A true CN116600324A (zh) 2023-08-15
CN116600324B CN116600324B (zh) 2023-11-24

Family

ID=87594014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310847842.XA Active CN116600324B (zh) 2023-07-12 2023-07-12 一种信道绑定WiFi网络的信道分配方法

Country Status (1)

Country Link
CN (1) CN116600324B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847386A (zh) * 2023-09-01 2023-10-03 长春理工大学 一种Wifi自适应通信系统
CN117485410A (zh) * 2024-01-02 2024-02-02 成都工业学院 一种列车运行控制系统的数据通信系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584611A (zh) * 2012-08-14 2015-04-29 思科技术公司 针对具有ieee 802.11ac接入点的wlan部署的动态信道分配
US20160081096A1 (en) * 2014-09-12 2016-03-17 Qualcomm Incorporated Centralized wifi channel selection
CN112312408A (zh) * 2020-10-14 2021-02-02 韩山师范学院 一种具有服务质量保证的802.11ax密集WiFi网络AP布置方法
CN114900225A (zh) * 2022-04-24 2022-08-12 南京大学 一种基于低轨巨星座的民航互联网业务管理与接入资源分配方法
WO2022262734A1 (zh) * 2021-06-17 2022-12-22 华为技术有限公司 一种信道接入方法及相关装置
CN116321434A (zh) * 2023-02-22 2023-06-23 北京邮电大学 一种模型训练、上行资源占用方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584611A (zh) * 2012-08-14 2015-04-29 思科技术公司 针对具有ieee 802.11ac接入点的wlan部署的动态信道分配
US20160081096A1 (en) * 2014-09-12 2016-03-17 Qualcomm Incorporated Centralized wifi channel selection
CN112312408A (zh) * 2020-10-14 2021-02-02 韩山师范学院 一种具有服务质量保证的802.11ax密集WiFi网络AP布置方法
WO2022262734A1 (zh) * 2021-06-17 2022-12-22 华为技术有限公司 一种信道接入方法及相关装置
CN114900225A (zh) * 2022-04-24 2022-08-12 南京大学 一种基于低轨巨星座的民航互联网业务管理与接入资源分配方法
CN116321434A (zh) * 2023-02-22 2023-06-23 北京邮电大学 一种模型训练、上行资源占用方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAWEI ZHAO等: ""Dynamic channel selections and performance analysis for High-Speed Train WiFi network"", 2015 INTERNATIONAL WORKSHOP ON HIGH MOBILITY WIRELESS COMMUNICATIONS (HMWC) *
康灿平: ""基于深度强化学习的无线资源动态分配算法研究"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847386A (zh) * 2023-09-01 2023-10-03 长春理工大学 一种Wifi自适应通信系统
CN117485410A (zh) * 2024-01-02 2024-02-02 成都工业学院 一种列车运行控制系统的数据通信系统及方法
CN117485410B (zh) * 2024-01-02 2024-04-02 成都工业学院 一种列车运行控制系统的数据通信系统及方法

Also Published As

Publication number Publication date
CN116600324B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN116600324B (zh) 一种信道绑定WiFi网络的信道分配方法
Li Multi-agent Q-learning of channel selection in multi-user cognitive radio systems: A two by two case
CN110809306B (zh) 一种基于深度强化学习的终端接入选择方法
Heikkinen A potential game approach to distributed power control and scheduling
CN103796211B (zh) 一种认知无线网络中联合功率和信道分配方法
CN111726811B (zh) 一种用于认知无线网络的切片资源分配方法及系统
US11671845B2 (en) Dynamic spectrum sharing method based on user online learning and low-overhead cooperation
CN110856268B (zh) 一种无线网络动态多信道接入方法
CN113316154A (zh) 一种授权和免授权d2d通信资源联合智能分配方法
CN107949025A (zh) 一种基于非合作博弈的网络选择方法
CN111262638B (zh) 基于高效样本学习的动态频谱接入方法
CN107708197A (zh) 一种高能效的异构网络用户接入和功率控制方法
CN115119332B (zh) 意图驱动的无线网络资源冲突解决方法及其装置
US20220394727A1 (en) Scheduling method, scheduling algorithm training method, related system, and storage medium
CN104467999A (zh) 一种基于量子蛙跳的频谱感知算法
CN109362093A (zh) 网络功能虚拟化的总吞吐量最大化的资源优化方法
Kao et al. Decentralized cooperative reinforcement learning with hierarchical information structure
CN110996365B (zh) 一种基于多目标优化模型的异构网络垂直切换算法及系统
CN113453239A (zh) 信道资源分配方法及系统、存储介质、电子设备
CN115568024A (zh) 面向边缘计算的无线信道匹配方法
CN114598655A (zh) 基于强化学习的移动性负载均衡方法
Kaur et al. Intelligent spectrum management based on reinforcement learning schemes in cooperative cognitive radio networks
CN104540203A (zh) 基于独立集的无线体域网能效优化方法
CN114126021A (zh) 一种基于深度强化学习的绿色认知无线电的功率分配方法
Ortín et al. Joint cell selection and resource allocation games with backhaul constraints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant