CN114339924B - 一种基于dqn的高低频混合组网的网络切换方法 - Google Patents
一种基于dqn的高低频混合组网的网络切换方法 Download PDFInfo
- Publication number
- CN114339924B CN114339924B CN202111535356.1A CN202111535356A CN114339924B CN 114339924 B CN114339924 B CN 114339924B CN 202111535356 A CN202111535356 A CN 202111535356A CN 114339924 B CN114339924 B CN 114339924B
- Authority
- CN
- China
- Prior art keywords
- terminal
- switching
- network switching
- network
- wireless access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006855 networking Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 22
- 230000001186 cumulative effect Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 24
- 230000002787 reinforcement Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供了一种基于DQN的高低频混合组网的网络切换方法,属于无线通信网络领域,其包括如下步骤:首先,基于SDN构建高低频混合组网。接着,SDN控制器判断终端是否处于高频覆盖范围,如果是,则执行下一步操作,如果否,则保持当前状态,无需进行下一步操作。然后,将切换效率作为DQN算法回报函数,切换效率定义为系统吞吐量与切换开销的比值。最后,在SDN控制器中,依据贝尔曼方程递推计算回报函数当前状态下的网络切换动作可以获得的累积回报,累积回报最大的动作所对应的网络切换方案为最优。本发明方法能最大化网络切换效率。
Description
技术领域
本发明属于无线通信网络领域,更具体地,涉及一种基于DQN的高低频混合组网的网络切换方法。
背景技术
无线通信的高频有丰富的频谱资源,可以有效的提高网络,特别是无线通信覆盖区域的吞吐量。但由于高频链路的传播特性,其覆盖范围相对较小,链路的稳定性及覆盖的连续性也相对较差。高频的这些缺陷可以通过低频弥补,高低频组网,其应用场景是低频提供覆盖,高频提升数据传输容量,最终目标是提升终端的服务通信服务质量。因此,高、低频混合组网可以充分发现高、频低各自的优势,提高网络的整体性能。从网络更新的过程来看,低频和高频联合组网是必然的趋势。
软件定义网络(software-defined network,SDN)技术的核心思想是将网络的控制平面与数据转发平面进行分离,采用集中控制替代原有分布式控制,并通过开放的可编程接口实现“软件定义”的网络架构。基于SDN技术,将控制面信息(C)和数据面信息(U)分离,通过高低频双连接方式的进行高低频混合组网,低频承载控制面信息,高频承载数据传输信息,可以保障关键控制信息稳定传输的基础上,提升网络的吞吐量。然而,这种高低频异构混合组网提升网路吞吐量代价是切换高低频网络带来的切换开销。如何在满足用户业务QoS需求的同时降低切换开销,是需要解决的一个控制决策问题。
强化学习(Reinforcement Learning,RL)为解决控制决策问题提供了一个新思路。智能体执行某个任务,首先执行某个动作与环境进行交互,产生新的状态,同时环境给出动作对应的奖赏,智能体根据奖赏修改自身的动作策略。如此循环,智能体学习得到可以获得最大奖赏的动作所对应的策略。传统的强化学习算法在求解时需要考虑的是所有策略的累积回报,计算量巨大,难以解决复杂的决策问题,将深度学习与强化学习结合起来的深度强化学习(Deep QNetwork,简称DQL)可能是完成高低频混合组网的网络切换这个复杂决策问题的切入点。
基于此,需要开发一种新型的高低频混合组网的网络切换方法。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种基于DQN的高低频混合组网的网络切换方法,基于SDN构建高低频混合组网,定义切换效率为系统吞吐量与切换开销的比值,将其作为DQN算法的回报函数,基于回报函数确定网络切换的方法,可以最大化网络切换效率。
为实现上述目的,本发明提供了一种基于DQN的高低频混合组网的网络切换方法,其包括如下步骤:
S1:基于SDN构建高低频混合组网,无线接入点实时收集终端的RSSI信息以及自身当前关联的终端数,将每个无线接入点与终端的关联情况传送至SDN控制器,
S2:SDN控制器判断终端是否处于高频覆盖范围,如果是,则执行下一步操作,如果否,则保持当前状态,无需进行下一步操作,
S3:定义切换效率为系统吞吐量与切换开销的比值,将切换效率作为DQN算法回报函数,在SDN控制器中,依据贝尔曼方程递推计算DQN算法回报函数当前状态下的网络切换动作可以获得的累积回报,
S4:将累积回报最大的动作所对应的网络切换方式定为最优策略,将该最优策略作为最终网络切换方案。
进一步的,步骤S1中,基于SDN构建高低频混合组网时,终端在接入高低频混合组网中,SDN控制器选择设定的无线接入点为终端提供接入服务,无线接入点实时收集终端的RSSI信息以及自身当前关联的终端数,并将这些信息传送至SDN控制器,SDN控制器内维护一个无线接入点与终端的关联状态矩阵X,该矩阵表示每个无线接入点与终端的关联情况,
其中,m表示第m个终端,n表示第n个无线接入点,xmn表示终端m与无线接入点n的关联情况,xmn=1时表示终端m接入无线接入点n,xmn=0时表示不接入。
进一步的,步骤S2中,SDN控制器由收集的终端的RSSI信息判断终端是否处于高频覆盖范围,当RSSI≥TH时,则认为终端处于高频覆盖范围,其中TH为高低频切换的阈值。
进一步的,步骤S3中,系统吞吐量R可表示为:
其中,m是指终端m,M代表终端总数,rm是指终端m的实际传输速率。
进一步的,终端m的实际传输速率rm为:
其中,Bmn为终端m在网络n中被分配的带宽,Pr,mn为接收信号功率,n0为高斯白噪声功率谱密度,xmn表示终端m与网络n的关联情况,N表示无线接入点总数。
进一步的,切换开销为切换次数τ,
进一步的,切换次数越小,系统吞吐量越大,回报函数值越大,系统性能越优,切换效率越高,依据贝尔曼方程递推计算回报函数当前状态下的网络切换动作可以获得的累积回报,累积回报最大的动作所对应的网络切换方案为最优策略,将该最优策略对应的关联矩阵X作为最优网络切换方案输出。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
在高低频混合组网中,基于SDN技术,本发明构建一种控制和转发分离的网络,由高频完成高速的数据转发,由此实现缓解低频段的频谱压力。在保证关键控制信息可靠传输的条件下,能满足超高速数据传输需求。
为了平衡切换高低频网络带来的切换开销,联合考虑高低频的切换开销与系统吞吐量,定义切换效率为系统吞吐量与切换开销的比值,将其作为DQN算法的回报函数,依据贝尔曼方程递推计算本发明所提出的回报函数当前状态下的网络切换动作,可以获得的累积回报,那么累积回报最大的动作所对应的网络切换方案就是最优策略,能在满足用户业务QoS需求的同时最大化切换效率。
附图说明
图1是本发明实施例提供的基于SDN构建高低频混合组网的结构示意图;
图2是本发明实施例中提供的基于DQN的高低频混合组网的网络切换方法流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于DQN的高低频混合组网的网络切换方法,其包括如下步骤:
S1:基于SDN构建高低频混合组网,无线接入点实时收集终端的RSSI信息以及自身当前关联的终端数,将每个无线接入点与终端的关联情况传送至SDN控制器,
S2:SDN控制器判断终端是否处于高频覆盖范围,如果是,则执行下一步操作,如果否,则保持当前状态,无需进行下一步操作,
S3:依据DQN算法计算高低频切换能获得的回报,将累计回报最大的方案作为网络切换最优方案。这里将切换效率作为DQN算法回报函数,切换效率定义为系统吞吐量与切换开销的比值,
S4:在SDN控制器中,依据贝尔曼方程递推计算回报函数当前状态下的网络切换动作可以获得的累积回报,累积回报最大的动作所对应的网络切换方案为最优策略,将该最优策略作为网络切换方案。
具体的,关于本发明的基于DQN的高低频混合组网的网络切换方法可以进一步阐述如下:
(1)初始化完成高低频混合组网
基于SDN构建高低频混合组网,终端在接入高低频混合组网时,SDN控制器选择设定的低频无线接入点为终端提供接入服务,无线接入点实时收集终端的RSSI信息以及自身当前关联的终端数,并将这些信息传送至SDN控制器。
(2)判断终端是否处于高频覆盖范围
SDN控制器由收集的终端的RSSI信息判断终端是否处于高频覆盖范围。当RSSI≥TH时,则认为终端处于高频覆盖范围,其中TH为高低频切换的阈值。
(3)定义回报函数
定义回报函数时联合考虑切换开销与系统吞吐量,定义切换效率为系统吞吐量与切换开销的比值,将其作为DQN算法的回报函数。切换次数越小,系统吞吐量越大,则该回报函数值越大,即系统性能更优,切换效率越高。
(4)基于回报函数,得到切换方案
依据贝尔曼方程递推计算回报函数当前状态下的网络切换动作可以获得的累积回报,累积回报最大的动作所对应的网络切换方案就是最优策略,输出此时的网络切换方案X。
更具体的网络切换方法流程如下:
(1)初始化完成高低频混合组网
基于SDN构建高低频混合组网时,终端在接入高低频混合组网中,SDN控制器选择设定的低频无线接入点为终端提供接入服务,低频无线接入点实时收集终端的RSSI信息以及自身当前关联的终端数,并将这些信息传送至SDN控制器。
SDN控制器内维护一个无线接入点与终端的关联状态矩阵X,该矩阵表示每个无线接入点与终端的关联情况。若终端(j)与无线接入点(i)关联,且连入低频5GHz信道,则X[i][j]=5;若终端(j)与无线接入点(i)关联,且连入高频60GHz信道,则X[i][j]=60;若终端(j)与无线接入点(i)非关联,则X[i][j]=0。假设全网一共有m个双频无线接入点和n个终端,从而可得到无线接入点与终端的关联状态矩阵:
其中,m表示第m个终端,n表示第n个无线接入点,xmn表示终端m与无线接入点n的关联情况,xmn=1时表示终端m接入无线接入点n,xmn=0时表示不接入。
(2)判断终端是否处于高频覆盖范围
SDN控制器由收集的终端的RSSI信息判断终端是否处于高频覆盖范围,当RSSI≥TH时,则认为终端处于高频覆盖范围。其中,TH为无高低频切换的阈值。如果终端不处于高频覆盖范围,则维持当前连接不变。
基于SDN的高低频组网系统中,控制子网负责收集终端的RSSI信息,上报给SDN控制器。SDN控制器为每个无线接入点维护一个RSSI阈值R,这个作为终端的工作频率从低频切换为高频的频率切换阈值,对于每个无线接入点,当终端与所接入的无线接入点的RSSI大于阈值R时,可认为该终端处于高频信号覆盖范围之内。
(3)设计DQN算法的回报函数
联合考虑切换开销与系统吞吐量,设计切换效率为DQN算法的回报函数,当回报函数的收益增加且有数据需要传输时,则进行高低频的切换。
假定切换前的关联矩阵为X0,切换决策后的关联矩阵为X,则网络切换矩阵可表示为通过对切换前后的关联矩阵进行异或运算,可知切换矩阵中则代表未发生切换,则代表切换。根据统计切换矩阵中1元素个数的一半,可得当前决策带来的切换开销,即切换次数τ。
终端m的实际传输速率rm可表示为:
其中,Bmn为终端m在网络n中被分配的带宽,Pr,mn为接收信号功率,n0为高斯白噪声功率谱密度,xmn表示终端m与网络n的关联情况,N表示无线接入点总数。则系统吞吐量R可表示为:
联合考虑切换开销与系统吞吐量,设计如下回报函数U(X,B):
定义上述为回报函数,即系统吞吐量与切换次数的比值。从上式可以看出,切换次数越小,系统吞吐量越大,则该回报函数值越大,即系统性能更优,切换效率越高。那么,基于DQN进行网络切换判断时,目标是最大化上述回报函数。
(4)基于回报函数,得到切换方案
依据贝尔曼方程递推计算上述定义的回报函数当前状态下的网络切换动作可以获得累积回报,那么累积回报最大的动作所对应的网络切换方案就是最优策略,输出此时的网络切换决策后的关联矩阵为X。
下面结合说明书附图更进一步详细阐述本发明,图1是本发明实施例提供的基于SDN构建高低频混合组网的结构示意图,如图1所示,图中圆柱表示每个终端要无线传输的信息,其中C表示传输的控制信息,U表示传输的数据信息。其表明基于SDN构建高低频混合组网时,SDN控制器选择设定的低频无线接入点为终端提供接入服务。
图2是本发明实施例中提供的基于DQN的高低频混合组网的网络切换方法流程示意图,由图2可知,在工程实践中的一个具体流程为:
(1)开始,初始化无线接入点与终端的关联状态矩阵X;
(2)终端(j)连入低频控制子网,更新X矩阵;
(3)判断终端(j)是否在高频信号覆盖范围内。如果是转到(4),如果否则在本时隙保持当前连接不变,下一时隙继续进行(3)判断;
(4)基于DQN计算切换的累积回报,判断是否切换。如果是转到(5),如果否则继续进行(3)判断;
(5)判断终端(j)是否还有数据需要传输。如果是转到(6),如果否则转到(7);
(6)切换到可提供服务的高频接入点,完成数据传输,转到(7);
(7)结束。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于DQN的高低频混合组网的网络切换方法,其特征在于,其包括如下步骤:
S1:基于SDN构建高低频混合组网,无线接入点实时收集终端的RSSI信息以及自身当前关联的终端数,将每个无线接入点与终端的关联情况传送至SDN控制器,
S2:SDN控制器判断终端是否处于高频覆盖范围,如果是,则执行下一步操作,如果否,则保持当前状态,无需进行下一步操作,
S3:定义切换效率为系统吞吐量与切换开销的比值,将切换效率作为DQN算法回报函数,在SDN控制器中,依据贝尔曼方程递推计算DQN算法回报函数当前状态下的网络切换动作可以获得的累积回报,
S4:将累积回报最大的动作所对应的网络切换方式定为最优策略,将该最优策略作为最终网络切换方案。
3.如权利要求2所述的基于DQN的高低频混合组网的网络切换方法,其特征在于,步骤S2中,SDN控制器由收集的终端的RSSI信息判断终端是否处于高频覆盖范围,当RSSI≥TH时,则认为终端处于高频覆盖范围,其中TH为高低频切换的阈值。
8.如权利要求7所述的基于DQN的高低频混合组网的网络切换方法,其特征在于,切换次数越小,系统吞吐量越大,回报函数值越大,系统性能越优,切换效率越高,依据贝尔曼方程递推计算回报函数当前状态下的网络切换动作可以获得的累积回报,累积回报最大的动作所对应的网络切换方案为最优策略,将该最优策略对应的关联矩阵X作为最优网络切换方案输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111535356.1A CN114339924B (zh) | 2021-12-15 | 2021-12-15 | 一种基于dqn的高低频混合组网的网络切换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111535356.1A CN114339924B (zh) | 2021-12-15 | 2021-12-15 | 一种基于dqn的高低频混合组网的网络切换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114339924A CN114339924A (zh) | 2022-04-12 |
CN114339924B true CN114339924B (zh) | 2023-05-30 |
Family
ID=81053484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111535356.1A Active CN114339924B (zh) | 2021-12-15 | 2021-12-15 | 一种基于dqn的高低频混合组网的网络切换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114339924B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327556A (zh) * | 2013-07-04 | 2013-09-25 | 中国人民解放军理工大学通信工程学院 | 异构无线网络中优化用户QoE的动态网络选择方法 |
CN106851757A (zh) * | 2017-03-09 | 2017-06-13 | 西安电子科技大学 | 一种基于sdn和sdr的异构网络切换方法 |
CN112492656A (zh) * | 2020-11-25 | 2021-03-12 | 重庆邮电大学 | 一种基于强化学习的无线网络接入点切换方法 |
-
2021
- 2021-12-15 CN CN202111535356.1A patent/CN114339924B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327556A (zh) * | 2013-07-04 | 2013-09-25 | 中国人民解放军理工大学通信工程学院 | 异构无线网络中优化用户QoE的动态网络选择方法 |
CN106851757A (zh) * | 2017-03-09 | 2017-06-13 | 西安电子科技大学 | 一种基于sdn和sdr的异构网络切换方法 |
CN112492656A (zh) * | 2020-11-25 | 2021-03-12 | 重庆邮电大学 | 一种基于强化学习的无线网络接入点切换方法 |
Non-Patent Citations (2)
Title |
---|
A DQN-Based Handover Management for SDN-Enabled Ultra-Dense Networks;Mengting Wu, etc.;《IEEE》;全文 * |
基于DQN的异构无线网络接入研究与实现;曹刚;《中国优秀硕士学位论文全文数据库(电子期刊)》(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114339924A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022022334A1 (zh) | 基于人工智能的通信方法和通信装置 | |
CN111726217B (zh) | 基于深度强化学习的宽带无线通信自主选频方法及系统 | |
US9008707B2 (en) | Method and arrangement for reducing interference and enhancing coverage | |
CN114867030B (zh) | 双时间尺度智能无线接入网切片方法 | |
CN111465066A (zh) | 面向电力物联网多连接技术的网络选择和移动性管理方法 | |
CN112261678B (zh) | 一种适用于自组网的自适应跳频方法及系统 | |
Gures et al. | Fuzzy logic-based load balancing algorithm in heterogeneous networks | |
Zong et al. | 6G cell-free network architecture | |
CN114302497A (zh) | 一种应用于非授权毫米波段异构网络共存的调度方法 | |
Alhammadi et al. | Conflict resolution strategy in handover management for 4G and 5G networks | |
Zhou et al. | Hierarchical reinforcement learning for RIS-assisted energy-efficient RAN | |
CN111083708A (zh) | 一种基于干扰感知多图的v2v通信异质频谱分配方法 | |
CN109803338B (zh) | 一种基于后悔度的双连接基站选择方法 | |
CN114339924B (zh) | 一种基于dqn的高低频混合组网的网络切换方法 | |
Ceken et al. | An adaptive fuzzy logic based vertical handoff decision algorithm for wireless heterogeneous networks | |
CN116032761A (zh) | 业务切片的调整方法、电子设备和存储介质 | |
CN105554816A (zh) | 一种异构网络下基于d2d通信机制的负载均衡方法 | |
CN103179578B (zh) | 一种cr系统中的频谱切换方法与装置 | |
Thantharate et al. | Balanced5G-Fair Traffic Steering Technique using Data-Driven Learning in Beyond 5G Systems | |
CN116506918A (zh) | 一种基于缓存区预测的中继选择方法 | |
Ying et al. | Energy-optimized 5G dual connectivity radio resource allocation | |
CN112261615B (zh) | 基于平均场无人机辅助多频段密集网络能效降解方法 | |
CN113301639A (zh) | 一种基于q学习的蜂窝网络d2d通信功率控制算法 | |
Song et al. | Throughput maximization in multi-channel wireless mesh access networks | |
Bouida et al. | Spectrally efficient switched transmit diversity for spectrum sharing systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |