CN114125962A - 一种自适应网络切换方法、系统及存储介质 - Google Patents

一种自适应网络切换方法、系统及存储介质 Download PDF

Info

Publication number
CN114125962A
CN114125962A CN202111325359.2A CN202111325359A CN114125962A CN 114125962 A CN114125962 A CN 114125962A CN 202111325359 A CN202111325359 A CN 202111325359A CN 114125962 A CN114125962 A CN 114125962A
Authority
CN
China
Prior art keywords
network
access point
switching
equipment
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111325359.2A
Other languages
English (en)
Inventor
路永玲
王真
朱雪琼
胡成博
贾骏
杨景刚
张国江
付慧
孙蓉
姚楠
张东磊
陆阳
白巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Global Energy Interconnection Research Institute
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Global Energy Interconnection Research Institute, Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202111325359.2A priority Critical patent/CN114125962A/zh
Publication of CN114125962A publication Critical patent/CN114125962A/zh
Priority to KR1020227030640A priority patent/KR20230070405A/ko
Priority to PCT/CN2022/089236 priority patent/WO2023082554A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/14—Reselecting a network or an air interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/0005—Control or signalling for completing the hand-off
    • H04W36/0055—Transmission or use of information for re-establishing the radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/24—Reselection being triggered by specific parameters
    • H04W36/30—Reselection being triggered by specific parameters by measured or perceived connection quality data

Abstract

本发明公开了一种自适应网络切换方法、系统及存储介质，本发明基于RBF神经网络判断设备业务类型和设备网络制式，从而确定切换所使用的深度Q网络，将当前异构网络或网络接入点的环境状态作为深度Q网络输入，获得最优网络及接入点，避免了因传统切换算法切换指标单一而引发的误切换，减少设备切换次数，切换更加合理。

Description

一种自适应网络切换方法、系统及存储介质
技术领域
本发明涉及一种自适应网络切换方法、系统及存储介质，属于无线网络技术领域。
背景技术
随着未来各种应用场景中多种无线网络的部署，多网融合发展和无缝漫游的异构无线网络将成为必然趋势。作为异构无线网络移动性管理技术的核心，网络切换技术是在设备跨异构网络移动时确保会话连续性的关键技术之一，具有重要的研究意义。
目前传统的切换方法包括基于接受信号强度(Received Signal Strength，RSS)算法和基于多准则决策(Multi-criteria Decision Making，MCDM)算法；其中，RSS算法会导致设备的频繁切换，影响用户服务质量，MCDM算法由于多种决策标准相互依赖和交互影响切换判决准则的相对权重，最终导致切换不合理。
发明内容
本发明提供了一种自适应网络切换方法、系统及存储介质，解决了传统方法导致设备切换频繁和切换判据不合理的问题。
为了解决上述技术问题，本发明所采用的技术方案是：
一种自适应网络切换方法，包括：
将网络环境下设备的状态信息输入预先训练的RBF神经网络，获得设备业务类型和设备网络制式；
若设备网络制式为支持多网络制式，将网络环境状态参数作为输入，采用预先训练的第一深度Q网络和第二深度Q网络，获得选择连接的网络和选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换；
若设备网络制式为单网络制式且设备业务类型为非固定类业务，将网络环境状态参数作为输入，采用预先训练的第二深度Q网络，获得选择连接的网络接入点，根据选择连接的网络接入点，进行网络切换。
设备的状态信息包括设备接收功率变化值、设备接收时延变化值和设备固有参数。
若设备网络制式为支持多网络制式，采用预先训练的第一深度Q网络和第二深度Q网络，获得选择连接的网络和选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换，包括：
若设备网络制式为支持多网络制式，采用预先训练的第一深度Q网络，获得选择连接的网络，采用预先训练的第二深度Q网络，获得选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换。
第一深度Q网络的输入为网络环境状态参数，包括：
环境中各无线网络的带宽、时延、误码率和抖动；
设备对网络带宽、时延、误码率和抖动的需求矩阵。
第一深度Q网络中网络切换奖励为：
Figure BDA0003346758180000021
其中，r1为第一深度Q网络中网络切换奖励，
Figure BDA0003346758180000022
为网络切换时带宽的网络选择权重，
Figure BDA0003346758180000023
为网络切换时时延的网络选择权重，
Figure BDA0003346758180000024
为网络切换时误码率的网络选择权重，
Figure BDA0003346758180000025
为网络切换时抖动的网络选择权重，f1B(S1,n)为网络切换时带宽的网络选择收益函数，f1τ(S1,n)为网络切换时时延的网络选择收益函数，f1e(S1,n)为网络切换时误码率的网络选择收益函数，f1J(S1,n)为网络切换时抖动的网络选择收益函数，S1为输入第一深度Q网络的网络环境状态参数集。
Figure BDA0003346758180000031
Figure BDA0003346758180000032
Figure BDA0003346758180000033
Figure BDA0003346758180000034
其中，Bn为无线网络n所提供的带宽，τn为无线网络n所提供的时延，en为无线网络n所提供的误码率，Jn为无线网络n所提供的抖动，qB为无线网络n需求的带宽，qτ为无线网络n需求的时延，qe为无线网络n需求的误码率，qJ为无线网络n需求的抖动。
第二深度Q网络的输入为网络环境状态参数，包括：
网络中各接入点的带宽、时延、误码率和抖动；
设备接收各接入点的接收功率；
设备对网络带宽、时延、误码率和抖动的需求矩阵。
第二深度Q网络中网络切换奖励为：
Figure BDA0003346758180000035
其中，r2为第二深度Q网络中网络切换奖励，
Figure BDA0003346758180000036
为选择接入点时带宽的网络选择权重，
Figure BDA0003346758180000037
为选择接入点时时延的网络选择权重，
Figure BDA0003346758180000038
为选择接入点时误码率的网络选择权重，
Figure BDA0003346758180000041
为选择接入点时抖动的网络选择权重，f2B(S2,m)为选择接入点时带宽的网络选择收益函数，f2τ(S2,m)为选择接入点时时延的网络选择收益函数，f2e(S2,m)为选择接入点时误码率的网络选择收益函数，f2J(S2,m)为选择接入点时抖动的网络选择收益函数，S2为输入第二深度Q网络的网络环境状态参数集，Pm为接入点m的接收功率，Pth为接收功率的灵敏度
Figure BDA0003346758180000042
Figure BDA0003346758180000043
Figure BDA0003346758180000044
Figure BDA0003346758180000045
其中，B′m为接入点m所提供的带宽，τ′m为接入点m所提供的时延，e′m为接入点m所提供的误码率，J′m为接入点m所提供的抖动，qB′为接入点m需求的网络带宽，qτ′为接入点m需求的网络时延，qe′为接入点m需求的网络误码率，qJ′为接入点m需求的网络抖动。
一种自适应网络切换系统，包括：
RBF神经网络模块：将网络环境下设备的状态信息输入预先训练的RBF神经网络，获得设备业务类型和设备网络制式；
第一切换模块：若设备网络制式为支持多网络制式，采用预先训练的第一深度Q网络和第二深度Q网络，获得选择连接的网络和选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换；
第二切换模块：若设备网络制式为单网络制式且设备业务类型为非固定类业务，采用预先训练的第二深度Q网络，获得选择连接的网络接入点，根据选择连接的网络接入点，进行网络切换。
第一切换模块：若设备网络制式为支持多网络制式，采用预先训练的第一深度Q网络，获得选择连接的网络，采用预先训练的第二深度Q网络，获得选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行自适应网络切换方法。
本发明所达到的有益效果：本发明基于RBF神经网络判断设备业务类型和设备网络制式，从而确定切换所使用的深度Q网络，将当前异构网络或网络接入点的环境状态作为深度Q网络输入，获得最优网络及接入点，避免了因传统切换算法切换指标单一而引发的误切换，减少设备切换次数，切换更加合理。
附图说明
图1为本发明方法的流程图；
图2为预设规则表；
图3损失函数构造示意图；
图4为异构无线网络场景。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种自适应网络切换方法，包括以下步骤：
步骤1，将网络环境下设备的状态信息输入预先训练的RBF神经网络，获得设备业务类型和设备网络制式；
步骤2，若设备网络制式为支持多网络制式，将网络环境状态参数作为输入，采用预先训练的第一深度Q网络和第二深度Q网络，获得选择连接的网络和选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换；
步骤3，若设备网络制式为单网络制式且设备业务类型为非固定类业务，将网络环境状态参数作为输入，采用预先训练的第二深度Q网络，获得选择连接的网络接入点，根据选择连接的网络接入点，进行网络切换。
上述方法基于RBF神经网络判断设备业务类型和设备网络制式，从而确定切换所使用的深度Q网络，将当前异构网络或网络接入点的环境状态作为深度Q网络输入，获得最优网络及接入点，避免了因传统切换算法切换指标单一而引发的误切换，减少设备切换次数，切换更加合理。
在实施上述方法之前，需要预先训练RBF神经网络、第一深度Q网络和第二深度Q网络。
训练RBF神经网络：初始化RBF神经网络输入节点3个(接收功率变化值、时延变化值以及设备固有参数)、隐藏节点数个(由误差反向传播算法决定隐藏节点数量)及输出节点数量2个(输出设备业务类型和设备网络制式)；将无线网络中的实际测量的功率、时延变化量、设备固有参数、设备业务类型和设备网络制式作为样本，训练RBF神经网络。
RBF神经网络在使用时，直接将设备的状态信息，即设备接收功率变化值、设备接收时延变化值和设备固有参数，输入RBF神经网络，即可获得设备业务类型和设备网络制式，用公式可以表达为：
RBFin＝{ΔP,Δτ，F}
RBFout＝{State1，State2},State1＝0,1,State2＝0,1
其中，RBFin、RBFout分别为RBF神经网络的输入和输出，ΔP、Δτ、F分别为设备接收功率变化值、设备接收时延变化值和设备固有参数，State1为设备业务类型，State1＝1表示设备业务类型为移动类业务，State1＝0表示设备业务类型为固定类业务，State2为设备网络制式，State2＝1表示设备网络制式为支持多网络制式，State1＝0表示设备网络制式为单网络制式。
例如环境中有5G、WiFi、LoRa，若设备支持多网络制式时，那么该设备可以实现多个网络的切换，若设备支持单网络制式，那么设备仅能在单个网络中切换，即进行接入点切换。
因此获得设备业务类型和设备网络制式后，可采用图2中预设的规则，确定网络切换所采用的网络，具体可以如下：
1)若设备网络制式为支持多网络制式，无论设备业务类型为固定类业务(如温度、湿度、压力传感器等传输业务)还是移动类业务(如智能标签、作业人员智能头盔等传输业务)，先采用第一深度Q网络，获得选择连接的网络，即切换后的网络，然后采用第二深度Q网络，获得选择连接网络的接入点，即切换后网络的接入点；
2)若设备网络制式为单网络制式且设备业务类型为固定类业务，那么该设备无法进行网络切换；若设备网络制式为单网络制式且设备业务类型为非固定类业务(即移动类业务)，直接采用第二深度Q网络，获得选择连接的网络接入点，即切换后的网络接入点。
上述第一深度Q网络只负责垂直切换(即网络间切换)，第二深度Q网络只负责接入点切换，第一深度Q网络和第二深度Q网络采用同样的深度Q网络，均包括现实Q网络和目标Q网络，其输入也均为网络环境状态参数，但是由于两者的目的不同，因此输入的参数和网络切换奖励函数不同。
将现实Q网络与无线网络环境进行交互，即将网络环境状态参输入现实Q网络，其中，输入第一深度Q网络的网络环境状态参数可以为：
A、环境中各无线网络的带宽、时延、误码率和抖动；
B、设备对网络带宽、时延、误码率和抖动的需求矩阵。
假设环境中共有N个异构无线网络，如WiFi、LoRa、5G等，上述参数用公式可表示为：
S1＝{B1,τ1,e1,J1,B2,τ2,e2,J2,···,BN,τN,eN,JN,X}
其中，S1为输入第一深度Q网络的网络环境状态参数集，Bn为无线网络n所提供的带宽，τn为无线网络n所提供的时延，en为无线网络n所提供的误码率，Jn为无线网络n所提供的抖动，n∈[1,N]，X为设备对网络带宽、时延、误码率和抖动的需求矩阵。
输入第二深度Q网络的网络环境状态参数可以为：
A、网络中各接入点的带宽、时延、误码率和抖动；
B、设备接收各接入点的接收功率；
C、设备对网络带宽、时延、误码率和抖动的需求矩阵。
假设网络中的接入点数量为M，上述参数用公式可表示为：
S2＝{P1,B′1,τ′1,e′1,J′1,P1,B′2,τ′2,e′2,J′2,···,PM,B′M,τ′M,e′M,J′M,X}
其中，s2为输入第二深度Q网络的网络环境状态参数集，Pm为接入点m的接收功率，B′m为接入点m所提供的带宽，τ′m为接入点m所提供的时延，e′m为接入点m所提供的误码率，J′m为接入点m所提供的抖动。
将网络环境状态参数输入现实Q网络后得到Q至，使用ε-greedy方法选择动作，其中，对于第一深度Q网络，动作则是选择连接的网络，对于第二深度Q网络，动作则是选择连接的网络接入点，可采用以下公式表示：
Figure BDA0003346758180000091
Figure BDA0003346758180000092
其中，a1、a2分别为网络切换动作和网络接入点切换动作，θ1、θ1分别为第一深度Q网络和第二深度Q网络的参数，α为生成的一个0～1随机数，ε为探索的概率。
通过执行动作，环境将返回下一时刻的状态S′1或S′2、以及设备在执行网络切换动作的奖励。
相对于第一深度Q网络，网络切换奖励函数可用以下公式表示：
Figure BDA0003346758180000093
Figure BDA0003346758180000094
Figure BDA0003346758180000095
Figure BDA0003346758180000096
Figure BDA0003346758180000097
其中，r1为第一深度Q网络中网络切换奖励，
Figure BDA0003346758180000098
为网络切换时带宽的网络选择权重，
Figure BDA0003346758180000101
为网络切换时时延的网络选择权重，
Figure BDA0003346758180000102
为网络切换时误码率的网络选择权重，
Figure BDA0003346758180000103
为网络切换时抖动的网络选择权重，f1B(S1,n)为网络切换时带宽的网络选择收益函数，f1τ(S1,n)为网络切换时时延的网络选择收益函数，f1e(S1,n)为网络切换时误码率的网络选择收益函数，f1J(S1,n)为网络切换时抖动的网络选择收益函数，qB为无线网络n需求的带宽，qτ为无线网络n需求的时延，qe为无线网络n需求的误码率，qJ为无线网络n需求的抖动。
相对于第二深度Q网络，网络切换奖励函数可用以下公式表示：
Figure BDA0003346758180000104
Figure BDA0003346758180000105
Figure BDA0003346758180000106
Figure BDA0003346758180000107
Figure BDA0003346758180000108
其中，r2为第二深度Q网络中网络切换奖励，
Figure BDA0003346758180000109
为选择接入点时带宽的网络选择权重，
Figure BDA00033467581800001010
为选择接入点时时延的网络选择权重，
Figure BDA00033467581800001011
为选择接入点时的误码率的网络选择权重，
Figure BDA00033467581800001012
为选择接入点时的抖动的网络选择权重，f2B(S2,m)为选择接入点时带宽的网络选择收益函数，f2τ(S2,m)为选择接入点时时延的网络选择收益函数，f2e(S2,m)为选择接入点时误码率的网络选择收益函数，f2J(S2,m)为选择接入点时抖动的网络选择收益函数，Pth为接收功率的灵敏度，qB′为接入点m需求的网络带宽，qτ′为接入点m需求的网络时延，qe′为接入点m需求的网络误码率，qJ′为接入点m需求的网络抖动。
上述第一深度Q网络的四维数据(S1,a1,r1,S′1)或第二深度Q网络的四维数据(S2,a2,r2,S′2)会存储在经验池中，通过经验池中的数据进行深度Q网络训练。
将四维数据中的网络环境状态参数(S1、S2)输入现实Q网络，得到现实Q值，将四维数据中的下一时刻的状态(S′1、S′2)输入目标Q网络，得到下一状态的目标Q值，选择使目标Q值最大的切换动作作为下一状态的动作：
Figure BDA0003346758180000111
a′∈{a′1,a′2}
a∈{a1,a2}
S′∈{S′1,S′2}
Figure BDA0003346758180000112
其中，a′表示下一状态的切换动作，θ-表示目标Q网络的网络参数，下标1表示对应第一深度Q网络，2表示对应第二深度Q网络。
获得下一状态动作后，目标Q值可以更新为：
Q′＝r+γQ(S′,a′；θ)
r∈{r1,r2}
θ∈{θ1,θ2}
其中，γ表示折扣因子，r表示奖励。
利用更新后的目标Q值可以计算损失函数，如图3所示，公式可以表示为：
Loss(θ)＝E[r+γQ(S′,a′；θ)-Q(S,a；θ)]2
其中，θ为深度Q网络参数，E为取期望操作。
通过损失函数进行反向传播更新现实Q网络的网络参数，具体可以为，每隔一定的步数，将当前现实Q网络的网络参数复制给目标Q网络。
分别使用多网络制式设备和单网络制式设备在某一环境下的网络参数训练第一深度Q网络和第二深度Q网络，直到网络结果收敛，将训练好的网络应用于异构无线网络垂直切换。
上述方法可实施在图4所示的异构无线网络场景中，假设该场景为智慧工厂、变电站、地下管廊或大型运动场等，先构建并训练RBF神经网络与深度Q网络，将训练好的网络置入具有计算能力的设备中。每隔一个时间段，RBF神经网络将根据实时的设备状态信息判断设备当前是否支持多网络制式及所传输的业务类型，并通过图2中的方法选择相应的深度Q网络进行切换动作判断。
上述方法面向无线传感网中的不同设备和不同业务，结合了RBF神经网络和深度Q网络，基于RBF神经网络判断设备业务类型和设备网络制式，从而确定切换所使用的深度Q网络，其中第一深度Q网络负责切换不同的网络制式，第二深度Q网络负责切换同一种网络下的不同接入点。两种深度Q网络均通过网络状态参数及构造的奖励函数进行训练，将当前异构网络或网络接入点的环境状态作为深度Q网络输入，对网络切换进行判决，获得最优网络及接入点，避免了因传统切换算法切换指标单一而引发的误切换，减少设备切换次数，切换更加合理。该方法能够实现不同网络的精准有效网络切换，提高用户的服务质量。
基于同样的技术方案，本发明还公开了上述方法相应的软件系统，即一种自适应网络切换系统，包括：
RBF神经网络模块：将网络环境下设备的状态信息输入预先训练的RBF神经网络，获得设备业务类型和设备网络制式；
第一切换模块：若设备网络制式为支持多网络制式，采用预先训练的第一深度Q网络，获得选择连接的网络，采用预先训练的第二深度Q网络，获得选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换；
第二切换模块：若设备网络制式为单网络制式且设备业务类型为非固定类业务，采用预先训练的第二深度Q网络，获得选择连接的网络接入点，根据选择连接的网络接入点，进行网络切换。
基于同样的技术方案，本发明还公开了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行自适应网络切换方法。
基于同样的技术方案，本发明还公开了一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行自适应网络切换方法的指令。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种自适应网络切换方法，其特征在于，包括：
将网络环境下设备的状态信息输入预先训练的RBF神经网络，获得设备业务类型和设备网络制式；
若设备网络制式为支持多网络制式，将网络环境状态参数作为输入，采用预先训练的第一深度Q网络和第二深度Q网络，获得选择连接的网络和选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换；
若设备网络制式为单网络制式且设备业务类型为非固定类业务，将网络环境状态参数作为输入，采用预先训练的第二深度Q网络，获得选择连接的网络接入点，根据选择连接的网络接入点，进行网络切换。
2.根据权利要求1所述的一种自适应网络切换方法，其特征在于，设备的状态信息包括设备接收功率变化值、设备接收时延变化值和设备固有参数。
3.根据权利要求1所述的一种自适应网络切换方法，其特征在于，若设备网络制式为支持多网络制式，采用预先训练的第一深度Q网络和第二深度Q网络，获得选择连接的网络和选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换，包括：
若设备网络制式为支持多网络制式，采用预先训练的第一深度Q网络，获得选择连接的网络，采用预先训练的第二深度Q网络，获得选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换。
4.根据权利要求3所述的一种自适应网络切换方法，其特征在于，第一深度Q网络的输入为网络环境状态参数，包括：
环境中各无线网络的带宽、时延、误码率和抖动；
设备对网络带宽、时延、误码率和抖动的需求矩阵。
5.根据权利要求4所述的一种自适应网络切换方法，其特征在于，第一深度Q网络中网络切换奖励为：
Figure FDA0003346758170000021
其中，r1为第一深度Q网络中网络切换奖励，
Figure FDA0003346758170000022
为网络切换时带宽的网络选择权重，
Figure FDA0003346758170000023
为网络切换时时延的网络选择权重，
Figure FDA0003346758170000024
为网络切换时误码率的网络选择权重，
Figure FDA0003346758170000025
为网络切换时抖动的网络选择权重，f1B(S1,n)为网络切换时带宽的网络选择收益函数，f1τ(S1,n)为网络切换时时延的网络选择收益函数，f1e(S1,n)为网络切换时误码率的网络选择收益函数，f1J(S1,n)为网络切换时抖动的网络选择收益函数，S1为输入第一深度Q网络的网络环境状态参数集。
Figure FDA0003346758170000026
Figure FDA0003346758170000027
Figure FDA0003346758170000028
Figure FDA0003346758170000029
其中，Bn为无线网络n所提供的带宽，τn为无线网络n所提供的时延，en为无线网络n所提供的误码率，Jn为无线网络n所提供的抖动，qB为无线网络n需求的带宽，qτ为无线网络n需求的时延，qe为无线网络n需求的误码率，qJ为无线网络n需求的抖动。
6.根据权利要求3所述的一种自适应网络切换方法，其特征在于，第二深度Q网络的输入为网络环境状态参数，包括：
网络中各接入点的带宽、时延、误码率和抖动；
设备接收各接入点的接收功率；
设备对网络带宽、时延、误码率和抖动的需求矩阵。
7.根据权利要求6所述的一种自适应网络切换方法，其特征在于，第二深度Q网络中网络切换奖励为：
Figure FDA0003346758170000031
其中，r2为第二深度Q网络中网络切换奖励，
Figure FDA0003346758170000032
为选择接入点时带宽的网络选择权重，
Figure FDA0003346758170000033
为选择接入点时时延的网络选择权重，
Figure FDA0003346758170000034
为选择接入点时误码率的网络选择权重，
Figure FDA0003346758170000035
为选择接入点时抖动的网络选择权重，f2B(S2,m)为选择接入点时带宽的网络选择收益函数，f2τ(S2,m)为选择接入点时时延的网络选择收益函数，f2e(S2,m)为选择接入点时误码率的网络选择收益函数，f2J(S2,m)为选择接入点时抖动的网络选择收益函数，S2为输入第二深度Q网络的网络环境状态参数集，Pm为接入点m的接收功率，Pth为接收功率的灵敏度
Figure FDA0003346758170000036
Figure FDA0003346758170000037
Figure FDA0003346758170000038
Figure FDA0003346758170000039
其中，B′m为接入点m所提供的带宽，τ′m为接入点m所提供的时延，e′m为接入点m所提供的误码率，J′m为接入点m所提供的抖动，qB′为接入点m需求的网络带宽，qτ′为接入点m需求的网络时延，qe′为接入点m需求的网络误码率，qJ′为接入点m需求的网络抖动。
8.一种自适应网络切换系统，其特征在于，包括：
RBF神经网络模块：将网络环境下设备的状态信息输入预先训练的RBF神经网络，获得设备业务类型和设备网络制式；
第一切换模块：若设备网络制式为支持多网络制式，采用预先训练的第一深度Q网络和第二深度Q网络，获得选择连接的网络和选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换；
第二切换模块：若设备网络制式为单网络制式且设备业务类型为非固定类业务，采用预先训练的第二深度Q网络，获得选择连接的网络接入点，根据选择连接的网络接入点，进行网络切换。
9.根据权利要求8所述的一种自适应网络切换系统，其特征在于，第一切换模块：若设备网络制式为支持多网络制式，采用预先训练的第一深度Q网络，获得选择连接的网络，采用预先训练的第二深度Q网络，获得选择连接网络的接入点，根据选择连接的网络和选择连接网络的接入点，进行网络切换。
10.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至7所述的方法中的任一方法。
CN202111325359.2A 2021-11-10 2021-11-10 一种自适应网络切换方法、系统及存储介质 Pending CN114125962A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111325359.2A CN114125962A (zh) 2021-11-10 2021-11-10 一种自适应网络切换方法、系统及存储介质
KR1020227030640A KR20230070405A (ko) 2021-11-10 2022-04-26 적응형 네트워크 핸드오버 방법, 시스템 및 저장 매체
PCT/CN2022/089236 WO2023082554A1 (zh) 2021-11-10 2022-04-26 一种自适应网络切换方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111325359.2A CN114125962A (zh) 2021-11-10 2021-11-10 一种自适应网络切换方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN114125962A true CN114125962A (zh) 2022-03-01

Family

ID=80377909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111325359.2A Pending CN114125962A (zh) 2021-11-10 2021-11-10 一种自适应网络切换方法、系统及存储介质

Country Status (3)

Country Link
KR (1) KR20230070405A (zh)
CN (1) CN114125962A (zh)
WO (1) WO2023082554A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082554A1 (zh) * 2021-11-10 2023-05-19 国网江苏省电力有限公司电力科学研究院 一种自适应网络切换方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110545568A (zh) * 2019-10-15 2019-12-06 中国联合网络通信集团有限公司 异构网络切换方法、切换装置、控制设备及存储介质
CN111556441A (zh) * 2020-05-22 2020-08-18 广州三星通信技术研究有限公司 用于移动终端的接入网络小区的方法及装置
CN112367683A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于改进深度q学习的网络选择方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979859A (zh) * 2016-10-21 2018-05-01 中兴通讯股份有限公司 一种网络切换方法、装置、终端及网络服务器
CN108235390B (zh) * 2017-12-01 2020-11-10 吉林大学 一种异构无线网络中基于贝叶斯决策的垂直切换方法
US11494649B2 (en) * 2020-01-31 2022-11-08 At&T Intellectual Property I, L.P. Radio access network control with deep reinforcement learning
CN113490248B (zh) * 2021-07-27 2022-03-11 重庆邮电大学 一种多模终端切换方法及装置
CN114125962A (zh) * 2021-11-10 2022-03-01 国网江苏省电力有限公司电力科学研究院 一种自适应网络切换方法、系统及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110545568A (zh) * 2019-10-15 2019-12-06 中国联合网络通信集团有限公司 异构网络切换方法、切换装置、控制设备及存储介质
CN111556441A (zh) * 2020-05-22 2020-08-18 广州三星通信技术研究有限公司 用于移动终端的接入网络小区的方法及装置
CN112367683A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于改进深度q学习的网络选择方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李泽宇等: "基于RBF 网络Q 学习的AUV 路径跟踪控制方法", 《西北工业大学学报》, pages 477 - 483 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082554A1 (zh) * 2021-11-10 2023-05-19 国网江苏省电力有限公司电力科学研究院 一种自适应网络切换方法、系统及存储介质

Also Published As

Publication number Publication date
WO2023082554A1 (zh) 2023-05-19
KR20230070405A (ko) 2023-05-23

Similar Documents

Publication Publication Date Title
Xia et al. Federated-learning-based client scheduling for low-latency wireless communications
CN109068350B (zh) 一种无线异构网络的终端自主选网系统及方法
CN107113668A (zh) 体验式切换管理质量
CN103313301A (zh) 用于实现报告测量以及报告测量结果的方法和装置
Goyal et al. Fuzzy AHP based technique for handover optimization in heterogeneous network
Khan et al. A vertical handover management scheme based on decision modelling in heterogeneous wireless networks
CN114125962A (zh) 一种自适应网络切换方法、系统及存储介质
Memon et al. Deep‐DRX: A framework for deep learning–based discontinuous reception in 5G wireless networks
CN103313275A (zh) Mro 场景检测方法及装置
CN114244710A (zh) 网元参数调整方法、装置及电子设备
KR101896056B1 (ko) 멀티미디어 기반 이기종 무선 네트워크의 수직 핸드 오버 관리 장치 및 방법
Yang et al. A novel fuzzy logic based vertical handoff decision algorithm for heterogeneous wireless networks
CN110324869B (zh) 一种用户接入方法和基站
WO2023066288A1 (zh) 模型请求方法、模型请求处理方法及相关设备
US20220046440A1 (en) Method, system and device for circumventing far-end interference
WO2023186091A1 (zh) 样本确定方法、装置及设备
WO2024032694A1 (zh) Csi预测处理方法、装置、通信设备及可读存储介质
WO2024099094A1 (zh) 波束测量方法、装置、终端、网络侧设备及存储介质
WO2024099091A1 (zh) 波束预测方法、装置、终端、网络侧设备及存储介质
WO2024032695A1 (zh) Csi预测处理方法、装置、通信设备及可读存储介质
WO2023134653A1 (zh) 通信网络预测方法、终端及网络侧设备
WO2023143200A1 (zh) 波束切换方法、装置及处理器可读存储介质
WO2024078405A1 (zh) 传输方法、装置、通信设备及可读存储介质
US20240078439A1 (en) Training Data Set Obtaining Method, Wireless Transmission Method, and Communications Device
WO2023186014A1 (zh) 信号发送方法、信号接收方法及通信设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Lu Yongling

Inventor after: Yao Nan

Inventor after: Wang Zhen

Inventor after: Zhu Xueqiong

Inventor after: Hu Chengbo

Inventor after: Jia Jun

Inventor after: Yang Jinggang

Inventor after: Zhang Guojiang

Inventor after: Fu Hui

Inventor after: Sun Rong

Inventor before: Lu Yongling

Inventor before: Yao Nan

Inventor before: Zhang Donglei

Inventor before: Lu Yang

Inventor before: Bai Wei

Inventor before: Wang Zhen

Inventor before: Zhu Xueqiong

Inventor before: Hu Chengbo

Inventor before: Jia Jun

Inventor before: Yang Jinggang

Inventor before: Zhang Guojiang

Inventor before: Fu Hui

Inventor before: Sun Rong

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20230627

Address after: No.1, Powell Road, Jiangning District, Nanjing, Jiangsu Province, 210000

Applicant after: STATE GRID JIANGSU ELECTRIC POWER COMPANY Research Institute

Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

Applicant after: JIANGSU ELECTRIC POWER RESEARCH INSTITUTE Co.,Ltd.

Address before: No.1, Powell Road, Jiangning District, Nanjing, Jiangsu Province, 210000

Applicant before: STATE GRID JIANGSU ELECTRIC POWER COMPANY Research Institute

Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

Applicant before: GLOBAL ENERGY INTERCONNECTION RESEARCH INSTITUTE Co.,Ltd.

Applicant before: JIANGSU ELECTRIC POWER RESEARCH INSTITUTE Co.,Ltd.

TA01 Transfer of patent application right