CN111629380A - 面向高并发多业务工业5g网络的动态资源分配方法 - Google Patents

面向高并发多业务工业5g网络的动态资源分配方法 Download PDF

Info

Publication number
CN111629380A
CN111629380A CN202010385842.9A CN202010385842A CN111629380A CN 111629380 A CN111629380 A CN 111629380A CN 202010385842 A CN202010385842 A CN 202010385842A CN 111629380 A CN111629380 A CN 111629380A
Authority
CN
China
Prior art keywords
industrial
network
service
machine learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010385842.9A
Other languages
English (en)
Other versions
CN111629380B (zh
Inventor
于海斌
刘晓宇
许驰
曾鹏
金曦
夏长清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Intelligent Robot Innovation Center Co Ltd
Shenyang Intelligent Robot National Research Institute Co ltd
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Intelligent Robot Innovation Center Co Ltd
Shenyang Intelligent Robot National Research Institute Co ltd
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Intelligent Robot Innovation Center Co Ltd, Shenyang Intelligent Robot National Research Institute Co ltd, Shenyang Institute of Automation of CAS filed Critical Shenyang Intelligent Robot Innovation Center Co Ltd
Priority to CN202010385842.9A priority Critical patent/CN111629380B/zh
Publication of CN111629380A publication Critical patent/CN111629380A/zh
Application granted granted Critical
Publication of CN111629380B publication Critical patent/CN111629380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/02—Resource partitioning among network components, e.g. reuse partitioning
    • H04W16/10—Dynamic resource partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及工业5G网络技术，具体地说，它是一种面向高并发多业务工业5G网络的动态资源分配方法。本发明包括以下步骤：建立网络系统模型，构建面向高并发多业务的工业5G网络动态资源分配的机器学习模型；采集工业5G网络内所有工业设备在不同时隙的状态、动作、奖励信息，训练机器学习模型；循环评估不同业务的网络性能指标，训练机器学习模型直至满足性能要求；以当前时隙工业5G网络内所有工业设备的状态信息作为机器学习模型输入，对所有工业设备多个不同类型并发业务进行资源分配。本发明解决了工业5G网络中大规模异构工业设备并发通信过程中控制命令、工业音视频、感知数据等多种类型业务对实时性、可靠性、吞吐量需求各异造成的资源冲突问题。

Description

面向高并发多业务工业5G网络的动态资源分配方法
技术领域
本发明提供面向高并发多业务工业5G网络的动态资源分配方法，考虑工业5G网络中大规模异构工业设备并发通信过程中控制命令、工业音视频、感知数据等多种类型业务对实时性、可靠性、吞吐量需求各异造成的资源冲突问题，特别涉及多业务的丢包率、端到端时延、吞吐量和能耗约束，属于工业5G网络技术领域。
背景技术
随着工业4.0的发展，大量的分布式工业设备互联互通，分布式工业设备间使用工业无线网络通信，产生了海量的具有不同传输要求的业务。工业5G网络以其高可靠低时延(Ultra-reliable and Low Latency Communications,URLLC)、移动增强带宽(EnhancedMobile Broadband,eMBB)、大规模机器类型通信(massive Machine Type ofCommunication,mMTC)的典型通信场景应用于高并发多业务工业场景，既能保证工业设备的并发接入，又能满足各类业务不同的传输要求，成为工业无线网络的通信使能技术。
将时域、频域传输资源组成资源块，通过对资源块的合理分配能够允许大规模工业设备的并发接入，保证不同业务的传输要求。然而对于大规模工业设备间通信的工业场景，设备数量和业务类型是时变的，传统的基于已知的系统模型的资源分配算法，难以获得准确的系统模型。工业设备的业务产生是时变的，不同类型的业务具有不同的传输需求，即URLLC业务需要传输的高实时高可靠，eMBB业务需要链路的高吞吐量，mMTC业务需要保证海量设备接入的稳定性。对于高并发多业务的大规模工业生产过程，这不仅导致准确的系统模型难以获得，还会造成状态空间爆炸的问题。利用机器学习求解高并发多业务的工业5G网络动态资源分配能够有效地解决建模难和状态空间爆炸问题。
发明内容
为实现上述发明目的，本发明的目的在于提供面向高并发多业务工业5G网络的动态资源分配方法，能够实现特定丢包率、端到端时延、吞吐量和能耗约束下的资源分配。
本发明采用如下技术方案：面向高并发多业务工业5G网络的动态资源分配方法，对于包括工业基站、计算节点和多个工业设备的工业5G网络，通过训练机器学习模型，对工业5G网络中所有工业设备多个不同类型并发业务进行资源分配，包括以下步骤：
1)建立用于多工业设备并发多业务工业5G网络的动态资源分配的机器学习模型；
2)采集工业5G网络内所有工业设备在不同时隙的状态、动作、奖励信息，训练机器学习模型；
3)采集当前时隙工业5G网络内所有工业设备的状态信息作为机器学习模型输入，根据训练好的机器学习模型，对所有工业设备多个不同类型并发业务进行资源分配。
所述工业5G网络包括：1台工业基站，1个计算节点，以及N个工业设备；
所述计算节点，用于建立并训练机器学习模型；
所述工业基站，与计算节点通过网络相连接，从计算节点下载训练后的机器学习模型，用于调度不同工业设备及其传输业务的资源分配；
所述工业设备，包括工业控制类设备、工业音视频采集播放类设备、工业感知监测类设备，用于产生不同传输要求的工业业务数据，以保障工业生产的安全有效运行。
对于工业5G网络，建立工业5G网络模型，包括：工业5G网络覆盖范围及其范围内的工业设备数量N、资源块数量E、业务类型数量J、业务优先级P。
所述业务类型包括：工业控制类业务、工业音视频类业务、工业过程感知类业务。
所述建立用于多工业设备并发多业务工业5G网络的动态资源分配的机器学习模型，包括以下步骤：
建立评估网络和目标网络两个结构相同参数不同的深度神经网络模型，神经网络参数params＝[Lin,Lrnn,Lfc,Lout,w,b]，其中，Lin表示输入层神经元个数，Lrnn表示循环神经网络层神经元个数，Lfc表示全连接层神经元个数，Lout表示输出层神经元个数,w表示权重，b表示偏置；
其中，评估网络用于获得工业设备n(n∈N)当前状态向量sn的动作向量an的估值函数Q(sn,an)；目标网络用于选择工业设备n的下一个状态向量s'n的最大动作向量a'n的估值函数
Figure BDA0002483782420000031
利用强化学习的Q-learning更新方法
Figure BDA0002483782420000032
更新评估网络参数w、b，α表示学习速率，γ表示折扣比例，rn表示工业设备n在当前状态sn执行动作向量an获得的奖励；
目标网络的初始化参数与评估网络的初始化参数相同，评估网络的参数w、b每次迭代训练机器学习模型后进行更新，目标网络的参数w、b每迭代训练机器学习模型K次后更新一次。
所述工业设备的状态、动作、奖励信息包括：
工业设备n(n∈N)在时隙t(t∈T)的状态向量
Figure BDA0002483782420000041
其中
Figure BDA0002483782420000042
表示工业设备n在时隙t传输不同类型业务j(j∈J)所需的发送功率；
Figure BDA0002483782420000043
表示工业设备n在时隙t准备发送的不同类型业务j的数据包的数量；
Figure BDA0002483782420000044
表示工业设备n在时隙t的各个资源块e(e∈E)上的增益；
Figure BDA0002483782420000045
表示工业设备n在时隙t时不同类型业务j的优先级p(p∈P)；ackn(t)表示工业设备n在时隙t结束业务是否发送成功；
工业设备n在时隙t的动作向量
Figure BDA0002483782420000046
其中
Figure BDA0002483782420000047
是工业设备n在时隙t被分配的资源块e的增益；
Figure BDA0002483782420000048
是工业设备n在时隙t选择传输的业务j的数据包的数量；
Figure BDA0002483782420000049
是工业设备n在时隙t传输业务j的发送功率；
工业设备n在时隙t的奖励向量rn(t)＝[rn(t)]，其中rn(t)表示工业设备n在时隙t结束时获得的奖励。
所述训练机器学习模型，包括以下步骤：
a.将工业设备n时隙t状态向量
Figure BDA00024837824200000410
输入评估网络，设定概率ε，根据ε-greedy算法选择动作向量，以概率ε随机选择动作向量，或者以概率1-ε选择获得估值函数最大(即
Figure BDA0002483782420000051
的动作向量；
b.根据动作向量an(t)计算获得的奖励rn(t)；
c.根据工业设备n时隙t的状态向量sn(t)和动作向量an(t)，获得工业设备n下一时隙t+1的状态向量s'n(t+1)，将s'n(t+1)输入目标网络获得
Figure BDA0002483782420000052
以及目标估值函数
Figure BDA0002483782420000053
存储<sn(t),an(t),rn(t),s'n(t+1)>作为经验池经验；每个时隙的<sn(t),an(t),rn(t),s'n(t+1)>作为一个经验；
d.从经验池中使用经验回放法随机抽取M个经验，计算每个经验的Qtarget和
Figure BDA0002483782420000054
并根据均方误差损失函数
Figure BDA0002483782420000055
和梯度下降
Figure BDA0002483782420000056
更新评估网络参数w、b，其中η表示神经网络学习速率，θ(t)表示时隙t的神经网络超参数；重复迭代K次评估网络后，复制评估网络参数w、b给目标网络参数w、b；
e.重复迭代a～d直至均方误差损失函数收敛，此时得到的评估网络作为训练后的机器学习模型。
得到训练的机器学习模型后，对该机器学习模型进行优化：
采集工业5G网络内所有工业设备的历史时隙的状态信息，通过该机器学习模型得到资源分配结果，当该分配结果的网络性能符合要求时，即对于不同类型业务，丢包率、端对端时延、吞吐量、能耗均小于对应业务的网络性能指标，则该机器学习模型作为最终的训练后的机器学习模型，用于进行最终的并发业务资源分配；
否则，重复步骤1)-2)，直到机器学习模型符合要求为止。
所述网络性能指标包括：
丢包率，为单位时间内,同一类型业务待发送数据包与已发送的数据包的差与待发送数据包的比值；
端到端时延，为同一类型业务的数据包传输所需的传播时延、传输时延、排队时延和硬件时延之和；其中，传播时延为电磁波从一个工业设备发送端到另一个工业设备接收端所经历的时延；传输时延为从数据包的第一个比特被发送到最后一个比特被发送所经历的时延；排队时延为数据包到达工业设备到离开工业设备所经历的时延；硬件时延为工业设备的硬件性能造成的时延；
吞吐量，为单位时间内同一类型业务成功传输的数据包的比特数；
能耗，为不同类型业务传输所需的能量消耗之和。
所述步骤3包括：
收集当前时隙t工业5G网络内的所有N个工业设备的状态向量
Figure BDA0002483782420000061
输入至训练好的机器学习模型，得到输出动作向量
Figure BDA0002483782420000062
根据得到的输出动作向量，工业基站为不同工业设备的不同业务分配资源。
本发明具有以下有益效果及优点：
1、本发明面向含有工业控制、工业音视频、工业过程感知等多种类型业务的工业5G网络，针对其大规模分布式工业设备并发通信时资源分配建模难以及传统算法空间爆炸的问题，将多类型工业业务映射为高可靠低时延(URLLC)、增强移动带宽(eMBB)、大规模机器类型通信(mMTC)，并使用基于机器学习方法建模、训练，能够有效地为不同工业设备的不同类型业务进行动态资源分配。
2、本发明具有较强的通用性和实用性，能够自适应地处理工业设备、业务类型和传输资源的动态变化，能够有效地保证高并发多业务工业5G网络的动态资源分配，实现特定丢包率、端到端时延、吞吐量和能耗约束下的稳定传输，提高系统安全性和稳定性。
附图说明
图1是本发明方法流程图；
图2是系统模型图；
图3是资源块示意图；
图4是机器学习模型架构图。
具体实施方式
下面结合附图对本发明进行详细说明。
本发明主要包括以下实现过程，如图1，包括以下步骤：
步骤1：建立网络系统模型，确定系统内工业设备数量、业务类型、业务数量、业务优先级以及网络资源块数量；
步骤2：构建高并发多业务工业5G网络的动态资源分配的机器学习模型，并初始化参数；
步骤3：采集工业5G网络内所有工业设备在不同时隙的状态、动作、奖励信息，训练机器学习模型；
步骤4：循环评估不同业务的丢包率、端到端时延、吞吐量、能耗等指标，训练机器学习模型直至满足性能要求；
步骤5：以当前时隙工业5G网络内所有工业设备的状态信息作为机器学习模型输入，对所有工业设备多个不同类型并发业务进行资源分配。该实施例是按照如图1所示的流程实施的，具体步骤如下：
1、建立网络系统模型，确定系统内工业设备数量、业务类型、业务数量、业务优先级以及网络资源块数量，如图2，包括：
(1)工业5G网络包括：1台工业基站，1个计算节点，以及N个工业设备；其中，计算节点可以是移动边缘计算节点、雾计算节点或云计算节点，计算节点用于训练机器学习模型；工业基站与计算节点通过网络相连接，从计算节点下载更新训练的机器学习模型，用于调度不同工业设备及其传输业务的资源分配；工业设备，包括工业控制类设备、工业音视频采集播放类设备、工业感知监测类设备，用于产生不同传输要求的工业业务数据，以保障工业生产的安全有效运行；
(2)确定工业5G网络覆盖范围及其范围内工业设备数量N、资源块数量E、业务优先级P、业务数量J，系统模型主要包括两类情况：工业设备数量N小于资源块数量E，工业设备数量N大于等于资源块数量E:
a.当工业设备数量N小于资源块数量E时，所有工业设备满足信道容量约束的业务都能分配到资源块并满足性能要求；
b.当工业设备数量N大于等于资源块数量E时，根据本发明的资源分配方法，只有部分工业设备满足信道容量约束的业务能够分配到资源块并满足性能要求；
(3)工业5G网络中在线工业设备数量动态变化，其变化范围为[0,N]，资源块是传输的时域、频域所构成的资源块，如图3，业务优先级在优先级[0,P]范围内动态变化的，p(p∈P)值越小优先级越高，业务传输所需实时性、可靠性越高，业务类型数量在[0,J]范围内动态变化；
(4)业务类型可划分为：工业控制类业务、工业音视频类业务、工业过程感知类业务其中，工业控制类业务需要严格的实时性、可靠性传输要求，用于传输工业控制数据，映射为高可靠低时延(URLLC)业务；工业音视频类业务要求在截止日期前能够送达，用于传输工业音视频数据，映射为移动增强带宽(eMBB)业务；工业过程感知类业务对传输的实时性、可靠性要求最低，需要维持大规模的并发接入，用于传输工业过程感知监测数据，映射为大规模机器接入(mMTC)业务。
2、构建高并发多业务工业5G网络的动态资源分配的机器学习模型，并初始化参数，如图4，包括：
(1)建立基于深度强化学习的多工业设备多业务的工业5G网络动态资源分配机器学习模型，使用深度神经网络估计网络系统模型，使用强化学习求解动态资源分配；
(2)构建评估网络和目标网络两个网络结构相同参数不同的深度神经网络，深度神经网络参数params＝[Lin,Lrnn,Lfc,Lout,w,b]，其中，Lin表示输入层神经元个数，Lrnn表示循环神经网络层神经元个数，Lfc表示全连接层神经元个数，Lout表示输出层神经元个数，w表示权重，b表示偏置。
其中评估网络用于获得工业设备n(n∈N)当前状态向量sn的动作向量an的估值函数Q(sn,an)；目标网络通过选择工业设备n(n∈N)的下一个状态向量s'n的最大动作a'n的估值函数
Figure BDA0002483782420000101
利用强化学习中的Q-learning更新方法
Figure BDA0002483782420000102
更新评估网络参数，α表示学习速率，γ表示折扣比例，rn表示工业设备n在当前状态sn执行动作向量an获得的奖励。
(3)目标网络的初始化参数与评估网络的初始化参数相同，评估网络的参数w、b每次迭代训练机器学习模型后进行更新，目标网络的参数w、b每迭代训练机器学习模型K次后更新一次。
3、采集工业5G网络内所有工业设备在不同时隙的状态、动作、奖励信息，训练机器学习模型，其中，工业设备的状态信息、动作信息、奖励信息，包括：
(1)工业设备n(n∈N)在时隙t(t∈T)的状态向量
Figure BDA0002483782420000103
其中
Figure BDA0002483782420000104
表示工业设备n在时隙t时传输不同类型业务j所需的发送功率，是大小为J的向量，即
Figure BDA0002483782420000105
需要满足能耗约束；
Figure BDA0002483782420000106
表示工业设备n在时隙t准备发送的不同类型业务j的数据包的数量，是大小为J的向量,即
Figure BDA0002483782420000107
要满足吞吐量约束；
Figure BDA0002483782420000108
表示工业设备n在时隙t的各个资源块e的增益，是大小为E的向量，即
Figure BDA0002483782420000109
Figure BDA00024837824200001010
表示工业设备n在时隙t时不同类型业务j的优先级p(p∈P)，是动态变化的；ackn(t)表示工业设备n在时隙t结束业务是否发送成功，如果ackn(t)＝0，表示工业设备n在时隙t发送业务失败；如果ackn(t)＝1，表示工业设备n在时隙t发送业务成功；
(2)工业设备n在时隙t的动作向量
Figure BDA0002483782420000111
其中
Figure BDA0002483782420000112
是工业设备n在时隙t被分配的资源块e的增益；
Figure BDA0002483782420000113
是工业设备n在时隙t选择传输的业务j的数据包的数量；
Figure BDA0002483782420000114
是工业设备n在时隙t传输业务j的发送功率；
(3)工业设备n在时隙t的奖励向量rn(t)＝[rn(t)]，其中rn(t)表示工业设备n在时隙t结束获得的奖励，奖励值与业务传输是否成功、当前时隙的数据包的业务类型及业务优先级相关。如果工业设备n在时隙t发送业务失败，工业设备n获得的奖励为负值；如果工业设备n在时隙t发送业务成功，发送业务的优先级和实时性、可靠性传输要求越高，工业设备n获得的奖励越高,为正值。
4、采集工业5G网络内工业设备在不同时隙的状态、动作、奖励信息，训练机器学习模型，其中，训练过程包括：
a.将工业设备n时隙t状态向量
Figure BDA0002483782420000115
输入评估网络，设定概率ε，根据ε-greedy算法选择动作向量，以概率ε随机选择动作向量，或者以概率1-ε选择获得估值函数最大(即
Figure BDA0002483782420000116
的动作向量；
b.根据动作向量an(t)计算获得的奖励rn(t)；
c.根据工业设备n在时隙t的状态向量sn(t)和动作向量an(t)，获得工业设备n下一时隙t+1的状态向量s'n(t+1)，将s'n(t+1)输入目标网络获得
Figure BDA0002483782420000117
以及目标估值函数
Figure BDA0002483782420000118
存储<sn(t),an(t),rn(t),s'n(t+1)>作为经验池经验；每个时隙的<sn(t),an(t),rn(t),s'n(t+1)>作为一个经验；
d.从经验池中使用经验回放法随机抽取M个经验，计算每个经验的Qtarget和
Figure BDA0002483782420000121
并根据均方误差损失函数
Figure BDA0002483782420000122
和梯度下降
Figure BDA0002483782420000123
更新评估网络参数，其中η表示神经网络学习速率，θ(t)表示时隙t的神经网络超参数。重复迭代K次评估网络后，复制评估网络参数给目标网络；
e.重复迭代a～d直至均方误差损失函数收敛。
5、循环评估不同业务的丢包率、端到端时延、吞吐量、能耗等指标，训练神经网络模型直至满足性能要求包括：
(1)丢包率定义为单位时间内,同一类型业务待发送数据包与已发送的数据包的差与待发送数据包的比值，用于衡量业务传输可靠性，丢包率越低，传输可靠性越高，反之传输可靠性越低；
(2)端到端时延定义为同一类型业务的传输数据包所需的传播时延、传输时延、排队时延和硬件时延之和,用于衡量业务传输实时性。其中传播时延为电磁波从一个工业设备发送端到另一个工业设备接收端所经历的时延，与传输介质相关；传输时延为从数据包的第一个比特被发送到最后一个比特被发送所经历的时延，与链路带宽相关；排队时延为数据包到达工业设备到离开工业设备所经历的时延，与资源分配算法相关；硬件时延为工业设备的硬件性能造成的时延，与硬件性能相关；
(3)吞吐量定义为单位时间内同一类型业务的成功传输的数据包的比特数，用于衡量资源块能够提供的最大传输业务量，对于要求传输速率高的业务，高吞吐量能够保证业务的有效传输；
(4)能耗定义为不同类型业务传输所需的能量消耗之和，当工业设备分配到资源块发送业务，不同类型业务传输所需能耗不同，用于衡量能耗约束；
(5)URLLC业务要求高可靠低时延传输，需要满足严格的端到端时延和丢包率约束；eMBB业务要求传输的高带宽，需要高吞吐量传输保证；mMTC业务要求海量设备稳定接入，需要限制设备能耗减少对URLLC和eMBB业务的干扰；
(6)判断丢包率、端到端时延、吞吐量、能耗，是否满足具体系统模型下不同类型业务的性能要求，如果满足，模型训练完成，否则，继续训练模型直至满足性能要求。
6、以当前时隙工业5G网络内所有工业设备的状态信息作为神经网络模型输入，对所有工业设备多个不同类型并发业务进行资源分配包括：
(1)收集当前时隙t工业5G网络内的所有N个工业设备的状态向量
Figure BDA0002483782420000131
输入至训练好的机器学习模型，得到输出动作向量
Figure BDA0002483782420000132
(2)根据得到的输出动作向量，工业基站集中为不同工业设备的不同业务分配资源。

Claims (10)

1.面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，对于包括工业基站、计算节点和多个工业设备的工业5G网络，通过训练机器学习模型，对工业5G网络中所有工业设备多个不同类型并发业务进行资源分配，包括以下步骤：
1)建立用于多工业设备并发多业务工业5G网络的动态资源分配的机器学习模型；
2)采集工业5G网络内所有工业设备在不同时隙的状态、动作、奖励信息，训练机器学习模型；
3)采集当前时隙工业5G网络内所有工业设备的状态信息作为机器学习模型输入，根据训练好的机器学习模型，对所有工业设备多个不同类型并发业务进行资源分配。
2.根据权利要求1所述的面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，所述工业5G网络包括：1台工业基站，1个计算节点，以及N个工业设备；
所述计算节点，用于建立并训练机器学习模型；
所述工业基站，与计算节点通过网络相连接，从计算节点下载训练后的机器学习模型，用于调度不同工业设备及其传输业务的资源分配；
所述工业设备，包括工业控制类设备、工业音视频采集播放类设备、工业感知监测类设备，用于产生不同传输要求的工业业务数据，以保障工业生产的安全有效运行。
3.根据权利要求1所述的面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，对于工业5G网络，建立工业5G网络模型，包括：工业5G网络覆盖范围及其范围内的工业设备数量N、资源块数量E、业务类型数量J、业务优先级P。
4.根据权利要求1所述的面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，所述业务类型包括：工业控制类业务、工业音视频类业务、工业过程感知类业务。
5.根据权利要求1所述的面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，所述建立用于多工业设备并发多业务工业5G网络的动态资源分配的机器学习模型，包括以下步骤：
建立评估网络和目标网络两个结构相同参数不同的深度神经网络模型，神经网络参数params＝[Lin,Lrnn,Lfc,Lout,w,b]，其中，Lin表示输入层神经元个数，Lrnn表示循环神经网络层神经元个数，Lfc表示全连接层神经元个数，Lout表示输出层神经元个数,w表示权重，b表示偏置；
其中，评估网络用于获得工业设备n(n∈N)当前状态向量sn的动作向量an的估值函数Q(sn,an)；目标网络用于选择工业设备n的下一个状态向量s'n的最大动作向量a'n的估值函数
Figure FDA0002483782410000021
利用强化学习的Q-learning更新方法
Figure FDA0002483782410000022
更新评估网络参数w、b，α表示学习速率，γ表示折扣比例，rn表示工业设备n在当前状态sn执行动作向量an获得的奖励；
目标网络的初始化参数与评估网络的初始化参数相同，评估网络的参数w、b每次迭代训练机器学习模型后进行更新，目标网络的参数w、b每迭代训练机器学习模型K次后更新一次。
6.根据权利要求1所述的面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，所述工业设备的状态、动作、奖励信息包括：
工业设备n(n∈N)在时隙t(t∈T)的状态向量
Figure FDA0002483782410000031
其中
Figure FDA0002483782410000032
表示工业设备n在时隙t传输不同类型业务j(j∈J)所需的发送功率；
Figure FDA0002483782410000033
表示工业设备n在时隙t准备发送的不同类型业务j的数据包的数量；
Figure FDA0002483782410000034
表示工业设备n在时隙t的各个资源块e(e∈E)上的增益；
Figure FDA0002483782410000035
表示工业设备n在时隙t时不同类型业务j的优先级p(p∈P)；ackn(t)表示工业设备n在时隙t结束业务是否发送成功；
工业设备n在时隙t的动作向量
Figure FDA0002483782410000036
其中
Figure FDA0002483782410000037
是工业设备n在时隙t被分配的资源块e的增益；
Figure FDA0002483782410000038
是工业设备n在时隙t选择传输的业务j的数据包的数量；
Figure FDA0002483782410000039
是工业设备n在时隙t传输业务j的发送功率；
工业设备n在时隙t的奖励向量rn(t)＝[rn(t)]，其中rn(t)表示工业设备n在时隙t结束时获得的奖励。
7.根据权利要求1所述的面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，所述训练机器学习模型，包括以下步骤：
a.将工业设备n时隙t状态向量
Figure FDA00024837824100000310
输入评估网络，设定概率ε，根据ε-greedy算法选择动作向量：以概率ε随机选择动作向量，或者以概率1-ε选择获得估值函数最大即
Figure FDA0002483782410000041
的动作向量；
b.根据动作向量an(t)计算获得的奖励rn(t)；
c.根据工业设备n时隙t的状态向量sn(t)和动作向量an(t)，获得工业设备n下一时隙t+1的状态向量s'n(t+1)，将s'n(t+1)输入目标网络获得
Figure FDA0002483782410000042
以及目标估值函数
Figure FDA0002483782410000043
存储<sn(t),an(t),rn(t),s'n(t+1)>作为经验池经验；每个时隙的<sn(t),an(t),rn(t),s'n(t+1)>作为一个经验；
d.从经验池中使用经验回放法随机抽取M个经验，计算每个经验的Qtarget和
Figure FDA0002483782410000044
并根据均方误差损失函数
Figure FDA0002483782410000045
和梯度下降
Figure FDA0002483782410000046
更新评估网络参数w、b，其中η表示神经网络学习速率，θ(t)表示时隙t的神经网络超参数；重复迭代K次评估网络后，复制评估网络参数w、b给目标网络参数w、b；
e.重复迭代a～d直至均方误差损失函数收敛，此时得到的评估网络作为训练后的机器学习模型。
8.根据权利要求1所述的面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，得到训练的机器学习模型后，对该机器学习模型进行优化：
采集工业5G网络内所有工业设备的历史时隙的状态信息，通过该机器学习模型得到资源分配结果，当该分配结果的网络性能符合要求时，即对于不同类型业务，丢包率、端对端时延、吞吐量、能耗均小于对应业务的网络性能指标，则该机器学习模型作为最终的训练后的机器学习模型，用于进行最终的并发业务资源分配；
否则，重复权利要求1中的步骤1)-2)，直到机器学习模型符合要求为止。
9.根据权利要求8所述的面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，所述网络性能指标包括：
丢包率，为单位时间内,同一类型业务待发送数据包与已发送的数据包的差与待发送数据包的比值；
端到端时延，为同一类型业务的数据包传输所需的传播时延、传输时延、排队时延和硬件时延之和；其中，传播时延为电磁波从一个工业设备发送端到另一个工业设备接收端所经历的时延；传输时延为从数据包的第一个比特被发送到最后一个比特被发送所经历的时延；排队时延为数据包到达工业设备到离开工业设备所经历的时延；硬件时延为工业设备的硬件性能造成的时延；
吞吐量，为单位时间内同一类型业务成功传输的数据包的比特数；
能耗，为不同类型业务传输所需的能量消耗之和。
10.根据权利要求1所述的面向高并发多业务工业5G网络的动态资源分配方法，其特征在于，所述步骤3包括：
收集当前时隙t工业5G网络内的所有N个工业设备的状态向量
Figure FDA0002483782410000051
输入至训练好的机器学习模型，得到输出动作向量
Figure FDA0002483782410000052
根据得到的输出动作向量，工业基站为不同工业设备的不同业务分配资源。
CN202010385842.9A 2020-05-09 2020-05-09 面向高并发多业务工业5g网络的动态资源分配方法 Active CN111629380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010385842.9A CN111629380B (zh) 2020-05-09 2020-05-09 面向高并发多业务工业5g网络的动态资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010385842.9A CN111629380B (zh) 2020-05-09 2020-05-09 面向高并发多业务工业5g网络的动态资源分配方法

Publications (2)

Publication Number Publication Date
CN111629380A true CN111629380A (zh) 2020-09-04
CN111629380B CN111629380B (zh) 2023-07-18

Family

ID=72272673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010385842.9A Active CN111629380B (zh) 2020-05-09 2020-05-09 面向高并发多业务工业5g网络的动态资源分配方法

Country Status (1)

Country Link
CN (1) CN111629380B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752344A (zh) * 2020-12-28 2021-05-04 北京邮电大学 一种超可靠低延迟通信资源分配方法、装置及电子设备
CN113453236A (zh) * 2021-06-25 2021-09-28 西南科技大学 面向URLLC与eMBB混合业务的频率资源分配方法
CN113490184A (zh) * 2021-05-10 2021-10-08 北京科技大学 一种面向智慧工厂的随机接入资源优化方法及装置
CN113543156A (zh) * 2021-06-24 2021-10-22 中国科学院沈阳自动化研究所 基于多智能体深度强化学习的工业无线网络资源分配方法
CN114268985A (zh) * 2021-11-26 2022-04-01 中国联合网络通信集团有限公司 5g专网的质量评估方法、装置、电子设备及存储介质
CN114599117A (zh) * 2022-03-07 2022-06-07 中国科学院微小卫星创新研究院 低轨卫星网络随机接入中回退资源的动态配置方法
CN114727422A (zh) * 2022-03-07 2022-07-08 中国科学院微小卫星创新研究院 低轨卫星网络随机接入中信道资源的动态配置方法
WO2022247739A1 (zh) * 2021-05-27 2022-12-01 华为技术有限公司 一种数据传输方法和相关装置
WO2022250604A1 (en) * 2021-05-28 2022-12-01 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for controlling one or more transmission parameters used by a wireless communication network for a population of devices comprising a cyber-physical system
WO2023082692A1 (zh) * 2021-11-09 2023-05-19 云南电网有限责任公司 一种基于业务感知的转接设备低功耗控制方法及转接设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108966352A (zh) * 2018-07-06 2018-12-07 北京邮电大学 基于深度增强学习的动态波束调度方法
CN110493826A (zh) * 2019-08-28 2019-11-22 重庆邮电大学 一种基于深度强化学习的异构云无线接入网资源分配方法
US20200134445A1 (en) * 2018-10-31 2020-04-30 Advanced Micro Devices, Inc. Architecture for deep q learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108966352A (zh) * 2018-07-06 2018-12-07 北京邮电大学 基于深度增强学习的动态波束调度方法
US20200134445A1 (en) * 2018-10-31 2020-04-30 Advanced Micro Devices, Inc. Architecture for deep q learning
CN110493826A (zh) * 2019-08-28 2019-11-22 重庆邮电大学 一种基于深度强化学习的异构云无线接入网资源分配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王威丽;何小强;唐伦;: "5G网络人工智能化的基本框架和关键技术", 中兴通讯技术, vol. 24, no. 02, pages 38 - 42 *
马敏;李威;陈洁;: "基于机器学习的细分业务用户感知评估方法", 电信工程技术与标准化, no. 05 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752344A (zh) * 2020-12-28 2021-05-04 北京邮电大学 一种超可靠低延迟通信资源分配方法、装置及电子设备
CN112752344B (zh) * 2020-12-28 2022-05-13 北京邮电大学 一种超可靠低延迟通信资源分配方法、装置及电子设备
CN113490184A (zh) * 2021-05-10 2021-10-08 北京科技大学 一种面向智慧工厂的随机接入资源优化方法及装置
CN113490184B (zh) * 2021-05-10 2023-05-26 北京科技大学 一种面向智慧工厂的随机接入资源优化方法及装置
WO2022247739A1 (zh) * 2021-05-27 2022-12-01 华为技术有限公司 一种数据传输方法和相关装置
WO2022250604A1 (en) * 2021-05-28 2022-12-01 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for controlling one or more transmission parameters used by a wireless communication network for a population of devices comprising a cyber-physical system
CN113543156A (zh) * 2021-06-24 2021-10-22 中国科学院沈阳自动化研究所 基于多智能体深度强化学习的工业无线网络资源分配方法
CN113543156B (zh) * 2021-06-24 2022-05-06 中国科学院沈阳自动化研究所 基于多智能体深度强化学习的工业无线网络资源分配方法
CN113453236A (zh) * 2021-06-25 2021-09-28 西南科技大学 面向URLLC与eMBB混合业务的频率资源分配方法
CN113453236B (zh) * 2021-06-25 2022-06-21 西南科技大学 面向URLLC与eMBB混合业务的频率资源分配方法
WO2023082692A1 (zh) * 2021-11-09 2023-05-19 云南电网有限责任公司 一种基于业务感知的转接设备低功耗控制方法及转接设备
CN114268985A (zh) * 2021-11-26 2022-04-01 中国联合网络通信集团有限公司 5g专网的质量评估方法、装置、电子设备及存储介质
CN114268985B (zh) * 2021-11-26 2024-02-13 中国联合网络通信集团有限公司 5g专网的质量评估方法、装置、电子设备及存储介质
CN114727422B (zh) * 2022-03-07 2023-01-10 中国科学院微小卫星创新研究院 低轨卫星网络随机接入中信道资源的动态配置方法
CN114599117B (zh) * 2022-03-07 2023-01-10 中国科学院微小卫星创新研究院 低轨卫星网络随机接入中回退资源的动态配置方法
CN114727422A (zh) * 2022-03-07 2022-07-08 中国科学院微小卫星创新研究院 低轨卫星网络随机接入中信道资源的动态配置方法
CN114599117A (zh) * 2022-03-07 2022-06-07 中国科学院微小卫星创新研究院 低轨卫星网络随机接入中回退资源的动态配置方法

Also Published As

Publication number Publication date
CN111629380B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
WO2021227508A1 (zh) 基于深度强化学习的工业5g动态多优先级多接入方法
CN109947545B (zh) 一种基于用户移动性的任务卸载及迁移的决策方法
CN111711666B (zh) 一种基于强化学习的车联网云计算资源优化方法
Tam et al. Adaptive resource optimized edge federated learning in real-time image sensing classifications
Pan et al. Deep reinforcement learning-based URLLC-aware task offloading in collaborative vehicular networks
Nguyen et al. DRL‐based intelligent resource allocation for diverse QoS in 5G and toward 6G vehicular networks: a comprehensive survey
WO2023179010A1 (zh) 一种noma-mec系统中的用户分组和资源分配方法及装置
CN112637883A (zh) 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
EP4024212A1 (en) Method for scheduling interference workloads on edge network resources
CN115580891B (zh) 基于联邦学习的流量预测模型训练方法、预测方法和装置
Alsulami et al. A federated deep learning empowered resource management method to optimize 5G and 6G quality of services (QoS)
CN114298178A (zh) 一种多智能体的通信学习方法
CN116848828A (zh) 机器学习模型分布
Ganjalizadeh et al. Interplay between distributed AI workflow and URLLC
CN113271221A (zh) 网络能力开放方法、系统及电子设备
CN116916272A (zh) 基于自动驾驶汽车网络的资源分配和任务卸载方法及系统
Bhattacharyya et al. QFlow: A learning approach to high QoE video streaming at the wireless edge
CN116827515A (zh) 一种基于区块链和强化学习的雾计算系统性能优化算法
CN117580063A (zh) 一种车联网络中多维资源协同管理方法
Meng et al. Intelligent routing orchestration for ultra-low latency transport networks
Ren et al. Joint spectrum allocation and power control in vehicular communications based on dueling double DQN
CN115756873A (zh) 一种基于联邦强化学习的移动边缘计算卸载方法和平台
Li et al. A Lightweight Transmission Parameter Selection Scheme Using Reinforcement Learning for LoRaWAN
CN115086992A (zh) 一种分布式语义通信系统以及带宽资源分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant