CN116781520A - 一种切片无线资源配置方法、装置及存储介质 - Google Patents
一种切片无线资源配置方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116781520A CN116781520A CN202210220131.5A CN202210220131A CN116781520A CN 116781520 A CN116781520 A CN 116781520A CN 202210220131 A CN202210220131 A CN 202210220131A CN 116781520 A CN116781520 A CN 116781520A
- Authority
- CN
- China
- Prior art keywords
- slice
- network
- performance
- state
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013468 resource allocation Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000002787 reinforcement Effects 0.000 claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 143
- 230000009471 action Effects 0.000 claims description 56
- 238000010801 machine learning Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000007726 management method Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 208000001613 Gambling Diseases 0.000 claims description 9
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 8
- 238000007637 random forest analysis Methods 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 2
- 230000007787 long-term memory Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 238000007781 pre-processing Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 101100194706 Mus musculus Arhgap32 gene Proteins 0.000 description 2
- 101100194707 Xenopus laevis arhgap32 gene Proteins 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种切片无线资源配置方法、装置及存储介质，包括：对网络和/或切片的状态和/或性能进行预测和/或分析；根据预测结果和/或分析结果进行切片资源配置。采用本发明，能够解决强化学习收敛速度慢的问题，实现动态的切片资源配置。同时匹配切片性能需求，提高切片SLA保证率；实现了切片资源基于网络环境的动态自适应。
Description
技术领域
本发明涉及通信技术领域，特别涉及一种切片无线资源配置方法、装置及存储介质。
背景技术
网络切片基于软定义网络与网络功能虚拟化技术，将相同物理网络抽象成若干定制化传输通道，以赋能5G千行百业中具有差异化传输需求的多元数字业务。其中，如何动态配置无线接入网切片资源是保障业务SLA(服务等级协议，Service Level Agreement)需求的关键。
RAN(无线接入网络，Radio Access Network)切片资源配置方法主要分为基于模型的配置方法、非基于优化算法的方法，以及基于强化学习的智能配置方法。目前，基于模型的最优化方法广泛应用于RAN切片问题，可以在简化的网络统计模型下有效管理小规模网络。现有工作主要将RAN切片问题建模成最优化问题，以最大化网络性能/运营商收益为目标，满足特定切片的QoS(服务质量，Quality of Service)限制。另外，非基于优化模型的切片资源配置方法主要根据业务吞吐量比例分配切片资源，或平均分配切片资源，该类方法易于实现，但自适应能力较弱。为提高切片资源配置方法对复杂业务流量模式与差异化传输需求的自适应能力，近年来基于强化学习的智能切片资源配置方法受到广泛关注。该方法主要以最大化网络资源利用率为奖励，以网络资源配置数量为动作，通过与网络环境进行闭环交互，从而逐步提高累积奖励值。基于强化学习的切片资源配置方法可自动适应多元业务需求与网络环境，以满足业务动态传输需求。
现有技术的不足在于：基于强化学习的动态资源配置方法会出现因无法预知网络性能状态，算法收敛速度慢，无法快速提供切片配置决策的问题。
发明内容
本发明提供了一种切片无线资源配置方法、装置及存储介质，用以解决基于强化学习的动态资源配置方法会出现因无法预知网络性能状态，算法收敛速度慢，无法快速提供切片配置决策的问题。
本发明提供以下技术方案：
一种切片无线资源配置方法，包括：
对网络和/或切片的状态和/或性能进行预测和/或分析；
根据预测结果和/或分析结果进行切片资源配置。
实施中，根据预测结果和/或分析结果进行切片资源配置，包括：
根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；
采用强化学习算法对第一切片资源配置进行第二切片资源配置。
实施中，根据采集的切片网络数据按第一切片资源配置模型确定第一切片资源预配置前，对网络和/或切片进行预测包括：
根据采集的网络的状态和/或性能数据对网络和/或切片的状态和/或性能进行预测和/或分析；
根据采集的切片状态和/或性能数据对切片状态和/或性能进行预测和/或分析；
根据切片性能的预测和/或分析结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；
在不符合业务需求时，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。
实施中，采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：
从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。
实施中，进一步包括：
使用以下方式之一或者其组合将网络状态和/性能数据处理为切片状态和/或性能数据：
均值计算、状态参数归一化、状态参数规范化。
实施中，根据采集的切片和/或网络的状态和/或性能数据采用以下机器学习预测算法之一或者其组合对网络的状态和/或性能进行预测：LSTM算法、决策树算法、支持向量机、随机森林、CNN算法、DNN算法。
实施中，统计网络和/或切片性能，是统计以下网络和/或切片性能参数之一或者其组合：
吞吐量、时延、误码率、丢包率。
实施中，确定当前切片性能是否符合业务需求，是通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。
实施中，基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型，是基于以下算法之一或者其组合训练获得的：DNN算法、LSTM算法、RNN算法、CNN算法。
实施中，第一切片资源配置是UE级和/或业务级和/或切片级的PRB数量分配。
实施中，强化学习算法为以下算法之一或者其组合：
多臂赌博机算法、Q-learning。
实施中，采用强化学习算法对第一切片资源配置进行第二切片资源配置，是通过模型不确定性计算生成配置动作空间的。
实施中，通过模型不确定性计算生成配置动作空间，是通过计算深度学习模型预测值的抖动来计算生成配置动作空间的。
实施中，配置动作选择是依据切片SLA保证率最大化原则，从配置动作空间选择切片资源配置结果。
实施中，基站根据切片资源配置结果进行无线资源配置，配置结果是以下方式之一：
UE级和/或业务级和/或切片级的PRB资源数量。
一种切片无线资源配置装置，包括：
处理器，用于读取存储器中的程序，执行下列过程：
对网络和/或切片的状态和/或性能进行预测和/或分析；
根据预测结果和/或分析结果进行切片资源配置；
收发机，用于在处理器的控制下接收和发送数据。
实施中，根据预测结果和/或分析结果进行切片资源配置，包括：
根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；
采用强化学习算法对第一切片资源配置进行第二切片资源配置。
实施中，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置前，对网络和/或切片的状态和/或性能进行预测和/或分析包括：
根据采集的网络的状态和/或性能数据对网络和/或切片的状态和/或性能进行预测和/或分析；
根据采集的切片状态和/或性能数据对切片状态和/或性能进行预测和/或分析；
根据切片性能的预测和/或分析结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；
在不符合业务需求时，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。
实施中，采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：
从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。
实施中，进一步包括：
使用以下方式之一或者其组合将网络状态和/性能数据处理为切片状态和/或性能数据：
均值计算、状态参数归一化、状态参数规范化。
实施中，根据采集的切片和/或网络的状态和/或性能数据采用以下机器学习预测算法之一或者其组合对网络的状态和/或性能进行预测：LSTM算法、决策树算法、支持向量机、随机森林、CNN算法、DNN算法。
实施中，统计网络和/或切片性能，是统计以下网络和/或切片性能参数之一或者其组合：
吞吐量、时延、误码率、丢包率。
实施中，确定当前切片性能是否符合业务需求，是通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。
实施中，基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型，是基于以下算法之一或者其组合训练获得的：DNN机器学习算法、LSTM算法、RNN算法、CNN算法。
实施中，第一切片资源预配置是UE级和/或业务级和/或切片级的PRB数量分配。
实施中，强化学习算法为以下算法之一或者其组合：
多臂赌博机算法、Q-learning。
实施中，采用强化学习算法对第一切片资源配置进行第二切片资源配置，是通过模型不确定性计算生成配置动作空间的。
实施中，通过模型不确定性计算生成配置动作空间，是通过计算深度学习模型预测值的抖动来计算生成配置动作空间的。
实施中，配置动作选择是依据切片SLA保证率最大化原则，从配置动作空间选择切片资源配置结果。
一种切片无线资源配置装置，包括：
预测和分析单元，用于对网络和/或切片的状态和/或性能进行预测和/或分析；
配置单元，用于根据预测结果和/或分析结果进行切片资源配置。
实施中，配置单元包括：
第一配置模块，用于根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；
第二配置模块，用于采用强化学习算法对第一切片资源配置进行第二切片资源配置。
实施中，预测和分析单元包括：
预判断模块，用于根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置前，根据采集的切片和/或网络的状态和/或性能数据对切片和/或网络的状态和/或性能进行预测，统计切片性能；
根据切片性能统计结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；
在不符合业务需求时，触发第一配置模块根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。
实施中，预判断模块进一步用于采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：
从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。
实施中，预判断模块进一步用于使用以下方式之一或者其组合将网络状态和/性能数据处理为切片状态和/或性能数据：
均值计算、状态参数归一化、状态参数规范化。
实施中，预判断模块进一步用于根据采集的切片和/或网络的状态和/或性能数据采用以下机器学习预测算法之一或者其组合对网络的状态和/或性能进行预测：LSTM算法、决策树算法、支持向量机、随机森林、CNN算法、DNN算法。
实施中，预判断模块进一步用于统计以下切片和/或网络的性能参数之一或者其组合统计网络和/或切片性能：
吞吐量、时延、误码率、丢包率。
实施中，预判断模块进一步用于通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。
实施中，第一配置模块进一步用于基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型时，基于以下算法之一或者其组合训练获得的：DNN算法、LSTM算法、RNN算法、CNN算法。
实施中，第一配置模块进一步用于第一切片资源预配置是UE级和/或业务级和/或切片级的PRB数量分配。
实施中，第二配置模块进一步用于强化学习算法为以下算法之一或者其组合：
多臂赌博机算法、Q-learning。
实施中，第二配置模块进一步用于在采用强化学习算法对第一切片资源配置进行第二切片资源配置时，通过模型不确定性计算生成配置动作空间。
实施中，第二配置模块进一步用于通过模型不确定性计算生成配置动作空间时，通过计算深度学习模型预测值的抖动来计算生成配置动作空间。
实施中，第二配置模块进一步用于在配置动作选择时，配置动作选择是依据切片SLA保证率最大化原则，从配置动作空间选择切片资源配置结果。
实施中，基站根据切片资源配置结果进行无线资源配置，配置结果是以下方式之一：
UE级和/或业务级和/或切片级的PRB资源数量。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述切片无线资源配置方法。
本发明有益效果如下：
在本发明实施例提供的技术方案中，由于会主动去对网络和/或切片的状态和/或性能进行预测和/或分析；然后才根据预测结果和/或分析结果进行切片资源配置，也即，主动感知网络、切片后，再来进行配置，切片资源基于网络环境的动态自适应，因此能根据网络性能状态，快速提供切片配置决策，同时匹配切片性能需求，提高切片SLA保证率。
进一步的，将切片资源配置分为两个阶段：预配置以及重配置，该方案以降低在线学习(如强化学习)算法计算复杂度为目标，在切片资源预配置阶段，基于AI算法挖掘长期切片配置经验与无线环境和切片需求的对应关系来进行预配置；在切片资源重配置阶段，基于强化学习等在线学习方法，实现动态的切片资源配置。而强化学习是实现切片资源动态配置的优先手段，但其收敛速度受限。所以，切片资源的预配置旨在保障强化学习模型有效搜索最优解(满足模型的探索需求)的前提下，解决强化学习收敛速度慢的问题，实现动态的切片资源配置。
进一步的，由于还可以基于网络状态和切片性能感知的切片资源配置方案的输入，该输入值包含网络状态预测值、切片性能统计值、切片性能判决结果。上述三类数据的输入有利于切片资源配置模块对短期网络环境和切片性能变化的响应，同时匹配切片性能需求，以提高切片SLA保证率；
进一步的，针对用户持续移动的场景，不能预知网络性能状态的问题，增加网络状态预测判断，从而实现了切片资源基于网络环境的动态自适应。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中切片无线资源配置方法实施流程示意图；
图2为本发明实施例中RAN切片资源动态配置方法基本流程示意图；
图3为本发明实施例中RAN切片资源动态配置方案框架示意图；
图4为本发明实施例中eMBB业务切片流量及SINR预测模型示意图；
图5为本发明实施例中重配置动作空间生成流程示意图；
图6为本发明实施例中切片无线资源配置装置结构示意图。
具体实施方式
发明人在发明过程中注意到：
在无线接入网切片资源配置方法中，存在如下问题：
1)基于模型的配置方法依赖先验业务流量模型来建立最优化模型，但是优化模型难以收敛，不适合应用于流量模型复杂未知、网络规模较大的情况；
2)非基于优化模型的切片资源配置方法通过业务吞吐量比例分配资源或者平均分配切片资源，该类方法易于实现，但难以动态感知不同业务的差异化传输需求与变化的网络信道环境；
3)基于强化学习的切片资源配置方法对流量模型与多元业务需求的自适应能力强。但当前基于强化学习的动态资源配置方法难以感知网络性能，且模型收敛速度慢。针对用户持续移动的场景，网络状态随用户移动而变化，需要提前感知网络性能变化。同时对于用户持续移动的场景，当前强化学习方法难以满足快速模型收敛的要求。
基于此，本发明实施例提供的技术方案中，针对用户持续移动的场景，通过网络和切片性能感知，以及采用切片资源预配置与切片资源重配置的分级智能配置方法，来确定最优切片配置，解决基于强化学习的RAN切片配置方法中无法预知网络性能状态，算法收敛速度慢、无法快速提供切片配置决策的问题。
为了实现具有网络感知能力的动态RAN切片资源配置，对于本发明实施例中提供的基于机器学习算法的RAN切片资源动态配置方案，下面结合附图对本发明的具体实施方式进行说明。
图1为切片无线资源配置方法实施流程示意图，如图所示，可以包括：
步骤101、对网络和/或切片的状态和/或性能进行预测和/或分析；
步骤102、根据预测结果和/或分析结果进行切片资源配置。
实施中，根据预测结果和/或分析结果进行切片资源配置，包括：
根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；
采用强化学习算法对第一切片资源配置进行第二切片资源配置。
具体的，本方案是基于分级智能的RAN切片资源配置方案，该方案以降低在线学习(如强化学习)算法计算复杂度为目标，包含切片资源预配置与切片资源重配置两个阶段。在切片资源预配置阶段，基于AI(人工智能，Artificial Intelligence)算法挖掘长期切片配置经验与无线环境和切片需求的对应关系；在切片资源重配置阶段，基于强化学习等在线学习方法，实现动态的切片资源配置。
实施中，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置前，对网络和/或切片的状态和/或性能进行预测和/或分析包括：
根据采集的网络的状态和/或性能数据对网络和/或切片的状态和/或性能进行预测和/或分析；
根据采集的切片状态和/或性能数据对切片状态和/或性能进行预测和/或分析；
根据切片性能的预测和/或分析结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；
在不符合业务需求时，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。
下面结合实例来进行说明。
图2为RAN切片资源动态配置方法基本流程示意图，图3为RAN切片资源动态配置方案框架示意图，如图所示，本方案基于机器学习算法实现网络性能感知和切片资源的动态配置，方案总体分为三部分，如图2所示。方案总体框架如图3所示。
其中，图2中的第一部分对应图3中的“数据采集与预处理模块”；图2中的第二部分对应图3中的“网络和切片的状态和性能预测与分析”；图2中的第三部分对应图3中的“切片资源预配置模块”和“切片资源重配置模块”。图中，命名为数据采集与预处理模块、网络和切片的状态和性能预测与分析、切片资源预配置模块、切片资源重配置模块仅仅是为了便于说明，并不意味仅能由该名称的模块来实施。
下面对具体实施说明如下：
一：数据采集与预处理。
实施中，采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：
从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。
如图3，数据采集与预处理模块：
1)从基站采集切片资源配置数据，如切片级和/或业务级和/或UE级的分配PRB(物理资源块，Physical Resource block)数量；
2)从基站采集网络的状态和/或性能数据，如覆盖类的数据，上行和/或下行SINR(信号与干扰和噪声比，Signal to Interference plus Noise Ratio)；可靠性类的数据，上行和/或下行CQI(信道质量指示，Channel quality indicator)、上行和/或下行MCS(调制和编码方案，Modulation and coding scheme)；网络质量类的数据，上行和/或下行上行流量、上行和/或下行速率、上行和/或下行时延、上行和/或下行丢包率；资源配置类的数据，上行和/或下行PRB资源利用率等，表征网络的状态和/或性能的参数；
3)从基站采集切片状态和/或性能数据；
4)从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取无线网切片SLA参数，如从SMO(服务管理和编排，Service Management and Orchestration)、NSSMF(网络切片子网管理功能，Network Slice Subnet Management Function)、Non-RT RIC(非实时RAN智能控制器，Non-real-time RAN Intelligent Controller)获取，如切片上行和/或下行专用PRB分配百分比、切片上行和/或下行最大PRB分配百分比、每UE每切片下行和/或上行最大PRB分配百分比、每切片指示资源共享余量、每切片优先级值、切片的授权配置、切片的LCID(逻辑信道标识，Logical Channel ID)配置、切片的调度请求、切片的半持续性调度配置、切片的上行和/或下行吞吐量、切片的上行和/或下行时延、切片的上行和/或下行误码率、切片的上行和/或下行丢包率等。
实施中，还可以进一步包括：
使用以下方式之一或者其组合将网络的状态和/或性能数据处理为切片状态和/或性能数据：
均值计算、状态参数归一化、状态参数规范化。
具体的，网络的状态和/或性能数据可以被进一步预处理为切片状态和/或性能数据，预处理方法包括均值计算、状态参数归一化与规范化，或者实现UE(用户设备，UserEquipment)级和/或业务级和/或切片级的统计等。
实施例：
数据采集与预处理功能可部署于Non-RT RIC。Non-RT RIC可执行以下操作：
a)从SMO或NSSMF获取RAN切片SLA目标；
b)通过O1接口，从基站获取网络和切片的状态和性能数据，从基站获取切片资源配置信息。
二：网络和切片的状态和性能预测与分析。
如图3，网络和切片的状态和性能预测与分析模块具有网络的状态和/或性能预测和/或分析、切片状态和/或性能预测和/或分析、切片性能判决的功能。具体可以如下：
1)网络(切片)状态(性能)预测。
实施中，根据采集的网络(或切片)状态(或性能)数据采用以下机器学习预测算法之一或者其组合对网络(或切片)状态(或性能)进行预测：LSTM算法、决策树算法、支持向量机、随机森林、CNN算法、DNN算法。
如图3，网络(或切片)状态(或性能)预测功能接收数据采集与预处理模块发送的网络(或切片)状态(或性能)参数，进行网络(或切片)状态(或性能)的预测。预测方法可以采用机器学习算法，如LSTM(长短期记忆，Long short-term memory)、决策树算法、支持向量机、随机森林、CNN(卷积神经网络)算法、DNN(深度神经网络，Deep Neural Networks)算法等。
实施例：
网络状态预测模块可以针对不同类型(移动增强带宽业务eMBB(增强型移动互联网，Enhanced Mobile Broadband)切片，大规模机器通信业务mMTC(海量连接的物联网，Massive Machine Type Communication)切片和超低时延超高可靠业务URLLC(超高可靠性与超低时延，Ultra Reliable&Low Latency Communication)切片)的切片和/业务类型基于LSTM预测算法，实现小区级、UE级、切片级的流量、信道质量、数据缓存等的预测。
在建立基于LSTM的时间序列预测模型时，可以针对不同的业务类型，选用对应业务的时间窗口进行预测模型训练，即按照一定的时间周期，利用历史时间窗的流量和/或SINR数据进行训练。在模型推理阶段，由当前时间窗口流量和/或SINR值预测下一个时间窗口的流量和/或SINR值。图4为eMBB业务切片流量及SINR预测模型示意图，如考虑eMBB业务切片的网络状态预测，则如图4所示。
2)切片(网络)状态(性能)分析。
实施中，分析网络或切片的状态或性能，是统计以下网络或切片的状态或性能参数之一或者其组合：
覆盖类的数据，上行和/或下行SINR(信号与干扰和噪声比，Signal toInterference plus Noise Ratio)；可靠性类的数据，上行和/或下行CQI(信道质量指示，Channel quality indicator)、上行和/或下行MCS(调制和编码方案，Modulation andcoding scheme)；网络质量类的数据，上行和/或下行上行流量、上行和/或下行速率、上行和/或下行时延、上行和/或下行丢包率；资源配置类的数据，上行和/或下行PRB资源利用率等，表征网络的状态和/或性能的参数；
切片上行和/或下行专用PRB分配百分比、切片上行和/或下行最大PRB分配百分比、每UE每切片下行和/或上行最大PRB分配百分比、每切片指示资源共享余量、每切片优先级值、切片的授权配置、切片的LCID配置、切片的调度请求、切片的半持续性调度配置、切片的上行和/或下行吞吐量、切片的上行和/或下行时延、切片的上行和/或下行误码率、切片的上行和/或下行丢包率等。
如图3，状态和性能的预测与分析功能接收数据采集与预处理模块发送的网络或切片的状态或性能参数，进行网络或切片的状态或性能统计。统计方法包括基于时间窗的统计方法，即将时间窗口作为时间分界来统计网络性能参数。切片的性能统计包括吞吐量、时延、误码率、丢包率等。
3)切片性能判决。
实施中，确定当前切片性能是否符合业务需求，是通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。
如图3，切片性能判决功能基于切片性能统计结果和数据采集与预处理模块发送的切片性能需求参数，判决当前切片的性能是否符合业务需求。判决方法包括阈值判断，根据行业需求的网络业务性能参数阈值判断切片资源配置质量，例如最大时延、最小吞吐量、最高误码率等。
实施例：
状态和性能的预测与分析功能可部署于Near-RT RIC(近实时RAN智能控制器，Near-real-time RAN Intelligent Controller)。Near-RT RIC可执行以下操作：
a)通过E2接口，从基站获取网络和切片的状态和性能数据；
b)通过xApp，预测或分析网络和切片的状态或性能；
c)监控网络或RAN切片性能；
d)从SMO或NSSMF或Non-RT RIC获取RAN切片SLA目标；
e)从SMO或Non-RT RIC接收xApp。
为了实现状态和性能的预测与分析功能，Non-RT RIC可执行以下操作：
a)训练AI/ML模型，这些模型将部署在Non-RT RIC和/或部署在近RT RIC中；
b)支持将AI/ML模型部署和更新到Near-RT RIC；
c)从SMO或Non-RT RIC接收xApp；
d)根据A1反馈创建A1策略；
e)向Near-RT RIC发送A1策略和扩展信息。
三：切片资源动态配置。
如图3，切片资源动态配置的实现是基于面向SLA保障的分级智能RAN切片资源配置方案，该方案包括切片资源预配置模块和切片资源重配置模块。强化学习是实现切片资源动态配置的优先手段，但其收敛速度受限。所以，切片资源的预配置旨在保障强化学习模型有效搜索最优解(满足模型的探索需求)的前提下，解决强化学习收敛速度慢的问题。
(一)切片资源预配置模块。
1：切片资源预配置模型训练。
实施中，基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型，是基于以下算法之一或者其组合训练获得的：DNN算法、LSTM算法、RNN(循环神经网络，Recurrent Neural Networks)算法、CNN算法。
如图3，切片资源预配置模型训练功能接收数据采集与预处理模块发送的切片资源配置历史信息，以及网络和切片的状态和性能预测与分析发送的网络状态预测值、切片性能统计值、切片性能判决结果，基于DNN(深度神经网络，Deep Neural Networks)等机器学习算法，实现切片资源预配置模型训练。
2：切片资源预配置模型推理。
实施中，第一切片资源预配置是UE级和/或业务级和/或切片级的PRB数量分配。
如图3，切片资源预配置模型推理功能接收网络和切片的状态和性能预测与分析发送的网络状态预测值、切片性能统计值、切片性能判决结果，基于切片资源预配置模型，实现切片资源预配置模型推理，得到切片资源预配置结果。预配置结果可以是UE级和/或业务级和/或切片级的PRB数量分配。
实施例：
在基于DNN的切片预配置模型中，首先收集大量切片配置经验构成经验数据集。在切片配置经验数据集中，每组配置经验数据由网络状态值、切片资源配置结果、切片性能判决结果构成。网络状态可以是滑动窗口内的流量值或平均信道质量指数(CQI)。每个切片窗口的时间长度可以依据业务需求设定，如1秒，滑动窗口的时间为当前切片窗口的前10秒。切片资源配置结果是指当前切片窗口内用于不同切片的物理资源块(PRB)数量配置组合；切片性能判决结果的一种计算方案是，在当前网络状态与切片资源配置下，当前切片窗口内各切片的性能(吞吐量、时延、误码率、丢包率)SLA保证率的乘积。其中，切片SLA保证率的定义为当前切片窗口内，业务所产生的数据包中同时满足时延与用户速率需求的数据包数与当前切片窗口内所产生的数据包总数的比值，取值范围为[0,1]。
DNN的结构主要包括：一个输入层、n个全连接层(F1，F2，…，Fn)、一个输出层。其中，输入层的输入为与满足切片性能需求的配置经验对应的网络状态值和切片性能判决结果，DNN模型训练所需的标签数据为满足切片性能需求的切片资源配置结果。输入层与全连接层F1相连接；全连接层F1的所有神经元节点与下一个全连接层F2的神经元节点进行全连接；输出为各切片PRB资源数量组合信息，即各切片PRB分配数占上行PRB总量的比例。
(二)切片资源重配置模块。
实施中，强化学习算法为以下算法之一或者其组合：
多臂赌博机算法、Q-learning。
采用强化学习算法，如多臂赌博机算法、Q-learning等，实现切片资源重配置，具体可以如下：
1：重配置动作空间生成。
实施中，采用强化学习算法对第一切片资源配置进行第二切片资源配置，是通过模型不确定性计算生成配置动作空间的。
实施中，通过模型不确定性计算生成配置动作空间，是通过计算深度学习模型预测值的抖动来计算生成配置动作空间的。
如图3，切片资源重配置模块接收切片资源预配置模块发送的切片资源预配置结果，通过模型不确定性计算实现重配置动作空间的生成，具体方案可以为计算深度学习模型预测值的抖动。在动作空间生成模块设计中，基于切片资源预配置结果，通过计算预配置模型的不确定性，获取预配置值的均值与方差，最后生成重配置动作空间。该重配置动作空间既大大降低了可选空间的大小，有利于提高强化学习的收敛速度，又满足了强化学习对最优解的探索需求。
实施例：
图5为重配置动作空间生成流程示意图，如图所示，采用Dropout实现深度学习模型输出不确定性计算，通过测试多组DNN的输出，计算已训练DNN输出的PRB配置动作在各切片上PRB资源配置数量的方差与均值。另外，假设PRB切片资源配置动作中每一维度的变量符合正态分布，最后根据切片资源配置动作的分布，输出切片资源预配置动作空间。上述基于DNN的切片资源预配置模块旨在根据有效历史切片资源配置经验，面向时延与用户速率等业务QoS保障，提供切片资源重配置动作空间。该切片资源重配置动作空间大大降低了切片资源配置的选取空间，有利于强化学习的快速收敛与决策。
2：动作选择。
实施中，重配置动作选择是依据切片SLA保证率最大化原则，从重配置动作空间选择最终的切片资源配置结果。
动作选择功能依据切片SLA保证率最大化原则，从动作选取空间选择最终的切片资源配置结果。具体的选取方式可以为构造业务SLA时延、SLA吞吐量、SLA误码率等指标的联合SLA保证率作为模型奖励。
实施例：
在基于多臂赌博机的切片资源重配置算法中，切片资源重配置动作空间作为基于MAB的动态切片资源配置模块的输入。MAB算法可以采用贪婪策略选择切片PRB配置动作，在切片资源重配置动作空间中，选择具有最大切片SLA保证率的配置动作，最后输出一组切片PRB配置组合。随后网络环境反馈该切片窗口内统计的切片SLA保证率、频谱效率与丢包率等信息，MAB据此计算奖励。
实施例：
切片资源动态配置功能可部署于Near-RT RIC。Near-RT RIC可执行以下操作：
a)根据O1配置、A1策略和E2报告，执行优化的RAN(E2)操作，以实现RAN切片需求；
b)支持Non-RT RIC的策略的解释和执行；
c)通过xApp实现切片资源动态配置功能；
d)通过E2接口，向基站下发切片资源配置动作。
为了实现切片资源动态配置功能，RAN可执行以下操作：
a)通过O1支持特定切片的性能测量；
b)通过E2支持特定切片的性能报告；
c)支持切片保障动作，如切片感知资源分配、优先级划分等。
基于同一发明构思，本发明实施例中还提供了一种切片无线资源配置装置、及计算机可读存储介质，由于这些设备解决问题的原理与切片无线资源配置方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。
在实施本发明实施例提供的技术方案时，可以按如下方式实施。
图6为切片无线资源配置装置结构示意图，如图所示，装置中包括：
处理器600，用于读取存储器620中的程序，执行下列过程：
对网络和/或切片的状态和/或性能进行预测和/或分析；
根据预测结果和/或分析结果进行切片资源配置；
收发机610，用于在处理器600的控制下接收和发送数据。
实施中，根据预测结果和/或分析结果进行切片资源配置，包括：
根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；
采用强化学习算法对第一切片资源配置进行第二切片资源配置。
实施中，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置前，对网络和/或切片的状态和/或性能进行预测和/或分析包括：
根据采集的网络的状态和/或性能数据对网络和/或切片的状态和/或性能进行预测和/或分析；
根据采集的切片状态和/或性能数据对切片状态和/或性能进行预测和/或分析；
根据切片性能的预测和/或分析结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；
在不符合业务需求时，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。
实施中，采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：
从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。
实施中，进一步包括：
使用以下方式之一或者其组合将网络状态和/性能数据处理为切片状态和/或性能数据：
均值计算、状态参数归一化、状态参数规范化。
实施中，根据采集的切片和/或网络的状态和/或性能数据采用以下机器学习预测算法之一或者其组合对网络的状态和/或性能进行预测：LSTM算法、决策树算法、支持向量机、随机森林、CNN算法、DNN算法。
实施中，统计网络和/或切片性能，是统计以下网络和/或切片性能参数之一或者其组合：
吞吐量、时延、误码率、丢包率。
实施中，确定当前切片性能是否符合业务需求，是通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。
实施中，基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型，是基于以下算法之一或者其组合训练获得的：DNN算法、LSTM算法、RNN算法、CNN算法。
实施中，第一切片资源预配置是UE级和/或业务级和/或切片级的PRB数量分配。
实施中，强化学习算法为以下算法之一或者其组合：
多臂赌博机算法、Q-learning。
实施中，采用强化学习算法对第一切片资源配置进行第二切片资源配置，是通过模型不确定性计算生成配置动作空间的。
实施中，通过模型不确定性计算生成配置动作空间，是通过计算深度学习模型预测值的抖动来计算生成配置动作空间的。
实施中，配置动作选择是依据切片SLA保证率最大化原则，从配置动作空间选择切片资源配置结果。
实施中，基站根据切片资源配置结果进行无线资源配置，配置结果是以下方式之一：
UE级和/或业务级和/或切片级的PRB资源数量。
其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机610可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
本发明实施例中还提供了一种切片无线资源配置装置，包括：
预测和分析单元，用于对网络和/或切片的状态和/或性能进行预测和/或分析；
配置单元，用于根据预测结果和/或分析结果进行切片资源配置。
实施中，配置单元包括：
第一配置模块，用于根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源预配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；
第二配置模块，用于采用强化学习算法对第一切片资源配置进行第二切片资源配置。
实施中，预测和分析单元包括：
预判断模块，用于根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置前，根据采集的切片和/或网络的状态和/或性能数据对切片和/或网络状态进行预测，统计切片性能；
根据切片性能统计结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；
在不符合业务需求时，触发第一配置模块根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。
实施中，预判断模块进一步用于采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：
从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。
实施中，预判断模块进一步用于使用以下方式之一或者其组合将网络状态和/性能数据处理为切片状态和/或性能数据：
均值计算、状态参数归一化、状态参数规范化。
实施中，预判断模块进一步用于根据采集的切片和/或网络的状态和/或性能数据采用以下机器学习预测算法之一或者其组合对网络的状态和/或性能进行预测：LSTM算法、决策树算法、支持向量机、随机森林、CNN算法、DNN算法。
实施中，预判断模块进一步用于统计以下网络和/或切片性能参数之一或者其组合统计网络和/或切片性能：
吞吐量、时延、误码率、丢包率。
实施中，预判断模块进一步用于通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。
实施中，第一配置模块进一步用于基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型时，基于以下算法之一或者其组合训练获得的：DNN算法、LSTM算法、RNN算法、CNN算法。
实施中，第一配置模块进一步用于第一切片资源预配置是UE级和/或业务级和/或切片级的PRB数量分配。
实施中，第二配置模块进一步用于强化学习算法为以下算法之一或者其组合：
多臂赌博机算法、Q-learning。
实施中，第二配置模块进一步用于在采用强化学习算法对第一切片资源配置进行第二切片资源配置时，通过模型不确定性计算生成配置动作空间。
实施中，第二配置模块进一步用于通过模型不确定性计算生成配置动作空间时，通过计算深度学习模型预测值的抖动来计算生成配置动作空间。
实施中，第二配置模块进一步用于在配置动作选择时，配置动作选择是依据切片SLA保证率最大化原则，从配置动作空间选择切片资源配置结果。
实施中，基站根据切片资源配置结果进行无线资源配置，配置结果是以下方式之一：
UE级和/或业务级和/或切片级的PRB资源数量。
为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述切片无线资源配置方法。
具体实施可以参见切片无线资源配置方法的实施。
综上所述，本发明实施例提供的技术方案，是基于分级智能的RAN切片资源配置方案，该方案以降低在线学习(如强化学习)算法计算复杂度为目标，包含切片资源预配置与切片资源重配置两个阶段。在切片资源预配置阶段，基于AI算法挖掘长期切片配置经验与无线环境和切片需求的对应关系；在切片资源重配置阶段，基于强化学习等在线学习方法，实现动态的切片资源配置；
进一步的，基于网络状态和切片性能感知的切片资源配置方案的输入，该输入值包含网络状态预测值、切片性能统计值、切片性能判决结果。上述三类数据的输入有利于切片资源配置模块对短期网络环境和切片性能变化的响应，同时匹配切片性能需求，以提高切片SLA保证率；
进一步的，重配置动作空间生成模块设计，基于切片资源预配置结果生成切片资源重配置动作空间，在保障强化学习模型有效搜索最优解(满足模型的探索需求)的前提下，解决强化学习收敛速度慢的问题。
本方案可以：
针对用户持续移动的场景，增加网络状态预测模块，实现切片资源基于网络环境的动态自适应；
采用包含切片资源预配置与切片资源重配置的分级智能配置方案，降低基于强化学习的切片资源配置方法存在的算法收敛速度慢、无法快速提供切片配置决策的问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (18)
1.一种切片无线资源配置方法，其特征在于，包括：
对网络和/或切片的状态和/或性能进行预测和/或分析；
根据预测结果和/或分析结果进行切片资源配置。
2.如权利要求1所述的方法，其特征在于，根据预测结果和/或分析结果进行切片资源配置，包括：
根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；
采用强化学习算法对第一切片资源配置进行第二切片资源配置。
3.如权利要求2所述的方法，其特征在于，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置前，对网络和/或切片的状态和/或性能进行预测和/或分析包括：
根据采集的网络的状态和/或性能数据对网络和/或切片的状态和/或性能进行预测和/或分析；
根据采集的切片状态和/或性能数据对切片状态和/或性能进行预测和/或分析；
根据切片性能的预测和/或分析结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；
在不符合业务需求时，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。
4.如权利要求1所述的方法，其特征在于，采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：
从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。
5.如权利要求4所述的方法，其特征在于，进一步包括：
使用以下方式之一或者其组合将网络状态和/性能数据处理为切片状态和/或性能数据：
均值计算、状态参数归一化、状态参数规范化。
6.如权利要求3所述的方法，其特征在于，根据采集的切片和/或网络的状态和/或性能数据采用以下机器学习算法之一或者其组合对网络的状态和/或性能进行预测：长短期记忆LSTM算法、决策树算法、支持向量机、随机森林、卷积神经网络CNN算法、深度神经网络DNN算法。
7.如权利要求3所述的方法，其特征在于，统计网络和/或切片性能，是统计以下网络和/或切片性能参数之一或者其组合：
吞吐量、时延、误码率、丢包率。
8.如权利要求7所述的方法，其特征在于，确定当前切片性能是否符合业务需求，是通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。
9.如权利要求1至8任一所述的方法，其特征在于，基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型，是基于以下算法之一或者其组合训练获得的：DNN机器学习算法、LSTM算法、循环神经网络RNN算法、CNN算法。
10.如权利要求1至8任一所述的方法，其特征在于，第一切片资源配置是用户设备UE级和/或业务级和/或切片级的物理资源块PRB数量分配。
11.如权利要求1至8任一所述的方法，其特征在于，强化学习算法为以下算法之一或者其组合：
多臂赌博机算法、Q-learning。
12.如权利要求1至8任一所述的方法，其特征在于，采用强化学习算法对第一切片资源配置进行第二切片资源配置，是通过模型不确定性计算生成配置动作空间的。
13.如权利要求12所述的方法，其特征在于，通过模型不确定性计算生成配置动作空间，是通过计算深度学习模型预测值的抖动来计算生成配置动作空间的。
14.如权利要求13所述的方法，其特征在于，配置动作选择是依据切片服务等级协议SLA保证率最大化原则，从配置动作空间选择切片资源配置结果。
15.如权利要求1所述的方法，其特征在于，基站根据切片资源配置结果进行无线资源配置，配置结果是以下方式之一：
UE级和/或业务级和/或切片级的PRB资源数量。
16.一种切片无线资源配置装置，其特征在于，包括：
处理器，用于读取存储器中的程序，执行下列过程：
对网络和/或切片的状态和/或性能进行预测和/或分析；
根据预测结果和/或分析结果进行切片资源配置；
收发机，用于在处理器的控制下接收和发送数据。
17.一种切片无线资源配置装置，其特征在于，包括：
预测和/或分析单元，用于对网络和/或切片的状态和/或性能进行预测和/或分析；
配置单元，用于根据预测结果和/或分析结果进行切片资源配置。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至15任一所述切片无线资源配置方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210220131.5A CN116781520A (zh) | 2022-03-08 | 2022-03-08 | 一种切片无线资源配置方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210220131.5A CN116781520A (zh) | 2022-03-08 | 2022-03-08 | 一种切片无线资源配置方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116781520A true CN116781520A (zh) | 2023-09-19 |
Family
ID=87986448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210220131.5A Pending CN116781520A (zh) | 2022-03-08 | 2022-03-08 | 一种切片无线资源配置方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116781520A (zh) |
-
2022
- 2022-03-08 CN CN202210220131.5A patent/CN116781520A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qian et al. | Survey on reinforcement learning applications in communication networks | |
| Sun et al. | Autonomous resource slicing for virtualized vehicular networks with D2D communications based on deep reinforcement learning | |
| CN110381541B (zh) | 一种基于强化学习的智能电网切片分配方法及装置 | |
| CN108293005B (zh) | 用于共享状态相关信息的方法和设备 | |
| CN102958057B (zh) | 一种动态频谱优化方法、装置及系统 | |
| Logeshwaran et al. | A NOVEL ARCHITECTURE OF INTELLIGENT DECISION MODEL FOR EFFICIENT RESOURCE ALLOCATION IN 5G BROADBAND COMMUNICATION NETWORKS. | |
| Rezazadeh et al. | On the specialization of fdrl agents for scalable and distributed 6g ran slicing orchestration | |
| US20220104127A1 (en) | Method and apparatus for power management in a wireless communication system | |
| Hlophe et al. | QoS provisioning and energy saving scheme for distributed cognitive radio networks using deep learning | |
| WO2023172292A9 (en) | Zero-touch deployment and orchestration of network intelligence in open ran systems | |
| Atawia et al. | Robust resource allocation for predictive video streaming under channel uncertainty | |
| Bektas et al. | SAMUS: Slice-aware machine learning-based ultra-reliable scheduling | |
| Mirzaei Somarin et al. | Big data based self-optimization networking in next generation mobile networks | |
| Wang et al. | LinkSlice: Fine-grained network slice enforcement based on deep reinforcement learning | |
| CN113950057A (zh) | 信息处理的方法、装置、设备及计算机可读存储介质 | |
| Guerra-Gomez et al. | Machine learning adaptive computational capacity prediction for dynamic resource management in C-RAN | |
| WO2021052556A1 (en) | A device for applying artificial intelligence in a communication network | |
| Nahum et al. | Intent-aware radio resource scheduling in a ran slicing scenario using reinforcement learning | |
| Qazzaz et al. | Machine learning-based xApp for dynamic resource allocation in O-RAN networks | |
| CN103179642A (zh) | 具有网络接口自治选择功能的多接口终端及其工作方法 | |
| CN116781520A (zh) | 一种切片无线资源配置方法、装置及存储介质 | |
| Semov et al. | Adaptive resource scheduling based on neural network and mobile traffic prediction | |
| Pu et al. | Federated learning-based heterogeneous load prediction and slicing for 5G systems and beyond | |
| Raftopoulos et al. | DRL-based Latency-Aware Network Slicing in O-RAN with Time-Varying SLAs | |
| Li et al. | Delmu: a deep learning approach to maximising the utility of virtualised millimetre-wave backhauls |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |