CN113542002B - 5g无线接入网的切片调度方法、装置、设备及存储介质 - Google Patents

5g无线接入网的切片调度方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113542002B
CN113542002B CN202110588341.5A CN202110588341A CN113542002B CN 113542002 B CN113542002 B CN 113542002B CN 202110588341 A CN202110588341 A CN 202110588341A CN 113542002 B CN113542002 B CN 113542002B
Authority
CN
China
Prior art keywords
slice
service
data
duty ratio
access network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110588341.5A
Other languages
English (en)
Other versions
CN113542002A (zh
Inventor
杜翠凤
薛红荣
王长春
王冬
赵勇波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jiesai Communication Planning And Design Institute Co ltd
GCI Science and Technology Co Ltd
Original Assignee
Guangzhou Jiesai Communication Planning And Design Institute Co ltd
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jiesai Communication Planning And Design Institute Co ltd, GCI Science and Technology Co Ltd filed Critical Guangzhou Jiesai Communication Planning And Design Institute Co ltd
Priority to CN202110588341.5A priority Critical patent/CN113542002B/zh
Publication of CN113542002A publication Critical patent/CN113542002A/zh
Application granted granted Critical
Publication of CN113542002B publication Critical patent/CN113542002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051—Service on demand, e.g. definition and deployment of services in real time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50—Service provisioning or reconfiguring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明公开了5G无线接入网的切片调度方法、装置、设备及存储介质，方法包括对5G无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；将所述预测占比分布数据输入预置的DQN强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。本发明实施例提供的5G无线接入网的切片调度方法、装置、设备及存储介质，通过基于深度学习的业务预测策略与基于DQN强化学习的切片资源调度策略，提高了业务分布预测的准确率，优化了切片资源的决策与调度能力。

Description

5G无线接入网的切片调度方法、装置、设备及存储介质
技术领域
本发明涉及移动通信技术领域，尤其是涉及5G无线接入网的切片调度方法、装置、设备及存储介质。
背景技术
网络切片是将一个物理网络切割成多个虚拟的端到端的网络，每个虚拟网络之间，包括网络内的设备、接入、传输和核心网，均是逻辑独立的，任何一个虚拟网络发生故障都不会影响到其它虚拟网络。
随着终端设备和网络应用数量的增加，网络业务的流量在剧烈增长，如何合理地实现虚拟资源的配置，资源供需平衡关系的优化，保证端到端之间的业务QoS的保障，提高业务分布预测的准确率，从而优化切片资源的决策与调度，是5G网络切片中资源管理和调度机制需解决的关键问题之一。
发明内容
本发明提供一种5G无线接入网的切片调度方法、装置、设备及存储介质，以解决现有的5G无线接入网难以实现准确的业务预测，导致切片调度能力较差的技术问题，通过基于深度学习的业务预测策略与基于DQN强化学习的切片资源调度策略，提高了业务分布预测的准确率，优化了切片资源的决策与调度能力。
为了解决上述技术问题，本发明实施例提供了一种5G无线接入网的切片调度方法，包括：
对5G无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
将所述预测占比分布数据输入预置的DQN强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
作为其中一种优选方案，所述对5G无线接入网下的各个切片业务的历史数据进行重构，具体为：
获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
作为其中一种优选方案，所述将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据，具体为：
获取待训练切片业务数据样本集；
提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
基于所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
作为其中一种优选方案，所述将所述预测占比分布数据输入预置的DQN强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度，具体为：
获取5G无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性；
基于DQN算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；
根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；
基于更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
本发明另一实施例提供了一种5G无线接入网的切片调度装置，包括：
重构模块，用于对5G无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
预测模块，用于将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
调度模块，用于将所述预测占比分布数据输入预置的DQN强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
作为其中一种优选方案，所述重构模块包括：
忙时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
闲时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
排序单元，用于根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
作为其中一种优选方案，所述预测模块包括：
样本集获取单元，用于获取待训练切片业务数据样本集；
特征提取单元，用于提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
训练单元，用于将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
预测单元，用于根据所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
作为其中一种优选方案，所述调度模块包括：
环境数据获取单元，用于获取5G无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性；
奖励函数构建单元，用于根据DQN算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；
更新单元，用于根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；
调度单元，用于根据更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
本发明又一实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的5G无线接入网的切片调度方法。
本发明再一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的5G无线接入网的切片调度方法。
相比于现有技术，本发明实施例的有益效果在于以下所述中的至少一点，从时间角度对切片业务进行纵向分析，获取各个切片业务的历史占比，充分考虑到资源之间的相互影响，提高了各个业务之间的关联性，从而为后续的调度策略提供准确的数据支撑；采用神经网络技术对未来业务进行预测，得到各个业务的占比情况；最后利用DQN强化学习模型，通过考虑长短期回报、用户活跃度、以及数据探索，分析了数据在时间上的延伸特征，进而能够实现业务占比分配的更新，从而提高了业务分布预测的准确率，优化了切片资源的决策与调度能力。
附图说明
图1是本发明其中一种实施例中的5G无线接入网的切片调度方法的流程示意图；
图2是本发明其中一种实施例中的各个切片业务的历史占比分布数据图；
图3是本发明其中一种实施例中的各业务特征提取过程的流程示意图；
图4是本发明其中一种实施例中的5G无线接入网的切片调度装置的结构示意图；
图5是本发明其中一种实施例中的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
在本申请的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
本发明一实施例提供了一种5G无线接入网的切片调度方法，具体的，请参见图1，图1示出为本发明其中一种实施例中的5G无线接入网的切片调度方法的流程示意图，其中包括：
S1、对5G无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
S2、将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
S3、将所述预测占比分布数据输入预置的DQN强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
应当说明的是，5G时代的切片方案解决了端到端的资源需求，在本发明实施例中，主要是针对无线接入网的资源调度问题，由于无线资源与核心网有一个很大的区别是用户的移动性以及信道状态会很大程度上影响无线资源的负载情况，因此，5G无线接入网切片的调度是一个动态的过程，需要根据业务QoS需求、移动性预测、业务请求量以及信道状态进行动态调整；业务QoS服务需求根据不同业务的丢包率、带宽、时延、速率的最低要求来设置阈值，实现端到端的QoS保障；根据用户移动性预测，能够基于当前的用户接收到基站ID集合与位置的对应约束关系来预测用户的现在位置，结合转移概率矩阵来预测用户未来的位置分布概率，基于位置分布概率来实现RAN位置的接入，减少用户网络切换的次数，提高网络负载均衡的性能；当然，在本实施例中，业务请求可以结合历史数据流量预测和当前业务请求数量综合衡量，信道状态根据近邻几个时刻反馈的状态信息，迭代学习实现信道环境的对不同时刻的动态信道状态。本发明实施例提供的5G无线接入网的切片调度方法，通过基于深度学习的业务预测策略与基于DQN强化学习的切片资源调度策略，构建了深度学习和强化学习组合框架，进而实现无线接入网切片资源的调度策略，提高了业务分布预测的准确率，优化了切片资源的决策与调度能力。
进一步地，在上述实施例中，所述对5G无线接入网下的各个切片业务的历史数据进行重构，具体为：
获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
具体的，请参见图2，本实施例中的各个切片业务的历史占比分布数据通过图像进行显示，图2显示了某一5G无线接入网络忙时20周的业务使用数量占比分布图，本实施例中的数据重构的意义是通过时间和数据分布的特性，将数据在时间和空间的分布占比情况进行一个某一个周期的观察，而在现有技术中大多数工作都只停留在解决单一调度周期上的资源调度问题，而忽略了在时间域上变化的业务请求引起数据的积累而产生的队列积压，这种处理方式在实际的场景中过于简化，因此，本实施例构建的20周的业务使用数量占比分布图，从时间角度对切片业务进行纵向分析，获取各个切片业务的历史占比，充分考虑到资源之间的相互影响，提高了各个业务之间的关联性，从而为后续的调度策略提供准确的数据支撑。
同理，闲时业务使用数量占比分布图可参考忙时进行重构。需要说明的是，本实施例中的忙时使用数量和闲时使用数量的划分只是考虑到多资源调度模式下的复杂情况，并不是每一接入网络都需要按照忙时和闲时两个时间段进行业务使用数量占比重构，针对业务变化波动比较大的区域，可以对时段进行更细颗粒度的划分。
进一步地，在上述实施例中，所述将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据，具体为：
获取待训练切片业务数据样本集；
提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
基于所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
在本实施例中，具体的，请参见图3，图3示出为本发明其中一种实施例中的各业务特征提取过程的流程示意图，基于神经网络技术，采用特征提取的方式来评判每一业务(即图中C1、C2、CN)在每一周的特征的关联性，这种关联从横向来看是空间关联，也就是业务与业务的关联性，关联从纵向来看是时间上的关联，是业务在时间轴上的变动情况。基于上述提取的特征，将各周期业务特征放进BP神经网络中训练各业务占比预测模型，并基于预测模型实现未来一段时间各业务占比的情况。
由上可知，通过步骤S1和步骤S2，采用深度学习的方法来提取各业务在时间“切片”上的特征，借助BP神经网络预测未来的各业务的占比情况，基于上述的结果，实现大时间尺度上的资源分配，形成基于大时间尺度的无线接入网切片的预测占比分布数据。
进一步地，在上述实施例中，所述将所述预测占比分布数据输入预置的DQN强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度，具体为：
获取5G无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性；
基于DQN算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；
根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；
基于更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
在本实施例中，利用DNQ算法来应对信道的动态变化，实现网络切片的在线调整，最终实现网络切片的调度资源。为便于理解，本实施例中的预置的DQN强化学习模型的工作原理如下：
获取5G无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性。用户属性：包括用户在1周内忙时(闲时)使用各业务数量，用户运动状态，用户所在的位置等。用户的位置是基于用户终端收到的基站ID集合{cell1，cell1，…,celln}，在该区域划分N×N的网格，对每一个网格构建基站ID库，基于用户当前收到的基站ID集合{cell1，cell1，…,cell6}(本实施例算法取6个基站)，实现用户当前位置的预测。用户运动状态是结合用户上一个时刻的网格位置进行用户运动速度的估算；业务属性即为业务QoS需求服务根据不同业务的丢包率、带宽、时延、速率的最低要求；信道质量属性，无线信道RSCP和信道的EC/IO。
结合环境属性实现深度强化学习DQN，主要通过当前的网络切片状态，采取某一action(接入用户某一种业务)，得到对应的回报值Q，具体的，本实施例中的回报值Q通过奖励函数计算得到，奖励函数如下所示：
Q(s,a)＝rimmediate+γractive
其中，rimmediate表示用户接入该切片的奖励，ractive为用户活跃度奖励，用户活跃度可以理解为用户在一段时间内使用该业务的频率(如果用户所在位置的无线网络质量很好，那么就会增加用户使用该业务的频率，因此，用户活跃度作为一个将回报指标)，S表示状态，a表示策略，γ表示用户活跃度的贡献系数，一般取值在0～1之间。
本发明另一实施例提供了一种5G无线接入网的切片调度装置，具体的，请参见图4，图4示出为本发明其中一种实施例中的5G无线接入网的切片调度装置的结构示意图，包括：
重构模块11，用于对5G无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
预测模块12，用于将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
调度模块13，用于将所述预测占比分布数据输入预置的DQN强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
进一步地，在上述实施例中，所述重构模块11包括：
忙时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
闲时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
排序单元，用于根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
进一步地，在上述实施例中，所述预测模块12包括：
样本集获取单元，用于获取待训练切片业务数据样本集；
特征提取单元，用于提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
训练单元，用于将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
预测单元，用于根据所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
进一步地，在上述实施例中，所述调度模块13包括：
环境数据获取单元，用于获取5G无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性；
奖励函数构建单元，用于根据DQN算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；
更新单元，用于根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；
调度单元，用于根据更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
本发明又一实施例提供了一种电子设备，具体的，请参见图5，图5示出为本发明其中一种实施例中的电子设备的结构示意图，其包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的5G无线接入网的切片调度方法。
本发明再一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的5G无线接入网的切片调度方法。
相比于现有技术，本发明实施例的有益效果在于以下所述中的至少一点，从时间角度对切片业务进行纵向分析，获取各个切片业务的历史占比，充分考虑到资源之间的相互影响，提高了各个业务之间的关联性，从而为后续的调度策略提供准确的数据支撑；采用神经网络技术对未来业务进行预测，得到各个业务的占比情况；最后利用DQN强化学习模型，通过考虑长短期回报、用户活跃度、以及数据探索，分析了数据在时间上的延伸特征，进而能够实现业务占比分配的更新，从而提高了业务分布预测的准确率，优化了切片资源的决策与调度能力。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种5G无线接入网的切片调度方法，其特征在于，包括：
对5G无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
将所述预测占比分布数据输入预置的DQN强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度，具体为：获取5G无线接入网的环境数据，其中，所述环境数据包括用户属性数据、信道属性和业务属性；基于DQN算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；基于更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
2.如权利要求1所述的5G无线接入网的切片调度方法，其特征在于，所述对5G无线接入网下的各个切片业务的历史数据进行重构，具体为：
获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
3.如权利要求1所述的5G无线接入网的切片调度方法，其特征在于，所述将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据，具体为：
获取待训练切片业务数据样本集；
提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
基于所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
4.一种5G无线接入网的切片调度装置，其特征在于，包括：
重构模块，用于对5G无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
预测模块，用于将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
调度模块，用于将所述预测占比分布数据输入预置的DQN强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度，具体为：获取5G无线接入网的环境数据，其中，所述环境数据包括用户属性数据、信道属性和业务属性；基于DQN算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；基于更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
5.如权利要求4所述的5G无线接入网的切片调度装置，其特征在于，所述重构模块包括：
忙时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
闲时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
排序单元，用于根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
6.如权利要求4所述的5G无线接入网的切片调度装置，其特征在于，所述预测模块包括：
样本集获取单元，用于获取待训练切片业务数据样本集；
特征提取单元，用于提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
训练单元，用于将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
预测单元，用于根据所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
7.一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任意一项所述的5G无线接入网的切片调度方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至3中任意一项所述的5G无线接入网的切片调度方法。
CN202110588341.5A 2021-05-27 2021-05-27 5g无线接入网的切片调度方法、装置、设备及存储介质 Active CN113542002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110588341.5A CN113542002B (zh) 2021-05-27 2021-05-27 5g无线接入网的切片调度方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110588341.5A CN113542002B (zh) 2021-05-27 2021-05-27 5g无线接入网的切片调度方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113542002A CN113542002A (zh) 2021-10-22
CN113542002B true CN113542002B (zh) 2023-07-18

Family

ID=78094831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110588341.5A Active CN113542002B (zh) 2021-05-27 2021-05-27 5g无线接入网的切片调度方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113542002B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114158073B (zh) * 2021-11-29 2024-01-09 中国联合网络通信集团有限公司 网络切片部署方法、装置、设备及存储介质
CN114938335B (zh) * 2022-04-27 2024-01-26 中国人民解放军战略支援部队信息工程大学 一种网络切片服务功能动态调度方法及装置
WO2024007208A1 (en) * 2022-07-06 2024-01-11 Huawei Technologies Co., Ltd. Systems and methods to minimize resource utilization across multiple domains to assure quality of service
CN115426716A (zh) * 2022-08-18 2022-12-02 广州爱浦路网络技术有限公司 切片资源分析、选择方法、装置、网元及接纳控制设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1976318A1 (en) * 2007-03-28 2008-10-01 Deutsche Telekom AG Method and system for optimal flow assignment for heterogeneous network access
CN105340311A (zh) * 2014-06-05 2016-02-17 华为技术有限公司 网络设备、网络业务预测装置和方法
CN109120426A (zh) * 2017-06-26 2019-01-01 中兴通讯股份有限公司 一种网络切片管理方法、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080138773A1 (en) * 2006-12-06 2008-06-12 Kenneth Lathrop System and process for determining the optimal device layout and configuration within a gaming environment
US8830963B2 (en) * 2007-03-14 2014-09-09 1St Communications Inc. Multimedia communicator
US8548428B2 (en) * 2009-01-28 2013-10-01 Headwater Partners I Llc Device group partitions and settlement platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1976318A1 (en) * 2007-03-28 2008-10-01 Deutsche Telekom AG Method and system for optimal flow assignment for heterogeneous network access
CN105340311A (zh) * 2014-06-05 2016-02-17 华为技术有限公司 网络设备、网络业务预测装置和方法
CN109120426A (zh) * 2017-06-26 2019-01-01 中兴通讯股份有限公司 一种网络切片管理方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
浅析电视直播频道的大数据分析方法;黄卓伟;;广播电视信息(第10期);第50-54页 *

Also Published As

Publication number Publication date
CN113542002A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113542002B (zh) 5g无线接入网的切片调度方法、装置、设备及存储介质
Li et al. The LSTM-based advantage actor-critic learning for resource management in network slicing with user mobility
JP7159347B2 (ja) モデル更新方法および装置、ならびにシステム
Zhu et al. BLOT: Bandit learning-based offloading of tasks in fog-enabled networks
Zhang et al. Joint offloading and resource allocation in mobile edge computing systems: An actor-critic approach
CN111277437A (zh) 一种智能电网的网络切片资源分配方法
Wu et al. Power consumption and GoS tradeoff in cellular mobile networks with base station sleeping and related performance studies
Cui et al. Machine learning-based resource allocation strategy for network slicing in vehicular networks
CN106793031B (zh) 基于集合竞优算法的智能手机能耗优化方法
CN109831808B (zh) 一种基于机器学习的混合供电c-ran的资源分配方法
Li et al. Method of resource estimation based on QoS in edge computing
US20140016575A1 (en) System and method for proactive resource allocation
Zhou et al. Learning from peers: Deep transfer reinforcement learning for joint radio and cache resource allocation in 5G RAN slicing
Hua et al. GAN-based deep distributional reinforcement learning for resource management in network slicing
Balakrishnan et al. Deep reinforcement learning based traffic-and channel-aware OFDMA resource allocation
Fu et al. Traffic prediction-enabled energy-efficient dynamic computing resource allocation in cran based on deep learning
Marbukh Towards fog network utility maximization (FoNUM) for managing fog computing resources
Nabi et al. Deep learning based fusion model for multivariate LTE traffic forecasting and optimized radio parameter estimation
CN104301964A (zh) 基于组合预测的自适应机会协作控制方法
Piovesan et al. Forecasting mobile traffic to achieve greener 5g networks: When machine learning is key
Zhou et al. Demand shaping in cellular networks
Lei et al. Joint service placement and request scheduling for multi-SP mobile edge computing network
CN113271221B (zh) 网络能力开放方法、系统及电子设备
Mastronarde et al. Online reinforcement learning for dynamic multimedia systems
Rathnayake et al. Realistic data transfer scheduling with uncertainty

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant