CN116112934A - 一种基于机器学习的端到端网络切片资源分配方法 - Google Patents

一种基于机器学习的端到端网络切片资源分配方法 Download PDF

Info

Publication number
CN116112934A
CN116112934A CN202310146059.0A CN202310146059A CN116112934A CN 116112934 A CN116112934 A CN 116112934A CN 202310146059 A CN202310146059 A CN 202310146059A CN 116112934 A CN116112934 A CN 116112934A
Authority
CN
China
Prior art keywords
slice
representing
network
vnf
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310146059.0A
Other languages
English (en)
Inventor
刘楠
王喻星
潘志文
尤肖虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202310146059.0A priority Critical patent/CN116112934A/zh
Publication of CN116112934A publication Critical patent/CN116112934A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/14—Spectrum sharing arrangements between different networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于机器学习的端到端网络切片资源分配方法。其中，强化学习IPPO算法主要用于决策满足网络切片数学模型各项约束并且使得目标函数最大的RB资源分配方案。随机森林算法作为辅助主要用于快速判断接入网给定的RB资源分配方案能否在核心网成功完成切片的VNF映射。两者相辅相成，将原来端到端联合优化的问题在不影响最优解的前提下，转化为在接入网侧和核心网侧单独进行优化。从而大大降低了计算时间复杂度，提高了资源分配的效率。

Description

一种基于机器学习的端到端网络切片资源分配方法
技术领域
本发明属于无线通信技术领域，尤其涉及一种基于机器学习的端到端网络切片资源分配方法。
背景技术
随着5G技术的发展以及多样化业务的不断涌现，对现有的通信网络提出了多种多样的服务质量需求。5G作为数字经济时代的关键使能技术和基础设施，服务的对象已经从单纯的移动通信扩展为无处不在的连接和场景应用。因此，为了能够利用现有的通信网络更好的满足用户的差异化需求，网络切片技术应运而生。端到端网络切片资源分配问题通常分为两个部分：接入网(RAN)无线频谱资源的分配以及核心网的VNF映射。接入网侧主要负责将无线频谱资源块(RB)分配给切片中的用户。核心网侧主要负责将切片的VNF映射到底层物理网络中的通用服务器。网络切片资源分配问题通常建模为一个非线性整数规划数学模型。由于涉及的约束众多且复杂，很难使用传统的优化算法进行求解。近些年来，随着人工智能技术的不断涌现，许多学者提出采用强化学习的方法进行求解，但是其求解的时间复杂度较高，通常仅适合规模较小的问题。
发明内容
本发明目的在于提供一种基于机器学习的端到端网络切片资源分配方法,，将机器学习中的随机森林算法与强化学习IPPO算法相融合以解决网络切片中的资源分配技术问题。
为解决上述技术问题，本发明的具体技术方案如下：
一种基于机器学习的端到端网络切片资源分配方法，包括如下步骤：
步骤1、首先根据网络切片数学模型搭建对应的仿真环境，以及初始化端到端网络切片接入网和核心网参数；接入网负责将RB分配给切片中的用户，RB指的是无线频谱资源块，而核心网负责将网络切片的VNF映射到满足模型约束的通用服务器上，VNF指的是虚拟网络功能；
步骤2、分析网络切片数学模型的特点，通过接入网侧给定的无线频谱资源RB分配方案计算得出接入网侧和核心网侧的Associated Tuple中的各个元素，用于判断对应的分配方案能否在核心网侧成功部署，其中Associated Tuple指的是关联元组；
步骤3、用DFS+pruning算法判断给定的Associated Tuple是否在核心网侧存在满足各项约束的部署方式；其中DFS+pruning算法指的是深度优先搜索+剪枝算法；核心网侧约束包括：服务器的虚拟机VM数量约束、服务器计算资源约束、链路带宽约束以及链路时延约束；
步骤4、随机生成多组Associated Tuple数据集，用DFS+pruning算法得到对应的标签，然后用随机森林算法训练一个二分类器用于快速判断给定的Associated Tuple是否能在核心网完成VNF映射；
步骤5、在接入网侧，先将网络切片数学模型优化问题转化为一个马尔可夫决策过程MDP：
Figure BDA0004089166140000021
其中
Figure BDA0004089166140000022
表示状态空间，
Figure BDA0004089166140000023
表示动作空间，
Figure BDA0004089166140000024
表示奖励函数；
步骤6、采用强化学习IPPO算法训练智能体，用于决策满足各项约束并且使得利润最大的无线频谱资源RB分配方案，IPPO算法指的是独立的近端策略优化算法。
进一步的，步骤2包括如下步骤：
步骤2.1、首先根据接入网给定的RB资源分配方案利用香农公式计算得出切片s中用户u的速率
Figure BDA0004089166140000025
其中
Figure BDA0004089166140000026
是一个01整数变量，
Figure BDA0004089166140000027
表示将第k个RB分配给切片s中用户u，
Figure BDA0004089166140000028
表示不将第k个RB分配给切片s中用户u，W表示一个RB的带宽，Pd表示下行传输功率，Gs,u表示用户与基站之间的信道增益，σ2表示高斯白噪声的功率，之后计算得出每个切片的总速率
Figure BDA0004089166140000029
作为Associated Tuple中的一部分元素；
步骤2.2、然后使用二分法求出切片s满足核心网约束的最大可允许时延
Figure BDA00040891661400000210
作为Associated Tuple中的另一部分元素，其中m表示核心网的时延，
Figure BDA00040891661400000211
表示切片s的用户集合，
Figure BDA00040891661400000212
表示切片s中用户u的个性化时延需求，
Figure BDA00040891661400000213
表示切片s中用户u的接入网时延，
Figure BDA00040891661400000214
表示切片s的最低用户满意度阈值；
步骤2.3、设置一共有S个切片，因此Associated Tuple表示为：
Figure BDA00040891661400000215
进一步的，步骤3包括如下步骤：
步骤3.1、切片s的服务功能链SFC表示为：
Figure BDA0004089166140000031
其中ts表示切片s的SFC中包含的VNF总数，
Figure BDA0004089166140000032
表示切片s的SFC中第j个VNF所属类型，根据步骤2得到的Associated Tuple，用公式
Figure BDA0004089166140000033
计算出切片s中相邻VNF之间所需要的链路带宽资源，其中
Figure BDA0004089166140000034
表示切片s中第j个VNF与第j+1个VNF之间所需要的链路带宽资源，
Figure BDA0004089166140000035
Figure BDA0004089166140000036
表示类型为
Figure BDA0004089166140000037
的VNF的传输速率转换率，用公式
Figure BDA0004089166140000038
计算出切片中所有的VNF所需要的服务器计算资源，其中
Figure BDA0004089166140000039
表示切片s中第j个VNF所需的计算资源，α表示传输速率与所需计算资源之间的相关系数；
步骤3.2、将网络切片核心网的VNF映射问题转化为一个树模型，树中每个节点的子节点数等于服务器节点数，树的深度对应所有切片的VNF总数，树的根节点代表分配方案的起始标记，树的根节点到树的叶子结点之间的路径对应于一种VNF映射方案；
步骤3.3、然后用DFS算法遍历步骤3.2构造的树模型，找到满足核心网各项约束的一种映射方案；
步骤3.4、从树的根节点开始向下搜索，遍历所有的路径，一条路径即对应于一种VNF映射方案，路径中的每个节点代表是否将当前的VNF部署到对应的服务器中，若满足约束，就沿当前节点继续向下搜索，否则进行回溯；直到遍历至树的叶子节点，表示所有切片的VNF均成功部署，找到了一种满足核心网各项约束的VNF部署方案；
步骤3.5、为了降低搜索的时间复杂度，加入剪枝的策略；剪枝策略1：按照每个VNF顺利部署的难度从难到易搜索；剪枝策略2：如果当前节点不满足某个约束，直接回溯，不必搜索出完整的部署方案后统一进行判断。
进一步的，步骤4包括如下步骤：
步骤4.1、首先随机生成多组Associated Tuple,然后用步骤3的DFS+pruning算法生成对应Associated Tuple的标签(0/1)，标签为1表示当前Associated Tuple在核心网成功完成VNF映射，标签为0表示当前Associated Tuple不能在核心网完成VNF映射，所有Associated Tuple以及对应的标签构成训练集D；
步骤4.2、采用随机森林RF算法，利用步骤4.1得到的训练集D训练一个二分类器；
步骤4.3、首先通过bootstrap sampling产生每个决策树的训练集
Figure BDA00040891661400000310
之后用机器学习决策树算法独立训练每个基学习器；
步骤4.4、最终通过投票法结合所有基学习器决策树的输出，从而得到随机森林的分类结果。
进一步的，步骤5包括如下步骤：
步骤5.1、首先为每个切片设定一个智能体，分别编号为：{1,2…,s,…,S}；
步骤5.2、状态空间
Figure BDA0004089166140000041
的设定：对于编号为s的智能体，其状态空间
Figure BDA0004089166140000042
定义为：
Figure BDA0004089166140000043
其中
Figure BDA0004089166140000044
表示切片s的用户集合，Gs表示切片s中用户与基站的信道增益集合，
Figure BDA0004089166140000045
表示切片s中用户的个性化需求集合，Ns表示切片s中用户分配的无线频谱资源RB数集合；因此总的状态空间
Figure BDA0004089166140000046
表示为：
Figure BDA0004089166140000047
步骤5.3、动作空间
Figure BDA0004089166140000048
的设定：对于编号为s的智能体，其动作空间
Figure BDA0004089166140000049
定义为：
Figure BDA00040891661400000410
其中K表示资源池中的无线频谱资源RB总数，
Figure BDA00040891661400000411
表示切片s的用户集合；上述行动空间本质上表示无线频谱资源RB分配的具体方案集合，也表示为行向量形式：
Figure BDA00040891661400000412
其中，如果
Figure BDA00040891661400000413
表示将RB资源k分配给切片s中的用户u；每个智能体负责决策其对应的切片内的无线频谱资源RB分配方案，因此总的动作空间表示为所有切片
Figure BDA00040891661400000414
的笛卡尔积：
Figure BDA00040891661400000415
步骤5.4、奖励函数
Figure BDA00040891661400000416
的设定：将给定的RB分配方案按照步骤2转化为AssociatedTuple，之后将其输入步骤4训练好的随机森林分类器中，判断其是否满足核心网的各项约束；如果给定的RB分配方案满足各项约束，那么奖励函数设置为当前分配方案获得的效益，否则得到一个负的奖励。
进一步的，步骤6包括如下步骤：
步骤6.1、首先初始化IPPO算法中各个智能体的策略网络参数
Figure BDA00040891661400000417
以及价值网络参数
Figure BDA00040891661400000418
步骤6.2、每个智能体观测当前环境状态，并根据当前策略从动作空间
Figure BDA00040891661400000419
中选择一个动作as；
步骤6.3、所有智能体的动作构成一个联合动作：a＝{a1,a2,...,aS}；
步骤6.4、联合动作作用于当前状态，并将当前的状态从s更新为s′，同时得到即时奖励
Figure BDA00040891661400000420
步骤6.5、之后，奖励
Figure BDA00040891661400000421
将作为反馈给予所有的智能体，更新其策略神经网络参数以及价值神经网络参数；
步骤6.6、不断重复步骤6.2-步骤6.5，直到获得的奖励
Figure BDA0004089166140000051
收敛，代表找到了最优的RB资源分配方案。
本发明的一种基于机器学习的端到端网络切片资源分配方法，具有以下优点：强化学习算法作为整个算法的核心环节，根据接收到的奖励反馈不断学习更好的RB资源分配方案。而随机森林算法作为辅助环节，帮助强化学习快速判断其给定的分配方案是否满足核心网的各项约束。两者相辅相成，将原来端到端联合优化的问题在不影响最优解的前提下，转化为在接入网侧和核心网侧单独优化。从而大大降低了计算时间复杂度，提高了资源分配的效率。
附图说明
图1为本发明的随机森林算法训练示意图；
图2为本发明的强化学习算法训练示意图；
图3为本发明的一种基于机器学习的端到端网络切片资源分配方法流程图。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于机器学习的端到端网络切片资源分配方法做进一步详细的描述。
本发明提出了一种基于机器学习的端到端网络切片资源分配方法。
下面给出一种实施实例：
(1)首先根据网络切片数学模型搭建对应的仿真环境，以及初始化网络切片接入网和核心网的各项参数。其中，接入网主要负责将无线频谱资源(RB)分配给切片中的用户，而核心网主要负责将网络切片的VNF映射到合适的通用服务器上。
(2)分析系统模型的特点，找出接入网侧和核心网侧的关联元组(AssociatedTuple)。首先根据接入网给定的RB资源分配方案利用香农公式计算得出切片s中用户u的速率
Figure BDA0004089166140000052
其中
Figure BDA0004089166140000053
是一个01整数变量，表示是否将第k个RB分配给切片s中用户u，W表示一个RB的带宽，Pd表示下行传输功率，Gs,u表示用户与基站之间的信道增益，σ2表示高斯白噪声的功率，之后计算得出每个切片的总速率
Figure BDA0004089166140000054
作为关联元组Associated Tuple中的一部分元素；然后使用二分法求出切片s满足核心网约束的最大可允许时延
Figure BDA0004089166140000061
作为关联元组Associated Tuple中的另一部分元素，其中m表示核心网的时延，
Figure BDA0004089166140000062
表示切片s的用户集合，
Figure BDA0004089166140000063
表示切片s中用户u的个性化时延需求，
Figure BDA0004089166140000064
表示切片s中用户u的接入网时延，
Figure BDA0004089166140000065
表示切片s的最低用户满意度阈值；设置一共有S个切片，因此Associated Tuple表示为：
Figure BDA0004089166140000066
(3)切片s的服务功能链SFC表示为：
Figure BDA0004089166140000067
其中ts表示切片s的SFC中包含的VNF总数，
Figure BDA0004089166140000068
表示切片s的SFC中第j个VNF所属类型，根据步骤2得到的Associated Tuple，用公式
Figure BDA0004089166140000069
计算出切片s中相邻VNF之间所需要的链路带宽资源，其中
Figure BDA00040891661400000610
表示切片s中第j个VNF与第j+1个VNF之间所需要的链路带宽资源，
Figure BDA00040891661400000611
Figure BDA00040891661400000612
表示类型为
Figure BDA00040891661400000613
的VNF的传输速率转换率，用公式
Figure BDA00040891661400000614
计算出切片中所有的VNF所需要的服务器计算资源，其中
Figure BDA00040891661400000615
表示切片s中第j个VNF所需的计算资源，α表示传输速率与所需计算资源之间的相关系数。然后将网络切片核心网的VNF映射问题转化为一个树模型，树中每个节点的子节点数等于服务器节点数，树的深度对应所有切片的VNF总数，树的根节点代表分配方案的起始标记，树的根节点到树的叶子结点之间的路径对应于一种VNF映射方案。之后用深度优先搜索+剪枝(DFS+pruning)的算法遍历上述构造的树模型，找到满足核心网各项约束的一种映射方案。具体为：用DFS算法遍历步骤3.2构造的树模型，找到满足核心网各项约束的一种映射方案；
步骤3.4、从树的根节点开始向下搜索，遍历所有的路径，一条路径即对应于一种VNF映射方案，路径中的每个节点代表是否将当前的VNF部署到对应的服务器中，若满足约束，就沿当前节点继续向下搜索，否则进行回溯；直到遍历至树的叶子节点，表示所有切片的VNF均成功部署，找到了一种满足核心网各项约束的VNF部署方案。
为了降低搜索的时间复杂度，加入剪枝的策略；剪枝策略1：按照每个VNF顺利部署的难度从难到易搜索；剪枝策略2：如果当前节点不满足某个约束，直接回溯，不必搜索出完整的部署方案后统一进行判断。
(4)随机生成多组Associated Tuple,然后用步骤(3)的DFS+pruning算法生成对应Associated Tuple的标签(0/1)，标签为1表示当前Associated Tuple可以在核心网成功完成VNF映射，标签为0表示当前Associated Tuple不能在核心网完成VNF映射，所有Associated Tuple以及对应的标签构成训练集D。然后采用机器学习随机森林(RF)算法，利用上述得到的训练集D训练一个二分类器。具体为：首先通过bootstrap sampling产生每个决策树的训练集
Figure BDA0004089166140000071
之后用机器学习决策树算法独立训练每个基学习器，最终通过投票法结合所有基学习器决策树的输出，从而得到随机森林的分类结果。
(5)在接入网侧，先将网络切片数学模型转化为一个马尔可夫决策过程(MDP)：
Figure BDA0004089166140000072
其中
Figure BDA0004089166140000073
表示状态空间，
Figure BDA0004089166140000074
表示动作空间，
Figure BDA0004089166140000075
表示奖励函数。
包括如下步骤：
步骤5.1、首先为每个切片设定一个智能体，分别编号为：{1,2…,s,…,S}；
步骤5.2、状态空间
Figure BDA0004089166140000076
的设定：对于编号为s的智能体，其状态空间
Figure BDA0004089166140000077
定义为：
Figure BDA0004089166140000078
其中
Figure BDA0004089166140000079
表示切片s的用户集合，Gs表示切片s中用户与基站的信道增益集合，
Figure BDA00040891661400000710
表示切片s中用户的个性化需求集合，Ns表示切片s中用户分配的无线频谱资源RB数集合；因此总的状态空间
Figure BDA00040891661400000711
表示为：
Figure BDA00040891661400000712
步骤5.3、动作空间
Figure BDA00040891661400000713
的设定：对于编号为s的智能体，其动作空间
Figure BDA00040891661400000714
定义为：
Figure BDA00040891661400000715
其中K表示资源池中的无线频谱资源RB总数，
Figure BDA00040891661400000716
表示切片s的用户集合；上述行动空间本质上表示无线频谱资源RB分配的具体方案集合，也表示为行向量形式：
Figure BDA00040891661400000717
其中，如果
Figure BDA00040891661400000718
表示将RB资源k分配给切片s中的用户u；每个智能体负责决策其对应的切片内的无线频谱资源RB分配方案，因此总的动作空间表示为所有切片
Figure BDA00040891661400000719
的笛卡尔积：
Figure BDA00040891661400000720
步骤5.4、奖励函数
Figure BDA00040891661400000721
的设定：将给定的RB分配方案按照步骤2转化为AssociatedTuple，之后将其输入步骤4训练好的随机森林分类器中，判断其是否满足核心网的各项约束；如果给定的RB分配方案满足各项约束，那么奖励函数设置为当前分配方案获得的效益，否则得到一个负的奖励。
(6)最后采用强化学习IPPO算法训练智能体。具体过程为：首先初始化IPPO算法中各个智能体的策略网络参数
Figure BDA00040891661400000722
以及价值网络参数
Figure BDA00040891661400000723
之后每个智能体观测当前环境状态，并根据当前策略从动作空间中选择一个动作as。所有智能体的动作构成一个联合动作：a＝{a1,a2,...,aS}。联合动作作用于当前状态，并将当前的状态从s更新为s′，同时得到即时奖励
Figure BDA00040891661400000724
之后，奖励
Figure BDA00040891661400000725
将作为反馈给予所有的智能体，更新其策略神经网络参数以及价值神经网络参数。不断重复上述过程，直到获得的奖励收敛，说明找了一种满足各项约束并且使得利润尽可能大的RB资源分配方案。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (6)

1.一种基于机器学习的端到端网络切片资源分配方法，其特征在于，包括如下步骤：
步骤1、首先根据网络切片数学模型搭建对应的仿真环境，以及初始化端到端网络切片接入网和核心网参数；接入网负责将RB分配给切片中的用户，RB指的是无线频谱资源块，而核心网负责将网络切片的VNF映射到满足模型约束的通用服务器上，VNF指的是虚拟网络功能；
步骤2、分析网络切片数学模型的特点，通过接入网侧给定的无线频谱资源RB分配方案计算得出接入网侧和核心网侧的Associated Tuple中的各个元素，用于判断对应的分配方案能否在核心网侧成功部署，其中Associated Tuple指的是关联元组；
步骤3、用DFS+pruning算法判断给定的Associated Tuple是否在核心网侧存在满足各项约束的部署方式；其中DFS+pruning算法指的是深度优先搜索+剪枝算法；核心网侧约束包括：服务器的虚拟机VM数量约束、服务器计算资源约束、链路带宽约束以及链路时延约束；
步骤4、随机生成多组Associated Tuple数据集，用DFS+pruning算法得到对应的标签，然后用随机森林算法训练一个二分类器用于快速判断给定的Associated Tuple是否能在核心网完成VNF映射；
步骤5、在接入网侧，先将网络切片数学模型优化问题转化为一个马尔可夫决策过程MDP：
Figure FDA0004089166120000011
其中
Figure FDA0004089166120000012
表示状态空间，
Figure FDA0004089166120000013
表示动作空间，
Figure FDA0004089166120000014
表示奖励函数；
步骤6、采用强化学习IPPO算法训练智能体，用于决策满足各项约束并且使得利润最大的无线频谱资源RB分配方案，IPPO算法指的是独立的近端策略优化算法。
2.根据权利要求1所述的基于机器学习的端到端网络切片资源分配方法，其特征在于，步骤2包括如下步骤：
步骤2.1、首先根据接入网给定的RB资源分配方案利用香农公式计算得出切片s中用户u的速率
Figure FDA0004089166120000015
其中
Figure FDA0004089166120000016
是一个01整数变量，
Figure FDA0004089166120000017
表示将第k个RB分配给切片s中用户u，
Figure FDA0004089166120000018
表示不将第k个RB分配给切片s中用户u，W表示一个RB的带宽，Pd表示下行传输功率，Gs,u表示用户与基站之间的信道增益，σ2表示高斯白噪声的功率，之后计算得出每个切片的总速率
Figure FDA0004089166120000019
作为Associated Tuple中的一部分元素；
步骤2.2、然后使用二分法求出切片s满足核心网约束的最大可允许时延
Figure FDA0004089166120000021
作为Associated Tuple中的另一部分元素，其中m表示核心网的时延，
Figure FDA0004089166120000022
表示切片s的用户集合，
Figure FDA0004089166120000023
表示切片s中用户u的个性化时延需求，
Figure FDA0004089166120000024
表示切片s中用户u的接入网时延，
Figure FDA0004089166120000025
表示切片s的最低用户满意度阈值；
步骤2.3、设置一共有S个切片，因此Associated Tuple表示为：
Figure FDA0004089166120000026
3.根据权利要求1所述的基于机器学习的端到端网络切片资源分配方法，其特征在于，步骤3包括如下步骤：
步骤3.1、切片s的服务功能链SFC表示为：
Figure FDA0004089166120000027
其中ts表示切片s的SFC中包含的VNF总数，
Figure FDA0004089166120000028
表示切片s的SFC中第j个VNF所属类型，根据步骤2得到的Associated Tuple，用公式
Figure FDA0004089166120000029
计算出切片s中相邻VNF之间所需要的链路带宽资源，其中
Figure FDA00040891661200000210
表示切片s中第j个VNF与第j+1个VNF之间所需要的链路带宽资源，
Figure FDA00040891661200000211
Figure FDA00040891661200000212
表示类型为
Figure FDA00040891661200000213
的VNF的传输速率转换率，用公式
Figure FDA00040891661200000214
计算出切片中所有的VNF所需要的服务器计算资源，其中
Figure FDA00040891661200000215
表示切片s中第j个VNF所需的计算资源，α表示传输速率与所需计算资源之间的相关系数；
步骤3.2、将网络切片核心网的VNF映射问题转化为一个树模型，树中每个节点的子节点数等于服务器节点数，树的深度对应所有切片的VNF总数，树的根节点代表分配方案的起始标记，树的根节点到树的叶子结点之间的路径对应于一种VNF映射方案；
步骤3.3、然后用DFS算法遍历步骤3.2构造的树模型，找到满足核心网各项约束的一种映射方案；
步骤3.4、从树的根节点开始向下搜索，遍历所有的路径，一条路径即对应于一种VNF映射方案，路径中的每个节点代表是否将当前的VNF部署到对应的服务器中，若满足约束，就沿当前节点继续向下搜索，否则进行回溯；直到遍历至树的叶子节点，表示所有切片的VNF均成功部署，找到了一种满足核心网各项约束的VNF部署方案；
步骤3.5、为了降低搜索的时间复杂度，加入剪枝的策略；剪枝策略1：按照每个VNF顺利部署的难度从难到易搜索；剪枝策略2：如果当前节点不满足某个约束，直接回溯，不必搜索出完整的部署方案后统一进行判断。
4.根据权利要求1所述的基于机器学习的端到端网络切片资源分配方法，其特征在于，步骤4包括如下步骤：
步骤4.1、首先随机生成多组Associated Tuple,然后用步骤3的DFS+pruning算法生成对应Associated Tuple的标签(0/1)，标签为1表示当前Associated Tuple在核心网成功完成VNF映射，标签为0表示当前Associated Tuple不能在核心网完成VNF映射，所有Associated Tuple以及对应的标签构成训练集D；
步骤4.2、采用随机森林RF算法，利用步骤4.1得到的训练集D训练一个二分类器；
步骤4.3、首先通过bootstrap sampling产生每个决策树的训练集
Figure FDA0004089166120000031
之后用机器学习决策树算法独立训练每个基学习器；
步骤4.4、最终通过投票法结合所有基学习器决策树的输出，从而得到随机森林的分类结果。
5.根据权利要求1所述的基于机器学习的端到端网络切片资源分配方法，其特征在于，步骤5包括如下步骤：
步骤5.1、首先为每个切片设定一个智能体，分别编号为：{1,2...,s,...,S}；
步骤5.2、状态空间
Figure FDA0004089166120000032
的设定：对于编号为s的智能体，其状态空间
Figure FDA0004089166120000033
定义为：
Figure FDA0004089166120000034
其中
Figure FDA0004089166120000035
表示切片s的用户集合，Gs表示切片s中用户与基站的信道增益集合，
Figure FDA0004089166120000036
表示切片s中用户的个性化需求集合，Ns表示切片s中用户分配的无线频谱资源RB数集合；因此总的状态空间
Figure FDA0004089166120000037
表示为：
Figure FDA0004089166120000038
步骤5.3、动作空间
Figure FDA0004089166120000039
的设定：对于编号为s的智能体，其动作空间
Figure FDA00040891661200000310
定义为：
Figure FDA00040891661200000311
其中K表示资源池中的无线频谱资源RB总数，
Figure FDA00040891661200000312
表示切片s的用户集合；上述行动空间本质上表示无线频谱资源RB分配的具体方案集合，也表示为行向量形式：
Figure FDA00040891661200000313
其中，如果
Figure FDA00040891661200000314
表示将RB资源k分配给切片s中的用户u；每个智能体负责决策其对应的切片内的无线频谱资源RB分配方案，因此总的动作空间表示为所有切片
Figure FDA00040891661200000315
的笛卡尔积：
Figure FDA00040891661200000316
步骤5.4、奖励函数
Figure FDA00040891661200000317
的设定：将给定的RB分配方案按照步骤2转化为AssociatedTuple，之后将其输入步骤4训练好的随机森林分类器中，判断其是否满足核心网的各项约束；如果给定的RB分配方案满足各项约束，那么奖励函数设置为当前分配方案获得的效益，否则得到一个负的奖励。
6.根据权利要求1所述的基于机器学习的端到端网络切片资源分配方法，其特征在于，步骤6包括如下步骤：
步骤6.1、首先初始化IPPO算法中各个智能体的策略网络参数
Figure FDA0004089166120000041
以及价值网络参数
Figure FDA0004089166120000042
步骤6.2、每个智能体观测当前环境状态，并根据当前策略从动作空间
Figure FDA0004089166120000043
中选择一个动作as；
步骤6.3、所有智能体的动作构成一个联合动作：a＝{a1,a2,...,aS}；
步骤6.4、联合动作作用于当前状态，并将当前的状态从s更新为s′，同时得到即时奖励
Figure FDA0004089166120000044
步骤6.5、之后，奖励
Figure FDA0004089166120000045
将作为反馈给予所有的智能体，更新其策略神经网络参数以及价值神经网络参数；
步骤6.6、不断重复步骤6.2-步骤6.5，直到获得的奖励
Figure FDA0004089166120000046
收敛，代表找到了最优的RB资源分配方案。
CN202310146059.0A 2023-02-22 2023-02-22 一种基于机器学习的端到端网络切片资源分配方法 Pending CN116112934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310146059.0A CN116112934A (zh) 2023-02-22 2023-02-22 一种基于机器学习的端到端网络切片资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310146059.0A CN116112934A (zh) 2023-02-22 2023-02-22 一种基于机器学习的端到端网络切片资源分配方法

Publications (1)

Publication Number Publication Date
CN116112934A true CN116112934A (zh) 2023-05-12

Family

ID=86256019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310146059.0A Pending CN116112934A (zh) 2023-02-22 2023-02-22 一种基于机器学习的端到端网络切片资源分配方法

Country Status (1)

Country Link
CN (1) CN116112934A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117082009A (zh) * 2023-10-16 2023-11-17 泰雷兹数字科技(北京)有限公司 基于软件定义安全的云资源管理方法及管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117082009A (zh) * 2023-10-16 2023-11-17 泰雷兹数字科技(北京)有限公司 基于软件定义安全的云资源管理方法及管理系统
CN117082009B (zh) * 2023-10-16 2024-02-27 天翼安全科技有限公司 基于软件定义安全的云资源管理方法及管理系统

Similar Documents

Publication Publication Date Title
CN111726826B (zh) 一种基站密集型边缘计算网络中的在线任务卸载方法
CN111970733B (zh) 超密集网络中基于深度强化学习的协作式边缘缓存算法
CN111683381B (zh) 基于深度强化学习的端到端网络切片资源分配方法
CN103916355B (zh) 一种认知ofdm网络中子载波的分配方法
CN112492691B (zh) 一种深度确定性策略梯度的下行noma功率分配方法
CN110851566A (zh) 一种改进的可微分网络结构搜索的方法
CN114025330B (zh) 一种空地协同的自组织网络数据传输方法
CN113098714A (zh) 一种基于深度强化学习的低时延网络切片的方法
CN112788605A (zh) 基于双延迟深度确定性策略边缘计算资源调度方法和系统
CN102497643B (zh) 一种认知无线电功率控制方法
CN116112934A (zh) 一种基于机器学习的端到端网络切片资源分配方法
Shodamola et al. A machine learning based framework for KPI maximization in emerging networks using mobility parameters
CN113239632A (zh) 无线性能预测方法及装置、电子设备和存储介质
CN113613332B (zh) 基于协作分布式dqn联合模拟退火算法的频谱资源分配方法和系统
Saraiva et al. Deep reinforcement learning for QoS-constrained resource allocation in multiservice networks
CN117119486B (zh) 一种保障多小区蜂窝网长期用户速率的深度无监督学习资源分配方法
CN111885551B (zh) 基于边云协同模式的多移动社交网络中高影响力用户的选择和分配机制
CN108307510A (zh) 一种异构小区网络中的功率分配方法
CN115038155B (zh) 一种超密集多接入点的动态协同传输方法
CN116669068A (zh) 一种基于gcn的时延业务端到端切片部署方法及系统
CN116634450A (zh) 一种基于强化学习的动态空地异构网络用户关联增强方法
CN113890653B (zh) 面向多用户利益的多智能体强化学习功率分配方法
CN115915454A (zh) Swipt辅助的下行资源分配方法及装置
CN104955059B (zh) 基于贝叶斯网络的蜂窝网基站状态时变模型建立方法
CN114980178A (zh) 一种基于强化学习的分布式pd-noma水声网络通信方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination