CN111277437B

CN111277437B - 一种智能电网的网络切片资源分配方法

Info

Publication number: CN111277437B
Application number: CN202010054902.9A
Authority: CN
Inventors: 翟迪; 陆阳; 张东磊; 李信; 尚芳剑; 彭柏; 来骥; 王艺霏; 葛俊; 闫忠平; 张少军; 马跃; 王东升; 娄竞; 吴佳; 李贤�; 陈重韬; 刘超; 孟德; 常海娇
Original assignee: Global Energy Interconnection Research Institute; Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd
Current assignee: Global Energy Interconnection Research Institute; Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd
Priority date: 2020-01-17
Filing date: 2020-01-17
Publication date: 2022-11-22
Anticipated expiration: 2040-01-17
Also published as: CN111277437A

Abstract

本发明公开了一种智能电网的网络切片资源分配方法，包括如下步骤：在智能电网核心云中将计算资源、存储资源以及虚拟化网络功能分配给不同的边缘网络；在边缘网络中，边缘服务代理将不同的切片分配给所需的用户；用户代理根据所在网络用户的请求向核心云请求网络切片；核心云的服务代理根据不同的边缘用户代理的请求将切片分配给用户代理给用户分配适应的网络切片资源。本发明实施例提供的网络切片资源分配方法，基于云、边协同的网络切片分配在线分配模型，能够及时、高效地在用户提交业务请求后为其分配所需资源，提供定制化的切片服务。

Description

一种智能电网的网络切片资源分配方法

技术领域

本发明涉及无线通信技术领域，具体涉及一种智能电网的网络切片资源分配方法。

背景技术

网络切片是指利用虚拟化技术将网络基础设施资源虚拟化为多个专用的虚拟网络，可以根据特定业务的网络需求，如功能、性能、安全、运维等方面，提供差异化的网络特征。其实现了业务场景、网络功能和基础设施平台间的适配，可以更好地支持多样化的业务需求。网络切片可以降低网络的复杂性、提升网络运行的性能以及用户的业务体验、降低网络部署及运维的成本。

目前，针对网络切片分配的研究，主要是针对不同业务类型对网络的速率、时延等需求，为用户分配虚拟网络资源。然而，现有的网络切片虚拟资源分配算法主要侧重于频谱资源共享的研究，较少考虑不同业务类型的差异化需求，不能实现定制化的资源分配。

发明内容

因此，本发明提供的一种智能电网的网络切片资源分配方法，克服了现有技术中不能满足不同业务类型的差异化需求，不能实现定制化的资源分配的缺陷。

本发明实施例提供一种智能电网的网络切片资源分配方法，包括如下步骤：在智能电网核心云中将计算资源、存储资源以及虚拟化网络功能分配给不同的边缘网络；在边缘网络中，边缘服务代理将不同的切片分配给所需的用户；用户代理根据所在网络用户的请求向核心云请求网络切片；核心云的服务代理根据不同的用户代理的请求将切片分配给用户代理给用户分配适应的网络切片资源。

在一实施例中，在智能电网核心云中将计算资源、存储资源以及虚拟化网络功能分配给不同的边缘网络的步骤，包括：利用智能电网核心云中的计算资源、存储资源以及虚拟化网络功能建立马尔可夫决策模型；采用增强学习算法将网络切片资源分配给不同的边缘网络。

在一实施例中，所述利用智能电网核心云中的计算资源、存储资源以及虚拟化网络功能建立马尔可夫决策模型的步骤，包括：根据资源利用率和体验质量建立智能电网系统资源评估参数；将核心云网络中用户请求的网络切片种类和数量作为观测数据，通过神经网络进行环境特征提取得到输出向量，定义状态集；根据终端用户的地理分布将接入单元划分多个集群，建立动作集；在神经网络中训练数据，根据其特征可以获取动作集上的概率分布矢量，构建回报函数；通过分配切片，依据转移概率从一个状态转移到任何时隙的其它状态，构建状态转移概率矩阵。

在一实施例中，资源评估参数通过以下公式表示：

其中，η表示资源利用率，

表示体验质量，η_th和

分别是η和

的阈值。

在一实施例中，状态集S通过以下公式计算：

其中，f_NN表示神经网络，O_E表示神经网络中的可变参数。

在一实施例中，采用增强学习算法进行网络切片资源分配给不同的边缘网络的步骤，包括：增强学习算法被配制为元组<S，A，P，R，γ>，其中S是一个有限状态集，A是一组有限的动作，P是一个状态转移概率矩阵，R是回报函数，γ为惩罚因子；建立时隙的状态-动作对的Q函数，在每个时隙中，接入单元可以依据当前状态和回报来计算最佳Q值再选择动作，根据当前状态和所选动作，系统将在下一个时隙切换到新状态，为每个时隙更新Q函数，当累计回报值不再变化时，停止更新。

在一实施例中，第t个时隙的状态-动作对的Q函数为：

其中，r_t是第t个时隙的回报，ρ是学习率，γ∈(0，1)是确定将来回报值的贴现因子，s_t是第t个时隙的状态，a_t是第t个时隙中选择的动作。

在一实施例中，在边缘网络中采用比例公平调度算法，边缘服务代理将不同的切片分配给所需的用户，包括：将网络切片优化问题建模为一个混合整数非线性规划问题，根据切片是否被访问状态，获取终端用户的信道速率；采用比例公平调度算法将资源分配给具有最高信道质量的用户，并获取终端用户分配的子频率f，及每个接入单元的总耗能P_AU；根据每个服务需求的反馈值以最优的体验质量分配网络切片资源。

在一实施例中，每个接入单元的总耗能P_AU通过以下公式表示：

P_AU＝∑(ηa_nω_iP_i，k+P_cir+P_bh)

其中，η＞1是一个常数，P_cir为总电路功耗，a_n是第n个切片的优先级，P_i，k是第i个终端用户从第k个服务代理处接收到的功率，以及P_bh是回程的能耗，ω_i是作为切片是否被访问状态。

在一实施例中，第n类网络切片的体验质量通过以下公式表示：

V_n＝g(D_n，C_n，P_n，a_n，u_n)

其中，D_n为n类网络切片的总延迟，C_n为n类网络切片的通信速率，P_n为n类网络切片的传输速率，a_n是第n个切片的优先级，U_n是所有用户设备的集合。

在一实施例中，假定核心云可以提供足够的切片给边缘用户，则建模的模型为：

目标函数：

约束条件：

其中，C_i为信道速率，τ是一个常数，用于判断应用程序是否对延迟敏感，l是延迟的要求，I{l＜τ}是一个指标函数，如果l＜τ等于零，I则等于1，R_th是每个终端用户的数据速率的阈值，N_n是相邻网络数，P_I是相邻接入单元引起的总干扰，P_j和h_j是终端用户和第j个相邻接入单元之间的信道的发射功率和信道增益，I_max是总干扰阈值，P_AU是表示每个接入单元的总能耗，U_n是所有用户设备的集合，R_n是服务中所有用户设备的整体数据速率的阈值，ω_i是作为切片是否被访问状态，P_max表示总功率阈值，

其中，T_k(f)表示第k个TU相对于f的平均吞吐量，ρ_k(m，f)是第k个TU的信噪比，与第m个PRB以及频率相关。

在一实施例中，将建模有约束的模型转化为无约束的模型；利用迭代算法求解无约束的模型的目标函数的最优解，根据最优解分配网络资源。

在一实施例中，所述无约束的模型通过以下公式表示：

其中，G(p，r)表示优化的目标函数，r是惩罚系数，p是由接入单元的发射功率组成的向量，p_i为接收信号的功率，p_n为其它蜂窝网络的噪声功率，T表示是信道的带宽，h表示信道增益，B(p)通过以下公式表示：

其中，P_max表示，I_max是总干扰阈值。

本发明技术方案，具有如下优点：

本发明实施例提供的智能电网的网络切片资源分配方法，在智能电网核心云中将计算资源、存储资源以及虚拟化网络功能分配给不同的边缘网络；在边缘网络中，边缘服务代理将不同的切片分配给所需的用户；用户代理根据所在网络用户的请求向核心云请求网络切片；核心云的服务代理根据不同的边缘用户代理的请求将切片分配给用户代理给用户分配适应的网络切片资源。本发明实施例提供的方法基于云、边协同的网络切片分配在线分配模型，能够及时、高效地在用户提交业务请求后为其分配所需资源，提供定制化的切片服务。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的智能电网的网络切片资源分配方法的一个具体示例的流程图；

图2为本发明实施例提供的网络切片资源切片分配系统模型的示意图；

图3为本发明实施例提供的利用智能电网核心云中的计算资源、存储资源以及虚拟化网络功能建立马尔可夫决策模型的一个具体示例的流程图；

图4为本发明实施例提供的核心云中基于增强学习的切片分布算法图；

图5为本发明实施例提供的在边缘网络中采用比例公平调度算法进行资源分配的一个具体示例的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供的智能电网的网络切片资源分配方法，通过建立电力网络中的基于云-边缘计算联合的两阶段合作切片分配的模型，可以优化网络切片的分配，如图1所示，该包括如下步骤：

步骤S1：在智能电网核心云中将计算资源、存储资源以及虚拟化网络功能分配给不同的边缘网络。

步骤S2:在边缘网络中，边缘服务代理将不同的切片分配给所需的用户。

步骤S3:用户代理根据所在网络用户的请求向核心云请求网络切片。

步骤S4:核心云的服务代理根据不同的边缘用户代理的请求将切片分配给用户代理给用户分配适应的网络切片资源。

本发明实施例将网络切片的分配分成两个阶段，在第一阶段，核心云利用增强学习方法将计算资源、存储资源以及NVF等分配给不同的边缘网络，考虑到了动态资源分配及环境变化的优点，公平性及延迟性上有很大提升，第二阶段，在边缘网络中，采用比例公平调度(Proportional Fair Scheduling，PFS)算法，边缘服务代理将不同的切片分配给所需的用户；用户根据自己的需求先向边缘服务代理提出请求，用户代理根据所在网络的用户的请求向核心云请求网络切片资源。

本发明实施例，通过建立如图2所示的基于云、边协同的网络切片分配在线分配模型，能够及时、高效地在用户提交业务请求后为其分配所需资源，提供定制化的切片服务。

在一具体实施例中，在智能电网核心云中将计算资源、存储资源以及虚拟化网络功能分配给不同的边缘网络的步骤，包括：利用智能电网核心云中的计算资源、存储资源以及虚拟化网络功能建立马尔可夫决策模型；采用增强学习算法进行网络切片资源分配给不同的边缘网络。

在本发明实施例中，利用智能电网核心云中的计算资源、存储资源以及虚拟化网络功能建立马尔可夫决策模型的步骤，如图3所示，包括：

步骤S11:根据资源利用率和体验质量建立智能电网系统资源评估参数。

资源评估参数通过以下公式表示：

其中，η表示资源利用率，

表示体验质量，η_th和

分别是η和

的阈值。

步骤S12:将核心云网络中用户请求的网络切片种类和数量作为观测数据，通过神经网络进行环境特征提取得到输出向量，定义状态集；

状态集S通过以下公式计算：

其中，f_NN表示神经网络，O_E表示神经网络中的可变参数。

步骤S13:根据终端用户的地理分布将接入单元划分多个集群，建立动作集。

本发明实施例将远程无线电头(The remote radio heads,RRHs)聚在一起，创建一个接入单元AU(Acess unit)以减少小区间干扰和降低切换过程的成本。根据小区中服务中终端用户TU(Terminal user)的地理分布，将AU划分为M个集群。每个集群应仅分配给一项服务。因此，可以定义动作

A＝{a₁,a₂,a₃,...,a_M}_N

其中，N是每个服务切片的下标，M是动作集A的维数，a_i具有两个值1和0，指示第i个集群是否属于N。

步骤S14:在神经网络中训练数据，根据其特征可以获取动作集上的概率分布矢量，构建回报函数；

本发明实施例在神经元网络中训练数据，根据其特征可以获取动作集上的概率分布矢量，可以最大化分布矢量的概率，使系统达到最佳性能。回报函数r定义为：

其中，S表示状态。以上S的取值区间仅以此举例，不以此为限，在实际应用中，根据实际需求合理设置。

步骤S15:通过分配切片，依据转移概率从一个状态转移到任何时隙的其它状态，构建状态转移概率矩阵。

在一具体实施例中，如图4所示，采用增强学习算法进行网络切片资源分配给不同的边缘网络的步骤，包括：采用增强学习算法被配制为元组<S,A,P,R,γ＞，其中S是一个有限状态集，A是一组有限的动作，P是一个状态转移概率矩阵，R是回报函数，γ为惩罚因子；

建立时隙的状态-动作对的Q函数，在每个时隙中，接入单元可以依据当前状态和回报来计算最佳Q值再选择动作，根据当前状态和所选动作，系统将在下一个时隙切换到新状态，为每个时隙更新Q函数，当累计回报值不再变化时，停止更新。

本发明实施例中，第t个时隙的状态-动作对的Q函数为：

其中，r_t是第t个时隙的回报，ρ是学习率,γ∈(0,1)是确定将来回报值的贴现因子，s_t是第t个时隙的状态，a_t是第t个时隙中选择的动作。

每个时隙更新Q函数。算法如下：

初始化Q_t(s_t,a_t),ρ,γ,

For ε＝1，M do

初始化s

For t＝1，T do

计算s

以概率ε-greed随机选择动作

通过ξ评估

观测r,st+1

更新值函数Qt(st,at)

End for

End For

在一具体实施例中，在边缘网络中采用比例公平调度算法，边缘服务代理将不同的切片分配给所需的用户的步骤，如图5所示，包括：

步骤S21：将网络切片优化问题建模为一个混合整数非线性规划问题，根据切片是否被访问状态，获取终端用户的信道速率；定义w_i∈{0，1}作为切片是否被访问状态。因此，对于第i个终端用户的信道速率为

其中，p_n和p_I为其它蜂窝网络的噪声功率和干扰功率，p_i是接收信号的功率以及h是信道增益以及T是信道的带宽。

步骤S22：采用比例公平调度算法将资源分配给具有最高信道质量的用户，并获取终端用户分配的子频率k，及每个接入单元的总耗能P。

本发明实施例中将第m个物理资源块(Physical Resource Block，PRB)中的第k个TU分配子频率f，则

其中，T_k(f)表示第k个TU相对于f的平均吞吐量。ρ_k(m，f)是第k个TU的信噪比(Signal Noise Ratio，SNR)，与第m个PRB以及频率相关。

本发明实施例中，每个接入单元的总耗能为：

P_AU＝∑(ηa_nω_iP_i，k+P_cir+P_bh)

步骤S23：根据每个服务需求的反馈值以最优的体验质量分配网络切片资源。

本发明实施例中，云服务器可获取每个服务需求的反馈值，如延迟，数据速率、功率、优先级和切片类型等。基于这些参数，以QoE最优来分配网络切片资源。则第n类网络切片的QoE表示为

V_n＝g(D_n，C_n，P_n，a_n，u_n)

为了将问题简单化，假定核心云可以提供足够的切片给边缘用户，则建模的模型为：

目标函数：

约束条件：

其中，C_i为信道速率，τ是一个常数，用于判断应用程序是否对延迟敏感，l是延迟的要求，I{l＜τ}是一个指标函数，如果l＜τ等于零，I则等于1，R_th是每个终端用户的数据速率的阈值，N_n是相邻网络数，P_I是相邻接入单元引起的总干扰，P_j和h_j是终端用户和第j个相邻接入单元之间的信道的发射功率和信道增益，I_max是总干扰阈值，P_AU是表示每个接入单元的总能耗，U_n是所有用户设备的集合，R_n是服务中所有用户设备的整体数据速率的阈值，ω_i是作为切片是否被访问状态，P_max表示总功率阈值。

将建模有约束的模型转化为无约束的模型，所述无约束的模型通过以下公式表示：

其中，P_max表示总功率阈值，I_max是总干扰阈值。

利用迭代算法求解无约束的模型的目标函数的最优解，根据最优解分配网络资源，根据最优解分配网络资源。

本发明实施例中，迭代算法描述如下：

设置容忍参数ε＞0

初始化惩罚系数rk

初始化递减因子β∈(0，1)

设置p(k-1)作为初始点，求解

While(1)do

最小值为p(k)

If rk×B(p(k))<εthen

exit

else

let rk+1＝β×r k,

k＝k+1,

end if

End While

本发明实施例基于云、边协同的网络切片分配在线分配模型，能够及时、高效地在用户提交业务请求后为其分配所需资源，提供定制化的切片服务。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims

1.一种智能电网的网络切片资源分配方法，其特征在于，包括如下步骤：

在智能电网核心云中将计算资源、存储资源以及虚拟化网络功能分配给不同的边缘网络，包括：根据资源利用率和体验质量建立智能电网系统资源评估参数；

将核心云网络中用户请求的网络切片种类和数量作为观测数据，通过神经网络进行环境特征提取得到输出向量，定义状态集；

根据终端用户的地理分布将接入单元划分多个集群，建立动作集；

在神经网络中训练数据，根据其特征可以获取动作集上的概率分布矢量，构建回报函数；

通过分配切片，依据转移概率从一个状态转移到任何时隙的其它状态，构建状态转移概率矩阵；

增强学习算法被配制为元组<S,A,P,R,γ>，其中S是一个有限状态集，A是一组有限的动作，P是一个状态转移概率矩阵，R是回报函数，γ为惩罚因子；

建立时隙的状态-动作对的Q函数，在每个时隙中，接入单元可以依据当前状态和回报来计算最佳Q值再选择动作，根据当前状态和所选动作，系统将在下一个时隙切换到新状态，为每个时隙更新Q函数，当累计回报值不再变化时，停止更新；

在边缘网络中，边缘服务代理将不同的切片分配给所需的用户，包括：

将网络切片优化问题建模为一个混合整数非线性规划问题，根据切片是否被访问状态，获取终端用户的信道速率；

采用比例公平调度算法将资源分配给具有最高信道质量的用户，并获取终端用户分配的子频率f，及每个接入单元的总耗能P_AU；

根据每个服务需求的反馈值以最优的体验质量分配网络切片资源；

用户代理根据所在网络用户的请求向核心云请求网络切片；

核心云的服务代理根据不同的用户代理的请求将切片分配给用户代理给用户分配适应的网络切片资源。

2.根据权利要求1所述的智能电网的网络切片资源分配方法，其特征在于，资源评估参数通过以下公式表示：

ξ＝η/η_th+θ/θ_th，

其中，η表示资源利用率，θ表示体验质量，η_th和θ_th分别是η和θ的阈值。

3.根据权利要求1所述的智能电网的网络切片资源分配方法，其特征在于，状态集S通过以下公式计算：

其中，f_NN表示神经网络，O_E表示神经网络中的可变参数。

4.根据权利要求1所述的智能电网的网络切片资源分配方法，其特征在于，第t个时隙的状态-动作对的Q函数为

5.根据权利要求1所述的智能电网的网络切片资源分配方法，其特征在于，每个接入单元的总耗能P_AU通过以下公式表示：

P_AU＝∑(ηa_nω_iP_i,k+P_cir+P_bh)

其中，η>1是一个常数，P_cir为总电路功耗，a_n是第n个切片的优先级，P_i,k是第i个终端用户从第k个服务代理处接收到的功率，以及P_bh是回程的能耗，ω_i是作为切片是否被访问状态。

6.根据权利要求5所述的智能电网的网络切片资源分配方法，其特征在于，第n类网络切片的体验质量通过以下公式表示:

V_n＝g(D_n,C_n,P_n,a_n,U_n)

其中，D_n为n类网络切片的总延迟，C_n为n类网络切片的通信速率，P_n为n类网络切片的传输速率，a_n是第n个切片的优先级,U_n是所有用户设备的集合。

7.根据权利要求5所述的智能电网的网络切片资源分配方法，其特征在于，假定核心云可以提供足够的切片给边缘用户，则建模的模型为：

目标函数:

约束条件：

s.t.:C_i≥R_th,

ω_i∈{0,1},

其中，C_i为信道速率，τ是一个常数，用于判断应用程序是否对延迟敏感，l是延迟的要求，I{l<τ}是一个指标函数，如果l<τ等于零，I则等于1，R_th是每个终端用户的数据速率的阈值，N_n是相邻网络数，P_I是相邻接入单元引起的总干扰，P_j和h_j是终端用户和第j个相邻接入单元之间的信道的发射功率和信道增益，I_max是总干扰阈值，P_AU是表示每个接入单元的总能耗，U_n是所有用户设备的集合，R_n是服务中所有用户设备的整体数据速率的阈值，ω_i是作为切片是否被访问状态，P_max表示总功率阈值，

其中，T_k(f)表示第k个TU相对于f的平均吞吐量，ρ_k(m,f)是第k个TU的信噪比，与第m个PRB以及频率相关。

8.根据权利要求7所述的智能电网的网络切片资源分配方法，其特征在于，还包括：

将建模有约束的模型转化为无约束的模型；

利用迭代算法求解无约束的模型的目标函数的最优解，根据最优解分配网络资源。

9.根据权利要求8所述的智能电网的网络切片资源分配方法，所述无约束的模型通过以下公式表示：

其中，G(p,r)表示优化的目标函数，r是惩罚系数，p是由接入单元的发射功率组成的向量，p_i为接收信号的功率，p_n为其它蜂窝网络的噪声功率，T表示是信道的带宽，h表示信道增益，B(p)通过以下公式表示：

其中，P_max表示总功率阈值，I_max是总干扰阈值。