CN113840333B

CN113840333B - 电网资源分配的方法、装置、电子设备及存储介质

Info

Publication number: CN113840333B
Application number: CN202110939292.5A
Authority: CN
Inventors: 赵豫京; 申京; 李永杰; 丰雷; 王欣; 赵景隆; 郭昊; 李琳; 谢坤宜; 周凡钦
Original assignee: State Grid Corp of China SGCC; Beijing University of Posts and Telecommunications; Information and Telecommunication Branch of State Grid Henan Electric Power Co Ltd
Current assignee: State Grid Corp of China SGCC; Beijing University of Posts and Telecommunications; Information and Telecommunication Branch of State Grid Henan Electric Power Co Ltd
Priority date: 2021-08-16
Filing date: 2021-08-16
Publication date: 2023-11-10
Anticipated expiration: 2041-08-16
Also published as: CN113840333A

Abstract

本发明公开了电网资源分配的方法、装置、电子设备及存储介质，包括：获取当前电网状态，将当前电网状态输入至训练好的电网资源分配模型，得到对电网进行资源分配的动作描述信息，根据动作描述信息对电网的各个网络切片进行资源分配，其中，训练好的电网资源分配模型为利用不同电网状态以及不同电网状态对应的服务质量满意度进行训练后得到。本发明通过将当前电网状态输入至训练好的电网资源分配模型，得到对电网进行资源分配的动作描述信息，从而实现各个网络切片的资源合理分配，保证资源分配的准确和实时更新。

Description

电网资源分配的方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，具体涉及电网资源分配的方法、装置、电子设备及存储介质。

背景技术

网络切片是5G的重要技术之一，网络切片对现有物理网络进行切分，形成多个彼此独立的逻辑网络，为差异化业务提供定制化服务。根据不同业务的服务质量(Quality ofService，QoS)需求，网络切片被分配相应的网络功能和网络资源，使运营商能够构建灵活的网络，以满足不同行业垂直领域的各种使用情况。

目前电力行业迫切需要可靠、稳定、实时、高效的新兴通讯技术系统，使智能设备的信息收集和状态监测得以实现，使电力行业中新型用电模式和作业方式得到激发。而5G网络切片正好具有相应的匹配能力，可以实现“比特+瓦特”的完美结合。每一种电力服务都有不同的服务质量要求，这就导致了网络切片划分的变化。在基于切片的网络体系结构中，切片质量的好坏直接影响到网络的性能，因此切片资源的动态优化显得尤为重要。但现有技术仅考虑资源分配问题，并没有将资源动态分配的优化以及切片的资源效率结合起来综合考虑。同时，对于不同业务场景下对资源的需求也是网络切片资源分配时的重要一环，从而可以更好的为用户提供定制化的资源分配方案，使得多切片共存。

综上，目前亟需一种电网资源分配的技术，用于解决上述现有技术存在的问题。

发明内容

由于现有方法存在上述问题，本发明提出电网资源分配的方法、装置、电子设备及存储介质。

第一方面，本发明提供了一种电网资源分配的方法，包括：

获取当前电网状态；所述电网状态包含电网中各个网络切片资源分配状态、各个基站频谱利用率以及各个网络切片的服务质量满意度；

将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息；

根据所述动作描述信息对所述电网的各个网络切片进行资源分配；

其中，所述训练好的电网资源分配模型为利用不同电网状态以及不同电网状态对应的服务质量满意度进行训练后得到。

进一步地，在将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息之前，还包括：

获取预设数量的训练样本集；每组训练样本包含第一电网状态、动作描述信息、第二电网状态、动作奖励；所述第一电网状态为执行所述动作描述信息对应的动作前各个网络切片资源分配状态；所述第二电网状态为执行所述动作描述信息对应的动作后各个网络切片资源分配状态；所述动作奖励为执行所述动作描述信息后对应的奖励值；

根据所述第一电网状态、所述动作描述信息、所述第二电网状态、所述动作奖励确定所述电网资源分配模型的损失函数；

根据所述损失函数更新所述电网资源分配模型的参数，得到训练好的电网资源分配模型。

进一步地，所述获取当前电网状态，包括：

获取传输速率满意度以及时延满意度；

根据所述传输速率满意度以及所述时延满意度确定各个网络切片的服务质量满意度。

进一步地，所述获取时延满意度，包括：

获取固有时延、传播时延以及排队时延；

根据所述固有时延、所述传播时延以及所述排队时延确定所述时延满意度。

进一步地，所述根据所述第一电网状态、所述动作描述信息、所述第二电网状态、所述动作奖励确定所述电网资源分配模型的损失函数，包括：

根据所述第二电网状态对应的服务质量满意度以及各个基站频谱利用率确定所述动作描述信息对应的动作奖励；

根据所述动作奖励确定所述电网资源分配模型的损失函数。

第二方面，本发明提供了一种电网资源分配的装置，包括：

获取模块，用于获取当前电网状态；所述电网状态包含电网中各个网络切片资源分配状态、各个基站频谱利用率以及各个网络切片的服务质量满意度；

处理模块，用于将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息；根据所述动作描述信息对所述电网的各个网络切片进行资源分配；其中，所述训练好的电网资源分配模型为利用不同电网状态以及不同电网状态对应的服务质量满意度进行训练后得到。

进一步地，所述处理模块还用于：

在将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息之前，获取预设数量的训练样本集；每组训练样本包含第一电网状态、动作描述信息、第二电网状态、动作奖励；所述第一电网状态为执行所述动作描述信息对应的动作前各个网络切片资源分配状态；所述第二电网状态为执行所述动作描述信息对应的动作后各个网络切片资源分配状态；所述动作奖励为执行所述动作描述信息后对应的奖励值；

进一步地，所述处理模块具体用于：

获取传输速率满意度以及时延满意度；

进一步地，所述处理模块具体用于：

获取固有时延、传播时延以及排队时延；

进一步地，所述处理模块具体用于：

根据所述动作奖励确定所述电网资源分配模型的损失函数。

第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的电网资源分配的方法。

第四方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的电网资源分配的方法。

由上述技术方案可知，本发明提供的电网资源分配的方法、装置、电子设备及存储介质，通过将当前电网状态输入至训练好的电网资源分配模型，得到对电网进行资源分配的动作描述信息，从而实现各个网络切片的资源合理分配，保证资源分配的准确和实时更新。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明提供的电网资源分配的方法的系统框架；

图2为本发明提供的电网资源分配的方法的流程示意图；

图3为本发明提供的电网资源分配的方法的流程示意图；

图4为本发明提供的训练电网资源分配模型的流程示意图；

图5为本发明提供的电网资源分配的装置的结构示意图；

图6为本发明提供的电子设备的结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明实施例提供的电网资源分配的方法，可以适用于如图1所示的系统架构中，该系统架构包括电网资源分配模型100、网络切片200。

本发明实施例中，由于终端移动性和无线环境的时变性等固有特点，一旦单个基站网络切片的终端数量发生变化，则可能出现资源不够或者资源过剩的问题。因此，需要根据电网状态进行预测，并动态调整各个网络切片的资源分配，从而将网络切片资源的动态调整映射到不同的基站上。

具体的，电网资源分配模型100用于在输入当前电网状态后，得到对电网进行资源分配的动作描述信息。

进一步地，根据动作描述信息对电网的各个网络切片200进行资源分配。

需要说明的是，其中，训练好的电网资源分配模型为利用不同电网状态以及不同电网状态对应的服务质量满意度进行训练后得到。

需要说明的是，图1仅是本发明实施例系统架构的一种示例，本发明对此不做具体限定。

基于上述所示意的系统架构，图2为本发明实施例提供的一种电网资源分配的方法所对应的流程示意图，如图2所示，该方法包括：

步骤201，获取当前电网状态。

需要说明的是，电网状态包含电网中各个网络切片资源分配状态、各个基站频谱利用率以及各个网络切片的服务质量满意度。

在一种可能的实施方式中，各个网络切片资源分配状态为电网中各个基站给各个网络切片分配的资源比例。

举例来说，电网中包含切片1、切片2、切片3、基站A、基站B以及基站C，各个网络切片资源分配状态具体为：切片1占基站A总资源的15％、占基站B总资源的25％、占基站C总资源的10％；切片2占基站A总资源的10％、占基站B总资源的15％、占基站C总资源的20％；切片3占基站A总资源的25％、占基站B总资源的15％、占基站C总资源的20％。

本发明实施例中，资源分配状态分成初始资源分配状态和动态资源分配状态2个阶段。

进一步地，初始资源分配状态是指根据签订的QoS协定，每个基站给各个切片分配一个固定的资源比例。

本发明实施例中，各个基站频谱利用率指基站实际使用的频谱资源与基站所有频谱资源的占比。

举例来说，基站A频谱利用率为70％，表示基站A实际使用的频谱资源占基站A所有频谱资源的70％。

进一步地，当前电网状态对应的服务质量满意度为电网中各个网络切片的服务质量满意度的平均值。

步骤202，将当前电网状态输入至训练好的电网资源分配模型，得到对电网进行资源分配的动作描述信息。

步骤203，根据动作描述信息对电网的各个网络切片进行资源分配。

上述方案，通过将当前电网状态输入至训练好的电网资源分配模型，得到对电网进行资源分配的动作描述信息，从而实现各个网络切片的资源合理分配，保证资源分配的准确和实时更新。

本发明实施例在步骤201中，步骤流程如图3所示，具体如下：

步骤301，获取传输速率满意度以及时延满意度。

需要说明的是，传输速率满意度为电网中终端对传输速率敏感的服务质量满意度，时延满意度为电网中终端对时延敏感的服务质量满意度。

本发明实施例中，假设基站的带宽B，频域资源离散化表示为M个连续的资源块(Resource Block，RB)，每个资源块的带宽为B_m。因此，根据香农定理，终端u从基站k可以获得的传输速率为：

c_uk＝B_uk*log₂(1+ζ_uk)

其中，B_uk为终端u从基站k处得到的总带宽，ζ_uk为终端u和基站k之间信道传播的信噪比。

本发明实施例中，不同网络切片对时延和传输速率的要求是不同的。基于此，下面介绍基站对每个终端的服务时延。

在一种可能的实施方式中，时延包含固有时延、传播时延以及排队时延。

本发明实施例中，获取固有时延、传播时延以及排队时延；

根据固有时延、传播时延以及排队时延确定时延满意度。

具体的，固有时延T1包括发送端设备对数据进行打包产生的时延d1，接收端设备对数据包解包产生的时延d2，和传输经过的基站节点固有的时延d3。通常d1、d2、d3数值很小且固定，只有几微秒。

进一步地，从发送端到接收端经过基站节点的个数表示为h，固有时延表示为如下公式：

T1＝d1+d2+h*d3

进一步地，传播时延T2是数据信号在传输介质中的时间，T2的数值大小与传输介质的物理特性和传播距离有关。

举例来说，电信号在空间的传播速度接近光速即3×10⁸m/s，即每千米的时延为3.33μs；光信号在光纤中的传播速度是光速的2/3，即每千米的时延为5μs。

进一步地，假设网络切片内队列数据包某一时刻到达服从泊松分布，那么数据包到达时间间隔和服务时间都服从指数分布，每个虚拟基站节点可被视为一个M/M/1排队系统，切片网络中虚拟节点集合表示为V＝{v₀，v₁，……，v_m}，且2个节点之间只有一条链路。源节点向目的节点发送N个数据流，数据流集合F＝{f₁，f₂，……，f_N}，都沿着最佳路径P_k传输。网络中所有业务的服务次序都服从先到先服务原则，并且具有相同的优先级。

基于此，对于节点v_i，数据包到达速率为λ_i，服务速率为μ_i。节点v_i的利用率ρ_i为：

节点v_i的队列为Q_i，节点v_i数据包的平均个数E(Q_i)表示为：

进一步地，设任一数据流f_k(k＝1，2，……，N)在路径Pk传送经过基站节点个数为h，因为网络中各个节点相互独立，所以f_k在路径P_k上的总队列长度是各个基站节点队列长度的总和，总队列长度表示为：

本发明实施例中，根据Little定理，数据流f_k经过路径P_k的时延用τ_k(k＝1，2，……，N)表示，那么时延的平均值E_uk(τ_k)表示为：

进一步地，电网业务数据流的端到端平均时延T_uk表示为：

T_uk＝T1+T2+E_uk(τ_k)

步骤302，根据传输速率满意度以及时延满意度确定各个网络切片的服务质量满意度。

本发明实施例中，不同网络切片的服务类型不同，其对传输速率或时延要求也不相同。

假设网络切片n所服务的终端u的最小速率需求为最大时延需求为/>在一个调度周期T，每个终端根据获得的速率和时延自动计算服务质量满意度Sat_u，然后对该切片的所有终端的满意度求平均，得到该切片所服务的终端的平均满意度函数Sat_n。

具体的，终端u对速率敏感的服务质量满意度即传输速率满意度如下：

具体的，终端u对时延敏感的服务质量满意度即时延满意度如下：

其中，β₁和β₂为Sigmoid函数的斜率。

基于此，网络切片n的平均满意度的计算公式具体如下：

需要说明的是，其中，U_n表示网络切片n的终端数量。

上述方案，通过各切片对服务质量满意度如传输速率、时延的不同要求，动态分配网络资源，实现切片间资源的保护和隔离。

本发明实施例在步骤202之前，步骤流程如图4所示，具体如下：

步骤401，获取预设数量的训练样本集。

需要说明的是，每组训练样本包含第一电网状态、动作描述信息、第二电网状态、动作奖励。

具体的，第一电网状态为执行动作描述信息对应的动作前各个网络切片资源分配状态；第二电网状态为执行动作描述信息对应的动作后各个网络切片资源分配状态；动作奖励为执行动作描述信息后对应的奖励值。

本发明实施例中，训练样本集的产生过程如下：

s⁰→a⁰→r¹→s¹→…→s^t-1→a^t-1→r^t→s^t→…

需要说明的是，其中，s^t表示t时刻的电网状态，a^t-1表示t-1时刻采取的动作的动作描述信息，r^t表示t时刻获取的动作奖励。

本发明实施例中，每获取一个电网状态，便会根据贪心算法选取并执行一个动作。动作即动态调整各个网络切片资源分配状态。也就是说，在初始资源分配状态的基础上，增加或减少一定的比例。

举例来说。假设初始资源分配状态的资源比例为V_s，所执行的动作为a，则调整后的资源比例满足如下公式：

V_s′＝V_s(1+a)

需要有说明的是，本发明实施例仅在离散动作空间选取动作，需要将连续的动作空间进行离散化处理。如果单切片场景的动作空间的维度为M，N个切片共存场景，则动作空间的维度为MN。

步骤402，根据第一电网状态、动作描述信息、第二电网状态、动作奖励确定电网资源分配模型的损失函数。

本发明实施例中，根据第二电网状态对应的服务质量满意度以及各个基站频谱利用率确定动作描述信息对应的动作奖励；

根据动作奖励确定电网资源分配模型的损失函数。

具体的，本发明实施例根据当前策略π、电网状态s^t、动作描述信息a^t，可以得到Q值Q_π(s^t，a^t)和状态值V_π(s^t)。

进一步地，Q值Q_π(s^t，a^t)和状态值V_π(s^t)具体如下：

Q_π(s^t，a^t)＝E{r^t|s^t＝s，a^t＝a，π}

进一步地，值函数Q的最优方程可表示为：

其中，γ为马尔可夫过程的衰减因子，P为当前电网状态s^t转移到下一个电网状态s^t+1的概率。

进一步地，定义决策函数如下：

A_π(s^t，a^t)＝Q_π(s^t，a^t)-V_π(s^t)A_π(s^t，a^t)

需要说明的是，状态值函数V用来衡量状态s的好坏，值函数Q用来评价在当前电网状态s^t下选择某个特定动作a^t的好坏。

本发明实施例中，对于确定性策略由于Q(s^t，a^t)＝V(s)，可得A(s^t，a^t)＝0。

基于此，值函数Q可以表示为：

其中，θ为卷积层参数，ζ为决策函数的参数，ξ为状态值函数的参数。

进一步地，本发明实施例中损失函数的具体计算如下：

需要说明的是，其中，若当作监督学习来看，可以看作是样本的真实值，Q(s,a,θ)可以看作预测值。

步骤403，根据损失函数更新电网资源分配模型的参数，得到训练好的电网资源分配模型。

本发明实施例中，终端在各个网络切片完成资源分配后获得相应的资源块。进而，终端获得服务质量满意度评估，并统计得到各个基站频谱利用率，从而反馈一个动作奖励，电网状态更新至下一个状态。

进一步地，将当前电网状态、动作描述信息、动作奖励和下一个状态组成一个四元组，作为一个样本存储到记忆池。通过记忆回放机制，根据训练周期配置从记忆池随机选取预设数量的训练样本集对模型进行强化训练，从而不断更新模型的参数来降低损失。

上述方案，选取预设数量的训练样本集对电网资源分配模型进行强化训练，从而不断更新模型的参数来降低损失，保证资源分配的准确和实时更新。

本发明实施例中，根据服务质量满意度以及各个基站频谱利用率确定动作描述信息对应的动作奖励。

在每次迭代中，本发明实施例都会根据当前电网状态选取并执行一个动作，然后电网状态转移至下一个状态并反馈一个动作奖励。

针对电网的多切片共存场景，假设网络内存在N个切片，Sat_n为第n个切片的服务质量满意度，网络内所有网络切片的服务质量满意度平均值为Sat_t，具体计算如下：

进一步地，单个基站的频谱利用率为EU_t，具体计算如下：

其中，EU_used表示单个基站被使用的频谱资源，EU_total表示单个基站拥有的全部频谱资源。

进一步地，动作奖励的具体计算公式如下：

r_s＝αSat_t+βEU_t

其中，α(0≤α≤1)为服务质量满意度的权重，β(0≤β≤1)为频谱利用率的权重。

进一步地，α还可以用如下公式表示：

α＝σ(Sat_s-EU_s)

其中，σ(·)为Sigmoid函数,α∈[0,1]表示每个动作奖励度量的重要性。由于满意度函数和资源利用率均为0至1，因此上式α也为0至1，从而保证r_s为0至1。

在一种可能的实施方式中，β与α引入线性关系，即β＝1-α，使得这2个权重值能够自动调整。

基于此，采用基于分数的合并机制，自动平衡2个独立因素对动作奖励的影响。使电网资源分配模型能够自动学习和调整以适应新的场景。

上述方案，依据不同业务对网络资源需求的差异，实现实时异构切片间资源需求的自动预测与分配，保证资源分配的准确和实时更新，有效兼顾基站频谱利用率和切片差异化服务质量要求，实现了在满足各切片服务质量需求的同时，尽可能的提高了频谱利用率，以满足不同业务对网络资源需求变化的快速响应。

基于同一发明构思，图5示例性的示出了本发明实施例提供的一种电网资源分配的装置，该装置可以为一种电网资源分配的方法的流程。

所述装置，包括：

获取模块501，用于获取当前电网状态；所述电网状态包含电网中各个网络切片资源分配状态、各个基站频谱利用率以及各个网络切片的服务质量满意度；

处理模块502，用于将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息；根据所述动作描述信息对所述电网的各个网络切片进行资源分配；其中，所述训练好的电网资源分配模型为利用不同电网状态以及不同电网状态对应的服务质量满意度进行训练后得到。

进一步地，所述处理模块502还用于：

进一步地，所述处理模块502具体用于：

获取传输速率满意度以及时延满意度；

进一步地，所述处理模块502具体用于：

获取固有时延、传播时延以及排队时延；

进一步地，所述处理模块502具体用于：

根据所述动作奖励确定所述电网资源分配模型的损失函数。

基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图6，所述电子设备具体包括如下内容：处理器601、存储器602、通信接口603和通信总线604；

其中，所述处理器601、存储器602、通信接口603通过所述通信总线604完成相互间的通信；所述通信接口603用于实现各设备之间的信息传输；

所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述电网资源分配的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取当前电网状态；所述电网状态包含电网中各个网络切片资源分配状态、各个基站频谱利用率以及各个网络切片的服务质量满意度；将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息；根据所述动作描述信息对所述电网的各个网络切片进行资源分配；其中，所述训练好的电网资源分配模型为利用不同电网状态以及不同电网状态对应的服务质量满意度进行训练后得到。

基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述电网资源分配的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取当前电网状态；所述电网状态包含电网中各个网络切片资源分配状态、各个基站频谱利用率以及各个网络切片的服务质量满意度；将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息；根据所述动作描述信息对所述电网的各个网络切片进行资源分配；其中，所述训练好的电网资源分配模型为利用不同电网状态以及不同电网状态对应的服务质量满意度进行训练后得到。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，用户生活模式预测装置，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，用户生活模式预测装置，或者网络设备等)执行各个实施例或者实施例的某些部分所述的用户生活模式预测方法。

此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种电网资源分配的方法，其特征在于，包括：

其中，所述训练好的电网资源分配模型为利用不同电网状态以及不同电网状态对应的服务质量满意度进行训练后得到；

在将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息之前，还包括：

根据所述第一电网状态、所述动作描述信息、所述第二电网状态、所述动作奖励确定所述电网资源分配模型的损失函数，包括：根据所述第二电网状态对应的服务质量满意度以及各个基站频谱利用率确定所述动作描述信息对应的动作奖励；根据所述动作奖励确定所述电网资源分配模型的损失函数；

2.根据权利要求1所述的电网资源分配的方法，其特征在于，所述获取当前电网状态，包括：

获取传输速率满意度以及时延满意度；

3.根据权利要求2所述的电网资源分配的方法，其特征在于，所述获取时延满意度，包括：

获取固有时延、传播时延以及排队时延；

4.一种电网资源分配的装置，其特征在于，包括：

处理模块，用于将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息；根据所述动作描述信息对所述电网的各个网络切片进行资源分配；其中，所述训练好的电网资源分配模型为利用不同电网状态以及不同电网状态对应的服务质量满意度进行训练后得到；在将所述当前电网状态输入至训练好的电网资源分配模型，得到对所述电网进行资源分配的动作描述信息之前，获取预设数量的训练样本集；每组训练样本包含第一电网状态、动作描述信息、第二电网状态、动作奖励；所述第一电网状态为执行所述动作描述信息对应的动作前各个网络切片资源分配状态；所述第二电网状态为执行所述动作描述信息对应的动作后各个网络切片资源分配状态；所述动作奖励为执行所述动作描述信息后对应的奖励值；根据所述第一电网状态、所述动作描述信息、所述第二电网状态、所述动作奖励确定所述电网资源分配模型的损失函数，包括：根据所述第二电网状态对应的服务质量满意度以及各个基站频谱利用率确定所述动作描述信息对应的动作奖励；根据所述动作奖励确定所述电网资源分配模型的损失函数；根据所述损失函数更新所述电网资源分配模型的参数，得到训练好的电网资源分配模型。

5.根据权利要求4所述的电网资源分配的装置，其特征在于，所述处理模块具体用于：

获取传输速率满意度以及时延满意度；

6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。