CN113329414A - 一种基于强化学习的智能电网切片分配方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的智能电网切片分配方法，包括以下步骤：采集智能电网的电力业务信息，并进行分类；将电力业务与电网切片进行匹配关联；构建智能电网切片的强化学习模型并进行预训练；利用训练后的强化学习模型完成对智能电网切片的初始分配；利用所在网络用户的需求完成对智能电网切片的二次分配；结合初始分配数据及二次分配数据获取最终分配结果，并通过抗量子计算的通信方式给用户分配适当的电网切片资源。有益效果：本发明通过结合初始分配数据和二次分配数据来实现最终的电网切片分配，可以充分的考虑用户的需求来实现对电网切片的分配，更好地解决基于强化学习的5G网络切片技术与智能电网的整合问题。

Description

一种基于强化学习的智能电网切片分配方法

技术领域

本发明涉及电力无线通信的网络资源分配技术领域，具体来说，涉及一种基于强化学习的智能电网切片分配方法。

背景技术

网络切片是指利用虚拟化技术将网络基础设施资源虚拟化为多个专用的虚拟网络，可以根据特定业务的网络需求，如功能、性能、安全、运维等方面，提供差异化的网络特征。其实现了业务场景、网络功能和基础设施平台间的适配，可以更好地支持多样化的业务需求。网络切片可以降低网络的复杂性、提升网络运行的性能以及用户的业务体验、降低网络部署及运维的成本。

在能源和电力需求增长的驱动下，世界电网从传统网络步入了智能电网时代。结合新一轮能源变革、通信领域的发展以及全球互联网战略构想，5G网络切片技术第一次具备了应用于智能电网业务的可能性。5G网络切片的技术特性对于承载面向电网的无线业务应用具备切片可定制化、切片间安全可靠隔离及切片统一管理的特点，并且具备快速组网、高效经济的优势，在电力系统中有着广阔应用前景。所以，基于强化学习的5G网络切片技术与智能电网的融合是亟需解决的问题。

发明内容

针对相关技术中的问题，本发明提出一种基于强化学习的智能电网切片分配方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

一种基于强化学习的智能电网切片分配方法，该方法包括以下步骤：

S1、采集智能电网的电力业务信息，并根据不同电力业务的需求对所述电力业务进行分类；

S2、按照所述电力业务的分类将电力业务与电网切片进行匹配关联；

S3、根据智能电网的服务指标构建智能电网切片的强化学习模型并进行预训练；

S4、利用训练后的所述强化学习模型完成对智能电网切片的初始分配，获取初始分配数据；

S5、利用所在网络用户的需求完成对所述智能电网切片的二次分配，获取二次分配数据；

S6、结合初始分配数据及二次分配数据获取最终分配结果，并通过抗量子计算的通信方式给用户分配适当的电网切片资源。

进一步的，所述S1中电力业务的需求包括时延、速率及可靠性，所述电力业务的类别包括电网控制类、信息采集类和移动应用类。

进一步的，所述S1中采集智能电网的电力业务信息还包括以下步骤：对采集的数据进行数据清洗，实现对异常数据的清除。

进一步的，所述S2中按照所述电力业务的分类将电力业务与电网切片进行匹配关联包括：将电网控制类对应uRLLC切片，将信息采集类对应mMTC切片，将移动应用类对应eMBB切片。

进一步的，所述S3中对强化学习模型进行预训练还包括以下步骤：

对于训练不足的情况，通过增加网络的训练周期来达到训练效果；

对于过度拟合的情况，通过减少或控制训练周期，在数据出现拐点前，停止对网络的训练来达到训练效果。

进一步的，所述S3中的智能电网切片的强化学习模型通过sarsa算法进行构建。

进一步的，所述sarsa算法是on-policy方法，所述sarsa算法包括原始策略和更新策略，所述原始策略和更新策略均使用ε-greedy算法。

进一步的，所述S5利用所在网络用户的需求完成对所述智能电网切片的二次分配，获取二次分配数据包括以下步骤：

S51、利用用户代理根据所在网络用户的请求向所述智能电网的服务器请求网络切片；

S52、所述服务器的服务代理根据不同的用户代理请求实现对电网切片的二次分配，并生成二次分配数据。

进一步的，所述S6中结合初始分配数据及二次分配数据获取最终分配结果，并通过抗量子计算的通信方式给用户分配适当的电网切片资源包括以下步骤：

S61、利用优先级分配原理整合初始分配数据及二次分配数据，获取最终分配结果；

S62、依据最终的分配结果通过抗量子计算的通信方式给用户分配适当的电网切片资源。

进一步的，所述S61中利用优先级分配原理整合初始分配数据及二次分配数据，获取最终分配结果包括以下步骤：

S611、为初始分配数据和二次分配数据设置优先级，且二次分配数据的优先级大于初始分配数据的优先级；

S612、根据优先级分配原理整合分配数据，当出现二次分配数据时则以二次分配数据进行分配，当未出现二次分配数据时则以初始分配数据进行分配；

S613、获取最终的电网切片分配结果。

进一步的，所述S62中依据最终的分配结果通过抗量子计算的通信方式给用户分配适当的电网切片资源包括以下步骤：

S621、利用预设方法构建所述用户代理与服务器的服务代理之间的会话密钥，并通过所述会话密钥进行保密通信；

S622、依据最终的分配结果利用保密通信的方式给用户分配适当的电网切片资源。

进一步的，所述S621中利用预设方法构建所述用户代理与服务器的服务代理之间的会话密钥，并通过所述会话密钥进行保密通信包括以下步骤：

S6211、所述用户代理向服务器的服务代理发起连接请求，所述服务代理向用户代理发送加密的数字证书；

S6212、所述用户代理接收加密的数字证书并进行解密验证，验证通过后确认服务器的身份可靠；

S6213、所述用户代理生成新的随机数，取出服务器数字证书中的服务器公钥，利用该服务器公钥加密新的随机数并发送给服务代理；

S6214、所述服务代理接收加密后的新的随机数，使用自身私钥解密得到新的随机数，并将该新的随机数作为与用户代理之间的会话密钥；

S6215、所述用户代理与服务代理之间使用新的随机数作为会话密钥并进行保密通信。

本发明的有益效果为：

1)、本发明不仅通过构建的智能电网切片的强化学习模型来实现对电网切片的初始分配，而且还利用所在网络用户的需求来实现对电网切片的二次分配，并结合初始分配数据和二次分配数据来实现最终的电网切片分配，从而使得本发明在电网切片分配时可以充分的考虑用户的需求来实现对电网切片的分配，进而可以更好地解决基于强化学习的5G网络切片技术与智能电网的整合问题。

2)、本发明通过sarsa算法构建智能电网切片的强化学习模型，且在sarsa算法中原始策略和更新策略均使用ε-greedy算法，充分利用了sarsa算法所具有的安全、保守、稳定的特性，对错误比较敏感，与Q-learning算法鲁莽、大胆及贪婪的特性相比，sarsa算法所构建的强化学习模型更为稳健、安全，更适用于对于可靠性及延时同样具有严格要求的智能电网切片的分配方法；另外，与蒙特卡罗的强化学习方法相比，sarsa算法是一种在线(on-policy)版的时序差分学习方法(Temporal Difference,简称TD)，其能够充分利用学习任务的马尔科夫决策过程(MDP)结构，sarsa算法中原始策略和更新策略一致，其中更新策略无需采样一个完整的轨迹，在执行完一个动作后就可以更新其值函数，而蒙特卡罗每次需要采样一个完整的轨迹之后才能更新策略，因此，使用sarsa算法的强化学习模型的效率明显高于蒙特卡罗算法的强化学习模型。

3)、本发明采用抗量子计算的方式给用户分配适当的电网切片资源，相比于传统的保密通信方式，本发明不仅可以有效地实现抗量子计算的保密通信，而且还可以通过使用不同的随机数加密得到的加密的数字证书，从而可以实现证书所有者隐藏身份的效果，保护了通信方的隐私。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于强化学习的智能电网切片分配方法的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了一种基于强化学习的智能电网切片分配方法。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的一种基于强化学习的智能电网切片分配方法，该方法包括以下步骤：

S1、采集智能电网的电力业务信息，并根据不同电力业务的需求对所述电力业务进行分类；

其中，所述S1中采集智能电网的电力业务信息还包括以下步骤：对采集的数据进行数据清洗，实现对异常数据的清除。

具体的，所述S1中电力业务的需求包括时延、速率及可靠性，所述电力业务的类别包括电网控制类(如配电自动化、精准负荷控制等)、信息采集类(如用电信息采集、输电线路监测等)和移动应用类(如智能巡检、移动作业等)。

S2、按照所述电力业务的分类将电力业务与电网切片进行匹配关联；

其中，所述S2中按照所述电力业务的分类将电力业务与电网切片进行匹配关联包括：将电网控制类对应uRLLC切片，将信息采集类对应mMTC切片，将移动应用类对应eMBB切片。

S3、根据智能电网的服务指标构建智能电网切片的强化学习模型并进行预训练；

其中，所述S3中对强化学习模型为常规的强化学习模型，本实施例中不做详细的介绍，所述对强化学习模型进行预训练还包括以下步骤：

对于训练不足的情况，通过增加网络的训练周期来达到训练效果；

对于过度拟合的情况，通过减少或控制训练周期，在数据出现拐点前，停止对网络的训练来达到训练效果。

所述S3中的智能电网切片的强化学习模型通过sarsa算法进行构建。

所述sarsa算法是on-policy方法，所述sarsa算法包括原始策略和更新策略，所述原始策略和更新策略均使用ε-greedy算法。

S4、利用训练后的所述强化学习模型完成对智能电网切片的初始分配，获取初始分配数据；

S5、利用所在网络用户的需求完成对所述智能电网切片的二次分配，获取二次分配数据；

其中，所述S5利用所在网络用户的需求完成对所述智能电网切片的二次分配，获取二次分配数据包括以下步骤：

S51、利用用户代理根据所在网络用户的请求向所述智能电网的服务器请求网络切片；

S52、所述服务器的服务代理根据不同的用户代理请求实现对电网切片的二次分配，并生成二次分配数据。

S6、结合初始分配数据及二次分配数据获取最终分配结果，并通过抗量子计算的通信方式给用户分配适当的电网切片资源。

其中，所述S6中结合初始分配数据及二次分配数据获取最终分配结果，并通过抗量子计算的通信方式给用户分配适当的电网切片资源包括以下步骤：

S61、利用优先级分配原理整合初始分配数据及二次分配数据，获取最终分配结果；

具体的，所述S61中利用优先级分配原理整合初始分配数据及二次分配数据，获取最终分配结果包括以下步骤：

S611、为初始分配数据和二次分配数据设置优先级，且二次分配数据的优先级大于初始分配数据的优先级；

S612、根据优先级分配原理整合分配数据，当出现二次分配数据时则以二次分配数据进行分配，当未出现二次分配数据时则以初始分配数据进行分配；

S613、获取最终的电网切片分配结果。

S62、依据最终的分配结果通过抗量子计算的通信方式给用户分配适当的电网切片资源。

具体的，所述S62中依据最终的分配结果通过抗量子计算的通信方式给用户分配适当的电网切片资源包括以下步骤：

S621、利用预设方法构建所述用户代理与服务器的服务代理之间的会话密钥，并通过所述会话密钥进行保密通信；

S622、依据最终的分配结果利用保密通信的方式给用户分配适当的电网切片资源。

其中，所述S621中利用预设方法构建所述用户代理与服务器的服务代理之间的会话密钥，并通过所述会话密钥进行保密通信包括以下步骤：

S6211、所述用户代理向服务器的服务代理发起连接请求，所述服务代理向用户代理发送加密的数字证书；

具体的，所述数字证书由证书颁发机构密钥卡进行加密，其中，该加密过程包括以下步骤：

所述证书颁发机构生成随机数并使用所述随机数加密所述服务器的数字证书，并利用所述证书颁发机构的私钥对加密所述随机数。

S6212、所述用户代理接收加密的数字证书并进行解密验证，验证通过后确认服务器的身份可靠；

具体的，所述用户代理接收加密的数字证书，使用用户代理密钥卡中存储的证书颁发机构的公钥解密得到随机数，并利用该随机数进一步解密得到服务器数字证书，同时使用证书颁发机构的公钥对该服务器数字证书的有效性进行验证，验证通过后确认服务器的身份可靠。

S6213、所述用户代理生成新的随机数，取出服务器数字证书中的服务器公钥，利用该服务器公钥加密新的随机数并发送给服务代理；

S6214、所述服务代理接收加密后的新的随机数，使用自身私钥解密得到新的随机数，并将该新的随机数作为与用户代理之间的会话密钥；

S6215、所述用户代理与服务代理之间使用新的随机数作为会话密钥并进行保密通信。

综上所述，借助于本发明的上述技术方案，本发明不仅通过构建的智能电网切片的强化学习模型来实现对电网切片的初始分配，而且还利用所在网络用户的需求来实现对电网切片的二次分配，并结合初始分配数据和二次分配数据来实现最终的电网切片分配，从而使得本发明在电网切片分配时可以充分的考虑用户的需求来实现对电网切片的分配，进而可以更好地解决基于强化学习的5G网络切片技术与智能电网的整合问题。

另外，本发明通过sarsa算法构建智能电网切片的强化学习模型，且在sarsa算法中原始策略和更新策略均使用ε-greedy算法，充分利用了sarsa算法所具有的安全、保守、稳定的特性，对错误比较敏感，与Q-learning算法鲁莽、大胆及贪婪的特性相比，sarsa算法所构建的强化学习模型更为稳健、安全，更适用于对于可靠性及延时同样具有严格要求的智能电网切片的分配方法；另外，与蒙特卡罗的强化学习方法相比，sarsa算法是一种在线(on-policy)版的时序差分学习方法(Temporal Difference,简称TD)，其能够充分利用学习任务的马尔科夫决策过程(MDP)结构，sarsa算法中原始策略和更新策略一致，其中更新策略无需采样一个完整的轨迹，在执行完一个动作后就可以更新其值函数，而蒙特卡罗每次需要采样一个完整的轨迹之后才能更新策略，因此，使用sarsa算法的强化学习模型的效率明显高于蒙特卡罗算法的强化学习模型。

此外，本发明采用抗量子计算的方式给用户分配适当的电网切片资源，相比于传统的保密通信方式，本发明不仅可以有效地实现抗量子计算的保密通信，而且还可以通过使用不同的随机数加密得到的加密的数字证书，从而可以实现证书所有者隐藏身份的效果，保护了通信方的隐私。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于强化学习的智能电网切片分配方法，其特征在于，该方法包括以下步骤：

S1、采集智能电网的电力业务信息，并根据不同电力业务的需求对所述电力业务进行分类；

S2、按照所述电力业务的分类将电力业务与电网切片进行匹配关联；

S3、根据智能电网的服务指标构建智能电网切片的强化学习模型并进行预训练；

S4、利用训练后的所述强化学习模型完成对智能电网切片的初始分配，获取初始分配数据；

S5、利用所在网络用户的需求完成对所述智能电网切片的二次分配，获取二次分配数据；

S6、结合初始分配数据及二次分配数据获取最终分配结果，并通过抗量子计算的通信方式给用户分配适当的电网切片资源。

2.根据权利要求1所述的一种基于强化学习的智能电网切片分配方法，其特征在于，所述S1中电力业务的需求包括时延、速率及可靠性，所述电力业务的类别包括电网控制类、信息采集类和移动应用类；所述电力业务信息还包括以下步骤：对采集的数据进行数据清洗，实现对异常数据的清除。

3.根据权利要求1所述的一种基于强化学习的智能电网切片分配方法，其特征在于，所述S3中对强化学习模型进行预训练还包括以下步骤：

对于训练不足的情况，通过增加网络的训练周期来达到训练效果；

对于过度拟合的情况，通过减少或控制训练周期，在数据出现拐点前，停止对网络的训练来达到训练效果。

4.根据权利要求1所述的一种基于强化学习的智能电网切片分配方法，其特征在于，所述S3中的智能电网切片的强化学习模型通过sarsa算法进行构建。

5.根据权利要求4所述的一种基于强化学习的智能电网切片分配方法，其特征在于，所述sarsa算法是on-policy方法，所述sarsa算法包括原始策略和更新策略，所述原始策略和更新策略均使用ε-greedy算法。

6.根据权利要求1所述的一种基于强化学习的智能电网切片分配方法，其特征在于，所述S5中获取二次分配数据包括以下步骤：

S51、利用用户代理根据所在网络用户的请求向所述智能电网的服务器请求网络切片；

S52、所述服务器的服务代理根据不同的用户代理请求实现对电网切片的二次分配，并生成二次分配数据。

7.根据权利要求6所述的一种基于强化学习的智能电网切片分配方法，其特征在于，所述S6包括以下步骤：

S61、利用优先级分配原理整合初始分配数据及二次分配数据，获取最终分配结果；

S62、依据最终的分配结果通过抗量子计算的通信方式给用户分配适当的电网切片资源。

8.根据权利要求7所述的一种基于强化学习的智能电网切片分配方法，其特征在于，所述S61包括以下步骤：

S611、为初始分配数据和二次分配数据设置优先级，且二次分配数据的优先级大于初始分配数据的优先级；

S612、根据优先级分配原理整合分配数据，当出现二次分配数据时则以二次分配数据进行分配，当未出现二次分配数据时则以初始分配数据进行分配；

S613、获取最终的电网切片分配结果。

9.根据权利要求7所述的一种基于强化学习的智能电网切片分配方法，其特征在于，所述S62包括以下步骤：

S621、利用预设方法构建所述用户代理与服务器的服务代理之间的会话密钥，并通过所述会话密钥进行保密通信；

S622、依据最终的分配结果利用保密通信的方式给用户分配适当的电网切片资源。

10.根据权利要求9所述的一种基于强化学习的智能电网切片分配方法，其特征在于，所述S621包括以下步骤：

S6211、所述用户代理向服务器的服务代理发起连接请求，所述服务代理向用户代理发送加密的数字证书；

S6212、所述用户代理接收加密的数字证书并进行解密验证，验证通过后确认服务器的身份可靠；

S6213、所述用户代理生成新的随机数，取出服务器数字证书中的服务器公钥，利用该服务器公钥加密新的随机数并发送给服务代理；

S6214、所述服务代理接收加密后的新的随机数，使用自身私钥解密得到新的随机数，并将该新的随机数作为与用户代理之间的会话密钥；

S6215、所述用户代理与服务代理之间使用新的随机数作为会话密钥并进行保密通信。

Images