CN113837430A - 基于云网边端一体化的综合能源负荷优化调度方法及系统 - Google Patents

Abstract

本发明提供一种基于云网边端一体化的综合能源负荷优化调度方法及系统，涉及综合能源负荷优化调度技术领域。本发明基于云侧，网络侧，边缘侧，以及端侧构建云网边端一体化的信息架构，能够充分利用云计算，边缘计算和5G移动网络的协同优势，共同解决综合能源负荷优化调度问题，既能实现综合能源负荷的自适应优化调度，使优化决策更精准，也可以减轻云端数据处理和通信压力，提高优化决策求解效率，同时利用边缘侧进行数据处理，可以保护不同微网内用户的信息安全和隐私安全。

Description

基于云网边端一体化的综合能源负荷优化调度方法及系统

技术领域

本发明涉及综合能源负荷优化调度技术领域，具体涉及一种基于云网边端一体化的综合能源负荷优化调度方法及系统。

背景技术

综合能源系统以其能实现能量的梯级利用和减少污染物的排放，正逐渐取代单一的能源系统，当在同一配电区域内存在多个微网综合能源系统时便形成多微网系统。相比于单个微网，多微网系统拥有更加复杂的拓扑架构，与配电网之间有更加灵活多变且复杂的电能和信息交互，且随着可再生能源和柔性负荷的接入，多微网系统逐渐发展成为具有高度不确定性的复杂动态系统。如何对多微网系统内的负荷进行优化调度进而降低多微网的总成本是多微网系统亟需解决的一个重要问题。

传统的多微网负荷优化调度是通过对系统内设备的能效与经济性进行数学建模，结合全局优化目标与优化迭代算法进行求解。然而，随着多微网系统的发展，负荷优化调度过程中涉及到大量非线性约束、众多控制变量以及与系统的交互信息使得传统优化求解算法容易出现“维数灾难”问题，造成算法无法快速收敛，不能进行实时最优决策；同时，多微网负荷优化调度过程在大多数情况下是无法获得精准数学模型的。一些方法(例如，深度Q学习)虽然能一定程度上解决上述问题，但却无法在连续动作空间中选择合适的动作，会不可避免地降低优化决策结果精度。

综上可知，现有技术在进行综合能源负荷优化调度时存在优化决策求解效率低且优化决策精度低的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于云网边端一体化的综合能源负荷优化调度方法及系统，解决了现有技术在进行综合能源负荷优化调度时存在优化决策求解效率低且优化决策精度低的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明首先提出了一种基于云网边端一体化的综合能源负荷优化调度方法，所述方法包括：

云侧基于多微网历史数据构建预测模型和深度强化学习模型，并将初始化的所述预测模型和深度强化学习模型通过远程通信网广播到边侧；

通过本地通信网将端侧获取的综合能源负荷优化调度的实时数据发送至边侧；并在边侧基于所述实时数据获取标准化数据和数据特征；

边侧基于所述标准化数据和数据特征对所述预测模型进行训练和更新，并基于更新后的所述预测模型获取多微网的预测结果；

边侧基于所述预测结果和所述实时数据生成马尔可夫决策模型；

边侧基于柔性行动器-评判器框架的深度强化学习模型对所述马尔可夫决策模型进行求解，并将所述求解的结果作为多微网系统的优化调度策略，并将所述优化调度策略通过本地通信网下发至端侧；

端侧执行所述优化调度策略对综合能源负荷进行优化调度。

优选的，所述将所述优化调度策略通过本地通信网下发至端侧包括：将所述优化调度策略转化为多微网的控制命令并通过本地通信网下发至端侧。

优选的，所述方法还包括：基于入侵防御模型对云侧、边侧，以及端侧进行保护；所述入侵防御模型包括基于微分博弈的入侵检测算法模型和恶意程序传播防御模型。

优选的，所述在边侧基于所述实时数据获取标准化数据和数据特征包括：

边侧的边缘数据中心对端侧采集和传输过来的实时数据进行预处理获取标准化数据；所述预处理包括数据过滤、清洗、聚合、数据质量优化、语义解释等以及归一化处理；

边侧的边缘数据中心利用主成分分析方法对所述标准化数据进行特征提取和选择获取数据特征。

优选的，所述马尔可夫决策模型由五元组形式(S,A,P,R,γ)构成，其中：

S表示状态空间，s_t∈S表示多微网系统在t时段所处的状态；

s_t＝[P_pv,i,t,P_wt,i,t,P_EL,i,t,P_HL,i,t,P_ba,i,t,P_hs,i,t]

其中，P_pv,i,t和P_wt,i,t分别表示微网i中光伏和风机在t时段的出力预测值；P_EL,i,t和P_HL,i,t分别表示微网i在t时段的电负荷和热负荷的预测值；P_ba,i,t和P_hs,i,t分别表示微网i中蓄电池和储热罐在t时段存储的电量和存储的热量；

A表示动作空间，a_t∈A表示多微网系统在t时段可执行的动作；

a_t＝[P_ET,i,t,P_HT,i,t,P_EDR,i,t,P_HDR,i,t,P_BA,i,t,P_HS,i,t,P_k,i,t]

其中，P_ET,i,t和P_HT,i,t分别表示微网i在t时段向其他微网传输电能时的电功率和向其他微网传输热能时的热功率；P_EDR,i,t和P_HDR,i,t分别表示微网i在t时段电能需求响应量和热能需求响应量；P_BA,i,t和P_HS,i,t分别表示微网i中蓄电池和蓄热罐在t时段充放电功率和充放热功率；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；

P表示状态转移概率；

R表示奖励函数，r_t∈R(s_t,a_t)表示在s_t时执行动作a_t时环境反馈的即时奖励；

r_t＝-(F_1,t+F_2,t+F_3,t+F_4,t+λ_t)+r₀

其中，F_1,t表示t时段多微网系统与电网交互成本和购气成本；P_Grid,i,t表示微网i在t时段与电网的交互电量；π_buy,t和π_sell,t分别表示t时段的购电价格和售电价格；π_gas,t表示天然气在t时段的价格；G_i,t表示微网i在t时段购买的天然气量；F_2,t表示t时段多微网系统的CO₂治理成本；C_tre表示CO₂的单位治理成本；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；μ_k为第k个分布式电源的CO₂排放系数；F_3,t表示t时段微网间的能量传输成本；a₁和a₂分别表示电能和热能的单位传输成本；F_4,t表示t时段多微网系统中电能和热能需求响应的执行成本；π_E,up和π_E,down分别表示电负荷上升和下降的单位成本；π_H,up和π_H,down分别表示热负荷上升和下降的单位成本；λ_t表示惩罚项；r₀为常数；γ表示折扣因子；γ∈[0,1]。

第二方面，本发明还提出了一种基于云网边端一体化的综合能源负荷优化调度系统，包括云侧、网侧、边侧，以及端侧，所述系统包括：

初始决策模型构建模块，设置在云侧，用于在云侧基于多微网历史数据构建预测模型和深度强化学习模型，并将初始化的所述预测模型和深度强化学习模型通过远程通信网广播到边侧；

数据处理和特征提取模块，设置在边侧，用于通过本地通信网将端侧获取的综合能源负荷优化调度的实时数据发送至边侧后；在边侧基于所述实时数据获取标准化数据和数据特征；

预测模块，设置在边侧，用于在边侧基于所述标准化数据和数据特征对所述预测模型进行训练和更新，并基于更新后的所述预测模型获取多微网的预测结果；

决策模型构建模块，设置在边侧，用于在边侧基于所述预测结果和所述实时数据生成马尔可夫决策模型；

模型求解模块，设置在边侧，用于在边侧基于柔性行动器-评判器框架的深度强化学习模型对所述马尔可夫决策模型进行求解，并将所述求解的结果作为多微网系统的优化调度策略，并将所述优化调度策略通过本地通信网下发至端侧；

调度指令执行模块，设置在端侧，用于在端侧执行所述优化调度策略对综合能源负荷进行优化调度。

优选的，所述模型求解模块将所述优化调度策略通过本地通信网下发至端侧包括：将所述优化调度策略转化为多微网的控制命令并通过本地通信网下发至端侧。

优选的，所述系统还包括：安全模块，用于基于入侵防御模型对云侧、边侧，以及端侧进行保护；所述入侵防御模型包括基于微分博弈的入侵检测算法模型和恶意程序传播防御模型。

优选的，所述数据处理和特征提取模块在边侧基于所述实时数据获取标准化数据和数据特征包括：

边侧的边缘数据中心对端侧采集和传输过来的实时数据进行预处理获取标准化数据；所述预处理包括数据过滤、清洗、聚合、数据质量优化、语义解释等以及归一化处理；

边侧的边缘数据中心利用主成分分析方法对所述标准化数据进行特征提取和选择获取数据特征。

优选的，所述决策模型构建模块中马尔可夫决策模型由五元组形式(S,A,P,R,γ)构成，其中：

S表示状态空间，s_t∈S表示多微网系统在t时段所处的状态；

s_t＝[P_pv,i,t,P_wt,i,t,P_EL,i,t,P_HL,i,t,P_ba,i,t,P_hs,i,t]

其中，P_pv,i,t和P_wt,i,t分别表示微网i中光伏和风机在t时段的出力预测值；P_EL,i,t和P_HL,i,t分别表示微网i在t时段的电负荷和热负荷的预测值；P_ba,i,t和P_hs,i,t分别表示微网i中蓄电池和储热罐在t时段存储的电量和存储的热量；

A表示动作空间，a_t∈A表示多微网系统在t时段可执行的动作；

a_t＝[P_ET,i,t,P_HT,i,t,P_EDR,i,t,P_HDR,i,t,P_BA,i,t,P_HS,i,t,P_k,i,t]

其中，P_ET,i,t和P_HT,i,t分别表示微网i在t时段向其他微网传输电能时的电功率和向其他微网传输热能时的热功率；P_EDR,i,t和P_HDR,i,t分别表示微网i在t时段电能需求响应量和热能需求响应量；P_BA,i,t和P_HS,i,t分别表示微网i中蓄电池和蓄热罐在t时段充放电功率和充放热功率；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；

P表示状态转移概率；

R表示奖励函数，r_t∈R(s_t,a_t)表示在s_t时执行动作a_t时环境反馈的即时奖励；

r_t＝-(F_1,t+F_2,t+F_3,t+F_4,t+λ_t)+r₀

其中，F_1,t表示t时段多微网系统与电网交互成本和购气成本；P_Grid,i,t表示微网i在t时段与电网的交互电量；π_buy,t和π_sell,t分别表示t时段的购电价格和售电价格；π_gas,t表示天然气在t时段的价格；G_i,t表示微网i在t时段购买的天然气量；F_2,t表示t时段多微网系统的CO₂治理成本；C_tre表示CO₂的单位治理成本；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；μ_k为第k个分布式电源的CO₂排放系数；F_3,t表示t时段微网间的能量传输成本；a₁和a₂分别表示电能和热能的单位传输成本；F_4,t表示t时段多微网系统中电能和热能需求响应的执行成本；π_E,up和π_E,down分别表示电负荷上升和下降的单位成本；π_H,up和π_H,down分别表示热负荷上升和下降的单位成本；λ_t表示惩罚项；r₀为常数；γ表示折扣因子；γ∈[0,1]。

(三)有益效果

本发明提供了一种基于云网边端一体化的综合能源负荷优化调度方法及系统。与现有技术相比，具备以下有益效果：

1、本发明首先在云侧构建预测模型和深度强化学习模型并通过远程通信网广播到边侧；通过本地通信网将端侧获取实时数据发送至边侧；然后边侧基于处理后的实时数据对预测模型进行训练和更新，并基于更新后的预测模型获取多微网的预测结果；边侧基于预测结果和实时数据生成马尔可夫决策模型；最后边侧基于柔性行动器-评判器框架的深度强化学习模型对马尔可夫决策模型进行求解，并将求解结果对应的优化调度策略通过本地通信网下发至端侧进行执行。本发明基于云侧，网络侧，边缘侧，以及端侧构建云网边端一体化的信息架构，能够充分利用云计算，边缘计算和5G移动网络的协同优势，既能实现综合能源负荷的自适应优化调度，使优化决策更精准，也可以减轻云端数据处理和通信压力，提高优化决策求解效率，同时利用边缘侧进行数据处理，可以保护不同微网内用户的信息安全和隐私安全；

2、本发明利用基于柔性行动器-评判器框架的深度强化学习模型进行多微网系统的优化调度，能够对设备的连续动作进行优化控制，能有效避免优化计算的“维数灾难”问题，使算法可以快速收敛，从而进行实时最优决策；

3、本发明对综合能源负荷进行优化调度，考虑了多微网之间的协同运行并实施综合需求响应，实现了综合需求响应的有效增益。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于云网边端一体化的综合能源负荷优化调度方法的流程图；

图2为本发明实施例中基于云网边端一体化的综合能源负荷优化调度系统框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种基于云网边端一体化的综合能源负荷优化调度方法及系统，解决了现有技术在进行综合能源负荷优化调度时存在优化决策求解效率低且优化决策精度低的问题。

本申请实施例中的技术方案为解决上述技术问题，总体思路如下：

本发明基于云侧，网络侧，边缘侧，以及端侧构建云网边端一体化的信息架构能够充分利用云计算，边缘计算和5G移动网络的协同优势，既能实现综合能源负荷的自适应优化调度，也可以减轻云端数据处理和通信压力，提高优化决策求解效率，同时利用边缘侧进行数据处理，可以保护不同微网内用户的信息安全和隐私安全。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

为了便于理解，对以下概念或名词进行解释说明：

“云”，即云侧，是指多微网系统的云调控平台，处于整个架构的最顶层；

“网”是指多微网系统内的数据通信网络，包括远程通信网和本地通信网；远程通信网满足调控云平台与边侧的通信需求，主要利用电力光纤网、电力专网、电力APN、5G移动网络等方式；本地通信网满足边侧和端侧之间以及多微网内部各设备终端之间的通信需求，主要利用5G移动网络，其高密度、高速大容量、低功耗连接的特点使其更适用于“量大面广”的分布式电源终端接入的通信需求；

“边”，即边侧，是指靠近数据源端的边缘数据中心，在整个架构中起着承上启下的作用；

“端”，即端侧，是指多微网内的分布式电源、储能装置等终端设备，处于整个架构的最底层。

实施例1：

第一方面，本发明首先提出了一种基于云网边端一体化的综合能源负荷优化调度方法，该方法包括：

S1、云侧基于多微网历史数据构建预测模型和深度强化学习模型，并将初始化的所述预测模型和深度强化学习模型通过远程通信网广播到边侧；

S2、通过本地通信网将端侧获取的综合能源负荷优化调度的实时数据发送至边侧；并在边侧基于所述实时数据获取标准化数据和数据特征；

S3、边侧基于所述标准化数据和数据特征对所述预测模型进行训练和更新，并基于更新后的所述预测模型获取多微网的预测结果；

S4、边侧基于所述预测结果和所述实时数据生成马尔可夫决策模型；

S5、边侧基于柔性行动器-评判器框架的深度强化学习模型对所述马尔可夫决策模型进行求解，并将所述求解的结果作为多微网系统的优化调度策略，并将所述优化调度策略通过本地通信网下发至端侧；

S6、端侧执行所述优化调度策略对综合能源负荷进行优化调度

可见，本发明首先在云侧构建预测模型和深度强化学习模型并通过远程通信网广播到边侧；通过本地通信网将端侧获取实时数据发送至边侧；然后边侧基于处理后的实时数据对预测模型进行训练和更新，并基于更新后的预测模型获取多微网的预测结果；边侧基于预测结果和实时数据生成马尔可夫决策模型；最后边侧基于柔性行动器-评判器框架的深度强化学习模型对马尔可夫决策模型进行求解，并将求解结果对应的优化调度策略通过本地通信网下发至端侧进行执行。本发明基于云侧，网络侧，边缘侧，以及端侧构建云网边端一体化的信息架构，能够充分利用云计算，边缘计算和5G移动网络的协同优势，既能实现综合能源负荷的自适应优化调度，使优化决策更精准，也可以减轻云端数据处理和通信压力，提高优化决策求解效率，同时利用边缘侧进行数据处理，可以保护不同微网内用户的信息安全和隐私安全。

下面结合对S1-S6具体步骤的解释，来详细说明本发明一个实施例的实现过程。参见图1，一种基于云网边端一体化的综合能源负荷优化调度方法的具体实现步骤如下：

S1、云侧基于多微网历史数据构建预测模型和深度强化学习模型，并将初始化的所述预测模型和深度强化学习模型通过远程通信网广播到边侧。

云侧利用多微网历史数据构建预测模型和深度强化学习模型。多微网历史数据包括各微网电/热负荷的历史数据、光伏风电的历史数据、设备出力的历史数据、运行成本的历史数据和环境的历史数据(包括太阳辐照强度、空气温湿度、风速风向)等。构建预测模型的历史数据一般为：各微网内电/热负荷的历史数据、光伏风电输出功率的历史数据和环境的历史数据(包括太阳辐照强度、空气温湿度、风速风向)等；构建强化学习模型的历史数据一般为：各微网内电/热负荷的历史数据、光伏风电输出功率的历史数据、设备出力的历史数据和运行成本的历史数据等。

预测模型包括长短期记忆网络(Long Short-Term Memory,LSTM)模型和深度置信网络(Deep Belief Networks,DBN)模型。其中，LSTM模型用于预测每个微网中可再生能源出力，DBN模型用于预测每个微网的电负荷和热负荷。

基于历史数据并利用反向传播算法训练LSTM模型和DBN模型的参数。其中，所述LSTM模型的参数包括权重参数W_L和偏差参数b_L等所述DBN模型的参数包括权重参数W,可视层偏差参数b和隐层偏差参数c等。

深度强化学习模型是基于柔性行动器-评判器框架。基于历史数据并通过感知-行动-评价-学习的方式和梯度下降法训练模型的参数。所述深度强化学习模型的参数主要包括Q值网络参数θ_Q、策略网络参数θ_μ、温度系数α、更新参数τ等。

当预测模型和深度强化学习模型构建好后，将上述模型及模型参数通过远程通信网广播到边侧。

S2、通过本地通信网将端侧获取的综合能源负荷优化调度的实时数据发送至边侧；并在边侧基于所述实时数据获取标准化数据和数据特征。

端侧采集综合能源负荷优化调度所需的多维数据，并将所采集的多维数据发送至边缘计算中心。具体的，端侧利用智能设备，如传感器等采集多维数据。多维数据包括：各微网电/热负荷数据、设备运行状态数据、设备信息数据以及环境(包括太阳辐照强度、空气温湿度、风速风向)等。数据采集完成之后，通过本地通信网将这些多维数据发送至边缘计算中心，即边侧。

然后在边侧进行数据预处理和特征提取及选择。边缘数据中心对端侧采集和传输过来的实时数据进行预处理。预处理包括对原始数据进行数据过滤、清洗、聚合、数据质量优化(剔除坏数据等)和语义解释等，并将输入数据通过下述公式进行归一化处理后形成标准化数据。

其中，x'表示归一化后的数据；x表示原始值；max表示x所在数据列的最大值；min表示x所在数据列的最小值。

边缘数据中心利用主成分分析的方法对大量预处理后的数据进行特征提取，随后进行特征选择，寻找最优特征子集(以光伏预测为例，最优特征包括各微网内的光照强度、室外温度和室外湿度等)。

S3、边侧基于所述标准化数据和数据特征对所述预测模型进行训练和更新，并基于更新后的所述预测模型获取多微网的预测结果。

基于云端发送的初始化预测模型及参数，边缘数据中心利用端侧上传的实时数据对预测模型进一步训练和更新。使用均方根误差、平均绝对误差和平均绝对误差百分比对预测结果进行评价并动态优化预测模型，之后利用更新好的预测模型实时预测各微网的可再生能源出力值以及电/热负荷值，即微网的预测结果。

S4、边侧基于所述预测结果和所述实时数据生成马尔可夫决策模型。

边侧在满足多微网系统能源供给和需求平衡的前提下，将多微网系统最小化总成本问题建模为马尔可夫马尔可夫决策模型。具体的，将基于边侧的预测结果与端侧采集和上传的实时数据对多微网负荷进行优化调度，并将该优化调度过程生成。具体的，马尔可夫决策模型由五元组形式(S,A,P,R,γ)构成，即状态空间S,动作空间A，状态转移概率P，奖励函数R和折扣因子γ。

①状态空间S是与智能体进行交互的多微网系统环境，智能体为包括可再生能源服务商、多微网系统能源服务商和终端负荷的多个主体，s_t∈S表示多微网系统在t时段所处的状态。

s_t＝[P_pv,i,t,P_wt,i,t,P_EL,i,t,P_HL,i,t,P_ba,i,t,P_hs,i,t]

其中，P_pv,i,t和P_wt,i,t分别表示微网i中光伏和风机在t时段的出力预测值；P_EL,i,t和P_HL,i,t分别表示微网i在t时段的电负荷和热负荷的预测值；P_ba,i,t和P_hs,i,t分别表示微网i中蓄电池和储热罐在t时段存储的电量和存储的热量。

②智能体动作空间A即为优化模型中的相关决策变量，a_t∈A表示多微网系统在t时段可执行的动作：

a_t＝[P_ET,i,t,P_HT,i,t,P_EDR,i,t,P_HDR,i,t,P_BA,i,t,P_HS,i,t,P_k,i,t]

其中，P_ET,i,t和P_HT,i,t分别表示微网i在t时段向其他微网传输电能时的电功率和向其他微网传输热能时的热功率；P_EDR,i,t和P_HDR,i,t分别表示微网i在t时段电能需求响应量和热能需求响应量；P_BA,i,t和P_HS,i,t分别表示微网i中蓄电池和蓄热罐在t时段充放电功率和充放热功率；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率。

③状态转移概率P由可再生能源预测值、即时奖励值共同组成，可再生能源预测值和即时奖励值在智能体与环境交互后获得。

④奖励函数R是智能体在调度周期内通过持续学习最大化其累计回报，r_t∈R(s_t,a_t)表示智能体在s_t时执行动作a_t时环境反馈的即时奖励。

r_t＝-(F_1,t+F_2,t+F_3,t+F_4,t+λ_t)+r₀

其中，F_1,t表示t时段多微网系统与电网交互成本和购气成本；P_Grid,i,t表示微网i在t时段与电网的交互电量；π_buy,t和π_sell,t分别表示t时段的购电价格和售电价格；π_gas,t表示天然气在t时段的价格；G_i,t表示微网i在t时段购买的天然气量；

F_2,t表示t时段多微网系统的CO₂治理成本；C_tre表示CO₂的单位治理成本；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；μ_k为第k个分布式电源的CO₂排放系数；

F_3,t表示t时段微网间的能量传输成本；a₁和a₂分别表示电能和热能的单位传输成本；

F_4,t表示t时段多微网系统中电能和热能需求响应的执行成本；π_E,up和π_E,down分别表示电负荷上升和下降的单位成本；π_H,up和π_H,down分别表示热负荷上升和下降的单位成本；λ_t表示惩罚项，用于保证系统满足相应的运行约束(如，常规机组出力上下限约束、储能装置荷电状态上下限约束等)；r₀为人工设定的常数，用于保证智能体在学习过程中累计回报由负转正，从而提升模型训练的收敛速度和稳定性。

⑤折扣因子γ∈[0,1]表示未来时刻的奖励对当前奖励的重要性，值越大表示智能体越关注未来的奖励。

S5、边侧基于柔性行动器-评判器框架的深度强化学习模型对所述马尔可夫决策模型进行求解，并将所述求解的结果作为多微网系统的优化调度策略，并将所述优化调度策略通过本地通信网下发至端侧。具体的，

基于云端下发的深度强化学习模型及参数，边缘数据中心根据端侧上传的实时数据进一步训练和更新深度强化学习模型，随后利用更新好的深度强化学习模型不断对最优动作进行强化，得到能量优化调度策略，即寻找最佳策略π^*使得累积回报期望值最大：

其中，ρ_π为策略π形成的状态-动作轨迹分布，H为状态s_t下采取的熵项，α为温度系数。

然后将最优策略对应的优化调度策略通过本地通信网下发至端侧。特别的，在实际应用当中，为了便于实际操作，将上述S5中获得的计算结果，即优化调度策略，转化为多微网的控制命令并通过本地通信网下发给端侧，在实施时，可通过人机交互的方法进行实现。

S6、端侧执行所述优化调度策略对综合能源负荷进行优化调度。

端侧接收边侧下发的优化调度策略(或者接收由优化调度策略转化成的多微网的控制命令)后，并对各微网内设备进行自适应调整，从而实现综合能源负荷优化调度的目的。

而为了抵御边侧外部或内部的安全威胁，提高边侧的安全可靠性，所述方法还包括：

S、基于入侵防御模型对云侧、边侧，以及端侧进行保护；所述入侵防御模型包括基于微分博弈的入侵检测算法模型和恶意程序传播防御模型。

具体的，采用基于微分博弈的入侵检测算法模型和恶意程序传播防御模型等来抵御上述步骤中边侧的外部或内部的安全威胁，提高边侧的安全可靠性。

至此，则完成了基于云网边端一体化的综合能源负荷优化调度方法的全部过程。

实施例2：

第二方面，本发明还提供了一种基于云网边端一体化的综合能源负荷优化调度系统，包括云侧、网侧、边侧，以及端侧，参见图2，该系统包括：

初始决策模型构建模块，设置在云侧，用于在云侧基于多微网历史数据构建预测模型和深度强化学习模型，并将初始化的所述预测模型和深度强化学习模型通过远程通信网广播到边侧；

数据处理和特征提取模块，设置在边侧，用于通过本地通信网将端侧获取的综合能源负荷优化调度的实时数据发送至边侧后；在边侧基于所述实时数据获取标准化数据和数据特征；

预测模块，设置在边侧，用于在边侧基于所述标准化数据和数据特征对所述预测模型进行训练和更新，并基于更新后的所述预测模型获取多微网的预测结果；

决策模型构建模块，设置在边侧，用于在边侧基于所述预测结果和所述实时数据生成马尔可夫决策模型；

模型求解模块，设置在边侧，用于在边侧基于柔性行动器-评判器框架的深度强化学习模型对所述马尔可夫决策模型进行求解，并将所述求解的结果作为多微网系统的优化调度策略，并将所述优化调度策略通过本地通信网下发至端侧；

调度指令执行模块，设置在端侧，用于在端侧执行所述优化调度策略对综合能源负荷进行优化调度。

可选的，所述模型求解模块将所述优化调度策略通过本地通信网下发至端侧包括：将所述优化调度策略转化为多微网的控制命令并通过本地通信网下发至端侧。

可选的，所述系统还包括：安全模块，用于基于入侵防御模型对云侧、边侧，以及端侧进行保护；所述入侵防御模型包括基于微分博弈的入侵检测算法模型和恶意程序传播防御模型。

可选的，所述数据处理和特征提取模块在边侧基于所述实时数据获取标准化数据和数据特征包括：

边侧的边缘数据中心对端侧采集和传输过来的实时数据进行预处理获取标准化数据；所述预处理包括数据过滤、清洗、聚合、数据质量优化、语义解释等以及归一化处理；

边侧的边缘数据中心利用主成分分析方法对所述标准化数据进行特征提取和选择获取数据特征。

可选的，所述决策模型构建模块中马尔可夫决策模型由五元组形式(S,A,P,R,γ)构成，其中：

S表示状态空间，s_t∈S表示多微网系统在t时段所处的状态；

s_t＝[P_pv,i,t,P_wt,i,t,P_EL,i,t,P_HL,i,t,P_ba,i,t,P_hs,i,t]

其中，P_pv,i,t和P_wt,i,t分别表示微网i中光伏和风机在t时段的出力预测值；P_EL,i,t和P_HL,i,t分别表示微网i在t时段的电负荷和热负荷的预测值；P_ba,i,t和P_hs,i,t分别表示微网i中蓄电池和储热罐在t时段存储的电量和存储的热量；

A表示动作空间，a_t∈A表示多微网系统在t时段可执行的动作；

a_t＝[P_ET,i,t,P_HT,i,t,P_EDR,i,t,P_HDR,i,t,P_BA,i,t,P_HS,i,t,P_k,i,t]

其中，P_ET,i,t和P_HT,i,t分别表示微网i在t时段向其他微网传输电能时的电功率和向其他微网传输热能时的热功率；P_EDR,i,t和P_HDR,i,t分别表示微网i在t时段电能需求响应量和热能需求响应量；P_BA,i,t和P_HS,i,t分别表示微网i中蓄电池和蓄热罐在t时段充放电功率和充放热功率；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；

P表示状态转移概率；

R表示奖励函数，r_t∈R(s_t,a_t)表示在s_t时执行动作a_t时环境反馈的即时奖励；

r_t＝-(F_1,t+F_2,t+F_3,t+F_4,t+λ_t)+r₀

其中，F_1,t表示t时段多微网系统与电网交互成本和购气成本；P_Grid,i,t表示微网i在t时段与电网的交互电量；π_buy,t和π_sell,t分别表示t时段的购电价格和售电价格；π_gas,t表示天然气在t时段的价格；G_i,t表示微网i在t时段购买的天然气量；F_2,t表示t时段多微网系统的CO₂治理成本；C_tre表示CO₂的单位治理成本；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；μ_k为第k个分布式电源的CO₂排放系数；F_3,t表示t时段微网间的能量传输成本；a₁和a₂分别表示电能和热能的单位传输成本；F_4,t表示t时段多微网系统中电能和热能需求响应的执行成本；π_E,up和π_E,down分别表示电负荷上升和下降的单位成本；π_H,up和π_H,down分别表示热负荷上升和下降的单位成本；λ_t表示惩罚项；r₀为常数；γ表示折扣因子；γ∈[0,1]。

可理解的是，本发明实施例提供的基于云网边端一体化的综合能源负荷优化调度系统与上述基于云网边端一体化的综合能源负荷优化调度方法相对应，其有关内容的解释、举例、有益效果等部分可以参照基于云网边端一体化的综合能源负荷优化调度方法中的相应内容，此处不再赘述。

综上所述，与现有技术相比，具备以下有益效果：

1、本发明首先在云侧构建预测模型和深度强化学习模型并通过远程通信网广播到边侧；通过本地通信网将端侧获取实时数据发送至边侧；然后边侧基于处理后的实时数据对预测模型进行训练和更新，并基于更新后的预测模型获取多微网的预测结果；边侧基于预测结果和实时数据生成马尔可夫决策模型；最后边侧基于柔性行动器-评判器框架的深度强化学习模型对马尔可夫决策模型进行求解，并将求解结果对应的优化调度策略通过本地通信网下发至端侧进行执行。本发明基于云侧，网络侧，边缘侧，以及端侧构建云网边端一体化的信息架构，能够充分利用云计算，边缘计算和5G移动网络的协同优势，既能实现综合能源负荷的自适应优化调度，使优化决策更精准，也可以减轻云端数据处理和通信压力，提高优化决策求解效率，同时利用边缘侧进行数据处理，可以保护不同微网内用户的信息安全和隐私安全；

2、本发明利用基于柔性行动器-评判器框架的深度强化学习模型进行多微网系统的优化调度，能够对设备的连续动作进行优化控制，能有效避免优化计算的“维数灾难”问题，使算法可以快速收敛，从而进行实时最优决策；

3、本发明对综合能源负荷进行优化调度，考虑了多微网之间的协同运行并实施综合需求响应，实现了综合需求响应的有效增益。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于云网边端一体化的综合能源负荷优化调度方法，其特征在于，所述方法包括：

云侧基于多微网历史数据构建预测模型和深度强化学习模型，并将初始化的所述预测模型和深度强化学习模型通过远程通信网广播到边侧；

通过本地通信网将端侧获取的综合能源负荷优化调度的实时数据发送至边侧；并在边侧基于所述实时数据获取标准化数据和数据特征；

边侧基于所述标准化数据和数据特征对所述预测模型进行训练和更新，并基于更新后的所述预测模型获取多微网的预测结果；

边侧基于所述预测结果和所述实时数据生成马尔可夫决策模型；

边侧基于柔性行动器-评判器框架的深度强化学习模型对所述马尔可夫决策模型进行求解，并将所述求解的结果作为多微网系统的优化调度策略，并将所述优化调度策略通过本地通信网下发至端侧；

端侧执行所述优化调度策略对综合能源负荷进行优化调度。

2.如权利要求1所述的方法，其特征在于，所述将所述优化调度策略通过本地通信网下发至端侧包括：将所述优化调度策略转化为多微网的控制命令并通过本地通信网下发至端侧。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：基于入侵防御模型对云侧、边侧，以及端侧进行保护；所述入侵防御模型包括基于微分博弈的入侵检测算法模型和恶意程序传播防御模型。

4.如权利要求1所述的方法，其特征在于，所述在边侧基于所述实时数据获取标准化数据和数据特征包括：

边侧的边缘数据中心对端侧采集和传输过来的实时数据进行预处理获取标准化数据；所述预处理包括数据过滤、清洗、聚合、数据质量优化、语义解释等以及归一化处理；

边侧的边缘数据中心利用主成分分析方法对所述标准化数据进行特征提取和选择获取数据特征。

5.如权利要求1所述的方法，其特征在于，所述马尔可夫决策模型由五元组形式(S,A,P,R,γ)构成，其中：

S表示状态空间，s_t∈S表示多微网系统在t时段所处的状态；

s_t＝[P_pv,i,t,P_wt,i,t,P_EL,i,t,P_HL,i,t,P_ba,i,t,P_hs,i,t]

其中，P_pv,i,t和P_wt,i,t分别表示微网i中光伏和风机在t时段的出力预测值；P_EL,i,t和P_HL,i,t分别表示微网i在t时段的电负荷和热负荷的预测值；P_ba,i,t和P_hs,i,t分别表示微网i中蓄电池和储热罐在t时段存储的电量和存储的热量；

A表示动作空间，a_t∈A表示多微网系统在t时段可执行的动作；

a_t＝[P_ET,i,t,P_HT,i,t,P_EDR,i,t,P_HDR,i,t,P_BA,i,t,P_HS,i,t,P_k,i,t]

其中，P_ET,i,t和P_HT,i,t分别表示微网i在t时段向其他微网传输电能时的电功率和向其他微网传输热能时的热功率；P_EDR,i,t和P_HDR,i,t分别表示微网i在t时段电能需求响应量和热能需求响应量；P_BA,i,t和P_HS,i,t分别表示微网i中蓄电池和蓄热罐在t时段充放电功率和充放热功率；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；

P表示状态转移概率；

R表示奖励函数，r_t∈R(s_t,a_t)表示在s_t时执行动作a_t时环境反馈的即时奖励；

r_t＝-(F_1,t+F_2,t+F_3,t+F_4,t+λ_t)+r₀

其中，F_1,t表示t时段多微网系统与电网交互成本和购气成本；P_Grid,i,t表示微网i在t时段与电网的交互电量；π_buy,t和π_sell,t分别表示t时段的购电价格和售电价格；π_gas,t表示天然气在t时段的价格；G_i,t表示微网i在t时段购买的天然气量；F_2,t表示t时段多微网系统的CO₂治理成本；C_tre表示CO₂的单位治理成本；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；μ_k为第k个分布式电源的CO₂排放系数；F_3,t表示t时段微网间的能量传输成本；a₁和a₂分别表示电能和热能的单位传输成本；F_4,t表示t时段多微网系统中电能和热能需求响应的执行成本；π_E,up和π_E,down分别表示电负荷上升和下降的单位成本；π_H,up和π_H,down分别表示热负荷上升和下降的单位成本；λ_t表示惩罚项；r₀为常数；γ表示折扣因子；γ∈[0,1]。

6.一种基于云网边端一体化的综合能源负荷优化调度系统，包括云侧、网侧、边侧，以及端侧，其特征在于，所述系统包括：

初始决策模型构建模块，设置在云侧，用于在云侧基于多微网历史数据构建预测模型和深度强化学习模型，并将初始化的所述预测模型和深度强化学习模型通过远程通信网广播到边侧；

数据处理和特征提取模块，设置在边侧，用于通过本地通信网将端侧获取的综合能源负荷优化调度的实时数据发送至边侧后；在边侧基于所述实时数据获取标准化数据和数据特征；

预测模块，设置在边侧，用于在边侧基于所述标准化数据和数据特征对所述预测模型进行训练和更新，并基于更新后的所述预测模型获取多微网的预测结果；

决策模型构建模块，设置在边侧，用于在边侧基于所述预测结果和所述实时数据生成马尔可夫决策模型；

模型求解模块，设置在边侧，用于在边侧基于柔性行动器-评判器框架的深度强化学习模型对所述马尔可夫决策模型进行求解，并将所述求解的结果作为多微网系统的优化调度策略，并将所述优化调度策略通过本地通信网下发至端侧；

调度指令执行模块，设置在端侧，用于在端侧执行所述优化调度策略对综合能源负荷进行优化调度。

7.如权利要求6所述的系统，其特征在于，所述模型求解模块将所述优化调度策略通过本地通信网下发至端侧包括：将所述优化调度策略转化为多微网的控制命令并通过本地通信网下发至端侧。

8.如权利要求6所述的系统，其特征在于，所述系统还包括：安全模块，用于基于入侵防御模型对云侧、边侧，以及端侧进行保护；所述入侵防御模型包括基于微分博弈的入侵检测算法模型和恶意程序传播防御模型。

9.如权利要求6所述的系统，其特征在于，所述数据处理和特征提取模块在边侧基于所述实时数据获取标准化数据和数据特征包括：

边侧的边缘数据中心对端侧采集和传输过来的实时数据进行预处理获取标准化数据；所述预处理包括数据过滤、清洗、聚合、数据质量优化、语义解释等以及归一化处理；

边侧的边缘数据中心利用主成分分析方法对所述标准化数据进行特征提取和选择获取数据特征。

10.如权利要求6所述的系统，其特征在于，所述决策模型构建模块中马尔可夫决策模型由五元组形式(S,A,P,R,γ)构成，其中：

S表示状态空间，s_t∈S表示多微网系统在t时段所处的状态；

s_t＝[P_pv,i,t,P_wt,i,t,P_EL,i,t,P_HL,i,t,P_ba,i,t,P_hs,i,t]

其中，P_pv,i,t和P_wt,i,t分别表示微网i中光伏和风机在t时段的出力预测值；P_EL,i,t和P_HL,i,t分别表示微网i在t时段的电负荷和热负荷的预测值；P_ba,i,t和P_hs,i,t分别表示微网i中蓄电池和储热罐在t时段存储的电量和存储的热量；

A表示动作空间，a_t∈A表示多微网系统在t时段可执行的动作；

a_t＝[P_ET,i,t,P_HT,i,t,P_EDR,i,t,P_HDR,i,t,P_BA,i,t,P_HS,i,t,P_k,i,t]

其中，P_ET,i,t和P_HT,i,t分别表示微网i在t时段向其他微网传输电能时的电功率和向其他微网传输热能时的热功率；P_EDR,i,t和P_HDR,i,t分别表示微网i在t时段电能需求响应量和热能需求响应量；P_BA,i,t和P_HS,i,t分别表示微网i中蓄电池和蓄热罐在t时段充放电功率和充放热功率；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；

P表示状态转移概率；

R表示奖励函数，r_t∈R(s_t,a_t)表示在s_t时执行动作a_t时环境反馈的即时奖励；

r_t＝-(F_1,t+F_2,t+F_3,t+F_4,t+λ_t)+r₀

其中，F_1,t表示t时段多微网系统与电网交互成本和购气成本；P_Grid,i,t表示微网i在t时段与电网的交互电量；π_buy,t和π_sell,t分别表示t时段的购电价格和售电价格；π_gas,t表示天然气在t时段的价格；G_i,t表示微网i在t时段购买的天然气量；F_2,t表示t时段多微网系统的CO₂治理成本；C_tre表示CO₂的单位治理成本；P_k,i,t表示微网i中第k个分布式电源在t时段的输出功率；μ_k为第k个分布式电源的CO₂排放系数；F_3,t表示t时段微网间的能量传输成本；a₁和a₂分别表示电能和热能的单位传输成本；F_4,t表示t时段多微网系统中电能和热能需求响应的执行成本；π_E,up和π_E,down分别表示电负荷上升和下降的单位成本；π_H,up和π_H,down分别表示热负荷上升和下降的单位成本；λ_t表示惩罚项；r₀为常数；γ表示折扣因子；γ∈[0,1]。

Images