CN115912430A - 基于云边端协同的大规模储能电站资源分配方法及系统 - Google Patents

Abstract

本发明涉及一种基于云边端协同的大规模储能电站资源分配方法及系统，属于电力系统优化控制技术领域。方法包括以下步骤：构建以云服务平台、边缘计算平台、多储能电站以及主备用网络为结构特征的大规模储能电站管控架构；基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练；根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控。本方法可以满足异构数据的差异化服务质量需求，实现系统开销最小，可以确保大规模储能电站的实时协同管控。

Description

基于云边端协同的大规模储能电站资源分配方法及系统

技术领域

本发明属于电力系统优化控制技术领域，尤其涉及一种基于云边端协同的大规模储能电站资源分配方法及系统。

背景技术

风电、光伏等可再生能源由于其自身的随机性、波动性、间歇性等特性给电力系统的安全稳定运行带来极大挑战。储能电站能够配合光伏、风电机组实现平抑发电波动、削峰填谷、跟踪计划出力等功能，降低新能源发电的随机性和波动性，增加新能源发电的可控性。

随着新能源装机容量不断增加，储能电站规模不断扩大，功能不断增强，不同系统层级的储能电站管控单元之间利用多类型网络通信技术实现数据采集、状态监测、系统管控。现有储能电站管控大都依靠就地系统，难以协同利用多源数据支撑运行分析、故障预警、实时管控。再加上管控过程所涉及的数据种类多、数量大、服务需求差异明显，对本地资源受限的储能电站的数据处理能力提出了严峻挑战。近年来，随着云计算、边缘计算技术的推广，通过在云端、边缘端部署服务平台，能够有效提升大规模储能电站的数据处理能力、提升系统安全性能。然而，云边端资源分布的不均匀性，大规模储能电站对资源的竞争性，以及异构数据服务需求的差异性，对网络和计算资源按需协同分配提出了进一步挑战。

为实现云边端资源协同调度，学术界从模型驱动和数据驱动的角度分别提出了不同的协同调度方法来实现时延最小、经济性最优等目标。其中，模型驱动方法需要人工建立准确调度模型，难以反映储能电站管控复杂时变的动态特征。储能电站管控需要具备一定程度的自主智能，在实现各储能电站独立管控的基础上增强大规模储能电站间的协同管控，以实时应对时变问题，这正是数据驱动方法，特别是多智能体深度强化学习方法的优势所在。但是从目前的研究成果来看，现有方法很少关注面向大规模储能电站管控的云边端协同资源分配方法，基于多智能体深度强化学习技术以增强储能电站自主智能管控和协同管控的应用更是鲜见报道。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于云边端协同的大规模储能电站资源分配方法及系统，充分考虑云边端资源数量、异构数据时延上界、能源消耗等约束，建立了云边端协同的资源分配架构，构建了系统开销优化的问题原型，可以满足异构数据的差异化服务质量需求，实现系统开销最小，可以确保大规模储能电站的实时协同管控。

为了实现上述目的，本发明采用如下技术方案：

根据本发明的一个方面，本发明提供了一种基于云边端协同的大规模储能电站资源分配方法，所述方法包括以下步骤：

S1：构建以云服务平台、边缘计算平台、多储能电站以及主备用网络为结构特征的大规模储能电站管控架构；

S2：基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练；

S3：根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控。

优选地，

所述边缘计算平台，具备边缘控制功能，实时响应就地管控指令；具备边缘侧算力资源，用于智能分析多个储能电站上传的数据，解析云服务平台下发的管控指令；具备数据通信能力，用于将智能分析后的关键数据通过主备用网络上传云服务平台，以及通过主备用网络下发来自云服务平台的管控指令至储能电站；

所述云服务平台，具备云端控制功能和云端算力资源，用于集中分析来自不同边缘计算平台的数据，形成全域最优管控指令，对全域范围内的储能电站进行集中统一管控；具备数据通信能力，用于接收来自边缘计算平台上传的数据，通过主备用网络下发管控指令至边缘计算平台；

所述多储能电站，具备就地控制功能，用于控制电池充放电；具备本地算力资源，用于支持异构数据就地计算；具备数据采集和通信功能，用于支持实时采集运行数据和环境监测数据，通过主备用网络卸载至边缘计算平台进行计算分析；

所述主备用网络，包括主用控制网络、备用控制网络、主用数据网络、备用数据网络，用于在储能电站、边缘计算平台、云服务平台之间建立通信链路，实现数据信息和管控指令安全可靠传输。

优选地，所述基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

建立关于云侧、边缘侧与电站侧协同的大规模储能电站的资源协同分配的问题原型为

满足约束条件：C1:0≤p_m≤P_max,C2:0≤f_m,n≤F_n,

C4:0≤r_m,n≤1,C5:o_m,j∈{0,1},

C7:0≤τ_m,n≤T_m ^max；

其中，M表示储能电站总个数，m∈{1,...,M}，N表示边缘计算平台总个数，n∈{1,...,N}，j∈{0,1,...,N}，

为最小化系统开销的优化目标，O＝{o_m,j}_M×(N+1),R＝{r_m,n}_M×N分别表示计算模式、卸载比例映射关系矩阵，P＝{p_m}_M表示发射功率矩阵，τ_m,j表示处理储能电站m数据的实际所用时延，e_m,j表示处理储能电站m数据的实际所用能耗，ω_τ表示时延权重，ω_e表示能耗权重；P_max表示储能电站的最大发射功率，f_m,n表示储能电站m从边缘计算平台n获得的算力资源，F_n表示边缘计算平台n的总算力资源，r_m,n表示储能电站m将数据卸载至边缘计算平台n的卸载比例，o_m,j表示计算模式，o_m,n＝1表示储能电站m选择边缘计算平台n进行卸载，o_m,0＝1表示储能电站m选择完全就地计算，

表示储能电站m所产生数据的时延上界。

优选地，所述基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

将资源协同分配的问题原型转换为马尔科夫博弈模型，建立马尔科夫博弈模型，所述马尔科夫博弈模型包括每个储能电站的状态、动作、奖励及状态转移函数；将资源协同分配问题转换为长期累积奖励最大化问题，基于多智能体深度强化学习构建深度确定性策略梯度模型求解马尔科夫博弈模型，离线训练多智能体深度确定性策略梯度模型，直至奖励收敛。

优选地，所述根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控包括：

在时刻t，将每个储能电站的状态作为离线训练完成的深度确定性策略梯度模型的输入，确定并输出储能电站的计算模式、发射功率、卸载比例，以及云侧、边缘侧资源分配情况，实现云边端资源协同分配。

根据本发明的另一个方面，本发明还提供了一种基于云边端协同的大规模储能电站资源分配系统，所述系统包括：

构建模块，用于构建以云服务平台、边缘计算平台、多储能电站以及主备用网络为结构特征的大规模储能电站管控架构；

处理模块，用于基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练；

分配模块，用于根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控。

优选地，

所述边缘计算平台，具备边缘控制功能，实时响应就地管控指令；具备边缘侧算力资源，用于智能分析多个储能电站上传的数据，解析云服务平台下发的管控指令；具备数据通信能力，用于将智能分析后的关键数据通过主备用网络上传云服务平台，以及通过主备用网络下发来自云服务平台的管控指令至储能电站；

所述云服务平台，具备云端控制功能和云端算力资源，用于集中分析来自不同边缘计算平台的数据，形成全域最优管控指令，对全域范围内的储能电站进行集中统一管控；具备数据通信能力，用于接收来自边缘计算平台上传的数据，通过主备用网络下发管控指令至边缘计算平台；

所述多储能电站，具备就地控制功能，用于控制电池充放电；具备本地算力资源，用于支持异构数据就地计算；具备数据采集和通信功能，用于支持实时采集运行数据和环境监测数据，通过主备用网络卸载至边缘计算平台进行计算分析；

所述主备用网络，包括主用控制网络、备用控制网络、主用数据网络、备用数据网络，用于在储能电站、边缘计算平台、云服务平台之间建立通信链路，实现数据信息和管控指令安全可靠传输。

优选地，所述基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

建立关于云侧、边缘侧与电站侧协同的大规模储能电站的资源协同分配的问题原型为

满足约束条件：C1:0≤p_m≤P_max,C2:0≤f_m,n≤F_n,

C4:0≤r_m,n≤1,C5:o_m,j∈{0,1},

其中，M表示储能电站总个数，m∈{1,...,M}，N表示边缘计算平台总个数，n∈{1,...,N}，j∈{0,1,...,N}，

为最小化系统开销的优化目标，O＝{o_m,j}_M×(N+1),R＝{r_m,n}_M×N分别表示计算模式、卸载比例映射关系矩阵，P＝{p_m}_M表示发射功率矩阵，τ_m,j表示处理储能电站m数据的实际所用时延，e_m,j表示处理储能电站m数据的实际所用能耗，ω_τ表示时延权重，ω_e表示能耗权重；P_max表示储能电站的最大发射功率，f_m,n表示储能电站m从边缘计算平台n获得的算力资源，F_n表示边缘计算平台n的总算力资源，r_m,n表示储能电站m将数据卸载至边缘计算平台n的卸载比例，o_m,j表示计算模式，o_m,n＝1表示储能电站m选择边缘计算平台n进行卸载，o_m,0＝1表示储能电站m选择完全就地计算，T_m ^max表示储能电站m所产生数据的时延上界。

优选地，所述处理模块基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

将资源协同分配的问题原型转换为马尔科夫博弈模型，建立马尔科夫博弈模型，所述马尔科夫博弈模型包括每个储能电站的状态、动作、奖励及状态转移函数；将资源协同分配问题转换为长期累积奖励最大化问题，基于多智能体深度强化学习构建深度确定性策略梯度模型求解马尔科夫博弈模型，离线训练多智能体深度确定性策略梯度模型，直至奖励收敛。

优选地，所述分配模块根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控包括：

在时刻t，将每个储能电站的状态作为离线训练完成的深度确定性策略梯度模型的输入，确定并输出储能电站的计算模式、发射功率、卸载比例，以及云侧、边缘侧资源分配情况，实现云边端资源协同分配。

相对于现有技术，本发明具有以下有益效果：

本发明提供一种基于云边端协同的大规模储能电站资源分配方法及系统，充分考虑云边端资源数量、异构数据时延上界、能源消耗等约束，建立了云边端协同的资源分配架构，构建了系统开销优化的问题原型，可以满足异构数据的差异化服务质量需求，实现系统开销最小，可以确保大规模储能电站的实时协同管控。

本发明面向大规模储能电站管控的复杂时变特征，以及网络、计算多维资源复杂耦合造成的模型构造困难和算法状态空间爆炸难题，采用多智能体深度强化学习方法求解云边端协同的资源分配问题，可以确保大规模储能电站的实时协同管控。

通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是基于云边端协同的大规模储能电站资源分配方法流程图；

图2是大规模储能电站管控架构示意图；

图3是基于多智能体深度强化学习的深度确定性策略梯度模型训练和执行的示意图；

图4是基于云边端协同的大规模储能电站资源分配系统示意图。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。

实施例1

图1是基于云边端协同的大规模储能电站资源分配方法流程图。如图1所示，本发明提供了一种基于云边端协同的大规模储能电站资源分配方法，所述方法包括以下步骤：

S1：构建以云服务平台、边缘计算平台、多储能电站以及主备用网络为结构特征的大规模储能电站管控架构。

优选地，

所述边缘计算平台，具备边缘控制功能，实时响应就地管控指令；具备边缘侧算力资源，用于智能分析多个储能电站上传的数据，解析云服务平台下发的管控指令；具备数据通信能力，用于将智能分析后的关键数据通过主备用网络上传云服务平台，以及通过主备用网络下发来自云服务平台的管控指令至储能电站；

所述云服务平台，具备云端控制功能和云端算力资源，用于集中分析来自不同边缘计算平台的数据，形成全域最优管控指令，对全域范围内的储能电站进行集中统一管控；具备数据通信能力，用于接收来自边缘计算平台上传的数据，通过主备用网络下发管控指令至边缘计算平台；

所述多储能电站，具备就地控制功能，用于控制电池充放电；具备本地算力资源，用于支持异构数据就地计算；具备数据采集和通信功能，用于支持实时采集运行数据和环境监测数据，通过主备用网络卸载至边缘计算平台进行计算分析；

所述主备用网络，包括主用控制网络、备用控制网络、主用数据网络、备用数据网络，用于在储能电站、边缘计算平台、云服务平台之间建立通信链路，实现数据信息和管控指令安全可靠传输。

具体地，如图2所示，大规模储能电站管控架构包括：M个储能电站(m∈{1,...,M})，N个边缘计算平台(n∈{1,...,N})和1个云服务平台。其中，储能电站包括但不限于电池模组、储能变流器PCS、电池管理系统BMS以及能量管理系统EMS，具备就地控制功能，用于控制电池充放电；具备本地算力资源和数据采集通信功能，用于支持异构数据就地计算、实时采集运行数据和环境监测数据，通过主备用网络卸载至边缘计算平台进行计算分析；边缘计算平台，具备边缘控制功能、边缘侧算力资源和数据通信能力，用于智能分析多个储能电站上传的数据，实时响应就地管控指令，解析云服务平台下发的管控指令，通过主备用网络将智能分析后的关键数据上传云服务平台，以及下发来自云服务平台的管控指令至储能电站；云服务平台，具备云端控制功能、云端算力资源和数据通信能力，用于集中分析来自不同边缘计算平台的数据，形成全域最优管控指令，通过主备用网络接收来自边缘计算平台上传的数据，以及下发管控指令至边缘计算平台；主备用网络，包括主用控制网络、备用控制网络、主用数据网络、备用数据网络，用于在储能电站、边缘计算平台、云服务平台之间建立通信链路，实现数据信息和管控指令安全可靠传输。

对于单个边缘计算平台，汇集有源自多台储能电站的运行数据和环境监测数据，调用边缘侧算力智能分析原始运行数据和环境监测数据后得到关键分析数据，通过主备用网络将关键分析数据上传云服务平台，传输速率为C_n,cloud；其中，主备用网络为有线网络时，C_n,cloud为固定值，依赖传输介质类型；主备用网络为无线网络时，C_n,cloud受环境干扰；

其中，n∈{1,...,N}，N表示边缘计算平台总个数，B_n,cloud表示边缘计算平台n到云服务平台之间的网络带宽，p_n表示边缘计算平台n的发射功率，g_n,cloud表示边缘计算平台n到云服务平台的信道增益，σ_n,cloud ²表示边缘计算平台n到云服务平台的噪声干扰。

对于单个储能电站，可以执行就地计算、卸载计算两种计算模式，但只能卸载到一个边缘计算平台。卸载计算包括：部分卸载或全部卸载。以o_m,j表示计算模式，j∈{0,1,...,N}，o_m,n＝1表示储能电站m选择边缘计算平台n进行卸载，o_m,0＝1表示储能电站m选择完全就地计算。储能电站通过主备用网络与边缘计算平台通信，传输速率为C_m,n；其中，主备用网络为有线网络时，C_m,n为固定值，依赖传输介质类型；主备用网络为无线网络时，C_m,n受环境干扰；

其中，m∈{1,...,M}，M表示储能电站总个数，n∈{1,...,N}，N表示边缘计算平台总个数，j∈{0,1,...,N}，B_m,n表示储能电站m与边缘计算平台n之间的网络带宽，o_m,n表示计算模式，p_m、p_m'分别表示储能电站m和储能电站m'的发射功率，h_m,n和h_m′,n分别表示储能电站m和储能电站m'到边缘计算平台n的信道增益，l_m,n和l_m′,n分别表示储能电站m和储能电站m'到边缘计算平台n的物理距离，α表示路损系数，

表示边缘计算平台n处的噪声。

S2：基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练。

优选地，所述基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

建立关于云侧、边缘侧与电站侧协同的大规模储能电站的资源协同分配的问题原型为

满足约束条件：C1:0≤p_m≤P_max,C2:0≤f_m,n≤F_n,

C4:0≤r_m,n≤1,C5:o_m,j∈{0,1},

其中，M表示储能电站总个数，m∈{1,...,M}，N表示边缘计算平台总个数，n∈{1,...,N}，j∈{0,1,...,N}，

为最小化系统开销的优化目标，O＝{o_m,j}_M×(N+1),R＝{r_m,n}_M×N分别表示计算模式、卸载比例映射关系矩阵，P＝{p_m}_M表示发射功率矩阵，τ_m,j表示处理储能电站m数据的实际所用时延，e_m,j表示处理储能电站m数据的实际所用能耗，ω_τ表示时延权重，ω_e表示能耗权重；P_max表示储能电站的最大发射功率，f_m,n表示储能电站m从边缘计算平台n获得的算力资源，F_n表示边缘计算平台n的总算力资源，r_m,n表示储能电站m将数据卸载至边缘计算平台n的卸载比例，o_m,j表示计算模式，o_m,n＝1表示储能电站m选择边缘计算平台n进行卸载，o_m,0＝1表示储能电站m选择完全就地计算，

表示储能电站m所产生数据的时延上界，即储能电站m所能接受的最长数据处理时间。

具体地，建立关于云侧、边缘侧与电站侧协同的大规模储能电站的资源协同分配的问题原型为

其中约束条件满足：C1:0≤p_m≤P_max,C2:0≤f_m,n≤F_n,

C4:0≤r_m,n≤1,C5:o_m,j∈{0,1},

其中，M表示储能电站总个数，m∈{1,...,M}，N表示边缘计算平台总个数，n∈{1,...,N}，j∈{0,1,...,N}，

为最小化系统开销的优化目标，O＝{o_m,j}_M×(N+1),R＝{r_m,n}_M×N分别表示计算模式、卸载比例映射关系矩阵，P＝{p_m}_M表示发射功率矩阵，τ_m,j表示处理储能电站m数据的实际所用时延，e_m,j表示处理储能电站m数据的实际所用能耗，ω_τ表示时延权重，ω_e表示能耗权重。

处理储能电站m数据的实际所用时延τ_m,n由云服务平台时延、边缘计算平台时延和就地时延决定，计算方法如下：

云服务平台时延

由边缘计算平台与云服务平台之间的上、下行通信时延和云服务平台的计算时延决定，计算为

其中，

表示边缘计算平台n上传到云服务平台的关键分析数据的数据量，

表示云服务平台下发至边缘计算平台n的数据量，

表示边缘计算平台n到云服务平台的上行传输速率，

表示云服务平台至边缘计算平台n的下行传输速率，c_n,cloud表示边缘计算平台n上传的关键分析数据所需的可运算指令数，f_n,cloud表示边缘计算平台n从云服务平台获得的算力资源。

边缘计算平台时延

由储能电站与边缘计算平台之间的上、下行通信时延和边缘计算平台的计算时延决定，计算为

其中，

表示储能电站m待处理的全部数据量，

表示储能电站m上传到边缘计算平台n的数据量，

表示边缘计算平台n下发到储能电站m的数据量，

表示储能电站m到边缘计算平台n的上行传输速率，

表示储能电站m到边缘计算平台n的下行传输速率，

表示储能电站m计算全部数据量所需的运算指令数，

表示储能电站m上传到边缘计算平台n的数据所需的运算指令数。

就地计算时延

计算为

其中，

表示储能电站m就地计算所需的运算指令数，F_m表示储能电站m的总算力资源。

处理数据的实际所用能耗，由云服务平台能耗、边缘计算平台能耗和就地能耗决定，计算方法如下：

云服务平台能耗

由边缘计算平台与云服务平台之间的上、下行通信能耗、云服务平台的计算能耗和日常运行能耗决定，计算为

其中，p_n表示边缘计算平台n与云服务平台上下行通信的发射功率，

表示云服务平台执行单位运算指令数所需能耗，

表示云服务平台日常运行所需能耗。

边缘计算平台能耗

由储能电站与边缘计算平台之间的上、下行通信能耗、边缘计算平台的计算能耗和日常运行能耗决定，计算为

其中，

表示边缘计算平台执行单位运算指令数所需能耗，

表示边缘计算平台日常运行所需能耗。

就地计算能耗

计算为

其中，

表示储能电站执行单位运算指令数所需能耗，

表示边缘计算平台日常运行所需能耗。

C1为发射功率约束；其中，P_max表示储能电站的最大发射功率；

C2和C3为计算资源约束；其中，f_m,n表示储能电站m从边缘计算平台n获得的算力资源，F_n表示边缘计算平台n的总算力资源，均由单位时间内的可运算指令数来表征；

C4为卸载比例约束；其中，r_m,n表示储能电站m将数据卸载至边缘计算平台n的卸载比例，其大小在0到1之间；

C5和C6为计算模式约束；其中，o_m,n＝1表示储能电站m选择边缘计算平台n进行卸载，o_m,0＝1表示储能电站m选择完全就地计算；每个储能电站只能卸载数据至一个边缘计算平台，不能卸载到多个边缘计算平台；

C7为数据时延上界；其中，

表示储能电站m所产生数据的时延上界，即储能电站m所能接受的最长数据处理时间。

优选地，所述基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

将资源协同分配的问题原型转换为马尔科夫博弈模型，建立马尔科夫博弈模型，所述马尔科夫博弈模型包括每个储能电站的状态、动作、奖励及状态转移函数；将资源协同分配问题转换为长期累积奖励最大化问题，基于多智能体深度强化学习构建深度确定性策略梯度模型求解马尔科夫博弈模型，离线训练多智能体深度确定性策略梯度模型，直至奖励收敛。

具体地，建立马尔科夫博弈模型，包括每个储能电站的状态、动作、奖励及状态转移函数；

储能电站m在时刻t的状态，表示为

其中，k_m(t)表示储能电站m所产生数据的优先级，z_m(t)表示储能电站m所产生数据的时延上界，

N＝{1,2,...,N}表示储能电站与MEC平台的相对位置。

储能电站m在时刻t动作，表示为

其中，

表示储能电站m选择的计算模式，

表示储能电站m发射功率，

表示储能电站m数据的卸载比例。

储能电站m在时刻t的奖励，表示为

其中，

表示储能电站m的时延奖励，

表示储能电站m的能耗奖励，Ps(t)表示违反时延上界约束的惩罚项，由数据优先级决定，储能电站m获得的奖励为

状态转移函数为在时刻t执行动作a_m(t)后，由状态s_m(t)转移到状态s_m(t+1)的概率，表示为f(s_m(t+1)|s_m(t),a_m(t))。

b)确定长期累积奖励函数为

其中，t₀表示历史时刻，γ∈[0,1]表示折扣系数，用于指示过去的奖励对当前奖励的影响情况。

c)进行问题转换，将资源协同分配问题转换为长期累积奖励最大化问题

max R_m(t)

s.t.C1,C2,C3,C4,C5,C6,C7

在满足约束C1-C7的情况下，最大化长期累积奖励，以获得最优状态转移概率，得到有效的最小化系统开销的资源协同分配策略。

基于多智能体深度强化学习构建深度确定性策略梯度模型求解马尔科夫博弈模型，将每个储能电站作为独立的智能体，每个智能体的深度确定性策略梯度模型包含一个actor模块、一个critic模块和一个经验池模块。actor模块包含两个深度神经网络，分别称为估计actor网络和目标actor网络，两者结构相同，但超参数不同；critic模块包含两个深度神经网络，分别称为估计critic网络和目标critic网络，两者结构相同，但超参数不同；经验池模块包含智能体历史时刻的状态、动作、奖励。actor利用基于策略的方式输出动作，而critic利用基于值的方式获得用于评判来自actor的动作的价值，并指导actor的动作学习过程。经验池储存历史经验，作为训练数据来训练actor和critic。

离线训练多智能体深度确定性策略梯度模型，直至奖励收敛，如图3所示，包括以下步骤：

a)初始化actor模块、critic模块和经验池；

b)将初始化s_m(t)输入到储能电站m的估计actor网络中，生成动作a_m(t)；

c)储能电站m执行a_m(t)，将s_m(t)转化为s_m(t+1)，得到奖励r_m(t)；

d)将时刻t的状态s_m(t)、动作a_m(t)、奖励r_m(t)与时刻t+1的状态s_m(t+1)作为经验，在储能电站m的经验池中存储并更新；

e)将s_m(t+1)输入到储能电站m的目标actor网络中，生成动作a_m(t+1)；

f)将全部储能电站在时刻t的状态S(t)＝{s₁(t),...,s_M(t)}和动作A(t)＝{a₁(t),...,a_M(t)}输入估计critic网络，得到

g)将全部储能电站在时刻t+1的状态S(t+1)＝{s₁(t+1),...,s_M(t+1)}和动作A(t+1)＝{a₁(t+1),...,a_M(t+1)}输入目标critic网络，得到

h)利用

更新估计actor网络的超参数

i)利用

更新估计critic网络的超参数

j)利用

和

异步更新更新目标actor网络和目标critic网络的超参数

和

其中，

为异步更新因子；

k)执行经验回放，重复迭代步骤a)-j)直至奖励收敛，获得有效的系统开销最小化策略，即关于云服务平台、边缘计算平台、储能电站的资源协同分配策略。

S3：根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控。

优选地，所述根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控包括：

在时刻t，将每个储能电站的状态作为离线训练完成的深度确定性策略梯度模型的输入，确定并输出储能电站的计算模式、发射功率、卸载比例，以及云侧、边缘侧资源分配情况，实现云边端资源协同分配。

具体地，各储能电站利用离线训练好的资源分配策略，在线执行资源协同分配，包括以下步骤：

a)在时刻t，各储能电站获取状态s_m(t)作为离线训练完成的各自actor模块的输入，得到输出动作a_m(t)；

b)根据得到的输出动作a_m(t)，确定储能电站的计算模式、发射功率、卸载比例，以及云侧、边缘侧资源分配情况，实现云边端资源协同分配，保障大规模储能电站安全稳定运行。

本实施例充分考虑云边端资源数量、异构数据时延上界、能源消耗等约束，建立了云边端协同的资源分配架构，构建了系统开销优化的问题原型，可以满足异构数据的差异化服务质量需求，实现系统开销最小，可以确保大规模储能电站的实时协同管控。

实施例2

图4是基于云边端协同的大规模储能电站资源分配系统示意图。如图4所示，本发明还提供了一种基于云边端协同的大规模储能电站资源分配系统，所述系统包括：

构建模块401，用于构建以云服务平台、边缘计算平台、多储能电站以及主备用网络为结构特征的大规模储能电站管控架构；

处理模块402，用于基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练；

分配模块403，用于根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控。

优选地，

所述边缘计算平台，具备边缘控制功能，实时响应就地管控指令；具备边缘侧算力资源，用于智能分析多个储能电站上传的数据，解析云服务平台下发的管控指令；具备数据通信能力，用于将智能分析后的关键数据通过主备用网络上传云服务平台，以及通过主备用网络下发来自云服务平台的管控指令至储能电站；

所述云服务平台，具备云端控制功能和云端算力资源，用于集中分析来自不同边缘计算平台的数据，形成全域最优管控指令，对全域范围内的储能电站进行集中统一管控；具备数据通信能力，用于接收来自边缘计算平台上传的数据，通过主备用网络下发管控指令至边缘计算平台；

所述多储能电站，具备就地控制功能，用于控制电池充放电；具备本地算力资源，用于支持异构数据就地计算；具备数据采集和通信功能，用于支持实时采集运行数据和环境监测数据，通过主备用网络卸载至边缘计算平台进行计算分析；

所述主备用网络，包括主用控制网络、备用控制网络、主用数据网络、备用数据网络，用于在储能电站、边缘计算平台、云服务平台之间建立通信链路，实现数据信息和管控指令安全可靠传输。

优选地，所述处理模块402基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

建立关于云侧、边缘侧与电站侧协同的大规模储能电站的资源协同分配的问题原型为

满足约束条件：C1:0≤p_m≤P_max,C2:0≤f_m,n≤F_n,

C4:0≤r_m,n≤1,C5:o_m,j∈{0,1},

其中，M表示储能电站总个数，m∈{1,...,M}，N表示边缘计算平台总个数，n∈{1,...,N}，j∈{0,1,...,N}，

为最小化系统开销的优化目标，O＝{o_m,j}_M×(N+1),R＝{r_m,n}_M×N分别表示计算模式、卸载比例映射关系矩阵，P＝{p_m}_M表示发射功率矩阵，τ_m,j表示处理储能电站m数据的实际所用时延，e_m,j表示处理储能电站m数据的实际所用能耗，ω_τ表示时延权重，ω_e表示能耗权重；P_max表示储能电站的最大发射功率，f_m,n表示储能电站m从边缘计算平台n获得的算力资源，F_n表示边缘计算平台n的总算力资源，r_m,n表示储能电站m将数据卸载至边缘计算平台n的卸载比例，o_m,j表示计算模式，o_m,n＝1表示储能电站m选择边缘计算平台n进行卸载，o_m,0＝1表示储能电站m选择完全就地计算，T_m ^max表示储能电站m所产生数据的时延上界，即储能电站m所能接受的最长数据处理时间。

优选地，所述处理模块402基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

将资源协同分配的问题原型转换为马尔科夫博弈模型，建立马尔科夫博弈模型，所述马尔科夫博弈模型包括每个储能电站的状态、动作、奖励及状态转移函数；将资源协同分配问题转换为长期累积奖励最大化问题，基于多智能体深度强化学习构建深度确定性策略梯度模型求解马尔科夫博弈模型，离线训练多智能体深度确定性策略梯度模型，直至奖励收敛。

优选地，所述分配模块403根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控包括：

在时刻t，将每个储能电站的状态作为离线训练完成的深度确定性策略梯度模型的输入，确定并输出储能电站的计算模式、发射功率、卸载比例，以及云侧、边缘侧资源分配情况，实现云边端资源协同分配。

本实施例2中各个模块所实现的功能的具体实施过程与实施例1中的实施过程相同，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于云边端协同的大规模储能电站资源分配方法，其特征在于，所述方法包括以下步骤：

S1：构建以云服务平台、边缘计算平台、多储能电站以及主备用网络为结构特征的大规模储能电站管控架构；

S2：基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练；

S3：根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控。

2.根据权利要求1所述的方法，其特征在于，所述边缘计算平台，具备边缘控制功能，实时响应就地管控指令；具备边缘侧算力资源，用于智能分析多个储能电站上传的数据，解析云服务平台下发的管控指令；具备数据通信能力，用于将智能分析后的关键数据通过主备用网络上传云服务平台，以及通过主备用网络下发来自云服务平台的管控指令至储能电站；

所述云服务平台，具备云端控制功能和云端算力资源，用于集中分析来自不同边缘计算平台的数据，形成全域最优管控指令，对全域范围内的储能电站进行集中统一管控；具备数据通信能力，用于接收来自边缘计算平台上传的数据，通过主备用网络下发管控指令至边缘计算平台；

所述多储能电站，具备就地控制功能，用于控制电池充放电；具备本地算力资源，用于支持异构数据就地计算；具备数据采集和通信功能，用于支持实时采集运行数据和环境监测数据，通过主备用网络卸载至边缘计算平台进行计算分析；

所述主备用网络，包括主用控制网络、备用控制网络、主用数据网络、备用数据网络，用于在储能电站、边缘计算平台、云服务平台之间建立通信链路，实现数据信息和管控指令安全可靠传输。

3.根据权利要求1所述的方法，其特征在于，所述基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

建立关于云侧、边缘侧与电站侧协同的大规模储能电站的资源协同分配的问题原型为

满足约束条件：C1:0≤p_m≤P_max,C2:0≤f_m,n≤F_n,C3:

C4:0≤r_m,n≤1,C5:o_m,j∈{0,1},C6:

C7:

其中，M表示储能电站总个数，m∈{1,...,M}，N表示边缘计算平台总个数，n∈{1,...,N}，j∈{0,1,...,N}，

为最小化系统开销的优化目标，O＝{o_m,j}_M×(N+1),R＝{r_m,n}_M×N分别表示计算模式、卸载比例映射关系矩阵，P＝{p_m}_M表示发射功率矩阵，τ_m,j表示处理储能电站m数据的实际所用时延，e_m,j表示处理储能电站m数据的实际所用能耗，ω_τ表示时延权重，ω_e表示能耗权重；P_max表示储能电站的最大发射功率，f_m,n表示储能电站m从边缘计算平台n获得的算力资源，F_n表示边缘计算平台n的总算力资源，r_m,n表示储能电站m将数据卸载至边缘计算平台n的卸载比例，o_m,j表示计算模式，o_m,n＝1表示储能电站m选择边缘计算平台n进行卸载，o_m,0＝1表示储能电站m选择完全就地计算，

表示储能电站m所产生数据的时延上界。

4.根据权利要求1所述的方法，其特征在于，所述基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

将资源协同分配的问题原型转换为马尔科夫博弈模型，建立马尔科夫博弈模型，所述马尔科夫博弈模型包括每个储能电站的状态、动作、奖励及状态转移函数；将资源协同分配问题转换为长期累积奖励最大化问题，基于多智能体深度强化学习构建深度确定性策略梯度模型求解马尔科夫博弈模型，离线训练多智能体深度确定性策略梯度模型，直至奖励收敛。

5.根据权利要求1所述的方法，其特征在于，所述根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控包括：

在时刻t，将每个储能电站的状态作为离线训练完成的深度确定性策略梯度模型的输入，确定并输出储能电站的计算模式、发射功率、卸载比例，以及云侧、边缘侧资源分配情况，实现云边端资源协同分配。

6.一种基于云边端协同的大规模储能电站资源分配系统，其特征在于，所述系统包括：

构建模块，用于构建以云服务平台、边缘计算平台、多储能电站以及主备用网络为结构特征的大规模储能电站管控架构；

处理模块，用于基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练；

分配模块，用于根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控。

7.根据权利要求6所述的系统，其特征在于，

所述边缘计算平台，具备边缘控制功能，实时响应就地管控指令；具备边缘侧算力资源，用于智能分析多个储能电站上传的数据，解析云服务平台下发的管控指令；具备数据通信能力，用于将智能分析后的关键数据通过主备用网络上传云服务平台，以及通过主备用网络下发来自云服务平台的管控指令至储能电站；

所述云服务平台，具备云端控制功能和云端算力资源，用于集中分析来自不同边缘计算平台的数据，形成全域最优管控指令，对全域范围内的储能电站进行集中统一管控；具备数据通信能力，用于接收来自边缘计算平台上传的数据，通过主备用网络下发管控指令至边缘计算平台；

所述多储能电站，具备就地控制功能，用于控制电池充放电；具备本地算力资源，用于支持异构数据就地计算；具备数据采集和通信功能，用于支持实时采集运行数据和环境监测数据，通过主备用网络卸载至边缘计算平台进行计算分析；

所述主备用网络，包括主用控制网络、备用控制网络、主用数据网络、备用数据网络，用于在储能电站、边缘计算平台、云服务平台之间建立通信链路，实现数据信息和管控指令安全可靠传输。

8.根据权利要求6所述的系统，其特征在于，所述基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

建立关于云侧、边缘侧与电站侧协同的大规模储能电站的资源协同分配的问题原型为

满足约束条件：C1:0≤p_m≤P_max,C2:0≤f_m,n≤F_n,C3:

C4:0≤r_m,n≤1,C5:o_m,j∈{0,1},C6:

C7:

其中，M表示储能电站总个数，m∈{1,...,M}，N表示边缘计算平台总个数，n∈{1,...,N}，j∈{0,1,...,N}，

为最小化系统开销的优化目标，O＝{o_m,j}_M×(N+1),R＝{r_m,n}_M×N分别表示计算模式、卸载比例映射关系矩阵，P＝{p_m}_M表示发射功率矩阵，τ_m,j表示处理储能电站m数据的实际所用时延，e_m,j表示处理储能电站m数据的实际所用能耗，ω_τ表示时延权重，ω_e表示能耗权重；P_max表示储能电站的最大发射功率，f_m,n表示储能电站m从边缘计算平台n获得的算力资源，F_n表示边缘计算平台n的总算力资源，r_m,n表示储能电站m将数据卸载至边缘计算平台n的卸载比例，o_m,j表示计算模式，o_m,n＝1表示储能电站m选择边缘计算平台n进行卸载，o_m,0＝1表示储能电站m选择完全就地计算，

表示储能电站m所产生数据的时延上界。

9.根据权利要求6所述的系统，其特征在于，所述处理模块基于所述大规模储能电站管控架构建立大规模储能电站资源分配模型，对所述资源分配模型进行处理和训练包括：

将资源协同分配的问题原型转换为马尔科夫博弈模型，建立马尔科夫博弈模型，所述马尔科夫博弈模型包括每个储能电站的状态、动作、奖励及状态转移函数；将资源协同分配问题转换为长期累积奖励最大化问题，基于多智能体深度强化学习构建深度确定性策略梯度模型求解马尔科夫博弈模型，离线训练多智能体深度确定性策略梯度模型，直至奖励收敛。

10.根据权利要求6所述的系统，其特征在于，所述分配模块根据所述处理和训练后的资源分配模型，在线执行资源协同分配，实现大规模储能电站协同管控包括：

在时刻t，将每个储能电站的状态作为离线训练完成的深度确定性策略梯度模型的输入，确定并输出储能电站的计算模式、发射功率、卸载比例，以及云侧、边缘侧资源分配情况，实现云边端资源协同分配。

Images