CN112966444B - 一种建筑多能源系统智慧能量优化方法及装置 - Google Patents

Abstract

本发明公开了一种建筑多能源系统智慧能量优化方法及装置，方法的设计步骤如下：获取建筑多能源系统的当前环境状态；将所述当前环境状态输入到训练好的深度神经网络；通过深度神经网络输出建筑多能源系统行为；对所述建筑多能源系统的行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量；根据上述结论对建筑多能源系统进行控制。本发明方法无需知晓任何不确定性参数的先验信息和明确的建筑热动态性模型。相比现有方法，本发明方法可有效降低运行成本且具有更强的鲁棒性和通用性。

Description

一种建筑多能源系统智慧能量优化方法及装置

技术领域

本发明涉及一种建筑多能源系统智慧能量优化方法，属于人工智能与智慧建筑能源系统交叉领域。

背景技术

建筑在全世界能源消耗和碳排放总量中占有很大的比重。2019年，全球建筑消耗的能源占全球能源总量约30％，产生的碳排放占全球碳排放总量约28％。目前全球能源供给主要依赖化石燃料等不可再生能源，导致能源枯竭问题和环境污染问题日益严重。近年来，氢能因其具有清洁、可再生、来源广泛、储运方便、利用率高等优点受到了广泛关注，被公认为一种很有前景的化石燃料替代品。此外，氢能存储系统与其他储能系统(如热能存储系统、电能存储系统)的协调运行有助于提升建筑能量效率。因此，优化具有氢电热混合储能建筑多能源系统的运行非常重要。

现有研究提出了若干针对具有氢电热混合储能的建筑多能源系统的能量优化方法，这些方法的目标是最小化系统运行成本(主要包括能量成本和碳排放成本等)。尽管上述研究取得了一定的进展，但均未考虑建筑热动态性，这意味着高建筑热惯性(即建筑室内温度由于初始激励(如突然停止加热)呈现弱化和延迟反应的现象)并未被充分利用以降低系统运行成本。然而，当将建筑热动态性考虑在具有氢电热混合储能的建筑多能源系统中时，系统优化运行面临四个方面的挑战：(1)存在大量不确定性系统参数。如可再生能源发电功率输出、电价、外部温度、用户占用状态、负荷等；(2)存在大量时间和空间耦合运行约束。例如氢能/电能/热能存储系统储能水平存在时间耦合关系，不同能源设备之间需要满足功率平衡、热能平衡导致了空间耦合关系的产生；(3)氢能存储系统中燃料电池同时产生电和热导致电能流和热能流之间存在耦合，这意味着三种能量流所涉及的设备间需要相互协调以达到最优化系统运行成本的目的；(4)很难建立既准确又易于建筑控制的明确建筑热动态性模型。即使该模型存在，获取并维持该模型将是一项非常耗时且容易出错的过程。当同时考虑上述挑战时，现有需知晓明确建筑热动态性模型的建筑微电网能量管理方法(如：随机规划、健壮性规划、模型预测控制、李雅普诺夫最优化)均不再适用。

发明内容

为了克服存在的上述挑战，本发明提供了一种建筑多能源系统智慧能量优化方法，其目的是在维持室内舒适温度范围的前提下最小化具有氢电热混合储能建筑多能源系统运行成本。提出的方法无需知晓明确的建筑热动态性模型和任何不确定性系统参数的先验信息。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种建筑多能源系统智慧能量优化方法，包括如下步骤：

获取建筑多能源系统的当前环境状态；

将所述当前环境状态输入到训练好的深度神经网络；

通过深度神经网络输出建筑多能源系统行为；

对所述建筑多能源系统的行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量；

根据所述建筑多能源系统的行为和计算所得的热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量，对建筑多能源系统进行控制。

进一步的，所述环境状态的表达式如下：

式中，v_t表示t时隙的买电价格，P_pv,t表示t时隙太阳能发电机的发电功率；P_load,t表示t时隙的电负载需求；μ_e,t为t时隙大电网的碳排放率；B_t为t时隙电能存储系统中的储能水平；

分别表示t-1时隙电解槽和燃料电池的开关状态；H_t为t时隙氢能存储系统中的储能水平；Q_th,t为t时隙热能存储系统中储能水平；β_in,t为t时隙的室内温度；β_out,t为t时隙的室外温度；t表示当前时隙，此处，时隙是指建筑多能源系统执行连续两次行为决策的时间间隔；

所述行为的表达式如下：

a_t＝(a_b,t,a_h,t,P_sp,t) (2)

式中，a_b,t为电能存储系统在t时隙的充电/放电功率，若a_b,t＞0，则电能存储系统充电功率P_bc,t＝a_b,t且P_bd,t＝0；否则，P_bd,t＝a_b,t且P_bc,t＝0；a_h,t表示t时隙电解槽输入功率/燃料电池输出功率，若a_h,t＞0，则电解槽输入功率P_el,t＝a_h,t且燃料电池输出功率P_fc,t＝0；否则，P_fc,t＝a_h,t且P_el,t＝0；P_sp,t表示t时隙供给建筑物的热功率；

所述奖励的表达式如下：

r_t+1＝r_1,t+1+π_thr_2,t+1 (3)

式中，

其中C_1,t为t时隙建筑多能源系统与大电网交互的能量成本；C_2,t为t时隙碳排放成本；C_3,t为t时隙电能存储系统的折旧成本；C_4,t为t时隙氢能存储系统的启动、关闭、运行和维护成本；C_5,t为t时隙热能存储系统的折旧成本；C_6,t为t时隙天然气购买成本；r_2,t+1为t时隙热不适成本；π_th是正权重系数。

进一步的，对所述建筑多能源系统的当前行为按照能量存储系统储能水平动态性和运行约束进行重调整的方法包括：根据电能存储系统储能水平动态性、氢能存储系统储能水平动态性以及与电能存储系统相关的运行约束、与氢能存储系统相关的运行约束、与热负载需求相关的运行约束对所述建筑多能源系统的行为进行重调整；

所述电能存储系统储能水平的动态性如下式：

式中，B_t+1表示t+1时隙电能存储系统中的储能水平；B_t表示t时隙电能存储系统中的储能水平；η_bc和η_bd分别表示电能存储系统的充电和放电效率系数；P_bc,t和P_bd,t分别表示t时隙电能存储系统的充电功率和放电功率；P_bc,t≥0且P_bd,t≤0；

所述氢能存储系统储能水平的动态性如下式：

式中，H_t+1表示t+1时隙氢能存储系统的储能水平；H_t表示t时隙氢能存储系统的储能水平；P_el,t和P_fc,t分别表示电解槽的输入功率和燃料电池的输出功率；ω_el和ω_fc分别表示电解槽和燃料电池的转换系数；P_el,t≥0且P_fc,t≤0；

所述与电能存储系统相关的运行约束包括：

式中，B^min和B^max分别是电能存储系统的最小和最大储能水平；

为电能存储系统的最大充电、放电功率；

所述与氢能存储系统相关的运行约束包括：

0≤H_t≤H^max，

P_el,t·P_fc,t＝0，

式中，H^max是氢罐的最大存储容量；

和

分别是电解槽和燃料电池的额定功率；

所述与热负载需求相关的运行约束包括：

β^min≤β_in,t≤β^max，β_in,t+1＝F(P_sp,t,β_out,t,β_in,t,ι_t)，

式中，β^min和β^max分别表示舒适温度范围的下限和上限；F表示建筑热动态性模型；ε_t表示t时隙随机热扰动；

表示最大热输入功率。

进一步的，计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量的方法包括：根据所述调整后的行为、热能存储系统的运行约束、天然气锅炉运行约束、热能平衡约束、热能存储系统中储能水平的动态性和功率平衡约束计算热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量；

所述与热能存储系统相关的运行约束包括：

P_td,t·P_tc,t＝0，

式中，

是热能存储系统的最大容量；

和

分别是热能存储系统的最大释放功率和最大注入功率；

所述天然气锅炉运行约束为：

式中，P_gb,t为t时隙天然气锅炉输出的热功率；

所述热能平衡约束为：Q_fc,t≥(P_tc,t+P_td,t+P_sp,t-P_gb,t)Δt；

所述功率平衡约束为：

P_g,t+P_pv,t-P_fc,t-P_bd,t＝P_el,t+P_load,t+P_bc,t (6)

式中，P_g,t为t时隙建筑多能源系统与大电网之间的能量交易量；

所述热能存储系统的注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量计算方法为：比较建筑热负载需求的热供给功率P_sp,t和燃料电池释放功率P_fc,t之间的大小，若前者大于后者，则根据热能存储系统运行约束、天然气锅炉运行约束、热能平衡约束以及热能存储系统中储能水平的动态性计算热能存储系统释放的热功率和由天然气锅炉补充的热功率；反之，则根据热能存储系统运行约束、热能平衡约束以及热能存储系统中储能水平的动态性计算热能存储系统释放的热功率，此时天然气锅炉输出的热功率为零；建筑多能源系统与大电网之间的能量交易量P_g,t可根据功率平衡约束计算得出。

进一步的，所述对建筑多能源系统进行控制的方法包括生成建筑多能源系统控制决策，所述建筑多能源系统控制决策包括：电能存储系统充/放功率、氢能存储系统输入/输出功率、建筑热负载需求的热供给功率、热能存储系统的注入/释放功率、天然气锅炉输出功率、以及建筑多能源系统与大电网之间的能量交易量。

进一步的，所述经验转移元组的优先级计算如下：

p_l＝|δ_l|+ζ (7)

式中，p_l为第l个经验转移元组的优先级；δ_l表示与第l个经验转移元组相关的时间差分误差；ζ用来保证时间差分误差为0的经验转移元组也有被选中的概率。

进一步的，所述利用基于优先经验回放的深度确定性策略梯度算法更新深度神经网络权重的方法包括：

所述评论家网络通过最小化损失函数更新权重参数，损失函数表达式为：

式中，K表示随机抽取的经验转移元组个数；ω_k＝(N_mP_k)^-σ表示经验转移元组k的重要性采样权重；其中，N_m表示经验池大小，

表示抽取经验转移元组k的概率，参数0≤σ≤1用来补偿非均匀概率P_k；y_k表示目标Q值；Q(s_k,a_k|θ)表示权重为θ的评论家网络输出的预期Q值；

所述行动者网络通过策略梯度更新权重参数，策略梯度表达式为：

式中，

表示权重为

的行动者网络。

进一步的，所述深度神经网络包括一个行动者网络，一个目标行动者网络、一个评论家网络和一个目标评论家网络；其中，智能体的行动者网络和目标行动者网络结构相同，评论家网络和目标评论家网络结构相同；行动者网络输入层的神经元个数与环境状态s_t的分量数相同，输出层的神经元个数与行为a_t的分量数相同。

第二方面，本发明提供了一种建筑多能源系统智慧能量优化装置，包括：

状态获取模块：用于获取建筑多能源系统的当前环境状态；

行为输出模块：用于根据当前环境状态输出建筑多能源系统行为，并定期从学习模块拷贝训练好的行动者网络参数；所述建筑多能源系统行为包括电能存储系统充/放功率、氢能存储系统输入/输出功率和建筑热负载需求的热供给功率；

经验存储模块：用于存储训练深度神经网络的经验转移元组及其优先级；

学习模块：用于定期从经验存储模块抽取小批量经验转移元组，并利用基于优先经验回放的确定性策略梯度算法对神经网络进行训练以获得行为选择的最优策略，所述最优策略包括训练好的行动者网络参数；

重调整模块：用于对所述建筑多能源系统的行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到建筑多能源系统的热能存储系统的注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量。

与现有技术相比，本发明所达到的有益效果：本发明方法无需知晓任何不确定性参数的先验信息和明确的建筑热动态性模型，适用性更广。相比现有方法，本发明方法可在维持室内温度在舒适范围的前提下有效降低运行成本且具有更强的鲁棒性和通用性。

附图说明

图1是本发明提供的建筑多能源系统智慧能量优化方法设计流程图；

图2是本发明方法实施例的训练曲线收敛图；

图3是本发明方法实施例与其他方案的运行成本对比图；

图4是本发明方法实施例与其他方案的室内温度对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，下面结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

如图1所示，本实施例提供的建筑多能源系统智慧能量优化方法设计流程图，本实施例的方法是针对具有氢电热混合储能的建筑多能源系统的能量优化方法，所述方法包括如下步骤：

步骤一：将在考虑建筑热动态性和维持室内温度在舒适范围的情况下具有氢电热混合储能的建筑多能源系统运行成本最小化问题建模为马尔可夫决策过程，并设计相应的环境状态、行为以及奖励函数。

在上述具有氢电热混合储能的建筑多能源系统运行成本最小化问题中，目标函数是建筑多能源系统运行成本，包括t时隙建筑多能源系统与大电网交互的能量成本C_1,t，t时隙碳排放成本C_2,t，t时隙电能存储系统的折旧成本C_3,t，t时隙氢能存储系统的启动、关闭、运行和维护成本C_4,t，t时隙热能存储系统的折旧成本C_5,t，t时隙天然气购买成本C_6,t，其表达式如下：

C_2,t＝μ_cμ_e,tP_g,tΔt (2)

C_3,t＝ψ_BESS(|P_bc,t|+|P_bd,t|) (3)

C_5,t＝ψ_TESS(|P_tc,t|+|P_td,t|) (5)

式中，v_t和τ_t分别表示t时隙买电价格和卖电价格；P_g,t为t时隙建筑多能源系统与大电网交互的能量交易量；μ_c是碳排放成本系数，单位为RMB/kg；μ_e,t为t时隙大电网的碳排放率；ψ_BESS是电池折旧系数，单位为RMB/kW；P_bc,t和P_bd,t分别表示电能存储系统的充电功率和放电功率；

和

分别表示氢能存储系统中组件x(x∈{el,fc})的运行和维护成本、启动成本和关闭成本，其中，“el”和“fc”分别表示电解槽和燃料电池；

和

分别表示与组件x的开关状态、启动状态和关闭状态相关的逻辑指示变量，其中，

ψ_TESS是热能存储系统折旧系数，单位为RMB/kW；P_tc,t和P_td,t分别表示t时隙热能存储系统的注入功率和释放功率；η_gb表示天然气转换为热能的转换效率；P_gb,t表示氢能存储系统输出的热功率；λ_gb表示天然气价格，单位为RMB/kWh。

在上述具有氢电热混合储能的建筑多能源系统运行成本最小化问题中，需考虑各时隙能量存储系统中的储能水平，具体如下：

(1)氢能存储系统储能水平的动态性可表示为：

式中，H_t+1表示t+1时隙氢能存储系统的储能水平；H_t表示t时隙氢能存储系统的储能水平；P_el,t和P_fc,t分别表示电解槽的输入功率和燃料电池的输出功率；ω_el(单位：Nm³/kWh)和ω_fc(单位：kWh/Nm³)分别表示电解槽和燃料电池的转换系数。在此，P_el,t和P_fc,t被赋予了不同的符号(即P_el,t≥0，P_fc,t≤0)。

(2)电能存储系统储能水平的动态性可表示为：

式中，B_t+1表示t+1时隙电能存储系统中的储能水平；B_t表示时隙t时电能存储系统中的储能水平；η_bc和η_bd分别表示电能存储系统的充电和放电效率系数。在此，P_bc,t和P_bd,t被赋予了不同的符号(即P_bc,t≥0，P_bd,t≤0)。

(3)热能存储系统中储能水平的动态性可表示为：

式中，Q_th,t+1表示t+1时隙在热能存储系统中的储能水平；Q_th,t表示t时隙在热能存储系统的储能水平；η_tc和η_td分别表示热能存储系统的注入效率和释放效率。在此，P_tc,t和P_td,t被赋予了不同的符号(即P_tc,t≥0，P_td,t≤0)。

在上述具有氢电热混合储能的建筑多能源系统运行成本最小化问题中，需要考虑的约束有：与电能存储系统相关的运行约束、与氢能存储系统相关的运行约束、与热能存储系统相关的运行约束、与热负载需求相关的运行约束、与天然气锅炉相关的运行约束、与功率平衡相关的约束以及与热能平衡相关的约束，具体如下：

(1)电能存储系统需满足以下运行约束：B^min≤B_t≤B^max，

P_bc,t·P_bd,t＝0，式中，B^min和B^max分别是电能存储系统的最小和最大能量水平；

分别为电能存储系统的最大充电、放电功率。

(2)氢能存储系统应满足以下运行约束：0≤H_t≤H^max，

P_el,t·P_fc,t＝0，式中，H^max是氢罐的最大存储容量；

和

分别是电解槽和燃料电池的额定功率。

(3)热能存储系统需满足以下运行约束：

P_td,t·P_tc,t＝0，式中，

是热能存储系统的最大容量；

和

分别是热能存储系统的最大释放功率和最大注入功率。

(4)热负载需求满足以下运行约束：β^min≤β_in,t≤β^max，

β_in,t+1＝F(P_sp,t,β_out,t,β_in,t,ι_t)，式中，β^min和β^max分别表示舒适温度范围的下限和上限；F表示建筑热动态性模型；ε_t表示t时隙的随机热扰动；

表示最大热输入功率。

(5)天然气锅炉需满足以下运行约束：

式中，P_gb,t为t时隙天然气锅炉输出的热功率。

(6)功率平衡需满足以下约束：P_g,t+P_pv,t-P_fc,t-P_bd,t＝P_el,t+P_load,t+P_bc,t，式中，P_g,t为t时隙建筑多能源系统与大电网之间的能量交易量。

(7)热能平衡需满足以下约束：Q_fc,t≥(P_tc,t+P_td,t+P_sp,t-P_gb,t)Δt。

马尔可夫决策过程是解决不确定性环境下多阶段决策问题的通用框架。采用折扣因子的马尔可夫决策过程通常定义为一个五元组：M＝(S,A,P,R,γ)。其中，S是环境状态集合，A是行为集合，P是转移概率函数，R是奖励函数，γ∈[0,1]为折扣因子。在马尔可夫决策过程中，智能体基于当前状态选择行为并将其作用于环境，环境返回奖励并转移到下一状态。在此过程中，智能体不断与环境进行交互以最大化累积折扣奖励的期望值进而发现最优策略。由于基于优先经验回放的深度确定性策略梯度算法无需状态转移函数的信息，因此本实施例中，主要设计环境状态、行为和奖励函数，分别如下：

(1)环境状态。上述具有氢电热混合储能的建筑多能源系统运行成本最小化问题中，目标函数的计算取决于以下状态信息：t时隙买电价格v_t、t时隙太阳能发电机发电功率P_pv,t、t时隙电负载需求P_load,t、t时隙大电网碳排放率μ_e,t、t时隙电能存储系统储能水平B_t、t-1时隙电解槽和燃料电池开关状态

和

t时隙氢能存储系统储能水平H_t、t时隙热能存储系统储能水平Q_th,t、t时隙室内温度β_in,t和t时隙室外温度β_out,t。因此环境状态可表示为：

(2)行为。在具有氢电热混合储能的建筑多能源系统中，控制决策包括P_bc,t、P_bd,t、P_el,t、P_fc,t、P_tc,t、P_td,t、P_gb,t、P_g,t。为简单起见，令a_b,t表示电能存储系统在t时隙的充电/放电功率，为了确保电能存储系统储能水平动态性和电能存储系统运行约束不会被违背，对a_b,t进行重调整：当a_b,t＞0时，

且P_bd,t＝0；否则，P_bc,t＝0且

类似地，令a_h,t表示t时隙电解槽输入功率/燃料电池输出功率，为了确保电能存储系统储能水平动态性和氢能存储系统的运行约束不会被违背，则当a_h,t＞0时，

且P_fc,t＝0，否则P_el,t＝0且

一旦确定了P_fc,t，即可根据下式

Q_fc,t＝η_h2eη_hrP_fc,tΔt (11)

获得燃料电池产生的热能Q_fc,t，式中，η_h2e为热电比，η_hr为热恢复系数。

接下来，根据热能平衡约束确定P_tc,t、P_td,t、P_sp,t、P_gb,t的值。为了简化行为设计，我们为热能存储系统、热负载需求和氢能存储系统分配不同的优先级。具体而言，我们首先确定

的值，以便可以保持舒适的温度范围。当Q_fc,t＞P_sp,tΔt时，热能存储系统将在热能注入模式下运行，即P_td,t＝0且

在这种情况下，P_gb,t＝0。当Q_fc,t≤P_sp,tΔt时，热能存储系统将以热能释放模式运行，即P_tc,t＝0且

在这种情况下，

因此，实际热供应量

由于可以根据a_b,t、a_h,t和P_sp,t的值计算P_tc,t、P_td,t、P_gb,t和P_g,t的值，因此，实际行为设计为：

a_t＝(a_b,t,a_h,t,P_sp,t) (12)

(3)奖励函数。由于具有氢电热混合储能的建筑多能源系统运行成本最小化问题的目的是在维持舒适温度范围的同时最小化建筑多能源系统的运行成本，因此奖励包括两部分，即对运行成本施加的惩罚r_1,t+1和对热不适施加的惩罚r_2,t+1：

因此，奖励可表示为

r_t+1＝r_1,t+1+π_thr_2,t+1 (15)

式中，π_th是以RMB/°F为单位的正权重系数。

步骤二：利用基于优先经验回放的深度确定性策略梯度算法训练建筑多能源系统相关的深度神经网络以获得行为选择的最优策略。具体步骤如下：

(1)获取建筑多能源系统的当前环境状态；

(2)深度神经网络根据所述当前环境状态，输出建筑多能源系统的当前行为；

(3)对所述建筑多能源系统的当前行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量。

(4)根据所述当前行为和计算所得热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量，对建筑多能源系统进行控制；

(5)获取建筑多能源系统的下一时隙奖励和下一时隙环境状态；

(6)计算当前经验转移元组(即，所述当前环境状态s_t、所述当前行为a_t、所述下一时隙奖励r_t+1、所述下一时隙环境状态s_t+1)的优先级；

(7)将经验转移元组及其优先级存储至经验池中；

(8)从经验池中抽取小批量训练样本，利用基于优先经验回放的深度确定性策略梯度算法更新深度神经网络的权重。

上述提及的经验转移元组的优先级可计算如下:

p_l＝|δ_l|+ζ (16)

式中，p_l为第l个经验转移元组的优先级；δ_l表示与第l个经验转移元组相关的时间差分误差；ζ用来保证差分误差为0的经验转移元组也有被选中的概率。

上述提及的神经网络，其特征是：所述深度神经网络包括一个行动者网络，一个目标行动者网络、一个评论家网络和一个目标评论家网络。其中，智能体的行动者网络和目标行动者网络结构相同，评论家网络和目标评论家网络结构相同。行动者网络输入层的神经元个数与环境状态s_t的分量数相同，输出层的神经元个数与行为a_t的个数相同。评论家网络通过最小化损失函数更新权重参数，损失函数表达式为：

式中，K表示随机抽取的经验转移元组个数；ω_k＝(N_mP_k)^-σ表示经验转移元组k的重要性采样权重。其中，N_m表示经验池大小，

表示抽取经验转移元组k的概率，参数0≤σ≤1用来补偿非均匀概率P_k；y_k表示目标Q值；Q(s_k,a_k|θ)表示权重为θ的评论家网络输出的预期Q值。行动者网络通过策略梯度更新权重参数，策略梯度表达式为：

式中，

表示权重为

的行动者网络。

步骤三：将训练好的最优策略部署在实际建筑环境中用于建筑多能源系统实时能量优化，具体步骤如下：

(1)获取建筑多能源系统的当前环境状态；

(2)将所述当前环境状态输入到训练好的深度神经网络；

(3)深度神经网络输出建筑多能源系统行为；

(4)对所述建筑多能源系统的行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量；

(5)根据所述建筑多能源系统的行为和计算所得的热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量，对建筑多能源系统进行控制。

如图2所示，是本发明方法实施例的平均奖励曲线收敛过程。值得注意的是，本发明仿真所用的数据均为真实数据，其中电价数据为2020年11月和12月的北京商业电价；电负载和室外温度数据来源于Pecan Street数据库；太阳能辐射数据为NREL太阳辐射研究实验室采集的2019年11月和12月期间的数据。由曲线可知，随着片段数的增加，平均奖励逐渐增加并变得越来越稳定，这表明了所提方法具有良好的收敛性。

如图3所示，是本发明方法实施例与其他方案的运行成本对比图。方案一不使用任何能量存储系统，而是采用ON/OFF策略控制加热需求所需热输入功率。具体而言，仅通过太阳能发电机和大电网满足电负载，通过氢能存储系统满足热负载需求。另外，如果β_t＜β^min，则

如果β_t＞β^max，则P_sp,t＝0。方案二在没有协调的情况下调度电能流和热能流。具体而言，电能存储系统和氢能存储系统均使用贪婪算法调度，当v_t＝v^min和v_t＝v^max时，贪婪算法分别最大化P_el,t/P_bc,t和最小化P_fc,t/P_bd,t，v^min和v^max分别为最小电价和最大电价。此外，采用ON/OFF策略控制满足热需求的热输入功率。方案三假定在已获取所有不确定性参数信息的前提下调度所有能量存储系统。尽管此类信息在现实系统运行中难以获得，但是该方案可以为所提出的方法提供性能下限，在此仅作为最优性能参考。由图3可以看出，与方案一和方案二相比，所提方法可分别降低运行成本24.86％和5.12％。尽管所提出的方法相比方案三具有更高的运行成本，但二者的相对差距小于8.43％。由于获得方案三中假定的完美信息并不实际，故所提方法实用性最好，且在无需知晓明确建筑热动态性模型的前提下拥有近似最优性能。

图4展示了本发明方法实施例与其他方案的室内温度对比图。由图可知，与方案一和方案二相比，所提方法可实现更小的温度偏离。

表1不同随机热扰动下所的健壮性比较表

表1展示了本发明方法在多种随机热扰动下的健壮性。为了模拟建筑热环境，采用如下环境热动态性模型：β_in,t+1＝0.9β_in,t+0.1(β_out,t+7.143P_sp,t)+ε_t，其中：热扰动ε_t遵循参数为[-χ,χ]华氏度的均匀分布。我们考虑了χ＝{0.9，1.8，2.4}三种情况。可以看出，所提出方法可取得比方案一和方案二更好的性能。与方案三相比，所提方法有时能以较小的温度偏离换取更低的运行成本。此外，所提方法在三种情况下均可提供有效决策，而方案三在当χ＝2.4时无法提供可行解。因此，所提方法具有很强的健壮性和通用性。

实施例二：

一种建筑多能源系统智慧能量优化装置，其特征在于，所述建筑多能源系统智慧能量优化装置包括：

状态获取模块：用于获取建筑多能源系统的当前环境状态。

行为输出模块：用于根据当前环境状态输出建筑多能源系统行为(包括电能存储系统充/放功率、氢能存储系统输入/输出功率和建筑热负载需求的热供给功率)，并定期从神经网络模块拷贝训练好的行动者网络参数。

经验存储模块：用于存储训练神经网络的经验转移元组及其优先级。

学习模块：用于定期从经验存储模块抽取小批量经验转移元组，并利用基于优先经验回放的确定性策略梯度算法对神经网络进行训练以获得行为选择的最优策略。

重调整模块：用于对所述建筑多能源系统的行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到建筑多能源系统的热能存储系统的注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种建筑多能源系统智慧能量优化方法，其特征在于，包括如下步骤：

获取建筑多能源系统的当前环境状态；

将所述当前环境状态输入到训练好的深度神经网络；

通过深度神经网络输出建筑多能源系统行为；

对所述建筑多能源系统的行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量；

根据所述建筑多能源系统的行为和计算所得的热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量，对建筑多能源系统进行控制；

所述热能存储系统的注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量计算方法为：比较建筑热负载需求的热供给功率P_sp,t和燃料电池释放功率P_fc,t之间的大小，若前者大于后者，则根据热能存储系统运行约束、天然气锅炉运行约束、热能平衡约束以及热能存储系统中储能水平的动态性计算热能存储系统释放的热功率和由天然气锅炉补充的热功率；反之，则根据热能存储系统运行约束、热能平衡约束以及热能存储系统中储能水平的动态性计算热能存储系统释放的热功率，此时天然气锅炉输出的热功率为零；建筑多能源系统与大电网之间的能量交易量P_g,t可根据功率平衡约束计算得出；

深度神经网络的训练过程包括如下步骤：

获取建筑多能源系统的当前环境状态；

通过深度神经网络根据所述当前环境状态，输出建筑多能源系统的当前行为；

对所述建筑多能源系统的当前行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量；

根据所述当前行为和计算所得热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量，对建筑多能源系统进行控制；

获取建筑多能源系统的下一时隙奖励和下一时隙环境状态；

计算当前经验转移元组的优先级；所述当前经验转移元组包括当前环境状态、当前行为、下一时隙奖励和下一时隙环境状态；

将经验转移元组及其优先级存储至经验池中；

从经验池中抽取小批量训练样本，利用基于优先经验回放的深度确定性策略梯度算法更新深度神经网络的权重参数；

所述环境状态的表达式如下：

式中，v_t表示t时隙的买电价格，P_pv,t表示t时隙太阳能发电机的发电功率；P_load,t表示t时隙的电负载需求；μ_e,t为t时隙大电网的碳排放率；B_t为t时隙电能存储系统中的储能水平；

分别表示t-1时隙电解槽和燃料电池的开关状态；H_t为t时隙氢能存储系统中的储能水平；Q_th,t为t时隙热能存储系统中储能水平；β_in,t为t时隙的室内温度；β_out,t为t时隙的室外温度；t表示当前时隙，此处，时隙是指建筑多能源系统执行连续两次行为决策的时间间隔；

所述行为的表达式如下：

a_t＝(a_b,t,a_h,t,P_sp,t) (2)

式中，a_b,t为电能存储系统在t时隙的充电/放电功率，若a_b,t＞0，则电能存储系统充电功率P_bc,t＝a_b,t且表示t时隙电能存储系统的放电功率P_bd,t＝0；否则，表示t时隙电能存储系统的放电功率P_bd,t＝a_b,t且P_bc,t＝0；a_h,t表示t时隙电解槽输入功率/燃料电池输出功率，若a_h,t＞0，则电解槽输入功率P_el,t＝a_h,t且燃料电池输出功率P_fc,t＝0；否则，P_fc,t＝a_h,t且P_el,t＝0；P_sp,t表示t时隙供给建筑物的热功率；

所述奖励的表达式如下：

r_t+1＝r_1,t+1+π_thr_2,t+1 (3)

式中，

其中C_1,t为t时隙建筑多能源系统与大电网交互的能量成本；C_2,t为t时隙碳排放成本；C_3,t为t时隙电能存储系统的折旧成本；C_4,t为t时隙氢能存储系统的启动、关闭、运行和维护成本；C_5,t为t时隙热能存储系统的折旧成本；C_6,t为t时隙天然气购买成本；r_2,t+1为t时隙热不适成本；π_th是正权重系数。

2.根据权利要求1所述的建筑多能源系统智慧能量优化方法，其特征在于，对所述建筑多能源系统的当前行为按照能量存储系统储能水平动态性和运行约束进行重调整的方法包括：根据电能存储系统储能水平动态性、氢能存储系统储能水平动态性以及与电能存储系统相关的运行约束、与氢能存储系统相关的运行约束、与热负载需求相关的运行约束对所述建筑多能源系统的行为进行重调整；

所述电能存储系统储能水平的动态性如下式：

式中，B_t+1表示t+1时隙电能存储系统中的储能水平；B_t表示t时隙电能存储系统中的储能水平；η_bc和η_bd分别表示电能存储系统的充电和放电效率系数；P_bc,t和P_bd,t分别表示t时隙电能存储系统的充电功率和放电功率；P_bc,t≥0且P_bd,t≤0；

所述氢能存储系统储能水平的动态性如下式：

式中，H_t+1表示t+1时隙氢能存储系统的储能水平；H_t表示t时隙氢能存储系统的储能水平；P_el,t和P_fc,t分别表示电解槽的输入功率和燃料电池的输出功率；ω_el和ω_fc分别表示电解槽和燃料电池的转换系数；P_el,t≥0且P_fc,t≤0；

所述与电能存储系统相关的运行约束包括：

B^min≤B_t≤B^max，

P_bc,t·P_bd,t＝0，

式中，B^min和B^max分别是电能存储系统的最小和最大储能水平；

为电能存储系统的最大充电、放电功率；

所述与氢能存储系统相关的运行约束包括：

0≤H_t≤H^max，

P_el,t·P_fc,t＝0，

式中，H^max是氢罐的最大存储容量；

和

分别是电解槽和燃料电池的额定功率；

所述与热负载需求相关的运行约束包括：

β^min≤β_in,t≤β^max，β_in,t+1＝F(P_sp,t,β_out,t,β_in,t,ε_t)，

式中，β^min和β^max分别表示舒适温度范围的下限和上限；F表示建筑热动态性模型；ε_t表示t时隙随机热扰动；

表示最大热输入功率。

3.根据权利要求2所述的建筑多能源系统智慧能量优化方法，其特征在于，计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量的方法包括：根据所述调整后的行为、热能存储系统的运行约束、天然气锅炉运行约束、热能平衡约束、热能存储系统中储能水平的动态性和功率平衡约束计算热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量；

与热能存储系统相关的运行约束包括：

P_td,t·P_tc,t＝0，

式中，

是热能存储系统的最大容量；

和

分别是热能存储系统的最大释放功率和最大注入功率；

所述天然气锅炉运行约束为：

式中，P_gb,t为t时隙天然气锅炉输出的热功率；

所述热能平衡约束为：Q_fc,t≥(P_tc,t+P_td,t+P_sp,t-P_gb,t)Δt；

所述功率平衡约束为：

P_g,t+P_pv,t-P_fc,t-P_bd,t＝P_el,t+P_load,t+P_bc,t (6)

式中，P_g,t为t时隙建筑多能源系统与大电网之间的能量交易量。

4.根据权利要求1所述的建筑多能源系统智慧能量优化方法，其特征在于，所述对建筑多能源系统进行控制的方法包括生成建筑多能源系统控制决策，所述建筑多能源系统控制决策包括：电能存储系统充/放功率、氢能存储系统输入/输出功率、建筑热负载需求的热供给功率、热能存储系统的注入/释放功率、天然气锅炉输出功率、以及建筑多能源系统与大电网之间的能量交易量。

5.根据权利要求1所述的建筑多能源系统智慧能量优化方法，其特征在于，所述经验转移元组的优先级计算如下：

p_l＝|δ_l|+ζ (7)

式中，p_l为第l个经验转移元组的优先级；δ_l表示与第l个经验转移元组相关的时间差分误差；ζ用来保证时间差分误差为0的经验转移元组也有被选中的概率。

6.根据权利要求1所述的建筑多能源系统智慧能量优化方法，其特征在于，所述利用基于优先经验回放的深度确定性策略梯度算法更新深度神经网络权重参数的方法包括：

评论家网络通过最小化损失函数更新权重参数，损失函数表达式为：

式中，K表示随机抽取的经验转移元组个数；ω_k＝(N_mP_k)^-σ表示经验转移元组k的重要性采样权重；其中，N_m表示经验池大小，

表示抽取的第k个经验转移元组(s_k,a_k,s_k+1,r_k+1)的概率，参数0≤σ≤1用来补偿非均匀概率P_k；y_k表示目标Q值；Q(s_k,a_k|θ)表示权重为θ的评论家网络输出的预期Q值；

行动者网络通过策略梯度更新权重参数，策略梯度表达式为：

式中，

表示权重为

的行动者网络。

7.根据权利要求1至5中任一项所述的建筑多能源系统智慧能量优化方法，其特征在于，所述深度神经网络包括一个行动者网络，一个目标行动者网络、一个评论家网络和一个目标评论家网络；其中，智能体的行动者网络和目标行动者网络结构相同，评论家网络和目标评论家网络结构相同；行动者网络输入层的神经元个数与环境状态s_t的分量数相同，输出层的神经元个数与行为a_t的分量数相同。

8.一种建筑多能源系统智慧能量优化装置，其特征在于，包括：

状态获取模块：用于获取建筑多能源系统的当前环境状态；

行为输出模块：用于根据当前环境状态输出建筑多能源系统行为，并定期从学习模块拷贝训练好的行动者网络参数；所述建筑多能源系统行为包括电能存储系统充/放功率、氢能存储系统输入/输出功率和建筑热负载需求的热供给功率；

经验存储模块：用于存储训练深度神经网络的经验转移元组及其优先级；

学习模块：用于定期从经验存储模块抽取小批量经验转移元组，并利用基于优先经验回放的确定性策略梯度算法对神经网络进行训练以获得行为选择的最优策略，所述最优策略包括训练好的行动者网络参数；

重调整模块：用于对所述建筑多能源系统的行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到建筑多能源系统的热能存储系统的注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量；

所述热能存储系统的注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量计算方法为：比较建筑热负载需求的热供给功率P_sp,t和燃料电池释放功率P_fc,t之间的大小，若前者大于后者，则根据热能存储系统运行约束、天然气锅炉运行约束、热能平衡约束以及热能存储系统中储能水平的动态性计算热能存储系统释放的热功率和由天然气锅炉补充的热功率；反之，则根据热能存储系统运行约束、热能平衡约束以及热能存储系统中储能水平的动态性计算热能存储系统释放的热功率，此时天然气锅炉输出的热功率为零；建筑多能源系统与大电网之间的能量交易量P_g,t可根据功率平衡约束计算得出；

深度神经网络的训练过程包括如下步骤：

获取建筑多能源系统的当前环境状态；

通过深度神经网络根据所述当前环境状态，输出建筑多能源系统的当前行为；

对所述建筑多能源系统的当前行为按照能量存储系统储能水平动态性和运行约束进行重调整，并计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量；

根据所述当前行为和计算所得热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量，对建筑多能源系统进行控制；

获取建筑多能源系统的下一时隙奖励和下一时隙环境状态；

计算当前经验转移元组的优先级；所述当前经验转移元组包括当前环境状态、当前行为、下一时隙奖励和下一时隙环境状态；

将经验转移元组及其优先级存储至经验池中；

从经验池中抽取小批量训练样本，利用基于优先经验回放的深度确定性策略梯度算法更新深度神经网络的权重参数；

所述环境状态的表达式如下：

式中，v_t表示t时隙的买电价格，P_pv,t表示t时隙太阳能发电机的发电功率；P_load,t表示t时隙的电负载需求；μ_e,t为t时隙大电网的碳排放率；B_t为t时隙电能存储系统中的储能水平；

分别表示t-1时隙电解槽和燃料电池的开关状态；H_t为t时隙氢能存储系统中的储能水平；Q_th,t为t时隙热能存储系统中储能水平；β_in,t为t时隙的室内温度；β_out,t为t时隙的室外温度；t表示当前时隙，此处，时隙是指建筑多能源系统执行连续两次行为决策的时间间隔；

所述行为的表达式如下：

a_t＝(a_b,t,a_h,t,P_sp,t) (2)

式中，a_b,t为电能存储系统在t时隙的充电/放电功率，若a_b,t＞0，则电能存储系统充电功率P_bc,t＝a_b,t且表示t时隙电能存储系统的放电功率P_bd,t＝0；否则，表示t时隙电能存储系统的放电功率P_bd,t＝a_b,t且P_bc,t＝0；a_h,t表示t时隙电解槽输入功率/燃料电池输出功率，若a_h,t＞0，则电解槽输入功率P_el,t＝a_h,t且燃料电池输出功率P_fc,t＝0；否则，P_fc,t＝a_h,t且P_el,t＝0；P_sp,t表示t时隙供给建筑物的热功率；

所述奖励的表达式如下：

r_t+1＝r_1,t+1+π_thr_2,t+1 (3)

式中，

其中C_1,t为t时隙建筑多能源系统与大电网交互的能量成本；C_2,t为t时隙碳排放成本；C_3,t为t时隙电能存储系统的折旧成本；C_4,t为t时隙氢能存储系统的启动、关闭、运行和维护成本；C_5,t为t时隙热能存储系统的折旧成本；C_6,t为t时隙天然气购买成本；r_2,t+1为t时隙热不适成本；π_th是正权重系数。

Images