CN117791673A - 一种用户侧储能运行优化方法 - Google Patents

Abstract

本发明公开了一种用户侧储能运行优化方法，包括：构建用户侧储能系统运行优化的数学模型，构建用于实时运行优化的电池退化成本模型，将深度强化学习算法和混合整数线性规划方法相结合，构成MILP‑DRL算法对储能系统的运行策略进行优化，基于深度强化学习算法的储能决策问题定义为一个马尔科夫链。本发明以用户侧储能系统的经济性和可行性为目标，主要优点包括：从精细化退化成本模型和提高深度强化学习算法性能两个方面联合优化，同时提高储能系统运行策略的安全性。

Description

一种用户侧储能运行优化方法

技术领域

本发明属于新型电力系统储能配置技术领域，具体涉及一种用户侧储能运行优化方法。

背景技术

随着以可再生能源为主导的新型电力系统的构建，提高可再生能源消纳能力这一问题亟待解决，发展用户侧分布式光储系统是一项重要解决措施。然而，光伏出力的不确定性会直接影响电力用户的生产生活，用户侧储能系统的调节能力可以帮助实现电能的灵活调度，提高光伏的消纳能力，并通过“低储高放”实现价格套利，为用户节省用电成本。

在考虑储能运行约束的前提下，定义最优运行策略的目标为储能系统运行成本最小化。一方面，在储能运行中考虑储能电池退化成本是提高储能建模精细化和运行效率的关键问题；另一方面，由于可再生能源出力、用户负荷和动态电价的不确定性加剧，使用户侧储能的运行优化面临着巨大挑战。传统的储能运行优化问题是将其建模成混合整数规划或动态规划问题，然后调用商业求解器进行求解。这些方法要求所建立的数学模型需十分精确，然而，随着系统的复杂度越来越高，并且考虑不确定因素时，此类方法的扩展性和收敛性都难以满足实时要求。

专利公开号为CN115663868A，名称为一种考虑本地间歇性电源收益的储能运行优化方法的专利申请，步骤如下：1)得到该日的间歇性电源出力功率的预测值和本地用电户的用电负荷的预测值，预测数据用于构建数学模型，2)构建关于储能运行优化模型的数学模型，3)调用数学优化求解器对数学模型进行求解，获得数学模型的输出值，4)根据输出值计算获得储能的运行安排和储能+间歇性电源的总收益值。该专利申请在计算过程中虽考虑了间歇性电源问题，但没有考虑储能寿命衰减成本问题。

发明内容

为了克服上述现有技术中存在的问题，本发明的目的在于提供一种用户侧储能运行优化方法，以最小化储能运行成本为目标，充分考虑储能充放电时的寿命衰减过程和运行约束条件，建立能够嵌入储能运行优化的电池退化成本模型，并构建储能运行优化的DRL问题，并提出一种MILP-DRL算法求解用户侧储能系统的最优运行策略，该算法能严格执行动作空间中的所有运行约束，保证求得的最优策略的可行性。

为实现上述目的，本发明采用的技术方案是：

一种用户侧储能运行优化方法，包括以下步骤：

S1：构建用户侧储能系统运行优化的数学模型：

其中，F为调度周期内用户侧运行成本，C_grid,t为t时段用户从电网购电的成本；C_ess,t为t时段储能电池的退化成本；T₀为一个周期内的时段数，本文以一天为一个周期，共有24个时段；P_grid,t为t时段用户从电网购电的功率；ρ_t为分时电价；

S2：构建用于实时运行优化的电池退化成本模型：

式中，C_E为储能投资成本，P_ess,t为t时段储能系统的充放电功率；C_ess(SOC_t)为t时段SOC下的电池退化成本，C_ess(SOC_t)为t-1时段SOC下的电池退化成本；

S3：将深度强化学习算法和混合整数线性规划方法相结合，构成MILP-DRL算法对储能系统的运行策略进行优化，基于深度强化学习算法的储能决策问题定义为一个马尔科夫链，用五元组表示为：

{S,A,P,R,γ}

式中的元素S为状态集，A为动作集，P为状态转移概率，R为奖励集，γ为奖励折扣因子。

可选的，步骤S1中，用户从电网购电的功率平衡约束条件为：

式中，P_load,t为t时段用户负荷功率；P_pv,t为t时段光伏发电的功率；P_ess,t为t时段储能系统的充放电功率，P_ess,t>0表示储能为充电状态，P_ess,t＜0表示储能为放电状态，P_ess,t＝0表示储能既不充电也不放电。

可选的，步骤S1中，荷电状态连续性约束为：

SOC_min≤SOC_t≤SOC_max

式中，SOC_min为SOC的最小限值，SOC_max为SOC的最大限值，SOC_t为储能系统在t时段的荷电状态；E_max为储能系统的额定容量；

η_ch为储能系统的充电效率，η_dis为储能系统的放电效率；P_ess,t>0表示储能为充电状态，P_ess,t＜0表示储能为放电状态。

可选的，步骤S3中，状态集包括状态空间由用户负荷功率、光伏发电功率、储能SOC和分时电价。

可选的，步骤S3中，动作集为储能的充放电功率。

可选的，步骤S3中，状态转移概率为p(S_t+1|S_t,A_t)＝pr{S_t+1＝s_t+1|S_t＝s_t,A_t＝a_t}，其中，P(St+1|St,At)为状态St采取动作At转移到状态St+1的概率。

可选的，步骤S3中，奖励函数为：

可选的，步骤S3中，奖励函数为：其中，β₁,β₂分别为原奖励函数和不平衡功率的权重系数。

可选的，步骤S3中，选取Actor-Critic算法求解模型。

可选的，在线执行过程，仅基于DNN网络的固定参数Q_θ定义动作价值函数得到的动作不能严格执行动作约束。

与现有技术相比，本发明具有以下有益效果：

本发明以用户侧储能系统的经济性和可行性为目标，主要优点包括：从精细化退化成本模型和提高深度强化学习算法性能两个方面联合优化，同时提高储能系统运行策略的安全性。

本发明通过精细化退化成本模型利用雨流计数法计算任意SOC时的电池循环寿命，对于任意电池循环周期，首先找到SOC变化的局部最大最小值，然后比较由局部最大最小值组成周期的SOC值，从而计算等效周期，该模型适用于实施运行调度中，仅需要在放电状态是跟踪电池的荷电状态；

本发明通过提高深度强化学习(DRL)算法性能，通过将混合整数线性规划(MILP)和深度强化学习结合起来，提出MILP-DRL求解优化模型，该算法能严格执行动作空间中的所有运行约束，克服了深度强化学习算法在运行中难以满足等式约束的困难，保证求得的最优策略的可行性和储能运行环境的安全性。

附图说明

在此描述的附图仅用于解释目的，而不意图以任何方式来限制本发明公开的范围。

在附图中：

图1为本发明中用户侧储能系统的运行方式。

图2为本发明中基于完整周期的电池退化成本计算方法的示意图。

图3为本发明中基于TD3算法的用户储能系统优化运行结构图。

图4为本发明中的DNN结构图。。

具体实施方式

为了使本技术领域的技术人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

下面结合附图对本发明进行详细说明。

如图1所示为用户侧储能系统的运行方式图，光伏发电系统为用户供电，储能系统可以存储多余电能，在光伏出力不足时满足用户需要，同时，光储系统可以与电网进行交易，以满足用户需要并消纳光伏。控制中心通过监测用户负荷需求和储能系统的电池状态，将其作为输入量，按照所设计的运行策略输出动作指令作用于储能系统，控制其充放电动作。

本发明的一种用户侧储能运行优化方法，包括以下步骤：

步骤一，构建用户侧储能系统运行优化的数学模型；

步骤二，构建用于实时运行优化的电池退化成本模型

步骤三，将深度强化学习(DRL)算法和混合整数线性规划(MILP)方法相结合，构成MILP-DRL算法对储能系统的运行策略进行优化。

步骤一中，用户侧储能系统运行优化的数学模型为：

用户侧储能系统主要是以峰谷价差套利实现收益，节省用电费用，优化问题的目标是最小化用户侧运行成本，同时考虑储能电池的退化成本，因此，目标函数如下式所示。

式中，C_grid,t为t时段用户从电网购电的成本；C_ess,t为t时段储能电池的退化成本；T₀为一个周期内的时段数，本文以一天为一个周期，共有24个时段；P_grid,t为t时段用户从电网购电的功率；ρ_t为分时电价。

功率平衡约束：

式中，P_load,t为t时段用户负荷功率；P_pv,t为t时段光伏发电的功率；P_ess,t为t时段储能系统的充放电功率，P_ess,t>0表示储能为充电状态，P_ess,t＜0表示储能为放电状态，P_ess,t＝0表示储能既不充电也不放电。

充放电功率约束：

-P_ess,max≤P_ess,t≤P_ess,max

式中，P_ess,max为储能系统的额定功率。

荷电状态(SOC)及其连续性约束：

SOC_min≤SOC_t≤SOC_max

式中，SOC_t为储能系统在t时段的荷电状态；E_max为储能系统的额定容量；η_ch,η_dis分别为储能系统的充、放电效率。SOC_min为SOC的最小限值，取0.1；SOC_max为SOC的最大限值，取0.9。

步骤二中，储能电池退化成本模型为：

储能退化成本公式可以表示为：

式中，C_E为储能投资成本。C_ess(SOC_t)为t时段SOC下的电池退化成本，C_ess(SOC_t)为t-1时段SOC下的电池退化成本。C_ess为SOC的函数，SOC是荷电状态。

参见图2，说明储能电池退化成本模型建立方法的流程，从该曲线中可以提取出两个不完整周期T_I,1和T_I,2，假设不完整周期等于从放电结束SOC对应的完整周期减去放电开始SOC时的完整周期，则不完整周期T_I,1和T_I,2可以分别表示为完整周期T_C,1、T_C,2和T_C,3、T_C,4的组合：

T_I,1＝T_C,1-T_C,2

T_I,2＝T_C,3-T_C,4

该过程的退化成本可以表示为：

C＝C_ess(SOC_t4)+C_ess(SOC_t2)-C_ess(SOC_t3)-C_ess(SOC_t0)

这样，储能退化成本仅需要在放电状态时跟踪SOC的变化，为基于深度强化学习的储能运行优化问题奠定了基础。

步骤三中基于深度强化学习(DRL)算法的储能决策问题定义为一个马尔科夫链，用五元组表示为：

{S,A,P,R,γ}

式中的各元素分别为状态集、动作集、状态转移概率、奖励集和奖励折扣因子。

在任意t时段，状态空间包括用户负荷功率、光伏发电功率、储能SOC和分时电价：

s_t＝{P_load,t,P_pv,t,SOC_t,ρ_t},s_t∈S

式中，Pload为用户负荷功率，Ppv为用户负荷功率，SOCt为储能SOC，Pt为分时电价。

将储能的充放电功率定义为动作空间，约束条件为式-P_ess,max≤P_ess,t≤P_ess,max：

a_t＝{P_ess,t},a_t∈A

在任意t时段，储能系统在给定状态s_t执行动作a_t转移到下一个状态s_t+1的转移概率函数定义为：

p(S_t+1|S_t,A_t)＝pr{S_t+1＝s_t+1|S_t＝s_t,A_t＝a_t}

奖励函数应该引导智能体在执行功率平衡约束条件的同时，采取使运行成本最小的动作，因此奖励函数定义为：

所述的马尔科夫链要求智能体制性动作必须执行严格的动作约束确保系统可靠运行。在用户侧储能实施运行过程中，必须始终满足功率平衡约束，该约束条件可以建立为等式约束，因此，为了严格执行功率平衡约束条件，将违背功率平衡约束条件作为惩罚项加入原始奖励函数中：

式中，β₁,β₂为权重系数。

步骤三所提出MILP-DRL算法包括训练和在线执行两个步骤：

本发明选取A-C(Actor-Critic)算法求解上述模型，AC算法包括actor网络π_ω和critic网络Q_θ，首先对π_ω和Q_θ两个网络参数进行随机初始化；然后根据π_ω在状态s_t下采样并执行一个动作a_t，通过与环境进行交互，使环境转移到下一个状态s_t+1，并获得奖励r_t作为执行动作的评估；经过不断迭代，将形成的元组(s_t,a_t,r_t,s_t+1)存储在经验回放池R；最后选择这些样本的子集更新两个网络的参数θ和ω。这里以双延迟深度确定性策略梯度(TD3)算法为例，说明神经网络的参数更新原则。

以TD3为例说明的基于AC算法的用户侧储能系统优化运行结构图如图3所示。

将DNN模型转换为MILP公式过程中，Q_θ(s,a)的DNN结构图如图4所示，假设该网络由K+1层神经网络组成，编号从0到K+1。其中，第0层为DNN的输入，第K层为DNN的输出。每一层k∈{0,1,...,K}有n_k个神经元，将第k层的第j个神经元定义为UNIT(j,k)。

TD3算法的优势在于采用双critic网络对动作价值函数进行估计，并选择两者中较小的值作为估计值，以此减少高估偏差，其actor网络参数ω更新表达式为：

其critic网络参数θ更新表达式为：

训练收敛后，获得固定参数的Q_θ网络对储能系统进行动作控制，即在线执行过程，仅基于DNN网络Q_θ定义动作价值函数得到的动作不能严格执行动作约束，为此，将DNN模型转换为MILP公式。

假设该网络由K+1层神经网络组成，编号从0到K+1。其中，第0层为DNN的输入，第K层为DNN的输出。每一层k∈{0,1,...,K}有n_k个神经元，将第k层的第j个神经元定义为UNIT(j,k)。定义x^k为第k层的输出向量，为第k层第j个j∈{0,1,...,n_k}神经元的输出向量，其中/>为DNN的第j个输入，/>为DNN的第j个输出。对第k(k≥1)层，UNIT(j,k)的输出向量表达式定义为：

x^k＝σ(w^k-1x^k-1+b^k-1)

式中，σ()是激活函数，这里是ReLU函数；w^k-1是给定的权重矩阵；b^k-1是偏差向量，则DNN的参数为θ＝{w,b}。

对每个神经元UNIT(j,k)使用二进制变量激活，DNN的MILP公式可以表达为：

约束条件：

式中，是常量参数，式(2)约束了ReLU函数的输出，式(3-4)约束了变量x、s的上下限，当k＝0时，上下限与DNN的输入限值相同；当k≥1时，上下限值可以基于参数θ定义。

在任意状态s_t，最优动作a_t可以通过求解式(1)-(4)组成Q_θ(s,a)的MILP模型求解得出。在本研究中，决策变量是动作a_t，加入储能SOC和充放电功率约束条件，则用户侧储能系统运行优化模型更新为：

进一步的，所述的MILP-DRL算法的伪代码为：

从动作价值函数Q_θ中提取参数θ，并将其按照式(1)-(4)表述为MILP公式，同时加入所有动作约束-P_ess,max≤P_ess,t≤P_ess,max、SOC_min≤SOC_t≤SOC_max；

基于实时数据提取初始状态s₀；

For t＝1,Tdo

对于状态s_t，使用商业求解器求解MILP模型得到最优动作。

End for

本发明公开的用户侧储能运行优化策略及MILP-DRL算法，从模型精细度的角度，建立能够嵌入储能运行优化的电池退化成本模型，该模型适用于储能运行优化过程；从算法可行性的角度，提出一种MILP-DRL算法求解用户侧储能系统的最优运行策略，该算法能严格执行动作空间中的所有运行约束，有效保证了储能系统运行的安全性。

在以上实施例中所涉及的工作方式或控制方式如无特别说明，均为本领域常规的工作方式或控制方式。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种用户侧储能运行优化方法，其特征在于，包括以下步骤：

S1：构建用户侧储能系统运行优化的数学模型：

其中，F为调度周期内用户侧运行成本，C_grid,t为t时段用户从电网购电的成本；C_ess,t为t时段储能电池的退化成本；T₀为一个周期内的时段数，本文以一天为一个周期，共有24个时段；P_grid,t为t时段用户从电网购电的功率；ρ_t为分时电价；

S2：构建用于实时运行优化的电池退化成本模型：

式中，C_E为储能投资成本，P_ess,t为t时段储能系统的充放电功率；C_ess(SOC_t)为t时段SOC下的电池退化成本，C_ess(SOC_t)为t-1时段SOC下的电池退化成本；

S3：将深度强化学习算法和混合整数线性规划方法相结合，构成MILP-DRL算法对储能系统的运行策略进行优化，基于深度强化学习算法的储能决策问题定义为一个马尔科夫链，用五元组表示为：

{S,A,P,R,γ}

式中的元素S为状态集，A为动作集，P为状态转移概率，R为奖励集，γ为奖励折扣因子。

2.根据权利要求1所述的一种用户侧储能运行优化方法，其特征在于，步骤S1中，用户从电网购电的功率平衡约束条件为：

式中，P_load,t为t时段用户负荷功率；P_pv,t为t时段光伏发电的功率；P_ess,t为t时段储能系统的充放电功率，P_ess,t>0表示储能为充电状态，P_ess,t＜0表示储能为放电状态，P_ess,t＝0表示储能既不充电也不放电。

3.根据权利要求1所述的一种用户侧储能运行优化方法，其特征在于，步骤S1中，荷电状态连续性约束为：

SOC_min≤SOC_t≤SOC_max

式中，SOC_min为SOC的最小限值，SOC_max为SOC的最大限值，SOC_t为储能系统在t时段的荷电状态；E_max为储能系统的额定容量；

η_ch为储能系统的充电效率，η_dis为储能系统的放电效率；P_ess,t>0表示储能为充电状态，P_ess,t＜0表示储能为放电状态。

4.根据权利要求1所述的一种用户侧储能运行优化方法，其特征在于，步骤S3中，状态集包括状态空间由用户负荷功率、光伏发电功率、储能SOC和分时电价。

5.根据权利要求1所述的一种用户侧储能运行优化方法，其特征在于，步骤S3中，动作集为储能的充放电功率。

6.根据权利要求1所述的一种用户侧储能运行优化方法，其特征在于，步骤S3中，状态转移概率为p(S_t+1|S_t,A_t)＝pr{S_t+1＝s_t+1|S_t＝s_t,A_t＝a_t}，其中，P(St+1|St,At)为状态St采取动作At转移到状态St+1的概率。

7.根据权利要求1所述的一种用户侧储能运行优化方法，其特征在于，步骤S3中，奖励函数为：

8.根据权利要求1所述的一种用户侧储能运行优化方法，其特征在于，步骤S3中，奖励函数为：其中，β₁,β₂分别为原奖励函数和不平衡功率的权重系数。

9.根据权利要求1所述的一种用户侧储能运行优化方法，其特征在于，步骤S3中，选取Actor-Critic算法求解模型。

10.根据权利要求9所述的一种用户侧储能运行优化方法，其特征在于，在线执行过程，仅基于DNN网络的固定参数Q_θ定义动作价值函数得到的动作不能严格执行动作约束。