CN105846461A - 一种大规模储能电站自适应动态规划的控制方法和系统 - Google Patents

Abstract

本发明提供一种大规模储能电站自适应动态规划的控制方法和系统，所述方法包括如下步骤：设置自适应动态规划控制系统的结构和控制目标参数；初始化参数并导入被控对象的初始状态；计算当前时刻t的原始风电功率波动率，根据变化率控制方法对原始风电功率进行平滑；计算平滑后的风储功率波动率，储能系统功率，储能系统的荷电状态SOC；初始化训练评价模块和执行模块；计算每个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC，并进行保存；输出所述各个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC。所述系统包括参数初始化模块、数据采集和计算模块、执行模块、评价模块及输出模块等。本发明实现对大型储能系统的优化控制，提升储能系统技术经济性。

Description

一种大规模储能电站自适应动态规划的控制方法和系统

技术领域

本发明属于智能电网、能源互联网和储能技术领域，具体涉及一种大规模储能电站自适应动态规划的控制方法和系统。

背景技术

随着风电、光伏发电技术的不断发展，风电和光伏发电等新能源发电的大规模并网，其出力的波动问题日益严重。风电、光伏发电等新能源发电大规模接入电网后，其波动性和间歇性会对电网运行的安全性、稳定性以及电能质量等造成不利影响。因此，目前在实际运用中，风电和光伏发电的并网受到了很大限制，不利于风电、光伏发电等新能源发电的发展，控制新能源发电出力波动对电网运行的安全、稳定、经济运行有着重要意义。储能系统凭借充放电能力可有效抑制新能源发电输出波动对电网的不利影响，进而降低新能源发电系统带来的波动性，提高电网接纳新能源发电的能力。

按照存储形式的不同，储能可分为物理储能、电化学储能和电磁储能。其中电池储能目前处于快速发展阶段，储能电站规模达到了兆瓦级～数十兆瓦级。因此可以通过配备一定容量的大规模电池储能系统，根据新能源发电出力的情况，采用电池储能系统充放电的优化控制，平滑新能源发电功率。并结合新能源发电出力波动率和储能系统的荷电状态等指标进行整体优化，以满足电网对风电、光伏发电等新能源发电并网的要求。

目前，我国已建成多个千万千瓦级新能源发电基地，在新能源发电富集区域电网中，对电池储能的容量要求通常达数十MW以上，甚至达百兆瓦以上。百兆瓦级电池储能电站参与新能源发电集群控制及系统调度运行，对破解新能源发电的送出和消纳瓶颈有重要意义。大规模储能技术是我国可再生能源发电利用的关键支撑技术。针对大规模可再生能源发电的接入，一方面通过储能技术与可再生能源发电的联合，减少其随机性并提高其可调性；另一方面通过电网级的储能应用增强电网对可再生能源发电的适应性。目前，储能作为电网的可调度资源，具有很大的应用价值和应用空间。

在电网级应用中，需要储能进行秒至小时级的多时间尺度功率支撑。在储能与新能源发电联合并网应用时，百兆瓦电池储能电站整体需满足新能源发电从秒到分钟级不同时间尺度的响应需求。因此，如何基于大规模新能源发电的出力波动以及储能在电网级应用等实际需求，实现百兆瓦级电池储能电站整体出力多目标协调优化控制是亟待破解的技术难题。

在大规模电池储能电站平滑大规模新能源发电出力波动时，采用传统的一阶低通滤波或变时间常数(T)的出力滤波方法，由于方法本身自带的时滞而导致有时控制灵敏度不佳。一般的移动平均滤波算法输出的储能出力目标值也在很大程度上受限于风电、光伏发电等新能源发电功率的输入，这些传统方法遇到新能源发电出力出现骤变的情况，滤波性能下降，且影响后续滤波效果。另一方面，在提高新能源发电友好性的储能电站出力控制时，传统控制方法在储能电站整体出力的自适应控制方面，其基于自学习的智能优化控制能力有待进一步提高。

发明内容

为了克服上述现有技术的不足，本发明提供一种大规模储能电站自适应动态规划的控制方法和系统，本发明降低了风电功率并网给电网带来的冲击，同时对储能系统的工作能力和寿命进行优化保护，提升储能系统的技术性与经济性。

为了实现上述发明目的，本发明采取如下技术方案：

一种大规模储能电站自适应动态规划的控制方法，所述方法包括如下步骤：

(1)设置自适应动态规划控制系统的结构和控制目标参数；

(2)初始化参数并导入被控对象的初始状态；

(3)计算当前时刻t的原始风电功率波动率根据变化率控制方法对原始风电功率进行平滑；计算平滑后的风储功率波动率储能系统功率P_BESS(t)，储能系统的荷电状态SOC；

(4)初始化训练评价模块和执行模块；

(5)计算每个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC，并进行保存；

(6)输出所述各个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC。

优选的，所述步骤(1)中，所述自适应动态规划控制系统包括评价模块和执行模块的两层结构，每个模块均用三层神经网络结构来构建；所述控制目标参数包括风电发电容量储能系统容量W_bat，储能系统的荷电状态SOC限制范围，采样时间Δt，观测时间T，波动率控制目标和波动率限制目标

优选的，所述步骤(2)中，所述初始化参数包括风电功率波动率的初始值，储能系统荷电状态SOC的初始值，当前时刻风电实际出力功率。

优选的，所述步骤(3)包括如下步骤：

步骤3-1、所述的当前时刻t的原始风电功率波动率的计算公式如下：

$r_{wp}^T=f_{wp}\left(\frac{P_{wp}^{max}-P_{wp}^{\min }}{P_{wp}^{rated}}\right)---\left(1\right)$

$P_{wp}^{\max }=\max \{P_{wp}\left(t\right),P_{wp}(t-\mathrm{\Δ}t),\mathrm{...},P_{wp}(t-(n-1\left)\mathrm{\Δ}t\right)\}---\left(2\right)$

$P_{wp}^{\min }=\min \{P_{wp}\left(t\right),P_{wp}(t-\mathrm{\Δ}t),\mathrm{...},P_{wp}(t-(n-1\left)\mathrm{\Δ}t\right)\}---\left(3\right)$

T＝nΔt (4)

式中：是风电容量，即额定功率，和是观测时间内的风电功率最大值和最小值，Δt是采样时间，T为观测时间，P_wp(t)为风电功率的原始值,f_wp计算风电功率波动率的原始函数,n为在观测时间内的采样点数；

步骤3-2、根据变化率控制方法对所述风电功率的原始值进行平滑；

所述变化率控制方法的计算方法如下：

根据风电功率原始值P_wp(t)、平滑后的风电功率值P_hybrid(t)、采样时间Δt定义了风电功率的变化率k(t)：

$k\left(t\right)=\frac{P_{wp}\left(t\right)-P_{hybrid}(t-\mathrm{\Δ}t)}{\mathrm{\Δ}t}---\left(5\right)$

式中：P_wp(t)是风电功率原始值；P_hybrid(t)是平滑后的风储功率值；

为了使风储功率波动率控制在要求范围内，对变化率控制功率波动率方法制定如下控制策略：

如果

P_hybrid(t)＝P_wp(t-Δt) (6)

如果

$P_{hybrid}\left(t\right)=P_{wp}(t-\mathrm{\Δ}t)+\mathrm{\Δ}t\·k_{hybrid}^{rise}---\left(7\right)$

如果

$P_{hybrid}\left(t\right)=P_{wp}(t-\mathrm{\Δ}t)+\mathrm{\Δ}t\·k_{hybrid}^{drop}---\left(8\right)$

式中：是风电出力的上升阶段的变化率的限制值，是风电出力的下降阶段的变化率的限制值；

其中

$k_{hybrid}^{rise}=\frac{P_{wp}^{rated}\×r_{obj}^T}{T}---\left(9\right)$

$k_{hybrid}^{drop}=-\frac{P_{wp}^{rated}\×r_{obj}^T}{T}---\left(10\right)$

式中，为波动率控制目标；

步骤3-3、经过所述变化率控制方法平滑后的风储功率波动率的公式为：

$r_{hybrid}^T=f_{hybrid}\left(\frac{P_{hybrid}^{\max }-P_{hybrid}^{\min }}{P_{hybrid}^{rated}}\right)---\left(11\right)$

$P_{hybrid}^{\max }=\max \{P_{hybrud}\left(t\right),P_{hybrid}(t-\mathrm{\Δ}t),\mathrm{...},P_{hybrid}(t-(n-1\left)\mathrm{\Δ}t\right)\}---\left(12\right)$

$P_{hybrid}^{\min }=\min \{P_{hybrid}\left(t\right),P_{hybrid}(t-\mathrm{\Δ}t),\mathrm{...},P_{hybrid}(t-(n-1\left)\mathrm{\Δ}t\right)\}---\left(13\right)$

T＝nΔt (14)

式中：和是观测时间T内的风储功率最大值和最小值；是观测时间T内并网运行的风电总额定功率；

变化率控制功率波动率方法的目标是控制平滑后的风储功率波动率在观测时间内小于给定目标值：

$r_{hybrid}^T<r_{obj}^T---\left(15\right)$

式中：是给定观测时间T内风储功率波动率的控制目标；

步骤3-4、所述储能系统功率的计算公式为：

P_BESS(t)＝P_hybrid(t)-P_wp(t) (16)

所述储能系统的荷电状态SOC的计算公式如下：

如果P_BESS(t)＞0，储能系统放电，SOC减小，

$SOC\left(t\right)=SOC(t-\mathrm{\&Delta;}t)-\frac{\mathrm{\&Delta;}t\left|P_{BESS}\left(t\right)\right|}{W_{bat}}---\left(17\right)$

如果P_BESS(t)＜0，储能系统充电，SOC增大，

$SOC\left(t\right)=SOC(t-\mathrm{\&Delta;}t)+\frac{\mathrm{\&Delta;}t\left|P_{BESS}\left(t\right)\right|}{W_{bat}}---\left(18\right)$

式中：W_bat是储能系统容量。

优选的，所述步骤(4)中，所述初始化训练评价模块和执行模块包括：初始化设置折扣因子α、执行模块学习率l_a和评价模块学习率l_c、执行模块权值W_a和评价模块权值W_c，最大循环次数，以及训练模块的期望误差，其中权值的初始值设置为(-1,+1)间的随机值，学习率和折扣因子依据控制效果要求进行选取和调整。

优选的，所述步骤(5)包括如下步骤：

步骤5-1、判断风储功率波动率是否在约束条件内，若是则储能系统不动作，不对储能功率进行修正；否则进行下一步的自适应动态规划模块训练，寻求最优储能功率修正值；

步骤5-2、将被控对象状态和所述控制策略作为评价模块的输入，训练评价模块，更新评价模块的权值，输出代价函数；

步骤5-3、将被控对象状态包括风储功率波动率和储能功率P_BESS(t)作为执行模块的输入，训练执行模块，更新执行模块的权值，输出为控制策略，即储能功率的修正值ΔP_BESS(t)；

步骤5-4、保存此时刻的控制策略，并计算下一时刻被控对象状态，t＝t+1，重复步骤5-1到步骤5-3，直到控制过程结束。

优选的，所述步骤5-1中，所述判断风储功率波动率的约束如下：

如果则储能系统过度出力，需要进行反向修正：

$P_{BESS}^{ADP}\left(t\right)=P_{BESS}\left(t\right)+{\mathrm{\&Delta;P}}_{BESS}\left(t\right)---\left(22\right)$

式中，ΔP_BESS(t)为储能功率修正值

如果储能系统出力适宜，无需修正：

$P_{BESS}^{ADP}\left(t\right)=P_{BESS}\left(t\right)---\left(23\right)$

式中：是在变化率控制方法的基础上，对储能功率进行自适应动态规划调节后的储能系统的功率。

优选的，所述步骤5-2包括如下步骤：

步骤5-2-1、将所述被控对象状态即风储功率波动率和所述控制策略即储能功率修正值ΔP_BESS(t)进行归一化处理为[-1，+1]之间；

步骤5-2-2、将所述被控对象状态即风储功率波动率和所述控制策略即储能功率修正值ΔP_BESS(t)送入所述评价模块作为输入，计算所述评价模块的输出J_c ^WPBESS(t)代价函数，构造目标函数E_chybrid(t)训练所述评价模块，并根据评价模块的权值更新式，更新评价模块神经网络的权值，计算你公式如下：

$U\left(t\right)=\&lsqb;r_{hybrid}^T,{\mathrm{\&Delta;P}}_{BESS}\left(t\right),t\&rsqb;---\left(24\right)$

$J_{chybrid}\left(t\right)=J_c\&lsqb;r_{hybrid}^T,{\mathrm{\&Delta;P}}_{BESS}\left(t\right),t,W_c\&rsqb;---\left(25\right)$

$E_{chybrid}\left(t\right)=\frac{1}{2}{\&lsqb;J_{chybrid}\left(t\right)-U(t+1)-{\mathrm{\&beta;}}_c{J}_{chybrid}(t+1)\&rsqb;}^2---\left(26\right)$

式中：代价函数J_chybrid(t)为评价模块的输出，效用函数U(t)是关于ΔP_BESS(t),t的函数，根据控制目标进行定义，β_c是折扣因子；

步骤5-2-3、所述评价模块的训练采用梯度下降法或粒子群优化算法以使目标函数E_chybrid(t)最小化为目标来更新评价模块神经网络的权值W_c，当目标函数E_chybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

优选的，所述步骤5-3包括如下步骤：

步骤5-3-1、将被控对象状态包括风储功率波动率和储能功率P_BESS(t)作为执行模块的输入，训练执行模块；

步骤5-3-2、通过最小化评价模块输出J_chybrid(t)来调整控制策略即储能功率修正值ΔP_BESS(t)，公式如下：

${\mathrm{\&Delta;P}}_{BESS}\left(t\right)=u\&lsqb;r_{hybrid}^T,t,W_a\&rsqb;---\left(27\right)$

$E_{ahybrid}\left(t\right)=\frac{1}{2}{\&lsqb;J_{chybrid}\left(t\right)\&rsqb;}^2---\left(28\right)$

式中：控制策略ΔP_BESS(t)是执行模块的输出，用来调整储能功率在合理范围内变化，以减小储能系统SOC波动范围，u表示控制策略ΔP_BESS(t)是关于t，W_a的函数；

步骤5-3-3、所述执行模块的训练采用梯度下降法或粒子群优化算法以最小化目标函数E_ahybrid(t)为目标来更新执行模块神经网络的权值W_a，当目标函数E_ahybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

优选的，一种大规模储能电站自适应动态规划的控制系统，所述系统包括参数初始化模块、数据采集和计算模块、执行模块、评价模块及输出模块；

所述参数初始化模块，用于设置自适应动态规划控制系统的结构和控制目标参数，并将所述目标参数传送到所述数据采集和计算模块；

所述数据采集和计算模块，用于根据所述目标参数计算风储功率波动率，并将所述风储功率波动率传送到所述执行模块和评价模块；

所述执行模块，用于根据所述风储功率波动率得到储能功率修正值，并将所述储能功率修正值传送到所述数据采集和计算模块、评价模块及输出模；

所述评价模块，用于根据所述风储功率波动率得出代价函数，并将其传送到执行模块；

所述输出模块，用于输出所述各个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC。

与现有技术相比，本发明的有益效果在于：

本发明提出了一种基于自适应动态规划(ADP)的大型电池储能电站自适应优化控制方法。本发明方法及系统综合考虑大规模电池储能电站荷电状态、新能源发电波动率反馈值以及基于神经网络的评价模块和执行模块等，有效实现了大规模电池储能系统整体充放电功率的自适应优化控制。本发明基于神经网络对控制算法进行实时智能优化，提高了控制系统自学习和自适应控制能力，实时对储能系统出力进行自适应动态修正，使其满足风电并网的要求，同时，又控制储能电池荷电状态(SOC)保持在适宜的范围内，实现储能电池系统的合理充放电的功能，满足大规模储能系统实时充放电功率的优化控制目的。该方法可适用于不同规模等级的大型电池储能电站(系统)的充放电功率的优化控制与电池能量管理。

附图说明

图1是本发明提供的一种大规模储能电站自适应动态规划的控制系统的结构图，

图2是本发明提供的一种大规模储能电站自适应动态规划的控制方法的流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示，为本发明提供的一种大规模储能电站自适应动态规划的控制系统，该系统包括：

A、参数初始化模块。自适应动态规划控制系统选择评价模块和执行模块两层结构，每个模块均用三层神经网络结构来构建。执行模块和评价模块的参数包括折扣因子α、网络学习率l_a和l_c、权值W_a和W_c，最大循环次数，以及训练网络的期望误差。

控制目标参数包括风电发电容量储能系统容量W_bat，储能系统的荷电状态SOC限制范围，采样时间Δt，观测时间T，波动率控制目标波动率限制目标

被控对象的初始状态包括风电功率波动率的初始值，储能系统荷电状态SOC的初始值，当前时刻风电实际出力功率。

B、数据采集和计算模块。采集风电实际出力功率，储能系统充放电功率，实时计算风电波动率和荷电状态，并实时判断状态量是否在约束范围内。当状态量不在约束范围内时，调整储能系统充放电功率。

C、评价模块。训练评价模块的具体如下：将风电波动率和控制策略即储能功率修正值ΔP_BESS(t)送入评价模块作为输入，计算评价模块的输出J_c ^WPBESS(t)代价函数，构造目标函数E_chybrid(t)训练评价模块，并根据评价模块的权值更新式，更新评价模块神经网络的权值；其中，风电波动率和控制策略即储能功率修正值ΔP_BESS(t)都应经归一化处理为[-1，+1]后，再送入网络进行计算。

评价模块的训练以最小化目标函数E_chybrid(t)为目标来更新评价模块神经网络的权值W_c，当目标函数E_chybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

D、执行模块。训练执行模块的具体步骤如下：训练执行模块是依据最小化评价模块的输出J_chybrid(t)来训练执行模块，并根据执行模块的权值更新式，更新执行模块神经网络的权值W_a。执行模块的训练是通过最小化评价模块的输出J_chybrid(t)来调整控制策略即储能功率修正值ΔP_BESS(t)；通过最小化目标函数E_ahybrid(t)为目标来更新执行模块神经网络的权值W_a，当目标函数E_ahybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

E、输出模块。保存并实时输出各时刻的控制策略，实时在线调整调整平滑过程，控制储能系统充放电功率。

综上所述，本发明在综合考虑新能源发电出力波动率和大规模电池储能系统荷电状态的条件下，通过自适应动态规划算法实时调节大规模储能电站实时功率，实现了综合考虑新能源发电与大规模储能系统联合并网运行的控制效果、大规模储能系统容量等的储能系统充放电功率的最优解的求解。由于自适应动态规划(ADP:Adaptive DynamicProgramming)算法不依赖被控系统或者过程精确的数学模型，具有在线自学习的能力，可以自动适应系统参数的变化，鲁棒性强。因此本发明通过将自适应动态规划算法考虑至自适应平滑控制中，实时了新能源发电出力平滑的在线自适应调节，优化大规模电池储能系统的控制效果。

如图2所示，为本发明提供的一种大规模储能电站自适应动态规划的控制方法，该方法具体步骤如下：

步骤1、设置自适应动态规划控制系统的结构，执行模块和评价模块的参数,以及控制目标参数。

自适应动态规划控制系统包括评价模块和执行模块的两层结构，(或者模型模块、评价模块和执行模块的三层结构)，每个模块均用三层神经网络结构来构建。执行模块和评价模块的参数包括折扣因子α、网络学习率l_a和l_c、权值W_a和W_c，最大循环次数，以及训练网络的期望误差。其中权值的初始值设置为(-1,+1)间的随机值，学习率和折扣因子依据控制效果要求进行选取和调整。综合考虑被控对象的具体情况和神经网络的收敛速度、计算结果的精确度，协同优化后选取合适的神经网络模型(包括网络的类型、结构、网络参数和训练模式)，

控制目标参数包括风电发电容量储能系统容量W_bat，储能系统的荷电状态SOC限制范围，采样时间Δt，观测时间T，波动率控制目标波动率限制目标

步骤2、初始化参数并导入被控对象的初始状态；

初始化参数并导入被控对象的初始状态包括风电功率波动率的初始值，储能系统荷电状态SOC的初始值，当前时刻风电实际出力功率。

步骤3、计算当前时刻t的原始风电功率波动率根据变化率控制方法对原始风电功率进行平滑；计算平滑后的风储功率波动率储能系统功率P_BESS(t)，储能系统的荷电状态SOC；

步骤4、初始化训练评价模块和执行模块；

计算当前时刻t的原始风电功率波动率利用变化率控制方法对原始功率波动率进行平滑，计算方法如下：

根据风电功率原始值P_wp(t)、平滑后的风储功率值P_hybrid(t)、采样时间Δt定义了风电功率的变化率k(t)：

$k\left(t\right)=\frac{P_{wp}\left(t\right)-P_{hybrid}(t-\mathrm{\&Delta;}t)}{\mathrm{\&Delta;}t}---\left(5\right)$

式中：P_wp(t)是风电功率原始值；P_hybrid(t)是平滑后的风储功率值。

为了使风储功率波动率控制在要求范围内，对变化率控制功率波动率方法制定如下控制策略：

如果

P_hybrid(t)＝P_wp(t-Δt) (6)

如果

$P_{hybrid}\left(t\right)=P_{wp}(t-\mathrm{\&Delta;}t)+\mathrm{\&Delta;}t\&CenterDot;k_{hybrid}^{rise}---\left(7\right)$

如果

$P_{hybrid}\left(t\right)=P_{wp}(t-\mathrm{\&Delta;}t)+\mathrm{\&Delta;}t\&CenterDot;k_{hybrid}^{drop}---\left(8\right)$

其中：是风电出力的上升阶段的变化率的限制值；是风电出力的下降阶段的变化率的限制值，二者定义为：

$k_{hybrid}^{rise}=\frac{P_{wp}^{rated}\&times;r_{obj}^T}{T}---\left(9\right)$

$k_{hybrid}^{drop}=-\frac{P_{wp}^{rated}\&times;r_{obj}^T}{T}---\left(10\right)$

经过变化率控制方法平滑后的风储功率波动率定义为：

$r_{hybrid}^T=f_{hybrid}\left(\frac{P_{hybrid}^{\max }{P}_{hybrid}^{\min }}{P_{hybrid}^{rated}}\right)---\left(11\right)$

$P_{hybrid}^{\max }=\max \{P_{hybrid}\left(t\right),P_{hybrid}(t-\mathrm{\&Delta;}t),\mathrm{...},P_{hybrid}(t-(n-1\left)\mathrm{\&Delta;}t\right)\}---\left(12\right)$

$P_{hybrid}^{\min }=\min \{P_{hybrid}\left(t\right),P_{hybrid}(t-\mathrm{\&Delta;}t),\mathrm{...},P_{hybrid}(t-(n-1\left)\mathrm{\&Delta;}t\right)\}---\left(13\right)$

T＝nΔt (14)

上四式中：和是观测时间T内的风储功率最大值和最小值。是观测时间T内,并网运行的风电总额定功率；

变化率控制功率波动率的方法的目标是控制平滑后的风储功率的波动率在观测时间内小于给定目标值：

$r_{hybrid}^T<r_{obj}^T---\left(15\right)$

式中：是给定观测时间T内风储功率波动率的控制目标。

储能系统充放电功率可以根据上面几式计算得到，在t时刻的储能功率为：

P_BESS(t)＝P_hybrid(t)-P_wp(t) (16)

储能系统的荷电状态SOC的计算公式如下：

如果P_BESS(t)＞0，储能系统放电，SOC减小。

$SOC\left(t\right)=SOC(t-\mathrm{\&Delta;}t)-\frac{\mathrm{\&Delta;}t\left|P_{BESS}\left(t\right)\right|}{W_{bat}}---\left(17\right)$

如果P_BESS(t)＜0，储能系统充电，SOC增大。

$SOC\left(t\right)=SOC(t-\mathrm{\&Delta;}t)+\frac{\mathrm{\&Delta;}t\left|P_{BESS}\left(t\right)\right|}{W_{bat}}---\left(18\right)$

其中：W_bat是储能系统容量。

步骤5、判断风储功率波动率是否在约束条件内，若不在约束范围内，则进行下一步的ADP网络训练，寻求最优储能功率修正值；若在约束范围内，则储能系统不动作，不对储能功率进行修正；

确定ADP是否需要调节储能功率的具体操作为：基于储能系统的储能功率P_BESS(t)和变化率控制后的风储功率波动率引入一个新的限制风储功率波动率的值，定义该值为结合该限制值和波动率控制目标制定以下的控制策略：

如果储能系统过度出力，需要进行反向修正。

$P_{BESS}^{ADP}\left(t\right)=P_{BESS}\left(t\right)+{\mathrm{\&Delta;P}}_{BESS}\left(t\right)---\left(22\right)$

如果储能系统出力适宜，无需修正。

$P_{BESS}^{ADP}\left(t\right)=P_{BESS}\left(t\right)---\left(23\right)$

式中：是在变化率控制方法的基础上，对储能功率进行ADP调节后的储能系统的功率。

步骤6、将被控对象状态，即风储功率波动率储能功率P_BESS(t)作为执行网络的输入，训练执行网络，更新执行网络的权值，输出为控制策略，即储能功率的修正值ΔP_BESS(t)；

训练执行网络的具体步骤如下：

训练执行模块是依据最小化评价模块的输出J_chybrid(t)来训练执行模块，并根据执行模块的权值更新式，更新执行模块神经网络的权值W_a。执行模块的训练是通过最小化评价模块的输出J_chybrid(t)来调整控制策略即储能功率修正值ΔP_BESS(t)；通过最小化目标函数E_ahybrid(t)为目标来更新执行模块神经网络的权值W_a，当目标函数E_ahybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

步骤7、将被控对象状态和控制策略作为评价网络的输入，训练评价网络，更新评价网络的权值，输出为代价函数；

训练评价网络的具体步骤如下：

将风电波动率和控制策略即储能功率修正值ΔP_BESS(t)送入评价模块作为输入，计算评价模块的输出J_c ^WPBESS(t)代价函数，构造目标函数E_chybrid(t)训练评价模块，并根据评价模块的权值更新式，更新评价模块神经网络的权值；其中，风电波动率和控制策略即储能功率修正值ΔP_BESS(t)都应经归一化处理为[-1，+1]后，再送入网络进行计算。

评价模块的训练以最小化目标函数E_chybrid(t)为目标来更新评价模块神经网络的权值W_c，当目标函数E_chybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

步骤8、保存此时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤5到7；

步骤9、循环上述步骤，直至控制过程结束，并输出各时刻的控制策略，平滑后的风储功率波动率储能功率和储能系统SOC。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种大规模储能电站自适应动态规划的控制方法，其特征在于，所述方法包括如下步骤：

(1)设置自适应动态规划控制系统的结构和控制目标参数；

(2)初始化参数并导入被控对象的初始状态；

(3)计算当前时刻t的原始风电功率波动率根据变化率控制方法对原始风电功率进行平滑；计算平滑后的风储功率波动率储能系统功率P_BESS(t)，储能系统的荷电状态SOC；

(4)初始化训练评价模块和执行模块；

(5)计算每个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC，并进行保存；

(6)输出所述各个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC。

2.根据权利要求1所述控制方法，其特征在于，所述步骤(1)中，所述自适应动态规划控制系统包括评价模块和执行模块的两层结构，每个模块均用三层神经网络结构来构建；所述控制目标参数包括风电发电容量储能系统容量W_bat、储能系统的荷电状态SOC限制范围、采样时间Δt、观测时间T、波动率控制目标和波动率限制目标

3.根据权利要求1所述控制方法，其特征在于，所述步骤(2)中，所述初始化参数包括风电功率波动率的初始值，储能系统荷电状态SOC的初始值，当前时刻风电实际出力功率。

4.根据权利要求1所述控制方法，其特征在于，所述步骤(3)包括如下步骤：

步骤3-1、所述的当前时刻t的原始风电功率波动率的计算公式如下：

$r_{wp}^T=f_{wp}\left(\frac{P_{wp}^{max}-P_{wp}^{\min }}{P_{wp}^{rated}}\right)---\left(1\right)$

$P_{wp}^{\max }=\max \{P_{wp}\left(t\right),P_{wp}(t-\mathrm{\&Delta;}t),...,P_{wp}(t-(n-1\left)\mathrm{\&Delta;}t\right)\}---\left(2\right)$

$P_{wp}^{\min }=\min \{P_{wp}\left(t\right),P_{wp}(t-\mathrm{\&Delta;}t),...,P_{wp}(t-(n-1\left)\mathrm{\&Delta;}t\right)\}---\left(3\right)$

T＝nΔt (4)

式中：是风电容量，即额定功率，和是观测时间内的风电功率最大值和最小值，Δt是采样时间，T为观测时间，P_wp(t)为风电功率的原始值,f_wp计算风电功率波动率的原始函数,n为在观测时间内的采样点数；

步骤3-2、根据变化率控制方法对所述风电功率的原始值进行平滑；

所述变化率控制方法的计算方法如下：

根据风电功率原始值P_wp(t)、平滑后的风电功率值P_hybrid(t)、采样时间Δt定义了风电功率的变化率k(t)：

$k\left(t\right)=\frac{P_{wp}\left(t\right)-P_{hybrid}(t-\mathrm{\&Delta;}t)}{\mathrm{\&Delta;}t}---\left(5\right)$

式中：P_wp(t)是风电功率原始值；P_hybrid(t)是平滑后的风储功率值；

为了使风储功率波动率控制在要求范围内，对变化率控制功率波动率方法制定如下控制策略：

如果

P_hybrid(t)＝P_wp(t-Δt) (6)

如果

$P_{hybrid}\left(t\right)=P_{wp}(t-\mathrm{\&Delta;}t)+\mathrm{\&Delta;}t\&CenterDot;k_{hybrid}^{rise}---\left(7\right)$

如果

$P_{hybrid}\left(t\right)=P_{wp}(t-\mathrm{\&Delta;}t)+\mathrm{\&Delta;}t\&CenterDot;k_{hybrid}^{drop}---\left(8\right)$

式中：是风电出力的上升阶段的变化率的限制值，是风电出力的下降阶段的变化率的限制值；

其中

$k_{hybrid}^{rise}=\frac{P_{wp}^{rated}\&times;r_{obj}^T}{T}---\left(9\right)$

$k_{hybrid}^{drop}=-\frac{P_{wp}^{rated}\&times;r_{obj}^T}{T}---\left(10\right)$

式中，为波动率控制目标；

步骤3-3、经过所述变化率控制方法平滑后的风储功率波动率的公式为：

$r_{hybrid}^T=f_{hybrid}\left(\frac{P_{hybrid}^{\max }-P_{hybrid}^{\min }}{P_{hybrid}^{rated}}\right)---\left(11\right)$

$P_{hybrid}^{\max }=\max \{P_{hybrid}\left(t\right),P_{hybrid}(t-\mathrm{\&Delta;}t),...,P_{hybrid}(t-(n-1\left)\mathrm{\&Delta;}t\right)\}---\left(12\right)$

$P_{hybrid}^{\min }=\min \{P_{hybrid}\left(t\right),P_{hybrid}(t-\mathrm{\&Delta;}t),...,P_{hybrid}(t-(n-1\left)\mathrm{\&Delta;}t\right)\}---\left(13\right)$

T＝nΔt (14)

式中：和是观测时间T内的风储功率最大值和最小值；是观测时间T内并网运行的风电总额定功率；

变化率控制功率波动率方法的目标是控制平滑后的风储功率波动率在观测时间内小于给定目标值：

$r_{hybrid}^T<r_{obj}^T---\left(15\right)$

式中：是给定观测时间T内风储功率波动率的控制目标；

步骤3-4、所述储能系统功率的计算公式为：

P_BESS(t)＝P_hybrid(t)-P_wp(t) (16)

所述储能系统的荷电状态SOC的计算公式如下：

如果P_BESS(t)＞0，储能系统放电，SOC减小，

$SOC\left(t\right)=SOC(t-\mathrm{\&Delta;}t)-\frac{\mathrm{\&Delta;}t\left|P_{BESS}\left(t\right)\right|}{W_{bat}}---\left(17\right)$

如果P_BESS(t)＜0，储能系统充电，SOC增大，

$SOC\left(t\right)=SOC(t-\mathrm{\&Delta;}t)+\frac{\mathrm{\&Delta;}t\left|P_{BESS}\left(t\right)\right|}{W_{bat}}---\left(18\right)$

式中：W_bat是储能系统容量。

5.根据权利要求1所述控制方法，其特征在于，所述步骤(4)中，所述初始化训练评价模块和执行模块包括：初始化设置折扣因子α、执行模块学习率l_a和评价模块学习率l_c、执行模块权值W_a和评价模块权值W_c，最大循环次数，以及训练模块的期望误差，其中权值的初始值设置为(-1,+1)间的随机值，学习率和折扣因子依据控制效果要求进行选取和调整。

6.根据权利要求1所述控制方法，其特征在于，所述步骤(5)包括如下步骤：

步骤5-1、判断风储功率波动率是否在约束条件内，若是则储能系统不动作，不对储能功率进行修正；否则进行下一步的自适应动态规划模块训练，寻求最优储能功率修正值；

步骤5-2、将被控对象状态和所述控制策略作为评价模块的输入，训练评价模块，更新评价模块的权值，输出代价函数；

步骤5-3、将被控对象状态包括风储功率波动率和储能功率P_BESS(t)作为执行模块的输入，训练执行模块，更新执行模块的权值，输出为控制策略，即储能功率的修正值ΔP_BESS(t)；

步骤5-4、保存此时刻的控制策略，并计算下一时刻被控对象状态，t＝t+1，重复步骤5-1到步骤5-3，直到控制过程结束。

7.根据权利要求6所述控制方法，其特征在于，所述步骤5-1中，所述判断风储功率波动率的约束如下：

如果则储能系统过度出力，需要进行反向修正：

$P_{BESS}^{ADP}\left(t\right)=P_{BESS}\left(t\right)+{\mathrm{\&Delta;P}}_{BESS}\left(t\right)---\left(22\right)$

式中，ΔP_BESS(t)为储能功率修正值

如果储能系统出力适宜，无需修正：

$P_{BESS}^{ADP}\left(t\right)=P_{BESS}\left(t\right)---\left(23\right)$

式中：是在变化率控制方法的基础上，对储能功率进行自适应动态规划调节后的储能系统的功率。

8.根据权利要求6所述控制方法，其特征在于，所述步骤5-2包括如下步骤：

步骤5-2-1、将所述被控对象状态即风储功率波动率和所述控制策略即储能功率修正值ΔP_BESS(t)进行归一化处理为[-1，+1]之间；

步骤5-2-2、将所述被控对象状态即风储功率波动率和所述控制策略即储能功率修正值ΔP_BESS(t)送入所述评价模块作为输入，计算所述评价模块的输出J_c ^WPBESS(t)代价函数，构造目标函数E_chybrid(t)训练所述评价模块，并根据评价模块的权值更新式，更新评价模块神经网络的权值，计算你公式如下：

$U\left(t\right)=\&lsqb;r_{hybrid}^T,{\mathrm{\&Delta;P}}_{BESS}\left(t\right),t\&rsqb;---\left(24\right)$

$J_{chybrid}\left(t\right)=J_c\&lsqb;r_{hybrid}^T,{\mathrm{\&Delta;P}}_{BESS}\left(t\right),t,W_c\&rsqb;---\left(25\right)$

$E_{chybrid}\left(t\right)=\frac{1}{2}{\&lsqb;J_{chybrid}\left(t\right)-U(t+1)-{\mathrm{\&beta;}}_c{J}_{chybrid}(t+1)\&rsqb;}^2---\left(26\right)$

式中：代价函数J_chybrid(t)为评价模块的输出，效用函数U(t)是关于ΔP_BESS(t),t的函数，根据控制目标进行定义，β_c是折扣因子；

步骤5-2-3、所述评价模块的训练采用梯度下降法或粒子群优化算法以使目标函数E_chybrid(t)最小化为目标来更新评价模块神经网络的权值W_c，当目标函数E_chybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

9.根据权利要求6所述控制方法，其特征在于，所述步骤5-3包括如下步骤：

步骤5-3-1、将被控对象状态包括风储功率波动率和储能功率P_BESS(t)作为执行模块的输入，训练执行模块；

步骤5-3-2、通过最小化评价模块输出J_chybrid(t)来调整控制策略即储能功率修正值ΔP_BESS(t)，公式如下：

${\mathrm{\&Delta;P}}_{BESS}\left(t\right)=u\&lsqb;r_{hybrid}^T,t,W_a\&rsqb;---\left(27\right)$

$E_{ahybrid}\left(t\right)=\frac{1}{2}{\&lsqb;J_{chybrid}\left(t\right)\&rsqb;}^2---\left(28\right)$

式中：控制策略ΔP_BESS(t)是执行模块的输出，用来调整储能功率在合理范围内变化，以减小储能系统SOC波动范围，u表示控制策略ΔP_BESS(t)是关于t,W_a的函数；

步骤5-3-3、所述执行模块的训练采用梯度下降法或粒子群优化算法以最小化目标函数E_ahybrid(t)为目标来更新执行模块神经网络的权值W_a，当目标函数E_ahybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

10.一种大规模储能电站自适应动态规划的控制系统，其特征在于，所述系统包括参数初始化模块、数据采集和计算模块、执行模块、评价模块及输出模块；

所述参数初始化模块，用于设置自适应动态规划控制系统的结构和控制目标参数，并将所述目标参数传送到所述数据采集和计算模块；

所述数据采集和计算模块，用于根据所述目标参数计算风储功率波动率，并将所述风储功率波动率传送到所述执行模块和评价模块；

所述执行模块，用于根据所述风储功率波动率得到储能功率修正值，并将所述储能功率修正值传送到所述数据采集和计算模块、评价模块及输出模；

所述评价模块，用于根据所述风储功率波动率得出代价函数，并将其传送到执行模块；

所述输出模块，用于输出所述各个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC。