CN105896575A - 基于自适应动态规划的百兆瓦储能功率控制方法及系统 - Google Patents

Abstract

本发明提供基于自适应动态规划的百兆瓦储能功率控制方法及系统，所述方法包括如下步骤：设置自适应动态规划控制系统的结构并设置其参数；对参数初始化并导入被控对象的初始状态；初始训练执行模块和评价模块；计算百兆瓦储能系统充放电功率；依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；保存当前时刻的控制策略，并计算下一时刻被控对象的状态；循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。所述系统包括参数初始化模块、数据采集和计算模块、评价模块、执行模块、输出模块等。本发明实现大规模储能电站与新能源联合发电系统的功率优化控制，提升电池储能系统运行经济性及协调控制能力。

Description

基于自适应动态规划的百兆瓦储能功率控制方法及系统

技术领域

本发明涉及智能电网、新能源发电、能源互联网、电力储能、自动控制领域，具体涉及一种基于自适应动态规划的百兆瓦级电池储能系统功率控制方法及系统。

背景技术

随着风力发电并网规模的不断增加，风电大规模接入电网后的波动性和随机性会对电网运行的安全性、稳定性以及电能质量等造成不利影响。因此，控制风电输出的波动率对电网运行的经济性以及安全性有着重要意义

按照存储形式的不同，储能可分为物理储能、电化学储能和电磁储能。目前电化学储能技术备受关注。可以通过配备一定容量的电池储能系统，根据风电和光伏发电等新能源发电出力的情况，采用电池储能系统的充放电作用来平滑风电和光伏发电的出力波动，并结合风电和光伏发电出力波动率和储能系统的荷电状态等指标进行整体优化，以满足电网对风电和光伏发电的并网要求。

目前，我国已建成多个千万千瓦级新能源发电基地，在新能源发电富集区域电网中，对电池储能的容量要求通常达数十MW以上，甚至达百兆瓦以上。百兆瓦级电池储能参与新能源发电集群控制及系统调度运行，对破解新能源发电的送出和消纳瓶颈有重要意义。大规模储能技术是我国可再生能源发电利用的关键支撑技术。针对大规模可再生能源发电的接入，一方面通过储能技术与可再生能源发电的联合，减少其随机性并提高其可调性；另一方面通过电网级的储能应用增强电网对可再生能源发电的适应性。目前，储能作为电网的可调度资源，具有很大的应用价值和应用空间。

在电网级应用中，需要储能进行秒至小时级的多时间尺度功率支撑。在储能与新能源发电联合并网应用时，百兆瓦电池储能电站整体需满足新能源发电从秒到分钟级不同时间尺度的响应需求。因此，如何基于大规模新能源发电的出力波动以及储能在电网级应用等实际需求，实现百兆瓦级电池储能电站整体出力多目标协调优化控制是亟待破解的技术难题。

在大规模电池储能电站平滑大规模新能源发电出力波动时，采用传统的一阶低通滤波或变时间常数(T)的出力滤波方法，由于方法本身自带的时滞而导致有时控制灵敏度不佳。一般的移动平均滤波算法输出的储能出力目标值也在很大程度上受限于风电、光伏发电等新能源发电功率的输入，这些传统方法遇到新能源发电出力出现骤变的情况，滤波性能下降，且影响后续滤波效果。

另一方面，在提高新能源发电友好性的储能电站出力控制时，传统控制方法在储能电站整体出力的自适应控制方面，其基于自学习的智能优化控制能力有待进一步提高。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于自适应动态规划的百兆瓦电池储能系统功率控制方法，本发明所提出的控制方法通过有效融合智能优化控制理论，合理有效地控制百兆瓦储能系统的充放电功率，降低新能源发电功率并网给电网带来的冲击，同时对储能系统的工作能力和寿命进行优化保护，提升储能系统整体的技术经济性。

为了实现上述发明目的，本发明采取如下技术方案：

一种基于自适应动态规划的百兆瓦储能功率控制方法，所述方法包括如下步骤：

(1)设置自适应动态规划控制系统的结构并设置其参数；

(2)对参数初始化并导入被控对象的初始状态；

(3)初始训练执行模块和评价模块；

(4)计算百兆瓦储能系统充放电功率；

(5)依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；

(6)保存当前时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤(1)到(5)；

(7)循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。

优选的，所述步骤(1)中，所述自适应动态规划控制系统包括评价模块和执行模块两层结构，每个模块均用三层神经网络结构构建；设置所述参数包括设置评价模块和执行模块神经网络的参数，依据每个模块具体的输入量和输出量来设置。

优选的，所述步骤(2)中，所述参数包括设定平滑时间常数的初始值、平滑时间的最大值和最小值、储能系统荷电状态SOC的初始值、当前时刻新能源发电出力功率以及计算当前平滑时间常数下的储能功率和风电波功率。

优选的，所述步骤(3)中，所述初始训练执行模块和评价模块包括：设置评价模块的权值W_c和学习率l_c，执行模块的权值W_a和学习率l_a，折扣因子r，评价模块训练的期望误差T_c、执行模块训练的期望误差T_a以及迭代最大次数，所述评价模块和所述执行模块权值的初始值设置为(-1,+1)间的随机值，依据控制效果要求选取和调整学习率和折扣因子。

优选的，所述步骤(4)中，包括如下步骤：

步骤4-1、以当前时刻t的新能源发电波动率x(t)作为所述执行模块的输入，得到所述执行模块的输出为控制策略u(t)，即时间常数的变化量；

步骤4-2、依据所述u(t)调整一阶平滑过程中的平滑时间常数T_WP，由一阶滤波的原理计算储能系统的充放电功率，得到一阶平滑滤波后储能系统充放电功率的目标值

步骤4-3、判断当前时刻t下经所述u(t)调整后的新能源发电出力波动率、储能系统的荷电状态SOC以及平滑时间常数T_WP是否在约束条件范围内，若在约束范围内，则当前时刻t的储能系统充放电功率即为否则依据失调的状态量再次调整储能系统充放电功率和自适应控制系统的效用函数，使状态量能够维持在约束范围内并实时在线调节所述时间常数的变化量ΔP_BESS，得到经修正后当前时刻t的储能系统的充放电功率

所述修正后储能系统的充放电功率按下式计算：

式中，为储能系统经修正后的充放电功率；T_WP为平滑滤波时间常数，依据执行模块输出的控制策略u(t)进行调整；s为拉普拉斯算子；P_WP为当前时刻风电的实际出力；为一阶平滑滤波后储能系统功率的目标值；ΔP_BESS是判断出SOC不在约束范围内时对储能系统功率进行的修正值，其中h是与控制系统相关的修正系数，与储能系统的能量转换单元的启停状态有关，γ是与SOC相关的修正系数，SOC_ref是储能系统SOC参考值，SOC^max与SOC^min分别是预先设定的储能系统SOC的上限值和下限值。

优选的，所述步骤(5)中，训练所述评价模块，评价模块神经网络的权值的更新包括如下步骤：

步骤5-1-1、新能源发电波动率x(t)和控制策略u(t)都经归一化处理为[-1,+1]后，将所述新能源发电波动率x(t)和所述控制策略u(t)作为所述评价模块的输入，所述评价模块的输出为代价函数J(t)；

步骤5-1-2、构造目标函数E_c(t)训练所述评价模块，并根据所述评价模块的权值更新式，按下式计算更新所述评价模块神经网络的权值：

U(t)＝[x(t),u(t),t]

J(t)＝J[x(t),u(t),t,W_c]

式中，代价函数J(t)为评价模块的输出；效用函数u(t)是关于x(t),u(t),t的函数，根据控制目标进行定义；r是折扣因子，E_c(t)是目标函数；

步骤5-1-3、所述评价模块的训练采用梯度下降法或粒子群优化算法以使目标函数E_c(t)最小化为目标来更新评价模块神经网络的权值，当目标函数E_c(t)减小到设定评价模块训练的期望误差值T_c或迭代次数达到最大时，训练完成。

优选的，所述步骤(5)中，训练所述执行模块，执行模块神经网络的权值的更新包括如下步骤：

步骤5-2-1、所述执行模块的训练包括计算评价模块的输出J(t)，构造目标函数E_a(t)，以使目标函数E_a(t)最小化为目标，更新执行模块神经网络的权值W_a并调整控制策略u(t)，公式如下：

u(t)＝u[x(t)，t，W_a]

J(t)＝J[x(t),u(t),t,W_c]

式中，W_c为评价模块的权值，W_a为执行模块的权值；控制策略u(t)是执行模块的 输出，用来调整平滑时间常数；

步骤5-2-2、所述执行模块的训练采用梯度下降法或粒子群优化算法以最小化目标函数E_a(t)为目标来更新执行模块神经网络的权值W_a；

步骤5-2-3、当目标函数E_a(t)减小到设定的执行模块训练的期望误差T_a或迭代次数达到最大时，训练完成。

优选的，一种基于自适应动态规划的百兆瓦储能功率控制系统，该系统包括参数初始化模块、数据采集和计算模块、评价模块、执行模块和输出模块；所述参数初始化模块与所述数据采集和计算模块相连，所述数据采集和计算模块与所述执行模块和评价模块相连，所述执行模块与所述输出模块相连；

所述参数初始化模块，用于设置自适应动态规划控制系统的结构，初始化参数并导入被控对象的初始状态；

所述数据采集和计算模块，用于采集新能源发电的实际出力功率，并计算百兆瓦储能系统充放电功率，实时计算新能源发电的波动率和储能系统荷电状态，并实时判断状态量是否在约束范围内，当状态量不在约束范围内时，调整储能系统充放电功率和自适应控制系统的效用函数；

所述评价模块，用于训练评价模块并更新评价模块神经网络的权值；

所述执行模块，用于训练执行模块并更新执行模块神经网络的权值；

所述输出模块，用于保存并实时输出各时刻的控制策略，实时在线调整调整平滑过程，控制储能系统充放电功率。

与现有技术相比，本发明的有益效果在于：

本发明基于自适应动态规划的百兆瓦储能功率控制方法，综合考虑百兆瓦储能系统荷电状态、新能源发电波动率反馈值以及基于神经网络的评价模块和执行模块等，有效实现了百兆瓦储能系统整体充放电功率的自适应优化控制。本发明适用于对系统无先验知识的情况下，仅利用受控系统(即百兆瓦级储能系统)的在线和离线数据采集及数据处理后得到的相关信息设计百兆瓦储能电站功率控制系统，并且能够通过学习获得最优控制策略，实现了百兆瓦储能系统充放电功率的自适应优化控制。

该方法不仅可用于百兆瓦级电池储能系统功率优化控制以及百兆瓦级储能电站平抑大型新能源发电系统出力波动，也适用于兆瓦级、十兆瓦级等不同规模等级的电池储能系统(电站)充放电功率的优化控制。

附图说明

图1是本发明提供的一种基于自适应动态规划的百兆瓦储能功率控制方法流程图

图2是本发明提供的一种基于自适应动态规划的百兆瓦储能功率控制系统中的各模块间连接结构示意图

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示，为本发明提供的一种基于自适应动态规划的百兆瓦储能功率控制方法，该方法包括如下步骤：

1、设置自适应动态规划控制系统的结构，执行模块和评价模块的参数；

所述的自适应动态规划控制系统包括评价模块和执行模块的两层结构，(或者模型模块、评价模块和执行模块的三层结构)，每个模块均用三层神经网络结构来构建。

2、初始化参数并导入被控对象的初始状态；

所述的初始化参数并导入被控对象的初始状态包括设定平滑时间常数的初始值，平滑时间的最大值和最小值，储能系统荷电状态SOC的初始值，当前时刻风电实际出力功率，并计算在当前平滑时间常数下的储能功率和新能源发电波动率。

3、初始训练执行模块和评价模块；

所述的初始训练执行模块和评价模块包括设置评价模块的权值W_c和学习率l_c，执行模块的权值W_a和学习率l_a，折扣因子r，以及迭代最大次数。其中评价模块和执行模块权值的初始值设置为(-1,+1)间的随机值，学习率和折扣因子依据控制效果要求进行选取和调整。综合考虑被控对象的具体情况和神经网络的收敛速度、计算结果的精确度，协同优化后选取合适的神经网络模型(包括网络的类型、结构、网络参数和训练模式)，然后进行执行模块和评价模块的初始化训练。

4、计算当前时刻t对应的初始平滑时间常数下的新能源发电波动率x(t)，并将其作为执行模块的输入，得到执行模块的输出u(t)为时间常数的变化量，即为控制策略。

5、依据控制策略u(t)调整平滑时间常数T_WP，并由一阶平滑滤波的原理计算风储联合系统的充放电功率，从而得到一阶平滑滤波后储能系统充放电功率的目标值并计算在经u(t)调整后的平滑时间常数下的新能源发电波动率和储能系统的荷电状态SOC；

6、判断上述得到的当前时刻t下经u(t)调整后的新能源发电波动率、储能系统的荷电状态SOC以及平滑时间常数T_WP是否在约束条件范围内，若在约束范围内，则当前时刻t的储能系统充放电功率即为可直接进行下一步；若不在约束范围内，则依据失调的状态量再次调整储能系统充放电功率和自适应控制系统的效用函数，使状态量能够维持在约束范围内，并得到经修正后储能系统的充放电功率

储能系统充放电功率修正的计算公式表示如下：

式中，为经修正后的储能系统充放电功率；T_WP为平滑滤波时间常数，应依据执行模块输出的控制策略u(t)进行调整；s为拉普拉斯算子；P_WP为当前时刻风电的实际出力；风电为一阶平滑滤波后储能系统功率的目标值；ΔP_BESS是判断出SOC不在约束范围内时对储能系统功率进行的修正值，其中h是与控制系统相关的修正系数，γ是与SOC相关的修正系数，SOC_ref是储能系统SOC参考值，SOC^max与SOC^min分别是预先设定的储能系统SOC的上限值和下限值，一般可以取SOC^max＝0.9，SOC^min＝0.1。

所述的再次调整储能系统充放电功率方法包括当状态量(新能源发电波动率，平滑时间常数，SOC)超出约束范围时，调整自适应动态规划控制系统中的效用函数U(t)；特别是当判断出SOC不在约束范围内时，为避免储能系统处于过充电或过放电状态，应及时直接对储能系统的充放电功率进行修正。

7、训练评价模块，更新评价模块神经网络的权值；

所述的评价模块的训练包括具体步骤为：将新能源发电波动率x(t)和控制策略u(t)送入评价模块作为输入，计算评价模块的输出J(t)为代价函数。构造目标函数E_c(t)，以使目标函数E_c(t)最小化为目标，更新评价模块神经网络的权值W_c，从而训练评价模块的神经网络；其中，新能源发电波动率x(t)和控制策略u(t)都应经归一化处理为[-1，+1]后，再送入网络进行计算。

U(t)＝[x(t),u(t),t]

J(t)＝J[x(t),u(t),t,W_c]

式中，W_c为评价模块的权值；代价函数J(t)为评价模块的输出；效用函数U(t)是关于x(t),u(t),t的函数，根据控制目标进行定义；r是折扣因子；评价模块的训练可以采用梯度下降法或粒子群优化算法以使目标函数E_c(t)最小化为目标来更新评价模块神经网络的权值W_c，当目标函数E_c(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

8、训练执行模块，更新执行模块神经网络的权值；

所述的执行模块的训练包括计算评价模块的输出J(t)，构造目标函数E_a(t)，以使目标函数E_a(t)最小化为目标，更新执行模块神经网络的权值W_a并调整控制策略u(t)，从而训练执行模块的神经网络。

u(t)＝u[x(t)，t，W_a]

J(t)＝J[x(t),u(t),t,W_c]

式中，W_c为评价模块的权值，W_a为执行模块的权值；控制策略u(t)是执行模块的输出，用来调整平滑时间常数；执行模块的训练可以采用梯度下降法或粒子群优化算法以最小化目标函数E_a(t)为目标来更新执行模块神经网络的权值W_a，当目标函数E_a(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

9、保存此时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤4 到9；

10、循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。

一种基于自适应动态规划的储能系统控制系统，如图2所示，该系统包括：

A、参数初始化模块。用于设置自适应动态规划控制系统的结构，初始化参数并导入被控对象的初始状态，该模块的设置包括：评价模块和执行模块的神经网络模型(包括网络的类型、结构、网络参数和训练模式)，评价模块的权值W_c和学习率l_c，执行模块的权值W_a和学习率l_a，折扣因子r，迭代最大次数，控制系统的约束条件，效用函数以及平滑时间常数的初始值，储能系统荷电状态SOC的初始值，训练期望误差，输入层\隐层\输出层的数目。

B、数据采集和计算模块。采集风电实际出力功率，储能系统充放电功率，实时计算新能源发电波动率，储能系统荷电状态，风电场装机容量，储能系统容量，风储联合发电的输出功率和波动率控制目标，并实时判断状态量是否在约束范围内。当状态量不在约束范围内时，调整储能系统充放电功率和自适应控制系统的效用函数，计算出功率波动率。

C、评价模块。训练评价模块的具体步骤为：将新能源发电波动率x(t)和控制策略u(t)送入评价模块作为输入，计算评价模块的输出J(t)为代价函数。构造目标函数E_c(t)，以使目标函数E_c(t)最小化为目标，更新评价模块神经网络的权值W_c，从而训练评价模块的神经网络；其中，新能源发电波动率x(t)和控制策略u(t)都应经归一化处理为[-1，+1]后，再送入网络进行计算。

U(t)＝[x(t),u(t),t]

J(t)＝J[x(t),u(t),t,W_c]

式中，W_c为评价模块的权值；代价函数J(t)为评价模块的输出；效用函数U(t)是关于x(t),u(t),t的函数，根据控制目标进行定义；r是折扣因子；评价模块的训练可以采用梯度下降法或粒子群优化算法以使目标函数E_c(t)最小化为目标来更新评价模块神经网络的权值W_c，当目标函数E_c(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

D、执行模块。将储能功率的修正值发送到评价模块和输出模块。训练执行模块的具体步骤为：计算评价模块的输出J(t)，构造目标函数E_a(t)，以使目标函数E_a(t)最小化为目标，更新执行模块神经网络的权值W_a并调整控制策略u(t)，从而训练执行模块的神经网络。

u(t)＝u[x(t)，t，W_a]

J(t)＝J[x(t),u(t),t,W_c]

式中，W_c为评价模块的权值，W_a为执行模块的权值；控制策略u(t)是执行模块的输出，用来调整平滑时间常数；执行模块的训练可以采用梯度下降法或粒子群优化算法以最小化目标函数E_a(t)为目标来更新执行模块神经网络的权值W_a，当目标函数E_a(t)减小到设定的误差值或迭代次数达到最大时，训练完成。

E、输出模块。保存并实时输出各时刻的控制策略，实时在线调整调整平滑过程，控制储能系统充放电功率。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于自适应动态规划的百兆瓦储能功率控制方法，其特征在于，所述方法包括如下步骤：

(1)设置自适应动态规划控制系统的结构并设置其参数；

(2)对参数初始化并导入被控对象的初始状态；

(3)初始训练执行模块和评价模块；

(4)计算百兆瓦储能系统充放电功率；

(5)依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；

(6)保存当前时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤(1)到(5)；

(7)循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。

2.根据权利要求1所述控制方法，其特征在于，所述步骤(1)中，所述自适应动态规划控制系统包括评价模块和执行模块两层结构，每个模块均用三层神经网络结构构建；设置所述参数包括设置评价模块和执行模块神经网络的参数，依据每个模块具体的输入量和输出量来设置。

3.根据权利要求1所述控制方法，其特征在于，所述步骤(2)中，所述参数包括设定平滑时间常数的初始值、平滑时间的最大值和最小值、储能系统荷电状态SOC的初始值、当前时刻新能源发电出力功率以及计算当前平滑时间常数下的储能功率和风电波功率。

4.根据权利要求1所述控制方法，其特征在于，所述步骤(3)中，所述初始训练执行模块和评价模块包括：设置评价模块的权值W_c和学习率l_c，执行模块的权值W_a和学习率l_a，折扣因子r，评价模块训练的期望误差T_c、执行模块训练的期望误差T_a以及迭代最大次数，所述评价模块和所述执行模块权值的初始值设置为(-1,+1)间的随机值，依据控制效果要求选取和调整学习率和折扣因子。

5.根据权利要求1所述控制方法，其特征在于，所述步骤(4)中，包括如下步骤：

步骤4-1、以当前时刻t的新能源发电波动率x(t)作为所述执行模块的输入，得到所述执行模块的输出为控制策略u(t)，即时间常数的变化量；

步骤4-2、依据所述u(t)调整一阶平滑过程中的平滑时间常数T_WP，由一阶滤波的原理 计算储能系统的充放电功率，得到一阶平滑滤波后储能系统充放电功率的目标值

步骤4-3、判断当前时刻t下经所述u(t)调整后的新能源发电出力波动率、储能系统的荷电状态SOC以及平滑时间常数T_WP是否在约束条件范围内，若在约束范围内，则当前时刻t的储能系统充放电功率即为否则依据失调的状态量再次调整储能系统充放电功率和自适应控制系统的效用函数，使状态量能够维持在约束范围内并实时在线调节所述时间常数的变化量ΔP_BESS，得到经修正后当前时刻t的储能系统的充放电功率

所述修正后储能系统的充放电功率按下式计算：

式中，为储能系统经修正后的充放电功率；T_WP为平滑滤波时间常数，依据执行模块输出的控制策略u(t)进行调整；s为拉普拉斯算子；P_WP为当前时刻风电的实际出力；为一阶平滑滤波后储能系统功率的目标值；ΔP_BESS是判断出SOC不在约束范围内时对储能系统功率进行的修正值，其中h是与控制系统相关的修正系数，与储能系统的能量转换单元的启停状态有关，γ是与SOC相关的修正系数，SOC_ref是储能系统SOC参考值，SOC^max与SOC^min分别是预先设定的储能系统SOC的上限值和下限值。

6.根据权利要求1所述控制方法，其特征在于，所述步骤(5)中，训练所述评价模块，评价模块神经网络的权值的更新包括如下步骤：

步骤5-1-1、新能源发电波动率x(t)和控制策略u(t)都经归一化处理为[-1,+1]后，将所述新能源发电波动率x(t)和所述控制策略u(t)作为所述评价模块的输入，所述评价 模块的输出为代价函数J(t)；

步骤5-1-2、构造目标函数E_c(t)训练所述评价模块，并根据所述评价模块的权值更新式，按下式计算更新所述评价模块神经网络的权值：

U(t)＝[x(t),u(t),t]

J(t)＝J[x(t),u(t),t,W_c]

式中，代价函数J(t)为评价模块的输出；效用函数u(t)是关于x(t),u(t),t的函数，根据控制目标进行定义；r是折扣因子，E_c(t)是目标函数；

步骤5-1-3、所述评价模块的训练采用梯度下降法或粒子群优化算法以使目标函数E_c(t)最小化为目标来更新评价模块神经网络的权值，当目标函数E_c(t)减小到设定评价模块训练的期望误差值T_c或迭代次数达到最大时，训练完成。

7.根据权利要求1所述控制方法，其特征在于，所述步骤(5)中，训练所述执行模块，执行模块神经网络的权值的更新包括如下步骤：

步骤5-2-1、所述执行模块的训练包括计算评价模块的输出J(t)，构造目标函数E_a(t)，以使目标函数E_a(t)最小化为目标，更新执行模块神经网络的权值W_a并调整控制策略u(t)，公式如下：

u(t)＝u[x(t)，t，W_a]

J(t)＝J[x(t),u(t),t,W_c]

式中，W_c为评价模块的权值，W_a为执行模块的权值；控制策略u(t)是执行模块的输出，用来调整平滑时间常数；

步骤5-2-2、所述执行模块的训练采用梯度下降法或粒子群优化算法以最小化目标函数E_a(t)为目标来更新执行模块神经网络的权值W_a；

步骤5-2-3、当目标函数E_a(t)减小到设定的执行模块训练的期望误差T_a或迭代次数 达到最大时，训练完成。

8.一种基于自适应动态规划的百兆瓦储能功率控制系统，其特征在于，该系统包括参数初始化模块、数据采集和计算模块、评价模块、执行模块和输出模块；所述参数初始化模块与所述数据采集和计算模块相连，所述数据采集和计算模块与所述执行模块和评价模块相连，所述执行模块与所述输出模块相连；

所述参数初始化模块，用于设置自适应动态规划控制系统的结构，初始化参数并导入被控对象的初始状态；

所述数据采集和计算模块，用于采集新能源发电的实际出力功率，并计算百兆瓦储能系统充放电功率，实时计算新能源发电的波动率和储能系统荷电状态，并实时判断状态量是否在约束范围内，当状态量不在约束范围内时，调整储能系统充放电功率和自适应控制系统的效用函数；

所述评价模块，用于训练评价模块并更新评价模块神经网络的权值；

所述执行模块，用于训练执行模块并更新执行模块神经网络的权值；

所述输出模块，用于保存并实时输出各时刻的控制策略，实时在线调整调整平滑过程，控制储能系统充放电功率。