CN110535146B - 基于深度确定策略梯度强化学习的电力系统无功优化方法 - Google Patents

Abstract

本发明提供一种基于深度确定策略梯度强化学习的电力系统无功优化方法，将确定性深度梯度策略算法应用于传统的电力系统无功优化问题之中，通过深度神经网络感知电力系统的电压状态，再利用强化学习方法做出相应的动作决策，以此来做出正确的发电机机端电压调整动作、节点电容器组投切动作、变压器分接头调整动作来调节电力系统中的无功功率分布，从而达到电力系统有功网损最小化，通过把神经网络分为在线网络和目标网络，避免了神经网络每次训练过程中参数更新和相邻训练产生关联，从而避免了电力系统无功优化陷入局部最优的问题。本发明在符合电力系统安全约束的前提下，通过减少电力系统网络损耗来提高电力系统运行的经济性。

Description

基于深度确定策略梯度强化学习的电力系统无功优化方法

技术领域

本发明涉及电力系统无功优化领域，具体涉及一种基于深度确定策略梯度强化学习的电力系统无功优化方法。

背景技术

电力系统的无功分布会影响系统的电能损耗以及节点的电压合格率，因此电力系统无功优化是提高电力系统经济运行的重要手段。电力系统无功优化通过调整电网中的控制设置来实现，如同步发电机机端电压、节点电容器组切换、变压器分接头设置等。电力系统无功优化可以表示为一个数学优化模型，从经济角度考虑，优化的目标为系统的网损最小化。

电力系统无功优化具有电力系统优化所固有的复杂性、非线性性、不准确性以及控制要求实时性强等特性。传统的无功优化方法包括牛顿法，梯度类算法，线性规划法等。牛顿法在处理不等式约束方面不够成熟；梯度类算法对于罚函数和梯度步长的选取要求严格，收敛较慢；线性规划法误差较大且精度不高。近些年来一些智能优化算法被应用于无功优化问题以解决传统算法的不足，例如，粒子群算法，遗传算法，蚁群算法等，基于计算机高效的运算能力使得这些原理上简单且计算方便的算法呈现出了很好的效果，但是它们也各有各的不足之处，粒子群算法收敛太快容易陷入局部收敛；遗传算法不适用于大型电力系统；蚁群算法使用范围不广。

最近几年，深度学习(Deep Learning,DL)作为一个重要的研究热点，已经在图像处理、语音识别、视频分类等领域取得了成功。强化学习(Reinforcement Learning，RL)同样是机器学习领域的研究热点，广泛应用于机器人控制、游戏博弈和优化与调度等领域。谷歌的人工智能团队DeepMind综合深度学习的感知能力和强化学习的决策能力，创造出深度强化学习(Deep Reinforcement Learning，DRL)。深度强化学习可以利用深度学习来自动学习大规模输入数据的抽象表征，并利用强化学习以此表征为依据进行自我激励，来优化就解决问题的策略。所以DRL是一种端对端的感知与控制系统，具有很强的通用性。

如今，利用深度强化学习进行的智能控制已经应用于各个领域，并且取得了重大成功，例如AlphaGo、ATARI Game、机器人控制等，但深度强化学习却很少应用于电力系统优化领域。

发明内容

基于以上不足之处，本发明提供一种基于深度确定策略梯度强化学习的电力系统无功优化方法。本方法在符合电力系统安全约束的前提下，使得整个电力系统的网络损耗达到最小值，从而提高电力系统运行的经济性。

本发明所采用的技术如下：一种基于深度确定策略梯度强化学习的电力系统无功优化方法，步骤如下：

步骤一：利用电力系统无功优化计算中用到的物理量来刻画深度强化学习中的各变量，从而达到深度强化学习算法应用于电力系统无功优化的目的：

其中，P_loss为有功网络损耗；k变压器变比；n_l为网络总支路数；G_k(i,j)为支路i–j的电导；U_i、U_j分别为节点i、j的电压；ω_i、ω_j分别为节点i、j的相角；f为电力系统无功优化目的；

步骤二：电力系统的广域测量系统实时获得电力系统各节点的功率、相位、功角、电压幅值的信息；电力系统的监视控制/数据采集系统获得电力系统的实时信息，包括地理信息、系统运行状态的信息；利用这两个系统动态地采集电力系统的数据信息，包括每个节点的电压、电力系统的拓扑信息、各节点的出力和负荷，再结合电力系统的结构参数数据，将这些数据送入电力调度系统的无功优化子系统，作为潮流计算的备用数据和之后神经网络训练所需的数据；

步骤三：算法的初始状态量s_t为各母线电压节点电压，包括电压的实部和虚部，通过动作神经网络产生电力网络节点动作μ(s_t|θ^μ)，包括三种类型的动作：调整发电机机端电压、节点电容器组切换以及变压器分接头设置，在生成记忆集的过程的训练中，加入遵从线性分布的探索噪声；在记忆集生成完毕之后的训练中，加入遵从高斯分布的探索噪声生成控制动作集，动作集a_t的生成方法表述为：

其中，η为探索噪声；U(0,1)为最小值为0，最大值为1的均匀分布；N(0,1)为均值为0，方差为1的正态分布；n为训练次数；C为记忆集大小；所述的动作神经网络由在线动作网络和目标动作网络组成，且两个动作网络的结构完全相同；

步骤四：将a_t数据进行处理，处理流程如下：

由于在电力系统无功优化的过程中，对发电机机端电压、变压器抽头设置、节点电容器组容量均存在不等式约束，需要对动作值进行限制：

式中，a_tmin和a_tmax分别为动作值的限制最小值和限制最大值；

在实际电力系统中，发电机、节点电容器组和变压器抽头，它们的调整动作都是离散的分级控制，而深度梯度策略算法中输出的动作是连续的，需要对动作值进行离散化处理：

式中，a_step为动作的步长；a'_t为离散化处理后的动作值；

处理后的动作值a'_t直接加在进行潮流计算所需的母线数据和线路数据之中，即通过改变PV节点的电压值，PQ节点的无功负荷，以及连接线上的电压变比来改变潮流计算结果；

通过新的潮流结果得到电力系统中各节点的母线电压作为新的状态信息s_t+1和系统的有功网损P_loss，计算得到奖励信息：

式中，r_t是奖励信号；P_loss是电力系统的有功网损；K是用于降低r相对于P_loss灵敏度的系数，为电力系统总负荷的5％；

步骤五：算法将训练得到的状态-动作-下一个状态-奖励值(s_t,a_t,s_t+1,r_t)存入记忆集，这四个数据分别对应电力系统中，上一时刻的节点电压，电力系统动作值，这一时刻的节点电压，以及有功网损，将其作为训练神经网络的数据集，再通过随机采样的方式抽取记忆集中的N组数据放入小批量数据集之中，也就是每次随机采样相同数目且连续的样本作为动作神经网络和估值神经网络的训练数据；所述的估值神经网络由在线估值网络和目标估值网络组成，两个估值网络结构完全相同，将其分别输入动作神经网络的目标动作网络和估值神经网络的目标估值网络，目标动作网络的输出为：μ'(s_t+1|θ^μ')，目标估值网络的输出为q'_t+1＝Q'(s_t+1,μ'(s_t+1|θ^μ')|θ^Q')，由此得到标签函数：

y_t＝r_t+γq'_t+1 (6)

式中，y_t为标签值；r_t为奖励信号；γ为折扣系数，取接近于1的数；

步骤六：将y_t和小批量数据集中的数据作为在线估值网络的输入对其进行训练，定义网络损失函数loss为在线估值网络的输出q_t＝Q(s_t,a_t|θ^Q)和标签y_t的均方差：

其中，N为小批量数据集采样的大小；

基于loss针对θ^Q的梯度

利用亚当斯优化方法对在线估值网络参数进行优化，在线动作网络的策略梯度

是利用确定性策略梯度算法中的策略梯度公式得到的：

同样基于此梯度策略，采用亚当斯优化器对在线动作网络参数进行优化，以此来进行对在线估值网络和在线动作网络的训练；

步骤七：为了维持各神经网络的稳定，需要利用软更新的方法将在线动作网络和在线估值网络的参数分别传递给目标动作网络和目标估值网络，实现网络参数的更新，以此来进行目标动作网络和目标估值网络的训练：

软更新:

式中，θ^μ'为目标动作网络参数；θ^Q'为目标估值网络参数；θ^μ为在线动作网络参数；θ^Q为在线估值网络参数；τ为更新系数，取接近0的数；

步骤八：循环步骤三到步骤七，并达到最小值，完成无功优化过程；此时，由于动作神经网络的参数也不再变化，从而动作神经网络对应输出的电力系统动作值也收敛，把这个收敛后的动作值传递给相关调度人员，电网的调度人员依据这些动作值来调整机端电压、无功补偿电容器投入组数、变压器抽头设置，从而实现实际电力系统无功优化。

所述的在线动作网络：包含输入层，第一归一化层，第一隐藏层，第二归一化层，第二隐藏层，第三归一化层，输出层；

所述的目标动作网络：包含输入层，第一归一化层，第一隐藏层，第二归一化层，第二隐藏层，第三归一化层，输出层；

所述的在线估值网络：包含输入层，第一隐藏层，第一归一化层，第二隐藏层，第二归一化层，第三隐藏层，第三归一化层，输出层；

所述的目标估值网络：包含输入层，第一隐藏层，第一归一化层，第二隐藏层，第二归一化层，第三隐藏层，第三归一化层，输出层；

所述的每个隐藏层的神经元个数由参数设置决定；

所述的归一化层的计算公式为：

其中，z为上一层的输出值；m为上一层的神经元个数；a、b和ε为归一化层的系数；y'是归一层的输出值。

本发明的优点及有益效果：当电力系统中的任意节点动作变量，包括发电机机端电压、节点电容器组切换以及变压器分接头设置改变时，深度强化学习可以通过多层神经网络来感知电力系统各节点高维度状态信息，并且让记忆集得到每个动作值所对应的奖励，以此来达成每个时刻节点动作和电网环境之间的信息交互，从而在记忆集中建立动作和环境的特定关联方式，并将记忆集储存。当建立起足够强大的记忆集之后，又可以利用观察到的环境变量，来产生对应的动作变量，并以此形成一个闭环，来使得整个电力系统逐步趋近无功最优化控制的目标，也就是使得整个电力系统的网络损耗达到最小值。相较于传统控制方法，本发明有如下优点：较好地处理了无功优化问题中的不等式约束问题，使电力系统在符合安全运行的基础上完成电能利用率地提高；由于深度确定策略梯度强化学习可以输出高维的动作，所以本发明适用于电力大系统之中；由于前期记忆集的积累，神经网络的训练收敛速度很快，在良好的硬件条件下无功优化所需时间很短；通过把神经网络分为在线网络和目标网络，避免了神经网络每次训练过程中参数更新和相邻训练产生关联，从而避免了电力系统无功优化陷入局部最优的问题。

附图说明

图1为深度强化学习应用于电力系统流程图；

图2为动作值数据处理流程图；

图3为基于深度确定性策略梯度强化学习的电力系统无功优化方法过程示意图；

图4为基于深度确定性策略梯度强化学习的电力系统无功优化方法在实际应用中的流程图；

图5为动作神经网络结构图；

图6为估值网络结构图；

图7为训练过程中系统的有功网损图；

图8为训练过程中系统发电机机端电压动作值图；

图9为训练过程中系统变压器分接头调整动作图；

具体实施方式

下面根据说明书附图举例对本发明做进一步的说明：

实施例1

一种基于深度确定策略梯度强化学习的电力系统无功优化方法，步骤如下：

步骤一：利用电力系统无功优化计算中用到的物理量来刻画深度强化学习中的各变量，从而达到深度强化学习算法应用于电力系统无功优化的目的：

其中，P_loss为有功网络损耗；k变压器变比；n_l为网络总支路数；G_k(i,j)为支路i–j的电导；U_i、U_j分别为节点i、j的电压；ω_i、ω_j分别为节点i、j的相角；f为电力系统无功优化目的；

步骤二：电力系统的广域测量系统实时获得电力系统各节点的功率、相位、功角、电压幅值的信息；电力系统的监视控制/数据采集系统获得电力系统的实时信息，包括地理信息、系统运行状态的信息；利用这两个系统动态地采集电力系统的数据信息，包括每个节点的电压、电力系统的拓扑信息、各节点的出力和负荷，再结合电力系统的结构参数数据，将这些数据送入电力调度系统的无功优化子系统，作为潮流计算的备用数据和之后神经网络训练所需的数据；

步骤三：算法的初始状态量s_t为各母线电压节点电压，包括电压的实部和虚部，通过动作神经网络产生电力网络节点动作μ(s_t|θ^μ)，包括三种类型的动作：调整发电机机端电压、节点电容器组切换以及变压器分接头设置，在生成记忆集的过程的训练中，加入遵从线性分布的探索噪声；在记忆集生成完毕之后的训练中，加入遵从高斯分布的探索噪声生成控制动作集，动作集a_t的生成方法表述为：

其中，η为探索噪声；U(0,1)为最小值为0，最大值为1的均匀分布；N(0,1)为均值为0，方差为1的正态分布；n为训练次数；C为记忆集大小；所述的动作神经网络由在线动作网络和目标动作网络组成，且两个动作网络的结构完全相同；

步骤四：将a_t数据进行处理，处理流程如下：

由于在电力系统无功优化的过程中，对发电机机端电压、变压器抽头设置、节点电容器组容量均存在不等式约束，需要对动作值进行限制：

式中，a_tmin和a_tmax分别为动作值的限制最小值和限制最大值；

在实际电力系统中，发电机、节点电容器组和变压器抽头，它们的调整动作都是离散的分级控制，而深度梯度策略算法中输出的动作是连续的，需要对动作值进行离散化处理：

式中，a_step为动作的步长；a'_t为离散化处理后的动作值；

处理后的动作值a'_t直接加在进行潮流计算所需的母线数据和线路数据之中，即通过改变PV节点的电压值，PQ节点的无功负荷，以及连接线上的电压变比来改变潮流计算结果；

通过新的潮流结果得到电力系统中各节点的母线电压作为新的状态信息s_t+1和系统的有功网损P_loss，计算得到奖励信息：

式中，r_t是奖励信号；P_loss是电力系统的有功网损；K是用于降低r相对于P_loss灵敏度的系数，其数值为电力系统总负荷的5％；

步骤五：算法将训练得到的状态-动作-下一个状态-奖励值(s_t,a_t,s_t+1,r_t)存入记忆集，这四个数据分别对应电力系统中，上一时刻的节点电压，电力系统动作值，这一时刻的节点电压，以及有功网损，将其作为训练神经网络的数据集，再通过随机采样的方式抽取记忆集中的N组数据放入小批量数据集之中，也就是每次随机采样相同数目且连续的样本作为动作神经网络和估值神经网络的训练数据；所述的估值神经网络由在线估值网络和目标估值网络组成，两个估值网络结构完全相同，将其分别输入动作神经网络的目标动作网络和估值神经网络的目标估值网络，目标动作网络的输出为：μ'(s_t+1|θ^μ')，目标估值网络的输出为q'_t+1＝Q'(s_t+1,μ'(s_t+1|θ^μ')|θ^Q')，由此得到标签函数：

y_t＝r_t+γq'_t+1 (6)

式中，y_t为标签值；r_t为奖励信号；γ为折扣系数，取接近于1的数；

步骤六：将y_t和小批量数据集中的数据作为在线估值网络的输入对其进行训练，定义网络损失函数loss为在线估值网络的输出q_t＝Q(s_t,a_t|θ^Q)和标签y_t的均方差：

其中，N为小批量数据集采样的大小；

基于loss针对θ^Q的梯度

利用亚当斯优化方法对在线估值网络参数进行优化，在线动作网络的策略梯度

是利用确定性策略梯度算法中的策略梯度公式得到的：

同样基于此梯度策略，采用亚当斯优化器对在线动作网络参数进行优化，以此来进行对在线估值网络和在线动作网络的训练；

步骤七：为了维持各神经网络的稳定，需要利用软更新的方法将在线动作网络和在线估值网络的参数分别传递给目标动作网络和目标估值网络，实现网络参数的更新，以此来进行目标动作网络和目标估值网络的训练：

软更新:

式中，θ^μ'为目标动作网络参数；θ^Q'为目标估值网络参数；θ^μ为在线动作网络参数；θ^Q为在线估值网络参数；τ为更新系数，取接近0的数；

步骤八：循环步骤三到步骤七，并达到最小值，完成无功优化过程；此时，由于动作神经网络的参数也不再变化，从而动作神经网络对应输出的电力系统动作值也收敛，把这个收敛后的动作值传递给相关调度人员，电网的调度人员依据这些动作值来调整机端电压、无功补偿电容器投入组数、变压器抽头设置，从而达到实际电力系统无功优化的目的；

其中，

所述的在线动作网络：包含输入层，第一归一化层，第一隐藏层，第二归一化层，第二隐藏层，第三归一化层和输出层；

所述的目标动作网络：包含输入层，第一归一化层，第一隐藏层，第二归一化层，第二隐藏层，第三归一化层和输出层；

所述的在线估值网络：包含输入层，第一隐藏层，第一归一化层，第二隐藏层，

第二归一化层，第三隐藏层，第三归一化层和输出层；

所述的目标估值网络：包含输入层，第一隐藏层，第一归一化层，第二隐藏层，

第二归一化层，第三隐藏层，第三归一化层和输出层；

所述的每个隐藏层的神经元个数由参数设置决定；

所述的归一化层的计算公式为：

其中，z为上一层的输出值；m为上一层的神经元个数；a、b和ε为归一化层的系数；y'是归一层的输出值。

在如今的深度强化学习领域拥有众多算法，在该项发明中我们采用确定性深度梯度策略(Deep Deterministic Policy Gradient，DDPG)算法，相较于其他算法，它改变了依据状态计算动作价值再根据贪心法则选择动作的方式，而是省略中间步骤，利用梯度下降法来由环境状态直接产生相应的动作，这样也就加快了其收敛速度。并且DDPG算法还综合了深度Q学习(Deep Q-Learning，DQN)算法的优点，在初始状态时额外拷贝一份神经网络，来避免训练神经网络时每次参数更新产生的前后相关性，从而避免了训练陷入局部最优的问题。综上，DRL中的DDPG算法是一种非常适合应用于电力系统无功优化的算法。当电力系统中的任意节点动作变量，包括发电机机端电压、节点电容器组切换以及变压器分接头设置改变时，深度强化学习可以通过多层神经网络来感知电力系统各节点高维度状态信息，并且让记忆集得到每个动作值所对应的奖励，以此来达成每个时刻节点动作和电网环境之间的信息交互，从而在记忆集中建立动作和环境的特定关联方式，并将记忆集储存。当建立起足够强大的记忆集之后，又可以利用观察到的环境变量，来产生对应的动作变量，并以此形成一个闭环，来使得整个电力系统逐步趋近无功最优化控制的目标，也就是使得整个电力系统的网络损耗达到最小值。

实施例2

本实施例采用基于深度确定性策略梯度强化学习的电力系统无功优化算法对IEEE30节点测试系统进行了无功优化计算。电力系统仿真部分采用Matlab程序计算电力系统潮流；算法部分采用Python语言编程，在Pycharm编译软件上编译通过。同时使用谷歌公司开发的tensorflow1.0深度学习框架和英伟达公司的CUDA9.0计算框架,利用GTX-1060显卡的并行计算引擎，使得整个优化过程拥有了极快的计算速度。

(1)IEEE30节点标准测试系统

该系统有四台变压器，五台发电机，选取了四个补偿点来满足无功优化的需求，节点电压的上下限为1.1和0.95，设机端电压调节是离散的，其调节步长为0.002，该值相当于500kv系统里的1kv，共分75档。设其有四台变压器，变压器有8个分接头，调节步长为2.5％。在四个节点设置节点无功补偿电容器，无功补偿装置的补偿电容上限为0.3，步长为0.01。也就是整个算法中的动作数量是13个。总计动作组合数为76⁵×8⁴×31⁴＝9.531×10¹⁸种。初始系统的有功损耗为0.0536pu。

(2)DDPG算法参数设置

本项发明中，动作网络的学习率选0.001，估值网络的学习率选0.0001，折扣系数_γ选取0.9，软更新中的更新系数τ取0.01，记忆集的容量选取10000，小批量数据集的容量选取64，考虑到电力系统中高维的动作维度，动作神经网络中的第一层隐藏层包含400个神经元，使用relu激活函数，第二层隐藏层包含300个神经元，使用tanh激活函数，输出层包含13个神经元，使用sigmoid激活函数。估值神经网络的隐藏层包含300个神经元，使用tanh激活函数，输出层包含一个神经元。

(3)计算结果

图7为系统有功损耗变化图，如图所示，在经过前10000步的经验集形成过程之后，学习正式开始在经过大概5000步的训练之后，系统的网损达到最小值0.309，较之前的系统减少了42.35％的有功网损，即达到了无功优化的效果，在动作组合数量如此巨大的环境中这样的收敛速度已经达到了不错的效果。并且由于拥有高算力的硬件条件，神经网络每训练5000次只需要一分钟的时间，也就是说，在记忆集形成之后，神经网络经过一分钟的训练之后便可以收敛。图8为五台发电机动作，如图所示，发电机机端电压均满足约束条件。图9为四台变压器分接头调整动作值。综合来看，本发明的优化方法在满足约束条件的情况下，可以达到一个较好优化效果。

Claims (3)

1.一种基于深度确定策略梯度强化学习的电力系统无功优化方法，其特征在于，方法步骤如下：

步骤一：利用电力系统无功优化计算中用到的物理量来刻画深度强化学习中的各变量，从而达到深度强化学习算法应用于电力系统无功优化的目的：

其中，P_loss为有功网络损耗；k变压器变比；n_l为网络总支路数；G_k(i,j)为支路i–j的电导；U_i、U_j分别为节点i、j的电压；ω_i、ω_j分别为节点i、j的相角；f为电力系统无功优化目的；

步骤二：电力系统的广域测量系统实时获得电力系统各节点的功率、相位、功角、电压幅值的信息；电力系统的监视控制/数据采集系统获得电力系统的实时信息，包括地理信息、系统运行状态的信息；利用这两个系统动态地采集电力系统的数据信息，包括每个节点的电压、电力系统的拓扑信息、各节点的出力和负荷，再结合电力系统的结构参数数据，将这些数据送入电力调度系统的无功优化子系统，作为潮流计算的备用数据和之后神经网络训练所需的数据；

步骤三：算法的初始状态量s_t为各母线电压节点电压，包括电压的实部和虚部，通过动作神经网络产生电力网络节点动作μ(s_t|θ^μ)，包括三种类型的动作：调整发电机机端电压、节点电容器组切换以及变压器分接头设置，在生成记忆集的过程的训练中，加入遵从线性分布的探索噪声；在记忆集生成完毕之后的训练中，加入遵从高斯分布的探索噪声生成控制动作集，动作集a_t的生成方法表述为：

其中，η为探索噪声；U(0,1)为最小值为0，最大值为1的均匀分布；N(0,1)为均值为0，方差为1的正态分布；n为训练次数；C为记忆集大小；所述的动作神经网络由在线动作网络和目标动作网络组成，且两个动作网络的结构完全相同；

步骤四：将a_t数据进行处理，处理流程如下：

由于在电力系统无功优化的过程中，对发电机机端电压、变压器抽头设置、节点电容器组容量均存在不等式约束，需要对动作值进行限制：

式中，a_tmin和a_tmax分别为动作值的限制最小值和限制最大值；

在实际电力系统中，发电机、节点电容器组和变压器抽头，它们的调整动作都是离散的分级控制，而深度梯度策略算法中输出的动作是连续的，需要对动作值进行离散化处理：

式中，a_step为动作的步长；a'_t为离散化处理后的动作值；

处理后的动作值a'_t直接加在进行潮流计算所需的母线数据和线路数据之中，即通过改变PV节点的电压值，PQ节点的无功负荷，以及连接线上的电压变比来改变潮流计算结果；

通过新的潮流结果得到电力系统中各节点的母线电压作为新的状态信息s_t+1和系统的有功网损P_loss，计算得到奖励信息：

式中，r_t是奖励信号；P_loss是电力系统的有功网损；K是用于降低r_t相对于P_loss灵敏度的系数，为电力系统总负荷的5％；

步骤五：算法将训练得到的状态-动作-下一个状态-奖励值(s_t,a_t,s_t+1,r_t)存入记忆集，这四个数据分别对应电力系统中，上一时刻的节点电压，电力系统动作值，这一时刻的节点电压，以及有功网损，将其作为训练神经网络的数据集，再通过随机采样的方式抽取记忆集中的N组数据放入小批量数据集之中，也就是每次随机采样相同数目且连续的样本作为动作神经网络和估值神经网络的训练数据；所述的估值神经网络由在线估值网络和目标估值网络组成，两个估值网络结构完全相同，将其分别输入动作神经网络的目标动作网络和估值神经网络的目标估值网络，目标动作网络的输出为：μ'(s_t+1|θ^μ')，目标估值网络的输出为q'_t+1＝Q'(s_t+1,μ'(s_t+1|θ^μ')|θ^Q')，由此得到标签函数：

y_t＝r_t+γq'_t+1 (6)

式中，y_t为标签值；r_t为奖励信号；γ为折扣系数，取接近于1的数；

步骤六：将y_t和小批量数据集中的数据作为在线估值网络的输入对其进行训练，定义网络损失函数loss为在线估值网络的输出q_t＝Q(s_t,a_t|θ^Q)和标签y_t的均方差：

其中，N为小批量数据集采样的大小；

基于loss针对θ^Q的梯度

利用亚当斯优化方法对在线估值网络参数进行优化，在线动作网络的策略梯度

是利用确定性策略梯度算法中的策略梯度公式得到的：

同样基于此梯度策略，采用亚当斯优化器对在线动作网络参数进行优化，以此来进行对在线估值网络和在线动作网络的训练；

步骤七：为了维持各神经网络的稳定，需要利用软更新的方法将在线动作网络和在线估值网络的参数分别传递给目标动作网络和目标估值网络，实现网络参数的更新，以此来进行目标动作网络和目标估值网络的训练：

式中，θ^μ'为目标动作网络参数；θ^Q'为目标估值网络参数；θ^μ为在线动作网络参数；θ^Q为在线估值网络参数；τ为更新系数，取接近0的数；

步骤八：循环步骤三到步骤七，并达到最小值，完成无功优化过程；此时，由于动作神经网络的参数也不再变化，从而动作神经网络对应输出的电力系统动作值也收敛，把这个收敛后的动作值传递给相关调度人员，电网的调度人员依据这些动作值来调整机端电压、无功补偿电容器投入组数、变压器抽头设置，从而实现实际电力系统无功优化。

2.根据权利要求1所述的一种基于深度确定策略梯度强化学习的电力系统无功优化方法，其特征在于，

所述的在线动作网络：包含输入层，第一归一化层，第一隐藏层，第二归一化层，第二隐藏层，第三归一化层，输出层；

所述的目标动作网络：包含输入层，第一归一化层，第一隐藏层，第二归一化层，第二隐藏层，第三归一化层，输出层；

所述的在线估值网络：包含输入层，第一隐藏层，第一归一化层，第二隐藏层，第二归一化层，第三隐藏层，第三归一化层，输出层；

所述的目标估值网络：包含输入层，第一隐藏层，第一归一化层，第二隐藏层，第二归一化层，第三隐藏层，第三归一化层，输出层；

所述的每个隐藏层的神经元个数由参数设置决定。

3.根据权利要求2所述的一种基于深度确定策略梯度强化学习的电力系统无功优化方法，其特征在于，所述的归一化层的计算公式为：

其中，z为上一层的输出值；m为上一层的神经元个数；a、b和ε为归一化层的系数；y'是归一层的输出值。

Images