CN112202196B - 一种双馈风力发电机的量子深度强化学习控制方法 - Google Patents

Abstract

本发明提供一种双馈风力发电机的量子深度强化学习控制方法，该方法能解决电网故障切除后以及在电网电压不对称骤升时的双馈风力发电机定子磁链变化的控制问题。所提方法为贝叶斯量子反馈控制、深度学习和强化学习结合的控制方法。贝叶斯量子反馈控制过程分为状态估计和反馈控制两步，且反馈的输入为历史测量和当前测量记录。贝叶斯量子反馈能有效控制固态量子比特中的消相干。深度学习部分采用卷积神经网络模型和反向传播方法。强化学习部分利用基于马尔科夫决策过程的Q学习作为所提方法整体的控制框架。本发明所提方法能有效提升双馈风力发电机的控制稳定性，提高风能利用效率。

Description

一种双馈风力发电机的量子深度强化学习控制方法

技术领域

本发明属于电力系统新能源风力发电调度与控制领域，涉及一种量子反馈法与人工智能算法相结合的新型控制方法，适用于电力系统双馈风力发电机的控制。

背景技术

随着电力系统新能源发电的不断应用，风力发电在电力系统的运用也变得广泛。双馈风力发电机作为风力发电的主要工作装置，在电力系统发电系统中发挥出了强大作用。但在实际生产应用中，依然存在一些问题，如果这些问题不及时得以解决，将会严重影响到发电机的正常工作。现有研究大多集中于电网故障发生伊始至切除期间的双馈风力发电机的电磁暂态分析，而往往忽视电网故障切除后其定子磁链的变化。

传统的双馈风力发电机控制方法大多仅采用了深度学习的方式进行机器学习，能够使发电机通过提供的数据进行自主学习，针对各种运行状态做出智能动作，能满足一般的工程实际问题，但是在只能提供有限数据量的应用场景下，仅靠深度学习不能够对数据的规律进行无偏差的估计。为了达到很好的精度，需要大数据支撑。同时由于深度学习中图模型的复杂化导致算法的时间复杂度急剧提升，为了保证算法的实时性，需要更高的并行编程技巧和更多更好的硬件支持。

为了控制电网故障后双馈风力发电机定子磁链变化和整体运行状态，防止产生故障后发电机失步等问题，本发明提出了一种双馈风力发电机的量子深度强化学习控制方法。目前有关深度、强化学习的人工智能算法在电力系统发电中逐步崭露头角，特别是深度学习中的卷积、循环人工神经网络模型的反向传播算法、强化学习中的Q学习都备受研究者关注，而量子反馈控制又是现代发电技术中较为前沿的部分，三者相互配合，应用到电力系统风力发电问题中，稳定故障后定子磁链变化。

发明内容

本发明提出一种双馈风力发电机的量子深度强化学习控制方法。该方法与传统发电调度与控制框架不同，量子深度强化学习控制方法同时考虑了深度学习、强化学习、贝叶斯量子反馈控制三者。基于贝叶斯量子反馈对双馈风力发电机的历史测量和当前测量记录进行实时估计，系统经过卷积神经网络的反向传播算法进行深度学习，最后通过Q学习对整个学习后的控制决策进行最佳优化，以故障后定子磁链变化量作为输入，以双馈风力发电机的控制指令作为输出，无需其他的调度指令。

一种双馈风力发电机的量子深度强化学习控制方法，采用的卷积神经网络优点在于，其无需进行数据的预处理，可以直接将数据从输入层进行输入，再利用有监督的学习对整个网络进行训练。网络中的神经元的数据类型均为布尔型。

深度学习使用的反向传播算法具体过程如下：首先，将单个样本进行前向计算，从而得出每一层网络的节点输出。之后计算一层中每个节点的误差，而对于输出输出层的节点，可以通过计算训练样本的实际值和最终输出值的差为依据，对于隐含层来说，可以利用下一层的节点误差来计算，反向传播的目的是最终使得误差减小到可以接受的程度，具体细节如下：

对于输出层，有：

o_k＝f(net_k) k＝1,2,…,L (1)

对于隐含层，有：

y_j＝f(net_j) j＝1,2,…,M (3)

上面两式的转移函数f(x)都是单极性Sigmoid函数：

f'(x)＝f(x)[1-f(x)] (6)

误差E的来源就是实际实际输出和期望输出的差值即：

根据式(7)式将误差E展开到隐含层为：

根据式(8)式将误差E进一步展开至输入层为：

式中d_k代表输出层期望输出向量元素，O_k代表输出层的实际输出元素，x_i代表输入层向量元素，y_j代表隐含层输出向量元素，net_k代表输出层的输出向量元素，w_jk代表隐含层到输出层的权值矩阵元素，v_ij代表输入层到隐含层的权值矩阵元素。

根据以上公式可以看出，误差表达式已经全部代入，权值w和v都在其中。将w和v取合适的值可以使误差E的值达到最小。对w和v求偏导：

对输出层的权值调整量：

对隐含层的权值调整量：

式中负号代表梯度下降，η代表学习系数。

对于输出层，根据式(4)式可得：

对于隐含层，根据式(5)式可得：

在此定义一个误差信号err：

则输出层权值向量的调整写为：

隐含层权值向量的调整写为：

根据式(16)、(17)可知，仅需要求出err就可以求出最后的权值调整量，下面求解err：

对于输出层，根据式(1)、(14)使用链式求导法则：

对于隐藏层，根据式(3)、(15)使用链式求导法则：

对于输出层，式(7)可得：

对于输出层，根据式(8)可得：

将式(20)、(21)分别代入式(18)、(19)，同时根据式(6)可得：

根据式(22)、(23)代入权值调整公式即式(16)、(17)：

根据式(24)、(25)得到卷积神经网络的权值调整表达式，从上式可知输出层和隐藏层的权值调节过程，调节过程和三个因素有关即：学习率η，本层输出的误差信号err以及本层的输入信号x或y，其中输出层的误差信号与网络的期望输出和实际输出之差有关，直接反映了输出误差。而隐藏层的误差信号与前面各层的误差信号均有关，均是从输出层反向传播，实际上输出层的权值调整是期望和真实信号的差值，乘上学习率η和输出层的输入信号(隐藏层的输出信号)，对于隐藏层的权值调整不仅和当前隐藏层的输出信号有关，还和输出层的误差信号有关。如果是多个隐藏层，那么隐藏层的信号都会和输出层的误差信号err有关，也就是说是通过输出层的误差信号err反向传播到各层。

强化学习，包括一个智能体、一组状态和一组每个状态的操作。通过执行一个动作，智能体从一个状态转换为另一个状态。在特定的状态下执行一个动作会为代理提供一个奖励。代理人的目标是使其总报酬最大化，它通过在实现当前状态的奖励基础上增加未来状态可获得的最大奖励，从而通过潜在的未来奖励有效地影响当前的行为。这个潜在的奖励是从当前状态开始的所有未来步骤的奖励的期望值的加权和。

强化Q学习，基于马尔可夫决策，是强化学习算法中value-based算法，Q即为Q(s,a)，就是在某一时刻的s状态下，采取动作a能够获得收益的期望，环境会根据agent，即双馈风力发电机的动作反馈相应的回报reward。故此算法的主要思想是将State即状态和Action动作构建成一张Q-table来存储Q值，然后根据Q值来选取能够获得最大收益的动作。对于任何有限马尔可夫决策过程(FMDP)，Q学习发现一个策略是最优的，从这个意义上来说，它从当前状态开始，在所有连续的步骤中最大化回报的期望值。Q学习可以为任意给定的双馈风力发电机，给定无限的搜索时间和部分随机的策略确定最优的行动选择策略。Q学习常用的控制函数有V函数和Q函数。

当控制系统稳定的条件下，贝尔曼形式的V函数可以表示为：

V_U(x(t))＝cost(x(t),U_x(t))+γV(x(t+1)) (26)

表达的含义为任一控制策略U下，当前状态的价值函数，等于下一状态的价值函数与当前状态转换到下一状态的代价。

当控制系统稳定的条件下，根据定义，Q函数可表达为：

Q_U(x(t),u)＝cost(x(t),u)+γV(x(t+1)) (27)

表达含义为一个状态行为对的价值，等于下一状态的价值函数与当前状态转换到下一状态的代价。式中u并非必须选择对应于控制策略U的输出，这个公式可以权衡任一输出对应的状态行为对的价值。

量子反馈方面，引入哈密顿量概念。哈密顿量主要应用于量子力学中，在大多数情况下对应于系统总能量的运算符。在经典的马尔可夫量子反馈采用的是直接反馈方式，所用的反馈信息是当前测量的所得结果，并立即用于反馈来改变系统的哈密顿量，对系统以前的数据没有加以利用。而在贝叶斯量子反馈控制的控制过程分为状态估计和反馈控制两步，前者是根据测量结果和已有数据对系统当前状态进行尽可能好的估计，反馈控制是应用状态估计信息、计算选择合适的输入来影响系统的行为。假设有两个特征态1和2，则ρ_ij则代表量子比特在状态i下的概率，有ρ₁₁+ρ₂₂＝1，而ρ₁₂和ρ₂₁代表量子相干；采用贝叶斯量子反馈形式，有状态演化方程：

式中I(t)为探测器输出电流，H为哈密顿量，ΔI为两量子点之间电流差，ε是表征两量子点能量不对称的量，S₀为探测器平均噪声，

为消相干率。

同时，此量子反馈还附加了量子优化算法对反馈效果进行优化，常见的量子优化算法有Shor算法，其主要是通过变换函数f(x)的周期问题，具体算法如下：

(1)准备两个具有

的量子寄存器，即

(2)在第二个存储器中计算aⁿ(modN)，为

(3)对第二个存储器作投影测量，即

|u><u|＝|aⁿ(modN)><aⁿ(modN)| (30)

得到

(4)进行傅里叶变换

(5)对

进行测量与分析式中|ψ>代表的是量子比特的叠加状态，|n>、|0>等是几种表示量子比特基本状态的基本微粒，N为待分解整数(大奇数)，a是小于N且与N互素的随机正整数，r为函数周期，l、m为小于r的整数。

附图说明

图1是本发明方法的深度学习卷积神经网络结构图。

图2是本发明方法的强化Q学习流程图。

图3是本发明整体框架。

具体实施方式

本发明提出的一种双馈风力发电机的量子深度强化学习控制方法，结合附图详细说明如下：

图1是本发明的深度学习卷积神经网络结构图。该结构主要由输入层、卷积层、池化层和输出层组成。本发明的深度学习采用反向传播算法进行训练，此方法能够将前向传播神经网络计算出来的结果(预测结果)和真实标签(z)进行比较，得出误差，然后利用反向传播的误差，计算各个神经元(权重)的导数，开始反向传播修改各自的权重。具体步骤为，输入层输入起始的输入值和权值系数、偏置等参数，将输入值和权值系数相乘，加上偏置，得到的数据在卷积层进行局部感知，然后更高层次对局部进行操作，从而得到全局信息。数据进入激活层后，激活函数使用ReLU进行处理，再进入池化层减小过拟合，提高模型容错性，最后进入输出层得到结果，此结果和真实标签进行比较，得到误差。运用链式求导法则计算每个神经元对其权重和偏置的偏导数，对应为权重和偏置的梯度，从而得到该神经元激活函数的梯度。之后反向计算每个神经元的误差，任意一层的一个神经元的误差是所有与该神经元相连的上一层神经元的误差权重和，再乘上该神经元激活函数的梯度。根据误差相应调整每个神经元的权重使得误差尽量最小。

图2是本发明方法的强化Q学习流程图。强化学习的目的是为了优化深度学习的训练效果，让机器动作更为准确而高效，从而做出最佳的决策，从图中可以看出系统从初始状态S1开始，之后每一次动作就会持续更新对应的Q值，即更新了Q表，对于最佳的增益，系统将会在之后的操作中维持此动作顺序。要实现这一点可以使用贝尔曼方程，通过贝尔曼方程求解马尔科夫决策过程的最佳决策序列，状态值函数

可以评价当前状态的好坏，每个状态的值不仅由当前状态决定还要由后面的状态决定，所以状态的累计奖励求期望就可以得出当前s的状态值函数

将每个动作的状态函数值做成Q表，就能实现目标机器的最佳动作决策。Q学习常用的控制函数有V函数和Q函数。

图3是本发明整体框架。风机参数首先进入贝叶斯反馈控制，其闭环控制将运行数据达到稳定后作为深度学习的输入值，纳入卷积神经网络进行参数训练，系统得到理想的学习效果后，将待优化的数据投入强化学习中进行最优处理，对风机整个动作调整过程进行最佳决策。控制系统通过贝叶斯量子反馈控制，将风机参数不断实时测量更新。同时系统数据将作为深度学习的输入参数，给予卷积神经网络以参数训练，将误差调整至最小允许值，随即调节权值，以达到理想的学习效果。所得的输出值传递到强化学习Q学习，针对风机每一个动作的增益，根据贝尔曼方程，绘制出Q表，从而优化整个控制方法。

Claims (1)

1.一种双馈风力发电机的量子深度强化学习控制方法，其特征在于，其决策依赖于当前的状态和评价，实现实时决策；此方法能反映双馈风力发电机输入输出数据，即长期运行数据和故障后的定子磁链变化数据；当所提方法进行充分训练后，根据任一当前状态获得输出动作；该方法在使用过程中的步骤为：

(1)存储多组双馈风力发电机的长期运行数据和不同情况下的定子磁链变化情况的数据；

(2)从步骤(1)得到的数据中进行提取，采用提取到的数据对量子深度强化学习控制方法进行训练；

(3)利用实时数据在量子深度强化学习控制方法中进行计算，得到双馈风力发电机的实时控制指令；

此方法包含贝叶斯量子反馈控制、深度学习和强化学习三个过程；

贝叶斯量子反馈过程分为状态估计和反馈控制；状态估计是根据双馈风力发电机的输出结果和已有知识对系统当前状态进行最优估计，反馈控制是利用双馈风力发电机的状态估计信息、计算选择合适的输入来影响系统的行为；消相干是量子系统的一种性质，指量子态由于环境相互作用引起的量子态的量子相干性；在抑制量子比特消相干过程中，量子比特被一个弱相互作用的探测器连续测量，测量值被代入特定的演化方程来监视量子比特密度矩阵的演化，这一演化与期望演化比较，其中的误差被用来产生反馈信号控制量子比特参数，目的是减少与期望量子比特状态之间的差异，从而抑制消相干，提升反馈性能；假设有两个特征态1和2，则ρ_ij则代表量子比特在状态i下的概率，有ρ₁₁+ρ₂₂＝1，而ρ₁₂和ρ₂₁代表量子相干；采用贝叶斯量子反馈形式，有状态演化方程：

式中I(t)为探测器输出电流，H为哈密顿量，ΔI为两量子点之间电流差，ε是表征两量子点能量不对称的量，S₀为探测器平均噪声，

为消相干率；

所述的深度学习采用卷积神经元网络模型下的反向传播方法；反向传播方法使卷积神经网络中的权值参数和偏置参数与实际值之间的残差从输出层向隐含层反向传播直至传播到输入层，在反向传播的过程中，根据误差结果按照使误差减小最快的方向调整直至收敛度和精度满足要求为止；其求解误差的步骤公式如下：

误差E的来源就是实际输出和期望输出的差值，即：

根据上式将误差E展开到隐含层为：

根据上式将误差E进一步展开至输入层为：

式中d_k代表输出层期望输出向量元素，O_k代表输出层的实际输出元素，x_i代表输入层向量元素，y_j代表隐含层输出向量元素，net_k代表输出层的输出向量元素，w_jk代表隐含层到输出层的权值矩阵元素，v_ij代表输入层到隐含层的权值矩阵元素；

根据求得误差得到权值调整公式，即：

从上式知输出层和隐藏层的权值调节过程，调节过程和三个因素有关即：学习率η，本层输出的误差信号err以及本层的输入信号x或y，其中输出层的误差信号与网络的期望输出和实际输出之差有关，直接反映输出误差；

所述的强化学习采用的Q学习基于马尔科夫决策过程，即下一时刻状态仅与当前状态有关，而与前序状态无关；系统在环境中收集初始状态，然后基于目前的状态采取相应的动作，同时会获得相应的奖励，接着进入下一个状态，之后循环往复，系统根据每次动作获得的奖励生成一个全面的Q值表，以此记录获得最大奖励的动作流程，实现最佳决策；贝叶斯量子反馈与深度、强化学习相配合，系统进行海量数据训练后，从环境中获取状态信息，并将实时双馈风力发电机的运行状态映射到相应控制指令上，提高双馈风力发电机的控制反馈效果，提升故障后定子磁链的稳定性；强化学习的Q值被更新为：

Q(s,a)＝Q(s,a)+α[r+γargmax_a'Q(s',a')-Q(s,a)]

式中Q(s,a)代表当前状态的平均奖赏值；s代表当前状态，a代表当前动作；s'代表在状态s下执行动作a后达到的下一状态；a'代表下一状态的动作；r+γargmax_a'Q(s',a')代表得到的最优预测累计奖赏值；任一控制策略下，当前状态的价值函数，等于下一状态的价值函数与当前状态转换到下一状态的代价。

Images