CN108448594B - 微电网频率自适应学习控制方法 - Google Patents

微电网频率自适应学习控制方法 Download PDF

Info

Publication number
CN108448594B
CN108448594B CN201810179648.8A CN201810179648A CN108448594B CN 108448594 B CN108448594 B CN 108448594B CN 201810179648 A CN201810179648 A CN 201810179648A CN 108448594 B CN108448594 B CN 108448594B
Authority
CN
China
Prior art keywords
neural network
matrix
micro
network model
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810179648.8A
Other languages
English (en)
Other versions
CN108448594A (zh
Inventor
王鼎
张启超
赵博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201810179648.8A priority Critical patent/CN108448594B/zh
Publication of CN108448594A publication Critical patent/CN108448594A/zh
Application granted granted Critical
Publication of CN108448594B publication Critical patent/CN108448594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明属于微电网频率控制技术领域，具体涉及一种微电网频率自适应学习控制方法。旨在解决现有技术无法有效地调节微电网的频率和提高微电网频率的稳定性的问题。本发明提供一种微电网频率自适应学习控制方法，包括基于预先获取的微电网系统的第一状态参数，计算微电网系统的第二状态参数；根据第二状态参数和预先构建的第一神经网络模型计算微电网系统的控制矩阵、扰动矩阵；根据第二状态参数计算微电网系统的效用函数；根据效用函数计算微电网系统的代价函数；基于第二状态参数、控制矩阵、扰动矩阵、效用函数以及代价函数，采用自适应动态规划方法计算微电网系统频率的最优控制律。本发明的方法能够有效地提高微电网系统的频率稳定性。

Description

微电网频率自适应学习控制方法
技术领域
本发明属于微电网频率控制技术领域，具体涉及一种微电网频率自适应学习控制方法。
背景技术
在现代电力系统中，微电网已经成为不可或缺的一部分，微电网是指由分布式电源、储能装置、能量转换装置、负荷、监控和保护装置等组成的小型发配电系统。开发和延伸微电网能够充分促进分布式电源与可再生能源的大规模接入，实现对负荷多种能源形式的高可靠供给，是实现主动式配电网的一种有效方式，使传统电网向智能电网过渡。但是分布式和可再生能源融入微电网将不可避免地会影响微电网的稳定性，特别是负载消耗和发电的不平衡，将导致微电网的频率出现偏差甚至危及微电网的稳定性。由于微电网相对于传统大电网规模较小，系统惯性和冗余度较低，因此，如何提高微电网频率的稳定性已经成为现代电力系统发展的重要问题。
在控制理论与工程中，当被控对象的参数不确定或被控对象受到扰动时，鲁棒性是评估控制器性能的重要标准。由于微电网中一般含有多种分布式电源，这些分布式电源的随机性会给系统造成一定的干扰，且微电网系统的非线性会对系统鲁棒性造成影响。为了提高微电网的稳定性，一些鲁棒控制方法应运而生，例如，模糊控制方法和滑模控制方法等，但是现有技术的方法针对微电网系统在受到扰动情况下的控制问题，获取一般非线性系统的解析解是很困难的，无法有效地调节微电网的频率和提高微电网频率的稳定性。
因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术难以获取非线性系统的解析解导致无法有效地调节微电网的频率和提高微电网频率的稳定性的问题，本发明提供了一种微电网频率自适应学习控制方法，所述方法包括：
基于预先获取的微电网系统的第一状态参数，计算所述微电网系统的第二状态参数；
根据所述第二状态参数和预先构建的第一神经网络模型计算所述微电网系统的控制矩阵、扰动矩阵；根据所述第二状态参数计算所述微电网系统的效用函数；根据所述效用函数计算所述微电网系统的代价函数；
基于所述第二状态参数、控制矩阵、扰动矩阵、效用函数以及代价函数，采用自适应动态规划方法计算所述微电网系统频率的最优控制律。
在上述方法的优选技术方案中，“根据所述第二状态参数和预先构建的第一神经网络模型计算所述微电网系统的控制矩阵、扰动矩阵”，其方法包括：
步骤S21：根据所述第二状态参数和预先构建的第一神经网络模型计算所述微电网系统的第一状态方程，所述第一状态方程为：
Figure BDA0001588388590000021
其中，A为神经网络模型的预先稳定矩阵，x(t)＝[x1(t),x2(t),x3(t)]T，x1(t)＝Δξf(t)，x2(t)＝Δξt(t)，x3(t)＝Δξp(t)，ωm表示所述第一神经网络模型的隐层-输出层的理想权值矩阵，
Figure BDA0001588388590000022
表示所述第一神经网络模型的激励函数，
Figure BDA0001588388590000023
表示所述第一神经网络模型的输入量，υ(t)表示由负载变化引起的微电网系统干扰，u(t)表示微电网系统的控制信号，
Figure BDA0001588388590000024
表示第一重构误差；
步骤S22：随机初始化所述第一神经网络模型的输入层-隐层的理想权值矩阵，计算所述微电网系统的第二状态方程，所述第二状态方程为：
Figure BDA0001588388590000025
其中，
Figure BDA0001588388590000026
是所述第一神经网络模型的隐层-输出层的理想权值矩阵ωm在t时刻的估计值，
Figure BDA0001588388590000027
表示对微电网系统状态的估计，
Figure BDA0001588388590000028
vm表示输入层-隐层的理想权值矩阵；
步骤S23：根据所述第一状态方程和所述第二状态方程，计算所述第一神经网络模型的状态估计误差的动态方程，所述状态估计误差的动态方程为：
Figure BDA0001588388590000031
Figure BDA0001588388590000032
表示所述第一神经网络模型的权重估计误差，
Figure BDA0001588388590000033
表示所述第一神经网络模型的状态估计误差；
步骤S24：根据逼近理论，在所述第一重构误差任意小时，计算所述微电网系统的第三状态方程，分别对所述第三状态方程的微电网系统的控制信号u(t)和微电网系统干扰υ(t)求偏导，得到所述微电网系统的控制矩阵、扰动矩阵；其中，所述微电网系统的第三状态方程为：
Figure BDA0001588388590000034
所述控制矩阵为：
Figure BDA0001588388590000035
所述扰动矩阵为：
Figure BDA0001588388590000036
其中，
Figure BDA0001588388590000037
表示lm维的方阵，Im为与控制维数相同的单位矩阵，Iq为与干扰维数相同的单位矩阵。
在上述方法的优选技术方案中，所述预先构建的第一神经网络模型包括(n+m+q)个输入层神经元，lm个隐层神经元，n个输出层神经元，学习率为αm(αm＞0)，激励函数为
Figure BDA0001588388590000038
输入层-隐层的理想权值矩阵为
Figure BDA0001588388590000039
隐层-输出层的理想权值矩阵为
Figure BDA00015883885900000310
n、m、q分别表示状态、控制、干扰向量的维数。
在上述方法的优选技术方案中，计算所述效用函数其方法如下公式所示：
U(x,t)＝xT(t)Qx(t)+uT(t)u(t)-ρ2υT(t)υ(t)
其中，U(x,t)表示所述微电网系统的效用函数，Q是n×n实矩阵空间的正定矩阵，ρ是微电网系统干扰的性能系数。
在上述方法的优选技术方案中，“根据所述效用函数计算所述微电网系统的代价函数”，其方法如下公式所示：
Figure BDA0001588388590000041
其中，J(x,t)表示所述微电网系统的代价函数。
在上述方法的优选技术方案中，所述第一状态参数包括所述微电网系统的水轮机时间常数Tt、调速器时间常数Tg、电力系统常数Tp、电力系统增益kp、调速系数sp；所述第二状态参数包括所述微电网系统的频率偏差Δξf(t)、水轮机功率偏差Δξt(t)以及调速器位置偏差Δξp(t)。
在上述方法的优选技术方案中，“计算所述微电网系统的第二状态参数”之后，该方法还包括构建所述微电网系统的仿真模型，构建方法如下公式所示：
Figure BDA0001588388590000042
Figure BDA0001588388590000043
Figure BDA0001588388590000044
其中，
Figure BDA0001588388590000045
分别表示所述微电网系统的频率偏差Δξf(t)、水轮机功率偏差Δξt(t)以及调速器位置偏差Δξp(t)的导数。
在上述方法的优选技术方案中，“计算所述微电网系统频率的最优控制律”，其方法包括：
步骤S31：通过预先构建的第二神经网络模型重新计算所述代价函数，得到第一代价函数，所述第一代价函数为：
Figure BDA0001588388590000046
其中，
Figure BDA0001588388590000047
表示所述预先构建的第二神经网络模型的隐层-输出层的理想权值矩阵，
Figure BDA0001588388590000048
表示所述预先构建的第二神经网络模型的激励函数，
Figure BDA0001588388590000049
表示第二重构误差；
步骤S32：基于所述第二神经网络模型的训练隐层-输出层的权值矩阵更新所述第一代价函数，得到第二代价函数，并计算所述第二代价函数的梯度向量，所述第二代价函数为：
Figure BDA00015883885900000410
所述第二代价函数的梯度向量为：
Figure BDA00015883885900000411
其中，
Figure BDA0001588388590000051
表示所述第二神经网络模型的训练隐层-输出层的权值矩阵，
Figure BDA0001588388590000052
表示所述第二神经网络模型的激励函数的梯度向量；
步骤S33：根据所述第一代价函数和所述第二代价函数的梯度向量计算所述微电网系统频率的最优控制律，计算方法如下公式所示：
Figure BDA0001588388590000053
在上述方法的优选技术方案中，所述预先构建的第二神经网络模型包括n个输入层神经元，lc个隐层神经元，1个输出层神经元，学习率为αc(αc＞0)，激励函数为
Figure BDA0001588388590000054
输入层-隐层的权值均为1，隐层-输出层的理想权值矩阵为
Figure BDA0001588388590000055
在上述方法的优选技术方案中，“计算所述微电网系统频率的最优控制律”之前，该方法还包括基于梯度下降算法调整所述预先构建的第二神经网络模型的权值，所述梯度下降算法具体如下公式所示：
Figure BDA0001588388590000056
其中，
Figure BDA0001588388590000057
表示lc维的列向量，
Figure BDA0001588388590000058
表示最小化目标函数，
Figure BDA0001588388590000059
表示控制信号的近似值，
Figure BDA00015883885900000510
表示微电网系统干扰的近似值，
Figure BDA00015883885900000511
表示隐层-输出层的理想权值矩阵的近似值。
与最接近的现有技术相比，本发明提供一种微电网频率自适应学习控制方法，包括基于预先获取的微电网系统的第一状态参数，计算微电网系统的第二状态参数；根据第二状态参数和预先构建的第一神经网络模型计算微电网系统的控制矩阵、扰动矩阵；根据第二状态参数计算微电网系统的效用函数；根据效用函数计算微电网系统的代价函数；基于第二状态参数、控制矩阵、扰动矩阵、效用函数以及代价函数，采用自适应动态规划方法计算微电网系统频率的最优控制律。
上述技术方案至少具有如下有益效果：
1、本发明的技术方案通过重构微电网系统的控制矩阵和扰动矩阵，可以将微电网系统的状态误差收敛至期望值，存在干扰和不确定项的情况下，改善了微电网频率调节克服干扰和不确定性的性能；
2、采用自适应动态规划方法设计微电网系统的频率控制器可以对微电网系统的频率进行自适应调节，消除微电网系统的频率偏差，有效地提高了微电网系统的频率稳定性。
附图说明
图1为本发明一种实施例中微电网系统的结构示意图；
图2为本发明一种实施例中微电网频率自适应学习控制方法的流程示意图；
图3为本发明一种实施例中微电网频率自适应学习控制方法的结构示意图；
图4为本发明一种实施例中预先构建的第二神经网络模型的权值向量的收敛图；
图5为本发明一种实施例中第二状态参数的响应图线图；
图6为本发明一种实施例中微电网频率自适应学习控制方法的控制输入和比率函数图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明采用一种微电网频率自适应控制方法，该方法建立在贝尔曼方程之上，以动态规划为基础，利用函数近似结构(例如神经网络)来近似哈密顿-雅可比-贝尔曼方程的解，采用离线迭代或者在线更新的方法，来获得系统的近似最优控制策略，从而能够有效地解决非线性系统的优化控制问题。自适应动态规划融合了强化学习思想和自适应评估机制，一方面，在学习原理上，它通过强化学习的试错法则模拟人类思考、学习方式，即通过与外界环境交互，在成功和失败的过程中积累决策经验；另一方面，在最优决策求解问题上，它利用自适应评估机制，通过一个函数近似结构，例如神经网络来评估代价函数、求解最优解。自适应动态规划是传统优化控制设计的智能实现，特别是对于具有非线性和不确定性的复杂系统更加有效。
参阅附图1，图1示例性的给出了本实施例中微电网系统的结构示意图，为了说明的简洁方便，本发明的技术方案实施例中微电网系统包括常规发电机(微型涡轮机)、智能家居和负载，但是本发明的微电网系统并不只局限于包括上述内容。如图1所示，微电网系统的所有信号都可以通过分布式传感器进行测量，然后通过通信介质传输到微电网系统的智能电网管理中心，其中，图1中虚线表示通过通信信道组件的信号传输，智能电网管理中心进行数据处理后生成控制信号，并将控制信号发送回微电网系统中的每个参与单元，如智能家居、负载和微型燃气轮机等，以保证每个参与单元频率的稳定性。
参阅附图2，图2示例性地给出了本实施例中微电网频率自适应学习控制方法的流程示意图，本发明实施例包括下述步骤：
步骤S1：基于预先获取的微电网系统的第一状态参数，计算所述微电网系统的第二状态参数；
在本发明实施例中，第一状态参数包括所述微电网系统的水轮机时间常数Tt、调速器时间常数Tg、电力系统常数Tp、电力系统增益kp、调速系数sp；所述第二状态参数包括所述微电网系统的频率偏差Δξf(t)、水轮机功率偏差Δξt(t)以及调速器位置偏差Δξp(t)；在实际应用中，微电网频率偏差Δξf(t)，水轮机功率偏差Δξt(t)，调速器位置偏差Δξp(t)均满足动力学方程，计算出第二状态参数之后，本发明实施例的技术方案还包括构建所述微电网系统的仿真模型，构建方法具体如公式(1)-(3)所示：
Figure BDA0001588388590000071
Figure BDA0001588388590000072
Figure BDA0001588388590000073
其中，Δξf(t)还受到微电网系统干扰υ(t)的影响，这里
Figure BDA0001588388590000074
表示由负载变化引起的微电网系统干扰，
Figure BDA0001588388590000075
代表所有的实数集，微电网系统的控制信号u(t)作用到调速器的位置调节阀上，调速器位置偏差Δξp(t)还与微电网系统的控制信号u(t)有关，
Figure BDA0001588388590000081
定义
Figure BDA0001588388590000082
Figure BDA0001588388590000083
为状态向量，
Figure BDA0001588388590000084
是欧几里得空间上所有的三维实向量，“T”表示转置运算。微电网系统频率调节的状态方程如公式(4)所示：
Figure BDA0001588388590000085
其中，g(x)为控制矩阵，h(x)为干扰矩阵，状态向量x(t)是n维的，本发明实施例中n＝3；控制信号u(t)是m维的，本发明实施例中m＝1；干扰信号υ(t)是q维的，本发明实施例中q＝1，本发明实施例中，上述参数的值除了给出的值外，还可以有其他取值，本发明在此不做限定。将上述微电网系统的状态空间方程调整为如公式(5)所示：
Figure BDA0001588388590000086
其中，
Figure BDA0001588388590000087
Asg为系统矩阵。
设定t＝0时的初始状态为x(0)＝x0，在实施控制方法后，在某个t≠0的时刻x＝0，微电网系统的频率偏差Δξf＝0，水轮机功率偏差Δξt＝0，调速器位置偏差Δξp＝0，此时达到微电网系统的频率调节目标。
步骤S2：根据所述第二状态参数和预先构建的第一神经网络模型计算所述微电网系统的控制矩阵、扰动矩阵；根据所述第二状态参数计算所述微电网系统的效用函数；根据所述效用函数计算所述微电网系统的代价函数；
参阅附图3，图3示例性地给出了微电网频率自适应学习控制方法的结构示意图，步骤S2具体包括以下步骤：
步骤S21：根据所述第二状态参数和预先构建的第一神经网络模型计算所述微电网系统的第一状态方程，所述第一状态方程如公式(6)所示：
Figure BDA0001588388590000088
其中，
Figure BDA0001588388590000091
表示第一神经网络模型的输入向量，
Figure BDA0001588388590000092
是第一重构误差；
基于所述激活函数σm(·)，对任何
Figure BDA0001588388590000093
或者相同维度的向量ξa和ξb，存在一个常数λ0(λ0＞0),使得：
σm(a)-σm(b)≤λ0(a-b) (7)
||σm(ξa)-σm(ξb)||≤λ0||ξa-ξb|| (8)
式中||·||代表在
Figure BDA0001588388590000094
上的向量范数或者是在
Figure BDA0001588388590000095
上的矩阵范数。
步骤S22：随机初始化所述第一神经网络模型的输入层-隐层的理想权值矩阵，计算所述微电网系统的第二状态方程，所述第二状态方程如公式(9)所示：
Figure BDA0001588388590000096
其中，
Figure BDA0001588388590000097
是理想权值ωm在t时刻的估计值，
Figure BDA0001588388590000098
是对微电网系统状态的估计，
Figure BDA0001588388590000099
步骤S23：根据所述第一状态方程和所述第二状态方程，计算所述第一神经网络模型的状态估计误差的动态方程，所述状态估计误差的动态方程如公式(10)所示：
Figure BDA00015883885900000910
步骤S24：根据逼近理论，在所述第一重构误差任意小时，说明神经网络学习到的微电网系统模型能够较好地体现微电网系统的实际状态，计算所述微电网系统的第三状态方程，分别对所述第三状态方程的微电网系统的控制信号u(t)和微电网系统干扰υ(t)求偏导，得到所述微电网系统的控制矩阵、扰动矩阵；其中，所述微电网系统的第三状态方程如公式(11)所示：
Figure BDA00015883885900000911
公式(11)表示微电网系统的状态导数信息，分别对u(t)和υ(t)的求偏导，结果分别如公式(12)和公式(13)所示：
Figure BDA00015883885900000912
Figure BDA00015883885900000913
式中
Figure BDA0001588388590000101
是一个lm维的方阵，Im为与控制维数相同的单位矩阵，Iq为与干扰维数相同的单位矩阵；上式中的两个公式重构了微电网系统的控制矩阵和扰动矩阵的信息，这里的控制矩阵和扰动矩阵均为近似值，为了方便起见使用上式中的符号；根据神经网络万能逼近定理，只要隐藏层节点lm的数量足够大，重构误差εm(t)可以是任意小的；通常认为理想权值矩阵是有界的，也就是
Figure BDA0001588388590000102
和
Figure BDA0001588388590000103
其中
Figure BDA0001588388590000104
和
Figure BDA0001588388590000105
是||ωm||和||νm||的上确界，且都是正数；重构误差εm满足
Figure BDA0001588388590000106
Figure BDA0001588388590000107
其中
Figure BDA0001588388590000108
是正数，由此可知，使用公式(9)来估计状态
Figure BDA0001588388590000109
并且由
Figure BDA00015883885900001010
调整权值矩阵，则状态估计误差
Figure BDA00015883885900001011
能收敛到期望值，表明此时神经网络较好地学习到微电网系统的模型，状态误差动态
Figure BDA00015883885900001012
渐近稳定。最优代价函数在实际中很难求得，因此采用近似方法进行求解。基于神经网络学习到的微电网系统的模型，能够更好地体现微电网系统的实际状态，并减少控制算法对于系统模型的依赖，后期通过自适应动态规划方法能够更为准确地计算出最优控制律。
在本发明实施例中，预先构建的第一神经网络模型包含(n+m+q)个输入层神经元，lm个隐层神经元，n个输出层神经元，学习率αm(αm＞0)，激励函数
Figure BDA00015883885900001013
给出输入层-隐层的理想权值矩阵
Figure BDA00015883885900001014
隐层-输出层的理想权值矩阵
Figure BDA00015883885900001015
预先构建的第二神经网络模型包括n个输入层神经元，lc个隐层神经元，1个输出层神经元，学习率为αc(αc＞0)，激励函数为
Figure BDA00015883885900001016
输入层-隐层的权值均为1，隐层-输出层的理想权值矩阵为
Figure BDA00015883885900001017
在本发明实施例的一种优选的实施方式中，由调节状态和控制量定义的微电网系统的效用函数如公式(14)所示：
U(x,t)＝xT(t)Qx(t)+uT(t)u(t)-ρ2υT(t)υ(t) (14)
其中，式中Q是n×n实矩阵空间的正定矩阵，ρ是自适应H∞性能系数；
在本发明实施例的一种优选的实施方式中，用微电网系统的效用函数进一步构成其代价函数，如公式(15)所示：
Figure BDA00015883885900001018
式中J(x,t)表示微电网系统在时刻t的代价函数。
步骤S3：基于所述第二状态参数、控制矩阵、扰动矩阵、效用函数以及代价函数，采用自适应动态规划方法计算所述微电网系统频率的最优控制律。
具体地，由于代价函数是连续可微的，如公式(16)所示进行定义：
Figure BDA0001588388590000111
其中
Figure BDA0001588388590000112
表示梯度；
为保证微电网系统的频率稳定，应用贝尔曼最优性原理，最优控制律可以通过
Figure BDA0001588388590000113
得到，具体地如公式(17)所示：
Figure BDA0001588388590000114
解出最优控制律u*(t)如公式(18)所示：
Figure BDA0001588388590000115
其中，
Figure BDA0001588388590000116
表示最优代价J*(x,t)的梯度。相应的，可以求得最坏情形的干扰如公式(19)所示：
Figure BDA0001588388590000117
结合公式(18)和公式(19)可得如公式(20)所示结果：
Figure BDA0001588388590000118
由于最优代价函数J*(x,t)在实际中很难求得，这里采用自适应动态规划方法，近似求解微电网频率H∞控制问题中的最优控制律u*(t)。
设计自适应动态规划方法的评价神经网络，其中，评价神经网络即为预先构建第二神经网络模型，估计微电网系统的最优代价函数J*(x,t)；评价网络包含n个输入层神经元，lc个隐层神经元，1个输出层神经元，学习率αc(αc＞0)，激励函数
Figure BDA0001588388590000119
输入层-隐层的权值均为1，隐层-输出层之间的理想权值矩阵记为
Figure BDA00015883885900001110
通过评价神经网络来重构代价函数J*(x,t)如公式(21)所示：
Figure BDA00015883885900001111
式中J*(x,t)是最优代价函数，
Figure BDA0001588388590000121
是第二重构误差，根据公式(21)，基于神经网络，最优代价函数的J*(x,t)梯度向量表示如公式(22)所示：
Figure BDA0001588388590000122
由于理想权值未知，使用训练的隐层-输出层之间的权值矩阵
Figure BDA0001588388590000123
来近似代价函数，如公式(23)所示：
Figure BDA0001588388590000124
其中，
Figure BDA0001588388590000125
表示训练的隐层-输出层之间的权值矩阵。根据式(23)，近似最优代价函数
Figure BDA0001588388590000126
梯度向量表示如公式(24)所示：
Figure BDA0001588388590000127
使用理想的隐层-输出层之间的权值矩阵ωc，基于式(18)和(22)，H∞控制器的最优控制律u*(t)可写为：
Figure BDA0001588388590000128
相应的，可推导出下述表达式：
Figure BDA0001588388590000129
使用训练的隐层-输出层之间的权值矩阵
Figure BDA00015883885900001210
将
Figure BDA00015883885900001211
代入式(18)得到的是近似最优控制律
Figure BDA00015883885900001212
因此，基于式(18)和(24)，近似最优控制律
Figure BDA00015883885900001213
可写为：
Figure BDA00015883885900001214
相应的，基于式(19)和(24)，可推导出下述表达式：
Figure BDA00015883885900001215
根据近似最优控制
Figure BDA00015883885900001216
和近似扰动
Figure BDA00015883885900001217
定义理想权值矩阵下的评价神经网络的误差为ecH，表达式为：
Figure BDA00015883885900001218
其中，
Figure BDA00015883885900001219
是激励函数σc(x)的梯度。定义训练的权值矩阵下的评价神经网络误差为ec，表达式如公式(30)所示：
Figure BDA00015883885900001220
评价神经网络误差ec能够用来衡量近似的最优代价函数与实际要求值的近似程度，当评价神经网络误差值越小时，在一定程度上说明近似值与实际值的接近程度越高，所得到的结果也就更准确；基于权值误差向量
Figure BDA0001588388590000131
可推导出公式(31)：
Figure BDA0001588388590000132
训练评价神经网络，通过最小化目标函数
Figure BDA0001588388590000133
来训练并更新权重向量
Figure BDA0001588388590000134
采用梯度下降算法来调整权值，如公式(32)所示：
Figure BDA0001588388590000135
其中φ是一个lc维的列向量，
Figure BDA0001588388590000136
如图4所示，图4示例性地给出了预先构建的第二神经网络模型的权值向量的收敛图。
为了使本领域人员更好地理解本发明，下面结合具体实施例，对本发明的微电网频率自适应H∞控制方法进行详细说明。
在实际应用中，测量得到水轮机时间常数Tt＝5，调速器时间常数Tg＝0.2，电力系统时间常数Tp＝2，电力系统增益kp＝0.5，调速系数sp＝0.5；
对这样的一个微电网系统建立模型神经网络，其中，微电网系统的仿真模型如下：
微电网频率偏差Δξf(t)满足动力学方程
Figure BDA0001588388590000137
水轮机功率偏差Δξt(t)满足动力学方程
Figure BDA0001588388590000138
调速器位置偏差Δξp(t)满足动力学方程，
Figure BDA0001588388590000139
且Δξf(t)还受到微电网系统的干扰υ(t)的影响，这里
Figure BDA00015883885900001310
表示由负载变化引起的微电网系统干扰，
Figure BDA00015883885900001311
代表所有的实数集，微电网系统的控制信号u(t)作用到调速器的位置调节阀上，调速器位置偏差Δξp(t)还与微电网系统的控制信号u(t)有关，
Figure BDA00015883885900001312
微电网系统动力学的状态空间描述如下：
Figure BDA0001588388590000141
其中，控制矩阵g(x)和扰动矩阵h(x)都是有界的。上述微电网系统的状态空间方程可以写成：
Figure BDA0001588388590000142
其中
Figure BDA0001588388590000143
为系统矩阵。设计t＝0时的初始状态为x(0)＝x0，实施自适应控制后，在x＝0时，微电网系统的频率偏差Δξf＝0，水轮机功率偏差Δξt＝0，调速器位置偏差Δξp＝0，此时达到微电网系统的频率调节目标。
根据微电网频率偏差Δξf(t)，水轮机功率偏差Δξt(t)，调速器位置偏差Δξp(t)和微电网系统的干扰υ(t)，结合给定控制律u(t)，建立反向传播三层神经网络，用以重构微电网系统的控制矩阵g(x)和干扰矩阵h(x)，这样可以减少对于系统真实模型的依赖。
这里，模型神经网络输入层神经元n+m+q＝5，也就是状态、控制、干扰三个向量的维数之和为5，模型神经网络隐层神经元数目lm＝6，输出层神经元数目n＝3，学习率αm＝0.3，激励函数σm(·)＝tanh(·)，给出输入层-隐层的理想权重矩阵
Figure BDA0001588388590000144
得到隐层-输出层的权重矩阵
Figure BDA0001588388590000145
微电网系统状态表达式为：
Figure BDA0001588388590000146
选取输入层-隐层的权重矩阵
Figure BDA0001588388590000147
如下：
Figure BDA0001588388590000148
得到隐层-输出层的收敛权重矩阵
Figure BDA0001588388590000149
如下：
Figure BDA00015883885900001410
根据上述分析，在收敛权值
Figure BDA00015883885900001411
下的微电网系统的模型神经网络公式为：
Figure BDA00015883885900001412
微电网系统的模型神经网络公式代表了微电网系统的状态导数信息，完成模型网络的建立之后，求解微电网系统的模型神经网络公式分别对于控制u和扰动υ的偏导，可得重构的微电网系统的控制矩阵和扰动矩阵如下：
Figure BDA0001588388590000151
Figure BDA0001588388590000152
式中
Figure BDA0001588388590000153
是一个6维的方阵，上式的控制矩阵和扰动矩阵均为近似值，为了方便则使用上式中的符号。
根据步骤(3)，给出微电网系统的初始状态为x0＝[0.1 -0.2 0.2]T，选择正定矩阵Q＝I3和H∞性能系数ρ＝5，I3代表3×3的单位矩阵。对于微电网系统，由状态和控制量定义的微电网系统的效用函数为：
Figure BDA0001588388590000154
用微电网系统的效用函数进一步构成其代价函数，表示为：
Figure BDA0001588388590000155
代价函数在t＝0表示为J(x(0))＝J(x0)
根据步骤(4)，设计基于自适应动态规划方法的微电网系统频率自适应H∞控制器，图3是微电网系统自适应H∞控制的结构图。
给定评价神经网络输入层神经元数目为n＝3，隐藏层神经元数目lc＝6，输出层神经元数目为1，学习率αc＝2，激活函数
Figure BDA0001588388590000156
输入层到隐层的权值矩阵的分量均取为1，隐层到输出层的权值矩阵为
Figure BDA0001588388590000157
使用
Figure BDA0001588388590000158
来近似代价函数，则用以构建自适应H∞控制器的代价函数如下：
Figure BDA0001588388590000159
为了进行有效的学习和近似，本发明增加了探测噪声，以保证激发条件在前550秒内的持续性，图4是神经网络学习阶段评价网络权重向量的收敛结果。经过训练，评价神经网络的隐层到输出层之间的权值矩阵
Figure BDA0001588388590000161
最终收敛到[0.1600 0.2775 0.0771 0.2218 -0.1657 0.1221]T，反映了基于自适应动态规划方法的鲁棒控制器良好的学习能力。
根据收敛的
Figure BDA0001588388590000162
值，得到H∞控制器的近似最优控制律
Figure BDA0001588388590000163
Figure BDA0001588388590000164
获得基于自适应动态规划方法的H∞控制器；
引入外部扰动υ(t)＝e-0.2tcos(-0.6t)，t＞0，并将所获的基于自适应动态规划方法的H∞控制器应用于微电网系统60秒来评估其控制性能。图5是自适应鲁棒控制器下三个状态Δξf(t)，Δξt(t)，Δξp(t)的响应曲线图，能够看出微电网系统的三个状态最终均收敛到0。随着时间的推移，近似控制律
Figure BDA0001588388590000165
也收敛到0，结果可由图6看出。图6是自适应H∞控制器下输入信号
Figure BDA0001588388590000166
的响应曲线和比率函数图。这里，比率函数定义为：
Figure BDA0001588388590000167
如图6所示，图6示例性地给出了微电网频率自适应学习控制方法的控制输入和比率函数图，比率函数的值最终稳定在0.6635，证明了微电网频率自适应H∞控制方法的有效性。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种微电网频率自适应学习控制方法，其特征在于，所述方法包括：
基于预先获取的微电网系统的第一状态参数，计算所述微电网系统的第二状态参数；
根据所述第二状态参数和预先构建的第一神经网络模型计算所述微电网系统的控制矩阵、扰动矩阵；
根据所述第二状态参数计算所述微电网系统的效用函数；
根据所述效用函数计算所述微电网系统的代价函数；
基于所述第二状态参数、控制矩阵、扰动矩阵、效用函数以及代价函数，采用自适应动态规划方法计算所述微电网系统频率的最优控制律；其中，“根据所述第二状态参数和预先构建的第一神经网络模型计算所述微电网系统的控制矩阵、扰动矩阵”具体包括：
步骤S21：根据所述第二状态参数和预先构建的第一神经网络模型计算所述微电网系统的第一状态方程，所述第一状态方程为：
Figure FDA0002367682060000011
其中，A是神经网络模型中预先设定的稳定矩阵，x(t)＝[x1(t),x2(t),x3(t)]T，x1(t)＝Δξf(t)，x2(t)＝Δξt(t)，x3(t)＝Δξp(t)，ωm表示所述第一神经网络模型的隐层-输出层的理想权值矩阵，
Figure FDA0002367682060000012
表示所述第一神经网络模型的激励函数，
Figure FDA0002367682060000013
表示所述第一神经网络模型的输入量，υ(t)表示由负载变化引起的微电网系统干扰，u(t)表示微电网系统的控制信号，
Figure FDA0002367682060000014
表示第一重构误差，lm为第一神经网络的隐藏层神经元的个数，n、m、q分别表示状态、控制、干扰向量的维数；
步骤S22：随机初始化所述第一神经网络模型的输入层-隐层的理想权值矩阵，计算所述微电网系统的第二状态方程，所述第二状态方程为：
Figure FDA0002367682060000015
其中，
Figure FDA0002367682060000016
是所述第一神经网络模型的隐层-输出层的理想权值矩阵ωm在t时刻的估计值，
Figure FDA0002367682060000017
表示对微电网系统状态的估计，
Figure FDA0002367682060000018
vm表示输入层-隐层的理想权值矩阵；
步骤S23：根据所述第一状态方程和所述第二状态方程，计算基于神经网络的状态估计误差动态方程，所述状态估计误差的动态方程为：
Figure FDA0002367682060000021
Figure FDA0002367682060000022
表示所述第一神经网络模型的权重估计误差，
Figure FDA0002367682060000023
表示所述第一神经网络模型的状态估计误差；
步骤S24：根据逼近理论，在所述第一重构误差任意小时，计算所述微电网系统的第三状态方程，分别对所述第三状态方程的微电网系统的控制信号u0(t)和微电网系统干扰υ(t)求偏导，得到所述微电网系统的控制矩阵、扰动矩阵；其中，所述微电网系统的第三状态方程为：
Figure FDA0002367682060000024
所述控制矩阵为：
Figure FDA0002367682060000025
所述扰动矩阵为：
Figure FDA0002367682060000026
其中，
Figure FDA0002367682060000027
表示lm维的方阵，Im为与控制维数相同的单位矩阵，Iq为与干扰维数相同的单位矩阵。
2.根据权利要求1所述的方法，其特征在于，所述预先构建的第一神经网络模型包括n+m+q个输入层神经元，lm个隐层神经元，n个输出层神经元，学习率为αm，其中，αm＞0，激励函数为
Figure FDA0002367682060000028
输入层-隐层的理想权值矩阵为
Figure FDA0002367682060000029
隐层-输出层的理想权值矩阵为
Figure FDA00023676820600000210
n、m、q分别表示状态、控制、干扰向量的维数。
3.根据权利要求2所述的方法，其特征在于，所述效用函数为：
U(x,t)＝xT(t)Qx(t)+uT(t)u(t)-ρ2υT(t)υ(t)
其中，U(x,t)表示所述微电网系统的效用函数，Q是n×n实矩阵空间的正定矩阵，ρ是微电网系统干扰的性能系数。
4.根据权利要求3所述的方法，其特征在于，“根据所述效用函数计算所述微电网系统的代价函数”，其方法如下公式所示：
Figure FDA0002367682060000039
其中，J(x,t)表示所述微电网系统的代价函数。
5.根据权利要求1所述的方法，其特征在于，所述第一状态参数包括所述微电网系统的水轮机时间常数Tt、调速器时间常数Tg、电力系统常数Tp、电力系统增益kp、调速系数sp；所述第二状态参数包括所述微电网系统的频率偏差Δξf(t)、水轮机功率偏差Δξt(t)以及调速器位置偏差Δξp(t)。
6.根据权利要求5所述的方法，其特征在于，“计算所述微电网系统的第二状态参数”之后，该方法还包括构建所述微电网系统的仿真模型，其构建方法如下公式所示：
Figure FDA0002367682060000031
Figure FDA0002367682060000032
Figure FDA0002367682060000033
其中，
Figure FDA0002367682060000034
分别表示所述微电网系统的频率偏差Δξf(t)、水轮机功率偏差Δξt(t)以及调速器位置偏差Δξp(t)的导数。
7.根据权利要求1-6任一项所述的方法，其特征在于，“计算所述微电网系统频率的最优控制律”，其方法包括：
步骤S31：通过预先构建的第二神经网络模型重新计算所述代价函数，得到第一代价函数，所述第一代价函数为：
Figure FDA0002367682060000035
其中，
Figure FDA0002367682060000036
表示所述预先构建的第二神经网络模型的隐层-输出层的理想权值矩阵，lc为第二神经网络的隐层神经元的个数，
Figure FDA0002367682060000037
表示所述预先构建的第二神经网络模型的激励函数，
Figure FDA0002367682060000038
表示第二重构误差；
步骤S32：基于所述第二神经网络模型的训练隐层-输出层的权值矩阵更新所述第一代价函数，得到第二代价函数，并计算所述第二代价函数的梯度向量，所述第二代价函数为：
Figure FDA0002367682060000041
所述第二代价函数的梯度向量为：
Figure FDA0002367682060000042
其中，
Figure FDA0002367682060000043
表示所述第二神经网络模型的训练隐层-输出层的权值矩阵，
Figure FDA0002367682060000044
表示所述第二神经网络模型的激励函数的梯度向量；
步骤S33：根据所述第一代价函数和所述第二代价函数的梯度向量计算所述微电网系统频率的最优控制律，计算方法如下公式所示：
Figure FDA0002367682060000045
8.根据权利要求7所述的方法，其特征在于，所述预先构建的第二神经网络模型包括n个输入层神经元，lc个隐层神经元，1个输出层神经元，学习率为αc，其中，αc＞0，激励函数为
Figure FDA0002367682060000046
输入层-隐层的权值均为1，隐层-输出层的理想权值矩阵为
Figure FDA0002367682060000047
9.根据权利要求7所述的方法，其特征在于，“计算所述微电网系统频率的最优控制律”之前，该方法还包括基于梯度下降算法调整所述预先构建的第二神经网络模型的权值，其调整方法如下公式所示：
Figure FDA0002367682060000048
其中，
Figure FDA0002367682060000049
Figure FDA00023676820600000410
表示lc维的列向量，
Figure FDA00023676820600000411
表示最小化目标函数，
Figure FDA00023676820600000412
表示控制信号的近似值，
Figure FDA00023676820600000413
表示微电网系统干扰的近似值，
Figure FDA00023676820600000414
表示隐层-输出层的理想权值矩阵的近似值。
CN201810179648.8A 2018-03-05 2018-03-05 微电网频率自适应学习控制方法 Active CN108448594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810179648.8A CN108448594B (zh) 2018-03-05 2018-03-05 微电网频率自适应学习控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810179648.8A CN108448594B (zh) 2018-03-05 2018-03-05 微电网频率自适应学习控制方法

Publications (2)

Publication Number Publication Date
CN108448594A CN108448594A (zh) 2018-08-24
CN108448594B true CN108448594B (zh) 2020-04-07

Family

ID=63193470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810179648.8A Active CN108448594B (zh) 2018-03-05 2018-03-05 微电网频率自适应学习控制方法

Country Status (1)

Country Link
CN (1) CN108448594B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110783935B (zh) * 2019-11-13 2021-04-16 国网江苏省电力有限公司扬州供电分公司 一种限定荷电状态下电池储能响应调频信号的方法
CN111682563A (zh) * 2020-05-12 2020-09-18 天津大学 一种基于电储能系统的微电网智能频率控制方法
CN114188955B (zh) * 2021-12-01 2023-08-01 天津大学 基于自适应学习的互联微电网复合频率控制方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102352812B (zh) * 2011-07-18 2014-04-16 华北电力大学 一种基于滑模的水轮机调速系统死区非线性补偿方法
CN103595046B (zh) * 2013-11-28 2015-09-09 上海电力学院 以柴油机侧为主的风柴混合电力系统负荷频率控制方法
CN106532691B (zh) * 2016-12-05 2019-05-10 中国科学院自动化研究所 基于自适应动态规划的单区域电力系统频率复合控制方法
CN107544261B (zh) * 2017-10-26 2020-07-24 长春工业大学 不确定环境接触下的可重构机器人分散学习最优控制方法

Also Published As

Publication number Publication date
CN108448594A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
Zhong et al. An event-triggered ADP control approach for continuous-time system with unknown internal states
Ni et al. Model-free dual heuristic dynamic programming
Xu et al. Reinforcement learning output feedback NN control using deterministic learning technique
CN108448594B (zh) 微电网频率自适应学习控制方法
Yi et al. An improved two-stage deep reinforcement learning approach for regulation service disaggregation in a virtual power plant
Shou et al. Virtual guidance-based coordinated tracking control of multi-autonomous underwater vehicles using composite neural learning
Mehraeen et al. Decentralized optimal control of a class of interconnected nonlinear discrete-time systems by using online Hamilton-Jacobi-Bellman formulation
Milovanović et al. Adaptive PID control based on orthogonal endocrine neural networks
Ming et al. Mixed H 2/H∞ control with dynamic event-triggered mechanism for partially unknown nonlinear stochastic systems
CN106532691B (zh) 基于自适应动态规划的单区域电力系统频率复合控制方法
CN110374804A (zh) 一种基于深度确定性策略梯度补偿的变桨距控制方法
CN112405542B (zh) 基于脑启发多任务学习的肌肉骨骼机器人控制方法及系统
Zhang et al. Neural network-based fuzzy vibration controller for offshore platform with random time delay
Milovanović et al. Adaptive control of nonlinear MIMO system with orthogonal endocrine intelligent controller
Hager et al. Adaptive Neural network control of a helicopter system with optimal observer and actor-critic design
Chairez Adaptive neural network nonparametric identifier with normalized learning laws
Peng et al. Neuro-adaptive cooperative control for high-order nonlinear multi-agent systems with uncertainties
Saraf et al. ℋ 2 optimal sensing architecture with model uncertainty
Wang et al. Repetitive tracking control of nonlinear systems using reinforcement fuzzy-neural adaptive iterative learning controller
Al-Dabooni et al. Convergence of recurrent neuro-fuzzy value-gradient learning with and without an actor
Sharma et al. Wavelet reduced order observer based adaptive tracking control for a class of uncertain nonlinear systems using reinforcement learning
Perrusquía et al. Cost inference of discrete-time linear quadratic control policies using human-behaviour learning
Moorthy et al. Artificial intelligence techniques for wind power prediction: a case study
Sharma et al. Wavelet neural network observer based adaptive tracking control for a class of uncertain nonlinear delayed systems using reinforcement learning
Tiistola et al. Quantized measurements in Q-learning based model-free optimal control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant