CN107508275A - 一种基于自适应动态规划的直流微电网控制方法及系统 - Google Patents
一种基于自适应动态规划的直流微电网控制方法及系统 Download PDFInfo
- Publication number
- CN107508275A CN107508275A CN201710659935.4A CN201710659935A CN107508275A CN 107508275 A CN107508275 A CN 107508275A CN 201710659935 A CN201710659935 A CN 201710659935A CN 107508275 A CN107508275 A CN 107508275A
- Authority
- CN
- China
- Prior art keywords
- mrow
- control
- network
- msub
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J1/00—Circuit arrangements for dc mains or dc distribution networks
- H02J1/10—Parallel operation of dc sources
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于自适应动态规划的直流微电网控制方法及系统，该系统包括一次控制单元和二次控制单元；该方法包括一次控制和二次控制；一次控制采用传统的下垂控制；二次控制包括稳态电压偏差控制和多源负荷均流控制，均采用自适应动态规划实现，使得分布式电源出口的稳态电压误差在要求精度以内，提升系统的电压水平；同时使得分布式电源的输出功率平均分配，减少环流在电力电子器件内部的能量损耗。本发明弥补了传统的固定下垂系数控制无法适应系统中线路阻抗以及系统运行状态变化的缺陷，同时自适应动态规划控制器，不需要对非线性系统建立精确地模型，仅需要通过外界的评价信号进行就可以实现在线自适应学习。
Description
技术领域
本发明属于电气工程技术领域，更具体地说，涉及一种基于自适应动态规划的直流微电网控制方法及系统。
背景技术
微电网是分布式能源发展下的一种应用模式，其中包括了分布电源，系统负荷，储能装置和变流器。微电网是大系统交流电网的一部分，可并网运行向系统注入可再生能源产生的能量，也可在孤网状态下独立运行作为源为负荷供电。随着风电、太阳能能直流微源的容量逐步增大以及直流负荷的发展，直流微电网的相对于交流微电网的优势逐步体现出来。交流微电网中的发电单元需要经过DC-DC、DC-AC、AC-DC等变流器接入大系统或负荷。而直流微电网不需要大量的电力电子变换器件，减少了能量的转换次数，提高电能转换效率，减少了变流器中的能量损耗。直流微源经过DC-DC直接连接到直流母线上，不需要面对交流微源中相位、频率的同步问题，增加了系统的安全可靠和可控性。直流微网中需要维持直流母线电压的恒定，不同微源间负荷分配取决于电流。
直流微电网中各分布电源通过变流器并联接在直流母线上。这种并联式的结构增大了系统的可扩展性和可靠性。当存在多个供电源时，如何自动的分配功率以及维持母线电压的稳定是控制运行主要面对的问题。传统的下垂控制是一种有效的控制方法，可以通过灵活的设置下垂系数来实现不同微源间的均流，进而实现功率分配。
下垂控制的主要优点是设计简单，不需要额外的通信便可实现网内功率分配控制。但是其缺点也比较明显，引入虚拟阻抗在实现多源均流的同时会导致直流母线的电压跌落。而且固定的下垂系数计算过程中需要不断的调整，固定后也无法跟随系统运行点的变化而做出调整。当网内接入的分布式电源较多时，矩阵维度增加，也提高了确定下垂系数的困难。
自适应动态规划(Adaptive Dynamic Programming,ADP)，在人工智能和控制领域的新型的一种最优化算法。其基于贝尔曼最优性原理，利用神经网络取代函数逼近来近似哈密顿-雅克比-贝尔曼(Hamilton-Jacobi-Bellman，HJB)方程来求解动态规划的问题。ADP来自于时间向前的DP方法，成功克服“维数灾”问题，在解决非线性控制领域的优化控制问题方面有优异效果。启发式自适应动态规划(HDP)是自适应动态规划算法的一种具体实行结构，其内部包含用人工神经网络拟合的两个网络；网络内部存在层次连接关系，其中不同层次中的网络连接权值需要进行初始化。
发明内容
本发明要解决的技术问题在于，提供一种基于自适应动态规划的直流微电网控制方法及系统。
本发明解决其技术问题所采用的技术方案是：
构造一种基于自适应动态规划的直流微电网控制系统，包括互相连接的一次控制单元和二次控制单元；其中，一次控制单元采用传统的下垂控制，其给定的下垂系数由二次控制单元产生；二次控制单元主要用于实现电压稳态偏差控制和多源均流控制，二次控制单元采集系统电压电流后，输入到控制器内部，根据稳态电压偏差和电流均流偏差来形成外部增强信号，并根据增强信号来调整控制单元内部权值来实现最优的控制。二次控制单元的控制过程如下：采集系统的状态量x(t)＝[udcio1…ioi]输入到HDP控制器的动作网络，产生一个相应的系统控制量u(t)＝[Rd1…Rdi]；将该控制量和系统状态量输入到评价网络中，产生系统当前时刻的代价函数j(t)；同时给出当前的状态动作对的评价，即增强信号r(t)；结合增强信号r(t)形成评价网络的误差信号，对评价网络进行权值更新；利用更新后的权值重新计算代价函数j(t)，然后计算动作网络的误差信号，对动作网络进行权值更新；最后利用更新的权值计算最终的控制信号u(t)＝[Rd1…Rdi]，输入到一次控制单元中，改变下垂控制的控制特性曲线，从而形成新的系统状态量。
本发明还构造一种上述基于自适应动态规划的直流微电网控制系统的控制方法，包括以下步骤：
步骤S010，采样系统的直流母线电压udc和各分布式电源的输出电流ioi作为系统的状态量x(t)；
步骤S020，随机初始化HDP控制器内动作网络和评价网络的网络各层权值wpq；
步骤S030，将系统状态变量输入HDP控制器的动作网络以及评价网络，计算增强信号r(t)，代价函数j(t)以及反馈到系统的控制信号u(t)；
步骤S040，计算评价网络误差，按照误差反向传播算法修正评价网络权值，并重新计算代价函数j(t)，当误差低于容限制或迭代次数达到最大值，转到步骤S050，否则继续步骤S040；
步骤S050，计算动作网络误差，按照误差反向传播算法修正动作网络权值，并重新计算代价函数j(t)，当误差低于容限制或迭代次数达到最大值，转到步骤S060，否则继续步骤S050；
步骤S060，将输入信号作用于修正权值后的动作网络，再次计算新的控制信号u(t)；
步骤S070，控制信号u(t)作为系统新的下垂系数，输入到采用传统下垂控制的一次控制，生成控制DC/DC变换器的PWM信号，直流微电网产生新的系统状态值x(t+1)，返回步骤S010。
优选地，在所述步骤S010中，选取直流母线电压udc和各分布式电源的输出电流ioi作为系统的状态量，ioi是与第i个分布式电源的输出电流，共同作为系统的状态量x(t)＝[udcio1…ioi]。
优选地，在所述步骤S020中，HDP控制器内的动作网络和评价网络内的权值wpq＝A·rand()；其中，A是权值的最大取值范围。
优选地，在所述步骤S030中，使用人工神经网络拟合评价网络和动作网络；其中，动作网络是一个三层神经网络结构，包括一个输入层和一个隐含层，输入为系统状态变量x(t)＝xT(t)，输出为控制信号u(t)，定义输入层权值矩阵为wa (1)(t)，输出层权值矩阵为wa (2)(t)；评价网络的结构与动作网络相同，评价网络的输入为系统状态变量和动作网络输出的动作值Xc(t)＝[xT(t),uT(t)]T，输出为通过外部增强信号外部增强信号r(t)计算得到的代价函数j(t)，定义输入层权值矩阵为wc (1)(t)，输出层权值矩阵为wc (2)(t)。
优选地，在所述步骤S030中，外部增强信号为
r(t)＝-b1×∑(ioi-iave)2-b2×(udc-Vref)2，
其中r(t)代表对状态策略对X→U的评价，b1、b2是可调参量，用于将增强信号的范围调整，iave是所有电流的平均值，Vref是母线电压额定参考值。
优选地，在所述步骤S030中，代价函数j(t)为
其中，代价函数j(t)用于反映系统性能指标，是对外部增强函数r(t)无穷累加和的逼近；γ是折扣因子，反映不同时间的增强信号的影响程度，γ∈(0,1)。
优选地，在所述步骤S030中，控制器输出的系统控制信号u(t)选定为下垂系数矩阵；其中，控制器的输出信号是独立的i个下垂系数，u(t)＝[Rd1…Rdi]；Rdi是第i个分布式电源一次控制中的下垂系数值。
优选地，在所述步骤S040中，按照误差反向传播算法修正评价网络权值；
其中，定义评价网络的反向传播误差为：
按照梯度下降对评价网络内部权值值wc进行修正更新：
其中，η为学习率，其决定了梯度下降的收敛速度；γ是折扣因子。当η太大时，梯度下降算法会以较大幅度改变网络权值，但有可能在最优解附近发生振荡，无法收敛到最优值；当η太小时，则可能收敛速度很慢，梯度下降算法陷入局部最优解而不是全局最优解。
优选地，在所述步骤S050中，按照误差反向传播算法修正动作网络权值；其中，定义动作网络反向传播误差为：
ea(t)＝j(t)-Uc(t)
Ec(t)＝0.5ea 2(t)，
按照梯度下降对动作网络内部权值进行修改更新：
wa(t)'＝wa(t)+Δwa(t)
其中，Uc(t)代价函数j(t)的期望值，设为0。
优选地，在所述步骤S060中，输出信号作用于修正权值后的动作网络，再次计算新的控制信号u(t)：
其中，f是双极性sigmoid函数，x'i(t)是隐含层输出信号，u(t)是输出层输出信号；Na是隐含层单元个数，n是输入层单元个数，i∈[1,Na]，j∈[1,n]。
优选地，在所述步骤S070中，HDP控制器输出的下垂系数用于更新一次控制中的传统下垂控制的控制特性，一次控制采用电压电流双闭环控制方式，即：一次控制中的传统下垂控制，其通过引入电流作为电压参考值的偏差量，电流与下垂系数做乘后于母线电压额定参考值Vref做差产生内环电压环的电压参考值，经内环PI后输出变换器电感电流的参考值；将电感电流的参考值与实际测量值做差后经电流外环控制器得到调制信号；将该调制信号送入PWM信号发生器与三角载波比较，得到变换器开断的PWM控制信号。
优选地，在所述步骤S070中，HDP控制器在当前时间点完成控制输出后进入下一个时间进行控制。HDP控制器可以实现在线学习，同时时间向前的规划序列以实现最终的最优控制，并且可以良好的适应系统运行点的变化。
实施本发明一种基于自适应动态规划的直流微电网控制方法及系统，具有以下有益效果：
(1)本发明提供的基于自适应动态规划的直流微电网控制方法及系统，采用自适应动态规划的方式构造控制器，选择系统的主要变量作为系统状态量，选择下垂系数作为输出量。不必对系统的性能进行精确的建模分析，控制器构造方式简易，能够灵活适应非线性复杂系统的工作特性。定义了增强信号r(t)＝-b1×∑(ioi-iave)2-b2×(udc-Vref)2，可以同时对多个分布式单元协调控制。
(2)本发明提供的基于自适应动态规划的直流微电网控制方法及系统，采用自适应动态规划的思想实现控制，能够在线学习，可以灵活的适应系统运行点的变化来调整下垂系数；也在保证母线电压偏差的同时，避免了因线路阻抗带来的均流精度下降的问题；克服了传统定下垂控制无法适应系统运行点变化，且存在线路阻抗降低均流精度的缺陷。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是由2个PV和2个DC-ES2构成的400V直流微网系统的示意图；
图2是实施例中的直流微电网等值电路图；
图3是实施例中的一次控制示意图；
图4是实施例中二次单元控制结构图；
图5是实施例中的一次二次单元的统一结构图；
图6是实施例提供的控制方法与传统下垂控制方法进行对比图；
图7是实施例中系统负荷发生变化时，本实施例控制方法效果图；
图8是实施例中系统线路阻抗发生变化时，本实施例控制方法效果图；
图9是实施例中PV输出功率发生变化时，本实施例控制方法效果图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
如图1所示，实例是有2个PV和两个DC-ES构成的400V直流微网系统的系统结构示意图，每一个分布式电源并联一个PV模块经由线路阻抗接入系统的直流母线。将图1中所示的系统结构示意图转化为等值电路图后如图2所示。下垂系数相当于引入了一个虚拟阻抗，会导致母线电压的下降，同时，线路阻抗的存在会影响均流的精度。以下结合该系统来具体阐述实施例提供的基于自适应动态规划的直流微电网控制方法。
对于上述系统而言，采用本实施例提供的基于自适应动态规划的直流微电网控制方法的控制目标是使系统在运行点变化以及线路阻抗不能忽略的情况下保持各分布式电源的出口电压uoi稳定在400V，稳态偏差在±5％以内，同时满足均流精度，电流偏差在±2％以内。
实施例提供的基于自适应动态规划的直流微电网控制系统，包括互相连接的一次控制单元和二次控制单元，图5是一次二次单元的统一结构图；图3是实施例中的一次控制示意图，一次控制单元采用传统的下垂控制，其给定的下垂系数由二次控制单元产生。图4是二次单元控制结构图，二次控制单元主要用于实现电压稳态偏差控制和多源均流控制，二次控制单元采集系统电压电流后，输入到控制器内部，根据稳态电压偏差和电流均流偏差来形成外部增强信号；根据增强信号来调整控制单元内部权值来实现最优的控制。二次控制单元的控制过程如下：采集系统的状态量x(t)＝[udcio1…ioi]输入到HDP控制器的动作网络，产生一个相应的系统控制量u(t)＝[Rd1…Rdi]；将该控制量和系统状态量输入到评价网络中，产生系统当前时刻的代价函数j(t)；同时给出当前的状态动作对的评价，即增强信号r(t)；结合增强信号r(t)形成评价网络的误差信号，对评价网络进行权值更新；利用更新后的权值重新计算代价函数j(t)，然后计算动作网络的误差信号，对动作网络进行权值更新；最后利用更新的权值计算最终的控制信号u(t)＝[Rd1…Rdi]，输入到一次控制单元中，改变下垂控制的控制特性曲线，从而形成新的系统状态量。
本实施例中，对各分布式电源均采用相同的控制器，各控制器参数经调试取值如下：
一次控制单元：电压环：kPV＝0.3，kIV＝5；电流环：kPC＝1.5，kIC＝10。
二次控制单元，HDP控制器：
动作网络：
输入层：3；隐含层：6；输出层：2；学习率：0.3；
权值更新迭代次数上限：500；误差容限：0.0001；权值范围：±1；
评价网络：
输入层：5；隐含层：6；输出层：2；学习率：0.03；
权值更新迭代次数上限：300；误差容限：0.0001；权值范围：±1。
实施例提供的一种基于自适应动态规划的直流微电网控制方法，具体包括如下步骤：
步骤S010，采样系统的直流母线电压udc和各分布式电源的输出电流ioi作为系统的状态量x(t)；ioi是与第i个分布式电源的输出电流，
x(t)＝[udcio1…ioi]。
步骤S020，随机初始化HDP控制器内动作网络(ANN)和评价网络(CNN)网络各层权值wpq；
wpq＝A·rand()。
步骤S030，将系统状态变量输入HDP控制器的动作网络以及评价网络，计算增强信号r(t)，代价函数j(t)以及反馈到系统的控制信号u(t)；
外部增强信号：
r(t)＝-b1×∑(ioi-iave)2-b2×(udc-Vref)2
先进行动作网络正向计算：
再进行评价网络正向计算：
步骤S040，计算评价网络误差，按照误差反向传播算法修正评价网络权值，并重新计算代价函数j(t)，当误差低于容限制或迭代次数达到最大值，转到步骤S050，否则继续步骤S040；
其中定义评价网络的反向传播误差为：
ec(t)＝γj(t)-[j(t-1)-r(t)]
Ec(t)＝0.5ec 2(t)
按照梯度下降对评价网络内部权值值wc进行修正更新：
wc(t)'＝wc(t)+Δwc(t)
步骤S050，计算动作网络误差，按照误差反向传播算法修正动作网络权值，并重新计算代价函数j(t)，当误差低于容限制或迭代次数达到最大值，转到步骤S060，否则继续步骤S050；
其中，定义动作网络反向传播误差为：
ea(t)＝j(t)-Uc(t)
Ec(t)＝0.5ea 2(t)，
按照梯度下降对动作网络内部权值进行修改更新：
wa(t)'＝wa(t)+Δwa(t)
步骤S060，将输入信号作用于修正权值后的动作网络，再次计算新的控制信号u(t)；
步骤S070，控制信号u(t)作为系统新的下垂系数，输入到采用传统下垂控制的一次控制，生成控制DC/DC变换器的PWM信号，直流微电网产生新的系统状态值x(t+1)，返回步骤S010。
实施例中，为使直流母线电压能快速跟踪给定值，一次控制采用电压电流双闭环控制方式。直流母线电压的实际值和由下垂控制决定的期望值之差，经电压外环控制器GV(s)得到电感电流的参考值，电感电流的参考值与实测值之差经电流内环控制器GI(s)得到一组调制信号，送入PWM信号发生器与三角载波比较，得到控制各变换器开断的PWM控制信号；其中，GV(s)、GI(s)均采用PI控制。
采用在MATLAB/Simulink软件中对实施例提供的控制方法与传统的下垂控制方法进行对比，仿真结果如图6所示。设置初始下垂系数Rd＝[0.1；0.1]。显示了本文算法与固定下垂系数的方法对比结果。在0-1.5s内未开启控制策略，使用固定下垂系数。其中，电压调节误差和电流精度均较差，均流精度超过10％。在第1.5s后开启控制策略，系统各分布单元的输出电压有明显上升电压调节误差减小，电流均流精度也显著提高，可以达到1.09％。两种控制算法中由于下垂系数较小，所以电压调节精度均在容限(±％5)以内。
图7是在采用本实施例所提供的控制方法及系统下，负荷发生变化时，验证本实施例控制方法对系统运行点的适应性。其中恒功率负载的功率在0-2s设置为CPL_load＝8kw，在2s时系统发生突变CPL_load＝12kw。从图7中可以看出突变前后，控制策略均能使系统输出电压稳定在396V以上，电压调节误差均小于1％。同时均流精度在2％以内，均流效果较好。在突变前经过网络的学习，在0.6s时下垂系数收敛于稳定值。
图8是在采用本实施例所提供的控制方法及系统下，系统线路阻抗发生变化时，验证本实施例控制方法对线路阻抗的适应性。本例中改变系统的线路阻抗为Rline1＝0.5Ω，Rline2＝0.2Ω。改变线路阻抗后，基于HDP算法的下垂控制器依然能够根据系统参数进行学习，输出合适的下垂系数。系统的电压精度在2％左右，电流精度在2％以内，和改变线路阻抗之前相似。
图9是在采用本实施例所提供的控制方法及系统下，PV模块输出功率发生变化时，验证本实施例控制方法对系统运行点变化的适应性。光伏模块作为直流微网中最常见的可再生能源单元，其功率输出特性受到光照和温度的影响，作为电源并联接入直流微网中会对系统的运行产生影响。本例中接入的光伏模块参数：Im＝4.95A,Um＝35.2V,Sref＝1000W/m2,Tref＝25℃。采用并联12个，串联2个组成光伏阵列，设置环境温度T＝25℃，输出采用MPPT计算最大功率。
在0-2s设置光照强度S＝0W/m2，光伏模块输出功率为0。在2-4s时改变光照强度为S＝500W/m2，光伏模块输出功率为2kw。从可以看出接入光伏模块之前电压调节误差在1.5％以内，远低于容许值(±5％)，均流精度达到了0.16％。接入光伏模块相当于向系统中注入了能量，电池的输出电流减少，均流精度依然很高为0.89％。系统的电压调节误差也在限度范围内。
在直流微网线路阻抗不能忽略时，传统的下垂控制方式均流精度会受到影响。同时，在系统运行状态发生变化时，定下垂系数方式无法做出调整来适应系统的变化。本实例提供的基于自适应动态规划的直流微电网控制方法能够解决上述问题，同时具有较高的电压调节精度和均流精度。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (13)
1.一种基于自适应动态规划的直流微电网控制系统，其特征在于，包括互相连接的一次控制单元和二次控制单元；其中，一次控制单元采用传统的下垂控制，其给定的下垂系数由二次控制单元产生；二次控制单元主要用于实现电压稳态偏差控制和多源均流控制，二次控制单元采集系统电压电流后，输入到控制器内部，根据稳态电压偏差和电流均流偏差来形成外部增强信号，并根据增强信号来调整控制单元内部权值来实现最优的控制。
2.一种权利要求1所述的基于自适应动态规划的直流微电网控制系统的控制方法，包括以下步骤：
步骤S010，采样系统的直流母线电压udc和各分布式电源的输出电流ioi作为系统的状态量x(t)；
步骤S020，随机初始化HDP控制器内动作网络和评价网络的网络各层权值wpq；
步骤S030，将系统状态变量输入HDP控制器的动作网络以及评价网络，计算增强信号r(t)，代价函数j(t)以及反馈到系统的控制信号u(t)；
步骤S040，计算评价网络误差，按照误差反向传播算法修正评价网络权值，并重新计算代价函数j(t)，当误差低于容限制或迭代次数达到最大值，转到步骤S050，否则继续步骤S040；
步骤S050，计算动作网络误差，按照误差反向传播算法修正动作网络权值，并重新计算代价函数j(t)，当误差低于容限制或迭代次数达到最大值，转到步骤S060，否则继续步骤S050；
步骤S060，将输入信号作用于修正权值后的动作网络，再次计算新的控制信号u(t)；
步骤S070，控制信号u(t)作为系统新的下垂系数，输入到采用传统下垂控制的一次控制，生成控制DC/DC变换器的PWM信号，直流微电网产生新的系统状态值x(t+1)，返回步骤S010。
3.根据权利要求2所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S010中，选取直流母线电压udc和各分布式电源的输出电流ioi作为系统的状态量，ioi是与第i个分布式电源的输出电流，共同作为系统的状态量x(t)＝[udcio1…ioi]。
4.根据权利要求2所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S020中，HDP控制器内的动作网络和评价网络内的权值wpq＝A·rand()；其中，A是权值的最大取值范围。
5.根据权利要求2所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S030中，使用人工神经网络拟合评价网络和动作网络；其中，动作网络是一个三层神经网络结构，包括一个输入层和一个隐含层，输入为系统状态变量x(t)＝xT(t)，输出为控制信号u(t)，定义输入层权值矩阵为wa (1)(t)，输出层权值矩阵为wa (2)(t)；评价网络的结构与动作网络相同，评价网络的输入为系统状态变量和动作网络输出的动作值Xc(t)＝[xT(t),uT(t)]T，输出为通过外部增强信号外部增强信号r(t)计算得到的代价函数j(t)，定义输入层权值矩阵为wc (1)(t)，输出层权值矩阵为wc (2)(t)。
6.根据权利要求2所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S030中，外部增强信号为
r(t)＝-b1×∑(ioi-iave)2-b2×(udc-Vref)2，
其中r(t)代表对状态策略对X→U的评价，b1、b2是可调参量，用于将增强信号的范围调整，iave是所有电流的平均值，Vref是母线电压额定参考值。
7.根据权利要求2所述的一种基于自适应动态规划的直流微电网控制方法及系统，其特征在于，在所述步骤S030中，代价函数j(t)为
<mrow>
<mi>j</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>t</mi>
</mrow>
<mi>&infin;</mi>
</msubsup>
<msup>
<mi>&gamma;</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mi>t</mi>
</mrow>
</msup>
<mi>r</mi>
<mo>&lsqb;</mo>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>u</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>,</mo>
</mrow>
其中，代价函数j(t)用于反映系统性能指标，是对外部增强函数r(t)无穷累加和的逼近；γ是折扣因子，反映不同时间的增强信号的影响程度，γ∈(0,1)。
8.根据权利要求2所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S030中，控制器输出的系统控制信号u(t)选定为下垂系数矩阵；其中，控制器的输出信号是独立的i个下垂系数，u(t)＝[Rd1…Rdi]；Rdi是第i个分布式电源一次控制中的下垂系数值。
9.根据权利要求5所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S040中，按照误差反向传播算法修正评价网络权值；
其中，定义评价网络的反向传播误差为：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&gamma;</mi>
<mi>j</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>&lsqb;</mo>
<mi>j</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>E</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>0.5</mn>
<msup>
<msub>
<mi>e</mi>
<mi>c</mi>
</msub>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
</mrow>
按照梯度下降对评价网络内部权值值wc进行修正更新：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>w</mi>
<mi>c</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<msub>
<mi>w</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&Delta;w</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&Delta;w</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mi>&eta;</mi>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>E</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
</mrow>
其中，η为学习率，其决定了梯度下降的收敛速度；γ是折扣因子。
10.根据权利要求5所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S050中，按照误差反向传播算法修正动作网络权值；其中，定义动作网络反向传播误差为：
ea(t)＝j(t)-Uc(t)
Ec(t)＝0.5ea 2(t)，
按照梯度下降对动作网络内部权值进行修改更新：
wa(t)'＝wa(t)+Δwa(t)
<mrow>
<msub>
<mi>&Delta;w</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mi>&eta;</mi>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>E</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
其中Uc(t)代价函数j(t)的期望值。
11.根据权利要求5所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S060中，输出信号作用于修正权值后的动作网络，再次计算新的控制信号u(t)：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msubsup>
<mi>w</mi>
<mrow>
<mi>a</mi>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mn>1</mn>
</msubsup>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>a</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>u</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msubsup>
<mi>w</mi>
<mrow>
<mi>a</mi>
<mi>i</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
</mrow>
其中，f是双极性sigmoid函数，x'i(t)是隐含层输出信号，u(t)是输出层输出信号；Na是隐含层单元个数，n是输入层单元个数，i∈[1,Na]，j∈[1,n]。
12.根据权利要求2所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S070中，HDP控制器输出的下垂系数用于更新一次控制中的传统下垂控制的控制特性，一次控制采用电压电流双闭环控制方式，即：一次控制中的传统下垂控制，其通过引入电流作为电压参考值的偏差量，电流与下垂系数做乘后于母线电压额定参考值Vref做差产生内环电压环的电压参考值，经内环PI后输出变换器电感电流的参考值；将电感电流的参考值与实际测量值做差后经电流外环控制器得到调制信号；将该调制信号送入PWM信号发生器与三角载波比较，得到变换器开断的PWM控制信号。
13.根据权利要求2所述的一种基于自适应动态规划的直流微电网控制方法，其特征在于，在所述步骤S070中，HDP控制器在当前时间点完成控制输出后进入下一个时间进行控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710659935.4A CN107508275B (zh) | 2017-08-04 | 2017-08-04 | 一种基于自适应动态规划的直流微电网控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710659935.4A CN107508275B (zh) | 2017-08-04 | 2017-08-04 | 一种基于自适应动态规划的直流微电网控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107508275A true CN107508275A (zh) | 2017-12-22 |
| CN107508275B CN107508275B (zh) | 2019-10-29 |
Family
ID=60690446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710659935.4A Active CN107508275B (zh) | 2017-08-04 | 2017-08-04 | 一种基于自适应动态规划的直流微电网控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107508275B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109802379A (zh) * | 2019-01-22 | 2019-05-24 | 电子科技大学 | 一种直流微电网系统及其变下垂系数控制方法 |
| CN110084511A (zh) * | 2019-04-25 | 2019-08-02 | 广东工业大学 | 一种无人机配型方法、装置、设备及可读存储介质 |
| CN110165714A (zh) * | 2019-05-30 | 2019-08-23 | 广州水沐青华科技有限公司 | 基于极限动态规划算法的微电网一体化调度与控制方法、计算机可读存储介质 |
| CN110783935A (zh) * | 2019-11-13 | 2020-02-11 | 国网江苏省电力有限公司扬州供电分公司 | 一种限定荷电状态下电池储能响应调频信号的方法 |
| CN113410861A (zh) * | 2020-03-17 | 2021-09-17 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 一种适用于多端柔性直流系统的下垂控制参数优化方法 |
| CN113629728A (zh) * | 2021-07-13 | 2021-11-09 | 南京理工大学 | 一种基于执行依赖启发式动态规划的风电机组变下垂控制方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104022503A (zh) * | 2014-06-18 | 2014-09-03 | 中国科学院自动化研究所 | 一种带有储能设备的智能微电网电能优化控制方法 |
| CN106129999A (zh) * | 2016-07-01 | 2016-11-16 | 东南大学 | 基于有限时间一致性的直流微电网分布式协同控制方法 |
-
2017
- 2017-08-04 CN CN201710659935.4A patent/CN107508275B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104022503A (zh) * | 2014-06-18 | 2014-09-03 | 中国科学院自动化研究所 | 一种带有储能设备的智能微电网电能优化控制方法 |
| CN106129999A (zh) * | 2016-07-01 | 2016-11-16 | 东南大学 | 基于有限时间一致性的直流微电网分布式协同控制方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109802379A (zh) * | 2019-01-22 | 2019-05-24 | 电子科技大学 | 一种直流微电网系统及其变下垂系数控制方法 |
| CN110084511A (zh) * | 2019-04-25 | 2019-08-02 | 广东工业大学 | 一种无人机配型方法、装置、设备及可读存储介质 |
| CN110165714A (zh) * | 2019-05-30 | 2019-08-23 | 广州水沐青华科技有限公司 | 基于极限动态规划算法的微电网一体化调度与控制方法、计算机可读存储介质 |
| CN110165714B (zh) * | 2019-05-30 | 2021-01-26 | 广州水沐青华科技有限公司 | 基于极限动态规划算法的微电网一体化调度与控制方法、计算机可读存储介质 |
| CN110783935A (zh) * | 2019-11-13 | 2020-02-11 | 国网江苏省电力有限公司扬州供电分公司 | 一种限定荷电状态下电池储能响应调频信号的方法 |
| CN113410861A (zh) * | 2020-03-17 | 2021-09-17 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 一种适用于多端柔性直流系统的下垂控制参数优化方法 |
| CN113629728A (zh) * | 2021-07-13 | 2021-11-09 | 南京理工大学 | 一种基于执行依赖启发式动态规划的风电机组变下垂控制方法 |
| CN113629728B (zh) * | 2021-07-13 | 2024-06-07 | 南京理工大学 | 一种基于执行依赖启发式动态规划的风电机组变下垂控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107508275B (zh) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107508275A (zh) | 一种基于自适应动态规划的直流微电网控制方法及系统 | |
| CN106684857B (zh) | 一种含统一潮流控制器的线性化最优潮流模型 | |
| CN105846461A (zh) | 一种大规模储能电站自适应动态规划的控制方法和系统 | |
| CN110504691A (zh) | 一种计及vsc控制方式的交直流配电网最优潮流计算方法 | |
| WO2023179003A1 (zh) | 一种多时间尺度主动配电网电压控制方法 | |
| Aldosary et al. | A modified shuffled frog algorithm to improve MPPT controller in PV System with storage batteries under variable atmospheric conditions | |
| CN109274135B (zh) | 基于光伏电站有功出力的无功优化控制方法 | |
| CN110265991B (zh) | 一种直流微电网的分布式协调控制方法 | |
| CN105809265A (zh) | 含分布式可再生能源配电网柔性互联装置的容量配置方法 | |
| CN111490542B (zh) | 一种多端柔性多状态开关的选址定容方法 | |
| CN107681664A (zh) | 一种基于内点法的分布式电源并网优化潮流计算方法 | |
| CN114362267B (zh) | 考虑多目标优化的交直流混合配电网分散式协调优化方法 | |
| CN107508274B (zh) | 一种柔性直流电网控制方法 | |
| CN113541146B (zh) | 计及分布式电源的电力系统潮流计算优化方法 | |
| CN105896575A (zh) | 基于自适应动态规划的百兆瓦储能功率控制方法及系统 | |
| El Mezdi et al. | Nonlinear control design and stability analysis of hybrid grid-connected photovoltaic-Battery energy storage system with ANN-MPPT method | |
| CN115545290A (zh) | 一种含光伏发电配电网中的分布式储能经济优化配置方法 | |
| CN104578091A (zh) | 一种含多源电网的无延时最优无功协调控制系统及方法 | |
| Bouderres et al. | Optimization of Fractional Order PI Controller by PSO Algorithm Applied to a GridConnected Photovoltaic System. | |
| CN104659798A (zh) | 基于模糊神经网络的风电混合储能系统及其优化方法 | |
| Yin et al. | Expandable deep width learning for voltage control of three-state energy model based smart grids containing flexible energy sources | |
| Bakır et al. | A novel optimal power flow model for efficient operation of hybrid power networks | |
| Raza et al. | Robust nonlinear control of regenerative fuel cell, supercapacitor, battery and wind based direct current microgrid | |
| CN114977274A (zh) | 一种配电网多目标域间协同分布式优化控制方法 | |
| CN111478335B (zh) | 一种计及分布式光伏的配电网潮流计算方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |