CN114679066B - 基于深度强化学习及反步控制的双有源全桥变换器非线性控制方法 - Google Patents

基于深度强化学习及反步控制的双有源全桥变换器非线性控制方法 Download PDF

Info

Publication number
CN114679066B
CN114679066B CN202210472110.2A CN202210472110A CN114679066B CN 114679066 B CN114679066 B CN 114679066B CN 202210472110 A CN202210472110 A CN 202210472110A CN 114679066 B CN114679066 B CN 114679066B
Authority
CN
China
Prior art keywords
double
bridge converter
active full
control
bridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210472110.2A
Other languages
English (en)
Other versions
CN114679066A (zh
Inventor
贾燕冰
孟祥齐
赵佩
武涵
任春光
王磊
韩肖清
孟润泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202210472110.2A priority Critical patent/CN114679066B/zh
Publication of CN114679066A publication Critical patent/CN114679066A/zh
Application granted granted Critical
Publication of CN114679066B publication Critical patent/CN114679066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02M—APPARATUS FOR CONVERSION BETWEEN AC AND AC, BETWEEN AC AND DC, OR BETWEEN DC AND DC, AND FOR USE WITH MAINS OR SIMILAR POWER SUPPLY SYSTEMS; CONVERSION OF DC OR AC INPUT POWER INTO SURGE OUTPUT POWER; CONTROL OR REGULATION THEREOF
    • H02M3/00—Conversion of dc power input into dc power output
    • H02M3/22—Conversion of dc power input into dc power output with intermediate conversion into ac
    • H02M3/24—Conversion of dc power input into dc power output with intermediate conversion into ac by static converters
    • H02M3/28—Conversion of dc power input into dc power output with intermediate conversion into ac by static converters using discharge tubes with control electrode or semiconductor devices with control electrode to produce the intermediate ac
    • H02M3/325—Conversion of dc power input into dc power output with intermediate conversion into ac by static converters using discharge tubes with control electrode or semiconductor devices with control electrode to produce the intermediate ac using devices of a triode or a transistor type requiring continuous application of a control signal
    • H02M3/335—Conversion of dc power input into dc power output with intermediate conversion into ac by static converters using discharge tubes with control electrode or semiconductor devices with control electrode to produce the intermediate ac using devices of a triode or a transistor type requiring continuous application of a control signal using semiconductor devices only
    • H02M3/3353—Conversion of dc power input into dc power output with intermediate conversion into ac by static converters using discharge tubes with control electrode or semiconductor devices with control electrode to produce the intermediate ac using devices of a triode or a transistor type requiring continuous application of a control signal using semiconductor devices only having at least two simultaneously operating switches on the input side, e.g. "double forward" or "double (switched) flyback" converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02M—APPARATUS FOR CONVERSION BETWEEN AC AND AC, BETWEEN AC AND DC, OR BETWEEN DC AND DC, AND FOR USE WITH MAINS OR SIMILAR POWER SUPPLY SYSTEMS; CONVERSION OF DC OR AC INPUT POWER INTO SURGE OUTPUT POWER; CONTROL OR REGULATION THEREOF
    • H02M7/00—Conversion of ac power input into dc power output; Conversion of dc power input into ac power output
    • H02M7/02—Conversion of ac power input into dc power output without possibility of reversal
    • H02M7/04—Conversion of ac power input into dc power output without possibility of reversal by static converters
    • H02M7/12—Conversion of ac power input into dc power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode
    • H02M7/21—Conversion of ac power input into dc power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal
    • H02M7/217—Conversion of ac power input into dc power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only
    • H02M7/219—Conversion of ac power input into dc power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only in a bridge configuration
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02M—APPARATUS FOR CONVERSION BETWEEN AC AND AC, BETWEEN AC AND DC, OR BETWEEN DC AND DC, AND FOR USE WITH MAINS OR SIMILAR POWER SUPPLY SYSTEMS; CONVERSION OF DC OR AC INPUT POWER INTO SURGE OUTPUT POWER; CONTROL OR REGULATION THEREOF
    • H02M7/00—Conversion of ac power input into dc power output; Conversion of dc power input into ac power output
    • H02M7/42—Conversion of dc power input into ac power output without possibility of reversal
    • H02M7/44—Conversion of dc power input into ac power output without possibility of reversal by static converters
    • H02M7/48—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode
    • H02M7/53—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal
    • H02M7/537—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only, e.g. single switched pulse inverters
    • H02M7/5387—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only, e.g. single switched pulse inverters in a bridge configuration
    • H02M7/53871—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only, e.g. single switched pulse inverters in a bridge configuration with automatic control of output voltage or current
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02M—APPARATUS FOR CONVERSION BETWEEN AC AND AC, BETWEEN AC AND DC, OR BETWEEN DC AND DC, AND FOR USE WITH MAINS OR SIMILAR POWER SUPPLY SYSTEMS; CONVERSION OF DC OR AC INPUT POWER INTO SURGE OUTPUT POWER; CONTROL OR REGULATION THEREOF
    • H02M7/00—Conversion of ac power input into dc power output; Conversion of dc power input into ac power output
    • H02M7/42—Conversion of dc power input into ac power output without possibility of reversal
    • H02M7/44—Conversion of dc power input into ac power output without possibility of reversal by static converters
    • H02M7/48—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode
    • H02M7/53—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal
    • H02M7/537—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only, e.g. single switched pulse inverters
    • H02M7/539—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only, e.g. single switched pulse inverters with automatic control of output wave form or frequency
    • H02M7/5395—Conversion of dc power input into ac power output without possibility of reversal by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only, e.g. single switched pulse inverters with automatic control of output wave form or frequency by pulse-width modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Dc-Dc Converters (AREA)

Abstract

本发明公开了一种基于深度强化学习及反步控制的双有源全桥变换器非线性控制方法。该方法采用反步控制保证双有源全桥变换器的大信号稳定性，采用DDPG算法，根据其判断网络给出的分值来调整动作网络的输出控制信号，与反步控制信号叠加得到最终的控制信号，改善了双有源全桥变换器跟踪精度，动态性能及自适应性。本发明解决了传统双有源全桥变换器控制方法无法保证大信号稳定性，跟踪精度，动态性能及自适应性有待改善的问题。本发明适用于双有源全桥变换器，具有良好的技术经济性。

Description

基于深度强化学习及反步控制的双有源全桥变换器非线性控 制方法
技术领域
本发明涉及双有源全桥变换器技术领域，具体为一种基于深度强化学习及反步控制的双有源全桥变换器的非线性控制方法。
背景技术
要构建清洁低碳安全高效的能源体系，控制化石能源总量，实施可再生能源替代行动，构建以新能源为主体的新型电力系统。新能源以直流微电网形式接入电力系统将是其利用的重要途径。
双有源全桥变换器是新能源、储能装置、直流负荷等直流源荷设备接入直流微电网的关键设备，对维持直流母线电压稳定和微电网稳定运行起着重要作用。同时为了适应分布式可再生能源和各种负荷接入电网，双有源全桥变换器作为电网中关键的变换器设备，对于维持电网母线电压稳定，保证电网的正常运行起着非常重要的作用。
对于双有源全桥变换器的控制，现阶段有文献通过分析变换器的小信号数学模型，推导得到变换器的传递函数，提出了PI策略使得输出电压保持稳定。但此方法无法处理大信号扰动和非线性问题，不能保证全局稳定；为提升变换器的大信号稳定性，有文献提出了模型预测方法，但此控制方法增加了计算量。同时有学者提出非线性电压电流控制策略来改善系统的大新号稳定性，但是该控制方法跟踪精度有待提高。有文献提出了滑膜控制方法来提高大信号稳定性，然而其跟踪精度及动态性能改善需要改善，没有学习能力，其自适应性有待提高。因此，现阶段的双有源全桥变换器的控制方法有诸多的缺点。
发明内容
本发明为了解决传统双有源全桥变换器控制方法大信号稳定性，动态性能及自适应性有待改善的问题，针对现有控制策略的缺陷，提出了一种基于深度强化学习及反步控制的双有源全桥变换器的非线性控制方法。
本发明是采用如下技术方案实现的：
双有源全桥变换器包括逆变全桥和整流全桥，两桥臂通过辅助电感L和变压器组成的磁性网络相连接，变压器变比为k:1；直流侧通过并联滤波电容Ci连接逆变全桥，整流全桥的输出侧与电容器Co并联；双有源全桥变换器的开关频率为f。
本发明是一种基于深度强化学习及反步控制的双有源全桥变换器的非线性控制方法，首先采用反步控制来提高双有源全桥变换器的大信号稳定性，在此基础上加入深度强化学习子控制器来改善双有源全桥变换器的动态性能、跟踪精度及自适应性。
具体包括如下步骤：
步骤一、反步控制中，首先将双有源全桥变换器进行大信号模型推导，以总能量及其变化率为状态变量得到如式(1)所示的Brunovsky 标准形状态方程：
其中，
其中，Ui和Uo分别为双有源全桥变换器的输入电压和输出电压， Us双有源全桥变换器的输入电压源，Rs为输入电阻，R0为虚值电阻， PCPL为恒功率负载；R为输出电阻负载；分别表示状态量x1和 x2的一阶导数。
设置x1*为
其中，Uiref和Uoref分别为双有源全桥变换器的输入电压和输出电压的参考值，随后将状态量x1和x2与其参考值x1*和x2*之间的误差表示为
e1＝x1 *-x1 (7)
e2＝x2 *-x2 (8)
之后根据李雅普诺夫稳定性判据，设置x2*为
其中，k1是控制系数；表示x1*的一阶导数；
最后经过反步计算得到控制量u
其中，k2是控制系数；表示x1*的二阶导数；/>表示d1的一阶导数；/>表示e1的一阶导数。
由u得到双有源全桥变换器的控制移相比D如式(11)：
步骤二、基于深度强化学习的子控制器，采用深度强化学习中的 DDPG算法产生双有源全桥变换器的控制信号。
首先输入状态量S{Uo,e,(de/dt)}，其包括输出电压的实际值Uo，输出电压参考值Uoref与其输出侧的电压实际值Uo的差值e，差值的微分(de/dt)；通过DDPG的动作网络产生动作值A(Dc)。
之后通过判断网络判断动作的奖励r大小，进而调整动作网络的动作值，最终使得输出电压误差最小化得到期望的奖励分数；其奖励函数设置为则输出电压误差越小奖励越大，该算法根据奖励函数的大小来调整输出的控制信号Dc，最终使得奖励函数最大。
然后将输出值Dc补充至反步控制的输出信号D得到最终控制信号Da，表示为Da(t)＝D(t)+Dc(t)；此时输出电压误差最小，有效的改善了双有源全桥变换器的动态性能，跟踪精度和自适应能力。
本发明所述的基于深度强化学习及反步控制的双有源全桥变换器的非线性控制方法，采用反步控制来保证双有源全桥变换器大信号稳定性，之后采用深度强化学习中的DDPG算法，根据其判断网络给出的分值来调整动作网络的输出控制信号，进而产生双有源全桥变换器的控制信号，与反步控制信号叠加得到最终的控制信号，改善了双有源全桥变换器的跟踪精度、动态性能及自适应性。
与现有技术相比，本发明方法所具有的优点与积极效果在于：
1、有效的改善了双有源全桥变换器的动态性能和跟踪精度，提高了双有源全桥变换器的效率。
2、由于使用的深度强化学习算法具有学习能力，提高了双有源全桥变换器的自适应性和可靠性。
3、使用反步非线性控制方法，提高了双有源全桥变换器的大信号稳定性。
本发明设计合理，适用于双有源全桥变换器，具有良好的技术经济性，具有很好的实际应用价值。
附图说明
图1表示本发明所涉及DDPG算法的结构图。
图2表示本发明所涉及基于深度强化学习及反步控制的双有源全桥变换器的非线性控制框图。
图3表示本发明所涉及DDPG算法的神经网络结构图。
图4表示本发明所涉及双有源全桥变换器结构图。
具体实施方式
下面结合附图对本发明的具体实施例进行详细说明。
本发明控制方法为了提高双有源全桥变换器在大信号干扰下的稳定性，提出了一种基反步控制的非线性控制的方法。同时，加入基于深度强化学习的DDPG子控制器，智能地提高双有源全桥变换器的动态性能及跟踪精度，使输出电压跟踪误差最小化。并且由于DDPG 的学习能力，提高了变换器的自适应性。
一种基于深度强化学习及反步控制的双有源全桥变换器的非线性控制方法，如图2所示，首先通过反步控制输出控制信号D来保证双有源全桥变换器的大信号稳定性，然后加入深度强化学习子控制器，来改善双有源全桥变换器的跟踪精度、动态性能以及自适应性。其通过动作网络产生动作值A(Dc)，之后通过判断网络判断动作的奖励 r大小，进而调整动作网络的动作值，最终使得输出电压误差最小化得到好的跟踪精度，动态性能。由于深度强化学习子控制器具有学习能力，其可以提高双有源全桥变换器的自适应性。具体实施如下：
步骤一、反步控制
首先将双有源全桥变换器进行大信号模型推导，以总能量及其变化率为状态变量得到如式(1)所示的Brunovsky标准形状态方程：
其中，
其中，Ui和Uo分别为双有源全桥变换器的输入电压和输出电压， Us双有源全桥变换器的输入电压源，Rs为输入电阻，R0为虚值电阻，PCPL为恒功率负载；R为输出电阻负载。
设置x1*为
其中，Uiref和Uoref分别为双有源全桥变换器的输入电压和输出电压的参考值，随后将状态量x1和x2与其参考值x1*和x2*之间的误差表示为
e1＝x1 *-x1 (7)
e2＝x2 *-x2 (8)
之后根据李雅普诺夫稳定性判据，设置x2*为
其中，k1是控制系数。
最后经过反步计算得到控制量u
其中，k2是控制系数。
由u得到双有源全桥变换器的控制移相比D如式(11)：
将双有源全桥变换器的状态量x1、x2、d1、d2、x1*输入至反步控制器中，由式(7)～(11)可得到输出控制信号D，保证其大信号稳定性。
步骤二、深度强化学习子控制
采用深度强化学习中的DDPG算法产生双有源全桥变换器的控制信号。首先输入状态量S{Uo,e,(de/dt)}，其包括输出电压的实际值 Uo、输出电压参考值Uoref与其输出侧的电压实际值Uo的差值e、差值的微分(de/dt)，通过DDPG的动作网络产生动作值A(Dc)；之后通过判断网络判断动作的奖励r大小，进而调整动作网络的动作值，最终使得输出电压误差最小化得到期望的奖励分数；其奖励函数设置为则输出电压误差越小奖励越大，该算法根据奖励函数的大小来调整输出的控制信号Dc，最终使得奖励函数最大。然后将输出值Dc补充至反步控制的输出信号D得到最终控制信号Da，表示为Da(t)＝D(t)+Dc(t)。此时输出电压误差最小，有效的改善了双有源全桥变换器的跟踪精度，动态性能及自适应性。
具体实施时，如图4所示，双有源全桥变换器包括逆变全桥H1 和整流全桥H2，两桥臂通过辅助电感L和变压器组成的磁性网络相连接，即T为高频变压器，变压器变比为k:1，其原、副边分别与全桥电路H1、H2连接。Ci和Co为各模块输入电容及输出电容，直流侧通过并联滤波电容Ci连接逆变全桥，整流全桥的输出侧与电容器 Co并联。双有源全桥变换器的开关频率为f。高频变压器提供电气隔离和电压变换的功能，辅助电感提供暂态能量存储功能，桥臂上的每一个全控开关管都反并联着一个二极管，为能量的双向流动提供了通路。
如图1所示，DDPG算法包括动作网络和判断网络，首先状态量 S通过动作网络产生动作值A，之后通过判断网络判断动作的奖励大小r，进而调节动作网络的动作值，最终最小化误差得到期望的奖励分数。
如图2所示，将状态量x1，x2，d1，d2，x1*输入至反步控制器中，由式(7)～(11)可得到输出控制信号D。深度强化学习中的DDPG 算法产生双有源全桥变换器的控制信号。首先输入状态量S{Uo,e, (de/dt)}，其包括输出电压的实际值Uo，输出电压参考值Uoref与其输出侧的电压实际值Uo的差值e，和差值的微分(de/dt)。DDPG算法采用判断和动作网络，判断网络来判断此时动作的好坏，动作网络根据判断网络的状态调节动作信号。通过DDPG的动作网络产生动作值A (Dc)，之后通过判断网络判断动作的奖励大小，进而调整动作网络的动作值，最终使得输出电压误差最小化得到期望的奖励分数。深度强化学习子控制器产生辅助控制信号Dc，最后叠加到反步控制信号中得到最终控制信号Da(t)＝D(t)+Dc(t)来调节控制器输出脉冲PWM驱动信号，进而调节双有源全桥变换器输出电压，使其跟踪精度，动态性能及自适应性更好。
本发明采用的DDPG算法建立了两个四层神经网络。它们分别是动作网络和判断网络，结构相似，功能却不相同，如图3所示，左边是动作的神经网络架构，参与者评估网络的输入层有三个神经元，对应于三个输入节点，即输出电压Uo、输出电压误差值以及误差的一阶导数。输出目标网络的动作值为at。动作网络包含三个隐藏层，第一层和第二层中均包含80个神经元，第三层中包含60个神经元。图3中右半部分是判断网络的神经网络架构，输入层中包含有四个神经元，相当于四个输入节点，与动作网络输入层不同的是多了一个输入的动作值。目标网络输出的是状态动作值函数Q。判断网络中同样包含三个隐藏层，第一层和第二层中均包含80个神经元，第三层中有 60个神经元。在动作网络中输入状态量为{Uo,e,(de/dt)}，其包括输出电压的实际值Uo，输出电压参考值Uoref与其输出侧的电压实际值Uo的差值e，和差值的微分(de/dt)。输出为动作值at(Dc)。判断网络的输入为动作网络的输出值at与状态量{Uo,e,(de/dt)}，最终输出奖励值来r(t)判断动作的好坏。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照本发明实施例进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明的技术方案的精神和范围，其均应涵盖本发明的权利要求保护范围中。

Claims (1)

1.一种基于深度强化学习及反步控制的双有源全桥变换器非线性控制方法，其中，双有源全桥变换器包括逆变全桥和整流全桥，两桥臂通过辅助电感L和变压器组成的磁性网络相连接，变压器变比为k:1；直流侧通过并联滤波电容Ci连接逆变全桥，整流全桥的输出侧与电容器Co并联；双有源全桥变换器的开关频率为f；
其特征在于：首先采用反步控制来提高双有源全桥变换器的大信号稳定性，在此基础上加入深度强化学习子控制器来改善双有源全桥变换器的动态性能、跟踪精度及自适应性；具体包括如下步骤：
步骤一、反步控制中，首先将双有源全桥变换器进行大信号模型推导，以总能量及其变化率为状态变量得到如式(1)所示的Brunovsky标准形状态方程：
其中，
其中，Ui和Uo分别为双有源全桥变换器的输入电压和输出电压，Us双有源全桥变换器的输入电压源，Rs为输入电阻，R0为虚值电阻，PCPL为恒功率负载；R为输出电阻负载；
设置x1*为
其中，Uiref和Uoref分别为双有源全桥变换器的输入电压和输出电压的参考值，随后将状态量x1和x2与其参考值x1*和x2*之间的误差表示为
e1＝x1 *-x1 (7)
e2＝x2 *-x2 (8)
之后根据李雅普诺夫稳定性判据，设置x2*为
其中，k1是控制系数；
最后经过反步计算得到控制量u
其中，k2是控制系数；
由u得到双有源全桥变换器的控制移相比D如式(11)：
步骤二、基于深度强化学习的子控制器，采用深度强化学习中的DDPG算法产生双有源全桥变换器的控制信号；
首先输入状态量S{Uo,e,(de/dt)}，其包括输出电压的实际值Uo，输出电压参考值Uoref与其输出侧的电压实际值Uo的差值e，差值的微分(de/dt)；通过DDPG的动作网络产生动作值A(Dc)；
之后通过判断网络判断动作的奖励r大小，进而调整动作网络的动作值，最终使得输出电压误差最小化得到期望的奖励分数；其奖励函数设置为则输出电压误差越小奖励越大，该算法根据奖励函数的大小来调整输出的控制信号Dc，最终使得奖励函数最大；
然后将输出值Dc补充至反步控制的输出信号D得到最终控制信号Da，表示为Da(t)＝D(t)+Dc(t)；此时输出电压误差最小。
CN202210472110.2A 2022-04-29 2022-04-29 基于深度强化学习及反步控制的双有源全桥变换器非线性控制方法 Active CN114679066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210472110.2A CN114679066B (zh) 2022-04-29 2022-04-29 基于深度强化学习及反步控制的双有源全桥变换器非线性控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210472110.2A CN114679066B (zh) 2022-04-29 2022-04-29 基于深度强化学习及反步控制的双有源全桥变换器非线性控制方法

Publications (2)

Publication Number Publication Date
CN114679066A CN114679066A (zh) 2022-06-28
CN114679066B true CN114679066B (zh) 2024-03-22

Family

ID=82079253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210472110.2A Active CN114679066B (zh) 2022-04-29 2022-04-29 基于深度强化学习及反步控制的双有源全桥变换器非线性控制方法

Country Status (1)

Country Link
CN (1) CN114679066B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853046A (zh) * 2014-02-14 2014-06-11 广东工业大学 一种压电陶瓷驱动器的自适应学习控制方法
US10673343B1 (en) * 2019-01-31 2020-06-02 Shanhai Jiao Tong University Diode clamp mixed three-level dual active full-bridge converter and control method thereof
CN111600492A (zh) * 2020-06-12 2020-08-28 电子科技大学 一种双有源全桥直流变换器的效率优化控制方法
CN113098315A (zh) * 2021-04-01 2021-07-09 太原理工大学 基于虚拟频率的双向交直流变换器控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10985572B2 (en) * 2018-10-01 2021-04-20 Geiri Co Ltd, State Grid Jiangxi Electric Power Co, State Grid Corp of China SGCC, GEIRINA Optimal charging and discharging control for hybrid energy storage system based on reinforcement learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853046A (zh) * 2014-02-14 2014-06-11 广东工业大学 一种压电陶瓷驱动器的自适应学习控制方法
US10673343B1 (en) * 2019-01-31 2020-06-02 Shanhai Jiao Tong University Diode clamp mixed three-level dual active full-bridge converter and control method thereof
CN111600492A (zh) * 2020-06-12 2020-08-28 电子科技大学 一种双有源全桥直流变换器的效率优化控制方法
CN113098315A (zh) * 2021-04-01 2021-07-09 太原理工大学 基于虚拟频率的双向交直流变换器控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种适用于软开关全桥PWM变换器的非线性控制新策略;柳玉秀, 许峰, 徐殿国;电子器件;20031015(第03期);全文 *
能量路由器中双有源桥直流变换器多目标优化控制策略;周兵凯;杨晓峰;张智;李泽杰;郑琼林;Pavel Kobrle;;电工技术学报;20200722(第14期);全文 *

Also Published As

Publication number Publication date
CN114679066A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN108023352B (zh) 抑制分布式发电谐振的电网高频阻抗重塑装置及方法
CN108039821B (zh) 双有源全桥dc-dc变换器的电流应力优化双相移控制方法
CN108512452B (zh) 一种直流微电网并网变换器电流的控制系统及控制方法
CN106230257A (zh) 一种双向直流变换器反馈线性化反步滑模控制方法
CN110021960A (zh) 一种基于模型预测控制的孤岛微电网电压频率控制方法
Zhang et al. Optimal triple-phase-shift controller design of isolated bidirectional DC-DC converter based on ant colony algorithm and BP neural network
CN117097189A (zh) 一种光伏逆变器的控制方法
Tiwary et al. Fuzzy logic based direct power control of dual active bridge converter
Su et al. A decentralized power allocation strategy for dynamically forming multiple hybrid energy storage systems aided with power buffer
Yu et al. Multi-step predictive current control for NPC grid-connected inverter
CN114744886B (zh) 一种双有源全桥变换器的智能pi控制方法
CN114679066B (zh) 基于深度强化学习及反步控制的双有源全桥变换器非线性控制方法
Ashfaq et al. Control strategies for bidirectional DC-DC converters: an overview
Zhu et al. Topology and operation mechanism of monopolarto-bipolar DC-DC converter interface for DC grid
CN110518625B (zh) 一种可变学习率bp-pid控制的并网逆变器直流分量抑制方法
Mahazabeen et al. Enhancing EV charger resilience with reinforcement learning aided control
CN115987086A (zh) 基于神经网络的单开关直流-直流变换器在线控制方法
CN115685747A (zh) 一种基于残差神经网络优化的模型预测控制方法
Yu et al. Deep-learning-based steady-state modeling and model predictive control for CLLC DC-DC resonant converter in dc distribution system
CN110601579B (zh) 一种三电平逆变器模型预测直接功率控制方法
CN106411167A (zh) 一种基于自冗余状态预测的mmc环流抑制系统及方法
Ajay Kumar et al. An adaptive neuro fuzzy inference system controlled space cector pulse width modulation based HVDC light transmission system under AC fault conditions
Wang et al. A robust voltage control of dual active full bridge converter based on RBF neural network sliding mode control with reduced order modeling approach
CN117410953B (zh) 双极性直流微电网电压平衡器的控制器设计方法
WO2024159591A1 (zh) 一种dab变换器的高频变压器漏感参数估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant