CN111600492A - 一种双有源全桥直流变换器的效率优化控制方法 - Google Patents

Abstract

本发明公开了一种双有源全桥直流变换器的效率优化控制方法，先设置双有源全桥直流变换器的工作状态，然后在工作状态下通过多组输入侧电压V₁、输出侧电压V₂和期望的传输功率P进行线下训练，以获得双有源全桥直流变换器在最低损耗下的多组三重移相控制变量，并整合成强化学习模型，最后，在实际使用中，通过对双有源全桥直流变换器的V₁，V₂，P进行采样，根据采样值的实际大小调用强化学习模型，或完善强化学习模型，并根据最终的三重移相控制变量实现双有源全桥直流变换器的效率优化控制。

Description

一种双有源全桥直流变换器的效率优化控制方法

技术领域

本发明属于直流变换器控制技术领域，更为具体地讲，涉及一种双有源全桥直流变换器的效率优化控制方法。

背景技术

双有源桥全桥(dual-active-bridge,DAB型)直流变换器是在20世纪90年代初首次提出的，如图1所示，它包含一个高频电源变压器，一个串联电感，一个输入侧全桥和一个输出侧全桥。双有源全桥变换器作为目前最流行的双向拓扑结构之一，其具有电气隔离、高功率密度、宽电压传输范围和易于实现软开关等优点，广泛应用于电动汽车、智能电网和可再生能源系统等领域。

传统的双有源全桥直流变换器的多重移相控制方式中，如图2所示，每个桥臂中的两个开关器件采用互补的开关模式，每个开关器件的导通相位均为180°(忽略死区时间)。通过控制四个桥臂间的开关相位差来控制传输功率的大小。此种控制方式具有多个移相控制变量，通过各个移相控制变量的组合，可以保证在一定的传输功率前提下，减小双有源全桥直流变换器的损耗以提升双有源全桥直流变换器的效率。但是这类控制方式存在多个移相控制变量，使得最优效率的求解难度和控制的复杂度非常大。

以三重移相控制为例，给定输入侧电压V₁和输出侧电压V₂，在开关频率不变的情况下，有多达三个控制变量，如图2所示，包括第二个桥臂与第一个桥臂间的开关相位差，第三个桥臂与第一个桥臂间的开关相位差，第四个桥臂与第一个桥臂间的开关相位差。在传统的多重移相控制方式中，找出最优的一组移相控制变量，使得降低功率器件损耗和提升双有源全桥直流变换器的效率是非常困难的。并且在闭环控制器中，如何设计闭环控制器结构来使得控制变量逼近最优控制变量组合也是很难实现的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种双有源全桥直流变换器的效率优化控制方法，通过强化学习方法训练出控制双有源全桥直流变换器的移相控制变量，进而实现双有源全桥直流变换器的优化控制。

为实现上述发明目的，本发明公开一种双有源全桥直流变换器的效率优化控制方法，其特征在于，包括以下步骤：

(1)、设置双有源全桥直流变换器的工作状态；

(1.1)、根据双有源全桥直流变换器的工作状态，设置双有源全桥直流变换器输入侧电压V₁的范围、输出侧电压V₂的范围和期望的传输功率P的范围，并根据上述范围设置变压器型号、电感型号、开关管型号、滤波电容型号和开关频率；

(1.2)、设置双有源全桥直流变换器中第二个桥臂与第一个桥臂间的开关相位差D₁、第三个桥臂与第一个桥臂间的开关相位差D₂和第四个桥臂与第一个桥臂间的开关相位差D₃的约束条件，约束条件为：D₁、D₂和D₃均属于[-1,1]；

(2)、构建关于环境变量[V₁、V₂、P]的三维矩阵；

根据V₁、V₂和P设置的范围，分别对V₁、V₂和P进行等间隔取值，保证三种数据的取值个数相等；用取出的V₁、V₂和P建立一个三维的矩阵H，将矩阵中所对应的位置定义为[i，j，k]，分别对应V₁、V₂和P；

(3)、利用Q-learning算法训练强化学习模型；

(3.1)、设置强化学习的目标函数

其中，P_{A_Loss}(D₁,D₂,D₃)表示损耗计算公式，ΔP(D₁,D₂,D₃)表示功率误差，ΔP(D₁,D₂,D₃)＝(P-P_o)²，P_o表示强化学习过程中的传递功率，

表示补偿系数；ΔP(D₁,D₂,D₃)＝(P-P_o)²；

设置状态空间S＝[D₁,D₂,D₃]，动作空间A＝{C_D1,C_D2,C_D3}，其中，C_Di'＝[0,±1]×δ，i'＝1,2,3，δ为常数；当前状态量s为D₁、D₂和D₃所对应的值，当前动作量a为C_D1、C_D2和C_D3所对应的值，下一个状态所对应的状态量为s'＝s+a；

设置强化学习过程中所使用的奖励函数为：

其中，F_ref为目标函数的参考值，F_min为目标函数的最小值；F_s为目标函数在当前状态量s下的状态值，ΔF为目标函数在相邻两个状态之间的差，ΔF＝F_s-F_p，F_P为目标函数在前一状态下的状态值；

(3.2)、设三维矩阵H[i，j，k]的总行数为h，取三维矩阵H[i，j，k]的行数命名为x，x∈[1,h]，初始化x＝1；

(3.3)、将三维矩阵H[i，j，k]中x行所取到的V₁，V₂，P所对应的值输入至Q-learning算法，运用Q-learning算法进行强化学习训练，以获得目标函数的最小值F_min(D₁,D₂,D₃)；在训练过程中，以奖励函数r(s,a)的最大值为依据不断地更新动作空间A＝{C_D1,C_D2,C_D3}，然后根据更新的动作空间A＝{C_D1,C_D2,C_D3}去更新状态空间S＝[D₁,D₂,D₃]，如此反复的更新动作空间A＝{C_D1,C_D2,C_D3}和状态空间S＝[D₁,D₂,D₃]，直到找到当前V₁、V₂和P所对应的最优当前状态量s，并作为移相控制变量[D₁、D₂、D₃]；

(3.4)、判断当前x的值是否等于h；如果不等于，则令当前x的值加1，并返回执行步骤(3.3)；否则，执行步骤(3.5)；

(3.5)、将强化学习后的所有结果整理成一个标准的强化学习模型，使得三维矩阵H[i，j，k]中的每一行数据对应训练好的一组移相控制变量[D₁、D₂、D₃]；

(4)、对双有源全桥直流变换器进行控制；

(4.1)、实时采集双有源全桥直流变换器的V₁、V₂和P，然后判断采样得到的V₁、V₂和P所对应的值是否在步骤(1.1)中所定义的范围内；如果是，执行步骤(4.2)，否则，执行步骤(4.3)；

(4.2)、将采样得到的V₁、V₂和P所对应的值在步骤(3.5)中强化学习模型中进行搜索，并将数值最接近的V₁、V₂和P所对应的一组移相控制变量(D₁，D₂，D₃)取出，然后根据该组移相控制变量对双有源全桥直流变换器进行优化控制；

(4.3)、将采样得到的V₁、V₂和P所对应的值保存至三维矩阵H[i，j，k]的第x+1行，然后执行步骤(3.3)；再将得到的一组移相控制变量[D₁、D₂、D₃]添加至标准的强化学习模型中，同时根据该组移相控制变量对双有源全桥直流变换器进行优化控制。

本发明的发明目的是这样实现的：

本发明一种双有源全桥直流变换器的效率优化控制方法，先设置双有源全桥直流变换器的工作状态，然后在工作状态下通过多组输入侧电压V₁、输出侧电压V₂和期望的传输功率P进行线下训练，以获得双有源全桥直流变换器在最低损耗下的多组三重移相控制变量，并整合成强化学习模型，最后，在实际使用中，通过对双有源全桥直流变换器的V₁，V₂，P进行采样，根据采样值的实际大小调用强化学习模型，或完善强化学习模型，并根据最终的三重移相控制变量实现双有源全桥直流变换器的效率优化控制。

同时，本发明一种双有源全桥直流变换器的效率优化控制方法还具有以下有益效果：

(1)、本发明运用强化学习的方法对双有源全桥直流变换器的V₁、V₂和P各种值进行训练，能够很容易地找出对应的最优的一组移相控制变量，使得降低功率器件损耗和提升双有源全桥直流变换器的效率；

(2)、在闭环控制中，通过将采样得到的V₁、V₂和P所对应的值在训练好强化学习模型中进行搜索，可以将数值最接近的V₁、V₂和P所对应的一组移相控制变量(D₁，D₂，D₃)取出，然后根据该组移相控制变量对双有源全桥直流变换器进行优化控制，因此在闭环控制中使得控制变量是非常接近最优控制变量；

(3)、当实时采集双有源全桥直流变换器的V₁、V₂和P所对应的值不在事先定义好的范围内时，可通过在线进行强化学习训练的方式，训练获得的移相控制变量(D₁，D₂，D₃)可以实现实时的控制双有源全桥直流变换器。

附图说明

图1是双有源全桥直流变换器的拓扑结构图；

图2是双有源直流变换器的部分电压和电流波形图；

图3是本发明基于强化学习的双有源全桥直流变换器的效率优化控制结构图；

图4是损耗仿真对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

在本实施例中，如图1所示，双有源全桥直流变换器包含一个高频电源变压器，一个串联电感，一个输入侧全桥和一个输出侧全桥。其中输入侧全桥包括两个桥臂，即桥臂1和桥臂2；桥臂1中包括2个开关器件，即开关器件S₁和开关器件S₂；桥臂2中包括2个开关器件，即开关器件S₃和开关器件S₄；输出侧全桥包括两个桥臂，即桥臂3和桥臂4；桥臂3中包括2个开关器件，即开关器件S₅和开关器件S₆；桥臂4中包括2个开关器件，即开关器件S₇和开关器件S₈；每个桥臂中的两个开关器件采用互补的开关模式，每个开关器件的导通相位均为180°(忽略死区时间)。

如图2所示，第二个桥臂与第一个桥臂间的开关相位差为D₁，第三个桥臂与第一个桥臂间的开关相位差为D₂，第四个桥臂与第一个桥臂间的开关相位差为D₃。V_AB为输入全桥两个桥臂中间点的电压差，V_CD为输出全桥两个桥臂中间点的电压差，为变压器的变比n：1，V'_CD为V_CD等效到变压器原边的电压，V_AB的幅值等于V₁，V'_CD的幅值等于nV₂，T_s为一个周期所对应的时间，T_h为半个周期所对应的时间，D₁T_h为第二个桥臂与第一个桥臂间的移相时间，D₂T_h为第三个桥臂与第一个桥臂间的移相时间，D₃T_h为第四个桥臂与第一个桥臂间的移相时间，i_Lk为流过串联电感的电流。t_i(i＝1，2，3，4，5，6，7，8)表示各个时刻所对应的时间。

图3是本发明一种双有源全桥直流变换器的效率优化控制方法流程图。

在本实施例中，如图3所示，本发明一种双有源全桥直流变换器的效率优化控制方法，包括以下步骤：

S1、设置双有源全桥直流变换器的工作状态；

S1.1、根据双有源全桥直流变换器的工作状态，设置双有源全桥直流变换器输入侧电压V₁的范围、输出侧电压V₂的范围和期望的传输功率P的范围，并根据上述范围设置变压器型号、电感型号、开关管型号、滤波电容型号和开关频率；在本实施例中，设输入侧电压V₁的范围为180V～240V，输出侧电压V₂的范围为200V～220V，传输功率P的范围为0W～1200W，高频电源变压器的变比为1：1，串联电感的大小选择为31μH，变换器的开关频率为100KHz，所有的开关器件都是用英飞凌公司生产的IPP60R099型号MOSFET。

S1.2、设置双有源全桥直流变换器中第二个桥臂与第一个桥臂间的开关相位差D1、第三个桥臂与第一个桥臂间的开关相位差D2和第四个桥臂与第一个桥臂间的开关相位差D3的约束条件，约束条件为：D1、D2和D3均属于[-1,1]；

S2、构建关于环境变量[V₁、V₂、P]的三维矩阵；

根据V₁、V₂和P设置的范围，分别对V₁、V₂和P进行等间隔取值，保证三种数据的取值个数相等；用取出的V₁、V₂和P建立一个三维的矩阵H，将矩阵中所对应的位置定义为[i，j，k]，分别对应V₁、V₂和P；为了保证闭环控制的精度，V₁、V₂和P的取值间隔均设置为0.1；

S3、利用Q-learning算法训练强化学习模型；

强化学习方法是以双有源全桥直流变换器的损耗为目标，对一定范围的输入侧电压V₁，输出侧电压V₂和期望的传输功率P进行线下训练以获得最低损耗所对应的三重移相控制变量[D₁、D₂、D₃]，具体过程为：

S3.1、设置强化学习的目标函数

其中，P_{A_Loss}(D₁,D₂,D₃)表示损耗计算公式，ΔP(D₁,D₂,D₃)表示功率误差，ΔP(D₁,D₂,D₃)＝(P-P_o)²，P_o表示强化学习过程中的传递功率，

表示补偿系数；ΔP(D₁,D₂,D₃)＝(P-P_o)²；

设置状态空间S＝[D₁,D₂,D₃]，动作空间A＝{C_D1,C_D2,C_D3}，其中，C_Di'＝[0,±1]×δ，i'＝1,2,3，δ为常数，优选δ＝0.001；当前状态量s为D₁、D₂和D₃所对应的值，当前动作量a为C_D1、C_D2和C_D3所对应的值，下一个状态所对应的状态量为s'＝s+a；

设置强化学习过程中所使用的奖励函数为：

其中，F_ref为目标函数的参考值，F_min为目标函数的最小值；F_s为目标函数在当前状态量s下的状态值，ΔF为目标函数在相邻两个状态之间的差，ΔF＝F_s-F_p，F_P为目标函数在前一状态下的状态值；

S3.2、设三维矩阵H[i，j，k]的总行数为h，若V₁、V₂和P的取值间隔均设置为0.1，则h＝144×10⁷，取三维矩阵H[i，j，k]的行数命名为x，x∈[1,h]，初始化x＝1；

S3.3、将三维矩阵H[i，j，k]中x行所取到的V₁，V₂，P所对应的值输入至Q-learning算法，运用Q-learning算法进行强化学习训练以获得目标函数的最小值F_min(D₁,D₂,D₃)。在训练过程中，以奖励函数r(s,a)的最大值为依据不断地更新动作空间A＝{C_D1,C_D2,C_D3}；然后根据更新的动作空间A＝{C_D1,C_D2,C_D3}去更新状态空间S＝[D₁,D₂,D₃]，如此反复的更新动作空间A＝{C_D1,C_D2,C_D3}和状态空间S＝[D₁,D₂,D₃]，直到找到当前V₁、V₂和P所对应的最优当前状态量s，并作为移相控制变量[D₁、D₂、D₃]；运用Q-learning算法对双有源全桥直流变换器的V₁、V₂和P值进行强化学习训练，能够很容易地找出最优的一组移相控制变量，使得降低功率器件损耗和提升双有源全桥直流变换器的效率；

S3.4、判断当前x的值是否等于h；如果不等于，则令当前x的值加1，并返回执行步骤S3.3；否则，执行步骤S3.5；

S3.5、将强化学习后的所有结果整理成一个标准的强化学习模型，使得三维矩阵H[i，j，k]中的每一行数据对应训练好的一组移相控制变量[D₁、D₂、D₃]；

S4、对双有源全桥直流变换器进行控制；

S4.1、实时采集双有源全桥直流变换器的V₁、V₂和P，然后判断采样得到的V₁、V₂和P所对应的值是否在步骤S1.1中所定义的范围内；如果是，执行步骤S4.2，否则，执行步骤S4.3；

S4.2、将采样得到的V₁、V₂和P所对应的值在步骤S3.5中强化学习模型中进行搜索，并将数值最接近的V₁、V₂和P所对应的一组移相控制变量[D₁、D₂、D₃]取出，然后根据该组移相控制变量对双有源全桥直流变换器进行优化控制；在闭环控制中，通过将采样得到的V₁、V₂和P所对应的值在训练好强化学习模型中进行搜索，可以将数值最接近的V₁、V₂和P所对应的一组移相控制变量(D₁，D₂，D₃)取出，然后根据该组移相控制变量对双有源全桥直流变换器进行优化控制；由于在之前的训练过程中V₁、V₂和P的取值间隔均设置为0.1；因此在闭环控制中使得控制变量非常接近最优控制变量组合的；

S4.3、将采样得到的V₁、V₂和P所对应的值保存至三维矩阵H[i，j，k]的第x+1行，然后执行步骤S3.3；再将得到的一组移相控制变量[D₁、D₂、D₃]添加至标准的强化学习模型中，同时根据该组移相控制变量对双有源全桥直流变换器进行优化控制。当实时采集双有源全桥直流变换器的V₁、V₂和P所对应的值不在事先定义好的范围内时，可通过在线进行强化学习训练的方式，训练获得的移相控制变量(D₁，D₂，D₃)可以实现实时的控制；

在本实施例中，当输出侧电压V₂为200V时，对于不同的输入侧电压V₁和传输功率P所对应损耗仿真图如图4所示，其中，图4(a)为传统多重移相控制方式所对应的不同的输入侧电压V₁和传输功率P所对应损耗仿真图，图4(b)为本发明所对应的不同的输入侧电压V₁和传输功率P所对应损耗仿真图，由图4可知本发明所提供的基于强化学习的双有源全桥直流变换器的效率优化控制方法的损耗比较低，能够提升双有源全桥直流变换器的效率。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种双有源全桥直流变换器的效率优化控制方法，其特征在于，包括以下步骤：

(1)、设置双有源全桥直流变换器的工作状态；

(1.1)、根据双有源全桥直流变换器的工作状态，设置双有源全桥直流变换器输入侧电压V₁的范围、输出侧电压V₂的范围和期望的传输功率P的范围，并根据上述范围设置变压器型号、电感型号、开关管型号、滤波电容型号和开关频率；

(1.2)、设置双有源全桥直流变换器中第二个桥臂与第一个桥臂间的开关相位差D1、第三个桥臂与第一个桥臂间的开关相位差D2和第四个桥臂与第一个桥臂间的开关相位差D3的约束条件，约束条件为：D1、D2和D3均属于[-1,1]；

(2)、构建关于环境变量[V₁、V₂、P]的三维矩阵；

根据V₁、V₂和P设置的范围，分别对V₁、V₂和P进行等间隔取值，保证三种数据的取值个数相等；用取出的V₁、V₂和P建立一个三维的矩阵H，将矩阵中所对应的位置定义为[i，j，k]，分别对应V₁、V₂和P；

(3)、利用利用Q-learning算法训练强化学习模型；

(3.1)、设置强化学习的目标函数

其中，P_{A_Loss}(D₁,D₂,D₃)表示损耗计算公式，ΔP(D₁,D₂,D₃)表示功率误差，ΔP(D₁,D₂,D₃)＝(P-P_o)²，P_o表示强化学习过程中的传递功率，

表示补偿系数；ΔP(D₁,D₂,D₃)＝(P-P_o)²；

设置状态空间S＝[D₁,D₂,D₃]，动作空间A＝{C_D1,C_D2,C_D3}，其中，C_Di'＝[0,±1]×δ，i'＝1,2,3，δ为常数；当前状态量s为D₁、D₂和D₃所对应的值，当前动作量a为C_D1、C_D2和C_D3所对应的值，下一个状态所对应的状态量为s'＝s+a；

设置强化学习过程中所使用的奖励函数为：

其中，F_ref为目标函数的参考值，F_min为目标函数的最小值；F_s为目标函数在当前状态量s下的状态值，ΔF为目标函数在相邻两个状态之间的差，ΔF＝F_s-F_p，F_P为目标函数在前一状态下的状态值；

(3.2)、设三维矩阵H[i，j，k]的总行数为h，取三维矩阵H[i，j，k]的行数命名为x，x∈[1,h]，初始化x＝1；

(3.3)、将三维矩阵H[i，j，k]中x行所取到的V₁，V₂，P所对应的值输入至Q-learning算法，运用Q-learning算法进行强化学习训练，以获得目标函数的最小值F_min(D₁,D₂,D₃)；在训练过程中，以奖励函数r(s,a)的最大值为依据不断地更新动作空间A＝{C_D1,C_D2,C_D3}，然后根据更新的动作空间A＝{C_D1,C_D2,C_D3}去更新状态空间S＝[D₁,D₂,D₃]，如此反复的更新动作空间A＝{C_D1,C_D2,C_D3}和状态空间S＝[D₁,D₂,D₃]，直到找到当前V₁、V₂和P所对应的最优当前状态量s，并作为移相控制变量[D₁、D₂、D₃]；

(3.4)、判断当前x的值是否等于h；如果不等于，则令当前x的值加1，并返回执行步骤(3.3)；否则，执行步骤(3.5)；

(3.5)、将强化学习后的所有结果整理成一个标准的强化学习模型，使得三维矩阵H[i，j，k]中的每一行数据对应训练好的一组移相控制变量[D₁、D₂、D₃]。

(4)、对双有源全桥直流变换器进行控制；

(4.1)、实时采集双有源全桥直流变换器的V₁、V₂和P，然后判断采样得到的V₁、V₂和P所对应的值是否在步骤(1.1)中所定义的范围内；如果是，执行步骤(4.2)，否则，执行步骤(4.3)；

(4.2)、将采样得到的V₁、V₂和P所对应的值在步骤(3.5)中强化学习模型中进行搜索，并将数值最接近的V₁、V₂和P所对应的一组移相控制变量[D₁、D₂、D₃]取出，然后根据该组移相控制变量对双有源全桥直流变换器进行优化控制；

(4.3)、将采样得到的V₁、V₂和P所对应的值保存至三维矩阵H[i，j，k]的第x+1行，然后执行步骤(3.3)；再将得到的一组移相控制变量[D₁、D₂、D₃]添加至标准的强化学习模型中，同时根据该组移相控制变量对双有源全桥直流变换器进行优化控制。

Images