CN114172403A - 基于深度强化学习的逆变器效率优化方法 - Google Patents

Abstract

本发明提供了一种基于深度强化学习的逆变器效率优化方法，属于电力电子技术领域。包括建立效率优化模型；确定状态集合、动作集合和奖励函数；利用DDPG算法进行离线学习，得到最优策略；根据该最优策略，系统在状态集合S的任一状态下均能实现效率最大化。本发明的优化方法采用神经网络替代了强化学习的Q‑table查找表，能够解决高维设计变量问题，可以在连续变量区间内以及动态的逆变器额定工作条件下训练，从而直接得到最优设计变量值使效率达到最大，避免了传统优化方法只能在离散区间内寻优会导致最优解丢失的情况，同时不需要重新进行复杂、耗时的寻优求解过程，节省计算资源。

Description

基于深度强化学习的逆变器效率优化方法

技术领域

本发明属于电力电子技术领域，涉及逆变器的效率优化方法，尤其涉及一种基于深度强化学习的逆变器效率优化方法。

背景技术

在很多国家，太阳能光伏发电已经成为未来清洁能源利用的重要组成部分。在光伏发电系统中，逆变器作为连接光伏电池板和电网的接口，其主要功能是将光伏阵列转化的直流电变换成与电网同步的交流电。因此逆变器是保障光伏发电系统高效、经济和稳定运行不可或缺的关键环节之一，而让逆变器在任意运行工况下都能达到最高的效率对光伏发电系统的高效稳定运行是非常有意义的。

在电力电子装备的设计中，由于逆变器实际的运行工况非常复杂多变，在面对复杂的应用环境时，无法快速确定逆变器的运行条件使逆变器以最高的效率运行，为此很多专家学者提出不同的解决方法：

中国发明专利公开说明书CN111600492A于2020年08月28日公开的《一种双有源全桥直流变换器的效率优化控制方法》，采用强化学习方法对双有源全桥直流变换器的效率进行优化。但是，该解决方法存在以下不足：

1)由于强化学习方法的状态和动作是离散变量，该方法不是在连续状态变量区间和连续动作变量区间内训练并得到的最优控制变量值，存在最优解丢失的可能性，应用范围有限；

2)该方法的状态和动作是离散变量，当系统额定工作条件的范围扩大时，强化学习的训练范围变大，强化学习的Q-table查找表体积变大，计算机训练耗时更长，很难完成训练；

中国发明专利公开说明书CN106100412B于2019年04月05日授权的《一种基于电感电流临界连续控制策略逆变器的轻载效率优化方法》，采用电感电流临界连续控制策略对逆变器的效率进行优化。但是，该解决方法存在以下不足：

1)当增加额外器件和辅助电路时，控制变量增加，控制策略复杂度大大增加，很难实现全桥逆变开关管的ZVS，大大增加了最优效率的求解难度；

2)该方法通过在轻载情况下降低一定的直流母线电压幅值提升效率，无法对动态额定工作条件的逆变器快速、准确的进行最优效率的求解，求解过程复杂耗时，存在一定的局限性。

发明内容

本发明针对现有逆变器的效率优化方法中是在离散状态区间和离散动作区间内训练并得到的最优控制变量值，存在最优解丢失的可能性，应用范围小，训练或求解过程复杂耗时，寻优过程存在局限性的不足，提出了一种采用DDPG算法的基于深度强化学习的逆变器效率优化方法，以解决现有技术中存在的上述问题。

本发明的目的是这样实现的，本发明提供了一种基于深度强化学习的逆变器效率优化方法，所述逆变器包括直流电压源、三相三电平ANPC逆变电路、滤波电路和负载；所述三相三电平ANPC逆变电路包括两个相同的支撑电容和一个逆变主电路，其中，两个支撑电容分别记为支撑电容Cap₁和支撑电容Cap₂，支撑电容Cap₁和支撑电容Cap₂串联后接在直流电压源的直流正母线P和直流负母线E之间；所述逆变主电路包括三相桥臂，三相桥臂互相并联在直流电压源的直流正母线P和直流负母线E之间；所述滤波电路包括三相滤波电感L和三相滤波电容C₀，三相滤波电感L的一端接三相三电平ANPC逆变电路的输出端，另一端接负载，三相滤波电容C₀并联在三相滤波电感L和负载之间；

所述逆变器效率优化方法基于深度强化学习对逆变器效率进行优化，具体步骤如下：

步骤1，建立效率优化模型

步骤1.1，将逆变器记为系统，并做以下设定：：

系统中支撑电容Cap₁、支撑电容Cap₂和三相滤波电容C₀的损耗忽略不计；

在逆变主电路中包括σ个带反并联二极管的开关管，其中，σ1个为工频开关管、σ2个为高频开关管；

步骤1.2，以系统的效率η为目标，建立效率优化模型，具体表达式如下：

式中，P_loss为系统的总损耗，P_loss＝P_T+P_L，P_T为系统中σ个开关管和σ个反并联二极管的总损耗，P_L为系统中三相滤波电感L的损耗，P_w为系统的额定输入功率；

步骤2，根据步骤1得到的效率优化模型，确定状态集合S、动作集合A₀和奖励函数R；

所述状态集合S的表达式如下：

S∈{(U_dc，I，η)}

式中，U_dc为直流电压源的电压值，I为系统的输出电流有效值；

所述动作集合A₀的表达式如下：

式中，f_sw为高频开关管的开关频率，记为高频开关频率f_sw，f_{sw_min}为高频开关频率f_sw的下限值，f_{sw_max}为高频开关频率f_sw的上限值；

记系统某一时刻为t，t＝1，2，3…T，T为系统终止状态的时刻，将系统在t时刻的状态记为s_t，将系统在t时刻采取的动作记为a_t，具体表达式如下：

s_t＝(U_dc，I，η)_t

a_t＝(f_sw)_t；

所述奖励函数R表示系统从当前状态到终止状态之间所有动作产生的奖励值的加权和，表达式如下：

式中，r_t为系统在t时刻的状态s_t采取动作a_t后得到的单步奖励值，r_t＝-ε×P_loss，ε为权重系数，γ为折扣因子，折扣因子γ表示时间的长短对奖励值的影响程度；

步骤3，根据步骤2得到的状态集合S、动作集合A₀和奖励函数R，利用深度强化学习的DDPG算法进行离线学习，得到最优策略π(s_y)；

所述DDPG算法包含4个神经网络，分别为在线策略网络、目标策略网络、在线评价网络和目标评价网络，其中，在线策略网络的神经网络参数记为θ_μ，目标策略网络的神经网络参数记为θ_μ′，在线评价网络的神经网络参数记为θ_Q，目标评价网络的神经网络参数记为θ_Q′；

所述最优策略π(s_y)的表达式如下：

π(s_y)＝a_y

式中，s_y为与最优策略对应的在线策略网络输入的状态值，且s_y＝(U_dc，I，η)_y，(U_dc，I，η)_y为状态集合S中与最优策略对应的个体，a_y为与最优策略对应的在线策略网络输出的动作值，且a_y＝(f_sw)_y，(f_sw)_y为动作集合A₀中与最优策略对应的高频开关频率；

将最优策略π(s_y)代入步骤1建立的效率优化模型，系统在状态集合S中的任一状态下均能实现效率最大化。

优选地，步骤3所述利用深度强化学习的DDPG算法进行离线学习，得到最优策略π(s_y)的具体步骤如下：

步骤3.1，初始化在线策略网络、目标策略网络、在线评价网络和目标评价网络的神经网络参数θ_μ、θ_μ′、θ_Q、θ_Q′，令θ_μ′＝θ_μ、θ_Q′＝θ_Q；初始化经验回放池P的容量为D；

记在线策略网络的输出为a，a＝μ(s|θ_μ)，其中，a为在线策略网络输出的动作值，a对应于权利要求1中的所述动作集合A₀中的个体，且a＝f_sw；s为在线策略网络输入的状态值，s对应于权利要求1中的所述状态集合S中的个体，且s＝(U_dc，I，η)；μ为通过在线策略网络的神经网络参数θ_μ和输入的状态值s得到的策略；

步骤3.2，将系统在t时刻的状态s_t输入在线策略网络，得到在线策略网络的输出

并添加噪声δ_t，得到最终输出的动作a_t，具体表达式如下：

步骤3.3，系统根据状态s_t执行动作a_t，转换到新的状态s_t+1，同时得到执行动作a_t后的单步奖励值r_t，将(s_t，a_t，r_t，s_t+1)称为状态转换序列，并把(s_t，a_t，r_t，s_t+1)存入经验回放池P，系统进入下一时刻t+1的状态s_t+1；

循环执行步骤3.2～步骤3.3，记经验回放池P中状态转换序列的个数为N，若N＝D，进入步骤3.4，否则返回步骤3.2；

步骤3.4，从经验回放池P中随机抽取n个状态转换序列，且n＜D，将n个状态转换序列作为训练在线策略网络和在线评价网络的小批量数据，将小批量数据中的第k个状态转换序列记为(s_k，a_k，r_k，s_k+1)，k＝1，2，3…n；

步骤3.5，根据步骤3.4得到的小批量数据(s_k，a_k，r_k，s_k+1)，k＝1，2，3…n，计算得到累积奖励y_k和误差函数L(θ_Q)，具体表达式如下：

y_k＝r_k+Q′(s_k+1，μ′(s_k+1|θ_μ′)|θ_Q′)

式中，Q′(s_k+1，μ′(s_k+1|θ_μ′)|θ_Q′)为目标评价网络输出的评分值，其中μ′(s_k+1|θ_μ′)|θ_Q′为目标策略网络输出的动作值，s_k+1为目标评价网络和目标策略网络输入的状态值；Q(s_k，a_k|θ_Q)为在线评价网络输出的评分值，s_k和a_k为在线评价网络输入的状态值和动作值；

步骤3.6，在线评价网络通过最小化误差函数L(θ_Q)来更新θ_Q，在线策略网络通过确定性策略梯度

更新θ_μ，目标评价网络和目标策略网络通过滑动平均方法更新θ_Q′和θ_μ′，具体表达式如下：

式中，

为偏导符号，其中

表示策略J对θ_μ求偏导，

表示在线评价网络的输入为s＝s_k，a＝μ(s_k)时，在线评价网络输出的评分值

对动作值a求偏导，

表示在线策略网络的输入为s＝s_k时，在线策略网络输出的动作值

对θ_μ求偏导，

表示误差函数L(θ_Q)对θ_Q求偏导，α_Q为在线评价网络的学习率，α_μ在线策略网络的学习率，τ为滑动平均更新参数，且0＜α_Q＜1，0＜α_μ＜1，0＜τ＜1，

为更新之后的在线评价网络的神经网络参数，

为更新之后的在线策略网络的神经网络参数，

为更新之后的目标评价网络的神经网络参数，

为更新之后的目标策略网络的神经网络参数；

步骤3.7，给定步长step，最大步长step_max，训练回合数m和最大训练回合数M，step＝1，2，3…step_max，m＝1，2，3…M，当完成一次步骤3.4～步骤3.6时，一个步长的训练过程完成，重复执行步骤3.4～步骤3.6，当step_max个步长的训练过程完成时，一个回合的训练过程完成；下一个回合的训练过程从步骤3.2开始，到步骤3.6结束，重复执行步骤3.2～步骤3.6，当M个回合的训练过程完成时，DDPG算法的学习过程结束；

记一个训练回合的平均奖励为

在线策略网络、目标策略网络、在线评价网络和目标评价网络的神经网络参数θ_μ、θ_μ′、θ_Q、θ_Q′朝着最大化

的方向更新，最终得到最优策略π(s_y)。

与现有技术相比，本发明的有益效果为：

(1)本发明采用神经网络替代了强化学习的Q-table查找表，可以解决复杂的高维设计变量问题，并且可以在连续状态变量区间和连续动作变量区间内训练从而得到最优设计变量值，避免了传统优化方法只能在离散区间内寻优会导致最优解丢失的情况；

(2)本发明提供的最优策略π(a|s)在动态的逆变器额定工作条件下均能够直接得到最优的设计变量值使效率达到最大，不需要重新进行复杂、耗时的寻优求解过程，简便快捷，节省计算资源。

附图说明

图1为本发明实施例中逆变器的拓扑图；

图2为本发明逆变器效率优化方法的框图；

图3为本发明逆变器效率优化方法的流程图；

图4为本发明实施例中平均奖励的收敛效果图；

图5为本发明实施例中动作变量的训练效果图。

具体实施方式

下面结合附图，对本发明进行详细的说明。

图1为本发明实施例中逆变器的拓扑图。由图1可见，该逆变器包括直流电压源10、三相三电平ANPC逆变电路20、滤波电路30和负载40。

所述三相三电平ANPC逆变电路20包括两个相同的支撑电容和一个逆变主电路，其中，两个支撑电容分别记为支撑电容Cap₁和支撑电容Cap₂，支撑电容Cap₁和支撑电容Cap₂串联后接在直流电压源10的直流正母线P和直流负母线E之间。所述逆变主电路包括三相桥臂，三相桥臂互相并联在直流电压源10的直流正母线P和直流负母线E之间。所述滤波电路30包括三相滤波电感L和三相滤波电容C₀，三相滤波电感L的一端接三相三电平ANPC逆变电路20的输出端，另一端接负载40，三相滤波电容C₀并联在三相滤波电感L和负载40之间。

在本实施例中，支撑电容Cap₁和支撑电容Cap₂的连接点记为直流母线中点O。

在本实施例中，所述逆变主电路包括A相桥臂、B相桥臂和C相桥臂，每相桥臂包括6个带反并联二极管的开关管，即逆变主电路共包括18个带反并联二极管的开关管，将18个带反并联二极管的开关管记为开关管S_ij，其中i表示三相，i＝A，B，C，j表示开关管的序号，j＝1，2，3，4，5，6。A相桥臂、B相桥臂、C相桥臂互相并联在直流正母线P和直流负母线E之间。在三相桥臂的每相桥臂中，开关管S_i1、开关管S_i2、开关管S_i3、开关管S_i4顺序串联，且开关管S_i1的输入端接直流正母线P、开关管S_i4的输出端接直流负母线E，开关管S_i5的输入端接开关管S_i1的输出端，开关管S_i5的输出端接直流母线中点O，开关管S_i6的输入端接直流母线中点O，开关管S_i6的输出端接开关管S_i3的输出端。将开关管S_i2和开关管S_i3的连接点记为输出点φ_i，i＝A，B，C。另外18个反并联二极管记为二极管D_ij。

在本实施例中，三相滤波电感L的一端接输出点φ_i，另一端接负载40，三相滤波电容C₀并联在三相滤波电感L和负载40之间。

在本实施例中，σ＝18，σ1＝12，σ2＝6。即在逆变主电路中包括12个工频开关管和6个高频开关管，其中，开关管S_i1、开关管S_i4、开关管S_i5和开关管S_i6为工频开关管，且工频开关管的开关频率均为50Hz，开关管S_i2和开关管S_i3为高频开关管，且高频开关管的开关频率相同。

图2为本发明逆变器效率优化方法的框图，图3为本发明逆变器效率优化方法的流程图。由图2、图3可见，所述逆变器效率优化方法基于深度强化学习对逆变器效率进行优化，具体步骤如下：

步骤1，建立效率优化模型

步骤1.1，将逆变器记为系统，并做以下设定：：

系统中支撑电容Cap₁、支撑电容Cap₂和三相滤波电容C₀的损耗忽略不计；

在逆变主电路中包括σ个带反并联二极管的开关管，其中，σ1个为工频开关管、σ2个为高频开关管；

步骤1.2，以系统的效率η为目标，建立效率优化模型，具体表达式如下：

式中，P_loss为系统的总损耗，P_loss＝P_T+P_L，P_T为系统中σ个开关管和σ个反并联二极管的总损耗，P_L为系统中三相滤波电感L的损耗，P_w为系统的额定输入功率。

步骤2，根据步骤1得到的效率优化模型，确定状态集合S、动作集合A₀和奖励函数R；

所述状态集合S的表达式如下：

S∈{(U_dc，I，η)}

式中，U_dc为直流电压源10的电压值，I为系统的输出电流有效值；

所述动作集合A₀的表达式如下：

式中，f_sw为高频开关管的开关频率，记为高频开关频率f_sw，f_{sw_min}为高频开关频率f_sw的下限值，f_{sw_max}为高频开关频率f_sw的上限值；

记系统某一时刻为t，t＝1，2，3…T，T为系统终止状态的时刻，将系统在t时刻的状态记为s_t，将系统在t时刻采取的动作记为a_t，具体表达式如下：

s_t＝(U_dc，I，η)_t

a_t＝(f_sw)_t；

所述奖励函数R表示系统从当前状态到终止状态之间所有动作产生的奖励值的加权和，表达式如下：

式中，r_t为系统在t时刻的状态s_t采取动作a_t后得到的单步奖励值，r_t＝-ε×P_loss，ε为权重系数，γ为折扣因子，折扣因子γ表示时间的长短对奖励值的影响程度。

在本实施例中，U_dc的取值范围为600伏～1200伏，I的取值范围为100安培～120安培，η的取值范围为0.950～0.999，取f_{sw_min}＝1000Hz，取f_{sw_max}＝80000Hz，取T＝100，取ε＝0.1，取γ＝0.9。

步骤3，根据步骤2得到的状态集合S、动作集合A₀和奖励函数R，利用深度强化学习的DDPG算法进行离线学习，得到最优策略π(s_y)。

所述DDPG算法包含4个神经网络，分别为在线策略网络、目标策略网络、在线评价网络和目标评价网络，其中，在线策略网络的神经网络参数记为θ_μ，目标策略网络的神经网络参数记为θ_μ′，在线评价网络的神经网络参数记为θ_Q，目标评价网络的神经网络参数记为θ_Q′。

所述最优策略π(s_y)的表达式如下：

π(s_y)＝a_y

式中，s_y为与最优策略对应的在线策略网络输入的状态值，且s_y＝(U_dc，I，η)_y，(U_dc，I，η)_y为状态集合S中与最优策略对应的个体，a_y为与最优策略对应的在线策略网络输出的动作值，且a_y＝(f_sw)_y，(f_sw)_y为动作集合A₀中与最优策略对应的高频开关频率。

将最优策略π(s_y)代入步骤1建立的效率优化模型，系统在状态集合S中的任一状态下均能实现效率最大化。

在本实施例中，步骤3所述利用深度强化学习的DDPG算法进行离线学习，得到最优策略π(s_y)的具体步骤如下：

步骤3.1，初始化在线策略网络、目标策略网络、在线评价网络和目标评价网络的神经网络参数θ_μ、θ_μ′、θ_Q、θ_Q′，令θ_μ′＝θ_μ、θ_Q′＝θ_Q；初始化经验回放池P的容量为D；

记在线策略网络的输出为a，a＝μ(s|θ_μ)，其中，a为在线策略网络输出的动作值，a对应于权利要求1中的所述动作集合A₀中的个体，且a＝f_sw；s为在线策略网络输入的状态值，s对应于权利要求1中的所述状态集合S中的个体，且s＝(U_dc，I，η)；μ为通过在线策略网络的神经网络参数θ_μ和输入的状态值s得到的策略。

步骤3.2，将系统在t时刻的状态s_t输入在线策略网络，得到在线策略网络的输出

并添加噪声δ_t，得到最终输出的动作a_t，具体表达式如下：

步骤3.3，系统根据状态s_t执行动作a_t，转换到新的状态s_t+1，同时得到执行动作a_t后的单步奖励值r_t，将(s_t，a_t，r_t，s_t+1)称为状态转换序列，并把(s_t，a_t，r_t，s_t+1)存入经验回放池P，系统进入下一时刻t+1的状态s_t+1；

循环执行步骤3.2～步骤3.3，记经验回放池P中状态转换序列的个数为N，若N＝D，进入步骤3.4，否则返回步骤3.2。

步骤3.4，从经验回放池P中随机抽取n个状态转换序列，且n＜D，将n个状态转换序列作为训练在线策略网络和在线评价网络的小批量数据，将小批量数据中的第k个状态转换序列记为(s_k，a_k，r_k，s_k+1)，k＝1，2，3…n。

步骤3.5，根据步骤3.4得到的小批量数据(s_k，a_k，r_k，s_k+1)，k＝1，2，3…n，计算得到累积奖励y_k和误差函数L(θ_Q)，具体表达式如下：

y_k＝r_k+Q′(s_k+1，μ′(s_k+1|θ_μ′)|θ_Q′)

式中，Q′(s_k+1，μ′(s_k+1|θ_μ′)|θ_Q′)为目标评价网络输出的评分值，其中μ′(s_k+1|θ_μ′)|θ_Q′为目标策略网络输出的动作值，s_k+1为目标评价网络和目标策略网络输入的状态值；Q(s_k，a_k|θ_Q)为在线评价网络输出的评分值，s_k和a_k为在线评价网络输入的状态值和动作值。

步骤3.6，在线评价网络通过最小化误差函数L(θ_Q)来更新θ_Q，在线策略网络通过确定性策略梯度

更新θ_μ，目标评价网络和目标策略网络通过滑动平均方法更新θ_Q′和θ_μ′，具体表达式如下：

式中，

为偏导符号，其中

表示策略J对θ_μ求偏导，

表示在线评价网络的输入为s＝s_k，a＝μ(s_k)时，在线评价网络输出的评分值

对动作值a求偏导，

表示在线策略网络的输入为s＝s_k时，在线策略网络输出的动作值

对θ_μ求偏导，

表示误差函数L(θ_Q)对θ_Q求偏导，α_Q为在线评价网络的学习率，α_μ在线策略网络的学习率，τ为滑动平均更新参数，且0＜α_Q＜1，0＜α_μ＜1，0＜τ＜1，

为更新之后的在线评价网络的神经网络参数，

为更新之后的在线策略网络的神经网络参数，

为更新之后的目标评价网络的神经网络参数，

为更新之后的目标策略网络的神经网络参数。

步骤3.7，给定步长step，最大步长step_max，训练回合数m和最大训练回合数M，step＝1，2，3…step_max，m＝1，2，3…M，当完成一次步骤3.4～步骤3.6时，一个步长的训练过程完成，重复执行步骤3.4～步骤3.6，当step_max个步长的训练过程完成时，一个回合的训练过程完成；下一个回合的训练过程从步骤3.2开始，到步骤3.6结束，重复执行步骤3.2～步骤3.6，当M个回合的训练过程完成时，DDPG算法的学习过程结束；

记一个训练回合的平均奖励为

在线策略网络、目标策略网络、在线评价网络和目标评价网络的神经网络参数θ_μ、θ_μ′、θ_Q、θ_Q′朝着最大化

的方向更新，最终得到最优策略π(s_y)。

在本实施例中，对系统的效率η中的部分参数进行了选择和计算，具体如下。

设在本实施例中，系统采用双极性SPWM调制，且功率因数为1，18个开关管和18个反并联二极管的总损耗P_T由下式得到：

式中，P_IGBT为系统中单相所有工频开关管的导通损耗，P_MOSFET为系统中单相所有高频开关管的导通损耗，P_{MOS_sw}为系统中单相所有高频开关管的开关损耗，P_{D_rec}为系统中单相所有高频开关管反并联二极管的反向恢复损耗，α为积分自变量，i为开关管S_ij导通时流过的电流，取

安培，V_ce为系统中工频开关管的集电极-发射极电压，取V_ce＝0.00618i+0.85伏，R_dson为系统中高频开关管的导通电阻，取R_dson＝0.0062+0.0009logi欧姆，D(α)为占空比，取D(α)＝0.9sinα，T_dead为系统中高频开关管的死区时间，取4.26×10^-7秒，E_{on_nom}为标准测试条件下系统中高频开关管的开通损耗，取2.02×10^-3焦耳，E_{off_nom}为标准测试条件下系统中高频开关管的关断损耗，取1.28×10^-3焦耳，I_{d_nom}为标准测试条件下系统中高频开关管的导通电流，取100安培，V_{ds_nom}为标准测试条件下的漏极-源极两端承受电压，取600伏，V_ds为实际工作条件下漏极-源极两端承受电压，取1200伏，E_{rec_nom}为标准测试条件下系统中高频开关管反并联二极管的反向恢复损耗，取0.165×10^-3焦耳。

在本实施例中，选取三相滤波电感L的磁芯由非晶体圆环组成，三相滤波电感L的损耗P_L由下式得到：

P_L＝3(P_cop+P_core)

式中，P_cop为三相滤波电感L中单个电感的绕组损耗，P_core为三相滤波电感L中单个电感的磁芯损耗，分别由下式得到：

三相滤波电感L中单个电感的绕组损耗P_cop由下式得到：

式中，La为三相滤波电感L的电感值，I_max为开关管S_ij导通时流过的电流最大值，取

安培，m′为调制度，取0.9，γ_c为电流纹波系数，取15％，A_wai为三相滤波电感L中单个电感的磁芯外直径，B_nei为三相滤波电感L中单个电感的磁芯内直径，C_hou为三相滤波电感L中单个电感的磁芯高度，k_u为三相滤波电感L中单个电感的窗口利用率，取0.42，B_max为三相滤波电感L中单个电感的最大磁通密度，取1.3，J_Cu为三相滤波电感L中单个电感的绕组的电流密度，取5安培/平方毫米，A_d为选取的商用单个电感磁芯的基准外直径，取10.2厘米，B_d为选取的商用单个电感磁芯的基准内直径，取5.7厘米，C_d选取的商用单个电感磁芯的基准高度，取3.3厘米，N_L为三相滤波电感L中单个电感的绕组的匝数，rou为三相滤波电感L中单个电感的绕组的电阻率，取2.3×10^-8欧姆×米，R_L为三相滤波电感L中单个电感的绕组的电阻。

三相滤波电感L中单个电感的磁芯损耗P_core由下式得到：

式中，l_c为三相滤波电感L中单个电感的磁芯的平均磁路长度，l_g为三相滤波电感L中单个电感的磁芯的气隙长度，u₀为真空磁导率，取4π×10^-7特斯拉×米/安培，ur为三相滤波电感L中单个电感的磁芯的相对磁导率，取15600，B_m为三相滤波电感L中单个电感的磁芯的实际磁感应强度，V_L为三相滤波电感L中单个电感的体积，K_c、αr、βr为三相滤波电感L中单个电感的磁芯的材料常数，取K_c＝40.43，αr＝1.21，βr＝1.88。

在本实施例中，取系统的额定输入功率P_w＝140×10³瓦，取D＝10000，取n＝32，取α_Q＝0.002，取α_μ＝0.001，取τ＝0.01，取step_max＝100，取M＝300，取噪声δ_t＝0.9995^m×1000。

图4为本发明实施例中平均奖励的收敛效果图，图4中横坐标为训练回合数m，纵坐标为平均奖励

m＝1，2，3…300。从图4可以看出，随着训练回合数m的增加，平均奖励

先上下振荡，然后逐渐增大并最后保持在-212～-214之间，且当m＝300时，

训练效果已经达到最优，在线策略网络、目标策略网络、在线评价网络和目标评价网络的神经网络参数θ_μ、θ_μ′、θ_Q、θ_Q′已经更新完成，得到使效率达到最大的最优策略π(s_y)。

在本实施例中，当U_dc＝1200伏，I＝120安培时，对动作集合A₀中的动作变量进行训练，图5为本发明实施例中动作变量的训练效果图，图5中横坐标为训练回合数m，纵坐标为高频开关频率f_sw，m＝1，2，3…300。由图5可见，随着训练回合数m的增加，高频开关频率f_sw先上下振荡，然后逐渐增大并最后保持在24000Hz～25000Hz之间，且当m＝300，step＝100时，f_sw＝24351Hz为最优动作变量值，计算得到系统的总损耗P_loss为最小值2113瓦，系统的效率η达到最大值0.985。

Claims (2)

1.一种基于深度强化学习的逆变器效率优化方法，所述逆变器包括直流电压源(10)、三相三电平ANPC逆变电路(20)、滤波电路(30)和负载(40)；所述三相三电平ANPC逆变电路(20)包括两个相同的支撑电容和一个逆变主电路，其中，两个支撑电容分别记为支撑电容Cap₁和支撑电容Cap₂，支撑电容Cap₁和支撑电容Cap₂串联后接在直流电压源(10)的直流正母线P和直流负母线E之间；所述逆变主电路包括三相桥臂，三相桥臂互相并联在直流电压源(10)的直流正母线P和直流负母线E之间；所述滤波电路(30)包括三相滤波电感L和三相滤波电容C₀，三相滤波电感L的一端接三相三电平ANPC逆变电路(20)的输出端，另一端接负载(40)，三相滤波电容C₀并联在三相滤波电感L和负载(40)之间；

其特征在于，所述逆变器效率优化方法基于深度强化学习对逆变器效率进行优化，具体步骤如下：

步骤1，建立效率优化模型

步骤1.1，将逆变器记为系统，并做以下设定：

系统中支撑电容Cap₁、支撑电容Cap₂和三相滤波电容C₀的损耗忽略不计；

在逆变主电路中包括σ个带反并联二极管的开关管，其中，σ1个为工频开关管、σ2个为高频开关管；

步骤1.2，以系统的效率η为目标，建立效率优化模型，具体表达式如下：

式中，P_loss为系统的总损耗，P_loss＝P_T+P_L，P_T为系统中σ个开关管和σ个反并联二极管的总损耗，P_L为系统中三相滤波电感L的损耗，P_w为系统的额定输入功率；

步骤2，根据步骤1得到的效率优化模型，确定状态集合S、动作集合A₀和奖励函数R；

所述状态集合S的表达式如下：

S∈{(U_dc，I，η)}

式中，U_dc为直流电压源(10)的电压值，I为系统的输出电流有效值；

所述动作集合A₀的表达式如下：

式中，f_sw为高频开关管的开关频率，记为高频开关频率f_sw，f_{sw_min}为高频开关频率f_sw的下限值，f_{sw_max}为高频开关频率f_sw的上限值；

记系统某一时刻为t，t＝1，2，3…T，T为系统终止状态的时刻，将系统在t时刻的状态记为s_t，将系统在t时刻采取的动作记为a_t，具体表达式如下：

s_t＝(U_dc，I，η)_t

a_t＝(f_sw)_t；

所述奖励函数R表示系统从当前状态到终止状态之间所有动作产生的奖励值的加权和，表达式如下：

式中，r_t为系统在t时刻的状态s_t采取动作a_t后得到的单步奖励值，r_t＝-ε×P_loss，ε为权重系数，γ为折扣因子，折扣因子γ表示时间的长短对奖励值的影响程度；

步骤3，根据步骤2得到的状态集合S、动作集合A₀和奖励函数R，利用深度强化学习的DDPG算法进行离线学习，得到最优策略π(s_y)；

所述DDPG算法包含4个神经网络，分别为在线策略网络、目标策略网络、在线评价网络和目标评价网络，其中，在线策略网络的神经网络参数记为θ_μ，目标策略网络的神经网络参数记为θ_μ′，在线评价网络的神经网络参数记为θ_Q，目标评价网络的神经网络参数记为θ_Q′；

所述最优策略π(s_y)的表达式如下：

π(s_y)＝a_y

式中，s_y为与最优策略对应的在线策略网络输入的状态值，且s_y＝(U_dc，I，η)_y，(U_dc，I，η)_y为状态集合S中与最优策略对应的个体，a_y为与最优策略对应的在线策略网络输出的动作值，且a_y＝(f_sw)_y，(f_sw)_y为动作集合A₀中与最优策略对应的高频开关频率；

将最优策略π(s_y)代入步骤1建立的效率优化模型，系统在状态集合S中的任一状态下均能实现效率最大化。

2.根据权利要求1所述的一种基于深度强化学习的逆变器效率优化方法，其特征在于，步骤3所述利用深度强化学习的DDPG算法进行离线学习，得到最优策略π(s_y)的具体步骤如下：

步骤3.1，初始化在线策略网络、目标策略网络、在线评价网络和目标评价网络的神经网络参数θ_μ、θ_μ′、θ_Q、θ_Q′，令θ_μ′＝θ_μ、θ_Q′＝θ_Q；初始化经验回放池P的容量为D；

记在线策略网络的输出为a，a＝μ(s|θ_μ)，其中，a为在线策略网络输出的动作值，a对应于权利要求1中的所述动作集合A₀中的个体，且a＝f_sw；s为在线策略网络输入的状态值，s对应于权利要求1中的所述状态集合S中的个体，且s＝(U_dc，I，η)；μ为通过在线策略网络的神经网络参数θ_μ和输入的状态值s得到的策略；

步骤3.2，将系统在t时刻的状态s_t输入在线策略网络，得到在线策略网络的输出

并添加噪声δ_t，得到最终输出的动作a_t，具体表达式如下：

步骤3.3，系统根据状态s_t执行动作a_t，转换到新的状态s_t+1，同时得到执行动作a_t后的单步奖励值r_t，将(s_t，a_t，r_t，s_t+1)称为状态转换序列，并把(s_t，a_t，r_t，s_t+1)存入经验回放池P，系统进入下一时刻t+1的状态s_t+1；

循环执行步骤3.2～步骤3.3，记经验回放池P中状态转换序列的个数为N，若N＝D，进入步骤3.4，否则返回步骤3.2；

步骤3.4，从经验回放池P中随机抽取n个状态转换序列，且n＜D，将n个状态转换序列作为训练在线策略网络和在线评价网络的小批量数据，将小批量数据中的第k个状态转换序列记为(s_k，a_k，r_k，s_k+1)，k＝1，2，3…n；

步骤3.5，根据步骤3.4得到的小批量数据(s_k，a_k，r_k，s_k+1)，k＝1，2，3…n，计算得到累积奖励y_k和误差函数L(θ_Q)，具体表达式如下：

y_k＝r_k+Q′(s_k+1，μ′(s_k+1|θ_μ′)|θ_Q′)

式中，Q′(s_k+1，μ′(s_k+1|θ_μ′)|θ_Q′)为目标评价网络输出的评分值，其中μ′(s_k+1|θ_μ′)|θ_Q′为目标策略网络输出的动作值，s_k+1为目标评价网络和目标策略网络输入的状态值；Q(s_k，a_k|θ_Q)为在线评价网络输出的评分值，s_k和a_k为在线评价网络输入的状态值和动作值；

步骤3.6，在线评价网络通过最小化误差函数L(θ_Q)来更新θ_Q，在线策略网络通过确定性策略梯度

更新θ_μ，目标评价网络和目标策略网络通过滑动平均方法更新θ_Q′和θ_μ′，具体表达式如下：

式中，

为偏导符号，其中

表示策略J对θ_μ求偏导，

表示在线评价网络的输入为s＝s_k，a＝μ(s_k)时，在线评价网络输出的评分值

对动作值a求偏导，

表示在线策略网络的输入为s＝s_k时，在线策略网络输出的动作值

对θ_μ求偏导，

表示误差函数L(θ_Q)对θ_Q求偏导，α_Q为在线评价网络的学习率，α_μ在线策略网络的学习率，τ为滑动平均更新参数，且0＜α_Q＜1，0＜α_μ＜1，0＜τ＜1，

为更新之后的在线评价网络的神经网络参数，

为更新之后的在线策略网络的神经网络参数，

为更新之后的目标评价网络的神经网络参数，

为更新之后的目标策略网络的神经网络参数；

步骤3.7，给定步长step，最大步长step_max，训练回合数m和最大训练回合数M，step＝1，2，3…step_max，m＝1，2，3…M，当完成一次步骤3.4～步骤3.6时，一个步长的训练过程完成，重复执行步骤3.4～步骤3.6，当step_max个步长的训练过程完成时，一个回合的训练过程完成；下一个回合的训练过程从步骤3.2开始，到步骤3.6结束，重复执行步骤3.2～步骤3.6，当M个回合的训练过程完成时，DDPG算法的学习过程结束；

记一个训练回合的平均奖励为

在线策略网络、目标策略网络、在线评价网络和目标评价网络的神经网络参数θ_μ、θ_μ′、θ_Q、θ_Q′朝着最大化

的方向更新，最终得到最优策略π(s_y)。

Images