CN113085665B - 一种基于td3算法的燃料电池汽车能量管理方法 - Google Patents

Abstract

本发明涉及一种基于TD3算法的燃料电池汽车能量管理方法，属于新能源汽车领域。该方法包括：S1：获取燃料电池汽车的车辆状态信息、动力电池状态信息以及燃料电池状态信息；S2：建立燃料电池汽车能量管理系统模型，包括：整车纵向动力学模型、燃料电池氢耗模型、动力电池等效电路模型、燃料电池衰退模型、动力电池老化模型；S3：利用TD3算法构建燃料电池汽车能量管理策略，求解包含能耗经济性、燃料电池寿命以及动力电池寿命的多目标优化问题。本发明有效的提升了燃料电池汽车的经济性，同时保证了燃料电池以及动力电池的耐久性。

Description

一种基于TD3算法的燃料电池汽车能量管理方法

技术领域

本发明属于新能源汽车领域，涉及一种基于TD3算法的燃料电池汽车能量管理方法。

背景技术

目前，传统燃油汽车面临着石油资源有限以及尾气排放对环境的污染等难题，因此以清洁能源为燃料的新能源汽车成为汽车行业未来的发展趋势。作为一种理想的化石能源替代品，燃料电池具有效率高、无污染等优势，为此燃料电池混合动力汽车(FCHEV)得到了越来越多汽车厂商的重视。

作为FCHEV的关键技术，能量管理策略不但可以合理分配各动力源的需求功率，而且还能够有效提高车辆效率和燃油经济性。通常情况下，FCHEV的能量管理策略可分为：基于规则和基于优化。然而，现有的能量管理策略通常存在计算量大、优化性能不理想、适应性差等不足，限制着能量管理策略的实际应用。此外，燃料电池以及动力电池的寿命问题是制约燃料电池混合动力汽车发展的瓶颈技术。因此，亟需开展融合燃料电池以及动力电池寿命的能量管理策略的研究。

随着人工智能技术的不断发展，具有自学习以及实时性特点的深度强化学习算法在能量管理中的应用得到了广泛关注。同时，考虑到实际驾驶场景下驾驶员的动作是连续的。为此，综合考虑燃油经济性与系统寿命，提出一种基于连续动作的深度强化学习算法—TD3的能量管理方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于TD3算法的燃料电池汽车能量管理方法，利用具有连续动作的深度强化学习算法—TD3提升燃料电池汽车整体的经济性，同时保证燃料电池以及动力电池的耐久性。

为达到上述目的，本发明提供如下技术方案：

一种基于TD3算法的燃料电池汽车能量管理方法，包括以下步骤：

S1：获取燃料电池汽车的车辆状态信息、动力电池状态信息以及燃料电池状态信息；

S2：建立燃料电池汽车能量管理系统模型，包括：整车纵向动力学模型、燃料电池氢耗模型、动力电池等效电路模型、燃料电池衰退模型、动力电池老化模型；

S3：利用双延迟深度确定性策略梯度算法(Twin Delayed Deep Deterministicpolicy gradient algorithm，TD3)算法构建燃料电池汽车能量管理策略，求解包含能耗经济性、燃料电池寿命以及动力电池寿命的多目标优化问题。

进一步，步骤S1中，所述车辆状态信息包括：车辆的速度、电机转速、电机效率以及传动系统；所述动力电池状态信息包括：电池电流、电压、内阻以及SOC；所述燃料电池状态信息包括：燃料电池的功率、效率以及氢耗。

进一步，步骤S2中，建立的整车纵向动力学模型为：

其中，P_drive为驱动功率，P_m为需求功率，P_bat为电池功率，P_fc为燃料电池功率，m_v为车辆的重量，v为速度，a为加速度，F_aero为空气阻力，F_roll为滚动摩擦，F_grade为坡度阻力，η_motor为电机效率，η_DC/DC为DC/DC转换器的效率，η_DC/AC为DC/AC转换器的效率。

进一步，步骤S2中，建立的燃料电池氢耗模型为：

其中，

为氢耗量，

为氢的低热值，η_fc为燃料电池效率，P_fc为燃料电池功率。

进一步，步骤S2中，建立的动力电池等效电路模型为：

其中，I_bat为锂离子电池电流，V_oc为锂离子电池开路电压，P_bat为锂离子电池内阻，P_bat为电池功率，SOC(k+1)为下一时刻电池的荷电状态，SOC(k)为当前时刻电池的荷电状态，Δt为离散时间间隔，Q_bat为锂离子电池容量。

进一步，步骤S2中，建立的燃料电池衰退模型为：

其中，k₁为燃料电池输出功率等于或大于80％额定功率时的电压退化率，k₂为燃料电池输出功率小于20％时的电压退化率，k₃为瞬时负载变化时每千瓦的电压退化率，P_high和P_low分别为燃料电池的高功率和低功率阈值，ΔP为每采样时间功率的变化，t₁为工作点等于或大于80％额定功率的次数，t₂为工作点的输出功率小于20％的次数。

进一步，步骤S2中，建立的动力电池老化模型为：

Q_agring＝(αSOC+β)·exp((-E_a+η·C_rate)/R_gas·T_K)Ah^z

其中，Q_aging为电池的容量衰减，α，β为拟合系数，E_a为活化能，C_rate为电流充放电速率，η为C_rate的补偿系数，R_gas为气体常数，T_K为测试电池时的环境温度(K)，Ah为安时通量，z为幂系数，Q_aging，k+1为k+1时刻电池的容量衰减，Q_aging，k为k时刻电池的容量衰减，ΔAh为k时刻到k+1时刻的安时通量的变化；Ah_eff为有效安时通量，电池老化的降低是通过最小化Ah_eff来实现的；σ为严重程度因子，I_bat为锂离子电池电流。

进一步，所述步骤S3具体包括以下步骤：

S31：状态变量空间为包含燃料电池功率P_fc、车辆的转速w、电池的荷电状态SOC以及电池安时通量Ah的集合，表示为：

S＝{P_fc，w，SOC，Ah}

S32：在TD3算法中，智能体将当前状态S作为演员网络的输入，并输出一个确定的动作；为了进一步的“探索与利用”，通过在确定动作的基础上增加噪声来选择最终动作；动作集A＝{P_fc}；

S33：在智能体采取动作后，获得相应的奖励，奖励函数R定义为：

其中，α，β，λ，ω为权重系数；通过调整权重系数来实现燃料电池的氢消耗，燃料电池退化以及电池老化之间的平衡。在TD3算法中，智能体通过不断的学习执行具有较大奖励值的动作。D_FC为燃料电池衰退容量，Ah_eff为有效安时通量。

S34：智能体在采取动作后，获得相应的奖励并且进入下一时刻状态S′，并在经验池中储存经验样本{S，A，R，S′}；在经验样本数超过经验池容量时，新的采样经验会覆盖旧的经验；

S35：从经验池中随机抽取小批量经验样本，目标演员网络根据状态S′输出下一时刻动作A′；为了增加评论家网络对于动作波动的稳定性，对动作A′施加随机噪声，即：

A′＝π_φ′(S′)+∈

其中，π_φ′为目标演员网络，∈为随机噪声；

S36：为了解决评论家网络的过估计现象，使用一对独立的评论家网络估计动作值函数；下一时刻的状态与动作作为目标评论家网络的输入，选择两个网络中输出的最小Q值计算目标值y；评论家网络目标值计算公式为：

其中，γ为折扣因子，

为目标评论家网络输出的Q值；然后，利用平方差损失函数更新评论家网络；

S37：更新策略网络时，使用评论家网络进行更新；其目标是使评论家网络输出的值尽可能的大，为此使用梯度上升法对策略网络进行更新，更新公式为：

其中，

为在状态S下，遵从π策略，做出动作所得到奖励的期望；

为演员网络梯度，

为评论家网络梯度。

S38：当评论家网络估值不准确的时候，演员网络会根据不准确的估值往错误的方向进行更新。因此，采用评论家网络延迟更新策略，以保证在策略更新前有效降低估计误差。

本发明的有益效果在于：

1)本发明在能量管理中采用了具有连续动作的深度强化学习算法-TD3，实现了策略的实时性与最优性。

2)本发明摆脱了对路况等先验信息的依赖性，通过不断的学习，实现了对不同路况的自适性。

3)本发明在考虑氢消耗的同时，还考虑到燃料电池以及动力电池的寿命问题。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于TD3算法的燃料电池汽车能量管理方法的流程图；

图2为燃料电池汽车动力系统结构示意图；

图3为TD3算法框架图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图3，本发明设计了一种兼顾氢耗、燃料电池退化和电池老化的能量管理方法，通过使用具有连续动作的TD3算法，实现该策略的实时性以及最优性，优化了氢耗以及系统的寿命。如图1所述，该能量管理方法具体包括以下步骤：

S1：燃料电池汽车状态信息，包括：

车辆状态信息包括：车辆的速度、电机转速、电机效率，传动系统；

燃料电池状态信息包括：燃料电池的功率、效率以及氢耗；

动力电池状态信息包括：电池电流、电压、内阻以及SOC。

S2：建立燃料电池汽车能量管理系统模型，如图2所示：

S21：搭建整车纵向动力学模型：

其中，P_drive为驱动功率，P_m为需求功率，P_bat为电池功率，P_fc为燃料电池功率，m_v为车辆的重量，η_motor为电机效率，v为速度，a为加速度，F_aero为空气阻力，F_roll为滚动摩擦，F_grade为坡度阻力，η_DC/DC为DC/DC转换器的效率，η_DC/AC为DC/AC转换器的效率。

S22：搭建燃料电池氢耗模型：

其中，

为氢耗量，

为氢的低热值，η_fc为燃料电池效率，P_fc为燃料电池功率。

S23：搭建动力电池等效电路模型：

其中，I_bat为锂离子电池电流，V_oc为锂离子电池开路电压，P_bat为锂离子电池内阻，SOC(k+1)为下一时刻电池的荷电状态，SOC(k)为当前时刻电池的荷电状态，Δt为离散时间间隔，Q_bat为锂离子电池容量。

S24：搭建燃料电池退化模型：

其中，k₁为燃料电池输出功率等于或大于80％额定功率时的电压退化率，k₂为燃料电池输出功率小于20％时的电压退化率，k₃为瞬时负载变化时每千瓦的电压退化率，P_high和P_low分别为燃料电池的高功率和低功率阈值，ΔP为每采样时间功率的变化，t₁为工作点等于或大于80％额定功率的次数，t₂为工作点的输出功率小于20％的次数。

S25：搭建动力电池老化模型：

Q_aging＝(αSOC+β)·exp((-E_a+η·C_rate)/R_gas·T_K)Ah^z

其中，Q_aging为电池的容量衰减，α，β为拟合系数，E_a为活化能，C_rate为电流充放电速率，η为C_rate的补偿系数，R_gas为气体常数，T_k为测试电池时的环境温度(K)，Ah为安时通量，z为幂律系数，Q_aging，k+1为k+1时刻电池的容量衰减，Q_aging，k为k时刻电池的容量衰减，ΔAh为k时刻到k+1时刻的安时通量的变化；Ah_eff为有效安时通量，电池老化的降低是通过最小化Ah_eff来实现的；σ为严重程度因子。

S3：利用TD3算法构建燃料电池汽车能量管理策略，求解包含能耗经济性、燃料电池寿命以及动力电池寿命的多目标优化问题。如图3所示，利用TD3算法实现燃料电池汽车的能量管理，降低燃料电池汽车的氢消耗并延长燃料电池以及动力电池的使用寿命，具体为：

S31：状态变量空间为包含燃料电池的功率，车辆的转速，电池的荷电状态以及电池安时通量的集合，表示为：

S＝{P_fc，w，SOC，Ah}

S32：在TD3算法中，智能体将当前状态S作为演员网络的输入，并输出一个确定的动作。为了进一步的“探索与利用”，通过在确定动作的基础上增加噪声来选择最终动作。动作集A＝{P_fc}；

S33：在智能体采取动作后，获得相应的奖励，奖励函数R定义为：

其中，α，β，λ，ω为权重系数。通过调整权重系数来实现燃料电池的氢消耗，燃料电池退化以及电池老化之间的平衡。在TD3算法中，智能体通过不断的学习执行具有较大奖励值的动作。D_FC为燃料电池衰退容量，Ah_eff为有效安时通量。

S34：智能体在采取动作后，获得相应的奖励并且进入下一时刻状态S′，并在经验池中储存经验样本{S，A，R，S′}。在经验样本数超过经验池容量时，新的采样经验会覆盖旧的经验。

S35：从经验池中随机抽取小批量经验样本，目标演员网络根据状态S′输出下一时刻动作A′；为了增加评论家网络对于动作波动的稳定性，对动作A′施加随机噪声，即：

A′＝π_φ′(S′)+∈

其中，π_φ′为目标演员网络，∈为随机噪声。

S36：为了解决评论家网络的过估计现象，使用一对独立的评论家网络估计动作值函数；下一时刻的状态与动作作为目标评论家网络的输入，选择两个网络中输出的最小Q值计算目标值y。评论家网络目标值计算公式为：

其中，γ为折扣因子，

为目标评论家网络输出的Q值；然后，利用平方差损失函数更新评论家网络。

S37：更新策略网络时，使用评论家网络进行更新，其目标是使评论家网络输出的值尽可能的大，为此使用梯度上升法对策略网络进行更新，更新公式为：

其中，

为在状态S下，遵从π策略，做出动作所得到奖励的期望；

为演员网络梯度，

为评论家网络梯度。

S38：当评论家网络估值不准确的时候，演员网络会根据不准确的估值往错误的方向进行更新。因此，采用评论家网络延迟更新策略，以保证在策略更新前有效降低估计误差。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于TD3算法的燃料电池汽车能量管理方法，其特征在于，该方法包括以下步骤：

S1：获取燃料电池汽车的车辆状态信息、动力电池状态信息以及燃料电池状态信息；

S2：建立燃料电池汽车能量管理系统模型，包括：整车纵向动力学模型、燃料电池氢耗模型、动力电池等效电路模型、燃料电池衰退模型、动力电池老化模型；

建立的整车纵向动力学模型为：

其中，P_drive为驱动功率，P_m为需求功率，P_bat为动力电池功率，P_fc为燃料电池功率，m_v为车辆的重量，v为速度，a为加速度，F_aero为空气阻力，F_roll为滚动摩擦，F_grade为坡度阻力，η_motor为电机效率，η_DC/DC为DC/DC转换器的效率，η_DC/AC为DC/AC转换器的效率；

建立的燃料电池衰退模型为：

其中，k₁为燃料电池输出功率等于或大于80％额定功率时的电压退化率，k₂为燃料电池输出功率小于20％时的电压退化率，k₃为瞬时负载变化时每千瓦的电压退化率，P_high和P_low分别为燃料电池的高功率和低功率阈值，ΔP为每采样时间功率的变化，t₁为工作点等于或大于80％额定功率的次数，t₂为工作点的输出功率小于20％的次数；

建立的动力电池老化模型为：

Q_aging＝(αSOC+β)·exp((-E_a+η·C_rate)/R_gas·T_K)Ah^z

其中，Q_aging为电池的容量衰减，α,β为拟合系数，E_a为活化能，C_rate为电流充放电速率，η为C_rate的补偿系数，R_gas为气体常数，T_K为测试电池时的环境温度，Ah为安时通量，z为幂系数，Q_aging,k+1为k+1时刻电池的容量衰减，Q_aging,k为k时刻电池的容量衰减，ΔAh为k时刻到k+1时刻的安时通量的变化；Ah_eff为有效安时通量，σ为严重程度因子，I_bat为锂离子电池电流；

S3：利用TD3算法构建燃料电池汽车能量管理策略，求解包含能耗经济性、燃料电池寿命以及动力电池寿命的多目标优化问题；所述TD3算法是双延迟深度确定性策略梯度算法。

2.根据权利要求1所述的燃料电池汽车能量管理方法，其特征在于，步骤S1中，所述车辆状态信息包括：车辆的速度、电机转速、电机效率以及传动系统；所述动力电池状态信息包括：电池电流、电压、内阻以及SOC；所述燃料电池状态信息包括：燃料电池的功率、效率以及氢耗。

3.根据权利要求1所述的燃料电池汽车能量管理方法，其特征在于，步骤S2中，建立的燃料电池氢耗模型为：

其中，

为氢耗量，

为氢的低热值，η_fc为燃料电池效率，P_fc为燃料电池功率。

4.根据权利要求1所述的燃料电池汽车能量管理方法，其特征在于，步骤S2中，建立的动力电池等效电路模型为：

其中，I_bat为锂离子电池电流，V_oc为锂离子电池开路电压，R_bat为锂离子电池内阻，P_bat为电池功率，SOC(k+1)为下一时刻电池的荷电状态，SOC(k)为当前时刻电池的荷电状态，Δt为离散时间间隔，Q_bat为锂离子电池容量。

5.根据权利要求1～4中任意一项所述的燃料电池汽车能量管理方法，其特征在于，所述步骤S3具体包括以下步骤：

S31：状态变量空间为包含燃料电池功率P_fc、车辆的转速w、电池的荷电状态SOC以及电池安时通量Ah的集合，表示为：

S＝{P_fc,w,SOC,Ah}

S32：在TD3算法中，智能体将当前状态S作为演员网络的输入，并输出一个确定的动作；通过在确定动作的基础上增加噪声来选择最终动作；动作集A＝{P_fc}；

S33：在智能体采取动作后，获得相应的奖励,奖励函数R定义为：

其中，α,β,λ,ω为权重系数；D_FC为燃料电池衰退容量，Ah_eff为有效安时通量；

S34：智能体在采取动作后，获得相应的奖励并且进入下一时刻状态S′，并在经验池中储存经验样本{S,A,R,S′}；在经验样本数超过经验池容量时，新的采样经验会覆盖旧的经验；

S35：从经验池中随机抽取小批量经验样本，目标演员网络根据状态S′输出下一时刻动作A′；对动作A′施加随机噪声，即：

A'＝π_φ′(S')+∈

其中，π_φ′为目标演员网络，∈为随机噪声；

S36：使用一对独立的评论家网络估计动作值函数；下一时刻的状态与动作作为目标评论家网络的输入，选择两个网络中输出的最小Q值计算目标值y；评论家网络目标值计算公式为：

其中，γ为折扣因子，

为目标评论家网络输出的Q值；然后，利用平方差损失函数更新评论家网络；

S37：更新策略网络时，使用评论家网络进行更新；使用梯度上升法对策略网络进行更新，更新公式为：

其中，

为在状态S下，遵从策略π，做出动作所得到奖励的期望；

为演员网络梯度，

为评论家网络梯度；

S38：当评论家网络估值不准确的时候，演员网络根据不准确的估值往错误的方向进行更新。

Images