CN112287463A - 一种基于深度强化学习算法的燃料电池汽车能量管理方法 - Google Patents

Abstract

本发明涉及一种基于深度强化学习算法的燃料电池汽车能量管理方法，属于新能源汽车领域。该方法包括：S1：获取燃料电池汽车状态信息；S2：搭建燃料电池汽车能量管理系统模型；S3：利用深度强化学习算法构建燃料电池汽车能量管理策略，求解包含燃油经济性以及燃料电池效率的多目标优化问题，从而得出最优能量分配结果。本发明将深度强化学习算法应用于燃料电池汽车能量管理制，具有良好的优化性以及实时性；同时在奖励函数中考虑了燃料电池的工作效率，为能量管理提供了新思路。

Description

一种基于深度强化学习算法的燃料电池汽车能量管理方法

技术领域

本发明属于新能源汽车领域，涉及一种基于深度强化学习(DQN)算法的燃料电池汽车能量管理方法。

背景技术

目前，传统汽车面临着环境污染、全球变暖、石油资源有限等问题，使得汽车制造商将注意力转向混合动力汽车、电动汽车和燃料电池汽车的研究。混合动力汽车作为从传统汽车向未来清洁汽车的过渡车型，通常由储能系统、电动机和内燃机组成，这些部件仍然消耗燃料油并产生污染。同时，由于电池和电动机组成的电动汽车行驶距离有限，充电时间长，已成为其商业化的一大障碍。因此，随着燃料电池技术的发展，零排放、长里程、高耐久性的燃料电池汽车(Fuel cell vehicle,FCV)越来越受到汽车制造商的重视。

燃料电池汽车作为当前最有发展前景的新能源汽车之一，针对其能量管理问题，学者们提出了许多的能量管理控制方法，大致可以分为两类：基于规则的能量管理策略与基于优化的能量管理策略。其中，基于规则的能量管理包括状态机控制、模糊逻辑控制等，基于优化的能量管理策略包括基于全局优化的能量管理策略(动态规划)以及基于局部优化的能量管理策略(庞特里亚金最小原则，等效消耗最小策略以及模型预测控制等)。然而，以上提及的能量管理策略很难同时满足实时性与最优性，例如：基于规则与基于局部优化的能量管理虽然能够应用于实时控制，但是其最优性无法保证；基于全局优化的能量管理策略，虽然能够获取全局最优解，但是计算量过大致使无法应用于实车的实时控制。因此，亟需一种新的燃料电池汽车能量管理方法来满足燃料电池汽车对实时性与最优性的要求。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度强化学习算法的燃料电池汽车能量管理方法，使用深度强化学习(DQN)算法作为优化算法来提高燃料电池汽车整体的经济性，同时保证燃料电池工作在较高的效率。

为达到上述目的，本发明提供如下技术方案：

一种基于深度强化学习算法的燃料电池汽车能量管理方法，包括以下步骤：

S1：获取燃料电池汽车状态信息；

S2：搭建燃料电池汽车能量管理系统模型；

S3：利用深度强化学习(Deep Q-learning,DQN)算法构建燃料电池汽车能量管理策略，求解包含燃油经济性以及燃料电池效率的多目标优化问题，得出最优能量分配结果。

进一步，步骤S1中，所述燃料电池汽车状态信息包括：

车辆状态信息，包括：车辆的速度、电机转速、电机效率以及传动系统；

燃料电池状态信息，包括：燃料电池的功率、效率以及氢耗；

锂离子电池状态信息，包括：锂离子电池电流、电压、内阻以及SOC。

进一步，步骤S2中，搭建燃料电池汽车能量管理系统模型，具体包括以下步骤：

S21：搭建整车模型；

S22：搭建燃料电池氢耗模型以及效率模型；

S23：搭建锂离子电池模型。

更进一步，步骤S21中，搭建的整车模型为：

其中，P_dem为需求功率，m_v为车辆的重量，η_motor为电机效率，v为速度，F_a为空气阻力，F_r为滚动摩擦，F_g为坡度阻力；

P_dem＝P_fc+P_bat

其中，P_fc为燃料电池功率，P_bat为锂离子电池功率。

更进一步，步骤S22中，搭建的燃料电池氢耗模型为：

其中，

为氢耗量，

为氢的低热值，η_fc为燃料电池效率；

搭建的燃料电池效率模型为：

其中，

为与燃料电池氢耗相关的理论功率。

更进一步，步骤S23中，搭建的锂离子电池模型为：

其中，I_bat为锂离子电池电流，V_oc为锂离子电池开路电压，R_bat为锂离子电池内阻；

其中，SOC_bat—为下一时刻锂离子电池的荷电状态，SOC_bat为当前时刻锂离子电池的荷电状态，η_bat为锂离子电池效率，Q_bat为锂离子电池容量。

进一步，所述步骤S3具体包括以下步骤：

S31：设当前状态S＝{P_fc,w,SOC}，其中S为包含所有状态的状态集，P_fc为燃料电池的功率，w为燃料电池汽车的转速，SOC为锂离子电池的荷电状态；

S32：在深度强化学习算法中，智能体以当前状态S根据ε-贪婪算法选择动作，即以概率ε对动作集A进行随机选择，否则选择以当前状态S为输入的Q网络的输出最大值选择动作；动作集A＝{ΔP_fc}，其中ΔP_fc为燃料电池功率变化；

S33：在智能体采取动作后，获得相应的奖励，奖励函数R定义为：

其中，α,β,γ为权重系数；在深度强化学习算法中，智能体会尽量选取可以获得较大奖励值的动作执行。进而，通过调整权重系数来实现燃料电池的氢消耗最小，锂离子电池始终以SOC的变化最小以及燃料电池的工作效率最大达到平衡；

S34：智能体在采取动作后，获得相应的奖励并且进入下一状态S_，储存经验样本{S,A,R,S_}到经验池中，在经验池中的样本数储存到一定数量；从经验池中随机抽取小批量的储存经验样本，计算每一个状态的目标值，智能体通过执行动作后获得的奖励更新Q值作为DQN算法的目标值；目标值函数y_i表示为：

其中，R_j为奖励值，λ为学习率，Q(S_j+1,A′,θ)为在下一状态时所对应的Q值函数，θ为神经网络的权重参数；

S35：根据步骤S34获得的目标值，再根据当前状态获取评估值，然后使用均方误差作为神经网络的损失函数，损失函数表示为：

L(θ)＝E[(y_i-Q(S,A,θ))²]

其中，E[·]表示期望，Q(S,A,θ)为当前状态下的评估Q值函数，然后利用梯度下降法对神经网络的权重参数θ进行更新。

更进一步，步骤S34、S35中，Q值函数在强化学习中主要用来评估当前智能体在当前状态下选择的动作的好坏程度，在DQN算法中对应于以当前状态为输入的神经网络的输出值。

本发明的有益效果在于：

1)本发明采用了深度强化学习算法进行能量管理，实现了能量管理策略的实时性与最优性；

2)本发明摆脱了传统能量管理策略对路况的依赖性，通过不断的学习，实现对不同路况的自适性；

3)本发明在考虑氢消耗最小的同时，使得燃料电池的效率尽可能高，并且SOC的变化始终维持在初始值附近。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明燃料电池汽车能量管理方法的流程图；

图2为燃料电池汽车动力系统结构示意图；

图3为本发明中利用DQN算法实现燃料电池汽车的能量管理的流程框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图3，本发明提供了一种兼顾燃料电池效率以及燃料电池汽车氢耗的能量管理控制方法，通过使用深度强化学习算法，实现该策略的实时性以及最优性，优化了燃料电池的工作效率以及整车的氢消耗。如图1所示，该方法具体包括以下步骤：

S1：获取燃料电池汽车状态信息，具体包括：

车辆状态信息包括：车辆的速度、电机转速、电机效率，传动系统。燃料电池状态信息包括：燃料电池的功率、效率以及氢耗。锂离子电池状态信息包括：锂离子电池电流、电压、内阻以及SOC。

S2：建立燃料电池汽车能量管理系统模型，如图2所示，具体包括以下步骤：

S21：搭建整车模型：

其中，P_dem为需求功率，m_v为车辆的重量，η_motor为电机效率，v为速度，F_a为空气阻力，F_r为滚动摩擦，F_g为坡度阻力。

P_dem＝P_fc+P_bat

其中，P_fc为燃料电池功率，P_batt为锂离子电池功率。

S22：搭建燃料电池氢耗模型以及效率模型：

其中，

为氢耗量，

为氢的低热值，η_fc为燃料电池效率。

其中，

为与燃料电池氢耗相关的理论功率。

S23：搭建锂离子电池模型：

其中，I_bat为锂离子电池电流，V_oc为锂离子电池开路电压，R_bat为锂离子电池内阻。

其中，SOC_bat—为下一时刻锂离子电池的荷电状态，SOC_bat为当前时刻锂离子电池的荷电状态，η_bat为锂离子电池效率，，Q_bat为锂离子电池容量。

S3：利用DQN算法构建燃料电池汽车能量管理策略，求解包含燃油经济性以及燃料电池效率的多目标优化问题，得出最优能量分配结果。

利用DQN算法实现燃料电池汽车的能量管理，降低燃料电池的氢消耗并使得燃料电池尽可能的工作在高效率区。其中深度强化学习算法—DQN模型如图3所示，DQN模型具体为：

S31：状态S＝{P_fc,w,SOC}，其中S为包含所有状态的状态集，P_fc为燃料电池功率，w为车辆的转速。

S32：在深度强化学习中，Agent根据状态S选择动作A＝{ΔP_fc}，其中A包含所有的动作集，ΔP_fc为燃料电池变化功率。

S33：在智能体采取动作后，获得相应的奖励,奖励函数R定义为：

其中，α,β,γ为权重系数。在DQN算法中，智能体会尽量选取可以获得较大奖励值的动作执行。进而，通过调整权重系数来实现燃料电池的氢消耗最小，锂离子电池始终SOC的变化最小以及燃料电池的工作效率最大的平衡。

S34：智能体在采取动作后，获得相应的奖励并且进入下一状态S_，储存经验样本{S,A,R,S_}到经验池中，在经验池中的样本数储存到一定数量。从经验池中随机抽取小批量的储存经验样本，计算每一个状态的目标值，智能体通过执行动作后获得的奖励更新Q值作为DQN算法的目标值。目标值函数y_i表示为：

其中，R_j为奖励值，λ为学习率，Q(S_j+1,A,θ)为在下一状态时所对应的Q值函数，θ为神经网络的权重参数。

S35：根据S34获得的目标值，再根据当前状态获取评估值，然后使用均方误差作为神经网络的损失函数，损失函数表示为：

L(θ)＝E[(y_i-Q(S,A,θ))²]

其中，E[·]表示期望，Q(S,A,θ)为当前状态下的评估Q值函数，然后利用梯度下降法对神经网络的权重参数θ进行更新。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于深度强化学习算法的燃料电池汽车能量管理方法，其特征在于，该方法包括以下步骤：

S1：获取燃料电池汽车状态信息；

S2：搭建燃料电池汽车能量管理系统模型；

S3：利用深度强化学习(Deep Q-learning，DQN)算法构建燃料电池汽车能量管理策略，求解包含燃油经济性以及燃料电池效率的多目标优化问题，从而得出最优能量分配结果。

2.根据权利要求1所述的燃料电池汽车能量管理方法，其特征在于，步骤S1中，所述燃料电池汽车状态信息包括：

车辆状态信息，包括：车辆的速度、电机转速、电机效率以及传动系统；

燃料电池状态信息，包括：燃料电池的功率、效率以及氢耗；

锂离子电池状态信息，包括：锂离子电池电流、电压、内阻以及SOC。

3.根据权利要求2所述的燃料电池汽车能量管理方法，其特征在于，步骤S2中，搭建燃料电池汽车能量管理系统模型，具体包括以下步骤：

S21：搭建整车模型；

S22：搭建燃料电池氢耗模型以及效率模型；

S23：搭建锂离子电池模型。

4.根据权利要求3所述的燃料电池汽车能量管理方法，其特征在于，步骤S21中，搭建的整车模型为：

其中，P_dem为需求功率，m_v为车辆的重量，η_motor为电机效率，v为速度，F_a为空气阻力，F_r为滚动摩擦，F_g为坡度阻力；

P_dem＝P_fc+P_bat

其中，P_fc为燃料电池功率，P_bat为锂离子电池功率。

5.根据权利要求4所述的燃料电池汽车能量管理方法，其特征在于，步骤S22中，搭建的燃料电池氢耗模型为：

其中，

为氢耗量，

为氢的低热值，η_fc为燃料电池效率；

搭建的燃料电池效率模型为：

其中，

为与燃料电池氢耗相关的理论功率。

6.根据权利要求5所述的燃料电池汽车能量管理方法，其特征在于，步骤S23中，搭建的锂离子电池模型为：

其中，I_bat为锂离子电池电流，V_oc为锂离子电池开路电压，R_bat为锂离子电池内阻；

其中，SOC_bat-为下一时刻锂离子电池的荷电状态，SOC_bat为当前时刻锂离子电池的荷电状态，η_bat为锂离子电池效率，Q_bat为锂离子电池容量。

7.根据权利要求6所述的燃料电池汽车能量管理方法，其特征在于，所述步骤S3具体包括以下步骤：

S31：设当前状态S＝{P_fc，w，SOC}，其中S为包含所有状态的状态集，P_fc为燃料电池的功率，w为燃料电池汽车的转速，SOC为锂离子电池的荷电状态；

S32：在深度强化学习算法中，智能体以当前状态S根据ε-贪婪算法选择动作，即以概率ε对动作集A进行随机选择，否则选择以当前状态S为输入的Q网络的输出最大值选择动作；动作集A＝{ΔP_fc}，其中ΔP_fc为燃料电池功率变化；

S33：在智能体采取动作后，获得相应的奖励，奖励函数R定义为：

其中，α，β，γ为权重系数；通过调整权重系数来实现燃料电池的氢消耗最小，锂离子电池始终以SOC的变化最小以及燃料电池的工作效率最大达到平衡；

S34：智能体在采取动作后，获得相应的奖励并且进入下一状态S_，储存经验样本{S，A，R，S_}到经验池中；从经验池中随机抽取储存经验样本，计算每一个状态的目标值，智能体通过执行动作后获得的奖励更新Q值作为DQN算法的目标值；目标值函数y_i表示为：

其中，R_j为奖励值，λ为学习率，Q(S_j+1，A′，θ)为在下一状态时所对应的Q值函数，θ为神经网络的权重参数；

S35：根据步骤S34获得的目标值，再根据当前状态获取评估值，然后使用均方误差作为神经网络的损失函数，损失函数表示为：

L(θ)＝E[(y_i-Q(S，A，θ))²]

其中，E[·]表示期望，Q(S，A，θ)为当前状态下的评估Q值函数，然后利用梯度下降法对神经网络的权重参数θ进行更新。

Images