CN110254418A - 一种混合动力汽车增强学习能量管理控制方法 - Google Patents

Abstract

本发明涉及一种混合动力汽车增强学习能量管理控制方法。该方法结合使用等效燃油消耗最小策略和增强学习算法，通过优化燃油消耗和电池容量衰退，来达到混合动力汽车整车使用成本最优的目标，包括以下步骤：1）对车辆状态和电池状态数据进行采集；2）建立混合动力汽车ICE模型、EM模型和传动系统模型，以及电池内阻和衰退模型；3）将等效燃油消耗最小策略和增强学习算法相结合，建立混合动力汽车能量管理策略，求解多目标优化问题，并按照求解结果生成控制信号，分配发动机功率和电机功率。

Description

一种混合动力汽车增强学习能量管理控制方法

技术领域

本发明涉及混合动力汽车能量管理领域，特别是一种混合动力汽车增强学习能量管理控制方法。

背景技术

如今，传统燃料汽车所使用的汽油、柴油等燃料面临着日益枯竭的危机，同时汽车尾气排放对环境也带来越来越严重的污染，新能源汽车成为汽车发展的必然趋势。作为新能源汽车形式的一种，纯电动汽车在续航里程、电池寿命、使用成本等方面还存在许多尚未有效解决的问题。作为由传统燃料汽车向纯电动汽车过渡的一种形式，混合动力汽车(Hybrid Electric Vehicles，HEVs)成为当前汽车领域研究的重点。

混合动力汽车的动力系统由多个动力源组成，通过能量管理策略可以实现需求功率在多个动力源之间的合理分配以及动力系统各部件之间的协调控制，从而达到在保持良好动力性的前提下，提高整车经济性能的目的。

作为动力源之一，锂离子电池因其高能量密度、高功率密度的优势，在混合动力汽车上发挥着越来越重要的作用。然而，在工作过程中，锂离子电池内部会发生一些不可逆转的电化学反应，或者受到温度、充放电倍率和放电深度等因素的影响，其容量将发生衰减。电池容量衰减会对电池荷电状态(State of Charge，SOC)和电池的寿命产生影响，直接影响到电机的工作点，从而间接影响到整车的动力性和经济性。同时，电池的过快衰退会加速整车电池的更换频率，增加整车成本。然而，现有的混合动力汽车能量管理方法大都集中于对经济性的改善，对电池容量的衰退考虑较少。因此，研究考虑到电池容量衰退的混合动力汽车能量管理方法具有重要的应用价值和理论意义。

在能量管理方法研究中，最理想的工作状态是让电池寿命和燃油消耗都能达到最优。然而，电池容量衰退最小与燃油消耗最低这两个目标是相互冲突的。因此，只能通过折中的方法，综合考虑燃油经济性与电池的寿命问题，达到整体性能经济的目的。

发明内容

本发明的目的在于提供一种混合动力汽车增强学习能量管理控制方法，该方法能够提高整车经济性。

为实现上述目的，本发明的技术方案是：一种混合动力汽车增强学习能量管理控制方法，包括如下步骤：

步骤S1、采集车辆状态和电池状态数据；

步骤S2、建立混合动力汽车ICE(Internal Combustion Engine)模型、EM(Electric Motor)模型和传动系统模型，以及电池内阻和衰退模型；

步骤S3、将等效燃油消耗最小策略(Equivalent Consumption MinimizationStrategy，ECMS)和增强学习(RL，Reinforcement Learning)算法模型相结合，建立混合动力汽车能量管理策略，求解多目标优化问题，并按照求解结果生成控制信号，分配发动机功率和电机功率。

在本发明一实施例中，步骤S1中，所述车辆状态数据包括：车辆速度、需求功率、发动机转速和电机转速，所述电池状态数据包括：电池电流、电压、温度和SOC。

在本发明一实施例中，步骤S2中，所述电池衰退模型的构建方法如下：

定义电池由SOC_low经充电至SOC_high随后再由SOC_high放电至SOC_low为一个充/放电循环；一个充/放电循环内电池容量衰退量取决于平均SOC值SOC_avg和SOC变化范围差值SOC_swing；

考虑SOC_swing的电池容量衰退百分比，即电池容量相对于电池额定容量的衰退百分比为：

其中，K_CO和K_ex为与电池有关的常数，SOC_swing＝SOC_high-SOC_low，T_ref为参考电池温度，T为电池温度，τ为此循环的时长，τ_life为电池的静置寿命；

考虑SOC_avg的电池容量衰退百分比为：

其中，K_SOC为与电池有关的常数，SOC_avg＝(SOC_high+SOC_low)/2，为初始电池容量衰退百分比；

一个充/放电循环后的电池容量衰退百分比计算如下：

其中，K_T为与电池有关的常数；

因此在一个时间步长ΔT内的电池容量衰退百分比为：

其中，Q_losscycle(i)为步长ΔT内第i个循环的电池容量衰退百分比，N_c为步长ΔT内的循环次数。

在本发明一实施例中，步骤S3中，所述多目标优化问题是在满足动力性要求的前提下，通过能量管理策略，在优化混合动力汽车燃油经济性的同时，减缓电池容量衰退的速度，以获得整车最佳经济性能。

在本发明一实施例中，步骤S3中，所述等效燃油消耗最小策略(EquivalentConsumption Minimization Strategy，ECMS)的目的是获取所建立模型在典型工况数据下，使得等效燃油消耗最小工作点时的最优等效系数S_opt，以此建立最优等效系数与动力电池功率和SOC关系的离线MAP。

在本发明一实施例中，等效燃油消耗最小策略中等效系数的优化定义为：

其中，为整车的瞬时等效燃油消耗率，为ICE的瞬时燃油消耗率，表示电能的等效燃油消耗率，s(t)为等效系数，P_batt为电池输出功率，Q_Ihv为燃油低热值。

在本发明一实施例中，步骤S3中，所述增强学习算法模型是在通过等效燃油消耗最小策略获得最优等效系数MAP的基础上，获取等效系数初始值s(0)，并以电池衰退最小和整车等效燃油消耗最小为多目标优化对象，在线更新等效系数s(t)。

在本发明一实施例中，所述增强学习算法模型，包括：

(1)状态s_t∈S＝{P_dem(t),v(t),SOC(t)}

其中，S为包含所有状态的状态集，P_dem(t)为驱动混合动力汽车行驶的需求功率，v(t)为车速，SOC(t)为电池的荷电状态；

(2)动作a_t∈A＝{s(t)}

其中，增强学习算法Agent根据状态s_t选择动作a_t＝[s(t)]，A为包含所有可能行动的行动集，即所有等效系数；

为保证SOC在一定范围内波动，定义等效系数s(t)为：

其中，s(0)为初始等效系数，通过MAP插值获得，即α为调节系数，SOC_swing为SOC变化范围差值，SOC_ref为参考SOC值；

由此可以建立SOC_swing与等效系数s(t)、与SOC(t)的函数关系：

SOC_swing＝g(s(t),SOC(t))

当已知t时刻的s(t)和SOC(t)，便可根据此函数关系求出SOC_swing，用于后面电池衰退容量的计算；

(3)回报函数定义为一时间步长ΔT内电池衰退量与等效燃油消耗量之和的负数，表示为：

其中，R为回报函数集，ΔQ_loss为一个时间步长ΔT内的电池容量衰退百分比；根据所建立的电池衰退模型，ΔQ_loss由下式获得：

ΔQ_loss＝f(SOC_swing,SOC_avg,T)＝f(g(s(t),SOC(t)),SOC_avg,T)。

相较于现有技术，本发明具有以下有益效果：

(1)本发明在考虑车辆燃油经济性的同时，对电池容量衰退进行优化，从而达到整车经济性的最优化；

(2)本发明不需要关于行驶工况的先验信息，从而可以简化运算，更有利于应用在实际车辆中。

附图说明

图1为本发明方法流程示意图。

图2为能量管理策略示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明提供一种兼顾电池寿命和经济性的混合动力汽车增强学习能量管理控制方法，结合使用等效燃油消耗最小策略和增强学习算法，优化控制电池衰退和整车等效燃油消耗，以此达到整车经济性能最佳的目的，具体步骤如下：

步骤S1、采集车辆状态和电池状态数据；

所述车辆状态数据包括：车辆速度、需求功率、发动机转速和电机转速，所述电池状态数据包括：电池电流、电压、温度和SOC等。

步骤S2、建立混合动力汽车ICE(Internal Combustion Engine)模型、EM(Electric Motor)模型和传动系统模型，以及电池内阻和衰退模型；

所述电池衰退模型的构建方法如下：

定义电池由SOC_low经充电至SOC_high随后再由SOC_high放电至SOC_low为一个充/放电循环；一个充/放电循环内电池容量衰退量取决于平均SOC值SOC_avg和SOC变化范围差值SOC_swing；

考虑SOC_swing的电池容量衰退百分比，即电池容量相对于电池额定容量的衰退百分比为：

其中，K_CO和K_ex为与电池有关的常数，K_CO＝3.66×10^-5，K_ex＝0.717，SOC_swing＝SOC_high-SOC_low，T_ref为参考电池温度，T为电池温度，τ为此循环的时长，τ_life为电池的静置寿命(CalendarLife)；

考虑SOC_avg的电池容量衰退百分比为：

其中_，K_SOC为与电池有关的常数_，K_SOC＝0.916，SOC_avg＝(SOC_high+SOC_low)/2，为初始电池容量衰退百分比；

一个充/放电循环后的电池容量衰退百分比计算如下：

其中，K_T为与电池有关的常数；

因此在一个时间步长ΔT内的电池容量衰退百分比为：

其中，Q_losscycle(i)为步长ΔT内第i个循环的电池容量衰退百分比，N_c为步长ΔT内的循环次数。

步骤S3、将等效燃油消耗最小策略(Equivalent Consumption MinimizationStrategy，ECMS)和增强学习(RL，Reinforcement Learning)算法模型相结合，建立混合动力汽车能量管理策略，求解多目标优化问题，并按照求解结果生成控制信号，分配发动机功率和电机功率。该能量管理策略的示意图如图2所示。

所述多目标优化问题是在满足动力性要求的前提下，通过能量管理策略，在优化混合动力汽车燃油经济性的同时，减缓电池容量衰退的速度，以获得整车最佳经济性能。

所述等效燃油消耗最小策略(Equivalent Consumption MinimizationStrategy，ECMS)的目的是获取所建立模型在典型工况数据下，使得等效燃油消耗最小工作点时的最优等效系数S_opt，以此建立最优等效系数与动力电池功率和SOC关系的离线MAP。如图2中最优等效系数MAP获取部分所示。最优等效燃油消耗最小策略ECMS中等效系数的优化定义为：

其中，为t时刻时整车的瞬时等效燃油消耗率，为ICE的瞬时燃油消耗率，表示电能的等效燃油消耗率，s(t)为等效系数，P_batt为电池输出功率，Q_Ihv为燃油低热值。

所述增强学习算法模型是在通过等效燃油消耗最小策略获得最优等效系数MAP的基础上，获取等效系数初始值s(0)，并以电池衰退最小和整车等效燃油消耗最小为多目标优化对象，在线更新等效系数s(t)。用于更新等效系数s(t)的增强学习算法模型如图2中等效系数在线更新部分所示。增强学习算法模型，包括：

(1)状态s_t∈S＝{P_dem(t),v(t),SOC(t)}

其中，S为包含来自于HEV模型所有状态的状态集，P_dem(t)为驱动混合动力汽车行驶的需求功率，v(t)为车速，SOC(t)为电池的荷电状态(％)；

(2)动作a_t∈A＝{s(t)}

其中，增强学习算法Agent根据状态s_t选择动作a_t＝[s(t)]，用于功率的分配，A为包含所有可能行动的行动集，即所有等效系数；

为保证SOC在一定范围内波动，定义等效系数s(t)为：

其中，s(0)为初始等效系数，通过MAP插值获得，即α为调节系数，SOC_swing为SOC变化范围差值，SOC_ref为参考SOC值；

由此可以建立SOC_swing与等效系数s(t)、与SOC(t)的函数关系：

SOC_swing＝g(s(t),SOC(t))

当已知t时刻的s(t)和SOC(t)，便可根据此函数关系求出SOC_swing，用于后面电池衰退容量的计算；

(3)回报函数定义为一时间步长ΔT内电池衰退量与等效燃油消耗量之和的负数，表示为：

其中，R为来自于HEV模型对增强学习算法模型的回报函数集，ΔQ_loss为一个时间步长ΔT内的电池容量衰退百分比；根据所建立的电池衰退模型，ΔQ_loss由下式获得：

ΔQ_loss＝f(SOC_swing,SOC_avg,T)＝f(g(s(t),SOC(t)),SOC_avg,T)。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (8)

1.一种混合动力汽车增强学习能量管理控制方法，其特征在于，包括如下步骤：

步骤S1、采集车辆状态和电池状态数据；

步骤S2、建立混合动力汽车ICE模型、EM模型和传动系统模型，以及电池内阻和衰退模型；

步骤S3、将等效燃油消耗最小策略和增强学习算法模型相结合，建立混合动力汽车能量管理策略，求解多目标优化问题，并按照求解结果生成控制信号，分配发动机功率和电机功率。

2.根据权利要求1所述的一种混合动力汽车增强学习能量管理控制方法，其特征在于，步骤S1中，所述车辆状态数据包括：车辆速度、需求功率、发动机转速和电机转速，所述电池状态数据包括：电池电流、电压、温度和SOC。

3.根据权利要求1所述的一种混合动力汽车增强学习能量管理控制方法，其特征在于，步骤S2中，所述电池衰退模型的构建方法如下：

定义电池由SOC_low经充电至SOC_high随后再由SOC_high放电至SOC_low为一个充/放电循环；一个充/放电循环内电池容量衰退量取决于平均SOC值SOC_avg和SOC变化范围差值SOC_swing；

考虑SOC_swing的电池容量衰退百分比，即电池容量相对于电池额定容量的衰退百分比为：

其中，K_CO和K_ex为与电池有关的常数，SOC_swing＝SOC_high-SOC_low，T_ref为参考电池温度，T为电池温度，τ为此循环的时长，τ_life为电池的静置寿命；

考虑SOC_avg的电池容量衰退百分比为：

其中，K_SOC为与电池有关的常数，SOC_avg＝(SOC_high+SOC_low)/2，为初始电池容量衰退百分比；

一个充/放电循环后的电池容量衰退百分比计算如下：

其中，K_T为与电池有关的常数；

因此在一个时间步长ΔT内的电池容量衰退百分比为：

其中，Q_{loss c ycle}(i)为步长ΔT内第i个循环的电池容量衰退百分比，N_c为步长ΔT内的循环次数。

4.根据权利要求1所述的一种混合动力汽车增强学习能量管理控制方法，其特征在于，步骤S3中，所述多目标优化问题是在满足动力性要求的前提下，通过能量管理策略，在优化混合动力汽车燃油经济性的同时，减缓电池容量衰退的速度，以获得整车最佳经济性能。

5.根据权利要求1所述的一种混合动力汽车增强学习能量管理控制方法，其特征在于，步骤S3中，所述等效燃油消耗最小策略的目的是获取所建立模型在典型工况数据下，使得等效燃油消耗最小工作点时的最优等效系数S_opt，以此建立最优等效系数与动力电池功率和SOC关系的离线MAP。

6.根据权利要求5所述的一种混合动力汽车增强学习能量管理控制方法，其特征在于，等效燃油消耗最小策略中等效系数的优化定义为：

其中，为整车的瞬时等效燃油消耗率，为ICE的瞬时燃油消耗率，表示电能的等效燃油消耗率，s(t)为等效系数，P_batt为电池输出功率，Q_Ihv为燃油低热值。

7.根据权利要求1所述的一种混合动力汽车增强学习能量管理控制方法，其特征在于，步骤S3中，所述增强学习算法模型是在通过等效燃油消耗最小策略获得最优等效系数MAP的基础上，获取等效系数初始值s(0)，并以电池衰退最小和整车等效燃油消耗最小为多目标优化对象，在线更新等效系数s(t)。

8.根据权利要求7所述的一种混合动力汽车增强学习能量管理控制方法，其特征在于，所述增强学习算法模型，包括：

(1)状态s_t∈S＝{P_dem(t),v(t),SOC(t)}

其中，S为包含所有状态的状态集，P_dem(t)为驱动混合动力汽车行驶的需求功率，v(t)为车速，SOC(t)为电池的荷电状态；

(2)动作a_t∈A＝{s(t)}

其中，增强学习算法Agent根据状态s_t选择动作a_t＝[s(t)]，A为包含所有可能行动的行动集，即所有等效系数；

为保证SOC在一定范围内波动，定义等效系数s(t)为：

其中，s(0)为初始等效系数，通过MAP插值获得，即α为调节系数，SOC_swing为SOC变化范围差值，SOC_ref为参考SOC值；

由此可以建立SOC_swing与等效系数s(t)、与SOC(t)的函数关系：

SOC_swing＝g(s(t),SOC(t))

当已知t时刻的s(t)和SOC(t)，便可根据此函数关系求出SOC_swing，用于后面电池衰退容量的计算；

(3)回报函数定义为一时间步长ΔT内电池衰退量与等效燃油消耗量之和的负数，表示为：

其中，R为回报函数集，ΔQ_loss为一个时间步长ΔT内的电池容量衰退百分比；根据所建立的电池衰退模型，ΔQ_loss由下式获得：

ΔQ_loss＝f(SOC_swing,SOC_avg,T)＝f(g(s(t),SOC(t)),SOC_avg,T)。