CN114103971B - 一种燃料电池汽车节能驾驶优化方法及装置 - Google Patents

一种燃料电池汽车节能驾驶优化方法及装置 Download PDF

Info

Publication number
CN114103971B
CN114103971B CN202111390601.4A CN202111390601A CN114103971B CN 114103971 B CN114103971 B CN 114103971B CN 202111390601 A CN202111390601 A CN 202111390601A CN 114103971 B CN114103971 B CN 114103971B
Authority
CN
China
Prior art keywords
model
representing
fuel cell
mot
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111390601.4A
Other languages
English (en)
Other versions
CN114103971A (zh
Inventor
孙超
刘波
孙逢春
任强
周飞鲲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Guangzhou Automobile Group Co Ltd
Original Assignee
Beijing Institute of Technology BIT
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Guangzhou Automobile Group Co Ltd filed Critical Beijing Institute of Technology BIT
Priority to CN202111390601.4A priority Critical patent/CN114103971B/zh
Publication of CN114103971A publication Critical patent/CN114103971A/zh
Application granted granted Critical
Publication of CN114103971B publication Critical patent/CN114103971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/30—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling fuel cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0037—Mathematical models of vehicle sub-units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/40—Application of hydrogen technology to transportation, e.g. using fuel cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Sustainable Development (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Sustainable Energy (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Fuel Cell (AREA)

Abstract

本发明公开了一种燃料电池汽车节能驾驶优化方法及装置，所述方法包括：建立燃料电池汽车系统模型和其系统功率平衡模型；在电量维持模式下，求解燃料电池汽车在各种工况下的最优能量管理策略；基于得到的最优数据库进行训练，得到数据驱动的能量管理模型；建立包含信号灯的训练场景，定义状态空间和动作空间；根据数据驱动的能量管理模型，得到燃料电池汽车在某个状态和相应动作下的燃料消耗，建立相关的回报函数模型；在训练场景中进行训练，得到节能驾驶优化模型。本发明所提出的方法结合了联合优化和分层优化的优点，可将预先优化的能量管理策略融合到基于深度强化学习的燃料电池汽车车速规划之中，实现了能耗经济性和实时性的平衡。

Description

一种燃料电池汽车节能驾驶优化方法及装置
技术领域
本发明涉及燃料电池汽车车速规划和能量管理领域，特别是涉及一种燃料电池汽车节能驾驶优化方法。
背景技术
车辆智能化和网联化有望革新人员和货物的运输，从而提高道路安全性、改善乘坐舒适性、提高交通效率并减少能源消耗。通过车对基础设施V2I通信，网联式汽车可以获取道路上的实时信号灯信息，并通过优化车速轨迹实现节能驾驶。
燃料电池汽车作为一种混合能源驱动的车辆，其节能驾驶涉及速度规划和能量管理。该问题的最优解决方案是以最小化混合能源的总能耗为目标，进行车速和能量的联合优化。然而由于维数诅咒，超高的计算负担使得一般的联合优化难以具备实时性。一种简化的解决方案是分层优化，即首先以最小化车轮处的功率需求为目标进行车速规划，然后基于车速进行能量管理。通过将车辆运动规划和动力传动系统控制完全解耦，分层优化能够降低计算代价，但是也牺牲了一定的最优性。
在现有技术中，涉及燃料电池汽车在信号灯场景中的节能驾驶方法较少，并且难以实现最优性和实时性的平衡。
发明内容
本发明的目的在于弥补现有技术的不足，提出一种燃料电池汽车节能驾驶优化方法和装置，其结合联合优化和分层优化的优点，可将预先优化的能量管理策略融合到基于深度强化学习的燃料电池汽车车速规划之中，实现能耗经济性和实时性的平衡。
本发明的技术方案如下：
一种燃料电池汽车节能驾驶优化方法，其包括：
S1.建立所述燃料电池汽车的系统模型和其系统功率平衡模型，其中，所述系统模型包括车辆的纵向动力学模型、其电机模型、其燃料电池和/或动力电池模型；
S2.基于所述系统模型和所述功率平衡模型，在电量维持模式下，利用动态规划算法求解所述燃料电池汽车在各种工况下的最优能量管理策略，由最优能量管理策略得到的最优系统和/或功率参数组成最优数据库；
S3.基于所述最优数据库，利用机器学习回归算法进行第一模型训练，得到数据驱动的能量管理模型；
S4.建立包含信号灯的训练场景，定义所述燃料电池汽车的状态空间和动作空间；
S5.根据所述数据驱动的能量管理模型，得到所述燃料电池汽车在某个状态和/或相应动作下的燃料消耗，建立和所述燃料消耗相关的回报函数模型；
S6.在所述训练场景中利用深度强化学习算法进行第二模型训练，得到训练后的节能驾驶优化模型；
S7.在包含信号灯的不同测试场景中利用所述节能驾驶优化模型得到经济车速，和/或，在电量维持模式下利用动态规划算法评估与所述经济车速响应的燃料消耗。
根据本发明的一些优选实施方式，所述机器学习回归算法选自XGBoost算法、神经网络算法和随机森林算法中的一种或多种。
根据本发明的一些优选实施方式，所述深度强化学习算法选自DDPG、TD3、A3C和PPO算法中的一种或多种。
根据本发明的一些优选实施方式，所述第一模型训练的输入为车速、加速度、动力电池荷电状态SOC，输出为燃料电池系统净功率。
根据本发明的一些优选实施方式，所述状态空间包括车速、信号灯与车辆位置的差值、信号灯的实时相位配时信息SPaT，所述动作空间包括车辆的加速度。
根据本发明的一些优选实施方式，所述回报函数模型包括：整体回报函数，与车辆保持当前车速行驶到信号灯路口时的信号状态有关的第一回报函数，与车辆实际通过信号灯路口时的信号状态有关的第二回报函数，及分别与车辆的速度、加速度或能耗有关第三～第五回报函数。
根据本发明的一些优选实施方式，所述第五回报函数包括：与需求功率相关的代价函数及与燃料消耗相关的代价函数。
根据本发明的一些优选实施方式，所述第二模型的训练包括：
S61.初始化深度强化学习网络、经验池和随机探索噪声；
S62.根据当前状态和随机探索噪声选择动作，并将相关经验添加到所述经验池；
S63.从添加后的经验池中选取一定长度的批量数据，进行所述深度强化学习网络的参数更新；
S64.重复进行S62和S63，直至达到最大训练回合数。
更优选的，所述深度强化学习网络包含actor网络、critic网络以及相对应的目标网络。
进一步优选的，所述actor网络采用策略梯度进行参数更新，和/或，所述critic网络采用最小化损失函数进行参数更新。
根据本发明的一些优选实施方式，所述最优能量管理策略通过以下模型获得：
其中，状态变量x＝SOC表示动力电池荷电状态；表示状态变量x对时间t的一阶导数；控制变量u＝Pfcs表示燃料电池系统净功率；tf表示终端时间；t表示时间；φ表示终端代价；SOCmin,SOCmax,Pfcs,min,Pfcs,max,ωmot,min,ωmot,max均为常数，分别表示SOC的最小值和最大值、Pfcs的最小值和最大值、ωmot的最小值和最大值；Pbat,min,Pbat,max均为荷电状态SOC的函数，分别表示Pbat的最小值和最大值；Tmot,min,Tmot,max均为ωmot的函数，分别表示Tmot的最小值和最大值；ξ表示SOC的动力学参数，即SOC对时间t的一阶导数/>
更优选的，通过将下式(9)代入式(11)后得到：
其中，Ibat表示动力电池电流，VOC，R0，Pbat分别表示开路电压、内阻和电池功率，VOC和R0都是动力电池荷电状态SOC的函数，Qbat表示电池容量。
根据本发明的一些优选实施方式，所述系统模型和其系统功率平衡模型包括以下模型中的一个或多个：
车辆纵向动力学模型：
Pdmd＝(Fdrv+Fbrk)v (2)
其中，v，M，fr和A分别表示车辆的位置、车速、质量、滚动阻力系数和迎风面积，表示车辆位置对时间t的一阶导数，即车速v；车辆的加速度/>Fdrv和Fbrk分别表示车轮处的电机机械力和刹车片制动力；G表示重力加速度；θ表示道路坡度；ρ和CD分别表示空气密度和空气阻力系数；Pdmd表示车轮处的需求功率；
电机模型：
其中，ωmot表示电机转速，Tmot表示电机转矩，rwhl是轮胎滚动半径，iFD和ηFD分别是主减速器的传动比和效率，Pmot,m表示电机的机械功率，Pmot,e表示电机的电功率，ηmot表示与ωmot和Tmot有关的电机效率，sgn是符号函数；
燃料电池系统模型：
其中，表示氢气消耗率，Pfcs表示燃料电池系统净功率，ψ表示Pfcs与/>之间的函数关系，可通过查表获得，ηfcs表示燃料电池系统效率，LHV表示氢气的低热值；
动力电池模型：
其中，Ibat表示动力电池电流，Vbat表示动力电池电压，VOC，R0，Pbat分别表示开路电压、内阻和电池功率，VOC和R0都是动力电池荷电状态SOC的函数，Qbat表示电池容量，表示SOC对时间t的一阶导数；
系统功率平衡模型：
其中，ηDC/AC和ηDC/DC分别表示DC/AC逆变器和DC/DC变换器的效率。
根据本发明的一些优选实施方式，所述回报函数模型具体包括：
r＝rl+rL+rv+ra+re (14)
ra＝-|a| (18)
re＝re,p+re,h (19)
其中，r表示整体回报函数，rl表示第一回报函数、其与假设车辆保持当前车速行驶到信号灯路口时的信号状态有关，rL表示第二回报函数、其与车辆实际通过信号灯路口时的信号状态有关，rv，ra，re分别表示第三～第五回报函数，其分别与车辆的速度、加速度和能耗有关，其中re由与需求功率相关的代价re,p及与氢耗相关的代价re,h组成，Pdmd,max表示在最大速度和最大加速度下的需求功率，表示和燃料电池系统最大净功率Pfcs,max对应的最大氢气消耗率，t′表示车速不为0时车辆通过信号灯路口的估计时间，即当前时间加上车辆到信号灯的距离与当前车速的比值，Pl表示取值为0或1的信号灯状态，tp表示车辆通过信号灯路口的实际时间，vmax表示最高车速。
根据以上优化方法，可进一步获得一种燃料电池汽车节能驾驶优化装置，其包括以下存储介质：该存储介质存储有实现所述优化方法的程序、算法、模型、所需数据中的一种或多种。
本发明具备以下有益效果：
(1)本发明基于最优数据库训练机器学习回归算法，得到数据驱动的近似最优能量管理策略，实现了对燃料电池汽车的瞬时能耗估计；
(2)本发明提出的融合能量管理策略的深度强化学习节能驾驶优化方法，相比于基于DRL的分层优化方法表现出更好的能耗经济性，相比于非强化学习方法表现出更大的在线应用潜力。
附图说明
图1为一种具体的燃料电池汽车节能驾驶优化方法流程图。
图2为一种具体的深度强化学习算法DDPG训练流程图。
具体实施方式
以下结合实施例和附图对本发明进行详细描述，但需要理解的是，所述实施例和附图仅用于对本发明进行示例性的描述，而并不能对本发明的保护范围构成任何限制。所有包含在本发明的发明宗旨范围内的合理的变换和组合均落入本发明的保护范围。
如图1所示，一种燃料电池汽车节能驾驶优化方法，包括以下步骤：
S1.建立燃料电池汽车整车和动力传动系统模型，包括车辆纵向动力学模型、电机模型、燃料电池系统模型、动力电池模型和系统功率平衡模型；
更具体的，其可包括：
S11.建立车辆纵向动力学模型，如下：
Pdmd＝(Fdrv+Fbrk)v (2)
其中，v，M，fr和A分别表示车辆的位置、车速、质量、滚动阻力系数和迎风面积，表示车辆位置对时间t的一阶导数，即车速v；车辆的加速度/>Fdrv和Fbrk分别表示车轮处的电机机械力和刹车片制动力；G表示重力加速度；θ表示道路坡度；ρ和CD分别表示空气密度和空气阻力系数；Pdmd表示车轮处的需求功率。
S12.建立电机模型，如下：
其中，ωmot表示电机转速，Tmot表示电机转矩，rwhl是轮胎滚动半径，iFD和ηFD分别是主减速器的传动比和效率，Pmot,m表示电机的机械功率，Pmot,e表示电机的电功率，ηmot表示与ωmot和Tmot有关的电机效率，sgn是符号函数。
S13.建立燃料电池系统模型，如下：
其中，表示氢气消耗率，Pfcs表示燃料电池系统净功率，ψ表示Pfcs与/>之间的函数关系，可通过查表获得，ηfcs表示燃料电池系统效率，LHV表示氢气的低热值。
S14.建立动力电池模型，如下：
其中，Ibat表示动力电池电流，Vbat表示动力电池电压，VOC，R0，Pbat分别表示开路电压、内阻和电池功率，VOC和R0都是动力电池荷电状态SOC的函数，Qbat表示电池容量，表示SOC对时间t的一阶导数，则式(11)可表示电池系统动力学。
S15.建立系统功率平衡模型，如下：
其中，ηDC/AC和ηDC/DC分别表示DC/AC逆变器和DC/DC变换器的效率。
S2.基于所述燃料电池汽车整车和动力传动系统模型，在电量维持模式下，利用动态规划算法求解燃料电池汽车在各种工况下的最优能量管理策略，得到最优数据库；
在具体实施中，所述工况可包括如NEDC、UDDS、JN1015和HWFET等标准工况。
更具体的，其中，在电量维持模式下，燃料电池汽车的最优能量管理策略的获取方式可包括：寻找使代价函数JEMS最小的最优控制参数集u*，优选的，其获取模型如下：
其中，状态变量x＝SOC表示动力电池荷电状态，表示状态变量x对时间t的一阶导数，控制变量u＝Pfcs表示燃料电池系统净功率，tf表示终端时间，t表示时间，φ表示终端代价，ξ表示SOC动力学参数/>即将式(9)代入式(11)后的结果，SOCmin,SOCmax,Pfcs,min,Pfcs,max,ωmot,min,ωmot,max均为常数，分别表示SOC的最小值和最大值、Pfcs的最小值和最大值、ωmot的最小值和最大值，Pbat,min,Pbat,max均为SOC的函数，分别表示Pbat的最小值和最大值，Tmot,min,Tmot,max均为ωmot的函数，分别表示Tmot的最小值和最大值。
S3.基于最优数据库，利用机器学习回归算法进行训练，得到数据驱动的能量管理策略；
其中，更具体的，所述机器学习回归算法可选择如XGBoost算法、神经网络算法和随机森林算法等。
以其中XGBoost算法为例，则算法的输入为车速、加速度、动力电池荷电状态SOC，输出为燃料电池系统净功率。
S4.建立包含信号灯的训练场景，定义所述燃料电池汽车的状态空间和动作空间；
其中，更具体的，所述状态空间可包括如车速、信号灯与车辆位置的差值、信号灯的实时相位配时信息SPaT；所述动作空间可包括如车辆的加速度。
S5.根据所得数据驱动的能量管理策略，得到燃料电池汽车在某个状态和相应动作下的氢耗，并建立和氢耗相关的回报函数模型；
更具体的，所述回报函数模型可构建如下：
r＝rl+rL+rv+ra+re (14)
ra＝-|a| (18)
re＝re,p+re,h (19)
其中，r表示整体回报函数，rl表示第一回报函数、其与假设车辆保持当前车速行驶到信号灯路口时的信号状态有关，rL表示第二回报函数、其与车辆实际通过信号灯路口时的信号状态有关，rv，ra，re分别表示第三～第五回报函数，其分别与车辆的速度、加速度和能耗有关，其中re由与需求功率相关的代价re,p及与氢耗相关的代价re,h组成，Pdmd,max表示在最大速度和最大加速度下的需求功率，表示和燃料电池系统最大净功率Pfcs,max对应的最大氢气消耗率，t′表示车速不为0时车辆通过信号灯路口的估计时间，即为当前时间加上车辆到信号灯的距离与当前车速的比值，Pl表示信号灯状态，如Pl＝1表示红灯，Pl＝0表示绿灯，tp表示车辆通过信号灯路口的实际时间，vmax表示最高车速。
S6.在所建立的训练场景中利用深度强化学习算法进行训练，得到训练后的节能驾驶优化模型；
其中，所述深度强化学习算法可选择如DDPG、TD3、A3C和PPO等算法。
以DDPG为例，其训练流程如图2所示，包括如下步骤：
S61.初始化深度强化学习网络、经验池和随机探索噪声
其中，在一些具体实施中，深度强化学习网络可包含actor网络μ(s|θμ)和critic网络Q(s，a|θQ)以及相对应的目标网络μ′(s|θμ′)和Q′(s，a|θQ′)，s表示状态空间中的状态量，a表示动作空间中的动作量，θμ，θμ′，θQ，θQ′分别表示网络μ，μ′，Q，Q′的参数。
进一步的，深度强化学习网络均包含一个输入层、2个隐藏层和1个输出层，其中，actor网络及其目标网络的输入是状态，输出是动作；critic网络及其目标网络的输入是状态和动作，输出是动作价值Q。
随机探索噪声可以选取如Omstein-Uhlenbeck噪声或者高斯噪声。
S62.根据当前状态和随机探索噪声选择动作，并将相关经验添加到经验池；
更具体的，其可包括：actor网络根据当前t时刻的状态st选择动作at，获得奖励rt并转移到下一状态st+1，其中，在t时刻的干扰噪声下，动作at如下所示：
存储到经验池的相关经验为(st，at，rt，st+1，done)，其中done∈{true，false}表示每个训练回合是否结束，每个训练回合的终止条件为车辆到达终点或者时间达到回合最大时间。
S63.从经验池中选取长度为N的小批量数据，进行神经网络参数更新；
更具体的，critic网络可以最小化损失函数Loss为目标进行参数更新，如下所示：
其中，yi＝ri+γQ′(si+1，μ′(si+1|θμ′)|θQ′)，γ为折扣因子。
actor网络可使用策略梯度进行参数更新，如下所示：
其中，表示梯度算子。
目标网络参数可采用软更新，如下所示：
θQ′←τθQ+(1-τ)θQ′
θμ′←τθμ+(1-τ)θμ′
其中，系数τ＜＜1。
S64.重复进行S62和S63，直至达到最大训练回合数。
S7.在包含信号灯的不同测试场景中利用训练后的节能驾驶优化模型得到经济车速，并在电量维持模式下利用动态规划算法评估相应经济车速的氢耗。
在具体实施例中，本发明将预先优化的能量管理策略融合到基于深度强化学习的燃料电池汽车车速规划之中，相比于不融合能量管理策略的深度强化学习方法，氢耗降低4.41％。
以上实施例仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。凡属于本发明思路下的技术方案均属于本发明的保护范围。应该指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下的改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种燃料电池汽车节能驾驶优化方法，其特征在于，其包括：
S1.建立所述燃料电池汽车的系统模型和其系统功率平衡模型，其中，所述系统模型包括车辆的纵向动力学模型、电机模型、燃料电池和/或动力电池模型；
S2.基于所述系统模型和所述功率平衡模型，在电量维持模式下，利用动态规划算法求解所述燃料电池汽车在各种工况下的最优能量管理策略，由最优能量管理策略得到的最优系统和/或功率参数组成最优数据库；
S3.基于所述最优数据库，利用机器学习回归算法进行第一模型训练，得到数据驱动的能量管理模型；
S4.建立包含信号灯的训练场景，定义所述燃料电池汽车的状态空间和动作空间；
S5.根据所述数据驱动的能量管理模型，得到所述燃料电池汽车在某个状态和/或相应动作下的燃料消耗，建立和所述燃料消耗相关的回报函数模型；
S6.在所述训练场景中利用深度强化学习算法进行第二模型训练，得到训练后的节能驾驶优化模型；
S7.在包含信号灯的不同测试场景中利用所述节能驾驶优化模型得到经济车速，和/或，在电量维持模式下利用动态规划算法评估与所述经济车速响应的燃料消耗；
其中，
所述最优能量管理策略通过以下模型获得：
其中，JEMS表示代价函数，x表示状态变量，x＝SOC，SOC表示动力电池荷电状态；表示状态变量x对时间t的一阶导数；u表示控制变量，u＝Pfcs，Pfcs表示燃料电池系统净功率；tf表示终端时间；/>表示氢气消耗率，t表示时间；φ表示终端代价；SOCmin,SOCmax,Pfcs,min,Pfcs,max,ωmot,min,ωmot,max均为常数，分别表示SOC的最小值和最大值、Pfcs的最小值和最大值、ωmot的最小值和最大值，ωmot表示电机转速；Pbat,min,Pbat,max均为荷电状态SOC的函数，分别表示Pbat的最小值和最大值，Pbat表示电池功率；Tmot,min,Tmot,max均为ωmot的函数，分别表示Tmot的最小值和最大值，Tmot表示电机转矩；ξ表示SOC的动力学参数，即SOC对时间t的一阶导数/>
所述回报函数模型具体包括：
r＝rl+rL+rv+ra+re (14)
ra＝-|a| (18)
re＝re,p+re,h (19)
其中，r表示整体回报函数，rl表示第一回报函数、其与假设车辆保持当前车速行驶到信号灯路口时的信号状态有关，rL表示第二回报函数、其与车辆实际通过信号灯路口时的信号状态有关，rv，ra，re分别表示第三回报函数、第四回报函数和第五回报函数，其分别与车辆的速度v、加速度a和能耗有关，其中re由与需求功率相关的代价re,p及与氢耗相关的代价re,h组成，Pdmd表示车轮处的需求功率，Pdmd,max表示在最大速度和最大加速度下的需求功率，表示和燃料电池系统最大净功率Pfcs,max对应的最大氢气消耗率，ψ表示Pfcs与/>之间的函数关系，可通过查表获得，t′表示车速不为0时车辆通过信号灯路口的估计时间，即当前时间加上车辆到信号灯的距离与当前车速的比值，PI表示取值为0或1的信号灯状态，tp表示车辆通过信号灯路口的实际时间，vmax表示最高车速。
2.根据权利要求1所述的优化方法，其特征在于：所述机器学习回归算法选自XGBoost算法、神经网络算法和随机森林算法中的一种或多种；和/或，所述深度强化学习算法选自DDPG、TD3、A3C和PPO算法中的一种或多种。
3.根据权利要求1所述的优化方法，其特征在于：所述第一模型训练的输入为车速、加速度、动力电池荷电状态SOC，输出为燃料电池系统净功率。
4.根据权利要求1所述的优化方法，其特征在于：所述状态空间包括车速、信号灯与车辆位置的差值、信号灯的实时相位配时信息SPaT，所述动作空间包括车辆的加速度。
5.根据权利要求1所述的优化方法，其特征在于：所述第二模型的训练包括：
S61.初始化深度强化学习网络、经验池和随机探索噪声；
S62.根据当前状态和随机探索噪声选择动作，并将相关经验添加到所述经验池；
S63.从添加后的经验池中选取一定长度的批量数据，进行所述深度强化学习网络的参数更新；
S64.重复进行S62和S63，直至达到最大训练回合数；
其中，所述深度强化学习网络包含actor网络、critic网络以及相对应的目标网络。
6.根据权利要求5所述的优化方法，其特征在于：所述actor网络采用策略梯度进行参数更新，和/或，所述critic网络采用最小化损失函数进行参数更新。
7.根据权利要求1所述的优化方法，其特征在于：所述系统模型和其系统功率平衡模型包括以下模型中的一个或多个：
车辆纵向动力学模型：
Pdmd＝(Fdrv+Fbrk)v (2)
其中，s、v、M、fr和A分别表示车辆的位置、车速、质量、滚动阻力系数和迎风面积，表示车辆位置对时间t的一阶导数，即车速v；车辆的加速度/>Fdrv和Fbrk分别表示车轮处的电机机械力和刹车片制动力；G表示重力加速度；θ表示道路坡度；ρ和CD分别表示空气密度和空气阻力系数；Pdmd表示车轮处的需求功率；
电机模型：
其中，ωmot表示电机转速，Tmot表示电机转矩，rwhl是轮胎滚动半径，iFD和ηFD分别是主减速器的传动比和效率，Pmot,m表示电机的机械功率，Pmot,e表示电机的电功率，ηmot表示与ωmot和Tmot有关的电机效率，sgn是符号函数；
燃料电池系统模型：
其中，表示氢气消耗率，Pfcs表示燃料电池系统净功率，ψ表示Pfcs与/>之间的函数关系，可通过查表获得，ηfcs表示燃料电池系统效率，LHV表示氢气的低热值；
动力电池模型：
其中，Ibat表示动力电池电流，Vbat表示动力电池电压，VOC，R0，Pbat分别表示开路电压、内阻和电池功率，VOC和R0都是动力电池荷电状态SOC的函数，Qbat表示电池容量，表示SOC对时间t的一阶导数；
系统功率平衡模型：
其中，ηDC/AC和ηDC/DC分别表示DC/AC逆变器和DC/DC变换器的效率。
8.一种燃料电池汽车节能驾驶优化装置，其特征在于：所述装置包括以下存储介质：该存储介质存储有实现权利要求1-7中任一项所述的优化方法的程序、算法、模型、所需数据中的一种或多种。
CN202111390601.4A 2021-11-23 2021-11-23 一种燃料电池汽车节能驾驶优化方法及装置 Active CN114103971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111390601.4A CN114103971B (zh) 2021-11-23 2021-11-23 一种燃料电池汽车节能驾驶优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111390601.4A CN114103971B (zh) 2021-11-23 2021-11-23 一种燃料电池汽车节能驾驶优化方法及装置

Publications (2)

Publication Number Publication Date
CN114103971A CN114103971A (zh) 2022-03-01
CN114103971B true CN114103971B (zh) 2023-10-10

Family

ID=80439858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111390601.4A Active CN114103971B (zh) 2021-11-23 2021-11-23 一种燃料电池汽车节能驾驶优化方法及装置

Country Status (1)

Country Link
CN (1) CN114103971B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114475366A (zh) * 2022-03-18 2022-05-13 湖南精准信息科技有限公司 基于凸优化的燃料电池汽车节能驾驶方法及系统
CN115906622A (zh) * 2022-11-08 2023-04-04 杭州润氢科技有限公司 一种基于模型强化学习的燃料电池电动汽车能量控制策略
CN116424332B (zh) * 2023-04-10 2023-11-21 重庆大学 深度强化学习型混合动力汽车能量管理策略增强更新方法
CN117078030B (zh) * 2023-07-12 2024-05-03 贵州大学 一种基于车速预测的燃料电池公交车能量管理方法
CN116985674B (zh) * 2023-09-27 2024-01-26 江西五十铃汽车有限公司 一种新能源汽车电池能量管理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107351840A (zh) * 2017-06-07 2017-11-17 同济大学 一种基于v2i的汽车节能路径及经济车速动态规划方法
CN109960255A (zh) * 2017-12-26 2019-07-02 郑州宇通客车股份有限公司 一种最优目标车速预测、燃料电池系统的控制方法及装置
CN110852482A (zh) * 2019-10-15 2020-02-28 江苏大学 一种燃料电池公交车实时全局优化智能控制系统及方法
CN111409510A (zh) * 2020-03-26 2020-07-14 河南科技大学 一种氢燃料电池混合动力汽车的能量管理方法
CN111584906A (zh) * 2020-04-29 2020-08-25 南京航空航天大学 一种基于深度强化学习的燃料电池系统的燃料供给方法
CN112287463A (zh) * 2020-11-03 2021-01-29 重庆大学 一种基于深度强化学习算法的燃料电池汽车能量管理方法
CN112776673A (zh) * 2020-12-06 2021-05-11 吉林大学 智能网联燃料电池汽车实时能量优化管理系统
CN112989715A (zh) * 2021-05-20 2021-06-18 北京理工大学 一种燃料电池汽车多信号灯车速规划方法
CN113525396A (zh) * 2021-08-13 2021-10-22 北京理工大学 一种融合深度强化学习的混动汽车分层预测能量管理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111055728B (zh) * 2019-12-16 2022-07-12 金龙联合汽车工业（苏州）有限公司 氢燃料电池与动力电池混合动力客车的能量控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107351840A (zh) * 2017-06-07 2017-11-17 同济大学 一种基于v2i的汽车节能路径及经济车速动态规划方法
CN109960255A (zh) * 2017-12-26 2019-07-02 郑州宇通客车股份有限公司 一种最优目标车速预测、燃料电池系统的控制方法及装置
CN110852482A (zh) * 2019-10-15 2020-02-28 江苏大学 一种燃料电池公交车实时全局优化智能控制系统及方法
CN111409510A (zh) * 2020-03-26 2020-07-14 河南科技大学 一种氢燃料电池混合动力汽车的能量管理方法
CN111584906A (zh) * 2020-04-29 2020-08-25 南京航空航天大学 一种基于深度强化学习的燃料电池系统的燃料供给方法
CN112287463A (zh) * 2020-11-03 2021-01-29 重庆大学 一种基于深度强化学习算法的燃料电池汽车能量管理方法
CN112776673A (zh) * 2020-12-06 2021-05-11 吉林大学 智能网联燃料电池汽车实时能量优化管理系统
CN112989715A (zh) * 2021-05-20 2021-06-18 北京理工大学 一种燃料电池汽车多信号灯车速规划方法
CN113525396A (zh) * 2021-08-13 2021-10-22 北京理工大学 一种融合深度强化学习的混动汽车分层预测能量管理方法

Also Published As

Publication number Publication date
CN114103971A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN114103971B (zh) 一种燃料电池汽车节能驾驶优化方法及装置
CN111845701B (zh) 一种跟车环境下基于深度强化学习的hev能量管理方法
Guo et al. State-of-charge-constraint-based energy management strategy of plug-in hybrid electric vehicle with bus route
CN110696815B (zh) 一种网联式混合动力汽车的预测能量管理方法
CN111553024B (zh) 一种分布式驱动电动汽车驱动系统多目标优化方法和系统
CN107688343B (zh) 一种混合动力车辆的能量控制方法
Khayyam et al. Adaptive intelligent energy management system of plug-in hybrid electric vehicle
Singh et al. Fuzzy logic and Elman neural network tuned energy management strategies for a power-split HEVs
CN111923897B (zh) 一种插电式混合动力汽车能量智能管理方法
CN110936949A (zh) 基于行驶工况的能量控制方法、设备、存储介质及装置
DE102013218209A1 (de) Kraftmaschineneinschaltzeit-Vorhersageeinrichtung für Nachbehandlungsplanung für ein Fahrzeug
CN107921886A (zh) 用于计算用于管理混合动力机动车辆的燃料和电力消耗的设定点的方法
Josevski et al. Energy management of parallel hybrid electric vehicles based on stochastic model predictive control
CN113110052B (zh) 一种基于神经网络和强化学习的混合能量管理方法
CN112765723A (zh) 好奇心驱动的混合动力系统深度强化学习能量管理方法
CN106696952B (zh) 一种智能网联混合动力汽车能量控制方法
CN113264031B (zh) 基于路面识别与深度强化学习的混合动力系统控制方法
CN114969982A (zh) 一种基于策略迁移的燃料电池汽车深度强化学习能量管理方法
Huang et al. Energy saving performance improvement of intelligent connected PHEVs via NN-based lane change decision
Ye et al. An imitation learning-based energy management strategy for electric vehicles considering battery aging
CN106347373B (zh) 一种基于电池荷电状态预测的动态规划方法
Liu et al. Analytical greedy control and Q-learning for optimal power management of plug-in hybrid electric vehicles
Zhang et al. An optimal vehicle speed planning algorithm for regenerative braking at traffic lights intersections based on reinforcement learning
CN110481538A (zh) 分配混合动力车辆转矩的方法及装置、智能网联车辆系统
CN113978478B (zh) 一种基于分层凸优化的燃料电池汽车节能驾驶方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant