CN112757922A - 一种车用燃料电池混合动力能量管理方法及系统 - Google Patents

一种车用燃料电池混合动力能量管理方法及系统 Download PDF

Info

Publication number
CN112757922A
CN112757922A CN202110096893.4A CN202110096893A CN112757922A CN 112757922 A CN112757922 A CN 112757922A CN 202110096893 A CN202110096893 A CN 202110096893A CN 112757922 A CN112757922 A CN 112757922A
Authority
CN
China
Prior art keywords
energy management
fuel cell
power
state
management strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110096893.4A
Other languages
English (en)
Other versions
CN112757922B (zh
Inventor
陈启宏
徐歌
程宇
张立炎
周克亮
肖朋
刘莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202110096893.4A priority Critical patent/CN112757922B/zh
Publication of CN112757922A publication Critical patent/CN112757922A/zh
Application granted granted Critical
Publication of CN112757922B publication Critical patent/CN112757922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L50/00—Electric propulsion with power supplied within the vehicle
    • B60L50/50—Electric propulsion with power supplied within the vehicle using propulsion power supplied by batteries or fuel cells
    • B60L50/75—Electric propulsion with power supplied within the vehicle using propulsion power supplied by batteries or fuel cells using propulsion power supplied by both fuel cells and batteries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L50/00—Electric propulsion with power supplied within the vehicle
    • B60L50/40—Electric propulsion with power supplied within the vehicle using propulsion power supplied by capacitors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/40—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for controlling a combination of batteries and fuel cells
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00—Control parameters of input or output; Target parameters
    • B60L2240/40—Drive Train control parameters
    • B60L2240/54—Drive Train control parameters related to batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/40—Application of hydrogen technology to transportation, e.g. using fuel cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Fuel Cell (AREA)

Abstract

本发明涉及一种车用燃料电池混合动力能量管理方法及系统，所述方法按间隔时间段更新工况表，计算基于当前更新工况表数据生成的需求功率转移矩阵
Figure DDA0002914651820000011
基于当前新工况表生成的需求功率转移概率矩阵
Figure DDA0002914651820000012
与基于上一个工况表生成矩阵
Figure DDA0002914651820000013
之间的皮尔逊相关系数ρ，判断是否需要更新能量管理策略；当皮尔逊相关系数ρ的绝对值小于参考阈值λ时，在Q‑learning算法中使用
Figure DDA0002914651820000014
进行优化迭代计算出新的最优能量管理策略，以更新能量管理策略并应用到系统中；当ρ的绝对值大于等于λ时，保留原有能量管理策略。本发明利用需求功率转移概率矩阵的皮尔逊相关系数作为依据，在工况改变时对能量管理策略进行更新，增强了能量管理策略的实时性，提高了能量的利用率。

Description

一种车用燃料电池混合动力能量管理方法及系统
技术领域
本发明属于混合电源系统能量管理技术领域，具体地指一种车用燃料电池混合动力能量管理方法及系统。
背景技术
如今越来越严格的碳排放法规使电动汽车正在成为汽车制造业的主流趋势。燃料电池混合动力汽车具有零排放、高效率、燃料来源多样化以及能源可再生等特性，因而引发了广泛关注。对于燃料电池混合动力汽车而言，关键问题在于设计一种高效、自适应的能量管理策略，使燃料电池和锂电池在各种驾驶条件下能够合理分配功率。
以往的研究主要集中在给定行驶周期下的能量管理策略优化，这些全局最优管理策略在已知的行驶周期下表现出良好的燃油经济性。然而，由于实施驾驶条件的不确定性，在实际中采用离线方法的应用仍然非常有限。在实际驾驶过程中许多驾驶条件，如需求功率、行驶速度和距离等，对能量管理策略都有很大的影响，因此应该从给定驾驶周期的离线优化转向不确定驾驶周期的在线优化，以及从静态优化转向通过识别和预测未知驾驶条件的动态优化。
考虑到人工智能算法的飞速发展，强化学习作为一种机器学习算法近年来受到学术界众多研究者的关注，也应用于设计混合动力汽车的能量管理策略。强化学习的核心思想是基于当前状态估计未来的奖励，然后以最优奖励执行动作，这种方法十分适合用于车辆的能量管理策略。
发明内容
针对上述现有技术的不足之处，本发明提出一种车用燃料电池混合动力能量管理方法及系统，利用不同工况下需求功率转移概率矩阵的皮尔逊相关系数作为依据，在工况改变时对能量管理策略进行更新，增强了能量管理策略的实时性，提高了能量的利用率。
为实现上述目的，本发明所设计的一种车用燃料电池混合动力能量管理方法及系统，其特殊之处在于，按间隔时间段更新工况表，计算基于当前更新工况表数据生成的需求功率转移矩阵
Figure BDA0002914651800000021
基于当前新工况表生成的需求功率转移概率矩阵
Figure BDA0002914651800000022
与基于上一个工况表生成的需求功率概率转移矩阵
Figure BDA0002914651800000023
之间的皮尔逊相关系数ρ，设定参考阈值λ∈(0,1)，将ρ的绝对值和λ进行比较，判断是否需要更新能量管理策略；当皮尔逊相关系数ρ的绝对值小于参考阈值λ时，在Q-learning算法中使用
Figure BDA0002914651800000024
进行优化迭代计算出新的最优能量管理策略，以更新能量管理策略并应用到系统中；当皮尔逊相关系数ρ的绝对值大于等于参考阈值λ时，保留原有能量管理策略。
优选地，更新工况表的方法为：根据燃料电池混合动力系统的硬件性能，将需求功率Pm的输出范围平均分为n个区间，即n个功率等级；在行驶过程中持续记录采集到的需求功率Pm，记为原有工况的工况点；用连续积累的L个工况点构成一个工况表。
优选地，计算基于当前更新工况表数据生成的需求功率转移矩阵
Figure BDA0002914651800000025
的方法为：
设第t个工况点处于第i个功率等级，则记该工况点为事件Ti；若第t+1个工况点处于第j个功率等级，则称为一个从Ti到Tj的转移事件Tij；记Ni(X,Y)为工况表中从第X个工况点开始到第Y个工况点中事件Ti发生的次数，Nij(X,Y)为工况表中从第X个工况点开始到第Y个工况点中转移事件Tij发生的次数；
需求功率转移矩阵
Figure BDA0002914651800000026
的计算公式为：
Figure BDA0002914651800000027
其中，k表示将工况表平均分的份数，u∈[0,k]为正整数，
Figure BDA0002914651800000031
表示取不超过
Figure BDA0002914651800000032
的最大整数；θ∈(0,1)为权重因子。
优选地，所述皮尔逊相关系数ρ的计算方法为：
Figure BDA0002914651800000033
其中,N为需求功率转移概率矩阵中转移事件的总数。
优选地，所述在Q-learning算法中使用
Figure BDA0002914651800000034
进行优化迭代计算出新的最优能量管理策略的方法为：对采集到的驾驶数据使用Q-learning强化学习算法对状态价值函数进行优化迭代，将其最优解V*用Q函数表示：
Figure BDA0002914651800000035
其中，Q(s,a)是电动汽车行驶状态s和当电动汽车处于状态s时能量管理系统所执行的动作a的动作价值函数；r(s)表示电动汽车处于行驶状态s时的即时奖励值；s’表示电动汽车在行驶状态s采取动作a后下一个可能的状态；
Figure BDA0002914651800000036
为电动汽车在行驶状态s采取动作a后转移到下一个状态s’的概率；
Q函数的迭代更新规则为：初始化所有Q(s,a)＝0，初始化s，a，重复下列过程：
(1)根据当前的状态s，按照ε-greedy策略选择动作a；
(2)执行动作a，获得奖励R和新的状态s′，据此更新Q(s,a)：
Figure BDA0002914651800000037
其中，η∈[0,1]为学习率；
(3)返回(1)，直到s终止，得到动作价值函数的最优解Q*(s,a)；
最优控制量为：
Figure BDA0002914651800000041
即当电动汽车处于状态s时，最优控制策略执行动作a，此时动作价值函数Q(s,a)能取到最大值。
优选地，能量管理系统应用最优控制量π*(s)，控制单向DC/DC变换器和双向DC/DC变换器的功率，使燃料电池和超级电容按照目标功率输出，得到电动汽车处于各个状态时燃料电池的输出功率Pfc(t)和超级电容的输出功率Puc(t)，负载功率不足部分由锂电池功率Pbat(t)补足。
优选地，所述锂电池输出功率Pbat(t)根据下式确定：
Pm(t)＝Pfc(t)·ηDC/DC1+Puc(t)·ηDC/DC2+Pbat(t)
其中，Pm(t)为负载电机功率，ηDC/DC1是与燃料电池系统相连的单向DC/DC变换器的效率，ηDC/DC2是与超级电容相连的双向DC/DC变换器的效率。
优选地，由燃料电池混合动力系统提供的电机功率Pm(t)表示为：
Figure BDA0002914651800000042
其中，ηdrive是动力传动系统效率，ηtra是机械传动系统效率，ηDC/AC是DC/AC逆变器效率，ηmotor是电机效率；
Figure BDA0002914651800000043
其中，v(t)是汽车的实时速度，mv是汽车质量，Faero(t)、Froll(t)和Egra(t)分别是空气阻力、滚动摩擦力以及斜坡架驶时的重力分量。
本发明还提出一种车用燃料电池混合动力能量管理系统，所述能量管理系统执行上述的车用燃料电池混合动力能量管理方法。
进一步地，车用燃料电池混合动力能量管理系统包括燃料电池系统、单向DC/DC变换器、超级电容、双向DC/DC变换器、锂电池、电机控制器、驱动电机，所述各部件通过CAN总线通信。
与现有技术相比，本发明的有益效果在于：
1、本发明是一种混合电源系统及基于强化学习的能量管理策略，设计了一种基于随机工况的马尔科夫链优化方法，并将其应用到强化学习算法的实现中。
2、本发明利用不同工况下需求功率转移概率矩阵的皮尔逊相关系数作为依据，在工况改变时对能量管理策略进行更新，增强了能量管理策略的实时性，提高了能量的利用率。
3、本发明能够保证能量管理策略的更新节点早于工况的变化，提高能量的使用效率，同时也避免了策略更新过于频繁造成的计算负担。
附图说明
图1为本发明的系统硬件结构原理图。
图2为工况表的需求功率转移概率矩阵的一个实例。
图3为本发明所述基于强化学习的能量管理策略的计算过程。
图4为本发明的在线递归能量管理策略的更新流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明硬件结构图如图1所示，包括燃料电池系统、单向DC/DC变换器、超级电容、双向DC/DC变换器、锂电池、电机控制器、驱动电机和能量管理系统，所述各部件通过CAN总线通信。
本发明提出的一种车用燃料电池混合动力能量管理方法，按间隔时间段更新工况表，计算基于当前更新工况表数据生成的需求功率转移矩阵
Figure BDA0002914651800000061
基于当前新工况表生成的需求功率转移概率矩阵
Figure BDA0002914651800000062
与基于上一个工况表生成的需求功率概率转移矩阵
Figure BDA0002914651800000063
之间的皮尔逊相关系数ρ，设定参考阈值λ∈(0,1)，将ρ的绝对值和λ进行比较，判断是否需要更新能量管理策略；当皮尔逊相关系数ρ的绝对值小于参考阈值λ时，在Q-learning算法中使用
Figure BDA0002914651800000064
进行优化迭代计算出新的最优能量管理策略，以更新能量管理策略并应用到系统中；当皮尔逊相关系数ρ的绝对值大于等于参考阈值λ时，保留原有能量管理策略。
能量管理系统通过集成CAN总线获得汽车实时车速，可以计算出驱动汽车所需的功率Pdrive(t)：
Figure BDA0002914651800000065
其中，v(t)是汽车的实时速度，mv是汽车质量，Faero(t)、Froll(t)和Fgra(t)分别是空气阻力、滚动摩擦力以及斜坡架驶时的重力分量。
由于存在能量损耗，由燃料电池混合动力系统提供的电机功率Pm(t)可以表示为：
Figure BDA0002914651800000066
其中，ηdrive是动力传动系统效率，ηtra是机械传动系统效率，ηDC/AC是DC/AC逆变器效率，ηmotor是电机效率。
通过燃料电池混合动力系统给电机功能，其功率分配可表示为：
Pm(t)＝Pfc(t)·ηDC/DC1+Puc(t)·ηDC/DC2+Pbat(t) (3)
其中，Pm(t)为负载电机功率，Pfc(t)为燃料电池功率，ηDC/DC1是与燃料电池系统相连的单向DC/DC变换器的效率，；Puc(t)为超级电容功率，ηDC/DC2是与超级电容相连的双向DC/DC变换器的效率，Pbat(t)为锂电池功率。
根据强化学习算法将能量管理策略描述为五元组
Figure BDA0002914651800000071
即有限状态集合S，有限动作集合A，转移概率矩阵
Figure BDA0002914651800000072
折现因子γ以及采取动作后获得的奖励函数R。
状态变量、动作变量和奖励函数设计如下：
Figure BDA0002914651800000073
其中，st表示电动汽车在行驶过程中某时刻的状态，包括电动汽车此时的电机需求功率Pm(t)、车速v(t)和锂电池荷电状态SOCb(t)和超级电容荷电状态SOCu(t)。at表示当电动汽车处于状态st时能量管理系统所执行的动作，据此控制单向DC/DC变换器与双向DC/DC变换器对需求功率进行分配，该动作包括燃料电池系统的输出功率Pfc(t)和超级电容的输出功率Puc(t)。rt表示电动汽车在状态st采取动作at后产生的奖励函数值，包括燃料电池系统的等效耗氢量、锂电池的荷电状态变化情况与超级电容的荷电状态变化情况；M(st,at)为与燃料电池混合动力系统等效耗氢量相关的函数；SOCb(t0)为SOCb(t)的初始值，α为锂电池荷电状态的惩罚权重因子(α>0)，α(SOCb(t)-SOCb(t0))2表示锂电池荷电状态的变化程度；SOCu(t0)为SOCu(t)的初始值,β为超级电容荷电状态的惩罚权重因子(β>0)，β(SOCu(t)-SOCu(t0))2表示超级电容荷电状态的变化程度；rt为非正数，其数值越小表示能量管理策略的效果越好，通过参数α与β的数值选择，混合动力系统可以在燃料电池耗能、锂电池与超级电容的充放电状态之间取得一定的平衡。
根据燃料电池混合动力系统的硬件性能，可以输出的需求功率Pm存在一定的输出范围，将其平均分为n个区间，即n个功率等级。
能量管理系统在行驶过程中持续记录采集到的需求功率Pm，记为原有工况的工况点。用连续积累的L个工况点构成一个工况表，进行需求功率转移概率矩阵
Figure BDA0002914651800000081
的建模与计算。
假如第t个工况点处于第i个功率等级，则记该工况点为事件Ti；若第t+1个工况点处于第j个功率等级，则将这种情况称为一个从Ti到Tj的转移事件Tij(i可以等于j)。记Ni(X,Y)为工况表中从第X个工况点开始到第Y个工况点中事件Ti发生的次数，Nij(X,Y)为工况表中从第X个工况点开始到第Y个工况点中转移事件Tij发生的次数。
需求功率转移概率矩阵
Figure BDA0002914651800000082
定义如下：
Figure BDA0002914651800000083
其中，k表示将工况表平均分的份数，u∈[0,k]为正整数，
Figure BDA0002914651800000084
表示取不超过
Figure BDA0002914651800000085
的最大整数；θ∈(0,1)为权重因子。通过选择合适的k与θ，可以调整需求功率转移概率矩阵
Figure BDA0002914651800000086
与当前工况的拟合程度。
工况表的需求功率转移概率矩阵的一个实例如图2所示。
为了做到在线优化更新燃料电池能量管理系统参数，需要每隔一段时间采集一次新的工况表，并计算基于当前新的工况表数据生成的需求功率转移概率矩阵，记为
Figure BDA0002914651800000087
衡量基于当前新工况表生成的需求功率转移概率矩阵
Figure BDA0002914651800000088
与基于上一个工况表生成的需求功率概率转移矩阵
Figure BDA0002914651800000089
之间的差异，并以此为依据判断是否需要更新能量管理策略。故此处引入皮尔逊相关系数ρ：
Figure BDA00029146518000000810
其中,N为需求功率转移概率矩阵中转移事件Tij的总数。
需求功率转移概率矩阵的在线更新过程如图3所示。基于当前新工况表生成的需求功率转移概率矩阵
Figure BDA0002914651800000091
与基于上一个工况表生成的需求功率概率转移矩阵
Figure BDA0002914651800000092
之间的皮尔逊相关系数ρ，设定合适的参考阈值λ∈(0,1)，将ρ的绝对值和λ进行比较，判断是否需要更新能量管理策略。当皮尔逊相关系数的绝对值小于选定的参考阈值λ时，说明基于原有工况学习生成的能量管理策略不再适用于当前工况，在Q-learning算法中使用
Figure BDA0002914651800000093
进行优化迭代计算出新的最优能量管理策略，以更新能量管理策略并应用到系统中；当皮尔逊相关系数的绝对值大于等于选定参考阈值λ时，保留原有能量管理策略。
基于强化学习的能量管理策略计算过程如图4所示。定义强化学习的状态价值函数为：
Figure BDA0002914651800000094
其中，E表示累计奖励的期望。
对采集到的驾驶数据使用Q-learning强化学习算法对状态价值函数进行优化迭代，将其最优解V*用Q函数表示：
Figure BDA0002914651800000095
其中，Q(s,a)是电动汽车行驶状态s和当电动汽车处于状态s时能量管理系统所执行的动作a的动作价值函数；r(s)表示电动汽车处于行驶状态s时的即时奖励值；s’表示电动汽车在行驶状态s采取动作a后下一个可能的状态；
Figure BDA0002914651800000096
为电动汽车在行驶状态s采取动作a后转移到下一个状态s’的概率，例如行驶状态s的电机需求功率Pm处于第i个功率等级，而采取动作a后的行驶状态s’的电机需求功率Pm处于第j个功率等级，则此时的
Figure BDA0002914651800000097
对应当前需求功率概率转移矩阵
Figure BDA0002914651800000098
中的
Figure BDA0002914651800000099
Q函数的迭代更新规则为:
初始化所有Q(s,a)＝0，初始化s，a，重复下列过程:
(1)根据当前的状态s，按照ε-greedy策略选择动作a
(2)执行动作a，获得奖励R和新的状态s′，据此更新Q(s,a)：
Figure BDA0002914651800000101
其中，η∈[0,1]为学习率。
(3)回到(1)，直到s终止，得到动作价值函数的最优解Q*(s,a)。
则最优控制策略为：
Figure BDA0002914651800000102
即当电动汽车处于状态s时，最优控制策略执行动作a，此时动作价值函数Q(s,a)能取到最大值。
能量管理系统应用最优控制量π*(s)，控制单向DC/DC变换器和双向DC/DC变换器的功率，使燃料电池和超级电容按照目标功率输出，得到电动汽车处于各个状态时燃料电池的输出功率Pfc(t)和超级电容的输出功率Puc(t)，负载功率不足部分由锂电池功率Pbat(t)补足。
本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车用燃料电池混合动力能量管理方法，其特征在于：按间隔时间段更新工况表，计算基于当前更新工况表数据生成的需求功率转移矩阵
Figure FDA0002914651790000011
基于当前新工况表生成的需求功率转移概率矩阵
Figure FDA0002914651790000012
与基于上一个工况表生成的需求功率概率转移矩阵
Figure FDA0002914651790000013
之间的皮尔逊相关系数ρ，设定参考阈值λ∈(0,1)，将ρ的绝对值和λ进行比较，判断是否需要更新能量管理策略；当皮尔逊相关系数ρ的绝对值小于参考阈值λ时，在Q-learning算法中使用
Figure FDA0002914651790000014
进行优化迭代计算出新的最优能量管理策略，以更新能量管理策略并应用到系统中；当皮尔逊相关系数ρ的绝对值大于等于参考阈值λ时，保留原有能量管理策略。
2.根据权利要求1所述的一种车用燃料电池混合动力能量管理方法，其特征在于：更新工况表的方法为：根据燃料电池混合动力系统的硬件性能，将需求功率Pm的输出范围平均分为n个区间，即n个功率等级；在行驶过程中持续记录采集到的需求功率Pm，记为原有工况的工况点；用连续积累的L个工况点构成一个工况表。
3.根据权利要求2所述的一种车用燃料电池混合动力能量管理方法，其特征在于：计算基于当前更新工况表数据生成的需求功率转移矩阵
Figure FDA0002914651790000015
的方法为：
设第t个工况点处于第i个功率等级，则记该工况点为事件Ti；若第t+1个工况点处于第j个功率等级，则称为一个从Ti到Tj的转移事件Tij；记Ni(X,Y)为工况表中从第X个工况点开始到第Y个工况点中事件Ti发生的次数，Nij(X,Y)为工况表中从第X个工况点开始到第Y个工况点中转移事件Tij发生的次数；
需求功率转移矩阵
Figure FDA0002914651790000016
的计算公式为：
Figure FDA0002914651790000017
其中，k表示将工况表平均分的份数，u∈[0,k]为正整数，
Figure FDA0002914651790000021
表示取不超过
Figure FDA0002914651790000022
的最大整数；θ∈(0,1)为权重因子。
4.根据权利要求1所述的一种车用燃料电池混合动力能量管理方法，其特征在于：所述皮尔逊相关系数ρ的计算方法为：
Figure FDA0002914651790000023
其中,N为需求功率转移概率矩阵中转移事件的总数。
5.根据权利要求1所述的一种车用燃料电池混合动力能量管理方法，其特征在于：所述在Q-learning算法中使用
Figure FDA0002914651790000024
进行优化迭代计算出新的最优能量管理策略的方法为：对采集到的驾驶数据使用Q-learning强化学习算法对状态价值函数进行优化迭代，将其最优解V*用Q函数表示：
Figure FDA0002914651790000025
其中，Q(S,a)是电动汽车行驶状态s和当电动汽车处于状态s时能量管理系统所执行的动作a的动作价值函数；r(s)表示电动汽车处于行驶状态s时的即时奖励值；s’表示电动汽车在行驶状态s采取动作a后下一个可能的状态；
Figure FDA0002914651790000026
为电动汽车在行驶状态s采取动作a后转移到下一个状态s’的概率；
Q函数的迭代更新规则为：初始化所有Q(s,a)＝0，初始化s，a，重复下列过程：
(1)根据当前的状态s，按照ε-greedy策略选择动作a；
(2)执行动作a，获得奖励R和新的状态s′，据此更新Q(s,a)：
Figure FDA0002914651790000031
其中，η∈[0,1]为学习率；
(3)返回(1)，直到s终止，得到动作价值函数的最优解Q*(s,a)；
最优控制量为：
Figure FDA0002914651790000032
即当电动汽车处于状态s时，最优控制策略执行动作a，此时动作价值函数Q(s,a)能取到最大值。
6.根据权利要求5所述的一种车用燃料电池混合动力能量管理方法，其特征在于：能量管理系统应用最优控制量π*(s)，控制单向DC/DC变换器和双向DC/DC变换器的功率，使燃料电池和超级电容按照目标功率输出，得到电动汽车处于各个状态时燃料电池的输出功率Pfc(t)和超级电容的输出功率Puc(t)，负载功率不足部分由锂电池功率Pbat(t)补足。
7.根据权利要求6所述的一种车用燃料电池混合动力能量管理方法，其特征在于：所述锂电池输出功率Pbat(t)根据下式确定：
Pm(t)＝Pfc(t)·ηDC/DC1+Puc(t)·ηDC/DC2+Pbat(t)
其中，Pm(t)为负载电机功率，ηDC/DC1是与燃料电池系统相连的单向DC/DC变换器的效率，ηDC/DC2是与超级电容相连的双向DC/DC变换器的效率。
8.根据权利要求7所述的一种车用燃料电池混合动力能量管理方法，其特征在于：由燃料电池混合动力系统提供的电机功率Pm(t)表示为：
Figure FDA0002914651790000041
其中，ηdrive是动力传动系统效率，ηtra是机械传动系统效率，ηDC/AC是DC/AC逆变器效率，ηmotor是电机效率；
Figure FDA0002914651790000042
其中，v(t)是汽车的实时速度，mv是汽车质量，Faero(t)、Froll(t)和Fgra(t)分别是空气阻力、滚动摩擦力以及斜坡架驶时的重力分量。
9.一种车用燃料电池混合动力能量管理系统，其特征在于：所述能量管理系统执行权利要求1～8中任一项所述的车用燃料电池混合动力能量管理方法。
10.根据权利要求9所述的一种车用燃料电池混合动力能量管理系统，其特征在于：包括燃料电池系统、单向DC/DC变换器、超级电容、双向DC/DC变换器、锂电池、电机控制器、驱动电机，所述各部件通过CAN总线通信。
CN202110096893.4A 2021-01-25 2021-01-25 一种车用燃料电池混合动力能量管理方法及系统 Active CN112757922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110096893.4A CN112757922B (zh) 2021-01-25 2021-01-25 一种车用燃料电池混合动力能量管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110096893.4A CN112757922B (zh) 2021-01-25 2021-01-25 一种车用燃料电池混合动力能量管理方法及系统

Publications (2)

Publication Number Publication Date
CN112757922A true CN112757922A (zh) 2021-05-07
CN112757922B CN112757922B (zh) 2022-05-03

Family

ID=75707129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110096893.4A Active CN112757922B (zh) 2021-01-25 2021-01-25 一种车用燃料电池混合动力能量管理方法及系统

Country Status (1)

Country Link
CN (1) CN112757922B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109094390A (zh) * 2017-06-20 2018-12-28 通用汽车环球科技运作有限责任公司 用于管理车辆与充电站之间的充电参数的系统和方法
CN113183777A (zh) * 2021-06-10 2021-07-30 三一重机有限公司 混合动力系统能量管理的方法、装置及电子设备
CN113335264A (zh) * 2021-07-15 2021-09-03 中国第一汽车股份有限公司 混动车电池能量控制方法和装置
CN114030392A (zh) * 2021-09-28 2022-02-11 西北工业大学 燃料电池-锂电池混源供电系统效率优化能量管理策略
CN114475280A (zh) * 2022-03-01 2022-05-13 武汉理工大学 一种电动汽车混合动力系统能量管理方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150056477A1 (en) * 2012-09-28 2015-02-26 Infintium Fuel Cell Systems (Shanghai) Co., Ltd. Fuel Cell Mixed Power Supply Energy Management Method
CN105644548A (zh) * 2015-12-28 2016-06-08 中国科学院深圳先进技术研究院 混合动力汽车的能量控制方法及装置
CN105739305A (zh) * 2016-01-29 2016-07-06 北京理工大学 一种履带车辆的控制方法
CN109552079A (zh) * 2019-01-28 2019-04-02 浙江大学宁波理工学院 一种基于规则与Q-learning增强学习的电动汽车复合能量管理方法
CN110281904A (zh) * 2019-06-18 2019-09-27 浙江吉利控股集团有限公司 一种混合动力车辆的能量管理方法、装置及终端
CN110562239A (zh) * 2019-08-28 2019-12-13 武汉理工大学 基于需求功率预测的变域最优能量管理控制方法及装置
WO2020002880A1 (en) * 2018-06-29 2020-01-02 The University Of Birmingham Vehicle power management system and method
CN110758121A (zh) * 2019-11-13 2020-02-07 北京理工大学 一种基于递阶控制的能量管理系统
CN110758120A (zh) * 2019-11-13 2020-02-07 北京理工大学 一种纯电动汽车驱动控制方法
CN110962684A (zh) * 2019-11-15 2020-04-07 东华大学 电动汽车能源管理与分配方法
CN112182962A (zh) * 2020-09-24 2021-01-05 青岛大学 一种混合动力汽车行驶车速预测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150056477A1 (en) * 2012-09-28 2015-02-26 Infintium Fuel Cell Systems (Shanghai) Co., Ltd. Fuel Cell Mixed Power Supply Energy Management Method
CN105644548A (zh) * 2015-12-28 2016-06-08 中国科学院深圳先进技术研究院 混合动力汽车的能量控制方法及装置
CN105739305A (zh) * 2016-01-29 2016-07-06 北京理工大学 一种履带车辆的控制方法
WO2020002880A1 (en) * 2018-06-29 2020-01-02 The University Of Birmingham Vehicle power management system and method
CN109552079A (zh) * 2019-01-28 2019-04-02 浙江大学宁波理工学院 一种基于规则与Q-learning增强学习的电动汽车复合能量管理方法
CN110281904A (zh) * 2019-06-18 2019-09-27 浙江吉利控股集团有限公司 一种混合动力车辆的能量管理方法、装置及终端
CN110562239A (zh) * 2019-08-28 2019-12-13 武汉理工大学 基于需求功率预测的变域最优能量管理控制方法及装置
CN110758121A (zh) * 2019-11-13 2020-02-07 北京理工大学 一种基于递阶控制的能量管理系统
CN110758120A (zh) * 2019-11-13 2020-02-07 北京理工大学 一种纯电动汽车驱动控制方法
CN110962684A (zh) * 2019-11-15 2020-04-07 东华大学 电动汽车能源管理与分配方法
CN112182962A (zh) * 2020-09-24 2021-01-05 青岛大学 一种混合动力汽车行驶车速预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱元,吴志红,田光宇,张涵,孙鸿航: "基于马尔可夫决策理论的燃料电池混合动力汽车能量管理策略", 《汽车工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109094390A (zh) * 2017-06-20 2018-12-28 通用汽车环球科技运作有限责任公司 用于管理车辆与充电站之间的充电参数的系统和方法
CN113183777A (zh) * 2021-06-10 2021-07-30 三一重机有限公司 混合动力系统能量管理的方法、装置及电子设备
CN113335264A (zh) * 2021-07-15 2021-09-03 中国第一汽车股份有限公司 混动车电池能量控制方法和装置
CN113335264B (zh) * 2021-07-15 2022-05-17 中国第一汽车股份有限公司 混动车电池能量控制方法和装置
CN114030392A (zh) * 2021-09-28 2022-02-11 西北工业大学 燃料电池-锂电池混源供电系统效率优化能量管理策略
CN114030392B (zh) * 2021-09-28 2023-05-09 西北工业大学 燃料电池-锂电池混源供电系统效率优化能量管理策略
CN114475280A (zh) * 2022-03-01 2022-05-13 武汉理工大学 一种电动汽车混合动力系统能量管理方法及系统

Also Published As

Publication number Publication date
CN112757922B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN112757922B (zh) 一种车用燃料电池混合动力能量管理方法及系统
CN112776673B (zh) 智能网联燃料电池汽车实时能量优化管理系统
CN110341690B (zh) 一种基于确定性策略梯度学习的phev能量管理方法
CN110936824B (zh) 一种基于自适应动态规划的电动汽车双电机控制方法
Xu et al. Optimization of energy management strategy for extended range electric vehicles using multi-island genetic algorithm
WO2021159660A1 (zh) 一种混合动力汽车能量管理方法和系统
Lee et al. Energy management strategy of fuel cell electric vehicles using model-based reinforcement learning with data-driven model update
CN110962684B (zh) 电动汽车能源管理与分配方法
CN110406526A (zh) 基于自适应动态规划的并联混合动力汽车能量管理方法
CN113479186B (zh) 一种混合动力汽车能量管理策略优化方法
CN115230485B (zh) 基于短期功率平滑预测的燃料电池公交车能量管理方法
Shen et al. Two-level energy control strategy based on ADP and A-ECMS for series hybrid electric vehicles
PS et al. Energy management strategies for hybrid energy storage system in electric vehicles: A review
CN113110052B (zh) 一种基于神经网络和强化学习的混合能量管理方法
CN112277927B (zh) 一种基于强化学习的混合动力汽车能量管理方法
Gong et al. Energy Management for a DM-i Plug-in Hybrid Electric Vehicle via Continuous-Discrete Reinforcement Learning
Wang et al. An Online Predictive Energy Management Strategy for Multi-Mode Plug-in Hybrid Electric Vehicle With Mode Transition Schedule Optimization
CN114969982A (zh) 一种基于策略迁移的燃料电池汽车深度强化学习能量管理方法
Wang et al. Deep reinforcement learning with deep-Q-network based energy management for fuel cell hybrid electric truck
Gan et al. Multi-Agent Deep Reinforcement Learning-Based Multi-Objective Cooperative Control Strategy for Hybrid Electric Vehicles
CN114291067A (zh) 基于预测的混合动力汽车凸优化能量控制方法及系统
Zhang et al. An Improved Soft Actor-Critic-Based Energy Management Strategy of Fuel Cell Hybrid Vehicles with a Nonlinear Fuel Cell Degradation Model
CN112989699B (zh) 基于深度强化学习的新能源汽车性能评价方法
Hu et al. Supplementary learning control for energy management strategy of hybrid electric vehicles at scale
CN115140059A (zh) 一种基于多目标优化的混合动力汽车能量管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant