CN115284973A - 基于改进多目标Double DQN的燃料电池汽车能量管理方法 - Google Patents
基于改进多目标Double DQN的燃料电池汽车能量管理方法 Download PDFInfo
- Publication number
- CN115284973A CN115284973A CN202211095257.0A CN202211095257A CN115284973A CN 115284973 A CN115284973 A CN 115284973A CN 202211095257 A CN202211095257 A CN 202211095257A CN 115284973 A CN115284973 A CN 115284973A
- Authority
- CN
- China
- Prior art keywords
- fuel cell
- power
- battery
- state information
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000446 fuel Substances 0.000 title claims abstract description 100
- 238000007726 management method Methods 0.000 title claims abstract description 39
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 claims abstract description 19
- 239000001257 hydrogen Substances 0.000 claims abstract description 19
- 229910052739 hydrogen Inorganic materials 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 230000009471 action Effects 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 39
- 239000003795 chemical substances by application Substances 0.000 claims description 27
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000001186 cumulative effect Effects 0.000 claims description 7
- 230000015556 catabolic process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 4
- 230000004907 flux Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 239000007789 gas Substances 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010438 heat treatment Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 239000003814 drug Substances 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
- B60L58/40—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for controlling a combination of batteries and fuel cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/10—Vehicle control parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/10—Vehicle control parameters
- B60L2240/12—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/10—Vehicle control parameters
- B60L2240/26—Vehicle weight
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/40—Drive Train control parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/40—Drive Train control parameters
- B60L2240/42—Drive Train control parameters related to electric machines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/40—Drive Train control parameters
- B60L2240/42—Drive Train control parameters related to electric machines
- B60L2240/421—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/40—Drive Train control parameters
- B60L2240/52—Drive Train control parameters related to converters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/40—Drive Train control parameters
- B60L2240/54—Drive Train control parameters related to batteries
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/40—Drive Train control parameters
- B60L2240/54—Drive Train control parameters related to batteries
- B60L2240/547—Voltage
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/40—Drive Train control parameters
- B60L2240/54—Drive Train control parameters related to batteries
- B60L2240/549—Current
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/60—Navigation input
- B60L2240/64—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2240/00—Control parameters of input or output; Target parameters
- B60L2240/60—Navigation input
- B60L2240/66—Ambient conditions
- B60L2240/662—Temperature
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Power Engineering (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Fuel Cell (AREA)
Abstract
本发明涉及一种基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,属于新能源汽车领域。由三部分组成:第一部分为建立燃料电池混合动力汽车的能量管理系统模型,主要包括整车纵向动力学模型、燃料电池氢耗模型、燃料电池寿命模型、动力电池等效电路模型和动力电池衰减模型;第二部分为获取燃料电池混合动力汽车在实际行驶中的状态信息,主要包括车辆状态信息、燃料电池状态信息和动力电池状态信息;第三部分提出了改进多目标Double DQN算法,并基于改进多目标Double DQN算法,以燃料电池混合动力汽车的经济性、燃料电池的寿命和动力电池的寿命为目标,实现了燃料电池混合动力汽车能量管理策略的多目标优化。
Description
技术领域
本发明涉及新能源汽车技术领域,特别涉及一种基于改进多目标Double DQN的燃料电池汽车能量管理方法。
背景技术
日益增长的能源需求和不断加重的环境问题成为了全球面临的两个重要挑战,各个国家也都意识到了局势的严峻性并积极采取有效措施来应对这些挑战。汽车工业首当其冲,传统燃油汽车是能源问题和环境问题的主要元凶,因此伴随着电气化、智能化、网联化和共享化,汽车工业正经历着前所未有的变革,具有新型动力总成的新能源汽车不断涌现,如插电式混合动力汽车、纯电动汽车和燃料电池汽车等。燃料电池混合动力汽车(FCHEV)具有近零排放、能量转换效率高、低噪音等优点,已成为实现节能减排和汽车产业升级的重要工具,得到了不同国家的各个汽车厂商的青睐。
“能量管理”是指通过设计高水平的控制算法,决定产生合适的功率以及不同动力源之间的功率分流。能量管理技术作为FCHEV的关键技术之一,在提升经济性、增大能量转换效率、延长动力电池和燃料电池的使用寿命等方面发挥着重要的作用。能量管理策略(EMS)主要分为两种:基于规则的EMS和基于优化的EMS,其中,基于规则的EMS具有容易实现和实时性好的优点,但由于其往往针对特定工况制定,因此其适应性较差。基于优化的EMS的效果一般比较好,但往往存在计算量大、实时性差、适应性较差和成本过高等缺点。
随着人工智能技术的发展,基于学习的EMS由于实时性好、适应性强和优化效果好等优点,吸引了众多学者和汽车厂商的关注。因此,将人工智能技术与汽车能量管理结合起来,实现车辆能量的智能管理,成为了一个新的热门方向。
动态规划(DP)是一种解决大数量级多阶段决策问题的全局优化方法,源于运筹学,在工程生产、自动化控制和科学管理等方面发挥着巨大的作用。动态规划的核心是Bellman于1957年提出的最优化原理,即整个的最优策略具有以下性质:无论初始状态和决策如何,对于以初始决策而形成的状态作为初始系统而言,今后的决策序列必须构成最优策略。因此,动态规划可以将一个多步最优控制问题转化为多个单步最优控制问题,依赖高性能计算求解。
动态规划算法主要包括约束条件、状态变量、控制变量、状态转移方程、代价函数和最优控制序列几个要素,其求解流程如图1所示。在k阶段,结合满足约束条件的控制变量和状态转移方程,得到k+1阶段的状态变量并产生代价函数,在k+1阶段时,改变后的状态变量将作为初始状态变量来产生下一阶段的状态变量,通过迭代最终输出最优控制序列。将动态规划算法用于车辆的能量管理时,需要提前知道整个行驶工况才能求解,但在车辆实际行驶过程中,无法提前预知整个行驶工况,因此动态规划算法虽然可以求得理论最优解,但却无法实现在线应用,其针对特定工况制定的策略也不具有适应性。另外,由于迭代求解,动态规划算法的计算量很大,计算成本很高。
发明内容
本发明提供一种基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法包括以下步骤:
步骤S1,建立FCHEV整车能量管理系统模型,主要包括整车纵向动力学模型、燃料电池氢耗模型、燃料电池寿命模型、动力电池等效电路模型和动力电池衰减模型;
步骤S2,获取燃料电池混合动力汽车在实际行驶中的状态信息,主要包括车辆状态信息、燃料电池状态信息和动力电池状态信息;
步骤S3,以燃料电池混合动力汽车的经济性、动力电池寿命和燃料电池寿命为目标,基于IMDDQN算法对燃料电池混合动力汽车能量管理策略进行多目标寻优。
更进一步地,在步骤S1中,所述整车纵向动力学模型为:
其中,FD为驱动力,PD为驱动功率,PN为需求功率,PFC为燃料电池功率,PBat为动力电池功率,v为车速,ηDC/AC为DC/AC转换器的效率,ηDC/DC为DC/DC转换器的效率,ηMotor为电机效率,ηTran为齿轮传动效率,FRoll、FAir、PGrade、FAcc分别为车辆行驶中的滚动阻力、空气阻力、坡度阻力和加速阻力,分别通过下式获取:
更进一步地,在步骤S1中,燃料电池氢耗模型为:
更进一步地,在步骤S1中,对燃料电池的寿命影响进行量化处理:
其中,TFC为燃料电池的可用寿命,ΔP为燃料电池电压退化的最大值,kP燃料电池环境修正系数,k1、k2、k3、k4分别为燃料电池启停工况、怠速工况、负载变化工况、重负载工况的衰退系数,n1、t1、t2、t3分别为启停次数、怠速时间、负载变化时间和重负载时间。
更进一步地,在步骤S1中,动力电池等效电路模型为:
其中,IBat为电池电流,UBat为开路电流,RBat为电池内阻,SOC(0)为SOC初始值,QBat为电池容量。
更进一步地,在步骤S1中,动力电池衰减模型为:
其中,QLoss为电池容量衰减,α和β为常数项,EA为活化能,IC为电池充放电倍率,η为IC的补偿系数,R为摩尔气体常数,TK为环境的热力学温度,Ah为安时通量,z为幂指数因子,EOL为电池寿命终止,为额定条件下电池的充放电倍率,σ(IC,TK,SOC)为影响因子,用以表征实际运行条件对电池容量衰减的影响,γ(IC,TK,SOC)为实际运行条件下电池寿命终止时流经电池的总电量,Aheff为流经电池的有效电量,当Aheff=τ时表示电池寿命终止,因此可减少Aheff来减缓电池寿命衰减程度。
更进一步地,在步骤3中,假设智能体的有限状态集合为S={s1,s2,…,sn},有限动作序列为A={a1,a2,…,an},当智能体的当前状态为st∈S,采取动作为at∈A时,在环境的作用下智能体的状态转移为新的状态st+1∈S,产生的即时奖励为r(st,at);
当智能体状态为st、采取动作为at的最优动作价值函数Q*(st,at)为:
最优动作价值函数Q*(st,at)遵循贝尔曼方程:
Q*(st,at)=E[r(st,at)+γQ*(st+1,at+1)|st,at]
基于IMDDQN算法的目标是以最大化累计奖励的方式来选择智能体的动作,即综合考虑即时奖励和未来奖励,不断改进策略π使得获得的累计奖励最大,从而得到最佳策略π*(a|s),其中,策略π为智能体采取的一系列动作。
更进一步地,所述IMDDQN算法包括如下步骤:
步骤S31,将智能体的状态信息st输入到评价网络中,输出为有限个离散动作对应的动作价值函数值Q,选择最大Q对应的动作,或者随机生成一个动作,记作at,将动作at输入到智能体,通过与环境的作用得到奖励r(st,at)和下一个状态信息st+1,并将当前状态st、选择的动作at、得到的奖励r(st,at)和下一个状态st+1存储至经验池;
然后将状态信息st+1输入到评价网络中,循环步骤S31,直到存储了一定数量的et=(st,at,r(st,at),st+1),选择动作时采用ε-greedy算法来实现探索和利用之间的平衡,保证充分的探索以及合理的利用:
其中,ε∈[0,1]为探索率,算法以ε的概率选择探索,以1-ε的概率选择最大Q对应的动作;
在选择最大Q对应的动作时,引入Pareto理论,使得Q扩展为多目标动作价值函数,此时奖励函数r也由单个函数变为函数组;选出Q的Pareto最优前沿上的多个Pareto最优解一同存储到经验池中,即假设存在m个Pareto最优解,则有m个e存储至经验池:
步骤S32,从经验池中随机抽取一部分样本e,首先将e中的状态信息st输入到评价网络中,得到所有动作的Q值,然后根据e中的动作at选取其对应的Q值,记作Q(st,at|θ),θ表示评价网络的参数;
其次,将e中的下一个状态信息st+1输入到评价网络中,得到所有动作的Q值,找到最大值Q对应的动作,记作max_at+1;
步骤S33,将步骤S32中采样的e中的下一个状态信息st+1输入到目标网络中,得到所有动作的Q值,然后通过步骤S32中得到的max_at+1选择其对应的Q值,记作Q(st+1,max_at+1;θ′),θ′表示目标网络的参数;
步骤S34,损失函数Loss反向传播,采用梯度下降法更新评价网络中的参数,损失函数为均方误差(MSE),损失计算公式为:
其中,E为从经验池采样的e的个数;
步骤S35,循环步骤S31-S34,每过C步后,将评价网络的参数更新到目标网络中。
本发明达到的有益效果是:
本发明同时考虑了燃料电池混合动力汽车的经济性、燃料电池的寿命和动力电池的寿命,实现了对燃料电池混合动力汽车能量管理策略的多目标寻优。
本发明通过使用IMDDQN算法对燃料电池混合动力汽车的能量管理策略寻优,在保证策略实时性的同时,实现了策略的最优性。
本发明基于IMDDQN算法的能量管理策略,通过不断学习,提高策略的最优性和普适性,摆脱了先前能量管理策略对行驶工况的依赖性,保证了标准测试工况下的最优性以及实际行驶工况下的最优性,提高了策略的自适应性。
本发明建立了燃料电池混合动力汽车的能量管理策略的多目标寻优,考虑了汽车经济性、燃料电池寿命和动力电池寿命多个目标,相对于现有技术,本发明提供的模型经过了反复的查阅和校准,具有更高的准确率。
本发明提供的IMDDQN算法是基于目前存在的Double DQN深度强化学习算法进行改进,原算法的奖励函数是单一函数,而现实中的优化问题大多是多目标的,因此,DoubleDQN算法在解决多目标优化时,只能将每个目标乘以权重,然后求和变为一个目标,而这样做,首先权重并不好确定,大多数只能依据经验确定,其次这样寻优也只是总和最小,并不能说明每个目标都得到了最优。因此,基于以上缺点,本方法将Double DQN进行了改进,变为了改进多目标Double DQN,即本方法中的IMDDQN,将奖励函数由单一函数变为由多个函数组成的函数组,将动作价值函数Q由单个数值变为数组,并改变了在原算法的对应部分进行了修改,如寻找最大Q对应的动作并储存至经验池,改为了寻找Pareto最优前沿,并将多个Pareto最优解储存至经验池。经过这样改进,IMDDQN可以真正的实现多目标寻优,使得实际问题中的多目标深度强化学习寻优更加方便,性能也更加好。
附图说明
图1是本发明实施例中基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法流程图;
图2是本发明实施例中燃料电池混合动力汽车的动力系统结构;
图3是本发明实施例中IMDDQN算法流程图。
具体实施方式
下面结合附图对本发明的技术方案进行更详细的说明,本发明包括但不仅限于下述实施例。
如附图1所示,本发明提出了一种基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,包括如下步骤:
步骤S1,建立FCHEV整车能量管理系统模型,主要包括整车纵向动力学模型、燃料电池氢耗模型、燃料电池寿命模型、动力电池等效电路模型和动力电池衰减模型。
如附图2所示,燃料电池混合动力汽车的动力系统结构。
步骤S11,整车纵向动力学模型建立:
其中,FD为驱动力,PD为驱动功率,PN为需求功率,PFC为燃料电池功率,PBat为动力电池功率,v为车速,ηDC/AC为DC/AC转换器的效率,ηDC/DC为DC/DC转换器的效率,ηMotor为电机效率,ηTran为齿轮传动效率,FRoll、FAir、FGrade、FAcc分别为车辆行驶中的滚动阻力、空气阻力、坡度阻力和加速阻力,分别通过下式进行计算:
步骤S12,燃料电池氢耗模型建立:
步骤S13,燃料电池寿命模型建立:
燃料电池堆频繁启停,输出功率频繁变化,高负载输出以及高电位会影响燃料电池的寿命,因此,将这些因素对燃料电池的寿命影响进行量化处理:
其中,TFC为燃料电池的可用寿命,ΔP为燃料电池电压退化的最大值,kP燃料电池环境修正系数,k1、k2、k3、k4分别为燃料电池启停工况、怠速工况、负载变化工况、重负载工况的衰退系数,n1、t1、t2、t3分别为启停次数、怠速时间、负载变化时间和重负载时间。
步骤S14,动力电池等效电路模型建立:
其中,IBat为电池电流,UBat为开路电流,RBat为电池内阻,SOC(0)为SOC初始值,QBat为电池容量。
步骤S15,动力电池衰减模型建立:
其中,QLoss为电池容量衰减,α和β为常数项,EA为活化能,IC为电池充放电倍率,η为IC的补偿系数,R为摩尔气体常数,TK为环境的热力学温度,Ah为安时通量,z为幂指数因子,EOL为电池寿命终止,为额定条件下电池的充放电倍率,σ(IC,TK,SOC)为影响因子,用以表征实际运行条件对电池容量衰减的影响,γ(IC,TK,SOC)为实际运行条件下电池寿命终止时流经电池的总电量,Aheff为流经电池的有效电量,当Aheff=τ时表示电池寿命终止,因此可减少Aheff来减缓电池寿命衰减程度。
步骤S2,获取燃料电池混合动力汽车在实际行驶中的状态信息,主要包括车辆状态信息、燃料电池状态信息和动力电池状态信息三部分。
步骤S21,车辆状态信息。主要包括了车辆参数信息如整车质量、迎风面积、传动效率等,环境信息参数如道路坡度、环境温度等,车辆的行驶状态信息如瞬时车速、电机转速、电机效率、DC/DC转换器效率、DC/AC转换器效率等。
步骤S22,燃料电池状态信息。主要包括了燃料电池的实际功率、效率、氢耗、启停次数、怠速时间、可用寿命等。
步骤S23,动力电池状态信息。主要包括电池电流、开路电压、内阻、电池容量衰减、SOC、电池终止寿命等。
步骤S3,以燃料电池混合动力汽车的经济性、动力电池寿命和燃料电池寿命为目标,基于IMDDQN算法对燃料电池混合动力汽车能量管理策略进行多目标寻优。
IMDDQN算法通过智能体的不断试错来进行学习,通过智能体与环境的交互作用获得奖励来指导学习。在本实施例中,智能体是建立的燃料电池混合动力汽车整车能量管理系统模型。
假设智能体的有限状态集合为S={s1,s2,…,sn},有限动作序列为A={a1,a2,…,an},当智能体的当前状态为st∈S,采取动作为at∈A时,在环境的作用下智能体的状态转移为新的状态st+1∈S,产生的即时奖励为r(st,at)。
深度强化学习的目标是以最大化累计奖励的方式来选择智能体的动作,即综合考虑即时奖励和未来奖励,不断改进策略π使得获得的累计奖励最大,从而得到最佳策略π*(a|s)。其中,策略π为智能体采取的一系列动作。
当智能体状态为st、采取动作为at的最优动作价值函数Q*(st,at)为:
Q*(st,at)=E[r(st,at)+γQ*(st+1,at+1)|st,at]
如附图3所示,IMDDQN算法的主要流程如下步骤:
步骤S31,如附图3中虚线框①所示,将智能体的状态信息st输入到评价网络中,输出为有限个离散动作对应的动作价值函数值Q,选择最大Q对应的动作(即利用),或者随机生成一个动作(即探索),记作at,将动作at输入到智能体,通过与环境的作用得到奖励r(st,at)和下一个状态信息st+1,并将当前状态st、选择的动作at、得到的奖励r(st,at)和下一个状态st+1存储至经验池。然后将状态信息st+1输入到评价网络中,循环步骤S31,直到存储了一定数量的et=(st,at,r(st,at),st+1),在这个过程中评价网络中的参数并没有更新。其中,选择动作时采用ε-greedy算法来实现探索和利用之间的平衡,保证充分的探索以及合理的利用:
其中,ε∈[0,1]为探索率,算法以ε的概率选择探索,以1-ε的概率选择最大Q对应的动作。因此,为了保证深度强化学习算法的性能,防止陷入局部最优,ε一般设置较大的初始值以保证足够的探索能力,随着迭代的进行,ε取值逐渐减小以保证充分的利用,加快算法的收敛。
在选择最大Q对应的动作时,引入Pareto理论,使得Q扩展为多目标动作价值函数,此时奖励函数r也由单个函数变为函数组。具体来讲,Q由一个数扩展为一个数组,数组的维度由设定目标的个数决定。将Q扩展为多目标动作价值函数之后,除了在寻找最大Q时采用不同的算法,其余的均与原算法保持一致。在寻找最大Q时,由于原算法为一个数,因此只需将Q进行简单的数值比较即可,而当Q扩展为一个数组后,按照原来的简单数值比较无法寻找最大Q,因此,引入了Pareto理论来比较不同数组之间的优劣,从而找到最优数组Q。
Pareto最优前沿:假设该多目标问题存在i个目标函数,A、B为其两个可行解,若解A的所有目标函数值均优于解B,则称解A优于解B,即解A支配解B;若解A只有部分目标函数优于解B,则称解A和解B无差别,即解A非支配解B。若在可行空间中,解A的目标函数值优于其他任何解,则称A为最优解;若在可行空间中,找不到其他的解更优于解A,则称解A为Pareto最优解。对于多目标优化问题,一般不存在最优解,而是存在多个Pareto最优解,所有Pareto最优解组成Pareto最优前沿。
基于以上分析和Pareto最优前沿的性质,选出Q的Pareto最优前沿上的多个Pareto最优解一同存储到经验池中。即假设存在m个Pareto最优解,则有m个e存储至经验池:
步骤S32,如附图3中虚线框②所示,从经验池中随机抽取一部分样本e,首先将e中的状态信息st输入到评价网络中,得到所有动作的Q值,然后根据e中的动作at选取其对应的Q值,记作Q(st,at|θ),θ表示评价网络的参数。其次,将e中的下一个状态信息st+1输入到评价网络中,得到所有动作的Q值,找到最大值Q对应的动作,记作max_at+1。其中,选取最大值对应的动作时,仍然采用Pareto理论得到Pareto最优前沿,并在Pareto最优前沿上随机选取一个Pareto最优解,得到这个Pareto最优解对应的动作。
步骤S33,如附图3中虚线框③所示,将步骤S32中采样的e中的下一个状态信息st+1输入到目标网络中,得到所有动作的Q值,然后通过步骤S32中得到的max_at+1选择其对应的Q值,记作Q(st+1,max_at+1;θ′),θ′表示目标网络的参数。
步骤S34,如附图3中虚线框④所示,损失函数Loss反向传播,采用梯度下降法更新评价网络中的参数。损失函数为均方误差(MSE),损失计算公式为:
其中,E为从经验池采样的e的个数。
步骤S35,循环步骤S31-S34,每过C步后,将评价网络的参数更新到目标网络中。
以燃料电池混合动力汽车的经济性、动力电池寿命和燃料电池寿命为目标,基于IMDDQN算法对燃料电池混合动力汽车能量管理策略进行多目标寻优。
经济性指标:燃料电池混合动力汽车动力电池SOC的开始值和结束值保持相等,均为SOC设定值,即SOCstart=SOCend=SOCTarg et,则燃料电池的经济性指标为燃料电池氢耗量和行驶结束后动力电池SOC偏移设定值的程度
动力电池寿命指标:流经电池的有效电量Aheff。
燃料电池寿命指标:燃料电池的可用寿命TFC。
由于IMDDQN算法通过最大化累计奖励进行寻优,而在燃料电池混合动力汽车的能量管理中,燃料电池氢耗量动力电池SOC偏移设定值的程度D=(SOCend-SOCTarg et)2和流经电池的有效电量Aheff均为越小越好,燃料电池的可用寿命TFC则为越大越好,因此,奖励函数为
状态变量:将燃料电池混合动力汽车的车速、加速度、动力电池SOC和电池安时通量作为状态变量,即s={v,acc,SOC,Ah}。
动作变量:燃料电池混合动力汽车能量管理策略的目的是实现动力源功率的最优分配,关键在于确定燃料电池的输出功率,因此,将燃料电池的输出功率PFC作为动作变量,即a={PFC}。
本发明不仅局限于上述具体实施方式,本领域一般技术人员根据实施例和附图公开内容,可以采用其它多种具体实施方式实施本发明,因此,凡是采用本发明的设计结构和思路,做一些简单的变换或更改的设计,都落入本发明保护的范围。
Claims (8)
1.一种基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法包括以下步骤:
步骤S1,建立FCHEV整车能量管理系统模型,主要包括整车纵向动力学模型、燃料电池氢耗模型、燃料电池寿命模型、动力电池等效电路模型和动力电池衰减模型;
步骤S2,获取燃料电池混合动力汽车在实际行驶中的状态信息,主要包括车辆状态信息、燃料电池状态信息和动力电池状态信息;
步骤S3,以燃料电池混合动力汽车的经济性、动力电池寿命和燃料电池寿命为目标,基于IMDDQN算法对燃料电池混合动力汽车能量管理策略进行多目标寻优。
2.根据权利要求1所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,在步骤S1中,所述整车纵向动力学模型为:
其中,FD为驱动力,PD为驱动功率,PN为需求功率,PFC为燃料电池功率,PBat为动力电池功率,v为车速,ηDC/AC为DC/AC转换器的效率,ηDC/DC为DC/DC转换器的效率,ηMotor为电机效率,ηTran为齿轮传动效率,FRoll、FAir、FGrade、FAcc分别为车辆行驶中的滚动阻力、空气阻力、坡度阻力和加速阻力,分别通过下式获取:
6.根据权利要求1所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,在步骤S1中,动力电池衰减模型为:
7.根据权利要求1所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,在步骤3中,假设智能体的有限状态集合为S={s1,s2,…,sn},有限动作序列为A={a1,a2,…,an},当智能体的当前状态为st∈S,采取动作为at∈A时,在环境的作用下智能体的状态转移为新的状态st+1∈S,产生的即时奖励为r(st,at);
当智能体状态为st、采取动作为at的最优动作价值函数Q*(st,at)为:
最优动作价值函数Q*(st,at)遵循贝尔曼方程:
Q*(st,at)=E[r(st,at)+γQ*(st+1,at+1)|st,at]
基于IMDDQN算法的目标是以最大化累计奖励的方式来选择智能体的动作,即综合考虑即时奖励和未来奖励,不断改进策略π使得获得的累计奖励最大,从而得到最佳策略π*(a|s),其中,策略π为智能体采取的一系列动作。
8.根据权利要求7所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,在步骤3中,所述IMDDQN算法包括如下步骤:
步骤S31,将智能体的状态信息st输入到评价网络中,输出为有限个离散动作对应的动作价值函数值Q,选择最大Q对应的动作,或者随机生成一个动作,记作at,将动作at输入到智能体,通过与环境的作用得到奖励r(st,at)和下一个状态信息st+1,并将当前状态st、选择的动作at、得到的奖励r(st,at)和下一个状态st+1存储至经验池;
然后将状态信息st+1输入到评价网络中,循环步骤S31,直到存储了一定数量的et=(st,at,r(st,at),st+1),选择动作时采用ε-greedy算法来实现探索和利用之间的平衡,保证充分的探索以及合理的利用:
其中,ε∈[0,1]为探索率,算法以ε的概率选择探索,以1-ε的概率选择最大Q对应的动作;
在选择最大Q对应的动作时,引入Pareto理论,使得Q扩展为多目标动作价值函数,此时奖励函数r也由单个函数变为函数组;选出Q的Pareto最优前沿上的多个Pareto最优解一同存储到经验池中,即假设存在m个Pareto最优解,则有m个e存储至经验池:
步骤S32,从经验池中随机抽取一部分样本e,首先将e中的状态信息st输入到评价网络中,得到所有动作的Q值,然后根据e中的动作at选取其对应的Q值,记作Q(st,at|θ),θ表示评价网络的参数;
其次,将e中的下一个状态信息st+1输入到评价网络中,得到所有动作的Q值,找到最大值Q对应的动作,记作max_at+1;
步骤S33,将步骤S32中采样的e中的下一个状态信息st+1输入到目标网络中,得到所有动作的Q值,然后通过步骤S32中得到的max_at+1选择其对应的Q值,记作Q(st+1,max_at+1;θ′),θ′表示目标网络的参数;
步骤S34,损失函数Loss反向传播,采用梯度下降法更新评价网络中的参数,损失函数为均方误差(MSE),损失计算公式为:
其中,E为从经验池采样的e的个数;
步骤S35,循环步骤S31-S34,每过C步后,将评价网络的参数更新到目标网络中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211095257.0A CN115284973B (zh) | 2022-09-05 | 2022-09-05 | 基于改进多目标Double DQN的燃料电池汽车能量管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211095257.0A CN115284973B (zh) | 2022-09-05 | 2022-09-05 | 基于改进多目标Double DQN的燃料电池汽车能量管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115284973A true CN115284973A (zh) | 2022-11-04 |
CN115284973B CN115284973B (zh) | 2024-07-19 |
Family
ID=83834540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211095257.0A Active CN115284973B (zh) | 2022-09-05 | 2022-09-05 | 基于改进多目标Double DQN的燃料电池汽车能量管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115284973B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116454324A (zh) * | 2023-06-16 | 2023-07-18 | 广东技术师范大学 | 燃料电池的控制方法及系统 |
CN117002472A (zh) * | 2023-08-02 | 2023-11-07 | 中汽研汽车检验中心(广州)有限公司 | 一种混合动力电动汽车能量管理优化方法及系统 |
CN117104084A (zh) * | 2023-10-24 | 2023-11-24 | 新研氢能源科技有限公司 | 一种氢燃料电池系统的管理方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110254418A (zh) * | 2019-06-28 | 2019-09-20 | 福州大学 | 一种混合动力汽车增强学习能量管理控制方法 |
CN112026744A (zh) * | 2020-08-20 | 2020-12-04 | 南京航空航天大学 | 一种基于dqn变体的混联式混合动力系统能量管理方法 |
CN112287463A (zh) * | 2020-11-03 | 2021-01-29 | 重庆大学 | 一种基于深度强化学习算法的燃料电池汽车能量管理方法 |
CN113085665A (zh) * | 2021-05-10 | 2021-07-09 | 重庆大学 | 一种基于td3算法的燃料电池汽车能量管理方法 |
CN113961204A (zh) * | 2021-09-29 | 2022-01-21 | 西安交通大学 | 一种基于多目标强化学习的车联网计算卸载方法及系统 |
-
2022
- 2022-09-05 CN CN202211095257.0A patent/CN115284973B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110254418A (zh) * | 2019-06-28 | 2019-09-20 | 福州大学 | 一种混合动力汽车增强学习能量管理控制方法 |
CN112026744A (zh) * | 2020-08-20 | 2020-12-04 | 南京航空航天大学 | 一种基于dqn变体的混联式混合动力系统能量管理方法 |
CN112287463A (zh) * | 2020-11-03 | 2021-01-29 | 重庆大学 | 一种基于深度强化学习算法的燃料电池汽车能量管理方法 |
CN113085665A (zh) * | 2021-05-10 | 2021-07-09 | 重庆大学 | 一种基于td3算法的燃料电池汽车能量管理方法 |
CN113961204A (zh) * | 2021-09-29 | 2022-01-21 | 西安交通大学 | 一种基于多目标强化学习的车联网计算卸载方法及系统 |
Non-Patent Citations (1)
Title |
---|
张晗;杨继斌;张继业;宋鹏云;徐晓惠;: "燃料电池有轨电车能量管理Pareto多目标优化", 自动化学报, no. 12, 15 December 2019 (2019-12-15), pages 1 - 6 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116454324A (zh) * | 2023-06-16 | 2023-07-18 | 广东技术师范大学 | 燃料电池的控制方法及系统 |
CN116454324B (zh) * | 2023-06-16 | 2023-08-18 | 广东技术师范大学 | 燃料电池的控制方法及系统 |
CN117002472A (zh) * | 2023-08-02 | 2023-11-07 | 中汽研汽车检验中心(广州)有限公司 | 一种混合动力电动汽车能量管理优化方法及系统 |
CN117002472B (zh) * | 2023-08-02 | 2024-04-19 | 中汽研汽车检验中心(广州)有限公司 | 一种混合动力电动汽车能量管理优化方法及系统 |
CN117104084A (zh) * | 2023-10-24 | 2023-11-24 | 新研氢能源科技有限公司 | 一种氢燃料电池系统的管理方法及装置 |
CN117104084B (zh) * | 2023-10-24 | 2024-01-09 | 新研氢能源科技有限公司 | 一种氢燃料电池系统的管理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115284973B (zh) | 2024-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115284973A (zh) | 基于改进多目标Double DQN的燃料电池汽车能量管理方法 | |
CN112287463B (zh) | 一种基于深度强化学习算法的燃料电池汽车能量管理方法 | |
Liu et al. | Modeling and control of a power-split hybrid vehicle | |
CN113085665B (zh) | 一种基于td3算法的燃料电池汽车能量管理方法 | |
WO2021159660A1 (zh) | 一种混合动力汽车能量管理方法和系统 | |
CN111619545B (zh) | 基于交通信息的混合动力汽车能量管理方法 | |
CN112810504B (zh) | 基于非线性预测模型控制的燃料电池汽车能量管理方法 | |
Li et al. | Energy management strategy for a series hybrid electric vehicle using improved deep Q-network learning algorithm with prioritized replay | |
CN112918330B (zh) | 一种燃料电池车最优工作状态控制策略的计算方法 | |
CN111572369A (zh) | 基于改进遗传算法的燃料电池混合动力汽车能量管理在线优化方法 | |
CN112757922B (zh) | 一种车用燃料电池混合动力能量管理方法及系统 | |
CN107220730B (zh) | 一种能够延长动力电池使用寿命的纯电动公交车动态线路规划方法 | |
CN112319460B (zh) | 一种双行星排功率分流混合动力系统的构型优化方法 | |
CN115476841A (zh) | 一种基于改进多目标ddpg的插电式混动汽车能量管理方法 | |
CN115230485B (zh) | 基于短期功率平滑预测的燃料电池公交车能量管理方法 | |
CN113022380A (zh) | 一种考虑衰减的燃料电池汽车动力电池优化设计方法 | |
CN116409216A (zh) | 基于预测的非线性模型控制的燃料电池汽车能量管理方法 | |
CN113246958A (zh) | 基于td3多目标hev能量管理方法及系统 | |
CN117644783A (zh) | 结合工况预测与强化学习的燃料电池汽车能量管理方法 | |
Yang et al. | Real-time energy management for a hybrid electric vehicle based on heuristic search | |
CN116811836A (zh) | 基于双延迟q学习的插电式混合动力汽车能量管理方法 | |
CN115140059A (zh) | 一种基于多目标优化的混合动力汽车能量管理方法及系统 | |
CN114670803A (zh) | 基于自我监督学习的并联式混合动力汽车能量管理方法 | |
Sun et al. | A Dynamic Programming based Fuzzy Logic Energy Management Strategy for Series-parallel Hybrid Electric Vehicles. | |
CN110781979A (zh) | 一种插电式混合动力汽车总成的参数匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |