CN109657194B - 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法 - Google Patents

一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法 Download PDF

Info

Publication number
CN109657194B
CN109657194B CN201811468385.9A CN201811468385A CN109657194B CN 109657194 B CN109657194 B CN 109657194B CN 201811468385 A CN201811468385 A CN 201811468385A CN 109657194 B CN109657194 B CN 109657194B
Authority
CN
China
Prior art keywords
soc
time
power
fuel cell
energy management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811468385.9A
Other languages
English (en)
Other versions
CN109657194A (zh
Inventor
陶吉利
谢亮
马龙华
张智焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Technology of ZJU
Original Assignee
Ningbo Institute of Technology of ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Technology of ZJU filed Critical Ningbo Institute of Technology of ZJU
Priority to CN201811468385.9A priority Critical patent/CN109657194B/zh
Publication of CN109657194A publication Critical patent/CN109657194A/zh
Application granted granted Critical
Publication of CN109657194B publication Critical patent/CN109657194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Fuel Cell (AREA)

Abstract

本发明公开一种基于Q‑learning和规则的混合动力车辆运行实时能源管理方法，属于自动化技术领域。为弥补燃料电池在车辆启动及加速阶段动力不足的缺陷，引入超级电容作为辅助供能设备，在燃料电池动力不足时补充剩余功率，同时在制动时吸收制动能量，以提高耗能经济性。为实现对燃料电池及超级电容的混合能量管理，本发明首先在离线状态下对基于Q‑learning的控制器进行训练，同时融合规则改变燃料电池的最大功率输出，以减小电流突变对燃料电池的影响。然后将离线训练好的控制器用于不同工况下的实时能源管理。本发明提出的方法相比于传统的基于简单规则或优化的能源管理方法，显著提高了耗能经济性，减小了电流波动对电池的影响，同时实现了混合动力车辆在不同工况下的实时能源管理。

Description

一种基于Q-learning和规则的混合动力车辆运行实时能源管 理方法
技术领域
本发明属于自动化技术领域，具体涉及一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法。
背景技术
现有的混合动力车辆运行实时能源管理方法常利用基于规则或优化的算法对混合能源进行分配。其中基于规则的能源管理算法因为简单易行而运用广泛，但由于其过于单一而无法胜任复杂的车辆工况。而基于优化的算法虽然能将耗能降低到较低的范围，达到最优的燃油经济性，但由于其优化的前提是对车辆工况有较好的认知，因而基于优化的能源管理算法只能用于特定的工况，而无法用于面向复杂工况的在线的实时能源管理。另外，两种方法都缺乏减小电流波动对电池寿命的影响的研究。
发明内容
本发明的目的是针对现有的部分算法的不足之处，提供一种融合Q-learning和规则的基于学习的混合动力车辆运行实时能源管理方法。首先，本发明提供两种可选择的最大燃料电池功率输出设定值，其选择由规则决定，小功率输出有利于减小燃料电池的电流波动。其次，基于学习的方法在适应不同工况上比基于规则和优化的方法更加具有优越性，利用离线的方法在不同工况下训练，使能量管理控制器在实时测试时能适应复杂的工况。最后，超级电容作为辅助燃料电池的供能设备，弥补燃料电池在启动和加速阶段动力不足的缺陷，同时吸收制动能量，提高耗能经济性。
本发明的技术方案是通过数据采集，模型建立等手段，确立了一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法。利用该方法可显著提高混合动力车辆在不同工况下的实时耗能经济性，同时减小燃料电池的电流波动，延长电池使用周期。
本发明的具体技术方案如下：
一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其步骤如下：
S1：采集不同工况下，混合动力车辆运行过程中的样本数据；
S2：建立基于Q-learning的能源管理系统，具体方法为S21～S23：
S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：
Figure BDA0001890466360000021
Figure BDA0001890466360000022
其中SoCt表示t时刻的SoC状态；SoCmin和SoCmax分别表示SoC的最小值和最大值，d1表示状态空间的离散度，numstates表示状态个数；
S22：根据燃料电池输出功率设计动作空间，并对动作空间进行离散化：
at＝k×d2
Figure BDA0001890466360000023
其中at表示燃料电池t时刻的功率输出，k表示以1为基准的动作下表索引，d2表示动作空间的离散度，max_cell_power表示燃料电池最大功率输出预设值，numactions表示动作个数；
S23：根据超级电容SoC状态设计奖励函数，奖励函数形式如下：
Figure BDA0001890466360000024
其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态；
S3：确定规则，用于对燃料电池最大功率输出预设值Phigh或Plow进行选择；规则的形式如下：
Figure BDA0001890466360000025
S4：基于S1中的样本数据，结合S2中建立的基于Q-learning的能源管理系统和S3中确定的规则，离线训练控制器对混合能源进行实时分配管理，具体步骤如S41～S46：
S41.初始化值函数Q(s,a)＝0；初始化max_cell_power＝Plow；初始化迭代次数n＝0；
S42.初始化初始状态s0＝SoCinitial，其中SoCinitial为超级电容SoC初始设定值；初始化时间t＝1；n＝n+1；
S43.根据贪心算法按照概率ε随机选出动作at，若不在概率ε内则使
Figure BDA0001890466360000032
执行动作at，观察状态SoCt+1和奖励rt+1；如果SoCt+1＜0.6，则执行规则max_cell_power＝Phigh；否则执行规则max_cell_power＝Plow；
S44.利用贝尔曼公式对值函数Q(s,a)进行更新，形式如下：
Figure BDA0001890466360000031
其中η是学习速度；γ是折现参数；Q(st,at)为t时刻的值函数；T为S1中采集的样本数据的行程时长；
S45.如果超级电容SoCt+1超出设定范围，即rt+1＝-1000，则重复步骤S42到步骤S44；如果超级电容SoCt+1未超出设定范围，则执行t＝t+1，并重复步骤S43到步骤S44，直到t＝T；
S46.重复步骤S42到步骤S45，直到n＝N，N为预设的最大迭代次数，完成值函数Q(s,a)的更新；
S5：利用训练好的控制器在不同工况下对混合能源进行实时分配管理。
作为优选，所述的混合动力车辆由超级电容和燃料电池共同提供混合动力，超级电容作为辅助燃料电池的供能设备。
进一步的，超级电容的输出功率由混合动力车辆行驶所需总功率减去燃料电池输出功率得到。
作为优选，S1中的样本数据的采集方法为：在不同车辆工况下，获取车辆行驶所需的实时功率，记一段行程中t时刻所需的瞬时功率为Pt，行程时长记为T。
作为优选，所述的工况包括FTP-75工况、WVUSUB工况、HWFET工况及MANHATTAN工况。
本发明提出的混合动力车辆运行实时能源管理方法弥补了传统方法的不足，相比与传统的基于规则或优化的方法，本发明融合学习和规则，能显著提高耗能经济性，减少电流波动对燃料电池造成的影响，同时实现复杂工况下的在线实时能源管理。
附图说明
图1为实时测试中在混合工况下车辆运行功率需求；
图2为实时测试中在混合工况下车辆运行功率分配；
图3为实时测试中在混合工况下的功率误差；
图4为实时测试中在混合工况下超级电容的SoC分布；
图5为实时测试中在HWFET工况下燃料电池输出功率变化率；
图6为实时测试中在HWFET工况下燃料电池输出电流变化率。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
本发明中的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，主要针对以超级电容和燃料电池作为混合动力的车辆，其中超级电容作为辅助燃料电池的供能设备，弥补燃料电池在启动和加速阶段动力不足的缺陷。超级电容在燃料电池动力不足时补充剩余功率，同时在制动时吸收制动能量，提高耗能经济性。本方法主要计算燃料电池的输出功率，而超级电容的输出功率由混合动力车辆行驶所需总功率减去燃料电池输出功率得到。两种动力来源的功率值由车辆内的控制器进行控制。为实现对燃料电池及超级电容的混合能量管理，本发明首先在离线状态下对基于Q-learning的控制器进行训练，同时融合规则改变燃料电池的最大功率输出，以减小电流突变对燃料电池的影响，然后将离线训练好的控制器用于不同工况下的实时能源管理。下面详细描述本方法的具体实现步骤：
S1：采集不同工况下，混合动力车辆运行过程中的样本数据。采集方法为：在不同车辆工况下，获取车辆行驶所需的实时功率，记一段行程中t时刻所需的瞬时功率为Pt，行程时长记为T。
典型工况包括但不限于FTP-75工况、WVUSUB工况、HWFET工况及MANHATTAN工况等。
S2：建立基于Q-learning的能源管理系统，具体方法为S21～S23：
S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：
Figure BDA0001890466360000051
Figure BDA0001890466360000052
其中SoCt表示t时刻的SoC状态；SoCmin和SoCmax分别表示SoC的最小值和最大值，d1表示状态空间的离散度，numstates表示状态个数；
S22：根据燃料电池输出功率设计动作空间，并对动作空间进行离散化：
at＝k×d2
Figure BDA0001890466360000053
其中at表示燃料电池t时刻的功率输出，k表示以1为基准的动作下表索引，d2表示动作空间的离散度，max_cell_power表示燃料电池最大功率输出预设值，numactions表示动作个数；
S23：根据超级电容SoC状态设计奖励函数，奖励函数形式如下：
Figure BDA0001890466360000054
其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态；
S3：确定规则，用于对燃料电池最大功率输出预设值进行选择；规则的形式如下：
Figure BDA0001890466360000055
S4：基于S1中的样本数据，结合S2中建立的基于Q-learning的能源管理系统和S3中确定的规则，离线训练控制器对混合能源进行实时分配管理，具体步骤如S41～S46：
S41.初始化值函数Q(s,a)＝0；初始化max_cell_power＝17kW；初始化迭代次数n＝0；
S42.初始化初始状态s0＝SoCinitial，其中SoCinitial为超级电容SoC初始设定值；初始化时间t＝1；n＝n+1；
S43.根据贪心算法按照概率ε随机选出动作at，若不在概率ε内则使
Figure BDA0001890466360000062
执行动作at，观察状态下一时刻的状态SoCt+1和奖励rt+1，并根据该状态执行规则：如果SoCt+1＜0.6，则执行规则max_cell_power＝24kW；否则执行规则max_cell_power＝17kW；
S44.利用贝尔曼公式对值函数Q(s,a)进行更新，形式如下：
Figure BDA0001890466360000061
其中η是学习速度；γ是折现参数；Q(st,at)为t时刻的值函数；T为S1中采集的样本数据的行程时长；
S45.如果超级电容SoCt+1超出设定范围，即rt+1＝-1000，则重复步骤S42到步骤S44；如果超级电容SoCt+1未超出设定范围，则执行t＝t+1，并重复步骤S43到步骤S44，直到t＝T；
S46.重复步骤S42到步骤S45，直到n＝N，N为预设的最大迭代次数，完成值函数Q(s,a)的更新和控制器的训练。
S5：利用离线训练好的控制器在不同工况下对混合能源进行实时分配管理。
下面基于上述方法，结合具体实施例对其技术效果进行进一步展示，部分参数的定义如前所述，不再赘述。
实施例
以FTP-75工况(又称UDDS)、WVUSUB工况、HWFET工况及MANHATTAN工况4种典型循环工况为例，建立车辆运行实时能源管理模型。
步骤(1).从Advisor软件中导出车辆在上述HWFET工况下实时功率需求Pt，行程时长记为T。
步骤(2).建立基于Q-learning的能源管理系统，具体方法是：
a.设计状态空间。选择超级电容的SoC作为系统状态，对连续的SoC离散化：
Figure BDA0001890466360000071
Figure BDA0001890466360000072
其中SoCmin＝0.45，SoCmax＝0.95，numstates＝61。
b.设计动作空间。选择燃料电池的输出功率作为系统动作，对输出功率离散化：
at＝k×d2
Figure BDA0001890466360000073
其中numactions＝31；max_cell_power＝17kW or 24kW，具体值由规则决定；t时刻超级电容的功率输出可以通过Pt-at得到。
c.设计奖励函数。根据瞬时的SoC状态设计奖励函数形式如下：
Figure BDA0001890466360000074
其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态。
步骤(3).设计规则，具体方法是：
根据超级电容SoC的状态选择最大燃料电池输出功率预设值，规则的形式如下：
Figure BDA0001890466360000075
步骤(4).利用基于步骤(2)的基于Q-learning能源管理系统和步骤(3)的规则对步骤(1)获取的功率进行能源分配，具体方法是：
Ⅰ.初始化max_cell_power＝17kW；初始化迭代次数n＝0；初始化值函数Q(s,a)＝0，其中s表示状态，a表示动作，st、at分别表示t时刻的状态、动作。
Ⅱ.初始化初始状态s0＝0.8；初始化时间t＝1；n＝n+1。
Ⅲ.根据贪心算法按照概率ε＝0.1随机选出动作at，若不在概率ε内无法选出动作，则使
Figure BDA0001890466360000076
然后执行动作at，观察状态SoCt+1和奖励rt+1。如果SoCt+1＜0.6，则执行规则：max_cell_power＝24kW。否则执行规则：max_cell_power＝17kW。
IV.利用贝尔曼公式对值函数Q(s,a)进行更新，形式如下：
Figure BDA0001890466360000081
其中η＝0.0001，γ＝0.99
V.如果超级电容SoCt+1超出设定范围，即rt+1＝-1000，则重复步骤II到步骤IV；如果超级电容SoCt+1未超出设定范围，则执行t＝t+1，并重复步骤III到步骤IV，直到t＝T。
VI.重复步骤II到步骤V直到n＝2000，此时完成值函数Q(s,a)的更新和控制器的训练。
步骤(5).利用步骤(4)离线训练好的控制器在上述4种典型工况下进行实时测试。
结果显示本发明公开的方法在上述测试中能控制超级电容SoC维持在给定范围内，同时满足车辆运行的实时功率需求。在上述测试工况下的氢气消耗为0.5340(g)，相比传统的基于模糊规则的能源管理策略减少了9.03％耗氢量。另外，本发明还验证了融合规则的Q-learning能源管理策略对燃料电池功率和电流波动的显著改善。通过分别计算在上述测试工况下燃料电池的功率和电流变化率的均方根，证明了基于融合规则的Q-leaning能源管理策略相比基于传统的Q-learning能源管理策略在功率和电流上分别减少了51.71％和51.54％波动。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于，步骤如下：
S1：采集不同工况下，混合动力车辆运行过程中的样本数据；
S2：建立基于Q-learning的能源管理系统，具体方法为S21～S23：
S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：
Figure FDA0001890466350000011
Figure FDA0001890466350000012
其中SoCt表示t时刻的SoC状态；SoCmin和SoCmax分别表示SoC的最小值和最大值，d1表示状态空间的离散度，numstates表示状态个数；
S22：根据燃料电池输出功率设计动作空间，并对动作空间进行离散化：
at＝k×d2
Figure FDA0001890466350000013
其中at表示燃料电池t时刻的功率输出，k表示以1为基准的动作下表索引，d2表示动作空间的离散度，max_cell_power表示燃料电池最大功率输出预设值，numactions表示动作个数；
S23：根据超级电容SoC状态设计奖励函数，奖励函数形式如下：
Figure FDA0001890466350000014
其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态；
S3：确定规则，用于对燃料电池最大功率输出预设值Phigh或Plow进行选择；规则的形式如下：
Figure FDA0001890466350000021
S4：基于S1中的样本数据，结合S2中建立的基于Q-learning的能源管理系统和S3中确定的规则，离线训练控制器对混合能源进行实时分配管理，具体步骤如S41～S46：
S41.初始化值函数Q(s,a)＝0；初始化max_cell_power＝Plow；初始化迭代次数n＝0；
S42.初始化初始状态s0＝SoCinitial，其中SoCinitial为超级电容SoC初始设定值；初始化时间t＝1；n＝n+1；
S43.根据贪心算法按照概率ε随机选出动作at，若不在概率ε内则使
Figure FDA0001890466350000022
执行动作at，观察状态SoCt+1和奖励rt+1；如果SoCt+1＜0.6，则执行规则max_cell_power＝Phigh；否则执行规则max_cell_power＝Plow；
S44.利用贝尔曼公式对值函数Q(s,a)进行更新，形式如下：
Figure FDA0001890466350000023
其中η是学习速度；γ是折现参数；Q(st,at)为t时刻的值函数；T为S1中采集的样本数据的行程时长；
S45.如果超级电容SoCt+1超出设定范围，即rt+1＝-1000，则重复步骤S42到步骤S44；如果超级电容SoCt+1未超出设定范围，则执行t＝t+1，并重复步骤S43到步骤S44，直到t＝T；
S46.重复步骤S42到步骤S45，直到n＝N，N为预设的最大迭代次数，完成值函数Q(s,a)的更新；
S5：利用训练好的控制器在不同工况下对混合能源进行实时分配管理。
2.根据权利要求1所述的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于：所述的混合动力车辆由超级电容和燃料电池共同提供混合动力，超级电容作为辅助燃料电池的供能设备。
3.根据权利要求2所述的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于：超级电容的输出功率由混合动力车辆行驶所需总功率减去燃料电池输出功率得到。
4.根据权利要求1所述的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于：S1中的样本数据的采集方法为：在不同车辆工况下，获取车辆行驶所需的实时功率，记一段行程中t时刻所需的瞬时功率为Pt，行程时长记为T。
5.根据权利要求1所述的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于：所述的工况包括FTP-75工况、WVUSUB工况、HWFET工况及MANHATTAN工况。
CN201811468385.9A 2018-12-04 2018-12-04 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法 Active CN109657194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811468385.9A CN109657194B (zh) 2018-12-04 2018-12-04 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811468385.9A CN109657194B (zh) 2018-12-04 2018-12-04 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法

Publications (2)

Publication Number Publication Date
CN109657194A CN109657194A (zh) 2019-04-19
CN109657194B true CN109657194B (zh) 2022-12-27

Family

ID=66112642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811468385.9A Active CN109657194B (zh) 2018-12-04 2018-12-04 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法

Country Status (1)

Country Link
CN (1) CN109657194B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599007B (zh) * 2020-05-26 2021-05-25 王梅莹 一种基于无人机航拍的智慧城市cim道路贴图方法
CN112035949B (zh) * 2020-08-14 2024-02-02 浙大宁波理工学院 一种结合q增强学习的实时模糊能源管理方法
CN112287463B (zh) * 2020-11-03 2022-02-11 重庆大学 一种基于深度强化学习算法的燃料电池汽车能量管理方法
CN113511082B (zh) * 2021-05-31 2023-06-16 深圳先进技术研究院 基于规则和双深度q网络的混合动力汽车能量管理方法
CN113673836B (zh) * 2021-07-29 2023-08-18 清华大学深圳国际研究生院 一种基于强化学习的共享公交车贴线调度方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102717797A (zh) * 2012-06-14 2012-10-10 北京理工大学 一种混合动力车辆能量管理方法及能量管理系统
CN106218633A (zh) * 2016-08-02 2016-12-14 大连理工大学 基于q‑学习的四轮独立驱动电动汽车稳定性控制方法
CN107901776A (zh) * 2017-11-15 2018-04-13 吉林大学 电动汽车复合电源燃料电池混合能量系统功率分流方法
CN108312870A (zh) * 2018-02-02 2018-07-24 杭州电子科技大学 一种混合动力汽车氢耗与负载变化的能源管理方法
CN108363855A (zh) * 2018-02-02 2018-08-03 杭州电子科技大学 一种基于路况识别的燃料电池与超级电容系统优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8359133B2 (en) * 2010-02-19 2013-01-22 Ford Global Technologies, Llc Engine power elevation and active battery charge energy management strategies for plug-in hybrid electric vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102717797A (zh) * 2012-06-14 2012-10-10 北京理工大学 一种混合动力车辆能量管理方法及能量管理系统
CN106218633A (zh) * 2016-08-02 2016-12-14 大连理工大学 基于q‑学习的四轮独立驱动电动汽车稳定性控制方法
CN107901776A (zh) * 2017-11-15 2018-04-13 吉林大学 电动汽车复合电源燃料电池混合能量系统功率分流方法
CN108312870A (zh) * 2018-02-02 2018-07-24 杭州电子科技大学 一种混合动力汽车氢耗与负载变化的能源管理方法
CN108363855A (zh) * 2018-02-02 2018-08-03 杭州电子科技大学 一种基于路况识别的燃料电池与超级电容系统优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Blockchain-Based Distributed Software-Defined Vehicular Networks via Deep Q-Learning;Chao Qiu.etal;《Proceedings of the 8th ACM Symposium on Design and Analysis of Intelligent Vehicular Networks and Applications》;20181030;第8-14页 *
并联式混合动力汽车能量管理策略新分类与概述;牛礼民等;《机电工程》;20170430;第321-329页 *

Also Published As

Publication number Publication date
CN109657194A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109657194B (zh) 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法
Xiong et al. Towards a smarter hybrid energy storage system based on battery and ultracapacitor-A critical review on topology and energy management
Zhou et al. Knowledge implementation and transfer with an adaptive learning network for real-time power management of the plug-in hybrid vehicle
CN109552079B (zh) 一种基于规则与Q-learning增强学习的电动汽车复合能量管理方法
CN111144728B (zh) 基于深度强化学习的热电联产系统经济调度方法
TW200925015A (en) Mixed type vehicle power system and method of forming multidimentional data of fuel consumption
CN109808512B (zh) 混合动力燃料电池汽车仿真控制方法及系统
WO2021159660A1 (zh) 一种混合动力汽车能量管理方法和系统
CN113110052B (zh) 一种基于神经网络和强化学习的混合能量管理方法
CN113221258B (zh) 一种结合推进功率预测mpc的电推进无人机能量管理方法
Li et al. Cyber-physical data fusion in surrogate-assisted strength pareto evolutionary algorithm for PHEV energy management optimization
CN110549914A (zh) 一种燃料电池有轨电车日运行近似最优能量管理方法
CN110549915A (zh) 一种氢燃料电池混合动力新能源车续驶里程估算方法
CN112757922A (zh) 一种车用燃料电池混合动力能量管理方法及系统
Lin et al. Intelligent energy management strategy based on an improved reinforcement learning algorithm with exploration factor for a plug-in PHEV
CN116436019B (zh) 一种多资源协调优化方法、装置及存储介质
CN115793445A (zh) 一种基于多智能体深度强化学习的混合动力汽车控制方法
CN106056238A (zh) 列车区间运行轨迹的规划方法
CN115986839A (zh) 一种风-水-火综合能源系统的智能调度方法及系统
CN111301397A (zh) 一种插电混合动力汽车变时域模型预测能量管理方法
CN104527637B (zh) 混合动力汽车控制方法和系统
PS et al. Energy management strategies for hybrid energy storage system in electric vehicles: A review
CN115986834A (zh) 基于近端策略优化算法的光储充电站运行优化方法及系统
CN110077389A (zh) 一种插电式混合动力电动汽车能量管理方法
CN116993128B (zh) 一种综合能源系统深度强化学习低碳调度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant