CN109657194A - 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法 - Google Patents

一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法 Download PDF

Info

Publication number
CN109657194A
CN109657194A CN201811468385.9A CN201811468385A CN109657194A CN 109657194 A CN109657194 A CN 109657194A CN 201811468385 A CN201811468385 A CN 201811468385A CN 109657194 A CN109657194 A CN 109657194A
Authority
CN
China
Prior art keywords
soc
power
fuel cell
rule
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811468385.9A
Other languages
English (en)
Other versions
CN109657194B (zh
Inventor
陶吉利
谢亮
马龙华
张智焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Technology of ZJU
Original Assignee
Ningbo Institute of Technology of ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Technology of ZJU filed Critical Ningbo Institute of Technology of ZJU
Priority to CN201811468385.9A priority Critical patent/CN109657194B/zh
Publication of CN109657194A publication Critical patent/CN109657194A/zh
Application granted granted Critical
Publication of CN109657194B publication Critical patent/CN109657194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Fuel Cell (AREA)

Abstract

本发明公开一种基于Q‑learning和规则的混合动力车辆运行实时能源管理方法，属于自动化技术领域。为弥补燃料电池在车辆启动及加速阶段动力不足的缺陷，引入超级电容作为辅助供能设备，在燃料电池动力不足时补充剩余功率，同时在制动时吸收制动能量，以提高耗能经济性。为实现对燃料电池及超级电容的混合能量管理，本发明首先在离线状态下对基于Q‑learning的控制器进行训练，同时融合规则改变燃料电池的最大功率输出，以减小电流突变对燃料电池的影响。然后将离线训练好的控制器用于不同工况下的实时能源管理。本发明提出的方法相比于传统的基于简单规则或优化的能源管理方法，显著提高了耗能经济性，减小了电流波动对电池的影响，同时实现了混合动力车辆在不同工况下的实时能源管理。

Description

一种基于Q-learning和规则的混合动力车辆运行实时能源管 理方法
技术领域
本发明属于自动化技术领域，具体涉及一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法。
背景技术
现有的混合动力车辆运行实时能源管理方法常利用基于规则或优化的算法对混合能源进行分配。其中基于规则的能源管理算法因为简单易行而运用广泛，但由于其过于单一而无法胜任复杂的车辆工况。而基于优化的算法虽然能将耗能降低到较低的范围，达到最优的燃油经济性，但由于其优化的前提是对车辆工况有较好的认知，因而基于优化的能源管理算法只能用于特定的工况，而无法用于面向复杂工况的在线的实时能源管理。另外，两种方法都缺乏减小电流波动对电池寿命的影响的研究。
发明内容
本发明的目的是针对现有的部分算法的不足之处，提供一种融合Q-learning和规则的基于学习的混合动力车辆运行实时能源管理方法。首先，本发明提供两种可选择的最大燃料电池功率输出设定值，其选择由规则决定，小功率输出有利于减小燃料电池的电流波动。其次，基于学习的方法在适应不同工况上比基于规则和优化的方法更加具有优越性，利用离线的方法在不同工况下训练，使能量管理控制器在实时测试时能适应复杂的工况。最后，超级电容作为辅助燃料电池的供能设备，弥补燃料电池在启动和加速阶段动力不足的缺陷，同时吸收制动能量，提高耗能经济性。
本发明的技术方案是通过数据采集，模型建立等手段，确立了一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法。利用该方法可显著提高混合动力车辆在不同工况下的实时耗能经济性，同时减小燃料电池的电流波动，延长电池使用周期。
本发明的具体技术方案如下：
一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其步骤如下：
S1：采集不同工况下，混合动力车辆运行过程中的样本数据；
S2：建立基于Q-learning的能源管理系统，具体方法为S21～S23：
S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：
其中SoCt表示t时刻的SoC状态；SoCmin和SoCmax分别表示SoC的最小值和最大值，d1表示状态空间的离散度，numstates表示状态个数；
S22：根据燃料电池输出功率设计动作空间，并对动作空间进行离散化：
at＝k×d2
其中at表示燃料电池t时刻的功率输出，k表示以1为基准的动作下表索引，d2表示动作空间的离散度，max_cell_power表示燃料电池最大功率输出预设值，numactions表示动作个数；
S23：根据超级电容SoC状态设计奖励函数，奖励函数形式如下：
其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态；
S3：确定规则，用于对燃料电池最大功率输出预设值Phigh或Plow进行选择；规则的形式如下：
S4：基于S1中的样本数据，结合S2中建立的基于Q-learning的能源管理系统和S3中确定的规则，离线训练控制器对混合能源进行实时分配管理，具体步骤如S41～S46：
S41.初始化值函数Q(s,a)＝0；初始化max_cell_power＝Plow；初始化迭代次数n＝0；
S42.初始化初始状态s0＝SoCinitial，其中SoCinitial为超级电容SoC初始设定值；初始化时间t＝1；n＝n+1；
S43.根据贪心算法按照概率ε随机选出动作at，若不在概率ε内则使执行动作at，观察状态SoCt+1和奖励rt+1；如果SoCt+1＜0.6，则执行规则max_cell_power＝Phigh；否则执行规则max_cell_power＝Plow；
S44.利用贝尔曼公式对值函数Q(s,a)进行更新，形式如下：
其中η是学习速度；γ是折现参数；Q(st,at)为t时刻的值函数；T为S1中采集的样本数据的行程时长；
S45.如果超级电容SoCt+1超出设定范围，即rt+1＝-1000，则重复步骤S42到步骤S44；如果超级电容SoCt+1未超出设定范围，则执行t＝t+1，并重复步骤S43到步骤S44，直到t＝T；
S46.重复步骤S42到步骤S45，直到n＝N，N为预设的最大迭代次数，完成值函数Q(s,a)的更新；
S5：利用训练好的控制器在不同工况下对混合能源进行实时分配管理。
作为优选，所述的混合动力车辆由超级电容和燃料电池共同提供混合动力，超级电容作为辅助燃料电池的供能设备。
进一步的，超级电容的输出功率由混合动力车辆行驶所需总功率减去燃料电池输出功率得到。
作为优选，S1中的样本数据的采集方法为：在不同车辆工况下，获取车辆行驶所需的实时功率，记一段行程中t时刻所需的瞬时功率为Pt，行程时长记为T。
作为优选，所述的工况包括FTP-75工况、WVUSUB工况、HWFET工况及MANHATTAN工况。
本发明提出的混合动力车辆运行实时能源管理方法弥补了传统方法的不足，相比与传统的基于规则或优化的方法，本发明融合学习和规则，能显著提高耗能经济性，减少电流波动对燃料电池造成的影响，同时实现复杂工况下的在线实时能源管理。
附图说明
图1为实时测试中在混合工况下车辆运行功率需求；
图2为实时测试中在混合工况下车辆运行功率分配；
图3为实时测试中在混合工况下的功率误差；
图4为实时测试中在混合工况下超级电容的SoC分布；
图5为实时测试中在HWFET工况下燃料电池输出功率变化率；
图6为实时测试中在HWFET工况下燃料电池输出电流变化率。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
本发明中的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，主要针对以超级电容和燃料电池作为混合动力的车辆，其中超级电容作为辅助燃料电池的供能设备，弥补燃料电池在启动和加速阶段动力不足的缺陷。超级电容在燃料电池动力不足时补充剩余功率，同时在制动时吸收制动能量，提高耗能经济性。本方法主要计算燃料电池的输出功率，而超级电容的输出功率由混合动力车辆行驶所需总功率减去燃料电池输出功率得到。两种动力来源的功率值由车辆内的控制器进行控制。为实现对燃料电池及超级电容的混合能量管理，本发明首先在离线状态下对基于Q-learning的控制器进行训练，同时融合规则改变燃料电池的最大功率输出，以减小电流突变对燃料电池的影响，然后将离线训练好的控制器用于不同工况下的实时能源管理。下面详细描述本方法的具体实现步骤：
S1：采集不同工况下，混合动力车辆运行过程中的样本数据。采集方法为：在不同车辆工况下，获取车辆行驶所需的实时功率，记一段行程中t时刻所需的瞬时功率为Pt，行程时长记为T。
典型工况包括但不限于FTP-75工况、WVUSUB工况、HWFET工况及MANHATTAN工况等。
S2：建立基于Q-learning的能源管理系统，具体方法为S21～S23：
S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：
其中SoCt表示t时刻的SoC状态；SoCmin和SoCmax分别表示SoC的最小值和最大值，d1表示状态空间的离散度，numstates表示状态个数；
S22：根据燃料电池输出功率设计动作空间，并对动作空间进行离散化：
at＝k×d2
其中at表示燃料电池t时刻的功率输出，k表示以1为基准的动作下表索引，d2表示动作空间的离散度，max_cell_power表示燃料电池最大功率输出预设值，numactions表示动作个数；
S23：根据超级电容SoC状态设计奖励函数，奖励函数形式如下：
其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态；
S3：确定规则，用于对燃料电池最大功率输出预设值进行选择；规则的形式如下：
S4：基于S1中的样本数据，结合S2中建立的基于Q-learning的能源管理系统和S3中确定的规则，离线训练控制器对混合能源进行实时分配管理，具体步骤如S41～S46：
S41.初始化值函数Q(s,a)＝0；初始化max_cell_power＝17kW；初始化迭代次数n＝0；
S42.初始化初始状态s0＝SoCinitial，其中SoCinitial为超级电容SoC初始设定值；初始化时间t＝1；n＝n+1；
S43.根据贪心算法按照概率ε随机选出动作at，若不在概率ε内则使执行动作at，观察状态下一时刻的状态SoCt+1和奖励rt+1，并根据该状态执行规则：如果SoCt+1＜0.6，则执行规则max_cell_power＝24kW；否则执行规则max_cell_power＝17kW；
S44.利用贝尔曼公式对值函数Q(s,a)进行更新，形式如下：
其中η是学习速度；γ是折现参数；Q(st,at)为t时刻的值函数；T为S1中采集的样本数据的行程时长；
S45.如果超级电容SoCt+1超出设定范围，即rt+1＝-1000，则重复步骤S42到步骤S44；如果超级电容SoCt+1未超出设定范围，则执行t＝t+1，并重复步骤S43到步骤S44，直到t＝T；
S46.重复步骤S42到步骤S45，直到n＝N，N为预设的最大迭代次数，完成值函数Q(s,a)的更新和控制器的训练。
S5：利用离线训练好的控制器在不同工况下对混合能源进行实时分配管理。
下面基于上述方法，结合具体实施例对其技术效果进行进一步展示，部分参数的定义如前所述，不再赘述。
实施例
以FTP-75工况(又称UDDS)、WVUSUB工况、HWFET工况及MANHATTAN工况4种典型循环工况为例，建立车辆运行实时能源管理模型。
步骤(1).从Advisor软件中导出车辆在上述HWFET工况下实时功率需求Pt，行程时长记为T。
步骤(2).建立基于Q-learning的能源管理系统，具体方法是：
a.设计状态空间。选择超级电容的SoC作为系统状态，对连续的SoC离散化：
其中SoCmin＝0.45，SoCmax＝0.95，numstates＝61。
b.设计动作空间。选择燃料电池的输出功率作为系统动作，对输出功率离散化：
at＝k×d2
其中numactions＝31；max_cell_power＝17kW or 24kW，具体值由规则决定；t时刻超级电容的功率输出可以通过Pt-at得到。
c.设计奖励函数。根据瞬时的SoC状态设计奖励函数形式如下：
其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态。
步骤(3).设计规则，具体方法是：
根据超级电容SoC的状态选择最大燃料电池输出功率预设值，规则的形式如下：
步骤(4).利用基于步骤(2)的基于Q-learning能源管理系统和步骤(3)的规则对步骤(1)获取的功率进行能源分配，具体方法是：
Ⅰ.初始化max_cell_power＝17kW；初始化迭代次数n＝0；初始化值函数Q(s,a)＝0，其中s表示状态，a表示动作，st、at分别表示t时刻的状态、动作。
Ⅱ.初始化初始状态s0＝0.8；初始化时间t＝1；n＝n+1。
Ⅲ.根据贪心算法按照概率ε＝0.1随机选出动作at，若不在概率ε内无法选出动作，则使然后执行动作at，观察状态SoCt+1和奖励rt+1。如果SoCt+1＜0.6，则执行规则：max_cell_power＝24kW。否则执行规则：max_cell_power＝17kW。
IV.利用贝尔曼公式对值函数Q(s,a)进行更新，形式如下：
其中η＝0.0001，γ＝0.99
V.如果超级电容SoCt+1超出设定范围，即rt+1＝-1000，则重复步骤II到步骤IV；如果超级电容SoCt+1未超出设定范围，则执行t＝t+1，并重复步骤III到步骤IV，直到t＝T。
VI.重复步骤II到步骤V直到n＝2000，此时完成值函数Q(s,a)的更新和控制器的训练。
步骤(5).利用步骤(4)离线训练好的控制器在上述4种典型工况下进行实时测试。
结果显示本发明公开的方法在上述测试中能控制超级电容SoC维持在给定范围内，同时满足车辆运行的实时功率需求。在上述测试工况下的氢气消耗为0.5340(g)，相比传统的基于模糊规则的能源管理策略减少了9.03％耗氢量。另外，本发明还验证了融合规则的Q-learning能源管理策略对燃料电池功率和电流波动的显著改善。通过分别计算在上述测试工况下燃料电池的功率和电流变化率的均方根，证明了基于融合规则的Q-leaning能源管理策略相比基于传统的Q-learning能源管理策略在功率和电流上分别减少了51.71％和51.54％波动。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于，步骤如下：
S1：采集不同工况下，混合动力车辆运行过程中的样本数据；
S2：建立基于Q-learning的能源管理系统，具体方法为S21～S23：
S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：
其中SoCt表示t时刻的SoC状态；SoCmin和SoCmax分别表示SoC的最小值和最大值，d1表示状态空间的离散度，numstates表示状态个数；
S22：根据燃料电池输出功率设计动作空间，并对动作空间进行离散化：
at＝k×d2
其中at表示燃料电池t时刻的功率输出，k表示以1为基准的动作下表索引，d2表示动作空间的离散度，max_cell_power表示燃料电池最大功率输出预设值，numactions表示动作个数；
S23：根据超级电容SoC状态设计奖励函数，奖励函数形式如下：
其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态；
S3：确定规则，用于对燃料电池最大功率输出预设值Phigh或Plow进行选择；规则的形式如下：
S4：基于S1中的样本数据，结合S2中建立的基于Q-learning的能源管理系统和S3中确定的规则，离线训练控制器对混合能源进行实时分配管理，具体步骤如S41～S46：
S41.初始化值函数Q(s,a)＝0；初始化max_cell_power＝Plow；初始化迭代次数n＝0；
S42.初始化初始状态s0＝SoCinitial，其中SoCinitial为超级电容SoC初始设定值；初始化时间t＝1；n＝n+1；
S43.根据贪心算法按照概率ε随机选出动作at，若不在概率ε内则使执行动作at，观察状态SoCt+1和奖励rt+1；如果SoCt+1＜0.6，则执行规则max_cell_power＝Phigh；否则执行规则max_cell_power＝Plow；
S44.利用贝尔曼公式对值函数Q(s,a)进行更新，形式如下：
其中η是学习速度；γ是折现参数；Q(st,at)为t时刻的值函数；T为S1中采集的样本数据的行程时长；
S45.如果超级电容SoCt+1超出设定范围，即rt+1＝-1000，则重复步骤S42到步骤S44；如果超级电容SoCt+1未超出设定范围，则执行t＝t+1，并重复步骤S43到步骤S44，直到t＝T；
S46.重复步骤S42到步骤S45，直到n＝N，N为预设的最大迭代次数，完成值函数Q(s,a)的更新；
S5：利用训练好的控制器在不同工况下对混合能源进行实时分配管理。
2.根据权利要求1所述的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于：所述的混合动力车辆由超级电容和燃料电池共同提供混合动力，超级电容作为辅助燃料电池的供能设备。
3.根据权利要求2所述的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于：超级电容的输出功率由混合动力车辆行驶所需总功率减去燃料电池输出功率得到。
4.根据权利要求1所述的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于：S1中的样本数据的采集方法为：在不同车辆工况下，获取车辆行驶所需的实时功率，记一段行程中t时刻所需的瞬时功率为Pt，行程时长记为T。
5.根据权利要求1所述的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于：所述的工况包括FTP-75工况、WVUSUB工况、HWFET工况及MANHATTAN工况。
CN201811468385.9A 2018-12-04 2018-12-04 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法 Active CN109657194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811468385.9A CN109657194B (zh) 2018-12-04 2018-12-04 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811468385.9A CN109657194B (zh) 2018-12-04 2018-12-04 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法

Publications (2)

Publication Number Publication Date
CN109657194A true CN109657194A (zh) 2019-04-19
CN109657194B CN109657194B (zh) 2022-12-27

Family

ID=66112642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811468385.9A Active CN109657194B (zh) 2018-12-04 2018-12-04 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法

Country Status (1)

Country Link
CN (1) CN109657194B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599007A (zh) * 2020-05-26 2020-08-28 张仲靖 一种基于无人机航拍的智慧城市cim道路贴图方法
CN112035949A (zh) * 2020-08-14 2020-12-04 浙大宁波理工学院 一种结合q增强学习的实时模糊能源管理方法
CN112287463A (zh) * 2020-11-03 2021-01-29 重庆大学 一种基于深度强化学习算法的燃料电池汽车能量管理方法
CN113673836A (zh) * 2021-07-29 2021-11-19 清华大学深圳国际研究生院 一种基于强化学习的共享公交车贴线调度方法
WO2022252559A1 (zh) * 2021-05-31 2022-12-08 深圳先进技术研究院 基于规则和双深度q网络的混合动力汽车能量管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110172867A1 (en) * 2010-02-19 2011-07-14 Ford Global Technologies, Llc Engine Power Elevation and Active Battery Charge Energy Management Strategies for Plug-In Hybrid Electric Vehicles
CN102717797A (zh) * 2012-06-14 2012-10-10 北京理工大学 一种混合动力车辆能量管理方法及能量管理系统
CN106218633A (zh) * 2016-08-02 2016-12-14 大连理工大学 基于q‑学习的四轮独立驱动电动汽车稳定性控制方法
CN107901776A (zh) * 2017-11-15 2018-04-13 吉林大学 电动汽车复合电源燃料电池混合能量系统功率分流方法
CN108312870A (zh) * 2018-02-02 2018-07-24 杭州电子科技大学 一种混合动力汽车氢耗与负载变化的能源管理方法
CN108363855A (zh) * 2018-02-02 2018-08-03 杭州电子科技大学 一种基于路况识别的燃料电池与超级电容系统优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110172867A1 (en) * 2010-02-19 2011-07-14 Ford Global Technologies, Llc Engine Power Elevation and Active Battery Charge Energy Management Strategies for Plug-In Hybrid Electric Vehicles
CN102717797A (zh) * 2012-06-14 2012-10-10 北京理工大学 一种混合动力车辆能量管理方法及能量管理系统
CN106218633A (zh) * 2016-08-02 2016-12-14 大连理工大学 基于q‑学习的四轮独立驱动电动汽车稳定性控制方法
CN107901776A (zh) * 2017-11-15 2018-04-13 吉林大学 电动汽车复合电源燃料电池混合能量系统功率分流方法
CN108312870A (zh) * 2018-02-02 2018-07-24 杭州电子科技大学 一种混合动力汽车氢耗与负载变化的能源管理方法
CN108363855A (zh) * 2018-02-02 2018-08-03 杭州电子科技大学 一种基于路况识别的燃料电池与超级电容系统优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO QIU.ETAL: "Blockchain-Based Distributed Software-Defined Vehicular Networks via Deep Q-Learning", 《PROCEEDINGS OF THE 8TH ACM SYMPOSIUM ON DESIGN AND ANALYSIS OF INTELLIGENT VEHICULAR NETWORKS AND APPLICATIONS》 *
牛礼民等: "并联式混合动力汽车能量管理策略新分类与概述", 《机电工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599007A (zh) * 2020-05-26 2020-08-28 张仲靖 一种基于无人机航拍的智慧城市cim道路贴图方法
CN112035949A (zh) * 2020-08-14 2020-12-04 浙大宁波理工学院 一种结合q增强学习的实时模糊能源管理方法
CN112035949B (zh) * 2020-08-14 2024-02-02 浙大宁波理工学院 一种结合q增强学习的实时模糊能源管理方法
CN112287463A (zh) * 2020-11-03 2021-01-29 重庆大学 一种基于深度强化学习算法的燃料电池汽车能量管理方法
WO2022252559A1 (zh) * 2021-05-31 2022-12-08 深圳先进技术研究院 基于规则和双深度q网络的混合动力汽车能量管理方法
CN113673836A (zh) * 2021-07-29 2021-11-19 清华大学深圳国际研究生院 一种基于强化学习的共享公交车贴线调度方法
CN113673836B (zh) * 2021-07-29 2023-08-18 清华大学深圳国际研究生院 一种基于强化学习的共享公交车贴线调度方法

Also Published As

Publication number Publication date
CN109657194B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN109657194A (zh) 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法
CN104836498B (zh) 一种基于人工神经网络的自整定pid发电机控制系统
CN106004865B (zh) 基于工况识别的里程自适应混合动力汽车能量管理方法
Veerachary et al. Neural-network-based maximum-power-point tracking of coupled-inductor interleaved-boost-converter-supplied PV system using fuzzy controller
CN105179164B (zh) 基于t-s模糊模型的风能转换系统滑模控制方法及装置
CN114004168B (zh) 一种基于数字孪生的燃料电池综合管理系统及方法
CN110535146A (zh) 基于深度确定策略梯度强化学习的电力系统无功优化方法
CN111144728B (zh) 基于深度强化学习的热电联产系统经济调度方法
TW200925015A (en) Mixed type vehicle power system and method of forming multidimentional data of fuel consumption
CN104753057A (zh) 直流微电网中光伏发电单元运行模式无缝切换方法
CN102916205A (zh) 一种燃料电池能量可控输出装置及控制方法
CN113541192A (zh) 基于深度强化学习的海上风电场无功-电压协调控制方法
Lü et al. Energy economy optimization and comprehensive performance improvement for PEMFC/LIB hybrid system based on hierarchical optimization
CN115986834A (zh) 基于近端策略优化算法的光储充电站运行优化方法及系统
Xiong et al. Deep reinforcement learning based parameter self-tuning control strategy for VSG
CN110535396A (zh) 基于bp神经网络的表面式永磁同步电机模型预测控制方法
CN106647284B (zh) 基于模糊pi控制的大功率光伏阵列模拟器控制方法
CN116542137A (zh) 一种分布式资源协同调度的多智能体强化学习方法
Mohammedi et al. Fuzzy logic and passivity based control applied to hybrid DC power source using fuel cell and battery
CN109830995A (zh) 一种能源路由器及基于该能源路由器的孤岛控制策略
CN104852382A (zh) 一种直流侧电压自适应调节的apf电流预测控制算法
CN108319149B (zh) 一种具有自学习控制模式的电磁开关智慧控制系统
Liu et al. Development of Cooperative Controller for Dual‐Motor Independent Drive Electric Tractor
CN114844068A (zh) 一种分布式风电制氢混合储能系统功率分配策略
CN206865225U (zh) 一种用于油田的供电系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant