CN115257697B - 一种混动车辆能量管理及协同控制方法、系统及应用 - Google Patents

一种混动车辆能量管理及协同控制方法、系统及应用 Download PDF

Info

Publication number
CN115257697B
CN115257697B CN202211146552.4A CN202211146552A CN115257697B CN 115257697 B CN115257697 B CN 115257697B CN 202211146552 A CN202211146552 A CN 202211146552A CN 115257697 B CN115257697 B CN 115257697B
Authority
CN
China
Prior art keywords
energy management
control
hybrid vehicle
mode
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211146552.4A
Other languages
English (en)
Other versions
CN115257697A (zh
Inventor
郭凌雄
项昌乐
刘辉
韩立金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202211146552.4A priority Critical patent/CN115257697B/zh
Publication of CN115257697A publication Critical patent/CN115257697A/zh
Application granted granted Critical
Publication of CN115257697B publication Critical patent/CN115257697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W20/00—Control systems specially adapted for hybrid vehicles
    • B60W20/10—Controlling the power contribution of each of the prime movers to meet required power demand
    • B60W20/11—Controlling the power contribution of each of the prime movers to meet required power demand using model predictive control [MPC] strategies, i.e. control methods based on models predicting performance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/08—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of electric propulsion units, e.g. motors or generators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/24—Conjoint control of vehicle sub-units of different type or different function including control of energy storage means
    • B60W10/26—Conjoint control of vehicle sub-units of different type or different function including control of energy storage means for electrical energy, e.g. batteries or capacitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/24—Energy storage means
    • B60W2510/242—Energy storage means for electrical energy
    • B60W2510/244—Charge state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/62—Hybrid vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Hybrid Electric Vehicles (AREA)

Abstract

本发明属于混动车辆能量管理技术领域，公开了一种混动车辆能量管理及协同控制方法、系统及应用。多模混动车辆能量管理及协同控制方法包括：利用最优控制参考规划器，进行多模混动车辆能量管理中模式切换的实时规划；将由插值所获取的最优控制量相邻网格值作为对应优化的上下限约束，并将此最优控制量作为SQP算法的初始解，实时进行最优能量管理；对获取的最优能量管理控制指令进行修正，使多模混动车辆的传动系统内部各组件响应特性与修正后的最优能量管理控制指令同步。本发明通过最优控制参考规划器，而不直接作为能量管理策略的基础算法，在为后续提供控制参考提高算法效率的同时又成功规避了上述问题带来的影响。

Description

一种混动车辆能量管理及协同控制方法、系统及应用
技术领域
本发明属于混动车辆能量管理技术领域，尤其涉及一种多模混动车辆、能量管理及协同控制方法、多模混动车辆能量管理及多动力协同系统、接收用户输入程序存储介质、计算机设备、多模混动车辆。
背景技术
对于多模混动车辆，为保证其动力性及燃油经济性要求，根据不同的运行工况，通常需要涉及模式切换，以及不同模式下的自适应能量管理与协同控制问题。传统相关技术存在以下不足：
1）模式切换方面。现有的模式切换策略常常是基于确定性规则、模糊规则或在线优化的，基于规则的算法对于特定的传动系统及行驶工况能够实现较好的表现，但其泛化及自适应能力存在显著缺陷；模糊规则虽然能够在一定程度上提高确定性规则在泛化能力上的不足，然而其最优性仍然更多的依赖于人为经验，相比于优化算法最优性有所欠缺；最优性算法能够实现全局或局部的最优，然而其常用的方法，诸如动态规划、庞特里亚金极小值原理等方法，求解速率较慢，成为了制约其实时应用的瓶颈。
2）能量管理方面。当前，众多优化算法被研究者作为求解器用来设计基于模型预测控制的能量管理策略。MPC的滚动优化机制在极大程度的提高了能量管理策略的稳定性及最优性，然而面对滚动优化带来的计算量问题，算法的实时性仍然是亟待解决的关键难题；
3）协同控制方面。当前的能量管理方法和系统在设计过程中，通常忽略了发动系统内部各组件的动态响应特性，这导致机电复合传动下层动力部件无法快速跟随上层能量管理策略优化控制指令，从而影响上层优化能量管理策略控制效果的问题。
通过上述分析，现有技术存在的问题及缺陷为：
（1）在现有多模混动车辆能量管理技术中，求解实时性与最优性的权衡问题难以得到有效解决，使得基于自适应模式切换的能量管理效果较差。
（2）现有技术没有充分考虑传动系统内部各组件响应特性，对来自整车级的能量管理控制没有进行底层修正，使得下层动力部件无法快速跟随上层能量管理策略优化控制指令而导致的控制效果下降。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了一种多模混动车辆、能量管理及协同控制方法、系统、接收用户输入程序存储介质及计算机设备。
所述技术方案如下：一种多模混动车辆能量管理及协同控制方法包括：
利用Q学习算法作为最优控制参考规划器，进行多模混动车辆能量管理中模式切换的实时规划；
基于获取的实时规划，利用SQP算法将由插值所获取的最优控制量相邻网格值作为对应SQP算法优化的上下限约束，并将此最优控制量作为SQP算法的初始解，使多模混动车辆能量管理中进行自适应模式切换的同时，实时进行最优能量管理；并发出优能量管理控制指令；
充分考虑混动车辆传动系统内部各组件动态响应特性，对获取的最优能量管理控制指令进行修正，使多模混动车辆的传动系统内部各组件响应特性与修正后的最优能量管理控制指令同步。
在一个实施例中，所述利用Q学习算法作为最优控制参考规划器前，还需进行多尺度概率转移矩阵获取：基于多步概率转移矩阵进行多尺度速度预测，多步概率转移矩阵由
Figure 308757DEST_PATH_IMAGE001
个状态转移矩阵组成，
Figure 910640DEST_PATH_IMAGE001
为速度预测模块预测域的长度；n时刻各转移概率的计算公式如下：
Figure 698467DEST_PATH_IMAGE002
；
若n时刻系统状态为i时，则t时刻后，系统状态转移到j的概率为
Figure 944772DEST_PATH_IMAGE003
；基于n时刻各转移概率的计算公式获取的多步概率转移矩阵，利用
Figure 877962DEST_PATH_IMAGE004
实现对于未来的速度预测；
其中，
Figure 904823DEST_PATH_IMAGE005
为系统当前速度，
Figure 293079DEST_PATH_IMAGE006
即为对应t时刻的预测速。
在一个实施例中，所述进行多模混动车辆能量管理中模式切换的实时规划包括：离线学习与在线应用；
所述离线学习包括：建立多模混合动力车辆能量管理模型，根据多模混合动力车辆能量管理模型将电池SOC选取为Q学习算法状态变量
Figure 659470DEST_PATH_IMAGE007
，取值范围内进行离散化处理，则
Figure 45452DEST_PATH_IMAGE008
，其中
Figure 621927DEST_PATH_IMAGE009
等于SOC下限值，
Figure 938507DEST_PATH_IMAGE010
等于发动机功率上限值；
所述在线应用包括：在车辆实际行驶过程中将获取的未来预测速度与需求功率序列、系统初始状态变量
Figure 18459DEST_PATH_IMAGE011
作为训练所获取的控制率map的输入，通过查表得方式获取最优及次优控制参考序列。
在一个实施例中，在离线学习中，选取发动机输出功率
Figure 247446DEST_PATH_IMAGE012
、动力电池电流
Figure 311217DEST_PATH_IMAGE013
、运行模式
Figure 165909DEST_PATH_IMAGE014
选取为Q学习算法动作变量，即
Figure 100367DEST_PATH_IMAGE015
，并确定动作变量上下限，进行离散化处理，将发动机功率P在其上下限范围内利用线性插值将其离散为多个点，则
Figure 93731DEST_PATH_IMAGE016
，其中
Figure 254585DEST_PATH_IMAGE017
等于发动机功率下限值，
Figure 788335DEST_PATH_IMAGE018
等于发动机功率上限值；
Figure 46141DEST_PATH_IMAGE019
，而
Figure 131777DEST_PATH_IMAGE020
，对应该车辆的3种传动模式；对所选状态参数进行归一化处理；
调整发动机与电池的能量分配关系使车辆动力性的同时提高车辆燃油经济性并保持电池SOC稳定，将Q学习算法中反馈奖励设置为
Figure 904561DEST_PATH_IMAGE021
，其中，
Figure 851789DEST_PATH_IMAGE022
为车辆的瞬时燃油消耗率，其值的大小与发动机转矩转速存在映射关系，
Figure 229680DEST_PATH_IMAGE023
为参考SOC；
然后将训练工况，以及所选取的状态变量、动作变量、反馈奖励输入嵌入混动车辆能量管理模型的Q学习算法，迭代训练直至算法收敛；最终输出最优控制率，并以多维图表的形式呈现，当给定车辆需求功率、行驶速度、SOC则通过插值查表的形式获取车辆在该状态下对应的最优控制量。
在一个实施例中，所述使多模混动车辆能量管理中进行自适应模式切换的同时，实时进行最优能量管理包括：
将车辆行驶状态输入获取的控制率中，通过插值查表的方式获取该状态下对应的最优控制量
Figure 96005DEST_PATH_IMAGE024
、
Figure 746298DEST_PATH_IMAGE025
和最优运行模式
Figure 559533DEST_PATH_IMAGE026
，同时，将离散化网格中与最优控制量相邻的控制量定义为次优控制量，分别表示为
Figure 588669DEST_PATH_IMAGE027
和
Figure 766841DEST_PATH_IMAGE028
，其中
Figure 514217DEST_PATH_IMAGE027
将作为后续SQP算法求解MPC问题时待优化量的上限，
Figure 131143DEST_PATH_IMAGE028
作为待优化量的下限；对于
Figure 404998DEST_PATH_IMAGE025
同理得到次优控制量
Figure 878705DEST_PATH_IMAGE029
和
Figure 51060DEST_PATH_IMAGE030
；不同运行模式对应不同的传动系统参数，确定最优运行模式
Figure 143781DEST_PATH_IMAGE031
后，构造基于模型预测控制的能量管理表达式：
Figure 147510DEST_PATH_IMAGE032
调用SQP算法对基于模型预测控制的能量管理表达式进行求解，将获取的最优控制量
Figure 729801DEST_PATH_IMAGE024
和
Figure 576403DEST_PATH_IMAGE025
设置为求解时的初始值，将次优控制量
Figure 535131DEST_PATH_IMAGE027
、
Figure 393366DEST_PATH_IMAGE029
、
Figure 349821DEST_PATH_IMAGE028
和
Figure 293506DEST_PATH_IMAGE030
作为所求控制量的边界条件，最优控制量
Figure 790346DEST_PATH_IMAGE024
和
Figure 893300DEST_PATH_IMAGE025
为上限约束，次优控制量
Figure 286236DEST_PATH_IMAGE027
、
Figure 451638DEST_PATH_IMAGE029
、
Figure 470278DEST_PATH_IMAGE028
和
Figure 912892DEST_PATH_IMAGE030
为下限约束，进行求解。
在一个实施例中，所述对获取的最优能量管理控制指令进行修正包括：
利用二阶惯量模型表征发动机响应特性，用一阶惯量模型表征电机响应特性，利用PID控制器作为多动力协同模块的控制器，将求解的发动机转矩命令与实际发动机转矩进行差值比较，将差值作为多动力协同控制模块输入，输出修正后的发动机转矩命令；再将此命令作为车辆的控制输入，对车辆状态进行更新，更新的状态反馈至控制器中，作为初始状态值进行下一时刻的迭代优化，如此循环反复实现实时的最优能量管理。
本发明的另一目的在于提供一种多模混动车辆能量管理及多动力协同系统，实施所述的多模混动车辆能量管理及协同控制方法，所述多模混动车辆能量管理及多动力协同系统包括：
基于强化学的模式切换规划模块，用于利用强化学习方法，结合混动车辆动力性及燃油经济性，实时模式切换及最优控制参考规划；
基于快速SQP求解的模型预测控制模块，用于结合基于强化学的模式切换规划模块提供的模式切换规则及最优控制参考，实时稳定的能量管理；
多动力转矩协同模块，用于结合传动系统内部各组件实际响应特性，对基于快速SQP求解的模型预测控制模块获取的控制命令进行修正，使多模混动车辆的传动系统内部各组件响应特性与修正后的最优能量管理控制指令同步。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述的多模混动车辆能量管理及协同控制方法。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的多模混动车辆能量管理及协同控制方法。
本发明的另一目的在于提供一种多模混动车辆，所述多模混动车辆执行所述的多模混动车辆能量管理及协同控制方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
1）Q学习算法的维数灾问题是其一大痛点，即由于Q学习算法所获取控制率的最优性受其网格划分的精细程度的影响，网格划分过于稀疏的情况下虽然算法训练速度快，然而其最优性将受到显著影响；网格划分较密虽然可以有效提高算法最优性，但算法训练的计算量以及控制map所占设备内存将会呈指数倍增加，影响其进行实车应用。因此本发明通过将其作为最优控制参考规划器，而不直接作为能量管理策略的基础算法，在为后续提供控制参考提高算法效率的同时又成功规避了上述问题带来的影响。
2）SQP算法作为基于MPC的能量管理策略的求解算法，常常由于其求解效率低而难以实现实时的能量管理，并且SQP算法的初值如何设定对算法求解速率以及优化结果影响很大。因此本发明通过将Q学习与SQP算法结合，将由插值所获取的最优控制量相邻网格值作为对应步SQP算法优化的上下限约束，并将此最优控制量作为SQP算法的初始解x0，代替原有算法依赖于随机初值所可能带来的无解、局部最优、求解速率慢、实时性难以满足等问题，从而使得算法在最优性及实时性上得到巨大改进，并且使其实现自适应模式切换的同时，完成实时最优的能量管理。
3）本发明通过引入多动力转矩协同模块，充分结合传动系统内部各组件响应特性，对来自整车级的能量管理控制进行了底层修正，有效解决了由于下层动力部件无法快速跟随上层能量管理策略优化控制指令而导致的控制效果下降问题，显著改善了发动机响应延迟对能量管理策略优化效果的影响。
第二，把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
本发明提出一种面向多模混动车辆的能量管理及多动力协同方法与系统，包含自适应在线模式规划模块、实时能量管理模块以及多组分协同控制模块，旨在实现多模混动车辆最优能量管理与协同控制。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本发明实施例提供的多模混动车辆能量管理及多动力协同系统示意图；
图2是本发明实施例提供的多模混动车辆能量管理及多动力协同方法流程图；
图3(a)是本发明实施例提供的利用多步概率转移矩阵5s后状态对应的转移概率；
图3(b)是本发明实施例提供的利用多步概率转移矩阵10s后状态对应的转移概率；
图3(c)是本发明实施例提供的利用多步概率转移矩阵15s后状态对应的转移概率；
图3(d)是本发明实施例提供的利用多步概率转移矩阵20s后状态对应的转移概率；
图4是本发明实施例提供的多模混动车辆能量管理及多动力协同方法原理图；
图中：1、基于强化学的模式切换规划模块；2、基于快速SQP求解的模型预测控制模块；3、多动力转矩协同模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
实施例1
本发明实施例提供一种多模混动车辆能量管理及多动力协同系统包括：
基于强化学的模式切换规划模块1。利用强化学习方法，充分结合混动车辆动力性及燃油经济性，实现实时模式切换及最优控制参考规划；
基于快速SQP求解的模型预测控制模块2。结合基于强化学的模式切换规划模块1提供的模式切换规则及最优控制参考，实现实时稳定的能量管理；
多动力转矩协同模块（底层多动力转矩协同模块）3。结合传动系统内部各组件实际响应特性，对能量管理策略获取的控制命令进行修正，解决多动力高效协同问题。
实施例2
利用实施例1提供的多模混动车辆能量管理及多动力协同系统，如图2所示，本发明该实施例提供一种多模混动车辆能量管理及多动力协同方法包括以下步骤：
S101，多尺度概率转移矩阵获取：基于Markov多步概率转移矩阵进行多尺度速度预测，多步概率转移矩阵由
Figure 273466DEST_PATH_IMAGE001
个状态转移矩阵组成，
Figure 457323DEST_PATH_IMAGE001
即为速度预测模块预测域的长度。而n时刻各转移概率的计算公式如下，
Figure 295966DEST_PATH_IMAGE002
（1）
其代表若n时刻系统状态为i时，则t时刻后，系统状态转移到j的概率为
Figure 107933DEST_PATH_IMAGE003
。基于公式（1）获取的多步概率转移矩阵，利用公式（2）即可实现对于未来的速度预测，
Figure 701725DEST_PATH_IMAGE004
（2）
其中，
Figure 44982DEST_PATH_IMAGE005
为系统当前速度，
Figure 624999DEST_PATH_IMAGE006
即为对应t时刻的预测速度。在本发明实施例中，将多种标准工况组合构造成一个总长度为Ntotal混合工况，从混合工况中根据预测步长Np（Np=1,2,…,20s）提取训练样本，所得训练样本为
Figure 432418DEST_PATH_IMAGE033
，其中n=1,2,…,Ntotal，一组训练样本用以训练一个概率转移矩阵，根据公式（1）计算预测步长为Np时对应的概率转移矩阵，最终能够获得20个概率转移矩阵，部分结果如图3(a)为5s后状态对应的转移概率，图3(b)为10s后状态对应的转移概率，图3(c)为15s后状态对应的转移概率，图3(d)为20s后状态对应的转移概率所示。
基于本发明实施例提供的多尺度概率转移矩阵获取，取得的效果为：构造混合工况并提取训练样本，利用工况（如速度）的马尔可夫特性通过公式（1）计算工况所对应的多尺度概率转移矩阵，而后以车辆速度为模块输入，通过公式（2）即可获得所预测的未来速度序列。即以训练工况作为输入，概率转移矩阵作为输出。该转移矩阵有两个用途，一是作为速度预测器用来预测未来速度序列，二是用于后续Q学习算法的训练。
S102，利用Q学习算法，实现模式切换的实时规划，即基于Q学习的基于强化学的模式切换规划模块1构建。主要分为两个阶段，即离线学习与在线应用。
离线学习阶段：建立多模混合动力车辆能量管理模型，根据模型特性将电池SOC选取为Q学习算法状态变量
Figure 134795DEST_PATH_IMAGE007
，根据电池特性设定SOC初值以及变化上下限，并利用线性插值对其在上下限取值范围内进行离散化处理，则
Figure 886719DEST_PATH_IMAGE008
，其中
Figure 129482DEST_PATH_IMAGE009
等于SOC下限值，
Figure 666773DEST_PATH_IMAGE010
等于发动机功率上限值。
选取发动机输出功率
Figure 540051DEST_PATH_IMAGE012
、动力电池电流
Figure 920217DEST_PATH_IMAGE013
、运行模式
Figure 825725DEST_PATH_IMAGE014
选取为Q学习算法动作变量，即
Figure 545419DEST_PATH_IMAGE015
，并确定动作变量上下限，进行离散化处理，将发动机功率P在其上下限范围内利用线性插值将其离散为20个点，则
Figure 651916DEST_PATH_IMAGE016
，其中
Figure 129165DEST_PATH_IMAGE017
等于发动机功率下限值，
Figure 713730DEST_PATH_IMAGE018
于发动机功率上限值；同理，
Figure 287930DEST_PATH_IMAGE019
，而
Figure 424383DEST_PATH_IMAGE020
，对应该车辆的3种传动模式；对所选状态参数进行归一化处理；
调整发动机与电池的能量分配关系使车辆动力性的同时提高车辆燃油经济性并保持电池SOC稳定，将Q学习算法中反馈奖励设置为
Figure 513561DEST_PATH_IMAGE021
，其中，
Figure 105080DEST_PATH_IMAGE022
为车辆的瞬时燃油消耗率，其值的大小与发动机转矩转速存在映射关系，
Figure 205891DEST_PATH_IMAGE023
为参考SOC；然后将训练工况，以及所选取的状态变量、动作变量、反馈奖励输入嵌入混动车辆能量管理模型的Q学习算法，迭代训练直至算法收敛；最终输出最优控制率，并以多维图表的形式呈现，当给定车辆需求功率、行驶速度、SOC则通过插值查表的形式获取车辆在该状态下对应的最优控制量。
在线应用阶段：在车辆实际行驶过程中将步骤S101所获取的未来预测速度与需求功率序列、系统初始状态变量
Figure 654190DEST_PATH_IMAGE011
作为训练所获取的最优控制率map的输入，通过查表的方式获取最优及次优控制参考序列，为后续模型预测控制中SQP算法提供初始解及其约束。
S103，构建模型预测控制器，设计快速SQP求解算法，实现实时能量管理；即构建基于快速SQP求解的模型预测控制模块2（SQP-MPC）。
将车辆行驶状态输入步骤2所获取的控制率中，通过插值查表的方式获取该状态下对应的最优控制量
Figure 433927DEST_PATH_IMAGE024
、
Figure 496647DEST_PATH_IMAGE025
和最优运行模式
Figure 842178DEST_PATH_IMAGE026
，同时，将离散化网格中与最优控制量相邻的控制量定义为次优控制量，分别表示为
Figure 664640DEST_PATH_IMAGE027
和
Figure 338198DEST_PATH_IMAGE028
，其中前者将作为后续SQP算法求解MPC问题时待优化量的上限，而后者作为待优化量的下限；对于
Figure 68257DEST_PATH_IMAGE025
同理可得次优控制量
Figure 471556DEST_PATH_IMAGE029
和
Figure 386292DEST_PATH_IMAGE030
。此外，不同运行模式对应不同的传动系统参数，确定最优运行模式
Figure 671779DEST_PATH_IMAGE031
后，构造基于模型预测控制的能量管理问题，其本质是一个优化问题，表达如下：
Figure 408791DEST_PATH_IMAGE032
调用SQP算法对其进行求解，在每个仿真瞬时算法求解一次，由于SQP算法求解过程中待优化控制量的猜测值及其上下限对算法的最优性、求解速率具有很大的影响，因此本方案针对此问题设计一种改进的快速SQP求解方法，即将上述步骤中获取的最优控制量
Figure 338701DEST_PATH_IMAGE024
和
Figure 299704DEST_PATH_IMAGE025
设置为SQP算法求解时的初始值，将次优控制量
Figure 275750DEST_PATH_IMAGE027
、
Figure 472245DEST_PATH_IMAGE029
、
Figure 646875DEST_PATH_IMAGE028
和
Figure 654145DEST_PATH_IMAGE030
作为算法所求控制量的边界条件，前两者为上限约束，后两者为下限约束，从而实现快速准确的求解。
S104，设计多动力转矩协同控制策略，实现多动力高效协同控制，即构建多动力转矩协同模块3对最优控制指令进行底层修正。
由于实际车辆传动系统在运行过程中发动机及电机等各动力部件皆存在响应延迟的作用，而处于整车优化控制层面的能量管理策略忽略了这一实际车辆特性，导致能量管理策略在实际应用时常常出现各部件无法按既定策略实施底层控制。
实施例3
基于实施例2提供的多模混动车辆能量管理及多动力协同方法中记载的步骤S103，本发明实施例以车辆当前状态作为控制map的输入，输出最优控制参考值，和该值在网格对应点位相邻点位的参考值，即次优参考值；再将车辆状态、最优和次优参考作为模型预测控制器的输入，通过快速SQP算法求解最优控制指令。
实施例4
基于实施例2提供的多模混动车辆能量管理及多动力协同方法中记载的步骤S104，本发明实施例设计了底层多动力转矩协同模块3，结合各组件响应特性，用二阶惯量模型来表征发动机响应特性，用一阶惯量模型表征电机响应特性，设计PID控制器作为多动力协同模块主要控制器，而后将模型预测控制策略求解的发动机转矩命令与实际发动机转矩做差，将二者的差值作为多动力协同控制模块输入，输出修正后的发动机转矩命令。最终，将此命令作为车辆的控制输入，从而对车辆状态进行更新，更新的状态反馈至控制map中，作为初始状态值进行下一时刻的迭代优化，如此循环反复实现实时的最优能量管理。
实施例5
利用实施例1提供的多模混动车辆能量管理及多动力协同系统，如图4所示，本发明该实施例提供一种多模混动车辆能量管理及多动力协同原理。
实施例6
本发明实施例提供一种多模混动车辆，所述多模混动车辆执行上述实施例所述的多模混动车辆能量管理及协同控制方法。
应用实施例：
上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
应用例1
本发明实施例还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
应用例2
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
应用例3
本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
应用例4
本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
应用例5
本发明实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random AccessMemory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种多模混动车辆能量管理及协同控制方法，其特征在于，所述多模混动车辆能量管理及协同控制方法包括：
利用Q学习算法作为控制参考规划器，进行多模混动车辆能量管理中模式切换的实时规划；
基于获取的实时规划，利用SQP算法将由插值所获取的控制量相邻网格值作为对应SQP算法优化的上下限约束，并将此控制量作为SQP算法的初始解，使多模混动车辆能量管理中进行自适应模式切换的同时，实时进行能量管理；并发出优能量管理控制指令；
结合混动车辆传动系统内部各组件动态响应特性，对获取的能量管理控制指令进行修正，使多模混动车辆的传动系统内部各组件响应特性与修正后的能量管理控制指令同步；
所述进行多模混动车辆能量管理中模式切换的实时规划包括：离线学习与在线应用；
所述离线学习包括：建立多模混合动力车辆能量管理模型，根据多模混合动力车辆能量管理模型将电池SOC选取为Q学习算法状态变量
Figure 110786DEST_PATH_IMAGE001
，根据电池特性设定SOC初值以及变化上下限，并利用线性插值对其在上下限取值范围内进行离散化处理，则
Figure 479451DEST_PATH_IMAGE002
，其中
Figure 779982DEST_PATH_IMAGE003
等于SOC下限值，
Figure 550492DEST_PATH_IMAGE004
等于发动机功率上限值；
所述在线应用包括：在车辆实际行驶过程中将获取的未来预测速度与需求功率序列、系统初始状态变量
Figure 645487DEST_PATH_IMAGE005
作为训练所获取的控制率map的输入，通过查表得方式获取控制参考序列；
所述对获取的能量管理控制指令进行修正包括：
利用二阶惯量模型表征发动机响应特性，用一阶惯量模型表征电机响应特性，利用PID控制器作为多动力协同模块的控制器，将求解的发动机转矩命令与实际发动机转矩进行差值比较，将差值作为多动力协同控制模块输入，输出修正后的发动机转矩命令；再将此命令作为车辆的控制输入，对车辆状态进行更新，更新的状态反馈至控制器中，作为初始状态值进行下一时刻的迭代优化，如此循环反复实现实时的能量管理。
2.根据权利要求1所述的多模混动车辆能量管理及协同控制方法，其特征在于，所述利用Q学习算法作为控制参考规划器前，还需进行多尺度概率转移矩阵获取：基于多步概率转移矩阵进行多尺度速度预测，多步概率转移矩阵由tp个状态转移矩阵组成，tp为速度预测模块预测域的长度；n时刻各转移概率的计算公式如下：
Figure 767027DEST_PATH_IMAGE006
；
若n时刻系统状态为i时，则t时刻后，系统状态转移到j的概率为
Figure 605670DEST_PATH_IMAGE007
；基于n时刻各转移概率的计算公式获取的多步概率转移矩阵，利用
Figure 230686DEST_PATH_IMAGE008
实现对于未来的速度预测；
其中，
Figure 995118DEST_PATH_IMAGE009
为系统当前速度，
Figure 338374DEST_PATH_IMAGE010
即为对应t时刻的预测速度。
3.根据权利要求1所述的多模混动车辆能量管理及协同控制方法，其特征在于，在离线学习中，选取发动机输出功率
Figure 246287DEST_PATH_IMAGE011
、动力电池电流Ibat、运行模式
Figure 725810DEST_PATH_IMAGE012
选取为Q学习算法动作变量，即
Figure 428187DEST_PATH_IMAGE013
，并确定动作变量上下限，进行离散化处理，将发动机功率P在其上下限范围内利用线性插值将其离散为多个点，则
Figure 993161DEST_PATH_IMAGE014
，其中
Figure 439185DEST_PATH_IMAGE015
等于发动机功率下限值，
Figure 38794DEST_PATH_IMAGE016
等于发动机功率上限值；
Figure 646493DEST_PATH_IMAGE017
，而
Figure 964342DEST_PATH_IMAGE018
，对应该车辆的3种传动模式；对所选状态参数进行归一化处理；
调整发动机与电池的能量分配关系使车辆动力性的同时提高车辆燃油经济性并保持电池SOC稳定，将Q学习算法中反馈奖励设置为
Figure 948478DEST_PATH_IMAGE019
，其中，
Figure 901128DEST_PATH_IMAGE020
为车辆的瞬时燃油消耗率，其值的大小与发动机转矩转速存在映射关系，
Figure 945308DEST_PATH_IMAGE021
为参考SOC；
然后将训练工况，以及所选取的状态变量、动作变量、反馈奖励输入嵌入混动车辆能量管理模型的Q学习算法，迭代训练直至算法收敛；最终输出控制率，并以多维图表的形式呈现，当给定车辆需求功率、行驶速度、SOC则通过插值查表的形式获取车辆在该状态下对应的控制量。
4.根据权利要求1所述的多模混动车辆能量管理及协同控制方法，其特征在于，所述使多模混动车辆能量管理中进行自适应模式切换的同时，实时进行能量管理包括：
将车辆行驶状态输入获取的控制率中，通过插值查表的方式获取该状态下对应的控制量
Figure 484874DEST_PATH_IMAGE022
、
Figure 272701DEST_PATH_IMAGE023
和运行模式
Figure 846902DEST_PATH_IMAGE024
，同时，将离散化网格中与控制量相邻的控制量定义为次优控制量，分别表示为
Figure 796403DEST_PATH_IMAGE025
和
Figure 823265DEST_PATH_IMAGE026
，其中
Figure 414783DEST_PATH_IMAGE027
将作为后续SQP算法求解MPC问题时待优化量的上限，
Figure 577912DEST_PATH_IMAGE028
作为待优化量的下限；对于
Figure 963894DEST_PATH_IMAGE029
同理得到次优控制量
Figure 478051DEST_PATH_IMAGE030
和
Figure 607682DEST_PATH_IMAGE031
；不同运行模式对应不同的传动系统参数，确定运行模式
Figure 123851DEST_PATH_IMAGE032
后，构造基于模型预测控制的能量管理表达式：
Figure 946314DEST_PATH_IMAGE033
调用SQP算法对基于模型预测控制的能量管理表达式进行求解，将获取的控制量
Figure 947768DEST_PATH_IMAGE034
和
Figure 615510DEST_PATH_IMAGE035
设置为求解时的初始值，将次优控制量
Figure 753230DEST_PATH_IMAGE036
、
Figure 481014DEST_PATH_IMAGE037
、
Figure 969765DEST_PATH_IMAGE038
和
Figure 441197DEST_PATH_IMAGE039
作为所求控制量的边界条件，控制量
Figure 433424DEST_PATH_IMAGE040
和
Figure 597689DEST_PATH_IMAGE041
为上限约束，次优控制量
Figure 308156DEST_PATH_IMAGE042
、
Figure 827954DEST_PATH_IMAGE043
、
Figure 205846DEST_PATH_IMAGE044
和
Figure 9854DEST_PATH_IMAGE045
为下限约束，进行求解。
5.一种多模混动车辆能量管理及多动力协同系统，实施权利要求1~4任意一项所述的多模混动车辆能量管理及协同控制方法，其特征在于，所述多模混动车辆能量管理及多动力协同系统包括：
基于强化学的模式切换规划模块（1），用于利用强化学习方法，结合混动车辆动力性及燃油经济性，实时模式切换及控制参考规划；
基于快速SQP求解的模型预测控制模块（2），用于结合基于强化学的模式切换规划模块（1）提供的模式切换规则及控制参考，实时稳定的能量管理；
多动力转矩协同模块（3），用于结合传动系统内部各组件实际响应特性，对基于快速SQP求解的模型预测控制模块（2）获取的控制命令进行修正，使多模混动车辆的传动系统内部各组件响应特性与修正后的能量管理控制指令同步。
6.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行如权利要求1~4任意一项所述的多模混动车辆能量管理及协同控制方法。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1~4任意一项所述的多模混动车辆能量管理及协同控制方法。
8.一种多模混动车辆，其特征在于，所述多模混动车辆执行如权利要求1~4任意一项所述的多模混动车辆能量管理及协同控制方法。
CN202211146552.4A 2022-09-20 2022-09-20 一种混动车辆能量管理及协同控制方法、系统及应用 Active CN115257697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211146552.4A CN115257697B (zh) 2022-09-20 2022-09-20 一种混动车辆能量管理及协同控制方法、系统及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211146552.4A CN115257697B (zh) 2022-09-20 2022-09-20 一种混动车辆能量管理及协同控制方法、系统及应用

Publications (2)

Publication Number Publication Date
CN115257697A CN115257697A (zh) 2022-11-01
CN115257697B true CN115257697B (zh) 2023-01-06

Family

ID=83756656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211146552.4A Active CN115257697B (zh) 2022-09-20 2022-09-20 一种混动车辆能量管理及协同控制方法、系统及应用

Country Status (1)

Country Link
CN (1) CN115257697B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116639135A (zh) * 2023-05-26 2023-08-25 中国第一汽车股份有限公司 车辆的协同控制方法、装置及车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606271A (zh) * 2013-11-27 2014-02-26 大连理工大学 一种混合动力城市公交车控制方法
CN105035079A (zh) * 2015-07-29 2015-11-11 江苏大学 一种带发动机转矩观测器的同轴并联混合动力汽车动力切换协调控制方法
CN110928189A (zh) * 2019-12-10 2020-03-27 中山大学 一种基于强化学习和李雅普诺夫函数的鲁棒控制方法
CN111516702A (zh) * 2020-04-30 2020-08-11 北京理工大学 一种混合动力车辆在线实时分层能量管理方法和系统
CN112036603A (zh) * 2020-07-28 2020-12-04 南京航空航天大学 一种基于双堆燃料电池的混合储能系统能量管理策略
CN112101684A (zh) * 2020-11-10 2020-12-18 北京理工大学 一种插电式混合动力车辆实时能量管理方法和系统
CN113788007A (zh) * 2021-11-16 2021-12-14 北京理工大学 一种分层式实时能量管理方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606271A (zh) * 2013-11-27 2014-02-26 大连理工大学 一种混合动力城市公交车控制方法
CN105035079A (zh) * 2015-07-29 2015-11-11 江苏大学 一种带发动机转矩观测器的同轴并联混合动力汽车动力切换协调控制方法
CN110928189A (zh) * 2019-12-10 2020-03-27 中山大学 一种基于强化学习和李雅普诺夫函数的鲁棒控制方法
CN111516702A (zh) * 2020-04-30 2020-08-11 北京理工大学 一种混合动力车辆在线实时分层能量管理方法和系统
CN112036603A (zh) * 2020-07-28 2020-12-04 南京航空航天大学 一种基于双堆燃料电池的混合储能系统能量管理策略
CN112101684A (zh) * 2020-11-10 2020-12-18 北京理工大学 一种插电式混合动力车辆实时能量管理方法和系统
CN113788007A (zh) * 2021-11-16 2021-12-14 北京理工大学 一种分层式实时能量管理方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《强化学习在混合动力汽车能量管理方面的应用》;郑春花等;《哈尔滨理工大学学报》;20200831;第25卷(第04期);第1-11页 *
《车辆传动系统非线性平移扭转耦合振动响应灵敏度研究》;黄毅等;《振动与冲击》;20141215;第33卷(第23期);第92-99页 *

Also Published As

Publication number Publication date
CN115257697A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
Li et al. Coordinated load frequency control of multi-area integrated energy system using multi-agent deep reinforcement learning
Yuan et al. A new methodology for optimal location and sizing of battery energy storage system in distribution networks for loss reduction
CN112862281A (zh) 综合能源系统调度模型构建方法、装置、介质及电子设备
CN107203687B (zh) 吸收塔脱硫过程多目标协同智能优化控制方法
CN110481536B (zh) 一种应用于混合动力汽车的控制方法及设备
Hu et al. A deployment-efficient energy management strategy for connected hybrid electric vehicle based on offline reinforcement learning
CN115257697B (zh) 一种混动车辆能量管理及协同控制方法、系统及应用
Zhao et al. Asynchronous reinforcement learning algorithms for solving discrete space path planning problems
CN109494721A (zh) 一种适用于含柔性多状态开关的配电网分布式自适应控制方法
Dong et al. Double ant colony algorithm based on dynamic feedback for energy-saving route planning for ships
Hu et al. A data-driven solution for energy management strategy of hybrid electric vehicles based on uncertainty-aware model-based offline reinforcement learning
CN114567560A (zh) 基于生成对抗模仿学习的边缘节点动态资源分配方法
CN114358520A (zh) 一种电力系统经济调度决策的方法、系统、装置及介质
Li et al. An optimal coordinated proton exchange membrane fuel cell heat management method based on large-scale multi-agent deep reinforcement learning
CN113852080A (zh) 一种智能电网的潮流优化方法、系统、设备及存储介质
CN116093995B (zh) 一种配电系统多目标网络重构方法及系统
JP7060130B1 (ja) 運用支援装置、運用支援方法及びプログラム
CN115360768A (zh) 基于muzero和深度强化学习的电力调度方法、装置及存储介质
Azad et al. An optimal learning-based controller derived from Hamiltonian function combined with a cellular searching strategy for automotive coldstart emissions
CN114298429A (zh) 一种配电网动案辅助决策方法、系统、装置和存储介质
JP2002300720A (ja) 発電機の起動停止計画作成装置
Mazandarani et al. The Q-Fractionalism Reasoning Learning Method
Samanta et al. Energy management in hybrid electric vehicles using optimized radial basis function neural network
JPH06102908A (ja) 需要予測装置
Hu et al. A Data-Driven Reinforcement Learning Based Energy Management Strategy via Bridging Offline Initialization and Online Fine-Tuning for a Hybrid Electric Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant