CN116968721A - 一种混合动力汽车预测式能量管理方法、系统和存储介质 - Google Patents

一种混合动力汽车预测式能量管理方法、系统和存储介质 Download PDF

Info

Publication number
CN116968721A
CN116968721A CN202311036978.9A CN202311036978A CN116968721A CN 116968721 A CN116968721 A CN 116968721A CN 202311036978 A CN202311036978 A CN 202311036978A CN 116968721 A CN116968721 A CN 116968721A
Authority
CN
China
Prior art keywords
energy management
running state
hybrid electric
electric vehicle
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311036978.9A
Other languages
English (en)
Inventor
楼狄明
赵瀛华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202311036978.9A priority Critical patent/CN116968721A/zh
Publication of CN116968721A publication Critical patent/CN116968721A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W20/00—Control systems specially adapted for hybrid vehicles
    • B60W20/10—Controlling the power contribution of each of the prime movers to meet required power demand
    • B60W20/11—Controlling the power contribution of each of the prime movers to meet required power demand using model predictive control [MPC] strategies, i.e. control methods based on models predicting performance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/08—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of electric propulsion units, e.g. motors or generators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0029—Mathematical model of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0031—Mathematical model of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B60W2710/0644—Engine speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B60W2710/0666—Engine torque
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/08—Electric propulsion units
    • B60W2710/083—Torque

Abstract

本发明涉及一种混合动力汽车预测式能量管理方法、系统和存储介质，方法包括如下步骤：在自动工况识别模式下，利用预训练好的基于Transformer的汽车行驶状态预测模型对混合动力汽车未来一段时间内的速度和加速度进行预测，利用预训练好的基于Transformer的驾驶工况识别模型对驾驶工况进行预测；在手动工况模式下，获取选取的驾驶工况；利用预训练好的基于Actor‑critic架构的行驶状态预测模型，得到对应驾驶工况下的行驶状态信息并对混合动力汽车进行控制，实现混合动力汽车预测式能量管理。与现有技术相比，本发明具有行驶状态预测的准确性高、鲁棒性强、计算效率高、应用场景广、混合动力系统效率高等优点。

Description

一种混合动力汽车预测式能量管理方法、系统和存储介质
技术领域
本发明涉及新能源汽车技术领域，尤其是涉及一种混合动力汽车预测式能量管理方法、系统和存储介质。
背景技术
迫于节能减排的目的，混合动力汽车成为当今汽车工业发展的重要方向之一，作为混合动力汽车的关键控制技术，能量管理策略直接影响了汽车的燃油经济性，成为了混合动力系统的研究重点。
中国专利申请号202010381806.5公开了了一种基于交通信息的混合动力汽车能量管理方法，主要采用基于动态规划的全局优化方法，计算量大，离实车应用尚有差距。混合动力汽车能量管理问题本质上是转矩分配优化和行驶状态时间序列预测的问题。
中国专利申请号201710350876.2公开了一种基于工况预测的插电式混合动力电动汽车能量管理系统，基于导航等联网信息进行实时工况预测，但策略复杂，因此受网络状态影响较大，如进入隧道或网络负载密集区域，该系统无法正常运行。
随着人工智能的发展，强化学习由于其优化效果、鲁棒性等众多优点，成为了当今的主流研究。中国专利申请号202010218455.6公开了一种基于深度强化学习的机械臂运动规划方法。
Transformer作为一种序列预测(seq2seq)模型，最先在自然语言处理领域取得了成功，并已拓展至众多领域进行有关时间序列分析的应用，专利中国专利申请号202010275150.9发明了基于Transformer+LSTM神经网络模型的商品销量预测方法及装置。目前强化学习在混合动力汽车能量管理的应用仍处于探索阶段，且基于时间序列分析的汽车行驶状态预测及耦合状态预测模型的混合动力汽车预测式能量管理方法并未有相关专利。
迫于节能减排的目的，混合动力汽车成为当今汽车工业发展的重要方向之一，作为混合动力汽车的关键控制技术，能量管理策略直接影响了汽车的燃油经济性，成为了混合动力系统的研究重点。目前混合动力汽车在实施能量管理策略时，多根据过去和当前的汽车行驶状态(速度、加速度、需求转矩等)进行行驶工况识别和转矩分配决策。目前已有研究表明，时间序列预测模型能较好地基于历史数据进行未来序列的预测，该预测信息对混合动力汽车能量管理策略的优化有很大意义。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种混合动力汽车预测式能量管理方法、系统和存储介质，以提高行驶状态预测的准确性。
本发明的目的可以通过以下技术方案来实现：
本发明的一个方面，提供了一种混合动力汽车预测式能量管理方法，包括如下步骤：
在自动工况识别模式下，利用预训练好的基于Transformer的汽车行驶状态预测模型对混合动力汽车未来一段时间内的速度和加速度进行预测，利用预训练好的基于Transformer的驾驶工况识别模型对驾驶工况进行预测；
在手动工况模式下，获取选取的驾驶工况；
根据当前的驾驶工况，利用预训练好的基于Actor-critic架构的行驶状态预测模型，得到对应驾驶工况下的行驶状态信息并对混合动力汽车进行控制，实现混合动力汽车预测式能量管理。
作为优选的技术方案，所述的预训练好的基于Transformer的汽车行驶状态预测模型的获取包括如下步骤：
针对混合动力汽车的实际构型，构建整车模型，计算需求转矩；
以汽车当前的速度、当前的加速度、当前的需求转矩以及历史一段时间内的速度作为样本数据，构建数据集并划分为训练集、验证集和测试集；
以未来一段时间的速度和加速度为预测标签，最小化预测误差为目标，构建基于Transformer的汽车行驶状态预测模型；
使用所述训练集对汽车行驶状态预测模型的参数进行分批训练，使用所述验证集对汽车行驶状态预测模型的参数进行微调，使用所述测试集对汽车行驶状态预测模型进行评估，当预测精度符合预设条件后，得到所述预训练好的基于Transformer的汽车行驶状态预测模型。
作为优选的技术方案，所述的整车模型包括驾驶员子模型、发动机子模型、电池子模型、电机子模型、动力耦合装置子模型和车辆基本部件子模型。
作为优选的技术方案，基于WLTC和NEDC获取所述的数据集。
作为优选的技术方案，所述的预训练好的基于Transformer的驾驶工况识别模型的获取包括如下步骤：
以混合动力汽车过去一段时间内的速度和加速度为样本数据，构建数据集并划分为训练集、验证集和测试集；
以驾驶工况为预测标签，最小化预测误差为目标，构建基于Transformer的驾驶工况识别模型；
使用所述训练集对汽车行驶状态预测模型的参数进行分批训练，使用所述验证集对汽车行驶状态预测模型的参数进行微调，使用所述测试集对汽车行驶状态预测模型进行评估，当预测精度符合预设条件后，将Encoder部分作为所述预训练好的基于Transformer的汽车行驶状态预测模型。
作为优选的技术方案，基于WLTC获取所述的训练集。
作为优选的技术方案，所述的预训练好的基于Actor-critic架构的行驶状态预测模型的构建包括如下步骤：
以混合动力汽车的当前时刻需求转矩、电池SOC以及当前和未来一段时间的速度为状态变量，以实现动力源转矩最优分配为控制目标，基于单位时间燃油消耗量和目标SOC设计奖励函数，构建基于Actor-critic架构的行驶状态预测模型；
基于损失函数对Actor网络和Critic网络进行训练，得到各个驾驶工况对应的Actor网络，作为预训练好的基于Actor-critic架构的行驶状态预测模型。
作为优选的技术方案，所述的驾驶工况包括城市工况、城郊工况、郊区工况以及高速工况。
本发明的另一个方面，提供了一种混合动力汽车预测式能量管理系统，包括：
数据采集系统，用于采集混合动力汽车的速度和加速度；
微型控制器，用于以上述混合动力汽车预测式能量管理方法得到驾驶工况下的行驶状态信息；
整车控制器，用于根据所述行驶状态信息，向发动机和电机发送发动机转速指令和转矩分配指令，实现汽车预测式能量管理。
本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述混合动力汽车预测式能量管理方法的指令。
与现有技术相比，本发明具有以下优点：
(1)行驶状态预测的准确性高：基于Transformer模型对目标车辆进行行驶状态预测，训练样本数量大，且较传统的神经网络等预测方法更能挖掘时间序列中的相关性，预测准确度高。
(2)鲁棒性强：通过状态预测耦合强化学习，实现混合动力汽车的转矩分配智能决策，其鲁棒性高，优化效果较ECMS在线能量管理方法有大幅提升，且实现过程不依赖于工程师的前期经验。
(3)计算效率高：Actor-critic框架避免了绝大多数能量管理策略实现过程中所必须执行的变量离散化，从而降低了计算误差，并提升了计算效率。
(4)应用场景广泛：基于不同工况进行学习策略切换，并根据强化学习结果输出对应的网络参数，通过微型控制器和整车控制器实现在线能量管理，应用性强。
(5)混合动力系统效率高：将状态预测模型融合聚类算法，建立预测式工况自识别模块，实现在线工况预识别、转矩智能预分配，提升了混合动力系统的效率。
附图说明
图1为实施例中混合动力汽车预测式能量管理系统的示意图；
图2为实施例中Actor-critic架构的示意图；
图3为基于Actor-critic框架的混合动力汽车能量管理策略流程示意图；
图4为驾驶工况识别流程示意图，
其中，1、数据采集系统，2、微型控制器，3、整车控制器，4、电机，5、发动机，6、传动系统。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例1
针对前述现有技术存在的问题，本申请提供了一种基于Transformer的混合动力汽车预测式能量管理方法，首先基于WLTC等循环工况，采用Transformer对目标车型建立通过历史数据驱动的车辆行驶状态预测模型。随后采用强化学习中新颖的Actor-critic框架进行混合动力系统的预测式能量管理策略优化，并针对城市、郊区及高速工况进行学习策略切换，随后将训练完毕后的网络参数写入微型控制器中。当车辆实际运行时，基于车辆行驶状态预测模型制定预测式工况自识别模块，实时完成预测式工况识别和最佳转矩预分配的智能决策，实现混合动力汽车预测式在线能量管理。
如图1所示，本专利提供了一种基于Transformer的混合动力汽车预测式能量管理方法，其特征并不针对某一特定构型的混合动力汽车，其包括数据采集系统1、微型控制器2、整车控制器3、发动机4、电机5及包括车轮在内的传动系统6。根据混合动力汽车的实际构型建立混合动力汽车整车模型(可通过MATLAB/Simulink等平台实现)，其包括但不限于驾驶员模型、发动机模型、电池模型、电机模型、动力耦合装置模型、车辆基本部件模型等。混合动力汽车整车模型的主要功能为针对目标车型，基于物理系统模型计算车辆某一行驶状态下的需求转矩。
(1)基于Transformer的汽车行驶状态预测模型建立
基于Transformer的汽车行驶状态预测模型建立，包括以下步骤：
(a)基于WLTC(World Light Vehicle Test Procedure，世界轻型汽车测试规程)、NEDC(新欧洲驾驶循环测试)等循环工况，针对目标车型，通过上述混合动力汽车整车模型计算每一时刻的需求转矩；
(b)获取汽车行驶状态历史数据以及对应的标签预测结果数据，数据内容包括：车速v、加速度a及需求转矩T；具体地，本例中设置时间步长为1s，随机抽取若干有序序列(vt-4，vt-3，vt-2，vt-1，vt，at，Tt)作为汽车行驶状态历史数据，相应地有序序列(vt+1，at+1，Tt+2，vt+2，at+2，Tt+2，vt+3，Tt+3)作为标签预测结果数据；
(c)将数据集进行归一化处理，并划分成训练集、验证集和测试集，具体地，可按照7:2:1的比例进行划分；
(d)建立Transformer模型。其中Transformer包括一个Encoder和一个Decoder，Encoder部分负责提取历史数据中的特征，本例中，Encoder中的Multi-Attention包含三个Attention；Decoder根据Encoder提取到的历史数据的中的特征进行解码预测。Transformer汽车行驶状态预测模型采用MSE作为损失函数。
(e)训练阶段，将归一化之后的数据分批次输入到Transformer模型中进行神经网络参数的训练：使用归一化后的汽车行驶状态历史数据输入到Transformer的Encoder部分进行特征提取，Encoder的输出的特征信息给到解码部分的隐状态向量；Decoder依据Encoder提取的特征信息初始化的隐状态，来一步步随时间迭代输出预测结果；使用预测得到的值输入到损失函数中与真实值进行对比，来反向梯度调整模型中的参数，以提高预测精度，本例中学习率设置为0.0005；
(f)验证阶段，依据小批次验证数据来微调模型的参数：验证阶段在每批次训练阶段的数据训练完之后执行，通过输入验证数据集，基于模型得到验证输出值，通过预测值与真实值之间的差距来微调模型的参数；
(g)测试阶段，使用经训练和验证阶段得到的Transformer模型，输入测试数据集以得到输出的测试预测值；将测试预测值在MAPE评价指标中评估神经网络模型的预测精度，当预测精度达到要求时确定模型，以进行汽车行驶状态预测。
(2)基于Actor-critic框架的混合动力汽车能量管理策略
强化学习算法是一个在交互环境中不断学习的过程。在强化学习算法中，智能体通过尝试和错误搜索过程学习如何建立从输入状态、优化控制动作和最大化奖励三者之间得映射关系，确定哪些行为动作有助于获得最大的回报。从环境中感知被控制对象状态，采取特定的动作取得目标导向的奖励是强化学习关键。传统强化学习算法包含七个部分：智能体、环境、状态s、动作a、奖励r、策略π(a|s)和动作-值函数Qπ(s,a)。图2所示为强化学习算法基本架构及其所表示的能量管理问题。
在强化学习能量管理策略问题中，混合动力汽车行驶工况、汽车模型可被看作环境，智能体则为基于强化学习算法的混合动力汽车能量管理策略控制器，智能体会根据当前系统状态和环境做出最大累计收益的决策，从而得到最优控制动作。强化学习算法能量管理策略控制问题中的关键变量，具体如下：
常规情况下混合动力汽车强化学习能量管理策略的状态变量S＝{v，T，SOC}，由于建立了状态预测模型，本例中的状态变量为：
S＝{vt，Tt，SOCt，vt+1，vt+2} (1)
式中，T，v，SOC分别表示车辆的需求转矩，车速和电池SOC。
混合动力汽车强化学习能量管理策略控制目标主要实现动力源转矩最优分配，因此定义强化学习能量管理策略的控制动作
A＝{Te，ne} (2)
式中，Te，ne分别表示发动机的转矩和转速。
混合动力汽车强化学习能量管理策略奖励函数为R(si，ai)：
R(si，ai)＝β1foil+β2(SOC-SOCtar) (3)
式中，foil为单位时间内的燃油消耗量，SOCtar为目标SOC，β1，β2分别为油耗和SOC系数。
智能体的训练过程如下：在每个时间步长t时，智能体基于策略π(a|s)执行动作at∈A，当前状态st∈S转移至st+1并返回奖励rt。智能体以最大化未来可获得的期望总奖励为目标，对策略π进行优化。在某个策略π下，动作-值函数Qπ(s，a)定义为：
式中，γ表示折扣因子，其范围为0-1，折扣系数越大则获得的未来回报越大。Qπ(s，a)表示在状态s执行动作a时，未来可获得的期望总奖励。根据强化学习中的Q-学习策略，Q值更新方法如下式表示：
Q(s，a)＝Q(s，a)+α[r+γmaxa′Q(s′，a′)-Q(s，a)] (5)
式中，s’和a’表示下一个时间步长的状态和动作，α表示学习率，maxa′Q(s′，a′)
项表示在状态s’时所能观测到的最大Q值。
在Actor-critic框架中，actor和critic均通过神经网络实现：由θa参数化的actor网络将s作为输入，a作为输出，并通过学习以优化能量管理策略π(a|s)；由θc参数化的critic网络将s和a作为输入，Q值作为输出，以评价基于策略π(a|s)选择的动作a。
基于式(5)中的Q值更新规则，critic网络Q(s，a|θc)的损失函数定义如下：
Lc(θc)＝[(r+γmaxa′Q(s′，a′|θc))-Q(s，a|θc)]2 (6)
不同于Q-学习，maxa′Q(s′，a′|θc)无法通过查表方式进行获得，因此通过actor网络μ(s|θa)提供时间步长t+1时的a′＝μ(s′|θa)，因此式(6)更变为：
Lc(θc)＝[(r+γmaxa′Q(s′，μ(s′|θa)|θc))-Q(s，a|θc)]2 (7)
θc通过随机梯度下降法进行更新，以最小化Lc(θc)，从而实现critic网络的学习。θc的更新方式如下：
式中，α表示梯度下降优化算法中的学习率。
Critic网络通过训练，以估算Q值；与此同时，actor网络的目的是通过训练以输出可以获得更高Q值的动作a，即由于α＝μ(s|θa)，通过应用链式法则，θa的更新方式如下：
基于Actor-critic架构的混合动力汽车能量管理策略流程如图3所示。首先载入WLTC标准循环工况，该工况涵盖了城市、城郊、郊区以及高速行驶工况，采用WLTC工况能够较好地对各种行驶工况下的能量管理策略进行评价，选择待训练行驶工况后，从WLTC工况中截取相应的工况作为目标训练行驶工况。随后，将actor和critic网络进行初始化。具体地，本专利中actor网络结构定义为5-30-30-2；critic网络结构定义为7-50-50-1。其中，输出层的激活函数为Sigmoid函数，其余为ReLU函数，采用随机梯度下降法对网络进行更新，学习率设置为0.0001。
设定算法最大迭代次数M＝1000，工况长度T为对应的待训练行驶工况时间长度，根据流程图判断是否退出循环。当执行循环时，基于Actor-critic强化学习算法进行能量管理策略学习，具体流程如下：
(a)以概率ε随机选择动作at，以概率1-ε通过actor网络选择动作at＝π(a|st)；
(b)在所建立的混合动力汽车整车模型中执行动作at，并得到下一状态st+1；
(c)将经验(st，at，rt，st+1)存入经验库D中；
(d)从经验库D中随机抽取若干条经验，根据式(8)，采用梯度下降法更新critic网络的参数θc；
(e)从经验库D中随机抽取若干条经验的状态st+1，根据式(9)，采用梯度下降法更新actor网络的参数θa；
当t达到工况长度T时，结束内循环，ε更新为α×ε，具体的，ε初始值设置为0.9，α设置为0.99。
当算法达到最大迭代次数后，结束外循环。
在本例中，当算法执行完毕后，生成对应的actor城市、actor城郊、actor郊区以及actor高速网络，存入微型控制器以实现在线能量管理。
(3)驾驶工况识别
传统的基于聚类算法的工况识别难以将时间序列的信息及相关性考虑在内，驾驶工况识别模型采用Transformer模型中的Encoder部分进行建立。
基于Transformer的驾驶工况识别模型建立，包括以下步骤：
(a)基于WLTC循环工况，获取汽车行驶状态历史数据以及对应的标签预测结果数据，数据内容包括：车速v及加速度a；具体地，本例中设置时间步长为1s，随机抽取若干有序序列(vt-29，at-29，vt-28，at-28，……，vt，at)作为汽车行驶状态历史数据；相应地，对应时间序列段所表示的WLTC工况分类(城市、城郊、郊区、高速)作为标签预测结果数据；
(b)将数据集进行归一化处理，并划分成训练集、验证集和测试集，具体地，可按照7:2:1的比例进行划分；
(c)建立Transformer模型。其中Transformer包括一个Encoder和Softmax层，Encoder部分负责提取历史数据中的特征，本例中，Encoder中的Multi-Attention包含三个Attention；Softmax层根据Encoder提取到的历史数据的中的特征进行工况概率预测。Transformer驾驶工况识别模型采用交叉熵作为损失函数。
(d)训练阶段，将归一化之后的数据分批次输入到Transformer模型中进行神经网络参数的训练：使用归一化后的汽车行驶状态历史数据输入到Transformer的Encoder部分进行特征提取，Softmax层根据Encoder提取到的历史数据的中的特征进行工况概率预测；预测得到的值和真实值进行交叉熵计算，并以最小化交叉熵作为目标来反向梯度调整模型中的参数，以提高预测精度，本例中学习率设置为0.0001；
(e)验证阶段，依据小批次验证数据来微调模型的参数：验证阶段在每批次训练阶段的数据训练完之后执行，通过输入验证数据集，基于模型得到验证输出值，通过预测值与真实值之间的差距来微调模型的参数；
(f)测试阶段，使用经训练和验证阶段得到的Transformer模型，输入测试数据集以得到输出的测试预测值，当预测精度达到要求时确定模型，以进行汽车驾驶工况识别。
驾驶工况识别流程图如图4所示。在驾驶工况识别模型建立后，微型处理器存有对应各行驶工况的actor城市、actor城郊、actor郊区以及actor高速网络，以及驾驶工况识别模型。若驾驶员进行手动工况选择，则直接根据驾驶员的选择结果激活相应的actor网络。
若驾驶员进行自动工况选择，汽车首先通过步骤(2)建立的行驶状态预测模型，实时预测未来3s内的车速v和加速度a；随后将30s长度的汽车行驶状态有序序列(包括过去及当前27s内的v、a以及上述3s内的预测v、a)输入至驾驶工况识别模型，模型判定工况后激活相应的actor网络。
(4)混合动力汽车预测式在线能量管理方法
首先根据步骤(3)中的驾驶工况识别结果，激活对应的actor网络。随后，根据汽车当前时刻的实际行驶状态，基于汽车行驶状态预测模型计算形如式(1)的状态st和st+1至微型控制器。
微型控制器将状态st和st+1输入至当前激活的actor网络中，输出动作at和at+1，并输入至整车控制器。整车控制器输出当前时刻和下一时刻的发动机转速及转矩分配指令至发动机和电机，实现混合动力汽车预测式在线能量管理。
本发明针对混合动力汽车传统能量管理策略的经验依赖性及优化效果等不足、现有汽车行驶状态预测及工况识别在挖掘时间序列信息时的欠缺性以及能量管理策略和状态预测及工况预识别的耦合度不高等，设计了一种基于Transformer的混合动力汽车预测式能量管理方法。该方法采用Transformer对目标车型建立通过历史数据驱动的车辆行驶状态预测模型，随后基于强化学习中的Actor-critic架构耦合汽车行驶状态预测，得到混合动力汽车在各个状态下的最优发动机转速及转矩分配策略，提取actor网络。不仅如此，本方法在根据不同的行驶工况采用不同的学习策略，并对实车行驶过程进行驾驶员手动或无需驾驶员的Transformer预测式工况自识别，实时预测当前的驾驶工况，以及对应驾驶工况下actor网络的输出动作，最后通过整车控制器执行最优转矩预分配智能决策，实现混合动力汽车预测式在线能量管理。
实施例2
本实施例提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如实施例1述混合动力汽车预测式能量管理方法的指令。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种混合动力汽车预测式能量管理方法，其特征在于，包括如下步骤：
在自动工况识别模式下，利用预训练好的基于Transformer的汽车行驶状态预测模型对混合动力汽车未来一段时间内的速度和加速度进行预测，利用预训练好的基于Transformer的驾驶工况识别模型对驾驶工况进行预测；
在手动工况模式下，获取选取的驾驶工况；
根据当前的驾驶工况，利用预训练好的基于Actor-critic架构的行驶状态预测模型，得到对应驾驶工况下的行驶状态信息并对混合动力汽车进行控制，实现混合动力汽车预测式能量管理。
2.根据权利要求1所述的一种混合动力汽车预测式能量管理方法，其特征在于，所述的预训练好的基于Transformer的汽车行驶状态预测模型的获取包括如下步骤：
针对混合动力汽车的实际构型，构建整车模型，计算需求转矩；
以汽车当前的速度、当前的加速度、当前的需求转矩以及历史一段时间内的速度作为样本数据，构建数据集并划分为训练集、验证集和测试集；
以未来一段时间的速度和加速度为预测标签，最小化预测误差为目标，构建基于Transformer的汽车行驶状态预测模型；
使用所述训练集对汽车行驶状态预测模型的参数进行分批训练，使用所述验证集对汽车行驶状态预测模型的参数进行微调，使用所述测试集对汽车行驶状态预测模型进行评估，当预测精度符合预设条件后，得到所述预训练好的基于Transformer的汽车行驶状态预测模型。
3.根据权利要求2所述的一种混合动力汽车预测式能量管理方法，其特征在于，所述的整车模型包括驾驶员子模型、发动机子模型、电池子模型、电机子模型、动力耦合装置子模型和车辆基本部件子模型。
4.根据权利要求2所述的一种混合动力汽车预测式能量管理方法，其特征在于，基于WLTC和NEDC获取所述的数据集。
5.根据权利要求1所述的一种混合动力汽车预测式能量管理方法，其特征在于，所述的预训练好的基于Transformer的驾驶工况识别模型的获取包括如下步骤：
以混合动力汽车过去一段时间内的速度和加速度为样本数据，构建数据集并划分为训练集、验证集和测试集；
以驾驶工况为预测标签，最小化预测误差为目标，构建基于Transformer的驾驶工况识别模型；
使用所述训练集对汽车行驶状态预测模型的参数进行分批训练，使用所述验证集对汽车行驶状态预测模型的参数进行微调，使用所述测试集对汽车行驶状态预测模型进行评估，当预测精度符合预设条件后，将Encoder部分作为所述预训练好的基于Transformer的汽车行驶状态预测模型。
6.根据权利要求5所述的一种混合动力汽车预测式能量管理方法，其特征在于，基于WLTC获取所述的训练集。
7.根据权利要求1所述的一种混合动力汽车预测式能量管理方法，其特征在于，所述的预训练好的基于Actor-critic架构的行驶状态预测模型的构建包括如下步骤：
以混合动力汽车的当前时刻需求转矩、电池SOC以及当前和未来一段时间的速度为状态变量，以实现动力源转矩最优分配为控制目标，基于单位时间燃油消耗量和目标SOC设计奖励函数，构建基于Actor-critic架构的行驶状态预测模型；
基于损失函数对Actor网络和Critic网络进行训练，得到各个驾驶工况对应的Actor网络，作为预训练好的基于Actor-critic架构的行驶状态预测模型。
8.根据权利要求1所述的一种混合动力汽车预测式能量管理方法，其特征在于，所述的驾驶工况包括城市工况、城郊工况、郊区工况以及高速工况。
9.一种混合动力汽车预测式能量管理系统，其特征在于，包括：
数据采集系统，用于采集混合动力汽车的速度和加速度；
微型控制器，用于以权利要求1-8任一所述混合动力汽车预测式能量管理方法得到驾驶工况下的行驶状态信息；
整车控制器，用于根据所述行驶状态信息，向发动机和电机发送发动机转速指令和转矩分配指令，实现汽车预测式能量管理。
10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-8任一所述混合动力汽车预测式能量管理方法的指令。
CN202311036978.9A 2023-08-17 2023-08-17 一种混合动力汽车预测式能量管理方法、系统和存储介质 Pending CN116968721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311036978.9A CN116968721A (zh) 2023-08-17 2023-08-17 一种混合动力汽车预测式能量管理方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311036978.9A CN116968721A (zh) 2023-08-17 2023-08-17 一种混合动力汽车预测式能量管理方法、系统和存储介质

Publications (1)

Publication Number Publication Date
CN116968721A true CN116968721A (zh) 2023-10-31

Family

ID=88479584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311036978.9A Pending CN116968721A (zh) 2023-08-17 2023-08-17 一种混合动力汽车预测式能量管理方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN116968721A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117227700A (zh) * 2023-11-15 2023-12-15 北京理工大学 串联混合动力无人履带车辆的能量管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117227700A (zh) * 2023-11-15 2023-12-15 北京理工大学 串联混合动力无人履带车辆的能量管理方法及系统
CN117227700B (zh) * 2023-11-15 2024-02-06 北京理工大学 串联混合动力无人履带车辆的能量管理方法及系统

Similar Documents

Publication Publication Date Title
CN111267831B (zh) 一种混合动力车辆智能变时域模型预测能量管理方法
CN112668235B (zh) 基于离线模型预训练学习的ddpg算法的机器人控制方法
CN111696370B (zh) 基于启发式深度q网络的交通灯控制方法
CN111098852B (zh) 一种基于强化学习的泊车路径规划方法
Lin et al. An ensemble learning velocity prediction-based energy management strategy for a plug-in hybrid electric vehicle considering driving pattern adaptive reference SOC
CN113044064B (zh) 基于元强化学习的车辆自适应的自动驾驶决策方法及系统
CN110910531B (zh) 一种基于车载obd信息的路面摩擦系数快速检测方法
Zhou et al. A quantitative analysis of model predictive control as energy management strategy for hybrid electric vehicles: A review
Zhang et al. A systematic solution of human driving behavior modeling and simulation for automated vehicle studies
CN116968721A (zh) 一种混合动力汽车预测式能量管理方法、系统和存储介质
CN112339756A (zh) 一种基于强化学习的新能源汽车红绿灯路口能量回收优化速度规划算法
CN114372570A (zh) 一种多模态车辆轨迹预测方法
CN113479187B (zh) 一种插电式混合动力汽车分层异步长能量管理方法
CN115376103A (zh) 一种基于时空图注意力网络的行人轨迹预测方法
Wang et al. An interaction-aware evaluation method for highly automated vehicles
Shamsi et al. Reinforcement learning for traffic light control with emphasis on emergency vehicles
Zhang et al. An automatic driving control method based on deep deterministic policy gradient
Guillen-Perez et al. Learning from Oracle demonstrations—a new approach to develop autonomous intersection management control algorithms based on multiagent deep reinforcement learning
CN113276852A (zh) 一种基于最大熵强化学习框架的无人驾驶车道保持方法
CN113537620A (zh) 基于Markov模型优化和工况识别的车速预测方法
CN116311948B (zh) 基于交通流速度预测和信号灯状态的车辆路径规划方法
CN115730529B (zh) 基于工况识别的phet能量管理策略生成方法及系统
CN113753049B (zh) 基于社会偏好的自动驾驶超车决策确定方法及系统
Lu et al. Human-like decision making for lane change based on the cognitive map and hierarchical reinforcement learning
CN115034500A (zh) 一种基于双注意力机制网络的车速预测方法、系统及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination