CN111516702A - 一种混合动力车辆在线实时分层能量管理方法和系统 - Google Patents

Abstract

本发明涉及一种混合动力车辆在线实时分层能量管理方法和系统。该方法包括：获取混合动力车辆的系统控制策略的控制MAP；获取混合动力车辆当前的工况信息和系统状态变量；利用控制MAP，根据工况信息和系统状态变量确定控制量；根据控制量生成系统状态变量的控制轨迹；根据系统状态变量的控制轨迹完成对混合动力车辆的能量管理。本发明通过采用控制MAP，可以通过所获取的插电式混合动力车辆的工况信息和系统状态变量确定得到相对应的控制量，从而依据所确定的控制量得到系统状态变量的控制轨迹。然后依据所生成的控制轨迹完成对混合动力车辆能量的管理，以在提高能量分配稳定性的同时，解决现有技术中存在的车辆能量管理技术在线运用困难的问题。

Description

一种混合动力车辆在线实时分层能量管理方法和系统

技术领域

本发明涉及汽车能量管理领域，特别是涉及一种混合动力车辆在线实时分层能量管理方法和系统。

背景技术

在基于模型预测控制(Model Predictive Control，MPC)的插电式混合动力车辆能量管理技术中，参考轨迹的质量对于MPC的应用效果具有很大的影响。当前的研究主要分为两种，一种是假设车辆行驶的准确工况信息能够提前通过GPS，ITS等系统获取，结合完整的工况信息，MPC上层状态规划器使用优化算法对车辆模型的电荷状态状态(SOC)进行提前规划，而后将这一参考轨迹发送至MPC下层进行跟踪控制。这一问题最主要的弊端便是在实际应用中车辆的工况信息并不能准确获取，而且上层规划需要结合整个工况的信息进行整车状态规划，计算效率缓慢，这阻碍了能量管理策略的在线运用。第二种是，使用基于专家经验的SOC线性模型，即认为SOC状态更新轨迹与车辆行驶距离呈线性关系，这有效的提高了上层规划效率且大大减少了对于准确工况信息获取的依赖，然而这一模型忽略了车辆内部结构信息，将导致在下层控制器在某些情况尤其在模型非线性强约束多的情况下难以对参考轨迹实现有效跟踪，从而严重影响了能量管理策略的优化效果。

并且，现有技术一般是采用如下技术方案来实施能量管理策略：

一、迭代DP：

上层SOC(State of Charge，电池电量百分比)参考规划：将基于马尔可夫速度预测器预测的速度序列发送至上层SOC规划器，如当预测域为10s仿真步长为1s时即对应10个离散速度，而后利用动态规划算法(DP)作为上层SOC参考的规划器在预测时域内求解最优的控制序列，最终将控制量导入系统模型进行状态更新，实现预测域内的SOC参考。

下层跟踪控制：上述的预测速度序列以及SOC参考同时作为输入发送至局部时域模型预测控制器(Model Predictive Control，MPC)，设定MPC的预测与控制域长度与速度预测域大小一致，构建MPC滚动优化机制，对模型进行二次简化，并用QP算法求解对应的最优控制序列，而后选取第一个元素作为最优控制量输入车辆模型进行状态更新，将更新得到的新的状态量反馈至上层作为上层动态规划器(DP规划器)的初始值。

值得注意的是，其下层参考跟踪为定权重因子跟踪：

下层优化问题代价函数：

w₁和w₂为定权重因子，当他们取值偏大时跟踪越紧，取值偏小时跟踪越松。

综上，即获取某一时刻的当前速度进行速度预测，得到的预测速度序列同时发送至上层SOC规划器和下层MPC控制器。上层用DP算法求解该预测域对应的SOC状态参考发送至下层，下层根据SOC参考利用MPC控制器求解实际最优控制量，得到系统实际状态更新值并将其反馈为上层作为上层优化时域(长度等于速度预测域长度)内的状态初值，而后重新划分DP网格(因为DP算法每次解算需要知道初末状态)，以此构建基于MPC的在线能量管理。

参考文献：F.Tianheng,Y.Lin,G.Qing,H.Yanqing,Y.Ting and Y.Bin,"ASupervisory Control Strategy for Plug-In Hybrid Electric Vehicles Based onEnergy Demand Prediction and Route Preview,"in IEEE Transactions on VehicularTechnology,vol.64,no.5,pp.1691-1700,May2015.

二、经验公式迭代：

这个方法与上述方法的最大区别主要在于SOC参考的生成方式不同，及MPC的求解器利用DP算法，其他都是相似的。上述方法利用DP算法求解SOC参考，此方法主要提出一种经验公式迭代的方式。

在获取全局工况信息情况下，进行上层离线SOC规划的时候可以使用基于距离线性的SOC参考生成公式进行全局规划：

其中SOC_ref即某一时刻的SOC参考值；SOC₀为车辆模型SOC初始值，在研究中为方便结果体现通常设为诸如0.9，0.8的较大值；SOC_f为车辆走完整个循环的最终SOC值；d为车辆当前行驶里程；D_cyc为车辆走完整个循环的总里程数。

由于上述方法是对针对全局工况进行离线SOC规划，所以得到的就是对应全局工况的SOC参考，无法用于在线能量管理，所以一个新的方法提出如下：

其用到的方法与上面描述类似，第一个公式计算现在车辆已经跑了多少路程，第二个公式利用了预测速度v_p计算出在速度预测时域内车辆跑了多少路程，最后利用基于距离线性的经验公式对这段预测域内的SOC参考进行规划。

下层跟踪控制代价为定权重跟踪约束：

为跟踪约束函数，α为定权重因子，α越大跟踪越紧，反之，跟踪越松。

参考文献：Xie,Shaobo,et al."Time-Efficient Stochastic Model PredictiveEnergy Management for a Plug-In Hybrid Electric Bus with Adaptive ReferenceState-of-Charge Advisory."IEEE Transactions on Vehicular Technology(2018):1-1.

基于上述技术方案，现有技术主要存在以下缺点

1.利用DP作为上层SOC参考解算器，虽然能够满足在线运用但是计算速度慢效率低，并且其解算效率与状态量和控制量的网格划分有关，如果在考虑燃油经济性的基础上需要进一步考虑电池寿命考虑车辆排放性而引入新的变量，DP的计算负担将指数增加，无法再满足运用需求。

2.基于经验公式迭代方法确实能够快速给出SOC参考，但是它的产生只取绝于车辆工况信息而不含有系统模型信息(通常基于优化的方法是求解完最优控制量再将控制量输入模型进行状态更新而得到状态参考的)，所以这将导致在某些情况下层控制器进行跟踪过程中难以稳定跟踪。

3.使用定权重跟踪各权重因子的权衡难以平衡，若取值偏大将导致跟踪过紧，算法优化空间小影响优化效果；若取值偏小将导致跟踪过松，丧失上层SOC参考的引导意义，最终优化效果也受影响。

因此，提供一种在提高车辆能量分配稳定性的同时，解决现有技术中存在的车辆能量管理技术在线运用困难的问题的车辆能量管理技术是本领域亟待解决的技术难题。

发明内容

本发明的目的是提供一种混合动力车辆在线实时分层能量管理方法和系统，以在提高车辆能量分配稳定性的同时，解决现有技术中存在的车辆能量管理技术在线运用困难的问题。

为实现上述目的，本发明提供了如下方案：

一种混合动力车辆在线实时分层能量管理方法，包括：

获取混合动力车辆的系统控制策略的控制MAP；所述系统控制策略的控制MAP包括：多个索引值和与所述索引值相对应的控制量；所述索引值包括：工况信息和系统状态变量；所述控制量为电流值；所述工况信息包括：速度和功率需求；所述系统状态变量包括：电池电量百分比和电池的有效电荷吞吐量；

获取所述混合动力车辆当前的工况信息和系统状态变量；

利用所述控制MAP，根据所述工况信息和所述系统状态变量确定控制量；

根据所述控制量生成系统状态变量的控制轨迹；

根据所述系统状态变量的控制轨迹完成对所述混合动力车辆的能量管理。

优选的，所述控制MAP的构建过程具体包括：

获取车辆工况信息；

根据所述工况信息确定车辆工况的概率转移矩阵；

获取车辆的系统状态变量；

获取插电式混合动力车辆能量管理模型；所述插电式混合动力车辆能量管理模型为以概率转移矩阵和系统状态变量为输入，以系统控制策略的控制MAP为输出的能量管理模型；

利用所述插电式混合动力车辆能量管理模型，根据所述车辆工况的概率转移矩阵和所述车辆的状态变量得到系统控制策略的控制MAP。

优选的，在所述获取插电式混合动力车辆能量管理模型之前还包括：

获取车辆的预设工况信息；

根据所述预设工况信息，利用工况的马尔科夫特性确定预设工况的概率转移矩阵；

获取车辆的预设系统状态变量；

根据所述预设系统状态变量确定与所述预设状态变量相对应的控制量；

以所述概率转移矩阵、预设系统状态变量为输入，以所确定的控制量为输出，采用Q学习算法对所述插电式混合动力车辆能量管理模型进行训练，得到训练后的插电式混合动力车辆能量管理模型。

优选的，所述利用所述控制MAP，根据所述工况信息和所述系统状态变量确定控制量，具体包括：

获取所述混合动力车辆当前的工况信息和当前的系统状态变量；

获取车辆模型；

利用所述车辆模型，根据所述当前的工况信息和当前的系统状态变量确定所述混合动力车辆的下一时刻的状态更新量；

以所述状态更新量为新的系统状态变量，重复步骤“利用所述车辆模型，根据所述当前的工况信息和当前的系统状态变量确定所述混合动力车辆的下一时刻的状态更新量”，并利用所述控制MAP不断确定与系统状态变量相对应的控制量。

一种混合动力车辆在线实时分层能量管理系统，包括：

控制MAP获取模块，用于获取混合动力车辆的系统控制策略的控制MAP；所述系统控制策略的控制MAP包括：多个索引值和与所述索引值相对应的控制量；所述索引值包括：工况信息和系统状态变量；所述控制量为电流值；所述工况信息包括：速度和功率需求；所述系统状态变量包括：电池电量百分比和电池的有效电荷吞吐量；

工况信息和系统状态变量获取模块，用于获取所述混合动力车辆当前的工况信息和系统状态变量；

控制量确定模块，用于利用所述控制MAP，根据所述工况信息和所述系统状态变量确定控制量；

控制轨迹生成模块，用于根据所述控制量生成系统状态变量的控制轨迹；

能量管理模块，用于根据所述系统状态变量的控制轨迹完成对所述混合动力车辆的能量管理。

优选的，所述系统还包括：

车辆工况信息获取模块，用于获取车辆工况信息；

概率转移矩阵确定模块，用于根据所述工况信息确定车辆工况的概率转移矩阵；

车辆系统状态变量获取模块，用于获取车辆的系统状态变量；

插电式混合动力车辆能量管理模型获取模块，用于获取插电式混合动力车辆能量管理模型；所述插电式混合动力车辆能量管理模型为以概率转移矩阵和系统状态变量为输入，以系统控制策略的控制MAP为输出的能量管理模型；

控制MAP构建模块，用于利用所述插电式混合动力车辆能量管理模型，根据所述车辆工况的概率转移矩阵和所述车辆的状态变量得到系统控制策略的控制MAP。

优选的，所述系统还包括：

预设工况信息获取模块，用于获取车辆的预设工况信息；

预设工况概率转移矩阵确定模块，用于根据所述预设工况信息，利用工况的马尔科夫特性确定预设工况的概率转移矩阵；

预设系统状态变量确定模块，用于获取车辆的预设系统状态变量；

预设控制量确定模块，用于根据所述预设系统状态变量确定与所述预设状态变量相对应的控制量；

插电式混合动力车辆能量管理模型训练模块，用于以所述概率转移矩阵、预设系统状态变量为输入，以所确定的控制量为输出，采用Q学习算法对所述插电式混合动力车辆能量管理模型进行训练，得到训练后的插电式混合动力车辆能量管理模型。

优选的，所述控制量确定模块具体包括：

车辆模型获取单元，用于获取车辆模型；

状态更新量确定单元，用于利用所述车辆模型，根据所述当前的工况信息和当前的系统状态变量确定所述混合动力车辆的下一时刻的状态更新量；

控制量确定单元，用于以所述状态更新量为新的系统状态变量，重复步骤“利用所述车辆模型，根据所述当前的工况信息和当前的系统状态变量确定所述混合动力车辆的下一时刻的状态更新量”，并利用所述控制MAP不断确定与系统状态变量相对应的控制量。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明通过采用控制MAP，可以通过所获取的插电式混合动力车辆的工况信息和系统状态变量确定得到相对应的控制量(电流值)，从而依据所确定的控制量得到系统状态变量的控制轨迹。然后依据所生成的控制轨迹完成对混合动力车辆能量的管理，提高能量分配稳定性。

并且，在应用本发明所提供的混合动力车辆在线实时分层能量管理方法和系统的过程中，只需要获取车辆的工况信息和系统状态变量就可以生成相应的系统状态变量控制轨迹，这进一步能够在降低控制难度的同时，解决现有技术中存在的车辆能量管理技术在线运用困难的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明混合动力车辆在线实时分层能量管理方法的流程图；

图2为本发明混合动力车辆在线实时分层能量管理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种混合动力车辆在线实时分层能量管理方法和系统，以在提高车辆能量分配稳定性的同时，解决现有技术中存在的车辆能量管理技术在线运用困难的问题。

本发明提供的混合动力车辆在线实时分层能量管理方法和系统，用于插电式混合动力车辆在线实时稳定的实现混动系统间最优的能量分配以实现燃油经济性、电池寿命及鲁棒性的权衡最优。

本发明所提供技术方案的技术构思为：结合速度预测器获取的局部时域速度信息，将Q学习算法作为分层能量管理的上层状态参考规划器以进行对应时域的状态参考规划，为下层控制器提供最优功率分配指导；在能量管理模型构建时引入电池寿命衰退模型，以油耗、电耗及电池寿命损耗为代价构造最优控制问题，充分利用Q学习算法作为上层状态参考规划器最优性与计算效率兼顾的优势，为下层控制器同时提供SOC及Aheff两个状态变量的参考信息；为提高能量管理策略自适应能力及鲁棒性，结合预测速度信息及状态参考信息，构建局部时域模型预测控制(Model Predictive Contro，MPC)器滚动优化机制，同时引入松弛因子的方法对滚动序列的最后一个状态值进行松弛化约束，以此保证模型预测控制器求解算法求解的自适应能力并实现更为平顺的跟踪效果。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明混合动力车辆在线实时分层能量管理方法的流程图。如图1所示，一种混合动力车辆在线实时分层能量管理方法，包括：

步骤100：获取混合动力车辆的系统控制策略的控制MAP。系统控制策略的控制MAP包括：多个索引值和与索引值相对应的控制量。索引值包括：工况信息和系统状态变量。控制量为电流值。工况信息包括：速度和功率需求。系统状态变量包括：电池电量百分比和电池的有效电荷吞吐量。

步骤101：获取混合动力车辆当前的工况信息和系统状态变量。

步骤102：利用控制MAP，根据工况信息和系统状态变量确定控制量。

步骤103：根据控制量生成系统状态变量的控制轨迹。

步骤104：根据系统状态变量的控制轨迹完成对混合动力车辆的能量管理。

为了进一步提高能量管理的稳定性，上述控制MAP的构建过程具体包括：

获取车辆工况信息。

根据工况信息确定车辆工况的概率转移矩阵。具体包括：

基于工况信息可以获得速度和功率需求序列，并采用最邻近法离散这两个变量：

p_dem∈{p¹ _dem,p² _dem,p³ _dem,...,pⁿ _dem}

v∈{v¹,v²,v³,...,vⁿ}。

根据以上分析，概率公式可以推导为：

其中，N^j _i,k表示当平均速度为v_j时，需求功率从pⁱ _dem转移至p^k _dem的次数。N^j _i表示当平均速度为v_j时，需求功率从pⁱ _dem转移至其他需求功率的次数。p^j _i,k表示当平均速度为v_j时，需求功率从t时刻的pⁱ _dem在t+1时刻转变为p^k _dem的概率。

根据获取的概率确定概率转移矩阵。

获取车辆的系统状态变量。

获取插电式混合动力车辆能量管理模型。插电式混合动力车辆能量管理模型为以概率转移矩阵和系统状态变量为输入，以系统控制策略的控制MAP为输出的能量管理模型。

利用插电式混合动力车辆能量管理模型，根据车辆工况的概率转移矩阵和车辆的状态变量得到系统控制策略的控制MAP。

在上述获取插电式混合动力车辆能量管理模型之前还包括：

获取车辆的预设工况信息。

根据预设工况信息，利用工况的马尔科夫特性确定预设工况的概率转移矩阵。

获取车辆的预设系统状态变量。

根据预设系统状态变量确定与预设状态变量相对应的控制量。

以概率转移矩阵、预设系统状态变量为输入，以所确定的控制量为输出，采用Q学习算法对插电式混合动力车辆能量管理模型进行训练，得到训练后的插电式混合动力车辆能量管理模型。

基于Q学习的能量管理问题求解具体包括：

将训练工况信息、车辆模型状态量以及可能的控制量进行离散化处理，结合车辆模型特性通过估值函数对各个状态进行遍历评价，最终得到不同状态下采取不同行为的反馈奖赏值。

其中上标“*”代表最优。Q^*代表最优的Q值，s_t∈S是系统状态变量，a_t∈A是采取的动作(控制量)，γ∈[0,1]，γ是折扣因子，p_stst′,at代表在采取动作a_t时从状态s_t到s_t′的概率。在此方案中，状态变量与动作变量的集合分别表示为S＝{SOC(t)，Ah_eff(t)|0.2≤SOC(t)≤0.9，Ah_eff(t)＞0}和A＝{I_bat(t)|-144≤I_bat(t)≤150}。反馈奖励

为燃油消耗率，P_bat为电池功率，Ah_nom为标称状态下的电池电荷吞吐总量，标称状态为定义的一种状态，及电池电量SOC＝0.35，放电倍率为2.5C，即I_c＝2.5I_c。以及环境温度为δ＝25摄氏度时的状态，被定义为标称状态。

在训练时，Q学习算法不断迭代更新：

其中，Q(s,a)是累积动作值函数,ξ∈[0,1]是学习率，r_t为反馈奖励，a_t为当前时刻要采取的动作，a_t’代表下一时刻采取的动作，γ为学习率，s为状态变量的集合，a为当前采取的动作。

最终，Q学习算法中的最优化问题可以表示为：

在训练完成后，π^*(s)即为所确定的最优控制MAP。

相比于传统优化算法，Q学习算法分为训练与应用两个阶段，其中消耗大量时间的训练阶段可以由高解算能力的云计算系统承载，而应用阶段主要依赖训练完成所获取的控制MAP的插值计算，这就保证了它具有传统算法的最优性又解决了传统算法所面临的低解算效率的困境，为能量管理策略的在线运用提供了有力的支撑。

为兼顾电池寿命衰退，引入半经验电池寿命模型，电池容量衰退程度可以表示为：

其中，α、β均为拟合系数，E_a为电池活化能，η为折扣因子，I_c为电池充放电倍率，δ为环境温度，R_g为气体常数，z为幂指数，Ah为电荷吞吐量，eol为电池寿命终值。

此外，引入严重性因子进一步量化电池衰退程度：

其中，Ah_nom表征标称状态下的电池电荷吞吐总量，Ah_act为实际运行状态下电池电荷吞吐总量，I_nom(t)即为标称状态下电池的充放电电流，act为actual的缩写，代表实际运行条件下，电池的充放电电流。

最终，表征电池衰退程度的有效电荷吞吐量可以定义为：

经过离散化我们可以得到有效电荷吞吐量的离散化表达：

式中，t_k代表第k个时刻，t_k+1代表k时刻的下一个时刻，象征性的用来描述这个状态量的更新情况，ξ为定积分的表示，

就表示对时间积分，

为Ah_eff对时间的导数。

现在，将长期的电池老化指标Q_loss转化为了瞬时的另一评估变量

纳入优化框架中以表征电池寿命。

传统优化算法随着系统状态变量的增加计算负担将大大增加，使得在系统模型构建时不得不做出特殊的简化，这不仅影响模型精度也对能量管理策略所能考虑的性能指标产生了较大的限制。而Q学习算法在进行状态规划时主要依赖对控制MAP的插值，这为多目标状态参考的规划提供了巨大的技术支撑。

通过Q学习算法计算获取的控制MAP实际是一个4维图表，将特定时刻的工况信息(车速、需求功率)以及系统状态变量(SOC，Ah_eff)作为插值索引输入控制MAP，便可得到对应的最优控制量I_bat，而后将控制命令及对应时刻工况信息输入车辆模型，即可得到下一时刻的状态更新，而后再将这一状态值作为控制MAP下一时刻的反馈，同下一时刻的工况信息再次输入，如此反复循环即可得出相应的SOC和Ah_eff的状态控制轨迹。而后将对应的状态参考发送给MPC下层进行自适应跟踪，本发明提出松弛约束的跟踪方法，结合速度预测器，采用序列二次规划算法作为MPC的求解算法，完成MPC的滚动优化。

在每个采样时刻，通过序列二次规划算法对MPC进行滚动优化，而后选取优化控制序列中的首个元素作为控制命令，进行下层模型状态更新，最终将实际模型状态作为上层模型状态的初始值，进行下一滚动时域的优化。

上述过程具体可以概括为：

获取混合动力车辆当前的工况信息和当前的系统状态变量。

获取车辆模型。

利用车辆模型，根据当前的工况信息和当前的系统状态变量确定混合动力车辆的下一时刻的状态更新量。

以状态更新量为新的系统状态变量，重复步骤“利用车辆模型，根据当前的工况信息和当前的系统状态变量确定混合动力车辆的下一时刻的状态更新量”，并利用控制MAP不断确定与系统状态变量相对应的控制量。

将实际模型的更新状态反馈至上层作为控制MAP的插值索引，并速度预测信息进行新一轮的局部时域状态参考的规划，重复上述控制过程，完成对混合动力车辆能量的在线实时分层管理。

进一步为解决能量管理策略在线应用的难题，本发明选取5s为一个预测时域，将经过速度预测器所获取的工况信息用于上层轨迹规划，使得上述规划步骤在一个预测内实现滚动优化。而后，将每个滚动时域内所获取的最后一个状态值发送至下层作为控制参考，最终，相同时域的速度预测信息，上层发送至下层的控制参考输入MPC控制器，通过序列二次规划算法进行求解，完成下层状态更新，将更新的状态反馈至上层，作为初始状态值进行下一滚动时域的规划，如此反复实现在线MPC能量管理策略。

使用径向基函数神经网络进行一定时域的速度预测，通常设定该时域长度N_p等同于模型预测控制的控制域及预测域。径向基函数神经网络通常具有三层结构，分别为输入层，隐藏层，输出层。在使用该网络时有三个参数需要设定，分别为：方差，输出层权重，径向基函数中心，其关系可以表达为：

式中，Γ为高斯函数，N代表线性函数，μ、w和d分别为方差、基函数中心和权重因子，||·||为欧拉范数。

进行预测的时候就像这样，将历史工况信息输入神经网络，输出得到未来工况信息，即完成速度预测。

ζ代表RBF-NN输入输出间的非线性映射关系，v′是预测的速度，N_p是预测域长度。

为更好的实现自适应跟踪，采用的自适应约束方法表示如下：

其中，N_p为MPC预测域的长度，Δt为仿真时间，当下标i取1和2时，S_i分别表示SOC和Ah_eff，S_i，ref则表示其对应的参考曲线，C_bat，nom为电池标称容量。从公式中我们可以发现，ε能够根据参考曲线的跟随情况不断改变取值，当跟随偏差增大时，松弛因子随之增大以扩大系统优化的可行域，从而实现较好的自适应跟踪。该跟踪方式可以有效避免定权重跟踪的问题，即：当权重系数偏大时，跟随过紧能量管理策略性能显著下降。当权重系数偏小，跟随过松，无法对上层优化轨迹实现较号的跟随，从而导致策略性能不足。

因此，在线控制算法的代价函数为：

其中，ρ₁和ρ₂为外加惩戒函数的权重系数，ε₁和ε₂为自适应因子，N_p为预测域长度。

在本发明中，上述在线控制算法的代价函数可以细化为：

其中，

是燃油消耗率，P_bat是电池功率，I_bat是电池电流，Ah_nom是标称电池吞吐量，σ是严重性因子，w₁、w₂和w₃分别是油价、电价和电池更换价格。

在每个采样时刻，通过序列二次规划算法对MPC进行滚动优化，而后选取优化控制序列中的首个元素作为控制命令，进行下层模型状态更新，最终将实际模型模型状态作为上层模型状态的初始值，进行下一滚动时域的优化。

本发明所提供的技术方案相对于现有技术还具有以下优点：

1、本发明中Q学习算法作为学习类算法，与其他数值算法最大的区别就在于它分为两个阶段，即控制策略的训练与使用。其主要时间耗费在训练阶段，而它的训练可以通过云端等高解算能力的机组设备完成，并且在训练中Q学习算法充分考虑模型信息，训练完成的Q学习在作为状态参考规划器时是根据系统所处状态在控制MAP上插值的寻优的，插值寻优相比于其他基于优化的算法在进行上层状态规划时效率极快，且其得到结果的最优性能够由Q学习算法保证，这便极大的解决了算法解算效率与最优性的冲突，能够有效的减少对控制器的硬件要求，同时保证高效，最优的解算。而现有技术基于经验公式的SOC参考规划方法不包含模型信息，在面对非线性强约束多的模型时，表现欠佳。

2、本发明控制MAP的运用是基于插值的，当引入更多的状态参数(考虑车辆更多的性能，如电池寿命，排放，温度等)时其计算效率同样是能够保证的，这多状态参数轨迹规划提供了条件，有利于进一步提高模型构建精度，改善控制表现。而现有技术中基于迭代DP的状态规划器，DP网格划分极大的影响其规划结果，并且相比于Q学习的插值运用，DP的无法同时保证在线求解的最优性与高效性，且随着状态参数的增加，DP求解效率将出现指数倍的增加，这将极大的影响其在线应用的潜力。

3、本发明下层状态跟踪是基于松弛约束的跟踪方法，松弛因子会根据当前跟踪表现改变取值以保证跟踪效果，例如当跟踪偏大变大时，松弛因子也会随之变大以扩大算法可行域寻求最优解，从而保证MPC控制器的最优解算效果。而现有技术中并不能保证MPC控制器的最优解算效果。

对应于上述方法，本发明还提供了一种混合动力车辆在线实时分层能量管理系统。如图2所示，该系统包括：控制MAP获取模块200、工况信息和系统状态变量获取模块201、控制量确定模块202、控制轨迹生成模块203和能量管理模块204。

其中，控制MAP获取模块200用于获取混合动力车辆的系统控制策略的控制MAP。系统控制策略的控制MAP包括：多个索引值和与索引值相对应的控制量。索引值包括：工况信息和系统状态变量。控制量为电流值。工况信息包括：速度和功率需求。系统状态变量包括：电池电量百分比和电池的有效电荷吞吐量。

工况信息和系统状态变量获取模块201用于获取混合动力车辆当前的工况信息和系统状态变量。

控制量确定模块202用于利用控制MAP，根据工况信息和系统状态变量确定控制量。

控制轨迹生成模块203用于根据控制量生成系统状态变量的控制轨迹。

能量管理模块204用于根据系统状态变量的控制轨迹完成对混合动力车辆的能量管理。

作为本发明的另一实施例，系统还包括：车辆工况信息获取模块、概率转移矩阵确定模块、车辆系统状态变量获取模块、插电式混合动力车辆能量管理模型获取模块和控制MAP构建模块。

其中，车辆工况信息获取模块用于获取车辆工况信息。

概率转移矩阵确定模块用于根据工况信息确定车辆工况的概率转移矩阵。

车辆系统状态变量获取模块用于获取车辆的系统状态变量。

插电式混合动力车辆能量管理模型获取模块用于获取插电式混合动力车辆能量管理模型。插电式混合动力车辆能量管理模型为以概率转移矩阵和系统状态变量为输入，以系统控制策略的控制MAP为输出的能量管理模型。

控制MAP构建模块用于利用插电式混合动力车辆能量管理模型，根据车辆工况的概率转移矩阵和车辆的状态变量得到系统控制策略的控制MAP。

作为本发明的另一实施例，系统还包括：预设工况信息获取模块、预设工况概率转移矩阵确定模块、预设系统状态变量确定模块、预设控制量确定模块和插电式混合动力车辆能量管理模型训练模块。

预设工况信息获取模块用于获取车辆的预设工况信息。

预设工况概率转移矩阵确定模块用于根据预设工况信息，利用工况的马尔科夫特性确定预设工况的概率转移矩阵。

预设系统状态变量确定模块用于获取车辆的预设系统状态变量。

预设控制量确定模块用于根据预设系统状态变量确定与预设状态变量相对应的控制量。

插电式混合动力车辆能量管理模型训练模块用于以概率转移矩阵、预设系统状态变量为输入，以所确定的控制量为输出，采用Q学习算法对插电式混合动力车辆能量管理模型进行训练，得到训练后的插电式混合动力车辆能量管理模型。

作为本发明的另一实施例，上述控制量确定模块具体包括：车辆模型获取单元、状态更新量确定单元和控制量确定单元。

其中，车辆模型获取单元用于获取车辆模型。

状态更新量确定单元用于利用车辆模型，根据当前的工况信息和当前的系统状态变量确定混合动力车辆的下一时刻的状态更新量。

控制量确定单元用于以状态更新量为新的系统状态变量，重复步骤“利用车辆模型，根据当前的工况信息和当前的系统状态变量确定混合动力车辆的下一时刻的状态更新量”，并利用控制MAP不断确定与系统状态变量相对应的控制量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种混合动力车辆在线实时分层能量管理方法，其特征在于，包括：

获取混合动力车辆的系统控制策略的控制MAP；所述系统控制策略的控制MAP包括：多个索引值和与所述索引值相对应的控制量；所述索引值包括：工况信息和系统状态变量；所述控制量为电流值；所述工况信息包括：速度和功率需求；所述系统状态变量包括：电池电量百分比和电池的有效电荷吞吐量；

获取所述混合动力车辆当前的工况信息和系统状态变量；

利用所述控制MAP，根据所述工况信息和所述系统状态变量确定控制量；

根据所述控制量生成系统状态变量的控制轨迹；

根据所述系统状态变量的控制轨迹完成对所述混合动力车辆的能量管理。

2.根据权利要求1所述的混合动力车辆在线实时分层能量管理方法，其特征在于，所述控制MAP的构建过程具体包括：

获取车辆工况信息；

根据所述工况信息确定车辆工况的概率转移矩阵；

获取车辆的系统状态变量；

获取插电式混合动力车辆能量管理模型；所述插电式混合动力车辆能量管理模型为以概率转移矩阵和系统状态变量为输入，以系统控制策略的控制MAP为输出的能量管理模型；

利用所述插电式混合动力车辆能量管理模型，根据所述车辆工况的概率转移矩阵和所述车辆的状态变量得到系统控制策略的控制MAP。

3.根据权利要求1所述的混合动力车辆在线实时分层能量管理方法，其特征在于，在所述获取插电式混合动力车辆能量管理模型之前还包括：

获取车辆的预设工况信息；

根据所述预设工况信息，利用工况的马尔科夫特性确定预设工况的概率转移矩阵；

获取车辆的预设系统状态变量；

根据所述预设系统状态变量确定与所述预设状态变量相对应的控制量；

以所述概率转移矩阵、预设系统状态变量为输入，以所确定的控制量为输出，采用Q学习算法对所述插电式混合动力车辆能量管理模型进行训练，得到训练后的插电式混合动力车辆能量管理模型。

4.根据权利要求1所述的混合动力车辆在线实时分层能量管理方法，其特征在于，所述利用所述控制MAP，根据所述工况信息和所述系统状态变量确定控制量，具体包括：

获取所述混合动力车辆当前的工况信息和当前的系统状态变量；

获取车辆模型；

利用所述车辆模型，根据所述当前的工况信息和当前的系统状态变量确定所述混合动力车辆的下一时刻的状态更新量；

以所述状态更新量为新的系统状态变量，重复步骤“利用所述车辆模型，根据所述当前的工况信息和当前的系统状态变量确定所述混合动力车辆的下一时刻的状态更新量”，并利用所述控制MAP不断确定与系统状态变量相对应的控制量。

5.一种混合动力车辆在线实时分层能量管理系统，其特征在于，包括：

控制MAP获取模块，用于获取混合动力车辆的系统控制策略的控制MAP；所述系统控制策略的控制MAP包括：多个索引值和与所述索引值相对应的控制量；所述索引值包括：工况信息和系统状态变量；所述控制量为电流值；所述工况信息包括：速度和功率需求；所述系统状态变量包括：电池电量百分比和电池的有效电荷吞吐量；

工况信息和系统状态变量获取模块，用于获取所述混合动力车辆当前的工况信息和系统状态变量；

控制量确定模块，用于利用所述控制MAP，根据所述工况信息和所述系统状态变量确定控制量；

控制轨迹生成模块，用于根据所述控制量生成系统状态变量的控制轨迹；

能量管理模块，用于根据所述系统状态变量的控制轨迹完成对所述混合动力车辆的能量管理。

6.根据权利要求5所述的混合动力车辆在线实时分层能量管理系统，其特征在于，所述系统还包括：

车辆工况信息获取模块，用于获取车辆工况信息；

概率转移矩阵确定模块，用于根据所述工况信息确定车辆工况的概率转移矩阵；

车辆系统状态变量获取模块，用于获取车辆的系统状态变量；

插电式混合动力车辆能量管理模型获取模块，用于获取插电式混合动力车辆能量管理模型；所述插电式混合动力车辆能量管理模型为以概率转移矩阵和系统状态变量为输入，以系统控制策略的控制MAP为输出的能量管理模型；

控制MAP构建模块，用于利用所述插电式混合动力车辆能量管理模型，根据所述车辆工况的概率转移矩阵和所述车辆的状态变量得到系统控制策略的控制MAP。

7.根据权利要求5所述的混合动力车辆在线实时分层能量管理系统，其特征在于，所述系统还包括：

预设工况信息获取模块，用于获取车辆的预设工况信息；

预设工况概率转移矩阵确定模块，用于根据所述预设工况信息，利用工况的马尔科夫特性确定预设工况的概率转移矩阵；

预设系统状态变量确定模块，用于获取车辆的预设系统状态变量；

预设控制量确定模块，用于根据所述预设系统状态变量确定与所述预设状态变量相对应的控制量；

插电式混合动力车辆能量管理模型训练模块，用于以所述概率转移矩阵、预设系统状态变量为输入，以所确定的控制量为输出，采用Q学习算法对所述插电式混合动力车辆能量管理模型进行训练，得到训练后的插电式混合动力车辆能量管理模型。

8.根据权利要求5所述的混合动力车辆在线实时分层能量管理系统，其特征在于，所述控制量确定模块具体包括：

车辆模型获取单元，用于获取车辆模型；

状态更新量确定单元，用于利用所述车辆模型，根据所述当前的工况信息和当前的系统状态变量确定所述混合动力车辆的下一时刻的状态更新量；

控制量确定单元，用于以所述状态更新量为新的系统状态变量，重复步骤“利用所述车辆模型，根据所述当前的工况信息和当前的系统状态变量确定所述混合动力车辆的下一时刻的状态更新量”，并利用所述控制MAP不断确定与系统状态变量相对应的控制量。

Images