CN111267831B - 一种混合动力车辆智能变时域模型预测能量管理方法 - Google Patents

Abstract

本发明公开了一种混合动力车辆智能变时域模型预测能量管理方法，属于插电式混合动力汽车能量管理领域，所述方法主要包括：建立双神经网络工况预测模型，进一步建立基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统；利用深度确定性策略梯度（DDPG）算法，建立DDPG控制器；将上述所构建模型结合，建立一种混合动力车辆智能变时域模型预测能量管理模型，对模型进行训练；汽车行驶时，获取汽车的相关状态与交通状况信息作用于已训练模型，实现了并联式混合动力车辆智能变时域MPC的能量管理。采用本发明，可以有效解决采用固定预测时域的MPC对工况适应性差的问题，有效提高能量管理策略的控制效果，进一步提高车辆的燃油经济性。

Description

一种混合动力车辆智能变时域模型预测能量管理方法

技术领域

本发明属于插电式混合动力汽车能量管理领域，尤其涉及一种混合动力车辆智能变时域模型预测能量管理方法。

背景技术

近些年，汽车行业快速发展，给人们的出行带来了极大的便利，但是也引起了环境污染与资源短缺等问题。为了解决这些问题，汽车行业不断改革创新，积极推动新能源汽车技术的发展，尤其是混合动力汽车。混合动力汽车分为传统的混合动力汽车(HEV)和插电式混合动力汽车(PHEV)，与传统的混合动力汽车相比，插电式混合动力汽车具有大容量的动力电池、可直接接入电网充电和可以纯电动行驶的优点，因此被重点发展。PHEV具有多个能量源，在不同行驶工况下，应合理协调各个动力源能量供给分配情况，使发动机与电机保持高效率区间运转，提高燃油经济性，因此在PHEV发展中，应该对能量管理策略进行合理的制定，整车的性能与策略的好坏有直接联系。

现如今，在PHEV上应用的能量管理策略有两类：一是基于规则的能量管理策略，二是基于优化的能量管理策略。基于规则的能量管理策略需要依赖于专家经验对规则进行制定，对工况的适应性不好，难以实现最优解。基于优化的能量管理策略有两类：一是基于全局优化的能量管理策略，二是基于瞬时优化的能量管理策略。基于全局优化的能量管理策略可以实现全局最优解，但计算时间长，不可用于实时控制；基于瞬时优化的能量管理策略，计算时间短，所以广泛应用于混合动力汽车的能量管理中，实现在线实时控制，尤其是模型预测控制方法。

模型预测控制方法基于未来行驶工况，在预测时域内实现对未来车辆转矩需求的滚动优化，以实时最优的控制策略逼近全局最优的控制效果，但是模型预测控制方法均固定的预测时域，研究人员依靠经验或者进行试验对其进行确定，采用固定预测时域的MPC方法无法很好地适应工况的变化，难以保证车辆最优的燃油经济性。在汽车实际行驶过程中，天气条件与道路交通复杂多变，同时驾驶员行为具有不确定性、多样性，这些随机性问题极大地增加了模型预测控制器控制参数的调节难度。因此，在汽车实际行驶时，由于其行驶工况是变化的，故最优的预测时域也会随之变化，合理地在线实时调整预测时域的长度，可以有效提高基于模型预测控制的能量管理策略的控制效果，提高汽车整车性能。

发明内容

为了解决上述本领域中存在的技术问题，本发明提供了一种混合动力车辆智能变时域模型预测能量管理方法，在保证汽车动力性的前提下，通过DDPG控制器在线实时地调整预测时域长度N_p，提高对工况的适应性，进而更加合理地分配电机与发动机所提供的转矩，使电机与发动机始终在高效率区间运作，降低燃油消耗量，提高燃油经济性。

为了实现以上目的，本发明采用以下技术方案：

一种混合动力车辆智能变时域模型预测能量管理方法，包括以下步骤：

步骤1：建立双神经网络工况预测模型，进一步建立基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统；

步骤2：利用深度确定性策略梯度(DDPG)算法，建立DDPG控制器；

步骤3：将所构建的基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统与DDPG控制器结合，建立基于DDPG的并联式混合动力车辆变时域模型预测能量管理模型，并对模型进行训练；

步骤4：通过双神经网络工况预测模型，利用历史工况对汽车未来行驶工况进行准确预测，作用于已训练模型，通过MPC输出动作控制车辆行驶，同时获取汽车的相关状态和交通状况信息，作用于DDPG控制器，在线实时调整预测时域长度N_p。

进一步地，所述步骤1中的建立双神经网络工况预测模型，进一步建立基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统，具体包括以下步骤：

(1)建立双神经网络工况预测模型；

(2)构建被控对象并联式混合动力汽车模型(PHEV)；

(3)构建MPC控制器。

上述步骤(1)中的建立双神经网络工况预测模型，具体包括：其中双神经网络工况预测模型包括两个神经网络，两者均采用径向基神经网络(RBFNN)：一是车速预测神经网络，即将历史车速序列v_h作用于车速预测神经网络，输出预测时域N_p内的未来车速序列v₁；二是车速误差预测神经网络，即将历史真实车速与预测车速之间的误差Δv_h作用于车速误差预测神经网络，输出预测时域N_p内的未来车速误差序列Δv；将根据车速预测神经网络预测出的未来车速序列v₁与根据车速误差预测神经网络预测出的未来车速误差序列Δv进行叠加得到更为准确的未来车速预测序列v_f。

上述步骤(3)中的构建MPC控制器，具体包括：其中MPC有三个要素：预测模型、滚动优化和反馈校正；在滚动优化过程中，MPC控制器的优化算法选用动态规划算法，假设当前时刻为t₀，则在当前预测时域N_p内，即区间[t₀，t₀+N_p]，优化目标和约束条件为：

上式中，为在预测时域[t₀，t₀+N_p]内的成本函数，即燃油消耗量；x(t)为当前时刻的状态变量，即动力电池荷电状态SOC；u(t)为当前时刻的控制变量，此处为扭矩分配系数，即电机提供转矩与车辆总需求转矩比值；x_min与x_max为状态变量的上下限；u_min与u_max为控制变量的上下限；H(x(t)，u(t))为在当前时刻下的成本函数，即当前时刻下油耗。

进一步地，所述步骤2中的利用深度确定性策略梯度(DDPG)算法，建立DDPG控制器，具体包括以下步骤：

步骤A：确定DDPG中的观测量(observation)、控制量(action)、程序提前终止条件(isdone)和定义奖励函数(reward)；

步骤B：建立动作神经网络和评价神经网络，完成对DDPG控制器的构建。

上述步骤A中的确定DDPG中的观测量(observation)、控制量(action)和程序提前终止条件(isdone)，具体包括：观测量(observation)有八个：分别为动力电池荷电状态SOC、当前时刻发动机的燃油消耗量Δfuel、当前时刻汽车车速v、当前时刻汽车加速度a、坡度、当前时刻预测车速v_p、与前车相对车速v_r和与前车距离d_r；控制量(action)一个：模型预测控制预测时域长度N_p；程序终止条件(isdone)有三个：一是模型预测控制单步计算时间T_c，考虑到算法的实时性，当T_c≥0.5s时，程序提前终止运行，此刻isdone＝1，否则为0；二是动力电池荷电状态SOC，考虑到动力电池SOC的限制，当SOC＜0.3时，程序提前终止运行，此刻isdone＝1，否则为0；三是考虑安全性能，在当前车速v和与前车相对车速v_r下，当与前车距离d_r＜d_std，程序提前终止运行，此刻isdone＝1，否则为0，其中d_std为在当前车速v和与前车相对车速v_r下的最小安全距离，是关于v与v_r的函数，定义奖励函数，所述奖励函数reward的具体计算公式为：

reward＝-100Δfuel-10M_t-8M_s-20M_d-0.1|e_v|

上式中，Δfuel为当前时刻下发动机的燃油消耗量；-10M_t为惩罚项，如果T_c≥0.5s时，此刻M_t＝1，对奖励函数进行惩罚，否则M_t＝0；-8M_s为惩罚项，如果SOC＜0.3，此刻M_s＝1，对奖励函数进行惩罚，否则M_s＝0；-20M_d为惩罚项，在当前车速v和与前车相对车速v_r下，如果d_r＜d_std，此刻M_s＝1，对奖励函数进行惩罚，否则M_d＝0；e_v为预测车速v_p与当前实际行驶车速v的偏差。

上述步骤B中建立动作神经网络和评价神经网络，完成对DDPG控制器的构建，具体包括：动作神经网络包括动作估计神经网络和动作目标神经网络，二者内部结构一样；评价网络包括评价估计神经网络和评价目标神经网络，二者内部结构一样；在建立动作神经网络时，其神经网络的输入为观测量(observation)，即动力电池荷电状态SOC、当前时刻发动机的燃油消耗量Δfuel、当前时刻汽车车速v、当前时刻汽车加速度a、坡度、当前时刻预测车速v_p、与前车相对车速v_r和与前车距离d_r，输出为控制量(action)，即模型预测控制预测时域长度N_p；在建立评价神经网络时，其中输入有两个：一是观测量(observation)，二是控制量(action)，输出为Q值。

进一步地，所述步骤3中的将所构建的基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统与DDPG控制器结合，建立基于DDPG的并联式混合动力车辆变时域模型预测能量管理模型，并对模型进行训练，具体包括以下步骤：

Ⅰ：初始化动作神经网络、评价神经网络和经验池Memory batch空间R；

Ⅱ：对当前网络加上高斯扰动，进行动作探索，当前状态为s_t，作用当前动作a_t，观察当前回报值r_t，然后观察下一个状态s_t+1，将经验(s_t，a_t，r_t，s_t+1)保存到经验池Memorybatch空间R；

III：从经验池Memory batch空间R中随机选取部分样本，用(s_j，a_j，r_j，s_j)表示，然后训练更新目标网络，学习过程为：

y_j＝r_j+γQ′(s_j+1，u′(s_j+1|θ^u′)|θ^Q′)

上式中y_j为标签；r_j为学习过程中的回报；γ为折扣因子；θ^u′与θ^Q′为目标权重；

IV：定义Loss函数，用于网络更新，Loss函数为：

上式中L表示损失函数，N为元组数据的个数。

Ⅴ：计算策略梯度：

上式中，为损失函数Loss关于θ^Q的梯度，通过动作网络的方法调整权重值。

VI：更新目标网络权重，评价网络权重更新：τθ^Q+(1-τθ^Q′)→θ^Q′；动作网络权重更新：τθ^u+(1-τθ^u′)→θ^u′，其中τ为更新率，τ＜＜1，由此构建一个收敛的神经网络。

VII：当训练步数完成后，DDPG模型训练完成。

进一步地，所述步骤4中的通过双神经网络工况预测模型，利用历史工况对汽车未来行驶工况进行准确预测，作用于已训练模型，通过MPC输出动作控制车辆行驶，同时获取汽车的相关状态和交通状况信息，作用于DDPG控制器，在线实时调整预测时域长度N_p，具体包括以下步骤：

第一步：通过相关传感器获取汽车的历史车速序列与历史车速误差序列，通过双神经网络工况预测模型输出预测时域N_p内更为准确的未来车速预测序列；

第二步：将获取的未来车速工况作用于MPC控制器，通过动态规划算法求解并输出动作控制PHEV运行；

第三步：获取当前时刻有关车辆状态的有关信息以及通过V2V、V2I和ITS获取有关交通状况的相关信息，共同作用于已训练完成的DDPG控制器，通过DDPG控制器输出预测时域N_p，在线实时调节MPC预测时域的长度N_p，完成对预测时域N_p的更新；

第四步：如此重复第一步至第三步，直至汽车完成行驶任务。

本发明实施的技术方案带来的有益效果至少包括：

本发明提供了一种混合动力车辆智能变时域模型预测能量管理方法，首先，建立双神经网络工况预测模型，进一步建立基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统，所采用的神经网络采用径向基神经网络(RBFNN)，确定了MPC中控制算法采用动态规划算法；其次，用深度确定性策略梯度(DDPG)算法，建立DDPG控制器；然后，将所构建的基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统与DDPG控制器结合，建立基于DDPG的并联式混合动力车辆变时域模型预测能量管理模型，并对模型进行训练；最后，通过双神经网络工况预测模型，对未来工况进行预测，同时获取汽车的相关状态与交通状况信息作用于已训练模型，以在线实时自适应调节模型预测控制的预测时域长度N_p。本发明提供的方法，可以利用相关传感器、V2V、V2I和ITS等获取当前时刻DDPG控制器有关需要输入的信息参数，并且基于当前时刻参数，通过DDPG控制器在线实时调整模型预测控制的预测时域长度N_p，提高了能量管理算法的鲁棒性，提高了对工况的适应性，在保证汽车动力性的前提下，进一步的减小汽车的燃油消耗量，以达到最佳燃油经济性效果。

附图说明

为了更清楚地说明本发明中的技术方案，下面将对本发明中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其它附图。

图1是本发明实施例中提供的一种混合动力车辆智能变时域模型预测能量管理结构示意图。

图2是本发明实施例中提供的一种混合动力车辆智能变时域模型预测能量管理设计方法流程示意图。

图3是本发明实施例中提供的双神经网络工况预测系统结构示意图。

图4是本发明实施例中提供的DDPG算法结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合说明书附图对本发明的实施方式做进一步地详细叙述。

图1是本发明实施例中提供的一种混合动力车辆智能变时域模型预测能量管理结构示意图，请参见图1，根据结构示意图，其基本工作原理是：通过相关传感器获取汽车的历史车速序列与历史车速误差序列，通过双神经网络工况预测模型输出更为准确的未来车速预测序列，将获取的未来车速预测工况作用于MPC控制器，运用动态规划算法进行，并输出动作对被控对象插电混合动力汽车进行控制，同时传感器获取当前时刻有关车辆状态的有关信息以及通过V2V、V2I和ITS获取有关交通状况的相关信息，共同作用于已训练完成的DDPG控制器，DDPG控制器通过当前时刻观测量，输出预测时域N_p，在线实时调节MPC预测时域的长度N_p，完成对预测时域N_p的更新，如此重复以上过程，直至车辆完成行驶任务。

图2是本发明实施例中提供的一种混合动力车辆智能变时域模型预测能量管理设计方法流程示意图，请参见图2，按照流程示意图，完成对混合动力车辆智能变时域模型预测能量管理结构系统的设计。

步骤201，建立双神经网络工况预测模型，进一步建立基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统。

建立双神经网络工况预测模型，进一步建立基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统时，具体包括以下步骤：

(1)建立双神经网络工况预测模型；

(2)构建被控对象并联式混合动力汽车模型(PHEV)；

(3)构建MPC控制器。

对上述步骤201中的步骤(1)中的建立双神经网络工况预测模型，图3是本发明实施例中提供的双神经网络工况预测系统结构示意图，请参见图3，其基本工作原理：其中双神经网络工况预测模型包括两个神经网络，二者均采用径向基神经网络(RBFNN)：一是车速预测神经网络，即将历史车速序列v_h作用于车速预测神经网络，输出预测时域N_p内的未来车速序列v₁；二是车速误差预测神经网络，即将历史真实车速与预测车速之间的误差Δv_h作用于车速误差预测神经网络，输出预测时域N_p内的未来车速误差序列Δv，将根据车速预测神经网络预测出的未来车速序列v₁与根据车速误差预测神经网络预测出的未来车速误差序列Δv进行叠加得到更为准确的未来车速预测序列v_f。在双神经网络工况预测模型的构建完成后，采用相关训练工况数据完成对双神经网络工况预测模型的训练。

对上述步骤201中的步骤(2)中的构建被控对象并联式混合动力汽车模型(PHEV)，被控对象包括：电机、电池、发动机和变速器等。

对上述步骤201中的步骤(3)中的构建MPC控制器，其中MPC有三个要素：预测模型、滚动优化和反馈校正；在滚动优化过程中，MPC控制器的优化算法选用动态规划算法，假设当前时刻为t₀，则在当前预测时域N_p内，即区间[t₀，t₀+N_p]，优化目标和约束条件为：

上式中，为在预测时域[t₀，t₀+N_p]内的成本函数，即燃油消耗量；x(t)为当前时刻的状态变量，即动力电池荷电状态SOC；u(t)为当前时刻的控制变量，此处为扭矩分配系数，即电机提供转矩与车辆总需求转矩比值；x_min与x_max为状态变量的上下限，此处x_min取0.2，x_max取0.9；u_min与u_max为控制变量的上下限，此处u_min取-1，u_max取1；H(x(t)，u(t))为在当前时刻下的成本函数，即当前时刻下油耗。

步骤202，利用深度确定性策略梯度(DDPG)算法，建立DDPG控制器。

图4是本发明实施例中提供的DDPG算法结构示意图，请参见图4，其基本工作原理：其中策略网络是动作网络(Actor)，用于输出动作；值函数网络是评价网络(Critic)，用来评价动作网络的好坏，并且同时生成TD误差信号指导动作网络和评价网络的更新。动作网络的输入是状态，输出是动作，以DNN进行函数拟合，对连续动作NN输出层可以用tanh或sigmod，离散动作以softmax作为输出层达到概率时输出的效果；评价网络输入为状态和动作，输出为Q值。

在构建DDPG控制器时，具体包括以下步骤：

步骤A：确定DDPG中的观测量(observation)、控制量(action)、程序提前终止条件(isdone)和定义奖励函数(reward)；

步骤B：建立动作神经网络和评价神经网络，完成对DDPG控制器的构建。

对上述步骤202中的步骤A中的确定DDPG中的观测量(observation)、控制量(action)和程序提前终止条件(isdone)，几个参数具体包括：观测量(observation)有八个：分别为动力电池荷电状态SOC、当前时刻发动机的燃油消耗量Δfuel、当前时刻汽车车速v、当前时刻汽车加速度a、坡度、当前时刻预测车速v_p、与前车相对车速v_r和与前车距离d_r；控制量(action)一个：模型预测控制预测时域长度N_p；程序终止条件(isdone)有三个：一是模型预测控制单步计算时间T_c，考虑到算法的实时性，当T_c≥0.5s时，程序提前终止运行，此刻isdone＝1，否则为0；二是动力电池荷电状态SOC，考虑到动力电池SOC的限制，当SOC＜0.3时，程序提前终止运行，此刻isdone＝1，否则为0；三是考虑安全性能，在当前车速v和与前车相对车速v_r下，当与前车距离d_r＜d_std，程序提前终止运行，此刻isdone＝1，否则为0，其中d_std为在当前车速v和与前车相对车速v_r下的最小安全距离，是关于v与v_r的函数，定义奖励函数，所述奖励函数reward的具体计算公式为：

reward＝-100Δfuel-10M_t-8M_s-20M_d-0.1|e_v|

上式中，Δfuel为当前时刻下发动机的燃油消耗量；-10M_t为惩罚项，如果T_c≥0.5s时，此刻M_t＝1，对奖励函数进行惩罚，否则M_t＝0；-8M_s为惩罚项，如果SOC＜0.3，此刻M_s＝1，对奖励函数进行惩罚，否则M_s＝0；-20M_d为惩罚项，在当前车速v和与前车相对车速v_r下，如果d_r＜d_std，此刻M_s＝1，对奖励函数进行惩罚，否则M_d＝0；e_v为预测车速v_p与当前实际行驶车速v的偏差。

对上述步骤202中的步骤B中建立动作神经网络和评价神经网络，完成对DDPG控制器的构建，具体包括：动作神经网络包括动作估计神经网络和动作目标神经网络，二者内部结构一样；评价网络包括评价估计神经网络和评价目标神经网络，二者内部结构一样；在建立动作神经网络时，其神经网络的输入为观测量(observation)，即动力电池荷电状态SOC、当前时刻发动机的燃油消耗量Δfuel、当前时刻汽车车速v、当前时刻汽车加速度a、坡度、当前时刻预测车速v_p、与前车相对车速v_r和与前车距离d_r，输出为控制量(action)，即模型预测控制预测时域长度N_p；在建立评价神经网络时，其中输入有两个：一是观测量(observation)，二是控制量(action)，输出为Q值。

步骤203，将所构建的基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统与DDPG控制器结合，建立基于DDPG的并联式混合动力车辆变时域模型预测能量管理模型，并对模型进行训练。

在对所构建的模型进行训练时，具体包括以下步骤：

I：初始化动作神经网络、评价神经网络和经验池Memory batch空间R；

II：对当前网络加上高斯扰动，进行动作探索，当前状态为s_t，作用当前动作a_t，观察当前回报值r_t，然后观察下一个状态s_t+1，将经验(s_t，a_t，r_t，s_t+1)保存到经验池Memorybatch空间R；

III：从经验池Memory batch空间R中随机选取部分样本，用(s_j，a_j，r_j，s_j)表示，然后训练更新目标网络，学习过程为：

y_j＝r_j+γQ′(s_j+1，u′(s_j+1|θ^u′)|θ^Q′)

上式中y_j为标签；r_j为学习过程中的回报；γ为折扣因子；θ^u′与θ^Q′为目标权重；

IV：定义Loss函数，用于网络更新，Loss函数为：

上式中L表示损失函数，N为元组数据的个数。

V：计算策略梯度：

上式中，为损失函数Loss关于θ^Q的梯度，通过动作网络的方法调整权重值。

VI：更新目标网络权重，评价网络权重更新：τθ^Q+(1-τθ^Q′)→θ^Q′；动作网络权重更新：τθ^u+(1-τθ^u′)→θ^u′，其中τ为更新率，τ＜＜1，由此构建一个收敛的神经网络。

VII：当训练步数完成后，DDPG模型训练完成。

步骤204，通过双神经网络工况预测模型，利用历史工况对汽车未来行驶工况进行准确预测，作用于以训练模型，通过MPC输出动作控制车辆行驶，同时获取汽车的相关状态与交通状况信息，作用于DDPG控制器，在线实时调整预测时域长度N_p，具体包括以下步骤：

第一步：通过相关传感器获取汽车的历史车速序列与历史车速误差序列，通过双神经网络工况预测模型输出预测时域N_p内更为准确的未来车速预测序列；

第二步：将获取的未来车速工况作用于MPC控制器，通过动态规划算法求解并输出动作控制PHEV运行；

第三步：获取当前时刻有关车辆状态的有关信息以及通过V2V/V2I/ITS获取有关交通状况的相关信息，共同作用于已训练完成的DDPG控制器，通过DDPG控制器输出预测时域N_p，在线实时调节MPC预测时域的长度N_p，完成对预测时域N_p的更新；

第四步：如此重复第一步至第三步，直至汽车完成行驶任务。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种混合动力车辆智能变时域模型预测能量管理方法，其特征在于：包括以下步骤：

步骤1：建立双神经网络工况预测模型，进一步建立基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统；具体包括：

步骤1.1，建立双神经网络工况预测模型；

步骤1.2，构建被控对象并联式混合动力汽车模型PHEV；

步骤1.3，构建MPC控制器；

所述步骤1.3中构建MPC控制器，具体包括：MPC控制器有三个要素：预测模型、滚动优化和反馈校正；在滚动优化过程中，MPC控制器的优化算法选用动态规划算法，

设当前时刻为t₀，在当前预测时域N_p内，即区间[t₀，t₀+N_p]，优化目标和约束条件为：

上式(1)中，为在预测时域[t₀，t₀+N_p]内的成本函数，即燃油消耗量；x(t)为当前时刻的状态变量，即动力电池荷电状态SOC；u(t)为当前时刻的控制变量，此处为扭矩分配系数，即电机提供转矩与车辆总需求转矩比值；x_min与x_max为状态变量的上下限；u_min与u_max为控制变量的上下限；H(x(t)，u(t))为在当前时刻下的成本函数，即当前时刻下油耗；

步骤2：利用深度确定性策略梯度DDPG算法，建立DDPG控制器；

步骤3：将所构建的基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统与DDPG控制器结合，建立基于DDPG的并联式混合动力车辆变时域模型预测能量管理模型，并对模型进行训练；

步骤4：通过双神经网络工况预测模型，利用历史工况对汽车未来行驶工况进行准确预测，作用于已训练模型，通过MPC输出动作控制车辆行驶，同时获取汽车的相关状态和交通状况信息，作用于DDPG控制器，在线实时调整预测时域长度N_p。

2.根据权利要求1所述的混合动力车辆智能变时域模型预测能量管理方法，其特征在于：通过DDPG控制器用于在线实时调整模型预测控制器MPC的预测时域长度N_p。

3.根据权利要求1所述的混合动力车辆智能变时域模型预测能量管理方法，其特征在于：所述步骤1.1中建立双神经网络工况预测模型，具体包括：其中双神经网络工况预测模型包括两个神经网络：一是车速预测神经网络，即将历史车速序列v_h作用于车速预测神经网络，输出预测时域N_p内的未来车速序列v₁；二是车速误差预测神经网络，即将历史真实车速与预测车速之间的误差Δv_h作用于车速误差预测神经网络，输出预测时域N_p内的未来车速误差序列Δv，将根据车速预测神经网络预测出的未来车速序列v₁与根据车速误差预测神经网络预测出的未来车速误差序列Δv进行叠加得到更为准确的未来车速预测序列v_f。

4.根据权利要求1所述的混合动力车辆智能变时域模型预测能量管理方法，其特征在于：所述步骤2中的利用深度确定性策略梯度DDPG算法，建立DDPG控制器，具体包括：

步骤2.1：确定DDPG中的观测量observation、控制量action、程序提前终止条件isdone和定义奖励函数reward；

步骤2.2：建立动作神经网络和评价神经网络，完成对DDPG控制器的构建。

5.根据权利要求4所述的混合动力车辆智能变时域模型预测能量管理方法，其特征在于：所述步骤2.1中的确定DDPG中的观测量observation、控制量action和程序提前终止条件isdone，具体包括：观测量observation有八个：分别为动力电池荷电状态SOC、当前时刻发动机的燃油消耗量Δfuel、当前时刻汽车车速v、当前时刻汽车加速度a、坡度、当前时刻预测车速v_p、与前车相对车速v_r和与前车距离d_r；控制量action一个：模型预测控制预测时域长度N_p；程序终止条件isdone有三个：一是模型预测控制单步计算时间T_c，考虑到算法的实时性，当T_c≥0.5s时，程序提前终止运行，此刻isdone＝1，否则为0；二是动力电池荷电状态SOC，考虑到动力电池SOC的限制，当SOC＜0.3时，程序提前终止运行，此刻isdone＝1，否则为0；三是考虑安全性能，在当前车速v和与前车相对车速v_r下，当与前车距离d_r＜d_std，程序提前终止运行，此刻isdone＝1，否则为0，其中d_std为在当前车速v和与前车相对车速v_r下的最小安全距离，是关于v与v_r的函数，定义奖励函数，所述奖励函数reward的具体计算公式为：

reward＝-100Δfuel-10M_t-8M_s-20M_d-0.1|e_v| (2)

上式(2)中，Δfuel为当前时刻下发动机的燃油消耗量；-10M_t为惩罚项，如果T_c≥0.5s时，此刻M_t＝1，对奖励函数进行惩罚，否则M_t＝0；-8M_s为惩罚项，如果SOC＜0.3，此刻M_s＝1，对奖励函数进行惩罚，否则M_s＝0；-20M_d为惩罚项，在当前车速v和与前车相对车速v_r下，如果d_r＜d_std，此刻M_s＝1，对奖励函数进行惩罚，否则M_d＝0；e_v为预测车速v_p与当前实际行驶车速v的偏差。

6.根据权利要求4所述的混合动力车辆智能变时域模型预测能量管理方法，其特征在于：所述步骤2.2中的建立动作神经网络和评价神经网络，完成对DDPG控制器的构建，具体包括：动作神经网络包括动作估计神经网络和动作目标神经网络，二者结构一致；评价网络包括评价估计神经网络和评价目标神经网络，二者结构一致；在建立动作神经网络时，其神经网络的输入为观测量observation，输出为控制量action；在建立评价神经网络时，其输入有两个：一是观测量observation，二是控制量action，输出为Q值。

7.根据权利要求1所述的混合动力车辆智能变时域模型预测能量管理方法，其特征在于：所述步骤3中的将所构建的基于双神经网络工况预测的MPC的并联式混合动力车辆能量管理系统与DDPG控制器结合，建立基于DDPG的并联式混合动力车辆变时域模型预测能量管理模型，并对模型进行训练，训练过程包括：

Ⅰ：初始化动作神经网络、评价神经网络和经验池Memory batch空间R；

Ⅱ：对当前网络加上高斯扰动，进行动作探索，当前状态为s_t，作用当前动作a_t，观察当前回报值r_t，然后观察下一个状态s_t+1，将经验(s_t，a_t，r_t，s_t+1)保存到经验池Memory batch空间R；

III：从经验池Memory batch空间R中随机选取部分样本，用(s_j，a_j，r_j，s_j)表示，然后训练更新目标网络，学习过程为：

y_j＝r_j+γQ′(S_j+1，u′(S_j+1|θ^u′)|θ^Q′) (3)

上式(3)中y_j为标签；r_j为学习过程中的回报；γ为折扣因子；θ^u′与θ^Q′为目标权重；

Ⅳ：定义Loss函数，用于网络更新，Loss函数为：

Ⅴ：计算策略梯度：

VI：更新目标网络权重，评价网络权重更新：τθ^Q+(1-τθ^Q′)→θ^Q′；动作网络权重更新：τθ^u+(1-τθ^u′)→θ^u′。

Ⅶ：当训练步数完成后，DDPG模型训练完成。

8.根据权利要求1所述的混合动力车辆智能变时域模型预测能量管理方法，其特征在于：所述步骤4中的通过双神经网络工况预测模型，利用历史工况对汽车未来行驶工况进行准确预测，作用于已训练模型，通过MPC输出动作控制车辆行驶，同时获取汽车的相关状态和交通状况信息，作用于DDPG控制器，在线实时调整预测时域长度N_p，具体包括以下步骤：

第一步：通过相关传感器获取汽车的历史车速序列与历史车速误差序列，通过双神经网络工况预测模型输出预测时域N_p内更为准确的未来车速预测序列；

第二步：将获取的未来车速工况作用于MPC控制器，通过动态规划算法求解并输出动作控制PHEV运行；

第三步：获取当前时刻有关车辆状态的有关信息以及通过V2V、V2I和ITS获取有关交通状况的相关信息，共同作用于已训练完成的DDPG控制器，通过DDPG控制器输出预测时域N_p，在线实时调节MPC预测时域的长度N_p，完成对预测时域N_p的更新；

第四步：如此重复第一步至第三步，直至汽车完成行驶任务。