CN110194156A

CN110194156A - 智能网联混合动力汽车主动避撞增强学习控制系统和方法

Info

Publication number: CN110194156A
Application number: CN201910542034.6A
Authority: CN
Inventors: 郭景华; 王班; 王进; 李文昌
Original assignee: Xiamen University; Shenzhen Research Institute of Xiamen University
Current assignee: Xiamen University; Shenzhen Research Institute of Xiamen University
Priority date: 2019-06-21
Filing date: 2019-06-21
Publication date: 2019-09-03
Anticipated expiration: 2039-06-21
Also published as: CN110194156B

Abstract

智能网联混合动力汽车主动避撞增强学习控制系统和方法，涉及汽车智能安全与辅助驾驶。所述系统包括数据感知模块、功能定义模块、主动避撞模块、控制信号转换模块和执行模块。数据感知模块获得车联网和智能交通中的信息输入；功能定义模块对获取的信息进行安全状态判断；增强信号模块将车辆状态和增强信号发送到主动避撞模块；增强学习模块根据获得的车辆状态和增强信号，确定自车期望加速度并发送至控制信号转换模块，控制信号转换模块将增强学习模块求得的最优期望加速度转化为期望节气门开度、期望电机转速以及期望制动踏板压力等信号分别发送给执行器；执行器根据获得的信号进行相应的动作。具有计算迅速、控制精确、反应灵敏等优点。

Description

智能网联混合动力汽车主动避撞增强学习控制系统和方法

技术领域

本发明涉及汽车智能安全与辅助驾驶领域，尤其是涉及一种智能网联混合动力汽车主动避撞增强学习控制系统和方法。

背景技术

智能网联混合动力汽车是集智能化、网联化和电动化功能于一体的清洁能源汽车，被认为是解决道路堵塞、交通安全、环境污染和能源消耗的有效手段之一，是当前车辆工程的研究热点和汽车工业的重要发展方向。

主动避撞控制系统利用车载传感器获取车辆行驶状态和周围环境信息，并在紧急工况下使车辆实现主动紧急制动功能。由于智能网联混合动力汽车具有多动力源多变量耦合等特点，因此如何设计其高品质的主动避撞控制系统成为一个挑战性的技术难题。文献1(郝克宇，等.四轮独立驱动轮毂电机电动汽车主动避撞模糊控制[J],2018,39(2)：124-133)提出一种电动汽车主动避撞模糊控制方法，该方法用信息简单模糊处理的方法将导致主动避撞系统的控制精度降低和动态品质变差。文献2(Jie Ji,etc.Path Planning andTracking for Vehicle Collision Avoidance Based on Model Predictive ControlWith Multiconstraints[J].2017,66(2):952-964)设计了一种基于模型预测的主动避撞控制方法，但是该方法较强地依赖于系统的物理模型，然而智能网联混合动力汽车为复杂动态系统，具有强非线性、参数不确定性和时变特性，基于模型预测的控制方法过度地依赖系统物理模型，会导致主动避撞控制系统性能降低。雨雪天气或者车载传感器失效时，主动避撞控制系统需要在动态环境中不断进行试探学习而得到紧急制动的能力。鉴于此，本发明提供一种智能网联混合动力汽车主动避撞增强学习控制系统和方法。

发明内容

本发明的目的在于针对现有的主动避撞控制系统不能在雨雪天气或者车载传感器感知范围外进行有效控制等技术问题，提供计算迅速、控制精确、反应灵敏的智能网联混合动力汽车主动避撞增强学习控制系统。

本发明的另一目的在于提供可有效克服车辆模型参数的时变性和不确定性，具有较强适应性和稳定性的智能网联混合动力汽车主动避撞增强学习控制方法。

所述智能网联混合动力车主动避撞增强学习控制系统包括数据感知模块、功能定义模块、主动避撞模块、控制信号转换模块和执行模块；

所述数据感知模块包括无线通信设备、车载信息采集器和车载传感器；无线通信设备用于获得车联网和智能交通中的信息，车载信息采集器用于获取车辆周边信息，车载传感器用于收集自身车辆信息，数据感知模块的输出端接功能定义模块的输入端；

所述功能定义模块包括安全状态判断模块和增强信号模块，所述安全状态判断模块用于根据当前获取信息进行安全状态判断，计算当前安全状态下车辆应该保持的安全距离；所述增强信号模块用于产生增强信号；所述安全状态判断模块的输出端接增强信号模块的输入端，增强信号模块的输出端接主动避撞模块的输入端；

所述主动避撞模块为增强学习模块，增强学习模块包括动作神经网络和评价神经网络，动作神经网络用于接收智能网联混合动力车状态和增强信号，并确定自车期望加速度输出至评价神经网络；评价神经网络用于对接收到的自车期望加速度进行评价，预测当前的自车期望加速度的价值，并根据增强信号对评价神经网络进行更新；增强学习模块的动作神经网络输出端接控制信号转换模块的输入端；

所述控制信号转换模块，用于将增强学习模块求得的最优期望加速度转化为期望节气门开度、期望电机转速以及期望制动踏板压力等信号分别发送给发动机、电机以及制动器等执行器实现对混合动力车的控制；

所述执行模块用于根据接收到的信号对智能网联混合动力车进行相应的动作控制。

所述无线通信设备可采用专用短距离通信(dedicated short rangecommunication,DSRC)、蓝牙(Bluetooth)、蜂窝网(cellular network)等。

所述智能网联混合动力汽车主动避撞增强学习控制方法包括以下步骤：

1)数据感知模块通过无线通信设备获得车联网和智能交通中的信息，然后将获取的信息输入到功能定义模块；

2)功能定义模块中的安全状态判断模块对获取的信息进行安全状态判断，计算当前安全状态下，车辆应该保持的安全距离；增强信号模块将车辆状态和增强信号发送到主动避撞模块；

3)增强学习模块采用Actor-Critic增强学习算法，根据获得的车辆状态和增强信号，确定自车期望加速度；

4)将增强学习模块确定的自车期望加速度(即控制量)发送至控制信号转换模块，控制信号转换模块将增强学习模块求得的最优期望加速度转化为期望节气门开度、期望电机转速以及期望制动踏板压力等信号；

5)将计算获得的期望节气门开度、期望电机转速以及期望制动踏板压力等信号发送到执行模块的发动机执行器、电机执行器以及制动执行器等，相应执行器根据获得的信号进行相应的动作。

在步骤1)中，所述获取的信息包括但不限于自身车辆的位置、自身车辆车速与加速度、前方车辆的位置、前方车辆车速与加速度等。

在步骤2)中，所述安全状态包括自适应巡航跟驰状态、驾驶员制动状态、系统紧急制动状态；所述增强信号需综合考虑期望安全距离与实际车距之间的偏差幅度、制动加速度、制动时间等因素。

在步骤3)中，所述Actor-Critic增强学习算法包括动作神经网络和评价神经网络，增强学习算法优化部分为遗传算法代替原有的误差反向传播算法对动作神经网络权值进行更新；

所述动作神经网络用于输入智能网联混合动力车的状态和增强信号，输出自车期望加速度；

所述评价神经网络用于对动作神经网络确定的自车期望加速度进行评价，预测当前的自车期望加速度的价值，根据增强信号对动作神经网络进行更新；

所述遗传算法代替原有的误差反向传播算法对动作神经网络权值更新的具体方法可为：先计算评价神经网络的损失函数，将损失函数作为遗传算法的适应度函数，再对动作神经网络的初始权值进行编码作为遗传算法的初始种群，通过遗传算法计算获得适应度最高的个体，经过种群的遗传、交叉、变异最终选择适应度最高的个体进行解码，适应度最高的个体表现型作为动作神经网络下一次更新的神经网络的权值。遗传算法代替原有的误差反向传播算法对动作神经网络权值更新，可以避免误差反向传播算法进行神经网络权值更新时容易陷入局部最优解的情况，降低使用反向传播算法更新神经网络权值阈值赋值随机性和对初始值敏感，增强动作神经网络的学习能力、泛化能力和收敛速度。

在步骤4)中，所述切换标准可根据车辆纯电动模式的临界速度、发动机开启的最低转矩等因素制定。

本发明解决了目前主动避撞控制系统不能在雨雪天气或者车载传感器感知范围外进行有效控制等技术问题，将现代通信与网络技术与混合动力车主动避撞控制相融合，依靠增强学习算法实现复杂的环境感知、智能决策和准确控制，避免仅依靠车载传感器进行主动避撞控制时由于传感器感知范围不足等因素造成频繁加减速和档位操作，改善主动避撞过程中的稳定性、可靠性和舒适性。本发明具有计算迅速、控制精确、反应灵敏等优点，采用神经网络并结合增强学习的自调节能力，不依赖于智能网联混合动力汽车系统模型，可有效克服车辆模型参数的时变性和不确定性等特性，具有很强的适应性和稳定性的。

附图说明

图1本发明所述智能网联混合动力车主动避撞增强学习控制系统示意图。

图2本发明智能网联混合动力车主动避撞增强学习控制器结构图。

图3本发明遗传算法优化动作神经网络流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，以下实施例将结合附图对本发明作进一步的说明。

如图1所示，所述智能网联混合动力车主动避撞增强学习控制系统实施例包括数据感知模块、功能定义模块、主动避撞模块、控制信号转换模块和执行模块；

所述主动避撞模块为增强学习模块，增强学习模块包括动作神经网络和评价神经网络，动作神经网络用于接收智能网联混合动力车状态和增强信号，并确定自车期望加速度输出至评价神经网络；评价神经网络用于对接收到的自车期望加速度进行评价，预测当前的自车期望加速度的价值，并根据增强信号对评价神经网络进行更新；增强学习模块动作神经网络输出端接控制信号转换模块的输入端；

本发明实施例提供一种基于智能网联混合动力车主动避撞增强学习控制方法，具体流程如下：

A、数据感知模块。

通过专用短距离通信(dedicated short range communication,DSRC)、蓝牙(Bluetooth)、蜂窝网(cellular network)等无线通信设备获得车联网和智能交通中的信息。利用车载传感器GPS、毫米波雷达、激光雷达和视觉系统对自车状态进行检测，从而获得自身车辆的位置、自身车辆的车速与加速度、前方车辆的位置、前方车辆的车速与加速度等信息。将获取的信息输入到功能定义模块。

B、功能定义模块。

第一步，信息融合，将数据感知模块获取的信息进行对比和融合最终得到车辆状态S，包括前车速度V₀、自车速度V₁、前车加速度a₀、自车加速度a₁、实际车距L_a等信息。

第二步，安全状态判断。根据主动避撞系统实现的功能不同，将安全距离划分为自适应巡航跟驰距离和临界值制动距离，从而将安全状态划分为自适应巡航跟驰、驾驶员制动、系统紧急制动三种状态。根据当前获取的车辆状态S兼顾车辆行驶安全性和道路交通效率对智能网联混合动力车当前所处的安全状态进行判断，计算当前安全状态下，车辆应该保持的安全距离作为期望安全距离。

第三步，产生增强信号，由于本发明需要考虑主动避撞过程中的可靠性，稳定性与舒适性，因此综合考虑期望安全距离与实际车距之间的偏差幅度、制动加速度、制动时间等因素产生相应的增强信号。增强信号反映期望安全距离与实际车距之间的偏差幅度，偏差幅度越大增强信号越小，偏差幅度越小增强信号越大。将数据感知层获得的车辆状态S＝{V₀,V₁,a₀,a₁,L_a}和增强信号R(s)发送到主动避撞控制模块。

C、主动避撞控制模块。

基于智能网联混合动力车主动避撞增强学习控制器通过增强学习算法根据获得的车辆状态S＝{V₀,V₁,a₀,a₁,L_a}以及增强信号R(s)，确定最优的期望自车加速度作用到被控对象，同时主动避撞控制器获得下一个增强信号，通过在线不断地试探学习，最终生成正确的车辆状态，保证自车与前车满足安全距离要求。

第一步，增强学习模块确定最优自车期望加速度。

增强学习模块采用Actor-Critic增强学习算法确定最优自车期望加速度，其中Actor-Critic增强学习算法包含动作神经网络和评价神经网络两部分，具体如图2所示，动作神经网络的输入为数据感知层获得车辆状态S＝{V₀,V₁,a₀,a₁,L_a}、功能定义模块确定增强信号R(s)，输出为不同的期望加速度数值对应的概率，根据概率最终选择输出到被控对象的期望加速度。评价神经网络，对动作神经网络确定的自车期望加速度进行评价，预测当前的自车期望加速度的价值，获得评分高的自车期望加速度下次向着这个趋势对动作神经网络的权值进行调整，获得评分低的自车期望加速度，下次向着减小这个自车期望加速度的趋势对动作神经网络的权值进行调整。采用遗传算法代替策略梯度算法对动作神经网络进行更新。采用误差反向传播算法对评价神经网络进行更新。

具体的计算过程如下：

1)动作神经网络：

动作神经网络，输入车辆的状态S＝{V₀,V₁,a₀,a₁,L_a}和增强信号R(s)，输出各个加速度数值选择的概率P_sa(s')，修改加速度数值对应的概率分布相当于改变了动作的选择策略π。自车期望加速度的选择公式如下

其中P_sa(s')表示在当前状态S下选择动作a到达下一个状态S'的概率，V_*(s')表示下一个状态S'采用策略*的策略值函数。

2)计算评价神经网络策略值函数：

评价神经网络的策略值函数V_π(s)，表示当前策略π的好坏，即评价当前自车期望加速度概率分布使得车辆能够达到的状态的好坏。

其中，R(s)是获得的奖励，γ是学习效率，P_sπ(s)(s')表示的在当前状态S下选择策略π到达下一个状态S'的概率。

策略*表示策略π中可选的最好策略，由于策略π中储存的就是每个期望加速度数值对应的被选中的概率，因此，策略*对应的就是期望加速度在当前概率分布下可以获得最高的奖励。对应的策略值函数公式如下：

3)更新评价神经网络：

采用误差反向传播算法对评价神经网络的权值进行更新。

第二步，增强学习算法优化。

通过遗传算法对动作神经网络的权值进行优化最终获得使与期望值偏差最小的神经网络权值作为动作神经网络的权值，从而获得期望加速度概率分布即为策略*。

1)计算评价神经网络的损失函数：

评价神经网络的损失函数为L_v表示的是选择动作后获取的状态与期望状态之间的偏差，但是如图3所示由于评价神经网络的损失函数还要作为优化动作神经网络的适应度函数，而遗传算法进行选择、交叉变异最终选择出的是适应度最高的个体，因此，将评价神经网络的损失函数前取负号，作为优化动作神经网络遗传算法的目标函数，即：

其中，y_i表示的是期望值，V_π(s')表示下一状态的值。

2)遗传算法优化动作神经网络：

具体流程如图3所示，将评价神经网络的损失函数作为遗传算法的适应度函数，对动作神经网络的初始权值进行编码作为遗传算法的初始种群，通过遗传算法计算获得适应度最高的个体，经过种群的遗传、交叉、变异最终选择适应度最高的个体进行解码，适应度最高的个体表现型作为动作神经网络下一次更新的神经网络的权值。

D、控制信号转换模块。

控制信号转换模块将增强学习模块求得的最优期望加速度转化为期望节气门开度、期望电机转速以及期望制动踏板压力等信号分别发送给发动机、电机以及制动器等执行器实现对混合动力车的控制；根据纯电动模式的临界速度、发动机开启的最低转矩等因素，制定切换控制标准，根据切换标准确定是进行驱动或者制动；根据混合动力车能量管理策略求解当前车辆状态下的发动机、电机以及制动器的分配的力矩，根据发动机、电机以及制动器的逆模型求出期望节气门开度、期望电机转速以及期望制动踏板压力并将该信号发送给执行模块。

E、执行模块。

将控制信号转换模块获得的期望节气门开度、期望电机转速以及期望制动踏板压力等信号发送给相应的执行器，实现对混合动力车的主动避撞控制。

本发明实施例是不断地通过增强信号反应的实际车距与理想车距的偏差幅度，自主的学习如何根据实际车距确定合适的期望加速度从而有效地对车辆的行驶速度进行调整，而不是频繁的加减速和进行档位操作来使车辆达到期望的安全距离，使得主动避撞过程中的稳定性、可靠性和舒适性得到改善。本发明采用遗传算法对神经网络的权值进行调整，代替之前增强学习采用误差反向传播算法进行神经网络权值调整，改善了之前采用误差反向传播算法可能会引起的算法不收敛和最终结果容易收敛到局部最小点而不是全局最小点等问题，提高了算法的收敛速度和计算速度。采用浮点数编码代替二进制编码，提高了计算精度和加大遗传算法的搜索空间，改善了遗传算法的计算复杂性，提高运算效率。

以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出简单的推演及替换，都应当视为本发明的保护范围。

Claims

1.智能网联混合动力汽车主动避撞增强学习控制系统，其特征在于设有数据感知模块、功能定义模块、主动避撞模块和执行模块；

所述主动避撞模块为增强学习模块，增强学习模块包括动作神经网络和评价神经网络，动作神经网络用于接收智能网联混合动力车状态和增强信号，并确定自车期望加速度输出至评价神经网络；评价神经网络用于对接收到的自车期望加速度进行评价，预测当前的自车期望加速度的价值，并根据增强信号对评价神经网络进行更新；增强学习模块的动作神经网络输出端接控制信号转换模块的输入端；控制信号转换模块用于将增强学习模块求得的最优期望加速度转化为期望节气门开度、期望电机转速以及期望制动踏板压力信号分别发送给执行模块的相应执行器，实现对混合动力车的控制；

2.如权利要求1所述智能网联混合动力汽车主动避撞增强学习控制系统，其特征在于所述无线通信设备采用专用短距离通信、蓝牙、蜂窝网。

3.如权利要求1所述智能网联混合动力汽车主动避撞增强学习控制系统，其特征在于所述执行器包括发动机执行器、电机执行器以及制动执行器。

4.智能网联混合动力汽车主动避撞增强学习控制方法，其特征在于包括以下步骤：

3)主动避撞模块中的增强学习模块采用Actor-Critic增强学习算法，根据获得的车辆状态和增强信号，确定自车期望加速度；

4)将增强学习模块确定的自车期望加速度发送至控制信号转换模块，控制信号转换模块将增强学习模块求得的最优期望加速度转化为期望节气门开度信号、期望电机转速信号以及期望制动踏板压力信号；

5)将计算获得的期望节气门开度信号、期望电机转速信号以及期望制动踏板压力信号分别发送给发动机执行器、电机执行器以及制动执行器，执行模块的相应执行器根据获得的信号进行相应的动作。

5.如权利要求4所述智能网联混合动力汽车主动避撞增强学习控制方法，其特征在于在步骤1)中，所述获取的信息包括但不限于自身车辆的位置、自身车辆车速与加速度、前方车辆的位置、前方车辆车速与加速度。

6.如权利要求4所述智能网联混合动力汽车主动避撞增强学习控制方法，其特征在于在步骤2)中，所述安全状态包括自适应巡航跟驰状态、驾驶员制动状态、系统紧急制动状态。

7.如权利要求4所述智能网联混合动力汽车主动避撞增强学习控制方法，其特征在于在步骤2)中，所述增强信号依据期望安全距离与实际车距之间的偏差幅度、制动加速度、制动时间。

8.如权利要求4所述智能网联混合动力汽车主动避撞增强学习控制方法，其特征在于在步骤3)中，所述Actor-Critic增强学习算法包括动作神经网络和评价神经网络，增强学习算法优化部分为遗传算法代替原有的误差反向传播算法对动作神经网络权值进行更新；所述动作神经网络用于输入智能网联混合动力车的状态和增强信号，输出自车期望加速度；所述评价神经网络用于对动作神经网络确定的自车期望加速度进行评价，预测当前的自车期望加速度的价值，根据增强信号对动作神经网络进行更新。

9.如权利要求8所述智能网联混合动力汽车主动避撞增强学习控制方法，其特征在于所述遗传算法代替原有的误差反向传播算法对动作神经网络权值进行更新的具体方法为：先计算评价神经网络的损失函数，将损失函数作为遗传算法的适应度函数，再对动作神经网络的初始权值进行编码作为遗传算法的初始种群，通过遗传算法计算获得适应度最高的个体，经过种群的遗传、交叉、变异最终选择适应度最高的个体进行解码，适应度最高的个体表现型作为动作神经网络下一次更新的神经网络的权值。