CN111016901A - 基于深度学习的智能驾驶决策方法及系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的智能驾驶决策方法及系统，该方法包括如下步骤：建立具有智能驾驶功能的深度学习网络模型；利用所建立的深度学习网络模型控制车辆自动运行，实时采集车辆的外部环境信息和内部运行信息以形成实时外部环境数据和实时内部运行数据，将实时外部环境数据和实时内部运行数据输入深度学习模块以获取车辆实时控制指令；以及依据车辆实时控制指令控制车辆运行。本发明利用深度学习网络模块模拟人脑的决策过程，输入到输出之间通过大量的神经元相互连接，深度学习网络模型并非基于固定的规则，具有自学习和自更新的特点，可以灵活的适应于各种不同的环境状态，能够较好的兼顾有效性和时效性。

Description

基于深度学习的智能驾驶决策方法及系统

技术领域

本发明涉及智能驾驶控制的技术领域，特指一种基于深度学习的智能驾驶决策方法及系统。

背景技术

自动驾驶车辆的控制中，一般的控制流程为环境感知、工况分析、路径规划、控制决策以及控制执行，其中环境感知是通过各种传感器采集车辆环境数据，获取环境信息和车辆运行定位数据；工况分析用于分析车辆处于的工况，判断是可以直行还是需要转弯或是需要绕行；路径规划是通过路径规划算法，计算车辆的行驶轨迹；控制决策通过轨迹跟踪控制算法，计算车辆的控制指令，例如车辆的加速度指令，转弯指令；控制执行用于执行控制指令，主要包括驱动、制动和转向。

目前算法主要是基于规则的控制理论为基础，应用在和环境交互比较密切的智能驾驶领域，主要确定是预先设定的规则有时无法适应变化的道路环境，主要表现在：实际的车辆运行环境非常复杂，会遇到各种各样的环境，然而在系统设计中，不可能穷举所有可能遇到的场景，因此实际工作过程中难免会遇到无法适应的情况。目前路径规划算法和控制决策较多，但鲜有同时兼顾有效性和实时性的方案。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种基于深度学习的智能决策方法及系统，解决现有的智能驾驶方案中存在的难免遇到无法适应的情况以及难以兼顾有效性和实时性的问题。

实现上述目的的技术方案是：

本发明提供了一种基于深度学习的智能驾驶决策方法，包括如下步骤：

建立具有智能驾驶功能的深度学习网络模型；

利用所建立的深度学习网络模型控制车辆自动运行，实时采集车辆的外部环境信息和内部运行信息以形成实时外部环境数据和实时内部运行数据，将所述实时外部环境数据和所述实时内部运行数据输入所述深度学习模块以获取车辆实时控制指令；以及

依据所述车辆实时控制指令控制车辆运行。

本发明利用深度学习网络模块代替传统的控制测量中的工况分析、路径规划和控制决策这三个受环境信息影响较大的关键模块。深度学习网络模块模拟人脑的决策过程，输入到输出之间通过大量的神经元相互连接，深度学习网络模型并非基于固定的规则，具有自学习和自更新的特点，可以灵活的适应于各种不同的环境状态，能够较好的兼顾有效性和时效性。

本发明基于深度学习的智能驾驶决策方法的进一步改进在于，建立具有智能驾驶功能的深度学习网络模型的步骤包括：

采集车辆运行时的车外环境信息形成环境训练数据；

采集车辆运行时的运行信息形成运行训练数据；

采集车辆运行时的操控信息形成控制训练数据；

利用所述环境训练数据、所述运行训练数据以及所述控制训练数据进行深度学习训练，并获得所述深度学习网络模型。

本发明基于深度学习的智能驾驶决策方法的进一步改进在于，采集车辆的外部环境信息形成实时外部环境数据的步骤包括：

利用车载的激光雷达、毫米波雷达以及超声波雷达采集车辆外部的障碍物信息形成雷达数据；

利用车载的摄像头采集车辆外部的图像信息形成图像数据；

利用车载的定位装置采集车辆的位置信息形成定位数据，所述定位数据、所述图像数据以及所述雷达数据作为所述实时外部环境数据。

本发明基于深度学习的智能驾驶决策方法的进一步改进在于，采集车辆的内部运行信息形成实时内部运行数据的步骤，包括：

采集车辆加速度计的测量数据；

采集车辆发动机运行状态数据；

采集车辆变速箱运行状态数据；

采集车辆底盘运行状态数据；

采集车身电子系统运行状态数据，将所述车身电子系统运行状态数据、底盘运行状态数据、变速箱运行状态数据、发动机运行状态数据以及加速度计的测量数据作为所述实时内部运行数据。

本发明基于深度学习的智能驾驶决策方法的进一步改进在于，还包括：

将实时外部环境数据和实时内部运行数据与车辆实时控制指令进行存储；

利用存储的实时外部环境数据、实时内部运行数据以及车辆实时控制指令对所述深度学习网络模型进行自适应的深度学习重训练。

本发明还提供了一种基于深度学习的智能驾驶决策系统，包括：

具有智能驾驶功能的深度学习网络模型；

实时数据采集模块，用于实时采集车辆的外部环境信息和内部运行信息以形成实时外部环境数据和实时内部运行数据；以及

与所述深度学习网络模型和所述实时数据采集模块连接的执行模块，所述执行模块与车辆控制连接，用于将所述实时数据采集模块采集的实时外部数据环境和实时内部运行数据输入所述深度学习网络模型内以获取车辆实时控制指令，并依据所获取的车辆实时控制指令控制车辆运行。

本发明基于深度学习的智能驾驶决策系统的进一步改进在于，还包括模型训练模块，所述模型训练模块内输入有采集车辆运行时的车外环境信息形成的环境训练数据、采集车辆运行时的运行信息形成的运行训练数据以及采集车辆运行时的操控信息形成的控制训练数据；

所述模型训练模块利用所述环境训练数据、所述运行训练数据以及所述控制训练数据进行深度学习训练以得到所述深度学习网络模型。

本发明基于深度学习的智能驾驶决策系统的进一步改进在于，所述实时数据采集模块与车载的激光雷达、毫米波雷达、超声波雷达、摄像头以及定位装置通信连接，用于接收所述车载的激光雷达、毫米波雷达以及超声波雷达采集的车辆外部的障碍物信息形成的雷达数据，接收所述摄像头采集车辆外部的图像信息形成的图像数据，接收所述定位装置采集车辆的位置信息形成的定位数据，并将所述定位数据、所述图像数据以及雷达数据作为实时外部环境数据。

本发明基于深度学习的智能驾驶决策系统的进一步改进在于，所述实时数据采集模块还与车辆加速度计、车辆发动机、车辆变速箱、车辆底盘以及车身电子系统通信连接，用于采集车辆加速度计的测量数据，采集车辆发动机运行状态数据，采集车辆变速箱运行状态数据，采集车辆底盘运行状态数据，采集车身电子系统运行状态数据，并将所述车身电子系统运行状态数据、底盘运行状态数据、变速箱运行状态数据、发动机运行状态数据以及加速度计的测量数据作为所述实时内部运行数据。

本发明基于深度学习的智能驾驶决策系统的进一步改进在于，还包括与所述实时数据采集模块连接的存储模块和与所述存储模块连接的重训练模块；

所述存储模块用于存储所述实时数据采集模块采集的实时外部环境数据和实时内部运行数据；所述存储模块还用于对应的存储所述车辆实时控制指令；

所述重训练模块调取所述存储模块内存储的实时外部环境数据和实时内部运行数据以及车辆实时控制指令并对所述深度学习网络模型进行自适应的深度学习重训练。

附图说明

图1为本发明基于深度学习的智能驾驶决策系统的系统图。

图2为本发明基于深度学习的智能驾驶决策方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

参阅图1，本发明提供了一种基于深度学习的智能驾驶决策系统及方法，采用增强环境感知的技术，即通过实时数据采集模块采集车外环境的信息和本车运行环境状态，既考虑了外部环境又考虑了车身内部环境，能够使得深度学习网络模型可更好的识别各种运行环境信息，提高深度学习网络模型的适应性，使其可适应于各种不同的环境状况。本发明采用深度学习代替传统的预先设定规则的决策，使得该深度学习网络模块能够模拟人脑的决策过程，基于非固定的规则输出适合的控制指令，还具有自学习和自更新的特点，能够灵活的适应于各种不同的环境状况。下面结合附图对本发明基于深度学习的智能驾驶决策系统进行说明。

参阅图1，显示了本发明基于深度学习的智能驾驶决策系统的系统图。下面结合图1，对本发明基于深度学习的智能驾驶决策系统进行说明。

如图1所示，本发明的基于深度学习的智能驾驶决策系统包括深度学习网络模型21、实时数据采集模块22以及执行模块23，其中的执行模块23与深度学习网络模型21和实时数据采集模块22连接，该执行模块23还与车辆控制连接；深度学习网络模型21具有智能驾驶功能；实时数据采集模块22用于实时采集车辆的外部环境新型和内部运行信息以形成实时外部环境数据和实时内部运行数据；执行模块23接收实时数据采集模块22采集的实时外部环境数据和实时内部运行数据，并将实时外部环境数据和实时内部运行数据输入到深度学习网络模型21内以获取车辆实时控制指令，再依据该车辆实时控制指令控制车辆运行，也即执行该车辆控制指令对应的控制信息。较佳地，车辆实时控制指令为车辆的纵向和横向控制指令，包括驱动、制动、行驶方向、行驶速度等方面的指令。

本发明的深度学习网络模型通过深度学习建立，深度学习是机器学习中的新的研究方向，其更接近人工智能。深度学习是学习样本数据的内在规律和表示层次，该些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。深度学习的最终目的是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。本发明的深度学习网络模型通过隐藏层的多层感知器进行深度学习，且结合车辆外部环境数据和内部运行数据，既充分考虑了路况又考虑了车身的运行状态信息，增强环境感知，实现了更好的识别各种运行环境信息。

在一种具体实施方式中，本发明的决策系统还包括模型训练模块，该模型训练模块用于建立深度学习网络模型，在模型训练模块内输入有采集车辆运行时的车外环境信息形成的环境训练数据、采集车辆运行时的运行信息形成的运行训练数据以及采集车辆运行时的操控信息形成的控制训练数据；该模型训练模块利用环境训练数据、运行训练数据以及控制训练数据进行深度学习训练以得到深度学习网络模型。

本发明训练数据中的环境训练数据、运行训练数据以及控制训练数据通过在车辆行驶过程中的实时采集得到，环境训练数据包括车辆行驶时的外部的环境状态，外部的路况状态和外部的障碍物状态；具体通过车辆上的各种传感器来获取，并结合电子地图来获得路况状态。运行训练数据包括车辆行驶时的车辆加速度状态、发动机运行状态、变速箱运行状态、底盘运行状态、车身电子系统运行状态，具体通过车辆上的加速度计、对应的传感器以及车身电子系统获取。控制训练数据包括车辆运行时的方向盘的控制状态、油门控制状态、刹车控制状态、档位控制状态以及操作台上的各操控按键的控制状态，具体可通过车辆的中控系统来获取操作台的各操控按键的控制状态，通过安装在方向盘、油门、刹车及档位处安装传感器来获取其控制状态。

本发明的模型训练模块在进行深度学习训练时，将环境训练数据和运行训练数据作为输入数据，将控制训练数据作为输出数据，如此通过大量的数据训练学习，可使得深度学习网络模型能够形成模拟人脑的决策过程，进而后续再向该深度学习网络模型输入环境数据及运行数据时，其能够获得具体的车辆实时控制指令。环境训练数据、运行训练数据以及控制训练数据可根据时间进行一一对应，从而形成一一对应的多组训练数据集，通过多组训练数据集进行深度学习训练形成深度学习网络模型，可获得与人脑决策相似的非固定规则的决策过程，以提高智能驾驶的拟人化性能。

在一种具体实施方式中，实时数据采集模块22与车载的激光雷达、毫米波雷达、超声波雷达、摄像头以及定位装置通信连接，用于接收车载的激光雷达、毫米波雷达以及超声波雷达采集的车辆外部的障碍物信息形成的雷达数据，接收摄像头采集车辆外部的图像信息形成的图像数据，接收定位装置采集车辆的位置信息形成的定位数据，并将定位数据、图像数据以及雷达数据作为实时外部环境数据。

其中激光雷达通过发射激光束探测目标的位置、速度等特征量；激光雷达首先获取环境数据并以数组形式存储于计算机中，对获取的环境数据进行预处理，剔除树木，地面等信息，从而获得障碍物的轮廓特征。毫米波雷达使用毫米波测量与汽车周围车辆的距离，角度和相对速度。目前毫米波雷达作为车载雷达被广泛的使用，不易受到大雾雨雪等恶劣天气以及尘土污垢的影响，可稳定地检测车辆。在本发明的决策系统中，可基于多目标检测算法，计算毫米波雷达检测的障碍物信息，比如车道上、人行道上的移动障碍物的距离及速度。超声波雷达是通过发射超声波获取障碍物的信息，同样可得到障碍物的距离及速度。摄像头用于拍摄车辆外部的景物，形成图像信息，而后通过计算机图像处理技术可获得图像中的各个目标的大致轮廓，以此可分析出大致的路况。定位装置较佳为GPS，用于定位到车辆自身的位置，进而结合电子地图，可查获得车辆的具体位置以及该车辆周围的道路情况。

进一步地，该实时数据采集模块22还与车辆加速度计、车辆发动机、车辆变速箱、车辆底盘以及车身电子系统通信连接，用于采集车辆加速度计的测量数据，采集车辆发动机运行状态数据，采集车辆变速箱运行状态数据，采集车辆底盘运行状态数据，采集车身电子系统运行状态数据，并将车身电子系统运行状态数据、底盘运行状态数据、变速箱运行状态数据、发动机运行状态数据以及加速度计的测量数据作为实时内部运行数据。

具体地，在车辆发动机、车辆变速箱以及车辆底盘均安装相应的传感器，用于感测对应的发动机、变速箱以及底盘的运行状态，并将该些运行状态发送给实时数据采集模块22。其中的车辆加速度计测量车辆的启动速度，该启动速度可表征车辆的性能。采集车辆发动机的运行状态包括发动机的转速及扭矩，以此可获得发动机的马力，知晓车辆的速度。采集的车辆变速箱的运行状态数据用于表征车辆的档位信息。采集车辆的底盘运行的状态数据，用于表征车辆的姿态，可知晓车辆是处于直行状态抑或是转弯状态。

在一种具体实施方式中，还包括与实时数据采集模块22连接的存储模块和与存储模块连接的重训练模块；该存储模块用于存储实时数据采集模块22采集的实时外部环境数据和实时内部运行数据；存储模块还用于对应的存储车辆实时控制指令；该重训练模块调取存储模块内存储的实时外部环境数据和实时内部运行数据以及车辆实时控制指令并对深度学习网络模型进行自适应的深度学习重训练。

较佳地，模型训练模块的环境训练数据、运行训练数据以及控制训练数据也存储于存储模块内，在训模型时进行调取即可。

执行模块23也与存储模块连接，用于控制将实施采集模块22采集的数据存储于存储模块内。

执行模块23在存储模块内存储的实时外部环境数据、实时内部运行数据以及车辆实时控制指令达到一定的数量时，控制重训练模块启动运行，调取该些数据对深度学习网络模型21进行重训练，以使得深度学习网络模型21能够根据新的实时外部环境数据和实时内部运行数据进行自学习，能够很好的适应各种环境的状况，减小出现无法适应的情况，提高系统的有效性。

在一种具体实施方式中，执行模块23为控制器，用于车辆的控制执行，即实现车辆执行深度学习网络模型输出的车辆控制指令。

本发明还提供了一种基于深度学习的智能驾驶决策方法。下面对该决策方法进行说明。

如图2所示，本发明的一种基于深度学习的智能驾驶决策方法，包括如下步骤：

执行步骤S11，建立具有智能驾驶功能的深度学习网络模型；接着执行步骤S12；

执行步骤S12，利用所建立的深度学习网络模型控制车辆自动运行，实时采集车辆的外部环境信息和内部运行信息以形成实时外部环境数据和实时内部运行数据，将实时外部环境数据和实时内部运行数据输入深度学习模块以获取车辆实时控制指令；接着执行步骤S13；

执行步骤S13，依据车辆实时控制指令控制车辆运行。

在一种具体实施方式中，建立具有智能驾驶功能的深度学习网络模型的步骤包括：

采集车辆运行时的车外环境信息形成环境训练数据；

采集车辆运行时的运行信息形成运行训练数据；

采集车辆运行时的操控信息形成控制训练数据；

利用环境训练数据、运行训练数据以及控制训练数据进行深度学习训练，并获得深度学习网络模型。

在一种具体实施方式中，采集车辆的外部环境信息形成实时外部环境数据的步骤包括：

利用车载的激光雷达、毫米波雷达以及超声波雷达采集车辆外部的障碍物信息形成雷达数据；

利用车载的摄像头采集车辆外部的图像信息形成图像数据；

利用车载的定位装置采集车辆的位置信息形成定位数据，定位数据、图像数据以及雷达数据作为实时外部环境数据。

在一种具体实施方式中，采集车辆的内部运行信息形成实时内部运行数据的步骤，包括：

采集车辆加速度计的测量数据；

采集车辆发动机运行状态数据；

采集车辆变速箱运行状态数据；

采集车辆底盘运行状态数据；

采集车身电子系统运行状态数据，将车身电子系统运行状态数据、底盘运行状态数据、变速箱运行状态数据、发动机运行状态数据以及加速度计的测量数据作为实时内部运行数据。

在一种具体实施方式中，还包括：

将实时外部环境数据和实时内部运行数据与车辆实时控制指令进行存储；

利用存储的实时外部环境数据、实时内部运行数据以及车辆实时控制指令对深度学习网络模型进行自适应的深度学习重训练。

以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (10)

1.一种基于深度学习的智能驾驶决策方法，其特征在于，包括如下步骤：

建立具有智能驾驶功能的深度学习网络模型；

利用所建立的深度学习网络模型控制车辆自动运行，实时采集车辆的外部环境信息和内部运行信息以形成实时外部环境数据和实时内部运行数据，将所述实时外部环境数据和所述实时内部运行数据输入所述深度学习模块以获取车辆实时控制指令；以及

依据所述车辆实时控制指令控制车辆运行。

2.如权利要求1所述的基于深度学习的智能驾驶决策方法，其特征在于，建立具有智能驾驶功能的深度学习网络模型的步骤包括：

采集车辆运行时的车外环境信息形成环境训练数据；

采集车辆运行时的运行信息形成运行训练数据；

采集车辆运行时的操控信息形成控制训练数据；

利用所述环境训练数据、所述运行训练数据以及所述控制训练数据进行深度学习训练，并获得所述深度学习网络模型。

3.如权利要求1所述的基于深度学习的智能驾驶决策方法，其特征在于，采集车辆的外部环境信息形成实时外部环境数据的步骤包括：

利用车载的激光雷达、毫米波雷达以及超声波雷达采集车辆外部的障碍物信息形成雷达数据；

利用车载的摄像头采集车辆外部的图像信息形成图像数据；

利用车载的定位装置采集车辆的位置信息形成定位数据，所述定位数据、所述图像数据以及所述雷达数据作为所述实时外部环境数据。

4.如权利要求1所述的基于深度学习的智能驾驶决策方法，其特征在于，采集车辆的内部运行信息形成实时内部运行数据的步骤，包括：

采集车辆加速度计的测量数据；

采集车辆发动机运行状态数据；

采集车辆变速箱运行状态数据；

采集车辆底盘运行状态数据；

采集车身电子系统运行状态数据，将所述车身电子系统运行状态数据、底盘运行状态数据、变速箱运行状态数据、发动机运行状态数据以及加速度计的测量数据作为所述实时内部运行数据。

5.如权利要求1所述的基于深度学习的智能驾驶决策方法，其特征在于，还包括：

将实时外部环境数据和实时内部运行数据与车辆实时控制指令进行存储；

利用存储的实时外部环境数据、实时内部运行数据以及车辆实时控制指令对所述深度学习网络模型进行自适应的深度学习重训练。

6.一种基于深度学习的智能驾驶决策系统，其特征在于，包括：

具有智能驾驶功能的深度学习网络模型；

实时数据采集模块，用于实时采集车辆的外部环境信息和内部运行信息以形成实时外部环境数据和实时内部运行数据；以及

与所述深度学习网络模型和所述实时数据采集模块连接的执行模块，所述执行模块与车辆控制连接，用于将所述实时数据采集模块采集的实时外部数据环境和实时内部运行数据输入所述深度学习网络模型内以获取车辆实时控制指令，并依据所获取的车辆实时控制指令控制车辆运行。

7.如权利要求6所述的基于深度学习的智能驾驶决策系统，其特征在于，还包括模型训练模块，所述模型训练模块内输入有采集车辆运行时的车外环境信息形成的环境训练数据、采集车辆运行时的运行信息形成的运行训练数据以及采集车辆运行时的操控信息形成的控制训练数据；

所述模型训练模块利用所述环境训练数据、所述运行训练数据以及所述控制训练数据进行深度学习训练以得到所述深度学习网络模型。

8.如权利要求6所述的基于深度学习的智能驾驶决策系统，其特征在于，所述实时数据采集模块与车载的激光雷达、毫米波雷达、超声波雷达、摄像头以及定位装置通信连接，用于接收所述车载的激光雷达、毫米波雷达以及超声波雷达采集的车辆外部的障碍物信息形成的雷达数据，接收所述摄像头采集车辆外部的图像信息形成的图像数据，接收所述定位装置采集车辆的位置信息形成的定位数据，并将所述定位数据、所述图像数据以及雷达数据作为实时外部环境数据。

9.如权利要求6所述的基于深度学习的智能驾驶决策系统，其特征在于，所述实时数据采集模块还与车辆加速度计、车辆发动机、车辆变速箱、车辆底盘以及车身电子系统通信连接，用于采集车辆加速度计的测量数据，采集车辆发动机运行状态数据，采集车辆变速箱运行状态数据，采集车辆底盘运行状态数据，采集车身电子系统运行状态数据，并将所述车身电子系统运行状态数据、底盘运行状态数据、变速箱运行状态数据、发动机运行状态数据以及加速度计的测量数据作为所述实时内部运行数据。

10.如权利要求6所述的基于深度学习的智能驾驶决策系统，其特征在于，还包括与所述实时数据采集模块连接的存储模块和与所述存储模块连接的重训练模块；

所述存储模块用于存储所述实时数据采集模块采集的实时外部环境数据和实时内部运行数据；所述存储模块还用于对应的存储所述车辆实时控制指令；

所述重训练模块调取所述存储模块内存储的实时外部环境数据和实时内部运行数据以及车辆实时控制指令并对所述深度学习网络模型进行自适应的深度学习重训练。

Images