CN115393818A - 驾驶场景识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种驾驶场景识别方法、装置、计算机设备和存储介质。所述方法包括：获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景；所述场景识别模型的训练获得方式，包括：获取训练样本，每个训练样本包括基于采集时间关联的样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据以及驾驶场景标签；基于所述训练样本对待训练识别模型进行训练，获得所述场景识别模型。采用本方法能够提高车辆驾驶场景识别的准确率。

Description

驾驶场景识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种驾驶场景识别方法、计算机设备和存储介质。

背景技术

随着人工智能技术的深入发展及应用，自动驾驶技术也随其不断更新迭代，车辆周边感知是自动驾驶领域必不可缺的组成部分，而驾驶场景识别是感知系统的重要内容，得到越来越多的关注。

传统技术中，用于驾驶场景识别检测的数据较为单一，算法较为机械，检测结果往往可靠性不高，影响自动驾驶系统整体的可靠性、安全性。

因此，如何提高驾驶场景识别的准确率是亟需解决的问题。

发明内容

基于此，有必要针对传统技术中驾驶场景识别准确率低的问题，提供一种驾驶场景识别方法、计算机设备和计算机可读存储介质。

第一方面，本申请提供了一种驾驶场景识别方法，包括：

获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景；

所述场景识别模型的训练获得方式，包括：

获取训练样本，每个训练样本包括基于采集时间关联的样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据以及驾驶场景标签；

基于所述训练样本对待训练识别模型进行训练，获得所述场景识别模型。

第二方面，本申请还提供了一种驾驶场景识别装置，包括：

驾驶数据获取模块，用于获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

驾驶场景识别模块，采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景；

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景；

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景；

上述驾驶场景识别方法、装置、计算机设备、存储介质和计算机程序产品，通过获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据，采用训练获得的场景识别模型对上述驾驶场景图像数据、点云数据、车辆CAN总线数据进行处理，获得识别的驾驶场景。同时利用驾驶场景图像、点云数据和车辆CAN总线数据经过神经网络模型自动处理进而得到驾驶场景识别结果，提高了车辆驾驶场景识别的准确率。

附图说明

图1是一个实施例中驾驶场景识别方法的应用环境图；

图2是另一个实施例中驾驶场景识别方法的应用环境图；

图3是一个实施例中驾驶场景识别方法的流程示意图；

图4是一个实施例中场景识别模型获取方式的流程示意图；

图5是一个实施例中场景识别模型训练方法的流程示意图；

图6是一个实施例中驾驶场景识别装置的结构框图；

图7是一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本申请所使用的术语“第一”、“第二”等是用于对类似的对象作出命名上的区分，但这些对象本身不受这些术语限制。应当理解，在不脱离本申请的范围的情况下，这些术语在适当的情况下可以互换。例如，可将“第一识别场景”描述为“第二识别场景”，且类似地，将“第二识别场景”描述为“第一识别场景”。

此外，本申请所使用的术语“包括”、“包含”、“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于已清楚地列出的步骤或单元，而是还可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本申请各实施例提供的驾驶场景识别方法，可以应用于如图1所示的应用环境中。该应用环境涉及目标车辆110，目标车辆110上设置有车载摄像头、车载激光雷达和车载控制器。车载摄像头用于获取目标车辆110在驾驶过程中的驾驶场景图像，车载激光雷达用于获取目标车辆110在驾驶过程中的雷达点云数据。车载控制器与车载摄像头、车载激光雷达连接，用于获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据。车载控制器还与车辆CAN总线连接，用于获取车辆CAN总线数据。驾驶场景识别模型搭载于车载控制器上，用于对目标车辆110的上述驾驶数据进行场景识别。

此外，本申请各实施例提供的驾驶场景识别方法，还可以应用于如图2所示的应用环境中。该应用环境涉及目标车辆110、服务器120和数据存储系统，目标车辆110和服务器120通过网络连接，数据存储系统可以存储服务器120需要处理的数据。数据存储系统可以集成在服务器120上，也可以放在云上或其他网络服务器上。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

其中，目标车辆110上设置有车载摄像头、车载激光雷达和车载控制器。车载摄像头用于获取目标车辆110在驾驶过程中的驾驶场景图像，车载激光雷达用于获取目标车辆110在驾驶过程中的雷达点云数据。车载控制器与车载摄像头、车载激光雷达连接，用于获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据。车载控制器还与车辆CAN总线连接，用于获取车辆CAN总线数据。车载控制器还与服务器120通过网络连接，用于将驾驶场景图像、点云数据以及车辆CAN总线数据上传至服务器120，服务器120获取目标车辆110的上述驾驶数据后，采用训练获得的驾驶场景识别模型对上述驾驶数据进行场景识别。

在其中一个实施例中，可以在服务器120上完成模型训练任务，得到驾驶场景识别模型；也可以在目标车辆110上完成模型训练任务，得到驾驶场景识别模型；还可以在服务器120上完成模型训练任务并得到识别模型后部署到目标车辆110上。

在一个实施例中，提供了一种驾驶场景识别方法，以该方法应用于图1中的目标车辆为例进行说明，如图3所示，该方法可以包括如下步骤S302至S304：

S302，获取目标车辆车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得点云数据以及车辆CAN总线数据；

其中，目标车辆是指需要识别驾驶场景的车辆。

具体地，车载摄像头获取目标车辆在驾驶过程中的驾驶场景图像、车载激光雷达获取目标车辆在驾驶过程中的雷达点云数据之后，车载摄像头将获取的驾驶场景图像传输至车载控制器，车载激光雷达将获取的雷达点云数据传输至车载控制器，车载控制器还直接与车辆CAN总线相连，获取车辆CAN总线数据。

驾驶场景是对车辆在一定时间和空间范围内行驶环境与驾驶行为的综合反映，描述了道路、交通设施、气象条件、交通参与物等外部状态以及自车的驾驶任务和状态等信息。在本实施例中，外部状态信息可以由车载摄像头和车载激光雷达获取，自车信息可以直接通过车辆CAN总线获取。

车载摄像头是汽车领域的一种重要传感设备，主要通过镜头和图像传感器实现图像信息的采集功能。驾驶场景中道路、交通设施、气象条件、交通参与物等外部状态信息均可由车载摄像头拍摄获得，车载摄像头采集到的道路、交通设施、气象条件、交通参与物等外部状态信息可称为驾驶场景图像信息。

在车载摄像头获取驾驶场景图像信息的同时，可通过车载激光雷达获取驾驶场景中外部状态信息的点云数据。

车载激光雷达又称车载三维激光扫描仪，是一种移动型三维激光扫描系统。三维激光扫描仪利用激光将激光发射出去，并接收返回的信息来描述被测量物体的表面形态。于车载激光雷达而言，被测量物体可以为驾驶场景中道路、交通设施、交通参与物等外部物体。车载激光雷达接收返回的信息由海量点数据组成，每个点代表一组X、Y、Z几何坐标和一个强度值，这个强度值由被测物体的反射率决定，接收到的返回的这些点数据的集合称为点云数据。

CAN是Controller Area Network缩写，中文名称控制器局域网络。车辆CAN总线是实现整车的所有控制器之间通讯的现场总线，可以理解，车辆CAN总线连接了多个控制器。通过控制器可以控制汽车的行驶状态及实现各种功能。因此，通过车辆CAN总线可以获取自车信息。

在其中一个实施例中，获取的车辆CAN总线数据主要包括：加速踏板开度、制动压力、档位以及方向盘转角。

加速踏板又称油门踏板，主要作用是控制发动机节气门的开度，从而控制发动机的动力输出，驾驶速度对应至加速踏板上，即体现为加速踏板开度。汽车的制动压力是执行机构卡钳通过夹紧摩擦片进而制动卡盘的力。汽车档位通过对应的主从动齿轮传递动力，为汽车提供不同的车速。方向盘转角是指汽车转向时方向盘的旋转角度，方向盘转角与轮胎转角的关系成正比。

S304，采用训练获得的场景识别模型，对获取的驾驶场景图像、点云数据以及车辆CAN总线数据进行处理，获得识别的驾驶场景。

场景识别模型在使用之前必须经过严格的训练过程，在训练的过程中，场景识别模型能够学习到驾驶场景图像、点云数据、车辆CAN总线数据与场景识别结果之间的映射规律。将获取的驾驶场景图像、点云数据以及车辆CAN总线数据输入至场景识别模型中，场景识别模型能够基于其在训练过程中学习到的映射规律，输出场景识别结果，获得识别的驾驶场景。

在其中一个实施例中，场景识别模型可以按照如图4所示的方法获得，包括以下步骤：

S401，获取训练样本，每个训练样本包括基于采集时间关联的样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据以及驾驶场景标签。

首先，获取训练样本需要获取数据采集信息，数据采集信息包括驾驶场景图像采集信息、点云数据采集信息以及车辆CAN总线数据采集信息。

获取数据采集信息需要利用数据采集车，数据采集车上设置有车载摄像头、车载激光雷达和车载控制器。车载摄像头用于获取驾驶场景图像采集信息，车载激光雷达用于获取点云数据采集信息。车载摄像头获取到驾驶场景图像采集信息、车载激光雷达获取到点云数据采集信息后，车载摄像头将获取的驾驶场景图像采集信息传输至车载控制器，车载激光雷达将获取的点云数据采集信息传输至车载控制器。车载控制器还与数据采集车CAN总线连接，用于获取数据采集车的CAN总线数据采集信息。

当驾驶数据采集车在对应的道路场景上行驶，可以采集对应道路场景的驾驶场景图像、雷达点云数据和车辆CAN总线数据。采集到的驾驶场景图像、雷达点云数据和车辆CAN总线数据可以存储在本地，也可以存储在云端。

在其中一个实施例中，数据采集车可以是多辆数据采集车组成的数据采集车队，例如，数据采集车队可以由20-50辆数据采集车组成。此时，数据采集信息则由整个数据采集车队获取的驾驶场景图像采集信息、点云数据采集信息以及车辆CAN总线数据采集信息构成。

在其中一个实施例中，设置于数据采集车和目标车辆上的车载摄像头可以选用像素在120w以上、分辨率大于1280*960且最大测量距离需要大于150m的车载摄像头；车载激光雷达选用16线以上、测量距离大于100m且ROI(Region of Interest，感兴趣区域)内检测误差小于2cm的车载激光雷达；车载控制器需要安装Linux系统并具有2Tops(TeraOperations Per Second，处理器运算能力单位)以上的图形计算处理能力和一定的存储空间。

其次，获取到足量的数据采集信息之后，可以对获取的数据采集信息进行数据清洗，进而获得数据清洗后的数据采集信息。

获取到的数据采集信息可能存在一些不符合要求的数据，例如，数据存在缺失、数据不具有一致性、数据存在异常值等。当发现数据中存在如上可能的问题时，都需要有针对性地处理。例如，对于数据存在缺失的现象，可以采用删除法、替换法或者插补法的方式处理；对于数据存在异常值的现象，可以采用n个标准差法或箱线图判别法的方式处理。

在本实施例中，对获取的数据采集信息进行数据清洗主要是为了筛掉大量的简单样本及无效样本。因此，本实施例对数据清洗工具不作任何限定，可以采用OpenRefine对数据采集信息进行清洗，也可以采用Weka、Data Wrangler等其他任何能够实现数据清洗目的的工具对数据采集信息进行清洗，进而得到数据清洗后的数据采集信息。

最后，基于获取的数据采集信息的采集时间以及对应的驾驶场景，对获得的数据清洗后的数据采集信息进行联合标注，获得训练样本。

数据清洗后的数据采集信息中包括驾驶场景图像采集信息、点云数据采集信息以及车辆CAN总线数据采集信息。基于数据采集信息的采集时间，驾驶场景图像采集信息、点云数据采集信息以及车辆CAN总线数据采集信息之间具有对应关系。可以理解为，对于一帧驾驶场景图像，车载激光雷达在同一时刻对同一场景获取了点云数据，车载控制器在同一时刻对同一场景获取了车辆CAN总线数据；或者，对于一帧点云，车载摄像头在同一时刻对同一场景获取了驾驶场景图像，车载控制器在同一时刻对同一场景获取了车辆CAN总线数据；或者，对于一组车辆CAN总线数据，车载摄像头在同一时刻对同一场景获取了驾驶场景图像，车载激光雷达在同一时刻对同一场景获取了点云数据。

采用标注工具对获取的驾驶场景图像进行标注，并基于获取的驾驶场景图像的采集时间，采用标注工具对在同一采集时间获取的点云数据、车辆CAN总线数据进行标注，得到与驾驶场景对应的驾驶场景标签，进而，获取的驾驶场景图像、点云数据以及车辆CAN总线数据能够按照采集时间产生关联。得到的驾驶场景标签与驾驶场景图像、点云数据、车辆CAN总线数据共同构成用于训练待训练识别模型的训练样本。

在其中一个实施例中，驾驶场景标签可以包括：前方无车辆场景标签、跟车场景标签、前车刹车场景标签、前车切出场景标签、旁车切入场景标签、自车加速场景标签、自车减速场景标签、自车转向场景标签。

S402，基于获取的样本对待训练识别模型进行训练，获得场景识别模型。

待训练识别模型是一种机器学习模型，能够从输入的样本数据中学习到样本数据特征与输出结果之间的映射规律。在本实施例中，将样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据及驾驶场景标签输入待训练识别模型，待训练识别模型可以从输入的样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据及驾驶场景标签中学习到样本数据特征与场景识别结果之间的映射规律，继而获得场景识别模型。场景识别模型能够并根据上述其学习到的映射规律得到与新输入的驾驶场景图像、点云数据、车辆CAN总线数据相应的驾驶场景识别结果。

在其中一个实施例中，数据清洗后的数据采集信息经联合标注后，还可以按照比例划分为训练集、验证集及测试集并生成对应的数据列表。在其中一个实施例中，训练集、验证集、测试集的划分比例可以为7:1.5:1.5。其中，训练集可用作训练待训练驾驶场景识别模型的训练样本，验证集可用于对待训练驾驶识别模型少量偶尔的调整，测试集可用于评估训练完毕的模型泛化能力。

需要说明的是，驾驶场景识别模型处理验证集、测试集的数据的步骤方式与处理训练集数据的步骤方式是一致。

上述驾驶场景识别方法中，首先获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据，而后采用训练获得的场景识别模型对上述驾驶场景图像数据、点云数据、车辆CAN总线数据进行处理，获得识别的驾驶场景。该方法同时利用驾驶场景图像、点云数据和车辆CAN总线数据经过神经网络模型自动处理进而得到驾驶场景识别结果，提高了车辆驾驶场景识别的准确率。

在一个实施例中，基于训练样本对待训练识别模型进行训练之前，还可基于各驾驶场景标签的场景权重，从数据采集信息中选择样本数据进行训练，从而获得选择的训练样本。

现实的驾驶场景中，前方无车辆场景、跟车场景、自车加速场景、自车减速场景、自车转向场景出现频率较高、识别难度较低，同时，样本数据采集信息较多；而前车刹车场景、前车切车场景、旁车切入场景的出现频率较低、识别难度较高、样本数据采集信息较少。

为了防止待训练场景识别模型出现过拟合，可以在原始的样本数据采集信息中，根据驾驶场景识别难易程度以及样本数据采集信息多少，按照不同的权重选取用于训练待训练场景识别模型的样本数据，进而获得选择的训练样本。最后基于选择的训练样本对待训练驾驶场景识别模型进行训练。

前方无车辆场景、跟车场景、自车加速场景、自车减速场景、自车转向场景出现频率较高、识别难度较低、样本数据采集信息较多，可以赋予较小的训练样本权重，从原始的样本数据采集信息中选取较小比例的样本数据用于训练待训练场景识别模型。

前车刹车场景、前车切车场景、旁车切入场景的出现频率较低、识别难度较高、样本数据采集信息较少，可以赋予较大的训练样本权重，从原始的样本数据采集信息中选取较大比例的样本数据用于训练待训练场景识别模型。

在其中一个实施例中，获得选择的训练样本之后，基于选择的训练样本对待训练识别模型进行训练之前，还可以对选择的训练样本进行数据扩增处理。

数据扩增又叫数据增强，是指对数据进行扩充，即通过某种变换操作让训练数据生成新数据。数据扩增可以增加训练集的样本，在不实质性增加数据的情况下让有限的数据产生更多数据的价值，进而有效缓解模型过拟合的情况，给模型带来更强的泛化能力。不同属性的数据可根据其属性进行相应的数据扩增处理。例如，在本实施例中，由于在现实情况下，车载摄像头拍摄的驾驶场景图像可能会受到外部环境或成像设备本身运行中产生的噪声的影响，导致待识别的驾驶场景图像中可能含有噪声，为了使识别模型能够在实际情况下准确识别这种含噪声的驾驶场景图像，在训练待训练的识别模型时可将车载摄像头拍摄的样本驾驶场景图像中加入噪声，尽可能地模拟现实情形。同样地，现实情形下车载摄像头拍摄的驾驶场景图像也可能与训练的样本驾驶场景图像的尺寸、方向、位置、亮度不同，为了使识别模型能够在实际情况下能够准确识别，可以在训练时对样本驾驶场景图像进行裁剪、旋转、平移、改变亮度以及镜像等操作。可以理解，对训练样本进行数据扩增处理可以同时包括加入噪声、裁剪、旋转、平移、改变亮度以及镜像等操作，也可以仅进行其中一种或多种不同操作。

本实施例中，通过在原始的样本数据采集信息中，根据驾驶场景识别难易程度以及样本数据采集信息多少，按照不同的权重选取用于训练待训练场景识别模型的样本数据，进而获得选择的训练样本，以及对选择的样本数据进行扩增处理，既有效地避免了待训练驾驶场景识别模型在训练时偏向训练某一驾驶场景，又提升了模型的鲁棒性，从而能够提高驾驶场景识别的准确率。

在一个实施例中，基于获得的训练样本对待训练识别模型进行训练，获得驾驶场景识别模型，可以包括如图5所示的步骤：

S501，通过待训练识别模型对样本驾驶场景图像进行场景识别，获得第一识别场景，对样本点云数据进行场景识别，获得第二识别场景，对样本车辆CAN总线数据进行场景识别，获得第三识别场景。

待训练识别模型中包括用于处理驾驶场景图像的子模型、用于处理点云数据的子模型以及用于处理车辆CAN总线数据的子模型。将样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据输入至待训练识别模型，在待训练识别模型内部，处理驾驶场景图像的子模型对样本驾驶场景图像进行处理获得第一识别场景，处理点云数据的子模型对样本点云数据进行处理获得第二识别场景，处理车辆CAN总线数据的子模型对样本车辆CAN总线数据进行处理获得第三识别场景。

用于处理驾驶场景图像的子模型、用于处理点云数据的子模型以及用于处理车辆CAN总线数据的子模型可以根据实际需求自行从零开始搭建得到，也可以基于已有的具备识别检测功能的算法搭建得到。

在其中一个实施例中，可以采用基于开源的YoloV7算法搭建的处理驾驶场景图像的子模型对样本驾驶场景图像进行处理，获得第一识别场景，采用基于开源的Pointpillar算法搭建的用于处理点云数据的子模型对样本点云数据进行处理，获得第二识别场景。

S502，基于第一识别场景与样本驾驶场景标签确定第一损失，基于第二识别场景与样本驾驶场景标签确定第二损失，基于第三识别场景与样本驾驶场景标签确定第三损失。

损失是每个样本预测值与真实值的差值，它是机器学习算法中的一个重要部分，主要用于进行算法对特征数据集建模效果的评估，衡量算法的性能。

在本实施例中，样本预测值是指样本数据输入模型后得到的识别场景，例如第一识别场景、第二识别场景、第三识别场景。在待训练识别模型内部，处理驾驶场景图像的子模型对样本驾驶场景图像进行检测获得第一识别场景，将第一识别场景与实际驾驶场景对比产生第一损失；处理点云数据的子模型对样本点云数据进行检测获得第二识别场景，将第二识别场景与实际驾驶场景对比产生第二损失；处理车辆CAN总线数据的子模型对样本车辆CAN总线数据进行处理获得第三识别场景，将第三识别场景与实际驾驶场景对比产生第三损失。

S503，基于第一损失、第二损失和第三损失确定总损失，基于总损失对待训练驾驶场景识别模型进行更新，直至达到训练结束条件，获得训练后的识别模型。

在本实施例中，待训练识别模型内部产生第一损失、第二损失和第三损失。在训练待训练识别模型时，第一损失、第二损失和第三损失需要同时考虑。因此，可以将这三个损失进行加权求和得到识别模型的总损失，进而基于加权后的总损失进行模型训练。

模型训练，是对模型各层的参数进行更新调整的过程。可以理解，模型训练是一个迭代处理过程，直至满足训练结束条件时停止训练。其中，训练结束条件是触发停止模型训练的条件。一般而言，损失越低，建立的模型提供的结果就越准确。因此，训练停止条件可以是计算得到的损失参数满足预定条件，比如损失参数小于预定阈值，还可以是计算得到的损失参数不再减小等等。

S504，基于训练后的识别模型，构建和部署驾驶场景识别模型。

模型部署是指让训练好的模型在特定环境中运行的过程。从模型完成训练，到最终将模型部署到实际硬件上时，整个流程中还可能涉及到模型转换、模型优化、模型压缩等环节。构建和部署驾驶场景识别模型即是指将训练完毕的识别模型应用于驾驶场景识别环境中时，其所经历的模型转换、模型优化、模型压缩、模型部署等环节的总称。

在其中一个实施例中，可以将训练完毕的识别模型部署到如图1所示的目标车辆上。具体地，目标车辆上设置有车载控制器，进而将驾驶场景识别模型部署到车载控制器上。在此情况下，目标车辆获得驾驶场景图像、点云数据以及车辆CAN总线数据后，可以直接存储在车辆控制器上，并通过搭载在车辆控制器上的驾驶场景识别模型完成驾驶场景识别任务。

在另一个实施例中，可以基于TensorRT对识别模型进行重构，获得基于TensorRT引擎的驾驶场景识别模型。

TensorRT是一个高性能的深度学习推理的优化器和运行的引擎。识别模型训练完毕之后，TensorRT可以对网络进行压缩、优化以及运行时部署，并且没有框架的开销。

具体地，首先，可以在需要部署的机器上下载安装TensorRT，需要部署的机器可以是服务器，也可以是安装在目标车辆上的车载控制器。

其次，利用TensorRT生成模型，可以直接通过TensorRT的应用程序编程接口(API，Application Programming Interface)接口逐层搭建网络，也可以将中间表示的模型(如ONNX，Open Neural Network Exchange)转换成TensorRT的模型。需要注意的是，利用TensorRT的API直接构建模型时，需要将训练完毕的识别模型的权重内容赋值到TensorRT的网络中。

最后，获得基于TensorRT引擎的驾驶场景识别模型。

本实施例提供的驾驶场景识别方法，利用待训练识别模型对样本驾驶场景图像进行场景识别，获得第一识别场景，对样本点云数据进行场景识别，获得第二识别场景，对样本车辆CAN总线数据进行场景识别，获得第三识别场景，并基于第一识别场景与样本驾驶场景标签确定第一损失，基于第二识别场景与样本驾驶场景标签确定第二损失，基于第三识别场景与样本驾驶场景标签确定第三损失，再基于第一损失、第二损失和第三损失确定总损失，基于总损失对待训练驾驶场景识别模型进行更新，直至达到训练结束条件，获得训练后的识别模型。最后基于训练后的识别模型，构建和部署驾驶场景识别模型。通过驾驶场景图像、激光雷达点云数据以及车辆CAN总线数据共同确定分类结果，有效地提高了分类的准确性。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的驾驶场景识别方法的驾驶场景识别装置。该装置所提供的解决问题的实现方案与上述方法中所有记载的实现方案相似，故下面所提供的一个或多个驾驶场景识别装置实施例中的具体限定可以参见文中对于驾驶场景识别方法的限定，再次不再赘述。

在一个实施例中，如图6所示，提供了一种驾驶场景识别装置600，包括驾驶数据获取模块602和驾驶场景识别模块604，其中：

驾驶数据获取模块602，用于获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

驾驶场景识别模块604，采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景。

在其中一个实施例中，驾驶数据获取模块602包括：

驾驶场景图像获取单元，用于获取车载摄像头拍摄获得的驾驶场景图像；

点云数据获取单元，用于获取载激光雷达采集获得的点云数据；

车辆CAN总线数据获取单元，用于获取车辆CAN总线数据。

在其中一个实施例中，训练获得的场景识别模型包括：

用于处理驾驶场景图像的子模型，用于对获取的驾驶场景图像进行处理，获得第一识别场景；

用于处理点云数据的子模型，用于对获取的点云数据进行处理，获得第二识别场景；

用于处理车辆CAN总线数据的子模型，用于对获取的车辆CAN总线数据进行处理，获得第三识别场景。

在其中一个实施例中，驾驶场景识别装置还包括模型训练模块，用于训练待训练识别模型，获得场景识别模型。

该模型训练模块可以包括如下单元：

训练样本获取单元，用于获取用于训练待训练识别模型的样本数据，包括样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据、驾驶场景标签；

待训练识别模型训练单元，用于根据获取的样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据、驾驶场景标签对待训练识别模型进行训练，获得训练完毕的场景识别模型。

在其中一个实施例中，训练样本获取单元还可以包括如下单元：

样本驾驶场景图像获取单元，用于获取用于训练待训练识别模型的样本驾驶场景图像。

样本点云数据获取单元，用于获取用于训练待训练识别模型的样本点云数据。

样本车辆CAN总线数据获取单元，用于获取用于训练待训练识别模型的样本车辆CAN总线数据。

在其中一个实施例中，待训练识别模型训练单元还可以包括如下单元：

用于处理驾驶场景图像的子模型训练单元，用于根据获取的样本驾驶场景图像对用于处理驾驶场景图像的子模型进行训练，获得训练完毕的用于处理驾驶场景图像的子模型。

用于处理点云数据的子模型训练单元，用于根据获取的样本点云数据对用于处理点云数据的子模型进行训练，获得训练完毕的用于处理点云数据的子模型。

用于处理车辆CAN总线数据的子模型训练单元，用于根据获取的样本车辆CAN总线数据对用于处理车辆CAN总线数据的子模型进行训练，获得训练完毕的用于处理车辆CAN总线数据的子模型。

在其中一个实施例中，用于处理驾驶场景图像的子模型可以基于开源的YoloV7算法搭建得到，用于对获取的驾驶场景图像进行处理，获得第一识别场景。

在其中一个实施例中，用于处理点云数据的子模型可以采用基于开源的Pointpillars算法搭建得到，用于对获取的点云数据进行处理，获得第二识别场景。

上述驾驶场景识别装置中的各个模块可全部或部分通过软件、硬件其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是图1所示的服务器120，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质和内存储器，该非易失性存储介质存储有操作系统、计算机程序和数据库，该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该数据库用于存储样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据以及驾驶场景标签。该网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现驾驶场景识别方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实以下步骤：

获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种驾驶场景识别方法，其特征在于，所述方法包括：

获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景；

所述场景识别模型的训练获得方式，包括：

获取训练样本，每个训练样本包括基于采集时间关联的样本驾驶场景图像、样本点云数据、样本车辆CAN总线数据以及驾驶场景标签；

基于所述训练样本对待训练识别模型进行训练，获得所述场景识别模型。

2.根据权利要求1所述的驾驶场景识别方法，其特征在于，所述基于所述训练样本对待训练识别模型进行训练之前，还包括：

基于各驾驶场景标签的场景权重，从数据采集信息中选择样本数据进行训练，获得选择的训练样本。

3.根据权利要求2所述的驾驶场景识别方法，其特征在于，第一驾驶场景标签的场景权重小于第二驾驶场景标签的场景权重，其中，所述第一驾驶场景标签包括：前方无车辆场景标签、跟车场景标签、自车加速场景标签、自车减速场景标签、以及自车转向场景标签；所述第二驾驶场景标签包括：前车刹车场景标签、前车切出场景标签、以及旁车切入场景标签。

4.根据权利要求2所述的驾驶场景识别方法，其特征在于，所述获得选择的训练样本之后，所述基于所述训练样本对待训练识别模型进行训练之前，还包括：

对所述选择的训练样本进行数据扩增处理。

5.根据权利要求1所述的驾驶场景识别方法，其特征在于：

所述车辆CAN总线数据包括：加速踏板开度、制动压力、档位、以及方向盘转角。

6.根据权利要求1所述的驾驶场景识别方法，其特征在于，所述基于所述训练样本对待训练识别模型进行训练，获得所述场景识别模型，包括：

通过所述待训练识别模型对所述样本驾驶场景图像进行场景识别，获得第一识别场景，对所述样本点云数据进行场景识别，获得第二识别场景，对所述样本车辆CAN总线数据进行场景识别，获得第三识别场景；

基于所述第一识别场景与所述驾驶场景标签确定第一损失，基于所述第二识别场景与所述驾驶场景标签确定第二损失，基于所述第三识别场景与所述驾驶场景标签确定第三损失；

基于所述第一损失、所述第二损失和所述第三损失确定总损失，并基于所述总损失对所述待训练识别模型进行更新，直至达到训练结束条件，获得训练后的识别模型；

基于所述识别模型，构建和部署所述场景识别模型。

7.根据权利要求6所述的驾驶场景识别方法，其特征在于，所述基于所述识别模型，构建和部署所述场景识别模型，包括：

基于TensorRT引擎对所述识别模型进行重构，获得基于TensorRT引擎的所述场景识别模型。

8.一种驾驶场景识别装置，其特征在于，包括：

驾驶数据获取模块，用于获取车载摄像头拍摄获得的驾驶场景图像、车载激光雷达采集获得的点云数据以及车辆CAN总线数据；

驾驶场景识别模块，采用训练获得的场景识别模型，对所述驾驶场景图像、所述点云数据以及所述车辆CAN总线数据进行处理，获得识别的驾驶场景。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images