CN116168370B - 一种自动驾驶数据识别方法及其系统 - Google Patents

Abstract

本申请公开了一种自动驾驶数据识别方法及其系统，其中自动驾驶数据识别方法具体包括以下步骤：进行数据预处理；将预处理后的数据输入基础网络，获取特征图；根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息；对红绿灯识别信息，车道线检测信息以及障碍物位置信息进行融合，获取运动走向信息。本申请能够对自动驾驶任务中获取的数据进行高效整合，具体能够同时进行红绿灯识别，车道线检测，障碍物检测等子任务，提高了数据识别的效率。

Description

一种自动驾驶数据识别方法及其系统

技术领域

本申请涉及数据处理领域，具体地，涉及一种自动驾驶数据识别方法及其系统。

背景技术

当前伴随着计算机视觉等人工智能技术的快速发展，促进了自动驾驶技术的高速更新迭代和应用。其中，视觉感知技术作为自动驾驶的“眼睛”，得到广泛的研究。当前自动驾驶技术视觉感知方案主要有红绿灯识别算法，车道线检测算法，障碍物检测算法等组成。各个不同算法独立训练和运行，需要耗费较大的算力和较多的时间。但是当前自动驾驶视觉感知方案中红绿灯识别算法，车道线检测算法，障碍物检测算法多为独立网络，耗费设备算力，同时存在检测时间长，识别速度慢的缺陷。

因此，如何提供一种在自动驾驶过程中，加快数据检测时间和识别速度的方法成为本领域急需解决的问题。

发明内容

本申请提供了一种自动驾驶数据识别方法，具体包括以下步骤：进行数据预处理；将预处理后的数据输入基础网络，获取特征图；根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息；对红绿灯识别信息，车道线检测信息以及障碍物位置信息进行融合，获取运动走向信息。

如上的，其中，进行数据预处理为对自动驾驶视觉感知数据进行预处理。

如上的，其中，根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息包括以下子步骤：根据获取的特征图获取红绿灯识别信息；根据获取的特征图获取车道线检测信息；根据获取的特征图进行障碍物检测，获取障碍物位置信息。

如上的，其中，根据获取的特征图获取红绿灯识别信息包括以下子步骤：根据特征图获取红绿灯位置信息和类别信息；根据获取的红绿灯位置信息，获取红绿灯状态信息和红绿灯倒计时信息；反复获取红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息，得到最终红绿灯识别结果。

如上的，其中，在根据获取的特征图进行红绿灯识别之前，还包括，在基础网络中，构造红绿灯识别头。

一种自动驾驶数据识别系统，包括数据预处理单元、特征图获取单元、数据识别单元以及运动走向信息获取单元；数据预处理单元，用于进行数据预处理；特征图获取单元，用于将预处理后的数据输入基础网络，获取特征图；数据识别单元，用于根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息；运动走向信息获取单元，用于对红绿灯识别信息，车道线检测信息以及障碍物位置信息进行融合，获取运动走向信息。

如上的，其中，数据预处理单元进行数据预处理为对自动驾驶视觉感知数据进行预处理。

如上的，其中，数据识别单元根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息包括以下子步骤：根据获取的特征图获取红绿灯识别信息；根据获取的特征图获取车道线检测信息；根据获取的特征图进行障碍物检测，获取障碍物位置信息。

如上的，其中，数据识别单元根据获取的特征图获取红绿灯识别信息包括以下子步骤：根据特征图获取红绿灯位置信息和类别信息；根据获取的红绿灯位置信息，获取红绿灯状态信息和红绿灯倒计时信息；反复获取红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息，得到最终红绿灯识别结果。

如上的，其中，数据识别单元在根据获取的特征图进行红绿灯识别之前，还包括，在基础网络中，构造红绿灯识别头。

本申请具有以下有益效果：

（1）本申请能够对自动驾驶任务中获取的数据进行高效整合，具体能够同时进行红绿灯识别，车道线检测，障碍物检测等子任务，极大的提升了模型训练和模型推理效率。

（2）本申请建立了数据预处理，基础网络提取特征，红绿灯识别/车道线检测/障碍物检测，信息融合处理的一整套完整的自动驾驶视觉感知任务流程。对自动驾驶视觉感知任务流程进行了统一化，规范化，标准化，解决了当前自动驾驶视觉感知任务缺乏统一规范的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例提供的自动驾驶数据识别方法的流程图；

图2是根据本申请实施例提供的自动驾驶数据识别系统的内部结构示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明提供了一种自动驾驶数据识别方法，基于视觉影像进行自动驾驶视觉环境感知，本方法同时进行红绿灯识别，车道线检测，障碍物检测等任务，各个任务共享特征，识别检测部分以解耦合的方式进行训练，具有识别速度快，识别效果好的优点，有利于提升自动驾驶视觉感知中的数据识别效率和效果，提升自动驾驶的安全性，稳定性以及舒适性。

实施例一

如图1所示，为本实施例提供的一种自动驾驶数据识别方法，具体包括以下步骤：

步骤S110：进行数据预处理。

车辆通过各类传感器，例如摄像头、毫米波雷达、超声波雷达、激光雷达等获取周边信息数据，产生图片数据、视频数据、点云图像、电磁波等信息数据，上述信息数据构成自动驾驶视觉感知数据。

其中数据预处理是对自动驾驶视觉感知数据进行预处理，具体对自动驾驶视觉感知数据进行图像缩放，图像归一化，图像矫正等方式，从而得到预处理后的图像特征数据。

步骤S120：将预处理后的数据输入基础网络，获取特征图。

将完成数据预处理后的图像特征数据放入基础网络进行高级特征抽取，获取特征图。其中基础网络采用RegNet_400_MF。

其中基础网络RegNet_400_MF为现有技术中的常用网络，具体由一些列的卷积层，批量归一化层，激活层，池化层等组成，通过训练快速提取输入的预处理后的图像特征数据，为后续红绿灯识别头，车道线检测头，障碍物检测头提供基础且通用的高级特征。

具体地，其中输入的图像特征数据经过基础网络（基础共享特征网络）得到特征图，其基本计算过程如下：

，

其中，Q表示输入数据，f表示基础共享特征网络，W，b均表示网络的权重参数，T表示基础网络中矩阵的转置操作，n表示基础网络中神经元的数量，i表示第i个神经元，表示第i个神经元的参数，/>表示第i个输入。

RegNet_400_MF网络由一系列的卷积层，批量归一化层，激活层，池化层等组成，RegNet_400_MF通过自动化搜索设计空间构成，通过固定Stem结构和Head结构，主要通过搜索空间进行body结构生成，body结构由不定数量的Block组成。

整体网络结构具有16个可以设计的自由度，包含4个stage结构，每个stage结构中包含4个Block参数，分别是block的数目，block的宽度，通道缩放比例和分组数目等，

利用统计学工具误差经验分布函数进行RegNet_400_MF网络模型误差和网络空间设计质量的评估，由于模型是通过参数搜索得到的，可能得到多个模型，不同的模型存在差异，因此需要评估模型的误差，通过评估选择误差符合要求的模型作为基础网络。其公式如下所示：

，

其中k表示k个模型，v表示第v个模型，ev表示第v个模型的误差，F(e)表示误差小于指定阈值e的模型百分比。

通过训练快速提取所输入的预处理后的图像特征数据对应的特征图，为后续红绿灯识别头，车道线检测头，障碍物检测头提供基础且通用的高级特征。

步骤S130：根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息。

为快速高效完成自动驾驶中视觉感知任务，经过步骤S120中基础网络RegNet_400_MF提取特征后，分别基于该特征同时进行红绿灯识别任务，车道线检测任务和障碍物检测任务。

步骤S130具体包括以下子步骤：

步骤S1301：根据获取的特征图获取红绿灯识别信息。

其中在根据获取的特征图进行红绿灯识别之前，还包括，在基础网络RegNet_400_MF中，构造红绿灯识别头。

具体地，其中构造的红绿灯识别头是基于视觉图像识别的模块，红绿灯识别头包括红绿灯检测模块和红绿灯识别模块，将上述两个模块引入基础网络RegNet_400_MF，能够同时进行红绿灯检测任务和红绿灯分类任务，得到红绿灯类别信息。

其中步骤S1301具体包括以下子步骤：

步骤S13011：根据特征图获取红绿灯位置信息和类别信息。

特征图首先经过红绿灯检测模块获取红绿灯的所在位置和红绿灯类别。

红绿灯类别包括横式红绿灯，竖式红绿灯等。

步骤S13012：根据获取的红绿灯位置信息，获取红绿灯状态信息和红绿灯倒计时信息。

在获取的红绿灯位置信息在特征图上裁剪出红绿灯区域，在该区域中提取得到检测ROI，通过红绿灯分类模块对红绿灯的状态信息进行识别，得到具体是红灯还是绿灯的状态。

通过红绿灯分类模块对红绿灯倒计时进行识别，获取红绿灯倒计时信息。

步骤S13013：反复获取红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息，得到最终红绿灯识别结果。

其中基于连续多帧得到的多个红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息进行投票，最终得到可信的红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息结果，即最终的红绿灯识别结果。

投票结果y为数组形式，例如，假设红绿灯状态信息有红灯 黄灯 绿灯，最终投票结果为【8，1，1】，则最终结果为黄灯。其中投票结果y具体表示为：

，

其中，表示第i个时间序列的特征，f函数表示红绿灯检测模块和红绿灯分类模块，e表示选取时间序列的数量，m表示红绿灯状态的类别，/>表示得到的红绿灯信息，表示该类别下的红绿灯状态信息，C函数表示计数函数，通过投票机制可得到更为准确的结果。

步骤S1302：根据获取的特征图获取车道线检测信息。

针对车道线识别任务，在RegNet_400_MF网络基础上，构造了车道线检测头，车道线检测头是是现有网络的检测头，具体结构在此不进行赘述，其中该检测头可以有效的预测输入图像是否存在车道线和对车道线进行实例分割，其中车道线检测头包括车道线候选位置模块以及车道线辅助分割模块。

预处理后的数据信息经过RegNet_400_MF获取特征图后，车道线辅助分割模块融合RegNet_400_MF基础网络中的不同的多尺度特征图，进行特征聚合处理，基于融合特征进行车道线分割，辅助车道线候选位置模块进行位置选择，得到精准的车道线位置点，最终获取得到车道线检测信息。

在训练阶段，同时训练车道线辅助分割模块和车道线候选位置模块，在推理阶段，不进行车道线分割，只需得到车道线位置点，可大幅度节省推理时间。在车道线后处理阶段，针对前置步骤得到的车道线位置信息，首先对车道线位置点进行采样，进一步缩减拟合时间，采用RANSAC算法对车道线进行三次多项式拟合得到车道线信息的最终结果z：

，

其中，a,b,c,d是需要拟合的参数信息，u表示采样后的车道线位置点。最终可得到较为准确的车道线检测信息。

步骤S1303：根据获取的特征图进行障碍物检测，获取障碍物位置信息。

针对障碍物检测任务，在基础网络RegNet_400_MF上，构造了障碍物检测头，该检测头可以有效的基于2D图像进行检测障碍物，并获取障碍物的更为精准的3D位置信息。

预处理后的数据信息经过基础网络RegNet_400_MF获取特征图后，利用障碍物检测模块可以得到障碍物的2D信息，假设2D检测框下边中心点为障碍物与地面的接触点，结合相机的参数确定地面高度，最终得出障碍物的3D位置信息。

具体地，障碍物的2D RGB图像设为I，尺寸为W*H*3，假设2D检测框下边中心点为障碍物与地面的接触点，已知相机内参数设为K，则表示为：

，

其中，表示x轴方向一个像素的宽度，/>表示y轴方向一个像素的宽度。表示图像平面的主点。

从目标坐标系转到相机系的旋转矩阵R为:

，

其中，表示旋转矩阵R参数，可由偏航角θ计算得到，则：

，

可得到障碍物类别C和3D边框，其中h为障碍物的长，w为障碍物的宽，l为障碍物的高，（x,y,z）为3D检测框的中心点坐标信息，λ表示归一化因子，（X，Y，Z）表示图像坐标系中坐标。

步骤S140：对红绿灯识别信息，车道线检测信息以及障碍物位置信息进行融合，获取运动走向信息。

基于跟踪算法对检测得到的红绿灯，车道线，障碍物进行跟踪，针对红绿灯识别任务，结合连续10帧图像中红绿灯状态信息和计数表信息进行综合判断，投票选取红绿灯状态得票率最高的红绿灯状态信息作为当前状态信息。针对车道线检测任务，结合连续10帧图像中车道线信息进行跟踪预测接下来车道线走向。针对障碍物检测任务，结合连续10帧图像障碍物3D检测框移动情况，预测接下来障碍物的运动情况。

综合障碍物坐标，车道线坐标和红绿灯状态信息，传输数据至决策算法进行车辆运动走向决策信息的获取，例如决定车辆走哪条路会遇到较少的红灯以及较少的障碍物。并将该信息传输至车辆中，使车辆按照运动走向信息进行行进。

作为另一个实施例，在得到运动走向信息后，不通过上述过程立即将其传输至车辆中，而是进行等待，对运动走向信息进行存储校验操作。

在得到每次运动走向信息将其反馈至车辆后，还需要对该运动走向的决策信息进行存储，具体将运动走向信息存储至服务器的一个文件中，并确定存储校验值。

其中每个文件对应一个存储校验值，该存储校验值具体表示为：

，

其中表示与服务器s连接所需的延迟，/>表示带宽开销，/>表示文件i从进入到服务器后总的访问次数，/>表示文件的大小，p表示与该运动走向信息对应的常量，其中该常量是由工作人员预先进行设置，确定通过步骤S140得到运动走向信息的时间，该时间越短，则该常量数值越大，反之则越小，常量数值的具体值在此不进行限定。

根据上述公式能够得到每一个文件的存储校验值。

当得到一次存储校验值后，在指定时间段内再次执行步骤S120-140，即再次根据输入的自动驾驶视觉感知数据进行红绿灯识别信息，车道线检测信息以及障碍物位置信息的获取以及运动走向信息的获取，并对再次获取的运动走向信息进行存储，此时存储至与上一次不同的文件中，并根据该存储的文件再次确定存储校验值。

比较两次存储校验值是否相同，若两次存储校验值相同或两次存储校验值的差值可以忽略，则将运动走向信息传输至车辆进行行进，若两次存储校验值不同，或两次存储校验值的差值不能忽略，则将运动走向信息进行切断，车辆不能根据该运动走向信息进行行进。

其中存储校验值的差值可以忽略是指，两次存储校验值的差值小于指定阈值。存储校验值的差值不能忽略是指，两次存储校验值的差值大于指定阈值。

若两次存储校验值不同，或两次存储校验值的差值不能忽略，则说明在获取红绿灯识别信息，车道线检测信息以及障碍物位置信息的前后出现了错误，或者将运动走向信息进行存储时出现了错误等原因，则此时不执行第一次获取的运动走向信息。

实施例二

如图2所示，本申请提供了一种自动驾驶数据识别系统，其中具体包括：数据预处理单元210、特征图获取单元220、数据识别单元230以及运动走向信息获取单元240。

其中数据预处理单元210用于进行数据预处理。

车辆通过各类传感器，例如摄像头、毫米波雷达、超声波雷达、激光雷达等获取周边信息数据，产生图片数据、视频数据、点云图像、电磁波等信息数据，上述信息数据构成自动驾驶视觉感知数据。

其中数据预处理是对自动驾驶视觉感知数据进行预处理，具体对自动驾驶视觉感知数据进行图像缩放，图像归一化，图像矫正等方式，从而得到预处理后的图像特征数据。

特征图获取单元220用于将预处理后的数据输入基础网络，获取特征图。

将完成数据预处理后的图像特征数据放入基础网络进行高级特征抽取，获取特征图。其中基础网络采用RegNet_400_MF。

其中基础网络RegNet_400_MF为现有技术中的常用网络，具体由一些列的卷积层，批量归一化层，激活层，池化层等组成，通过训练快速提取输入的预处理后的图像特征数据，为后续红绿灯识别头，车道线检测头，障碍物检测头提供基础且通用的高级特征。

具体地，其中输入的图像特征数据经过基础网络（基础共享特征网络）得到特征图，其基本计算过程如下：

，

其中，Q表示输入数据，f表示基础共享特征网络，W，b均表示网络的权重参数，T表示基础网络中矩阵的转置操作，n表示基础网络中神经元的数量，i表示第i个神经元，表示第i个神经元的参数，/>表示第i个输入。RegNet_400_MF网络由一系列的卷积层，批量归一化层，激活层，池化层等组成，RegNet_400_MF通过自动化搜索设计空间构成，通过固定Stem结构和Head结构，主要通过搜索空间进行body结构生成，body结构由不定数量的Block组成。

整体网络结构具有16个可以设计的自由度，包含4个stage结构，每个stage结构中包含4个Block参数，分别是block的数目，block的宽度，通道缩放比例和分组数目等，利用统计学工具误差经验分布函数进行模型误差和网络空间设计质量的评估，其公式如下所示：

，

其中k表示k个模型，v表示第v个模型，ev表示第v个模型的误差，F(e)表示error小于e的模型百分比。

通过训练快速提取所输入的预处理后的图像特征数据对应的特征图，为后续红绿灯识别头，车道线检测头，障碍物检测头提供基础且通用的高级特征。

数据识别单元230用于根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息。

为快速高效完成自动驾驶中视觉感知任务，经过基础网络RegNet_400_MF提取特征后，分别基于该特征同时进行红绿灯识别任务，车道线检测任务和障碍物检测任务。

数据识别单元230具体包括以下子模块：红绿灯识别信息获取模块、车道线检测信息获取模块以及障碍物位置信息获取模块。

红绿灯识别信息获取模块，用于根据获取的特征图获取红绿灯识别信息。

其中在根据在获取的特征图进行红绿灯识别之前，还包括，在基础网络RegNet_400_MF中，构造红绿灯识别头。

具体地，其中构造的红绿灯识别头是基于视觉图像识别的模块，红绿灯识别头包括红绿灯检测模块和红绿灯识别模块，将上述两个模块引入基础网络RegNet_400_MF，能够同时进行红绿灯检测任务和红绿灯分类任务，得到红绿灯类别信息。

其中红绿灯识别信息获取模块具体执行以下子步骤：

步骤D1：根据特征图获取红绿灯位置信息和类别信息。

特征图首先经过红绿灯检测模块获取红绿灯的所在位置和红绿灯类别。

红绿灯类别包括横式红绿灯，竖式红绿灯等。

步骤D2：根据获取的红绿灯位置，获取红绿灯状态信息和红绿灯倒计时信息。

在获取的红绿灯位置信息在特征图上裁剪出红绿灯区域，在该区域中提取得到检测ROI，通过红绿灯分类模块对红绿灯的状态信息进行识别，得到具体是红灯还是绿灯的状态。

通过红绿灯分类模块对红绿灯倒计时进行识别，获取红绿灯倒计时信息。

步骤D3：多次反复获取红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息，得到最终红绿灯识别结果。

其中基于连续多帧得到的多个红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息进行投票，最终得到可信的红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息结果，即最终的红绿灯识别结果。

其中投票结果y具体表示为：

，

其中，表示第i个时间序列的特征，f函数表示红绿灯检测模块和红绿灯分类模块，e表示选取时间序列的数量，m表示红绿灯状态的类别，/>表示得到的红绿灯信息，表示该类别下的红绿灯状态信息，C函数表示计数函数，通过投票机制可得到更为准确的结果。

车道线检测信息获取模块，用于根据获取的特征图获取车道线检测信息。

针对车道线识别任务，在RegNet_400_MF网络基础上，构造了车道线检测头，该检测头可以有效的预测输入图像是否存在车道线和对车道线进行实例分割，其中车道线检测头包括车道线候选位置模块以及车道线辅助分割模块。

预处理后的数据信息经过RegNet_400_MF获取特征图后，车道线辅助分割模块融合RegNet_400_MF基础网络中的不同的多尺度特征图，进行特征聚合处理，基于融合特征进行车道线分割，辅助车道线候选位置模块进行位置选择，得到精准的车道线位置点，最终获取得到车道线检测信息。

在训练阶段，同时训练车道线辅助分割模块和车道线候选位置模块，在推理阶段，不进行车道线分割，只需得到车道线位置点，可大幅度节省推理时间。在车道线后处理阶段，针对前置步骤得到的车道线位置信息，首先对车道线位置点进行采样，进一步缩减拟合时间，采用RANSAC算法对车道线进行三次多项式拟合得到车道线信息的最终结果z：

，

其中，a,b,c,d是需要拟合的参数信息，u表示采样后的车道线位置点。最终可得到较为准确的车道线检测信息。

障碍物位置信息获取模块，用于根据获取的特征图进行障碍物检测，获取障碍物位置信息。

针对障碍物检测任务，在基础网络RegNet_400_MF上，构造了障碍物检测头，该检测头可以有效的基于2D图像进行检测障碍物，并获取障碍物的更为精准的3D位置信息。

预处理后的数据信息经过基础网络RegNet_400_MF获取特征图后，利用障碍物检测模块可以得到障碍物的2D信息，假设2D检测框下边中心点为障碍物与地面的接触点，结合相机的参数确定地面高度，最终得出障碍物的3D位置信息。

具体地，障碍物的2D RGB图像设为I，尺寸为W*H*3，，假设2D检测框下边中心点为障碍物与地面的接触点，已知相机内参数设为K，则表示为：

，

其中，表示x轴方向一个像素的宽度，/>表示y轴方向一个像素的宽度。表示图像平面的主点。

从目标坐标系转到相机系的旋转矩阵R为:

，

其中，表示旋转矩阵R参数，可由偏航角θ计算得到，则：

，

可得到障碍物类别C和3D边框，其中h为障碍物的长，w为障碍物的宽，l为障碍物的高，（x,y,z）为3D检测框的中心点坐标信息，λ表示归一化因子，（X，Y，Z）表示图像坐标系中坐标。

运动走向信息获取单元240用于对红绿灯识别信息，车道线检测信息以及障碍物位置信息进行融合，获取运动走向信息。

基于跟踪算法对检测得到的红绿灯，车道线，障碍物进行跟踪，针对红绿灯识别任务，结合连续10帧图像中红绿灯状态信息和计数表信息进行综合判断，投票选取红绿灯状态得票率最高的红绿灯状态信息作为当前状态信息。针对车道线检测任务，结合连续10帧图像中车道线信息进行跟踪预测接下来车道线走向。针对障碍物检测任务，结合连续10帧图像障碍物3D检测框移动情况，预测接下来障碍物的运动情况。

综合障碍物坐标，车道线坐标和红绿灯状态信息，传输数据至决策算法进行车辆运动走向决策信息，例如决定车辆走哪条路会遇到较少的红灯以及较少的障碍物。并将该信息传输至车辆中，使车辆按照运动走向信息进行行进。

作为另一个实施例，在得到运动走向信息后，不通过上述过程立即将其传输至车辆中，而是进行等待，对运动走向信息进行存储校验操作。

在得到每次运动走向信息将其反馈至车辆后，还需要对该运动走向的决策信息进行存储，具体将运动走向信息存储至服务器的一个文件中，并确定存储校验值。

其中每个文件对应一个存储校验值，该存储校验值具体表示为：

，

其中表示与服务器s连接所需的延迟，/>表示带宽开销，/>表示文件i从进入到服务器后总的访问次数，/>表示文件的大小，p表示与该运动走向信息对应的常量，其中该常量是由工作人员预先进行设置，确定通过步骤S140得到运动走向信息的时间，该时间越短，则该常量数值越大，反之则越小。

根据上述公式能够得到每一个文件的存储校验值。

当得到一次存储校验值后，在指定时间段内再次执行步骤S120-140，即再次根据输入的自动驾驶视觉感知数据进行红绿灯识别信息，车道线检测信息以及障碍物位置信息的获取以及运动走向信息的获取，并对再次获取的运动走向信息进行存储，此时存储至与上一次不同的文件中，并根据该存储的文件再次确定存储校验值。

比较两次存储校验值是否相同，若两次存储校验值相同或两次存储校验值的差值可以忽略，则将运动走向信息传输至车辆进行行进，若两次存储校验值不同，或两次存储校验值的差值不能忽略，则将运动走向信息进行切断，车辆不能根据该运动走向信息进行行进。

其中存储校验值的差值可以忽略是指，两次存储校验值的差值小于指定阈值。存储校验值的差值不能忽略是指，两次存储校验值的差值大于指定阈值。

若两次存储校验值不同，或两次存储校验值的差值不能忽略，则说明在获取红绿灯识别信息，车道线检测信息以及障碍物位置信息的前后出现了错误，或者将运动走向信息进行存储时出现了错误等原因，则此时不执行第一次获取的运动走向信息。

本申请具有以下有益效果：

（1）本申请能够对自动驾驶任务中获取的数据进行高效整合，具体能够同时进行红绿灯识别，车道线检测，障碍物检测等子任务，极大的提升了模型训练和模型推理效率。

（2）本申请建立了数据预处理，基础网络提取特征，红绿灯识别/车道线检测/障碍物检测，信息融合处理的一整套完整的自动驾驶视觉感知任务流程。对自动驾驶视觉感知任务流程进行了统一化，规范化，标准化，解决了当前自动驾驶视觉感知任务缺乏统一规范的问题。

虽然当前申请参考的示例被描述，其只是为了解释的目的而不是对本申请的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本申请的范围。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种自动驾驶数据识别方法，其特征在于，具体包括以下步骤：

进行数据预处理；

将预处理后的数据输入基础网络，获取特征图；

根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息；

对红绿灯识别信息，车道线检测信息以及障碍物位置信息进行融合，获取运动走向信息；

在得到运动走向信息后，进行等待，对运动走向信息进行存储校验操作，

将运动走向信息存储至服务器的一个文件中，并确定存储校验值；

其中每个文件对应一个存储校验值，该存储校验值具体表示为：

，

其中表示与服务器s连接所需的延迟，/>表示带宽开销，/>表示文件i从进入到服务器后总的访问次数，/>表示文件的大小，p表示与该运动走向信息对应的常量；

当得到一次存储校验值后，在指定时间段内再次根据输入的自动驾驶视觉感知数据进行红绿灯识别信息，车道线检测信息以及障碍物位置信息的获取以及运动走向信息的获取，并对再次获取的运动走向信息进行存储，此时存储至与上一次不同的文件中，并根据该存储的文件再次确定存储校验值；

比较两次存储校验值是否相同，若两次存储校验值相同或两次存储校验值的差值可以忽略，则将运动走向信息传输至车辆进行行进，若两次存储校验值不同，或两次存储校验值的差值不能忽略，则将运动走向信息进行切断，车辆不能根据该运动走向信息进行行进。

2.如权利要求1所述的自动驾驶数据识别方法，其特征在于，进行数据预处理为对自动驾驶视觉感知数据进行预处理。

3.如权利要求2所述的自动驾驶数据识别方法，其特征在于，根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息包括以下子步骤：

根据获取的特征图获取红绿灯识别信息；

根据获取的特征图获取车道线检测信息；

根据获取的特征图进行障碍物检测，获取障碍物位置信息。

4.如权利要求3所述的自动驾驶数据识别方法，其特征在于，根据获取的特征图获取红绿灯识别信息包括以下子步骤：

根据特征图获取红绿灯位置信息和类别信息；

根据获取的红绿灯位置信息，获取红绿灯状态信息和红绿灯倒计时信息；

反复获取红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息，得到最终红绿灯识别结果。

5.如权利要求4所述的自动驾驶数据识别方法，其特征在于，在根据获取的特征图进行红绿灯识别之前，还包括，在基础网络中，构造红绿灯识别头。

6.一种自动驾驶数据识别系统，其特征在于，包括数据预处理单元、特征图获取单元、数据识别单元以及运动走向信息获取单元；

数据预处理单元，用于进行数据预处理；

特征图获取单元，用于将预处理后的数据输入基础网络，获取特征图；

数据识别单元，用于根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息；

运动走向信息获取单元，用于对红绿灯识别信息，车道线检测信息以及障碍物位置信息进行融合，获取运动走向信息；

在得到运动走向信息后，进行等待，对运动走向信息进行存储校验操作，

将运动走向信息存储至服务器的一个文件中，并确定存储校验值；

其中每个文件对应一个存储校验值，该存储校验值具体表示为：

，

其中表示与服务器s连接所需的延迟，/>表示带宽开销，/>表示文件i从进入到服务器后总的访问次数，/>表示文件的大小，p表示与该运动走向信息对应的常量；

当得到一次存储校验值后，在指定时间段内再次根据输入的自动驾驶视觉感知数据进行红绿灯识别信息，车道线检测信息以及障碍物位置信息的获取以及运动走向信息的获取，并对再次获取的运动走向信息进行存储，此时存储至与上一次不同的文件中，并根据该存储的文件再次确定存储校验值；

比较两次存储校验值是否相同，若两次存储校验值相同或两次存储校验值的差值可以忽略，则将运动走向信息传输至车辆进行行进，若两次存储校验值不同，或两次存储校验值的差值不能忽略，则将运动走向信息进行切断，车辆不能根据该运动走向信息进行行进。

7.如权利要求6所述的自动驾驶数据识别系统，其特征在于，数据预处理单元进行数据预处理为对自动驾驶视觉感知数据进行预处理。

8.如权利要求6所述的自动驾驶数据识别系统，其特征在于，数据识别单元根据特征图进行数据识别，获取红绿灯识别信息，车道线检测信息以及障碍物位置信息包括以下子步骤：

根据获取的特征图获取红绿灯识别信息；

根据获取的特征图获取车道线检测信息；

根据获取的特征图进行障碍物检测，获取障碍物位置信息。

9.如权利要求6所述的自动驾驶数据识别系统，其特征在于，数据识别单元根据获取的特征图获取红绿灯识别信息包括以下子步骤：

根据特征图获取红绿灯位置信息和类别信息；

根据获取的红绿灯位置信息，获取红绿灯状态信息和红绿灯倒计时信息；

反复获取红绿灯位置信息、红绿灯类别信息、红绿灯状态信息以及红绿灯倒计时信息，得到最终红绿灯识别结果。

10.如权利要求9所述的自动驾驶数据识别系统，其特征在于，数据识别单元在根据获取的特征图进行红绿灯识别之前，还包括，在基础网络中，构造红绿灯识别头。