CN112009491A - 一种基于交通元素视觉增强的深度学习的自动驾驶方法及系统 - Google Patents

Abstract

本发明公开了一种基于交通元素视觉增强的深度学习的自动驾驶方法，其通过车载摄像头获取车辆行驶数据，利用建立的感知神经网络识别图像中的车辆、行人、红绿灯、车道线、停止线等交通元素，通过不同颜色区块对图像中的交通元素进行视觉增强，然后以增强后的图像作为输入，导入到预先确定并训练好的深度学习神经网络模型中，输出期望的方向盘转角、油门开度以及刹车力度，以控制车辆实现自动驾驶。本发明还公开了相应的系统，实施本发明，可以增加深度学习自动驾驶系统对重点道路交通元素的关注度，从而有效提高自动驾驶的安全性、可靠性以及鲁棒性。

Description

一种基于交通元素视觉增强的深度学习的自动驾驶方法及 系统

技术领域

本发明属于汽车自动驾驶领域，涉及一种基于交通元素视觉增强的深度学习的自动驾驶方法及系统。

背景技术

采用深度学习来实现对车辆进行自动驾驶的方法是当前行业内前沿的自动驾驶算法模型。其一般是先设计深度学习网络，然后将传感器采集的原始图像作为深度学习网络的输入，通过网络输出刹车、加速和转向等操作作为输出，然后对深度学习网络进行训练。其优势是网络模型可以直接对传感输入做出回应，不需要人类编写规则进行干预，只要提供足够多的训练数据，系统就能自动学会驾驶技术。

但是现有的深度学习自动驾驶方法直接将原始图像作为深度学习网络的输入，导致网络对图像中的车辆、行人、红绿灯、车道线以及停止线等交通元素关注度不够，容易造成自动驾驶车辆发生安全事故，不能达到很好的自动驾驶能力。

发明内容

本发明实施例所要解决的技术问题在于，本发明提供一种基于交通元素视觉增强的深度学习的自动驾驶方法及系统，通过提前对图像中的交通元素进行识别，然后对原始图像中的交通元素进行视觉增强，从而提高网络对其关注度，提高自动驾驶的安全行驶能力。

作为本发明的一方面，提供一种基于交通元素视觉增强的深度学习的自动驾驶方法，其包括如下步骤：

步骤S10，通过车载摄像头采集当前车辆行驶的行车环境数据；

步骤S11，利用感知神经网络对所采集的行车环境数据中的交通元素进行识别，并对所述识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

步骤S13，将所述增强后的行车环境数据作为输入数据导入预先确定并训练好的的自动驾驶决策模块中，根据所述自动驾驶决策模块输出的期望的方向盘转角、油门开度以及刹车力度，控制车辆实现自动驾驶；其中，所述自动驾驶决策模块中采用深度学习网络模型，所述深度学习网络模型至少包括有多级卷积神经网络(CNN)层、长短期记忆神经网络(LSTM)层以及输出层。

优选地，所述深度学习神经网络模型包括：

多级卷积神经网络(CNN)层，用于将输入的增强后的行车环境数据进行卷积处理，形成具有第一维度的第一特征向量；

第一全连接(FC)层，用于将所述第一特征向量转换成具有第二维度的第二特征向量；

两个分支网络，其中第一分支包括有具有第三维度的第二全连接(FC)层，用于将所述第二特征向量转换成第三维度，并经一方向盘输出层进行输出，所述方向盘输出层具有一个单元，输出结果为期望的方向盘转角；

第二分支包含有第四维度的长短期记忆神经网络(LSTM)层和具有第三维度的第三全连接(FC)层，用于将所述第二特征向量转换后，连接至油门开度和刹车力度输出层进行输出，输出结果分别为期望的油门开度和期望的刹车力度；

其中，所采用的网络损失函数为方向盘转角平方差、油门开度平方差和刹车力度平方差三者的加权和。

优选地，所述多级卷积神经网络(CNN)层采用RESNET50网络，所述第一维度为2048，第二维度为256，第三维度为10，第四维度为256。

优选地，进一步包括步骤S2，预先确定深度学习网络模型并进行优化训练，形成自动驾驶决策模块；所述步骤S2具体包括：

S20，通过多个车载摄像头采集车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，所述驾驶行为数据包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

S21，对所采集的行车环境数据进行抽样，并利用感知神经网络对所述抽样的行车环境数据进行交通元素识别，对识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

S22，将所述增强后的行车环境数据以及其对应的驾驶行为数据形成训练集，并导入至预先确定的深度学习网络模型中进行训练优化，形成自动驾驶决策模块；其中，所述增强后的行车环境数据作为输入，其对应的驾驶行为数据作为输出。

优选地，所述步骤S20中具体包括：

通过安装在车辆前端的左中右三个摄像头采集行车环境数据，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，左右两侧摄像头左右摄像头与中间摄像头平齐且距离一定的距离，三个摄像头均采用第一视场角和第一采集频率进行采集；

车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度，采用第二采集频率进行采集；

其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。

优选地，在所述步骤S11或步骤S21具体包括：

将采集的图像数据通过预先建立的感知神经网络进行道路交通元素识别，所述道路交通元素至少包括车道线、车辆、行人、红绿灯、停止线；

在完成道路交通元素识别后，进行危险目标筛选，其中危险目标筛选的结果包括：当前车道、左车道和右车道的车道线，所述三车道内靠近本车的车辆，摄像头视野范围内的所有行人，以及红绿灯和停止线；

将原始图像转换成灰度图，并对识别出来的不同的道路交通元素采用不同颜色区块进行表示；

其中，车道线采用白色、黄色的实线或虚线表示，车辆采用紫色实心方框表示，行人采用蓝色实心方框表示，红灯或者黄灯采用红色实心方框表示，绿灯采用绿色实心方框表示，停止线采用白色实线表示。

优选地，所述步骤S22具体包括：

获取足够数量的增强后的行车环境数据，并对每一增强后的行车环境数据所对应的驾驶员驾驶行为信息中的方向盘角度、油门开度和刹车力度分别进行归一化处理，形成输出数据；

将所述每一增强后的行行车环境数据作为输入，将其对应的归一化处理后的方向盘角度、油门开度和刹车力度作为输出，导入所述预定确定的深度学习网络模型中，根据预定的优化方法以及所述网络损失函数进行训练优化，获得收敛的深度学习网络模型参数，形成自动驾驶决策模块；其中，所述训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法。

相应地，本发明的另一方面，还提供一种基于交通元素视觉增强的深度学习的自动驾驶系统，其包括：

行车环境数据采集模块，用于通过车载摄像头实时采集当前车辆行驶的行车环境数据；

交通元素识别增强模块，用于利用感知神经网络对所采集的行车环境数据中的交通元素进行识别，并对所述识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

自动驾驶决策模块，用于接收所述增强后的行车环境数据作为输入，决策处理后输出预测方向盘转角、预测油门开度以及期望的刹车力度，以控制车辆实现自动驾驶；其中，所述自动驾驶决策模块包括有深度学习网络模型，所述深度学习网络模型至少包括有多级卷积神经网络(CNN)层、长短期记忆神经网络(LSTM)层以及输出层。

优选地，所述深度学习神经网络模型包括：

多级卷积神经网络(CNN)层，用于将输入的增强后的行车环境数据经变换，形成第一维度的第一特征向量；

第一全连接(FC)层，用于将所述第一特征向量转换成第二维度的第二特征向量；

两个分支网络，其中第一分支包括有第三维度的第二全连接(FC)层，用于将所述第二特征向量转换成第三维度，并连接一方向盘输出层进行输出，所述方向盘输出层具有一个单元，输出结果为期望的方向盘转角；

第二分支包含有第四维度的长短期记忆神经网络(LSTM)层和第三维度的第三全连接(FC)层，用于将所述第二特征向量转换后，连接至油门开度和刹车力度输出层进行输出，输出结果分别为期望的油门开度和期望的刹车力度；

其中，所采用的网络损失函数为方向盘转角平方差、油门开度平方差和刹车力度平方差加权和。

优选地，所述多级卷积神经网络(CNN)层采用RESNET50网络，所述第一维度为2048，第二维度为256，第三维度为10，第四维度为256。

优选地，进一步包括深度学习网络模型确定训练模块，用于预先确定深度学习网络模型并进行优化训练，形成自动驾驶决策模块，其包括：

原始数据获得单元，用于通过多个车载摄像头采集车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，所述驾驶行为数据包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

行车环境数据处理单元，用于对所采集的行车环境数据进行抽样，并利用感知神经网络对所述抽样的行车环境数据进行交通元素识别，对识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

训练优化单元，用于将所述增强后的行车环境数据以及其对应的驾驶行为数据形成训练集，并导入至预先确定的深度学习网络模型中进行训练优化，形成自动驾驶决策模块；其中，所述增强后的行车环境数据作为输入，其对应的驾驶行为数据作为输出。

优选地，所述步骤原始数据获得单元具体包括：

通过安装在车辆前端的左中右三个摄像头采集行车环境数据，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，左右两侧摄像头左右摄像头与中间摄像头平齐且距离一定的距离，三个摄像头均采用第一视场角和第一采集频率进行采集；

车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度，采用第二采集频率进行采集；

其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。

优选地，所述交通元素识别增强模块或行车环境数据处理单元进一步包括：

元素识别单元，用于将采集的图像数据通过预先建立的感知神经网络进行道路交通元素识别，所述道路交通元素至少包括车道线、车辆、行人、红绿灯、停止线；

元素筛选单元，用于在完成道路交通元素识别后，进行危险目标筛选，其中危险目标筛选的结果包括：当前车道、左车道和右车道的车道线，所述三车道内靠近本车的车辆，摄像头视野范围内的所有行人，以及红绿灯和停止线；

元素增强单元，用于将原始图像转换成灰度图，并对识别出来的不同的道路交通元素采用不同颜色区块进行表示；

其中，车道线采用白色、黄色的实线或虚线表示，车辆采用紫色实心方框表示，行人采用蓝色实心方框表示，红灯或者黄灯采用红色实心方框表示，绿灯采用绿色实心方框表示，停止线采用白色实线表示。

优选地，所述训练优化单元具体包括：

训练集获取单元，用于获取足够数量的增强后的行车环境数据，并对每一增强后的行车环境数据所对应的驾驶员驾驶行为信息中的方向盘角度、油门开度和刹车力度分别进行归一化处理，形成输出数据；

训练单元，用于将所述每一增强后的行行车环境数据作为输入，将其对应的归一化处理后的方向盘角度、油门开度和刹车力度作为输出，导入所述预定确定的深度学习网络模型中，根据预定的优化方法以及所述网络损失函数进行训练优化，获得收敛的深度学习网络模型参数，形成自动驾驶决策模块；其中，所述训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法。

实施本发明的实施例，具有如下的有益效果：

本发明实施例所提供的一种基于交通元素视觉增强的深度学习的自动驾驶方法及系统，其通过车载摄像头获取车辆行驶数据，利用建立的感知神经网络识别图像中的车辆、行人、红绿灯、车道线、停止线等交通元素，通过不同颜色区块对图像中的交通元素进行视觉增强，然后以增强后的图像作为输入，导入到预先确定并训练好的深度学习神经网络模型中，输出期望的方向盘转角、油门开度以及刹车力度，以控制车辆实现自动驾驶。可以增加深度学习自动驾驶系统对道路交通元素的关注度，从而有效提高自动驾驶的安全性、可靠性以及鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明提供的一种基于交通元素视觉增强的深度学习的自动驾驶方法的一个实施例的主流程示意图；

图2为图1中经增强后的行车环境数据图像的示意图；

图3为本发明提供的方法中进行深度学习网络模型训练优化的流程示意图；

图4是为本发明提供的一种基于交通元素视觉增强的深度学习的自动驾驶系统的一个实施例的结构示意图；

图5是图4中深度学习网络模型确定训练模块的结构示意图；

图6是图4中交通元素识别增强模块的结构示意图；

图7是图5中训练优化单元的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，示出了本发明提供的一种基于交通元素视觉增强的深度学习的自动驾驶方法的一个实施例的主流程示意图，一并结合图2至图3所示，在本实施例中，所述方法包括如下步骤：

步骤S10，通过车载摄像头采集当前车辆行驶的行车环境数据；在一个例子中，采用安装在车辆前端的一个摄像头进行行车环境数据采集，该摄像头均采用第一视场角(如60°)和第一采集频率(如30Hz)进行采集；

步骤S11，利用感知神经网络对所采集的行车环境数据中的交通元素进行识别，并对所述识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

具体地，在一个例子中，该步骤S11进一步包括如下的步骤：

将采集的图像数据通过预先建立的感知神经网络进行道路交通元素识别，所述道路交通元素至少包括车道线、车辆、行人、红绿灯、停止线；

在完成道路交通元素识别后，进行危险目标筛选，其中危险目标筛选的结果包括：当前车道、左车道和右车道的车道线，所述三车道内靠近本车的车辆，摄像头视野范围内的所有行人，以及红绿灯和停止线，在一些例子中，也可以在红绿灯状态为绿灯时，不检测停止线，当红绿灯状态为黄灯或红灯时，给出停止线位置；

将原始图像转换成灰度图，并对识别出来的不同的道路交通元素采用不同颜色区块进行表示；

其中，车道线采用白色、黄色的实线或虚线表示，车辆采用紫色实心方框表示，行人采用蓝色实心方框表示，红灯或者黄灯采用红色实心方框表示，绿灯采用绿色实心方框表示，停止线采用白色实线表示。如图2中的标号A即表示四条黄色实线，该四条黄色实线组成三条车道；B表示在这三条车道中行驶的车辆，而C表示绿灯；

更加具体地，在一个例子中，采用如下的方式进行元素增强：

(一)、对于车道线

车道线包括常规道路车道线和道路边沿，车道线属性包括颜色和虚实，共分为四种，白色实线、白色虚线、黄色实线和黄色虚线，其中白色实线在图像中用白色实线表示，RGB值为(255,255,255)，线宽为5个像素；白色虚线在图像中用白色线段表示，RGB值为(255,255,255)，线宽为5个像素；黄色实线在图像中用黄色实线表示，RGB值为(255,255,0)，线宽为5个像素；黄色虚线在图像中用黄色线段表示，RGB值为(255,255,0)，线宽为5个像素；道路边沿使用白色实线表示，RGB值为(255,255,255)，线宽为10个像素。

(二)、对于车辆和行人

车辆采用紫色实心方框表示，RGB值为(255,0,255)，方框覆盖车辆所有的像素点，方框的下边缘为车辆与地面的交点；行人采用蓝色实心方框表示，RGB值为(0,0,255)，方框覆盖行人所有的像素点，方框的下边缘为行人与地面的交点。

(三)、对于红绿灯和停止线

红绿灯根据当前车道对应的红绿灯进行标记，其中红灯或者黄灯采用红色实心方框表示，RGB值为(255,0,0)，方框覆盖红绿灯所有的像素点，位置为原红绿灯位置；绿灯采用绿色实心方框表示，RGB值为(0,255,0)，方框覆盖红绿灯所有的像素点，位置为原红绿灯的位置；停止线在图像中用白色实线表示，RGB值为(255,255,255)，线宽为10个像素。

步骤S13，将所述增强后的行车环境数据作为输入数据导入预先确定并训练好的的自动驾驶决策模块中，根据所述自动驾驶决策模块输出的期望的方向盘转角、油门开度以及刹车力度，控制车辆实现自动驾驶；其中，所述自动驾驶决策模块中采用深度学习网络模型，所述深度学习网络模型至少包括有多级卷积神经网络(CNN)层、长短期记忆神经网络(LSTM)层以及输出层。

同时，可以理解的，在本发明的步骤S13中，现阶段大部分车辆的动力系统均采用电子控制，在自动驾驶决策模块所输出的方向盘转角、油门开度以及刹车力度，车辆的动力系统控制单元会自行调整相应的控制参数，如点火提前角、喷油量、进排气时间、档位切换、换挡持续时间等方式来匹配实现所述方向盘转角和车辆行驶速度；而至于动力系统内部机构的如何协调和控制不是本申请的重点，可以采用现有的技术来实现，不在此进行赘述。

在本发明的实施例中，所述深度学习神经网络模型包括：

多级卷积神经网络(CNN)层，在一个例子中，可以采用诸如RESNET50网络，其用于将输入的增强后的行车环境数据进行卷积处理，形成具有第一维度(如2048)的第一特征向量；

第一全连接(FC)层，用于将所述第一特征向量转换成具有第二维度(如256)的第二特征向量；

两个分支网络，其中第一分支包括有具有第三维度(如10)的第二全连接(FC)层，用于将所述第二特征向量转换成第三维度，并经一方向盘输出层进行输出，所述方向盘输出层具有一个单元，输出结果为期望的方向盘转角，其中，第一分支的激活函数可以为反正切函数；

第二分支包含有第四维度(如256)的长短期记忆神经网络(LSTM)层和具有第三维度(如10)的第三全连接(FC)层，用于将所述第二特征向量转换后，连接至油门开度和刹车力度输出层进行输出，输出结果分别为期望的油门开度和期望的刹车力度，第二分支的激活函数可以为sigmoid函数等；

其中，所采用的网络损失函数为方向盘转角平方差、油门开度平方差和刹车力度平方差三者的加权和，在一个例子中，其中转角平方差权值为0.5，油门开度平方差权值为0.25，刹车力度平方差权值为0.25。

可以理解的是，上述提及的反正切函数以及sigmoid函数等均为本领域技术人员熟知的技术，在此不进行赘述。

可以理解的是，在本发明的实际例子中，需要包括步骤S2，预先确定深度学习网络模型并进行优化训练，形成自动驾驶决策模块；该步骤S2具体包括：

S20，通过多个车载摄像头采集车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，所述驾驶行为数据包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

具体地，在一个例子中，通过安装在车辆前端的左中右三个摄像头采集行车环境数据，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，左右两侧摄像头左右摄像头与中间摄像头平齐且距离一定的距离(如50cm)，三个摄像头均采用第一视场角(如60°)和第一采集频率(如30Hz)进行采集，其采集获得的图像的尺寸不小于640x480；

车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度，采用第二采集频率进行采集；

其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。

S21，对所采集的行车环境数据进行抽样(如频率变成10Hz)，并利用感知神经网络对所述抽样的行车环境数据进行交通元素识别，对识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；该步骤与前述的步骤S11的处理过程类似，可以参照前述对步骤S11的描述，在此不进行赘述。

S22，将所述增强后的行车环境数据以及其对应的驾驶行为数据形成训练集，并导入至预先确定的深度学习网络模型中进行训练优化，形成自动驾驶决策模块；其中，所述增强后的行车环境数据作为输入，其对应的驾驶行为数据作为输出；

具体地，在一个例子中，通过获取足够数量(如50万幅)的增强后的行车环境数据，并对每一增强后的行车环境数据所对应的驾驶员驾驶行为信息中的方向盘角度、油门开度和刹车力度分别进行归一化处理，形成输出数据；由这两类数据组成训练集；

在一个例子中，可以将原始图像(频率为30Hz)进行下采样获得新样本序列(频率为10Hz)，图像样本不少于50万张，同时根据图像记录的时间点，采用就近原则获得采集的驾驶员驾驶行为数据，包括方向盘、油门开度以及刹车力度，对图像与相对应的方向盘、油门开度和刹车力度分别进行归一化；其中方向盘转角缩放因子为1/780，方向盘向左最大转角为-1(-780°)，中间位置为0(0°)，向右最大转角为1(780°)，油门开度最大为1(全开)，最小为0(怠速)，刹车力度最大为1(最大制动)，最小为0(无制动)，根据模型的输入要求，将图像尺寸大小统一缩放为224x224，图像像素值缩放因子为1/255。

将所述每一增强后的行行车环境数据作为输入，将其对应的归一化处理后的方向盘角度、油门开度和刹车力度作为输出，导入所述预定确定的深度学习网络模型中，根据预定的优化方法以及所述网络损失函数进行训练优化，获得收敛的深度学习网络模型参数，形成自动驾驶决策模块；在一个例子中，所述训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法，可以理解的是，上述提及的adam优化算法以及指数衰减法是本领域技术人员熟知的技术，在此不进行赘述。

可以理解的是，在本发明的实施例中，首先通过车载传感器采集数据，然后对数据进行清洗和对齐，然后利用感知神经网络对交通元素进行识别，如果识别效果无法达到要求会增加感知数据进行重新训练，若达到要求则对原始图像中的交通元素进行视觉增强，然后以增强后的图像为输入在包含有CNN+LSTM的深度学习网络模型中进行训练，若训练效果无法满足测试集要求则从新采集数据进行再次训练，若可以达到要求则进行实车测试，测试如果不通过则记录失败的场景作为训练数据从新训练，如果测试通过则完成功能开发。

而在实车验证时，车载系统采用单个摄像头作为输入，从摄像头获取一帧图像，并将该帧图像输入到感知神经网络，感知神经网络实时输出识别的交通元素，并通过视觉增强的方法对原始图像进行处理，然后将增强后的图像输入到训练好的深度学习自动驾驶网络中，网络将输出方向盘转角、油门开度和刹车力度给车辆执行，在一些例子中，上述整个推理过程可以小于100ms，车辆速度低于60km/h。

相应地，本发明的另一方面，还提供一种基于交通元素视觉增强的深度学习的自动驾驶系统，如图4至图7所示。在本实施例中，所述系统1包括：

行车环境数据采集模块10，用于通过车载摄像头实时采集当前车辆行驶的行车环境数据；

交通元素识别增强模块11，用于利用感知神经网络对所采集的行车环境数据中的交通元素进行识别，并对所述识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

自动驾驶决策模块12，用于接收所述增强后的行车环境数据作为输入，决策处理后输出预测方向盘转角、预测油门开度以及期望的刹车力度，以控制车辆实现自动驾驶；其中，所述自动驾驶决策模块包括有深度学习网络模型，所述深度学习网络模型至少包括有多级卷积神经网络(CNN)层、长短期记忆神经网络(LSTM)层以及输出层。

所述交通元素识别增强模块11进一步包括：

元素识别单元110，用于将采集的图像数据通过预先建立的感知神经网络进行道路交通元素识别，所述道路交通元素至少包括车道线、车辆、行人、红绿灯、停止线；

元素筛选单元111，用于在完成道路交通元素识别后，进行危险目标筛选，其中危险目标筛选的结果包括：当前车道、左车道和右车道的车道线，所述三车道内靠近本车的车辆，摄像头视野范围内的所有行人，以及红绿灯和停止线；

元素增强单元112，用于将原始图像转换成灰度图，并对识别出来的不同的道路交通元素采用不同颜色区块进行表示；

其中，车道线采用白色、黄色的实线或虚线表示，车辆采用紫色实心方框表示，行人采用蓝色实心方框表示，红灯或者黄灯采用红色实心方框表示，绿灯采用绿色实心方框表示，停止线采用白色实线表示。

更具体地，所述自动驾驶决策模块12中的深度学习神经网络模型包括：

多级卷积神经网络(CNN)层，用于将输入的增强后的行车环境数据经变换，形成第一维度的第一特征向量；

第一全连接(FC)层，用于将所述第一特征向量转换成第二维度的第二特征向量；

两个分支网络，其中第一分支包括有第三维度的第二全连接(FC)层，用于将所述第二特征向量转换成第三维度，并连接一方向盘输出层进行输出，所述方向盘输出层具有一个单元，输出结果为期望的方向盘转角；

第二分支包含有第四维度的长短期记忆神经网络(LSTM)层和第三维度的第三全连接(FC)层，用于将所述第二特征向量转换后，连接至油门开度和刹车力度输出层进行输出，输出结果分别为期望的油门开度和期望的刹车力度；

其中，所采用的网络损失函数为方向盘转角平方差、油门开度平方差和刹车力度平方差加权和。

在一个例子中，所述多级卷积神经网络(CNN)层采用RESNET50网络，所述第一维度为2048，第二维度为256，第三维度为10，第四维度为256。

更具体地，本系统进一步包括深度学习网络模型确定训练模块13，用于预先确定深度学习网络模型并进行优化训练，形成自动驾驶决策模块，其包括：

原始数据获得单元130，用于通过多个车载摄像头采集车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，所述驾驶行为数据包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

行车环境数据处理单元131，用于对所采集的行车环境数据进行抽样，并利用感知神经网络对所述抽样的行车环境数据进行交通元素识别，对识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；可以理解的是，行车环境数据处理单元131与交通元素识别增强模块11的功能基本相同，具体的细节可以参照前述对交通元素识别增强模块11的描述；而且，在一些实施例，所述行车环境数据处理单元131与交通元素识别增强模块11可以合并为一个功能部件；

训练优化单元132，用于将所述增强后的行车环境数据以及其对应的驾驶行为数据形成训练集，并导入至预先确定的深度学习网络模型中进行训练优化，形成自动驾驶决策模块；其中，所述增强后的行车环境数据作为输入，其对应的驾驶行为数据作为输出。

在一个例子中，所述步骤原始数据获得单元130具体包括：

通过安装在车辆前端的左中右三个摄像头采集行车环境数据，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，左右两侧摄像头左右摄像头与中间摄像头平齐且距离一定的距离，三个摄像头均采用第一视场角和第一采集频率进行采集；

车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度，采用第二采集频率进行采集；

其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。

在一个例子中，所述训练优化单元132具体包括：

训练集获取单元1320，用于获取足够数量的增强后的行车环境数据，并对每一增强后的行车环境数据所对应的驾驶员驾驶行为信息中的方向盘角度、油门开度和刹车力度分别进行归一化处理，形成输出数据；

训练单元321，用于将所述每一增强后的行行车环境数据作为输入，将其对应的归一化处理后的方向盘角度、油门开度和刹车力度作为输出，导入所述预定确定的深度学习网络模型中，根据预定的优化方法以及所述网络损失函数进行训练优化，获得收敛的深度学习网络模型参数，形成自动驾驶决策模块；其中，所述训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法。

本系统的更多细节，可以参照前述对图1至图3的描述，在些不进行详述。

实施本发明的实施例，具有如下的有益效果：

本发明实施例所提供的一种基于交通元素视觉增强的深度学习的自动驾驶方法及系统，其通过车载摄像头获取车辆行驶数据，利用建立的感知神经网络识别图像中的车辆、行人、红绿灯、车道线、停止线等交通元素，通过不同颜色区块对图像中的交通元素进行视觉增强，然后以增强后的图像作为输入，导入到预先确定并训练好的深度学习神经网络模型中，输出期望的方向盘转角、油门开度以及刹车力度，以控制车辆实现自动驾驶。可以增加深度学习自动驾驶系统对道路交通元素的关注度，从而有效提高自动驾驶的安全性、可靠性以及鲁棒性。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (14)

1.一种基于交通元素视觉增强的深度学习的自动驾驶方法，其特征在于，包括如下步骤：

步骤S10，通过车载摄像头采集当前车辆行驶的行车环境数据；

步骤S11，对所采集的行车环境数据中的交通元素进行识别，并对所述识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

步骤S13，将所述增强后的行车环境数据作为输入数据导入预先确定并训练好的的自动驾驶决策模块中，根据所述自动驾驶决策模块输出的期望的方向盘转角、油门开度以及刹车力度，控制车辆实现自动驾驶；其中，所述自动驾驶决策模块中采用深度学习网络模型，所述深度学习网络模型至少包括有多级卷积神经网络(CNN)层、长短期记忆神经网络(LSTM)层以及输出层。

2.如权利要求1所述的方法，其特征在于，所述深度学习神经网络模型包括：

多级卷积神经网络(CNN)层，用于将输入的增强后的行车环境数据进行卷积处理，形成具有第一维度的第一特征向量；

第一全连接(FC)层，用于将所述第一特征向量转换成具有第二维度的第二特征向量；

两个分支网络，其中第一分支包括有具有第三维度的第二全连接(FC)层，用于将所述第二特征向量转换成第三维度，并经一方向盘输出层进行输出，所述方向盘输出层具有一个单元，输出结果为期望的方向盘转角；

第二分支包含有第四维度的长短期记忆神经网络(LSTM)层和具有第三维度的第三全连接(FC)层，用于将所述第二特征向量转换后，连接至油门开度和刹车力度输出层进行输出，输出结果分别为期望的油门开度和期望的刹车力度；

其中，所采用的网络损失函数为方向盘转角平方差、油门开度平方差和刹车力度平方差三者的加权和。

3.如权利要求2所述的方法，其特征在于，所述多级卷积神经网络(CNN)层采用RESNET50网络，所述第一维度为2048，第二维度为256，第三维度为10，第四维度为256。

4.如权利要求1所述的方法，其特征在于，进一步包括步骤S2，预先确定深度学习网络模型并进行优化训练以形成自动驾驶决策模块；所述步骤S2具体包括：

S20，通过多个车载摄像头采集车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，所述驾驶行为数据包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

S21，对所采集的行车环境数据进行抽样，并利用感知神经网络对所述抽样的行车环境数据进行交通元素识别，对识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

S22，将所述增强后的行车环境数据以及其对应的驾驶行为数据形成训练集，并导入至预先确定的深度学习网络模型中进行训练优化，形成自动驾驶决策模块；其中，所述增强后的行车环境数据作为输入，其对应的驾驶行为数据作为输出。

5.如权利要求4所述的方法，其特征在于，所述步骤S20中具体包括：

通过安装在车辆前端的左中右三个摄像头采集行车环境数据，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，左右两侧摄像头左右摄像头与中间摄像头平齐且距离一定的距离，三个摄像头均采用第一视场角和第一采集频率进行采集；

车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度，采用第二采集频率进行采集；

其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。

6.如权利要求1或4所述的方法，其特征在于，在所述步骤S11或步骤S21具体包括：

将采集的图像数据通过预先建立的感知神经网络进行道路交通元素识别，所述道路交通元素至少包括车道线、车辆、行人、红绿灯、停止线；

在完成道路交通元素识别后，进行危险目标筛选，其中危险目标筛选的结果包括：当前车道、左车道和右车道的车道线，所述三车道内靠近本车的车辆，摄像头视野范围内的所有行人，以及红绿灯和停止线；

将原始图像转换成灰度图，并对识别出来的不同的道路交通元素采用不同颜色区块进行表示。

7.如权利要求6所述的方法，其特征在于，所述步骤S22具体包括：

获取足够数量的增强后的行车环境数据，并对每一增强后的行车环境数据所对应的驾驶员驾驶行为信息中的方向盘角度、油门开度和刹车力度分别进行归一化处理；

将所述每一增强后的行行车环境数据作为输入，将其对应的归一化处理后的方向盘角度、油门开度和刹车力度作为输出，导入所述预定确定的深度学习网络模型中，根据预定的优化方法以及网络损失函数进行训练优化，获得收敛的深度学习网络模型参数，形成自动驾驶决策模块；其中，训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法。

8.一种基于交通元素视觉增强的深度学习的自动驾驶系统，其特征在于，包括：

行车环境数据采集模块，用于通过车载摄像头实时采集当前车辆行驶的行车环境数据；

交通元素识别增强模块，用于利用感知神经网络对所采集的行车环境数据中的交通元素进行识别，并对所述识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

自动驾驶决策模块，用于接收所述增强后的行车环境数据作为输入，决策处理后输出预测方向盘转角、预测油门开度以及期望的刹车力度，以控制车辆实现自动驾驶；其中，所述自动驾驶决策模块包括有深度学习网络模型，所述深度学习网络模型至少包括有多级卷积神经网络(CNN)层、长短期记忆神经网络(LSTM)层以及输出层。

9.如权利要求8所述的系统，其特征在于，所述深度学习神经网络模型包括：

多级卷积神经网络(CNN)层，用于将输入的增强后的行车环境数据经变换，形成第一维度的第一特征向量；

第一全连接(FC)层，用于将所述第一特征向量转换成第二维度的第二特征向量；

两个分支网络，其中第一分支包括有第三维度的第二全连接(FC)层，用于将所述第二特征向量转换成第三维度，并连接一方向盘输出层进行输出，所述方向盘输出层具有一个单元，输出结果为期望的方向盘转角；

第二分支包含有第四维度的长短期记忆神经网络(LSTM)层和第三维度的第三全连接(FC)层，用于将所述第二特征向量转换后，连接至油门开度和刹车力度输出层进行输出，输出结果分别为期望的油门开度和期望的刹车力度；

其中，所采用的网络损失函数为方向盘转角平方差、油门开度平方差和刹车力度平方差加权和。

10.如权利要求9所述的系统，其特征在于，所述多级卷积神经网络(CNN)层采用RESNET50网络，所述第一维度为2048，第二维度为256，第三维度为10，第四维度为256。

11.如权利要求8所述的方法，其特征在于，进一步包括深度学习网络模型确定训练模块，用于预先确定深度学习网络模型并进行优化训练，形成自动驾驶决策模块，其包括：

原始数据获得单元，用于通过多个车载摄像头采集车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，所述驾驶行为数据包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

行车环境数据处理单元，用于对所采集的行车环境数据进行抽样，并利用感知神经网络对所述抽样的行车环境数据进行交通元素识别，对识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

训练优化单元，用于将所述增强后的行车环境数据以及其对应的驾驶行为数据形成训练集，并导入至预先确定的深度学习网络模型中进行训练优化，形成自动驾驶决策模块；其中，所述增强后的行车环境数据作为输入，其对应的驾驶行为数据作为输出。

12.如权利要求11所述的系统，其特征在于，所述步骤原始数据获得单元具体包括：

通过安装在车辆前端的左中右三个摄像头采集行车环境数据，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，左右两侧摄像头左右摄像头与中间摄像头平齐且距离一定的距离，三个摄像头均采用第一视场角和第一采集频率进行采集；

车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度，采用第二采集频率进行采集；

其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。

13.如权利要求8或12所述的系统，其特征在于，所述交通元素识别增强模块或行车环境数据处理单元进一步包括：

元素识别单元，用于将采集的图像数据通过预先建立的感知神经网络进行道路交通元素识别，所述道路交通元素至少包括车道线、车辆、行人、红绿灯、停止线；

元素筛选单元，用于在完成道路交通元素识别后，进行危险目标筛选，其中危险目标筛选的结果包括：当前车道、左车道和右车道的车道线，所述三车道内靠近本车的车辆，摄像头视野范围内的所有行人，以及红绿灯和停止线；

元素增强单元，用于将原始图像转换成灰度图，并对识别出来的不同的道路交通元素采用不同颜色区块进行表示。

14.如权利要求13所述的系统，其特征在于，所述训练优化单元具体包括：

训练集获取单元，用于获取足够数量的增强后的行车环境数据，并对每一增强后的行车环境数据所对应的驾驶员驾驶行为信息中的方向盘角度、油门开度和刹车力度分别进行归一化处理，形成输出数据；

训练单元，用于将所述每一增强后的行行车环境数据作为输入，将其对应的归一化处理后的方向盘角度、油门开度和刹车力度作为输出，导入所述预定确定的深度学习网络模型中，根据预定的优化方法以及所述网络损失函数进行训练优化，获得收敛的深度学习网络模型参数，形成自动驾驶决策模块；其中，所述训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法。

Images