CN112026782B - 一种基于开关式深度学习网络模型的自动驾驶决策方法及系统 - Google Patents

Abstract

本发明公开了一种基于开关式深度学习网络模型的自动驾驶决策方法，其包括：通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据；步骤S11，将所述采集的行车环境数据，与实时的导航指令作为输入导入经预先训练优化好的自动驾驶决策模块中，所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；步骤S12，所述自动驾驶决策模块根据所输入的行车环境数据与实时的导航指令的类型输出方向盘转角和车辆期望行驶速度，以控制车辆实现自动驾驶。本发明还公开了相应的系统。本发明可以根据不同的驾驶指令选择激活不同的特征开关，能实现复杂路况下的自动驾驶。

Description

一种基于开关式深度学习网络模型的自动驾驶决策方法及 系统

技术领域

本发明属于汽车自动驾驶领域，涉及一种基于开关式深度学习网络模型的自动驾驶决策方法及系统。

背景技术

采用深度学习来实现对车辆进行自动驾驶的方法是当前行业内前沿的自动驾驶算法模型。其一般的思路是，设计深度学习网络，然后将传感器采集的原始图像作为深度学习网络的输入，然后通过网络输出刹车、加速和转向等操作作为输出，然后对深度学习网络进行训练。其优势是模型可以直接对传感输入做出回应，不需要人类编写规则进行干预。这种深度学习自动驾驶技术意味着，只要人们提供足够多的训练数据，系统就能自动学会驾驶技术。

但是在一些场景下，例如车辆到达路口时，其接下来的决策需要由导航指令给出，包括左转、右转、直行或者停车。而目前基于深度学习的端到端自动驾驶决策系统无法根据相应的驾驶指令进行自动驾驶。

例如在现有的一种深度学习网络中，通过车辆前端左中右3个摄像头采集车辆行驶环境数据，同时通过数据采集设备采集驾驶员驾驶行为数据(方向盘转角)，以采集的图像数据作为输入，以采集的驾驶员驾驶行为数据作为输出，建立深度学习自动驾驶网络进行训练，最后将训练完成的模型迁移到嵌入式设备中进行推理计算，完成自动驾驶功能。但是现有的这种深度学习自动驾驶系统以原始图像作为输入，输出方向盘转角，只能做到在单车道内进行驾驶，无法完成路口、匝道以及换道等驾驶任务。且现有的这种深度学习自动驾驶系统仅以方向盘转角作为输出，没有对刹车和油门进行控制，所达到的自动驾驶能力较弱。

发明内容

本发明实施例所要解决的技术问题在于，本发明提供一种基于开关式深度学习网络模型的自动驾驶决策方法及系统，可以根据不同的驾驶指令激活不同的特征开关，从而使得网络可以接受来自系统的驾驶指令，实现复杂路况下的自动驾驶。

作为本发明的一方面，提供一种基于开关式深度学习网络模型的自动驾驶决策方法，其包括如下步骤：

步骤S10，通过至少一个摄像头实时采集各导航指令下车辆行驶中的行车环境数据，同时采集导航指令；

步骤S11，将所述采集的行车环境数据以及导航指令作为输入导入经预先训练优化好的自动驾驶决策模块中，根据所述导航指令的类型并结合所述行车环境数据进行决策，输出方向盘转角和车辆期望行驶速度；所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；

步骤S12，根据自动驾驶决策模块输出的方向盘转角和车辆期望行驶速度，控制车辆实现自动驾驶。

优选地，进一步包括预先确定开关式深度学习网络模型并进行训练优化，形成自动驾驶决策模块的步骤，所述步骤包括：

步骤S20，通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

步骤S21对所述采集的行车环境数据以及驾驶行为数据进行筛选形成对应于不同导航指令的训练数据，其中，行车环境数据作为输入数据，驾驶行为数据作为输出数据；

步骤S22，构建开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM) 层以及输出层；

步骤S23，将各导航指令对应的训练数据导入所述开关式深度学习网络模型中，根据预定的优化算法以及网络损失函数进行训练优化，其中，每一导航指令均对应有一网络损失函数；

步骤S24，对所述开关式深度学习网络模型进行实车的推理计算，获得训练好的自动驾驶决策模块。

优选地，所述步骤S20具体包括：

通过安装在车辆前端的左中右三个摄像头进行行车环境数据采集，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，采用第一视场角和第一采集频率进行采集；左右两侧摄像头位于车辆左右后视镜下边缘，采用第二视场角以及第二采集频率进行采集；

车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度，采用第三采集频率进行采集；

其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。

优选地，在所述步骤S21具体包括：

将所述摄像头所采集的原始图像进行下采样以及缩放处理，同时对所述图像对应的驾驶行为数据进行归一化处理；

根据处理后的图像以及驾驶行为数据获得每一导航指令下的训练数据；其中，所述导航指令包括路口左转、路口右转、左转避障、右转避障以及直行指令；所述路口左转指令下的训练数据包括直行与路口左转数据，所述路口右转指令下的训练数据包括直行与路口右转数据，所述左转避障指令下的训练数据包括直行与左换道避障数据，所述右转避障指令下的训练数据包括直行与右换道避障数据；所述直行指令下的训练数据包括直行与路口直行数据；

将每一导航指令下的训练数据分为训练集、验证集和测试集，其中训练集比例为80％，验证集比例为10％，测试集比例为10％。

优选地，所述步骤S22具体包括：

构建多级卷积神经网络(CNN)层，其输入层输入的为车辆左中右三路摄像头采集且经处理后的具有第一图像特征向量的图像数据，所述多级卷积神经网络层为五层，将所述第一图像特征向量处理后输出第二图像特征向量；

构建特征选择层，将多级卷积神经网络层输出的第二图像特征向量展平，并将每帧图像的图像特征平分给五个导航指令；将每张图像所对应的方向盘转角序列和速度序列组成车辆状态特征；将方向盘转角序列和速度序列与每个指令对应的特征维度进行拼接，获得第三图像特征向量；

构建长短期记忆神经网络(LSTM)层，将所述特征选择层中每一个指令对应的第三图像特征向量变换为第四图像特征向量；

构建输出层，用于对所述第四图像特征向量进行处理，所述输出层包括两个分支，所述两个分支均包含三个全连接(FC)层，每一层的单元数量依次减少，最终输出层为一个单元；第一分支的激活函数为反正切函数，输出的数值为车辆方向盘转角，其范围为[-π/2,π/2]；第二分支的激活函数为sigmoid函数，输出的数值为车辆期望行驶速度，其范围为[0,1]。

优选地，步骤S23具体包括：

步骤S230，为每一导航指令所对应的训练数据根据下述公式确定相应的损失函数：

其中，w_s表示不同驾驶指令共享的网络参数，w_i表示不同驾驶指令下独立的网络参数，i＝1,2,3,4,5，分别表示左转、右转、直行、左转道和右换道，每一个驾驶指令都对应一个损失函数；α表示方向盘偏差的权重系数，β表示速度偏差的权重系数，γ为正则化权重系数；I表示图像输入，f表示网络的表达式，y_speed和y_steer表示图像对应的速度和方向盘转角；

步骤S231，将每一导航指令下的训练数据输入至所述开关式深度学习网络模型，根据所述损失函数以及预定的优化算法进行训练优化，其中，训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法，按下述公式随着训练步数的增加逐渐减少学习率：

其中，l_dr为当前的学习率，l_br为基础的学习率，r_d为衰减系数，C_step为当前训练的步数，D_step为衰减速率。

优选地，所述步骤S24具体包括：

将经过训练优化后的开关式深度学习网络模型迁移到嵌入式设备中进行实车推理计算；

从测试车辆安装的左中右摄像头获取图像序列，并将图像序列经处理后输入到开关式深度学习网络模型中，并给出具体的导航指令，验证其输出结果，从而获得训练好的自动驾驶决策模块。

优选地，进一步包括：采用如下的公式对输出结果进行滤波：

其中，S_n为当前速度或方向盘转角的预测值，S_n-1为上一个预测值，λ为滤波系数，对于速度预测和方向盘预测，所述λ对应有不同的值；sgn为符号函数。

优选地，所述第一视场角为60°，所述第二视场角为120°，所述第一采集频率和第二采集频率为30Hz，所述第三采集频率为100Hz，下采样的频率为10Hz，缩放处理后的图像大小为244x244，第一图像特征向量的维度为[15,224,224,3]，第二图像特征向量的维度为[15,7,7,64]，每一个指令对应的第三图像特征向量的维度为[15,637]，第四图像特征向量的维度为[1,256]，每一分支的三个全连接 (FC)层的单元数量分别为100、50、10。

相应地，本发明的另一方面，还提供一种基于开关式深度学习网络模型的自动驾驶决策系统，其包括：

实时数据采集模块，用于通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时实时采集导航指令；

自动驾驶决策模块，用于接收所述采集的行车环境数据与所述导航指令，根据所述导航指令的类型并结合所述行车环境数据进行决策，输出方向盘转角和车辆期望行驶速度；所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；

自动驾驶控制模块，用于根据自动驾驶决策模块所输出方向盘转角和车辆期望行驶速度控制车辆实现自动驾驶。

优选地，进一步包括自动驾驶决策模块构建模块，用于预先确定开关式深度学习网络模型并进行训练优化，形成自动驾驶决策模块；所述自动驾驶决策模块构建模块包括：

训练原始数据采集单元，用于通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

训练数据形成单元，用于对所述采集的行车环境数据以及驾驶行为数据进行筛选和切分形成对应于不同导航指令的训练数据，其中，行车环境数据作为输入数据，驾驶行为数据作为输出数据；

网络模型确定单元，用于确定开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；

训练优化单元，用于将各导航指令对应的训练数据导入所述开关式深度学习网络模型中，根据预定的优化算法以及网络损失函数进行训练优化，其中，每一导航指令均对应有一网络损失函数；

推理验证单元，用于对所述开关式深度学习网络模型进行实车的推理计算，形成训练好的自动驾驶决策模块。

优选地，所述训练数据形成单元包括：

预处理单元，用于将所述摄像头所采集的原始图像进行下采样以及缩放处理，同时对所述图像对应的驾驶行为数据进行归一化处理；

筛选单元，用于根据处理后的图像以及驾驶行为数据获得每一导航指令下的训练数据；其中，所述导航指令包括路口左转、路口右转、左转避障、右转避障以及直行指令；所述路口左转指令下的训练数据包括直行与路口左转数据，所述路口右转指令下的训练数据包括直行与路口右转数据，所述左转避障指令下的训练数据包括直行与左换道避障数据，所述右转避障指令下的训练数据包括直行与右换道避障数据；所述直行指令下的训练数据包括直行与路口直行数据；

划分单元，用于将每一导航指令下的训练数据分为训练集、验证集和测试集，其中训练集比例为80％，验证集比例为10％，测试集比例为10％。

优选地，所述网络模型确定单元包括：

CNN层构建单元，用于构建多级卷积神经网络(CNN)层，其输入层输入的为车辆左中右三路摄像头采集且经处理后的具有第一图像特征向量的图像数据，所述多级卷积神经网络层为五层，将所述第一图像特征向量处理后输出第二图像特征向量；

特征选择层构建单元，用于构建特征选择层，将多级卷积神经网络层输出的第二图像特征向量展平，并将每帧图像的图像特征平分给五个导航指令；将每张图像所对应的方向盘转角序列和速度序列组成车辆状态特征；将方向盘转角序列和速度序列与每个指令对应的特征维度进行拼接，获得第三图像特征向量；

LSTM层构建单元，用于构建长短期记忆神经网络(LSTM)层，将所述特征选择层中每一个指令对应的第三图像特征向量变换为第四图像特征向量；

输出层构建单元，用于构建输出层，对所述第四图像特征向量进行处理，所述输出层包括两个分支，所述两个分支均包含三个全连接(FC)层，每一层的单元数量依次减少，最终输出层为一个单元；第一分支的激活函数为反正切函数，输出的数值为车辆方向盘转角，其范围为[-π/2,π/2]；第二分支的激活函数为sigmoid函数，输出的数值为车辆期望行驶速度，其范围为[0,1]。

优选地，所述训练优化单元具体包括：

损失函数建立单元，用于为每一导航指令所对应的训练数据根据下述公式确定获得相应的损失函数：

其中，w_s表示不同驾驶指令共享的网络参数，w_i表示不同驾驶指令下独立的网络参数，i＝1,2,3,4,5，分别表示左转、右转、直行、左转道和右换道，每一个驾驶指令都对应一个损失函数；α表示方向盘偏差的权重系数，β表示速度偏差的权重系数，γ为正则化权重系数；I表示图像输入，f表示网络的表达式，y_speed和y_steer表示图像对应的速度和方向盘转角；

训练单元，用于将每一导航指令下的训练数据输入至所述开关式深度学习网络模型进行训练优化，其中，训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法，按下述公式随着训练步数的增加逐渐减少学习率：

其中，l_dr为当前的学习率，l_br为基础的学习率，r_d为衰减系数，C_step为当前训练的步数，D_step为衰减速率。

优选地，所述推理验证单元包括：

迁移单元，用于将经过训练优化后的开关式深度学习网络模型迁移到嵌入式设备中进行实车推理计算；

验证单元，用于从测试车辆安装的左中右摄像头获取图像序列，并将图像序列经处理后输入到开关式深度学习网络模型中，并给出具体的导航指令，验证其输出结果，获得训练好的自动驾驶决策模块；

滤波单元，用于采用如下的公式对输出结果进行滤波：

其中，S_n为当前速度或方向盘转角的预测值，S_n-1为上一个预测值，λ为滤波系数，对于速度预测和方向盘预测，所述λ对应有不同的值；sgn为符号函数。

优选地，缩放处理后的图像大小为244x244，第一图像特征向量的维度为 [15,224,224,3]，第二图像特征向量的维度为[15,7,7,64]，每一个指令对应的第三图像特征向量的维度为[15,637]，第四图像特征向量的维度为[1,256]，每一分支的三个全连接(FC)层的单元数量分别为100、50、10。

实施本发明的实施例，具有如下的有益效果：

本发明实施例所提供的一种基于开关式深度学习网络模型的自动驾驶决策方法及系统，通过设计一种开关式深度学习网络模型，该网络模型可以接收来自驾驶员或者自动驾驶系统的指令，完成相应指令下的驾驶任务，从而提高了端到端神经网络自动驾驶的能力，使自动驾驶可以在复杂环境下实现；

本发明中涉及的开关式深度学习网络模型，该网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；利用具有开关性质的特征选择层，通过不同的驾驶指令选择激活不同的特征，从而完成相应的驾驶决策算法，实车测试结果表明，该方法不会增加模型的推理时间，同时实现了网络根据输入的不同驾驶指令完成相应的驾驶任务，可以实现复杂环境下的自动驾驶。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明提供的一种基于开关式深度学习网络模型的自动驾驶决策方法的一个实施例的主流程示意图；

图2为发明中预先确定开关式深度学习网络模型并进行训练优化，形成自动驾驶决策模块的步骤的详细流程示意图；

图3为本发明提供的一种基于开关式深度学习网络模型的工作逻辑示意图；

图4是为本发明提供的一种基于开关式深度学习网络模型的自动驾驶决策系统的一个实施例的结构示意图；

图5是图4中自动驾驶决策模块构建模块的结构示意图；

图6是图5中训练数据形成单元的结构示意图；

图7是图5中网络模型确定单元的结构示意图；

图8是图5中训练优化单元的结构示意图；

图9是图5中推理验证单元的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，示出了本发明提供的一种基于开关式深度学习网络模型的自动驾驶决策方法的一个实施例的主流程示意图，一并结合图2至图3所示，在本实施例中，所述方法包括如下步骤：

步骤S10，通过至少一个摄像头实时采集各导航指令下车辆行驶中的行车环境数据，同时采集导航指令；

步骤S11，将所述采集的行车环境数据以及导航指令作为输入导入经预先训练优化好的自动驾驶决策模块中，根据所述导航指令的类型并结合所述行车环境数据进行决策，输出方向盘转角和车辆期望行驶速度；所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；

步骤S12，根据自动驾驶决策模块输出的方向盘转角和车辆期望行驶速度，控制车辆实现自动驾驶。

可以理解的是，本发明进一步包括步骤S2：预先确定开关式深度学习网络模型并进行训练优化，形成自动驾驶决策模块的步骤，所述步骤S2具体包括：

步骤S20，通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

步骤S21对所述采集的行车环境数据以及驾驶行为数据进行筛选和切分形成对应于不同导航指令的训练数据，其中，行车环境数据作为输入数据，驾驶行为数据作为输出数据；

步骤S22，构建开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM) 层以及输出层；

步骤S23，将各导航指令对应的训练数据导入所述开关式深度学习网络模型中，根据预定的优化算法以及网络损失函数进行训练优化，其中，每一导航指令均对应有一网络损失函数；

步骤S24，对所述开关式深度学习网络模型进行实车的推理计算，获得训练好的自动驾驶决策模块。

下述具体描述各个步骤的详细内容。在一个实施例中，所述步骤S20中具体包括：

通过安装在车辆前端的左中右三个摄像头进行行车环境数据采集，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，采用第一视场角FOV(如60°)和第一采集频率(如30Hz)进行采集；左右两侧摄像头位于车辆左右后视镜下边缘，采用第二视场角(如120°)以及第二采集频率(如 30Hz)进行采集；在一个例子中，该三个摄像头所采集获得的图像尺寸不小于 640x480；

车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度等数据，具体地可以采用第三采集频率(如 100Hz)进行采集；可以理解的是，采集的场景包括不同时间、道路、天气、光线以及车流等。

其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。

在一个例子中，在所述步骤S21具体包括：

将所述摄像头所采集的原始图像进行下采样以及缩放处理，同时对所述图像对应的驾驶行为数据进行归一化处理；例如在一个例子中，将原始图像(频率为30Hz)进行下采样获得新样本序列(频率为10Hz)，图像样本不少于50 万张，同时根据图像记录的时间点，采用就近原则获得采集的驾驶员驾驶行为数据，包括方向盘、油门开度以及刹车力度，对图像与相对应的方向盘、油门开度和刹车力度分别进行归一化，其中方向盘转角缩放因子为1/780，方向盘向左最大转角为-1(-780°)，中间位置为0(0°)，向右最大转角为1(780°)，油门开度最大为1(全开)，最小为0(怠速)，刹车力度最大为1(最大制动)，最小为0(无制动)，根据模型的输入要求，将图像尺寸大小统一缩放为224x224,图像像素值缩放因子为1/255。

根据处理后的图像以及驾驶行为数据获得每一导航指令下的训练数据；其中，不同的驾驶指令下对应的训练数据是不同的，所述导航指令包括路口左转、路口右转、左转避障、右转避障以及直行指令；所述路口左转指令下的训练数据包括直行与路口左转数据，以保证车辆在距离路口一定距离时系统可以切换到左转指令，并且在这一段距离内车辆仍然保持在车道内行驶，在车辆达到路口时进行左转弯，然后在转弯完成后可以继续沿车道行驶，直至系统下达直行指令；同理，所述路口右转指令下的训练数据包括直行与路口右转数据；所述左转避障指令下的训练数据包括直行与左换道避障数据，当车辆距离障碍物一定距离时车辆可以保持在车道内行驶，而当距离超过设定的阈值时车辆向左换道，换道完成后车辆沿着新的车道进行行驶，直至系统下达直行指令；同理，所述右转避障指令下的训练数据包括直行与右换道避障数据；所述直行指令下的训练数据包括直行与路口直行数据，当进入路口时系统没有下达左转或者右转指令时，车辆直行通过路口；下表示出了一个例子中的各指令对应的训练数据的信息：

表一、各指令对应的训练数据的信息列表

将每一导航指令下的训练数据分为训练集、验证集和测试集，其中训练集比例为80％，验证集比例为10％，测试集比例为10％。

可以理解提，在该步骤中为了提高模型的泛化能力，对原始图像进行数据增强，数据增强的手段主要包括图像亮度调节、图像左右平移、图像上下平移、图像阴影处理、图像翻转等，除了图像翻转处理外，其它图像处理手段所对应的方向盘转角和速度值不变，对图像翻转时对应的速度值不变，对应的方向盘转角转化为对应的负值。

在一个例子中，一并参照图3所示，所述步骤S22具体包括：

构建多级卷积神经网络(CNN)层，其输入层输入的为车辆左中右三路摄像头采集且经处理后的具有第一图像特征向量的图像数据，所述多级卷积神经网络层为五层，将所述第一图像特征向量处理后输出第二图像特征向量；在一个具体的例子中，所述输入的图像大小为224x224，图像类型为RGB三通道数据，时间序列选择包含当前帧的前五帧图像，最终输入层的第一图像特征向量的维度为[15,224,224,3]；经CNN层处理后得到的第二图像特征向量的维度为 [15,7,7,64]。

构建特征选择层，将多级卷积神经网络层输出的第二图像特征向量展平，在一个例子中，其维度由[15,7,7,64]变为[15,3136]；并将每帧图像的图像特征平分给五个导航指令，即将每帧图像的3136个特征平分给五个导航指令，每个指令对应的特征维度为[15,627]；将每张图像所对应的方向盘转角序列和速度序列组成车辆状态特征，在一个例子中，方向盘转角序列和速度序列的序列值均选5，则方向盘转角序列和速度序列维度分别为[15,5]和[15,5]；将方向盘转角序列和速度序列与每个指令对应的特征维度进行拼接，获得第三图像特征向量，所述第三图像特征向量的维度为[15,637]。

构建长短期记忆神经网络(LSTM)层，将所述特征选择层中每一个指令对应的第三图像特征向量变换为第四图像特征向量；可以理解的是，由于CNN 层不具备时序性，需要将CNN层所获得的具有时序性的特征经过LSTM层来处理，在一个例子中，所述LSTM层为一层，节点数量为256个，将特征选择层的第三图像特征向量的维度[15,637]经过LSTM层后变成第四图像特征向量，其维度为[1,256]。

构建输出层，用于对所述第四图像特征向量进行处理，以输出对车辆的控制参数，包括期望的方向盘转角和期望的行驶速度。所述输出层包括两个分支，其中一个分支输出方向盘转角，另外一个分支输出速度；所述两个分支均包含三个全连接(FC)层，每一层的单元数量依次减少，最终输出层为一个单元，在一个例子中，所述三个FC层的单元数量分别为100,50,10；第一分支(即方向盘转角分支)的激活函数为反正切函数，输出的数值为车辆方向盘转角，其范围为[-π/2,π/2]；第二分支(即速度分支)的激活函数为sigmoid函数，输出的数值为车辆期望行驶速度，其范围为[0,1]。

可以理解的是，由步骤S22确定的开关式深度学习网络模型，在CNN网络层和LSTM网络层之间嵌入了具有开关性质的特征选择层，可以通过不同的驾驶指令选择激活不同的特征，从而完成相应指令下的驾驶决策算法。

在一个例子中，所述步骤S23具体包括：

首先，在步骤S230中，为每一导航指应所对应的训练数据确定损失函数：

可以理解的是，神经网络的本质是寻找从输入到输出的最佳函数表达式，用I表示图像输入，C表示指令输入，w表示网络中涉及的优化参数，w_s表示不同指令共享的网络参数，w_i表示不同指令下独立的网络参数，i＝1,2,3,4,5，分别表示左转、右转、直行、左转道和右换道，f表示网络的表达式，Y表示网络的输出，y表示图像对应的实际值，y_speed和y_steer表示图像对应的速度和方向盘转角，则网络可表示为Y＝F(I,W),网络的优化则为寻找最优的参数使得∑(y-Y)²值最小，即：

(式中R表示实数空间)

为了防止模型过拟合，通过对训练数据进行正则化，使得模型不能过拟合到训练数据中的随机噪音，在本实施例中采用L2正则化的方法，最终获得下面公式表示的损失函数：

其中，w_s表示不同驾驶指令共享的网络参数，w_i表示不同驾驶指令下独立的网络参数，i＝1,2,3,4,5，分别表示左转、右转、直行、左转道和右换道，每一个驾驶指令都对应一个损失函数；α表示方向盘偏差的权重系数(如取1)，β表示速度偏差的权重系数(如取0.5)，γ为正则化权重系数(如取1e-4)；I表示图像输入，f表示网络的表达式，y_speed和y_steer表示图像对应的速度和方向盘转角；

然后，在步骤S231中，将每一导航指令下的训练数据输入至所述开关式深度学习网络模型中，根据所述损失函数以及预定的优化算法进行训练优化，其中，训练时采用adam优化算法，训练步数为预先确定的步数(如50万步)，学习率采用指数衰减法，按下述公式随着训练步数的增加逐渐减少学习率：

其中，l_dr为当前的学习率，l_br为基础的学习率，r_d为衰减系数，C_step为当前训练的步数，D_step为衰减速率(如1万步)。

在一个例子中，所述步骤S24具体包括：

将经过训练优化后的开关式深度学习网络模型迁移到嵌入式设备中进行实车推理计算；

从测试车辆安装的左中右摄像头获取图像序列，并将图像序列经处理后输入到开关式深度学习网络模型中，并给出具体的导航指令，验证其输出结果。更具体地，在没有特殊指令下达的情况下，网络将执行直行指令并输出方向盘转角和车辆期望行驶速度给控制系统，如果系统给出控制指令则进入该指令下运行。在一些实测中，上述的整个推理过程小于100ms,车辆速度低于60km/h。

更具体地，为了减少输出的波动，进一步包括：采用如下的公式对输出结果进行滤波：

其中，S_n为当前速度或方向盘转角的预测值，S_n-1为上一个预测值，λ为滤波系数，对于速度预测和方向盘预测，所述λ对应有不同的值；sgn为符号函数。

可以理解的是，在本发明的实施例中，首先通过车载传感器采集数据，对数据进行清洗和对齐，然后通过对设计的开关式深度学习网络进行训练，若训练效果无法满足测试集要求则重新采集数据进行再次训练，若可以达到要求则进行实车测试，实车测试如果不通过则记录失败的场景作为训练数据从新训练，然后针对不同指令下的自动驾驶功能进行测试，如果测试不成功则分析实车测试过程中遇到的障碍并进行修正，如果无法完成该指令下的部分场景，则再次进行数据采集，然后进行训练和测试，从而达到深度学习功能。

同时，可以理解的，在本发明的步骤S12中，现阶段大部分车辆的动力系统均采用电子控制，在自动驾驶决策模块所输出的方向盘转角和车辆期望行驶速度后，车辆的动力系统控制单元会自行调整相应的控制参数，如点火提前角、喷油量、进排气时间、档位切换、换挡持续时间等方式来匹配实现所述方向盘转角和车辆行驶速度；而至于动力系统内部机构的如何协调和控制不是本申请的重点，可以采用现有的技术来实现，不在此进行赘述。

如图4所示，示出了本发明提供一种基于开关式深度学习网络模型的自动驾驶决策系统的结构示意图，一并参照图5-9所示，在本实施例中，所述系统1 包括：

实时数据采集模块10，用于通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时实时采集导航指令；

自动驾驶决策模块11，用于接收所述采集的行车环境数据与所述导航指令，根据所述导航指令的类型并结合所述行车环境数据进行决策，输出方向盘转角和车辆期望行驶速度；所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；

自动驾驶控制模块12，用于根据自动驾驶决策模块所输出方向盘转角和车辆期望行驶速度控制车辆实现自动驾驶。

进一步包括自动驾驶决策模块构建模块13，用于预先确定开关式深度学习网络模型并进行训练优化，形成自动驾驶决策模块；所述自动驾驶决策模块构建模块13包括：

训练原始数据采集单元130，用于通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

训练数据形成单元131，用于对所述采集的行车环境数据以及驾驶行为数据进行筛选和切分形成对应于不同导航指令的训练数据，其中，行车环境数据作为输入数据，驾驶行为数据作为输出数据；

网络模型确定单元132，用于确定开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；

训练优化单元133，用于将各导航指令对应的训练数据导入所述开关式深度学习网络模型中，根据预定的优化算法以及网络损失函数进行训练优化，其中，每一导航指令均对应有一网络损失函数；

推理验证单元134，用于对所述开关式深度学习网络模型进行实车的推理计算，形成训练好的自动驾驶决策模块。

更具体地，在一个例子中，所述训练数据形成单元131包括：

预处理单元1310，用于将所述摄像头所采集的原始图像进行下采样以及缩放处理，同时对所述图像对应的驾驶行为数据进行归一化处理；

筛选单元1311，用于根据处理后的图像以及驾驶行为数据获得每一导航指令下的训练数据；其中，所述导航指令包括路口左转、路口右转、左转避障、右转避障以及直行指令；所述路口左转指令下的训练数据包括直行与路口左转数据，所述路口右转指令下的训练数据包括直行与路口右转数据，所述左转避障指令下的训练数据包括直行与左换道避障数据，所述右转避障指令下的训练数据包括直行与右换道避障数据；所述直行指令下的训练数据包括直行与路口直行数据；

划分单元1312，用于将每一导航指令下的训练数据分为训练集、验证集和测试集，其中训练集比例为80％，验证集比例为10％，测试集比例为10％。

更具体地，在一个例子中，所述网络模型确定单元132包括：

CNN层构建单元1320，用于构建多级卷积神经网络(CNN)层，其输入层输入的为车辆左中右三路摄像头采集且经处理后的具有第一图像特征向量的图像数据，所述多级卷积神经网络层为五层，将所述第一图像特征向量处理后输出第二图像特征向量；

特征选择层构建单元1321，用于构建特征选择层，将多级卷积神经网络层输出的第二图像特征向量展平，并将每帧图像的图像特征平分给五个导航指令；将每张图像所对应的方向盘转角序列和速度序列组成车辆状态特征；将方向盘转角序列和速度序列与每个指令对应的特征维度进行拼接，获得第三图像特征向量；

LSTM层构建单元1322，用于构建长短期记忆神经网络(LSTM)层，将所述特征选择层中每一个指令对应的第三图像特征向量变换为第四图像特征向量；

输出层构建单元1323，用于构建输出层，对所述第四图像特征向量进行处理，所述输出层包括两个分支，所述两个分支均包含三个全连接(FC)层，每一层的单元数量依次减少，最终输出层为一个单元；第一分支的激活函数为反正切函数，输出的数值为车辆方向盘转角，其范围为[-π/2,π/2]；第二分支的激活函数为sigmoid函数，输出的数值为车辆期望行驶速度，其范围为[0,1]。

更具体地，在一个例子中，所述训练优化单元133具体包括：

损失函数建立单元1330，用于为每一导航指令所对应的训练数据根据下述公式确定相应的损失函数：

其中，w_s表示不同驾驶指令共享的网络参数，w_i表示不同驾驶指令下独立的网络参数，i＝1,2,3,4,5，分别表示左转、右转、直行、左转道和右换道，每一个驾驶指令都对应一个损失函数；α表示方向盘偏差的权重系数，β表示速度偏差的权重系数，γ为正则化权重系数；I表示图像输入，f表示网络的表达式，y_speed和y_steer表示图像对应的速度和方向盘转角；

训练单元1331，用于将每一导航指令下的训练数据输入至所述开关式深度学习网络模型进行训练优化，其中，训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法，按下述公式随着训练步数的增加逐渐减少学习率：

其中，l_dr为当前的学习率，l_br为基础的学习率，r_d为衰减系数，C_step为当前训练的步数，D_step为衰减速率。

更具体地，在一个例子中，所述推理验证单元134包括：

迁移单元1340，用于将经过训练优化后的开关式深度学习网络模型迁移到嵌入式设备中进行实车推理计算；

验证单元1341，用于从测试车辆安装的左中右摄像头获取图像序列，并将图像序列经处理后输入到开关式深度学习网络模型中，并给出具体的导航指令，验证其输出结果；

滤波单元1342，用于采用如下的公式对输出结果进行滤波：

其中，S_n为当前速度或方向盘转角的预测值，S_n-1为上一个预测值，λ为滤波系数，对于速度预测和方向盘预测，所述λ对应有不同的值；sgn为符号函数。

更具体地，在上述各部件中，缩放处理后的图像大小为244x244，第一图像特征向量的维度为[15,224,224,3]，第二图像特征向量的维度为[15,7,7,64]，每一个指令对应的第三图像特征向量的维度为[15,637]，第四图像特征向量的维度为 [1,256]，每一分支的三个全连接(FC)层的单元数量分别为100、50、10。

本系统的更多细节，可以参照前述对图1至图3的描述，在些不进行详述。

实施本发明的实施例，具有如下的有益效果：

本发明实施例所提供的一种基于开关式深度学习网络模型的自动驾驶决策方法及系统，通过设计一种开关式深度学习网络模型，该网络模型可以接收来自驾驶员或者自动驾驶系统的指令，完成相应指令下的驾驶任务，从而提高了端到端神经网络自动驾驶的能力，使自动驾驶可以在复杂环境下实现；

本发明中涉及的开关式深度学习网络模型，该网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；利用具有开关性质的特征选择层，通过不同的驾驶指令选择激活不同的特征，从而完成相应的驾驶决策算法，实车测试结果表明，该方法不会增加模型的推理时间，同时实现了网络根据输入的不同驾驶指令完成相应的驾驶任务，可以实现复杂环境下的自动驾驶。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于开关式深度学习网络模型的自动驾驶决策方法，其特征在于，包括如下步骤：

步骤S10，通过至少一个摄像头实时采集各导航指令下车辆行驶中的行车环境数据，同时采集导航指令；

步骤S11，将所述采集的行车环境数据以及导航指令作为输入导入经预先训练优化好的自动驾驶决策模块中，根据所述导航指令的类型并结合所述行车环境数据进行决策，输出方向盘转角和车辆期望行驶速度；所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；

步骤S12，根据自动驾驶决策模块输出的方向盘转角和车辆期望行驶速度，控制车辆实现自动驾驶；

其中，进一步包括预先确定开关式深度学习网络模型并进行训练优化，形成自动驾驶决策模块的步骤，所述确定开关式深度学习网络模型的步骤具体包括：

构建多级卷积神经网络(CNN)层，其输入层输入的为车辆左中右三路摄像头采集且经处理后的具有第一图像特征向量的图像数据，所述多级卷积神经网络(CNN)层为五层，将所述第一图像特征向量处理后输出第二图像特征向量；

构建特征选择层，将多级卷积神经网络(CNN)层输出的第二图像特征向量展平，并将每帧图像的图像特征平分给五个导航指令；将每张图像所对应的方向盘转角序列和速度序列组成车辆状态特征；将方向盘转角序列和速度序列与每个指令对应的特征维度进行拼接，获得第三图像特征向量；

构建长短期记忆神经网络(LSTM)层，将所述特征选择层中每一个指令对应的第三图像特征向量变换为第四图像特征向量；

构建输出层，用于对所述第四图像特征向量进行处理，所述输出层包括两个分支，所述两个分支均包含三个全连接(FC)层，每一层的单元数量依次减少，最终输出层为一个单元；第一分支的激活函数为反正切函数，输出的数值为车辆方向盘转角；第二分支的激活函数为sigmoid函数，输出的数值为车辆期望行驶速度。

2.如权利要求1所述的方法，其特征在于，所述预先对开关式深度学习网络模型并进行训练优化，形成自动驾驶决策模块的步骤进一步包括：

步骤S20，通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

步骤S21对所述采集的行车环境数据以及驾驶行为数据进行筛选形成对应于不同导航指令的训练数据，其中，行车环境数据作为输入数据，驾驶行为数据作为输出数据；

步骤S23，将各导航指令对应的训练数据导入所述确定的开关式深度学习网络模型中，根据预定的优化算法以及网络损失函数进行训练优化，其中，每一导航指令均对应有一网络损失函数；

步骤S24，对所述开关式深度学习网络模型进行实车的推理计算，获得训练好的自动驾驶决策模块。

3.如权利要求2所述的方法，其特征在于，所述步骤S20具体包括：

通过安装在车辆前端的左中右三个摄像头进行行车环境数据采集，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，采用第一视场角和第一采集频率进行采集；左右两侧摄像头位于车辆左右后视镜下边缘，采用第二视场角以及第二采集频率进行采集；

车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度，采用第三采集频率进行采集；

其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。

4.如权利要求3所述的方法，其特征在于，在所述步骤S21具体包括：

将所述摄像头所采集的原始图像进行下采样以及缩放处理，同时对所述图像对应的驾驶行为数据进行归一化处理；

根据处理后的图像以及驾驶行为数据获得每一导航指令下的训练数据；其中，所述导航指令包括路口左转、路口右转、左转避障、右转避障以及直行指令；所述路口左转指令下的训练数据包括直行与路口左转数据，所述路口右转指令下的训练数据包括直行与路口右转数据，所述左转避障指令下的训练数据包括直行与左换道避障数据，所述右转避障指令下的训练数据包括直行与右换道避障数据；所述直行指令下的训练数据包括直行与路口直行数据；

将每一导航指令下的训练数据分为训练集、验证集和测试集，其中训练集比例为80％，验证集比例为10％，测试集比例为10％。

5.如权利要求3或4所述的方法，其特征在于，步骤S23具体包括：

步骤S230，为每一导航指令所对应的训练数据根据下述公式确定相应的损失函数：

其中，w_s表示不同驾驶指令共享的网络参数，w_i表示不同驾驶指令下独立的网络参数，i＝1,2,3,4,5，分别表示左转、右转、直行、左转道和右换道，每一个驾驶指令都对应一个损失函数；α表示方向盘偏差的权重系数，β表示速度偏差的权重系数，γ为正则化权重系数；I表示图像输入，f表示网络的表达式，y_speed和y_steer表示图像对应的速度和方向盘转角；

步骤S231，将每一导航指令下的训练数据输入至所述开关式深度学习网络模型中，根据所述损失函数以及预定的优化算法进行训练优化，其中，训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法，按下述公式随着训练步数的增加逐渐减少学习率：

其中，l_dr为当前的学习率，l_br为基础的学习率，r_d为衰减系数，C_step为当前训练的步数，D_step为衰减速率。

6.如权利要求5所述的方法，其特征在于，所述步骤S24具体包括：

将经过训练优化后的开关式深度学习网络模型迁移到嵌入式设备中进行实车推理计算；

从测试车辆安装的左中右摄像头获取图像序列，并将图像序列经处理后输入到开关式深度学习网络模型中，并给出具体的导航指令，验证其输出结果，从而获得训练好的自动驾驶决策模块。

7.如权利要求6所述的方法，其特征在于，所述第一视场角为60°，所述第二视场角为120°，所述第一采集频率和第二采集频率为30Hz，所述第三采集频率为100Hz，下采样的频率为10Hz，缩放处理后的图像大小为244x244，第一图像特征向量的维度为[15,224,224,3]，第二图像特征向量的维度为[15,7,7,64]，每一个指令对应的第三图像特征向量的维度为[15,637]，第四图像特征向量的维度为[1,256]，每一分支的三个全连接(FC)层的单元数量分别为100、50、10。

8.一种基于开关式深度学习网络模型的自动驾驶决策系统，其特征在于，包括：

实时数据采集模块，用于通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时实时采集导航指令；

自动驾驶决策模块，用于接收所述采集的行车环境数据与所述导航指令，根据所述导航指令的类型并结合所述行车环境数据进行决策，输出方向盘转角和车辆期望行驶速度；所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；

自动驾驶控制模块，用于根据自动驾驶决策模块所输出方向盘转角和车辆期望行驶速度控制车辆实现自动驾驶；

进一步包括自动驾驶决策模块构建模块，用于预先确定开关式深度学习网络模型并进行训练优化，形成自动驾驶决策模块；

所述自动驾驶决策模块构建模块至少包括有一网络模型确定单元，用于确定开关式深度学习网络模型；

所述网络模型确定单元进一步包括：

所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；

CNN层构建单元，用于构建多级卷积神经网络(CNN)层，其输入层输入的为车辆左中右三路摄像头采集且经处理后的具有第一图像特征向量的图像数据，所述多级卷积神经网络(CNN)层为五层，将所述第一图像特征向量处理后输出第二图像特征向量；

特征选择层构建单元，用于构建特征选择层，将多级卷积神经网络(CNN)层输出的第二图像特征向量展平，并将每帧图像的图像特征平分给五个导航指令；将每张图像所对应的方向盘转角序列和速度序列组成车辆状态特征；将方向盘转角序列和速度序列与每个指令对应的特征维度进行拼接，获得第三图像特征向量；

LSTM层构建单元，用于构建长短期记忆神经网络(LSTM)层，将所述特征选择层中每一个指令对应的第三图像特征向量变换为第四图像特征向量；

输出层构建单元，用于构建输出层，对所述第四图像特征向量进行处理，所述输出层包括两个分支，所述两个分支均包含三个全连接(FC)层，每一层的单元数量依次减少，最终输出层为一个单元；第一分支的激活函数为反正切函数，输出的数值为车辆方向盘转角；第二分支的激活函数为sigmoid函数，输出的数值为车辆期望行驶速度。

9.如权利要求8所述的系统，其特征在于，所述自动驾驶决策模块构建模块进一步包括：

训练原始数据采集单元，用于通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；

训练数据形成单元，用于对所述采集的行车环境数据以及驾驶行为数据进行筛选和切分形成对应于不同导航指令的训练数据，其中，行车环境数据作为输入数据，驾驶行为数据作为输出数据；

训练优化单元，用于将各导航指令对应的训练数据导入所述网络模型确定单元所确定的开关式深度学习网络模型中，根据预定的优化算法以及网络损失函数进行训练优化，其中，每一导航指令均对应有一网络损失函数；

推理验证单元，用于对所述开关式深度学习网络模型进行实车的推理计算，形成训练好的自动驾驶决策模块。

10.如权利要求9所述的系统，其特征在于，所述训练优化单元具体包括：

损失函数建立单元，用于为每一导航指令所对应的训练数据根据下述公式确定相应的损失函数：

其中，w_s表示不同驾驶指令共享的网络参数，w_i表示不同驾驶指令下独立的网络参数，i＝1,2,3,4,5，分别表示左转、右转、直行、左转道和右换道，每一个驾驶指令都对应一个损失函数；α表示方向盘偏差的权重系数，β表示速度偏差的权重系数，γ为正则化权重系数；I表示图像输入，f表示网络的表达式，y_speed和y_steer表示图像对应的速度和方向盘转角；

训练单元，用于将每一导航指令下的训练数据输入至所述开关式深度学习网络模型进行训练优化，其中，训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法，按下述公式随着训练步数的增加逐渐减少学习率：

其中，l_dr为当前的学习率，l_br为基础的学习率，r_d为衰减系数，C_step为当前训练的步数，D_step为衰减速率。

Images