CN108877267B - 一种基于车载单目相机的交叉路口检测方法 - Google Patents

Abstract

本发明提出了一种基于车载单目相机的交叉路口检测方法。本发明通过车载单目相机采集前方道路彩色图像并存储，通过位置传感器同步采集车辆在行驶过程中的地球大地坐标系位置信息，并转换为高斯平面坐标系下的坐标得到位置样本集，根据位置样本集构建路网拓扑图，根据路网拓扑图对原始图像样本集中的车辆前方道路图像样本进行标注；通过特征编码子网络、路口类型分类子网络和距离估计子网络构建深度神经网络；筛选样本集的图像样本作为深度神经网络输入，通过设计路口类型分类子任务的损失函数以及距离估计子任务的损失函数构建综合损失函数，综合损失函数通过最小批随机梯度下降的算法训练深度神经网络，得到训练后深度神经网络。

Description

一种基于车载单目相机的交叉路口检测方法

技术领域

本发明涉及智能汽车辅助驾驶或自动驾驶系统的路口检测方法，尤其涉及一种基于车载单目相机的交叉路口检测方法。

背景技术

智能驾驶汽车是未来汽车的重要发展方向，研究人员力图从安全、可靠、便利及高效等方面取得突破，减少事故风险，弥补人工驾驶的不足，并解放驾驶员，使其能促进汽车产业，交通安全，国防科技的发展。其涵盖了自动控制、计算机、电子信息、地理信息、人工智能等多门学科，利用相机、激光雷达、毫米波雷达、超声波雷达、GPS/INS组合导航等传感器，感知车辆周围环境，并根据感知系统得到的道路场景信息、车辆位置和状态信息和障碍物信息，构建局部地图，规划局部路径，并实时控制车辆的转向和速度，从而使得车辆能够安全、可靠地在道路上行驶，是当今世界前沿研究方向。随着计算机技术和人工智能的发展，智能无人驾驶汽车在军事、交通、工业生产、物流仓储、日常生活等方面展现出巨大的应用前景。

智能汽车自动驾驶技术主要包括环境感知、智能决策和运动控制等三个方面。环境感知作为其中重要一环，旨在为无人驾驶汽车提供周围环境信息，并对环境进行语义理解，为规划层提供有效的道路环境元素数据，是其他系统的数据基础。在结构化简单场景下，其功能主要为车道线跟随和避障，在复杂驾驶场景下对驾驶场景的抽象理解是必须的。路口作为道路场景中最为复杂，也相对危险的部分，无人驾驶汽车需要有提前预判路口位置的能力。对路口和非路口的区分，以及对路口类型的分辨是应对路口场景的前提。

发明内容

为了解决智能汽车自动驾驶系统或驾驶辅助系统中交叉路口检测问题，本发明提供了一种基于车载单目相机的交叉路口检测方法。本方法采用深度神经网络进行路口的分类和距离估计，通过对训练数据进行自动标注，可以获取充分的训练数据以训练算法自动获取泛化的特征用于路口类型分类和距离估计。相比于人工设计特征，深度神经网络通过大量数据自动提取的特征更加高效，能大大提高路口检测的鲁棒性和精度。

本发明的技术方案为一种基于车载单目相机的交叉路口检测方法，包括以下步骤：

步骤1：在试验车辆上安装前向单目相机和位置传感器，在典型驾驶场景里驾驶车辆通过相机采集前方道路RGB彩色图像即前方道路图像样本，并存储得到原始图像样本集，通过位置传感器同步采集车辆在行驶过程中的地球大地坐标系位置信息，将地球大地坐标系转换为高斯平面坐标系下的坐标得到位置样本集，根据位置样本集构建路网拓扑图，根据路网拓扑图对原始图像样本集中的车辆前方道路图像样本进行标注；

步骤2：通过特征编码子网络、路口类型分类子网络和距离估计子网络构建深度神经网络；

步骤3：筛选样本集的图像样本作为深度神经网络输入，通过设计路口类型分类子任务的损失函数以及距离估计子任务的损失函数构建综合损失函数，综合损失函数通过最小批随机梯度下降的算法训练深度神经网络，得到训练后深度神经网络；

作为优选，步骤1中所述彩色图像为img，所述原始图像样本集为S_I＝{img}；

步骤1中所述地球大地坐标系位置信息V_e(B,L,H,θ)主要包括经度B、纬度L、海拔H和航向角θ，转换到高斯平面坐标系位置信息V_i(x,y,θ)，所述位置样本集为S_V＝{V_i}，高斯平面坐标系位置信息x坐标为：

高斯平面坐标系位置信息y坐标为：

其中，X为赤道至纬度为B的平行圈的子午线弧长，N为卯酉圈曲率半径，l 为投影点经度L与该点所处经度带轴子午线经度L₀差，即l＝L-L₀，e为第一偏心率，e'为第二偏心率，t＝tanB为纬度B的正切值，μ＝e'cosB，赤道至纬度为B的平行圈的子午线弧长X的计算为：

X＝a(1-e²)(A₀B+A₂sin2B+A₄sin4B+A₆sin6B+A₈sin8B)

其中，a为地球长半轴，参数A₀，A₂，A₄，A₆和A₈的计算为：

N计算公式见式：

其中η为世界大地坐标系的椭球扁率；

其中L₀计算：

L₀＝6n-3

参数

通过位置样本集S_V构建该驾驶区域的路网拓补图G(V,E)，其中V(x,y)表示路网拓补图中的关键路点，E表示与之可通行的相邻路点的连线，相邻关键路点之间的距离应不小于D_t路点；

对于一个待标注样本图像img∈S_I，记s(img,c_label,d_label)为其标注样本，其中c_label∈{0,1,2,3,4}为路口类型标签真值，d_label∈[0.0,D_t路点]为距路口距离大小真值；

通过S_I到S_V的映射将图像img获取其位置信息V_i,并将其映射到路网拓补图 G(V,E)中，找到车辆行进方向上的上一个路点V_n-1和下一个路点V_n，计算当前位置V_i与下一个路点V_n的距离D(V_i,V_n)：

若车辆距离下一个路点的距离D(V_i,V_n)大于阈值D_t路点,则车辆行驶在非路口，相应的图像应该标注为类别0,即样本s(img,0,D_t路点)；

否则，计算与路点V_n关联的边的个数，记为deg(V_n),若deg(V_n)＝2，则车辆行驶在非路口，相应的图像标注类别为0，即样本s(img,0,D_t路点)；

若deg(V_n)＝4，则车辆前方为十字路口，相应的图像应标注为类别4，车辆距路口的距离为D(V_i,V_n),即样本s(img,4,D(V_i,V_n))；

若deg(V_n)＝3，则车辆前方为T型路口，记V'_n(x',y')和V”_n(x”,y”)分别为与 V_n(x,y)连接的另外两个路点，分别计算

和

的夹角：

φ’＝atan2(y’,x’)-atan2(y,x)

φ”＝atan2(y”,x”)-atan2(y,x)

记为φ'和φ”；

若φ'和φ”中，任意一个夹角范围在(-π/6，π/6)，另一夹角范围在(π/4，3π/ 4),则车辆处在第一类T型路口，相应的图像标注类别为1，车辆距路口的距离为D(V_i,V_n),即样本s(img,1,D(V_i,V_n))；

若φ'和φ”中，任意一个夹角范围在(-π/6，π/6)，另一夹角范围在(-3π/ 4，-π/4),则车辆处在第二类T型路口，相应的图像标注类别为2，车辆距路口的距离为D(V_i,V_n),即样本s(img,2,D(V_i,V_n))；

若φ'和φ”中，任意一个夹角范围在(π/4，3π/4)，另一夹角范围在(-3π/ 4，-π/4),则车辆处在第三类T型路口，相应的图像标注类别为3，车辆距路口的距离为D(V_i,V_n),即样本s(img,3,D(V_i,V_n))；

对所有图像img∈S_I进行上述处理，得到样本集S＝{s(img,c_label,d_label)}。

作为优选，步骤2中所述特征编码子网络由一组卷积层组成，用于提取有效的特征图进行分类和距离估计，第一层卷积层的输入为样本图像img的归一化矩阵，其后的每一层的输入为上一层输出的多通道特征图，卷积层共有L层，最后一层输出的多通道特征图a^L即为编码特征，卷积层的计算公式如下：

其中，

表示第l层第j个输出特征图所对应的多个输入特征图的索引集合，

表示第l层第j的编码特征，符号*表示卷积操作，

表示卷积核，所有M_j中的输入特征都公用一个偏置项

σ(·)为relu激活函数，其公式为：

所编码的多通道特征图a^L分别经一个卷积核大小为1x1的卷积层处理得到两个新的编码特征图，并变换成特征向量为

和

分别传递给路口类型分类子网络和距离估计子网络；

步骤2中所述路口类型分类子网络由一组全连接层和一个Softmax层组成，第一层全连接层的输入为特征向量

其后每一层的的输入为上一层输出的特征向量，所述一组全连接层共有H层，最后一层包含5个神经元，最终输出的特征向量记作p^H,其包含5个元素，记为

p^H经Softmax层处理得到类别判断向量

其5个元素值分别属于对应类别的概率，且分属5个类别的概率和为1，全连接层计算公式如下：

其中，

为当前层特征向量，

为上一层特征向量，

为权重,

为偏置项。

Softmax层计算如下：

其中，n＝5,表示共有5类，结果中每个值表示属于该类的概率，且分属5 个类别的概率和为1；

步骤2中所述距离估计子网络由一组全连接层组成，第一层得输入为特征向量

其后每一层的输入为上一层输出得特征向量，所述一组全连接层共有N 层，每一层的神经元个数逐渐减少，最后一层的输出个数为1，也即距离估计值，记为p^d；

作为优选，步骤3中所述筛选样本集S＝{s(img,c_label,d_label)}的图像样本使非路口和路口类型样本的比例为1：3；

步骤3中所述路口类型分类子任务的损失函数为：

loss_class(p^s,q^s,Θ)＝∑_c∈Cq^s(c)logp^s(c)

其中，p^s为类别预测向量，q^s为训练样本类别标签向量真值,Θ为网络权重参数，C为类别的集合，q^s通过将训练样本分类标签c_label转换为向量表示得到，类别0至类别4应分别转换为[1,0,0,0,0]、[0,1,0,0,0]、[0,0,1,0,0]、[0,0,0,1,0] 和[0,0,0,0,1]；

步骤3中所述距离估计子任务的损失函数为：

其中，p^d为距离估计值；q^d为距离真值,由训练样本的距路口距离大小真值d_label归一化得到，q^d＝d_label/D_t路点；Θ为网络权重参数；

为控制量，如果训练样本中c_label＝0为非路口，其值取0，否则为1；

步骤3中所述综合损失函数为：

L(p^s,q^s,p^d,q^d,Θ)＝loss_class(p^s,q^s,Θ)+λ·loss_dist(p^d,q^d,Θ)

其中，p^s为类别预测向量，q^s为训练样本类别标签向量真值，p^d为距离估计值； q^d为距离真值；Θ为网络权重参数；λ为加权值；

步骤3中所述训练深度神经网络为：

采用最小批随机梯度下降的算法训练深度神经网络，每次迭代随机选择m 个样本计算损失函数值，并取其平均值作为反向传播误差用于更新权重，当在验证集上的准确率不再提高时终止网络训练，获得最优的网络权重参数。

Θ←Θ-η*g

其中，m为小批量样本数目；Θ为网络权重参数；η为学习速率。

本发明的有益效果是：本发明提出了一种采用自动标注数据训练深度神经网络自动提取特征进行路口类型识别和距离估计的方法。深度神经网络能从大量样本中自动学习到路口类型分类和距离估计的特征，比手工设计的特征更加稳健和泛化，能大大提高路口检测的效果。并且提出了自动标注数据样本的方法，比人工标注的方法更加高效，能获取足量的样本用于深度神经网络的训练，也有助于提高路口检测的效果。在应用阶段，所提出的算法只需要输入车辆当前位置前方图像信息即可得出路口类型及距离，能满足实时应用要求。

附图说明

图1：本发明定义的路口类型及其标签编号；

图2：本发明路口检测方法的流程示意图；

图3：本发明构建深度神经网络路口检测算法的流程示意图；

图4：本发明自动标注图像样本的流程示意图；

图5：本发明单帧图像标注的流程示意图；

图6：本发明由采集到的数据所构建的拓补地图可视化效果图；

图7：本发明所设计的用于路口检测的深度神经网络架构示意图；

图8：本发明的方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施示例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

下面结合图1至图8介绍本发明的实施方式，具体包括以下步骤：

步骤1：在试验车辆上安装前向单目相机和位置传感器，在典型驾驶场景里驾驶车辆通过相机采集前方道路RGB彩色图像即前方道路图像样本，并存储得到原始图像样本集，通过位置传感器同步采集车辆在行驶过程中的地球大地坐标系位置信息，将地球大地坐标系转换为高斯平面坐标系下的坐标得到位置样本集，根据位置样本集构建路网拓扑图，根据路网拓扑图对原始图像样本集中的车辆前方道路图像样本进行标注；

步骤1中所述彩色图像为img，所述原始图像样本集为S_I＝{img}；

步骤1中所述地球大地坐标系位置信息V_e(B,L,H,θ)主要包括经度B、纬度L、海拔H和航向角θ，转换到高斯平面坐标系位置信息V_i(x,y,θ)，所述位置样本集为S_V＝{V_i}，高斯平面坐标系位置信息x坐标为：

高斯平面坐标系位置信息y坐标为：

其中，X为赤道至纬度为B的平行圈的子午线弧长，N为卯酉圈曲率半径，l 为投影点经度L与该点所处经度带轴子午线经度L₀差，即l＝L-L₀，e＝ 0.08181919为第一偏心率，e'＝0.082094438为第二偏心率，t＝tanB为纬度B 的正切值，μ＝e'cosB，赤道至纬度为B的平行圈的子午线弧长X的计算为：

X＝a(1-e²)(A₀B+A₂sin2B+A₄sin4B+A₆sin6B+A₈sin8B)

其中，a＝6387137m为地球长半轴，参数A₀，A₂，A₄，A₆和A₈的计算为：

N计算公式见式：

其中η为世界大地坐标系的椭球扁率，取值为0.0033528；

其中L₀计算：

L₀＝6n-3

参数

通过位置样本集S_V构建该驾驶区域的路网拓补图G(V,E)，其中V(x,y)表示路网拓补图中的关键路点，E表示与之可通行的相邻路点的连线，相邻关键路点之间的距离应不小于D_t路点＝20m。

对于一个待标注样本图像img∈S_I，记s(img,c_label,d_label)为其标注样本，其中c_label∈{0,1,2,3,4}为路口类型标签真值，d_label∈[0.0,D_t路点]为距路口距离大小真值。

通过S_I到S_V的映射将图像img获取其位置信息V_i,并将其映射到路网拓补图 G(V,E)中，找到车辆行进方向上的上一个路点V_n-1和下一个路点V_n，计算当前位置V_i与下一个路点V_n的距离D(V_i,V_n)：

若车辆距离下一个路点的距离D(V_i,V_n)大于阈值D_t路点,则车辆行驶在非路口，相应的图像应该标注为类别0,即样本s(img,0,D_t路点)；

否则，计算与路点V_n关联的边的个数，记为deg(V_n),若deg(V_n)＝2，则车辆行驶在非路口，相应的图像标注类别为0，即样本s(img,0,D_t路点)；

若deg(V_n)＝4，则车辆前方为十字路口，相应的图像应标注为类别4，车辆距路口的距离为D(V_i,V_n),即样本s(img,4,D(V_i,V_n))；

若deg(V_n)＝3，则车辆前方为T型路口，记V'_n(x',y')和V”_n(x”,y”)分别为与 V_n(x,y)连接的另外两个路点，分别计算

和

的夹角：

φ’＝atan2(y’,x’)-atan2(y,x)

φ”＝atan2(y”,x”)-atan2(y,x)

记为φ'和φ”；

若φ'和φ”中，任意一个夹角范围在(-π/6，π/6)，另一夹角范围在(π/4，3π/ 4),则车辆处在第一类T型路口，相应的图像标注类别为1，车辆距路口的距离为D(V_i,V_n),即样本s(img,1,D(V_i,V_n))；

若φ'和φ”中，任意一个夹角范围在(-π/6，π/6)，另一夹角范围在(-3π/ 4，-π/4),则车辆处在第二类T型路口，相应的图像标注类别为2，车辆距路口的距离为D(V_i,V_n),即样本s(img,2,D(V_i,V_n))；

若φ'和φ”中，任意一个夹角范围在(π/4，3π/4)，另一夹角范围在(-3π/ 4，-π/4),则车辆处在第三类T型路口，相应的图像标注类别为3，车辆距路口的距离为D(V_i,V_n),即样本s(img,3,D(V_i,V_n))；

对所有图像img∈S_I进行上述处理，得到样本集S＝{s(img,c_label,d_label)}。

步骤2：通过特征编码子网络、路口类型分类子网络和距离估计子网络构建深度神经网络；

步骤2中所述特征编码子网络由一组卷积层组成，用于提取有效的特征图进行分类和距离估计，第一层卷积层的输入为样本图像img的归一化矩阵，其后的每一层的输入为上一层输出的多通道特征图，卷积层共有L层，最后一层输出的多通道特征图a^L即为编码特征，卷积层的计算公式如下：

其中，

表示第l层第j个输出特征图所对应的多个输入特征图的索引集合，

表示第l层第j的编码特征，符号*表示卷积操作，

表示卷积核，卷积核大小均为3×3，所有M_j中的输入特征都公用一个偏置项

σ(·)为relu激活函数，其公式为：

所编码的多通道特征图a^L分别经一个卷积核大小为1x1的卷积层处理得到两个新的编码特征图，并变换成特征向量为

和

分别传递给路口类型分类子网络和距离估计子网络；

步骤2中所述路口类型分类子网络由一组全连接层和一个Softmax层组成，第一层全连接层的输入为特征向量

其后每一层的的输入为上一层输出的特征向量，所述一组全连接层共有H层，最后一层包含5个神经元，最终输出的特征向量记作p^H,其包含5个元素，记为

p^H经Softmax层处理得到类别判断向量

其5个元素值分别对应属于该类的概率，且分属5个类别得概率和为1，全连接层计算公式如下：

其中，

为当前层特征向量，

为上一层特征向量，

为权重,

为偏置项。

Softmax层计算如下：

其中，n＝5,表示共有5类，结果中每个值表示属于该类的概率，且分属5 个类别的概率和为1；

步骤2中所述距离估计子网络由一组全连接层组成，第一层的输入为特征向量

其后每一层的输入为上一层输出得特征向量，所述一组全连接层共有N 层，每一层的神经元个数逐渐减少，最后一层的输出个数为1，也即距离估计值，记为p^d；

步骤3：筛选样本集的图像样本作为深度神经网络输入，通过设计路口类型分类子任务的损失函数以及距离估计子任务的损失函数构建综合损失函数，综合损失函数通过最小批随机梯度下降的算法训练深度神经网络，得到训练后深度神经网络；

步骤3中所述筛选样本集S＝{s(img,c_label,d_label)}的图像样本使非路口和路口类型样本的比例约为1：3；

步骤3中所述路口类型分类子任务的损失函数为：

loss_class(p^s,q^s,Θ)＝∑_c∈Cq^s(c)logp^s(c)

其中，p^s为类别预测向量，q^s为训练样本类别标签向量真值,Θ为网络权重参数，C为类别的集合，q^s通过将训练样本分类标签c_label转换为向量表示得到，类别0至类别4应分别转换为[1,0,0,0,0]、[0,1,0,0,0]、[0,0,1,0,0]、[0,0,0,1,0] 和[0,0,0,0,1]；

步骤3中所述距离估计子任务的损失函数为：

其中，p^d为距离估计值；q^d为距离真值,由训练样本的距路口距离大小真值 d_label归一化得到，q^d＝d_label/D_thr；Θ为网络权重参数；

为控制量，如果训练样本中c_label＝0为非路口，其值取0，否则为1；

步骤3中所述综合损失函数为：

L(p^s,q^s,p^d,q^d,Θ)＝loss_class(p^s,q^s,Θ)+λ·loss_dist(p^d,q^d,Θ)

其中，p^s为类别预测向量，q^s为训练样本类别标签向量真值，p^d为距离估计值；q^d为距离真值；Θ为网络权重参数；λ＝0.3为加权值；

步骤3中所述训练深度神经网络为：

采用最小批随机梯度下降的算法训练深度神经网络，每次迭代随机选择m 个样本计算损失函数值，并取其平均值作为反向传播误差用于更新权重，当在验证集上的准确率不再提高时终止网络训练，获得最优的网络权重参数。

Θ←Θ-∈g

其中，m为小批量样本数目，可取4，8，16，32等；Θ为网络权重参数；∈＝0.0001 为学习速率。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (1)

1.一种基于车载单目相机的交叉路口检测方法，其特征在于，包括以下步骤：

步骤1：在试验车辆上安装前向单目相机和位置传感器，在典型驾驶场景里驾驶车辆通过相机采集前方道路RGB彩色图像即前方道路图像样本，并存储得到原始图像样本集，通过位置传感器同步采集车辆在行驶过程中的地球大地坐标系位置信息，将地球大地坐标系转换为高斯平面坐标系下的坐标得到位置样本集，根据位置样本集构建路网拓扑图，根据路网拓扑图对原始图像样本集中的车辆前方道路图像样本进行标注；

步骤2：通过特征编码子网络、路口类型分类子网络和距离估计子网络构建深度神经网络；

步骤3：筛选样本集的图像样本作为深度神经网络输入，通过设计路口类型分类子任务的损失函数以及距离估计子任务的损失函数构建综合损失函数，综合损失函数通过最小批随机梯度下降的算法训练深度神经网络，得到训练后深度神经网络；

步骤1中所述彩色图像为img，所述原始图像样本集为S_I＝{img}；

步骤1中所述地球大地坐标系位置信息V_e(B，L，H，θ)主要包括经度B、纬度L、海拔H和航向角θ，转换到高斯平面坐标系位置信息V_i(x，y，θ)，所述位置样本集为S_V＝{V_i}，高斯平面坐标系位置信息x坐标为：

高斯平面坐标系位置信息y坐标为：

其中，X为赤道至纬度为B的平行圈的子午线弧长，N为卯酉圈曲率半径，l为投影点经度L与该点所处经度带轴子午线经度L₀差，即l＝L-L₀，e为第一偏心率，e′为第二偏心率，t＝tan B为纬度B的正切值，μ＝e′cos B，赤道至纬度为B的平行圈的子午线弧长X的计算为：

X＝a(1-e²)(A_OB+A₂ sin 2B+A₄ sin 4B+A₆ sin 6B+A₈ sin 8B)

其中，a为地球长半轴，参数A₀，A₂，A₄，A₆和A₈的计算为：

N计算公式见式：

其中η为世界大地坐标系的椭球扁率；

其中L₀计算：

L₀＝6n-3

参数

通过位置样本集S_V构建该驾驶区域的路网拓补图G(V，E)，其中V(x，y)表示路网拓补图中的关键路点，E表示与之可通行的相邻路点的连线，相邻关键路点之间的距离应不小于D_thr；

对于一个待标注样本图像img∈S_I，记s(img，c_label，d_label)为其标注样本，其中c_label∈{0，1，2，3，4}为路口类型标签真值，d_label∈[0.O，D_thr]为距路口距离大小真值；

通过S_I到S_V的映射将图像img获取其位置信息V_i，并将其映射到路网拓补图G(V，E)中，找到车辆行进方向上的上一个路点V_n-1和下一个路点V_n，计算当前位置V_i与下一个路点V_n的距离D(V_i，V_n)：

若车辆距离下一个路点的距离D(V_i，V_n)大于阈值D_thr，则车辆行驶在非路口，相应的图像应该标注为类别0，即样本s(img，O，D_thr)；

否则，计算与路点V_n关联的边的个数，记为deg(V_n)，若deg(V_n)＝2，则车辆行驶在非路口，相应的图像标注类别为0，即样本s(img，0，D_thr)；

若deg(V_n)＝4，则车辆前方为十字路口，相应的图像应标注为类别4，车辆距路口的距离为D(V_i，V_n)，即样本s(img，4，D(V_i，V_n))；

若deg(V_n)＝3，则车辆前方为T型路口，记V′_n(x′，y′)和V″_n(x″，y″)分别为与V_n(x，y)连接的另外两个路点，分别计算

和

的夹角：

φ′＝atan2(y′，x′)-atan2(y，x)

φ″＝atan2(y″，x″)-atan2(y，x)

记为φ′和φ″；

若φ′和φ″中，任意一个夹角范围在(-π/6，π/6)，另一夹角范围在(π/4，3π/4)，则车辆处在第一类T型路口，相应的图像标注类别为1，车辆距路口的距离为D(V_i，V_n)，即样本s(img，1，D(V_i，V_n))；

若φ′和φ″中，任意一个夹角范围在(-π/6，π/6)，另一夹角范围在(-3π/4，-π/4)，则车辆处在第二类T型路口，相应的图像标注类别为2，车辆距路口的距离为D(V_i，V_n)，即样本s(img，2，D(V_i，V_n))；

若φ′和φ″中，任意一个夹角范围在(π/4，3π/4)，另一夹角范围在(-3π/4，-π/4)，则车辆处在第三类T型路口，相应的图像标注类别为3，车辆距路口的距离为D(V_i，V_n)，即样本s(img，3，D(V_i，V_n))；

对所有图像img∈S_I进行上述处理，得到样本集S＝{s(img，c_label，d_label)}；

步骤2中所述特征编码子网络由一组卷积层组成，用于提取有效的特征图进行分类和距离估计，第一层卷积层的输入为样本图像img的归一化矩阵，其后的每一层的输入为上一层输出的多通道特征图，卷积层共有L层，最后一层输出的多通道特征图a^L即为编码特征，卷积层的计算公式如下：

其中，

表示第l层第j个输出特征图所对应的多个输入特征图的索引集合，

表示第l层第j的编码特征，符号*表示卷积操作，

表示卷积核，所有M_j中的输入特征都公用一个偏置项

σ(·)为relu激活函数，其公式为：

所编码的多通道特征图a^L分别经一个卷积核大小为1x1的卷积层处理得到两个新的编码特征图，并变换成特征向量为

和

分别传递给路口类型分类子网络和距离估计子网络；

步骤2中所述路口类型分类子网络由一组全连接层和一个Softmax层组成，第一层全连接层的输入为特征向量

其后每一层的的输入为上一层输出的特征向量，所述一组全连接层共有H层，最后一层包含5个神经元，最终输出的特征向量记作p^H，其包含5个元素，记为

p^H经Softmax层处理得到类别判断向量

其5个元素值分别属于对应类别的概率，且分属5个类别的概率和为1，全连接层计算公式如下：

其中，

为当前层特征向量，

为上一层特征向量，

为权重，

为偏置项；

Softmax层计算如下：

其中，n＝5，表示共有5类，结果中每个值表示属于该类的概率，且分属5个类别的概率和为1；

步骤2中所述距离估计子网络由一组全连接层组成，第一层得输入为特征向量

其后每一层的输入为上一层输出得特征向量，所述一组全连接层共有N层，每一层的神经元个数逐渐减少，最后一层的输出个数为1，也即距离估计值，记为p^d；

步骤3中所述筛选样本集S＝{s(img，c_label，d_label)}的图像样本使非路口和路口类型样本的比例为1∶3；

步骤3中所述路口类型分类子任务的损失函数为：

loss_class(p^s，q^s，Θ)＝∑_c∈Cq^s(c)log p^s(c)

其中，p^s为类别预测向量，q^s为训练样本类别标签向量真值，Θ为网络权重参数，C为类别的集合，q^s通过将训练样本分类标签c_label转换为向量表示得到，类别0至类别4应分别转换为[1，0，0，0，0]、[0，1，0，0，0]、[0，0，1，0，0]、[0，0，0，1，0]和[0，0，0，0，1]；

步骤3中所述距离估计子任务的损失函数为：

其中，p^d为距离估计值；q^d为距离真值，由训练样本的距路口距离大小真值d_label归一化得到，q^d＝d_label/D_thr；Θ为网络权重参数；

为控制量，如果训练样本中c_label＝0为非路口，其值取0，否则为1；

步骤3中所述综合损失函数为：

L(p^s，q^s，p^d，q^d，Θ)＝loss_class(p^s，q^s，Θ)+λ·loss_dist(p^d，q^d，Θ)

其中，p^s为类别预测向量，q^s为训练样本类别标签向量真值，p^d为距离估计值；q^d为距离真值；Θ为网络权重参数；λ为加权值；

步骤3中所述训练深度神经网络为：

采用最小批随机梯度下降的算法训练深度神经网络，每次迭代随机选择m个样本计算损失函数值，并取其平均值作为反向传播误差用于更新权重，当在验证集上的准确率不再提高时终止网络训练，获得最优的网络权重参数；

Θ←Θ-η*g

其中，m为小批量样本数目；Θ为网络权重参数；η为学习速率。

Images