CN111611956B - 面向地铁视觉图像的轨道检测方法及系统 - Google Patents

Abstract

本发明涉及一种面向地铁视觉图像的轨道检测方法及系统，所述检测方法包括：采集地铁场景下的多个轨道图像，作为训练图像；通过基于卷积神经网络的特征提取网络，对训练图像进行特征提取，得到对应的图像特征；采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；根据所述融合特征，建立分类预测模型；根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。本发明通过对训练图像特征提取，得到图像特征，进一步考虑轨道特殊的分布和形状特征，采用信息聚合算法，根据图像特征得到基于轨道形状和分布特征的融合特征；进而根据融合特征建立分类预测模型，可以准确、有效地预测出待处理轨道图像的各像素点的类别。

Description

面向地铁视觉图像的轨道检测方法及系统

技术领域

本发明涉及地铁场景下的智能驾驶技术领域，特别涉及一种面向地铁视觉图像的轨道检测方法及系统。

背景技术

随着地铁在各个城市逐渐普及，地铁的自动化和智能化建设成为地铁发展的主要趋势之一。在地铁环境中，由于光线比较暗，地铁速度较快，地铁驾驶员需要集中注意力才能判别前方轨道内的安全性。虽然地铁在正常行驶时大部分情况下轨道内是安全的，但是长期观测会耗费驾驶员大量精力，从而导致注意力涣散。而地铁下的驾驶辅助系统可以缓解驾驶员观察压力，提供预警信息，及时发现地铁轨道内的问题。

其中，轨道检测是地铁辅助驾驶系统中的核心功能之一。通过检测轨道，界定轨道区域，以判断轨道内是否有异常障碍物，及时向驾驶员发出警告。相比于激光雷达，视觉图像用于轨道检测的优势在于分辨率高，纹理丰富，检测距离远。

目前已有的基于视觉图像的轨道检测方法可以分为基于经验特征和基于学习特征两类。但是基于经验特征难以适应光照多变和地面纹理复杂的情况，而基于深度学习轨道检测方法几乎没有考虑到轨道的形状和分布特征，导致检测精度较低。因此，现有的基于视觉图像的轨道检测方法还无法准确提供轨道的检测信息，导致检测精度较低。

发明内容

为了解决现有技术中的上述问题，即为了提高轨道图像的检测精度，本发明的目的在于提供一种面向地铁视觉图像的轨道检测方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种面向地铁视觉图像的轨道检测方法，所述检测方法包括：

采集地铁场景下的多个轨道图像，作为训练图像；

通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；

根据所述融合特征，建立分类预测模型；

根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。

可选地，所述检测方法还包括：

针对每一训练图像，

对所述训练图像中的轨道进行标注，得到标注图像；

根据所述分类预测模型，预测所述训练图像的各像素点的类别，得到多个分类特图；

采用双线性插值将各分类特征图上采样为与所述训练图像大小尺寸相同，得到采样图像；

基于各标注图像及对应的采样图像，确定网络损失函数；

基于所述网络损失函数，对所述分类预测模型训练，得到训练后的分类预测模型。

可选地，根据以下公式，确定网络损失函数

其中，αc表示样本比例权重，c表示类别，c＝{b，l，r}，b表示背景，l表示左车道线，r表示右车道线，γ表示样本难度权重；y_m，n，c为网络的预测值，表示在位置为(m，n)的像素点的类别为c的概率值。

可选地，所述基于卷积神经网络的特征提取网络为堆叠设置的用卷积层，池化层和空洞卷积层。

可选地，根据以下公式，得到图像特征：

z＝VGG_fp(x，θ_vgg)；

其中，VGG_fp为特征提取网络的前向传播过程，θ_vgg为特征提取网络参数，x表示训练图像，Z为四维张量的图像特征。

可选地，所述采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征，具体包括：

根据以下公式，分别计算高度方向的信息聚合信息宽度方向的信息聚合信息/>及维度方向的信息聚合信息/>

其中，e表示高度索引，f表示宽度索引，k表示输出维度索引，p表示输入维度索引，Z_e,f,p表示特征图在(e,f,p)处的取值，表示高度方向聚合权重，/>表示宽度方向聚合权重，/>表示维度方向聚合权重；

根据所述高度方向的信息聚合信息宽度方向的信息聚合信息/>及维度方向的信息聚合信息/>确定基于轨道形状和分布特征的融合特征。

可选地，根据以下公式，得到融合特征Z′：

Z′＝Z^H+Z^W+Z^D；

其中，Z^H、Z^W、Z^D分别表示高度、宽度和维度方向上信息聚合得到的特征，和/>分别是特征Z^H、Z^W、Z^D在(e,f,p)处的值。

为解决上述技术问题，本发明还提供了如下方案：

一种面向地铁视觉图像的轨道检测系统，所述检测系统包括：

图像采集单元，用于采集地铁场景下的多个轨道图像，作为训练图像；

特征提取单元，用于通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

信息融合单元，用于采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；

模型建立单元，用于根据所述融合特征，建立分类预测模型；

类别预测单元，用于根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。

为解决上述技术问题，本发明还提供了如下方案：

一种面向地铁视觉图像的轨道检测系统，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

采集地铁场景下的多个轨道图像，作为训练图像；

通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；

根据所述融合特征，建立分类预测模型；

根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。

为解决上述技术问题，本发明还提供了如下方案：

一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

采集地铁场景下的多个轨道图像，作为训练图像；

通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；

根据所述融合特征，建立分类预测模型；

根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。

根据本发明的实施例，本发明公开了以下技术效果：

本发明通过对训练图像特征提取，得到图像特征，进一步考虑轨道特殊的分布和形状特征，采用信息聚合算法，根据图像特征得到基于轨道形状和分布特征的融合特征；进而根据融合特征建立分类预测模型，可以准确、有效地预测出待处理轨道图像的各像素点的类别。

附图说明

图1是本发明面向地铁视觉图像的轨道检测方法的流程图；

图2是本发明面向地铁视觉图像的轨道检测系统的模块结构示意图。

符号说明：

图像采集单元—1，特征提取单元—2，信息融合单元—3，模型建立单元—4，类别预测单元—5。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的目的是提供一种面向地铁视觉图像的轨道检测方法，通过对训练图像特征提取，得到图像特征，进一步考虑轨道特殊的分布和形状特征，采用信息聚合算法，根据图像特征得到基于轨道形状和分布特征的融合特征；进而根据融合特征建立分类预测模型，可以准确、有效地预测出待处理轨道图像的各像素点的类别。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明面向地铁视觉图像的轨道检测方法包括：

步骤100：采集地铁场景下的多个轨道图像，作为训练图像；

步骤200：通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

步骤300：采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；

步骤400：根据所述融合特征，建立分类预测模型；

步骤500：根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。

其中，通过在地铁上安装图像采集装置，例如高清摄像头，来采集地铁在静止和运动状态下的图像信息。

本发明在图像采集时安装了两个不同焦距的相机：一个为8毫米，用于观测近处宽视野范围内环境；一个为25毫米，用于观测远处窄视野范围内环境。

将采集的轨道图像中剔除掉无效图片(不含轨道)，并对图像中的轨道进行标注，得到标注图像。标注时，当前轨道的左轨道标注为1，当前轨道的右轨道标注为2，其余轨道以及背景均标注为0。最终得到包含标注信息的6000张图像数据，并将其划分为训练集，验证集和测试集，三者比例为：5:3:2。

在步骤200中，所述基于卷积神经网络的特征提取网络为堆叠设置的用卷积层，池化层和空洞卷积层。

具体地，卷积神经网络(Convolutional Neural Network,CNN)由多个卷积层和池化层堆叠而成，考虑到采集的标注样本比较少，为了更有效的提取特征以及减少训练时间，本发明采用VGG-19作为特征提取网络，并采用ImageNet预训练网络Oxford VGG Network作为网络权重初值。为了使得最后特征图的感受野足够大，在原始的VGG-19基础上，修改了最后4层，将其改为空洞卷积层。

为了说明模型中特征提取网络的结构，分别用Conv_i，Pooling_i和DilatedConv_i表示第i个卷积层，池化层和空洞卷积层。那么模型中的特征提取部分的结构可以简单的用卷积层，池化层和空洞卷积层堆叠表示：

Conv₁->Conv₂->Pool₁->Conv₃->Conv₄->Pool₂->Conv₅->Conv₆->Conv₇->Pool₃->Conv₈->Conv₉->Conv₁₀->Pool₄->Conv₁₁->Conv₁₂->Conv₁₃->Pool₅->Conv₁₄->Conv₁₅->Conv₁₆->Conv₁₇->Conv₁₈->Conv₁₉。

图像每经过一个卷积层和池化层之后都会得到一个4维张量，其中第一维表示训练或推理的批次大小，第二维和第三维表示图像尺寸，第四维表示特征维度。

具体地，可根据以下公式，得到图像特征：

z＝VGG_fp(x，θ_vgg)；

其中，VGG_fp为特征提取网络的前向传播过程，θ_vgg为特征提取网络参数，x表示训练图像，Z为四维张量的图像特征。

根据训练图像x得到得到图像特征Z为通用特征，可以用于通用图像检测，图像检测等任务。

本发明的目的是检测图像中的轨道，考虑到轨道的形状特征：轨道的形状基本类似，属于狭长型带状物体；以及轨道的分布：轨道一般分布在轨面上，并且左右两轨基本是平行关系。因此，本发明采用三个方向(高度方向，宽度方向和维度方向)的信息聚合，以使算法能够自动学习和捕捉车道线这种特殊的形状和分布模式。

具体地，在步骤300中，所述采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征，包括：

步骤301：根据以下公式，分别计算高度方向的信息聚合信息宽度方向的信息聚合信息/>及维度方向的信息聚合信息/>

其中，e表示高度索引，f表示宽度索引，k表示输出维度索引，p表示输入维度索引，Z_e,f,p表示特征图在(e,f,p)处的取值，表示高度方向聚合权重，/>表示宽度方向聚合权重，/>表示维度方向聚合权重；

根据所述高度方向的信息聚合信息宽度方向的信息聚合信息/>及维度方向的信息聚合信息/>确定基于轨道形状和分布特征的融合特征。

可选地，根据以下公式，得到融合特征Z′：

Z′＝Z^H+Z^W+Z^D；

其中，Z^H、Z^W、Z^D分别表示高度、宽度和维度方向上信息聚合得到的特征，和/>分别是特征Z^H、Z^W、Z^D在(e,f,p)处的值。

优选地，本发明面向地铁视觉图像的轨道检测方法还包括：

针对每一训练图像，

对所述训练图像中的轨道进行标注，得到标注图像；

根据所述分类预测模型，预测所述训练图像的各像素点的类别，得到多个分类特图；

采用双线性插值将各分类特征图上采样为与所述训练图像大小尺寸相同，得到采样图像；

基于各标注图像及对应的采样图像，确定网络损失函数；

基于所述网络损失函数，对所述分类预测模型训练，得到训练后的分类预测模型。

考虑到轨道在图像中所占比例非常少，导致在训练检测网络的过程中前景比例与背景比例悬殊，从而会导致网络对轨道部分不敏感，甚至忽略轨道。

基于信息聚合的轨道检测网络采用多类别下的焦点损失函数以缓解前景和背景点样本比例不均衡问题。

具体地，根据以下公式，确定网络损失函数

其中，α_c表示样本比例权重，c表示类别；c＝{b，l，r}，b表示背景，l表示左车道线，r表示右车道线，γ表示样本难度权重；y_m，n，c为网络的预测值，表示在位置为(m，n)的像素点的类别为c的概率值。

当为背景类别时，α_c为0.4；当为左车道线或右车道线类别时，α_c为1。进一步地，在本实施例中，γ取值为0.25。

为了提高样本的多样性，本发明采用随机裁剪，随机缩放，随机翻转和平移对图像进行增广。

采用带有动量的随机梯度下降算法对神经网络进行训练。初始学习率设置为0.001，训练的批大小(Batch Size)设置为4。并根据验证集损失和精度设置及时停止策略，防止过度训练使网络出现过拟合。及时停止策略是指连续5轮训练集的训练结果均使验证集损失上升，且每次上升幅度超过0.1。

如表1所示为本发明、FCN(Fully Convolutional Networks for SemanticSegmentation，全卷积网络，是常用的基于深度学习的分割方法)、VPGNet(VanishingPoint Guided Network for Lane and Road Marking Detection and Recognition，是一种专用车道线检测方法)的测试集上测试对比结果。F1值为(召回率×精度)/(召回率+精度)。其中召回率为正确检出的轨道个数与轨道个数总数的比值，精度为正确检出的轨道个数与所有检出的轨道总数的比值。

表1

	FCN	VPGNet	本发明网络
				F1值	0.76	0.869	0.929

通过表示1所示，相比于传统的计算机视觉轨道检测方法，本发明大大提高了检测精度。

此外，本发明还提供一种面向地铁视觉图像的轨道检测系统，提高轨道图像的检测精度。

如图2所示，本发明面向地铁视觉图像的轨道检测系统包括图像采集单元1、特征提取单元2、信息融合单元3、模型建立单元4及类别预测单元5。

具体地，所述图像采集单元1用于采集地铁场景下的多个轨道图像，作为训练图像；

所述特征提取单元2用于通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

所述信息融合单元3用于采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；

所述模型建立单元4用于根据所述融合特征，建立分类预测模型；

所述类别预测单元5用于根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。

此外，本发明还提供一种面向地铁视觉图像的轨道检测系统，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

采集地铁场景下的多个轨道图像，作为训练图像；

通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；

根据所述融合特征，建立分类预测模型；

根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

采集地铁场景下的多个轨道图像，作为训练图像；

通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；

根据所述融合特征，建立分类预测模型；

根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。

相对于现有技术，本发明面向地铁视觉图像的轨道检测系统、计算机可读存储介质与上述面向地铁视觉图像的轨道检测方法的有益效果相同，在此不再赘述。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种面向地铁视觉图像的轨道检测方法，其特征在于，所述检测方法包括：

采集地铁场景下的多个轨道图像，作为训练图像；

通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；所述采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征，具体包括：

根据以下公式，分别计算高度方向的信息聚合信息宽度方向的信息聚合信息及维度方向的信息聚合信息/>

其中，e表示高度索引，f表示宽度索引，k表示输出维度索引，p表示输入维度索引，Z_e,f,p表示特征图在(e,f,p)处的取值，表示高度方向聚合权重，/>表示宽度方向聚合权重，/>表示维度方向聚合权重；

根据所述高度方向的信息聚合信息宽度方向的信息聚合信息/>及维度方向的信息聚合信息/>确定基于轨道形状和分布特征的融合特征；

根据以下公式，得到融合特征Z′：

Z′＝Z^H+Z^W+Z^D；

其中，Z^H、Z^W、Z^D分别表示高度、宽度和维度方向上信息聚合得到的特征，和/>分别是特征Z^H、Z^W、Z^D在(e,f,p)处的值；

根据所述融合特征，建立分类预测模型；

根据所述分类预测模型，预测待处理轨道图像的各像素点的类别；

针对每一训练图像，

对所述训练图像中的轨道进行标注，得到标注图像；

根据所述分类预测模型，预测所述训练图像的各像素点的类别，得到多个分类特图；

采用双线性插值将各分类特征图上采样为与所述训练图像大小尺寸相同，得到采样图像；

基于各标注图像及对应的采样图像，确定网络损失函数；

所述损失函数为：

其中，α_c表示样本比例权重，c表示类别，c＝{b，l，r}，b表示背景，l表示左车道线，r表示右车道线，γ表示样本难度权重；y_m，n，c为网络的预测值，表示在位置为(m，n)的像素点的类别为c的概率值；

基于所述网络损失函数，对所述分类预测模型训练，得到训练后的分类预测模型。

2.根据权利要求1所述的面向地铁视觉图像的轨道检测方法，其特征在于，所述基于卷积神经网络的特征提取网络为堆叠设置的用卷积层，池化层和空洞卷积层。

3.根据权利要求1所述的面向地铁视觉图像的轨道检测方法，其特征在于，根据以下公式，得到图像特征：

z＝VGG_fp(x,θ_vgg)；

其中，VGG_fp为特征提取网络的前向传播过程，θ_vgg为特征提取网络参数，x表示训练图像，z为四维张量的图像特征。

4.一种面向地铁视觉图像的轨道检测系统，其特征在于，所述检测系统包括：

图像采集单元，用于采集地铁场景下的多个轨道图像，作为训练图像；

特征提取单元，用于通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

信息融合单元，用于采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；所述采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征，具体包括：

根据以下公式，分别计算高度方向的信息聚合信息宽度方向的信息聚合信息及维度方向的信息聚合信息/>

其中，e表示高度索引，f表示宽度索引，k表示输出维度索引，p表示输入维度索引，Z_e,f,p表示特征图在(e,f,p)处的取值，表示高度方向聚合权重，/>表示宽度方向聚合权重，/>表示维度方向聚合权重；

根据所述高度方向的信息聚合信息宽度方向的信息聚合信息/>及维度方向的信息聚合信息/>确定基于轨道形状和分布特征的融合特征；

根据以下公式，得到融合特征Z′：

Z′＝Z^H+Z^W+Z^D；

其中，Z^H、Z^W、Z^D分别表示高度、宽度和维度方向上信息聚合得到的特征，和/>分别是特征Z^H、Z^W、Z^D在(e,f,p)处的值；

模型建立单元，用于根据所述融合特征，建立分类预测模型；

类别预测单元，用于根据所述分类预测模型，预测待处理轨道图像的各像素点的类别。

5.一种面向地铁视觉图像的轨道检测系统，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

采集地铁场景下的多个轨道图像，作为训练图像；

通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；所述采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征，具体包括：

根据以下公式，分别计算高度方向的信息聚合信息宽度方向的信息聚合信息及维度方向的信息聚合信息/>

其中，e表示高度索引，f表示宽度索引，k表示输出维度索引，p表示输入维度索引，Z_e,f,p表示特征图在(e,f,p)处的取值，表示高度方向聚合权重，/>表示宽度方向聚合权重，/>表示维度方向聚合权重；

根据所述高度方向的信息聚合信息宽度方向的信息聚合信息/>及维度方向的信息聚合信息/>确定基于轨道形状和分布特征的融合特征；

根据以下公式，得到融合特征Z′：

Z′＝Z^H+Z^W+Z^D；

其中，Z^H、Z^W、Z^D分别表示高度、宽度和维度方向上信息聚合得到的特征，和/>分别是特征Z^H、Z^W、Z^D在(e,f,p)处的值；

根据所述融合特征，建立分类预测模型；

根据所述分类预测模型，预测待处理轨道图像的各像素点的类别；

针对每一训练图像，

对所述训练图像中的轨道进行标注，得到标注图像；

根据所述分类预测模型，预测所述训练图像的各像素点的类别，得到多个分类特图；

采用双线性插值将各分类特征图上采样为与所述训练图像大小尺寸相同，得到采样图像；

基于各标注图像及对应的采样图像，确定网络损失函数；

所述损失函数为：

其中，α_c表示样本比例权重，c表示类别，c＝{b，l，r}，b表示背景，l表示左车道线，r表示右车道线，γ表示样本难度权重；y_m，n，c为网络的预测值，表示在位置为(m，n)的像素点的类别为c的概率值；

基于所述网络损失函数，对所述分类预测模型训练，得到训练后的分类预测模型。

6.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

采集地铁场景下的多个轨道图像，作为训练图像；

通过基于卷积神经网络的特征提取网络，对所述训练图像进行特征提取，得到对应的图像特征；

采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征；所述采用信息聚合算法，根据所述图像特征，得到基于轨道形状和分布特征的融合特征，具体包括：

根据以下公式，分别计算高度方向的信息聚合信息宽度方向的信息聚合信息及维度方向的信息聚合信息/>

其中，e表示高度索引，f表示宽度索引，k表示输出维度索引，p表示输入维度索引，Z_e,f,p表示特征图在(e,f,p)处的取值，表示高度方向聚合权重，/>表示宽度方向聚合权重，/>表示维度方向聚合权重；

根据所述高度方向的信息聚合信息宽度方向的信息聚合信息/>及维度方向的信息聚合信息/>确定基于轨道形状和分布特征的融合特征；

根据以下公式，得到融合特征Z′：

Z′＝Z^H+Z^W+Z^D；

其中，Z^H、Z^W、Z^D分别表示高度、宽度和维度方向上信息聚合得到的特征，和/>分别是特征Z^H、Z^W、Z^D在(e,f,p)处的值；

根据所述融合特征，建立分类预测模型；

根据所述分类预测模型，预测待处理轨道图像的各像素点的类别；针对每一训练图像，

对所述训练图像中的轨道进行标注，得到标注图像；

根据所述分类预测模型，预测所述训练图像的各像素点的类别，得到多个分类特图；

采用双线性插值将各分类特征图上采样为与所述训练图像大小尺寸相同，得到采样图像；

基于各标注图像及对应的采样图像，确定网络损失函数；

所述损失函数为：

其中，α_c表示样本比例权重，c表示类别，c＝{b，l，r}，b表示背景，l表示左车道线，r表示右车道线，γ表示样本难度权重；y_m，n，c为网络的预测值，表示在位置为(m，n)的像素点的类别为C的概率值；

基于所述网络损失函数，对所述分类预测模型训练，得到训练后的分类预测模型。