CN108764137A - 基于语义分割的车辆行驶车道定位方法 - Google Patents

Abstract

本发明公开一种基于语义分割的车辆行驶车道定位方法，首先获取道路图像后，基于Segnet网络构建双车道语义分割网络，对道路图像进行特征提取，输出道路图像的车道分割掩膜图，判断道路图像上每个像素点属于左车道、右车道或非车道，然后对道路图像中的车辆进行目标检测，获取道路图像上车辆所在位置，最后融合车道分割掩膜图和车辆目标检测结果，判断车辆所在车道。本发明采用编码器—解码器架构网络实现端到端训练双车道语义分割模型，达到检测实时性的要求。

Description

基于语义分割的车辆行驶车道定位方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于语义分割的车辆行驶车道定位方法。

背景技术

视觉感知在车辆辅助驾驶系统的发展中发挥关键作用。在车辆辅助驾驶系统中，利用图像处理和计算机视觉技术，来保证安全的车距和正确的车道，并能对一些异常状况及时做出反应和处理。检测分割出车道和车辆，对车辆行驶的车道进行定位，来辅助车辆驾驶。

传统的车辆行驶车道定位方法，大部分是利用车道线检测来实现的。检测出车道线，根据车道线的位置来定位车辆行驶车道。目前的一些技术方案有：基于Hough变换的车道线检测，利用道路边缘在形态特征上表现为直线形式的特点，；基于阈值分割车道线检测；基于模版匹配的车道线检测，建立模板库，车道模板主要包括实线，虚线，弯曲与直线等不同的车道线模型。对于车道分割，现有的车道语义分割都是将整条道路全部分割出来。

目前常用的基于Hough变换的车道线检测，抗干扰不好，复杂环境可能导致计算量过大；基于阈值分割车道线检测，对判决的阈值要求较高；基于模版匹配的车道线检测，需要找到不同的模板。传统的方法利用车道线检测来实现的，鲁棒性不好，只在特定的环境中效果不错。在车道分割上，现有的方法没有将具体的车道分割出来。如果将道路上多个车道分割出来，就能获取更多的位置信息，来准确的定位车辆行驶的位置。

发明内容

针对现有技术的不足，本发明提供一种基于语义分割的车辆行驶车道定位方法，结合卷积神经网络，针对双车道进行分割，采用编码器—解码器架构网络实现端到端训练双车道语义分割模型，以达到检测实时性的要求。

为实现上述目的，本发明的技术方案是：一种基于语义分割的车辆行驶车道定位方法，包括以下步骤：

步骤S1：获取道路图像；

步骤S2：基于Segnet网络构建双车道语义分割网络，对道路图像进行特征提取，输出道路图像的车道分割掩膜图，判断道路图像上每个像素点属于左车道、右车道或非车道；

步骤S3：对道路图像中的车辆进行目标检测，获取道路图像上车辆所在位置，输出道路图像中车辆的坐标；

步骤S4：融合车道分割掩膜图和车辆目标检测结果，判断车辆所在车道。

进一步地，所述双车道语义分割网络包括：

卷积部分，用于对道路图像进行特征提取，输出多个特征图；

反卷积部分，用于对卷积部分输出的多个特征图进行反卷积，得到与原始道路图像大小一致的特征图；

SoftMax层，用于对反卷积部分输出的特征图中像素进行分类，判断每个像素点属于左车道、右车道或非车道。

进一步地，所述SoftMax层采用SoftMax回归模型，假设类别标签为y，有k个不同的取值，输入X和标签y表示成{(x¹,y¹),(x²,y²),...,(xⁱ,yⁱ)},yⁱ∈{1,2,...,k}，其中，k＝3；

假设对于每一个输入对应每个类别j的概率值P(y＝j|X)，输出是一个k维向量，表示k个估计值，假设函数如公式下所示：

其中，θ₁,θ₂,...,θ_k是模型的参数，对结果进行最大值判断，得到概率最大的类别j，如下公式所示：

表示第i个输入最终分类的结果，取使得概率最大的j。

进一步地，所述卷积部分包括四个卷积层，四个BN层加激活函数ReLU以及四个池化层。

进一步地，所述反卷积部分包括四个上采样层和四个卷积层。

进一步地，所述步骤S4具体包括：根据车道分割掩膜图画出双车道的中线位置，将道路图像中车辆的坐标于中线做比较，得到车辆所属车道的位置。

与现有技术相比，本发明具有有益效果：

(1)本发明本发明采用语义分割的方法，分割出车道，利用分割的结果做车道定位，相较于检测车道线进行车辆定位更方便准确。

(2)双车道语义分割网络比以往神经网络要训练参数更少、速度更快、内存需求更低，每帧图像的执行速度在60ms以内；编码器—解码器网络架构实现多车道语义分割，可以实现端到端训练。

附图说明

图1是本发明一种基于语义分割的车辆行驶车道定位方法的流程示意图；

图2是本发明的双车道语义分割网络的结构示意图；

图3是本发明的反卷积部分的示意图；

图4是本发明一实施例中双车道语义分割结果对比图；

图5是本发明一实施例中车辆定位融合示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，一种基于语义分割的车辆行驶车道定位方法，包括以下步骤：步骤S1：获取道路图像；

步骤S2：基于Segnet网络构建双车道语义分割网络，对道路图像进行特征提取，输出道路图像的车道分割掩膜图，判断道路图像上每个像素点属于左车道、右车道或非车道；

步骤S3：对道路图像中的车辆进行目标检测，获取道路图像上车辆所在位置，输出道路图像中车辆的坐标；

步骤S4：融合车道分割掩膜图和车辆目标检测结果，判断车辆所在车道。

在本实施例中，首先输入图片部分，可以从各种格式的图片进行输入，也可以将视频文件作为输入，视频格式包括：AVI，MPEG，WMV，MKV等。

获取图像后，分别进行两个过程：

1)双车道语义分割网络。基于Segnet网络，设计一种新的编码器—解码器网络架构，训练参数更少、速度更快、内存需求更低，网络总体架构如下图2所示。输入是车载视频中的图像，输出图像的车道分割掩膜图，主要分为对称的两个部分，前半段的卷积部分和后半段的反卷积部分，卷积部分由四个卷积层，四个BN(Batch Normalization)层加激活函数ReLU(Rectifiedlinearunit)以及四个池化层组成，主要作用是对输入图像进行特征提取，最后输出多个特征图，输入反卷积部分；反卷积部分由四个上采样层和四个卷积层组成，对卷积部分的输出图进行反卷积，最后一个卷积层得到的特征图大小将与原始输入图像大小一致，再通过最后的三分类卷积层，得到整幅图像上每个像素点属于左车道、右车道还是非车道情况。

其中反卷积网络，如图3所示。通过在编码部分的池化层做池化操作时额外记录下保留下来的像素点的位置信息，在上采样阶段将保存下的位置信息重新用来分布像素，从而还原到池化前的图像大小，之后再进行卷积操作，使得稀疏图像变回密集图像。

SoftMax层在网络反卷积部分后，将反卷积后得到的特征图输送进最后一层卷积层，该层卷积核大小是1*1，输出特征图个数为2，是为了实现最后的左道路、右道路和非道路的三分类。

引入SoftMax层，对图像像素进行分类，输出左车道、右车道和非车道的预测概率值，通过比较概率值大小确定最终所属类别。SoftMax层采用的是SoftMax回归模型，该模型是逻辑回归在分类问题上的推广，假设类别标签为y，有k个不同的取值，输入X和标签y表示成{(x¹,y¹),(x²,y²),...,(xⁱ,yⁱ)},yⁱ∈{1,2,...,k}，其中k＝3；

假设对于每一个输入对应每个类别j的概率值P(y＝j|X)，输出是一个k维向量，表示k个估计值。假设函数如公式下所示:

其中θ₁,θ₂,...,θ_k是模型的参数。最后得到的每个像素的类别要是确定的，所以还要对上述结果进行最大值判断，并得到概率最大的类别j。如下公式所示。

表示第i个输入最终分类的结果，取使得概率最大的的j。

制作用于双车道语义分割的训练测试数据库进行训练和测试。

2)车辆检测，在1)中语义分割出了车道，获得车辆在图像上的位置，结合双车道分割结果可以知道，车辆属于哪个车道，可以更精确地判断出具体哪个位置有车，对后续车辆的行驶转向都有重要的意义。在本实施例中，采用了YOLO v2检测车道上的车辆，获取图像上车辆所在的位置。YOLO v2的基础网络模型是Darknet-19，包含19个卷积层和5个最大池化层，每个卷积层都使用了batchnormalize来稳定训练，加速收敛和规则化模型。YOLO v2还采用联合训练算法，可以在检测和分类数据上训练目标检测器。利用标记的检测图像来学习精确地定位目标，同时使用分类图像来增加它的鲁棒性。

获得双车道语义分割的Mask(掩膜)图和车辆检测图，结果融合前车检测和车道语义分割结果，获得前车在车道的位置信息，分析车辆位于左车道还是右车道。双车道分割网络输出图片的Mask图，根据Mask图可以画出双车道的中线位置；车辆检测输出图片中车辆的坐标，坐标与Mask的中线做比较，可以得知车辆所属车道的位置。双车道语义分割的结果图如图4所示，车辆定位的结果融合如图5所示。

车辆辅助驾驶中，车道车辆检测分割的准确度和实时性是同等重要的，准确的分割车道和检测前方车辆，同时达到实时性的要求。本发明利用语义分割对输入的车载图像进行道路分割，同时检测车载图像中车辆，然后对车辆行驶的车道进行定位。整个系统分为多车道语义分割和车辆检测两个部分，最后融合结果，分析出车辆所在车道的位置，进行车道定位。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于语义分割的车辆行驶车道定位方法，其特征在于，包括以下步骤：

步骤S1：获取道路图像；

步骤S2：基于Segnet网络构建双车道语义分割网络，对道路图像进行特征提取，输出道路图像的车道分割掩膜图，判断道路图像上每个像素点属于左车道、右车道或非车道；

步骤S3：对道路图像中的车辆进行目标检测，获取道路图像上车辆所在位置，输出道路图像中车辆的坐标；

步骤S4：融合车道分割掩膜图和车辆目标检测结果，判断车辆所在车道。

2.根据权利要求1所述的车辆行驶车道定位方法，其特征在于，所述双车道语义分割网络包括：

卷积部分，用于对道路图像进行特征提取，输出多个特征图；

反卷积部分，用于对卷积部分输出的多个特征图进行反卷积，得到与原始道路图像大小一致的特征图；

SoftMax层，用于对反卷积部分输出的特征图中像素进行分类，判断每个像素点属于左车道、右车道或非车道。

3.根据权利要求2所述的车辆行驶车道定位方法，其特征在于，所述SoftMax层采用SoftMax回归模型，假设类别标签为y，有k个不同的取值，输入X和标签y表示成{(x¹,y¹),(x²,y²),...,(xⁱ,yⁱ)},yⁱ∈{1,2,...,k}，其中，k＝3；

假设对于每一个输入对应每个类别j的概率值P(y＝j|X)，输出是一个k维向量，表示k个估计值，假设函数如公式下所示：

其中，θ₁,θ₂,...,θ_k是模型的参数，对结果进行最大值判断，得到概率最大的类别j，如下公式所示：

表示第i个输入最终分类的结果，取使得概率最大的j。

4.根据权利要求2所述的车辆行驶车道定位方法，其特征在于，所述卷积部分包括四个卷积层，四个BN层加激活函数ReLU以及四个池化层。

5.根据权利要求2所述的车辆行驶车道定位方法，其特征在于，所述反卷积部分包括四个上采样层和四个卷积层。

6.根据权利要求1所述的车辆行驶车道定位方法，其特征在于，所述步骤S4具体包括：根据车道分割掩膜图画出双车道的中线位置，将道路图像中车辆的坐标与中线做比较，得到车辆所属车道的位置。