CN112036231B - 一种基于车载视频的车道线和路面指示标志检测与识别方法 - Google Patents

Abstract

本发明涉及一种基于深度学习等技术的路面车道线和指示标志检测与识别方法，通过对车载视频流分解、视频帧预处理、车道线和路面指示标志特征提取、车道线分割、提取车道中心线、路面指示标志检测与识别和模型压缩，最终实现路面车道线和指示标志检测与识别。采用多任务学习和模型压缩技术，车道线提取和路面指示标志检测与识别模型可以同时取得速度快和精度高的效果，可满足实时检测的性能需求。

Description

一种基于车载视频的车道线和路面指示标志检测与识别方法

技术领域

本发明属于智能交通领域，具体涉及一种基于深度学习等技术的路面车道线和指示标志 检测与识别方法。

背景技术

车道线和路面指示标志检测与识别算法多种多样，可以归纳为基于传统计算机视觉的方 法和基于深度学习的方法，但是每种方法都可以分为预处理、特征提取和后处理三个部分。 在车道线检测过程中，预处理部分一般采用图像增强算子对图像做增强处理，或者使用逆透 视变换将透视图变为俯视图。在车道线特征提取步骤中，传统方法一般采用线特征提取算子 和霍夫变换，来获取初始的车道线，在后处理过程中一般采用多项式拟合或者最小二乘法来 获取最终的车道线；而基于深度学习的方法中采用卷积神经网络来提取车道线特征，并输出 车道线分割结果，最后也是采用多项式拟合得到每条车道线。与车道线类似，路面指示标志 检测与识别方法的预处理大多采用逆透视变换将透视图变为俯视图；传统方法中一般采用 MSER+HOG或FAST算子来提取路面标志的特征，然后采用支持向量机或模板匹配的方法来识 别路面标志；而基于深度学习的方法采用目标检测算法和图像分类算法来直接检测并识别路 面标志。

总体来说现阶段的车道线和路面指示标志检测与识别方法存在识别准确率不高、运行时 间长、不能满足车载实时性的需求等缺点。

发明内容

本发明针对现有技术的不足，提出了一种基于车载视频的车道线和路面指示标志检测与 识别方法，以解决上述背景技术中所存在的问题。

本发明所解决的技术问题采用以下技术方案来实现：获取道路视频数据；

A、对视频帧进行预处理；

B、基于带有自我注意力蒸馏结构的VGG-16网络提取视频帧的车道线和路面指示标志的 特征图；

C、采用Bi-DU结构处理特征图，生成车道线分割图；

D、对车道线分割图做后处理，得到平滑的道路中心线；

E、对特征图进行处理，生成路面指示标志的目标中心点分布概率图、目标边界框和目标 中心点坐标偏移量；

F、采用模型剪枝，压缩模型大小，加快模型运行速度。

进一步地，所述步骤C包括：

C1、修改VGG-16，去除模块5之后的池化层和所有的全连接层；

C2、修改VGG-16，去除模块4之后的池化层；

C3、修改VGG-16，将模块5中所有的卷积层替换为扩张比率为2的带孔卷积；

C4、引入自我注意力蒸馏结构，将模块1-模块5的输出标记为B1-B5，在B3，B4和B5的后面增加注意力图生成函数，来生成注意力图；

C5、训练过程中，在注意力图之间添加L2损失。

更进一步地，所述步骤C中车道线分割模型的损失函数包括3个部分，分别是自我注意 力蒸馏loss、分割图loss和IOU loss，计算公式如下所示；

其中，M＝3表示注意力模块的个数，A_i表示第i个注意力模块的输出；

表示图像中第 i个像素的真实标注类别(0或0-1之间)，而y_i表示预测输出的车道线概率(在0到1之间)； P∩G表示预测的和真实标注的都是车道线区域的像素个数，P∪G表示预测的和真实标注的 所有车道线区域的像素总数再减去P∩G；最终的训练loss为三者的加权和，如下公式所示

loss＝α·sad_loss+β·seg_loss+γ·iou_loss

其中设置β＝1，α＝γ＝0.1。

进一步地，所述步骤D包括：

D1、对于Bi-D模块，初始化两个3x3的卷积核K1和K2；

D2、将宽度为W高为H和通道为C的输入特征图分割成H个切片；

D3、对第一个切片用K1卷积核处理，并作为输出结果；

D4、第i(i>1)个切片的输出结果为第i-1个输出切片经过K2卷积操作再与原始的第 i个切片的K1卷积操作结果相加得到；

D5、重复D4，得到Bi-D结构的输出结果；

D5、对于Bi-U模块与上述原理相同，计算方向相反。

进一步地，所述步骤E包括：

E1、利用CrossMaxPool算法提取每条车道线区域的中心点；

E2、利用DBSCAN聚类算法对分割图中的每条车道线进行区分，得到每条车道线的像 素集合；

E3、并在后处理中去除像素数量小于100的分割像素块；

E4、利用二次多项式对车道线中心点进行拟合，得到平滑的道路中心线。

进一步地，所述步骤F包括：

F1、采用1个3x3的卷积对特征图进行处理；

F2、采用3个1x1的卷积来生成目标分布概率热力图、边界框和目标中心点的偏移值；

F3、采用了一个3x3的最大值池化层对目标分布概率热力图处理，按照自信度的大小取前 100个6元组；

F4、根据6元组，计算得到目标的左上角坐标和右下角坐标。

7、根据权利要求1所述一种基于车载视频的车道线和路面指示标志检测与识别方法，其 特征在于：所述步骤G包括：

G1、对网络模型进行初始化；

G2、修改网络模型的损失函数加入对BN层γ参数的惩罚项并开始训练网络模型；

G3、设定阈值为50％来删减固定比率的通道数；

G4、对剪枝后的网络模型进行微调训练；

G5、保存模型或进行迭代剪枝。

更进一步地，修改后的网络模型的损失函数如下公式所示：

其中，(x,y)表示训练中的输入样本和标签，W表示网络中可训练的权重参数，损失函数 中第一项表示原始网络中的损失函数，第二项为对γ的惩罚项，其中λ为平衡系数。

本发明的优点在于：

采用多任务学习和模型压缩技术，车道线提取和路面指示标志检测与识别模型可以同时 取得速度快和精度高的效果，可满足实时检测的性能需求。

附图说明

图1为本发明的流程图。

图2为本发明的车道线和路面指示标志特征提取网络架构。

图3为本发明的Bi-DU结构。

图4为Bi-D模块的计算流程图。

图5为模型剪枝的流程。

图6为剪枝操作的具体过程。

具体实施方式

为了使本发明的技术手段、创作特征、工作流程、使用方法、达成目的与功效易于了解， 下面进一步阐述本发明。

一种基于车载视频数据的车道线和路面指示标志检测与识别方法，包括以下步骤：

1)车载视频数据获取。

2)对视频数据的帧采样以及预处理，预处理的具体方式如下：

首先，利用OpenCV、NumPy等支持库，读取车载视频数据，将其读取为连续的视频帧。 由于车道线和路面指示标志都是在地面而且在拍摄图像的下部，所以将每一帧图片裁减掉图 像的上1/4部分。

其次，由于阴雨雾霾等不良天气和光照状况会对车载视频成像过程产生影响，导致车道 线和路面指示标志模糊，因此需要增强图像信息，此处采用对比度增强和直方图均衡化克服 色彩和模糊的干扰。

3)车道线和路面指示标志特征提取。

图2为本发明的车道线和路面指示标志特征提取网络架构。

采用VGG-16作为车道线图像分割网络的基础网络，因为车道线在图像中规律比较明显， VGG-16网络可以满足速度和精度的权衡。VGG-16网络结构分为5个模块，一共有16个层包 含参数故命名为VGG-16。其中模块1和模块2各包含两个3x3卷积，模块3-5各包含3个卷 积层，每个模块之间采用最大值池化进行下采样，最后采用3个全连接层来实现图像的分 类。

将VGG-16应用到图像分割网络之前，需要对其进行部分修改，以满足分割网络对特征图 分辨率不能降得太低的需求。首先去除模块5之后的池化层和所有的全连接层；然后再去除 模块4之后的池化层，同时将模块5中的卷积层替换为扩张比率为2的带孔卷积。此时整体 网络的下采样比率为8倍。

在原有的VGG-16网络基础上，引入自我注意力蒸馏结构对网络的学习能力进行优化， 其允许模型从自身学习并改进特征表达能力，同时还不需要任何额外的监督训练。首先将模 块1-模块5的输出标记为B1-B5，然后在B3，B4和B5的后面增加注意力图生成函数，来生 成注意力图。注意力图生成函数的公式如下所示，它将特征图的每个通道取平方和来生成注 意力图。

其中，B_i表示模块i的输出，C表示B_i的通道数。最后在训练时在注意力图之间添加l2loss 来约束他们的值相似。这样前一层的注意力图可以从后续层中学习到有用的上下文信息这里 添加的自我注意力蒸馏结构并没有引入新的参数。且自我注意力蒸馏模块只有在训练过程中 才会被使用到，而在推断过程中会被移除，所以不会对速度带来影响。

4)由特征图生成车道线分割图

为了获得更加完整的车道线分割图，一般会对基础网络提取到的特征图进行一些整合。 这些整合的操作被称之为网络头部。本发明提出了Bi-DU结构来作为车道线分割网络的头部。

图3为本发明的Bi-DU结构，该结构包含两个子模块，分别是由上向下计算的Bi-D和由 下向上计算的Bi-U。图4为Bi-D模块的计算流程图。

下面描述Bi-D模块的计算流程，对于一个宽度为W高为H和通道为C的输入特征图，特 征图首先被分割成H个切片，然后对第一个切片不做处理直接传到输出结果中，第i个切片 的输出结果为第i-1个输出切片经过卷积操作再与原始的第i个切片的卷积结果相加得到。具 体地说，对于一个尺寸为w×1×C×C'的卷积核K₁和K₂，则第i个输出切片X'_i可由如下公式计 算得到。

其中X_i为第i个输入的切片，g,f为ReLU激活函数。所有的切片共享相同的卷积核K₁和K2。Bi-U模块计算原理与Bi-D模块相同，但是顺序相反。首先对第H个切片不做处理直接传到输出结果中，然后其第i个切片的输出结果为第i+1个输出切片经过卷积操作再与原始的 第i个切片的卷积结果相加得到，计算公式如下。

Bi-DU结构在每个模块中有两个共享权重，在整体的参数数量上与DURL结构一样，但是 在计算量上有轻微的降低。这样的改进可以增强网络对上下走向的线状特征的提取能力，有 助于获取更加完整的车道线特征。

车道线分割模型的损失函数包括3个部分，分别是自我注意力蒸馏loss、分割图loss和IOU loss，计算公式如下所示。

其中，M＝3表示注意力模块的个数，A_i表示第i个注意力模块的输出；

表示图像中第 i个像素的真实标注类别(0或0-1之间)，而y_i表示预测输出的车道线概率(在0到1之间)； P∩G表示预测的和真实标注的都是车道线区域的像素个数，P∪G表示预测的和真实标注的 所有车道线区域的像素总数再减去P∩G。最终的训练loss为三者的加权和，如下公式所示

loss＝α·sad_loss+β·seg_loss+γ·iou_loss

其中设置β＝1，α＝γ＝0.1。

5)车道线分割图后处理

通过基础网络和Bi-DU只能得到车道线的分布概率图，后续还要经过后处理才能得到车道 线的中心线。

CrossMaxPool算法用于细化输出的车道线分割图，计算公式如下所示，对于某个像素点， 如果其值是纵向或横向上相邻几个元素的最大值，则保留该值，否则赋为0。

它使得每条车道线只保留了最大概率的点，分离了可能重合的车道线，方便之后的聚类 和多项式拟合。本发明设置m＝n＝5，即相邻元素个数为5。

DBSCAN算法用于将细化的结果分离成独立的车道线，首先选取图像的下3/4部分做 DBSCAN聚类，设置扫描领域大小为10个像素和最少包含的点数为10个。然后按照区域生长法对每条车道线的剩余部分进行扩充，从而实现分离车道线。区域生长法中，将每一行上的候选点分配到与其最接近的车道线聚类中，然后再按照新添加的像素的列坐标的均值来设 定新的起始点。以此类推，直到没有候选点。

多项式拟合负责将车道线上的点拟合得到一条平滑的直线，去除冗余和错误的点。对输 入数据X和对应的标签Y，用一个N次多项式对该数据的分布进行拟合。拟合的任务就是确 定N次多项式的权重W，使得多项式的计算结果和Y的差值的平方和最小。具体计算过程如 下公式所示。

求解线性方程组可得权重参数W，如下公式所示。

W＝(X^TX)^-1X^TY

在得到N次多项式的权重参数之后，再将W和X带入多项式，就可以计算得到拟合之后 的标签值。在车道线拟合过程中，考虑到车道线曲率变换缓慢的因素，本发明采用的是2次 多项式，相当于对车道线进行了平滑处理。

6)由特征图生成路面指示标志检测与识别结果

为了生成路面指示标志检测与识别结果，首先对提取的特征图再增加一些额外的卷积操 作，分别输出路面指示标志的分布概率热力图、每个目标位置上的边界框和边界框中心点的 偏移值。

目标检测网络基于Anchor-Free模式，因为该类模式在精度上和双阶段检测算法相当在速 度上也能满足实时检测的需求。本发明的基础网络采用的是带有自我注意力蒸馏结构的 VGG16网络，这是考虑到之后需要将车道线检测网络和路面指示标志检测与识别网络集成在 一起，所以两者的基础网络保持一致。VGG16模块5输出的特征图分辨率为原图8倍下采大 小，鉴于路面指示标志之间没有重叠且面积一般都较大，就没有将特征图上采样。在特征图 之后，采用1个3x3的卷积对特征图进行处理，使其学习路面指示标志相关的特征，最后采 用3个1x1的卷积来生成目标分布概率热力图(heatmap)、边界框和目标中心点的偏移值。heatmap与边界框的分辨率为原图的8分之1。heatmap上每一个点是一个N维的向量，表示 该点为N类目标中每个类别的概率。边界框输出结果图上的每一个点是一个2维的向量，分 别表示该点上目标的宽和高。偏移值输出结果上的每一个点表示该点上目标的实际中心点与 该像素点的差值。对于一个目标框(x,y,w,h)，8倍下采样之后的坐标为

当预测 结果给出8倍下采样的坐标时，并不能直接计算出原始坐标，这里出现了一个差值，这个差 值就是偏移值。所以网络一共需要给出3组预测结果。

在得到heatmap之后，采用了一个3x3的最大值池化层来实现NMS的效果。计算过程如 下公式所示，对于点p_i,j首先检测该热点的值是否比其周围的八个近邻点(八方位)都大(或者等 于)，如果满足则保留，否则排除，然后按照自信度的大小取前100个这样的点。

其中MaxPool_3×3表示3x3最大值池化操作。此时得到的是100个6元组，则对于其中的第 i个元组(x_i,y_i,w_i,h_i,δx_i,δy_i)的实际边界框的左上角(x_lt,y_lt)和右下角(x_rb,y_rb)坐标计算方式如 下公式所示。

模型训练是采用的损失函数包括三个部分，分别对应heatmap损失、边界框损失和目标 中心偏移损失。对于网络的预测输出

和输入的标注图像Y_xyc，heatmap的计算方法如下公 式所示。

其中α＝2和β＝4参考了Focal loss中的超参数参数设定，N是图像中的关键点数量(即 目标的个数)，用于将所有Y_xyc＝1的损失归一化。

对于网络输出的目标边界框

和目标中心偏移量

边界框损失和偏移损失由以下公式 计算得到。

整体的损失函数为3个损失的和，每个损失都有相应的权重。最终loss的计算如下公式 所示。

loss＝L_k+λ_sizeL_size+λ_offL_off

其中，λ_size＝0.1，λ_off＝0.1。

7)模型压缩

车道线和路面指示标志检测模型压缩采用利用BN层的γ参数进行模型剪枝的方法，该方 法不需要对现有的CNN网络结构进行任何修改。BN层在当前许多网络模型中被当做一种标 准的正则化方法使用，可以达到快速收敛和提高泛化能力的作用。对于输入特征图z_in，BN 层的输出z_out的计算过程如下公式所示。

其中缩放参数γ和平移参数β由反向传播训练更新得到，μ_B和

表示训练批样本B在该 层特征图的均值和方差。因此可以直接用γ来评估通道的重要程度。γ的数值越小，说明该 通道的信息越不重要，也就可以删减掉。为了让更多的γ值趋向于0，在损失函数中增加一项 关于γ的惩罚项。最终网络训练的损失函数如下公式所示。

其中，(x,y)表示训练中的输入样本和标签，W表示网络中可训练的权重参数，损失函数 中第一项表示原始网络中的损失函数。第二项为对γ的惩罚项，其中λ为平衡系数。

图5为模型剪枝的流程，和正常训练模型一样，首先对网络模型进行初始化；然后修改 网络模型的损失函数加入对γ的惩罚项并开始训练网络模型；再通过设定阈值为50％来删减 固定比率的通道数；由于删减了部分通道会导致精度下降，然后对剪枝后的网络模型进行微 调训练；最后可以得到精简后的网络模型，同时还可以对微调后的模型继续进行迭代剪枝， 得到更加精简的模型。

图6为剪枝操作的具体过程。左边为初始训练得到的模型，中间一列是由BN得到的缩放 因子γ，当γ较小时，如图中0.001和0.003，其所对应的通道就会被删减，相当于在前向传 播的计算过程中将这几层跳过，从而得到右边所示的模型，最后再将剪枝后的网络模型进行 微调训练即可。由于直接删除了网络的特征图中的某些通道，与最初的网络相比，剪枝后的 网络模型会有更小的模型尺寸、更快的前向传播速度和更小的内存占用。同时剪枝的过程迭 代2次，这会产生一个更加精简的网络模型。

本发明的保护范围并不限于上述的实施例，显然，本领域的技术人员可以对本发明进行 各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及 其等同技术的范围内，则本发明也意图包含这些改动和变形在内。

Claims (7)

1.一种基于车载视频的车道线和路面指示标志检测与识别方法，其特征在于：该方法步骤包括：

A、获取道路视频数据；

B、对视频帧进行预处理；

C、基于带有自我注意力蒸馏结构的VGG-16网络提取视频帧的车道线和路面指示标志的特征图；

D、采用Bi-DU结构处理特征图，生成车道线分割图，即由上向下计算的Bi-D和由下向上计算的Bi-U，具体过程为：

D1、对于Bi-D模块，初始化两个3x3的卷积核K1和K2；

D2、将宽度为W高为H和通道为C的输入特征图分割成H个切片；

D3、对第一个切片用K1卷积核处理，并作为输出结果；

D4、第i个切片的输出结果为第i-1个输出切片经过K2卷积操作再与原始的第i个切片的K1卷积操作结果相加得到，其中，i>1；

D5、重复D4，得到Bi-D结构的输出结果；

D6、对于Bi-U模块与上述原理相同，计算方向相反，首先对第H个切片不做处理直接传到输出结果中，然后其第i个切片的输出结果为第i+1个输出切片经过卷积操作再与原始的第i个切片的卷积结果相加得到；

E、对车道线分割图做后处理，得到平滑的道路中心线；

F、对特征图进行处理，生成路面指示标志的目标中心点分布概率图、目标边界框和目标中心点坐标偏移量；

G、采用模型剪枝，压缩模型大小，加快模型运行速度。

2.根据权利要求1所述一种基于车载视频的车道线和路面指示标志检测与识别方法，其特征在于：所述步骤C包括：

C1、修改VGG-16，去除模块5之后的池化层和所有的全连接层；

C2、修改VGG-16，去除模块4之后的池化层；

C3、修改VGG-16，将模块5中所有的卷积层替换为扩张比率为2的带孔卷积；

C4、引入自我注意力蒸馏结构，将模块1-模块5的输出标记为B1-B5，在B3，B4和B5的后面增加注意力图生成函数，来生成注意力图；

C5、训练过程中，在注意力图之间添加L2损失。

3.根据权利要求2所述一种基于车载视频的车道线和路面指示标志检测与识别方法，其特征在于：所述步骤C中车道线分割模型的损失函数包括3个部分，分别是自我注意力蒸馏loss、分割图loss和IOU loss，计算公式如下所示；

其中，M＝3表示注意力模块的个数，N为图像中关键点数量，A_i表示第i个注意力模块的输出；

表示图像中第i个像素的真实标注类别，

取值为0或0-1之间，而y_i表示预测输出的车道线概率，y_i取值在0到1之间；P∩G表示预测的和真实标注的都是车道线区域的像素个数，P∪G表示预测的和真实标注的所有车道线区域的像素总数再减去P∩G；最终的训练loss为三者的加权和，如下公式所示

loss＝α·sad_loss+β·seg_loss+γ·iou_loss

其中设置β＝1，α＝γ＝0.1。

4.根据权利要求1所述一种基于车载视频的车道线和路面指示标志检测与识别方法，其特征在于：所述步骤E包括：

E1、利用CrossMaxPool算法提取每条车道线区域的中心点；

E2、利用DBSCAN聚类算法对分割图中的每条车道线进行区分，得到每条车道线的像素集合；

E3、并在后处理中去除像素数量小于100的分割像素块；

E4、利用二次多项式对车道线中心点进行拟合，得到平滑的道路中心线。

5.根据权利要求1所述一种基于车载视频的车道线和路面指示标志检测与识别方法，其特征在于：所述步骤F包括：

F1、采用1个3x3的卷积对特征图进行处理；

F2、采用3个1x1的卷积来生成目标分布概率热力图、边界框和目标中心点的偏移值；

F3、采用了一个3x3的最大值池化层对目标分布概率热力图处理，按照自信度的大小取前100个6元组；

F4、根据6元组，计算得到目标的左上角坐标和右下角坐标。

6.根据权利要求1所述一种基于车载视频的车道线和路面指示标志检测与识别方法，其特征在于：所述步骤G包括：

G1、对网络模型进行初始化；

G2、修改网络模型的损失函数加入对BN层γ参数的惩罚项并开始训练网络模型；

G3、设定阈值为50％来删减固定比率的通道数；

G4、对剪枝后的网络模型进行微调训练；

G5、保存模型或进行迭代剪枝。

7.根据权利要求6所述一种基于车载视频的车道线和路面指示标志检测与识别方法，其特征在于：修改后的网络模型的损失函数如下公式所示：

其中，(x,y)表示训练中的输入样本和标签，W表示网络中可训练的权重参数，损失函数中第一项表示原始网络中的损失函数，第二项为对γ的惩罚项，其中λ为平衡系数。

Images