CN110728178B - 一种基于深度学习的事件相机车道线提取方法 - Google Patents

Abstract

本发明提供的是一种基于深度学习的事件相机车道线提取方法。本发明提出了一种基于结构先验的网络，该网络通过利用全向切片卷积模块能够很好的捕获像素间的空间关系，特别是表现为细长形状的目标的空间关系。为了进一步提高车道线提取的精度，该发明引入了一种基于模特卡罗采样和最小二乘的多项式拟合的后处理方法，对车道线进行拟合，并最终完成车道线提取任务。

Description

一种基于深度学习的事件相机车道线提取方法

技术领域

本发明属于图像处理技术领域，特别涉及基于深度学习的事件相机车道线提取方法。

背景技术

车道线提取是自动驾驶领域里的基础而重要的任务。近年来，先进的车道线提取方法都利用了深度学习模型，这些深度学习的方法通常利用的数据为RGB图像，即普通光学相机图像。然而普通光学图像由于成像机制天然地存在运动模糊，动态范围较小的缺点。为了解决这些问题，该发明引入具有低延时，动态范围高的优点的动态视觉传感器(DVS,一种事件相机)，并构建数据集来进行车道线提取任务。为了在DVS图像上很好的提取车道线，本发明提出了一种基于结构先验的网络。该网络通过利用全向切片卷积模块能够很好的捕获像素间的空间关系，特别是表现为细长形状的目标的空间关系。为了进一步提高车道线提取的精度，该发明引入了一种基于模特卡罗采样和最小二乘的多项式拟合的后处理方法，对车道线进行拟合，并最终完成车道线提取任务。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的事件相机车道线提取方法，该方法能够更好地解决由于普通光学相机在一些恶劣环境(如隧道出入口)成像质量差导致车道线提取困难的问题，提出的基于结构先验的网络能够对DVS图像上的车道线进行高精度提取。

本发明的原理是：将DVS产生的事件流建立图像帧，将图像帧送入神经网络进行语义信息提取。网络的特征提取部分由基网络和全向切片卷积模块组成，基网络通过卷积和池化来进行语义信息的提取，全向切片卷积模块利用了一种多方向的消息传递机制来捕获像素间上下文关系。将网络输出结果进行后处理，得到最终的车道线提取结果。

本发明采用的技术方案是一种基于深度学习的事件相机车道线提取方法，包括以下具体步骤：

步骤1，将DVS产生的事件流建立图像帧；

步骤2，将生成的DVS图像和对应的语义标签送入基于结构先验的网络里进行监督训练：所述基于结构先验的网络包括依次连接的基网络和全向切片卷积模块，其中所述基网络通过卷积和池化来进行语义特征的提取，全向切片卷积模块通过建立像素在图像平面上垂直、水平、对角线、反对角线方向上的空间上下文关系，得到更加精细的车道线结构特征；然后对全向切片卷积模块输出的车道线结构特征进行上采样处理得到和原图像大小相同的概率图，训练过程中采用交叉熵损失函数来使网络的输出和标签的分布尽可能一致；

步骤3，利用训练完成的权重进行前向传播得到基于结构先验的网络的输出，通过对网络输出结果进行模特卡罗采样，然后进行最小二乘多项式拟合，得到最终的车道线检测结果。

进一步的，所述基网络是largeFOV。

进一步的，所述全向切片卷积模块的处理过程如下，

设输入的3D特征张量的大小是C*H*W，其中3D特征张量即基网络的输出，C、H、W分别代表特征的通道数，行数和列数；

(1)通过消息沿着列方向传播构建像素在图像平面行与行之间的空间关系：首先将输入特征分成H切片，那么每一个切片的大小是C*1*W，然后用一个大小为C*1*w的滤波器进行卷积，w是滤波器的宽度；按照从上到下的方向，依次将上一个切片卷积后的结果与当前切片相加，形成新的特征切片组一；按照从下到上的方向，依次将特征切片组一中的上一个切片卷积后的结果与当前切片相加，形成新的特征切片组二，将特征切片组二进行合并操作得到新的特征一；

(2)通过消息沿着行方向传播构建像素在图像平面列与列之间的空间关系：首先将特征一分成W切片，那么每一个切片的大小是C*H*1，然后用一个大小为C*1*h的滤波器进行卷积，h是滤波器的高度；按照从左到右的方向，依次将上一个切片卷积后的结果与当前切片相加，形成新的特征切片组三；按照从右到左的方向，依次将特征切片组三中的上一个切片卷积后的结果与当前切片相加，形成新的特征切片组四，将特征切片组四进行合并操作得到新的特征二；

(3)通过消息沿着行与列的对角线方向传播构建像素在图像平面斜向的空间关系：首先将特征二分成H切片，那么每一个切片的大小是C*1*W，然后用一个大小为C*1*w的滤波器进行卷积；按照从上到下的方向，依次将上一个切片卷积后的结果右移指定像素单位后与当前切片相加，形成新的特征切片组五；按照从下到上的方向，依次将特征组五中的上一个切片卷积后的结果左移指定像素单位后与当前切片相加，形成新的特征切片组六；将新的特征切片组六进行合并操作得到新的特征三；

(4)通过消息沿着行与列的反对角线方向传播构建像素在图像平面斜向的空间关系：首先将特征三分成W切片，那么每一个切片的大小是C*H*1，然后用一个大小为C*h*1的滤波器进行卷积；按照从左到右的方向，依次将上一个切片卷积后的结果上移指定像素单位后与当前切片相加，形成新的特征切片组七；按照从右到左的方向，依次将上一个切片卷积后的结果下移指定像素单位后与当前切片相加，形成新的特征切片组八；将新的特征切片组八进行合并操作得到新的特征四。

与现有技术相比，本发明具有如下优点和有益效果：

(1)将事件相机引入车道线检测领域：利用事件相机动态范围高，低延迟的优点，使得车道线提取任务能够适应更加恶劣的环境。比如隧道进出口(通常强曝光导致普通光学相机成像质量差)

(2)提出了一种基于结构先验的网络：该网络通过利用全向切片卷积模块能够很好的捕获像素间的空间关系，特别是表现为细长形状的目标的空间关系。车道线提取精度优于目前先进水平。

(3)简单有效的后处理方式：利用一种基于模特卡罗采样和最小二乘的多项式拟合的后处理方法，实现快速精确的车道线曲线拟合。

附图说明

图1为DVS事件流和建帧示意图。

图2为DVS图像和可见光图像在隧道出口时成像效果对比，T1～T5分别为不同。

图3为本发明实施例处理流程图。

图4为本发明实施例全向切片卷积模块中，水平的切片卷积流程图(a)和垂直方向上的切片卷积流程图(b)。

图5为本发明实施例全向切片卷积模块中：主对角线的切片卷积流程图(a)和反对角线上的切片卷积流程图(b)。

图6为本发明实施例可视化实验结果对比，其中(a)列为输入图像，(b)列为标签，(c-g)列分别是FCN，DeepLabv3，RefineNet，SCNN算法和本发明算法的实验结果。

图7为本发明实施例通过后处理方法拟合得到的最终车道线提取结果，其中(a)列为标签，(b)列为后处理前本发明方法的输出结果，(c)列为没有利用蒙特卡罗采样直接最小二乘拟合的结果，(d)-(g)列为采样点分别为500，1000，3000，5000拟合的结果。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图对本发明进一步详细说明。

本发明提供一种基于深度学习的事件相机车道线提取方法，包括如下步骤：

步骤1：将DVS产生的事件流建立图像帧，建帧的方法一般是通过将一段时间里的相应的事件累积起来，最终以二进制图像进行表达，如图1所示。

步骤2：将生成的DVS图像和对应的语义标签送入基于结构先验的网络里进行监督训练：所述基于结构先验的网络由基网络和全向切片卷积模块组成，基网络通过卷积和池化来进行语义信息的提取，本实施例采用的基网络是largeFOV，即DeepLab1的编码层；全向切片卷积模块利用了一种多方向的消息传递机制来捕获像素间上下文关系，如图3所示。

设输入的3D特征张量(即基网络的输出)的大小是C*H*W，C、H、W分别代表特征的通道数，行数和列数。

(1)通过消息沿着列方向(上下方向)传播可以构建像素在图像平面行与行之间的空间关系：首先将输入特征分成H切片，那么每一个切片的大小是C*1*W，然后用一个大小为C*1*w的滤波器进行卷积(w是滤波器的宽度)；按照从上到下的方向，依次将上一个切片卷积后的结果与当前切片相加，形成新的特征切片组一(H个C*1*W)。按照从下到上的方向，依次将特征切片组一中的上一个切片卷积后的结果与当前切片相加，形成新的特征切片组二(H个C*1*W)，将特征切片组二进行合并操作得到新的特征一(C*H*W)，如图4(a)所示。

(2)通过消息沿着行方向(左右方向)传播可以构建像素在图像平面列与列之间的空间关系：首先将特征一分成W切片，那么每一个切片的大小是C*H*1，然后用一个大小为C*1*h的滤波器进行卷积(h是滤波器的高度)；按照从左到右的方向，依次将上一个切片卷积后的结果与当前切片相加，形成新的特征切片组三(W个C*H*1)。按照从右到左的方向，依次将特征切片组三中的上一个切片卷积后的结果与当前切片相加，形成新的特征切片组四(W个C*H*1)，将特征切片组四进行合并操作得到新的特征二(C*H*W)，如图4(b)所示。

(3)通过消息沿着行与列的对角线方向传播(左上<->右下)可以构建像素在图像平面斜向的空间关系：首先将特征二分成H切片，那么每一个切片的大小是C*1*W，然后用一个大小为C*1*w的滤波器进行卷积；按照从上到下的方向，依次将上一个切片卷积后的结果右移指定像素单位后与当前切片相加，形成新的特征切片组五(H个C*1*W)；按照从下到上的方向，依次将特征组五中的上一个切片卷积后的结果左移指定像素单位后与当前切片相加，形成新的特征切片组六(H个C*1*W)；将新的特征切片组六进行合并操作得到新的特征三(C*H*W)，如图5(a)所示。

(4)通过消息沿着行与列的反对角线方向传播(右上<->左下)可以构建像素在图像平面斜向的空间关系：首先将特征三分成W切片，那么每一个切片的大小是C*H*1，然后用一个大小为C*h*1的滤波器进行卷积；按照从左到右的方向，依次将上一个切片卷积后的结果上移指定像素单位后与当前切片相加，形成新的特征切片组七(W个C*H*1)；按照从右到左的方向，依次将上一个切片卷积后的结果下移指定像素单位后与当前切片相加，形成新的特征切片组八(W个C*H*1)；将新的特征切片组八进行合并操作得到新的特征四(C*H*W)，如图5(b)所示。

最后对全向切片卷积模块的输出(即新的特征四)进行简单的上采样处理得到和原图像大小相同的概率图，通过交叉熵损失函数来使网络的输出和标签的分布尽可能一致。

步骤3：利用训练完成的权重进行网络的前向传播可以得到结构化网络的输出，将输出结果进行后处理，得到最终的车道线提取结果。通过对网络输出结果进行模特卡罗采样，然后进行最小二乘多项式拟合可以得到最终的车道线检测结果。

在实验过程中，选用一种高分辨率的DVS车道线数据集DET进行试验。实验结果如图6和图7所示，包括对比当前主流的车道线提取算法，图6中，(a)列为输入图像，(b)列为标签，(c-g)列分别是FCN，DeepLabv3，RefineNet，SCNN算法和本发明算法的实验结果，根据图6中分割的车道线对比可知，可以明显看出本发明算法分割的车道线更完整和准确，而其他算法分割出的结果都有明显的缺陷。图7中，(a)列为标签，(b)列为后处理前本发明方法的输出结果，(c)列为没有利用蒙特卡罗采样直接最小二乘拟合的结果，(d)-(g)列为采样点分别为500，1000，3000，5000拟合的结果，由此可知，当采样越多时，曲线拟合越好，采样点足够多时，继续增加采样点，曲线拟合基本不变。

对车道线提取精度的测量，本方法采用的分析指标为：平均交并比(Mean IoU)和平均F1得分(Mean F1)实验结果如表1所示。由车道线提取精度的定量分析和定性分析可知，本方法在DET上的检测精度已经达到行业领先水平。

表1 DET数据集上车道线提取方法的实验结果

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种基于深度学习的事件相机车道线提取方法，其特征在于，包括如下步骤：

步骤1，将DVS产生的事件流建立图像帧；

步骤2，将生成的DVS图像和对应的语义标签送入基于结构先验的网络里进行监督训练：所述基于结构先验的网络包括依次连接的基网络和全向切片卷积模块，其中所述基网络通过卷积和池化来进行语义特征的提取，全向切片卷积模块通过建立像素在图像平面上垂直、水平、对角线、反对角线多种方向上的空间上下文关系，得到更加精细的车道线结构特征；然后对全向切片卷积模块输出的车道线结构特征进行上采样处理得到和原图像大小相同的概率图，训练过程中采用交叉熵损失函数来使网络的输出和标签的分布保持一致；

所述全向切片卷积模块的处理过程如下，

设输入的3D特征张量的大小是C*H*W，其中3D特征张量即基网络的输出，C、H、W分别代表特征的通道数，行数和列数；

(1)通过消息沿着列方向传播构建像素在图像平面行与行之间的空间关系：首先将输入特征分成H切片，那么每一个切片的大小是C*1*W，然后用一个大小为C*1*w的滤波器进行卷积，w是滤波器的宽度；按照从上到下的方向，依次将上一个切片卷积后的结果与当前切片相加，形成新的特征切片组一；按照从下到上的方向，依次将特征切片组一中的上一个切片卷积后的结果与当前切片相加，形成新的特征切片组二，将特征切片组二进行合并操作得到新的特征一；

(2)通过消息沿着行方向传播构建像素在图像平面列与列之间的空间关系：首先将特征一分成W切片，那么每一个切片的大小是C*H*1，然后用一个大小为C*1*h的滤波器进行卷积，h是滤波器的高度；按照从左到右的方向，依次将上一个切片卷积后的结果与当前切片相加，形成新的特征切片组三；按照从右到左的方向，依次将特征切片组三中的上一个切片卷积后的结果与当前切片相加，形成新的特征切片组四，将特征切片组四进行合并操作得到新的特征二；

(3)通过消息沿着行与列的对角线方向传播构建像素在图像平面斜向的空间关系：首先将特征二分成H切片，那么每一个切片的大小是C*1*W，然后用一个大小为C*1*w的滤波器进行卷积；按照从上到下的方向，依次将上一个切片卷积后的结果右移指定像素单位后与当前切片相加，形成新的特征切片组五；按照从下到上的方向，依次将特征组五中的上一个切片卷积后的结果左移指定像素单位后与当前切片相加，形成新的特征切片组六；将新的特征切片组六进行合并操作得到新的特征三；

(4)通过消息沿着行与列的反对角线方向传播构建像素在图像平面斜向的空间关系：首先将特征三分成W切片，那么每一个切片的大小是C*H*1，然后用一个大小为C*h*1的滤波器进行卷积；按照从左到右的方向，依次将上一个切片卷积后的结果上移指定像素单位后与当前切片相加，形成新的特征切片组七；按照从右到左的方向，依次将上一个切片卷积后的结果下移指定像素单位后与当前切片相加，形成新的特征切片组八；将新的特征切片组八进行合并操作得到新的特征四；

步骤3，利用训练完成的权重进行前向传播得到基于结构先验的网络的输出，通过对网络输出结果进行模特卡罗采样，然后进行最小二乘多项式拟合，得到最终的车道线检测结果。

2.如权利要求1所述的一种基于深度学习的事件相机车道线提取方法，其特征在于：所述基网络是largeFOV。

Images