CN113392812B - 基于深度神经网络的道路车道线检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于深度神经网络的车道线检测方法及系统，所述方法通过编码网络模块对连续图像进行特征提取得到包含车道线语义特征的特征图序列，然后将特征图序列输入到对应的循环卷积网络模块中，通过循环卷积网络模块对特征图序列进行多层循环卷积和时序特征融合，输出特征融合后的语义特征图，最后通过所述解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图。本发明充分地考虑了驾驶场景的连续性，即时间序列上的关联，可以学习到时间先验的关联信息，从而提高网络的稳定性和预测的准确性，还可以将连续图像中前级图像的特征信息用于后级图像，可以减少网络模型的参数和计算复杂度，节约计算资源。

Description

基于深度神经网络的道路车道线检测方法及系统

技术领域

本发明涉及自动驾驶辅助中的车道线检测技术领域，尤其涉及一种基于深度神经网络的道路车道线检测方法及系统。

背景技术

当今社会汽车工业技术与经济水平的飞速发展，使得全世界机动车辆的保有量迅速攀升。汽车的广泛普及给人们的生活带来便利的同时也给人们的生命安全造成了很多问题，如交通拥堵、交通事故、环境污染等。随着车辆交通事故的增多，道路行车安全变得越加重要，汽车的自动驾驶和高级辅助驾驶功能受到了越来越多的关注和研究。在自动驾驶和高级驾驶辅助系统中，基于视觉的车道线检测是自动驾驶和高级驾驶辅助系统中的车道偏移报警系统(LDW)和车道保持系统(LKA)的核心，其主要功能为：可以安全引导自动驾驶车辆行驶到规定的主车道内的正确位置，保障驾驶车辆安全规范行驶。

现有的车道线检测方法主要分为传统图像处理方法和基于深度学习的方法：

(1)基于图像处理的传统方法：早期的车道线检测算法采用经典方法，通过图像预处理、特征提取来提取车道标识。这些特征主要是颜色特征和纹理特征。这些特征通过霍夫变换或卡尔曼滤波器等算法结合，在识别出车道线后采用后处理拟合的方式形成最终的车道线。这些传统的方法具有计算成本低的优点，但它们只能在有限的场景中进行，并且对光照条件、行驶车辆遮挡、道路的磨损状态等非常敏感。因此，当车道线标识出现纹理遮挡或者道路车道标识没有或者因时间久远而褪去时，车道线检测基本上很难通过人工提取特征进行检测，在这些复杂的道路场景情况下，基于图像处理的传统方法很难胜任自动驾驶的车道线检测任务。

(2)基于深度学习的检测方法：随着深度学习的发展，深度学习在图像分类、目标检测和语义分割等计算机视觉任务中表现出了优异的性能，基于神经网络的深度学习方法已成功应用于车道线检测任务中。大多数基于深度学习方法使用卷积神经网络(CNN)提取特征，其主流的方法是基于语义分割，将车道线检测视为一种语义分割任务，其中每个像素被预测为一个类别标签，以表明该像素是否属于图像中的车道标识。这些方法证明了利用CNN可以提取出车道的高级语义特征，可以在一些复杂的道路情况下有效地分割和检测到车道线。通过卷积神经网络等深度学习中的语义分割方法可以扩大感受野，提高对图像中上下文的关联特征信息的提取，这样对于车道线标识出现纹理遮挡或者道路车道标识没有或者因时间久远而褪去时也可以检测出车道线。对于车道线检测方法实际应用来说，算法模型偏向于可在对计算资源有限的嵌入式等设备上运行，且保证模型在速度与精度上更好的平衡。检测方法需要减少网络模型的参数和计算复杂度，以便可以大规模部署到自动驾驶车辆上高效实时运行。而且，由于现有的方法并没有考虑到驾驶道路场景的连续性，即在时间上连续的图像帧具有相关联的先验特性。然而现有的深度学习方法没有考虑到这种时间的先验信息。

针对上述情况。需要一种考虑到驾驶道路场景在时间上连续的图像帧具有相关联的先验特性的车道线检测方法。

发明内容

本发明提供了一种基于深度神经网络的道路车道线检测方法及系统，用以解决车道线检测方法需要减少网络模型的参数和计算复杂度，且考虑驾驶道路场景在时间上连续的图像帧具有相关联的先验特性的技术问题。

为解决上述技术问题，第一方面，本发明提出了一种基于深度神经网络的道路车道线检测方法，包括以下步骤：

获取待识别图像及其前后的N张的连续图像，依时序构成一组连续图像序列；

将所述连续图像序列输入至预先训练好的深度神经网络模型；所述深度神经网络模型包括编码网络模块、探索学习时间先验信息的循环卷积网络模块和解码网络模块；

通过所述编码网络模块对所述连续图像序列中的每一张图像依次进行特征提取，得到包含车道线语义特征的特征图序列；

所述循环卷积网络模块接收来自编码网络模块的特征图序列的循环输入，经过多层循环卷积和时序特征融合，输出特征融合后的语义特征图；

通过所述解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图。

进一步地，所述编码网络模块包括多个卷积层，所述卷积层为VGG11网络去掉全连接层后的卷积层，每个卷积层后均包括有一个非线性激活层。

进一步地，所述编码网络模块包括至少八个卷积层，以及连接于卷积层之间的若干个最大池化层；除最后一个最大池化层外，每经过一个最大池化层，卷积层的卷积核的数量翻倍；以及，每个最大池化层连接于每一个或者两个相连的卷积层之后。

进一步地，所述循环卷积网络模块包括多层循环卷积网络和全局特征融合单元；

将所述连续图像序列中的图像帧按组并行输入所述循环卷积网络模块，每组连续图像序列中的每张图像均对应输入一层循环卷积网络，每层所述循环卷积网络均包括若干个相连的用于提取连续图像序列的图像特征的时序特征融合单元，每个时序特征融合单元接收来自同一层中前一个时序特征融合单元的输出和前一层中对应时序特征融合单元的输出，逐个融合直至最后一层的最后一个时序特征融合单元，输出融合特征作为提取到的连续图像特征；

将提取到的连续图像特征与当前待识别图像特征输入所述全局特征融合单元进行全局特征融合，输出特征融合后的语义特征图。

进一步地，所述每个时序特征融合单元接收来自同一层中前一个时序特征融合单元的输出和前一层中对应时序特征融合单元的输出，逐个融合的步骤包括：

同一层中前一个时序特征融合单元的输出特征图通过一个卷积操作后输出；前一层中对应时序特征融合单元的输出特征图通过另外一个卷积操作后输出；两个特征图的输出进行加法融合，将融合后的特征进行一个融合卷积操作后作为该时序特征融合单元输出的融合特征。

进一步地，所述解码网络模块包括多个卷积层、至少两个上采样模块和softmax模块；所述通过解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图，包括：

将所述语义特征图输入卷积层，输出的特征图进行上采样，上采样输出的特征图再进行一次或多次卷积以及上采样交替操作；将上采样后的语义特征图通过softmax模块进行softmax操作，输出每个车道线的概率图，通过每个车道线的概率图获取车道线的具体位置。

进一步地，将提取到的连续图像特征与当前待识别图像特征输入所述全局特征融合单元进行全局特征融合，包括：

对连续图像序列的每帧图像的关联特征进行各个通道相加，输出单通道特征，将单通道特征图进行空间Softmax操作获取出每个像素特征的权重，对于当前待检测图像的特征进行1x1的卷积操作，卷积输出的特征图乘以权重1.0，将特征图和像素权重矩阵进行逐像素的乘法融合，使融合后的特征图的大小与原来的特征图的大小保持一致。

第二方面，本发明还提供一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述方法的步骤。

第三方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器运行时，使得所述处理器执行第一方面所述方法的步骤。

本发明具有以下有益效果：本发明的基于深度神经网络的车道线检测方法，通过编码网络模块对连续图像进行特征提取得到包含车道线语义特征的特征图序列，然后将特征图序列输入到对应的循环卷积网络模块中，通过循环卷积网络模块对特征图序列进行多层循环卷积和时序特征融合，输出特征融合后的语义特征图，最后通过所述解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图。本发明充分地考虑了驾驶场景的连续性，即时间序列上的关联，可以学习到时间先验的关联信息，从而提高网络的稳定性和预测的准确性，同时在连续驾驶场景的道路环境中进行车道线检测中，可以将连续图像中前级图像的特征信息用于后级图像，从而提取并学习得到连续图像每帧图像的关联信息，减少网络模型的参数和计算复杂度，节约计算资源。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例的深度神经网络模型结构示意图。

图2是本发明优选实施例的深度神经网络模型的编码器网络结构示意图。

图3是本发明优选实施例的深度神经网络模型的循环卷积模块的时序特征融合单元结构示意图。

图4是本发明优选实施例的深度神经网络模型的循环卷积模块的全局特征融合单元结构示意图。

图5是本发明优选实施例的深度神经网络模型的解码器网络结构示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例1，一种基于深度神经网络的道路车道线检测方法。

本实施例提供了一种基于深度神经网络的道路车道线检测方法，包括以下步骤：

获取待识别图像及其前后的N张的连续图像，依时序构成一组连续图像序列；

将连续图像序列输入至预先训练好的深度神经网络模型；深度神经网络模型包括编码网络模块、探索学习时间先验信息的循环卷积网络模块和解码网络模块；

通过编码网络模块对连续图像序列中的每一张图像依次进行特征提取，得到包含车道线语义特征的特征图序列；

循环卷积网络模块接收来自编码网络模块的特征图序列的循环输入，经过多层循环卷积和时序特征融合，输出特征融合后的语义特征图；

通过解码网络模块对语义特征图进行解码，输出车道线位置的预测图。

如附图1所示，深度神经网络模型包含编码网络模块、循环卷积网络模块(RCNM)和解码网络模块这三个模块。编码网络模块主要是输入每一帧图像并提取特征，输出特征图。在本实施例中，编码网络模块采用VGG11网络的卷积层。循环卷积网络模块(RCNM)主要是接收来自编码网络模块的编码特征图的循环输入，经过多层循环卷积输出最后的融合特征。融合的特征经过解码网络模块输出车道线的预测图。

具体地，编码网络模块采用VGG11网络的卷积层，去掉VGG11网络中的全连接层，所有卷积层后面均带有一个非线性激活层Relu，具体结构如附图2所示。首先输入的每一帧彩色图像大小为288×800，将其送入第一层卷积conv_1，conv_1卷积核大小为3×3，卷积核的数量为64个。第一层卷积操作输出的特征图的大小为288×800×64。将第一层卷积输出经过一层最大池化操作，其输出的特征图的大小为144×400×64。将此池化后的特征图输入第二层卷积conv_2，conv_2卷积核大小为3×3，卷积核的数量为128个。第二层卷积操作输出的特征图的大小为144×400×128。将第二层卷积输出经过一层最大池化操作，其输出的特征图的大小为72×200×128。将此池化后的特征图输入第三层卷积conv_3，conv_3卷积核大小为3×3，卷积核的数量为256个。第三层卷积操作输出的特征图的大小为72×200×256。将第三层卷积输出送入第四层卷积操作conv_4，conv_4卷积核大小为3×3，卷积核的数量为256个。第四层卷积操作输出的特征图的大小为72×200×256。将第四层卷积输出经过一层最大池化操作，其输出的特征图的大小为36×100×256。将此池化后的特征图输入第五层卷积conv_5，conv_5卷积核大小为3×3，卷积核的数量为512个。第五层卷积操作输出的特征图的大小为36×100×512。将第五层卷积输出送入第六层卷积操作conv_6，conv_6卷积核大小为3×3，卷积核的数量为512个。第六层卷积操作输出的特征图的大小为36×100×512。将第六层卷积输出经过一层最大池化操作，其输出的特征图的大小为18×50×512。将此池化后的特征图输入第七层卷积conv_7，conv_7卷积核大小为3×3，卷积核的数量为512个。第七层卷积操作输出的特征图的大小为18×50×512。将第七层卷积输出送入第八层卷积操作conv_8，conv_8卷积核大小为3×3，卷积核的数量为512个。第八层卷积操作输出的特征图的大小为18×50×512。此时最后输出特征图的大小为18×50×512。

在本实施例中，将一定数量连续的图像帧[x_1,x_2,…,x_t]输入到上述编码网络模块中，在本实施例中，一次性输入连续图像帧的数量为7，在其它的实施例中，可以输入任意数量的连续图像帧，本实施例选用的数量仅用于对本实施例技术方案的描述，并不能视为对本实施例的技术方案的限制。通过编码网络模块可以编码得到若干连续的特征图[E_1,E_2,…,E_t],将这些特征图序列对应地输入到一个循环卷积网络模块(RCNM)中，循环卷积网络模块(RCNM)包含多层循环卷积网络和全局特征融合单元(GFU)，每层循环卷积网络包括多个时序特征融合单元(SFU)，时序特征融合单元(SFU)的结构如图3所示，每个时序特征融合单元(SFU)接收来自同一层中前一个时序特征融合单元(SFU)的输出和前一层中对应时序特征融合单元(SFU)的输出。对于时序特征融合单元(SFU)的作用就是融合前后特征图的特征，充分利用并学习道路场景的时间先验信息。

具体地，同一层中前一个时序特征融合单元(SFU)的输出特征图通过一个卷积操作后输出，此卷积核大小为1×1，卷积核的数量为512个，此卷积操作输出的特征图的大小为18×50×512。前一层中对应SFU的输出特征图通过另外一个卷积操作后输出，此卷积核大小也为1×1，卷积核的数量为512个，此卷积操作输出的特征图的大小为18×50×512。将这两个输出特征进行加法融合，将融合后的特征进行一个融合卷积操作后输出最后的融合特征，此卷积核大小为3×3，卷积核的数量为512个，此卷积操作输出的特征图的大小为18×50×512。对于每一层循环卷积网络的所有时序特征融合单元(SFU)，这三个卷积核权重共享。对于编码网络模块编码的特征序列输入第一层循环卷积网络，第一层的输出将送入第二层，以此类推。通过多层循环卷积网络特征融合后，最终输出融合特征E。

当通过时序特征融合单元(SFU)提取出的序列特征后，此时需要将连续图像帧的序列特征与待检测的当前图像特征进行全局特征融合，这个融合过程在全局特征融合单元(GFU)进行。具体的全局特征融合单元(GFU)结构如图4，在GFU中将提取到的连续图像特征与当前待检测图像特征进行全局特征融合，具体融合过程为：对于连续图像每帧图像的关联特征进行各个通道相加，输出单通道特征。将单通道特征图进行空间Softmax操作获取出每个像素特征的权重。对于当前待检测图像的特征进行1x1的卷积操作，卷积输出的特征图乘以权重(1.0)，将此特征图和像素权重矩阵进行逐像素的乘法融合，此时融合后的特征图的大小与原来的特征图的大小保持一致，最终的编码特征将送入解码器中。

本实施例中的循环卷积网络模块(RCNM)可以减少网络模型的参数和计算复杂度，主要是通过共享权重的方式来减小网络的参数，对于每一层循环卷积网络来说，其中的三个卷积核将共享参数权重，即对于每一列的时序特征融合单元(SFU)中的对应的卷积操作将使用相同的权重。具体地，此网络结构模块将与传统方式的卷积层进行定量的参数量分析。对于传统卷积层网络，输入编码特征图个数为t，一层卷积需要t×k²×c²个参数,k为卷积核的大小，c为特征图的通道数。对于本发明中的循环卷积网络模块来说，一层循环卷积网络模块需要3×k²×c²个参数。因此，本发明的网络结构模块的参数量和复杂度将是传统卷积层网络的

当t越大时，其比例越低。例如，当t＝12时，本发明的网络结构模块的参数量和复杂度将是传统卷积层网络的0.25倍。因此，本实施例的循环卷积网络模块(RCNM)可以减少网络模型的参数和计算复杂度，节约计算资源。

在本实施例中，融合特征E需要通过解码网络模块进行解码，如附图5所示，解码网络模块主要包含两层卷积、两个上采样模块和softmax模块，在其它实施例中，解码网络模块可以具有任意数量的卷积和采样模块，本实施例的卷积数量与采样模块的数量并不形成对本实施例技术方案的限制。在解码网络模块中，融合特征E输入一层卷积，卷积核大小为1×1，卷积核的数量为128个，此时输出特征图的大小为18×50×128。为了还原特征图大小，这里需要对特征图进行上采样，采用2倍上采样输出特征图的大小为36×100×128。然后将上采样后的特征图输入最后一个卷积层，卷积核大小为1×1，卷积核的数量为5个，此时输出特征图的大小为36×100×5。最后，经过8倍上采样后的特征图的大小为288×800×5，此特征图在进行softmax操作后，整个网络的最后输出为每个车道线的概率图。通过此输出的概率图，可以获取出车道线的具体位置。

本实施例的基于深度神经网络的车道线检测方法，通过编码网络模块对连续图像进行特征提取得到包含车道线语义特征的特征图序列，然后将特征图序列输入到对应的循环卷积网络模块中，通过循环卷积网络模块对特征图序列进行多层循环卷积和时序特征融合，输出特征融合后的语义特征图，最后通过所述解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图。本实施例充分地考虑了驾驶场景的连续性，即时间序列上的关联，可以学习到时间先验的关联信息，从而提高网络的稳定性和预测的准确性，同时在连续驾驶场景的道路环境中进行车道线检测中，可以将连续图像中前级图像的特征信息用于后级图像，可以减少网络模型的参数和计算复杂度，节约计算资源。

实施例2，一种计算机系统。

本实施例提供了一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现实施例1所述基于深度神经网络的道路车道线检测方法的步骤。

实施例3，一种计算机可读存储介质。

本实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序指令，其中，计算机程序指令被处理器运行时，使得处理器执行实施例1所述基于深度神经网络的道路车道线检测方法的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度神经网络的道路车道线检测方法，其特征在于，包括以下步骤：

获取待识别图像及其前后的N张的连续图像，依时序构成一组连续图像序列；

将所述连续图像序列输入至预先训练好的深度神经网络模型；所述深度神经网络模型包括编码网络模块、探索学习时间先验信息的循环卷积网络模块和解码网络模块；

通过所述编码网络模块对所述连续图像序列中的每一张图像依次进行特征提取，得到包含车道线语义特征的特征图序列；

所述循环卷积网络模块接收来自编码网络模块的特征图序列的循环输入，经过多层循环卷积和时序特征融合，输出特征融合后的语义特征图；所述循环卷积网络模块包括多层循环卷积网络和全局特征融合单元；

将所述连续图像序列中的图像帧按组并行输入所述循环卷积网络模块，每组连续图像序列中的每张图像均对应输入一层循环卷积网络，每层所述循环卷积网络均包括若干个相连的用于提取连续图像序列的图像特征的时序特征融合单元，每个时序特征融合单元接收来自同一层中前一个时序特征融合单元的输出和前一层中对应时序特征融合单元与前前层的加法融合特征的输出，逐个融合直至最后一层的最后一个时序特征融合单元，输出融合特征作为提取到的连续图像特征；

将提取到的连续图像特征与当前待识别图像特征输入所述全局特征融合单元进行全局特征融合，输出特征融合后的语义特征图；

通过所述解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图。

2.根据权利要求1所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述编码网络模块包括多个卷积层，所述卷积层为VGG11网络去掉全连接层后的卷积层，每个卷积层后均包括有一个非线性激活层。

3.根据权利要求2所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述编码网络模块包括至少八个卷积层，以及连接于卷积层之间的若干个最大池化层；除最后一个最大池化层外，每经过一个最大池化层，卷积层的卷积核的数量翻倍；以及，每个最大池化层连接于每一个或者两个相连的卷积层之后。

4.根据权利要求1所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述每个时序特征融合单元接收来自同一层中前一个时序特征融合单元的输出和前一层中对应时序特征融合单元与前前层的加法融合特征的输出，逐个融合的步骤包括：

同一层中前一个时序特征融合单元的输出特征图通过一个卷积操作后输出；前一层中对应时序特征融合单元的输出特征图通过另外一个卷积操作后输出；两个特征图的输出进行加法融合，将融合后的特征进行一个融合卷积操作后作为该时序特征融合单元输出的融合特征。

5.根据权利要求1或4所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述解码网络模块包括多个卷积层、至少两个上采样模块和softmax模块；所述通过解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图，包括：

将所述语义特征图输入卷积层，输出的特征图进行上采样，上采样输出的特征图再进行一次或多次卷积以及上采样交替操作；将上采样后的语义特征图通过softmax模块进行softmax操作，输出每个车道线的概率图，通过每个车道线的概率图获取车道线的具体位置。

6.根据权利要求1所述的基于深度神经网络的道路车道线检测方法，其特征在于，将提取到的连续图像特征与当前待识别图像特征输入所述全局特征融合单元进行全局特征融合，包括：

对连续图像序列的每帧图像的关联特征进行各个通道相加，输出单通道特征，将单通道特征图进行空间Softmax操作获取出每个像素特征的权重，对于当前待检测图像的特征进行1x1的卷积操作，卷积输出的特征图乘以权重1.0，将特征图和像素权重矩阵进行逐像素的乘法融合，使融合后的特征图的大小与原来的特征图的大小保持一致。

7.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一所述方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器运行时，使得所述处理器执行权利要求1至6任一项所述方法的步骤。

Images