CN117935196A - 基于单目摄像头的车道线检测的方法及系统 - Google Patents

Abstract

本发明提供了一种基于单目摄像头的车道线检测的方法及系统。方法包括：通过单目摄像头获取前方车道的当前帧的原始图像，将原始图像通过裁剪点裁剪得到裁剪图像；分别对原始图像和裁剪图像进行特征提取得到原图特征和裁剪图特征；基于裁剪点对原图特征进行RoiAl ign运算得到区域特征，将裁剪图特征和区域特征进行特征融合得到融合特征；对原图特征和融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量。本发明，融合原始图像和裁剪图像的特征进行远端车道线识别，从而提升了单目摄像头下的远端车道线检测性能。

Description

基于单目摄像头的车道线检测的方法及系统

技术领域

本发明涉及智能汽车领域，具体而言，涉及一种基于单目摄像头的车道线检测的方法及系统。

背景技术

近年来，智能驾驶行业蓬勃发展，市场竞争激烈。对于各车企和供应商而言，他们关注并研究的焦点是成本低廉、性能卓越的智能驾驶解决方案。在这个背景下，单目视觉感知逐渐受到行业认可，市场验证了它在驾驶安全领域的作用。

然而，现有技术存在一些缺点，需要解决。例如，在专利公开号为CN116385463A的专利中公开了传统的图像二值分割处理方法，无法有效区分车道线与非车道线区域，尤其在面对光线和天气等图像特征变化时。在专利公开号为CN116229406A的专利中公开了复杂的Transformer模型结构，对硬件部署要求较高，且需要大量训练数据，相较于传统的CNN模型。在专利公开号为CN115909241A的专利中公开了使用单张前视图像进行车道线检测，但在将原始图像尺寸缩放到模型输入尺寸时，会丢失远处车道线信息，从而导致远处车道线的识别效果下降。在专利公开号为CN116092026A的专利中公开了多帧图像合并检测形式，但要准确投影到同一3D信息空间，需要精确的相机内外参，且增加了3D信息处理的复杂度。

由此可知，现有技术中依然存在单目前视摄像头图像进行车道线识别时，远距离车道线无法准确召回的问题。

发明内容

本发明实施例提供了一种基于单目摄像头的车道线检测的方法及系统。

根据本发明的一个实施例，提供了一种基于单目摄像头的车道线检测的方法，其特征在于，所述方法包括：通过单目摄像头获取前方车道的当前帧的原始图像，将所述原始图像通过裁剪点裁剪得到裁剪图像；分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征；基于裁剪点对所述原图特征进行RoiAlign运算得到区域特征，将所述裁剪图特征和所述区域特征进行特征融合得到融合特征；对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量，所述车道线向量用于聚类检测到的车道线的点是否属于同一条车道线，所述车道线位置信息用于表征车道线的位置，所述预测裁剪点用作下一帧的图像处理。

可选的，在将所述原始图像通过裁剪点裁剪得到裁剪图像中，所述裁剪点为上一帧的图像处理得到的预测裁剪点。

可选的，在初始帧的图像处理中，所述裁剪点为预设点。

可选的，在分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征中，通过卷积网络的卷积层对所述原始图像和所述裁剪图像进行特征提取。

可选的，将所述裁剪图特征和所述区域特征进行特征融合得到融合特征包括：将所述区域特征的尺寸调整到与所述裁剪图特征相一致，再通过通道维度拼接形成所述融合特征。

可选的，对所述原图特征和所述融合特征进行共享特征处理包括：使用共享权重的卷积层对所述原图特征和所述融合特征进行卷积操作。

可选的，对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量包括：对所述原图特征和所述融合特征进行共享特征处理得到原图向量和裁剪图向量，再对所述原图向量和所述裁剪图向量进行特征联合训练得到所述车道线向量。

根据本发明的另一个实施例，提供了一种基于单目摄像头的车道线检测的系统，包括单目摄像头和控制器，其中，所述单目摄像头用于获取前方车道的当前帧的原始图像；所述控制器将所述原始图像通过裁剪点裁剪得到裁剪图像；分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征；基于裁剪点对所述原图特征进行RoiAlign运算得到区域特征，将所述裁剪图特征和所述区域特征进行特征融合得到融合特征；对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量，所述车道线向量用于聚类检测到的车道线的点是否属于同一条车道线，所述车道线位置信息用于表征车道线的位置，所述预测裁剪点用作下一帧的图像处理。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，基于单目摄像头的车道线检测方法来实现车道线的智能识别。首先，通过单目摄像头获取前方车道的当前帧的原始图像。随后利用裁剪点，对原始图像进行裁剪，得到裁剪图像。接下来，分别对原始图像和裁剪图像进行特征提取，得到原图特征和裁剪图特征。为了充分利用裁剪图像中的信息，通过RoiAlign运算基于裁剪点对原图特征进行处理，得到区域特征。然后，将裁剪图特征和区域特征进行特征融合，这一融合特征在后续处理中将有助于改善对远端车道线的识别，弥补由于缩放导致的图像细节丢失的问题。接着，对原图特征和融合特征进行共享特征处理，通过共享权重的卷积层进行卷积操作，得到车道线位置信息、预测裁剪点和车道线向量。车道线位置信息对车道线位置的描述、预测裁剪点对下一帧图像处理车道线向量用于聚类检测到的车道线的点是否属于同一条车道线。本发明，可以对远端车道线识别提升，通过将原图特征与裁剪图特征在感兴趣区域融合，能够改善单帧图像在车道线远端无法召回的问题。裁剪图特征的使用相当于使用长焦镜头获取的图像，使模型具有更好的远端车道线识别能力。本发明技术方案的实现，仅需一个前视摄像头采集模型所需的输入图像，相比多摄像头方案，硬件要求更为简单，无需相机的内外参。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种基于单目摄像头的侧向车道车距测算的方法的流程示意图；

图2是根据本发明实施例的一种基于单目摄像头的侧向车道车距测算的系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

针对现有技术中单目前视摄像头图像进行车道线识别时远距离车道线无法准确召回的问题，本发明通过简单而有效的方法，实现对较远距离车道线的精确检测。这使得模型更易于部署，并且在实际应用中具有更广泛的推广价值。本发明提供了如下实施例：

实施例1

如图1所示，实施例1提供了一种基于单目摄像头的车道线检测的方法，该方法包括：

通过单目摄像头获取前方车道的当前帧的原始图像，将原始图像通过裁剪点裁剪得到裁剪图像；

分别对原始图像和裁剪图像进行特征提取得到原图特征和裁剪图特征；

基于裁剪点对原图特征进行RoiAlign运算得到区域特征，将裁剪图特征和区域特征进行特征融合得到融合特征；

对原图特征和融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量，车道线向量用于聚类检测到的车道线的点是否属于同一条车道线，车道线位置信息用于表征车道线的位置，预测裁剪点用作下一帧的图像处理。

应用实施例1的技术方案，基于单目摄像头的车道线检测方法来实现车道线的智能识别。首先，通过单目摄像头获取前方车道的当前帧的原始图像。随后利用裁剪点，对原始图像进行裁剪，得到裁剪图像。接下来，分别对原始图像和裁剪图像进行特征提取，得到原图特征和裁剪图特征。为了充分利用裁剪图像中的信息，通过RoiAlign运算基于裁剪点对原图特征进行处理，得到区域特征。然后，将裁剪图特征和区域特征进行特征融合，这一融合特征在后续处理中将有助于改善对远端车道线的识别，弥补由于缩放导致的图像细节丢失的问题。接着，对原图特征和融合特征进行共享特征处理，通过共享权重的卷积层进行卷积操作，得到车道线位置信息、预测裁剪点和车道线向量。车道线位置信息对车道线位置的描述、预测裁剪点对下一帧图像处理车道线向量用于聚类检测到的车道线的点是否属于同一条车道线。

实施例1的技术方案，可以对远端车道线识别提升，通过将原图特征与裁剪图特征在感兴趣区域融合，能够改善单帧图像在车道线远端无法召回的问题。裁剪图特征的使用相当于使用长焦镜头获取的图像，使模型具有更好的远端车道线识别能力。实施例1的技术方案的实现，仅需一个前视摄像头采集模型所需的输入图像，相比多摄像头方案，硬件要求更为简单，无需相机的内外参。

优选地在本实施例的技术方案中，卷积模型采用传统的CNN模型，相较于Transformer模型，开发及部署更为便捷。相对于传统阈值分割方法，在抵抗异常场景上性能更为优越。

更为优选的，在将原始图像通过裁剪点裁剪得到裁剪图像中，裁剪点为上一帧的图像处理得到的预测裁剪点。通过在车道线检测方法中采用上一帧图像处理得到的预测裁剪点作为裁剪点的策略，实现了对裁剪区域的智能调整。这一策略有效地利用了上一帧的信息，以动态方式确定裁剪点，使得裁剪图像能够更加准确地聚焦在当前车道的关键区域。由于车道线在连续帧之间通常变化较小，利用上一帧的预测裁剪点作为当前帧的裁剪点，能够在保持连贯性的同时，实现对车道线位置的精准跟踪。通过动态调整裁剪区域，系统能够更好地适应不同道路场景和车道线形状的变化，从而提升了车道线检测的准确性和稳定性。

可选的，在本实施方式的技术方案中，在初始帧的图像处理中，裁剪点为预设点。通过将在初始帧的图像处理中采用预设点作为裁剪点的设计，该车道线检测方法在系统启动时能够迅速建立起对车道线的初始关注区域。预设点的选择，例如设定为图像中心，充分考虑了初始帧图像的全局特征，使得第一帧图像经过模型处理后即得到相应的裁剪区域。通过在初始帧中采用预设点作为裁剪点，有效减少了系统的启动时间，提高了车道线检测系统的实时性。

可选的，在实施例1的技术方案中，在分别对原始图像和裁剪图像进行特征提取得到原图特征和裁剪图特征中，通过卷积网络的卷积层对原始图像和裁剪图像进行特征提取。通过在车道线检测方法中采用卷积网络的卷积层对原始图像和裁剪图像进行特征提取，该方法有效地捕捉了图像中丰富的特征信息，为后续处理步骤提供了高维度、有意义的表征。通过采用卷积网络进行特征提取，算法能够自动学习到图像中的抽象特征，无需手工设计特征提取方法，从而增强了算法的通用性和适应性。

需要说明的是，本实施例主要采用的是CNN卷积神经网络，CNN是一种专门设计用于处理具有网格结构数据，如图像和视频的深度学习模型。其主要特点是引入了卷积层，通过卷积操作有效捕捉图像中的局部特征。CNN包括卷积层、池化层和全连接层。实施例1的技术方案，就是利用卷积层，通过卷积操作学习图像中的特征，通过共享权重和局部连接减少参数数量，提高模型的计算效率。本发明对于CNN卷积神经网络的特别应用主要体现在通过裁剪图像和裁剪图特征改善单帧图像在车道线远端无法召回的问题。

除此之外，实施例1的技术方案还可以采用Resnet、VGG、Darknet等卷积网络，原始图像经过卷积网络处理之后，即可进行相应的特征提取。

ResNet是一种深度神经网络架构，以其独特的残差学习结构而著称。通过引入残差块，ResNet成功地解决了深度神经网络训练中的梯度消失和梯度爆炸问题。每个残差块包含了跳跃连接，使得网络能够直接学习残差，从而更轻松地训练非常深的网络。ResNet在图像分类、目标检测等任务中取得了显著的性能提升。

VGG是一种简单而经典的卷积神经网络结构，其主要特点是采用了小卷积核和深层网络结构。VGG网络的设计思想是使用3x3的小卷积核进行卷积，使得网络更深时依然能够保持相对简单和均匀的结构。VGG的网络深度和卷积核的设计使其在图像分类等任务中表现出色，并且易于理解和实现。

Darknet是用于目标检测和神经网络训练的开源深度学习框架。与其他框架相比，Darknet的特点是轻量、快速，并且适用于嵌入式设备。Darknet支持多种神经网络结构，包括Yolo(You Only Look Once)系列，这使得它在实时目标检测方面非常强大。其架构注重速度和效率，使其成为许多实时计算机视觉应用的选择。

可选的，在实施例1的技术方案中，将裁剪图特征和区域特征进行特征融合得到融合特征包括：将区域特征的尺寸调整到与裁剪图特征相一致，再通过通道维度拼接形成融合特征。首先，通过将区域特征的尺寸调整到与裁剪图特征相一致，解决了尺寸不匹配的问题，确保两者在后续处理中能够进行有意义的融合通过通道维度的拼接，将两者的特征在通道维度上进行整合。这种融合方式使得融合特征既包含了裁剪图特征的局部详细信息，也包含了区域特征的全局上下文信息，实现了对车道线特征的全方位覆盖。

可选的，在实施例1的技术方案中，对原图特征和融合特征进行共享特征处理包括：使用共享权重的卷积层对原图特征和融合特征进行卷积操作。使用共享权重的卷积层对原图特征和融合特征进行卷积操作，有效地将两者的信息进行融合，从而更全面、更准确地表示车道线的位置和形状。共享权重的设计使得原图特征和融合特征能够通过卷积操作进行交互，有助于保留原图特征的细节信息同时融入融合特征的全局上下文信息。共享特征处理消除了两种特征之间的冗余，减少了模型参数的数量，提高了模型的计算效率和推理速度。通过共享特征处理的方式，车道线检测系统不仅能够更好地适应不同场景和光照条件下的变化，还能够在保持高精度的同时实现更高效的运行。

在实施例1的技术方案中，对原图特征和融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量包括：对原图特征和融合特征进行共享特征处理得到原图向量和裁剪图向量，再对原图向量和裁剪图向量进行特征联合训练得到车道线向量。通过对原图向量和裁剪图向量进行特征联合训练，确保不论图像大小，其对应的同一条车道线在向量表示上具有一致性。这避免了在单独推理大图和小图时，车道线特征不具有同一分布的问题，从而简化了对不同尺寸图像的处理。

此外，车道线位置信息，车道线位置信息通过X、Y两个方向单独构建，保证了对不同倾斜方向的车道线的召回。倾斜角度越竖直的车道线，其在X方向也就是横向变化越明显，也即更适合使用X方向梯度编码，同理，倾斜角度越水平的车道线，其Y也就是竖向变化越明显，也更适合使用Y方向梯度编码。这样，提高了车道线关键点的整体召回率，对倾斜角度越大的车道线，在对应方向的梯度变化越明显，从而提升检测效果。

实施例1的技术方案，可以通过下述具体操作进行：

假设原始图像尺寸是(H,W,3)，裁剪点是(x,y)形式的坐标点，那么很容易得到通过裁剪点形成的裁剪框是(h,w)，据此裁剪框得到的裁剪图像是(h,w,3)。由于裁剪图像经过裁剪后，裁剪图像的尺寸和原始图像的尺寸有了差异，需要将裁剪图像和原始图像调整统一尺寸至(320，320，3)，统一尺寸是为了将其能够输入到同一个特征提取网络进行特征提取。

特征提取网络可以假定成resnet18，其输入接收原始图像(320，320，3)和裁剪图像(320，320，3)，输出提取后的原图特征(320//n,320//n,C)，裁剪图特征(320//n,320//n,C)，n代表特征提取网络下采样倍数，C代表输出特征图的通道数。关于rsnet18网络特征提取可以参考公开信息，此提取手段为常规提取手段，在此处不再赘述。

裁剪点是一个像素坐标点(x,y)，以此点为中心，我们可以外扩成一个高度为H像素，宽度为W像素的矩形区域，该矩形区域构成裁剪框，在“基于裁剪点对原图特征进行RoiAlign运算得到区域特征”步骤中，基于该裁剪框就能得到需要的RoiAlign的区域。将此区域的内容截取出来再进行特征提取，就能得到相应的区域特征。针对原图特征(320//n,320//n,C)，通过裁剪点的得到的裁剪框映射进行RoiAlign运算得到区域特征，此时区域特征的大小明显小于裁剪图特征，所以要对区域特征进行调整统一尺寸至(320//n,320//n)才能够与裁剪图特征(320//n,320//n,C)进行特征融合。

特征融合可以采用concat+卷积的形式。concat后的裁剪图特征尺寸即是(320//n,320//n,C+C)，通过卷积将其通道数降为C，这样可以与原图特征(320//n,320//n,C)输入同样是卷积网络的共享特征处理模块。

最后经过共享特征处理模块，得到车道线位置信息、预测裁剪点、原图向量和裁剪图向量，再对所述原图向量和所述裁剪图向量进行特征联合训练得到车道线向量。车道线向量用于聚类检测到的车道线的点是否属于同一条车道线，比如有些点的特征值是(1，1，1)有些点的特征值是(2，2，2)，有些点的特征值是(5，5，5)，那很明显(1，1，1)的点与(2，2，2)的点距离更近，更有可能是同一条线上的点。

发明实施例1的技术方案，具有如下优点：

1.通过将原图特征与裁剪图特征在感兴趣区域融合，能够将大图因缩放图像尺寸丢失的远处车道线信息补偿回来，从而改善了单帧图像在车道线远端无法召回的问题。通过裁剪图像，仿造出类似一个长焦镜头获取的图像，将裁剪图像缩放到模型输入尺寸时能够保持图像细节，在将得到的裁剪图特征与原图特征融合后，模型就具有远端车道线识别能力。

2.融合特征经过共享特征处理得到裁剪图向量，原图特征经过共享特征处理得到原图向量，所述原图向量和所述裁剪图向量进行特征联合训练得到车道线向量,保证不论大小图像其对应的同条车道线具有一致性。如果不进行联合训练，单独推理大图(原图)与小图(裁剪图)所得到的车道线特征，即使其属于同一条车道线，在向量表示上也不具有同一分布，仍然需要单独进行每张图片的线重合区域计算，才能将大图小图结果结合起来。

3.只需要一个前视摄像头既可用来采集模型所需要的输入图像，相比较多摄像头方案，硬件要求比较简单，也不需要相机的内外参。模型采用传统的CNN模型，相比较Transformer模型，开发及部署上更容易。相比较传统阈值分割，在抵抗异常场景上性能更优。

实施例2

在本实施例中还提供了一种基于单目摄像头的车道线检测的系统，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

一种基于单目摄像头的车道线检测的系统包括单目摄像头和控制器，其中，所述单目摄像头用于获取前方车道的当前帧的原始图像；所述控制器将所述原始图像通过裁剪点裁剪得到裁剪图像；分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征；基于裁剪点对所述原图特征进行RoiAlign运算得到区域特征，将所述裁剪图特征和所述区域特征进行特征融合得到融合特征；对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量，所述车道线向量用于聚类检测到的车道线的点是否属于同一条车道线，所述车道线位置信息用于表征车道线的位置，所述预测裁剪点用作下一帧的图像处理。

实施例2的技术方案，可以对远端车道线识别提升，通过将原图特征与裁剪图特征在感兴趣区域融合，能够改善单帧图像在车道线远端无法召回的问题。裁剪图特征的使用相当于使用长焦镜头获取的图像，使模型具有更好的远端车道线识别能力。实施例2的技术方案的实现，仅需一个前视摄像头采集模型所需的输入图像，相比多摄像头方案，硬件要求更为简单，无需相机的内外参。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

通过单目摄像头获取前方车道的当前帧的原始图像，将原始图像通过裁剪点裁剪得到裁剪图像；

分别对原始图像和裁剪图像进行特征提取得到原图特征和裁剪图特征；

基于裁剪点对原图特征进行RoiAlign运算得到区域特征，将裁剪图特征和区域特征进行特征融合得到融合特征；

对原图特征和融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量，车道线向量用于聚类检测到的车道线的点是否属于同一条车道线，车道线位置信息用于表征车道线的位置，预测裁剪点用作下一帧的图像处理。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

实施例4

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

通过单目摄像头获取前方车道的当前帧的原始图像，将原始图像通过裁剪点裁剪得到裁剪图像；

分别对原始图像和裁剪图像进行特征提取得到原图特征和裁剪图特征；

基于裁剪点对原图特征进行RoiAlign运算得到区域特征，将裁剪图特征和区域特征进行特征融合得到融合特征；

对原图特征和融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量，车道线向量用于聚类检测到的车道线的点是否属于同一条车道线，车道线位置信息用于表征车道线的位置，预测裁剪点用作下一帧的图像处理。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于单目摄像头的车道线检测的方法，其特征在于，所述方法包括：

通过单目摄像头获取前方车道的当前帧的原始图像，将所述原始图像通过裁剪点裁剪得到裁剪图像；

分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征；

基于裁剪点对所述原图特征进行RoiAlign运算得到区域特征，将所述裁剪图特征和所述区域特征进行特征融合得到融合特征；

对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量，所述车道线向量用于聚类检测到的车道线的点是否属于同一条车道线，所述车道线位置信息用于表征车道线的位置，所述预测裁剪点用作下一帧的图像处理。

2.根据权利要求1所述的方法，其特征在于，在将所述原始图像通过裁剪点裁剪得到裁剪图像中，所述裁剪点为上一帧的图像处理得到的预测裁剪点。

3.根据权利要求2所述的方法，其特征在于，在初始帧的图像处理中，所述裁剪点为预设点。

4.根据权利要求1所述的方法，其特征在于，在分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征中，通过卷积网络的卷积层对所述原始图像和所述裁剪图像进行特征提取。

5.根据权利要求1所述的方法，其特征在于，将所述裁剪图特征和所述区域特征进行特征融合得到融合特征包括：将所述区域特征的尺寸调整到与所述裁剪图特征相一致，再通过通道维度拼接形成所述融合特征。

6.根据权利要求1所述的方法，其特征在于，对所述原图特征和所述融合特征进行共享特征处理包括：使用共享权重的卷积层对所述原图特征和所述融合特征进行卷积操作。

7.根据权利要求1所述的方法，其特征在于，对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量包括：对所述原图特征和所述融合特征进行共享特征处理得到原图向量和裁剪图向量，再对所述原图向量和所述裁剪图向量进行特征联合训练得到所述车道线向量。

8.一种基于单目摄像头的车道线检测的系统，其特征在于，包括单目摄像头和控制器，其中，

所述单目摄像头用于获取前方车道的当前帧的原始图像；

所述控制器将所述原始图像通过裁剪点裁剪得到裁剪图像；分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征；基于裁剪点对所述原图特征进行RoiAlign运算得到区域特征，将所述裁剪图特征和所述区域特征进行特征融合得到融合特征；对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量，所述车道线向量用于聚类检测到的车道线的点是否属于同一条车道线，所述车道线位置信息用于表征车道线的位置，所述预测裁剪点用作下一帧的图像处理。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7任一项中所述的方法。