CN112241963A - 基于车载视频的车道线识别方法、系统和电子设备 - Google Patents

Abstract

本申请公开了一种基于车载视频的车道线识别方法、系统和电子设备。所述识别方法，包括：获取车载视频中的预定图像帧；将所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像；将所述多个检测用图像输入卷积神经网络以获得第一特征图；从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图，N是大于一且小于等于三的整数；融合所述第一特征图和所述第二特征图以获得检测特征图；以及，基于所述检测特征图获得所述预定图像帧中的车道线的识别结果。这样基于车载摄像头在车辆上的物理位置，将车载视频中的车道线的识别转换为图像所划分成的子图像中的边缘检测，以提高识别精度。

Description

基于车载视频的车道线识别方法、系统和电子设备

技术领域

本申请涉及人工智能技术领域，且更为具体地，涉及一种基于车载视频的车道线识别方法、系统和电子设备。

背景技术

“智慧城市”将信息技术与先进的城市经营服务理念进行有效融合，通过对城市的地理、资源、环境、经济等进行数字网络化管理，为城市提供更便捷、高效、灵活的公共管理的创新服务模式。

自动驾驶是智慧城市的重要组成部分。在自动驾驶应用中，车道线的检测是其中一个比较重要的部分。现行的一种做法是将车道线作为图像中的特定对象进行检测，例如，通过图像的语义分割来确定图像像素中车道线的语义含义，并进一步进行是否为车道线的分类。

然而，由于车道线在图像中特征并不明显，但车道线位置检测的精度需求又较高，导致现有的基于图像语义分割技术的方案难以满足应用需求。

因此，需要一种优化的车道线检测方案来满足应用需求。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于车载视频的车道线识别方法、系统和电子设备，其基于车载摄像头在车辆上的物理位置，将车载视频中的车道线的识别转换为图像所划分成的子图像中的边缘检测，以提高识别精度。

根据本申请的一个方面，提供了一种基于车载视频的车道线识别方法，其包括：

获取车载视频中的预定图像帧；

将所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像；

将所述多个检测用图像输入卷积神经网络以获得第一特征图；

从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图，N是大于一且小于等于三的整数；

融合所述第一特征图和所述第二特征图以获得检测特征图；以及

基于所述检测特征图获得所述预定图像帧中的车道线的识别结果。

在上述基于车载视频的车道线识别方法中，获取车载视频中的预定图像帧，包括：从车辆的前置摄像头或者后置摄像头获取车载视频；以及，从所述车载视频截取所述预定图像帧。

在上述基于车载视频的车道线识别方法中，所述识别方法，进一步包括：获取所述车载视频中的所述预定图像帧的后续一个或多个图像帧；确定所述后续一个或多个图像帧与所述预定图像帧的位置关系；以及，基于所述位置关系，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移预定像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

在上述基于车载视频的车道线识别方法中，确定所述后续一个或多个图像帧与所述预定图像帧的位置关系，包括：计算所述后续一个或多个图像帧与所述预定图像帧的差分图像；以及，基于所述差分图像通过图像处理确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

在上述基于车载视频的车道线识别方法中，确定所述后续一个或多个图像帧与所述预定图像帧的位置关系，包括：获取车辆的运动参数；以及，基于所述运动参数确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

在上述基于车载视频的车道线识别方法中，基于所述位置关系，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移预定像素以获得所述后续一个或多个图像帧中的车道线的识别结果，包括：基于所述位置关系，确定所述后续一个或多个图像帧中的车道线相对于所述预定图像帧内的识别出的车道线的平移的像素的预定数目；以及，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移所述预定数目的像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

在上述基于车载视频的车道线识别方法中，将所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像，包括：将所述两个第一图像沿所述第一图像的宽度方向压缩为与所述第二图像相同的宽度，或者将所述三个第二图像沿所述第二图像的宽度方向拉伸为与所述第一图像相同的宽度，以获得所述多个检测用图像。

在上述基于车载视频的车道线识别方法中，融合所述第一特征图和所述第二特征图以获得检测特征图，包括：将所述第一特征图沿所述第一特征图的宽度方向进行下采样为与所述第二特征图相同的宽度，或者将所述第二特征图沿所述第二特征图的宽度方向进行上采样为与所述第一特征图相同的宽度；以及，融合所述相同宽度的第一特征图和所述第二特征图以获得所述检测特征图。

根据本申请的又一方面，提供了一种基于车载视频的车道线识别系统，其包括：

图像帧获取单元，用于获取车载视频中的预定图像帧；

纵向划分单元，用于将所述图像帧获取单元获得的所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像；

第一特征图生成单元，用于将所述纵向划分单元获得的所述多个检测用图像输入卷积神经网络以获得第一特征图；

第二特征图生成单元，用于从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图，N是大于一且小于等于三的整数；

特征图融合单元，用于融合所述第一特征图生成单元获得的所述第一特征图和所述第二特征图生成单元获得的所述第二特征图以获得检测特征图；以及

识别结果生成单元，用于基于所述特征图融合单元获得的所述检测特征图获得所述预定图像帧中的车道线的识别结果。

在上述基于车载视频的车道线识别系统中，所述图像帧获取单元，进一步用于：从车辆的前置摄像头或者后置摄像头获取车载视频；以及，从所述车载视频截取所述预定图像帧。

在上述基于车载视频的车道线识别系统中，所述图像帧获取单元，进一步用于获取所述车载视频中的所述预定图像帧的后续一个或多个图像帧；所述识别系统，进一步包括：位置关系确定单元，用于确定所述后续一个或多个图像帧与所述预定图像帧的位置关系；

所述识别结果生成单元，进一步用于基于所述位置关系，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移预定像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

在上述基于车载视频的车道线识别系统中，所述位置关系确定单元，进一步用于：计算所述后续一个或多个图像帧与所述预定图像帧的差分图像；以及，基于所述差分图像通过图像处理确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

在上述基于车载视频的车道线识别系统中，所述位置关系确定单元，进一步用于：获取车辆的运动参数；以及，基于所述运动参数确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

在上述基于车载视频的车道线识别系统中，所述识别结果生成单元，进一步用于：基于所述位置关系，确定所述后续一个或多个图像帧中的车道线相对于所述预定图像帧内的识别出的车道线的平移的像素的预定数目；以及，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移所述预定数目的像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

在上述基于车载视频的车道线识别系统中，所述纵向划分单元，进一步用于：将所述两个第一图像沿所述第一图像的宽度方向压缩为与所述第二图像相同的宽度，或者将所述三个第二图像沿所述第二图像的宽度方向拉伸为与所述第一图像相同的宽度，以获得所述多个检测用图像。

在上述基于车载视频的车道线识别系统中，所述特征图融合单元，进一步用于：将所述第一特征图沿所述第一特征图的宽度方向进行下采样为与所述第二特征图相同的宽度，或者将所述第二特征图沿所述第二特征图的宽度方向进行上采样为与所述第一特征图相同的宽度；以及，融合所述相同宽度的第一特征图和所述第二特征图以获得所述检测特征图。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于车载视频的车道线识别方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于车载视频的车道线识别方法。

与现有技术相比，本申请提供的基于车载视频的车道线识别方法、系统和电子设备，其基于车载摄像头在车辆上的物理位置，将车载视频中的车道线的识别转换为图像所划分成的子图像中的边缘检测，以提高识别精度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的基于车载视频的车道线识别方法的应用场景图。

图2图示了根据本申请实施例的基于车载视频的车道线识别方法的流程图。

图3图示了根据本申请实施例的基于车载视频的车道线识别方法的架构示意图。

图4图示了根据本申请实施例的基于车载视频的车道线识别方法的另一流程图。

图5图示了根据本申请实施例的基于车载视频的车道线识别系统的框图。

图6图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前所述，在自动驾驶应用中，车道线的检测是其中一个比较重要的部分。现行的一种做法是将车道线作为图像中的特定对象进行检测，例如，通过图像的语义分割来确定图像像素中车道线的语义含义，并进一步进行是否为车道线的分类。

然而，由于车道线在图像中特征并不明显，但车道线位置检测的精度需求又较高，导致现有的基于图像语义分割技术的方案难以满足应用需求。

经研究，本申请发明人注意到：在实际的自动驾驶环境下，车道线是从车载视频的图像帧中识别，并且在车辆上的车载摄像头的安装方面来看，车载摄像头均位于车辆上的固定位置，尤其是拍摄车辆前方和后方视频的车载摄像头，均位于车辆的中间位置，并且其所拍摄的道路图像也与车载摄像头本身的位置具有关联。

更具体地，由于在大多数的驾驶情况下，车辆均在车道内的大致固定的位置行驶，且车载摄像头也位于车辆的中间的固定位置上，车道线在车载摄像头所捕获的图像中，位置也处于基本上固定的位置。例如，如果图像内包含两条车道，则车道线应该在图像的两个边缘和中间位置，而如果图像内包含三条车道，则车道线应该在图像的两个边缘和左右各三分之一的位置。因此，在本申请中，将车载视频中的车道线的识别转换为图像所划分成的子图像中的边缘检测。

相应地，对于所获取的车载视频中的预定图像帧，将其以纵向分别划分为两个第一图像和三个第二图像，从而使得第一图像或者第二图像的边缘尽可能包含车道线，也就是，车道线与第一图像或者第二图像的边缘重合。然后，利用卷积神经网络的浅层能够提取出图像中的边缘、角落等形状特征的特点，从所述第一图像和第二图像组成的检测用图像获得第二特征图，以提取出第一图像和第二图像的边缘特征，以用于相对应的车道线检测。

同时，为了适应图像中的其它对象和情况，例如天空背景、其它车辆或者障碍物等对车道线的遮挡等，同时基于第一图像和第二图像组成的检测用图像获得包含全面特征的第一特征图，再通过融合第一特征图和第二特征图来获得用于检测车道线的检测特征图。

这样，由于检测特征图融合了包含全面特征的第一特征图和包含第一图像和第二图像的边缘特征的第二特征图，可以提高车道线的检测性能。并且，由于在本申请中，车道线的检测不需要基于语义分割粒度的高精度结果，可以直接采用车载视频来进行车道线的检测，从而可以提高应用的实时性。

基于此，本申请提出了一种基于车载视频的车道线识别方法，其包括：获取车载视频中的预定图像帧；将所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像；将所述多个检测用图像输入卷积神经网络以获得第一特征图；从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图，N是大于一且小于等于三的整数；融合所述第一特征图和所述第二特征图以获得检测特征图；以及，基于所述检测特征图获得所述预定图像帧中的车道线的识别结果。

图1图示了根据本申请实施例的基于车载视频的车道线识别方法的应用场景图。

如图1所示，在该应用场景中，通过部署于车辆(例如，如图1中所示意的V)的车载摄像头(例如，如图1中所示意的C)采集包含车道线的车载视频；然后，将所述车载视频输入至部署有基于车载视频的车道线识别算法的服务器中(例如，如图1中所示意的S)，其中，所述服务器能够使用基于车载视频的车道线识别算法对所述车载视频进行处理，以生成所述车载视频中车道线的识别结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了根据本申请实施例的基于车载视频的车道线识别方法的流程图。如图2所示，根据本申请实施例的基于车载视频的车道线识别方法，包括：S110，获取车载视频中的预定图像帧；S120，将所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像；S130，将所述多个检测用图像输入卷积神经网络以获得第一特征图；S140，从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图，N是大于一且小于等于三的整数；S150，融合所述第一特征图和所述第二特征图以获得检测特征图；以及，S160，基于所述检测特征图获得所述预定图像帧中的车道线的识别结果。

图3图示了根据本申请实施例的基于车载视频的车道线识别方法的架构示意图。如图3所示，在所述识别方法的网络架构中，首先将截取的预定图像帧(例如，如图3中所示意的Fr)划分为两个第一图像和三个第二图像以获得多个检测用图像(例如，如图3中所示意的Ft)；然后，将所述多个检测用图像输入至卷积神经网络(例如，如图3中所示意的CNN)以获得第一特征图(例如，如图3中所示意的F1)；同时，从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图(例如，如图3中所示意的F2)，N是大于一且小于等于三的整数；然后，融合所述第一特征图和所述第二特征图以获得检测特征图(例如，如图3中所示意的Fc)；接着，基于所述检测特征图获得所述预定图像帧中的车道线的识别结果。

在步骤S110中，获取车载视频中的预定图像帧。在本申请实施例中，通过部署于车辆的车载摄像头采集包含车道线的车载视频，然后，从所述车载视频中截取预定图像帧。这里，本领域普通技术人员应知晓，在车辆上的车载摄像头的安装方面来看，车载摄像头均位于车辆上的固定位置，尤其是拍摄车辆前方和后方视频的车载摄像头，均位于车辆的中间位置，并且其所拍摄的道路图像也与车载摄像头本身的位置具有关联。

优选地，在本申请实施例中，可从车辆的前置摄像头或者后置摄像头获取车载视频，其原因在于：拍摄车辆前方和后方视频的车载摄像头，均位于车辆的中间位置，并且其所拍摄的道路图像也与车载摄像头本身的位置具有关联置行驶，且车载摄像头也位于车辆的中间的固定位置上，车道线在车载摄像头所捕获的图像中，位置也处于基本上固定的位置。例如，如果图像内包含两条车道，则车道线应该在图像的两个边缘和中间位置，而如果图像内包含三条车道，则车道线应该在图像的两个边缘和左右各三分之一的位置。也就是，根据本申请实施例的所述基于车载视频的车道线识别方法可被应用于车载的前视图像或者后视图像中。

在步骤S120中，将所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像。如前所述，基于车载摄像头于车辆的物理位置，车道线在车载摄像头所捕获的图像中，位置也处于基本上固定的位置。具体地，如果图像内包含两条车道，则车道线应该在图像的两个边缘和中间位置，而如果图像内包含三条车道，则车道线应该在图像的两个边缘和左右各三分之一的位置。

应注意到，由于分割的比例不同，所述第一图像与所述第二图像具有不同的宽度尺寸。因此，为了降低计算量，在本申请实施例中，可对所述第一图像和所述第二图像进行归一化处理，以使得所述第一图像和所述第二图像具有相同的尺度。具体地，将所述两个第一图像沿所述第一图像的宽度方向压缩为与所述第二图像相同的宽度，或者，将所述三个第二图像沿所述第二图像的宽度方向拉伸为与所述第一图像相同的宽度，以获得所述多个检测用图像。

应可以理解，当对所述第一图像和所述第二图像进行归一化处理以具有相同的尺寸时，所述第一卷积神经网络对所述第一图像和所述第二图像的处理具有更高的一致性，以利于所述卷积神经网络的训练。

相应地，在步骤S120中，对于所获取的车载视频中的预定图像帧，将其以纵向分别划分为两个第一图像和三个第二图像，从而使得第一图像或者第二图像的边缘尽可能包含车道线，也就是，车道线与第一图像或者第二图像的边缘重合。凭此，在本申请中，将车载视频中的车道线的识别转换为图像所划分成的子图像中的边缘检测。

在步骤S130中，将所述多个检测用图像输入卷积神经网络以获得第一特征图。也就是，将所述多个检测用图像输入卷积神经网络进行处理，以提取出用于表征所述车道线对象的高维特征信息。这样，可以避免所述检测用图像中其他对象对车道线的检测造成干扰，例如，例如天空背景、其它车辆或者障碍物等对车道线的遮挡等。

在步骤S140中，从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图，N是大于一且小于等于三的整数。应可以理解，卷积神经网络的浅层能够提取出图像的边缘、角落等形状特征，也就是，从所述第一图像和第二图像组成的检测用图像获得第二特征图，以提取出第一图像和第二图像的边缘特征，以用于相对应的车道线检测。

在步骤S150中，融合所述第一特征图和所述第二特征图以获得检测特征图。也就是，融合所述检测用图像中的高维特征和浅层特征，以获得所述检测用特征图。

特别地，当所述第一特征图和所述第二特征图具有不同的尺度时，在进行特征融合，所述第一特征图与所述第二特征图的特征将无法对齐。为了在融合时能够特征对齐，以提高检测精度，在本申请实施例中，可对所述第一特征图和所述第二特征图进行归一化处理，以使得所述第一特征图与所述第二特征图具有相一致的尺寸。

在具体实施中，可将所述第一特征图沿所述第一特征图的宽度方向进行下采样为与所述第二特征图相同的宽度，或者将所述第二特征图沿所述第二特征图的宽度方向进行上采样为与所述第一特征图相同的宽度，并进一步融合所述相同宽度的第一特征图和所述第二特征图以获得所述检测特征图。

在本申请实施例中，可将所述第一特征图和所述第二特征图进行加权处理，以融合所述第一特征图和所述第二特征图以获得所述待检测特征图。特别地，在加权处理中，第一特征图与所述第二特征图之间的权重占比可做调整。

在步骤S160中，基于所述检测特征图获得所述预定图像帧中的车道线的识别结果。应可以理解，由于检测特征图融合了包含全面特征的第一特征图和包含第一图像和第二图像的边缘特征的第二特征图，可以提高车道线的检测性能。并且，由于在本申请中，车道线的检测不需要基于语义分割粒度的高精度结果，可以直接采用车载视频来进行车道线的检测，从而可以提高应用的实时性。

值得一提的是，在自动驾驶应用中，对于车道线的检测是连续的，而考虑到在车辆稳定行驶时，车辆在车道内的横向位置不会发生大的偏移，因此在本申请中，为了减少车道线识别的计算量，将车载视频中的图像帧划分为关键帧和非关键帧，对于关键帧采用基于卷积神经网络的特征识别，而对于非关键帧则简单地基于帧之间的位置关系来进行已识别的车道线的位置平移，从而获得非关键帧内的车道线的识别结果。也就是说，对于预定图像帧采用如步骤S110-步骤S160所述的检测流程进行车道检测，而对于非预定图像帧则简单地基于帧之间的位置关系来进行已识别的车道线的位置平移，从而获得非关键帧内的车道线的识别结果。

在本申请实施例中，可基于关键帧与其他图像帧之间的位置关系来确定其他图像帧是否为关键帧，也就是，当关键帧与其他图像帧之间的位置关系差异较大时，将其他图像帧设定为关键帧；而当关键帧与其他图像帧之间的位置关系差异较小时，将其他图像帧设定为非关键帧。当然，也可以通过其他方式来确定关键帧与非关键帧，例如，每隔预设图像帧则指定一帧图像帧为关键帧，对此，并不为本申请所局限。

相应地，图4图示了根据本申请实施例的基于车载视频的车道线识别方法的另一流程图。如图4所示，根据本申请实施例的基于车载视频的车道线识别方法，进一步包括：S210，获取所述车载视频中的所述预定图像帧的后续一个或多个图像帧；S220，确定所述后续一个或多个图像帧与所述预定图像帧的位置关系；以及，S230，基于所述位置关系，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移预定像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

在步骤S220中，确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。在本申请一个示例中，可通过图像处理的方式来判定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

具体地，在该示例中，确定所述后续一个或多个图像帧与所述预定图像帧的位置关系的过程，包括：首先，计算所述后续一个或多个图像帧与所述预定图像帧的差分图像，例如，计算所述预定图像帧与后续一个或多个图像帧之间的按像素差值以获得所述差分图像；然后，基于所述差分图像通过图像处理确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

在本申请另外的示例中，还可通过其他方式来判定所述后续一个或多个图像帧与所述预定图像帧的位置关系，例如，可基于所述车辆的运动参数来确定位姿关系，例如，如果通过加速度计获得车辆在预定图像帧时具有向右的加速度，则后续图像帧与预定图像帧之间具有与向右的加速度对应的位置关系。

更具体地，在该示例中，确定所述后续一个或多个图像帧与所述预定图像帧的位置关系的过程，包括：首先，获取车辆的运动参数；然后，基于所述运动参数确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

在步骤S230中，基于所述位置关系，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移预定像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

在本申请实施例中，基于所述位置关系，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移预定像素以获得所述后续一个或多个图像帧中的车道线的识别结果的过程，包括：首先，基于所述位置关系，确定所述后续一个或多个图像帧中的车道线相对于所述预定图像帧内的识别出的车道线的平移的像素的预定数目；然后，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移所述预定数目的像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

也就是，在本申请实施例中，基于所述位置关系除了确定平移方向外，还可以进一步地基于位置关系来确定需要平移的像素数目，相应地，如果位置变化大，则平移的像素数目较大，这可以提高非关键帧中的车道线的标注精度。

当然，在本申请其他示例中，还可以简单地平移固定数目的像素距离，因为在自动驾驶的应用中，每隔若干帧之后就会通过关键帧来进行校准，因此，非关键帧中车道线的识别的准确度并不非常关键。

综上，基于本申请实施例的基于车载视频的车道线识别方法被阐明，其基于车载摄像头在车辆上的物理位置，将车载视频中的车道线的识别转换为图像所划分成的子图像中的边缘检测，以提高识别精度。

示例性系统

图5图示了根据本申请实施例的基于车载视频的车道线识别系统的框图。

如图5所示，根据本申请实施例的基于车载视频的车道线识别系统500，包括：图像帧获取单元510，用于获取车载视频中的预定图像帧；纵向划分单元520，用于将所述图像帧获取单元510获得的所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像；第一特征图生成单元530，用于将所述纵向划分单元520获得的所述多个检测用图像输入卷积神经网络以获得第一特征图；第二特征图生成单元540，用于从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图，N是大于一且小于等于三的整数；特征图融合单元550，用于融合所述第一特征图生成单元530获得的所述第一特征图和所述第二特征图生成单元540获得的所述第二特征图以获得检测特征图；以及，识别结果生成单元560，用于基于所述特征图融合单元550获得的所述检测特征图获得所述预定图像帧中的车道线的识别结果。

在一个示例中，在上述基于车载视频的车道线识别系统500中，所述图像帧获取单元510，进一步用于：从车辆的前置摄像头或者后置摄像头获取车载视频；以及，从所述车载视频截取所述预定图像帧。

在一个示例中，在上述基于车载视频的车道线识别系统500中，所述图像帧获取单元510，进一步用于获取所述车载视频中的所述预定图像帧的后续一个或多个图像帧；所述识别系统，进一步包括：位置关系确定单元570，用于确定所述后续一个或多个图像帧与所述预定图像帧的位置关系；

所述识别结果生成单元560，进一步用于基于所述位置关系，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移预定像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

在一个示例中，在上述基于车载视频的车道线识别系统500中，所述位置关系确定单元570，进一步用于：计算所述后续一个或多个图像帧与所述预定图像帧的差分图像；以及，基于所述差分图像通过图像处理确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

在一个示例中，在上述基于车载视频的车道线识别系统500中，所述位置关系确定单元570，进一步用于：获取车辆的运动参数；以及，基于所述运动参数确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

在一个示例中，在上述基于车载视频的车道线识别系统500中，所述识别结果生成单元560，进一步用于：基于所述位置关系，确定所述后续一个或多个图像帧中的车道线相对于所述预定图像帧内的识别出的车道线的平移的像素的预定数目；以及，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移所述预定数目的像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

在一个示例中，在上述基于车载视频的车道线识别系统500中，所述纵向划分单元520，进一步用于：将所述两个第一图像沿所述第一图像的宽度方向压缩为与所述第二图像相同的宽度，或者将所述三个第二图像沿所述第二图像的宽度方向拉伸为与所述第一图像相同的宽度，以获得所述多个检测用图像。

在一个示例中，在上述基于车载视频的车道线识别系统500中，所述特征图融合单元550，进一步用于：将所述第一特征图沿所述第一特征图的宽度方向进行下采样为与所述第二特征图相同的宽度，或者将所述第二特征图沿所述第二特征图的宽度方向进行上采样为与所述第一特征图相同的宽度；以及，融合所述相同宽度的第一特征图和所述第二特征图以获得所述检测特征图。

这里，本领域技术人员可以理解，上述基于车载视频的车道线识别系统500中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的基于车载视频的车道线识别方法描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的基于车载视频的车道线识别系统500可以实现在各种终端设备中，例如自动驾驶服务器等。在一个示例中，根据本申请实施例的基于车载视频的车道线识别系统500可以作为一个软件模块和/或硬件模块而集成到车辆中。例如，该基于车载视频的车道线识别系统500可以是该车辆的操作系统中的一个软件模块，或者可以是针对于该车辆所开发的一个应用程序；当然，该基于车载视频的车道线识别系统500同样可以是该车辆的众多硬件模块之一。

替换地，在另一示例中，该基于车载视频的车道线识别系统500与该车辆也可以是分立的设备，并且该基于车载视频的车道线识别系统500可以通过有线和/或无线网络连接到该车辆，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图6来描述根据本申请实施例的电子设备。

图6图示了根据本申请实施例的电子设备的框图。

如图6所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于车载视频的车道线识别方法的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如车载视频等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括车道线识别结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于车载视频的车道线识别方法的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于车载视频的车道线识别方法的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于车载视频的车道线识别方法，其特征在于，包括：

获取车载视频中的预定图像帧；

将所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像；

将所述多个检测用图像输入卷积神经网络以获得第一特征图；

从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图，N是大于一且小于等于三的整数；

融合所述第一特征图和所述第二特征图以获得检测特征图；以及

基于所述检测特征图获得所述预定图像帧中的车道线的识别结果。

2.根据权利要求1所述的基于车载视频的车道线识别方法，其中，获取车载视频中的预定图像帧，包括：

从车辆的前置摄像头或者后置摄像头获取车载视频；以及

从所述车载视频截取所述预定图像帧。

3.根据权利要求1所述的基于车载视频的车道线识别方法，进一步包括：

获取所述车载视频中的所述预定图像帧的后续一个或多个图像帧；

确定所述后续一个或多个图像帧与所述预定图像帧的位置关系；以及

基于所述位置关系，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移预定像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

4.根据权利要求3所述的基于车载视频的车道线识别方法，其中，确定所述后续一个或多个图像帧与所述预定图像帧的位置关系，包括：

计算所述后续一个或多个图像帧与所述预定图像帧的差分图像；以及

基于所述差分图像通过图像处理确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

5.根据权利要求3所述的基于车载视频的车道线识别方法，其中，确定所述后续一个或多个图像帧与所述预定图像帧的位置关系，包括：

获取车辆的运动参数；以及

基于所述运动参数确定所述后续一个或多个图像帧与所述预定图像帧的位置关系。

6.根据权利要求3所述的基于车载视频的车道线识别方法，其中，基于所述位置关系，将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移预定像素以获得所述后续一个或多个图像帧中的车道线的识别结果，包括：

基于所述位置关系，确定所述后续一个或多个图像帧中的车道线相对于所述预定图像帧内的识别出的车道线的平移的像素的预定数目；以及

将所述预定图像帧内的识别出的车道线沿所述预定图像帧的横向平移所述预定数目的像素以获得所述后续一个或多个图像帧中的车道线的识别结果。

7.根据权利要求1所述的基于车载视频的车道线识别方法，其中，将所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像，包括：

将所述两个第一图像沿所述第一图像的宽度方向压缩为与所述第二图像相同的宽度，或者将所述三个第二图像沿所述第二图像的宽度方向拉伸为与所述第一图像相同的宽度，以获得所述多个检测用图像。

8.根据权利要求1所述的基于车载视频的车道线识别方法，其中，融合所述第一特征图和所述第二特征图以获得检测特征图，包括：

将所述第一特征图沿所述第一特征图的宽度方向进行下采样为与所述第二特征图相同的宽度，或者将所述第二特征图沿所述第二特征图的宽度方向进行上采样为与所述第一特征图相同的宽度；以及

融合所述相同宽度的第一特征图和所述第二特征图以获得所述检测特征图。

9.一种基于车载视频的车道线识别系统，其特征在于，包括：

图像帧获取单元，用于获取车载视频中的预定图像帧；

纵向划分单元，用于将所述图像帧获取单元获得的所述预定图像帧以所述预定图像帧的纵向分别划分为两个第一图像和三个第二图像以获得多个检测用图像；

第一特征图生成单元，用于将所述纵向划分单元获得的所述多个检测用图像输入卷积神经网络以获得第一特征图；

第二特征图生成单元，用于从所述卷积神经网络的前N层提取所述多个检测用图像的第二特征图，N是大于一且小于等于三的整数；

特征图融合单元，用于融合所述第一特征图生成单元获得的所述第一特征图和所述第二特征图生成单元获得的所述第二特征图以获得检测特征图；以及

识别结果生成单元，用于基于所述特征图融合单元获得的所述检测特征图获得所述预定图像帧中的车道线的识别结果。

10.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-8中任一项所述的基于车载视频的车道线识别方法。

Images