CN115272997A - 使用神经网络预测车道线类型 - Google Patents

Abstract

一种利用神经网络预测车道线类型的方法，包括利用设置在车辆上的一个或多个光学传感器捕获光学信息。该方法还包括将光学信息裁剪为预定尺寸，使裁剪后的光学信息通过神经网络，以及对光学信息进行评估以检测光学信息中的多条车道线的位置。该方法还包括预测分配给多条车道线的预定车道线类型的多个值。该方法还包括确定分配给多条车道线中的每条车道线的预定车道线类型的多个值中的每个值的最大置信值；以及为多条车道线中的每条车道线提取与最大置信值相对应的车道线标签。

Description

使用神经网络预测车道线类型

技术领域

本公开涉及一种使用神经网络预测路面上各种车道线类型的系统和方法。

背景技术

本部分中的陈述仅提供与本公开相关的背景信息，可构成或不构成现有技术。

车辆技术，如基于网格导航的自由测距及停车引导和信息系统，有助于防止驾驶员驾驶车辆时发生人为操作失误。此类技术已被用于改善道路导航，并提升车辆驾驶员在车内时其停车技能。例如，已开发出协助车辆操作人员操纵车辆以避免发生碰撞的车载检测系统和碰撞警报系统。典型的车载检测系统利用机器视觉来确定或预测车辆周围环境。检测系统通常依靠摄像机和/或其他光学传感器来预测车道线和车道类型，以辅助车辆的自动驾驶系统。更具体地，检测系统为自动驾驶系统提供数据，以在驾驶过程中自动检测并避开障碍物，避免碰撞。一些自动驾驶系统甚至适于在车辆操作人员将车辆定位在靠近停车位的预定义位置后，自动将车辆停在停车位。

虽然这些系统和方法对实现其预期目的是有用的，但典型的检测系统会受到天气、碎片等引起的光学干扰。因此，本领域需要一种新的改进的车辆技术，即使当路面被天气、碎片等遮挡，依然能稳健地预测车道线和车道类型。

发明内容

根据本公开的几个方面，一种利用神经网络预测车道线类型的方法，包括利用设置在车辆上的一个或多个光学传感器捕获光学信息。该方法还包括将光学信息裁剪为预定尺寸；使裁剪后的光学信息通过神经网络；以及对光学信息进行评估以检测光学信息中的多条车道线的位置。该方法还包括预测分配给多条车道线的预定车道线类型的多个值。该方法还包括确定分配给多条车道线中的每条车道线的预定车道线类型的多个值中的每个值的最大置信值；以及为多条车道线中的每条车道线提取与最大置信值相对应的车道线标签。

在本公开的另一方面，捕获光学信息还包括利用设置在车辆上的至少一个前向摄像机来捕获车辆前方的预定视场中的光学信息。

在本公开的又一方面，裁剪光学信息还包括从一个或多个光学传感器接收未裁剪的光学信息，并且通过仅保留包含路面的部分光学信息来减小光学信息的尺寸。

在本公开的又一方面，使裁剪后的光学信息通过神经网络还包括归一化裁剪后的光学信息内的像素值，并且使裁剪后的光学信息通过四个卷积层。使裁剪后的光学信息通过三个全连接层。

在本公开的又一方面，使裁剪后的光学信息通过四个卷积层还包括通过对四个卷积层中的每一层中的光学信息进行滤波来反复地减小裁剪后的光学信息的尺寸，并且在每次对裁剪后的光学信息进行递归尺寸减小后，池化光学信息。

在本公开的又一方面，使裁剪后的光学信息通过三个全连接层还包括将裁剪后的光学信息的提取特征映射到分配给预定车道线类型的多个值。

在本公开的又一方面，对光学信息进行评估以检测光学信息中的多条车道线的位置还包括将左标识分配给紧邻车辆左侧的车道线；将左-左标识分配给在方向上从紧邻车辆左侧的车道线向左侧移位第一预定距离的车道线；将右标识分配给紧邻车辆右侧的车道线；及将右-右标识分配给在方向上从紧邻车辆右侧的车道线向右侧移位第二预定距离的车道线。第一预定距离和第二预定距离基本上相等，并且各自限定车道的宽度。

在本公开的又一方面，预测分配给多条车道线的预定车道线类型的多个值还包括预测多条车道线中的每条车道线的至少十个值。这十个值对应于至少十个预定车道线类型。

在本公开的又一方面，确定分配给多条车道线中的每条车道线的预定车道线类型的多个值中的每个值的最大置信值还包括确定分配给多条车道线的至少十个值中哪个值具有最高数值置信值。最高数值置信值是每条车道线为预定车道线类型中一种特定类型的最高概率。

在本公开的又一方面，为多条车道线中的每条车道线提取与最大置信值相对应的车道线标签还包括将车道线标签分配给多条车道线中的每条车道线。车道线标签包括以下中的一种或多种：无车道线、未知车道线、第一颜色虚线车道线、第一颜色实线车道线、第二颜色虚线车道线、第二颜色实线车道线、第二颜色虚线和第二颜色实线车道线、第二颜色实线和第二颜色虚线车道线、第二颜色双实线车道线、以及应急车道线。第二颜色与第一颜色不同。

在本公开的又一方面，一种利用神经网络预测车道线类型的方法，包括利用设置在车辆上的至少一个前向摄像机来捕获车辆前方的预定视场中的光学信息，以及从一个或多个光学传感器接收未裁剪的光学信息。该方法还包括通过仅保留包含路面的部分光学信息来减小光学信息的尺寸，从而将光学信息裁剪为预定尺寸。该方法还包括使裁剪后的光学信息通过神经网络，并且对光学信息进行评估以检测光学信息中的多条车道线的位置。该方法还包括预测分配给多条车道线的预定车道线类型的多个值，并确定分配给多条车道线中的每条车道线的预定车道线类型的多个值中的每个值的最大置信值。该方法还包括为多条车道线中的每条车道线提取与最大置信值相对应的车道线标签。

在本公开的又一方面，利用设置在车辆上的至少一个前向摄像机来捕获车辆前方的预定视场中的光学信息还包括捕获车辆前方180°弧内且车辆前方至少100米内的光学信息。

在本发明的又一方面，使裁剪后的光学信息通过神经网络还包括归一化裁剪后的光学信息内的像素值。使裁剪后的光学信息通过还包括使裁剪后的光学信息通过四个卷积层，并且使裁剪后的光学信息通过三个全连接层。

在本公开的又一方面，使裁剪后的光学信息通过四个卷积层还包括通过对四个卷积层中的每一层中的光学信息进行滤波来反复地减小裁剪后的光学信息的尺寸，并且在每次对裁剪后的光学信息进行递归尺寸减小后，池化光学信息。

在本公开的又一方面，使裁剪后的光学信息通过三个全连接层还包括将裁剪后的光学信息的提取特征映射到分配给预定车道线类型的多个值。

在本公开的又一方面，对光学信息进行评估以检测光学信息中的多条车道线的位置还包括将左标识分配给紧邻车辆左侧的车道线；将左-左标识分配给在紧邻车辆左侧的车道线的左侧方向上移位第一预定距离的车道线；将右标识分配给紧邻车辆右侧的车道线；及将右-右标识分配给在紧邻车辆右侧的车道线的右侧方向上移位第二预定距离的车道线。第一预定距离和第二预定距离基本上相等，并且各自限定车道的宽度。

在本公开的又一方面，预测分配给多条车道线的预定车道线类型的多个值还包括预测多条车道线中的每条车道线的至少十个值，其中这十个值对应于至少十个预定车道线类型。

在本公开的又一方面，确定分配给多条车道线中的每条车道线的预定车道线类型的多个值中的每个值的最大置信值还包括确定分配给多条车道线的至少十个值中哪个值具有最高数值置信值。最高数值置信值是每条车道线为预定车道线类型中一种特定类型的最高概率。

在本公开的又一方面，为多条车道线中的每条车道线提取与最大置信值相对应的车道线标签还包括将车道线标签分配给多条车道线中的每条车道线。车道线标签包括以下中的一种或多种：无车道线、未知车道线、第一颜色虚线车道线、第一颜色实线车道线、第二颜色虚线车道线、第二颜色实线车道线、第二颜色虚线和第二颜色实线车道线、第二颜色实线和第二颜色虚线车道线、第二颜色双实线车道线、以及应急车道线。第二颜色与第一颜色不同。

在本公开的又一方面，一种用于利用神经网络预测车道线类型的系统，包括车辆，该车辆上设置有至少一个前向摄像机的，该至少一个前向摄像机捕获车辆前方的预定视场中的光学信息。该系统还包括控制模块，该控制模块设置在车辆内并且具有处理器、存储器以及一个或多个输入/输出(I/O)端口；I/O端口从该至少一个前向摄像机接收输入数据。处理器执行存储在存储器内的编程控制逻辑。编程控制逻辑包括从一个或多个光学传感器接收未裁剪的光学信息的第一控制逻辑。第二控制逻辑通过仅保留包含路面的部分光学信息来减小光学信息的尺寸，从而将光学信息裁剪为预定尺寸。第三控制逻辑使裁剪后的光学信息通过包括四个卷积层和三个全连接层的神经网络。第四控制逻辑通过对四个卷积层中的每一层中的光学信息进行滤波来反复地减小裁剪后的光学信息的尺寸。第五控制逻辑在每次对裁剪后的光学信息进行连续尺寸减小之后池化光学信息。第六控制逻辑将裁剪后的光学信息的提取特征映射到分配给三个全连接层中的每一层中的预定车道线类型的多个值。第七控制逻辑对光学信息进行评估以检测光学信息中的多条车道线的位置。第八控制逻辑预测分配给多条车道线的预定车道线类型的多个值。第九控制逻辑确定分配给多条车道线中的每条车道线的预定车道线类型的多个值中的每个值的最大置信值。第十控制逻辑为多条车道线中的每条车道线提取与最大置信值相对应的车道线标签。

根据本文提供的描述，进一步的适用领域将变得显而易见。应理解，说明书和具体示例仅用于说明目的，并不旨在限制本公开的范围。

附图说明

为本文描述的附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。

图1是根据本公开的实施例的利用神经网络系统预测靠近车辆的车道线类型的车辆的示意图；

图2是根据本公开的实施例的图1的神经网络系统的图示，该神经网络系统包括用于处理靠近车辆的路面的图像的多个卷积和全连接层；

图3是描述根据本公开的实施例的神经网络系统的多个可能的车道线类型输出的表；

图4是根据本公开的实施例的覆盖到靠近车辆的示例性路面的日间图像上的神经网络系统的示例性输出的图示；以及

图5是根据本公开的实施例的使用神经网络预测车道线类型的方法的流程图。

具体实施方式

以下描述本质上仅仅是示例性的，并不旨在限制本公开、应用或用途。

参考图1，示出了根据本公开的原理的用于通过神经网络预测车道线和车道类型的系统，该系统总体上由附图标记10表示。系统10在车辆12上运行。车辆12示为载客车辆，然而，在不脱离本公开的范围或意图的情况下，车辆12可以是卡车、运动型多功能车、货车、房车或任何其他类型的道路交通工具、水上交通工具或空中交通工具。车辆12配备有一个或多个控制模块14。控制模块14为非通用型电子控制装置，该非通用型电子控制装置具有预编程数字计算机或处理器16、用于存储如控制逻辑、指令、图像数据、查找表等数据的存储器或非暂时性计算机可读介质18、以及多个输入/输出(I/O)外围设备或端口20。处理器16用于执行控制逻辑或指令。控制逻辑或指令包括任何类型的计算机可执行程序代码，包括源代码、目标代码和可执行代码。控制逻辑还包括用于执行特定功能或功能组的软件程序。控制逻辑可以包括适于以适当的计算机可读程序代码实现的一个或多个计算机程序、软件构件、指令集、程序、功能、对象、类别、示例、相关数据或其部分。控制逻辑可以存储在存储器18内或附加或单独的存储器中。

控制模块14可具有附加处理器16或与处理器16通信的附加集成电路，如用于分析可视数据的感知逻辑电路，或专用的车辆与车辆(V2V)或车辆与基础设施(V2I)电路。替代地，控制模块14的功能可分布在各个子系统中。存储器18包括可以永久存储数据的介质和/或可以存储并随后重写数据的介质，如可重写光盘或可擦除存储器装置。在更多示例中，存储器18可包括各种不同存储介质中的任何一种，如闪速存储器、嵌入式多媒体卡(EMMC)闪速存储器、随机存取存储器(RAM)等。I/O端口20从车辆12的一个或多个传感器22和致动器24接收输入数据。

传感器22包括光学传感系统26，该光学传感系统具有如摄像机28、超声波传感器、光探测和测距(LiDAR)单元30以及无线电探测和测距(RADAR)单元32的传感器。光学传感系统26的传感器22在图1中显示在四个不同的位置，然而，应理解的是，在不脱离本公开的范围或意图的情况下，传感器22可位于车辆12上或车辆12之外的其他位置中的任何位置。传感器22还包括运动传感器，如陀螺传感器34、加速计36等。致动器24应理解为包括能够改变车辆12的运动的各种电子装置、液压装置和气动装置中的任何一种。在一些示例中，致动器24包括可操作以改变由车辆12的推进装置42产生的扭矩量的节气门系统40的节气门致动器38。在另一示例中，致动器24包括车辆12的制动系统46的制动致动器44。制动致动器44可操作以改变由车辆12的制动系统46施加的减速量。在更多示例中，致动器24包括传动系统50的传动比选择器48以及转向系统54的转向致动器52。传动比选择器48可操作以改变车辆12的运动方向和/或运动速率。转向致动器52调节车辆12的偏航率。

控制模块14以电子、气动、液压等方式与各种车载系统(如节气门系统40、制动系统46、传动系统50和转向系统54)通信。

在几个方面，系统10被训练来识别道路标记，如车道线56。为了训练系统10，在各种不同的场景中驾驶车辆12。更具体地，为了提供尽可能广泛的数据范围来训练系统10，在不同天气条件、一天中的不同时间、不同道路类型下驾驶车辆。在每个上述不同场景中，由光学感测系统26的传感器22捕获视频。视频包括车辆12周围的预定区域的图像。在示例中，设置在车辆12上的至少一个前向摄像机28以视频形式捕获车辆12前方的预定视场68中的光学信息。预定视场68的大小和形状可以根据应用来变化。在一个示例中，预定视场68在车辆12前方大约180°的弧中延伸一半径或一段距离。

现在转到图2，并且继续参考图1，对视频进行分析以检测和注释车道线56等。具体地，视频定义了多个全尺寸图像70。摄像机28通过I/O端口20将全尺寸图像70发送到控制模块14的处理器16，其中处理器16执行存储在存储器18中的编程控制逻辑，通过在存储器18中仅保留全尺寸图像70的一部分来减小光学信息的尺寸。具体地，来自视频的全尺寸图像70被裁剪为预定尺寸以提高分析效率。在示例中，全尺寸图像70的尺寸为宽320像素*高270像素，并且裁剪后的图像72的尺寸为宽320像素*高110像素。然而，应理解的是，全尺寸图像70和裁剪后的图像72的精确尺寸和形状可根据光学传感系统26和处理器16的能力和要求在不同的应用中有很大差异。选择裁剪后的图像72的精确尺寸和形状，以确保保留在存储器18中的该部分光学信息包括靠近车辆12的路面74。

随后使裁剪后的图像72通过神经网络76来对裁剪后的图像72进行分析。神经网络76执行一系列计算和操作，对裁剪后的图像72中的光学信息进行评估并检测光学信息中的多条车道线56的位置。神经网络76包括多个卷积层78和多个全连接层80。在示例中，神经网络76包括四个卷积层78和三个全连接层80，然而，卷积层78和全连接层80的精确数量可以根据应用的不同而有所不同。在一些示例中，卷积层78的数量与路面74上的车道的数量以及车道类型的数量或数目具有直接关系。神经网络76将裁剪后的图像72中的像素值归一化。归一化处理改变了像素强度值的范围，使裁剪后的图像72中的光学数据达到一个更容易被神经网络76处理的范围。在示例中，如果给定的裁剪后的图像72的强度范围为50-180，期望范围为0-255，则归一化处理需要将每个像素的强度减去50的值，使得范围为0-130。然后，每个像素强度乘以255/130，以达到期望范围0-255。归一化也可以是非线性的，并且精确的归一化过程和算法可以根据期望的强度范围等而变化。

若裁剪后的图像72已经进行了归一化，则使裁剪后的图像72通过四个卷积层78。对于每个卷积层78，进一步减小了裁剪后的图像72的尺寸。更具体地，裁剪后的图像72通过第一卷积和激活层，或指数线性单元(ELU)84。相对于修正线性单元(ReLU)、带泄漏ReLU(LReLU)和参数化ReLU(PReLU)等，ELU84加速了对深度神经网络76的学习。也就是说，ELU84具有改进的学习特性并缓解了梯度消失问题。此外，ELU84比其他已知算法提高了分类准确性。ELU84对输入数据中特定现象的存在程度进行编码。在一些方面，ELU84将裁剪后的图像72的像素归一化，并且第一池化层86将相邻的以及具有相似或相同强度的像素分组在一起。在示例中，第一池化层86将初始的裁剪后的图像72减半到大约160像素*55像素大小。

在每个随后的卷积层78中，进一步减小裁剪后的图像72的尺寸，如上文所述。一般而言，当裁剪后的图像72通过四个卷积层78时，通过对四个卷积层78中的每一层的光学信息进行滤波并且随后在每一次尺寸减小之后池化光学信息来反复地减小裁剪后的图像72的尺寸。因此，在第一ELU84中，归一化裁剪后的图像72，并且第一池化层86将裁剪后的图像72的物理尺寸和数据复杂度至少减小一半，从160×110像素减小到160×55像素。在第二ELU88中，归一化160×55像素图像，并且在第二池化层90中，160×55像素图像的尺寸进一步减小到80×27像素。在第三ELU92中，归一化80×27图像，并且在第三池化层94中，80×27像素图像的尺寸进一步减小到24×13像素。在第四ELU96中，归一化24×13像素图像，并且在第四池化层98中，24×13像素图像的尺寸进一步减小一半。

若裁剪后的图像72已经通过所有四个卷积层78，则使裁剪后的图像72通过三个全连接层80。利用三个全连接层80，控制模块14预测分配给预定车道线类型102的多个值100。在每个全连接层80中，对裁剪后的光学信息进行分析，并且将裁剪后的图像72中的多个特征映射到分配给预定车道线类型102的多个值100。更具体地，当控制模块14分析裁剪后的图像72中的光学信息时，控制模块14表征裁剪后的图像72中的颜色变化。控制模块14识别裁剪后的图像72中的颜色和/或光强变化，并根据分配给预定车道线类型102的多个值100将颜色和/或光强变化表征为车道线56。控制模块14通过选择多条车道线56中的每条车道线的至少十个值来预测多个值100。这十个值中的每个值对应于至少十个预定车道线类型102中的一个类型。

在示例中，控制模块14将“左”或“L”标识分配给紧邻车辆12左侧的车道线。控制模块14还将“左左”或“LL”标识分配给在方向上从紧邻车辆12左侧的车道线56向左侧移位第一预定距离104的车道线56。即LL车道线56相对于车辆12向L车道线56向左侧移位第一预定距离104。控制模块14将“右”或“R”标识分配给紧邻车辆12右侧的车道线56，并将“右右”或“RR”标识分配给相对于车辆12在方向上从R车道线向右侧移位第二预定距离106的车道线56。在一些示例中，第一预定距离104和第二预定距离106基本上相等，并且各自限定路面74上的车道宽度。

控制模块14还确定分配给在裁剪后的图像72中检测到的多条车道线56中的每条车道线的预定车道线类型102的多个值100中的每个值的置信值。具体地，控制模块14确定分配给多条车道线56的至少十个值中哪个值具有最高数值置信值。最高数值置信值为每条车道线56是预定车道线类型102中一种特定类型的最高概率。然后，控制模块14为在裁剪后的图像72中检测到的多条车道线56中的每条车道线提取与最大置信值相对应的车道线标签108。

现在转到图3，并继续参考图1和图2，在示例中，车道线标签108可以是在系统10中使用的数字标识、车道线名称的字母缩写、字母数字组合等。具体地，车道线标签108可以包括以下中的一种或多种：无车道线(NL)、未知车道线(Unk)、第一颜色虚线车道线、第一颜色实线车道线、第二颜色虚线车道线、第二颜色实线车道线、第二颜色虚线车道线和第二颜色实线车道线、第二颜色双实线车道线、以及应急车道线。第一颜色和第二颜色彼此不同。例如，第二颜色是黄色时，第一颜色可以是白色，然而在给定的路面74上可以使用其他第一颜色和/或第二颜色。在一些路面74上，第一颜色和第二颜色中的一种或多种在不脱离本公开的范围或意图的情况下可以是蓝色、红色或各种其他不同颜色中的任何一种。没有任何车道线标记的路面74可以由本公开的系统10进行扫描，对于未标记的路面74，系统10将输出一条无车道线NL。当发现车道线56，但该车道线56与已知的车道线类型102不对应时，如预定车道线标记108之一所指示的，系统10将为此不对应的车道线56生成未知车道线Unk标识。

虚线车道线通常表示路面74上车辆12可超车的区域。在一些示例中，第一颜色虚线车道线是白色虚线车道线或“DW”。实线车道线通常表示根据法律规定路面74上车辆12不能超车的区域。因此，第一颜色实线车道线是白色实线车道线或者“SW”。第二颜色虚线车道线是黄色虚线车道线或“DY”，而第二颜色实线车道线是黄色实线车道线或“SY”。一些路面74由组合的彼此平行的虚线和实线车道线标记。虚线和实线车道线表示路面74上车辆可安全超车的区域。在一些示例中，第二颜色虚线和第二颜色实线车道线是黄色虚线和实线车道线或“DYSY”，而黄色实线和虚线车道线为“SYDY”(注意指示的顺序是颠倒的)。多条平行的实线车道线表示根据法律规定路面74上车辆12不得超车的区域。第二颜色双实线车道线是黄色双实线车道线或“DSY”。最后，应急车道线通常是第一颜色或第二颜色，并且划定靠近路面74边缘的部分，在系统10中以“Eml”标识。

应当理解，某一特定的路面74可不包括或者包括任何数量的上述车道线56和预定车道线类型102(包括重复数量的车道线56)。即，一些路面74未涂刷或未以其他方式标记。然而，本公开的系统10和方法仍然可以确定无车道线NL将路面74划分或者应被理解为划分成多个车道。类似地，其他路面74可以包括多组黄色实线车道线SY等。

控制模块14为每个裁剪后的图像72生成包含车道线标签108的数据库110。数据库110可以是电子表格、文本文件或者任何其他可由计算机(如控制模块14)或人中的任一者或两者准备好的文件。在示例中，数据库110定义了一个电子表格，该表格中的一列包含来自视频的裁剪后的图像72帧中的每一帧的输入图像文件名。至少其他四列中的每一列中的数据对应于给定车道线56在路面74上的位置的标签代码。例如，一列可以包括“左”标签，另一列可以包括“右”标签，第三列和第四列可以分别包括“左左”标签和“右右”标签。然后，电子表格中的注释信息被用于训练神经网络76。图4总体上描绘了示例性全尺寸图像70的车道线类型数据的输出的直观表示，其中系统10已经识别出在“LL”位置的黄色实线(SY)车道线56、在“L”位置的白色虚线(DW)车道线56、在“R”位置的白色虚线(DW)车道线56、以及在“RR”位置的白色实线(SW)车道线56。

现在转到图5并继续参考图1至图4，示出了一种使用神经网络预测车道线56类型的方法的流程图，该方法总体上由附图标记200指示。方法200开始于框202。在框204，控制模块14执行控制逻辑，该控制逻辑利用设置在车辆12上的至少一个前向光学传感器或摄像机28来捕获车辆前方的预定视场中的光学信息。

在框206，控制模块14执行程序控制逻辑，以从至少一个前向摄像机28接收未裁剪形式的光学信息或图像。在框208，控制模块14将图像裁剪为预定尺寸。通过仅保留包括路面74的部分图像来实现预定尺寸。在一些示例中，包括路面74的部分图像大约是未裁剪图像的底部四分之一至底部二分之一。

在框210，控制模块14执行控制逻辑，该控制逻辑使裁剪后的图像通过包括例如四个卷积层78和三个全连接层80的神经网络。在框212，控制模块14执行控制逻辑，该控制逻辑通过对四个卷积层78中的每一层中的图像进行滤波来迭代和反复地减小裁剪后的图像的尺寸。在框214，控制模块14执行控制逻辑，该控制逻辑在每次对裁剪后的图像进行连续尺寸缩小后池化光学信息。在框216，控制模块14执行控制逻辑，该控制逻辑将提取的特征(例如车道线56)映射到分配给三个全连接层80中的每一个中的预定车道线类型的多个值。在框218，控制模块14执行控制逻辑，该控制逻辑对裁剪后的图像进行评估以检测裁剪后的图像中的多条车道线56的位置。在框220，控制模块14执行另一控制逻辑，该控制逻辑预测分配给多条车道线56的预定车道线类型102的多个值。在框222，控制模块14执行控制逻辑，该控制逻辑确定分配给检测到的车道线56中的每条车道线的预定车道线类型102的多个值中的每个值的最大置信值。在框224，控制模块14执行控制逻辑，该控制逻辑为在裁剪后的图像中检测到的车道线56中的每条车道线提取与最大置信值相对应的车道线标签。在框226，方法200结束并返回到框202，其中方法200在系统10运行时连续运行。

利用神经网络预测车道线类型的系统和方法具有多个优点。这些优点包括能够利用先前存在的基础设施进行图像分析，克服了由天气、碎片等引起的光学干扰。此外，本公开的系统和方法可以模仿和改进人类驾驶员确定车道线56在路面74上的位置和类型的能力。该系统和方法在即使路面被天气、碎片等遮挡时依然可对车道线和车道类型提供稳健预测。

本公开的描述本质上仅仅是示例性的，并且不脱离本公开的主旨的变化旨在落入本公开的范围内。这种变化不应视为背离了本公开的方案和范围。

Claims (20)

1.一种利用神经网络预测车道线类型的方法，所述方法包括：

利用设置在车辆上的一个或多个光学传感器捕获光学信息；

将所述光学信息裁剪为预定尺寸；

使裁剪后的光学信息通过神经网络；

对所述光学信息进行评估以检测所述光学信息中的多条车道线的位置；

预测分配给所述多条车道线的预定车道线类型的多个值；

确定分配给所述多条车道线中的每条车道线的预定车道线类型的所述多个值中的每个值的最大置信值；以及

为所述多条车道线中的每条车道线提取与所述最大置信值相对应的车道线标签。

2.根据权利要求1所述的方法，其中捕获光学信息还包括：

利用设置在所述车辆上的至少一个前向摄像机来捕获所述车辆前方的预定视场中的光学信息。

3.根据权利要求1所述的方法，其中裁剪所述光学信息还包括：

从所述一个或多个光学传感器接收未裁剪的光学信息；以及

通过将所述光学信息裁剪为仅保留包含道路表面的部分所述光学信息来减小所述光学信息的尺寸。

4.根据权利要求1所述的方法，其中使裁剪后的光学信息通过神经网络还包括：

归一化所述裁剪后的光学信息中的像素值；

使所述裁剪后的光学信息通过四个卷积层；以及

使所述裁剪后的光学信息通过三个全连接层。

5.根据权利要求4所述的方法，其中使所述裁剪后的光学信息通过四个卷积层还包括：

通过在所述四个卷积层中的每一个中将所述光学信息进行滤波来反复地减小所述裁剪后的光学信息的尺寸；并且

在每次对所述裁剪后的光学信息进行递归尺寸减小后，池化所述光学信息。

6.根据权利要求5所述的方法，其中使所述裁剪后的光学信息通过三个全连接层还包括：

将所述裁剪后的光学信息的提取特征映射到分配给预定车道线类型的所述多个值。

7.根据权利要求1所述的方法，其中对所述光学信息进行评估以检测所述光学信息中的多条车道线的位置还包括：

将左标识分配给紧邻所述车辆左侧的车道线；

将左-左标识分配给在方向上从紧邻所述车辆左侧的车道线向左侧移位第一预定距离的车道线；

将右标识分配给紧邻所述车辆右侧的车道线；以及

将右-右标识分配给在方向上从紧邻所述车辆右侧的车道线向右侧移位第二预定距离的车道线；并且

其中所述第一预定距离和所述第二预定距离基本上相等，并且各自限定车道的宽度。

8.根据权利要求1所述的方法，其中预测分配给所述多条车道线的预定车道线类型的多个值还包括：

预测所述多条车道线中的每条车道线的至少十个值，其中所述十个值对应于至少十个预定车道线类型。

9.根据权利要求8所述的方法，其中确定分配给所述多条车道线中的每条车道线的预定车道线类型的所述多个值中的每个值的最大置信值还包括：

确定分配给所述多条车道线的所述至少十个值中哪个值具有最高数值置信值，其中所述最高数值置信值是每条所述车道线为所述预定车道线类型中一种特定类型的最高概率。

10.根据权利要求9所述的方法，其中为所述多条车道线中的每条车道线提取与所述最大置信值相对应的车道线标签还包括：

将车道线标签分配给所述多条车道线中的每条车道线，所述车道线标签包括以下中的一种或多种：

无车道线；

未知车道线；

第一颜色虚线车道线；

第一颜色实线车道线；

第二颜色虚线车道线；

第二颜色实线车道线；

第二颜色虚线和第二颜色实线车道线；

第二颜色实线和第二颜色虚线车道线；

第二颜色双实线车道线；和

应急车道线；

其中所述第二颜色与所述第一颜色不同。

11.一种利用神经网络预测车道线类型的方法，所述方法包括：

利用设置在车辆上的至少一个前向摄像机来捕获车辆前方的预定视场中的光学信息；

从所述一个或多个光学传感器接收未裁剪的光学信息；

通过仅保留包含路面的部分所述光学信息来减小所述光学信息的尺寸，从而将所述光学信息裁剪为预定尺寸；

使裁剪后的光学信息通过神经网络；

对所述光学信息进行评估以检测所述光学信息中的多条车道线的位置；

预测分配给所述多条车道线的预定车道线类型的多个值；

确定分配给所述多条车道线中的每条车道线的所述预定车道线类型的所述多个值中的每个值的最大置信值；以及

为所述多条车道线中的每条车道线提取与所述最大置信值相对应的车道线标签。

12.根据权利要求11所述的方法，其中利用设置在所述车辆上的至少一个前向摄像机来捕获所述车辆前方的预定视场中的光学信息还包括：

捕获所述车辆前方180°弧内及所述车辆前方至少100米内的光学信息。

13.根据权利要求11所述的方法，其中使裁剪后的光学信息通过神经网络还包括：

归一化所述裁剪后的光学信息中的像素值；

使所述裁剪后的光学信息通过四个卷积层；以及

使所述裁剪后的光学信息通过三个全连接层。

14.根据权利要求13所述的方法，其中使所述裁剪后的光学信息通过四个卷积层还包括：

通过在所述四个卷积层中的每一个中将所述光学信息进行滤波来反复地减小所述裁剪后的光学信息的尺寸；以及

在每次对所述裁剪后的光学信息进行递归尺寸减小后，池化所述光学信息。

15.根据权利要求14所述的方法，其中使所述裁剪后的光学信息通过三个全连接层还包括：

将所述裁剪后的光学信息的提取特征映射到分配给预定车道线类型的所述多个值。

16.根据权利要求11所述的方法，其中对所述光学信息进行评估以检测所述光学信息中的多条车道线的位置还包括：

将左标识分配给紧邻所述车辆左侧的车道线；

将左-左标识分配给在方向上从紧邻所述车辆左侧的所述车道线向左侧移位第一预定距离的车道线；

将右标识分配给紧邻所述车辆右侧的车道线；以及

将右-右标识分配给在方向上从紧邻所述车辆右侧的所述车道线向右侧移位第二预定距离的车道线；

其中所述第一预定距离和所述第二预定距离基本上相等，并且各自限定车道的宽度。

17.根据权利要求11所述的方法，其中预测分配给所述多条车道线的预定车道线类型的多个值还包括：

预测所述多条车道线中的每条车道线的至少十个值，其中所述十个值对应于至少十个预定车道线类型。

18.根据权利要求17所述的方法，其中确定分配给所述多条车道线中的每条车道线的所述预定车道线类型的所述多个值中的每个值的最大置信值还包括：

确定分配给所述多条车道线的所述至少十个值中哪个值具有最高数值置信值，其中所述最高数值置信值是每条所述车道线为所述预定车道线类型中一种特定类型的最高概率。

19.根据权利要求18所述的方法，其中为所述多条车道线中的每条车道线提取与所述最大置信值相对应的车道线标签还包括：

将车道线标签分配给所述多条车道线中的每条车道线，所述车道线标签包括以下中的一种或多种：

无车道线；

未知车道线；

第一颜色虚线车道线；

第一颜色实线车道线；

第二颜色虚线车道线；

第二颜色实线车道线；

第二颜色虚线和第二颜色实线车道线；

第二颜色实线和第二颜色虚线车道线；

第二颜色双实线车道线；和

应急车道线；

其中所述第二颜色与所述第一颜色不同。

20.一种用于利用神经网络预测车道线类型的系统，所述系统包括：

车辆，具有设置在所述车辆上的至少一个前向摄像机，所述至少一个前向摄像机捕获所述车辆前方的预定视场中的光学信息；

控制模块，设置在所述车辆内并且具有处理器、存储器以及一个或多个输入/输出(I/O)端口；所述I/O端口从所述至少一个前向摄像机接收输入数据；所述处理器执行存储在所述存储器内的编程控制逻辑，所述编程控制逻辑包括：

第一控制逻辑，用于从所述一个或多个光学传感器接收未裁剪的光学信息；

第二控制逻辑，用于通过仅保留包含路面的部分所述光学信息来减小所述光学信息的尺寸，从而将所述光学信息裁剪为预定尺寸；

第三控制逻辑，使裁剪后的光学信息通过包括四个卷积层和三个全连接层的神经网络；

第四控制逻辑，用于通过在所述四个卷积层中的每一个中将光学信息进行滤波来反复地减小所述裁剪后的光学信息的尺寸；

第五控制逻辑，用于在每次对所述裁剪后的光学信息进行连续尺寸减小后池化所述光学信息；

第六控制逻辑，用于将所述裁剪后的光学信息的提取特征映射到分配给所述三个全连接层中的每一层中的预定车道线类型的多个值；

第七控制逻辑，用于对所述光学信息进行评估以检测所述光学信息中的多条车道线的位置；

第八控制逻辑，用于预测分配给所述多条车道线的预定车道线类型的多个值；

第九控制逻辑，用于确定分配给所述多条车道线中的每条车道线的所述预定车道线类型的所述多个值中的每个值的最大置信值；和

第十控制逻辑，用于为所述多条车道线中的每条车道线提取与所述最大置信值相对应的车道线标签。

Images