CN116259021A - 一种车道线检测方法、存储介质和电子设备 - Google Patents

Abstract

本申请实施例提供一种车道线检测方法、存储介质和电子设备,涉及驾驶系统技术领域。车道线检测方法包括：S1.获取车道线图像；S2.根据所述车道线图像，利用网络模型定位车道线的特征像素点；其中，所述特征像素点为表征车道线的位置的像素点；S3.根据所述车道线图像，利用网络模型确定每个像素点的线型类别，所述线型类别包括车道线类别和非车道线类别；S4.根据所述特征像素点和线型类别为车道线类别的像素点，输出检测结果。该方法能获取到全局特征下的感受野、适应遮挡、光照等复杂场景，能避免车道线特征像素点获取后的后处理过程，实现输出一个让高级辅助驾驶系统端或自动驾驶系统端易于处理的检测结果。

Description

一种车道线检测方法、存储介质和电子设备

技术领域

本申请涉及驾驶系统技术领域，尤其涉及车道线检测方法、存储介质和电子设备。

背景技术

车道线检测技术由于具备识别、定位道路车道标记的功能，一直成为自动驾驶和高级辅助驾驶系统的重要组成部分。在车道偏离预警、车道保持等高级辅助驾驶应用中，准确的车道线位置信息常常是上述功能稳定、可靠运行的关键。

现有的车道线检测技术大多是在图像坐标系下获取车道线的特征点，而获取特征点的方式有基于传统计算机视觉和基于深度学习两种方式。这两种方法获取到的车道线均是以离散点的形式存在，常需要聚类、离群点去除等方法进行后处理后，才能将车道线特征点聚合到具有实例信息的车道线，进而输入给后续的应用。

与此同时，现有的车道线检测方法，即便在完成了聚类后处理获取到每条车道线的实例信息后，也仅给出了所属车道线的位置类别属性，这无法满足部分高级辅助驾驶系统及自动驾驶系统的需要。

因此，如何避免复杂的后处理得到车道线的检测结果，是需要解决的技术问题。

发明内容

本申请的目的在于提供一种车道线检测方法和电子设备，以解决现有技术中如何避免复杂的后处理得到车道线的检测结果的技术问题。

为实现上述目的，本申请实施例采取了如下技术方案。

第一方面，本申请实施例提供一种车道线检测方法，包括：

获取车道线图像；

根据所述车道线图像，利用网络模型定位车道线的特征像素点；其中，所述特征像素点为表征车道线的位置的像素点；

根据所述车道线图像，利用所述网络模型确定每个像素点的线型类别，所述线型类别包括车道线类别和非车道线类别；

根据所述特征像素点和线型类别为车道线类别的像素点，输出检测结果。

可选地，所述特征像素点包括本车道左边线特征像素点、本车道右边线特征像素点、左车道左边线特征像素点和右车道右边线特征像素点。

可选地，根据所述车道线图像，定位车道线的特征像素点的步骤包括：

提取所述车道线图像的目标像素行；

根据所述目标像素行，定位车道线的特征像素点。

可选地，提取所述车道线图像的目标像素行的步骤包括：

将所有像素行确定为所述目标像素行；或

利用网络模型进行行分类，将第一类行确定为所述目标像素行；或

确定第一目标行，从所述第一目标行开始，每隔预设数量的一行像素确定为所述目标像素行。

可选地，根据所述特征像素点和线型类别为车道线类别的像素点，输出检测结果的步骤包括：

对所述目标像素行的特征像素点进行赋类别值，所述类别值表征该点的车道线类别的信息，根据每个像素点的值输出检测结果。

可选地，所述类别值的数量≥4，所述类别值表征的该点的车道线类别的信息包括：白色实线、白色虚线、黄色实线和黄色虚线。

可选地，根据每个像素点的值输出检测结果的步骤包括：

根据每个像素点的值，输出一个矩阵，所述矩阵的行数等于所述目标像素行数，所述矩阵的列数为4，4列数据分别表征本车道左边线、本车道右边线、左车道左边线和右车道右边线4条线的特征像素点的位置和车道线类别；其中，若检测到缺少一条车道线则该列赋值为预设的第一值。

可选地，在获取车道线图像的步骤之前，所述方法还包括：训练网络模型。

可选地，训练网络模型的步骤包括：

获取待训练车道线图像，以及所述待训练车道线图像对应的车道线的特征像素点标注信息和车道线的类别标注信息；

根据所述待训练车道线图像和对应的车道线的特征像素点标注信息和车道线的类别标注信息，对所述网络模型进行训练。

可选地，所述网络模型包括：

主干网络部分，用于提取图像的高级语义特征信息；

车道线检测分支，用于根据所述图像的高级语义特征信息，定位车道线的特征像素点，所述车道线检测分支可以为全连接的分类网络；

车道线分类分支，用于根据所述图像的高级语义特征信息，确定像素点的线型类别。

第二方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被计算装置执行时，实现第一方面的车道线检测方法。

第三方面，本申请实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器与所述处理器电性连接，所述存储器中存储有可执行程序，所述处理器在执行所述可执行程序时，实现第一方面的车道线检测方法。

相对于现有技术，本申请具有以下有益效果：

本申请中的车道线检测方法首先避免了上述对车道线特征点所做的后处理，从而能减少算法整体流程的计算量，其次能在获取车道线类别属性、位置属性的同时实现输出一个让高级辅助驾驶系统端或自动驾驶系统端易于处理的检测结果，也简化了算法的整体流程，降低了算法的开发难度和成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种电子设备示意图；

图2为本申请实施例提供的一种车道线检测方法流程示意图；

图3为本申请实施例提供的一种定位车道线的特征像素点的流程图；

图4为本申请实施例的确定目标像素行的流程图；

图5为本申请实施例的网络模型的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

在本申请的描述中，需要说明的是，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。

如图1所示，是本申请实施例提供的电子设备10的方框示意图。本申请实施例中的电子设备10可以为车辆搭载的高级辅助驾驶系统及自动驾驶系统中的电子设备。如图1所示，电子设备10包括：存储器11和处理器12。

所述存储器11、处理器12相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器11中存储程序或指令，所述处理器12通过运行存储在存储器11内的软件程序或指令，从而执行各种功能应用以及数据处理，即实现本申请实施例中的车道线检测方法。

其中，所述存储器11可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器11用于存储程序，所述处理器12在接收到执行指令后，执行所述程序。

所述处理器12可能是一种集成电路芯片，具有数据的处理能力。上述的处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解，图1所示的结构仅为示意，电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种可读存储介质，所述可读存储介质包括计算机程序。所述计算机程序运行时控制所述可读存储介质所在电子设备10执行下面的车道线检测方法。

请参阅图2，是本申请较佳实施例提供的一种车道线检测方法的流程图，车道线检测方法包括：

S1.获取车道线图像；

S2.根据所述车道线图像，利用网络模型定位车道线的特征像素点；其中，所述特征像素点为表征车道线的位置的像素点；

S3.根据所述车道线图像，利用网络模型确定每个像素点的线型类别，所述线型类别包括车道线类别和非车道线类别；

S4.根据所述特征像素点和线型类别为车道线类别的像素点，输出检测结果。

本申请实施例利用网络模型定位出车道线的特征像素点、确定出每个像素点的线型类别，从而避免了聚类、离群点去除等方法进行后处理的过程，本申请实施例能用更简易的方式得到检测结果。

步骤S1中，获取的车道线图像可以说车载摄像头获取的前方道路的影像，影像可以是图片或视频的一帧图像。前方道路通常有车道线，即本申请的检测对象。利用车载摄像头获取的前方道路的实时影像进行分析，进而可以将输出的检测结果用于高级辅助驾驶系统及自动驾驶系统的需要。

获取车道线图像之后，步骤S2中，可以对车道线的特征像素点进行定位，即找出车道线是在图像中的哪些像素点。

可以对图像中各个像素点的位置进行编号，例如像素点的位置编号可以编成整数值的形式例如n个像素对应编号1～n，可以编成(m，n)坐标的形式，m代表像素在第m行，n代表像素在第n列。对车道线的特征像素点进行定位可以是列出代表车道线的点的位置编号。

步骤S3可以在S2之后也可以与S2同时进行，分为以下两种情况：

1)如果同时进行，可以利用同一个网络模型，对网络模型输入车道线图像，网络模型输出车道线的特征像素点的定位和每个像素点的线型类别，而后可以将“不是特征像素点的像素点”的线型类别设置为“非车道线类别”，将“是特征像素点的像素点”的线型类别设置为“车道线类别”，“车道线类别”又可以分为不同的细分种类，例如白色实线、白色虚线、黄色实线和黄色虚线；

2)如果在S2之后进行，也可以利用一个网络模型，先确定出车道线的特征像素点，而后确定这些特征像素点的线型类别。

本申请的一个重要发明点是，步骤S2和S3的处理可以是基于车道线图像的一些目标像素行，而非整个车道线图像，这样所需要处理的像素点的数量大大减少。

例如图3，步骤S2可包括：

S2-1.提取所述车道线图像的目标像素行；

S2-2.根据所述目标像素行，定位车道线的特征像素点。

步骤S3可包括：根据所述目标像素行，利用所述网络模型确定目标像素行中的每个像素点的线型类别，或利用所述网络模型确定目标像素行中的每个特征像素点的线型类别。

步骤S2-1中，可以将所述车道线图像的每一行逐行提取，即所述车道线图像的所有行均为目标像素行；也可以按隔行或者隔n行的方式提取，具体地，如图4，步骤S2-1可包括：

S2-1-1.确定第一目标行；

S2-1-2.从所述第一目标行开始，每隔预设数量的一行像素确定为所述目标像素行。预设数量可以是1或者大于1的自然数。

例如，图像的第3行像素为第一目标行，每隔2个一行像素确定为所述目标像素行，则得到目标像素行为第3、6、9…行像素。

确定了目标像素行之后，可以仅仅对目标像素行的像素点进行处理，而忽略其他像素行的像素点。

为了进一步输出检测结果，可以对所述目标像素行的特征像素点进行赋类别值，所述类别值表征该点的车道线类别的信息，根据每个像素点的值输出检测结果。

例如，对于类别值可以为10、20、30、40，分别代表白色实线、白色虚线、黄色实线和黄色虚线。还可以对特征像素点以外的点赋值为0，代表非车道线的像素点。

还可以赋位置值，位置值表示该像素点属于车道线的哪一条的位置，例如01、02、03、04可以分别表示本车道左边线、本车道右边线、左车道左边线和右车道右边线4条线。

可以将位置值和类别值组合成一个值，例如0110、0210分别表示本车道左边线白色实线、本车道右边线白色实线。

输出的检测结果可以是一个矩阵的形式。矩阵的每一行可以是每一个目标像素行，即矩阵的行数等于所述目标像素行数，每一行中的每个值可以是每个像素的位置值和类别值。

还可以进一步减少数据、优化数据结构，保留矩阵的每一行代表每一个目标像素行，每一行可以仅保留4个值，每个值包含表征本车道左边线、本车道右边线、左车道左边线和右车道右边线4条线的特征像素点的位置和车道线类别，例如01,0010,10代表本车道左边线位于该像素行编号为0010的像素点，且是白色实线。

其中，若检测到缺少一条车道线则该列赋值为预设的第一值。例如第一值可以是0，或者-1。例如矩阵的一行为:

[-1 01,0010,10 02,0010,10-1]

这样一行可以代表没有检测到只检测到了本车道左边线白色实线、本车道右边线白色实线，没有检测到本车道左边有任何车道、本车道右边有任何车道。

上述步骤所用到的网络模型可以通过训练取得，训练网络模型的步骤可以设置在获取车道线图像的步骤之前，网络模型训练的步骤可包括：

获取待训练车道线图像，以及所述待训练车道线图像对应的车道线的特征像素点标注信息和车道线的类别标注信息；

根据所述待训练车道线图像和对应的车道线的特征像素点标注信息和车道线的类别标注信息，对所述网络模型进行训练。

上述网络模型可以是基于卷积神经网络的多任务网络模型，该网络模型的简易结构示意图如图5所示。

预先准备待训练车道线图像，并且预先准备待训练车道线图像的实例标签，这里的实例标签可以包括：车道线实例的标注掩码，车道线实例的标注掩码中逐点的位置值作为位置属性标签，以及类别值作为类别属性标签。

主干网络部分(即图中“特征提取骨干网络”)用于提取输入图像的高级语义特征信息(即根据图中输入的待训练车道线图像和待训练车道线图像的实例标签，提取待训练车道线图像中的高级语义特征信息，高级语义特征信息为张量的形式。提取高级语义特征信息的过程，可以是对不同的图片，例如3×640×480的图片、3×1280×720的图片均得到一个128×80×80的张量)，可采用VGG、Resnet50等主流网络模型的主干网络部分，在实际中这些可由本领域技术人员根据实际项目需求自由选择、设置。

该网络模型的分类分支可以包括车道线检测分支和车道线分类分支，车道线检测分支和车道线分类分支可以是两部分代码的形式。特征提取骨干网络得到的张量可以输入到车道线检测分支和车道线分类分支。车道线检测分支即用来定位车道线的特征像素点，将像素点分类为特征像素点和非特征像素点，车道线分类分支即用来确定像素点的线型类别例如白色实线、白色虚线、黄色实线和黄色虚线等。随后，二者的结果可以整合在一起，作为车道线检测结果输出。因此该网络模型的分类分支，可以采用多类别的语义分割方法，车道线掩码的类别属性标签可作为分类分支的监督信息。

车道线检测分支和车道线分类分支可采用行采样(逐行或隔n行提取)和行分类的方法，行分类可以是训练对行进行分类，将行分类为第一类行和第二类行，或者分类为重点行和非重点行，然后进一步提取重点行或者第一类行，进行分析。

可以将车道线检测分支设计为全连接的分类网络。即结合图像的全局信息(而非采用预设的锚框或基于锚点的目标检测方法，因此获取到了图像全局特征下的感受野，提高了本方法在遮挡、光照等复杂场景下的适应性)用整个车道线检测分支对图像的全局整体判断特定行的车道线特征像素点位置。

最终网络模型输出的结果还可以按照级联的方式，第一级为本车道左边线、本车道右边线、左车道左边线和右车道右边线的位置，第二级为本车道左边线、本车道右边线、左车道左边线和右车道右边线各自属于白色实线、白色虚线、黄色实线或黄色虚线。

总体来说，本申请提出了一种车道线检测方法、存储介质和电子设备。可以达到以下有益效果：

1、相比于已有的基于预设锚框或者基于锚点的目标检测方法难以得到准确的检测结果，通过对整个车道线图像的检测，或对车道线图像按规律提取的目标像素行检测，车道线的检测获取到了全局特征下的感受野，能适应遮挡、光照等复杂场景；

2、避免了车道线特征像素点获取后的后处理过程，实现输出一个让高级辅助驾驶系统端或自动驾驶系统端易于处理的检测结果；

3、同时输出了车道线的左边线、右边线等位置属性和黄、白、实线、虚线等类别属性，便于后续的相关应用。

以上所描述的装置及系统实施例仅仅是示意性的，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (12)

1.一种车道线检测方法，其特征在于，包括：

获取车道线图像；

根据所述车道线图像，利用网络模型定位车道线的特征像素点；其中，所述特征像素点为表征车道线的位置的像素点；

根据所述车道线图像，利用所述网络模型确定每个像素点的线型类别，所述线型类别包括车道线类别和非车道线类别；

根据所述特征像素点和线型类别为车道线类别的像素点，输出检测结果。

2.如权利要求1所述的车道线检测方法，其特征在于，所述特征像素点包括本车道左边线特征像素点、本车道右边线特征像素点、左车道左边线特征像素点和右车道右边线特征像素点。

3.如权利要求1所述的车道线检测方法，其特征在于，根据所述车道线图像，定位车道线的特征像素点的步骤包括：

提取所述车道线图像的目标像素行；

根据所述目标像素行，定位车道线的特征像素点。

4.如权利要求3所述的车道线检测方法，其特征在于，提取所述车道线图像的目标像素行的步骤包括：

将所有像素行逐行确定为所述目标像素行；或

利用网络模型进行行分类，将第一类行确定为所述目标像素行；或

确定第一目标行，从所述第一目标行开始，每隔预设数量的一行像素确定为所述目标像素行。

5.如权利要求3所述的车道线检测方法，其特征在于，根据所述特征像素点和线型类别为车道线类别的像素点，输出检测结果的步骤包括：

对所述目标像素行的特征像素点进行赋类别值，所述类别值表征该点的车道线类别的信息，根据每个像素点的值输出检测结果。

6.如权利要求5所述的车道线检测方法，其特征在于，所述类别值的数量≥4，所述类别值表征的该点的车道线类别的信息包括：白色实线、白色虚线、黄色实线和黄色虚线。

7.如权利要求6所述的车道线检测方法，其特征在于，根据每个像素点的值输出检测结果的步骤包括：

根据每个像素点的值，输出一个矩阵，所述矩阵的行数等于所述目标像素行数，所述矩阵的列数为4，4列数据分别表征本车道左边线、本车道右边线、左车道左边线和右车道右边线4条线的特征像素点的位置和车道线类别；其中，若检测到缺少一条车道线则该列赋值为预设的第一值。

8.如权利要求1所述的车道线检测方法，其特征在于，在获取车道线图像的步骤之前，所述方法还包括：训练网络模型；

训练网络模型的步骤包括：

获取待训练车道线图像，以及所述待训练车道线图像对应的车道线的特征像素点标注信息和车道线的类别标注信息；

根据所述待训练车道线图像和对应的车道线的特征像素点标注信息和车道线的类别标注信息，对所述网络模型进行训练。

9.如权利要求8所述的车道线检测方法，其特征在于，所述网络模型包括：

主干网络部分，用于提取图像的高级语义特征信息；

车道线检测分支，用于根据所述图像的高级语义特征信息，定位车道线的特征像素点；

车道线分类分支，用于根据所述图像的高级语义特征信息，确定像素点的线型类别。

10.如权利要求9所述的车道线检测方法，其特征在于，所述车道线检测分支为全连接的分类网络。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被计算装置执行时，实现如权利要求1-10中任一项所述的方法。

12.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器与所述处理器电性连接，所述存储器中存储有可执行程序，所述处理器在执行所述可执行程序时，实现如权利要求1-10任一项所述的方法。

Images