CN116152761B - 车道线检测方法及装置 - Google Patents

Abstract

本公开关于一种车道线检测方法及装置，涉及车辆技术、自动驾驶领域，通过基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；基于第二车道线检测结果生成第二车道线3D模型；对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。本申请以多模态思想，同时采用2D图像建模和点云数据建模进行融合，最终得到的目标车道线3D模型能够得到更准确的车道线，为车辆驾驶提供准确依据，有助于汽车安全驾驶。

Description

车道线检测方法及装置

技术领域

本公开涉及车辆技术、自动驾驶领域，尤其涉及一种车道线检测方法及装置。

背景技术

自动驾驶汽车需要感知不同颜色以及在不同的光照条件下的车道线，依靠车道线检测技术能够指导车辆在正确的区域进行行驶，为自动驾驶汽车的自动巡航、车道保持、车道超车等行为提供依据，当车辆偏离车道时可为驾驶员提供预警，有助于汽车安全驾驶。车道线的颜色、形态有很多不确定性，车道线检测往往会受到阴影，眩光，遮挡，磨损，道路颜色的细微变化，周围建筑物和车辆的遮挡和线条的轻微障碍物等影响，获取准确的车道线，是一个亟待解决的问题。

发明内容

本公开提供一种车道线检测方法及装置，以至少解决相关技术中获得的车道线不够准确的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种车道线检测方法，包括：基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；基于第二车道线检测结果生成第二车道线3D模型；对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。

在一些实施例中，对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型，包括：对第一车道线3D模型和第二车道线3D模型进行点云配准，确定配准后的车道线检测点对，其中，车道线检测点对中包括一个第一车道线3D模型中的第一车道线检测点和一个第二车道3D模型中的第二车道线检测点；确定属于车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对；保留第一车道线检测点对中第一车道线检测点的位置信息，并将第二车道线检测点对中第一车道线检测点的位置信息更新为第二车道线检测点的位置信息，生成目标车道线3D模型。

在一些实施例中，位置信息包括2D位置信息和高度信息，车道线检测方法还包括：确定第一车道线检测点对中第二车道线检测点的高度信息；保留第一车道线检测点对中第一车道线检测点的2D位置信息，并将第一车道线检测点的高度信息更新为第二车道线检测点的高度信息。

在一些实施例中，确定属于车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对，包括：获取第一车道线检测点的颜色信息和第一车道线3D模型中其他道路元素的检测点的颜色信息；根据第一车道线检测点的颜色信息和其他道路元素的检测点的颜色信息，对车道线检测点对进行区分，得到第一车道线检测点对和第二车道线检测点对。

在一些实施例中，对采集的2D图像进行车道线检测，得到第一车道线检测结果，包括：对每个图像采集装置采集的2D图像进行车道线检测，获取2D车道线检测点；对每个图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点；对异常2D车道线检测点进行剔除，得到第一车道线检测结果。

在一些实施例中，基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型，包括：对第一车道线检测结果按照车道线位置进行分组；确定分组i中每个第一车道线检测结果所属的图像采集装置，得到每个图像采集装置在车道线位置i处的第一车道线检测结果组，其中，分组i对应车道线位置i；确定第一车道线检测结果组对应的2D图像集合和2D图像集合中每个2D图像的采集位置；根据采集位置和车道线位置i，对2D图像集合中的2D图像进行筛选，得到车道线位置i对应的目标2D图像；基于双目视觉原理，对目标2D图像和目标2D图像的第一车道线检测结果进行车道线建模，生成第一车道线3D模型。

在一些实施例中，根据采集位置和车道线位置i，对2D图像集合中的2D图像进行筛选，得到车道线位置i对应的目标2D图像，包括：针对第k个图像采集装置对应的2D图像集合k，获取每个采集位置与车道线位置i的距离，得到第k个图像采集装置对应的距离集合k，其中，k为大于或者等于2的整数，小于或者等于图像采集装置的总数；从距离集合k中选取距离小于或者等于距离阈值的2D图像，作为车道线位置i对应的第k个图像采集装置的目标2D图像。

在一些实施例中，对点云数据进行车道线检测，得到第二车道线检测结果，包括：对连续多帧点云数据进行滑窗操作；对处于滑窗内的点云数据进行融合，得到融合点云数据；对融合点云数据进行车道线检测，得到第二车道线检测结果。

根据本公开实施例的第二方面，提供一种车道线检测装置，包括：第一检测模块，用于基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；第一建模模块，用于基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；第二检测模块，用于采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；第二建模模块，用于基于第二车道线检测结果生成第二车道线3D模型；融合模块，用于对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。

在一些实施例中，融合模块，还用于：对第一车道线3D模型和第二车道线3D模型进行点云配准，确定配准后的车道线检测点对，其中，车道线检测点对中包括一个第一车道线3D模型中的第一车道线检测点和一个第二车道3D模型中的第二车道线检测点；确定属于车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对；保留第一车道线检测点对中第一车道线检测点的位置信息，并将第二车道线检测点对中第一车道线检测点的位置信息更新为第二车道线检测点的位置信息，生成目标车道线3D模型。

在一些实施例中，融合模块，还用于：确定第一车道线检测点对中第二车道线检测点的高度信息；保留第一车道线检测点对中第一车道线检测点的2D位置信息，并将第一车道线检测点的高度信息更新为第二车道线检测点的高度信息。

在一些实施例中，融合模块，还用于：获取第一车道线检测点的颜色信息和第一车道线3D模型中其他道路元素的检测点的颜色信息；根据第一车道线检测点的颜色信息和其他道路元素的检测点的颜色信息，对车道线检测点对进行区分，得到第一车道线检测点对和第二车道线检测点对。

在一些实施例中，第一检测模块，还用于：对每个图像采集装置采集的2D图像进行车道线检测，获取2D车道线检测点；对每个图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点；对异常2D车道线检测点进行剔除，得到第一车道线检测结果。

在一些实施例中，第一建模模块，还用于：对第一车道线检测结果按照车道线位置进行分组；确定分组i中每个第一车道线检测结果所属的图像采集装置，得到每个图像采集装置在车道线位置i处的第一车道线检测结果组，其中，分组i对应车道线位置i；确定第一车道线检测结果组对应的2D图像集合和2D图像集合中每个2D图像的采集位置；根据采集位置和车道线位置i，对2D图像集合中的2D图像进行筛选，得到车道线位置i对应的目标2D图像；基于双目视觉原理，对目标2D图像和目标2D图像的第一车道线检测结果进行车道线建模，生成第一车道线3D模型。

在一些实施例中，第一建模模块，还用于：针对第k个图像采集装置对应的2D图像集合k，获取每个采集位置与车道线位置i的距离，得到第k个图像采集装置对应的距离集合k，其中，k为大于或者等于2的整数，小于或者等于图像采集装置的总数；从距离集合k中选取距离小于或者等于距离阈值的2D图像，作为车道线位置i对应的第k个图像采集装置的目标2D图像。

在一些实施例中，第二检测模块，还用于：对连续多帧点云数据进行滑窗操作；对处于滑窗内的点云数据进行融合，得到融合点云数据；对融合点云数据进行车道线检测，得到第二车道线检测结果。

根据本公开实施例的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本申请第一方面实施例所述的车道线检测方法。

根据本公开实施例的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本申请第一方面实施例所述的车道线检测方法。

根据本公开实施例的第五方面，提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本申请第一方面实施例所述的车道线检测方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本申请以多模态思想，同时采用2D图像建模和点云数据建模进行融合，避免了单独采用点云数据建模远处的点云较少造成车道线检测效果不好的情况，也避免了单独采用2D图像建模在面临崎岖路面的情况时车道线检测效果不好的情况，本申请最终得到的目标车道线3D模型能够得到更准确的车道线，为车辆驾驶提供准确依据，有助于汽车安全驾驶。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种车道线检测方法的示例性实施方式。

图2是根据一示例性实施例示出的一种车道线检测方法的示例性实施方式。

图3是根据一示例性实施例示出的一种车道线检测方法的示例性实施方式。

图4是根据一示例性实施例示出的一种车道线检测装置的示意图。

图5是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是本申请示出的一种车道线检测方法的示例性实施方式，如图1所示，该车道线检测方法，包括以下步骤：

S101，基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果。

基于至少两个图像采集装置，对道路以及道路前方的物体进行2D图像采集，不难理解的，由于采集的对象是道路以及道路前方的物体，道路上有车道线，故采集的2D图像中包括有车道线。其中，车道线指的是道路上的用于指示车辆行驶的线，比如说白实线，黄实线，网格线，直行线等。

在获取到采集的2D图像之后，对采集的2D图像进行车道线检测，得到第一车道线检测结果。可选地，在对采集的2D图像进行车道线检测时，可采用基于霍夫变换的车道线检测、基于俯视图变换的车道线检测等方法。

可选地，本申请提出的车道线检测方法可适用于在目标车道线3D模型训练阶段对真值的采集。

可选地，将待进行车道线检测的车辆作为目标车辆，本申请提出的车道线检测方法也可适用于目标车辆在行驶过程中实时对道路上的车道线进行检测。

S102，基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型。

根据上述获得的第一车道线检测结果进行车道线建模，将生成的车道线3D模型作为第一车道线3D模型。

S103，采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果。

在图像采集装置采集2D图像的同时，基于预先安装的激光传感器，对车辆前方进行点云数据的采集，并对点云数据进行车道线检测，得到第二车道线检测结果。

可选地，当本申请提出的车道线检测方法用于在目标车道线3D模型训练阶段对真值的采集时，激光传感器安装在采集车辆前方。

可选地，当本申请提出的车道线检测方法用于目标车辆在行驶过程中实时对道路上的车道线进行检测时，激光传感器安装在目标车辆前方。

S104，基于第二车道线检测结果生成第二车道线3D模型。

根据上述获得的第二车道线检测结果进行车道线建模，将生成的车道线3D模型作为第二车道线3D模型。

S105，对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。

对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。

可选地，可对第一车道线3D模型和第二车道线3D模型进行点云配准，并将根据配准后的车道线检测点对生成目标车道线3D模型。

本申请实施例提出了一种车道线检测方法，通过基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；基于第二车道线检测结果生成第二车道线3D模型；对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。本申请以多模态思想，同时采用2D图像建模和点云数据建模进行融合，避免了单独采用点云数据建模远处的点云较少造成车道线检测效果不好的情况，也避免了单独采用2D图像建模在面临崎岖路面的情况时车道线检测效果不好的情况，本申请最终得到的目标车道线3D模型能够得到更准确的车道线，为车辆驾驶提供准确依据，有助于汽车安全驾驶。

图2是本申请示出的一种车道线检测方法的示例性实施方式，如图2所示，该车道线检测方法，包括以下步骤：

S201，基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果。

基于至少两个图像采集装置，对道路以及道路前方的物体进行2D图像采集，不难理解的，由于采集的对象是道路以及道路前方的物体，道路上有车道线，故采集的2D图像中包括有车道线。其中，车道线指的是道路上的用于指示车辆行驶的线，比如说白实线，黄实线，网格线，直行线等。

在获取到采集的2D图像之后，对采集的2D图像进行车道线检测，得到第一车道线检测结果。可选地，在对采集的2D图像进行车道线检测时，可采用基于霍夫变换的车道线检测、基于俯视图变换的车道线检测等方法。

S202，基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型。

基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型。具体过程如下：

对第一车道线检测结果按照车道线位置进行分组，每个车道线位置对应一个分组，车道线位置i对应分组i，i为大于等于1的正整数。车道线位置指的是车道线所在的具体位置，也可以理解为第几条车道线，比如说可将从马路左边边沿算起，从左往右数，第一条车道线的位置视为车道线位置1，第二条车道线的位置视为车道线位置2，以此类推。

由于本申请中，包含至少两个图像采集装置，故需要确定分组i中每个第一车道线检测结果所属的图像采集装置，得到每个图像采集装置在车道线位置i处的车道线检测结果组作为第一车道线检测结果组。

由于距离较远的车道线会因为反光，遮挡等原因导致车道线检测结果不够精确，本申请中，需要确定第一车道线检测结果组对应的2D图像集合和2D图像集合中每个2D图像的采集位置。

根据采集位置和车道线位置i，对2D图像集合中的2D图像进行筛选，得到车道线位置i对应的目标2D图像。具体的，针对第k个图像采集装置对应的2D图像集合k，获取每个采集位置与车道线位置i的距离，得到第k个图像采集装置对应的距离集合k，其中，k为用于描述图像采集装置的标识信息数字，k为大于或者等于2的整数，小于或者等于图像采集装置的总数。设定一个距离阈值，从距离集合k中选取距离小于或者等于距离阈值的2D图像，作为车道线位置i对应的第k个图像采集装置的目标2D图像。

基于双目视觉原理，对目标2D图像和目标2D图像的第一车道线检测结果进行车道线建模，生成第一车道线3D模型。

示例性的，假设说包括A和B两个图像采集装置，则分组i中包括图像采集装置A对应的M个第一车道线检测结果，还包括图像采集装置B对应的N个第一车道线检测结果，都是关于车道线位置i的，对分组i中所有第一车道线检测结果，以图像采集装置的角度进行分组，得到每个图像采集装置在车道线位置i处的车道线检测结果组作为第一车道线检测结果组，确定第一车道线检测结果组对应的2D图像集合和2D图像集合中每个2D图像的采集位置。根据采集位置和车道线位置i，对2D图像集合中的2D图像进行筛选，得到车道线位置i对应的目标2D图像。

S203，采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果。

在图像采集装置采集2D图像的同时，基于预先安装的激光传感器，对车辆前方进行点云数据的采集，并对点云数据进行车道线检测，得到第二车道线检测结果。

S204，基于第二车道线检测结果生成第二车道线3D模型。

根据上述获得的第二车道线检测结果进行车道线建模，将生成的车道线3D模型作为第二车道线3D模型。

S205，对第一车道线3D模型和第二车道线3D模型进行点云配准，确定配准后的车道线检测点对，其中，车道线检测点对中包括一个第一车道线3D模型中的第一车道线检测点和一个第二车道3D模型中的第二车道线检测点。

在上述获得2D图像对应的第一车道线3D模型以及点云数据对应的第二车道线3D模型之后，对第一车道线3D模型和第二车道线3D模型进行点云配准，确定配准后的车道线检测点对。

其中，将车道线检测点对中包括的2D图像对应的第一车道线3D模型中的一个车道线检测点作为第一车道线检测点，将车道线检测点对中包括的点云数据对应的第二车道3D模型中的一个车道线检测点作为第二车道线检测点。每个车道线检测点对中包括一个第一车道线检测点和一个第二车道线检测点。

S206，确定属于车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对。

由于车道线总是与路面颜色不同，比如说，车道线为白色或者黄色，路面为灰黑色，而2D图像相较于点云图像对车道线边缘的检测更为准确，本申请中，获取第一车道线检测点的颜色信息和第一车道线3D模型中其他道路元素的检测点的颜色信息，其中，其他道路元素可为除车道线之外的路面元素，比如说正常的沥青路面等。

根据第一车道线检测点的颜色信息和其他道路元素的检测点的颜色信息，对车道线检测点对进行区分，判断每个第一车道线检测点是否具有与其颜色信息不相同的相邻检测点，将具有颜色信息不同的相邻检测点的第一车道线检测点对应的车道线检测点对作为属于车道线边缘的第一车道线检测点对，将点云配准后得到的所有车道线检测点对中除属于车道线边缘的第一车道线检测点对之外的车道线检测点对作为第二车道线检测点对。

S207，保留第一车道线检测点对中第一车道线检测点的位置信息，并将第二车道线检测点对中第一车道线检测点的位置信息更新为第二车道线检测点的位置信息，生成目标车道线3D模型。

由于车道线上不可避免地会出现一些障碍物，比如说较小的石子等，而基于2D图像建模得到的第一车道线3D模型对于车道线的障碍物的识别相较于基于点云数据建模生成的第二车道线3D模型不够精确，本申请中，需要确定第一车道线检测点对中第二车道线检测点的高度信息，并保留第一车道线检测点对中第一车道线检测点的2D位置信息，并将第一车道线检测点的高度信息更新为第二车道线检测点的高度信息，以生成目标车道线3D模型。

本申请以多模态思想，同时采用2D图像建模和点云数据建模进行融合，避免了单独采用点云数据建模远处的点云较少造成车道线检测效果不好的情况，也避免了单独采用2D图像建模在面临崎岖路面的情况时车道线检测效果不好的情况，本申请最终得到的目标车道线3D模型能够得到更准确的车道线，为车辆驾驶提供准确依据，有助于汽车安全驾驶。

图3是本申请示出的一种车道线检测方法的示例性实施方式，如图3所示，该车道线检测方法，包括以下步骤：

S301，基于至少两个图像采集装置采集2D图像，并对每个图像采集装置采集的2D图像进行车道线检测，获取2D车道线检测点。

基于至少两个图像采集装置，对道路以及道路前方的物体进行2D图像采集，不难理解的，由于采集的对象是道路以及道路前方的物体，道路上有车道线，故采集的2D图像中包括有车道线。其中，车道线指的是道路上的用于指示车辆行驶的线，比如说白实线，黄实线，网格线，直行线等。

在获取到采集的2D图像之后，对采集的2D图像进行车道线检测，获取2D车道线检测点。

S302，对每个图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点。

对每个图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点。

示例性的，比如说某个2D车道线检测点明显的不合群，只是个别单点，距离2D车道线检测点形成的大批量聚集距离较远，可将该2D车道线检测点视为异常2D车道线检测点。

S303，对异常2D车道线检测点进行剔除，得到第一车道线检测结果。

对2D车道线检测点中的异常2D车道线检测点进行剔除，得到第一车道线检测结果。

S304，基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型。

关于步骤S304的具体实现方式，可参照上述实施例中相关部分的具体介绍，在此不再进行赘述。

S305，采集点云数据，并对连续多帧点云数据进行滑窗操作。

在图像采集装置采集2D图像的同时，基于预先安装的激光传感器，对车辆前方进行点云数据的采集。

由于点云数据是距离较近的点云比较密集，距离较远的点云比较稀疏，本申请中，为了提高第二车道线检测结果的准确性，需要对连续多帧点云数据进行滑窗操作。

S306，对处于滑窗内的点云数据进行融合，得到融合点云数据。

对处于滑窗内的点云数据进行融合，将融合后得到点云数据作为融合点云数据。

S307，对融合点云数据进行车道线检测，得到第二车道线检测结果。

对上述得到的融合点云数据进行车道线检测，得到第二车道线检测结果。

S308，基于第二车道线检测结果生成第二车道线3D模型。

S309，对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。

关于步骤S308～S309的具体实现方式，可参照上述实施例中相关部分的具体介绍，在此不再进行赘述。

本申请实施例提出了一种车道线检测方法，通过基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；基于第二车道线检测结果生成第二车道线3D模型；对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。本申请以多模态思想，同时采用2D图像建模和点云数据建模进行融合，避免了单独采用点云数据建模远处的点云较少造成车道线检测效果不好的情况，也避免了单独采用2D图像建模在面临崎岖路面的情况时车道线检测效果不好的情况，本申请最终得到的目标车道线3D模型能够得到更准确的车道线，为车辆驾驶提供准确依据，有助于汽车安全驾驶。

图4是本申请示出的一种车道线检测装置的示意图，如图4所示，该车道线检测装置400，包括第一检测模块401、第一建模模块402、第二检测模块403、第二建模模块404和融合模块405，其中：

第一检测模块401，用于基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；

第一建模模块402，用于基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；

第二检测模块403，用于采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；

第二建模模块404，用于基于第二车道线检测结果生成第二车道线3D模型；

融合模块405，用于对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。

本申请提出的车道线检测装置，包括：第一检测模块，用于基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；第一建模模块，用于基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；第二检测模块，用于采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；第二建模模块，用于基于第二车道线检测结果生成第二车道线3D模型；融合模块，用于对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。本装置以多模态思想，同时采用2D图像建模和点云数据建模进行融合，避免了单独采用点云数据建模远处的点云较少造成车道线检测效果不好的情况，也避免了单独采用2D图像建模在面临崎岖路面的情况时车道线检测效果不好的情况，本申请最终得到的目标车道线3D模型能够得到更准确的车道线，为车辆驾驶提供准确依据，有助于汽车安全驾驶。

在一些实施例中，融合模块405，还用于：对第一车道线3D模型和第二车道线3D模型进行点云配准，确定配准后的车道线检测点对，其中，车道线检测点对中包括一个第一车道线3D模型中的第一车道线检测点和一个第二车道3D模型中的第二车道线检测点；确定属于车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对；保留第一车道线检测点对中第一车道线检测点的位置信息，并将第二车道线检测点对中第一车道线检测点的位置信息更新为第二车道线检测点的位置信息，生成目标车道线3D模型。

在一些实施例中，融合模块405，还用于：确定第一车道线检测点对中第二车道线检测点的高度信息；保留第一车道线检测点对中第一车道线检测点的2D位置信息，并将第一车道线检测点的高度信息更新为第二车道线检测点的高度信息。

在一些实施例中，融合模块405，还用于：获取第一车道线检测点的颜色信息和第一车道线3D模型中其他道路元素的检测点的颜色信息；根据第一车道线检测点的颜色信息和其他道路元素的检测点的颜色信息，对车道线检测点对进行区分，得到第一车道线检测点对和第二车道线检测点对。

在一些实施例中，第一检测模块401，还用于：对每个图像采集装置采集的2D图像进行车道线检测，获取2D车道线检测点；对每个图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点；对异常2D车道线检测点进行剔除，得到第一车道线检测结果。

在一些实施例中，第一建模模块402，还用于：对第一车道线检测结果按照车道线位置进行分组；确定分组i中每个第一车道线检测结果所属的图像采集装置，得到每个图像采集装置在车道线位置i处的第一车道线检测结果组，其中，分组i对应车道线位置i；确定第一车道线检测结果组对应的2D图像集合和2D图像集合中每个2D图像的采集位置；根据采集位置和车道线位置i，对2D图像集合中的2D图像进行筛选，得到车道线位置i对应的目标2D图像；基于双目视觉原理，对目标2D图像和目标2D图像的第一车道线检测结果进行车道线建模，生成第一车道线3D模型。

在一些实施例中，第一建模模块402，还用于：针对第k个图像采集装置对应的2D图像集合k，获取每个采集位置与车道线位置i的距离，得到第k个图像采集装置对应的距离集合k，其中，k为大于或者等于2的整数，小于或者等于图像采集装置的总数；从距离集合k中选取距离小于或者等于距离阈值的2D图像，作为车道线位置i对应的第k个图像采集装置的目标2D图像。

在一些实施例中，第二检测模块403，还用于：对连续多帧点云数据进行滑窗操作；对处于滑窗内的点云数据进行融合，得到融合点云数据；对融合点云数据进行车道线检测，得到第二车道线检测结果。

图5是根据一示例性实施例示出的一种电子设备500的框图。

如图5所示，上述电子设备500包括：

存储器501及处理器502，连接不同组件(包括存储器501和处理器502)的总线503，存储器501存储有计算机程序，当处理器502执行程序时实现本公开实施例的车道线检测方法。

总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备500典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器501还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存存储器505。电子设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。存储器501可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如存储器501中，这样的程序模块507包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本公开所描述的实施例中的功能和/或方法。

电子设备500也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，电子设备500还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器512通过总线503与电子设备500的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器502通过运行存储在存储器501中的程序，从而执行各种功能应用以及数据处理。

需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的车道线检测方法的解释说明，此处不再赘述。

为了实现上述实施例，本申请实施例还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机实现如上述实施例所示的车道线检测方法。可选的，非瞬时计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

为了实现上述实施例，本申请实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上述实施例所示的车道线检测方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种车道线检测方法，其特征在于，包括：

基于至少两个图像采集装置采集2D图像，并对采集的所述2D图像进行车道线检测，得到第一车道线检测结果；

基于所述第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；

采集点云数据，并对所述点云数据进行车道线检测，得到第二车道线检测结果；

基于所述第二车道线检测结果生成第二车道线3D模型；

对所述第一车道线3D模型和所述第二车道线3D模型进行点云配准，确定配准后的车道线检测点对，其中，所述车道线检测点对中包括一个所述第一车道线3D模型中的第一车道线检测点和一个所述第二车道线3D模型中的第二车道线检测点；

获取所述第一车道线检测点的颜色信息和所述第一车道线3D模型中其他道路元素的检测点的颜色信息；

根据所述第一车道线检测点的颜色信息和所述其他道路元素的检测点的颜色信息，对所述车道线检测点对进行区分，得到第一车道线检测点对和第二车道线检测点对；

保留所述第一车道线检测点对中所述第一车道线检测点的位置信息，并将所述第二车道线检测点对中所述第一车道线检测点的位置信息更新为所述第二车道线检测点的位置信息，生成目标车道线3D模型。

2.根据权利要求1所述的方法，其特征在于，所述位置信息包括2D位置信息和高度信息，所述方法还包括：

确定所述第一车道线检测点对中所述第二车道线检测点的高度信息；

保留所述第一车道线检测点对中所述第一车道线检测点的2D位置信息，并将所述第一车道线检测点的高度信息更新为所述第二车道线检测点的高度信息。

3.根据权利要求1所述的方法，其特征在于，所述对采集的所述2D图像进行车道线检测，得到第一车道线检测结果，包括：

对每个所述图像采集装置采集的2D图像进行车道线检测，获取2D车道线检测点；

对每个所述图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点；

对所述异常2D车道线检测点进行剔除，得到所述第一车道线检测结果。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于所述第一车道线检测结果进行车道线建模，以生成第一车道线3D模型，包括：

对所述第一车道线检测结果按照车道线位置进行分组；

确定所述分组i中每个第一车道线检测结果所属的图像采集装置，得到每个所述图像采集装置在车道线位置i处的第一车道线检测结果组，其中，所述分组i对应车道线位置i；

确定所述第一车道线检测结果组对应的2D图像集合和所述2D图像集合中每个2D图像的采集位置；

根据所述采集位置和所述车道线位置i，对所述2D图像集合中的2D图像进行筛选，得到所述车道线位置i对应的目标2D图像；

基于双目视觉原理，对所述目标2D图像和所述目标2D图像的第一车道线检测结果进行车道线建模，生成所述第一车道线3D模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述采集位置和所述车道线位置i，对所述2D图像集合中的2D图像进行筛选，得到所述车道线位置i对应的目标2D图像，包括：

针对第k个图像采集装置对应的2D图像集合k，获取每个所述采集位置与所述车道线位置i的距离，得到所述第k个图像采集装置对应的距离集合k，其中，所述k为大于或者等于2的整数，小于或者等于所述图像采集装置的总数；

从所述距离集合k中选取距离小于或者等于距离阈值的2D图像，作为所述车道线位置i对应的所述第k个图像采集装置的目标2D图像。

6.根据权利要求1-3中任一项所述的方法，其特征在于，所述对所述点云数据进行车道线检测，得到第二车道线检测结果，包括：

对连续多帧点云数据进行滑窗操作；

对处于所述滑窗内的点云数据进行融合，得到融合点云数据；

对所述融合点云数据进行车道线检测，得到所述第二车道线检测结果。

7.一种车道线检测装置，其特征在于，包括：

第一检测模块，用于基于至少两个图像采集装置采集2D图像，并对采集的所述2D图像进行车道线检测，得到第一车道线检测结果；

第一建模模块，用于基于所述第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；

第二检测模块，用于采集点云数据，并对所述点云数据进行车道线检测，得到第二车道线检测结果；

第二建模模块，用于基于所述第二车道线检测结果生成第二车道线3D模型；

融合模块，用于对所述第一车道线3D模型和所述第二车道线3D模型进行点云配准，确定配准后的车道线检测点对，其中，所述车道线检测点对中包括一个所述第一车道线3D模型中的第一车道线检测点和一个所述第二车道线3D模型中的第二车道线检测点；获取所述第一车道线检测点的颜色信息和所述第一车道线3D模型中其他道路元素的检测点的颜色信息；根据所述第一车道线检测点的颜色信息和所述其他道路元素的检测点的颜色信息，对所述车道线检测点对进行区分，得到第一车道线检测点对和第二车道线检测点对；保留所述第一车道线检测点对中所述第一车道线检测点的位置信息，并将所述第二车道线检测点对中所述第一车道线检测点的位置信息更新为所述第二车道线检测点的位置信息，生成目标车道线3D模型。

8.根据权利要求7所述的装置，其特征在于，所述融合模块，还用于：

确定所述第一车道线检测点对中所述第二车道线检测点的高度信息；

保留所述第一车道线检测点对中所述第一车道线检测点的2D位置信息，并将所述第一车道线检测点的高度信息更新为所述第二车道线检测点的高度信息。

9.根据权利要求7所述的装置，其特征在于，所述第一检测模块，还用于：

对每个所述图像采集装置采集的2D图像进行车道线检测，获取2D车道线检测点；

对每个所述图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点；

对所述异常2D车道线检测点进行剔除，得到所述第一车道线检测结果。

10.根据权利要求7-9中任一项所述的装置，其特征在于，所述第一建模模块，还用于：

对所述第一车道线检测结果按照车道线位置进行分组；

确定所述分组i中每个第一车道线检测结果所属的图像采集装置，得到每个所述图像采集装置在车道线位置i处的第一车道线检测结果组，其中，所述分组i对应车道线位置i；

确定所述第一车道线检测结果组对应的2D图像集合和所述2D图像集合中每个2D图像的采集位置；

根据所述采集位置和所述车道线位置i，对所述2D图像集合中的2D图像进行筛选，得到所述车道线位置i对应的目标2D图像；

基于双目视觉原理，对所述目标2D图像和所述目标2D图像的第一车道线检测结果进行车道线建模，生成所述第一车道线3D模型。

11.根据权利要求10所述的装置，其特征在于，所述第一建模模块，还用于：

针对第k个图像采集装置对应的2D图像集合k，获取每个所述采集位置与所述车道线位置i的距离，得到所述第k个图像采集装置对应的距离集合k，其中，所述k为大于或者等于2的整数，小于或者等于所述图像采集装置的总数；

从所述距离集合k中选取距离小于或者等于距离阈值的2D图像，作为所述车道线位置i对应的所述第k个图像采集装置的目标2D图像。

12.根据权利要求7-9中任一项所述的装置，其特征在于，所述第二检测模块，还用于：

对连续多帧点云数据进行滑窗操作；

对处于所述滑窗内的点云数据进行融合，得到融合点云数据；

对所述融合点云数据进行车道线检测，得到所述第二车道线检测结果。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。