CN105701449B - 路面上的车道线的检测方法和装置 - Google Patents

Abstract

本发明实施例提供一种路面上的车道线的检测方法和装置。该方法包括：采集路面的RGB图像以及该路面的点云强度图；在所述RGB图像和所述点云强度图上分别进行车道线检测，得到所述RGB图像中的图像三维车道线和所述点云强度图中的点云三维车道线；基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的三维车道线，并输出。通过融合RGB图像的车道线检测结果和点云强度图的车道线检测结果，在绝大多数情况下可以有效的对抗其他车辆对路面车道线造成的遮挡以及路面上车道线和路面方向箭头的磨损，提高了得到的该路面的三维车道线的几何轮廓的完整性和精度，此外，节省了人力成本。

Description

路面上的车道线的检测方法和装置

技术领域

本发明实施例涉及信息检测技术领域，尤其涉及一种路面上的车道线的检测方法和装置。

背景技术

三维高精地图是下一代数字地图的主要发展方向，是实现汽车自动驾驶和辅助驾驶的前提条件，为自动驾驶或辅助驾驶的汽车进行精确定位和正确决策提供主要依据。三维高精地图生产的核心问题集中在路面上车道信息的检测，即用三维数字地图精确重构真实世界中的车道等信息，路面上的车道线的检测技术应运而生。

目前，主要有两种检测方式。

方式一：人工生产方式。对照工业相机采集的路面的RGB图像和Lidar设备采集到的点云强度图，利用所述RGB图像，对拼接后的着色点云依赖人工绘制标出车道线。这种检测方式存在的缺陷在于：在三维点云上绘制车道线等三维线条交互困难，线条扭曲明显，不易控制精度，且人工作业效率低；由于点云分辨率低，极易在绘制时遗漏车道线；此外，人力成本也很高。

方式二：通过自动识别算法从RGB图像中检测车道线，主要是利用带通滤波器从路面区域检测车道线。这种方式存在的缺陷在于：目前学术界和工业界开发的算法主要目的是服务于自动驾驶进行实时的检测车道线，而且多停留在实验层面，其检测的车道线的有效性和检测精度均达不到生产高精地图生产的要求。

发明内容

本发明实施例提供一种路面上的车道线的检测方法和装置，以提高检测到的路面上的三维车道线的几何轮廓的完整性和精度，并节省人力成本。

第一方面，本发明实施例提供了一种路面上的车道线的检测方法，包括：

采集路面的RGB图像以及该路面的点云强度图；

在所述RGB图像和所述点云强度图上分别进行车道线检测，得到所述RGB图像中的图像三维车道线和所述点云强度图中的点云三维车道线；

基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的三维车道线，并输出。

第二方面，本发明实施例提供了一种路面上的车道线的检测装置，包括：

图像采集模块，用于采集路面的RGB图像以及该路面的点云强度图；

图像三维车道线检测模块，用于在所述RGB图像上进行车道线检测，得到所述RGB图像中的图像三维车道线；

点云三维车道线检测模块，用于在所述点云强度图上进行车道线检测，得到所述点云强度图中的点云三维车道线；

车道线融合模块，用于基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的三维车道线，并输出。

本发明实施例提供的路面上的车道线的检测方法和装置，通过融合RGB图像的车道线检测结果和点云强度图的车道线检测结果，在绝大多数情况下可以有效的对抗其他车辆对路面车道线造成的遮挡以及路面上车道线和路面方向箭头的磨损，提高了得到的该路面的三维车道线的几何轮廓的完整性和精度；此外，节省了人力成本。

附图说明

为了更清楚地说明本发明，下面将对本发明中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例一提供的一种路面上的车道线的检测方法的流程图；

图1b为本发明实施例提供的示例中路面的点云强度图；

图1c为在图1b所示的点云强度图上进行车道线检测得到的检测结果示意图；

图2a为本发明实施例二提供的一种路面上的车道线的检测方法的流程图；

图2b为本发明实施例二提供的路面上的车道线的检测方法中一种对图像三维车道线和点云三维车道线进行融合的方法流程图；

图3a为本发明实施例三提供的一种路面上的车道线的检测装置的结构示意图；

图3b为本发明实施例三提供的路面上的车道线的检测装置中一种车道线融合模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案作进一步详细描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的各幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

实施例一

请参阅图1a，为本发明实施例一提供的一种路面上的车道线的检测方法的流程图。本发明实施例的方法可以由配置以硬件和/或软件实现的路面上的车道线的检测装置来执行，该实现装置典型的是配置于能够提供车道线检测服务的设备中。

该方法包括：

110、采集路面的RGB图像以及该路面的点云强度图。

本操作中，路面的RGB图像和该路面的点云强度图是同步采集的。具体的，可以在采集车辆上配置采集所述RGB图像的设备(如，工业相机)和采集所述点云强度图的设备(如，雷达)来实现同步采集。

采集所述RGB图像的设备采集的是采集车辆的车行方向正前方的路面和路面上方的信息，也即，所述RGB图像是对应于采集车辆的车行方向正前方的路面和路面上方的信息的透视图。

采集点云强度图的设备采用与路面成一定倾斜角的方式采集该采集车辆后方的路面和路面上方的信息。

120、在所述RGB图像和所述点云强度图上分别进行车道线检测，得到所述RGB图像中的图像三维车道线和所述点云强度图中的点云三维车道线。

作为在所述RGB图像上进行车道线检测，得到所述RGB图像中的图像三维车道线这一操作的一种实施方式，可具体包括：

利用深度神经网络模型，在所述RGB图像上进行车道线检测，得到所述RGB图像中的二维车道线；

对所述RGB图像中的二维车道线进行三维投影，得到所述RGB图像中的三维车道线，作为图像三维车道线。

其中，所述深度神经网络模型是对包含已标注二维车道线的样本RGB图像进行学习训练得到的。

三维投影是指，利用采集所述RGB图像的设备的内参信息，在所述RGB图像和所述点云强度图的采集过程中记录的采集轨迹，以及在所述采集过程中记录的采集所述RGB图像的设备的姿态信息，将检测到的二维车道线投影到三维空间。

其中，可通过工业相机采集所述RGB图像，该采集设备的内参信息可包括：焦距、分辨率以及畸变信息。前已述及，可以在采集车辆上配置采集所述RGB图像的设备(如，工业相机)和采集所述点云强度图的设备(如，雷达)来实现所述RGB图像和所述点云强度图的同步采集，相应的，在所述RGB图像和所述点云强度图的采集过程中记录的采集轨迹，可以通过在采集车辆上配置的惯性导航设备在采集过程中记录GPS(Global Positioning System，全球定位系统)轨迹信息，作为采集轨迹。同时，可通过所述惯性导航设备在采集过程中记录采集所述RGB图像的设备的姿态信息，所述姿态信息可包括：空间位置坐标和空间方位角。

作为在所述RGB图像上进行车道线检测，得到所述RGB图像中的图像三维车道线这一操作的另一种实施方式，可具体包括：

对所述RGB图像进行正视变化，得到正视图像；

利用深度神经网络模型，在所述正视图像上进行车道线检测，得到所述正视图像中的二维车道线；

对所述正视图像中的二维车道线进行三维投影，得到所述正视图像中的三维车道线，作为图像三维车道线。

前已述及，所述RGB图像是对应于采集车辆正前方的路面信息的透视图。第一种实施方式是直接在透视图上进行车道线检测，第二种实施方式是先做正视变换，得到正视图像，降低了图像分辨率再进行车道线检测。

在本操作中，在所述点云强度图上进行车道线检测，得到所述点云强度图中的点云三维车道线，可具体包括：

利用深度神经网络模型，在所述点云强度图上进行车道线检测，得到所述点云强度图中的三维车道线；示例性地，请参阅图1b和图1c，利用深度神经网络模型，在图1b所示的点云强度图上进行车道线检测，可得到如图1c所示的检测结果，包括11条点云三维车道线，编号分别为0～10；还可以获知每条点云三维车道线的类型，具体是通过编号右侧的数字0或1获知，在该示例中，0代表点云三维车道线的类型为实线，1代表类型为虚线；还可以获知每条点云三维车道线的长度，具体是通过编号下方的数字获知，在该示例中，单位为cm。需要说明的是，图1c仅示出了部分检测结果，点云三维车道线的信息还可以包括：位置、分布范围以及置信度(关于置信度，可参见实施例二的说明)等。

如果所述点云强度图中的三维车道线的类型为实线，且长度大于第一设定门限值(例如，50米)时，对该三维车道线进行迭代打断处理。

其中，所述深度神经网络模型是对包含已标注三维车道线的样本点云强度图进行学习训练得到的。

所述迭代打断处理是指利用设定次数的曲线(如，三次曲线)分段拟合该三维车道线。

本方式，一方面，在点云强度图上进行车道线检测，车道线是利用点云反射率信息直接从点云上提取出来的，具有高精度的特点，无需复杂的三维投影过程，可以提取到大尺度物理范围内连续完整的点云三维车道线；另一方面，对于点云强度图中所检测出的类型为实线、且较长的三维车道线进行迭代打断处理，保证了点云强度图中每一段点云三维车道线的真实位置和走向。

130、基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的三维车道线，并输出。

前已述及，路面的RGB图像和该路面的点云强度图是同步采集的，本操作具体是对在所述RGB图像上检测得到的图像三维车道线和在所述点云强度图上检测得到的对应的点云三维车道线进行融合，得到该路面的三维车道线，并输出。

需要说明的是，第一、采集所述RGB图像的设备(如，工业相机)是按照一定的采集频率(如，每秒钟10帧)采集所述RGB图像的，相邻帧的图像内容存在较大程度的内容重叠，由于从所述RGB图像上检测图像三维车道线需要三维投影，而且惯性导航设备定位存在误差，因此，在将连续相邻帧图像投影回三维空间后，存在较大的物理位置偏差，从而影响到从所述RGB图像上检测出的图像三维车道线的几何轮廓的精度。

第二、在点云强度图上进行车道线检测，车道线是利用点云反射率信息直接从点云上提取出来的，具有高精度的特点，无需复杂的三维投影过程，可以提取到大尺度物理范围内连续完整的点云三维车道线。但是仍然存在以下局限性：1)因为采集点云强度图的设备对三维空间采样的分辨率远低于RGB图像，生成的点云强度图的分辨率也比较低，从点云强度图上不易检测点云三维车道线的精确轮廓信息，如车道线的左右边缘位置；2)因为点云强度图分辨率较低，在车道线和路面方向箭头都存在磨损的情况下，不易检测到点云三维车道线，即使检测到，也很难区分是点云三维车道线还是路面方向箭头。

第三、由于路面的RGB图像和该路面的点云强度图是同步采集的，对于RGB图像而言，由于采集所述RGB图像的设备采集的是采集车辆的车行方向正前方的路面和路面上方的信息，采集过程中路面车道线容易被采集车辆前方视角范围内的其他车辆遮挡，造成采集信息的缺失；对于点云强度图而言，采集点云强度图的设备采用与路面成一定倾斜角的方式采集采集车辆后方的路面和路面上方的信息，采集过程中路面车道线容易被采集车辆后方的其他车辆遮挡，造成采集信息的缺失；使得，在RGB图像上检测到的图像三维车道线，以及在点云强度图上检测到的点云三维车道线的几何轮廓不完整。

因此，本操作，通过融合RGB图像的车道线检测结果和点云强度图的车道线检测结果，在绝大多数情况下可以有效的对抗其他车辆对路面车道线造成的遮挡以及路面上车道线和路面方向箭头的磨损，提高了得到的该路面的三维车道线的几何轮廓的完整性和精度。

本实施例的技术方案，通过对从路面的RGB图像和该路面的点云强度图中分别检测到的三维车道线进行融合，可以有效的对抗其他车辆对路面车道线造成的遮挡以及路面上车道线和路面方向箭头的磨损，提高了得到的该路面的三维车道线的几何轮廓的完整性和精度。

通过本技术方案检测到的路面的三维车道线服务于三维高精地图时，有利于提升三维高精地图的准确率，从而有利于为进行自动或辅助驾驶的汽车的精确定位，为自动或辅助驾驶的汽车的行车决策提供有效依据，提升了利用三维高精地图进行自动驾驶或辅助驾驶的汽车在行驶过程中的安全性。

实施例二

请参阅图2a，为本发明实施例二提供的一种路面上的车道线的检测方法的流程图。本实施例在上述实施例的基础上，提供了基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的三维车道线，并输出这一操作的优选方案。

该方法包括：

210、采集路面的RGB图像以及该路面的点云强度图。

本操作中，路面的RGB图像和该路面的点云强度图是同步采集的。具体可参阅上述实施例中操作110，不再赘述。

220、在所述RGB图像和所述点云强度图上分别进行车道线检测，得到所述RGB图像中的图像三维车道线和所述点云强度图中的点云三维车道线。

本操作中同样适用于上述实施例提供的在所述RGB图像上进行车道线检测，得到所述RGB图像中的图像三维车道线的实施方式，以及提供的在所述点云强度图上进行车道线检测，得到所述点云强度图中的点云三维车道线的实施方式，不再赘述。

230、基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的候选三维车道线。

请参阅图2b，本操作可具体包括：

231、对在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹进行分段，得到各段采集轨迹。

可参阅实施例一，可以在采集车辆上配置采集所述RGB图像的设备(如，工业相机)和采集所述点云强度图的设备(如，雷达)来实现所述RGB图像和所述点云强度图的同步采集，相应的，在所述RGB图像和所述点云强度图的采集过程中记录的采集轨迹，可以通过在采集车辆上配置的惯性导航设备在采集过程中记录GPS(Global Positioning System，全球定位系统)轨迹信息，作为采集轨迹。

本操作可具体包括：

计算在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹在各轨迹点的二阶导数；

利用所记录的采集轨迹在各轨迹点的二阶导数，对所记录的采集轨迹进行分段，得到各段采集轨迹。

进一步地，在对在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹进行分段，得到各段采集轨迹之后，还可优选包括：

对于各段采集轨迹，在该段采集轨迹的长度大于第二设定门限值时，对该段采集轨迹进行迭代打断处理。

其中，所述迭代打断处理是指利用设定次数的曲线(如，三次曲线)分段拟合该段采集轨迹。

对于长度较长的采集轨迹分段，执行迭代打断处理的好处在于：提升了融合处理所得到的各段候选三维车道线的位置精度。

232、将所述图像三维车道线的信息和所述点云三维车道线的信息按照各段采集轨迹进行融合，得到该路面的候选三维车道线。

其中，所述RGB图像中的三维车道线的信息可包括下述至少一项：所述RGB图像中的三维车道线的位置、类型、颜色、以及宽度；

所述点云强度图中的三维车道线的信息可包括下述至少一项：所述点云强度图中的三维车道线的位置、类型、以及分布范围。

操作232可以有多种实现方式，例如，可包括下述至少一项：

在各段采集轨迹范围内，将所述点云三维车道线的位置，作为该路面的候选三维车道线的位置；也即，融合后的候选三维车道线的位置以点云强度图上检测的点云三维车道线的位置为准，如果RGB图像上的图像三维车道线和点云强度图上的点云三维车道线重合(或部分重合)，则只记录点云强度图上的点云三维车道线的位置。实施例一已述及，在RGB图像上检测到的图像三维车道线由于需要三维投影，导致存在较大的物理位置偏差，从而影响到从所述RGB图像上检测出的图像三维车道线的几何轮廓的精度，本方式，将图像三维车道线的位置和所述点云三维车道线的位置按照各段采集轨迹进行融合，具体是以点云强度图上检测的点云三维车道线的位置为准，提高了得到该路面的各段候选三维车道线的位置精度。

在各段采集轨迹范围内，利用所述图像三维车道线的类型和/或颜色，对所述点云三维车道线进行完整性修补，得到该路面的候选三维车道线；对于类型而言，具体是利用所述图像三维车道线是实线、虚线、双实线、左虚右实、或者左实右虚的完整类型信息，自动连接断开的不完整的点云三维车道线，从而得到完整的候选三维车道线；对于颜色而言，融合后的候选三维车道线的颜色以RGB图像上检测到的图像三维车道线的颜色为准。实施例一已述及，因为点云强度图分辨率较低，在车道线和路面方向箭头都存在磨损的情况下，不易检测到点云三维车道线，即使检测到，也很难区分是点云三维车道线还是路面方向箭头，而本方式，利用RGB图像中检测到的图像三维车道线来修补点云强度图上检测出的点云三维车道线，不仅能够自动连接断开的不完整的点云三维车道线，融合得到完整的候选三维车道线，而且在绝大多数情况下可以有效的对抗其他车辆对路面车道线造成的遮挡以及路面上车道线和路面方向箭头的磨损，避免了车道线漏检，提高了得到的该路面的候选三维车道线的几何轮廓的完整性。

在各段采集轨迹范围内，调整所述图像三维车道线的宽度至所述点云三维车道线的分布范围内，将调整后的图像三维车道线的宽度作为该路面的候选三维车道线的宽度。也即，根据从点云强度图上检测到的点云三维车道线的点的分布范围，调整从RGB图像检测到的图像三维车道线的宽度，将图像三维车道线的左右边沿调整至点云三维车道线的分布范围内，提高了得到的该路面的候选三维车道线的几何轮廓的精度。

按照各段采集轨迹进行融合的好处在于：提高了融合得到该路面的各段候选三维车道线的几何轮廓的完整性和精度。

240、对所述候选三维车道线进行车道拓扑关系分析，得到对应的空间车道结构。

本操作可具体包括：

抽取长度大于第三设定门限值，且置信度大于第四设定门限值的候选三维车道线；

对于抽取的各候选三维车道线，分析所抽取的候选三维车道线与相邻的候选三维车道线组成一个车道的可行性；具体可以按照从右向左的顺序分析；

在可行性满足设定条件时，将所抽取的候选三维车道线与所述相邻的候选三维车道线组成车道；

在可行性不满足所述设定条件时，遍历与所抽取的候选三维车道线非相邻的各非相邻候选三维车道线，根据所抽取的候选三维车道线与该非相邻候选三维车道线之间的间距以及方向相似性，确定与所抽取的候选三维车道线组成一个车道的非相邻候选三维车道线，并组成车道。

同一段采集轨迹范围内可能存在多组车道，比如对向车道，道路分叉口和合并口等交汇处多组车道的汇并，先抽取出长度较长和置信度较高的候选三维车道线，分析与相邻的候选三维车道线是否组成一个车道，在所抽取的候选三维车道线与相邻的候选三维车道线无法组成一个车道时，遍历与所抽取的候选三维车道线非相邻的各非相邻候选三维车道线能否与所抽取的候选三维车道线组成一个车道时，不仅要考虑两条候选三维车道线之间的距离是否能够合理的组成一个车道，还要考虑两条候选三维车道线在三维空间中的方向相似性，方向越相似越好，反之，方向差别大于给定阈值的两条候选三维车道线则不考虑组成一条车道，从而得到空间车道结构。

下面对置信度进行介绍。

实施例一已述及，可利用两个深度神经网络模型分别在RGB图像和点云强度图上进行车道线检测，在RGB图像上检测到的图像三维车道线的置信度与所采用的深度神经网络模型有关，与图像三维车道线自身的长度也有关；对于点云三维车道线而言，置信度与所采用的深度神经网络模型有关，与点云三维车道线自身的长度也有关；置信度与长度的关系为：长度越长，置信度越高，长度越短，置信度越低，因为，路面的车道线的长度通常大于路面上的其他信息(如，路面方向箭头)的长度，换言之，即使将路面上除车道线之外的其他信息误检为车道线，其置信度也很低。

相应的，融合得到的候选三维车道线的置信度由图像三维车道线的置信度和点云三维车道线的置信度确定。

250、基于预设的误检车道线剔除策略，利用所述空间车道结构，确定所述候选三维车道线中的误检车道线，并剔除。

本操作可具体包括：对于各候选三维车道线，将位于所述空间车道结构中的各车道中间、且长度小于第五设定门限值的候选三维车道线，确定为所述候选三维车道线中的误检车道线，并剔除。

换言之，剔除可能是误检的车道线的策略是：剔除落在空间车道结构中组成车道的两条车道线中间的较短的候选三维车道线。对于长度大于第五设定门限值的候选三维车道线不做剔除处理，不是落在两条车道线构成的一条车道中间的候选三维车道线也不做剔除处理。因为生产中发现剔除车道线远比检测出一条车道线要容易，因此对没有把握判定为错误的候选三维车道线尽量不要删除。

本方式，基于路面的车道线的长度通常大于路面上的其他信息(如，路面方向箭头)的长度，且路面上的其他信息通常位于组成车道的两条车道线中间，因此利用空间车道结构和候选三维车道线自身的长度，能够有效剔除候选三维车道线中的误检车道线。

260、将经剔除处理后的候选三维车道线作为该路面的三维车道线，并输出。

本实施例的技术方案，通过对从路面的RGB图像和该路面的点云强度图中分别检测到的三维车道线进行融合，可以有效的对抗其他车辆对路面车道线造成的遮挡以及路面上车道线和路面方向箭头的磨损，提高了融合得到的该路面的候选三维车道线的几何轮廓的完整性和精度；通过对候选三维车道线进行车道拓扑关系分析，得到对应的空间车道结构，基于空间车道结构，能够有效剔除候选三维车道线中的误检车道线，从而进一步提高了路面的三维车道线的几何轮廓的完整性和精度。

实施例三

请参阅图3a，为本发明实施例三提供的一种路面上的车道线的检测装置的结构示意图。该装置包括：图像采集模块310、图像三维车道线检测模块320、点云三维车道线检测模块330和车道线融合模块340。

其中，图像采集模块310用于采集路面的RGB图像以及该路面的点云强度图；图像三维车道线检测模块320用于在所述RGB图像上进行车道线检测，得到所述RGB图像中的图像三维车道线；点云三维车道线检测模块330用于在所述点云强度图上进行车道线检测，得到所述点云强度图中的点云三维车道线；车道线融合模块340用于基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的三维车道线，并输出。

在上述方案中，图像三维车道线检测模块320可具体用于：

利用深度神经网络模型，在所述RGB图像上进行车道线检测，得到所述RGB图像中的二维车道线；

对所述RGB图像中的二维车道线进行三维投影，得到所述RGB图像中的三维车道线，作为图像三维车道线。

在上述方案中，点云三维车道线检测模块330可具体用于：

利用深度神经网络模型，在所述点云强度图上进行车道线检测，得到所述点云强度图中的三维车道线；

如果所述点云强度图中的三维车道线的类型为实线，且长度大于第一设定门限值时，对该三维车道线进行迭代打断处理。

在上述方案中，请参阅图3b，车道线融合模块340可包括：车道线融合子模块341、车道拓扑关系分析子模块342、误检车道线剔除子模块343和路面三维车道线输出子模块344。

其中，车道线融合子模块341用于基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的候选三维车道线；车道拓扑关系分析子模块342用于对所述候选三维车道线进行车道拓扑关系分析，得到对应的空间车道结构；误检车道线剔除子模块343用于基于预设的误检车道线剔除策略，利用所述空间车道结构，确定所述候选三维车道线中的误检车道线，并剔除；路面三维车道线输出子模块344用于将经剔除处理后的候选三维车道线作为该路面的三维车道线，并输出。

进一步地，车道线融合子模块341可包括：采集轨迹分段单元3411和车道线信息融合单元3412。

其中，采集轨迹分段单元3411用于对在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹进行分段，得到各段采集轨迹；车道线信息融合单元3412用于将所述图像三维车道线的信息和所述点云三维车道线的信息按照各段采集轨迹进行融合，得到该路面的候选三维车道线。

进一步地，采集轨迹分段单元3411可具体用于：

计算在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹在各轨迹点的二阶导数；

利用所记录的采集轨迹在各轨迹点的二阶导数，对所记录的采集轨迹进行分段，得到各段采集轨迹。

进一步地，车道线融合子模块341还可包括：

采集轨迹处理单元，用于在对在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹进行分段，得到各段采集轨迹之后，对于各段采集轨迹，在该段采集轨迹的长度大于第二设定门限值时，对该段采集轨迹进行迭代打断处理。

进一步地，所述RGB图像中的三维车道线的信息可包括下述至少一项：所述RGB图像中的三维车道线的位置、类型、颜色、以及宽度；

所述点云强度图中的三维车道线的信息可包括下述至少一项：所述点云强度图中的三维车道线的位置、类型、以及分布范围。

进一步地，车道线信息融合单元3412可包括下述至少一个子单元：第一车道线信息融合子单元、第二车道线信息融合子单元、以及第三车道线信息融合子单元。

其中，第一车道线信息融合子单元用于在各段采集轨迹范围内，将所述点云三维车道线的位置，作为该路面的候选三维车道线的位置；第二车道线信息融合子单元用于在各段采集轨迹范围内，利用所述图像三维车道线的类型和/或颜色，对所述点云三维车道线进行完整性修补，得到该路面的候选三维车道线；第三车道线信息融合子单元用于在各段采集轨迹范围内，调整所述图像三维车道线的宽度至所述点云三维车道线的分布范围内，将调整后的图像三维车道线的宽度作为该路面的候选三维车道线的宽度。

进一步地，车道拓扑关系分析子模块342可具体用于：

抽取长度大于第三设定门限值，且置信度大于第四设定门限值的候选三维车道线；

对于抽取的各候选三维车道线，分析所抽取的候选三维车道线与相邻的候选三维车道线组成一个车道的可行性；

在可行性满足设定条件时，将所抽取的候选三维车道线与所述相邻的候选三维车道线组成车道；

在可行性不满足所述设定条件时，遍历与所抽取的候选三维车道线非相邻的各非相邻候选三维车道线，根据所抽取的候选三维车道线与该非相邻候选三维车道线之间的间距以及方向相似性，确定与所抽取的候选三维车道线组成一个车道的非相邻候选三维车道线，并组成车道。

进一步地，误检车道线剔除子模块343可具体用于：

对于各候选三维车道线，将位于所述空间车道结构中的各车道中间、且长度小于第五设定门限值的候选三维车道线，确定为所述候选三维车道线中的误检车道线，并剔除。

本发明实施例提供的路面上的车道线的检测装置可执行本发明任意实施例所提供的路面上的车道线的检测方法，具备执行方法相应的功能模块和有益效果。

最后应说明的是：以上各实施例仅用于说明本发明的技术方案，而非对其进行限制；实施例中优选的实施方式，并非对其进行限制，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种路面上的车道线的检测方法，其特征在于，包括：

采集路面的RGB图像以及该路面的点云强度图；

在所述RGB图像和所述点云强度图上分别进行车道线检测，得到所述RGB图像中的图像三维车道线和所述点云强度图中的点云三维车道线；

对在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹进行分段，得到各段采集轨迹；

将所述图像三维车道线的信息和所述点云三维车道线的信息按照各段采集轨迹进行融合，得到该路面的候选三维车道线；

对所述候选三维车道线进行车道拓扑关系分析，得到对应的空间车道结构；

基于预设的误检车道线剔除策略，利用所述空间车道结构，确定所述候选三维车道线中的误检车道线，并剔除；

将经剔除处理后的候选三维车道线作为该路面的三维车道线，并输出。

2.根据权利要求1所述的方法，其特征在于，在所述RGB图像上进行车道线检测，得到所述RGB图像中的图像三维车道线，包括：

利用深度神经网络模型，在所述RGB图像上进行车道线检测，得到所述RGB图像中的二维车道线；

对所述RGB图像中的二维车道线进行三维投影，得到所述RGB图像中的三维车道线，作为图像三维车道线。

3.根据权利要求1所述的方法，其特征在于，在所述点云强度图上进行车道线检测，得到所述点云强度图中的点云三维车道线，包括：

利用深度神经网络模型，在所述点云强度图上进行车道线检测，得到所述点云强度图中的三维车道线；

如果所述点云强度图中的三维车道线的类型为实线，且长度大于第一设定门限值时，对该三维车道线进行迭代打断处理。

4.根据权利要求1所述的方法，其特征在于，对在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹进行分段，得到各段采集轨迹，包括：

计算在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹在各轨迹点的二阶导数；

利用所记录的采集轨迹在各轨迹点的二阶导数，对所记录的采集轨迹进行分段，得到各段采集轨迹。

5.根据权利要求1所述的方法，其特征在于，在对在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹进行分段，得到各段采集轨迹之后，所述方法还包括：

对于各段采集轨迹，在该段采集轨迹的长度大于第二设定门限值时，对该段采集轨迹进行迭代打断处理。

6.根据权利要求1、4或5中任一所述的方法，其特征在于：

所述RGB图像中的三维车道线的信息包括下述至少一项：所述RGB图像中的三维车道线的位置、类型、颜色、以及宽度；

所述点云强度图中的三维车道线的信息包括下述至少一项：所述点云强度图中的三维车道线的位置、类型、以及分布范围。

7.根据权利要求6所述的方法，其特征在于，将所述图像三维车道线的信息和所述点云三维车道线的信息按照各段采集轨迹进行融合，得到该路面的候选三维车道线，包括下述至少一项：

在各段采集轨迹范围内，将所述点云三维车道线的位置，作为该路面的候选三维车道线的位置；

在各段采集轨迹范围内，利用所述图像三维车道线的类型和/或颜色，对所述点云三维车道线进行完整性修补，得到该路面的候选三维车道线；

在各段采集轨迹范围内，调整所述图像三维车道线的宽度至所述点云三维车道线的分布范围内，将调整后的图像三维车道线的宽度作为该路面的候选三维车道线的宽度。

8.根据权利要求1、4或5中任一所述的方法，其特征在于，对所述候选三维车道线进行车道拓扑关系分析，得到对应的空间车道结构，包括：

抽取长度大于第三设定门限值，且置信度大于第四设定门限值的候选三维车道线；

对于抽取的各候选三维车道线，分析所抽取的候选三维车道线与相邻的候选三维车道线组成一个车道的可行性；

在可行性满足设定条件时，将所抽取的候选三维车道线与所述相邻的候选三维车道线组成车道；

在可行性不满足所述设定条件时，遍历与所抽取的候选三维车道线非相邻的各非相邻候选三维车道线，根据所抽取的候选三维车道线与该非相邻候选三维车道线之间的间距以及方向相似性，确定与所抽取的候选三维车道线组成一个车道的非相邻候选三维车道线，并组成车道。

9.根据权利要求1、4或5中任一所述的方法，其特征在于，基于预设的误检车道线剔除策略，利用所述空间车道结构，确定所述候选三维车道线中的误检车道线，并剔除，包括：

对于各候选三维车道线，将位于所述空间车道结构中的各车道中间、且长度小于第五设定门限值的候选三维车道线，确定为所述候选三维车道线中的误检车道线，并剔除。

10.一种路面上的车道线的检测装置，其特征在于，包括：

图像采集模块，用于采集路面的RGB图像以及该路面的点云强度图；

图像三维车道线检测模块，用于在所述RGB图像上进行车道线检测，得到所述RGB图像中的图像三维车道线；

点云三维车道线检测模块，用于在所述点云强度图上进行车道线检测，得到所述点云强度图中的点云三维车道线；

车道线融合模块，用于基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的三维车道线，并输出；

其中，所述车道线融合模块包括：

车道线融合子模块，用于基于预设的车道线融合策略，对所述图像三维车道线和所述点云三维车道线进行融合，得到该路面的候选三维车道线；

车道拓扑关系分析子模块，用于对所述候选三维车道线进行车道拓扑关系分析，得到对应的空间车道结构；

误检车道线剔除子模块，用于基于预设的误检车道线剔除策略，利用所述空间车道结构，确定所述候选三维车道线中的误检车道线，并剔除；

路面三维车道线输出子模块，用于将经剔除处理后的候选三维车道线作为该路面的三维车道线，并输出；

所述车道线融合子模块包括：

采集轨迹分段单元，用于对在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹进行分段，得到各段采集轨迹；

车道线信息融合单元，用于将所述图像三维车道线的信息和所述点云三维车道线的信息按照各段采集轨迹进行融合，得到该路面的候选三维车道线。

11.根据权利要求10所述的装置，其特征在于，图像三维车道线检测模块具体用于：

利用深度神经网络模型，在所述RGB图像上进行车道线检测，得到所述RGB图像中的二维车道线；

对所述RGB图像中的二维车道线进行三维投影，得到所述RGB图像中的三维车道线，作为图像三维车道线。

12.根据权利要求10所述的装置，其特征在于，点云三维车道线检测模块具体用于：

利用深度神经网络模型，在所述点云强度图上进行车道线检测，得到所述点云强度图中的三维车道线；

如果所述点云强度图中的三维车道线的类型为实线，且长度大于第一设定门限值时，对该三维车道线进行迭代打断处理。

13.根据权利要求10所述的装置，其特征在于，采集轨迹分段单元具体用于：

计算在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹在各轨迹点的二阶导数；

利用所记录的采集轨迹在各轨迹点的二阶导数，对所记录的采集轨迹进行分段，得到各段采集轨迹。

14.根据权利要求10所述的装置，其特征在于，车道线融合子模块还包括：

采集轨迹处理单元，用于在对在所述RGB图像和所述点云强度图的采集过程中所记录的采集轨迹进行分段，得到各段采集轨迹之后，对于各段采集轨迹，在该段采集轨迹的长度大于第二设定门限值时，对该段采集轨迹进行迭代打断处理。

15.根据权利要求10、13或14中任一所述的装置，其特征在于：

所述RGB图像中的三维车道线的信息包括下述至少一项：所述RGB图像中的三维车道线的位置、类型、颜色、以及宽度；

所述点云强度图中的三维车道线的信息包括下述至少一项：所述点云强度图中的三维车道线的位置、类型、以及分布范围。

16.根据权利要求15所述的装置，其特征在于，车道线信息融合单元，包括下述至少一个子单元：第一车道线信息融合子单元、第二车道线信息融合子单元、以及第三车道线信息融合子单元；

其中，第一车道线信息融合子单元，用于在各段采集轨迹范围内，将所述点云三维车道线的位置，作为该路面的候选三维车道线的位置；

第二车道线信息融合子单元，用于在各段采集轨迹范围内，利用所述图像三维车道线的类型和/或颜色，对所述点云三维车道线进行完整性修补，得到该路面的候选三维车道线；

第三车道线信息融合子单元，用于在各段采集轨迹范围内，调整所述图像三维车道线的宽度至所述点云三维车道线的分布范围内，将调整后的图像三维车道线的宽度作为该路面的候选三维车道线的宽度。