CN111080662A

CN111080662A - 车道线的提取方法、装置及计算机设备

Info

Publication number: CN111080662A
Application number: CN201911268226.9A
Authority: CN
Inventors: 黄鹤; 衣鹏军; 梁祺策; 孟维明; 于腾飞; 庞然
Original assignee: Beijing University of Civil Engineering and Architecture
Current assignee: Beijing University of Civil Engineering and Architecture
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2020-04-28

Abstract

本申请公开了一种车道线的提取方法、装置及计算机设备，涉及计算机技术领域，可以解决不能有效且准确地提取出车道线信息的问题。其中方法包括：将相机和三维激光扫描镜头联合标定，计算得到相机坐标系和激光雷达坐标系之间的空间转换关系；根据所述空间转换关系将获取的点云数据投影至二维平面上，获取得到待检测图像；利用边缘检测算法提取所述待检测图像中的车道线轮廓；筛选出车道线点云数据，并利用所述车道线点云数据将所述车道线轮廓转换至激光雷达坐标系中，获取得到车道线信息。本申请适用于对车道线的精确检测。

Description

车道线的提取方法、装置及计算机设备

技术领域

本申请涉及计算机技术领域，尤其涉及到一种车道线的提取方法、装置及计算机设备。

背景技术

随着汽车产业的变革和发展，自动驾驶成为热门发展方向，但现有的道路级地图数据并不能满足精度要求，使用道路级地图信息难以实现自动驾驶路径规划以及整体系统决策，因此需要获取更高级别的车道级信息。车道线的提取是制作高精度地图以及实现自动驾驶的重要环节。

目前车道线的检测提取主要分为视觉图像处理和激光数据处理两大类别，视觉图像处理的传感器包括单目、双目及多目相机，激光雷达也分低线程和高线程两种。

然而在利用单目相机提取车道线时，存在难以获取深度信息的缺点；双目及多目相机易受环境影响，识别精度不稳定；低线程的激光雷达的点云密度小难以提取完整的车道线；高线程激光雷达的后期处理数据量过大且传感器价格昂贵，因而利用现有单一的检测提取方法，均不能有效且准确地提取出车道线信息。

发明内容

有鉴于此，本申请提供了一种车道线的提取方法、装置及计算机设备，主要目的在于解决利用现有单一的车道线提取方法，不能有效且准确地提取出车道线信息的问题。

根据本申请的一个方面，提供了一种车道线的提取方法，该方法包括：

将相机和三维激光扫描镜头联合标定，计算得到相机坐标系和激光雷达坐标系之间的空间转换关系；

根据所述空间转换关系将获取的点云数据投影至二维平面上，获取得到待检测图像；

利用边缘检测算法提取所述待检测图像中的车道线轮廓；

筛选出车道线点云数据，并利用所述车道线点云数据将所述车道线轮廓转换至激光雷达坐标系中，获取得到车道线信息。

根据本申请的另一个方面，提供了一种车道线的提取装置，该装置包括：

计算模块，用于将相机和三维激光扫描镜头联合标定，计算得到相机坐标系和激光雷达坐标系之间的空间转换关系；

投影模块，用于根据所述空间转换关系将获取的点云数据投影至二维平面上，获取得到待检测图像；

提取模块，用于利用边缘检测算法提取所述待检测图像中的车道线轮廓；

获取模块，用于筛选出车道线点云数据，并利用所述车道线点云数据将所述车道线轮廓转换至激光雷达坐标系中，获取得到车道线信息；

根据本申请的又一个方面，提供了一种非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述车道线的提取方法。

根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述车道线的提取方法。

借由上述技术方案，本申请提供的一种车道线的提取方法、装置及计算机设备，与目前现有单一的车道线提取方法相比，本申请提出了一种基于单目相机和低线程激光雷达组合方法，利用单目相机提取连续车道线的能力来弥补低线程激光雷达点云稀疏的问题，利用激光雷达较强的抗干扰和获取深度信息的能力来弥补单目相机易受环境干扰和深度信息缺失的问题。单目相机和低线程激光雷达的这种组合方式不仅能够保障高精度车道线的提取，同时还能降低成本，达到较高的性价比。且将计算机技术融合到车道线轮廓的检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种车道线的提取方法的流程示意图；

图2示出了本申请实施例提供的另一种车道线的提取方法的流程示意图；

图3示出了本申请实施例提供的将相机和三维激光扫描镜头联合标定的原理图；

图4示出了本申请实施例提供的一种车道线的提取装置的结构示意图；

图5示出了本申请实施例提供的另一种车道线的提取装置的结构示意图。

具体实施方式

下文将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

针对目前利用现有单一的车道线提取方法，不能有效且准确地提取出车道线信息的问题，本申请实施例提供了一种车道线的提取方法，如图1所示，该方法包括：

101、将相机和三维激光扫描镜头联合标定，计算得到相机坐标系和激光雷达坐标系之间的空间转换关系。

在具体的应用场景中，在进行目标检测时，可将将摄像头和激光雷达进行联合标定，进一步可获取二者坐标系的空间转换关系，能够实现检测结果中2D bounding box坐标和点云里面3D bounding box坐标之间的转换，实现空间同步。另外。在空间同步同时也要进行时间同步，由于点云的稀疏性，单靠点云无法准确地确定车道线的轮廓，如果实现传感器间的时间同步可以为点云数据提供同步影像，便于车道线轮廓提取，具体可通过雷达传感器控制相机曝光来达到时间同步的效果。

102、根据空间转换关系将获取的点云数据投影至二维平面上，获取得到待检测图像。

其中，将点云数据投影至二维平面的目的是为了验证联合标定的精度，并且还可利用投影所获取到的图像进行车道线轮廓的提取。另外，在将点云数据按照投影矩阵投影到二维平面上后，还可利用颜色对距离进行标度区分，以便直观显示待检测图像。

103、利用边缘检测算法提取待检测图像中的车道线轮廓。

其中，在本实施例中，采用的边缘检测算法为Canny算法，能够保证以较低的错误率检测到尽可能多的边缘，且检测到的边缘能够精确定位在真实边缘的中心。在具体的应用场景中，待检测图像中包含的每一个边缘应只被标记一次，并且在可能的情况下，由噪声产生的假边缘应被滤除。

104、筛选出车道线点云数据，并利用车道线点云数据将车道线轮廓转换至激光雷达坐标系中，获取得到车道线信息。

对于本实施例，在具体的应用场景中，由于车道线点云数据较少，而基于边缘检测算法提取出的车道线轮廓较为完整，故可将车道线轮廓转换至激光雷达坐标系中，获取得到相对完整的三维车道位置信息。

通过本实施例中车道线的提取方法，可基于单目相机和低线程激光雷达组合方法，利用单目相机提取连续车道线的能力来弥补低线程激光雷达点云稀疏的问题，利用激光雷达较强的抗干扰和获取深度信息的能力来弥补单目相机易受环境干扰和深度信息缺失的问题。单目相机和低线程激光雷达的这种组合方式不仅能够保障高精度车道线的提取，同时还能降低成本，达到较高的性价比。且将计算机技术融合到车道线轮廓的检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种车道线的提取方法，如图2所示，该方法包括：

201、利用相机和激光扫描仪对标定板同时进行数据采集，至少确定三个对应点对。

例如，如图3所示，可在进行相机和三维激光扫描镜头的联合标定时，选取标定板上的三个顶点作为对应点对，即分别获取二维图像坐标系上的三个顶点坐标信息，以及三维点云数据中的三个顶点坐标信息。

202、利用对应点对进行相机位姿估计PNP求解，计算得到相机坐标系和激光雷达坐标系之间的空间转换关系。

对于本实施例，相机位姿估计对应的转换公式为：

其中，f_u和f_v、u₀、v₀是相机参数，f_u和f_v分别为水平和竖直方向的有效焦距，u₀和v₀是像平面的中心点，又称主点坐标，R为旋转矩阵，t为平移矢量，由相机捕获的图像数据由(u,v)表示，激光雷达捕获的3维点阵云用(x,y,z)表示，转换公式目标是获取一个转化矩阵M，用于代表3维点(x,y,z)与2维点(u,v)之间的映射关系。

203、根据空间转换关系将获取的点云数据投影至二维平面上，获取得到待检测图像。

对于本实施例，可按照实施例步骤202中的公式

进行坐标的投影转换，将点云数据按照投影矩阵投影到二维平面上，进一步获取得到二维的待检测图像。

204、对待检测图像进行数据平滑处理。

对于本实施例，在具体的应用场景中，实施例步骤204具体可以包括：计算待检测图像中各个像素点对应的高斯卷积核；将高斯卷积核与目标检测图片中对应像素点进行卷积运算，以平滑待检测图像。

相应的，高斯卷积核计算公式为：

其中，x、y分别为初始图片中各个像素点的横纵坐标，G(x,y)为经过高斯滤波后各个像素点的高斯卷积核。

对待检测图像进行数据平滑处理就是将待检测图像中包含的各个像素点的坐标代入高斯卷积核计算公式中，得出在核矩阵上的空间分布特性，这些特性将作为权值反应在核矩阵的各个点上，最终将各个像素点的高斯卷积核与待检测图像中各个像素点作卷积运算，从而完成对待检测图像的数据平滑处理，起到滤除噪声的目的。

例如，待检测图像中共包含N个像素点，则依次将这N个像素点与对应计算出的高斯卷积核进行卷积，如像素点A(x1,y1)，则需要与像素点A对应的高斯卷积核G(x1,y1)卷积，在完成对N个像素点的卷积处理后，及实现了对待检测图像的数据平滑处理。

其中，大小为(2k+1)(2k+1)的高斯滤波器核的生成方程式如下：

通过给定σ大小，计算大小的卷积核H，图像中窗口A的中心点经过高斯滤波后的亮度e为：e＝sum(H*A)，其中*为卷积，sum是矩阵中各元素之和。

205、计算处理后的待检测图像的图像梯度信息，并根据图像梯度信息确定待检测图像中包含的第一边缘像素点。

其中，图像梯度信息包括待检测图像中各个像素点的梯度信息及梯度方向。

对于本实施例，在具体的应用场景中，实施例步骤205具体可以包括：将待检测图像中梯度强度大于预设梯度强度阈值的像素点确定为第一边缘像素点。其中，预设梯度强度阈值是预先根据实际需求进行设定的。

具体的，梯度强度G和梯度方向θ的计算公式为：

θ＝arctan(G_y/G_x)

其中，Gx、Gy分别为像素点e在x和y方向的梯度值，arctan为反正切函数。Gx、Gy可通过Sobel算子来进行计算，该算子包含两组3x3的矩阵，分别为横向及纵向，将之与待检测图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表待检测图像中的各个像素点，Gx及Gy分别代表经横向及纵向边缘检测的图像，其计算公式如下：

在具体的应用场景中，对于本实施例，根据图像梯度信息确定待检测图像中包含的第一边缘像素点的原理为：梯度的方向是函数f(x,y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度强度，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度强度也较小。

206、基于非极大值抑制从第一边缘像素点中筛选出第二边缘像素点。

在具体的应用场景中，基于实施例步骤205中图像梯度信息提取出的边缘图片仍然很模糊，故需要基于非极大值抑制进一步确定出准确的边缘图片，非极大值抑制可以将第一边缘像素点中局部最大值之外的所有梯度值抑制为0，通过抑制孤立的弱边缘最终完成边缘检测。

对于本实施例，在具体的应用场景中，实施例步骤206具体可以包括：将第一边缘像素点的梯度强度与沿正负梯度方向上两个相邻第一边缘像素点的梯度强度进行比较；若第一边缘像素点的梯度强度大于两个相邻第一边缘像素点的梯度强度，则将第一边缘像素点确定为第二边缘像素点，进一步确定出第一边缘像素点中包含的所有第二边缘像素点。

207、利用双阈值法将第二边缘像素点划分为强边缘像素点、弱边缘像素点和极弱边缘像素点，并滤除极弱边缘像素点。

在具体的应用场景中，在施加非极大值抑制之后，剩余的第二边缘像素点可以更准确地表示图像中的实际边缘。然而，仍然存在由于噪声和颜色变化引起的一些边缘像素。为了解决这些杂散响应，必须过滤掉具有弱梯度值的边缘像素，从而保留具有高梯度值的边缘像素。

在本实施例中，可预先设定用于评判第二边缘像素点所属类别的高梯度阈值和低梯度阈值，其中，高梯度阈值和低梯度阈值的数值选择取决于给定输入图像的内容。利用双阈值法对第二边缘像素点进行属性划分且消除杂散响应的步骤具体为：若判定第二边缘像素点的梯度值大于或等于高梯度阈值，则将该第二边缘像素点标记为强边缘像素点；若判定第二边缘像素点的梯度值大于低梯度阈值且小于高梯度阈值，则将该第二边缘像素点标记为弱边缘像素点；若判定第二边缘像素点的梯度值小于或等于低梯度阈值，则将该第二边缘像素点标记为极弱边缘像素点，其中，极弱边缘像素点认定为由噪声和颜色变化引起的杂散响应；将第二边缘像素点中包含的所有极弱边缘像素点的灰度值置为0。

208、获取弱边缘像素点的八个邻域第二边缘像素点，若确定八个邻域第二边缘像素点中至少存在一个强边缘像素点，则将弱边缘像素点定义为强边缘像素点。

在具体的应用场景中，基于步骤实施例207划分出的强边缘像素点已经被确定为真实的边缘。然而，对于弱边缘像素点，仍存在一定争论，弱边缘像素点可以是从真实边缘提取的，也可以是由噪声或颜色变化引起的。为了获得准确的结果，应该抑制由噪声或颜色变化引起的弱边缘像素点。通常，由真实边缘引起的弱边缘像素点将连接到强边缘像素点，故该弱边缘像素点周围的八个第二边缘像素点中会存在与之连接的强边缘像素点，而由噪声响应引起的弱边缘像素点则不会连接到强边缘像素点，故该弱边缘像素点周围的八个第二边缘像素点中一定不会存在强边缘像素点，即噪声响应引起的弱边缘像素点周围全是弱边缘像素点。为了跟踪边缘连接，通过查看弱边缘像素点及其8个邻域像素，只要其中一个为强边缘像素点，则该弱边缘像素点就可以保留为真实的边缘。

209、若确定八个邻域第二边缘像素点均不属于强边缘像素点，则滤除弱边缘像素点。

相应的，若确定弱边缘像素点的8个邻域像素点均不属于强边缘像素点，则可说明该弱边缘像素点是由噪声或颜色变化引起的，故将该弱边缘像素点的灰度值置为0，实现对多余像素点的滤除。

210、获取由所有强边缘像素点构成的车道线轮廓。

在具体的应用场景中，在滤除了第二边缘像素点中的极弱边缘像素点以及由噪声或颜色变化引起的弱边缘像素点后，剩余的第二边缘像素点均为车道像素点，即可通过这些像素点构成整体的车道线轮廓。

211、利用大津法确定车道线轮廓激光点的最优反射强度。

在具体的应用场景中，路面激光点云的数据主要包括路面数据和道路标线数据两部分，三维激光扫描返回的点云数据不仅包含激光点的(X，Y，Z)空间三维坐标，还包含激光回波信号的反射率信息，也成反射强度。不同地物对激光的反射特性不同，车道线一般是在原有的沥青路面上进行黄色或白色的涂层覆盖，涂层表面和沥青表面对激光反射强度不同，可利用不同的反射强度进行车道线提取。

其中，大津法是按图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。可将点云强度信息当作图像点的灰度值，接着利用大津法进行二值化阈值的自动选取，得出的最优阈值即为车道线轮廓激光点的最优反射强度，进而可利用最优反射强度作为阈值，来提取车道线点云数据。

212、筛选出反射强度大于或等于最优反射强度的车道线点云数据。

对于本实施例，在具体的应用场景中，为了减少工作量和其他噪声干扰，可根据高程进行路面点云提取，将反射强度小于最优反射强度的无用点云删除，进一步筛选出反射强度大于或等于最优反射强度的车道线点云数据。

213、根据几何校正原理创建几何校正多项式模型，几何校正多项式模型用于反映图像坐标系和激光雷达坐标系之间二维坐标的转化关系。

其中，几何校正多项式模型对应的二元二次多项式为：

x＝a₀+(a₁X+a₂Y)+(a₃X²+a₄XY+a₅Y²)

y＝b₀+(b₁X+b₂Y)+(b₃X²+b₄XY+b₅Y²)

x、y为图像坐标系坐标，X、Y为雷达坐标系坐标，a_i和b_i为待求参数，可以图像坐标系中的坐标x、y以及车道线点云数据的坐标X、Y为已知数据，利用最小二乘法求解出ai和bi。

214、利用几何校正多项式模型将图像坐标系中车道线轮廓的坐标转化为激光雷达坐标系下的二维平面坐标。

在具体的应用场景中，在基于实施例步骤213计算出ai和bi后，可将实施例步骤210确定出的车道线轮廓所对应的二维坐标点依次代入实施例步骤213的二元二次多项式中，进一步将车道线轮廓中的坐标(x，y)转化为激光雷达坐标系下的二维平面坐标(X，Y)。

215、利用立方插值法对激光雷达坐标系下的二维平面坐标进行高程插值，获取得到三维平面坐标。

对于本实施例，基于实施例步骤214可计算出在激光雷达坐标系中车道线轮廓的二维平面坐标，接下来可利用立方插值法对车道线轮廓的高程进行插值。其中，可首先截取车道线周围一定面积的点云，使点云完全覆盖且四周超过车道线轮廓，然后利用立方插值法，对车道线轮廓进行高程插值，进一步得到车道线轮廓高程坐标后与平面坐标结合得到三维坐标，从而实现图像坐标到激光雷达坐标的转换。

216、利用第一转换关系将激光雷达坐标系转换为惯性坐标系。

其中，第一转换关系为：

R₁为旋转矩阵，T₁为平移变量，x₁、y₁和z₁为惯性导航坐标系下车道线轮廓对应像素点的坐标。

217、基于第二转换关系将惯性坐标系转换为CGCS2000。

其中，第二转换关系为：

R₂为旋转矩阵，T₂为平移变量，x₂、y₂和z₂为CGCS2000坐标系下车道线轮廓对应像素点的坐标。

218、在CGCS2000中输出车道线信息。

对于本实施例，在确定将车道线轮廓中所有像素点全部转换到CGCS2000坐标系下时，则在CGCS2000中输出最终的车道线信息。

通过上述车道线的提取方法，可先将相机和三维激光扫描镜头联合标定，获取得到相机坐标系和雷达坐标系之间的空间转换关系，在确定出待检测图像后，可先对待检测图像进行数据平滑处理，计算待检测图像中各个像素点的梯度强度和方向、之后基于非极大值抑制进行对边缘图像的“瘦”边，利用双阈值检测确定边缘图像中真实的和潜在的边缘，最后通过抑制孤立的弱边缘完成最终边缘检测，提取出车道线轮廓。之后在点云数据中进行车道线提取，由于利用点云数据提取出的车道线不够全面，故可建立图像坐标和雷达坐标系之间二维坐标的转化关系，利用该转化关系将由二维图像提取的车道线轮廓，转换到激光雷达坐标系下的车道线轮廓。本方案将计算机技术融合到到车道线轮廓的检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数，保证检测过程的安全性。在提取过程中，利用单目相机提取连续车道线的能力来弥补低线程激光雷达点云稀疏的问题，利用激光雷达较强的抗干扰和获取深度信息的能力来弥补单目相机易受环境干扰和深度信息缺失的问题。单目相机和低线程激光雷达的这种组合方式不仅能够保障高精度车道线的提取，同时还能降低成本，达到较高的性价比。

进一步的，作为图1和图2所示方法的具体体现，本申请实施例提供了一种车道线的提取装置，如图4所示，该装置包括：计算模块31、投影模块32、提取模块33、转换模块34。

计算模块31，可用于将相机和三维激光扫描镜头联合标定，计算得到相机坐标系和激光雷达坐标系之间的空间转换关系；

投影模块32，可用于根据空间转换关系将获取的点云数据投影至二维平面上，获取得到待检测图像；

提取模块33，可用于利用边缘检测算法提取待检测图像中的车道线轮廓；

获取模块34，可用于筛选出车道线点云数据，并利用车道线点云数据将车道线轮廓转换至激光雷达坐标系中，获取得到车道线信息；

在具体的应用场景中，为了计算得到相机坐标系和雷达坐标系之间的空间转换关系，计算模块31，具体可用于利用相机和激光扫描仪对标定板同时进行数据采集，至少确定三个对应点对；利用对应点对进行相机位姿估计PNP求解，计算得到相机坐标系和激光雷达坐标系之间的空间转换关系。

相应的，为了提取出待检测图像中的车道线轮廓，提取模块33，具体可用于对待检测图像进行数据平滑处理；计算处理后的待检测图像的图像梯度信息，并根据图像梯度信息确定待检测图像中包含的第一边缘像素点；基于非极大值抑制从第一边缘像素点中筛选出第二边缘像素点；利用双阈值法将第二边缘像素点划分为强边缘像素点、弱边缘像素点和极弱边缘像素点，并滤除极弱边缘像素点；获取弱边缘像素点的八个邻域第二边缘像素点，若确定八个邻域第二边缘像素点中至少存在一个强边缘像素点，则将弱边缘像素点定义为强边缘像素点；若确定八个邻域第二边缘像素点均不属于强边缘像素点，则滤除弱边缘像素点；获取由所有强边缘像素点构成的车道线轮廓。

在具体的应用场景中，为了对待检测图像进行数据平滑处理，提取模块33，具体可用于计算处理后的待检测图像的图像梯度信息，并根据图像梯度信息确定待检测图像中包含的第一边缘像素点；

相应的，为了根据图像梯度信息确定出待检测图像中包含的第一边缘像素点，提取模块33，具体可用于将待检测图像中梯度强度大于预设梯度强度阈值的像素点确定为第一边缘像素点；

在具体的应用场景中，为了基于非极大值抑制从第一边缘像素点中筛选出第二边缘像素点，提取模块33，具体可用于将第一边缘像素点的梯度强度与沿正负梯度方向上两个相邻第一边缘像素点的梯度强度进行比较；若第一边缘像素点的梯度强度大于两个相邻第一边缘像素点的梯度强度，则将第一边缘像素点确定为第二边缘像素点，进一步确定出第一边缘像素点中包含的所有第二边缘像素点。

相应的，为了将车道线轮廓转换至雷达坐标系中，获取得到车道线提取结果，获取模块34，具体可用于利用大津法确定车道线轮廓激光点的最优反射强度；筛选出反射强度大于或等于最优反射强度的车道线点云数据；根据几何校正原理创建几何校正多项式模型，几何校正多项式模型用于反映图像坐标系和激光雷达坐标系之间二维坐标的转化关系；利用几何校正多项式模型将图像坐标系中车道线轮廓的坐标转化为激光雷达坐标系下的二维平面坐标；利用立方插值法对激光雷达坐标系下的二维平面坐标进行高程插值，获取得到三维平面坐标。

在具体的应用场景中，为了将车道线轮廓展示于2000国家大地坐标系，如图5所示，本装置还包括：转换模块35、输出模块36。

转换模块35，用于利用第一转换关系将激光雷达坐标系转换为惯性坐标系；

转换模块35，还用于基于第二转换关系将惯性坐标系转换为CGCS2000；

输出模块36，用于在CGCS2000中输出车道线信息。

需要说明的是，本实施例提供的一种车道线的提取装置所涉及各功能单元的其它相应描述，可以参考图1至图2中的对应描述，在此不再赘述。

基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的车道线的提取方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。

基于上述如图1、图2所示的方法，以及图4、图5所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的车道线的提取方法。

可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

非易失性可读存储介质中还可以包括操作系统、网络通信模块。操作系统是车道线提取的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现非易失性可读存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有技术相比，本申请可先将相机和三维激光扫描镜头联合标定，获取得到相机坐标系和雷达坐标系之间的空间转换关系，在确定出待检测图像后，可先对待检测图像进行数据平滑处理，计算待检测图像中各个像素点的梯度强度和方向、之后基于非极大值抑制进行对边缘图像的“瘦”边，利用双阈值检测确定边缘图像中真实的和潜在的边缘，最后通过抑制孤立的弱边缘完成最终边缘检测，提取出车道线轮廓。之后在点云数据中进行车道线提取，由于利用点云数据提取出的车道线不够全面，故可建立图像坐标和雷达坐标系之间二维坐标的转化关系，利用该转化关系将由二维图像提取的车道线轮廓，转换到激光雷达坐标系下的车道线轮廓。本方案将计算机技术融合到到车道线轮廓的检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数，保证检测过程的安全性。在提取过程中，利用单目相机提取连续车道线的能力来弥补低线程激光雷达点云稀疏的问题，利用激光雷达较强的抗干扰和获取深度信息的能力来弥补单目相机易受环境干扰和深度信息缺失的问题。单目相机和低线程激光雷达的这种组合方式不仅能够保障高精度车道线的提取，同时还能降低成本，达到较高的性价比。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims

1.一种车道线的提取方法，其特征在于，包括：

利用边缘检测算法提取所述待检测图像中的车道线轮廓；

2.根据权利要求1所述的方法，其特征在于，所述将相机和三维激光扫描镜头联合标定，计算得到相机坐标系和激光雷达坐标系之间的空间转换关系，具体包括：

利用相机和激光扫描仪对标定板同时进行数据采集，至少确定三个对应点对；

利用所述对应点对进行相机位姿估计PNP求解，计算得到相机坐标系和激光雷达坐标系之间的空间转换关系。

3.根据权利要求2所述的方法，其特征在于，所述利用边缘检测算法提取所述待检测图像中的车道线轮廓，具体包括：

对所述待检测图像进行数据平滑处理；

计算处理后的所述待检测图像的图像梯度信息，并根据所述图像梯度信息确定所述待检测图像中包含的第一边缘像素点；

基于非极大值抑制从所述第一边缘像素点中筛选出第二边缘像素点；

利用双阈值法将所述第二边缘像素点划分为强边缘像素点、弱边缘像素点和极弱边缘像素点，并滤除所述极弱边缘像素点；

获取所述弱边缘像素点的八个邻域第二边缘像素点，若确定所述八个邻域第二边缘像素点中至少存在一个强边缘像素点，则将所述弱边缘像素点定义为强边缘像素点；

若确定所述八个邻域第二边缘像素点均不属于强边缘像素点，则滤除所述弱边缘像素点；

获取由所有所述强边缘像素点构成的车道线轮廓。

4.根据权利要求3所述的方法，其特征在于，所述图像梯度信息包括所述待检测图像中各个像素点的梯度信息及梯度方向；

所述对所述待检测图像进行数据平滑处理，具体包括：

计算所述待检测图像中各个像素点对应的高斯卷积核；

将所述高斯卷积核与所述目标检测图片中对应像素点进行卷积运算，以平滑所述待检测图像；

所述根据所述图像梯度信息确定所述待检测图像中包含的第一边缘像素点，具体包括：

将所述待检测图像中梯度强度大于预设梯度强度阈值的像素点确定为所述第一边缘像素点；

所述基于非极大值抑制从所述第一边缘像素点中筛选出第二边缘像素点，具体包括：

将所述第一边缘像素点的梯度强度与沿正负梯度方向上两个相邻第一边缘像素点的梯度强度进行比较；

若所述第一边缘像素点的梯度强度大于所述两个相邻第一边缘像素点的梯度强度，则将所述第一边缘像素点确定为所述第二边缘像素点，进一步确定出所述第一边缘像素点中包含的所有所述第二边缘像素点。

5.根据权利要求4所述的方法，其特征在于，所述筛选出车道线点云数据，并利用所述车道线点云数据将所述车道线轮廓转换至雷达坐标系中，获取得到车道线信息，具体包括：

利用大津法确定车道线轮廓激光点的最优反射强度；

筛选出反射强度大于或等于所述最优反射强度的车道线点云数据；

根据几何校正原理创建几何校正多项式模型，所述几何校正多项式模型用于反映图像坐标系和激光雷达坐标系之间二维坐标的转化关系；

利用所述几何校正多项式模型将所述图像坐标系中车道线轮廓的坐标转化为所述激光雷达坐标系下的二维平面坐标；

利用立方插值法对所述激光雷达坐标系下的二维平面坐标进行高程插值，获取得到三维平面坐标。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

利用第一转换关系将所述激光雷达坐标系转换为惯性坐标系；

基于第二转换关系将所述惯性坐标系转换为CGCS2000；

在所述CGCS2000中输出所述车道线信息。

7.一种车道线的提取装置，其特征在于，包括：

获取模块，用于筛选出车道线点云数据，并利用所述车道线点云数据将所述车道线轮廓转换至激光雷达坐标系中，获取得到车道线提取结果；

输出模块，用于输出所述车道线提取结果。

8.根据权利要求7所述的装置，其特征在于，所述提取模块，具体用于对所述待检测图像进行数据平滑处理；计算处理后的所述待检测图像的图像梯度信息，并根据所述图像梯度信息确定所述待检测图像中包含的第一边缘像素点；基于非极大值抑制从所述第一边缘像素点中筛选出第二边缘像素点；利用双阈值法将所述第二边缘像素点划分为强边缘像素点、弱边缘像素点和极弱边缘像素点，并滤除所述极弱边缘像素点；获取所述弱边缘像素点的八个邻域第二边缘像素点，若确定所述八个邻域第二边缘像素点中至少存在一个强边缘像素点，则将所述弱边缘像素点定义为强边缘像素点；若确定所述八个邻域第二边缘像素点均不属于强边缘像素点，则滤除所述弱边缘像素点；获取由所有所述强边缘像素点构成的车道线轮廓。

9.一种非易失性可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的车道线的提取方法。

10.一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的车道线的提取方法。