CN110399762A - 一种基于单目图像的车道线检测的方法及装置 - Google Patents

Abstract

本申请公开了一种基于单目图像的车道线检测的方法及装置，该方法包括：获取携带有车道线的单目图像，对所述单目图像进行透视变换，确定所述单目图像对应的鸟瞰图像，根据所述单目图像对应的鸟瞰图像，确定所述鸟瞰图对应的二值化图像，在所述二值化图像内，确定每条车道线所包含的目标像素点的图像坐标，针对每条车道线，根据该车道线所包含的所述目标像素点的图像坐标，确定车道线。通过上述方法，相比于现有的车道线检测方法，能够检测弯道车道线，并且能够避免在车辆变道时车道线检测结果出现延迟。

Description

一种基于单目图像的车道线检测的方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于单目图像的车道线检测的方法及装置。

背景技术

目前，服务商为了给用户提供更好的出行服务，会对行驶车辆所在车道的车道线进行检测，从而基于所检测到的车道线为用户提供出行服务，如，通过对行驶车辆所在车道的车道线的检测，确定车辆距车道线的距离，从而进行偏离预警。

现有的对行驶车辆所在车道的车道线进行检测的技术主要是对所采集的携带有车道线的图像进行Canny边缘检测,并根据预先建立的样本库对图像进行处理,获得图像中车道线的部分，再通过霍夫变换提取图像中的多条直线，在多条直线中筛选出车道线。

但是，现有的基于图像的车道线检测，都是通过霍夫变换来检测直线的，不能检测曲线，也就是，弯道车道线，另外，由于霍夫变换得到的直线较多，每次筛选之后的结果可能不同，为了获得稳定的输出结果，通常需要对结果进行滤波，这样会导致在车辆变道时车道线检测结果出现延迟。

发明内容

有鉴于此，本申请实施例提供一种基于单目图像的车道线检测的方法及装置，相比于现有的车道线检测方法，能够检测弯道车道线，并且能够避免在车辆变道时车道线检测结果出现延迟。

为解决上述技术问题，本申请实施例公开一种基于单目图像的车道线检测的方法，该方法包括：

获取携带有车道线的单目图像；

对所述单目图像进行透视变换，确定所述单目图像对应的鸟瞰图像；

根据所述单目图像对应的鸟瞰图像，确定所述鸟瞰图对应的二值化图像；

在所述二值化图像内，确定每条车道线所包含的目标像素点的图像坐标；

针对每条车道线，根据该车道线所包含的所述目标像素点的图像坐标，确定车道线。

为了实现上述基于单目图像的车道线检测的方法，本申请实施例公开一种基于单目图像的车道线检测的装置，该装置包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现基于单目图像的车道线检测方法。

另外，本申请实施例还公开一种存储设备，其上存储有程序数据，所述程序数据用于被处理器执行时实现基于单目图像的车道线检测方法。

本申请实施例公开一种基于单目图像的车道线检测的方法及装置，该方法能够产生以下有益效果：

相比于现有的车道线检测方法，能够检测弯道车道线，并且能够避免在车辆变道时车道线检测结果出现延迟。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的基于单目图像的车道线检测的过程；

图2为本申请实施例提供的一种单目图像；

图3为本申请实施例提供的一种鸟瞰图像；

图4为本申请实施例提供的一种二值化图像；

图5为本申请实施例提供的一种图像块划分图像；

图6为本申请实施例提供的一种携带有确定出的车道线的二值化图像；

图7为本申请实施例提供的一种携带有确定出的车道线的单目图像；

图8为本申请实施例提供的第一种基于单目图像的车道线检测的装置结构示意图；

图9为本申请实施例提供的第二种基于单目图像的车道线检测的装置结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的基于单目图像的车道线检测的过程，具体包括以下步骤：

S101：获取携带有车道线的单目图像。

在实际生活中，为了给用户提供更好的出行服务，会对行驶车辆所在车道的车道线进行检测，从而基于所检测到的车道线为用户提供出行服务，如，通过对行驶车辆所在车道的车道线的检测，确定车辆距车道线的距离，从而进行偏离预警。

进一步地，在对行驶车辆所在车道的车道线进行检测的过程中，首先需要先获取行驶车辆所在车道的车道线。

在此需要说明的是，在本申请中，所获取的行驶车辆所在车道的车道线是通过安装在行驶车辆上的单目相机实时采集的，采集到的单目图像如图2所示。

S102：对所述单目图像进行透视变换，确定所述单目图像对应的鸟瞰图像。

在获取到携带有车道线的单目图像后，需要对所获取的单目图像进行透视变换，从而将所获取的单目图像转换成鸟瞰图像，如图3所示。

在此需要说明的是，为了保证后续基于所采集的单目图像对车道线检测的准确性，在本申请中，可以对所获取到的单目图像进行处理，具体的，根据预先设定的车道线范围，在所述单目图像内，截取车道线图像，其中，所述车道线图像中的车道线的数量少于所述单目图像中的车道线的数量，将所截取的车道线图像作为待透视变换的单目图像。也就是说，可以直接把所获取的携带有车道线的单目图像进行透视变换，也可以对所获取的携带有车道线的单目图像进行上述处理，将处理后的单目图像作为待透视变换的单目图像，也就是对处理后的单目图像进行透视变换。

在此还需要说明的是，假设预先设定的车道线范围中包含两条车道线，则根据预先设定的车道线范围，在单目图像内所截取的车道线图像中也是包含两条车道线的，另外，预先设定的车道线范围可以是梯形的，也可以是其他形状的，只要所确定的车道线的范围内包含车道线即可，并且，预先设定的车道线范围可以通过挑选一张车辆在车道线正中的单目图像，确定车道线范围，后续，都会根据所确定出的车道线的范围来截取其他单目图像的车道线图像。

进一步地，在本申请中，对单目图像进行透视变换，确定单目图像对应的鸟瞰图像，具体是使用预先根据单目相机数据计算出的标定参数，对单目图像进行透视变换得到单目图像对应的鸟瞰图像，如，使用预先根据单目相机角度数据计算出的标定，对所述单目图像进行透视变换，确定所述单目图像对应的鸟瞰图像。

在此需要说明的是，预先根据单目相机数据计算出的标定参数指的是在对行驶车辆所在车道的车道线进行检测之前，将确定出的车道线图像转换成鸟瞰图时所计算出的数据称之为标定参数。

S103：根据所述单目图像对应的鸟瞰图像，确定所述鸟瞰图对应的二值化图像。

进一步地，在确定出单目图像对应的鸟瞰图像后，需要确定鸟瞰图对应的二值化图像，如图4所示。

在此需要说明的是，二值化图像指的是图像中的像素点的像素值只有0或255，最终，整个图像呈现出黑白两种颜色。

本申请提供了两种确定鸟瞰图对应的二值化图像的实施方式，如下：

第一种方式：对单目图像对应的鸟瞰图像进行降噪二值化处理，得到该鸟瞰图对应的二值化图像。

第二种方式：根据单目图像对应的鸟瞰图像，通过由深度学习网络训练得到的图像分割模型，得到该鸟瞰图对应的二值化图像。

在此需要说明的是，针对第二种方式，可以先将样本集输入到深度学习网络中进行训练网络中的各参数，最终得到图像分割模型，也就是说，在模型中输入鸟瞰图像，则可以输出鸟瞰图像对应的二值化图像。

S104：在所述二值化图像内，确定每条车道线所包含的目标像素点的图像坐标。

进一步地，本申请在确定出二值化图像后，需要在二值化图像中确定车道线。

进一步地，由于坐标能够反映出车道线在图像中的位置，并且，车道线在二值化图像中是由白色的像素点构成，因此，在本申请中，在二值化图像中确定车道线首先需要确定车道线所包含的目标像素点在二值化图像中的图像坐标。

在此需要说明的是，在二值化图像中，目标像素点为白色像素点，另外，由于车道的车道线都是有左右两边各一条车道线，因此，在二值化图像内，确定每条车道线所包含的目标像素点的图像坐标。

进一步地，本申请也提供了在二值化图像内，确定每条车道线所包含的目标像素点的图像坐标的实施方式，如下：

针对每条车道线，将二值化图像按照车道线的方向划分为N份图像块，从位于二值化图像底部的图像块到顶部的图像块，依次根据每个图像块的中心位置构建搜索区域，在搜索区域中确定所有目标像素点的图像坐标，其中，N为大于1的整数。

在此需要说明的是，将二值化图像按照车道线的方向划分为N份图像块指的是，假设二值化图像的车道线是曲线(即，弯道)，则按照曲线的的方向划分为N份图像块，如图5所示，针对每条车道线，按照车道线的方向划分为5份图像块。另外，根据每个图像块的中心位置构建搜索区域可以是以中心位置为矩形的顶点构建一定区域的矩形窗口，如，构建一个200像素宽的矩形窗口，当然，也可以以中心位置为矩形的边长上的一点构建一定区域的矩形窗口，矩形的长和宽可以根据实际需求进行设定。

在此还需要说明的是，由于构建每个图像块的搜索区域是依据每个图像块的中心位置来确定的，因此，在本申请中，在依次根据每个图像块的中心位置构建搜索区域之前首先需要确定每个图像块的中心位置。

进一步地，本申请给出了确定每个图像块的中心位置的实施方式，如下：

计算二值化图像中指定区域内的像素点直方图，将像素点直方图的峰顶确定为位于二值化图像底部的图像块的中心位置，并依次将在当前图像块所构建的搜索区域中确定所有目标像素点的图像坐标的横坐标的平均值作为下一个图像块的中心位置。也就是说，首先是先确定位于二值化图像底部的图像块的中心位置，具体的就是将像素点直方图的峰顶所对应的横坐标确定为该图像块的中心位置，再以此中心位置构建搜索区域，搜索区域内的所有目标像素点(即，白色像素点)，将所有目标像素点的图像坐标的横坐标的平均值作为下一个图像块(即，紧挨着位于二值化图像底部的图像块)的中心位置，并以此中心位置，构建下一个图像块的搜索区域，确定下一个图像块的搜索区域内的所有目标像素点，将所有目标像素点的图像坐标的横坐标的平均值作为第三个图像块的中心位置，直到确定出位于二值化图像顶部的图像块的中心位置为止。

S105：针对每条车道线，根据该车道线所包含的所述目标像素点的图像坐标，确定车道线。

进一步的，由于在图像中，车道线是由目标像素点的坐标表示的，因此，在本申请中，在确定出每条车道线所包含的目标像素点的图像坐标后，需要根据每条车道线所包含的所述目标像素点的图像坐标，确定车道线。

进一步的，本申请提供了一种根据每个车道线所包含的所述目标像素点的图像坐标，确定车道线的实施方法，如下：

根据该车道线所包含的目标像素点的图像坐标，确定该车道线的二阶多项式公式，根据该车道线的二阶多项式公式，确定二值化图像内每个横坐标所对应的纵坐标，选取满足预设的阈值的纵坐标及其对应的横坐标，作为位于车道线上的点的坐标，如图6所示，根据所确定出的各位于车道线上的点的坐标，通过逆透视变换确定车道线，如图7所示。

在此需要说明的是，根据该车道线所包含的所述目标像素点的图像坐标，确定该车道线的二阶多项式公式指的是通过车道线所包含的目标像素点的图像坐标进行拟合，也可以说，训练二阶多项式中的参数，得到参数确定的二阶多项式，也可以说，参数确定的二阶多项式代表了车道线。确定二值化图像内每个横坐标所对应的纵坐标指的是针对同一行中的每个横坐标，需要通过二阶多项式来确定二值化图像内所有包含该横坐标的所有像素点中，哪些像素点是车道线的所包含的像素点。另外，针对每个横坐标，如果通过二阶多项式来确定二值化图像内所有包含该横坐标的像素点中，当包含该横坐标的像素点均不是车道线所包含的像素点时，则该将该横坐标输入到二阶多项式中，输出的纵坐标会超过一定的阈值，因此，在本申请中，选取满足预设的阈值的纵坐标及其对应的横坐标，作为位于车道线上的点的坐标，超过阈值的纵坐标及其对应的横坐标不属于车道线上的点，另外，在本申请中，二值化图像中的坐标系是以图像左上角的像素点为原点，以图像的长为X轴，以图像的宽为Y轴建立起的坐标系。

在此还需要说明的是，由于根据车道线的二阶多项式公式，确定出的车道线上的横坐标及其对应的纵坐标均是二值化图像中的坐标，因此，想要确定所获取的单目图像中的车道线的坐标，需要将二值化图像中的车道线逆透视变换成单目图像中的车道线，如，图6表示的是二值化图像中的车道线，而图7表示的是将图6逆透视变换成单目图像中的车道线。

进一步的，在实际应用中，使用本申请对车道线进行检测，不仅仅能够检测为直道车道线，还可以检测弯道车道线。

通过上述方法，相比于现有的车道线检测方法，能够检测弯道车道线，并且能够避免在车辆变道时车道线检测结果出现延迟。

在实际应用中，还可以基于所检测到的车道线为用户提供出行服务，如，通过对行驶车辆所在车道的车道线的检测，确定车辆距车道线的距离，从而进行偏离预警，针对上述应用，本申请提供了一种的实施方式，如下：通过每条(同一二值化图像(也即，鸟瞰图)中的左右两条)车道线的二阶多项式公式，确定使得车道线的二阶多项式公式为零的坐标点所对应的横坐标；确定所确定出的使得车道线的二阶多项式公式为零的坐标点所对应的横坐标之差的绝对值；获取两条车道线之间的真实距离；根据所述真实距离以及绝对值，确定鸟瞰图内每个像素点的长度；根据鸟瞰图底部中心点的横坐标、所确定出的使得车道线的二阶多项式公式为零的坐标点所对应的横坐标以及所述鸟瞰图内每个像素点的长度，确定车辆距两条车道线的距离。

在此需要说明的是，鸟瞰图的底部中心点是安装在车辆上的摄像头的当前位置，鸟瞰图中车道线的宽度对应了现实世界中车道线的宽度。

以上为本申请实施例提供的基于单目图像的车道线检测的方法，基于同样的思路，本申请实施例还提供第一种基于单目图像的车道线检测的装置，如图8所示。

图8为本申请实施例提供的第一种基于单目图像的车道线检测的装置结构示意图，包括:

存储设备801，用于存储程序数据；

处理器802，用于执行所述存储设备801中的程序数据以实现基于单目图像的车道线检测方法。

另外，本申请还提供了第二种基于单目图像的车道线检测的装置，如图9所示。

图9为本申请实施例提供的第二种基于单目图像的车道线检测的装置结构示意图，包括:

鸟瞰图转换模块901，用于对所获取得携带有车道线的单目图像进行透视变换，确定所述单目图像对应的鸟瞰图像；

车道线拟合模块902，用于确定鸟瞰图中的车道线。

所述鸟瞰图转换模块901包括相机标定单元9011，确定车道范围单元9012以及透视变换单元9013；

所述相机标定单元9011，用于根据单目相机数据计算出标定参数；

所述确定车道范围单元9012，用于在所述单目图像内，按照预先设定的车道线范围，截取车道线图像，其中，所述车道线图像中的车道线的数量少于所述单目图像中的车道线的数量，确定待透视变换的图像；

所述透视变换单元9013，用于根据所述相机标定单元9011根据单目相机数据计算出的标定参数，对所述确定车道范围单元9012确定出的所获取的携带有车道线的单目图像内待透视变换的图像进行透视变换；

所述车道线拟合模块902包括阀值二值化图像单元9021，车道像素检测单元9022以及二阶多项式拟合单元9023；

所述阀值二值化图像单元9021，用于根据所述单目图像对应的鸟瞰图像，确定所述鸟瞰图对应的二值化图像；

所述车道像素检测单元9022，用于在所述二值化图像内，确定每条车道线所包含的目标像素点的图像坐标；

所述二阶多项式拟合单元9023，用于针对每条车道线，根据该车道线所包含的所述目标像素点的图像坐标，确定车道线。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于单目图像的车道线检测方法，其特征在于，包括：

获取携带有车道线的单目图像；

对所述单目图像进行透视变换，确定所述单目图像对应的鸟瞰图像；

根据所述单目图像对应的鸟瞰图像，确定所述鸟瞰图对应的二值化图像；

在所述二值化图像内，确定每条车道线所包含的目标像素点的图像坐标；

针对每条车道线，根据该车道线所包含的所述目标像素点的图像坐标，确定车道线。

2.如权利要求1所述的方法，其特征在于，在对所述单目图像进行透视变换，确定所述单目图像对应的鸟瞰图像之前，所述方法还包括：

在所述单目图像内，按照预先设定的车道线范围，截取车道线图像，其中，所述车道线图像中的车道线的数量少于所述单目图像中的车道线的数量；

将所截取的车道线图像作为待透视变换的单目图像。

3.如权利要求1所述的方法，其特征在于，对所述单目图像进行透视变换，确定所述单目图像对应的鸟瞰图像，进一步包括：

使用预先根据单目相机数据计算出的标定参数，对所述单目图像进行透视变换，确定所述单目图像对应的鸟瞰图像。

4.如权利要求1所述的方法，其特征在于，根据所述单目图像对应的鸟瞰图像，确定所述鸟瞰图对应的二值化图像，进一步包括：

对所述单目图像对应的鸟瞰图像进行降噪二值化处理，得到所述鸟瞰图对应的二值化图像；或

根据所述单目图像对应的鸟瞰图像，通过由深度学习网络训练得到的图像分割模型，得到所述鸟瞰图对应的二值化图像。

5.如权利要求1所述的方法，其特征在于，在所述二值化图像内，确定每条车道线所包含的目标像素点的图像坐标，进一步包括：

针对每条车道线，将所述二值化图像按照车道线的方向划分为N份图像块，从位于所述二值化图像底部的图像块到顶部的图像块，依次根据每个图像块的中心位置构建搜索区域，在搜索区域中确定所有目标像素点的图像坐标，其中，N为大于1的整数。

6.如权利要求5所述的方法，其特征在于，在依次根据每个图像块的中心位置构建搜索区域之前，所述方法还包括：

计算所述二值化图像中指定区域内的像素点直方图；

将所述像素点直方图的峰顶确定为位于所述二值化图像底部的图像块的中心位置；并依次将在当前图像块所构建的搜索区域中确定所有目标像素点的图像坐标的横坐标的平均值作为下一个图像块的中心位置。

7.如权利要求1所述的方法，其特征在于，根据该车道线所包含的所述目标像素点的图像坐标，确定车道线，进一步包括：

根据该车道线所包含的所述目标像素点的图像坐标，确定该车道线的二阶多项式公式；

根据该车道线的二阶多项式公式，确定所述二值化图像内每个横坐标所对应的纵坐标；

选取满足预设的阈值的纵坐标及其对应的横坐标，作为位于车道线上的点的坐标；

根据所确定出的各位于车道线上的点的坐标，通过逆透视变换确定车道线。

8.如权利要求7所述的方法，其特征在于，所述方法还包括：

通过每条车道线的二阶多项式公式，确定使得车道线的二阶多项式公式为零的坐标点所对应的横坐标；

确定所确定出的使得车道线的二阶多项式公式为零的坐标点所对应的横坐标之差的绝对值；

获取两条车道线之间的真实距离；

根据所述真实距离以及所述绝对值，确定所述鸟瞰图内每个像素点的长度；

根据所述鸟瞰图底部中心点的横坐标、所确定出的使得车道线的二阶多项式公式为零的坐标点所对应的横坐标以及所述鸟瞰图内每个像素点的长度，确定车辆距两条车道线的距离。

9.一种存储设备，其上存储有程序数据，其特征在于，所述程序数据用于被处理器执行时实现权利要求1-8中任一项所述的基于单目图像的车道线检测方法。

10.一种基于单目图像的车道线检测装置，其特征在于，包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现权利要求1-8中任一项所述的基于单目图像的车道线检测方法。