CN107392103B - 路面车道线的检测方法及装置、电子设备 - Google Patents

Abstract

本公开揭示了一种路面车道线的检测方法及装置、电子设备、计算机可读存储介质，该方法包括：根据车辆行进方向的双目图像生成视差图像，根据视差图像生成U‑视差图和V‑视差图；分别对U‑视差图和V‑视差图中灰度值非0的像素点进行直线拟合，分别从U‑视差图和V‑视差图中提取具有非同一视差值的直线；根据U‑视差图中所提取直线在视差图像中的对应区域以及V‑视差图中所提取直线在视差图像中的对应区域，确定候选车道线区域；根据候选车道线区域在双目图像中的对应位置，得到候选车道线区域的图像特征；根据候选车道线区域的图像特征，得到候选车道线区域的车道线检测结果。上述技术方案提升了车道线检测的准确率与可靠性。

Description

路面车道线的检测方法及装置、电子设备

技术领域

本公开涉及安全驾驶技术领域，特别涉及一种路面车道线的检测方法及装 置、电子设备。

背景技术

随着现代社会的智能化发展，政府，社会团体/联盟以及消费者对汽车安全 性的要求越来越高，汽车的自动/辅助驾驶也已成为近年来汽车厂商及互联网等 高科技公司竞相追逐的技术热点。在此背景下，基于GPS，地图，超声波，雷 达，单摄像头，双摄像头等多种传感器的汽车自动/辅助驾驶方案应运而生。在 汽车自动/辅助驾驶方案中，车道线偏离预警功能作为其中一个重要环节，已被 大多数汽车厂商所采用。尤其在高速公路等车辆高速行驶过程中，车道线偏离 预警已经被认为是降低汽车安全事故的重要功能之一。

现有技术中基于GPS和地图进行车道线检测存在易受地形及天气干扰和精 度欠缺的问题；基于单摄像头拍摄的二维图像进行汽车的车道线偏离检测通常 存在受环境影响大(逆光霞光，夜晚，雨雾等)，图像算法的处理复杂度高，硬 件资源消耗大，实时性较低等缺点；基于超声波检测存在距离精度低下的问题； 基于雷达检测存在成本昂贵的问题。

现有技术也存在基于双目摄像头的车道线检测方法。该方案包括：利用定 位模块初步确定车辆当前的位置信息；利用图像采集模块实时采集车辆前后方 及两侧车道的动态图像；利用地图模块提供高精度导航地图，并结合定位模块 的车辆位置信息，获取车辆周围车道的先验知识；分析处理车辆前后方及两侧 车道的动态图像，实现车道线与车道权的检测及其匹配；驾驶决策模块基于上 述信息进行驾驶决策处理并控制车辆，以实现汽车自动驾驶的功能。

虽然上述方案采用了双目摄像头的解决方案，但在车道线检测过程中，仍 仅使用了二维图像进行处理。在对二维图像进行白平衡处理后，利用逆透视变 换将图像转换成俯视图，接下来进行灰度化，滤波及二值化处理，然后进行直 线检测，分组，连接，确定各组虚实线性质等。该车道线检测方法严重依赖于 二维图像的成像质量，在逆光霞光，夜晚，雨雾等环境恶劣的情况下，车道线 检测精度低下，稳定性与实时性也无法保障，进而导致实用性极其低下。

综上，现有的路面车道线检测精度低，误差大。

发明内容

为了解决相关技术中存在的路面车道线检测精度低、误差大的问题，本公 开提供了一种路面车道线的检测方法。

一方面，本公开提供一种路面车道线的检测方法，该方法包括：

获取车辆行进方向的双目图像，根据所述双目图像生成视差图像，根据所 述视差图像生成U-视差图和V-视差图；

分别对所述U-视差图和V-视差图中灰度值非0的像素点进行直线拟合，根 据所拟合的直线，分别从所述U-视差图和V-视差图中提取具有非同一视差值的 直线；

根据所述U-视差图中所提取直线在所述视差图像中的对应区域以及所述V- 视差图中所提取直线在所述视差图像中的对应区域，确定所述视差图像中的候 选车道线区域；

根据所述候选车道线区域在所述双目图像中的对应位置，得到所述候选车 道线区域的图像特征；

根据所述候选车道线区域的图像特征，得到所述候选车道线区域的车道线 检测结果。

在一种实施例中，在所述分别对U-视差图和V-视差图中灰度值非0的像素 点进行直线拟合之前，所述方法还包括：

分别对所述U-视差图和V-视差图进行降噪平滑处理；

将经过所述降噪平滑处理后的U-视差图和V-视差图进行二值化处理。

在一种实施例中，所述分别对U-视差图和V-视差图中灰度值非0的像素点 进行直线拟合，根据所拟合的直线，分别从所述U-视差图和V-视差图中提取具 有非同一视差值的直线，包括：

分别对二值化处理后的U-视差图和二值化处理后的V-视差图，利用直线拟 合算法对灰度值为255的各点进行直线拟合，得到若干条直线；

根据拟合得到的若干条直线，从所述U-视差图中提取非横向直线，从所述 V-视差图中提取非纵向直线。

在一种实施例中，根据所述U-视差图中所提取直线在所述视差图像中的对 应区域以及所述V-视差图中所提取直线在所述视差图像中的对应区域，确定所 述视差图像中的候选车道线区域，包括：

从所述U-视差图中获取所述非横向直线的每个像素点的坐标；

从所述v-视差图中获取所述非纵向直线的每个像素点的坐标；

根据所述非横向直线的每个像素点的坐标以及所述非纵向直线的每个像素 点的坐标确定所述视差图像中候选车道线区域的每个像素点的位置坐标。

在一种实施例中，所述根据候选车道线区域在所述双目图像中的对应位置， 得到所述候选车道线区域的图像特征，包括：

根据所述视差图像与双目图像的像素对应关系，确定所述视差图像中的候 选车道线区域在所述双目图像中的对应位置；

获取所述候选车道线区域在所述双目图像中对应位置的图像特征。

另一方面，本公开还提供了一种路面车道线的检测装置，包括：

图像获取模块，用于获取车辆行进方向的双目图像，根据所述双目图像生 成视差图像，根据所述视差图像生成U-视差图和V-视差图；

直线提取模块，用于分别对所述U-视差图和V-视差图中灰度值非0的像素 点进行直线拟合，根据所拟合的直线，分别从所述U-视差图和V-视差图中提取 具有非同一视差值的直线；

候选区域确定模块，用于根据所述U-视差图中所提取直线在所述视差图像 中的对应区域以及所述V-视差图中所提取直线在所述视差图像中的对应区域， 确定所述视差图像中的候选车道线区域；

特征获取模块，用于根据所述候选车道线区域在所述双目图像中的对应位 置，得到所述候选车道线区域的图像特征；

车道线判定模块，用于根据所述候选车道线区域的图像特征，得到所述候 选车道线区域的车道线检测结果。

在一种实施例中，所述直线提取模块包括：

直线拟合单元，用于分别对二值化处理后的U-视差图和二值化处理后的V- 视差图，利用直线拟合算法对灰度值为255的各点进行直线拟合，得到若干条 直线；

直线提取单元，用于根据拟合得到的若干条直线，从所述U-视差图中提取 非横向直线，从所述V-视差图中提取非纵向直线。

在一种实施例中，所述候选区域确定模块包括：

横坐标获取单元，用于从所述U-视差图中获取所述非横向直线的每个像素 点的坐标；

纵坐标获取单元，用于从所述v-视差图中获取所述非纵向直线的每个像素 点的坐标；

候选区域划分单元，用于根据所述非横向直线的每个像素点的坐标以及所 述非纵向直线的每个像素点的坐标确定所述视差图像中候选车道线区域的每个 像素点的位置坐标。

另一方面，本公开还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任意一种路面车道线的检测方法。

另一方面，本公开还提供了一种计算机可读存储介质，所述计算机可读存 储介质存储有计算机程序，所述计算机程序可由处理器执行完成上述任意一种 路面车道线的检测方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开上述示例性实施例提供的路面车道线的检测方法，首先基于视差图 像进行候选车道线区域检测，之后结合双目图像中候选车道线区域的图像特征， 实现对车道线的判定，大幅度提升车道线检测的准确率与可靠性，减少了恶劣 环境(逆光霞光，夜晚，雨雾等)对传感器成像带来的负面影响。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能 限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明 的实施例，并于说明书一起用于解释本发明的原理。

图1是根据本公开所涉及的实施环境的示意图；

图2是根据一示例性实施例示出的一种装置的框图；

图3是根据一示例性实施例示出的一种路面车道线的检测方法的流程图；

图4、图5分别是左右摄像头拍摄的二维图像示意图；

图6是将图4和图5的二维图像合成视差图像的效果示意图；

图7、图8、图9是根据一示例性实施例示出的进行立体匹配处理的原理图；

图10、图11分别是V-视差图和U-视差图；

图12、图13分别是V-视差图中拟合的直线和U-视差图中拟合的直线示意 图；

图14、图15分别是V-视差图中的非纵向直线和U-视差图中的非横向直线 示意图；

图16是图3对应实施例步骤330的细节的流程示意图；

图17是图3对应实施例步骤340的细节的流程示意图；

图18是本公开一示例性实施例示出的实现车道线偏离预警的流程框图；

图19是根据一示例性实施例示出的一种路面车道线的检测装置的框图；

图20是图19对应实施例中的直线提取模块的框图。

图21是图19对应实施例中的候选区域确定模块的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描 述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。 以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方 式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一 致的装置和方法的例子。

图1是根据本公开所涉及的实施环境的示意图。该实施环境包括：双目摄 像头110与车载终端120之间的关联方式，包括硬件的网络关联方式和/或协议， 以及二者之间往来的数据关联方式。具体的，双目摄像头110可以安装在车辆 的车头，在车辆前进时，实时采集车辆前方的二维图像。也可以安装在车辆的 车尾，在倒车或后退时，实时采集车辆后方的二维图像。双目摄像头110包括 一左、一右两个摄像头，左右两个摄像头平行等高，同时采集车辆前方或后方 的二维图像，并将采集的二维图像发送至该车载终端120。车载终端120根据双 目摄像头110采集的二维图像，并采用本公开提供的路面车道线的检测方法实现路面车道线的检测。

图2是根据一示例性实施例示出的一种装置200的框图。例如，装置200 可以是图1所示实施环境中的车载终端120。

参照图2，装置200可以包括以下一个或多个组件：处理组件202，存储器 204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信 组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数 据通信，相机操作以及记录操作相关联的操作等。处理组件202可以包括一个 或多个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外， 处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的 交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处 理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些 数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器 204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态 随机存取存储器(StaticRandom Access Memory，简称SRAM)，电可擦除可编 程只读存储器(ElectricallyErasable Programmable Read-Only Memory，简称 EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory， 简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪 存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个 模块被配置成由该一个或多个处理器218执行，以完成下述图3、图16、图17、 图18任一所示方法中的全部或者部分步骤。

电源组件206为装置200的各种组件提供电力。电源组件206可以包括电 源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相 关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏 幕。在一些实施例中，屏幕可以包括液晶显示器(Liquid Crystal Display，简称 LCD)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接 收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑 动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界， 而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有 机电致发光显示器(Organic Light Emitting Display，简称OLED)。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括 一个麦克风(Microphone，简称MIC)，当装置200处于操作模式，如呼叫模式、 记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音 频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施 例中，音频组件210还包括一个扬声器，用于输出音频信号。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的 状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件 的相对定位，传感器组件214还可以检测装置200或装置200一个组件的位置 改变以及装置200的温度变化。在一些实施例中，该传感器组件214还可以包 括磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通 信。装置200可以接入基于通信标准的无线网络，如WiFi(WIreless-Fidelity， 无线保真)。在一个示例性实施例中，通信组件216经由广播信道接收来自外部 广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信 组件216还包括近场通信(Near FieldCommunication，简称NFC)模块，以促 进短程通信。例如，在NFC模块可基于射频识别(RadioFrequency Identification， 简称RFID)技术，红外数据协会(Infrared DataAssociation，简称IrDA)技术， 超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路 (ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器、数字 信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微 处理器或其他电子元件实现，用于执行下述方法。

图3是根据一示例性实施例示出的一种路面车道线的检测方法的流程图。 该路面车道线的检测方法的适用范围和执行主体，例如，该方法用于图1所示 实施环境的车载终端120。如图3所示，该检测方法，可以由车载终端110执行， 可以包括以下步骤。

在步骤310中，获取车辆行进方向的双目图像，根据所述双目图像生成视 差图像，根据所述视差图像生成U-视差图和V-视差图；

具体的，可以由双目摄像头110进行车辆行进方向的二维图像的采集。双 目摄像头110可以安装在车辆的车头、车尾，安装在车头的双目摄像头110可 以采集车辆行进方向的双目图像，安装在车尾的双目摄像头120可以采集车辆 后退时，车尾的双目图像。双目摄像头110包括一左一右平行等高的两个摄像 头，左右摄像头同时进行二维图像的采集。如图4和图5所示，为双目摄像头 110的左、右两个摄像头分别采集的同一场景的二维图像。车载终端中可以设置 图像处理引擎，由图像处理引擎将双目摄像头采集的双目图像生成视差图像， 即三维立体图像。视差，是指从相隔一定距离的两个点上观察同一个目标所产 生的方向差异。当利用例如双目摄像头110拍摄同一个目标的左右两幅图像时， 该目标的视差可以理解为该目标在左图像中的横坐标与在右图像中的横坐标之 间的差。

图像处理引擎可有CPU，DSP，GPU，FPGA或专用ASIC来实现。该图像 处理引擎的输入为双目摄像头分别采集的二维图像，输出为大小与二维图像相 同的三维立体图像，如图6所示。立体匹配合成后的三维立体图像每个像素点 的灰度值对应为二维图像每个像素点的视差值。

其中，图像处理引擎生成视差图像的具体过程如下：可以将左摄像头采集 的二维图像作为基准图像，将右摄像头采集的二维图像作为比较图像，当然也 可以，将右摄像头采集的二维图像作为基准图像，将左摄像头采集的二维图像 作为比较图像。之后针对比较图像和基准图像进行立体匹配处理。

具体的，首先针对比较图像，遍历需要进行立体匹配的中心像素点，并在 该中心像素点周围建立固定大小(W x H)的窗口，如图7所示，作为该中心像素 点与基准图像进行立体匹配时的最小计算单位。针对选定的比较图像的像素中 心点，将相应的窗口映射在同Y坐标的基准图像上，如图8所示。从左到右的 顺序遍历同Y轴的基准图像的窗口中心像素点，运用SAD(Sum of Absolute Difference对应像素差的绝对值)算法或SSD(Sum ofSquared Difference对应像素 差的平方和)算法进行差异cost(值)计算，并保存相应计算结果，如图9所示。 在SAD或SSD计算时，与比较图像差异cost最小的窗口中心像素点将被作为 该选定像素中心点的匹配点，比较图像的选定像素中心点与基准图像的匹配点 之间的位移差(x坐标之差)即为如图9所示的最小视差d’，其相应的深度信息则 为在三维图像中，该基准图像像素中心点的对应距离。

具体的，通过遍历比较图像中的所有像素中心点，将计算出尺寸与基准图 像相同的三维立体图像，即视差图像。基准图像的各像素点所对应的视差值， 则将保存为三维立体图像的各像素点的灰度值。基准图像中的点的坐标可以表 示为(x，y)，其中x为横坐标，y为纵坐标。在通过转换该基准图像而获得的 二维视差图像中，与点(x，y)对应的点的坐标可以表示为(u，v)，其中u为 横坐标，v为纵坐标，并且u＝x，v＝y。视差图像中每个点处的灰度值为该点处 的视差，用d表示。可替换地，可以将视差图中的点表示为(u，v，d)以便同 时反映点的坐标和视差，所以视差图像也可以成为三维立体图像。

需要说明的是，V-视差图(V-Disparity-MAP，纵向视差直方图)和U-视差 图(U-Disparity-MAP，横向视差直方图)可以从前面得到的视差图像中导出。 V-视差图可以视为视差图像的侧视图，其横坐标轴为d轴，纵坐标轴为v轴， 其上的点可表示为(d，v)，并且点(d，v)的灰度值(亮度值)是对应视差图 像的纵坐标为v的行中视差等于d的点的数量，因此，可以通过统计该数量或 者使用本领域公知的其他方法来从视差图像导出V-视差图。如图10所示为基于 图6的视差图像导出的V-视差图。U-视差图可以视为视差图像的俯视图，其横 坐标轴为u轴，纵坐标轴为d轴，其上的点可表示为(u，d)，并且点(u，d) 的灰度值(亮度值)是对应视差图像的横坐标为u的列中视差等于d的点的数 量，因此，可以通过统计该数量或者使用本领域公知的其他方法来从视差图像 导出U-视差图。如图11所示为基于图6的视差图像导出的U-视差图。

在步骤320中，分别对所述U-视差图和V-视差图中灰度值非0的像素点进 行直线拟合，根据所拟合的直线，分别从所述U-视差图和V-视差图中提取具有 非同一视差值的直线；

需要说明的是，U-视差图和V-视差图中每个点的灰度值表示视差值为d的 点的个数。如果某点的灰度值为0表示视差值为d的点的个数是0，该点为暗点 (亮度为0)。在进行直线拟合时，将U-视差图和V-视差图中的亮点(灰度值非0也就是视差值为d的点的个数非0)进行直线拟合。具体的，在U-视差图和 V-视差图上，可以利用最小二乘法或霍夫变换算法对亮点进行直线拟合，拟合 出若干条直线。如图12和图13所示，分别在V-视差图和U-视差图上进行直线 拟合，可以拟合出较多的直线。

需要解释的是，由于车道线距离双目摄像头110越近，视差越大，距离越 远，视差越小。所以车道线在U-视差图和V视差图是具有非同一视差值的直线。 而U-视差图的横向直线视差值相同，V视差图的纵向直线视差值相同，所以车 道线在V视差图和U-视差图中可以认为是一条斜线，如图14和图15所示。

其中，在步骤320之前，所述方法还包括：

分别对所述U-视差图和V-视差图进行降噪平滑处理；

将经过所述降噪平滑处理后的U-视差图和V-视差图进行二值化处理。

具体的，可以对U-视差图和V-视差图进行基于高斯滤波的降噪平滑处理， 减少和消除U-视差图和V-视差图中的噪声，以改善图像质量。对U-视差图和 V-视差图进行降噪平滑处理后，再对降噪平滑处理后的U-视差图和V-视差图进 行二值化处理。二值化是指将图像上的像素点的灰度值设置为0或255，也就是 将整个图像呈现出明显的只有黑和白的视觉效果。本公开实施例中可以将U-视 差图和V-视差图中灰度值(视差值为d的点的个数)大于预设值的像素点灰度 值设置为255，也就是白色。将U-视差图和V-视差图中灰度值(视差值为d的 点的个数)不大于预设值的像素点灰度值设置为0，也就是黑色。从而U-视差 图和V-视差图呈现只有黑白的视觉效果，如图10和图11所示。

可选的，步骤320具体包括：

在步骤321中，分别对二值化处理后的U-视差图和二值化处理后的V-视差 图，利用直线拟合算法对灰度值为255的各点进行直线拟合，得到若干条直线；

需要说明的是，在二值化处理后的U-视差图和V-视差图中，仅剩下灰度值 为255的白点和灰度值为0的黑点，之后，利用最小二乘法或霍夫变换算法对 灰度值为255的白点进行直线拟合，得到若干条直线。

在步骤322中，根据拟合得到的若干条直线，从所述U-视差图中提取非横 向直线，从所述V-视差图中提取非纵向直线。

具体的，由于U-视差图的横坐标为u，纵坐标为d，所以同一Y坐标的横 向直线为同一视差值的横向直线，为了提取非同一视差值的直线，在U-视差图 中提取非横向直线。由于V-视差图的横坐标为d，纵坐标为v，所以同一X坐 标的纵向直线也就是同一视差值的纵向直线，为了提取非同一视差值的直线， 在V-视差图中的提取非纵向直线。如图14所示为V-视差图中的非纵向直线， 如图15所示为U-视差图中的非横向直线。

在步骤330中，根据所述U-视差图中所提取直线在所述视差图像中的对应 区域以及所述V-视差图中所提取直线在所述视差图像中的对应区域，确定所述 视差图像中的候选车道线区域；

需要说明的是，对于视差图像中的车道线区域而言，在U-视差图可以提取 与该区域对应的非横向直线同时在V-视差图中可以提取与该区域对应的非纵向 直线。例如，V-视差图中非纵向直线与U-视差图中的非横向直线，都对应如图 6所示的视差图像中的车道线区域。由于V-视差图和U-视差图中提取的直线较 多，可能存在较多的候选车道线区域。因此，后续再根据车道线的图像特征， 进行车道线的判定。

可选的，如图16所示，步骤330具体包括：

在步骤331中，从所述U-视差图中获取所述非横向直线的每个像素点的坐 标；

在步骤332中，从所述v-视差图中获取所述非纵向直线的每个像素点的坐 标；

需要解释的是，由于U-视差图的横坐标为u，纵坐标为d，所以可以很容易 从U-视差图中得到非横向直线的每个像素点的坐标(u，d)。由于V-视差图的 纵坐标为v，横坐标为d，所以可以很容易从V-视差图中得到非纵向直线的每个 像素点的坐标(d，v)。

在步骤333中，根据所述非横向直线的每个像素点的坐标以及所述非纵向 直线的每个像素点的坐标确定所述视差图像中候选车道线区域的每个像素点的 位置坐标。

需要解释的是，由于视差图像中的每个像素点的坐标为(u，v，d)，U-视 差图的横坐标为u和V-视差图的纵坐标为v就是视差图像中的横坐标为u和纵 坐标v，因此候选车道线区域的每个像素点(u，v，d)可以对应在非横向直线 中找到像素点(u，d)且在非纵向直线中找到像素点(d，v)。因此，根据非横 向直线的每个像素点的坐标(u，d)以及非纵向直线的每个像素点的坐标(d，v)可以确定候选车道线区域的每个像素点的位置坐标(u，v，d)。

在步骤340中，根据所述候选车道线区域在所述双目图像中的对应位置， 得到所述候选车道线区域的图像特征；

可选的，如图17所示，步骤340具体包括：

在步骤341中，根据所述视差图像与双目图像的像素对应关系，确定所述 视差图像中的候选车道线区域在所述双目图像中的对应位置；

需要说明的是，由于视差图像与双目图像的尺寸相同，像素点位置对应， 所以根据候选车道线区域在视差图像中的位置，可以得到双目图像中候选车道 线区域的对应位置。

在步骤342中，获取所述候选车道线区域在所述双目图像中对应位置的图 像特征。

在步骤341确定了候选车道线区域在双目图像中的对应位置后，可以从双 目图像中得到候选车道线区域的图像特征，该图像特征可以是双目图像中候选 车道线区域对应位置的灰度值特征或色彩值特征。

在步骤350中，根据所述候选车道线区域的图像特征，得到所述候选车道 线区域的车道线检测结果。

通常情况下，双目图像中车道线所在位置的各像素的灰度值或色彩值相同 或接近。由此，在步骤340得到候选车道线区域的图像特征(例如灰色值或色 彩值特征)后，通过判断候选车道线区域在双目图像中对应位置的各个像素的 灰度值或色彩值是否相同或是否接近，以此来确定候选车道线区域是否是车道 线。

其中，由于路面存在多个车道，每个车道都存在车道线，在上述步骤识别 出双目摄像头110视野范围内的车道线之后，通过计算与每条车道线的距离， 将与双目摄像头110在X方向(水平方向)上距离最接近且等间隔距离的左右 两条车道线判定为车辆行驶方向上的车道线，也可仅为距离最接近的一条车道 线判定为车辆行驶方向上的车道线。

根据需要，在检测出车道线之后，可以由车载终端120的嵌入式微处理器 根据视差图像中车道线区域的视差值，得到车辆与车道线的最小相对距离。需 要解释的是，假设车道线区域的最大视差为d，已知左右摄像头之间的距离为b， 焦距为f，那么车辆与车道线的最小相对距离为Z＝b*f/d，Z就是车辆与该车道 线的最小相对距离。根据指定时间间隔内最下相对距离的变化，可以得到车辆 与车道线的相对速度。由此，根据车辆与车道线的相对距离以及相对速度变化， 可以估计出车辆偏离车道线的时间。当该时间小于风险阈值时，认为车辆可能 马上就要偏离车道线，风险较大，需要进行预警，从而车载终端的预警终端发 出警报信号，以实现预警的功能。实时进行车道线偏离预警，大幅度提升了安 全驾驶的可靠性及实时性。

如图18所示，根据双目摄像头110采集的基准图像和比较图像，进行三维 立体匹配后生成视差图像，之后根据视差图像采用上述步骤310-步骤350进行 车道线检测。在检测出车道线后，计算出偏离车道线的时间，并与风险阈值进 行比较，在小于风险阈值时，进行偏离预警。

进一步的，在检测出车道线后，可以仅对车道线内的行人及车辆等障碍物 进行检测和识别。在基于双目摄像头采集的二维图像和视差图像进行车道线检 测后，通过获取车道线在二维图像中的位置，之后可以仅对车道线范围内的二 维图像进行行人及车辆等障碍物的检测和识别，该处理可大幅度缩减行人及车 辆的检测及识别算法的图像处理范围，进一步提升原有检测及识别算法的精度 及实时性，进一步提升汽车安全驾驶的稳定性与可靠性。

综上，本公开上述示例性实施例提供的路面车道线的检测方法，首先基于 视差图像进行候选车道线区域检测，之后结合双目图像中候选车道线区域的图 像特征，实现对车道线的判定，大幅度提升车道线检测的准确率与可靠性，减 少了恶劣环境(逆光霞光，夜晚，雨雾等)对传感器成像带来的负面影响。

下述为本公开装置实施例，可以用于执行本公开上述车载终端120执行的 路面车道线的检测方法实施例。对于本公开装置实施例中未披露的细节，请参 照本公开路面车道线的检测方法实施例。

图19是根据一示例性实施例示出的一种路面车道线的检测装置的框图，该 路面车道线的检测装置可以用于图1所示实施环境的车载终端120中，执行图3、 图16、图17、图18任一所示的路面车道线的检测方法的全部或者部分步骤。 如图19所示，该检测装置包括但不限于：图像获取模块1210、直线提取模块 1220、候选区域确定模块1230、特征获取模块1240以及车道线判定模块1250。

图像获取模块1210，用于获取车辆行进方向的双目图像，根据所述双目图 像生成视差图像，根据所述视差图像生成U-视差图和V-视差图；

直线提取模块1220，用于分别对所述U-视差图和V-视差图中灰度值非0的 像素点进行直线拟合，根据所拟合的直线，分别从所述U-视差图和V-视差图中 提取具有非同一视差值的直线；

候选区域确定模块1230，用于根据所述U-视差图中所提取直线在所述视差 图像中的对应区域以及所述V-视差图中所提取直线在所述视差图像中的对应区 域，确定所述视差图像中的候选车道线区域；

特征获取模块1240，用于根据所述候选车道线区域在所述双目图像中的对 应位置，得到所述候选车道线区域的图像特征；

车道线判定模块1250，用于根据所述候选车道线区域的图像特征，得到所 述候选车道线区域的车道线检测结果。

上述装置中各个模块的功能和作用的实现过程具体详见上述路面车道线的 检测方法中对应步骤的实现过程，在此不再赘述。

图像获取模块1210比如可以是图2中的某一个物理结构通信组件216。

直线提取模块1220、候选区域确定模块1230、特征获取模块1240以及车 道线判定模块1250

也可以是功能模块，用于执行上述路面车道线的检测方法中的对应步骤。 可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式 实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成 电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行 的一个或多个计算机程序，例如图2的处理器218所执行的存储在存储器204 中的程序。

可选的，上述路面车道线的检测装置还包括但不限于：

预处理模块，用于分别对所述U-视差图和V-视差图进行降噪平滑处理；

二值化模块，用于将经过所述降噪平滑处理后的U-视差图和V-视差图进行 二值化处理。

可选的，如图20所示，所述直线提取模块1220包括但不限于：

直线拟合单元1221，用于分别对二值化处理后的U-视差图和二值化处理后 的V-视差图，利用直线拟合算法对灰度值为255的各点进行直线拟合，得到若 干条直线；

直线提取单元1222，用于根据拟合得到的若干条直线，从所述U-视差图中 提取非横向直线，从所述V-视差图中提取非纵向直线。

可选的，如图21所示，所述候选区域确定模块1230包括但不限于：

横坐标获取单元1231，用于从所述U-视差图中获取所述非横向直线的每个 像素点的坐标；

纵坐标获取单元1232，用于从所述v-视差图中获取所述非纵向直线的每个 像素点的坐标；

候选区域划分单元1233，用于根据所述非横向直线的每个像素点的坐标以 及所述非纵向直线的每个像素点的坐标确定所述视差图像中候选车道线区域的 每个像素点的位置坐标。

可选的，所述特征获取模块1240包括但不限于：

位置获取单元，用于根据所述视差图像与双目图像的像素对应关系，确定 所述视差图像中的候选车道线区域在所述双目图像中的对应位置；

特征获取单元，用于获取所述候选车道线区域在所述双目图像中对应位置 的图像特征。

可选的，本公开还提供一种电子设备，该电子设备可以用于图1所示实施 环境的车载终端120中，执行图3、图16、图17、图18任一所示的路面车道线 的检测方法的全部或者部分步骤。所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述示例性实施例所述的路面车道线的检 测方法。

该实施例中的电子设备的处理器执行操作的具体方式已经在有关该路面车 道线的检测方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存 储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存 储介质存储有计算机程序，所述计算机程序可由装置200的处理器218执行以 完成上述路面车道线的检测方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结 构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的 权利要求来限制。

Claims (10)

1.一种路面车道线的检测方法，其特征在于，包括：

获取车辆行进方向的双目图像，根据所述双目图像生成视差图像，根据所述视差图像生成U-视差图和V-视差图；

分别对所述U-视差图和V-视差图中灰度值非0的像素点进行直线拟合，根据所拟合的直线，分别从所述U-视差图和V-视差图中提取具有非同一视差值的直线；

根据所述U-视差图中所提取直线在所述视差图像中的对应区域以及所述V-视差图中所提取直线在所述视差图像中的对应区域，确定所述视差图像中的候选车道线区域；

根据所述候选车道线区域在所述双目图像中的对应位置，得到所述候选车道线区域的图像特征；

根据所述候选车道线区域的图像特征，得到所述候选车道线区域的车道线检测结果。

2.根据权利要求1所述的方法，其特征在于，在所述分别对U-视差图和V-视差图中灰度值非0的像素点进行直线拟合之前，所述方法还包括：

分别对所述U-视差图和V-视差图进行降噪平滑处理；

将经过所述降噪平滑处理后的U-视差图和V-视差图进行二值化处理。

3.根据权利要求2所述的方法，其特征在于，所述分别对U-视差图和V-视差图中灰度值非0的像素点进行直线拟合，根据所拟合的直线，分别从所述U-视差图和V-视差图中提取具有非同一视差值的直线，包括：

分别对二值化处理后的U-视差图和二值化处理后的V-视差图，利用直线拟合算法对灰度值为255的各点进行直线拟合，得到若干条直线；

根据拟合得到的若干条直线，从所述U-视差图中提取非横向直线，从所述V-视差图中提取非纵向直线。

4.根据权利要求3所述的方法，其特征在于，根据所述U-视差图中所提取直线在所述视差图像中的对应区域以及所述V-视差图中所提取直线在所述视差图像中的对应区域，确定所述视差图像中的候选车道线区域，包括：

从所述U-视差图中获取所述非横向直线的每个像素点的坐标；

从所述V-视差图中获取所述非纵向直线的每个像素点的坐标；

根据所述非横向直线的每个像素点的坐标以及所述非纵向直线的每个像素点的坐标确定所述视差图像中候选车道线区域的每个像素点的位置坐标。

5.根据权利要求1所述的方法，其特征在于，所述根据候选车道线区域在所述双目图像中的对应位置，得到所述候选车道线区域的图像特征，包括：

根据所述视差图像与双目图像的像素对应关系，确定所述视差图像中的候选车道线区域在所述双目图像中的对应位置；

获取所述候选车道线区域在所述双目图像中对应位置的图像特征。

6.一种路面车道线的检测装置，其特征在于，包括：

图像获取模块，用于获取车辆行进方向的双目图像，根据所述双目图像生成视差图像，根据所述视差图像生成U-视差图和V-视差图；

直线提取模块，用于分别对所述U-视差图和V-视差图中灰度值非0的像素点进行直线拟合，根据所拟合的直线，分别从所述U-视差图和V-视差图中提取具有非同一视差值的直线；

候选区域确定模块，用于根据所述U-视差图中所提取直线在所述视差图像中的对应区域以及所述V-视差图中所提取直线在所述视差图像中的对应区域，确定所述视差图像中的候选车道线区域；

特征获取模块，用于根据所述候选车道线区域在所述双目图像中的对应位置，得到所述候选车道线区域的图像特征；

车道线判定模块，用于根据所述候选车道线区域的图像特征，得到所述候选车道线区域的车道线检测结果。

7.根据权利要求6所述的装置，其特征在于，所述直线提取模块包括：

直线拟合单元，用于分别对二值化处理后的U-视差图和二值化处理后的V-视差图，利用直线拟合算法对灰度值为255的各点进行直线拟合，得到若干条直线；

直线提取单元，用于根据拟合得到的若干条直线，从所述U-视差图中提取非横向直线，从所述V-视差图中提取非纵向直线。

8.根据权利要求7所述的装置，其特征在于，所述候选区域确定模块包括：

横坐标获取单元，用于从所述U-视差图中获取所述非横向直线的每个像素点的坐标；

纵坐标获取单元，用于从所述V-视差图中获取所述非纵向直线的每个像素点的坐标；

候选区域划分单元，用于根据所述非横向直线的每个像素点的坐标以及所述非纵向直线的每个像素点的坐标确定所述视差图像中候选车道线区域的每个像素点的位置坐标。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-5任意一项所述的路面车道线的检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成权利要求1-5任意一项所述的路面车道线的检测方法。

Images