CN107977654A - 一种道路区域检测方法、装置及终端 - Google Patents

Abstract

本公开揭示了一种道路区域检测方法、装置及终端，涉及辅助驾驶技术领域，该方案包括：获取包含道路区域的视差图像，生成视差图像对应的第一V视差图；在第一V视差图中进行直线检测，围绕所检测直线形成代表道路区域的直线扩展区域；根据直线扩展区域在视差图像中映射得到的第一视差点，生成第一视差点对应的U视差图；在U视差图中进行直线检测，围绕U视差图中所检测直线形成直线扩充区域，获得直线扩充区域在视差图像中映射得到的第二视差点；筛选出视差图像中第一视差点与第二视差点的交集点，获得视差图像中代表道路区域的道路拟合点。本公开通过V视差图和U视差图共同进行约束，可以准确找到道路视差点，从而实现道路区域的准确检测。

Description

一种道路区域检测方法、装置及终端

技术领域

本公开涉及辅助驾驶技术领域，特别涉及一种道路区域检测方法、装置及终端、计算机可读存储介质。

背景技术

随着城市化的发展和车辆的普及，交通运输问题日益严重。近年来，车辆增长的速度也已远远高于道路其他交通设施的增长速度，交通事故频繁、人员伤亡与日俱增、财产损失巨大这都要求车辆不仅要具有良好的安全性而且要具备一定的智能性，随之智能车辆(Intelligent Vehicle)的概念应运而生。与此同时，人们正在研究一种以实现无人、全自动和安全驾驶为最终目标的智能车辆。

在辅助驾驶、自动驾驶技术中，快速、准确、稳定的检测路面障碍物是关键技术，而准确的提取道路区域是检测路面障碍物的必要步骤。只有在准确的提取道路区域的前提下，才能准确地检测出路面障碍物。在现有的方案中，基于雷达的检测技术由于其成本高、探测视野小，无法普遍应用于各种车辆。基于双目立体视觉技术的检测技术由于其成本低、探测视野大等优点，受到了各大公司以及研究人员的普遍关注。目前，基于双目立体视觉技术的方案大同小异，同时采集两张图像(左视图和右视图)，以其中一幅图像作为基准图像，另一幅作为比较图像，使用立体匹配算法获取视差图像，基于视差图像生成V视差图，通过检测V视差图中的直线进行道路区域的检测。

由于V视差图中的直线不仅包含道路区域的视差点，其还包含道路以外区域的点，不能准确的提取出道路视差点，尤其是在道路区域占图像区域面积较小的情况下，更加无法准确的提取道路区域。

发明内容

为了解决相关技术中存在的提取道路视差点不准确的问题，本公开提供了一种道路区域检测方法、装置及终端。

一方面，本公开提供了一种道路区域检测方法，所述方法包括：

获取包含所述道路区域的视差图像，生成所述视差图像对应的第一V视差图；

在所述第一V视差图中进行直线检测，围绕所检测直线形成第一V视差图中代表道路区域的直线扩展区域；

根据所述第一V视差图中直线扩展区域在所述视差图像中映射得到的第一视差点，生成所述视差图像中第一视差点对应的U视差图；

在所述U视差图中进行直线检测，围绕U视差图中所检测直线形成直线扩充区域，获得直线扩充区域在所述视差图像中映射得到的第二视差点；

筛选出视差图像中所述第一视差点与所述第二视差点的交集点，获得所述视差图像中代表道路区域的道路拟合点。

可选的，所述筛选出视差图像中所述第一视差点与所述第二视差点的交集点，获得所述视差图像中代表道路区域的道路拟合点之后，所述方法还包括：

根据所述视差图像中获得的道路拟合点，生成视差图像中所述道路拟合点对应的第二V视差图；

在所述第二V视差图中进行直线检测，获得所述第二V视差图中代表道路区域的道路线；

根据所述第二V视差图中道路线在所述视差图像中映射得到的视差点，获得所述视差图像中代表道路区域的道路视差点。

可选的，所述在所述第二V视差图中进行直线检测，获得所述第二V视差图中代表道路区域的道路线，包括：

将所述第二V视差图纵向划分为若干子图像，在所述子图像中进行直线检测，获得所述子图像中代表道路区域的直线；

通过对所述子图像中代表道路区域的直线进行拼接，形成所述第二V视差图中代表道路区域的道路线。

可选的，所述在所述第二V视差图中进行直线检测，获得所述第二V视差图中代表道路区域的道路线，包括：

将所述第二V视差图中的道路像素点划分为若干区段；

对所述区段内的道路像素点进行直线拟合，获得所述区段代表道路区域的直线段；

通过对相邻的所述直线段进行拼接，形成所述第二V视差图中代表道路区域的道路线。

可选的，所述在第一V视差图中进行直线检测，围绕所检测直线形成第一V视差图中代表道路区域的直线扩展区域，包括：

在所述第一V视差图中进行直线检测，获得所述第一V视差图中代表道路区域的直线；

在所述第一V视差图中，将距离所检测直线第一预设范围内的区域形成所述直线扩展区域。

可选的，所述在所述第一V视差图中，将距离所检测直线第一预设范围内的区域形成所述直线扩展区域，包括：

根据预先配置第一V视差图中所检测直线上目标像素点两侧的视差范围，在所述目标像素点的两侧，确定对应的道路扩展点；

将第一V视差图中所检测直线同侧的道路扩展点进行拟合，得到第一V视差图中所检测直线两侧的道路扩展线；

根据所检测直线两侧的道路扩展线，形成由所述道路扩展线围成的所述直线扩展区域。

可选的，在所述U视差图中进行直线检测，围绕U视差图中所检测直线形成直线扩充区域，获得直线扩充区域在所述视差图像中映射得到的第二视差点，包括：

在所述U视差图中进行直线检测，获得所述U视差图中所检测直线；

在所述U视差图中，将距离所检测直线第二预设范围内的区域形成所述直线扩充区域；

将所述U视差图中的所述直线扩充区域映射到所述视差图像中，获得所述视差图像中的第二视差点。

另一方面，本公开提供了一种道路区域检测装置，所述装置包括：

V视差图生成模块，用于获取包含所述道路区域的视差图像，生成所述视差图像对应的第一V视差图；

直线区域获得模块，用于在所述第一V视差图中进行直线检测，围绕所检测直线形成第一V视差图中代表道路区域的直线扩展区域；

U视差图生成模块，用于根据所述第一V视差图中直线扩展区域在所述视差图像中映射得到的第一视差点，生成所述视差图像中第一视差点对应的U视差图；

视差点获得模块，用于在所述U视差图中进行直线检测，围绕U视差图中所检测直线形成直线扩充区域，获得直线扩充区域在所述视差图像中映射得到的第二视差点；

交集点筛选模块，用于筛选出视差图像中所述第一视差点与所述第二视差点的交集点，获得所述视差图像中代表道路区域的道路拟合点。

可选的，本公开提供的道路区域检测装置还包括：

第二生成模块，用于根据所述视差图像中获得的道路拟合点，生成视差图像中所述道路拟合点对应的第二V视差图；

道路线获得模块，用于在所述第二V视差图中进行直线检测，获得所述第二V视差图中代表道路区域的道路线；

道路点获得模块，用于根据所述第二V视差图中道路线在所述视差图像中映射得到的视差点，获得所述视差图像中代表道路区域的道路视差点。

其中，道路线获得模块包括：

图像划分单元，用于将所述第二V视差图纵向划分为若干子图像，在所述子图像中进行直线检测，获得所述子图像中代表道路区域的直线；

直线拼接单元，用于通过对所述子图像中代表道路区域的直线进行拼接，形成所述第二V视差图中代表道路区域的道路线。

其中，道路线获得模块包括：

区段划分单元，用于将所述第二V视差图中的道路像素点划分为若干区段；

直线拟合单元，用于对所述区段内的道路像素点进行直线拟合，获得所述区段代表道路区域的直线段；

线段拼接单元，用于通过对相邻的直线段进行拼接，形成所述第二V视差图中代表道路区域的道路线。

可选的，直线区域获得模块包括：

直线获得单元，用于在所述第一V视差图中进行直线检测，获得所述第一V视差图中代表道路区域的直线；

区域形成单元，用于在所述第一V视差图中，将距离所检测直线第一预设范围内的区域形成所述直线扩展区域。

其中，区域形成单元包括：

扩展点确定子单元，用于根据预先配置第一V视差图中所检测直线上目标像素点两侧的视差范围，在所述目标像素点的两侧，确定对应的道路扩展点；

扩展线得到子单元，用于将第一V视差图中所检测直线同侧的道路扩展点进行拟合，得到第一V视差图中所检测直线两侧的道路扩展线；

扩展区域形成子单元，用于根据所检测直线两侧的道路扩展线，形成由所述道路扩展线围成的直线扩展区域。

可选的，视差点获得模块包括：

直线检测单元，用于在所述U视差图中进行直线检测，获得所述U视差图中所检测直线；

扩充区域形成单元，用于在所述U视差图中，将距离所检测直线第二预设范围内的区域形成所述直线扩充区域；

视差点获得单元，用于将所述U视差图中的直线扩充区域映射到所述视差图像中，获得所述视差图像中的第二视差点。

进一步的，本公开提供了一种终端，所述终端包括：

摄像头组件；

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述道路区域检测方法。

此外，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成上述道路区域检测方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开提供的技术方案，基于视差图像，生成V视差图，并通过对V视差图进行直线检测，将V视差图中直线扩展区域在视差图像中的视差点生成U视差图，并通过对U视差图进行直线检测，根据V视差图中直线扩展区域和U视差图中直线扩充区域在视差图像中的交集点，获得视差图像中的道路拟合点，本公开通过V视差图和U视差图共同进行约束，从而可以找到可靠性高的道路视差点，减小复杂环境干扰，准确提取道路区域；更重要的是，在现有技术仅对V视差图进行直线检测的基础上，本公开进一步针对所检测直线形成直线扩展区域，使检测结果包含尽可能多的路面视差点，提高道路区域提取准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据本公开所涉及的实施环境的示意图；

图2是图1所示实施环境中的车载终端的框图；

图3是根据一示例性实施例示出的一种道路区域检测方法的流程图；

图4是根据一示例性实施例示出的视差图像示意图；

图5是图3对应实施例的步骤320的细节流程图；

图6是图5对应实施例的步骤321的细节流程图；

图7是图4对应视差图像的V视差图示意图；

图8是图7对应V视差图中所检测到的直线示意图；

图9是图8所检测到的直线对应的直线扩展区域示意图；

图10是图9对应直线扩展区域在视差图像中所对应的第一视差点；

图11是图10对应仅包含第一视差点的视差图像的U视差图；

图12是图3对应实施例的步骤340的细节流程图；

图13是图11对应U视差图中所检测到的直线；

图14是图13中所检测直线对应的直线扩充区域；

图15是图14中的直线扩充区域在视差图像中所对应的第二视差点；

图16是图10中第一视差点和图15中第二视差点的交集点；

图17是在图3对应实施例的本公开另一示例性实施例示出的一种道路区域检测方法的流程图；

图18是由图16对应的仅包含交集点的视差图像生成的V视差图；

图19是图17对应实施例的步骤370的细节流程图；

图20是对图18对应的V视差图进行分段拟合的示意图；

图21是对图20分段拟合的直线进行拼接的示意图；

图22为本公开一示例性实施例提供的道路区域检测方法的详细流程示意图；

图23是图5对应实施例中步骤322的细节流程图；

图24是根据一示例性实施例示出如何确定道路扩展点的原理示意图；

图25是根据一示例性实施例示出的道路扩展点示意图；

图26是根据一示例性实施例示出的道路扩展区域的示意图；

图27是根据一示例性实施例示出的一种道路区域检测装置的框图；

图28是在图27对应实施例的基础上另一示例性实施例示出的一种道路区域检测装置的框图；

图29是图27对应实施例中的直线区域获得模块的细节框图；

图30是图27对应实施例中的视差点获得模块的细节框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据本公开所涉及的实施环境的示意图。该实施环境包括：双目摄像头110和车载终端120。

双目摄像头110与车载终端120之间的关联方式，包括硬件的网络关联方式和/或协议，以及二者之间往来的数据关联方式。具体的，双目摄像头110可以安装在车辆的车头，面向车辆行驶方向，实时采集车辆行驶方向的二维图像。还可以安装在车辆的车尾，实时采集车辆后方的二维图像。双目摄像头110包括一左、一右两个摄像头，左右两个摄像头平行等高，同时采集车辆前方的左视图和右视图，并将采集的左视图和右视图发送至该车载终端120。车载终端120根据双目摄像头110采集的左、右视图，通过立体匹配算法可以得到视差图像，并基于该视差图像采用本公开提供的道路区域检测方法实现道路区域的检测。

图2是图1所示实施环境中的车载终端120的框图。参照图2，车载终端120可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信组件216。

处理组件202通常控制车载终端120的整体操作，诸如与显示，数据通信，相机操作以及记录操作相关联的操作等。处理组件202可以包括一个或多个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在车载终端120的操作。这些数据的示例包括用于在车载终端120上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器218执行，以完成下述图3、图5、图6、图12、图17、图19、图22、图23任一所示方法中的全部或者部分步骤。

电源组件206为车载终端120的各种组件提供电力。电源组件206可以包括电源管理系统，一个或多个电源，及其他与为车载终端120生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述车载终端120和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(Liquid Crystal Display，简称LCD)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display，简称OLED)。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(Microphone，简称MIC)，当车载终端120处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

传感器组件214包括一个或多个传感器，用于为车载终端120提供各个方面的状态评估。例如，传感器组件214可以检测到车载终端120的打开/关闭状态，组件的相对定位，传感器组件214还可以检测车载终端120或车载终端120一个组件的位置改变以及车载终端120的温度变化。在一些实施例中，该传感器组件214还可以包括磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于车载终端120和其他设备之间有线或无线方式的通信。车载终端120可以接入基于通信标准的无线网络，如WiFi(WIreless-Fidelity，无线保真)。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NearField Communication，简称NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(Radio Frequency Identification，简称RFID)技术，红外数据协会(Infrared DataAssociation，简称IrDA)技术，超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。

在示例性实施例中，车载终端120可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。

图3是根据一示例性实施例示出的一种道路区域检测方法的流程图。该道路区域检测方法的适用范围和执行主体，例如，该方法用于图1所示实施环境的车载终端120。如图3所示，该道路区域检测方法可以由车载终端120执行，可以包括以下步骤。

在步骤310中，获取包含所述道路区域的视差图像，生成所述视差图像对应的第一V视差图。

具体的，可以由双目摄像头的左右摄像头分别同时采集同一场景的左视图和右视图，将左摄像头采集的二维图像作为基准图像，将右摄像头采集的二维图像作为比较图像，当然也可以，将右摄像头采集的二维图像作为基准图像，将左摄像头采集的二维图像作为比较图像。之后采用立体匹配算法针对比较图像和基准图像进行立体匹配处理，得到视差图像，视差图像如图4所示。视差图像中每个点处的灰度值为该点处的视差值，用d表示。可替换地，可以将视差图像中的点表示为(u，v，d)以便同时反映点的坐标和视差值，所以视差图像也可以称为三维立体图像。

需要说明的是，V视差图(V-Disparity-MAP，纵向视差直方图)可以通过统计视差图像中每一行视差值相同的点的数量，得到V视差图。V视差图可以视为视差图像的侧视图，其横坐标轴为d轴，纵坐标轴为v轴，其上的点可表示为(d，v)，并且点(d，v)的灰度值(亮度值)是对应视差图像的纵坐标为v的行中视差等于d的点的数量。换句话说，V视差图的长为视差值的范围，宽为视差图像的宽。在V视差图中，每个像素点的值则为其对应行中当前视差值的像素点的个数。根据V视差图与视差图像的关系，我们可以从V视差图中的一个点得到视差图像中所对应的多个点。

其中，为进行区分，将原始视差图像导出的V视差图称为第一V视差图，而视差图像中部分视差点导出的V视差图称为第二V视差图。

在步骤320中，在所述第一V视差图中进行直线检测，围绕所检测直线形成第一V视差图中代表道路区域的直线扩展区域。

需要解释的是，道路区域在V视差图中将会映射出一条倾斜的直线，因此可以通过检测直线来进行道路区域的检测。其中，在V视差图上一般采用霍夫变换来拟合直线，从而得到第一V视差图中代表道路区域的直线，而直线扩展区域是指围绕该直线所形成的一个区域。在一种示例性实施例中，该直线扩展区域可以是距离第一V视差图中所检测直线一定范围内的区域。

其中，如图5所示，步骤320具体包括：

在步骤321中，在所述第一V视差图中进行直线检测，获得所述第一V视差图中代表道路区域的直线。

具体的，如图6所示，步骤321包括以下步骤：

在步骤3211中，对所述第一V视差图进行二值化处理。

其中，二值化处理是为了生成二值图像，为下一步检测直线做准备。对第一V视差图做二值化处理，是指将第一V视差图中像素值大于等于阈值的点设置为255，将小于阈值的点设置为0，同时将视差值为0的一列点的像素值设置为0。二值化处理后的第一V视差图如图7所示。需要解释的是，阈值的设定可以通过统计V视差图中道路视差点个数与非道路视差点个数，以最佳区分的道路视差点和非道路视差点的个数作为此处的阈值。在一种示例性实施例中，通过统计各种场景下道路视差点的个数，选择阈值为10。也就是说，将第一V视差图中像素值大于等于10的点设置为255，将像素点小于10的点设置为0。

在步骤3212中，在经过二值化处理后的所述第一V视差图中进行直线检测，若检测到多条直线，计算每条直线在极坐标系下的目标点。

具体的，可以在经过二值化处理后的第一V视差图中使用霍夫变换算法检测直线。在检测直线时，霍夫变换算法的参数包括：角度、距离、投票数、线段的长度。以上参数的取值范围均是根据大量的实验数据总结进行设置。可选的，通过试验统计，各参数范围为：角度(-30°～-60°)、距离(400～500像素)、投票数(300)、线段长度(300)。通过霍夫变换算法检测直线属于现有技术，在此不做赘述。

通过以上参数的设置，能够检测出一条或几条直线，通过合并和去除的方法处理检测出的直线，得到一条直线，即为包含道路区域的直线。处理方法如下：(1)如果只检测出一条直线，则以这条直线为第一V视差图中代表道路区域的直线。(2)如果检测出多条直线，由于每条直线在极坐标系中可以用一个点表示，则我们可以得到多条直线对应的多个点(为进行区分，称为目标点)。

在步骤3213中，通过计算所有目标点的平均点，从所有目标点中筛选出与平均点之间距离小于阈值的目标点。

其中，平均点是指将多个点的坐标值求平均，平均值对应坐标中的点即为平均点。在得到多条直线对应的多个目标点后，可以先求多个目标点的平均点为初始化点，然后求每个目标点与平均点之间的距离，大于距离阈值的则删除，小于距离阈值的则保留。

在步骤3214中，重复上述计算平均点并筛选出目标点的步骤，直到最终筛选出的目标点与平均点之间的距离小于阈值，此时所述极坐标系下的平均点所对应直线，为所述第一V视差图中代表道路区域的直线。

具体的，在筛选出小于距离阈值的目标点后，继续根据筛选出的目标点计算平均点，重复以上过程，直到最后保留的目标点与平均点的距离都小于阈值，此时我们选取平均点对应的直线为第一V视差图中代表道路区域的直线。如图8所示为第一V视差图中检测出的直线。

在步骤322中，在所述第一V视差图中，将距离所检测直线第一预设范围内的区域形成所述直线扩展区域。

其中，直线扩展区域是指距离第一V视差图中所检测直线一定范围内的区域。如图9所示，通过将第一V视差图中检测出的直线(实线)，向上和向下平移一定距离(上、下虚线)，由上、下两条虚线之间的区域作为直线扩展区域，该直线扩展区域即为第一V视差图中代表道路区域的直线区域。此直线扩展区域会包含若干点，通过记录此直线扩展区域内包含的点在原视差图像中所对应的点，所记录的点即为道路扩展区域在视差图像中的点。

在一种示例性实施例中，如图23所示，上述步骤322具体可以包括以下步骤：

在步骤3221中，根据预先配置第一V视差图中所检测直线上目标像素点两侧的视差范围，在所述目标像素点的两侧，确定对应的道路扩展点；

其中，目标像素点是指第一V视差图中代表道路区域的直线上的点。可以通过获取若干幅V视差图中道路直线左侧和右侧的视差范围，道路直线左侧视差范围用L表示，道路直线右侧视差范围用R表示，通过统计若干幅V视差图中每一行的L和R，取其平均值作为每一行的L和R，并记录，此步骤是线下操作，即统计完后只保存V视差图中每一行的L和R。

如图24所示，根据预先统计得出的每一行的L和R，可以得到第一V视差图中所检测直线上每一行目标像素点两侧的视差范围分别是(L1、R1)，(L2、R2)，(L3、R3)，(Lx、Rx)，…(Ln、Rn)。根据与目标像素点之间的视差范围，可以在目标像素点的两侧找到道路扩展点，道路扩展点与目标像素点之间的距离就是视差范围。每一行目标像素点与其左侧的道路扩展点之间的距离可以为L1，L2，L3….Ln。相应的，每一行目标像素点与其右侧的道路扩展点之间的距离可以为R1，R2，R3….Rn。即所检测直线上某一行目标像素点的X坐标加上此行的Rx即为此行对应的右侧道路扩展点，X减去此行的Lx，即为此行对应的左侧道路扩展点，按照此方式计算第一V视差图中所检测直线每一行的左侧道路扩展点和右侧道路扩展点，如图25所示。

在步骤3222中，将第一V视差图中所检测直线同侧的道路扩展点进行拟合，得到第一V视差图中所检测直线两侧的道路扩展线；

如图26所示，可以使用最小二乘法将第一V视差图中所检测直线左侧的道路扩展点进行拟合，得到左侧的道路扩展线，将所检测直线右侧的道路扩展点进行拟合，得到右侧的道路扩展线，即在第一V视差图中所检测直线的两侧各得到一条道路扩展线。

在步骤3223中，根据所检测直线两侧的道路扩展线，形成由所述道路扩展线围成的直线扩展区域。

其中，直线扩展区域就是由两条道路扩展线之间的区域。

在步骤330中，根据所述第一V视差图中直线扩展区域在所述视差图像中映射得到的第一视差点，生成所述视差图像中第一视差点对应的U视差图。

需要说明的是，根据V视差图和视差图像之间的对应关系，V视差图中的点(d₁，v₁)均可以在视差图像中找到若干视差点(u_x，v₁，d₁)。因此第一V视差图中直线扩展区域内的点均可以在视差图像中映射得到相应的视差点，为进行区分，此处称为第一视差点。

如图10所示，为对图9所示的直线扩展区域映射得到的视差图像中的视差点，即第一视差点，形成只包含第一V视差图中直线区域所对应的第一视差点的视差图像。进一步的，根据图10所示的仅包含第一视差点的视差图像，可以生成对应的U视差图，U视差图如图11所示。

具体的，通过统计图10所示视差图像中每一列视差值相同的点的数量，得到U视差图，即U视差图的宽为视差值的范围，长为视差图像的长。在U视差图中，每个像素点的值则为其在视差图的对应列中当前视差值的视差点的个数。根据U视差图与视差图像的关系，我们可以得到U视差图中一个点所对应的视差图像中的多个视差点。

在步骤340中，在所述U视差图中进行直线检测，围绕U视差图中所检测直线形成直线扩充区域，获得直线扩充区域在所述视差图像中映射得到的第二视差点。

参照上述步骤320，可以对U视差图进行二值化处理，然后通过霍夫变换算法在U视差图中检测直线。需要说明的是，在U视差图中，路面上的车道线、道路边界等呈现为一条直线或折线。其中，直线扩充区域是指围绕该直线所形成的一个区域。在一种示例性实施例中，直线扩充区域可以是距离U视差图中所检测直线一定范围内的区域。

需要解释的是，根据U视差图和视差图像之间的关系，U视差图中的点(u₁，d₁)，均可以在视差图像中找到若干点(u₁，v_x，d₁)。因此，U视差图中所检测直线区域内的点均可以在视差图像中映射得到对应的视差点，此处称为第二视差点。

具体的，如图12所示，步骤340具体包括：

在步骤341中，在所述U视差图中进行直线检测，获得所述U视差图中所检测直线；

具体的，采用霍夫变换算法对二值化处理后的U视差图进行直线检测，结果如图13所示，获得U视差图中所检测直线。该直线为U视差图中具有非同一视差值的直线。

在步骤342中，在所述U视差图中，将距离所检测直线第二预设范围内的区域形成所述直线扩充区域。

其中，直线扩充区域是指距离U视差图中所检测直线一定范围内的区域。如图14所示，通过将U视差图中检测出的直线(实线)，向左和向右平移一定距离(左、右虚线)，由左、右两条虚线之间的区域作为直线扩充区域，该直线扩充区域即为U视差图中代表车道线或路面边界的直线区域。此直线扩充区域会包含若干点，通过记录此直线扩充区域内包含的点在原视差图中所对应的视差点，所记录的点即为U视差图中检测直线区域所对应的视差图像中的视差点。

在步骤343中，将所述U视差图中所检测直线区域映射到所述视差图像中，获得所述视差图像中的第二视差点。

如图15所示，图14中的直线扩充区域内的点可以映射在原视差图像中，在视差图像中映射得到的视差点即为第二视差点。

在步骤350中，筛选出视差图像中所述第一视差点与所述第二视差点的交集点，获得所述视差图像中代表道路区域的道路拟合点。

其中，第一视差点为第一V视差图中所检测直线区域在原视差图像中所映射出的视差点，如图10所示。第二视差点为U视差图中所检测直线区域在原视差图像中所映射出的视差点，如图15所示。通过将第一视差点和第二视差点求交集点，获得的交集点即为视差图像中代表道路区域的道路拟合点，交集点如图16所示。其中，道路拟合点为视差图像中第一视差点和第二视差点的重合视差点，即交集点。

需要解释的是，在V视差图中，道路区域呈现为一条直线或者折线。在U视差图中，路面上的车道线、道路边界等呈现为一条直线或折线。所以，第一视差点和第二视差点是包含道路区域的道路视差点，也包含其它杂点。将其进行求交集，其交集点可以认为是相对准确的道路视差点，并且去除了杂点，将这些点称为道路拟合点。

现有技术中披露了一种用于道路对象检测方法和系统。该方法主要是通过霍夫变换在V视差图进行道路检测，去掉视差图中的道路部分，然后在视差图中进行点的聚类，实现路面障碍物的分割，进一步在V视差图中对障碍物进行检测。该方法只是在V视差图中检测道路，由于V视差图中的直线不仅包含道路区域的视差点，其还包含道路以外区域的点，不能准确的提取出道路区域，尤其是在道路区域占图像区域面积较小的情况下，其检测准确率低。

现有技术还提出了一种基于双模态数据融合的道路检测方法。该方法使用激光雷达获取三维点，通过平面拟合的方法的拟合三维点中的平面作为道路区域。由于雷达探测区域小，不能探测到整个道路区域，无法判断路面的边界。并且雷达成本较高。

在复杂道路环境下，道路区域复杂多变，视差图像误差较大，并且容易受路面物体等影响，从而导致道路区域检测不准确，进而影响道路障碍物的检测。相对于现有技术，本公开提供的技术方案，基于视差图像，通过V视差图和U视差图共同进行约束，从而可以找到可靠性高的道路视差点，减小复杂环境干扰，准确提取道路区域，进一步，围绕第一V视差图中所检测直线形成直线扩展区域，从而可以尽可能多地检测到所有路面视差点，进而准确提取道路区域。

进一步的，如图17所示，在上述步骤350之后，本公开示例性实施例提供的道路区域检测方法还包括以下步骤：

在步骤360中，根据所述视差图像中获得的道路拟合点，生成由所述道路拟合点映射的第二V视差图；

具体的，在上述步骤350筛选出视差图像中第一视差点与第二视差点的交集点，获得视差图像中的道路拟合点之后，可以将仅包含道路拟合点的视差图像进一步生成V视差图，为进行区分，此处成为第二V视差图。结果如图18所示。

在步骤370中，在所述第二V视差图中进行直线检测，获得所述第二V视差图中代表道路区域的道路线；

在一种示例性实施例中，可以采用霍夫变换算法在第二V视差图进行直线检测，获得一条代表道路区域的直线，该直线上的每个像素点在视差图像中所映射的点即为代表道路区域的道路视差点。在另一示例性实施例中，因为道路存在高低起伏，所以在第二V视差图中，道路区域可能表现为一条曲线，因此可以用折线来表示代表道路区域的道路线(由于进行道路区域检测最终是为了删除路面视差点实现路面障碍物检测，因此在此使用折线表示道路曲线并不影响删除的准确性，如果用直线来表示则可能会误删除路面上的障碍物的点)。

可选的，如图19所示，步骤370具体包括：

在步骤371中，将所述第二V视差图纵向划分为若干子图像，在所述子图像中进行直线检测，获得所述子图像中代表道路区域的直线；

在一种示例性实施例中，可以将第二V视差图纵向划分为3张子图像，从而对第二V视差图中的点进行分段，记录每一段对应的道路候补点(即第二V视差图中的非0像素点)，然后在每张子图像中进行直线检测，在每张子图像中检测出一条代表道路区域的线段，从而可以获得3条代表道路区域的斜线段。其中，可以采用最小二乘法对每张子图像中的非0像素点(即像素值非0的点)进行直线拟合。

在步骤372中，通过对所述子图像中代表道路区域的直线进行拼接，形成所述第二V视差图中代表道路区域的道路线。

在上述步骤获得每张子图像中代表路面区域的斜线段之后，由于相邻的斜线段可能并不相交，这样就无法构成一条折线，在这种情况下可以将斜线段进行延长，使其相交，此时多条斜线段通过拼接便可构成一条折线，此折线即为第二视差图中代表道路区域的道路线。

在其他实施方式中，步骤370具体以下步骤：

在步骤371’中，将所述第二V视差图中的道路像素点划分为若干区段；

在步骤372’中，对所述区段内的道路像素点进行直线拟合，获得所述区段代表道路区域的直线段；

在步骤373’中，通过对相邻的直线段进行拼接，形成所述第二V视差图中代表道路区域的道路线。

具体的，可以将图18中所示第二V视差图中的道路像素点(即二值化后的非0像素点)划分为若干区段，参照图20所示，可以划分为3个区段，然后采用最小二乘法对每个区段内的道路像素点分别进行直线拟合，拟合后在每个区段形成一条斜线段。参照图21所示，将相邻的斜线段进行拼接形成一条折线，该折线得到第二V视差图中的道路线。

在步骤380中，根据所述第二V视差图中道路线在所述视差图像中映射得到的视差点，获得所述视差图像中代表道路区域的道路视差点。

根据V视差图和视差图像之间的关系，V视差图中的点(d₁，v₁)均可以在视差图像中找到若干点(u_x，v₁，d₁)。因此第二V视差图中道路线上的每个点均可以在视差图像中映射得到相应的视差点，该视差点即为视差图像中代表道路区域的道路视差点。在第一V视差图和U视差图的约束下，进一步生成第二V视差图，并通过直线分段拟合，来获得路面视差点，可以使检测的路面视差点更加准确，更符合路面的高低起伏变化。

图22为本公开一示例性实施例提供的道路区域检测方法的详细流程示意图，如图22所示，双目相机采集同一场景的左视图和右视图，左右视图通过立体匹配算法可以得到视差图像，其中，通过立体匹配算法获得视差图像的过程属于现有技术，在此不再赘述。

在步骤2201中，获取上述通过立体匹配算法生成的视差图像；

在步骤2202中，根据视差图像计算相应的V视差图，即上述实施例所述的第一V视差图；

在步骤2203中，在第一V视差图中检测直线，并记录直线扩展区域在视差图像中所对应的点，即上述实施例所述的第一视差点；

在步骤2204中，将第一V视差图中直线扩展区域对应的视差图图像中的点(第一视差点)生成U视差图；

在步骤2205中，在上述U视差图中检测直线，并记录直线扩充区域在视差图像中对应的视差点，即上述实施例所述的第二视差点；

在步骤2206中，将第一V视差图中直线扩展区域对应的视差图像中的点以及U视差图中直线扩充区域对应的视差图像中的点求交集，即第一视差点和第二视差点的交集点，交集点又称为道路拟合点；

在步骤2207中，将视差图像中的道路拟合点生成V视差图，即第二V视差图；

在步骤2208中，对第二V视差图中的点进行分段，并记录每一段对应的点，此处称为道路候补点；

在步骤2209中，将每个分段的道路候补点拟合成一条线段，得到若干线段；

在步骤2210中，将多个线段进行连接组成一条折线，该折线在视差图像中的对应点即为道路视差点。

综上，本公开提供的道路区域检测方法能够更加准确、稳定地检测道路区域，在准确检测道路区域的前提下进行路面障碍物检测，能够更有效地实现车辆的辅助驾驶并在撞车前发出预警以提高驾驶安全性。

下述为本公开装置实施例，可以用于执行本公开上述车载终端120执行的道路区域检测方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开道路区域检测方法实施例。

图27是根据一示例性实施例示出的一种道路区域检测装置的框图，该道路区域检测装置可以用于图1所示实施环境的车载终端120中，执行图3、图5、图6、图12、图17、图19、图22、图23任一所示的道路区域检测方法的全部或者部分步骤。如图27所示，该道路区域检测装置包括但不限于：V视差图生成模块2710、直线区域获得模块2720、U视差图生成模块2730、视差点获得模块2740以及交集点筛选模块2750。

V视差图生成模块2710，用于获取包含所述道路区域的视差图像，生成所述视差图像对应的第一V视差图；

直线区域获得模块2720，用于在所述第一V视差图中进行直线检测，围绕所检测直线形成第一V视差图中代表道路区域的直线扩展区域；

U视差图生成模块2730，用于根据所述第一V视差图中直线扩展区域在所述视差图像中映射得到的第一视差点，生成所述视差图像中第一视差点对应的U视差图；

视差点获得模块2740，用于在所述U视差图中进行直线检测，围绕U视差图中所检测直线形成直线扩充区域，获得直线扩充区域在所述视差图像中映射得到的第二视差点；

交集点筛选模块2750，用于筛选出视差图像中所述第一视差点与所述第二视差点的交集点，获得所述视差图像中代表道路区域的道路拟合点。

上述装置中各个模块的功能和作用的实现过程具体详见上述道路区域检测方法中对应步骤的实现过程，在此不再赘述。

V视差图生成模块2710比如可以是图2中的某一个物理结构处理器218。

直线区域获得模块2720、U视差图生成模块2730、视差点获得模块2740以及交集点筛选模块2750也可以是功能模块，用于执行上述道路区域检测方法中的对应步骤。可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序，例如图2的处理器218所执行的存储在存储器204中的程序。

可选的，在上述示例性实施例的基础上，如图28所示，本公开提供的道路区域检测装置还包括：

第二生成模块2810，用于根据所述视差图像中获得的道路拟合点，生成视差图像中所述道路拟合点对应的第二V视差图；

道路线获得模块2820，用于在所述第二V视差图中进行直线检测，获得所述第二V视差图中代表道路区域的道路线；

道路点获得模块2830，用于根据所述第二V视差图中道路线在所述视差图像中映射得到的视差点，获得所述视差图像中代表道路区域的道路视差点。

其中，道路线获得模块2820包括：

图像划分单元，用于将所述第二V视差图纵向划分为若干子图像，在所述子图像中进行直线检测，获得所述子图像中代表道路区域的直线；

直线拼接单元，用于通过对所述子图像中代表道路区域的直线进行拼接，形成所述第二V视差图中代表道路区域的道路线。

其中，道路线获得模块2820包括：

区段划分单元，用于将所述第二V视差图中的道路像素点划分为若干区段；

直线拟合单元，用于对所述区段内的道路像素点进行直线拟合，获得所述区段代表道路区域的直线段；

线段拼接单元，用于通过对相邻的直线段进行拼接，形成所述第二V视差图中代表道路区域的道路线。

可选的，如图29所示，直线区域获得模块2720包括但不限于：

直线获得单元2721，用于在所述第一V视差图中进行直线检测，获得所述第一V视差图中代表道路区域的直线；

区域形成单元2722，用于在所述第一V视差图中，将距离所检测直线第一预设范围内的区域形成所述直线扩展区域。

其中，区域形成单元2722包括但不限于：

扩展点确定子单元，用于根据预先配置第一V视差图中所检测直线上目标像素点两侧的视差范围，在所述目标像素点的两侧，确定对应的道路扩展点；

扩展线得到子单元，用于将第一V视差图中所检测直线同侧的道路扩展点进行拟合，得到第一V视差图中所检测直线两侧的道路扩展线；

扩展区域形成子单元，用于根据所检测直线两侧的道路扩展线，形成由所述道路扩展线围成的直线扩展区域。

可选的，如图30所示，视差点获得模块2740包括但限于：

直线检测单元2741，用于在所述U视差图中进行直线检测，获得所述U视差图中所检测直线；

扩充区域形成单元2742，用于在所述U视差图中，将距离所检测直线第二预设范围内的区域形成所述直线扩充区域；

视差点获得单元2743，用于将所述U视差图中的直线扩充区域映射到所述视差图像中，获得所述视差图像中的第二视差点。

可选的，本公开还提供一种终端，该终端可以作为图1所示实施环境的车载终端120，执行图3、图5、图6、图12、图17、图19、图22、图23任一所示的道路区域检测方法的全部或者部分步骤。所述道路区域检测终端包括：

摄像头组件；

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述示例性实施例所述的道路区域检测方法。

该实施例中道路区域检测终端的处理器执行操作的具体方式已经在有关该道路区域检测方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质存储有计算机程序，该计算机程序可由车载终端120的处理器218执行以完成上述道路区域检测方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种道路区域检测方法，其特征在于，所述方法包括：

获取包含所述道路区域的视差图像，生成所述视差图像对应的第一V视差图；

在所述第一V视差图中进行直线检测，围绕所检测直线形成第一V视差图中代表道路区域的直线扩展区域；

根据所述第一V视差图中直线扩展区域在所述视差图像中映射得到的第一视差点，生成所述视差图像中第一视差点对应的U视差图；

在所述U视差图中进行直线检测，围绕U视差图中所检测直线形成直线扩充区域，获得直线扩充区域在所述视差图像中映射得到的第二视差点；

筛选出视差图像中所述第一视差点与所述第二视差点的交集点，获得所述视差图像中代表道路区域的道路拟合点。

2.根据权利要求1所述的方法，其特征在于，所述筛选出视差图像中所述第一视差点与所述第二视差点的交集点，获得所述视差图像中代表道路区域的道路拟合点之后，所述方法还包括：

根据所述视差图像中获得的道路拟合点，生成视差图像中所述道路拟合点对应的第二V视差图；

在所述第二V视差图中进行直线检测，获得所述第二V视差图中代表道路区域的道路线；

根据所述第二V视差图中道路线在所述视差图像中映射得到的视差点，获得所述视差图像中代表道路区域的道路视差点。

3.根据权利要求2所述的方法，其特征在于，所述在所述第二V视差图中进行直线检测，获得所述第二V视差图中代表道路区域的道路线，包括：

将所述第二V视差图纵向划分为若干子图像，在所述子图像中进行直线检测，获得所述子图像中代表道路区域的直线；

通过对所述子图像中代表道路区域的直线进行拼接，形成所述第二V视差图中代表道路区域的道路线。

4.根据权利要求2所述的方法，其特征在于，所述在所述第二V视差图中进行直线检测，获得所述第二V视差图中代表道路区域的道路线，包括：

将所述第二V视差图中的道路像素点划分为若干区段；

对所述区段内的道路像素点进行直线拟合，获得所述区段代表道路区域的直线段；

通过对相邻的所述直线段进行拼接，形成所述第二V视差图中代表道路区域的道路线。

5.根据权利要求1所述的方法，其特征在于，所述在第一V视差图中进行直线检测，围绕所检测直线形成第一V视差图中代表道路区域的直线扩展区域，包括：

在所述第一V视差图中进行直线检测，获得所述第一V视差图中代表道路区域的直线；

在所述第一V视差图中，将距离所检测直线第一预设范围内的区域形成所述直线扩展区域。

6.根据权利要求5所述的方法，其特征在于，所述在所述第一V视差图中，将距离所检测直线第一预设范围内的区域形成所述直线扩展区域，包括：

根据预先配置第一V视差图中所检测直线上目标像素点两侧的视差范围，在所述目标像素点的两侧，确定对应的道路扩展点；

将第一V视差图中所检测直线同侧的道路扩展点进行拟合，得到第一V视差图中所检测直线两侧的道路扩展线；

根据所检测直线两侧的道路扩展线，形成由所述道路扩展线围成的所述直线扩展区域。

7.根据权利要求1所述的方法，其特征在于，在所述U视差图中进行直线检测，围绕U视差图中所检测直线形成直线扩充区域，获得直线扩充区域在所述视差图像中映射得到的第二视差点，包括：

在所述U视差图中进行直线检测，获得所述U视差图中所检测直线；

在所述U视差图中，将距离所检测直线第二预设范围内的区域形成所述直线扩充区域；

将所述U视差图中的所述直线扩充区域映射到所述视差图像中，获得所述视差图像中的第二视差点。

8.一种道路区域检测装置，其特征在于，所述装置包括：

V视差图生成模块，用于获取包含所述道路区域的视差图像，生成所述视差图像对应的第一V视差图；

直线区域获得模块，用于在所述第一V视差图中进行直线检测，围绕所检测直线形成第一V视差图中代表道路区域的直线扩展区域；

U视差图生成模块，用于根据所述第一V视差图中直线扩展区域在所述视差图像中映射得到的第一视差点，生成所述视差图像中第一视差点对应的U视差图；

视差点获得模块，用于在所述U视差图中进行直线检测，围绕U视差图中所检测直线形成直线扩充区域，获得直线扩充区域在所述视差图像中映射得到的第二视差点；

交集点筛选模块，用于筛选出视差图像中所述第一视差点与所述第二视差点的交集点，获得所述视差图像中代表道路区域的道路拟合点。

9.一种终端，其特征在于，所述终端包括：

摄像头组件；

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-7任意一项所述的道路区域检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成权利要求1-7任意一项所述的道路区域检测方法。