CN103854008A - 路面检测方法和装置 - Google Patents

Abstract

公开了一种路面检测方法和装置。该路面检测方法包括：获得包括路面的V视差图；以及从V视差图中提取线段作为路面，其中从V视差图中提取线段作为路面包括：基于约束的霍夫变换进行路面线段估计。根据本发明实施例的基于约束的霍夫变换路面检测方法和装置，可以过滤噪声，减小计算量，更有针对性地处理路面点，增强路面，更精确地检测路面。

Description

路面检测方法和装置

技术领域

本发明涉及图像处理，更具体地涉及路面检测方法和装置。

背景技术

驾驶辅助系统的应用日渐普及。道路或车道警告系统(Lane/Road detectionwarning,LDW/RDW)是驾驶辅助系统的子系统，可以避免碰撞，更准确地确定驾驶方向等。道路检测对于LDW/RDW系统非常关键，只有在知道了道路信息的基础上才可能做进一步的处理，例如警告。而且，道路路面检测也是3D驾驶环境理解技术的非常重要的部分，对3D驾驶环境理解技术中的路边护栏检测，消失点检测，车辆识别等有很大的影响。

立体相机具有可以获得高精度视差图及距离图像的优势，因而得到了广泛的应用。理解3D道路场景其中的一个任务就是道路路面平面检测。但是现有的方法对于复杂的环境不适用，并且容易受噪声的干扰。

在非专利文献U-V-Disparity based Obstacle Detection with 3D Camera andSteerable Filter,Y.Gao,X.Ai,Y.Wang,J.Rarity and N.Dahnoun,2011 IEEEIntelligent Vehicles Symposium中，提出了一种路面检测方法，其中利用3D相机获得深度信息，从而得到UV视差图，利用霍夫变换提取直线特征，以检测路面。

在发明名称为“Object Detecting Apparatus in Which the Position of a PlanarObject Is Estimated by Using Hough Transform”的专利文献EP762326B1中，提出了一种使用霍夫变换直接处理原始视差数据来估计平面物体的方法。

发明内容

本发明发明人经分析和实验分析，现有的常用路面检测算法并不适合于复杂环境中的路面检测：最小二乘法对噪声敏感，只要有少量的噪声就会使估计出的路面偏离真实的路面位置；另一方面，传统的Hough变换只考虑经过直线的点的数量，当路面较弱时，容易受到护栏，沟渠等的影响而产生错误检测。

鉴于现有技术中的上述问题，提出了本发明。

本发明的一个目的是提高路面检测的鲁棒性，以便适于复杂环境下的路面检测。

根据本发明的一个方面，提供了一种路面检测方法，可以包括：获得包括路面的V视差图；以及从V视差图中提取线段作为路面，其中从V视差图中提取线段作为路面包括：基于约束的霍夫变换进行路面线段估计。

根据本发明的另一方面，提供了一种路面检测装置，可以包括：V视差图获得部件，用于获得包括路面的V视差图；以及路面线段提取部件，从V视差图中提取线段作为路面，其中路面线段提取部件从V视差图中提取线段作为路面包括：基于约束的霍夫变换进行路面线段估计。

根据本发明实施例的基于约束的霍夫变换路面检测方法和装置，可以过滤噪声，减小计算量，更有针对性地处理路面点，增强路面，更精确地检测路面。

附图说明

图1是有助于理解本发明的、作为本发明应用环境的示例的车载系统示意图；

图2是根据本发明一个实施例的路面检测方法的整体流程图；

图3中的(a)示意性地示出了车载立体相机拍摄获得的道路区域视差图的示例，图3中的(b)示意性地示出了由图3所示的视差图变换得到的V视差图；

图4示出了根据本发明一个实施例的由分别表示近视场、中视场和远视场的三段线性线段构建的路面模型的示意图；

图5示出了霍夫变换的累加空间被限制于一个小区域内的示例性示意图；

图6中的(a)和(b)分别示出了路面上的点在霍夫空间中的理想霍夫直线簇和实际霍夫直线簇；

图7示意出了聚类和精简处理前后的霍夫直线簇的对比示意图，其中图7中的(a)表示未经聚类和精简的原始霍夫直线簇，图7中的(b)表示聚类和精简后的Hough直线簇；

图8中的(a)和(b)分别示出了根据本发明一个实施例的提取的霍夫变换线段与水平面对应线之间的距离计算示意图以及最后选择的路面线段示意图；

图9示出了根据本发明一个实施例的路面检测方法的整体流程图；

图10示出了根据本发明一个实施例的过滤V视差图以选择路面候选点的示例性方法的流程图；

图11示意性地示出过滤前后的V视差图，其中图11中的(a)是过滤前的V视差图，图11中的(b)示出了过滤后的V视差图；

图12示出了根据本发明第三实施例的路面检测方法的流程图；

图13中的(a)和(b)示出了V视差图中检测到的路面线段以及逆映射回原视差图中的对应路面的示例性示意图；

图14中的(a)和(b)示出了根据本发明实施例的基于约束的霍夫变换路面检测和传统的最小二乘法检测和传统霍夫变换检测应用于两个路面场景下的路面检测实验结果对比示意图；

图15中的(a1)、(b1)、(c1)、(a2)、(b2)、(c2)示出了原始灰度图像、传统检测方法检测到的路面在原视差图中的显示、根据本发明实施例的基于约束的霍夫变换方法检测到的路面在原视差图中的显示的比较示意图。其中，图15中的(a1)示出了一幅原始灰度图像、(b1)示出了利用传统霍夫变换检测到的路面在原视差图中的显示、(c1)示出了根据本发明实施例的基于约束的霍夫变换方法检测到的路面在原视差图中的显示，图15中的(a2)示出了一幅原始灰度图像、(b2)示出了利用传统霍夫变换检测到的路面在原视差图中的显示、(c2)示出了根据本发明实施例的基于约束的霍夫变换方法检测到的路面在原视差图中的显示；

图16示出了根据本发明一实施例的路面检测装置的框图；以及

图17是示出按照本发明实施例的路面检测系统的硬件配置的概念图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。另外，为了避免混淆本发明的要点，对于一些本领域公知的技术将不做详细说明。

将按如下顺序进行描述：

1、基本概念介绍

2、路面检测方法的第一实施例

2.1、路面检测方法的整体流程

2.2、示例1：限制霍夫变换的累加空间

2.3、示例2：限制霍夫变换的转换范围

2.4、示例3：设置霍夫变换的累加权值

2.5、示例4：霍夫直线簇的聚类

2.6、示例5：霍夫直线簇的精简

2.7、示例6：基于水平距离的霍夫直线提取

3、路面检测方法的第二实施例

4、路面检测方法的第三实施例

5、路面检测装置

6、系统硬件配置

1、基本概念介绍

下面介绍一下基本概念，以便于理解。

视差，实际指从某一基线两端各引一直线到同一较远物体时，其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。

视差图(disparity map)是以任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。

普通二维视差图中的某点坐标以（u,v）表示，其中u为横坐标，v为纵坐标；点(u,v)处的像素的像素值用d(u,v)表示，表示该点(u,v)处的视差。

为便于理解，形象地说，V视差图可以视为视差图的侧视图，而U视差图可以视为视差图的俯视图。V视差图可以从视差图中计算得到。V-视差图中任意一点(d,v)的灰度值是对应视差图的纵坐标为v的行中视差值等于d的点的个数。

霍夫变换：就极坐标形式而言，过一个数据点的一条直线可以用角度θ和距离ρ表示为ρ=xcosθ+ysinθ，霍夫变换希望找到通过点最多的一条直线的参数ρ和θ。图像中的一个点对应参数空间中的一条曲线，图像中的一条直线对应参数空间中的一个点。对图像上所有的点作霍夫变换，最终所要检测的直线对应的是参数空间中曲线相交最多的那个点。因为在霍夫参数空间中涉及对空间中各点所通过的曲线数进行累加，所以本发明中有时也称霍夫参数空间为累加空间。另外，因为需要在霍夫参数空间中寻找曲线相交最多的点，因此有时霍夫参数空间也被称为搜索空间。在本文中，除非特别区分，否则霍夫参数空间、累加空间、搜索空间可以互换使用。

2、路面检测方法的第一实施例

图1是有助于理解本发明的、作为本发明应用环境的示例的车载系统示意图。本发明的软件或者硬件实现可以作为其中的道路检测部件。

2.1、路面检测方法的整体流程

图2是根据本发明一个实施例的路面检测方法1000的整体流程图。

在步骤S1100中，获得包括路面的V视差图。可以通过双目相机、多目相机、立体相机拍摄并计算得到包括道路区域的视差图，由视差图变换得到V视差图；或者从立体视图中获得深度图，根据深度图得到视差图，由视差图变换得到V视差图。

图3中的(a)示意性地示出了车载立体相机拍摄获得的道路区域视差图的示例。图3中的(b)示意性地示出了由图3所示的视差图变换得到的V视差图。

前文描述的情形是先获得视差图，然后从视差图获得V视差图。不过这仅为示例，也可以通过对例如双目相机获得的图像进行处理或计算，直接获得V视差图。

另外，根据一个实施例对于视差图或者V视差图可以进行去噪处理。

在步骤S1200中，从V视差图中提取线段作为路面，其中基于约束的霍夫变换进行路面线段估计。

根据一个实施例，从V视差图中提取线段作为路面包括：按照视差从大到小，即按照距离（如相对于安装在车辆上的相机而言）由近到远的顺序，从V视差图中提取分段线段作为路面；其中每段线段是基于约束的霍夫变换进行估计得到的；以及基于前一段估计出的直线参数来限定后一段线段的初始直线参数。

关于从V视差图中提取分段线段来模拟路面，可以参考由发明人游赣梅等做出的申请号为CN201110434873.X的中国发明专利申请中的技术内容。这里，通过引用将其全文合并于此。

图4示出了根据本发明一个实施例的由分别表示近视场、中视场和远视场的三段线性线段构建的路面模型的示意图。注意，在该图以及类似的本发明的其它V视差图中，坐标原点在左上角，横轴表示视差，从左向右延伸，纵轴表示高度V，方向从上向下延伸。

根据本发明的一个实施例，该分段线性路面模型分为近、中、远三部分，分别用来描述在近距离（或近视场），中距离（或中视场），及远距离（或远视场）处的路面形态。在该实施例的模型中，各段路面线段的长度是自适应的，例如通过检查在某个区间落在该线段上的点的数目来确定路面线段的长度，因而检测的精度更高并且对不同道路类型的适应性更强。

这里顺便说一下，根据本发明实施例的路面检测算法是基于分段线性路面模型的，不过这并不表示路面模型必须是分段线性的，例如，视情况，也可以建立二次曲线模型，这时将在图像中检测二次曲线。由于路面不总是平坦的，它可能出现上坡或者下坡，这就是说路面的侧面轮廓是曲线形式。但是如果直接采用曲线模型来描述路面，计算量非常大并且容易受噪声的干扰。所以本发明实施例采用分段线性道路模型，能够更快速、鲁棒的进行路面检测。

如前所述，现有技术中已经披露了利用霍夫变换从V视差图中提取线段来估计平面的技术。但是，如前所述，发明人发现，直接利用简单的霍夫变换进行V视差图中的线段提取，具有很多问题，一是因为要在整个霍夫变换空间中进行转换和累加，所以计算量大，运行速度慢；二是，容易受到路边护栏、沟渠等的噪声影响。为了至少一定程度上解决这些问题或者不足，本发明提出了一种基于各种约束的霍夫变换来估计复杂环境中的路面的方法。关于利用简单的霍夫变换来估计路面的方法可以由相同发明人陈超等的申请号为CN201210194074.4的发明专利申请中得到，通过引用将其全文合并于此。

下面将对于基于约束的霍夫变换估计路面线段的各个示例加以描述。

2.2、示例1：限制霍夫变换的累加空间

根据一个实施例，可以根据先验知识来限制霍夫变换的累加空间（搜索空间）。

根据一个实施例，包括路面的V视差图是从固定在车辆上的立体摄像机拍摄的立体图像获得的。例如，双目相机安装在车辆的顶部，拍摄得到左右图像进而得到视差图。从这样的视差图可以转换得到V视差图。

因此，可以基于摄像机的参数，确定实际3D环境中的路面映射到V视差图中的区域范围和倾角范围。

摄像机的参数包括内参数和外参数。摄像机的外参数例如有摄像机到路面的高度，在双目相机的情况下左右相机中心点的距离，图像平面与路面的夹角等。摄像机的内参数例如有相机焦距等。利用这些先验知识，本领域技术人员基于数学运算可以确定路面在V视差图中的检测区域以及路面直线的倾角范围。即确定了V视差图中路面线段极坐标形式ρ=xcosθ+ysinθ中的ρ和θ的取值范围。从而，基于所述参数取值范围，限定霍夫变换的累加空间（也即搜索空间）。

图5示出了霍夫变换的累加空间被限制于一个小区域内的示例性示意图，其中霍夫变换的累加空间被限制于如点线矩形框示出的区域内。

另外，根据本发明的另一个实施例，也可以根据利用跟踪信息来限制霍夫变换的累加空间。这是因为，在车辆连续行驶的过程中，路面不会发生突变，所以本算法可以利用历史信息（如前一帧乃至前几帧）作为跟踪信息来对下一帧的检测参数（角度和距离）进行预测。

如上根据本发明的实施例通过利用先验信息和/或利用历史信息来有效的缩小Hough变换的搜索空间，能够排除噪声的干扰，同时降低处理时间。

2.3、示例2：限制霍夫变换的转换范围

在一个实施例中，通过约束霍夫变换的转换范围来加速变换过程。

如上所述，实际路面在V视差图中的对应线段的根据霍夫变换的极坐标函数为如下公式：

ρ=x·cos(θ)+y·sin(θ)

其中，x表示v视差图中的对应线段上一点的横坐标值，表示视差值，y表示v视差图中的对应线段上一点的纵坐标值，表示图像坐标中的高度,其中对于路面，v视差图中的对应线段的参数取值满足x>0,y>0,θ∈(π/2,π)，

从而导出：

$\frac{\mathrm{d\&rho;}}{\mathrm{d\&theta;}}=-x\&CenterDot;\sin \left(\mathrm{\&theta;}\right)+y\&CenterDot;\cos \left(\mathrm{\&theta;}\right)<0$

即实际路面在V视差图中的极坐标函数在上述参数取值范围内是单调减函数。由此基于ρ、θ的取值范围，在对图像中的某像素点进行霍夫变换时，可以通过下述操作控制转换范围：

假设按照已知θ来寻找ρ的方式进行霍夫变换，如果在按照θ从小到大的顺序对该像素点进行霍夫变换的转换时发现ρ小于所确定的ρ取值范围的下限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换；或者如果在按照θ从大到小的顺序进行霍夫变换的转换时发现ρ大于所确定的ρ取值范围的上限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换；或者

假设按照已知ρ来寻找θ的方式进行霍夫变换，如果在按照ρ从小到大的顺序对某像素点进行霍夫变换的转换时发现θ小于所确定的θ取值范围的下限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换；或者如果在按照ρ从大到小的顺序进行霍夫变换的转换时发现θ大于所确定的θ取值范围的上限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换。

可见，根据本发明的该实施例，可以通过利用实际路面在V视差图中的极坐标函数在上述参数取值范围内是单调减函数的特性来加速映射过程，降低处理时间。

2.4、示例3：设置霍夫变换的累加权值

根据一个实施例，可以根据v视差图中的像素点的强度值，设置霍夫变换的参数空间中与该像素点对应的曲线的累加权值。

如前所述，v视差图中的像素点的强度值表示在原始视差图中具有相同y坐标与视差值的点的累积个数。在根据本发明实施例的路面检测应用中，噪声点比较分散，故其累积值较小，也即体现在V视差图中的强度值较低；相比之下，路面点更为集中，所以其累积值也较大，即体现在V视差图中的强度值较高。所以在本发明的实施例中通过设置强度值作为Hough变换的累积权值，能够增强有效的路面点在转换中的重要性，从而提高检测精度。

2.5、示例4：霍夫直线簇的聚类

图6中的(a)和(b)分别示出了路面上的点在霍夫空间中的理想霍夫直线簇和实际霍夫直线簇。

理想情况下，三维世界中的平坦路面在V视差图中表现为严格的一条直线，如图6中的(a)所示。但是，在实际情况下，三维世界中的平坦路面在V视差图中并不严格表现为一条直线，而是近似位于一条直线上。再考虑噪声干扰的因素，因此路面在V视差图中的点所映射的霍夫直线簇并不严格的通过Hough参数空间中的一个点，而是通过一个小的区域，如图6中的(b)所示。

在这样的情况下，如果依然按照普通的霍夫变换中的统计霍夫参数空间中加权曲线相交累加值最大的几个点，那么可能发生如下不利情况：当霍夫参数空间中存在权值较大的孤立一条曲线或相交的若干稀疏曲线（例如对应于路面环境中的沟渠）时，该孤立的曲线或者若干稀疏曲线的累加值较大，因为路面在霍夫参数空间中对应的直线簇表现为图6(b)中点线矩形框内的聚集但不严格交于一点的形式，所以可能实际标征路面的霍夫参数空间中的点（图6(b)中点线矩形框内）累加值没有足够高的超过该孤立的曲线或者若干稀疏曲线的累加值，从而使得实际标征路面的霍夫参数空间中的点（图6(b)中点线矩形框内）未被选择。

为了解决上述问题，根据本发明的一个实施例，基于约束的霍夫变换进行路面线段估计包括，通过下述操作来汇聚近似通过霍夫参数空间中一点的直线，以减小干扰：用第一窗口扫描Hough参数空间，将第一窗口内的Hough曲线的加权值进行累积，将累积值置于窗口的中心；以及用第二窗口扫描Hough参数空间，寻找窗口内的累积加权值最大的点，仅保留该点，窗口内其它点被置为0。上述第一窗口和第二窗口的大小，可以根据所要求的精度以及路面的实际情况来认为设置，或者通过学习来设置。

通过根据本发明实施例的上述操作，汇聚于一个小区域内的霍夫直线簇被累加（或者说，聚集）起来表现为一个点，从而可以保证不被漏选。

2.6、示例5：霍夫直线簇的精简

在霍夫参数空间中，存在众多的霍夫直线簇，需要进行霍夫直线簇的筛选工作。

根据本发明的一个实施例，搜索整个Hough累加空间，寻找累加值中的全局最大值，以该全局最大值的预定比率作为动态阈值。然后利用该动态阈值来筛选候选的Hough直线簇，只有累加值大于动态阈值的直线才被保留。

经过上述根据本发明实施例的对霍夫直线簇的聚类和精简处理，大部分的噪声以及弱小物体的边缘（例如，沟渠对应的部分）得以去除。

图7示意出了聚类和精简处理前后的霍夫直线簇的对比示意图。其中图7中的(a)表示未经聚类和精简的原始霍夫直线簇，图7中的(b)表示聚类和精简后的Hough直线簇。

2.7、示例6：基于水平距离的霍夫直线提取

在实际的3D场景中，路面通常处于比较低的位置。在经过映射之得到的V视差图当中，路面的侧面轮廓线依然位于图像底部。通常，由于一些低于路面的物体比较弱（如沟渠等），则通过例如Hough直线簇聚类与精简等处理就可以排除。

因此，利用路面的高度特征，应该从霍夫变换所提取的线段中选择相对而言处于V视差图最底部的线段作为路面直线。

图8中的(a)和(b)分别示出了根据本发明一个实施例的提取的霍夫变换线段与水平面对应线之间的距离计算以及最后选择的路面线段。

根据本发明的一个实施例，为了度量路面线段的这种高度，引入了一个与车辆上固定的双目相机高度相同的水平面。在经过投影之后，3D空间中的水平面映射成V视差图中的一条直线（下文称之为水平面对应线）。更具体地，如果双目相机的光轴与水平面平行（或者说双目相机相对于水平面的俯仰角为零），则3D空间中的水平面在V视差图呈现为水平线，否则将不是水平线，而是根据俯仰角的不同而向上偏或向下偏。

如图8中的(a)所示，为了度量路面线段与水平面对应线这两条线之间的距离，引入了水平距离D，示例性地，可以按照下式定义水平距离D：

D=λd₁+(1-λ)d₂

$d_1=\frac{|{\mathrm{Ax}}_1+{\mathrm{By}}_1+C|}{\sqrt{A^2+B^2}},$ $d_2=\frac{|{\mathrm{Ax}}_2+{\mathrm{By}}_2+C|}{\sqrt{A^2+B^2}}$

其中，A、B、C是表征水平面对应线的参数，(x1,y1)、(x2,y2)是霍夫变换所提取的线段的两个端点的坐标值，λ是加权系数。

计算得到各个霍夫变换提取的线段与水平面对应线之间的距离之后，根据一个实施例，可以选择霍夫变换所提取的线段中在该水平面对应线之下且与该水平面对应线之间的距离最大的线段作为路面。图8中的(b)显示了根据距离所选取的路面线段。

前面2.2到2.7小节给出了根据路面检测应用对霍夫变换检测路面线段所施加的约束的各种示例。需要说明的是，各种约束手段可以单独使用，也可以几种或者全部结合起来使用。

3、路面检测方法的第二实施例

图9示出了根据本发明一个实施例的路面检测方法2000的整体流程图。

第二实施例的路面检测方法2000与第一实施例的路面检测方法1000的不同在于多了步骤S2110。关于步骤S2100和步骤S2200的实现，可以参考结合图1所描述的步骤S1100和S1200，这里不再赘述。

如图9所示，在步骤S2110中，过滤V视差图以选取路面候选点。

如果不加处理地对V视差图通过霍夫变换进行线段提取，噪声很多，检测结果不精确；而且计算量很大。

根据本发明一个实施例，过滤V视差图以进行路面候选点的选择，以便去除无效点，提高计算效率，防止噪声干扰。

图10示出了根据本发明一个实施例的过滤V视差图以选择路面候选点的示例性方法2110的流程图。

下面结合图10描述根据本发明一个实施例的过滤V视差图以选择路面候选点的示例性方法2110。该方法2110可以应用于图9中的步骤S2110。

如图10所示，在步骤S2111中，接收V视差图作为输入。

在步骤S2112中，按照从下到上的顺序扫描各列，来选择路面候选点，这是因为所有的车辆、建筑物、行人等都高于路面，在映射之后，路面点通常位于底部，因此从下到上的扫描顺序符合路面的实际位置特性。

在步骤S2113中，依据分类条件，所有的像素点被分类为路面点或背景点，对于每一个像素点Pi，有两个判别准则：（1）其强度值大于预设的阈值TI；（2）其邻域内的像素点的数量大于阈值TN。

基于这两个条件，对每一列进行路面点的保留，其保留规则为：对于每一列，根据以下情况，分别保留0个，1个，2个路面候选点。

具体保留规则为：

（1）若某一列中的所有点，都不满足判别准则中的任何一个条件，该列不选择任何点（步骤S2116）；

（2）若某一列中，从下到上扫描到的第一个满足判别准则中任意一个条件的点，同时满足判别准则中的两个条件，则该列仅保留这一个点（步骤S2115）；

（3）若某一列中，从下到上扫描到的第一个满足判别准则中任意一个条件的点，仅满足判别准则中的一个条件，则除保留该点之外，继续扫描，搜索并保留满足判别准则中任意一个条件的第2个点（步骤S2114）。

在步骤S2117，输出或存储所有保留的路面点。

图11示意性地示出过滤前后的V视差图，其中图11中的(a)是过滤前的V视差图，图11中的(b)示出了过滤后的V视差图。可见，经过V视差图过滤之后，大量无效点去除了，少量的有效的路面点保留了下来，由此计算量会大大减小。

4、路面检测方法的第三实施例

图12示出了根据本发明第三实施例的路面检测方法3000的流程图。

在图12示出的路面检测方法中，对于获得的V视差图进行过滤，应用基于各种约束的霍夫变换，并且可选地，可以考虑基于历史信息来指导下一帧的V视差图中的路面检测。第三实施例的路面检测方法3000可以视为对第一实施例的路面检测方法1000和第二实施例的路面检测方法2000的一个优化组合示例。

具体地，在步骤S3100中，获得包括路面的V视差图，该步骤的操作可以参考第一实施例中的步骤S1100。

在步骤S3110中，对所获得的V视差图进行过滤以选取路面候选点，该步骤的操作可以参考第二实施例中的步骤S2110。

在步骤S3210中，如上面第2.2小节中所述的，限制霍夫变换的累加空间。

在步骤S3220中，如上面第2.3小节中所述的，约束霍夫变换的转换范围。

在步骤S3230中，如上面第2.4小节所述的，设置霍夫变换搜索空间中的曲线的累加权值。

在步骤S3240中，如上面第2.5小节所述的，对霍夫直线簇进行聚类，以汇聚近似通过霍夫参数空间中一点的直线，减小干扰。

在步骤S3250中，如上面第2.6小节所述的，对霍夫直线簇进行精简或者说筛选。

在步骤S3260中，如上面第2.7小节所述的，对于精简后的霍夫直线，基于各条直线与水平面对应线的距离，判断哪条直线位于底部，并选择所确定的处于底部的直线作为路面直线。

在步骤S3270中，输出检测到的路面线段。对于此步输出操作，可以是简单地在V视差图中进行输出和显示。或者从V视差图中逆变换（或者所，还原）到视差图中，以在视差图中进行显示，甚至是对应到灰度图像中，在灰度图像中进行更直观的路面指示。图13示出了V视差图中检测到的路面线段以及逆映射回原视差图中的对应路面的示例性示意图，其中图13中的(a)示出了V视差图中检测到的路面线段的示例性示意图，以及图13中的(b)示出了该V视差图中的路面线段逆映射回原视差图中的对应路面的示例性示意图，另外图13中的(a)中的三条竖线用于分割表示近视场、中视场和远视场的三段线性线段（后面的图14中的(a)中和(b)中的三条竖线同样如此）。

另外，如图12的虚线指示的流程走向所示，可选地，可以根据本发明的基于多约束的霍夫变换路面线段提取来跟踪下一帧的路面检测。具体地，例如，在当前帧V视差图中检测到路面线段后，在步骤S3300中，获得下一帧V视差图，然后回到步骤S3110中。所不同的是，在后续的各个霍夫变换约束施加步骤S3210到S3260中，有关参数可以参考作为先前帧处理结果获得的参数。例如，如果在第n帧中，获得了路面线段的参数ρn、θn，则考虑到车辆行驶过程中路面不会发生突变，因此在步骤S3210，可以限定霍夫变换的累加空间为ρn±Δρ、θn±Δρ所圈定的范围。

图14示出了根据本发明实施例的基于约束的霍夫变换路面检测和传统的最小二乘法检测和传统霍夫变换检测应用于两个路面场景下的路面检测实验结果对比示意图。在图14中的(a)中，按纸面方向，从上至下的三条分段线段分别是应用最小二乘法、传统霍夫变换和本发明的基于约束的霍夫变换检测到的路面直线。在图14中的(b)中，按纸面方向，从上至下的三条分段线段分别是应用传统霍夫变换和、最小二乘法和本发明的基于约束的霍夫变换检测到的路面直线。相对于最小二乘法和传统霍夫变换，根据本发明实施例的基于约束的霍夫变换路面直线检测方法更准确地检测到了路面，其既没有将最底部的点对应的直线（在本示例中，对应于沟渠）作为路面直线，也没有将顶部的点对应的直线（在本示例中，对应于护栏）作为路面直线，而是恰当地检测到了相对处于底部的路面。

为了更直观地进行对比，可以基于V视差图中检测到的路面线段，确定V视差图中的路面点，将这些点逆映射到（还原回）原视差图。具体地，基于检测到的V视差图中的路面线段，如y=kd+b，对于任一距离（或视差）d，可以计算得到对应的路面高度（在图像坐标中的），从而可以在原视差图中确定该高度和距离处的所有路面点。图15示出了原始灰度图像、传统检测方法检测到的路面在原视差图中的显示、根据本发明实施例的基于约束的霍夫变换方法检测到的路面在原视差图中的显示的比较示意图。其中，图15中的(a1)示出了一幅原始灰度图像、(b1)示出了利用传统霍夫变换检测到的路面在原视差图中的显示、(c1)示出了根据本发明实施例的基于约束的霍夫变换方法检测到的路面在原视差图中的显示。类似地，图15中的(a2)示出了一幅原始灰度图像、(b2)示出了利用传统霍夫变换检测到的路面在原视差图中的显示、(c2)示出了根据本发明实施例的基于约束的霍夫变换方法检测到的路面在原视差图中的显示。从图15中的(b1)可见，传统的霍夫变换路面检测没有排除掉车辆(如矩形框内的部分所示)，而从图15中的(c1)可见，根据本发明实施例的基于约束的霍夫变换路面检测结果中排除了车辆。类似地，从图15中的(b2)可见，传统的霍夫变换路面检测没有排除掉栅栏(如矩形框内的部分所示)，而从图15中的(c2)可见，根据本发明实施例的基于约束的霍夫变换路面检测结果中排除了栅栏。而且，如图15中的(c1)所示，根据本发明实施例的基于约束的霍夫变换路面检测结果中保留了道路标线。另外如图15中的(c2)所示，根据本发明实施例的基于约束的霍夫变换路面检测结果中增强了路面。

利用上面所述的第一、第二、第三实施例的基于约束的霍夫变换路面检测方法，可以过滤噪声，减小计算量，更有针对性地处理路面点，增强路面，更精确地检测路面。

根据本发明实施例的路面检测方法能够精确的检测到路面，那么在后续的检测与识别中就可以根据路面的高度来排除那些非目标的物体与非道路的区域。

更具体地，根据一个实施例，通过利用跟踪信息和/或先验知识限制Hough变换的累加空间，排除了噪声并减小了数据量。

根据另一实施例，通过限制转换范围，加速了变换过程。

根据再一实施例，通过例如基于强度值设置累加的权值，提高了算法精度。

根据另一实施例，通过霍夫直线簇的聚类与精简，增强了检测的适应性与鲁棒性。

根据再一实施例，通过基于水平面距离的路面直线的选取，减小了护栏，沟渠及噪声等的影响。

根据再一实施例，通过过滤V视差图选取路面候选点，减小了噪声的影响，大大降低了计算量。

5、路面检测装置

图16示出了根据本发明一实施例的路面检测装置4000的框图。

如图16所示，路面检测装置4000可以包括：V视差图获得部件4100，用于获得包括路面的V视差图；路面线段提取部件4200，用于从V视差图中提取线段作为路面，其中路面线段提取部件从V视差图中提取线段作为路面包括。

关于路面检测装置4000各部件的操作可以参考结合图2、8、11所示的流程图进行的描述，这里不再赘述。

6、系统硬件配置

本发明还可以通过一种检测道路区域和/或检测分道线的系统来实施。图17是示出按照本发明实施例的路面检测系统6000的硬件配置的概念图。如图17所示，路面检测系统6000可以包括：输入设备6100，用于从外部输入将要处理的图像，例如双目相机拍摄的左右图像、立体相机拍摄的立体视频等，该输入设备例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备6200，用于实施上述的按照本发明实施例的路面检测方法，或者实施为上述的按照本发明实施例的路面检测设备，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络（未示出），根据处理过程的需要而从网络获取数据例如左右图像等等；输出设备6300，用于向外部输出实施上述路面检测过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备6400，用于以易失或非易失的方式存储上述从网络中查找与主题词相关的名称的过程所涉及的图像、所得的结果、命令、中间数据等等，例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

7、总结

上文描述了根据本发明实施例的路面检测方法和路面检测装置。

根据本发明的一个方面，该路面检测方法可以包括：获得包括路面的V视差图；以及从V视差图中提取线段作为路面，其中从V视差图中提取线段作为路面包括：基于约束的霍夫变换进行路面线段估计。

所述包括路面的V视差图可以是从固定在车辆上的立体摄像机拍摄的立体图像获得的，基于摄像机的参数，确定实际3D环境中的路面映射到V视差图中的区域范围和倾角范围。其中从基于约束的霍夫变换进行路面线段估计可以包括：基于3D环境中的路面映射到V视差图中的区域范围和倾角范围，确定实际路面在V视差图中的对应线段的在霍夫变换的参数空间中的参数取值范围。由此，基于先验知识限制了霍夫变换的累加空间，排除了噪声并减小了数据量和计算量。

根据另一个实施例，可以基于对当前帧的路面线段的检测的结果来为下一帧的路面线段的检测提供预测，例如限制下一帧相关的霍夫变换的累加空间，由此排除了噪声并减小了数据量和计算量。

根据再一实施例，实际路面在V视差图中的对应线段的根据霍夫变换的极坐标函数为如下公式：

ρ=x·cos(θ)+y·sin(θ)

其中，x表示v视差图中的对应线段上一点的横坐标值，表示视差值，y表示v视差图中的对应线段上一点的纵坐标值，表示图像坐标中的高度,其中对于路面，v视差图中的对应线段的参数取值满足x>0,y＞0,θ∈(π/2,π)，

从而导出：

$\frac{\mathrm{d\&rho;}}{\mathrm{d\&theta;}}=-x\&CenterDot;\sin \left(\mathrm{\&theta;}\right)+y\&CenterDot;\cos \left(\mathrm{\&theta;}\right)<0$

即实际路面在V视差图中的极坐标函数在上述参数取值范围内是单调减函数，由此基于ρ、θ的取值范围，

如果在按照θ从小到大的顺序对某像素点进行霍夫变换的转换时发现ρ小于所确定的ρ取值范围的下限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换；或者如果在按照θ从大到小的顺序进行霍夫变换的转换时发现ρ大于所确定的ρ取值范围的上限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换；或者

如果在按照ρ从小到大的顺序对某像素点进行霍夫变换的转换时发现θ小于所确定的θ取值范围的下限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换；或者如果在按照ρ从大到小的顺序进行霍夫变换的转换时发现θ大于所确定的θ取值范围的上限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换。

通过上述实施例，限制了霍夫变换的转换范围，加速了变换过程。

根据再一实施例，基于约束的霍夫变换进行路面线段估计可以包括：根据v视差图中的像素点的强度值，设置霍夫变换的参数空间中与该像素点对应的曲线的累加权值。由此，提高了算法精度。

根据再一实施例，基于约束的霍夫变换进行路面线段估计可以包括，通过下述操作来汇聚近似通过霍夫参数空间中一点的直线，以减小干扰：用第一窗口扫描Hough参数空间，将第一窗口内的Hough曲线的加权值进行累积，将累积值置于窗口的中心；以及用第二窗口扫描Hough参数空间，寻找窗口内的累积加权值最大的点，仅保留该点，窗口内其它点被置为0。上述操作可以直观称为霍夫直线簇的聚类，可以增强检测的适应性和鲁棒性，减小护栏、沟渠等噪声的影响。

基于约束的霍夫变换进行路面线段估计还可以包括对霍夫直线簇进行精简或者说筛选：搜索整个Hough累加空间，寻找累加值中的全局最大值，以该全局最大值的预定比率作为动态阈值。然后利用该动态阈值来筛选候选的Hough直线簇，只有累加值大于动态阈值的直线才被保留。由此，可以增强检测的适应性和鲁棒性，减小护栏、沟渠等噪声的影响。

根据一个实施例，上述路面检测方法还可以包括通过下述操作从霍夫变换所提取的线段中选择相对处于V视差图最底部的线段作为路面：获得V视差图中与实际3D环境中与双目相机高度相同的水平面对应的水平面对应线；通过下述公式度量霍夫变换所提取的线段与该水平面线之间的距离，

D=λd₁+(1-λ)d₂

$d_1=\frac{|{\mathrm{Ax}}_1+{\mathrm{By}}_1+C|}{\sqrt{A^2+B^2}},$ $d_2=\frac{|{\mathrm{Ax}}_2+{\mathrm{By}}_2+C|}{\sqrt{A^2+B^2}}$

其中，A、B、C是表征水平面对应线的参数，(x1,y1)、(x2,y2)是霍夫变换所提取的线段的两个端点的坐标值，λ是加权系数；以及选择霍夫变换所提取的线段中在该水平对应线之下，且与该水平面对应线之间的距离最大的线段作为路面。由此，减小护栏等噪声的影响。

另外，根据一个实施例，还包括在基于约束的霍夫变换进行路面线段估计之前，通过下述操作来过滤V视差图以选取路面候选点，1)从下到上扫描各列，判断各个像素点是否满足至少如下两个条件：条件1，像素点的强度值大于预定强度阈值，条件2，像素点邻域内的像素点的数量大于预定数量阈值；2）如果某一列中不存在满足条件1或条件2的像素点，则不从该列选择任何像素点；3)如果某一列中，从下到上扫描到的第一个满足上述两个条件中的任意一个条件的像素点，同时满足该两个条件中的另一个条件，则停止对该列的扫描，且该列仅保留该像素点；4)如果某一列中，从下到上扫描到的第一个满足上述两个条件中的任意一个条件的像素点，不同时满足该两个条件中的另一个条件，则保留该像素点，并继续扫描，搜索并保留满足所述两个条件中的任意一个条件的预定数目个像素点。通过此V视差图过滤来选取路面候选点的操作，大大滤除了噪声，降低了计算量。

根据本发明的另一方面，提供了一种路面检测装置，可以包括：V视差图获得部件，用于获得包括路面的V视差图；以及路面线段提取部件，从V视差图中提取线段作为路面，其中路面线段提取部件从V视差图中提取线段作为路面包括：基于约束的霍夫变换进行路面线段估计。

本发明实施例的描述仅为示例，本领域技术人员可以根据需要进行变化、替代或组合。

在前面的描述中提到，从视差图计算得到的V视差图，不过，可以想见的是，V视差图也可以直接从特殊相机例如双目相机、多目相机、立体相机拍摄的左右图像中直接计算得出，或者直接通过立体视图中的深度图计算得到。

另外，前述实施例中，示意的是车向前行驶，双目相机拍摄车前景的情况。不过本发明同样适用于倒车情况下，双目相机拍摄车后景的情况，只不过这时检测的是车后方的路面。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种路面检测方法，包括：

获得包括路面的V视差图；以及

从V视差图中提取线段作为路面，

其中从V视差图中提取线段作为路面包括：

基于约束的霍夫变换进行路面线段估计。

2.根据权利要求1的路面检测方法，其中包括路面的V视差图是从固定在车辆上的立体摄像机拍摄的立体图像获得的，基于摄像机的参数，确定实际3D环境中的路面映射到V视差图中的区域范围和倾角范围，

以及其中从基于约束的霍夫变换进行路面线段估计包括：

基于3D环境中的路面映射到V视差图中的区域范围和倾角范围，确定实际路面在V视差图中的对应线段的在霍夫变换的参数空间中的参数取值范围。

3.根据权利要求2的路面检测方法，其中实际路面在V视差图中的对应线段的根据霍夫变换的极坐标函数为如下公式：

ρ=x·cos(θ)+y·sin(θ)

其中，x表示v视差图中的对应线段上一点的横坐标值，表示视差值，y表示v视差图中的对应线段上一点的纵坐标值，表示图像坐标中的高度,其中对于路面，v视差图中的对应线段的参数取值满足x>0,y＞0,θ∈(π/2,π)，

从而导出：

$\frac{\mathrm{d\&rho;}}{\mathrm{d\&theta;}}=-x\&CenterDot;\sin \left(\mathrm{\&theta;}\right)+y\&CenterDot;\cos \left(\mathrm{\&theta;}\right)<0$

即实际路面在V视差图中的极坐标函数在上述参数取值范围内是单调减函数，由此基于ρ、θ的取值范围，

如果在按照θ从小到大的顺序对某像素点进行霍夫变换的转换时发现ρ小于所确定的ρ取值范围的下限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换；或者如果在按照θ从大到小的顺序进行霍夫变换的转换时发现ρ大于所确定的ρ取值范围的上限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换；或者

如果在按照ρ从小到大的顺序对某像素点进行霍夫变换的转换时发现θ小于所确定的θ取值范围的下限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换；或者如果在按照ρ从大到小的顺序进行霍夫变换的转换时发现θ大于所确定的θ取值范围的上限，则停止对该像素点进行转换，接下来对V视差图中的下一像素点进行从图像空间到霍夫空间的转换。

4.根据权利要求1的路面检测方法，其中基于约束的霍夫变换进行路面线段估计包括：

根据v视差图中的像素点的强度值，设置霍夫变换的参数空间中与该像素点对应的曲线的累加权值。

5.根据权利要求1的路面检测方法，其中基于约束的霍夫变换进行路面线段估计包括，通过下述操作来汇聚近似通过霍夫参数空间中一点的直线，以减小干扰：

用第一窗口扫描Hough参数空间，将第一窗口内的Hough曲线的加权值进行累积，将累积值置于窗口的中心；以及

用第二窗口扫描Hough参数空间，寻找窗口内的累积加权值最大的点，仅保留该点，窗口内其它点被置为0。

6.根据权利要求5的路面检测方法，其中基于约束的霍夫变换进行路面线段估计还包括：

搜索整个Hough累加空间，寻找累加值中的全局最大值，以该全局最大值的预定比率作为动态阈值。然后利用该动态阈值来筛选候选的Hough直线簇，只有累加值大于动态阈值的直线才被保留。

7.根据权利要求1的路面检测方法，还包括通过下述操作从霍夫变换所提取的线段中选择相对处于V视差图最底部的线段作为路面：

获得V视差图中与实际3D环境中与双目相机高度相同的水平面对应的水平面对应线；

通过下述公式度量霍夫变换所提取的线段与该水平面线之间的距离，

D=λd₁+(1-λ)d₂

$d_1=\frac{|{\mathrm{Ax}}_1+{\mathrm{By}}_1+C|}{\sqrt{A^2+B^2}},$ $d_2=\frac{|{\mathrm{Ax}}_2+{\mathrm{By}}_2+C|}{\sqrt{A^2+B^2}}$

其中，A、B、C是表征水平面对应线的参数，(x1,y1)、(x2,y2)是霍夫变换所提取的线段的两个端点的坐标值，λ是加权系数；以及

选择霍夫变换所提取的线段中在该水平对应线之下，且与该水平面对应线之间的距离最大的线段作为路面。

8.根据权利要求1的路面检测方法，还包括在基于约束的霍夫变换进行路面线段估计之前，通过下述操作来过滤V视差图以选取路面候选点，

1)从下到上扫描各列，判断各个像素点是否满足至少如下两个条件：条件1，像素点的强度值大于预定强度阈值，条件2，像素点邻域内的像素点的数量大于预定数量阈值；

2）如果某一列中不存在满足条件1或条件2的像素点，则不从该列选择任何像素点；

3)如果某一列中，从下到上扫描到的第一个满足上述两个条件中的任意一个条件的像素点，同时满足该两个条件中的另一个条件，则停止对该列的扫描，且该列仅保留该像素点；

4)如果某一列中，从下到上扫描到的第一个满足上述两个条件中的任意一个条件的像素点，不同时满足该两个条件中的另一个条件，则保留该像素点，并继续扫描，搜索并保留满足所述两个条件中的任意一个条件的预定数目个像素点。

9.根据权利要求1的路面检测方法，所述从V视差图中提取线段作为路面包括：

按照视差从大到小的顺序，从V视差图中提取分段线段作为路面；

其中每段线段是基于约束的霍夫变换进行估计得到的；以及

基于前一段估计出的直线参数来限定后一段线段的初始直线参数。

10.一种路面检测装置，包括：

V视差图获得部件，用于获得包括路面的V视差图；以及

路面线段提取部件，从V视差图中提取线段作为路面，

其中路面线段提取部件从V视差图中提取线段作为路面包括：

基于约束的霍夫变换进行路面线段估计。

Images