CN110348317A - 一种基于mser区域的城市道路鲁棒检测方法 - Google Patents

Abstract

本发明公开了一种基于MSER区域的城市道路鲁棒检测方法，包括：针对车载视频图像计算反映灰度局部变化的梯度图像，较好地呈现图像的细节信息；采用MSER区域特征提取算法，针对梯度图像获取局部稳定极值区域；假设处于车辆前方的区域正好就是道路区域，在车载视频图像靠近下边沿的合适位置选定初始种子点，并确定初始种子点所落入的具体MSER区域，从而最终检测属于城市道路的区域范围。采用本发明的技术方案，可以对复杂道路场景及复杂光照条件下的城市道路进行鲁棒而高性能的检测，对智能车自主导航及车载视频智能处理具有重要意义。

Description

一种基于MSER区域的城市道路鲁棒检测方法

技术领域

本发明属于智能车自主导航及车载视频智能处理技术领域，具体涉及一种基于梯度图像 MSER区域提取的城市道路鲁棒检测方法。

背景技术

道路检测是当前智能车自主导航(Automatic Vehicle Navigation Systems)及车载视频智能处理领域获得广泛关注的研究方向。同时，它对于驾驶员辅助驾驶系统(Driver Assistance System)及增强浮动车(Extended Floating-car Data)等应用都具有非常重要的意义(Kastrinaki V.,Zervakis M.,Kalaitzakis K.A Survey of VideoProcessing Techniques for Traffic Applications [J].Image and VisionComputing,2003,21(4):359–381)(McCall J.,Trivedi M.Video Based Lane Estimationand Tracking for Driver Assistance:Survey,System,and Evaluation[J].IEEETransactions on Intelligent Transportation Systems,2006,7(1):20–37)。从上世纪90年代开始，道路检测研究就一直非常活跃。

不同的目标应用场景及道路条件造成了不同的道路检测方法。第一类方法针对高速公路、城市干道等铺砌完好、路面平坦、车道标线及其他人工标记明显的城市结构化道路。一般采用车道标线及道路边沿线检测来实现。车道标线作为结构化道路环境人类驾驶所采用的主要线索，具有定义明确而显著的特征。车道标线以其可视性鲜明的特点，方便图像特征的提取。所检测到的车道标线位置能够满足一系列应用的需要，包括车道偏离预警(Lane Departure Warning)，抗瞌睡预警系统(Anti-sleep Alarm Systems)等(HillelA.B.,Lerner R.,Levi D.,Raz G..Recent Progress in Road and Lane Detection:ASurvey[J].Machine Vision and Applications, 2014,25(3):727–745)。针对车道标线的变化外观，照明条件，阴影，图像伪影等问题，车道标线检测研究在过去的几年里取得了长足的进步。但是对于车流密集条件下的交通杂乱场景，它仍然是一个挑战性的问题。

第二类方法针对没有可供参考的车道标线等显著标志以及道路几何先验知识的非结构化道路(未铺砌的土路)。为了避免非结构化道路复杂边沿情况所造成的检测困难，该研究基于恒定道路纹理及颜色的假设，使用整个道路表面作为特征，大大改善道路标线缺失等情况下道路检测。该方向根据像素的属性如灰度值、颜色或纹理等，使用基于区域的图像分割方法，将所有像素划分为道路和非道路两类(Crisman J.D.,ThorpeC.E.UNSCARF,A color vision system for the detection of unstructured roads[C]..IEEE International Conference on Robotics and Automation,1991,175-187)。目前该方法同样多是针对前方没有其他车辆遮挡的车流稀疏情况进行检测，并没有考虑车流密集的交通杂乱场景为代表的复杂城市道路环境。

第三类方法主要针对结构化道路环境，检测车辆可安全行驶的车前路面区域。该方法能够提升在城市复杂环境下道路的检测性能。该研究主要采用基于种子的区域增长分割算法 (Hautière N.,Tarel J.-P.,Halmaoui H.,Brémond R.,Aubert D.Enhanced FogDetection and Free Space Segmentation for Car Navigation[J].Machine Visionand Applications,2014,25(3): 667–679)以及基于立体摄像机Homograph估计的道路平面检测方法进行(Guo C.,Mita S. Drivable Road Region Detection based onHomography Estimation with Road Appearance and Driving State Models[C].4thInternational Conference on Autonomous Robots and Agents,2009, 9(12):204-209)。截止到目前，该方法并没有针对车流密集的交通杂乱场景为代表的复杂城市道路环境进行针对性的分析。

发明内容

由于多种因素的影响,城市道路环境可以变得很复杂。这些因素主要分为两类。第一类为复杂道路场景，主要包括道路结构发生变化，比如交叉口附近车道数增加以及车辆处于交叉口内部等复杂情况，以及车辆密集干扰等。第二类为复杂光照条件，主要包括投射阴影等。本发明主要针对以上复杂城市道路环境提出了基于梯度图像MSER区域提取的城市道路自由空间鲁棒检测新方法。

在复杂城市道路环境情况下，需要选取能够适应多种复杂道路环境而具有高度一致性的良好特征属性。本发明采用了最大稳定极值区域(Maximally Stable ExtremalRegion，MSER) 检测算子(Forssen P-E.,Lowe D.G.Shape Descriptors for MaximallyStable Extremal Regions[C]. ICCV,2007.14-21)提取有效道路区域。MSER检测算子是Matas等人于2004年提出的一种局部仿射不变区域提取算法(Matas J.,Chum O.,UrbanM.,Pajdla T.Robust Wide Baseline Stereo from Maximally Stable ExtremalRegions[J].Image and Vision Computing,2004,22(10): 761-767)，已经被广泛用于检测自然场景图像中稳定区域(在一定的灰度阈值范围内，所得二值化图像某些连通区域的面积几乎保持不变)，比如车牌检测、道路标志检测以及文本检测等(Chen H.,Tsai S.,Schroth G.,Chen D.Grzeszczuk R.,Girod B.Robust Text Detection in NaturalImages with Edge-enhanced Maximally Stable Extremal Regions[C].ICIP 2011,2609- 2612)。道路无疑是车载视频原始图像中的稳定区域。基于MSER的区域提取既能够检测出道路所属的连通区域，也保证道路检测能够稳定地适应各种复杂光照环境。

传统的MSER区域特征提取算法在具体实施之前，通常先将原始图像转化成灰度图像，直接利用各像素的灰度相邻关系进行MSER区域的提取。但当图像中存在不明显的灰度差异 (比如黑色车辆与道路)或当相邻的道路与路侧景观环境的灰度范围有较大重叠时，将很难得到准确的结果；其次，仅仅只考虑图像的灰度往往造成对图像的噪声灰度很敏感的结果。为了更好地适应道路边缘的细节信息以及车辆与道路的便捷信息，更准确地划定道路有效范围，本发明采用梯度图像进行MSER区域检测，实现较高准确性能的城市道路鲁棒检测方法。

一种基于梯度图像MSER区域提取的城市道路鲁棒检测方法，其特征在于包括如下步骤：

步骤1：梯度图像计算

根据数字图像处理理论，图像梯度反映灰度局部的剧烈变化，一般用来检测图像的边缘像素(像素灰度不连续的位置)。在灰度图像f的每个像素位置(x,y)计算梯度向量▽f为

其中，g_x和g_y是像素点(x,y)处的梯度分量(x和y方向的偏导数)。

计算每个像素位置处的梯度分量(梯度偏导数)最简单的方法是使用空间滤波器。3×3 空间滤波器模板定义为

ω<sub>1</sub>	ω<sub>2</sub>	ω<sub>3</sub>
			ω<sub>4</sub>	ω<sub>5</sub>	ω<sub>6</sub>
ω<sub>7</sub>	ω<sub>8</sub>	ω<sub>9</sub>

其中，ω_k是空间滤波器的系数。在该模板所覆盖图像区域中心点处的滤波输出值u为

其中，z_k是输入的像素灰度。该模板所覆盖的图像区域是可变的，以便访问f中的每个像素。根据以上模板，像素点(x,y)处的梯度分量g_x和g_y可以定义为

梯度向量▽f的幅值(灰度最大变化率的值)A(x,y)可定义为：

g_x(x,y),g_y(x,y)和A(x,y)都是与原图像大小相同的图像，所得图像A(x,y)即定义为梯度图像。

步骤2：MSER区域提取

MSER区域特征提取主要是测试允许范围内所有可能的阈值，并不断评估二值化图像连通分量随阈值变化的稳定性。针对输入梯度图像(D为像素空间，T为值域范围0～255)，选取以上值域范围所允许的一系列依次递增阈值t∈{0,1,…,255}对其分割得到二值化图像B_t

所有二值化图像B_t(t＝{0,1,…,255})所形成的连通分量，都是极值区域Q(Q里所有像素值大于/小于区域边界上所有像素值)。令Q₁,Q₂,…,Q_i-1,Q_i,…表示一组嵌套极值区域序列。如果Q_i的面积变化率，即

在i处取得局部最小值，则称Q_i为最大稳定极值区域。Δ表示阈值的微小变化，|·|表示区域面积(即区域覆盖的像素个数)。

令{R₁,R₂,…,R_L}表示从梯度图像提取的MSER区域集合，其中R_j,j＝1,2,…,L，都是原始图像f的一个连通集。在进一步处理之前，需要针对每个MSER区域R_j进行轮廓提取，将原始区域简化为便于计算与分析的闭合多边形。首先，对应R_j构造二值图像C_j为

根据边界追踪算法，由二值图像C_j可以得到R_j外边界上以顺时针(或逆时针)方向排序的闭合轮廓，记为

此即为MSER区域R_j的边界轮廓点序列，M_j是每条轮廓所包含的有序点的总数。在具体提取轮廓之前，需要对C_j进行一系列膨胀和腐蚀运算，以便消除各区域内部的小孔洞。

其次，对于一条闭合轮廓O_j，可以用任意精度的多边形P_j来近似。多边形近似闭合边界的目的是使用尽可能少的线段数来获取给定边界的基本形状。使用最小周长多边形的近似方法，可得到适度复杂多边形表示，其顶点序列可表示为：

其中，每对相邻的点定义了多边形的一条边，而且首尾相连组成闭合多边形。该闭合多边形是平面内具有N_j个顶点的简单多边形。

最后，计算每条近似多边形P_j的凸壳为

H_j是每条凸壳所包含的有序点的总数。

步骤3：选取种子区域及城市道路鲁棒检测

本发明假设处于车辆前方的区域正好就是道路区域。因此，本文首先在车载视频图像靠近下边沿的合适位置选定初始种子点p_s＝{x_s,y_s}(一旦选定，后面就不再更改)。现在只需要确定初始种子点p_s落入的特定MSER区域R_s，可称为MSER种子区域。有理由相信，该MSER区域就属于城市道路的范围。

确定初始种子点p_s所落入的MSER种子区域R_s，一个直接方法就是遍历所有有效MSER区域，搜寻是否存在与初始种子点p_s位置相匹配的像素点。当遍历到某一个MSER 区域时，如果存在像素点与初始种子点匹配成功(同一个点)，则当前MSER区域即为道路种子区域R_s

其中，(x,y)是MSER区域R_i里的任一像素点。以上算法的时间复杂度T(n)较高，最好的情况为T(n)＝O(1)，最差的情况为T(n)＝O(n)。其中，n表示问题的规模，即为所有有效MSER区域包含的像素点总数。

确定初始种子点p_s所落入的MSER种子区域，就是判断哪一个MSER区域所对应的近似多边形P_j包围了p_s，这是计算几何的一个基本问题，即点在多边形中(the point-in-polygon，简称PIP)。解决此问题的方法主要有引射线法、面积和判别法和夹角和判别法等。考虑到各算法的复杂程度，本发明选择引射线法。

与现有技术相比，本发明具有以下明显优势：

(1)本发明针对复杂道路场景及复杂光照条件下的城市道路，提出了一种基于梯度图像 MSER区域提取的自由空间鲁棒检测新方法，对智能车自主导航及车载视频智能处理具有重要意义。

(2)本发明采用最大稳定极值区域(MSER)检测算子提取有效道路区域。基于MSER的区域提取既能够检测出道路所属的连通区域，也保证道路检测能够稳定地适应各种复杂光照环境。

(3)为了更好地适应道路边缘的细节信息以及车辆与道路的边界信息，更准确地划定道路有效范围，本发明采用梯度图像进行MSER区域检测，实现高准确性能的城市道路鲁棒检测方法。

附图说明

图1本发明所涉及方法的总体框图；

图2(a)-2(d)车载交通视频采集：(a)306路车辆行驶路线；(b)具有较大交通流量的车辆密集复杂场景；(c)以多种形式交叉口为代表的复杂交通场景；(d)具有投射阴影的复杂光照条件；

图3(a)-3(b)利用Sobel梯度算子计算梯度图像：(a)车载视频前方道路原始图像；(b)利用Sobel算子的梯度图像计算结果；

图4(a)-4(b)针对梯度图像的MSER区域提取：(a)车载视频前方道路原始图像；(b)MSER区域提取结果；

图5(a)-5(e)MSER区域的轮廓提取；(a1-a4)对应MSER区域构造二值图像；(b1-b4)经过形态学处理后的二值图像；(c1-c4)边界轮廓点序列提取；(d1-d4)边界轮廓近似多边形提取；(e1-e4)边界轮廓凸多边形提取；

图6(a)-6(d)初始种子点及种子区域检测；(a)在视频图像靠近下边沿的合适位置选定初始种子点；(b)在MSER区域检测结果上叠加初始种子点；(c)MSER种子区域及其近似多边形；(d)道路区域检测结果；

图7(a)-7(f)针对较大交通流量车辆密集情况的城市道路检测结果；

图8(a)-8(c)针对交叉口附近道路结构发生变化情况的城市道路检测结果；

图9(a)-9(f)针对阴影变化的城市道路检测结果。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明实施例在安装VC2008和OpenCV2.4.5的PC机上实现，流程图如图1所示。本发明试验所用车载视频拍摄于2015年11月至2016年7月期间，主要通过在北京市306路公交车上架设的行车记录仪拍摄完成的。在这段时间内，多次往返306路行驶线路全线，见图2(a)。行车记录仪具体安装在前挡风玻璃后，位于内后视镜(处于中间位置)的右上方位置。多天拍摄完成的车载视频大约占用32G的硬盘空间。视频序列帧率是每秒25 帧，图像分辨率为960×540。在本发明试验中，行车记录仪监控倾角的选择以能够全面观察车辆前方较远道路情况为宜，因此在所拍摄车载视频图像中地平线的位置大概处于图像空间中线偏上一点。306路行驶线路全线包括北京四环以内的核心区以及五环和六环之间的广大郊区。这些拍摄都选择在晴天进行，根据调度时间排班，每次拍摄过程选定为中午10点至下午15点，有效视频序列时长达到300分钟，不可避免遇到交通拥堵的路段(见图2(b))。而且道路景观及周围建筑环境非常复杂，会多次经过多种形式的交叉口(见图2(c))。由于受路侧高层建筑的影响，不可避免地遇到阴影问题(见图2(d))。本发明实施例方法包括以下步骤：

步骤1：梯度图像计算

根据空间滤波器可以有多种方法完成图像梯度的计算，比如Roberts，Prewitt，Sobel， Scharr等多种梯度算子。本实施例利用Sobel梯度算子完成图像梯度的计算。Sobel梯度算子的3×3区域二维滤波模板具体为：

图3(a)是输入的原始车载视频图像。图3(b)表示针对车载视频图像计算的反映灰度局部变化的梯度图像结果，其中的黑色区域就是像素灰度变化小的区域。利用Sobel 梯度算子既能保证恒定灰度区域的响应为零，又能较好地处理求导数时的噪声抑制问题，所计算的梯度图像能够较好地呈现图像的细节信息。

步骤2：MSER区域提取；

本发明基于梯度图像提取MSER特征的问题，只需运行一遍MSER+操作，检测梯度图像中的黑色区域。图4(a)是输入的原始车载视频图像。图4(b)表示了针对梯度图像(见图3(b))的MSER区域提取结果，不同颜色区域代表了所检测到的各个MSER区域集合{R₁,R₂,…,R_L}，可以清晰地看到所检测的MSER稳定区域已经包括了本文感兴趣的道路区域。

为了提高计算效率，MSER算法使用高效的算法对像素进行快速排序，使用Union-Find算法维护相连区域的列表和面积。因此MSER算法具有近似线性的复杂度，进行特征提取时效率很高，可以基本满足实时应用需求。David Nister等人于2008年提出了线性复杂度的改进 MSER区域特征提取算法(Nister D.,Stewenius H.Linear Time MaximallyStable Extremal Regions[C].ECCV,2008,183-196)，该算法要比原本使用的Union-Find算法更快，本发明使用的OpenCV开源代码就是利用该算法实现MSER的。

图(5)表示了针对每个MSER区域R_j进行轮廓提取的过程，其中各列分别表示了所检测到的不同MSER区域。图5(a)为各区域构造的二值图像；图5(b)为具体提取轮廓之前进行的进行一系列膨胀和腐蚀运算；图5(c)为各区域边界轮廓点序列O_j提取结果；图 5(d)为近似多边形表示的给定边界的基本形状，从而将原始区域简化为便于计算与分析的闭合多边形；图5(e)为近似多边形P_j的凸壳表示。

步骤3：选取种子区域及道路鲁棒检测

图6(a)中的红色小块表示了选定的初始种子点p_s，它在车载视频图像靠近下边沿的合适位置，并且避开固定位置放置的时间戳等不必要的干扰。为了看的清楚起见，这里对于种子点进行放大处理。图6(b)表示了基于梯度图像的MSER区域检测结果及叠加所选定的初始种子点，见其中的箭头所示。最终选定的种子区域如图6(c)所示。很显然，该种子区域已经是城市道路目标区域检测结果，见图6(d)。

图7，图8和图9依次显示了本发明方案针对复杂场景及复杂光照等情况的城市道路鲁棒检测结果。图7(a)至图7(f)表示了针对较大交通流量车辆密集情况的城市道路检测结果。图8(a)至图8(c)表示了针对交叉口附近道路结构发生变化情况的城市道路检测结果。图9显示了针对阴影变化的城市道路检测结果。这些阴影主要是因为道路附近高层居民楼遮挡了远处光源(太阳)所造成的投射阴影。投射阴影变化对于城市道路的影响主要体现在太阳光直射路面(情况1)以及投射阴影完全覆盖路面(情况2)两种情况的过渡过程。图9就具体显示了由情况2向情况1的过渡过程。各帧相隔15帧，总共140帧。从第一帧的太阳直射造成出现高亮区域开始(前方较远的位置)，车辆不断接近该高亮区域，并最终完全进入该高亮区域。图7，图8和图9各图清楚地展示了，在多种复杂情况下本发明方案所检测的道路区域(由蓝色区域区域表示)都能够很好地覆盖真正的道路区域，充分说明该方案的鲁棒性。

本发明使用拥有8核英特尔至强CPU(主频为3.30GHz)和8GB内存的64位计算机。针对梯度图像的MSER区域提取，本发明使用了线性复杂度的改进MSER区域提取实现算法，具体实现见OpenCV开源库。后续的处理过程，大多数只需要针对各MSER区域近似多边形表达进行简单的几何计算，并不需要太长的时间。其中，一系列潜在的核心计算步骤已经使用了计算复杂度比较低的算法进行实现。每帧视频的平均处理时间约为21.49秒，根本不需要任何处理技巧(比如简单跳帧处理)，就可以得到超实时计算过程。

最后应说明的是：以上示例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于MSER区域的城市道路鲁棒检测方法，其特征在于包括如下步骤：

步骤1：根据空间滤波器计算得到原始灰度图像的梯度图像A(x,y)；

步骤2：对A(x,y)进行MSER区域提取，并对MSER区域提取结果进行轮廓提取，由凸壳表示，具体过程包括：

2.1)从梯度图像A(x,y)提取MSER区域集合{R₁,R₂,…,R_L}，其中R_j,j＝1,2,…,L；

2.2)针对每个MSER区域R_j进行轮廓提取，将原始区域简化为便于计算与分析的闭合多边形P_j，计算每条近似多边形P_j的凸壳，实现MSER区域提取，其中凸壳表示如下：

CH_j＝ConvexHull(P_j)

步骤3：选取种子区域及城市道路鲁棒检测，具体包括：

3.1)在原始图像靠近下边沿处选定属于城市道路的范围的，且不再更改的初始种子点p_s＝{x_s,y_s}；

3.2)确定初始种子点p_s落入的特定MSER区域R_s，区域R_s即为城市道路鲁棒检测结果。

2.根据权利要求1所述的一种基于MSER区域的城市道路鲁棒检测方法，其特征在于：

所述的空间滤波器采用3×3模板，具体如下：

ω₁ ω₂ ω₃ ω₄ ω₅ ω₆ ω₇ ω₈ ω₉

其中，ω_k是空间滤波器的系数，在该模板所覆盖图像区域中心点处的滤波输出值u为

其中，z_k是输入的像素灰度，该模板所覆盖的图像区域是可变的，以便访问原始灰度图像f中的每个像素。

3.根据权利要求2所述的一种基于MSER区域的城市道路鲁棒检测方法，其特征在于：根据以上空间滤波器模板，所述的用于表征梯度向量的幅值、即灰度最大变化率的梯度图像A(x,y)的计算公式如下：

其中，g_x和g_y分别表示原始灰度图像f中像素点(x,y)处的梯度分量，具体计算公式如下：

4.根据权利要求1所述的一种基于MSER区域的城市道路鲁棒检测方法，其特征在于：

，具体包括以下步骤：

步骤2.2)中所述的轮廓提取具体如下：

构造对应R_j的二值图像C_j，具体公式如下：

根据边界追踪算法，由二值图像C_j得到R_j外边界上以顺时针或逆时针方向排序的闭合轮廓，记为

此即为MSER区域R_j的边界轮廓点序列，M_j是每条轮廓所包含的有序点的总数。

5.根据权利要求4所述的一种基于MSER区域的城市道路鲁棒检测方法，其特征在于：

步骤2.2)中所述的将原始区域简化为便于计算与分析的闭合多边形P_j具体如下：

对于一条闭合轮廓O_j，用任意精度的多边形P_j来近似，使用尽可能少的线段数来获取给定边界的基本形状，使用最小周长多边形的近似方法，得到适度复杂多边形表示，其顶点序列可表示为：

其中，每对相邻的点定义了多边形的一条边，而且首尾相连组成闭合多边形，该闭合多边形是平面内具有N_j个顶点的简单多边形。

6.根据权利要求4所述的一种基于MSER区域的城市道路鲁棒检测方法，其特征在于：还可以在步骤2.2)具体提取轮廓之前，对C_j进行用于消除各区域内部小孔洞的膨胀和腐蚀运算。

7.根据权利要求1所述的一种基于MSER区域的城市道路鲁棒检测方法，其特征在于：

步骤3.2)所述的确定初始种子点p_s所落入的MSER种子区域R_s的方法是：遍历所有有效MSER区域，搜寻是否存在与初始种子点p_s位置相匹配的像素点，当遍历到某一个MSER区域时，如果存在像素点与初始种子点匹配成功，即为同一个点，则当前MSER区域即为道路种子区域R_s。

8.根据权利要求1所述的一种基于MSER区域的城市道路鲁棒检测方法，其特征在于：

步骤3.2)所述的确定初始种子点p_s所落入的MSER种子区域R_s的方法还可以是：采用引射线法、面积和判别法、以及夹角和判别法判断哪一个MSER区域所对应的近似多边形P_j包围了p_s，即点在多边形中。