CN104809433B - 一种基于最大稳定区域和随机采样的斑马线检测方法 - Google Patents

Abstract

本发明公开了一种基于最大稳定极限区域(MSER)和随机采样一致(RANSAC)的斑马线检测方法，属于模式识别技术领域，具体涉及交通监控场景中的斑马线区域的检测和划分方法。首先，应用多帧中值的方法对交通监控视频进行背景提取，尽量减少路面的车辆对斑马线的遮挡；其次，对背景图像进行预处理，使用MSER的方法对图像中的斑马线进行特征提取；最后，选用扩展RANSAC算法对MSER处理后的图像进行斑马线关键点的筛选，而后再对提取出的斑马线区域进行长度和宽度拟合，在原图中显示出来，最终完成对斑马线区域的检测。具有检测角度范围大、距离远、适应性强的优点。

Description

一种基于最大稳定区域和随机采样的斑马线检测方法

技术领域

本发明属于模式识别技术领域，具体涉及交通监控场景中的斑马线区域的检测和划分方法。

背景技术

智能交通系统是未来交通系统的发展方向，而斑马线检测为智能交通系统的重要组成部分。斑马线检测可用于交通监控场景的环境感知，包括路面区域的检测、交通流量监控，汽车行人检测等领域。斑马线检测逐渐成为近十年来的研究热点。由于实际路面的遮挡或光线变化和斑马线角度和数目未知等原因，如何能够准确的判断路面是否斑马线并且求出斑马线所在区域是我们要面对的难题。

传统斑马线检测技术主要用在残障人士辅助设备上和汽车的辅助驾驶领域，存在摄像头高度固定、倾角变化范围小局限性，同时此类方法要求场景中斑马线的角度固定在一定范围内，存在无法检测出视野内的多条斑马线的缺点。总结来看目前斑马线检测主要分为三种类型：基于边缘，基于频域，基于区域对比。

第一种类型主要代表为消隐点法，此种方法以斑马线在真实世界中具有互相平行边缘的特点出发，利用霍夫变换求得斑马线边缘的消隐点，再根据求出的消隐点坐标通过反推方法，找到斑马线所在区域。这种算法的特点是相对于其他算法运行速度比较快，但同时区分性差。对于条数较少的斑马线和其他平行线较多的图片检测定位误差大，不容易区分目标和干扰。而且复杂场景中如果存在多条斑马线(相互平行或者垂直)，此算法不能区分。另外还存在一些缺点，根据透视原理，远处的斑马线会很短，加上不可避免的存在一些干扰或者噪声，导致霍夫变换无法求出直线，更没有办法求出直线的交点即消隐点，所以没法定位斑马线区域。

第二种类型主要代表为频域法，此算法从斑马线道路构成的黑白线条交叉出现的纹理规律出发，根据斑马线在实际世界中的宽度反推到其在图片中的像素宽度，计算出斑马线区域特有的频率，并以该频率点为中心频率在特定带宽内筛选感兴趣区域。该方法要求斑马线平行于拍摄者，且相机不能有过大的畸变。此方法虽然识别率高，但是计算复杂，不适合实时运算。同上一类方法一样，场景中如果存在多条斑马线，此算法不能区分定位斑马线。因为此算法前提条件要已知斑马线所在区域的特定频率，那么就要已知图像中斑马线的宽度，又因为摄像头外在架设高度、角度和内在成像参数都无法得知，因此无法获得斑马线在图像中宽度。此算法主要应用到近处存在斑马线的场景，例如高级汽车辅助驾驶系统。

第三种类型的主要代表为双极性判决法，此算法利用斑马线黑白分明的特点。因为理想的斑马线区域具有完美的双极性特性，所以双极性判决法利用均值和方差来表征某一个图像区域内的黑白分明程度。双极性判决法分类效果明显，而且计算速度快。但是此种方法没有对斑马线区域大小有尺度适应性，区域搜索框过大或者过小，都会降低双极性系数的数值，造成斑马线漏检；对于黑白不分明文理斑驳的斑马线识别同样存在局限性，同时此方法没有考虑区域内部的分布情况，景物交界处和伪斑马线噪声都无法抑制。另一方面该算法主要适用高度低、角度小的场景，以人为视角场合，实际应用多到视力障碍者横穿马路的辅助系统。

因为上述算法应用领域的限制，导致其无法在交通监控场景中的斑马线区域检测有很好的效果。针对上述算法不足，本发明提出一种基于最大稳定极限区域(MSER)和随机采样一致(RANSAC)的斑马线检测方法。首先，应用多帧中值的方法对交通监控视频进行背景提取，尽量减少路面的车辆对斑马线的遮挡；其次，对背景图像进行预处理，滤除高频噪声，并且使用MSER算法对图像中包括斑马线等对比强烈区域进行提取；最后，选用扩展RANSAC算法对MSER处理后的图像进行斑马线关键点的筛选，通过对提取出的斑马线区域进行长度和宽度拟合，在原图中显示出来，最终完成对斑马线区域的检测。本发明克服传统算法的缺陷，具有摄像头角度变化范围大，斑马线角度变化广，斑马线检测距离远等特点；对于车辆和行人等前景干扰目标的遮挡、光线和角度的变化有很强的适应性，而且可以检测出同一场景多条斑马线。

发明内容

本发明的目的是针对交通监控场景中的斑马线检测分割算法无法适应多光照环境，无法自动识别斑马线条数，对斑马线角度适应性差的缺点，提出了一种基于最大稳定区域和随机采样的检测角度范围大、距离远、适应性强的斑马线检测方法。

本发明的技术方案是一种基于最大稳定区域和随机采样的斑马线检测方法，具体包括如下步骤：

步骤1：通过交通监控摄像头获取含有斑马线的视频图像；

步骤2：采用短时多帧中值方法对视频图像进行背景提取；

步骤3：对步骤2获得的图像背景进行平滑降噪，去除图像的高频分量；

步骤4：应用最大稳定极限区域算法(MSER)，提取出图像中相对周围像素存在对比的区域(对比区域包括暗色道路中明亮的各种交通标识以及明亮区域中的暗色区域)，包括路面的斑马线、箭头、道路边界等；

步骤5：将提取出的每个最大稳定极限区域外接一个拟合椭圆，椭圆的短轴长度为斑马线一个分支的宽度，长轴长度为斑马线一个分支的长度，椭圆长轴倾斜角为斑马线分支的角度；

步骤6：利用级联判别方法剔除部分非斑马线椭圆区，利用RANSAC算法对椭圆的圆心进行拟合，获得一条大致贯穿斑马线的拟合直线；

步骤7：选取拟合直线周围的椭圆圆心，采用最小二乘法再对这些圆心进行拟合，获得一条精确贯穿斑马线的直线，认定该直线穿过的圆心所在的椭圆内的线条为斑马线线条；

步骤8：根据步骤7确定的斑马线线条拟合椭圆确定出斑马线条的长度和宽度。

所述步骤4的具体步骤为：

步骤4.1：应用一组阈值对图像进行图像二值化操作，获得相应的黑色区域和白色区域；

步骤4.2：选取较宽阈值范围内保持形状稳定的区域。

步骤6的具体步骤为：

步骤6.1：剔除拟合椭圆圆心灰度值小于设定阈值的最大稳定极限区域，该阈值通过经验获得；

步骤6.2：若拟合椭圆圆心与其最近的拟合椭圆圆心距离超过Dmax，剔除该孤立的拟合椭圆内的最大稳定极限区域，其中Dmax为当前图像中所有椭圆长轴均值的2倍；合并拟合椭圆圆心距离小于Dmin的最大稳定极限区域，再对合并区域进行椭圆拟合，其中Dmin为当前图像所有椭圆长轴均值的0.2倍；

步骤6.3：采用数学排列的方式对所有拟合椭圆圆心进行分组，获得每组内两个圆心的所在直线；

步骤6.4：寻找出两圆心所在直线两侧距离100个单位像素的范围内所有椭圆；

步骤6.5：获得组内两个拟合椭圆倾斜角度的绝对值差，对该差值再取绝对值；获得步骤6.4得到的椭圆的圆心到步骤6.3直线的欧式距离之和；获得步骤6.4得到的椭圆长轴的方差；获得步骤6.4得到的椭圆短轴的方差；

步骤6.6：将步骤6.5获得所有数据加权求和，最终每组获得一个加权求和值，选择出每个分组获得的最小的加权求和值，该分组两圆心所在直线为大致贯穿斑马线的拟合直线；

步骤7的具体步骤为：

步骤7.1：利用步骤6产生直线，此直线两侧范围内的椭圆基本为所求的斑马线分支，在直线的两侧距离20个单位像素内，寻找在范围之内椭圆的圆心；

步骤7.2：利用步骤7.1产生的椭圆圆心点，通过最小二乘法重新对定位的直线进行微调，得到精确定位结果。

步骤8的具体步骤为：

步骤8.1：利用步骤7获得的直线，该直线穿过的多个椭圆，找出横坐标最小和最大的两个椭圆的圆心，认为这两个椭圆中的斑马线为第一条或最后一条斑马线条，从而获得斑马线的长度；

步骤8.2：利用椭圆的长轴的宽度、椭圆的倾斜角和步骤7产生的直线的斜率获得斑马线的宽度。

本发明提出一种基于最大稳定区域和随机采样的斑马线检测方法。应用MSER算法对斑马线区域进行检测划分，提取出斑马线的多维度特征，利用斑马线的多维度特征对斑马线分支组合进行提取。应用MSER方法使系统在不同的光照之下都能够有效提取斑马线区域，避免在多种光照下的阈值选择的难题，增加了检测的鲁棒性；扩展RANSAC算法可以对计算出的组内样本距离提取出样本点的主要成分，剔除局外的非斑马线区域的干扰；应用最小二乘法对斑马线中心线进行拟合，提高了斑马线区域定位的准确性。本方法克服传统的算法的缺陷，具有摄像头角度变化范围大，斑马线角度变化广，斑马线检测距离远等特点；对于车辆行人等前景干扰目标的遮挡、光线和角度的变化有很强的适应性，而且可以检测出同一场景多条斑马线。

附图说明

图1为本发明流程图；

图2步骤5MSER检测结果和斑马线分支细节检测结果；

图3为本发明内容中步骤6级联模块剔除部分干扰后的图像；

图4为本发明最终处理结果图像。

具体实施方式

下面结合附图对本发明进行进一步的说明。

步骤1：采集图像，本发明主要是基于交通监控摄像头采集的视频做处理，这就决定了监控摄像头是静止不动的。所以采集的视频都是固定角度、固定高度的，此先验条件为图像背景提取提供基础。

步骤2：背景提取，采用短时多帧中值的方法提取背景图像，提取出图像背景的好处是可以把不属于背景的前景动目标甚至是短暂静止目标提取出来，分离出背景和前景。没有前景目标的遮挡，有利于估计出斑马线所在的区域。经过图像预处理之后，可以运用MSER算法提取出斑马线的最大稳定区域。

其中短时多帧中值方法的主要思路是对图像序列同一位置像素值序列取中值，公式如下:

其中N为图像序列个数，(x,y)为图像像素位置，W图像宽度，H图像宽度，MP_x,y为输出结果。

步骤3：图像预处理，在正式的处理之前，需要对图像进行预处理，主要是平滑降噪，去除图像的高频分量，具体采用的是7*7的高斯核函数作为滤波模板，高斯核函数公式如下；

步骤4：MSER最大稳定区域提取，根据斑马线灰度值相对较高的特征，传统提取斑马线区域都是基于连通区域二值化的方法。具体路线为：首先对图像做二值化操作，即计算图像灰度值大于某一个设定阈值此图像点置为1，小于则置为0。然后对为1的区域提取联通域，找出斑马线的位置。但是传统的二值化的方法全局只有一个阈值，如果图片不同区域的亮度不同，导致提取出的斑马线不完整。所以这里采用MSER最大稳定极限区域算法，该算法不使用全局的灰度阈值，只针对局部区域的灰度做比较，可以有效的找出局部灰度突出区域。MSER对不同光照、不同尺度和不同方位的目标具有很高的适应性。

MSER算法是由J.Matas首先提出的，起初主要用于基于鲁棒性的宽基线立体重建。

MSER算法在使用过程中的简要提取过程如下：

1.使用一系列灰度阈值对图像进行二值化处理

2.对于每个阈值得到的二值图像，得到相应的黑色区域与白色区域

3.在比较宽的灰度阈值范围内保持形状稳定的区域就是MSERs

步骤5：把提取出的MSER区域椭圆化，如图2所示，此根斑马线分支完全被检测到，整个椭圆区域覆盖斑马线分支，椭圆的长轴b为斑马线的长度，椭圆的短轴a为斑马线的宽度，椭圆的圆心是斑马线的中心，椭圆的倾斜角为斑马线倾斜角。这样利用的椭圆的圆心、长短轴和角度等特征，就可以提取出斑马线区域。

步骤6：利用级联判别模块提取斑马线。为了使后面算法尽量利用到有效椭圆数据，此步骤尽可能利用斑马线本身的多特征信息，保留斑马线椭圆的数据，删除非斑马线椭圆区域的干扰。

这里主要采用以下几个级联的策略进行剔除：

1.一幅图片的四周区域为无效区域，本文中有效区域为：有效高度为[0.1H0.95H]，有效宽度取[0.03W 0.97W]，处于四周区域的干扰点给予忽略，H为图像高度，W为图像宽度。

2.斑马线的每个分支分灰度值相对高，即每个椭圆的圆心的灰度值在一定的范围，本发明中要求斑马线椭圆圆心的灰度值大于一定参数，为了算法有更好的适应性，该参数选为当前图像均值与方差两个值的和。

3.在一定拍摄角度范围内，斑马线每个分支间的距离固定，即椭圆圆心的距离固定。这里把相近的重复斑马线圆心合并，把距离远的孤立非斑马线圆心点删除。

4.斑马线的形状固定，即长短轴比例变化不大，且相邻的斑马线分支角度相似

步骤7：扩展RANSAC和最小二乘算法相结合进行斑马线检测，步骤6处理后的图片，尽管多数为正确的点，但仍有一部分的错误点。若直接采用最小二乘法进行拟合，该算法会不加挑选的利用所有的数据。即使场景中只有一条斑马线，用最小二乘拟合出的直线存在无法容忍的误差。如果场景中有两条以上的斑马线，直接应用最小二乘去拟合两条斑马线数据，企图得到一条斑马线的拟合参数，结果必然是不正确。

RANSAC是“RANdom SAmple Consensus”的随机抽样一致。此算法可以从一组包含干扰点的数据集中，通过迭代方式估计数学模型的参数。

本发明中RANSAC算法没有采用传统求解欧氏距离模型达到剔除局外点的目的，而是基于斑马线的综合特征提出扩展RANSAC的概念。利用斑马线组的椭圆区域的椭圆圆心、长轴、短轴和倾斜角等特征，构建一个椭圆区域的扩展距离模型，公式如下

ExtendDistance＝D^TW

D＝[D_ecircles D_emajor D_eminor D_eangle]^T

W＝[α β γ θ]^T

上式中ExtendDistence表示扩展RANSAC距离，W为四种距离对应的权值，本发明中扩展距离为四种距离的加权和。ExtendDistence距离越小表示对应此直线模型下的椭圆组的类内相似性越高，斑马线存在的概率越大，ExtendDistence距离越大，表示椭圆组的类内相似性越低，椭圆组的类内杂乱无章，是斑马线的可能性越低。

D_ecircles表示斑马线椭圆组的圆心到直线模型的欧式距离，同理D_emajor表示椭圆长轴的方差，D_eminor表示短轴的方差，D_eangle表示选中的两个椭圆倾斜角度的差。W系数表示相应距离的权重。距离D的计算公式如下：

D_eangle＝abs(A_s1-A_s2)

上式中N为迭代过程中的区域内部椭圆的个数，C_i椭圆圆心的坐标，Y直线模型，C_i-Y(C_i)为该点到直线的距离，Ma_i为椭圆长轴长度，Mi_i为椭圆短轴的长度，A为椭圆长轴的倾斜角度。

本发明中扩展RANSAC算法含有七个需要指定的变量：

用来判定数据是否属于该模型的误差限t，实际中取值t＝100

该模型的迭代次数n，实际中取值为n＝20000

最小满足模型的数据个数k，大于k则意味着找到了正确的数据模型，实际中k＝0.9N，其中N为总点数

扩展距离模型中的4个参数[α β γ θ]^T＝[1 5 5 10]^T

步骤8：对于本发明扩展RANSAC算法的流程如下：

步骤8.1：扩展RANSAC算法迭代开始，在经过步骤7后的图片中随机选择两个椭圆的圆心坐标C_s1和C_s2作为迭代起始点，求出过这两个点的直线Y₀＝mx+n，其中m为此直线模型的斜率，n为直线的截距；

步骤8.2：在8.1步骤求出的直线的两侧一定参数范围t内(本发明此参数t＝100)寻找圆心在此范围内所有椭圆，满足条件椭圆个数为N；

步骤8.3：计算8.2步骤求出满足条件的椭圆的圆心到步骤8.1直线Y₀＝mx+n的距离，公式为

步骤8.4：计算8.2步骤求出满足条件的椭圆长轴的方差，μ_Ma为椭圆长轴的均值，具体公式公式如下：

步骤8.5：计算8.2步骤求出满足条件的椭圆短轴的方差，μ_Mi为椭圆短轴的均值，公式如下：

步骤8.6：计算6.4步骤选择两个椭圆倾斜的角度(长轴与水平线的夹角)的差，对该值再取绝对值，D_eangle＝abs(A_s1-A_s2)；

步骤8.7：把8.3、8.4、8.5和8.6所产生的四个值按照W加权求和，得到本次迭代的扩展距离ExtendDistence；

步骤8.8：如果是第一次迭代，把本次迭代距离直接赋给最优，同时记录此次循环步骤8.3产生直线Y₀的斜率和截距；

如果是第n(n>1)次迭代,如果本次迭代扩展距离ExtendDistence比最优结果小，那么把本次得到扩展距离替换为最优结果，同时记录此次迭代步骤8.3产生直线Y₀斜率和截距；如果本次迭代结果比最优结果要大，不做任何处理；

步骤8.9：跳到步骤8.1循环迭代。迭代的终止条件为到达指定迭代次数，此时记录步骤6.8产生的直线参数；

步骤9：最小二乘法对拟合的直线进行微调

实际由于图片中斑马线圆点不多，间距不是很紧密。而扩展RANSAC算法直线模型必须建立在足够的样本点上；有效椭圆数据较少时，扩展RANSAC算法通过随机迭代，可以找出斑马线分支集中区域，找出有效的椭圆数据点，只能拟合出大致通过斑马线中心的直线。所以考虑在扩展RANSAC结果的基础之上，进一步用最小二乘方法进行校正。在本发明中扩展RANSAC相当于一个粗定位，最小二乘方法起到精细矫作用。具体为利用扩展RANSAC算法预处理出误差相对小的数据，用最小二乘对局内点拟合出最优结果。

步骤9.1：利用步骤8产生直线，在直线的两侧距离t(本发明中t＝20)内，寻找在范围之内椭圆的圆心。

步骤9.2：利用步骤9.1产生的椭圆圆心点，通过最小二乘法重新对这些数据点拟合直线，对步骤8拟合出斑马线进行微调，得到精确定位结果。

步骤10为：根据步骤9确定斑马线的所用到椭圆组，确定出斑马线的长度和宽度

步骤10.1：利用步骤9得出的椭圆组，经过对椭圆组简单的滤波，剔除过大或者过小的非斑马线区域的干扰，寻找出横坐标最小和最大的两个椭圆的圆心；

步骤10.2：步骤10.1产生的两个椭圆，横坐标最小椭圆圆心减去该椭圆的短轴近似作为斑马线左边界；横坐标最大椭圆圆心加上该椭圆的短轴作为椭圆的右边界，斑马线的长度为两个边界的差值；

步骤10.3：利用椭圆的长轴的宽度、椭圆的倾斜角和步骤9产生的直线的斜率，根据几何中的投影定理，可以得到斑马线的纵向宽度。

步骤11：多条斑马线检测方法

如果图片中有多条斑马线，应该首先对椭圆数据进行聚类分析，寻找斑马线所在区域即寻找椭圆集中区域，而扩展RANSAC算法恰好具有聚类的思想，能对斑马线逐条聚类，逐条检测。

步骤10检测完一条斑马线后，剔除该条斑马线所用数据点，跳到步骤7继续执行，直到满足步骤8的椭圆个数少于预设值(本发明中此预设值为5)。

通过实验验证本发明可以克服传统的算法的缺陷，具有摄像头角度变化范围大，斑马线角度变化广，斑马线检测距离远等特点；对于车辆和行人等前景干扰目标的遮挡、光线和角度的变化有很强的适应性，而且可以检测出同一场景多条斑马线。但是本发明还没达到实时处理的水平，后期的工作重点将在算法的速度优化上。

Claims (5)

1.一种基于最大稳定区域和随机采样的斑马线检测方法，具体包括如下步骤：

步骤1：通过交通监控摄像头获取含有斑马线的视频图像；

步骤2：采用短时多帧中值方法对视频图像进行背景提取；

步骤3：对步骤2获得的图像背景进行平滑降噪，去除图像的高频分量；

步骤4：应用最大稳定极限区域算法，提取出图像中相对周围像素存在对比的区域，包括路面的斑马线、箭头、道路边界等；

步骤5：将提取出的每个最大稳定极限区域外接一个拟合椭圆，椭圆的短轴长度为斑马线一个分支的宽度，长轴长度为斑马线一个分支的长度，椭圆长轴倾斜角为斑马线分支的角度；

步骤6：利用级联判别方法剔除部分非斑马线椭圆区，利用RANSAC算法对椭圆的圆心进行拟合，获得一条大致贯穿斑马线的拟合直线；

步骤7：选取拟合直线周围的椭圆圆心，采用最小二乘法再对这些圆心进行拟合，获得一条精确贯穿斑马线的直线，认定该直线穿过的圆心所在的椭圆内的线条为斑马线线条；

步骤8：根据步骤7确定的斑马线线条拟合椭圆确定出斑马线条的长度和宽度。

2.如权利要求1所述的一种基于最大稳定区域和随机采样的斑马线检测方法，其特征在于所述步骤4的具体步骤为：

步骤4.1：应用一组阈值对图像进行图像二值化操作，获得相应的黑色区域和白色区域；

步骤4.2：选取阈值范围内保持形状稳定的区域。

3.如权利要求1所述的一种基于最大稳定区域和随机采样的斑马线检测方法，其特征在于步骤6的具体步骤为：

步骤6.1：剔除拟合椭圆圆心灰度值小于设定阈值的最大稳定极限区域，该阈值通过经验获得；

步骤6.2：若拟合椭圆圆心与其最近的拟合椭圆圆心距离超过Dmax，剔除该拟合椭圆内的最大稳定极限区域，其中Dmax为当前图像中所有椭圆长轴均值的2倍；合并拟合椭圆圆心距离小于Dmin的最大稳定极限区域，再对合并区域进行椭圆拟合，其中Dmin为当前图像所有椭圆长轴均值的0.2倍；

步骤6.3：采用数学排列的方式对所有拟合椭圆圆心进行分组，获得每组内两个圆心的所在直线；

步骤6.4：寻找出两圆心所在直线两侧距离100个单位像素的范围内所有椭圆；

步骤6.5：获得组内两个拟合椭圆倾斜角度的绝对值差，对该绝对值差再取绝对值；获得 步骤6.4得到的椭圆的圆心到步骤6.3直线的欧式距离之和；获得步骤6.4得到的椭圆长轴的方差；获得步骤6.4得到的椭圆短轴的方差；

步骤6.6：将步骤6.5获得所有数据加权求和，最终每组获得一个加权求和值，选择出每个分组获得的最小的加权求和值，该分组两圆心所在直线为大致贯穿斑马线的拟合直线。

4.如权利要求1所述的一种基于最大稳定区域和随机采样的斑马线检测方法，其特征在于步骤7的具体步骤为：

步骤7.1：利用步骤6产生直线，此直线两侧范围内的椭圆基本为所求的斑马线分支，在直线的两侧距离20个单位像素内，寻找在范围之内椭圆的圆心；

步骤7.2：利用步骤7.1产生的椭圆圆心点，通过最小二乘法重新对定位的直线进行微调，得到精确定位结果。

5.如权利要求1所述的一种基于最大稳定区域和随机采样的斑马线检测方法，其特征在于步骤8的具体步骤为：

步骤8.1：利用步骤7获得的直线，该直线穿过的多个椭圆，找出横坐标最小和最大的两个椭圆的圆心，认为这两个椭圆中的斑马线为第一条或最后一条斑马线条，从而获得斑马线的长度；

步骤8.2：利用椭圆的长轴的宽度、椭圆的倾斜角和步骤7产生的直线的斜率获得斑马线的宽度。