CN103914688B - 一种城市道路障碍物识别系统 - Google Patents

Abstract

本发明公开了一种城市道路交通障碍物跟踪检测方法，涉及图像预处理、前景图像提取、道路区域检测、多目标跟踪、障碍物初步检测、道路交通安全威胁分析等部分。图像预处理部分通过减少图像中的噪声，增强图像对比度从而提高图像后续处理的可靠性；前景图像提取用于目标检测；道路区域检测用来判断障碍物所处位置，利用八邻域种子灰度填充算法得到道路区域；通过均值偏移算法结合最近邻域搜索算法进行多目标跟踪；通过检测目标位置的变化来判断障碍物；分析障碍物上游车辆状态来判断障碍物是否对交通安全造成威胁并进行报警。本发明实现利用固定图像传感器对城市道路交通障碍物的自动检测，可以预防交通事故的发生。

Description

一种城市道路障碍物识别系统

技术领域

本发明涉及城市道路交通障碍物检测领域，特别是提供一种城市道路障碍物识别系统。

背景技术

城市交通问题是本世纪以来，工业发达国家一直为之困扰的问题。进入80年代以来，我国城市的经济贸易和社会活动日益繁忙，车辆和交通流量发生了前所未有的迅速增长，传统的道路交通设施已经不能适应现代社会的需要。当前，我国城市特别是大城市的交通问题极其严重，交通事故数量自改革开放以来呈不断上升趋势。2010年，全国共接报道路交通事故3906164起，同比上升35.9％。其中，涉及人员伤亡的道路交通事故219521起，造成65225人死亡、254075人受伤，直接财产损失9.3亿元。交通安全问题已经成为当今世界上一个严重的社会问题，众多的专家学者都在研究如何减少交通事故，保障道路交通安全[1]。

智能交通系统(ITS)是将先进的信息技术、数据通信传输技术、电子传感技术、电子控制技术以及计算机处理技术等有效的集成，运用于整个地面运输管理体系，而建立起的一种在大范围、全方位发挥作用的，实时、准确、高效的综合运输和管理系统[2]。它能使人、车、路以及环境密切配合，和谐统一，极大地提高综合交通运输效率，保障交通安全。智能交通系统可以为交通部门及时、准确地提供交通信息，从而使交通管理控制系统有效地适应各种交通状况，运用多种控制系统，在相对宏观的高度合理疏导或者调配运力，从而最大效能地发挥交通管理系统在交通监视、交通控制、出入控制、救援管理等方面的准确性和调控性。

20世纪90年代以来，随着地面运输整体式解决方案——ITS的蓬勃发展，基于视频的交通事件检测系统进入了一个崭新的阶段。如何利用先进的交通事件检测系统精确检测并检测道路中停止车辆(包括非法停车与事故车辆)和遗撒物等可能阻碍交通运行的障碍物，并及时通知管理部门进行处理调度，使公路始终处于畅通、安全的状态一直是世界各国交通工程师努力研究和实践的一大课题。

随着经济的发展和交通运输业的不断进步，我国道路交通安全状况也越来越严峻。自改革开放以来，道路交通虽有了长足的发展，但交通事故也更加严重。尤其是交通障碍物给交通安全带来的威胁。

道路障碍物不仅给通行车辆和司乘人员造成了生命财产损失，影响了道路的通畅，而且给道路运营管理单位带来了经济损失和诉讼纠纷，给道路的管理和维护带来了麻烦。快速的检测出障碍物至关重要，有助于保证车辆运行的通畅以及及时的反馈通知交通管理部门，提高交管部门及时处理交通事故的效率。

城市复杂道路环境下的障碍物检测与检测是有效预防交通事故的交通管理系统的第一步，也是其核心和关键，高效、可靠的障碍物检测技术已成为现代ITS研究的新热点。城市道路交通障碍物检测系统是智能交通系统中的重要的基础子系统之一。城市道路交通障碍物检测系统通过检测检测障碍物并且分析其对交通安全造成的影响，并通过网络向交通部门进行报警或者交通显示屏向出行者发布，从而实现整个交通系统中及时的检测影响交通安全的障碍物，提高路网的通行能力，降低交通事故发生率，减少因交通事故带来的经济损失。目前障碍物检测方法在国内外发达国家和地区有一定的研究，主要针对高速公路或城市道路十字交叉口，并没有考虑行人等干扰因素，且大多数都是研究停止车辆(非法停车或交通事故)的检测，对遗撒物的自动检测研究较少。国外在道路障碍物检测方面的研究比较早、比较成熟，已开发出许多实际应用的产品，均能实现非法停车和遗撒物的检测，并且在高速公路背景下能取得很高的检测精度。但目前国外针对场景更复杂的城市道路障碍物检测方面的研究还不够成熟，没有考虑城市道路中行人等非机动车辆的干扰及前后机动车间的干扰；对具有多态性的遗撒物的检测研究成果仍较少，没有研究停止车辆和遗撒物的分类检测。而且也并没有结合中国的道路交通环境特点，尤其是北京等发达城市，拥有大量的用于监控的固定CCD图像传感器，充分利用这些传感器的优势，既节省成本，又能提高交通的智能化和安全性。因此，城市道路交通障碍物检测方法仍是需要深入研究的热点方向。

已公开的中国发明专利CN200710075458.3提出一种通过停车检测来实现车辆交通事故自动检测方法，没有对障碍物对交通安全造成的影响进行分析研究，也并未对行人进行排除，对检测到的障碍物进行停止车辆与遗撒物的分类，所以系统的可靠性不高、检测环节有很多不完善的地方。

发明内容

有鉴于此，本发明目的在于提供了一种可靠性、完善性均较高的城市道路交通障碍物检测系统。

为了达到目的，本发明提出的技术方案为：

一种城市道路交通障碍物检测系统，基于城市道路交通固定CCD图像检测器，其特征在于，所描述检测方法包括以下步骤：

步骤S1、通过固定CCD图像传感器获取城市道路交通视频图像序列；

步骤S2、采用改进的混合高斯背景建模方法建立背景，提取出运动目标前景图像；

步骤S3、利用步骤二中得到的背景图像提取道路区域；

步骤S4、对每个目标块建立meanshift跟踪窗，并且赋予唯一的ID，进行基于跟踪链表的多车辆跟踪；

步骤S5、通过动态特征，静态特征提出几何约束障碍物检测方法对障碍物进行检测；

步骤S6、通过车辆运行轨迹的变化分析障碍物对交通安全造成的影响；

步骤S7、对可能造成交通事故的障碍物通过特征进行分类检测并且报警。

综上所述，本发明利用改进的混合高斯背景建模方法建立背景，能够很好地适应背景的动态变化，抗干扰性强；进行多目标跟踪，计算每个目标的一定时间内的位置变化来判断是否为障碍物；然后判断其是否处于道路中央，是的话进行下一步处理；通过分析车道内车辆交通轨迹的变化以及车速变化来研究其对道路交通安全造成的影响。本发明的成果所具有的特性能够为向交通管理部门报警提供参考，为出行者的出行提供安全指示与保障，同时为交通管理部门制定策略提供帮助。对于提升我国在城市道路交通障碍物检测领域的研究和应用水平，具有重要的理论意义，对于解决我国城市道路的交通拥挤，具有重要的现实意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种城市道路交通障碍物检测系统结构框图。

图2是道路区域提取示意图。

图3是多目标跟踪示意图。

图4是障碍物位置变化检测示意图。

图5是障碍物威胁模型建立示意图。

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围

图1本发明一种城市道路交通障碍物检测系统结构框图，如图1所示，本发明所示一种城市道路交通障碍物检测，基于城市道路交通固定CCD图像检测器。包括如下步骤：

步骤S1、通过固定CCD图像传感器获取城市道路交通视频图像序列；

步骤S2、采用改进的混合高斯背景建模方法建立背景，提取出运动目标前景图像；

步骤S3、利用步骤二中得到的背景图像提取道路区域；

步骤S4、对每个目标块建立meanshift跟踪窗，并且赋予唯一的ID号，进行基于跟踪链表的多车辆跟踪；

步骤S5、通过动态特征，静态特征提出几何约束障碍物检测方法对障碍物进行检测；

步骤S6、通过车辆运行轨迹的变化分析障碍物对交通安全造成的影响；

步骤S7、对障碍物进行分类检测并且报警。

步骤S11通过固定CCD图像传感器，获取道路交通视频图像，并对视频图像做中值滤波处理，消除图像的干扰噪声；

步骤S2中，进行混合高斯背景提取，并且提取前景目标，具体步骤如下：

步骤S21建立混合高斯分布模型，进行背景的实时更新；

步骤S22将原视频图像与背景图像相减，通过Otsu自动阈值的获取进行前景目标分离；

具体做法：

基本原理如下：设图像灰度级1～M，第i级像素n_i个，总像素则第i级灰度出现的概率为P_i＝n_i/N。设灰度门限值为k，则图像像素按灰度级被分为前景目标C₀＝{1,2,…,k}和背景C₁＝{k+1,…,M}两类。

前景目标部分比例为

背景部分比例为

ω₁＝1-ω(k)

前景目标平均灰度级为

背景平均灰度级为

μ′＝μ_T-μ(k)

前景目标均值为

μ₀＝μ(k)/ω(k)

背景均值为

μ₁＝[μ_T-μ(k)]/[1-ω(k)]

总均值为

μ_T＝ω₀μ₀+ω₁μ₁

类间方差为

对于图像中的目标类和背景类，将每个像素与相应类中心μ_i的方差D(k)定义为类的分散度。每个类的分散度越小，即其内聚性越强，则分类效果越好。其公式表示如下：

为获得准确的分类效果，本文综合考虑C₀和C₁两类之间的方差和各自类的内聚性，即应使得最大且D₀(k)、D₁(k)最小。因此，本文定义最佳阈值为：

另外，当交通场景中没有出现目标时，Otsu阈值会很低，此时分割出来的二值图像会出现大块白色区域，将背景误判为目标。因此做出改进，在阈值Threshold低于20时，令Threshold＝20。

步骤S23对得到的目标进行干扰消除，通过腐蚀膨胀消除干扰的小图像块，然后进行连通域标定对目标块进行填充得到相对完整的前景目标；

图2为道路区域提取示意图，如图2所示，步骤S3中，通过基于混合高斯分布模型得到的背景图像提取道路区域，其具体步骤如下：

步骤S31在背景图像正中选取一个点，选取此点的灰度值；

步骤S32判断种子点上下左右相隔十个像素点处的灰度值与种子点灰度值相比，若都相差在3之内，将此点作为种子点；否则重新选取种子点；

步骤S33步骤S32中得到种子点后，取其灰度值，通过八邻域种子灰度填充算法填充道路区域；

具体做法：

具体方法为首先选取高斯背景建模得到的背景图像中道路中央一点作为种子点，取其灰度值作为参考值，并且从周围八个方向开始遍历像素点，设定阈值，灰度值大于小于参考值一定范围内的点将其灰度值置为255，不满足的点保持不变。一般道路边缘灰度值会明显发生变化，与道路区域相差比较大，所以遍历到道路边缘即停止，保持原来的灰度值，填充完之后，道路区域则为全白，其他区域保持原来灰度值的图像.

步骤S34将道路区域全置为灰度值255，其余区域置为0。得到初步的道路区域；

具体做法：

然后再遍历此幅图像，灰度值在255到一定值(200)之间的像素点将其设置为255，其他点的灰度值设置为0，并且对得到的图像进行轮廓检测并且用白色进行填充，这样形成一幅道路区域为全白，其他区域全黑的图像。

步骤S35对步骤S34得到的道路区域进行轮廓填充，得到最终的道路区域，作为判断障碍物是否在道路区域的模板。

图3为多目标跟踪示意图，如图3所示，步骤S4中，对检测到的每个目标块分别建立跟踪链表进行多目标跟踪，其具体步骤如下：

步骤S41将检测到的每个目标创建为块，并且赋予其ID号，建立跟踪链表；

步骤S42并用meanshift进行跟踪，当有遮挡发生时，利用kalman滤波算法对目标位置进行预测，作为下一帧跟踪的输入值；

步骤S43利用最近邻域判断法在一帧找到上一帧中相同的目标，并且增加到对应目标的跟踪链表。

图4为障碍物位置变化检测示意图，如图4所示，步骤S5中，检测每个目标块的位置变化，其具体步骤如下：

步骤S53通过步骤S4得到每个目标块的质心坐标，每隔一段时间比较同一目标块的质心变化，当其质心变化几乎为零时，初步判断其为静止的障碍物；

具体做法：这里跟踪每帧图像中同一个目标的位置，检测一段时间内此目标的位置变化，若几乎不变，则初步判断此目标位遗撒物。假设一个目标为I_k，t时刻它的质心坐标为C_t(x,y)，若l时刻之后它的质心坐标变为C_t+l(x,y)，变化大于T，一般T取10到20，表明目标是运动的，不标记，若质心变化小于T几乎为零时(考虑前景目标提取二值化图像微变化的影响)，初步判定其为障碍物。然后取其质心值，判断所处位置是否在道路区域，若在道路区域中，则记录其质心坐标，并且在视频图像中标记出来。

标记为1的目标初步判定为障碍物，标记为0的目标位运动目标。

步骤S54判断检测到的静止障碍物质心是否在道路区域，如果是进一步研究其对交通的影响，若不在道路区域可以忽略其影响。

具体做法是当通过检测目标质心位置变化初步判定出障碍物后，取障碍物质心坐标以及上下左右相距5个像素点的坐标，利用这五个坐标值在道路区域模板图像中相同位置取像素点的值，当有大于3个像素点的灰度值为255，判断此目标在道路区域中。

图5为障碍物威胁模型建立示意图，如图5所示，步骤S6中，通过分析车辆轨迹的变化以及运行速度来研究障碍物对交通安全造成的影响，其具体步骤如下：

步骤S61当步骤S4检测到道路区域有静止障碍物时，记录其上游车辆运行的轨迹变化；

具体方法为每隔10帧计算当前帧中目标质心与对应的目标第一个保存的质心连线的斜率值；对同一目标计算得到的斜率值进行排序，找出变化最大的斜率值；将上一步骤得到的变化最大的斜率值与设定的阈值进行比较，当大于阈值，判断车辆遇到障碍物后改变了行驶方向，说明障碍物影响了交通安全。运动方向变化判别参数计算公式为

其中，是道路安全威胁判别参数，D_L，D_H是满足条件的最低、最高阈值，ΔD是当前车辆目标的方向变化值，表示可以检测到第一帧运动车辆的质心，表示m个十帧之后运动车辆的质心，表示均一化的值，满足条件时其值范围在0～1之间，不满足条件时，值为零。

步骤S62检测附近车辆速度的变化；

具体做法是计算每隔10帧目标质心位置的相对距离，因为时间间隔相同，所以距离的大小即代表车辆速度的大小，比较距离的大小得到车辆速度的大小变化。速度变化判别参数的计算公式为

其中，是道路安全威胁判别参数，V_L，V_H是满足条件的最低、最高阈值，ΔV是当前车辆目标的速度变化值。分别表示当前帧、上十帧运动车辆在x方向上的质心。分别表示当前帧、上十帧运动车辆在y方向上的质心。因为时间为固定，所以用距离变化来衡量速度大小的变化。表示均一化的值，满足条件时其值的范围在0～1之间，不满足条件时，值为零。

步骤S63结合轨迹变化以及速度变化来分析障碍物对交通安全造成的影响。

步骤S7中，通过利用Zeinike矩对障碍物进行分类，区别车辆与遗撒物，其具体步骤如下：

步骤S71建立用于车辆检测的车辆二值图样本库；

步骤S72分别提取其Zernike矩并且保存为数组组成检测库；

步骤S73对实际检测到障碍物，取其最小外界矩形二值图区域，同样提取其Zernike矩与检测库中的样本值匹配，满足一定匹配度，则判断此障碍物为车辆，否则为遗撒物；

步骤S74进行报警。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种城市道路障碍物识别系统，其特征在于：该系统基于城市道路交通固定图像检测器，检测城市道路区域出现的障碍物，包括遗撒物以及道路内停止车辆，所述识别系统包括以下步骤：

步骤S1、通过固定图像传感器获取城市道路交通视频图像序列；

步骤S2、采用改进的混合高斯背景建模方法建立背景，提取出运动目标前景图像；

步骤S3、利用步骤S2中得到的背景图像提取道路区域；

步骤S4、对每个目标块建立meanshift跟踪窗，并且赋予唯一的ID号，进行基于跟踪链表的多车辆跟踪；

步骤S5、通过动态特征，静态特征提出几何约束障碍物检测方法对障碍物进行检测；

步骤S6、通过车辆运行轨迹的变化分析障碍物对交通安全造成的影响；

步骤S7、对障碍物进行分类识别并且报警；

所述步骤S3中，通过基于混合高斯分布模型得到的背景图像提取道路区域，包括以下步骤：

步骤S31：在背景图像正中选取一个点，选取此点的灰度值；

步骤S32：判断种子点上下左右相隔十个像素点处的灰度值与种子点灰度值相比，若都相差在3之内，将此种子点作为种子点；否则重新选取种子点；

步骤S33：步骤S32中得到种子点后，取其灰度值，通过八邻域种子灰度填充算法填充道路区域；

步骤S34：将道路区域全置为灰度值255，其余区域置为0，得到初步的道路区域；

步骤S35：对步骤S34得到的道路区域进行轮廓填充，得到最终的道路区域。

2.根据权利要求1所述的一种城市道路障碍物识别系统，其特征在于：所述步骤S1中获取城市视频图像序列是通过单一固定CCD摄像机获得城市交通道路的监控视频图像。

3.根据权利要求1所述的一种城市道路障碍物识别系统，其特征在于：所述步骤S2中，采用基于改进的混合高斯分布模型提取前景图像包含以下步骤：

步骤S21：基于混合高斯分布模型实时更新得到背景图像与前景图像1；

步骤S22：将原图像与背景图像相减，利用自适应阈值分割方法得到初步的前景图像2；

步骤S23：将前景图像1与前景图像2做与，利用数学形态学的开运算去除小面积的非运动车辆目标：

步骤S24：利用轮廓投影分析与形状分析结合去除阴影；

步骤S25：基于腐蚀和膨胀运算的四连通区域车辆轮廓提取算法，并且进行轮廓内部区域填充；

步骤S26：通过计算轮廓内部区域面积，排除非运动车辆以及不可能是障碍物的的干扰块。

4.根据权利要求1所述的一种城市道路障碍物识别系统，其特征在于：步骤S4中，对每个目标块建立meanshift跟踪窗，进行基于跟踪链表的多车辆跟踪包括以下步骤：

步骤S41：为了实现多目标同时跟踪，为每个车辆分别建立一个跟踪链表；

步骤S42：利用步骤S2得到的前景目标，利用其质心位置与颜色作为meanshift跟踪时的特征；

步骤S43：使用meanshift算法对每帧中得到的每个运动目标进行跟踪，赋予唯一的ID号，并且将同一目标的位置信息面积信息保存到相应的跟踪链表中；

步骤S44：添加新的目标对象并更新当前跟踪队列，为新加的目标添加唯一的ID号，为其建立meanshift跟踪链表，对于消失的目标删除其跟踪链表。

5.根据权利要求1所述的一种城市道路障碍物识别系统，其特征在于：步骤S5中，计算每个目标块一定时间内的位置变化，判断障碍物，包括以下步骤：

步骤S51：利用步骤S4meanshift跟踪目标，提取并且保存每帧图像中每个目标的质心坐标；

步骤S52：每隔一定时间按照查找ID号找到同一目标的质心坐标值；

步骤S53：通过比较目标位置的变化来判断图像中是否出现静止的目标；

步骤S54：上一步若判断出有，进一步检测其质心的位置，若在道路区域中，则初步判定为障碍物，进一步判断障碍物对交通安全的影响。

6.根据权利要求1所述的一种城市道路障碍物识别系统，其特征在于：步骤S6中，分析障碍物对交通安全造成的影响，包括以下步骤：

步骤S61：根据步骤S33，将每个目标块的坐标值按照视频图像的先后顺序保存成一个序列；

步骤S62：每隔10帧计算当前帧中目标质心与对应的目标第一个保存的质心连线的斜率值；

步骤S63：对同一目标计算得到的斜率值进行排序，找出变化最大的斜率值；

步骤S64：将上一步骤得到的变化最大的斜率值与设定的阈值进行比较，当大于阈值，判断车辆遇到障碍物后改变了行驶方向，说明障碍物影响了交通安全。

7.根据权利要求1所述的城市道路障碍物识别系统，其特征在于：步骤S7中，对检测到的障碍物进行识别分类，包括以下步骤：

步骤S71：建立用于车辆识别的车辆二值图样本库；

步骤S72：分别提取其Zernike矩并且保存为数组组成识别库；

步骤S73：对实际检测到障碍物，取其最小外界矩形二值图区域，同样提取其Zernike矩与识别库中的样本值匹配，满足一定匹配度，则判断此障碍物为车辆，否则为遗撒物；

步骤S74：进行报警。