CN106940784A - 一种基于视频的公交车检测与识别方法及系统 - Google Patents

Abstract

本发明涉及视频检测方法，更具体地，涉及一种基于视频的公交车检测与识别方法及系统。所述方法包括：对采集的视频序列中的运动前景进行检测，标记运动的区域；利用分类器对前景中标记的运动区域进行识别，将公交车、大客车车辆与其他类型车辆进行分类；将分类器分类得到的公交车、大客车车辆分类结果进行车窗定位；通过车窗的颜色特征对公交车、大客车车辆进行识别得到公交车识别结果。本发明对在混合交通道路中车窗区域有区别的公交车和大客车车辆进行检测和分类，通过车窗定位和车窗区域颜色特征区分混合交通道路上的公交车和大客车车辆，实现公交车的视频检测，具有较高的实用性。

Description

一种基于视频的公交车检测与识别方法及系统

技术领域

本发明涉及视频检测方法，更具体地，涉及一种基于视频的公交车检测与识别方法及系统。

背景技术

公共交通成为人们日常出行的主要方式，在各个城市的客运交通中，公共交通占据重要地位，优先发展公共交通对缓解道路交通拥挤、提高道路利用率、节省能源和加快城市发展具有重要意义。“公交优先”是实现公共交通事业优先发展的重要一步，对智能交通系统的发展起着重要作用。

公交车由于具有固定的站台便于人们寻找、固定的时间点发车、线路明确机动灵活、乘车费用廉价等特点，成为大多数人出行的首选交通工具，而公交车辆检测技术是实现公交优先的重要技术。近年来，电子信息技术、图像处理技术、计算机视觉和计算机性能的增强与发展较为迅速，使得基于视频的车辆检测技术得以实现，从而能够更多的运用于智能交通系统中。

基于视频的公交车辆检测技术就是从视频序列中将公交车辆与其它车型的车辆进行分类，公交车辆和小汽车、两轮车、货车这三种车型的区别较为明显，使用分类器检测能较好地区分小汽车、两轮车、货车这三种非目标车辆，但是要区分公交车辆和大客车车辆这两种颇为相似的车型，分类器很难取得满意的效果。

关于公交车辆视频检测与识别的方法，目前只有少数论文和专利中有涉及，如题为《基于视频的公交车辆检测技术研究》的学术论文、题为《基于几何与颜色特征的公交车辆视频检测》期刊以及专利号为201210337115、专利名称为一种公交车车型识别方法的专利。

论文《基于视频的公交车辆检测技术研究》所述具体内容如下：使用单高斯模型从视频中捕获前景中运动的车辆；对获得的前景二值图进行区域填充，区域填充包括：形态学处理、轮廓检测、图像置零、轮廓内像素填充；计算前景二值图中面积比符合公交车辆的运动车辆，以区分小汽车等非目标车辆；采用LSD 直线检测法和亮度曲线的分布情况来判断前景中的车辆是否为公交车辆。此方案使用LSD宽度检测，在车窗区域亮度曲线中计算车窗高度的方法来检测公交车辆，这种方法对区分宽度接近的大客车和公交车辆很难达到理想效果，而且文中没有涉及怎样通过亮度变化来区分公交车辆和大客车。

论文《基于几何与颜色特征的公交车辆视频检测》则是使用直线检测和车牌黄色像素个数阈值相结合的方法，对公交车站的公交车进行检测。该方案由于基于车牌黄色像素进行公交车识别，但是混合交通道路上和公交车车型相近似的大客车也同样具备黄色车牌，故该方案针对于公交车站的公交车辆的识别较为实用，对混合交通道路上的公交车辆识别，则很难达到理想效果。

201210337115专利则是采用3D模式和LSD特征线段相结合的方式识别出公交车。该专利方案同样未能很好地对公交车和大客车进行区别。

可见，由于大客车车辆和公交车辆极为相似，它们具有接近的宽度、长度和面积比、丰富的直线信息，以及都具有黄色的车牌信息，想要通过车牌检测和面积比、直线等几何方法来区分大客车车辆与公交车辆，很难取得良好效果，这些方法很难运用到混合交通道路上。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种在混合交通道路上识别出公交车的基于视频的公交车检测与识别方法。

本发明还提供一种基于视频的公交车检测与识别系统。

为解决上述技术问题，本发明的技术方案如下：

一种基于视频的公交车检测与识别方法，包括：

对采集的视频序列中的运动前景进行检测，标记运动的区域；

利用分类器对前景中标记的运动区域进行识别，将公交车、大客车车辆与其他类型车辆进行分类；

将分类器分类得到的公交车、大客车车辆分类结果进行车窗定位；

通过车窗的颜色特征对公交车、大客车车辆进行识别得到公交车识别结果。

本发明对在混合交通道路中车窗区域有区别的公交车和大客车车辆进行检测和分类，通过车窗定位和车窗区域颜色特征区分混合交通道路上的公交车和大客车车辆，实现公交车的视频检测，具有较高的实用性。

上述方案中，对采集的视频序列中的运动前景进行检测，标记运动的区域的具体步骤为：

对采集的视频序列进行预处理；

对预处理后的视频序列分别采用三帧差分法和混合高斯法获取运动的前景图像，记为M和N；

对前景图像M进行形态学膨胀操作得到图像M₁；

对前景图像N进行去阴影处理得到N₁；

对N₁进行二值化处理得到混合高斯模型前景图N₂；

将N₂和M₁进行逻辑与操作得到运动前景图像W；

对前景图像W进行连通域处理得到标记运动的区域。

三帧差分法和混合高斯法相结合来提取运动车辆，能够有效地抑制噪声和光照变化。

上述方案中，利用分类器对前景中标记的运动区域进行识别，将公交车、大客车车辆与其他类型车辆进行分类的具体步骤为：

分类器形成步骤，基于Adaboost算法原理，通过图像的Haar特征对正负样本进行训练得到级联分类器，其中正样本中包括了公交车、大客车车辆图像，负样本图像中不包括公交车、大客车车辆；

预分类步骤，利用级联分类器对前景中标记的运动区域进行检测得到公交车、大客车车辆的分类结果。

分类器的检测是在运动前景检测的窗口上进行的，即对运动前景检测标记出的车辆进行检测，这样检测的优点是分类器不需要对整个当前帧图像进行检测，只需要对运动的区域进行遍历检测，提高整个检测过程的效率。

上述方案中，将分类器分类得到的公交车、大客车车辆分类结果进行车窗定位的具体步骤包括：

将公交车、大客车车辆分类结果进行边缘检测；

对边缘检测结果进行二值化处理后再进行形态学腐蚀操作；

对形态学腐蚀操作结果通过连通域标记定位到车窗位置。

上述方案中，通过车窗的颜色特征对公交车、大客车车辆进行识别得到公交车识别结果的具体步骤为：

已经进行车窗定位后的图像进行HSV颜色空间转换；

确定特征颜色像素在HSV空间内的范围，遍历车窗区域的所有像素，找出该特征颜色的像素点，并统计得到车窗区域的总像素点数和特征颜色的像素点数；

将该特征颜色的像素点数与车窗区域的总像素点数作比，将比率与预设比率阈值进行比较，若比率大于或者等于比率阈值则判断车窗区域所对应的车辆为公交车，否则判断车窗区域所对应的车辆为非公交车。

对比公交车辆和大客车车辆的各自特征，公交车辆的前后车窗均有某种特定颜色(国内以红色或绿色为主)的车标信息，这些车标信息主要用于标示本公交车的公交线路等信息，而其他大客车的这种特征颜色信息明显更少，因此，考虑对车窗的特征颜色数量进行统计并比较，从而识别出公交车辆。

上述方案中，所述比率阈值通过如下方式确定：

采集城市公交系统中的各线路公交车前后车窗图片序列，统计出图片序列中每辆公交车车窗的总像素点数N_sum(i)和特征颜色的像素点数N_red(i)，获得每辆公交车辆车窗特征颜色像素比率r(i)＝N_red(i)/N_sum(i)，取其最小值r_min＝min(r(i))作为比率阈值。

一种基于视频的公交车检测与识别系统，包括：

运动区域标记模块，用于对采集的视频序列中的运动前景进行检测，标记运动的区域；

预分类模块，用于利用分类器对前景中标记的运动区域进行识别，将公交车、大客车车辆与其他类型车辆进行分类；

车窗定位模块，用于将分类器分类得到的公交车、大客车车辆分类结果进行车窗定位；

识别模块，用于通过车窗的颜色特征对公交车、大客车车辆进行识别得到公交车识别结果。

本发明对在混合交通道路中车窗区域有区别的公交车和大客车车辆进行检测和分类，通过车窗定位模块的车窗定位和识别模块的车窗区域颜色特征来区分混合交通道路上的公交车和大客车车辆，实现公交车的视频检测，具有较高的实用性。

上述方案中，运动标记模块具体包括：

预处理模块，用于对采集的视频序列进行预处理；

前景图像获取模块，用于对预处理后的视频序列分别采用三帧差分法和混合高斯法获取运动的前景图像，记为M和N；

去空洞模块，用于对前景图像M进行形态学膨胀操作得到图像M₁；

去阴影模块，用于对前景图像N进行去阴影处理得到N₁；

二值化处理模块，用于对N₁进行二值化处理得到混合高斯模型前景图N₂；

与操作模块，用于将N₂和M₁进行逻辑与操作得到运动前景图像W；

连通域处理模块，用于对前景图像W进行连通域处理得到标记运动的区域。

前景图像获取模块通过三帧差分法和混合高斯法相结合来提取运动车辆，能够有效地抑制噪声和光照变化。

上述方案中，车窗定位模块包括：

边缘检测模块，用于将公交车、大客车车辆分类结果进行边缘检测；

腐蚀操作模块，用于对边缘检测结果进行二值化处理后再进行形态学腐蚀操作；

定位模块，用于对形态学腐蚀操作结果通过连通域标记定位到车窗位置。

上述方案中，识别模块包括：

空间转换模块，用于对已经进行车窗定位后的图像进行HSV颜色空间转换；

像素点获取模块，用于确定特征颜色像素在HSV空间内的范围，遍历车窗区域的所有像素，找出该特征颜色的像素点，并统计得到车窗区域的总像素点数和特征颜色的像素点数；

判断模块，用于将该特征颜色的像素点数与车窗区域的总像素点数作比，将比率与预设比率阈值进行比较，若比率大于或者等于比率阈值则判断车窗区域所对应的车辆为公交车，否则判断车窗区域所对应的车辆为非公交车。

与现有技术相比，本发明技术方案的有益效果是：

本发明首先针对前景提取提出一种组合前景法，有效地抑制背景的噪声，完整地展现运动的前景区域，针对大客车车辆和公交车辆车窗区域特征颜色的区别，设计了一种基于车窗定位和车窗区域特征颜色所占比率的方法来区分混合交通道路上的公交车辆和大客车车辆，能够在混合交通道路上实现公交车辆的视频检测，具有较高的实用性。

附图说明

图1为本发明一种基于视频的公交车检测与识别方法具体实施例的流程图。

图2为本发明中混合高斯前景图的处理流程图，其中(a)表示混合搞死模型前景图，(b)表示高斯模型二值图，(c)表示去阴影高斯模型二值图。

图3为本发明中公交车和大客车的车窗特征对比图。

图4为本发明一种基于视频的公交车检测与识别方法具体实施例的Sobel边缘检测结果图。

图5为本发明一种基于视频的公交车检测与识别方法具体实施例中HSV空间公交车车窗红色像素提取效果图。

图6为图5中公交车红色像素个数统计结果图。

图7为本发明一种基于视频的公交车检测与识别方法具体实施例中HSV空间大客车车窗红色像素提取效果和红色像素个数统计结果示意图一。

图8为本发明一种基于视频的公交车检测与识别方法具体实施例中HSV空间大客车车窗红色像素提取效果和红色像素个数统计结果示意图二。

图9为本发明一种基于视频的公交车检测与识别方法具体实施例对视频序列中的公交车进行检测和识别的结果图。

图10为本发明一种基于视频的公交车检测与识别系统具体实施例的架构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

在本发明的描述中，需要理解的是，此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接连接，可以说两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，为本发明一种基于视频的公交车检测与识别方法具体实施例的流程图。参见图1，本具体实施例一种基于视频的公交车检测和识别方法的具体步骤包括：

S1.对采集的视频序列中的运动前景进行检测，标记运动的区域；

在本具体实施例中，采用三帧差分法和混合高斯法相结合的方式提取运动车辆，具体的：

S11.对采集的视频序列进行预处理；在本具体实施例中该预处理为中值滤波处理，去除视频图像中的噪声带来的干扰。

S12.对预处理后的视频序列分别采用三帧差分法和混合高斯法获取运动的前景图像，记为M和N。

S11.对前景图像M进行形态学膨胀操作得到图像M₁，此操作可以最大程度地消除其中的空洞。

S11.对前景图像N进行去阴影处理得到N₁；如图2(a)所示，由于混合高斯模型获得的前景图是带有阴影的二值掩码图像，不能够直接进行分析。因此如图2(b)所示，可以采用如阈值法的去阴影方法对混合高斯模型的结果N进行去阴影处理，得到N₁，如图2(c)所示。

S11.对N₁进行二值化处理得到混合高斯模型前景图N₂；具体操作时二值化处理时选择合适的阈值D进行。

S11.将N₂和M₁进行逻辑与操作得到运动前景图像W；

S11.对前景图像W进行连通域处理得到标记运动的区域。

运用公交车辆、大客车车辆的面积和长与宽的比值相对其他类型车辆大的特点，对前景图像W进行连通域处理，标记运动的感兴趣区域。运动车辆预检测并不能准确检测运动目标，只能确定目标的大致区域，供分类器进行具体的检测。

S2.利用分类器对前景中标记的运动区域进行识别，将公交车、大客车车辆与其他类型车辆进行分类，其具体步骤包括：

S21.分类器形成步骤，基于Adaboost算法原理，通过图像的Haar特征对正负样本进行训练得到级联分类器，其中正样本中包括了公交车、大客车车辆图像，负样本图像中不包括公交车、大客车车辆；

S22.预分类步骤，利用级联分类器对前景中标记的运动区域进行检测得到公交车、大客车车辆的分类结果。

具体实现时，本具体实施例使用的分类器是基于Adaboost算法原理，通过图像的Haar特征训练出一个20级的级联分类器对前景中标记的运动区域进行检测。其中训练的正样本图像包括公交车辆和大客车车辆，图像可以统一规划为 45x45大小的图片，并采用灰度直方图均衡化以降低样本亮度，最后获得正样本的数量为4213张，负样本是不包括公交车辆和大客车车辆的其他图像，主要来自视频中的背景及网络数据库，共7986张，并创建正样本描述文件train.txt，负样本描述文件neg.txt。分类器训练过程具体如下：

(1)使用opencv中的createsamples程序创建正样本的“pos.vec”文件，

＝″..\\Bin\\opencv_createsamples.exe

-vec pos.vec

-info train\\train.txt

-bg neg\\neg.txt

-w 45

-h 45

-num 4213″；

内容包括正负样本图片所在的文件夹名、正样本的宽度和高度及数目，生成的“.vec”文件包含了正样本所有的基本信息。

(2)使用opencv的trainsample进行训练，使用Haar特征训练，部分训练参数描述为：

每一个分类器训练阶段的正样本数目为4213、负样本为7986；

训练弱分类器的级数：20；

每一阶段分类器最小命中率：99.5％；

每一阶段分类器最大误警率：50％；

正样本尺寸大小：45x45；

使用垂直和45°旋转特征进行训练；

分类器完成训练之后会得到一系列的“.xml”文件，其中有从“stage0.xml”到“stage19.xml”表示的是总共20级的强分类器，最后将该分类器作为公交车辆检测实验的文件是“cascade.xml”。

分类器的检测是在运动前景检测的窗口上进行的，即对运动前景检测标记出的车辆进行检测，这样检测的优点是分类器不需要对整个当前帧图像进行检测，只需要对运动的区域进行遍历检测，检测时首先要对前景检测的窗口进行放大，有利于分类器的遍历检测。

S3.将分类器分类得到的公交车、大客车车辆分类结果进行车窗定位。

运动前景和分类器的检测方法，基本上能够识别出与公交车辆形态相似的车辆，如公交车辆、大客车(如旅游客车、企事业单位和部门的内部大客车)，对比公交车辆和大客车车辆的各自特征，发现公交车辆的前后车窗均有某种特定颜色(国内以红色或绿色为主，如图3所示)的车标信息，这些车标信息主要用于标示本公交车的公交线路等信息，而其他大客车的这种特征颜色信息明显更少，因此，可以考虑对车窗的特征颜色数量进行统计并比较，从而识别出公交车辆。在分类器检测的结果上，要通过车窗区域颜色特征来区分公交车辆和大客车车辆，首先要定位车窗的区域。针对公交车和大客车的车窗像素相对于车窗以外的车辆外壳像素变化较大，车窗轮廓边缘信息突出，而其他区域这种特征相对车窗较小，并考虑车辆视频检测时需要的实时性要求，采用Sobel边缘检测、形态学处理及连通域标记的方法定位车窗区域。具体步骤为：

S31.将公交车、大客车车辆分类结果进行Sobel边缘检测。Sobel边缘检测二值图不是单值像素组成的边缘，会造成多位置定位的情况，但它能够准确地保留车窗边缘信息。

S32.对边缘检测结果进行二值化处理后再进行形态学腐蚀操作；

S33.对形态学腐蚀操作结果通过连通域标记定位到车窗位置。

Sobel边缘检测能够准确地保留车窗边缘信息，而车窗其他区域灰度变化较车窗不明显，选择一个较低的阈值对Sobel边缘检测结果进行二值化，接着对获得的二值图像进行一次形态学腐蚀操作，这时虽然车窗区域边缘被细化，但车窗区域仍然具有多个像素点组成的连通域特征，而车窗其他灰度变化不为明显的区域会因为图像的腐蚀出现断裂情况，这时通过连通域标记能准确定位车窗，对多个分类器检测的结果进行这种方法的车窗定位结果如图4所示。

S4.通过车窗的颜色特征对公交车、大客车车辆进行识别得到公交车识别结果。车窗定位后就可以对车窗内的车标信息进行检测和识别。其具体步骤为：

S41.已经进行车窗定位后的图像进行HSV颜色空间转换；

S42.确定特征颜色像素在HSV空间内的范围，遍历车窗区域的所有像素，找出该特征颜色的像素点，并统计得到车窗区域的总像素点数和特征颜色的像素点数；

S43.将该特征颜色的像素点数与车窗区域的总像素点数作比，将比率与预设比率阈值进行比较，若比率大于或者等于比率阈值则判断车窗区域所对应的车辆为公交车，否则判断车窗区域所对应的车辆为非公交车。

其中，预设比率阈值的具体确定方式为：采集城市公交系统中的各线路公交车前后车窗图片序列，统计出图片序列中每辆公交车车窗的总像素点数N_sum(i)和特征颜色的像素点数N_red(i)，获得每辆公交车辆车窗特征颜色像素比率 r(i)＝N_red(i)/N_sum(i)，取其最小值r_min＝min(r(i))，通常特征颜色像素比率阈值r_th可直接取为r_min，考虑到实际视频中由于关照、图片倾斜或车窗污染等原因，该值会有所降低而造成误判，为了降低误判概率，可以将r_min乘以适当的百分比(如取)，即：

r_th＝r_minφ

以车窗内的红色特征颜色为例来对车窗识别进行进一步的说明：

将图像转换到HSV颜色空间，统计车窗内红色像素个数占整个车窗区域像素个数比例的情况。具体方法是：首先确定红色像素在HSV空间中的范围，遍历车窗区域的所有像素，找出红色像素的像素点，统计得到该区域总像素点数 Nsum和红色像素点数Nred。

如图5和6所示，分别为HSV空间公交车车窗红色像素提取的效果和公交车红色像素个数统计结果，其中“Area number is 6872”表示车窗区域面积数，“Red number is5714”表示车窗区域红色像素个数。从图5和6可以看出，公交车车窗区域中红色像素个数较多。图7和8所示，均为大客车车辆车窗区域红色像素提取及个数统计结果图，其中图7和图8从左到右三个小图分别表示大客车车窗定位图、车窗HSV空间红色像素提取示意图、车窗区域面积大小和红色像素个数统计结果图。从图7和图8可以看出，非公交车的大客车车辆车窗区域包含的红色像素较少。

根据图5-8，通过红色像素个数和车窗区域面积的比较，可以发现非公交车的大客车车车辆红色像素个数占车窗区域的面积比非常低，而公交车辆则非常高，因此很容易通过比率来判别是否为公交车辆。因此，通过该车辆的车窗红色像素数量占车窗区域总像素数量的比率

可以对公交车和大客车车辆进行识别。

如图9所示，为公交车视频利用本发明的检测识别方法得到的公交车结果。从如9可以看出，本发明的方法可以对视频序列中的公交车进行准确的识别。

本发明的方法可以在混合交通道路上对车窗区域区别明显的公交车辆和大客车车辆进行检测和分类，实现对公交车辆的识别，解决了大型车辆具有黄色底牌对公交车辆识别带来的困扰，具有较强的实用性。

实施例2

本发明还提供一种基于视频的公交车检测与识别系统。如图10所示，本具体实施例一种基于视频的公交车检测与识别系统具体包括：

运动区域标记模块110，用于对采集的视频序列中的运动前景进行检测，标记运动的区域；具体包括：

预处理模块，用于对采集的视频序列进行预处理；预处理模块中的预处理采用中值滤波处理，去除视频图像中的噪声带来的干扰。

前景图像获取模块，用于对预处理后的视频序列分别采用三帧差分法和混合高斯法获取运动的前景图像，记为M和N；

去空洞模块，用于对前景图像M进行形态学膨胀操作得到图像M₁；此模块的作用在于可以最大程度地消除其中的空洞。

去阴影模块，用于对前景图像N进行去阴影处理得到N₁；由于前景图像获取模块中获得的前景图N是带有阴影的二值掩码图像，不能够直接进行分析。＝因此，可以利用去阴影模块中的阈值法的去阴影方法对混合高斯模型的结果N 进行去阴影处理，得到N₁。

二值化处理模块，用于对N₁进行二值化处理得到混合高斯模型前景图N₂；二值化处理模块中通常预设了一个合适的阈值D进行二值化处理。

与操作模块，用于将N₂和M₁进行逻辑与操作得到运动前景图像W；

连通域处理模块，用于对前景图像W进行连通域处理得到标记运动的区域。连通域处理模块运用公交车辆、大客车车辆的面积和长与宽的比值相对其他类型车辆大的特点，对前景图像W进行连通域处理，标记运动的感兴趣区域。运动车辆预检测并不能准确检测运动目标，只能确定目标的大致区域，供预分类模块进行具体的检测。

预分类模块120，用于利用分类器对前景中标记的运动区域进行识别，将公交车、大客车车辆与其他类型车辆进行分类。具体包括：

分类器训练模块，用于基于Adaboost算法原理，通过图像的Haar特征对正负样本进行训练得到级联分类器，其中正样本中包括了公交车、大客车车辆图像，负样本图像中不包括公交车、大客车车辆；

预分类进行模块，用于利用级联分类器对前景中标记的运动区域进行检测得到公交车、大客车车辆的分类结果。

预分类进行模块的检测是在运动前景检测的窗口上进行的，即对运动前景检测标记出的车辆进行检测，这样检测的优点是分类器不需要对整个当前帧图像进行检测，只需要对运动的区域进行遍历检测，检测时首先要对前景检测的窗口进行放大，有利于分类器的遍历检测。

车窗定位模块130，用于将分类器分类得到的公交车、大客车车辆分类结果进行车窗定位。运动区域标记模块110和预分类模块120的使用，基本上能够识别出与公交车辆形态相似的车辆，如公交车辆、大客车(如旅游客车、企事业单位和部门的内部大客车)，对比公交车辆和大客车车辆的各自特征，发现公交车辆的前后车窗均有某种特定颜色(国内以红色或绿色为主，如图3所示)的车标信息，这些车标信息主要用于标示本公交车的公交线路等信息，而其他大客车的这种特征颜色信息明显更少，因此，可以考虑对车窗的特征颜色数量进行统计并比较，从而识别出公交车辆。在预分类模块处理后的结果上，要通过车窗区域颜色特征来区分公交车辆和大客车车辆，首先要车窗定位模块来对车窗位置进行定位。车窗定位模块具体包括：

边缘检测模块，用于将公交车、大客车车辆分类结果进行Sobel边缘检测。 Sobel边缘检测二值图不是单值像素组成的边缘，会造成多位置定位的情况，但它能够准确地保留车窗边缘信息。

腐蚀操作模块，用于对边缘检测结果进行二值化处理后再进行形态学腐蚀操作；

定位模块，用于对形态学腐蚀操作结果通过连通域标记定位到车窗位置。

Sobel边缘检测能够准确地保留车窗边缘信息，而车窗其他区域灰度变化较车窗不明显，腐蚀操作模块中选择一个较低的阈值对Sobel边缘检测结果进行二值化，接着对获得的二值图像进行一次形态学腐蚀操作，这时虽然车窗区域边缘被细化，但车窗区域仍然具有多个像素点组成的连通域特征，而车窗其他灰度变化不为明显的区域会因为图像的腐蚀出现断裂情况，这时通过定位模块利用连通域标记能准确定位车窗。

识别模块140，用于通过车窗的颜色特征对公交车、大客车车辆进行识别得到公交车识别结果。具体包括：

空间转换模块，用于对已经进行车窗定位后的图像进行HSV颜色空间转换；

像素点获取模块，用于确定特征颜色像素在HSV空间内的范围，遍历车窗区域的所有像素，找出该特征颜色的像素点，并统计得到车窗区域的总像素点数和特征颜色的像素点数；

判断模块，用于将该特征颜色的像素点数与车窗区域的总像素点数作比，将比率与预设比率阈值进行比较，若比率大于或者等于比率阈值则判断车窗区域所对应的车辆为公交车，否则判断车窗区域所对应的车辆为非公交车。

其中，判断模块中的预设比率阈值可以通过如下方式确定：采集城市公交系统中的各线路公交车前后车窗图片序列，统计出图片序列中每辆公交车车窗的总像素点数N_sum(i)和特征颜色的像素点数N_red(i)，获得每辆公交车辆车窗特征颜色像素比率r(i)＝N_red(i)/N_sum(i)，取其最小值r_min＝min(r(i))，通常特征颜色像素比率阈值 r_th可直接取为r_min，考虑到实际视频中由于关照、图片倾斜或车窗污染等原因，该值会有所降低而造成误判，为了降低误判概率，可以将r_min乘以适当的百分比(如取)，即：

r_th＝r_minφ

本发明的系统对在混合交通道路中车窗区域有区别的公交车和大客车车辆进行检测和分类，通过车窗定位模块的车窗定位和识别模块的车窗区域颜色特征来区分混合交通道路上的公交车和大客车车辆，实现公交车的视频检测，具有较高的实用性。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于视频的公交车检测与识别方法，其特征在于，包括：

对采集的视频序列中的运动前景进行检测，标记运动的区域；

利用分类器对前景中标记的运动区域进行识别，将公交车、大客车车辆与其他类型车辆进行分类；

将分类器分类得到的公交车、大客车车辆分类结果进行车窗定位；

通过车窗的颜色特征对公交车、大客车车辆进行识别得到公交车识别结果。

2.根据权利要求1所述的基于视频的公交车检测与识别方法，其特征在于，对采集的视频序列中的运动前景进行检测，标记运动的区域的具体步骤为：

对采集的视频序列进行预处理；

对预处理后的视频序列分别采用三帧差分法和混合高斯法获取运动的前景图像，记为M和N；

对前景图像M进行形态学膨胀操作得到图像M₁；

对前景图像N进行去阴影处理得到N₁；

对N₁进行二值化处理得到混合高斯模型前景图N₂；

将N₂和M₁进行逻辑与操作得到运动前景图像W；

对前景图像W进行连通域处理得到标记运动的区域。

3.根据权利要求1所述的基于视频的公交车检测与识别方法，其特征在于，利用分类器对前景中标记的运动区域进行识别，将公交车、大客车车辆与其他类型车辆进行分类的具体步骤为：

分类器形成步骤，基于Adaboost算法原理，通过图像的Haar特征对正负样本进行训练得到级联分类器，其中正样本中包括了公交车、大客车车辆图像，负样本图像中不包括公交车、大客车车辆；

预分类步骤，利用级联分类器对前景中标记的运动区域进行检测得到公交车、大客车车辆的分类结果。

4.根据权利要求1所述的基于视频的公交车检测与识别方法，其特征在于，将分类器分类得到的公交车、大客车车辆分类结果进行车窗定位的具体步骤包括：

将公交车、大客车车辆分类结果进行边缘检测；

对边缘检测结果进行二值化处理后再进行形态学腐蚀操作；

对形态学腐蚀操作结果通过连通域标记定位到车窗位置。

5.根据权利要求1至4任一项所述的基于视频的公交车检测与识别方法，其特征在于，通过车窗的颜色特征对公交车、大客车车辆进行识别得到公交车识别结果的具体步骤为：

已经进行车窗定位后的图像进行HSV颜色空间转换；

确定特征颜色像素在HSV空间内的范围，遍历车窗区域的所有像素，找出该特征颜色的像素点，并统计得到车窗区域的总像素点数和特征颜色的像素点数；

将该特征颜色的像素点数与车窗区域的总像素点数作比，将比率与预设比率阈值进行比较，若比率大于或者等于比率阈值则判断车窗区域所对应的车辆为公交车，否则判断车窗区域所对应的车辆为非公交车。

6.根据权利要求5所述的基于视频的公交车检测与识别方法，其特征在于，所述比率阈值通过如下方式确定：

采集城市公交系统中的各线路公交车前后车窗图片序列，统计出图片序列中每辆公交车车窗的总像素点数N_sum(i)和特征颜色的像素点数N_red(i)，获得每辆公交车辆车窗特征像素比率r(i)＝N_red(i)/N_sum(i)，取其最小值r_min＝min(r(i))作为比率阈值。

7.一种基于视频的公交车检测与识别系统，其特征在于，包括：

运动区域标记模块，用于对采集的视频序列中的运动前景进行检测，标记运动的区域；

预分类模块，用于利用分类器对前景中标记的运动区域进行识别，将公交车、大客车车辆与其他类型车辆进行分类；

车窗定位模块，用于将分类器分类得到的公交车、大客车车辆分类结果进行车窗定位；

识别模块，用于通过车窗的颜色特征对公交车、大客车车辆进行识别得到公交车识别结果。

8.根据权利要求7所述的基于视频的公交车检测与识别系统，其特征在于，运动标记模块具体包括：

预处理模块，用于对采集的视频序列进行预处理；

前景图像获取模块，用于对预处理后的视频序列分别采用三帧差分法和混合高斯法获取运动的前景图像，记为M和N；

去空洞模块，用于对前景图像M进行形态学膨胀操作得到图像M₁；

去阴影模块，用于对前景图像N进行去阴影处理得到N₁；

二值化处理模块，用于对N₁进行二值化处理得到混合高斯模型前景图N₂；

与操作模块，用于将N₂和M₁进行逻辑与操作得到运动前景图像W；

连通域处理模块，用于对前景图像W进行连通域处理得到标记运动的区域。

9.根据权利要求7所述的基于视频的公交车检测与识别系统，其特征在于，车窗定位模块包括：

边缘检测模块，用于将公交车、大客车车辆分类结果进行边缘检测；

腐蚀操作模块，用于对边缘检测结果进行二值化处理后再进行形态学腐蚀操作；

定位模块，用于对形态学腐蚀操作结果通过连通域标记定位到车窗位置。

10.根据权利要求7-9任一项所述的基于视频的公交车检测与识别系统，其特征在于，识别模块包括：

空间转换模块，用于对已经进行车窗定位后的图像进行HSV颜色空间转换；

像素点获取模块，用于确定特征颜色像素在HSV空间内的范围，遍历车窗区域的所有像素，找出该特征颜色的像素点，并统计得到车窗区域的总像素点数和特征颜色的像素点数；

判断模块，用于将该特征颜色的像素点数与车窗区域的总像素点数作比，将比率与预设比率阈值进行比较，若比率大于或者等于比率阈值则判断车窗区域所对应的车辆为公交车，否则判断车窗区域所对应的车辆为非公交车。