CN103473534B - 一种基于视频的车辆检测方法 - Google Patents

Abstract

本发明提供一种基于视频的车辆检测方法，该方法具有白天和夜间两种检测模式：白天采用运动检测结合车牌检测的方法，晚上采用车灯检测结合车牌检测的方法，即以车牌检测结果作为是否为车的首要判决准则，如果没检测到车牌，白天则以运动检测得到的车辆做补充，夜间则以检测到的车灯做补充，其中的车牌检测是在运动目标内进行的，缩小了检测范围。本发明提供了一种检测精度高、适应性强以及可以节约硬件资源的基于视频的车辆检测方法。

Description

一种基于视频的车辆检测方法

技术领域

本发明涉及智能交通领域，尤其涉及一种基于视频的车辆检测方法。

背景技术

我国城市道路交通的迅速发展，为人们日常生活带来了巨大便利，同时伴随的负面效应也日益突出，如交通拥堵，交通事故频发等，针对此类问题，智能交通系统应运而生。而基于视频的车辆检测系统是智能交通的重要组成部分，是后续车辆行为分析与判决的前提条件，其重要性不言而喻。实际车辆密度高、光照条件复杂、图像数据量大、实时性等问题，对检测方法的设计提出了更高的要求。高精度、实时性、高效、稳定成为优秀视频检测方法应具备的基本特性。

目前，基于视频车辆检测的方法很多，但是这些方法存在很大的局限性，如：1、实际场景的光照复杂多变，导致检测的精度下降；2、粘连现象严重，造成的漏检误检率偏高；3、图像的分辨率越来越高，随之产生的数据量大幅增加，造成了单帧图像处理时间过长，CPU使用率及内存占用率都很高，因而无法满足实际需求。

发明内容

本发明提供了一种基于视频的车辆检测方法，该方法将运动检测、车灯检测和车牌检测结合。

本发明的技术解决方案如下：

一种基于视频的车辆检测方法，其特殊之处在于：包括以下步骤：

1】在视频中选取一帧图像，作为原图，在该原图上建立XY坐标系，并对该原图的宽和高均缩小为原图宽和高的1／10-1／5，且缩小后的宽和高均为整数，再进行灰度化处理得到灰度图；

2】对步骤1】得到的灰度图进行亮度统计，得出平均亮度，若平均亮度大于50，则进行步骤3】；若平均亮度小于50，则进行步骤4】；

3】提取白天运动目标图像：

3.1】获取运动目标：对步骤1】得到的灰度图采用高斯背景更新的原理建立背景，将该背景与灰度图做差分得到运动目标区域；

3.2】对运动目标区域进行二值化处理，再进行先膨胀后腐蚀的形态学处理，得到包含一个或多个车牌的白天运动目标图像；

4】提取夜间运动目标图像和车灯图像：

将灰度图拷贝，得到拷贝图，将灰度图和拷贝图中的其中一个图，用190作为阈值进行二值化处理，再进行先膨胀后腐蚀的形态学处理，得到一个夜间运动目标图像，该夜间运动目标图像包含的车牌和车灯均是一个或多个；

同时，对灰度图和拷贝图中的另一个图，用230作为阈值进行二值化处理，然后进行膨胀处理和腐蚀处理；进行连通区域分析；以原图的原点作参考，将宽度大于40个像素、面积大于500个像素的连通区域视为一个车灯，统计在x方向上距离小于300个像素且y方向上距离小于10个像素的车灯的数量，若存在一个车灯，将该车灯的中心，记为参考点；若存在两个车灯，将这两个车灯之间的中心，记为参考点；若存在两个以上车灯，将车灯之间的宽度在80-200个像素的车灯的中心，记为参考点；

5】确定车坐标：

5.1】确定步骤3】得到的白天运动目标图像、和步骤4】得到的夜间运动目标图像中的车坐标，将白天运动目标图像和夜间运动目标图像统称为运动目标图像；

5.2】对运动目标图像的宽度大于灰度图宽度的1／5，运动目标图像的高度大于灰度图高度的1／4的运动目标图像，将其映射到步骤1的灰度图中，将原图中与运动目标图像对应的部分作为实际运动目标图像；

对实际运动目标图像进行以下处理：将实际运动目标图像灰度化后得到灰度图，先用Sobel算子求该图像在x方向上的二次梯度；再做归一化处理和自适应阈值二值化，再用一行四列的核、一行二列的核、二行三列的核、二行四列的核或一行三列的核做膨胀处理，然后做去毛刺处理，最后遍历实际运动目标图像内的连通区域，将宽度在60-100个像素、宽高比为1：3.5的连通区域判为车牌目标；

5.3】把车牌目标颜色转换为HSI模型后，计算出车牌目标内蓝色、黄色、白色、黑色的像素总数，如果总数大于200，则该区域存在至少一个车牌，进行步骤5.4】，否则不存在车牌，进行步骤5.5】；

5.4】确定车牌中心坐标：

当步骤5.3】中存在的车牌数量为1时，则为真车牌，以原图的原点作参考，该真车牌的中心坐标记为一个车坐标；

当步骤5.3】中存在的车牌数量大于1时，将y坐标最大的一个车牌，作为真车牌，并作为参照，遍历其余的车牌，以原图的原点作参考，将遍历过的车牌与真车牌在x方向上距离大于300或y方向上距离大于200的车牌也判为真车牌，每一个真车牌的中心坐标分别记为一个车坐标；

5.5】车坐标的补充：

若运动目标图像为白天运动目标图像，则在步骤5.4】处理之后剩余的不含车牌的白天运动目标图像中，选择宽度大于灰度图宽度的1／5、且高度大于灰度图高度的1／4的运动目标图像，将运动目标图像的中心坐标记为车坐标；

若运动目标图像为夜间运动目标图像，则遍历步骤4】中所有的参考点，若参考点与经过步骤5.4】确定的夜间运动目标图像中所有车牌的中心、在x方向上或在y方向上的距离大于50个像素，则认为没有找到与参考点属于同一辆车的车牌，将参考点对应的坐标记为车坐标；否则丢弃该参考点；

6】统计步骤5.4】、步骤5.5】中确定的所有车坐标，当所有车坐标中存在两个或两个以上的相同坐标时，只保留其中一个车坐标，将保留的车坐标和剩余的没有出现相同坐标的车坐标作为检测结果。

上述步骤3.2】中先膨胀后腐蚀的形态学处理具体为：采用一行三列的核作两次膨胀、一行三列的核做一次腐蚀处理；

所述步骤4】中用190作为阈值进行二值化处理，再进行先膨胀后腐蚀的形态学处理时，所述先膨胀后腐蚀处理具体为：采用一行五列的核做六次膨胀、用三行三列的核做一次腐蚀处理；

所述步骤4】中用230作为阈值进行二值化处理，然后进行膨胀处理和腐蚀处理，所述膨胀处理和腐蚀处理具体为：用3×3矩阵的核做膨胀处理和腐蚀处理；

所述步骤4】中进行连通区域分析，进行连通区域分析时，将白色连通区域作为目标，黑色连通区域作为背景；

所述步骤5.2】中归一化处理的具体方法为：遍历Sobel后的图像像素，将其最大的灰度值置为255，最小的像素灰度值置为0，大于最小灰度值而小于最大灰度值的线性映射到0-255之间；

所述步骤5.2】中自适应阈值二值化具体方法为：将实际运动目标图像灰度化后得到灰度图，以该灰度图的任意一个像素作为中心像素，遍历该灰度图的像素，确定该中心像素5×5的25个邻域像素的平均值，将该平均值作为该中心像素的阈值，如果该中心像素的灰度值大于该中心像素的阈值，置该中心像素的灰度值为255，否则，置为0；

所述步骤5.2】中去毛刺处理具体方法为：将宽度小于10个像素或高度小于5个像素的区域内像素点的灰度值置0；

所述步骤5.2】中是用一行三列的核做膨胀处理的。

上述步骤5.2】中判断该区域存在至少一个车牌的像素总数大于阈值300。

本发明的优点是：

1、昼夜两种不同的方法自动切换，极大地提高了车辆检测精度，很好地适应全天侯检测要求；

2、在缩小后的灰度图内完成运动检测和在运动域内的车牌检测，大幅减少了单帧图像处理时间，显著的降低了CPU使用率和内存使用率。

3、运动区域内车牌检测的方法，解决了运动检测得到的车辆粘连问题，极大地降低了漏检率和误检率，从而提高检测精度；

4、白天车牌检测结合运动目标检测，夜间车牌结合车灯检测的方法，极大地减少了因没检测到车牌而漏掉的车辆，提高了检测精度；

5、本发明在适应性、检测精度、实时性、节约硬件资源方面具有极大的优越性。

附图说明

图1是本发明的流程图。

具体实施方式

本发明提供的一种基于视频的车辆检测方法，具有白天和夜间两种检测模式：白天采用运动检测结合车牌检测的设计思想，晚上采用车灯检测结合车牌检测的设计思想。即以车牌检测结果作为是否为车的首要判决准则，如果没检测到车牌，白天则以运动检测得到的车辆做补充，夜间则以检测到的车灯做补充。其中的车牌检测是在运动目标内进行的，缩小了检测范围。

本发明主要分为运动检测模块、运动区域内车牌检测模块、白天车牌检测结合运动检测模块、夜间车灯检测模块、夜间车牌检测结合车灯检测模块和在整帧图像中去重复车辆模块。

如图1所示，本发明提供的一种基于视频的车辆检测方法，包括以下步骤：

1】在视频中选取一帧图像，作为原图，在该原图上建立XY坐标系，并对该原图的宽和高均缩小为原图宽和高的1/10-1/5，为了给缩小后的图像分配内存空间，原图缩小后的图像的宽和高均为整数，再进行灰度化处理得到灰度图；

2】对步骤1】得到的灰度图进行亮度统计，得出平均亮度，若平均亮度大于50，则进行步骤3】；若平均亮度小于50，则进行步骤4】；

3】提取白天运动目标图像：

3.1】获取运动目标：对步骤1】得到的灰度图采用高斯背景更新的原理建立背景，将该背景与灰度图做差分得到运动目标区域；

3.2】对运动目标区域进行二值化处理，再进行先膨胀后腐蚀的形态学处理，得到包含一个或多个车牌的白天运动目标图像；

其中，先膨胀后腐蚀的形态学处理具体为：采用一行三列的核作两次膨胀、一行三列的核做一次腐蚀处理；

4】提取夜间运动目标图像和车灯图像：

将灰度图拷贝，得到拷贝图，将灰度图和拷贝图中的其中一个图，用190作为阈值进行二值化处理，再进行先膨胀后腐蚀的形态学处理，得到一个夜间运动目标图像，该夜间运动目标图像包含的车牌和车灯均是一个或多个；

同时，对灰度图和拷贝图中的另一个图，用230作为阈值进行二值化处理，然后进行膨胀处理和腐蚀处理；进行连通区域分析，将白色连通区域作为目标，黑色连通区域作为背景，以原图的原点作参考，

将宽度大于40个像素、面积大于500个像素的连通区域视为一个车灯，统计在x方向上距离小于300个像素且y方向上距离小于10个像素的车灯的数量，若存在一个车灯，将该车灯的中心，记为参考点；若存在两个车灯，将这两个车灯之间的中心，记为参考点；若存在两个以上车灯，将车灯之间的宽度在80-200个像素的车灯的中心，记为参考点；

其中，

用190作为阈值进行二值化处理，再进行先膨胀后腐蚀的形态学处理时，先膨胀后腐蚀处理具体为：采用一行五列的核做六次膨胀、用三行三列的核做一次腐蚀处理；

用230作为阈值进行二值化处理，然后进行膨胀处理和腐蚀处理，膨胀处理和腐蚀处理具体为：用3×3矩阵的核做膨胀处理和腐蚀处理；

5】确定车坐标：

5.1】确定步骤3】得到的白天运动目标图像、和步骤4】得到的夜间运动目标图像中的车坐标，将白天运动目标图像和夜间运动目标图像统称为运动目标图像；

5.2】对运动目标图像的宽度大于灰度图宽度的1/5，运动目标图像的高度大于灰度图高度的1/4的运动目标图像，将其映射到步骤1的灰度图中，将原图中与运动目标图像对应的部分作为实际运动目标图像；

对实际运动目标图像进行以下处理：将实际运动目标图像灰度化后得到灰度图，以原图的原点作参考，先用Sobel算子求该图像在x方向上的二次梯度；再做归一化处理和自适应阈值二值化，再用一行四列的核、一行二列的核、二行三列的核、二行四列的核或一行三列的核做膨胀处理，膨胀处理时，优选一行三列的核，该膨胀核的效果最佳，然后做去毛刺处理，最后遍历实际运动目标图像内的连通区域，将宽度在60-100个像素、宽高比为1∶3.5的连通区域判为车牌目标；目的是为了确定原图中实际存在的车牌目标，而一般车牌在原图中的宽度为60-100像素、宽高比为1∶3.5。

归一化处理的具体方法为：遍历Sobel后的图像像素，将其最大的灰度值置为255，最小的像素灰度值置为0，大于最小灰度值而小于最大灰度值的线性映射到0-255之间；

自适应阈值二值化具体方法为：将实际运动目标图像灰度化后得到灰度图，以该灰度图的任意一个像素作为中心像素，遍历该灰度图的像素，确定该中心像素5×5的25个邻域像素的平均值，将该平均值作为该中心像素的阈值，如果该中心像素的灰度值大于该中心像素的阈值，置该中心像素的灰度值为255，否则，置为0；

去毛刺处理具体方法为：将宽度小于10个像素或高度小于5个像素的区域内像素点的灰度值置0。

5.3】把车牌目标颜色转换为HSI模型后，计算出车牌目标内蓝色、黄色、白色、黑色的像素总数，如果总数大于200，则该区域存在至少一个车牌，进行步骤5.4】，否则不存在车牌，进行步骤5.5】；

为了保证更客观的检测结果，在步骤5.3】中判断该区域存在至少一个车牌的像素总数优选大于300，此阈值通过大量的实验发现，一般情况下，真车牌区域能够满足此阈值，并且能够过滤掉部分的伪车牌区域。

5.4】确定车牌中心坐标：

当步骤5.3】中存在的车牌数量为1时，则为真车牌，以原图的原点作参考，该真车牌的中心坐标记为一个车坐标；

当步骤5.3】中存在的车牌数量大于1时，将y坐标最大的一个车牌，作为真车牌，并作为参照，遍历其余的车牌，以原图的原点作参考，将遍历过的车牌与真车牌在x方向上距离大于300或y方向上距离大于200的车牌也判为真车牌，每一个真车牌的中心坐标分别记为一个车坐标；

其中，所确定的车坐标包括作为参照的真车牌的坐标、以及所有粘连的真车牌的车坐标。

运动区域内检测车牌，极大地缩小了检测车牌的范围，从而减少了数据量、需要的内存、单帧图像的处理时间，满足实时性和多线程的要求。同时降低了误检率，从而保障了检测精度。

5.5】车坐标的补充：

白天车牌检测结合运动检测：若运动目标图像为白天运动目标图像，则在步骤5.4】处理之后剩余的不含车牌的白天运动目标图像中，选择宽度大于灰度图宽度的1/5、且高度大于灰度图高度的1/4的运动目标图像，将运动目标图像的中心坐标记为车坐标。

对满足车辆尺寸而又没检测到车牌的运动目标，将其添加到车辆检测结果；否则只添加该运动目标内的车牌到车辆检测结果。最后，车辆检测结果和运动目标构成了白天车辆检测结果。解决了因为光照、车牌污染、无车牌造成的漏检问题。

夜间车牌检测结合车灯检测：若运动目标图像为夜间运动目标图像，则遍历步骤4】中所有的参考点，若参考点与经过步骤5.4】确定的夜间运动目标图像中所有车牌的中心、在x方向上或在y方向上的距离大于50个像素，则认为没有找到与参考点属于同一辆车的车牌，将参考点对应的坐标记为车坐标；否则丢弃该参考点；

6】统计步骤5.4】、步骤5.5】中确定的所有车坐标，当所有车坐标中存在两个或两个以上的相同坐标时，只保留其中一个车坐标，将保留的车坐标和剩余的没有出现相同坐标的车坐标作为检测结果。

因为同一车牌同时属于多个不同连通区域的外接矩形时，只把这些车牌做一次计数和输出，其余的车牌丢弃，达到了去重复车辆的效果。

本发明在适应性、检测精度、实时性、节约硬件资源方面具有极大的优越性。

Claims (3)

1.一种基于视频的车辆检测方法，其特征在于：包括以下步骤：

1】在视频中选取一帧图像，作为原图，在该原图上建立XY坐标系，并将该原图的宽和高均缩小为原图宽和高的1/10-1/5，且缩小后的宽和高均为整数，再进行灰度化处理得到灰度图；

2】对步骤1】得到的灰度图进行亮度统计，得出平均亮度，若平均亮度大于50灰度，则进行步骤3】；若平均亮度小于50灰度，则进行步骤4】；

3】提取白天运动目标图像：

3.1】获取运动目标：对步骤1】得到的灰度图采用高斯背景更新的原理建立背景，将该背景与灰度图做差分得到运动目标区域；

3.2】对运动目标区域进行二值化处理，再进行先膨胀后腐蚀的形态学处理，得到包含一个或多个车牌的白天运动目标图像；

4】提取夜间运动目标图像和车灯图像：

将灰度图拷贝，得到拷贝图，将灰度图和拷贝图中的其中一个图，用190灰度作为阈值进行二值化处理，再进行先膨胀后腐蚀的形态学处理，得到一个夜间运动目标图像，该夜间运动目标图像包含的车牌和车灯均是一个或多个；

同时，对灰度图和拷贝图中的另一个图，用230灰度作为阈值进行二值化处理，然后进行膨胀处理和腐蚀处理；进行连通区域分析；以原图的原点作参考，将宽度大于40个像素、面积大于500个像素的连通区域视为一个车灯，统计在x方向上距离小于300个像素且y方向上距离小于10个像素的车灯的数量，若存在一个车灯，将该车灯的中心，记为参考点；若存在两个车灯，将这两个车灯之间的中心，记为参考点；若存在两个以上车灯，将车灯之间的宽度在80-200个像素的车灯的中心，记为参考点；

5】确定车坐标：

5.1】确定步骤3】得到的白天运动目标图像、和步骤4】得到的夜间运动目标图像中的车坐标，将白天运动目标图像和夜间运动目标图像统称为运动目标图像；

5.2】对运动目标图像的宽度大于灰度图宽度的1/5、运动目标图像的高度大于灰度图高度的1/4的运动目标图像，将其映射到步骤1】的灰度图中，将原图中与运动目标图像对应的部分作为实际运动目标图像；

对实际运动目标图像进行以下处理：将实际运动目标图像灰度化后得到灰度图，先用Sobel算子求该图像在x方向上的二次梯度；再做归一化处理和自适应阈值二值化，再用一行四列的核、一行二列的核、二行三列的核、二行四列的核或一行三列的核做膨胀处理，然后做去毛刺处理，最后遍历实际运动目标图像内的连通区域，将宽度在60-100个像素、宽高比为1:3.5的连通区域判为车牌目标；

5.3】把车牌目标颜色转换为HSI模型后，计算出车牌目标内蓝色、黄色、白色、黑色的像素总数，如果总数大于200，则该区域存在至少一个车牌，进行步骤5.4】，否则不存在车牌，进行步骤5.5】；

5.4】确定车牌中心坐标：

当步骤5.3】中存在的车牌数量为1时，则为真车牌，以原图的原点作参考，该真车牌的中心坐标记为一个车坐标；

当步骤5.3】中存在的车牌数量大于1时，将y坐标最大的一个车牌，作为真车牌，并作为参照，遍历其余的车牌，以原图的原点作参考，将遍历过的车牌与真车牌在x方向上距离大于300像素或y方向上距离大于200像素的车牌也判为真车牌，每一个真车牌的中心坐标分别记为一个车坐标；

5.5】车坐标的补充：

若运动目标图像为白天运动目标图像，则在步骤5.4】处理之后剩余的不含车牌的白天运动目标图像中，选择宽度大于灰度图宽度的1/5、且高度大于灰度图高度的1/4的运动目标图像，将运动目标图像的中心坐标记为车坐标；

若运动目标图像为夜间运动目标图像，则遍历步骤4】中所有的参考点，若参考点与经过步骤5.4】确定的夜间运动目标图像中所有车牌的中心、在x方向上或在y方向上的距离大于50个像素，则认为没有找到与参考点属于同一辆车的车牌，将参考点对应的坐标记为车坐标；否则丢弃该参考点；

6】统计步骤5.4】、步骤5.5】中确定的所有车坐标，当所有车坐标中存在两个或两个以上的相同坐标时，只保留其中一个车坐标，将保留的车坐标和剩余的没有出现相同坐标的车坐标作为检测结果。

2.根据权利要求1所述的基于视频的车辆检测方法，其特征在于：

所述步骤3.2】中先膨胀后腐蚀的形态学处理具体为：采用一行三列的核作两次膨胀、一行三列的核做一次腐蚀处理；

所述步骤4】中用190作为阈值进行二值化处理，再进行先膨胀后腐蚀的形态学处理时，所述先膨胀后腐蚀处理具体为：采用一行五列的核做六次膨胀、用三行三列的核做一次腐蚀处理；

所述步骤4】中用230作为阈值进行二值化处理，然后进行膨胀处理和腐蚀处理，所述膨胀处理和腐蚀处理具体为：用3×3矩阵的核做膨胀处理和腐蚀处理；

所述步骤4】中进行连通区域分析，进行连通区域分析时，将白色连通区域作为目标，黑色连通区域作为背景；

所述步骤5.2】中归一化处理的具体方法为：遍历Sobel后的图像像素，将其最大的灰度值置为255，最小的像素灰度值置为0，大于最小灰度值而小于最大灰度值的线性映射到0-255之间；

所述步骤5.2】中自适应阈值二值化具体方法为：将实际运动目标图像灰度化后得到灰度图，以该灰度图的任意一个像素作为中心像素，遍历该灰度图的像素，确定该中心像素5×5的25个邻域像素的平均值，将该平均值作为该中心像素的阈值，如果该中心像素的灰度值大于该中心像素的阈值，置该中心像素的灰度值为255，否则，置为0；

所述步骤5.2】中去毛刺处理具体方法为：将宽度小于10个像素或高度小于5个像素的区域内像素点的灰度值置0。

3.根据权利要求1或2所述的基于视频的车辆检测方法，其特征在于：所述步骤5.2】中判断该区域存在至少一个车牌的像素总数大于阈值300。