CN106878674B - 一种基于监控视频的停车检测方法及装置 - Google Patents

Abstract

本发明提出了一种鲁棒性比较强的基于监控视频的停车检测方法，基于前景历史像素点和图像相似度进行静止目标检测，主要包括混合高斯模型提取前景运动目标、通过可疑静止像素矩阵得到可疑静止目标区域、图像相似度的计算。在车辆识别阶段，对Haar分类器进行了改进，使得其在级联强分类器训练时避免出现训练过程滞停，可以保证在训练过程中避免出现滞停现象，使得级联强分类器训练鲁棒性增强。在车辆检测过程中，只将通过静止目标检测得到的静止目标区域和其邻域放到Haar分类器进行检测，而不是将整张图像放入Haar分类器检测，这样可以大大减少计算量，提高算法的实时性。另外，还采用基于混合高斯模型的遮挡检测解决暂时性遮挡的问题，降低算法的漏检率。

Description

一种基于监控视频的停车检测方法及装置

技术领域

本发明涉及计算机视觉和智能监控技术领域，尤其涉及一种基于监控视频的停车检测方法及装置。

背景技术

随着国民经济的迅速发展，导致机动车辆的快速增加，我国城市交通的问题变得日益严峻。以往的停车检测，主要依靠人工监控，定点信息的采集方法。极大地消耗了交通管制部门的人力、财力和物力。最近几年，随着科技的快速发展，监控设备如视频采集卡，摄像头等价格逐渐下降，室内外的视频监控系统开始广泛的应用到各种场合，如室内外停车场，地铁，银行，公路，宾馆，超市，校园大楼内部等。在社会的公共安全方面发挥着越来越重要的作用。但是目前国内大多数的视频监控系统还只是处于传统模式，扮演着“只记录不判断”的角色。因此只能事后通过视频回放来调查当时的情况及取证，存在着无法实时取证和报警的缺陷，并且还需要工作人员不断地监视场景内的活动，日夜轮班值守，工作量巨大，容易受到人体疲劳的影响，从而导致误检和漏检的情况发生，使取证的难度增大，失去了监控系统的实时监控的重要意义。另一方面，随着监控系统规模的不断扩大，视频数据海量增大，从中获取有用的情报或者信息越来越困难，查找效率低，并且难以满足监控系统的需求。

停车检测是车辆检测的一个重要分支。车辆检测技术多用于室外环境的场景中，用一个或者多个高清摄像头来监控某一条街道上的停车情况。如果能够做到利用停车检测技术，准确及时检测出违章停车，可以有效的取证和报警，有效的避免进一步的交通堵塞和交通事故，从而维护了人民的生命财产安全。

针对停车检测的问题，国内外专家学者提出了多种基于停车检测的方法，主要包括：

一、使用光流法进行车辆检测，由于光流法的计算复杂度较高，再加上现在的图像的大小都很大，导致光流法的实时性很差。

二、在限制区域提取车辆特征，并用SVM(support vector machine) 进行分类，从而实现把车辆的信息从图片中提取出来。

三、利用贝叶斯网络进行车辆检测。首先提取车辆的特征，利用一种颜色有效的区分开车的颜色和非车的颜色。其次，提取车周围的颜色信息和边界信息，通过自动调整阈值的canny边缘检测方法。最后，使用贝叶斯网络进行分类。

四、使用高斯混合模型进行前景与背景的分离，提取出前景信息，判断目标区域是否存在停车，并且实时更新背景。

当然上述这些常用的方法还存在一些待解决的问题：

1)实时性，目前的监控视频都为高清监控视频，分辨率都在百万级及以上，虽然计算机硬件水平已经达到了很高的水平，但是在处理像监控视频这样的海量数据还是比较吃力的。如何利用监控视频及时有效的处理停车是急需解决的问题之一。

2)鲁棒性，监控视频的场景多是在复杂的场景下，这对停车检测造成很大的干扰，在复杂的场景中存在很多和车辆相似的物体，这给车辆的检测带来很大的问题。目前大部分的停车检测算法只是通过简单的轮廓特征、占空比或者面积特征的方法识别车辆，导致误检率较高。除了上述的干扰外，还存在光照变化的干扰，遮挡的干扰等。

3)算法实用性，当停车检测算法当具有很好的实时性和鲁棒性时，往往需要大量的硬件资源。对于现实生活中监控摄像头中的处理器往往配置不高，如果想要达到较好的实时性和鲁棒性相对比较困难，所以需要进一步减低算法的计算复杂度提升计算效率，增强算法的实用性。

发明内容

本发明的目的在于克服现有技术中的问题，提出一种基于监控视频的停车检测方法及装置，不需要较多的人工干预，能够自动的识别出在监控视频覆盖的范围内停下来的车辆，这种方案能够解决全面依靠人工的停车检测中存在的成本高，易受到人为因素的影响，浪费人力等缺点。

为达上述目的，本发明通过以下技术方案实现：

一种基于监控视频的停车检测方法，包括如下步骤：

视频数据采集步骤：普通路边的监控摄像头拍摄的视频数据，所述监控摄像头的相对位置和拍摄的角度保持不变；

背景模型建立步骤：通过分析视频序列建立基于混合高斯模型的背景模型；

前景运动目标提取步骤：提取出视频图像中的运动前景目标；

静止目标区域检测步骤：检测出视频帧中的静止区域，具体为先找到可疑的静止目标区域，然后经过N帧之后，与之前帧图像的相应位置进行相似度比较，确定是否为真正的静止区域；

车辆识别步骤：采用改进的Haar分类器对静止区域进行识别，达到检测车的目的；通过训练多个强分类器，将训练的强分类器级联起来构成所述改进的Haar分类器，逐一对输入图像进行车辆识别，通过识别后则输入到下一级分类器，不通过则直接识别为非车辆。

本发明的有益效果是：通过室外道路上的监控视频，检测在监控视频覆盖的范围内停下来的车辆，这种方案能够解决全面依靠人工的停车检测中存在的成本高，易受到人为因素的影响，浪费人力等缺点。

附图说明

图1是本发明的方法流程图；

图2是本发明所采用的前景检测的流程图；

图3是图像相似度计算流程图；

图4是本发明所采用的改进的Haar分类器结构示意图。

具体实施方案

下面通过具体实施方式结合附图对本发明作进一步详细说明。

如附图1所示，本发明的基于监控视频的停车检测方法具体主要分为几个步骤：

视频数据采集步骤：采用视频数据为普通路边的监控摄像头拍摄的视频数据，所拍摄的区域为一条较长的道路，并且监控摄像头的相对位置和拍摄的角度保持不变。

背景模型建立步骤：从视频序列开始选择前N帧视频序列建立自适应的混合高斯背景模型，并且不断更新背景，使模型适应外界条件的改变。

前景运动目标提取和阴影检测步骤：从视频的X帧开始通过与背景的对比，提取出每一帧的前景运动目标并使用阴影检测方法，可以消除大部分的阴影。

静止像素矩阵建立步骤：在得到前景之后，建立可疑静止像素矩阵，可疑静止像素矩阵的大小和视频中每一帧的大小相等相对位置一样，并且初始化为0。

可疑静止区域检测步骤：当某一点为前景像素点，则在可疑静止像素矩阵的相对位置的值就会加一。如果某一点有前景变成背景，将该点在静止像素矩阵中的值置0。如果某一个点达到了预期设置的阈值，则认为该点为可疑静止像素点，由可疑静止像素点组成的联通区域为可疑静止区域，然后将该区域的信息存放到图片缓冲区，以便下一步确认是否为真正的静止区域。

静止区域检测步骤：经过N帧之后，将缓冲区的相应的图片信息取出，然后判断目前两图片的相应位置的“一样”的程度(通常为 1500左右，从时间上来看大约一分钟左右，在这里假设在这一小段时间内外界环境没有发生变化)，当“一样”程度很高时则认为该可疑静止目标为真正的静止目标。

车辆识别步骤：最后通过Haar分类器，对静止区域及其邻域进行车辆识别，判断是否为车。达到车辆检测的目的，并且采用基于混合高斯模型进行遮挡检测，降低系统漏检率。

在本发明的技术方案中：

在视频数据采集步骤中：采用视频数据为普通路边的监控摄像头拍摄的视频数据，所拍摄的区域为一条较长的道路，并且监控视频头的相对位置和拍摄的角度保持不变，代表性的公开数据集有，i-LIDS 停车检测数据集和PETS车辆追踪数据集。i-LIDS停车检测数据集一共大约包括5万帧连续的监控视频图像，包括4个场景：简单场景，中等场景，困难场景和混合场景。其中，简单场景为存在很少遮挡，天气较好并且停止车辆离监控视频较近，中等场景存在较多的部分遮挡，天气为刮风天气摄像头存在摇晃现象并且停止车辆距离监控视频较远，困难场景为遮挡较多，存在刮风天气并且停车距离摄像头的距离较远，混合场景天气条件变化较大，存在四个停车现象并且存在较多的部分遮挡。PETS数据集一共包括大约10000帧图像，其中包括四个停车场景，光照较好，存在部分遮挡。

在背景模型建立步骤中：从视频序列开始选择前N帧视频序列建立自适应的混合高斯背景模型，并且不断更新背景，使模型适应外界条件的改变。因为，在摄像机固定的情况下，背景的变化是缓慢的，而且大都是光照，风等等的影响，通过对背景建模，对一幅给定图像分离前景和背景，一般来说，前景就是运动物体，从而达到运动物体检测的目的。混合高斯模型使用K个单高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。数学表达式如下：

对于一个拥有K个高斯分量的混合高斯模型，一个像素点在时间 N为x_N的概率为下式：

这里w_j是第j个模型的权重，η(x_N；θ_j)是第j个高斯模型的正态分布表示为下式：

其中μ_k代表第K高斯模型的均值，代表第K高斯模型的协方差。

在混合高斯模型中背景是模型的最主要的部分，其协方差的值相对较小，由于这个原因我们按照w_k/σ_k的降序对K个高斯函数进行排序，排在这个序列最前面的高斯分布最有可能描述目前背景的高斯函数。通过上面分析，选择排在前面H个高斯分布作为目前的背景模型，其中H由下式得到：

其中T为阈值。

在前景运动目标提取和阴影检测步骤中：

1)前景检测，基于前面建立的混合高斯模型，假设当前像素点值为x_i,t，让其与K个高斯模型按照优先级顺序进行匹配，如果当前像素点值与某一个高斯模型的均值绝对值小于2.5倍的方差，如下式所示：

|x_i,t-u_i,t|＜2.5σ_i,t

则认为该像素点属于这个高斯模型，则认为该点为背景。如果该像素点没有匹配任何一个高斯模型，则认为其前景，即为前景的运动目标。检测过程见附图2。

2)运动目标阴影检测，提取出的前景运动目标还是可能包含运动目标的影子，为了降低阴影对前景运动目标提取的影响，就必须去除阴影。为了保证系统的实时性，采用一种基于HSV空间的阴影检测方法。判断一个运动的点是否为阴影的参照如下公式：

其中，D、B分别表示HSV颜色空间下的前景图像的像素点和背景图像的像素点，其中D(x,y).V、B(x,y).V分别表示点(x,y)对应的前景点的亮度值和背景像素点的亮度值。D(x,y).H、B(x,y).H分别表示相应点的前景像素和背景像素的色度值。D(x,y).S、B(x,y).S分别表示相应点的前景像素和背景像素的饱和度值。α和β代表亮度的阈值，τ_s代表饱和度的阈值，τ_H代表色度的阈值。结果用S(x,y)表示，如果结果为 1表示该点为阴影的像素点，如果结果为0表示该点是非阴影点。该方法的优点在于通用性强，计算速度快，并且准确率较高。

静止目标检测中，主要分为两个部分，第一部分为可疑静止目标区域检测，第二部分为图片相似度计算，主要的目的是检测可疑静止目标是否发生的变化，从而确定是否为真正的静止目标。

在所述静止像素矩阵建立步骤具体为：当前景目标由运动状态变成了静止状态的很短的时间内，静止的物体仍然为前景，利用这很短的时间内的像素点是否为前景的信息建立可疑静止像素矩阵。静止像素矩阵的大小和图片的大小相同。静止像素矩阵初每个元素始化为 0，B(x,y)代表当前帧的所在位置为(x,y)处的点是否为前景表示如下式：

静止像素矩阵的更新方式如下式

其中F_n(x,y)代表静止像素矩阵点(x,y)处在第n帧的值。

在所述可疑静止区域检测步骤具体为：当某一点为前景像素点，则在可疑静止像素矩阵的相对位置的值就会加一。如果某一点有前景变成背景，将该点在静止像素矩阵中的值置0。如果某一个点达到了预期设置的阈值，这里设置的值是150，则认为该点为可疑静止像素点，由可疑静止像素点组成的联通区域为可疑静止区域，然后将该区域的信息存放到图片缓冲区，以便下一步确认是否为真正的静止区域。

在所述静止区域检测步骤具体为：当得到可疑静止区域之后，将可疑静止区域的信息存置图像缓冲区，需在经过N帧之后确认是否为真正的静止区域。可以通过图像相似度确认之前的图像和N帧之后的图像内容是否“一样”。如附图3所示，图像相似度计算的具体步骤如下：

(1)读取两张图像并且进行灰度化，分别标记为图像A和图像B。

(2)分别计算两张图像的灰度直方图，分别标记为A_hist和 B_hist。

(3)对A_hist和B_hist进行归一化，归一化的公式如下式所示：

x＝(x-Min)/(Max-Min)

其中x代表直方图中每一个像素级所对应的值，Max代表直方图中最大值，Min代表直方图中最小值。

(4)对归一化之后的A_hist和B_hist，求得它们的之间巴氏距离。巴氏距公式如下所示：

其中DB(A_hist,B_hist)代表A_hist和B_hist之间的巴氏距离

(5)判断两个灰度直方图之间巴氏距离，如果巴氏距离过大则认为两张图像的相似度程度较低。如果巴氏距离较小，则认为两张图像的相似程度较高。

(6)当判断两张图像的巴氏距离较小时，继续判断两张图像的相对位置的差异程度。将两张图像缩小至32×32。减少计算量并且减少细节的影响。

(7)计算缩小之后两张图像的欧式距离，计算公式如下式所示：

其中D(A,B)为图像A和图像B缩小至32×32之后的欧式距离； A_piexl(x,y)表示图像A在点(x,y)处的像素值，B_piexl(x,y)表示图像B在点(x,y)处的像素值，当D(A,B)过大时可以判定两张图像的内容差异很大。

通过上述的步骤可以很好的解决在摄像头不动的情况下，相隔较短的两帧图像的相对位置的图像内容是否发生了变化。从而可以利用这种方法来检测在一个暂时停止运动的物体，是否真正的停了下来。并且可以解决目标小部分遮挡的问题，提高算法的鲁棒性。

在所述车辆识别步骤具体为：首先实现了对Haar分类器的改进，设计了一种级联分类器，最后应用改进的分类器对静止的车辆进行识别，还加入了遮挡检测，应对在复杂场景下无法识别的问题。

1)级联分类器，主要目标就是有较高的识别率和较小的误识率，通过训练多个强分类器，将训练的强分类器级联起来。具体流程图参见附图4，算法如下：

通过上面改进的算法可以提高级联分类器训练过程中的容错性和鲁棒性，并且在保证了识别的准确率和误检率，同时避免在训练过程中出现滞停现象和训练时间较长的现象。

2)静止车辆的识别，将当前静止目标区域的以及其相应的领域组成的子图像作为Haar分类器的输入，而不是将整张图像作为输入，这样做的目的是减小Haar分类器在车辆检测的时候减少检测窗口的搜索范围，增加系统的实时性。具体算法如下：

在所述遮挡检测中，采用基于混合高斯模型的方法可以解决在复杂的场景下识别目标被暂时遮挡的问题。当判断静止目标是否是车时，由于遮挡往往导致识别失败，通过混合高斯模型有很好的适应外部条件变化的情况，可以准确提取当前图像中运动的前景。具体的遮挡检测步骤如下：

a.记录上一帧静止车辆的位置矩形框信息。

b.计算目前帧的前景运动目标像素点在当前矩形框的内部相对位置和所占的比例。

c.如果所占的比例大于30％，则判定该静止目标已经运行。

d.如果所占的比例小于等于30％，则判定该静止目标没有运行，仍为静止目标，将当前的矩形信息框作为当前帧中静止车辆的位置信息，继续报警。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于监控视频的停车检测方法，其特征在于，所述方法包括如下步骤：

视频数据采集步骤：普通路边的监控摄像头拍摄的视频数据，所述监控摄像头的相对位置和拍摄的角度保持不变；

背景模型建立步骤：通过分析视频序列建立基于混合高斯模型的背景模型；

前景运动目标提取步骤：提取出视频图像中的运动前景目标；

静止目标区域检测步骤：检测出视频中的静区域，具体为先找到可疑的静止目标区域，然后经过N帧之后，与之前帧图像的相应位置进行相似度比较，确定是否为真正的静止区域，所述静止目标区域检测步骤包括可疑静止区域检测子步骤：建立静止像素矩阵，当某一点为前景像素点，则在可疑静止像素矩阵的相对位置的值就会加一；如果某一点有前景变成背景，将该点在静止像素矩阵中的为0；如果某一个点达到了预期设置的阈值，则认为该点为可疑静止像素点，由可疑静止像素点组成的联通区域为可疑静止区域，在所述静止区域检测步骤中，对可疑静止区域进行验证，通过与第N帧之后的图像进行比对，筛选出真正的静止区域；具体步骤如下：

读取两张图像并且进行灰度化，分别标记为图像A和图像B；

分别计算两张图像的灰度直方图，分别标记为A_hist和B_hist；

对A_hist和B_hist进行归一化，归一化的公式如下式所示：

x＝(x-Min)/(Max-Min)

其中x代表直方图中每一个像素级所对应的值，Max代表直方图中最大值，Min代表直方图中最小值；

对归一化之后的A_hist和B_hist，求得它们的之间巴氏距离，巴氏距离DB(A_hist,B_hist)如下所示：

判断两个灰度直方图之间巴氏距离，如果巴氏距离过大则认为两张图像的相似度程度较低，如果巴氏距离较小，则认为两张图像的相似程度较高；

当判断两张图像的巴氏距离较小时，继续判断两张图像的相对位置的差异程度，将两张图像缩小至32×32，减少计算量并且减少细节的影响；

计算缩小之后两张图像的欧式距离

其中D(A,B)为图像A和图像B缩小至32×32之后的欧式距离；A_piexl(x,y)表示图像A在点(x,y)处的像素值，B_piexl(x,y)表示图像B在点(x,y)处的像素值，当D(A,B)过大时可以判定两张图像的内容差异很大；

车辆识别步骤：采用改进的Haar分类器对静止区域进行识别，达到检测车的目的；通过训练多个强分类器，将训练的强分类器级联起来构成所述改进的Haar分类器，逐一对输入图像进行分类识别，通过识别后则输入到下一级分类器，不通过则直接识别为非车辆。

2.根据权利要求1所述的方法，其特征在于：所述方法还包括阴影检测步骤：采用基于HSV空间的阴影检测方法降低阴影对前景运动目标提取的影响，具体为：判断一个运动的点是否为阴影参照如下的公式：

其中，D、B分别表示HSV颜色空间下的前景图像的像素点和背景图像的像素点，其中D(x,y).V、B(x,y).V分别表示点(x,y)对应的前景点的亮度值和背景像素点的亮度值；D(x,y).H、B(x,y).H分别表示相应点的前景像素和背景像素的色度值；D(x,y).S、B(x,y).S分别表示相应点的前景像素和背景像素的饱和度值；α和β代表亮度的阈值，τ_s代表饱和度的阈值，τ_H代表色度的阈值；结果用S(x,y)表示，如果结果为1表示该点为阴影的像素点，如果结果为0表示该点是非阴影点。

3.根据权利要求1所述的方法，其特征在于：在所述可疑静止区域检测步骤之前，所述方法还包括静止像素矩阵的建立：当前景目标由运动状态变成了静止状态的很短的时间内，静止的物体仍然为前景，利用这很短的时间内的像素点是否为前景的信息建立可疑静止像素矩阵，静止像素矩阵的大小和图片的大小相同，静止像素矩阵初始每个元素始化0，B(x,y)代表当前帧的所在位置为(x,y)处的点是否为前景，表示如下式：

静止像素矩阵的更新方式如下式：

其中F_n(x,y)代表静止像素矩阵点(x,y)处在第n帧的值。

4.根据权利要求1所述的方法，其特征在于：在所述背景模型建立步骤中，主要是对背景进行建模，便于分离图像的前景和背景，所采用的混合高斯模型是使用K个单高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。

5.根据权利要求1所述的方法，其特征在于：在所述的车辆识别步骤中，应用分类器对静止的车辆进行识别，判断是否为车；为达到车辆检测的目的，并且采用基于混合高斯模型进行遮挡检测，降低系统漏检率；具体算法为：

获取静止区域的连通区域以及图片的长度H和宽度W；

计算连通区域的中心点的坐标(x,y)；

计算静止区域的连通区域的外接矩形R_static；

构建以坐标点(x,y)为中心，宽度为W/3，高度为H/3的矩形R；

在原图像中获取以矩形R覆盖位置的子图img；

在子图img上进行车辆识别，得到识别结果包围框；

判断包围框中是否存在和R_static相交面大于75％；

如果存在进行报警，不存在继续进行检测。

6.根据权利要求5所述的方法，其特征在于：在所述的车辆识别步骤中，阴影检测主要是解决在复杂场景下，目标被暂时遮挡的问题，具体的步骤如下：

a.记录上一帧静止车辆的位置矩形框信息；

b.计算目前帧的前景运动目标像素点在当前矩形框的内部相对位置和所占的比例；

c.如果所占的比例大于30％，则判定该静止目标已经运行；

d.如果所占的比例小于等于30％，则判定该静止目标没有运行，仍为静止目标，将当前的矩形信息框作为当前帧中静止车辆的位置信息，继续报警。

7.根据权利要求1-6任一项所述的基于监控视频的停车检测方法的停车检测装置，其特征在于：所述装置包括：

视频数据采集单元：用于普通路边的监控摄像头拍摄的视频数据，所述监控摄像头的相对位置和拍摄的角度保持不变；

背景模型建立单元：用于通过分析视频序列建立基于混合高斯模型的背景模型；

前景运动目标提取单元：用于提取出视频图像中的运动前景目标；

静止目标区域检测单元：用于检测出视频中的静止区域；

车辆识别单元：用于采用改进的Haar分类器对静止区域进行识别，达到检测车的目的；通过训练多个强分类器，将训练的强分类器级联起来构成所述改进的Haar分类器，逐一对输入图像进行分类识别，通过识别后则输入到下一级分类器，不通过则直接识别为非车辆。

8.根据权利要求7所述的停车检测装置，其特征在于：所述装置还包括：阴影检测单元：用于采用基于HSV空间的阴影检测方法降低阴影对前景运动目标提取的影响；可疑静止区域检测单元：用于建立静止像素矩阵，当某一点为前景像素点，则在可疑静止像素矩阵的相对位置的值就会加一；如果某一点有前景变成背景，将该点在静止像素矩阵中的为0；如果某一个点达到了预期设置的阈值，则认为该点为可疑静止像素点，由可疑静止像素点组成的联通区域为可疑静止区域。