CN103116987A - 一种基于监控视频处理的车流统计和违规检测的方法 - Google Patents

Abstract

本发明公开了一种基于监控视频处理的车流统计和违规检测的方法，包括步骤：获取视频源，读取一帧图像，判断当前帧是否是第一帧，如果不是，则利用当前帧和上一帧对应像素点的差值信息来更新前景背景图像，并利用前景背景图像提取当前帧的感兴趣区域MASK，计算当前帧的积分图像和平方积分图像，根据计算得到的当前帧的积分图像和平方积分图像并利用Adaboost算法在当前帧的感兴趣区域MASK中检测是否存在有车牌目标，检测到的车牌目标位置信息保存在列表TmpList中，判断临时目标列表TmpList是否为空，如果为空，则判断跟踪目标序列Track_List是否为空，如果为空，将ObjList列表中检测到的目标添加入Track_List。本发明可精确统计路口车流量，并综合交通信号灯指示判断车辆目标是否违规。

Description

一种基于监控视频处理的车流统计和违规检测的方法

技术领域

本发明属于图像模式识别、视频目标跟踪、智能视频监控和智能交通领域，更具体地，涉及一种基于监控视频处理的车流统计和违规检测的方法。

背景技术

车流量是交通路况管理和调控不可或缺的重要数据。车流量统计能反映出实时的交通情况，方便交通管理者进行调控，同时给居民出行提供重要的参考信息。更重要的是，车流量可以反映出各个路段的负荷情况，为城市规划者提供重要的依据。在一些特殊场合例如火车站，机场附近，以及一些大型集会场所，车流量统计技术又有了重要的安防意义。

视频车辆违规智能检测指从监控视频中自动检测出有闯红灯违规行为的车辆。包括直行红灯，左转红灯。它是智能交通监控系统的一项关键技术，能够辅助交管部门对道路监控视频的海量信息进行智能处理和筛选。

基于视频处理的智能交通监控系统是当前计算机视觉领域的一个研究热点。它具体涉及到了运动目标检测和运动目标跟踪技术。

目前视频中车辆目标的检测方法主要有基于背景建模的检测方法和基于分类的识别检测方法。

基于背景建模的检测方法能够自适应的建立输入场景背景图像的模型，利用当前输入图像与背景模型做差分和阈值化运算即可检测出输入图像中的前景目标。该方法通过背景建模算法可以获得较完整的运动目标特征数据，对于无光照变化或光线变化缓慢的场景有较好的适用性。但是，该方法对运动目标的区分度差，难以区分检测出的运动目标是车辆目标还是行人或者非机动车。并且，当交通路况复杂，车辆间出现遮挡时，背景建模的方法无法区分每个目标。

对于基于分类器的方法，往往需要首先对车辆提取各种特征，然后设计合理的分类器来分类是否为车辆目标。在检测时，采用多尺度检测窗口滑动搜索的方法在图像内部检测车辆目标。这类方法的性能往往取决于特征的选择和分类器的设计。它一般可以分为：i）基于神经网络的车辆识别；ii）基于Gabor滤波器的车辆识别；iii）基于支持向量机（SVM）的车辆识别等方法。基于分类器的方法能够适应复杂场景，较准确地对目标进行识别检测。但是，使用分类器的多尺度窗口滑动搜索检测方法是一种耗时较高的检测方法，在视频中进行检测很难满足实时性。并且由于不同车型车辆外观差异较大，如何提取有效特征训练出正确率高的分类器也是技术难点。

同时，目前计算机视觉领域中经典的运动目标跟踪算法包括：卡尔曼滤波、粒子滤波跟踪以及均值平移算法跟踪等方法。其核心思想是通过前后两帧图像中特征的匹配来判断前一帧中的目标在后一帧中的位置。对于视频序列，则反复调用跟踪算法，来获取目标在视频中的运动轨迹。由于计算是迭代性的，跟踪的错误率在迭代过程中会增加，产生跟踪偏移，跟丢目标等错误。并且多数跟踪算法计算量大，时耗超出了实时处理的限度。如何保证跟踪的稳定性，和提升跟踪算法的计算效率是目前目标跟踪算法走向应用的瓶颈所在。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于监控视频处理的车流统计和违规检测的方法，该方法选取车辆车牌局部区域训练分类器，并使用聚类的方法精确确定车辆目标位置、排除虚警，再综合相关跟踪算法实现对车辆目标的精确跟踪，最后分析车辆运动轨迹，来精确统计路口车流量，并综合交通信号灯指示判断车辆目标是否违规。

为实现上述目的，本发明提供了一种基于监控视频处理的车流统计和违规检测的方法，包括以下步骤：

（1）获取视频源，读取一帧图像；

（2）判断当前帧是否是第一帧，如果是则建立和视频图像对应的前景背景图像，前景表示运动区域，背景表示静止区域，将所有的像素点初始化为背景区域，建立空的跟踪目标列表Track_List，转入步骤（1 3），否则进入步骤（3）；

（3）利用当前帧和上一帧对应像素点的差值信息来更新前景背景图像，并利用前景背景图像提取当前帧的感兴趣区域MASK；

（4）计算当前帧的积分图像和平方积分图像；

（5）根据计算得到的当前帧的积分图像和平方积分图像并利用Adaboost算法在当前帧的感兴趣区域MASK中检测是否存在有车牌目标，检测到的车牌目标位置信息保存在列表TmpLi st中；

（6）判断临时目标列表TmpLi st是否为空，如果为空，则转入步骤（7），否则，使用聚类的方法处理TmpLi st中的M个车牌目标信息，其中M为正整数，从M个车牌目标信息中获得当前帧的图像中K个车辆目标准确的位置信息，其中K为正整数，并保存至检测目标列表ObjList；

（7）判断跟踪目标序列Track_List是否为空，如果为空，将ObjList列表中检测到的目标添加入Track_List，然后转入步骤（11），否则进入步骤（8）；

（8）对Track_List中每一个目标，用基于LK光流法的跟踪算法，计算出目标在当前帧中新的位置；

（9）对检测列表ObjList的每一个目标与跟踪列表Track_Li st内的目标进行距离相关匹配，删除检测列表ObjList中已经存在于跟踪列表内的目标，并将新出现的检测目标添加入跟踪列表Track_List；

（10）遍历Track_List的目标，对于出现跟踪时间超过MAXSTAYTIME帧还停留在图像区域内的目标，在目标区域内检测车牌验证其是否为长时间停留车辆，如果不是，则删除该目标，如果是，则重置跟踪时间并继续跟踪；

（11）依次分析Track_List中车辆目标的运动信息，获取当前的交通信号，如果在红灯的状态下有车辆目标穿越标定的停车线，则标记目标为违规车辆，报警提示，并且自动保存记录当前帧前后帧的图像信息，作为该车辆违规的证据；

（12）判断Track_List是否有满足计数规则的车辆目标，若有则更新车流量统计数据，并标记该目标为已计数避免重复计数，若没有则直接进入步骤（13）；

（13）从视频源读取下一帧图像，重复步骤（2）~（13）的操作。

步骤（3）包括以下子步骤：

（3-1）对于当前帧中的每一个像素点，判断其位置处于背景区域还是前景区域，如果处于背景区域，则转入步骤（3-2），如果处于前景区域，则转入步骤（3-3）；

（3-2）对于背景区域中的每一个像素点，计算其与前一帧中对应像素点的差值，并判断该差值是否大于阈值DELTA，如果是则表示该像素点是在运动区域，将该像素点的位置标记为前景区域，并将该像素点对应的计数器T设置为0，并转入步骤（3-5），否则直接转入步骤（3-5）；

（3-3）对于前景区域中的每一个像素点，计算其与前一帧中对应像素点的差值，并判断该差值是否大于阈值DELTA，如果是则转入步骤（3-5），否则将该像素的计数器T加1；

（3-4）判断计数器T是否大于计数器阈值DURATION，如果大于则表示该像素点的位置不再发生运动，并将其位置标记为背景区域，然后转入步骤（3-5），否则直接转入步骤（3-5）；

（3-5）对获取的前景背景图像进行中值滤波和二值化处理，以获得当前帧的感兴趣区域MASK。

步骤（4）中平方积分图像的计算方法是，先将当前帧中每个像素点的像素值平方，再根据积分图像的计算方法获得平方积分图像。

步骤（5）包括以下子步骤：

（5-1）用不同尺度大小的检测窗口依次在当前帧的图像内从左至右由上至下滑动检索，在本实施方案中使用了64×16、70×18、77×20、86×22四种尺度的检测窗口；

（5-2）判断该检测窗口的中心区域在感兴趣区域MASK内是否处在背景区域，若是则转至步骤（5-4），否则，说明检测窗口处在前景区域，进入步骤（5-3）；

（5-3）判断该检测窗口的图像是否能通过离线学习得到的adboost车牌分类器，如果是，则将窗口的位置和大小加入临时目标列表TmpList，然后转入步骤（5-4），否则过程结束；

（5-4）将检测窗口移动到下一个位置，并重复步骤（5-1）至（5-3），直到每个尺寸的检测窗口都遍历完当前帧的整幅图像为止。

步骤（6）包括以下子步骤：

（6-1）遍历TmpLi st中的M个车牌目标，计算第i个目标和第j个目标中区域较大的宽度值与两个目标区域四顶点对应的距离差的最大值的比值，如果该比值大于阈值r，则表示这两个目标代表的是同一个车牌，将这两个目标标记为同一类，否则计算下一对目标，最终将TmpLi st中的目标被分为N类，其中i和j均为小于等于M的正整数，N为正整数；

（6-2）遍历TmpLi st中的每一类，如果该类中目标个数小于MIN_NEIGHBOR，则表示该类都是虚警，删除该类，否则判断TmpList中下一个类。直到处理完所有类；

（6-3）将步骤（6-2）处理后的、TmpLi st中还剩下的K类设为真实的车牌目标，依次计算每一类中所有目标的平均中心位置和平均长宽为真实车牌目标的位置和大小；

（6-4）根据车牌位置大小和车身位置大小的经验比例，将车牌目标区域扩大到车身目标区域，最终得到K个真实车辆目标的位置信息，并放入检测列表ObjList中。

步骤（8）包括以下子步骤：

（8-1）从跟踪列表Track_Li st中获得该目标在上一帧的位置区域rect，在rect内等距离的选取一组L×L个特征点，组成方形特征点阵points1；

（8-2）计算上一帧图像和当前帧图像的3层LK金字塔，金字塔最底层为原始图像，其上每一层为下一层缩小1/2的图像；

（8-3）使用LK光流法，计算上一帧中点阵point s1在当前帧对应的特征匹配点阵points2；

（8-4）再次使用LK光流法，计算当前帧中点阵point s2在上一帧对应的特征匹配点阵points3；

（8-5）使用距离关联匹配排除LK光流法中误差较大的点；

（8-6）使用相似度关联匹配再次排除LK光流法中误差较大的点；

（8-7）通过（8-5）（8-6）两次筛选排除后点阵point s1中剩下的点是LK光流法计算准确的点，求出这些点在point s1到points2的平均位移，该位移就是目标从上一帧到当前帧的运动位移；

（8-8）根据计算出的位移和上一帧目标的位置得到目标在当前帧的新位置。更新Track_List中每个目标的位置和目标轨迹信息；

步骤（8-5）具体为，依次计算point s1和point s3两个点阵对应点的距离，先计算出距离的平均值，再遍历每个对应特征点，如果point s1和points3两个点阵对应点的距离大于平均值则删除该特征点，否则，处理下一组对应特征点，直到处理完点阵中所有的特征点。

步骤（8-6）具体为，计算点阵points1内剩下特征点的领域图像和points2对应特征点的领域图像像素的差值，这些差值的和为DV。如果DV大于阈值P，则认为该点跟踪失误，排除该点。

步骤（10）包括以下子步骤：

（10-1）建立新的感兴趣区域图像DMASK，将该目标区域设置为前景，其他位置作为背景。

（10-2）用DMASK代替MASK作为感兴趣区域，使用与步骤（5）、步骤（6）相同的方法进行adaboost目标检测，并得到检测结果ObjList’；

（10-3）判断ObjList’是否为空，如果是，则表示目标区域内没有车辆特征，判断为跟踪出现偏差导致漂移到背景区域，在Track_Li st中删除该跟踪目标，否则表示目标区域内有车牌信息，说明该目标车辆在长时间停留，重置目标的跟踪时间，并继续跟踪。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：

（1）可以快速准确的检测出监控视频中的车辆目标：由于采用了步骤（3）提取了感兴趣区域，因此减小了检测步骤的运算量，并降低出现在背景区域的虚警；由于采用了步骤（6）对检测结果进行聚类，因此更精确的定位出车辆目标。

（2）可以精确获得车辆目标的运动轨迹：由于采用了步骤（8-5）和步骤（8-6）两种误差排除方法，极大的降低了传统光流算法的误差率，因此计算得到的车辆目标运动轨迹非常准确。

（3）对跟踪错误和长时间停留车辆两种情况的判别提出了便捷的算法：由于采用了步骤（10），使用了较小的感兴趣区域和步骤（4）已经计算的中间数据，快速的验证了长时间跟踪的目标区域内是否有车辆特征，因此很好地区分了跟踪错误和长时间停留车辆两种情况。

（4）可智能检测闯红灯违规车辆并保留图像证据：由于采用了步骤（11），结合了交通信号信息对步骤（2）至（10）获得的车辆目标运动信息进行分析判别，因此可以检测到监控视频中闯红灯违规车辆。

（5）可智能的统计监控路口的车流量：由于采用了步骤（12），对步骤（2）至（10）获得的车辆目标运动轨迹进行处理，因此能智能地对路口通过车辆进行计数。

附图说明

图1为本发明基于监控视频处理的车流统计和违规检测的方法的总体流程图。

图2（a）为视频序列中一帧图像的原始图像。

图2（b）为计算得到包含运动目标的感兴趣区域图像。

图2（c）为本发明对该帧图像车牌目标检测的结果。

图3为本发明对车辆目标跟踪及车流量计数的结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明基于监控视频处理的车流统计和违规检测的方法按照功能结构可分为运动建模、目标检测、目标跟踪和目标行为分析四个大步骤，需要注意的是，本发明在分析图像时，只利用了图像的亮度信息（即灰度图像）。

本发明基于监控视频处理的车流统计和违规检测的方法具体包括以下步骤：

（1）获取视频源，读取一帧图像，图2(a)显示了某一帧的原始图像；

（2）判断当前帧是否是第一帧，如果是则建立和视频图像对应的前景背景图像，前景表示运动区域，背景表示静止区域，将所有的像素点初始化为背景区域，建立空的跟踪目标列表Track_List，转入步骤（13），否则进入步骤（3）；

（3）利用当前帧和上一帧对应像素点的差值信息来更新前景背景图像，并利用前景背景图像提取当前帧的感兴趣区域MASK；具体而言，本步骤包括以下子步骤：

（3-1）对于当前帧中的每一个像素点，判断其位置处于背景区域还是前景区域，如果处于背景区域，则转入步骤（3-2），如果处于前景区域，则转入步骤（3-3）；

（3-2）对于背景区域中的每一个像素点，计算其与前一帧中对应像素点的差值，并判断该差值是否大于阈值DELTA，如果是则表示该像素点是在运动区域，将该像素点的位置标记为前景区域，并将该像素点对应的计数器T设置为0，并转入步骤（3-5），否则直接转入步骤（3-5）；在本实施方式中，阈值DELTA取值范围是3至5；

（3-3）对于前景区域中的每一个像素点，计算其与前一帧中对应像素点的差值，并判断该差值是否大于阈值DELTA，如果是则转入步骤（3-5），否则将该像素的计数器T加1；

（3-4）判断计数器T是否大于计数器阈值DURATION，如果大于则表示该像素点的位置不再发生运动，并将其位置标记为背景区域，然后转入步骤（3-5），否则直接转入步骤（3-5）；在本实施方式中，计数器阈值DURATION取值范围是8至12；

（3-5）对获取的前景背景图像进行中值滤波和二值化处理，以获得当前帧的感兴趣区域MASK，图2(b)显示了步骤（3）计算得到的图2(a)的感兴趣区域图像，该图像包含运动的车牌区域；

本步骤的优点是建立的提取了运动感兴趣区域，后续步骤的检测在感兴区域内的进行，不仅减少了检测步骤的运算量，还避免了在非运动区域出现的检测虚警，降低了虚警率。

（4）计算当前帧的积分图像和平方积分图像；具体而言，积分图像的计算方法是，从当前帧的原点开始每一个像素点的积分图像值是以该像素点和图像原点构成矩形中所有像素值之和；

平方积分图像的计算方法是，先将当前帧中每个像素点的像素值平方，再根据积分图像的计算方法获得平方积分图像；

（5）根据计算得到的当前帧的积分图像和平方积分图像并利用Adaboost算法在当前帧的感兴趣区域MASK中检测是否存在有车牌目标，检测到的车牌目标位置信息保存在列表TmpList中；具体而言，本步骤包括以下子步骤：

（5-1）用不同尺度大小的检测窗口依次在当前帧的图像内从左至右由上至下滑动检索，在本实施方案中使用了64×16、70×18、77×20、86×22四种尺度的检测窗口；

（5-2）判断该检测窗口的中心区域在感兴趣区域MASK内是否处在背景区域，若是则转至步骤（5-4），否则，说明检测窗口处在前景区域，进入步骤（5-3）；

（5-3）判断该检测窗口的图像是否能通过离线学习得到的adboo st车牌分类器，如果是，则将窗口的位置和大小加入临时目标列表TmpList，然后转入步骤（5-4）。否则过程结束；

（5-4）将检测窗口移动到下一个位置，并重复步骤（5-1）至（5-3），直到每个尺寸的检测窗口都遍历完当前帧的整幅图像为止；

（6）判断临时目标列表TmpLi st是否为空，如果为空，则转入步骤（7），否则，使用聚类的方法处理TmpLi st中的M个车牌目标信息（其中M为正整数），从M个车牌目标信息中获得当前帧的图像中K个车辆目标准确的位置信息（其中K为正整数），并保存至检测目标列表ObjList；具体而言，本步骤包括以下子步骤：

（6-1）遍历TmpLi st中的M个车牌目标，计算第i个目标和第j个目标（其中i和j均为小于等于M的正整数）中区域较大的宽度值与两个目标区域四顶点对应的距离差的最大值的比值，如果该比值大于阈值r，则表示这两个目标代表的是同一个车牌，将这两个目标标记为同一类，否则计算下一对目标，最终将TmpLi st中的目标被分为N类（其中N为正整数）；阈值r的取值范围是5至7。

（6-2）遍历TmpLi st中的每一类，如果该类中目标个数小于MIN_NEIGHBOR，则表示该类都是虚警，删除该类。否则判断TmpList中下一个类。直到处理完所有类；在本实施方式中，MIN_NEIGHBOR根据选取尺度的不同可以取3~5。

（6-3）将步骤（6-2）处理后的、TmpLi st中还剩下的K类设为真实的车牌目标，依次计算每一类中所有目标的平均中心位置和平均长宽为真实车牌目标的位置和大小。图2(c)显示了对图2(a)的图像检测到的真实车牌目标结果。

（6-4）根据车牌位置大小和车身位置大小的经验比例，将车牌目标区域扩大到车身目标区域，最终得到K个真实车辆目标的位置信息，并放入检测列表ObjList中；

本步骤的优点是使用了聚类的方法，从检测到的多个目标结果中提取了真实目标准确的位置信息，并且排除了检测过程中出现的虚警。

（7）判断跟踪目标序列Track_Li st是否为空，如果为空，将ObjList列表中检测到的目标添加入Track_List，然后转入步骤（11），否则进入步骤（8）；

（8）对Track_Li st中每一个目标，用基于LK光流法的跟踪算法，计算出目标在当前帧中新的位置；具体而言，本步骤包括以下子步骤：

（8-1）从跟踪列表Track_Li st中获得该目标在上一帧的位置区域rect，在rect内等距离的选取一组L×L个特征点，组成方形特征点阵point s1；在本实施方式中，L可以取值4至6。

（8-2）计算上一帧图像和当前帧图像的3层LK金字塔，金字塔最底层为原始图像，其上每一层为下一层缩小1/2的图像；

（8-3）使用LK光流法，计算上一帧中点阵point s1在当前帧对应的特征匹配点阵points2；

（8-4）再次使用LK光流法，计算当前帧中点阵point s2在上一帧对应的特征匹配点阵points3；

（8-5）使用距离关联匹配排除LK光流法中误差较大的点；如果光流法计算正确，points1和points3中的对应点应该在很小的范围内；具体而言，依次计算points1和points3两个点阵对应点的距离，先计算出距离的平均值。再遍历每个对应特征点，如果points1和points3两个点阵对应点的距离大于平均值则删除该特征点，否则，处理下一组对应特征点，直到处理完点阵中所有的特征点；

（8-6）使用相似度关联匹配再次排除LK光流法中误差较大的点；具体而言，计算点阵points1内剩下特征点的领域图像和points2对应特征点的领域图像像素的差值，这些差值的和为DV。如果DV大于阈值P，则认为该点跟踪失误，排除该点；在本实施方式中，阈值P可以取值5×领域点的个数；

（8-7）通过（8-5）（8-6）两次筛选排除后点阵point s1中剩下的点是LK光流法计算准确的点，求出这些点在point s1到points2的平均位移，该位移就是目标从上一帧到当前帧的运动位移；

（8-8）根据计算出的位移和上一帧目标的位置得到目标在当前帧的新位置。更新Track_List中每个目标的位置和目标轨迹信息；

本步骤的优点是使用了步骤（8-5）和步骤（8-6）两种误差排除方法，极大的降低了传统光流算法的误差率，因此计算得到的车辆目标运动轨迹非常准确。

（9）对检测列表ObjList的每一个目标与跟踪列表Track_Li st内的目标进行距离相关匹配，删除检测列表ObjList中已经存在于跟踪列表内的目标，并将新出现的检测目标添加入跟踪列表Track_Li st。具体而言，对ObjList的每一个目标，遍历Track_List内的目标，如果在Track_Li st内存在两者距离小于该目标宽度的1/5的目标，认为两者表示的是同一车辆，在检测列表ObjList中删除此目标。ObjList最后剩下的是新出现的目标，添加入Track_List；

（10）遍历Track_List的目标，对于出现跟踪时间超过MAXSTAYTIME帧还停留在图像区域内的目标，在目标区域内检测车牌验证其是否为长时间停留车辆（MAXSTAYTIME可以取值20*帧率），如果不是，则删除该目标，如果是，则重置跟踪时间并继续跟踪；具体而言，本步骤包括以下子步骤：

（10-1）建立新的感兴趣区域图像DMASK，将该目标区域设置为前景，其他位置作为背景。

（10-2）用DMASK代替MASK作为感兴趣区域，使用与步骤（5）、步骤（6）相同的方法进行adaboost目标检测，并得到检测结果ObjList’；

（10-3）判断ObjList’是否为空，如果是，则表示目标区域内没有车辆特征，判断为跟踪出现偏差导致漂移到背景区域，在Track_List中删除该跟踪目标，否则表示目标区域内有车牌信息，说明该目标车辆在长时间停留，重置目标的跟踪时间，并继续跟踪；

本步骤的优点是使用了较小的感兴趣区域和步骤（4）中已经计算的中间数据，快速的验证了长时间跟踪的目标区域内是否有车辆特征，很好地区分了跟踪错误和长时间停留车辆两种情况。

（11）依次分析Track_List中车辆目标的运动信息，获取当前的交通信号，如果在红灯的状态下有车辆目标穿越标定的停车线，则标记目标为违规车辆，报警提示，并且自动保存记录当前帧前后帧的图像信息，作为该车辆违规的证据；

本步骤的优点是结合了交通信号信息对步骤（2）至（10）获得的车辆目标运动信息进行分析判别，智能检测闯红灯违规车辆并保留图像证据。

（12）判断Track_List是否有满足计数规则的车辆目标，若有则更新车流量统计数据，并标记该目标为已计数避免重复计数，若没有则直接进入步骤（13），图3为对某段视频进行车流量计数操作过程中的截图，上方的数字表示当前一共通过的车辆数目，下方显示了当前帧中的车辆目标以及跟踪得到的目标运动轨迹；

本步骤的优点是对步骤（2）至（10）获得的车辆目标运动轨迹进行处理，能智能地对路口通过车辆进行计数，从而智能统计监控路口的车流量。

（13）从视频源读取下一帧图像，重复步骤（2）~（13）的操作。

本发明提供了一种监控视频处理中车辆目标快速准确的检测识别方法和一种监控视频处理中车辆目标的精确跟踪方法，提供了检测目标和跟踪目标关联匹配的方法，以及跟踪超时再次检测验证的方法，从而能准确得到监控视频中车辆目标的运动信息。并且对得到的车辆目标运动信息进行分析处理，提出了车流量计数和智能闯红灯违规检测两种具有实用价值的应用方案。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于监控视频处理的车流统计和违规检测的方法，其特征在于，包括以下步骤： 

（1）获取视频源，读取一帧图像； 

（2）判断当前帧是否是第一帧，如果是则建立和视频图像对应的前景背景图像，前景表示运动区域，背景表示静止区域，将所有的像素点初始化为背景区域，建立空的跟踪目标列表Track_List，转入步骤（13），否则进入步骤（3）； 

（3）利用当前帧和上一帧对应像素点的差值信息来更新前景背景图像，并利用前景背景图像提取当前帧的感兴趣区域MASK； 

（4）计算当前帧的积分图像和平方积分图像； 

（5）根据计算得到的当前帧的积分图像和平方积分图像并利用Adaboost算法在当前帧的感兴趣区域MASK中检测是否存在有车牌目标，检测到的车牌目标位置信息保存在列表TmpLi st中； 

（6）判断临时目标列表TmpLi st是否为空，如果为空，则转入步骤（7），否则，使用聚类的方法处理TmpLi st中的M个车牌目标信息，其中M为正整数，从M个车牌目标信息中获得当前帧的图像中K个车辆目标准确的位置信息，其中K为正整数，并保存至检测目标列表ObjList； 

（7）判断跟踪目标序列Track_List是否为空，如果为空，将ObjList列表中检测到的目标添加入Track_List，然后转入步骤（11），否则进入步骤（8）； 

（8）对Track_List中每一个目标，用基于LK光流法的跟踪算法，计算出目标在当前帧中新的位置； 

（9）对检测列表ObjList的每一个目标与跟踪列表Track_List内的目标进行距离相关匹配，删除检测列表ObjList中已经存在于跟踪列表内 的目标，并将新出现的检测目标添加入跟踪列表Track_List； 

（10）遍历Track_List的目标，对于出现跟踪时间超过MAXSTAYTIME帧还停留在图像区域内的目标，在目标区域内检测车牌验证其是否为长时间停留车辆，如果不是，则删除该目标，如果是，则重置跟踪时间并继续跟踪； 

（11）依次分析Track_List中车辆目标的运动信息，获取当前的交通信号，如果在红灯的状态下有车辆目标穿越标定的停车线，则标记目标为违规车辆，报警提示，并且自动保存记录当前帧前后帧的图像信息，作为该车辆违规的证据； 

（12）判断Track_List是否有满足计数规则的车辆目标，若有则更新车流量统计数据，并标记该目标为已计数避免重复计数，若没有则直接进入步骤（13）； 

（13）从视频源读取下一帧图像，重复步骤（2）~（13）的操作。 

2.根据权利要求1所述的方法，其特征在于，步骤（3）包括以下子步骤： 

（3-1）对于当前帧中的每一个像素点，判断其位置处于背景区域还是前景区域，如果处于背景区域，则转入步骤（3-2），如果处于前景区域，则转入步骤（3-3）； 

（3-2）对于背景区域中的每一个像素点，计算其与前一帧中对应像素点的差值，并判断该差值是否大于阈值DELTA，如果是则表示该像素点是在运动区域，将该像素点的位置标记为前景区域，并将该像素点对应的计数器T设置为0，并转入步骤（3-5），否则直接转入步骤（3-5）； 

（3-3）对于前景区域中的每一个像素点，计算其与前一帧中对应像素点的差值，并判断该差值是否大于阈值DELTA，如果是则转入步骤（3-5），否则将该像素的计数器T加1； 

（3-4）判断计数器T是否大于计数器阈值DURATION，如果大于则表示 该像素点的位置不再发生运动，并将其位置标记为背景区域，然后转入步骤（3-5），否则直接转入步骤（3-5）； 

（3-5）对获取的前景背景图像进行中值滤波和二值化处理，以获得当前帧的感兴趣区域MASK。 

3.根据权利要求1所述的方法，其特征在于，步骤（4）中平方积分图像的计算方法是，先将当前帧中每个像素点的像素值平方，再根据积分图像的计算方法获得平方积分图像。 

4.根据权利要求1所述的方法，其特征在于，步骤（5）包括以下子步骤： 

（5-1）用不同尺度大小的检测窗口依次在当前帧的图像内从左至右由上至下滑动检索，在本实施方案中使用了64×16、70×18、77×20、86×22四种尺度的检测窗口； 

（5-2）判断该检测窗口的中心区域在感兴趣区域MASK内是否处在背景区域，若是则转至步骤（5-4），否则，说明检测窗口处在前景区域，进入步骤（5-3）； 

（5-3）判断该检测窗口的图像是否能通过离线学习得到的adboost车牌分类器，如果是，则将窗口的位置和大小加入临时目标列表TmpList，然后转入步骤（5-4），否则过程结束； 

（5-4）将检测窗口移动到下一个位置，并重复步骤（5-1）至（5-3），直到每个尺寸的检测窗口都遍历完当前帧的整幅图像为止。 

5.根据权利要求1所述的方法，其特征在于，步骤（6）包括以下子步骤： 

（6-1）遍历TmpLi st中的M个车牌目标，计算第i个目标和第j个目标中区域较大的宽度值与两个目标区域四顶点对应的距离差的最大值的比值，如果该比值大于阈值r，则表示这两个目标代表的是同一个车牌，将这两个目标标记为同一类，否则计算下一对目标，最终将TmpLi st中的目标 被分为N类，其中i和j均为小于等于M的正整数，N为正整数； 

（6-2）遍历TmpLi st中的每一类，如果该类中目标个数小于MIN_NEIGHBOR，则表示该类都是虚警，删除该类，否则判断TmpList中下一个类。直到处理完所有类； 

（6-3）将步骤（6-2）处理后的、TmpList中还剩下的K类设为真实的车牌目标，依次计算每一类中所有目标的平均中心位置和平均长宽为真实车牌目标的位置和大小； 

（6-4）根据车牌位置大小和车身位置大小的经验比例，将车牌目标区域扩大到车身目标区域，最终得到K个真实车辆目标的位置信息，并放入检测列表ObjList中。 

6.根据权利要求1所述的方法，其特征在于，步骤（8）包括以下子步骤： 

（8-1）从跟踪列表Track_Li st中获得该目标在上一帧的位置区域rect，在rect内等距离的选取一组L×L个特征点，组成方形特征点阵points1； 

（8-2）计算上一帧图像和当前帧图像的3层LK金字塔，金字塔最底层为原始图像，其上每一层为下一层缩小1/2的图像； 

（8-3）使用LK光流法，计算上一帧中点阵point s1在当前帧对应的特征匹配点阵points2； 

（8-4）再次使用LK光流法，计算当前帧中点阵point s2在上一帧对应的特征匹配点阵points3； 

（8-5）使用距离关联匹配排除LK光流法中误差较大的点； 

（8-6）使用相似度关联匹配再次排除LK光流法中误差较大的点； 

（8-7）通过（8-5）（8-6）两次筛选排除后点阵point s1中剩下的点是LK光流法计算准确的点，求出这些点在point s1到points2的平均位移，该位移就是目标从上一帧到当前帧的运动位移； 

（8-8）根据计算出的位移和上一帧目标的位置得到目标在当前帧的新位置。更新Track_List中每个目标的位置和目标轨迹信息。 

7.根据权利要求6所述的方法，其特征在于， 

步骤（8-5）具体为，依次计算point s1和point s3两个点阵对应点的距离，先计算出距离的平均值，再遍历每个对应特征点，如果points1和points3两个点阵对应点的距离大于平均值则删除该特征点，否则，处理下一组对应特征点，直到处理完点阵中所有的特征点； 

步骤（8-6）具体为，计算点阵point s1内剩下特征点的领域图像和points2对应特征点的领域图像像素的差值，这些差值的和为DV。如果DV大于阈值P，则认为该点跟踪失误，排除该点。 

8.根据权利要求1所述的方法，其特征在于，步骤（10）包括以下子步骤： 

（10-1）建立新的感兴趣区域图像DMASK，将该目标区域设置为前景，其他位置作为背景。 

（10-2）用DMASK代替MASK作为感兴趣区域，使用与步骤（5）、步骤（6）相同的方法进行adaboost目标检测，并得到检测结果ObjList’； 

（10-3）判断ObjList’是否为空，如果是，则表示目标区域内没有车辆特征，判断为跟踪出现偏差导致漂移到背景区域，在Track_Li st中删除该跟踪目标，否则表示目标区域内有车牌信息，说明该目标车辆在长时间停留，重置目标的跟踪时间，并继续跟踪。 

Images