CN103116987B - 一种基于监控视频处理的车流统计和违规检测的方法 - Google Patents
一种基于监控视频处理的车流统计和违规检测的方法 Download PDFInfo
- Publication number
- CN103116987B CN103116987B CN201310023021.0A CN201310023021A CN103116987B CN 103116987 B CN103116987 B CN 103116987B CN 201310023021 A CN201310023021 A CN 201310023021A CN 103116987 B CN103116987 B CN 103116987B
- Authority
- CN
- China
- Prior art keywords
- target
- list
- image
- area
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于监控视频处理的车流统计和违规检测的方法,包括步骤:获取视频源,读取一帧图像,判断当前帧是否是第一帧,如果不是,则利用当前帧和上一帧对应像素点的差值信息来更新前景背景图像,并利用前景背景图像提取当前帧的感兴趣区域MASK,计算当前帧的积分图像和平方积分图像,根据计算得到的当前帧的积分图像和平方积分图像并利用Adaboost算法在当前帧的感兴趣区域MASK中检测是否存在有车牌目标,检测到的车牌目标位置信息保存在列表TmpList中,判断临时目标列表TmpList是否为空,如果为空,则判断跟踪目标序列Track_List是否为空,如果为空,将ObjList列表中检测到的目标添加入Track_List。本发明可精确统计路口车流量,并综合交通信号灯指示判断车辆目标是否违规。
Description
技术领域
本发明属于图像模式识别、视频目标跟踪、智能视频监控和智能交通领域,更具体地,涉及一种基于监控视频处理的车流统计和违规检测的方法。
背景技术
车流量是交通路况管理和调控不可或缺的重要数据。车流量统计能反映出实时的交通情况,方便交通管理者进行调控,同时给居民出行提供重要的参考信息。更重要的是,车流量可以反映出各个路段的负荷情况,为城市规划者提供重要的依据。在一些特殊场合例如火车站,机场附近,以及一些大型集会场所,车流量统计技术又有了重要的安防意义。
视频车辆违规智能检测指从监控视频中自动检测出有闯红灯违规行为的车辆。包括直行红灯,左转红灯。它是智能交通监控系统的一项关键技术,能够辅助交管部门对道路监控视频的海量信息进行智能处理和筛选。
基于视频处理的智能交通监控系统是当前计算机视觉领域的一个研究热点。它具体涉及到了运动目标检测和运动目标跟踪技术。
目前视频中车辆目标的检测方法主要有基于背景建模的检测方法和基于分类的识别检测方法。
基于背景建模的检测方法能够自适应的建立输入场景背景图像的模型,利用当前输入图像与背景模型做差分和阈值化运算即可检测出输入图像中的前景目标。该方法通过背景建模算法可以获得较完整的运动目标特征数据,对于无光照变化或光线变化缓慢的场景有较好的适用性。但是,该方法对运动目标的区分度差,难以区分检测出的运动目标是车辆目标还是行人或者非机动车。并且,当交通路况复杂,车辆间出现遮挡时,背景建模的方法无法区分每个目标。
对于基于分类器的方法,往往需要首先对车辆提取各种特征,然后设计合理的分类器来分类是否为车辆目标。在检测时,采用多尺度检测窗口滑动搜索的方法在图像内部检测车辆目标。这类方法的性能往往取决于特征的选择和分类器的设计。它一般可以分为:i)基于神经网络的车辆识别;ii)基于Gabor滤波器的车辆识别;iii)基于支持向量机(SVM)的车辆识别等方法。基于分类器的方法能够适应复杂场景,较准确地对目标进行识别检测。但是,使用分类器的多尺度窗口滑动搜索检测方法是一种耗时较高的检测方法,在视频中进行检测很难满足实时性。并且由于不同车型车辆外观差异较大,如何提取有效特征训练出正确率高的分类器也是技术难点。
同时,目前计算机视觉领域中经典的运动目标跟踪算法包括:卡尔曼滤波、粒子滤波跟踪以及均值平移算法跟踪等方法。其核心思想是通过前后两帧图像中特征的匹配来判断前一帧中的目标在后一帧中的位置。对于视频序列,则反复调用跟踪算法,来获取目标在视频中的运动轨迹。由于计算是迭代性的,跟踪的错误率在迭代过程中会增加,产生跟踪偏移,跟丢目标等错误。并且多数跟踪算法计算量大,时耗超出了实时处理的限度。如何保证跟踪的稳定性,和提升跟踪算法的计算效率是目前目标跟踪算法走向应用的瓶颈所在。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种基于监控视频处理的车流统计和违规检测的方法,该方法选取车辆车牌局部区域训练分类器,并使用聚类的方法精确确定车辆目标位置、排除虚警,再综合相关跟踪算法实现对车辆目标的精确跟踪,最后分析车辆运动轨迹,来精确统计路口车流量,并综合交通信号灯指示判断车辆目标是否违规。
为实现上述目的,本发明提供了一种基于监控视频处理的车流统计和违规检测的方法,包括以下步骤:
(1)获取视频源,读取一帧图像;
(2)判断当前帧是否是第一帧,如果是则建立和视频图像对应的前景背景图像,前景表示运动区域,背景表示静止区域,将所有的像素点初始化为背景区域,建立空的跟踪目标列表Track_List,转入步骤(1 3),否则进入步骤(3);
(3)利用当前帧和上一帧对应像素点的差值信息来更新前景背景图像,并利用前景背景图像提取当前帧的感兴趣区域MASK;
(4)计算当前帧的积分图像和平方积分图像;
(5)根据计算得到的当前帧的积分图像和平方积分图像并利用Adaboost算法在当前帧的感兴趣区域MASK中检测是否存在有车牌目标,检测到的车牌目标位置信息保存在列表TmpLi st中;
(6)判断临时目标列表TmpLi st是否为空,如果为空,则转入步骤(7),否则,使用聚类的方法处理TmpLi st中的M个车牌目标信息,其中M为正整数,从M个车牌目标信息中获得当前帧的图像中K个车辆目标准确的位置信息,其中K为正整数,并保存至检测目标列表ObjList;
(7)判断跟踪目标序列Track_List是否为空,如果为空,将ObjList列表中检测到的目标添加入Track_List,然后转入步骤(11),否则进入步骤(8);
(8)对Track_List中每一个目标,用基于LK光流法的跟踪算法,计算出目标在当前帧中新的位置;
(9)对检测列表ObjList的每一个目标与跟踪列表Track_Li st内的目标进行距离相关匹配,删除检测列表ObjList中已经存在于跟踪列表内的目标,并将新出现的检测目标添加入跟踪列表Track_List;
(10)遍历Track_List的目标,对于出现跟踪时间超过MAXSTAYTIME帧还停留在图像区域内的目标,在目标区域内检测车牌验证其是否为长时间停留车辆,如果不是,则删除该目标,如果是,则重置跟踪时间并继续跟踪;
(11)依次分析Track_List中车辆目标的运动信息,获取当前的交通信号,如果在红灯的状态下有车辆目标穿越标定的停车线,则标记目标为违规车辆,报警提示,并且自动保存记录当前帧前后帧的图像信息,作为该车辆违规的证据;
(12)判断Track_List是否有满足计数规则的车辆目标,若有则更新车流量统计数据,并标记该目标为已计数避免重复计数,若没有则直接进入步骤(13);
(13)从视频源读取下一帧图像,重复步骤(2)~(13)的操作。
步骤(3)包括以下子步骤:
(3-1)对于当前帧中的每一个像素点,判断其位置处于背景区域还是前景区域,如果处于背景区域,则转入步骤(3-2),如果处于前景区域,则转入步骤(3-3);
(3-2)对于背景区域中的每一个像素点,计算其与前一帧中对应像素点的差值,并判断该差值是否大于阈值DELTA,如果是则表示该像素点是在运动区域,将该像素点的位置标记为前景区域,并将该像素点对应的计数器T设置为0,并转入步骤(3-5),否则直接转入步骤(3-5);
(3-3)对于前景区域中的每一个像素点,计算其与前一帧中对应像素点的差值,并判断该差值是否大于阈值DELTA,如果是则转入步骤(3-5),否则将该像素的计数器T加1;
(3-4)判断计数器T是否大于计数器阈值DURATION,如果大于则表示该像素点的位置不再发生运动,并将其位置标记为背景区域,然后转入步骤(3-5),否则直接转入步骤(3-5);
(3-5)对获取的前景背景图像进行中值滤波和二值化处理,以获得当前帧的感兴趣区域MASK。
步骤(4)中平方积分图像的计算方法是,先将当前帧中每个像素点的像素值平方,再根据积分图像的计算方法获得平方积分图像。
步骤(5)包括以下子步骤:
(5-1)用不同尺度大小的检测窗口依次在当前帧的图像内从左至右由上至下滑动检索,在本实施方案中使用了64×16、70×18、77×20、86×22四种尺度的检测窗口;
(5-2)判断该检测窗口的中心区域在感兴趣区域MASK内是否处在背景区域,若是则转至步骤(5-4),否则,说明检测窗口处在前景区域,进入步骤(5-3);
(5-3)判断该检测窗口的图像是否能通过离线学习得到的adboost车牌分类器,如果是,则将窗口的位置和大小加入临时目标列表TmpList,然后转入步骤(5-4),否则过程结束;
(5-4)将检测窗口移动到下一个位置,并重复步骤(5-1)至(5-3),直到每个尺寸的检测窗口都遍历完当前帧的整幅图像为止。
步骤(6)包括以下子步骤:
(6-1)遍历TmpLi st中的M个车牌目标,计算第i个目标和第j个目标中区域较大的宽度值与两个目标区域四顶点对应的距离差的最大值的比值,如果该比值大于阈值r,则表示这两个目标代表的是同一个车牌,将这两个目标标记为同一类,否则计算下一对目标,最终将TmpLi st中的目标被分为N类,其中i和j均为小于等于M的正整数,N为正整数;
(6-2)遍历TmpLi st中的每一类,如果该类中目标个数小于MIN_NEIGHBOR,则表示该类都是虚警,删除该类,否则判断TmpList中下一个类。直到处理完所有类;
(6-3)将步骤(6-2)处理后的、TmpLi st中还剩下的K类设为真实的车牌目标,依次计算每一类中所有目标的平均中心位置和平均长宽为真实车牌目标的位置和大小;
(6-4)根据车牌位置大小和车身位置大小的经验比例,将车牌目标区域扩大到车身目标区域,最终得到K个真实车辆目标的位置信息,并放入检测列表ObjList中。
步骤(8)包括以下子步骤:
(8-1)从跟踪列表Track_Li st中获得该目标在上一帧的位置区域rect,在rect内等距离的选取一组L×L个特征点,组成方形特征点阵points1;
(8-2)计算上一帧图像和当前帧图像的3层LK金字塔,金字塔最底层为原始图像,其上每一层为下一层缩小1/2的图像;
(8-3)使用LK光流法,计算上一帧中点阵point s1在当前帧对应的特征匹配点阵points2;
(8-4)再次使用LK光流法,计算当前帧中点阵point s2在上一帧对应的特征匹配点阵points3;
(8-5)使用距离关联匹配排除LK光流法中误差较大的点;
(8-6)使用相似度关联匹配再次排除LK光流法中误差较大的点;
(8-7)通过(8-5)(8-6)两次筛选排除后点阵point s1中剩下的点是LK光流法计算准确的点,求出这些点在point s1到points2的平均位移,该位移就是目标从上一帧到当前帧的运动位移;
(8-8)根据计算出的位移和上一帧目标的位置得到目标在当前帧的新位置。更新Track_List中每个目标的位置和目标轨迹信息;
步骤(8-5)具体为,依次计算point s1和point s3两个点阵对应点的距离,先计算出距离的平均值,再遍历每个对应特征点,如果point s1和points3两个点阵对应点的距离大于平均值则删除该特征点,否则,处理下一组对应特征点,直到处理完点阵中所有的特征点。
步骤(8-6)具体为,计算点阵points1内剩下特征点的领域图像和points2对应特征点的领域图像像素的差值,这些差值的和为DV。如果DV大于阈值P,则认为该点跟踪失误,排除该点。
步骤(10)包括以下子步骤:
(10-1)建立新的感兴趣区域图像DMASK,将该目标区域设置为前景,其他位置作为背景。
(10-2)用DMASK代替MASK作为感兴趣区域,使用与步骤(5)、步骤(6)相同的方法进行adaboost目标检测,并得到检测结果ObjList’;
(10-3)判断ObjList’是否为空,如果是,则表示目标区域内没有车辆特征,判断为跟踪出现偏差导致漂移到背景区域,在Track_Li st中删除该跟踪目标,否则表示目标区域内有车牌信息,说明该目标车辆在长时间停留,重置目标的跟踪时间,并继续跟踪。
通过本发明所构思的以上技术方案,与现有技术相比,本发明具有以下的有益效果:
(1)可以快速准确的检测出监控视频中的车辆目标:由于采用了步骤(3)提取了感兴趣区域,因此减小了检测步骤的运算量,并降低出现在背景区域的虚警;由于采用了步骤(6)对检测结果进行聚类,因此更精确的定位出车辆目标。
(2)可以精确获得车辆目标的运动轨迹:由于采用了步骤(8-5)和步骤(8-6)两种误差排除方法,极大的降低了传统光流算法的误差率,因此计算得到的车辆目标运动轨迹非常准确。
(3)对跟踪错误和长时间停留车辆两种情况的判别提出了便捷的算法:由于采用了步骤(10),使用了较小的感兴趣区域和步骤(4)已经计算的中间数据,快速的验证了长时间跟踪的目标区域内是否有车辆特征,因此很好地区分了跟踪错误和长时间停留车辆两种情况。
(4)可智能检测闯红灯违规车辆并保留图像证据:由于采用了步骤(11),结合了交通信号信息对步骤(2)至(10)获得的车辆目标运动信息进行分析判别,因此可以检测到监控视频中闯红灯违规车辆。
(5)可智能的统计监控路口的车流量:由于采用了步骤(12),对步骤(2)至(10)获得的车辆目标运动轨迹进行处理,因此能智能地对路口通过车辆进行计数。
附图说明
图1为本发明基于监控视频处理的车流统计和违规检测的方法的总体流程图。
图2(a)为视频序列中一帧图像的原始图像。
图2(b)为计算得到包含运动目标的感兴趣区域图像。
图2(c)为本发明对该帧图像车牌目标检测的结果。
图3为本发明对车辆目标跟踪及车流量计数的结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明基于监控视频处理的车流统计和违规检测的方法按照功能结构可分为运动建模、目标检测、目标跟踪和目标行为分析四个大步骤,需要注意的是,本发明在分析图像时,只利用了图像的亮度信息(即灰度图像)。
本发明基于监控视频处理的车流统计和违规检测的方法具体包括以下步骤:
(1)获取视频源,读取一帧图像,图2(a)显示了某一帧的原始图像;
(2)判断当前帧是否是第一帧,如果是则建立和视频图像对应的前景背景图像,前景表示运动区域,背景表示静止区域,将所有的像素点初始化为背景区域,建立空的跟踪目标列表Track_List,转入步骤(13),否则进入步骤(3);
(3)利用当前帧和上一帧对应像素点的差值信息来更新前景背景图像,并利用前景背景图像提取当前帧的感兴趣区域MASK;具体而言,本步骤包括以下子步骤:
(3-1)对于当前帧中的每一个像素点,判断其位置处于背景区域还是前景区域,如果处于背景区域,则转入步骤(3-2),如果处于前景区域,则转入步骤(3-3);
(3-2)对于背景区域中的每一个像素点,计算其与前一帧中对应像素点的差值,并判断该差值是否大于阈值DELTA,如果是则表示该像素点是在运动区域,将该像素点的位置标记为前景区域,并将该像素点对应的计数器T设置为0,并转入步骤(3-5),否则直接转入步骤(3-5);在本实施方式中,阈值DELTA取值范围是3至5;
(3-3)对于前景区域中的每一个像素点,计算其与前一帧中对应像素点的差值,并判断该差值是否大于阈值DELTA,如果是则转入步骤(3-5),否则将该像素的计数器T加1;
(3-4)判断计数器T是否大于计数器阈值DURATION,如果大于则表示该像素点的位置不再发生运动,并将其位置标记为背景区域,然后转入步骤(3-5),否则直接转入步骤(3-5);在本实施方式中,计数器阈值DURATION取值范围是8至12;
(3-5)对获取的前景背景图像进行中值滤波和二值化处理,以获得当前帧的感兴趣区域MASK,图2(b)显示了步骤(3)计算得到的图2(a)的感兴趣区域图像,该图像包含运动的车牌区域;
本步骤的优点是建立的提取了运动感兴趣区域,后续步骤的检测在感兴区域内的进行,不仅减少了检测步骤的运算量,还避免了在非运动区域出现的检测虚警,降低了虚警率。
(4)计算当前帧的积分图像和平方积分图像;具体而言,积分图像的计算方法是,从当前帧的原点开始每一个像素点的积分图像值是以该像素点和图像原点构成矩形中所有像素值之和;
平方积分图像的计算方法是,先将当前帧中每个像素点的像素值平方,再根据积分图像的计算方法获得平方积分图像;
(5)根据计算得到的当前帧的积分图像和平方积分图像并利用Adaboost算法在当前帧的感兴趣区域MASK中检测是否存在有车牌目标,检测到的车牌目标位置信息保存在列表TmpList中;具体而言,本步骤包括以下子步骤:
(5-1)用不同尺度大小的检测窗口依次在当前帧的图像内从左至右由上至下滑动检索,在本实施方案中使用了64×16、70×18、77×20、86×22四种尺度的检测窗口;
(5-2)判断该检测窗口的中心区域在感兴趣区域MASK内是否处在背景区域,若是则转至步骤(5-4),否则,说明检测窗口处在前景区域,进入步骤(5-3);
(5-3)判断该检测窗口的图像是否能通过离线学习得到的adboo st车牌分类器,如果是,则将窗口的位置和大小加入临时目标列表TmpList,然后转入步骤(5-4)。否则过程结束;
(5-4)将检测窗口移动到下一个位置,并重复步骤(5-1)至(5-3),直到每个尺寸的检测窗口都遍历完当前帧的整幅图像为止;
(6)判断临时目标列表TmpLi st是否为空,如果为空,则转入步骤(7),否则,使用聚类的方法处理TmpLi st中的M个车牌目标信息(其中M为正整数),从M个车牌目标信息中获得当前帧的图像中K个车辆目标准确的位置信息(其中K为正整数),并保存至检测目标列表ObjList;具体而言,本步骤包括以下子步骤:
(6-1)遍历TmpLi st中的M个车牌目标,计算第i个目标和第j个目标(其中i和j均为小于等于M的正整数)中区域较大的宽度值与两个目标区域四顶点对应的距离差的最大值的比值,如果该比值大于阈值r,则表示这两个目标代表的是同一个车牌,将这两个目标标记为同一类,否则计算下一对目标,最终将TmpLi st中的目标被分为N类(其中N为正整数);阈值r的取值范围是5至7。
(6-2)遍历TmpLi st中的每一类,如果该类中目标个数小于MIN_NEIGHBOR,则表示该类都是虚警,删除该类。否则判断TmpList中下一个类。直到处理完所有类;在本实施方式中,MIN_NEIGHBOR根据选取尺度的不同可以取3~5。
(6-3)将步骤(6-2)处理后的、TmpLi st中还剩下的K类设为真实的车牌目标,依次计算每一类中所有目标的平均中心位置和平均长宽为真实车牌目标的位置和大小。图2(c)显示了对图2(a)的图像检测到的真实车牌目标结果。
(6-4)根据车牌位置大小和车身位置大小的经验比例,将车牌目标区域扩大到车身目标区域,最终得到K个真实车辆目标的位置信息,并放入检测列表ObjList中;
本步骤的优点是使用了聚类的方法,从检测到的多个目标结果中提取了真实目标准确的位置信息,并且排除了检测过程中出现的虚警。
(7)判断跟踪目标序列Track_Li st是否为空,如果为空,将ObjList列表中检测到的目标添加入Track_List,然后转入步骤(11),否则进入步骤(8);
(8)对Track_Li st中每一个目标,用基于LK光流法的跟踪算法,计算出目标在当前帧中新的位置;具体而言,本步骤包括以下子步骤:
(8-1)从跟踪列表Track_Li st中获得该目标在上一帧的位置区域rect,在rect内等距离的选取一组L×L个特征点,组成方形特征点阵point s1;在本实施方式中,L可以取值4至6。
(8-2)计算上一帧图像和当前帧图像的3层LK金字塔,金字塔最底层为原始图像,其上每一层为下一层缩小1/2的图像;
(8-3)使用LK光流法,计算上一帧中点阵point s1在当前帧对应的特征匹配点阵points2;
(8-4)再次使用LK光流法,计算当前帧中点阵point s2在上一帧对应的特征匹配点阵points3;
(8-5)使用距离关联匹配排除LK光流法中误差较大的点;如果光流法计算正确,points1和points3中的对应点应该在很小的范围内;具体而言,依次计算points1和points3两个点阵对应点的距离,先计算出距离的平均值。再遍历每个对应特征点,如果points1和points3两个点阵对应点的距离大于平均值则删除该特征点,否则,处理下一组对应特征点,直到处理完点阵中所有的特征点;
(8-6)使用相似度关联匹配再次排除LK光流法中误差较大的点;具体而言,计算点阵points1内剩下特征点的领域图像和points2对应特征点的领域图像像素的差值,这些差值的和为DV。如果DV大于阈值P,则认为该点跟踪失误,排除该点;在本实施方式中,阈值P可以取值5×领域点的个数;
(8-7)通过(8-5)(8-6)两次筛选排除后点阵point s1中剩下的点是LK光流法计算准确的点,求出这些点在point s1到points2的平均位移,该位移就是目标从上一帧到当前帧的运动位移;
(8-8)根据计算出的位移和上一帧目标的位置得到目标在当前帧的新位置。更新Track_List中每个目标的位置和目标轨迹信息;
本步骤的优点是使用了步骤(8-5)和步骤(8-6)两种误差排除方法,极大的降低了传统光流算法的误差率,因此计算得到的车辆目标运动轨迹非常准确。
(9)对检测列表ObjList的每一个目标与跟踪列表Track_Li st内的目标进行距离相关匹配,删除检测列表ObjList中已经存在于跟踪列表内的目标,并将新出现的检测目标添加入跟踪列表Track_Li st。具体而言,对ObjList的每一个目标,遍历Track_List内的目标,如果在Track_Li st内存在两者距离小于该目标宽度的1/5的目标,认为两者表示的是同一车辆,在检测列表ObjList中删除此目标。ObjList最后剩下的是新出现的目标,添加入Track_List;
(10)遍历Track_List的目标,对于出现跟踪时间超过MAXSTAYTIME帧还停留在图像区域内的目标,在目标区域内检测车牌验证其是否为长时间停留车辆(MAXSTAYTIME可以取值20*帧率),如果不是,则删除该目标,如果是,则重置跟踪时间并继续跟踪;具体而言,本步骤包括以下子步骤:
(10-1)建立新的感兴趣区域图像DMASK,将该目标区域设置为前景,其他位置作为背景。
(10-2)用DMASK代替MASK作为感兴趣区域,使用与步骤(5)、步骤(6)相同的方法进行adaboost目标检测,并得到检测结果ObjList’;
(10-3)判断ObjList’是否为空,如果是,则表示目标区域内没有车辆特征,判断为跟踪出现偏差导致漂移到背景区域,在Track_List中删除该跟踪目标,否则表示目标区域内有车牌信息,说明该目标车辆在长时间停留,重置目标的跟踪时间,并继续跟踪;
本步骤的优点是使用了较小的感兴趣区域和步骤(4)中已经计算的中间数据,快速的验证了长时间跟踪的目标区域内是否有车辆特征,很好地区分了跟踪错误和长时间停留车辆两种情况。
(11)依次分析Track_List中车辆目标的运动信息,获取当前的交通信号,如果在红灯的状态下有车辆目标穿越标定的停车线,则标记目标为违规车辆,报警提示,并且自动保存记录当前帧前后帧的图像信息,作为该车辆违规的证据;
本步骤的优点是结合了交通信号信息对步骤(2)至(10)获得的车辆目标运动信息进行分析判别,智能检测闯红灯违规车辆并保留图像证据。
(12)判断Track_List是否有满足计数规则的车辆目标,若有则更新车流量统计数据,并标记该目标为已计数避免重复计数,若没有则直接进入步骤(13),图3为对某段视频进行车流量计数操作过程中的截图,上方的数字表示当前一共通过的车辆数目,下方显示了当前帧中的车辆目标以及跟踪得到的目标运动轨迹;
本步骤的优点是对步骤(2)至(10)获得的车辆目标运动轨迹进行处理,能智能地对路口通过车辆进行计数,从而智能统计监控路口的车流量。
(13)从视频源读取下一帧图像,重复步骤(2)~(13)的操作。
本发明提供了一种监控视频处理中车辆目标快速准确的检测识别方法和一种监控视频处理中车辆目标的精确跟踪方法,提供了检测目标和跟踪目标关联匹配的方法,以及跟踪超时再次检测验证的方法,从而能准确得到监控视频中车辆目标的运动信息。并且对得到的车辆目标运动信息进行分析处理,提出了车流量计数和智能闯红灯违规检测两种具有实用价值的应用方案。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于监控视频处理的车流统计和违规检测的方法,其特征在于,包括以下步骤:
(1)获取视频源,读取一帧图像;
(2)判断当前帧是否是第一帧,如果是则建立和视频图像对应的前景背景图像,前景表示运动区域,背景表示静止区域,将所有的像素点初始化为背景区域,建立空的跟踪目标列表Track_List,转入步骤(13),否则进入步骤(3);
(3)利用当前帧和上一帧对应像素点的差值信息来更新前景背景图像,并利用前景背景图像提取当前帧的感兴趣区域MASK;
(4)计算当前帧的积分图像和平方积分图像;
(5)根据计算得到的当前帧的积分图像和平方积分图像并利用Adaboost算法在当前帧的感兴趣区域MASK中检测是否存在有车牌目标,检测到的车牌目标位置信息保存在列表TmpList中;
(6)判断临时目标列表TmpList是否为空,如果为空,则转入步骤(7),否则,使用聚类的方法处理TmpList中的M个车牌目标信息,其中M为正整数,从M个车牌目标信息中获得当前帧的图像中K个车辆目标准确的位置信息,其中K为正整数,并保存至检测目标列表ObjList;
(7)判断跟踪目标序列Track_List是否为空,如果为空,将ObjList列表中检测到的目标添加入Track_List,然后转入步骤(11),否则进入步骤(8);
(8)对Track_List中每一个目标,用基于LK光流法的跟踪算法,计算出目标在当前帧中新的位置;
(9)对检测列表ObjList的每一个目标与跟踪列表Track_List内的目标进行距离相关匹配,删除检测列表ObjList中已经存在于跟踪列表内 的目标,并将新出现的检测目标添加入跟踪列表Track_List;
(10)遍历Track_List的目标,对于出现跟踪时间超过MAXSTAYTIME帧还停留在图像区域内的目标,在目标区域内检测车牌验证其是否为长时间停留车辆,如果不是,则删除该目标,如果是,则重置跟踪时间并继续跟踪;
(11)依次分析Track_List中车辆目标的运动信息,获取当前的交通信号,如果在红灯的状态下有车辆目标穿越标定的停车线,则标记目标为违规车辆,报警提示,并且自动保存记录当前帧前后帧的图像信息,作为该车辆违规的证据;
(12)判断Track_List是否有满足计数规则的车辆目标,若有则更新车流量统计数据,并标记该目标为已计数避免重复计数,若没有则直接进入步骤(13);
(13)从视频源读取下一帧图像,重复步骤(2)~(13)的操作。
2.根据权利要求1所述的方法,其特征在于,步骤(3)包括以下子步骤:
(3-1)对于当前帧中的每一个像素点,判断其位置处于背景区域还是前景区域,如果处于背景区域,则转入步骤(3-2),如果处于前景区域,则转入步骤(3-3);
(3-2)对于背景区域中的每一个像素点,计算其与前一帧中对应像素点的差值,并判断该差值是否大于阈值DELTA,如果是则表示该像素点是在运动区域,将该像素点的位置标记为前景区域,并将该像素点对应的计数器T设置为0,并转入步骤(3-5),否则直接转入步骤(3-5);
(3-3)对于前景区域中的每一个像素点,计算其与前一帧中对应像素点的差值,并判断该差值是否大于阈值DELTA,如果是则转入步骤(3-5),否则将该像素的计数器T加1;
(3-4)判断计数器T是否大于计数器阈值DURATION,如果大于则表示 该像素点的位置不再发生运动,并将其位置标记为背景区域,然后转入步骤(3-5),否则直接转入步骤(3-5);
(3-5)对获取的前景背景图像进行中值滤波和二值化处理,以获得当前帧的感兴趣区域MASK。
3.根据权利要求1所述的方法,其特征在于,步骤(4)中平方积分图像的计算方法是,先将当前帧中每个像素点的像素值平方,再根据积分图像的计算方法获得平方积分图像。
4.根据权利要求1所述的方法,其特征在于,步骤(5)包括以下子步骤:
(5-1)用不同尺度大小的检测窗口依次在当前帧的图像内从左至右由上至下滑动检索,在本实施方案中使用了64×16、70×18、77×20、86×22四种尺度的检测窗口;
(5-2)判断该检测窗口的中心区域在感兴趣区域MASK内是否处在背景区域,若是则转至步骤(5-4),否则,说明检测窗口处在前景区域,进入步骤(5-3);
(5-3)判断该检测窗口的图像是否能通过离线学习得到的adboost车牌分类器,如果是,则将窗口的位置和大小加入临时目标列表TmpList,然后转入步骤(5-4),否则过程结束;
(5-4)将检测窗口移动到下一个位置,并重复步骤(5-1)至(5-3),直到每个尺寸的检测窗口都遍历完当前帧的整幅图像为止。
5.根据权利要求1所述的方法,其特征在于,步骤(6)包括以下子步骤:
(6-1)遍历TmpList中的M个车牌目标,计算第i个目标和第j个目标中区域较大的宽度值与两个目标区域四顶点对应的距离差的最大值的比值,如果该比值大于阈值r,则表示这两个目标代表的是同一个车牌,将这两个目标标记为同一类,否则计算下一对目标,最终将TmpList中的目标 被分为N类,其中i和j均为小于等于M的正整数,N为正整数;
(6-2)遍历TmpList中的每一类,如果该类中目标个数小于MIN_NEIGHBOR,则表示该类都是虚警,删除该类,否则判断TmpList中下一个类,直到处理完所有类;
(6-3)将步骤(6-2)处理后的、TmpList中还剩下的K类设为真实的车牌目标,依次计算每一类中所有目标的平均中心位置和平均长宽为真实车牌目标的位置和大小;
(6-4)根据车牌位置大小和车身位置大小的经验比例,将车牌目标区域扩大到车身目标区域,最终得到K个真实车辆目标的位置信息,并放入检测列表ObjList中。
6.根据权利要求1所述的方法,其特征在于,步骤(8)包括以下子步骤:
(8-1)从跟踪列表Track_List中获得该目标在上一帧的位置区域rect,在rect内等距离的选取一组L×L个特征点,组成方形特征点阵points1;
(8-2)计算上一帧图像和当前帧图像的3层LK金字塔,金字塔最底层为原始图像,其上每一层为下一层缩小1/2的图像;
(8-3)使用LK光流法,计算上一帧中点阵points1在当前帧对应的特征匹配点阵points2;
(8-4)再次使用LK光流法,计算当前帧中点阵points2在上一帧对应的特征匹配点阵points3;
(8-5)使用距离关联匹配排除LK光流法中误差较大的点;
(8-6)使用相似度关联匹配再次排除LK光流法中误差较大的点;
(8-7)通过(8-5)(8-6)两次筛选排除后点阵points1中剩下的点是LK光流法计算准确的点,求出这些点在points1到points2的平均位移,该位移就是目标从上一帧到当前帧的运动位移;
(8-8)根据计算出的位移和上一帧目标的位置得到目标在当前帧的新位置,更新Track_List中每个目标的位置和目标轨迹信息。
7.根据权利要求6所述的方法,其特征在于,
步骤(8-5)具体为,依次计算points1和points3两个点阵对应点的距离,先计算出距离的平均值,再遍历每个对应特征点,如果points1和points3两个点阵对应点的距离大于平均值则删除该特征点,否则,处理下一组对应特征点,直到处理完点阵中所有的特征点;
步骤(8-6)具体为,计算点阵points1内剩下特征点的领域图像和points2对应特征点的领域图像像素的差值,这些差值的和为DV,如果DV大于阈值P,则认为该点跟踪失误,排除该点。
8.根据权利要求1所述的方法,其特征在于,步骤(10)包括以下子步骤:
(10-1)建立新的感兴趣区域图像DMASK,将该目标区域设置为前景,其他位置作为背景;
(10-2)用DMASK代替MASK作为感兴趣区域,使用与步骤(5)、步骤(6)相同的方法进行adaboost目标检测,并得到检测结果ObjList’;
(10-3)判断ObjList’是否为空,如果是,则表示目标区域内没有车辆特征,判断为跟踪出现偏差导致漂移到背景区域,在Track_List中删除该跟踪目标,否则表示目标区域内有车牌信息,说明该目标车辆在长时间停留,重置目标的跟踪时间,并继续跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310023021.0A CN103116987B (zh) | 2013-01-22 | 2013-01-22 | 一种基于监控视频处理的车流统计和违规检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310023021.0A CN103116987B (zh) | 2013-01-22 | 2013-01-22 | 一种基于监控视频处理的车流统计和违规检测的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103116987A CN103116987A (zh) | 2013-05-22 |
CN103116987B true CN103116987B (zh) | 2014-10-29 |
Family
ID=48415349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310023021.0A Expired - Fee Related CN103116987B (zh) | 2013-01-22 | 2013-01-22 | 一种基于监控视频处理的车流统计和违规检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103116987B (zh) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103338349A (zh) * | 2013-05-31 | 2013-10-02 | 广东威创视讯科技股份有限公司 | 基于vw的海量视频信号智能筛选和显示接入方法及系统 |
CN104240222A (zh) * | 2013-06-19 | 2014-12-24 | 贺江涛 | 一种消防通道堵塞的智能检测方法与装置 |
CN103325258A (zh) * | 2013-06-24 | 2013-09-25 | 武汉烽火众智数字技术有限责任公司 | 基于视频处理的闯红灯检测装置及其方法 |
CN103310422B (zh) * | 2013-06-28 | 2016-08-31 | 新晨易捷(北京)科技有限公司 | 获取图像的方法及装置 |
CN103440668B (zh) * | 2013-08-30 | 2017-01-25 | 中国科学院信息工程研究所 | 一种在线视频目标跟踪方法和装置 |
CN104361753B (zh) * | 2014-11-26 | 2017-02-22 | 浙江宇视科技有限公司 | 一种车辆未交替行驶的违章取证方法及装置 |
CN104882005B (zh) * | 2015-05-15 | 2017-07-04 | 青岛海信网络科技股份有限公司 | 一种检测车道车流量的方法及装置 |
CN106682565A (zh) * | 2015-11-09 | 2017-05-17 | 富士通株式会社 | 车辆计数方法、车辆计数装置和电子设备 |
CN106327880B (zh) * | 2016-09-09 | 2019-01-25 | 成都通甲优博科技有限责任公司 | 一种基于监控视频的车速识别方法及其系统 |
CN106408938B (zh) * | 2016-09-13 | 2019-09-06 | 天津工业大学 | 夜间城市交通监控中各类车辆轨迹的完整提取 |
CN106791277A (zh) * | 2016-12-27 | 2017-05-31 | 重庆峰创科技有限公司 | 一种视频监控中的车辆追踪方法 |
CN107133610B (zh) * | 2017-06-01 | 2020-09-01 | 电子科技大学 | 一种复杂路况下行车流量视觉检测与计数方法 |
CN107491748B (zh) * | 2017-08-09 | 2018-10-02 | 电子科技大学 | 一种基于视频的目标车辆提取方法 |
CN108122411B (zh) * | 2017-10-31 | 2020-01-24 | 浙江浩腾电子科技股份有限公司 | 一种基于车速预测的跟踪频率自适应优化方法 |
CN108072385A (zh) * | 2017-12-06 | 2018-05-25 | 爱易成技术(天津)有限公司 | 移动目标的空间坐标定位方法、装置及电子设备 |
CN108875535B (zh) * | 2018-02-06 | 2023-01-10 | 北京旷视科技有限公司 | 图像检测方法、装置和系统及存储介质 |
US10867393B2 (en) * | 2018-03-22 | 2020-12-15 | Texas Instruments Incorporated | Video object detection |
CN108615365B (zh) * | 2018-05-09 | 2021-04-13 | 扬州大学 | 一种基于车辆检测和跟踪的车流量统计方法 |
CN110610118A (zh) * | 2018-06-15 | 2019-12-24 | 杭州海康威视数字技术股份有限公司 | 交通参数采集方法及装置 |
CN108986474A (zh) * | 2018-08-01 | 2018-12-11 | 平安科技(深圳)有限公司 | 交通事故的定责方法、装置、计算机设备及计算机存储介质 |
CN108986493A (zh) * | 2018-08-21 | 2018-12-11 | 北京深瞐科技有限公司 | 交通信号灯通行时间分配方法及其装置 |
CN109658438A (zh) * | 2018-12-05 | 2019-04-19 | 王家万 | 视频中被检测目标的跟踪方法、装置及存储介质 |
CN109598246B (zh) * | 2018-12-07 | 2023-01-31 | 广东亿迅科技有限公司 | 车辆出入检测方法、装置、计算机设备和存储介质 |
CN109961057B (zh) * | 2019-04-03 | 2021-09-03 | 罗克佳华科技集团股份有限公司 | 一种车辆位置获得方法及装置 |
CN110163125B (zh) * | 2019-05-05 | 2021-04-30 | 浙江传媒学院 | 一种基于轨迹预测与尺寸决策的实时视频识别的方法 |
CN110956803A (zh) * | 2019-11-14 | 2020-04-03 | 深圳尚桥信息技术有限公司 | 一种基于多模态的车辆检测方法及系统 |
CN112927238B (zh) * | 2019-12-06 | 2022-07-01 | 四川大学 | 结合光流与分水岭分割的岩心序列图像标注方法 |
CN113361299B (zh) * | 2020-03-03 | 2023-08-15 | 浙江宇视科技有限公司 | 一种异常停车的检测方法、装置、存储介质及电子设备 |
CN111311923A (zh) * | 2020-03-05 | 2020-06-19 | 浙江长元科技有限公司 | 一种消防通道的监管方法及监管系统 |
CN111508239B (zh) * | 2020-04-16 | 2022-03-01 | 成都旸谷信息技术有限公司 | 基于mask矩阵的车流量智能识别方法、系统 |
CN111652912B (zh) * | 2020-06-10 | 2021-02-26 | 北京嘀嘀无限科技发展有限公司 | 车辆计数方法和系统、数据处理设备及智能拍摄设备 |
CN111815570A (zh) * | 2020-06-16 | 2020-10-23 | 浙江大华技术股份有限公司 | 区域入侵检测方法及其相关装置 |
CN112733846B (zh) * | 2020-12-31 | 2024-01-12 | 精英数智科技股份有限公司 | 一种车牌检测方法、装置和系统 |
CN113743212B (zh) * | 2021-08-02 | 2023-11-14 | 日立楼宇技术(广州)有限公司 | 扶梯出入口拥堵或有遗留物的检测方法、装置及存储介质 |
CN114567794B (zh) * | 2022-03-11 | 2023-06-30 | 浙江理工大学 | 一种直播视频背景替换方法 |
CN114638963B (zh) * | 2022-05-18 | 2022-08-16 | 青岛美迪康数字工程有限公司 | 内窥镜检查中对可疑组织进行识别跟踪的方法及装置 |
CN115424442A (zh) * | 2022-08-31 | 2022-12-02 | 南京慧尔视智能科技有限公司 | 基于雷达图的车辆行驶事件检测方法、装置、设备和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231786A (zh) * | 2007-12-28 | 2008-07-30 | 北京航空航天大学 | 一种基于视频图像特征的车辆检测方法 |
CN101587646A (zh) * | 2008-05-21 | 2009-11-25 | 上海新联纬讯科技发展有限公司 | 基于视频识别技术的车流量检测方法及系统 |
CN101777263A (zh) * | 2010-02-08 | 2010-07-14 | 长安大学 | 一种基于视频的交通车流量检测方法 |
CN101794382A (zh) * | 2010-03-12 | 2010-08-04 | 华中科技大学 | 一种实时公交车客流量统计的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2013817A2 (en) * | 2006-04-17 | 2009-01-14 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
-
2013
- 2013-01-22 CN CN201310023021.0A patent/CN103116987B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231786A (zh) * | 2007-12-28 | 2008-07-30 | 北京航空航天大学 | 一种基于视频图像特征的车辆检测方法 |
CN101587646A (zh) * | 2008-05-21 | 2009-11-25 | 上海新联纬讯科技发展有限公司 | 基于视频识别技术的车流量检测方法及系统 |
CN101777263A (zh) * | 2010-02-08 | 2010-07-14 | 长安大学 | 一种基于视频的交通车流量检测方法 |
CN101794382A (zh) * | 2010-03-12 | 2010-08-04 | 华中科技大学 | 一种实时公交车客流量统计的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103116987A (zh) | 2013-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103116987B (zh) | 一种基于监控视频处理的车流统计和违规检测的方法 | |
Liu et al. | A vision-based pipeline for vehicle counting, speed estimation, and classification | |
CN103778786B (zh) | 一种基于显著车辆部件模型的交通违章检测方法 | |
CN108335489A (zh) | 高速公路车辆行为语义分析及异常行为监控系统及方法 | |
CN103279756B (zh) | 基于集成分类器的车辆检测分析系统及其检测分析方法 | |
CN102867417B (zh) | 一种出租车防伪系统及方法 | |
Shan | Vehicle License Plate Recognition Based on Text-line Construction and Multilevel RBF Neural Network. | |
Turek et al. | Unsupervised learning of functional categories in video scenes | |
Salvi | An automated nighttime vehicle counting and detection system for traffic surveillance | |
US11587327B2 (en) | Methods and systems for accurately recognizing vehicle license plates | |
Chetouane et al. | Vision‐based vehicle detection for road traffic congestion classification | |
CN104978567A (zh) | 基于场景分类的车辆检测方法 | |
CN102819764A (zh) | 一种适用于交通路口复杂场景下的多视角人流量统计方法 | |
Chang et al. | Video analytics in smart transportation for the AIC'18 challenge | |
CN105513349A (zh) | 基于双视角学习的山区高速公路车辆事件检测方法 | |
Makhmutova et al. | Object tracking method for videomonitoring in intelligent transport systems | |
CN103886089A (zh) | 基于学习的行车记录视频浓缩方法 | |
CN112528759A (zh) | 一种基于计算机视觉的交通违章行为检测方法 | |
Krishnakumar et al. | Detection of vehicle speeding violation using video processing techniques | |
Azimjonov et al. | Vision-based vehicle tracking on highway traffic using bounding-box features to extract statistical information | |
Ravish et al. | Intelligent traffic violation detection | |
Desai et al. | Smart road surveillance using image processing | |
CN117456482B (zh) | 一种面向交通监控场景的异常事件识别方法及系统 | |
CN117437599B (zh) | 面向监控场景的行人异常事件检测方法和系统 | |
Wang et al. | Vision-based highway traffic accident detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141029 Termination date: 20180122 |
|
CF01 | Termination of patent right due to non-payment of annual fee |