CN103325259A - 一种基于多核并行的违章停车检测方法 - Google Patents
一种基于多核并行的违章停车检测方法 Download PDFInfo
- Publication number
- CN103325259A CN103325259A CN2013102873559A CN201310287355A CN103325259A CN 103325259 A CN103325259 A CN 103325259A CN 2013102873559 A CN2013102873559 A CN 2013102873559A CN 201310287355 A CN201310287355 A CN 201310287355A CN 103325259 A CN103325259 A CN 103325259A
- Authority
- CN
- China
- Prior art keywords
- foreground
- target
- region unit
- code element
- prospect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开的是一种基于多核并行的违章停车检测方法,具有用于拍摄的摄像头,以及与所述摄像头连接的处理系统,其中,所述处理系统中设有用于比对是否违章停车的原图像,所述方法包括以下步骤:(1)背景建模;(2)前景分割(3)数据预处理;(4)映射-化简并行计算;(5)滞留区域检测;(6)滞留目标判断。本发明通过改进的码本模型对背景建模以得到准确的前景分割结果,对待检测的视频帧进行区域分块,由Map-Reduce并行地计算同一区域块不同帧的前景比例和颜色特征向量。根据以上计算结果进行滞留区域检测和违章停车检测,具体通过对连续帧序列的前景比例和颜色特征向量稳定性判断是否为同一滞留目标,通过邻近小区域合并和尺度滤波判断是否为车辆目标。
Description
技术领域
本发明涉及计算机视觉以及并行计算领域相关技术,具体涉及一种基于多核并行的违章停车检测方法,是一种视频监控中违章停车事件的快速检索方法。
背景技术
随着经济社会的快速发展,城市规模不断扩大,城市交通面临着巨大的压力,智能交通系统也得到了广泛的研究与应用,智能交通监控系统包含了交通违法的现场自动取证设备以及违法处罚的信息管理系统,以及合法、有效的执行过程,是综合计算机视觉、人工智能、模式识别、图像处理、现代控制、通讯技术、大型数据库管理等先进技术,涉及光学、无线电、计算机、电子信息、网络等诸多领域。通过智能交通系统建设,可以提高交通管理与服务的信息化水平和决策支持能力,是减少交通事故,解决交通拥堵,促进城市环保,提高人民生活质量的根本途径。由于智能化的视频检测方法有准确率高、实时性好、成本低、易于安装、维护、改动方便、能进行大区域检测、可以提供大量交通管理信息等优点,因此,近年来,基于监控视频进行违章停车检测和识别的方法受到了越来越多的关注。
当前,大多数基于计算机视觉的违章停车检测技术的研究主要集中在对已获取的监控场景的视频流进行处理,实现车辆对象的检测、跟踪和违章停车行为识别。现阶段基于计算机视觉技术的违章停车检测方法包括以下步骤:背景模型建立,前景检测和过滤,前景目标标识和跟踪以及违章停车的判断。首先利用模型对背景建模,提取前景,通过腐蚀、膨胀、联通区域检测以及尺度滤波滤除行人和其他非机动车辆对监控目标的干扰。然后根据车辆是否处于禁止停车的区域内以及记录处于禁止停车区域内的时间长短,来判断该车辆是否为违章停车车辆。
由于该技术检测的运动目标处于复杂场景,因此对背景进行建模、获取前景信息等步骤耗时较多,实现多摄像头多场景实时性监控较困难。
Map-Reduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”,及他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。计算机视觉算法通常对大量视频帧做基于像素的处理,属于数据密集型的操作,串行执行时间消耗非常大。Map-reduce模型正适用于这样的应用场景,可以对待检测的输入视频帧进行并行检测,显著提高检测效率,最后得到统一处理后的检测结果。为了提高检测速度,本发明创新性地将Map-reduce和计算机视觉技术相结合,能够快速地进行违章停车的检测。
本发明旨在降低原有技术和方法大量的时间开销,提供一种利用Map-Reduce编程模型的计算机视觉技术,用以分析和完成运动目标的检测,有效的降低了原有相应方法的时间复杂度,为用户提供了较高的实时性,同时在省时的基础上保障对违章停车较高的识别准确率。该方法的应用有助于改善违章停车的检测水平。
发明内容
鉴于现有技术的不足,本发明通过将基于区域分块的违章停车检测算法与Map-Reduce并行计算框架相结合,可以显著减少在一段监控视频中检测违章停车事件的时间消耗,从而提高检测效率。
进一步地说,传统的违章停车检测方法包括场景的背景建模、前景分割、前景目标提取、行为识别和违章停车判断等步骤,需要对每一帧视频图像串行处理,时间消耗很大。
而本发明基于区域分块的违章停车检测方法有效地降低了计算和处理的复杂度,同时能满足检测的准确率,对算法中计算量最大的部分利用Map-Reduce模型并行计算进一步缩短了检测时间,提高了检测的效率。
为了实现上述目的,本发明采用的技术方案如下:
一种基于多核并行的违章停车检测方法,具有用于拍摄的摄像头,以及与所述摄像头连接的处理系统,其中,所述处理系统中设有用于比对是否违章停车的原图像,所述方法包括以下步骤:
(1)背景建模,其中,使用改进的码本模型进行背景建模;
(2)前景分割,其中,对检测时间段内的视频帧做前景分割,并获得二值图像;
(3)数据预处理,具体是,将所述二值图像与所述原图像均匀分割成M*N个矩形区域块,每个区域块为一个数据单元,其中,对禁止停车的位置区域块进行标记;
(4)映射-化简并行计算,分为两个阶段,包括映射阶段与化简阶段其中,所述映射阶段将所有所述数据单元分发计算,统计每一个所述区域块中前景像素比例和前景的颜色特征向量,获得<区域块编号,{帧号,前景比例,前景颜色特征向量}>中间结果;所述化简阶段,汇总每一个区域块的计算结果,获得<区域编号,list({帧号,前景比例,前景颜色特征向量})>;
(5)滞留区域检测,具体是,若所述区域块连续出现前景目标次数超过预设阈值且颜色特征向量稳定判断该区域有前景目标滞留,将该区域块标记为滞留区域;
(6)滞留目标判断,具体是,合并相邻滞留区域得到完整前景目标,通过尺度特征判断滞留目标是否为车辆,从而判断是否为违章停车。
需要说明的是,所述改进的码本模型包括以下步骤:
(1)初始化码本模型,其中,为每个像素建立一个码本,所述码本包含固定数目的码元,且用训练第一帧数据初始化第一个码元;
(2)用当前帧训练码本模型,若像素p在某个码元的颜色范围内,则该码元命中次数count值加1,同时采用指数时间忘却算法更新均值u。若p值未命中任何码元,则增加一个新的码元;
(3)清除噪声码元,对码本的所有码元按照count值从大到小进行排序,小于最大count值α倍的码元判定为噪声码元,将其删除;
(4)将改进的背景模型用于前景分割,当场景中光照等条件发生显著变化时触发背景模型重建。
需要说明的是,所述映射-化简并行计算包括以下步骤:
(1)数据预处理,将每个区域块数据转化为Unit数据单元,其中包括帧号、原图像像素数组和前景二值图像像素数组;
(2)映射阶段,映射函数计算前景二值图像像素数组中前景像素占区域块像素总数的前景像素比例p和前景部分色调分量的颜色特征向量v,获得<区域块编号,{帧号,前景比例p,前景颜色特征向量v}>的键值对作为中间结果;
(3)化简阶段,化简函数按照相同区域块号合并中间结果,获得<区域编号,list({帧号,前景比例,前景颜色特征向量})>结果集。
(4)结果集处理阶段,根据最终结果集进行后续滞留区域的判断。
需要说明的是,所述滞留区域的检测包括以下步骤:
(1)判断每一区域块的第i帧的前景像素比例p是否大于设定阈值,当大于阈值时,转至步骤(2);否则转至步骤(4),其中,所述阀值依据实际视频中车与分块的大小比例确定;
(2)对满足步骤(1)条件的list元素,进行前景颜色特征向量vi的匹配,当首次到达该步骤时,令待匹配向量v0=vi,转至步骤(3);否则vi与v0按照进行匹配,当cosθ≥0.5,匹配成功,按v0:v0=vi×(0.5×cosθ)+v0×(1-0.5×cosθ)更新,然后转至步骤(3),匹配失败则不更新,转至步骤(4);
(3)对相应的区域块的匹配次数加1,当匹配次数大于滞留阈值,判定该区域块有滞留目标,标记为滞留区域;否则,继续统计匹配次数,滞留阈值依据滞留时间和帧率计算,公式为:stayframes=staytime×fps;
(4)若步骤(1)与步骤(2)条件不同时满足,则将连续匹配次数归0,如果list中还有元素转至步骤(1),否则,统计完成,标记该块没有滞留目标。
需要说明的是,所述α值为0.6。
需要进一步说明的是,不同于传统违章停车检测方法,本发明中区域分块检测的技术方案是在背景建模和前景分割之后,把视频流的每一帧图像分割成若干矩形区域,仅考虑不允许停车的矩形区域块。
具体的说,首先统计各区域中前景像素点所占比例判断该区域中是否有前景目标,同时计算得到该区域前景部分的颜色特征向量。若某个区域块中连续出现前景目标帧数超过阈值,且此段帧序列中该区域前景目标的颜色特征向量相似度保持较高,就判定该区域有同一前景目标滞留,定义这样的区域为滞留区域。汇总所有区域的统计结果后,将相邻滞留区域合并为一个大的区域,结合尺度滤波和车辆特征就可以进一步判断滞留目标是否为车辆,从而检测是否为违章停车。
本发明技术方案中涉及的关键技术包括:良好的背景模型的建立、前景分割的准确性、判断区域中有前景目标的方法、前景目标相似度的检测和判断是否属于违章停车事件的方法。为保证前景分割的准确性,本方法先采用一段视频帧序列建立背景模型,利用该背景模型进行其后一段时间的前景分割和违章停车检测,该过程中背景模型固定不变。违章停车检测阶段中背景模型不自适应场景变化是为了避免背景模型自适应时滞留前景目标带来的影响。当光照等场景条件显著变化时重新建立背景模型以准确分割前景。判断区域中有滞留前景目标的方法是前景像素占总像素比例,结合摄像头焦距、场景具体情况设定区域分块的大小,通过观察发现,区域中前景像素达到一定比例时可判断出现了感兴趣的前景目标,而非噪声或较小的目标。然后,针对同一区域的前景目标,根据其颜色特征向量进行相似度匹配,来判断是否是同一个前景目标,以减少连续经过的前景目标对滞留物判断带来的影响。同一区域连续出现同一前景的次数超过阈值可以判断该区域有滞留目标,因为不断运动的前景目标不会停留在同一区域,再对相邻的有滞留目标的区域块合并得到滞留目标的完整信息,通过尺度和车辆特征检测的方法确定滞留目标为车辆。
需要进一步说明的是,针对处理每帧图像所有像素将产生巨大的计算任务,为了减少计算时间,本发明采用多核CPU的并行计算。为了支持包括多核CPU机器在内的非对称的计算设备和合理利用新设备的优势,申请人设计了基于Map-Reduce编程模型的统一计算架构(由一个主节点及若干字节点构成),以便管理和调度相应的视频处理基元。具体的说,本发明所提出的计算架构的主要功能模块包括四个层次:接口,调度者,Map-Reduce编程模型和CPU处理。其中,接口层为用户提供一个可在多核、多处理器间编程的统一接口。调度层用于调度并行计算的任务。由于考虑在单机上应用,因此调度层的实现整体基于共享内存模型。继而利用Map-Reduce编程模型提供整体的运行时支持。整个系统运行中CPU负责管理和控制,而在适当的时候(计算密集和内存操作密集)可以利用GPU进行视频流加速。而具体做法是在多核CPU、多线程(每个线程绑定对应的CPU核)的运行时中同时进行特征提取工作,避免不必要的串行时间浪费,从而可以更快的得到目标检测的实现。
更进一步的说,利用Map-Reduce并行计算框架对每一帧中所有区域前景像素进行颜色特征向量的计算,并对相同位置的分割块进行前景的相似度匹配,将串行计算转变为并行计算可以极大地缩短检测的时间消耗。首先对若干帧连续图像进行分割,产生<区域块编号,{帧号,前景二值图像}>的键值对,所有数据由Map-Reduce管理模块分发给不同计算节点进行计算,得到<区域块编号,{帧号,前景比例,前景颜色特征向量}>中间结果,对计算结果按照区域块号Reduce得到同一块区域连续若干帧前景比例-特征列表,即<区域编号,list({帧号,前景比例,前景颜色特征向量})>,最后判断是否前景以较大比例较高相似度连续出现即得到滞留区域,合并相邻滞留区域后对完整目标进行尺度滤波和车辆特征检测,符合车辆特征则检测结果为违章停车事件。
本发明使用改进的码本模型进行背景建模,对背景中运动的部分(如晃动的树枝和水波)具有较强的适应性,同时通过时间序列统计的方式避免背景训练阶段运动前景的影响,从而能够准确的分割场景中运动的前景目标。使用区域分块与Map-Reduce并行计算框架结合的算法很大地提高了违章停车目标的检测速度,将串行检测转变为多核并行检测,提高了违章停车检测的效率。本发明适用于城市管理、智能交通的实际应用。
附图说明
图1为本发明的运行流程示意图;
图2为区域分块示意图;
图3为Map-Reduce执行示意图;
图4为滞留区域检测流程图。
具体实施方式
下面将结合附图对本发明作进一步的描述。
如图1所示,本发明为一种基于多核并行的违章停车检测方法,包括以下步骤:
(1)背景建模,使用改进的码本模型进行背景建模。
(2)前景分割,对检测时间段内的视频帧序列做前景分割,得到二值图像。
(3)数据预处理,将待检测阶段所有前景二值图像、原图像均匀分割成M*N个矩形块,每块为一个数据单元。对禁止停车的位置区域块进行标记,后面的算法仅考虑此类区域块。
(4)Map-Reduce并行计算,其中Map阶段:将所有数据单元分发计算,统计每一个区域块中前景像素比例和前景的颜色特征向量,得到<区域块编号,{帧号,前景比例,前景颜色特征向量}>中间结果。Reduce阶段:汇总每一个区域块的计算结果,得到<区域编号,list({帧号,前景比例,前景颜色特征向量})>。
(5)滞留区域检测,若某个区域块连续出现前景目标次数超过阈值且颜色特征向量匹配则将该块标记为滞留区域。
(6)滞留目标判断,合并相邻滞留区域得到完整前景目标,通过尺度特征判断滞留目标是否为车辆,从而判断是否为违章停车。
需要说明的是,本发明采用改进的码本模型对场景进行背景建模,能够很好地处理背景建模阶段运动前景的影响并获得准确的前景分割。如图2所示,在数据预处理阶段将待检测阶段所有视频帧均匀分割成M*N个矩形区域块,每一块作为一个数据单元进行处理。对其中不允许停车位置的区域块进行标记,后面的算法仅考虑该部分区域块。
Map-Reduce阶段将对所有数据单元并行计算,得到<区域块编号,{帧号,前景比例,前景颜色特征向量}>中间结果;reduce阶段按照相同区域块编号进行合并,得到<区域编号,list({帧号,前景比例,前景颜色特征向量})>结果。
根据前景比例是否大于阈值和颜色特征向量的稳定性判断是否有连续若干帧图像同一区域有同一目标停留,即得到滞留区域信息。最后采用合并邻近块并计算连通区域的方法,结合尺度滤波检测禁停区域滞留的是否为车辆,从而对违章停车进行检测。
需要说明的是,本发明改进的码本模型具体实施如下:
码本背景模型通过得到每个像素或一组像素的时间序列模型,可以很好地处理时间起伏,对于包含运动目标(例如摇曳在风中的树,转动的风窗,摆动的窗帘等)的场景建模具有良好的效果。
码本模型为每一个像素建立一个码本(code book),其中包括若干个码元(code element),每个码元表示该像素的一个颜色范围。码元用一个六元组表示:{H,L,max,min,last,stale},其中H表示学习上界,L表示学习下界,max为该颜色区域最大值,min为该颜色区域最小值,last为最后更新时间,stale为最大消极时间(没有数据进入的最长时间)。训练背景模型时,对于当前帧像素p,若p在一个码元的学习范围内,则更新该码元的最后更新时间值last;若p超出现存码本中所有码元时,新增一个码元覆盖该值。像素p进入码元cei即:
Li<p<Hi,i=1~numEntries(numEntries为该码本的码元数目)
码本模型处理运动前景和噪声影响的方法是清除陈旧的码元,即最大消极时间stale大于总运行时间一半时删除该码元。长时间没有数据进入的码元可能是噪声或者运动前景,这样可以获得“干净”的背景。
码本模型在学习有移动前景的背景时,最大消极时间删除码元机制并不能达到良好的效果,会留下包含前景噪声的码元。针对违章停车的场景,本发明提出对码本模型基于时间序列统计的改进,可以达到很好的背景建模效果。
改进的码本模型的码元可以表示为{u,H,L,count},其中u表示该码元颜色范围的均值,H表示该颜色范围上界,L表示颜色范围下界,count表示训练过程中该码元命中的次数。改进的码本模型执行过程如下:
(1)初始化码本模型。为每个像素建立一个码本,其中包含固定数目(实验中采用5)个码元,用训练第一帧数据初始化第一个码元。其中u1=p,H1=p+Bound,L1=p-Bound,count1=1。
(2)用当前帧训练码本模型。若像素p命中某个码元则该码元count值加1,同时采用指数时间忘却算法更新均值u。若p值未命中任何码元,则增加一个新的码元并初始化各值。用公式说明:(其中n为新码元的下标)
ui=ui×(1-ρ)+p×ρ if Li<p<Hi,i=1~numEntries
un=p,Hn=p+Bound,Ln=p-Bound else
(3)足够数量视频帧训练后,清除噪声码元。对码本的所有码元按照count值从大到小进行排序,小于最大count值α倍的码元判定为噪声码元,将其删除。实验中α取值0.6,因为某码元的命中次数与命中最多的码元相近的话,说明该像素位置出现运动背景,需要多模来表征该位置的背景;而某码元的命中次数远小于命中最多的码元则说明,相对于稳定的背景(命中最多的码元),该码元是检测中出现的噪声或者短暂经过的运动前景,应该删除。
(4)改进的背景模型用于前景分割。若干帧检测后场景中光照等条件发生显著变化时触发背景模型重建。
需要说明的是,如图3所示,本发明Map-Reduce并行计算具体实施如下:
(1)数据预处理阶段。首先,根据本问题属视觉计算之性质,定义整个Map-Reduce阶段最小数据单元像素点Unit为:
将原始数据输入并转化为Unit数据结构,其中frameNO为对应帧号,rgbData为原图像颜色像素值数组,binData为前景二值图像像素数组。定义用户所需的类CVClass,其中包含违章停车检测相关的map函数及reduce函数,同时该类继承第三方Map-reduce库中的MapReduceSort类,以实现整个Map-reduce过程。
最后,将待处理数据(以视频文件为例)载入整个Map-reduce系统。对于规模较小的文件,可以直接打开读入内存;而对于规模较大的文件,采取mmap系统调用,将文件或者其它对象从硬盘或输入流映射进内存。然后,由split函数将整个数据集初步划分为上述数据结构,数据预处理阶段完成。
(2)映射阶段。考虑到映射阶段中,映射任务个数过多(若为1.中split所划分的块数)则映射任务队列过长,cpu利用率降低且不便于reduce处理;映射任务个数太少则每个映射任务所辖数据块过大,不利于整个系统的并行效率。因此,本发明提出,先从硬件环境提取cpu及核数信息,然后在split划分的数据块count和cpu硬件线程通路数num_threads折中,公式如下:
num_map_tasks=min(count,num_threads)*num_cpu;
其中num_cpu代表cpu硬件核数。确定映射任务个数后,根据其个数进一步划分整个数据集,确定每个映射任务所辖数据块大小,将映射任务所辖数据块标号与映射任务所辖数据块关联,之后共同存入映射队列map_tasks,由映射函数在多核环境下(多核运行映射函数),分别执行每个映射任务数据块。
映射函数首先统计二值前景图像像素数组中前景像素(值为255)占总像素的比例,结果为前景比例p;同时对原图像像素数组计算,把单个像素从RGB颜色空间转到HSV颜色空间,统计前景部分H分量的颜色特征向量。具体而言,把H分量的颜色范围平均分成30个子区域,统计落在每个子区域的像素频数,结果为30维颜色特征向量v。
在所有映射任务数据块均被执行过map函数,且其结果均放入中间容器Container之后,map阶段结束。
(3)化简阶段。依据中间容器Container内容建立化简任务队列,之后化简任务依次出队,交由同样在多核运行的化简函数按照相同区域块号进行化简计算。将化简计算结果存入最终结果集<区域编号,list({帧号,前景比例,前景颜色特征向量})>中,化简阶段结束。
(4)结果集处理阶段。根据最终结果集进行后续滞留区域的判断。
如图4所示,本发明滞留区域检测方法的具体实施如下:
根据Map-Reduce计算得到的<blockNo,list{framesNo,p,v}>,其中blockNo:区域块编号,framesNo:帧号,p:前景比例,v:前景颜色特征向量,对同一编号区域块遍历其list,按照帧号重新排序,按顺序对list中的每一项作如下处理。
(1)判断每一块的第i帧的前景比例是否大于阈值。当大于阈值时,转步骤(2)。否则转步骤(4)。
其中,阈值的确定方法如下确定。
首先由图像面积和分块数算出区域块面积的大小:
blockarea=imagearea/nblock 式(4.1)
然后,根据待处理视频当中实际出现车的大小进行粗略统计得到的均值即为车的面积,这样再对车的面积和分块面积计算比值:
ratio=cararea/blockarea 式(4.2)
因为一辆车可能被分割到不同的块中或者车的边角被分割到块中,按照一辆车被分割的最坏情况考虑取一位小数即得该结果。
(2)对满足步骤(1)条件的list元素,进行前景颜色特征向量vi的匹配。当首次到达该步骤时,直接将其作为待匹配向量v0,转步骤3,否则进行vi与v0的匹配,当匹配成功按照匹配度cosθ和更新率(这里设定为0.5)进行更新,更新方法如下:
v0=vi×(0.5×cosθ)+v0×(1-0.5×cosθ) 式(4.4)
匹配失败则不更新,转步骤4。
其中,前景颜色特征向量的匹配方法如下。
向量的匹配方法很多,这里采用计算两个向量的余弦值来表征两个特征向量的相似度,如下式。余弦值大于设定的阈值(这里取0.5,即θ=30°)就表示两个向量匹配。
采用这样的方法也可以用实际情况加以说明,如果前景物体长期滞留在该区域,则该前景物体位于特定区域块的相应部分的颜色分布也是稳定的,不会出现某种颜色的比例突然变化,基于此将前景物体的颜色分布表示为特征向量形式,由于只对区域中前景物体进行统计,所以向量模||vi||的大小表征为前景物体所占整个区域块的比例,其向量的方向vi/||vi||就是指向前景物体的特征方向。对两个向量求余弦值,如果两个向量夹角越小,其余弦值越大,如果两个向量重合余弦值为1,则两个向量完全匹配。由于两个向量各分量均为正,则分量的夹角范围为0到90度,余弦值范围取0到1,因此更新方程中更新因子不会出现0到1之外的数。
如果区域块中有噪声,产生的特征向量可能也会与前景物体特征向量夹角很小造成误差,但是由于噪声元素的模长很小,占区域块的比例很小,在步骤1中已经去除了前景比例较小的噪声元素,从而提高匹配的精确度。
(3)若同时满足步骤(1)与步骤(2)中匹配条件的,则对相应的区域块的匹配次数加1,如果大于滞留阈值,判定该时间段有物体滞留,标记该块存在滞留,结束;否则,如果list中还有元素,则转步骤1,继续统计匹配次数;若list中没有待处理元素,统计完成,标记该块没有滞留。
滞留阈值stayframes的计算,这里依据滞留时间和帧率计算:
stayframes=staytime×fps 式(4.6)
其中滞留时间可以是依据交通规则设定,超过多长时间即为违章停车。
(4)若步骤(1)与步骤(2)条件不同时满足,则将连续匹配次数归0,如果list中还有元素转步骤1,否则,统计完成,标记该块没有滞留。
需要说明的是,本发明滞留目标判断方法具体实施如下:
分块判断滞留是为了利用Map-reduce进行并行计算,以便快速完成统计,但一个整体的前景物体在分块后就可能被分到不同的块当中,因此局部信息很难较准确的进行某一前景物体的类别判定。为了判别前景物体是否为违章车辆,需要将滞留区域判断所得的结果进行合并后进一步定位车辆目标。步骤如下:
(1)按照连通性原理,将相邻的有滞留物存在的块进行合并。并且依据最初对前景的分割,在合并块中将本来独立的块分开,得到包含完整滞留物的最小合并块。
(2)其次,对合并后区域的前景目标进行特征分析。依据车辆特征信息,包括所占面积较行人更大,边缘轮廓线性特征明显等,这里通过尺度滤波来筛除非车辆目标。
(3)滞留目标确定为车辆后,即判定为违章停车。
Claims (5)
1.一种基于多核并行的违章停车检测方法,具有用于拍摄的摄像头,以及与所述摄像头连接的处理系统,其中,所述处理系统中设有用于比对是否违章停车的原图像,其特征在于,所述方法包括以下步骤:
(1)背景建模,其中,使用改进的码本模型进行背景建模;
(2)前景分割,其中,对检测时间段内的视频帧做前景分割,并获得二值图像;
(3)数据预处理,具体是,将所述二值图像与所述原图像均匀分割成M*N个矩形区域块,每个区域块为一个数据单元,其中,对禁止停车的位置区域块进行标记;
(4)映射-化简并行计算,分为两个阶段,包括映射阶段与化简阶段其中,所述映射阶段将所有所述数据单元分发计算,统计每一个所述区域块中前景像素比例和前景的颜色特征向量,获得<区域块编号,{帧号,前景比例,前景颜色特征向量}>中间结果;所述化简阶段,汇总每一个区域块的计算结果,获得<区域编号,list({帧号,前景比例,前景颜色特征向量})>;
(5)滞留区域检测,具体是,若所述区域块连续出现前景目标次数超过预设阈值且颜色特征向量稳定判断该区域有前景目标滞留,将该区域块标记为滞留区域;
(6)滞留目标判断,具体是,合并相邻滞留区域得到完整前景目标,通过尺度特征判断滞留目标是否为车辆,从而判断是否为违章停车。
2.根据权利1所述的违章停车检测方法,其特征在于,所述改进的码本模型包括以下步骤:
(1)初始化码本模型,其中,为每个像素建立一个码本,所述码本包含固定数目的码元,且用训练第一帧数据初始化第一个码元;
(2)用当前帧训练码本模型,若像素p在某个码元的颜色范围内,则该码元命中次数count值加1,同时采用指数时间忘却算法更新均值u。若p值未命中任何码元,则增加一个新的码元;
(3)清除噪声码元,对码本的所有码元按照count值从大到小进行排序,小于最大count值α倍的码元判定为噪声码元,将其删除;
(4)将改进的背景模型用于前景分割,当场景中光照等条件发生显著变化时触发背景模型重建。
3.根据权利1所述的违章停车检测方法,其特征在于,所述映射-化简并行计算包括以下步骤:
(1)数据预处理,将每个区域块数据转化为Unit数据单元,其中包括帧号、原图像像素数组和前景二值图像像素数组;
(2)映射阶段,映射函数计算前景二值图像像素数组中前景像素占区域块像素总数的前景像素比例p和前景部分色调分量的颜色特征向量v,获得<区域块编号,{帧号,前景比例p,前景颜色特征向量v}>的键值对作为中间结果;
(3)化简阶段,化简函数按照相同区域块号合并中间结果,获得<区域编号,list({帧号,前景比例,前景颜色特征向量})>结果集;
(4)结果集处理阶段,根据最终结果集进行后续滞留区域的判断。
4.根据权利1所述的违章停车检测方法,其特征在于,所述滞留区域的检测包括以下步骤:
(1)判断每一区域块的第i帧的前景像素比例p是否大于设定阈值,当大于阈值时,转至步骤(2);否则转至步骤(4),其中,所述阀值依据实际视频中车与分块的大小比例确定;
(2)对满足步骤(1)条件的list元素,进行前景颜色特征向量vi的匹配,当首次到达该步骤时,令待匹配向量v0=vi,转至步骤(3);否则vi与v0按照进行匹配,当cosθ≥0.5,匹配成功,按v0:v0=vi×(0.5×cosθ)+v0×(1-0.5×cosθ)更新,然后转至步骤(3),匹配失败则不更新,转至步骤(4);
(3)对相应的区域块的匹配次数加1,当匹配次数大于滞留阈值,判定该区域块有滞留目标,标记为滞留区域;否则,继续统计匹配次数,滞留阈值依据滞留时间和帧率计算,公式为:stayframes=staytime×fps;
(4)若步骤(1)与步骤(2)条件不同时满足,则将连续匹配次数归0,如果list中还有元素转至步骤(1),否则,统计完成,标记该块没有滞留目标。
5.根据权利2所述的违章停车检测方法,其特征在于,所述α值为0.6。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310287355.9A CN103325259B (zh) | 2013-07-09 | 2013-07-09 | 一种基于多核并行的违章停车检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310287355.9A CN103325259B (zh) | 2013-07-09 | 2013-07-09 | 一种基于多核并行的违章停车检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103325259A true CN103325259A (zh) | 2013-09-25 |
CN103325259B CN103325259B (zh) | 2015-12-09 |
Family
ID=49193977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310287355.9A Expired - Fee Related CN103325259B (zh) | 2013-07-09 | 2013-07-09 | 一种基于多核并行的违章停车检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103325259B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103985230A (zh) * | 2014-05-14 | 2014-08-13 | 深圳市大疆创新科技有限公司 | 一种基于图像的通知方法、装置及通知系统 |
CN104376554A (zh) * | 2014-10-16 | 2015-02-25 | 中海网络科技股份有限公司 | 一种基于图像纹理的违章停车检测方法 |
CN105046948A (zh) * | 2015-05-08 | 2015-11-11 | 天津大学 | 一种黄色网格线区域内交通违章停车监测系统和方法 |
CN105185108A (zh) * | 2015-08-06 | 2015-12-23 | 苏州市世跃智能科技有限公司 | 一种黄网格线违法停车自动抓拍系统 |
CN105185121A (zh) * | 2015-09-11 | 2015-12-23 | 安徽四创电子股份有限公司 | 一种虚拟卡口并行识别车牌的方法 |
CN107408332A (zh) * | 2015-04-29 | 2017-11-28 | 金泰克斯公司 | 具有基于不用手的图像的操作的可训练收发器 |
CN108648210A (zh) * | 2018-05-09 | 2018-10-12 | 西安天和防务技术股份有限公司 | 一种静态复杂场景下快速多目标检测方法及装置 |
CN108831158A (zh) * | 2018-08-20 | 2018-11-16 | 贵州宜行智通科技有限公司 | 违停监测方法、装置及电子终端 |
CN108881917A (zh) * | 2018-07-27 | 2018-11-23 | 西安电子科技大学 | 基于高速实时解码平台的并行解码快速排序方法 |
CN110096938A (zh) * | 2018-01-31 | 2019-08-06 | 腾讯科技(深圳)有限公司 | 一种视频中的动作行为的处理方法和装置 |
CN110163107A (zh) * | 2019-04-22 | 2019-08-23 | 智慧互通科技有限公司 | 一种基于视频帧识别路侧停车行为的方法及装置 |
CN111353456A (zh) * | 2020-03-06 | 2020-06-30 | 北京工业大学 | 基于视频监控的婴幼儿溺水判断方法 |
CN111383447A (zh) * | 2018-12-29 | 2020-07-07 | 北京嘀嘀无限科技发展有限公司 | 一种设置车辆禁停区域的方法、系统、装置及存储介质 |
CN113743212A (zh) * | 2021-08-02 | 2021-12-03 | 日立楼宇技术(广州)有限公司 | 扶梯出入口拥堵或有遗留物的检测方法、装置及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216940A (zh) * | 2008-01-08 | 2008-07-09 | 上海大学 | 基于小波多尺度变换视频前景运动对象分割方法 |
US20110072076A1 (en) * | 2009-09-21 | 2011-03-24 | Arinc Incorporated | Method and apparatus for the collection, formatting, dissemination, and display of information on low-cost display devices |
KR101037205B1 (ko) * | 2010-07-15 | 2011-05-26 | 주식회사 하나씨엔에스 | 장애인 전용 주차구획 불법 주차 단속 시스템 및 그 방법 |
CN102855758A (zh) * | 2012-08-27 | 2013-01-02 | 无锡北邮感知技术产业研究院有限公司 | 一种违章车辆检测方法 |
KR101238905B1 (ko) * | 2012-06-11 | 2013-03-06 | (주)메가스틸코리아 | 차량 운전자 승하차에 따른 주정차단속시스템 및 그 방법 |
CN103116985A (zh) * | 2013-01-21 | 2013-05-22 | 信帧电子技术(北京)有限公司 | 一种违章停车检测方法和装置 |
CN103150904A (zh) * | 2013-02-05 | 2013-06-12 | 中山大学 | 一种基于图像特征的卡口车辆图像识别方法 |
-
2013
- 2013-07-09 CN CN201310287355.9A patent/CN103325259B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216940A (zh) * | 2008-01-08 | 2008-07-09 | 上海大学 | 基于小波多尺度变换视频前景运动对象分割方法 |
US20110072076A1 (en) * | 2009-09-21 | 2011-03-24 | Arinc Incorporated | Method and apparatus for the collection, formatting, dissemination, and display of information on low-cost display devices |
KR101037205B1 (ko) * | 2010-07-15 | 2011-05-26 | 주식회사 하나씨엔에스 | 장애인 전용 주차구획 불법 주차 단속 시스템 및 그 방법 |
KR101238905B1 (ko) * | 2012-06-11 | 2013-03-06 | (주)메가스틸코리아 | 차량 운전자 승하차에 따른 주정차단속시스템 및 그 방법 |
CN102855758A (zh) * | 2012-08-27 | 2013-01-02 | 无锡北邮感知技术产业研究院有限公司 | 一种违章车辆检测方法 |
CN103116985A (zh) * | 2013-01-21 | 2013-05-22 | 信帧电子技术(北京)有限公司 | 一种违章停车检测方法和装置 |
CN103150904A (zh) * | 2013-02-05 | 2013-06-12 | 中山大学 | 一种基于图像特征的卡口车辆图像识别方法 |
Non-Patent Citations (1)
Title |
---|
王殿海,胡宏宇,李志慧,曲昭伟: "违章停车检测与识别算法", 《吉林大学学报》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103985230A (zh) * | 2014-05-14 | 2014-08-13 | 深圳市大疆创新科技有限公司 | 一种基于图像的通知方法、装置及通知系统 |
CN103985230B (zh) * | 2014-05-14 | 2016-06-01 | 深圳市大疆创新科技有限公司 | 一种基于图像的通知方法、装置及通知系统 |
CN104376554B (zh) * | 2014-10-16 | 2017-07-18 | 中海网络科技股份有限公司 | 一种基于图像纹理的违章停车检测方法 |
CN104376554A (zh) * | 2014-10-16 | 2015-02-25 | 中海网络科技股份有限公司 | 一种基于图像纹理的违章停车检测方法 |
CN107408332A (zh) * | 2015-04-29 | 2017-11-28 | 金泰克斯公司 | 具有基于不用手的图像的操作的可训练收发器 |
CN105046948A (zh) * | 2015-05-08 | 2015-11-11 | 天津大学 | 一种黄色网格线区域内交通违章停车监测系统和方法 |
CN105185108A (zh) * | 2015-08-06 | 2015-12-23 | 苏州市世跃智能科技有限公司 | 一种黄网格线违法停车自动抓拍系统 |
CN105185121A (zh) * | 2015-09-11 | 2015-12-23 | 安徽四创电子股份有限公司 | 一种虚拟卡口并行识别车牌的方法 |
CN105185121B (zh) * | 2015-09-11 | 2018-03-02 | 安徽四创电子股份有限公司 | 一种虚拟卡口并行识别车牌的方法 |
CN110096938A (zh) * | 2018-01-31 | 2019-08-06 | 腾讯科技(深圳)有限公司 | 一种视频中的动作行为的处理方法和装置 |
CN110096938B (zh) * | 2018-01-31 | 2022-10-04 | 腾讯科技(深圳)有限公司 | 一种视频中的动作行为的处理方法和装置 |
CN108648210A (zh) * | 2018-05-09 | 2018-10-12 | 西安天和防务技术股份有限公司 | 一种静态复杂场景下快速多目标检测方法及装置 |
CN108648210B (zh) * | 2018-05-09 | 2022-06-14 | 西安天和防务技术股份有限公司 | 一种静态复杂场景下快速多目标检测方法及装置 |
CN108881917A (zh) * | 2018-07-27 | 2018-11-23 | 西安电子科技大学 | 基于高速实时解码平台的并行解码快速排序方法 |
CN108881917B (zh) * | 2018-07-27 | 2019-12-03 | 西安电子科技大学 | 基于高速实时解码平台的并行解码快速排序方法 |
CN108831158A (zh) * | 2018-08-20 | 2018-11-16 | 贵州宜行智通科技有限公司 | 违停监测方法、装置及电子终端 |
CN111383447A (zh) * | 2018-12-29 | 2020-07-07 | 北京嘀嘀无限科技发展有限公司 | 一种设置车辆禁停区域的方法、系统、装置及存储介质 |
CN111383447B (zh) * | 2018-12-29 | 2021-11-09 | 北京嘀嘀无限科技发展有限公司 | 一种设置车辆禁停区域的方法、系统、装置及存储介质 |
CN110163107A (zh) * | 2019-04-22 | 2019-08-23 | 智慧互通科技有限公司 | 一种基于视频帧识别路侧停车行为的方法及装置 |
CN111353456A (zh) * | 2020-03-06 | 2020-06-30 | 北京工业大学 | 基于视频监控的婴幼儿溺水判断方法 |
CN113743212A (zh) * | 2021-08-02 | 2021-12-03 | 日立楼宇技术(广州)有限公司 | 扶梯出入口拥堵或有遗留物的检测方法、装置及存储介质 |
CN113743212B (zh) * | 2021-08-02 | 2023-11-14 | 日立楼宇技术(广州)有限公司 | 扶梯出入口拥堵或有遗留物的检测方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103325259B (zh) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103325259B (zh) | 一种基于多核并行的违章停车检测方法 | |
Dong et al. | A lightweight vehicles detection network model based on YOLOv5 | |
CN110188807A (zh) | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 | |
CN105913685A (zh) | 一种基于视频监控的车位识别及智能引导方法 | |
CN113420607A (zh) | 无人机多尺度目标检测识别方法 | |
CN104599502A (zh) | 一种基于视频监控的车流量统计方法 | |
CN108710827B (zh) | 一种社区微警务巡查和信息自动分析系统及方法 | |
CN105844229A (zh) | 一种乘客拥挤度的计算方法及其系统 | |
CN104200466A (zh) | 一种预警方法及摄像机 | |
CN104978567A (zh) | 基于场景分类的车辆检测方法 | |
Zhou | Real-time animal detection system for intelligent vehicles | |
CN109872541A (zh) | 一种车辆信息分析方法及装置 | |
CN103679214A (zh) | 基于在线面积估计和多特征决策融合的车辆检测方法 | |
Wu et al. | Traffic sign detection based on SSD combined with receptive field module and path aggregation network | |
Dai et al. | Attention based simplified deep residual network for citywide crowd flows prediction | |
Zheng et al. | A deep learning–based approach for moving vehicle counting and short-term traffic prediction from video images | |
CN112738725B (zh) | 半封闭区域目标人群的实时识别方法、装置、设备和介质 | |
CN114882732A (zh) | 一种智慧城市的智能化停车管理系统 | |
CN104778355B (zh) | 基于广域分布交通系统的异常轨迹检测方法 | |
Liu et al. | Multi-lane detection by combining line anchor and feature shift for urban traffic management | |
Wang et al. | Vision-based highway traffic accident detection | |
CN113673527A (zh) | 一种车牌识别方法及系统 | |
CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
CN114708560B (zh) | 一种基于yolox算法的违章停车检测方法及系统 | |
Zhao et al. | An Improved Method for Infrared Vehicle and Pedestrian Detection Based on YOLOv5s |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151209 Termination date: 20200709 |
|
CF01 | Termination of patent right due to non-payment of annual fee |