CN109872341B - 一种基于计算机视觉的高空抛物检测方法与系统 - Google Patents

一种基于计算机视觉的高空抛物检测方法与系统 Download PDF

Info

Publication number
CN109872341B
CN109872341B CN201910032981.0A CN201910032981A CN109872341B CN 109872341 B CN109872341 B CN 109872341B CN 201910032981 A CN201910032981 A CN 201910032981A CN 109872341 B CN109872341 B CN 109872341B
Authority
CN
China
Prior art keywords
moving object
frame
tracking
detection
parabola
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910032981.0A
Other languages
English (en)
Other versions
CN109872341A (zh
Inventor
王天江
王玮光
陈应
李金生
吴善农
柳博予
童文浩
罗逸豪
韩宇琛
梁琦
张量奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
China Construction Third Bureau Intelligent Technology Co Ltd
Original Assignee
Huazhong University of Science and Technology
China Construction Third Bureau Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, China Construction Third Bureau Intelligent Technology Co Ltd filed Critical Huazhong University of Science and Technology
Priority to CN201910032981.0A priority Critical patent/CN109872341B/zh
Publication of CN109872341A publication Critical patent/CN109872341A/zh
Application granted granted Critical
Publication of CN109872341B publication Critical patent/CN109872341B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于计算机视觉的高空抛物检测方法与系统,采用ViBe算法作为运动对象的检测手段,并在使用ViBe检测运动对象过程中,加入了相机是否抖动的检测机制,充分考虑了相机晃动或移动而导致画面位置发生偏移的情形,通过在相机抖动时采取当前帧高空抛物监控图像更新背景模型,提高了ViBe检测运动对象的准确率,从而降低高空抛物的误检率。本发明结合匈牙利算法和卡尔曼滤波算法对运动对象进行跟踪,匈牙利算法跟踪使得系统的运行速度有较大提升,卡尔曼滤波算法跟踪大幅度降低了对抛物跟踪的丢失率,保证对抛物的跟踪效果。该方法对于小目标的运动对象有较好的检测效果,并能够适应目标被短暂遮挡或者漏检、背景环境发生缓慢变化等情形。

Description

一种基于计算机视觉的高空抛物检测方法与系统
技术领域
本发明属于人工智能技术领域,更具体地,涉及一种基于计算机视觉的高空抛物检测方法与系统。
背景技术
高空抛物被称为“悬在城市上空的痛”,其不仅仅是不文明的行为,更是给社会安全带来很大隐患。由于事件发生场所多为高空楼层,少有目击者,抛物时间短,使得执法部门很难追究抛物者的法律责任。因此,实现智能对高空抛物的检测就非常的重要。
背景差分法是最常见的运动对象检测方法,其整体思路为:当前帧减去背景图像,得到背景差分图像后,再通过阈值判定法,对差分图像进行二值化处理后得到运动对象。使用背景差分法检测目标,关键是建立背景模型,背景模型的好坏将直接影响检测效果。通常采取两种方法:1.直接从图像序列中选取一帧没有运动对象的图像作为背景,但实际场景中很难找到完全没有运动对象的图像;2.利用图像序列中各帧均值作为背景,但容易将前景的信息融入到背景中,造成背景模型的不准确。专利CN106595604A公开一种基于背景差分的抛物检测方法,采用减背景法对视频图像进行分析,通过建立背景参数模型来近似背景图像的像素值,通过将当前帧与背景模型进行差分比较实现对运动对象区域的检测,区别较大的像素区域被认为是运动区域,区别较小的像素区域被认为是背景区域。如果运动区域在变化的过程中跨越用于标识周界的识别线,则判断发生周界高空抛物行为。
然而,现有的高空抛物检测存在误检率高、难以检测小的运动对象、检测速度慢的缺陷。
发明内容
针对现有技术的缺陷,本发明的目的在于解决现有技术高空抛物检测存在误检率高、难以检测小的运动对象、检测速度慢的技术问题。
为实现上述目的,第一方面,本发明实施例提供了一种基于计算机视觉的高空抛物检测方法,所述方法包括以下步骤:
S1.使用第1帧高空抛物监控图像初始化背景模型,初始化t=2;
S2.根据背景模型,基于ViBe方法检测第t帧高空抛物监控图像中的运动对象,t≥2;
S3.对第t帧高空抛物监控图像中检测到的每个运动对象,先基于匈牙利算法追踪该运动对象,在匈牙利算法追踪失败后,再基于卡尔曼滤波追踪该运动对象,通过跟踪获得该运动对象的运动轨迹;
S4.根据第t帧高空抛物监控图像中检测到每个运动对象的运动轨迹,判断该运动对象是否为高空抛物,若是,进入步骤S5,否则,直接将该运动对象删除;
S5.根据高空抛物的运动轨迹,获得其抛出位置。
具体地,所述步骤S2包括以下子步骤:
S201.根据背景模型,对第t帧高空抛物监控图像进行前景检测,得到第t帧的前景检测结果;
S202.基于第t帧的前景检测结果判断相机是否抖动,若是,进入步骤S203,否则,进入步骤S204;
S203.使用第t帧高空抛物监控图像更新背景模型,t=t+1,转至步骤S201;
S204.采用随机更新策略更新背景模型,进入步骤S205;
S205.根据第t帧的前景检测结果,提取第t帧中运动对象的信息,进入步骤S3。
具体地,所述基于第t帧的前景检测结果判断相机是否抖动包括以下步骤:
(1)统计前景检测结果中运动对象所占像素点的个数,记为n1;
(2)计算n1与当前帧图像的总像素点个数n2的比例n1/n2;
(3)若n1/n2大于设定阈值,则认为相机发生抖动,否则,认为相机未发生抖动。
具体地,步骤S3包括以下子步骤:
S301.将第t-1帧中该运动对象的信息和第t帧中该运动对象的信息输入匈牙利算法,使用匈牙利算法匹配第t-1帧中该运动对象在第t帧中的位置,若追踪成功,将该帧的位置输入到对应的卡尔曼滤波器中,若追踪失败,将使用卡尔曼滤波器预测该运动对象在t帧中的位置;
S302.判断运动轨迹中是否存在连续5个点都是使用卡尔曼滤波器预测得到,若是,则得到该运动对象的运动轨迹,转至步骤S4;否则,进入步骤S303;
S303.判断第t帧高空抛物监控图像是否为高空抛物监控视频的最后一帧,若是,则整个方法结束;否则,t=t+1,转至步骤S2。
具体地,步骤S4包括以下子步骤:
S401.统计每个运动对象的运动轨迹中,使用匈牙利算法匹配得到的点个数x、使用卡尔曼滤波器预测得到的点个数y和非加速运动点个数z;
S402.若
Figure BDA0001944895980000031
或z>0.3*(x+y),则判定该运动对象不是高空抛物,进入步骤S403;否则,则判定该运动对象是高空抛物,进入步骤S5;
S403.直接将该运动对象删除。
为实现上述目的,第二方面,本发明实施例提供了一种基于计算机视觉的高空抛物检测系统,所述系统包括:
运动对象检测模块,用于使用第1帧高空抛物监控图像初始化背景模型,并根据背景模型,基于ViBe方法检测第t帧高空抛物监控图像中的运动对象,t≥2;
运动对象跟踪模块,用于对所述运动对象检测模块检测到的每个运动对象,先基于匈牙利算法追踪该运动对象,在匈牙利算法追踪失败后,再基于卡尔曼滤波追踪该运动对象,通过跟踪获得该运动对象的运动轨迹;
抛物判断模块,用于根据所述运动对象跟踪模块获得的每个运动对象的运动轨迹,判断该运动对象是否为高空抛物;
结果显示模块,根据所述抛物判断模块的判断结果,显示高空抛物的运动轨迹和抛出位置。
具体地,所述运动对象检测模块包括:
前景检测子模块,用于根据背景模型,对第t帧高空抛物监控图像进行前景检测,得到第t帧的前景检测结果;
相机抖动检测子模块,用于根据前景检测子模块的检测结果判断相机是否发生抖动;
背景模型更新子模块,用于根据所述相机抖动检测子模块的检测结果采取相应的背景模型更新策略;
运动对象信息提取子模块,用于根据前景检测子模块的检测结果,提取第t帧中运动对象的信息。
具体地,所述运动对象跟踪模块包括:
运动对象匹配子模块,用于根据第t-1帧中该运动对象的信息和第t帧中该运动对象的信息,使用匈牙利算法匹配第t-1帧中该运动对象在第t帧中的位置;
运动对象跟踪子模块,用于在所述运动对象匹配子模块匹配失败时,使用卡尔曼滤波器预测该运动对象在t帧中的位置;
运动轨迹获取子模块,用于在运动轨迹中存在连续5个点都是使用卡尔曼滤波器预测得到时,获取该运动对象的运动轨迹。
具体地,所述高空抛物检测系统还包括:抛物视频回放模块,用于根据抛物出现的时间、位置查找进行回放。
为实现上述目的,第三方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面所述的高空抛物检测方法。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
1.本发明采用ViBe方法作为运动对象的检测手段,巧妙的利用了图像的邻域特征,直接利用像素值进行计算,该方法易于实现且对资源占用较小,同时,由于模型样本随机提取及邻域提取策略,使得该方法抗噪能力较好,能适应大部分实际监控场景。
2.本发明在使用ViBe检测运动对象的过程中,加入了相机是否抖动的检测机制,充分考虑了相机晃动或移动而导致像素点位置发生偏移的情形,通过在相机抖动时采取当前帧高空抛物监控图像更新背景模型,进而提高了ViBe检测运动对象的准确率,从而降低高空抛物的误检率。
3.本发明结合匈牙利算法和卡尔曼滤波算法对运动对象进行跟踪追踪,匈牙利算法跟踪使得系统的运行速度有较大提升,卡尔曼滤波算法跟踪大幅度降低了对抛物跟踪的丢失率,保证对抛物的跟踪效果。该方法对于小目标的运动对象有较好的检测效果,并能够适应目标被短暂遮挡或者漏检、背景环境发生缓慢变化等情形。
附图说明
图1为本发明实施例提供的一种基于计算机视觉的高空抛物检测方法流程图;
图2为本发明实施例提供的二维ViBe模型匹配示意图;
图3为本发明实施例提供的一种基于计算机视觉的高空抛物检测系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,一种基于计算机视觉的高空抛物检测方法,所述方法包括以下步骤:
S1.使用第1帧高空抛物监控图像初始化背景模型,初始化t=2;
S2.根据背景模型,基于ViBe方法检测第t帧高空抛物监控图像中的运动对象,t≥2;
S3.对第t帧高空抛物监控图像中检测到的每个运动对象,先基于匈牙利算法追踪该运动对象,在匈牙利算法追踪失败后,再基于卡尔曼滤波追踪该运动对象,通过跟踪获得该运动对象的运动轨迹;
S4.根据第t帧高空抛物监控图像中检测到每个运动对象的运动轨迹,判断该运动对象是否为高空抛物,若是,进入步骤S5,否则,直接将该运动对象删除;
S5.根据高空抛物的运动轨迹,获得其抛出位置。
本发明中的高空抛物监控视频来自对目标建筑的监控,可以是实时采集的,也可以是下载的。视频图像采集的过程包括:监控摄像机布置与安装、视频数据流获取和数据流解码。
监控摄像机的布置与安装:将网络摄像机安装在监控大楼下方,选择合适的安装距离、安装高度、安装角度和安装相机数量进行安装,保证物体真实大小与监控图像中物品大小1:1的比例成像。本发明实施例中,将网络摄像机安装在监控大楼的下方,安装在距离大楼30米处,安装高度为3米。相机数量和安装角度可保证物体真实大小与监控图像中物品大小1:1的比例成像,即若物体的真实大小为N1*N2(cm),则视频中拍摄的物体的大小为N1*N2(像素)。
视频数据流获取:通过有线/无线连接传输监控数据,具体地,通过相机的IP地址、端口号、用户名、密码获得已压缩的视频数据流。
数据流解码:利用H264解码方法将获得的视频数据流解码为一帧帧的图像。
在步骤S1之前,还可以对原始高空抛物监控图像进行预处理,具体包括:灰度化和中值滤波。
步骤S1.使用第1帧高空抛物监控图像初始化背景模型,初始化t=2。
对第1帧高空抛物监控图像中的任一像素点X,从其8邻域N8(X)中随机选取N个样本用于初始化,背景模型可表示为:
M(X)={vi(y)|y∈N8(X)},i=1,2,...,N
其中,M(X)={v1,v2,…vN}为X处的背景样本集,vi(X)表示第i个样本X点的像素值,N8(X)表示X点的8邻域,N为样本集大小。本发明实施例中,N=20。
步骤S2.根据背景模型,基于ViBe方法检测第t帧高空抛物监控图像中的运动对象,t≥2。
ViBe(Visual Background Extractor)检测方法是一种像素级的前景检测方法,其基本思想是:为每个像素点存储一个样本集,样本集中采样值就是该像素点过去的像素值和其邻居点的像素值,然后将每一个新的像素值和样本集进行比较来判断是否属于背景点。背景物体就是指静止的或是非常缓慢的移动物体,前景物体对应移动物体。
S201.根据背景模型,对第t帧高空抛物监控图像进行前景检测,得到第t帧的前景检测结果。
假设当前输入帧是It,像素点X处的像素值是v(X)。如图2所示,定义一个以v(X)为中心、R为半径的球体SR(v(X)),SR(v(X))表示所有与v(X)距离小于R的点的集合,用M(X)落在SR(v(X))区域内的样本个数m表示v(X)与背景模型M(X)的相似度,对于给定的阈值Tm:如果m<Tm,则判定v(X)的为前景;如果m≥Tm则判定v(X)为背景。前景检测结果F(X)可表示为:
Figure BDA0001944895980000081
Figure BDA0001944895980000082
其中,dist(·)表示像素值v(X)与M(X)中每个样本像素值之间的欧式距离。本发明优选Tm为2。
S202.基于第t帧的前景检测结果判断相机是否抖动,若是,进入步骤S203,否则,进入步骤S204。
由于本项目实际应用场景需要将相机摆放在正对大楼墙面的户外,导致相机在拍摄过程中容易受环境的影响导致相机晃动或人为移动,根据上述ViBe算法的原理可知,相机晃动或移动会导致当前画面中所有像素点的位置与ViBe算法背景中的位置产生偏移,进而导致ViBe算法的处理结果出现大量的误检。
统计前景检测结果中像素值为255的像素点的个数(运动物体所占像素点的个数),记为n1;计算n1与当前帧图像的总像素点个数n2的比例;若n1/n2大于设定阈值k,则认定当前摄像头拍摄画面发生抖动或摄像头被移动,即相机发生抖动。本发明优选k=0.2。
S203.使用第t帧高空抛物监控图像更新背景模型,t=t+1,转至步骤S201;
得益于ViBe算法初始化背景非常快速,本发明在应用时会对ViBe算法检测得到的结果进行判断,若判断结果为相机晃动或移动,则立即重新初始化背景。
S204.采用随机更新策略更新背景模型,进入步骤S205。
为了适应监控场景中模型的背景变化,使模型能够较好的描述当前时刻的背景,需要对模型进行更新。ViBe算法根据当前帧像素值v(X)来更新背景模型。每一个背景点具有相同的概率1/φ来更新模型,同时利用像素值空间传播特性对邻域点也有相同的概率1/φ进行更新模型。
采用随机更新策略,设定更新概率为Φ,当前像素v(X)被判定为背景像素点后,v(X)有1/φ的概率更新该像素点的背景模型,随机替换背景模型中的一个。
S205.根据第t帧的前景检测结果,提取第t帧中运动对象的信息,进入步骤S3。
运动对象的信息包括运动对象的尺寸及中心点位置坐标。
步骤S204和步骤S205之间,还可以包括步骤:利用形态学对第t帧的前景检测结果去噪。
对检测结果进行腐蚀、膨胀、连通性分析去除检测噪声,最终能够获得最小面积为16的运动对象。运动对象可能是一个,也可能是多个。
ViBe运动对象检测大部分是图像的像素的计算操作,为了使系统具有更快的响应速度,这里可以对图像处理ViBe算法做并行化的改进。利用OpenCL编程方法对算法并行化处理,充分利用GPU强大的并行计算能力并与CPU进行协同工作,更高效的利用硬件高效的完成ViBe算法中大规模的、高并行度的计算,实现系统加速功能。OpenCL编程利用了GPU的特点进行多线程并行处理实现ViBe算法,并行化后的算法在处理高分辨率的图像有明显的优势。
步骤S3.对第t帧高空抛物监控图像中检测到的每个运动对象,先基于匈牙利算法追踪该运动对象,在匈牙利算法追踪失败后,再基于卡尔曼滤波追踪该运动对象,通过跟踪获得该运动对象的运动轨迹。
S301.将第t-1帧中该运动对象的信息和第t帧中该运动对象的信息输入匈牙利算法,使用匈牙利算法匹配第t-1帧中该运动对象在第t帧中的位置,若追踪成功,将该帧的位置输入到对应的卡尔曼滤波器中,若追踪失败,将使用卡尔曼滤波器预测该运动对象在t帧中的位置。
检测程序对每一帧图片进行检测,可得到一个可能为抛物的点集。对每相邻两帧得到的点集视为一个二分图,进而使用匈牙利算法计算得到每个点(物体)在相邻两帧的位置,进而可以实现对抛物的跟踪。匈牙利算法通过对各待匹配点构成的二分图查找其增广路径获得最大匹配的过程。
设n-1帧的点设为x,n帧的点设为y,D表示像素点x与y的欧氏距离。代价函数value的计算方式如下:
Figure BDA0001944895980000101
其中,x.area为x点的尺寸,y.area为y点的尺寸。
匈牙利算法的输入:按照value计算方法得到的n-1帧中的所有点和n帧中的所有点的“value矩阵”。匈牙利算法的输出:n-1帧的点在n帧对应的位置。
由于实际场景的不确定性,存在一定可能在某些帧无法对抛物进行位置追踪,故引入卡尔曼滤波算法,将每个抛物的运行轨迹进行存储,并在无法追踪到抛物时进行预测,得到抛物的大概位置,继而继续完成追踪。
卡尔曼滤波器实现运动对象追踪分为三个步骤:
首先,初始化卡尔曼滤波器,将运动对象的位置和速度输入卡尔曼滤波器,并记录当前帧的时间。
然后,进行状态估计,利用当前帧和上一帧的时间间隔进行卡尔曼预测,预测当前帧中运动对象的位置和运动状态,并搜索区域中的最佳匹配,获得真实目标的位置和运动状态值,同时记录当前的时间,在此创新性的增加高空抛物运动的先验知识,若出现轨迹连续非下落时间tnum大于阈值T,即tnum>T,则表示此运动对象为非抛物运动,直接将此运动对象去除。阈值T为5帧。
最后,进行状态更新,用真实状态向量作为卡尔曼滤波器的输入更新卡尔曼滤波器的状态。
S302.判断运动轨迹中是否存在连续5个点都是使用卡尔曼滤波器预测得到,若是,则得到每个运动对象的运动轨迹,转至步骤S4;否则,进入步骤S303。
由于一条运动轨迹可能只出现在视频的一小段时间内,因此,当连续5个点都是使用卡尔曼滤波器预测得到,判定该运动轨迹结束,用于进行高空抛物的判断。
S303.判断第t帧高空抛物监控图像是否为高空抛物监控视频的最后一帧,若是,则整个方法结束;否则,t=t+1,转至步骤S2。
本发明是按照帧处理的,整个视频处理完之后自然结束。
步骤S4.根据第t帧高空抛物监控图像中检测到每个运动对象的运动轨迹,判断其是否为高空抛物,若是,进入步骤S5,否则,直接将该运动对象删除。
根据高空抛物的运动具备以下特点:
(1)高空抛物的运动轨迹始终是向下运动,因此运动对象轨迹的纵坐标的值是持续增大的。
(2)高空抛物运动对象轨迹点的数目M要满足设置的阈值T,即M>T,运动对象在监控范围内运动,其运动定会运动一定的时间,因此检测的轨迹点的数目会有一定的限制。
(3)高空抛物运动对象轨迹从监控范围的边界终结,抛物运动不会在某个地方停留,会从某个边界地方出监控范围,同时边界区域也不会是上边界区域,只会从左、右及下边界区域。
(4)抛物运动在开始部分基本上在做加速运动,但受到环境等的影响,无法避免会出现检测目标没有减速和匀速的部分点,但整体上做加速运动,因此设置比例阈值以去除一直匀速或者减速的运动对象。
(5)高空抛物运动对象下落过程中,纵坐标的差分数值不会一直太小,因此可以去除纵坐标几乎重合的噪声。
S401.统计每个运动对象的运动轨迹中使用匈牙利算法匹配得到的点个数x,使用卡尔曼滤波器预测得到的点个数y和非加速运动点个数z。
S402.若
Figure BDA0001944895980000121
或z>0.3*(x+y),则判定该运动对象不是高空抛物,进入步骤S403;否则,则判定该运动对象是高空抛物,进入步骤S5。
S403.直接将该运动对象删除。
步骤S5.根据高空抛物的运动轨迹,获得其抛出位置。
对高空抛物的运动轨迹进行曲线拟合,获得其抛出位置,仅保存高空抛物出现以及下落过程的视频。
当判定出现高空抛物时,将系统缓存的一段时间的监控图片通过压缩实现图片到视频的压缩实现高空抛物关键视频的保存,并可以根据抛物出现的时间,位置等信息查找进行回放。
如图3所示,一种基于计算机视觉的高空抛物检测系统,所述系统包括:
运动对象检测模块,用于使用第1帧高空抛物监控图像初始化背景模型,并根据背景模型,基于ViBe方法检测第t帧高空抛物监控图像中的运动对象,t≥2;
运动对象跟踪模块,用于对所述运动对象检测模块检测到的每个运动对象,先基于匈牙利算法追踪该运动对象,在匈牙利算法追踪失败后,再基于卡尔曼滤波追踪该运动对象,通过跟踪获得该运动对象的运动轨迹;
抛物判断模块,用于根据所述运动对象跟踪模块获得的每个运动对象的运动轨迹,判断该运动对象是否为高空抛物;
结果显示模块,根据所述抛物判断模块的判断结果,显示高空抛物的运动轨迹和抛出位置。
所述高空抛物检测系统还包括数据采集模块,用于实时采集目标建筑的高空抛物监控图像。
系统各个模块之间利用缓冲区进行数据交流,利用生产者-消费者模型进行控制,提高系统的鲁棒性。将系统每个模块作为单独的子线程,中间通过缓冲队列进行连接,缓冲队列做线程同步控制,控制方式采用生产者-消费者模型。例如图像采集模块与运动对象检测模块之间的同步控制,通过给系统发送图像采集信号,唤醒图像采集线程,获得监控视频流并对视频流解码,采集视频原始图片挂入缓冲区队尾,并更改临界区相关信号量;当缓冲区中有图像数据时,便唤醒运动对象检测线程,从队头取出图片做进一步处理。利用此模式使系统各模块之间可以有短时间的容差。但此时间也是有限制的,缓冲区的大小的设置决定了容差时间的大小。如果系统某个线程处理速度过于缓慢,导致其相关的缓冲区数据越积越多,当接近于缓冲区总大小时,系统挂起其前一个模块的线程,并回馈流水线降低速度指令,防止缓冲区溢出系统崩溃。通过此种方案充分降低各个模块之间的耦合性,并能够降低数据的丢失,提高系统的稳定性和鲁棒性。
以上,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于计算机视觉的高空抛物检测方法,其特征在于,所述方法包括以下步骤:
S1.使用第1帧高空抛物监控图像初始化背景模型,初始化t=2;
S2.根据背景模型,基于ViBe方法检测第t帧高空抛物监控图像中的运动对象,t≥2;
S3.对第t帧高空抛物监控图像中检测到的每个运动对象,先基于匈牙利算法追踪该运动对象,在匈牙利算法追踪失败后,再基于卡尔曼滤波追踪该运动对象,通过跟踪获得该运动对象的运动轨迹;
S4.根据第t帧高空抛物监控图像中检测到每个运动对象的运动轨迹,判断该运动对象是否为高空抛物,若是,进入步骤S5,否则,直接将该运动对象删除;
S5.根据高空抛物的运动轨迹,获得其抛出位置。
2.如权利要求1所述的高空抛物检测方法,其特征在于,所述步骤S2包括以下子步骤:
S201.根据背景模型,对第t帧高空抛物监控图像进行前景检测,得到第t帧的前景检测结果;
S202.基于第t帧的前景检测结果判断相机是否抖动,若是,进入步骤S203,否则,进入步骤S204;
S203.使用第t帧高空抛物监控图像更新背景模型,t=t+1,转至步骤S201;
S204.采用随机更新策略更新背景模型,进入步骤S205;
S205.根据第t帧的前景检测结果,提取第t帧中运动对象的信息,进入步骤S3。
3.如权利要求2所述的高空抛物检测方法,其特征在于,所述基于第t帧的前景检测结果判断相机是否抖动包括以下步骤:
(1)统计前景检测结果中运动对象所占像素点的个数,记为n1;
(2)计算n1与当前帧图像的总像素点个数n2的比例n1/n2;
(3)若n1/n2大于设定阈值,则认为相机发生抖动,否则,认为相机未发生抖动。
4.如权利要求1所述的高空抛物检测方法,其特征在于,步骤S3包括以下子步骤:
S301.将第t-1帧中该运动对象的信息和第t帧中该运动对象的信息输入匈牙利算法,使用匈牙利算法匹配第t-1帧中该运动对象在第t帧中的位置,若追踪成功,将第t-1帧的运动对象在第t帧的位置输入到对应的卡尔曼滤波器中,若追踪失败,使用卡尔曼滤波器预测第t-1帧的运动对象在第t帧的位置;
S302.判断运动轨迹中是否存在连续5个点都是使用卡尔曼滤波器预测得到,若是,则得到该运动对象的运动轨迹,转至步骤S4;否则,进入步骤S303;
S303.判断第t帧高空抛物监控图像是否为高空抛物监控视频的最后一帧,若是,则整个方法结束;否则,t=t+1,转至步骤S2。
5.如权利要求1所述的高空抛物检测方法,其特征在于,步骤S4包括以下子步骤:
S401.统计每个运动对象的运动轨迹中,使用匈牙利算法匹配得到的点个数x、使用卡尔曼滤波器预测得到的点个数y和非加速运动点个数z;
S402.若
Figure FDA0002592618390000031
或z>0.3*(x+y),则判定该运动对象不是高空抛物,进入步骤S403;否则,则判定该运动对象是高空抛物,进入步骤S5;
S403.直接将该运动对象删除。
6.一种基于计算机视觉的高空抛物检测系统,其特征在于,所述系统包括:
运动对象检测模块,用于使用第1帧高空抛物监控图像初始化背景模型,并根据背景模型,基于ViBe方法检测第t帧高空抛物监控图像中的运动对象,t≥2;
运动对象跟踪模块,用于对所述运动对象检测模块检测到的每个运动对象,先基于匈牙利算法追踪该运动对象,在匈牙利算法追踪失败后,再基于卡尔曼滤波追踪该运动对象,通过跟踪获得该运动对象的运动轨迹;
抛物判断模块,用于根据所述运动对象跟踪模块获得的每个运动对象的运动轨迹,判断该运动对象是否为高空抛物;
结果显示模块,根据所述抛物判断模块的判断结果,显示高空抛物的运动轨迹和抛出位置。
7.如权利要求6所述的高空抛物检测系统,其特征在于,所述运动对象检测模块包括:
前景检测子模块,用于根据背景模型,对第t帧高空抛物监控图像进行前景检测,得到第t帧的前景检测结果;
相机抖动检测子模块,用于根据前景检测子模块的检测结果判断相机是否发生抖动;
背景模型更新子模块,用于根据所述相机抖动检测子模块的检测结果采取相应的背景模型更新策略;
运动对象信息提取子模块,用于根据前景检测子模块的检测结果,提取第t帧中运动对象的信息。
8.如权利要求6所述的高空抛物检测系统,其特征在于,所述运动对象跟踪模块包括:
运动对象匹配子模块,用于根据第t-1帧中该运动对象的信息和第t帧中该运动对象的信息,使用匈牙利算法匹配第t-1帧中该运动对象在第t帧中的位置;
运动对象跟踪子模块,用于在所述运动对象匹配子模块匹配失败时,使用卡尔曼滤波器预测第t-1帧中该运动对象在第t帧中的位置;
运动轨迹获取子模块,用于在运动轨迹中存在连续5个点都是使用卡尔曼滤波器预测得到时,获取该运动对象的运动轨迹。
9.如权利要求6所述的高空抛物检测系统,其特征在于,所述高空抛物检测系统还包括:抛物视频回放模块,用于根据抛物出现的时间、位置查找进行回放。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的高空抛物检测方法。
CN201910032981.0A 2019-01-14 2019-01-14 一种基于计算机视觉的高空抛物检测方法与系统 Expired - Fee Related CN109872341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910032981.0A CN109872341B (zh) 2019-01-14 2019-01-14 一种基于计算机视觉的高空抛物检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910032981.0A CN109872341B (zh) 2019-01-14 2019-01-14 一种基于计算机视觉的高空抛物检测方法与系统

Publications (2)

Publication Number Publication Date
CN109872341A CN109872341A (zh) 2019-06-11
CN109872341B true CN109872341B (zh) 2020-11-24

Family

ID=66917539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910032981.0A Expired - Fee Related CN109872341B (zh) 2019-01-14 2019-01-14 一种基于计算机视觉的高空抛物检测方法与系统

Country Status (1)

Country Link
CN (1) CN109872341B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782433B (zh) * 2019-10-15 2022-08-09 浙江大华技术股份有限公司 基于时序的动态信息暴力抛物检测方法、装置及存储介质
CN110910415A (zh) * 2019-11-28 2020-03-24 重庆中星微人工智能芯片技术有限公司 抛物检测方法、装置、服务器和计算机可读介质
CN111079663B (zh) * 2019-12-19 2022-01-11 深圳云天励飞技术股份有限公司 高空抛物的监测方法、装置、电子设备及存储介质
CN111260695A (zh) * 2020-01-17 2020-06-09 桂林理工大学 一种扔杂物识别算法、系统、服务器及介质
CN111260693B (zh) * 2020-01-20 2023-07-28 北京中科晶上科技股份有限公司 一种高空抛物的检测方法
CN111382692A (zh) * 2020-03-05 2020-07-07 深学科技(杭州)有限公司 高空抛物检测方法、装置及计算机可读存储介质
CN111553255B (zh) * 2020-04-26 2023-04-07 上海天诚比集科技有限公司 基于梯度算法的高空抛物墙体监测区域定位方法
CN111553257A (zh) * 2020-04-26 2020-08-18 上海天诚比集科技有限公司 一种高空抛物预警方法
CN111553256A (zh) * 2020-04-26 2020-08-18 上海天诚比集科技有限公司 基于物体轨迹识别的高空抛物预警识别方法
CN111723654B (zh) * 2020-05-12 2023-04-07 中国电子系统技术有限公司 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置
CN111898511A (zh) * 2020-07-23 2020-11-06 北京以萨技术股份有限公司 基于深度学习的高空抛物检测方法、装置及介质
CN112132863A (zh) * 2020-09-21 2020-12-25 深圳市研超科技有限公司 一种高空抛物检测流程及分析方法
CN112257557B (zh) * 2020-10-20 2022-08-02 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112330743B (zh) * 2020-11-06 2023-03-10 安徽清新互联信息科技有限公司 一种基于深度学习的高空抛物检测方法
CN112308000B (zh) * 2020-11-06 2023-03-07 安徽清新互联信息科技有限公司 一种基于时空信息的高空抛物检测方法
CN112800953A (zh) * 2021-01-27 2021-05-14 南京航空航天大学 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法
CN113052878B (zh) * 2021-03-30 2024-01-02 北京中科通量科技有限公司 一种安防系统中边缘设备的多路高空抛物检测方法及系统
CN112926538B (zh) * 2021-04-08 2022-06-24 广州绿简智能科技有限公司 一种基于监控视频的高空抛物识别方法
CN113382202A (zh) * 2021-04-28 2021-09-10 陈兆莉 一种用于物业管理的小区监控系统
CN113256689B (zh) * 2021-06-08 2021-10-12 南京甄视智能科技有限公司 高空抛物检测方法及装置
CN113781516B (zh) * 2021-11-11 2022-06-21 湖南汇视威智能科技有限公司 一种高空抛物检测方法
CN114639075B (zh) * 2022-05-23 2022-08-16 广州英码信息科技有限公司 一种高空抛物坠物的识别方法、系统及计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163067A (zh) * 2015-08-12 2015-12-16 武汉大学 一种基于数字图像处理技术的高空抛物取证系统
CN106056100A (zh) * 2016-06-28 2016-10-26 重庆邮电大学 一种基于车道检测与目标跟踪的车辆辅助定位方法
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN107680123A (zh) * 2017-08-30 2018-02-09 王连圭 跨区域人体视频单目标智能跟踪算法器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787011B2 (en) * 2005-09-07 2010-08-31 Fuji Xerox Co., Ltd. System and method for analyzing and monitoring 3-D video streams from multiple cameras
JP4730431B2 (ja) * 2008-12-16 2011-07-20 日本ビクター株式会社 目標追尾装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163067A (zh) * 2015-08-12 2015-12-16 武汉大学 一种基于数字图像处理技术的高空抛物取证系统
CN106056100A (zh) * 2016-06-28 2016-10-26 重庆邮电大学 一种基于车道检测与目标跟踪的车辆辅助定位方法
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN107680123A (zh) * 2017-08-30 2018-02-09 王连圭 跨区域人体视频单目标智能跟踪算法器

Also Published As

Publication number Publication date
CN109872341A (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN109872341B (zh) 一种基于计算机视觉的高空抛物检测方法与系统
CN109309811B (zh) 一种基于计算机视觉的高空抛物检测系统与方法
Boult et al. Frame-rate omnidirectional surveillance and tracking of camouflaged and occluded targets
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
WO2017096949A1 (zh) 一种对目标进行跟踪拍摄的方法、控制装置及系统
US9681125B2 (en) Method and system for video coding with noise filtering
Boult et al. Omni-directional visual surveillance
US11887318B2 (en) Object tracking
CN108629299B (zh) 一种结合人脸匹配的长时间多目标跟踪方法及系统
CN111898511A (zh) 基于深度学习的高空抛物检测方法、装置及介质
CN111401311A (zh) 一种基于图像检测的高空抛物识别方法
WO2022001961A1 (zh) 一种高空抛物动目标检测方法、检测设备和检测系统
CN110782433B (zh) 基于时序的动态信息暴力抛物检测方法、装置及存储介质
CN102034240A (zh) 一种静态前景检测和跟踪方法
CN112669344A (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN110647836B (zh) 一种鲁棒的基于深度学习的单目标跟踪方法
Porikli et al. Object tracking in low-frame-rate video
US20200145623A1 (en) Method and System for Initiating a Video Stream
Xu et al. Segmentation and tracking of multiple moving objects for intelligent video analysis
US20160210759A1 (en) System and method of detecting moving objects
CN112132863A (zh) 一种高空抛物检测流程及分析方法
Davis et al. An adaptive focus-of-attention model for video surveillance and monitoring
CN110728700B (zh) 一种运动目标追踪方法、装置、计算机设备及存储介质
KR102127276B1 (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
Ekinci et al. Background estimation based people detection and tracking for video surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201124

Termination date: 20220114