CN113362374A - 一种基于目标跟踪网络的高空抛物检测方法及系统 - Google Patents

一种基于目标跟踪网络的高空抛物检测方法及系统 Download PDF

Info

Publication number
CN113362374A
CN113362374A CN202110633431.1A CN202110633431A CN113362374A CN 113362374 A CN113362374 A CN 113362374A CN 202110633431 A CN202110633431 A CN 202110633431A CN 113362374 A CN113362374 A CN 113362374A
Authority
CN
China
Prior art keywords
target
event
tracking
parabolic
altitude parabolic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110633431.1A
Other languages
English (en)
Inventor
宣琦
朱城超
郑俊杰
朱振强
刘壮壮
翔云
邱君瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110633431.1A priority Critical patent/CN113362374A/zh
Publication of CN113362374A publication Critical patent/CN113362374A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于目标跟踪网络的高空抛物检测方法，包括：S1)获取初始图片帧构建监控场景背景模型；S2)由后续输入图像与背景模型的相似度，进行运动目标检测并更新背景模型；S3)利用目标跟踪网络对运动目标进行跟踪，记录其完整轨迹；S4)对记录的完整运动轨迹做分析，确定符合高空抛物运动规律的物体；S5)对确定为高空抛物的事件进行记录，用于后续事件回溯并及时告警。本发明还提供实施一种基于目标跟踪网络的高空抛物检测方法的系统，由图像获取模块、运动目标检测模块、运动目标跟踪模块、轨迹分析模块、事件记录告警模块依次连接而成。本发明通过优化目标跟踪网络来获取更加完整的抛物轨迹，在提升了检测准确率的同时还降低了误报率。

Description

一种基于目标跟踪网络的高空抛物检测方法及系统
技术领域
本发明涉及计算机视觉与深度学习目标跟踪算法领域，具体是一种基于目标跟踪网络的高空抛物检测方法及系统。
背景技术
高空抛物被称为“悬在城市上空的痛”，这种不文明的行为会带来很大的社会危害。曾有研究显示，一枚重30克的鸡蛋从4楼抛下，会把人头顶砸出个肿包，从18楼抛下，能砸破人的头骨，而从25楼抛下，冲击力足以致人死亡。近年来因高空抛物而引发的伤人事件屡屡发生。
目前想实现高空抛物事件的监控，首先得在待监控的楼宇之前安装监控摄像头，当有抛物事件发生后，通过人工回看视频寻找证据，但是考虑到抛物事件多发生在高楼层，抛物速度快持续时间短，这给人工定位造成了很大的困难，耗费了大量的人力物力且效果不佳。因此充分利用已经安装的监控设备，通过布署相应的检测算法对高空抛物事件进行实时检测，定位、告警、记录，对于预防抛物事件发生具有实际意义。
而要实现高空抛物事件的检测，首先考虑到抛物事件是一个随机发生且连续的事件，因此可以通过对监控视频流中运动物体的定位与跟踪即可获取抛物的完整轨迹，后续再对该轨迹做进一步分析来确定真实的抛物事件。在运动物体的定位阶段，优选背景建模法进行确定；在运动物体跟踪阶段，优选基于深度学习的目标跟踪网络进行跟踪。该检测流程对比目前最新公开的技术方案，如申请号为202110006895.X的专利所公开的技术方案，一种基于深度学习的高空抛物识别方法及其相关组件，利用帧差法获取监控视频序列中的目标图片，输入至高空识别模型中，获取目标区域的高空抛物事件概率与预设定值进行比较来确定高空抛物事件。该技术方案总体而言仅考虑到了抛物事件某一时刻的状态信息，而未能充分利用抛物事件在时间上连续这一特性。再对比申请号为 202011644379.1的专利所公开的技术方案，一种高空抛物检测方法、装置及电子设备，当发现监控视频数据中存在目标运动物体时，则启动目标跟踪神经网络，对所述目标运动物体进行跟踪得到运动物体的运动特征，凭此运动特征判断是否为高空抛物物体。在其公开的技术方案中，使用的目标跟踪神经网络为 SiamCAR，这是一种Siamese网络结构，目前该网络结构对于待跟踪的目标物体采取都是One-shot Learning策略，即一旦选定了初始跟踪目标后，在后续的跟踪过程中不再会对该初始选定目标进行更新。该策略对于具有一定特征的跟踪目标效果较好，但一方面考虑到高空抛物的物体一般而言都较小，另一方面抛物在下落的过程中一般都伴随着翻滚旋转，这就会导致待跟踪物体的形态特征较初始目标而言发生较大变化，造成跟踪目标丢失跟踪中断，因而提出一种更新初始目标的策略对于保证完整持续的跟踪是重要的。
基于上述分析，本发明提出了一种基于目标跟踪网络的高空抛物检测方法及系统，用于进行高空抛物事件的精准检测。
发明内容
本发明在充分考虑了抛物事件固有特征的前提下，提出了一种基于目标跟踪网络的高空抛物检测方法及系统，旨在解决现有技术中对高空抛物轨迹跟踪完整性不高，从而导致后续抛物事件确定以及起抛点定位准确度低的缺陷。
本发明的技术构思为：在成功获取监控摄像头的实时视频流数据后，分别通过运动目标确定，运动目标跟踪，运动轨迹分析三个流程确定真实抛物事件，同时根据完整的轨迹信息，定位出起抛点，并对已发生的抛物事件进行告警、事件记录等。进一步，在确定运动目标物体阶段，通过ViBe算法对监控场景进行背景建模后提取出背景中运动的前景，通过一定的图像形态学操作获取运动前景的最小外接矩形；在目标跟踪阶段，将确定的运动目标作为初始跟踪模版，通过预训练的跟踪网络模型进行跟踪，同时计算跟踪模版和实时跟踪目标之间的特征偏差，当偏差到一定程度时则更新跟踪匹配模版，通过该阶段记录下完整的抛物运动轨迹信息；在轨迹分析阶段，判断运动目标的轨迹是否符合高空抛物运动轨迹的限定，将满足轨迹限定条件的抛物事件进行记录，用于后续事件的回溯，同时及时告警。
本发明实现上述发明目的所采用的技术方案如下：
一种基于目标跟踪网络的高空抛物检测方法，包括如下步骤：
S1：获取监控摄像头中的初始图片帧S0用于构建监控场景的背景模型B；
S2：计算后续输入图像St与背景模型B的相似度，进行运动目标检测，同时更新背景模型B；
S3：利用目标跟踪网络对步骤S2中检测到的运动目标进行跟踪，并记录其完整轨迹；
S4：对步骤S3中记录的完整运动轨迹进行分析，确定符合高空抛物运动规律的物体；
S5：对确定为高空抛物的完整事件进行记录，用于后续事件回溯，同时及时告警。
进一步，所述步骤S1包括以下步骤：
S1.1：获取安装在楼宇正前方的监控摄像头中的视频流，对其做解码处理后获取初始图片帧S0；
S1.2：对该图片中的每个像素点X0(x,y)，随机选择此点的像素值或者领域的像素值作为初始模型M0(X)，如下式所示：
M0(X0)＝{vi(y)|y∈N8(X0)},i＝1,2,...,N (1)
其中，N8(X)表示像素点X0(x,y)的8领域，vi(y)表示从8领域N8(X)中随机选取的像素点的值。
进一步，所述步骤S2包括以下步骤：
S2.1：获取监控摄像头中最新视频流，对其进行解码处理后获得待测图片St；
S2.2：计算待测图片St与背景模型B的相似度，实现运动目标检测，具体为依据待测图片St中的每个像素点Xt(x,y)与M0(X)在二维空间中的欧式距离进行相似度计算，当欧式距离大于给定阈值Tm则判定Xt(x,y)为前景，反之则为背景，如下式所示：
Figure BDA0003104614430000041
其中，dist(Xt(x,y),M0(X0))表示Xt(x,y)与模型M0(X)的欧式距离，R表示判定两者相似的最大欧式距离；
S2.3：利用待测图像St中的像素值Xt(x,y)对模型M0(X)进行更新操作，背景更新策略采用随机选取样本值进行更新，像素点在时间t和t+dt之间还存在的概率如下式所示：
Figure BDA0003104614430000051
其中N表示从像素点Xt(x,y)的8领域中选取的像素点个数。
进一步，所述步骤S3包括以下步骤：
S3.1：对步骤S2中确定为前景的运动物体作为初始匹配模版，对初始匹配模板x与待测图片z通过预训练的Siamese网络进行特征提取，提取特征分别记为
Figure BDA0003104614430000052
S3.2：将提取出的模版特征
Figure BDA0003104614430000053
通过区域提议网络(RPN)，计算出分类与回归特征
Figure BDA0003104614430000054
作为检测卷积核，且在后续计算中无须重复计算；
S3.3：将待测图片的特征
Figure BDA0003104614430000055
使用RPN网络提取特征后，分别使用步骤S3.2 中
Figure BDA0003104614430000056
进行卷积操作，得到计算结果
Figure BDA0003104614430000057
如下式所示：
Figure BDA0003104614430000058
其中k为选取的候选区域，从中选择最大分类概率的锚点框对其进行边框回归，作为最终的跟踪目标
Figure BDA0003104614430000059
如下式所示：
Figure BDA00031046144300000510
其中，an为锚点框，pro指经过边框回归后的边界框；
S3.4：在跟踪过程中，对初始匹配模版的特征与跟踪目标的特征进行比较，当其差异大于给定阈值时，说明此时跟踪目标存在旋转翻滚等使目标特征发生较大变动的运动，因此适时更新初始匹配模板进行继续跟踪。
进一步，所述步骤S4包括以下步骤：
S4.1：依据步骤S3中记录的抛物运动轨迹坐标信息，结合视频流的解码帧率，计算其在不同时刻的水平垂直位移量、运动速度、运动角度；
S4.2：结合自由落体物理运动公式，对水平垂直位移量、运动速度、运动角度及变化率做合理性分析，排除不合理运动轨迹。
进一步，所述步骤S5包括以下步骤：
S5.1：对步骤S4中筛选完后满足抛物高空抛物运动规律的事件进行记录，用于后续的事件回溯；
S5.2：一旦有高空抛物事件发生，系统需要第一时间做出告警。
同时本发明还提供一种实施本发明的基于目标跟踪网络的高空抛物检测方法的系统，包括依次连接的图像获取模块、运动目标检测模块、运动目标跟踪模块、轨迹分析模块、事件记录告警模块。
所述图像获取模块，获取监控摄像头中实时的视频流，对其进行解码操作获取相应的待测图像帧；
所述运动目标检测模块，通过初始帧信息，对监控场景进行背景建模，依据建立的背景模型在后续图像帧中进行运动目标提取，同时充分利用不是前景的区域进行背景模型的实时更新；
所述运动目标跟踪模块，对在运动目标检测模块中确定的运动目标进行特征提取，并依据此特征信息使用目标跟踪网络在后续的图像帧中进行实时目标跟踪，同时比较跟踪模板和实时跟踪目标之间的特征差异，确定是否需要进行跟踪模版的更新，在跟踪过程中需要记录下物体的运动轨迹用于后续分析；
所述轨迹分析模块，根据跟踪轨迹坐标信息结合图像解码帧率，对运动物体的位移量，运动速度，运动角度及变化率等信息进行计算，筛选出符合高空抛物事件运动规律的记录，删除其余误报事件；
所述事件记录告警模块，当通过上述所有模块后确定为抛物的事件，系统及时对该事件进行记录用于后续的事件回溯，同时第一时间发出告警信息。
本发明的有益效果为：
1)提出了一种检测高空抛物事件的方法，充分利用抛物的运动学特征信息对大部分的误报事件进行排除，在保证准确率的前提下，可大大降低检测系统的整体的误报率；
2)通过ViBe背景建模法确定初始跟踪目标，该方法原理简单并巧妙的利用了图像的领域特征，没有复杂的计算，且对资源的占用较小，同时由于模型样本随机提取与领域提取策略使得算法的鲁棒性较强，总之该方法能适应大部分实际监控场景，且布署很快；
3)基于目标跟踪网络进行目标运动物体的跟踪，该网络结构充分利用 ImageNet、COCO、YouTube-BB等数据集进行了预训练，跟踪运动目标的性能已经较好，且在跟踪过程过程中无须再对网络结构参数进行调节，因此具备较快的运算速度，而对于需要确定的初始跟踪目标已通过ViBe背景建模法确定，无需再进行人工干预，同时又考虑到高空抛物事件的物体特征与运动特征，对原跟踪网络采取的One-shot Learning策略进行了相应优化，当发现跟踪目标在形态特征发生较大变动时，及时更新匹配模版。
附图说明
图1为本发明的整体框架图。
图2为本发明的整体处理流程图。
图3.a)～图3.b)为背景建模确定运动物体的示意图，图3.a)为处理流程图，图3.b)为检测效果图。
图4为目标跟踪网络整体架构与跟踪运动目标示意图。
图5为通过轨迹分析确定抛物事件的示意图。
图6为通过本专利提出方法对实际场景下检测到的一次完整抛物事件的检测效果图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细描述。
参照图1～图6，一种基于目标跟踪网络的高空抛物检测方法及系统，步骤如下：
S1：获取监控摄像头中的初始图片帧S0用于构建监控场景的背景模型B，如图3.a)所示；
S1.1：获取安装在楼宇正前方的监控摄像头中的视频流，对其做解码处理后获取初始图片帧S0；
S1.2：对该图片中的每个像素点X0(x,y)，随机选择此点的像素值或者领域的像素值作为初始模型M0(X)，如下式所示：
M0(X0)＝{vi(y)|y∈N8(X0)},i＝1,2,...,N (1)
其中，N8(X)表示像素点X0(x,y)的8领域，vi(y)表示从8领域N8(X)中随机选取的像素点的值。
S2：计算后续输入图像St与背景模型B的相似度，进行运动目标检测，同时更新背景模型B，流程如图3.a)所示，实际检测效果如图3.b)所示；
S2.1：获取监控摄像头中最新视频流，对其进行解码处理后获得待测图片St；
S2.2：计算待测图片St与背景模型B的相似度，实现运动目标检测，具体为依据待测图片St中的每个像素点Xt(x,y)与M0(X)在二维空间中的欧式距离进行相似度计算，当欧式距离大于给定阈值Tm则判定Xt(x,y)为前景，反之则为背景，如下式所示：
Figure BDA0003104614430000091
其中，dist(Xt(x,y),M0(X0))表示Xt(x,y)与模型M0(X)的欧式距离，R表示判定两者相似的最大欧式距离；
S2.3：利用待测图像St中的像素值Xt(x,y)对模型M0(X)进行更新操作，背景更新策略采用随机选取样本值进行更新，像素点在时间t和t+dt之间还存在的概率如下式所示：
Figure BDA0003104614430000092
其中N表示从像素点Xt(x,y)的8领域中选取的像素点个数。
S3：利用目标跟踪网络对步骤S2中检测到的运动目标进行跟踪，并记录其完整轨迹，如图4所示；
S3.1：对步骤S2中确定为前景的运动物体作为初始匹配模版，对初始匹配模板x与待测图片z通过预训练的Siamese网络进行特征提取，提取特征分别记为
Figure BDA0003104614430000093
S3.2：将提取出的模版特征
Figure BDA0003104614430000094
通过区域提议网络(RPN)，计算出分类与回归特征
Figure BDA0003104614430000095
作为检测卷积核，且在后续计算中无须重复计算；
S3.3：将待测图片的特征
Figure BDA0003104614430000096
使用RPN网络提取特征后，分别使用步骤S3.2 中
Figure BDA0003104614430000097
进行卷积操作，得到计算结果
Figure BDA0003104614430000098
如下式所示：
Figure BDA0003104614430000099
其中k为选取的候选区域，从中选择最大分类概率的锚点框对其进行边框回归，作为最终的跟踪目标
Figure BDA0003104614430000101
如下式所示：
Figure BDA0003104614430000102
其中，an为锚点框，pro指经过边框回归后的边界框；
S3.4：在跟踪过程中，对初始匹配模版的特征与跟踪目标的特征进行比较，当其差异大于给定阈值时，说明此时跟踪目标存在旋转翻滚等使目标特征发生较大变动的运动，因此适时更新初始匹配模板进行继续跟踪。
S4：对步骤S3中记录的完整运动轨迹进行分析，确定符合高空抛物运动规律的物体，如图5所示；
S4.1：依据步骤S3中记录的抛物运动轨迹坐标信息，结合视频流的解码帧率，计算其在不同时刻的水平垂直位移量、运动速度、运动角度；
S4.2：结合自由落体物理运动公式，对水平垂直位移量、运动速度、运动角度及变化率做合理性分析，排除不合理运动轨迹。
S5：对确定为高空抛物的完整事件进行记录，用于后续事件回溯，同时及时告警，图6为通过本专利提出方法对实际场景下检测到的一次完整抛物事件的检测效果图；
S5.1：对步骤S4中筛选完后满足抛物高空抛物运动规律的事件进行记录，用于后续的事件回溯；
S5.2：一旦有高空抛物事件发生，系统需要第一时间做出告警。
实施本发明的基于目标跟踪网络的高空抛物检测方法的系统，包括图像获取模块、运动目标检测模块、运动目标跟踪模块、轨迹分析模块、事件记录告警模块；
图像获取模块，获取监控摄像头中实时的视频流，对其进行解码操作获取相应的待测图像帧。
运动目标检测模块，通过初始帧信息，对监控场景进行背景建模，依据建立的背景模型在后续图像帧中进行运动目标提取，同时充分利用不是前景的区域进行背景模型的实时更新，具体包括：
对初始图片帧S0中的每个像素点X0(x,y)，随机选择此点的像素值或者领域的像素值作为初始模型M0(X)，如下式所示：
M0(X0)＝{vi(y)|y∈N8(X0)},i＝1,2,...,N (1)
其中，N8(X)表示像素点X0(x,y)的8领域，vi(y)表示从8领域N8(X)中随机选取的像素点的值；
计算待测图片St与背景模型B的相似度，实现运动目标检测，具体为依据待测图片St中的每个像素点Xt(x,y)与M0(X)在二维空间中的欧式距离进行相似度计算，当欧式距离大于给定阈值Tm则判定Xt(x,y)为前景，反之则为背景，如下式所示：
Figure BDA0003104614430000111
其中，dist(Xt(x,y),M0(X0))表示Xt(x,y)与模型M0(X)的欧式距离，R表示判定两者相似的最大欧式距离；
利用待测图像St中的像素值Xt(x,y)对模型M0(X)进行更新操作，背景更新策略采用随机选取样本值进行更新，像素点在时间t和t+dt之间还存在的概率如下式所示：
Figure BDA0003104614430000112
其中N表示从像素点Xt(x,y)的8领域中选取的像素点个数。
运动目标跟踪模块，对在运动目标检测模块中确定的运动目标进行特征提取，并依据此特征信息使用目标跟踪网络在后续的图像帧中进行实时目标跟踪，同时比较跟踪模板和实时跟踪目标之间的特征差异，确定是否需要进行跟踪模版的更新，在跟踪过程中需要记录下物体的运动轨迹用于后续分析，具体包括：
对运动目标检测模块中确定为前景的运动物体作为初始匹配模版，对初始匹配模板x与待测图片z通过预训练的Siamese网络进行特征提取，提取特征分别记为
Figure BDA0003104614430000121
将提取出的模版特征
Figure BDA0003104614430000122
通过区域提议网络(RPN)，计算出分类与回归特征
Figure BDA0003104614430000123
作为检测卷积核，且在后续计算中无须重复计算；
将待测图片的特征
Figure BDA0003104614430000124
使用RPN网络提取特征后，分别使用步骤S3.2中
Figure BDA0003104614430000125
进行卷积操作，得到计算结果
Figure BDA0003104614430000126
如下式所示：
Figure BDA0003104614430000127
其中k为选取的候选区域，从中选择最大分类概率的锚点框对其进行边框回归，作为最终的跟踪目标
Figure BDA0003104614430000128
如下式所示：
Figure BDA0003104614430000129
其中，an为锚点框，pro指经过边框回归后的边界框；
在跟踪过程中，对初始匹配模版的特征与跟踪目标的特征进行比较，当其差异大于给定阈值时，说明此时跟踪目标存在旋转翻滚等使目标特征发生较大变动的运动，因此适时更新初始匹配模板进行继续跟踪。
轨迹分析模块，根据跟踪轨迹坐标信息结合图像解码帧率，对运动物体的位移量，运动速度，运动角度及变化率等信息进行计算，筛选出符合高空抛物事件运动规律的记录，删除其余误报事件，具体包括：
依据运动目标跟踪模块中记录的抛物运动轨迹坐标信息，结合视频流的解码帧率，计算其在不同时刻的水平垂直位移量、运动速度、运动角度；
同时结合自由落体物理运动公式，对水平垂直位移量、运动速度、运动角度及变化率做合理性分析，排除不合理运动轨迹。
事件记录告警模块，当通过上述所有模块后确定为抛物的事件，系统及时对该事件进行记录用于后续的事件回溯，同时第一时间发出告警信息。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (7)

1.一种基于目标跟踪网络的高空抛物检测方法，其特征在于，包括以下步骤：
S1：获取监控摄像头中的初始图片帧S0用于构建监控场景的背景模型B；
S2：计算后续输入图像St与背景模型B的相似度，进行运动目标检测，同时更新背景模型B；
S3：利用目标跟踪网络对步骤S2中检测到的运动目标进行跟踪，并记录其完整轨迹；
S4：对步骤S3中记录的完整运动轨迹进行分析，确定符合高空抛物运动规律的物体；
S5：对确定为高空抛物的完整事件进行记录，用于后续事件回溯，同时及时告警。
2.如权利要求1所述的一种基于目标跟踪网络的高空抛物检测方法，其特征在于：步骤S1具体包括：
S1.1：获取安装在楼宇正前方的监控摄像头中的视频流，对其做解码处理后获取初始图片帧S0；
S1.2：对该图片中的每个像素点X0(x,y)，随机选择此点的像素值或者领域的像素值作为初始模型M0(X)，如下式所示：
M0(X0)＝{vi(y)|y∈N8(X0)},i＝1,2,...,N (1)
其中，N8(X)表示像素点X0(x,y)的8领域，vi(y)表示从8领域N8(X)中随机选取的像素点的值。
3.如权利要求1所述的一种基于目标跟踪网络的高空抛物检测方法，其特征在于：步骤S2具体包括：
S2.1：获取监控摄像头中最新视频流，对其进行解码处理后获得待测图片St；
S2.2：计算待测图片St与背景模型B的相似度，实现运动目标检测，具体为依据待测图片St中的每个像素点Xt(x,y)与M0(X)在二维空间中的欧式距离进行相似度计算，当欧式距离大于给定阈值Tm则判定Xt(x,y)为前景，反之则为背景，如下式所示：
Figure FDA0003104614420000021
其中，dist(Xt(x,y),M0(X0))表示Xt(x,y)与模型M0(X)的欧式距离，R表示判定两者相似的最大欧式距离；
S2.3：利用待测图像St中的像素值Xt(x,y)对模型M0(X)进行更新操作，背景更新策略采用随机选取样本值进行更新，像素点在时间t和t+dt之间还存在的概率如下式所示：
Figure FDA0003104614420000022
其中N表示从像素点Xt(x,y)的8领域中选取的像素点个数。
4.如权利要求1所述的一种基于目标跟踪网络的高空抛物检测方法，其特征在于：步骤S3具体包括：
S3.1：对步骤S2中确定为前景的运动物体作为初始匹配模版，对初始匹配模板x与待测图片z通过预训练的Siamese网络进行特征提取，提取特征分别记为
Figure FDA0003104614420000023
S3.2：将提取出的模版特征
Figure FDA0003104614420000031
通过区域提议网络(RPN)，计算出分类与回归特征
Figure FDA0003104614420000032
作为检测卷积核，且在后续计算中无须重复计算；
S3.3：将待测图片的特征
Figure FDA0003104614420000033
使用RPN网络提取特征后，分别使用步骤S3.2中
Figure FDA0003104614420000034
进行卷积操作，得到计算结果
Figure FDA0003104614420000035
如下式所示：
Figure FDA0003104614420000036
其中k为选取的候选区域，从中选择最大分类概率的锚点框对其进行边框回归，作为最终的跟踪目标
Figure FDA0003104614420000037
如下式所示：
Figure FDA0003104614420000038
其中，an为锚点框，pro指经过边框回归后的边界框。
5.如权利要求1所述的一种基于目标跟踪网络的高空抛物检测方法，其特征在于：步骤S4具体包括：
S4.1：依据步骤S3中记录的抛物运动轨迹坐标信息，结合视频流的解码帧率，计算其在不同时刻的水平垂直位移量、运动速度、运动角度；
S4.2：结合自由落体物理运动公式，对水平垂直位移量、运动速度、运动角度及变化率做合理性分析，排除不合理运动轨迹。
6.如权利要求1所述的一种基于目标跟踪网络的高空抛物检测方法，其特征在于：步骤S5具体包括：
S5.1：对步骤S4中筛选完后满足抛物高空抛物运动规律的事件进行记录，用于后续的事件回溯；
S5.2：一旦有高空抛物事件发生，系统需要第一时间做出告警。
7.实施权利要求1所述的一种基于目标跟踪网络的高空抛物检测方法的系统，其特征在于：包括依次连接的图像获取模块、运动目标检测模块、运动目标跟踪模块、轨迹分析模块、事件记录告警模块；
所述图像获取模块，获取监控摄像头中实时的视频流，对其进行解码操作获取相应的待测图像帧；
所述运动目标检测模块，通过初始帧信息，对监控场景进行背景建模，依据建立的背景模型在后续图像帧中进行运动目标提取，同时充分利用不是前景的区域进行背景模型的实时更新；
所述运动目标跟踪模块，对在运动目标检测模块中确定的运动目标进行特征提取，并依据此特征信息使用目标跟踪网络在后续的图像帧中进行实时目标跟踪，同时比较跟踪模板和实时跟踪目标之间的特征差异，确定是否需要进行跟踪模版的更新，在跟踪过程中需要记录下物体的运动轨迹用于后续分析；
所述轨迹分析模块，根据跟踪轨迹坐标信息结合图像解码帧率，对运动物体的位移量，运动速度，运动角度及变化率等信息进行计算，筛选出符合高空抛物事件运动规律的记录，删除其余误报事件；
所述事件记录告警模块，当通过上述所有模块后确定为抛物的事件，系统及时对该事件进行记录用于后续的事件回溯，同时第一时间发出告警信息。
CN202110633431.1A 2021-06-07 2021-06-07 一种基于目标跟踪网络的高空抛物检测方法及系统 Withdrawn CN113362374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110633431.1A CN113362374A (zh) 2021-06-07 2021-06-07 一种基于目标跟踪网络的高空抛物检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110633431.1A CN113362374A (zh) 2021-06-07 2021-06-07 一种基于目标跟踪网络的高空抛物检测方法及系统

Publications (1)

Publication Number Publication Date
CN113362374A true CN113362374A (zh) 2021-09-07

Family

ID=77532928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110633431.1A Withdrawn CN113362374A (zh) 2021-06-07 2021-06-07 一种基于目标跟踪网络的高空抛物检测方法及系统

Country Status (1)

Country Link
CN (1) CN113362374A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628251A (zh) * 2021-10-11 2021-11-09 北京中科金马科技股份有限公司 一种智慧酒店终端监测方法
CN114612506A (zh) * 2022-02-19 2022-06-10 西北工业大学 一种简易高效抗干扰的高空抛物轨迹识别与定位方法
CN114693556A (zh) * 2022-03-25 2022-07-01 英特灵达信息技术(深圳)有限公司 一种高空抛物帧差法运动目标检测去拖影方法
CN115187919A (zh) * 2022-09-14 2022-10-14 深圳市万物云科技有限公司 一种基于多目标跟踪的高空抛物检测方法及相关组件
WO2023109664A1 (zh) * 2021-12-13 2023-06-22 深圳先进技术研究院 监测方法和相关产品

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628251A (zh) * 2021-10-11 2021-11-09 北京中科金马科技股份有限公司 一种智慧酒店终端监测方法
CN113628251B (zh) * 2021-10-11 2022-02-01 北京中科金马科技股份有限公司 一种智慧酒店终端监测方法
WO2023109664A1 (zh) * 2021-12-13 2023-06-22 深圳先进技术研究院 监测方法和相关产品
CN114612506A (zh) * 2022-02-19 2022-06-10 西北工业大学 一种简易高效抗干扰的高空抛物轨迹识别与定位方法
CN114612506B (zh) * 2022-02-19 2024-03-15 西北工业大学 一种简易高效抗干扰的高空抛物轨迹识别与定位方法
CN114693556A (zh) * 2022-03-25 2022-07-01 英特灵达信息技术(深圳)有限公司 一种高空抛物帧差法运动目标检测去拖影方法
CN115187919A (zh) * 2022-09-14 2022-10-14 深圳市万物云科技有限公司 一种基于多目标跟踪的高空抛物检测方法及相关组件

Similar Documents

Publication Publication Date Title
CN113362374A (zh) 一种基于目标跟踪网络的高空抛物检测方法及系统
US10679067B2 (en) Method for detecting violent incident in video based on hypergraph transition
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN112257557A (zh) 一种基于机器视觉的高空抛物检测识别方法及系统
CN109101944B (zh) 一种识别向河道内抛投垃圾的实时视频监控方法
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
CN105303191A (zh) 一种前视监视场景下的行人计数方法和装置
CN108229407A (zh) 一种视频分析中的行为检测方法与系统
CN111738218B (zh) 人体异常行为识别系统及方法
CN110569843A (zh) 一种矿井目标智能检测与识别方法
CN113963399A (zh) 基于多算法融合应用的人员轨迹检索方法及装置
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN109948474A (zh) Ai热成像全天候智能监控方法
CN112270381A (zh) 基于深度学习的人流量检测方法
CN115410119A (zh) 一种基于训练样本自适应生成的剧烈运动检测方法及系统
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
CN115272967A (zh) 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN113223081A (zh) 一种基于背景建模与深度学习的高空抛物检测方法及系统
CN115719362A (zh) 一种高空抛物检测方法、系统、设备及存储介质
CN114639117A (zh) 一种跨境特定行人追踪的方法和装置
CN111178134B (zh) 一种基于深度学习与网络压缩的摔倒检测方法
CN116416565A (zh) 一种特定区域行人尾随及翻越检测方法和系统
CN111832451A (zh) 基于视频数据处理的适航监察流程监管系统及方法
Luo et al. Real-time detection algorithm of abnormal behavior in crowds based on Gaussian mixture model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210907