CN112800953A - 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法 - Google Patents

一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法 Download PDF

Info

Publication number
CN112800953A
CN112800953A CN202110110647.XA CN202110110647A CN112800953A CN 112800953 A CN112800953 A CN 112800953A CN 202110110647 A CN202110110647 A CN 202110110647A CN 112800953 A CN112800953 A CN 112800953A
Authority
CN
China
Prior art keywords
altitude parabolic
altitude
monitoring
image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110110647.XA
Other languages
English (en)
Inventor
彭聪
陈力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110110647.XA priority Critical patent/CN112800953A/zh
Publication of CN112800953A publication Critical patent/CN112800953A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法，利用监控摄像头、边缘计算设备、无线路由器以及远端计算机构建高空抛物监控系统，该系统具备更高的运动速度、更高的系统稳定性、更灵活的配置调试流程以及更优越的边缘设备拓展性；将Vibe背景提取算法、结合卡尔曼滤波算法与匈牙利算法的多目标跟踪算法以及高空抛物的物理先验知识相结合进行高空抛物的检测、跟踪以及告警，不仅能消除监控时段与天气以及飞鸟与人类的运动干扰，快速准确地检测跟踪高空抛物，而且在出现高空抛物的情况下向行人与管理人员进行告警，同时绘制高空抛物运动轨迹，留存视频作为证据。

Description

一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统 和方法
技术领域
本发明涉及计算机视觉及安防监控技术领域，尤其是一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法。
背景技术
高空抛物是“悬在城市上空的痛”，不仅是一种缺乏公德心的行为，还给行人的人身财产安全带来巨大隐患。近年来，高空抛物造成人员伤亡与公共财产损失的事件频出，高空抛物引发的安全问题逐渐得到社会各界关注。
高空抛物具备突发性、危害性且难以规避，行人容易在无防范意识的情况下受到高空抛物的严重伤害，且难以留存证据，追溯抛物者的刑事责任。目前，高空抛物监控系统主要由监控摄像头与计算机两部分组成，监控摄像头采集高空抛物视频，计算机集中并监控高空抛物，由管理人员直接承担监控、告警以及证据回溯的任务，严重依赖管理人员，很难在突发的高空抛物事件中进行追责。因此，高空抛物的智能监控显得尤为重要。
高空抛物的智能监控主要基于计算机视觉实现，通过监控摄像头采集高空抛物图像并传输到计算机等处理设备中，计算机对高空抛物图像进行处理，检测出高空抛物，并求解出高空抛物的运动轨迹与抛出位置，将相关视频证据存储后进行追责。基于计算机视觉进行高空抛物监控时，监控的图像质量容易受到时间与天气的影响，即黑夜时段与雨雾天气的监控图像质量较差；监控的检测质量容易受到飞鸟与人类运动的影响，即将飞行的飞鸟与行走的人类误认为是高空坠物触发误报。
发明内容
本发明所要解决的技术问题在于，提供一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法，将背景提取算法与多目标跟踪算法相结合检测并跟踪高空抛物，并利用监控摄像头、边缘计算设备以及远端计算机等设备构建高空抛物监控系统。
为解决上述技术问题，本发明提供一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统，包括：远端计算机、无线路由器、n个边缘计算设备和n个监控摄像头；在户外监控场景部署n个边缘计算设备和n个监控摄像头，在监控终端部署一台远端计算机，远端计算机和n个边缘计算设备之间通过无线路由器通信；n个边缘计算设备完成高空抛物检测、跟踪以及告警的图像处理后，转换颜色空间，将图像序列编码为视频流进行传输，远端计算机接受视频流，解码视频流，在远端计算机进行高空抛物的实时监控。
优选的，摄像头与边缘计算设备构成承担图像采集与处理任务的计算节点，计算节点被大量部署在户外高空抛物监控的实际场景中；远端计算机是承担监控任务的主节点，主节点部署在管理人员的工作区域，是管理人员与高空抛物监控系统的交互窗口。
优选的，选用USB摄像头与树莓派4B分别作为摄像头与边缘计算设备，树莓派4B通过v4l2应用程序接口控制USB摄像头进行高空抛物的图像采集，再通过树莓派4B进行图像处理与视频传输。
优选的，边缘计算设备将监控图像进行颜色空间转换，降低监控图像的空间占用，再将监控图像转化为H264视频流，在远端计算机与边缘计算设备之间构建Nginx服务器，通过RTSP/RTMP协议进行视频传输；远端计算机在监控软件中设置接收地址，利用RTMP/RTSP协议接收高空抛物监控的H264视频流，解码H264视频流后将高空抛物监控视频显示在软件中，实现高空抛物的实时监控；高空抛物监控软件集成多种功能，支持多通道高空抛物监控的实时显示，接收边缘计算设备的告警信息后同步发出警报并自动存储高空抛物视频。
相应的，一种基于计算机视觉的高空抛物检测、跟踪以及告警的方法，包括如下按步骤：
(1)基于Vibe背景提取算法，使用第一帧高空抛物监控图像进行背景初始化，将初始化结果存储为背景图像；
(2)基于Vibe背景提取算法，将第n帧图像与背景图像进行对照，检测第n帧图像中的运动目标，当检测得到的运动目标过多时，回到步骤(1)进行背景更新；
(3)基于由卡尔曼滤波算法与匈牙利算法构成的多目标跟踪算法对检测到的多个目标进行跟踪，基于多目标跟踪结果获取多目标运动轨迹；
(4)基于高空抛物的先验知识与多目标的运动轨迹，同时判断多个目标是否为高空抛物，若判断为高空抛物则进入步骤(5)告警步骤，否则清除多目标的运动轨迹再进入步骤(2)运动检测步骤；
(5)基于判定为高空抛物的运动目标，锁定高空抛物的抛出位置，绘制高空抛物的运动轨迹，发出高空抛物警报并保存高空抛物视频作为证据。
优选的，步骤(1)和(2)中，利用Vibe背景提取算法检测高空抛物监控图像中的运动目标，运动提取算法主要由背景初始化、前景检测过程以及背景模型更新三部分组成；具体为包括如下步骤：
A：基于第一帧高空抛物监控图像初始化背景模型，遍历图像中的像素点，利用相邻像素点构建像素点样本集；
B：采集高空抛物监控图像，将当前第n帧图像与背景模型进行对照，遍历第n帧图像中的像素点，运算当前图像像素点与背景模型中对应像素点的样本集间的距离，得到距离集合；
C：将当前第n帧图像的距离集合与距离阈值进行对照，得到距离集合中处于距离阈值内的元素数量，当元素数量大于样本阈值时，判定对应像素点为背景，否则判定对应像素点为前景；
D：通过前景检测得到当前帧中的运动目标，当运动目标数量大于运动目标阈值时，判定监控摄像头发生运动，运动检测无效，转到步骤A中进行背景更新，否则判定运动检测有效，继续进行后续高空抛物跟踪及告警步骤。
优选的，步骤(3)中，利用由卡尔曼滤波算法与匈牙利算法构成的多目标跟踪算法对步骤(1)与步骤(2)检测到的运动目标进行跟踪；具体包括如下步骤：
A：步骤(1)和(2)检测到当前第n帧图像中的运动目标，针对每个运动目标，创建多个状态变量构成的卡尔曼跟踪器；
B：高空抛物符合有初速度的自由落体运动模型，基于该运动模型构建状态空间方程，预测第n+1帧图像中各个运动目标的状态变量，并存储卡尔曼滤波算法的变量；
C：采集第n+1帧图像，步骤(1)和(2)检测第n+1帧图像中的运动目标，将目标交并比作为评价指标，遍历第n帧与第n+1帧中的运动目标，并基于上述评价指标进行多目标运动跟踪；
D：第n帧与第n+1帧图像中的运动预测与匹配存在多种情况，当预测目标数量等于检测目标时，直接基于交并比指标进行多目标匹配；当预测目标数量小于检测目标时，第n+1帧图像出现新运动目标，需要新建跟踪器，再进行多目标匹配；当预测目标数量大于检测目标时，第n+1帧图像丢失运动目标，连续丢失运动目标后，清除对应跟踪器。
E：基于以上步骤，检测到运动目标后，处理连续多帧高空抛物监控图像，形成高空抛物与干扰物体的运动轨迹。
优选的，步骤(4)和步骤(5)中，利用高空抛物的先验知识进一步判断步骤(3)得到的目标运动轨迹是否属于高空抛物，具体包括如下步骤：
A：将步骤(3)检测跟踪的运动目标轨迹划分为高空抛物与干扰物体，高空抛物遵循有初速度的自由落体运动模型，其主导运动方向是垂直方向，以行人和飞鸟为代表的干扰物体遵循匀速运动模型，其主导运动方向是水平方向；
B：基于步骤(3)检测跟踪得到的多目标运动轨迹，以连续检测次数与垂直运动距离为判断标准，区分高空抛物与干扰目标；
C：当连续多帧高空抛物监控图像检测跟踪到运动目标，并且运动目标累计下落高度超过垂直下落阈值时，判定运动目标为高空抛物，锁定高空抛物的抛出位置，绘制运动轨迹，保存视频证据，并且发出高空抛物告警；
D：当运动目标的连续检测数量不足，或者累计下落高度不足时，判定运动目标为无效或者干扰物体，清除相应运动轨迹。
本发明的有益效果为：本发明利用监控摄像头、边缘计算设备、无线路由器以及远端计算机构建高空抛物监控系统，系统中监控摄像头与边缘计算设备组成计算节点，高空抛物监控系统将一个主节点远端计算机与多个计算节点构成分布式监控系统，较之集中式监控系统，该系统具备更高的运动速度、更高的系统稳定性、更灵活的配置调试流程以及更优越的边缘设备拓展性；将Vibe背景提取算法、结合卡尔曼滤波算法与匈牙利算法的多目标跟踪算法以及高空抛物的物理先验知识相结合进行高空抛物的检测、跟踪以及告警，不仅能消除监控时段与天气以及飞鸟与人类的运动干扰，快速准确地检测跟踪高空抛物，而且在出现高空抛物的情况下向行人与管理人员进行告警，同时绘制高空抛物运动轨迹，留存视频作为证据。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的系统结构示意图。
图3为本发明的系统计算机界面示意图。
具体实施方式
如图1所示，一种基于计算机视觉的高空抛物检测、跟踪以及告警的方法，包括如下按步骤：
A1、基于Vibe背景提取算法，使用第一帧高空抛物监控图像进行背景初始化，将初始化结果存储为背景图像；
A2、基于Vibe背景提取算法，将第n帧图像与背景图像进行对照，检测第n帧图像中的运动目标，当检测得到的运动目标过多时，回到A1进行背景更新；
步骤A1与A2中，利用Vibe背景提取算法检测高空抛物监控图像中的运动目标，运动提取算法主要由背景初始化、前景检测过程以及背景模型更新三部分组成。A1利用第一帧高空抛物监控图像初始化背景模型，对于图像中每个像素点，利用其相邻像素点为每个像素点构建样本集，该样本集能反映像素点的空间分布特性，用于前景检测。A2基于背景模型初始化得到的像素点样本集，将第n帧高空抛物监控图像与背景模型进行对比，运算第n帧像素点与对应位置的背景像素点的样本集间的距离，构成一个距离集合，将距离集合与距离阈值进行比较，得到距离阈值内的样本数量，当样本数量大于样本阈值时，认为新像素点为背景，否则认为新像素点为前景；通过前景检测获取高空抛物监控中的运动目标后，若检测得到的运动目标超过阈值，则摄像头受到运动影响，认为运动检测无效，转到A1进行背景模型更新，否则继续执行A中的高空抛物跟踪以及告警步骤，完成后回到A1进行背景模型更新。
A3、基于由卡尔曼滤波算法与匈牙利算法构成的多目标跟踪算法对检测到的多个目标进行跟踪，基于多目标跟踪结果获取多目标运动轨迹；
步骤A3中，利用由卡尔曼滤波算法与匈牙利算法构成的多目标跟踪算法对A1与A2检测到的运动目标进行跟踪。A2检测到第n帧高空抛物监控图像中的运动目标，基于检测的运动目标创建卡尔曼跟踪器，利用跟踪器预测第n+1帧高空抛物监控图像的目标运动，利用匈牙利算法处理第n+1帧监控图像的运动预测结果与运动检测结果，匹配第n帧与第n+1帧监控图像中的运动目标，从而进行多目标的运动跟踪；第n+1帧图像中的运动目标预测与检测存在多种情况，当预测目标数量等于检测目标数量时，直接利用匈牙利算法匹配运动目标；当预测目标数量小于检测目标时，第n+1帧图像出现新的运动目标，需要新建跟踪器后，利用匈牙利算法匹配运动目标；当预测目标数量大于检测目标时，第n+1帧图像丢失运动目标，连续出现运动目标丢失后，清除该跟踪器后利用匈牙利算法匹配运动目标。对连续多帧高空抛物监控图像进行运动目标跟踪处理后，形成高空抛物与干扰物体的运动轨迹。
A4、基于高空抛物的先验知识与多目标的运动轨迹，同时判断多个目标是否为高空抛物，若判断为高空抛物则进入A5告警步骤，否则清除多目标的运动轨迹再进入A2运动检测步骤；
A5、基于判定为高空抛物的运动目标，锁定高空抛物的抛出位置，绘制高空抛物的运动轨迹，发出高空抛物警报并保存高空抛物视频作为证据。
步骤A4与A5中，利用高空抛物的物理先验知识判断A3得到的目标运动轨迹是否属于高空抛物，若为高空抛物则触发告警，否则清除运动目标轨迹，再进入A2运动检测步骤。高空抛物监控图像受到飞鸟与人类运动的干扰，飞鸟与人类的运动主要以水平运动为主，高空抛物受重力与空气阻力影响以垂直运动为主。基于运动目标的物理先验知识，算法以连续检测次数与垂直运动距离为判断标准，当连续多帧高空抛物图像中检测跟踪到运动目标，且运动目标累计下落高度超过垂直下落阈值时，认为运动目标为高空抛物，锁定高空抛物的抛出位置，绘制运动轨迹，保存运动视频，并且发出高空抛物告警；否则清除运动目标轨迹，再进入A2进行运动检测。
如图2所示，一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统，包括：远端计算机、无线路由器、n个边缘计算设备和n个监控摄像头；在户外监控场景部署n个边缘计算设备和n个监控摄像头，在监控终端部署一台远端计算机，远端计算机和n个边缘计算设备之间通过无线路由器通信；n个边缘计算设备完成高空抛物检测、跟踪以及告警的图像处理后，转换颜色空间，将图像序列编码为视频流进行传输，远端计算机接受视频流，解码视频流，在远端计算机进行高空抛物的实时监控。
利用摄像头、边缘计算设备、无线路由器以及远端计算机构建分布式高空抛物监控系统的硬件架构，摄像头用于高空抛物监控的图像采集，边缘计算设备用于高空抛物监控的图像处理与视频传输，无线路由器用于构建边缘计算设备与远端计算机的通信网络，远端计算机用于显示处理后的高空抛物监控视频。摄像头与边缘计算设备构成承担图像采集与处理任务的计算节点，计算节点被大量部署在户外高空抛物监控的实际场景中；远端计算机是承担监控任务的主节点，主节点部署在管理人员的工作区域，是管理人员与高空抛物监控系统的交互窗口。
利用摄像头与边缘计算设备构建高空抛物的监控单元。硬件架构选用USB摄像头与树莓派4B分别作为摄像头与边缘计算设备，树莓派4B通过v4l2控制USB摄像头进行高空抛物的图像采集，再通过树莓派4B进行图像处理与视频传输。
边缘计算设备完成高空抛物检测、跟踪以及告警的图像处理后，转化颜色空间，将图像序列编码为视频流进行传输；利用边缘计算设备将处理后的高空抛物监控图像转化为视频流，通过无线网进行高速稳定的视频传输。边缘计算设备将监控图像进行颜色空间转换，降低监控图像的空间占用，再将监控图像转化为H264视频流，在远端计算机与边缘计算设备之间构建Nginx服务器，通过RTSP/RTMP协议进行视频传输。
远端计算机接收视频流，解码视频流，在远端计算机进行高空抛物的实时监控，远端计算机中的高空抛物监控软件界面设计如图3所示；在远端计算机设计编写高空抛物监控软件，接收视频流并显示高空抛物监控图像。远端计算机在监控软件中设置接收地址，利用RTMP/RTSP协议接收高空抛物监控的H264视频流，解码H264视频流后将高空抛物监控视频显示在软件中，实现高空抛物的实时监控。高空抛物监控软件集成多种功能，支持多通道高空抛物监控的实时显示，接收边缘计算设备的告警信息后同步发出警报并自动存储高空抛物视频。

Claims (8)

1.一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统，其特征在于，包括：远端计算机、无线路由器、n个边缘计算设备和n个监控摄像头；在户外监控场景部署n个边缘计算设备和n个监控摄像头，在监控终端部署一台远端计算机，远端计算机和n个边缘计算设备之间通过无线路由器通信；n个边缘计算设备完成高空抛物检测、跟踪以及告警的图像处理后，转换颜色空间，将图像序列编码为视频流进行传输，远端计算机接受视频流，解码视频流，在远端计算机进行高空抛物的实时监控。
2.如权利要求1所述的基于计算机视觉的高空抛物检测、跟踪以及告警的系统，其特征在于，摄像头与边缘计算设备构成承担图像采集与处理任务的计算节点，计算节点被大量部署在户外高空抛物监控的实际场景中；远端计算机是承担监控任务的主节点，主节点部署在管理人员的工作区域，是管理人员与高空抛物监控系统的交互窗口。
3.如权利要求1所述的基于计算机视觉的高空抛物检测、跟踪以及告警的系统，其特征在于，选用USB摄像头与树莓派4B分别作为摄像头与边缘计算设备，树莓派4B通过v4l2应用程序接口控制USB摄像头进行高空抛物的图像采集，再通过树莓派4B进行图像处理与视频传输。
4.如权利要求1所述的基于计算机视觉的高空抛物检测、跟踪以及告警的系统，其特征在于，边缘计算设备将监控图像进行颜色空间转换，降低监控图像的空间占用，再将监控图像转化为H264视频流，在远端计算机与边缘计算设备之间构建Nginx服务器，通过RTSP/RTMP协议进行视频传输；远端计算机在监控软件中设置接收地址，利用RTMP/RTSP协议接收高空抛物监控的H264视频流，解码H264视频流后将高空抛物监控视频显示在软件中，实现高空抛物的实时监控；高空抛物监控软件集成多种功能，支持多通道高空抛物监控的实时显示，接收边缘计算设备的告警信息后同步发出警报并自动存储高空抛物视频。
5.一种基于计算机视觉的高空抛物检测、跟踪以及告警的方法，其特征在于，包括如下步骤：
(1)基于Vibe背景提取算法，使用第一帧高空抛物监控图像进行背景初始化，将初始化结果存储为背景图像；
(2)基于Vibe背景提取算法，将第n帧图像与背景图像进行对照，检测第n帧图像中的运动目标，当检测得到的运动目标过多时，回到步骤(1)进行背景更新；
(3)基于由卡尔曼滤波算法与匈牙利算法构成的多目标跟踪算法对检测到的多个目标进行跟踪，基于多目标跟踪结果获取多目标运动轨迹；
(4)基于高空抛物的先验知识与多目标的运动轨迹，同时判断多个目标是否为高空抛物，若判断为高空抛物则进入步骤(5)告警步骤，否则清除多目标的运动轨迹再进入步骤(2)运动检测步骤；
(5)基于判定为高空抛物的运动目标，锁定高空抛物的抛出位置，绘制高空抛物的运动轨迹，发出高空抛物警报并保存高空抛物视频作为证据。
6.如权利要求5所述的基于计算机视觉的高空抛物检测、跟踪以及告警的方法，其特征在于，步骤(1)和(2)中，利用Vibe背景提取算法检测高空抛物监控图像中的运动目标，运动提取算法主要由背景初始化、前景检测过程以及背景模型更新三部分组成；具体为包括如下步骤：
A：基于第一帧高空抛物监控图像初始化背景模型，遍历图像中的像素点，利用相邻像素点构建像素点样本集；
B：采集高空抛物监控图像，将当前第n帧图像与背景模型进行对照，遍历第n帧图像中的像素点，运算当前图像像素点与背景模型中对应像素点的样本集间的距离，得到距离集合；
C：将当前第n帧图像的距离集合与距离阈值进行对照，得到距离集合中处于距离阈值内的元素数量，当元素数量大于样本阈值时，判定对应像素点为背景，否则判定对应像素点为前景；
D：通过前景检测得到当前帧中的运动目标，当运动目标数量大于运动目标阈值时，判定监控摄像头发生运动，运动检测无效，转到步骤A中进行背景更新，否则判定运动检测有效，继续进行后续高空抛物跟踪及告警步骤。
7.如权利要求5所述的基于计算机视觉的高空抛物检测、跟踪以及告警的方法，其特征在于，步骤(3)中，利用由卡尔曼滤波算法与匈牙利算法构成的多目标跟踪算法对步骤(1)与步骤(2)检测到的运动目标进行跟踪；具体包括如下步骤：
A：步骤(1)和(2)检测到当前第n帧图像中的运动目标，针对每个运动目标，创建多个状态变量构成的卡尔曼跟踪器；
B：高空抛物符合有初速度的自由落体运动模型，基于该运动模型构建状态空间方程，预测第n+1帧图像中各个运动目标的状态变量，并存储卡尔曼滤波算法的变量；
C：采集第n+1帧图像，步骤(1)和(2)检测第n+1帧图像中的运动目标，将目标交并比作为评价指标，遍历第n帧与第n+1帧中的运动目标，并基于上述评价指标进行多目标运动跟踪；
D：第n帧与第n+1帧图像中的运动预测与匹配存在多种情况，当预测目标数量等于检测目标时，直接基于交并比指标进行多目标匹配；当预测目标数量小于检测目标时，第n+1帧图像出现新运动目标，需要新建跟踪器，再进行多目标匹配；当预测目标数量大于检测目标时，第n+1帧图像丢失运动目标，连续丢失运动目标后，清除对应跟踪器。
E：基于以上步骤，检测到运动目标后，处理连续多帧高空抛物监控图像，形成高空抛物与干扰物体的运动轨迹。
8.如权利要求5所述的基于计算机视觉的高空抛物检测、跟踪以及告警的方法，其特征在于，步骤(4)和步骤(5)中，利用高空抛物的先验知识进一步判断步骤(3)得到的目标运动轨迹是否属于高空抛物，具体包括如下步骤：
A：将步骤(3)检测跟踪的运动目标轨迹划分为高空抛物与干扰物体，高空抛物遵循有初速度的自由落体运动模型，其主导运动方向是垂直方向，以行人和飞鸟为代表的干扰物体遵循匀速运动模型，其主导运动方向是水平方向；
B：基于步骤(3)检测跟踪得到的多目标运动轨迹，以连续检测次数与垂直运动距离为判断标准，区分高空抛物与干扰目标；
C：当连续多帧高空抛物监控图像检测跟踪到运动目标，并且运动目标累计下落高度超过垂直下落阈值时，判定运动目标为高空抛物，锁定高空抛物的抛出位置，绘制运动轨迹，保存视频证据，并且发出高空抛物告警；
D：当运动目标的连续检测数量不足，或者累计下落高度不足时，判定运动目标为无效或者干扰物体，清除相应运动轨迹。
CN202110110647.XA 2021-01-27 2021-01-27 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法 Pending CN112800953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110110647.XA CN112800953A (zh) 2021-01-27 2021-01-27 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110110647.XA CN112800953A (zh) 2021-01-27 2021-01-27 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法

Publications (1)

Publication Number Publication Date
CN112800953A true CN112800953A (zh) 2021-05-14

Family

ID=75812088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110110647.XA Pending CN112800953A (zh) 2021-01-27 2021-01-27 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法

Country Status (1)

Country Link
CN (1) CN112800953A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256689A (zh) * 2021-06-08 2021-08-13 南京甄视智能科技有限公司 高空抛物检测方法及装置
CN113298046A (zh) * 2021-06-29 2021-08-24 中国科学院计算技术研究所数字经济产业研究院 基于监控视频的高空抛物检测方法
CN113409360A (zh) * 2021-06-29 2021-09-17 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质
CN113847569A (zh) * 2021-09-30 2021-12-28 恒明星光智慧文化科技(深圳)有限公司 一种高空抛物智慧路灯预警监控系统和方法
CN114022517A (zh) * 2021-11-29 2022-02-08 北京博思廷科技有限公司 一种基于运动轨迹分析监控视频检测高空抛物的方法
CN114639075A (zh) * 2022-05-23 2022-06-17 广州英码信息科技有限公司 一种高空抛物坠物的识别方法、系统及计算机可读介质
CN115567678A (zh) * 2021-07-01 2023-01-03 江苏三棱智慧物联发展股份有限公司 一种高空抛物监测方法及其系统
CN117423058A (zh) * 2023-11-02 2024-01-19 江苏三棱智慧物联发展股份有限公司 基于城市安全眼的高空抛物检测系统及方法
CN117975373A (zh) * 2024-03-29 2024-05-03 济南大学 一种电力基建现场高空抛物目标检测与追踪方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100278387A1 (en) * 2009-02-25 2010-11-04 Light Prescriptions Innovators, Llc Passive Electro-Optical Tracker
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
CN111444870A (zh) * 2020-04-01 2020-07-24 武汉虹信通信技术有限责任公司 高空抛物监控系统
CN111898511A (zh) * 2020-07-23 2020-11-06 北京以萨技术股份有限公司 基于深度学习的高空抛物检测方法、装置及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100278387A1 (en) * 2009-02-25 2010-11-04 Light Prescriptions Innovators, Llc Passive Electro-Optical Tracker
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
CN111444870A (zh) * 2020-04-01 2020-07-24 武汉虹信通信技术有限责任公司 高空抛物监控系统
CN111898511A (zh) * 2020-07-23 2020-11-06 北京以萨技术股份有限公司 基于深度学习的高空抛物检测方法、装置及介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256689B (zh) * 2021-06-08 2021-10-12 南京甄视智能科技有限公司 高空抛物检测方法及装置
CN113256689A (zh) * 2021-06-08 2021-08-13 南京甄视智能科技有限公司 高空抛物检测方法及装置
CN113298046A (zh) * 2021-06-29 2021-08-24 中国科学院计算技术研究所数字经济产业研究院 基于监控视频的高空抛物检测方法
CN113409360A (zh) * 2021-06-29 2021-09-17 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质
CN115567678A (zh) * 2021-07-01 2023-01-03 江苏三棱智慧物联发展股份有限公司 一种高空抛物监测方法及其系统
CN113847569A (zh) * 2021-09-30 2021-12-28 恒明星光智慧文化科技(深圳)有限公司 一种高空抛物智慧路灯预警监控系统和方法
CN114022517A (zh) * 2021-11-29 2022-02-08 北京博思廷科技有限公司 一种基于运动轨迹分析监控视频检测高空抛物的方法
CN114639075A (zh) * 2022-05-23 2022-06-17 广州英码信息科技有限公司 一种高空抛物坠物的识别方法、系统及计算机可读介质
CN114639075B (zh) * 2022-05-23 2022-08-16 广州英码信息科技有限公司 一种高空抛物坠物的识别方法、系统及计算机可读介质
CN117423058A (zh) * 2023-11-02 2024-01-19 江苏三棱智慧物联发展股份有限公司 基于城市安全眼的高空抛物检测系统及方法
CN117423058B (zh) * 2023-11-02 2024-05-03 江苏三棱智慧物联发展股份有限公司 基于城市安全眼的高空抛物检测系统及方法
CN117975373A (zh) * 2024-03-29 2024-05-03 济南大学 一种电力基建现场高空抛物目标检测与追踪方法及系统
CN117975373B (zh) * 2024-03-29 2024-07-05 济南大学 一种电力基建现场高空抛物目标检测与追踪方法及系统

Similar Documents

Publication Publication Date Title
CN112800953A (zh) 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法
CN109686109B (zh) 一种基于人工智能的停车场安全监控管理系统及方法
CN112016414A (zh) 一种检测高空抛物事件的方法、装置及楼面智能监控系统
US7479980B2 (en) Monitoring system
US6985172B1 (en) Model-based incident detection system with motion classification
CN101751677B (zh) 基于多摄像机的目标连续跟踪方法
CN105141885B (zh) 进行视频监控的方法及装置
US8614744B2 (en) Area monitoring using prototypical tracks
CN111079663A (zh) 高空抛物的监测方法、装置、电子设备及存储介质
CN105100757B (zh) 带有一体式结构的探测器
CN110853295A (zh) 一种高空抛物预警方法和装置
US20030043160A1 (en) Image data processing
CN105046682A (zh) 一种基于本地计算的视频监控方法
CN112365524B (zh) 一种基于时序图像的高空抛物实时报警系统
CN107644519A (zh) 一种基于视频人体行为识别的智能报警方法和系统
CN109948474A (zh) Ai热成像全天候智能监控方法
CN108830161B (zh) 基于视频流数据的烟雾识别方法
CN110210427B (zh) 一种基于图像处理技术的廊桥工作状态检测系统及方法
CN109934127A (zh) 基于视频图像与无线信号的行人识别与跟踪方法
CN112241974A (zh) 交通事故检测方法及处理方法、系统、存储介质
CN112257683A (zh) 一种面向车辆运行轨迹监测的跨镜追踪方法
EP1266525B1 (en) Image data processing
CN105761275A (zh) 带有双目视觉结构的消防预警飞行器
CN114677640A (zh) 基于机器视觉的智慧工地安全监测系统及方法
Ellis Multi-camera video surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination