CN114639075A - 一种高空抛物坠物的识别方法、系统及计算机可读介质 - Google Patents

一种高空抛物坠物的识别方法、系统及计算机可读介质 Download PDF

Info

Publication number
CN114639075A
CN114639075A CN202210561747.9A CN202210561747A CN114639075A CN 114639075 A CN114639075 A CN 114639075A CN 202210561747 A CN202210561747 A CN 202210561747A CN 114639075 A CN114639075 A CN 114639075A
Authority
CN
China
Prior art keywords
foreground
frame
tracking
target
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210561747.9A
Other languages
English (en)
Other versions
CN114639075B (zh
Inventor
区英杰
刘均发
谭焯康
董万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Embedded Machine Tech Co ltd
Original Assignee
Guangzhou Embedded Machine Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Embedded Machine Tech Co ltd filed Critical Guangzhou Embedded Machine Tech Co ltd
Priority to CN202210561747.9A priority Critical patent/CN114639075B/zh
Publication of CN114639075A publication Critical patent/CN114639075A/zh
Application granted granted Critical
Publication of CN114639075B publication Critical patent/CN114639075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种高空抛物坠物的识别方法、系统及计算机可读介质，所述识别方法包括以下步骤：对监控图像，采用隔帧帧间差分法进行前景目标检测；对去噪后的前景检测物的外接矩形框先进行扩展处理，再通过改进的NMS进行去重操作；采用改进的SORT对前景检测物进行多目标轨迹跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。本发明具有低计算量，高召回率和较高识别精确率的优点，更适合部署于边缘计算设备端。

Description

一种高空抛物坠物的识别方法、系统及计算机可读介质
技术领域
本发明涉及高空抛物坠物识别领域，特别涉及一种高空抛物坠物的识别方法、系统及计算机可读介质。
背景技术
高空抛物、坠物现象是一种严重危害社会安全的不文明行为。由于高空抛物是一个突发、短暂的过程，所以往往很难追溯到事件的起发位置，难以对违法行为进行及时取证、定责。
目前高空抛物识别的方法主要由监控图像获取、运动目标检测、目标轨迹获取、高空抛物轨迹识别、高抛视频回溯取证等五个步骤组成。现有高空抛物识别算法的主要区别在于运动目标检测步骤、目标轨迹获取步骤和高空抛物轨迹识别步骤的实现方式不同。
在运动目标检测步骤中，现有技术采用深度学习的方法，需要采集大量的训练数据，运行在服务器中，实现成本高；采用背景建模、形态学操作的方法，处理高分率的图像时存在计算量大的问题，不适合部署于边缘计算设备端实现多路运行。
在目标轨迹获取步骤中，现有技术要么没有对运动目标进行轨迹跟踪，造成获取的运动轨迹存在较多的噪声干扰，不利于后续的高抛轨迹识别；要么采用了运动目标跟踪方法，但没有对检测到的运动目标进行有效的后处理，跟踪效果不理想。
在高空抛物轨迹识别步骤中，现有技术根据自由落体运动特征制定高空抛物过滤条件，但是高空抛物受抛出的初始状态和周围环境因素的影响，制定的过滤条件很难确保高精确率的情况下具有高召回率。而采用深度学习的识别方法，则同样存在计算量大，实现成本高的问题。
现有技术一“CN202010817165.3，一种检测高空抛物事件的方法、装置及楼面智能监控系统”：对获取的图像数据进行图像预处理，采用相邻帧差分法或三帧差分法获得前景物体，利用高斯滤波或二值化操作去除前景噪声，根据前景连通区域的形态和尺寸确定真实的运动目标，将连续多帧的运动目标坐标组成运动轨迹，计算运动目标轨迹的持续时间(帧率×帧数)、竖直像素坐标位移、水平像素坐标位移、运动方向、加速度大小，判断运动轨迹是否符合自由落体运动学规律，并结合运动区域的图像分类结果排除“落叶”、“蚊虫鸟类”和“雨雪”的干扰。
现有技术一主要在目标轨迹获取步骤、高空抛物轨迹判断步骤存在以下问题：获得的运动目标轨迹包含较多干扰噪声，影响后续的高抛轨迹识别。因为高抛物体下落过程中受到抛出方式和空气阻力等环境因素的影响，运动物体在监控画面每一帧呈现的形态可能各不相同，仅仅根据连通区域的形态、尺寸或连通域区域像素的分类结果确定真实的运功目标较难实现。其次，高空抛物下降过程中可能会出现其它局部运动的物体（例如阳台衣物飘动、树枝晃动等常见情形）或多个高抛物同时出现的情况，造成预设时间内的运动轨迹包含多个运动物体的坐标信息。如果将这些情形组成的轨迹信息用于后续的高抛判断（例如专利中提到的竖直像素坐标位移、水平像素坐标位移、运动方向、加速度大小），很容易出现误识别。
现有技术二“CN202010598843.1，一种高空抛物动目标检测方法、检测设备和检测系统”：对获取的图像数据转化为灰度值，进行滤波处理去除图像噪声；处理后的灰度图向指定向量平移，得到N个平移图像，将平移图像分别与前帧或后帧图像进行帧间差分计算，得到N张差分图；取N张差分图的极值为差分结果，并对差分结果图进行均值滤波和阈值法操作得到二值化图像；对二值化图像进行形态学操作、连通域分析确定运动目标。
现有技术二主要在运动目标检测步骤、目标轨迹获取步骤存在以下问题：采用改进的帧差法需要计算N张帧差图（实施例中N=441），而用于高空抛物识别的监控画面，为了能够检测小尺寸的高抛目标，一般采用高分率的图像采集设备。在高分辨率的图像数据中，计算N张帧差图会带来大的计算量。同时，该专利在获得二值化图像后还进行了形态学操作（腐蚀、膨胀、开运算和闭运算的一种或多种），形态学操作需要对图像中的每一个像素值与其邻近像素进行“与”运算，在高分辨率的图像中进行形态学操作，也会带来较大的计算量。其次，该专利与现有技术一出自于同一个申请人，确定运动目标轨迹的方法也一样，获得的运动轨迹存在干扰噪声的问题。
现有技术三“CN201910032981.0，一种基于计算机视觉的高空抛物检测方法与系统”：采用GPU加速后的ViBe背景建模方法获得前景检测物，对检测结果进行腐蚀、膨胀和连通性分析去除前景噪声，获得面积不小于16的运动目标；采用匈牙利算法对运动对象进行追踪，追踪失败后再采用卡尔曼滤波追踪，获得运动目标轨迹；根据纵坐标值是否持续增大、运动时长是否大于预设阈值、运动轨迹是否最终离开监控边界、运动对象是否一直处于匀速或减速、纵坐标的差分数值是否不小于某个阈值等条件，确定该跟踪对象是否为高空抛物。
现有技术三主要在运动目标检测步骤存在以下问题：采用ViBe的背景建模方法检测前景物体，背景建模方法需要对背景图像中的每一个像素建立参数模型，同时还需要随着光线和环境的变化实时更新背景模型。因此，对高分率图像采用背景建模方法检测运动目标需要较大的计算量。为了达到实时的效果，该专利采用GPU加速ViBe背景建模方法，与CPU进行协同工作，虽然减少了耗时但增加了实现成本。该专利同时也采用了形态学操作处理二值化图像，跟现有技术二所阐述的原因一样，形态学操作会带来不小的计算量。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种高空抛物坠物的识别方法，该方法能够有效解决现有高空抛物识别方法存在噪声干扰、计算量大和实现成本高的问题，可以更准确获得运动目标轨迹和需要更少计算量的高空抛物识别方法，能够在边缘计算设备端实现多路运行。
本发明的目的通过以下的技术方案实现：
一种高空抛物坠物的识别方法，包括以下步骤：
S1、对监控图像，采用隔帧帧间差分法进行前景目标检测，得到包含运动目标的前景检测物；
S2、对前景检测物物进行去噪；对前景检测物的外接矩形框先进行扩展处理，再通过改进的NMS进行去重操作，得到用前景区域框表示的前景检测物；
S3、采用改进的SORT对前景检测物进行多目标轨迹跟踪，即对获得的前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；
S4、对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。
步骤S2中，所述对前景检测物进行去噪，具体为：对前景检测获得的二值化图像进行中值滤波处理，过滤微小噪声；对处理后的二值化图像进行连通域分析，获得前景检测物的最小外接矩形框；统计前景检测物外接矩形框的数量，记为
Figure 366390DEST_PATH_IMAGE001
；如果
Figure 549110DEST_PATH_IMAGE001
大于预设阈值
Figure DEST_PATH_IMAGE002
，则忽略该帧的前景检测物，认为图像采集设备发生了剧烈抖动或者突然被挪动；循环遍历每个前景外接矩形框，过滤像素面积小于预设阈值
Figure 781377DEST_PATH_IMAGE003
和大于预设阈值
Figure DEST_PATH_IMAGE004
的前景噪声。
步骤S2中，所述对前景检测物的外接矩形框先进行扩展处理，具体为：如果前景外接矩形框的最长边小于预设阈值
Figure 317532DEST_PATH_IMAGE005
时，则将该前景外接矩形框扩展为边长为
Figure 928642DEST_PATH_IMAGE005
的前景外接方形框，而最长边大于预设阈值
Figure DEST_PATH_IMAGE006
的前景外接矩形框则扩展成以最长边为边长的前景外接方形框；扩展处理后得到的前景外接方形框作为前景区域框。
步骤S2中，所述通过改进的NMS进行去重操作，包括以下步骤：
(1)按扩展前的前景外接矩形框面积大小排序扩展后的前景区域框，得到有序的前景区域框集合
Figure 940985DEST_PATH_IMAGE007
；
(2)选择前景区域框集合
Figure 942439DEST_PATH_IMAGE007
中面积最大的前景区域框，放进输出集合
Figure DEST_PATH_IMAGE008
中，并将其从有序的前景区域框集合
Figure 547863DEST_PATH_IMAGE007
中删除；
(3)计算面积最大的前景区域框与其它前景区域框中心点的水平和垂直像素距离；
(4)如果水平和垂直像素距离中有一个小于预设阈值，则计算最大前景区域框与其它前景区域框的IOU;其中，IOU的计算公式如下：
Figure 747901DEST_PATH_IMAGE009
式中，
Figure DEST_PATH_IMAGE010
表示前景区域框
Figure 193794DEST_PATH_IMAGE011
和前景区域框
Figure DEST_PATH_IMAGE012
的重叠区域面积，
Figure 354648DEST_PATH_IMAGE013
表示前景区域框
Figure 622819DEST_PATH_IMAGE011
和前景区域框
Figure DEST_PATH_IMAGE014
的合并区域面积；
(5)从有序的前景区域框集合
Figure 801996DEST_PATH_IMAGE015
中删除IOU大于预设阈值的前景区域框；
(6)重复步骤2）至5），直至有序的前景区域框集合
Figure 762999DEST_PATH_IMAGE007
为空，得到前景区域框输出集合
Figure 739045DEST_PATH_IMAGE008
。
所述步骤S3，具体为：
(1)对初始帧出现的前景运动目标建立状态向量
Figure DEST_PATH_IMAGE016
，用于初始化一个新的卡尔曼滤波器，赋予跟踪编号，并记录起始帧序号；
其中，
Figure 217431DEST_PATH_IMAGE017
和
Figure DEST_PATH_IMAGE018
分别表示前景区域框中心点的水平和垂直像素位置，
Figure 251115DEST_PATH_IMAGE019
和
Figure DEST_PATH_IMAGE020
分别表示前景区域框的面积和长宽比，
Figure 117440DEST_PATH_IMAGE021
和
Figure DEST_PATH_IMAGE022
分别表示前景区域框水平和垂直方向的速度，
Figure 49624DEST_PATH_IMAGE023
表示前景区域框的面积变化量；
(2)利用卡尔曼滤波器预测运动目标在当前帧的位置和边框形状；
(3)计算每个预测目标与当前帧检测目标的IOU，获得匹配成本矩阵；
(4)使用匈牙利匹配算法对匹配成本矩阵求最优解，得到预测目标与当前帧检测目标的匹配关系；
(5)如果匹配目标的IOU小于预设阈值，则认为匹配不成功；
(6)基于以下准则更新跟踪目标的卡尔曼滤波器：
a、如果预测目标匹配不成功，卡尔曼滤波进行线性状态更新；
b、如果预测目标匹配成功，则用检测目标的
Figure DEST_PATH_IMAGE024
值更新卡尔曼滤波器的状态，并记录当前帧序号；
c、如果检测目标匹配不成功，则像步骤a中一样，初始化一个新的卡尔曼滤波器，赋予新的跟踪编号，并记录起始帧序号；
(7)输出卡尔曼滤波器跟踪轨迹特征，所述卡尔曼滤波器跟踪轨迹特征包含卡尔曼滤波器编号、前景区域框轨迹和帧序列号；
(8)删除跟踪目标连续
Figure 539159DEST_PATH_IMAGE025
帧未匹配到的卡尔曼滤波器，认为该跟踪目标停止了运动或者离开了监控画面；删除匹配次数大于
Figure DEST_PATH_IMAGE026
帧的卡尔曼滤波器，认为该跟踪目标为非高空抛物，非高空抛物包括局部飘动的阳台衣物，阳台走动的居民或饲养的宠物；
Figure 568295DEST_PATH_IMAGE027
、
Figure DEST_PATH_IMAGE028
均为预设阈值；
(9) 重复步骤(2)至(8)，每隔一定周期后重置卡尔曼滤波器编号。
所述步骤S4，具体为：
(1)过滤跟踪帧数小于预设阈值的运动目标，排除相机抖动产生的前景噪声和近距离快速经过图像采集设备的干扰物；
(2)过滤跟踪轨迹起始点在监控周界外的运动目标，排除周界外的天空云彩、树枝落叶和从周界外进入监控区域的飞虫飞鸟、雨雪的影响；
(3)过滤跟踪轨迹垂直方向下降距离小于预设阈值的运动目标，排除局部运动的物体的影响，所述局部运动的物体包括飘动的阳台衣物、晃动的盆栽花草；
(4)过滤跟踪轨迹垂直下降距离与水平移动距离比小于预设阈值的运动目标，排除轻飘物体、蚊虫鸟类飞过的影响；
(5)过滤跟踪轨迹水平速度方向突变次数和水平速度大小同时大于预定阈值的运动目标，排除蚊虫鸟类来回飞走的影响；
(6)过滤跟踪轨迹下降过程中处于匀速或者减速帧数大于预设阈值的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
(7)过滤跟踪轨迹垂直方向速度小于预设阈值和水平方向速度大于预设阈值的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
以上过滤条件中涉及到的距离单位为像素值，预设阈值大小根据图像分辨率、图像采集设备焦距、布置位置确定。
一种高空抛物坠物的识别方法，还包括高空抛物视频回溯、告警步骤：
识别为高空抛物的跟踪目标包含的信息有跟踪编号，跟踪轨迹及对应的帧序列号；跟踪编号用于区别不同的跟踪目标，跟踪轨迹用于定位不同帧中高空抛物的位置和所占区域，帧序列号用于回溯高空抛物发生的起始和结束时间点；根据高空抛物的跟踪目标所包含的信息，生成高空抛物轨迹视频，高空抛物轨迹视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出；最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
本发明的另一目的通过以下的技术方案实现：
一种高空抛物坠物的识别系统，包括监控图像采集模块、前景物体检测模块、前景检测物去噪及后处理模块、前景运动目标跟踪及轨迹获取模块、高空抛物轨迹识别模块；其中：
前景物体检测模块对监控图像采集模块获取的监控图像，采用隔帧帧间差分法进行前景目标检测，得到包含运动目标的前景检测物；
前景检测物去噪及后处理模块对前景检测物进行去噪；对前景检测物的外接矩形框先进行扩展再通过改进的NMS进行去重操作；
前景运动目标跟踪及轨迹获取模块采用改进的SORT对前景检测物进行多目标轨迹跟踪，即对获得的前景检测物前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；
高空抛物轨迹识别模块对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。
一种高空抛物坠物的识别系统，还包括高空抛物视频回溯、告警模块；所述高空抛物视频回溯、告警模块根据高空抛物的跟踪目标所包含的信息，生成高空抛物轨迹视频，高空抛物轨迹视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出；最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
计算机可读介质，存储有计算机程序，所述计算机程序由处理模块加载并执行以实现一种高空抛物坠物的识别方法。
本发明与现有技术相比，具有如下优点和有益效果：
本发明具有低计算量，高召回率和较高识别精确率的优点，更适合部署于边缘计算设备端。低计算量是因为采用了隔帧帧间差分法检测前景物体，提出扩展处理和改进的NMS方法替代形态学操作。高召回率和较高识别精确率是因为提出的前景检测物后处理操作让处理后的前景运动目标更容易被跟踪，采用的SORT多目标轨迹跟踪方法获得了更准确的运动目标轨迹，以及利用了更有效的高空抛物轨迹识别逻辑。
本发明前景检测物去噪及后处理模块中提出的对前检测物外接矩形框进行扩展处理和改进的NMS去重方法，有别于现有方法采用的形态学操作，但能达到类似后处理效果的同时需要更少的计算量。另外，该模块对检测到的小尺寸运动目标进行的扩展处理操作，还更有利于后续的运动目标轨迹跟踪。
本发明的前景运动目标跟踪及轨迹获取模块采用改进的SORT多目标跟踪方法获得跟踪轨迹。现有技术要么没有采用跟踪的方法获得运动物体轨迹，致使获得的轨迹存在噪声干扰；要么也采用了类似于SORT的跟踪方法，但区别在于本发明结合高空抛物任务特性，对SORT跟踪方法的输入输出和判断逻辑进行了优化。
本发明的高抛轨迹识别模块先根据常见干扰物的运动特征制定干扰物过滤条件，再根据环境因素制定较宽松的自由落体特征过滤条件。现有技术对高空抛物轨迹的识别要么只制定了自由落体特征过滤条件，要么增加了高抛物种类识别功能。相对于只制定自由落体特征过滤条件的方法，本发明方法能够保证一定精确率的同时又具有较高的召回率；相对于增加高抛物种类识别功能的方法，需要更少的计算量，实现成本低。
附图说明
图1为本发明所述一种高空抛物坠物的识别方法的流程图。
图2为改进的NMS进行去重操作的流程图。
图3为改进的NMS进行去重操作的效果示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1，一种高空抛物坠物的识别方法，主要包括监控图像采集，前景物体检测，前景检测物去噪、后处理，前景运动目标跟踪、轨迹获取，高空抛物轨迹识别和高空抛物视频回溯、告警这六大步骤。
1．监控图像采集
监控图像数据的采集可以是实时的图像采集设备获得，也可以是离线下载的视频或图像序列。图像采集设备布置在水平距离监控建筑物25米～35米处，距离地面3米高的地方，安装位置可以是正面或者斜侧面对准监控建筑物，安装角度和安装数量视能够完整捕捉监控对象灵活设定。图像采集设备通过有线或无线通信方式与边缘设备连接,图像采集设备与边缘设备端之间还设置有专门的边缘视频存储装置，以便当识别到高空抛物时进行视频回溯、取证。图像采集设备获得的实时流视频数据通过视频编解码技术在边缘设备端解码成一帧一帧的图像数据。针对不同的监控场景设置特定的监控周界，用于后续的高空抛物轨迹识别。
2．前景物体检测
高空抛物识别的一个重要环节就是从监控画面的背景物体中检测出前景物体，这里的背景物体是指图像中静止或者移动非常缓慢的物体，例如建筑物的墙体、阳台、窗户等物体，前景物体是指运动的物体，例如高空抛物、阳台飘动衣物、飞虫飞鸟等物体。
在传统技术中，常用的前景检测方法有帧间差分法和背景建模法。
帧间差分法是最简单的前景检测方法，其思想是根据相邻两帧图像中运动物体的像素在帧与帧之间存在较为明显的差别，通过相减相邻两帧的像素值，得到像素亮度差异差分图；选取合理的阈值分割差分图，将图像中的物体划分为前景检测物和背景物体。帧间差分法原理简单，计算量小，对光照变化不敏感，能够快速检测出场景中的运动物体，但缺点是对大的内部均匀的运动目标检测不完整，内部容易产生“空洞”。
背景建模法是运动目标检测常用的方法，其思想是对图像背景的像素值建立参数模型，将当前帧的图像与背景参数模型进行差分运算，对差异较大的像素值划分为前景物体，差异较小的物体划分为背景，同时根据光线和环境的变化动态更新背景模型。相对于帧差法，背景建模法能够检测出较完整的运动物体，但对光线和突变的干扰物较敏感，在处理高分辨率的图像时，由于需要动态更新背景模型，需要较大的计算量。
为了能够部署在边缘设备进行多路的高空抛物识别，本发明采用隔帧帧间差分法进行前景目标检测。首先对采集的图像数据进行预处理，将RGB图像转化为灰度图像，以减少计算量。然后每隔一帧图像进行帧间差分计算，即对编号分别为1、2、3、4、5和6的连续帧图像，进行编号1与编号2，编号3与编号4，编号5与编号6的图像进行帧间差分计算，获得差分图，再根据预设阈将差分图分割为二值化图像。其计算公式如下：
Figure 277625DEST_PATH_IMAGE029
式中，
Figure DEST_PATH_IMAGE030
和
Figure 680793DEST_PATH_IMAGE031
分别表示2t时刻和2t-1时刻的帧图像在坐标（x,y）的像素值，T表示预设阈值，
Figure DEST_PATH_IMAGE032
表示相邻两帧图像在像素坐标(x,y)差分后根据阈值划分的结果，
Figure 704244DEST_PATH_IMAGE033
的区域表示前景运动物体，
Figure DEST_PATH_IMAGE034
的区域表示背景物体。
隔帧帧间差分法相对于每相邻两帧都进行帧间差分计算的思路减少了一半的计算量，带来的是前景检测物轨迹密度变稀疏，但不影响后续的高空抛物轨迹识别。其次，本发明采用的隔帧帧间差分法有别于抽帧帧间差分法，抽帧帧间差分法是对编号1与编号3、编号2与编号4，编号4与编号6的图像进行差分计算，抽帧帧差法会因为两帧计算的图像之间抽走了一帧，造成像素值差别较大而检测到较多的前景噪声。
3．前景检测物去噪、后处理
本模块对隔帧帧差法得到的前景检测物进行噪声过滤和后处理，以便后续进行运动目标轨迹跟踪。其实现流程如下：
首先，对前景检测获得的二值化图像进行中值滤波处理，过滤微小噪声。对处理后的二值化图像进行连通域分析，获得前景检测物的最小外接矩形框。统计前景检测物外接矩形框的数量，记为
Figure 509258DEST_PATH_IMAGE001
。如果
Figure 186227DEST_PATH_IMAGE001
大于预设阈值
Figure 155320DEST_PATH_IMAGE002
，则忽略该帧的前景检测物，认为图像采集设备发生了剧烈抖动或者突然被挪动。循环遍历每个前景外接矩形框，过滤像素面积小于
Figure 248041DEST_PATH_IMAGE003
和大于
Figure 455031DEST_PATH_IMAGE004
的前景噪声。面积过小的前景检测物可能是图像数据传输过程中产生的误差噪声，面积过大的前景检测物可能是近距离出现在图像采集设备前的干扰物。
然后，对前景检测物外接矩形框进行扩展处理。所谓扩展处理是指，如果前景外接矩形框的最长边小于预设阈值
Figure 99639DEST_PATH_IMAGE005
时，则将该前景外接矩形框扩展为边长为
Figure 946241DEST_PATH_IMAGE005
的前景外接方形框，而最长边大于
Figure 904970DEST_PATH_IMAGE006
的前景外接矩形框则扩展成以最长边为边长的前景外接方形框。扩展处理后得到的前景外接方形框作为前景区域框。
最后，对扩展后的前景区域框进行改进的非极大值抑制（Non-MaximumSuppression, NMS），去除区域框重叠度高的前景物体。改进的NMS流程如图2所示，实现细节如下：
(1)按扩展前的前景外接矩形框面积大小排序扩展后的前景区域框，得到有序的前景区域框集合
Figure 497626DEST_PATH_IMAGE007
；
(2)选择
Figure 454080DEST_PATH_IMAGE007
中面积最大的前景区域框，放进输出集合
Figure 397765DEST_PATH_IMAGE008
中，并将其从有序的前景区域框集合
Figure 160185DEST_PATH_IMAGE007
中删除；
(3)计算面积最大的前景区域框与其它前景区域框中心点的水平和垂直像素距离；
(4)如果水平和垂直像素距离中有一个小于预设阈值，则计算最大前景区域框与其它前景区域框的面积交并比（intersection-over-union, IOU）;
(5)从有序集合
Figure 266069DEST_PATH_IMAGE007
中删除IOU大于预设阈值的前景区域框；
(6)重复步骤(2)~ (5)，直至有序的前景区域框集合
Figure 986900DEST_PATH_IMAGE007
为空，得到前景区域框输出集合
Figure 621144DEST_PATH_IMAGE008
。
其中，IOU的计算公式如下：
Figure 593779DEST_PATH_IMAGE009
式中，
Figure 692185DEST_PATH_IMAGE035
表示前景区域框
Figure 787180DEST_PATH_IMAGE011
和前景区域框
Figure DEST_PATH_IMAGE036
的重叠区域面积，
Figure 626829DEST_PATH_IMAGE013
表示前景区域框
Figure 731051DEST_PATH_IMAGE011
和前景区域框
Figure 293751DEST_PATH_IMAGE014
的合并区域面积。
对前景检测物外接矩形框先进行扩展再进行改进的NMS去重操作，类似于形态学中先进行膨胀再进行腐蚀的闭操作，能够达到填充物体内部空洞、连接邻近物的作用，效果示意图如图3所示。因此，前景检测物的位置和在图像中所占区域的大小，可以用最后获得的前景区域框近似表示。
相比于形态学操作，本发明方法能达到相同作用的同时需要更少的计算量。因为形态学操作需要对图像中的每一个像素值与其邻近像素进行“与”运算，在越高分辨率的图像中进行形态学操作，会带来几何级的计算量增长。而本发明的方法只是对检测到的前景物体最小外接矩形框进行扩展和改进的NMS操作，也提前进行了前景噪声过滤，因此需要的计算量可以忽略不计。另外，本发明针对检测到的运动目标进行的后处理操作，更有利于后续的运动目标跟踪。
NMS改进的地方及相应原因有如下两点：
步骤(1)：本发明按扩展前的前景外接矩形框面积大小排序扩展后的前景区域框，有别于原始的NMS方法，根据每个框的置信度值进行排序。对前景检测物按外接矩形框面积大小排序，是为了后续保留大的前景检测物，去除与其重叠高但相对较小的前景检测物。
步骤(3)和步骤(4)：在判断前景区域框是否重叠之前，先计算面积最大的前景区域框与其它前景区域框中心点的水平和垂直像素距离，如果像素距离小于一定阈值后再进行IOU计算。先进行像素距离初步判断，不直接计算IOU值作比较，可以减少计算量。本方法可以进行初步判断是因为在进行改进的NMS操作前，过滤了面积小于
Figure 621964DEST_PATH_IMAGE003
和大于
Figure 886592DEST_PATH_IMAGE004
的前景噪声，并扩展处理了前景检测物外接矩形框，知道前景检测物区域框的边长范围。
上述改进的难点在于如何根据扩展后的前景检测物区域框特点，对NMS的实现步骤进行改进，实现类似形态学操作中充物体内部空洞、连接邻近物的作用，效果示意图如图3所示。一般改进不会想到采用NMS来替代形态学操作，所以不容易想到这样的改进操作。
4．前景运动目标跟踪、轨迹获取
本模块采用改进的SORT（Simple Object and Realtime Tracking）对前景检测物进行多目标轨迹跟踪，即对上一模块中获得的前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息。其跟踪流程如下：
(1)对初始帧（上一帧）出现的前景运动目标建立状态向量
Figure 794505DEST_PATH_IMAGE016
，用于初始化一个新的卡尔曼滤波器，赋予跟踪编号，并记录起始帧序号。
其中，
Figure 601924DEST_PATH_IMAGE017
和
Figure 304301DEST_PATH_IMAGE018
分别表示前景区域框中心点的水平和垂直像素位置，
Figure 806958DEST_PATH_IMAGE019
和
Figure 315299DEST_PATH_IMAGE020
分别表示前景区域框的面积和长宽比，
Figure 914908DEST_PATH_IMAGE021
和
Figure 709557DEST_PATH_IMAGE022
分别表示前景区域框水平和垂直方向的速度，
Figure 89723DEST_PATH_IMAGE023
表示前景区域框的面积变化量。
(2)利用卡尔曼滤波器预测运动目标在当前帧的位置和边框形状。
(3)计算每个预测目标与当前帧检测目标的IOU，获得匹配成本矩阵。
(4)使用匈牙利匹配算法对匹配成本矩阵求最优解，得到预测目标与当前帧检测目标的匹配关系。
(5)如果匹配目标的IOU小于预设阈值，则认为匹配不成功。
(6)基于以下准则更新跟踪目标的卡尔曼滤波器：
a、如果预测目标匹配不成功，卡尔曼滤波进行线性状态更新；
b、如果预测目标匹配成功，则用检测目标的
Figure 745964DEST_PATH_IMAGE024
值更新卡尔曼滤波器的状态，并记录当前帧序号；
c、如果检测目标匹配不成功，则像步骤a中一样，初始化一个新的卡尔曼滤波器，赋予新的跟踪编号，并记录起始帧序号。
(7)输出卡尔曼滤波器跟踪轨迹特征，包含卡尔曼滤波器编号、前景区域框轨迹和帧序列号。
(8)删除跟踪目标连续
Figure 465658DEST_PATH_IMAGE025
帧未匹配到的卡尔曼滤波器，认为该跟踪目标停止了运动或者离开了监控画面；删除匹配次数大于
Figure 572154DEST_PATH_IMAGE037
帧的卡尔曼滤波器，认为该跟踪目标为非高空抛物，可能是局部飘动的阳台衣物，阳台走动的居民或饲养的宠物。
(9)重复步骤(2)至(8)，每隔一定周期后重置卡尔曼滤波器编号。
结合高空抛物任务特性，对SORT跟踪方法的输入输出和判断逻辑进行了优化，体现在如下几点：
输入输出：相对于原有的SORT跟踪算法，输入信息记录了前景检测物运动目标在每一帧出现的序列号，输出信息增加了前景区域框轨迹信息和帧序列号的输出，用于后续高抛轨迹的回溯和高抛轨迹视频的生成。
判断逻辑：步骤（8）中删除匹配次数大于
Figure 377299DEST_PATH_IMAGE037
帧的卡尔曼滤波器，认为该跟踪目标为非高空抛物，可能是局部飘动的阳台衣物，阳台走动的居民或饲养的宠物。增加该判断逻辑可以减少跟踪目标轨迹信息的缓存。步骤（9）中每隔一定周期后重置卡尔曼滤波器编号。因为跟踪目标的编号一直在增加，所以需要每隔一定周期对跟踪目标编号进行重置。
上述改进的难点在于跟踪目标判断逻辑的优化和跟踪编号的重置，一般改进还是比较不容易想到这样的操作。
5．高空抛物轨迹识别
本步骤对获得的前景跟踪目标轨迹进行高空抛物轨迹识别。高空抛物受抛出的初始状态的影响，初始阶段的运动轨迹可能出现先上升后下降的情况；下降过程还可能碰撞到其它物体，造成下降速度出现突变的情况。同时，高空掉落物还受空气阻力等环境因素的影响，下降过程不一定一直处于加速状态。如果严格地按照自由落体的运动特征判断前景运动目标为高空抛物，就会容易出现漏识别的情况。如果设置较宽松的自由落体特征过滤条件，就会增加干扰物被误识别为高空抛物的情况。
为了更准确地识别高空抛物，本发明先根据蚊虫鸟类、阳台衣物飘动、局部枝干晃动、相机抖动、雨雪云彩等常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。这样的判断逻辑既能保持较高召回率的同时又具有一定的识别精确率。所谓召回率是指正确识别为高空抛物次数占真实发生高空抛物次数的比率，用于评价漏识别的情况。
其实现流程如下：
(1)过滤跟踪帧数小于预设值的运动目标，排除相机抖动产生的前景噪声和近距离快速经过图像采集设备的干扰物；
(2)过滤跟踪轨迹起始点在监控周界外的运动目标，排除周界外的天空云彩、树枝落叶和从周界外进入监控区域的飞虫飞鸟、雨雪的影响；
(3)过滤跟踪轨迹垂直方向下降距离小于预设阈值的运动目标，排除局部运动的物体，例如阳台衣物飘动、盆栽花草晃动的影响；
(4)过滤跟踪轨迹垂直下降距离与水平移动距离比小于预设阈值的运动目标，排除轻飘物体、蚊虫鸟类飞过的影响；
(5)过滤跟踪轨迹水平速度方向突变次数和水平速度大小同时大于预定阈值的运动目标，排除蚊虫鸟类来回飞走的影响；
(6)过滤跟踪轨迹下降过程中处于匀速或者减速帧数大于预设阈值的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
(7)过滤跟踪轨迹垂直方向速度小于预设阈值和水平方向速度大于预设阈值的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物。
以上过滤条件中涉及到的距离单位为像素值，预设阈值大小根据图像分辨率、图像采集设备焦距、布置位置确定。
6．高空抛物视频回溯、告警
从前景运动目标跟踪、轨迹获取模块的步骤7)可知，识别为高空抛物的跟踪目标包含的信息有跟踪编号，跟踪轨迹及对应的帧序列号。在本模块中，跟踪编号用于区别不同的跟踪目标，跟踪轨迹用于定位不同帧中高空抛物的位置和所占区域，帧序列号用于回溯高空抛物发生的起始和结束时间点。根据所述信息，生成高空抛物轨迹视频，视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出。最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
本领域技术人员可以理解的是，实施例中的全部或部分步骤，可以通过计算机程序来指令相关的硬件实现，该程序可以存储于计算机可读介质中，可读介质可以包括闪存盘、移动硬盘、只读存储器、随机存取器、磁盘或光盘等各种可以存储程序代码的介质。在一个实施例中，公开提出了一种计算机可读介质，所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现高空抛物坠物的识别方法。
在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本公开揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。
另外，多数实施例的描述是基于不同的重点而展开的，未详述之处，可参见现有技术的内容或本文的其他相关描述进行理解。
再次强调，上文所列举的实施例，为本公开较为典型的、较佳实施例，仅用于详细说明、解释本公开的技术方案，以便于读者理解，并不用以限制本公开的保护范围或者应用。在本公开的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本公开的保护范围之内。

Claims (11)

1.一种高空抛物坠物的识别方法，其特征在于，包括以下步骤：
S1、对监控图像，采用隔帧帧间差分法进行前景目标检测，得到包含运动目标的前景检测物；
S2、对前景检测物进行去噪；对前景检测物的外接矩形框先进行扩展处理，再通过改进的NMS进行去重操作，得到用前景区域框表示的前景检测物；
S3、采用改进的SORT对前景检测物进行多目标轨迹跟踪，即对获得的前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；
S4、对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。
2.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，步骤S2中，所述通过改进的NMS进行去重操作，包括以下步骤：
(1)按扩展前的前景外接矩形框面积大小排序扩展后的前景区域框，得到有序的前景区域框集合
Figure 148973DEST_PATH_IMAGE001
；
(2)选择前景区域框集合
Figure 210470DEST_PATH_IMAGE002
中面积最大的前景区域框，放进输出集合
Figure 58603DEST_PATH_IMAGE003
中，并将其从有序的前景区域框集合
Figure 471130DEST_PATH_IMAGE001
中删除；
(3)计算面积最大的前景区域框与其它前景区域框中心点的水平和垂直像素距离；
(4)如果水平和垂直像素距离中有一个小于预设阈值，则计算最大前景区域框与其它前景区域框的IOU;其中，IOU的计算公式如下：
Figure 499129DEST_PATH_IMAGE004
式中，
Figure 743028DEST_PATH_IMAGE005
表示前景区域框
Figure 932701DEST_PATH_IMAGE006
和前景区域框
Figure 832524DEST_PATH_IMAGE007
的重叠区域面积，
Figure 460951DEST_PATH_IMAGE008
表示前景区域框
Figure 762620DEST_PATH_IMAGE006
和前景区域框
Figure 185511DEST_PATH_IMAGE009
的合并区域面积；
(5)从有序的前景区域框集合
Figure 572630DEST_PATH_IMAGE001
中删除IOU大于预设阈值的前景区域框；
(6)重复步骤(2)至(5)，直至有序的前景区域框集合
Figure 942431DEST_PATH_IMAGE001
为空，得到前景区域框输出集合
Figure 223957DEST_PATH_IMAGE003
。
3.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，步骤S2中，所述对前景检测物的外接矩形框先进行扩展，具体为：如果前景外接矩形框的最长边小于预设阈值
Figure 21012DEST_PATH_IMAGE010
时，则将该前景外接矩形框扩展为边长为
Figure 629848DEST_PATH_IMAGE010
的前景外接方形框，而最长边大于预设阈值
Figure 865657DEST_PATH_IMAGE011
的前景外接矩形框则扩展成以最长边为边长的前景外接方形框；扩展处理后得到的前景外接方形框作为前景区域框。
4.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，步骤S2中，所述对前景检测物进行去噪，具体为：对前景检测获得的二值化图像进行中值滤波处理，过滤微小噪声；对处理后的二值化图像进行连通域分析，获得前景检测物的最小外接矩形框；统计前景检测物外接矩形框的数量，记为
Figure 876338DEST_PATH_IMAGE012
；如果
Figure 844294DEST_PATH_IMAGE012
大于预设阈值
Figure 2743DEST_PATH_IMAGE013
，则忽略该帧的前景检测物，认为图像采集设备发生了剧烈抖动或者突然被挪动；循环遍历每个前景外接矩形框，过滤像素面积小于预设阈值
Figure 714347DEST_PATH_IMAGE014
和大于预设阈值
Figure 579535DEST_PATH_IMAGE015
的前景噪声。
5.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，所述步骤S3，具体为：
(1)对初始帧出现的前景运动目标建立状态向量
Figure 780709DEST_PATH_IMAGE016
，用于初始化一个新的卡尔曼滤波器，赋予跟踪编号，并记录起始帧序号；
其中，
Figure 364137DEST_PATH_IMAGE017
和
Figure 613853DEST_PATH_IMAGE018
分别表示前景区域框中心点的水平和垂直像素位置，
Figure 162908DEST_PATH_IMAGE019
和
Figure 472667DEST_PATH_IMAGE020
分别表示前景区域框的面积和长宽比，
Figure 605708DEST_PATH_IMAGE021
和
Figure 659115DEST_PATH_IMAGE022
分别表示前景区域框水平和垂直方向的速度，
Figure 498895DEST_PATH_IMAGE023
表示前景区域框的面积变化量；
(2)利用卡尔曼滤波器预测运动目标在当前帧的位置和边框形状；
(3)计算每个预测目标与当前帧检测目标的IOU，获得匹配成本矩阵；
(4)使用匈牙利匹配算法对匹配成本矩阵求最优解，得到预测目标与当前帧检测目标的匹配关系；
(5)如果匹配目标的IOU小于预设阈值，则认为匹配不成功；
(6)基于以下准则更新跟踪目标的卡尔曼滤波器：
a、如果预测目标匹配不成功，卡尔曼滤波进行线性状态更新；
b、如果预测目标匹配成功，则用检测目标的
Figure 41871DEST_PATH_IMAGE024
值更新卡尔曼滤波器的状态，并记录当前帧序号；
c、如果检测目标匹配不成功，则像步骤a中一样，初始化一个新的卡尔曼滤波器，赋予新的跟踪编号，并记录起始帧序号；
(7)输出卡尔曼滤波器跟踪轨迹特征，所述卡尔曼滤波器跟踪轨迹特征包含卡尔曼滤波器编号、前景区域框轨迹和帧序列号；
(8)删除跟踪目标连续
Figure 334312DEST_PATH_IMAGE025
帧未匹配到的卡尔曼滤波器，认为该跟踪目标停止了运动或者离开了监控画面；删除匹配次数大于
Figure 191410DEST_PATH_IMAGE026
帧的卡尔曼滤波器，认为该跟踪目标为非高空抛物；
Figure 948013DEST_PATH_IMAGE027
、
Figure 599575DEST_PATH_IMAGE028
均为预设阈值；
(9) 重复步骤(2)至(8)，每隔一定周期后重置卡尔曼滤波器编号。
6.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，所述步骤S4，具体为：
(1)过滤跟踪帧数小于预设阈值的运动目标，排除相机抖动产生的前景噪声和近距离快速经过图像采集设备的干扰物；
(2)过滤跟踪轨迹起始点在监控周界外的运动目标，排除周界外的天空云彩、树枝落叶和从周界外进入监控区域的飞虫飞鸟、雨雪的影响；
(3)过滤跟踪轨迹垂直方向下降距离小于预设阈值的运动目标，排除局部运动的物体的影响，所述局部运动的物体包括飘动的阳台衣物、晃动的盆栽花草；
(4)过滤跟踪轨迹垂直下降距离与水平移动距离比小于预设阈值的运动目标，排除轻飘物体、蚊虫鸟类飞过的影响；
(5)过滤跟踪轨迹水平速度方向突变次数和水平速度大小同时大于预定阈值的运动目标，排除蚊虫鸟类来回飞走的影响；
(6)过滤跟踪轨迹下降过程中处于匀速或者减速帧数大于预设阈值的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
(7)过滤跟踪轨迹垂直方向速度小于预设阈值和水平方向速度大于预设阈值的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
以上过滤条件中涉及到的距离单位为像素值，预设阈值大小根据图像分辨率、图像采集设备焦距、布置位置确定。
7.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，还包括高空抛物视频回溯、告警步骤：
识别为高空抛物的跟踪目标包含的信息有跟踪编号，跟踪轨迹及对应的帧序列号；跟踪编号用于区别不同的跟踪目标，跟踪轨迹用于定位不同帧中高空抛物的位置和所占区域，帧序列号用于回溯高空抛物发生的起始和结束时间点；根据高空抛物的跟踪目标所包含的信息，生成高空抛物轨迹视频，高空抛物轨迹视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出；最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
8.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，所述步骤S1，具体为：
首先对采集的图像数据进行预处理，将RGB图像转化为灰度图像，以减少计算量；
然后每隔一帧图像进行帧间差分计算，获得差分图，再根据预设阈值将差分图分割为二值化图像,即得到包含运动目标的前景检测物；
计算公式如下：
Figure 644891DEST_PATH_IMAGE029
式中，
Figure 600952DEST_PATH_IMAGE030
和
Figure 149745DEST_PATH_IMAGE031
分别表示2t时刻和2t-1时刻的帧图像在坐标（x,y）的像素值，T表示预设阈值，
Figure 237787DEST_PATH_IMAGE032
表示相邻两帧图像在像素坐标(x,y)差分后根据阈值划分的结果，
Figure 567137DEST_PATH_IMAGE033
的区域表示前景运动物体，
Figure 766037DEST_PATH_IMAGE034
的区域表示背景物体。
9.一种高空抛物坠物的识别系统，其特征在于：包括监控图像采集模块、前景物体检测模块、前景检测物去噪及后处理模块、前景运动目标跟踪及轨迹获取模块、高空抛物轨迹识别模块；其中：
前景物体检测模块对监控图像采集模块获取的监控图像，采用隔帧帧间差分法进行前景目标检测，得到包含运动目标的前景检测物；
前景检测物去噪及后处理模块对前景检测物进行去噪；对前景检测物的外接矩形框先进行扩展处理再通过改进的NMS进行去重操作；
前景运动目标跟踪及轨迹获取模块采用改进的SORT对前景检测物进行多目标轨迹跟踪，即对获得的前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；
高空抛物轨迹识别模块对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。
10.根据权利要求9所述高空抛物坠物的识别系统，其特征在于：还包括高空抛物视频回溯、告警模块；所述高空抛物视频回溯、告警模块根据高空抛物的跟踪目标所包含的信息，生成高空抛物轨迹视频，高空抛物轨迹视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出；最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
11.计算机可读介质，其特征在于：所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现如权利要求1至8任一所述一种高空抛物坠物的识别方法。
CN202210561747.9A 2022-05-23 2022-05-23 一种高空抛物坠物的识别方法、系统及计算机可读介质 Active CN114639075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210561747.9A CN114639075B (zh) 2022-05-23 2022-05-23 一种高空抛物坠物的识别方法、系统及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210561747.9A CN114639075B (zh) 2022-05-23 2022-05-23 一种高空抛物坠物的识别方法、系统及计算机可读介质

Publications (2)

Publication Number Publication Date
CN114639075A true CN114639075A (zh) 2022-06-17
CN114639075B CN114639075B (zh) 2022-08-16

Family

ID=81952805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210561747.9A Active CN114639075B (zh) 2022-05-23 2022-05-23 一种高空抛物坠物的识别方法、系统及计算机可读介质

Country Status (1)

Country Link
CN (1) CN114639075B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114466A (zh) * 2022-08-30 2022-09-27 成都实时技术股份有限公司 一种打靶信息图像的查找方法、系统、介质及电子设备
CN115187919A (zh) * 2022-09-14 2022-10-14 深圳市万物云科技有限公司 一种基于多目标跟踪的高空抛物检测方法及相关组件
CN115450453A (zh) * 2022-10-08 2022-12-09 长沙航空职业技术学院 一种高空抛物、坠物、坠人识别预警阻拦系统及其方法
CN116994201A (zh) * 2023-07-20 2023-11-03 山东产研鲲云人工智能研究院有限公司 对高空抛物进行溯源监测的方法及计算设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096523A (zh) * 2016-06-02 2016-11-09 王玉德 一种视频图像序列中运动目标的检出与异常行为分析算法
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112396021A (zh) * 2020-11-30 2021-02-23 五邑大学 高空危险物检测方法、装置及存储介质
US20210118150A1 (en) * 2019-10-16 2021-04-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Subject Recognition Method, Electronic Device, and Computer Readable Storage Medium
CN112800953A (zh) * 2021-01-27 2021-05-14 南京航空航天大学 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096523A (zh) * 2016-06-02 2016-11-09 王玉德 一种视频图像序列中运动目标的检出与异常行为分析算法
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
US20210118150A1 (en) * 2019-10-16 2021-04-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Subject Recognition Method, Electronic Device, and Computer Readable Storage Medium
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112396021A (zh) * 2020-11-30 2021-02-23 五邑大学 高空危险物检测方法、装置及存储介质
CN112800953A (zh) * 2021-01-27 2021-05-14 南京航空航天大学 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114466A (zh) * 2022-08-30 2022-09-27 成都实时技术股份有限公司 一种打靶信息图像的查找方法、系统、介质及电子设备
CN115114466B (zh) * 2022-08-30 2022-12-13 成都实时技术股份有限公司 一种打靶信息图像的查找方法、系统、介质及电子设备
CN115187919A (zh) * 2022-09-14 2022-10-14 深圳市万物云科技有限公司 一种基于多目标跟踪的高空抛物检测方法及相关组件
CN115450453A (zh) * 2022-10-08 2022-12-09 长沙航空职业技术学院 一种高空抛物、坠物、坠人识别预警阻拦系统及其方法
CN116994201A (zh) * 2023-07-20 2023-11-03 山东产研鲲云人工智能研究院有限公司 对高空抛物进行溯源监测的方法及计算设备
CN116994201B (zh) * 2023-07-20 2024-03-29 山东产研鲲云人工智能研究院有限公司 对高空抛物进行溯源监测的方法及计算设备

Also Published As

Publication number Publication date
CN114639075B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN114639075B (zh) 一种高空抛物坠物的识别方法、系统及计算机可读介质
US9230175B2 (en) System and method for motion detection in a surveillance video
CN112052797A (zh) 基于MaskRCNN的视频火灾识别方法及系统
CN104303193B (zh) 基于聚类的目标分类
CN112016414A (zh) 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN108052917B (zh) 一种基于新旧时相变化发现的违章建筑自动识别的方法
Chaturvedi et al. A survey on vision-based outdoor smoke detection techniques for environmental safety
WO2022001961A1 (zh) 一种高空抛物动目标检测方法、检测设备和检测系统
CN109101944B (zh) 一种识别向河道内抛投垃圾的实时视频监控方法
CN113409362B (zh) 高空抛物检测方法和装置、设备及计算机存储介质
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
CN111723644A (zh) 一种监控视频遮挡检测方法及系统
WO2023273010A1 (zh) 高空抛物检测方法和装置、设备，及计算机存储介质
CN111223129A (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN102034240A (zh) 一种静态前景检测和跟踪方法
CN111062974A (zh) 一种使用去除鬼影对前景目标提取的方法及系统
CN110544271B (zh) 抛物动作检测方法及相关装置
CN113657250A (zh) 一种基于监控视频的火焰检测方法及系统
Ghasemi et al. A real-time multiple vehicle classification and tracking system with occlusion handling
CN112770090A (zh) 一种基于异动检测与目标跟踪的监控方法
CN113297949B (zh) 高空抛物检测方法、装置、计算机设备和存储介质
CN116453069A (zh) 基于级联差异感知模型的高速公路抛洒物检测方法
CN115661475A (zh) 一种图像异物识别方法、装置、设备及存储介质
CN114677343A (zh) 一种基于双背景的高速公路抛洒物检测方法
CN114359800A (zh) 一种景区抛洒物视频识别系统及其检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant