CN114639075B - 一种高空抛物坠物的识别方法、系统及计算机可读介质 - Google Patents

一种高空抛物坠物的识别方法、系统及计算机可读介质 Download PDF

Info

Publication number
CN114639075B
CN114639075B CN202210561747.9A CN202210561747A CN114639075B CN 114639075 B CN114639075 B CN 114639075B CN 202210561747 A CN202210561747 A CN 202210561747A CN 114639075 B CN114639075 B CN 114639075B
Authority
CN
China
Prior art keywords
foreground
frame
tracking
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210561747.9A
Other languages
English (en)
Other versions
CN114639075A (zh
Inventor
区英杰
刘均发
谭焯康
董万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Embedded Machine Tech Co ltd
Original Assignee
Guangzhou Embedded Machine Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Embedded Machine Tech Co ltd filed Critical Guangzhou Embedded Machine Tech Co ltd
Priority to CN202210561747.9A priority Critical patent/CN114639075B/zh
Publication of CN114639075A publication Critical patent/CN114639075A/zh
Application granted granted Critical
Publication of CN114639075B publication Critical patent/CN114639075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种高空抛物坠物的识别方法、系统及计算机可读介质，所述识别方法包括以下步骤：对监控图像，采用隔帧帧间差分法进行前景目标检测；对去噪后的前景检测物的最小外接矩形框先进行扩展处理，再通过改进的非极大值抑制NMS进行去重操作；采用改进的SORT多目标跟踪方法对前景检测物进行多目标轨迹跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。本发明具有低计算量，高召回率和较高识别精确率的优点，更适合部署于边缘计算设备端。

Description

一种高空抛物坠物的识别方法、系统及计算机可读介质
技术领域
本发明涉及高空抛物坠物识别领域，特别涉及一种高空抛物坠物的识别方法、系统及计算机可读介质。
背景技术
高空抛物、坠物现象是一种严重危害社会安全的不文明行为。由于高空抛物是一个突发、短暂的过程，所以往往很难追溯到事件的起发位置，难以对违法行为进行及时取证、定责。
目前高空抛物识别的方法主要由监控图像获取、运动目标检测、目标轨迹获取、高空抛物轨迹识别、高抛视频回溯取证等五个步骤组成。现有高空抛物识别算法的主要区别在于运动目标检测步骤、目标轨迹获取步骤和高空抛物轨迹识别步骤的实现方式不同。
在运动目标检测步骤中，现有技术采用深度学习的方法，需要采集大量的训练数据，运行在服务器中，实现成本高；采用背景建模、形态学操作的方法，处理高分率的图像时存在计算量大的问题，不适合部署于边缘计算设备端实现多路运行。
在目标轨迹获取步骤中，现有技术要么没有对运动目标进行轨迹跟踪，造成获取的运动轨迹存在较多的噪声干扰，不利于后续的高抛轨迹识别；要么采用了运动目标跟踪方法，但没有对检测到的运动目标进行有效的后处理，跟踪效果不理想。
在高空抛物轨迹识别步骤中，现有技术根据自由落体运动特征制定高空抛物过滤条件，但是高空抛物受抛出的初始状态和周围环境因素的影响，制定的过滤条件很难确保高精确率的情况下具有高召回率。而采用深度学习的识别方法，则同样存在计算量大，实现成本高的问题。
现有技术一“CN202010817165.3，一种检测高空抛物事件的方法、装置及楼面智能监控系统”：对获取的图像数据进行图像预处理，采用相邻帧差分法或三帧差分法获得前景物体，利用高斯滤波或二值化操作去除前景噪声，根据前景连通区域的形态和尺寸确定真实的运动目标，将连续多帧的运动目标坐标组成运动轨迹，计算运动目标轨迹的持续时间(帧率×帧数)、竖直像素坐标位移、水平像素坐标位移、运动方向、加速度大小，判断运动轨迹是否符合自由落体运动学规律，并结合运动区域的图像分类结果排除“落叶”、“蚊虫鸟类”和“雨雪”的干扰。
现有技术一主要在目标轨迹获取步骤、高空抛物轨迹判断步骤存在以下问题：获得的运动目标轨迹包含较多干扰噪声，影响后续的高抛轨迹识别。因为高抛物体下落过程中受到抛出方式和空气阻力等环境因素的影响，运动物体在监控画面每一帧呈现的形态可能各不相同，仅仅根据连通区域的形态、尺寸或连通域区域像素的分类结果确定真实的运动目标较难实现。其次，高空抛物下降过程中可能会出现其它局部运动的物体（例如阳台衣物飘动、树枝晃动等常见情形）或多个高抛物同时出现的情况，造成预设时间内的运动轨迹包含多个运动物体的坐标信息。如果将这些情形组成的轨迹信息用于后续的高抛判断（例如专利中提到的竖直像素坐标位移、水平像素坐标位移、运动方向、加速度大小），很容易出现误识别。
现有技术二“CN202010598843.1，一种高空抛物动目标检测方法、检测设备和检测系统”：对获取的图像数据转化为灰度值，进行滤波处理去除图像噪声；处理后的灰度图向指定向量平移，得到N个平移图像，将平移图像分别与前帧或后帧图像进行帧间差分计算，得到N张差分图；取N张差分图的极值为差分结果，并对差分结果图进行均值滤波和阈值法操作得到二值化图像；对二值化图像进行形态学操作、连通域分析确定运动目标。
现有技术二主要在运动目标检测步骤、目标轨迹获取步骤存在以下问题：采用改进的帧差法需要计算N张帧差图（实施例中N=441），而用于高空抛物识别的监控画面，为了能够检测小尺寸的高抛目标，一般采用高分率的图像采集设备。在高分辨率的图像数据中，计算N张帧差图会带来大的计算量。同时，该专利在获得二值化图像后还进行了形态学操作（腐蚀、膨胀、开运算和闭运算的一种或多种），形态学操作需要对图像中的每一个像素值与其邻近像素进行“与”运算，在高分辨率的图像中进行形态学操作，也会带来较大的计算量。其次，该专利与现有技术一出自于同一个申请人，确定运动目标轨迹的方法也一样，获得的运动轨迹存在干扰噪声的问题。
现有技术三“CN201910032981.0，一种基于计算机视觉的高空抛物检测方法与系统”：采用GPU加速后的ViBe背景建模方法获得前景检测物，对检测结果进行腐蚀、膨胀和连通性分析去除前景噪声，获得面积不小于16的运动目标；采用匈牙利算法对运动对象进行追踪，追踪失败后再采用卡尔曼滤波追踪，获得运动目标轨迹；根据纵坐标值是否持续增大、运动时长是否大于预设阈值、运动轨迹是否最终离开监控边界、运动对象是否一直处于匀速或减速、纵坐标的差分数值是否不小于某个阈值等条件，确定该跟踪对象是否为高空抛物。
现有技术三主要在运动目标检测步骤存在以下问题：采用ViBe的背景建模方法检测前景物体，背景建模方法需要对背景图像中的每一个像素建立参数模型，同时还需要随着光线和环境的变化实时更新背景模型。因此，对高分率图像采用背景建模方法检测运动目标需要较大的计算量。为了达到实时的效果，该专利采用GPU加速ViBe背景建模方法，与CPU进行协同工作，虽然减少了耗时但增加了实现成本。该专利同时也采用了形态学操作处理二值化图像，跟现有技术二所阐述的原因一样，形态学操作会带来不小的计算量。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种高空抛物坠物的识别方法，该方法能够有效解决现有高空抛物识别方法存在噪声干扰、计算量大和实现成本高的问题，可以更准确获得运动目标轨迹和需要更少计算量的高空抛物识别方法，能够在边缘计算设备端实现多路运行。
本发明的目的通过以下的技术方案实现：
一种高空抛物坠物的识别方法，包括以下步骤：
S1、对监控图像，采用隔帧帧间差分法进行前景目标检测，得到包含运动目标的前景检测物；
S2、对前景检测物物进行去噪；对前景检测物的最小外接矩形框先进行扩展处理，再通过改进的非极大值抑制NMS进行去重操作，得到用前景区域框表示的前景检测物；
S3、采用改进的SORT多目标跟踪方法对前景检测物进行多目标轨迹跟踪，即对获得的前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；
S4、对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。
步骤S2中，所述对前景检测物进行去噪，具体为：对前景检测获得的二值化图像进行中值滤波处理，过滤微小噪声；对处理后的二值化图像进行连通域分析，获得前景检测物的最小外接矩形框；统计前景检测物的最小外接矩形框的数量，记为
Figure 266339DEST_PATH_IMAGE001
；如果
Figure 370430DEST_PATH_IMAGE001
大于预设阈值
Figure DEST_PATH_IMAGE002
，则忽略该帧的前景检测物，认为图像采集设备发生了剧烈抖动或者突然被挪动；循环遍历每个前景检测物的最小外接矩形框，过滤像素面积小于预设阈值
Figure 87850DEST_PATH_IMAGE003
和大于预设阈值
Figure DEST_PATH_IMAGE004
的前景噪声。
步骤S2中，所述对前景检测物的最小外接矩形框先进行扩展处理，具体为：如果前景检测物的最小外接矩形框的最长边小于预设阈值
Figure 483059DEST_PATH_IMAGE005
时，则将该前景检测物的最小外接矩形框扩展为边长为
Figure 985847DEST_PATH_IMAGE005
的前景检测物的外接方形框，而最长边大于预设阈值
Figure 808309DEST_PATH_IMAGE005
的前景检测物的最小外接矩形框则扩展成以最长边为边长的前景检测物的外接方形框；扩展处理后得到的前景检测物的外接方形框作为前景区域框。
步骤S2中，所述通过改进的非极大值抑制NMS进行去重操作，包括以下步骤：
(1)按扩展前的前景检测物的最小外接矩形框面积大小排序扩展后的前景区域框，得到有序的前景区域框集合
Figure DEST_PATH_IMAGE006
；
(2)选择前景区域框集合
Figure 13026DEST_PATH_IMAGE006
中面积最大的前景区域框，放进输出集合
Figure 398877DEST_PATH_IMAGE007
中，并将其从有序的前景区域框集合
Figure 67755DEST_PATH_IMAGE006
中删除；
(3)计算面积最大的前景区域框与其它前景区域框中心点的水平和垂直像素距离；
(4)如果水平和垂直像素距离中有一个小于预设阈值
Figure DEST_PATH_IMAGE008
，则计算最大前景区域框与其它前景区域框的面积交并比IOU;其中，面积交并比IOU的计算公式如下：
Figure 998802DEST_PATH_IMAGE009
式中，
Figure DEST_PATH_IMAGE010
表示前景区域框
Figure 441547DEST_PATH_IMAGE011
和前景区域框
Figure DEST_PATH_IMAGE012
的重叠区域面积，
Figure 116242DEST_PATH_IMAGE013
表示前景区域框
Figure 639627DEST_PATH_IMAGE011
和前景区域框
Figure DEST_PATH_IMAGE014
的合并区域面积；
(5)从有序的前景区域框集合
Figure 53160DEST_PATH_IMAGE015
中删除面积交并比IOU大于预设阈值
Figure DEST_PATH_IMAGE016
的前景区域框；
(6)重复步骤2）至5），直至有序的前景区域框集合
Figure 435731DEST_PATH_IMAGE006
为空，得到前景区域框输出集合
Figure 710855DEST_PATH_IMAGE007
。
所述步骤S3，具体为：
(1)对初始帧出现的前景运动目标建立状态向量
Figure 354325DEST_PATH_IMAGE017
，用于初始化一个新的卡尔曼滤波器，赋予跟踪编号，并记录起始帧序号；
其中，
Figure DEST_PATH_IMAGE018
和
Figure 377907DEST_PATH_IMAGE019
分别表示前景区域框中心点的水平和垂直像素位置，
Figure DEST_PATH_IMAGE020
和
Figure 44512DEST_PATH_IMAGE021
分别表示前景区域框的面积和长宽比，
Figure DEST_PATH_IMAGE022
和
Figure 123327DEST_PATH_IMAGE023
分别表示前景区域框水平和垂直方向的速度，
Figure DEST_PATH_IMAGE024
表示前景区域框的面积变化量；
(2)利用卡尔曼滤波器预测前景运动目标在当前帧的位置和边框形状，记为预测目标；
(3)计算每个预测目标与当前帧检测目标的面积交并比IOU，获得匹配成本矩阵；
(4)使用匈牙利匹配算法对匹配成本矩阵求最优解，得到预测目标与当前帧检测目标的匹配关系；
(5)如果匹配目标的面积交并比IOU小于预设阈值
Figure 808255DEST_PATH_IMAGE025
，则认为匹配不成功；
(6)基于以下准则更新跟踪目标的卡尔曼滤波器：
a、如果预测目标匹配不成功，卡尔曼滤波进行线性状态更新；
b、如果预测目标匹配成功，则用检测目标的
Figure DEST_PATH_IMAGE026
值更新卡尔曼滤波器的状态，并记录当前帧序号；
c、如果检测目标匹配不成功，则像步骤a中一样，初始化一个新的卡尔曼滤波器，赋予新的跟踪编号，并记录起始帧序号；
(7)输出卡尔曼滤波器跟踪轨迹特征，所述卡尔曼滤波器跟踪轨迹特征包含卡尔曼滤波器编号、前景区域框轨迹和帧序列号；
(8)删除跟踪目标连续
Figure 314322DEST_PATH_IMAGE027
帧未匹配到的卡尔曼滤波器，认为该跟踪目标停止了运动或者离开了监控画面；删除匹配次数大于
Figure DEST_PATH_IMAGE028
帧的卡尔曼滤波器，认为该跟踪目标为非高空抛物，非高空抛物包括局部飘动的阳台衣物，阳台走动的居民或饲养的宠物；
Figure 264961DEST_PATH_IMAGE029
、
Figure DEST_PATH_IMAGE030
均为预设阈值；
(9) 重复步骤(2)至(8)，每隔一定周期后重置卡尔曼滤波器编号。
所述步骤S4，具体为：
(1)过滤跟踪帧数小于预设阈值
Figure 39144DEST_PATH_IMAGE031
的运动目标，排除相机抖动产生的前景噪声和近距离快速经过图像采集设备的干扰物；
(2)过滤跟踪轨迹起始点在监控周界外的运动目标，排除周界外的天空云彩、树枝落叶和从周界外进入监控区域的飞虫飞鸟、雨雪的影响；
(3)过滤跟踪轨迹垂直方向下降距离小于预设阈值
Figure DEST_PATH_IMAGE032
的运动目标，排除局部运动的物体的影响，所述局部运动的物体包括飘动的阳台衣物、晃动的盆栽花草；
(4)过滤跟踪轨迹垂直下降距离与水平移动距离比小于预设阈值
Figure 329311DEST_PATH_IMAGE033
的运动目标，排除轻飘物体、蚊虫鸟类飞过的影响；
(5)过滤跟踪轨迹水平速度方向突变次数和水平速度大小同时分别大于预定阈值
Figure DEST_PATH_IMAGE034
和
Figure 271859DEST_PATH_IMAGE035
的运动目标，排除蚊虫鸟类来回飞走的影响；
(6)过滤跟踪轨迹下降过程中处于匀速或者减速帧数大于预设阈值
Figure DEST_PATH_IMAGE036
的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
(7)过滤跟踪轨迹垂直方向速度小于预设阈值
Figure 693482DEST_PATH_IMAGE037
和水平方向速度大于预设阈值
Figure DEST_PATH_IMAGE038
的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
以上过滤条件中涉及到的距离单位为像素值，预设阈值大小根据图像分辨率、图像采集设备焦距、布置位置确定。
一种高空抛物坠物的识别方法，还包括高空抛物视频回溯、告警步骤：
识别为高空抛物的跟踪目标包含的信息有跟踪编号，跟踪轨迹及对应的帧序列号；跟踪编号用于区别不同的跟踪目标，跟踪轨迹用于定位不同帧中高空抛物的位置和所占区域，帧序列号用于回溯高空抛物发生的起始和结束时间点；根据高空抛物的跟踪目标所包含的信息，生成高空抛物轨迹视频，高空抛物轨迹视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出；最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
本发明的另一目的通过以下的技术方案实现：
一种高空抛物坠物的识别系统，包括监控图像采集模块、前景物体检测模块、前景检测物去噪及后处理模块、前景运动目标跟踪及轨迹获取模块、高空抛物轨迹识别模块；其中：
前景物体检测模块对监控图像采集模块获取的监控图像，采用隔帧帧间差分法进行前景目标检测，得到包含运动目标的前景检测物；
前景检测物去噪及后处理模块对前景检测物进行去噪；对前景检测物的最小外接矩形框先进行边长扩展再通过改进的非极大值抑制NMS进行去重操作；
前景运动目标跟踪及轨迹获取模块采用改进的SORT多目标跟踪方法对前景检测物进行多目标轨迹跟踪，即对获得的前景检测物前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；
高空抛物轨迹识别模块对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。
一种高空抛物坠物的识别系统，还包括高空抛物视频回溯、告警模块；所述高空抛物视频回溯、告警模块根据高空抛物的跟踪目标所包含的信息，生成高空抛物轨迹视频，高空抛物轨迹视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出；最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
计算机可读介质，存储有计算机程序，所述计算机程序由处理模块加载并执行以实现一种高空抛物坠物的识别方法。
本发明与现有技术相比，具有如下优点和有益效果：
本发明具有低计算量，高召回率和较高识别精确率的优点，更适合部署于边缘计算设备端。低计算量是因为采用了隔帧帧间差分法检测前景物体，提出扩展处理和改进的非极大值抑制NMS方法替代形态学操作。高召回率和较高识别精确率是因为提出的前景检测物后处理操作让处理后的前景运动目标更容易被跟踪，采用的SORT多目标跟踪方法获得了更准确的运动目标轨迹，以及利用了更有效的高空抛物轨迹识别逻辑。
本发明前景检测物去噪及后处理模块中提出的对前景检测物的最小外接矩形框进行扩展处理和改进的非极大值抑制NMS去重方法，有别于现有方法采用的形态学操作，但能达到类似后处理效果的同时需要更少的计算量。另外，该模块对检测到的小尺寸运动目标进行的扩展处理操作，还更有利于后续的运动目标轨迹跟踪。
本发明的前景运动目标跟踪及轨迹获取模块采用改进的SORT多目标跟踪方法获得跟踪轨迹。现有技术要么没有采用跟踪的方法获得运动物体轨迹，致使获得的轨迹存在噪声干扰；要么也采用了类似于SORT多目标跟踪方法，但区别在于本发明结合高空抛物任务特性，对SORT多目标跟踪方法的输入输出和判断逻辑进行了优化。
本发明的高抛轨迹识别模块先根据常见干扰物的运动特征制定干扰物过滤条件，再根据环境因素制定较宽松的自由落体特征过滤条件。现有技术对高空抛物轨迹的识别要么只制定了自由落体特征过滤条件，要么增加了高抛物种类识别功能。相对于只制定自由落体特征过滤条件的方法，本发明方法能够保证一定精确率的同时又具有较高的召回率；相对于增加高抛物种类识别功能的方法，需要更少的计算量，实现成本低。
附图说明
图1为本发明所述一种高空抛物坠物的识别方法的流程图。
图2为改进的非极大值抑制NMS进行去重操作的流程图。
图3为改进的非极大值抑制NMS进行去重操作的效果示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1，一种高空抛物坠物的识别方法，主要包括监控图像采集，前景物体检测，前景检测物去噪、后处理，前景运动目标跟踪、轨迹获取，高空抛物轨迹识别和高空抛物视频回溯、告警这六大步骤。
1．监控图像采集
监控图像数据的采集可以是实时的图像采集设备获得，也可以是离线下载的视频或图像序列。图像采集设备布置在水平距离监控建筑物25米～35米处，距离地面3米高的地方，安装位置可以是正面或者斜侧面对准监控建筑物，安装角度和安装数量视能够完整捕捉监控对象灵活设定。图像采集设备通过有线或无线通信方式与边缘设备连接,图像采集设备与边缘设备端之间还设置有专门的边缘视频存储装置，以便当识别到高空抛物时进行视频回溯、取证。图像采集设备获得的实时流视频数据通过视频编解码技术在边缘设备端解码成一帧一帧的图像数据。针对不同的监控场景设置特定的监控周界，用于后续的高空抛物轨迹识别。
2．前景物体检测
高空抛物识别的一个重要环节就是从监控画面的背景物体中检测出前景物体，这里的背景物体是指图像中静止或者移动非常缓慢的物体，例如建筑物的墙体、阳台、窗户等物体，前景物体是指运动的物体，例如高空抛物、阳台飘动衣物、飞虫飞鸟等物体。
在传统技术中，常用的前景检测方法有帧间差分法和背景建模法。
帧间差分法是最简单的前景检测方法，其思想是根据相邻两帧图像中运动物体的像素在帧与帧之间存在较为明显的差别，通过相减相邻两帧的像素值，得到像素亮度差异差分图；选取合理的阈值分割差分图，将图像中的物体划分为前景检测物和背景物体。帧间差分法原理简单，计算量小，对光照变化不敏感，能够快速检测出场景中的运动物体，但缺点是对大的内部均匀的运动目标检测不完整，内部容易产生“空洞”。
背景建模法是运动目标检测常用的方法，其思想是对图像背景的像素值建立参数模型，将当前帧的图像与背景参数模型进行差分运算，对差异较大的像素值划分为前景物体，差异较小的物体划分为背景，同时根据光线和环境的变化动态更新背景模型。相对于帧差法，背景建模法能够检测出较完整的运动物体，但对光线和突变的干扰物较敏感，在处理高分辨率的图像时，由于需要动态更新背景模型，需要较大的计算量。
为了能够部署在边缘设备进行多路的高空抛物识别，本发明采用隔帧帧间差分法进行前景目标检测。首先对采集的图像数据进行预处理，将RGB图像转化为灰度图像，以减少计算量。然后每隔一帧图像进行帧间差分计算，即对编号分别为1、2、3、4、5和6的连续帧图像，进行编号1与编号2，编号3与编号4，编号5与编号6的图像进行帧间差分计算，获得差分图，再根据预设阈值T将差分图分割为二值化图像。其计算公式如下：
Figure 114099DEST_PATH_IMAGE039
式中，
Figure DEST_PATH_IMAGE040
和
Figure 727614DEST_PATH_IMAGE041
分别表示2t时刻和2t-1时刻的帧图像在坐标（x,y）的像素值，
Figure DEST_PATH_IMAGE042
表示相邻两帧图像在像素坐标(x,y)差分后根据阈值划分的结果，
Figure 326217DEST_PATH_IMAGE043
的区域表示前景运动物体，
Figure DEST_PATH_IMAGE044
的区域表示背景物体。
隔帧帧间差分法相对于每相邻两帧都进行帧间差分计算的思路减少了一半的计算量，带来的是前景检测物轨迹密度变稀疏，但不影响后续的高空抛物轨迹识别。其次，本发明采用的隔帧帧间差分法有别于抽帧帧间差分法，抽帧帧间差分法是对编号1与编号3、编号2与编号4，编号4与编号6的图像进行差分计算，抽帧帧差法会因为两帧计算的图像之间抽走了一帧，造成像素值差别较大而检测到较多的前景噪声。
3．前景检测物去噪、后处理
本模块对隔帧帧差法得到的前景检测物进行噪声过滤和后处理，以便后续进行运动目标轨迹跟踪。其实现流程如下：
首先，对前景检测获得的二值化图像进行中值滤波处理，过滤微小噪声。对处理后的二值化图像进行连通域分析，获得前景检测物的最小外接矩形框。统计前景检测物的最小外接矩形框的数量，记为
Figure 251448DEST_PATH_IMAGE001
。如果
Figure 616701DEST_PATH_IMAGE001
大于预设阈值
Figure 678198DEST_PATH_IMAGE002
，则忽略该帧的前景检测物，认为图像采集设备发生了剧烈抖动或者突然被挪动。循环遍历每个前景检测物的最小外接矩形框，过滤像素面积小于
Figure 962549DEST_PATH_IMAGE003
和大于
Figure 562026DEST_PATH_IMAGE004
的前景噪声。面积过小的前景检测物可能是图像数据传输过程中产生的误差噪声，面积过大的前景检测物可能是近距离出现在图像采集设备前的干扰物。
然后，对前景检测物的最小外接矩形框进行扩展处理。所谓扩展处理是指，如果前景检测物的最小外接矩形框的最长边小于预设阈值
Figure 590025DEST_PATH_IMAGE005
时，则将该前景检测物的最小外接矩形框扩展为边长为
Figure 771608DEST_PATH_IMAGE005
的前景检测物的外接方形框，而最长边大于
Figure 695701DEST_PATH_IMAGE005
的前景检测物的最小外接矩形框则扩展成以最长边为边长的前景检测物的外接方形框。扩展处理后得到的前景检测物的外接方形框作为前景区域框。
最后，对扩展后的前景区域框进行改进的非极大值抑制（Non-MaximumSuppression, NMS），去除区域框重叠度高的前景物体。改进的非极大值抑制NMS流程如图2所示，实现细节如下：
(1)按扩展前的前景检测物的最小外接矩形框面积大小排序扩展后的前景区域框，得到有序的前景区域框集合
Figure 595524DEST_PATH_IMAGE006
；
(2)选择
Figure 161635DEST_PATH_IMAGE006
中面积最大的前景区域框，放进输出集合
Figure 366700DEST_PATH_IMAGE007
中，并将其从有序的前景区域框集合
Figure 727274DEST_PATH_IMAGE006
中删除；
(3)计算面积最大的前景区域框与其它前景区域框中心点的水平和垂直像素距离；
(4)如果水平和垂直像素距离中有一个小于预设阈值
Figure 114393DEST_PATH_IMAGE008
，则计算最大前景区域框与其它前景区域框的面积交并比（intersection-over-union, IOU）;
(5)从有序集合
Figure 218615DEST_PATH_IMAGE006
中删除面积交并比IOU大于预设阈值
Figure 109211DEST_PATH_IMAGE016
的前景区域框；
(6)重复步骤(2)~ (5)，直至有序的前景区域框集合
Figure 906266DEST_PATH_IMAGE006
为空，得到前景区域框输出集合
Figure 702052DEST_PATH_IMAGE007
。
其中，面积交并比IOU的计算公式如下：
Figure 875545DEST_PATH_IMAGE009
式中，
Figure 886226DEST_PATH_IMAGE045
表示前景区域框
Figure 854182DEST_PATH_IMAGE011
和前景区域框
Figure DEST_PATH_IMAGE046
的重叠区域面积，
Figure 91259DEST_PATH_IMAGE013
表示前景区域框
Figure 802863DEST_PATH_IMAGE011
和前景区域框
Figure 153204DEST_PATH_IMAGE014
的合并区域面积。
对前景检测物的最小外接矩形框先进行扩展再进行改进的非极大值抑制NMS去重操作，类似于形态学中先进行膨胀再进行腐蚀的闭操作，能够达到填充物体内部空洞、连接邻近物的作用，效果示意图如图3所示。因此，前景检测物的位置和在图像中所占区域的大小，可以用最后获得的前景区域框近似表示。
相比于形态学操作，本发明方法能达到相同作用的同时需要更少的计算量。因为形态学操作需要对图像中的每一个像素值与其邻近像素进行“与”运算，在越高分辨率的图像中进行形态学操作，会带来几何级的计算量增长。而本发明的方法只是对检测到的前景物体的最小外接矩形框进行扩展和改进的非极大值抑制NMS操作，也提前进行了前景噪声过滤，因此需要的计算量可以忽略不计。另外，本发明针对检测到的运动目标进行的后处理操作，更有利于后续的运动目标跟踪。
非极大值抑制NMS改进的地方及相应原因有如下两点：
步骤(1)：本发明按扩展前的前景检测物的最小外接矩形框面积大小排序扩展后的前景区域框，有别于原始的非极大值抑制NMS方法，根据每个框的置信度值进行排序。对前景检测物按最小外接矩形框面积大小排序，是为了后续保留大的前景检测物，去除与其重叠高但相对较小的前景检测物。
步骤(3)和步骤(4)：在判断前景区域框是否重叠之前，先计算面积最大的前景区域框与其它前景区域框中心点的水平和垂直像素距离，如果像素距离小于一定阈值后再进行面积交并比IOU计算。先进行像素距离初步判断，不直接计算面积交并比IOU值作比较，可以减少计算量。本方法可以进行初步判断是因为在进行改进的非极大值抑制NMS操作前，过滤了面积小于
Figure 292062DEST_PATH_IMAGE003
和大于
Figure 875490DEST_PATH_IMAGE004
的前景噪声，并扩展处理了前景检测物外接矩形框，知道前景检测物区域框的边长范围。
上述改进的难点在于如何根据扩展后的前景检测物区域框特点，对非极大值抑制NMS的实现步骤进行改进，实现类似形态学操作中填充物体内部空洞、连接邻近物的作用，效果示意图如图3所示。一般改进不会想到采用非极大值抑制NMS来替代形态学操作，所以不容易想到这样的改进操作。
4．前景运动目标跟踪、轨迹获取
本模块采用改进的SORT（Simple Object and Realtime Tracking）多目标跟踪方法对前景检测物进行多目标轨迹跟踪，即对上一模块中获得的前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息。其跟踪流程如下：
(1)对初始帧（上一帧）出现的前景运动目标建立状态向量
Figure 266151DEST_PATH_IMAGE017
，用于初始化一个新的卡尔曼滤波器，赋予跟踪编号，并记录起始帧序号。
其中，
Figure 251424DEST_PATH_IMAGE018
和
Figure 561183DEST_PATH_IMAGE019
分别表示前景区域框中心点的水平和垂直像素位置，
Figure 615596DEST_PATH_IMAGE020
和
Figure 669002DEST_PATH_IMAGE047
分别表示前景区域框的面积和长宽比，
Figure 508782DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE048
分别表示前景区域框水平和垂直方向的速度，
Figure 927125DEST_PATH_IMAGE049
表示前景区域框的面积变化量。
(2)利用卡尔曼滤波器预测前景运动目标在当前帧的位置和边框形状，记为预测目标。
(3)计算每个预测目标与当前帧检测目标的面积交并比IOU，获得匹配成本矩阵。
(4)使用匈牙利匹配算法对匹配成本矩阵求最优解，得到预测目标与当前帧检测目标的匹配关系。
(5)如果匹配目标的面积交并比IOU小于预设阈值
Figure 219566DEST_PATH_IMAGE025
，则认为匹配不成功。
(6)基于以下准则更新跟踪目标的卡尔曼滤波器：
a、如果预测目标匹配不成功，卡尔曼滤波进行线性状态更新；
b、如果预测目标匹配成功，则用检测目标的
Figure 968342DEST_PATH_IMAGE026
值更新卡尔曼滤波器的状态，并记录当前帧序号；
c、如果检测目标匹配不成功，则像步骤a中一样，初始化一个新的卡尔曼滤波器，赋予新的跟踪编号，并记录起始帧序号。
(7)输出卡尔曼滤波器跟踪轨迹特征，包含卡尔曼滤波器编号、前景区域框轨迹和帧序列号。
(8)删除跟踪目标连续
Figure 662628DEST_PATH_IMAGE027
帧未匹配到的卡尔曼滤波器，认为该跟踪目标停止了运动或者离开了监控画面；删除匹配次数大于
Figure DEST_PATH_IMAGE050
帧的卡尔曼滤波器，认为该跟踪目标为非高空抛物，可能是局部飘动的阳台衣物，阳台走动的居民或饲养的宠物。
(9)重复步骤(2)至(8)，每隔一定周期后重置卡尔曼滤波器编号。
结合高空抛物任务特性，对SORT多目标跟踪方法的输入输出和判断逻辑进行了优化，体现在如下几点：
输入输出：相对于原有的SORT多目标跟踪方法，输入信息记录了前景检测物运动目标在每一帧出现的序列号，输出信息增加了前景区域框轨迹信息和帧序列号的输出，用于后续高抛轨迹的回溯和高抛轨迹视频的生成。
判断逻辑：步骤（8）中删除匹配次数大于
Figure 48610DEST_PATH_IMAGE050
帧的卡尔曼滤波器，认为该跟踪目标为非高空抛物，可能是局部飘动的阳台衣物，阳台走动的居民或饲养的宠物。增加该判断逻辑可以减少跟踪目标轨迹信息的缓存。步骤（9）中每隔一定周期后重置卡尔曼滤波器编号。因为跟踪目标的编号一直在增加，所以需要每隔一定周期对跟踪目标编号进行重置。
上述改进的难点在于跟踪目标判断逻辑的优化和跟踪编号的重置，一般改进还是比较不容易想到这样的操作。
5．高空抛物轨迹识别
本步骤对获得的前景跟踪目标轨迹进行高空抛物轨迹识别。高空抛物受抛出的初始状态的影响，初始阶段的运动轨迹可能出现先上升后下降的情况；下降过程还可能碰撞到其它物体，造成下降速度出现突变的情况。同时，高空掉落物还受空气阻力等环境因素的影响，下降过程不一定一直处于加速状态。如果严格地按照自由落体的运动特征判断前景运动目标为高空抛物，就会容易出现漏识别的情况。如果设置较宽松的自由落体特征过滤条件，就会增加干扰物被误识别为高空抛物的情况。
为了更准确地识别高空抛物，本发明先根据蚊虫鸟类、阳台衣物飘动、局部枝干晃动、相机抖动、雨雪云彩等常见干扰物的运动特征，设定过滤条件；再根据环境因素制定较为宽松的自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。这样的判断逻辑既能保持较高召回率的同时又具有一定的识别精确率。所谓召回率是指正确识别为高空抛物次数占真实发生高空抛物次数的比率，用于评价漏识别的情况。
其实现流程如下：
(1)过滤跟踪帧数小于预设值
Figure 93927DEST_PATH_IMAGE031
的运动目标，排除相机抖动产生的前景噪声和近距离快速经过图像采集设备的干扰物；
(2)过滤跟踪轨迹起始点在监控周界外的运动目标，排除周界外的天空云彩、树枝落叶和从周界外进入监控区域的飞虫飞鸟、雨雪的影响；
(3)过滤跟踪轨迹垂直方向下降距离小于预设阈值
Figure 489136DEST_PATH_IMAGE032
的运动目标，排除局部运动的物体，例如阳台衣物飘动、盆栽花草晃动的影响；
(4)过滤跟踪轨迹垂直下降距离与水平移动距离比小于预设阈值
Figure 37929DEST_PATH_IMAGE033
的运动目标，排除轻飘物体、蚊虫鸟类飞过的影响；
(5)过滤跟踪轨迹水平速度方向突变次数和水平速度大小同时分别大于预定阈值
Figure 312921DEST_PATH_IMAGE034
和
Figure 579955DEST_PATH_IMAGE035
的运动目标，排除蚊虫鸟类来回飞走的影响；
(6)过滤跟踪轨迹下降过程中处于匀速或者减速帧数大于预设阈值
Figure 778855DEST_PATH_IMAGE036
的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
(7)过滤跟踪轨迹垂直方向速度小于预设阈值
Figure 119837DEST_PATH_IMAGE037
和水平方向速度大于预设阈值
Figure 378780DEST_PATH_IMAGE038
的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物。
以上过滤条件中涉及到的距离单位为像素值，预设阈值大小根据图像分辨率、图像采集设备焦距、布置位置确定。
6．高空抛物视频回溯、告警
从前景运动目标跟踪、轨迹获取模块的步骤7)可知，识别为高空抛物的跟踪目标包含的信息有跟踪编号，跟踪轨迹及对应的帧序列号。在本模块中，跟踪编号用于区别不同的跟踪目标，跟踪轨迹用于定位不同帧中高空抛物的位置和所占区域，帧序列号用于回溯高空抛物发生的起始和结束时间点。根据所述信息，生成高空抛物轨迹视频，视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出。最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
本领域技术人员可以理解的是，实施例中的全部或部分步骤，可以通过计算机程序来指令相关的硬件实现，该程序可以存储于计算机可读介质中，可读介质可以包括闪存盘、移动硬盘、只读存储器、随机存取器、磁盘或光盘等各种可以存储程序代码的介质。在一个实施例中，公开提出了一种计算机可读介质，所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现高空抛物坠物的识别方法。
在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本公开揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。
另外，多数实施例的描述是基于不同的重点而展开的，未详述之处，可参见现有技术的内容或本文的其他相关描述进行理解。
再次强调，上文所列举的实施例，为本公开较为典型的、较佳实施例，仅用于详细说明、解释本公开的技术方案，以便于读者理解，并不用以限制本公开的保护范围或者应用。在本公开的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本公开的保护范围之内。

Claims (9)

1.一种高空抛物坠物的识别方法，其特征在于，包括以下步骤：
S1、对监控图像，采用隔帧帧间差分法进行前景目标检测，得到包含运动目标的前景检测物；
S2、对前景检测物进行去噪；对前景检测物的最小外接矩形框先进行边长扩展处理，再通过改进的非极大值抑制NMS进行去重操作，得到用前景区域框表示的前景检测物；
所述通过改进的非极大值抑制NMS进行去重操作，包括以下步骤：
(1)按扩展前的前景检测物的最小外接矩形框面积大小排序扩展后的前景区域框，得到有序的前景区域框集合
Figure DEST_PATH_IMAGE001
；
(2)选择前景区域框集合
Figure 965385DEST_PATH_IMAGE002
中面积最大的前景区域框，放进输出集合
Figure DEST_PATH_IMAGE003
中，并将其从有序的前景区域框集合
Figure 802891DEST_PATH_IMAGE001
中删除；
(3)计算面积最大的前景区域框与其它前景区域框中心点的水平和垂直像素距离；
(4)如果水平和垂直像素距离中有一个小于预设阈值
Figure 369002DEST_PATH_IMAGE004
，则计算最大前景区域框与其它前景区域框的面积交并比IOU;其中，面积交并比IOU的计算公式如下：
Figure DEST_PATH_IMAGE005
式中，
Figure 359086DEST_PATH_IMAGE006
表示前景区域框
Figure DEST_PATH_IMAGE007
和前景区域框
Figure 719660DEST_PATH_IMAGE008
的重叠区域面积，
Figure DEST_PATH_IMAGE009
表示前景区域框
Figure 44462DEST_PATH_IMAGE007
和前景区域框
Figure 414263DEST_PATH_IMAGE010
的合并区域面积；
(5)从有序的前景区域框集合
Figure 491810DEST_PATH_IMAGE001
中删除面积交并比IOU大于预设阈值
Figure DEST_PATH_IMAGE011
的前景区域框；
(6)重复步骤(2)至(5)，直至有序的前景区域框集合
Figure 288864DEST_PATH_IMAGE001
为空，得到前景区域框输出集合
Figure 835383DEST_PATH_IMAGE003
；
S3、采用改进的SORT多目标跟踪方法对前景检测物进行多目标轨迹跟踪，即对获得的前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；
具体为：
(1)对初始帧出现的前景运动目标建立状态向量
Figure 8876DEST_PATH_IMAGE012
，用于初始化一个新的卡尔曼滤波器，赋予跟踪编号，并记录起始帧序号；
其中，
Figure DEST_PATH_IMAGE013
和
Figure 705043DEST_PATH_IMAGE014
分别表示前景区域框中心点的水平和垂直像素位置，
Figure DEST_PATH_IMAGE015
和
Figure 672999DEST_PATH_IMAGE016
分别表示前景区域框的面积和长宽比，
Figure DEST_PATH_IMAGE017
和
Figure 706814DEST_PATH_IMAGE018
分别表示前景区域框水平和垂直方向的速度，
Figure DEST_PATH_IMAGE019
表示前景区域框的面积变化量；
(2)利用卡尔曼滤波器预测前景运动目标在当前帧的位置和边框形状，记为预测目标；
(3)计算每个预测目标与当前帧检测目标的面积交并比IOU，获得匹配成本矩阵；
(4)使用匈牙利匹配算法对匹配成本矩阵求最优解，得到预测目标与当前帧检测目标的匹配关系；
(5)如果匹配目标的面积交并比IOU小于预设阈值
Figure 605369DEST_PATH_IMAGE020
，则认为匹配不成功；
(6)基于以下准则更新跟踪目标的卡尔曼滤波器：
a、如果预测目标匹配不成功，卡尔曼滤波进行线性状态更新；
b、如果预测目标匹配成功，则用检测目标的
Figure DEST_PATH_IMAGE021
值更新卡尔曼滤波器的状态，并记录当前帧序号；
c、如果检测目标匹配不成功，则像步骤a中一样，初始化一个新的卡尔曼滤波器，赋予新的跟踪编号，并记录起始帧序号；
(7)输出卡尔曼滤波器跟踪轨迹特征，所述卡尔曼滤波器跟踪轨迹特征包含卡尔曼滤波器编号、前景区域框轨迹和帧序列号；
(8)删除跟踪目标连续
Figure 470557DEST_PATH_IMAGE022
帧未匹配到的卡尔曼滤波器，认为该跟踪目标停止了运动或者离开了监控画面；删除匹配次数大于
Figure DEST_PATH_IMAGE023
帧的卡尔曼滤波器，认为该跟踪目标为非高空抛物；
Figure 547097DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
均为预设阈值；
(9) 重复步骤(2)至(8)，每隔一定周期后重置卡尔曼滤波器编号；
S4、对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。
2.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，步骤S2中，所述对前景检测物的最小外接矩形框先进行扩展，具体为：如果前景检测物的最小外接矩形框的最长边小于预设阈值
Figure 818941DEST_PATH_IMAGE026
时，则将该前景检测物的最小外接矩形框扩展为边长为
Figure 68656DEST_PATH_IMAGE026
的前景检测物的外接方形框，而最长边大于预设阈值
Figure DEST_PATH_IMAGE027
的前景检测物的最小外接矩形框则扩展成以最长边为边长的前景检测物的外接方形框；扩展处理后得到的前景检测物的外接方形框作为前景区域框。
3.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，步骤S2中，所述对前景检测物进行去噪，具体为：对前景检测获得的二值化图像进行中值滤波处理，过滤微小噪声；对处理后的二值化图像进行连通域分析，获得前景检测物的最小外接矩形框；统计前景检测物的最小外接矩形框的数量，记为
Figure 991613DEST_PATH_IMAGE028
；如果
Figure 301372DEST_PATH_IMAGE028
大于预设阈值
Figure DEST_PATH_IMAGE029
，则忽略该前景检测物，认为图像采集设备发生了剧烈抖动或者突然被挪动；循环遍历每个前景检测物的最小外接矩形框，过滤像素面积小于预设阈值
Figure 559047DEST_PATH_IMAGE030
和大于预设阈值
Figure DEST_PATH_IMAGE031
的前景噪声。
4.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，所述步骤S4，具体为：
(1)过滤跟踪帧数小于预设阈值
Figure 612453DEST_PATH_IMAGE032
的运动目标，排除相机抖动产生的前景噪声和近距离快速经过图像采集设备的干扰物；
(2)过滤跟踪轨迹起始点在监控周界外的运动目标，排除周界外的天空云彩、树枝落叶和从周界外进入监控区域的飞虫飞鸟、雨雪的影响；
(3)过滤跟踪轨迹垂直方向下降距离小于预设阈值
Figure DEST_PATH_IMAGE033
的运动目标，排除局部运动的物体的影响，所述局部运动的物体包括飘动的阳台衣物、晃动的盆栽花草；
(4)过滤跟踪轨迹垂直下降距离与水平移动距离比小于预设阈值
Figure 389916DEST_PATH_IMAGE034
的运动目标，排除轻飘物体、蚊虫鸟类飞过的影响；
(5)过滤跟踪轨迹水平速度方向突变次数和水平速度大小同时分别大于预定阈值
Figure DEST_PATH_IMAGE035
和
Figure 579500DEST_PATH_IMAGE036
的运动目标，排除蚊虫鸟类来回飞走的影响；
(6)过滤跟踪轨迹下降过程中处于匀速或者减速帧数大于预设阈值
Figure DEST_PATH_IMAGE037
的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
(7)过滤跟踪轨迹垂直方向速度小于预设阈值
Figure 871941DEST_PATH_IMAGE038
和水平方向速度大于预设阈值
Figure DEST_PATH_IMAGE039
的运动目标，排除跟踪轨迹不符合自由落体特征的干扰物；
以上过滤条件中涉及到的距离单位为像素值，预设阈值大小根据图像分辨率、图像采集设备焦距、布置位置确定。
5.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，还包括高空抛物视频回溯、告警步骤：
识别为高空抛物的跟踪目标包含的信息有跟踪编号，跟踪轨迹及对应的帧序列号；跟踪编号用于区别不同的跟踪目标，跟踪轨迹用于定位不同帧中高空抛物的位置和所占区域，帧序列号用于回溯高空抛物发生的起始和结束时间点；根据高空抛物的跟踪目标所包含的信息，生成高空抛物轨迹视频，高空抛物轨迹视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出；最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
6.根据权利要求1所述高空抛物坠物的识别方法，其特征在于，所述步骤S1，具体为：
首先对采集的图像数据进行预处理，将RGB图像转化为灰度图像，以减少计算量；
然后每隔一帧图像进行帧间差分计算，获得差分图，再根据预设阈值T将差分图分割为二值化图像,即得到包含运动目标的前景检测物；
计算公式如下：
Figure 666721DEST_PATH_IMAGE040
式中，
Figure DEST_PATH_IMAGE041
和
Figure 547959DEST_PATH_IMAGE042
分别表示2t时刻和2t-1时刻的帧图像在坐标（x,y）的像素值，
Figure DEST_PATH_IMAGE043
表示相邻两帧图像在像素坐标(x,y)差分后根据阈值划分的结果，
Figure 199520DEST_PATH_IMAGE044
的区域表示前景运动物体，
Figure DEST_PATH_IMAGE045
的区域表示背景物体。
7.一种高空抛物坠物的识别系统，其特征在于：包括监控图像采集模块、前景物体检测模块、前景检测物去噪及后处理模块、前景运动目标跟踪及轨迹获取模块、高空抛物轨迹识别模块；其中：
前景物体检测模块对监控图像采集模块获取的监控图像，采用隔帧帧间差分法进行前景目标检测，得到包含运动目标的前景检测物；
前景检测物去噪及后处理模块对前景检测物进行去噪；对前景检测物的最小外接矩形框先进行边长扩展处理再通过改进的非极大值抑制NMS进行去重操作；
所述通过改进的非极大值抑制NMS进行去重操作，包括以下步骤：
(1)按扩展前的前景检测物的最小外接矩形框面积大小排序扩展后的前景区域框，得到有序的前景区域框集合
Figure 182519DEST_PATH_IMAGE001
；
(2)选择前景区域框集合
Figure 577729DEST_PATH_IMAGE002
中面积最大的前景区域框，放进输出集合
Figure 814937DEST_PATH_IMAGE003
中，并将其从有序的前景区域框集合
Figure 902979DEST_PATH_IMAGE001
中删除；
(3)计算面积最大的前景区域框与其它前景区域框中心点的水平和垂直像素距离；
(4)如果水平和垂直像素距离中有一个小于预设阈值
Figure 170012DEST_PATH_IMAGE004
，则计算最大前景区域框与其它前景区域框的面积交并比IOU;其中，面积交并比IOU的计算公式如下：
Figure 306595DEST_PATH_IMAGE005
式中，
Figure 709895DEST_PATH_IMAGE006
表示前景区域框
Figure 968838DEST_PATH_IMAGE007
和前景区域框
Figure 910118DEST_PATH_IMAGE008
的重叠区域面积，
Figure 647130DEST_PATH_IMAGE009
表示前景区域框
Figure 170515DEST_PATH_IMAGE007
和前景区域框
Figure 538042DEST_PATH_IMAGE010
的合并区域面积；
(5)从有序的前景区域框集合
Figure 514089DEST_PATH_IMAGE001
中删除面积交并比IOU大于预设阈值
Figure 54791DEST_PATH_IMAGE011
的前景区域框；
(6)重复步骤(2)至(5)，直至有序的前景区域框集合
Figure 383748DEST_PATH_IMAGE001
为空，得到前景区域框输出集合
Figure 718915DEST_PATH_IMAGE003
；
前景运动目标跟踪及轨迹获取模块采用改进的SORT多目标跟踪方法对前景检测物进行多目标轨迹跟踪，即对获得的前景区域框进行多目标跟踪，得到运动目标跟踪编号、运动轨迹和对应的帧序列号信息；
所述采用改进的SORT多目标跟踪方法对前景检测物进行多目标轨迹跟踪，具体为：
(1)对初始帧出现的前景运动目标建立状态向量
Figure 447836DEST_PATH_IMAGE012
，用于初始化一个新的卡尔曼滤波器，赋予跟踪编号，并记录起始帧序号；
其中，
Figure 464334DEST_PATH_IMAGE013
和
Figure 962311DEST_PATH_IMAGE014
分别表示前景区域框中心点的水平和垂直像素位置，
Figure 655330DEST_PATH_IMAGE015
和
Figure 871547DEST_PATH_IMAGE016
分别表示前景区域框的面积和长宽比，
Figure 754053DEST_PATH_IMAGE017
和
Figure 44220DEST_PATH_IMAGE018
分别表示前景区域框水平和垂直方向的速度，
Figure 986768DEST_PATH_IMAGE019
表示前景区域框的面积变化量；
(2)利用卡尔曼滤波器预测前景运动目标在当前帧的位置和边框形状，记为预测目标；
(3)计算每个预测目标与当前帧检测目标的面积交并比IOU，获得匹配成本矩阵；
(4)使用匈牙利匹配算法对匹配成本矩阵求最优解，得到预测目标与当前帧检测目标的匹配关系；
(5)如果匹配目标的面积交并比IOU小于预设阈值
Figure 113118DEST_PATH_IMAGE020
，则认为匹配不成功；
(6)基于以下准则更新跟踪目标的卡尔曼滤波器：
a、如果预测目标匹配不成功，卡尔曼滤波进行线性状态更新；
b、如果预测目标匹配成功，则用检测目标的
Figure 533735DEST_PATH_IMAGE021
值更新卡尔曼滤波器的状态，并记录当前帧序号；
c、如果检测目标匹配不成功，则像步骤a中一样，初始化一个新的卡尔曼滤波器，赋予新的跟踪编号，并记录起始帧序号；
(7)输出卡尔曼滤波器跟踪轨迹特征，所述卡尔曼滤波器跟踪轨迹特征包含卡尔曼滤波器编号、前景区域框轨迹和帧序列号；
(8)删除跟踪目标连续
Figure 6305DEST_PATH_IMAGE022
帧未匹配到的卡尔曼滤波器，认为该跟踪目标停止了运动或者离开了监控画面；删除匹配次数大于
Figure 791858DEST_PATH_IMAGE023
帧的卡尔曼滤波器，认为该跟踪目标为非高空抛物；
Figure 717089DEST_PATH_IMAGE024
、
Figure 941397DEST_PATH_IMAGE025
均为预设阈值；
(9) 重复步骤(2)至(8)，每隔一定周期后重置卡尔曼滤波器编号；
高空抛物轨迹识别模块对常见干扰物的运动特征，设定过滤条件；再根据环境因素制定自由落体规律特征过滤条件；最后通过过滤条件得到的跟踪目标就识别为高空抛物。
8.根据权利要求7所述高空抛物坠物的识别系统，其特征在于：还包括高空抛物视频回溯、告警模块；所述高空抛物视频回溯、告警模块根据高空抛物的跟踪目标所包含的信息，生成高空抛物轨迹视频，高空抛物轨迹视频内容包含了高空抛物发生前和发生后一定时长的监控画面，运动物体在图像中用矩形框标出；最后将生成的高空抛物轨迹视频和报警信息通过有线或无线通信方式发送给用户APP和管理平台。
9.计算机可读介质，其特征在于：所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现如权利要求1至6任一所述一种高空抛物坠物的识别方法。
CN202210561747.9A 2022-05-23 2022-05-23 一种高空抛物坠物的识别方法、系统及计算机可读介质 Active CN114639075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210561747.9A CN114639075B (zh) 2022-05-23 2022-05-23 一种高空抛物坠物的识别方法、系统及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210561747.9A CN114639075B (zh) 2022-05-23 2022-05-23 一种高空抛物坠物的识别方法、系统及计算机可读介质

Publications (2)

Publication Number Publication Date
CN114639075A CN114639075A (zh) 2022-06-17
CN114639075B true CN114639075B (zh) 2022-08-16

Family

ID=81952805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210561747.9A Active CN114639075B (zh) 2022-05-23 2022-05-23 一种高空抛物坠物的识别方法、系统及计算机可读介质

Country Status (1)

Country Link
CN (1) CN114639075B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114466B (zh) * 2022-08-30 2022-12-13 成都实时技术股份有限公司 一种打靶信息图像的查找方法、系统、介质及电子设备
CN115187919A (zh) * 2022-09-14 2022-10-14 深圳市万物云科技有限公司 一种基于多目标跟踪的高空抛物检测方法及相关组件
CN115450453A (zh) * 2022-10-08 2022-12-09 长沙航空职业技术学院 一种高空抛物、坠物、坠人识别预警阻拦系统及其方法
CN116994201B (zh) * 2023-07-20 2024-03-29 山东产研鲲云人工智能研究院有限公司 对高空抛物进行溯源监测的方法及计算设备
CN118365869B (zh) * 2024-06-20 2024-09-24 深圳市银雁科技有限公司 一种目标间距检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096523A (zh) * 2016-06-02 2016-11-09 王玉德 一种视频图像序列中运动目标的检出与异常行为分析算法
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112396021A (zh) * 2020-11-30 2021-02-23 五邑大学 高空危险物检测方法、装置及存储介质
CN112800953A (zh) * 2021-01-27 2021-05-14 南京航空航天大学 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796041B (zh) * 2019-10-16 2023-08-18 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096523A (zh) * 2016-06-02 2016-11-09 王玉德 一种视频图像序列中运动目标的检出与异常行为分析算法
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112396021A (zh) * 2020-11-30 2021-02-23 五邑大学 高空危险物检测方法、装置及存储介质
CN112800953A (zh) * 2021-01-27 2021-05-14 南京航空航天大学 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法

Also Published As

Publication number Publication date
CN114639075A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN114639075B (zh) 一种高空抛物坠物的识别方法、系统及计算机可读介质
US9230175B2 (en) System and method for motion detection in a surveillance video
CN112052797B (zh) 基于MaskRCNN的视频火灾识别方法及系统
Chaturvedi et al. A survey on vision-based outdoor smoke detection techniques for environmental safety
CN112016414A (zh) 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN104303193B (zh) 基于聚类的目标分类
WO2022001961A1 (zh) 一种高空抛物动目标检测方法、检测设备和检测系统
CN108052917B (zh) 一种基于新旧时相变化发现的违章建筑自动识别的方法
KR101891225B1 (ko) 배경 모델을 업데이트하기 위한 방법 및 장치
CN109101944B (zh) 一种识别向河道内抛投垃圾的实时视频监控方法
WO2023273010A1 (zh) 高空抛物检测方法和装置、设备，及计算机存储介质
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
CN113409362B (zh) 高空抛物检测方法和装置、设备及计算机存储介质
CN110544271B (zh) 抛物动作检测方法及相关装置
CN102034240A (zh) 一种静态前景检测和跟踪方法
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
CN111179302B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN113297949B (zh) 高空抛物检测方法、装置、计算机设备和存储介质
CN113255697B (zh) 复杂场景下的高精度高空抛物检测系统及方法
Ghasemi et al. A real-time multiple vehicle classification and tracking system with occlusion handling
CN115719362B (zh) 一种高空抛物检测方法、系统、设备及存储介质
CN112634299B (zh) 一种排除飞虫干扰的遗留物检测方法
CN115661475A (zh) 一种图像异物识别方法、装置、设备及存储介质
CN116453069A (zh) 基于级联差异感知模型的高速公路抛洒物检测方法
Luu-Duc et al. Wildfire smoke detection based on co-occurrence matrix and dynamic feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant