CN112257557B - 一种基于机器视觉的高空抛物检测识别方法及系统 - Google Patents

一种基于机器视觉的高空抛物检测识别方法及系统 Download PDF

Info

Publication number
CN112257557B
CN112257557B CN202011124013.1A CN202011124013A CN112257557B CN 112257557 B CN112257557 B CN 112257557B CN 202011124013 A CN202011124013 A CN 202011124013A CN 112257557 B CN112257557 B CN 112257557B
Authority
CN
China
Prior art keywords
target
frame
frames
altitude
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011124013.1A
Other languages
English (en)
Other versions
CN112257557A (zh
Inventor
章琦
程虎
朱鸿泰
张俊
吕璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 58 Research Institute
Original Assignee
CETC 58 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 58 Research Institute filed Critical CETC 58 Research Institute
Priority to CN202011124013.1A priority Critical patent/CN112257557B/zh
Publication of CN112257557A publication Critical patent/CN112257557A/zh
Application granted granted Critical
Publication of CN112257557B publication Critical patent/CN112257557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于机器视觉的高空抛物检测识别方法及系统，使用监控视频图像前10～100帧初始化高斯混合模型进行背景建模；使用高斯混合模型，预测出每一个像素属于前景还是背景，得到前景中潜在的运动目标，并更新高斯混合模型；根据相邻帧之间运动目标检测框面积之间的交并比IoU，使用基于数据关联的多目标跟踪算法，得到运动物体的运动轨迹；找到具有明显下降趋势的运动目标，判断是否为高空抛物；对确定为高空抛物的目标图像进行类别识别，确定种类和危险程度；计算高空抛物目标轨迹序列第一帧的中心坐标和视场范围内最后一帧物体的瞬时速度，反推抛物发生的楼层范围；存储高空抛物发生前后视频图像，得到视频摘要记录抛物发生信息。

Description

一种基于机器视觉的高空抛物检测识别方法及系统
技术领域
本发明涉及人工智能技术和智能安防技术领域，特别涉及一种基于机器视觉的高空抛物检测识别方法及系统。
背景技术
近年来，随着城市迅猛发展，高层建筑越来越多，但一部分人的文明素质并未有效提高，高空抛物致人受伤、死亡的案件频发。
高空抛物威慑与预防已纳入民法典，主要指向了两个方面：其一，就是防止发生高空抛物事件；其二，则是防止“找不到具体侵权责任人”。若能有效锁定加害者，就是对高空抛物最有力的威慑与预防。因此，构建一套智能检测高空抛物行为的系统则显得格外重要。
发明内容
本发明的目的在于提供一种基于机器视觉的高空抛物检测识别方法及系统，以实现对高空抛物进行检测和识别。
为解决上述技术问题，本发明提供了一种基于机器视觉的高空抛物检测识别方法，包括：
步骤S1：使用监控视频图像前10到100帧初始化高斯混合模型进行背景建模；
步骤S2：对后续视频帧图像使用高斯混合模型，预测出每一个像素属于前景还是背景，得到前景中潜在的运动目标，并更新高斯混合模型；
步骤S3：根据相邻帧之间运动目标检测框面积之间的交并比IoU，使用基于数据关联的多目标跟踪算法，得到运动物体的运动轨迹；
步骤S4：计算目标轨迹的运动速度和和目标的下降距离，找到具有明显下降趋势的运动目标，判断是否为高空抛物；
步骤S5：对确定为高空抛物的目标图像使用基于深度学习的卷积神经网络进行类别识别，确定抛物的种类和危险程度；
步骤S6：计算高空抛物目标轨迹序列第一帧的中心坐标和视场范围内最后一帧物体的瞬时速度，反推抛物发生的楼层范围；
步骤S7：存储高空抛物发生前后各5到10秒的视频图像，得到抛物事件视频摘要记录抛物发生信息。
可选的，所述步骤S2包括以下子步骤：
S201：根据步骤S1中初始化建立的高斯混合模型，对后续每一帧的逐个像素进行预测，判断其是属于前景还是属于背景：
如果像素值与高斯混合模型中的任一高斯分布的均值距离小于标准差的2.5倍，则认为此像素与高斯混合模型匹配，该像素属于背景；如果像素值与所有高斯分布都无法匹配，则该像素属于前景。
可选的，所述步骤S2还包括：
S202：如果上述能够匹配，对背景模型的权重、均值、方差进行更新；
如果该像素不能与任何一个背景模型进行匹配时，则引入一个新的高斯分布，删除当前所有高斯分布中权重最小的高斯分布，同时给该新增的高斯分布初始化一个新的高斯分布。
可选的，所述步骤S3包括：
使用基于数据关联的方式进行多目标跟踪，根据第t-1帧图像检测得到的所有目标框与第t帧图像的所有目标框，两两求取框之间面积的交并比IoU，如果相邻帧之间框的交并比IoU大于0.6，则认为两个框相匹配属于同一个ID编号，依次处理每一帧跟踪所有运动目标的运动轨迹。
可选的，在所述步骤3中，
针对第t帧有无法匹配的框，创建新的跟踪ID，后续帧持续关注记录其轨迹；
对于第t-1帧中已确定ID但在第t帧无法匹配的框，则认为跟踪的目标已经消失，删除无法匹配的ID编号。
可选的，所述步骤S4包括以下子步骤：
S401：统计跟踪的目标序列长度，当跟踪的目标运动轨迹序列大于10 帧，计算目标轨迹的横向运动和下降的距离以及运动速度；
S402：判断轨迹运动距离，如果轨迹序列头和尾的中心坐标下降距离大于50个像素，并且竖直下降距离大于横向移动距离的1.2倍，则判断该目标具有明显的下降趋势，认为该目标为高空抛物，实时发出预警信号；
S403：否则如果不满足上述判断条件，则认为该跟踪轨迹的目标为正常环境干扰，删除相应的跟踪ID编号。
可选的，所述卷积神经网络包括17个卷积层、1个最大池化层和全连接层。
本发明还提供了一种基于机器视觉的高空抛物检测识别系统，包括：
图像采集及预处理模块，采集楼面图像并进行预处理操作；
运动目标检测模块，对预处理过的图像使用高斯混合模型背景建模方法进行运动估计，判断其是属于前景还是背景；对前景区域进行形态学开操作，滤除背景噪音，找到潜在的运动目标区域；
多目标跟踪模块，通过基于数据关联的多目标跟踪算法，进行运动目标的跟踪，计算不同帧之间检测框的IoU相似度矩阵，并求取最优匹配结果，得到不同目标的运动轨迹；
抛物判断及识别模块，通过判断目标轨迹的下降趋势，区分跟踪的目标是高空抛物，或正常环境干扰；对确定为是高空抛物的目标使用深度学习方法进行图像识别，确定抛物的种类和危险程度；最后通过跟踪的轨迹坐标信息对抛出楼层范围进行回溯；
报警及显示模块，将检测的高空抛物的视频摘要和时间戳信息，通过网络传输给中央服务器进行显示和报警，并保存对应的录像信息。
可选的，所述预处理操作包括根据图像的成像质量进行图像去噪和图像增强。
在本发明提供的基于机器视觉的高空抛物检测识别方法及系统中，具有以下有益效果：
(1)相较于传统只是监控存储的方案，本发明对监控视频流数据实时检测处理，及时对高空抛物危险行为进行预警，并存储抛物发生前后摘要视频供事后追责；
(2)通过背景建模运动物体检测的方式，能有效适应环境变化，抛物检测率提高，最小可检物体2cm；并且使用运动物体检测结合多目标跟踪算法，分析目标运动轨迹，有效减少晾晒衣物扰动和人在窗台正常运动引起的误检；
(3)通过引入基于深度学习的物体识别算法，可以确定抛物类型，结合抛物跟踪轨迹的瞬时速度，可以对抛物危险程度进行定性分析。
附图说明
图1是本发明提供的高空抛物检测识别系统示意图；
图2是本发明提供的一种基于机器视觉的高空抛物检测识别方法的算法流程图；
图3是本发明提供的卷积神经网络的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种基于机器视觉的高空抛物检测识别方法及系统作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
实施例一
本发明提供了一种基于机器视觉的高空抛物检测识别系统，通过使用传统图像处理并结合深度学习技术对高空抛物和其它危险行为进行检测识别并存储摘要视频供查看取证。如图1所示，多相机组合安装在距离楼面 20-40m的距离，通过调整俯仰角、焦距实现对高、中、低楼层的覆盖监控，最高可以覆盖高度为100米的高楼。系统包括图像采集及预处理模块、运动目标检测模块、多目标跟踪模块、抛物判断及识别模块和报警及显示模块。
所述图像采集及预处理模块发前端高清相机采集楼面图像，并根据其成像质量进行图像去噪和图像增强等预处理操作。所述运动目标检测模块对预处理过的图像使用高斯混合模型背景建模方法进行运动估计，新的逐帧图像通过和背景模型进行对比逐个像素的灰度值，判断其是属于前景还是背景。对前景区域进行形态学开操作，滤除一些小的背景噪音，找到潜在的运动目标区域。考虑到高空抛物运动轨迹较有规律，所述多目标跟踪模块通过基于数据关联的多目标跟踪算法，进行运动目标的跟踪，计算不同帧之间检测框的IoU相似度矩阵，并求取最优匹配结果，得到不同目标的运动轨迹。所述抛物判断及识别模块，通过判断目标轨迹是否有明显的下降趋势，区分跟踪的目标是高空抛物，或正常的日常活动环境干扰，滤除一些虚警的影响；对确定为是高空抛物的目标使用深度学习方法进行图像识别，确定抛物的种类和危险程度；最后通过跟踪的轨迹坐标信息对抛出楼层范围进行回溯。所述报警及显示模块将检测的高空抛物的视频摘要和时间戳信息，通过网络传输给中央服务器进行显示和报警，并保存对应的录像信息。
一种基于机器视觉的高空抛物检测识别方法的流程如图2所示：
步骤1：前端高清所相机采集楼面图像，首先根据其成像质量的好坏进行图像去噪和图像增强等预处理操作；
步骤2：使用监控视频图像前10到100帧初始化高斯混合模型 (Gaussian MixtureModel，GMM)进行背景建模，得到K个(一般K为3-5) 高斯模型的所对应的权重、均值矩阵和标准差；
步骤3：对接下来每一帧图像使用高斯混合模型，通过计算每一个像素的灰度值与K个高斯分布的均值之间差的绝对值是否在2.5倍标准差以内，预测出当前像素是否属于前景还是背景，得到前景中潜在的运动目标，并按一定学习率更新高斯混合模型；
步骤4：对前景中的运动目标区域使用形态学开操作进行图像预处理，再求取目标区域的最小外接矩形得到目标框的中心位置和长宽大小；
步骤5：由于高空抛物的实际运动较有规律，使用基于数据关联的方式进行多目标跟踪。根据第t-1帧图像检测得到的所有目标框与第t帧图像的所有目标框，两两求取框之间面积的交并比IoU，如果相邻帧之间框的交并比大于0.6，则认为两个框相匹配属于同一个ID编号，依次处理每一帧跟踪所有运动目标的运动轨迹。针对第t帧有无法匹配的框，创建新的跟踪ID，后续帧持续关注记录其轨迹；而对于第t-1帧中已确定ID但在第t帧无法匹配的框，则认为跟踪的目标已经消失，删除无法匹配的ID 编号。
步骤6：当跟踪的目标运动轨迹序列大于10帧，计算和判断该目标轨迹的运动速度和下降距离。如果轨迹序列头和尾的中心坐标下降距离大于50个像素，并且竖直下降距离大于横向移动距离的1.2倍，则认为该目标具有较为明显的下降趋势，认为该目标为高空抛物，实时发出预警信号；否则认为该跟踪轨迹的运动物体为正常环境干扰，例如飘动的衣物、人在窗台的日常活动等。
步骤7：对确定为高空抛物的目标图像使用基于深度学习的卷积神经网络进行类别识别，确定抛物种类和危险程度。目前可识别的抛物种类包括水瓶、易拉罐、香蕉皮、垃圾袋、鞋、纸箱等常见物品类别。将识别结果关联上对应的ID编号，记录抛物发生的信息。
步骤8：计算高空抛物目标轨迹序列第一帧的中心坐标和视场范围内最后一帧物体的瞬时速度。通过确定为抛物的初始坐标以及离开视野范围时的速度，反推出抛物发生的楼层范围。
步骤9：存储高空抛物发生时前后各5到10秒的视频图像，得到抛物事件视频摘要，方便后续取证和追责。
步骤2和3通过高斯混合模型进行背景建模和运动目标检测。
相机在静止情况下所采集的视频图像，可以假设背景像素点在一段时间内的变化不大，背景像素点服从高斯分布。但是由于存在树叶晃动、光线变化和一些环境干扰，背景像素点往往呈现出双峰或者多峰的现象，因此需要多个高斯分布来描述背景像素点的特征进行建模。
高斯混合模型对图像中每个像素点用K个(一般K取值3-5)高斯分布来拟合，其中每个像素点的概率密度函数P(Xt)为：
Figure GDA0003704591760000061
其中，
Figure GDA0003704591760000062
式中，η表示单高斯的概率密度函数，Wn,t表示t时刻第n个高斯模型的权重，其中
Figure GDA0003704591760000063
0≤Wn,t≤1，μn,t表示t时刻第n个高斯模型的均值向量；Σn,t表示t时刻第n个高斯模型的协方差向量，其中
Figure GDA0003704591760000064
(I为单位矩阵)，σn,t为t时刻第n个高斯模型的标准差。
高斯混合模型建模过程主要分为以下4个步骤：
(1)模型初始化：将高斯混合模型中的均值μ设为图像中任一像素的灰度值，W设为1/K，方差设为一个较大的值；
(2)模型匹配：如果t时刻的像素值Xt与高斯混合模型中的第n个高斯分布的均值距离小于标准差的2.5倍，则认为此像素与高斯混合模型匹配；
(3)模型更新：如果上述可以匹配，对模型的权重、均值、方差进行更新；如果Xt不能与任何一个背景模型进行匹配时，则需要引入一个新的高斯分布，再把当前所有高斯分布中权重最小的高斯分布删除，同时给这个新增的高斯分布初始化一个新的高斯分布，模型的均值为Xt。
Wn,t+1＝(1-α)Wn,t+αMt
ρ＝α/Wn,t
μn,t+1＝(1-ρ)μn,t+ρXt
Figure GDA0003704591760000071
上式中，α和ρ分别为模型的权重和均值更新的学习率，如果当前t 时刻像素与高斯混合模型相匹配，则Mt＝1，否则Mt＝0。
前景背景预测：经过前述的模型匹配和更新，最后需要根据当前图像预测出前景背景区域。将Wn,t/σn,t的比值从大到小进行排序，排列的K个高斯模型中的前B个高斯分布作为背景模型：
Figure GDA0003704591760000072
T为预设的背景阈值(0.5<T<1)，在本发明中T取值为0.9。判别像素值是前景还是背景的依据为t时刻所出现的像素值Xt是否与前B个高斯模型中的任一分布相匹配；如果匹配，则当前像素判断为背景，反之则为前景，在本发明中B取值为4。
在步骤7使用卷积神经网络对高空抛物类别进行识别。
目前的高空抛物系统一般只能检测是否有抛物发生，从而进行预警，而并不能检测出抛物是什么，是否危险。在本发明中创新的引入高空抛物类别识别技术，可以定性分析高空抛物的类别和危险程度。近年来，深度学习在各个领域大放异彩，不断刷新人们对人工智能的想象力和美好憧憬。卷积神经网络在图像识别、目标检测等领域披荆斩棘，逐渐替代了传统人工设计特征的方法，并且提供了一种端到端的处理方式，精度也大幅提高。传统的深度神经网络模型随着深度逐渐加深，也会带来梯度消失和梯度爆炸等问题导致模型精度反而降低。本发明的卷积神经网络引入了深度残差模块，相比于让一些堆叠层直接学习原始特征，而是让堆叠层去拟合残差映射，使得整个模型过拟合风险更小，模型精度也有了较大程度的提高。
考虑到整个系统算法的复杂度，在这里使用了网络对抛物类型进行识别，其主要结构如图3所示。主要包括17个卷积层、1个最大池化层和全连接层组成。通过2个卷积层和一个直连操作组合成了残差结构，相比传统的VGG网络，计算复杂度降低，所需的参数量下降；网络深度更深，不会出现梯度消失现象。由于使用了合理深度的网络，模型分类准确度得到提高。
对前述确定为高空抛物的目标区域图像，输入到网络进行前向计算，并经过Softmax层得到每个类别的输出概率值，选择具有最大概率的类别作为识别结果。可识别的类别包括：易拉罐、水瓶、香蕉皮、纸箱、垃圾袋、鞋等常见抛物种类。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (9)

1.一种基于机器视觉的高空抛物检测识别方法，其特征在于，包括：
步骤S1：使用监控视频图像前10到100帧初始化高斯混合模型进行背景建模；
步骤S2：对后续视频帧图像使用高斯混合模型，预测出每一个像素属于前景还是背景，得到前景中潜在的运动目标，并更新高斯混合模型；
步骤S3：根据相邻帧之间运动目标检测框面积之间的交并比IoU，使用基于数据关联的多目标跟踪算法，得到运动物体的运动轨迹；
步骤S4：计算目标轨迹的运动速度和目标的下降距离，找到具有明显下降趋势的运动目标，判断是否为高空抛物；
步骤S5：对确定为高空抛物的目标图像使用基于深度学习的卷积神经网络进行类别识别，确定抛物的种类和危险程度；
步骤S6：计算高空抛物目标轨迹序列第一帧的中心坐标和视场范围内最后一帧物体的瞬时速度，反推抛物发生的楼层范围；
步骤S7：存储高空抛物发生前后各5到10秒的视频图像，得到抛物事件视频摘要记录抛物发生信息。
2.如权利要求1所述的基于机器视觉的高空抛物检测识别方法，其特征在于，所述步骤S2包括以下子步骤：
S201：根据步骤S1中初始化建立的高斯混合模型，对后续每一帧的逐个像素进行预测，判断其是属于前景还是属于背景：
如果像素值与高斯混合模型中的任一高斯分布的均值距离小于标准差的2.5倍，则认为此像素与高斯混合模型匹配，该像素属于背景；如果像素值与所有高斯分布都无法匹配，则该像素属于前景。
3.如权利要求2所述的基于机器视觉的高空抛物检测识别方法，其特征在于，所述步骤S2还包括：
S202：如果上述能够匹配，对背景模型的权重、均值、方差进行更新；
如果该像素不能与任何一个背景模型进行匹配时，则引入一个新的高斯分布，删除当前所有高斯分布中权重最小的高斯分布，同时给该新增的高斯分布初始化一个新的高斯分布。
4.如权利要求3所述的基于机器视觉的高空抛物检测识别方法，其特征在于，所述步骤S3包括：
使用基于数据关联的方式进行多目标跟踪，根据第t-1帧图像检测得到的所有目标框与第t帧图像的所有目标框，两两求取框之间面积的交并比IoU，如果相邻帧之间框的交并比IoU大于0.6，则认为两个框相匹配属于同一个ID编号，依次处理每一帧跟踪所有运动目标的运动轨迹。
5.如权利要求4所述的基于机器视觉的高空抛物检测识别方法，其特征在于，在所述步骤S3中，
针对第t帧有无法匹配的框，创建新的跟踪ID，后续帧持续关注记录其轨迹；
对于第t-1帧中已确定ID但在第t帧无法匹配的框，则认为跟踪的目标已经消失，删除无法匹配的ID编号。
6.如权利要求5所述的基于机器视觉的高空抛物检测识别方法，其特征在于，所述步骤S4包括以下子步骤：
S401：统计跟踪的目标序列长度，当跟踪的目标运动轨迹序列大于10帧，计算目标轨迹的横向运动和下降的距离以及运动速度；
S402：判断轨迹运动距离，如果轨迹序列头和尾的中心坐标下降距离大于50个像素，并且竖直下降距离大于横向移动距离的1.2倍，则判断该目标具有明显的下降趋势，认为该目标为高空抛物，实时发出预警信号；
S403：否则如果不满足上述判断条件，则认为该轨迹的目标为正常环境干扰，删除相应的跟踪ID编号。
7.如权利要求6所述的基于机器视觉的高空抛物检测识别方法，其特征在于，所述卷积神经网络包括17个卷积层、1个最大池化层和全连接层。
8.一种基于机器视觉的高空抛物检测识别系统，其特征在于，包括：
图像采集及预处理模块，采集楼面图像并进行预处理操作；
运动目标检测模块，对预处理过的图像使用高斯混合模型背景建模方法进行运动估计，判断其是属于前景还是背景；对前景区域进行形态学开操作，滤除背景噪音，找到潜在的运动目标区域；
多目标跟踪模块，通过基于数据关联的多目标跟踪算法，进行运动目标的跟踪，计算不同帧之间检测框的IoU相似度矩阵，并求取最优匹配结果，得到不同目标的运动轨迹；
抛物判断及识别模块，通过判断目标轨迹的下降趋势，区分跟踪的目标是高空抛物，或正常环境干扰；对确定为是高空抛物的目标使用深度学习方法进行图像识别，确定抛物的种类和危险程度；最后通过跟踪的轨迹坐标信息对抛出楼层范围进行回溯；
报警及显示模块，将检测的高空抛物的视频摘要和时间戳信息，通过网络传输给中央服务器进行显示和报警，并保存对应的录像信息。
9.如权利要求8所述的基于机器视觉的高空抛物检测识别系统，其特征在于，所述预处理操作包括根据图像的成像质量进行图像去噪和图像增强。
CN202011124013.1A 2020-10-20 2020-10-20 一种基于机器视觉的高空抛物检测识别方法及系统 Active CN112257557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011124013.1A CN112257557B (zh) 2020-10-20 2020-10-20 一种基于机器视觉的高空抛物检测识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011124013.1A CN112257557B (zh) 2020-10-20 2020-10-20 一种基于机器视觉的高空抛物检测识别方法及系统

Publications (2)

Publication Number Publication Date
CN112257557A CN112257557A (zh) 2021-01-22
CN112257557B true CN112257557B (zh) 2022-08-02

Family

ID=74245233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011124013.1A Active CN112257557B (zh) 2020-10-20 2020-10-20 一种基于机器视觉的高空抛物检测识别方法及系统

Country Status (1)

Country Link
CN (1) CN112257557B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076809B (zh) * 2021-03-10 2023-07-21 海纳云物联科技有限公司 一种基于视觉Transformer的高空坠物检测方法
CN113052878B (zh) * 2021-03-30 2024-01-02 北京中科通量科技有限公司 一种安防系统中边缘设备的多路高空抛物检测方法及系统
CN113065454B (zh) * 2021-03-30 2023-01-17 青岛海信智慧生活科技股份有限公司 一种高空抛物目标识别比较的方法及装置
CN113158963B (zh) * 2021-05-06 2024-06-07 英特灵达信息技术(深圳)有限公司 一种高空抛物的检测方法及装置
CN113297949B (zh) * 2021-05-20 2024-02-20 科大讯飞股份有限公司 高空抛物检测方法、装置、计算机设备和存储介质
CN113255697A (zh) * 2021-06-01 2021-08-13 南京图菱视频科技有限公司 复杂场景下的高精度高空抛物检测系统及方法
CN113256689B (zh) * 2021-06-08 2021-10-12 南京甄视智能科技有限公司 高空抛物检测方法及装置
CN113379801B (zh) * 2021-06-15 2024-04-30 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法
CN113393495B (zh) * 2021-06-21 2022-02-01 暨南大学 基于强化学习的高空抛物轨迹识别方法
CN113379790B (zh) * 2021-06-21 2022-03-22 山东八五信息技术有限公司 一种基于3d模型的高空瞭望观测物体的ai预警定位方法
CN113409360A (zh) * 2021-06-29 2021-09-17 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质
CN113516102A (zh) * 2021-08-06 2021-10-19 上海中通吉网络技术有限公司 基于视频的深度学习抛物行为检测方法
CN114022517A (zh) * 2021-11-29 2022-02-08 北京博思廷科技有限公司 一种基于运动轨迹分析监控视频检测高空抛物的方法
CN114424911B (zh) * 2022-01-23 2024-01-30 深圳银星智能集团股份有限公司 清理方法及移动设备
CN114612506B (zh) * 2022-02-19 2024-03-15 西北工业大学 一种简易高效抗干扰的高空抛物轨迹识别与定位方法
CN114241012B (zh) * 2022-02-23 2023-04-07 深圳市研超科技有限公司 一种高空抛物的判定方法及装置
CN114639075B (zh) * 2022-05-23 2022-08-16 广州英码信息科技有限公司 一种高空抛物坠物的识别方法、系统及计算机可读介质
CN114998794A (zh) * 2022-05-31 2022-09-02 天翼爱音乐文化科技有限公司 高空抛物识别方法、系统、装置及存储介质
CN114782880B (zh) * 2022-06-22 2022-11-01 索日新能源科技(南通)有限公司 用于离网光伏发电系统的监测系统
CN115187919A (zh) * 2022-09-14 2022-10-14 深圳市万物云科技有限公司 一种基于多目标跟踪的高空抛物检测方法及相关组件
CN116994201B (zh) * 2023-07-20 2024-03-29 山东产研鲲云人工智能研究院有限公司 对高空抛物进行溯源监测的方法及计算设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
CN111627049A (zh) * 2020-05-29 2020-09-04 北京中科晶上科技股份有限公司 高空抛物的确定方法、装置、存储介质及处理器
CN111784750A (zh) * 2020-06-22 2020-10-16 深圳日海物联技术有限公司 视频图像中移动物体追踪方法、装置、设备以及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
CN111627049A (zh) * 2020-05-29 2020-09-04 北京中科晶上科技股份有限公司 高空抛物的确定方法、装置、存储介质及处理器
CN111784750A (zh) * 2020-06-22 2020-10-16 深圳日海物联技术有限公司 视频图像中移动物体追踪方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN112257557A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112257557B (zh) 一种基于机器视觉的高空抛物检测识别方法及系统
CN111144247B (zh) 一种基于深度学习的自动扶梯乘客逆行检测方法
CN110765964B (zh) 基于计算机视觉的电梯轿厢内异常行为的检测方法
US8131012B2 (en) Behavioral recognition system
CN105718857B (zh) 一种人体异常行为检测方法及系统
US9451214B2 (en) Indoor surveillance system and indoor surveillance method
Bird et al. Real time, online detection of abandoned objects in public areas
CN101141633B (zh) 一种复杂场景中的运动目标检测与跟踪方法
CN111932583A (zh) 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN106128053A (zh) 一种智慧金睛识别人员逗留徘徊报警方法和装置
CN101295405A (zh) 人像与车辆识别报警跟踪方法
Liu et al. Moving object detection and tracking based on background subtraction
CN113963301A (zh) 一种时空特征融合的视频火灾烟雾探测方法及系统
CN113362374A (zh) 一种基于目标跟踪网络的高空抛物检测方法及系统
US20180211113A1 (en) System and method for detecting potential drive-up drug deal activity via trajectory-based analysis
CN106127814A (zh) 一种智慧金睛识别人员聚集打斗报警方法和装置
Patil et al. Suspicious movement detection and tracking based on color histogram
CN106991400A (zh) 一种火灾烟雾检测方法及装置
CN109583339A (zh) 一种基于图像处理的atm视频智能监控方法
CN109241950A (zh) 一种基于焓值分布熵的人群恐慌状态识别方法
Ng et al. Vision-based activities recognition by trajectory analysis for parking lot surveillance
Andersson et al. Activity recognition and localization on a truck parking lot
Dey et al. Moving object detection using genetic algorithm for traffic surveillance
CN113223081A (zh) 一种基于背景建模与深度学习的高空抛物检测方法及系统
Swears et al. Functional scene element recognition for video scene analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant