CN113034397B - 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法 - Google Patents

一种实时多环境自适应轨迹自动溯源的高空抛物检测方法 Download PDF

Info

Publication number
CN113034397B
CN113034397B CN202110340688.8A CN202110340688A CN113034397B CN 113034397 B CN113034397 B CN 113034397B CN 202110340688 A CN202110340688 A CN 202110340688A CN 113034397 B CN113034397 B CN 113034397B
Authority
CN
China
Prior art keywords
target
track
frame
image
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110340688.8A
Other languages
English (en)
Other versions
CN113034397A (zh
Inventor
张何伟
琚午阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Flux Technology Co ltd
Original Assignee
Beijing Zhongke Flux Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Flux Technology Co ltd filed Critical Beijing Zhongke Flux Technology Co ltd
Priority to CN202110340688.8A priority Critical patent/CN113034397B/zh
Publication of CN113034397A publication Critical patent/CN113034397A/zh
Application granted granted Critical
Publication of CN113034397B publication Critical patent/CN113034397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种实时多环境自适应轨迹自动溯源的高空抛物检测方法，其通过在云端的服务器进行处理并包括：步骤1：云端服务器将视频流解码，进行预处理和中值提取得到当前背景帧；步骤2：对每一帧解码图像与当前背景帧进行差分和阈值化处理得到候选目标图；步骤3：将当前帧与前一帧的候选目标图进行逻辑运算得到包含噪声和徘徊目标的掩膜图；步骤4：利用掩膜图对当前的候选目标图差分后采用自适应生长核进行完整目标提取，得到目标图像；步骤5：将目标图像送入卷积神经网络进行目标类别识别；步骤6：生成并分析轨迹概率图得到最大概率的轨迹；步骤7：分析最大概率的轨迹并找到轨迹源头对应的门牌号并发出警报。

Description

一种实时多环境自适应轨迹自动溯源的高空抛物检测方法
技术领域
本发明涉及安防领域的计算机视觉检测技术，具体而言，涉及一种实时多环境自适应轨迹自动溯源的高空抛物检测方法，更具体地为一种在云端(服务器)执行的实时多环境自适应且能够进行轨迹自动溯源的高空抛物检测方法。
背景技术
2019年11月，最高人民法院印发《关于依法妥善审理高空抛物、坠物案件的意见》，明确对于故意高空抛物者，根据具体情形按照以危险方法危害公共安全罪、故意伤害罪或故意杀人罪论处，同时明确物业服务企业责任，这也意味着高空抛物自动检测系统的需求也越来越大。高空抛物检测属于计算机视觉技术在安防技术领域的应用，其关键技术在于能够检测楼栋随机抛下的物体，需要对大小、种类及抛物速度不同的物体都具有较好的检测能力，同时还需要对树叶、虫、鸟等干扰物体以及恶劣天气情况(如大风雨雪天气等)具有良好的抗干扰能力。
图1为一现有技术的方案流程图，如图2所示，中国专利公开号为CN111768431A的发明公开了一种高空抛物目标检测方法、检测设备和检测系统，其通过获取若干连续图像，然后对若干连续图像进行图像预处理获取预处理后的图像并进行帧间差分运算，获得差分结果图像；再对差分结果图像进行图像处理，获得二值化图像；对二值化图像进行形态学操作，获得形态学结果图像；最后，对形态学结果图像进行连通域分析，从而确定高空抛物目标所处位置。
这种检测方法在获取差分图像时，对于前后帧目标区域有重叠的情况会出现差分目标不完整的现象，从而导致定位出错。另外，在对图像进行形态学操作然后进行连通域分析确定目标位置的这种方式，对于目标在下坠过程中部分与背景有相似的情况会出现差分结果分散程度大(特别是夜间场景)的问题，从而导致聚集成多个目标，且需要两步计算的方式会造成时间开销大。同时，此方案对大风天气或者地面震动导致摄像机画面抖动的情况并未进行去抖处理，从而导致差分结果有可能为抖动区域，不能正确地差分出抛物目标。
图2为另一现有技术的方案流程图，如图2所示，中国专利公开号为CN111553256A的发明公开了一种基于物体轨迹识别的高空抛物预警识别方法，其通过视频智能分析，对楼栋侧面的视频帧序列的前景目标物体的位置坐标进行标注；然后根据时间轴和纵轴坐标信息，利用二次曲线拟合，获取物体移动轨迹的拟合曲线；最后根据所获取的拟合函数的二次项系数的大小和拟合相关系数判断，进行单个摄像头的视频帧序列的高空抛物事件的分析和初步判断。
这种检测方法对于目标下落时目标物体出现磕碰或者受风力影响导致轨迹坐标不能完全拟合成二次曲线的情况，无法进行检测；并且，对于生成的轨迹没有直接定位到源头楼栋户号的功能。
发明内容
为了解决上述问题，本发明提供一种实时多环境自适应轨迹自动溯源的高空抛物检测方法，用以在不同时间、天气条件下对楼栋出现的抛物事件进行实时检测和预警，通过神经网络自动识别出物体类别，排除干扰物体，并通过实时分析抛物轨迹精确溯源到门牌号，从而快速追踪到抛物人员，具有较高的抗干扰性和实时性。
为了达到上述目的，本发明提供了一种实时多环境自适应轨迹自动溯源的高空抛物检测方法，其是通过在云端的服务器进行处理的，具体包括以下步骤：
步骤1：云端服务器将摄像头实时传输的视频流解码成图像，组成大小为m的帧队列，并选取这m帧中相同像素位置的中位数作为背景帧，其中，m为3～7的任意奇数；
步骤2：对每一帧解码图像与当前背景帧进行差分和阈值化处理，得到对应帧的候选目标图；
步骤3：将当前帧的候选目标图与前一帧的候选目标图进行逻辑与运算得到包含噪声和徘徊目标的掩膜图，如果噪声和徘徊目标总面积大于预设阈值，则判定为存在抖动，开启去抖模块进行去抖处理；否则判定为不存在抖动，则直接进入下一步；
步骤4：利用步骤3的掩膜图对当前的候选目标图进行差分，将差分后的图像采用自适应生长核的方式进行完整目标提取，得到目标图像以及图像中的目标区域和目标重心坐标；
步骤5：将目标图像送入卷积神经网络进行目标类别识别，同时对识别出的目标进行标注和强化训练，排除干扰目标；
步骤6：生成并分析轨迹概率图，得到最大概率的轨迹；
步骤7：分析最大概率的轨迹并找到轨迹源头所在区域，通过区域坐标溯源到抛物起点对应的门牌号并发出警报。
在本发明一实施例中，其中，步骤1中摄像头实时传输的视频流为采用实时流传输协议的视频流。
在本发明一实施例中，其中，步骤2中进行差分和阈值化处理所使用的阈值为自适应阈值，具体为根据进行差分的背景图中的噪声数量进行反馈，并根据反馈结果自动调节下一次进行差分和阈值化处理所使用的阈值。
在本发明一实施例中，其中，步骤3中去抖模块进行去抖处理的具体过程为：
步骤301：在去抖模块中，将包含噪声和徘徊目标的掩膜图进行形态学膨胀操作，其中，膨胀核的大小为3或者5；
步骤302：将得到的结果作为抖动第一次的掩膜图进行去抖处理；
步骤303:后续包含噪声和徘徊目标的掩膜图则为渐进衰退方式的掩膜图，具体为对每一次逻辑运算所得到的掩模图进行部分加权和衰退处理，其中，加权与衰退的具体过程为：
将前一次逻辑运算所得到的掩膜图作为基础，累加乘以衰退系数倍数的当前逻辑运算所得到掩膜图，然后再减去一大小相同且像素值全为1的矩阵，得到用于步骤4的掩膜图，其中，衰退系数为根据掩膜图面积得到的抖动趋势生成的，其范围为10～30。
在本发明一实施例中，其中，步骤4中采用自适应生长核进行完整目标提取的具体过程为：
步骤401：根据性能需求设置多个种子点；
步骤402：从每个种子点进行上下左右4个方向的遍历，其中，遍历的范围即为自适应生长核尺寸；
步骤403：将经过遍历后值相同的像素点放入栈中，并继续作为生长的种子点按步骤402相同的方式继续生长；
步骤404：根据上一次的目标图中像素的离散程度判定本次生长核的大小，并根据现有800万分辨率的视频数据统计设置最大为16个像素的范围，即生长核大小为16+16+1＝33的卷积核；
步骤405：按照生长核大小进行完整目标提取，计算目标像素坐标集合的重心作为该目标的参考位置。
在本发明一实施例中，其中，步骤5中进行目标类别识别的卷积神经网络为嵌入SE模块的深度残差网络，通过卷积神经网络进行目标类别识别的具体过程为：
步骤501：在训练图像上标注常规物体，其中，常规物体至少包括纸盒、衣物、鸟类、飞虫、雨滴和雪；
步骤502：将标注后的训练图像送入卷积神经网络进行预训练；
步骤503：将预训练的最优模型接入实时流进行测试，输入步骤4中得到的目标图像，每隔一段时间后，将类别置信度较低的物体和错误识别的物体以及新出现类别的物体手动标注并重新训练，得到优化后的分类模型，依此类推不断迭代模型。
在本发明一实施例中，其中，步骤6的具体过程为：
步骤601：计算前一帧与当前帧中物体间的匹配概率，匹配概率计算方式为步骤5的神经网络输出类别和概率、物体参考位置的距离以及物体总体像素大小比例的线性叠加；
步骤602：重复步骤601对帧中的目标进行概率计算，大于设定匹配阈值的即视为匹配上目标，否则视为没有匹配上，然后将匹配上的目标合并到现有轨迹坐标图，当未匹配到前i帧时继续回溯到前i+1帧进行匹配，其中,i从1开始递增，且小于等于n，n设置为10～15的可调值，若最终都没有匹配上则将其视为新目标；
步骤603：将所有匹配轨迹合并生成轨迹概率图；
步骤604：找到轨迹概率图中最大概率的轨迹，其中，判断最大概率的依据包括：
遍历所有轨迹坐标图中的最长路径和平滑度；
轨迹过滤的判定，其中，所述轨迹过滤包括轨迹高低点最大速度过滤、下凸轨迹形状和水平波动形状过滤，以及轨迹垂直加速度最大改变次数的过滤。
在本发明一实施例中，其中，步骤7中找到轨迹源头所在区域的具体过程为利用标注对应窗户号的楼栋掩膜图对最大概率的轨迹进行掩膜处理，确定轨迹源头所在区域。
在本发明一实施例中，其中，所述方法还包括：将标注对应窗户号的楼栋掩膜图中最大窗户的高度作为像素与实际图像距离的比例参数，并根据比例参数生成步骤4中进行目标提取所需要设定的目标大小参数的范围和步骤605中进行轨迹过滤所需要的轨迹速度、形状与加速度的限制参数。
本发明的实时多环境自适应轨迹自动溯源的高空抛物检测方法与现有技术的高空抛物检测方法相比具有以下优点：
1)通过多帧提取平静的背景图，并将当前帧与背景图差分，对前后帧目标区域有重叠的情况也能够得到完整的目标区域；
2)通过自适应区域生长核的方式能够在不同的背景条件下自适应地把分散的差分结果聚集为单个目标，减少了部分与背景相似目标的影响，定位精度更高；
3)通过抖动判断和去抖处理能够很好地定位到真实目标，减少大风或震动以及徘徊目标对识别的影响；
4)通过对每一帧目标在下一帧的潜在位置估计生成轨迹概率图，并最终选取综合概率最大的轨迹进行分析，能够很好的召回轨迹不是自由落体的抛物事件，检测的准确率更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一现有技术的方案流程图；
图2为另一现有技术的方案流程图；
图3为本发明一实施例的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
通过背景技术可知，现有高空抛物方案大多只能做到检测到抛物事件，对于不同时间和天气条件以及非抛物干扰适应性也较差，需要人工去查看检测视频判断抛物地点确定抛物人员。本发明可以针对进行高空抛物检测的摄像机传来的视频流进行实时处理，检测抛物事件并实时预警，精确到抛物起点对应的用户，对相机抖动和多种天气情况有良好的适应性，对虫鸟树叶等干扰物也有很好的抗干扰力，能够对抛物人所在位置进行快速追踪，也对楼栋用户起到震慑作用，能有效减少高空抛物事件的发生。
图3为本发明一实施例的方法流程图，如图3所示，本实施例提供了一种实时多环境自适应轨迹自动溯源的高空抛物检测方法，其是通过在云端服务器进行处理的，具体包括以下步骤：
步骤1：云端服务器将摄像头实时传输的视频流解码成图像，组成大小为m(m为奇数)的帧队列，选取这m帧中相同像素位置的中位数作为背景帧，其中，根据实际性能需求m可以在3～7之间取值，m取值越大，所提取的背景相对越平静，但计算量也会更大，性能会有所降低。
在本实施例中，其中，步骤1中摄像头实时传输的视频流具体为采用实时流传输协议(RTSP，Real Time Streaming Protocol)的视频流。
步骤2：对每一帧解码图像与当前背景帧进行差分和阈值化处理，得到对应帧的候选目标图；
在本实施例中，其中，步骤2中进行差分和阈值化处理所使用的阈值为自适应阈值，具体为根据进行差分的背景图中的噪声数量(即可能出现的背景明暗噪声情况)进行反馈，并根据反馈结果自动调节下一次进行差分和阈值化处理所使用的阈值，从而可以实现在夜间或光线较暗的场景具备更高的召回率。
步骤3：将当前帧的候选目标图与前一帧的候选目标图进行逻辑与运算得到包含噪声和徘徊目标(非坠落目标)的掩膜图，如果噪声和徘徊目标总面积大于预设阈值，则判定为存在抖动，开启去抖模块进行去抖处理；否则判定为不存在抖动，直接进入下一步；在本实施例中，将预设阈值设置为1/10000的图像面积。
在本实施例中，其中，步骤3中包含噪声和徘徊目标的掩膜图为渐进衰退方式的掩膜图，具体为对每一次逻辑运算所得到的掩模图进行部分加权和衰退处理，而非一次性地判定整张图是否抖动(一次性判断整张图是否抖动可能会丢失部分目标)，其中，加权与衰退的具体过程为：将前一次逻辑运算所得到的掩膜图作为基础，累加乘以衰退系数倍数的当前逻辑运算所得到掩膜图，然后再减去一个大小相同且像素值全为1的矩阵，得到用于步骤4的掩膜图，其中，衰退系数为根据掩膜图面积得到的抖动趋势生成的，其范围为10～30，这样就实现了加重抖动或徘徊目标区域并衰减已经未在抖动区域的优化效果。本实施例经过在工地等背景变化复杂的场景中进行实际验证，具有有良好的适应性，并且召回率更高。
在本实施例中，其中，步骤3中去抖模块进行去抖的具体过程为：
步骤301：在去抖模块中，将包含噪声和徘徊目标的掩膜图进行形态学膨胀操作，其中，膨胀核的大小为3或者5，在实施时是根据抖动情况进行设定的，抖动越大(根据掩膜图的面积)则选取更大的膨胀核；
步骤302：将得到的结果作为抖动第一次的掩膜图进行去抖处理；
步骤303:后续包含噪声和徘徊目标的掩膜图则为渐进衰退方式的掩膜图，具体为对每一次逻辑运算所得到的掩模图进行部分加权和衰退处理，其中，加权与衰退的具体过程为：
将前一次逻辑运算所得到的掩膜图作为基础，累加乘以衰退系数倍数的当前逻辑运算所得到掩膜图，然后再减去一大小相同且像素值全为1的矩阵，得到用于步骤4的掩膜图，其中，衰退系数为根据掩膜图面积得到的抖动趋势生成的，其范围为10～30。
步骤4：利用步骤3的掩膜图对当前的候选目标图进行差分，将差分后的图像采用自适应生长核的方式进行完整目标提取，得到目标图像以及图像中的目标区域和目标重心坐标；在本实施例中，其中，步骤4中采用自适应生长核进行完整目标提取的具体过程为：
步骤401：根据性能需求设置多个种子点；
步骤402：从每个种子点进行上下左右4个方向遍历，这里除了方向还有遍历范围，即这里所说的自适应生长核尺寸；
步骤403：将经过遍历后值相同的像素点放入栈中，并继续作为生长的种子点按步骤402相同的方式继续生长；
步骤404：根据上一次的目标图中像素的离散程度判定本次生长核的大小，离散程度越大，核面积越大，并根据现有800万分辨率的视频数据统计设置最大为16个像素的范围，即生长核大小为16+16+1＝33的卷积核；
步骤405：按照生长核大小进行完整目标提取，计算目标像素坐标集合的重心作为该目标的参考位置。
在本实施例中，由于差分后的图像中的目标像素往往不是完全在8邻域的范围内，因此，如果采用常规的差分方式对部分与背景相似或重合的目标无法被全部差分出来。而采用自适应生长核能够将一定范围内离散的像素视为一个整体，对于目标部分与背景重合的场景具有更高的定位精度，也因此提高了目标数量的精度。
在本实施例中，对步骤1～步骤4可以采用服务器端avx2(Advanced VectorExtensions，高级向量扩展)指令集加速，对应代码中只需要对每一帧图像遍历一次，即可获取后续步骤进行目标识别、轨迹生成和确定轨迹源头所需要的所有信息，极大提高了检测处理的性能。
步骤5：将目标图像送入卷积神经网络进行目标类别识别，同时对识别出的目标进行标注和强化训练，排除树叶，虫鸟雨雪等干扰目标；
在本实施例中，其中，步骤5中进行目标类别识别的卷积神经网络为嵌入SE模块的深度残差网络(SE-Resnet-50)。SE模块的深度残差网络(SE-Resnet-50)是深度残差网络(Resnet-50，层数为50层的残差网络Resnet)的改进方案，其工作原理为：SE(Squeeze-and-Excitation，压缩-激活)模块对卷积得到的特征图进行压缩(Squeeze)操作，得到通道(channel)级的全局特征；然后，对全局特征进行激活(Excitation)操作，学习各个通道(channel)间的关系，也得到不同通道(channel)的权重；最后，乘以原来的特征图得到最终特征。这种注意力机制的卷积神经网络可以让训练模型在训练时更加关注信息量最大的通道(channel)特征，抑制那些不重要的通道(channel)特征。
在本实施例中，其中，通过嵌入SE模块的深度残差网络(SE-Resnet-50)网络进行目标类别识别的具体过程为：
步骤501：在训练图像上标注常规物体，其中，包括纸盒、衣物、鸟类、飞虫、雨滴和雪等常见物体；
步骤502：将标注后的训练图像送入嵌入SE模块的深度残差网络(SE-Resnet-50)网络进行预训练；
步骤503：将预训练的最优模型接入实时流进行测试，输入为步骤4中得到的目标抠图，每隔一段时间后，将类别置信度较低的物体、错误识别的物体以及新出现类别的物体手动标注并重新训练，得到优化后的分类模型，依此类推不断迭代模型，提高模型的泛化能力和鲁棒性。
由于深度残差网络的训练对运算设备有较高的要求，需要具备较好的算力和较大的功耗，因此，在云端服务器进行训练时可以采用GPU等硬件加速设备进行加速与训练推理，从而提高训练效率与效果。而在一些采用边缘段设备进行抛物识别的方法中，边缘设备无法提供深度残差网络所需要的算力和功耗。
步骤6：生成并分析轨迹概率图，得到最大概率的轨迹；
在本实施例中，其中，步骤6的具体过程为：
步骤601：计算前一帧与当前帧中物体间的匹配概率，匹配概率计算方式为步骤5的神经网络输出类别和概率、物体参考位置的距离(本实施例采用取倒数的方式)以及物体总体像素大小比例(本实施例采用的是较小的比上较大的)的线性叠加；
步骤602：重复步骤601对帧中的目标进行概率计算，大于设定匹配阈值的即视为匹配上目标，否则视为没有匹配上，然后将匹配上的目标合并到现有轨迹坐标图，当未匹配到前i帧时继续回溯到前i+1帧进行匹配，其中,i从1开始递增，且小于等于n，n设置为10～15的可调值，若最终都没有匹配上则将其视为新目标；
步骤603：将所有匹配轨迹合并生成轨迹概率图；
步骤604：找到轨迹概率图中最大概率的轨迹，其中，判断最大概率的依据包括：
遍历所有轨迹坐标图中的最长路径和平滑度；
轨迹过滤的判定，其中，轨迹过滤包括：轨迹高低点最大速度过滤、下凸轨迹形状和水平波动形状过滤，以及轨迹垂直加速度最大改变次数的过滤等。
在本实施例中，通过回溯前n帧进行匹配，避免某一帧因为画面不稳定的问题或者物体与背景极其相似所导致某一帧物体丢失，从而造成的整条轨迹丢失的问题，并通过加入大量的轨迹过滤的判定，增加了召回率和判断精度。
步骤7：分析最大概率的轨迹并找到轨迹源头所在区域，通过区域坐标溯源到抛物起点对应的门牌号并发出警报。
在本实施例中，其中，步骤7中找到轨迹源头所在区域的具体过程为利用标注对应窗户号的楼栋掩膜图对最大概率的轨迹进行掩膜处理，确定轨迹源头所在区域。
在本实施例中，根据轨迹源头所在的区域自动识别抛物地点对应的门牌号时，发出的警报可以同时通知相关用户和物业管理人员，能够对抛物事件的发生起到强大的威慑作用。
在本实施例中，其中，所述方法还包括：将标注对应窗户号的楼栋掩膜图中最大窗户的高度作为像素与实际图像距离的比例参数，并根据比例参数生成步骤4中进行目标提取所需要设定的目标大小参数的范围和步骤605中进行轨迹过滤所需要的轨迹速度、形状与加速度的限制参数，用以进行相应的计算。
本实施例采用在云端服务器处理的方法与一些采用边缘端进行抛物检测的方法相比较，云端服务器的算法设计更灵活，能够适应不同场景的特点，使检测的召回率和精度都更高；还可以通过加入GPU等加速硬件进行加速与AI训练推理；另外，云端服务器能够对更高分辨率的高抛摄像机图像进行实时处理，并且，也不需要对已经架设好的监控设备进行边缘端改造，节约成本。
本发明所使用的实时多环境自适应轨迹自动溯源的高空抛物检测方法，通过多帧提取平静背景图，并将当前帧与背景图差分，对前后帧目标区域有重叠的情况也能够得到完整的目标区域；通过自适应区域生长核的方式能够在不同的背景条件下，自适应地把分散的差分结果聚集为单个目标，减少了部分与背景相似目标的影响，定位精度更高；通过抖动判断和去抖处理能够很好地定位到真实目标，减少大风或震动以及徘徊目标对识别的影响；通过对每一帧目标在下一帧的潜在位置估计生成轨迹概率图，并最终选取综合概率最大的轨迹进行分析，能够很好的召回轨迹不是自由落体的抛物事件，检测的准确率更高。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种实时多环境自适应轨迹自动溯源的高空抛物检测方法，其是通过在云端的服务器进行处理的，其特征在于，包括以下步骤：
步骤1：云端服务器将摄像头实时传输的视频流解码成图像，组成大小为m的帧队列，并选取这m帧中相同像素位置的中位数作为背景帧，其中，m为3~7的任意奇数；
步骤2：对每一帧解码图像与当前背景帧进行差分和阈值化处理，得到对应帧的候选目标图；
步骤3：将当前帧的候选目标图与前一帧的候选目标图进行逻辑与运算得到包含噪声和徘徊目标的掩膜图，如果噪声和徘徊目标总面积大于预设阈值，则判定为存在抖动，开启去抖模块进行去抖处理；否则判定为不存在抖动，则直接进入下一步；
步骤4：利用步骤3的掩膜图对当前的候选目标图进行差分，将差分后的图像采用自适应生长核的方式进行完整目标提取，得到目标图像以及图像中的目标区域和目标重心坐标；
步骤5：将目标图像送入卷积神经网络进行目标类别识别，同时对识别出的目标进行标注和强化训练，排除干扰目标；
步骤6：生成并分析轨迹概率图，得到最大概率的轨迹；
步骤7：分析最大概率的轨迹并找到轨迹源头所在区域，通过区域坐标溯源到抛物起点对应的门牌号并发出警报。
2.根据权利要求1所述的检测方法，其特征在于，步骤1中摄像头实时传输的视频流为采用实时流传输协议的视频流。
3.根据权利要求1所述的检测方法，其特征在于，步骤2中进行差分和阈值化处理所使用的阈值为自适应阈值，具体为根据进行差分的背景帧中的噪声数量进行反馈，并根据反馈结果自动调节下一次进行差分和阈值化处理所使用的阈值。
4.根据权利要求1所述的检测方法，其特征在于，步骤3中去抖模块进行去抖处理的具体过程为：
步骤301：在去抖模块中，将包含噪声和徘徊目标的掩膜图进行形态学膨胀操作，其中，膨胀核的大小为3或者5；
步骤302：将得到的结果作为抖动第一次的掩膜图进行去抖处理；
步骤303: 后续包含噪声和徘徊目标的掩膜图则为渐进衰退方式的掩膜图，具体为对每一次逻辑运算所得到的掩模图进行部分加权和衰退处理，其中，加权与衰退的具体过程为：
将前一次逻辑运算所得到的掩膜图作为基础，累加乘以衰退系数倍数的当前逻辑运算所得到掩膜图，然后再减去一大小相同且像素值全为1的矩阵，得到用于步骤4的掩膜图，其中，衰退系数为根据掩膜图面积得到的抖动趋势生成的，其范围为10~30。
5.根据权利要求1所述的检测方法，其特征在于，步骤4中采用自适应生长核进行完整目标提取的具体过程为：
步骤401：根据性能需求设置多个种子点；
步骤402： 从每个种子点进行上下左右4个方向的遍历，其中，遍历的范围即为自适应生长核尺寸；
步骤403：将经过遍历后值相同的像素点放入栈中，并继续作为生长的种子点按步骤402相同的方式继续生长；
步骤404：根据上一次的目标图中像素的离散程度判定本次生长核的大小，并根据现有数据统计设置最大为16个像素的范围，即生长核大小为16+16+1=33的卷积核；
步骤405：按照生长核大小进行完整目标提取，计算目标像素坐标集合的重心作为该目标的参考位置。
6.根据权利要求1所述的检测方法，其特征在于，步骤5中进行目标类别识别的卷积神经网络为嵌入SE模块的深度残差网络，通过卷积神经网络进行目标类别识别的具体过程为：
步骤501：在训练图像上标注常规物体，其中，常规物体至少包括纸盒、衣物、鸟类、飞虫、雨滴和雪；
步骤502：将标注后的训练图像送入卷积神经网络进行预训练；
步骤503：将预训练的最优模型接入实时流进行测试，输入步骤4中得到的目标图像，每隔一段时间后，将类别置信度较低的物体和错误识别的物体以及新出现类别的物体手动标注并重新训练，得到优化后的分类模型，依此类推不断迭代模型。
7.根据权利要求1所述的检测方法，其特征在于，步骤6的具体过程为：
步骤601：计算前一帧与当前帧中物体间的匹配概率，其中，匹配概率计算方式为步骤5的卷积神经网络输出类别和概率、物体参考位置的距离以及物体总体像素大小比例的线性叠加；
步骤602：重复步骤601对帧中的目标进行概率计算，大于设定匹配阈值的即视为匹配上目标，否则视为没有匹配上，然后将匹配上的目标合并到现有轨迹坐标图，当未匹配到前i帧时继续回溯到前i+1帧进行匹配，其中, i从1开始递增，且小于等于n，n设置为10~15的可调值，若最终都没有匹配上则将其视为新目标；
步骤603：将所有匹配轨迹合并生成轨迹概率图；
步骤604：找到轨迹概率图中最大概率的轨迹，其中，判断最大概率的依据包括：
遍历所有轨迹坐标图中的最长路径和平滑度；
轨迹过滤的判定，其中，所述轨迹过滤包括轨迹高低点最大速度过滤、下凸轨迹形状和水平波动形状过滤，以及轨迹垂直加速度最大改变次数的过滤。
8.根据权利要求1所述的检测方法，其特征在于，步骤7中找到轨迹源头所在区域的具体过程为利用标注对应窗户号的楼栋掩膜图对最大概率的轨迹进行掩膜处理，确定轨迹源头所在区域。
9.根据权利要求7所述的检测方法，其特征在于，所述方法还包括：将标注对应窗户号的楼栋掩膜图中最大窗户的高度作为像素与实际图像距离的比例参数，并根据比例参数生成步骤4中进行目标提取所需要设定的目标大小参数的范围和步骤604中进行轨迹过滤所需要的轨迹速度、形状与加速度的限制参数。
CN202110340688.8A 2021-03-30 2021-03-30 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法 Active CN113034397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110340688.8A CN113034397B (zh) 2021-03-30 2021-03-30 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110340688.8A CN113034397B (zh) 2021-03-30 2021-03-30 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法

Publications (2)

Publication Number Publication Date
CN113034397A CN113034397A (zh) 2021-06-25
CN113034397B true CN113034397B (zh) 2024-03-12

Family

ID=76453016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110340688.8A Active CN113034397B (zh) 2021-03-30 2021-03-30 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法

Country Status (1)

Country Link
CN (1) CN113034397B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612506B (zh) * 2022-02-19 2024-03-15 西北工业大学 一种简易高效抗干扰的高空抛物轨迹识别与定位方法
CN114998794A (zh) * 2022-05-31 2022-09-02 天翼爱音乐文化科技有限公司 高空抛物识别方法、系统、装置及存储介质
CN115392407B (zh) * 2022-10-28 2023-03-24 中建五局第三建设有限公司 基于无监督学习的危险源预警方法、装置、设备及介质
CN115797411B (zh) * 2023-01-17 2023-05-26 长江勘测规划设计研究有限责任公司 一种利用机器视觉在线识别水电站电缆桥架形变的方法
CN117423058B (zh) * 2023-11-02 2024-05-03 江苏三棱智慧物联发展股份有限公司 基于城市安全眼的高空抛物检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282368A (ja) * 2003-03-14 2004-10-07 Omron Corp 移動体監視装置
CN111898511A (zh) * 2020-07-23 2020-11-06 北京以萨技术股份有限公司 基于深度学习的高空抛物检测方法、装置及介质
CN112016414A (zh) * 2020-08-14 2020-12-01 熵康(深圳)科技有限公司 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN112037266A (zh) * 2020-11-05 2020-12-04 北京软通智慧城市科技有限公司 一种下落物体的识别方法、装置、终端设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282368A (ja) * 2003-03-14 2004-10-07 Omron Corp 移動体監視装置
CN111898511A (zh) * 2020-07-23 2020-11-06 北京以萨技术股份有限公司 基于深度学习的高空抛物检测方法、装置及介质
CN112016414A (zh) * 2020-08-14 2020-12-01 熵康(深圳)科技有限公司 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN112037266A (zh) * 2020-11-05 2020-12-04 北京软通智慧城市科技有限公司 一种下落物体的识别方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN113034397A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113034397B (zh) 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
CN108416250B (zh) 人数统计方法及装置
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN111967393A (zh) 一种基于改进YOLOv4的安全帽佩戴检测方法
CN110032977A (zh) 一种基于深度学习图像火灾识别的安全预警管理系统
CN108021848A (zh) 客流量统计方法及装置
CN107845264A (zh) 一种基于视频监控的交通量采集系统及方法
CN110633643A (zh) 一种面向智慧社区的异常行为检测方法及系统
CN104159088B (zh) 一种远程智能车辆监控系统及方法
CN110334660A (zh) 一种雾天条件下基于机器视觉的森林火灾监测方法
CN110633678B (zh) 一种基于视频图像的快速高效的车流量计算方法
CN111369521A (zh) 一种基于图像质量的图像过滤方法和相关装置
CN105426928B (zh) 一种基于Haar特征和EOH特征的行人检测方法
CN113221603A (zh) 一种检测监控设备被异物遮挡的方法及装置
CN114429597A (zh) 基于神经网络的在石油化工行业的初期火灾智能识别系统
CN104077571A (zh) 一种采用单类序列化模型的人群异常行为检测方法
CN117557937A (zh) 一种监控摄像头图像异常检测方法及系统
CN110378935B (zh) 基于图像语义信息的抛物识别方法
CN110956097A (zh) 遮挡人体提取方法及模块、场景转换方法及装置
CN106921846A (zh) 视频移动终端遗留物检测装置
CN113554682B (zh) 一种基于目标跟踪的安全帽检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600

Applicant after: Beijing Zhongke Flux Technology Co.,Ltd.

Address before: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600

Applicant before: Beijing Ruixin high throughput technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant