CN114596531A - 高空抛物检测方法、装置、设备及存储介质 - Google Patents
高空抛物检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114596531A CN114596531A CN202210328786.4A CN202210328786A CN114596531A CN 114596531 A CN114596531 A CN 114596531A CN 202210328786 A CN202210328786 A CN 202210328786A CN 114596531 A CN114596531 A CN 114596531A
- Authority
- CN
- China
- Prior art keywords
- macro block
- determining
- area
- weight value
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种高空抛物检测方法、装置、设备及存储介质。该方法包括:对获取的当前图像帧进行划分,获得对应的多个宏块;确定每个宏块的初始权重值,确定每个宏块受邻近区域内宏块影响得到的干扰权重值,基于每个宏块对应的初始权重值以及干扰权重值确定对应的能量图;确定能量图中的待测区域,确定待测区域是否为目标区域;若是,则获取当前图像帧之后的预设数量的连续图像帧,确定预设数量的连续图像帧是否存在目标区域;若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;若是,则确定目标区域中存在高空抛物。本申请的方法,能够很好地识别图像帧中存在的高空抛物。
Description
技术领域
本申请涉及高空抛物检测技术领域,尤其涉及一种高空抛物检测方法、装置、设备及存储介质。
背景技术
随着国内小区和高层写字楼数量的日益增加,高空抛物的现象屡次发生,进而对行人、公共设施和公共环境产生较大的影响和威胁。由于事件发生场所多为高空楼层,很少有目击者,抛物时间短,使得执法部门很难追究抛物者的法律责任。因此,高空抛物的检测尤为重要。
目前,通常工人识别,通过人工观看视频对物体进行鉴别,或者采用视频图像技术、深度学习等AI算法对视频流进行识别分析,从而判定存在高空抛物。
然而,现有的基于深度学习的高空抛物检测方式需要借助深度学习检测模型,而模型在前期训练过程中需要使用大量的高空抛物原始图片数据作为训练样本,能作为训练样本的数据有限,并不能满足实际需求,导致神经网络在没有丰富的训练样本的情况下,训练得到的神经网络模型并不能很好地识别高空抛物。
发明内容
本申请提供一种高空抛物检测方法、装置、设备及存储介质,用以解决现有的神经网络在没有丰富的训练样本的情况下,训练得到的神经网络模型并不能很好地识别高空抛物的问题。
第一方面,本申请提供一种高空抛物检测方法,包括:
获取当前图像帧,对当前图像帧进行划分,以获得当前图像帧对应的多个宏块;
确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图;
确定能量图中的待测区域,并确定待测区域是否为目标区域;
若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域;
若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;
若是,则确定目标区域中存在高空抛物。
第二方面,本申请提供一种高空抛物检测装置,包括:
获取单元,用于获取当前图像帧,对当前图像帧进行划分,以获得当前图像帧对应的多个宏块;
确定单元,用于确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图;
确定单元,还用于确定能量图中的待测区域,并确定待测区域是否为目标区域;
确定单元,还用于若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域;
确定单元,还用于若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;
确定单元,还用于若是,则确定目标区域中存在高空抛物。
第三方面,本发明提供电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如第一方面所述的方法。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
本申请提供的一种高空抛物检测方法、装置、设备及存储介质,通过获取当前图像帧,对当前图像帧进行划分,以获得当前图像帧对应的多个宏块;进一步确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图;从而确定能量图中的待测区域,并确定待测区域是否为目标区域;若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域;若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;若是,则确定目标区域中存在高空抛物。本申请的方法,能够很好地识别图像帧中存在的高空抛物。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本发明提供的高空抛物检测方法的网络架构示意图;
图2是本发明实施例一提供的高空抛物检测方法的流程示意图;
图3是本发明实施例二提供的高空抛物检测方法的流程示意图;
图4是本发明实施例三提供的高空抛物检测方法的流程示意图;
图5是本发明实施例四提供的高空抛物检测方法的流程示意图;
图6a-图6c是本发明实施例一提供的高空抛物检测方法的第二映射关系示意图;
图7a-图7f是本发明实施例一提供的高空抛物检测方法的宏块计算实例示意图;
图8是本发明实施例六提供的高空抛物检测方法的流程示意图;
图9是本发明一实施例提供的高空抛物检测方法的待测区域示意图;
图10是本发明实施例九提供的高空抛物检测方法的流程示意图;
图11是是本发明一实施例提供的空抛物检测装置的结构示意图;
图12是用来实现本发明一实施例的高空抛物检测方法的电子设备的框图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为了清楚理解本申请的技术方案,首先对现有技术的方案进行详细介绍。
现有技术中,随着国内小区和高层写字楼数量的日益增加,高空抛物的现象屡次发生,进而对行人、公共设施和公共环境产生较大的影响和威胁。由于事件发生场所多为高空楼层,很少有目击者,抛物时间短,使得执法部门很难追究抛物者的法律责任。因此,高空抛物的检测尤为重要。通常工人识别,通过人工观看视频对物体进行鉴别,或者采用视频图像技术、深度学习等AI算法对视频流进行识别分析,从而判定存在高空抛物。具体地,获取高空抛物原始图像数据,将高空抛物原始图像作为训练样本图像,构造神经网络模型的损失函数,得到构建好的神经网络模型,将样本图像训练集输入至预设的神经网络模型进行训练,得到训练的神经网络模型,将待识别的图像输入至预先训练的神经网络模型中,获得高空抛物的位置,进一步根据位置判断是否有高空抛物。
而现有技术中,现有的基于深度学习的高空抛物检测方式需要借助深度学习检测模型,而模型在前期训练过程中需要使用大量的高空抛物原始图片数据作为训练样本,能被作为训练样本的数据有限,并不能满足实际需求,导致神经网络在没有丰富样本的情况下,训练得到的神经网络模型并不能很好的识别高空抛物。
所以针对现有技术中神经网络在没有丰富的训练样本的情况下,训练得到的神经网络模型并不能很好地识别高空抛物的问题,在研究中发现,获取当前图像帧,对当前图像帧进行划分,以获得当前图像帧对应的多个宏块;确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图;确定能量图中的待测区域,并确定待测区域是否为目标区域;若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域;若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;若是,则确定目标区域中存在高空抛物。通过宏块的初始权重值以及受周围宏块的干扰权重值确定能量图,确定能量图中的待测区域是否为目标区域,若是,确定图像帧之后的多个图像帧是否都存在目前区域,若存在,说明目前区域存活时间较长,有可能目前区域中包括了目标物体,再确定选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;若是,则确定目标区域中存在高空抛物,相比现有技术,无需依赖神经网络模型,故不需要收集大量的高空抛物原始图像,能够很好地识别图像帧中存在的高空抛物,提供一种相比神经网络模型更为简单的识别方式。
所以发明人基于上述的创造性发现,提出了本发明实施例的技术方案。下面对本发明实施例提供的高空抛物检测方法的网络架构及应用场景进行介绍。
如图1所示,本发明实施例提供的高空抛物检测方法对应的网络架构中包括:电子设备1、摄像装置2及用户终端3。电子设备1分别与摄像装置2及用户终端3进行通信连接。摄像装置2采集楼宇的视频数据,将采集的视频数据发送至电子设备2,电子设备2对视频数据进行处理,获取待测的当前图像帧,对当前图像帧进行划分,以获得当前图像帧对应的多个宏块;确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图;确定能量图中的待测区域,并确定待测区域是否为目标区域;若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域;若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;若是,则确定目标区域中存在高空抛物。通过宏块的初始权重值以及受周围宏块的干扰权重值确定能量图,确定能量图中的待测区域是否为目标区域,若为目标区域,确定图像帧之后的多个图像帧是否都存在目前区域,若多个图像帧都存在目标区域,说明目前区域存活时间较长,有可能目前区域中包括了目标物体,再确定选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件,若均满足,则确定目标区域中存在高空抛物;电子设备2生成高空抛物报警提示信息,将高空抛物报警提示信息发送至对应的用户终端3,以提示用户存在高空抛物。相比现有技术,无需依赖神经网络模型,故不需要收集大量的高空抛物原始图像,能够很好地识别图像帧中存在的高空抛物,提供一种相比神经网络模型更为简单的识别方式。
以下将参照附图来具体描述本发明的实施例。
实施例一
图2是本发明实施例一提供的高空抛物检测方法的流程示意图,如图2所示,本实施例提供的高空抛物检测方法的执行主体为高空抛物检测装置,该高空抛物检测装置位于电子设备中,则本实施例提供的高空抛物检测方法包括以下步骤:
步骤101,获取当前图像帧,对当前图像帧进行划分,以获得当前图像帧对应的多个宏块。
本实施例中,获取当前图像帧,当前图像帧为待测图像帧,是根据视频得到的,采用H264协议对当前图像帧进行划分,获得当前图像帧对应的多个宏块。
步骤102,确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图。
本实施例中,确定每个宏块对应的初始权重值,具体地,确定每个宏块的宏块类型,根据每个宏块的宏块类型确定每个宏块对应的初始权重值,每个宏块都会受周围宏块的影响,进一步确定每个宏块受邻近区域内宏块影响得到的干扰权重值,根据每个宏块的初始权重值以及其对应的干扰权重值计算得到每个宏块的总权重值,进一步根据每个宏块的总权重值确定当前图像帧对应的能量图。
步骤103,确定能量图中的待测区域,并确定待测区域是否为目标区域。
本实施例中,能量区域中有多个区域,从多个区域中确定待测区域,待测区域中可能存在物体例如高空抛物的区域,进一步确定待测区域是否为目标区域。
步骤104,若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域。
本实施例中,若确定待测区域为目标区域,说明当前图像帧中存在物体,该物体是否为高空抛物需要进一步确定,获取当前图像帧之后的预设数量的连续图像帧,确定预设数量的连续图像帧是否存在目标区域,具体地,从连续图像帧中任选一个图像帧,将该图像帧确定为当前图像帧,执行对当前图像帧进行划分,以获得当前图像帧对应的多个宏块的步骤,采用H264协议对当前图像帧进行划分,获得当前图像帧对应的多个宏块。确定每个宏块对应的初始权重值,以及确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图,确定能量图中的待测区域,并确定待测区域是否为目标区域,若是,则继续从连续图像帧中任选一个图像帧,继续将选择的图像帧确定为当前图像帧,直至预设数量的连续图像帧全部选择完毕,确定预设数量的连续图像帧中的全部图像帧中都存在目标区域。
步骤105,若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件。
本实施例中,若确定预设数量的连续图像帧均存在目标区域,说明这个物体的存活了一段时间,有可能是高抛物体,也有可能是否一些动物例如鸟类,需要进一步确定在当前图像帧以及预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件,具体地,按照预设时间间隔从当前图像帧及之后的预设数量的连续图像帧中选择多个图像帧,进一步确定选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件,至少选择三个图像帧,计算三个图像帧中两两图像帧的方向向量、重心距离以及面积,根据方向向量、重心距离以及面积确定是否均满足预设高空抛物状态条件。
步骤106,若是,则确定目标区域中存在高空抛物。
本实施例中,若确定选择的多个图像帧对应的目标区域均满足预设高空抛物状态条件,说明多个图像帧都存在同一个物体,且这个物体满足预设高空抛物状态条件,确定目标区域中存在高抛物体。
本实施例中,获取当前图像帧,对当前图像帧进行划分,获得当前图像帧对应的多个宏块,确定每个宏块对应的初始权重值,进一步确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块的初始权重值以及干扰权重值确定当前图中帧对应的能量图,确定能量图中的待测区域,并确定待测区域是否为目标区域,若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件,若是,则确定目标区域中存在高空抛物。通过宏块的初始权重值以及受周围宏块的干扰权重值确定能量图,确定能量图中的待测区域是否为目标区域,若是,确定图像帧之后的多个图像帧是否都存在目前区域,若存在,说明目前区域存活时间较长,有可能目前区域中包括了目标物体,再确定选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;若是,则确定目标区域中存在高空抛物,相比现有技术,无需依赖神经网络模型,故不需要收集大量的高空抛物原始图像,能够很好地识别图像帧中存在的高空抛物,提供一种相比神经网络模型更为简单的识别方式。
实施例二
图3是本发明实施例二提供的高空抛物检测方法的流程示意图,如图3所示,在本发明实施例一提供的高空抛物检测方法的基础上,对步骤102中确定每个宏块对应的初始权重值进行了进一步细化,具体包括以下步骤:
步骤1021,确定每个宏块的宏块类型。
其中,H264中常见的几种宏块有I、P、B宏块,宏块类型是根据宏块头信息确定,宏块类型包括I_4*4、I_16*16、P_8*8、P_RECT等,通过宏块头信息确定每个宏块的宏块类型。
步骤1022,根据每个宏块的宏块类型确定每个宏块对应的初始权重值。
本实施例中,预先设置宏块类型与权重值的映射关系表,在映射关系表中查找与宏块类型匹配的预设的宏块类型,将匹配的宏块类型对应的权重值确定为对应的宏块的初始权重值。
实施例三
图4是本发明实施例三提供的高空抛物检测方法的流程示意图,如图4所示,在本发明实施例二提供的高空抛物检测方法的基础上,对步骤1022进行了进一步细化,具体包括以下步骤:
步骤1022a,获取预设的宏块类型与权重值的第一映射关系。
本实施例中,获取预设的宏块类型与权重值的第一映射关系,该映射关系如表1所示。
表1 第一映射关系表
其中,宏块类型包括I_4*4、I_16*16、P_8*8、P_RECT、P_16*16及P_SKIP,其中,若某宏块的宏块类型为I_4*4,其对应的权重值为1,对应的宏块描述为运动;若某宏块的宏块类型为I_16*16,其对应的权重值为0.7,对应的宏块描述为运动;若某宏块的宏块类型为P_8*8,其对应的权重值为0.7,对应的宏块描述为轻微运动;若某宏块的宏块类型为P_RECT,其对应的权重值为0.7,对应的宏块描述为轻微运动;若某宏块的宏块类型为P_16*16,其对应的权重值为0.4,对应的宏块描述为近似静止;若某宏块的宏块类型为P_SKIP,其对应的权重值为0.7,对应的宏块描述为静止。
步骤1022b,将各宏块的宏块类型与第一映射关系中的宏块类型进行匹配。
本实施例中,将每个宏块的宏块类型与第一映射关系表中的宏块类型进行匹配,根据匹配结果确定各宏块的初始权重值。
步骤1022c,将匹配的宏块类型对应的权重值确定为宏块对应的初始权重值。
本实施例中,将匹配的宏块类型对应的权重值确定为该宏块对应的初始权重值,例如,某宏块的宏块类型为I_4*4,与第一映射关系表中的宏块类型I_4*4匹配,将I_4*4对应的权重值1确定为该宏块的初始权重值。
需要说明的是,宏块类型并不限于上述类型,还可以是其他类型。
实施例四
图5是本发明实施例四提供的高空抛物检测方法的流程示意图,如图5所示,在本发明实施例一提供的高空抛物检测方法的基础上,对步骤102中确定每个宏块受邻近区域内宏块影响得到的干扰权重值进行了进一步细化,具体包括以下步骤:
步骤102A,获取每个宏块对应的邻近区域内各宏块的初始权重值。
本实施例中,获取每个宏块对应的邻近区域内各宏块的初始权重值,邻近区域内各宏块的初始权重值也是通过第一映射关系表确定的。
步骤102B,获取预设的干扰权重值及初始权重值的第二映射关系,并根据第二映射关系以及每个宏块对应的邻近区域内各宏块的初始权重值确定每个宏块受邻近区域内宏块影响得到的干扰权重值。
本实施例中,预先设置了干扰权重值及初始权重值的第二映射关系,如图6a-图6c所示,参见图6a,某宏块的初始权重值为1,以图6a中最中间的宏块为例说明,该宏块对邻近区域内各宏块的影响如图6a所示,该宏块对距离最近的第一圈的八个宏块均产生影响,该宏块对八个宏块的干扰权重值均是1,该宏块对第二圈的宏块产生影响,该宏块对第二圈的处于十字区域的宏块的干扰权重值为0.7,对第二圈其他宏块的干扰权重值为0.4,该宏块只影响外侧两圈的宏块,该宏块对第二圈之外的宏块没有影响,该宏块对第二圈之外的宏块的干扰权重值为0。
参见图6b,某宏块的初始权重值为0.7,以图6b中最中间的宏块为例说明,该宏块对邻近区域内各宏块的影响如图6b所示,该宏块对距离最近的第一圈的八个宏块均产生影响,该宏块对八个宏块的干扰权重值均是0.7,该宏块对第二圈的宏块产生影响,该宏块对第二圈的处于十字区域的宏块的干扰权重值为0.4,对第二圈其他宏块的干扰权重值为0,该宏块只影响外侧两圈的宏块,该宏块对第二圈之外的宏块没有影响,该宏块对第二圈之外的宏块的干扰权重值为0。
参见图6c,某宏块的初始权重值为0.4,以图6c中最中间的宏块为例说明,该宏块对邻近区域内各宏块的影响如图6c所示,该宏块对距离最近的第一圈的八个宏块均产生影响,该宏块对八个宏块的干扰权重值均是0.4,该宏块对第一圈的宏块产生影响,该宏块对第一圈的之外的宏块没有影响,该宏块对第一圈之外的宏块的干扰权重值为0。
本实施例中,获取预设的干扰权重值及初始权重值的第二映射关系,即图6a-图6c为第二映射关系,进一步根据第二映射关系以及每个宏块对应的邻近区域内各宏块的初始权重值确定每个宏块受邻近区域内宏块影响得到的干扰权重值。
实施例五
在本发明实施例四提供的高空抛物检测方法的基础上,对步骤102B中的根据第二映射关系以及每个宏块对应的邻近区域内各宏块的初始权重值确定每个宏块受邻近区域内宏块影响得到的干扰权重值进行了进一步细化,具体包括以下步骤:
步骤102B1,依次选择一个宏块,将选择的宏块确定为中心宏块,并根据中心宏块对应的第一邻近区域内多个第一宏块对应的初始权重值以及第二映射关系分别确定多个第一宏块相对于中心宏块的多个干扰权重值。
本实施例中,依次选择一个宏块,将选择的宏块确定为中心宏块,如图7a所示,选择的宏块为权重值为0.4的宏块(图7a中画圈的宏块),将该宏块确定为中心宏块,邻近区域包括第一邻近区域以及第二邻近区域,第一邻近区域为中心宏块外侧第一圈宏块所围成的区域,第一邻近区域内包括多个第一宏块。其中,第二邻近区域为中心宏块外侧第二圈宏块所围成的区域,第二邻近区域包括多个第二宏块。
本实施例中,如图7a所示,以权重值0.4的宏块为中心宏块,将权重值为0.4的宏块确定为中心宏块,该中心宏块对应的第一邻近区域有8个第一宏块,其中,该中心宏块左上方的第一宏块的初始权重值为1,该中心宏块上方的第一宏块的初始权重值为1,该中心宏块右上方的第一宏块的初始权重值为0,该中心宏块右方的第一宏块的初始权重值为0,该中心宏块右下方的第一宏块的初始权重值为0,该中心宏块下方的第一宏块的初始权重值为0.4,该中心宏块左下方的第一宏块的初始权重值为0.4,该中心宏块左方的第一宏块的初始权重值为0.7。
本实施例中,根据第一邻近区域内各第一宏块对应的初始权重值以及第二映射关系确定各第一宏块相对于中心宏块的干扰权重值,参见图7a,中心宏块左上方的第一宏块的初始权重值为1,参见图6a,权重值为1的宏块对第一邻近区域内的第一宏块的干扰权重值为1,参见图7b,中心宏块左上方的第一宏块的对其第一邻近区域内各第一宏块干扰权重值为1,故中心宏块的左上方的第一宏块的对中心宏块的干扰权重值为1(图7b中画圈的位置),此时中心宏块的权重值为初始权重值加上左上方的第一宏块的对中心宏块的干扰权重值,即0.4+1。继续参见图7a,中心宏块上方的第一宏块的初始权重值为1,参见图6a,权重值为1的宏块对第一邻近区域内的第一宏块的干扰权重值为1,参见图7c,中心宏块上方的第一宏块的对其第一邻近区域内各第一宏块干扰权重值为1,故中心宏块的左上方的第一宏块的对中心宏块的干扰权重值为1(图7c中画圈的位置),此时中心宏块的权重值为初始权重值加上左上方第一宏块以及上方的第一宏块的对中心宏块的干扰权重值,即0.4+1+1。继续参见图7a,中心宏块左方的第一宏块的初始权重值为0.7,参见图6b,权重值为0.7的宏块对第一邻近区域内的第一宏块的干扰权重值为0.7,参见图7d,中心宏块左方的第一宏块的对其第一邻近区域内各第一宏块干扰权重值为0.7,故中心宏块的左方的第一宏块的对中心宏块的干扰权重值为0.7(图7d中画圈的位置),此时中心宏块的权重值为初始权重值加上左上方第一宏块、上方的第一宏块以及左方的第一宏块对中心宏块的干扰权重值,即0.4+1+1+0.7。继续参见图7a,中心宏块左下方的第一宏块的初始权重值为0.4,参见图6c,权重值为0.4的宏块对第一邻近区域内的第一宏块的干扰权重值为0.4,参见图7e,中心宏块左下方的第一宏块的对其第一邻近区域内各第一宏块干扰权重值为0.4,故中心宏块的左下方的第一宏块的对中心宏块的干扰权重值为0.4(图7e中画圈的位置),此时中心宏块的权重值为初始权重值加上左上方第一宏块、上方的第一宏块、左方的第一宏块以及左下方的第一宏块对中心宏块的干扰权重值,即0.4+1+1+0.7+0.4。继续参见图7a,中心宏块下方的第一宏块的初始权重值为0.4,参见图6c,权重值为0.4的宏块对第一邻近区域内的第一宏块的干扰权重值为0.4,参见图7f,中心宏块下方的第一宏块的对其第一邻近区域内各第一宏块干扰权重值为0.4,故中心宏块的下方的第一宏块的对中心宏块的干扰权重值为0.4(图7f中画圈的位置),此时中心宏块的权重值为初始权重值加上左上方第一宏块、上方的第一宏块以、左方的第一宏块、左下方的第一宏块及下方的第一宏块对中心宏块的干扰权重值,即0.4+1+1+0.7+0.4+0.4=3.9。
步骤102B2,根据中心宏块对应的第二邻近区域内多个第二宏块对应的初始权重值以及第二映射关系分别确定多个第二宏块相对于中心宏块的多个干扰权重值,第二邻近区域与第一邻近区域分别以中心宏块为中心,第二邻近区域位于第一邻近区域的外围。
本实施例中,第二邻近区域为中心宏块外侧第二圈宏块所围成的区域,第二邻近区域包括多个第二宏块,根据中心宏块对应的第二邻近区域内多个第二宏块相对于中心宏块的多个干扰权重值,图7a所示,中心宏块对应的第二邻近区域有7个宏块,第二邻近区域内的宏块的初始权重值均为0,图7a是一种比较特殊的,若第二邻近区域内的宏块的初始权重值不为0,其计算方式请参照第一邻近区域内多个第一宏块相对于宏块的干扰权重值。
步骤102B3,将多个第一宏块相对于中心宏块的多个干扰权重值与多个第二宏块相对于中心宏块的多个干扰权重值之和确定为该中心宏块受邻近区域内宏块影响得到的干扰权重值,以获得每个宏块受邻近区域内宏块影响得到的干扰权重值。
本实施例中,将多个第一宏块相对于中心宏块的多个干扰权重值与多个第二宏块相对于中心宏块的多个干扰权重值相加,将上述权重值相加的数值确定为该中心宏块受邻近区域内宏块影响得到的干扰权重值,如图7a所示,中心宏块对应的第一邻近区域的多个第一宏块的干扰权重值为1+1+0.7+0.4+0.4=3.5,计算中不包含中心宏块的初始权重值,只计算多个第一宏块的多个干扰权重值之和。中心宏块第二邻近区域的各宏块对中心宏块的干扰权重值均为0,即中心宏种块对应的第二邻近区域的多个第二宏块的干扰权重值为0。将3.5+0=3.5,将3.5确定为该中心宏块受邻近区域内宏块影响得到的干扰权重值。依次计算每个宏块受邻近区域内宏块影响得到的干扰权重值。
实施例六
图8是本发明实施例六提供的高空抛物检测方法的流程示意图,如图8所示,在本发明实施例一提供的高空抛物检测方法的基础上,对步骤102中的基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图进行了进一步细化,具体包括以下步骤:
步骤102C,将每个宏块对应的初始权重值以及干扰权重值相加,获得每个宏块对应的总权重值。
本实施例中,将某宏块对应的初始权重值以及该宏块受邻近区域内宏块影响得到的干扰权重值相加,邻近区域包括第一邻近区域以及第二邻近区域,第一邻近区域有多个第一宏块,第二邻近区域有多个第二宏块,确定宏块受第一邻近区域内多个第一宏块影响得到的干扰权重值,确定宏块受第二邻近区域内多个第二宏块影响得到的干扰权重值,计算宏块的初始权重值、受第一邻近区域内多个第一宏块影响得到的干扰权重值、受第二邻近区域内多个第二宏块影响得到的干扰权重值相加,得到宏块对应的总权重值。采用上述方式计算图像帧中各宏块的总权重值。
步骤102D,将每个宏块对应的总权重值与第一预设权重值进行比较。
本实施例中,获取第一预设权重值,将每个宏块对应的总权重值与第一预设权重值进行比较,根据权重值比较结果对宏块所在位置进行标记。
步骤102E,将总权重值小于或等于第一预设权重值的宏块所在位置标记为0,将总权重值大于第一预设权重值的宏块所在位置标记为1,根据标记结果生成对应的二值图,将该二值图确定为能量图。
本实施例中,将总权重值小于或等于第一预设权重值的宏块所在的位置标记为0,并将总权重值大于第一预设权重值的宏块所在的位置标记为1,进一步根据标记结果生成二值图,将该二值图确定为能量图。
实施例七
在本发明实施例六提供的高空抛物检测方法的基础上,对步骤103中的确定能量图中的待测区域进行了进一步细化,具体包括以下步骤:
步骤1031,将标记结果中为1的区域进行连通,得到至少一个连通区域,将连通区域确定为能量图中的待测区域。
本实施例中,将二值图中标记结果为1的区域进行连通,得到至少一个连通区域,将得到的连通区域确定为能量图中的待测区域,如图9所示,将二值图中标记结果为1的区域进行连通,浅灰色区域为待测区域,待测区域中可能存在物体例如高空抛物的区域,进一步确定待测区域是否为目标区域。
实施例八
在本发明实施例一提供的高空抛物检测方法的基础上,对步骤103中的确定待测区域是否为目标区域进行了进一步细化,具体包括以下步骤:
步骤1032,获取待测区域对应的宏块个数,并确定待测区域对应的包围区域,包围区域为将待测区域进行包围的区域。
本实施例中,获取待测区域对应的宏块个数,进一步对待测区域进行包围,确定待测区域对应的包围框区域,如图9所示,待测区域对应的包围框区域为浅灰色区域以及深灰色区域构成的区域,包围框区域为长方形或正方形。
步骤1033,计算包围区域对应的宏块个数,并根据待测区域对应的宏块个数以及包围区域对应的宏块个数确定对应的目标参数。
本实施例中,计算包围区域对应的宏块个数,例如,图9中的待测区域宏块个数为10个,包围区域对应的宏块个数为12个,根据待测区域对应的宏块个数以及包围区域对应的宏块个数计算对应的目标参数,公式如下:
其中,Mw为目标参数,X为待测区域宏块个数,Y为包围区域对应的宏块个数。
步骤1034,若目标参数大于预设目标参数,则确定待测区域为目标区域。
本实施例中,预先设置目标参数,将目标参数与预设目标参数进行比较,根据参数比较结果确定待测区域是否为目标区域,若目标参数大于预设目标参数,进一步确定待测区域为目标区域。
步骤1035,若目标参数小于或等于预设目标参数,则确定待测区域不为目标区域。
本实施例中,若目标参数小于或等于预设目标参数,进一步确定待测区域为非目标区域。
实施例九
图10是本发明实施例九提供的高空抛物检测方法的流程示意图,如图10所示,在本发明实施例八提供的高空抛物检测方法的基础上,步骤1032中的确定待测区域对应的包围区域进行了进一步细化,具体包括以下步骤:
步骤1032a,获取待测区域中横轴方向的最大宏块个数及纵轴方向的最大宏块个数。
本实施例中,获取待测区域中横轴方向的最大宏块个数,例如,图9中待测区域中两个横轴方向的宏块个数为3个,另一个横轴方向的宏块个数为4个,则4为待测区域中横轴方向的最大宏块个数;待测区域中三个纵轴方向的宏块个数为3个,另一个纵轴方向的宏块个数为1个,则3为待测区域中横轴方向的最大宏块个数。
步骤1032b,根据横轴方向的最大宏块个数及纵轴方向的最大宏块个数确定对应的矩形区域,矩形区域横轴方向具有的宏块包括待测区域中横轴方向的所有宏块,矩形区域纵轴方向具有的宏块包括待测区域中纵轴方向的所有宏块。
本实施例中,根据横轴方向的最大宏块个数及纵轴方向的最大宏块个数确定对应的矩形区域,如图9所示,3×4的宏块所在为的区域为矩形区域,该矩形区域横轴方向对应的宏块包括了待测区域横轴方向的所有宏块,同时也包括了待测区域纵轴方向的所有宏块。
步骤1032c,将矩形区域确定为待测区域对应的包围区域。
本实施例中,将矩形区域确定为待测区域对应的包围区域,该包围区域为将待测区域进行包围的区域。
实施例十
在本发明实施例一提供的高空抛物检测方法的基础上,对步骤105进行了进一步细化,具体包括以下步骤:
步骤1051,在当前图像帧及之后的预设数量的连续图像帧中按照预设时间间隔选择至少三个图像帧。
本实施例中,在当前图像帧以及当前图像帧之后的预设数量的连续图像帧中按照预设时间间隔选择至少三个图像帧,其中,预设数量可根据实际需要设定,例如,将预设数量设置为250帧,每秒25帧,250帧为10s。预设时间间隔根据实际需要设定,例如,预设时间间隔设置为10帧,从当前图像帧以及当前图像帧之后的预设数量的连续图像帧中按每间隔10帧选择至少三个图像帧。
步骤1052,计算三个图像帧中第一图像帧对应的第一目标区域与三个图像帧中第二图像帧对应的第二目标区域之间的第一方向向量,并计算第二目标区域与三个图像帧中第三图像帧对应的第三目标区域之间的第二方向向量。
本实施例中,获取三个图像帧,将三个图像帧按照时间进行排序,时间最早的为第一图像帧,其次是第二图像帧,最后是第三图像帧,每个图像帧中都有其对应的目标区域,计算三个图像帧中第一图像帧对应的第一目标区域与第二图像帧对应的第二目标区域之间的第一方向向量,以及计算三个图像帧中第二图像帧对应的第二目标区域与第三图像帧对应的第三目标区域之间的第二方向向量。
步骤1053,计算第一目标区域的重心与第二目标区域的重心的差值,将该差值确定为第一重心距离,并计算第二目标区域的重心与第三目标区域的重心的差值,将该差值确定为第二重心距离。
本实施例中,确定第一图像帧对应的第一目标区域的重心、第二图像帧对应的第二目标区域的重心以及第三图像帧对应的第三目标区域的重心,计算第一图像帧对应的第一目标区域的重心与第二图像帧对应的第二目标区域的重心的差值,将该差值确定为第一重心距离。并计算第二图像帧对应的第二目标区域的重心与第三图像帧对应的第三目标区域的重心的差值,将该差值确定为第二重心距离。
步骤1054,获取第一目标区域的第一面积、第二目标区域的第二面积及第三目标区域的第三面积。
本实施例中,获取第一图像帧对应的第一目标区域的第一面积,第二图像帧对应的第二目标区域的第二面积以及第三图像帧对应的第三目标区域的第三面积,通过比较面积,若确定面积逐渐增大,有可能存在高空抛物。
步骤1055,根据第一方向向量、第二方向向量、第一重心距离、第二重心距离、第一面积、第二面积及第三面积确定当前图像帧与之后的预设数量的连续图像帧中每三个图像帧对应的目标区域是否均满足预设高空抛物状态条件。
本实施例中,确定第一方向、第二方向是否为预设方向,比较第一重心距离以及第二重心距离的大小,比较第一面积、第二面积及第三面积的大小,通过上述结果确定选择的图像帧对应的目标区域是否均满足预设高空抛物状态条件。
实施例十一
在本发明实施例十提供的高空抛物检测方法的基础上,对步骤1054进行了进一步细化,具体包括以下步骤:
步骤1054a,将第一方向向量及第二方向向量均为预设方向确定为第一判定条件,将第二重心距离大于第一重心距离确定为第二判定条件,并将第二面积大于第一面积且小于第三面积确定为第三判定条件。
本实施例中,将第一方向向量及第二方向向量均为预设方向确定为第一判定条件,其中,预设方向为竖直向下。将第二重心距离大于第一重心距离确定为第二判定条件。进一步将第二面积大于第一面积且小于第三面积确定为第三判定条件。
步骤1054b,若满足第一判定条件、第二判定条件以及第三判定条件中的至少两个判定条件,则确定选择的多个图像帧对应的目标区域满足预设高空抛物状态条件。
本实施例中,若第一方向向量及第二方向向量均为预设方向,则满足第一判断条件。若第二重心距离大于第一重心距离,则满足第二判定条件。若第二面积大于第一面积且小于第三面积,则满足第三判定条件。若满足上述三个判定条件中的至少两个判定条件,说明物体在多个图像帧中均存在且该物体状态符合高空抛物状态,确定选择的多个图像帧对应的目标区域满足预设高空抛物状态条件。
步骤1054c,若不满足第一判定条件、第二判定条件以及第三判定条件中的任意两个判定条件,则确定选择的多个图像帧对应的目标区域不满足预设高空抛物状态条件。
本实施例中,若第一方向向量和/或第二方向向量不为预设方向,则不满足第一判断条件。若第二重心距离小于或等于第一重心距离,则不满足第二判定条件。若第二面积小于等于第一面积和/或第二面积大于等于第三面积,则不满足第三判定条件。若不满足上述三个判定条件中的任意两个判定条件,说明虽然物体在多个图像帧中均存在,但是该物体状态不符合高空抛物状态,有可能是风筝或者鸟类等干扰物体,确定选择的多个图像帧对应的目标区域不满足预设高空抛物状态条件。
实施例十二
在本发明实施例一提供的高空抛物检测方法的基础上,步骤104之后,还包括以下步骤:
步骤201,若是,则确定当前图像帧与之后的连续图像帧中每相邻图像帧对应的目标区域是否均满足预设高空抛物状态条件。
本实施例中,若确定预设数量的连续图像帧均存在目标区域,说明这个物体的存活了一段时间,有可能是高抛物体,也有可能是否一些动物例如鸟类,需要进一步确定当前图像帧以及预设数量的连续图像帧中每相邻图像帧对应的目标区域是否均满足预设高空抛物状态条件,具体地,计算将当前图像帧以及预设数量的连续图像帧每相邻的三个图像帧中相邻的两个图像帧的方向向量、重心距离以及面积,根据方向向量、重心距离以及面积确定是否均满足预设高空抛物状态条件。
步骤202,若是,则确定目标区域中存在高空抛物。
本实施例中,若确定当前图像帧与之后的连续图像帧中每相邻图像帧对应的目标区域均满足预设高空抛物状态条件,说明当前图像帧与之后的连续图像帧中每相邻图像帧都存在同一个物体,且这个物体满足预设高空抛物状态条件,确定目标区域中存在高抛物体。
可选地,对步骤201进行了进一步细化,具体包括以下步骤:
步骤2011,计算每三个相邻图像帧中第一图像帧对应的第一目标区域与相邻图像帧中第二图像帧对应的第二目标区域之间的第一方向向量,并计算第二目标区域与相邻图像帧中第三图像帧对应的第三目标区域之间的第二方向向量。
本实施例中,获取三个相邻图像帧,将三个相邻图像帧按照时间进行排序,时间最早的为第一图像帧,其次是第二图像帧,最后是第三图像帧,每个图像帧中都有其对应的目标区域,计算每三个相邻图像帧中第一图像帧对应的第一目标区域与第二图像帧对应的第二目标区域之间的第一方向向量,以及计算每三个相邻图像帧中第二图像帧对应的第二目标区域与第三图像帧对应的第三目标区域之间的第二方向向量。
步骤2012,计算第一目标区域的重心与第二目标区域的重心的差值,将该差值确定为第一重心距离,并计算第二目标区域的重心与第三目标区域的重心的差值,将该差值确定为第二重心距离。
本实施例中,确定第一图像帧对应的第一目标区域的重心、第二图像帧对应的第二目标区域的重心以及第三图像帧对应的第三目标区域的重心,计算第一图像帧对应的第一目标区域的重心与第二图像帧对应的第二目标区域的重心的差值,将该差值确定为第一重心距离。并计算第二图像帧对应的第二目标区域的重心与第三图像帧对应的第三目标区域的重心的差值,将该差值确定为第二重心距离。
步骤2013,获取第一目标区域的第一面积、第二目标区域的第二面积及第三目标区域的第三面积。
本实施例中,获取第一图像帧对应的第一目标区域的第一面积,第二图像帧对应的第二目标区域的第二面积以及第三图像帧对应的第三目标区域的第三面积,通过比较面积,若确定面积逐渐增大,有可能存在高空抛物。
步骤2014,根据第一方向向量、第二方向向量、第一重心距离、第二重心距离、第一面积、第二面积及第三面积确定当前图像帧与之后的连续图像帧中每相邻图像帧对应的目标区域是否均满足预设高空抛物状态条件。
本实施例中,确定第一方向、第二方向是否为预设方向,比较第一重心距离以及第二重心距离的大小,比较第一面积、第二面积及第三面积的大小,通过上述结果确定当前图像帧与之后的连续图像帧中每相邻图像帧对应的目标区域是否均满足预设高空抛物状态条件。
可选地,对2014进行了进一步细化,具体包括以下步骤:
步骤2014a,将第一方向向量及第二方向向量均为预设方向确定为第一判定条件,将第二重心距离大于第一重心距离确定为第二判定条件,并将第二面积大于第一面积且小于第三面积确定为第三判定条件。
本实施例中,将第一方向向量及第二方向向量均为预设方向确定为第一判定条件,其中,预设方向为竖直向下。将第二重心距离大于第一重心距离确定为第二判定条件。进一步将第二面积大于第一面积且小于第三面积确定为第三判定条件。
步骤2014b,若满足第一判定条件、第二判定条件以及第三判定条件中的至少两个判定条件,则确定相邻图像帧对应的目标区域满足预设高空抛物状态条件。
本实施例中,若第一方向向量及第二方向向量均为预设方向,则满足第一判断条件。若第二重心距离大于第一重心距离,则满足第二判定条件。若第二面积大于第一面积且小于第三面积,则满足第三判定条件。若满足上述三个判定条件中的至少两个判定条件,说明物体在多个图像帧中均存在且该物体状态符合高空抛物状态,确定相邻图像帧对应的目标区域满足预设高空抛物状态条件。
步骤2014c,若不满足第一判定条件、第二判定条件以及第三判定条件中的任意两个判定条件,则确定相邻图像帧对应的目标区域不满足预设高空抛物状态条件。
本实施例中,若第一方向向量和/或第二方向向量不为预设方向,则不满足第一判断条件。若第二重心距离小于或等于第一重心距离,则不满足第二判定条件。若第二面积小于等于第一面积和/或第二面积大于等于第三面积,则不满足第三判定条件。若不满足上述三个判定条件中的任意两个判定条件,说明虽然物体在多个图像帧中均存在,但是该物体状态不符合高空抛物状态,有可能是风筝或者鸟类等干扰物体,确定相邻图像帧对应的目标区域不满足预设高空抛物状态条件。
实施例十三
在本发明实施例一提供的高空抛物检测方法的基础上,步骤106之后,还包括以下步骤:
步骤107,生成高空抛物报警提示信息,将高空抛物报警提示信息发送至对应的用户终端。
本实施例中,在确定目标区域中存在高空抛物后,生成高空抛物报警提示信息,将高空抛物报警提示信息发送至对应的用户终端,通知用户存在高空抛物。
实施例十四
在本发明实施例一提供的高空抛物检测方法的基础上,步骤103之后,还包括以下步骤:
步骤103X,若否,则获取下一图像帧,将下一图像帧确定为当前图像帧,并执行对当前图像帧进行划分,获得当前图像帧对应的多个宏块的步骤。
本实施例中,若待测区域中不存在目标区域,则获取待测的下一图像帧,将该图像帧确定为当前图像帧,并对该图像帧进行划分,获得当前图像帧对应的多个宏块,确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图;确定能量图中的待测区域,并确定待测区域是否为目标区域;若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域;若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;若是,则确定目标区域中存在高空抛物。
图11是本发明一实施例提供的空抛物检测装置的结构示意图,如图11所示,本实施例提供的高空抛物检测装置200包括请求获取单元201,确定单元202。
其中,获取单元201,用于获取当前图像帧,对当前图像帧进行划分,以获得当前图像帧对应的多个宏块。确定单元202,用于确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图。确定单元202,还用于确定能量图中的待测区域,并确定待测区域是否为目标区域。确定单元202,还用于若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域。确定单元202,还用于若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件。确定单元202,还用于若是,则确定目标区域中存在高空抛物。
可选地,确定单元,还用于确定每个宏块的宏块类型;根据每个宏块的宏块类型确定每个宏块对应的初始权重值。
可选地,确定单元,还用于获取预设的宏块类型与权重值的第一映射关系;将各宏块的宏块类型与第一映射关系中的宏块类型进行匹配;将匹配的宏块类型对应的权重值确定为宏块对应的初始权重值。
可选地,确定单元,还用于获取每个宏块对应的邻近区域内各宏块的初始权重值;获取预设的干扰权重值及初始权重值的第二映射关系,并根据第二映射关系以及每个宏块对应的邻近区域内各宏块的初始权重值确定每个宏块受邻近区域内宏块影响得到的干扰权重值。
可选地,确定单元,还用于依次选择一个宏块,将选择的宏块确定为中心宏块,并根据中心宏块对应的第一邻近区域内多个第一宏块对应的初始权重值以及第二映射关系分别确定多个第一宏块相对于中心宏块的多个干扰权重值;根据中心宏块对应的第二邻近区域内多个第二宏块对应的初始权重值以及第二映射关系分别确定多个第二宏块相对于中心宏块的多个干扰权重值,第二邻近区域与第一邻近区域分别以中心宏块为中心,第二邻近区域位于第一邻近区域的外围;将多个第一宏块相对于中心宏块的多个干扰权重值与多个第二宏块相对于中心宏块的多个干扰权重值之和确定为该中心宏块受邻近区域内宏块影响得到的干扰权重值,以获得每个宏块受邻近区域内宏块影响得到的干扰权重值。
可选地,确定单元,还用于将每个宏块对应的初始权重值以及干扰权重值相加,获得每个宏块对应的总权重值;将每个宏块对应的总权重值与第一预设权重值进行比较;将总权重值小于或等于第一预设权重值的宏块所在位置标记为0,将总权重值大于第一预设权重值的宏块所在位置标记为1,根据标记结果生成对应的二值图,将该二值图确定为能量图。
可选地,确定单元,还用于将标记结果中为1的区域进行连通,得到至少一个连通区域,将连通区域确定为能量图中的待测区域。
可选地,确定单元,还用于获取待测区域对应的宏块个数,并确定待测区域对应的包围区域,包围区域为将待测区域进行包围的区域;计算包围区域对应的宏块个数,并根据待测区域对应的宏块个数以及包围区域对应的宏块个数确定对应的目标参数;若目标参数大于预设目标参数,则确定待测区域为目标区域;若目标参数小于或等于预设目标参数,则确定待测区域不为目标区域。
可选地,确定单元,还用于获取待测区域中横轴方向的最大宏块个数及纵轴方向的最大宏块个数;根据横轴方向的最大宏块个数及纵轴方向的最大宏块个数确定对应的矩形区域,矩形区域横轴方向具有的宏块包括待测区域中横轴方向的所有宏块,矩形区域纵轴方向具有的宏块包括待测区域中纵轴方向的所有宏块;将矩形区域确定为待测区域对应的包围区域。
可选地,确定单元,还用于在当前图像帧及之后的预设数量的连续图像帧中按照预设时间间隔选择至少三个图像帧;计算三个图像帧中第一图像帧对应的第一目标区域与三个图像帧中第二图像帧对应的第二目标区域之间的第一方向向量,并计算第二目标区域与三个图像帧中第三图像帧对应的第三目标区域之间的第二方向向量;计算第一目标区域的重心与第二目标区域的重心的差值,将该差值确定为第一重心距离,并计算第二目标区域的重心与第三目标区域的重心的差值,将该差值确定为第二重心距离;获取第一目标区域的第一面积、第二目标区域的第二面积及第三目标区域的第三面积;根据第一方向向量、第二方向向量、第一重心距离、第二重心距离、第一面积、第二面积及第三面积确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件。
可选地,确定单元,还用于将第一方向向量及第二方向向量均为预设方向确定为第一判定条件,将第二重心距离大于第一重心距离确定为第二判定条件,并将第二面积大于第一面积且小于第三面积确定为第三判定条件;若满足第一判定条件、第二判定条件以及第三判定条件中的至少两个判定条件,则确定选择的多个图像帧对应的目标区域满足预设高空抛物状态条件;若不满足第一判定条件、第二判定条件以及第三判定条件中的任意两个判定条件,则确定选择的多个图像帧对应的目标区域不满足预设高空抛物状态条件。
可选地,高空抛物检测装置还包括:发送单元。
发送单元,用于生成高空抛物报警提示信息,将高空抛物报警提示信息发送至对应的用户终端。
可选地,确定单元,还用于若否,则获取下一图像帧,将下一图像帧确定为当前图像帧,并执行对当前图像帧进行划分,获得当前图像帧对应的多个宏块的步骤。
图12是用来实现本发明实施例的高空抛物检测方法的电子设备的第一框图,如图12所示,该电子设备300包括:存储器301,处理器302。
存储器301存储计算机执行指令;
处理器执行302存储器存储的计算机执行指令,使得处理器执行上述任意一个实施例提供的方法。
在示例性实施例中,还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行上述任意一个实施例中的方法。
在示例性实施例中,还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行上述任意一个实施例中的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。
Claims (16)
1.一种高空抛物检测方法,其特征在于,所述方法包括:
获取当前图像帧,对当前图像帧进行划分,以获得当前图像帧对应的多个宏块;
确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图;
确定能量图中的待测区域,并确定待测区域是否为目标区域;
若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域;
若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;
若是,则确定目标区域中存在高空抛物。
2.根据权利要求1所述的方法,其特征在于,所述确定每个宏块对应的初始权重值,包括:
确定每个宏块的宏块类型;
根据每个宏块的宏块类型确定每个宏块对应的初始权重值。
3.根据权利要求2所述的方法,其特征在于,所述根据每个宏块的宏块类型确定每个宏块对应的初始权重值,包括:
获取预设的宏块类型与权重值的第一映射关系;
将各宏块的宏块类型与第一映射关系中的宏块类型进行匹配;
将匹配的宏块类型对应的权重值确定为宏块对应的初始权重值。
4.根据权利要求1所述的方法,其特征在于,所述确定每个宏块受邻近区域内宏块影响得到的干扰权重值,包括:
获取每个宏块对应的邻近区域内各宏块的初始权重值;
获取预设的干扰权重值及初始权重值的第二映射关系,并根据第二映射关系以及每个宏块对应的邻近区域内各宏块的初始权重值确定每个宏块受邻近区域内宏块影响得到的干扰权重值。
5.根据权利要求4所述的方法,其特征在于,所述根据第二映射关系以及每个宏块对应的邻近区域内各宏块的初始权重值确定每个宏块受邻近区域内宏块影响得到的干扰权重值,包括:
依次选择一个宏块,将选择的宏块确定为中心宏块,并根据中心宏块对应的第一邻近区域内多个第一宏块对应的初始权重值以及所述第二映射关系分别确定多个第一宏块相对于中心宏块的多个干扰权重值;
根据中心宏块对应的第二邻近区域内多个第二宏块对应的初始权重值以及所述第二映射关系分别确定多个第二宏块相对于中心宏块的多个干扰权重值,第二邻近区域与第一邻近区域分别以中心宏块为中心,第二邻近区域位于第一邻近区域的外围;
将多个第一宏块相对于中心宏块的多个干扰权重值与多个第二宏块相对于中心宏块的多个干扰权重值之和确定为该中心宏块受邻近区域内宏块影响得到的干扰权重值,以获得每个宏块受邻近区域内宏块影响得到的干扰权重值。
6.根据权利要求1所述的方法,其特征在于,所述基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图,包括:
将每个宏块对应的初始权重值以及所述干扰权重值相加,获得每个宏块对应的总权重值;
将每个宏块对应的总权重值与第一预设权重值进行比较;
将总权重值小于或等于第一预设权重值的宏块所在位置标记为0,将总权重值大于第一预设权重值的宏块所在位置标记为1,根据标记结果生成对应的二值图,将该二值图确定为能量图。
7.根据权利要求6所述的方法,其特征在于,所述确定能量图中的待测区域,包括:
将标记结果中为1的区域进行连通,得到至少一个连通区域,将所述连通区域确定为能量图中的待测区域。
8.根据权利要求1所述的方法,其特征在于,所述确定待测区域是否为目标区域,包括:
获取待测区域对应的宏块个数,并确定待测区域对应的包围区域,所述包围区域为将所述待测区域进行包围的区域;
计算包围区域对应的宏块个数,并根据待测区域对应的宏块个数以及包围区域对应的宏块个数确定对应的目标参数;
若目标参数大于预设目标参数,则确定待测区域为目标区域;
若目标参数小于或等于预设目标参数,则确定待测区域不为目标区域。
9.根据权利要求8所述的方法,其特征在于,所述确定待测区域对应的包围区域,包括:
获取待测区域中横轴方向的最大宏块个数及纵轴方向的最大宏块个数;
根据横轴方向的最大宏块个数及纵轴方向的最大宏块个数确定对应的矩形区域,所述矩形区域横轴方向具有的宏块包括待测区域中横轴方向的所有宏块,所述矩形区域纵轴方向具有的宏块包括待测区域中纵轴方向的所有宏块;
将所述矩形区域确定为待测区域对应的包围区域。
10.根据权利要求1所述的方法,其特征在于,所述确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件,包括:
在当前图像帧及之后的预设数量的连续图像帧中按照预设时间间隔选择至少三个图像帧;
计算三个图像帧中第一图像帧对应的第一目标区域与三个图像帧中第二图像帧对应的第二目标区域之间的第一方向向量,并计算所述第二目标区域与三个图像帧中第三图像帧对应的第三目标区域之间的第二方向向量;
计算所述第一目标区域的重心与所述第二目标区域的重心的差值,将该差值确定为第一重心距离,并计算第二目标区域的重心与所述第三目标区域的重心的差值,将该差值确定为第二重心距离;
获取所述第一目标区域的第一面积、所述第二目标区域的第二面积及所述第三目标区域的第三面积;
根据第一方向向量、第二方向向量、第一重心距离、第二重心距离、第一面积、第二面积及第三面积确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件。
11.根据权利要求10所述的方法,其特征在于,所述根据第一方向向量、第二方向向量、第一重心距离、第二重心距离、第一面积、第二面积及第三面积确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件,包括:
将第一方向向量及第二方向向量均为预设方向确定为第一判定条件,将第二重心距离大于第一重心距离确定为第二判定条件,并将第二面积大于第一面积且小于第三面积确定为第三判定条件;
若满足第一判定条件、第二判定条件以及第三判定条件中的至少两个判定条件,则确定选择的多个图像帧对应的目标区域满足预设高空抛物状态条件;
若不满足第一判定条件、第二判定条件以及第三判定条件中的任意两个判定条件,则确定选择的多个图像帧对应的目标区域不满足预设高空抛物状态条件。
12.根据权利要求1所述的方法,其特征在于,所述确定目标区域中存在高空抛物之后,还包括:
生成高空抛物报警提示信息,将高空抛物报警提示信息发送至对应的用户终端。
13.根据权利要求1所述的方法,其特征在于,所述确定待测区域是否为目标区域之后,还包括:
若否,则获取下一图像帧,将下一图像帧确定为当前图像帧,并执行所述对当前图像帧进行划分,以获得当前图像帧对应的多个宏块的步骤。
14.一种高空抛物检测装置,其特征在于,所述装置包括:
获取单元,用于获取当前图像帧,对当前图像帧进行划分,以获得当前图像帧对应的多个宏块;
确定单元,用于确定每个宏块对应的初始权重值,并确定每个宏块受邻近区域内宏块影响得到的干扰权重值,并基于每个宏块对应的初始权重值以及干扰权重值确定当前图像帧对应的能量图;
确定单元,还用于确定能量图中的待测区域,并确定待测区域是否为目标区域;
确定单元,还用于若是,则获取当前图像帧之后的预设数量的连续图像帧,并确定预设数量的连续图像帧是否存在目标区域;
确定单元,还用于若是,则确定在当前图像帧及之后的预设数量的连续图像帧中选择的多个图像帧对应的目标区域是否均满足预设高空抛物状态条件;
确定单元,还用于若是,则确定目标区域中存在高空抛物。
15.一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至13中任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至13任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210328786.4A CN114596531B (zh) | 2022-03-31 | 2022-03-31 | 高空抛物检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210328786.4A CN114596531B (zh) | 2022-03-31 | 2022-03-31 | 高空抛物检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114596531A true CN114596531A (zh) | 2022-06-07 |
CN114596531B CN114596531B (zh) | 2022-08-05 |
Family
ID=81821403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210328786.4A Active CN114596531B (zh) | 2022-03-31 | 2022-03-31 | 高空抛物检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114596531B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009068553A1 (en) * | 2007-11-30 | 2009-06-04 | Telefonaktiebolaget L M Ericsson (Publ) | Marking of images |
US20110170597A1 (en) * | 2010-01-08 | 2011-07-14 | Xun Shi | Method and device for motion vector estimation in video transcoding using full-resolution residuals |
US20130089136A1 (en) * | 2011-10-10 | 2013-04-11 | Texas Instruments Incorporated | Spatial Intra Prediction Estimation Based on Mode Suppression in Macroblocks of a Video Frame |
CN103065326A (zh) * | 2012-12-26 | 2013-04-24 | 西安理工大学 | 基于时-空多尺度运动注意力分析的目标检测方法 |
CN103514608A (zh) * | 2013-06-24 | 2014-01-15 | 西安理工大学 | 基于运动注意力融合模型的运动目标检测与提取方法 |
US20180232889A1 (en) * | 2017-02-14 | 2018-08-16 | Cisco Technology, Inc. | Generating and reviewing motion metadata |
CN109982093A (zh) * | 2017-12-28 | 2019-07-05 | 展讯通信(上海)有限公司 | 视频解码错误补偿方法及装置、存储介质、终端 |
CN111161316A (zh) * | 2019-12-18 | 2020-05-15 | 深圳云天励飞技术有限公司 | 目标物体跟踪方法、装置及终端设备 |
CN113256559A (zh) * | 2021-04-14 | 2021-08-13 | 南京鑫和汇通电子科技有限公司 | 一种高空抛物的快速检测方法 |
CN113573013A (zh) * | 2021-06-16 | 2021-10-29 | 山东鸣迅智能科技有限公司 | 一种用于高空异物监测的小区智能安防系统 |
CN114241012A (zh) * | 2022-02-23 | 2022-03-25 | 深圳市研超科技有限公司 | 一种高空抛物的判定方法及装置 |
-
2022
- 2022-03-31 CN CN202210328786.4A patent/CN114596531B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009068553A1 (en) * | 2007-11-30 | 2009-06-04 | Telefonaktiebolaget L M Ericsson (Publ) | Marking of images |
US20110170597A1 (en) * | 2010-01-08 | 2011-07-14 | Xun Shi | Method and device for motion vector estimation in video transcoding using full-resolution residuals |
US20130089136A1 (en) * | 2011-10-10 | 2013-04-11 | Texas Instruments Incorporated | Spatial Intra Prediction Estimation Based on Mode Suppression in Macroblocks of a Video Frame |
CN103065326A (zh) * | 2012-12-26 | 2013-04-24 | 西安理工大学 | 基于时-空多尺度运动注意力分析的目标检测方法 |
CN103514608A (zh) * | 2013-06-24 | 2014-01-15 | 西安理工大学 | 基于运动注意力融合模型的运动目标检测与提取方法 |
US20180232889A1 (en) * | 2017-02-14 | 2018-08-16 | Cisco Technology, Inc. | Generating and reviewing motion metadata |
CN109982093A (zh) * | 2017-12-28 | 2019-07-05 | 展讯通信(上海)有限公司 | 视频解码错误补偿方法及装置、存储介质、终端 |
CN111161316A (zh) * | 2019-12-18 | 2020-05-15 | 深圳云天励飞技术有限公司 | 目标物体跟踪方法、装置及终端设备 |
CN113256559A (zh) * | 2021-04-14 | 2021-08-13 | 南京鑫和汇通电子科技有限公司 | 一种高空抛物的快速检测方法 |
CN113573013A (zh) * | 2021-06-16 | 2021-10-29 | 山东鸣迅智能科技有限公司 | 一种用于高空异物监测的小区智能安防系统 |
CN114241012A (zh) * | 2022-02-23 | 2022-03-25 | 深圳市研超科技有限公司 | 一种高空抛物的判定方法及装置 |
Non-Patent Citations (1)
Title |
---|
刘龙等: "基于运动注意力融合模型的目标检测与提取算法", 《模式识别与人工智能》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114596531B (zh) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105335955B (zh) | 对象检测方法和对象检测装置 | |
CN109784293B (zh) | 多类目标对象检测方法、装置、电子设备、存储介质 | |
JP5045371B2 (ja) | 動画像の各画素の前景背景分類装置、方法及びプログラム | |
AU2006252252B2 (en) | Image processing method and apparatus | |
CN109313805A (zh) | 图像处理装置、图像处理系统、图像处理方法和程序 | |
CN109544592B (zh) | 针对相机移动的运动目标检测算法 | |
CN111899470B (zh) | 人体跌倒检测方法、装置、设备及存储介质 | |
CN112560619B (zh) | 一种基于多聚焦图像融合的多距离鸟类精准识别方法 | |
CN109815787B (zh) | 目标识别方法、装置、存储介质及电子设备 | |
CN109313806A (zh) | 图像处理装置、图像处理系统、图像处理方法和程序 | |
CN109859236B (zh) | 运动物体检测方法、系统、计算设备及存储介质 | |
CN107481237B (zh) | 一种基于多帧温度特性的红外阵列图像热斑检测方法 | |
CN111291768A (zh) | 图像特征匹配方法及装置、设备、存储介质 | |
KR20120112293A (ko) | 이동체의 위치 판단 장치 및 위치 판단 방법 | |
CN116805204A (zh) | 一种智慧厂务监控方法及系统 | |
CN110879828B (zh) | 雷达回波图的处理方法、装置、计算机设备及存储介质 | |
CN109740527B (zh) | 一种视频帧中图像处理方法 | |
CN1198245C (zh) | 降低运动向量传输成本的运动估计方法 | |
CN114596531B (zh) | 高空抛物检测方法、装置、设备及存储介质 | |
CN110399868B (zh) | 一种滨海湿地鸟类检测方法 | |
CN114071015A (zh) | 一种联动抓拍路径的确定方法、装置、介质及设备 | |
RU2618927C2 (ru) | Способ обнаружения движущегося объекта | |
JPH09293141A (ja) | 移動物体検出装置 | |
CN112884805A (zh) | 一种跨尺度自适应映射的光场成像方法 | |
CN115171011A (zh) | 一种多类别建材视频计数方法及系统、计数设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 518100 Guangdong Shenzhen Baoan District Xixiang street, Wutong Development Zone, Taihua Indus Industrial Park 8, 3 floor. Patentee after: Shenzhen Haiqing Zhiyuan Technology Co.,Ltd. Address before: 518100 Guangdong Shenzhen Baoan District Xixiang street, Wutong Development Zone, Taihua Indus Industrial Park 8, 3 floor. Patentee before: SHENZHEN HIVT TECHNOLOGY Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |