CN114241012A - 一种高空抛物的判定方法及装置 - Google Patents

Abstract

本发明公开了一种高空抛物的判定方法及装置，其中，该方法包括：获取第一时间的原始图像帧，其中，所述原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；根据所述原始图像帧确定候选抛物物体；获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，其中，所述第二时间是所述第一时间的相邻时间；根据所述运行参数判定所述候选抛物物体为高空抛物物体。通过本发明，解决了相关技术通过视频识别高空抛物导致效率低的技术问题，实现了高空抛物的准确识别和判定，进一步实现了高空抛物的精准追溯和预警，也提升了高空抛物的监测效率。

Description

一种高空抛物的判定方法及装置

技术领域

本发明涉及计算机领域，更具体地，涉及一种高空抛物的判定方法及装置。

背景技术

相关技术中，高空抛物现象是现在小区安全的重要隐患，高空抛物不仅污染城市环境，还对地面上人的生命及财物造成威胁。

相关技术在进行高空抛物检测时，一般是通过多个摄像模块持续检测，通过人眼判定和追溯，当发生高空抛物现象需要定位时，高空抛物发生过程通常在几秒内，事后要从十几个小时的录像中定位到这一画面，往往十分困难，而且有些高空抛物行为已经发生但没有造成伤害，并不能及时发现、阻止并预警。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

为了解决现有技术的不足，本发明提供了一种高空抛物的判定方法及装置。

根据本申请实施例的一个方面，提供了一种高空抛物的判定方法，包括：获取第一时间的原始图像帧，其中，所述原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；根据所述原始图像帧确定候选抛物物体；获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，其中，所述第二时间是所述第一时间的相邻时间；根据所述运行参数判定所述候选抛物物体为高空抛物物体。

进一步地，根据所述原始图像帧确定候选抛物物体包括：将所述原始图像帧转换为灰度图；将所述灰度图输入预训练的抛物线模型，其中，所述预训练的抛物线模型包括依次连接的第一卷积层，第一池化层，第二卷积层，第二池化层，第三卷积层，第三池化层，第四卷积层，第四池化层，数据压平层，全连接层，其中，所述第一卷积层，所述第二卷积层，所述第三卷积层，所述第四卷积层分别用于提取所述灰度图中的图像特征，所述第一池化层，所述第二池化层，所述第三池化层，所述第四池化层用于对上一个卷积层输出的图像进行降维处理，所述数据压平层用于将所述第四池化层输出的图像特征转换为一维数组，所述全连接层用于对所述一维数组进行前向推理，并根据可信度阈值筛选出候选抛物图像；获取所述预训练的抛物线模型输出的若干个候选抛物图像，其中，每个候选抛物图像包括一个候选抛物物体。

进一步地，所述第一卷积层的特征提取尺寸为1920*1920*16，所述第二卷积层的特征提取尺寸为480*480*64，所述第三卷积层的特征提取尺寸为120*120*256，所述第四卷积层的特征提取尺寸为30*30*1024。

进一步地，根据所述原始图像帧确定候选抛物物体包括：比较所述原始图像帧和所述建筑物背景区的背景图像，在所述原始图像帧中提取除所述背景图像之外的前景图像，其中，所述原始图像帧包括所述背景图像和所述前景图像；在所述前景图像中提取与所述建筑物背景区重叠的第一子图像，以及在所述前景图像中提取在所述建筑物背景区外的第二子图像，其中，所述第一子图像对应第一目标物体，第二子图像对应第二目标物体；判断所述第一子图像与人物素材库是否匹配，判断所述第二子图像与物品素材库是否匹配，其中，所述人物素材库包括多个人物特征图像，所述物品素材库包括多个物品特征图像；若所述第一子图像与人物素材库匹配，且所述第二子图像与物品素材库匹配，将所述第一子图像中的目标物体确定为候选抛物物体。

进一步地，获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，包括：获取所述原始图像帧在第二时间的多个关联图像帧，其中，所述第二时间的包括所述第一时间之前的时间和所述第一时间之后的时间；采用所述原始图像帧和所述多个关联图像帧计算所述候选抛物物体的运行轨迹，并基于所述运行轨迹计算所述候选抛物物体的运动状态参数，其中，所述运行参数包括所述运行轨迹和所述运动状态参数，其中，所述运动状态参数用于表征所述候选抛物物体的以下状态至少之一：运动速度，运动距离，运动方向。

进一步地，采用所述原始图像帧和所述多个关联图像帧计算所述候选抛物物体的运行轨迹包括：在所述原始图像帧和所述多个关联图像帧中分别定位所述候选抛物物体；将所述原始图像帧和所述多个关联图像帧对齐后，分别在所述原始图像帧和所述多个关联图像帧中提取所述候选抛物物体的坐标点，得到坐标点集合；按照对应图像帧的时间戳对所述坐标点集合进行排序，得到坐标点队列；采用所述坐标点队列计算所述候选抛物物体的运行轨迹。

进一步地，基于所述运行轨迹计算所述候选抛物物体的运动状态参数包括：按照预设缩放比例将所述运行轨迹映射至目标场景，基于参考坐标生成所述候选抛物物体的空间抛物线，其中，所述参考坐标包括第一轴向和第二轴向，所述第一轴向为时间轴，所述第二轴向用于描述所述候选抛物物体相对参考平面的高度；定位所述空间抛物线中的起始点，终止点和若干个中间点；基于所述起始点，所述终止点和所述若干个中间点计算所述运动状态参数。

进一步地，根据所述运行参数判定所述候选抛物物体为高空抛物物体包括：计算所述候选抛物物体的初始速度，以及基于参考平面的初始高度；基于所述参考坐标和所述初始速度生成参考抛物线，基于所述初始高度和所述初始速度计算所述候选抛物物体的参考状态参数；判断所述空间抛物线与所述参考抛物线是否匹配；若所述空间抛物线与所述参考抛物线匹配，判断所述运动状态参数与所述参考状态参数是否匹配；若所述运动状态参数与所述参考状态参数匹配，确定所述候选抛物物体为高空抛物物体。

进一步地，在根据所述运行参数判定所述候选抛物物体为高空抛物物体之后，所述方法还包括：定位所述高空抛物物体在预设背景网络中的目标网格，其中，所述背景网络中的每个背景网格对应所述建筑物背景区一个窗户或阳台；查找所述目标网格对应的房屋信息；基于所述房屋信息生成高空抛物预警信息。

根据本申请实施例的另一方面，还提供了一种高空抛物的判定装置，包括：获取模块，用于获取第一时间的原始图像帧，其中，所述原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；选择模块，用于获根据所述原始图像帧确定候选抛物物体；计算模块，用于获获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，其中，所述第二时间是所述第一时间的相邻时间；判定模块，用于获根据所述运行参数判定所述候选抛物物体为高空抛物物体。

进一步地，所述确定模块包括：转换单元，用于将所述原始图像帧转换为灰度图；输入单元，用于将所述灰度图输入预训练的抛物线模型，其中，所述预训练的抛物线模型包括依次连接的第一卷积层，第一池化层，第二卷积层，第二池化层，第三卷积层，第三池化层，第四卷积层，第四池化层，数据压平层，全连接层，其中，所述第一卷积层，所述第二卷积层，所述第三卷积层，所述第四卷积层分别用于提取所述灰度图中的图像特征，所述第一池化层，所述第二池化层，所述第三池化层，所述第四池化层用于对上一个卷积层输出的图像进行降维处理，所述数据压平层用于将所述第四池化层输出的图像特征转换为一维数组，所述全连接层用于对所述一维数组进行前向推理，并根据可信度阈值筛选出候选抛物图像；获取单元，用于获取所述预训练的抛物线模型输出的若干个候选抛物图像，其中，每个候选抛物图像包括一个候选抛物物体。

进一步地，所述第一卷积层的特征提取尺寸为1920*1920*16，所述第二卷积层的特征提取尺寸为480*480*64，所述第三卷积层的特征提取尺寸为120*120*256，所述第四卷积层的特征提取尺寸为30*30*1024。

进一步地，所述确定模块包括：第一提取单元，用于比较所述原始图像帧和所述建筑物背景区的背景图像，在所述原始图像帧中提取除所述背景图像之外的前景图像，其中，所述原始图像帧包括所述背景图像和所述前景图像；第二提取单元，用于在所述前景图像中提取与所述建筑物背景区重叠的第一子图像，以及在所述前景图像中提取在所述建筑物背景区外的第二子图像，其中，所述第一子图像对应第一目标物体，第二子图像对应第二目标物体；判断单元，用于判断所述第一子图像与人物素材库是否匹配，判断所述第二子图像与物品素材库是否匹配，其中，所述人物素材库包括多个人物特征图像，所述物品素材库包括多个物品特征图像；确定单元，用于若所述第一子图像与人物素材库匹配，且所述第二子图像与物品素材库匹配，将所述第一子图像中的目标物体确定为候选抛物物体。

进一步地，所述计算模块包括：获取单元，用于获取所述原始图像帧在第二时间的多个关联图像帧，其中，所述第二时间的包括所述第一时间之前的时间和所述第一时间之后的时间；计算单元，用于采用所述原始图像帧和所述多个关联图像帧计算所述候选抛物物体的运行轨迹，并基于所述运行轨迹计算所述候选抛物物体的运动状态参数，其中，所述运行参数包括所述运行轨迹和所述运动状态参数，其中，所述运动状态参数用于表征所述候选抛物物体的以下状态至少之一：运动速度，运动距离，运动方向。

进一步地，所述计算单元包括：定位子单元，用于在所述原始图像帧和所述多个关联图像帧中分别定位所述候选抛物物体；提取子单元，用于将所述原始图像帧和所述多个关联图像帧对齐后，分别在所述原始图像帧和所述多个关联图像帧中提取所述候选抛物物体的坐标点，得到坐标点集合；排序子单元，用于按照对应图像帧的时间戳对所述坐标点集合进行排序，得到坐标点队列；第一计算子单元，用于采用所述坐标点队列计算所述候选抛物物体的运行轨迹。

进一步地，所述计算单元包括：生成子单元，用于按照预设缩放比例将所述运行轨迹映射至目标场景，基于参考坐标生成所述候选抛物物体的空间抛物线，其中，所述参考坐标包括第一轴向和第二轴向，所述第一轴向为时间轴，所述第二轴向用于描述所述候选抛物物体相对参考平面的高度；定位子单元，用于定位所述空间抛物线中的起始点，终止点和若干个中间点；第二子单元，用于基于所述起始点，所述终止点和所述若干个中间点计算所述运动状态参数。

进一步地，所述判定模块包括：计算单元，用于计算所述候选抛物物体的初始速度，以及基于参考平面的初始高度；处理单元，用于基于所述参考坐标和所述初始速度生成参考抛物线，基于所述初始高度和所述初始速度计算所述候选抛物物体的参考状态参数；第一判断单元，用于判断所述空间抛物线与所述参考抛物线是否匹配；第二判断单元，用于若所述空间抛物线与所述参考抛物线匹配，判断所述运动状态参数与所述参考状态参数是否匹配；确定单元，用于若所述运动状态参数与所述参考状态参数匹配，确定所述候选抛物物体为高空抛物物体。

进一步地，所述装置还包括：定位模块，用于在所述判定模块根据所述运行参数判定所述候选抛物物体为高空抛物物体之后，定位所述高空抛物物体在预设背景网络中的目标网格，其中，所述背景网络中的每个背景网格对应所述建筑物背景区一个窗户或阳台；查找模块，用于查找所述目标网格对应的房屋信息；生成模块，用于基于所述房屋信息生成高空抛物预警信息。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序运行时执行上述的方法步骤。

根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序； 处理器，用于通过运行存储器上所存放的程序来执行上述的方法步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

通过本发明，获取第一时间的原始图像帧，其中，原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；根据原始图像帧确定候选抛物物体，获取原始图像帧在第二时间的关联图像帧，根据原始图像帧和关联图像帧计算候选抛物物体的运行参数，其中，第二时间是第一时间的相邻时间，根据运行参数判定候选抛物物体为高空抛物物体，通过从原始图像帧中确定候选抛物物体，并根据原始图像帧和关联图像帧计算候选抛物物体的运行参数，根据运动参数判定高空抛物物体，采用原始图像帧进行高空抛物的静态监测，结合关联图像帧进行高空抛物的动态监测，解决了相关技术通过视频识别高空抛物导致效率低的技术问题，实现了高空抛物的准确识别和判定，进一步实现了高空抛物的精准追溯和预警，也提升了高空抛物的监测效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种摄像头的硬件结构框图；

图2是根据本发明实施例的一种高空抛物的判定方法的流程图；

图3是本发明实施例中抛物线模型的结构示意图；

图4是本发明实施例从原始图像帧中提取前景图像的示意图；

图5是本发明实施例判定高空抛物物体的示意图；

图6是根据本发明实施例的一种高空抛物的判定装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“预设”、“再次”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在摄像头、监控器、服务器、计算机、或者类似的运算装置中执行。以运行在摄像头上为例，图1是本发明实施例的一种摄像头的硬件结构框图。如图1所示，摄像头可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述摄像头还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述摄像头的结构造成限定。例如，摄像头还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储摄像头程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种高空抛物的判定方法对应的摄像头程序，处理器102通过运行存储在存储器104内的摄像头程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至摄像头。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括摄像头的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种高空抛物的判定方法，图2是根据本发明实施例的一种高空抛物的判定方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取第一时间的原始图像帧，其中，原始图像帧包括建筑物背景区，建筑物背景区为高空抛物的监测区域；

可选的，原始图像帧可以是图像采集装置针对小区、写字楼，商场，天桥等区域采集的原始图像帧，图像采集装置可以是摄像头等，原始图像帧包括需要进行高空抛物监测的区域，即建筑物背景区。

步骤S204，根据原始图像帧确定候选抛物物体；

本实施例的候选抛物物体是可疑的高空抛物物体，通过从原始图像帧中确定候选抛物物体，可以实现对高空抛物的初步监测。

步骤S206，获取原始图像帧在第二时间的关联图像帧，根据原始图像帧和关联图像帧计算候选抛物物体的运行参数，其中，第二时间是第一时间的相邻时间；

可选的，第二时间是第一时间的之前的时间，也可以是第一时间的之后的时间。

步骤S208，根据运行参数判定候选抛物物体为高空抛物物体。

由于高空抛物的行为发生的时间较短，当摄像头在按照预定周期分析原始图像帧，确定存在候选抛物物体时，可能已经发生了，这就需要继续获取第一时间之前的第一关联图像帧，确定到候选抛物物体出现在画面中的最早时间，以及获取第一时间之后的第二关联图像帧，确定到候选抛物物体出现在画面中的最后时间，形成完整证据链和动态的抛物轨迹，进而对高空抛物行为进行再次确定，防止误判，避免飞鸟，树叶抖动，阳台人物走动等画面导致的高空抛物误判。

通过上述步骤，获取第一时间的原始图像帧，其中，原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；根据原始图像帧确定候选抛物物体，获取原始图像帧在第二时间的关联图像帧，根据原始图像帧和关联图像帧计算候选抛物物体的运行参数，其中，第二时间是第一时间的相邻时间，根据运行参数判定候选抛物物体为高空抛物物体，通过从原始图像帧中确定候选抛物物体，并根据原始图像帧和关联图像帧计算候选抛物物体的运行参数，根据运动参数判定高空抛物物体，采用原始图像帧进行高空抛物的静态监测，结合关联图像帧进行高空抛物的动态监测，解决了相关技术通过视频识别高空抛物导致效率低的技术问题，实现了高空抛物的准确识别和判定，进一步实现了高空抛物的精准追溯和预警，也提升了高空抛物的监测效率。

在本实施例的一个实施方式中，根据原始图像帧确定候选抛物物体包括：将原始图像帧转换为灰度图；将灰度图输入预训练的抛物线模型，其中，预训练的抛物线模型包括依次连接的第一卷积层，第一池化层，第二卷积层，第二池化层，第三卷积层，第三池化层，第四卷积层，第四池化层，数据压平层，全连接层，其中，第一卷积层，第二卷积层，第三卷积层，第四卷积层分别用于提取灰度图中的图像特征，第一池化层，第二池化层，第三池化层，第四池化层用于对上一个卷积层输出的图像进行降维处理，数据压平层用于将第四池化层输出的图像特征转换为一维数组，全连接层用于对一维数组进行前向推理，并根据可信度阈值筛选出候选抛物图像；获取预训练的抛物线模型输出的若干个候选抛物图像，其中，每个候选抛物图像包括一个候选抛物物体。

可选的，第一卷积层的特征提取尺寸为1920*1920*16，第二卷积层的特征提取尺寸为480*480*64，第三卷积层的特征提取尺寸为120*120*256，第四卷积层的特征提取尺寸为30*30*1024。

图3是本发明实施例中抛物线模型的结构示意图，将原始图像帧输入至模型的输入层之后，先将其转换为灰度图，然后以此经过第一卷积层，第一池化层，第二卷积层，第二池化层，第三卷积层，第三池化层，第四卷积层，第四池化层，数据压平层，全连接层，最后输出。

在本实施例的另一个实施方式中，根据原始图像帧确定候选抛物物体包括：

S11，比较原始图像帧和建筑物背景区的背景图像，在原始图像帧中提取除背景图像之外的前景图像，其中，原始图像帧包括背景图像和前景图像；

除了提取相对背景图像的前景图像得到高空抛物的行为图像之外，还可以通过比较原始图像帧和建筑物背景区的预设参考图像（该预设参考图像用于描述未发生高空抛物时的画面），从原始图像帧中提取与该预设参考图像不同的区别像素点，基于区别像素点形成高空抛物的行为图像。

S12，在前景图像中提取与建筑物背景区重叠的第一子图像，以及在前景图像中提取在建筑物背景区外的第二子图像，其中，第一子图像对应第一目标物体，第二子图像对应第二目标物体；

由于一般的高空抛物行为发生时，人一般是在室内或者阳台等建筑物背景区内执行的，所以人物的画面与建筑物背景区重叠，但是高空抛出的物体的画面在建筑物背景区外。

S13，判断第一子图像与人物素材库是否匹配，判断第二子图像与物品素材库是否匹配，其中，人物素材库包括多个人物特征图像，物品素材库包括多个物品特征图像；

可选的，人物特征图像可以是手臂，手，头部，上身，全身等部分或者全部的特征图像，物品特征图像可以是垃圾袋，碗碟，座椅，花盆，鞋子，啤酒瓶等生活日用品的特征图像。

S14，若第一子图像与人物素材库匹配，且第二子图像与物品素材库匹配，将第一子图像中的目标物体确定为候选抛物物体。

在一些示例中，还可以进一步计算第一子图像的第一中心点与第二子图像的第二中心点之间的距离，若第一中心点与第二中心点之间的距离大于预设距离，且第一子图像与人物素材库匹配，且第二子图像与物品素材库匹配，将第一子图像中的目标物体确定为候选抛物物体。防止用户手持一个物体在画面中移动时，被误认为是高空抛物。采用本实施方式，实现了对高空抛物的精准静态监测和判定，确定除可疑的候选抛物物体，为后续的动态监测和判定做准备，也可以直接将其作为。

图4是本发明实施例从原始图像帧中提取前景图像的示意图，其中，在通常情况下原始图像帧和背景图像是一样的，在出现高空抛物时，原始图像帧中出现了新的画面，即人物头部和抛出的啤酒瓶，对应前景图像中的第一子图像和第二子图像内的目标物。

在本实施例中，获取原始图像帧在第二时间的关联图像帧，根据原始图像帧和关联图像帧计算候选抛物物体的运行参数，包括：

S21，获取原始图像帧在第二时间的多个关联图像帧，其中，第二时间的包括第一时间之前的时间和第一时间之后的时间；

本实施例中，原始图像帧和关联图像帧均包括时间属性，按照采集时间排序之后，原始图像帧和关联图像帧组成图像帧序列，原始图像帧和关联图像帧的共同点在于画面中均包括候选抛物物体。

S22，采用原始图像帧和多个关联图像帧计算候选抛物物体的运行轨迹，并基于运行轨迹计算候选抛物物体的运动状态参数，其中，运行参数包括运行轨迹和运动状态参数，其中，运动状态参数用于表征候选抛物物体的以下状态至少之一：运动速度，运动距离，运动方向。

本实施例的运行参数是动态参数，用于表征候选抛物物体的动态运行参数，包括运行轨迹，在运行轨迹上任一点的速度，运动方向，相对参考面的垂直距离等。

在一个示例中，采用原始图像帧和多个关联图像帧计算候选抛物物体的运行轨迹包括：在原始图像帧和多个关联图像帧中分别定位候选抛物物体；将原始图像帧和多个关联图像帧对齐后，分别在原始图像帧和多个关联图像帧中提取候选抛物物体的坐标点，得到坐标点集合；按照对应图像帧的时间戳对坐标点集合进行排序，得到坐标点队列；采用坐标点队列计算候选抛物物体的运行轨迹。

可选的，将原始图像帧和多个关联图像帧对齐包括：将原始图像帧和多个关联图像帧缩放为相同尺寸的图像帧，基于相同的参考方向旋转原始图像帧和多个关联图像帧，以使原始图像帧和多个关联图像帧中的至少两个参考点重合。可选的，原始图像帧和多个关联图像帧中均包括参考点，且参考点在原始图像帧和多个关联图像帧中的位置相同，参考点可以从建筑物背景区中选取。

在一个示例中，原始图像帧为图像3，多个关联图像帧包括图像1，图像2，图像4，图像5，图像6，从原始图像帧和多个关联图像帧中分别提取候选抛物物体的坐标点并排序，得到坐标点队列[坐标点1，坐标点2，坐标点3，坐标点4，坐标点5，坐标点6]，如图5所示。

在一个示例中，基于运行轨迹计算候选抛物物体的运动状态参数包括：按照预设缩放比例将运行轨迹映射至目标场景，基于参考坐标生成候选抛物物体的空间抛物线，其中，参考坐标包括第一轴向和第二轴向，第一轴向为时间轴，第二轴向用于描述候选抛物物体相对参考平面的高度；定位空间抛物线中的起始点，终止点和若干个中间点；基于起始点，终止点和若干个中间点计算运动状态参数。

其中，运动状态参数可以是空间抛物线上某个时间点的抛物速度，终止点的落地速度（包括水平方向的速度和垂直方向的速度），起始点和终止点的相对方位（如终止点高于起始点，或者终止点低于起始点）等。

本实施例的目标场景为真实监控环境的场景，其第一轴向和第二轴向刻度根据真实的时长和长度进行标定。参考平面可以是地平面，也可以是与地平面平行的抛出点所在的平面，如高空抛物的人所在楼层地板形成的平面。

在本实施例的一些实施场景中，根据运行参数判定候选抛物物体为高空抛物物体包括：计算候选抛物物体的初始速度，以及基于参考平面的初始高度；基于参考坐标和初始速度生成参考抛物线，基于初始高度和初始速度计算候选抛物物体的参考状态参数；判断空间抛物线与参考抛物线是否匹配；若空间抛物线与参考抛物线匹配，判断运动状态参数与参考状态参数是否匹配；若运动状态参数与参考状态参数匹配，确定候选抛物物体为高空抛物物体。

本实施例的初始高度是抛物点（坐标点1）相对参考平面的相对垂直高度，基于该初始高度和初始速度可以计算出参考状态参数，如参考抛物线上某个时间点的抛物速度，终止点的落地速度（包括水平方向的速度和垂直方向的速度），起始点和终止点的相对方位等。

图5是本发明实施例判定高空抛物物体的示意图，包括空间抛物线和参考抛物线，空间抛物线与候选抛物物体的运行轨迹对应，由依次连接的坐标点队列组成，参考抛物线是基于参考坐标和初始速度生成的候选抛物物体的理论轨迹。X轴表示时间，Y轴表示高度。

可选的，判断空间抛物线与参考抛物线是否匹配包括，统计空间抛物线与参考抛物线的相交点，若相交点大于第一预设阈值（如2），则判定匹配，否则，判定不匹配，和/或，计算每个时间，空间抛物线与参考抛物线的距离差值，若最大差值小于第二预设阈值，则判定匹配，否则，判定不匹配，例如，空间抛物线包括坐标点（x1，y11）, （x2，y12）,参考抛物线坐标点（x1，y12）, （x2，y22），通过计算y11与y12的绝对值可以得到距离差值。

可选的，在根据运行参数判定候选抛物物体为高空抛物物体之后，还包括：定位高空抛物物体在预设背景网络中的目标网格，其中，背景网络中的每个背景网格对应建筑物背景区一个窗户或阳台；查找目标网格对应的房屋信息；基于房屋信息生成高空抛物预警信息。可选的，由于窗户或阳台是网格形状的，因此可以基于窗户或阳台的区域作为背景网络中的一个背景网格的区域。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用机械设备的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件控制机械设备的形式体现出来，该软件存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台机械设备执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种高空抛物的判定装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本发明实施例的一种高空抛物的判定装置的结构框图，如图6所示，该装置包括：获取模块60，选择模块62，计算模块64，判定模块66，其中，

获取模块60，用于获取第一时间的原始图像帧，其中，所述原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；

选择模块62，用于获根据所述原始图像帧确定候选抛物物体；

计算模块64，用于获获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，其中，所述第二时间是所述第一时间的相邻时间；

判定模块66，用于获根据所述运行参数判定所述候选抛物物体为高空抛物物体。

可选的，所述确定模块包括：转换单元，用于将所述原始图像帧转换为灰度图；输入单元，用于将所述灰度图输入预训练的抛物线模型，其中，所述预训练的抛物线模型包括依次连接的第一卷积层，第一池化层，第二卷积层，第二池化层，第三卷积层，第三池化层，第四卷积层，第四池化层，数据压平层，全连接层，其中，所述第一卷积层，所述第二卷积层，所述第三卷积层，所述第四卷积层分别用于提取所述灰度图中的图像特征，所述第一池化层，所述第二池化层，所述第三池化层，所述第四池化层用于对上一个卷积层输出的图像进行降维处理，所述数据压平层用于将所述第四池化层输出的图像特征转换为一维数组，所述全连接层用于对所述一维数组进行前向推理，并根据可信度阈值筛选出候选抛物图像；获取单元，用于获取所述预训练的抛物线模型输出的若干个候选抛物图像，其中，每个候选抛物图像包括一个候选抛物物体。

可选的，所述第一卷积层的特征提取尺寸为1920*1920*16，所述第二卷积层的特征提取尺寸为480*480*64，所述第三卷积层的特征提取尺寸为120*120*256，所述第四卷积层的特征提取尺寸为30*30*1024。

可选的，所述确定模块包括：第一提取单元，用于比较所述原始图像帧和所述建筑物背景区的背景图像，在所述原始图像帧中提取除所述背景图像之外的前景图像，其中，所述原始图像帧包括所述背景图像和所述前景图像；第二提取单元，用于在所述前景图像中提取与所述建筑物背景区重叠的第一子图像，以及在所述前景图像中提取在所述建筑物背景区外的第二子图像，其中，所述第一子图像对应第一目标物体，第二子图像对应第二目标物体；判断单元，用于判断所述第一子图像与人物素材库是否匹配，判断所述第二子图像与物品素材库是否匹配，其中，所述人物素材库包括多个人物特征图像，所述物品素材库包括多个物品特征图像；确定单元，用于若所述第一子图像与人物素材库匹配，且所述第二子图像与物品素材库匹配，将所述第一子图像中的目标物体确定为候选抛物物体。

可选的，所述计算模块包括：获取单元，用于获取所述原始图像帧在第二时间的多个关联图像帧，其中，所述第二时间的包括所述第一时间之前的时间和所述第一时间之后的时间；计算单元，用于采用所述原始图像帧和所述多个关联图像帧计算所述候选抛物物体的运行轨迹，并基于所述运行轨迹计算所述候选抛物物体的运动状态参数，其中，所述运行参数包括所述运行轨迹和所述运动状态参数，其中，所述运动状态参数用于表征所述候选抛物物体的以下状态至少之一：运动速度，运动距离，运动方向。

可选的，所述计算单元包括：定位子单元，用于在所述原始图像帧和所述多个关联图像帧中分别定位所述候选抛物物体；提取子单元，用于将所述原始图像帧和所述多个关联图像帧对齐后，分别在所述原始图像帧和所述多个关联图像帧中提取所述候选抛物物体的坐标点，得到坐标点集合；排序子单元，用于按照对应图像帧的时间戳对所述坐标点集合进行排序，得到坐标点队列；第一计算子单元，用于采用所述坐标点队列计算所述候选抛物物体的运行轨迹。

可选的，所述计算单元包括：生成子单元，用于按照预设缩放比例将所述运行轨迹映射至目标场景，基于参考坐标生成所述候选抛物物体的空间抛物线，其中，所述参考坐标包括第一轴向和第二轴向，所述第一轴向为时间轴，所述第二轴向用于描述所述候选抛物物体相对参考平面的高度；定位子单元，用于定位所述空间抛物线中的起始点，终止点和若干个中间点；第二子单元，用于基于所述起始点，所述终止点和所述若干个中间点计算所述运动状态参数。

可选的，所述判定模块包括：计算单元，用于计算所述候选抛物物体的初始速度，以及基于参考平面的初始高度；处理单元，用于基于所述参考坐标和所述初始速度生成参考抛物线，基于所述初始高度和所述初始速度计算所述候选抛物物体的参考状态参数；第一判断单元，用于判断所述空间抛物线与所述参考抛物线是否匹配；第二判断单元，用于若所述空间抛物线与所述参考抛物线匹配，判断所述运动状态参数与所述参考状态参数是否匹配；确定单元，用于若所述运动状态参数与所述参考状态参数匹配，确定所述候选抛物物体为高空抛物物体。

可选的，所述装置还包括：定位模块，用于在所述判定模块根据所述运行参数判定所述候选抛物物体为高空抛物物体之后，定位所述高空抛物物体在预设背景网络中的目标网格，其中，所述背景网络中的每个背景网格对应所述建筑物背景区一个窗户或阳台；查找模块，用于查找所述目标网格对应的房屋信息；生成模块，用于基于所述房屋信息生成高空抛物预警信息。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取第一时间的原始图像帧，其中，所述原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；

S2，根据所述原始图像帧确定候选抛物物体；

S3，获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，其中，所述第二时间是所述第一时间的相邻时间；

S4，根据所述运行参数判定所述候选抛物物体为高空抛物物体。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取第一时间的原始图像帧，其中，所述原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；

S2，根据所述原始图像帧确定候选抛物物体；

S3，获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，其中，所述第二时间是所述第一时间的相邻时间；

S4，根据所述运行参数判定所述候选抛物物体为高空抛物物体。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种高空抛物的判定方法，其特征在于，包括：

获取第一时间的原始图像帧，其中，所述原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；

根据所述原始图像帧确定候选抛物物体；

获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，其中，所述第二时间是所述第一时间的相邻时间；

根据所述运行参数判定所述候选抛物物体为高空抛物物体；

其中，根据所述原始图像帧确定候选抛物物体包括：将所述原始图像帧转换为灰度图；将所述灰度图输入预训练的抛物线模型，其中，所述预训练的抛物线模型包括依次连接的第一卷积层，第一池化层，第二卷积层，第二池化层，第三卷积层，第三池化层，第四卷积层，第四池化层，数据压平层，全连接层，其中，所述第一卷积层，所述第二卷积层，所述第三卷积层，所述第四卷积层分别用于提取所述灰度图中的图像特征，所述第一池化层，所述第二池化层，所述第三池化层，所述第四池化层用于对上一个卷积层输出的图像进行降维处理，所述数据压平层用于将所述第四池化层输出的图像特征转换为一维数组，所述全连接层用于对所述一维数组进行前向推理，并根据可信度阈值筛选出候选抛物图像；获取所述预训练的抛物线模型输出的若干个候选抛物图像，其中，每个候选抛物图像包括一个候选抛物物体。

2.一种如权利要求1所述的方法，其特征在于，所述第一卷积层的特征提取尺寸为1920*1920*16，所述第二卷积层的特征提取尺寸为480*480*64，所述第三卷积层的特征提取尺寸为120*120*256，所述第四卷积层的特征提取尺寸为30*30*1024。

3.一种如权利要求1所述的方法，其特征在于，根据所述原始图像帧确定候选抛物物体包括：

比较所述原始图像帧和所述建筑物背景区的背景图像，在所述原始图像帧中提取除所述背景图像之外的前景图像，其中，所述原始图像帧包括所述背景图像和所述前景图像；

在所述前景图像中提取与所述建筑物背景区重叠的第一子图像，以及在所述前景图像中提取在所述建筑物背景区外的第二子图像，其中，所述第一子图像对应第一目标物体，第二子图像对应第二目标物体；

判断所述第一子图像与人物素材库是否匹配，判断所述第二子图像与物品素材库是否匹配，其中，所述人物素材库包括多个人物特征图像，所述物品素材库包括多个物品特征图像；

若所述第一子图像与人物素材库匹配，且所述第二子图像与物品素材库匹配，将所述第一子图像中的目标物体确定为候选抛物物体。

4.一种如权利要求1所述的方法，其特征在于，获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，包括：

获取所述原始图像帧在第二时间的多个关联图像帧，其中，所述第二时间的包括所述第一时间之前的时间和所述第一时间之后的时间；

采用所述原始图像帧和所述多个关联图像帧计算所述候选抛物物体的运行轨迹，并基于所述运行轨迹计算所述候选抛物物体的运动状态参数，其中，所述运行参数包括所述运行轨迹和所述运动状态参数，其中，所述运动状态参数用于表征所述候选抛物物体的以下状态至少之一：运动速度，运动距离，运动方向。

5.一种如权利要求4所述的方法，其特征在于，采用所述原始图像帧和所述多个关联图像帧计算所述候选抛物物体的运行轨迹包括：

在所述原始图像帧和所述多个关联图像帧中分别定位所述候选抛物物体；

将所述原始图像帧和所述多个关联图像帧对齐后，分别在所述原始图像帧和所述多个关联图像帧中提取所述候选抛物物体的坐标点，得到坐标点集合；

按照对应图像帧的时间戳对所述坐标点集合进行排序，得到坐标点队列；

采用所述坐标点队列计算所述候选抛物物体的运行轨迹。

6.一种如权利要求4所述的方法，其特征在于，基于所述运行轨迹计算所述候选抛物物体的运动状态参数包括：

按照预设缩放比例将所述运行轨迹映射至目标场景，基于参考坐标生成所述候选抛物物体的空间抛物线，其中，所述参考坐标包括第一轴向和第二轴向，所述第一轴向为时间轴，所述第二轴向用于描述所述候选抛物物体相对参考平面的高度；

定位所述空间抛物线中的起始点，终止点和若干个中间点；

基于所述起始点，所述终止点和所述若干个中间点计算所述运动状态参数。

7.一种如权利要求4所述的方法，其特征在于，根据所述运行参数判定所述候选抛物物体为高空抛物物体包括：

按照预设缩放比例将所述运行轨迹映射至目标场景，基于参考坐标生成所述候选抛物物体的空间抛物线，其中，所述参考坐标包括第一轴向和第二轴向，所述第一轴向为时间轴，所述第二轴向用于描述所述候选抛物物体相对参考平面的高度；

计算所述候选抛物物体的初始速度，以及基于参考平面的初始高度；

基于所述参考坐标和所述初始速度生成参考抛物线，基于所述初始高度和所述初始速度计算所述候选抛物物体的参考状态参数；

判断所述空间抛物线与所述参考抛物线是否匹配；

若所述空间抛物线与所述参考抛物线匹配，判断所述运动状态参数与所述参考状态参数是否匹配；

若所述运动状态参数与所述参考状态参数匹配，确定所述候选抛物物体为高空抛物物体。

8.一种如权利要求1所述的方法，其特征在于，在根据所述运行参数判定所述候选抛物物体为高空抛物物体之后，所述方法还包括：

定位所述高空抛物物体在预设背景网络中的目标网格，其中，所述背景网络中的每个背景网格对应所述建筑物背景区一个窗户或阳台；

查找所述目标网格对应的房屋信息；

基于所述房屋信息生成高空抛物预警信息。

9.一种高空抛物的判定装置，其特征在于，包括：

获取模块，用于获取第一时间的原始图像帧，其中，所述原始图像帧包括建筑物背景区，所述建筑物背景区为高空抛物的监测区域；

确定模块，用于获根据所述原始图像帧确定候选抛物物体；

计算模块，用于获获取所述原始图像帧在第二时间的关联图像帧，根据所述原始图像帧和所述关联图像帧计算所述候选抛物物体的运行参数，其中，所述第二时间是所述第一时间的相邻时间；

判定模块，用于获根据所述运行参数判定所述候选抛物物体为高空抛物物体；

其中，所述确定模块包括：转换单元，用于将所述原始图像帧转换为灰度图；输入单元，用于将所述灰度图输入预训练的抛物线模型，其中，所述预训练的抛物线模型包括依次连接的第一卷积层，第一池化层，第二卷积层，第二池化层，第三卷积层，第三池化层，第四卷积层，第四池化层，数据压平层，全连接层，其中，所述第一卷积层，所述第二卷积层，所述第三卷积层，所述第四卷积层分别用于提取所述灰度图中的图像特征，所述第一池化层，所述第二池化层，所述第三池化层，所述第四池化层用于对上一个卷积层输出的图像进行降维处理，所述数据压平层用于将所述第四池化层输出的图像特征转换为一维数组，所述全连接层用于对所述一维数组进行前向推理，并根据可信度阈值筛选出候选抛物图像；获取单元，用于获取所述预训练的抛物线模型输出的若干个候选抛物图像，其中，每个候选抛物图像包括一个候选抛物物体。

Images