CN112668389A - 高空抛物目标检测方法、设备、系统及存储介质 - Google Patents

Abstract

本发明涉及一种高空抛物目标检测方法、装置、电子设备及存储介质，其中，所述方法包括：获取若干连续图像；对若干连续图像进行预处理；取预处理后的图像，并进行同一角度视角校正，获得同一角度视角校正后图像；根据同一角度视角校正后图像，进行目标物体检测；对目标物体运动轨迹进行识别，判断是否为高空抛物行为。通过获取高空抛物图像，对图像进行预处理，再进行同一角度视角校正、目标物体识别，之后再判断目标物体的运动轨迹，判断是否为高空抛物行为，可以及时发出预警，避免经济损失甚至人员伤亡。

Description

高空抛物目标检测方法、设备、系统及存储介质

技术领域

本发明涉及目标检测技术领域，更具体地说，涉及一种高空抛物目标检测方法、设备、系统及存储介质。

背景技术

高空抛物近年来倍受关注，作为城市中不文明的行为的同时，它所带来的社会危害非常大。由于发生高空抛物行为的地点多为高空楼层，发生时间较短，少有目击者等问题，使得执法部门很难取证追究抛物者的法律责任。此类事件屡见不鲜、屡禁不止。高空抛物已经成为城市小区中危害大、亟待解决的问题。高空抛物对楼下行人构成极大的生命安全威胁，然而仅依靠传统思想道德宣传教育、现有的管控措施无法达到良好的效果，所以需要急需一种强有力的高空抛物目标检测方式。

发明内容

本发明要解决的技术问题在于现有高空抛物行为仅依靠传统思想道德宣传教育、现有的管控措施无法达到良好的效果，针对现有技术的上述的缺陷，本发明一方面提供一种高空抛物目标检测方法，至少包括步骤：

获取若干连续图像；

对若干连续图像进行预处理；

获取预处理后的图像，并进行同一角度视角校正，获得同一角度视角校正后图像；

根据同一角度视角校正后图像，进行目标物体检测；

对目标物体运动轨迹进行识别，判断是否为高空抛物行为。

优选地，所述对若干连续图像进行预处理包括：

利用Sobel水平算子对所述若干连续图像进行边缘化；

对经过边缘化的图像进行剪切，保留其中的直线；

对经过剪切的图像进行投影变换，检测投影变换矩阵中的峰值所对应的列坐标，计算出所有直线角度。

优选地，所述获取预处理后的图像，并进行同一角度视角校正，获得同一角度视角校正后图像包括：

对经过预处理后的图像进行旋转矫正，使得经过预处理后的图像处于同一角度视角。

优选地，所述根据同一角度视角校正后图像，进行目标物体检测包括：

基于yoloV3，增加浅层特征层的检测，对52x52输出特征图进行上采样得到104x104尺寸特征图，同时与浅层特征层104x104尺寸卷积层合并，再经过若干卷积层后预测输出，进行目标物体检测。

优选地，所述对目标物体运动轨迹进行识别，判断是否为高空抛物行为包括：

目标物体计数器清零；

遍历所有同一角度视角校正后图像，判断连续三帧图像以内是否都含有目标物体，如果为是，则目标物体计数器继续累加计数，并存储目标物位置信息；

将符合条件的帧图像数据与该过程的总帧图像数量的比值与预定阈值进行比较，超出预定阈值则认定该过程为高空抛物行为。

优选地，预定阈值为65％～75％。

相应地，本发明还提供了一种高空抛物目标检测设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5任意一项所述的方法。

相应地，本发明还提供了一种高空抛物目标检测系统，包括上述的高空抛物目标检测设备和图像采集设备；

所述图像采集设备与所述高空抛物目标检测设备连接，所述高空抛物目标检测设备用于接收并处理所述图像采集设备采集的图像。

优选地，所述图像采集设备包括红外信号采集设备。

相应地，本发明还提供了一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述高空抛物目标检测方法的步骤。

实施本发明的高空抛物目标检测方法，具有以下有益效果：通过获取高空抛物图像，对图像进行预处理，再进行同一角度视角校正、目标物体识别，之后再判断目标物体的运动轨迹，判断是否为高空抛物行为，可以及时发出预警，避免经济损失甚至人员伤亡。

附图说明

通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明一种高空抛物目标检测方法流程图；

图2为图1中采用的摄像头捕获图像时，对不同楼层而言视野范围示意图；

图3为图像投影原理图；

图4为图1中采用的目标检测算法结构示意图；

图5为图1中采用的目标物体运动轨迹检测算法流程图；

图6为图1中采集的图像的坐标图；

图7为图1采用的高空抛物行为判断流程图；

图8为一原始视频流数据；

图9为图8经过预处理后的视频流数据；

图10为图9经过本发明目标检测算法后含有目标物体的帧示意图；

图11为图10中检测到的第一可能含有高空抛物行为的数据片段示意图；

图12为图10中检测到的第二可能含有高空抛物行为的数据片段示意图；

图13为图10中检测到的最终含有高空抛物行为的数据片段示意图；

图14为根据本发明实施例提供的高空抛物目标检测设备的实体结构示意图；

图15为本发明高空抛物目标检测系统结构示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下，所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的高空抛物目标检测方法可应用于各种服务器端、终端。该服务器端、终端设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(如手机、移动电话、平板电脑、PDA、媒体播放器等)、消费型电子设备、车载计算机、智能手表、电视机，以及其他具有显示屏幕的终端设备等等。

实施例一

请参阅图1，为本发明高空抛物目标检测方法流程图。如图1所示，在本发明第一实施例提供的高空抛物目标检测方法中，至少包括步骤：

S1、获取若干连续图像；

为了进行高空抛物目标检测，需要获取原始图像。可以通过摄像头获取若干连续图像。通过对若干连续图像进行数据处理，才能分析检测高空抛物行为。

S2、对若干连续图像进行预处理；

图像分析中，图像质量的好坏直接影响识别算法的设计与效果的精度，因此在图像分析(特征提取、分割、匹配和识别等)前，需要进行预处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。

进行高空抛物目标检测，首先面临的问题是：不同的楼层高度，摄像头所拍摄的仰角高度不同，从而导致图像中视野区域的差异，仰角越大视角范围越大。这种差异会导致高空抛物的目标物体产生形变，如图2所示，图2为图1中采用的摄像头捕获图像时，对不同楼层而言视野范围示意图。视野范围，同时也会对目标物体下降的距离高度计算产生误差。所以需要对不同楼层高度的图像做畸变或者倾斜再成像使得不同楼层高度的图像视角校正为同一角度。

对若干连续图像进行预处理包括：

S21、利用Sobel水平算子对若干连续图像进行边缘化。

S22、对经过边缘化的图像进行剪切，保留其中的直线。只保留图像中的直线，可以减小运算量减小运算量。

S23、对经过剪切的图像进行投影变换，检测投影变换矩阵中的峰值所对应的列坐标，计算出所有直线角度。

为了优化图像，当然，对若干连续图像进行边缘化之前还可以包括对图像去噪处理。图像中噪声的来源有许多种，这些噪声来源于图像采集、传输、压缩等各个方面。噪声的种类也各不相同，比如椒盐噪声，高斯噪声等，针对不同的噪声有不同的处理算法，可以采用现有技术中去噪方法，在此不再赘述。

S3、获取预处理后的图像，并进行同一角度视角校正，获得同一角度视角校正后图像；

步骤S3、获取预处理后的图像，并进行同一角度视角校正，获得同一角度视角校正后图像进一步包括：

对经过预处理后的图像进行旋转矫正，使得经过预处理后的图像处于同一角度视角。

基于投影的方法，利用图像水平方向和垂直方向的投影特征来进行倾斜判断，自动检测出图像倾斜方向和倾斜角度，然后以最大的倾斜角度位置作为旋转原点，对图像进行倾斜旋转。在此用到投影的方差和均方差、投影特征矢量、梯度方向场这三类统计特性。

在图像投影中，一条直线沿着它的法向方向投影最长，沿着水平方向投影最短，如图3所示，图3为图像投影原理图。预定义：二元函数f(x,y)的投影是在某一方向上的线积分，例如f(x,y)在垂直方向上的线积分是f(x,y)在x方向上的投影，在水平方向上的线积分是在y方向上的投影，沿y'方向的线积分是沿x'方向上的投影。投影可沿任意角度θ进行，通常f(x,y)的投影变换是f(x,y)平行于y'轴的线积分，最终可得角度函数为：

其中：

S4、根据同一角度视角校正后图像，进行目标物体检测；

目标检测算法采用yoloV3算法，基于本发明的应用场景中可能出现目标物体的形状多变，尺寸较小等特点，在yolov3的基础上做出以下改进。图4为图1中采用的目标检测算法结构示意图，如图4所示，虚线框部分为结构改进部分。首先增加了更浅层特征层的检测，在保留YOLOv3原本的输出层基础上，对52x52输出特征图进行上采样得到104x104尺寸特征图同时与浅层104x104尺寸卷积层合并，再经过若干卷积层后预测输出。将输入图片尺寸设置为544x320。由于图片中高空抛物目标尺寸较小，为防止同一个格子内出现多个尺寸相近的目标导致漏检的情况发生，将anchor box数量增加到16个，采用K-means++算法进行聚类；同时为了提高网络的定位精度，将损失函数坐标预测误差权重设为5-w_i×h_i，将训练参数ignore IoU thresh设为0.75。

S5、对目标物体运动轨迹进行识别，判断是否为高空抛物行为。

轨迹判断算法的理论基础是：高空抛物的落体运动方向为由上至下；物体下降速度会越来越快，且下降方向的速度变化基本符合加速度线性变化。

图5为图1中采用的目标物体运动轨迹检测算法流程图。如图5所示，先对高空抛物监控图像进行采集，进行第一次目标检测，如果检测通过，则进行第二次轨迹验证，如果验证通过，则发送报警信号给报警器并且发送报警信号给相关人员，如工作人员、居民等，报警器发出预警提示，防护装置开启。

首先，可以对高空抛物的图像做视频采集，通过视频录像机存储实时数据，再经过rtmp视频推流服务器，将多支路的视频推流到后台算法服务器。

视频经过目标检测算法，输出每帧图像中的抛物目标物所在的图像位置。如果不含有目标物的话，则继续下一帧图像的检测。如果含有目标，则将计数器开始计时，并开始数据列表存储目标物位置信息，坐标系如图6所示，图6为图1中采集的图像的坐标图。以图像的左上角为原点，在连续3帧以内都含有目标物体时，则计数器继续累加计数，并新增存储目标物位置信息。直到3帧图像内都不再含有目标物，则认定抛物行为终止，取消计数，并将该抛物过程的目标物位置信息列表送入到轨迹判断算法。

按照时间顺序判定每一个后一帧目标物体位置数据的在图像中的y轴坐标值都比前一帧的y轴坐标值要大，则可判断该目标物体的运动轨迹是自上而下，符合高空抛物的运动轨迹特性。

由于摄影机的拍摄特性帧率固定，所以相邻两帧图像的时间间隔

基本一致，其中f指帧率。高空抛物的目标物体自由落体运动加速度计算公式为

其中S_n指第n帧图像的中目标物体的在Y轴方向位移的距离，S_n-1指第n-1帧图像的中目标物体的在Y轴方向位移的距离。考虑到现实中的空气阻力，所以a值的范围在9.8m/s²以内。在本发明中可根据高空抛物的物体类型设置不同的加速度判定阈值。

图7为图1采用的高空抛物行为判断流程图。如图7所示，目标物体计数器先清零。第一次目标检测、第二次轨迹验证都通过后，遍历所有同一角度视角校正后图像，判断连续三帧图像以内是否都含有目标物体，如果为是，则目标物体计数器继续累加计数，并存储目标物位置信息；将符合条件的帧图像数据与该过程的总帧图像数量的比值与预定阈值进行比较，超出预定阈值则认定该过程为高空抛物行为。预定阈值可以根据需要设为65％～75％。

实施本实施例，通过获取高空抛物图像，对图像进行预处理，再进行同一角度视角校正、目标物体识别，之后再判断目标物体的运动轨迹，判断是否为高空抛物行为，可以及时发出预警，避免经济损失甚至人员伤亡。

实施例二

采用实施例一的目标检测算法。图8为一原始视频流数据，如图8所示，现有原始视频流数据，共29帧图像数据，f1～f29。

图9为图8经过预处理后的视频流数据。如图9所示，将数据送入图像预处理，统一图像的拍摄角度，输出图像的帧数量不变，仍然为f1～f29。

图10为图9经过本发明目标检测算法后含有目标物体的帧示意图。如图10所示，将处理后的图像数据送入目标检测算法中。得到已知含有目标物体的帧，采用大号字体做标记，为f2、f3、f4、f6、f8、f11、f12、f19、f21、f23、f24、f26共12帧含有目标物体。

图11为图10中检测到的第一可能含有高空抛物行为的数据片段示意图。得到两个可能为抛物行为的数据片段。其一如图11所示，片段1，计数器为7，为f2、f3、f4、f6、f8、f11、f12共7帧可能含有抛物行为。

图12为图10中检测到的第二可能含有高空抛物行为的数据片段示意图。其二片段2，计数器为5，为f19、f21、f23、f24、f26共5帧可能含有抛物行为。

图13为图10中检测到的最终含有高空抛物行为的数据片段示意图。按照时间先后顺序先将片段1中含有目标位置信息数据(f2、f3、f4、f6、f8、f11、f12)送入到轨迹判断算法，进行两个条件的判定。得到符合条件的帧数量为5个。

然后，再将片段1中含有目标位置信息数据(f19、f21、f23、f24、f26)送入到轨迹判断算法，进行两个条件的判定。得到符合条件的帧数量为2个。

则最终片段1为高空抛物行为的概率值为

片段2为高空抛物行为的概率值为

假定判定高空抛物阈值设定为65％～75％，本实施例设为70％。高空抛物阈值可以根据实际场景来设定，此处不对高空抛物阈值构成限定。则可认定片段1为高空抛物行为。片段2为非高空抛物行为，属于干扰片段。

将最终判定为高空抛物的片段1的首尾各扩增5帧数据的视频数据存储建档，数据如图13所示。并发送警报信号，通知相关监管人员及时现场查看。

实施本实施例，通过获取高空抛物图像，对图像进行预处理，再进行同一角度视角校正、目标物体识别，之后再判断目标物体的运动轨迹，判断是否为高空抛物行为，可以及时发出预警，避免经济损失甚至人员伤亡。

实施例三

图14为根据本发明实施例提供的高空抛物目标检测设备的实体结构示意图。基于上述实施例的内容，如图14所示，该高空抛物目标检测设备可以包括：至少一个处理器(processor)301、与至少一个处理器301通信连接的存储器(memory)302和总线303；其中，处理器301和存储器302通过总线303完成相互间的通信；处理器301用于调用存储在存储器302中并可在处理器301上运行的计算机程序指令，以执行上述各方法实施例所提供的高空抛物目标检测方法，例如包括步骤：

S1、获取若干连续图像；

S2、对若干连续图像进行预处理；

S3、获取预处理后的图像，并进行同一角度视角校正，获得同一角度视角校正后图像；

S4、根据同一角度视角校正后图像，进行目标物体检测；

S5、对目标物体运动轨迹进行识别，判断是否为高空抛物行为。

此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案实质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例高空抛物目标检测的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘，只读存储器(ROM，Read-Only Memory)、随机存储存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种存储程序代码的介质。

实施本实施例，通过获取高空抛物图像，对图像进行预处理，再进行同一角度视角校正、目标物体识别，之后再判断目标物体的运动轨迹，判断是否为高空抛物行为，可以及时发出预警，避免经济损失甚至人员伤亡。

实施例四

图15为本发明高空抛物目标检测系统结构示意图。如图15所示，一种高空抛物目标检测系统，包括上述的高空抛物目标检测设备10和图像采集设备20；图像采集设备20与高空抛物目标检测设备10连接，高空抛物目标检测设备10用于接收并处理图像采集设备采集20的图像。图像采集设备20可以是任意能够检测感应范围内的热红外信号的红外信号采集设备，例如可以为现有技术中星光级相机与红外补光灯的组合，或者红外相机等。图像采集设备20还可以是非红外信号采集设备，例如一般的摄像机，安装在不同的小区，对各楼层进行广角监控录像。

实施本实施例，通过获取高空抛物图像，对图像进行预处理，再进行同一角度视角校正、目标物体识别，之后再判断目标物体的运动轨迹，判断是否为高空抛物行为，可以及时发出预警，避免经济损失甚至人员伤亡。

实施例五

本发明另一实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的高空抛物目标检测方法，例如包括步骤：

S1、获取若干连续图像；

S2、对若干连续图像进行预处理；

S3、获取预处理后的图像，并进行同一角度视角校正，获得同一角度视角校正后图像；

S4、根据同一角度视角校正后图像，进行目标物体检测；

S5、对目标物体运动轨迹进行识别，判断是否为高空抛物行为。

实施本实施例，通过获取高空抛物图像，对图像进行预处理，再进行同一角度视角校正、目标物体识别，之后再判断目标物体的运动轨迹，判断是否为高空抛物行为，可以及时发出预警，避免经济损失甚至人员伤亡。

本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特定场合，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。

Claims (10)

1.一种高空抛物目标检测方法，其特征在于，包括：

获取若干连续图像；

对若干连续图像进行预处理；

获取预处理后的图像，并进行同一角度视角校正，获得同一角度视角校正后图像；

根据同一角度视角校正后图像，进行目标物体检测；

对目标物体运动轨迹进行识别，判断是否为高空抛物行为。

2.根据权利要求1所述的高空抛物目标检测方法，其特征在于，所述对若干连续图像进行预处理包括：

利用Sobel水平算子对所述若干连续图像进行边缘化；

对经过边缘化的图像进行剪切，保留其中的直线；

对经过剪切的图像进行投影变换，检测投影变换矩阵中的峰值所对应的列坐标，计算出所有直线角度。

3.根据权利要求1所述的高空抛物目标检测方法，其特征在于，所述获取预处理后的图像，并进行同一角度视角校正，获得同一角度视角校正后图像包括：

对经过预处理后的图像进行旋转矫正，使得经过预处理后的图像处于同一角度视角。

4.根据权利要求1所述的高空抛物目标检测方法，其特征在于，所述根据同一角度视角校正后图像，进行目标物体检测包括：

基于yoloV3，增加浅层特征层的检测，对52x52输出特征图进行上采样得到104x104尺寸特征图，同时与浅层特征层104x104尺寸卷积层合并，再经过若干卷积层后预测输出，进行目标物体检测。

5.根据权利要求1至4任意一项所述的高空抛物目标检测方法，其特征在于，所述对目标物体运动轨迹进行识别，判断是否为高空抛物行为包括：

目标物体计数器清零；

遍历所有同一角度视角校正后图像，判断连续三帧图像以内是否都含有目标物体，如果为是，则目标物体计数器继续累加计数，并存储目标物位置信息；

将符合条件的帧图像数据与该过程的总帧图像数量的比值与预定阈值进行比较，超出预定阈值则认定该过程为高空抛物行为。

6.根据权利要求5所述的高空抛物目标检测方法，其特征在于，预定阈值为65％～75％。

7.一种高空抛物目标检测设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5任意一项所述的方法。

8.一种高空抛物目标检测系统，其特征在于，包括如权利要求7所述的高空抛物目标检测设备和图像采集设备；

所述图像采集设备与所述高空抛物目标检测设备连接，所述高空抛物目标检测设备用于接收并处理所述图像采集设备采集的图像。

9.根据权利要求8所述的高空抛物目标检测系统，其特征在于，所述图像采集设备包括红外信号采集设备。

10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述高空抛物目标检测方法的步骤。

Images