CN114332154B - 一种高空抛物检测方法及系统 - Google Patents

Abstract

本发明涉及一种高空抛物检测方法及系统，属于计算机视觉的运动估计领域，首先为缓存图像生成前景图，编码和叠加，获得第一编码叠加前景图，然后复制、做闭运算和霍夫变换，识别第三编码叠加前景图上的所有直线，并将第三编码叠加前景图上的所有直线均映射至第一编码叠加前景图上，最后判断第一编码叠加前景图上的直线是否满足抛物判断条件，当满足抛物判断条件时判定输入的当前帧视频图像中有抛物事情发生，实现了有效检测高空抛物事件，最大限度地减小误报事件的发生。

Description

一种高空抛物检测方法及系统

技术领域

本发明涉及计算机视觉的运动估计领域，特别是涉及一种高空抛物检测方法及系统。

背景技术

现有解决高空抛物检测的方法主要有两种：

第一种是使用普通摄像机监视楼宇，然后把视频数据录制在磁盘上。该方法不使用任何的高空抛物检测技术：当有高空抛物事件发生，并被人发现并上报后，工作人员需要在磁盘上人工搜索发生高空抛物时的录像，从而界定发生高空抛物的事件源头。该方法的缺点是只有当高空抛物事件被人发现后，才能被上报。事实上大部分的高空抛物事件是没有被人发现的，但这些事件都潜在极大的危害性。若这些未被人发现的高空抛物事件能及时被检测，那么高空抛物事件的发生人就可以被及时警告，从而很大程度上避免后面的高空抛物事件发生，从而达到预防的效果。

第二种是在摄像机上使用移动侦测技术，当视频上发生有物体移动时，会触发高空抛物警告事件。该方法有很大的弊端：楼宇阳台上晾挂的衣服飘动、环境的光线变化、摄像机本身的噪声都很容易被移动侦测误报成高空抛物事件，从而产生大量的误报，大大干扰了管理人员的正常工作。

发明内容

本发明的目的是提供一种高空抛物检测方法及系统，以有效地检测到高空抛物事件，最大限度地减小误报事件的发生。

为实现上述目的，本发明提供了如下方案：

一种高空抛物检测方法，所述方法包括：

缓存最新产生的多帧视频图像的前景图，并获取输入的当前帧视频图像的前景图，一起构成当前缓存的多帧前景图；

为当前缓存的每帧前景图分别生成编码前景图；

叠加所有编码前景图，生成第一编码叠加前景图；

复制所述第一编码叠加前景图，获得第二编码叠加前景图；

对所述第二编码叠加前景图做闭运算，获得第三编码叠加前景图；

对第三编码叠加前景图进行霍夫变换，识别第三编码叠加前景图上的所有直线；

将第三编码叠加前景图上的所有直线均映射至第一编码叠加前景图上；

当第一编码叠加前景图上的所有直线中至少有一条直线满足抛物判断条件时，判定输入的当前帧视频图像中有抛物事情发生；所述抛物判断条件为直线上从最低点坐标至最高点坐标中的每个点对应的像素值单调上升，直线上从最低点坐标至最高点坐标中的每个点对应的像素值的类别个数大于预设阀值，直线上最低点坐标对应的像素值小于2，且直线的纵坐标长度与横坐标长度的比值大于阀值倍数；

根据满足抛物判断条件的直线的坐标，确定抛物的出现位置。

可选的，所述获取输入的当前帧视频图像的前景图，具体包括：

获得输入的当前帧视频图像的灰度图；

对比所述灰度图和当前视频的背景图，获得输入的当前帧视频图像的前景图。

可选的，所述为当前缓存的每帧前景图分别生成编码前景图，具体包括：

根据当前缓存的每帧前景图中像素点的像素值，利用公式

，生成当前缓存的每帧前景图对应的编码前景图；

其中，P _cf[m-i](x,y)为第m-i帧编码前景图中坐标为（x,y）的像素点的像素值，P _f[m-i](x,y)为第m-i帧前景图中坐标为（x,y）的像素点的像素值，f为像素阈值。

可选的，所述叠加所有编码前景图，生成第一编码叠加前景图，具体包括：

利用公式

，叠加所有编码前景图，生成第一编码叠加前景图；

其中，P _scf[m]为第一编码叠加前景图，W _cf[m-i]为第m-i帧的权重值，P _f[m-i]为第m-i帧编码前景图，n为缓存的最新产生的多帧视频图像的前景图数量。

可选的，对所述第二编码叠加前景图做闭运算，获得第三编码叠加前景图，之后还包括：

对第三编码叠加前景图进行连通域变换，获得第三编码叠加前景图的所有连通域；

在第三编码叠加前景图的所有连通域中筛选满足连通域的面积大于面积阀值且连通域内的占空比大于占空比阀值的连通域，并将筛选的连通域内所有像素点的像素值置为零。

一种高空抛物检测系统，所述系统包括：

前景图获取模块，用于缓存最新产生的多帧视频图像的前景图，并获取输入的当前帧视频图像的前景图，一起构成当前缓存的多帧前景图；

编码前景图生成模块，用于为当前缓存的每帧前景图分别生成编码前景图；

叠加模块，用于叠加所有编码前景图，生成第一编码叠加前景图；

复制模块，用于复制所述第一编码叠加前景图，获得第二编码叠加前景图；

闭运算模块，用于对所述第二编码叠加前景图做闭运算，获得第三编码叠加前景图；

霍夫变换模块，用于对第三编码叠加前景图进行霍夫变换，识别第三编码叠加前景图上的所有直线；

映射模块，用于将第三编码叠加前景图上的所有直线均映射至第一编码叠加前景图上；

抛物判断模块，用于当第一编码叠加前景图上的所有直线中至少有一条直线满足抛物判断条件时，判定输入的当前帧视频图像中有抛物事情发生；所述抛物判断条件为直线上从最低点坐标至最高点坐标中的每个点对应的像素值单调上升，直线上从最低点坐标至最高点坐标中的每个点对应的像素值的类别个数大于预设阀值，直线上最低点坐标对应的像素值小于2，且直线的纵坐标长度与横坐标长度的比值大于阀值倍数；

抛物位置确定模块，用于根据满足抛物判断条件的直线的坐标，确定抛物的出现位置。

可选的，所述前景图获取模块，具体包括：

灰度图获得子模块，用于获得输入的当前帧视频图像的灰度图；

前景图获得子模块，用于对比所述灰度图和当前视频的背景图，获得输入的当前帧视频图像的前景图。

可选的，所述编码前景图生成模块，具体包括：

编码前景图生成子模块，用于根据当前缓存的每帧前景图中像素点的像素值，利用公式

，生成当前缓存的每帧前景图对应的编码前景图；

其中，P _cf[m-i](x,y)为第m-i帧编码前景图中坐标为（x,y）的像素点的像素值，P _f[m-i](x,y)为第m-i帧前景图中坐标为（x,y）的像素点的像素值，f为像素阈值。

可选的，所述叠加模块，具体包括：

叠加子模块，用于利用公式

，叠加所有编码前景图，生成第一编码叠加前景图；

其中，P _scf[m]为第一编码叠加前景图，W _cf[m-i]为第m-i帧的权重值，P _f[m-i]为第m-i帧编码前景图，n为缓存的最新产生的多帧视频图像的前景图数量。

可选的，所述系统还包括：

连通域变换模块，用于对第三编码叠加前景图进行连通域变换，获得第三编码叠加前景图的所有连通域；

筛选模块，用于在第三编码叠加前景图的所有连通域中筛选满足连通域的面积大于面积阀值且连通域内的占空比大于占空比阀值的连通域，并将筛选的连通域内所有像素点的像素值置为零。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开一种高空抛物检测方法及系统，首先为缓存图像生成前景图，编码和叠加，获得第一编码叠加前景图，然后复制、做闭运算和霍夫变换，识别第三编码叠加前景图上的所有直线，并将第三编码叠加前景图上的所有直线均映射至第一编码叠加前景图上，最后判断第一编码叠加前景图上的直线是否满足抛物判断条件，当满足抛物判断条件时判定输入的当前帧视频图像中有抛物事情发生，实现了有效检测高空抛物事件，最大限度地减小误报事件的发生。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的高空抛物检测方法的流程图；

图2为本发明提供的生成编码前景图的示意图；

图3为本发明提供的生成第一编码叠加前景图的示意图；

图4为本发明提供的直线检测的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种高空抛物检测方法及系统，以有效地检测到高空抛物事件，最大限度地减小误报事件的发生。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供了一种高空抛物检测方法，如图1所示，方法包括：

步骤S1，缓存最新产生的多帧视频图像的前景图，并获取输入的当前帧视频图像的前景图，一起构成当前缓存的多帧前景图。

高空抛物检测程序会持续地拉入视频图像帧。高空抛物程序根据连续输入的图像的灰度图来更新当前视频的背景图；每帧输入图像的灰度图和当前视频的背景图进行对比之后，会产生前景图。在前景图中，每一个大于指定阀值f的像素值，都表示该像素所在的坐标疑似有运动物体。高空抛物程序会缓存最新产生的n（设定参考值为25-50）帧前景图。

当高空抛物检测程序在输入第m(m>n)帧图像，并为之产生了前景图。

步骤S2，为当前缓存的每帧前景图分别生成编码前景图。

前景图产生编码前景图的方法是：把前景图中的所有像素与阈值f比较，若像素值大于f则像素值赋值为i+1，否则赋值为0。

设P _cf[m-i](x,y)为第m-i帧编码前景图中坐标为（x,y）的像素点的像素值，P _f[m-i](x,y)为第m-i帧前景图中坐标为（x,y）的像素点的像素值，f为像素阈值，则：

从前景图生成编码前景图的方法如图2所示。

步骤S3，叠加所有编码前景图，生成第一编码叠加前景图。

由编码前景图生成叠加编码前景图的方法如图3所示。

设P _scf[m]为第一编码叠加前景图，W _cf[m-i]为第m-i帧的权重值，P _f[m-i]为第m-i帧编码前景图，n为缓存的最新产生的多帧视频图像的前景图数量，则：

通常情况，W _cf[m-i]=1。

步骤S4，复制第一编码叠加前景图，获得第二编码叠加前景图。

步骤S5，对第二编码叠加前景图做闭运算，获得第三编码叠加前景图。

对第二编码叠加前景图P _scf[m]2先做膨胀操作，再做腐蚀操作；

设结构元素为B，对P _scf[m]2做闭运算获得第三编码叠加前景图P _scf[m]3，则

为了减小不必要噪声，需要对第三编码叠加前景图P _scf[m]3做连通域变换操作，从而获得P _scf[m]3的所有连通域对象。对于每个连通域对象，若连通域的面积（连通域内包含像素的个数）大于指定的阀值(参考值为300)，并且该连通域内的占空比（连通域内像素值大于0的像素个数/连通域面积）也大于指定的阀值（参考值为15%），把P _scf[m]3在该连通域内的像素值全部置0。

步骤S6，对第三编码叠加前景图进行霍夫变换，识别第三编码叠加前景图上的所有直线。

霍夫变换为P _scf[m]3上每一组排成直线的像素都有可能产生直线。每条直线都有可能是运动物体的运动轨迹；而直线上每个一组相邻像素值相同的点，都可能是运动物体在某一历史图像帧的坐标（具体是哪一帧可以根据点的像素值判断）。在编码叠加前景图上检测直线的方法如图4所示。

步骤S7，将第三编码叠加前景图上的所有直线均映射至第一编码叠加前景图上。

步骤S8，当第一编码叠加前景图上的所有直线中至少有一条直线满足抛物判断条件时，判定输入的当前帧视频图像中有抛物事情发生；

判断每一条直线是否代表有抛物事情发生，则判断该直线是否满足下面的全部条件：

1、直线在第一编码叠加前景图上，以直线的高度最低点坐标开始，到以直线的最高点坐标结束，观察直线上每个点对应的像素值，是否单调上升——像素值为0，或相邻像素值相同除外。这表示该直线是否表达了运动物体的轨迹；

2、直线在第一编码叠加前景图上，以直线的高度最低点坐标开始，到以直线的最高点坐标结束，观察直线上每个点对应的像素值，不同的像素值个数是否大于指定阀值(参考值为7)。这是表示对运动物体的跟踪时间要足够长；

3、直线在第一编码叠加前景图上，最低点坐标对应的像素值是否小于2。这表示运动物体的坐标在当前帧有刷新；

4、直线的纵坐标长度比横坐标长度是大于指定的阀值倍数（表示物体运动向下）。

当检测到有满足所有上述条件的直线后，表示在当前输入的图像中，有抛物事件发生。

步骤S9，根据满足抛物判断条件的直线的坐标，确定抛物的出现位置。

本发明的技术方案是：（1）通过移动侦测技术获取视频中运动物体；（2）分析运动物体的运动轨迹是否符合高空抛物的运动特征。本发明可以有效地检测到楼宇的抛物事件发生，并有效地抑制虚报误事件的发生。

本发明还提供了一种高空抛物检测系统，系统包括：

前景图获取模块，用于缓存最新产生的多帧视频图像的前景图，并获取输入的当前帧视频图像的前景图，一起构成当前缓存的多帧前景图；

编码前景图生成模块，用于为当前缓存的每帧前景图分别生成编码前景图；

叠加模块，用于叠加所有编码前景图，生成第一编码叠加前景图；

复制模块，用于复制第一编码叠加前景图，获得第二编码叠加前景图；

闭运算模块，用于对第二编码叠加前景图做闭运算，获得第三编码叠加前景图；

霍夫变换模块，用于对第三编码叠加前景图进行霍夫变换，识别第三编码叠加前景图上的所有直线；

映射模块，用于将第三编码叠加前景图上的所有直线均映射至第一编码叠加前景图上；

抛物判断模块，用于当第一编码叠加前景图上的所有直线中至少有一条直线满足抛物判断条件时，判定输入的当前帧视频图像中有抛物事情发生；抛物判断条件为直线上从最低点坐标至最高点坐标中的每个点对应的像素值单调上升，直线上从最低点坐标至最高点坐标中的每个点对应的像素值的类别个数大于预设阀值，直线上最低点坐标对应的像素值小于2，且直线的纵坐标长度与横坐标长度的比值大于阀值倍数；

抛物位置确定模块，用于根据满足抛物判断条件的直线的坐标，确定抛物的出现位置。

前景图获取模块，具体包括：

灰度图获得子模块，用于获得输入的当前帧视频图像的灰度图；

前景图获得子模块，用于对比灰度图和当前视频的背景图，获得输入的当前帧视频图像的前景图。

编码前景图生成模块，具体包括：

编码前景图生成子模块，用于根据当前缓存的每帧前景图中像素点的像素值，利用公式

，生成当前缓存的每帧前景图对应的编码前景图；

其中，P _cf[m-i](x,y)为第m-i帧编码前景图中坐标为（x,y）的像素点的像素值，P _f[m-i](x,y)为第m-i帧前景图中坐标为（x,y）的像素点的像素值，f为像素阈值。

叠加模块，具体包括：

叠加子模块，用于利用公式

，叠加所有编码前景图，生成第一编码叠加前景图；

其中，P _scf[m]为第一编码叠加前景图，W _cf[m-i]为第m-i帧的权重值，P _f[m-i]为第m-i帧编码前景图，n为缓存的最新产生的多帧视频图像的前景图数量。

系统还包括：

连通域变换模块，用于对第三编码叠加前景图进行连通域变换，获得第三编码叠加前景图的所有连通域；

筛选模块，用于在第三编码叠加前景图的所有连通域中筛选满足连通域的面积大于面积阀值且连通域内的占空比大于占空比阀值的连通域，并将筛选的连通域内所有像素点的像素值置为零。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种高空抛物检测方法，其特征在于，所述方法包括：

缓存最新产生的多帧视频图像的前景图，并获取输入的当前帧视频图像的前景图，一起构成当前缓存的多帧前景图；

为当前缓存的每帧前景图分别生成编码前景图；

叠加所有编码前景图，生成第一编码叠加前景图；

复制所述第一编码叠加前景图，获得第二编码叠加前景图；

对所述第二编码叠加前景图做闭运算，获得第三编码叠加前景图；

对第三编码叠加前景图进行霍夫变换，识别第三编码叠加前景图上的所有直线；

将第三编码叠加前景图上的所有直线均映射至第一编码叠加前景图上；

当第一编码叠加前景图上的所有直线中至少有一条直线满足抛物判断条件时，判定输入的当前帧视频图像中有抛物事情发生；所述抛物判断条件为直线上从最低点坐标至最高点坐标中的每个点对应的像素值单调上升，直线上从最低点坐标至最高点坐标中的每个点对应的像素值的类别个数大于预设阀值，直线上最低点坐标对应的像素值小于2，且直线的纵坐标长度与横坐标长度的比值大于阀值倍数；

根据满足抛物判断条件的直线的坐标，确定抛物的出现位置。

2.根据权利要求1所述的高空抛物检测方法，其特征在于，所述获取输入的当前帧视频图像的前景图，具体包括：

获得输入的当前帧视频图像的灰度图；

对比所述灰度图和当前视频的背景图，获得输入的当前帧视频图像的前景图。

3.根据权利要求1所述的高空抛物检测方法，其特征在于，所述为当前缓存的每帧前景图分别生成编码前景图，具体包括：

根据当前缓存的每帧前景图中像素点的像素值，利用公式

，生成当前缓存的每帧前景图对应的编码前景图；

其中，P _cf[m-i](x,y)为第m-i帧编码前景图中坐标为（x,y）的像素点的像素值，P _f[m-i](x,y)为第m-i帧前景图中坐标为（x,y）的像素点的像素值，f为像素阈值，m为高空抛物检测程序输入的第m帧图像，i为变量，当缓存的最新产生的多帧视频图像的前景图数量为n时，0≤i≤n，m>n。

4.根据权利要求1所述的高空抛物检测方法，其特征在于，所述叠加所有编码前景图，生成第一编码叠加前景图，具体包括：

利用公式

，叠加所有编码前景图，生成第一编码叠加前景图；

其中，P _scf[m]为第一编码叠加前景图，W _cf[m-i]为第m-i帧的权重值，P _f[m-i]为第m-i帧编码前景图，n为缓存的最新产生的多帧视频图像的前景图数量，m为高空抛物检测程序输入的第m帧图像，m>n；i为变量，0≤i≤n。

5.根据权利要求1所述的高空抛物检测方法，其特征在于，对所述第二编码叠加前景图做闭运算，获得第三编码叠加前景图，之后还包括：

对第三编码叠加前景图进行连通域变换，获得第三编码叠加前景图的所有连通域；

在第三编码叠加前景图的所有连通域中筛选满足连通域的面积大于面积阀值且连通域内的占空比大于占空比阀值的连通域，并将筛选的连通域内所有像素点的像素值置为零。

6.一种高空抛物检测系统，其特征在于，所述系统包括：

前景图获取模块，用于缓存最新产生的多帧视频图像的前景图，并获取输入的当前帧视频图像的前景图，一起构成当前缓存的多帧前景图；

编码前景图生成模块，用于为当前缓存的每帧前景图分别生成编码前景图；

叠加模块，用于叠加所有编码前景图，生成第一编码叠加前景图；

复制模块，用于复制所述第一编码叠加前景图，获得第二编码叠加前景图；

闭运算模块，用于对所述第二编码叠加前景图做闭运算，获得第三编码叠加前景图；

霍夫变换模块，用于对第三编码叠加前景图进行霍夫变换，识别第三编码叠加前景图上的所有直线；

映射模块，用于将第三编码叠加前景图上的所有直线均映射至第一编码叠加前景图上；

抛物判断模块，用于当第一编码叠加前景图上的所有直线中至少有一条直线满足抛物判断条件时，判定输入的当前帧视频图像中有抛物事情发生；所述抛物判断条件为直线上从最低点坐标至最高点坐标中的每个点对应的像素值单调上升，直线上从最低点坐标至最高点坐标中的每个点对应的像素值的类别个数大于预设阀值，直线上最低点坐标对应的像素值小于2，且直线的纵坐标长度与横坐标长度的比值大于阀值倍数；

抛物位置确定模块，用于根据满足抛物判断条件的直线的坐标，确定抛物的出现位置。

7.根据权利要求6所述的高空抛物检测系统，其特征在于，所述前景图获取模块，具体包括：

灰度图获得子模块，用于获得输入的当前帧视频图像的灰度图；

前景图获得子模块，用于对比所述灰度图和当前视频的背景图，获得输入的当前帧视频图像的前景图。

8.根据权利要求6所述的高空抛物检测系统，其特征在于，所述编码前景图生成模块，具体包括：

编码前景图生成子模块，用于根据当前缓存的每帧前景图中像素点的像素值，利用公式

，生成当前缓存的每帧前景图对应的编码前景图；

其中，P _cf[m-i](x,y)为第m-i帧编码前景图中坐标为（x,y）的像素点的像素值，P _f[m-i](x,y)为第m-i帧前景图中坐标为（x,y）的像素点的像素值，f为像素阈值，m为高空抛物检测程序输入的第m帧图像，i为变量，当缓存的最新产生的多帧视频图像的前景图数量为n时，0≤i≤n，m>n。

9.根据权利要求6所述的高空抛物检测系统，其特征在于，所述叠加模块，具体包括：

叠加子模块，用于利用公式

，叠加所有编码前景图，生成第一编码叠加前景图；

其中，P _scf[m]为第一编码叠加前景图，W _cf[m-i]为第m-i帧的权重值，P _f[m-i]为第m-i帧编码前景图，n为缓存的最新产生的多帧视频图像的前景图数量，m为高空抛物检测程序输入的第m帧图像，m>n；i为变量，0≤i≤n。

10.根据权利要求6所述的高空抛物检测系统，其特征在于，所述系统还包括：

连通域变换模块，用于对第三编码叠加前景图进行连通域变换，获得第三编码叠加前景图的所有连通域；

筛选模块，用于在第三编码叠加前景图的所有连通域中筛选满足连通域的面积大于面积阀值且连通域内的占空比大于占空比阀值的连通域，并将筛选的连通域内所有像素点的像素值置为零。

Images