CN115240067A - 一种利用隔帧差分法自动检测高空坠物的方法 - Google Patents

Abstract

本发明公开了一种利用隔帧差分法自动检测高空坠物的方法，步骤包括：读取视频连续三帧图像，判断视频是否存在抖动；对存在抖动的视频去抖动处理，将帧间抖动差值之间插值平滑，将平滑后的结果补偿到原始帧流中；计算高空坠物在监控视频中最小停留帧数为F；计算最佳间隔帧数、对当前帧去噪选定运动前景、判断干扰物；修正干扰因素，判断出坠物与干扰物，存储前景轮廓中心位置；计算坠物个数。相比一般的移动物体检测方法，此方法不仅顾及到了监控系统算力要求，而且根据监控视频中静止画面多的特点和坠物下落的规律进行了针对性的设计，能快速地处理监控视频，弥补了现有移动物体检测算法因依赖深度学习而对计算设备要求过高的问题。

Description

一种利用隔帧差分法自动检测高空坠物的方法

技术领域

本发明涉及人工智能机器视觉领域，具体涉及一种利用隔帧差分法自动检测高空坠物的方法。

背景技术

高空坠物是及其危险的违法行为，高中坠物随时都可能对经过的行人造成生命安全威胁。如今高空抛物这种违法行为需有证据来协助执法，快速地从监控系统中找到坠物是个待解决的问题。监控系统具有帧量大、静止画面多、运动物体下落状态简单、算力低的特点，所以高空坠物检测需要找到一种高效且准确的坠物检测算法植入到数量庞大的监控系统，且能满足全国大面积的坠物检测需求。另外，高空物体下落有其特殊的情况，比如体重轻的物体会受到较大的空气阻力而向上运动，亦或者物体下落过程中恰好有窗帘被吹动，又或者存在监控画面抖动的现象，这些可能会造成误判的问题都需要被解决。

发明内容

针对现有技术中的缺陷，本发明提供一种利用隔帧差分法自动检测高空坠物的方法，其特征在于，方法步骤包括：

S1，读取监控视频连续三帧图像，判断监控视频是否存在抖动，若存在抖动进入步骤S2，否则直接进入步骤S3；

S2，对存在抖动的监控视频去抖动处理，插值平滑所有帧间的抖动差值，将平滑后的结果补偿到原始帧流中；

S3，计算高空坠物在监控视频中最小停留帧数为F；

S4，计算最佳间隔帧数，对当前帧去噪并选定运动前景，判断干扰物；

S5，修正干扰因素，判断出高空坠物与干扰物，存储检测到的前景轮廓中心位置；

S6，根据提取的前景个数与干扰物数目，计算坠物个数。

具体地，步骤S1判断视频是否存在抖动，步骤包括：

S101，将读取的连续三帧图像转为灰度图，通过OpenCV库函数选取若干优质特征点；

S102，跟踪若干优质特征点在所取连续三帧图像中的位置坐标；

其中，若位置坐标变化越大则监控视频抖动越大，位置坐标变化大小与监控视频抖动大小成正相关关系。

具体地，步骤S2帧间的抖动差值的获取与处理，步骤包括：

S201，使用Lucas-Kanade方法跟踪优质特征点在整段视频中的位置信息，将相邻帧间的优质特征点的位置映射为变换矩阵形式，存储每相邻帧之间的优质特征点的位置变换矩阵数据；

S202，将当前帧的优质特征点的变换矩阵位置与原始位置做差，获取帧间的抖动差值，并存储。

具体地，步骤S3于计算高空坠物在监控视频中最小停留帧数为F，步骤包括：

S301，根据公式

计算出高空坠物在最低楼层的坠楼最短时间T；

S302，取最低帧率20fps，以最短时间T为时间下限，计算高空坠物在监控视频中最小停留帧数为F。

具体地，步骤S4计算最佳间隔帧数，步骤包括：

循环帧操作，规定时间段T，在时间段T内至少检测到高空坠物两次，可检测到高空坠物三次。

具体地，步骤S4对当前帧去噪选定运动前景，步骤包括：

将当前帧与上次循环中的操作帧相减，得到亮度差值集合，调定阈值，根据阈值对亮度差值的筛选结果，检测选定静止背景中的运动前景，其中，当前帧与操作帧相隔I帧。

具体地，步骤S4判断干扰物，步骤包括：

提取运动前景的部分轮廓点，计算出轮廓中点心的位置信息(x1,y1)，并存储至矩阵M中，当干扰物标志位flag为True时，该轮廓是干扰物的信息；

其中，矩阵M的行数不计，列数为3，分别存放中心点的横、纵坐标值与干扰物标志位flag。

具体地，步骤S5判断出坠物与干扰物，步骤包括：

S501，当前帧的运动前景数目等于1时，读取上次循环存储在矩阵M中的轮廓中心点位置(x1,y1)，如果当前帧所分离出的轮廓中心(X，Y)点Y轴坐标大于y1，则坠物数目＝1，且坠物是下落状态，存储轮廓中心位置(X，Y)；

S502，帧循环，继续检测，当前提取前景数目仍等于1时，对S501进行递归操作；

S503，当前提取前景个数大于1时，对多个运动前景判断和处理。

具体地，在步骤S503当前提取前景个数大于1时，对多个运动前景判断和处理，步骤包括：

S5031：将每个运动前景的轮廓中点心位置和上次循环时存储在M中的轮廓中点心位置比对，将每对X值相近或者符合横向移动规律的点相对应的Y轴参数值相对比，如果出现当前X坐标或Y坐标和I帧前相同或者Y轴值变化微小或反向变化，判断为不是高空坠物，则干扰物数目+1；

S5032：将干扰物的轮廓中点心在M中的标志位flag置为True，当flag为True时，此坐标不会在结果中画出；

S5033：如果干扰物数目没有增加，当前帧检测的运动前景数目出现变化，当前景数目增多时，则高空坠物数目增加；当前景数目减少时，则坠物数目减少；

S5034：存储多个运动前景的轮廓中心的位置，再次进入步骤S5031。

具体地，计算坠物个数，步骤包括：

S601，控制台输出高空坠物数目，其中，高空坠物数目＝所检测物体数目-干扰物数目；

S602，以高空坠物的轮廓中心点为据点画线，实时更新高空坠物的运动轨迹。

与现有技术相比，本申请具有如下的有益效果：

(1)本方法更适合处理一般监控视频，其具有帧量大、静止画面多的特点；

(2)使用隔帧差分法来识别坠物，可高效地检测出坠物，计算量轻，并能实时输出坠物下落轨迹；

(3)从坠物运动规律的角度出发，修正干扰因素，比深度学习更为简单高效；

(4)计算快速、输出结果快速、实时性强。

附图说明

图1根据本申请实施例，示出本方法应用于某实验场景时，设置间隔帧数分别为0、2、4时的处理时间对比折线图。

图2根据本申请实施例，示出了一种利用隔帧差分法自动检测高空坠物的方法的算法流程图。

具体实施方式

下面结合附图与实施例对本发明所述的技术方案给予进一步的详细说明，但有必要指出以下实施例只用于对发明内容的描述，并不构成对本发明保护范围的限制。

参看图1和图2，本实施例提供一种利用隔帧差分法自动检测高空坠物的方法，所述方法步骤包括：

1.对视频进行抖动检测：

首先在步骤S1中，通过电子设备，拍摄了高空坠物从三楼落下的过程，读入视频前三帧，为连续地三帧图像。然后将图像转为灰度图，使用OpenCV库函数选取若干个优质特征点，跟踪优质特征点在所取连续三帧图片中的位置坐标。若位置坐标变化越大说明监控视频抖动越大，位置坐标变化大小与监控视频抖动大小成正相关关系，因此需要进入步骤S2进行去抖动处理，若无抖动则直接进入步骤S3。

2.对存在抖动的视频去抖动处理：

步骤S2中，首先需要获得相邻帧变换的数据，因为同一帧图像上的像素移动变换相同，故只跟踪帧之间若干特征点的变换即可得到整帧的移动规律。

由于监控视频中一般画面简单，边缘明显易观测的角点大都分布在规则的窗口和楼层转角处，从这些角点中选出200个左右的优质特征点，使用具有金字塔迭代的Lucas-Kanade方法跟踪优质特征点在整段视频中的位置信息。

将相邻帧间优质特征点的位置变换映射为变换矩阵形式，存储每相邻帧之间的优质特征点位置变化的变换矩阵数据。

将当前帧的特征点在变换矩阵映射下的位置与映射前的位置做差，将这些差值存储，由于外在干扰因素会导致个别点的变换结果突兀，为了得到更接近帧实际变换的数据，再对差值处理，令其代表帧间抖动，然后再做插值平滑，也就是将帧之间的抖动平滑，得到更准确的抖动变换后，我们将这些抖动变换补偿到原始的帧流中。

3.高空坠物检测：

在步骤S3中，根据高空坠物运动公式:

计算出坠物在最低楼层的坠楼最短时间T＝0.55s；一般监控视频帧率为20～30fps，取最低帧率20fps，计算出物体在监控视频中最小停留帧数F＝11.5，取F＝11。

4.计算最佳间隔帧数：

理论上看，两点可以确定一条直线，间隔帧数I取10时处理速度最快，但在本实施例中，出现轨迹显示断裂问题，这是输出视频的帧数过少导致的。

考虑到循环帧操作中，包含坠物的画面可能会在上次循环且未检测到该坠物的帧间隔区间内，采取的间隔帧数I需在理论上确保在T时间段内某坠物被检测到三次。实际上确保在长度为T的时段内，至少检测到坠物两次，所以，在本实施例中I＝4。

循环帧，每相隔I帧对当前帧进行图像去噪，将当前帧与上次循环中的操作帧使用帧差分法，两帧相减后得到若干亮度差值，根据阈值判断出静止背景中的运动前景，提取运动前景部分轮廓点，计算出中心点并存储至矩阵M中。其中，矩阵M的行数不计，列数为3，分别存放中心点的横、纵坐标值与干扰物标志位flag。

5.修正干扰因素：

在步骤S5中，当提取帧中的运动前景数目＝1时，取出上次循环中存储在M中的轮廓中心位置(x1,y1)，如果当前帧分离出的轮廓中心点Y轴坐标位置大于y1大，则坠物数目＝1，且坠物是下落状态，存储当前帧的轮廓中心位置，继续帧循环检测，如果当前提取前景数目为1，那么递归进入此步骤执行。

当前提取的运动前景个数>1时，将每个运动前景的轮廓中心点位置和上次循环时存储在M中的轮廓中心点位置比对，将每对X值相近或者符合横向移动规律的点的Y轴参数值相对比，如果出现当前X或Y坐标和I帧前相同或者Y轴值变化微小或反向变化，说明该运动前景不符合下落规律，则可判断为不是高空坠物，干扰物数目+1，将干扰物的轮廓中点心在M中的标志位flag置为True，当flag为True时，此坐标不会在最终的结果中画出。若干扰物数目没有增加，且当前帧检测的运动前景数目出现变化，那么，当前景数目增多时，说明监控画面中出现多个坠物，坠物数目增加，当运动前景数目减少时，说明有坠物在空中被“截胡”，坠物数目对应减少。继续循环，出现当前帧检测的前景数目增多或者减少的情况，存储多个前景轮廓中心的位置，continue循环，再次进入本步骤执行。

6.输出结果：

最后，在步骤S6中，在每次修正干扰因素时，高空坠物个数得到刷新，其中：坠物个数＝提取的运动前景个数-干扰物数目，循环刷新输出检测帧，以之前存储的点为中心扩充画圆，在源画面和黑白背景下画线，显示坠物下落运动轨迹。由于输出的视频是每隔4帧写出来的结果，程序运行速度快，检测结果也很快得出，如图1所示，是间隔0、2、4帧时帧差分处理视频的时间。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种利用隔帧差分法自动检测高空坠物的方法，其特征在于，所述方法步骤包括：

S1，读取监控视频连续三帧图像，判断监控视频是否存在抖动，若存在抖动进入步骤S2，否则直接进入步骤S3；

S2，对存在抖动的监控视频去抖动处理，插值平滑所有帧间的抖动差值，将平滑后的结果补偿到原始帧流中；

S3，计算高空坠物在监控视频中最小停留帧数为F；

S4，计算最佳间隔帧数，对当前帧去噪并选定运动前景，判断干扰物；

S5，修正干扰因素，判断出高空坠物与干扰物，存储检测到的前景轮廓中心位置；

S6，根据提取的前景个数与干扰物数目，计算坠物个数。

2.根据权利要求1所述的利用隔帧差分法自动检测高空坠物的方法，其特征在于，步骤S1判断视频是否存在抖动，所述步骤包括：

S101，将读取的连续三帧图像转为灰度图，通过OpenCV库函数选取若干优质特征点；

S102，跟踪若干所述优质特征点在所取连续三帧图像中的位置坐标；

其中，若位置坐标变化越大则监控视频抖动越大，位置坐标变化大小与监控视频抖动大小成正相关关系。

3.根据权利要求2所述的利用隔帧差分法自动检测高空坠物的方法，其特征在于，所述步骤S2帧间的抖动差值的获取与处理，步骤包括：

S201，使用Lucas-Kanade方法跟踪所述优质特征点在整段视频中的位置信息，将相邻帧间的所述优质特征点的位置映射为变换矩阵形式，存储每相邻帧之间的所述优质特征点的位置变换矩阵数据；

S202，将当前帧的所述优质特征点的变换矩阵位置与原始位置做差，获取帧间的抖动差值，并存储。

4.根据权利要求1所述的利用隔帧差分法自动检测高空坠物的方法，其特征于，所述步骤S3计算高空坠物在监控视频中最小停留帧数为F，步骤包括：

S301，根据公式

计算出高空坠物在最低楼层的坠楼最短时间T；

S302，取最低帧率20fps，以最短时间T为时间下限，计算高空坠物在监控视频中最小停留帧数为F。

5.根据权利要求1所述的利用隔帧差分法自动检测高空坠物的方法，其特征在于，所述步骤S4计算最佳间隔帧数，步骤包括：

循环帧操作，规定时间段T，在时间段T内至少检测到高空坠物两次，可检测到高空坠物三次。

6.根据权利要求5所述的利用隔帧差分法自动检测高空坠物的方法，其特征在于，所述步骤S4对当前帧去噪选定运动前景，步骤包括：

将当前帧与上次循环中的操作帧相减，得到亮度差值集合，调定阈值，根据阈值对亮度差值的筛选结果，检测选定静止背景中的运动前景，其中，当前帧与操作帧相隔I帧。

7.根据权利要求6所述的利用隔帧差分法自动检测高空坠物的方法，其特征在于，所述步骤S4判断干扰物，步骤包括：

提取运动前景的部分轮廓点，计算出轮廓中点心的位置信息(x1,y1)，并存储至矩阵M中，当干扰物标志位flag为True时，该轮廓是干扰物的信息；

其中，矩阵M的行数不计，列数为3，分别存放中心点的横、纵坐标值与干扰物标志位flag。

8.根据权利要求7所述的利用隔帧差分法自动检测高空坠物的方法，其特征在于，所述步骤S5判断出坠物与干扰物，步骤包括：

S501，当前帧的运动前景数目等于1时，读取上次循环存储在矩阵M中的轮廓中心点位置(x1,y1)，如果当前帧所分离出的轮廓中心(X，Y)点Y轴坐标大于y1，则坠物数目＝1，且坠物是下落状态，存储轮廓中心位置(X，Y)；

S502，帧循环，继续检测，当前提取前景数目仍等于1时，对S501进行递归操作；

S503，当前提取前景个数大于1时，对多个运动前景判断和处理。

9.根据权利要求8所述的利用隔帧差分法自动检测高空坠物的方法，其特征在于，在所述步骤S503当前提取前景个数大于1时，对多个运动前景判断和处理，步骤包括：

S5031：将每个运动前景的轮廓中点心位置和上次循环时存储在M中的轮廓中点心位置比对，将每对X值相近或者符合横向移动规律的点相对应的Y轴参数值相对比，如果出现当前X坐标或Y坐标和I帧前相同或者Y轴值变化微小或反向变化，判断为不是高空坠物，则干扰物数目+1；

S5032：将干扰物的轮廓中点心在M中的标志位flag置为True，当flag为True时，此坐标不会在结果中画出；

S5033：如果干扰物数目没有增加，当前帧检测的运动前景数目出现变化，当前景数目增多时，则高空坠物数目增加；当前景数目减少时，则坠物数目减少；

S5034：存储多个运动前景的轮廓中心的位置，再次进入所述步骤S5031。

10.根据权利要求1所述的利用隔帧差分法自动检测高空坠物的方法，其特征在于，计算坠物个数，所述步骤包括：

S601，控制台输出高空坠物数目，其中，高空坠物数目＝所检测物体数目-干扰物数目；

S602，以高空坠物的轮廓中心点为据点画线，实时更新高空坠物的运动轨迹。

Images