CN113256689B - 高空抛物检测方法及装置 - Google Patents

Abstract

本发明公开了一种高空抛物检测方法，包括：对监控视频图像进行前景检测，并对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测；使用改进匈牙利算法对前景检测目标和卡尔曼预测结果进行匹配，并用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新，改进匈牙利算法中前景检测目标与卡尔曼预测结果之间的匹配代价Cost=（1‑IoU）×Dist，IoU和Dist分别为前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离；根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物。本发明还公开了一种高空抛物检测装置。本发明可准确实现前景检测目标与卡尔曼预测结果的匹配，大幅提高干扰环境下对小目标的检出率。

Description

高空抛物检测方法及装置

技术领域

本发明涉及一种高空抛物检测方法，属于计算机视觉技术领域。

背景技术

随着城市化进程的逐步深入，越来越多的高层建筑出现在城市中，随之而来的高空抛物行为也越来越受到社会的关注。由于事件发生场所多为高空楼层，少有目击者，抛物时间短，使得执法部门很难追究抛物者的法律责任。因此，采用监控视频进行高空抛物的自动检测也就成为一种最可行的手段。

基于监控视频的高空抛物检测实质属于一种多目标跟踪任务，因此可以考虑采用现有的多目标跟踪算法实现。然而，相比其它任务场景，高空抛物检测又具有目标极小，速度下落快，普通监控摄像机所拍摄的轨迹点较少等特点。这些特点限制了现有多目标跟踪算法在高空抛物检测中的实际效果。

现有高空抛物检测技术中最成功的是前景检测与卡尔曼滤波相结合的目标跟踪算法，其基本原理是先进行前景检测，并对检测出的前景目标分别构建卡尔曼滤波器（或称卡尔曼跟踪器、卡尔曼追踪器）对其后续轨迹进行预测，并以前景检测结果作为状态观测量对卡尔曼预测结果进行更新，最终根据卡尔曼预测结果得到抛物轨迹。这一方法中极为重要的一个环节是将每帧图像中的前景检测目标与卡尔曼预测结果进行匹配，即确定前景检测目标与卡尔曼预测结果之间的关联性。现有技术通常采用匈牙利算法来进行所述匹配，并以检测框与追踪框之间的1-IoU（Intersection over Union，交并比）作为追踪代价来做最大匹配。然而经大量实践发现，此种技术方案并不适用于目标极小的高空抛物检测。根据IoU的定义，两个矩形框的交与两个矩形框的并的比值。IoU必须两个矩形框相交才能大于0，否则都无限趋近于0。高空抛物本就存在目标极小，速度下落快的情况，拍摄的轨迹点较少等情况。很多情况下，检测框与追踪框根本无法相交，这就使得代价矩阵始终为1，导致无法进行匹配，最终导致高空抛物小目标检出率极低。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种高空抛物检测方法，可更准确地实现前景检测目标与卡尔曼预测结果的匹配，进而大幅提高高空抛物检测在干扰环境下对小目标的检出率。

本发明具体采用以下技术方案解决上述技术问题：

一种高空抛物检测方法，包括以下步骤：对监控视频图像进行前景检测，并对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测；使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配，并用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新，所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价Cost=（1-IoU）×Dist，其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离；根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物。

进一步地，所述改进匈牙利算法的匹配过程满足以下约束条件：与任一坐标为（tx，ty）的卡尔曼预测结果相匹配的前景检测目标应处于以下方程所确定的偏心椭圆区域中：

其中，a=K1×s，b=K2×s，K1>K2>0,s为所述卡尔曼预测结果相对于上一帧监控视频图像中所对应的卡尔曼预测结果的位移，θ为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间连线与水平方向的夹角，d为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离。

优选地，所述根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物，具体为将同时满足以下三个条件的目标轨迹判定为高空抛物：轨迹中方向向下的轨迹分段超过预设比例；相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比例；轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈值。

基于同一发明构思还可以得到以下技术方案：

一种高空抛物检测装置，包括：

前景检测模块，用于对监控视频图像进行前景检测；

卡尔曼跟踪模块，用于对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测；

匹配及更新模块，用于使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配，并用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新，所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价Cost=（1-IoU）×Dist，其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离；

判断模块，用于根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物。

进一步地，所述改进匈牙利算法的匹配过程满足以下约束条件：与任一坐标为（tx，ty）的卡尔曼预测结果匹配的前景检测目标应处于以下方程所确定的偏心椭圆区域中：

其中，a=K1×s，b=K2×s，K1>K2>0,s为所述卡尔曼预测结果相对于上一帧监控视频图像中所对应的卡尔曼预测结果的位移，θ为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间连线与水平方向的夹角，d为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离。

优选地，所述判断模块将同时满足以下三个条件的目标轨迹判定为高空抛物：轨迹中方向向下的轨迹分段超过预设比例；相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比例；轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈值。

相比现有技术，本发明技术方案及其进一步改进技术方案具有以下有益效果：

本发明针对高空抛物的实际特点，对现有前景检测与卡尔曼滤波相结合的目标跟踪算法进行改进，采用综合考虑检测框与追踪框的交并比和距离的匹配代价函数，利用改进匈牙利算法进行前景检测目标与卡尔曼预测结果的匹配，进而大幅提高高空抛物检测在干扰环境下对小目标的检出率。

本发明在采用改进匈牙利算法进行匹配的过程中，进一步提出以偏心椭圆形匹配限制区域作为匹配约束条件，一方面更利于高速下落物体的匹配同时过滤掉非抛物的干扰，另一方面可大幅减小匹配搜索区域，降低匹配算法的运行时间。

本发明进一步对目标轨迹判定为高空抛物的判断基准进行了优化，分别提取目标轨迹的三个特征值并与相应的阈值进行比较，三个特征均满足预设指标才判定为高空抛物，从而可大幅降低误检率。

附图说明

图1为本发明的匹配代价函数对误匹配的效果改善原理示意图；

图2为偏心椭圆形匹配限制区域示意图；

图3为本发明技术方案的匹配过程原理示意图。

具体实施方式

针对现有基于前景检测与卡尔曼滤波相结合的高空抛物检测技术的不足，本发明的解决思路是对匈牙利算法的匹配代价函数进行改进，以体现出检测框与追踪框距离对匹配的影响。

高速下落物体一方面物体本身非常小，其次由于下落速度快无法准确预测下落位置；基于上面两点原因，无法使用传统卡尔曼IoU匹配的方式检测高空抛物，在空间中卡尔曼预测框几乎无法与检测框发生重叠进一步导致无法匹配。如果单纯使用检测框与追踪框的距离作为匹配的代价函数，在纯净无干扰的情况下可以有效的进行追踪，但如果存在频繁扰动、衣服飘动、雨滴、雪花、夜间灰尘等情况时，距离会直接影响匹配的准确性，导致误匹配到其他物体。因此，本发明通过将检测框与追踪框的交并比和距离进行有机融合来构造新的匹配代价函数。

具体而言，本发明所提出的高空抛物检测方法，包括以下步骤：对监控视频图像进行前景检测，并对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测；使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配，并用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新，所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价Cost=（1-IoU）×Dist，其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离；根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物。

本发明所提出的高空抛物检测装置，包括：

前景检测模块，用于对监控视频图像进行前景检测；

卡尔曼跟踪模块，用于对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测；

匹配及更新模块，用于使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配，并用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新，所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价Cost=（1-IoU）×Dist，其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离；

判断模块，用于根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物。

在以上技术方案基础上，本发明进一步提出在使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配时，以偏心椭圆形匹配限制区域作为匹配约束条件，一方面更利于高速下落物体的匹配同时过滤掉非抛物的干扰，另一方面可大幅减小匹配搜索区域，降低匹配算法的运行时间。

具体地，所述改进匈牙利算法的匹配过程满足以下约束条件：与任一坐标为（tx，ty）的卡尔曼预测结果匹配的前景检测目标应处于以下方程所确定的偏心椭圆区域中：

其中，a=K1×s，b=K2×s，K1>K2>0,s为所述卡尔曼预测结果相对于上一帧监控视频图像中所对应的卡尔曼预测结果的位移，θ为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间连线与水平方向的夹角，d为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离。

以上技术方案中对目标轨迹进行高空抛物判定可采用现有的各种判定标准。为了降低误检率，本发明进一步根据高空抛物的特点对高空抛物的判断基准进行了优化，具体如下：所述根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物，具体为将同时满足以下三个条件的目标轨迹判定为高空抛物：轨迹中方向向下的轨迹分段超过预设比例；相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比例；轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈值。

为了便于公众理解，下面通过一个优选实施例并结合附图来对本发明的技术方案进行详细说明：

步骤1、对监控视频图像进行前景检测：

采用前景检测算法对图像进行检测，得到一系列前景检测目标，记做

，表示检测出n个目标物体的检测框，其中的坐标为每个检测框的左上角和右下角坐标。本发明的前景检测可采用现有或将有的各种前景检测方法，包括但不限于帧插、场景建模、深度学习等检测方法；此外，本发明对于检测框的质量没有特殊要求。

步骤2、对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测：

卡尔曼滤波算法为经典的目标跟踪算法，其主要分为两个过程，预测和更新。该算法将目标的运动状态定义为8个正态分布的向量。预测：当目标经过移动，通过上一帧的目标框和速度等参数，预测出当前帧的目标框位置和速度等参数。更新：预测值和观测值，两个正态分布的状态进行线性加权，得到目前系统预测的状态。

对于本发明而言，可以利用预设的跟踪条件对前景检测出的n个目标物体进行筛选，（例如，可以根据实际监控场景从中预先确定部分容易出现树叶、气球等干扰物的区域作为跟踪屏蔽区域，从跟踪屏蔽区域中检测出的前景目标不再进行后续的跟踪）选出其中的m个检测目标来分别进行卡尔曼预测。为这m个检测目标创建m个卡尔曼追踪器

，获取初始卡尔曼预测结果

。

步骤3、使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配：

匈牙利算法是由匈牙利数学家Edmonds于1965年提出，因而得名。匈牙利算法是基于Hall定理中充分性证明的思想，它是部图匹配中最常见的算法，该算法的核心就是寻找增广路径，它是一种用增广路径求二分图最大匹配的算法。目前已在多目标跟踪算法中得到了大量应用。

现有技术在使用匈牙利算法进行检测框与追踪框的匹配时，其所使用的匹配代价函数只考虑检测框与追踪框的交并比，会造成很多情况下无法进行匹配，最终导致高空抛物小目标检出率极低。本发明对此进行了改进，在匹配代价函数中引入了距离，即任一前景检测目标与任一卡尔曼预测结果之间的匹配代价Cost=（1-IoU）×Dist，其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离。所述距离可以采用欧式距离或L2距离等距离度量方式。

具体地，遍历m个卡尔曼追踪器预测结果与n个前景检测目标，计算以下两个矩阵：

IoU^(m,n)=IoU(detⁿ, pred^m)

Dist^(m,n) =L2(center(detⁿ⁾), center(pred^m)),

其中，IoU(detⁿ, pred^m)表示计算第n个前景目标检测框与第m个卡尔曼预测框之间的交并比，L2(center(detⁿ⁾), center(pred^m))表示计算第n个前景目标检测框中心与第m个卡尔曼预测框中心的欧式距离。

根据所得到的m × n的IoU矩阵和m × n的距离矩阵，计算出表示追踪器预测结果与检测结果之间匹配代价的一个m×n的代价矩阵Cost^(m,n)：

Cost^(m,n) = (Ones^(m,n)-IoU^(m,n))*Dist^(m,n)

其中，Ones^(m,n)表示元素数值全为1的m × n的矩阵。

将代价矩阵Cost^(m,n) 作为输入送到匈牙利匹配算法，得到检测框与追踪器预测结果的最大匹配关系。

上述代价矩阵同时兼顾了IoU和距离，当检测框和预测框的IoU较高时，相当于(1-IoU)作为距离的权重作为匹配代价；当IoU=0时，使用距离进行匹配；当IoU>0会同时考虑距离和重叠度的双重因素。使用此代价函数显著改善了异常匹配的情况，同时极大提升了小目标的追踪问题。例如图1所示的情况，匹配区域内有两个检出物体D1、D2且距离追踪器预测结果T的中心距离分别为M1、M2。当M1 = M2或者两者较为相近时，只使用距离进行匹配会大概率匹配错误并跟踪丢失，而使用上面提出的代价矩阵求取方式，假设IoU(T, D1)=0.1,IoU(T, D2) = 0，按照上面公式，计算得到cost(T,D1)=0.9*M1,而cost(T,D2)=1*M2，最小匹配向着代价最低的方向匹配完成对追踪器和检测框的正确匹配。

此外，对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配时，以偏心椭圆形匹配限制区域作为匹配约束条件，一方面更利于高速下落物体的匹配同时过滤掉非抛物的干扰，另一方面可大幅减小匹配搜索区域，降低匹配算法的运行时间。

具体地，如图2所示，对于坐标为（tx，ty）的卡尔曼预测结果，只在以下方程所确定的偏心椭圆区域中来搜索与其匹配的前景检测目标：

其中，a、b分别为所述偏心椭圆区域的半长轴和半短轴，a=K1×s，b=K2×s，K1>K2>0,s为所述卡尔曼预测结果相对于上一帧监控视频图像中所对应的卡尔曼预测结果的位移，k₁为位移的超参，用于控制最大匹配深度，用来更好匹配高速运动的抛物轨迹，k2用于表示扰动的范围，通常在场景中存在飘动的物体时适当增加，存在有一定重量物体时适度减小，用来控制不必要的误检，例如树叶、所料袋等；θ为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间连线与水平方向的夹角；d为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离，表示椭圆在长轴方向上的偏移量。

步骤4、用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新：

如图3所示，根据匈牙利算法所输出的检测框与追踪器预测结果之间的最大匹配关系，用匹配到的检测框更新匹配到的追踪器预测结果。根据更新后的追踪器预测结果序列即可到一系列目标物体的运动轨迹。

步骤5、根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物：

本实施例采用根据高空抛物特点优化的判断基准，即判断以下三个条件是否得到满足：

（1）轨迹中方向向下的轨迹分段超过预设比例；由于抛物的方向从上到下，大部分不是抛物的目标物体（例如鸟、飞虫等）很难长时间呈现下落姿态，因此采用方向向下的轨迹分段比例作为其中一项判定条件。

（2）相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比例；具有伤害性的高空抛物通常区分于塑料袋、树叶等飘浮型抛物的主要区别就在于落地时的速度，因此本发明通过计算轨迹中两两位移是否增加来判断抛物是否向下加速，当抛物持续向下加速次数超过预设比例则判断为抛物。

（3）轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈值；一些常见的不是抛物的目标物体（例如树叶、衣服摆动）会造成往复运动，采用首、尾轨迹点间的水平距离更加有利于消除此类情况。

只有同时满足以上三个条件的目标轨迹才将其判定为高空抛物。

Claims (4)

1.一种高空抛物检测方法，其特征在于，包括以下步骤：对监控视频图像进行前景检测，并对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测；使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配，并用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新，所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价Cost=（1-IoU）×Dist，其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离；根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物；所述改进匈牙利算法的匹配过程满足以下约束条件：与任一坐标为（tx，ty）的卡尔曼预测结果相匹配的前景检测目标应处于以下方程所确定的偏心椭圆区域中：

其中，a=K1×s，b=K2×s，K1>K2>0,s为所述卡尔曼预测结果相对于上一帧监控视频图像中所对应的卡尔曼预测结果的位移，θ为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间连线与水平方向的夹角，d为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离。

2.如权利要求1所述高空抛物检测方法，其特征在于，根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物，具体为将同时满足以下三个条件的目标轨迹判定为高空抛物：轨迹中方向向下的轨迹分段超过预设比例；相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比例；轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈值。

3.一种高空抛物检测装置，其特征在于，包括：

前景检测模块，用于对监控视频图像进行前景检测；

卡尔曼跟踪模块，用于对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测；

匹配及更新模块，用于使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配，并用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新，所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价Cost=（1-IoU）×Dist，其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离；所述改进匈牙利算法的匹配过程满足以下约束条件：与任一坐标为（tx，ty）的卡尔曼预测结果匹配的前景检测目标应处于以下方程所确定的偏心椭圆区域中：

其中，a=K1×s，b=K2×s，K1>K2>0,s为所述卡尔曼预测结果相对于上一帧监控视频图像中所对应的卡尔曼预测结果的位移，θ为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间连线与水平方向的夹角，d为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离；

判断模块，用于根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物。

4.如权利要求3所述高空抛物检测装置，其特征在于，所述判断模块将同时满足以下三个条件的目标轨迹判定为高空抛物：轨迹中方向向下的轨迹分段超过预设比例；相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比例；轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈值。

Images