CN113781516A - 一种高空抛物检测方法 - Google Patents

一种高空抛物检测方法 Download PDF

Info

Publication number
CN113781516A
CN113781516A CN202111335408.0A CN202111335408A CN113781516A CN 113781516 A CN113781516 A CN 113781516A CN 202111335408 A CN202111335408 A CN 202111335408A CN 113781516 A CN113781516 A CN 113781516A
Authority
CN
China
Prior art keywords
matrix
foreground
value
dimension
takes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111335408.0A
Other languages
English (en)
Other versions
CN113781516B (zh
Inventor
殷悦
吴瑶
胡亚清
彭智亮
顾善植
王聪睿
蓝丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Huishiwei Intelligent Technology Co ltd
Original Assignee
Hunan Huishiwei Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Huishiwei Intelligent Technology Co ltd filed Critical Hunan Huishiwei Intelligent Technology Co ltd
Priority to CN202111335408.0A priority Critical patent/CN113781516B/zh
Publication of CN113781516A publication Critical patent/CN113781516A/zh
Application granted granted Critical
Publication of CN113781516B publication Critical patent/CN113781516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明公开了一种高空抛物检测方法，用于对高空抛物进行检测，并减少高空抛物检测系统中由于树叶、蚊虫、飞鸟等干扰物带来的误检问题。该方法分为两个阶段：前景检测阶段和目标跟踪阶段。在前景检测阶段，首先初始化前景检测器，然后持续向各个摄像头对应的前景检测器输入对应的视频流，并利用前景检测器进行前景检测，得到各个摄像头的二值化前景分割图，并更新前景检测器参数。在目标跟踪阶段，首先根据二值化前景分割图，使用目标跟踪器进行运动目标的跟踪，并判断目标跟踪器中是否存在已结束的运动轨迹，若存在，对运动轨迹进行分析，基于运动规则约束判断其是否为抛落物体，若是则保存相应的视频片段。

Description

一种高空抛物检测方法
技术领域
本发明涉及一种高空抛物检测方法，属于计算机视觉、目标检测技术领域。
背景技术
由于高空抛物事件发生的场所基本都是高空楼层，很少有直接目击者，加上抛物的时间短，执法部门很难追究到抛物者的法律责任。因此，实现智能高空抛物检测尤为重要。
高空抛物识别是利用AI视频分析技术，开发出针对软件自定义摄像机的高空抛物检测算法。通过摄像机采集视频数据进入算法，判断是否存在高空抛物事件并触发报警。传统的AI视频监控方案通过高清功能摄像机来实现图像的高清及远距离采集，通过交换机，将信号稳定传至后端录像机，实现监控预览、存储、回查等功能，再通过智能算法，自动识别高空抛物现象，并清晰记录物体坠落轨迹。现有高空抛物检测方案通常分为两种模式：（1）智能摄像头方案。这一方案由边缘计算摄像头、智能算法、告警服务器和录像机（NVR）构成，其中高空抛物检测算法部署在智能摄像头上，在前端完成算法识别，并采用统一管理平台对智能摄像头进行管理，可实现弹窗预警、记录抛物信息、查看视频回放等功能。智能摄像头对楼面进行监控；交换机用于某区域的摄像头信号汇总；NVR进行视屏信息的存储、管理；本地监控监视器用于显示视频信号、高抛片段；高空抛物服务器对视频进行高抛检测、对高抛片段进行再分析、维护前端显示系统。（2）服务器后端计算。这一方案由普通摄像头、边缘计算盒子、告警服务器和NVR构成，算法部署在后端服务器上，摄像头仅负责实时监控和录像，算法在服务器上完成高空抛物的，并在集成平台上进行预警、记录和查看。然而，无论哪一种方案，现有的高空抛物检测均存在误检率高、难以检测小的运动对象、检测速度慢的缺陷，因此，需要进一步优化。
高空抛物检测属于静态背景下的运行物体检测问题，针对该类问题一般采用背景建模的方法进行分析，目前主流的背景建模方法包括帧差法、光流法、混合高斯模型、自组织背景检测、统计平均法、自相关滤波法等，在前景检测中，根据每一帧的前景对象进行目标追踪，以卡尔曼滤波目标追踪为例，在每一帧会预测对应目标在下一帧中的位置，若下一帧的目标与预测位置的IOU大于阈值，则认为是同一物体。
在检测过程中，由于背景建模会检测出所有的非背景对象，其中包括飞鸟、蚊虫、落叶等等非高空落物，目标过滤则是根据前景对象的所有特征，通过基于规则的约束，对其中的目标进行过滤。如目标轨迹的起始点、终点，轨迹的形状是否符合抛落物的运动规律，目标下落过程中的速度、加速度是否合理，目标的SHV信息与背景是否差异过大等等。
在检测算法运行过程中，由于飞鸟、蚊虫、落叶、雨雪等干扰的存在，会出现较多的误检对象，在使用目标过滤算法之后仍然会存在部分误检，误检多为蚊虫、雨雪。在检测算法运行过程中，由于单个相机负责监控的区域较大，在待检测物体较小时，如小于3*3cm尺寸或在相机中成像小于4像素，此时会存在由于尺寸过小导致的漏检问题，而在夜晚光度极低的情况下，背景检测效果较弱，也会引起漏检。对于疑似高空抛物的干扰物，通过检测程序本身的目标过滤算法，经统计可以去除90%左右的误检，在长时间的检测下，这一误检比例依旧是较高的，以6栋居民楼小区为例，每天的误报数量超过100起，高抛物体较小人工审查的难度依旧较大，因而需要采用额外的信息进行进一步的误检筛查和漏检检测。
在大部分误检中，干扰物往往距离楼面较远而距离摄像头较近，通过空间计算方法来进行可疑物体的深度检测，可以极大程度的降低误检，将每日误检降低在10起以内，进而可以在较短的时间内完成人工审核。
图像景深，即视点与场景对象表面的距离信息。在图像信息的基础上增加距离信息，可以有效提高目标检测的精度，降低误检率，在自动驾驶与机器人等领域得到广泛的应用。以车辆检测、行人检测为例，目标距离越远，在图像上的目标框应当越小。双目相机是一种被动获取场景景深的传感器，具有成本低、测距范围远、分辨率高的特点。利用双目相机方案，可以对检测出来的可能物体，通过三角测量的方式，获得其距离信息，大大降低系统的误检率，可以有效减少误判。
发明内容
本发明所要解决的技术问题是：提供一种高空抛物检测方法，对高空抛落的物体进行实时检测与标注，且尽可能排除高空抛物检测过程中蚊虫、雨雪、落叶等干扰，降低系统的误检率，提高系统效率。
本发明为解决上述技术问题采用以下技术方案：
一种高空抛物检测方法，所述方法基于一种高空抛物检测系统实现，所述系统包括双目相机、前景检测器及目标跟踪器，所述双目相机包括摄像头A和摄像头B，每个摄像头均对应一个前景检测器，所述方法包括如下步骤：
步骤1，利用所述双目相机拍摄待检测建筑物外立面的视频，对于所述摄像头A拍摄的视频，从第一个视频帧开始，连续选取K个视频帧对所述摄像头A对应的前景检测器A进行初始化；对于所述摄像头B拍摄的视频，采用上述相同的操作对所述摄像头B对应的前景检测器B进行初始化；同时，初始化所述目标跟踪器；
步骤2，对于所述摄像头A拍摄的视频，从第K+1个视频帧开始，对于当前视频帧，即第n个视频帧，利用当前前景检测器A进行前景检测，得到二值化前景分割图BG-A；对于所述摄像头B拍摄的视频，从第K+1个视频帧开始，对于当前视频帧，即第n个视频帧，利用当前前景检测器B进行前景检测，得到二值化前景分割图BG-B，n≥K+1；对所述二值化前景分割图BG-A和BG-B进行合并，得到合并后的二值化前景分割图BG；
步骤3，根据步骤2合并后的二值化前景分割图BG，使用当前目标跟踪器进行运动目标的跟踪，得到新的目标跟踪器；
步骤4，判断新的目标跟踪器中是否存在已结束的运动轨迹，若存在，则对所述已结束的运动轨迹进行分析，基于运动规则约束判断所述已结束的运动轨迹是否属于抛落物体，若属于则保存所述已结束的运动轨迹对应的视频片段；
步骤5，利用步骤2得到的二值化前景分割图BG-A对当前前景检测器A进行更新，利用步骤2得到的二值化前景分割图BG-B对当前前景检测器B进行更新；令n=n+1，并返回步骤2。
作为本发明的一种优选方案，所述步骤1包括如下子步骤：
步骤1.1，对于所述摄像头A拍摄的视频，从第一个视频帧开始，连续选取K个视频帧建立所述前景检测器A中的背景库矩阵HISA，所述背景库矩阵HISA为四维矩阵，其大小为K*L*H*3，其中，L、H分别表示每个视频帧的长、宽，3表示视频帧的RGB 3个通道，将第k个视频帧对应的像素填入所述背景库矩阵HISA第一维的第k位，k =0,…,K-1；
步骤1.2，建立所述前景检测器A中的背景库计数矩阵HCountA，所述背景库计数矩阵HCountA为三维矩阵，其大小为K*L*H，将所述背景库计数矩阵HCountA第一维第k位的值置为k*mul，其中，mul为正整数；
步骤1.3，对于所述摄像头B拍摄的视频，采用步骤1.1和步骤1.2相同的操作建立所述前景检测器B中的背景库矩阵HISB和背景库计数矩阵HCountB；
步骤1.4，初始化目标跟踪器，此时所述目标跟踪器中不存在疑似运动对象。
作为本发明的一种优选方案，步骤2所述对于所述摄像头A拍摄的视频，从第K+1个视频帧开始，对于当前视频帧，即第n个视频帧，利用所述前景检测器A进行前景检测，得到二值化前景分割图BG-A，具体过程如下：
步骤2.1，当前视频帧frame大小为L*H*3，构造与所述背景库矩阵HISA大小相同的矩阵Compare：
Compare [k] =HISA [k] - frame
其中，Compare [k]表示取矩阵Compare的第一维索引，其索引值为k；HISA [k]表示取矩阵HISA的第一维索引，其索引值为k；HISA [k] - frame表示执行矩阵元素对位相减操作，0≤k≤K-1；
步骤2.2，对所述矩阵Compare沿第4维求和，得到矩阵WClose，其大小为K*L*H，且
WClose[k][i][j] = Compair[k][i][j][0]+Compair[k][i][j][1]+Compair[k][i][j][2]
其中，WClose[k][i][j]表示矩阵WClose第一维索引值取k第二维索引值取i第三维索引值取j时对应的值，Compair[k][i][j][0]表示矩阵Compair第一维索引值取k第二维索引值取i第三维索引值取j第四维索引值取0时对应的值，Compair[k][i][j][1] 表示矩阵Compair第一维索引值取k第二维索引值取i第三维索引值取j第四维索引值取1时对应的值，Compair[k][i][j][2] 表示矩阵Compair第一维索引值取k第二维索引值取i第三维索引值取j第四维索引值取2时对应的值，0≤i≤L-1，0≤j≤H-1；
步骤2.3，沿所述矩阵WClose的第一维求最小值，得到最小值索引矩阵Iclose和最小值矩阵Mclose，大小均为L*H，且
Iclose[i][j], Mclose[i][j] = min(WClose[:][i][j])
其中，Mclose[i][j]表示最小值矩阵Mclose第一维索引值取i第二维索引值取j时对应的值，WClose[:][i][j]中[:]表示矩阵切片操作，即取矩阵WClose第一维中所有矩阵的第i行第j列的值，min(WClose[:][i][j])表示求WClose[:][i][j]的最小值，并将其赋值给Mclose[i][j]，同时求WClose[:][i][j]的最小值所在位置的索引，并将其赋值给Iclose[i][j]；
步骤2.4，比较最小值矩阵Mclose中的元素值与常数ThreshHold的大小关系，建立二值化前景分割图BG-A，即：若Mclose[i][j]大于ThreshHold，则其为前景像素，将BG-A[i][j]的值置为1，否则为背景像素，将BG-A [i][j]的值置为0，BG-A [i][j]表示BG-A二值矩阵第一维索引值取i第二维索引值取j时对应的值。
作为本发明的一种优选方案，步骤2所述对所述二值化前景分割图BG-A和BG-B进行合并，得到合并后的二值化前景分割图BG，具体过程如下：
以所述二值化前景分割图BG-A为基准，若BG-A[i][j]为1，在二值化前景分割图BG-B中，存在BG-B[x][y]为1，且像素点（x,y）、（i,j）之间的距离小于distance，则BG[i][j]= 1，为前景像素点，否则判断为背景，distance为预设参数，BG-A[i][j]表示BG-A二值矩阵第一维索引值取i第二维索引值取j时对应的值，BG-B[x][y]表示BG-B二值矩阵第一维索引值取x第二维索引值取y时对应的值，BG[i][j]表示合并后的二值化前景分割图BG第一维索引值取i第二维索引值取j时对应的值。
作为本发明的一种优选方案，所述步骤3包括如下子步骤：
步骤3.1，对步骤2合并后的二值化前景分割图BG进行连通域分析，并将距离小于Thresh的连通域合并为一个连通域，得到若干连通域，Thresh为常数；
步骤3.2，将步骤3.1得到的每个连通域视为一个运动物体，对于当前目标跟踪器中已存在的轨迹p，计算轨迹p的当前运动速度V，并根据V预测轨迹p在当前视频帧的空间位置，计算轨迹p在当前视频帧的空间位置与每个运动物体的距离，从中找到最小距离对应的运动物体obj，若所述最小距离小于阈值ThreshDis，则认为运动物体obj属于轨迹p，将运动物体obj的时空信息作为最新的轨迹点加入轨迹p，否则不属于轨迹p；
步骤3.3，将所有运动物体按步骤3.2的操作与当前目标跟踪器中已存在的轨迹进行匹配，对未找到轨迹的运动物体，各自新建轨迹，将未找到轨迹的运动物体的时空信息作为其对应轨迹的第一个轨迹点。
作为本发明的一种优选方案，所述步骤4包括如下子步骤：
步骤4.1，对于新的目标跟踪器中的轨迹q，若q最后一个轨迹点对应的视频帧距当前视频帧间隔超过ThreshFN帧，则将轨迹q自新的目标跟踪器中移除，并进行抛落物体轨迹分析，其中，ThreshFN为预先设定的参数；
步骤4.2，若轨迹q同时满足以下三个条件：1）轨迹q中轨迹点的个数大于N，N为正整数；2）轨迹q中轨迹点速度始终向下或者轨迹点速度向上时加速度向下；3）轨迹q在Y轴方向的平均帧速度处于V1~V2之间，V1、V2为设定值；则认为轨迹q属于抛落物体；
步骤4.3，对属于抛落物体的轨迹，截取该轨迹的第一个轨迹点对应的视频帧至最后一个轨迹点对应的视频帧之间的视频片段进行保存。
作为本发明的一种优选方案，步骤5所述利用步骤2得到的二值化前景分割图BG-A对当前前景检测器A进行更新，具体过程如下：
步骤51，找到二值化前景分割图BG-A中元素值为1的前景像素点，获得全部前景像素点的坐标列表CoordList，其大小为2*m，m为前景像素点个数，2表示像素坐标；
步骤52，将CoordList中的前景像素点更新至背景库矩阵HISA中，具体为：
1）找到CoordList中前景像素点在矩阵HISA中的第一维的索引值列表，HIS_C1，HIS_C1为一维列表，长度为m；具体为：对背景库计数矩阵HCountA的第一维求最小值，得到最小值索引矩阵ICount和最小值矩阵MCount，其大小均为L*H，其中
ICount[i][j], MCount[i][j] = min(HCountA [:][i][j])
其中，MCount[i][j]表示最小值矩阵MCount第一维索引值取i第二维索引值取j时对应的值，HCountA [:][i][j]中[:]表示矩阵切片操作，即取矩阵HCountA第一维中所有矩阵的第i行第j列的值，min(HCountA [:][i][j])表示求HCountA [:][i][j]的最小值，并将其赋值给Mclose[i][j]，同时求HCountA [:][i][j]的最小值所在位置的索引，并将其赋值给ICount[i][j]；
则HIS_C1 = MCount[CoordList[0],CoordList[1]]即为HISA中前景替换像素点的第一维的索引值列表，MCount[CoordList[0],CoordList[1]]表示多值索引，CoordList[0]、CoordList[1]分别表示前景像素点的X轴、Y轴坐标集合；
2）二值化前景分割图BG-A对应的当前视频帧为frame，则将frame中CoordList对应位置的像素更新至HISA矩阵中，即：
HISA [HIS_C1,CoordList[0],CoordList[1],:] = frame[CoordList[0],CoordList[1],:]
3）更新背景库计数矩阵HCountA，对2）中最新更新的背景像素其对应的位置加上常数TCount，即：
HISA [HIS_C1,CoordList[0],CoordList[1]] += TCount 。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明提出一种高空抛物检测方法，该方法包括前景检测阶段和目标跟踪阶段，在前景检测阶段，首先初始化前景检测器，然后持续向各个摄像头对应的前景检测器输入对应的视频流，并利用前景检测器进行前景检测，得到各个摄像头的二值化前景分割图，并更新前景检测器参数。在目标跟踪阶段，首先根据二值化前景分割图，使用目标跟踪器进行运动目标的跟踪，并判断目标跟踪器中是否存在已结束的运动轨迹，若存在，对运动轨迹进行分析，基于运动规则约束判断其是否为抛落物体，若是则保存相应的视频片段。利用双目相机，对检测出来的可能物体，通过三角测量的方式，获得其距离信息，大大降低系统的误检率，可以有效减少误判。
附图说明
图1是双目相机工作示意图，其中，A、B为两个独立工作的摄像头，对同一高层建筑物的同一区域进行高空抛物的监控；
图2是本发明高空抛物检测方法流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明提供一种高空抛物检测方法，主要用于对高空抛落的物体进行实时检测与标注，且尽可能排除高空抛物检测过程中蚊虫、雨雪、落叶等干扰，降低系统的误检率，提高系统效率。双目摄像头工作示意图如图1所示，其中A、B为两个独立的摄像头，其距离一般可设置在0.1m至100m之间，此处取距离为0.2m，A、B同时拍摄同一楼面位置，摄像头安装位置一般处于楼面的正前方或正前方略有偏差，安装时距离楼面约10m至50m不等，以摄像头能尽可能完整的拍摄到待监控的楼面为准。
图2所示为高空抛物检测方法实施流程图，运行过程中逐帧地向前景检测器输入拍摄到的图像，在初次运行时前若干帧图像被用来初始化前景检测器，前景检测器的作用是将图像中的疑似运动物体进行标识，初始化时不进行高空抛物检测，初始化完成后开始进行高空抛物检测，对于每一帧图像进行前景检测，得到疑似运动物体的像素点，之后通过合并双目摄像头的前景检测结果去除疑似运动物体的干扰物，并利用合并后的前景检测的结果对前景检测器进行更新，同时使用目标跟踪器进行运动物体的目标跟踪并对完成的轨迹进行抛落物判定。
具体步骤如下：
步骤S1：顺序输入由若干帧连续拍摄画面组成的视频流，利用该视频流初始化前景检测器，对双目检测系统，同时对A/B两摄像头分别进行初始化；同时初始化目标跟踪器，将其设置为无目标状态；本步骤包含如下4个子步骤：
步骤S1.1：获取视频流参数，每一帧图片的长度、宽度分别为L、H，建立前景检测器中的背景库矩阵HIS，其由K张图片堆叠形成的矩阵组成，为四维矩阵，其大小为K*L*H*3，其中，3表示图片RGB的3个通道；
步骤S1.2：建立前景检测器中背景库计数矩阵HCount，HCount为三维矩阵，大小为K*L*H，用于评估背景库中的各个像素的时效性进而控制背景库的更新；
步骤S1.3：初始化HIS矩阵、HCount矩阵，连续输入K张视频帧，将第k帧视频对应的像素填入第HIS矩阵第一维的第k位，将HCount矩阵第一维第k位的值置为k*mul，其中，mul为人为设定的正整数，如1000；
步骤S1.4：初始化目标跟踪器，此时目标跟踪器中不存在疑似运动对象。
步骤S2：持续逐帧向各个摄像头对应的前景检测器输入对应的视频流，并利用步骤S1中建立的前景检测器进行前景检测，得到各个摄像头的二值化前景分割图，对二值化前景分割图进行合并。本步骤包含如下2个子步骤：
步骤S2.1：对输入的帧图像，利用前景检测器进行前景检测；本步骤包含如下4个子步骤：
步骤S2.1.1：输入帧frame大小为L*H*3，构造与 HIS矩阵同大小的Compair矩阵，其中Compair[k] = HIS[k] - frame，其中，Compair[k]表示对Compair的第一维求索引，其索引值为k，k大于等于0小于等于K-1；HIS[k]和后续其它矩阵索引操作同理，且矩阵索引后得到的仍然是矩阵的可以对其继续取索引，其中HIS[k] - frame表示执行矩阵元素对位相减操作，后续其它矩阵加减法同理；
步骤S2.1.2：对Compair沿第4维求和，得到WClose矩阵，其大小为K*L*H，即：
WClose[k][i][j] = Compair[k][i][j][0]+Compair[k][i][j][1]+Compair[k][i][j][2]
其中k、i、j为表示索引值的正整数，其取值区间与矩阵相应维度的大小相关，如WClose矩阵的第一维大小为K，则k的取值范围为0-K-1之间，后续索引值同理；
步骤S2.1.3：沿WClose的第一维求最小值，得到最小值索引矩阵Iclose、最小值矩阵Mclose矩阵，其大小均为L*H，其中：
Iclose[i][j]，Mclose[i][j] = min(WClose[:][i][j])
WClose[:][i][j]中[:]表示矩阵切片操作，即取WClose第一维中所有矩阵的第i行第j列的值，min()表示求WClose[:][i][j]的最小值，并将其赋值给Mclose[i][j]；
Iclose为最小值索引矩阵，其大小与Mclose相同，其中Iclose[i][j]为WClose[:][i][j]中最小值对应的索引值；
后续对矩阵沿某维度求最小值得到最小值索引矩阵、最小值矩阵操作均同理；
步骤S2.1.4：比较Mclose矩阵中的值与常数ThreshHold的大小关系，建立二值化前景分割矩阵BG：在Mclose矩阵中，若Mclose[i][j]大于ThreshHold，则其为前景像素，相应地将BG[i][j]的值置为1，否则为背景像素，将BG[i][j]的值置为0，得到的BG二值矩阵即为二值化前景分割图，其中，ThreshHold为人为设定的常数，通常取a*3，a为正整数，如a=7，则ThreshHold为21。
步骤S2.2：对二值化前景分割图进行合并，即存在A/B摄像头，其二值化前景分割图分别为BG-A、BG-B，在合并后的二值化前景分割矩阵BG中，以A为基准，若BG-A[i][j]为1，且存在BG-B[x][y]为1，其中点（x, y）、（i, j）之间的距离小于distance，则BG[i][j] = 1，为前景像素点，否则判断为背景；其中，distance是人为设定的参数，用于消除摄像头A/B摄像头之间的图像平移误差，可取0.001*H~0.1*H。
步骤S3：根据步骤2的二值化前景分割图，使用目标跟踪器进行运动目标的跟踪；本步骤包含如下3个子步骤：
步骤S3.1：对输入帧图像frame得到的二值前景分割矩阵BG进行连通域分析，并将距离小于Thresh的连通域合并为一个连通域，其中，Thresh为人为设定的常数，可取0.001*H~0.1*H；
步骤S3.2：对S3.1中的每个连通域视为一个运动物体，则一帧图像中可能存在0到多个运动物体，相应的，运动跟踪器同时跟踪多个物体轨迹，对轨迹p和运动物体obj而言，轨迹p中有某物体的历史轨迹，轨迹是该运动物体的时空点，如[p_n,...,p_2,p_1,]，其中p_1为历史轨迹中的最后一个点、p_2为倒数第二个点，以p_1为例，p_1 = [p_1_x , p_1_y, p_1_t]，其中p_1_x、p_1_y为对应点的空间坐标，p_1_t为该运动点被发现时的视频帧编号，用于计量时间，则可以通过计算p_1、p_2，计算轨迹p的当前运动速度V，其中V=V[vx ,vy]，其中：
vx = (p_1_x - p_2_x)/(p_1_t - p_2_t)
vy = (p_1_y - p_2_y)/(p_1_t - p_2_t)
根据V即可预测轨迹在当前帧的空间位置xt、yt，即：
xt = p_1_x + vx*(t - p_1_t)
yt = p_1_y + vy*(t - p_1_t)
其中t为当前视频帧编号；
若所预测的轨迹空间位置与当前连通域中的运动物体obj的距离最小且小于阈值ThreshDis，则认为物体obj属于轨迹p，将物体obj的时空信息作为轨迹点加入轨迹p，obj则成为轨迹p中的最后一个点p_1，否则不属于，其中，ThreshDis为人为设定的常数，可取0.001*H~0.1*H；
步骤S3.3：对所有的轨迹p和运动物体obj进行匹配，对未找到轨迹的运动物体，各自新建轨迹，并作为第一个历史点加入其中。
步骤S4：判断目标跟踪器中是否存在已结束的运动轨迹，若存在，对运动轨迹进行分析，基于运动规则约束判断其是否为抛落物体，若是则保存相应的视频片段；本步骤包含如下3个子步骤：
步骤S4.1：判断目标跟踪器中是否存在已结束的运动轨迹，对目标跟踪器中的轨迹p，若p最近一次更新距当前帧间隔超过ThreshFN帧，则将轨迹p自目标跟踪器中移除，并进行抛落物体轨迹分析，其中，ThreshFN为人为设定的参数，可取30；
步骤S4.2：进行抛落物体分析，若轨迹p同时满足以下条件，则认为其是有效抛落物：
1）轨迹中历史数据点个数大于N，如N=5；
2）轨迹中速度始终向下、或速度向上时加速度向下；
3）y轴方向，即竖直方向平均帧速度上下限分别为V1、V2，如V1=0.5、V2=10；
步骤S4.3：对有效轨迹，根据其历史点的第一个点、最后一个点的帧数编号，取出视频片段进行保存。
步骤S5：根据步骤2的分割结果对相应的前景检测器参数进行更新；本步骤包含如下2个子步骤：
步骤S5.1：找到二值化前景分割图BG中值为1的前景像素，获得其全部前景像素的坐标列表CoordList，其大小为2*m，m为前景像素个数，2表示像素坐标；如BG[i][j]的值为1，则将i加入CoordList[0]中，同时将j加入CoordList[1]中；
步骤S5.2：将CoordList中的前景点更新至HIS矩阵中，本步骤包含如下3个子步骤：
步骤S5.2.1：首先找到CoordList中前景替换像素点在HIS矩阵中的第一维的索引值列表HIS_C1，HIS_C1为一维列表，长度与CoordList[0]相同，具体操作如下：对HCount矩阵的第一维求最小值，得到最小值索引矩阵ICount、最小值矩阵MCount矩阵，其大小均为L*H，其中
ICount[i][j]，MCount[i][j] = min(HCount[:][i][j])
则HIS_C1 = MCount[CoordList[0],CoordList[1]]即为HIS中前景替换像素点的第一维的索引值列表；其中MCount[CoordList[0],CoordList[1]]表示多值索引，即：
HIS_C1[i] = MCount[CoordList[0][i],CoordList[1][i]]
步骤S5.2.2：二值化前景分割图BG对应的原始视频图像帧为frame，则将frame中CoordList对应位置的像素更新至HIS矩阵中，即：
HIS[HIS_C1,CoordList[0],CoordList[1],:] = frame[CoordList[0],CoordList[1],:]
步骤S5.2.3：更新背景库计数矩阵HCount，对最新更新的背景像素其对应的位置加上TCount，TCount为人为设定的参数，如取100，即
HIS[HIS_C1,CoordList[0],CoordList[1]] += 100
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种高空抛物检测方法，所述方法基于一种高空抛物检测系统实现，所述系统包括双目相机、前景检测器及目标跟踪器，所述双目相机包括摄像头A和摄像头B，每个摄像头均对应一个前景检测器，其特征在于，所述方法包括如下步骤：
步骤1，利用所述双目相机拍摄待检测建筑物外立面的视频，对于所述摄像头A拍摄的视频，从第一个视频帧开始，连续选取K个视频帧对所述摄像头A对应的前景检测器A进行初始化；对于所述摄像头B拍摄的视频，采用上述相同的操作对所述摄像头B对应的前景检测器B进行初始化；同时，初始化所述目标跟踪器；
步骤2，对于所述摄像头A拍摄的视频，从第K+1个视频帧开始，对于当前视频帧，即第n个视频帧，利用当前前景检测器A进行前景检测，得到二值化前景分割图BG-A；对于所述摄像头B拍摄的视频，从第K+1个视频帧开始，对于当前视频帧，即第n个视频帧，利用当前前景检测器B进行前景检测，得到二值化前景分割图BG-B，n≥K+1；对所述二值化前景分割图BG-A和BG-B进行合并，得到合并后的二值化前景分割图BG；
步骤3，根据步骤2合并后的二值化前景分割图BG，使用当前目标跟踪器进行运动目标的跟踪，得到新的目标跟踪器；
步骤4，判断新的目标跟踪器中是否存在已结束的运动轨迹，若存在，则对所述已结束的运动轨迹进行分析，基于运动规则约束判断所述已结束的运动轨迹是否属于抛落物体，若属于则保存所述已结束的运动轨迹对应的视频片段；
步骤5，利用步骤2得到的二值化前景分割图BG-A对当前前景检测器A进行更新，利用步骤2得到的二值化前景分割图BG-B对当前前景检测器B进行更新；令n=n+1，并返回步骤2。
2.根据权利要求1所述的高空抛物检测方法，其特征在于，所述步骤1包括如下子步骤：
步骤1.1，对于所述摄像头A拍摄的视频，从第一个视频帧开始，连续选取K个视频帧建立所述前景检测器A中的背景库矩阵HISA，所述背景库矩阵HISA为四维矩阵，其大小为K*L*H*3，其中，L、H分别表示每个视频帧的长、宽，3表示视频帧的RGB 3个通道，将第k个视频帧对应的像素填入所述背景库矩阵HISA第一维的第k位，k =0,…,K-1；
步骤1.2，建立所述前景检测器A中的背景库计数矩阵HCountA，所述背景库计数矩阵HCountA为三维矩阵，其大小为K*L*H，将所述背景库计数矩阵HCountA第一维第k位的值置为k*mul，其中，mul为正整数；
步骤1.3，对于所述摄像头B拍摄的视频，采用步骤1.1和步骤1.2相同的操作建立所述前景检测器B中的背景库矩阵HISB和背景库计数矩阵HCountB；
步骤1.4，初始化目标跟踪器，此时所述目标跟踪器中不存在疑似运动对象。
3.根据权利要求2所述的高空抛物检测方法，其特征在于，步骤2所述对于所述摄像头A拍摄的视频，从第K+1个视频帧开始，对于当前视频帧，即第n个视频帧，利用所述前景检测器A进行前景检测，得到二值化前景分割图BG-A，具体过程如下：
步骤2.1，当前视频帧frame大小为L*H*3，构造与所述背景库矩阵HISA大小相同的矩阵Compare：
Compare [k] =HISA [k] - frame
其中，Compare [k]表示取矩阵Compare的第一维索引，其索引值为k；HISA [k]表示取矩阵HISA的第一维索引，其索引值为k；HISA [k] - frame表示执行矩阵元素对位相减操作，0≤k≤K-1；
步骤2.2，对所述矩阵Compare沿第4维求和，得到矩阵WClose，其大小为K*L*H，且
WClose[k][i][j] = Compair[k][i][j][0]+Compair[k][i][j][1]+Compair[k][i][j][2]
其中，WClose[k][i][j]表示矩阵WClose第一维索引值取k第二维索引值取i第三维索引值取j时对应的值，Compair[k][i][j][0]表示矩阵Compair第一维索引值取k第二维索引值取i第三维索引值取j第四维索引值取0时对应的值，Compair[k][i][j][1] 表示矩阵Compair第一维索引值取k第二维索引值取i第三维索引值取j第四维索引值取1时对应的值，Compair[k][i][j][2] 表示矩阵Compair第一维索引值取k第二维索引值取i第三维索引值取j第四维索引值取2时对应的值，0≤i≤L-1，0≤j≤H-1；
步骤2.3，沿所述矩阵WClose的第一维求最小值，得到最小值索引矩阵Iclose和最小值矩阵Mclose，大小均为L*H，且
Iclose[i][j], Mclose[i][j] = min(WClose[:][i][j])
其中，Mclose[i][j]表示最小值矩阵Mclose第一维索引值取i第二维索引值取j时对应的值，WClose[:][i][j]中[:]表示矩阵切片操作，即取矩阵WClose第一维中所有矩阵的第i行第j列的值，min(WClose[:][i][j])表示求WClose[:][i][j]的最小值，并将其赋值给Mclose[i][j]，同时求WClose[:][i][j]的最小值所在位置的索引，并将其赋值给Iclose[i][j]；
步骤2.4，比较最小值矩阵Mclose中的元素值与常数ThreshHold的大小关系，建立二值化前景分割图BG-A，即：若Mclose[i][j]大于ThreshHold，则其为前景像素，将BG-A [i][j]的值置为1，否则为背景像素，将BG-A [i][j]的值置为0，BG-A [i][j]表示BG-A二值矩阵第一维索引值取i第二维索引值取j时对应的值。
4.根据权利要求1所述的高空抛物检测方法，其特征在于，步骤2所述对所述二值化前景分割图BG-A和BG-B进行合并，得到合并后的二值化前景分割图BG，具体过程如下：
以所述二值化前景分割图BG-A为基准，若BG-A[i][j]为1，在二值化前景分割图BG-B中，存在BG-B[x][y]为1，且像素点（x,y）、（i,j）之间的距离小于distance，则BG[i][j] =1，为前景像素点，否则判断为背景，distance为预设参数，BG-A[i][j]表示BG-A二值矩阵第一维索引值取i第二维索引值取j时对应的值，BG-B[x][y]表示BG-B二值矩阵第一维索引值取x第二维索引值取y时对应的值，BG[i][j]表示合并后的二值化前景分割图BG第一维索引值取i第二维索引值取j时对应的值。
5.根据权利要求1所述的高空抛物检测方法，其特征在于，所述步骤3包括如下子步骤：
步骤3.1，对步骤2合并后的二值化前景分割图BG进行连通域分析，并将距离小于Thresh的连通域合并为一个连通域，得到若干连通域，Thresh为常数；
步骤3.2，将步骤3.1得到的每个连通域视为一个运动物体，对于当前目标跟踪器中已存在的轨迹p，计算轨迹p的当前运动速度V，并根据V预测轨迹p在当前视频帧的空间位置，计算轨迹p在当前视频帧的空间位置与每个运动物体的距离，从中找到最小距离对应的运动物体obj，若所述最小距离小于阈值ThreshDis，则认为运动物体obj属于轨迹p，将运动物体obj的时空信息作为最新的轨迹点加入轨迹p，否则不属于轨迹p；
步骤3.3，将所有运动物体按步骤3.2的操作与当前目标跟踪器中已存在的轨迹进行匹配，对未找到轨迹的运动物体，各自新建轨迹，将未找到轨迹的运动物体的时空信息作为其对应轨迹的第一个轨迹点。
6.根据权利要求1所述的高空抛物检测方法，其特征在于，所述步骤4包括如下子步骤：
步骤4.1，对于新的目标跟踪器中的轨迹q，若q最后一个轨迹点对应的视频帧距当前视频帧间隔超过ThreshFN帧，则将轨迹q自新的目标跟踪器中移除，并进行抛落物体轨迹分析，其中，ThreshFN为预先设定的参数；
步骤4.2，若轨迹q同时满足以下三个条件：1）轨迹q中轨迹点的个数大于N，N为正整数；2）轨迹q中轨迹点速度始终向下或者轨迹点速度向上时加速度向下；3）轨迹q在Y轴方向的平均帧速度处于V1~V2之间，V1、V2为设定值；则认为轨迹q属于抛落物体；
步骤4.3，对属于抛落物体的轨迹，截取该轨迹的第一个轨迹点对应的视频帧至最后一个轨迹点对应的视频帧之间的视频片段进行保存。
7.根据权利要求2所述的高空抛物检测方法，其特征在于，步骤5所述利用步骤2得到的二值化前景分割图BG-A对当前前景检测器A进行更新，具体过程如下：
步骤51，找到二值化前景分割图BG-A中元素值为1的前景像素点，获得全部前景像素点的坐标列表CoordList，其大小为2*m，m为前景像素点个数，2表示像素坐标；
步骤52，将CoordList中的前景像素点更新至背景库矩阵HISA中，具体为：
1）找到CoordList中前景像素点在矩阵HISA中的第一维的索引值列表，HIS_C1，HIS_C1为一维列表，长度为m；具体为：对背景库计数矩阵HCountA的第一维求最小值，得到最小值索引矩阵ICount和最小值矩阵MCount，其大小均为L*H，其中
ICount[i][j], MCount[i][j] = min(HCountA [:][i][j])
其中，MCount[i][j]表示最小值矩阵MCount第一维索引值取i第二维索引值取j时对应的值，HCountA [:][i][j]中[:]表示矩阵切片操作，即取矩阵HCountA第一维中所有矩阵的第i行第j列的值，min(HCountA [:][i][j])表示求HCountA [:][i][j]的最小值，并将其赋值给Mclose[i][j]，同时求HCountA [:][i][j]的最小值所在位置的索引，并将其赋值给ICount[i][j]；
则HIS_C1 = MCount[CoordList[0],CoordList[1]]即为HISA中前景替换像素点的第一维的索引值列表，MCount[CoordList[0],CoordList[1]]表示多值索引，CoordList[0]、CoordList[1]分别表示前景像素点的X轴、Y轴坐标集合；
2）二值化前景分割图BG-A对应的当前视频帧为frame，则将frame中CoordList对应位置的像素更新至HISA矩阵中，即：
HISA [HIS_C1,CoordList[0],CoordList[1],:] = frame[CoordList[0],CoordList[1],:]
3）更新背景库计数矩阵HCountA，对2）中最新更新的背景像素其对应的位置加上常数TCount，即：
HISA [HIS_C1,CoordList[0],CoordList[1]] += TCount 。
CN202111335408.0A 2021-11-11 2021-11-11 一种高空抛物检测方法 Active CN113781516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111335408.0A CN113781516B (zh) 2021-11-11 2021-11-11 一种高空抛物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111335408.0A CN113781516B (zh) 2021-11-11 2021-11-11 一种高空抛物检测方法

Publications (2)

Publication Number Publication Date
CN113781516A true CN113781516A (zh) 2021-12-10
CN113781516B CN113781516B (zh) 2022-06-21

Family

ID=78956893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111335408.0A Active CN113781516B (zh) 2021-11-11 2021-11-11 一种高空抛物检测方法

Country Status (1)

Country Link
CN (1) CN113781516B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693556A (zh) * 2022-03-25 2022-07-01 英特灵达信息技术(深圳)有限公司 一种高空抛物帧差法运动目标检测去拖影方法
CN117789141A (zh) * 2024-02-23 2024-03-29 中邮建技术有限公司 基于人工智能的路面抛洒事件检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163067A (zh) * 2015-08-12 2015-12-16 武汉大学 一种基于数字图像处理技术的高空抛物取证系统
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
CN111079663A (zh) * 2019-12-19 2020-04-28 深圳云天励飞技术有限公司 高空抛物的监测方法、装置、电子设备及存储介质
US10827157B1 (en) * 2019-05-10 2020-11-03 Gopro, Inc. Generating videos with short audio
US11017198B2 (en) * 2019-07-01 2021-05-25 Gemalto Cogent Inc Slap segmentation of contactless fingerprint images
CN113379801A (zh) * 2021-06-15 2021-09-10 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法
CN113630571A (zh) * 2021-07-13 2021-11-09 北京汽车股份有限公司 用于车辆的高空抛物监测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163067A (zh) * 2015-08-12 2015-12-16 武汉大学 一种基于数字图像处理技术的高空抛物取证系统
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
US10827157B1 (en) * 2019-05-10 2020-11-03 Gopro, Inc. Generating videos with short audio
US11017198B2 (en) * 2019-07-01 2021-05-25 Gemalto Cogent Inc Slap segmentation of contactless fingerprint images
CN111079663A (zh) * 2019-12-19 2020-04-28 深圳云天励飞技术有限公司 高空抛物的监测方法、装置、电子设备及存储介质
CN113379801A (zh) * 2021-06-15 2021-09-10 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法
CN113630571A (zh) * 2021-07-13 2021-11-09 北京汽车股份有限公司 用于车辆的高空抛物监测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693556A (zh) * 2022-03-25 2022-07-01 英特灵达信息技术(深圳)有限公司 一种高空抛物帧差法运动目标检测去拖影方法
CN117789141A (zh) * 2024-02-23 2024-03-29 中邮建技术有限公司 基于人工智能的路面抛洒事件检测方法
CN117789141B (zh) * 2024-02-23 2024-04-26 中邮建技术有限公司 基于人工智能的路面抛洒事件检测方法

Also Published As

Publication number Publication date
CN113781516B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN101141633B (zh) 一种复杂场景中的运动目标检测与跟踪方法
CN113781516B (zh) 一种高空抛物检测方法
EP2297701B1 (de) Videoanalyse
CN104303193B (zh) 基于聚类的目标分类
CN111260693B (zh) 一种高空抛物的检测方法
CN112101433A (zh) 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
KR101085578B1 (ko) 비디오 트립와이어
US11288820B2 (en) System and method for transforming video data into directional object count
CN110874592B (zh) 一种基于总有界变分的森林火灾烟雾图像检测方法
CN113671480A (zh) 雷达与视频融合交通目标跟踪方法、系统、设备、终端
Lei et al. Real-time outdoor video surveillance with robust foreground extraction and object tracking via multi-state transition management
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
Bloisi et al. Argos—A video surveillance system for boat traffic monitoring in Venice
US20060056702A1 (en) Image processing apparatus and image processing method
JP2009533778A (ja) 統計的画素モデリングを使った映像セグメント化
CN107845264A (zh) 一种基于视频监控的交通量采集系统及方法
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
CN110619651B (zh) 一种基于监控视频的行车道路分割方法
CN115184917B (zh) 一种融合毫米波雷达与相机的区域目标跟踪方法
CN108830161B (zh) 基于视频流数据的烟雾识别方法
CN109948474A (zh) Ai热成像全天候智能监控方法
CN111781600A (zh) 一种适用于信号交叉口场景的车辆排队长度检测方法
CN111860392B (zh) 基于目标检测和前景检测热力图统计方法
WO2016019973A1 (en) Method for determining stationary crowds
Sharma et al. Automatic vehicle detection using spatial time frame and object based classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Hu Yaqing

Inventor after: Wu Yao

Inventor after: Yin Yue

Inventor after: Peng Zhiliang

Inventor after: Gu Shanzhi

Inventor after: Wang Congrui

Inventor after: Lan Dan

Inventor before: Yin Yue

Inventor before: Wu Yao

Inventor before: Hu Yaqing

Inventor before: Peng Zhiliang

Inventor before: Gu Shanzhi

Inventor before: Wang Congrui

Inventor before: Lan Dan