CN114170295A - 一种基于混合视觉的高空抛物检测方法及装置 - Google Patents

一种基于混合视觉的高空抛物检测方法及装置 Download PDF

Info

Publication number
CN114170295A
CN114170295A CN202111288053.4A CN202111288053A CN114170295A CN 114170295 A CN114170295 A CN 114170295A CN 202111288053 A CN202111288053 A CN 202111288053A CN 114170295 A CN114170295 A CN 114170295A
Authority
CN
China
Prior art keywords
time
moving target
event
event sequence
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111288053.4A
Other languages
English (en)
Inventor
马金艳
徐庶
刘庆杰
管达志
倪文辉
高爽
陈博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhu Research Institute Of Electronic Technology Of China
Original Assignee
Nanhu Research Institute Of Electronic Technology Of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhu Research Institute Of Electronic Technology Of China filed Critical Nanhu Research Institute Of Electronic Technology Of China
Priority to CN202111288053.4A priority Critical patent/CN114170295A/zh
Publication of CN114170295A publication Critical patent/CN114170295A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于混合视觉的高空抛物检测方法及装置，同时搭载并配准事件相机和常规摄像机对被监测楼宇进行实时监测，事件相机基于产生的事件序列，检测运动目标，获取运动目标位置，采用卡尔曼滤波算法对运动目标的位置进行跟踪校正，将检测得到的运动目标与已知运动目标进行关联，建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间，根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。本发明结合事件相机和常规摄像头的混合视觉，受光照影响小，当抛物与背景颜色相近、尺寸较小、运动太快或黑夜条件时，误报率低，定位性能高。

Description

一种基于混合视觉的高空抛物检测方法及装置
技术领域
本申请属于目标检测技术领域，尤其涉及一种基于混合视觉的高空抛物检测方法及装置。
背景技术
随着高层住宅越来越多，高空抛物、坠物现象严重威胁着人民群众的生命财产安全。及时发现高空抛物并进行追责，是防治这种不文明行为的前提。但因高空抛物的发现难、取证难、追责难等原因导致高空抛物依然是社区管理的重难点之一。
现有办法是在楼底下仰视安装用于视频图像采集的摄像头，并对监控范围内各监控现场的实时情况进行24小时实时视频监控，当发生异常现象时，传统解决方案是通过人为调取监控录像和上门走访来排查问题。但由于抛物时间不确定，物业人员需要人工查验每一帧图像数据，耗时耗力且易漏查。现今部分解决方案引入基于人工智能的全自主高空抛物实时监控系统，虽然可以在无人干预的情况下自主捕获一部分高空抛物并对其进行追责，但仍旧存在如下几点问题：
检测难，受光照影响较大，当抛物与背景颜色相近、尺寸较小、运动太快或黑夜条件时，定位性能较差，误报率高；
成本高，高分辨率且高帧率的枪机成本很高，若采用人工智能方法则要按需采购足量的GPU，虽然能实现自主监控但提到了成本。
发明内容
本申请的目的是提供一种基于混合视觉的高空抛物检测方法，以克服上述背景技术中指出的缺陷。
为了实现上述目的，本申请技术方案如下：
一种基于混合视觉的高空抛物检测方法，包括：
同时搭载并配准事件相机和常规摄像机对被监测楼宇进行实时监测；
事件相机基于产生的事件序列，检测运动目标，获取运动目标位置；
采用卡尔曼滤波算法对运动目标的位置进行跟踪校正；
将检测得到的运动目标与已知运动目标进行关联；
建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间；
根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。
进一步的，所述事件相机基于产生的事件序列，检测运动目标，获取运动目标位置，包括：
获取预设时间段内的事件序列，换算为对应的均值时间图；
基于均值时间图采用阈值法区分运动目标和背景，并去除噪声干扰；
进行目标检测，获取运动目标位置信息。
进一步的，所述获取预设时间段内的事件序列，换算为对应的均值时间图，包括：
获取预设时间段内的事件序列，按照如下公式生成时间图像：
Figure BDA0003333914920000021
其中，Ti,j为时间图像中的像素值，(i,j)为离散化后的整数像素坐标，Σt表示δt内位置(i,j)坐标上的事件序列时间累计值，δt为预设时间段；
在时间图像的基础上，采用如下公式换算得到平均时间图像：
Figure BDA0003333914920000022
Figure BDA0003333914920000023
表示所有Ti,j的均值，平均时间图像中每个像素表示为ρi,j。
进一步的，所述采用卡尔曼滤波算法对运动目标的位置进行跟踪校正，包括：
采用k-1时刻的状态来预测得到一个k时刻状态的预测值，然后对k时刻的预测值和k时刻的实际测量值进行加权线性组合找到最优估计值，作为运动目标k时刻的状态，所述状态包括位置和速度。
进一步的，所述k时刻状态的预测值表示为
Figure BDA0003333914920000024
其中xk表示k时刻的位置预测值，
Figure BDA0003333914920000025
表示k时刻的速度预测值，其中：
Figure BDA0003333914920000026
Figure BDA0003333914920000031
Δt＝tk-tk-1
其中，xk-1表示k-1时刻的位置，
Figure BDA0003333914920000032
表示k-1时刻的速度，g表示匀加速运动的加速度，tk表示k时刻的时间，tk-1表示k-1时刻的时间。
本申请还提出了一种基于混合视觉的高空抛物检测装置，包括：
配准模块，用于配准同时搭载的事件相机和常规摄像机对被监测楼宇进行实时监测；
运动目标检测跟踪模块，用于基于事件相机产生的事件序列，检测运动目标，获取运动目标位置；采用卡尔曼滤波算法对运动目标的位置进行跟踪校正；将检测得到的运动目标与已知运动目标进行关联；建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间；
常规摄像机录像截取模块，用于根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。
进一步的，所述运动目标检测跟踪模块，基于事件相机产生的事件序列，检测运动目标，获取运动目标位置，执行如下操作：
获取预设时间段内的事件序列，换算为对应的均值时间图；
基于均值时间图采用阈值法区分运动目标和背景后，并去除噪声干扰；
进行目标检测，获取运动目标位置信息。
进一步的，所述运动目标检测跟踪模块，获取预设时间段内的事件序列，换算为对应的均值时间图，执行如下操作：
获取预设时间段内的事件序列，按照如下公式生成时间图像：
Figure BDA0003333914920000033
其中，Ti，j为时间图像中的像素值，(i，j)为离散化后的整数像素坐标，∑t表示δt内位置(i，j)坐标上的事件序列时间累计值，δt为预设时间段；
在时间图像的基础上，采用如下公式换算得到平均时间图像：
Figure BDA0003333914920000034
Figure BDA0003333914920000035
表示所有Ti，j的均值，平均时间图像中每个像素表示为ρi，j。
进一步的，所述运动目标检测跟踪模块，采用卡尔曼滤波算法对运动目标的位置进行跟踪校正，执行如下操作：
采用k-1时刻的状态来预测得到一个k时刻状态的预测值，然后对k时刻的预测值和k时刻的实际测量值进行加权线性组合找到最优估计值，作为运动目标k时刻的状态，所述状态包括位置和速度。
进一步的，所述k时刻状态的预测值表示为
Figure BDA0003333914920000041
其中xk表示k时刻的位置预测值，
Figure BDA0003333914920000042
表示k时刻的速度预测值，其中：
Figure BDA0003333914920000043
Figure BDA0003333914920000044
Δt＝tk-tk-1
其中，xk-1表示k-1时刻的位置，
Figure BDA0003333914920000045
表示k-1时刻的速度，g表示匀加速运动的加速度，tk表示k时刻的时间，tk-1表示k-1时刻的时间。
本申请提出的一种基于混合视觉的高空抛物检测方法及装置，结合事件相机和常规摄像头的混合视觉，受光照影响小，当抛物与背景颜色相近、尺寸较小、运动太快或黑夜条件时，误报率低，定位性能高。因事件相机仅在目标运动时产生事件点，因此基于CPU利用简单算法即可完成运动目标的定位，而无需购入GPU，成本大幅降低。
附图说明
图1为本申请一种基于混合视觉的高空抛物检测方法流程图；
图2为本申请运动目标轨迹示意图；
图3为本申请一种基于混合视觉的高空抛物检测装置结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于混合视觉的高空抛物检测方法，包括：
步骤S1、同时搭载并配准事件相机和常规摄像机对被监测楼宇进行实时监测。
事件相机是采集事件的传感器，也称为神经形态像机、硅视网膜或动态视觉传感器，是一种能够记录像素亮度变化的成像传感器。事件相机的输出是“事件”或者“脉冲”序列，每个事件表示光线亮度的变化，当光强与上一时刻的光强变化超过一定阈值时产生脉冲，包含的信息有位置、正负极性(光变强或变弱)、当前时间。因此事件相机只会捕捉运动目标，当目标(或相机)移动时，像素异步生成事件序列，形成时空点云来表征目标的空间分布和动态行为，例如：事件e可被定义为[x，y，t，p]，其中x、y和t分别表示事件的坐标和时间戳，p表示事件的极性，p∈{-1，+1}，其中-1和+1分别表示OFF和ON事件。
本申请采用事件相机来检测是否发生高空抛物，并采用采集视频图像的常规摄像机来记录高空抛物的视频图像用于后续的证据保存。因此，需要同时搭载并配准事件相机和常规摄像机对被监测楼宇进行实时监测，在安装事件相机和常规摄像机时，同时对准需要监控的目标楼宇。
步骤S2、事件相机基于产生的事件序列，检测运动目标，获取运动目标位置。
目前基于产生的事件序列，检测运动目标，获取运动目标位置，已经有比较成熟的技术方案。
本实施例给出的一种具体实施方式如下：
步骤S2.1、获取预设时间段内的事件序列，换算为对应的均值时间图。
例如，预设时间段为20ms，则每隔20ms读取一次事件序列，将20ms内的事件序列转换为平均时间面。具体的，位置(i，j)处事件的时间信息为t，位置(i，j)处的累计事件数为Ii，j。
本实施例先获取预设时间段内的事件序列，按照如下公式生成时间图像：
Figure BDA0003333914920000051
本申请对事件的坐标进行离散化，Ti，j为时间图像中的像素值，(i，j)为离散化后的整数像素坐标，∑t表示δt内位置(i，j)坐标上的事件序列时间累计值，δt为预设时间段，公式中分母加1的目的是为了避免出现为零的情况。
在时间图像的基础上，采用如下公式得到平均时间图像：
Figure BDA0003333914920000061
Figure BDA0003333914920000062
表示所有Ti,j的均值，平均时间图像中每个像素表示为ρi,j，ρi,j∈[-1，1]，δt为预设时间段。
步骤S2.2、基于均值时间图采用阈值法区分运动目标和背景，并去除噪声干扰。
本实施例在均值时间图上，应用阈值法来区分运动目标和背景。为了避免误报，选用较大的阈值参数β，例如0.8或0.9，仅保留大于等于阈值参数β的像素，就可以识别出前景。经过阈值法处理后，采用形态学方法去除椒盐噪声，若有因雨雪等原因造成的大面积噪声干扰则可以参考现有技术中的一些技术方案来进行噪声去除。
步骤S2.3、进行目标检测，获取运动目标位置信息。
本实施例采用的目标检测算法，可以采用基于DBSCAN的动态目标定位方法，因运动目标类型和尺寸均未知，因此利用基于DBSCAN的空间聚类算法做单/多个运动目标的分离。即可在未知单/多个运动目标类别和尺寸时获得其聚类中心和目标边界框坐标，同时剔除了背景噪声。
需要说明的是，本申请目标检测方法还可以采用本领域事件相机的其他目标检测方法，这里不一一赘述。例如采用回归或者其他聚类方法，这里不再赘述。
相比于传统深度学习，本申请的方法计算像素数更少，依靠CPU即可实时定位到运动目标。而如果采用传统摄像机则至少需2帧以上的图像画面的所有像素点才能确定是否有抛物，且需利用GPU加速深度学习网络，相比本申请的方法成本大幅提高。
步骤S3、采用卡尔曼滤波算法对运动目标的位置进行跟踪校正。
为了避免因遮挡或者其他运动障碍物干扰导致的目标定位失误，本申请采用卡尔曼滤波算法对运动目标的位置进行跟踪校正。即采用k-1时刻的状态(包括位置和速度)来预测得到一个k时刻状态的预测值，然后对k时刻的预测值和k时刻的实际测量值(即步骤S2中得到的运动目标的位置)进行加权线性组合找到最优估计值，作为运动目标k时刻的状态，包括位置和速度。
卡尔曼滤波的思想是分别给预测值和实际测量值一个权重，通过预测值与实际测量值的加权线性组合来得到最优估计值，这里不再赘述。
在一个具体的实施例中，所述k时刻状态的预测值表示为
Figure BDA0003333914920000071
其中xk表示k时刻的位置预测值，
Figure BDA0003333914920000072
表示k时刻的速度预测值，其中：
Figure BDA0003333914920000073
Figure BDA0003333914920000074
Δt＝tk-tk-1
其中，xk-1表示k-1时刻的位置，
Figure BDA0003333914920000075
表示k-1时刻的速度，g表示匀加速运动的加速度，tk表示k时刻的时间，tk-1表示k-1时刻的时间。
根据上述公式得到预测值，然后分别给预测值和实际测量值一个权重，通过预测值与实际测量值的加权线性组合来得到最优估计值，来对实际测量值进行跟踪校正，所得最优估计值作为运动目标在k时刻的位置。需要说明的是，k-1时刻的状态是已知的，也就是k-1时刻经过跟踪校正后的状态。
步骤S4、将检测得到的运动目标与已知运动目标进行关联。
在通过上述步骤，检测到运动目标位置后，为了形成运动目标的轨迹，需要将当前检测得到的运动目标与之前已经检测得到的已知运动目标进行关联。即判断当前检测得到的运动目标A，是否是已知目标B，如果是则将当前检测得到的运动目标A与已知目标B关联，即两个目标是相同的运动目标。在进行关联时，可以比较两个运动目标的相似度，或者提取两个运动目标的特征，根据特征来判断是否关联。
在一个具体的实施例中，利用匈牙利算法将检测到的运动目标与已知运动目标进行关联。
具体地，计算检测得到的运动目标的检测框与已知运动目标的成本矩阵，譬如M*N成本矩阵的横纵坐标分别为M个检测得到的运动目标检测框和N个已知运动目标检测框，其中的第(i，j)个元素表示第i个新检测到的目标和第j个已知检测目标的交并比，而后将其输入到匈牙利算法中进行线性分配来关联帧间ID，如果目标重叠小于IoUmin则不进行分配，即可完成将检测到的运动目标与已知运动目标进行关联。具体的采用匈牙利算法实现关联的过程，这里不再赘述。
步骤S5、建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间。
本实施例为每个运动目标创建唯一标识，建立每个运动目标的跟踪列表，跟踪列表中每一条记录对应一个时刻位置，从而可以得到对应的运动目标轨迹，如图2所示。
当运动目标进入、离开或长期丢失时，则需要相应创建或删除唯一标识。跟踪列表存储了各个目标的跟踪序列，任何没有被关联上的目标都认为是新增目标，若该目标连续关联了N帧则赋予其唯一标识并将其加入跟踪列表。当目标移动距离大于一定的阈值，例如3.5m且呈抛物线向下运动时，则将其判定为高空抛物，输出运动目标中心坐标和对应时间戳。而当事件相机无法检测出某个目标，即目标已离开或长时间丢失时，则删除对应跟踪列表，以避免无矫正情况下预测时间过长而导致的定位错误。至此即可准确获取高空抛物的坠落轨迹和相应时间戳。
步骤S6、根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。
本实施例中常规摄像机始终在采集视频图像，在事件相机判断为高空抛物后，则可以截取常规摄像机采集的视频图像，例如截取上报的运动目标的时间前后5s的视频图像。从而，根据给定的抛物运行轨迹坐标局部放大视频画面并进行人工的二次分析，判断其是何种抛物，若是垃圾、衣物、花盆等则找到对应楼层业主进行上门宣教和定责，同时也根据坠落点坐标及时通知物业清理，以避免造成二次危害。通过本申请的方法，可以让高空抛物无处遁形，逐渐杜绝高空抛物现象。
本申请技术方案面对高空抛物具有突发性，且速度快时间短，因距离远也会导致传统监控画面不清晰，目标物小不易检测等问题，采用事件相机和常规摄像头，事件相机只对感知动态目标，相比于传统方法参与计算的事件点更少，极大地加快了数据处理速度，且处理功耗主要取决于产生的事件点个数，只需利用简单算法分析因运动产生的事件点，利用CPU即可定位到运动目标。为了明确并验证抛物类型、抛出点和坠落点，本申请根据事件相机提供的坐标和时间戳前后5s同步截取常规摄像头数据，通过人为查验来确定高空抛物的属性和轨迹，以便再次降低误检率，并及时通知相关人员做善后处理。另外，本申请结合常规摄像机来获取完整视频，克服了现有技术方案需要额外购置GPU，价格昂贵的问题。
在另一个实施例中，如图3所示，本申请还提供了一种基于混合视觉的高空抛物检测装置，包括：
配准模块，用于配准同时搭载的事件相机和常规摄像机对被监测楼宇进行实时监测；
运动目标检测跟踪模块，用于基于事件相机产生的事件序列，检测运动目标，获取运动目标位置；采用卡尔曼滤波算法对运动目标的位置进行跟踪校正；将检测得到的运动目标与已知运动目标进行关联；建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间；
常规摄像机录像截取模块，用于根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。
关于基于混合视觉的高空抛物检测装置的具体限定可以参见上文中对于基于混合视觉的高空抛物检测方法的限定，在此不再赘述。上述基于混合视觉的高空抛物检测装置中各模块可全部或部分通过软件、硬件及其组合来实现。可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。其中，运动目标检测跟踪模块可以内置于事件相机中，或是专门的独立设备。常规摄像机录像截取模块可以是后台服务器，或是专门的独立设备。
在一个具体的实施例中，所述运动目标检测跟踪模块，基于事件相机产生的事件序列，检测运动目标，获取运动目标位置，执行如下操作：
获取预设时间段内的事件序列，换算为对应的均值时间图；
基于均值时间图采用阈值法区分运动目标和背景后，并去除噪声干扰；
进行目标检测，获取运动目标位置信息。
在一个具体的实施例中，所述运动目标检测跟踪模块，获取预设时间段内的事件序列，换算为对应的均值时间图，执行如下操作：
获取预设时间段内的事件序列，按照如下公式生成时间图像：
Figure BDA0003333914920000091
其中，Ti,j为时间图像中的像素值，(i,j)为离散化后的整数像素坐标，∑t表示δt内位置(i，j)坐标上的事件序列时间累计值，δt为预设时间段；
在时间图像的基础上，采用如下公式换算得到平均时间图像：
Figure BDA0003333914920000101
Figure BDA0003333914920000102
表示所有Ti，j的均值，平均时间图像中每个像素表示为ρi，j。
在一个具体的实施例中，所述运动目标检测跟踪模块，采用卡尔曼滤波算法对运动目标的位置进行跟踪校正，执行如下操作：
采用k-1时刻的状态来预测得到一个k时刻状态的预测值，然后对k时刻的预测值和k时刻的实际测量值进行加权线性组合找到最优估计值，作为运动目标k时刻的状态，所述状态包括位置和速度。
在一个具体的实施例中，所述k时刻状态的预测值表示为
Figure BDA0003333914920000103
其中xk表示k时刻的位置预测值，
Figure BDA0003333914920000104
表示k时刻的速度预测值，其中：
Figure BDA0003333914920000105
Figure BDA0003333914920000106
Δt＝tk-tk-1
其中，xk-1表示k-1时刻的位置，
Figure BDA0003333914920000107
表示k-1时刻的速度，g表示匀加速运动的加速度，tk表示k时刻的时间，tk-1表示k-1时刻的时间。
本实施例中，存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于混合视觉的高空抛物检测方法，其特征在于，所述基于混合视觉的高空抛物检测方法，包括：
同时搭载并配准事件相机和常规摄像机对被监测楼宇进行实时监测；
事件相机基于产生的事件序列，检测运动目标，获取运动目标位置；
采用卡尔曼滤波算法对运动目标的位置进行跟踪校正；
将检测得到的运动目标与已知运动目标进行关联；
建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间；
根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。
2.根据权利要求1所述的基于混合视觉的高空抛物检测方法，其特征在于，所述事件相机基于产生的事件序列，检测运动目标，获取运动目标位置，包括：
获取预设时间段内的事件序列，换算为对应的均值时间图；
基于均值时间图采用阈值法区分运动目标和背景，并去除噪声干扰；
进行目标检测，获取运动目标位置信息。
3.根据权利要求2所述的基于混合视觉的高空抛物检测方法，其特征在于，所述获取预设时间段内的事件序列，换算为对应的均值时间图，包括：
获取预设时间段内的事件序列，按照如下公式生成时间图像：
Figure FDA0003333914910000011
其中，Ti,j为时间图像中的像素值，(i,j)为离散化后的整数像素坐标，Σt表示δt内位置(i,j)坐标上的事件序列时间累计值，δt为预设时间段；
在时间图像的基础上，采用如下公式换算得到平均时间图像：
Figure FDA0003333914910000012
Figure FDA0003333914910000013
表示所有Ti,j的均值，平均时间图像中每个像素表示为ρi,j。
4.根据权利要求1所述的基于混合视觉的高空抛物检测方法，其特征在于，所述采用卡尔曼滤波算法对运动目标的位置进行跟踪校正，包括：
采用k-1时刻的状态来预测得到一个k时刻状态的预测值，然后对k时刻的预测值和k时刻的实际测量值进行加权线性组合找到最优估计值，作为运动目标k时刻的状态，所述状态包括位置和速度。
5.根据权利要求4所述的基于混合视觉的高空抛物检测方法，其特征在于，所述k时刻状态的预测值表示为
Figure FDA0003333914910000021
其中xk表示k时刻的位置预测值，
Figure FDA0003333914910000022
表示k时刻的速度预测值，其中：
Figure FDA0003333914910000023
Figure FDA0003333914910000024
Δt＝tk-tk-1
其中，xk-1表示k-1时刻的位置，
Figure FDA0003333914910000025
表示k-1时刻的速度，g表示匀加速运动的加速度，tk表示k时刻的时间，tk-1表示k-1时刻的时间。
6.一种基于混合视觉的高空抛物检测装置，其特征在于，所述基于混合视觉的高空抛物检测装置，包括：
配准模块，用于配准同时搭载的事件相机和常规摄像机对被监测楼宇进行实时监测；
运动目标检测跟踪模块，用于基于事件相机产生的事件序列，检测运动目标，获取运动目标位置；采用卡尔曼滤波算法对运动目标的位置进行跟踪校正；将检测得到的运动目标与已知运动目标进行关联；建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间；
常规摄像机录像截取模块，用于根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。
7.根据权利要求6所述的基于混合视觉的高空抛物检测装置，其特征在于，所述运动目标检测跟踪模块，基于事件相机产生的事件序列，检测运动目标，获取运动目标位置，执行如下操作：
获取预设时间段内的事件序列，换算为对应的均值时间图；
基于均值时间图采用阈值法区分运动目标和背景，并去除噪声干扰；
进行目标检测，获取运动目标位置信息。
8.根据权利要求7所述的基于混合视觉的高空抛物检测装置，其特征在于，所述运动目标检测跟踪模块，获取预设时间段内的事件序列，换算为对应的均值时间图，执行如下操作：
获取预设时间段内的事件序列，按照如下公式生成时间图像：
Figure FDA0003333914910000031
其中，Ti,j为时间图像中的像素值，(i,j)为离散化后的整数像素坐标，Σt表示δt内位置(i,j)坐标上的事件序列时间累计值，δt为预设时间段；
在时间图像的基础上，采用如下公式换算得到平均时间图像：
Figure FDA0003333914910000032
Figure FDA0003333914910000033
表示所有Ti,j的均值，平均时间图像中每个像素表示为ρi,j。
9.根据权利要求6所述的基于混合视觉的高空抛物检测装置，其特征在于，所述运动目标检测跟踪模块，采用卡尔曼滤波算法对运动目标的位置进行跟踪校正，执行如下操作：
采用k-1时刻的状态来预测得到一个k时刻状态的预测值，然后对k时刻的预测值和k时刻的实际测量值进行加权线性组合找到最优估计值，作为运动目标k时刻的状态，所述状态包括位置和速度。
10.根据权利要求9所述的基于混合视觉的高空抛物检测装置，其特征在于，所述k时刻状态的预测值表示为
Figure FDA0003333914910000034
其中xk表示k时刻的位置预测值，
Figure FDA0003333914910000035
表示k时刻的速度预测值，其中：
Figure FDA0003333914910000036
Figure FDA0003333914910000037
Δt＝tk-tk-1
其中，xk-1表示k-1时刻的位置，
Figure FDA0003333914910000038
表示k-1时刻的速度，g表示匀加速运动的加速度，tk表示k时刻的时间，tk-1表示k-1时刻的时间。
CN202111288053.4A 2021-11-02 2021-11-02 一种基于混合视觉的高空抛物检测方法及装置 Pending CN114170295A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111288053.4A CN114170295A (zh) 2021-11-02 2021-11-02 一种基于混合视觉的高空抛物检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111288053.4A CN114170295A (zh) 2021-11-02 2021-11-02 一种基于混合视觉的高空抛物检测方法及装置

Publications (1)

Publication Number Publication Date
CN114170295A true CN114170295A (zh) 2022-03-11

Family

ID=80477719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111288053.4A Pending CN114170295A (zh) 2021-11-02 2021-11-02 一种基于混合视觉的高空抛物检测方法及装置

Country Status (1)

Country Link
CN (1) CN114170295A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239706A (zh) * 2022-09-20 2022-10-25 图达通智能科技(武汉)有限公司 基于激光雷达的坠物识别方法、装置和可读存储介质
CN117237676A (zh) * 2023-11-09 2023-12-15 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239706A (zh) * 2022-09-20 2022-10-25 图达通智能科技(武汉)有限公司 基于激光雷达的坠物识别方法、装置和可读存储介质
CN117237676A (zh) * 2023-11-09 2023-12-15 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法
CN117237676B (zh) * 2023-11-09 2024-03-01 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法

Similar Documents

Publication Publication Date Title
CN101465033B (zh) 一种自动追踪识别系统及方法
CN105141885B (zh) 进行视频监控的方法及装置
US20130265423A1 (en) Video-based detector and notifier for short-term parking violation enforcement
US20030053659A1 (en) Moving object assessment system and method
US20030123703A1 (en) Method for monitoring a moving object and system regarding same
CN114170295A (zh) 一种基于混合视觉的高空抛物检测方法及装置
CN111488799B (zh) 一种基于图像识别的坠落物识别方法及系统
WO2003003721A1 (en) Surveillance system and methods regarding same
US20230005176A1 (en) Throwing position acquisition method and apparatus, computer device and storage medium
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN105611244A (zh) 一种基于球机监控视频的机场外来异物检测方法
CN112800860A (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN103929592A (zh) 全方位智能监控设备及方法
CN112235537A (zh) 一种变电站现场作业安全预警方法
CN108830161B (zh) 基于视频流数据的烟雾识别方法
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
CN111079722A (zh) 一种吊装过程人员安全监测方法及系统
CN115909223A (zh) 一种wim系统信息与监控视频数据匹配的方法和系统
CN113965733A (zh) 双目视频监控方法、系统、计算机设备及存储介质
CN116109047A (zh) 一种基于三维智能检测的智能调度方法
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
CN115035543A (zh) 一种基于大数据的移动轨迹预测系统
CN116030404A (zh) 一种基于人工智能的作业区域电子警戒围栏架设和安全监控方法
CN113111847A (zh) 一种工序循环的自动监测方法、装置和系统
CN117593341B (zh) 一种基于打猎相机目标物监控数据的处理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination